JP6941145B2 - 2次元画像上の3次元画像データの可視化 - Google Patents

2次元画像上の3次元画像データの可視化 Download PDF

Info

Publication number
JP6941145B2
JP6941145B2 JP2019189926A JP2019189926A JP6941145B2 JP 6941145 B2 JP6941145 B2 JP 6941145B2 JP 2019189926 A JP2019189926 A JP 2019189926A JP 2019189926 A JP2019189926 A JP 2019189926A JP 6941145 B2 JP6941145 B2 JP 6941145B2
Authority
JP
Japan
Prior art keywords
image
slice
image set
display
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019189926A
Other languages
English (en)
Other versions
JP2020099672A (ja
Inventor
仁 中村
仁 中村
バレット ダニエルズ
バレット ダニエルズ
ヴァカ アントニオ ボニラス
ヴァカ アントニオ ボニラス
ウェイン クリストファー サロット
ウェイン クリストファー サロット
カールソン モーガン ルドルフ
カールソン モーガン ルドルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon USA Inc
Original Assignee
Canon USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon USA Inc filed Critical Canon USA Inc
Publication of JP2020099672A publication Critical patent/JP2020099672A/ja
Application granted granted Critical
Publication of JP6941145B2 publication Critical patent/JP6941145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

関連出願への相互参照
本願は、2018年10月19日に出願された米国特許出願第62/748,168号に関し、かつ優先権を主張し、その開示全体が参照により全体として本明細書に組み込まれる。
本開示は、概して医療イメージングに関し、より詳細には、針誘導に外部デバイスを用いる低侵襲処置を計画し実施するためのシステム、方法及びデバイスに関する。
低侵襲医療処置は、入院期間の短縮及び患者の生活の質の向上を理由に、医学界においてますます人気が高まっている。例えば、インターベンショナル・オンコロジーの分野では、処置の低侵襲性と、その結果としての患者の回復期間の短縮を理由に、外科的切除よりも経皮的アブレーションが好まれることが多い。
医用画像は、医師が低侵襲処置や他の処置の計画、実行及び術後分析を行うときの助けとなる。有用である一部のイメージングモダリティとしては、超音波イメージング、コンピュータ断層撮影法(CT)及び磁気共鳴画像法(MRI)が挙げられる。医用画像は、処置の実行中に患者に対して様々な器具を誘導する際の助けとなるように使用することもできる。
計画時、低侵襲画像誘導式針インターベンション(生検、アブレーション療法等)では、通常、CTやMRI等のモダリティの医用画像において、目標の病変又は解剖学的構造が特定される。針軌道の計画を立てるために、通常、皮膚表面上の挿入点も、医用画像において特定される。計画軌道に沿って針を向けるときの助けとなるように、誘導デバイスが使用され、患者の皮膚上又はその近くに位置付けられることがある。針の長さに加えてデバイスの幾何学的形状により、到達可能エリアが制限されることになるので、選ばれた挿入点から目標が到達可能であるかどうかを決定するために、デバイスの知識、経験及び画像データ上の測定値に基づいて心象(mental picture)が形成される。誘導デバイスを用いた処置の間、デバイスが患者に配置され、新しい画像が取得され、それに基づいてデイバスを特定し、画像空間に対してレジストレーションすることができる。そして、目標が到達可能であるかどうかを確認することができる。
しかしながら、医用画像は、一般に、患者の解剖学的構造に対して断面でスキャンされ(例えば、患者はCT又はMRIのボア内のガントリに横たわる)、目標病変と皮膚進入点との相対位置を考慮することなく、断面画像が得られる。よって、スクリーンで2次元画像を見るとき、目標病変と、皮膚進入点と、インターベンションに影響を及ぼす可能性のある任意の重要構造又は他の特徴との関係を可視化し理解することが、難しいことがある。
よって、従来のシステムでは、目標到達可能性の評価の計画時に、イメージングソフトウェアにおいてデバイス配置をシミュレーションする準備をすることなく、十分な単純さと正確性で処置を計画し、実行し、かつその有効性を分析する能力には、限界がある。よって、針誘導デバイスが患者に配置され、撮像され、画像空間に対してレジストレーションされる前に、デバイスを用いて選ばれた挿入点から目標点が到達可能であることを確かめることは、困難である。
米国特許第9,710,146号、米国特許出願公開第2011/0007071号当は、3次元データセットの中から関心画像を選択する際にユーザをサポートする画像表示制御のためのシステム及び方法を提供しているが、それは、針誘導に関して低侵襲処置を計画し実施する単純で直観的な方法を考慮していない。
よって、上述した問題を解決するためのデバイス、システム及び方法が必要である。
したがって、本開示の幅広い目的は、臨床医が2Dディスプレイ上で3D画像を簡単に可視化できるようにして、計画、実行及び評価の技術を提供するためのデバイス、システム及び方法を提供することである。
本開示は、針配置のプロセス、計画又はアセスメントをサポートするための画像処理装置及び使用方法を提供し、画像処理装置はプロセッサを備え、プロセッサは、2次元画像スライスのスタックを含む3次元画像セットを取得し、3次元画像セットにおける少なくとも1つの関心領域又は少なくとも1つの目標点の位置を取得し、3次元画像セットにおける少なくとも1つの挿入点の位置を取得し、ディスプレイに、3次元画像セットからの第1の画像スライスを表示させ、ディスプレイに、第1の画像スライスと同時に、インジケータバーを表示させるように動作し、インジケータバーは、3次元画像セット内の第1の2次元画像スライスの位置と、3次元画像セット内の少なくとも1つの関心領域又は少なくとも1つの目標点の位置と、3次元画像セットを伴う挿入点の位置とを示す。
また、本明細書に記載の装置及び/又はプロセッサを使用することによる、経皮的プローブ治療のための可視化、計画又は治療のための方法も提供される。他の実施形態は、命令を有するイメージングアプリケーションを記憶するサーバであって、命令は、プロセッサによって実行されると、サーバに本明細書に記載の方法を実行させる、サーバを含む。更に他の実施形態は、イメージングサーバに本明細書に記載の方法を実行させるためのイメージングアプリケーションを記憶する非一時的コンピュータ可読記憶媒体を含む。
1つ以上の実施形態において、本明細書に記載の計画、実行及び評価の装置及びシステム並びに方法と併せて、米国特許第9,222,966号、米国特許第9,867,667号、米国特許第9,867,673号、米国特許出願公開第2014/0275978号、米国特許出願公開第2016/0074063号、米国特許出願公開第2017/0071626号、米国特許出願公開第2017/0030557号、米国特許出願公開第2017/0000581号、米国特許出願公開第2017/0172458号、国際公開WO2017/180643及び国際公開WO2018/075671(そのそれぞれが参照により全体として本明細書に組み込まれる)に記載のデバイスが用いられてよい。
本開示の1つ以上の実施形態によれば、可視化、計画、実行及び評価の装置及びシステム、並びに方法及び記憶媒体は、病変、腫瘍、重要構造等の生体オブジェクトを特徴付け、かつ/又は治療するように動作することができる。
本開示の少なくとも別の態様によれば、本明細書で論じられる計画、実行及び評価の技術、システム及び方法は、コストを削減するためにその中の構成要素の数を削減又は最小化することにより、計画、実行及び評価のデバイス、システム及び記憶媒体の製造及びメンテナンスの少なくとも一方のコストを削減するために、採用することができる。
本開示の他の態様によれば、計画、実行及び評価のための1つ以上の追加のデバイス、1つ以上のシステム、1つ以上の方法及び1つ以上の記憶媒体が本明細書において論じられる。本開示の更なる特徴は、添付の図面を参照して、以下の説明から、部分的に理解可能となり、部分的に明らかになるであろう。
本開示の様々な態様を説明する目的のために、同様の数字は同様の要素を示し、採用され得る簡略化された形態が図面に示されるが、開示は示された正確な配置及び手段によって限定されず、又はそれらに限定されないことが理解される。関連分野の当業者が本明細書の主題を作製及び使用することを支援するために、添付の図面及び図を参照する。
図1は、本開示の1つ以上の態様による、針配置を実行するためのシステムの実施形態を示す概略図である。 図2は、CTスキャンにおける複数のスライス画像の概略図である。 図3(A)は、3D情報及びインジケータバーを提供するオーバーレイを含むCTスキャンの図示である。 図3(B)は、図3(A)からのサイドバー及び関心領域の拡大図である。 図4(A)、図4(B)及び図4(C)は、インジケータバーの様々な実施形態の図示である。 図5は、3D情報を提供するオーバーレイを含むCTスキャンを提供する、計画ソフトウェアの例示的なスクリーンショットである。 図6は、本開示の1つ以上の態様による、アブレーション及び/又は針誘導の計画及び/又は実行を行うための方法の少なくとも1つの実施形態を示すフローチャートである。 図7は、いくつかの実施形態による、画像ソフトウェアと、針ガイドデバイスのロボット制御サーバと、MRIスキャナを含むMRIシステムとを含む針ガイドデバイスシステムについての例示的なシステム図である。 図8は、いくつかの実施形態による例示的なコンピュータシステムを示す図である。
以下、図面を参照して、例示的な実施形態について説明する。本発明は、画像データの可視化の向上をもたらし、画像データは、3次元(3D)画像セットの2次元スライスである。多くの臨床医は、難なく様々なスライスに目を通して、関心領域及び周辺組織を理解するが、計画及び/又は処置が複雑になるにつれて、2次元(2D)画像を見る際に3D画像セットからの情報を可視化する能力が重要になる。
例えば、実施形態によっては、臨床医が作業を計画し、実行し、かつ/又は評価する。図1は、表示画像データ100と、モデルシステム及びカート110と、デバイスモデル120と、表示画像データ100にオーバーレイすることのできるレジストレーションされたデバイスモデル130とを備えるシステムを示す。実施形態によっては、計画画像データ100は、イメージングシステム(CT、MRI等)140から得られる3次元画像セットである。いくつかの好適な実施形態では、3次元画像セットは、診断及び/又は治療を要するオブジェクトの医用画像データセットである。画像ソフトウェアは、目標位置及び挿入点位置を設定することにより針軌道を定めることによって、診断及び/又は治療処置における計画と補助又は自動化を可能にすることができる。更に、イメージングソフトウェアは、針軌道及び表示画像データ100に基づき、挿入深さを計算してよい。実施形態によっては、イメージングソフトウェアは、デバイスモデル120を含む。デバイスモデル120は、処置で用いられる物理的誘導デバイスの3Dモデル表現である。物理的誘導デバイスは、処置の準備中又は実行中に、針、プローブ又は他の医療デバイスを誘導するのに適した任意のデバイスであってよい。針は、処置に適したサイズ又は長さの任意の針であってよい。実施形態によっては、複数の針の各針又は他の医療デバイスに対応するデータが、イメージングソフトウェアに含まれるそれぞれのデバイスモデルとして、コンピュータシステムに記憶される。
画像データ100は、臨床医200に提示される2D画像と、概して患者のベッドに対応するアキシャル方向220に沿って延びる3Dデータセット210とを備える(図2)。
図3(A)及び図3(B)は、患者300の2D CT画像を提供する。この画像では、目標点310と挿入点320の両方が特定されている。プローブ軌道340は、目標点310と挿入点320との間の線として定められる。破線は、他の2Dスライス340におけるプローブ軌道を提供する。
画像2D画像300の横にインジケータバー350が提供され、3D画像データセットにおけるスライス画像の位置が示される。可視化されたスライス360の位置を太線(又は異なる色、マーク、点滅線等)で示すのに加えて、複数のスライスを通る関心領域370の深さもサイドバーに示される。これにより、特に深さ情報の描写に関して、容易な視認、計画及び処置が促される。なぜなら、医師又は技術者が2D画像スライスを連続して見ることによって3D画像セットを見るとき、2D画像では、画像内の様々な特徴の深さの容易な理解が促されないからである。図3(A)のCT画像スライスでは、スライスの厚さは、インジケータバー350上の線の間隔によって示される。3次元画像セット内のスライスの数は、ステータスバーにおける横線の数によって示される。
よって、イメージング装置及びソフトウェアは、例えば、1つ以上の生検プローブ又はアブレーションプローブの挿入の計画、実行及び評価を可能にする。ソフトウェアは、イメージングシステム140(例えばCTスキャナ)によってスキャンされた画像をロードし、それをディスプレイ100に示すことができる。医師又は技術者等の臨床医は、計画情報(例えば挿入点、目標点)を設定することができる。
スライス画像300を表示するために、イメージングソフトウェアは、イメージングシステム140によってスキャンされたアキシャルスライスのうちの1つをディスプレイに描画する。また、イメージングソフトウェアは、どのアキシャルスライスが表示されるかについての情報を提供するインジケータバー350も描画する。この実施形態では、バー350は、スライスの左側にオーバーレイされる。しかしながら、他の実施形態では、インジケータバー350は、例えばスライス画像の上、下又は右側に位置してよい。更に、実施形態によっては、インジケータバー350の位置は、入力デバイスを介して(例えば、インジケータバーをクリック又はドラッグすることによって)、ユーザによって移動されてよい。他の実施形態では、バーの長さ全体を大きく又は小さく(すなわち、3次元画像セットのより広い範囲又はより狭い範囲を)見るために、インジケータバー350の中身がズームイン又はズームアウトされてよい。
表示されている画像300は、入力デバイスを用いてユーザによって制御されてよい。インジケータバー350は、インジケータバー350によって示された3次元画像セット全体の中でスライス360をマークすることによって、イメージングシステム140によって提供された3D画像データ内のスライス360の位置を提供する。この特徴により、ユーザは、どの画像スライス300がディスプレイに示されているかを知ることができる。また、ソフトウェアは、図3(A)の左上に示されるように、スライス情報380(例えば厚さ、スライスの数)を示してもよい。入力デバイスは、例えばマウス、タッチスクリーン、キーボード、キーパッド、マイクロフォン、モニタ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、又は他の動作センサ等であってよい。
使用時、ユーザが様々なスライス画像300をスクロールする、又は他の方法で進むのに従って、可視化されたスライス360の位置はインジケータバー350に沿って動いて、そのスライスが他のスライス画像に対してどこにあるかを示す。ユーザが入力デバイスを用いてインジケータバー350に沿ってスクロールするのに従って、スライド画像300は、可視化されたスライス360としてインジケータバー350上に示されたスライスのスライス画像に対応するように変わる。同様に、追加の2次元画像が表示される場合、表示されている画像は、インジケータバー350上に示されたスライスのスライス画像に対応するように変わってよい。
参照により本明細書に組み込まれる米国特許出願公開第2019/0008591号に記載のイメージングソフトウェア等のイメージングソフトウェアにより、ユーザは、腫瘍等の目標位置を指定することができる。ユーザが例えばそれぞれの関連スライス内の腫瘍をクリックした後、イメージングソフトウェアは、指定されたゾーンを表示されているスライス画像300にオーバーレイし、ステータスバー350を更新して、腫瘍の深さを示す。この情報は、ユーザが、生検又は治療のために計画を立て、1つ以上の軌道を定めるために使用することができる。
治療又は生検に2つ以上の針が用いられる場合、例えばアブレーション療法に用いられる針の各々に対応するように、2つ以上の目標点又は2つ以上の挿入点の表示が存在してよい。ユーザは、例えば、ポインタ要素でスライス画像をクリックすることによって、又は、タッチ機能を有するディスプレイスクリーンにタッチすることによって、軌道の挿入点及び目標点を設定することができる。ソフトウェアは、挿入点と、目標点と、必要に応じて両点間の経路とを、任意のスライスにオーバーレイする。曲線状のプローブが用いられるとき、経路は曲線状であってよい。
イメージングソフトウェアは、1つ以上の挿入を計画する際に目標点310及び挿入点320を定めるのに加えて、又はその代わりとして、関心領域370全体を定めてもよい。これは、ユーザが3D画像データ内の2D画像のいずれかに情報を入力して、腫瘍領域又は関心領域を定めることを要求することによって、実現することができる。
実施形態によっては、目標点、挿入点及び必要に応じて関心領域を定める情報の全ては、ユーザによって具体的に定義される。他の実施形態では、このような情報の一部は、アルゴリズムを通して取得することができる。例えば、ユーザは、1つのスライス上に腫瘍を示すことができ、アルゴリズムは、腫瘍境界に基づき、関心領域の寸法を定める。別の例では、ユーザは、単一の目標点と、複数のプローブのためのフォーマット(例えば、3つのプローブのためのフォーマットは、選択された目標点を中心とする三角形パターンである)とを定める。この例では、表示は、単一の目標点か、又は、三角形とプローブ間の距離とによって定められた3つの別個の点かのいずれかであってよい(米国特許出願公開第2019/0008591号参照)。
処置がアブレーションであるとき、ユーザは、プローブのタイプ、サイズ、長さ、パワー、時間及びプローブ数を選択することができる。次いで、ソフトウェアは、予測アブレーションゾーンをスライス画像にオーバーレイすることもできる。ユーザは、各スライスにおいて、予測アブレーションゾーンと指定された腫瘍とを比較することができる。
本発明は、経皮的処置において1つ以上の針を誘導するのに用いられる針誘導デバイスと併せて用いることができる。デバイスは基準マーカを含み、基準マーカは、ディスプレイにおいて可視であってよい。基準マーカは3D座標に一意に置かれるので、ソフトウェアは、デバイスを、例えばCT画像においてレジストレーションことができる。本ソフトウェアは、バーを更新して、基準マーカが存在するスライスを示す。ソフトウェアは、ユーザがデバイスを使用するときに、到達可能エリアをオーバーレイすることができる。
実施形態によっては、インジケータバー350の有する情報は、より多くてもより少なくてもよく、また、インジケータバー350は様々な方式で示されてよい。例えば、3D画像データセット360におけるスライス画像の位置は、図4(A)では矢印で示され、図4(B)では太線で示される。目標点310及び挿入点320のインジケータと共に、関心領域370の深さも示される。
図4(B)によって例示される実施形態では、インジケータバー350は、2つの別個の目標点310を有する。これらの目標点は、楕円及び数字ラベルによって示される。同様に、図4(C)は、本実施形態では同じスライスに生じた2つの別個の目標点310を描写する。2つの別個の目標は、2つの別個の挿入点320と相関する。また、本実施形態は、ユーザによって定めることのできる「お気に入り」又は興味深いスライス380の表示を提供する。
現在のスライス360、目標点310、挿入点320、関心領域370、お気に入りスライス380、基準マーカ390等の様々な識別手段と同様に、他の手段も均等に適用可能とすることができる。例えば、色を使用して、インジケータバー350における様々な特徴を区別し、それについての情報を提供することができる。
スライス画像300において提供される情報は、挿入点、関心領域、関心領域、アブレーションゾーン、到達可能ゾーン(例えば、定められた挿入点からシステムを介して専用針によって到達可能な組織のボリューム)を含んでよい。また、計画されたとおり又は実行されたとおりのプローブ(例えば針)軌道も示されてよい。自動又は手動で検出された基準マーカも提供されてよい。
実施形態によっては、表示されていないスライスに関する情報も、スライス画像300において提供されてよい。例えば、プローブ軌道は、複数のスライス(図4(A)では3つ、図4(B)では8つ)にわたって続いてよい。これは、例えば、表示スライスにおけるプローブ軌道については実線で示され、プローブ軌道が非表示スライスを通って移動するときのプローブ軌道については、透明、灰色又は破線で示されてよい。更に、曲線状のプローブが使用される場合、曲線状の軌道が同様の手段で示されてよい。
更に他の実施形態では、3次元画像セット内の基準マーカ390の位置が、インジケータバー350に表示されてよい。インジケータバーに含まれ得る他の情報として、格子、グリッド線等が挙げられる。
図5は、2D画像スライス300及びインジケータバー350を示す、イメージングソフトウェアシステムの出力のスクリーンショットである。計画及び手術のための追加情報だけでなく、スライス画像の追加のビュー400(例えば挿入平面ビュー、3Dビュー及び/又はサジタルビュー)も表示される。この場合、治療される対象(すなわち肝臓)における腫瘍として、目標点310が、アブレーション療法の針進入のための提案された挿入点320とともに表示される。実施形態によっては、ユーザは、例えば、視認されるスライスを示すインジケータバー350の位置をポインティングデバイスでクリックすることによって、様々なスライス画像に目を通す。この場合、異なるスライスが選択されたとき、表示された画像スライス300と、表示された画像スライスの追加のビュー400の両方が、インジケータバー上の位置によって示されるスライスである。代替として、ユーザは、メインビューウィンドウ300又は追加のウィンドウビュー400の中からの2次元画像スライスの画像をスクロールすることができる。
図5に示されるインジケータバー上の横線は、3次元画像セット内の各画像スライスを示す。3次元画像セット内の2次元画像のスライス幅は、インジケータバー内の横線の間隔によって示される。例えば、5mmスライスの代わりに2mmスライスを有する画像セットが作成される場合、2次元画像スライスの数を示す横線の数は多くなる。
図6に記載の例示的なアブレーション処置では、臨床医は、アブレーションの計画及び実行のステップを含むプロセスにイメージングソフトウェアシステムを用いることができ、プロセスは、限定ではないが、(i)画像をロードすること(例えばスキャナ、PACS若しくはその他のスキャンデバイス/システムから、又は、新規の画像若しくは新たにスキャンされた画像を用いて)(図6のステップS1を参照)、(ii)画像を可視化すること(例えば複数のペイン(アキシャル、コロナル、サジタル、3次元(3D)等のビュー)(例えば各ビューは画像(例えばCT DICOM画像)の異なる側面を表し得る)を表示すること、画像の少なくとも1つのペインを表示すること、画像(例えばCT DICOM画像)をロードし、可視化のためにコンピュータに表示すること、本明細書に記載のインジケータバーを用いて、視覚的に3Dデータセットを進み、再フォーマットされたスライスを3Dビューに表示することによって、ユーザが1つ以上のペインに表示された画像と相互作用することを可能にすること、等により)(図6のステップS2を参照)、(iii)関心領域(アブレーションでは、治療ゾーン又は目標(例えば病変又は腫瘍)とすることができる)を特定すること(図6のステップS3を参照)、(iv)目標点、挿入点又は進入点、及び目標点と挿入点の間の軌道を定めること(図6のステップS4を参照)(ステップS4bに示されるように、ステップS4は、腫瘍又は病変の特性に応じて、1つの軌道がある場合又は複数の軌道(及び複数の目標点)がある場合に、プロセスを繰り返すことを含んでよい)、及び(v)特定の画像の進入点を患者の体の進入点に対応させること(図6のステップS5を参照)、のうちの1つ以上を含んでよい。
関心領域又は目標点及び挿入点が決定されると、インジケータバーは、3次元画像セット内のこれらの特徴の位置を表示する。その結果、臨床医は、インジケータバーに提供された情報を用いて、例えば、画像上のこれらの特徴の位置の正確性を検証し、又は、マージンが許容可能であるかどうかを判定し、又は、軌道(又は複数の軌道)を視認し、又は、他の重要な特徴(例えば血管又は胆管)の位置について画像を調べ、又は、必要とされる針の数及び/又はアブレーション療法のサイズを決定することにより、自由に3次元画像セットを進むことができる。
目標点(及び目標点の数)の決定は、1つ以上の実施形態において臨床医の裁量で行われてよく、又は、病変又は腫瘍等の目標生体オブジェクトの特性(例えば病変又は腫瘍のサイズ、病変又は腫瘍の形状等)に依存してよい。目標点の配置のためのアルゴリズムを介して、臨床的(例えば数学的、統計的等)に最良の選択である目標点が選択されてよい。1つ以上の実施形態では、目標点は、目標又は治療ゾーンの中間軸(medial axis)又は中心線を見つける又は決定することによって、決定されてよい(図6のステップS4を参照)。
図7は、いくつかの実施形態による、イメージングソフトウェアと、針ガイドデバイスのロボット制御サーバと、MRIスキャナを含むMRIシステムとを含む針ガイドデバイスについての例示的なシステム図を示す。図7は、針ガイドデバイスのためのシステムの一例を表すが、本開示は、このようなシステムに限定されない。例えば、いくつかの実施形態によれば、針ガイドデバイスは、手動操作式のデバイスである。例えば、本明細書に記載のシステムとの組合わせで用いることのできる針ガイドデバイスは、米国特許第9,222,996号及び米国特許出願第15/808,703号(その両方が参照により全体として本明細書に組み込まれる)に記載されている。本開示の実施形態と併せて、任意の適切な針ガイドデバイスを用いることができる。以下の図7の説明は、本明細書に記載のシステム及び方法と併せて使用することのできる針ガイドシステムの例にすぎない。
ロボット制御ソフトウェア
実施形態によっては、画像誘導ソフトウェア400、論理制御層406及び物理制御インタフェース408を含む3層のコンポーネントを有するソフトウェアシステムが提供される(図7)。それらのコンポーネントは、独立したソフトウェアプロセスとして実装され、例えばイーサネット及びユニバーサルシリアルバス(USB)を介して互いに通信する。ただし、他の実施形態では、これらのコンポーネントのうちの2つ以上が、単一のソフトウェアプロセスに統合される。
これら3つのコンポーネントの詳細は、以下のとおりである。
画像誘導ソフトウェア
画像誘導ソフトウェア400は、システムにおける最上位層コンポーネントであり、図7に例示される。画像誘導ソフトウェア400は、例えば、医師及び/又はオペレータのための1次ユーザインタフェースとして機能する。該ソフトウェアは、本明細書に記載されるように、3D Slicer(オープンソース医用画像コンピューティングソフトウェア)用のプラグインモジュールとして実装され、このソフトウェア又は他のソフトウェアを通して、コンソール412と、MRIスキャナを含むMRIハードウェア414とを含むMRIシステム404から画像を受信する。画像誘導ソフトウェア400は、以下のタスクを実行する際に医師を支援する。
針配置計画。医師は、計画画像上で目標及び皮膚進入点を指定することによって、針配置の軌道を定めることができる。ソフトウェアは、計画画像のセクションを任意の平面に沿って表示し、医師が、例えばマウスを用いてそれをクリックすることによって、点を指定できるようにする。軌道が定められると、ソフトウェアは、軌道に沿った平面で3D画像を再スライスすることができ、結果として、医師は、経路の周りの重要構造や障害物を見つけることができる(図1参照)。定められた軌道は、ロボット制御サーバ402に転送される。ただし、アクチュエータを動かす最終判断は、ガントリの近くに立っている医師によってなされてよく、医師がフットスイッチを踏むと、アクチュエータの電源が入るようにすることができる。
デバイス対画像レジストレーション。ソフトウェアは、画像座標系に対して針ガイドデバイスを自動的にレジストレーションすることができる。レジストレーションされたデバイスモデルは計画画像データにオーバーレイされ、その接近可能範囲/到達可能ゾーンが画像上に提示され、結果として、オペレータは、全ての目標が範囲にあることを確認することができる(図1、項目103参照)。情報は、例えばOpenIGTLinkプロトコルを用いて、ネットワークを介してロボット制御サーバ402に転送される。
プローブ配置のモニタリング及び確認。ソフトウェアを用いて、処置の計画中又は実行中に、画像にオーバーレイされた3Dモデルにより、デバイスの現在の位置及び向きを可視化することができる。更に、ソフトウェアは、患者の体内に挿入されたプローブを計画軌道及び目標とともに示す確認画像を表示することもできる(図1参照)。これらの特徴により、医師は、デバイスをモニタリングし、プローブ配置を確認することができる。
論理制御層
論理制御層(Logical Control Layer;LCL)406は、システムの中間層にあり、画像誘導ソフトウェア400と下位レベルの物理制御層(Physical Control Layer;PCL)408とのインタフェースとなる。ロボット制御サーバ402のこの層は、デバイスのハードウェア及び運動学的(kinematic)構造をカプセル化することができ、デバイス非依存アプリケーションプログラムインタフェース(API)を上位層に提供することができる。したがって、LCL406は、以下のサブコンポーネントから成る。
上位層へのTCP/IPネットワークインタフェース。このインタフェースを通して、LCL406は、目標位置を含むハードウェアへのコマンドを上位層から受信し、針ガイドの現在の位置及びデバイスの状態を含むハードウェア(410)の現在の状態を上位層に提供する。また、LCL406は、運動学的計算(以下のキネマティクスエンジン参照)の結果として、所要の針挿入深さを上位層に提供する。実施形態によっては、ネットワークインタフェースはOpenIGTLinkプロトコルに準拠するので、ネットワークインタフェースは、OpenIGTLink対応のソフトウェアと通信することができる。
キネマティクスエンジン。実施形態によっては、上位層から受信されたハードウェア非依存コマンドは、針ガイドデバイスのキネマティクスに基づいて個々のアクチュエータの目標位置に変換され、PCL408に送信される。更に、実施形態によっては、PCL408から受信された個々のアクチュエータの現在の位置は、針ガイドの位置及び向きに変換され、上位層に送信される。
下位層へのシリアルインタフェース。LCL406は、ユニバーサルシリアルバス(USB)を通して下位層のサブコンポーネントと通信する。この例示的なインタフェースを通して、個々のアクチュエータの目標位置及び他のデバイス特有のコマンドがPCL408に送信される一方、デバイスの現在の状態及び個々のアクチュエータのエンコーダの読み値(reading)が、画像誘導ソフトウェア400に送信される。このインタフェースを通して交換される情報は、運動学的構造に依存するが、物理的ハードウェア(例えばモータドライバ及びエンコーダ)には依存しない。
物理制御層
物理制御層(PCL)408の役割は、物理的な入出力(I/O)には依存しないが運動学的構造に依存するインタフェースを提供することである。実施形態によっては、PCL408は、LCL406との通信のためのUSBインタフェースと、エンコーダ及びフットスイッチからの入力を読み取り、かつ個々のモータの目標速度をモータドライバに与えるためのデジタル入出力インタフェースとを備えた、Linuxベースの組込型コンピュータ上で動作する。コントローラは、個々のアクチュエータについての目標位置を受信すると、個々のモータの閉ループPID制御を実行する。このプロセス全体を通して、PCL408は、必要に応じて、現在の位置及びその他のデバイス状態を送信し続けることができる。
コンピュータシステム
図8は、本明細書に記載のデバイス及びソフトウェアのためのコンピュータシステムを示す。実施形態によっては、コンピュータシステム500は、本明細書に記載の画像誘導ソフトウェアを含む。例えば、実施形態によっては、コンピュータシステム500は、図7の画像誘導ソフトウェア400を含んでよく、そのコンポーネントは本明細書において詳細に説明される。画像誘導ソフトウェアの様々なプログラム及びデータ、例えばソフトウェアモジュール、ライブラリ、ツール、ユーザインタフェース要素又は他のコンポーネントは、様々な実施形態によれば、任意の適切な方式でコンピュータシステム500に常駐する。例えば、これらのコンポーネントは、1つ以上の記憶位置に常駐してよい。画像誘導ソフトウェアのコンポーネントは、単一のソフトウェアアプリケーションの一部として提供されてよく、又は、複数のスタンドアロンのソフトウェアアプリケーションとして提供されてよい。コンピュータシステム500は、画像誘導ソフトウェアへのアクセスを提供する。実施形態によっては、コンピュータシステム500上で実行される画像誘導ソフトウェアは、本明細書に記載又は図示される1つ以上の方法の1つ以上のステップを実行するか、又は、本明細書に記載又は図示される機能を提供する。例えば、画像誘導ソフトウェアのプログラムは、1つ以上のプロセッサによって実行されたときにコンピュータシステム500に本明細書に記載のプロセスを実行させる命令を含んでよい。
本明細書で使用する際の「コンピュータシステム」という用語は、協働して電子データに対して演算を実行する、1つ以上のソフトウェアモジュール、1つ以上のハードウェアモジュール、1つ以上のファームウェアモジュール又はそれらの組合わせを含むが、これに限定されない。モジュールの物理的レイアウトは様々であってよい。コンピュータシステムは、ネットワークを介して結合された複数のコンピュータデバイスを含んでよい。コンピュータシステムは、内部モジュール(メモリ及びプロセッサ等)が協働して電子データに対して演算を実行する単一のコンピュータデバイスを含んでよい。実施形態によっては、単一のコンピュータシステム500は、画像誘導ソフトウェアを含む。
実施形態によっては、コンピュータシステム500上で実行される画像誘導ソフトウェアは、ロボット制御サーバ402と相互作用し、MRIシステム404と相互作用する。コンピュータシステム500は、任意の適切なプロトコル、規格、データ交換フォーマット又はそれらの組合わせを用いて、本明細書に記載のシステムのうちの1つ以上と通信し、それらとの間で情報を送受信してよい。コンピュータシステム500は、OpenIGTLinkを用いて、情報及び要求を送受信してよい。コンピュータシステム500は、DICOM(Digital Imaging and Communications in Medicine)ファイル及びデータを受信し、送信し、かつ記憶することができる。例えば、コンピュータシステム500は、MRIシステム404から医用画像を受信してよい。更に、コンピュータシステム500は、HTTP要求を送信し、HTTP応答を提供してよい。応答は、ハイパーテキスト・マークアップ・ランゲージ(HTML)ファイル、又は他の適切なファイル、JAVASCRIPT等の実行可能コード、フォーム要素、画像、又は他のコンテンツを含んでよい。コンテンツの1つ以上の要素が、コンピュータシステム500に記憶されてよい。実施形態によっては、コンピュータシステム500は、Simple Object Access Protocol(SOAP)を用いて、メッセージを送受信する。
図8に示されるコンピュータシステム500は、1つ以上のプロセッサ501と、メモリ502と、記憶装置503と、入出力(I/O)インタフェース504と、通信インタフェース505と、バス506とを含む。コンピュータシステム500は、任意の適切な物理的形態をとってよい。例えば、限定としてではなく、コンピュータシステム500は、埋込型コンピュータシステム、システムオンチップ(SOC)、シングルボードコンピュータ(SBC)システム(例えばコンピュータオンモジュール(COM)又はシステムオンモジュール(SOM))、デスクトップコンピュータシステム、ラップトップ又はノートブック型コンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、PDA、タブレットコンピュータシステム、1つ以上のサーバ、ワークステーション、又はこれらのうちの2つ以上の組合わせであってよい。実施形態によっては、コンピュータシステム500はユニタリーである。実施形態によっては、コンピュータシステム500は分散型である。コンピュータシステム500は、複数の位置にまたがってよい。コンピュータシステム500は、複数の機械にまたがってよい。
プロセッサ501は、コンピュータプログラムを構成する命令等の命令を実行するためのハードウェアを含む。プロセッサ501は、メモリ502、記憶装置503、内部レジスタ又は内部キャッシュから、命令を読み出すことができる。プロセッサ501は、次に、命令を復号して実行する。次に、プロセッサ501は、メモリ502、記憶装置503、内部レジスタ又は内部キャッシュに、1つ以上の結果を書き込む。プロセッサ501は、オペレーティングシステム、プログラム、ユーザインタフェース及びアプリケーションインタフェース、並びにコンピュータシステム500の任意の他の機能を実行する処理能力を提供することができる。
プロセッサ501は、中央処理装置(CPU)、1つ以上の汎用マイクロプロセッサ、特定用途向けマイクロプロセッサ及び/又は専用マイクロプロセッサ、又は当該の処理コンポーネントの何らかの組合わせを含んでよい。プロセッサ501は、1つ以上のグラフィックスプロセッサ、ビデオプロセッサ、オーディオプロセッサ及び/又は関連チップセットを含んでよい。
実施形態によっては、メモリ502は、プロセッサ501が実行する命令又はプロセッサ501が作用するデータを記憶するためのメインメモリを含む。例として、コンピュータシステム500は、記憶装置503又は別のソースからメモリ502に命令をロードしてよい。命令の実行中又は実行後に、プロセッサ501は、1つ以上の結果(中間結果であっても最終結果であってもよい)をメモリ202に書き込んでよい。1つ以上のメモリバス(それぞれアドレスバス及びデータバスを含んでよい)は、プロセッサ501をメモリ502に結合してよい。1つ以上のメモリ管理ユニット(Memory Management Unit;MMU)は、プロセッサ501とメモリ502との間に常駐して、プロセッサ501によって要求されたメモリ502へのアクセスを容易にすることができる。メモリ502は、1つ以上のメモリを含んでよい。メモリ502は、ランダムアクセスメモリ(RAM)であってよい。
記憶装置503は、データ及び/又は命令を記憶する。限定としてではなく例として、記憶装置503は、ハードディスクドライブ、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ若しくはユニバーサルシリアルバス(USB)ドライブ、又はこれらのうちの2つ以上の組合わせを含んでよい。実施形態によっては、記憶装置503は、取外し可能な媒体である。実施形態によっては、記憶装置203は、固定された媒体である。実施形態によって、記憶装置503は、コンピュータシステム500の内部にある。実施形態によっては、記憶装置503は、コンピュータシステム500の外部にある。実施形態によっては、記憶装置503は、不揮発性のソリッドステートメモリである。実施形態によっては、記憶装置503は、読取り専用メモリ(ROM)を含む。該当する場合、このROMは、マスクプログラムROM、プログラム可能ROM(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、電気的書換え可能ROM(Electrically Alterable ROM;EAROM)若しくはフラッシュメモリ、又はこれらのうちの2つ以上の組合わせであってよい。記憶装置503は、1つ以上のメモリデバイスを含んでよい。記憶装置503は、アプリケーションデータ、プログラムモジュール及び他の情報を記憶してよい。記憶装置503に記憶された1つ以上のプログラムモジュールは、本明細書に記載の様々な動作及びプロセスを実行させるように構成される。実施形態によっては、画像誘導ソフトウェアは、記憶装置503に常駐し、コンピュータシステム500上で実行される。記憶装置503は更に、コンピュータシステム500の様々な機能、グラフィカルユーザインタフェース(GUI)機能及び/又はプロセッサ機能を有効にする他のプログラム及び/又はドライバを記憶してよい。また、記憶装置503は、例えば画像データ、ユーザデータ、構成情報、グラフィカル要素又はテンプレート等のGUIコンポーネント、又はコンピュータシステム500によって要求される他のデータを含むデータファイルを記憶してよい。
I/Oインタフェース504は、コンピュータシステム500と1つ以上のI/Oデバイスとの間の通信のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア又はその両方を含む。実施形態によっては、コンピュータシステム500は、1つ以上のI/Oデバイスを含む。このようなI/Oデバイスのうちの1つ以上は、人とコンピュータシステム500との間の通信を可能にすることができる。1つのI/Oデバイスは、インジケータバーに沿ってスクロールするための入力デバイスである。限定としてではなく例として、I/Oデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、タッチパッド、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なI/Oデバイス、又はこれらのうちの2つ以上の組合わせを含んでよい。I/Oデバイスは、1つ以上のセンサを含んでよい。実施形態によっては、I/Oインタフェース504は、プロセッサ501にこのようなI/Oデバイスのうちの1つ以上を駆動することを可能にさせる、1つ以上のデバイス又はソフトウェアドライバを含む。I/Oインタフェース504は、1つ以上のI/Oインタフェースを含んでよい。
実施形態によっては、コンピュータシステム500はディスプレイを含む。例えば、ディスプレイは、液晶ディスプレイ(LCD)であってよい。実施形態によっては、コンピュータシステム500上で動作する画像誘導ソフトウェアは、ディスプレイ上にGUIデータを提示する。実施形態によっては、GUIデータは、医用画像データと併せて提示される。ディスプレイへの信号の出力に関して、プロセッサ501は、ディスプレイに表示される画像をラスタライズし、ラスタライズされた画像をI/Oインタフェース504を介してディスプレイに転送する。次に、ディスプレイは、GUI等の画像を表示する。プロセッサ501は更に、MRIシステム404からの医用画像等の他のタイプの画像をディスプレイに表示させるように動作可能である。コンピュータシステム500は、ディスプレイにおけるユーザ入力に基づいて、入力信号を受信してよい。例えば、実施形態によっては、ディスプレイは、ディスプレイ上の1つ以上のインタフェース要素にタッチすることに基づいて、ユーザ入力又はコマンドを受け取るように動作可能なタッチセンサ要素を含む。インタフェース要素は、ディスプレイ上に提示されたグラフィカルオブジェクトであってよい。ユーザは、指、スタイラス又は他のツールを用いてタッチセンサ式ディスプレイにタッチして、ユーザ入力を提供することができる。ユーザがタッチセンサ式ディスプレイ上の特定の領域にタッチすると、I/Oインタフェース504を介して、プロセッサ501に領域の座標が通知される。プロセッサ501は、通知された座標とディスプレイ上の表示内容とに基づいて、ユーザ入力の内容を決定し、それらに基づいて処理を実行する。実施形態によっては、ユーザの入力及び選択を受け取るために、ディスプレイ上に提示される情報と併せてマウス又はタッチパッドが用いられる。例えば、ディスプレイ上のGUIに提示された1つ以上のインタフェース要素を選択するために、カーソルが使用されてよい。様々な実施形態によれば、ディスプレイ上のGUIに提示された医用画像上の1つ以上の位置を指定して、例えば目標と、針を患者に挿入するための計画された挿入点とを示すために、タッチセンサ式ディスプレイ、カーソル、又は入力を提供するのに適した他の方法が用いられる。
実施形態によっては、コンピュータシステム500は、キーボード/キーパッドを含む。ユーザ入力は、キーボード/キーパッドを介して提供されてもよい。ユーザがキーボード/キーパッドのハードキーを押圧すると、I/Oインタフェース504を介して、プロセッサ501に、ユーザ入力を示す情報が通知される。プロセッサ501は、通知に基づいて処理を実行する。キーボード/キーパッドのハードキー及び/又はボタンは、任意の適切な構成で配置されてよい。更に、入力構造は、個々の実装要件に応じて、ボタン、キー、スイッチ、コントロールパッド、又は他の適切な構造を含んでよい。
通信インタフェース505は、コンピュータシステム500と1つ以上の他のコンピュータシステム又は1つ以上のネットワークとの間の通信(例えばパケットベースの通信等)のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア又はその両方を含む。限定としてではなく例として、通信インタフェース505は、イーサネット又は他の有線ネットワークと通信するためのネットワークインタフェースカード(NIC)若しくはネットワークコントローラ、又は、WI−FIネットワーク等の無線ネットワークと通信するためのワイヤレスNIC(WNIC)若しくは無線アダプタを含んでよい。本開示は、それについて、任意の適切なネットワーク及び任意の適切な通信インタフェース505を企図している。限定としてではなく例として、コンピュータシステム500は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、若しくはインターネットの1つ以上の部分、又はこれらのうちの2つ以上の組合わせと通信してよい。このようなネットワークのうちの1つ以上のうちの1つ以上の部分は、有線であっても無線であってもよい。例として、コンピュータシステム500は、無線PAN(WPAN)(例えばBluetooth WPAN又は超広帯域(Ultra-Wideband;UWB)ネットワーク)、WI−FIネットワーク、WI−MAXネットワーク、携帯電話ネットワーク(例えばGSM(Global System for Mobile Communications)ネットワーク)若しくは他の適切な無線ネットワーク、又はこれらのうちの2つ以上の組合わせと通信してよい。コンピュータシステム500は、該当する場合、このようなネットワークのうちのいずれかについて、任意の適切な通信インタフェース505を含んでよい。通信インタフェース505は、1つ以上の通信インタフェース505を含んでよい。
バス506は、コンピュータシステム500の様々なコンポーネントを相互接続し、それにより、データの伝送と様々なプロセスの実行を可能にする。バス506は、様々なバスアーキテクチャのうちのいずれかを用いる、メモリバス又はメモリコントローラ、周辺バス及びローカルバスを含む、1つ以上のタイプのバス構造を含んでよい。
以上の説明は、本開示の原理を説明するのに役立つものであるが、本開示は、上記の例に限定されるべきではない。例えば、様々な動作のうちの一部の順序及び/又はタイミングは、本開示の範囲を逸脱することなく、上に挙げた例とは異なることができる。更に、例として、ネットワーク及び/又はコンピュータシステムのタイプは、本開示の範囲を逸脱することなく、上に挙げた例とは異なることができる。本開示の範囲を逸脱することなく、上に挙げた例以外の変形も存在することができる。GUIの特定の例を図示したが、GUIの様々な他の実装が本開示の範囲内にあることが理解されるであろう。例えば、本開示の範囲を逸脱することなく、図示された例の様々な特徴を修正、再配置又は排除することができ、又は、1つ以上の特徴を追加することができる。
本開示の範囲は、1つ以上のプロセッサによって実行されると1つ以上のプロセッサに本明細書に記載の1つ以上の実施形態を実行させる命令を記憶したコンピュータ可読媒体を含む。コンピュータ可読媒体の例として、ハードディスク、フロッピーディスク、光磁気(magneto-optical;MO)ディスク、コンパクトディスク読取り専用メモリ(CD−ROM)、CD−R(compact disk recordable)、CD−RW(CD-Rewritable)、デジタル汎用ディスクROM(Digital Versatile Disk ROM;DVD−ROM)、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性メモリカード及びROMが挙げられる。コンピュータ実行可能命令は、ネットワークを介してダウンロードされることによって、コンピュータ可読記憶媒体に供給されることもできる。
例示的な実施形態に関連して本開示を説明したが、記載された例示的な実施形態に本開示が限定されないことを理解されたい。
本明細書の開示は特定の実施形態を参照して説明されたが、これらの実施形態は本開示の原理及び用途の例示にすぎない(そしてそれに限定されない)ことを理解されたい。したがって、例示的な実施形態に対して多数の修正を行うことができ、本開示の主旨及び範囲から逸脱することなく他の構成を考案することができることを理解されたい。添付の特許請求の範囲は、そのような全ての修正並びに均等の構造及び機能を包含するように、最も広い解釈が与えられるべきである。

Claims (17)

  1. 2次元画像スライスのスタックを含む3次元画像セットを取得し、
    前記3次元画像セットにおける少なくとも1つの関心領域又は少なくとも1つの目標点の位置を取得し、
    前記3次元画像セットにおける少なくとも1つの挿入点の位置を取得し、
    ディスプレイに、前記3次元画像セットからの第1の2次元画像スライスを表示させ、
    前記ディスプレイに、前記第1の2次元画像スライスと同時に、インジケータバーを表示させるように動作するプロセッサを備え、
    前記インジケータバーは、
    前記3次元画像セット内の前記第1の2次元画像スライスの位置と、
    前記3次元画像セット内の前記少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、
    前記3次元画像セットを伴う前記挿入点の前記位置と、
    を示す、画像処理装置。
  2. 前記プロセッサは、
    前記目標点と前記挿入点とをつなげる参照軌道と、
    ツールが前記挿入点から到達可能なボリュームを表す到達可能ゾーンと、
    前記第1の2次元画像スライス上の1つ以上の基準マーカの位置と、
    のうちの少なくとも1つを生成し、前記第1の2次元画像スライス上に表示する、請求項1に記載の画像処理装置。
  3. 前記画像における前記少なくとも1つの関心領域又は少なくとも1つの目標点と、前記少なくとも1つの挿入点とは、表示された前記第1の2次元画像スライスにおいて位置を選択するためのユーザ入力を受け取るのに応答して決定される、請求項1に記載の画像処理装置。
  4. 前記3次元画像セットは、超音波画像セット、コンピュータ断層撮影(CT)画像セット又は磁気共鳴(MR)画像セットである、請求項1に記載の画像処理装置。
  5. 前記第1の2次元画像スライスに針ガイドデバイスのデジタル表現がオーバーレイされる、請求項1に記載の画像処理装置。
  6. 前記プロセッサは、1つ以上のユーザ入力デバイスから、前記画像における前記少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、前記少なくとも1つの挿入点の前記位置とを取得する、請求項1に記載の画像処理装置。
  7. 前記プロセッサは、表示された前記第1の2次元画像スライスにスーパーインポーズされた前記関心領域及び前記挿入点を表示する、請求項1に記載の画像処理装置。
  8. 前記3次元画像セット内の第2の2次元画像スライスを含む望ましい観察位置を入力するための入力手段を更に備え、前記プロセッサは更に、前記ディスプレイに、3次元画像セットからの前記第2の2次元画像スライスを表示させる、請求項1に記載の画像処理装置。
  9. 針配置のプロセス、計画又はアセスメントをサポートするための画像処理装置であって、
    2次元画像スライスのスタックを含む3次元画像セットを取得し、
    前記3次元画像セットにおける少なくとも1つの関心領域又は少なくとも1つの目標点の位置を取得し、
    前記3次元画像セットにおける少なくとも1つの挿入点の位置を取得し、
    ディスプレイに、前記3次元画像セットからの第1の2次元画像スライスを表示させ、
    前記ディスプレイに、前記第1の2次元画像スライスと同時に、インジケータバーを表示させるように動作するプロセッサを備え、
    前記インジケータバーは、
    前記3次元画像セット内の前記第1の2次元画像スライスの位置と、
    前記3次元画像セット内の前記少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、
    前記3次元画像セットを伴う前記挿入点の前記位置と、を示し、
    前記プロセッサは、前記ディスプレイに、3次元画像セットからの第2の2次元画像スライスを表示させる、画像処理装置。
  10. 経皮的プローブ治療のための計画をするための画像処理装置の作動方法であって、
    前記画像処理装置が、2次元画像スライスのスタックを含む3次元画像セットを取得することと、
    前記画像処理装置が、前記3次元画像セットにおける少なくとも1つの関心領域又は少なくとも1つの目標点の位置を取得することと、
    前記画像処理装置が、前記3次元画像セットにおける少なくとも1つの挿入点の位置を取得することと、
    前記画像処理装置が、ディスプレイに、前記3次元画像セットからの第1の2次元画像スライスを表示させることと、
    前記画像処理装置が、前記ディスプレイに、前記第1の2次元画像スライスと同時に、インジケータバーを表示させることと、を含み、
    前記インジケータバーは、
    前記3次元画像セット内の前記第1の2次元画像スライスの位置と、
    前記3次元画像セット内の前記少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、
    前記3次元画像セットを伴う前記挿入点の前記位置と、を示す、方法。
  11. 記プロセッサに、
    前記目標点と前記挿入点とをつなぐ参照軌道と、
    ツールが前記挿入点から到達可能なボリュームを表す到達可能ゾーンと、
    前記第1の2次元画像スライス上の1つ以上の基準マーカの位置と、
    のうちの少なくとも1つを、前記第1の2次元画像スライスに表示させることを更に含む、請求項10に記載の方法。
  12. 少なくとも1つのユーザ入力を受け取って、前記画像における少なくとも1つの関心領域又は少なくとも1つの目標点の前記位置と、前記少なくとも1つの挿入点の位置とを取得することを更に含む、請求項10に記載の方法。
  13. 3次元画像セットを取得することは、治療される対象の超音波画像セット、コンピュータ断層撮影(CT)画像セット及び磁気共鳴(MR)画像セットのうちの少なくとも1つを取得することを含む、請求項10に記載の方法。
  14. 前記第1の2次元画像スライスに針ガイドデバイスのデジタル表現をオーバーレイすることを更に含む、請求項10に記載の方法。
  15. 前記第1の2次元画像スライスの表示を、前記インジケータバー上の入力デバイスによって定められた位置に対応するように変えることを更に含む、請求項10に記載の方法。
  16. 命令を有するイメージングアプリケーションを記憶したイメージングサーバであって、前記命令は、プロセッサによって実行されると、前記イメージングサーバに請求項10に記載の方法を実行させる、イメージングサーバ。
  17. イメージングサーバに請求項10に記載の方法を実行させるためのイメージングアプリケーションを記憶した、非一時的コンピュータ可読記憶媒体。
JP2019189926A 2018-10-19 2019-10-17 2次元画像上の3次元画像データの可視化 Active JP6941145B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862748168P 2018-10-19 2018-10-19
US62/748,168 2018-10-19
US16/591,332 2019-10-02
US16/591,332 US11344371B2 (en) 2018-10-19 2019-10-02 Visualization of three-dimensional image data on a two-dimensional image

Publications (2)

Publication Number Publication Date
JP2020099672A JP2020099672A (ja) 2020-07-02
JP6941145B2 true JP6941145B2 (ja) 2021-09-29

Family

ID=70281162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019189926A Active JP6941145B2 (ja) 2018-10-19 2019-10-17 2次元画像上の3次元画像データの可視化

Country Status (2)

Country Link
US (1) US11344371B2 (ja)
JP (1) JP6941145B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181731A1 (ja) * 2020-03-09 2021-09-16 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
CN112347452B (zh) * 2020-11-10 2023-08-04 上海祺鲲信息科技有限公司 电子合同签署的方法、电子设备及存储介质
WO2022245767A1 (en) * 2021-05-18 2022-11-24 Covidien Lp Systems and methods for calculating tissue resistance and determining optimal needle insertion path
CN113961124B (zh) * 2021-09-27 2024-02-27 上海联影医疗科技股份有限公司 医学图像显示方法、装置、计算机设备和存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010149A (ja) 2001-06-22 2003-01-14 Ge Medical Systems Global Technology Co Llc 磁気共鳴撮影装置
US20110007071A1 (en) 2009-07-08 2011-01-13 Marcus Pfister Method for Supporting Puncture Planning in a Puncture of an Examination Object
US9360235B2 (en) 2009-12-29 2016-06-07 OAS Design Group, Inc. Wave generated energy focusing lens and reflector for solar concentration, collection, and harnessing
JP5580709B2 (ja) 2010-10-05 2014-08-27 株式会社アドバンテスト 試験装置及び試験方法
EP2745266B1 (en) 2011-09-07 2020-05-13 Koninklijke Philips N.V. Interactive live segmentation with automatic selection of optimal tomography slice
JP6055476B2 (ja) 2011-09-19 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像処理において使用されるguiにおける多次元画像のサブボリュームのための状態インジケータ
US9710146B2 (en) 2011-09-29 2017-07-18 Hitachi, Ltd. System and method for image display control
US9474400B2 (en) 2012-07-27 2016-10-25 Anthony C. Farris Combination bracket and garment hanger system and assembly mountable to an overhead trim piece associated with a doorway such as for rotatably supporting a garment during steam cleaning
KR101911218B1 (ko) 2012-10-30 2018-10-24 삼성전자주식회사 운동량 계산 방법 및 장치
CN105027480B (zh) 2013-01-25 2018-01-16 Lg电子株式会社 用于在无线通信系统中执行初始接入过程的方法和装置
US9222996B2 (en) 2013-03-15 2015-12-29 The Brigham And Women's Hospital, Inc. Needle placement manipulator with two rotary guides
EP3022620B1 (en) 2013-07-19 2020-09-02 African Oxygen Limited Encapsulated valve with lever action
JP6230708B2 (ja) 2013-07-30 2017-11-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 撮像データセットの間の所見のマッチング
JP6467434B2 (ja) 2014-02-27 2019-02-13 ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッドThe Brigham and Women’s Hospital, Inc. 載置装置
US9396534B2 (en) * 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
US9788504B2 (en) 2015-06-30 2017-10-17 Monsanto Technology Llc Plants and seeds of canola variety SCV167385
US9867673B2 (en) 2015-07-14 2018-01-16 Canon U.S.A, Inc. Medical support device
KR102551695B1 (ko) 2015-11-25 2023-07-06 삼성메디슨 주식회사 의료 영상 장치 및 그 동작방법
CN106902357B (zh) 2015-12-21 2021-08-03 广州市香雪制药股份有限公司 药物组合物及其应用、药物包合物、静脉制剂及制备方法
WO2017180643A1 (en) 2016-04-12 2017-10-19 Canon U.S.A., Inc. Organ motion compensation
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
US10695087B2 (en) 2016-10-19 2020-06-30 Canon U.S.A., Inc. Placement manipulator and attachment for positioning a puncture instrument
WO2018175094A1 (en) 2017-03-21 2018-09-27 Canon U.S.A., Inc. Methods, apparatuses and storage mediums for ablation planning and performance
US10499879B2 (en) 2017-05-31 2019-12-10 General Electric Company Systems and methods for displaying intersections on ultrasound images
US10699448B2 (en) * 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
EP3648692A1 (en) * 2017-07-07 2020-05-13 Canon U.S.A. Inc. Multiple probe ablation planning
US11202652B2 (en) 2017-08-11 2021-12-21 Canon U.S.A., Inc. Registration and motion compensation for patient-mounted needle guide
US10918441B2 (en) 2017-11-22 2021-02-16 Canon U.S.A., Inc. Devices, systems, and methods for ablation-zone simulation and visualization
US10751128B2 (en) 2017-11-22 2020-08-25 Canon U.S.A., Inc. Devices, systems, and methods for ablation-zone simulation and visualization
US11317972B2 (en) 2018-03-17 2022-05-03 Canon U.S.A., Inc. Method for virtual device positioning on skin surface in 3D medical image data
US11707259B2 (en) 2018-10-19 2023-07-25 Canon U.S.A., Inc. Wireless needle guidance using encoder sensor and encoder scale to achieve positional sensing between movable components
US11786307B2 (en) 2018-10-19 2023-10-17 Canon U.S.A., Inc. Visualization and manipulation of results from a device-to-image registration algorithm

Also Published As

Publication number Publication date
US20200121393A1 (en) 2020-04-23
US11344371B2 (en) 2022-05-31
JP2020099672A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
JP6941145B2 (ja) 2次元画像上の3次元画像データの可視化
US11317972B2 (en) Method for virtual device positioning on skin surface in 3D medical image data
CN109069131B (zh) 用于乳腺组织成像的超声系统和方法
EP1356419B1 (en) Graphical user interface for display of anatomical information
JP6782754B2 (ja) 高度な自動デバイス画像間の位置合わせのための自動画像クロップ
JP6559917B2 (ja) 超音波システム並びに乳房組織の撮像及び乳房超音波画像のアノテーション方法
EP3857519B1 (en) Overlay and manipulation of medical images in a virtual environment
JP5747007B2 (ja) 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
JP2017525418A (ja) インテリジェントディスプレイ
CN102203714A (zh) 乳房超声注释用户界面
JP2009086765A (ja) 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US20140055448A1 (en) 3D Image Navigation Method
US20210330387A1 (en) Visualization of three-dimensional image data on two- dimensional images
JP2005185405A (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP2009022476A (ja) 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
JP2020036708A (ja) 手術支援装置及び手術ナビゲーションシステム
KR101611484B1 (ko) 의료영상의 제공방법
EP3342347B1 (en) Method and apparatus for displaying medical image
JP7323989B2 (ja) コンピュータプログラム、記録媒体、表示装置及び表示方法
JP7279133B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6902012B2 (ja) 医用画像表示端末および医用画像表示プログラム
JP2023544873A (ja) 処置の視覚化及びガイダンス
JP2021171443A (ja) 医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム
JP2019111163A (ja) 医用画像表示システム及び医用画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210903

R150 Certificate of patent or registration of utility model

Ref document number: 6941145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150