JP2024037139A - 医用撮像システムおよび医用撮像方法 - Google Patents
医用撮像システムおよび医用撮像方法 Download PDFInfo
- Publication number
- JP2024037139A JP2024037139A JP2023113460A JP2023113460A JP2024037139A JP 2024037139 A JP2024037139 A JP 2024037139A JP 2023113460 A JP2023113460 A JP 2023113460A JP 2023113460 A JP2023113460 A JP 2023113460A JP 2024037139 A JP2024037139 A JP 2024037139A
- Authority
- JP
- Japan
- Prior art keywords
- tracking system
- medical
- image
- orientation
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims description 23
- 239000003550 marker Substances 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 88
- 239000000523 sample Substances 0.000 claims description 61
- 238000005259 measurement Methods 0.000 claims description 55
- 238000002604 ultrasonography Methods 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 26
- 238000012285 ultrasound imaging Methods 0.000 claims description 16
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000002679 ablation Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 23
- 230000009466 transformation Effects 0.000 description 22
- 239000013598 vector Substances 0.000 description 13
- 210000000056 organ Anatomy 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013188 needle biopsy Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】ユーザにとって快適な画像を頭部装着型表示装置に表示させること。【解決手段】本実施形態に係る医用撮像システムは、患者または患者の画像を視認可能な頭部装着型表示装置と、医用機器の位置と向きを決定する第1の追跡システムと、頭部装着型表示装置の位置と向きを決定する第2の追跡システムと、第1または第2の追跡システムにより位置と向きが検出可能であって第1の追跡システムの基準系または頭部装着型表示装置に対して既知または決定可能な位置と向きを有する少なくとも1つのマーカーと、第1の追跡システムと頭部装着型表示装置の基準系の位置合わせをマーカーの位置と向きを用いて実行し、位置合わせに基づいて患者のビューまたは画像に対してアライメントされた医用機器の模擬画像と、位置合わせに基づいてアライメントされた医用画像と医用機器の模擬画像、のうちの少なくとも1つを、頭部装着型表示装置に表示させる処理回路と備える。【選択図】図9
Description
本発明は、概して、例えば、頭部装着装置を用いて医用画像および/または医用機器の模擬画像を表示させる方法など、医用撮像システムと方法に関する。例えば、本実施形態は、医用撮像システムおよび医用撮像方法に関する。
医用撮像プロシージャ(medical imaging procedures)において、ライブ画像データをディスプレイスクリーン上に表示することがある。これには、オペレータが患者または他の被検体を見ることとディスプレイスクリーンを見ることとを切り替える必要があり、オペレータにとって人間工学に適ったものではなく、および/または、快適ではないことがある。
ライブ画像データを表示するために、拡張現実(Augmented Reality:AR)または仮想現実(Virtual Reality:VR)ヘッドセットを医用撮像中に使用してよい。そのような医用撮像プロシージャにおいて、画像データを得るために測定プローブを用いてよい。さらに、医用プロシージャを行うために、医用機器を用いてよい。例えば、ニードルを誘導する生検プロシージャ(biopsy procedures)では、患者または他の被検体から組織サンプルを得るためにニードルを用いてよい。ニードルは組織内に挿入され、測定プローブを使って誘導される。
測定プローブおよび/またはニードルの位置に対する画像データを表示するために、ヘッドセットを用いてよい。測定プローブおよび/またはニードルを光学的に追跡してよい。しかし、ヘッドセット、測定プローブおよび/またはニードルはそれぞれ独立して動き、このため、ヘッドセットが表示するライブ画像を測定プローブおよび/またはニードルの位置にアライメント(alignment:調整)することが困難になることがある。また、測定プローブおよび/またはニードルをヘッドセットの視野の外側で使用することがある。測定プローブおよび/またはニードルを光学的に追跡することで、精度または精密性および/または速度の低下したニードル生検を行うようになってしまうことがある。
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ユーザにとって快適な画像を頭部装着型表示装置に表示させることにある。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
本実施形態に係る医用撮像システムは、頭部装着型表示装置と、第1の追跡システムと、第2の追跡システムと、少なくとも1つのマーカーと、処理回路と、を備える。頭部装着型表示装置は、ユーザが患者または前記患者の画像を見ることができる。第1の追跡システムは、医用機器の位置と前記医用機器の向きとを決定する。第2の追跡システムは、前記頭部装着型表示装置の位置と前記頭部装着型表示装置の向きとを決定する。少なくとも1つのマーカーは、前記第2の追跡システムにより位置と向きとが検出可能である。少なくとも1つのマーカーは、前記第1の追跡システムの基準系に対して既知または決定可能な位置と向きとを有し、または、前記第1の追跡システムにより位置と向きとが検出可能であり、前記頭部装着型表示装置に対して既知または決定可能な位置と向きを有する。処理回路は、前記第1の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、前記マーカーの前記位置と前記マーカーの前記向きとを用いて実行する。処理回路は、前記位置合わせに基づいて前記患者のビューまたは前記患者の画像に対してアライメントされた(調整された)前記医用機器の模擬画像と、前記位置合わせに基づいてアライメントされた(調整された)医用画像と前記医用機器の模擬画像と、のうちの少なくとも1つを、前記頭部装着型表示装置に表示させる。
ある実施形態は、ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置と、医用機器の位置と向きとを決定する第1の追跡システムと、前記頭部装着型表示装置の位置と向きとを決定する第2の追跡システムと、少なくとも1つのマーカーであって、前記第2の追跡システムによりその位置と向きとが検出可能であり前記第1の追跡システムの基準系に対して既知または決定可能な位置と向きとを有する、若しくは、前記第1の追跡システムによりその位置と向きとが検出可能であり前記頭部装着型表示装置に対して既知または決定可能な位置と向きとを有する少なくとも1つのマーカーと、前記第1の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、前記少なくとも1つのマーカーの前記位置と向きとを用いて行い、前記位置合わせに基づいて前記患者のビューまたは画像に対してアライメントされた前記医用機器の模擬画像と、前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、のうちの少なくとも1つを、前記頭部装着型表示装置を用いて表示させる、処理回路と、を備えた医用撮像システムを提供する。
ある実施形態は、ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置を与えることと、医用機器の位置と向きとを第1の追跡システムを用いて決定することと、前記頭部装着型表示装置の位置と向きとを第2の追跡システムを用いて決定することと、少なくとも1つのマーカーの位置と向きとを前記第2の追跡システムにより検出することであって、前記少なくとも1つのマーカーは前記第1の追跡システムの基準系に対して既知または決定可能な位置と向きとを有する、若しくは、前記少なくとも1つのマーカーの位置と向きとを前記第1の追跡システムにより検出することであって、前記少なくとも1つのマーカーは前記頭部装着型表示装置に対して既知または決定可能な位置と向きとを有することと、前記第1の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、処理回路と前記少なくとも1つのマーカーの前記位置と向きとを用いて行い、前記処理回路と前記頭部装着型表示装置とを用いて、前記位置合わせに基づいて前記患者のビューまたは画像に対してアライメントされた前記医用機器の模擬画像と、前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、のうちの少なくとも1つを表示させることと、を含む医用撮像方法を提供する。
実施形態に従った医用撮像システム10が、図1に概略的に示される。医用撮像システム10は、単にシステム10と称されてもよい。本実施形態において、システム10は、超音波撮像システム12を備える。他の実施形態において、当該システムは、コンピュータ断層撮影(computer tomography:CT)システム、X線撮像システムまたは他の医用撮像システムを備えてよい。
実施形態では、超音波撮像システム12は、超音波スキャンから超音波データを取得し、当該超音波データを処理して超音波画像を得るように構成される。超音波撮像システム12は、測定プローブ14を備える。任意の好適な種類の超音波撮像システム12および測定プローブ14を用いてよい。測定プローブ14をプローブ、超音波プローブ、または測定装置と称することもある。
超音波撮像システム12は、メインの超音波画像を表示するための主ディスプレイスクリーン16を備える。超音波マシン(超音波撮像システム)12は、スキャナコンソール20を更に備える。スキャナコンソール20は、制御情報を表示するための制御スクリーン18と、各種制御ノブ19を有する入力装置とを備える。入力装置は、コンピュータキーボード、マウス、またはトラックボール(図示せず)を更に備えてよい。制御ノブ19および/または他の入力装置を用いて、複数のハードウェアおよびソフトウェアパラメータの値を調整してよい。本実施形態では、制御スクリーン18は、表示装置でありユーザ入力装置でもあるタッチスクリーンである。更なる実施形態では、超音波マシン(超音波撮像システム)12の一部を形成しない制御スクリーン18、ディスプレイスクリーンまたは主ディスプレイスクリーン16を備えてよい。
超音波マシン(超音波撮像システム)12はデータ記憶部21を備える。超音波撮像システム12は、画像データを含むデータを処理するための処理装置22を備える。画像データを超音波データと称することもある。処理装置22は、中央演算処理装置(Central Processing Unit:CPU)およびグラフィカルプロセッシングユニット(Graphical Processing Unit:GPU)を備える。処理装置22は、処理回路24を有する。処理回路24をCPU、GPU、またはCPUとGPUとを組み合わせたものに実装してよい。
本実施形態では、処理回路24は、システム10の1つまたは複数のオペレーションを実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、処理装置22のCPUおよび/またはGPUに実装される。しかし、他の実施形態では、処理回路24は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアとの任意の好適な組み合わせに実装されてよい。いくつかの実施形態では、各種回路が、1つまたは複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)またはフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)として実装されてよい。
代替となる実施形態では、処理回路24を備える処理装置22は、任意の好適な医用撮像装置(例えば、CTシステムまたはX線撮像システム)または画像処理装置(例えば、PCまたはワークステーション)の一部であってよい。処理装置22は、撮像データの任意の好適なモダリティを処理するように構成されてよい。
処理装置22は、ハードドライブおよびRAM、ROM、データバスを含む他のコンポーネントと、種々のデバイスドライバを含むオペレーティングシステムと、グラフィックカードを含むハードウェア装置と、をも有する。その様なコンポーネントは、明瞭化のために、図1には示されない。
システム10は頭部装着型表示装置(head mount display device)26を備え、ユーザは頭部装着型表示装置26を介して患者または他の被検体、若しくは、当該患者または他の被検体の画像を見ることができる。すなわち、頭部装着型表示装置26は、ユーザが患者または当該患者の画像を見ることができる。なお、頭部装着型表示装置(head mount display device)26は、単に頭部装着型ディスプレイ(head mount display)と称されてもよい。下の説明では患者のみに言及する。しかし、本明細書に開示される特徴は、別の被検体または人物にも適用可能であってよい。頭部装着型表示装置26を、拡張現実(AR)ヘッドセットまたは仮想現実(VR)ヘッドセットまたは他の装着型ヘッドセットの形態で提供してよい。すなわち、頭部装着型表示装置26は、拡張現実ヘッドセットまたは仮想現実ヘッドセットまたは他の装着可能なヘッドセットを備える。頭部装着型ディスプレイ26をヘッドセットと称することがある。
システム10は、第1の追跡システム28を備える。第1の追跡システム28は、医用機器30の位置と医用機器30の向きとを決定するように構成される。医用機器30をインターベンション装置と称してもよい。医用機器30は、患者の体内に挿入されるように構成されてよい。例えば、医用機器30は、体腔、組織、および/または患者の臓器に挿入されるように構成されてよい。本実施形態では、医用機器30は、患者の体内に挿入して生検プロシージャを行う生検ニードルの形態で提供される。他の実施形態では、医用機器30は、カテーテル、アブレーション装置、内視鏡装置、エンドキャビティプローブ、または任意の他の好適な医用機器の形態で提供されてよい。
本実施形態では、第1の追跡システム28は磁気追跡システムの形態で設けられる。第1の追跡システム28を、例えばAscension Technology Corporationにより製造されるdriveBAY(登録商標)またはtrakSTAR(登録商標)電磁気追跡システムなどの電磁気追跡システムと称してもよい。例えば、第1の追跡システム28は、磁場を生成し、磁場を用いて医用機器30の位置と医用機器30の向きとを決定する磁気追跡システムを備える。
第1の追跡システム28は、送信器32を備える。送信器32を生成器または磁場生成器と称してもよい。送信器32は、DC磁場またはAC磁場のような磁場を生成および送信するように構成される。第1の追跡システム28は、第1の位置センサ34を備える。第1の位置センサ34は、医用機器30の一部であってよい。すなわち、第1の位置センサ34、医用機器30の一部である、または、医用機器30に含まれている。例えば、第1の位置センサ34は医用機器30に埋め込まれる。第1の位置センサ34は、送信器32が生成した磁場を検出するように構成される。例えば、第1の位置センサ34は、磁場により電圧が誘導される受信器の形態で設けられる。検出された磁場の強さおよび/または方向に基づいて、第1の追跡システム28は、第1の位置センサ34、ひいては医用機器30の位置と向きとを決定するように構成される。
第1の追跡システム28は、第2の位置センサ36を備えてよい。第1の追跡システム28は、第2の位置センサ36の位置と向きとを決定するように構成される。本実施形態では、第2の位置センサ36は測定プローブ14の一部である。例えば、第2の位置センサ36は、測定プローブ14に埋め込まれている。すなわち、第2の位置センサ36は、測定装置14の一部である、または、測定装置14に含まれている。第2の位置センサ36は、送信器32が生成した磁場を検出するように構成される。例えば、第2の位置センサ36は、磁場により電圧が誘導される受信器の形態で設けられる。検出された磁場の強さおよび/または方向に基づいて、第1の追跡システム28は、第2の位置センサ36、ひいては測定プローブ14の位置と向きとを決定するように構成される。
代替となる実施形態では、第1の追跡システム28は、慣性追跡システム、Wi-Fi(登録商標)に基づく位置決めシステム、Bluetooth(登録商標)に基づく位置決めシステム、飛行時間に基づく追跡システム、音響追跡および/または超音波追跡システムのうちの少なくとも1つ又はそれらの組み合わせを備える。例えば、第1の追跡システム28は、慣性追跡システムと、Wi-Fi(登録商標)に基づく位置決めシステムと、Bluetooth(登録商標)に基づく位置決めシステムと、飛行時間に基づく追跡システムと、音響追跡と、超音波追跡システムとのうちの少なくとも1つを備える。
第1の追跡システム28は位置検出器38を備える。位置検出器38を追加のまたは更なる位置システムと称してもよい。位置検出器38は、第1の追跡システム28の一部の動きを検出するように構成される。例えば、第1の追跡システム28の当該一部は、送信器32を備える。本実施形態では、位置検出器38は送信器32の一部である。位置検出器38は、送信器32の動きを検出するように構成される。位置検出器38は、光学または慣性センサとして実装されてよい。慣性センサは、アクセラレータなどの運動センサおよび/またはジャイロスコープなどの回転センサを備えてよい。光学センサは、画像センサ、カメラ、または他の光学センサとして実装されてよい。光学センサは、オブジェクト検出システムなどのコンピュータビジョンシステムの一部であってよい。他の実施形態では、位置検出器38を送信器32から分離して配置してよい。
システム10は、第2の追跡システム40を備える。第2の追跡システム40を更なる追跡システムと称してもよい。第2の追跡システム40は、頭部装着型ディスプレイ26の位置と頭部装着型ディスプレイ26の向きとを決定するように構成される。第2の追跡システム40は、可視光、赤外光、または他の不可視光を用いる光学追跡システムの形態で設けられる。第2の追跡システム40を光学システムと称してもよい。第2の追跡システム40は、1つまたは複数のカメラ42または他の光学センサを備える。いくつかの実施形態では、カメラまたは他の光学センサ42は頭部装着型ディスプレイ26の一部であってもよい。他の実施形態では、カメラまたは他の光学センサ42は、頭部装着型ディスプレイ26とは分離して配置される。例えば、カメラまたは他の光学センサ42を、頭部装着型ディスプレイ26の周囲に配置してよい。カメラまたは他の光学センサ42の配置は、カメラまたは他の光学センサ42により頭部装着型ディスプレイ26の位置と向きとを検出可能であれば、他の好適な配置が可能である。いくつかの実施形態では、カメラまたは他の光学センサ42は、赤外線カメラまたはセンサ若しくは他の不可視光カメラまたはセンサとして実装される。
システム10は、少なくとも1つのマーカー44を備える。本実施形態では、マーカー44は、光学マーカーとして実装される。マーカー44は、第2の追跡システム40により検出可能であり、および/または、マーカー44をその周囲から識別するパターンおよび/または色を備えてよい。パターンは、1つまたは複数の円、三角形、四角形、正方形および/または任意の他の好適な幾何学的図形などの1つまたは複数の幾何学的図形の配列を備えてよい。幾何学的図形の配列は、規則的であっても不規則であってもよい。いくつかの実施形態では、マーカー44を、正方形マーカー、四角形マーカー、円形マーカー、クイックレスポンス(Quick Response:QR)コード(登録商標)、マキシコード(MaxiCode)(登録商標)、および/または任意の他の好適な光学マーカーの形態で提供してよい。マーカー44の位置とマーカー44の向きとは第2の追跡システム40により検出可能である。すなわち、マーカー44は、第2の追跡システム40により、当該マーカー44の位置と当該マーカー44の向きとが検出可能な構成を有する。例えば、カメラまたは他の光学センサ42を頭部装着型ディスプレイ26にまたは頭部装着型ディスプレイ26の周囲に、マーカー44の位置と向きとをカメラまたは他の光学センサ42により検出できるように配置する。マーカー44の位置とマーカー44の向きとは、第1の追跡システム28の基準系に対して既知または決定可能である。すなわち、マーカー44は、第1の追跡システム28の基準系に対して既知または決定可能な位置と向きとを有する。または、マーカー44は、第1の追跡システム28より、当該マーカー44の位置と当該マーカー44の向きとが検出可能な構成を有する。第1の追跡システム28の基準系を、磁場の基準系と称してもよい。例えば本実施形態では、マーカー44は送信器32に取り付けられている。他の実施形態では、マーカー44は、第1または第2の位置センサと同じ場所にあってよい。例えば、そのような実施形態では、マーカー44は、医用機器30または測定プローブ14に取り付けられてよい。
図2は、患者46を伴った使用中のシステム10の概略図である。第1の追跡システム28の基準系は3次元であり、図2ではFR1の符号を持つ座標系により示される。第1の追跡システム28は、第1の追跡システム28の基準系FR1に対する医用機器30の位置と向きとを決定するように構成される。
頭部装着型表示装置26の基準系は3次元であり、図2ではFR2の符号を持つ座標系により示される。第2の追跡システム40は、第2の追跡システム40の基準系FR2に対する頭部装着型表示装置26の位置と向きとを決定するように構成される。また、第2の追跡システム40は、マーカー44に対する頭部装着型表示装置26の位置と向きとを決定するように構成される。
本実施形態では、処理回路24は、第1の追跡システム28の基準系FR1と頭部装着型表示装置26の基準系FR2とを、マーカー44の位置と向きとを用いて、位置合わせするように構成される。すなわち、処理回路24は、第1の追跡システム28の基準系と頭部装着型表示装置26の基準系との位置合わせを、マーカー44の位置とマーカー4の向きとを用いて実行する。第1および第2の追跡システム28,40の基準系FR1,FR2間の座標の変換を概略的に示す図3を参照してこれを説明する。第1の追跡システム28の基準系FR1における医用機器30の位置を、4エレメントベクトル(時間t、3次元座標x、y、z)などのベクトルにより表してよい。第1の追跡システム28の基準系FR1における医用機器30の向きを、一組の3つの直交基底ベクトルにより表してよい。医用機器30の向き、例えば3つの直交基底ベクトルを、図2では座標系CS1により示す。第1の追跡システム28の基準系FR1に対する医用機器30の位置と向きとを、第1の行列P1により共に表現できる。第1の行列P1は、第1の追跡システム28の基準系FR1における医用機器30の位置と向きとを表す、4×4の同次行列(homogenous matrix)であってよい。
第2の追跡システム40の基準系FR2における医用機器30の位置を、4エレメントベクトルなどのベクトルにより表してよい。第2の追跡システム40の基準系FR2における医用機器30の向きを、一組の3つの直交基底ベクトルにより表してよい。第2の追跡システム40の基準系FR2に対する医用機器30の位置と向きとを、第2の行列P2により共に表現できる。第2の行列P2は、第2の追跡システム40の基準系FR2における医用機器30の位置と向きとを表す、4×4の同次行列であってよい。
上記のように、第1の追跡システム28は、医用機器30の位置と向きとを決定するように構成される。医用機器30の位置と向きとは、第1の追跡システム28の基準系FR1に対して決定される。そのように、第1の行列P1を、第1の追跡システム28により決定できる。例えば、第1の追跡システム28により与えられる医用機器30の位置と向きを表すデータに基づいて、第1の行列P1を決定してよい。第2の行列P2を決定するために、第1の追跡システム28の基準系FR1から第2の追跡システム40の基準系FR2への座標の変換Mの決定が必要である。変換Mの決定をキャリブレーションと称してもよい。
第1の追跡システム28の基準系FR1におけるマーカー44の位置を、4エレメントベクトルなどのベクトルにより表してよい。第1の追跡システム28の基準系FR1におけるマーカー44の向きを、一組の3つの直交基底ベクトルにより表してよい。第1の追跡システム28の基準系FR1におけるマーカー44の位置と向きとを、第3の行列P3により共に表現できる。第3の行列P3は、第1の追跡システム28の基準系FR1におけるマーカー44の位置と向きとを表す、4×4の同次行列であってよい。
上記のように、マーカー44は送信器32に取り付けられている。送信器32は、第1の追跡システム28の基準系FR1の原点であると考えてよい。図3では、マーカー44は、明瞭性のため、第1の追跡システム28の基準系FR1の原点に対して離れた位置に示される。他の実施形態では、マーカー44は、第1の追跡システム28の基準系FR1の原点からある距離に、例えば既知または決定可能な距離に位置してよい。
上記のように、第1の追跡システム28の基準系FR1に対するマーカー44の位置と向きとは、既知または決定可能である。マーカー44の位置と向きとは、例えば第2の追跡システム40の基準系FR2に対するマーカー44の位置と向きとは、第2の追跡システム40により検出可能である。第2の追跡システム40の基準系FR2におけるマーカー44の位置を、4エレメントベクトルなどのベクトルにより表してよい。第2の追跡システム40の基準系FR2におけるマーカー44の向きを、一組の3つの直交基底ベクトルにより表してよい。第2の追跡システム40の基準系FR2に対するマーカー44の位置と向きとを、第4の行列P4により共に表現する。第4の行列P4は、第2の追跡システム40の基準系FR2におけるマーカー44の位置と向きとを表す、4×4の同次行列であってよい。
第2の追跡システム40の基準系FR2に対するマーカー44の位置と向きとを第2の追跡システム40によるマーカー44の光学的認識により、例えば、光学的認識アルゴリズム、画像解析器アルゴリズム、ビデオ追跡アルゴリズムおよび/または任意の他の好適なアルゴリズムを用いて、決定できる。第2の追跡システム40により与えられるマーカー44の位置と向きとを表すデータに基づいて、第2の行列P2を決定してよい。
処理回路24は、第1の追跡システム28の基準系FR1から第2の追跡システム40の基準系FR2への座標の変換Mを、第3及び第4の行列P3,P4に基づいて決定するように構成される。変換Mを変換と称してよく、行列として実装してよい。変換Mは、平行移動、回転、シェアリング(shearing)および/またはスケーリングなどの1つまたは複数のアフィンまたは線形変換から導かれるもの、または、当該1つまたは複数のアフィンまたは線形変換に分解されるものであってよい。いくつかの実施形態では、変換は、解析的に、例えば、1つまたは複数の解析的方法を用いて決定できる。当該1つまたは複数の解析的方法は、グローバル数式ソルバ―(global equation solver)アルゴリズム、レーベンバーグ・マーカート(Levenberg-Marquardt)アルゴリズム、および/または任意の他の好適なアルゴリズムを含んでよい。処理回路24は、第1の追跡システム28の基準系FR1と第2の追跡システム40の基準系FR2との位置合わせを、変換Mに従って実現するように構成される。いくつかの実施形態では、マーカー44は送信器32に永久的に取り付けられている。そのように、下で説明するように、送信器32および/またはマーカー44が移動していない場合は、変換Mを1回だけ決定してよい。
代替となる実施形態では、マーカー44の位置と向きとが第1の追跡システム28により検出可能である。そのような代替となる実施形態では、マーカー44は、頭部装着型ディスプレイ26に対して既知または決定可能な位置と向きとを有する。上記のように、マーカー44は送信器32に取り付けられてよい、若しくは、送信器32から分離して配置されてよい。そのような代替となる実施形態では、システム10は更なる位置センサを備えてよい。更なる位置センサは、一時的に、マーカー44に取り付けられてよく、または、その逆であってよい。更なる位置センサは、送信器32が生成した磁場を検出するように構成される。例えば、更なる位置センサは、磁場により電圧が誘導される受信器の形態で設けられる。検出された磁場の強さおよび/または方向に基づいて、第1の追跡システム28は、更なる位置センサ、引いてはマーカー44の位置を決定するように構成される。上記のように、第2の追跡システム40の基準系FR2に対するマーカー44の位置と向きとを、第2の追跡システム40によるマーカー44の光学的認識により決定できる。変換が決定されると、更なる位置センサをマーカー44から取り外してよい。
処理回路24は、位置合わせに基づいて患者46のビューまたは患者46の画像に対してアライメント(調整)された医用機器30の模擬画像50と、位置合わせに基づいてアライメントされた医用画像48と医用機器30の模擬画像50と、のうちの少なくとも1つを、頭部装着型表示装置26に表示させる。医用機器30の模擬画像50は、例えば、医用機器30の形状などを3次元的または2次元的に擬似的に模した画像である。模擬画像は、レプレゼンテーション(representation:表現、表像)などと称されてもよい。図2および図4Aは、医用画像48と医用機器30の模擬画像50とを示す。医用機器30の模擬画像50は、医用機器30の3次元の模擬画像を含んでよい。本実施形態では、医用画像48は、超音波画像の形態で与えられる。本実施形態では、医用画像48は、超音波撮像システムにより取得されたライブ撮像データの一部であってよい。他の実施形態では、医用画像48は、別の医用撮像システムにより取得された撮像データの一部であってよい。例えば、そのような他の実施形態では、医用画像48はX線画像、CTスキャン、MRIスキャン、または他の医用画像の形態で与えられてよい。
処理回路24は、医用画像48と医用機器30の模擬画像50とを、頭部装着型表示装置26を用いて表示させるように構成される。例えば、処理回路24は、変換Mと第1の行列P1とに基づいて第2の行列P2を決定するように構成される。処理回路24は、第2の追跡システム40の基準系FR2に対する医用機器30の位置と向きとを決定するように構成される。そのように、医用画像48と医用機器30の模擬画像50とは、位置合わせに基づいてアライメント(調整)される。医用画像48と医用機器30の模擬画像50とのアライメントにより、ユーザは超音波撮像などの医用撮像および/またはニードル生検などの医用プロシージャをより高い精度および/またはより速い速度でおよび/または人間工学により適しておよび/またはより快適に行うことができるかもしれない。
図4Bは、頭部装着型ディスプレイ26を用いた患者46のユーザビューまたは画像を概略的に示す。いくつかの実施形態では、処理回路24は、頭部装着型ディスプレイ26を用いて医用機器30の模擬画像50を表示させるように構成される。そのような実施形態では、処理回路24は、医用機器30の模擬画像50を頭部装着型表示装置26に表示させるのみに構成される。上記のように、処理回路24は、変換Mと第1の行列P1とに基づいて第2の行列P2を決定するように構成される。処理回路24は、第2の追跡システム40の基準系FR2に対する医用機器30の位置と向きとを決定するように構成される。こうして、医用機器30の模擬画像50は、位置合わせに基づいて、患者46のビューまたは画像に対してアライメントされる。位置合わせに基づく患者46のビューまたは画像に対する医用機器30の模擬画像50のアライメントにより、ユーザはニードル生検などの医用プロシージャをより高い精度および/またはより速い速度でおよび/または人間工学により適しておよび/またはより快適に行うことができるかもしれない。
いくつかの実施形態では、処理回路24は、医用画像48および/または医用機器30の模擬画像50および測定プローブ(測定装置)14の模擬画像51を頭部装着型表示装置26に表示させるように構成される。上記のように、第1の追跡システム28は、測定プローブ14の位置と向きとを決定するように構成される。測定プローブ14の座標を、図2では座標系CS2により示す。処理回路24は、図3に関連して上述したように、第2の追跡システム40の基準系FR2に対する測定プローブ14の位置と向きとを、変換Mに基づいて決定するように構成される。いくつかの実施形態では、図4Aに示されるように、医用画像48と、医用機器30の模擬画像50と、測定プローブ14の模擬画像51とは、位置合わせに基づいてアライメントされる。いくつかの実施形態では、図4Bに示すように、医用機器30の模擬画像50と測定プローブ14の模擬画像51とは、患者46のビューまたは画像に対して、位置合わせに基づいてアライメントされる。すなわち、処理回路24は、医用画像48と、医用機器30の模擬画像50と、測定装置14の模擬画像51とを位置合わせに基づいてアライメントすることと、医用機器30の模擬画像50と測定装置14の模擬画像51とを、患者46のビューまたは患者46の画像に対して、前記位置合わせに基づいてアライメントすることと、のうちの少なくとも1つを実行する。
処理回路24は、医用画像48と、医用機器30の模擬画像50および/または測定プローブ14の模擬画像51と、医用画像48の医用機器30の模擬画像50へのおよび/または測定プローブ14の模擬画像51へのアライメントとを表すデータを、頭部装着型ディスプレイ26へ送るように構成されてよい。若しくは、処理回路24は、医用機器30の模擬画像50および/または測定プローブ14の模擬画像51と、患者46のビューまたは画像に対する医用機器30の模擬画像50へのおよび/または測定プローブ14の模擬画像51へのアライメントとを表すデータを、頭部装着型ディスプレイ26へ送るように構成されてよい。本実施形態では、頭部装着型表示装置26は、ARオーバーレイレンダリング回路のようなレンダリング回路52を備える。レンダリング回路52は、医用画像48と、医用機器30の模擬画像50および/または測定プローブ14の模擬画像51とを、処理回路24により送信されるデータに基づいて、表示およびオーバーレイするように構成される。いくつかの実施形態では、レンダリング回路52は、図2に示すように、医用画像48と、医用機器30の模擬画像50および/または測定プローブ14の模擬画像51とを、患者46のビューまたは画像の上にオーバーレイするように構成される。例えば、医用画像48と医用機器30の模擬画像50とは、患者46のビューまたは患者46の画像上に重ね合わせられる。図2は、頭部装着型ディスプレイ26が表示する測定プローブ14と測定プローブ14の模擬画像51とを両方示す。いくつかの実施形態では、レンダリング回路52は、図4Bに示すように、医用機器30の模擬画像50および/または測定プローブ14の模擬画像51を、患者46のビューまたは画像の上にオーバーレイするように構成される。
図5は、患者46を伴った使用中のシステム10を示す。明確性のため、医用機器30を図5から省略した。上記のように、超音波撮像システム12は、メインの超音波画像を表示するための主ディスプレイスクリーン16を備える。例えば、医用撮像システム10は、医用画像48を表示するスクリーン16を備え、処理回路24は、頭部装着型表示装置26にスクリーン16の模擬画像を表示させる。いくつかの実施形態では、処理回路24は、主ディスプレイスクリーン16の模擬画像を、頭部装着型ディスプレイ26を用いて表示させるように構成される。例えば、主ディスプレイスクリーン16により表示される1つまたは複数の医用画像48は、頭部装着型ディスプレイ26を用いて表示される。頭部装着型ディスプレイ26を使って医用画像48および/または主ディスプレイスクリーン16の模擬画像を表示することで、システム10がユーザ49にとって、人間工学により適しおよび/またはより快適となり得る。例えば、処理回路24は、ユーザ49が患者46、医用機器30、および/または測定プローブ14に対面したときに、医用画像48、医用機器30の模擬画像50、測定プローブ14の模擬画像51、および/または、主ディスプレイスクリーン16の模擬画像を、頭部装着型ディスプレイ26を用いて表示させるように構成される。例えば、処理回路24は、ユーザ49が医用機器30に対面するときに、頭部装着型表示装置26に、医用画像48と医用機器30の模擬画像50とのうちの少なくとも1つを表示させる。処理回路24は、ユーザ49が患者46、医用機器30、および/または測定プローブ14に対面していないときに、医用画像48、医用機器30の模擬画像50、測定プローブ14の模擬画像51、および/または、主ディスプレイスクリーン16の模擬画像を頭部装着型表示装置26に表示させないように構成される。例えば、処理回路24は、ユーザ49が患者46、医用機器30、および/または測定プローブ14に対面していないときに、現実世界の画像を頭部装着型表示装置26に表示させるように構成される。
上記のように、第1の追跡システム28は、送信器32の動きを、例えばマーカー44に対する送信器32の動きを検出するように構成される位置検出器38を備える。検出された送信器32の動きを、システム10の位置合わせを無効化するおよび/または更新するために用いてよい。例えば、送信器32の動きが検出されると、第1および第2の追跡システム28,40の基準系の位置合わせはもはや正確または有効ではなく、および/または、更新が必要であるだろう。
いくつかの実施形態では、送信器32の動きが、例えばマーカー44に対して検出されると、処理回路24は、位置合わせの更新が必要であることをユーザに警告するように構成される。すなわち、少なくとも1つのマーカー44に対する第1の追跡システム28の一部の動きが検出された場合、処理回路24は、位置合わせの更新が必要であることをユーザ49に警告する。
いくつかの実施形態では、処理回路24は、送信器32の新たな位置に基づいて、位置合わせを更新するように構成される。例えば、少なくとも1つのマーカー44に対する第1の追跡システム28の一部の動きが検出された場合、処理回路24は、第1の追跡システム28の一部の動きによる新たな位置に基づいて位置合わせを更新してもよい。処理回路24は、位置合わせを更新するための新たな変換Mを決定するように構成されてよい。新たな変換の決定は、新たな第3の行列P3を決定することを含んでよい。送信器32の新たな位置と送信器32の前の位置との差が既知である又は決定可能である実施形態において、送信器32の新たな位置と前の位置との差に基づいて、新たな第3の行列P3と新たな変換Mとを決定できる。
いくつかの実施形態では、頭部装着型表示装置26は、図1に示される少なくとも1つの更なるカメラ54を備える。更なるカメラ54をヘッドセットカメラと称してもよい。更なるカメラ54は、患者46の位置および/または向きを決定するように構成される。すなわち、頭部装着型表示装置26は、患者46の位置および/または患者46の向きを決定する少なくとも1つのカメラを備える。「患者46の位置および/または向き」という用語は、患者46の身体の一部の位置および/または向きを含んでよい。患者46の身体の一部は、頭部、四肢、胴体、または患者46の身体の他の部分であってよい。患者の身体の一部は、1つまたは複数の臓器または他の組織を含んでよい。患者46の位置および向きを患者46のポーズと称してもよい。いくつかの実施形態では、決定した患者46の位置および/または向きが、システム10により取得された画像データと共に記憶される。画像データは超音波画像53と、超音波画像53を取得するために使用された測定プローブ14の位置および/または向きと、例えば第1の追跡システム28の基準系FR1に対する測定プローブ14の位置および/または向きと、を表すデータとを含んでよい。例えば、決定した患者46の位置および/または向きと、取得した画像データとを、システム10のデータ記憶部21に記憶することができる。すなわち、決定された患者46の位置および/または決定された患者46の向きは、医用撮像システム10により取得された画像データと共に記憶される。
図6は、頭部装着型ディスプレイ26を用いる患者46のユーザビューまたは画像の概略を示す。いくつかの実施形態では、処理回路24は、頭部装着型表示装置26を使って、患者46のビューまたは画像にアライメントされた前のスキャンから超音波画像53を表示させるように構成される。これが、頭部装着型ディスプレイ26を用いる患者46のユーザビューまたは画像を示す図6に示されている。いくつかの実施形態では、処理回路24は、頭部装着型表示装置26を使って、前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器55を表示させるように構成される。処理回路24は、頭部装着型表示装置26を使って、患者46のビューまたは画像に、例えば正しい解剖学的位置に、アライメントされた解剖学的構造または臓器55を表示させるように構成される。
処理回路24は、前のスキャンおよび/または前のスキャンにおいて患者46のビューまたは画像に対してセグメンテーションされた解剖学的構造または臓器55から、例えば前のスキャンから超音波画像53を取得するために使用した測定プローブ14の位置および/または向きを表すデータに基づいて、超音波画像53の初期位置および/または初期向きなどの位置および/または向きを決定するように構成される。前のスキャンからの超音波画像53および/または前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器55を、第1の追跡システム28の基準系FR1と第2の追跡システム40の基準系FR2との間の位置合わせに基づいて、患者46のビューまたは画像にアライメントしてよい。例えば、処理回路24は、決定した患者46の位置および/または向きに関する1つまたは複数の座標の、第2の追跡システム40の基準系FR2から第1の追跡システム28の基準系FR1への変換Mを決定するように構成される。処理回路24は、図3に関連して上述したように、第3及び第4の行列P3,P4に基づいて変換Mを決定するように構成される。これにより、処理回路24は、例えば、頭部装着型表示装置26に、前のスキャンからの画像を、患者46のビューまたは患者46の画像にアライメントして表示させる。
図7は、頭部装着型ディスプレイ26を用いる患者46の別のユーザビューまたは画像の概略を示す。いくつかの実施形態では、記憶された患者位置および/または向きを当該患者46の更なるスキャンに使用して、例えば、当該患者46および/または測定プローブ14を前のスキャンと同じ位置および/または向きに誘導する。更なるスキャンをフォローアップスキャンと称してもよい。例えば、処理回路24は、頭部装着型表示装置26を使って、図7において点線で示されるように、記憶された患者位置および/または向きの模擬画像56を更なるスキャンで表示させるように構成されてよい。若しくは、または、それに加えて、処理回路24は、頭部装着型表示装置26を使って、マーカー44および/またはガイドを表示して、記憶された患者位置および/または向きに対する患者46のポジショニングおよび/または向きを誘導するように構成されてよい。
いくつかの実施形態では、更なるカメラ54により、患者位置および/または向きの変化を、例えば、記憶された患者位置および/または向きに対して検出すると、処理回路24は、前のスキャンの画像53のおよび/または前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器55の、変化した患者位置および/または向きに対するアライメントを更新するように構成される。処理回路24は、記憶された患者位置および/または向きと変化した患者位置および/または向きとの差に基づいて、前のスキャンの画像53のおよび/または前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器55の、変化した患者位置および/または向きに対するアライメントを更新するように構成される。処理回路24は、記憶された患者位置および/または向きと変化した患者位置および/または向きとの差に基づいて、位置合わせを更新することにより、アライメントを更新するように構成される。例えば、処理回路24は、記憶された患者位置および/または向きと変化した患者位置および/または向きとの差に関する1つまたは複数の座標の、第2の追跡システム40の基準系FR2から第1の追跡システム28の基準系FR1への変換Mを決定するように構成されてよい。処理回路24は、図3に関連して上述したように、第3及び第4の行列P3,P4に基づいて変換Mを決定するように構成されてよい。
図8は、頭部装着型ディスプレイ26を用いる患者46の別のユーザビューまたは画像の概略を示す。いくつかの実施形態では、処理回路24は、頭部装着型表示装置26を使って、マーカー44および/またはガイド58を表示して、患者46に対する測定プローブ14のポジショニングおよび/または向きを誘導し、例えば、測定プローブ14を、前のスキャンを取得するために使用した測定プローブ14の位置および/または向きにアライメントするように構成される。すなわち、処理回路24は、頭部装着型表示装置26に、マーカー44および/またはガイド58を表示させ、医用撮像システム10の測定装置14の患者46に対するポジショニングを誘導し、医用撮像システム10の前記測定装置14を、前のスキャンを取得するために使用した測定装置14の位置にアライメントする。表示マーカーおよび/またはガイド58をビジュアルマーカーおよび/またはガイド58と称してもよい。図8に示される実施形態では、表示マーカーおよび/またはガイド58は、点線で示される、測定プローブ14のゴースト像の形態で実装される。他の実施形態では、表示マーカーおよび/またはガイド58を、上下左右等、1つまたは複数の矢印、または他のマーカーおよび/またはガイド58などの、1つまたは複数のユーザ49への指示の形態で実装してよい。
代替となる実施形態では、処理装置22は、頭部装着型表示装置26を使って、マーカー44および/またはガイド58を表示して、システム10の測定装置の患者46に対するポジショニングおよび/または向きを誘導し、例えば、測定装置を前のスキャンを取得するために使用した部分の位置にアライメントするように構成される。例えば、そのような代替となる実施形態では、測定装置はX線生成器およびX線検出器または他の測定プローブまたはセンサを備えてよい。
図9は、実施形態の医用撮像方法を概略的に示すフローチャートである。図9のステージ60では、頭部装着型表示装置26を装着する。すなわち、ユーザ49が患者46または患者46の画像を見ることができる頭部装着型表示装置26が提供される。ユーザ49は、頭部装着型表示装置26を介して患者46または患者46の画像を見る。
図9のステージ62では、医用機器30の位置と医用機器30の向きとを第1の追跡システム28を用いて決定する。
図9のステージ64では、頭部装着型表示装置26の位置と頭部装着型表示装置26の向きとを第2の追跡システム40を用いて決定する。
図9のステージ66では、第1の追跡システム28の基準系FR1に対して既知または決定可能な位置と向きとを有する少なくとも1つのマーカー44の位置とマーカー44の向きとを第2の追跡システム40を用いて検出する。上記のように、マーカー44は、第1の追跡システム28の基準系FR1に対して既知または決定可能な位置と向きとを有する。いくつかの実施形態では、マーカー44の位置とマーカー44の向きとは、第1の追跡システム28により検出される。そのような実施形態では、マーカー44は、頭部装着型表示装置26に対して既知または決定可能な位置と向きとを有する。
図9のステージ68では、図3に関連して上述したように、第1の追跡システム28の基準系FR1と第2の追跡システム40の基準系FR2とを、処理回路24とマーカー44の位置と向きとを用いて位置合わせする。すなわち、第1の追跡システム28の基準系FR1と頭部装着型表示装置26の基準系FR2との位置合わせを、処理回路24と少なくとも1つのマーカー44の位置とマーカー44の向きとを用いて実行する。
図9のステージ70では、医用画像48および/または医用機器30の模擬画像50が、処理回路24と頭部装着型表示装置26とを用いて表示される。例えば、図2に関連して上述したように、医用画像48と医用機器30の模擬画像50とを位置合わせに基づいてアライメントする、若しくは、図4Bに関連して上述したように、医用機器30の模擬画像50を患者46のビューまたは画像に対して位置合わせに基づいてアライメントする。すなわち、処理回路24と頭部装着型表示装置26とを用いて、位置合わせに基づいて患者46のビューまたは患者46の画像に対してアライメントされた医用機器30の模擬画像50と、位置合わせに基づいてアライメントされた医用画像48と医用機器30の模擬画像50と、のうちの少なくとも1つを表示させる。
ある実施形態は、医用撮像システムを提供する。前記医用撮像システムは、拡張現実(Augmented Reality:AR)または仮想現実(Virtual Reality:VR)ヘッドセットまたは他の装着可能な表示装置であって、それを介してユーザ49が患者46または前記患者46の画像を見ることができるARまたはVRヘッドセットまたは他の装着可能な装置と、超音波プローブを含む超音波撮像システムと、磁場を生成し、前記磁場を用いてニードルまたは他の医用機器の位置を決定するように構成される磁気追跡システムと、前記ARまたはVRヘッドセットまたは他の装着可能な装置の位置を決定するように構成される更なる追跡システムと、少なくとも1つのマーカー44であって、前記更なる追跡システムによりその位置が検出可能であり前記磁場に対して既知または決定可能な位置を有する、若しくは、前記磁気追跡システムによりその位置が検出可能であり前記ARまたはVRヘッドセットまたは他の装着可能な装置に対して既知または決定可能な位置を有する少なくとも1つのマーカー44と、プロセッサとを備える。前記プロセッサは、前記磁気追跡システムの基準系と前記ARまたはVRヘッドセットまたは他の装着可能な装置の基準系との位置合わせを、前記少なくとも1つのマーカー44の位置を用いて行い、超音波画像と前記ニードルまたは他の医用機器の模擬画像とを前記ARまたはVRヘッドセットまたは他の装着可能な装置を用いて表示させる、ように構成され、前記超音波画像と前記ニードルまたは他の医用機器の前記模擬画像とは前記位置合わせに基づいてアライメントされる。
前記超音波画像と前記ニードルまたは他の医用機器の前記模擬画像とが、前記患者46のビューまたは画像上にオーバーレイされてよい。
前記更なる追跡システムは、可視光または赤外光または他の不可視光を用いる光学追跡システムを備えてよい。
前記ARまたはVRヘッドセットまたは他の装着可能な装置は、前記患者46の位置および/または向きを決定するように構成される少なくとも1つのカメラ42を備えてよい。前記決定された患者位置および/または向きを、前記超音波撮像システムにより取得された超音波データと共に記憶してよい。
前記プロセッサは、前記ARまたはVRヘッドセットまたは他の装着可能な装置を使って、前のスキャンからの画像を前記患者46の前記ビューまたは画像にアライメントして表示させるように更に構成されてよい。
前記プロセッサは、前記ARまたはVRヘッドセットまたは他の装着可能な装置を使って、マーカー44および/またはガイド58を表示して、前記患者46に対する前記超音波プローブのポジショニングを、例えば、前記超音波プローブを前のスキャンを取得するために使用した超音波プローブの前記位置にアライメントするように誘導する、ように更に構成されてよい。
ある実施形態は、医用撮像システムを提供する。前記医用撮像システムは、頭部装着型表示装置26であって、それを介してユーザ49が患者46または前記患者46の画像を見ることができる頭部装着型表示装置26と、超音波プローブを含む超音波撮像システム12と、ニードルまたは他の医用機器の位置を決定するように構成される第1の追跡システム28と、前記頭部装着型表示装置26の位置を決定するように構成される第2の追跡システム40と、少なくとも1つのマーカー44であって、前記第2の追跡システム40によりその位置が検出可能であり前記第1の追跡システム28の基準系FR1に対して既知または決定可能な位置を有する、若しくは、前記第1の磁気追跡システムによりその位置が検出可能であり前記頭部装着型表示装置26に対して既知または決定可能な位置を有する少なくとも1つのマーカー44と、プロセッサとを備える。前記プロセッサは、前記第1の追跡システム28の基準系FR1と前記頭部装着型表示装置26の基準系FR2との位置合わせを、前記少なくとも1つのマーカー44の位置を用いて行い、超音波画像と前記ニードルまたは他の医用機器の模擬画像とを前記頭部装着型表示装置26を用いて表示させる、ように構成され、前記超音波画像と前記ニードルまたは他の医用機器の前記模擬画像とは前記位置合わせに基づいてアライメントされる。
ある実施形態は、ライブ超音波撮像データを拡張現実ヘッドセット上に位置合わせにより取得した位置で頭部装着型表示装置26に表示させるように構成されるシステム10を提供する。前記システム10は、プローブまたはインターベンション装置の位置を決定するために使用される磁場追跡システムと、前記ヘッドセットの位置を決定するために使用される光学システムとを備え、前記磁場追跡システムと前記光学システムとの間の位置合わせは、光学マーカーを用いて、磁場基準系に対して既知の位置で実現される。
磁場生成器の動きを検出するために追加的位置システムを用いてよい。前記検出された動きを、システム10のキャリブレーションを無効化または更新するために用いてよい。
前記システム10の基準座標系内の患者46の向きおよび/または位置を確立または検出するために、1つまたは複数のヘッドセットカメラを用いてよい。前記確立または検出された患者46の座標のうちの1つまたは複数を使って、超音波撮像システムおよび/または前記磁場追跡システムにより、前のスキャンの初期位置を決定してよい。前記確立または検出された患者46の座標のうちの前記1つまたは複数を、前記前のスキャンの位置と共に記憶してよい。前記前のスキャンからの前記確立または検出された患者46の座標のうちの前記1つまたは複数を使ってユーザ49を誘導し、フォローアップスキャンにおいて前記患者46の同一の位置と向きとを再生してよい。
ビジュアルマーカーとガイド58とを前記ヘッドセットに使用して、前記プローブのポジショニングを誘導してよい。
特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の1つまたは複数の機能を、1つの処理リソースまたは他のコンポーネントによって提供することができ、または、1つの回路によって提供される機能を、2つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。1つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントが互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する1つのコンポーネントを包含する。
所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。
実施形態における技術的思想を医用撮像方法で実現する場合、当該医用撮像方法は、ユーザ49が患者46または前記患者46の画像を見ることができる頭部装着型表示装置26を提供することと、医用機器30の位置と前記医用機器30の向きとを第1の追跡システム28を用いて決定することと、前記頭部装着型表示装置26の位置と前記頭部装着型表示装置26の向きとを第2の追跡システム40を用いて決定することと、前記第1の追跡システム28の基準系FR1に対して既知または決定可能な位置と向きとを有する少なくとも1つのマーカー44の位置と前記マーカー44の向きとを、前記第2の追跡システム40により検出、または、前記頭部装着型表示装置26に対して既知または決定可能な位置と向きとを有する前記少なくとも1つのマーカー44の位置と向きとを、前記第1の追跡システム28により検出し、前記第1の追跡システム28の前記基準系FR1と前記頭部装着型表示装置26の基準系FR2との位置合わせを、処理回路24と前記少なくとも1つのマーカー44の前記位置と前記マーカー44の前記向きとを用いて実行し、前記処理回路24と前記頭部装着型表示装置26とを用いて、前記位置合わせに基づいて前記患者46のビューまたは前記患者46の画像に対してアライメントされた前記医用機器30の模擬画像50と、前記位置合わせに基づいてアライメントされた医用画像48と前記医用機器30の模擬画像51と、のうちの少なくとも1つを表示させることと、を備える。医用撮像方法により実行される処理の手順および効果は、実施形態と同様なため、説明は省略する。
以上説明した少なくとも1つの実施形態によれば、ユーザ49にとって快適な画像を頭部装着型表示装置26に表示させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 医用撮像システム
12 超音波撮像システム
14 測定プローブ
16 主ディスプレイスクリーン
18 制御スクリーン
19 制御ノブ
20 スキャナコンソール
21 データ記憶部
22 処理装置
24 処理回路
26 頭部装着型表示装置(頭部装着型ディスプレイ)
28 第1の追跡システム
30 医用機器
32 送信器
34 第1の位置センサ
36 第2の位置センサ
38 位置検出器
40 第2の追跡システム
42 カメラ
44 マーカー
46 患者
48 医用画像
49 ユーザ
50 医用機器の模擬画像
51 測定プローブの模擬画像
52 レンダリング回路
53 超音波画像
54 更なるカメラ
55 臓器
56 記憶された患者位置および/または向きの模擬画像
58 ガイド
12 超音波撮像システム
14 測定プローブ
16 主ディスプレイスクリーン
18 制御スクリーン
19 制御ノブ
20 スキャナコンソール
21 データ記憶部
22 処理装置
24 処理回路
26 頭部装着型表示装置(頭部装着型ディスプレイ)
28 第1の追跡システム
30 医用機器
32 送信器
34 第1の位置センサ
36 第2の位置センサ
38 位置検出器
40 第2の追跡システム
42 カメラ
44 マーカー
46 患者
48 医用画像
49 ユーザ
50 医用機器の模擬画像
51 測定プローブの模擬画像
52 レンダリング回路
53 超音波画像
54 更なるカメラ
55 臓器
56 記憶された患者位置および/または向きの模擬画像
58 ガイド
Claims (20)
- ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置と、
医用機器の位置と前記医用機器の向きとを決定する第1の追跡システムと、
前記頭部装着型表示装置の位置と前記頭部装着型表示装置の向きとを決定する第2の追跡システムと、
前記第2の追跡システムにより位置と向きとが検出可能であり、前記第1の追跡システムの基準系に対して既知または決定可能な位置と向きとを有し、または、前記第1の追跡システムにより位置と向きとが検出可能であり、前記頭部装着型表示装置に対して既知または決定可能な位置と向きを有する、少なくとも1つのマーカーと、
前記第1の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、前記マーカーの前記位置と前記マーカーの前記向きとを用いて実行し、
前記位置合わせに基づいて前記患者のビューまたは前記患者の画像に対してアライメントされた前記医用機器の模擬画像と、
前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、
のうちの少なくとも1つを、前記頭部装着型表示装置に表示させる、
処理回路と、
を備えた医用撮像システム。 - 前記医用画像と前記医用機器の前記模擬画像とは、前記患者のビューまたは前記患者の画像上に重ね合わせられる、
請求項1に記載の医用撮像システム。 - 前記第2の追跡システムは、可視光または赤外光または他の不可視光を用いる光学追跡システムを備える、
請求項1または2に記載の医用撮像システム。 - 前記頭部装着型表示装置は、前記患者の位置および/または前記患者の向きを決定する少なくとも1つのカメラを備える、
請求項1に記載の医用撮像システム。 - 前記決定された前記患者の位置および/または前記決定された前記患者の向きは、前記医用撮像システムにより取得された画像データと共に記憶される、
請求項4に記載の医用撮像システム。 - 前記処理回路は、前記頭部装着型表示装置に、前のスキャンからの画像を、前記患者の前記ビューまたは前記患者の画像にアライメントして表示させる、
請求項4または5に記載の医用撮像システム。 - 前記処理回路は、
前記頭部装着型表示装置に、前記マーカーおよび/またはガイドを表示させ、
前記医用撮像システムの測定装置の前記患者に対するポジショニングを誘導し、
前記医用撮像システムの前記測定装置を、前のスキャンを取得するために使用した前記測定装置の位置にアライメントする、
請求項4または5に記載の医用撮像システム。 - 前記第1の追跡システムは、前記医用撮像システムの測定装置の位置と前記測定装置の向きとを決定し、
前記処理回路は、
前記頭部装着型表示装置に前記測定装置の模擬画像を表示させ、
前記医用画像と、前記医用機器の前記模擬画像と、前記測定装置の前記模擬画像とを前記位置合わせに基づいてアライメントすることと、
前記医用機器の前記模擬画像と前記測定装置の前記模擬画像とを、前記患者の前記ビューまたは前記患者の画像に対して、前記位置合わせに基づいてアライメントすることと、
のうちの少なくとも1つを実行する、
請求項1に記載の医用撮像システム。 - 前記医用撮像システムは、超音波撮像システムを備え、
前記測定装置は、測定プローブを備える、
請求項7に記載の医用撮像システム。 - 前記頭部装着型表示装置は、拡張現実ヘッドセットまたは仮想現実ヘッドセットを備える、
請求項1に記載の医用撮像システム。 - 前記第1の追跡システムは、磁場を生成し、前記磁場を用いて前記医用機器の前記位置と前記医用機器の前記向きとを決定する磁気追跡システムを備える、
請求項1に記載の医用撮像システム。 - 前記第1の追跡システムは、
慣性追跡システムと、
Wi-Fiに基づく位置決めシステムと、
Bluetoothに基づく位置決めシステムと、
飛行時間に基づく追跡システムと、
音響追跡と、
超音波追跡システムと、
のうちの少なくとも1つを備える、
請求項1に記載の医用撮像システム。 - 前記医用撮像システムは、前記医用画像を表示するスクリーンを備え、
前記処理回路は、前記頭部装着型表示装置に前記スクリーンの模擬画像を表示させる、
請求項1に記載の医用撮像システム。 - 前記処理回路は、前記ユーザが前記医用機器に対面するときに、前記頭部装着型表示装置に、前記医用画像と前記医用機器の前記模擬画像とのうちの少なくとも1つを表示させる、
請求項1に記載の医用撮像システム。 - 前記第1の追跡システムは、第1の位置センサを備え、
前記第1の位置センサは、前記医用機器の一部である、または、前記医用機器に含まれている、
請求項1に記載の医用撮像システム。 - 前記第1の追跡システムは、第2の位置センサを備え、
前記第2の位置センサは、前記測定装置の一部である、または、前記測定装置に含まれている、
請求項7に記載の医用撮像システム。 - 前記少なくとも1つのマーカーに対する前記第1の追跡システムの一部の動きを検出する位置検出器をさらに備える、
請求項1に記載の医用撮像システム。 - 前記少なくとも1つのマーカーに対する前記第1の追跡システムの一部の動きが検出された場合、前記処理回路は、
前記位置合わせの更新が必要であることをユーザに警告することと、
前記第1の追跡システムの前記一部の動きによる新たな位置に基づいて前記位置合わせを更新することと、
のうちの少なくとも1つを実行する、
請求項17に記載の医用撮像システム。 - 前記医用機器は、
ニードルと、
カテーテルと、
アブレーション装置と、
内視鏡装置と、
エンドキャビティプローブと、
のうちの少なくとも1つを備える、
請求項1に記載の医用撮像システム。 - ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置を提供することと、
医用機器の位置と前記医用機器の向きとを第1の追跡システムを用いて決定することと、
前記頭部装着型表示装置の位置と前記頭部装着型表示装置の向きとを第2の追跡システムを用いて決定することと、
前記第1の追跡システムの基準系に対して既知または決定可能な位置と向きとを有する少なくとも1つのマーカーの位置と前記マーカーの向きとを、前記第2の追跡システムにより検出、または、
前記頭部装着型表示装置に対して既知または決定可能な位置と向きとを有する前記少なくとも1つのマーカーの位置と向きとを、前記第1の追跡システムにより検出し、
前記第1の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、処理回路と前記少なくとも1つのマーカーの前記位置と前記マーカーの前記向きとを用いて実行し、
前記処理回路と前記頭部装着型表示装置とを用いて、
前記位置合わせに基づいて前記患者のビューまたは前記患者の画像に対してアライメントされた前記医用機器の模擬画像と、
前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、
のうちの少なくとも1つを表示させることと、
を備える医用撮像方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/929,843 US20240074813A1 (en) | 2022-09-06 | 2022-09-06 | Medical imaging system and method |
US17/929,843 | 2022-09-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024037139A true JP2024037139A (ja) | 2024-03-18 |
Family
ID=90061693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023113460A Pending JP2024037139A (ja) | 2022-09-06 | 2023-07-11 | 医用撮像システムおよび医用撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240074813A1 (ja) |
JP (1) | JP2024037139A (ja) |
-
2022
- 2022-09-06 US US17/929,843 patent/US20240074813A1/en active Pending
-
2023
- 2023-07-11 JP JP2023113460A patent/JP2024037139A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240074813A1 (en) | 2024-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11759261B2 (en) | Augmented reality pre-registration | |
CN108601628B (zh) | 将操作器械定位在患者身体内的导航、跟踪和引导系统 | |
US8611988B2 (en) | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same | |
EP2153794B1 (en) | System for and method of visualizing an interior of a body | |
CA2892554C (en) | System and method for dynamic validation, correction of registration for surgical navigation | |
US11574446B2 (en) | Digital image reality aligning kit and method applied to mixed reality system for surgical navigation | |
US20130245461A1 (en) | Visualization of Anatomical Data by Augmented Reality | |
US20050203380A1 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
EP3009096A1 (en) | Method and system for displaying the position and orientation of a linear instrument navigated with respect to a 3D medical image | |
US11340708B2 (en) | Gesture control of medical displays | |
JP2022553385A (ja) | Ent処置の可視化システム及び方法 | |
JP2017146758A (ja) | 重畳画像表示システム | |
CN109833092A (zh) | 体内导航系统和方法 | |
US20230065505A1 (en) | System and method for augmented reality data interaction for ultrasound imaging | |
CN108778135B (zh) | 多模态x射线成像中的光学相机选择 | |
US12023208B2 (en) | Method for operating a visualization system in a surgical application, and visualization system for a surgical application | |
JP2024037139A (ja) | 医用撮像システムおよび医用撮像方法 | |
US20220022964A1 (en) | System for displaying an augmented reality and method for generating an augmented reality | |
US20230360334A1 (en) | Positioning medical views in augmented reality | |
JP2016168078A (ja) | 医用観察支援システム及び臓器の3次元模型 | |
KR102460821B1 (ko) | 증강 현실 장치 및 증강 현실 장치의 동작 방법 | |
US20230237711A1 (en) | Augmenting a medical image with an intelligent ruler | |
Kase et al. | Representation by Extended Reality in X-Ray Three-Dimensional Imaging | |
CN112397189A (zh) | 一种医用导引装置及其使用方法 | |
Suzuki et al. | A real-time data fusion system updating 3D organ shapes using color information from |