JP2024037139A - 医用撮像システムおよび医用撮像方法 - Google Patents

Abstract

【課題】ユーザにとって快適な画像を頭部装着型表示装置に表示させること。【解決手段】本実施形態に係る医用撮像システムは、患者または患者の画像を視認可能な頭部装着型表示装置と、医用機器の位置と向きを決定する第１の追跡システムと、頭部装着型表示装置の位置と向きを決定する第２の追跡システムと、第１または第２の追跡システムにより位置と向きが検出可能であって第１の追跡システムの基準系または頭部装着型表示装置に対して既知または決定可能な位置と向きを有する少なくとも１つのマーカーと、第１の追跡システムと頭部装着型表示装置の基準系の位置合わせをマーカーの位置と向きを用いて実行し、位置合わせに基づいて患者のビューまたは画像に対してアライメントされた医用機器の模擬画像と、位置合わせに基づいてアライメントされた医用画像と医用機器の模擬画像、のうちの少なくとも１つを、頭部装着型表示装置に表示させる処理回路と備える。【選択図】図９

Description

本発明は、概して、例えば、頭部装着装置を用いて医用画像および／または医用機器の模擬画像を表示させる方法など、医用撮像システムと方法に関する。例えば、本実施形態は、医用撮像システムおよび医用撮像方法に関する。

医用撮像プロシージャ（ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ ｐｒｏｃｅｄｕｒｅｓ）において、ライブ画像データをディスプレイスクリーン上に表示することがある。これには、オペレータが患者または他の被検体を見ることとディスプレイスクリーンを見ることとを切り替える必要があり、オペレータにとって人間工学に適ったものではなく、および／または、快適ではないことがある。

ライブ画像データを表示するために、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）または仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）ヘッドセットを医用撮像中に使用してよい。そのような医用撮像プロシージャにおいて、画像データを得るために測定プローブを用いてよい。さらに、医用プロシージャを行うために、医用機器を用いてよい。例えば、ニードルを誘導する生検プロシージャ（ｂｉｏｐｓｙ ｐｒｏｃｅｄｕｒｅｓ）では、患者または他の被検体から組織サンプルを得るためにニードルを用いてよい。ニードルは組織内に挿入され、測定プローブを使って誘導される。

測定プローブおよび／またはニードルの位置に対する画像データを表示するために、ヘッドセットを用いてよい。測定プローブおよび／またはニードルを光学的に追跡してよい。しかし、ヘッドセット、測定プローブおよび／またはニードルはそれぞれ独立して動き、このため、ヘッドセットが表示するライブ画像を測定プローブおよび／またはニードルの位置にアライメント（ａｌｉｇｎｍｅｎｔ：調整）することが困難になることがある。また、測定プローブおよび／またはニードルをヘッドセットの視野の外側で使用することがある。測定プローブおよび／またはニードルを光学的に追跡することで、精度または精密性および／または速度の低下したニードル生検を行うようになってしまうことがある。

米国特許出願公開第２０１９／０５６６９３号明細書

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ユーザにとって快適な画像を頭部装着型表示装置に表示させることにある。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

本実施形態に係る医用撮像システムは、頭部装着型表示装置と、第１の追跡システムと、第２の追跡システムと、少なくとも１つのマーカーと、処理回路と、を備える。頭部装着型表示装置は、ユーザが患者または前記患者の画像を見ることができる。第１の追跡システムは、医用機器の位置と前記医用機器の向きとを決定する。第２の追跡システムは、前記頭部装着型表示装置の位置と前記頭部装着型表示装置の向きとを決定する。少なくとも１つのマーカーは、前記第２の追跡システムにより位置と向きとが検出可能である。少なくとも１つのマーカーは、前記第１の追跡システムの基準系に対して既知または決定可能な位置と向きとを有し、または、前記第１の追跡システムにより位置と向きとが検出可能であり、前記頭部装着型表示装置に対して既知または決定可能な位置と向きを有する。処理回路は、前記第１の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、前記マーカーの前記位置と前記マーカーの前記向きとを用いて実行する。処理回路は、前記位置合わせに基づいて前記患者のビューまたは前記患者の画像に対してアライメントされた（調整された）前記医用機器の模擬画像と、前記位置合わせに基づいてアライメントされた（調整された）医用画像と前記医用機器の模擬画像と、のうちの少なくとも１つを、前記頭部装着型表示装置に表示させる。

図１は、実施形態に従った医用撮像システムの概略図である。 図２は、患者を伴った使用中の図１のシステムの概略図である。 図３は、図１のシステムの第１の追跡システムの基準系と第２の追跡システムの基準系との間の変換の概略図である。 図４Ａは、図１のシステムの医用画像と医用機器の模擬画像）との図である。 図４Ｂは、図１のシステムの頭部装着型表示装置（頭部装着型ディスプレイ）を用いた患者のユーザビューまたは画像の概略図である。 図５は、患者を伴った使用中の図１のシステムの別の概略図である。 図６は、図１のシステムの頭部装着型表示装置（頭部装着型ディスプレイ）を用いた患者のユーザビューまたは画像の概略図である。 図７は、図１のシステムの頭部装着型表示装置（頭部装着型ディスプレイ）を用いた患者のユーザビューまたは画像の別の概略図である。 図８は、図１のシステムの頭部装着型表示装置（頭部装着型ディスプレイ）を用いた患者のユーザビューまたは画像の別の概略図である。 図９は、実施形態の医用撮像方法の概要を示すフローチャートである。

ある実施形態は、ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置と、医用機器の位置と向きとを決定する第１の追跡システムと、前記頭部装着型表示装置の位置と向きとを決定する第２の追跡システムと、少なくとも１つのマーカーであって、前記第２の追跡システムによりその位置と向きとが検出可能であり前記第１の追跡システムの基準系に対して既知または決定可能な位置と向きとを有する、若しくは、前記第１の追跡システムによりその位置と向きとが検出可能であり前記頭部装着型表示装置に対して既知または決定可能な位置と向きとを有する少なくとも１つのマーカーと、前記第１の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、前記少なくとも１つのマーカーの前記位置と向きとを用いて行い、前記位置合わせに基づいて前記患者のビューまたは画像に対してアライメントされた前記医用機器の模擬画像と、前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、のうちの少なくとも１つを、前記頭部装着型表示装置を用いて表示させる、処理回路と、を備えた医用撮像システムを提供する。

ある実施形態は、ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置を与えることと、医用機器の位置と向きとを第１の追跡システムを用いて決定することと、前記頭部装着型表示装置の位置と向きとを第２の追跡システムを用いて決定することと、少なくとも１つのマーカーの位置と向きとを前記第２の追跡システムにより検出することであって、前記少なくとも１つのマーカーは前記第１の追跡システムの基準系に対して既知または決定可能な位置と向きとを有する、若しくは、前記少なくとも１つのマーカーの位置と向きとを前記第１の追跡システムにより検出することであって、前記少なくとも１つのマーカーは前記頭部装着型表示装置に対して既知または決定可能な位置と向きとを有することと、前記第１の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、処理回路と前記少なくとも１つのマーカーの前記位置と向きとを用いて行い、前記処理回路と前記頭部装着型表示装置とを用いて、前記位置合わせに基づいて前記患者のビューまたは画像に対してアライメントされた前記医用機器の模擬画像と、前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、のうちの少なくとも１つを表示させることと、を含む医用撮像方法を提供する。

実施形態に従った医用撮像システム１０が、図１に概略的に示される。医用撮像システム１０は、単にシステム１０と称されてもよい。本実施形態において、システム１０は、超音波撮像システム１２を備える。他の実施形態において、当該システムは、コンピュータ断層撮影（ｃｏｍｐｕｔｅｒ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）システム、Ｘ線撮像システムまたは他の医用撮像システムを備えてよい。

実施形態では、超音波撮像システム１２は、超音波スキャンから超音波データを取得し、当該超音波データを処理して超音波画像を得るように構成される。超音波撮像システム１２は、測定プローブ１４を備える。任意の好適な種類の超音波撮像システム１２および測定プローブ１４を用いてよい。測定プローブ１４をプローブ、超音波プローブ、または測定装置と称することもある。

超音波撮像システム１２は、メインの超音波画像を表示するための主ディスプレイスクリーン１６を備える。超音波マシン（超音波撮像システム）１２は、スキャナコンソール２０を更に備える。スキャナコンソール２０は、制御情報を表示するための制御スクリーン１８と、各種制御ノブ１９を有する入力装置とを備える。入力装置は、コンピュータキーボード、マウス、またはトラックボール（図示せず）を更に備えてよい。制御ノブ１９および／または他の入力装置を用いて、複数のハードウェアおよびソフトウェアパラメータの値を調整してよい。本実施形態では、制御スクリーン１８は、表示装置でありユーザ入力装置でもあるタッチスクリーンである。更なる実施形態では、超音波マシン（超音波撮像システム）１２の一部を形成しない制御スクリーン１８、ディスプレイスクリーンまたは主ディスプレイスクリーン１６を備えてよい。

超音波マシン（超音波撮像システム）１２はデータ記憶部２１を備える。超音波撮像システム１２は、画像データを含むデータを処理するための処理装置２２を備える。画像データを超音波データと称することもある。処理装置２２は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）およびグラフィカルプロセッシングユニット（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）を備える。処理装置２２は、処理回路２４を有する。処理回路２４をＣＰＵ、ＧＰＵ、またはＣＰＵとＧＰＵとを組み合わせたものに実装してよい。

本実施形態では、処理回路２４は、システム１０の１つまたは複数のオペレーションを実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、処理装置２２のＣＰＵおよび／またはＧＰＵに実装される。しかし、他の実施形態では、処理回路２４は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアとの任意の好適な組み合わせに実装されてよい。いくつかの実施形態では、各種回路が、１つまたは複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）として実装されてよい。

代替となる実施形態では、処理回路２４を備える処理装置２２は、任意の好適な医用撮像装置（例えば、ＣＴシステムまたはＸ線撮像システム）または画像処理装置（例えば、ＰＣまたはワークステーション）の一部であってよい。処理装置２２は、撮像データの任意の好適なモダリティを処理するように構成されてよい。

処理装置２２は、ハードドライブおよびＲＡＭ、ＲＯＭ、データバスを含む他のコンポーネントと、種々のデバイスドライバを含むオペレーティングシステムと、グラフィックカードを含むハードウェア装置と、をも有する。その様なコンポーネントは、明瞭化のために、図１には示されない。

システム１０は頭部装着型表示装置（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ ｄｅｖｉｃｅ）２６を備え、ユーザは頭部装着型表示装置２６を介して患者または他の被検体、若しくは、当該患者または他の被検体の画像を見ることができる。すなわち、頭部装着型表示装置２６は、ユーザが患者または当該患者の画像を見ることができる。なお、頭部装着型表示装置（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ ｄｅｖｉｃｅ）２６は、単に頭部装着型ディスプレイ（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ）と称されてもよい。下の説明では患者のみに言及する。しかし、本明細書に開示される特徴は、別の被検体または人物にも適用可能であってよい。頭部装着型表示装置２６を、拡張現実（ＡＲ）ヘッドセットまたは仮想現実（ＶＲ）ヘッドセットまたは他の装着型ヘッドセットの形態で提供してよい。すなわち、頭部装着型表示装置２６は、拡張現実ヘッドセットまたは仮想現実ヘッドセットまたは他の装着可能なヘッドセットを備える。頭部装着型ディスプレイ２６をヘッドセットと称することがある。

システム１０は、第１の追跡システム２８を備える。第１の追跡システム２８は、医用機器３０の位置と医用機器３０の向きとを決定するように構成される。医用機器３０をインターベンション装置と称してもよい。医用機器３０は、患者の体内に挿入されるように構成されてよい。例えば、医用機器３０は、体腔、組織、および／または患者の臓器に挿入されるように構成されてよい。本実施形態では、医用機器３０は、患者の体内に挿入して生検プロシージャを行う生検ニードルの形態で提供される。他の実施形態では、医用機器３０は、カテーテル、アブレーション装置、内視鏡装置、エンドキャビティプローブ、または任意の他の好適な医用機器の形態で提供されてよい。

本実施形態では、第１の追跡システム２８は磁気追跡システムの形態で設けられる。第１の追跡システム２８を、例えばＡｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎにより製造されるｄｒｉｖｅＢＡＹ（登録商標）またはｔｒａｋＳＴＡＲ（登録商標）電磁気追跡システムなどの電磁気追跡システムと称してもよい。例えば、第１の追跡システム２８は、磁場を生成し、磁場を用いて医用機器３０の位置と医用機器３０の向きとを決定する磁気追跡システムを備える。

第１の追跡システム２８は、送信器３２を備える。送信器３２を生成器または磁場生成器と称してもよい。送信器３２は、ＤＣ磁場またはＡＣ磁場のような磁場を生成および送信するように構成される。第１の追跡システム２８は、第１の位置センサ３４を備える。第１の位置センサ３４は、医用機器３０の一部であってよい。すなわち、第１の位置センサ３４、医用機器３０の一部である、または、医用機器３０に含まれている。例えば、第１の位置センサ３４は医用機器３０に埋め込まれる。第１の位置センサ３４は、送信器３２が生成した磁場を検出するように構成される。例えば、第１の位置センサ３４は、磁場により電圧が誘導される受信器の形態で設けられる。検出された磁場の強さおよび／または方向に基づいて、第１の追跡システム２８は、第１の位置センサ３４、ひいては医用機器３０の位置と向きとを決定するように構成される。

第１の追跡システム２８は、第２の位置センサ３６を備えてよい。第１の追跡システム２８は、第２の位置センサ３６の位置と向きとを決定するように構成される。本実施形態では、第２の位置センサ３６は測定プローブ１４の一部である。例えば、第２の位置センサ３６は、測定プローブ１４に埋め込まれている。すなわち、第２の位置センサ３６は、測定装置１４の一部である、または、測定装置１４に含まれている。第２の位置センサ３６は、送信器３２が生成した磁場を検出するように構成される。例えば、第２の位置センサ３６は、磁場により電圧が誘導される受信器の形態で設けられる。検出された磁場の強さおよび／または方向に基づいて、第１の追跡システム２８は、第２の位置センサ３６、ひいては測定プローブ１４の位置と向きとを決定するように構成される。

代替となる実施形態では、第１の追跡システム２８は、慣性追跡システム、Ｗｉ－Ｆｉ（登録商標）に基づく位置決めシステム、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく位置決めシステム、飛行時間に基づく追跡システム、音響追跡および／または超音波追跡システムのうちの少なくとも１つ又はそれらの組み合わせを備える。例えば、第１の追跡システム２８は、慣性追跡システムと、Ｗｉ－Ｆｉ（登録商標）に基づく位置決めシステムと、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく位置決めシステムと、飛行時間に基づく追跡システムと、音響追跡と、超音波追跡システムとのうちの少なくとも１つを備える。

第１の追跡システム２８は位置検出器３８を備える。位置検出器３８を追加のまたは更なる位置システムと称してもよい。位置検出器３８は、第１の追跡システム２８の一部の動きを検出するように構成される。例えば、第１の追跡システム２８の当該一部は、送信器３２を備える。本実施形態では、位置検出器３８は送信器３２の一部である。位置検出器３８は、送信器３２の動きを検出するように構成される。位置検出器３８は、光学または慣性センサとして実装されてよい。慣性センサは、アクセラレータなどの運動センサおよび／またはジャイロスコープなどの回転センサを備えてよい。光学センサは、画像センサ、カメラ、または他の光学センサとして実装されてよい。光学センサは、オブジェクト検出システムなどのコンピュータビジョンシステムの一部であってよい。他の実施形態では、位置検出器３８を送信器３２から分離して配置してよい。

システム１０は、第２の追跡システム４０を備える。第２の追跡システム４０を更なる追跡システムと称してもよい。第２の追跡システム４０は、頭部装着型ディスプレイ２６の位置と頭部装着型ディスプレイ２６の向きとを決定するように構成される。第２の追跡システム４０は、可視光、赤外光、または他の不可視光を用いる光学追跡システムの形態で設けられる。第２の追跡システム４０を光学システムと称してもよい。第２の追跡システム４０は、１つまたは複数のカメラ４２または他の光学センサを備える。いくつかの実施形態では、カメラまたは他の光学センサ４２は頭部装着型ディスプレイ２６の一部であってもよい。他の実施形態では、カメラまたは他の光学センサ４２は、頭部装着型ディスプレイ２６とは分離して配置される。例えば、カメラまたは他の光学センサ４２を、頭部装着型ディスプレイ２６の周囲に配置してよい。カメラまたは他の光学センサ４２の配置は、カメラまたは他の光学センサ４２により頭部装着型ディスプレイ２６の位置と向きとを検出可能であれば、他の好適な配置が可能である。いくつかの実施形態では、カメラまたは他の光学センサ４２は、赤外線カメラまたはセンサ若しくは他の不可視光カメラまたはセンサとして実装される。

システム１０は、少なくとも１つのマーカー４４を備える。本実施形態では、マーカー４４は、光学マーカーとして実装される。マーカー４４は、第２の追跡システム４０により検出可能であり、および／または、マーカー４４をその周囲から識別するパターンおよび／または色を備えてよい。パターンは、１つまたは複数の円、三角形、四角形、正方形および／または任意の他の好適な幾何学的図形などの１つまたは複数の幾何学的図形の配列を備えてよい。幾何学的図形の配列は、規則的であっても不規則であってもよい。いくつかの実施形態では、マーカー４４を、正方形マーカー、四角形マーカー、円形マーカー、クイックレスポンス（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ：ＱＲ）コード（登録商標）、マキシコード（ＭａｘｉＣｏｄｅ）（登録商標）、および／または任意の他の好適な光学マーカーの形態で提供してよい。マーカー４４の位置とマーカー４４の向きとは第２の追跡システム４０により検出可能である。すなわち、マーカー４４は、第２の追跡システム４０により、当該マーカー４４の位置と当該マーカー４４の向きとが検出可能な構成を有する。例えば、カメラまたは他の光学センサ４２を頭部装着型ディスプレイ２６にまたは頭部装着型ディスプレイ２６の周囲に、マーカー４４の位置と向きとをカメラまたは他の光学センサ４２により検出できるように配置する。マーカー４４の位置とマーカー４４の向きとは、第１の追跡システム２８の基準系に対して既知または決定可能である。すなわち、マーカー４４は、第１の追跡システム２８の基準系に対して既知または決定可能な位置と向きとを有する。または、マーカー４４は、第１の追跡システム２８より、当該マーカー４４の位置と当該マーカー４４の向きとが検出可能な構成を有する。第１の追跡システム２８の基準系を、磁場の基準系と称してもよい。例えば本実施形態では、マーカー４４は送信器３２に取り付けられている。他の実施形態では、マーカー４４は、第１または第２の位置センサと同じ場所にあってよい。例えば、そのような実施形態では、マーカー４４は、医用機器３０または測定プローブ１４に取り付けられてよい。

図２は、患者４６を伴った使用中のシステム１０の概略図である。第１の追跡システム２８の基準系は３次元であり、図２ではＦＲ１の符号を持つ座標系により示される。第１の追跡システム２８は、第１の追跡システム２８の基準系ＦＲ１に対する医用機器３０の位置と向きとを決定するように構成される。

頭部装着型表示装置２６の基準系は３次元であり、図２ではＦＲ２の符号を持つ座標系により示される。第２の追跡システム４０は、第２の追跡システム４０の基準系ＦＲ２に対する頭部装着型表示装置２６の位置と向きとを決定するように構成される。また、第２の追跡システム４０は、マーカー４４に対する頭部装着型表示装置２６の位置と向きとを決定するように構成される。

本実施形態では、処理回路２４は、第１の追跡システム２８の基準系ＦＲ１と頭部装着型表示装置２６の基準系ＦＲ２とを、マーカー４４の位置と向きとを用いて、位置合わせするように構成される。すなわち、処理回路２４は、第１の追跡システム２８の基準系と頭部装着型表示装置２６の基準系との位置合わせを、マーカー４４の位置とマーカー４の向きとを用いて実行する。第１および第２の追跡システム２８，４０の基準系ＦＲ１，ＦＲ２間の座標の変換を概略的に示す図３を参照してこれを説明する。第１の追跡システム２８の基準系ＦＲ１における医用機器３０の位置を、４エレメントベクトル（時間ｔ、３次元座標ｘ、ｙ、ｚ）などのベクトルにより表してよい。第１の追跡システム２８の基準系ＦＲ１における医用機器３０の向きを、一組の３つの直交基底ベクトルにより表してよい。医用機器３０の向き、例えば３つの直交基底ベクトルを、図２では座標系ＣＳ１により示す。第１の追跡システム２８の基準系ＦＲ１に対する医用機器３０の位置と向きとを、第１の行列Ｐ１により共に表現できる。第１の行列Ｐ１は、第１の追跡システム２８の基準系ＦＲ１における医用機器３０の位置と向きとを表す、４×４の同次行列（ｈｏｍｏｇｅｎｏｕｓ ｍａｔｒｉｘ）であってよい。

第２の追跡システム４０の基準系ＦＲ２における医用機器３０の位置を、４エレメントベクトルなどのベクトルにより表してよい。第２の追跡システム４０の基準系ＦＲ２における医用機器３０の向きを、一組の３つの直交基底ベクトルにより表してよい。第２の追跡システム４０の基準系ＦＲ２に対する医用機器３０の位置と向きとを、第２の行列Ｐ２により共に表現できる。第２の行列Ｐ２は、第２の追跡システム４０の基準系ＦＲ２における医用機器３０の位置と向きとを表す、４×４の同次行列であってよい。

上記のように、第１の追跡システム２８は、医用機器３０の位置と向きとを決定するように構成される。医用機器３０の位置と向きとは、第１の追跡システム２８の基準系ＦＲ１に対して決定される。そのように、第１の行列Ｐ１を、第１の追跡システム２８により決定できる。例えば、第１の追跡システム２８により与えられる医用機器３０の位置と向きを表すデータに基づいて、第１の行列Ｐ１を決定してよい。第２の行列Ｐ２を決定するために、第１の追跡システム２８の基準系ＦＲ１から第２の追跡システム４０の基準系ＦＲ２への座標の変換Ｍの決定が必要である。変換Ｍの決定をキャリブレーションと称してもよい。

第１の追跡システム２８の基準系ＦＲ１におけるマーカー４４の位置を、４エレメントベクトルなどのベクトルにより表してよい。第１の追跡システム２８の基準系ＦＲ１におけるマーカー４４の向きを、一組の３つの直交基底ベクトルにより表してよい。第１の追跡システム２８の基準系ＦＲ１におけるマーカー４４の位置と向きとを、第３の行列Ｐ３により共に表現できる。第３の行列Ｐ３は、第１の追跡システム２８の基準系ＦＲ１におけるマーカー４４の位置と向きとを表す、４×４の同次行列であってよい。

上記のように、マーカー４４は送信器３２に取り付けられている。送信器３２は、第１の追跡システム２８の基準系ＦＲ１の原点であると考えてよい。図３では、マーカー４４は、明瞭性のため、第１の追跡システム２８の基準系ＦＲ１の原点に対して離れた位置に示される。他の実施形態では、マーカー４４は、第１の追跡システム２８の基準系ＦＲ１の原点からある距離に、例えば既知または決定可能な距離に位置してよい。

上記のように、第１の追跡システム２８の基準系ＦＲ１に対するマーカー４４の位置と向きとは、既知または決定可能である。マーカー４４の位置と向きとは、例えば第２の追跡システム４０の基準系ＦＲ２に対するマーカー４４の位置と向きとは、第２の追跡システム４０により検出可能である。第２の追跡システム４０の基準系ＦＲ２におけるマーカー４４の位置を、４エレメントベクトルなどのベクトルにより表してよい。第２の追跡システム４０の基準系ＦＲ２におけるマーカー４４の向きを、一組の３つの直交基底ベクトルにより表してよい。第２の追跡システム４０の基準系ＦＲ２に対するマーカー４４の位置と向きとを、第４の行列Ｐ４により共に表現する。第４の行列Ｐ４は、第２の追跡システム４０の基準系ＦＲ２におけるマーカー４４の位置と向きとを表す、４×４の同次行列であってよい。

第２の追跡システム４０の基準系ＦＲ２に対するマーカー４４の位置と向きとを第２の追跡システム４０によるマーカー４４の光学的認識により、例えば、光学的認識アルゴリズム、画像解析器アルゴリズム、ビデオ追跡アルゴリズムおよび／または任意の他の好適なアルゴリズムを用いて、決定できる。第２の追跡システム４０により与えられるマーカー４４の位置と向きとを表すデータに基づいて、第２の行列Ｐ２を決定してよい。

処理回路２４は、第１の追跡システム２８の基準系ＦＲ１から第２の追跡システム４０の基準系ＦＲ２への座標の変換Ｍを、第３及び第４の行列Ｐ３，Ｐ４に基づいて決定するように構成される。変換Ｍを変換と称してよく、行列として実装してよい。変換Ｍは、平行移動、回転、シェアリング（ｓｈｅａｒｉｎｇ）および／またはスケーリングなどの１つまたは複数のアフィンまたは線形変換から導かれるもの、または、当該１つまたは複数のアフィンまたは線形変換に分解されるものであってよい。いくつかの実施形態では、変換は、解析的に、例えば、１つまたは複数の解析的方法を用いて決定できる。当該１つまたは複数の解析的方法は、グローバル数式ソルバ―（ｇｌｏｂａｌ ｅｑｕａｔｉｏｎ ｓｏｌｖｅｒ）アルゴリズム、レーベンバーグ・マーカート（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ）アルゴリズム、および／または任意の他の好適なアルゴリズムを含んでよい。処理回路２４は、第１の追跡システム２８の基準系ＦＲ１と第２の追跡システム４０の基準系ＦＲ２との位置合わせを、変換Ｍに従って実現するように構成される。いくつかの実施形態では、マーカー４４は送信器３２に永久的に取り付けられている。そのように、下で説明するように、送信器３２および／またはマーカー４４が移動していない場合は、変換Ｍを１回だけ決定してよい。

代替となる実施形態では、マーカー４４の位置と向きとが第１の追跡システム２８により検出可能である。そのような代替となる実施形態では、マーカー４４は、頭部装着型ディスプレイ２６に対して既知または決定可能な位置と向きとを有する。上記のように、マーカー４４は送信器３２に取り付けられてよい、若しくは、送信器３２から分離して配置されてよい。そのような代替となる実施形態では、システム１０は更なる位置センサを備えてよい。更なる位置センサは、一時的に、マーカー４４に取り付けられてよく、または、その逆であってよい。更なる位置センサは、送信器３２が生成した磁場を検出するように構成される。例えば、更なる位置センサは、磁場により電圧が誘導される受信器の形態で設けられる。検出された磁場の強さおよび／または方向に基づいて、第１の追跡システム２８は、更なる位置センサ、引いてはマーカー４４の位置を決定するように構成される。上記のように、第２の追跡システム４０の基準系ＦＲ２に対するマーカー４４の位置と向きとを、第２の追跡システム４０によるマーカー４４の光学的認識により決定できる。変換が決定されると、更なる位置センサをマーカー４４から取り外してよい。

処理回路２４は、位置合わせに基づいて患者４６のビューまたは患者４６の画像に対してアライメント（調整）された医用機器３０の模擬画像５０と、位置合わせに基づいてアライメントされた医用画像４８と医用機器３０の模擬画像５０と、のうちの少なくとも１つを、頭部装着型表示装置２６に表示させる。医用機器３０の模擬画像５０は、例えば、医用機器３０の形状などを３次元的または２次元的に擬似的に模した画像である。模擬画像は、レプレゼンテーション（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ：表現、表像）などと称されてもよい。図２および図４Ａは、医用画像４８と医用機器３０の模擬画像５０とを示す。医用機器３０の模擬画像５０は、医用機器３０の３次元の模擬画像を含んでよい。本実施形態では、医用画像４８は、超音波画像の形態で与えられる。本実施形態では、医用画像４８は、超音波撮像システムにより取得されたライブ撮像データの一部であってよい。他の実施形態では、医用画像４８は、別の医用撮像システムにより取得された撮像データの一部であってよい。例えば、そのような他の実施形態では、医用画像４８はＸ線画像、ＣＴスキャン、ＭＲＩスキャン、または他の医用画像の形態で与えられてよい。

処理回路２４は、医用画像４８と医用機器３０の模擬画像５０とを、頭部装着型表示装置２６を用いて表示させるように構成される。例えば、処理回路２４は、変換Ｍと第１の行列Ｐ１とに基づいて第２の行列Ｐ２を決定するように構成される。処理回路２４は、第２の追跡システム４０の基準系ＦＲ２に対する医用機器３０の位置と向きとを決定するように構成される。そのように、医用画像４８と医用機器３０の模擬画像５０とは、位置合わせに基づいてアライメント（調整）される。医用画像４８と医用機器３０の模擬画像５０とのアライメントにより、ユーザは超音波撮像などの医用撮像および／またはニードル生検などの医用プロシージャをより高い精度および／またはより速い速度でおよび／または人間工学により適しておよび／またはより快適に行うことができるかもしれない。

図４Ｂは、頭部装着型ディスプレイ２６を用いた患者４６のユーザビューまたは画像を概略的に示す。いくつかの実施形態では、処理回路２４は、頭部装着型ディスプレイ２６を用いて医用機器３０の模擬画像５０を表示させるように構成される。そのような実施形態では、処理回路２４は、医用機器３０の模擬画像５０を頭部装着型表示装置２６に表示させるのみに構成される。上記のように、処理回路２４は、変換Ｍと第１の行列Ｐ１とに基づいて第２の行列Ｐ２を決定するように構成される。処理回路２４は、第２の追跡システム４０の基準系ＦＲ２に対する医用機器３０の位置と向きとを決定するように構成される。こうして、医用機器３０の模擬画像５０は、位置合わせに基づいて、患者４６のビューまたは画像に対してアライメントされる。位置合わせに基づく患者４６のビューまたは画像に対する医用機器３０の模擬画像５０のアライメントにより、ユーザはニードル生検などの医用プロシージャをより高い精度および／またはより速い速度でおよび／または人間工学により適しておよび／またはより快適に行うことができるかもしれない。

いくつかの実施形態では、処理回路２４は、医用画像４８および／または医用機器３０の模擬画像５０および測定プローブ（測定装置）１４の模擬画像５１を頭部装着型表示装置２６に表示させるように構成される。上記のように、第１の追跡システム２８は、測定プローブ１４の位置と向きとを決定するように構成される。測定プローブ１４の座標を、図２では座標系ＣＳ２により示す。処理回路２４は、図３に関連して上述したように、第２の追跡システム４０の基準系ＦＲ２に対する測定プローブ１４の位置と向きとを、変換Ｍに基づいて決定するように構成される。いくつかの実施形態では、図４Ａに示されるように、医用画像４８と、医用機器３０の模擬画像５０と、測定プローブ１４の模擬画像５１とは、位置合わせに基づいてアライメントされる。いくつかの実施形態では、図４Ｂに示すように、医用機器３０の模擬画像５０と測定プローブ１４の模擬画像５１とは、患者４６のビューまたは画像に対して、位置合わせに基づいてアライメントされる。すなわち、処理回路２４は、医用画像４８と、医用機器３０の模擬画像５０と、測定装置１４の模擬画像５１とを位置合わせに基づいてアライメントすることと、医用機器３０の模擬画像５０と測定装置１４の模擬画像５１とを、患者４６のビューまたは患者４６の画像に対して、前記位置合わせに基づいてアライメントすることと、のうちの少なくとも１つを実行する。

処理回路２４は、医用画像４８と、医用機器３０の模擬画像５０および／または測定プローブ１４の模擬画像５１と、医用画像４８の医用機器３０の模擬画像５０へのおよび／または測定プローブ１４の模擬画像５１へのアライメントとを表すデータを、頭部装着型ディスプレイ２６へ送るように構成されてよい。若しくは、処理回路２４は、医用機器３０の模擬画像５０および／または測定プローブ１４の模擬画像５１と、患者４６のビューまたは画像に対する医用機器３０の模擬画像５０へのおよび／または測定プローブ１４の模擬画像５１へのアライメントとを表すデータを、頭部装着型ディスプレイ２６へ送るように構成されてよい。本実施形態では、頭部装着型表示装置２６は、ＡＲオーバーレイレンダリング回路のようなレンダリング回路５２を備える。レンダリング回路５２は、医用画像４８と、医用機器３０の模擬画像５０および／または測定プローブ１４の模擬画像５１とを、処理回路２４により送信されるデータに基づいて、表示およびオーバーレイするように構成される。いくつかの実施形態では、レンダリング回路５２は、図２に示すように、医用画像４８と、医用機器３０の模擬画像５０および／または測定プローブ１４の模擬画像５１とを、患者４６のビューまたは画像の上にオーバーレイするように構成される。例えば、医用画像４８と医用機器３０の模擬画像５０とは、患者４６のビューまたは患者４６の画像上に重ね合わせられる。図２は、頭部装着型ディスプレイ２６が表示する測定プローブ１４と測定プローブ１４の模擬画像５１とを両方示す。いくつかの実施形態では、レンダリング回路５２は、図４Ｂに示すように、医用機器３０の模擬画像５０および／または測定プローブ１４の模擬画像５１を、患者４６のビューまたは画像の上にオーバーレイするように構成される。

図５は、患者４６を伴った使用中のシステム１０を示す。明確性のため、医用機器３０を図５から省略した。上記のように、超音波撮像システム１２は、メインの超音波画像を表示するための主ディスプレイスクリーン１６を備える。例えば、医用撮像システム１０は、医用画像４８を表示するスクリーン１６を備え、処理回路２４は、頭部装着型表示装置２６にスクリーン１６の模擬画像を表示させる。いくつかの実施形態では、処理回路２４は、主ディスプレイスクリーン１６の模擬画像を、頭部装着型ディスプレイ２６を用いて表示させるように構成される。例えば、主ディスプレイスクリーン１６により表示される１つまたは複数の医用画像４８は、頭部装着型ディスプレイ２６を用いて表示される。頭部装着型ディスプレイ２６を使って医用画像４８および／または主ディスプレイスクリーン１６の模擬画像を表示することで、システム１０がユーザ４９にとって、人間工学により適しおよび／またはより快適となり得る。例えば、処理回路２４は、ユーザ４９が患者４６、医用機器３０、および／または測定プローブ１４に対面したときに、医用画像４８、医用機器３０の模擬画像５０、測定プローブ１４の模擬画像５１、および／または、主ディスプレイスクリーン１６の模擬画像を、頭部装着型ディスプレイ２６を用いて表示させるように構成される。例えば、処理回路２４は、ユーザ４９が医用機器３０に対面するときに、頭部装着型表示装置２６に、医用画像４８と医用機器３０の模擬画像５０とのうちの少なくとも１つを表示させる。処理回路２４は、ユーザ４９が患者４６、医用機器３０、および／または測定プローブ１４に対面していないときに、医用画像４８、医用機器３０の模擬画像５０、測定プローブ１４の模擬画像５１、および／または、主ディスプレイスクリーン１６の模擬画像を頭部装着型表示装置２６に表示させないように構成される。例えば、処理回路２４は、ユーザ４９が患者４６、医用機器３０、および／または測定プローブ１４に対面していないときに、現実世界の画像を頭部装着型表示装置２６に表示させるように構成される。

上記のように、第１の追跡システム２８は、送信器３２の動きを、例えばマーカー４４に対する送信器３２の動きを検出するように構成される位置検出器３８を備える。検出された送信器３２の動きを、システム１０の位置合わせを無効化するおよび／または更新するために用いてよい。例えば、送信器３２の動きが検出されると、第１および第２の追跡システム２８，４０の基準系の位置合わせはもはや正確または有効ではなく、および／または、更新が必要であるだろう。

いくつかの実施形態では、送信器３２の動きが、例えばマーカー４４に対して検出されると、処理回路２４は、位置合わせの更新が必要であることをユーザに警告するように構成される。すなわち、少なくとも１つのマーカー４４に対する第１の追跡システム２８の一部の動きが検出された場合、処理回路２４は、位置合わせの更新が必要であることをユーザ４９に警告する。

いくつかの実施形態では、処理回路２４は、送信器３２の新たな位置に基づいて、位置合わせを更新するように構成される。例えば、少なくとも１つのマーカー４４に対する第１の追跡システム２８の一部の動きが検出された場合、処理回路２４は、第１の追跡システム２８の一部の動きによる新たな位置に基づいて位置合わせを更新してもよい。処理回路２４は、位置合わせを更新するための新たな変換Ｍを決定するように構成されてよい。新たな変換の決定は、新たな第３の行列Ｐ３を決定することを含んでよい。送信器３２の新たな位置と送信器３２の前の位置との差が既知である又は決定可能である実施形態において、送信器３２の新たな位置と前の位置との差に基づいて、新たな第３の行列Ｐ３と新たな変換Ｍとを決定できる。

いくつかの実施形態では、頭部装着型表示装置２６は、図１に示される少なくとも１つの更なるカメラ５４を備える。更なるカメラ５４をヘッドセットカメラと称してもよい。更なるカメラ５４は、患者４６の位置および／または向きを決定するように構成される。すなわち、頭部装着型表示装置２６は、患者４６の位置および／または患者４６の向きを決定する少なくとも１つのカメラを備える。「患者４６の位置および／または向き」という用語は、患者４６の身体の一部の位置および／または向きを含んでよい。患者４６の身体の一部は、頭部、四肢、胴体、または患者４６の身体の他の部分であってよい。患者の身体の一部は、１つまたは複数の臓器または他の組織を含んでよい。患者４６の位置および向きを患者４６のポーズと称してもよい。いくつかの実施形態では、決定した患者４６の位置および／または向きが、システム１０により取得された画像データと共に記憶される。画像データは超音波画像５３と、超音波画像５３を取得するために使用された測定プローブ１４の位置および／または向きと、例えば第１の追跡システム２８の基準系ＦＲ１に対する測定プローブ１４の位置および／または向きと、を表すデータとを含んでよい。例えば、決定した患者４６の位置および／または向きと、取得した画像データとを、システム１０のデータ記憶部２１に記憶することができる。すなわち、決定された患者４６の位置および／または決定された患者４６の向きは、医用撮像システム１０により取得された画像データと共に記憶される。

図６は、頭部装着型ディスプレイ２６を用いる患者４６のユーザビューまたは画像の概略を示す。いくつかの実施形態では、処理回路２４は、頭部装着型表示装置２６を使って、患者４６のビューまたは画像にアライメントされた前のスキャンから超音波画像５３を表示させるように構成される。これが、頭部装着型ディスプレイ２６を用いる患者４６のユーザビューまたは画像を示す図６に示されている。いくつかの実施形態では、処理回路２４は、頭部装着型表示装置２６を使って、前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器５５を表示させるように構成される。処理回路２４は、頭部装着型表示装置２６を使って、患者４６のビューまたは画像に、例えば正しい解剖学的位置に、アライメントされた解剖学的構造または臓器５５を表示させるように構成される。

処理回路２４は、前のスキャンおよび／または前のスキャンにおいて患者４６のビューまたは画像に対してセグメンテーションされた解剖学的構造または臓器５５から、例えば前のスキャンから超音波画像５３を取得するために使用した測定プローブ１４の位置および／または向きを表すデータに基づいて、超音波画像５３の初期位置および／または初期向きなどの位置および／または向きを決定するように構成される。前のスキャンからの超音波画像５３および／または前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器５５を、第１の追跡システム２８の基準系ＦＲ１と第２の追跡システム４０の基準系ＦＲ２との間の位置合わせに基づいて、患者４６のビューまたは画像にアライメントしてよい。例えば、処理回路２４は、決定した患者４６の位置および／または向きに関する１つまたは複数の座標の、第２の追跡システム４０の基準系ＦＲ２から第１の追跡システム２８の基準系ＦＲ１への変換Ｍを決定するように構成される。処理回路２４は、図３に関連して上述したように、第３及び第４の行列Ｐ３，Ｐ４に基づいて変換Ｍを決定するように構成される。これにより、処理回路２４は、例えば、頭部装着型表示装置２６に、前のスキャンからの画像を、患者４６のビューまたは患者４６の画像にアライメントして表示させる。

図７は、頭部装着型ディスプレイ２６を用いる患者４６の別のユーザビューまたは画像の概略を示す。いくつかの実施形態では、記憶された患者位置および／または向きを当該患者４６の更なるスキャンに使用して、例えば、当該患者４６および／または測定プローブ１４を前のスキャンと同じ位置および／または向きに誘導する。更なるスキャンをフォローアップスキャンと称してもよい。例えば、処理回路２４は、頭部装着型表示装置２６を使って、図７において点線で示されるように、記憶された患者位置および／または向きの模擬画像５６を更なるスキャンで表示させるように構成されてよい。若しくは、または、それに加えて、処理回路２４は、頭部装着型表示装置２６を使って、マーカー４４および／またはガイドを表示して、記憶された患者位置および／または向きに対する患者４６のポジショニングおよび／または向きを誘導するように構成されてよい。

いくつかの実施形態では、更なるカメラ５４により、患者位置および／または向きの変化を、例えば、記憶された患者位置および／または向きに対して検出すると、処理回路２４は、前のスキャンの画像５３のおよび／または前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器５５の、変化した患者位置および／または向きに対するアライメントを更新するように構成される。処理回路２４は、記憶された患者位置および／または向きと変化した患者位置および／または向きとの差に基づいて、前のスキャンの画像５３のおよび／または前のスキャンにおいてセグメンテーションされた解剖学的構造または臓器５５の、変化した患者位置および／または向きに対するアライメントを更新するように構成される。処理回路２４は、記憶された患者位置および／または向きと変化した患者位置および／または向きとの差に基づいて、位置合わせを更新することにより、アライメントを更新するように構成される。例えば、処理回路２４は、記憶された患者位置および／または向きと変化した患者位置および／または向きとの差に関する１つまたは複数の座標の、第２の追跡システム４０の基準系ＦＲ２から第１の追跡システム２８の基準系ＦＲ１への変換Ｍを決定するように構成されてよい。処理回路２４は、図３に関連して上述したように、第３及び第４の行列Ｐ３，Ｐ４に基づいて変換Ｍを決定するように構成されてよい。

図８は、頭部装着型ディスプレイ２６を用いる患者４６の別のユーザビューまたは画像の概略を示す。いくつかの実施形態では、処理回路２４は、頭部装着型表示装置２６を使って、マーカー４４および／またはガイド５８を表示して、患者４６に対する測定プローブ１４のポジショニングおよび／または向きを誘導し、例えば、測定プローブ１４を、前のスキャンを取得するために使用した測定プローブ１４の位置および／または向きにアライメントするように構成される。すなわち、処理回路２４は、頭部装着型表示装置２６に、マーカー４４および／またはガイド５８を表示させ、医用撮像システム１０の測定装置１４の患者４６に対するポジショニングを誘導し、医用撮像システム１０の前記測定装置１４を、前のスキャンを取得するために使用した測定装置１４の位置にアライメントする。表示マーカーおよび／またはガイド５８をビジュアルマーカーおよび／またはガイド５８と称してもよい。図８に示される実施形態では、表示マーカーおよび／またはガイド５８は、点線で示される、測定プローブ１４のゴースト像の形態で実装される。他の実施形態では、表示マーカーおよび／またはガイド５８を、上下左右等、１つまたは複数の矢印、または他のマーカーおよび／またはガイド５８などの、１つまたは複数のユーザ４９への指示の形態で実装してよい。

代替となる実施形態では、処理装置２２は、頭部装着型表示装置２６を使って、マーカー４４および／またはガイド５８を表示して、システム１０の測定装置の患者４６に対するポジショニングおよび／または向きを誘導し、例えば、測定装置を前のスキャンを取得するために使用した部分の位置にアライメントするように構成される。例えば、そのような代替となる実施形態では、測定装置はＸ線生成器およびＸ線検出器または他の測定プローブまたはセンサを備えてよい。

図９は、実施形態の医用撮像方法を概略的に示すフローチャートである。図９のステージ６０では、頭部装着型表示装置２６を装着する。すなわち、ユーザ４９が患者４６または患者４６の画像を見ることができる頭部装着型表示装置２６が提供される。ユーザ４９は、頭部装着型表示装置２６を介して患者４６または患者４６の画像を見る。

図９のステージ６２では、医用機器３０の位置と医用機器３０の向きとを第１の追跡システム２８を用いて決定する。

図９のステージ６４では、頭部装着型表示装置２６の位置と頭部装着型表示装置２６の向きとを第２の追跡システム４０を用いて決定する。

図９のステージ６６では、第１の追跡システム２８の基準系ＦＲ１に対して既知または決定可能な位置と向きとを有する少なくとも１つのマーカー４４の位置とマーカー４４の向きとを第２の追跡システム４０を用いて検出する。上記のように、マーカー４４は、第１の追跡システム２８の基準系ＦＲ１に対して既知または決定可能な位置と向きとを有する。いくつかの実施形態では、マーカー４４の位置とマーカー４４の向きとは、第１の追跡システム２８により検出される。そのような実施形態では、マーカー４４は、頭部装着型表示装置２６に対して既知または決定可能な位置と向きとを有する。

図９のステージ６８では、図３に関連して上述したように、第１の追跡システム２８の基準系ＦＲ１と第２の追跡システム４０の基準系ＦＲ２とを、処理回路２４とマーカー４４の位置と向きとを用いて位置合わせする。すなわち、第１の追跡システム２８の基準系ＦＲ１と頭部装着型表示装置２６の基準系ＦＲ２との位置合わせを、処理回路２４と少なくとも１つのマーカー４４の位置とマーカー４４の向きとを用いて実行する。

図９のステージ７０では、医用画像４８および／または医用機器３０の模擬画像５０が、処理回路２４と頭部装着型表示装置２６とを用いて表示される。例えば、図２に関連して上述したように、医用画像４８と医用機器３０の模擬画像５０とを位置合わせに基づいてアライメントする、若しくは、図４Ｂに関連して上述したように、医用機器３０の模擬画像５０を患者４６のビューまたは画像に対して位置合わせに基づいてアライメントする。すなわち、処理回路２４と頭部装着型表示装置２６とを用いて、位置合わせに基づいて患者４６のビューまたは患者４６の画像に対してアライメントされた医用機器３０の模擬画像５０と、位置合わせに基づいてアライメントされた医用画像４８と医用機器３０の模擬画像５０と、のうちの少なくとも１つを表示させる。

ある実施形態は、医用撮像システムを提供する。前記医用撮像システムは、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）または仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）ヘッドセットまたは他の装着可能な表示装置であって、それを介してユーザ４９が患者４６または前記患者４６の画像を見ることができるＡＲまたはＶＲヘッドセットまたは他の装着可能な装置と、超音波プローブを含む超音波撮像システムと、磁場を生成し、前記磁場を用いてニードルまたは他の医用機器の位置を決定するように構成される磁気追跡システムと、前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置の位置を決定するように構成される更なる追跡システムと、少なくとも１つのマーカー４４であって、前記更なる追跡システムによりその位置が検出可能であり前記磁場に対して既知または決定可能な位置を有する、若しくは、前記磁気追跡システムによりその位置が検出可能であり前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置に対して既知または決定可能な位置を有する少なくとも１つのマーカー４４と、プロセッサとを備える。前記プロセッサは、前記磁気追跡システムの基準系と前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置の基準系との位置合わせを、前記少なくとも１つのマーカー４４の位置を用いて行い、超音波画像と前記ニードルまたは他の医用機器の模擬画像とを前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置を用いて表示させる、ように構成され、前記超音波画像と前記ニードルまたは他の医用機器の前記模擬画像とは前記位置合わせに基づいてアライメントされる。

前記超音波画像と前記ニードルまたは他の医用機器の前記模擬画像とが、前記患者４６のビューまたは画像上にオーバーレイされてよい。

前記更なる追跡システムは、可視光または赤外光または他の不可視光を用いる光学追跡システムを備えてよい。

前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置は、前記患者４６の位置および／または向きを決定するように構成される少なくとも１つのカメラ４２を備えてよい。前記決定された患者位置および／または向きを、前記超音波撮像システムにより取得された超音波データと共に記憶してよい。

前記プロセッサは、前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置を使って、前のスキャンからの画像を前記患者４６の前記ビューまたは画像にアライメントして表示させるように更に構成されてよい。

前記プロセッサは、前記ＡＲまたはＶＲヘッドセットまたは他の装着可能な装置を使って、マーカー４４および／またはガイド５８を表示して、前記患者４６に対する前記超音波プローブのポジショニングを、例えば、前記超音波プローブを前のスキャンを取得するために使用した超音波プローブの前記位置にアライメントするように誘導する、ように更に構成されてよい。

ある実施形態は、医用撮像システムを提供する。前記医用撮像システムは、頭部装着型表示装置２６であって、それを介してユーザ４９が患者４６または前記患者４６の画像を見ることができる頭部装着型表示装置２６と、超音波プローブを含む超音波撮像システム１２と、ニードルまたは他の医用機器の位置を決定するように構成される第１の追跡システム２８と、前記頭部装着型表示装置２６の位置を決定するように構成される第２の追跡システム４０と、少なくとも１つのマーカー４４であって、前記第２の追跡システム４０によりその位置が検出可能であり前記第１の追跡システム２８の基準系ＦＲ１に対して既知または決定可能な位置を有する、若しくは、前記第１の磁気追跡システムによりその位置が検出可能であり前記頭部装着型表示装置２６に対して既知または決定可能な位置を有する少なくとも１つのマーカー４４と、プロセッサとを備える。前記プロセッサは、前記第１の追跡システム２８の基準系ＦＲ１と前記頭部装着型表示装置２６の基準系ＦＲ２との位置合わせを、前記少なくとも１つのマーカー４４の位置を用いて行い、超音波画像と前記ニードルまたは他の医用機器の模擬画像とを前記頭部装着型表示装置２６を用いて表示させる、ように構成され、前記超音波画像と前記ニードルまたは他の医用機器の前記模擬画像とは前記位置合わせに基づいてアライメントされる。

ある実施形態は、ライブ超音波撮像データを拡張現実ヘッドセット上に位置合わせにより取得した位置で頭部装着型表示装置２６に表示させるように構成されるシステム１０を提供する。前記システム１０は、プローブまたはインターベンション装置の位置を決定するために使用される磁場追跡システムと、前記ヘッドセットの位置を決定するために使用される光学システムとを備え、前記磁場追跡システムと前記光学システムとの間の位置合わせは、光学マーカーを用いて、磁場基準系に対して既知の位置で実現される。

磁場生成器の動きを検出するために追加的位置システムを用いてよい。前記検出された動きを、システム１０のキャリブレーションを無効化または更新するために用いてよい。

前記システム１０の基準座標系内の患者４６の向きおよび／または位置を確立または検出するために、１つまたは複数のヘッドセットカメラを用いてよい。前記確立または検出された患者４６の座標のうちの１つまたは複数を使って、超音波撮像システムおよび／または前記磁場追跡システムにより、前のスキャンの初期位置を決定してよい。前記確立または検出された患者４６の座標のうちの前記１つまたは複数を、前記前のスキャンの位置と共に記憶してよい。前記前のスキャンからの前記確立または検出された患者４６の座標のうちの前記１つまたは複数を使ってユーザ４９を誘導し、フォローアップスキャンにおいて前記患者４６の同一の位置と向きとを再生してよい。

ビジュアルマーカーとガイド５８とを前記ヘッドセットに使用して、前記プローブのポジショニングを誘導してよい。

特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つまたは複数の機能を、１つの処理リソースまたは他のコンポーネントによって提供することができ、または、１つの回路によって提供される機能を、２つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントが互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。

所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。

実施形態における技術的思想を医用撮像方法で実現する場合、当該医用撮像方法は、ユーザ４９が患者４６または前記患者４６の画像を見ることができる頭部装着型表示装置２６を提供することと、医用機器３０の位置と前記医用機器３０の向きとを第１の追跡システム２８を用いて決定することと、前記頭部装着型表示装置２６の位置と前記頭部装着型表示装置２６の向きとを第２の追跡システム４０を用いて決定することと、前記第１の追跡システム２８の基準系ＦＲ１に対して既知または決定可能な位置と向きとを有する少なくとも１つのマーカー４４の位置と前記マーカー４４の向きとを、前記第２の追跡システム４０により検出、または、前記頭部装着型表示装置２６に対して既知または決定可能な位置と向きとを有する前記少なくとも１つのマーカー４４の位置と向きとを、前記第１の追跡システム２８により検出し、前記第１の追跡システム２８の前記基準系ＦＲ１と前記頭部装着型表示装置２６の基準系ＦＲ２との位置合わせを、処理回路２４と前記少なくとも１つのマーカー４４の前記位置と前記マーカー４４の前記向きとを用いて実行し、前記処理回路２４と前記頭部装着型表示装置２６とを用いて、前記位置合わせに基づいて前記患者４６のビューまたは前記患者４６の画像に対してアライメントされた前記医用機器３０の模擬画像５０と、前記位置合わせに基づいてアライメントされた医用画像４８と前記医用機器３０の模擬画像５１と、のうちの少なくとも１つを表示させることと、を備える。医用撮像方法により実行される処理の手順および効果は、実施形態と同様なため、説明は省略する。

以上説明した少なくとも１つの実施形態によれば、ユーザ４９にとって快適な画像を頭部装着型表示装置２６に表示させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 医用撮像システム
１２ 超音波撮像システム
１４ 測定プローブ
１６ 主ディスプレイスクリーン
１８ 制御スクリーン
１９ 制御ノブ
２０ スキャナコンソール
２１ データ記憶部
２２ 処理装置
２４ 処理回路
２６ 頭部装着型表示装置（頭部装着型ディスプレイ）
２８ 第１の追跡システム
３０ 医用機器
３２ 送信器
３４ 第１の位置センサ
３６ 第２の位置センサ
３８ 位置検出器
４０ 第２の追跡システム
４２ カメラ
４４ マーカー
４６ 患者
４８ 医用画像
４９ ユーザ
５０ 医用機器の模擬画像
５１ 測定プローブの模擬画像
５２ レンダリング回路
５３ 超音波画像
５４ 更なるカメラ
５５ 臓器
５６ 記憶された患者位置および／または向きの模擬画像
５８ ガイド

Claims (20)

1. ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置と、
   医用機器の位置と前記医用機器の向きとを決定する第１の追跡システムと、
   前記頭部装着型表示装置の位置と前記頭部装着型表示装置の向きとを決定する第２の追跡システムと、
   前記第２の追跡システムにより位置と向きとが検出可能であり、前記第１の追跡システムの基準系に対して既知または決定可能な位置と向きとを有し、または、前記第１の追跡システムにより位置と向きとが検出可能であり、前記頭部装着型表示装置に対して既知または決定可能な位置と向きを有する、少なくとも１つのマーカーと、
   前記第１の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、前記マーカーの前記位置と前記マーカーの前記向きとを用いて実行し、
   前記位置合わせに基づいて前記患者のビューまたは前記患者の画像に対してアライメントされた前記医用機器の模擬画像と、
   前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、
   のうちの少なくとも１つを、前記頭部装着型表示装置に表示させる、
   処理回路と、
   を備えた医用撮像システム。
2. 前記医用画像と前記医用機器の前記模擬画像とは、前記患者のビューまたは前記患者の画像上に重ね合わせられる、
   請求項１に記載の医用撮像システム。
3. 前記第２の追跡システムは、可視光または赤外光または他の不可視光を用いる光学追跡システムを備える、
   請求項１または２に記載の医用撮像システム。
4. 前記頭部装着型表示装置は、前記患者の位置および／または前記患者の向きを決定する少なくとも１つのカメラを備える、
   請求項１に記載の医用撮像システム。
5. 前記決定された前記患者の位置および／または前記決定された前記患者の向きは、前記医用撮像システムにより取得された画像データと共に記憶される、
   請求項４に記載の医用撮像システム。
6. 前記処理回路は、前記頭部装着型表示装置に、前のスキャンからの画像を、前記患者の前記ビューまたは前記患者の画像にアライメントして表示させる、
   請求項４または５に記載の医用撮像システム。
7. 前記処理回路は、
   前記頭部装着型表示装置に、前記マーカーおよび／またはガイドを表示させ、
   前記医用撮像システムの測定装置の前記患者に対するポジショニングを誘導し、
   前記医用撮像システムの前記測定装置を、前のスキャンを取得するために使用した前記測定装置の位置にアライメントする、
   請求項４または５に記載の医用撮像システム。
8. 前記第１の追跡システムは、前記医用撮像システムの測定装置の位置と前記測定装置の向きとを決定し、
   前記処理回路は、
   前記頭部装着型表示装置に前記測定装置の模擬画像を表示させ、
   前記医用画像と、前記医用機器の前記模擬画像と、前記測定装置の前記模擬画像とを前記位置合わせに基づいてアライメントすることと、
   前記医用機器の前記模擬画像と前記測定装置の前記模擬画像とを、前記患者の前記ビューまたは前記患者の画像に対して、前記位置合わせに基づいてアライメントすることと、
   のうちの少なくとも１つを実行する、
   請求項１に記載の医用撮像システム。
9. 前記医用撮像システムは、超音波撮像システムを備え、
   前記測定装置は、測定プローブを備える、
   請求項７に記載の医用撮像システム。
10. 前記頭部装着型表示装置は、拡張現実ヘッドセットまたは仮想現実ヘッドセットを備える、
    請求項１に記載の医用撮像システム。
11. 前記第１の追跡システムは、磁場を生成し、前記磁場を用いて前記医用機器の前記位置と前記医用機器の前記向きとを決定する磁気追跡システムを備える、
    請求項１に記載の医用撮像システム。
12. 前記第１の追跡システムは、
    慣性追跡システムと、
    Ｗｉ－Ｆｉに基づく位置決めシステムと、
    Ｂｌｕｅｔｏｏｔｈに基づく位置決めシステムと、
    飛行時間に基づく追跡システムと、
    音響追跡と、
    超音波追跡システムと、
    のうちの少なくとも１つを備える、
    請求項１に記載の医用撮像システム。
13. 前記医用撮像システムは、前記医用画像を表示するスクリーンを備え、
    前記処理回路は、前記頭部装着型表示装置に前記スクリーンの模擬画像を表示させる、
    請求項１に記載の医用撮像システム。
14. 前記処理回路は、前記ユーザが前記医用機器に対面するときに、前記頭部装着型表示装置に、前記医用画像と前記医用機器の前記模擬画像とのうちの少なくとも１つを表示させる、
    請求項１に記載の医用撮像システム。
15. 前記第１の追跡システムは、第１の位置センサを備え、
    前記第１の位置センサは、前記医用機器の一部である、または、前記医用機器に含まれている、
    請求項１に記載の医用撮像システム。
16. 前記第１の追跡システムは、第２の位置センサを備え、
    前記第２の位置センサは、前記測定装置の一部である、または、前記測定装置に含まれている、
    請求項７に記載の医用撮像システム。
17. 前記少なくとも１つのマーカーに対する前記第１の追跡システムの一部の動きを検出する位置検出器をさらに備える、
    請求項１に記載の医用撮像システム。
18. 前記少なくとも１つのマーカーに対する前記第１の追跡システムの一部の動きが検出された場合、前記処理回路は、
    前記位置合わせの更新が必要であることをユーザに警告することと、
    前記第１の追跡システムの前記一部の動きによる新たな位置に基づいて前記位置合わせを更新することと、
    のうちの少なくとも１つを実行する、
    請求項１７に記載の医用撮像システム。
19. 前記医用機器は、
    ニードルと、
    カテーテルと、
    アブレーション装置と、
    内視鏡装置と、
    エンドキャビティプローブと、
    のうちの少なくとも１つを備える、
    請求項１に記載の医用撮像システム。
20. ユーザが患者または前記患者の画像を見ることができる頭部装着型表示装置を提供することと、
    医用機器の位置と前記医用機器の向きとを第１の追跡システムを用いて決定することと、
    前記頭部装着型表示装置の位置と前記頭部装着型表示装置の向きとを第２の追跡システムを用いて決定することと、
    前記第１の追跡システムの基準系に対して既知または決定可能な位置と向きとを有する少なくとも１つのマーカーの位置と前記マーカーの向きとを、前記第２の追跡システムにより検出、または、
    前記頭部装着型表示装置に対して既知または決定可能な位置と向きとを有する前記少なくとも１つのマーカーの位置と向きとを、前記第１の追跡システムにより検出し、
    前記第１の追跡システムの前記基準系と前記頭部装着型表示装置の基準系との位置合わせを、処理回路と前記少なくとも１つのマーカーの前記位置と前記マーカーの前記向きとを用いて実行し、
    前記処理回路と前記頭部装着型表示装置とを用いて、
    前記位置合わせに基づいて前記患者のビューまたは前記患者の画像に対してアライメントされた前記医用機器の模擬画像と、
    前記位置合わせに基づいてアライメントされた医用画像と前記医用機器の模擬画像と、
    のうちの少なくとも１つを表示させることと、
    を備える医用撮像方法。

Images