JP2023543010A - ツール追跡のための方法及びシステム - Google Patents

Abstract

本発明は、医学的介入を対象者に実行するためのツールの方位を決定するための方法を提供する。この方法は、対象者上の表面、表面に隣接するツール、及び表面上のツールの影の画像の画像データを得るステップを有し、ツールの影は、画像センサに対して事前決定された位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる。表面の表現が得られ、ツール及びツールの影の表現が、画像データからセグメント化され、ツールの仰角を決定するために使用される。ツールの方位は、ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて決定される。

Description

本発明は、介入ツール追跡の分野に関し、より具体的には、画像ベースの介入ツール追跡の分野に関する。

対象者の皮膚などの表面を通るツールの正確な挿入を必要とする非常に多くの介入処置がある。例えば、介入又は診断の場合、正しいニードル軌道による血管及び／又は腫瘍へのアクセスを見つけ出し識別することは重要である。

例示的な使用事例には、局所麻酔のためのニードルアクセス、対象者の静脈へのチューブのカニューレ挿入、及び腫瘍へのアクセスを必要とするアブレーションカテーテルが含まれる。しかしながら、上述の使用事例において超音波画像などの表面下画像データを解釈することは、困難であり、画像を正確に解釈するには訓練された高度に熟練した専門家と、ニードル軌道を計画するための多くの知的努力とを必要とし、多くの場合、正しい軌道が達成されるまで、皮膚進入のいくつかの試行錯誤反復を必要とする。

超音波は、普及している医療イメージング方法であり、多くの介入及び診断用途で使用される。超音波システムは、ＰｈｉｌｉｐｓのハイエンドＥＰＩＱ（登録商標）機械からポータブルで低コストのソリューションまで様々である。ハンドヘルド超音波デバイスをスマートフォンなどのモバイルデバイスに接続することを可能にするモバイル超音波イメージングソリューションの開発へと向かう傾向がある。

現在、超音波システムにおいて介入ツールを追跡するための唯一の解決策は、ツールの先端を追跡することにのみ依拠する。しかしながら、ツールが対象者の皮膚に挿入された後、ツール先端が超音波プローブの音響視野内にあるときしかツールの先端を追跡することができない。そのとき、ツールの軌道計画は、追跡されるツール先端に基づいて臨床医によって知的に実行されなければならない。

軌道計画が正確に実行されるには、ツールは、超音波イメージング面と同一面内になければならない。面外のニードル軌道は、３Ｄ情報が見えないので、予測することが非常に困難である。さらに、アブレーションカテーテル追跡の場合には、アブレーションカテーテル先端の物理的制約のために、先端の場所の不確実性がさらに大きくなり、それは、追跡精度が低下することを意味する。上述の制限のために、正しいツール軌道を識別するには、一般に、多数の皮膚進入が必要とされ、それは、対象者に不快感及び回復の遅れをもたらす。

それゆえに、挿入前に介入ツールを正確に追跡する手段が必要である。

本発明は、特許請求の範囲によって定義される。

本開示によれば、医学的介入を対象者に実行するためのツールの方位を決定するための方法が提供され、この方法は、
画像センサを使用して、対象者の表面又は対象者の上の表面（まとめて、対象者上の表面）、表面に隣接するツール、及び表面上のツールの影の画像の画像データを得るステップであって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、画像データを得るステップと、
表面の表現を得るステップと、
画像データからツールの表現をセグメント化するステップと、
画像データからツールの影の表現をセグメント化するステップと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定するステップであって、仰角が、表面とツールとの間の角度である、仰角を決定するステップと、
ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて表面に対するツールの方位を決定するステップと
を有する。

この方法は、ツールによって対象者の表面に又は対象者の表面の上に投じられた影に基づいてツールの方位を追跡する手段を提供する。

ツールによって表面に投じられた影に基づいてツールの方位を計算することによって、ツールの方位は、ツールが表面を通過する前により正確に分かり、それによって、ユーザによるツール進入点の選択及びツール案内の精度が改善される。

加えて、ツールの先端のみではなく、ツール及びツールの影に基づいてツールの方位を決定することによって、ツールの方位を決定するために使用されるツールの割合が増加し、それによって、方位決定の精度が改善される。

一実施形態では、この方法は、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である表面接触点を、画像データに基づいて識別するステップをさらに有し、ツールの仰角を決定することは、表面接触点にさらに基づく。

このようにして、ツールの決定された方位の精度は、表面接触点を考慮に入れることによって改善される。

一実施形態では、表面の表現を得るステップは、
動きセンサを介して動きデータを得るステップであって、動きデータが、画像データの取得中の画像センサの動きを表す、動きデータを得るステップと、
対象者の表面の３Ｄ表面マップを、画像データと動きデータとの組み合わせに基づいて生成するステップと、
３Ｄ表面マップから表面の表現をセグメント化するステップと
を有する。

このようにして、表面の表現及びツールの影の表現の両方に影響を及ぼす表面のトポグラフィが、ツールの方位を決定するとき、考慮に入れられ、それによって、決定された方位の精度が改善される。

一実施形態では、この方法は、対象者の表面のコンピュータ断層撮影データを得るステップであって、表面が、そこに固定された１つ又は複数の放射線不透過性マーカを有する、コンピュータ断層撮影データを得るステップをさらに有し、表面の表現をセグメント化するステップは、コンピュータ断層撮影データ、画像データ、及び動きデータの組み合わせに基づく。

このようにして、表面のセグメント化の精度は向上する。

一実施形態では、表面の表現を得るステップは、表面の２Ｄ平面近似を生成するステップを有する。

一実施形態では、ツールの仰角を決定するステップは、
ツールの表現とツールの影の表現との間の影角度を計算するステップと、
画像センサに対する少なくとも１つの光源の位置に基づいて影角度を調節することによって仰角を決定するステップと
を有する。

一実施形態では、仰角を決定するステップは、機械学習アルゴリズムをツールのセグメント化された表現及びツールの影のセグメント化された表現に適用するステップを有する。

このようにして、仰角は、計算効率のよいやり方で、減じた入力データを使用して、正確に決定される。

一実施形態では、この方法は、ツールが対象者の表面を通過した後のツールの予測経路を表すツールの予測軌道を、ツールの決定された方位に基づいて計算するステップをさらに有する。

このようにして、挿入後のツールの経路は、ツールが表面を通過する前に予測され、それは、表面の不必要な進入を必要とすることなくツールを適切に位置づけるために、方位を精緻にすることができることを意味する。

一実施形態では、この方法は、表面の表現に対するツールの方位の実時間視覚化を生成するステップをさらに有する。

このようにして、ユーザは、所望の方位にユーザを導くためにツールの方位の正確で実時間の表現が提供される。

一実施形態では、少なくとも１つの光源によって生成された光は、符号化光であり、各光源は、固有の符号化光署名を有し、それによって、１つ又は複数の固有の変調された影が、ツールによって投じられ、この方法は、
１つ又は複数の固有の変調された影の各々について、固有の変調された影から固有の符号化署名を導き出すステップと、
導き出された固有の符号化署名に基づいて、１つ又は複数の固有の変調された影の各々を光源と対にするステップと
をさらに有し、
ツールの影の表現をセグメント化するステップは、対になった１つ又は複数の固有の変調された影に基づく。

このようにして、ツールの影は、互いに区別され、それは、決定された方位が、より高い精度で決定されることを意味する。

本開示によれば、コンピュータプログラムコード手段を含むコンピュータプログラムがさらに提供され、コンピュータプログラムは、前記コンピュータプログラムがコンピュータで実行されると、
画像センサを使用して、対象者の表面又は対象者の上の表面、表面に隣接する医学的介入を対象者に実行するためのツール、及び表面上のツールの影の画像の画像データを得るステップであって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、画像データを得るステップと、
表面の表現を得るステップと、
画像データからツールの表現をセグメント化するステップと、
画像データからツールの影の表現をセグメント化するステップと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定するステップであって、仰角が、表面とツールとの間の角度である、仰角を決定するステップと、
ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて表面に対するツールの方位を決定するステップと
を実施するように構成される。

一実施形態では、コンピュータプログラムは、前記コンピュータプログラムがコンピュータで実行されると、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である表面接触点を、画像データに基づいて識別する追加のステップを実行するように構成され、ツールの仰角を決定することは、表面接触点にさらに基づく。

本開示によれば、命令を含むコンピュータ可読ストレージ媒体がさらに提供され、命令は、コンピュータによって実行されたとき、コンピュータに、
画像センサを使用して、対象者の表面又は対象者の上の表面、表面に隣接する医学的介入を対象者に実行するためのツール、及び表面上のツールの影の画像の画像データを得るステップであって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、画像データを得るステップと、
表面の表現を得るステップと、
画像データからツールの表現をセグメント化するステップと、
画像データからツールの影の表現をセグメント化するステップと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定するステップであって、仰角が、表面とツールとの間の角度である、仰角を決定するステップと、
ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて表面に対するツールの方位を決定するステップと
を実行させる。

コンピュータ可読ストレージ媒体は、コンピュータによって実行されたとき、コンピュータに、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である、画像データ内の表面接触点を識別する追加のステップを実行させる命令をさらに含み、ツールの仰角を決定することは、表面接触点にさらに基づく。

本開示によれば、医学的介入を対象者に実行するためのツールの方位を決定するための処理システムがさらに提供され、処理システムは、
対象者の表面又は対象者の上の表面、表面に隣接するツール、及び表面上のツールの影の画像に関する画像センサからの画像データを受け取るための入力部であって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、入力部と、
表面の表現を得ることと、
画像データからツールの表現をセグメント化することと、
画像データからツールの影の表現をセグメント化することと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定することであって、仰角が、表面とツールとの間の角度である、仰角を決定することと、
ツールのセグメント化された表現及びツールの影のセグメント化された表現に基づいて表面に対するツールの方位を決定することと
を行うために入力部に結合されたプロセッサと
を含む。

本開示によれば、ツールの方位を決定するためのシステムがさらに提供され、システムは、
本明細書で定義される（請求項１５において請求される）処理システムと、
医学的介入を対象者に実行するためのツールであって、ツールが対象者の表面を通過するように構成される、ツールと、
画像データを取得するように構成された画像センサと、
ツールを照明するように構成された少なくとも１つの光源であって、光源が、画像センサに対して所定の位置に位置づけられる、光源と
を含む。

一実施形態では、処理システムは、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である表面接触点を、画像データに基づいて識別するようにさらに構成され、ツールの仰角を決定することは、表面接触点にさらに基づく。

一実施形態では、システムは、画像センサに結合された動きセンサをさらに含み、動きセンサは、動きデータを得るように構成され、動きデータは、画像データの取得中の画像センサの動きを表し、処理システムは、表面の表現を得るとき、
対象者の表面の３Ｄ表面マップを、画像データと動きデータの組み合わせに基づいて生成し、
３Ｄ表面マップから表面の表現をセグメント化する
ようにさらに構成される。

一実施形態では、システムは、超音波プローブをさらに含み、超音波プローブは、対象者の表面の下のイメージング領域からの超音波データを得るように構成され、画像センサは、超音波プローブに結合され、処理システムは、
ツールが表面を通過した後のツールの超音波表現を含む、イメージング領域からの超音波データを得、
超音波データに基づいてツールの位置を追跡し、
ツールの追跡された位置に基づいてツールの方位を更新する
ようにさらに構成される。

一実施形態では、少なくとも１つの光源は、符号化光を生成するように構成され、各光源は、固有の符号化光署名を有し、それによって、１つ又は複数の固有の変調された影が、ツールによって投じられ、処理システムは、
１つ又は複数の固有の変調された影の各々について、固有の変調された影から固有の符号化署名を導き出し、
導き出された固有の符号化署名に基づいて、１つ又は複数の固有の変調された影の各々を光源と対にする
ようにさらに構成され、
ツールの影の表現をセグメント化することは、対になった１つ又は複数の固有の変調された影に基づく。

本開示のこれら及び他の態様は、以下に記載される実施形態から明らかになり、以下に記載される実施形態を参照して解明される。

本開示の態様及び実施形態のより良い理解のために、及びそれがどのように実施されるかをより明確に示すために、単に例として、添付の概略図面を参照する。

本開示の方法を示す図である。 本開示による超音波イメージングシステムの表現を示す図である。 画像センサの視野の表現を示す図である。 図２のシステムの態様を含む３Ｄ座標系の表現を示す図である。 図２のシステムの態様を含む３Ｄ座標系のさらなる表現を示す図である。

本開示の詳細な説明及び具体的な例は、装置、システム、及び方法の例示的な実施形態を示しているが、例証のみを目的とするものであり、特許請求の範囲を限定するものではない。本開示の装置、システム、及び方法のこれら及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からより良く理解されるようになるであろう。図は単に概略であり、縮尺通りに描かれていない。同じ参照番号が、同じ又は同様の部分を示すために図の全体を通して使用される。

本開示は、医学的介入を対象者に実行するためのツールの方位を決定するための方法を提供する。この方法は、対象者の表面又は対象者の上の表面、表面に隣接するツール、及び表面上のツールの影の画像の画像データを得るステップを有し、ツールの影は、画像センサに対して事前決定された位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる。

表面の表現が得られ、ツール及びツールの影の表現が、画像データからセグメント化され、ツールの仰角を決定するために使用される。ツールの方位は、ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて決定される。

図１は、医学的介入を対象者に実行するためのツールの方位を決定するための方法１００を示す。

この方法は、ステップ１１０で始まり、対象者の表面又は対象者の上の表面の画像の画像データが、画像センサを介して得られる。画像データは、さらに、表面に隣接するツール及び表面上のツールの影を表し、ツールの影は、画像センサに対して事前決定された位置に位置づけられた光源を介して生成されたツールに入射する光からもたらされる。

実際には、例えば、ユーザによる医療処置中、ツールは、画像センサの視野内の対象者の皮膚又は対象者皮膚の上のカバーなどの表面に、ユーザによって選ばれた初期の方位及び位置で位置づけられる。画像センサに対して知られた場所に位置づけられた光源によって生成された光は、ツール及び表面に入射し、それにより、ツールによって投じられた影が表面上にもたらされる。表面は、対象者の皮膚、又は対象者の皮膚の上の衣服又は包帯などのカバーである。言い換えれば、ツールの影が落ち、画像センサの視野内にある表面は、ツールの方位を決定するために使用される。

ステップ１２０において、表面の表現が得られる。これは、いくつかのやり方で達成される。例えば、画像センサは、同時位置特定及びマッピング（ＳＬＡＭ）ユニットの一部であり、ＳＬＡＭユニットは、追加として、画像データの取得中に画像センサの動きを表す動き信号を取得するように構成された動きセンサを含む。この場合、画像センサの視野内の皮膚の表面、すなわち、セグメント化される表面の表現は、画像データ内で識別され、ＳＬＡＭユニットによって生成される３Ｄ座標系内で追跡されるキーポイントによって表される。言い換えれば、対象者の表面の３Ｄ表面マップは、画像データと動きデータの組み合わせに基づいて生成される。次いで、表面の表現は、３Ｄ表面マップからセグメント化される。さらに、３Ｄ表面マップは、任意の適切な画像処理技法を使用して、画像データにのみ基づいて生成される。

３Ｄ表面マップを生成することができない場合、表面の表現を得ることは、画像データに基づいて表面の２Ｄ平面近似を生成することによって達成される。

所望ならば、３Ｄ表面表現と２Ｄ表面表現との組み合わせが使用されてもよい。

ステップ１３０において、ツールの表現が、画像データからセグメント化され、ステップ１４０において、ツールの影の表現が、画像データからセグメント化される。セグメント化は、任意の適切なセグメント化方法を介して実行される。例えば、画像データは、ツールの影を表面の表現から分離するために、色空間変動アルゴリズムを使用して分析される。しかしながら、所望の表現を提供することができる他のセグメント化技法が、この目的のために使用されてもよい。明確にするために別個のステップとして示されているが、表面、ツール、及びツールの影の表現をセグメント化するステップは、同時に又はほぼ同時に実行されてもよい。

ステップ１５０において、ツールの仰角が、表面の表現、ツールの表現、及びツールの影の表現に基づいて決定され、仰角は、表面とツールとの間の角度である。

ステップ１６０において、表面（及び／又はその表面表現）に対するツールの方位が、ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて決定される。

この方法は、ツールが対象者の表面を通過した後のツールの予測経路を表すツールの予測軌道を、ツールの決定された方位に基づいて計算するステップをさらに有する。言い換えれば、表面（及び／又はその表面表現）に対するツールの方位が決定された後、表面への挿入後のツールの予測軌道が計算される。予測軌道は、例えば、画像化されている領域の解剖学的モデル、又は超音波画像データなどの表面の下の構造を表す追加の画像データに基づく、表面への挿入後のツールの変形を含む。

上述の方法の例示的な実施態様が、図３Ａ及び図３Ｂに関して以下でさらに詳述される。

図２は、本明細書に記載の方法を実施するように構成されたイメージングシステム２００の概略図を示す。システムは、画像データを取得するように構成された画像センサ２１０と、例えば対象者の皮膚２３０への挿入によって対象者に医学的介入を実行するためのツール２２０とを含む。

画像センサ２１０は、表面２４０の画像データを取得するように構成される。画像センサは、可視スペクトルカメラ、３Ｄカメラ、飛行時間カメラ、ＬＩＤＡＲカメラ、又は赤外線カメラなどの任意の適切な画像センサである。

ツールは、ニードル、カテーテル、チューブなどのような対象者に医学的介入を実行するのに適する任意のツールである。システムは、ツール２２０を照明するように構成された少なくとも１つの光源２５０をさらに含む。光源はＬＥＤとすることができる。光源は、表面上へのツールの十分な影付けが、影の有意義なセグメント化を行うことができるように行われる限り、指向性光又は散乱光を供給することができる。

光源２５０によって生成された光がツール２２０に入射すると、ツールの影２６０が、対象者の皮膚２３０に、より具体的には、画像センサによって観察される表面２４０に投じられる。ツールの影に基づくツールの方位の決定が、図３に関して以下で説明される。

画像センサに対する光源の位置は分かっている。例えば、光源は、画像センサに直接結合されるか、又は画像センサと統合されたユニット内に形成される。代替として、光源は、画像センサとは別個であり、その場合、システムは、本発明の方法が始まる前に較正段階を経ることができ、画像センサに対する光源の位置が、任意の適切な手段によって決定される。光源は、単一の光源であるか、又は複数の光源を含む。複数の光源は、画像センサに対して同じ概略の位置に位置づけられるか、又は画像センサに対して異なる位置に位置づけられ、ここで、画像センサに対する各々の異なる光源の位置は分かっている。１つ又は複数の光源は、ツールの影の位置の変化を引き起こすように、所与の作動パターンで変調又は作動される。位置の変化は、光源の分かっている位置と組み合わせて、いくつかの異なるデータのセットからツールの単一の方位を計算する手段を提供し、それによって、ツールの決定された方位の精度が高まる。加えて、光源の変調は、画像データからツールの影の表現をセグメント化することの精度を高める。

少なくとも１つの光源２５０は、符号化光を生成するように構成され、各光源は、固有の符号化光署名を有し、それによって、１つ又は複数の固有の変調された影が、ツールによって投じられる。この場合、１つ又は複数の固有の変調された影の各々について、固有の変調された影からの固有の符号化署名が導き出され、導き出された固有の符号化署名に基づいて光源と対にされる。そのとき、ツールの影の表現のセグメント化は、対になった１つ又は複数の固有の変調された影に基づく。

加えて、システム２００は、本明細書に記載の方法を実行するように構成された処理ユニット２７０を含む。処理ユニットは、コンピュータ、ラップトップ、スマートデバイス、又は任意の他の処理システム内のものなどの任意の適切な処理ユニットである。処理ユニットは、画像センサと有線又は無線通信する。処理ユニットは、パーソナルコンピュータ、ワークステーション、ラップトップコンピュータ、デスクトップ、又は他の非モバイルデバイスのうちの１つ又は複数の一部である。処理ユニットは、携帯電話若しくはタブレットなどのハンドヘルド若しくはモバイルデバイス、又は他のそのようなデバイスのうちの１つの一部である。処理ユニットは、本明細書に記載の方法で処理された様々なデータを受け取るか又は出力するために必要な入力及び／又は出力デバイスを有する。

システム２００は、画像センサの動きを表す動きデータを得るように構成された動きセンサユニット２８０をさらに含み、動きデータは、画像データと一緒に取得される。動きセンサユニットは、加速度計又はジャイロスコープなどの任意の適切な動きセンサを含んでもよく、又は任意の適切な動きセンサであってもよい。システムが動きセンサユニットを含む場合、処理ユニットは、画像データと動き信号の組み合わせに基づいて、対象者の表面の３Ｄ表面マップ及び／又は２Ｄ表面マップを生成する。

一例では、処理ユニット２７０又はイメージングシステム２００は、表面、ツール、及びツールの影の同時位置特定及びマッピング（ＳＬＡＭ）のための画像センサ、光源、動きセンサユニット、及びプロセッサを含む、スマートフォン、タブレット、又はラップトップなどのスマート及び／又はモバイルデバイスに統合される。ＳＬＡＭは、スマート及び／又はモバイルデバイス、又は別個の処理ユニットのいずれかに実装される。イメージングシステムがスマート及び／又はモバイルデバイスに統合される場合、デバイスプロセッサは、ＳＬＡＭ処理を実行する。代替として、デバイスの専用ＳＬＡＭハードウェアが、同様に、ＳＬＡＭ処理を実施してもよい。さらに、独立した専用ＳＬＡＭハードウェアが、ＳＬＡＭ処理を実施するために使用されてもよい。

言い換えれば、画像センサユニット、動きセンサユニット、及びプロセッサユニットは、統合ユニットの一部、例えば、本明細書で前に述べたような非モバイル又はモバイルコンピュータ又はデバイスの一部などを形成する。それらは、スマートフォン又はＳＬＡＭのユニットなどのモバイルデバイスに統合されることが好ましい。画像センサ、慣性測定ユニット、及びプロセッサユニットが統合ユニットの一部を形成する例では、統合ユニットは、統合ユニットの動作のための任意の他の適切な構成要素、例えば、バッテリ及び／又はＷｉ－Ｆｉ通信ユニットなどを含む。

上述のイメージングシステムは、超音波プローブとともに使用される超音波イメージングシステムコンソールであるか、又はそれを含む。超音波プローブは、対象者の超音波データを得るのに適する任意の超音波プローブである。例えば、超音波プローブは、１Ｄ超音波トランスデューサアレイ、２Ｄ超音波トランスデューサアレイ、又は３Ｄマトリクス超音波アレイを有し、固定又はポータブル超音波システムの一部を含む。

上述の例では、画像センサ及び動きセンサは、超音波プローブに結合される。イメージングシステムがスマートフォンなどのモバイルデバイスに統合される場合、モバイルデバイスは、超音波プローブに結合される。ＳＬＡＭ機能がプローブに実装される場合、専用のＳＬＡＭハードウェアが、上述のＳＬＡＭ処理を実行するためにプローブに統合される。結合は、解除可能及び／又は再取り付け可能な結合であるようなものとすることができる。

イメージングシステム又はそのようなシステムのためのコンソールは、表面の表現に対するツールの方位の実時間視覚化をユーザに表示するためのディスプレイをさらに含む。ディスプレイは、本明細書で上述したコンピュータ、モバイルデバイス、又は非モバイルデバイスのうちのいずれかの一部である。例えば、ディスプレイは、表面のグラフィック表現に対して決定された方位でツールのグラフィック表現を表示するように構成される。ツールの方位の実時間視覚化は、画像センサからの入来画像データに基づいて連続的に更新される。ディスプレイは、モニタなどの従来のディスプレイユニットを含む。代替として又は追加として、ディスプレイは、ユーザによって装着されるヘッドセット、例えば拡張現実ヘッドセットなどを含む。拡張現実ヘッドセットを含むディスプレイの例では、拡張現実ヘッドセットは、グラフィック表現がユーザの視覚内のツールと整列するように、ツールの方位及び軌道のグラフィック表現を表示するように構成される。いくつかの例では、処理ユニットは、対象者の関心領域及び関心領域に当接する表面のグラフィック表現、並びに関心領域内のツールの予測軌道を表示するためのデータを生成するように構成され、予測軌道は、表面を通して関心領域にツールを挿入する際に、表面に対するツールの方位に基づいて追従することができる軌道である。いくつかの例では、さらに、ツールは、グラフィックで表されるが、これは必須ではない。

図３Ａは、画像センサの視野３１０の表現３００を示す。画像センサの視野内に、表面３２０の表現があり、表面は、第１の軸ｘと、ｘ軸に直交する第２の軸ｙと、ツール３３０の表現と、ツールの影３４０の表現とを有する平面によって記述される。表面は、上述のように、ツールの方位のより正確な決定をもたらす３Ｄ表面マップとして、又は計算負荷の軽減をもたらす２Ｄ平面として表される。

図３Ｂは、３つの直交軸（ｘ、ｙ、及びｚ）によって定義された３Ｄ座標系における、表面３２０の表現、ツール３３５、及びｘ－ｙ平面上に投影されたツール３３０の表現、並びにツールの影３４０の表現の表現３５０を示す。

上記のように、画像ベースのセグメント化は、画像データ内のツール及びツールの影の表現を識別するために、画像データに適用される。

第１の例では、ツール３３５の方位は、ツール３３０の表現と、第２の軸、すなわちｙ軸との間の第１の角度α_ｔと、ツール３３０の表現とツールの影３４０の表現との間の第２の角度βとを計算することによって近似される。ツールが皮膚の表面に接触する場所は、ツールのセグメント化された表現とツールの影のセグメント化された表現との接合点として決定される。カメラ透視投影は、この近似に影響を及ぼす可能性があり、カメラの較正を実行することによって考慮することができる。

ツール及びツールの影の表現は、ピクセル空間においてパラメータ的に以下のように記述される。
ｘ_ｔ＝ａ_ｔｙ_ｔ＋ｂ_ｔ （１）
及び
ｘ_ｓ＝ａ_ｓｙ_ｓ＋ｂ_ｓ （２）
ここで、ｘ_ｔ及びｘ_ｓは、それぞれ、ツール及びツールの影のセグメント化された表現のｘ座標であり、ｙ_ｔ及びｙ_ｓは、それぞれ、ツール及びツールの影のセグメント化された表現のｙ座標であり、ａ及びｂは、ツール及びツールの影の表現のｘ座標とｙ座標との関係を記述するための定数を表す。

式（１）を再整理すると、第１の角度α_ｔは、

として計算される。

同様に、式（２）を再整理すると、
ツールの影の表現とｙ軸との間の角度α_ｓは、

として計算される。

次いで、第２の角度βは、
β＝ａｔａｎ（ａ_ｓ－ａ_ｔ） （５）
として計算される。

表面接触点とみなされる、ツールの表現とツールの影の表現との間の接合点は、ｘ_ｔ＝ｘ_ｓ及びｙ_ｔ＝ｙ_ｓを設定することによって計算され、それは以下の関係をもたらす。

及び
ｘ_ｔ＝ａ_ｔｙ_ｔ＋ｂ_ｔ （１）

上述の式（６）及び（１）で与えられる座標は、ピクセルドメイン内にあり、すなわち、画像センサによって得られる画像データ内の座標である。したがって、上述の式（６）及び（１）で与えられる座標は、３Ｄ座標系内のツール及びツールの影の真の座標を得るために、追加の処理を必要とする。

表面（例えば、皮膚の）は、２Ｄ平面として近似され、又は表面の３Ｄ表面マップは、上述のＳＬＡＭハードウェアを介して生成される。表面接触点の３Ｄ座標は、画像センサ起点Ｃ_０から式（６）及び（１）において定義されたツール進入点Ｐ_ｔまでのベクトルとして定義されるベクトルＶ_ｔを表面（例えば、皮膚表面）と交差させることによって計算される。表面接触点の３Ｄ座標は、以下のように計算される。
Ｘ_３Ｄｔ＝ｘ_ｔ－ｘ_ｏ （７）
及び
Ｙ_３Ｄｔ＝ｙ_ｔ－ｙ_ｏ （８）
ここで、Ｘ_３Ｄｔ及びＹ_３Ｄｔは、それぞれ、３Ｄ座標系における表面接触点のｘ座標及びｙ座標であり、ｘ_ｏ及びｙ_ｏは、光軸に属するピクセル座標であり、カメラの較正を介して導き出される。

例えば、カメラの較正は、画像センサからレンズの光学的中心までの距離によって決定される焦点距離ｆなどの特定のカメラパラメータを導き出すために使用される。歪パラメータなど他のカメラパラメータが考慮されてもよい。

表面は、ツールの先端から固定距離Ｄでカメラの光軸に直交する固定平面として近似され、それは、ツールの先端の３Ｄｚ座標Ｚ_３Ｄｔ＝Ｄをもたらす。次いで、以下の式を使用する透視カメラモデルを使用して、表面接触点のｘ及びｙの３Ｄ座標を定義する。

次に、ツールと表面との間の仰角β_１が計算される。図４は、３つの直交軸（ｘ、ｙ、及びｚ）によって定義された３Ｄ座標系における、表面３２０の表現、ツール３３５、及びｘ－ｙ平面に投影されたツール３３０の表現、並びにツールの影３４０の表現の概略図４００を示す。加えて、図４は、ツール３３５を基準として位置づけられた画像センサ２４０及び光源２６０を示す。

上述のように、光源２６０は、画像センサ２４０に対して分かっている場所に位置づけられ、それにより、ツール３４０の影が表面に投じられる。ツールの表現とツールの影の表現との間の角度β、すなわち、影角度は、ツールと表面との間に仰角β_１の近似として使用される。図４において、α_１は、光源２６０と、超音波プローブの中央の前方の表面の中心との間の角度を示す。α_ｔが非常に小さく、表面接触点がプローブの中央の前方の中心の近くに配置される場合、変倍項が、角度β_１に達するように角度βに適用される。変倍項ａ_{ｓｃａｌｅ}は、以下のように定義される。
ａ_{ｓｃａｌｅ}＝ｔａｎ（α_１）

α_１＝４５°では、ａ_{ｓｃａｌｅ}＝１．０であり、仰角と視角との間の関係は１．０である。言い換えれば、仰角は、ツールの表現とツールの影との間の角度と、画像センサに対して光源の分かっている位置とに基づいて決定される。

上述の計算は、ツール先端又はツールの遠位端の場所を表す３Ｄ座標のセットと、カメラ３Ｄ座標系におけるニードルの方位を表す２つの角度とをもたらす。次いで、この仮想オブジェクトは、利用可能な場合には表面の３Ｄ表面マップ、及び／又は超音波プローブを介して得られた超音波データと組み合わせて視覚化される。

次いで、ツールの軌道が、ツールの導き出された方位に基づいて決定される。例えば、ツールの軌道は、ユーザに表示されるとき、超音波プローブによって得られた超音波ボリューム又は２Ｄ超音波スライスを含む超音波データ上に表される。ツールの軌道は、例えば、剛性のツールを考慮する場合、決定された方位に基づいて、表面（例えば、皮膚の）の下にツール進入点から直線を外挿することによって決定される。代替として、非剛性のツールの場合、軌道は、表面（例えば、皮膚の）の下の対象者の解剖学的構造の抵抗に基づいて、ツール進入点からのツールの経路を推定することによって決定される。

ツールの方位及び軌道は、ユーザがツールを移動させるとき実時間で更新され、それによって、ツールが対象者の皮膚に入る前にツールの軌道を確認するための手段が提供される。ツールの軌道は、任意の適切なグラフィック手段を使用して超音波データとともに表示される。

システムが超音波プローブを含む例では、ツールの位置は、ツールが表面を通過した後、超音波データを使用して追跡される。言い換えれば、ツールが対象者の皮膚に挿入されたとき、表面の下のツールの位置は、超音波データを使用して追跡される。超音波データに基づいて追跡されたツールの位置を使用して、上述のように画像データから決定されたツールの実時間方位及び軌道を補正及び更新することができる。

上述の幾何学的方法に加えて、ツールの方位は、表面、ツール、光源、及び画像センサの３Ｄモデルに基づいて決定される。モデルは、ツールの表現に対するツールの影の表現の位置を入力として使用し、ツールの方位を出力として提供する。

さらに、ツールの方位は、機械学習アルゴリズムを介して決定される。機械学習アルゴリズムは、入力データを処理して出力データを作り出すか又は予測するための任意の自己訓練アルゴリズムである。ここで、入力データは、画像データにおけるツールの表現とツールの影との間の角度を含み、出力データは、ツールの方位を含む。

本発明で使用するための適切な機械学習アルゴリズムは当業者には明らかであろう。適切な機械学習アルゴリズムの例には、決定木アルゴリズム及び人工ニューラルネットワークが含まれる。ロジスティック回帰、サポートベクトルマシン、又はナイーブベイズモデルなどの他の機械学習アルゴリズムは、適切な代替である。

人工ニューラルネットワーク（又は単にニューラルネットワーク）の構造は、人間の脳から発想が得られている。ニューラルネットワークは層で構成され、各層は複数のニューロンを含む。各ニューロンは、数学的演算を含む。特に、各ニューロンは、単一のタイプの変換（例えば、同じタイプの変換、シグモイドなどであるが、異なる重み付けをもつ）の異なる重み付けされた組み合わせを含む。入力データを処理するプロセスにおいて、各ニューロンの数学的演算が入力データに実行されて、数値出力が作り出され、ニューラルネットワークの各層の出力は、次の層に順次送り込まれる。最終層は出力を提供する。

機械学習アルゴリズムを訓練する方法はよく知られている。一般に、そのような方法は、訓練入力データエントリ及び対応する訓練出力データエントリを含む訓練データセットを得ることを含む。初期化された機械学習アルゴリズムが各入力データエントリに適用されて、予測出力データエントリが生成される。予測出力データエントリと、対応する訓練出力データエントリとの間の誤差を使用して、機械学習アルゴリズムを修正する。このプロセスは、誤差が収束し、予測出力データエントリが訓練出力データエントリに十分に類似する（例えば、±１％）まで繰り返される。これは、一般に、教師あり学習技法として知られている。

例えば、機械学習アルゴリズムがニューラルネットワークから形成される場合、各ニューロンの数学的演算（の重み付け）は、誤差が収束するまで修正される。ニューラルネットワークを修正する知られた方法は、勾配降下、逆伝播アルゴリズムなどを含む。

訓練入力データエントリは、ツールの表現とツールの影との間の例示の角度に対応する。訓練出力データエントリは、ツールの方位に対応する。

対象者は、手術前又はコーンビームコンピュータ断層撮影（ＣＴ）スキャンを受ける。この場合、ＣＴスキャンにおいて可視であり、画像センサによって捕捉された画像データにおいて検出可能である、皮膚の表面上の追加された金属標準又は放射線不透過性マーカを介して、対象者の表面に関連する追加の３Ｄ情報が得られる。したがって、表面のセグメント化は、コンピュータ断層撮影データ及び画像データにさらに基づくことができ、それによって、表面のセグメント化の精度が向上する。

開示された実施形態への変形は、特許請求される発明を実践する際に、図面、開示、及び添付の特許請求の範囲の検討から、当業者によって理解され達成される。特許請求の範囲において、「備える、含む、有する」という単語は、他の要素又はステップを排除せず、単数形は複数を排除しない。

単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかの項目の機能を遂行することができる。

特定の手段が互いに異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示していない。

コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される光学ストレージ媒体又は固体媒体などの適切な媒体に格納及び／又は分配されてもよいが、さらに、インターネット又は他の有線若しくは無線電気通信システムなどを介して他の形態で分配されてもよい。

「適合される」という用語が特許請求の範囲又は説明において使用される場合、「適合される」という用語は、「構成される」という用語と等価であるように意図されることに留意されたい。

特許請求の範囲におけるいかなる参照符号も範囲を限定するものと解釈されるべきではない。

非限定的な実施形態のリスト
実施形態１
医学的介入を対象者に実行するためのツールの方位を決定するための方法（１００）であって、この方法は、
画像センサを使用して、対象者の表面又は対象者の上の表面、表面に隣接するツール、及び表面上のツールの影の画像の画像データを得るステップ（１１０）であって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、画像データを得るステップ（１１０）と、
表面の表現を得るステップ（１２０）と、
画像データからツールの表現をセグメント化するステップ（１３０）と、
画像データからツールの影の表現をセグメント化するステップ（１４０）と、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定するステップ（１５０）であって、仰角が、表面とツールとの間の角度である、仰角を決定するステップ（１５０）と、
ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて表面に対するツールの方位を決定するステップ（１６０）と
を有する、方法（１００）。
実施形態２
ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である表面接触点を、画像データに基づいて識別するステップをさらに有し、ツールの仰角を決定するステップが、表面接触点にさらに基づく、実施形態１に記載の方法（１００）。
実施形態３
表面の表現を得るステップが、
動きセンサを介して動きデータを得るステップであって、動きデータが、画像データの取得中の画像センサの動きを表す、動きデータを得るステップと、
対象者の表面の３Ｄ表面マップを、画像データと動きデータとの組み合わせに基づいて生成するステップと、
３Ｄ表面マップから表面の表現をセグメント化するステップと
を有する、実施形態１又は２に記載の方法（１００）。
実施形態４
この方法が、対象者の表面のコンピュータ断層撮影データを得るステップであって、表面が、そこに固定された１つ又は複数の放射線不透過性マーカを有する、コンピュータ断層撮影データを得るステップをさらに有し、表面の表現をセグメント化するステップが、コンピュータ断層撮影データ、画像データ、及び動きデータの組み合わせに基づく、実施形態３に記載の方法（１００）。
実施形態５
表面の表現を得るステップが、表面の２Ｄ平面近似を生成するステップを有する、実施形態１又は２に記載の方法（１００）。
実施形態６
ツールの仰角を決定するステップが、
ツールの表現とツールの影の表現との間の影角度を計算するステップと、
画像センサに対する少なくとも１つの光源の位置に基づいて影角度を調節することによって仰角を決定するステップと
を有する、実施形態１から５のいずれか一項に記載の方法（１００）。
実施形態７
仰角を決定するステップが、機械学習アルゴリズムをツールのセグメント化された表現及びツールの影のセグメント化された表現に適用するステップを有する、実施形態１から６のいずれか一項に記載の方法（１００）。
実施形態８
この方法は、ツールが対象者の表面を通過した後のツールの予測経路を表すツールの予測軌道を、ツールの決定された方位に基づいて計算するステップをさらに有する、実施形態１から７のいずれか一項に記載の方法（１００）。
実施形態９
この方法が、表面の表現に対するツールの方位の実時間視覚化を生成するステップをさらに有する、実施形態１から８のいずれか一項に記載の方法（１００）。
実施形態１０
少なくとも１つの光源によって生成された光が、符号化光であって、各光源が、固有の符号化光署名を有し、それによって、１つ又は複数の固有の変調された影が、ツールによって投じられ、この方法は、
１つ又は複数の固有の変調された影の各々について、固有の変調された影から固有の符号化署名を導き出すステップと、
導き出された固有の符号化署名に基づいて、１つ又は複数の固有の変調された影の各々を光源と対にするステップと
をさらに有し、
ツールの影の表現をセグメント化するステップが、対になった１つ又は複数の固有の変調された影に基づく、実施形態１から９のいずれか一項に記載の方法（１００）。
実施形態１１
コンピュータプログラムコード手段を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されると、
画像センサを使用して、対象者の表面又は対象者の上の表面、表面に隣接する医学的介入を対象者に実行するためのツール、及び表面上のツールの影の画像の画像データを得るステップであって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、画像データを得るステップと、
表面の表現を得るステップと、
画像データからツールの表現をセグメント化するステップと、
画像データからツールの影の表現をセグメント化するステップと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定するステップであって、仰角が、表面とツールとの間の角度である、仰角を決定するステップと、
ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて表面に対するツールの方位を決定するステップと
を実施するように
構成される、コンピュータプログラム。
実施形態１２
コンピュータプログラムは、前記コンピュータプログラムがコンピュータで実行されると、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である表面接触点を、画像データに基づいて識別する追加のステップを実行するように構成され、ツールの仰角を決定するステップが、表面接触点にさらに基づく、実施形態１１に記載のコンピュータプログラム。
実施形態１３
コンピュータ可読ストレージ媒体であって、コンピュータによって実行されたとき、コンピュータに、
画像センサを使用して、対象者の表面又は対象者の上の表面、表面に隣接する医学的介入を対象者に実行するためのツール、及び表面上のツールの影の画像の画像データを得るステップであって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、画像データを得るステップと、
表面の表現を得るステップと、
画像データからツールの表現をセグメント化するステップと、
画像データからツールの影の表現をセグメント化するステップと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定するステップであって、仰角が、表面とツールとの間の角度である、仰角を決定するステップと、
ツールのセグメント化された表現、ツールの影のセグメント化された表現、及び仰角に基づいて表面に対するツールの方位を決定するステップと
を実行させる命令を含む、コンピュータ可読ストレージ媒体。
実施形態１４
コンピュータ可読ストレージ媒体は、コンピュータによって実行されたとき、コンピュータに、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である、画像データ内の表面接触点を識別する追加のステップを実行させる命令をさらに含み、ツールの仰角を決定するステップが、表面接触点にさらに基づく、実施形態１３に記載のコンピュータ可読ストレージ媒体。
実施形態１５
医学的介入を対象者に実行するためのツールの方位を決定するための処理システム（２７０）であって、処理システムは、
対象者の表面又は対象者の上の表面、表面に隣接するツール、及び表面上のツールの影の画像に関する画像センサからの画像データを受け取るための入力部であって、ツールの影が、画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成されたツールに入射する光からもたらされる、入力部と、
表面の表現を得ることと、
画像データからツールの表現をセグメント化することと、
画像データからツールの影の表現をセグメント化することと、
表面の表現、ツールの表現、及びツールの影の表現に基づいてツールの仰角を決定することであって、仰角が、表面とツールとの間の角度である、仰角を決定することと、
ツールのセグメント化された表現及びツールの影のセグメント化された表現に基づいて表面に対するツールの方位を決定することと
を行うために入力部に結合されたプロセッサと
を含む、処理システム（２７０）。
実施形態１６
ツールの方位を決定するためのシステム（２００）であって、システムが、
実施形態１５に記載の処理システム（２７０）と、
医学的介入を対象者に実行するためのツール（２２０）であって、ツールが対象者の表面を通過するように構成される、ツール（２２０）と、
画像データを取得するように構成された画像センサ（２１０）と、
ツールを照明するように構成された少なくとも１つの光源（２５０）であって、光源が、画像センサに対して所定の位置に位置づけられる、光源（２５０）と
を含む、システム（２００）。
実施形態１７
処理システムは、ツールの表現及びツールの影の表現に基づいたツールが表面と接触する表面上の場所である表面接触点を、画像データに基づいて識別するようにさらに構成され、ツールの仰角を決定することが、表面接触点にさらに基づく、実施形態１６に記載のシステム（２００）。
実施形態１８
このシステムが、画像センサに結合された動きセンサ（２８０）であって、動きセンサが、画像データの取得中の画像センサの動きを表す動きデータを得るように構成される、動きセンサ（２８０）をさらに含み、処理システムが、表面の表現を得るとき、
対象者の表面の３Ｄ表面マップを、画像データと動きデータとの組み合わせに基づいて生成し、
３Ｄ表面マップから表面の表現をセグメント化する
ようにさらに構成される、実施形態１６又は１７に記載のシステム（２００）。
実施形態１９
システムが、超音波プローブをさらに含み、超音波プローブが、対象者の表面の下のイメージング領域からの超音波データを得るように構成され、画像センサが超音波プローブに結合され、処理システムは、
ツールが表面を通過した後のツールの超音波表現を含む、イメージング領域からの超音波データを得、
超音波データに基づいてツールの位置を追跡し、
ツールの追跡された位置に基づいてツールの方位を更新する
ようにさらに構成される、実施形態１６から１８のいずれか一項に記載のシステム（２００）。
実施形態２０
少なくとも１つの光源が、符号化光を生成するように構成され、各光源が、固有の符号化光署名を有し、それによって、１つ又は複数の固有の変調された影が、ツールによって投じられ、処理システムが、
１つ又は複数の固有の変調された影の各々について、固有の変調された影から固有の符号化署名を導き出し、
導き出された固有の符号化署名に基づいて、１つ又は複数の固有の変調された影の各々を光源と対にする
ようにさらに構成され、
ツールの影の表現をセグメント化することが、対になった１つ又は複数の固有の変調された影に基づく、実施形態１６から１９のいずれか一項に記載のシステム（２００）。

Claims (16)

1. 医学的介入を対象者に実行するためのツールの方位を決定するための方法であって、前記方法は、
   画像センサを使用して、対象者上の表面、前記表面に隣接するツール、及び前記表面上のツールの影の画像の画像データを得るステップであって、前記ツールの影は、前記画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成された前記ツールに入射する光からもたらされる、当該画像データを得るステップと、
   前記表面の表現を得るステップと、
   前記画像データから前記ツールの表現をセグメント化するステップと、
   前記画像データから前記ツールの影の表現をセグメント化するステップと、
   前記表面の前記表現、前記ツールの前記表現、及び前記ツールの影の前記表現に基づいて前記ツールの仰角を決定するステップであって、前記仰角が、前記表面と前記ツールとの間の角度である、当該仰角を決定するステップと、
   前記ツールのセグメント化された前記表現、前記ツールの影のセグメント化された前記表現、及び前記仰角に基づいて前記表面に対する前記ツールの方位を決定するステップと
   を有する、方法。
2. 前記ツールの前記表現及び前記ツールの影の前記表現に基づいた前記ツールが前記表面と接触する前記表面上の場所である表面接触点を、前記画像データに基づいて識別するステップをさらに有し、前記ツールの前記仰角を決定するステップが、前記表面接触点にさらに基づく、請求項１に記載の方法。
3. 前記表面の前記表現を得るステップが、
   動きセンサを介して動きデータを得るステップであって、前記動きデータが、前記画像データの取得中の前記画像センサの動きを表す、当該動きデータを得るステップと、
   前記対象者の前記表面の３Ｄ表面マップを、前記画像データと前記動きデータとの組み合わせに基づいて生成するステップと、
   前記３Ｄ表面マップから前記表面の前記表現をセグメント化するステップと
   を有する、請求項１又は２に記載の方法。
4. 前記方法が、前記対象者の前記表面のコンピュータ断層撮影データを得るステップであって、前記表面が、そこに固定された１つ又は複数の放射線不透過性マーカを有する、当該コンピュータ断層撮影データを得るステップをさらに有し、前記表面の前記表現をセグメント化するステップが、前記コンピュータ断層撮影データ、前記画像データ、及び前記動きデータの組み合わせに基づく、請求項３に記載の方法。
5. 前記表面の前記表現を得るステップが、前記表面の２Ｄ平面近似を生成するステップを有する、請求項１又は２に記載の方法。
6. 前記ツールの前記仰角を決定するステップが、
   前記ツールの前記表現と前記ツールの影の前記表現との間の影角度を計算するステップと、
   前記画像センサに対する前記少なくとも１つの光源の前記位置に基づいて前記影角度を調節することによって前記仰角を決定するステップと
   を有する、請求項１から５のいずれか一項に記載の方法。
7. 前記仰角を決定するステップが、機械学習アルゴリズムを前記ツールのセグメント化された前記表現及び前記ツールの影のセグメント化された前記表現に適用するステップを有する、請求項１から６のいずれか一項に記載の方法。
8. 前記方法は、前記ツールが前記対象者の前記表面を通過した後の前記ツールの予測経路を表す前記ツールの予測軌道を、前記ツールの決定された前記方位に基づいて計算するステップをさらに有する、請求項１から７のいずれか一項に記載の方法。
9. 前記方法が、前記表面の前記表現に対する前記ツールの前記方位の実時間視覚化を生成するステップをさらに有する、請求項１から８のいずれか一項に記載の方法。
10. 前記少なくとも１つの光源によって生成された光が、符号化光であり、各光源が、固有の符号化光署名を有し、それによって、１つ又は複数の固有の変調された影が、前記ツールによって投じられ、前記方法が、
    前記１つ又は複数の固有の変調された影の各々について、前記固有の変調された影から前記固有の符号化署名を導き出すステップと、
    導き出された前記固有の符号化署名に基づいて、前記１つ又は複数の固有の変調された影の各々を光源と対にするステップと
    をさらに有し、
    前記ツールの影の前記表現をセグメント化するステップが、対になった前記１つ又は複数の固有の変調された影に基づく、請求項１から９のいずれか一項に記載の方法。
11. コンピュータプログラムコード手段を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されると、
    画像センサを使用して、対象者上の表面、前記表面に隣接する医学的介入を対象者に実行するためのツール、及び前記表面上のツールの影の画像の画像データを得るステップであって、前記ツールの影が、前記画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成された前記ツールに入射する光からもたらされる、当該画像データを得るステップと、
    前記表面の表現を得るステップと、
    前記画像データから前記ツールの表現をセグメント化するステップと、
    前記画像データから前記ツールの影の表現をセグメント化するステップと、
    前記表面の前記表現、前記ツールの前記表現、及び前記ツールの影の前記表現に基づいて前記ツールの仰角を決定するステップであって、前記仰角が、前記表面と前記ツールとの間の角度である、当該仰角を決定するステップと、
    前記ツールのセグメント化された前記表現、前記ツールの影のセグメント化された前記表現、及び前記仰角に基づいて前記表面に対する前記ツールの方位を決定するステップと
    を実施する、コンピュータプログラム。
12. 医学的介入を対象者に実行するためのツールの方位を決定するための処理システムであって、前記処理システムは、
    対象者上の表面、前記表面に隣接するツール、及び前記表面上のツールの影の画像に関する画像センサからの画像データを受け取るための入力部であって、前記ツールの影が、前記画像センサに対して所定の位置に位置づけられた少なくとも１つの光源を介して生成された前記ツールに入射する光からもたらされる、入力部と、
    前記表面の表現を得ることと、
    前記画像データから前記ツールの表現をセグメント化すること、
    前記画像データから前記ツールの影の表現をセグメント化することと、
    前記表面の前記表現、前記ツールの前記表現、及び前記ツールの影の前記表現に基づいて前記ツールの仰角を決定することであって、前記仰角が、前記表面と前記ツールとの間の角度である、当該仰角を決定することと、
    前記ツールのセグメント化された前記表現及び前記ツールの影のセグメント化された前記表現に基づいて前記表面に対する前記ツールの方位を決定することと
    を行うために前記入力部に結合されたプロセッサと
    を含む、処理システム。
13. ツールの方位を決定するためのシステムであって、前記システムが、
    請求項１２に記載の処理システムと、
    医学的介入を対象者に実行するためのツールであって、前記ツールが前記対象者の表面を通過する、ツールと、
    画像データを取得するための画像センサと、
    前記ツールを照明するための少なくとも１つの光源であって、前記少なくとも１つの光源が、前記画像センサに対して所定の位置に位置づけられる、少なくとも１つの光源と
    を含む、システム。
14. 前記処理システムは、さらに、前記ツールの表現及び前記ツールの影の表現に基づいた前記ツールが前記表面と接触する前記表面上の場所である表面接触点を、前記画像データに基づいて識別し、前記ツールの仰角を決定することが、前記表面接触点にさらに基づく、請求項１３に記載のシステム。
15. 前記システムが、前記画像センサに結合された動きセンサであって、前記動きセンサが、前記画像データの取得中の前記画像センサの動きを表す動きデータを得る、動きセンサをさらに含み、前記処理システムが、前記表面の表現を得るとき、さらに、
    前記対象者の前記表面の３Ｄ表面マップを、前記画像データと前記動きデータとの組み合わせに基づいて生成し、
    前記３Ｄ表面マップから前記表面の前記表現をセグメント化する、請求項１３又は１４に記載のシステム。
16. 前記システムが、超音波プローブをさらに含み、前記超音波プローブが、前記対象者の前記表面の下のイメージング領域からの超音波データを得、前記画像センサが前記超音波プローブに結合され、前記処理システムは、さらに、
    前記ツールが前記表面を通過した後の前記ツールの超音波表現を含む、前記イメージング領域からの超音波データを得、
    前記超音波データに基づいて前記ツールの位置を追跡し、
    前記ツールの追跡された前記位置に基づいて前記ツールの前記方位を更新する、
    請求項１３から１５のいずれか一項に記載のシステム。

Images