JP7397092B2 - 画像マッチングに基づいて手術経路を決定する方法およびシステム - Google Patents

Description

関連出願の相互参照

本出願は、２０１９年３月１９日に出願された米国仮出願第６２／８２０，８０４号の利益を主張し、その全体が参照により組み込まれる。

本発明の実施形態は、一般に、手術経路上の１つまたは複数の点を決定する方法およびシステムに関する。

本明細書で特に明記しない限り、このセクションで説明するアプローチは、本出願の特許請求の範囲の先行技術ではなく、このセクションに含めることによって先行技術であるとは認められない。

手術では手術経路の計画が重要である。手術経路には、患者から離れた安全点および術前点、患者の組織の入口点、手術の目標における目標点など、複数の点が含まれ得る。

ロボット手術によって手術経路を正確に制御できる。手術の前に、患者は医用スキャン（例えば、ＣＴまたはＭＲＩ、ＰＥＴ、超音波など）を受ける。目的の解剖学的領域への手術経路が計画される。人工知能を使用して、最小限の損傷で最適な経路を外科医に提案することができる。手術を行うには、計画された手術経路に沿って正確に手術を行うために、患者の位置を医用スキャンの視点に合わせることがある。従来のアプローチは基準マークへの接着またはねじ止めに依拠しており、これは広く採用されていない。

手術中に遭遇する可能性のあるいくつかの点の間の空間的関係を示す例示的な図である。 患者の手術経路を決定する例示的なプロセスを示すフロー図である。 手術経路計算の例を示す図である。 最初に収集された、患者に関する２次元画像である。 ２回目に収集された、患者に関する２次元画像である。 ２次元スナップショットの画像である。 ２次元顔画像の画像である。 構築された３次元モデル座標系から３次元カメラ座標系への座標変換を示す。 座標を変換する例示的なプロセスを示す流れ図である。 本開示のいくつかの実施形態に従って全て配置された、ロボットアーム座標系において光学装置を位置合わせするための例示的なプロセスを示す流れ図である。

以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈からそうでないことが示されていない限り、同様の記号は通常、同様の成分を示す。詳細な説明、図面、および特許請求の範囲に記載されている例示的な実施形態は、限定することを意図していない。本明細書に提示される主題の精神または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることができる。本開示の態様は、本明細書に一般的に記載され、図に例示されるように、多種多様な異なる構成で配置、置換、組み合わせ、および設計することができ、その全てが本明細書で明示的に企図されることは容易に理解されよう。

図１は、本開示のいくつかの実施形態に従って配置された、手術中に遭遇する可能性のあるいくつかの点の間の空間的関係を示す例示的な図である。図１において、手術経路１１０は、安全点１２０、術前点１３０、入口点１４０、および目標点１５０を含み得る。

図２は、本開示のいくつかの実施形態に従って構成された、患者の手術経路を決定するための例示的なプロセス２００を示す流れ図である。プロセス２００は、ブロック２１０、２２０、２３０、２４０、２５０、２６０、２７０、２８０および／または２９０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

プロセス２００は、ブロック２１０「医用画像スキャンに基づいて３Ｄモデルを構築する」で開始することができる。手術が行われる前に、いくつかの医用撮像技術を使用して患者の状態のスナップショットを取り込み、手術計画を策定することができる。手術計画は、上記の計画された手術経路を含み得る。例えば、外科医は、手術目標の医用画像スキャン（例えば、ＣＴまたはＭＲＩ）を指示してもよい。そのような医用画像スキャンは、手術の数日前（例えば、３～５日前）に行われてもよい。３次元モデルは、いくつかの既知のアプローチを使用して医用画像スキャンデータに基づいて構築され得る。したがって、計画された手術経路上の点を３次元モデルにおいて識別することができる。

いくつかの実施形態では、人工知能エンジンを使用して、患者への物理的損傷を最小限に抑えた１つまたは複数の計画された手術経路を外科医に提案することができる。患者のＣＴまたはＭＲＩスキャンに基づいて、人工知能エンジンは、１つまたは複数の最適な計画された手術経路を提案することができる。図３は、本開示のいくつかの実施形態に従って配置された目標点３２０に到達するための計画された手術経路３１０の計算の一例を示す。計算には、標準の脳アトラスデータを変換すること、および脳野を識別するためにそれを患者の医用スキャン画像に位置合わせすることが含まれ得る。いくつかの脳野の例には、運動連合野３３１、表現発話野３３２、高次精神機能野３３３、運動野３３４、感覚野３３５、体性感覚連合野３３６、包括的言語野３３７、視覚野３３８、受容発話野３３８、受容発話野３３９、連合野３４１、および小脳野３４２が含まれる。さらに、視床下核などの一般的な目標組織は自動的に識別されてもよい。さらに、上記の各脳野に費用関数を割り当てて、人工知能エンジンが目標組織への１つまたは複数の計画された手術経路を提案してもよい。血管は、ＴＯＦ（飛行時間ＭＲＩ）データから識別され得る。外側の脳の境界上の点は、入口点の候補である。

ブロック２１０の後には、ブロック２２０「２Ｄスナップショットを生成する」が続き得る。いくつかの実施形態では、２次元スナップショットは、ブロック２１０で構築された３次元モデルに基づいて生成される。いくつかの実施形態では、２次元スナップショットは、患者の３次元モデルの正面図である。患者の正面図は、患者の少なくともいくつかの顔の特徴を含む。

ブロック２２０の後には、ブロック２３０「患者の２Ｄ顔画像を取得するためにロボットアームを駆動する」が続き得る。いくつかの実施形態では、少なくとも２つの２次元光学装置（例えば、カメラおよび／またはスキャナ）がロボットアームに固定される。ロボットアームを異なる位置に駆動することにより、２つの２次元光学装置は、患者に関連する異なる画像を取り込むことができる。いくつかの実施形態では、２つの２次元光学装置の各々は、患者に関連する２次元画像を収集するように構成される。いくつかの他の実施形態では、２つの２次元光学装置は、組み合わせて、患者に関連する深度情報を収集するように構成される。したがって、少なくとも２つの２次元光学装置は、患者に関連する２次元画像または患者に関連する３次元画像のいずれかを収集することができる。

図４Ａに関連して、画像４１０は、最初に収集された患者に関連する２次元画像である。画像４１０は、座標（Ｘ、Ｙ）を有する画像中心４１１を有する。人工知能エンジンを使用して、画像４１０内の患者を識別することができる。いくつかの実施形態では、人工知能エンジンは、画像４１０のフレーム４１３内の患者を識別することができる。さらに、人工知能エンジンは、画像４１０内の患者の顔中心点４１５を識別することができる。顔中心点４１５は、座標（ｘ、ｙ）を有することができる。いくつかの実施形態では、ロボットアームは、少なくとも第１のオフセット（Ｘ－ｘ）および第２のオフセット（Ｙ－ｙ）に基づいて駆動される。

例えば、第１の時点で、第１のオフセットまたは第２のオフセットのいずれかが１つまたは複数の所定の閾値よりも大きく、ロボットアームは、第１のオフセットおよび第２のオフセットを減少させるために別の位置に駆動される。

いくつかの実施形態では、図４Ｂに関連して、ロボットアームが第２の時点で第１の更新位置に駆動されたことに応答して、画像４２０は、ロボットアーム上の２次元光学装置によって収集された患者に関連する２次元画像である。画像４２０は、更新された座標（Ｘ、Ｙ）を有する画像中心４２１を有する。人工知能エンジンを使用して、画像４２０内の患者を識別することができる。いくつかの実施形態では、人工知能エンジンは、画像４２０のフレーム４２３内の患者を識別することができる。さらに、人工知能エンジンは、画像４２０内の患者の顔中心点４２５を識別することができる。顔中心点４２５は、更新された座標（ｘ、ｙ）を有することができる。いくつかの実施形態では、第１のオフセット（Ｘ－ｘ）および第２のオフセット（Ｙ－ｙ）は両方とも、１つまたは複数の所定の閾値未満である。

いくつかの実施形態では、第３の時点の第１の更新位置で、人工知能エンジンを使用して、少なくとも３つの特徴点４２６，４２７および４２８を識別することができる。２次元光学装置は、患者に関連する深度情報を収集するように構成される。深度情報を、３次元空間内の第１の平面を画定することができる特徴点４２６，４２７および４２８に割り当てることができる。いくつかの実施形態では、ロボットアームは、ロボットアーム上の２次元光学装置が３次元空間内の第１の平面に実質的に平行な第２の平面上にあるように、第４の時点で回転して第２の更新位置に移動するように駆動される。２次元光学装置の動作パラメータに関連する所定の範囲内の第２の更新位置における画像４２０の平均深度に応答して、画像４２０は、患者の２Ｄ顔画像として取得され、方法２００はブロック２４０に進む。

ブロック２４０「２Ｄスナップショットおよび２Ｄ顔画像内の２Ｄ特徴点を選択する」において、人工知能エンジンを使用して、ブロック２２０で生成された２次元スナップショット内の２次元特徴点の第１のセットと、ブロック２３０で撮影された患者の２次元顔画像（例えば、画像４２０）内の２次元特徴点の第２のセットを選択することができる。

図５に関連して、画像５００は、ブロック２２０において生成された２次元スナップショットである。いくつかの実施形態では、人工知能エンジンを使用して、眉間５０１、右内眼角点５０２および左内眼角点５０３を識別することができるが、これは、これらの点が画像５００において識別がより容易であるためである。しかしながら、眉間５０１、右内眼角点５０２および左内眼角点５０３は、様々な人種の人々にとって同じ２次元平面上にない場合がある。画像５００が２次元スナップショットであると仮定すると、眉間５０１、右内眼角点５０２および左内眼角点５０３は、画像５００上の２次元特徴点に適していない。それにもかかわらず、解剖学的構造に基づいて、様々な人種の人々の顔面上の小領域５１０は統計的に平坦である。したがって、いくつかの実施形態では、人工知能エンジンを使用して、眉間５０１、右内眼角点５０２および左内眼角点５０３をそれぞれ通過し、領域５１０で交差する３つの線５２０，５３０および５４０を生成する。いくつかの実施形態では、交差点５１１は、２次元特徴点として選択される。さらに、いくつかの実施形態では、線５３０上の領域５１０内の点５１２と、線５４０上の領域５１０内の点５１３も２次元特徴点として選択される。点５１１，５１２および５１３は、２次元特徴点の第１のセットであってもよい。いくつかの実施形態では、領域５１０内の追加の２Ｄ点を選択して、２次元特徴点の第１のセットの数を増やすことができる。

図６に関連して、画像６００は、ブロック２３０において撮影された２次元顔画像である。いくつかの実施形態では、人工知能エンジンを使用して、眉間６０１、右内眼角点６０２および左内眼角点６０３を識別することができるが、これは、これらの点が画像６００において識別がより容易であるためである。しかしながら、眉間６０１、右内眼角点６０２および左内眼角点６０３は、様々な人種の人々にとって同じ２次元平面上にない場合がある。画像６００が２次元顔画像であると仮定すると、眉間６０１、右内眼角点６０２、および左内眼角点６０３は、画像６００上の２次元特徴点に適していない。同様に、解剖学的構造に基づいて、様々な人種の人々の顔面上の小領域６１０は統計的に平坦である。それにもかかわらず、いくつかの実施形態では、人工知能エンジンを使用して、眉間６０１、右内眼角点６０２および左内眼角点６０３をそれぞれ通過し、領域６１０で交差する３本の線６２０，６３０および６４０を生成する。いくつかの実施形態では、交差点６１１は、２次元特徴点として選択される。さらに、いくつかの実施形態では、線６３０上の領域６１０内の点６１２と、線６４０上の領域６１０内の点６１３も２次元特徴点として選択される。点６１１，６１２および６１３は、２次元特徴点の第２のセットであってもよい。いくつかの実施形態では、領域６１０内の追加の２Ｄ点を選択して、２次元特徴点の第２のセットの数を増やすことができる。

ブロック２４０の後には、ブロック２５０「２Ｄ特徴点の第１のセットを３Ｄ特徴点の第１のセットに変換する」が続き得る。いくつかの実施形態では、ブロック２５０において、２次元特徴点の第１のセット（例えば、点５１１，５１２および５１３）は、３次元特徴点の第１のセットに変換される。上述したように、２次元特徴点の第１のセットは、構築された３次元モデルで生成された２次元スナップショットにおいて選択される。構築された３次元モデルの２次元スナップショットを取得したアルゴリズムに基づいて、２次元スナップショット（例えば、ブロック２２０で生成されたスナップショット）の２次元特徴点の第１のセットを構築された３次元モデル（例えば、ブロック２１０で生成された３次元モデル）の３次元特徴点の第１のセットに変換するために逆の動作を実行することができる。いくつかの実施形態では、３次元特徴点の第１のセットは、反復最近接点（ＩＣＰ）アルゴリズムを使用した後続のマッチングを可能にする第１の初期３次元座標を識別することができる。

ブロック２５０の後には、ブロック２６０「２Ｄ特徴点の第２のセットを３Ｄ特徴点の第２のセットに変換する」が続き得る。いくつかの実施形態では、ブロック２６０において、２次元特徴点の第２のセット（例えば、点６１１，６１２および６１３）は、３次元特徴点の第２のセットに変換される。上述したように、患者に関連する深度情報は、２次元光学装置によって収集することができる。いくつかの実施形態では、深度情報を２次元特徴点の第２のセットに追加して、２次元特徴点の第２のセットを３次元特徴点の第２のセットに変換することができる。いくつかの実施形態では、３次元特徴点の第２のセットは、反復最近接点（ＩＣＰ）アルゴリズムを使用した後続のマッチングを可能にする第２の初期３次元座標を識別することができる。

ブロック２６０の後に、ブロック２７０「３次元特徴点の第１のセットと３次元特徴点の第２のセットとの間で画像マッチングを実行する」が続き得る。いくつかの実施形態では、３次元特徴点の第１のセットおよび３次元特徴点の第２のセットは、３次元特徴点の第１のセットと３次元特徴点の第２のセットとを整列させる関係を決定するためにマッチングされ、場合によっては、３次元特徴点の２つのセット間の差を最小化するために反復的にマッチングされる。

明確にするために、以下の説明は、２つの２次元光学装置（例えば、２つの２次元カメラ）の非限定的な一例と、２つの２次元光学装置に関連する３次元座標系、例えば３次元カメラ座標系を主に使用して、本開示の様々な実施形態を説明する。

ブロック２７０の後には、ブロック２８０「座標を変換する」が続き得る。ブロック２８０では、構築された３次元モデルの３次元特徴点の第１のセットが、その元の座標系（すなわち、３次元モデル座標系）から、２つの２次元光学装置によって撮影された画像の座標（すなわち、３次元カメラ座標系）に変換される。変換は、反復最近接点（ＩＣＰ）などのいくつかの画像比較アプローチに基づいてもよい。ブロック２８０は、３次元カメラ座標系上の全ての点がロボットアームの座標（すなわち、ロボットアーム座標系）に変換される、追加の座標変換をさらに含むことができる。座標変換の詳細については、以下でさらに説明する。

ブロック２８０の後には、ブロック２９０「手術経路を決定する」が続き得る。ブロック２９０において、３次元モデル座標系における計画された手術経路の座標は、ロボットアーム座標系に変換され得る。したがって、ロボットアームは、計画された手術経路上の安全点、術前点、入口点、および／または目標点に移動することができる。

いくつかの実施形態では、例示的なプロセス２００は、限定ではないが脳手術、神経系手術、内分泌手術、眼科手術、耳手術、呼吸器手術、循環器系手術、リンパ管手術、胃腸手術、口腔および歯科手術、泌尿器手術、生殖手術、骨、軟骨および関節手術、筋肉／軟組織手術、乳房手術、皮膚手術など、様々な種類の手術に適用され得る。

要するに、少なくとも２つの２次元カメラまたはスキャナを使用して、患者の顔の特徴を取得することができる。次いで、顔の特徴を、医用画像スキャンに関連する３次元モデルの２次元スナップショットと比較することができる。２次元特徴点の第１のセットは、２次元スナップショットにおいて選択され、２次元特徴点の第２のセットは、２次元カメラまたはスキャナによってそれぞれ取得された２次元の患者の顔画像において選択される。比較するために、２次元特徴点の第１のセットおよび２次元特徴点の第２のセットは、それぞれ、３次元モデルの３次元特徴点の第１のセットおよび３次元特徴点の第２のセットに変換される。いくつかの実施形態では、例示的なプロセス２００は、脳手術、神経系手術、内分泌手術、眼科手術、耳手術、呼吸器手術、循環器系手術、リンパ管手術、胃腸手術、口腔および歯科手術、泌尿器手術、生殖手術、骨、軟骨および関節手術、筋肉／軟組織手術、乳房手術、皮膚手術など、様々な種類の手術に適用され得る。

図７は、本開示のいくつかの実施形態による、構築された３次元モデル座標系から３次元カメラ座標系への例示的な座標変換を示す。この図について、図８に関連して以下でさらに説明する。

図８は、本開示のいくつかの実施形態による、座標を変換する例示的なプロセス８００を示す流れ図である。プロセス８００は、ブロック８１０、８２０、８３０および／または８４０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

図７に関連して、ブロック８１０で初期行列を得る。いくつかの実施形態では、第１の初期行列Ｔ_ＭＲＩおよび第２の初期行列Ｔ_{ｃａｍｅｒａ}を得る。いくつかの実施形態では、
式中、
Ｖｅｃｔｏｒ_ＸｘはＶｅｃｔｏｒ_Ｘのｘ成分、Ｖｅｃｔｏｒ_ＸｙはＶｅｃｔｏｒ_Ｘのｙ成分、Ｖｅｃｔｏｒ_ＸｚはＶｅｃｔｏｒ_Ｘのｚ成分である。同様に、Ｖｅｃｔｏｒ_ｙｘはＶｅｃｔｏｒ_ｙのｘ成分、Ｖｅｃｔｏｒ_ｙｙはＶｅｃｔｏｒ_ｙのｙ成分、Ｖｅｃｔｏｒ_ｙｚはＶｅｃｔｏｒ_ｙのｚ成分である。Ｖｅｃｔｏｒ_ＺｘはＶｅｃｔｏｒ_Ｚのｘ成分、Ｖｅｃｔｏｒ_ＺｙはＶｅｃｔｏｒ_Ｚのｙ成分、Ｖｅｃｔｏｒ_ＺｚはＶｅｃｔｏｒ_Ｚのｚ成分である。Ｐ１_ＸはＰ１のｘ座標、Ｐ１_ｙはＰ１のｙ座標、Ｐ１_ｚはＰ１のｚ座標である。

いくつかの他の実施形態では、
式中、
Ｖｅｃｔｏｒ_Ｘ’ｘはＶｅｃｔｏｒ_Ｘ’のｘ成分、Ｖｅｃｔｏｒ_Ｘ’ｙはＶｅｃｔｏｒ_Ｘ’のｙ成分、Ｖｅｃｔｏｒ_Ｘ’ｚはＶｅｃｔｏｒ_Ｘ’のｚ成分である。同様に、Ｖｅｃｔｏｒ_ｙ’ｘはＶｅｃｔｏｒ_ｙ’のｘ成分、Ｖｅｃｔｏｒ_ｙ’ｙはＶｅｃｔｏｒ_ｙ’のｙ成分、Ｖｅｃｔｏｒ_ｙ’ｚはＶｅｃｔｏｒ_ｙ’のｚ成分である。Ｖｅｃｔｏｒ_Ｚ’ｘはＶｅｃｔｏｒ_Ｚ’のｘ成分、Ｖｅｃｔｏｒ_Ｚ’ｙはＶｅｃｔｏｒ_Ｚ’のｙ成分、Ｖｅｃｔｏｒ_Ｚ’ｚはＶｅｃｔｏｒ_Ｚ’のｚ成分である。Ｐ１’_ＸはＰ１’のｘ座標、Ｐ１’_ｙはＰ１’のｙ座標、Ｐ１’_ｚはＰ１’のｚ座標である。

ブロック８１０の後に、ブロック８２０「変換行列を得る」が続き得る。いくつかの実施形態では、変換行列は

であってもよく、Ｐ１、Ｐ２およびＰ３は、

に従って３次元カメラ座標系に変換される。Ｐ１、Ｐ２およびＰ３がそれぞれＰ１_{ｔｒａｎｓｆｏｒｍｅｄ}、Ｐ２_{ｔｒａｎｓｆｏｒｍｅｄ}、Ｐ３_{ｔｒａｎｓｆｏｒｍｅｄ}に変換されると仮定すると、Ｐ１_{ｔｒａｎｓｆｏｒｍｅｄ}およびＰ１’、Ｐ２_{ｔｒａｎｓｆｏｒｍｅｄ}およびＰ２’、ならびにＰ３_{ｔｒａｎｓｆｏｒｍｅｄ}およびＰ３’の間の差異に関連付けられた距離メトリックは、いくつかの実行可能なＩＣＰアプローチに基づいて計算される。

ブロック８２０の後にブロック８３０が続き得る。ブロック８３０では、距離メトリックの変化が閾値に達しているかどうかが決定される。閾値に達していない場合、ブロック８３０はブロック８２０に戻り、そこでＰ１_{ｔｒａｎｓｆｏｒｍｅｄ}、Ｐ２_{ｔｒａｎｓｆｏｒｍｅｄ}、およびＰ３_{ｔｒａｎｓｆｏｒｍｅｄ}が選択されて、

が更新され、最終的に新しい変換行列

が得られる。閾値に達している場合、ブロック８３０の後にブロック８４０が続き得る。

ブロック８４０では、３次元カメラ座標系からロボットアーム座標系に点を変換するための変換行列が得られる。いくつかの実施形態では、変換行列は、
式中、

はロボットアーム座標系のカメラ中心（例えば、カメラ座標系の原点）に関連する回転ベクトルであり、
ｋｘは

のｘ成分であり、ｋｙは

のｙ成分であり、ｋｚは

のｚ成分である。Ｐｃｘはカメラ中心のｘ座標、Ｐｃｙはカメラ中心のｙ座標、Ｐｃｚはロボットアーム座標系におけるカメラ中心のｚ座標である。いくつかの実施形態において、ロボットアーム座標系でカメラ中心を位置合わせするための例示的なアプローチについて、図９に関連して以下でさらに説明する。

変換行列に従って、３次元モデル座標系の手術経路上の点はロボットアーム座標系に変換され得る。したがって、ロボットアームは、手術経路上の１つまたは複数の点に移動することができる。

いくつかの実施形態において、図９は、ロボットアーム座標系で光学装置（例えば、カメラ）を位置合わせする例示的なプロセス９００を示す流れ図である。いくつかの実施形態では、光学装置はロボットアームのフランジに取り付けられてもよい。上述のように、ｋｘ、ｋｙ、ｋｚ、Ｐｃｘ、Ｐｃｙ、およびＰｃｚを有するロボットアーム座標系で光学装置を説明するために、まず、光学装置に関連付けられた点（例えば、カメラ座標系の原点）をプロセス９００に従ってロボットアーム座標系に位置合わせすることができる。プロセス９００は、ブロック９１０、９２０、９３０および／または９４０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

プロセス９００は、ブロック９１０で開始することができる。ブロック９１０で、ロボットアームは開始位置に移動するように構成される。いくつかの実施形態では、開始位置は、ロボットアームの基準点（例えば、ロボットアームベース）に隣接して対向している。いくつかの実施形態では、開始位置で、光学装置は、ロボットアームの基準点の１つまたは複数の画像を取り込むように構成されている。取り込まれた画像は、光学装置の点とロボットアームの基準点との空間的関係に関連付けられる。

ブロック９１０の後にブロック９２０が続き得る。ブロック９２０では、取り込まれた画像に基づいて、ロボットアームの基準点のメッシュが得られる。

ブロック９２０の後にブロック９３０が続き得る。ブロック９３０では、ロボットアームの特定の物理情報に基づいて、ロボットアームの基準点の３次元モデルが構築される。いくつかの実施形態では、物理情報は、ロボットアームの要素の寸法、向き、および／または幾何学的特徴を含んでもよい。

ブロック９３０の後にブロック９４０が続き得る。ブロック９４０では、得られたメッシュと構築された３次元モデルとをマッチングさせる。マッチングには、いくつかの技術的に実行可能なアプローチを使用することができ、例えば、所与の収束精度を満たすために、得られたメッシュの点と構築された３次元モデルの点とをマッチングさせる反復最近接点アプローチが使用され得る。所与の収束精度が満たされることに応答して、光学装置の点とロボットアームの基準点との空間的関係を計算できる。この計算に基づいて、カメラの点をロボットアーム座標系に位置合わせし、変換することができる。

前述の詳細な説明では、ブロック図、フローチャート、および／または例を使用して、デバイスおよび／またはプロセスの様々な実施形態を説明した。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限り、そのようなブロック図、フローチャート、または例内の各機能および／または動作は個別および／または集合的に、広範囲のハードウェア、ソフトウェア、ファームウェア、またはそれらの実質的にあらゆる組み合わせによって実装できることが当業者には理解されよう。いくつかの実施形態において、本明細書に記載の主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の統合フォーマットを介して実装され得る。しかし、当業者は、本明細書に開示される実施形態のいくつかの態様は、全体または一部において、１つまたは複数のコンピュータで実行される１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステムで実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサで実行される１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサで実行される１つまたは複数のプログラムとして）、ファームウェアとして、またはそれらの実質的にあらゆる組み合わせとして、集積回路において同等に実装でき、回路の設計および／またはソフトウェアおよび／またはファームウェアのコードの記述は、本開示に照らして当業者の技術の範囲内に十分にあるであろうことを認識するであろう。さらに、当業者は、本明細書に記載の主題のメカニズムが様々な形態のプログラム製品として配信可能であり、本明細書に記載の主題の例示的な実施形態が、実際に配信を実行するために使用される信号伝達媒体の特定の種類にかかわらず適用されることを理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなどの記録可能なタイプの媒体、ならびにデジタルおよび／またはアナログ通信媒体など（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）の伝送タイプの媒体が含まれるがこれらに限定されない。

上記から、本開示の様々な実施形態が例示の目的で本明細書に記載されており、本開示の範囲および精神から逸脱することなく様々な改変がなされ得ることが理解されよう。したがって、本明細書で開示された様々な実施形態は、限定することを意図するものではない。

Claims (12)

1. プロセッサによる実行に応答して、患者の手術経路を決定する方法を該プロセッサに実行させる命令のセットを含む非一時的なコンピュータ可読記憶媒体であって、前記方法が、
   前記患者の医用画像スキャンに基づいて３次元モデルを構築することと、
   ２次元光学装置のセットを用いて前記患者の画像情報を取得することと、
   人工知能エンジンを使用して、前記３次元モデルに関連する２次元特徴点の第１のセットを選択することと、
   前記人工知能エンジンを使用して、前記患者の前記画像情報に関連付けられた２次元特徴点の第２のセットを選択することと、
   前記２次元特徴点の第１のセットを３次元特徴点の第１のセットに変換することと、
   前記２次元特徴点の第２のセットを３次元特徴点の第２のセットに変換することと、
   前記３次元特徴点の第１のセットと前記３次元特徴点の第２のセットとを整列させる関係を決定するために、該３次元特徴点の第１のセットと該３次元特徴点の第２のセットとをマッチングすることと、
   前記関係に基づいて、前記３次元モデルに関連する第１の座標系から前記２次元光学装置のセットに関連する第２の座標系に座標を変換することと、
   前記第２の座標系の前記変換された座標に基づいて、ロボットアームに関連する第３の座標系において手術経路を決定することと
   を含み、
   前記２次元特徴点のそれぞれが、前記患者自身の顔面上の領域から抽出され、該領域が統計的に平坦である、
   非一時的なコンピュータ可読記憶媒体。
2. 前記方法が、前記３次元モデルの２次元スナップショットを生成することと、該スナップショットの前記２次元特徴点の第１のセットを選択することとをさらに含む、
   請求項１に記載の非一時的なコンピュータ可読記憶媒体。
3. 前記３次元モデルの前記２次元スナップショットを取得するために使用されるアルゴリズムに基づいて、前記２次元スナップショット上の前記２次元特徴点の前記第１のセットを、前記３次元モデルの前記３次元特徴点の前記第１のセットに変換するために逆の動作を実行することをさらに含む、
   請求項２に記載の非一時的なコンピュータ可読記憶媒体。
4. 前記患者の前記画像情報が、該患者の２次元画像情報および該患者に関連する深度情報を含む、
   請求項１に記載の非一時的なコンピュータ可読記憶媒体。
5. 前記２次元特徴点の第２のセットが、前記患者の前記２次元画像情報において選択される、
   請求項４に記載の非一時的なコンピュータ可読記憶媒体。
6. 前記２次元特徴点の第２のセットを前記３次元特徴点の第２のセットに変換することが、前記深度情報に基づく、
   請求項５に記載の非一時的なコンピュータ可読記憶媒体。
7. プロセッサと、
   前記プロセッサによる実行に応答して、該プロセッサに、
   患者の医用画像スキャンに基づいて３次元モデルを構築させ、
   ２次元光学装置のセットを用いて前記患者の画像情報を取得させ、
   人工知能エンジンを使用して、前記３次元モデルに関連する２次元特徴点の第１のセットを選択させ、
   前記人工知能エンジンを使用して、前記患者の前記画像情報に関連付けられた２次元特徴点の第２のセットを選択させ、
   前記２次元特徴点の第１のセットを３次元特徴点の第１のセットに変換させ、
   前記２次元特徴点の第２のセットを３次元特徴点の第２のセットに変換させ、
   前記３次元特徴点の第１のセットと前記３次元特徴点の第２のセットとを整列させる関係を決定するために、該３次元特徴点の第１のセットと該３次元特徴点の第２のセットとをマッチングさせ、
   前記関係に基づいて、前記３次元モデルに関連する第１の座標系から前記２次元光学装置のセットに関連する第２の座標系に座標を変換させ、
   前記第２の座標系の前記変換された座標に基づいて、ロボットアームに関連する第３の座標系において手術経路を決定させる
   プログラムコードが記憶されている非一時的なコンピュータ可読媒体と
   を含み、
   前記２次元特徴点のそれぞれが、前記患者自身の顔面上の領域から抽出され、該領域が統計的に平坦である、
   患者の手術経路を決定するシステム。
8. 前記プログラムコードは、前記プロセッサによって実行されると、該プロセッサに、前記３次元モデルの２次元スナップショットをさらに生成させ、該スナップショットの前記２次元特徴点の第１のセットを選択させる、
   請求項７に記載のシステム。
9. 前記プログラムコードが、前記プロセッサによる実行に応答して、該プロセッサに、さらに、前記３次元モデルの前記２次元スナップショットを取得するために使用されるアルゴリズムに基づいて、前記２次元スナップショット上の前記２次元特徴点の前記第１のセットを、前記３次元モデルの前記３次元特徴点の前記第１のセットに変換するために逆の動作を実行させる、
   請求項８に記載のシステム。
10. 前記患者の前記画像情報が、該患者の２次元画像情報および該患者に関連する深度情報を含む、
    請求項７に記載のシステム。
11. 前記２次元特徴点の第２のセットが、前記患者の前記２次元画像情報において選択される、
    請求項１０に記載のシステム。
12. 前記２次元特徴点の第２のセットを前記３次元特徴点の第２のセットに変換することが、前記深度情報に基づく、
    請求項１１に記載のシステム。