JP2024522003A - 深度カメラによる患者特有器具類の適切な位置決めの自動判定 - Google Patents

Abstract

手術計画（３２）によって規定された標的骨エリア（２００）に対する器具類の相対的位置決め（４２）に従って、上記標的骨エリアに対する上記器具類の適切な位置決めを決定するためのコンピュータデバイス（３３）であって、上記デバイスが、－３Ｄカメラ（３１）から、少なくとも上記標的骨エリアを含む撮影シーン（３１０）の深度マップ（４１）を受信するためのインターフェースと、－計算手段であって、上記深度マップから上記標的骨エリアの位置要素を決定し、上記相対的位置決め（４２）に従って上記標的骨エリアの第２の位置決めされた形状（４４２）を決定し、上記第２の位置決めされた形状（４４２）及び上記位置要素に基づいて上記適切な位置決めを表すデータ（４３）を決定するための、計算手段と、－上記データを提供するためのヒューマン－マシンインターフェースと、を備える、コンピュータデバイス（３３）。

Description

本発明は、特にコンピュータ支援外科的処置中の、患者手術器具類（ｐａｔｉｅｎｔ ｓｕｒｇｅｒｙ ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ、ＰＳＩ）のような器具類の位置決めの自動監視の技術分野に関する。

コンピュータ支援手術、特にコンピュータ支援整形外科手術（ｃｏｍｐｕｔｅｒ－ａｓｓｉｓｔｅｄ ｏｒｔｈｏｐａｅｄｉｃ ｓｕｒｇｅｒｙ、ＣＡＯＳ）は、外科的処置の結果を向上するために、手術前、手術中、及び／又は、手術後にコンピュータ技術が適用される分野である。

特に、このような技術は、適切なコンポーネントサイズの決定を含む、コンポーネント配置の事前計画、コンポーネントの術中配置のリアルタイム測定による計画遵守の確認を可能にする。

外科医のジェスチャをガイドするコンピュータ支援技術に関して、いくつかの提案が公開されている。これらの提案は、手術器具上、及び／又は、骨構造上に配置されたいくつかのマーカをリアルタイムで位置特定するように、光学カメラを内蔵したコンピュータ化ステーションに依存する。システムは、相対位置及び向きを比較することによって、計画に関する外科医のジェスチャの精度について外科医に動的に知らせることができ、外科医がいかなる逸脱も修正できるようにする。

このような技術は、股関節、膝関節、肩関節の関節形成術、又は骨切り術等の多様な外科的処置に適用することができる。

しかしながら、このような提案を導入し、特に、処置の前にマーカを正確に配置する費用及び負担及び追加時間は、これらの技術の一般使用を危うくする。実際に、これらのマーカを適当な配置に位置決めして固定することは、外科的処置の時間を長引かせ、包括的費用も増加させ得る何らかの余分な段階を必要とする。

より最近の技術では、外科医のジェスチャをガイドするように骨構造上に配置されるガイド器具類を利用する。

特に、患者特有器具類（ＰＳＩ）を使用して、患者の骨構造の特定の形態によりよく適合し、器具類によって提供されるガイドの精度を向上させることが提案されている。

Ａｓｔ ＭＰ，Ｎａｍ Ｄ，Ｈａａｓ ＳＢ．”Ｐａｔｉｅｎｔ－ｓｐｅｃｉｆｉｃ ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ｆｏｒ ｔｏｔａｌ ｋｎｅｅ ａｒｔｈｒｏｐｌａｓｔｙ：ａ ｒｅｖｉｅｗ”，Ｏｒｔｈｏｐ Ｃｌｉｎ Ｎｏｒｔｈ Ａｍ ２０１２；
４３： ｅ１７－２２．１０．１０１６／ｊ．ｏｃｌ．２０１２．０７．００４のような論文では、ＰＳＩ技術のレビューを提供しており、外科的処置、特にプロテーゼを更に配置するための切断中の外科医のジェスチャの精度の重要性を実証している。

これらのＰＳＩは、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＣＴスキャン）又は磁気共鳴撮像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、ＭＲＩ）のいずれかを用いて、患者の実装シーンの術前三次元デジタル画像から、ＰＳＩの形状を事前に計画することによって、骨表面上に正確に適合されるように、ま
た、後続の処置、例えば、プロテーゼを埋め込むための骨構造の切断において、外科医のジェスチャをガイドするように、設計される。

このような技術は、プロテーゼ又は他の構成要素を最適な位置に配置する際の良好な精度及び性能を可能にし、「従来の」マーキングベースのガイドよりもコストが低い。

しかしながら、いくつかの実用上の課題が依然としてＰＳＩベースの技術の広範な使用を制限している。実際、上述したように、ＰＳＩは、埋め込み部位の画像に基づいて設計される。そして、例えば、ＣＴによって提供される画像の場合、必要な情報の全てを視覚化することができず、このような画像は、関節エリアをカバーする骨棘及び軟骨を正しく示すことができない。

結果として、ＰＳＩの設計では、これらの骨棘及び軟骨を考慮することができず、このことは、ＰＳＩを現場で埋め込むとき、次いで、誤って配置されたＰＳＩにガイドされるように外科医によって必要なジェスチャを操作するとき、何らかの不正確さを内包し得る。

したがって、外科医は、ＰＳＩが埋め込まれるべきエリアの軟骨を除去するが、それでも、結果として得られるこの埋め込みの精度は、外科医の器用さ及び技能に直接起因してしまう。いくつかの研究では、多くの場合、ＰＳＩがうまく（すなわち、計画に従って）配置されなかったことを実証しており、このことは、当てにならない術後結果をもたらす。

このような研究の例として、Ｋｕｎｚ Ｍ，Ｂａｌａｋｅｔｈｅｅｓｗａｒａｎ Ｓ，Ｅｌｌｉｓ ＲＥ，Ｒｕｄａｎ ＪＦ．”Ｔｈｅ ｉｎｆｌｕｅｎｃｅ ｏｆ ｏｓｔｅｏｐｈｙｔｅ ｄｅｐｉｃｔｉｏｎ ｉｎ ＣＴ ｆｏｒ ｐａｔｉｅｎｔ ｓｐｅｃｉｆｉｃ ｇｕｉｄｅｄ ｈｉｐ ｒｅｓｕｒｆａｃｉｎｇ ｐｒｏｃｅｄｕｒｅｓ”，ｉｎ Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ａｓｓｉｓｔ．Ｒａｄｉｏｌ．Ｓｕｒｇ，１０（６），ｐｐ．７１７－７２６，２０１５、又はＷｕ，Ｘ．Ｄ．，Ｘｉａｎｇ，Ｂ．Ｙ．，Ｓｃｈｏｔａｎｕｓ，Ｍ．Ｇ．，Ｌｉｕ，Ｚ．Ｈ．，Ｃｈｅｎ，Ｙ．，及びＨｕａｎｇ，Ｗ．（２０１７）．”ＣＴ－ｖｅｒｓｕｓ ＭＲＩ－ｂａｓｅｄ ｐａｔｉｅｎｔ－ｓｐｅｃｉｆｉｃ ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ｆｏｒ ｔｏｔａｌ ｋｎｅｅ ａｒｔｈｒｏｐｌａｓｔｙ： ａ ｓｙｓｔｅｍａｔｉｃ ｒｅｖｉｅｗ ａｎｄ ｍｅｔａ－ａｎａｌｙｓｉｓ”ｉｎ ｔｈｅ ｓｕｒｇｅｏｎ，１５（６），３３６－３４８がある。

ＭＲＩによって提供される画像では、軟骨及び骨棘をより良好に示すことを可能にし、ＰＳＩのより良好な設計を可能にする。しかしながら、ＭＲＩは、スキャナと比較して依然として費用のかかる選択肢であり、臨床ルーチンにおいて常に容易に手が届くものであるとは限らず、このことがＰＳＩベースの技術の展開を依然として妨げている。

更に、例えば、ＷＯＯＬＳＯＮ，Ｓｔｅｖｅｎ Ｔ．，ＨＡＲＲＩＳ，Ａｌｅｘ ＨＳ，ＷＡＧＮＥＲ，Ｄａｖｉｄ Ｗ．，らによるＣｏｍｐｏｎｅｎｔ Ａｌｉｇｎｍｅｎｔ
Ｄｕｒｉｎｇ Ｔｏｔａｌ Ｋｎｅｅ Ａｒｔｈｒｏｐｌａｓｔｙ ｗｉｔｈ Ｕｓｅ
ｏｆ Ｓｔａｎｄａｒｄ ｏｒ Ｃｕｓｔｏｍ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎで報告されている。Ｊ Ｂｏｎｅ Ｊｏｉｎｔ Ｓｕｒｇ Ａｍ，２０１４，ｖｏｌ．９６，ｎｏ５，ｐ．３６６－３７２では、結果を改善するように、処置中にＰＳＩの位置及び／又は向きの調整が必要な場合があることが述べられている。

しかしながら、これまで、外科的処置中に、所定の計画に従ってＰＳＩの術中位置及び向きをチェックするための解決策は提案されていない。

本発明の目的は、外科的処置のためにＰＳＩを使用する際に外科医を支援するための現在の提案を改善することを含む。

特に、本発明の実施形態は、特に骨に取り付けられる追加のマーカを必要とする従来のナビゲーションシステムとは対照的に、コスト及び準備時間を最小限に抑えながら、所定の計画に従ってＰＳＩを埋め込む際に（位置及び向きの両方において）良好な精度を提供することを可能にする。

第１の例示的な実施形態では、手術計画によって規定された標的骨エリアに対する器具類の相対的位置決めに従って、上記標的骨エリアに対する上記器具類の適切な位置決めを決定するためのコンピュータデバイスであって、上記デバイスが、
－３Ｄカメラから、少なくとも上記標的骨エリア及び上記器具類を含む撮影シーンの深度マップを受信するためのインターフェースと、
－計算手段であって、上記深度マップから、上記標的骨エリアの第１の位置決めされた形状を含み得る、上記標的骨エリアの位置要素を決定し、上記深度マップから上記器具類の位置決めされた形状を決定し、上記位置決めされた形状及び上記相対的位置決めに従って上記標的骨エリアの第２の位置決めされた形状を決定し、上記第２の位置決めされた形状及び上記第１の位置決めされた形状に基づいて上記適切な位置決めを表すデータ決定するための、計算手段と、
－上記データを提供するためのヒューマン－マシンインターフェースと、を備える、コンピュータデバイスを提供する。

この実施形態は、以下のような他の特徴を単独又は組み合わせで含み得る。
－上記データが、上記第１の位置決めされた形状と第２の位置決めされた形状との間の誤差ベクトルを反映する剛性変換データを含む。
－コンピュータが、上記第２の位置決めされた形状及び上記第１の位置決めされた形状からの距離マップを含むデータを提供するように更に構成されている。
－コンピュータデバイスが、点対特徴アルゴリズムに従って、上記器具類の上記位置決めされた形状のうちの少なくとも１つを決定するように更に適合されている。
－計算手段が、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、少なくとも１つのメモリ及びコンピュータプログラムコードが、少なくとも１つのプロセッサとともに、コンピュータデバイスを実行させるように構成されている。
－器具類は、患者手術器具類（ＰＳＩ）である。

本発明の第２の例示的な実施形態は、先に定義されたコンピュータデバイスと、３Ｄカメラとを備える、システムに関する。

本発明の他の例示的な実施形態は、手術計画によって規定された標的骨エリアに対する器具類の相対的位置決めに従って、上記標的骨エリアに対する上記器具類の適切な位置決めを決定するための方法であって、上記方法が、
－３Ｄカメラによって、少なくとも上記標的骨エリア及び上記器具類を含む撮影シーンの深度マップを撮影することと、
－上記深度マップから、上記標的骨エリアの第１の位置決めされた形状を含み得る、標的骨エリアの位置要素を決定することと、
－上記深度マップから、上記器具類の位置決めされた形状を決定することと、
－上記位置決めされた形状及び上記相対的位置決めに従って、上記標的骨エリアの第２の位置決めされた形状を決定することと、
－上記第２の位置決めされた形状及び上記第１の位置決めされた形状に基づいて、上記適切な位置決めを表すデータを決定することと、を含む、方法に関する。

この実施形態は、以下のような他の特徴を単独又は組み合わせで含み得る。
－上記データが、上記第１の位置決めされた形状と第２の位置決めされた形状との間の誤差ベクトルを反映する剛性変換データを含む。
－上記データが、上記第２の位置決めされた形状及び上記第１の位置決めされた形状からの距離マップを含む。
－上記器具類は、患者手術器具類（ＰＳＩ）である。

本発明の他の例示的な実施形態は、以上に規定された方法を実行するための命令の機械実行可能プログラムを符号化する、コンピュータ可読媒体に関する。

適切な位置決めの決定により、単に、ＰＳＩが適切に位置決めされているか否かをチェックすることを可能にし得る。

ここで、いくつかの実施形態が、単なる例として、添付の図面を参照して説明される。
本発明の実施形態が使用され得る可能な状況を概略的に示す。 カメラの位置が異なる本発明の２つの可能な実施形態を示す。 カメラの位置が異なる本発明の２つの可能な実施形態を示す。 本発明の実施形態に係る方法のフローチャートを示す。

図１を参照すると、外科医１０は、患者２０に対して外科的処置を行うためにコンピュータ化システム３０を使用する。

この実施形態によれば、コンピュータ化システム３０は、コンピュータ（又は同様の機能を有する任意の同様のデバイス）３３、３Ｄカメラ３１、及びデータベース又はメモリ３２を備える。

データベース又はメモリ３２は、外科的処置の計画を記憶するように適合される。

メモリは、コンピュータ３３に対してローカル又はリモートであり得る。

これらは、例えばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ若しくはセルラー無線ネットワーク、又は有線イーサネットリンクのような、当技術分野で利用可能な任意の通信手段によってリンクされ得る。３Ｄカメラ３１とコンピュータ３０との間の通信手段についても同様であり得る。

計画では、実行される外科的処置について、特に、骨標的エリアに埋め込まれる器具類について、様々な要素を規定又は指定し得る。

特に、計画では、標的骨エリアに対する器具類の形状及び位置決めを規定し得る。この計画では、標的骨の構造の形態を考慮に入れる。

このような計画は、外科的処置自体の前に、スキャナ又はＭＲＩ又は任意の他の技術によって関心対象の解剖学的領域の画像を撮影することによって規定されてもよく、外科医又は任意の他の専門家は、プロテーゼを更に正しく配置するために、その医療及び外科的技能により、この画像の上にＰＳＩの適切な位置を決定することができる。

計画された位置は、器具の形状、すなわち特徴点の組の位置が含まれて、器具類が配置される骨構造（すなわち、骨標的エリア）に対して、器具類の場所及び向きの両方が決定されるようにする。

器具類は、患者特有器具類（ＰＳＩ）、又は標準的器具類（すなわち、所与の患者に特有ではない）であり得る。

ＰＳＩは、最近、整形外科手術において導入されており、インプラントを更に配置するために、主に骨の切断を行うために使用される。これらの器具は、コンピュータ断層撮影（ＣＴ）又は磁気共鳴撮像（ＭＲＩ）から観察される患者の解剖学的構造に従って、及び手術計画を用いて設計される。ＰＳＩは、患者の骨の構造形態に適合された、ＰＳＩのカスタマイズされた形状を位置合わせすることによって、外科的処置中に配置される。

計画段階中に規定された位置（場所及び向き）は、メモリ３２に記憶することができ、その位置が、必要なとき、例えば、処置段階中及び／又は処置段階後に、コンピュータデバイス３３に送信４２できるようにする。

３Ｄ（三次元）カメラ３１は、標的骨エリア、すなわち器具類が配置されるべき場所の少なくとも一部を含む撮影シーンの深度マップを提供するように適合される。いくつかの実施形態によれば（特に、患者２０に対するカメラの位置に応じて）、撮影シーンは、より広くてもよく、器具類の一部又は全体を含む。撮影シーンが、計画された相対位置４２と後に比較できるように、骨構造に対する器具類の相対的位置決めを測定するのに十分な情報を含むことのみが重要である。

様々なモデルの３Ｄカメラを提供することができる。特に、３Ｄカメラとしては、以下を参照し得る。
－レンジカメラ：特定の点からシーン内の点までの距離を示す深度マップを生成するデバイス。
－ステレオカメラ：２つ以上のレンズを有し、各レンズに対して別個の画像センサ又はフィルムフレームを有するタイプのカメラであり、カメラが人間の両眼視をシミュレートすることで三次元画像の撮影を可能にするカメラ。

レンジカメラの例として、以下が挙げられる。
－投光カメラ：Ｋｉｎｅｃｔ，Ａｓｕｓ Ｘｔｉｏｎ Ｐｒｏ Ｌｉｖｅ，Ｅｎｓｅｎｓｏ等
－変調光飛行時間：ＳＲ４０００（Ｓｗｉｓｓ Ｒａｎｇｅｒ）
－パルス光飛行時間：Ｔｉｇｅｒ Ｅｙｅ（Ａｄｖａｎｃｅｄ Ｓｃｉｅｎｔｉｆｉｃ
Ｃｏｎｃｅｐｔｓ，Ｉｎｃ．）
－パルス光回転スキャナ：Ｖｅｌｏｄｙｎｅ。

実施形態によれば、３Ｄカメラは、ＲＧＢＤカメラである。ＲＧＢＤカメラは、赤、緑、青（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、ＲＧＢ）フレームフローを撮影するビデオカメラの機能を、上記で例示したレンジカメラのような３Ｄセンサの機能と組み合わせたものである。２つの信号は、ＲＧＢ－Ｄフレームフロー（「Ｄ」は「深度」を意味する）を形成するように組み合わせられる。

以下、「３Ｄカメラ」という用語は、少なくとも撮影シーンの深度マップと、単なる任意選択として、撮影シーンの点についてのＲＧＢベクトルと、を提供するように適合されたデバイスを反映している。

本発明者らによって行われた実験では、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ Ｋｉｎｅｃｔ及びＯｃｃｉｐｉｔａｌ Ｓｔｒｕｃｔｕｒｅ Ｃｏｒｅ深度センサのような３Ｄカメラが、試験された他のデバイスよりも性能が優れており、好ましい実装手段であることを示している。特に、この種のカメラは、画像特徴、ひいては姿勢推定アルゴリズムの性能を著しく劣化させる可能性のある照明条件に対してあまり敏感ではない。

このようなデバイスは、比較的低コストであり、任意の手術室オペレータにとって手頃であることに留意されたい。

深度マップは、深度値、すなわち、撮影対象とセンサとの間の距離を各画素に関連付ける。

実施形態によれば、ＲＧＢＤカメラを使用することができる。このような実施形態では、結果として生じるデータ構造は、各ピクセルが色値及び深度に関連付けられる、画素のアレイであり得る。色値は、ＲＧＢ（赤、緑、青）比色モデル（例えば、ＲＧＢ－Ｄカメラの場合）に基づいてもよい。

撮影された深度マップ４１は、コンピュータデバイス３３に送信することができる。この計算されたデバイス３３は、３Ｄカメラ３１からこの深度マップを受信するための適切なインターフェースを備える。

コンピュータ３３は、標準的なコンピュータ（デスクトップ、ラップトップ）であってもよく、データを処理することが可能な任意の他のデバイス（タブレット、スマートフォン）であってもよく、（視覚化機能を保証する）ローカルデバイスと処理機能を扱うリモートプラットフォームとの協働であってもよい。

コンピュータ（又はそのローカルデバイス）は、器具類の適切な位置決め、すなわち、その実際の位置と計画された位置との正確なマッピングを表すデータを外科医に表示するためのヒューマン－マシンインターフェースを更に備える。

このマン－マシンインターフェースは、３Ｄカメラによる撮影画像のような様々なデータと、器具類の適切な位置決めを表すデータを含む、手術を行う外科医をガイドするために本発明の方法によって決定された他の情報と、を表示するように、視覚化手段を備え得る。

以下のような他のタイプのヒューマン－マシンインターフェースも提供することができる。
－器具類の位置の正確さについて外科医にリアルタイムで知らせるために（及び位置が悪いときに警告を出すために）音を生成すること、
－外科医が手術の直視を強化するコンピュータ生成データを視覚化できるようにする複合現実デバイス、
等。

外科医に提供されるデータ４３は、リアルタイムであってもよく、すなわち、３Ｄカメラのビデオフローは、器具類の適切な位置決めを表すデータをリフレッシュするように連続的に処理される。

外科医に提供されるデータはまた、例えば、外科医の要求に応じて、又は手術の終了時にのみであってもよい。

上述したように、３Ｄカメラは、異なる位置（場所及び向きの両方）に配置することができる。

図２ａの側面図に示される第１の実施形態によれば、カメラ３１は、骨標的エリア２００及び器具類２１０を包含するシーン３１０を撮影するように位置決めされる。点線の形状２１１は、器具類の計画された位置を表す。

図２ｂに示される第２の実施形態によれば、カメラ３１は、器具類自体に固定される。カメラ３１は、骨標的エリア２００を含むシーン３１０を撮影する。いくつかの状況では、撮影シーンは、カメラの場所及び向きに応じて、器具類のいずれの要素も含まず、標的骨エリア（及び背景エリア）のみを含み得る。

図２ａと同様に、点線の形状２１１は、器具類の計画された位置を表す。

本発明の実施形態に係る方法が図３に示されている。当業者であれば、特に様々なステップの順番及び並行／順序どおりの性質において、このフローチャートからいくつかの逸脱がなされ得ることを理解するであろう。また、これらのステップは、単に機能的なものと考えられてもよく、単に明確にするために別個のボックスとして提供されてもよく、プログラミング言語における実際の実装に対応していなくてもよい。

また、このフローチャートは、外科医に提供されるデータを連続的にリフレッシュすることを可能にする、ループ手順の１回の反復のみを表し得る。

したがって、第１のステップＳ１は、撮影シーン３１０の深度マップ４１の撮影であり得る。

前述したように、撮影シーンは、少なくとも標的骨エリアを含む。撮影シーンはまた、器具類を含み得る。深度マップは、深度情報を撮影シーンの表面ビューの各点に関連付ける。

そして、カメラが器具類に固定されていない場合、ステップＳ２を設けて、深度マップ４１からこの器具類の位置決めされた形状４４０を決定することができる。

本発明の実施形態によれば、器具類の位置決めされた形状４４０の決定は、３Ｄカメラによって提供される深度マップのみに基づくことができる。

他の実施形態によれば、ＲＧＢＤカメラによって提供されるＲＧＢデータは、例えば、器具上に配置されたマーカ（例えば、ＡＲＵＣＯマーカ又は当技術分野で利用可能な任意の他のマーカ）を検出するために使用することができる。色情報は、このようなマーカの正確な検出のために必要とされ得る。

器具上に配置されたマーカは、撮影画像内の器具の位置の検出を改善する助けとなり得る。特に、このようなマーカは、ＰＳＩの構築中に配置できることで、ＰＳＩに対するマーカの相対的な場所が固定され、正確に知られ、あらゆる手作業による誤配置の余地をなくす。

しかしながら、本発明によれば、追加の術中時間及びそれが暗示する複雑さのために、骨上にマーカを配置することが回避される。

言い換えれば、決定では、３Ｄカメラに関連付けられた（又はその一部である）ビデオカメラによって提供されるＲＧＢデータを利用することができない。

画像検出アルゴリズムが、手術室の特定の照明条件に敏感であり、性能が低いことも実験によって示されている。よく議論されるように、レンジカメラ技術は、これらの照明条件に対してはるかに感度が低く、照明条件に関らず、より良好な性能を示す。

更に、命令の位置決めされた形状４４０を決定し、以下に見られるように、この位置決めされた形状４４０に従って標的骨エリアの第２の位置決めされた形状４４２を決定するこのステップは、深度マップからの標的骨エリアの直接的な決定と比較して有利である。

実際、身体切開が小さい特定の状況では、標的骨エリアの当該部分は、その正しい決定を可能にするほど十分に大きくない場合がある。したがって、深度マップにおいて検出された標的骨エリアの部分に標的エリアのデジタルモデルをマッピングすることに基づく技術は、失敗する場合があるか、又は精度が十分でない場合がある。

本発明によれば、代わりに、第１の決定は、３Ｄ画像フローにおいて大抵よりよく視認される器具類に基づくことで、より良好な追跡及びマッチングを可能にする。次に、標的骨エリアに対する器具類（例えば、ＰＳＩ）と相対位置を知ることにより、３Ｄ画像フロー内で視認される標的エリアに関らず、標的骨エリアの精密な位置を推測することができる。

器具類の位置決めされた形状を決定することは、６自由度（６ ｄｅｇｒｅｅｓ ｏｆ
ｆｒｅｅｄｏｍ、６ＤｏＦ）ベクトルを決定すること（器具類の形状は既知である）に対応する。６自由度（６－ＤｏＦ）とは、三次元（３Ｄ）空間における剛体の運動の自由度を指す。したがって、６－ＤｏＦ姿勢推定は、カメラの主座標系に従ってこの剛体の３Ｄ並進及び３Ｄ回転の両方を評価することにある。

姿勢を推定することは、コンピュータビジョンにおいては依然として困難な課題であり、多数の手法が提案されているため、このステップＳ２を実施するのに使用することができる。

Ｈｏｄａｎ，Ｆ．Ｍｉｃｈｅｌ，Ｅ．Ｂｒａｃｈｍａｎｎ，Ｗ．Ｋｅｈｌ，Ａ．Ｇ．Ｂｕｃｈ，Ｄ．Ｋｒａｆｔ，Ｂ．Ｄｒｏｓｔ，Ｊ．Ｖｉｄａｌ，Ｓ．Ｉｈｒｋｅ，Ｘ．Ｚａｂｕｌｉｓ，Ｃ．Ｓａｈｉｎ、Ｆ．Ｍａｎｈａｒｄｔ、Ｆ．Ｔｏｍｂａｒｉ、Ｔ．Ｋｉｍ、Ｊ．Ｍａｔａｓ，Ｃ．Ｒｏｔｈｅｒ，”ＢＯＰ：Ｂｅｎｃｈｍａｒｋ ｆｏｒ ６Ｄ Ｏｂｊｅｃｔ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ，”ＥＣＣＶ２０１８，２０１８及びＴ．Ｈｏｄａｎ，Ｍ．Ｓｕｎｄｅｒｍｅｙｅｒ，Ｂ．Ｄｒｏｓｔ，Ｙ．Ｌａｂｂｅ，Ｅ．Ｂｒａｃｈｍａｎｎ，Ｆ．Ｍｉｃｈｅｌ，Ｃ．Ｒｏｔｈｅｒ，Ｊ．Ｍａｔａｓ，”ＢＯＰ Ｃｈａｌｌｅｎｇｅ ２０２０ ｏｎ ６Ｄ Ｏｂｊｅｃｔ Ｌｏｃａｌｉｚａｔｉｏｎ，”．ＥＣＣＶ２０２０、２０２０では、ＲＧＢ画像又は／及び深度マップのいずれかから姿勢推定を実行するために、いくつかの最先端の方法が評価及び比較されている。これらの徹底的な研究から、２０１０年にＤｒｏｓｔによって最初に導入され、２０１５年にＢｉｒｄａｌによって、２０１６年にＨｉｎｔｅｒｓｔｏｉｓｓｅｒによって、また２０１８年にＶｉｄａｌによって立て続けに改善された点対特徴（ＰＰＦ）ベースのアルゴリズムが、機械学習ベースのものを含む全てのモデルベースの手法の中で最も成功した姿勢推定アルゴリズムの１つであったことが示されている。

ＰＰＦアルゴリズムへの参照は、以下に見出すことができる。
－Ｂ．Ｄｒｏｓｔ，Ｍ．Ｕｌｒｉｃｈ，Ｎ．Ｎａｖａｂ，及びＳ．Ｉｌｉｃ，”Ｍｏｄ
ｅｌ Ｇｌｏｂａｌｌｙ，Ｍａｔｃｈ Ｌｏｃａｌｌｙ：Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ｒｏｂｕｓｔ ３Ｄ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ，”ＩＥＥＥ Ｃｏｎｆ．Ｃｏｍｐｕｔ．Ｖｉｓ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔ．Ｗｏｒｋ．，２０１０．
－Ｔ．Ｂｉｒｄａｌ及びＳ．Ｉｌｉｃ，”Ｐｏｉｎｔ Ｐａｉｒ Ｆｅａｔｕｒｅｓ Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｖｉｓｉｔｅｄ，”Ｐｒｏｃ．－２０１５ Ｉｎｔ．Ｃｏｎｆ．３Ｄ Ｖｉｓｉｏｎ，３ＤＶ ２０１５，ｐｐ．５２７－５３５，２０１５．
－Ｓ．Ｈｉｎｔｅｒｓｔｏｉｓｓｅｒ，Ｖ．Ｌｅｐｅｔｉｔ，Ｎ．Ｒａｊｋｕｍａｒ，及びＫ．Ｋｏｎｏｌｉｇｅ，”Ｇｏｉｎｇ Ｆｕｒｔｈｅｒ ｗｉｔｈ Ｐｏｉｎｔ Ｐａｉｒ Ｆｅａｔｕｒｅｓ，”ＥＣＣＶ ２０１７，２０１７．
－Ｊ．Ｖｉｄａｌ，Ｃ．Ｌｉｎ，及びＲ．Ｍａｒｔｉ，”６Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ａｎ Ｉｍｐｒｏｖｅｄ Ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ Ｐｏｉｎｔ Ｐａｉｒ Ｆｅａｔｕｒｅｓ，”Ｉｎｔ．Ｃｏｎｆ．Ｃｏｎｔｒｏｌ．Ａｕｔｏｍ．Ｒｏｂｏｔ．， ２０１８．

実施形態によれば、深度モデルから器具類の位置決めされた形状４４０を決定するステップＳ２は、ＰＰＦアルゴリズムに基づく。

以上に見てきたとおり、ＲＧＢ情報はまた、利用可能であれば、特に、Ａｒｕｃｏマーカ又は当技術分野で利用可能な他のマーカのようなマーカを検出するために活用され得る。

ＰＰＦの主な概念は、ローカル記述子とグローバル記述子の両方の利点を活用することであり、ＰＰＦは、２つのフェーズ、すなわち、（１）関心対象の先験的グローバルモデリングを可能にするオフラインフェーズ、及び（２）深度シーンにおけるこの対象の姿勢推定を可能にするオンラインマッチングフェーズに依拠する。

オフラインステップの間、関心対象の特徴は、我々の場合は器具類であるが、まず、対象（ｍ１；ｍ２）を記述する点群の点の全ての対について以下の四次元ベクトルＦを計算することによって解析される。

ここで、

は両方の点ｍ１とｍ２との間のベクトルであり、

は、これらの各点の法線ベクトルであり、

は、ベクトルａとｂとの間の角度を示す。

次に、全てのモデル対を格納するハッシュテーブルが、上記論文においてＤｒｏｓｔによって規定された離散化ＰＰＦをインデックスとして使用して構築される。オンラインフェーズの間、関心対象の姿勢は、シーンの点群に関するハッシュテーブルとの最良の一致を見出すことによって推定される。この最良の一致を見出すために、一般化ハフ変換と同様の投票方式が使用される。これを行うために、同一の４ＤベクトルＦがシーンから直接計算される。

類似の離散化ＰＰＦがモデルハッシュテーブルにおいて見出される場合、２Ｄアキュムレータ空間において票が投じられる。したがって、最良姿勢候補は、このアキュムレータ空間内の最高ピークに対応する。選択された姿勢は、最終的に、１つのクラスタ内の全ての姿勢が、並進及び回転の両方について所与の閾値を超えて異ならないようにクラスタ化される。各クラスタは、最終的に、このクラスタに含まれる各個々の姿勢の票の合計に対応するスコアに関連付けられ、最良の姿勢は、最高スコアを有するクラスタである。

本発明の実施形態によれば、上述の論文においてＶｉｄａｌらによって提案されたＰＰＦアルゴリズムの改良版を使用して、深度マップから器具類の位置決めされた形状を決定することができる。

元のＰＰＦアルゴリズムと比較して、ノイズ問題を軽減し、より良好な認識性能を得るために、通常のクラスタリング及び近傍対フィルタリングを伴う新規のサブサンプリングステップの使用、より高速なｋ－ｄ木近傍探索、量子化のためのより効率的な解決策、及び最後に、最終仮説を再スコアリングし、精緻化し、フィルタリングするためのいくつかの追加の後処理ステップなど、いくつかの改善が加えられている。

関連の姿勢推定を得るために、５つのアルゴリズムのパラメータが調整されなければならない。
（１）サンプリング距離ステップｄ_ｄｉｓｔ、
（２）離散化ＰＰＦを計算するために使用されるサンプリング角度ステップｄａｎｇｌｅ、
（３）マッチング中に対応を見出すために使用されるシーンからの基準点の数、
（４）クラスタリング距離閾値、及び
（５）姿勢クラスタリングに使用されるクラスタリング角度閾値。

これらのパラメータのうちの４つ（すなわち、サンプリング角度ステップｄａｎｇｌｅ、基準点の数、クラスタリング距離閾値、及びクラスタリング角度閾値）を調整するためのいくつかの推奨が文献において与えられているが、サンプリング距離ｄ_ｄｉｓｔは、対象及び深度センサの両方の特性に依存する。文献によれば、サンプリング角度ステップｄａｎｇｌｅ及びクラスタリング角度閾値は１２°に設定されなければならず、基準点の数は５であり、対象直径の１０％に対応しなければならないクラスタリング距離閾値は、我々の場合では０．０１２ｍに固定されている。

サンプリング距離ｄ_ｄｉｓｔの最適化された値を見出すには、深度フィッティング誤差（Ｄｅｐｔｈ Ｆｉｔｔｉｎｇ Ｅｒｒｏｒ、ＤＦＥ）と呼ばれ、ＰＰＦを使用した登録機器類メッシュとこの対象に関連付けられた３Ｄカメラによって提供される点群からの点との間のユークリッド距離として規定される、特定のスコアを使用して、アルゴリズムのフィッティング性能を評価することができる。異なる姿勢下で１５０のシーンが、取得されている。次に、最小平均ＤＦＥを提供するｄ_ｄｉｓｔ値を選択することができる。

本発明の他の実施形態によれば、深度モデルから器具類の位置決めされた形状４４０を決定するステップＳ２は、ＩＣＰアルゴリズムに基づき得る。

反復最近傍点（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ、ＩＣＰ）アルゴリズムは、２つの点群間の差を最小化するために採用されるアルゴリズムである。これは、Ｃｈｅｎ，Ｙａｎｇ； Ｇｅｒａｒｄ Ｍｅｄｉｏｎｉ （１９９１）．”Ｏｂｊｅｃｔ
ｍｏｄｅｌｌｉｎｇ ｂｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ”．Ｉｍａｇｅ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔ．１０（３）：１４５－１５５．ｄｏｉ：１０．１０１６／０２６２－８８５６（９２）９００６６－Ｃ、及びＢｅｓｌ，Ｐａｕｌ Ｊ．； Ｎ．Ｄ．ＭｃＫａｙ（１９９２）．”Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ３－Ｄ Ｓｈａｐｅｓ”．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ．１４（２）：２３９－２５６．ｄｏｉ：１０．１１０９／３４．１２１７９１において最初に提案されている。

ステップＳ３は、同一の深度マップから標的骨エリアの位置要素を決定することにある。

実施形態によれば、この位置要素は、深度マップからのこの標的骨エリアの第１の位置決めされた形状４４１を含み得る。

このためには、例えば、ステップＳ２と同様のアルゴリズムを使用することができる。

他の実施形態によれば、骨に対する姿勢推定アルゴリズムの使用を回避して、より最小限の手法をとることができる。目標は、深度カメラを用いて、骨表面が理論的にＰＳＩに対して良好な位置に配置されていることをチェックすることであろう。

このためには、画像内における骨構造の位置を決定するように、画像セグメンテーションを実行することができる。

一例として、背景エリアから骨エリアをセグメント化するために、特に畳み込みニューラルネットワーク（ＣＮＮ）に基づく機械学習アルゴリズムを使用することができる。

このようなセグメンテーションアルゴリズムは、Ｈｅ Ｌｉｕ及びＦｅｒｄｉｎａｎｄｏ Ｒｏｄｒｉｇｕｅｚ Ｙ Ｂａｅｎａ．”Ａｕｔｏｍａｔｉｃ Ｂｏｎｅ Ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ Ｄｅｐｔｈ Ｉｍａｇｅｓ”ｉｎ Ｒｏｂｏｔｉｃ Ａｓｓｉｓｔｅｄ Ｋｎｅｅ Ｒｅｐｌａｃｅｍｅｎｔ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ
１２ｔｈ Ｈａｍｌｙｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｅｄｉｃａｌ Ｒｏｂｏｔｉｃｓ，２０１９，及び同様にＬｏｙ Ｒｏｄａｓ，Ｄｅｃｒｏｕｅｚ，Ｂｌｅｕｎｖｅｎ及びＣａｈｅｎ，”Ｉｎ－ｖｉｖｏ ｂｏｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ Ｔｏｔａｌ Ｋｎｅｅ Ａｒｔｈｒｏｐｌａｓｔｙ”ｉｎ ＥＰｉＣ Ｓｅｒｉｅｓ ｉｎ Ｈｅａｌｔｈ Ｓｃｉｅｎｃｅｓ，Ｖｏｌｕｍｅ ４，２０２０，又はＫａｉｍｉｎｇ Ｈｅ，Ｇｅｏｒｇｉａ Ｇｋｉｏｘａｒｉ，Ｐｉｏｔｒ Ｄｏｌｌａｒ，及びＲｏｓｓ Ｇｉｒｓｈｉｃｋ．Ｍａｓｋ Ｒ－ＣＮＮ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐａｇｅｓ ２９８０－２９８８，２０１７において提案されている。

マスクＲ－ＣＮＮは、対象検出及びセマンティックセグメンテーションモデルである。これは、領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）に基づく。Ｒ－Ｃ
ＮＮの本来の目標は、入力画像を取得し、境界ボックスの組を出力として生成することであり、各境界ボックスは、対象と、対象のカテゴリ（例えば、骨）とを含む。Ｒ－ＣＮＮ及びＭａｓｋ Ｒ－ＣＮＮは、例えば、関連のウィキペディアのページに更に説明されている。
ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｇｉｏｎ＿Ｂａｓｅｄ＿Ｃｏｎｖｏｌｕｔｉｏｎａｌ＿Ｎｅｕｒａｌ＿Ｎｅｔｗｏｒｋｓ

マスクＲ－ＣＮＮは、より高速なＲ－ＣＮＮを画素レベルの画像セグメンテーションに拡張する。キーポイントは、分類タスクと画素レベルマスク予測タスクとを分離することである。より高速なＲ－ＣＮＮのフレームワークに基づいて、分類及び位置特定のための既存の分岐と並行して、対象マスクを予測するための第３の分岐を追加した。マスクブランチは、各関心領域に適用される小さな全結合ネットワークであり、画素ごとにセグメンテーションマスクを予測する。

それは、入力画像内の所与のクエリ対象について、ピクセルレベルでセグメンテーションマスク及びクラス予測を生成するために、特徴ピラミッドネットワークバックボーンと、それに続く領域提案ネットワークとを組み合わせる。

可能な実装は、特徴抽出器バックボーンモデルとしてＲｅｓＮｅｔ－１０１アーキテクチャに依存することができる。

ネットワークは、Ｍｉｃｒｏｓｏｆｔによって提供され、３２８ｋのラベル付け画像から構成される「Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ」（ＣＯＣＯ）のようなオープンソースデータセットを使用することによって事前トレーニングすることができる。

次いで、出力層のみの重みを微調整するために、手術データセットを用いて追加のトレーニングを適用することができる。このような処置により、実際に構成することが（不可能ではないとしても）困難である大きな手術データセットに依存しないことを可能にする。この「転移学習」手順は、Ｌｏｙ Ｒｏｄａｓらの上述の論文に従って良好な性能結果を示している。

本発明者らは更に、深度マップ内の標的骨エリアの位置決めされた形状４４１を決定するためのこのようなアルゴリズムの良好な性能結果を経験している。

例えば、ニューラルネットワークを使用して、骨及び器具類も位置する提供された点群のエリアをセグメント化することができ、このセグメンテーションに基づいて、器具類／骨の姿勢を推定するために、器具及び任意選択で骨にＰＰＦを適用することができる。

おそらくよりロバストであるために、本発明の実施形態では、器具のみ（骨ではない）の姿勢推定のために、ＰＳＩ上に配置された（Ａｒｕｃｏマーカ又は当技術分野で利用可能な任意の他のマーカのような）マーカ及びＲＧＢデータを使用してもよい。しかしながら、この場合も、追加の術中時間及び複雑さが必要となる特定のマーカを有する必要があるため、マーカは骨上に配置されない。

このステップＳ３で決定された標的骨エリアの位置決め場所を「第１の」位置決め場所と呼ぶ。

並行して、ステップＳ４において、計画で示されるような標的骨エリアに対する器具類の相対的位置決め４２に従って、標的骨の「第２の」位置決め場所が決定される。

３Ｄカメラが上記器具類に固定されている場合、上記標的骨エリアの第２の位置決めされた形状４４２は、上記相対的位置決め４２から直接導出される。

実際に、器具類に対するカメラの位置（場所及び向き）は、例えば器具類の設計に応じて、所定のデータとすることができる。また、３Ｄカメラの較正パラメータは既知である。この情報は既知であるので、計画から、標的骨が通常存在すべき位置、すなわち第２の位置決めされた形状４４２を導出することは明解である。

カメラが器具類に固定されていない場合、撮影シーンの任意の要素に対するカメラの相対位置が未知であるため、先に示したように、何らかの追加の計算が実行されなければならない。

本発明の実施形態によれば、この更なる自由度は、先に説明したステップＳ２において、深度マップ内の器具類の位置決めされた形状４４０を決定することによって決定できる。そして、第２の位置決めされた形状４４２は、この位置決めされた形状４４０と、計画によって提供される相対的位置決め４２との両方から決定できる。

ステップＳ５において、コンピュータデバイスは、（ステップＳ３において算出された）標的骨エリアの第１の位置決めされた形状４４１と、（ステップＳ４において）計画された相対的位置決め４２から導出又は計算された同一の標的骨エリアの第２の位置決めされた形状４４２とに基づいて、器具類の適切な位置決めを表すデータを決定することができる。

換言すれば、器具類の適切な位置決めを表すデータは、標的骨エリアの計画された位置決めと測定された位置決めとの比較に基づく。

これらのデータは、計画に従った器具類の実際の配置の精度に関する何らかの指示を外科医に提供することを目的とする。

例えば、距離マップは、第２の位置決めされた形状と骨の構造の位置要素とから提供され得る。第１の位置決めされた形状がステップＳ３において決定されている場合、距離マップは、第１の位置決めされた形状４４１と第２の位置決めされた形状４４２との間のポイントツーポイント比較を含み得る。そうでなければ、距離マップは、第２の位置決めされた形状４４２及び深度カメラによって提供される点から直接（すなわち、骨の姿勢を推定することなく）計算され得る。

ＰＰＦアルゴリズムは、頂点の組（すなわち、３Ｄ点）を含む形状のモデルを提供するので、両方の形状を頂点ごとに比較することができる。次に、各頂点について距離を決定することができる。

この距離マップは、３Ｄカメラによって提供される画像へのオーバーレイとして距離マップを表示することによって、外科医に提供され得る。

例えば、いくつかの色を距離範囲に割り当てることで、色が割り当ての精度を表すようにすることができ、例えば、距離が第１の閾値を上回る場合、「オレンジ色」を割り当てることができ、距離がより高い閾値を上回る場合、「赤色」を割り当てることができ、距離が許容可能な閾値未満である場合、「緑」色を割り当てることができる。

そして、外科医は、示された色から、器具類が適切に配置されているか否かを直ちに理
解し得る。

実施形態において、第１の位置決めされた形状がステップＳ３において計算されているとき、コンピュータデバイスはまた、第１の位置決めされた形状と第２の位置決め形状位置決めされた形状との間の誤差ベクトルを反映する剛性変換データを決定し得る。このデータは、両方の形状間のこの剛性幾何変換を表す６Ｄベクトル（並進及び回転）であり得る。

この変換ベクトルは、器具類にその位置を補正することを示唆する動きのガイダンスとして、外科医に提供され得る。器具類が適切に位置決めされている場合（場所及び向きにおいて）、変換ベクトルはヌルベクトルとなるはずである。

本発明はまた、訓練者がモックアップ状況で練習し、訓練者のスキルに関するフィードバックを得ることができる訓練施設として展開することもできる。

器具類（特に、ＰＳＩ）のおかげで、外科医は、より高い精度で切断を実行できる立場にある。

当業者は、コンピュータデバイスが以下のような手段又は回路を備えることを容易に認識するであろう。
－少なくとも１つのプロセッサ、及び
－コンピュータプログラムコードを含む少なくとも１つのメモリであって、少なくとも１つのメモリ及びコンピュータプログラムコードが、少なくとも１つのプロセッサとともに、コンピュータデバイスを実行させるように構成されている、少なくとも１つのメモリ。

メモリは、例えば、デジタルメモリ、磁気ディスク及び磁気テープ等の磁気記憶媒体、ハードドライブ、又は光学的に読み取り可能なデジタルデータ記憶媒体であり得る。

コンピュータプログラムコードは、上述の実施形態に従って、コンピュータデバイスのプロセッサ上で作動されるとき、第１及び第２の位置決めされた形状４４１、４４２、器具類の位置決めされた形状４４０、適切な位置決めを表すデータ４３、並びに外科医へのヒューマン－マシンインターフェース及び他の追加機能を決定するように意図されている。

当業者に知られているように、プロセッサは、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ、ＯＳ）コードのような他の計算されたプログラムコード、及び他のモジュールを更に作動することができる。

説明及び図面は、本発明の原理を単に例示するものである。したがって、当業者は、本明細書で明示的に説明又は図示されていないが、本発明の原理を実施し、その趣旨及び範囲内に含まれる様々な構成を考案できることが理解されよう。更に、本明細書に記載される全ての例は、主に、読者が本発明の原理及び当技術分野を促進するために発明者（ら）によって寄与される概念を理解するのを助ける教育的な目的のみのためであることが明示的に意図されており、そのような具体的に記載される例及び条件に限定されないものとして解釈されるべきである。更に、本発明の原理、態様、及び実施形態、並びにそれらの具体例を記載する本明細書における全ての記述は、それらの均等物を包含することが意図される。

Claims (10)

1. 手術計画（３２）によって規定された標的骨エリア（２００）に対する器具類の相対的位置決め（４２）に従って、前記標的骨エリアに対する前記器具類の適切な位置決めを決定するためのコンピュータデバイス（３３）であって、前記デバイスが、
   －３Ｄカメラ（３１）から、少なくとも前記標的骨エリア及び前記器具類を含む撮影シーン（３１０）の深度マップ（４１）を受信するためのインターフェースと、
   －計算手段であって、前記深度マップから、前記標的骨エリアの第１の位置決めされた形状（４４１）を含む、前記標的骨エリアの位置要素を決定し、前記深度マップから前記器具類の位置決めされた形状（４４０）を決定し、前記位置決めされた形状（４４０）及び前記相対的位置決め（４２）に従って前記標的骨エリアの第２の位置決めされた形状（４４２）を決定し、前記第２の位置決めされた形状（４４２）及び前記第１の位置形状に基づいて前記適切な位置決めを表すデータ（４３）を決定するための、計算手段と、
   －前記データを提供するためのヒューマン－マシンインターフェースと、を備える、コンピュータデバイス（３３）。
2. 前記データが、前記第１の位置決めされた形状（４４１）と前記第２の位置決めされた形状（４４２）との間の誤差ベクトルを反映する剛性変換データを含む、請求項１に記載のコンピュータデバイス。
3. 前記第２の位置決めされた形状（４４２）及び前記第１の位置形状（４４１）からの距離マップを含むデータを提供するように更に構成されている、請求項１又は２に記載のコンピュータデバイス。
4. 点対特徴アルゴリズムに従って、前記器具類の前記位置決めされた形状（４４０）のうちの少なくとも１つを決定するように更に適合された、請求項１～３のいずれか一項に記載のコンピュータデバイス。
5. 前記計算手段が、
   －少なくとも１つのプロセッサと、
   －コンピュータプログラムコードを含む少なくとも１つのメモリであって、前記少なくとも１つのメモリ及びコンピュータプログラムコードが、前記少なくとも１つのプロセッサとともに、前記コンピュータデバイスを実行させるように構成されている、少なくとも１つのメモリと、を備える、請求項１～４のいずれか一項に記載のコンピュータデバイス。
6. 請求項５のいずれか一項に記載のコンピュータデバイス（３３）と、３Ｄカメラ（３１）と、を備える、システム。
7. 手術計画（３２）によって規定された標的骨エリア（２００）に対する器具類の相対的位置決め（４２）に従って、前記標的骨エリアに対する前記器具類の適切な位置決めを決定するための方法であって、前記方法が、
   －３Ｄカメラ（３１）によって、少なくとも前記標的骨エリア及び前記器具類を含む撮影シーン（３１０）の深度マップ（４１）を撮影すること（Ｓ１）と、
   －前記深度マップから、前記標的骨エリアの第１の位置決めされた形状（４４１）を含む、前記標的骨エリアの位置要素を決定すること（Ｓ３）と、
   －前記深度マップから、前記器具類の位置決めされた形状（４４０）を決定することと、
   －前記位置決めされた形状（４４０）及び前記相対的位置決め（４２）に従って、前記標的骨エリアの第２の位置決めされた形状（４４２）を決定すること（Ｓ４）と、
   －前記第２の位置決めされた形状（４４２）及び前記第１の位置決めされた形状に基づいて、前記適切な位置決めを表すデータを決定すること（Ｓ５）と、を含む、方法。
8. 前記データが、前記第１の位置決めされた形状（４４１）と前記第２の位置決めされた形状（４４２）との間の誤差ベクトルを反映する剛性変換データを含む、請求項７に記載の方法。
9. 前記データが、前記第２の位置決めされた形状（４４２）及び前記第１の位置決めされた形状（４４１）からの距離マップを含む、請求項７又は８に記載の方法。
10. 請求項７～９のいずれか一項に記載の方法を実行するための命令の機械実行可能プログラムを符号化する、コンピュータ可読媒体。

Images