JP2024521728A - ２ｄ ｘ線画像内の物体の準リアルタイムの連続的３ｄ位置合わせ - Google Patents

Abstract

骨（－片）、器具、およびインプラントの継続的な自動位置合わせを、Ｘ線源の位置を変更する必要なく、１つだけの追加のＸ線画像に基づいて提供するためのシステムおよび方法が提供される。本発明によれば、２Ｄ Ｘ線画像が受信され、そのＸ線画像は、対象の手術部位を示す。外科手術に関する事前情報と組み合わされた、骨（－片）、ツール（ドリルのような）および／またはインプラントのような物体の人工知能支援自動検出および位置特定が、それらの相対３Ｄ位置および配向を任意の所望の時に計算するために使用される。物体のこの位置合わせは、複数回繰り返すことができ、それ故にガイダンスを準リアルタイムで提供できる。
【選択図】図３８

Description

本発明は、人工知能およびコンピュータ支援手術の分野に関する。さらに、本発明は、物体に関連する情報をＸ線画像に基づいて提供するシステムおよび方法に関する。特に、本発明は、潜在的に動いている物体を準リアルタイムで、自動的に位置合わせする、すなわち、相対的な３Ｄ位置および配向を決定するためのシステムおよび方法に関する。本方法は、本システムの処理装置上で実行可能なコンピュータプログラムとして実装され得る。

長骨が骨折する事例では、骨片は髄内釘のようなインプラントによって固定され得、それは、骨の髄管、または骨板内に挿入され得、骨折を治癒するための支持として、骨の表面に固定され得る。かかるインプラントを植え込むための外科的処置は、低侵襲であり得、外科医がインプラントを正しく設置するのを可能にするためにＸ線画像を反復して取得することを必要とし得る。インプラントは、1つ以上のサブインプラント、例えば、ネジまたはブレードにも結合され得る。

長骨の髄内釘固定処置には様々な重要で困難なステップがあり、骨折の十分に正しい整復（骨片の正しい位置決めを確実にすること）、インプラントを骨に挿入するための入口点の決定、およびネジをインプラントの穴に挿入することによるインプラントの固定を含む。

長骨内へ釘を植え込むための重要なステップは、入口点の決定である。入口点に対する次善の選択は、釘の非最適な位置決めとなり得、従って、ネックスクリューまたはブレードなどの、結合されたサブインプラントの不適切な位置決めともなり得る。その上、所与の入口点に関して、外科医が既にリーミングを行っている場合、釘がその中に位置付けられる管が画定されていて、もう補正できない可能性がある。

入口点を、触診によるか、またはＸ線画像に基づいて、決定する２つの主要な方法がある。触診を行う場合、初期切開（ｉｎｉｔｉａｌ ｃｕｔ）を行った後、外科医は入口点の部位（例えば、大腿骨に頭髄釘（ｃｅｐｈａｌｏｍｅｄｕｌｌａｒｙ ｎａｉｌ）を植え込む事例では、これは大転子の先端である）を指で感じて、推測される骨表面および経験則（例えば、所謂１／３－２／３ルール）に基づいて入口点の位置を決定する。かかる手順の欠点は、感触により、骨表面は不完全にしか決定されない可能性があり、それは、最適な入口点から実質的なずれとなり得る。その上、経験則（例えば、１／３－２／３ルール）は、患者の特定の解剖学的構造に応じて、かなり準最適であり得る。

入口点は、Ｘ線画像に基づいても決定され得る。頭髄釘を大腿骨に植え込む事例では、前後方向（ＡＰ）のＸ線画像が最初に取得され得、その画像内で開口器具が転子の先端上に置かれる。次いで、大腿骨骨幹および頸部が平行になるように、横方向Ｘ線画像が取得される。開口器具の先端が、２本の軸の間の真ん中に置かれるまで（それはＸ線画像によってチェックされる）、先端が背側または腹側方向に動かされる。この手順の欠点は、第１に、正しい方向から横方向Ｘ線画像を取得することが困難であり、第２に、Ｘ線画像に基づいて２本の軸を決定することは、不正確にしか行われない可能性があることである。

上腕骨へ釘を挿入するための入口点を低侵襲的に決定することは、頸部および頭部に近い骨折の正しい整復は典型的には、インプラントを挿入している間に実行されるので、さらに一層困難である。正しい入口点は、解剖頸（上腕骨の解剖頸）の概ね最近接点上、またはこの点から内側方向の定義された距離にある。任意の骨折を正しく整復すると、入口点は、前後方向（ＡＰ）Ｘ線画像内で目に見え、これは、かかる画像では、関節輪郭の最近接点が識別され得るためである。しかし、正しいＡＰ撮像方向を確実にすることは困難であり、患者の身体的姿勢（ｐｈｙｓｉｃａｌ ｓｅｔｕｐ）および手術室（ＯＲ）内のＸ線撮像装置に応じて、不可能でさえあり得る。その上、完全なＡＰ撮像方向においてさえ、撮像の深さに関して入口点の位置の決定において実質的な不確かさがある。入口点はかかるＸ線画像内では識別不能であり得るために、異なる視線方向（例えば、軸方向）から画像を取得することは、この問題を解決しない可能性がある。

入口点を決定するための２つの方法（触診およびＸ線画像の取得）の組合せでさえ一般に、精度を十分に改善しない可能性がある。今までのところ、この問題に対して確立されたコンピュータ支援手術（ＣＡＳ）技法はない。

任意の骨接合術における別の課題は、骨折の十分に正しい整復は、満足のいく臨床転帰のために極めて重要であるということである。典型的には、整復が正しく行われた場合に限り、骨折は満足に治癒する。長骨の整復は特に、多くの場合、低侵襲手術中に、特に、正しい前捻角（大腿骨の場合）または捻転角（上腕骨または脛骨の場合）に関して、評価することが困難である。不正確な前捻角または捻転角は多くの場合、手術が完了した後にだけ気が付く。この段階で、たとえ骨折自体が治癒しても、不正確な前捻角または捻転角は、患者に対して大きな不快感および制約を引き起こす。従って、十分に正しい前捻角または捻転角は、特に大腿骨、脛骨、または上腕骨の骨接合術に対する、満足のいく臨床転帰にとって極めて重要である。同様のコメントが、頭－頸部－骨幹（ＣＣＤ）角度および脚長に適用され、それも満足のいく臨床転帰にとって重要である。

骨片の異常回転は、脛骨および大腿骨の骨折を治療する場合の、再置換術のための最も一般的な理由の１つである。大腿骨頸部に対する非病的な前捻角（ＡＶ角）は典型的には、１０～２０度の間である。最適（例えば、他の、健康な脚）に対して最大で１０度までの異常回転は、患者によって補われる可能性があるが、もっと大きな異常回転は歩行時に不快感および問題を引き起こし得る。ＡＶ角を手術中に決定することは困難であり、多くの場合、不正確に行われるか、または全く行われない。研究により、脚に関する骨接合術の１０％～２５％は、理想的な値から１０度を上回るずれを生じることが示されている。ＡＶ角を決定するための信頼できる手術中の手順はそれ故に、非常に重要である。

前捻角または捻転角を決定する際の困難さは、長骨は、１つのＸ線画像内に適合させるには長過ぎることである。その上、前捻角または捻転角を決定するために必要な幾何形状が、例えば、大腿骨、頸軸および顆に対して、骨の最近位および最遠位部に位置している。従って、別個の近位および遠位のＸ線画像内に示される、幾何形状は、相互に関連している必要がある。

従来技術は、前捻角を決定するために異なるアプローチを提案する。大腿骨および頭髄釘の事例では、１つのアプローチは、膝が上向きに手術室の天井を指しているかどうかを手で決定して、釘軸と大腿骨頭の中心を交差させるべき、ネジ（または頭要素（ｈｅａｄ ｅｌｅｍｅｎｔ））が、手術室の床と略１０度の角度を作るかどうかを主観的に判断することである。ＣＡＳアプローチは、Ｂｌａｕらによって提案され（ＵＳ ２０１５／０２６５３６１ Ａ１およびＷＯ ２０１９／０７７３８８ Ａ１）、この場合、大腿骨の遠位領域内の１つおよび近位領域内の１つの、金属標識をもつ２つの基準体、ならびに、全てがそれぞれの基準体を示す、２つの近位Ｘ線画像および１つの遠位Ｘ線画像が使用される。

髄内釘固定処置における別の困難なステップは固定である。長い釘を使用した固定での主な困難は、釘はある程度、骨の髄管に従うので、釘の屈曲および捩じれである。これは、短い釘の事例において採用される、単純で静的な機械的固定手順を阻む。フリーハンドの固定は困難で時間がかかり、多くのＸ線画像の取得を必要とし得る。このため、一部の製造業者は、釘の屈曲に適応する柔軟な機械的ソリューション（ここでは「長い照準装置」と呼ばれる）を提供する。長い照準装置はその手順を単純化するが、長い照準装置を示しているＸ線像が正しく解釈されてＣアーム位置がそれに応じて調整される必要があるので、その適用は依然として容易ではない。Ｃアームの正しい調整後にのみ、長い照準装置が正しく調整され得る。

コンピュータ支援のない典型的な従来型のフリーハンドの固定手順は、高いミスドリル率となり得る。これは、ドリルで穴を開けるべき距離が長い場合、例えば、順行性大腿骨釘を顆に近接して固定する場合、特に当てはまる。従来型のアプローチは、外科医がドリル先端の適切な位置を推定して、適切なドリル角度を推定することから成る。ミスドリルは必ずしも問題ではない可能性があり、単にドリルで新しい穴を開けることによって補正され得る場合もある。しかし、新しい穴を開けることが結局は以前の穴開けと同じドリル管となることを回避するために、ドリルのための新しい開始位置を選択するのが賢明であり得る。さらにいくつかの事例（内側ネジ山を有する固定穴、またはプレートと釘の組み合わされたインプラント）では、これはほとんど不可能であり得る。これらの場合、穴開けが最初の穴開けの試みで正しいことが最重要であり、それは、最初のドリル先端位置の間違いのない正しい決定だけでなく、穴開け中にこのドリル角度を維持することも必要とする。

かかる場合、および特に穴開けが重要な構造に近接して実行されるシナリオ（仙腸関節または椎弓根スクリューを設置する場合など）では、穴開け中の穴開け角度および軌道の継続的な検証という形でのサポートが望ましいであろう。従来型の手順では、これは、標的物体（例えば、釘）に対するドリルの３Ｄ位置および配向を推定するために、Ｃアームの反復調整および異なる視線方向からのＸ線画像の取得を必要とするであろう。

動的に変化している状況（例えば、骨にドリルで穴を開けている、骨片を整復している、インプラントを骨に挿入している）で、これらの課題に対処することが本発明の目的である。コンピュータ支援手術システムおよび／または手術ロボットなどの既存の技術は典型的には、時間がかかって、多くの場合侵襲的な、事前の位置決め処置を必要とする。２００２年以降、動きのリアルタイム追跡の根拠として手術中のＸ線に基づく解剖学的構造を基準体／トラッカーに位置合わせする（Ｂｒａｉｎｌａｂ ＡＧによる蛍光透視法－ＣＴマッチング）ための非侵襲手順が存在するが、これはさらに付着されたトラッカー／基準体を備えた追跡システムと組み合わされる。

本発明は、相互に対して移動し得る複数の物体を、所望の時点において、位置合わせするために、基準体もトラッカーも必要としない、システムおよび方法を提案する。現在のＸ線画像および以前のＸ線画像から抽出した事前情報にだけ基づいて、物体の、かかる位置合わせ、すなわち、相対３Ｄ位置および配向の決定を準リアルタイムで、恐らくは瞬時に、提供して、現在と以前のＸ線画像の取得間にそれらの物体の相互に対する移動を可能にすることが本発明の目的であり得る。物体上または物体内の対象の特定の点または曲線を、恐らくは別の物体に対して、決定することも本発明の目的であり得る。Ｘ線画像内に少なくとも部分的に示されている複数の物体間の相対３Ｄ配向および３Ｄ位置を提供することも本発明の目的であり得る。

言及された目的の少なくとも１つまたはその他は、請求項１に記載の装置および請求項１３に記載の方法によって解決される。本発明に従ったさらなる実施形態は、それぞれの従属クレームで説明される。

一般に、装置は、Ｘ線画像を処理するように構成された処理装置を備える。その処理装置によって実行するためのソフトウェアプログラムが提供される。コンピュータソフトウェアプログラムによって、以下のステップが本装置の処理装置によって実行できる。

最初に、少なくとも部分的に目に見える物体の投影画像である第１のＸ線画像が受信される。次いで、その物体のモデルが受信され、第１のＸ線画像内の物体の位置を突き止めるためにそのモデルが適用されて、第１のＸ線画像内で点が識別されて、その物体に対する点の３Ｄ位置が分かる。言い換えれば、点の位置が３Ｄ空間内の患者において分かり、その点が２Ｄ投影画像内で目に見える。

第１のＸ線画像と同様に、少なくとも部分的に目に見える物体と一緒に少なくとも部分的に見えるツールの投影画像である第２のＸ線画像が受信される。物体のモデルが再度、第２のＸ線画像内の物体の位置を突き止めるために適用される。ツールに関して、座標系が定義されて、座標系内で軸が決定されて識別される。

最後に、物体に対するツールの３Ｄ位置および配向が、第２のＸ線画像、ツールの３Ｄモデル、位置が特定された物体、その物体に対する点の３Ｄ位置が第１のＸ線画像の生成時および第２のＸ線画像の生成時に同じであるという知識、ならびにその点と軸との間の距離に関する知識に基づいて決定される。

本明細書では、「物体（ｏｂｊｅｃｔ）」は、Ｘ線画像内で少なくとも部分的に目に見える任意の物体、例えば、解剖学的構造またはインプラントであり得る。「物体」をインプラントと考える場合、インプラントが解剖学的構造内に既に設置されていることが理解されるであろう。「ツール」も、Ｘ線画像内で少なくとも部分的に目に見える、例えば、ドリル、ｋワイヤー、ネジ（ｓｃｒｅｗ）、または同様のものであり得る。より具体的な例では、「物体」を骨として、「ツール」は、骨内に挿入することを目的とするが、まだ挿入されていない、骨釘のようなインプラントでもあり得る。「ツール」は、挿入されるべき物体であり、「物体」は解剖学的構造または、解剖学的構造内に既に設置されているインプラントのような物体であると言える。本発明はいかなる基準体およびトラッカーの使用も必要としないことに再度留意されたい。

用語「３Ｄ表現」は、３Ｄボリュームまたは３Ｄ表面の完全な、もしくは部分的な記述を指し得、それは、半径、曲線、平面、角度、または同様のものなどの、選択された幾何学的態様も指し得る。本発明は、物体の３Ｄ表面またはボリュームに関する完全な３Ｄ情報の決定を可能にし得るが、選択された幾何学的態様だけを決定する方法も本発明において考慮される。

Ｘ線撮像は２Ｄ画像診断法なので、Ｘ線画像内に示された個々の物体の３Ｄ姿勢（すなわち、３Ｄ位置および３Ｄ配向）を一意的に決定することは一般に可能ではなく、Ｘ線画像内に示された物体間の相対３Ｄ位置および３Ｄ配向を一意的に決定することも一般に可能ではない。

Ｘ線ビームは、Ｘ線源（焦点）から生じて、像平面内でＸ線検出器によって検出されるので、物体の物理的寸法は、切片定理を通してＸ線画像内のその投影の寸法に関連する。撮像の深さの決定において一般に曖昧さがあり、それは、像平面からの距離であり、後に「ｚ座標」とも呼ばれる。本発明を通して、用語「位置を突き止める（ｌｏｃａｌｉｚｅ）」および「位置の特定（ｌｏｃａｌｉｚａｔｉｏｎ）」は、選択された座標系に関して物体の３Ｄ配向の決定、およびその物体の像平面上への投影の２Ｄ空間位置の決定を意味するが、ｚ座標の決定はない。

Ｘ線画像内に示された物体の３Ｄモデルが利用可能な場合、これは、物体の位置を突き止めるのを可能にし得る。物体が十分に大きくて十分な構造を有するという条件で、その物体のｚ座標を大まかに決定する（または推定する）のさえ可能にし得る。しかし、たとえＸ線画像内に示された既知の物体の決定論的３Ｄモデルが利用可能であっても、位置の特定もｚ座標の決定も可能ではない事例もある。一例として、これは特に、ドリルまたはｋワイヤーなどの細い物体に当てはまる。ドリルの先端の撮像の深さを知らなければ、２Ｄ Ｘ線画像において同じか、または略同じ投影となるドリルの複数の３Ｄ姿勢がある。従って、ドリルの、例えば、Ｘ線画像内に同様に示されているインプラントに対する相対３Ｄ位置および３Ｄ配向を決定することは一般に可能ではない可能性がある。他方、かかる物体の撮像の深さが他の手段を通して決定できるか、または事前に分かっている場合、これは、その物体の３Ｄ位置および３Ｄ配向の決定を可能にし得る。

その幾何形状が、その撮像の深さに関する更なる情報がなければ位置が特定可能ではない可能性がある物体の位置の特定を可能にすること、およびかかる物体の別の物体に対する３Ｄ位置および３Ｄ配向を決定することは本発明の目的である。

例えば、物体は、穴のあるインプラントを含み得る。その場合、その物体に対する点の３Ｄ位置は、そのインプラント内の穴の軸に基づき本発明の一実施形態に従って決定され得る。インプラントは、骨構造を釘で固定するための穴を通して延出している横軸をもつ髄内釘であり得ることに留意されたい。かかる穴は、ねじ山を備え得る。その穴の軸は、固定ネジ用の入口点を画定するために骨の外表面を切り取る。別の例では、長骨の内部に設置され得る釘と前記長骨の外側に設置され得るプレートの組合せが、プレート内の穴および釘内の穴の両方を通して延出する少なくとも１つのネジによって結合されて一緒に固定できる。またここで、ネジ用の入口点は、それらの穴を通って延出する軸によって画定され得る。

さらなる例では、物体は、骨内に既に植え込まれた釘と考えられ得、Ｘ線画像もドリルのようなツールの少なくとも一部を示す。この場合、ツールは、第１のＸ線画像内で少なくとも部分的に目に見え、識別された点はツールにおける点、例えば、ツールの先端である。第２のＸ線画像に基づいて、その物体に対するツールの３Ｄ位置および配向が決定され得るが、ツールは、第１のＸ線画像の生成と第２のＸ線画像の生成との間で、その物体に対して移動されている。第２のＸ線画像内に示された時における、骨内のインプラントに対するドリルの３Ｄ位置および配向の決定は、穴開けが、例えば、ネジが、ドリルで開けた穴に沿って後に植え込まれるときに延出すべきインプラント内の穴を目指す方向であるかどうかを評価するのを支援し得る。

Ｘ線画像内で識別される点の３Ｄ位置は、異なる方法で決定され得る。一方では、物体に対する点の３Ｄ位置は、骨表面の位置に関する知識およびその点が骨表面に位置しているという知識に基づいて決定され得る。例えば、ドリルの先端は、第１のＸ線画像が生成されるとき、骨の外表面上に位置付けられ得る。その点は、第２のＸ線画像が生成されるとき、たとえドリルが骨に穴を開けるとしても、依然として同じであり得る。従って、両方のＸ線画像内の点は、第１のＸ線画像内だけのドリルの先端によって定義されても、入口点であり得る。

他方では、物体に対する点の３Ｄ位置は、別の視線方向からの更なるＸ線画像に基づいて決定され得る。例えば、ＣアームベースのＸ線システムは、更なるＸ線画像を生成する前に回転され得る。

さらに、物体に対する点の３Ｄ位置は、第１のＸ線画像に基づく物体に対するツールの３Ｄ位置および配向の決定に基づいて決定され得る。すなわち、第１のＸ線画像の生成時における３Ｄ位置および配向を既に知っている場合、後に、および物体に対するツールの移動後に、３Ｄ位置および配向を決定するために、その知識が使用できる。実際、その手順は、一連のＸ線画像において何度も繰り返すことができる。

Ｘ線画像内でツールの先端が目に見える場合、物体に対するツールの３Ｄ位置および配向の決定は、更なる点を画定するツールの先端にさらに基づき得る。更なる点は、投影画像内の点、すなわち、２Ｄ点に過ぎない可能性があることに留意されたい。しかし、点、例えば、入口点、の既知の３Ｄ位置と一緒に、Ｘ線画像間の動きの進展が、更なる点を考慮に入れて決定され得る。

いくつかの事情により、物体に対するツールの３Ｄ位置および配向を決定するのがより困難になり得る。例えば、その部分がＸ線画像内で目に見える、ツールの少なくとも一部は、Ｘ線画像の生成中に回転するドリルのような、回転対称であり得る。本発明の一実施形態によれば、物体に対するツールの３Ｄ位置および配向はそれにもかかわらず、少なくとも十分な精度で、決定できる。例えば、ドリルもしくはＫワイヤーのような細くて長いツール、または細くて長いインプラントを考える場合、単一の投影は、３Ｄ空間内でツールの配向を区別するのを可能にするための十分な詳細を示していない可能性があり、それらの配向は類似または同じ投影となり得る。しかし、２つ以上の投影画像を比較する場合、結果として、仮定できる、特定の配向に対する尤度がある。その上、目に見えるツール先端のような追加の態様が考慮に入れられ得る。

別の例では、ツールと一緒に物体を示しているＸ線画像を生成するとき、ツールは部分的に遮蔽され得る。ツールの先端がインプラントによって遮蔽されること、またはドリルの柄が管によって大部分は遮蔽されることが生じ得、その管は周辺軟部組織が、骨に穴を開けている間に損傷するのを防ぐ。それらの場合、以前のＸ線画像とは別の視線方向から生成される、第３のＸ線画像が受信され得る。かかる第３のＸ線画像は、主要な視線方向で生成された画像から取得できる情報に加えて、適切な情報を提供し得る。例えば、ツールの先端は、第３のＸ線画像内で目に見え得る。先端の３Ｄ位置は、第２のＸ線画像内で目に見えないが、ツールの軸が、第２のＸ線画像内で目に見えるので、第２のＸ線画像を生成する際にＸ線撮像装置の焦点の方向に平面を画定すること、およびツールの先端はその結果としてその平面上になければならないという事実に起因して、決定され得る。さらに、ツールの先端は、第３のＸ線画像を生成する際にＸ線撮像装置の焦点の方向に線を画定すると考えることができる。先端によって画定される、すなわち、第３のＸ線画像内の目に見える点によって画定される、線は、第２のＸ線画像に基づいて画定される３Ｄ空間内の平面をカットする。第２および第３のＸ線画像は、例えば、両方の画像内の物体の位置の特定によって、位置合わせされることが理解されるであろう。

処理されたＸ線画像に基づいて、本装置は、ユーザーに指示を提供するように構成され得る。具体的には、本装置は、物体に対するツールの決定された３Ｄ位置および配向を、予期されたか、または意図された３Ｄ位置および配向と比較するように構成され得る。自動的に生成された指示は、ユーザーに対してガイダンスを提供し得る。穴開けの開始時における適切な配向だけでなく、穴開け中の監視も可能である。例えば、本装置は穴開け中に、穴開けの方向が最終的に標的構造に達するかどうかを評価し得、必要ならば、穴開け方向の補正のための指示を提供し得る。本装置は、指示を提供する際に、既に実行された穴開けの深さ、物体の密度、ドリルの直径、およびドリルの剛性の少なくとも１つを考慮に入れ得る。穴開け中のドリルの傾斜は、周辺材料、例えば、骨、の特性の依存性においてドリルの屈曲またはドリル軸のシフトを生じ得ることが理解されるであろう。ある程度予期できる、それらの態様は、指示を提供する際に本装置によって考慮に入れられ得る。

ＥＰ１９２１７２４５によって提案された１つの可能なソリューションは、撮像の深さに関する事前情報を利用することである。例えば、異なる撮像方向から取得された以前のＸ線画像（Ｘ線ビームが物体を通過する方向を記述する）から、ｋワイヤーの先端が転子上にあることが分かり得、結果として、別の物体に対するｋワイヤーの先端の撮像の深さを制限する。これは、現在の撮像方向における別の物体に対するｋワイヤーの３Ｄ位置および３Ｄ配向に関する曖昧さを解決するために十分であり得る。

２つ以上のＸ線画像の３Ｄ位置合わせ
別の可能なソリューションは、異なる撮像方向から取得された２つ以上のＸ線画像を利用すること、およびこれらの画像を位置合わせすることである。撮像方向がより異なっていればそれだけ（例えば、ＡＰおよびＭＬ画像）、追加の画像は３Ｄ情報の決定に関してより有用であり得る。画像の位置合わせは、その３Ｄモデルが既知であって、画像間で動いてはならない、画像内に示された一意に位置が特定可能な物体に基づいて処理され得る。前述のとおり、当技術分野で最も一般的なアプローチは、基準体またはトラッカーを使用することである。しかし、いかなる基準体も使用しないことは、製品開発および本システムの使用の両方を簡略化するために、一般に好ましい。Ｃアームの動きが正確に分かっている場合（例えば、Ｃアームが電子的に制御される場合）、画像の位置合わせはこれらの既知のＣアームの動きにだけ基づいて可能であり得る。

しかし、Ｃアームの動きは典型的には、正確には分からない。ＬＵ１０１００９Ｂ１に記述されているように、インプラントなどの既知の幾何形状の剛性物体は、たとえインプラントが位置の特定だけが可能であり得、撮像の深さの決定が可能でなくても、少なくとも撮像方向の決定は可能であり得る。

しかし、Ｘ線画像内にかかる剛性物体が存在しない多くのシナリオもあり得る。例えば、釘を植え込むための入口点を決定する場合、Ｘ線画像内にインプラントはない。本発明は、一般に、一意で十分に正確な３Ｄ位置合わせを可能にする既知の幾何形状の単一の剛性物体がない場合に、複数のＸ線画像の３Ｄ位置合わせを可能にするシステムおよび方法を教示する。本明細書で提案されるアプローチは、各々は単独では一意で十分に正確な３Ｄ位置合わせを可能にしないが、一緒にかかる位置合わせを可能にする、２つ以上の物体もしくは１つの物体の少なくとも２つ以上の部分の特徴の組合せを使用すること、および／または画像の取得間で許容されるＣアームの動きを制限すること（例えば、Ｃアーム軸などのＸ線撮像装置の特定の軸の周りの回転、または特定の軸に沿った平行移動だけが許可され得る）である。位置合わせのために使用される物体は、人工物で、既知の幾何形状（例えば、ドリルまたはｋワイヤー）であり得るか、またはそれらは解剖学的構造の部分であり得る。物体または物体の部分は単純な幾何モデルを使用して近似もされ得る（例えば、大腿骨頭はボールによって近似され得る）か、またはそれらの特定の特徴だけが使用され得る（それは、単一点、例えば、ｋワイヤーまたはドリルの先端であり得る）。位置合わせのために使用される物体の特徴は、画像の取得間で動いてはならず、かかる特徴が単一点の場合、この点が移動しないことだけが要求される。例えば、ｋワイヤー先端が使用される場合、その先端は画像間で動いてはならず、他方、ｋワイヤーの傾斜は画像間で変わり得る。

一実施形態によれば、Ｘ線画像は、物体の少なくとも一部を示しているＸ線画像の各々と、位置合わせされ得る。第１のＸ線画像は、第１の撮像方向および物体に対するＸ線源の第１の位置で生成され得る。第２の画像は、第２の撮像方向および物体に対するＸ線源の第２の位置で生成され得る。かかる２つのＸ線画像は、次の条件の少なくとも１つと一緒に、物体のモデルに基づいて位置合わせされ得る：
－物体に対して固定の３Ｄ位置をもつ点が、両方のＸ線画像内で画定可能および／または検出可能、すなわち、両方のＸ線画像内で識別可能および／または位置が特定可能である。単一点は十分であり得ることに留意されたい。その点は、その表面のような物体の構造までの既知の距離を有し得ることにさらに留意されたい。
－物体に対して固定の３Ｄ位置をもつ２つの識別可能な点が両方のＸ線画像内にある。
－固定の３Ｄ位置をもつ更なる物体の一部が両方のＸ線画像内で目に見える。かかる場合、Ｘ線画像の位置合わせをする際に更なる物体のモデルが利用され得る。１つの点でさえ、更なる物体の一部として見なされ得ることが企図される。
－第１と第２のＸ線画像を取得する間、物体に対するＸ線源の唯一の移動は平行移動である。
－第１と第２のＸ線画像を生成する間、Ｘ線源の唯一の回転は撮像方向に垂直な軸の周りの回転だけである。例えば、Ｘ線源は、ＣアームベースのＸ線撮像装置のＣ軸の周りを回転され得る。

物体のモデルに基づくＸ線画像の位置合わせは、前述の条件の２つ以上と一緒であれば、より正確であり得ることが理解されるであろう。

一実施形態によれば、物体に対して固定の３Ｄ位置をもつ点は更なる物体の１つの点であり得、その点が固定である限り、更なる物体の移動を可能にする。物体に対する固定の３Ｄ位置はその物体の表面上、すなわち、接点であり得るが、物体から定義された距離（ゼロを上回る）をもつ点でもあり得ることが理解されるであろう。それは、物体の表面からの距離（物体の外部または内部の位置を可能にする）または物体の特定の点までの距離（例えば、物体がボールである場合、ボールの中心）であり得る。

一実施形態によれば、物体に対して固定の３Ｄ位置をもつ更なる物体は、物体と接触しているか、または物体まで定義された距離にあり得る。物体に対する更なる物体の配向は、固定または可変のいずれかであり得、更なる物体の配向は、回転に起因して、および／または物体に対する更なる物体の平行移動に起因して、変わり得ることに留意されたい。

Ｘ線画像の位置合わせは、３つ以上の物体とも実行され得ることが理解されるであろう。

様々な実施形態によれば、次は（基準体なしで）画像位置合わせを可能にする例である：
１．大腿骨頭または人工大腿骨頭（股関節インプラントの一部として）のボール（物体１）による近似およびｋワイヤーまたはドリルの先端（物体２）の使用、その間、画像間で許容されるＣアームの動きも制限する。
２．骨幹または椎体の円柱（物体１）による近似およびｋワイヤーまたはドリルの先端（物体２）の使用、許容されるＣアームの動きは画像間で制限されることもあれば、制限されないこともある。
３．大腿骨頭または人工大腿骨頭（股関節インプラントの一部として）のボール（物体１）による近似および大腿骨骨幹の円柱（物体２）による近似の使用、画像間で許容されるＣアームの動きは制限される必要がない。
４．骨内に固定されたガイドロッド（ガイドロッドは、それがあまりに遠くまで挿入されるのを防ぐ止め具を有する）またはｋワイヤーの使用、その間、画像間で許容されるＣアームの動きも制限する。この場合、１つの物体だけが使用され、本方法は、画像間で制限されたＣアームの動きによって具現化される。
５．骨内に固定されたガイドロッドまたはｋワイヤー（物体１）および大腿骨頭のボール（物体２）による近似の使用。

本方法は、位置合わせ精度を高めるため、または他の結果を検証するためにも使用され得ることに留意されたい。すなわち、その１つ以上が単独での３Ｄ位置合わせさえ可能にする、複数の物体または１つの物体の少なくとも複数の部分を使用した、恐らくは許容されるＣアームの動きも制限する、画像の位置合わせの場合、この重複決定は、提案される方法を使用しない場合と比較して、位置合わせ精度を向上させ得る。代替として、画像は、利用可能な物体または特徴のサブセットに基づいて位置合わせされ得る。かかる位置合わせは、（位置合わせのために使用されなかった）残りの物体または特徴の検出を検証するために使用され得るか、またはそれは、画像間での動き（例えば、開口器具の先端が動いているかどうか）を検出するのを可能にし得る。

本アプローチのさらに別の実施形態は、Ｘ線画像間で許可されるＣアームの動きを制限しながら（例えば、平行移動だけが許可される）、物体の異なる（しかし、恐らくは重なり合っている）部分を示す２つ以上のＸ線画像（例えば、大腿骨の近位部を示す１つのＸ線画像および同じ大腿骨の遠位部を示す別のＸ線画像）を、全ての利用可能なＸ線投影画像に１つのモデルを一緒に適合させることによって、位置合わせすることであり得る。適合されたモデルは、完全または部分的な３Ｄモデル（例えば、統計的形状または外観モデル）であり得るか、またはそれは、物体のある幾何形状態様（例えば、軸、平面または選択点の位置）だけを記述する縮小モデルでもあり得る。

以下で詳細に説明されるとおり、物体の３Ｄ再構築は、位置合わせされたＸ線画像に基づいて決定され得る。Ｘ線画像の位置合わせは、物体（または複数の物体の少なくとも１つ）の３Ｄ再構築に基づいて実行および／または向上され得ることが理解されるであろう。位置合わせされたＸ線画像に基づいて決定された３Ｄ再構築は、更なるＸ線画像の位置合わせのために使用され得る。代替として、物体の３Ｄ再構築は、物体の３Ｄモデルと一緒に単一または第１のＸ線画像に基づいて決定されて、次いで第２のＸ線画像を第１のＸ線画像と位置合わせする際に使用され得る。

一般に、Ｘ線画像の位置合わせおよび／または３Ｄ再構築は、次の状況で有利であり得る：
・大腿骨における前捻角の決定が対象である。
・脛骨または上腕骨における捻転角の決定が対象である。
・大腿骨の頭部と骨幹との間のＣＣＤ角度の決定が対象である。
・長骨の前湾曲（ａｎｔｅｃｕｒｖａｔｉｏｎ）の決定が対象である。
・骨の長さの決定が対象である。
・大腿骨、脛骨または上腕骨におけるインプラント用の入口点の決定が対象である。

以下に、物体組合せの例が説明のためにリストされる。
・物体１は上腕頭であり、点は開口器具またはドリルの先端である。
・物体１は椎骨であり、点は、椎骨の表面上に置かれた開口器具またはドリルの先端である。
・物体１は脛骨であり、点は開口器具の先端である。
・物体１は脛骨であり、物体２は腓骨、大腿骨もしくは距骨または足の別の骨である。
・物体１は大腿骨の近位部であり、物体２は、大腿骨の表面における開口器具である。
・物体１は大腿骨の遠位部であり、物体２は、大腿骨の表面における開口器具である。
・物体１は大腿骨の遠位部であり、物体２は大腿骨の近位部であり、少なくとも１つのＸ線画像は、大腿骨の遠位部を示しており、少なくとも１つのＸ線画像は、大腿骨の近位部を示しており、更なる物体は、大腿骨の近位部上に置かれた開口器具である。
・物体１は腸骨であり、物体２は仙骨であり、点は開口器具またはドリルの先端である。
・物体１は骨内に植え込まれた髄内釘であり、物体２は骨である。
・物体１は骨内に植え込まれた髄内釘であり、物体２は骨であり、点は、開口器具、ドリルまたは固定ネジのようなサブインプラントの先端である。

３Ｄ表現／再構築の計算
一旦、２つ以上のＸ線画像が位置合わせされると、それらはＸ線画像内に少なくとも部分的に示された解剖学的構造の３Ｄ表現または再構築を計算するために使用され得る。一実施形態によれば、これは、Ｐ．Ｇａｍａｇｅらによる「３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｐａｔｉｅｎｔ ｓｐｅｃｉｆｉｃ ｂｏｎｅ ｍｏｄｅｌｓ ｆｒｏｍ ２Ｄ ｒａｄｉｏｇｒａｐｈｓ ｆｏｒ ＩＭＡＧＥ ｇｕｉｄｅｄ ｏｒｔｈｏｐｅｄｉｃ ｓｕｒｇｅｒｙ」ＤＯＩ：１０．１１０９／ＤＩＣＴＡ．２００９．４２によって提案されたラインに沿って進められ得る。第１のステップで、対象の骨構造の特徴（典型的には特徴的な骨縁、それは、外側の骨輪郭および一部の特徴的な内側縁を含み得る）が、恐らくは、セグメント化のために訓練されたニューラルネットワークを使用して、各Ｘ線画像内で決定される。第２のステップで、対象の骨構造の３Ｄモデルが、その２Ｄ投影が、全ての利用可能なＸ線画像内で第１のステップで決定された特徴（例えば、特徴的な骨縁）に一致するように、変形される。Ｇａｍａｇｅらによる論文では、対象の解剖学的構造に対して汎用３Ｄモデルを使用するが、他の３Ｄモデル、例えば、統計的形状モデル、も使用され得る。この手順は、画像間の相対視野角（画像の位置合わせによって提供される）だけでなく、画像の１つに対する撮像方向も必要とすることに留意されたい。この方向は、既知であり得る（例えば、外科医は特定の視線方向、例えば、前後方向（ＡＰ）または内－外側方向（ＭＬ）、からの画像を取得するように指示されたため）か、または、様々なアプローチ（例えば、ＬＵ１００９０７Ｂ１の使用による）に基づいて推定され得る。画像間の相対視野角がより正確である場合、３Ｄ再構築の精度は向上し得るが、画像の１つに対する撮像方向を決定する精度は重要な要素ではない可能性がある。

決定された３Ｄ表現の精度は、対象の骨構造上の、１つ以上の点、または部分的な表面でさえ、の３Ｄ位置に関する事前情報を組み込むことによって向上され得る。例えば、植え込まれた釘のある大腿骨の３Ｄ再構築において、ｋワイヤーは、Ｘ線画像内の大腿骨の表面上の特定の点を示すために使用され得る。以前の手順ステップから、植え込まれた釘によって与えられた座標系内のこの示された点の３Ｄ位置は既知であり得る。この知識は次いで、大腿骨の３Ｄ表面をより正確に再構築するために使用され得る。特定の点の３Ｄ位置に関するかかる事前情報が利用可能な場合、これは単一のＸ線画像に基づいた３Ｄ再構築さえ可能にし得る。その上、インプラント（プレートなど）が骨の部分の形状と一致して、その骨のこの一致している部分上に置かれている場合、この情報も３Ｄ再構築のために使用され得る。

代替アプローチとして、物体（例えば、骨）の３Ｄ再構築も、事前の画像位置合わせなしで実行され得る、すなわち、画像の位置合わせおよび３Ｄ再構築も、ＬＵ１０１００９Ｂ１によって提案されたとおり、一緒に実行され得る。本開示では、許容されるＣアームの動きを制限すること、ならびに／または同時の位置合わせおよび再構築がそれに基づく画像の少なくとも２つ内に存在する別の物体（例えば、ドリルまたはｋワイヤー）の容易に検出可能な特徴を利用することにより、精度を向上させて曖昧さ解決することが教示される。かかる容易に検出可能な特徴は、例えば、再構築される物体の表面上、またはそれから既知の距離のいずれかに位置する、ｋワイヤーもしくはドリルの先端であり得る。この特徴は、画像の取得間で動いてはならない。ｋワイヤーまたはドリルの場合、これは、機器自体は、その先端が定位置にある限り、その傾斜が変わり得ることを意味する。事前の画像位置合わせなしでの再構築は、３つ以上の画像がかかる再構築のために使用されている場合、うまく機能し得る。同時の位置合わせおよび３Ｄ再構築は全てのパラメータの同時最適化（すなわち、位置合わせおよび再構築の両方に対して）を可能にするので、同時の画像位置合わせおよび３Ｄ再構築は一般に、位置合わせが最初に実行されるアプローチより性能が優れていることに留意されたい。これは特に、例えば、植え込まれた釘またはプレート、およびその表面上の点の３Ｄ位置に関する事前情報を用いて、骨の３Ｄ表面を再構築する、重複決定された事例に当てはまる。

同時の画像位置合わせおよび３Ｄ再構築のために、第１の物体の第１の部分を示す第１のＸ線画像が受信され得、第１のＸ線画像は、第１の撮像方向および第１の物体に対するＸ線源の第１の位置で生成されて、第１の物体の第２の部分を示す少なくとも１つの第２の画像が受信され得、第２のＸ線画像は、第２の撮像方向および第１の物体に対するＸ線源の第２の位置で生成される。第１の物体のモデルを使用することにより、そのモデルはＸ線画像内の外観と一致するように変形および適合できるので、２つのＸ線画像内の第１の物体の投影は、画像の空間的関係が決定できるように一緒に照合され得る。かかる同時の位置合わせおよび３Ｄ再構築の結果は、第１の物体に対して固定の３Ｄ位置を有する少なくとも１つの点によって向上され得、その点は、Ｘ線画像の少なくとも２つ内で識別可能で検出可能である（３Ｄ再構築を改善しながら、３つ以上の画像も位置合わせされ得ることが理解されるであろう）。さらに、第１の物体に対して固定の３Ｄ位置をもつ第２の物体の少なくとも一部が考慮に入れられ得、第２の物体のモデルに基づき、少なくとも部分的な第２の物体がＸ線画像内で識別されて検出され得る。

第１の物体の第１の部分および第２の部分が重なり合い得、それは、結果の精度を向上させることに留意されたい。例えば、第１の物体の所謂第１および第２の部分は両方とも、大腿骨の近位部であり得、撮像方向は、少なくとも大腿骨の外観が画像内で異なるように、異なる。

植込み曲線および／または入口点の決定
釘もしくはネジなどのインプラントがそれに沿って骨内に挿入されて植え込まれる、植込み曲線もしくは経路を決定すること、および／または外科医がインプラントを挿入するために骨を切開する点である、入口点を決定することは、本発明の目的であり得る。入口点は従って、植込み曲線と骨表面の交点である。植込み曲線は、直線（または軸）であり得るか、またはインプラント（例えば、釘）は湾曲を有するので、屈曲でもあり得る。入口点の最適位置は、インプラント、および骨内の骨折の位置、すなわち、骨折が遠位または近位方向においてどれくらい遠く離れているかによっても、決まり得ることに留意されたい。

植込み曲線および／または入口点が決定される必要があり得る様々な場合がある。いくつかの事例では、特に、完全な解剖学的整復がまだ実行されていない場合、入口点だけが決定され得る。他の事例では、植込み曲線が最初に取得され、入口点が次いで、植込み曲線と骨表面の交点を決定することによって取得される。さらに他の事例では、植込み曲線および入口点は、同時に決定される。これらの事例の全てに対する例が本発明で説明される。

一般に、２Ｄ Ｘ線画像が一実施形態に従って受信され、そのＸ線画像は対象の手術部位を示す。そのＸ線画像内で、対象の構造と関連付けられた第１の点および植え込まれることを目的とするインプラントのための骨内の植込み経路が決定され得、植込み曲線または経路は、第１の点に対して予め定められた関係を有する。骨内へのインプラントの挿入のための入口点は、植込み経路上に位置付けられる。第１の点は、入口点ではない可能性があることが理解されるであろう。

骨の３Ｄ再構築に基づいて、本システムは、最適なインプラントを選択して、インプラントが骨の狭い箇所から十分に遠く離れるように、骨内（すなわち、入口点、挿入の深さ、回転など）の最適位置（植込み曲線）を計算するのも支援し得る。一旦、入口点が選択されると、本システムは、実際の入口点に基づいて（インプラントが骨内で既に目に見える場合）骨内の新しい理想的な位置を計算し得る。本システムは次いで、骨片の実際の位置を考慮に入れて３Ｄ再構築を更新し得る。本システムは、まだ植え込まれていないサブインプラントの予測される位置も計算および表示し得る。例えば、頭髄釘の事例では、ネックスクリュー／ブレードの予測される位置が大腿近位部の完全な３Ｄ再構築に基づいて計算され得る。

フリーハンドの固定手順
２Ｄ Ｘ線画像内の点および植込み経路の前述の一般的な決定に基づいて、例えば、骨釘の固定用ネジの植込みを考える場合、次の条件が、植込み経路と点との間の予め定められた関係に対して満足され得る：対象の構造がインプラント内の穴である場合、その穴は予め定められた軸を有し得、点はその穴の中心と関連付けられ得、植込み経路はその穴の軸の方向における点であり得る。

考えられる用途として、インプラントが、そのインプラントの穴を通してネジを植え込むことによって固定される、フリーハンドの固定手順に対するワークフロー例が説明される。一実施形態によれば、既に植え込まれた釘がＸ線画像内で位置が突き止められ、それは植込み曲線を決定する。ここで、植込み曲線は、それに沿ってネジが植え込まれる、直線（軸）である。骨表面（少なくとも植込み曲線の近く）の３Ｄ再構築が、既に植え込まれた釘に対して（すなわち、釘によって与えられた座標系内で）実行され得る。これは次のように進められ得る。少なくとも２つのＸ線画像が異なる視線方向（例えば、１つのＡＰまたはＭＬ画像および斜角から取られた１つの画像）から取得される。Ｘ線画像は、ニューラルネットにより、例えば、植え込まれた釘に関して、分類され、およびそれを使用して位置合わせされ得、骨輪郭が、恐らくはニューラルネットにより、全ての画像内でセグメント化される。骨表面の３Ｄ再構築は恐らく、上で概説された３Ｄ再構築手順に従い得る。植込み曲線と骨表面の交点が、釘に対する入口点の３Ｄ位置を決定する。Ｘ線画像内の視線方向は位置が突き止められた釘に基づいて決定され得るので、これは、所与のＸ線画像内で入口点の位置を示すのも可能にする。

釘に対する骨表面上の少なくとも１つの点の既知の３Ｄ位置を組み込むことにより、本手順の精度を向上させることが可能であり得る。かかる知識は、本発明における手順を、ＥＰ１９２１７２４５によって教示されるフリーハンド固定手順と組み合わせることによって取得され得る。可能なアプローチは、ＥＰ１９２１７２４５を使用して第１の固定穴用の入口点を取得することであり得、それはその後、骨表面上の既知の点となる。この既知の点は、本発明において、骨の３Ｄ再構築ならびに第２および更なる固定穴用の入口点の後続の決定のために使用され得る。骨表面上の点は、例えば、その骨表面に触れているドリルの先端によっても識別され得る。１つの点が、異なる撮像方向から取得された２つ以上のＸ線画像内で識別される場合、これは精度を向上させ得る。

大腿骨内に釘を植え込むための入口点の決定
２Ｄ Ｘ線画像内での第１の点および植込み経路の前述した一般的な決定に基づいて、釘の大腿骨内への植込みを考える場合、植込み経路と第１の点との間の予め定められた関係に対して、次の条件の少なくとも１つが満足され得る：
対象の構造が大腿骨頭である場合、第１の点は大腿骨頭の中心と関連付けられ得、その結果、植込み経路の近位延長上に、すなわち、Ｘ線画像内の入口点に対して近位に、位置付けられ得る。
対象の構造が大腿骨頸部の狭い部分である場合、第１の点は、大腿骨頸部の狭い部分の断面の中心と関連付けられ得、植込み経路の近位延長は、前記狭い部分内で、大腿骨頸部の外表面よりも、第１の点により近い可能性がある。
対象の構造が大腿骨骨幹の狭い部分である場合、第１の点は、大腿骨骨幹の近位端における狭い部分の断面の中心と関連付けられ得、植込み経路は、前記狭い部分内で、大腿骨骨幹の外表面よりも、第１の点により近い可能性がある。
対象の構造が大腿骨骨幹の峡部である場合、第１の点は、峡部の断面の中心と関連付けられ得、第１の点は植込み経路上に位置付けられ得る。

実施形態では、対象の構造は、Ｘ線画像内で完全に目に見える必要はない。対象の構造の２０パーセント～８０パーセントだけがＸ線画像内で目に見えることは十分であり得る。特定の対象の構造、すなわち、対象の構造が大腿骨頭、大腿骨頸部、大腿骨骨幹または別の解剖学的構造かどうか、に応じて、その構造の少なくとも３０～４０パーセントが目に見える必要がある。その結果、例えば、大腿骨頭の中心を、たとえその中心自体がＸ線画像内で目に見えない、すなわち、撮像領域の外側にあっても、大腿骨頭のわずか２０パーセント～３０パーセントだけが目に見える場合でさえ、識別することが可能であり得る。大腿骨骨幹の峡部に対しても、たとえ峡部が撮像領域の外側にあって、大腿骨骨幹のわずか３０～５０パーセントだけが目に見えるとしても、同じことが可能である。

画像内で対象の点を検出するために、各画素が潜在的なキーポイントであるかどうかを分類する、ニューラルセグメンテーションネットワークが使用され得る。ニューラルセグメンテーションネットワークは、真のキーポイントに位置付けられた中心をもつ２Ｄガウスヒートマップで訓練できる。ガウスヒートマップは、回転不変であり得るか、または特定の方向における不確かさが許容できる場合、ガウスヒートマップも方向性があり得る。対象の点を画像自体の外側で検出するために、１つの可能なアプローチは、外挿を可能にするために画像自体内に含まれる全ての情報を使用して、元の画像の外側の追加の画素をセグメント化することであり得る。

髄内または頭髄釘を大腿骨内に植え込むための入口点を決定するためのワークフロー例が提示される。一実施形態によれば、第１に、植込み曲線の投影がＸ線画像に対して決定される。この実施形態では、植込み曲線は直線（すなわち、植込み軸）によって近似される。第１のステップとして、現在のＸ線画像が、植込み軸を決定するための必要な要件を満足するかどうかがチェックされ得る。これらの要件は、画像品質、解剖学的構造のある部位の十分な可視性、および解剖学的構造上への少なくとも概ね適切な視野角（ＭＬ）を含み得る。さらに、要件は、前述の条件が満足されるかどうかを含み得る。これらの要件は、画像処理アルゴリズムにより、恐らくはニューラルネットワークを利用して、チェックされ得る。その上、該当する場合、骨片の相対位置が決定されて、それに基づいて、これらの骨片が十分にうまく配置されている（すなわち、解剖学的整復が十分にうまく実行されている）かどうかが判断され得る、それら所望の位置と比較され得る。

さらに詳細には、前述の条件は以下のとおり説明され得る。植込み軸は、少なくとも２つの解剖学的ランドマーク（例えば、これらは大腿骨頭の中心および大腿骨骨幹の峡部であり得る）と関連付けられる、１つの点および方向によって決定される。前述のとおり、ランドマークは、たとえそれがＸ線画像内で目に見えなくても、ニューラルネットワークによって決定され得る。提案された植込み軸が許容可能か否かが、提案された軸から骨輪郭上の様々なランドマークまでの距離をＸ線内で目に見えるとして判断することによりチェックされ得る。例えば、提案された植込み軸は、大腿骨頸峡部の中心近くを通るべきである、すなわち、それは骨表面に近過ぎるべきではない。かかる条件に違反する場合、Ｘ線画像は適切な撮像方向から取得されておらず、異なる撮像方向からの別のＸ線画像が取得される必要がある。異なる視線方向からの別のＸ線画像内で植込み曲線を決定すると、異なる植込み軸となり得、従って、異なる入口点となり得る。本発明は、適切な方向からＸ線画像を取得するために撮像装置を調整する方法も教示する。

インプラントは湾曲を有し得、それは、真っ直ぐな植込み軸は、挿入されたインプラントの投影を近似し得るのみであることを意味することに留意されたい。本発明は代わりに、インプラントの３Ｄモデルに基づいて、インプラントの２Ｄ投影にもっと忠実に従う植込み曲線も決定し得る。かかるアプローチは、植込み曲線を決定するために２つ以上の解剖学的ランドマークと関連付けられた複数の点を使用し得る。

植込み軸の投影は３Ｄ空間内で植込み平面を決定する（または、より一般的には、植込み曲線の投影は、２次元マニホールドを３Ｄ空間内で決定する）。入口点は、この植込み平面を、線によって近似され得、入口点を含むことが分かっている別の骨構造と交差させることによって取得され得る。大腿骨の場合、かかる骨構造は、転子縁（ｔｒｏｃｈａｎｔｅｒ ｒｉｍ）であり得、それは、線によってうまく近似するために十分に狭くて真っ直ぐであり、その上に入口点が位置すると考えられ得る。インプラントに応じて、入口点用の他の位置が、例えば、梨状筋窩上に、可能であり得ることに留意されたい。

転子縁は、横方向Ｘ線画像内で検出可能であり得る。代替として、または追加として、入口点に対するその位置に関する何らかの事前情報が既知である、画像内で識別可能な別の点（例えば、示されたｋワイヤーまたは何らかの他の開口器具の先端）が利用され得る。大腿骨の場合、これに対する例は、触診により、かつ／または異なる視野角（例えば、ＡＰ）から以前に取得されたＸ線が少なくとも１つの寸法または自由度においてｋワイヤーの先端の位置を制限するために、ｋワイヤーの先端が転子縁上に位置していることが分かっている場合であろう。

入口点に対するｋワイヤーの（または何らかの他の開口器具の）先端に関するかかる事前情報を利用する少なくとも３つの方法があり得る。最も容易な可能性は、ｋワイヤーの先端の、植込み軸の投影上への直交投影を使用することであり得る。この場合、異なる角度（例えば、ＡＰ）から取得された後続のＸ線画像内で、ｋワイヤーの先端をＭＬ画像内の情報に基づいて再配置し、恐らくは、再配置後に新しいＭＬ画像を取得した後に、ｋワイヤーの先端が依然として所望の構造（転子縁）上にあるかどうかをチェックすることが要求され得る。別の可能性は、解剖学的事前情報に基づいて構造の投影（ＭＬ画像内では識別可能ではない可能性がある）と植込み軸の投影との間の角度を推定し、ｋワイヤーの先端を、この推定された角度で植込み軸の投影上に斜めに投影することである。最後に、第３の可能性は、ＡＰおよびＭＬ画像の位置合わせされたペアを使用して、ＭＬ画像内で、ｋワイヤーの先端およびＡＰ画像の焦点を結合することによって画定された投影されたエピポーラ線の投影された植込み軸との交点を計算することであり得る。一旦、入口点が取得されると、これは３Ｄ空間内でも植込み軸を決定する。

代替として、植込み平面とのその交点が入口点を決定する、骨構造（ここでは、転子縁）は、大腿近位部の部分的３Ｄ再構築を実行することによっても見つかり得る。一実施形態によれば、この３Ｄ再構築は、その少なくとも２つがｋワイヤーを含む、異なる視線方向からの２つ以上のＸ線画像に基づいて、次のように進められ得る。大腿骨の特徴的な骨縁（少なくとも骨輪郭を含む）が全てのＸ線画像内で検出される。さらに、全てのＸ線画像内で、大腿骨頭が見つかり、円によって近似されて、ｋワイヤーの先端が検出される。画像は今や、特徴的な骨縁、近似された大腿骨頭およびｋワイヤーの先端、ならびに制限されたＣアームの動きに基づき、上で提示されたアプローチを使用して位置合わせされ得る。画像位置合わせの後、少なくとも転子部位を含む３Ｄ表面が再構築され得る。３Ｄ再構築の精度は、骨表面からのｋワイヤーの先端の距離（例えば、ＡＰ画像から分かり得る）に関する事前情報を利用することによって向上され得る。この手順に対する様々な代替手段が可能であり、それらは、実施形態の詳細な説明で記述される。

前述のアプローチでは、植込み曲線が２Ｄ Ｘ線画像内で決定され、次いで、入口点を取得するための様々な代替手段が説明される。代替として、手順全体（すなわち、植込み曲線および入口点の決定）が、骨幹の十分な部分を含む、大腿近位部（または、逆行性釘を使用する場合、大腿遠位部）の３Ｄ再構築に基づき得る。かかる３Ｄ再構築は再度、上で提示された方法を使用して位置合わせされている、複数のＸ線画像に基づき得る。例えば、位置合わせは、大腿骨頭のボールによる近似、および骨幹の円柱または平均骨幹形状による近似を使用し得る。代替として、位置合わせおよび骨再構築（表面ならびに恐らくは、髄管および内皮質のような内部構造も含み得る）の同時の最適化および決定が実行され得る。一旦、大腿骨の関連部分の３Ｄ再構築が取得されると、３Ｄ植込み曲線は、インプラント表面と骨表面との間の距離を最適化することによって適合され得る。３Ｄ植込み曲線と既に決定された３Ｄ骨表面の交差は、入口点をもたらす。

２Ｄ Ｘ線画像に関して植込み曲線の位置および配向が、第１の点に基づいて決定され、植込み曲線は、骨の表面までの第１の距離をもつ骨内の第１の部分、および骨の表面までの第２の距離をもつ骨内の第２の部分を含み、第１の距離は、第２の距離よりも小さく、第１の点は骨の第１の識別可能な構造上に位置付けられ、植込み軸の第１の部分に対して少し離れて位置付けられる。骨の識別可能な構造上に位置付けられ得、かつ植込み曲線の第２の部分に対して少し離れて位置付けられ得る、第２の点が利用され得る。さらに、植込み曲線の位置および配向は、少なくとも１つの更なる点に基づいてさらに決定され得、少なくとも１つの更なる点は骨の第２の識別可能な構造上に位置付けられて、植込み曲線上に位置付けられる。

脛骨内へ釘を植え込むための入口点の決定
上の「３Ｄ表現／再構築の計算」セクションで説明された同時の位置合わせおよび３Ｄ再構築に基づいて、髄内釘を脛骨に植え込むための入口点が決定され得る。

一実施形態によれば、ユーザーが開口器具（例えば、ドリルまたはｋワイヤー）を脛骨の表面上に、その近位部の任意の点であるが、理想的には推測される入口点の近くに置くことを要求することによって、精度を向上させて、曖昧さを解決することが提案される。ユーザーは、脛骨の近位部の横方向画像および少なくとも１つのＡＰ画像を取得する。脛骨の３Ｄ再構築は、開口器具の先端は画像間で動かないという事実を考慮に入れて、脛骨の統計的モデルを全てのＸ線画像のその投影に一緒に適合させることによって計算され得る。精度は、ユーザーが、異なる（例えば、略ＡＰ）撮像方向からの２つ以上の画像、および場合によっては別の（例えば、横方向）画像も取得することを要求することによって更に向上され得る。いかなる重複決定も、開口器具の先端の考えられる動きを検出するのを可能にし、かつ／または開口器具の先端の検出を検証し得る。

脛骨の３Ｄ再構築に基づき、本システムは、例えば、適合された統計的モデルの平均形状上で入口点を識別することによって、入口点を決定し得る。順行性脛骨釘用の入口点を画像だけに基づいて（すなわち、触診なしで）見つけるためのかかるガイダンスは、外科医が、膝蓋骨上アプローチ（ｓｕｐｒａｐａｔｅｌｌａｒ ａｐｐｒｏａｃｈ）を実行するのを可能にし得、それは一般に、好ましくあり得るが、慣例的には、入口点における骨の触診が可能でないという欠点を有することに留意されたい。

上腕骨内へ釘を植え込むための入口点の決定
上で提示された提案された画像位置合わせおよび再構築技法の更なる用途は、髄内釘を上腕骨に植え込むための入口点の決定であり得る。

一般に、Ｘ線画像を処理するための処理装置を含むシステムは、前述の目的を達成するためにＸ線画像に基づく上腕骨手術を支援するために利用され得る。ソフトウェアプログラム製品は、処理装置上で実行される場合、本システムに、次のステップを含む方法を実行させる。まず、第１の撮像方向で生成されていて、上腕骨の近位部を示している、第１のＸ線画像が受信され、第２の撮像方向で生成されていて、上腕骨の近位部を示している、第２のＸ線画像が受信される。それらの画像は、上腕骨幹部の近位部ならびに関節面および更に関節窩、すなわち、肩に補完的な関節構造をもつ上腕骨頭、を含み得る。第２の撮像方向は典型的には、第１の撮像方向とは異なることに留意されたい。次いで、（ｉ）第１および第２のＸ線画像が位置合わせされ、（ｉｉ）両方の画像内で上腕骨頭の２Ｄ輪郭の少なくとも一部の近似が決定され、（ｉｉｉ）近似された２Ｄ輪郭ならびに第１および第２の画像の位置合わせに基づく上腕骨頭の３Ｄ近似が決定されて、（ｉｖ）第１および第２のＸ線画像内の少なくとも３つの異なる点の総計の２Ｄ画像座標が決定される。最後に、解剖頸の近似が、少なくとも３つの決定された点に基づく上腕骨頭の３Ｄ近似上の曲線として決定される。少なくとも３つの点は、決定された曲線上にある必要はないことに留意されたい。第１の３つの点と同じ平面上にない、解剖頸の追加の点を決定することが可能な場合、解剖頸の更にもっと正確な近似が決定され得る。これは、解剖頸の回転位置、および従って、肩関節軸の周りの上腕骨頭の決定を可能にし得る。関節軸の周りの回転位置を決定するための別の方法は、大結節および／または小結節の位置を、２つのうちの少なくとも１つが近位骨片に対して固定位置にある場合に、検出することであり得る。別の代替手段は、手術前に取得された３Ｄ情報（例えば、ＣＴスキャン）を使用して、手術中のＸ線画像に基づく近位骨片の３Ｄ再構築を生成することであり得る。この方法は、前述した方法と組み合わされ得る。

一実施形態によれば、上腕骨頭の２Ｄ輪郭の少なくとも一部の近似は、２Ｄ円または２Ｄ楕円であり得る。さらに、上腕骨頭の３Ｄ近似は、３Ｄボールまたは３Ｄ楕円体であり得る。解剖頸の近似は、３Ｄ空間内の円または楕円であり得る。

一実施形態によれば、更なるＸ線画像が受信され得、第１のＸ線画像、第２のＸ線画像、および更なるＸ線画像から成る群の中からのＸ線画像の少なくとも２つ内の上腕骨幹軸の近似が決定され得る。第１および第２のＸ線画像の位置合わせと一緒に、少なくとも２つのＸ線画像内の近似された上腕骨幹軸に基づいて、上腕骨の３Ｄ幹軸の近似が決定され得る。

開示される方法の一実施形態によれば、入口点および／または骨折した上腕骨の近位骨片の転位（ｄｉｓｌｏｃａｔｉｏｎ）が次いで、近似された解剖頸および近似された３Ｄ幹軸および／または上腕骨関節の近似された関節窩に基づいて決定され得る。その結果、植込み曲線が、入口点および頭の転位に基づいて近位骨片内で決定され得る。さらに、近位骨片を整復するための情報が提供され得る。

一実施形態によれば、少なくとも２つのＸ線画像が位置合わせされ得、これら２つのＸ線画像は第１のＸ線画像、第２のＸ線画像、および更なるＸ線画像からの２つであり得る。Ｘ線画像は、上腕骨頭のモデルに基づき、かつ上腕骨頭に対して固定の３Ｄ位置を有する１つの追加の点に基づき、位置合わせされ得、その点は、少なくとも２つのＸ線画像内で識別および検出される。１つの追加の点は、器具の先端であり得、上腕骨頭の関節表面上に位置付けられ得る。この場合、その点と上腕骨頭の中心との間の距離がボールによって近似された上腕骨頭の半径と等しいという事実が、Ｘ線画像の位置合わせの精度を高めるために利用され得る。

以下で、本開示に従った方法の態様がさらに詳細に説明される。肩関節内に位置している上腕骨頭は、ボール（球体）によって近似され得る。以下で、特に指定のない限り、上腕骨はかかるボールによって近似され、それは、Ｘ線画像内の上腕骨の投影の円による近似を意味することが理解される。従って、「中心」および「半径」は常に、かかる近似しているボールまたは円を指す。上腕骨頭の、例えば、楕円体による、他の単純な幾何学的近似を使用することも可能であり得ることに留意されたい。その場合、解剖頸は楕円によって近似されるであろう。

以下で、入口点決定のためのワークフロー例を説明する。上腕骨内で入口点を決定する際の複雑な問題は、上腕骨釘で治療される骨折はしばしば外科頸に沿って起こり、従って、上腕骨頭の位置を変えるということである。正しい整復では、上腕骨頭の中心は上腕骨幹軸に近接すべきである。一実施形態によれば、これは、上腕骨近位を示す軸方向Ｘ線画像内で検証され得る。上腕骨頭の中心が幹軸に十分に近接していない場合、ユーザーは、上腕骨頭の関節軸（検出可能ではない可能性がある）の周りの回転を補正するために、けん引力を腕に対して遠位方向に印加するように助言される。近似の入口点が次いで、頭の中心の略２０％内側の幹軸上（前述の典型的な軸方向Ｘ線画像内を意味する）に提案される。ユーザーは次いで、開口器具（例えば、ｋワイヤー）をこの提案された入口点上に置くように要求される。代替として、前述のとおり、位置合わせの精度を高めるために、本システムは、器具の先端が上腕骨頭の球状部分上に位置していることを確実にするために、ユーザーに開口器具を意図的に推測される入口点の内側（軸方向Ｘ線画像内の上腕骨頭の示された中心の３０～８０パーセント上を意味する）に置くように要求する。本システムは、新しい軸方向Ｘ線画像内で上腕骨頭およびこの器具の先端を（例えば、ニューラルネットワークの使用によって）検出し得る。

ユーザーは次いで、一定のＣアームの動き（例えば、Ｃ軸の周りの回転および追加の平行移動）だけを許容して器具の先端を定位置に残しておく（器具の傾斜は変えることが許可される）、ＡＰ画像を取得するように指示される。上腕骨頭および器具の先端が再度、検出される。軸方向およびＡＰ画像は次いで、上腕骨頭を近似しているボールおよび器具の先端に基づき、「２つ以上のＸ線画像の３Ｄ位置合わせ」のセクション内で前述のとおり、位置合わせされ得る。

肩関節の関節面の限界を定める曲線は、解剖頸（上腕骨の解剖頸）と呼ばれる。解剖頸は、上腕骨の球状部分の限界を定めるが、それは典型的には、Ｘ線画像内で外科医によって識別することは不可能である。それは、平面を、上腕骨頭を近似しているボールと交差させることによって取得される、３Ｄ空間内の２Ｄ円によって近似され得、その平面は、上腕骨の幹軸に対して傾斜している。球状の関節面は、上向き（外反）に背側へ（患者の腕を肩から下向きに胸と平行に弛緩させて吊して）配向される。３つの点は、この交差する平面を画定するために十分である。軸方向Ｘ線画像およびＡＰ Ｘ線画像は各々、解剖頸上の２つの点、すなわち、上腕骨の球状部分の限界を定める円の弧の始点および終点、を決定するのを可能にし得る。これはそれ故に、重複決定される問題であり：２つのＸ線画像に基づき、４つの点が決定され得、一方、交差する平面を画定するために３つの点だけが必要である。追加のＸ線画像が使用される場合、問題はさらに重複決定されるようになり得る。この重複決定は、交差する平面のさらに正確な計算を可能にし得るか、または、１つの点が、例えば、それが塞がれているので、決定されない可能性がある状況に対処するのを可能にし得る。

決定された平面を、上腕骨頭を近似しているボールと交差させることにより、解剖頸の近似を決定する場合、様々な修正が可能であり得ることに留意されたい。例えば、交差する平面は、上腕骨頭上の解剖頸のより正確な位置を構成するために、横方向にシフトされ得る。代替として、または追加として、解剖頸を近似している円の半径が調整され得る。上腕骨頭を近似するため、および／または解剖頸を近似するために、より多くの自由度をもつ幾何モデルを使用することも可能であり得る。

入口点は、３Ｄ空間内で幹軸と骨表面の交点に最も近い解剖頸上の点となるように取られ得るか、またはそれは、その点から内側方向にユーザー定義された距離に位置付けられ得る。このように決定された解剖頸および入口点は、現在のＸ線画像内でオーバーレイとして表示され得る。この入口点がＸ線画像内で頭を近似している円に極めて近い場合、これはｚ座標において潜在的に大きな不正確さとなるであろう。かかる状況を緩和するために、提案された入口点がＸ線画像内で頭の内部に向かって更に動くように、Ｃアームを回転させるための指示が与えられ得る。これは、いずれの場合でも、入口点が、近似している円に近接して置かれるＸ線画像を取得することは、機械的制約に起因して、困難であり得るので、好都合であり得る。言い換えれば、軸方向とＡＰ画像との間のＣアームの回転は、例えば、６０度であり得、それは、９０度回転よりも手術のワークフローにおいて達成がより容易であり得る。

このワークフローの更なる詳細、任意選択の実施態様、および拡張が以下の実施形態の詳細な説明で記述される。

物体の準リアルタイムの継続的３Ｄ位置合わせを可能にする更なる位置の特定方法

本開示は、その幾何形状が、その撮像の深さに関する更なる情報なしで位置の特定不能であり得るような物体（例えば、ドリルまたは直径が小さいインプラント）の位置を特定可能にし、かつ釘、骨、またはそれらの組合せなどの別の物体に対するかかる物体の３Ｄ位置および３Ｄ配向を決定するため（すなわち、これらの物体の３Ｄ位置合わせを提供するため）の、２つの更なる方法を教示する。第１の方法は、物体（例えば、ドリル）の２Ｄ－３Ｄマッチを必要とせず、２つのＸ線画像内でのこの物体の点（例えば、ドリルの先端）の検出で十分であり得る。例えば、穴開け中に軟組織保護スリーブが使用される場合、ドリルの２Ｄ－３Ｄマッチは、Ｘ線画像取得の前に、ドリルを止めてスリーブを引っ込めることを要求し得、それは退屈で間違いを起こし易い可能性があるので、これは、好都合であり得る。正確な２Ｄ－３Ｄマッチのために、この引っ込めは、ドリルが既に骨に入っている場合でさえ、そうでなければ、ドリルの先端がＸ線画像内で十分に目に見えない可能性があるために、必要であり得る。提示される方法は、ドリルの先端が回転している可能性があり、スリーブを引っ込めことがＸ線画像取得のために必要とされない可能性があるので、好都合であり得る。

ここで提示される第２の方法は、Ｃアームを回転させることも再調整することも（たとえＣアーム位置の変更が禁止されていなくても）必要としない。例えば、穴開けシナリオでは、これは、穴開けプロセス中はいつでも、実際の穴開け軌道を継続的に検証すること、および外科医への準リアルタイム（ＮＲＴ）のフィードバックと共に、それをＸ線画像に基づいて要求された軌道と比較することを可能にし得る。

第１の方法では、物体（例えば、ドリルの先端）の他の物体（例えば、釘）に対する識別可能な点の３Ｄ位置が、例えば、異なる視線方向からの２つのＸ線画像を取得し（これら２つの画像の取得間にドリルの先端を動かすことなく）、両方のＸ線画像内でドリルの先端を検出して、既知の釘の一致に基づきそれらを位置合わせし、次いで、３Ｄ釘座標系内のそれぞれのドリルの先端位置を通るエピポーラ線の最善の近似の点を計算することによって、決定され得る。物体の軸が、他の物体（例えば、釘）に対するその３Ｄ座標が既知である、特定の点を含む（例えば、ドリル軸が骨表面上の入口点、すなわち、穴開け開始時におけるドリルの先端の位置、を通ることが分かっている）場合、物体（例えば、ドリル）の相対３Ｄ配向が決定され得る。物体の相対３Ｄ配向を計算する場合、ドリルの潜在的な屈曲およびそれぞれの部位におけるＸ線画像の歪みが考慮に入れられ得る。

第２の方法は、物体（例えば、ドリル）のｚ座標に関する曖昧さを、物体の座標系内で既知の軸（例えば、ドリル軸）が、他の物体（例えば、釘）に対するその３Ｄ座標が既知である点（例えば、入口点、すなわち、穴開けの開始点）を通るという事前情報を組み込むことによって取り除く。再度、かかる軌道の計算では、ドリルの潜在的な屈曲およびそれぞれの部位におけるＸ線画像の歪みが考慮に入れられ得る。

実際の穴開け軌道が要求される穴開け軌道と一致しない場合（すなわち、遠位固定の事例では、ドリルは、それがその現在の経路を辿り続けた場合、釘の固定穴を逃し得る）、本システムは、ユーザーに、動力器具を、回転ドリルビットを用いて、指定された角度だけ傾けるように指示を与え得る。それを行うことにより、ドリルビットは、海綿骨を通して脇路を広げ、結果として正しい軌道に戻る。これは骨内への入口穴を広げ、従って、元の入口点の位置を動かし得るので、かかる補正は、この追加の不確実さを考慮に入れる必要があり得る。

本方法は、プレート内の穴と釘内の穴との間のネジ接続を用いたプレートと釘の組合せから成るインプラントに対処するのも可能にし得る。かかるインプラントタイプに対するＮＲＴガイダンスが以下のように進み得る。関連する解剖学的構造の３Ｄ再構築に基づき、組み合わされたインプラントに対する理想的な位置が計算されて、プレート位置の良好さ（例えば、表面一致）および釘位置の良好さ（例えば、狭い部分における骨表面からの十分な距離）をトレードオフし得る。計算された位置に基づき、骨に入る釘のための入口点が計算され得る。釘の挿入後、組み合わされたインプラントの理想的な位置が、釘軸の現在の位置に基づいて再計算され得る。本システムは、釘の最終位置および、該当する場合、サブインプラント（例えば、ネジ）および、同時に、プレート（それは、多かれ少なかれ、釘に強固に結合される）の投影された最終位置が最適化されるように、外科医に釘を回転および平行移動させるためのガイダンスを提供し得る。釘の最終位置に達した後、本システムは、Ｘ線画像内で（その最終目的地にまだ達していない）プレートの位置を突き止め、既に挿入された釘によって課された制約を考慮に入れることにより、プレートを最適に位置決めするための支持を提供し得る。次に、プレートの穴を通して穴開けが実行され得る。この穴開けは、重要なステップであり、穴開けは、釘の穴にも達する必要があり、異なる開始点からの穴あけ直しはできない可能性があるので、ミスドリルは容易に修正できない。プレートが以前に（釘を通らないネジを使用して）既に固定されている場合、穴あけの開始点および従って、入口点も決定されている。かかる場合、ドリル角度の検証および補正は、必要であれば、複数回、可能であり得る。

プレート穴が、特定の角度での穴開けだけを可能にする場合、釘の実際の位置に基づくプレートの位置決めは決定的であり得る。かかる場合、調整のための更なる余地がなく、本システムは、釘の現在の位置に基づくプレートの位置決めのためのガイダンスを提供し得る。これは、プレートの釘との位置合わせに単に基づく穴開け中に、穴開け軌道を導出するのを可能にし得、それは、次いで、たとえＸ線画像内でドリルの小さな部分しか目に見えなくても（ドリルの先端はまだ要求され得る）、ドリルの位置を決定するのを可能にし得る。

提案されたシステムは、継続的なガイダンスを準リアルタイムで外科医に提供し得る。位置合わせが十分に迅速である場合、Ｃアームからの連続的なビデオストリームでさえ評価され得、外科医に対する疑似連続的なナビゲーションガイダンスとなる。現在のＸ線画像内の物体の相対３Ｄ位置および配向を計算して、これらを所望の立体配座（ｃｏｎｓｔｅｌｌａｔｉｏｎ）と比較することにより、所望の立体配座を達成する方法に関する指示が外科医に与えられ得る。必要な調整または動きが、外科医によってフリーハンドで実行され得るか、または外科医は、機械的に、かつ／またはセンサーを用いてサポートされ得る。例えば、ドリル角度を調整するのをサポートするために、加速度センサーを動力器具に取り付けることが可能であり得る。別の可能性は、計算された必要な調整に従って、物体の１つ以上を位置付け得るロボットを使用することであり得る。本システムのＮＲＴフィードバックに基づき、調整はいつでも再計算されて、必要であれば修正され得る。

整復サポート
本発明の別の目的は、骨片の解剖学的に正しい整復をサポートすることであり得る。典型的には、外科医は、骨折の骨片を、可能な限り自然な相対配置で整復しようとする。更に改善された結果のために、任意のインプラントを固定のために挿入する前または後に、かかる整復が解剖学的に正しいかどうかをチェックすることは対象であり得る。

整復は、対象の骨の３Ｄ再構築を計算することによってサポートされ得る。かかる３Ｄ再構築は、骨全体の完全な再構築である必要はなく、全ての態様において正確である必要はない可能性がある。特定の測定だけが抽出される事例では、３Ｄ再構築は、この測定の十分に正確な決定を可能にするために十分に正確な必要があるだけである。例えば、大腿骨の前捻角（ＡＶ）が決定される場合、顆状突起および頚部において十分に正確な大腿骨の３Ｄ再構築を有することは十分であり得る。対象の測定の他の例は、髄内釘の挿入前または後に生じる大腿骨の近位骨片の内反回転がしばしばあるので、脚の長さ、脚の変形の度合い、湾曲（大腿骨の前湾曲のような）または頭－頸－骨幹（ＣＣＤ）角度を含み得る。一旦、対象の測定が決定されると、それは、適切なインプラントを選択するために使用され得るか、またはそれは、所望の値と比較され得、その所望の値は、データベースから導出されるか、もしくは、例えば、手術を受けている脚を他方の健康な脚と比較することによる、患者固有であり得る。所望の値、例えば、所望の前捻角を達成する方法に関する指示が外科医に与えられ得る。

ある測定を手術中ずっと、それを利用可能なＸ線画像から自動的に計算することによって監視すること、および恐らくは、その測定が所望の値から過度に外れている場合に外科医に警告することも対象であり得る。

いくつかの事例では、３Ｄ再構築は、単一のＸ線画像からでさえ、特に、視線方向が決定でき（例えば、ＬＵ１００９０７Ｂ１に基づいて）、かつ特定の測定（例えば、ＣＣＤ角度）だけが対象である場合、可能であり得る。しかし、一般に、異なる視線方向から取得され、かつ／または骨の異なる部位を示している、２つ以上のＸ線画像は、３Ｄ再構築の精度を高め得る（前述の「３Ｄ表現／再構築の計算」セクションを参照）。３Ｄ再構築は、、目に見えない部分が、骨折に起因して目に見える部分に関して変位されていないという条件で、または転位パラメータが既に分かっているか、もしくは別の方法で決定できるような変位がある事例では、Ｘ線画像内で目に見えないか、もしくは部分的にしか見えない骨の部分でさえ計算され得る。例えば、大腿骨の統計的３Ｄモデルに基づき、大腿骨頭は、大腿骨頭の大部分が目に見えない場合、ＭＬおよびＡＰ画像のペアから十分に正確に再構築され得る。別の例として、大腿骨の遠位部は、大腿骨骨幹が折れていない場合、２つの近位Ｘ線画像に基づいて再構築され得る。言うまでもなく、遠位部の再構築の精度は、その遠位部を示している、更なるＸ線画像も利用可能な場合、高めることができる。

２つ以上のＸ線画像に基づく骨の３Ｄ再構築では、これらのＸ線画像が、前述の「２つ以上のＸ線画像の３Ｄ位置合わせ」セクション内で説明されるアプローチの１つに従い、３Ｄ再構築を計算する前に、位置合わせができる場合、精度がさらに高められ得る。骨の３Ｄ再構築が、骨の異なる部分を示す２つ以上のＸ線画像（例えば、大腿骨の近位部を示す２つのＸ線画像およびこの大腿骨の遠位部を示す１つのＸ線画像）に基づいて計算される事例では、異なる部分を示しているＸ線画像の３Ｄ位置合わせは、各骨の部分に対する少なくとも１つのＸ線画像内で目に見える既知の３Ｄモデル（例えば、既に植え込まれた釘）をもつ物体に基づき、かつ／またはそれらのＸ線画像の取得間での許容可能なＣアームの動きを制限する（ＬＵ１０１００９Ｂ１を参照）ことにより、可能であり得る。

ＡＶ角度は、インプラントがまだ挿入されていない場合に、患者を切開する前または後のいずれかに（例えば、転子貫通骨折の整復において背部の間隙（ｄｏｒｓａｌ ｇａｐ）を検出するために）、決定する必要があり得る。かかる事例では、大腿近位部の２つ以上の画像（例えば、ＡＰおよびＭＬ）の位置合わせが、次のとおり、前述の「２つ以上のＸ線画像の３Ｄ位置合わせ」セクションの方針に沿って進められ得る。釘を挿入するための入口点を決定する場合、ｋワイヤーなどの開口器具（その直径が分かっている）が推測される入口点上に置かれ、その結果Ｘ線画像内で検出され得る。その先端の位置に基づき、検出された大腿骨頭と一緒に、画像が位置合わせされ得る。ｋワイヤーのような更なる物体がＸ線画像内で目に見えない事例では、画像の位置合わせは、依然として画像間でのＣアームの特定の動きを要求することによって実行され得る。例えば、本システムは、ＣアームのＣ軸の周りの７５度の回転を要求し得る。この回転が十分な精度で実行される場合、画像の位置合わせも十分な精度で可能である。骨の重なり合わない部分（例えば、大腿骨の遠位および近位部）は、一実施形態で説明されるように、許容されるＣアームの動きを平行移動だけに制限することによって位置合わせされ得る。

３Ｄ再構築は、必ずしもＡＶ角度を決定する必要はないことに留意されたい。１つの更なる点を、例えば、頸軸の近くで決定することにより、２Ｄアプローチに基づいてＡＶ角度を決定するための十分な情報があり得る。Ｘ線画像内で検出された２Ｄ構造（例えば、大腿骨の近位および遠位部内の構造）の位置合わせは、前述の方法を採用することによって行われ得る。

他の事例では、例えば、骨の正しい回転角度を決定するときに、隣接する骨または骨構造を考慮に入れることは有益であり得る。例えば、骨折した脛骨の場合、その近位部の配向の評価は、大腿骨顆部、膝蓋骨、および／または腓骨を考慮し得る。類似のコメントがその遠位部の回転位置の評価に適用される。脛骨の腓骨または他の骨構造（例えば、足内の関節の重なり合う縁）に対する相対位置は、遠位脛骨への視線方向を明瞭に示し得る。全てのこれらの評価は、ニューラルネットワークに基づき得、それは、恐らくは、各考慮される構造に対する（正しい検出の）信頼値に基づいて、同時最適化を実行し得る。かかる評価の結果は、患者または四肢位置決め（ｅｘｔｒｅｍｉｔｙ ｐｏｓｉｔｉｏｎｉｎｇ）に関する知識と組み合わされて、骨の現在の整復を評価し得る。例えば、上腕骨の事例では、本システムは、患者の橈骨を患者の身体と平行に位置付けるように外科医に指示し得る。整復評価のために、Ｘ線画像内でこれらの構造を検出することによって、ユーザーが、上腕骨関節面の関節窩に対する中心位置を達成するのをガイドすることはその結果、十分であり得る。

Ｘ線量の低減
全体的な目的は、患者および手術室スタッフに対するＸ線被ばくの低減であり得ることが心に留めておかれ得る。本明細書で開示される実施形態に従った骨折治療中に、可能な限り少ないＸ線画像が生成されるべきである。例えば、遠位骨片に対する近位骨片の位置決めをチェックするために取得された画像は、入口点の決定のためにも使用され得る。別の例として、入口点の決定プロセスで生成された画像は、ＡＶ角度またはＣＣＤ角度を測定するためにも使用され得る。

一実施形態によれば、Ｘ線画像内で目に見える完全な解剖学的構造を有する必要はないので、Ｘ線被ばくも低減され得る。解剖学的構造、インプラント、手術道具、および／またはインプラント用システムの部品などの、物体の３Ｄ再構築または位置特定は、たとえそれらがＸ線画像内で目に見えないか、または部分的にしか見えなくても、提供され得る。一例として、たとえ投影画像が大腿骨頭を完全に示していなくても、それは依然として完全に再構築され得る。別の例として、大腿骨の遠位部を、遠位部が完全には示されていない、１つ以上の近位画像に基づいて再構築することが可能であり得る。

いくつかの事例では、解剖学的構造と関連付けられた対象の点、例えば、大腿骨頭の中心または大腿骨骨幹上の特定の点、を決定することが必要であり得る。かかる場合、対象の点がＸ線画像内に示されていることは必要ではない可能性がある。これは、かかる対象の点の決定における不確かさまたは不正確さが、結局あまり重要ではない寸法または自由度に影響を及ぼす場合、なおさら当てはまる。例えば、大腿骨頭の中心点および／または大腿骨骨幹の軸上の特定の点は、Ｘ線画像の外側に位置し得るが、例えば、ディープニューラルネットワークアプローチに基づき、本システムは依然として、例えば、植込み曲線の方向における不正確さは計算された植込み曲線に大きな影響を与えない可能性があるので植込み曲線を十分な精度で計算するために、それらの点を決定してそれらを利用することが可能であり得る。

一実施形態によれば、本システムの処理装置は、解剖学的構造の一定の必要最小限の割合（例えば、２０％）を示しているＸ線投影画像に基づき、解剖学的構造および／またはその解剖学的構造と関連付けられた対象の点を決定するように構成され得る。解剖学的構造の必要最小限に満たない部分しか目に見えない（例えば、２０％未満）場合、本システムは、ユーザーが所望の表示を得るのをガイドし得る。一例として、大腿骨頭が全く目に見えない場合、本システムは、現在のＸ線投影画像内の大腿骨骨幹の外観に基づいて計算された方向にＣアームを動かすための指示を与え得る。

３Ｄモデルの２Ｄ投影画像とのマッチング
処理されたＸ線画像の画像データは、撮像装置から、例えば、ＣアームもしくはＧアームベースの２Ｄ Ｘ線装置から直接、または代替として、データベースから受信され得ることに留意されたい。Ｘ線投影画像は、対象の、特に、骨の解剖学的構造を表し得る。骨は、例えば、手または足の骨であり得るが、具体的には、大腿骨および脛骨のような、下肢の、および上腕骨のような、上肢の長骨であり得る。画像は、骨インプラントまたは手術道具、例えば、ドリルもしくはｋワイヤーのような人工物体も含み得る。

本開示は、「物体」と「モデル」を区別する。用語「物体」は、実際の物体、例えば、骨もしくは骨の部分、または別の解剖学的構造に対して、または髄内釘のようなインプラント、骨プレートもしくは骨ネジに対して、またはスリーブもしくはｋワイヤーのような手術道具に対して使用される。「物体」は実際の物体の部分（例えば、骨の一部）だけも記述し得るか、またはそれは、実際の物体の組立体であり、従って、部分物体（ｓｕｂ－ｏｂｊｅｃｔ）から成り得る（例えば、物体「骨」は骨折し得、従って部分物体「骨折した骨部分」から成り得る）。

他方、用語「モデル」は、物体の仮想表現に対して使用される。例えば、インプラントの形状および寸法を定義するデータセットは、インプラントのモデルを構成し得る。別の例として、診断手順中に例として生成されるような解剖学的構造の３Ｄ表現が実際の解剖学的物体のモデルとして取られ得る。「モデル」は、特定の物体、例えば、特定の釘を記述し得るか、またはそれは、幾分ばらつきを有する、大腿骨などの、物体のクラスを記述し得ることに留意すべきである。後者の場合、かかる物体は、例えば、統計的形状または外観モデルによって記述され得る。特定のインスタンスの３Ｄ表現を、取得されたＸ線画像内に示されている物体のクラスから見つけることが、次いで本発明の目的であり得る。例えば、取得されたＸ線画像内に示されている大腿骨の３Ｄ表現を大腿骨の一般的な統計的形状モデルに基づいて見つけることが目的であり得る。決定論的可能性の離散集合を含むモデルを使用することも可能であり得、本システムは次いで、これらのうちのどれが画像内の物体を最も良く記述するかを選択するであろう。例えば、データベース内にいくつかの釘があり得、アルゴリズムは次いで、どの釘が画像内に示されているかを識別するであろう。

モデルは、実際の物体の完全な、もしくは部分的な３Ｄモデルであり得るか、またはそれは、例えば、大腿骨または上腕骨頭が、３Ｄではボール、および２Ｄ投影画像では円によって近似できるという事実、または骨幹が幹軸によって記述される方向を有するという事実などの、物体の一定の幾何学的態様（それは３未満の次元でもあり得る）だけを記述し得ることに留意されたい。

３Ｄ表現は、実際はコンピュータデータのセットであるので、そのデータから仮想的に表現された物体の幾何学的態様および／または寸法のような特定の情報（例えば、軸、輪郭、湾曲、中心点、角度、距離、または半径）を抽出することは容易に可能である。例えば、釘の幅がモデルデータから分かっているので、スケールが１つの物体に基づいて決定されている場合、これは、かかる物体が類似の撮像の深さで位置している場合、別の示されていて、潜在的に未知の物体の幾何学的態様または寸法を測定するのも可能にし得る。１つの物体の撮像の深さが分かっていて（例えば、その物体が十分に大きいか、またはＸ線検出器のサイズおよび像平面と焦点との間の距離が分かっているので）、２つの物体間の撮像の深さにおける差に関する情報がある（例えば、解剖学的知識に基づく）場合、異なる撮像の深さにおける異なる物体のサイズを切片定理に基づいて計算することさえ可能であり得る。

一実施形態によれば、Ｘ線画像内の物体は、Ｘ線投影画像内で自動的に分類および識別される。しかし、物体は、Ｘ線投影画像内で手動でも分類および／または識別され得る。かかる分類または識別は、本装置により、本装置によって認識された構造を自動的に参照することによってサポートされ得る。

物体のモデルをＸ線画像内に示されたその投影とマッチングすることは、投影の選択された特徴（例えば、輪郭または特徴的な縁）だけを考慮し得るか、またはそれは、全体的な外観を考慮し得る。輪郭または特徴的な縁は、ニューラルセグメンテーションネットワークを使用して決定され得る。Ｘ線画像内の物体の外観はとりわけ、Ｘ線照射の減衰、吸収、および偏向によって決まり、それらは同様に、物体の材料によって決まる。例えば、鋼鉄製の釘は一般に、チタン製の釘よりも多くのＸ線照射を吸収し、それは、その輪郭内の釘の投影画像の外観に影響を及ぼし得るだけでなく、輪郭自体、例えば、釘の穴の輪郭の形状も変え得る。この影響の強さは、Ｘ線強度および、Ｘ線ビームが通過する必要がある、物体を取り囲んでいる組織の量によっても決まる。別の例として、軟組織と硬組織との間の遷移は、かかる遷移はＸ線画像内で暗い領域と明るい領域との間に縁を生じるので、Ｘ線画像内で識別可能であり得る。例えば、筋肉組織と骨組織との間の遷移は識別可能な構造であり得るが、内皮質、海綿様内側骨組織と硬皮質の外側骨組織との間の遷移も、Ｘ線画像内の特徴として識別可能であり得る。本開示で骨の輪郭が決定されるときはいつでも、かかる輪郭は内皮質または骨形状の任意の他の識別可能な特徴でもあり得ることに留意されたい。

一実施形態によれば、決定論的モデルによって記述された物体に対して、２Ｄ－３Ｄマッチングが、Ｌａｖａｌｌｅｅ Ｓ．，Ｓｚｅｌｉｓｋｉ Ｒ．，Ｂｒｕｎｉｅ Ｌ.による（１９９３）Ｍａｔｃｈｉｎｇ ３－Ｄ ｓｍｏｏｔｈ ｓｕｒｆａｃｅｓ ｗｉｔｈ ｔｈｅｉｒ ２－Ｄ ｐｒｏｊｅｃｔｉｏｎｓ ｕｓｉｎｇ ３－Ｄ ｄｉｓｔａｎｃｅ ｍａｐｓ，ｉｎ Ｌａｕｇｉｅｒ Ｃ．（ｅｄｓ）：Ｇｅｏｍｅｔｒｉｃ Ｒｅａｓｏｎｉｎｇ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｃｔｉｏｎ．ＧＲＰＡ １９９１，Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，ｖｏｌ．７０８．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇによって説明された方針に沿って進められ得る。このアプローチでは、画像歪み（例えば、画像増強管によって取り込まれたピロー効果（ｐｉｌｌｏｗ ｅｆｆｅｃｔ））または釘の屈曲などの追加の影響が、追加の自由度をパラメータベクトル内に導入することによって、または適切に調整されたモデルを使用することによって、吸収され得る。

一実施形態によれば、統計的形状または外観モデルによって記述された物体に対して、仮想投影の実際の投影に対するマッチングが、Ｖ．Ｂｌａｎｚ，Ｔ．Ｖｅｔｔｅｒ（２００３），Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎs ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅの方針に沿って進められ得る。この論文では、統計的、モーフィング可能な３Ｄモデルが２Ｄ画像に適合される。このために、輪郭および外観に対する統計的モデルパラメータならびにそれぞれの投影に対するカメラおよびポーズパラメータが決定される。別のアプローチは、Ｘ．ＤｏｎｇおよびＧ．Ｚｈｅｎｇ，Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｐｒｏｘｉｍａｌ Ｆｅｍｕｒ Ｃｏｎｔｏｕｒｓ ｆｒｏｍ Ｃａｌｉｂｒａｔｅｄ Ｘ－Ｒａｙ Ｉｍａｇｅｓ Ｕｓｉｎｇ ３Ｄ Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌｓ，ｉｎ Ｔ．Ｄｏｈｉ ｅｔ ａｌ．（Ｅｄｓ．），Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，２００８に従うことであり得る。３Ｄモデルを、その仮想投影がＸ線画像内の物体の実際の投影と一致するような方法で変形させることは、撮像方向（それは、Ｘ線ビームが物体を通過する方向を記述する）の計算も可能にする。

Ｘ線画像を表示するとき、幾何学的態様および／または寸法が投影画像内にオーバーレイとして示され得る。代替として、または追加として、モデルの少なくとも一部が、投影画像内に、例えば、透明な可視化または３Ｄレンダリングとして、示され得、それは、モデルおよび、従ってユーザーによって撮像された物体の構造的な態様の識別を容易にし得る。

総評
Ｃアームの回転および平行移動軸の定義に関して、図２５が参照される。この図では、Ｘ線源はＸＲによって示されており、文字Ｂによって示された回転軸は垂直軸と呼ばれ、文字Ｄによって示された回転軸はプロペラ軸と呼ばれ、文字Ｅによって示された回転軸はＣ軸と呼ばれる。一部のＣアームモデルに対して、軸Ｅは軸Ｂにもっと近い可能性があることに留意されたい。軸Ｄと中心Ｘ線ビーム（ＸＢでラベル付け）との間の交点は、Ｃアームの「Ｃ」の中心と呼ばれる。Ｃアームは、文字Ａによって示された方向に沿って上下に動かされ得る。Ｃアームは、文字Ｃによって示された方向に沿っても動かされ得る。Ｃアームの「Ｃ」の中心からの垂直軸の距離は、Ｃアームによって異なり得る。Ｃアームの代わりにＧアームを使用することも可能であり得ることに留意されたい。

ニューラルネットは、それが適用されるデータと比較可能である多数のデータに基づいて訓練され得る。画像内の骨構造の評価の場合、ニューラルネットは、対象の骨の多数のＸ線画像に基づいて訓練されるべきである。ニューラルネットは、シミュレートされたＸ線画像にも基づいて訓練され得ることが理解されるであろう。

一実施形態によれば、２つ以上のニューラルネットワークが使用され得、ニューラルネットの各々は、所望のソリューションを達成するために必要なサブステップに対して明確に訓練され得る。例えば、第１のニューラルネットは、２Ｄ投影画像内の解剖学的構造を分類するためにＸ線画像データを評価するように訓練され得、他方、第２のニューラルネットは、２Ｄ投影画像内のその構造の特徴的な縁を検出するように訓練され得る。第３のネットは、大腿骨頭の中心のような特定のキーポイントを判断するように訓練され得る。ニューラルネットワークを、Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌのようなモデルベースのアルゴリズムを含むが、それに制限されない、他のアルゴリズムと組み合わせることも可能である。ニューラルネットはまた、本発明内のタスクの１つ、例えば、植込み曲線の決定、を直接にも解決し得ることに留意されたい。

処理装置は、プロセスのステップの全てを実行する唯一のプロセッサによって、または同じ場所に配置される必要のない、プロセッサのグループまたは複数のプロセッサによって、実現され得ることに留意されたい。例えば、クラウドコンピューティングはプロセッサが任意の場所に置かれることを可能にする。例えば、処理装置は、結果を視覚化するためのモニターを含む、ユーザーとのやり取りを制御する第１のサブプロセッサ、および全ての計算を実行する（恐らくは他の場所に置かれる）第２のサブプロセッサに分割され得る。第１のサブプロセッサまたは別のサブプロセッサは、例えば、Ｘ線撮像装置のＣアームまたはＧアームの動きも制御し得る。

一実施形態によれば、本装置は、例えば、Ｘ線画像を格納するためのデータベースを提供する記憶手段をさらに含み得る。かかる記憶手段は、本システムが接続され得るネットワーク内にも提供され得ること、およびニューラルネットに関連したデータがそのネットワークを経由して受信され得ることが理解されるであろう。さらに、本装置は、少なくとも１つの２Ｄ Ｘ線画像を生成するための撮像ユニットを含み得、撮像ユニットは、異なる方向から画像を生成することが可能であり得る。

一実施形態によれば、本システムは、ユーザーに情報を提供するための装置を含み得、情報は、Ｘ線画像および手順のステップに関する指示から成る群からの少なくとも１つの情報を含む。かかる装置は、情報の可視化のためのモニターもしくは拡張現実装置であり得るか、またはそれは情報を音響的に提供するためのスピーカーであり得ることが理解されるであろう。本装置は、例えば、画像内の距離を測定するために、骨輪郭などの、Ｘ線画像内の物体の位置または部分を手動で決定もしくは選択するための入力手段をさらに含み得る。かかる入力手段は、例えば、本装置内に含まれ得る、モニター画面上のカーソルのようなポインティングデバイスを制御するための、コンピュータキーボード、コンピュータマウスまたはタッチスクリーンであり得る。本装置は、パッケージのラベルを読み取るか、または別の方法でインプラントもしくは手術道具を識別するためのカメラまたはスキャナも含み得る。カメラは、ユーザーが、ジェスチャまたは模倣によって視覚的に、例えば、仮想現実によって表示された装置を仮想的にタッチすることにより、本装置と通信するのも可能にし得る。本装置は、マイクロホンおよび／またはスピーカーも含み、ユーザーと音響的に通信し得る。

本開示内におけるＣアームの動きに対する全ての言及は常に、Ｃアームと患者との間の相対再配置を指すことに留意されたい。従って、任意のＣアーム平行移動もしくは回転は一般に、患者／ＯＲテーブルの対応する平行移動もしくは回転、またはＣアーム平行移動／回転と患者／テーブル平行移動／回転の組合せによって置き換えられ得る。実際には患者の四肢を動かすことは、Ｃアームを動かすことよりも容易であり得るので、四肢に対処する場合、これは特に関連し得る。要求される患者の動きは一般に、Ｃアームの動きとは異なり、特に、典型的には、対象の構造が既にＸ線画像内の所望の位置にある場合、患者の平行移動は必要ないことに留意されたい。本システムは、Ｃアーム調整および／または患者調整を計算し得る。Ｃアームに対する全ての言及は、類似的にＧアームに適用され得ることにさらに留意されたい。

本発明で開示される方法および技術は、人間のユーザーまたは外科医をサポートするシステム内で使用され得るか、またはそれらは、ステップの一部もしくは全部がロボットによって実行されるシステム内でも使用され得る。従って、本特許出願における「ユーザー」または「外科医」に対する全ての言及は、人間のユーザーおよびロボット外科医、機械的支持装置、または類似の装置を指し得る。同様に、Ｃアームを調整する方法に関する指示が与えられると言及されるときはいつでも、かかる調整も、人間の介在なしでも、すなわち、自動的に、ロボットＣアームにより、ロボットテーブルにより実行され得るか、またはそれらはＯＲスタッフにより何らかの自動サポートと共に実行され得ることが理解される。ロボット外科医および／またはロボットＣアームは、人間よりも高い精度で動作し得るので、反復手順はもっと少ない反復しか必要としない可能性があり、さらに複雑な指示（例えば、複数の反復ステップの組合せ）が実行され得ることに留意されたい。

コンピュータプログラムは好ましくは、データプロセッサのランダムアクセスメモリにロードされ得る。一実施形態に従ったシステムのデータプロセッサまたは処理装置が従って、説明されたプロセスの少なくとも一部を実行するために装備され得る。さらに、本発明は、開示されたコンピュータプログラムがその上に格納され得るＣＤ－ＲＯＭなどのコンピュータ可読媒体に関する。しかし、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを経由しても提示され得、そしてかかるネットワークからデータプロセッサのランダムアクセスメモリにダウンロードできる。さらに、コンピュータプログラムは、クラウドベースプロセッサ上でも実行され得、結果はネットワークを経由して提示される。

インプラントに関する事前情報（例えば、釘のサイズおよびタイプ）は、手術前または手術中に、インプラントのパッケージ（例えば、バーコード）またはインプラント自体上の任意の文字を単にスキャンすることによって取得され得ることに留意されたい。

前述の説明から明確なはずであるように、本発明の主な態様は、Ｘ線画像データの処理であり、目に見える物体の自動解釈を可能にする。本明細書で説明される方法は、患者の外科治療を支援する方法として理解されるべきである。その結果として、本方法は、一実施形態に従い、外科医による、動物または人の身体の治療のいかなるステップも含まない。

本明細書で説明される方法、および特に、その一部が図面内に視覚化されている実施形態に従ったワークフローに関連して説明される方法のステップは、主要なステップであり、これらの主要なステップはいくつかのサブステップに分化または分割され得ることが理解されるであろう。さらに、追加のサブステップは、これらの主要なステップの間であり得る。方法全体の一部だけが本発明を構成し得る、すなわち、ステップが省略または集約され得ることも理解されるであろう。

実施形態は、異なる主題に関して説明されることに留意する必要がある。特に、一部の実施形態は、方法タイプクレーム（コンピュータプログラム）に関して説明され、他方、他の実施形態は装置タイプクレーム（システム／装置）に関して説明される。しかし、当業者は前述および以降の説明から、特別の定めのない限り、１つのタイプの主題に属する特徴の組合せ、および異なる主題に関連する特徴間の任意の組合せが、本出願で開示されると考えられると推測する。

本発明の、上で定義された態様ならびに更なる態様、特徴および利点は、以降で説明される実施形態の例からも導出でき、図面内でも示されている実施形態の例を参照して説明されるが、本発明はそれに限定されない。

髄内釘の入口点を決定するための大腿骨の横方向Ｘ線画像を示す。 脛骨の近位部および開口器具のＭＬ Ｘ線画像を示す。 脛骨の近位部および開口器具のＡＰ Ｘ線画像を示す。 脛骨の近位部および開口器具のＡＰ Ｘ線画像を示す。 脛骨の近位部および開口器具のＡＰ Ｘ線画像を示す。 ２つのＡＰ Ｘ線画像および１つのＭＬ Ｘ線画像に基づく脛骨に対する画像の位置合わせを示す。 上腕骨の近位部の軸方向Ｘ線画像を示す。 上腕骨の近位部およびガイドロッドの軸方向Ｘ線画像を示す。 上腕骨の近位部およびガイドロッドのＡＰ Ｘ線画像を示す。 ＡＰ Ｘ線画像および軸方向Ｘ線画像に基づく上腕骨に対する画像の位置合わせを示す。 上腕骨の近位部、解剖頸の２Ｄ点、およびガイドロッドの軸方向Ｘ線画像を示す。 上腕骨の近位部、解剖頸の２Ｄ点、およびガイドロッドのＡＰ Ｘ線画像を示す。 上腕骨の近位部、２Ｄ投影された解剖頸、入口点、およびガイドロッドのＡＰ Ｘ線画像を示す。 上腕骨の近位部、２Ｄ投影された解剖頸、入口点、およびその先端を入口点上に置いたガイドロッドのＡＰ Ｘ線画像を示す。 骨折した３Ｄ上腕骨およびガイドロッドをＡＰ 視線方向から示す。 骨折した３Ｄ上腕骨およびガイドロッドを軸方向視線方向から示す。 骨折した３Ｄ上腕骨および挿入されたガイドロッドをＡＰ 視線方向から示す。 上腕骨の近位部、解剖頸の２Ｄ点、および挿入されたガイドロッドの軸方向Ｘ線画像を示す。 上腕骨の近位部、解剖頸の２Ｄ点、および挿入されたガイドロッドのＡＰ Ｘ線画像を示す。 大腿骨の近位部、その輪郭、および開口器具のＡＰ Ｘ線画像を示す。 大腿骨の近位部、その輪郭、および開口器具のＭＬ Ｘ線画像を示す。 大腿骨の遠位部のＭＬ Ｘ線画像を示す。 大腿骨の遠位部およびその輪郭のＭＬ Ｘ線画像を示す。 ３Ｄ大腿骨および大腿骨の前捻角の画定を示す。 Ｃアームをその回転および平行移動軸と共に示す。 脛骨のために入口点を決定するための潜在的なワークフローを示す。 上腕骨のために入口点を決定するための潜在的なワークフローを示す。 大腿骨の遠位部、挿入されたインプラント、および大腿骨の表面上に置かれたドリルのＡＰ Ｘ線画像を示す。 大腿骨の遠位部、挿入されたインプラント、および大腿骨の表面上に置かれたドリルのＭＬ Ｘ線画像を示す。 ＡＰおよびＭＬ Ｘ線画像に基づく大腿骨の遠位部に対する画像の位置合わせを示す。それは、大腿骨、挿入されたインプラント、およびドリルを含む。 図３０と同じ立体配座を異なる視線方向から示す。 大腿骨の遠位部のＭＬ Ｘ線画像を、複数の釘穴に対する計算された入口点と共に示す。 大腿骨の髄内インプラントのために入口点を決定するための潜在的なワークフローを示す。 大腿骨の前捻角を決定するための潜在的なワークフローを示す。 フリーハンドの固定手順（クイックバージョン）に対する潜在的なワークフローを示す。 フリーハンドの固定手順（強化バージョン）に対する潜在的なワークフローを示す。 ドリル軌道を検証および修正するための潜在的なワークフローを示す。 ３Ｄ空間内の３つの異なるドリル位置を示す。 図３８におけるシナリオの２Ｄ投影を示す。

図面を通して、同じ参照番号および文字は、特に指定のない限り、例示された実施形態の同様の特徴、要素、構成要素または部分を示すために使用される。その上、本開示は図面を参照して詳細に説明されるが、それは例示された実施形態に関連してそのように行われ、図面内に例示された特定の実施形態によって制限されない。

髄内釘を大腿骨に植え込むための入口点の決定
本発明の第１の目的は、髄内釘を大腿骨内に植え込むための植込み曲線および入口点の決定であり得る。入口点を決定するために、Ｘ線画像は一定の視線方向から取得される必要がある。真の側面図では、幹軸および頸軸は一定のオフセットで平行である。しかし、この視線は、本発明の所望の視線ではない。所望の視線は、植込み軸が大腿骨頭の中心を通るように、ＣアームのＣ軸の周りの回転を有する側面図である。大腿骨頭の中心は、例えば、ニューラルネットワークにより十分に高い精度で決定され得る。大腿骨頭の中心の決定における不確実さは主に、植込み軸の方向におけるずれに関係し得、それは、所望の視線方向を確実にする精度に大きな影響は及ぼさない。本システムは、解剖学的構造データベースに基づくか、またはＬＵ１００９０７Ｂ１に基づく、Ｃ軸の周りの必要な回転角度を推定することによりユーザーが所望の視線方向を得るのを支援し得る。

本システムは、ユーザーが正しい視線方向を得るのも助け得る。例えば、大腿骨頭の中心と開口器具の先端との間の２Ｄ距離が、開口器具の先端と大腿骨骨幹の目に見える最も低い部分との間の２Ｄ距離と比べて小さ過ぎるシナリオを考える。この影響は、Ｃアームの焦点軸が植込み軸に対してほとんど垂直である場合に生じる。この場合、峡部における骨幹の中心は現在のＸ線投影画像内でほとんど目に見えないであろう。従って、本システムは、図２５でＣアームに軸Ｂの周りを回転させるための指示を与え得る。その指示に従うと、第１の距離が増加して第２の距離が減少する（すなわち、頸部がより大きくなって、骨幹の峡部が目に見えるようになる）Ｘ線投影画像となるであろう。

前述のような所望の視線を得るためにＣアームが回転される必要のある角度を決定する方法は、ＡＰ Ｘ線画像内の解剖学的外観を考慮することであり得る。以下の点が画像内で識別され得る：大腿骨頭の中心、開口器具の先端、および大転子への平行移動における骨幹の中心。最初の２つの点および後者の２つの点の間にそれぞれ、２本の線が引かれ得る。これら３つの点は、十分な精度でＭＬ Ｘ線画像内でも識別され得るので、ＭＬ Ｘ線画像の焦線と解剖学的構造（例えば、植込み軸および／または頸軸）との間の角度を推定することが可能であり得る。この角度が小さ過ぎるか、または大き過ぎる場合、本システムは、それぞれその角度を増加または減少させる指示を与え得る。

一実施形態によれば、植込み軸は以下のように決定され得る。図１は、大腿骨の横方向（ＭＬ）Ｘ線画像を示す。本システムは、峡部における骨幹の中心（ＩＳＣとラベル付け）および大腿骨頭の中心（ＣＦとラベル付け）を検出し得る。これら２つの点によって画定される線は、植込み軸（ＩＡとラベル付け）と見なされ得る。さらに、本システムは、頸部および骨幹部の投影された外側境界（ＯＢとラベル付け）、または代替として、境界上の複数の点を検出し得る。境界のセグメント化は、例えば、ニューラルネットワークによって行われ得る。代替として、ニューラルネットワークは、完全な境界の代わりに特定の点を直接推定し得る。例えば、骨幹の境界の代わりに、ニューラルネットワークは骨幹の中心を推定し得、骨幹直径は、大腿骨頭のサイズに基づいて推定され得る。この情報に基づき、境界自体を見つけることなく、骨幹境界の位置を推定することが可能であり得る。植込み軸は、頸境界および骨幹境界から一定の距離を有するべきである。いずれかの距離が小さ過ぎる場合、本システムは、所望の視線方向が後に取得されるＸ線投影画像内で達成されるように、ＣアームのＣ軸の周りの必要な回転を計算し得る。Ｃアームの回転の方向は、頸部内の距離および骨幹部内の距離の重み付けされた評価に基づいて決定され得る。回転の角度は、大腿骨の解剖学的モデルに基づいて計算され得る。

一旦、所望の視線方向が達成されると、植込み軸の転子縁軸との交点が、入口点として画定され得る。転子縁軸は、画像内で直接検出され得る。これが望ましくも、実現可能でもない場合、転子縁軸は、開口器具の先端を植込み軸と結合する線によってＸ線画像内で近似もされ得る。この線は、植込み軸と垂直であると仮定され得るか、または利用可能な事前情報が別に提案する場合、それは、植込み軸に対して斜角に伸びる。

インプラントは、釘および頭要素からなり得る。開口器具の投影された先端と投影された入口点との間の距離が所望の距離内でない（例えば、距離が１ｍｍよりも大きい）場合、本システムは、入口点に達するために、開口器具を動かす方法をユーザーに指導し得る。例えば、大腿骨上の開口器具の先端が、決定された入口点と比べて前過ぎに位置付けられる場合、本システムは、開口器具の先端を後方向に動かすように指示を与える。

一実施形態によれば、本システムは、大腿骨骨幹の峡部、大腿骨頭の中心（ＣＦとラベル付け）、および開口器具の先端（ＫＷとラベル付け）をＸ線画像内で検出し得る。植込み軸（ＩＡとラベル付け）は、大腿骨頭の中心（ＣＦとラベル付け）および骨幹の峡部における中心（ＩＳＣとラベル付け）を通る線と仮定され得る。入口点は、開口器具の先端ＫＷに近接している植込み軸上の点（ＥＰとラベル付け）であると仮定され得る。本システムは、開口器具がＥＰ上に位置付けられるように、開口器具を動かす指示を与え得る。器具を投影された点まで移動させた後、開口器具の先端が依然としてＡＰ視線内の大転子の投影された先端上にあることを検証するために、ＡＰ画像を取得することは有用であり得る。恐らくはＡＰ画像のＭＬ画像との位置合わせに基づくＡＰ画像内の検出されたＫワイヤー先端から投影されたエピポーラ線に関する知識があり、かつＡＰ画像の取得とＭＬ画像の取得との間にｋワイヤー先端の移動がない場合、これは、先端が、大転子の投影された先端上に依然として位置付けられているかどうかの別のＡＰ画像内での追加の検証が必要でないような、入口点のさらに正確な決定という結果となるであろう。

大腿骨内での髄内インプラントのために入口点を決定するための潜在的なワークフロー例（図３３を参照）：
１．ユーザーは、開口器具の先端が大転子の投影された先端上に位置付けられている、ＡＰ Ｘ線画像を取得する。
２．開口器具の先端を動かすことなく、ユーザーはＭＬ Ｘ線投影画像を取得する。
３．本システムは、大腿骨頭の中心、骨幹の峡部の中心点、および開口器具の先端をＸ線画像内で検出する。
ａ．大腿骨頭および骨幹峡部の両方が十分に目に見えない場合、本システムは、視野を増大させるためにＣアームを横方向に移動させるように指示を与える。
ｂ．大腿骨頭だけが十分に目に見えず、他方、峡部が十分に目に見える場合、本システムは、Ｃアームを脚に沿って近位方向に移動させるように指示を与える。
ｃ．本システムは、大腿骨頭の中心と開口器具の先端との間の第１の距離、および開口器具の先端と骨幹のある点との間の第２の距離を計算する。この点は、峡部（目に見える場合）における骨幹の中心、または峡部が目に見えない場合、骨幹の最も遠位の目に見える点または代替として、峡部における骨幹の推定される中心（骨幹の目に見える部分に基づく）であり得る。
ｄ．骨幹だけが十分に目に見えず、他方、大腿骨頭は完全に目に見える場合、本システムは、Ｃアームを脚に沿って遠位方向に移動させるように指示を与える。骨幹が十分に目に見えるかどうかを決定する１つの方法は、ステップ３ｃからの第２の距離を閾値と比較することであり得る。別の方法は、峡部が現在のＸ線画像内で目に見えるかどうかを判断するために骨幹の湾曲を評価することであり得る。
ｅ．ステップ３ｃからの第１の距離が、第２の距離と比べて小さ過ぎる場合、Ｃアームは、Ｃアーム軸Ｂ（図２５を参照）の周りを時計回り（右大腿骨）または反時計回り（左大腿骨）に回転させる必要があり、逆の場合も同じである。Ｃアームが回転する必要のある角度は、２つの距離および恐らくはステップ１からのＡＰ画像からの追加の情報に基づいて計算され得る。後者は、例えば、大腿骨のＣＣＤ角度を含み得る。ＭＬ Ｘ線画像内に示されるような骨幹の湾曲も考慮に入れられ得る。
４．大腿骨の全ての重要な部位が十分に目に見えて、ステップ３ｃからの２つの距離が所望の比率を有するまで、ステップ２および３が繰り返される。
５．ステップ３からの点に加えて、本システムは、大腿骨頸部の左右の輪郭および大腿骨骨幹の左右の輪郭を検出する。
６．大腿骨頭の中心から骨幹の峡部における中心まで線が引かれる。この線と大腿骨頸部および大腿骨骨幹の４つの輪郭との間で４つの距離が計算される。
７．頸および骨幹部位の各々に対して、その線が各部位のどれくらい中心を通っているかを評価するための測定基準が定義される。例：線が頸の左の輪郭に接触する場合、頸に対する測定基準は０であり、線が大腿骨の右の輪郭に接触する場合、それは１で、線が頸部の中心に位置する場合、それは０．５である。
８．新しい測定基準が、頸測定基準および骨幹測定基準の加重平均に基づいて定義される。新しい測定基準が第１の閾値より低い場合、Ｃアームは、Ｃアームの焦点が前方向に移動するように、そのＣ軸の周りを回転させられる必要がある。新しい測定基準が、第１の閾値よりも高い、第２の閾値より高い場合、ＣアームはそのＣ軸の周りを反対方向に回転させられる必要がある。Ｃアームが回転させられる必要がある角度は、測定基準と対応する閾値との間の距離に基づいて計算され得る。
９．ステップ８で定義された測定基準が、ステップ８からの２つの閾値の外側である場合、新しいＭＬ Ｘ線投影画像が取得される必要がある。
１０．ステップ８で定義された測定基準がステップ８からの２つの閾値の間になるまで、ステップ５～９が繰り返される。引かれた線は最終の投影された植込み軸である。
１１．開口器具の投影された先端とステップ１０からの線との間の距離が計算される。
１２．任意選択：開口器具の先端の位置が突き止められる。開口器具の先端の外観（すなわち、Ｘ線投影画像内のそのサイズ）に基づき、本システムは、開口器具の先端を後または前方向のいずれかに移動させるための指示を与える。
１３．開口器具の先端がステップ１０からの線から遠く離れている場合、その位置が最適化されて、新しいＭＬ Ｘ線投影画像が取得される。
１４．開口器具の先端が、ステップ１０からの線まで一定の距離内になるまで、ステップ１１～１３が繰り返される。
１５．開口器具の先端が依然として大転子の先端上にあることを確実にするためにＡＰ Ｘ線投影画像が取得される。そうでない場合、ステップ２に戻る。

サブインプラントをもつ釘を脛骨内に植え込むための手順

潜在的なワークフローに対する例（図２６を参照）：
０．以下のワークフローに対して、頸部の近位部は無傷である（または正しく整復された）と仮定される。
１．ユーザーは、開口器具を頸部の表面上に（近位部の任意の点に、しかし理想的には、外科医によって推定された入口点の近くに）位置付ける。
２．ユーザーは、図２に示されるような頸部の近位部（ＴＩＢとラベル付け）の（概ね）横方向画像を取得する。
３．ユーザーは、図３、図４、および図５に示されるような脛骨の近位部の少なくとも１つのＡＰ画像（理想的には、わずかに異なる方向からの複数の画像）を取得する。
４．本システムは、脛骨のサイズ（スケーリング）を推定するために、全ての画像内の開口器具（ＯＩとラベル付け）のサイズ（または直径など）を検出する。
５．本システムは、脛骨の統計的モデルを、例えば、その統計的モデルを骨輪郭（または、より一般的には、骨の外観）とマッチングすることによって、全ての画像に一緒に適合させる。このステップの結果が脛骨の３Ｄ再構築である。
ａ．これは、回転および平行移動に対する画像ごとの６つのパラメータ、スケーリングに対する１つのパラメータ（ステップ４で既に最初に推定された）、および一定数のモード（モードを決定することは脛骨の３Ｄ再構築に等しい）を含む。従って、ｎ個の画像およびｍ個のモードがある場合、パラメータの総数は（６・ｎ＋１＋ｍ）である。
ｂ．脛骨の全ての推定される回転および平行移動（各画像内）に基づき、本システムは、図６に示されるように、全ての画像に対して画像位置合わせを実行する。それ故に、ＡＰ画像（Ｉ．ＡＰ１およびＩ．ＡＰ２とラベル付け）、ＭＬ画像（Ｉ．ＭＬとラベル付け）、開口器具の先端（ＯＩとラベル付け）、および脛骨（ＴＩＢとラベル付け）の間の空間的関係が分かる。
ｃ．任意選択：潜在的により正確な結果のために、本システムは、大腿顆または腓骨の情報を、例えば、これらの骨に対する統計情報を使用することによって、使用し得る。
６．脛骨の３Ｄ再構築に基づき、本システムは、入口点を決定する。これは、例えば、統計的モデルの平均形状上に入口点を画定することによって、行われ得る。この点は次いで、３Ｄ再構築上で識別され得る。
７．任意選択：脛骨の３Ｄ再構築に基づき、本システムは、インプラントを（仮想的に）骨内に位置付けて、近位固定ネジの長さを計算する。このステップは、実際のインプラントを考慮するので、入口点の推定も改善し得る。
８．本システムは、入口点をオーバーレイとして現在のＸ線画像内に表示する。
９．開口器具の先端が推定された入口点に十分に近くない場合、本システムは、先端の位置を補正するように指示を与える。
ａ．ユーザーは開口器具の先端の位置を補正して、新しいＸ線画像を取得する。
ｂ．本システムは、新しい画像内で入口点を（例えば、画像差分析により、または脛骨の３Ｄ再構築の新しい画像内への適合により）計算する。
ｃ．ステップ８へ戻る。
１０．ユーザーはインプラントを脛骨内に挿入して、新しい画像を取得する。
１１．本システムは、インプラントの位置を突き止める。脛骨の３Ｄ再構築に基づき、本システムは、必要な３Ｄ情報（例えば、近位固定ネジの長さ）を提供する。
１２．本システムは、近位固定のためのサポートを提供する。
１３．本システムは、脛骨の近位部（これは大腿顆を含み得る）および脛骨の遠位部（これは足を含み得る）を比較することによってねじれ角を計算する。ねじれ角のさらに正確な計算のために、本システムは、腓骨に関する情報も（例えば、腓骨の位置を突き止めて、脛骨に対するその空間的関係を計算することによって）使用し得る。

サブインプラントを備えた釘を上腕骨内に植え込むための手順

潜在的なワークフローに対する例（図２７を参照）：
０．ユーザーは、入口点と解剖頸との間の所望の距離（例えば、０ｍｍ、または５ｍｍ内側）を提供する。
１．ユーザーは、図７に示されるような上腕骨の近位部の軸方向Ｘ線画像を取得する。
２．本システムは、上腕骨頭の輪郭を（例えば、ニューラルネットワークを用いて）検出する。検出された輪郭に基づき、本システムは、上腕骨頭を円（ＨＨとラベル付け）によって近似する、すなわち、それは２Ｄ中心および半径を推定する。これは、上腕骨頭（２Ｄ中心および半径）に対する複数の候補を含み得、それは、それらのもっともらしさに基づいて（例えば、統計的モデル、平均平方近似誤差、信頼度などに基づいて）ランク付けされる。検出された幹軸（ＩＣとラベル付け）に基づき、本システムは、その幹軸が垂直線になるように画像を回転させる。本システムは、頭の中心が幹軸に十分に近いかどうかを評価する。頭の中心と幹軸との間の距離が大き過ぎる場合、本システムは、平行移動整復を補正するためにユーザーに遠位方向のけん引力を腕に印加するように助言する（すなわち、頭対骨幹、軟組織による力は、けん引力と垂直な整復となる）。
３．本システムは、最初の入口点（ＥＰとラベル付け）を推定し、それは、上腕骨頭と幹軸の交点間のどこかに位置する（例えば、交点の中心の２０％上）。
４．ユーザーは、ステップ３からの入口点の最初の推測上にガイドロッドを置く。
５．ユーザーは、図８に示されるようにガイドロッド（ＯＩとラベル付け）が目に見える、更なる軸方向Ｘ線画像を取得する。
６．本システムは、上腕骨頭（ＨＨとラベル付け）（２Ｄ中心および半径）および２Ｄ幹軸（ＩＣとラベル付け）を検出して、ガイドロッド（ＯＩとラベル付け）の位置を、その先端の２Ｄ座標および２Ｄスケーリングを（ガイドロッドの既知の直径に基づいて）取得するために、突き止める。
７．本システムは、ユーザーにＣアームをそのＣ軸の周りを回転させるように助言する（さらに許容されたＣアーム移動は、遠位－近位または前－後方向における平行移動である；禁止された移動は他の回転および内－外側方向における平行移動である）。
８．ユーザーは、ガイドロッドの先端を動かさない間に（ガイドロッドの角移動は、先端が定位置にある限り、許容される）、図９に示されるような上腕骨の近位部のＡＰ Ｘ線画像（それは真のＡＰ画像である必要はない）を取得する。
９．本システムは、上腕骨頭（ＨＨとラベル付け）（２Ｄ中心および半径）および２Ｄ幹軸（ＩＣとラベル付け）を検出して、ガイドロッド（ＯＩとラベル付け）の位置を、その先端の２Ｄ座標および２Ｄスケーリングを（ガイドロッドの既知の直径に基づいて）取得するために、突き止める。
１０．ステップ６～９からの情報に基づき、本システムは、図１０に示されるような画像位置合わせを実行して、上腕骨頭（ＨＨとラベル付け）の球状近似および、その球体と同じ座標系内にある、３Ｄ幹軸を計算する。
１１．投影された上腕骨頭の円形部分の開始および終了を画定する４つの点（すなわち、画像につき２つ、軸方向およびＡＰ）（図１１および図１２でＣＡとラベル付け）がある。本システムは、これらの４つの点から少なくとも３つを検出する。これら少なくとも３つの点に基づき、本システムは、３Ｄ内で解剖頸を（例えば、上腕骨頭の球状近似と交差する、３つの点に基づく平面を画定することによって）決定する。
１２．本システムは、解剖頸の決定を（例えば、加重最小２乗法を用いて、この場合、重みは４つの点の各々の個々の信頼度に基づく）改善するために、ステップ１１からの第４の点も同様に使用し得る。
１３．３Ｄ幹軸が垂直線であり、上腕骨頭がその骨幹の上になるように、解剖学的構造が空間内で仮想的に回転される場合、入口点が解剖頸（図１３でＣＡ３Ｄとラベル付け）上で空間内の最も高い点として画定される。ステップ０からの設定およびステップ１０～１２からの結果に基づき、本システムは、最終の入口点（ＥＰとラベル付け）を計算する。
１４．ユーザーは、ガイドロッドを計算された入口点上に位置付けて、図１４に示されるような新しいＡＰ Ｘ線画像を取得する。
１５．本システムは、ガイドロッド（ＯＩとラベル付け）の先端を検出し、そのガイドロッドの先端が計算された入口点（ＥＰとラベル付け）に十分に近接して位置付けられているかどうかを評価する。
１６．ガイドロッドの先端が入口点に十分に近接するまで、ステップ１４および１５が繰り返される。
１７．ガイドロッドの角移動に対する任意選択の指示。
ａ．直近の画像位置合わせ（それは３Ｄ内の上腕骨頭を含む）に基づき、本システムは、図１５および図１６に示されるように、上腕骨頭とガイドロッドとの間の空間的関係を決定する。ガイドロッドの方向が最適な挿入方向から余りにも外れている場合、本システムは、ガイドロッドの角移動に対する指示を与える。最適な挿入方向は、例えば、統計的モデルを用いて、またはガイドロッドの軸（ＯＩＡとラベル付け）を上腕骨頭軸（ＨＡとラベル付け）と比較することによって、推定され得る。
ｂ．指示がステップａで与えられた場合、ユーザーは、その指示に従って、同じ方向から新しいＸ線画像を取得する。画像差分析で画像内の変化が検出されて、画像位置合わせを更新する。
ｃ．ガイドロッドの更なる角移動が必要なくなるまで、ステップａおよびｂが繰り返される。
１８．上腕骨頭輪郭の画像位置合わせおよび検証の任意選択の改善。
ａ．ユーザーは、図１７に示されるようにガイドロッドを挿入する。
ｂ．ユーザーはＸ線画像を（例えば、図１８に示されるように軸方向として）取得する。
ｃ．本システムは、ガイドロッド（ＯＩとラベル付け）の位置を突き止めて、上腕骨頭（ＨＨとラベル付け）（２Ｄ中心および半径）を検出する。
ｄ．本システムは、ユーザーにＣアームをそのＣ軸の周りを回転させるように助言する（追加の可能なＣアーム移動についてステップ７を参照）。
ｅ．ユーザーは、ガイドロッドを移動させることなく、Ｘ線画像を他の方向（例えば、図１９に示されるようなＡＰ）から取得する。
ｆ．本システムは、ガイドロッド（ＯＩとラベル付け）の位置を突き止めて、上腕骨頭（ＨＨとラベル付け）（２Ｄ中心および半径）を検出する。
ｇ．両方の画像からの情報に基づき、本システムは、画像位置合わせを実行する。ガイドロッドの３Ｄモデルが分かっているので、画像位置合わせは、ステップ１０におけるよりも正確である。
ｈ．画像位置合わせに基づいて、本システムは、両方の画像内での上腕骨頭の検出を検証し得る。
ｉ．検証結果に基づいて、本システムは、両方の画像内で上腕骨頭の輪郭を（例えば、上腕骨頭に対する別の候補を選択することによって）最適化する。
１９．上腕骨頭の回転転位の任意選択の補正。
ａ．ユーザーは、Ｘ線画像（軸方向またはＡＰ）を取得する。本システムは、ガイドロッドの位置を突き止めて、２Ｄ幹軸および２Ｄ上腕骨頭軸（上腕骨頭の目に見える円形部分によって画定される）を検出する。
ｂ．以前の画像が著しく異なる撮像方向（例えば、以前の画像では軸方向および現在の画像ではＡＰ）を有していた場合、本システムは、直近の画像ペアに基づいて画像位置合わせを実行する。画像位置合わせに基づいて、本システムは、現在の画像に関して幹軸と頭軸との間の理想的な２Ｄ角度を決定する。
ｃ．以前の画像が非常に類似した撮像方向（例えば、画像差分析によって識別される）を有していた場合、幹軸と頭軸との間の理想的な２Ｄ角度は（以前の画像と比べて）変わらないままである。
ｄ．本システムは、幹軸と頭軸との間の現在の２Ｄ角度を計算する。
ｅ．幹軸と頭軸との間の角度が、ステップ１９ｂまたは１９ｃからの理想的な角度（例えば、軸方向画像では２０°、またはＡＰ画像では１３０°）に十分に近くない場合、本システムは、背腹（軸方向画像）または内外（ＡＰ画像）方向における回転転位を補正するために、指示を与える。
ｆ．以前の画像が非常に類似した撮像方向を有していたが、上腕骨頭の目に見える円形部分が以前の画像と比べて小さいか、または大きい（例えば、転位の以前の補正に起因して）場合、回転転位は他の撮像方向に対しても変わっている可能性があるので、本システムは、次の画像のために撮像方向を変更するために（すなわち、画像位置合わせを更新するために）、ＣアームをそのＣ軸の周りを回転させるように追加の指示を与える。
ｇ．指示が与えられた場合、ユーザーは、回転転位を補正して（かつ、必要に応じてＣアームを回転させて）ステップ１９ａに戻る。
２０．任意選択のねじれチェック。
ａ．ユーザーは、前腕を、それが身体（または上腿）と平行になるように置く。
ｂ．ユーザーは、軸方向Ｘ線画像を取得する。
ｃ．本システムは、上腕骨頭および関節窩の２Ｄ中心を検出する。本システムは、関節窩の中心と頭軸との間の距離を計算する。この結果に基づいて、本システムは、ねじれが補正される必要のある方向および角度の指示を与える。
ｄ．ユーザーは、頭を、ステップｃからのその方向に、その角度だけ回転させることによって、ねじれを補正する。
ｅ．関節窩の中心が上腕骨頭軸に十分に近接するまで、ステップ２０ｂ～２０ｄが繰り返される。

潜在的な修正：ステップ３において交点の中心の（内側に）２０％上に入口点を推定する代わりに、本システムは、ガイドロッドの先端が上腕骨頭の球状部分上に位置付けられることを確実にするためにより高い値（例えば、７０％）を使用し得る。ステップ１０で、本システムは、画像位置合わせを改善するために、ガイドロッドの先端が上腕骨頭の球形近似上に位置しているという情報を使用し得る。前述の７０％方法に起因して、ガイドロッドの先端の現在の位置は、（２０％方法と比べて）入口点までの距離が離れている。ユーザーがガイドロッドの先端で入口点に達するのをガイドするとき（ステップ１４～ステップ１６）、本システムは、視線方向が変わっているかどうかを（例えば、画像差分析によって）判断する。視線方向が変わっていない場合、計算された入口点は、以前のＸ線画像から使用されて、ガイダンス情報は、先端の更新された検出位置に基づいて更新される。視線方向がわずかにだけ変わっている場合、入口点はそれに応じて（例えば、物体追跡と呼ばれる技術によって、例えば、Ｓ．Ｒ．Ｂａｌａｊｉらによる「Ａ ｓｕｒｖｅｙ ｏｎ ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ＩＭＡＧＥ ｐｒｏｃｅｓｓｉｎｇ」（２０１７）を参照）シフトされる。視線方向が著しく変わっている場合、本システムはユーザーに、ＣアームをそのＣ軸の周りを回転させ、ガイドロッドの先端を動かさない間に異なる視線方向（例えば、現在の画像がＡＰであった場合は軸方向）からのＸ線画像を取得するように指示する。更新された画像に基づき、本システムは、以前の位置合わせによって取得された情報（例えば、上腕骨頭の球形近似の半径）に基づく画像位置合わせを実行して、現在の画像内の入口点を表示して、ユーザーがガイドロッドの先端で入口点に達するのをナビゲートする。

大腿骨の前捻角の決定

以下で、インプラントを挿入する前または後のいずれかにＡＶ角度を決定するワークフロー例が提示され、それは、最新技術よりも堅牢かつ／または正確であり得る。一実施形態によれば、大腿骨の前捻角を決定するための手順全体は以下のように進み得る（図３４を参照）。
１．ユーザーは開口器具の先端を略大転子の先端上に置く。
２．ユーザーは、図２０に示されるような大腿骨の近位部のＡＰ Ｘ線画像を取得する。
３．本システムは、大腿骨（ＦＥＭとラベル付け）および大腿骨頭の２Ｄ輪郭を検出し、それは、円（ＦＨとラベル付け）（すなわち、それは２Ｄ中心および２Ｄ半径によって決定される）によって近似されて開口器具（ＯＩとラベル付け）の先端の位置を突き止める。
４．大腿骨のいくつかの重要な部分または開口器具の先端が十分に目に見えない場合、本システムは、Ｃアームを回転および／または移動させる指示を与えて、ユーザーはステップ２に戻る。
５．ユーザーは、ＣアームをそのＣ軸の周りを回転させてＭＬ Ｘ線画像を取得する。ユーザーはさらに、Ｃアームの内－外側および／または前－後シフトを使用し得る。Ｃアームを移動させている間、開口器具の先端は動かしてはならない。
６．ユーザーは、図２１に示されるような大腿骨の近位部のＭＬ Ｘ線画像を取得する。
７．本システムは、大腿骨（ＦＥＭとラベル付け）および大腿骨頭（ＦＨとラベル付け）の２Ｄ輪郭（すなわち、２Ｄ中心および２Ｄ半径）を検出して、開口器具（ＯＩとラベル付け）の先端の位置を突き止める。
８．大腿骨のいくつかの重要な部分または開口器具の先端が十分に目に見えない場合、本システムは、Ｃアームを移動（平行移動のみ）させるか、またはＣアームをそのＣ軸の周りを回転させる指示を与えて、ユーザーはステップ６に戻る。
９．近位ＡＰおよびＭＬ画像ペアに基づいて、本システムは画像位置合わせを実行する。画像位置合わせが成功しなかった場合、本システムは、Ｃアームを回転および／または移動させる指示を与えて、ユーザーはステップ２に戻る。
１０．ユーザーは、Ｃアームを患者の脚に沿って遠位方向に動かす。このステップでは、Ｃアームの回転移動は許可されないが、３つの平行移動は許容される。
１１．ユーザーは、図２２および図２３に示されるような大腿骨の遠位部のＭＬ Ｘ線投影画像を取得する。
１２．本システムは、大腿骨（ＦＥＭとラベル付け）の２Ｄ輪郭を検出する。
１３．大腿顆の特定の配向または位置合わせは要求されない。しかし、大腿骨のいくつかの重要な部分が十分に目に見えない場合、本システムは、Ｃアーム（平行移動だけが許容される）を移動させる指示を与えて、ユーザーはステップ１１に戻る。
１４．画像位置合わせに基づいて、本システムは、統計的モデルの投影された輪郭が全ての画像内の大腿骨の検出された２Ｄ輪郭に一致するように、（骨折した大腿骨および骨折していない大腿骨で訓練された）統計的モデルを全ての画像に一緒に適合させる。このステップは、大腿骨の３Ｄ再構築を直接もたらす。３Ｄ再構築の精度を高めるために、本システムは、開口器具の先端の３Ｄ位置を（近位画像位置合わせに基づいて）計算し、開口器具の先端は大腿骨の表面上に置かれたという事実を使用して、この点を基準点として使用し得る。
１５．本システムは、図２４に示されるような大腿骨の３Ｄ再構築に基づいて、前捻角を決定する。Ｙｅｏｎ Ｓｏｏ Ｌｅｅらによる「３Ｄ ｆｅｍｏｒａｌ ｎｅｃｋ ａｎｔｅｖｅｒｓｉｏｎ ｍｅａｓｕｒｅｍｅｎｔｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｏｓｔｅｒｉｏｒ ｆｅｍｏｒａｌ ｐｌａｎｅ ｉｎ ＯＲＴＨＯＤＯＣ（登録商標）ｓｙｓｔｅｍ」（２００６）によれば、前捻角は、大腿骨頭の中心（ＦＨＣとラベル付け）、大腿骨頸部の中心（ＦＮＣとラベル付け）、転子の後頂（ｐｏｓｔｅｒｉｏｒ ａｐｅｘ）（ＴＲＯとラベル付け）、ならびに後大腿顆の外側および内側頂（ＬＣおよびＭＣとラベル付け）に基づいて計算され得る。本システムは、ステップ１０からの大腿骨の３Ｄ再構築上のこれらの５つの点を識別し、従って前捻角を計算する。

フリーハンド固定手順
大腿骨釘のための遠位固定手順の異なる実施態様があり得る。以下で、潜在的なワークフローに対する２つの例（１つの「クイック」および「高められた」精度の１つ）が提示される。どちらのワークフローでも、ユーザーは、穴開け中はいつでも、穴開け軌道を、準リアルタイム（ＮＲＴ）のフィードバックと共にＸ線画像に基づいて検証し、必要であれば、穴開け角度を補正し得る。この検証は、Ｃアームの回転も再調整も要求しない。かかる検証に対するワークフロー例が以下で提供される。

潜在的なワークフローに対する例（クイックバージョン）、図３５を参照：
１．ユーザーは、大腿骨の遠位部のＸ線画像を取得する（例えば、図２８に示されるようなＡＰ、またはＭＬ）。
２．本システムは、インプラントの位置を突き止めて、大腿骨の輪郭を検出する。インプラントまたは大腿骨の輪郭のいずれかの位置が突き止められない場合、本システムは、（例えば、Ｃアームを移動させることによって）可視性を高めるように指示を与える。ユーザーはその指示に従って、ステップ１に戻る。
３．ユーザーは、ドリルを大腿骨の表面上に（例えば、釘穴軌道に）置く。ユーザーは、別の視線方向（例えば、図２９に示されるような２５°－ＭＬ）からＸ線画像を取得する。
４．本システムは、インプラント（ＩＭとラベル付け）の位置を突き止めて、大腿骨（ＦＥＭとラベル付け）の輪郭を検出し、ドリル（ＤＲとラベル付け）の位置を突き止める。
５．ドリルの先端の位置を突き止めることができない場合、本システムは、（例えば、Ｃアームを移動させることによって）ドリルの先端の可視性を高めるように指示を与える。ユーザーはその指示に従って、新しい画像を取得し、ステップ４に戻る。
６．両方の画像（図３０でＩ．ＡＰおよびＩ．ＭＬとラベル付け）内でのインプラントの位置の突き止めに基づいて、本システムは、図３０および図３１に示されるような画像位置合わせを実行する。
７．ステップ６からの画像位置合わせに基づいて、本システムは、大腿骨の統計的モデルを、その投影された輪郭を両方の画像内の大腿骨の検出された輪郭にマッチングさせることによって、適合させる（すなわち、それは、両方の画像内での大腿骨の回転および平行移動、スケーリング、ならびに統計的モデルのモードを決定する）。
８．現在の画像に関して、本システムは、像平面内のドリルの先端から焦点までの線を画定する。この線は、再構築された大腿骨と２回交差する（すなわち、入口および出口点）。焦点に近い方の点が、ドリルの先端の現在の３Ｄ位置として選択される。本システムは、再構築された大腿骨の釘穴軌道に沿った骨幹直径に基づいて固定ネジ長を計算し得る。
９．（画像位置合わせおよび大腿骨の再構築に起因した）大腿骨とインプラントとの間の既知の空間的関係に基づいて、本システムは、ドリルとインプラントとの間の空間的関係を計算する。
１０．ドリルの軌道が釘穴を通る場合、本システムは、穴開けを開始するように指示を与え、ユーザーは穴開けを開始して、ユーザーはステップ１４に進む。穴開けプロセス中はいつでも、ユーザーは、以下のワークフロー例に従って穴開け軌道を検証し得る。
１１．ドリル軌道が釘穴を通らない場合、本システムは、ドリルの先端を移動させ、かつ／またはドリルを回転させるための指示を与える。ユーザーはその指示に従って、新しいＸ線画像を取得する。
１２．本システムは、視線方向が変わっているかどうかを（例えば、画像差分析によって）評価する。視線方向が変わっていない場合、本システムは、以前の画像からのほとんどの結果を使用し得るが、それは、ドリルの位置を突き止める。視線方向または任意の他の関連する画像内容が（例えば、画像ぶれの影響、遮蔽などによって）変わっている場合、本システムは、この情報を使用して（例えば、現在の画像の追加の視線方向を使用することにより）画像位置合わせを改善する。本システムは、インプラントおよびドリルの位置を突き止め、大腿骨の輪郭を検出して、再構築された大腿骨を現在の画像に適合させる。
１３．ユーザーはステップ９に戻る。
１４．ユーザーが更なる穴を固定したい場合、本システムは、全ての釘穴用の入口点（大腿骨の３Ｄ再構築と、理想的な固定位置のための植込み曲線の交点によって与えられた）を表示して、その入口点に達するためにドリルの先端をどのように動かすかの指示を与える。一例が図３２に示されている。ユーザーは、ドリルの先端を計算された入口点（ＥＰとラベル付け）上に置いて、ステップ１２に戻る。

潜在的なワークフローに対する例（強化バージョン）、図３６を参照：
１．任意選択：ユーザーは、大腿骨の遠位部のＸ線画像（例えば、図２８に示されるようなＡＰ、またはＭＬ）を取得する。本システムは、インプラント（ＩＭとラベル付け）の位置を突き止めて、大腿骨（ＦＥＭとラベル付け）の輪郭を検出する。インプラントまたは大腿骨の輪郭のいずれかの位置が突き止められない場合、本システムは、（例えば、Ｃアームを移動させることによって）可視性を高めるように指示を与える。ユーザーはその指示に従って、このステップの始まりに戻る。
２．ユーザーは、ドリルを大腿骨の表面上に（例えば、釘穴軌道上に）置く。
３．ユーザーは、大腿骨の遠位部のＸ線画像（例えば、ＭＬまたはＡＰ）を取得する。本システムは、インプラント（ＩＭとラベル付け）の位置を突き止めて、大腿骨（ＦＥＭとラベル付け）の輪郭を検出し、ドリル（ＤＲとラベル付け）の位置を突き止める。インプラントもしくは大腿骨の輪郭またはドリルの先端のいずれかの位置が突き止められない場合、本システムは、（例えば、Ｃアームを移動させることによって）可視性を高めるように指示を与える。ユーザーはその指示に従って、このステップの始まりに戻る。釘の座標系に対する骨の３Ｄ再構築に基づいて、本システムは、サブインプラント（例えば、固定ネジ）の必要な長さを計算し、情報に従って表示する。
４．ユーザーは、別の視線方向（例えば、図２９に示されるような２５°－ＭＬ）からＸ線画像を取得する。ドリルの先端は、画像間で動いてはならない。動いた場合、本システムは、これを検出することが可能であり得、ユーザーにステップ３に戻るように要求する。
５．本システムは、インプラント（ＩＭとラベル付け）の位置を突き止めて、大腿骨（ＦＥＭとラベル付け）の輪郭を検出し、ドリル（ＤＲとラベル付け）の位置を突き止める。
６．ドリルの先端の位置を突き止めることができない場合、本システムは、（例えば、Ｃアームを移動させることによって）ドリルの先端の可視性を高めるように指示を与える。ユーザーはその指示に従って、新しい画像を取得し、ステップ５に戻る。
７．少なくとも２つの画像（図３０でＩ．ＡＰおよびＩ．ＭＬとラベル付け）内でのインプラントの位置の突き止めに基づいて、本システムは、図３０および図３１に示されるような画像位置合わせを実行する。
８．ステップ７からの画像位置合わせに基づくが、恐らくは以前の画像位置合わせからの情報を使用して、本システムは、大腿骨の統計的モデルを、その投影された輪郭を画像内の大腿骨の検出された輪郭にマッチングさせることによって、適合させる（すなわち、それは、両方の画像内での大腿骨の回転および平行移動、スケーリング、および統計的モデルのモードを決定する）。任意選択：本システムは、再構築された骨および決定された釘穴軌道に基づいて、計算されたサブインプラント長を更新し得る。
９．現在の画像に関して、本システムは、像平面内のドリルの先端から焦点までの線Ｌ１（図３１でＬ１とラベル付け）を画定する。Ｌ１は、再構築された大腿骨と２回交差する（すなわち、入口および出口点）。焦点に近い方の点が、ドリルの先端の現在の３Ｄ位置として選択される。
１０．ドリルの先端を含んでいる他の視線方向からの画像に対して、本システムは、像平面内のドリルの先端から焦点までの線Ｌ２を（すなわち、その画像の対応する座標系内で）画定する。画像位置合わせに基づいて、この線は、現在の画像の座標系内に変換される。変換された線は、Ｌ２´（図３１でＬ２´とラベル付け）と呼ばれる。
１１．Ｌ１とＬ２´との間の最も短い距離がある閾値より高い場合、本システムは、十中八九、ドリルの先端が画像間で動いているので、ユーザーにステップ４に戻るように助言し得る。任意選択：ユーザーが、画像位置合わせのために使用された画像ペアの生成間でドリルの先端が動いていないことを確認する場合、本システムは、両方の画像内でインプラントの位置の突き止めを最適化して、Ｌ１とＬ２´との間の距離を最小化することにより、画像位置合わせを改善する（インプラントおよびドリル先端の位置の突き止めが両方の画像内で完全であり、ドリルの先端が画像間で動いていなかった場合、Ｌ１およびＬ２´は交差する）。
１２．Ｌ２´までの最も短い距離を有するＬ１上の点が、ドリルの先端の現在の３Ｄ位置に対する更なる初期値として選択される。
１３．ドリルの先端の３Ｄ位置に対する２つのソリューション（すなわち、ステップ９および１２から）に基づいて、本システムは、ドリルの先端の現在の３Ｄ位置を（例えば、ステップ１２からのソリューションを選択することにより、または両方のソリューションを平均することにより）見つける。ドリルの先端が大腿骨の表面上にあるので、本システムは、ドリルの先端の推定された３Ｄ位置が再構築された大腿骨の表面上にあるという制約下で、大腿骨の３Ｄ再構築を改善する。本システムは、以前に計算されたサブインプラント長を大腿骨の改善された再構築に基づいて検証し得る。更新された長さが以前に計算されたネジ長（恐らくは、サブインプラントの利用可能な長さ増分を考慮して）から外れている場合、本システムはユーザーに通知する。
１４．（画像位置合わせおよび大腿骨の再構築に起因した）大腿骨とインプラントとの間の既知の空間的関係に基づいて、本システムは、ドリルとインプラントとの間の空間的関係を計算する。
１５．ドリルの軌道が釘穴を通る場合、本システムは、穴開けを開始するように指示を与え、ユーザーは穴開けを開始して、穴開け後にサブインプラントを挿入し、次いで、ステップ１９に進む。穴開けプロセス中はいつでも、ユーザーは、以下のワークフロー例に従って穴開け軌道を検証し得る。
１６．ドリル軌道が釘穴を通らない場合、本システムは、ドリルの先端を移動させ、かつ／またはドリルを回転させるための指示を与える。ユーザーはその指示に従って、新しいＸ線画像を取得する。
１７．本システムは、視線方向が変わっているかどうかを（例えば、画像差分析によって）評価する。視線方向が変わっていない場合、本システムは、以前の画像からのほとんどの結果を使用し得るが、それは、ドリルの位置を突き止める。視線方向または任意の他の関連する画像内容が（例えば、画像ぶれの影響、遮蔽などによって）変わっている場合、本システムは、この情報を使用して（例えば、現在の画像の追加の視線方向を使用することにより）画像位置合わせを改善する。本システムは、可能な場合は、それらの入口点に関する利用可能な情報を考慮に入れることによって既に挿入されたサブインプラントの位置の突き止めによって最適化された、インプラント、およびドリルの位置を突き止め、大腿骨の輪郭を検出して、再構築された大腿骨を現在の画像に適合させる。
１８．ユーザーはステップ１４に戻る。
１９．ユーザーが更なる穴を固定したい場合、本システムは、全ての釘穴用の入口点（大腿骨の３Ｄ再構築と、理想的な固定位置のための植込み曲線の交点によって与えられた）を表示して、その入口点に達するためにドリルの先端をどのように動かすかの指示を与える。一例が図３２に示されている。ユーザーは、ドリルの先端を計算された入口点（ＥＰとラベル付け）上に置いて、ステップ１７に戻る。

いつでも、ユーザーが、穴の固定が成功しているかどうかをチェックすることを決定する場合、ユーザーは、固定穴軌道から８度未満だけ外れている撮像方向で画像を取得し得、本システムは、固定が成功しているか否かを、自動的に評価する。最後の穴が固定されている場合、または本システムが、実行された固定手順の検証を要求する情報を有している場合、本システムは、ユーザーが、固定穴軌道に対してＣアーム位置の上に達するのをガイドし得る。

提案された入口点上にドリルを位置付けるために皮膚切開を正しいスポットで実行するのをサポートするために、本システムは、植込み曲線に基づいた皮膚入口点および骨上の入口点を皮膚と骨との間の距離を推定することによって投影し得る。

ドリル軌道を検証して補正するための潜在的なワークフローに対する例、図３７を参照：
１．ユーザーが現在の撮像方向からＸ線画像を取得する。
２．本システムは、ドリルと釘を位置合わせる、すなわち、それは、それらの相対３Ｄ位置および配向を取得されたＸ線画像に基づいて決定する。２Ｄ－３Ｄマッチングの曖昧さは、ドリル軸が、釘に対するその３Ｄ座標が図３５または図３６のワークフロー内で以前に決定されている入口点（すなわち、穴開けの開始点）を通るという事前情報を考慮に入れることによって解決され得る。これに関する更なる説明が以下で提供される。
３．現在のドリル位置および釘に対する配向が、ドリルがその現在の経路を辿り続けた場合に固定穴を逃し得ることを示す場合、本システムは、ユーザーに、動力器具を、回転ドリルビットを用いて、指定された角度だけ傾ける指示を与える。それを行うことにより、ドリルビットは、海綿骨を通して脇路を広げ、結果として正しい軌道に戻る。指示内で提供された角度は、指示に従う際にドリルが骨の内側に曲がり得ることを考慮に入れ得、屈曲の量は、ドリルの挿入の深さ、骨の密度、ならびにドリルの剛性および直径によって決まり得る。
４．ユーザーは、ステップ１に戻るか、または穴開けを再開し得る。ステップ１～ステップ４のこのループは、準リアルタイムのナビゲーションガイダンスに対して継続的に実行され得る。

ステップ２における２Ｄ－３Ｄマッチングの曖昧さの解決は、図３８および図３９に例示されている。図３８は、３Ｄ空間内に、全て図３９における同じ２Ｄ投影ＤＲＰとなる３つの異なるドリル位置（ＤＲ１、ＤＲ２、およびＤＲ３とラベル付け）を示す。しかし、ドリル軸が入口点ＥＰを通るという事前情報を考慮に入れることにより、釘Ｎに対するドリルの３Ｄ位置および配向に関するいかなる曖昧さも解決され得る。

ドリルが釘に近づくや否や、ステップ１で取得された画像は、ドリルの先端がＸ線画像内の釘と重なり合うので、２Ｄ－３Ｄマッチングの曖昧さを解決するのをもう可能にしないことに留意されたい。この場合、考えられる解決策は、異なる撮像方向から、ドリルの先端（および釘）を示す、追加のＸ線画像を取得することであり得る。追加のＸ線画像では、釘も位置を突き止められ得、従って、追加のＸ線画像が元のＸ線画像と位置合わせされ得る。追加のＸ線画像内で、ドリルの先端が検出され得る。追加のＸ線画像内で検出されたドリルの先端によって画定された点は、エピポーラ線を画定する。ツールの軸は、元のＸ線画像内で検出され得、エピポーラ面を画定する。エピポーラ面とエピポーラ線の交差は、釘に対する３Ｄ空間内での先端の位置を画定する。

Claims (15)

1. Ｘ線画像を処理するように構成された処理装置を有する装置であって、ソフトウェアプログラムが、
   少なくとも部分的に目に見える物体の投影画像である第１のＸ線画像を受信するステップと、
   前記物体のモデルを受信して、前記第１のＸ線画像内で前記物体の位置を突き止めるために前記モデルを適用するステップと、
   前記第１のＸ線画像内で点を識別するステップであって、前記点の前記物体に対する３Ｄ位置が分かっている、ステップと、
   少なくとも部分的に目に見えるツールの、前記少なくとも部分的に目に見える物体と一緒の投影画像である第２のＸ線画像を受信するステップと、
   前記第２のＸ線画像内で前記物体の位置を突き止めるために前記物体の前記モデルを適用するステップと、
   前記ツールに対して固定した関係で座標系を定義するステップと、
   前記座標系内で軸を決定して識別するステップと、
   前記物体に対する前記ツールの３Ｄ位置および配向を、
   （ｉ）前記第２のＸ線画像、
   （ｉｉ）前記ツールの３Ｄモデル、
   （ｉｉｉ）前記位置を突き止められた物体、
   （ｉｖ）前記物体に対する前記点の前記３Ｄ位置は、前記第１のＸ線画像を生成するとき、および前記第２のＸ線画像を生成するときに同じであるという知識、ならびに
   （ｖ）前記点と前記軸との間の距離に関する知識
   に基づいて決定するステップと
   を行うために、前記処理装置によって実行される、装置。
2. 前記物体は、穴のあるインプラントを含み、前記物体に対する前記点の前記３Ｄ位置が前記インプラント内の前記穴の軸に基づいて決定される、請求項１に記載の装置。
3. 前記ツールは前記第１のＸ線画像内で少なくとも部分的に目に見えており、識別された前記点は、前記ツールにおける点であり、かつ前記ツールは、前記第１のＸ線画像の生成と、前記第２のＸ線画像の生成との間で、前記物体に対して移動している、請求項１に記載の装置。
4. 前記物体に対する前記点の前記３Ｄ位置が、ｉ）骨表面の前記位置に関する知識、およびｉｉ）前記点が前記骨表面に位置しているという知識に基づいて決定される、請求項１～請求項３のいずれか１項に記載の装置。
5. 前記物体に対する前記点の前記３Ｄ位置が、別の視線方向からの更なるＸ線画像に基づいて決定される、請求項１～請求項４のいずれか１項に記載の装置。
6. 前記物体に対する前記点の前記３Ｄ位置が、前記第１のＸ線画像に基づく前記物体に対する前記ツールの３Ｄ位置および配向の決定に基づいて決定される、請求項３～請求項５のいずれか１項に記載の装置。
7. 前記ツールの先端が前記第２のＸ線画像内で目に見えており、前記物体に対する前記ツールの前記３Ｄ位置および配向の前記決定が、更なる点を画定する前記ツールの前記先端にさらに基づく、請求項１～請求項６のいずれか１項に記載の装置。
8. 前記ツールは、前記Ｘ線画像の少なくとも１つの生成中に回転しているドリルである、請求項１～請求項７のいずれか１項に記載の装置。
9. 前記Ｘ線画像内でその部分が目に見えている、前記ツールの前記部分は、回転対称である、請求項１～請求項７のいずれか１項に記載の装置。
10. 前記第２のＸ線画像内にその部分が延出する、前記ツールの前記部分は、部分的に遮蔽されている、請求項１～請求項９のいずれか１項に記載の装置。
11. 前記ソフトウェアプログラムは、別の視線方向から生成された第３のＸ線画像を受信する更なるステップを実行するために、前記処理装置によって実行され、前記物体に対する前記ツールの前記３Ｄ位置および配向の前記決定が前記第３の画像にさらに基づく、請求項８～請求項１０のいずれか１項に記載の装置。
12. 前記ツールはドリルであり、前記ソフトウェアプログラムは、既に実行された穴開けの深さ、前記物体の密度、前記ドリルの直径、および前記ドリルの剛性から成る群からの態様の少なくとも１つを考慮に入れて、ユーザーに指示を提供する更なるステップを実行するために、前記処理装置によって実行される、請求項１～請求項１１のいずれか１項に記載の装置。
13. 前記ソフトウェアプログラムは、
    一連のＸ線画像を受信する更なるステップであって、前記Ｘ線画像の各々は、前記少なくとも部分的に目に見える物体および前記少なくとも目に見えるツールの投影画像である、ステップと、
    前記物体に対する前記ツールの前記３Ｄ位置および配向の継続的な準リアルタイム決定を提供する更なるステップであって、その間、前記ツールは前記物体に対して移動している、ステップと
    を行うために、前記処理装置によって実行される、
    請求項１～請求項１２のいずれか１項に記載の装置。
14. 筋骨格手術を支援する方法であって、
    少なくとも部分的に目に見える物体の投影画像である第１のＸ線画像を受信するステップと、
    前記物体のモデルを受信して、前記第１のＸ線画像内で前記物体の位置を突き止めるために前記モデルを適用するステップと、
    前記第１のＸ線画像内で点を識別するステップであって、前記点の前記物体に対する３Ｄ位置が分かっている、ステップと、
    少なくとも部分的に目に見えるツールの少なくとも部分的に目に見える物体と一緒の投影画像である第２のＸ線画像を受信するステップと、
    前記第２のＸ線画像内で前記物体の位置を突き止めるために前記物体の前記モデルを適用するステップと、
    前記ツールに対して固定した関係で座標系を定義するステップと、
    前記座標系内で軸を決定して識別するステップと、
    前記物体に対する前記ツールの３Ｄ位置および配向を、
    （ｖｉ）前記第２のＸ線画像、
    （ｖｉｉ）前記ツールの３Ｄモデル、
    （ｖｉｉｉ）前記位置を突き止められた物体、
    （ｉｘ）前記物体に対する前記点の前記３Ｄ位置は、前記第１のＸ線画像を生成するとき、および前記第２のＸ線画像を生成するときに同じであるという知識、ならびに
    （ｘ）前記点と前記軸との間の距離に関する知識
    に基づいて決定するステップと
    を含む、方法。
15. 前記方法は、
    一連のＸ線画像を受信するステップであって、前記Ｘ線画像の各々は、前記少なくとも部分的に目に見える物体および前記少なくとも目に見えるツールの投影画像である、ステップと、
    前記物体に対する前記ツールの準リアルタイムの継続的３Ｄ位置合わせを提供するステップであって、その間、前記ツールは前記物体に対して移動している、ステップと
    をさらに含む、
    請求項１４に記載の方法。

Images