JP7475082B2 - ２ｄ医用画像において物体間の相対的３ｄ位置および向きを決定すること - Google Patents

Description

本発明は、人工知能およびコンピュータ支援外科手術の分野に関する。特に本発明は、Ｘ線投影画像に基づいて３Ｄ表現ならびに物体間の相対的３Ｄ位置および相対的３Ｄ向きを決定するための装置および方法に関する。本方法は、本装置の処理装置上で実行可能なコンピュータプログラムとして実装されていてもよい。

整形外科あるいは整形外科的外傷外科手術または脊髄手術では、比較的細い機器により標的物体または標的構造（標的物体の一部として）に照準を合わせることが共通の作業である。標的構造は解剖学的構造（例えば椎弓根）あるいは他の機器の一部またはインプラント（例えば、長い順行性髄内釘の遠位固定穴）であってもよい。一般に、その目標は機器と標的物体との間の相対的３Ｄ位置および相対的３Ｄ向きを決定することであってもよい。利用可能な術中２Ｄ撮像技術に基づくと、これは困難な場合がある。標的物体の正確な幾何学的形状が未知である場合および／または機器は既知であるが２ＤＸ線画像に基づいて３Ｄ空間において一意的に位置特定可能でない場合には特に難しい。

外科的処置のために術前ＣＴスキャンを行う場合があり、これにより当該処置のより正確な計画が可能になる。これは例えば複雑な３Ｄ構造内で手術をする場合、あるいは狭い解剖学的構造内または重要な構造（例えば、脊髄、神経、大動脈）の近くでドリルで穴を開けたりスクリューを配置したりする場合である。そのような処置の典型的な例は、仙腸関節もしくは椎弓根スクリューの配置である。標的構造が器具またはインプラントである場合、その３Ｄ幾何学的形状は典型的に既知である。一例は遠位固定処置であり、そこでは標的物体（釘）および特に標的構造「遠位固定穴」（円筒）の３Ｄモデルまたはそれに関する３Ｄ情報が利用可能である。

しかし外科医がこの３Ｄ情報を利用し、かつそれを術中２ＤＸ線画像に適用するためには、高レベルの空間的認知および想像が必要とされる。

場合によってはいくつかの処置のために、例えばドリルを撮像機器の特定の視認方向（例えば、遠位固定処置のための真の内外側面図）に整列することによりドリルでの穴あけ方向を決定することが可能な場合もある。さらにドリルでの穴あけは実際には、この方向に沿って正確に進めることを保証することは一般に可能でない。次にこれについて、長い順行性髄内釘の遠位固定の例を挙げて示す。

順行性釘の従来の遠位固定処置では、外科医はＣアームを真の外側位置（これは固定される穴がＸ線画像において完全に円形で現れることを意味する）に移動させる。この位置決めは繰り返し行うので単調であり、かつ時間がかかり、場合により数分を要し、典型的にはＣアームの対応する再調整により５～２０枚のＸ線画像の取得を必要とする。この位置決めを達成するより速い方法は、Ｃアームの蛍光透視モードを使用する（連続的なＸ線ビデオストリームを生成する）ことであるが、これはより高いＸ線線量が生じる。

さらに遠位固定のために高い正確性を保証するために、穴は円形で現れなければいけないというだけでなく、Ｘ線画像の中心の近くになければならない。但し実際には、穴がＸ線画像において十分に円形で現れたら、穴がＸ線画像の中心の近くないとしてもこのＣアーム位置は典型的に遠位固定のために使用される。Ｘ線ビームのファンの円錐形状により、Ｘ線ビームの方向が傾けられるほど、ビームはＸ線画像の中心からさらに離れる。従って穴を通したドリルでの穴あけはＸ線源の焦点の方向でなければならず、Ｘ線源と検出器との間の中心線に平行であってはならない。

次の工程では、ドリルの先端を意図されているドリル位置に配置することができ、Ｘ線画像を取得する。ここでは、動力ドリルおよび外科医の手が視界を塞がないように、ドリルは意図的に斜角に（すなわち固定軌道の方向ではない）保持してもよい。その目標はＸ線画像において、ドリル先端が（円形）固定穴の中心に現れるようにドリルを配置することである。またこれは繰り返し行い、典型的には５～１０の繰り返しおよびＸ線画像を必要とする。

これが十分な正確性で達成されると、ドリル先端を適所に残したままドリルを標的軌道と整列する。この角度では、動力ドリルおよび外科医の手が視界を塞ぐので、この整列は典型的にＸ線により確認されない。故に、外科医はＣアームの位置をガイドとして使用し、ドリルを「Ｃ」に平行に整列することを試みる。ドリルでの穴あけ中にそのような整列を達成し、かつ次いで維持することはかなり高レベルの手の器用さを必要とする。さらに外科医は典型的に、Ｘ線源の焦点に照準を合わせなければならないということを遵守しない。焦点に照準を合わせることを怠ることによりもたらされる誤差が大きくなるほど、固定穴がＸ線画像の中心からさらに離れて現れる。典型的な誤差は標的点（固定穴）において１～２ｍｍの範囲である。これは３ｍｍの限界に近く、これを超えると、大部分の釘固定システムで遠位固定は失敗する。この全てが、特に経験の少ないまたはあまり熟練でない外科医の場合に、ドリルでの穴あけの試みが不成功に終わることを意味している。

一般に２つ以上の穴に固定する必要があるので、この処置全体を各穴のために繰り返さなければならない。従って、釘の固定処置全体を完了することは典型的に非常に時間がかかり、多くのＸ線画像を必要とし、多くの場合にドリルでの穴あけの試みが不成功に終わる。これは、骨接合の領域では遠位固定が最もフラストレーションを生じさせる処置の１つであることを意味している。これは時には、長い釘の代わりに短い釘を用いるという手っ取り早い方法に導き、次いでこれにより患者の予後はさらに悪化し、次いでかなりの回数の再置換術を行う結果となる。

この理由のために、いくつかの製造業者は髄管において釘の曲げを調整する柔軟な機械的解決法（以後「長い照準装置」と呼ぶ）を提供する。長い照準装置は当該処置を単純化するが、長い照準装置を示すＸ線画像を正確に解釈しなければならず、かつＣアーム位置をそれに応じて調整しなければならないため、その適用はまだ簡単ではない。Ｃアームの正しい調整後にのみ長い照準装置を適切に調整することができる。

ＥＰ ２８０１３２０ Ａ１（欧州特許出願公開第２８０１３２０号公報）は、長い照準装置に対して固定された既知の位置にある金属製マーカーを有する参照体を検出し、かつ参照体の撮像方向を決定するという概念を提案している。それに基づいて、当該システムはどのようにＣアーム撮像装置を調整するかということに関する指示を与えることができる。そのようなシステムの欠点は、Ｘ線画像が参照体を含んでいなければならないということである。外側方向に固定穴を有する順行性大腿骨釘の場合の長い照準装置の調整のために、ＵＳ ２０１３／０２１１３８６ Ａ１（米国特許出願公開第２０１３／０２１１３８６号公報）は、ＭＬ方向およびＡＰ方向のそれぞれへの釘の曲げを決定するために参照体を使用する。

遠位固定以外に、一般に最小侵襲処置の安全性および正確性を高めるために、外科医は必要な術中３Ｄ情報、すなわち機器と標的物体／構造との間または複数の解剖学的物体間での相対的３Ｄ位置および３Ｄ向きに関する情報へのアクセスを有することが必要である。この情報は追跡ベースのナビゲーションシステムによって表示してもよく、これは術前３Ｄ撮像を必要とし、次いで術前３Ｄデータと共に術中２Ｄ撮像データを手術中に記録する。別の代替法は、標的物体およびさらなるハードウェアの形態である場合が多いさらなる器具（例えば長い照準装置）に関する３Ｄ情報を含むデータベース（例えばインプラントデータベース）の使用である。これらのシステムはセットアップおよび術中使用において扱いにくく、時間がかかり、かつ単調である場合が多く、典型的に高価である。故に全てのこれらの欠点のために、ナビゲーションベースシステムは整形外科および外傷に使用するために常に利用可能なわけではなく、さらには実行可能なわけでもない。同じ説明が、高いＸ線線量も加える術中３Ｄ撮像（例えば、Ｏアーム、３ＤのＣアーム）のためのシステムに当てはまる。

これは、追跡システムなしに、どんなさらなるハードウェア構成要素も必要とすることなく術中３Ｄ情報を提供することができる非侵襲的かつ使用が容易なシステムの必要性を強調している。本発明は、術中２Ｄ画像を処理するためにコンピュータおよびディスプレイおよび／またはラウドスピーカーのみを必要とするシステムおよび方法を提案している。標的物体の決定論的３Ｄデータ（例えば、インプラントの３Ｄ術前撮像データまたは３Ｄモデルデータの形態）を利用する技術およびそのようなデータを必要としない技術の両方が提供される。

製品開発を単純化させ、より費用対効果が高く、典型的なワークフローにより酷似している手術室ワークフローを可能にし、かつ参照体のために機械的インタフェースによってもたらされるさらなる不確実性を排除する（例えば、新しいインプラントを用いる場合）という理由から、どんな参照体または他のさらなるハードウェア（例えば、照準装置）も使用せずに作業することが好ましい。

本発明は本明細書に記載されているように、例えば骨折した骨の治療を行う場合に必要とされる情報を提供するために、あらゆる参照体の代わりにＸ線画像生成プロセスに関する知識と人工知能（いわゆるディープモーフィングの形態および／またはニューラルネットの利用）とを組み合わせることを提案している。従って、３Ｄ表現を可能にする装置および／または方法を提供すること、およびＸ線投影画像において少なくとも部分的に視認可能な複数の物体間の相対的３Ｄ位置および相対的３Ｄ向きを決定することを本発明の目的とみなしてもよい。ここでは物体は、Ｘ線画像において視認可能なあらゆる物体、例えば解剖学的構造、インプラント、手術器具および／またはインプラントシステムの一部であってもよい。

「３Ｄ表現」という用語は、３Ｄ体積または３Ｄ表面の完全もしくは部分的記述を指してもよく、それは半径、軸および平面などの選択された幾何学的側面も指してもよい。物体の３Ｄ表面または体積に関する完全な３Ｄ情報を決定することが可能であり得るが、多くの用途において、選択された幾何学的側面のみを決定するだけで十分であり得る。

本出願全体を通して「位置特定する」および「位置特定」という用語は、物体の３Ｄ向きの決定およびその物体の画像平面への投影の２Ｄ空間位置の決定を意味する。撮像深さ（これは画像平面からの物体の距離である）は他方で、手術室における物体の典型的な配置、例えばインプラント、患者および撮像装置の相対位置に関するアプリオリ情報に基づいて（いくつかの不確実性と共に）推定される。本発明の大部分の目的にとって、そのような推定される撮像深さは十分である。いくつかの用途は、より正確に撮像深さを決定することを必要としてもよく、これは以下でさらに考察されるように特定の事例において可能である。

一実施形態によれば、その形状および外観がいくつかの可変性を有する物体の３Ｄ再構築（すなわち３Ｄ表現の決定）および位置特定が提供される。これは単一のＸ線画像に基づいて、あるいは高い正確性のためには複数のＸ線画像に基づいて行うことができる。Ｘ線画像において視認不可能または部分的にのみ視認可能な場合であっても、解剖学的構造、インプラント、手術器具および／またはインプラントシステムの一部のような関連する物体の３Ｄ表現および位置特定も提供することができる。

一実施形態によれば、物体の少なくとも１つの位置特定が個々に十分な正確性で可能でない場合であっても、複数の物体間での相対的３Ｄ位置および３Ｄ向きの決定が提供される。これはまた、少なくとも２つの物体の側面間の相対位置および／または向きに関するアプリオリ幾何学的情報を利用することによって、および場合により許容可能なＸ線撮像方向の範囲を制限することによって達成してもよい。可能な臨床的用途としては、フリーハンドでの遠位固定、仙腸関節（ＳＩ）もしくは椎弓根スクリューの配置、および骨折の解剖学的整復の評価が挙げられる。

なお、処理されたＸ線画像の画像データは撮像装置から、例えばＣアームベースの２ＤＸ線装置から受信してもよく、あるいはデータベースから直接受信してもよい。また本発明の態様を使用して、超音波もしくは磁気共鳴画像法などの他の撮像画像診断法を用いて取得された医用画像を処理してもよい。

一実施形態に従って提案されるシステムは、一般に、処理装置に（ｉ）その特性が撮像パラメータによって決まるＸ線投影画像を受信させ、（ｉｉ）Ｘ線投影画像において少なくとも１つの物体を分類させ、（ｉｉｉ）分類された物体のモデルを受信させ、かつ（ｉｖ）分類された物体の３Ｄ表現を決定させ、かつモデルの仮想投影を分類された物体の実際の投影画像に一致させることにより、座標系に関して分類された物体を位置特定させる命令のセットを含むコンピュータプログラム製品を実行するように構成された少なくとも１つの処理装置を備える。このプロセスはＸ線撮像方法の特性を考慮してもよい。特に後の例で考察されているように、タレスの定理が適用されるという事実を考慮してもよい。

Ｘ線投影画像は目的の解剖学的構造、特に骨を表してもよい。骨は例えば、手または足の骨すなわち大腿骨および脛骨のような下肢の長い骨ならびに上腕骨または椎骨または骨盤のような上肢の長い骨であってもよい。当該画像は、手術器具（例えばドリル）または目的の画像化された解剖学的構造に既に挿入されているか固定されている骨インプラントのような人工の物体も含んでもよい。

本発明の文脈では「物体」と「モデル」は区別される。「物体」という用語は実物体、例えば骨もしくは骨の一部または別の解剖学的構造、あるいは髄内釘、骨プレートまたは骨スクリューのようなインプラント、あるいはインプラントに接続されている場合があるスリーブ、ｋ－ワイヤ、メス、ドリルまたは照準装置のような手術器具のために使用する。また「物体」は実物体の一部（例えば骨の一部）のみを記述してもよく、あるいはそれは実物体の組立体であってもよく、従って部分物体からなっていてもよい。また物体が別の物体の部分物体であることを強調するために、それを「構造」と呼んでもよい。例えば釘の「固定穴」は、物体である「釘」の構造（または部分物体）とみなしてもよい。別の例として、椎骨の「椎弓根」は物体である「椎骨」の構造とみなしてもよい。それにも関わらず、構造（椎弓根のような構造）それ自体を単に「物体」と呼んでもよい。

「モデル」という用語は、物体（または部分物体または構造）の仮想表現のために使用する。例えばインプラントの形状および寸法を定めるデータセットは、インプラントのモデルを構成してもよい。別の例として、例えば診断法の間に生成されるような解剖学的構造の３Ｄ表現を実解剖学的物体のモデルとみなしてもよい。なお、「モデル」は特定の物体、例えば特定の釘または特定の患者の左側の大腿骨を記述していてもよく、あるいはいくつかの可変性を有する一般に大腿骨などのクラスの物体を記述していてもよい。後者の場合そのような物体は、例えば統計学的形状または外観モデルによって記述されていてもよい。故に本発明の目的は、取得されたＸ線画像に描写されているクラスの物体から特定のインスタンスの３Ｄ表現を見つけることであってもよい。例えば、椎骨の一般的な統計学的形状モデルに基づいて取得されたＸ線画像に描写されている椎骨の３Ｄ表現を見つけることが目的であってもよい。決定論的可能性の離散集合を含むモデルを使用することも可能であってもよく、次いで本システムは、これらのうちのどれが画像において物体を最も良く記述しているかを選択する。例えばデータベース中にいくつかの釘が存在する可能性があり、次いでアルゴリズムはどの釘が画像に描写されているかを識別する（この情報が前もってユーザによって提供されていない場合）。

モデルは実際にはコンピュータデータセットであるため、そのデータから実質的に表されている物体の幾何学的側面および／または寸法のような特定の情報を抽出することは容易に可能である。

モデルは画像化された物体の２つ以上の部分を含んでいてもよく、場合によりその１つ以上の部分はＸ線投影画像において視認不可能である。例えばインプラントのモデルはインプラントと共に使用されることが意図されているスクリューを含んでいる場合があるが、インプラントのみが既に解剖学的構造に導入されている場合、インプラントのみがＸ線投影画像において視認可能である。

なお、モデルは、それが大腿骨頭を３Ｄでのボールおよび２Ｄ投影画像での円によって近似させることができるという事実、または椎骨の椎弓根が円筒状形状を有するという事実などの物体の特定の幾何学的側面のみを記述しているという意味で、実物体の完全な３Ｄモデルでなくてもよいことにも留意されたい。

一実施形態によれば、Ｘ線画像を処理するためのシステムは一般に処理装置とソフトウェアプログラム製品とを備え、ここではソフトウェアプログラム製品が処理装置によって実行された場合に、本システムに以下の工程を行わせる。最初に少なくとも第１の物体および第２の物体の投影画像であるＸ線画像を受信させる。次いで少なくとも第１の物体および第２の物体を分類させ、これらの物体のそれぞれの３Ｄモデルを例えばデータベースから受信させる。直接Ｘ線画像に基づき、かつ／またはそれぞれの３Ｄモデルに基づいて、第１の物体の３Ｄモデルに関して第１の物体の第１の幾何学的側面を決定および識別させ、かつ第２の物体の３Ｄモデルにおいて第２の物体の第２の幾何学的側面を決定および識別させる。第２の幾何学的側面は点であってもよい。

さらに、第１の物体の３Ｄモデル、第２の物体の３Ｄモデル、および第２の幾何学的側面（例えば第２の物体の点）が第１の物体の幾何学的側面上に位置しているという情報に基づいて、第１の物体と第２の物体との間の空間的関係を決定する。第１の物体の幾何学的側面は平面、線または点であってもよい。当然のことながら、幾何学的側面は複数の上記側面ならびにそれらの組み合わせを含んでもよい。その結果、本明細書で使用される幾何学的側面は骨折の場合に、断片のエッジなどのより複雑な形状となる場合がある。

一実施形態によれば、第１の物体の幾何学的側面は平面または線であり、撮像方向が１０°～６５°の範囲の角度で幾何学的側面に対して傾けられている状態でＸ線画像が生成される。実際に、第１の物体に関連づけられた平面または線は撮像方向に対して傾けられていてもよい。傾けられた撮像方向で生成されたＸ線画像は、幾何学的側面の決定を可能にするのに十分な第１の物体に関する情報を含んでいればよい。言い換えると、Ｘ線画像において視認可能であるような第１の物体の外観は、物体を分類し、かつ幾何学的側面を自動的に識別するのに十分な情報を本システムの処理装置に提供する。またその角度の範囲は１５°～４５°であってもよい。あるいは、その角度は２０°～３０°の範囲であってもよい。本システムがＣアームの調整のためにユーザに指示を与えると仮定すると、本システムはユーザに第１の物体の幾何学的側面に対して撮像方向を方向づけるように指示してもよく、あるいはユーザに第１の物体の幾何学的側面を例えば２５°の角度で方向づけるように指示してもよい。

さらなる実施形態によれば、本システムに第１の物体に対する第２の物体の意図されている空間的関係からの第２の物体の３Ｄ位置および３Ｄ向きの逸脱をさらに決定させる。

例えば第１の物体は、解剖学的構造または第１のインプラントの側面であってもよく、第２の物体は器具または第２のインプラントであってもよい。以下により詳細に説明されているように、第１の物体は椎骨であってもよく、第２の物体は椎弓根スクリューであってもよい。あるいは、第１の物体は髄内釘であってもよく、第２の物体は釘を遠位に固定するための固定スクリューであってもよい。あるいは、第２の物体は、骨の中へのそこを通したスクリューのための経路を準備するために使用されるドリルまたはｋ－ワイヤであってもよい。あるいは、第１の物体および第２の物体はそれぞれ解剖学的に整復されなければならない骨断片であってもよい。

一実施形態によれば、第２の物体の選択される点は物体（例えばドリルの先端）であってもよく、前記先端の３Ｄ位置に関する情報は、その先端と第１の物体の表面（例えば椎骨または大腿骨のような長い骨の外面）との接点であってもよい。

一実施形態によれば、本システムは情報をユーザに提供するための装置を備えていてもよく、ここではその情報は、Ｘ線画像および処置の工程に関する指示からなる群からの少なくとも１つの情報を含む。当然のことながら、そのような装置は情報の可視化のためのモニターであってもよく、あるいは情報を聴覚的に提供するためのラウドスピーカーであってもよい。

さらに別の実施形態によれば、本システムの処理装置上で実行される上記ソフトウェアプログラム製品と共に使用されることが意図されているＸ線撮像装置の特性は既知であってもよい。一方で撮像特性は既知であってもよく、かつＸ線画像データを処理する場合に考慮に入れてもよく、他方で撮像装置の既知の幾何学的形状ならびにＣアームの位置および向きを変える可能性に基づく撮像のために、ユーザへのＣアームの調整のための指示を容易にしてもよい。ＣアームベースのＸ線撮像装置は本システムの一部であってもよい。

投影画像における物体の外観に、Ｘ線撮像手順によって影響を与えてもよい。例えば、重力に対する撮像方向（これは「視認方向」とも呼ばれるＸ線ビームが物体を通過する方向を記述する）、ズーム、放射線強度および／または磁場の存在のような撮像パラメータが、投影画像における物体の外観に影響を与えてもよい。それらもしくはさらなる撮像パラメータは、ピロー効果による投影された物体の変形、撮像方向に応じたＣアーム撮像装置の機械的曲げ、曲率、ノイズおよび／または歪みのような投影画像における特性変化を引き起こす場合がある。ここでは、それらの変化は画像特性として表される。

当然のことながら、投影画像において十分な精度でそれらの画像特性を決定することが可能であり得る。例えば、画像のエッジ領域に示されている構造の位置は、画像の中心における構造よりもピロー効果によって影響を受ける場合がある。その結果、エッジ領域から中心領域に及ぶ既知の形状の構造に基づいて、十分な精度でピロー効果の特性を決定することができる。２ＤＸ線における領域のために決定される画像特性を画像全体に外挿してもよい。

Ｘ線画像における物体の外観はさらに、とりわけＸ線放射線の減衰、吸収および偏向によって決まり、これらは物体の材料によって決まる。Ｘ線ビームが多くの材料を通過しなければならないほど、Ｘ線検出器によって受け取られるＸ線放射線はさらに少なくなる。これは、そのアウトライン内の物体の外観だけでなく、特に物体が細い領域においてＸ線投影画像におけるアウトラインそれ自体の形状も変化させる場合がある。またこの効果の強さは、Ｘ線強度およびＸ線ビームが通過しなければならない物体を取り囲んでいる組織の量によって決まる。後者は患者の肥満度指数および撮像方向によって決まる。物体を取り囲んでいる軟組織の量はデータベースから得ることができ、これは例えば民族性、性別、肥満度指数、年齢を考慮する。

画像および物体特性ならびにＸ線の減衰、吸収および偏向の効果を考慮に入れて、物体がＸ線投影画像において変形され、かつ／または歪められるようにモデルの仮想投影を変形させ、かつ／または歪めてもよい。次いでそのような仮想投影をＸ線画像において見られる投影に一致させてもよい。当然のことながら、Ｘ線投影画像において物体をモデルに一致させることは、Ｘ線投影画像の画像特性をモデルの仮想投影の画像特性への適合および／またはモデルの仮想投影の画像特性のＸ線投影画像の画像特性への適合を含んでもよい。また当然のことながら、３Ｄにおいて距離を最小限に抑えることによる３Ｄ投影体積における一致も可能であり得る。

Ｘ線ビームはＸ線源（焦点）から生じて、画像平面においてＸ線検出器によって検出されるので、物体の物理的寸法はタレスの定理（基本的な比例定理としても知られている）によりＸ線画像におけるその投影の寸法に関連している。正確な撮像深さ（これは画像平面からの物体の距離である）は一般に本発明の文脈では必要とされない。但し、物体が十分に大きい場合、撮像深さはタレスの定理により決定してもよく、物体が大きくなるほど、この決定はさらに正確になる。小さい物体の場合であっても、撮像深さの近似推定が可能な場合がある。あるいは、Ｘ線検出器のサイズおよび画像平面と焦点との間の距離が既知である場合には、撮像深さを決定することもできる。

一実施形態によれば、Ｘ線投影画像における物体（例えば、大腿骨の近位部分、大腿骨の遠位部分、釘の近位部分または釘の遠位部分など）の分類のために、ディープニューラルネット（ＤＮＮ）を利用してもよい。なお、ＤＮＮによりその位置を決定することなく物体を分類してもよい（例えば、ＮＩＰＳ，ｐｐ．１１０６－１１１４，２０１２の中のＫｒｉｚｈｅｖｓｋｙ，Ａ．，Ｓｕｔｓｋｅｖｅｒ，Ｉ．およびＨｉｎｔｏｎ，Ｇ．Ｅ．「ディープ畳み込みニューラルネットワークを用いた画像ネット分類（ＩｍａｇｅＮｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）」を参照）。どの物体をＸ線画像において認識可能にすべきかが分かっている場合であっても物体を分類できることにもさらに留意されたい。また撮像方向の大まかな分類のためにニューラルネットを利用してもよい（例えば、ＡＰ対ＭＬ，論文：Ａａｒｏｎ Ｐｒｉｅｓ，Ｐｅｔｅｒ Ｊ．Ｓｃｈｒｅｉｅｒ，Ａｒｔｕｒ Ｌａｍｍ，Ｓｔｅｆａｎ Ｐｅｄｅ，Ｊｕｒｇｅｎ Ｓｃｈｍｉｄｔ：「ディープモーフィング：事前知識による蛍光透視Ｘ線画像における骨構造の検出（Ｄｅｅｐ ｍｏｒｐｈｉｎｇ：Ｄｅｔｅｃｔｉｎｇ ｂｏｎｅ ｓｔｒｕｃｔｕｒｅｓ ｉｎ ｆｌｕｏｒｏｓｃｏｐｉｃ Ｘ－ｒａｙ ｉｍａｇｅｓ ｗｉｔｈ ｐｒｉｏｒ ｋｎｏｗｌｅｄｇｅ）」，２０１８（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０８．０４４４１においてオンラインで入手可能）を参照）。処理工程に従うために、物体のそのような分類および撮像方向を使用して適当なモデルを選択してもよい。なお、分類は他の手段によって、あるいはどの物体が画像において視認可能であるかということに関するアプリオリ情報によって行ってもよい。

一実施形態によれば、分類された物体のアウトラインをＸ線画像において検出してもよい。解剖学的構造などの可変形状を有する物体の場合、これはＰｒｉｅｓら（２０１８）による上で引用されている論文に記載されている「ディープモーフィング」手法を用いて進めてもよい。この論文は、蛍光透視Ｘ線画像において骨構造を検出するためにディープニューラルネットワークに基づく手法を提案している。この技術は具体的には、蛍光透視Ｘ線の自動処理における課題、すなわちそれらの低品質と、典型的にニューラルネットワークを訓練するために小さいデータセットのみが利用可能であるという事実とに対処する。この技術は、統計学的形状モデルの形態の物体に関する高レベルの情報を組み込んでいる。この技術は２段階手法（ディープモーフィングと呼ぶ）からなり、ここでは第１段階ではニューラルセグメンテーションネットワークが骨または他の物体の輪郭（アウトライン）を検出し、次いで第２段階ではアクティブ形状モデルアルゴリズムの変形を用いて統計学的形状モデルをこの輪郭に当てはめる（但し、他のアルゴリズムを第２段階のために使用することもできる）。この組み合わせにより、この技術は物体輪郭上の点にラベル付けすることを可能にする。例えば大腿骨のセグメンテーションにおいて、この技術により、２ＤＸ線投影画像における輪郭上のどの点が小転子領域に対応するか、およびどの点が大腿骨頸部領域に対応するかなどを決定することができる。決定論的モデル（例えば釘）によって記述されている物体もディープモーフィングによって、あるいはディープモーフィングの第１段階と同様に単にニューラルセグメンテーションネットワークによって検出してもよい。

次いでさらなる工程において、画像および／または物体特性ならびにＸ線減衰、吸収および偏向の効果を考慮に入れてモデルの仮想投影を調整して、Ｘ線投影画像において物体の外観に一致させてもよい。一実施形態によれば、決定論的モデルによって記述されている物体の場合、この一致は、例えばＬａｕｇｉｅｒ Ｃ．（編）「認知および行動のための幾何学的推論（Ｇｅｏｍｅｔｒｉｃ Ｒｅａｓｏｎｉｎｇ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｃｔｉｏｎ）」．ＧＲＰＡ １９９１．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，第７０８巻．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇの中の論文：Ｌａｖａｌｌｅｅ Ｓ．，Ｓｚｅｌｉｓｋｉ Ｒ．，Ｂｒｕｎｉｅ Ｌ．（１９９３）「３Ｄ距離マップを用いて３Ｄ滑面をそれらの２Ｄ投影と一致させること（Ｍａｔｃｈｉｎｇ ３－Ｄ ｓｍｏｏｔｈ ｓｕｒｆａｃｅｓ ｗｉｔｈ ｔｈｅｉｒ ２－Ｄ ｐｒｏｊｅｃｔｉｏｎｓ ｕｓｉｎｇ ３－Ｄ ｄｉｓｔａｎｃｅ ｍａｐｓ）」に記載されている内容に沿って進めてもよい。この手法では、パラメータベクトルにさらなる自由度を導入することにより、あるいは好適に調整されたモデルを使用することにより、画像特性および物体特性ならびにＸ線減衰、吸収および偏向の効果を補償してもよい。

ニューラルネットは、それが適用されるデータに匹敵する非常に多くのデータに基づいて訓練してもよい。画像における骨構造の評価の場合、ニューラルネットを目的の骨の非常に多くのＸ線画像に基づいて訓練しなければならない。また当然のことながら、ニューラルネットをシミュレートされたＸ線画像に基づいて訓練してもよい。シミュレートされたＸ線画像は、論文：Ａａｒｏｎ Ｐｒｉｅｓ，Ｐｅｔｅｒ Ｊ．Ｓｃｈｒｅｉｅｒ，Ａｒｔｕｒ Ｌａｍｍ，Ｓｔｅｆａｎ Ｐｅｄｅ，Ｊｕｒｇｅｎ Ｓｃｈｍｉｄｔ：「ディープモーフィング：事前知識による蛍光透視Ｘ線画像における骨構造の検出（Ｄｅｅｐ ｍｏｒｐｈｉｎｇ：Ｄｅｔｅｃｔｉｎｇ ｂｏｎｅ ｓｔｒｕｃｔｕｒｅｓ ｉｎ ｆｌｕｏｒｏｓｃｏｐｉｃ Ｘ－ｒａｙ ｉｍａｇｅｓ ｗｉｔｈ ｐｒｉｏｒ ｋｎｏｗｌｅｄｇｅ）」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０８．０４４４１においてオンラインで入手可能）の付録に記載されているように、例えば３ＤＣＴデータから生成してもよい。

一実施形態によれば、２つ以上のニューラルネットワークを使用してもよく、ここではニューラルネットのそれぞれを特に所望の解決法を達成するために必要な部分工程のために訓練してもよい。例えば第１のニューラルネットは、解剖学的構造を分類するするために２Ｄ投影画像においてＸ線画像データを評価するように訓練してもよく、第２のニューラルネットは、２Ｄ投影画像においてその構造の位置を検出するように訓練してもよい。第３のネットは、座標系に関してその構造の３Ｄ位置を決定するように訓練してもよい。ニューラルネットワークを、限定されるものではないがアクティブ形状モデルなどの他のアルゴリズムと組み合わせることも可能である。ニューラルネットは、最初に２ＤＸ線画像において物体のアウトラインを検出することを必要とすることなく物体を位置特定したり、撮像方向を決定したりするように学習することもできることに留意されたい。また他のタスク、例えばピロー効果のような１つ以上の画像特性の決定のためにニューラルネットを利用することもできることに留意されたい。

一実施形態によれば、Ｘ線投影画像において物体を手動で分類および／または識別してもよい。そのような分類または識別は、本装置によって認識された構造を自動的に参照することにより本装置によってサポートしてもよい。

一実施形態によれば、本システムは物体の幾何学的側面（例えば、軸、平面、軌道、アウトライン、曲率、中心点または１次元もしくは２次元多様体）、および物体の寸法（例えば、長さ、半径または直径、距離）を計算してもよい。これは、モデルとＸ線画像において見られる投影に一致されている仮想投影との対応により達成してもよい。

Ｘ線投影画像を表示する場合、幾何学的側面および／または寸法を投影画像においてオーバーレイとして示してもよい。代わりおよび／または追加として、モデルの少なくとも一部をＸ線画像において、例えば透過的可視化または３Ｄレンダリングとして示してもよく、これにより、ユーザによるモデルの構造的側面および従って画像化された物体の識別を容易にしてもよい。

本発明は、その形状および外観がいくつかの可変性を有する物体の３Ｄ再構築および位置特定を提供する。そのような物体は、例えば３Ｄ統計学的形状または外観モデルによって記述してもよい。これは単一のＸ線画像または複数のＸ線画像に基づいて行うことができる。解剖学的物体の１枚の画像に基づいて、その仮想投影がＸ線画像における物体の実際の投影に一致するような方法で、モデルを変形させてもよい。複数のＸ線画像を取得する場合、それらからの情報を融合（位置合わせ）して、空間位置または向きの３Ｄ再構築および／または決定の正確性を高めてもよい。撮像方向が既知であるか決定することができる場合、あるいは複数のＸ線画像を位置合わせする場合に撮像方向間の３Ｄ角度（これは例えばオイラー角度によって表されていてもよい）が既知であるかを決定することができる場合、仮想投影のＸ線画像における実際の投影への一致（例えば、ディープモーフィングを用いる）をより高い正確性で行うことができる。

一実施形態によれば、物体の少なくとも１つの位置特定が個々に十分な正確性で可能でない場合であっても、複数の物体間での相対的３Ｄ位置および３Ｄ向きの決定が提供される。これは、Ｘ線画像における少なくとも２つの物体／構造間の相対的３Ｄ位置および／または３Ｄ向きに関する幾何学的アプリオリ情報を利用することにより対処してもよい。これは例えば、１つの物体の点が別の物体に対するその相対的３Ｄ位置および向きが既知である線上にあるという情報であってもよい。別の例は、１つの解剖学的物体の幾何学的側面と別の解剖学的物体の幾何学的側面との間の相対的３Ｄ位置および３Ｄ向きが既知であるというものである。残りの曖昧さがまだ存在する場合があるので、Ｘ線撮像方向を（ｉ）特定の解剖学的に関連する図（例えば、真のＭＬ）または（ｉｉ）物体の１つが特定の方向から視認されるのを可能にする角度範囲に制限することが必要な場合もある。

なお、処理装置は当該プロセスの全ての工程を行う１つのプロセッサのみによって、あるいは同じ場所に位置している必要はない１つのグループまたは複数のプロセッサによって実現してもよい。例えばクラウドコンピューティングは、プロセッサをあらゆる場所に配置することを可能にする。例えば、処理装置は（ｉ）骨表面のような解剖学的構造の分類を含む画像データを評価する第１のニューラルネットが実装されている第１のサブプロセッサ、（ｉｉ）分類された解剖学的構造の撮像方向を決定することに特化されている第２のニューラルネットが実装されている第２のサブプロセッサ、および（ｉｉｉ）結果を可視化するためのモニターまた聴覚的にユーザに指示を与えるためのラウドスピーカーを制御するためのさらなるプロセッサに分けられていてもよい。また、これらのプロセッサまたはさらなるプロセッサのうちの１つが例えばＸ線撮像装置のＣアームの移動を制御してもよい。

一実施形態によれば、本装置は、例えばＸ線画像を記憶するためのデータベースを提供する記憶手段をさらに備える。そのような記憶手段がネットワーク（そこには本システムが接続されていてもよい）にも設けられていてもよいこと、およびニューラルネットに関連するデータはそのネットワークを通して受信してもよいことが理解されるであろう。

さらに、本装置は少なくとも１つの２ＤＸ線画像を生成するための撮像装置を備えていてもよく、ここでは撮像装置は異なる方向から画像を生成することが可能であってもよい。

本装置は例えば画像における距離を測定するために、骨アウトラインなどのＸ線画像における物体の位置または部分を手動で決定または選択するための入力手段をさらに備えていてもよい。そのような入力手段は、モニター画面上のカーソルのようなポインティングデバイスを制御するための例えばコンピュータキーボード、コンピュータマウスまたはタッチスクリーンであってもよく、これらも本装置に含まれていてもよい。

Ｃアームの移動または回転という全ての言及は、本出願では常にＣアームと患者との間の相対的再位置決めを指すことに留意されたい。故にあらゆるＣアームの移動または回転は一般に、患者／手術台の対応する移動または回転、あるいはＣアームの移動／回転および患者／手術台の移動／回転の組み合わせで置き換えてもよい。実際に患者の四肢を移動させることはＣアームを移動させることよりも容易であり得るため、これは特に四肢を扱う場合に関連し得る。必要とされる患者の移動／回転は一般にＣアームの移動／回転とは異なり、特に典型的には、標的構造が既にＸ線画像において所望の位置にある場合には患者の平行移動は必要とされないことに留意されたい。本システムはＣアームの調整および／または患者の調整を計算してもよい。

本出願に開示されている方法および技術は、人間のユーザまたは外科医をサポートするシステムに使用してもよく、あるいは当該工程のいくつかまたは全てがロボットによって行われるシステムにも使用してもよい。故に本特許出願における「ユーザ」または「外科医」という全ての言及は、人間のユーザならびにロボットの外科医、機械的サポート装置または同様の装置を指してもよい。同様に、どのようにＣアームを調整するかという指示が与えられることが言及されている場合はいつでも、当然ながらそのような調整も人間の介入なしに、すなわちロボットのＣアームによって自動的に行ってもよく、あるいはいくつかの自動サポートと共に手術スタッフによって行ってもよい。なお、ロボットの外科医および／またはロボットのＣアームは人間よりも高い正確性で手術を行うことができるため、繰り返し手順はより少ない繰り返しを必要としてもよく、より複雑な指示（例えば、複数の繰り返し工程を組み合わせる）を実行してもよい。

コンピュータプログラム製品は、好ましくはデータプロセッサのランダムアクセスメモリにロードされてもよい。従って一実施形態によれば、記述されているプロセスの少なくとも一部を実行するためにシステムのデータプロセッサまたは処理装置が備えられていてもよい。さらに本発明は、開示されているコンピュータプログラムをその上に記憶することができるＣＤ－ＲＯＭなどのコンピュータ可読媒体に関する。但しコンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを通して提供されてもよく、そのようなネットワークからのデータプロセッサのランダムアクセスメモリにダウンロードすることができる。さらにまた、コンピュータプログラムはクラウドベースのプロセッサ上で実行されてもよく、その結果はネットワークを通して提供される。

なお、インプラントに関する事前情報（例えば、釘のサイズおよび種類）は、外科手術の前または間にインプラントの包装（例えばバーコード）またはインプラントそれ自体に記載されているあらゆるものを単にスキャンすることにより得てもよい。

本発明のさらなる理解のために、前記長い骨の中への骨釘の遠位固定について、骨スクリューを長い骨の中に骨釘の穴を通して挿入する例示的な方法が記載されている。この穴は穴軸を有し、これを釘の幾何学的側面とみなしてもよい。本方法は、ドリルの先端が骨釘の穴の穴軸に位置決めされるように、その先端が長い骨の外面に接触している状態でドリルを配置する工程を含んでもよく、このドリルのドリル軸は穴軸に対して１０～７０°の角度で方向づけられる。ここでは、穴軸は第１の物体すなわち骨釘の幾何学的側面としての線であり、ドリルの先端は第２の物体すなわちドリルの幾何学的側面としての点である。

ドリルの先端が長い骨の外面にある状態での長い骨の中にある骨ドリルおよび骨釘の第１のＸ線画像は、撮像方向が骨釘の穴軸の方向にある状態で生成される。当業者であれば、撮像方向は真の内外方向であってもよく、従って穴は大腿骨釘の遠位固定の場合に円として視認可能なはずであることを理解するであろう。

次いで本システムは、接点の知識に基づき、ドリルの３Ｄモデルに基づき、かつ骨釘の３Ｄモデルに基づいて、ドリル軸と穴軸との間の実際の角度を決定してもよい。決定された角度に基づいて、本システムは、先端がなおボア軸上にあり、かつドリル軸が穴軸の近くにあるように骨ドリルの向きを変えるための指示を与えてもよい。ここでは「近い」とは、穴軸から最大１５°の逸脱を有することを意味する。ドリルでの穴あけ軌道を撮像方向とおよそ整列するだけでも十分であり得る。

ドリル先端の位置を維持しながら、第２の撮像方向が１０～６５°の角度範囲で第１の撮像方向に対して方向づけられた状態で、長い骨の中にあるドリルおよび骨釘の第２のＸ線画像を生成してもよい。向きを変える容易な方法は、内外撮像方向から開始する場合、Ｃアークのみを前後方向に移動させることであってもよい。またここでは、ドリルすなわち第２の物体がドリル軸の例えば位置および向きの自動決定を可能にするために、次のＸ線画像において十分に視認可能であることは決定的である。従ってその角度は１０～６５°、好ましくは１５～４５°、最も好ましくは２０～３０°の範囲であってもよい。

第２のＸ線画像に基づいて、骨釘の穴の穴軸からのドリル軸の３Ｄ位置および３Ｄ向きの逸脱を決定してもよい。逸脱の場合、骨ドリルの位置および向きを調整してもよく、ボアは長い骨の中に骨釘の穴を通してドリルで開けてもよい。ドリル軸に対する撮像方向と同じ角度で、標的軌道に沿ったドリルでの穴あけを１つ以上のＸ線画像によって確認してもよい。

本発明の原理は、骨スクリューを椎骨の椎弓根の中に挿入する方法にも適用してもよい。本方法は、ドリルの先端が椎骨の椎弓根を通って延在する軸上に位置決めされるように、その先端が椎骨の外面に接触している状態でドリルを配置する工程を含んでもよく、このドリルのドリル軸は椎弓根を通る標的軸に対して１０～６５°の角度で方向づけられる。

上記方法のように椎弓根の開口部が明らかに視認可能であるように、撮像方向、例えば真のＡＰからドリルおよび椎骨を含む第１のＸ線画像を生成する。これらの２つの方法の違いは、第１のＸ線画像の撮像方向を患者がうつぶせで平らに横たわっている状態での前後方向であるとみなすことができるという点、および両方の物体が互いに接触しているため撮像方向が椎弓根軸（標的軌道）と一致している必要がないという点に認めることができる。そのような傾けられた図を用い、接点の知識に基づいて、ドリルと椎弓根との間の相対的３Ｄ位置および３Ｄ向きを決定してもよい。

次の工程として、ドリルの３Ｄモデルに基づき、かつ椎骨の３Ｄモデルに基づいてドリル軸と椎弓根を通る軸との間の実際の角度を決定してもよい。本システムによって与えることができる指示に従って、ドリルの先端がなお椎弓根を通る軸上にあり、かつドリル軸が椎弓根を通る標的軸の近くにあるように、ドリルの向きを変えてもよい。電動工具または手のいずれもが視界を塞がないように視認方向に対する椎弓根軸の傾斜が十分に大きい場合には、場合により同じ方向から第２のＸ線画像を生成してもよい。典型的には、椎弓根軸と対応する椎骨の真のＡＰ視認方向との間の傾斜は１０～４５°である。必要であればドリルの位置および向きを調整し、その後に椎骨の中へ椎弓根を通して穴を開けてもよい。

本発明の原理を、骨スクリューを仙腸関節（ＳＩ）の関節の中に挿入する方法にも適用してもよい。本方法は、ドリルの先端がＳＩ関節を通る所望のドリルでの穴あけ経路を通って延在する軸上に位置決めされるように、その遠位先端が椎骨の外面に接触している状態でドリルを配置する工程を含んでもよく、このドリルのドリル軸は椎弓根を通る標的軸に対して１０～６５°の角度で方向づけられる。

上に記載されている方法のように、撮像方向がドリルでの穴あけ経路の方向に一致している状態で、ドリルの関連する部分、腸骨および仙骨を含む第１のＸ線画像を生成する。次の工程として、接点の知識に基づき、ドリルの３Ｄモデルに基づき、かつ椎骨の３Ｄモデルに基づいて、ドリル軸とドリルでの穴あけ経路を通る軸との間の実際の角度を決定してもよい。本システムによって与えることができる指示に従って、ドリルの先端がなおドリルでの穴あけ経路の軸上にあり、かつドリル軸がドリルでの穴あけ経路の標的軸の近くにあるように、ドリルの向きを変えてもよい。

次いで、ドリルおよび撮像方向が入れ替えられた向きで、ドリル、腸骨の関連する部分および仙骨の関連する部分の第２のＸ線画像を生成する。ドリルはこの時点で、ほぼドリルでの穴あけ経路を通る標的軌道上にあってもよく、第２の撮像方向は、１０～６５°の範囲の角度で第１の撮像方向に対して方向づけられていてもよい。Ｘ線撮像装置のCアークは、傾けられた視認方向に対して回転させてもよい。また２つの撮像方向間の角度の範囲は１５～４０°であってもよい。あるいは、その範囲は２０～３０°であってもよい。そのような傾けられた図を用いて、ドリルでの穴あけ経路を通る標的軸からのドリル軸の３Ｄ位置および３Ｄ向きの逸脱を決定してもよい。必要であればドリルの位置および向きを調整し、その後に腸骨およびＳＩ関節の中にドリルで穴を開けてもよい。

上記説明から明らかになるように、本発明の主な態様は、視認可能な物体の自動解釈を可能にするＸ線画像データの処理である。本明細書に記載されている方法は、患者の外科的治療を支援する方法として理解されるべきである。従って本方法は一実施形態によれば、外科手術による動物または人間の体の治療のどんな工程も含んではならない。

実施形態は、異なる主題を参照しながら説明されていることに留意しなければならない。特に、いくつかの実施形態は方法型の請求項（コンピュータプログラム）を参照しながら説明されており、他の実施形態は装置型の請求項（システム／装置）を参照しながら説明されている。但し当業者であれば、上記および以下の説明から、特に定めがない限り１つの種類の主題に属する特徴のあらゆる組み合わせならびに異なる主題に関する特徴間のあらゆる組み合わせが本出願により開示されているものとみなされることを推測するであろう。

本発明の上に定められている態様およびさらなる態様、特徴および利点は、本明細書の後で説明される実施形態の例から得ることもでき、図面にも示されている実施形態の例を参照しながら説明されているが、本発明はそれらに限定されない。

ＡＰおよびＭＬ画像の３Ｄ位置合わせの例を示す。 ＡＰおよびＭＬ画像の３Ｄ位置合わせの例を示し、かつ不正確に推定されたＣアーム幅の効果を示す。 図１および図２の状況を比較する。 ＡＰおよびＭＬ画像の３Ｄ位置合わせの例を示し、かつズームの効果を示す。 図１および図４の状況を比較する。 ＡＰおよびＭＬ画像の３Ｄ位置合わせの例を示し、かつＸ線受容装置サイズの効果を示す。 髄内釘のための画像歪みの例を示す。 ドリルの傾きの定義を示す。 ２つの異なるドリル位置を有する３Ｄ配列を示す。 図９の３Ｄ配列に対応するＸ線投影画像におけるドリルのアウトラインを示す。 異なる傾き（４３～４５°）に対応する２つのドリルのアウトラインを示すＸ線画像内へのズームを示す。 異なる傾き（２３～２５°）に対応する２つのドリルのアウトラインを示すＸ線画像内へのズームを示す。 近位大腿骨の正確および不正確に決定されたアウトラインを示し、後者は２．５°の角度誤差に対応している。 近位大腿骨の正確および不正確に決定されたアウトラインを示し、後者は６°の角度誤差に対応している。 腰椎のＡＰＸ線を示す。 Ｃアームの回転軸を定める。 面取りを含む釘の円形および長楕円形の穴を示す。 固定平面から離れるようにその軸の周りで２５°回転させたチタン釘を示すＸ線画像である。 固定平面から離れるようにその軸の周りで４５°回転させたチタン釘を示すＸ線画像である。 不正確な撮像方向からの釘の遠位部分を示すＸ線画像である。 正しい撮像方向からの釘の遠位部分を示すＸ線画像である。 釘および不正確に配置されたドリル先端を有するドリルを示すＸ線画像である。 釘および正確に配置されたドリル先端を有するドリルを示すＸ線画像である。 提案されている手順のための一般的なワークフローを示す。 図２４の一般的なワークフローの迅速実行のための詳細を示す。 図２４の一般的なワークフローの高い正確性での実行のための詳細を示す。 脛骨の近位端の軸方向図を示す。

図面全体を通して、図示されている実施形態の同様の特徴、要素、構成要素または部分を示すために、特に明記しない限り同じ符号および文字が使用されている。さらに次に、本開示を図面を参照しながら詳細に説明し、それらは例示的な実施形態に関して説明しており、図面に示されている特定の実施形態によって限定されない。

１枚のＸ線画像に基づく解剖学的物体の３Ｄ再構築および位置特定
Ｐｒｉｅｓらによるディープモーフィングに関する上で引用されている論文（２０１８）は、システムが（２Ｄ投影画像において）骨のアウトライン／輪郭を検出して輪郭上の点にラベル付けするのを可能にする方法を提案している。例えば大腿骨のセグメンテーションでは、この技術は、２ＤＸ線投影画像における輪郭上のどの点が小転子に対応しているか、およびどの点が大腿骨頸部に対応しているかなどを決定することができる。次いで同じ解剖学的構造の３Ｄ統計学的形状または外観モデルを考慮して、その仮想投影がＸ線画像における実際の投影に一致する方法でこのモデルを変形させることができ、故に解剖学的構造の３Ｄ再構築が得られ、物体の位置特定および撮像方向の決定が可能になる。他方、撮像方向が既に既知であれば、解剖学的物体の３Ｄ再構築をより高い正確性で行うことができる。例えば外科医が特定の方向（例えば、真のＡＰまたは真のＭＬ）でＸ線画像を取得するように指示されているか、あるいは特定の撮像方向が例えば２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明によるアルゴリズムによって検出されたことにより、撮像方向が既知であってもよい。

解剖学的物体の３Ｄ再構築の正確性は、アプリオリ情報を使用することにより向上させてもよい。このアプリオリ情報は患者のサイズまたは性別であってもよいが、再構築される解剖学的物体に関する幾何学的情報のようなより解剖学的構造特有の情報であってもよい。ＭＬ画像に基づく近位大腿骨の３Ｄ再構築の例の場合、この情報は大腿骨頸部の長さまたはＣＣＤ角度を含んでもよい。但し、そのような情報は典型的なＭＬ画像において十分な精度で決定されない場合があるため、それは近位大腿骨に対する外科手術の過程においてより早期に日常的に取得されるＡＰ画像から抽出してもよい。より早期の画像からより多くの情報が使用されるほど、３Ｄ再構築がさらに正確になり得る。この手順を記載している別の方法は、ＡＰ画像に基づいて典型的な残りの不確実性（ＡＰ方向の大腿骨頸部の幅など）により近位大腿骨の３Ｄ再構築を行うことができること、およびこの３Ｄ再構築がアプリオリ情報またはより後のＭＬ画像に基づく３Ｄ再構築のための開始点として機能することだと言える。

また幾何学的アプリオリ情報は、２Ｄ投影画像における点と解剖学的物体の３Ｄモデルにおける点との既知の対応からなっていてもよい。例えば、
－２Ｄ投影画像における点が解剖学的物体の３Ｄモデルに対するその位置および向きが既知である線上の点に対応していること、あるいは
－２Ｄ投影画像における点が解剖学的物体の３Ｄモデルに対するその位置および向きが既知である平面上の点に対応していること
が既知である場合に、あまり具体的でない幾何学的情報がなお有用である場合がある。

そのような幾何学的アプリオリ情報は、例えばユーザインタフェースによるユーザ入力によって、物体（例えば、ドリルまたはｋ－ワイヤなどの器具）を２Ｄ投影画像において視認可能な特定の解剖学的点に配置する外科医によって提供されてもよい。これは、場合により特定の撮像方向（例えば、真のＡＰまたは真のＭＬ）の目立った解剖学的特徴のために、あるいは実際の物体の触診または視覚的識別によって達成してもよい。このアプリオリ情報の全てが３Ｄ再構築において曖昧さを著しく減少させる。

曖昧さを減少または解消することによる物体間の相対的３Ｄ位置および３Ｄ向きの決定
２０１８年１１月２６日に特許出願として出願されたＢｌａｕによる発明において、２ＤＸ線画像に基づいて２つの物体を位置特定することができる場合、および２つの物体が物理的３Ｄ空間において互いに接触していることが既知である場合に、どのように両方の物体間の相対的３Ｄ位置および３Ｄ向きを決定することができるかが考察されている。

本発明では、少なくとも１つの物体を十分な正確性で位置特定することができない場合に、どのようにして２ＤＸ線画像に基づいて２つ（以上）の物体（または構造）間の相対的３Ｄ位置および３Ｄ向きを決定するかが提案されている。相対的３Ｄ位置および３Ｄ向きのそのような決定は、１つの物体の別の物体に対する特定の点の３Ｄ位置に関するアプリオリ情報に基づいて可能であってもよく、これは例えば、他の物体の少なくとも１つの構造の位置特定を可能にする特定の撮像方向から先に取得されたＸ線画像から得てもよい。これを機能させるために、現在の画像において撮像方向の許容可能な範囲を制限することが必要な場合もある。

例示のために、これらの物体の１つがドリルであり、かつ他の物体が釘またはいくつかの解剖学的物体（例えば椎骨）であると仮定して、次にこれについて説明する。解剖学的物体は、決定論的３Ｄモデル（特定の患者のために例えば３Ｄ撮像方法を用いて生成された）または一般的な骨可変性を記述している統計学的３Ｄモデルのいずれかを用いて記述されていてもよい。前者の場合に、より高い正確性を得ることができる。ドリルの完全かつ正確な３Ｄモデルが利用可能であるとしても、常に十分な正確性でドリルを位置特定することが可能であるわけではない。上で説明したように、物体を位置特定する場合に撮像深さ（画像平面からの物体の距離）において残りの不確実性が存在する。ドリル先端の３Ｄ位置の決定における撮像深さのこの不確実性は、撮像深さの方向におけるドリルの傾きに関する曖昧さも生じさせる。図８に示すように、ドリルの傾きは８．ＤＴで表されているドリルの先端に対する視認角度として定められている。ドリルは非常に細く、かつ明確に画定されている軸により真っ直ぐな構造であるため、ドリルの傾きはドリルの先端８．ＤＴとＸ線焦点８．ＦＰとを接続する８．Ｌ１で表されている破線とドリル軸である８．Ｌ２で表されている実線との間の角度として定めてもよい。

図９に示されている２つの異なる３Ｄドリル位置（９．Ｄ１および９．Ｄ２で表されている）を有する例えば３Ｄ配置を考慮する。２つのドリル位置は撮像深さにおいて異なり、かつドリルの傾きにおいても（６．５°で）異なる。さらにＸ線投影画像における２つのドリル位置は、図１０においてほぼ同一のドリルアウトライン１０．Ｏによって示されているように本質的に同じＸ線投影となるので、区別可能ではない場合がある。

これについて、以下のとおり２つの主な理由が存在する。

１．ドリルはほぼ一定の直径の比較的細い機器であり、これは典型的なＸ線画像においては単に数画素の幅である。Ｘ線投影において、撮像方向に傾けられた物体が一端ではより広く、かつ他端ではより小さく描写されている。但しこれは、幅におけるこの変化が十分に激しい（例えば、少なくとも１つの画素の幅である）場合にのみ検出可能であり得る。例えば４ｍｍ未満の直径の細いドリルの場合の例えば３°未満の角度検出において必要とされる正確性については、これは一般に当てはまらない場合がある。

小さい角度のサイン関数はゼロに近い傾きを有するので、９０°に近い視認角度（これはドリルの傾きである）からＸ線画像においてその前方部分のみが視認可能なドリル（数ｍｍの直径を有する）などの機器を位置特定することは、一般に十分な正確性で可能でない場合がある。例えば７０°の角度では、ドリルの投影は６パーセントのみ短くなり、これによりドリル先端の投影された形状における僅かな変化が生じる。そのような小さい変化は、約３°の正確性でドリルの傾きを決定するのには十分でない場合がある。検出能力の限界は約６５°の傾きであり、ここではドリルの投影は９．４パーセント短くなる。器具に応じて、これは必要とされる正確性のために十分である場合もあれば十分でない場合もある。

視認角度（傾き）が小さくなるほど、例えば２°の傾きの差を区別するのがさらに容易になる。これは２つのドリルの投影およびアウトラインを示している図１１のＸ線画像に示されており、１１．Ｄ１としてラベル付けされている白色の実線は４５°の傾きを有するドリルに対応しており、１１．Ｄ２としてラベル付けされている白色の破線は４３°の傾きを有するドリルに対応している。これらのアウトラインはいくつかの場所において異なるので、それらは本システムによって区別することができる。視認角度が小さくなるほど、さらに明らかに区別可能なアウトラインが得られる。これは２つのドリルの投影およびアウトラインを示す図１２のＸ線画像において観察することができる。１２．Ｄ１としてラベル付けされている白色の実線は２５°の傾きを有するドリルに対応しており、１２．Ｄ２としてラベル付けされている白色の破線は２３°の傾きを有するドリルに対応している。これらのアウトラインはこの時点でいくつかの場所において明らかに異なり、故に本システムによって容易に区別することができる。

２．典型的なＸ線画像では、ドリルの先端および上部のみが視認可能であるが、ドリルの他端は視認不可能である。両端が視認可能であれば、ドリルの傾きを投影画像においてドリルの短くなった長さに基づいて高い正確性で決定することができる。これはまた、ドリルが例えばシャフトに沿って途中までＸ線画像において明らかに視認可能なマーキングを有していれば可能である。そのようなドリルをマーキングすることは容易であるが、それは既存の器具における変化も意味する。別のオプションは、そのようなマーキングとしてドリルのねじ山の開始を使用することである。但し一般的なドリルを用いる場合、ねじ山の開始はＸ線投影画像において十分に明らかに視認可能でない場合があり、故にこの目的のためにそれを使用することは一般に可能でない場合がある。

この問題はドリル先端の撮像深さのより正確な決定によって対処してもよく、これにより曖昧さを十分に減少または解消する。これは、Ｘ線画像における２つの物体間の相対的３Ｄ位置および３Ｄ向きを決定する場合に可能であり得る。他の物体を標的物体と呼ぶものとし、例えばそれは釘であってもよい。ドリル先端の位置がこの軌道上にあり、かつドリル先端の位置にある軌道の撮像方向が十分に大きいという条件で（言い換えると、この軌道はドリル先端とＸ線焦点とを接続する線に平行な線とは十分に異なるものでなければならない）、例えば標的物体に対するその３Ｄ位置および３Ｄ向きが既知である軌道を定めることにより、標的物体に対するドリル先端の位置の曖昧さを減少させてもよい。

それは標的物体上の点に対するドリル先端の３Ｄ位置が既知である場合にさらにより有用であり得る。これは例えばドリル先端が標的物体に接触している場合であり、例えば仙腸関節スクリュー固定術においてドリル先端が腸骨に接触している場合である。但し、ドリル先端が標的物体に対するその３Ｄ位置および３Ｄ向きが既知である平面上にあることが分かっている場合には、それだけでなお十分な場合がある。これは例えば、第１の穴の固定の完了後のさらなる穴の遠位固定の場合である。ここでは、２つの自由度（ＤｏＦ）は決定されていない。釘のための遠位固定処置のより詳細な説明については、以下の対応するセクションをさらに参照されたい。

さらに、特に標的物体が解剖学的物体である場合に標的物体に関する曖昧さが存在する場合もある。しかし機器が標的物体に接触している場合には、物体のそれぞれを位置特定する際の曖昧さが異なる方向に関わっている撮像方向が存在する。故にそのような場合であっても、相対的３Ｄ位置および３Ｄ向きの十分に正確な決定が可能であり得る。

以下では次に、近位大腿骨の転子に接触しているドリルについてのこれらの考えを示す。この撮像方向では、例えば触診によってどの点においてドリル先端が大腿骨に接触しているかを明確に定めてもよい。上で説明したように曖昧さにより、全てがＸ線画像においてドリルの同じ投影が生じる大腿骨に対するドリルの３Ｄ位置および３Ｄ向きについて、それぞれが描写されている解剖学的構造の異なる相対的３Ｄ位置および３Ｄ向きに対応しているいくつかの可能性が存在する。描写されている解剖学的構造を一緒に考慮すること、および接触点に関するアプリオリ情報を使用することにより、これらの可能性のうちどれが正しいものであるかを選択することが可能であり得る。

図１３は、そのようなシナリオのＸ線画像を示す。白色の実線（１３．ＣＯで表されている）は、大腿骨の正しい３Ｄ位置および３Ｄ向きに対応する大腿骨のアウトラインであり、白色の破線（１３．ＩＯで表されている）は、大腿骨の３Ｄ位置および３Ｄ向きについての不正確な可能性の１つに対応する大腿骨のアウトラインである。これらの可能なアウトラインをＸ線画像においてセグメント化およびラベル付けされた大腿骨と比較することにより（これは、例えばディープモーフィングにより達成してもよい）、セグメント化された大腿骨に最も良く一致するものが選択される。描写されているシナリオでは、不正確なアウトライン１３．ＩＯは正しいアウトライン１３．ＣＯとは明らかに異なり、従って不正確なアウトラインが２．５°の角度誤差（ドリルの傾きについて）のみに対応しているとしても破棄される場合がある。より大きい角度誤差により、図１４に描写されているようにさらにより明らかに不正確なアウトラインが生じる場合があり、ここでは不正確なアウトライン１４．ＩＯが６°の角度誤差（ドリルの傾きについて）に対応しており、かつ正しいアウトライン１４．ＣＯから明らかに区別可能である。

さらなる例は、椎骨の椎弓根に対する器具の相対的３Ｄ位置および３Ｄ向きの決定であってもよい。図１５は腰椎のＡＰＸ線画像を示しており、ここでは外科医が腰椎の右の椎弓根にジャムシディ針（１５．ＪＮでラベル付けされている）を配置している。椎弓根の開口部（１５．ＯＰでラベル付けされている）は、より明るい領域としてこの特定の撮像方向において明らかに視認可能である。従って椎弓根の中心を明らかに識別することができ、この開口部の中心（椎弓根軸）に当該器具を配置することができる。当該器具が椎弓根軸上に配置されているというアプリオリ情報に基づいて、骨表面に接触させ、かつ上に概説されている方法に従って、多くの他の撮像方向について好適な角度範囲内で器具と椎弓根との間の相対的３Ｄ位置および３Ｄ向きを決定してもよい。

異なる方向からの２枚以上のＸ線画像の位置合わせプロセス
骨の形状に応じて、１枚の画像のみに基づく３Ｄ再構築において残りの曖昧さまたは一致誤差がなお存在する場合がある。これは、画像間でＣアームを回転および／または平行移動させることにより、潜在的に異なる視認方向から複数の画像を取得することにより軽減される場合がある。一般に、異なる撮像方向からのさらなる画像がさらに有用であり、かつ撮像方向が異なるほど（例えば、ＡＰおよびＭＬ画像）、さらなる画像が３Ｄ情報の決定の点でさらに有用となる。しかし完全に異なる図に変える（ＡＰからＭＬまたはその逆）代わりに、外科手術中により容易に取得することができる僅かに異なる視認角度のみからの画像を追加することでさえも有益であり得る。

本発明は、異なる方向から撮影された少なくとも１つの共通の物体の複数のＸ線画像を記録することも可能にする。３Ｄ位置合わせは撮像深さの明示的な決定なしに複数の物体間での相対的３Ｄ位置の決定を可能にするため、これは重要である。

２枚以上のＸ線画像に基づく可変形状の物体（典型的には、例えば統計学的形状または外観モデルにより記述されている解剖学的構造であり、このセクションでは「物体Ｆ」と呼ぶ）の３Ｄ再構築のために、１枚の画像のための上で概説されている手順を２枚以上の画像まで拡張させてもよい。すなわち、ディープモーフィングを使用して物体Ｆの輪郭を検出し、かつ各２ＤＸ線画像におけるその輪郭上の点にラベル付けしてもよい。物体Ｆの３Ｄ統計学的形状モデルを考慮して、次いでその仮想投影が同時に２枚以上のＸ線画像において可能な限りぴったりと物体Ｆの実際の投影と一致するように、このモデルを変形させることができる。この手順は各Ｘ線画像の撮像方向を暗黙的に決定するので、撮像方向に関するアプリオリ情報を必要としない。

２つの異なる撮像方向から撮影された一対のＸ線画像の位置合わせのための代替法として、２つの異なる手順を用いて決定することができる撮像方向間の３Ｄ角度を考慮に入れることにより、位置合わせプロセスの正確性を高めることが可能であり得る。この角度を正確に決定することができるほど、３Ｄ位置合わせはさらに正確になり得る。

この角度を決定する１つの方法は、例えば各Ｘ線画像のために２０１８年８月２３日に特許出願として出願されたＢｌａｕによる発明を用いて撮像方向を決定すること、およびそれらの差を比較することである。別の方法は、Ｘ線画像における別の物体（「物体Ｇ」と呼ぶ）を利用することであってもよく、そのモデル（例えば、場合により照準装置または機器に接続されている釘）は決定論的である。物体Ｇの仮想投影を各Ｘ線画像におけるその実際の投影に一致させることにより、物体Ｇを位置特定してもよい。なお、さらなる条件またはアプリオリ情報なしに、いくつかの物体、特にドリルまたはｋ－ワイヤなどの器具は一般に位置特定されるのに十分な幾何学的構造またはサイズを有しなくてもよい。但しそのような場合であっても、（ｉ）物体Ｇが位置合わせされる全ての画像において特定の角度範囲で視認される、および（ｉｉ）物体ＦおよびＧ間の相対的３Ｄ位置に関するいくつかの事前情報が利用可能であるという条件で、物体Ｇを十分な正確性で位置特定することが可能な場合がある。（ｉｉ）における事前情報は特に、
（ａ）物体Ｇの点および物体Ｆの点の相対的３Ｄ位置が既知である、あるいは
（ｂ）物体Ｇの点が物体Ｆに対するその相対的３Ｄ位置および３Ｄ向きが既知である物理的３Ｄ空間内の線上にある、あるいは
（ｃ）物体Ｇの点が物体Ｆに対するその相対的３Ｄ位置および３Ｄ向きが既知である物理的３Ｄ空間内の平面にある
というものであってもよい。

但し、物体ＦおよびＧ間の相対的３Ｄ位置および３Ｄ向きは、両方のＸ線画像において同一でなければならず、すなわち物体間で可能な限り少ない移動を有するものでなければならない。

一般に、それらが十分な正確性で位置特定可能である物体を含む場合には２枚（以上）の画像を位置合わせしてもよい。画像を取得する間にそれらの画像が互いに対して移動しない２つ（以上）の物体を含む場合には、画像位置合わせを高い正確性で行うことができる。この手順を用いることができる１つの例は、インプラント（例えば釘）が既に骨の中に挿入されており、かつ骨の３Ｄモデル（例えば、統計学的形状モデル）が利用可能な状況である。そのようなシナリオでは、異なる向きであるがドリルを全ての画像において視認可能であり、かつその先端（これも全ての画像において視認可能である）が同じ点（例えば骨表面上の点）上に留まっている場合には、ドリルの先端の３Ｄ位置を２つの物体のいずれかに対して決定することができる。これは、第１の画像では当該機器が任意の点に配置されていてもよく、かつ第２の画像（異なる視認方向から得られた）では当該機器の向きが変わっていてもよい（例えば、およそ標的軌道に照準を合わせることにより）が、当該機器の先端は同じ位置に留まっていることを意味する。標的物体／構造（例えば釘／釘穴）の位置特定に基づいて、両方の画像を位置合わせしてもよく、これにより標的物体に対する点の３Ｄ位置（当該機器の先端）の決定を可能にしてもよい。次いでこの点を使用して、十分な正確性で器具と標的物体／構造との間の相対的３Ｄ位置および３Ｄ向きを決定してもよい。

言い換えると、システムの処理装置上で実行されるソフトウェアプログラム製品によって、本システムに少なくとも１つの物体の投影画像である第１のＸ線画像を受信させ、少なくとも１つの物体を分類させ、かつ第１のＸ線画像における少なくとも１つの点を決定させてもよい。次いで本システムに、第１のＸ線画像を生成するために利用された撮像方向とは異なる撮像方向で生成された投影画像である第２のＸ線画像を受信させてもよい。第２の画像では、少なくとも１つの物体を再度分類させ、少なくとも１つの点を決定させる。第１および第２のＸ線画像における少なくとも１つの物体の分類に基づき、かつ両方のＸ線画像における少なくとも１つの点の決定に基づいて、２つの画像を位置合わせさせることができ、少なくとも１つの物体に対する点の３Ｄ位置を決定させることができる。

少なくとも１つの物体が２つの物体を含み、かつ少なくとも１つの点が２つの物体のうちの１つの点である場合、本システムは位置合わせされた画像に基づいて、２つの物体間の空間的関係、すなわち３Ｄ向きおよび３Ｄ位置決めを決定してもよい。

さらに本システムは、１つの物体の別の物体に対する意図されている空間的関係から前記物体のうちの１つの３Ｄ位置および３Ｄ向きの逸脱を決定してもよい。例えば１つの物体はドリルであってもよく、骨またはインプラントであってもよい他の物体を通る軌道に平行に、かつその上にドリルを配置することが意図されている。

２つのＸ線画像を位置合わせする上記方法は、例えば既知のインプラントが挿入されている解剖学的物体の３Ｄ再構築および／または位置特定のためにも有用であり得る。インプラントを位置特定することにより画像の位置合わせを可能にし、かつ次いでこれは骨の表面に位置するドリルの先端の３Ｄ位置（インプラントに対する）の決定を可能にする。このように決定された点は、解剖学的物体の３Ｄ再構築および／または位置特定のためのアンカーポイントとして機能してもよい。この手法に従って、複数の表面点を決定することが可能であってもよく、これは、インプラントに対する別々の点において３Ｄ骨表面をサンプリングし、これにより点群を得ることを意味する。この点群に追加される各サンプル点により、３Ｄ再構築およびインプラントに対する解剖学的構造の３Ｄ位置および３Ｄ向きの決定における曖昧さを減らしてもよい。ドリルの傾きが１０～５５°の範囲内である場合、これによりドリルに対する解剖学的構造（またはインプラント）の３Ｄ位置および３Ｄ向きを決定することも可能にしてもよい。故に、解剖学的構造の決定論的３Ｄモデル（例えばＣＴスキャン）が利用可能であったとしても、この手順を使用して３Ｄ位置および３Ｄ向きを決定することができる。また骨に固定された位置に既知のインプラントがない場合であっても、点をサンプリングする方法を用いることができる。そのような場合、再構築および／または位置特定および／または位置合わせは、解剖学的構造に基づいて直接進める。

以下では、３Ｄ位置合わせに対するＣアーム幅、画像検出器のサイズ、ズームなどの影響が例によって示されている。これらの例の全てにおいて撮像深さの決定が必要でないことが示されている。

Ｃアーム幅の影響：図１は取り付けられた照準装置（ＮＡＤで表されている）と共に左側の大腿骨（ＬＦで表されている）および釘インプラントを示す。さらにそれは、ＡＰＸ線画像（１．ＡＰで表されている）およびＭＬＸ線画像（１．ＭＬで表されている）ならびにそれらの対応する焦点（１．ＦＰ．ＡＰおよび１．ＦＰ．ＭＬで表されている）を示す。３Ｄボールは、大腿骨頭（ＦＨで表されている）を近似しており、破線の白色の円は画像においてその２Ｄの近似された投影である（１．ＦＨ．ＡＰおよび１．ＦＨ．ＭＬで表されている）。Ｃアームは、１０００ｍｍの幅（ここでは焦点と画像平面との間の距離として定められている）を有する。円錐体は大腿骨頭を通過しているＸ線ビームの一部を示す。なお、本出願全体を通して本発明者らは、後前方向で撮影された画像を「ＡＰ」と呼び、前後方向で撮影された画像を「ＰＡ」画像と呼ぶという慣例に従っている。同様に本発明者らは、外内方向で撮影された画像を「ＭＬ」画像と呼び、内外方向で撮影された画像を「ＬＭ」画像と呼ぶ。

図２では、真の１０００ｍｍの代わりに、Ｃアーム幅が９００ｍｍとして不正確に推定された。故に、大腿骨頭（ＦＨ）を含む画像における全ての物体がＸ線画像においてあるべき状態よりも小さく現れている。従って、あたかも物体がＡＰ画像平面（２．ＡＰで表されている）に向かい、かつＭＬ画像平面（２．ＭＬで表されている）に向かって移動しているかのように見える。対応する焦点は２．ＦＰ．ＡＰおよび２．ＦＰ．ＭＬで表されている。近似された大腿骨頭（白色の円２．ＦＨ．ＡＰおよび２．ＦＨ．ＭＬ）の２Ｄ投影に基づく大腿骨頭（ＦＨ）の３Ｄ再構築は、図１と比較して変化していないままである。変化している唯一のパラメータは見かけ上の撮像深さである。しかし大腿骨頭および釘の相対的３Ｄ位置は変化していないため、撮像深さはこのシナリオでは関連していない。

図１と図２との唯一の違いは見かけ上の撮像深さであることを示すために、図３は両方のシナリオを同時に示している。

ズームの影響：画像のうちの１つをズーム比と共にキャプチャーした場合、物体はズームなしではより大きく現れる。図４の場合、ＡＰ画像（４．ＡＰで表されている）は１．５のズーム比でキャプチャーした。故に大腿骨頭（ＦＨ）を含む画像中の全ての物体は、あたかもＡＰ中の焦点（４．ＦＰ．ＡＰで表されている）に向かって移動したかのように見える。先のとおり、近似された大腿骨頭（破線の白色の円４．ＦＨ．ＡＰおよび４．ＦＨ．ＭＬ）の２Ｄ投影に基づく大腿骨頭（ＦＨ）の３Ｄ再構築は、図１と比較して変わらないままである。変わっている唯一のパラメータは見かけ上の撮像深さである。しかし大腿骨頭および釘の相対的３Ｄ位置は変わっていないため、撮像深さはこのシナリオでは関連していない。両方の画像がズームを有している場合、類似したことが当てはまる。図５はズームのある状況（図４と同様）とズームのない状況（図１と同様）とを比較している。

Ｘ線検出器のサイズの影響：Ｘ線検出器の仮定されたサイズが真の９’’の代わりに１２’’である場合、物体は画像中により大きく現れ、あたかも物体が両方の画像において焦点に向かって移動したかのように見える。これは図６に示されており、ここでは、
・６．ＡＰ．９’’は、６．ＦＰ．ＡＰ．９’’で表されている焦点を有する９’’Ｘ線検出器によるＡＰ画像を指す
・６．ＡＰ．１２’’は、６．ＦＰ．ＡＰ．１２’’で表されている焦点を有する１２’’Ｘ線検出器によるＡＰ画像を指す
・６．ＭＬ．９’’は、６．ＦＰ．ＭＬ．９’’で表されている焦点を有する９’’Ｘ線検出器によるＭＬ画像を指す
・６．ＭＬ．１２’’は、６．ＦＰ．ＭＬ．１２’’で表されている焦点を有する１２’’Ｘ線検出器によるＭＬ画像を指す。

この効果は両方の画像に適用されるズーム比と同等である。故に、ズームの場合と同じ結論が引き出される。

分類された物体の特徴の測定
本発明はアプリオリ較正を必要としない。測定される構造の近くに（それと同様の深さに）位置する既知の物体が画像中に存在する場合、測定はｍｍで行ってもよい。既知の物体は既知の寸法を有するので、測定値を較正するためにそれを使用することができる。これは、ＴＡＤ値を決定するためにＢａｕｍｇａｅｒｔｎｅｒらによって提案された手順と同様である（Ｂａｕｍｇａｅｒｔｎｅｒ ＭＲ，Ｃｕｒｔｉｎ ＳＬ，Ｌｉｎｄｓｋｏｇ ＤＭ，Ｋｅｇｇｉ ＪＭ：股関節部の転子周囲の骨折の固定の失敗の予想における先端－頂点距離の値（Ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｔｉｐ－ａｐｅｘ ｄｉｓｔａｎｃｅ ｉｎ ｐｒｅｄｉｃｔｉｎｇ ｆａｉｌｕｒｅ ｏｆ ｆｉｘａｔｉｏｎ ｏｆ ｐｅｒｉｔｒｏｃｈａｎｔｅｒｉｃ ｆｒａｃｔｕｒｅｓ ｏｆ ｔｈｅ ｈｉｐ）．Ｊ Ｂｏｎｅ Ｊｏｉｎｔ Ｓｕｒｇ Ａｍ．１９９５，７７：１０５８－１０６４を参照）。

例１：釘が挿入されており、ＡＰ画像が利用可能である。釘が識別および位置特定されている。釘が骨幹部の中間に位置し、従って骨幹部の描写されている外側皮質と同様の撮像深さに位置しているので、較正のために既知の釘の幾何学的形状を使用することができる。これにより、釘軸と骨幹部の外側皮質との間の距離を決定するためのスケーリングを提供することが可能になる。

例２：物体Ａの撮像深さが既知である場合（例えば、物体Ａが十分に大きいかＸ線検出器のサイズおよび画像平面と焦点との距離が既知であるため）、および物体Ａと物体Ｂとの間の撮像深さの差に関する情報が存在する（例えば解剖学的知識に基づく）場合には、タレスの定理に基づいて異なる撮像深さにおいて異なる物体（「物体Ｂ」と呼ぶ）のサイズを計算することさえも可能であり得る。

髄内釘の例についての画像歪みの取り扱い
一般に画像の歪みを取り扱う２つの方法が存在し、これらを組み合わせてもよい。
１．歪みが強いことが分かっているＸ線画像中の領域（例えば、画像の境界）を強調せずに、歪みによってあまり影響を受けていない領域により強調を置く
２．歪みを決定してそれを補償する

次に、挿入された釘を含む大腿骨のＡＰ画像の例においてこれらを例示する。

参照１．以下の文字は図７のラベル付けに使用されている。実線は歪められたＸ線画像において見られるような釘および照準装置の輪郭である。白色の破線は、歪みのない画像で示されるような釘および照準装置の仮定上のアウトラインを示している。
７．Ｄ：髄内釘の遠位部分
７．Ｃ：ネックスクリューのための穴を含む釘の中心部分
７．Ｐ：髄内釘の近位部分
７．Ａ：照準装置

典型的には、７．ＤはＸ線画像のより歪められた領域に位置している。さらに７．Ｄの正確な位置は、７．Ｃにある穴を通して挿入されたスクリューのための軌道を予測する場合には重要ではない。従ってスクリュー軌道の予測において、７．Ｃおよび７．Ｐの位置には７．Ｄよりも高い重みづけを与えてもよく、正確な重みづけはそれらの可視性および検出の信頼性に基づいて決定してもよい。また７．Ｃおよび７．Ｐに対するより高い重みづけは、これらの領域が関心領域（スクリュー穴および大腿骨頭）により近いので理に適い得る。さらに７．Ｃの外観は、その軸の周りでの釘の回転に関する情報を有する。

参照２．画像における歪みは、以下によって決定してもよい。
ａ）より早期に行われた外科手術（特定のＣアームについて学習させることができる）
ｂ）外科手術前の較正：既知の物体（例えば、釘、ｋ－ワイヤなど）は、画像平面に対して既知の距離においてイメージインテンシファイア／Ｘ線検出器上に直接配置することができる。これは、Ｘ線検出器のサイズおよび焦点と画像平面との間の距離を決定するために使用することもできる。
ｃ）より早期に取得された画像（外科手術中にアルゴリズムによって学習させることができる）
ｄ）典型的な歪み効果（例えば、典型的なＣアーム位置についての典型的なピロー効果、地球磁場）を有するデータベース。本装置は、デジタルＸ線撮影装置は歪みを生じさせないという知識を使用してもよい。

そのような情報が利用可能である場合、それをモデルの仮想投影をＸ線画像における投影に一致させる場合に利用してもよい。その歪みを画像全体または特に一致させている形状に適用してもよい。

代わりおよび／または追加として、既知の決定論的３Ｄモデルを有する物体（例えば釘）の仮想投影をＸ線投影画像中の物体の外観に一致させるプロセス中に、歪みを明示的または暗黙的に決定してもよい。一実施形態によれば、この一致は、Ｌａｕｇｉｅｒ Ｃ．（編）「認知および行動のための幾何学的推論（Ｇｅｏｍｅｔｒｉｃ Ｒｅａｓｏｎｉｎｇ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｃｔｉｏｎ）」．ＧＲＰＡ １９９１．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，第７０８巻．Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，Ｈｅｉｄｅｌｂｅｒｇの中の論文：Ｌａｖａｌｌｅｅ Ｓ．，Ｓｚｅｌｉｓｋｉ Ｒ．，Ｂｒｕｎｉｅ Ｌ．（１９９３）「３Ｄ距離マップを用いて３Ｄ滑面をそれらの２Ｄ投影と一致させること（Ｍａｔｃｈｉｎｇ ３－Ｄ ｓｍｏｏｔｈ ｓｕｒｆａｃｅｓ ｗｉｔｈ ｔｈｅｉｒ ２－Ｄ ｐｒｏｊｅｃｔｉｏｎｓ ｕｓｉｎｇ ３－Ｄ ｄｉｓｔａｎｃｅ ｍａｐｓ）」に記載されている内容に沿って進めてもよい。一実施形態によれば歪みは、好適な数学的モデル（例えば、Ｇｒｏｎｅｎｓｃｈｉｌｄ Ｅ．，「Ｘ線撮像鎖における幾何学的画像歪みの補正：ローカル技術対グローバル技術（Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ｇｅｏｍｅｔｒｉｃ ｉｍａｇｅ ｄｉｓｔｏｒｔｉｏｎ ｉｎ ｔｈｅ Ｘ－ｒａｙ ｉｍａｇｉｎｇ ｃｈａｉｎ：ｌｏｃａｌ ｔｅｃｈｎｉｑｕｅ ｖｅｒｓｕｓ ｇｌｏｂａｌ ｔｅｃｈｎｉｑｕｅ）」，Ｍｅｄ Ｐｈｙｓ．，１９９９ Ｄｅｃ；２６（１２）：２６０２－１６）によって記載されているような動径関数および／またはシグモイド関数）によって記述してもよい。このようにモデル化されている歪みは仮想投影をＸ線画像中の投影に一致させる場合に、さらなる自由度をＬａｖａｌｌｅｅら（１９９３）による上で引用されている論文のパラメータベクトルに導入することにより補償してもよい。

Ｘ線源および受容装置の位置の交換の取り扱い
Ｘ線撮像装置は画像の左右反転を可能にし、本発明は外科手術全体を通して画像検出器に取り付けられた較正参照体を使用しないため、治療側（左もしくは右の骨）が既知である場合であってもＸ線源および受容装置の位置の交換を検出しなくてもよい。ユーザは、左右反転機能が作動されているか否かということに関する情報を提供することを要求される可能性がある。

但し、そのような情報がない場合であってもＸ線源および受容装置の位置の交換を検出することができる。これは、９０℃よりも非常に小さい撮像方向から視認されるＸ線画像において器具または機器が撮像深さにおいて大きい範囲に及んでいるからである。故に、撮像平面（受容装置）により近い器具または機器の部分がさらに離れたものよりも小さく描写されるので、Ｘ線源と受容装置との交換を検出することができる。

Ｘ線画像の回転／左右反転／上下反転を決定するための方法
本システムがＸ線画像の回転、左右反転および上下反転を決定するのを可能にする方法を提供する。これを使用して、例えば釘が実際に外科医の前方に位置決めされているのと同じように現れるようにＸ線画像を表示してもよい。

以下は、行われる外科手術に基づいて本システムに既知である。
・患者の位置決め（例えば、仰向けになっている）
・Ｃアームの位置（例えば、イメージインテンシファイアが内側にあり、Ｘ線源が外側にある）
・患者の体のどの部分に対して手術が行われるか（例えば、左／右の脚：これは例えば、以前の近位処置、ユーザ入力または釘の包装のスキャンに基づいて既知であってもよい）

左右反転の検出（すなわちどちら側が前側であり、どちら側が後側であるかを決定すること）は、場合により解剖学的構造に対する撮像方向の決定によってサポートされるインプラントの方向の決定に基づいてもよい（例えば、患者が仰向けになっている場合に顆部は画像中で下方に向いている）。あるいは、器具（例えばドリル）を特定の方向に方向づけるようにユーザに指示を与えてもよく、次いでこれを使用してこの方向を前側または後側として識別してもよい。

所望の視認方向からＣアームの視野において標的物体／構造を位置決めするための方法
Ｃアームの回転軸の定義のために、図１６を参照する。この図では、Ｘ線源はＸＲで表されており、文字Ｂで表されている回転軸を垂直軸と呼び、文字Ｄで表されている回転軸をプロペラ軸と呼び、文字Ｅで表されている回転軸をＣ軸と呼ぶ。なお、いくつかのＣアームモデルの場合、軸Ｅは軸Ｂのより近くにあってもよい。軸Ｄと中心Ｘ線ビーム（ＸＢによりラベル付けされている）との交点をＣアームの「Ｃ」の中心と呼ぶ。Ｃアームは文字Ａによって示されている方向に沿って上下に移動してもよい。Ｃアームは文字Ｃによって示されている方向に沿って移動してもよい。この用語は本出願全体を通して使用する。Ｃアームの「Ｃ」の中心からの垂直軸の距離はＣアーム間で異なってもよい。

以下では、標的構造がＸ線投影画像中の所望の位置に現れ、かつその構造が所望の撮像方向から視認されるように、どのようにＣアームを調整するか（例えば、固定穴が円形で現れなければならず、釘軸の投影はＸ線画像の中心を通り抜けなければならない）についてユーザに指示を与えるための方法が提案されている。例えば物体の位置特定に基づく必要な回転および平行移動が正確に決定された場合であっても、Ｃアームの再位置決めに適したユーザ指示を決定することは重要であり得る。図１６に示すように、Ｃアームは複数の回転および平行移動軸を有する。さらに、手術室においてその車輪によりＣアームを異なる位置に移動させることも可能である。これは床に平行な平行移動および垂直軸に平行な軸の周りでの回転も可能にし、さらにそれは典型的に垂直軸からの大きい距離（１ｍ超）を有する。

Ｃアームを移動させる多くの利用可能なオプションは、ユーザが（所望の撮像方向のための）所望の位置に最も迅速に、あるいは最も少ない努力で到達するためにどのオプションが最良であるかを決定することを難しくさせる。さらに、ユーザがＣアームを特定の位置に移動させるのを防止する手術室セットアップから生じる制約も存在する。故にユーザは場合によっては、特に上肢を扱う手術においてＣアームではなく患者（または手術台）を移動させることを選択してもよい。

（ｉ）どのようにＣアームおよび／または患者を再位置決めするかということに関する必要な情報を決定し、（ｉｉ）この情報を、Ｃアームを移動させる（Ｃアームの軸に沿った平行移動またはその周りでの回転によって、あるいはその車輪によりＣアームを移動させることによって）または患者を移動させる利用可能な手段から選択するユーザへのガイダンスに翻訳し、かつ（ｉｉｉ）各場合に必要な移動量を決定するための方法を提案してもよい。

言い換えると、Ｃアームベースの撮像装置の撮像方向の調整を支援する方法は、現在の撮像方向の情報を受信する工程と、標的撮像方向の情報を受信する工程と、Ｘ線源および検出器の回転および平行移動のための複数の手段の中から最初の１つならびにその最初の手段のための移動量を決定する工程と、標的撮像方向に最も近い撮像方向を達成する工程とを含んでもよい。当然のことながらそのような方法は、システムに本方法を行わせるソフトウェアプログラム製品として実装されていてもよい。

これらの方法は、Ｃアームの構築および手術室セットアップによって課される可能な制約を考慮してもよく、ユーザが行うのが最も容易なそれらの移動を選択し、最も少ない数の移動を必要としてもよい。

これらの方法は、Ｘ線画像に基づいて現在の撮像方向を決定してもよい。例えば、解剖学的構造に基づいて（例えば、２０１８年８月２３日にＢｌａｕによって出願された特許出願を用いて）視認方向または撮像方向を決定し、かつ／または場合によりインプラント、機器または解剖学的構造に関するアプリオリ幾何学的情報を考慮に入れ、かつさらに場合により画像平面に跨る座標系における標的構造の３Ｄ位置および３Ｄ向きを考慮に入れ、さらに場合により現在の外科手術のための典型的な手術室セットアップ（手術台上の患者の位置、手術台に対するＣアームの位置、Ｃアームが手術台／患者に対する特定の位置に移動するのを防止することができるあらゆる物体の位置）を考慮に入れ、かつさらに場合によりＣアームの典型的な回転軸を考慮に入れて、標的構造（または物体）を位置特定してもよい。

例えば大腿の釘固定手順のために、Ｃアームに対する患者の典型的な位置、すなわち仰向けになっている患者、既知の治療側、患者の脚の間の画像受信機が既知であると仮定してもよい。追加または代わりとして、ユーザは提供されているオプションのセットから手術室セットアップを選択してもよい。それらは、例えばインプラントのパッケージのスキャン、本システムが学習した先に行われた外科手術部分、例えば手術台上での患者の位置決め、どこにインプラントが使用されているか、および／または手術台に対してＣアームマシンがどこに位置決めされているか（例えば、患者の脚の間）から本システムが収集した情報に基づいていてもよい。

所望の位置／向きからの計算された逸脱をＣアームを調整するための指示に翻訳することは、これらの指示は可能な限り実行が容易であると思われるため、重要であり得る。その車輪によりＣアームを移動させることはあまり正確ではなく、手術室セッティングにおいて行うのがより難しい場合があるため、その車輪によりＣアームを移動させることを必要としない指示が好ましい場合がある。一般に、指示の数を少なく維持することが好ましい場合がある。ニューラルネットがこの手順全体を支援してもよい。

例えば垂直軸の周りで大きい回転が必要とされる場合、これはその車輪によりＣアーム全体を移動させることにより行わなければならないが、その理由は、これにより標的構造の周りでのアイソセントリック回転を可能にする（標的構造を中心Ｃアームビームの近くに維持する）場合があるからである。必要とされる回転がＣアームの垂直軸に平行な軸に対するものであり、その回転が比較的小さい場合、Ｃアームの垂直軸を使用しなければならない。所望の回転軸がＣアームの垂直回転軸から離れている場合にはそのような回転が比較的大きい平行移動成分を含むが、あらゆる潜在的に必要とされる平行移動を決定する場合にあらゆるそのような平行移動を補償することができるということを念頭に置かなければならない。上で説明したように、撮像深さの大まかな決定が可能であり得る（数センチメートルまで）。標的構造からのＣ軸の距離が大まかに分かっているので、これは例えばＣ軸の周りでの回転から生じるＡＰ方向への平行移動を計算するために十分であり得る。またＣ軸と中心Ｘ線ビームとの間のオフセットはＣ軸の周りでの回転から計算してもよい。さらに、透視投影が適用されるという事実によりＣアームのあらゆる平行移動は回転成分を自動的に含む。

標的物体／構造に対するＣアームの軸の３Ｄ位置および３Ｄ向きの大まかな仮定を行うことは、位置決め手順の第１の繰り返し工程のために十分であり得、これにより時には所望の位置に十分に近い位置を得ることができる。より高い正確性のため、あるいは最も少ない数の工程により十分に正確な位置に達するために、本システムはその後の工程において前の繰り返し工程から収集された情報を使用し、これにより標的物体／構造に対する軸の３Ｄ位置および３Ｄ向きをより正確に決定することを可能にしてもよい。一例として、Ｃアームの所望の位置に達するために２つ以上のＣアーム軸に沿った平行移動またはその周りでの回転が必要である場合、本システムはユーザに１つの軸の周りでＣアームを移動または回転（例えば、Ｃ軸の周りで回転）させるように指示してもよい。これにより、所望の位置に近づくのを可能にし、かつ同時に標的物体に対するＣ軸の３Ｄ位置および３Ｄ向きを決定し、かつＣ軸とＣアームの「Ｃ」の中心との間のオフセットを決定してもよい。

あるいは利用可能なアプリオリ情報に応じて、標的物体／構造に対するＣアームの軸の３Ｄ位置および３Ｄ向きは、（ｉ）Ｃアームを互いに垂直な２つの軸に沿って移動させること（これらの軸が交わらない場合には、これらの軸のうちの１つの平行軸は他の軸と直角をなしていなければならない）、あるいは（ｉｉ）Ｃアームを互いに垂直な２つの軸に沿って回転させること（これらの軸が交わらない場合には、これらの軸のうちの１つの平行軸は他の軸と直角をなしていなければならない）、あるいは（ｉｉｉ）Ｃアームを１つの軸に沿って移動させ、次いでＣアームを移動軸に平行な別の軸の周りで回転させること（例えば、垂直軸の周りでの回転と組み合わせられた前側方向への平行移動、またはプロペラ軸の周りでの回転と組み合わせられたＣ軸の周りでの回転、または後側方向への平行移動と組み合わせられた近位方向への平行移動）のいずれかによって決定してもよい。

一例として、順行性大腿釘の外側遠位固定処置のために（Ｃアームが患者の脚の間に位置決めされる状態で、患者が仰向けで位置決めされている）、「Ｃ」の前側方向への平行移動は一方で、釘軸の周りでの視認方向の回転を引き起こし、これにより撮像深さをより正確に決定するためにＣ軸に対する標的物体の３Ｄ位置のより正確な計算を可能にしてもよい。他方で、本システムは手術室の床に対するその軸の周りでの釘の回転を決定してもよい。より後の時点で、前側／後側方向への平行移動に関するガイダンス指示を計算する場合、本システムは、垂直軸に沿った必要とされる平行移動に対する上で決定された手術室の床に対するその軸の周りでの釘の回転の影響を考慮に入れて、単純な三角法による関係を使用することにより必要とされる平行移動を計算してもよい。本システムによって提供される他の移動指示を計算する場合にもこの情報を利用してもよく、例えば垂直軸の周りで必要とされる回転を計算する場合に、物体と垂直軸との間の距離をより正確に決定してもよい（Ｃ軸に垂直な軸の距離をより正確に決定することができるため）。故に、中心Ｘ線ビームとＣ軸との間の距離が既に決定されているため、垂直軸の周りでの回転によって引き起こされる近位／遠位方向における平行移動の効果をより正確に考慮に入れることができる。

実際には第１の繰り返し工程において、最終的な所望の位置に近づけるための移動または回転の１つまたは２つの手段を決定するだけで十分であり得る。これらの１つまたは２つの移動／回転を観察することにより、本システムは第２の繰り返し工程では、最終的な所望の位置に達するための全ての残りの必要な工程を十分な正確性で決定してユーザに提供することができるように、標的物体／構造に対する軸の３Ｄ位置および３Ｄ向きに関する十分な情報を得ることができる。「遠位固定処置のための潜在的な処理ワークフローのための例」のセクションにおいて以下に記載されているように、本システムはＣアームの非常に正確な位置決めを必要とせず、例えば円形の穴の完全に円形の投影は必要とされなくてもよい。

ユーザがシステム指示に応答してＣアームではなく患者を移動させる場合、画像背景の確認によりそのような移動を検出するのを助け、移動／回転軸の不正確な決定を防止してもよい。前文の「画像背景」は、患者と一緒に移動しない全てが完全にＸ線透過性ではない物体（例えば手術台の一部）であってもよい。単純な画像差分析を用いることにより、Ｃアームが移動されたか否かを明らかにしてもよい。この文脈において、Ｃアーム移動と画像取得との間でＣアームにおけるデジタル画像の回転が存在しないことを要件としてもよい。

標的構造の画像および視認方向内での標的構造の初期の位置決めに基づいて、本システムはどの移動を開始および／または進めるかを決定してもよい。

どのようにＣアームをＣ軸の周りで回転させるか、およびどのようにＣアームを上下に移動させるかという指示を与えてもよい。標的構造がＣアームの中心「Ｃ」に位置決めされていない場合、どのようにＸ線画像における前の位置を回復させるか、またはどのように所望の位置に達するかという平行移動指示を与えてもよい。どのようにＣアームをその垂直軸の周りで回転させるかという指示を与えてもよい。これは典型的なＣアームの幾何学的形状（垂直軸とＣアームの「Ｃ」の中心との間の距離）を考慮に入れてもよく、本システムによって以前の回転から特定のＣアームの幾何学的形状を学習してもよい。標的構造がＸ線画像中の所望の位置に現れないか回転後に所望の位置にもはや現れない場合には、どのようにＣアームを平行移動させるかという指示を与えてもよい。Ｘ線画像において標的構造の位置が既に正しく、かつ回転後に正しいままである場合（例えば、標的構造がＣアームの「Ｃ」の中心に留まっているようにＣアームをその車輪によって移動させる場合）には、平行移動指示は与えない。

この手順はＣアームの他の軸、例えばプロペラ軸にも同様に適用してもよい。

Ｃアームの最適化された調整に関して、以下の一般的な態様を要約として挙げることができる。

最初に、撮像方向の位置および向きを可能な限り近くに、あるいは標的撮像方向、すなわち最適な方向に少なくとも十分な正確性で調整するために、Ｃアーム装置の平行移動または回転のために１つのみの手段を使用することが意図されている。

必要であれば、撮像方向をさらに調整するために第２の手段を使用することを提案してもよい。さらなる手段を利用してさらに正確性を高めてもよい。

現在の撮像方向すなわち調整のための開始点は、現在の撮像方向を用いて生成されたＸ線撮像における物体または構造の位置特定に基づいて決定してもよい。当然のことながら、物体または構造は部分構造であってもよく、かつ解剖学的構造、インプラントまたは機器／器具であってもよく、あるいはそのような物体の組み合わせであってもよい。

標的撮像方向は、既知であるそれらの幾何学的側面、３Ｄ位置および３Ｄ向きに基づいて識別してもよい。なお、そのような幾何学的側面は術前計画から既知であってもよく、その幾何学的側面はデータベースから利用可能である。

さらに物体の位置および向きは一般に、Ｃアームベースの撮像装置のＣアークに対して既知であってもよい。典型的な手術室セッティングでは、解剖学的構造は撮像方向の予測を可能にする既知の方法でＣアーム装置に対して配置してもよい。本システムは場合によっては、ユーザへの確認のために情報を提供してもよい。

代わりまたは追加として、本システムはどのようにユーザがＣアークの平行移動および回転を利用する傾向があるかを学習してもよく、その使用方法を考慮に入れてもよい。例えば本システムは、２枚の画像から物体に対するＣアーム装置の回転軸または平行移動を計算してもよく、そこでは撮像方向を画像の生成の間に回転軸の周りで回転させるか平行移動させる。特に本システムは、ユーザがほぼその時に指示されている量でＣアーム装置を移動させる傾向があるか否かを学習してもよく、Ｃアーム装置を移動させるためのさらなる指示を与える場合にそれを考慮に入れてもよい。

遠位固定処置のための潜在的な処理ワークフローの例
以下の遠位固定処置は長い順行性釘について説明している。それにも関わらず、それは近位に固定される逆行性釘にも適用してもよい。以下の固定処置はその軸がおよそＭＬ方向にある穴のために提供されているが、その軸が異なる方向、例えばＡＰ方向にある穴にも適用してもよい。

そのような処置のために、標的物体（すなわち釘）のための完全な３Ｄモデルが利用可能であると仮定してもよい。それにも関わらず、不完全もしくは部分的な３Ｄモデルのみが利用可能である場合、例えば釘の形状に関する近似情報（例えば、円筒状の固定穴を含むその直径が僅かに先端に向かって減少している円筒状の物体）のみが既知である場合であっても、当該処置は上手く行われる場合がある。

以下では固定穴を「標的構造」と呼ぶ。原則として、器具（例えば、ドリル、突きぎり、スリーブまたはさらにはスクリューなどのインプラント）と標的構造との間の相対的３Ｄ位置および３Ｄ向きを知るだけで十分である。故に以下では、標的物体（釘）および標的構造（固定穴）の両方を考察する。この説明では、円形の穴を最初に固定すると仮定する。

１．ユーザはおおよそのＭＬ方向で釘のＸ線画像を取得する。

２．本システムは標的構造の撮像方向を（例えば、標的物体を（２Ｄで）検出または位置特定することにより）決定してもよい。本システムは、標的物体または構造に対する標的軌道（または場合により標的平面）を検索または決定してもよい。次いで本システムは、標的軌道の所望の撮像方向に達するためにどのようにＣアームを調整するかを決定してユーザに知らせてもよい。多くの場合に、所望の撮像方向を標的軌道に整列し、この場合に遠位固定穴は円として描写される。図２０は、２０．Ｎでラベル付けされている釘を２０．Ｈでラベル付けされている非円形固定穴と共に視認可能であるＸ線画像である。従って、撮像方向は意図されているＭＬ撮像方向ではない。図２１は、２１．Ｈでラベル付けされている円形固定穴によって明らかであるように、２１．Ｎでラベル付けされている釘が真のＭＬ撮像方向から視認されているＸ線画像である。

釘軸が画像中心を通り抜けており、かつ固定穴が画像中心の近くにあることが望ましい。これは、Ｃアームを再調整することなく固定されるさらなる穴が存在する場合に望ましい。故に理想的には、これらの穴は中心Ｘ線ビーム上になければならない。Ｃアーム調整を繰り返し行い、前記要求を満たす新しいＸ線画像により完了してもよい。

３．この時点で本システムは、Ｘ線画像において当該器具が照準を合わせなければならない固定穴の中心を強調してもよい。この強調される（標的）点は標的軌道上にあり、記載されているシナリオでは円の中心である。次いで本システムは２Ｄで器具の先端を検出し、標的点に達するために先端の必要とされる移動を計算する。本システムは標的点に達するために、繰り返しのプロセス（各繰り返しは新しいＸ線画像を取得することおよび器具を再位置決めすることからなる）においてユーザをサポートしてもよい。図２２は、不正確に配置されたドリル先端と共に釘（２２．Ｎ）およびドリル（２２．Ｄ）のＸ線画像を示す。図２３は、正確に配置されたドリル先端と共に釘（２３．Ｎ）およびドリル（２３．Ｄ）のＸ線画像を示す。

４．器具（ここではメス）の先端がＸ線画像において強調されている点に位置したら、外科医は切開を行い、ドリルを（場合により軟組織保護スリーブと共に）挿入してもよく、工程３を繰り返す。次いでユーザはドリルの先端を移動させることなくドリルを標的軌道と整列することを（従来の手順と同様に）決定してもよい。

５．Ｃアームを例えばＣ軸の周りで例えば２５°回転させ、新しいＸ線画像を取得する。本システムは標的物体（または場合により標的構造のみ）を再度位置特定してもよい。器具の先端が標的軌道上にある（標的物体／構造に対して既知の３Ｄ位置および３Ｄ向きに留まっている）というアプリオリ知識に基づいて、ドリルと標的物体／構造との間の相対的３Ｄ位置および３Ｄ向きを決定してもよい。遠位－近位方向にあるドリルの先端がもはや標的軌道上に正確に位置していないとしても、本システムは対応する逸脱を計算することができる。これは、ＣアームをＣ軸の周りで回転させた場合に、ドリルの先端が標的軌道および釘軸に跨る平面に位置しているというアプリオリ情報を有するだけで十分であり得るからである。

この時点で本システムは標的軌道からの逸脱を計算してもよく、従って例えば近位－遠位および前後方向で必要とされる角度補正を表示することにより、ユーザに伝えてもよい。必要に応じて本システムは、外科医にどのように器具の先端位置を近位－遠位方向に調整するかについても指示してもよい。さらに本システムは侵入深さ、この場合では例えばドリル先端と釘との間の距離も計算し、従ってユーザに伝えてもよい。新しいＸ線画像を取得すること、ユーザに情報／指示を与えること、および器具の再調整を繰り返すことにより、この工程５を繰り返し行ってもよい。

ユーザに伝えることはディスプレイ上で、および／または聴覚的に行ってもよい。聴覚情報の利点は、外科医がドリルから目を逸らす必要がなく、従ってより少ない繰り返しによりドリルで穴あけをするための正しい方向を達成できることであり得る。

６．ドリルでの穴あけ方向を調整し、かつ／またはどの程度でさらにドリルで穴あけするかということに関する情報を得るために、工程５はドリルでの穴あけ中にも行ってもよい（これは、典型的な遠位固定状況において、釘穴に的中した後に次の皮質までドリルでの穴あけを続けるという事実とは無関係である）。

さらなる穴（例えば長楕円形の穴）への固定：

時間を節約し、かつＸ線曝露を抑えるために、上に記載されているように第１の穴に固定した後にさらなる穴（以後、長楕円形の穴であると仮定する）に固定するための手順を以下に示す。

長楕円形の穴のための標的軌道が第１の穴と同じ平面にあると仮定すると、Ｃアームを回転させて、円として第１の穴（スクリューの有無は問わない）を示すその元の位置（工程５を行う前にそれがあった場所）に戻す。従って、釘軸は再度Ｘ線画像の中心を通り抜け、長楕円形の穴は画像中心に近接している。元の角度に十分に正確に達していないという理由でＣ軸の周りでの回転の補正が必要とされない限り、Ｃアームの再調整は必要ではない。従って、長楕円形の穴はＡＰ方向に最大直径で現れるが、垂直方向に圧縮されている。他方、長楕円形の穴のための標的軌道が第１の穴と同じ平面にない場合には、Ｃアームの必要とされる再調整を上に記載されているように本システムによってサポートしてもよい。

本システムは第１の穴への固定から、内側－外側位置での骨表面と釘との間のおおよその距離を分かっているので、この値（および場合により骨の統計学的モデル）を使用してドリルの先端の標的位置を補正してもよい（上記工程３を参照）。故に、（ＡＰ方向および遠位－近位方向の両方に対して）中心にある長楕円形の穴に的中するために、２ＤＸ線画像における標的点は中心に現れないが、遠位－近位方向に移動している。

図１７では、１７．ＲＨで表されている円形の釘穴は、２ＤすなわちＸ線において完全に円形である。開口器具先端（１７．ＯＴで表されている）は骨表面上のその位置により長楕円形の釘穴の中心から特定の距離を有するため、それは長楕円形の釘穴の２Ｄ中心にはないが、その先端は３Ｄでは完全に長楕円形の釘穴の中心軌道上に配置されている。１７．Ｃ１および１７．Ｃ２で表されている２つの黒色の矢印は面取りを示し、これは透視図により長楕円形の釘穴の両側に異なるサイズで現れる。

器具を標的軌道に（おおよそ）整列し、ＣアームをＣ軸の周りで回転させ、かつ別のＸ線画像を取得した後に、遠位－近位方向での器具の先端の不正確な位置決めを検出して計算するので、遠位－近位方向におけるあらゆる潜在的な不正確さは問題になり得ない。次いで必要であれば、遠位－近位方向における器具の先端位置を補正するための指示を与えてもよい。工程５において上で考察されているように、器具の先端が標的軌道および釘軸に跨る平面にあるだけで十分であり得る。当該処置の残りは第１の穴のための工程に従う。

長楕円形の穴が釘軸に対して傾けられている場合、その傾きは本システムによってサポートされる潜在的な微調整により、Ｃ軸を回転させる場合に補償してもよい。

その考察全体が円形の穴にも当てはまる。さらに、同じ手順に従ってさらなる穴に固定することも可能である。

上で考察されているように、ドリルの先端を標的軌道上に位置決めするために、穴への視認方向は完全である（すなわち円形の穴の場合、例えば完全に円形である最大の投影された穴の幅および高さを有する）必要はない。利用可能なアプリオリ情報および角度決定のための要求がどのくらい厳しいか（これらがあまり厳しくないほど、骨表面と釘との間のドリルで穴あけされる距離はさらに小さくなる）に応じて、穴への視認方向は標的軌道から多かれ少なかれ逸脱する場合がある。例えばＡＰ画像を取得した場合、外側の骨表面と標的軌道に沿った釘との間の距離をおよそ決定してもよい（あるいは、その距離を単に推定する）。またこの情報および外側のＸ線画像に基づいて、標的軌道上にあるようするためにドリルの先端を位置決めしなければならない２ＤＸ線画像中の点を、上での考察と同様に斜めの視認角度に基づいて計算してもよい（次いで表示してもよい）。この点は完全にドリルの軌道上にある必要はない。それどころか、骨表面と固定軌道に沿った釘との間の推定されたか先に決定された距離に基づいて２ＤＸ線画像において決定されるようなこの点からの逸脱（２Ｄ空間座標において）を使用して、新しい標的軌道を計算してもよい。次いでドリルを方向づけるために次の画像で新しい標的軌道を使用してもよい。ドリルの先端を完全に的中させる必要がないため、これにより外科医がドリルの先端を正しい点に位置決めするのをさらに容易にしてもよい。さらにまた、標的穴に的中するためにドリルを方向づける際により高い正確性を可能にしてもよい。

第１の物体の幾何学的側面に対する第２の物体の点の十分に正確な位置が既知であると仮定すると、画像位置合わせにより、相対的３Ｄ位置および３Ｄ向きの３Ｄ再構築および／または決定を行うことが可能であり得る。

また元の標的軌道からの逸脱は、以下の方法によって解決してもよい。第１の画像では、機器を任意の点（これは標的物体上にあってもなくてもよい）上に配置してもよく、第２の画像（異なる視認方向から得られた）では、機器の傾きが（例えば標的軌道に照準を合わせることにより）変わっている場合があるが、機器の先端は同じ位置に留まっている。標的物体／構造の位置特定に基づいて、両方の画像を位置合わせしてもよく、これにより標的物体に対する点の３Ｄ位置の決定を可能にしてもよい。次いでこの点を使用して、器具と標的物体／構造との間の相対的３Ｄ位置および３Ｄ向きを十分な正確性で決定してもよい。

上記工程５または６において、器具の先端が標的物体（例えば鋼製の釘）によって塞がれ、従って位置特定が十分に正確でない場合、本システムはどのようにして器具の先端を本システムに視認可能にさせるかという指示を与えてもよい。これは、どのようにＣアームを再位置決めする必要があるか（例えば、釘軸に垂直な軸の周りでの回転の代わりにＣ軸の周りでの回転）を計算および指示する本システムによって進めてもよい。また器具の材料が標的物体よりも十分に多くのＸ線を吸収する場合（例えば、鋼製の器具、チタン製の釘）、これは例えば電圧および／または電流を増加させること、または異なるＣアームプログラムセッティングを選択することによって達成してもよい。

追加または代わりとして、本システムは骨の統計学的３Ｄモデルを一致させ、従って骨の３Ｄ位置に対する釘の３Ｄ位置を決定し、このようにして３Ｄにおいて必要とされる固定スクリュー長さの決定を可能にしてもよい。

なお、全ての固定穴が同じ方向を向いている鋼製の典型的な釘の場合、その固定穴は３０～３５°を超える回転（工程５と同様）ではＸ線画像において視認不可能である場合があり、これは、鋼製の釘が３０～３５°よりも大きい回転については位置特定可能でない場合があることを意味している。他方、例えばチタン製の器具またはインプラントは、例えば鋼製の器具またはインプラントよりもかなり少なく放射線を吸収する。故にチタン釘の場合、傾けられた穴により穴の境界において濃度勾配が生じる。これは固定平面から離れるような２５°の回転について図１８に示されており、固定平面から離れるような４５°の回転について図１９に示されている。この効果は、鋼製の釘と比較して非常により大きい角度範囲にわたって傾けられたチタン釘を位置特定することが可能であり得ることを意味している。チタン釘の別の有益な効果は、典型的には鋼製であるドリルを釘に対して視認可能にし得ることである。これにより、例えばドリルでの穴あけ中にドリル先端が釘に近い場合に、ドリルを位置特定する際の正確性を高めてもよい。それは異なる軸、例えばプロペラ軸の周りでＣアームを回転させることも可能にしてもよく、ここでは典型的にはＸ線は釘上に重ね合わせられた先端を示す。

工程５においてＣアームをＣ軸の代わりに垂直軸の周りで回転させた場合、本システムは、その法線が釘軸であり、かつ標的軌道を含む平面にドリルの先端があることを要件とする。この場合、ＡＰ方向における標的軌道からのドリル先端の逸脱を計算してもよい。

故に上記ワークフローの代替方法は、それぞれが固定平面から離れるようにＣ軸の周りで回転させることにより得られた視認方向、および垂直軸の周りで回転させることにより得られた視認方向の両方からＸ線画像を取得することであってもよい。この場合、標的軌道に対するドリル先端の位置に関するアプリオリ情報は必要とされない。故に、Ｃアームを真のＭＬ方向に位置決めすることは必要とされない。

仙腸関節（ＳＩ）もしくは椎弓根スクリューの配置のための潜在的な処理ワークフローの例
また標的物体および標的構造は解剖学的なものであってもよい。解剖学的標的構造の例は椎弓根である。器具に対する３Ｄ再構築および相対的３Ｄ位置および３Ｄ向きを考慮して、標的構造および故に標的軌道のために必要な正確性を達成するだけで十分であり得る。

当該処置は、解剖学的標的構造を位置特定すること以外は遠位固定処置に類似しており、これは、決定論的３Ｄモデルを用いるか用いることなく進めてもよい。決定論的３Ｄモデルは、術前（例えば、術前ＣＴスキャン）または術中（例えば、術中ＣＴスキャンまたはＯアーム）のいずれかにおいて得てもよい。決定論的３Ｄモデルが利用可能でない場合、「１枚のＸ線画像に基づく解剖学的物体の３Ｄ再構築および位置特定」のセクションで先に考察されているように、統計学的３Ｄモデル（例えば、統計学的形状または外観モデル）を３Ｄ再構築のために使用してもよい。

この処置では、器具を解剖学的構造の標的点に固定せず、手で保持し、次いで標的軌道におよそ整列てもよい。新しいＸ線画像を取得することなく、ＣアームをＣ軸の周りで例えば２５°回転させてもよい。上記のような繰り返しのプロセスの後に、新しいＸ線画像を取得し、本システムは器具の先端が標的軌道上にあることを考慮に入れて、器具と標的構造／物体との間の相対的３Ｄ位置および３Ｄ向きを計算してもよい。これは、器具への視認角度が両方の物体間の３Ｄ位置および３Ｄ向きの十分に正確な決定を可能にする範囲にあると仮定する。解剖学的構造の統計学的モデルのみが利用可能である場合、この工程は標的構造／物体の３Ｄ再構築を含む。

次の工程では、本システムは角度逸脱に関して器具軸と標的軌道との間の逸脱、および場合により両方の画像間の回転のために使用されたＣアームの回転軸に平行な方向における先端位置における逸脱を計算してもよい。本システムはドリルの侵入深さも計算してもよい。本システムは、このデータ（例えば、２つの角度値、器具の先端位置のために必要とされる平行移動および残りの挿入深さの形態）をユーザに与えてもよい。次いでユーザはそれに応じて器具を再調整し、新しいＸ線を取得し、かつ／または器具にドリルで穴を開けてもよい／それを挿入してもよい。アプリオリ情報および側面制約が変わらないままであるため、当該処置はドリルでの穴あけが既に開始されており、かつ器具が解剖学的構造に既に侵入している場合にも上手く行われる。

正確性を高めるための画像位置合わせに基づいて機器と解剖学的構造との間の３Ｄ位置および３Ｄ向きを決定するための潜在的な処理ワークフローの例
解剖学的構造（例えば、椎弓根などの狭い経路）の特定の部分と整列されるＣアームのベアリングを調整すること（平行移動および回転）により、器具（例えば、ドリル、ｋ－ワイヤまたはジャムシディ針あるいはさらにはスクリューなどのインプラント）の先端を特定の解剖学的参照点上に配置してもよい。この工程は、取得された２ＤＸ線画像中の参照点を表示することにより本システムによってサポートしてもよく、あるいは代わりとして、外科医による参照点の識別を本システムによって使用してその正確性を高めてもよい。次いで器具を適所に残しながらＣアームをＣ軸の周りで例えば２０～３０°回転させ（あるいは、プロペラ軸の周りで匹敵する回転）、次いで別のＸ線画像を取得する。器具が参照点において解剖学的物体の表面に接触するという事実を使用して、器具の曖昧な位置特定によってもたらされる曖昧さを減少させるか、さらには解消してもよい。次いで前の画像に対するＣアームの移動を決定してもよく、従って解剖学的物体への視認方向を高い正確性で決定してもよい。これは器具がＸ線画像間で移動しないことを要件とするため、器具を解剖学的構造に固定することが容易になり得、これはドリルだけでなくジャムシディ針またはｋ－ワイヤでも行うことができる。

手順：
１．術前ＣＴスキャンに基づいて、参照点および参照軌道（すなわち、意図されているドリルでの穴あけまたは挿入軌道）ならびに標的終点を外科手術の前に計画してもよい。これは、Ｃアームの意図されている撮像方向、例えば真の外側もしくは真のＡＰ、あるいは椎弓根または他の容易に認識可能な目印に沿った計画を含んでもよい。またこの工程１は、本システムによって自動的に、および／またはユーザとの対話により手術中に（術中３Ｄ撮像装置を用いて）行ってもよい。

２．外科手術中に、位置特定の正確性の向上は、先に定められたかオンラインで計算されたＣアーム撮像方向のいずれかを使用することにより達成してもよい。本システムは、例えばエッジまたは点などの特定の解剖学的特徴の相対位置を検出することにより必要とされるＣアームベアリングを達成するのを助けるためにユーザに指示を与えてもよい（例えば、２０１８年８月２３日に出願されたＢｌａｕによる特許出願を参照）。本システムは、ＣＴスキャンからの構造または物体全体をＸ線画像に一致させることに基づいて、Ｘ線画像における参照点を表示してもよい。次いで外科医は器具の先端（例えば、ドリル、ジャムシディ針またはｋ－ワイヤあるいはさらにはスクリューなどのインプラント）をこの参照点上に位置決めし、これも２ＤＸ線画像において器具の先端を検出することにより本システムによってサポートしてもよい。必要であれば器具を意図的に、器具（または電動工具）および外科医の手が視界を塞がないような角度で保持する。

３．次いで器具をおよそ所望の方向に整列する。

４．可能であれば、正確な侵入深さを決定することができるように器具上の定められているマーキングを用いて、器具を解剖学的構造に固定する。

５．同じ撮像方向から別のＸ線画像を取得する。この時点で器具の先端の位置は、おおよそドリルでの穴あけまたは挿入軌道上に位置しているため制限される。器具の侵入深さが正確に既知である場合には、器具の侵入深さが既知でない場合よりも曖昧さは少なくなる。本システムは、（例えば、画像差分析により）Ｘ線画像において示されている解剖学的構造が変化しないままであるか否かを確認してもよい。あるいはこの工程では、ユーザがどの平面に（解剖学的構造に対して）器具の先端があるかを示すだけでも十分であり得る。器具または外科医の手が視界を塞ぐという理由で工程５を行うことができない場合には、工程３において器具を整列することなく工程４および５を行う。

６．Ｃアームを異なる位置に移動または回転させる。位置特定および固定された器具に基づいて、前の画像に対するＣアームの移動を決定してもよい。位置特定された解剖学的構造と一緒に、これにより、器具と解剖学的構造との間の相対的３Ｄ位置および３Ｄ向きの決定を可能にする。決定される量を一緒に最適化してもよい。

７．器具が特定の角度のみのために十分な精度で位置特定することができるそのような小さい直径を有する場合、器具は位置合わせされる全ての取得されたＸ線画像において好適な角度（例えば、１０～５５°の範囲内）で視認しなければならない。さらにまた、特定の撮像方向のために解剖学的構造をより正確に位置特定してもよい。故に、工程７において相対的３Ｄ位置および３Ｄ向きを決定するための正確性は、解剖学的構造への特定の撮像方向を選択することにより高めてもよい。但し、そのような特別な撮像方向は典型的に真のＡＰおよび真のＭＬであるため、これは、２枚のＸ線画像間の角度が９０°に近いことを意味している。さらに工程４において器具を固定する場合に、取得および位置合わせされる全てのＸ線画像において器具の先端が好適な角度（例えば１０～５５°の範囲内）で視認されることを既に遵守しなければならない。従ってそのような場合に、器具の固定のための適当な角度は真のＡＰ視認方向と真のＭＬ視認方向との間の中間、すなわちおおよそ４５°である。

８．Ｘ線画像を取得し、かつ上記条件が満たされたら、本システムは器具の軸と参照軌道との間の逸脱を計算してもよく、これをユーザに（例えば、２つの角度値を表示することにより）提供してもよい。次いでユーザは器具を元の参照点まで後退させ、それを参照軌道と再整列してもよい。本システムはユーザが元の参照点を探すのを助けてもよい。

正しい参照軌道に達することは、さらなるＸ線画像を取得する繰り返しのプロセスを必要としてもよい。新しいＸ線画像を取得した後、本システムは次いで、解剖学的構造がなお同じ向きおよび位置でＸ線画像に示されているか否かを（例えば、画像差分析により）確認してもよい。その場合、器具の先端が参照軌道上にあるというアプリオリ情報により器具と解剖学的構造との間の相対的３Ｄ位置および３Ｄ向きを再度計算してもよい。さらに本システムは侵入深さ、この場合は例えば器具の先端と標的終点との間の距離も計算し、従ってユーザに伝えてもよい。器具の挿入中に、さらなるＸ線画像を取得してもよく、上記工程を繰り返してもよい。

また全ての取得されたＸ線において器具が好適な角度範囲内（例えば、１０～５５°）で視認されることを保証することが実行可能または所望ではない場合、器具を保持する電動工具（例えば、ドリルを保持する動力ドリル）を取り出してもよい（ｋ－ワイヤまたはジャムシディ針を使用する場合に明らかである）。器具全体（先端および底端）をＸ線画像において視認可能である場合には、Ｘ線画像における器具の投影の長さを決定し、このようにして十分な正確性で器具を位置特定することを可能にしてもよい。そのような場合には、器具を９０°に近い角度で視認することさえできる。これは、器具を最初におおよそ正しい角度で固定することを可能にし（最初に器具を意図的に不正確な角度で固定するという必要性をなくす、工程７を参照）、このようにして工程８で必要とされる繰り返し回数を減らす。

椎弓根スクリューの挿入のために、椎弓根軸が例えば視認方向に対して１０～４５°で傾けられているＡＰ図において椎弓根の侵入点を識別するのを可能にしてもよい。そのような撮像方向では、ドリルでの穴あけ機は視界を塞がず、機器の先端を解剖学的構造の侵入点上に位置決めし、かつ器具軸の角度を標的軌道と位置決めした後に別の方向から第２の画像を取得する必要はない。この手順は多くの場合にｋ－ワイヤまたはジャムシディ針を必要とするため、その軸が既に所望の標的軌道と整列されている状態で器具を骨に固定してもよい。

必要であれば、次いでユーザは他の視認角度から１枚以上のＸ線画像を取得してもよく、これを本システムが使用して、上に記載されている画像位置合わせを行って正確性を高めてもよい。さらに必要であれば、ドリルでの穴あけ角度をさらなる情報に基づいて（場合によりドリルを後退させることなく）さらに最適化してもよく、ドリルでの穴あけを進めてもよい。

この第１のＡＰ図において他の椎弓根が第１の椎弓根に対して左右反転された傾きを有するという事実により（２本のジャムシディ針１５．ＪＮおよび１５．ＪＮ２を示す図１５を参照）、画像のよりロバストな位置合わせを可能にするために同じ椎骨の他の椎弓根のために上記手順を繰り返し、かつ（そのＸ線画像中の投影を使用することにより）第１の椎弓根の既に挿入されたジャムシディ針を利用することが可能である。

図２４～図２６のフローチャート
図２４は、上記「遠位固定処置のための潜在的な処理ワークフローの例」、「仙腸関節（ＳＩ）もしくは椎弓根スクリューの配置のための潜在的な処理ワークフローの例」、および「正確性を高めるための画像位置合わせに基づいて機器と解剖学的構造との間の３Ｄ位置および３Ｄ向きを決定するための潜在的な処理ワークフローの例」のセクションに示されている手順の全てを網羅する一般的なフローチャートを示す。２つの可能な実行、すなわち上記「遠位固定処置のための潜在的な処理ワークフローの例」および「仙腸関節（ＳＩ）もしくは椎弓根スクリューの配置のための潜在的な処理ワークフローの例」のセクションに示されている手順のために適用可能な図２５に示されている迅速実行、および上記「正確性を高めるための画像位置合わせに基づいて機器と解剖学的構造との間の３Ｄ位置および３Ｄ向きを決定するための潜在的な処理ワークフローの例」のセクションに示されている手順のために適用可能な図２６に示されている正確性を高めるための実行が存在する。

当業者によって、全ての工程を行わなければならないわけではないこと、および実際には本明細書に提供されている教示の具体的な用途の状況に応じて言及されていないさらなる部分工程を行ってもよいことが理解されるであろう。

図２４、図２５および図２６の工程は以下のとおりである。

Ｓ１０：３Ｄモデルを生成してロードする。
Ｓ１１：術前計画（任意）。
Ｓ１２：３Ｄモデル全体をロードする。
Ｓ１３：１つ以上の標的軌道／１つ以上の平面および該当する場合には標的点（例えば解剖学的構造の場合）の術中自動決定。

Ｓ２０：Ｃアーム調整をサポートする。
Ｓ２１：Ｘ線画像を取得する。
Ｓ２２：例えばＣ軸の周りでの回転角度（方向を含む）、プロペラ軸の周りでの回転などを与えることにより、標的物体、例えば円形の穴への特別な視認方向（潜在的に釘の位置特定によってサポートされる）、または解剖学的構造への真のＡＰ／ＭＬ図（潜在的にＤＮＮによってサポートされる）に達するためにサポートする。
Ｓ２３：曖昧さが生じた場合、システムは方向を含めずに回転角の値のみを提供する。
Ｓ２４：視認方向が所望の視認方向に十分に近くない場合、ユーザはシステム指示に従い、Ｓ２１を継続する。解剖学的構造の対応する３Ｄモデル（例えば、ＣＴ－スキャン、すなわち決定論的なもの）が利用可能である場合、この場合には現在の視認方向および３Ｄモデルから標的軌道を得ることが可能であり、開口器具の先端が解剖学的構造上に配置されることを分かっているため、所望の視認方向は標的軌道とは異なってもよい。例：開口器具が大腿骨上に配置されており、かつ大腿骨の３Ｄモデルが利用可能である遠位固定。標的物体を位置特定した後（Ｓ３３）、本システムは、釘モデルの標的軌道と大腿骨モデルの表面との交点を計算する。解剖学的構造の３Ｄモデルを用いて、本システムは開口器具先端のために調整指示を与える（Ｓ３７）。

Ｓ３０：開口器具位置決めをサポートする。
Ｓ３１：開口器具の位置決め。
Ｓ３２：Ｘ線画像を取得する。
Ｓ３３：標的物体／構造の位置特定。
Ｓ３４：標的軌道が視認方向と十分に整列されている場合、標的点は２ＤＸ線画像において直接視認可能である（定められていない器具先端位置のための１つのＤｏＦ）。Ｓ３６に進む。
Ｓ３５：システムは解剖学的構造（遠位固定部も含む）の３Ｄ表面の交点および２ＤＸ線画像上に重ね合わせられた標的軌道（定められている器具先端位置のための全てのＤｏＦ）を表示する。
Ｓ３６：開口器具の２Ｄ一致。
Ｓ３７：システムは開口器具の先端調整をサポートするための指示をユーザに与える。
Ｓ３８：十分な正確性で位置に達しなかった場合、ユーザはシステム指示に従い、Ｓ３２を継続する。

Ｓ４０：開口器具を標的軌道と整列するために開口器具と標的物体との間の３Ｄ位置および向きを決定する。
Ｓ４１ｅ：必要とされる開口器具の固定。
Ｓ４１１ｅ：開口器具の固定。Ｓ４４を適用することが意図されている場合、システムは開口器具と全ての特別な視認方向との間の角度が６５°未満であることを保証する角度で開口器具を標的物体に固定するためのサポートを提供する。２つの角度値を提供する。ユーザが同じ視認方向から別の画像を取得する場合、開口器具の固定角度をシステムによって確認する。
Ｓ４１２ｅ：Ｃアームと解剖学的構造との間の相対位置における変化を含まないＸ線画像を取得する。
Ｓ４１３ｅ：開口器具の侵入深さを決定するための画像差分析。
Ｓ４１４ｅ：解剖学的構造に対する開口器具の３Ｄ位置および３Ｄ向きを決定する。
Ｓ４１ｑ：開口器具の固定をしない。ユーザが軌道に照準を合わせるのをサポートしない。
Ｓ４２：システムは、視認方向と標的軌道との間の２５°の角度に達するためにＣアーム回転の調整値を計算および表示する。曖昧さが生じた場合、システムは方向を含めずに回転角度の値のみを提供する。
Ｓ４３：ユーザは表示された調整値に従ってＣアームを位置決めし、Ｘ線画像を取得する。視認方向がＳ４２からの所望の視認方向に十分に近くない場合、Ｓ４２に進む。
Ｓ４４：最終的な開口器具調整指示のために標的物体と開口器具との間の３Ｄ位置および３Ｄ向きを計算する。
Ｓ４４１ｅ：繰り返しの最適化の場合、開口器具の３Ｄ位置特定ならびに現在の画像と前の特別な視認方向との間の開口器具の３Ｄ位置および３Ｄ向き間の変換マトリックスの計算。
Ｓ４４２ｅ：（ｉ）上記変換マトリックス（Ｓ４４１ｅ）、（ｉｉ）現在の開口器具位置と共に解剖学的構造の全ての前の３Ｄ向きおよび３Ｄ位置、および（ｉｉｉ）現在の解剖学的構造の３Ｄ向きおよび３Ｄ位置（繰り返しもしくは共同最適化のいずれか）に基づく、解剖学的構造の潜在的に向上した３Ｄ向きおよび３Ｄ位置。
Ｓ４４１ｑ：繰り返しの最適化の場合、標的物体の位置特定。標的物体の位置特定と開口器具の先端が標的軌道／平面上に位置決めされるというアプリオリ情報とに基づいて、開口器具と標的物体との間の３Ｄ位置および３Ｄ向きを決定する。４４３に進む。
Ｓ４４２ｑ：開口器具に対する標的物体の３Ｄ向きおよび３Ｄ位置の共同最適化。
Ｓ４４３：例えば釘の遠位－近位逸脱を確認および補正できる場合には、アプリオリ情報（標的物体に対する開口器具の先端位置）を確認および補正する。
Ｓ４４４ｅ：解剖学的構造と開口器具との間の３Ｄ位置および３Ｄ向きの正確性がさらなる向上を必要とする場合、システムは、さらなる特別な視認方向に達するためにＣアーム回転のための調整値を計算および表示する。
Ｓ４４５ｅ：ユーザは表示された調整値に従ってＣアームを位置決めし、Ｘ線画像を取得する。視認方向が所望の視認方向に十分に近くない場合には、Ｓ４４に進む。
Ｓ４５：ユーザは、開口器具を標的軌道と整列するために提供されている調整値によって開口器具を移動させる。
Ｓ４５１：標的物体の３Ｄモデルが標的軌道を提供するので、システムは、標的物体に対する上で決定された器具の３Ｄ位置および３Ｄ向きから得られた、器具を標的軌道と整列するために開口器具の方向を調整するための角度（方向を含む２つの角度）を提供する。
Ｓ４５２ｅ：開口器具が第１の位置になお固定されている場合（Ｓ４１ｅ）、ユーザはその先端が標的軌道上に位置するまで開口器具を後退させ、次いでシステム出力に基づいて開口器具を整列し、Ｘ線画像を取得する（あるいは、第２の開口器具を使用して標的軌道に照準を合わせる。この場合にはＳ４４に進む）。
Ｓ４５３ｅ：システムは画像を比較する（例えば、画像差分析により）。画像が（標的物体について）局所的に十分に近い場合、Ｓ４４に進む。
Ｓ４５４：開口器具と標的軌道との整列が十分に近くない場合、ユーザはシステム出力に基づいて開口器具を位置決めし、Ｘ線画像を取得し、Ｓ４４を継続する。
Ｓ４５５：残りの整列指示が十分に小さい値を提供する場合、システムはドリルまでどのくらい離れているかという情報を表示する。ユーザは整列指示に基づいて開口器具を整列してもよく、ユーザが別のＸ線画像を取得するか否かを決定する。
Ｓ４６：ドリルでの穴あけ。
Ｓ４６１：ユーザはドリルで穴を開ける。
Ｓ４６２：ユーザがドリル方向またはドリル深さを確認することを望む場合はいつでも、ユーザは新しいＸ線画像を取得し、Ｓ４４を継続する。

なお、本システムがどのようにして第１のＸ線画像中に既にある器具の向き（および場合により位置）を調整するかということに関する指示を与えることができる場合には、これらを使用して器具と標的軌道との一時的な整列に達することができる。この整列後に、器具の傾きが必要とされる角度範囲内に既にあり、かつ電動工具も外科医の手も視界を塞がない場合には、異なる撮像方向からの別の画像が必要とされなくてもよく、必要であれば同じ撮像方向からのＸ線画像により適用された指示（器具の向きおよび場合により位置に関する）の確認を行ってもよい。（ｉ）補正が必要でない場合または非常に小さい補正が必要である場合、あるいは（ｉｉ）所与の指示の十分に正確な適用を保証する装置が使用される場合には、別のＸ線画像は必要でなくてもよい。そのような装置は手動の装置またはロボットであってもよい。

「所望の視認方向からＣアームの視野において標的物体／構造を位置決めするための方法」のセクションに記載されているように、特に器具が標的物体上に配置されており、かつ標的点が現在のＸ線において識別可能である場合には、標的軌道の方向におけるＣアームの完璧な整列は必要とされなくてもよい。まさに第１のＸ線画像において相対的３Ｄ位置および３Ｄ向きを計算するために必要な全ての情報が既に利用可能であることが可能であり得る。故にセットアップに応じて、第１のＸ線画像は遠位固定処置全体を行うのに十分であり得る。そのようなセットアップの例は、必要とされる傾きを既に考慮している所与の点で器具を保持するロボットの採用である。既に第１の取得されたＸ線画像において両方の標的軌道および必要な開始点を識別すること、および器具と標的物体との間の３Ｄ位置および３Ｄ向きを決定することが可能である場合、ロボットは必要に応じて器具を平行移動および回転させ、かつドリルで穴を開けてもよい。一般的な事例では、ドリルでの穴あけのための標的軌道および得られる開始点を第１のＸ線に基づいて識別できない場合は、異なる好適な視認方向から別のＸ線を取得してもよい。標的物体の位置特定に基づいて両方のＸ線画像を位置合わせしてもよく、これにより標的物体に対し、かつこのようにして標的軌道に対しても器具の３Ｄ位置および３Ｄ向きを計算することを可能にしてもよい。故に、ドリルでの穴あけを含む再位置決め（平行移動および回転）全体をロボットによって行ってもよい。この手順はドリルに限定されない。

整復サポート
近位大腿骨の骨折を解剖学的に整復する場合、整復はＡＰＸ線画像（例えば、アダムス弓は無傷に見える）および外側画像の両方において正しく見えるとしても、それにも関わらず残りの背側間隙が存在するということが起こり得る。この理由のために、真のＭＬ画像はそのような間隙を示す最大確率を有するため、真のＭＬＸ線画像を取得することが推奨される場合がある。しかし真のＭＬ画像であってもそのような不正確な整復を明らかにしないことがなお起こり得る。

さらにＸ線において視認不可能である残りの背側間隙は限られた自由度を有し、これは、内側断片を主要骨折線によって画定されている軸の周りで回転させることにより不正確な整復を補正可能であるに違いないことを意味している。

そのような補正は以下の手順によって達成してもよく、それは２つの断片の場合についてここに示されている。

１．本システムは、セグメント化された３Ｄ骨断片を示す３Ｄモデル（典型的には術前ＣＴスキャンを用いて得られる）をロードする。
２．外科医はＡＰＸ線画像を取得する。
３．本システムは任意に参照として骨折線を検出してもよい。
４．本システムは任意に主要骨折線を近似している線を決定してもよい。
５．外科医はＡＰＸ線画像において正しく見えるまで骨折を整復する。
６．外科医はＣアームをＭＬ位置まで回転させ、Ｘ線画像を取得する。
７．本システムは２つの骨断片間の相対的３Ｄ位置および３Ｄ向きを決定してもよく、このようにして外科医が整復を評価し、かつ潜在的に正しい整復を決定するのをサポートしてもよい。

工程７のために、本システムは骨断片が前側骨折線に沿って互いに接触しているというアプリオリ情報を使用してもよい。この線は実際に３Ｄで定められており、故に上記工程３における検出は単に任意である。

このシナリオでは、２つの物体（断片）はただ単一の点においてだけでなく、３Ｄ空間における線を近似している一次元構造に沿っても接触している。故に、定められていない１つの自由度（すなわち、前側骨折線の周りでの回転）のみが存在する。故に、前のセクションに示されている考えを用いて物体間の相対的３Ｄ位置および３Ｄ回転の決定が可能である。

この方法と、他の先に記載されている技術（すなわち、Ｘ線画像にさらなる機器／インプラント（例えば、釘）を含むか含まない非常に多くのＸ線画像の位置合わせ）との組み合わせにより、より高い正確性を得ることができる。これは、釘を挿入した後に行う場合にはあらゆるさらなる努力さえも必要としない場合があり、これを使用して両方の画像を記録するのを助けてもよい。

なお、この種類のアプリオリ情報は整形外科的外傷におけるいくつかの整復シナリオ、例えば断片の内反／外反位置の決定において存在する。さらなる例はそれが（例えばＸ線に基づいて）既知であるシナリオ、すなわち
・その断片は互いに接触している（最も制約的でない種類のアプリオリ情報）
・断片が互いに接触している場合、その位置がいくつかの可能性のうちの１つの中にあることが分かっているだけで十分であってもよく、例えば整復がＡＰＸ線画像において正しく見える場合、断片が背側もしくは腹側方向のいずれかにおいて骨折線に沿って接触していると仮定してもよく、より極端なシナリオでは、１つの断片の背側骨折線が別の断片の腹側骨折線に接触していてもよく、次いでアルゴリズムは全てのこれらの可能性を評価し、かつ最良の３Ｄ一致を提供するものを選択し得る
・どのように断片が互いに接触しているか（点、線などの１Ｄ構造または平面などの２Ｄ構造などにおいて）
に関するものであってもよい。

なお、上に示されている手順は３つ以上の断片にも適用してもよい。骨断片ＡとＢとの間に既知の関係が存在し、かつ骨断片ＢとＣとの間に既知の関係が存在する場合にこれを使用して、骨断片ＡとＣとを関連づけてもよい。

本システムは、骨断片間のあらゆる検出された解剖学的間隙が正常範囲内であるか否か、および当てはめられた統計学的形状モデルから有意に逸脱しているという理由で、あらゆる突出している骨断片が統計的に有意であるか否かをも自動的に決定してもよい。

外科医がＸ線画像において見られるものに基づいて整復が正しいと不正確に信じる場合があるさらなる例は、近位脛骨の複数断片のシナリオである。図２７は、Ａ～Ｅの断片を含む脛骨の近位端の軸方向図を示す。ここでは、Ａ～Ｄでラベル付けされている断片は既に解剖学的に整復されているが、断片Ｅは沈み込んでおり、すなわち正しい解剖学的整復と比較して遠位方向に移動している。そのような状況は、Ｘ線（ＡＰもしくはＭＬ方向への）が多くの他の骨折線を示し、かつ規則的な解剖学的構造（例えば腓骨）に対応する線も示すため、外科医にとって決定が難しい場合がある。本発明は、全ての断片間の相対的３Ｄ位置および３Ｄ向きを正確に決定することによりそのようなシナリオを検出することができる場合がある。これは、本システムが場合により内側断片（図２７では断片Ｅなど）（これは遠位方向に移動してまっている場合がある）を除いて、全ての断片が解剖学的に整復されているというアプリオリ情報を使用し得るために可能であり得る。ここでは、本システムの自由パラメータは骨の内部に位置する断片の近位／遠位位置である。

Claims (10)

1. コンピュータ支援外科手術においてＸ線画像を処理するためのシステムであって、前記システムは、処理装置およびコンピュータプログラムを備え、前記コンピュータプログラムが前記処理装置によって実行されるときに、前記システムは、
   Ｘ線画像を受信することであって、前記Ｘ線画像は第１の物体および第２の物体の投影画像であることと、
   前記第１の物体を分類し、かつ前記第１の物体の３Ｄモデルを受信し、前記第１の物体の幾何学的側面を決定し、かつ前記第１の物体の３Ｄモデルに関して前記幾何学的側面を識別することと、
   前記第２の物体を分類し、かつ前記第２の物体の３Ｄモデルを受信し、前記第２の物体の点を選択し、かつ前記第２の物体の３Ｄモデルにおいて前記点を識別することであって、前記第２の物体の選択される点は前記第２の物体の遠位先端であることと、
   前記第１の物体の３Ｄモデル、前記第２の物体の３Ｄモデルおよび前記第２の物体の点と前記第１の物体の幾何学的側面との間の空間的関係に関する知識に基づいて、前記第１の物体と前記第２の物体との間の相対的３Ｄ位置および３Ｄ向きを決定することと、
   を行うようにさせられる、システム。
2. 前記第１の物体の幾何学的側面は平面、線および点からなる群からの側面である、請求項１に記載のシステム。
3. 前記第２の物体の点を選択することは前記第２の物体の複数の点を選択することを含む、請求項１または２に記載のシステム。
4. 前記第１の物体の幾何学的側面は平面または線であり、前記Ｘ線画像は、撮像方向が１０°～６５°の範囲内の角度で前記幾何学的側面に対して傾けられている状態で生成される、請求項１に記載のシステム。
5. 前記角度は２０°～３０°の範囲内にある、請求項４に記載のシステム。
6. 前記システムは、
   前記第１の物体に対する前記第２の物体の意図されている空間的関係からの前記第２の物体の３Ｄ位置および３Ｄ向きの逸脱を決定すること
   をさらに行うようにさせられる、請求項１～５のいずれか１項に記載のシステム。
7. 前記第１の物体は解剖学的構造または第１のインプラントの側面であり、前記第２の物体は解剖学的構造、器具または第２のインプラントの側面である、請求項１～６のいずれか１項に記載のシステム。
8. 前記第２の物体の点は前記物体の遠位先端であり、前記遠位先端の３Ｄ位置の情報は前記遠位先端と前記第１の物体の表面との接点である、請求項１～７のいずれか１項に記載のシステム。
9. 前記システムはユーザに情報を提供するための装置をさらに備え、前記情報はＸ線画像および処置の工程に関する指示からなる群からの少なくとも１つの情報を含む、請求項１～８のいずれか１項に記載のシステム。
10. 前記システムは前記Ｘ線画像を生成するためのＣアームベースのＸ線撮像装置をさらに備える、請求項１～９のいずれか１項に記載のシステム。
    れか１項に記載のコンピュータプログラム。

Images