JP7577378B2

JP7577378B2 - ２ｄ／３ｄ画像整合方法及びこれを行う手術用ロボットシステム

Info

Publication number: JP7577378B2
Application number: JP2023186147A
Authority: JP
Inventors: ウ、ドン・ギ; ワン、スン・タク
Original assignee: Curexo Inc
Current assignee: Curexo Inc
Priority date: 2022-11-02
Filing date: 2023-10-31
Publication date: 2024-11-05
Anticipated expiration: 2043-10-31
Also published as: JP2024067006A; EP4609815A3; CN117994300A; US20240144498A1; EP4609815A2; EP4404140A3; KR102612603B1; EP4404140A2

Description

本発明は、画像整合に関して、より詳細には、手術前の３Ｄ画像と手術中の２Ｄ画像との間の整合を介して手術プランニング及びナビゲーション情報を望む画像に表示することができる画像整合方法及びこれを行う手術用ロボットシステムに関する。

画像整合に基づく手術ナビゲーションの技術は、医師の手術を支援するために使用されてきた。

医師は、手術に入る前に、手術部位を撮影したＣＴの３Ｄ画像を基にして、最適なインプラント製品、インプラントの手術位置、または手術具の軌道などを決める手術プランニングを確立する。そして手術中には、手術プランニングの通りに手術がうまく行っているかを確認するために、手術の現況に該当する手術具、インプラントなどのリアルタイム位置を手術プランニングと対比、確認しながら手術具を操作する。

手術プランニングは、手術前に主に活用されているＣＴの３Ｄ画像を基にして確立される反面、手術の現況は手術中に主に活用されている画像機器であるＣ－ａｒｍの２Ｄ画像を基にして提供され、これは手術中の手術具とＣ－ａｒｍが同じ座標系に整合されるのである。

したがって、手術プランニング及び手術の現状に対する統合的な情報を提供するためには、３Ｄ／２Ｄ画像が整合されるべきであり、手術を成功させるためには、画像整合の精度を高め、画像整合の処理時間を短縮しなければならない。

しかしながら、患者の動きに応じて脊椎の回転、左右の骨盤の非対称性などが発生し、画像を得るたびに一定でない画像を得ることとなる。したがって、患者の動き、特に位置の移動はないが、関節の回転などにより発生するポーズの微細な変化を迅速に処理して画像整合を行うべきであるが、従来のナビゲーション技術分野では、このような関節の回転に伴うポーズの変化を反映する画像整合の技術は活用されていなかった。

韓国登録特許第２２０３５４４号韓国登録特許第２３９４９０１号

したがって、本発明は、迅速な画像整合の処理が可能で関節の回転に起因する動きの補償が可能な画像整合方法及びこれを行う手術用ロボットシステム、画像整合装置、及びコンピュータプログラム媒体を提供することを目的とする。

本発明の一態様に係る画像整合方法において、手術前の３Ｄ画像装置から患者の手術部位の３Ｄ画像を得るステップと、前記３Ｄ画像からＡＰ方向及びＬＬ方向のＤＲＲ画像を抽出するステップと、手術中の２Ｄ画像装置から前記患者の手術部位のＡＰ画像とＬＬ画像の２Ｄ画像を得るステップと、前記ＤＲＲ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第１法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第１原点を過ぎる第１回転軸を基準として、あらかじめ決められた前記ＡＰ画像または前記ＬＬ画像の第１基準位置に対応する前記患者の手術部位の参照位置と前記第１基準位置との間の第１回転角度を決めるステップと、前記２Ｄ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第２法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた前記第２原点を過ぎる第２回転軸を基準として、前記参照位置に対応する前記ＡＰ画像または前記ＬＬ画像の第２基準位置と前記参照位置との間の第２回転角度を決めるステップと、前記ＤＲＲ画像及び前記２Ｄ画像のそれぞれの前記ソース及びディテクタに対する幾何空間関係から、前記第１回転角度及び第２回転角度を基にして前記２Ｄ画像及び前記ＤＲＲ画像との間の変換関係を決めるステップと、含むことを特徴とする画像整合方法によって達成することができる。

ここで、前記第１基準位置及び前記第２基準位置は、前記２Ｄ画像及び前記ＤＲＲ画像のそれぞれに対する前記ＡＰ画像または前記ＬＬ画像の中心または前記中心を含む線または面であり得る。

前記画像整合方法は、前記３Ｄ画像を基にして手術プランニングを行うステップをさらに含み、前記ＤＲＲ画像に対する前記第１原点は、手術プランニングに適用されたインプラントの取り付け位置または前記インプラントの取り付けのための手術具の軌道の相対関係を介して決められることができる。そして、前記ＤＲＲ画像または前記２Ｄ画像に対する前記参照位置はユーザの入力によって決められることができる。

前記画像整合方法において、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの幾何空間関係は、正投影（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ）関係であり、前記２Ｄ画像に対する前記ソース及び前記ディテクタの幾何空間関係は、遠近投影（ｐｅｒｓｐｅｃｔｉｖｅｐｒｏｊｅｃｔｉｏｎ）関係であり得る。

そして、前記画像整合方法は、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係から、前記第１法線ベクトルの方向に前記ＡＰ画像平面及び前記ＬＬ画像平面を移動するのに伴って平面が交差する第１関心ボリュームを決めるステップと、前記２Ｄ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係は遠近投影関係であり、遠近投影範囲内で前記第２法線ベクトルの方向に前記ＡＰ画像平面及び前記ＬＬ画像平面を移動するのに伴って平面が交差する第２関心ボリュームを決めるステップと、をさらに含むことできる。ここで、前記第１原点は前記第１関心ボリュームの中心点であり、前記第２原点は前記第２関心ボリュームの中心点であり得る。

そして、前記画像整合方法は、前記ＤＲＲ画像のＡＰ画像及び前記ＬＬ画像のそれぞれに対する第１関心領域を決めるステップと、前記第１関心領域に対応する第２関心領域を、前記２Ｄ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対して決めるステップと、をさらに含み、前記第１基準位置は前記第１関心領域の内に位置し、前記第２基準位置は前記第２関心領域の内に位置することができる。また、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係から、前記第１法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するのに伴って平面が交差する第１関心ボリュームを決めるステップと、前記２Ｄ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係は遠近投影関係であり、遠近投影範囲内で前記第２法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するのに伴って平面が交差する第２関心ボリュームを決めるステップと、をさらに含むことができ、ここで、前記第１原点は前記第１関心ボリュームの中心点であり、前記第２原点は前記第２関心ボリュームの中心点とすることができる。

そして、前記画像整合方法は、前記第１原点は、患者の脊椎ペディクルスクリューのターゲット位置間の中点であり得て、前記第１回転角度は前記第１原点を中心として、前記ペディクルスクリュー進入点（ｅｎｔｒｙｐｏｉｎｔ）間の中点と前記第１原点とを結ぶ線分と、前記関心ボリュームの中心点を過ぎる前記第１法線ベクトルがなす角度であり得る。

そして、前記画像整合方法は、前記ＤＲＲ画像の前記ＡＰ画像及び前記ＬＬ画像に対する前記第１関心領域のそれぞれは長方形であり、前記ＤＲＲ画像について、前記ＡＰ画像の関心領域の各頂点に対する前記ＬＬ画像上のエピポーラライン（ｅｐｉｐｏｌａｒｌｉｎｅ）と、前記ＬＬ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第１交差点を算出する第１ステップと、前記第１交差点を前記ＡＰ画像の関心領域の各頂点からの前記法線ベクトルにそれぞれ正射影（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ）して４つの復元点を得る第２ステップと、前記ＬＬ画像の関心領域の各頂点に対する前記ＡＰ画像上のエピポーララインとの前記ＡＰ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第２交差点を求める第３ステップと、前記第２交差点を前記ＬＬ画像上の関心領域の各頂点からの前記法線ベクトルにそれぞれ正射影して４つの復元点を得る第４ステップと、前記第１乃至第４ステップを介して得られた８つの復元点を基にして形成される六面体の第１関心ボリュームを算出する第５ステップと、を含むことができる。

そして、前記画像整合方法は、前記第２関心ボリュームを決めるステップは、前記２Ｄ画像に対して、前記ＡＰ画像の関心領域の各頂点に対する前記ＬＬ画像上のエピポーラライン（ｅｐｉｐｏｌａｒｌｉｎｅ）と、前記ＬＬ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第１交差点を算出する第１ステップと、前記第１交差点を前記ＡＰ画像の関心領域の各頂点から前記ソースへ向かう遠近投影ベクトルに遠近投影して４つの復元点を得る第２ステップと、前記ＬＬ画像の関心領域の各頂点に対する前記ＡＰ画像上のエピポーララインとの前記ＡＰ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第２交差点を求める第３ステップと、前記第２交差点を前記ＬＬ画像上の関心領域の各頂点からソースへ向かう遠近投影ベクトルにそれぞれ遠近投影して４つの復元点を得る第４ステップと、前記第１乃至第４ステップで得られた８つの復元点を基にして六面体の第２関心ボリュームを決める第５ステップと、を含むことができる。

さらに、前記目的は、本発明の別の態様に係る画像整合方法において、手術前の３Ｄ画像装置から患者の手術部位の３Ｄ画像を得るステップと、前記３Ｄ画像からＡＰ方向及びＬＬ方向のＤＲＲ画像を抽出するステップと、手術中の２Ｄ画像装置から前記患者の手術部位のＡＰ画像とＬＬ画像の２Ｄ画像を得るステップと、前記ＤＲＲ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対する第１関心領域を決めるステップと、前記第１関心領域に対応する第２関心領域を、前記２Ｄ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対して決めるステップと、前記ＤＲＲ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第１法線ベクトルの方向に、前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を平行移動するときに平面が交差して形成される第１関心ボリュームを決めるステップと、前記２Ｄ画像に対するソース及びディテクタの幾何空間関係は、遠近投影関係であり、遠近投影範囲内で前記２Ｄ画像のＡＰ画像及びＬＬ画像に対する第２法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するときに平面が交差して形成される第２関心ボリュームを決めるステップと、前記第１関心領域内のあらかじめ決められた第１基準位置に対応する前記第１関心ボリューム内の第１基準位置と前記第１基準位置に対応するあらかじめ決められた参照位置の第１変位を決めるステップと、前記参照位置に対応する前記第２関心領域内のあらかじめ決められた第２基準位置に対する前記第２関心ボリューム内の第２基準位置と前記参照位置との間の第２変位を決めるステップと、前記第１変位と前記第２変位に基にして、前記ＤＲＲ画像及び前記２Ｄ画像それぞれの前記ソース及びディテクタに対する幾何空間関係から前記２Ｄ画像及び前記ＤＲＲ画像との間の変換関係を決めるステップであって、前記変換関係に従って、前記第１関心領域の頂点と前記第２関心領域の頂点との間のユークリディアン距離が最小となるようにする変換関係を決めるステップと、を含むことを特徴とする画像整合方法によって達成することができる。

ここで、前記第１変位を決めるステップは、前記ＡＰ画像及び前記ＬＬ画像の平面に対する前記第１法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第１原点を過ぎる第１回転軸を基準として、前記参照位置と前記第１基準位置との間の角度を第１回転角度であると決めるステップを含み、前記第２変位を決めるステップは、前記ＡＰ画像及び前記ＬＬ画像の平面に対する前記第２法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第２原点を過ぎる第２回転軸を基準として、前記参照位置と第２基準位置との間の角度を第２回転角度であると決めるステップと、を含むことができる。

そして、前記第１及び第２関心ボリュームを決めるステップは、前記第１及び第２関心領域の頂点のエピポーララインを前記第１及び第２法線ベクトルに投影して多面体を形成するステップをそれぞれ含むことができる。

また、前記目的は、本発明の別の態様に係る画像整合装置において、請求項１乃至請求項１７の中のいずれか一項に記載の画像整合方法を実行するためのプロセッサを含む画像整合装置によって達成することができる。

さらに、前記目的は、本発明の別の態様に係る手術用ロボットシステムにおいて、手術中の患者の手術部位の２Ｄ画像を得るための２Ｄ画像装置と、手術具が着脱可能なエンドエフェクタを含むロボットアームと、前記手術具または前記エンドエフェクタのリアルタイム位置をセンシングするための位置センサと、あらかじめ決められた手術プランニングに応じて前記ロボットアームを制御するコントローラと、ディスプレイと、請求項１乃至請求項１７の中のいずれか一項に記載の画像整合方法を行って、前記ディスプレイを介して手術具またはインプラントに対する前記プランニング情報を手術中に得られる２Ｄ画像に表示したり、前記手術具またはインプラントの前記リアルタイム位置を前記２Ｄ画像または手術前に得られる３Ｄ画像に表示するナビゲーションシステムを含むことを特徴とする手術用ロボットシステムによって達成することができる。

さらに、上記目的は、本発明の一態様に係る請求項１乃至請求項１７の中のいずれか一項に記載の画像整合方法を行うためのソフトウェアを格納するコンピュータプログラム媒体によって達成することができる。

本発明は、患者の身体の一部に対する回転時に動きの補償が可能な正確かつ迅速な画像整合処理を提供することができる。

本発明の実施形態に係る画像整合装置のブロック図である。本発明の実施形態に係る画像整合方法のフローチャートである。ＣＴ画像に手術プランニングを確立し、そこから関心ボリュームを抽出する過程を説明するための例示図である。ＣＴ画像に手術プランニングを確立し、そこから関心ボリュームを抽出する過程を説明するための例示図である。ＣＴ画像から正射影（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ）に基づいてＤＲＲ画像を生成することを説明するための例示図である。ＡＰ画像における機械学習を通じてラベル付けされた後に関心領域を自動的に生成する過程を説明するための例示図である。ＤＲＲ画像として、ＡＰ画像及びＬＬ画像における第１関心領域が生成された結果の例を示す図である。ＤＲＲ画像として、ＡＰ画像及びＬＬ画像における第１関心領域が生成された結果の例を示す図である。Ｃ－ａｒｍ画像として、ＡＰ画像及びＬＬ画像における第２関心領域が生成された結果の例を示す図である。Ｃ－ａｒｍ画像として、ＡＰ画像及びＬＬ画像における第２関心領域が生成された結果の例を示す図である。関心領域のサイズ調整、位置移動、回転移動、ＳＰ設定などを可能にするユーザインターフェースの例を示す図である。第１関心領域の頂点がＣＴボリューム内に復元される過程を説明するための図である。第１関心領域の頂点がＣＴボリューム内に復元される過程を説明するための図である。第１関心領域の頂点がＣＴボリューム内に復元される過程を説明するための図である。第１関心領域の頂点がＣＴボリューム内に復元される過程を説明するための図である。第１関心領域の頂点８つがＣＴボリューム内に復元された結果を説明するための例示図である。第２関心領域の頂点がＣ－ａｒｍボリューム内に復元される過程を説明するための図である。第２関心領域の頂点８つがＣ－ａｒｍボリューム内に復元された結果を説明するための図である。第１関心ボリュームの軸方向と棘突起の先端ラインとが一致する場合と不一致して回転した場合を説明するための図である。第１関心ボリュームの軸方向と棘突起の先端ラインとが一致する場合と不一致して回転した場合を説明するための図である。手術前に手術プランニングされたプランニングオブジェクト位置に基づく第１回転角度を決定する方法を説明するための例示図である。Ｃ－ａｒｍＡＰ画像において棘突起の先端線をユーザが設定するためのユーザインターフェースを説明するための例示図である。Ｃ－ａｒｍＡＰ画像ベースの第２回転角度を算出する過程を説明するための例示図である。Ｃ－ａｒｍＡＰ画像ベースの第２回転角度を算出する過程を説明するための例示図である。第１関心ボリュームの中央を原点とするローカル座標系Ｖを説明するための図である。本発明の一実施形態に係る手術ロボットシステムの概略的な構成の模式図である。

以下、添付の図面を参照して本発明の実施形態を説明する。

図１は、本発明の一実施形態に係る画像整合を行うための画像整合装置１０の構成を概略的に示すブロック図である。画像整合装置１０は、画像整合を行なえる電子機器であり、コンピュータ、ノートパソコン、ラップトップ・コンピュータ、タブレット端末、スマートフォン、携帯電話、ＰＭＰ（ＰｅｒｓｏｎａｌＭｅｄｉａＰｌａｙｅｒ）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）などのコンピューティングデバイスを意味する。本発明の一実施形態に係る画像整合方法は、医療用ナビゲーションソフトウェアをはじめとする医療画像処理ソフトウェアなどに適用可能である。本発明の一実施形態に係る画像整合装置１０は、医療用ナビゲーションソフトウェアの以外に、手術プランニングやプランニング等の画像処理ソフトウェアを実行することもできる。

図１を参照すると、本発明の一実施形態に係る画像整合装置１０は、データ及びプログラムコードが格納されたメモリ１１と、それを実行するプロセッサ１３とを含む。

メモリ１１は、コンピューティング装置で読み取り可能な記録媒体であり、プロセッサ１３により実行される少なくとも１つのコンピュータプログラムコードを格納することができる。このようなコンピュータプログラムコードは、メモリ１１とは別のフロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどからメモリ１１にロードすることができる。メモリ１１は、画像整合のためのソフトウェア、患者の医療画像やデータなどを格納することができる。

プロセッサ１３は、基本的なロジック、算出、演算などを実行してコンピュータプログラムの命令語を実行及び処理するためのものであり、メモリ１１に格納されたコンピュータプログラムコードがプロセッサ１３にロードされて実行される。プロセッサ１３は、メモリ１１に格納されたアルゴリズムを実行して一連の２Ｄ／３Ｄ画像整合を行う。

図１に示すように、本発明の一実施形態に係る画像整合装置１０は、データ及び画像を表示するためのディスプレイ１５と、ユーザの入力を受けるためのユーザインターフェース１７と、外部との連動のための通信インターフェース１９をさらに含むことができる。ユーザインターフェース１７は、例えば、マイク、キーボード、マウス、または足パッドなどの入力装置を含むことができる。

以下、本発明の一実施形態に係る画像整合装置１０（またはプロセッサ１３）により行われる画像整合方法について後述する。

図２は本発明の一実施形態に係る画像整合方法のフローチャートであり、図３乃至図１４は図２のフローチャートのステップを示す模式図である。

図２を参照すると、本発明の実施形態に係る画像整合方法は手術前のステップのプランニングステップを含む。

まず、画像装置を介して手術前の患者の手術部位に対するＣＴ画像を撮影して３Ｄ画像を得る（Ｓ１）。ここで、ＣＴ以外に３Ｄ画像を得る画像装置、例えばＭＲＩなども使用することができ、本発明は特定の画像装置に限定されない。

医師は手術プランニングソフトウェアを使用して患者の３Ｄ画像に対して手術プランニングを確立する（Ｓ２）。例えば、脊椎手術中にペディクルにスクリューを挿入して固定する手術の場合、スクリューの直径、長さ、材質等を基準としたスクリュー製品の選択、スクリューのペディクルの進入点、スクリューの末端の定着位置のターゲットなどを設定して３Ｄ画像に表示することができる。このようなプランニングソフトウェアは、さまざまな手術分野で多くの企業が提供している。

次に、画像整合装置１０は、手術プランニングを確立した手術部位に対する関心ボリュームを抽出する（Ｓ３）。このような抽出は、３Ｄ画像上に表示されたプランニングオブジェクト、例えばスクリューの位置を基準として自動化されたアルゴリズムを介して自動抽出されるか、または医師が直接提供されるボリューム境界を調整して、そのサイズだけ抽出することができる。

図３ａを参照すると、医師は左側の３Ｄ画像上に提供される白いボックスを制御して関心ボリュームを設定したり調整することができ、図３ｂを参照すると、図３ａと比較して、例えばプランニングオブジェクトであるスクリューを基準として左右マージン（ａ，ｂ）の大きさをデフォルトで与え、自動的に抽出されるようにすることができる。

このようにして抽出された関心ボリュームからＤＲＲ（ＤｉｇｉｔａｌｌｙＲｅｃｏｎｓｔｒｕｃｔｅｄＲａｄｉｏｇｒａｐｈ）画像として、ＡＰ画像（Ａｎｔｅｒｉｏｒ－Ｐｏｓｔｅｒｉｏｒｉｍａｇｅ）とＬＬ画像（Ｌａｔｅｒａｌ－Ｌａｔｅｒａｌｉｍａｇｅ）を生成する（Ｓ４）。すなわち、図４に示すように、ＡＰ画像とＬＬ画像は、ＣＴ装置が提供するＣＴ座標系を基準とした仮想のＣ－ａｒｍ画像であり、正射影（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ）によるＡＰソースとディテクタからＡＰ画像を生成し、ＬＬソース及びディテクタからＬＬ画像を生成する。

次に、手術中にＣ－ａｒｍ装置を介して手術部位のＡＰ画像とＬＬ画像を得て（Ｓ５）、患者の身体の一部に取付けたマーカー（以下「ＰＭマーカー」という）又は他の手術空間内で参照することができるマーカーを基準とした空間座標系にＣ－ａｒｍ装置を整合させる（Ｓ６）。本出願人の韓国登録特許第２２０３５４４号はＣ－ａｒｍ装置を３Ｄ空間に整合するか、２Ｄ画像を３Ｄ空間に整合する技術を開示しており、本出願は、５４４’号を全て参照として含む。Ｃ－ａｒｍ装置を空間整合する技術は、参照された５４４’号の特許以外に多数知られており、本発明は特定の空間整合技術に限定されない。

画像整合装置１０は、ＤＲＲ画像とＣ－ａｒｍ画像について第１関心領域ＲＯＩ及び第２関心領域ＲＯＩをそれぞれ決める（Ｓ７、Ｓ８）。各関心領域は、ペディクルスクリュー固定手術の場合、脊椎骨の単位に設定することができ、図５に示すように、機械学習を通じて脊椎骨の単位で抽出されてラベル付けされ、関心領域は各脊椎骨を含む長方形として定義することができる。

図６ａ及び図６ｂは、ラベル付けされたＤＲＲ画像のＡＰ画像及びＬＬ画像に第１関心領域が抽出された結果を示し、図７ａ及び図７ｂはラベル付けされたＣ－ａｒｍのＡＰ画像及びＬＬ画像に第２関心領域が抽出された結果を示す。

ここで注意すべき点は、ＤＲＲ画像に対する第１関心領域とＣ－ａｒｍ画像に対する第２関心領域が互いに等しく抽出されることである。少なくとも、関心領域の長方形の頂点は、互いに対応する同等性がある点として選択される。同等性は完全な一致点を意味するものではなく、例えば、脊椎骨の画像特徴と選択される関心領域の４つの頂点との間の関係が一定に維持されるように、第１関心領域と第２関心領域が抽出または選択されることを意味する。

本実施形態においては、例えば、脊椎骨に対して、棘突起の先端がＡＰ画像に対する関心領域の中央にくるように第１関心領域及び第２関心領域が選択され、ＡＰ／ＬＬ画像のそれぞれにおいて脊椎骨の外側マージンが第１及び第２関心領域に対して一定に適用されるように選択される。

図８を参照すると、医師は提供されたユーザインターフェースを介して抽出された関心領域のサイズ、位置、回転などが可能であり、特定の身体部位、例えば棘突起の先端を指すラインを生成するか、または中心線と一致するように関心領域を調整することもできる。

次に、画像整合装置１０は、ＤＲＲ画像に対してＡＰ画像とＬＬ画像に表示された第１関心領域を空間上に復元する、すなわち関心ボリュームで復元するようにする（Ｓ９）。これは直観的に、ＡＰ画像が仮想のディテクタ位置にあると仮定し、法線ベクトルに平行移動させるとともに、ＬＬ画像が仮想のディテクタ位置にあると仮定し、ＬＬ画像の法線ベクトルに平行移動させるとき、２つの平面が交差する空間、すなわち、２つの平面上の第１関心領域が互いに交差する空間で第１関心ボリュームと言うことにする。

第１関心ボリュームを座標系に基づいて算出する過程を図９乃至図１３を参照して説明する。

図９を参照すると、Ｌ３とラベル付けされた脊椎骨に対する第１関心領域に対して、ＡＰ画像上の第１関心領域の第１頂点Ａ１と、ＣＴ座標系上のＡＰ画像が位置する仮想のディテクタ平面が定義される。また、ＬＬ画像が位置する仮想のディテクタ平面も定義され、ＬＬ画像上の第１関心領域も表示されている。直観的に、ＡＰ画像及びＬＬ画像の平面が空間で交差して形成されるボリュームをＣＴボリュームというとき、ＣＴボリュームは六面体で６つの境界面を有し、３軸のＣＴ座標系を有する。

ＤＲＲ画像は正投影または直交投影であるので、このような六面体のＣＴボリュームが形成され、Ａ_１を過ぎる法線ベクトルはＣＴボリュームの上下境界面を交差して任意の高さのＡ’_１に達する。

したがって、Ａ’_１と上下の境界面との交差点Ｉ_１及びＩ_２は、次のように求めることができる。

ここで、λ_１は任意の数であり、Ｎ_ＡＰはＡＰ平面の法線ベクトルであり、ｆ_{ｉｎｔｅｒ}は入力変数として２つの点と１つの平面で表され、２つの点を結ぶ線分と平面との間の交差点を求める関数を表す。

したがって、Ｉ_１は次のように求められる。

ここで、Ｐ_Ｔｏｐはπ_Ｔｏｐを表し、Ｉ_２はＩ_１と同じ方式で求められる。

図９ｂを参照すると、Ｉ_１及びＩ_２からＬＬ画像平面に垂直に下がって通じる任意の法線上の任意の点をそれぞれＩ’_１及びＩ’_２というとき、Ｉ’_１及びＩ’_２は、次のように表現できる。

ここで、λ_２は任意の数であり、Ｎ_ＬＬはＬＬ平面の法線ベクトルである。

次の図９ｃを参照すると、Ｉ_１及びＩ_２からＩ’_１及びＩ’_２に至る線分とＬＬ画像平面と交差点を結ぶと、頂点Ａ１のエピポーララインを求めることができる。このエピポーララインをＬＬ画像上の関心領域の任意の位置との交差点を求めることができる。図９ｃでは、第１関心領域の左右側辺の中点Ｃ_１、Ｃ_２を結ぶ線分との交差点Ｃ_３を求めた。

このように求めたエピポーララインと関心領域との間の交差点Ｃ_３を再び頂点Ａ_１からの法線Ａ_１ーＡ’_１に投影すれば、図９ｄに見られるように、Ｐ_１を求めることができる。ここで、エピポーララインと交差する関心領域の位置を上辺とした場合、Ｐ_１はＬＬ画像の第１関心領域の上辺と平行な位置にあるので、Ａ_１に対応するＣＴボリューム内の点であるＰ_１はＡ_１からの法線上でも、ＬＬ画像上の関心領域の上辺及び下辺と平行な位置内で任意の位置で選択することができることに注意する。

残りの３つの頂点に対してＡ_１と同様に適用すると、ＡＰ画像上の第１関心領域の平面がＣＴボリュームに移されて復元されることがわかり、同様にＬＬ画像上の頂点がＣＴボリュームに移されて復元されることがわかる。

図１０は、第１関心領域を定義する８つの頂点Ａ_１～Ａ_８がＣＴボリューム内の８つの点（^ＣＴＰ_１，^ＣＴＰ_２，．．．．^ＣＴＰ_８）に復元された一例を示す。

図１１は、Ｃ－ａｒｍ画像の第２関心領域を定義する一頂点Ａ_１がＣ－ａｒｍボリュームに復元される関係を示す。

図９ａ乃至図９ｄと比較すると、Ｃ－ａｒｍ画像は遠近投影に従って得られるので、互いに直交するＣＴ座標系上の単位ベクトルを用いて定義する代わりに、ＰＭマーカーベースのＰＭ座標系を基にしてソースとディテクタとの間のベクトルを方向ベクトルとして定義される。

したがって、図１１において、Ｉ_１、Ｉ_２、Ｉ’_１、Ｉ’_２、Ｃ_３、Ｐ_１は次のように求められる。

ここで、Ｓ_ＬＬはＬＬ画像のソース位置を表し、λ_２は任意の数であり、

Ｃ_１及びＣ_２はＬＬ画像上の関心領域の左右の辺の中点である。

同じ手順を８つの頂点Ａ_１～Ａ_８に繰り返すときに、図１２に示すように、８つの点（^ＰＭＰ_１，^ＰＭＰ_２，．．．．^ＰＭＰ_８）がＣ－ａｒｍボリュームに復元される。

図１０及び図１２を参照すると、ＣＴボリューム内に復元された８つの点とＣ－ａｒｍボリューム内に復元された８つの点は、ＡＰ画像上の関心領域とＬＬ画像上の関心領域が相互中心で交差して配置されたように見える。これら８つの点が六面体の中線となり、１つの関心ボリュームを形成できることが理解できるであろう。

ここで再び図２のフローチャートを参照すると、画像整合装置１０は、ＣＴボリュームとＣ－ａｒｍボリュームにそれぞれ８つの点または第１及び第２関心ボリュームを復元した後、あらかじめ決められた軸を中心に患者の手術部位の参照位置とそれに対応する基準位置との間の回転角度を算出する（Ｓ１０）。

本実施形態では、参照位置は棘突起の先端とし、これに対応する第１基準位置は、ＡＰ画像平面の法線ベクトル及びＬＬ画像平面の法線ベクトルの外積のベクトルと同じ方向に定義されるＡＸＩＡＬ画像の法線ベクトルに対応する。ただし、回転軸の位置を決定する第１原点は、椎骨の回転の中心を反映するのが理想的であるが、これを定義することが困難であるので、後述するように、２つのうちの１つを選択するようにする。

まず、図１３ａを見ると、ＳＰで示された棘突起の先端と、図１０を参照すると、^ＣＴＰ_５及び^ＣＴＰ_６との間の線分が高さが異なるだけで左右の偏差がないので、この場合、回転がないことがわかる。

一方、図１３ｂでは、ＳＰで示された棘突起の先端と、^ＣＴＰ_５及び^ＣＴＰ_６との間の線分が左右側偏差があり、第１関心ボリュームの中心を過ぎるａｘｉａｌ軸との間の角度θが歪んでいることがわかる。

これにより、歪んでいる回転角度θ（以下、「第１回転角度」という）を求めるために、図１４のように医師が手術前に行ったプランニングオブジェクトを用いることができる。図１４を参照すると、一対のスクリューがａｘｉａｌ軸を基準として左右ペディクルに進入する進入路Ｅ_ｒ、Ｅ_ｌとの間の中点Ｅ_ｃと、最終的にスクリューの末端が取り付けられる位置Ｔ_Ｌ、Ｔ_ｒ（以下、「ターゲット」という）の中点Ｔ_ｃを結ぶ線Ｅ_ｃ－Ｔ_ｃと第１関心ボリュームのａｘｉａｌ平面の中心を過ぎる縦線分、すなわち、^ＰＴＰ_６－^ＰＴＰ_８との間の線分間の角度を第１回転角度θ_ＤＲＲで求める。

この場合、第１回転軸が過ぎる第１原点は左右ターゲットＴ_１、Ｔ_ｒの中点Ｔ_ｃとして選択され、第１関心ボリュームの中心との高さはｄだけの差があることが分かる。これは、医師の手術プランニングによる回転値を容易に算出することができ、迅速な整合処理を行うのに役立つ。Ｃ－ａｒｍ画像の回転について説明するように、第１回転原点をターゲット重点の代わりに第１関心ボリュームの中心を用いることができる。

一方、図１５に示すように、Ｃ－ａｒｍ画像のｔｒｕｅのＡＰ及びＬＬ画像を得ることができるので、ＡＰ画像の第２関心領域の中心を棘突起の先端と一致することが多いが、医師は現ステップで棘突起の先端を直接設定するために、ＡＰ画像上の第２関心領域の中心線を棘突起の先端と一致するように移動させることができるようにユーザインターフェースを提供することができる。これはＤＲＲ画像にも同様に適用できる。

図１６に示すように、ユーザが設定した棘突起の先端がＰ_１２を過ぎてＰ_５－Ｐ_６と平行である場合、Ｃ－ａｒｍ画像の第２回転角度は、Ｐ_１～Ｐ_４が形成する平面とＰ_５～Ｐ_８が形成する平面の交差線を中心に、Ｐ_６の高さに投影された入力端の棘突起の先端のラインＰ_９－Ｐ_１０とＰ_５－Ｐ_６線分とがなす角度を第２回転角度で求めることができる。

ここで、Ｐ_１～Ｐ_８は第２関心領域の頂点８つが復元された点をそれぞれ示し、Ｐ_９～Ｐ_１０はユーザが指定した棘突起の先端線である。

図１６は、Ｐ_１～Ｐ_８が構成する水平面とＰ_５～Ｐ_８が構成する垂直面とが交差線以外に交差しない面がある場合を例示したことに注意する。

図１７は、ＣＴボリュームに復元された８つの点^ＣＴＰ_１～^ＣＴＰ_８が図１４で算出された第１回転角度θ_ＤＲＲだけ回転した^ＣＴＰ’_１～^ＣＴＰ’_８の点の関係を示す。これは、ＣＴ座標系の第１関心領域をＣＴボリュームに復元した後、棘突起の先端を基準にして脊椎の回転を反映した点の位置を示すものであり、同様にＣ－ａｒｍ画像の第２関心領域も同じ方式で手術中に患者の脊椎回転を反映して算出される点の位置（^ＰＭＰ’_１～^ＰＭＰ’_８）を求めることができる。

ＰＭ座標系とＣＴ座標系の間の変換関係を回転点、即ち^ＰＭＰ’_１～^ＰＭＰ’_８及び^ＣＴＰ’_１～^ＣＴＰ’_８に適用するときに、理想的にはそれらのユークリディアン距離はゼロでなければならない。最適の解としては、相互対応する８つの点間のユークリディアン距離の和又は平均が最も小さいときに最適な整合を行ったと言え、これを満たす変換行列を求めることを初期整合の目的とする（Ｓ１１）。

図１８を参照すると、ＣＴ座標系からＶローカル座標系の変換関係を説明する。ここで、Ｖローカル座標系の原点は、水平面及び垂直面の交線の中点として以下のように定義される。

したがって、Ｖローカル座標系の３軸である^ＶＸ、^ＶＹ、^ＶＺは次のように定義される。

Ｖローカル座標系におけるＰ_ｉの位置である^ＶＰ_ｉは、次のように定義される。

そして、それを回転させたＶローカル座標系の点は次のように求められる。

ここで、Ｒｏｄｒｉｇｕｅｓ関数は、入力される回転軸を中心に入力された回転角度だけ対象を回転させる関数として定義される。

これにより、ＣＴ座標系の回転点^ＣＴＰ’_１は次のように定義される。

したがって、前記の手順を８つの点について進め、ＰＭ座標系の^ＰＭＰ_１の回転した^ＰＭＰ’_１を算出することにより、次の式に入力することができる。

最適の変換行列を探すことによって初期の整合が終了すると、画像整合装置１０は、ＤＲＲ画像の探索範囲を調整しながら最適の変換行列を導出して整合の最適化過程を実行することにより画像整合を終了する（Ｓ１２）。最適化過程は全域探索により知られている技術なので、これに関する詳細な説明は省略する。

以上説明したような画像整合方法は、身体の回転に対応して画像整合の精度を高め、このような画像整合処理を迅速に進めることができる利点を有している。

本発明は、このような画像整合方法をコンピュータ上で実行するためのコンピュータプログラムが記録されたコンピュータプログラム記録媒体で具現することができる。

さらに、本発明は、上述の画像整合方法に基づく手術用ロボットシステムによっても具現することができる。

図１９を参照すると、本発明の一実施形態に係る手術用ロボットシステム１は、Ｃ－ａｒｍ画像装置１００、手術ロボット２００、位置センサ３００、及びナビゲーションシステム４００を含み、手術ロボット２００は、本体２０１、エンドエフェクタ２０３ａを備えたロボットアーム２０３、及びロボットコントローラ２０５を含む。

Ｃ－ａｒｍ画像装置１００は、手術中に患者の手術部位のＡＰ画像及びＬＬ画像を得るために使用される。

ロボットアーム２０３はロボット本体２０１に固定設置され、手術具が着脱可能なエンドエフェクタ２０３ａが末端に設けられている。位置センサ３００は、マーカーの認識を介した手術具またはエンドエフェクタ２０３ａのリアルタイム位置を追跡するＯＴＳとして具現される。コントローラ２０５は、ロボット本体２０１に設けられ、あらかじめ決められた手術プランニング及び制御ソフトウェアに従ってロボットアーム２０３を制御する。

ナビゲーションシステム４００は、上述の画像整合方法を実行し、ディスプレイを介して手術具またはインプラントに対するプランニング情報を手術中に得られるＣ－ａｒｍ画像に表示したり、手術具またはインプラントのリアルタイム位置をＣ－ａｒｍ画像または手術前に得られた３Ｄ画像に表示して、医師の手術行為を支援する。このために、手術中に医師が視覚的に手術プランニング及び手術現象として手術具などのリアルタイム位置を対比して見ることができるディスプレイがナビゲーションシステム４００に接続してさらに含むことができる。図１９のナビゲーションシステム４００を除いて、他の構成要素は、手術用ロボットシステムで一般的に使用されているものであることを、当技術分野の通常の知識を有する者は容易に理解することができる。

以上、本発明の実施形態を説明したが、本技術分野の通常の知識を有する者は、本発明の技術的思想から逸脱しない範囲で本発明の実施形態を全部又は一部を変形又は置換することができることを理解することができる。

したがって、前述の実施形態は本発明の例示に過ぎず、本発明の保護範囲は特許請求の範囲に記載された発明及びその均等物に及ぶものと見なすべきである。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］
各ステップがプロセッサを含む画像整合装置によって実行される画像整合方法において、
手術前の３Ｄ画像装置から患者の手術部位の３Ｄ画像を得るステップと、
前記３Ｄ画像からＡＰ方向及びＬＬ方向のＤＲＲ画像を抽出するステップと、
手術中の２Ｄ画像装置から前記患者の手術部位のＡＰ画像とＬＬ画像の２Ｄ画像を得るステップと、
前記ＤＲＲ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第１法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第１原点を過ぎる第１回転軸を基準として、あらかじめ決められた前記ＡＰ画像または前記ＬＬ画像の第１基準位置に対応する前記患者の手術部位の参照位置と前記第１基準位置との間の第１回転角度を決めるステップと、
前記２Ｄ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第２法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた前記第２原点を過ぎる第２回転軸を基準として、前記参照位置に対応する前記ＡＰ画像または前記ＬＬ画像の第２基準位置と前記参照位置との間の第２回転角度を決めるステップと、
前記ＤＲＲ画像及び前記２Ｄ画像のそれぞれの前記ソース及びディテクタに対する幾何空間関係から、前記第１回転角度及び第２回転角度を基にして前記２Ｄ画像及び前記ＤＲＲ画像との間の変換関係を決めるステップと、含むことを特徴とする画像整合方法。
［２］
前記第１基準位置及び前記第２基準位置は、前記２Ｄ画像及び前記ＤＲＲ画像のそれぞれに対する前記ＡＰ画像または前記ＬＬ画像の中心または前記中心を含む線または面であることを特徴とする［１］に記載の画像整合方法。
［３］
前記画像整合装置は、前記３Ｄ画像を基にして手術プランニングを行うステップをさらに含み、
前記ＤＲＲ画像に対する前記第１原点は、手術プランニングに適用されたインプラントの取り付け位置または前記インプラントの取り付けのための手術具の軌道の相対関係を介して決められることを特徴とする［１］に記載の画像整合方法。
［４］
前記ＤＲＲ画像または前記２Ｄ画像に対する前記参照位置は、ユーザの入力によって決められることを特徴とする［１］に記載の画像整合方法。
［５］
前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの幾何空間関係は、正投影（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ）関係であり、
前記２Ｄ画像に対する前記ソース及び前記ディテクタの幾何空間関係は、遠近投影（ｐｅｒｓｐｅｃｔｉｖｅｐｒｏｊｅｃｔｉｏｎ）関係であることを特徴とする［１］に記載の画像整合方法。
［６］
前記画像整合装置が、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係から、前記第１法線ベクトルの方向に前記ＡＰ画像平面及び前記ＬＬ画像平面を移動するのに伴って平面が交差する第１関心ボリュームを決めるステップと、
前記画像整合装置が、前記２Ｄ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係は遠近投影関係であり、遠近投影範囲内で前記第２法線ベクトルの方向に前記ＡＰ画像平面及び前記ＬＬ画像平面を移動するのに伴って平面が交差する第２関心ボリュームを決めるステップと、をさらに含むことを特徴とする［１］に記載の画像整合方法。
［７］
前記第１原点は前記第１関心ボリュームの中心点であり、前記第２原点は前記第２関心ボリュームの中心点であることを特徴とする［６］に記載の画像整合方法。
［８］
前記画像整合装置が、前記ＤＲＲ画像のＡＰ画像及び前記ＬＬ画像のそれぞれに対する第１関心領域を決めるステップと、
前記画像整合装置が、前記第１関心領域に対応する第２関心領域を、前記２Ｄ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対して決めるステップと、をさらに含み、
前記第１基準位置は前記第１関心領域の内に位置し、
前記第２基準位置は前記第２関心領域の内に位置することを特徴とする［１］に記載の画像整合方法。
［９］
前記画像整合装置が、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係から、前記第１法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するのに伴って平面が交差する第１関心ボリュームを決めるステップと、
前記画像整合装置が前記２Ｄ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係は遠近投影関係であり、遠近投影範囲内で前記第２法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するのに伴って平面が交差する第２関心ボリュームを決めるステップと、をさらに含むことを特徴とする［８］に記載の画像整合方法。
［１０］
前記第１原点は前記第１関心ボリュームの中心点であり、前記第２原点は前記第２関心ボリュームの中心点であることを特徴とする［９］に記載の画像整合方法。
［１１］
前記第１原点は、患者の脊椎ペディクルスクリューのターゲット位置間の中点であることを特徴とする［９］に記載の画像整合方法。
［１２］
前記第１回転角度は前記第１原点を中心として、前記ペディクルスクリュー進入点（ｅｎｔｒｙｐｏｉｎｔ）間の中点と前記第１原点とを結ぶ線分と、
前記第１関心ボリュームの中心点を過ぎる前記第１法線ベクトルがなす角度であることを特徴とする［１１］に記載の画像整合方法。
［１３］
前記ＤＲＲ画像の前記ＡＰ画像及び前記ＬＬ画像に対する前記第１関心領域のそれぞれは長方形であり、
前記ＤＲＲ画像について、
前記画像整合装置が、前記ＡＰ画像の関心領域の各頂点に対する前記ＬＬ画像上のエピポーラライン（ｅｐｉｐｏｌａｒｌｉｎｅ）と、前記ＬＬ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第１交差点を算出する第１ステップと、
前記画像整合装置が、前記第１交差点を前記ＡＰ画像の関心領域の各頂点からの前記法線ベクトルにそれぞれ正射影して４つの復元点を得る第２ステップと、
前記画像整合装置が、前記ＬＬ画像の関心領域の各頂点に対する前記ＡＰ画像上のエピポーララインとの前記ＡＰ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第２交差点を求める第３ステップと、
前記画像整合装置が、前記第２交差点を前記ＬＬ画像上の関心領域の各頂点からの前記法線ベクトルにそれぞれ正射影して４つの復元点を得る第４ステップと、
前記画像整合装置が、前記第１乃至第４ステップを介して得られた８つの復元点を基にして形成される六面体の第１関心ボリュームを算出する第５ステップと、を含むことを特徴とする［８］に記載の画像整合方法。
［１４］
前記第２関心ボリュームを決めるステップは、前記２Ｄ画像に対して、
前記画像整合装置が、前記ＡＰ画像の関心領域の各頂点に対する前記ＬＬ画像上のエピポーラライン（ｅｐｉｐｏｌａｒｌｉｎｅ）と、前記ＬＬ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第１交差点を算出する第１ステップと、
前記画像整合装置が、前記第１交差点を前記ＡＰ画像の関心領域の各頂点から前記ソースへ向かう遠近投影ベクトルに遠近投影して４つの復元点を得る第２ステップと、
前記画像整合装置が、前記ＬＬ画像の関心領域の各頂点に対する前記ＡＰ画像上のエピポーララインと、前記ＡＰ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第２交差点を求める第３ステップと、
前記画像整合装置が、前記第２交差点を前記ＬＬ画像上の関心領域の各頂点からソースへ向かう遠近投影ベクトルにそれぞれ遠近投影して４つの復元点を得る第４ステップと、
前記画像整合装置が、前記第１乃至第４ステップで得られた８つの復元点を基にして六面体の第２関心ボリュームを決める第５ステップと、を含むことを特徴とする［８］に記載の画像整合方法。
［１５］
各ステップがプロセッサを含む画像整合装置によって実行される画像整合方法において、
手術前の３Ｄ画像装置から患者の手術部位の３Ｄ画像を得るステップと、
前記３Ｄ画像からＡＰ方向及びＬＬ方向のＤＲＲ画像を抽出するステップと、
手術中の２Ｄ画像装置から前記患者の手術部位のＡＰ画像とＬＬ画像の２Ｄ画像を得るステップと、
前記ＤＲＲ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対する第１関心領域を決めるステップと、
前記第１関心領域に対応する第２関心領域を、前記２Ｄ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対して決めるステップと、
前記ＤＲＲ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第１法線ベクトルの方向に、前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を平行移動するときに平面が交差して形成される第１関心ボリュームを決めるステップと、
前記２Ｄ画像に対するソース及びディテクタの幾何空間関係は、遠近投影関係であり、前記遠近投影範囲内で前記２Ｄ画像のＡＰ画像及びＬＬ画像に対する第２法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するときに平面が交差して形成される第２関心ボリュームを決めるステップと、
前記第１関心領域内のあらかじめ決められた第１基準位置に対応する前記第１関心ボリューム内の第１基準位置と前記第１基準位置に対応するあらかじめ決められた参照位置の第１変位を決めるステップと、
前記参照位置に対応する前記第２関心領域内のあらかじめ決められた第２基準位置に対する前記第２関心ボリューム内の第２基準位置と前記参照位置との間の第２変位を決めるステップと、
前記第１変位と前記第２変位に基にして、前記ＤＲＲ画像及び前記２Ｄ画像それぞれの前記ソース及びディテクタに対する幾何空間関係から前記２Ｄ画像及び前記ＤＲＲ画像との間の変換関係を決めるステップであって、前記変換関係に従って、前記第１関心領域の頂点と前記第２関心領域の頂点との間のユークリディアン距離が最小となるようにする変換関係を決めるステップと、を含むことを特徴とする画像整合方法。
［１６］
前記第１変位を決めるステップは、前記ＡＰ画像及び前記ＬＬ画像の平面に対する前記第１法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第１原点を過ぎる第１回転軸を基準として、前記参照位置と前記第１基準位置との間の角度を第１回転角度であると決めるステップと、
前記第２変位を決めるステップは、前記ＡＰ画像及び前記ＬＬ画像の平面に対する前記第２法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第２原点を過ぎる第２回転軸を基準として、前記参照位置と第２基準位置との間の角度を第２回転角度であると決めるステップと、を含むことを特徴とする［１５］に記載の画像整合方法。
［１７］
前記第１及び第２関心ボリュームを決めるステップは、前記第１及び第２関心領域の頂点のエピポーララインを前記第１及び第２法線ベクトルに投影して多面体を形成するステップをそれぞれ含むことを特徴とする［１５］に記載の画像整合方法。
［１８］
画像整合装置において、
［１］乃至［１７］の中のいずれか一項に記載の画像整合方法を実行するためのプロセッサを含む画像整合装置。
［１９］
手術用ロボットシステムにおいて、
手術中の患者の手術部位の２Ｄ画像を得るための２Ｄ画像装置と、
手術具が着脱可能なエンドエフェクタを含むロボットアームと、
前記手術具または前記エンドエフェクタのリアルタイム位置をセンシングするための位置センサと、
あらかじめ決められた手術プランニングに応じて前記ロボットアームを制御するコントローラと、
ディスプレイと、
請求項１乃至請求項１７の中のいずれか一項の画像整合方法を行って、前記ディスプレイを介して手術具またはインプラントに対する前記プランニング情報を手術中に得られる２Ｄ画像に表示したり、前記手術具またはインプラントの前記リアルタイム位置を前記２Ｄ画像または手術前に得られる３Ｄ画像に表示するナビゲーションシステムを含むことを特徴とする手術用ロボットシステム。
［２０］
［１］乃至［１７］の中のいずれか一項に記載の画像整合方法を行うためのソフトウェアを格納するコンピュータプログラム媒体。

１０：画像整合装置
１１：メモリ
１３：プロセッサ
１５：ディスプレイ
１７：ユーザインターフェース
１９：通信インターフェース

Claims

各ステップがプロセッサを含む画像整合装置によって実行される画像整合方法において、
手術前の３Ｄ画像装置から患者の手術部位の３Ｄ画像を得るステップと、
前記３Ｄ画像からＡＰ方向及びＬＬ方向のＤＲＲ画像を抽出するステップと、
手術中の２Ｄ画像装置から前記患者の手術部位のＡＰ画像とＬＬ画像の２Ｄ画像を得るステップと、
前記ＤＲＲ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第１法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第１原点を過ぎる第１回転軸を基準として、あらかじめ決められた前記ＡＰ画像または前記ＬＬ画像の第１基準位置に対応する前記患者の手術部位の参照位置と前記第１基準位置との間の第１回転角度を決めるステップと、
前記２Ｄ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第２法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第２原点を過ぎる第２回転軸を基準として、前記参照位置に対応する前記ＡＰ画像または前記ＬＬ画像の第２基準位置と前記参照位置との間の第２回転角度を決めるステップと、
前記ＤＲＲ画像及び前記２Ｄ画像のそれぞれの前記ソース及びディテクタに対する幾何空間関係から、前記第１回転角度及び第２回転角度を基にして前記２Ｄ画像及び前記ＤＲＲ画像との間の変換関係を決めるステップと、含むことを特徴とする画像整合方法。
前記第１基準位置及び前記第２基準位置は、前記２Ｄ画像及び前記ＤＲＲ画像のそれぞれに対する前記ＡＰ画像または前記ＬＬ画像の中心または前記中心を含む線または面であることを特徴とする請求項１に記載の画像整合方法。
前記画像整合装置は、前記３Ｄ画像を基にして手術プランニングを行うステップをさらに含み、
前記ＤＲＲ画像に対する前記第１原点は、手術プランニングに適用されたインプラントの取り付け位置または前記インプラントの取り付けのための手術具の軌道の相対関係を介して決められることを特徴とする請求項１に記載の画像整合方法。
前記ＤＲＲ画像または前記２Ｄ画像に対する前記参照位置は、ユーザの入力によって決められることを特徴とする請求項１に記載の画像整合方法。
前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの幾何空間関係は、正投影（ｏｒｔｈｏｇｏｎａｌｐｒｏｊｅｃｔｉｏｎ）関係であり、
前記２Ｄ画像に対する前記ソース及び前記ディテクタの幾何空間関係は、遠近投影（ｐｅｒｓｐｅｃｔｉｖｅｐｒｏｊｅｃｔｉｏｎ）関係であることを特徴とする請求項１に記載の画像整合方法。
前記画像整合装置が、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係から、前記第１法線ベクトルの方向に前記ＡＰ画像平面及び前記ＬＬ画像平面を移動するのに伴って平面が交差する第１関心ボリュームを決めるステップと、
前記画像整合装置が、前記２Ｄ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係は遠近投影関係であり、遠近投影範囲内で前記第２法線ベクトルの方向に前記ＡＰ画像平面及び前記ＬＬ画像平面を移動するのに伴って平面が交差する第２関心ボリュームを決めるステップと、をさらに含むことを特徴とする請求項１に記載の画像整合方法。
前記第１原点は前記第１関心ボリュームの中心点であり、前記第２原点は前記第２関心ボリュームの中心点であることを特徴とする請求項６に記載の画像整合方法。
前記画像整合装置が、前記ＤＲＲ画像のＡＰ画像及び前記ＬＬ画像のそれぞれに対する第１関心領域を決めるステップと、
前記画像整合装置が、前記第１関心領域に対応する第２関心領域を、前記２Ｄ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対して決めるステップと、をさらに含み、
前記第１基準位置は前記第１関心領域の内に位置し、
前記第２基準位置は前記第２関心領域の内に位置することを特徴とする請求項１に記載の画像整合方法。
前記画像整合装置が、前記ＤＲＲ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係から、前記第１法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するのに伴って平面が交差する第１関心ボリュームを決めるステップと、
前記画像整合装置が前記２Ｄ画像に対する前記ソース及び前記ディテクタの前記幾何空間関係は遠近投影関係であり、遠近投影範囲内で前記第２法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するのに伴って平面が交差する第２関心ボリュームを決めるステップと、をさらに含むことを特徴とする請求項８に記載の画像整合方法。
前記第１原点は前記第１関心ボリュームの中心点であり、前記第２原点は前記第２関心ボリュームの中心点であることを特徴とする請求項９に記載の画像整合方法。
前記第１原点は、患者の脊椎ペディクルスクリューのターゲット位置間の中点であることを特徴とする請求項９に記載の画像整合方法。
前記第１回転角度は前記第１原点を中心として、ペディクルスクリュー進入点（ｅｎｔｒｙｐｏｉｎｔ）間の中点と前記第１原点とを結ぶ線分と、
前記第１関心ボリュームの中心点を過ぎる前記第１法線ベクトルがなす角度であることを特徴とする請求項１１に記載の画像整合方法。
前記ＤＲＲ画像の前記ＡＰ画像及び前記ＬＬ画像に対する前記第１関心領域のそれぞれは長方形であり、
前記ＤＲＲ画像について、
前記画像整合装置が、前記ＡＰ画像の関心領域の各頂点に対する前記ＬＬ画像上のエピポーラライン（ｅｐｉｐｏｌａｒｌｉｎｅ）と、前記ＬＬ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第１交差点を算出する第１ステップと、
前記画像整合装置が、前記第１交差点を、前記ＡＰ画像の関心領域の各頂点から前記ＡＰ画像の法線方向に延びる法線ベクトルにそれぞれ正射影して４つの復元点を得る第２ステップと、
前記画像整合装置が、前記ＬＬ画像の関心領域の各頂点に対する前記ＡＰ画像上のエピポーララインとの前記ＡＰ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第２交差点を求める第３ステップと、
前記画像整合装置が、前記第２交差点を、前記ＬＬ画像上の関心領域の各頂点から前記ＬＬ画像の法線方向に延びる法線ベクトルにそれぞれ正射影して４つの復元点を得る第４ステップと、
前記画像整合装置が、前記第１乃至第４ステップを介して得られた８つの復元点を基にして形成される六面体の第１関心ボリュームを算出する第５ステップと、を含むことを特徴とする請求項８に記載の画像整合方法。
前記第２関心ボリュームを決めるステップは、前記２Ｄ画像に対して、
前記画像整合装置が、前記ＡＰ画像の関心領域の各頂点に対する前記ＬＬ画像上のエピポーラライン（ｅｐｉｐｏｌａｒｌｉｎｅ）と、前記ＬＬ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第１交差点を算出する第１ステップと、
前記画像整合装置が、前記第１交差点を前記ＡＰ画像の関心領域の各頂点から前記ソースへ向かう遠近投影ベクトルに遠近投影して４つの復元点を得る第２ステップと、
前記画像整合装置が、前記ＬＬ画像の関心領域の各頂点に対する前記ＡＰ画像上のエピポーララインと、前記ＡＰ画像の関心領域の外周辺または側辺の中点との間を結ぶ中線との第２交差点を求める第３ステップと、
前記画像整合装置が、前記第２交差点を前記ＬＬ画像上の関心領域の各頂点からソースへ向かう遠近投影ベクトルにそれぞれ遠近投影して４つの復元点を得る第４ステップと、
前記画像整合装置が、前記第１乃至第４ステップで得られた８つの復元点を基にして六面体の第２関心ボリュームを決める第５ステップと、を含むことを特徴とする請求項９に記載の画像整合方法。
各ステップがプロセッサを含む画像整合装置によって実行される画像整合方法において、
手術前の３Ｄ画像装置から患者の手術部位の３Ｄ画像を得るステップと、
前記３Ｄ画像からＡＰ方向及びＬＬ方向のＤＲＲ画像を抽出するステップと、
手術中の２Ｄ画像装置から前記患者の手術部位のＡＰ画像とＬＬ画像の２Ｄ画像を得るステップと、
前記ＤＲＲ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対する第１関心領域を決めるステップと、
前記第１関心領域に対応する第２関心領域を、前記２Ｄ画像の前記ＡＰ画像及び前記ＬＬ画像のそれぞれに対して決めるステップと、
前記ＤＲＲ画像に対するソース及びディテクタの幾何空間関係から、前記ＡＰ画像及び前記ＬＬ画像の平面に対する第１法線ベクトルの方向に、前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を平行移動するときに平面が交差して形成される第１関心ボリュームを決めるステップと、
前記２Ｄ画像に対するソース及びディテクタの幾何空間関係は、遠近投影関係であり、遠近投影範囲内で前記２Ｄ画像のＡＰ画像及びＬＬ画像に対する第２法線ベクトルの方向に前記ＡＰ画像の関心領域及び前記ＬＬ画像の関心領域を移動するときに平面が交差して形成される第２関心ボリュームを決めるステップと、
前記第１関心領域内のあらかじめ決められた第１基準位置に対応する前記第１関心ボリューム内の第１基準位置と前記第１基準位置に対応するあらかじめ決められた参照位置の第１変位を決めるステップと、
前記参照位置に対応する前記第２関心領域内のあらかじめ決められた第２基準位置に対する前記第２関心ボリューム内の第２基準位置と前記参照位置との間の第２変位を決めるステップと、
前記第１変位と前記第２変位に基にして、前記ＤＲＲ画像及び前記２Ｄ画像それぞれの前記ソース及びディテクタに対する幾何空間関係から前記２Ｄ画像及び前記ＤＲＲ画像との間の変換関係を決めるステップであって、前記変換関係に従って、前記第１関心領域の頂点と前記第２関心領域の頂点との間のユークリディアン距離が最小となるようにする変換関係を決めるステップと、を含むことを特徴とする画像整合方法。
前記第１変位を決めるステップは、前記ＡＰ画像及び前記ＬＬ画像の平面に対する前記第１法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第１原点を過ぎる第１回転軸を基準として、前記参照位置と前記第１基準位置との間の角度を第１回転角度であると決めるステップと、
前記第２変位を決めるステップは、前記ＡＰ画像及び前記ＬＬ画像の平面に対する前記第２法線ベクトルの外積ベクトルと平行であり、あらかじめ決められた第２原点を過ぎる第２回転軸を基準として、前記参照位置と第２基準位置との間の角度を第２回転角度であると決めるステップと、を含むことを特徴とする請求項１５に記載の画像整合方法。
前記第１及び第２関心ボリュームを決めるステップは、前記第１及び第２関心領域の頂点のエピポーララインを前記第１及び第２法線ベクトルに投影して多面体を形成するステップをそれぞれ含むことを特徴とする請求項１５に記載の画像整合方法。
画像整合装置において、
請求項１乃至請求項１７の中のいずれか一項に記載の画像整合方法を実行するためのプロセッサを含む画像整合装置。
手術用ロボットシステムにおいて、
手術中の患者の手術部位の２Ｄ画像を得るための２Ｄ画像装置と、
手術具が着脱可能なエンドエフェクタを含むロボットアームと、
前記手術具または前記エンドエフェクタのリアルタイム位置をセンシングするための位置センサと、
あらかじめ決められた手術プランニングに応じて前記ロボットアームを制御するコントローラと、
ディスプレイと、
請求項１乃至請求項１７の中のいずれか一項の画像整合方法を行って、前記ディスプレイを介して手術具またはインプラントに対するプランニング情報を手術中に得られる２Ｄ画像に表示したり、前記手術具またはインプラントの前記リアルタイム位置を前記２Ｄ画像または手術前に得られる３Ｄ画像に表示するナビゲーションシステムを含むことを特徴とする手術用ロボットシステム。
請求項１乃至請求項１７の中のいずれか一項に記載の画像整合方法を行うためのソフトウェアを格納するコンピュータプログラム媒体。