JP6811228B2 - 器具の配置調整時の画像整列方法とこの方法を実行するロボットシステム - Google Patents

Description

本発明は、器具の配置調整時の画像整列（位置合わせ；レジストレーション）方法と、この方法を実施するロボットシステムに関する。

別々の形状の対象物を器具を用いて処理又は加工することは、一般に、器具の個々の配置を対象物に対し整合させる必要がある。したがって実際の処理又は加工においては、個々の手順を計画する計画段階を先行させるのが常である。このことは、対象物が患者であり処理又は加工が手術又はその他の治療である医療分野において患者を治療する際に、殊に重要である。画像支援治療の場合には、例えば外科的処置に先立って、少なくとも該当身体部分について患者の三次元計画画像が作成される。この計画画像に基づいて、実施すべき治療が計画される。これには、例えば、器具を所定の位置に配置することや、器具を所定の軌跡で案内することなど、多数の作業過程が含まれることが多い。

処理又は加工を計画通りに実施するためには、計画画像は、処理又は加工中に実際に生じる状況と一致させなければならない、すなわち、対象物と器具とを、画定した関係に置かなければならない。これは、典型的には、いわゆるレジストレーションの手法で行われ、このレジストレーションにおいて、対象物の位置決め後且つ処置開始前に１つ以上の画像を撮像し、これを計画画像と比較して一致させること、すなわち全体的に整列させることが行われる。器具と追加画像との関係を追加認識することにより、器具の配置を修正することができるので、以後の処理又は加工は本来の計画通り、すなわち計画画像に基づき計画した通りに実行される。

以上の背景に鑑みて、本発明は、対象物に対する器具の配置に関して最大限の精度を得られる改良した整列（レジストレーション）方法を提供し、対象物に対する処理又は加工ができるだけ正確に本来の計画通りに行われるようにすることを課題とする。さらに、この改良した方法を実行するように構成したロボットシステムを提供することも課題とする。

本発明によれば、上記課題は、請求項１の特徴をもつ整列方法及び請求項１３の特徴をもつロボットシステムにより達成される。有益な態様と発展形及び派生形が引用形式請求項の主題である。なお、本発明に係る方法に関連し言及した事はそのままロボットシステムにも当てはまり、その逆も同じである。

本発明に係る方法は、器具による対象物の処理又は加工に際して、対象物に対する器具の配置調整時のレジストレーションに寄与する。つまり、当該方法は整列方法である。器具の配置調整自体と対象物の加工又は処理は該整列方法には属さず、別の方法の一部である。当該整列方法は、しかしながら、それら別の方法と協働して、特に付随して、実行される。「処理又は加工」という対の表現の代わりに、以降、限定する意図ではないが、単に「処理」という表現も使用する。

器具は移動可能であって多くの運動自由度を有する。処理に際しては、対象物に対する器具の配置が規定されている少なくとも１つの作業過程が予め決まっている。この作業過程自体は本整列方法に属さない。作業過程においては、一部の自由度に関してのみ配置調整が必要とされる。これは、該当部分の自由度に関する配置調整が他の自由度よりも高い精度が必要であるという意味である。本発明に係る方法によれば、配置調整が必要な自由度が求められ、関連自由度として記憶される。

先ず対象物の三次元計画画像が用意される。この三次元計画画像は一般的な三次元画像であり、３Ｄ計画画像又は短く単に計画画像とも呼ぶ。この計画画像は好適には、本発明の方法には入らない別個の計画方法で作成されて、本発明に係る方法に単に提供されるだけであるが、１つの一変形態様では、本発明に係る方法の一部として計画段階で作成することもできる。医療上の処理又は加工との関連では、すなわち例えば手術との関連では、計画画像はいわゆる手術前画像である。

本発明に係る方法では、次に、撮像システムを用いて対象物の二次元作業画像を少なくとも１つ作成する。この二次元作業画像は一般的な二次元画像であり、２Ｄ作業画像又は短く単に作業画像とも呼ぶ。この作業画像は処理の過程で特別に作成され、したがって別個の計画方法で作成されるものではない。医療上の治療との関連では、すなわち例えば手術との関連では、作業画像はいわゆる手術中画像である。この結果、少なくとも２つの画像が存在することになる。この２つの画像は異なる次元をもつ。

二次元作業画像は１つの像平面を有し、１つの視線方向において、すなわち、通常は像平面に平行ではない視点、とりわけ、像平面つまり作業画像自体に対し直交する視点で、撮像される。さらに言うと、作業画面は１つの撮像方向で撮像され、この方向は多くの場合視線方向に一致するが、例えばカメラ画像又はＸ線画像では、撮像方法次第で、例えば断面画像として撮像される超音波画像や特殊なＸ線画像の場合に、技術上の理由により視線方向からずれることがある。作業画像を特定の視線方向で撮像できるようにするために、撮像システムは、該当する撮像位置にセッティングされるか、又は、該撮像位置へ移動させられる。

本発明に係る方法によれば、作業画像を、計画画像に対し整列させる。これは、両画像が一致させられることを意味する。両画像の次元は異なっているので、レジストレーションの結果、いくつかの自由度に対しては、その他の自由度よりも高いレジストレーション精度（整列精度）を得られる。したがって個々の自由度は、２つの自由度グループのどちらかに割り振られ、第１のグループに属する自由度は、第２のグループに属する残りの自由度よりも高いレジストレーション精度をもつ。

特に重要なのは、作業画像が視線方向で撮像されること、要するに、関連自由度に基づいて決められた撮像位置から撮像されることである。すなわち、撮像システムが、該当する撮像位置に移動し、これにより作業画像は、所望の視線方向から撮像される。視線方向つまり撮像位置はこの場合、関連自由度がレジストレーション精度の高い自由度であるように、決められる。したがって作業画像は、関連自由度について殊に良好なレジストレーション精度が生じるようにした、特別な向きで撮像される。換言すれば、作業画像は、関連自由度について最大限のレジストレーション精度が生じるように関連自由度に従い決められる、像平面及び相応の向きを有する。結論として、本発明に係る方法によれば、視線方向つまり像平面の巧みな選択を通して、所定の作業過程における作業画像につき、関連自由度に関するレジストレーション精度が向上し、さらに言えば最大化される。

器具自体の配置の実際の調整作業とこれに対応する作業過程も、既に述べたように、本発明に係る方法の要素ではない。むしろ、当該作業過程及び他の作業過程は処理の一部であり、別個の方法に属する。ここに説明する整列方法は、配置の実際の調整及びレジストレーションによる作業過程の準備に寄与する。すなわち本発明に係る方法の核心は、計画画像と作業画像とのレジストレーションにある。レジストレーションを行った後の配置調整は、本発明に係る方法にとっては、計画した配置調整に基づいて、作業画像を撮像する視線方向を決めるときに限り、意味がある。器具の移動はいずれも、そして器具を用いた対象物の実際の処理又は加工のすべても、本発明に係る方法の要素ではない。

処理とは、敢えて言えば、手術、すなわち処理の対象物が患者であれば医療的処置である。「処理」及び「加工」という表現の代わりに「マニピュレーション；操作」という広範な表現も適用する。特に臨床又は医療の現場では、最大限のレジストレーション精度が望まれる。また、対象物は、処理又は加工の過程で形成又は変形され、広く言えば処理される、被処理物である。概して言うと、対象物は、実際の物体、すなわち現実の物であり、決して単なる仮想の物ではない。

作業過程は、通常は、順次つまり次々に実行される複数の作業過程のうちの１つである。各作業過程が処理又は加工の１過程に相当する。各作業過程において、器具はたいてい動かされ、例えば、適所に置かれ、設置され、位置決めされ、案内され、駆動され、進められる。

器具は総じて処理又は加工に適したものであり、例えば針（注射針）、ドリル、切削具、プローブである。器具はその種類によっては、対象物に装着されたり対象物内に挿入される部品などである。部品は例えばボルトである。器具は道具とも言える。

本方法では、対象物の計画画像が既存のものであるか、あるいは、最初の過程で作成されたものである、ということが始めに仮定される。計画画像はいずれにしても、実際の処理中に得るものではなく、処理に先立つ計画方法において、すなわち計画段階で作成される。この計画段階では対象物の実際の処理は特に行われず、計画段階は、開始状況の確認と、処理に先立つ個々の計画の策定に寄与する。計画段階の主な特色は、対象物がその後さらに動いたり、対象物の姿勢が変化する可能性があるということである。計画段階は、通常は、処理の直前に、すなわち処理の現場で行われるか、又は、後の処理とは空間的に離れた場所で行われる。治療の場合で言うと、患者が始めに適切に手術台に位置決めされ、その後に計画画像が作成される。続いて患者は同じ手術台上で処置（処理又は加工）される。計画画像の撮像後に患者が動くことに起因した誤差は、手術中の作業画像とのレジストレーションにより避けられる。

処理の詳細な計画が複数の次元で可能であるように、計画画像は対象物の三次元画像である。好適な態様では計画画像がＸ線画像であり、例えばＣＴスキャン、すなわちコンピュータトモグラフィを用いて作成される。これに対し、他にも、光学画像、ＭＲＩスキャンによる又はＰＥＴスキャンによる画像も、適している。

器具は、複数の運動の自由度、すなわち運動自由度、略して自由度を有する。以下では、限定を意図するものではないが、器具が全部で６自由度をもつ、すなわち、３つの並進自由度と３つの回転自由度とをもつと仮定する。言い換えると、器具は、ｘ軸の方向（ｘ方向）、ｙ軸の方向（ｙ方向）及びｚ軸の方向（ｚ方向）のそれぞれに移動可能であると共に、ｘ軸、ｙ軸及びｚ軸のそれぞれに関して回転（回動）可能である。このことは、特にロボットアームにより案内される器具に当てはまる。全体として器具は、１つ以上の並進により又は１つ以上の回転により、あるいは両者の組み合わせにより、第１の配置から第２の配置へ動作可能である。「配置調整」の表現は、器具を第１の配置から第２の配置へ動作させ、これにより空間的位置又は空間的方向、あるいはその両方を変化させることを意味する。この限りでは器具は可動とも言える。

所定の作業過程において、器具は、特定の状態に配置する必要がある。したがって器具の配置は、予め計画された既知のものであって、所定の作業過程における計画済みの器具配置である。好適な態様において配置は、器具を対象物の特定部位、例えば針（注射針）の挿入部位にもっていくという目的で行われる。代替的に又は付加的に、配置は、続けて器具を特定の方向、例えば対象物内、に移動させるという目的で行われる。要するに配置は、器具を、対象物の所定部位に位置決めしたり、所定の軌跡に沿って移動させるという目的をもって行われる。したがって作業過程において、対象物に対する器具の具体的な配置が規定されている。器具の配置は、ｘ軸、ｙ軸及びｚ軸を有する仮想座標系において、例えば、ｘ軸、ｙ軸及びｚ軸それぞれに関する位置及びこれらの軸それぞれに関する回転を示す６つの座標により、特徴付けられる。

処理を計画通りに実行できるようにするために、対象物の作業画像を、該対象物の計画画像に対し整列（レジストレーション）させる。好適な態様において、作業画像は、Ｘ線画像である。ただし、他の、特に光学画像も適している。作業画像は、計画画像と比較して次元が低く、したがって特に、処理時に三次元画像よりも簡単且つ迅速に作成できるので有利である。二次元画像である作業画像は、それ自体は三次元である対象物の像平面における透視投影である。ただし、次元を低めたことにより、作業画像の情報量は相応に少なくなる。

レジストレーションにおいては、計画画像と作業画像とを互いにリンクさせる、例えば６つの自由度を用いた変換が求められる。３Ｄ計画画像と２Ｄ作業画像とのレジストレーションは、略して２Ｄ−３Ｄレジストレーションとも呼ぶ。レジストレーション精度と呼ぶレジストレーションにおける精度は、器具の配置調整における精度、すなわち器具精度に直接影響する。この精度は、具体的にはロボットアームの、広く言えばロボットシステムの、位置決めの精度、すなわちロボット位置決め精度からの影響も受ける。特にレジストレーション精度は、器具精度に相当する。

作業画像は、好適には撮像システムにより撮像される。好ましい態様では、撮像システムは、互いの相対位置が既知となるように器具とリンクする。好適な態様において、撮像システムと器具とは、それぞれロボットシステムの一部とされる。１つの変形態様では、撮像システム及び器具が共にロボットシステムのロボットアームに搭載され、別の態様では、撮像システム及び器具がロボットシステムの２つのロボットアームの一方と他方にそれぞれ搭載される。

２つの画像のレジストレーションに基づく器具の配置調整における前提条件は、画像の一方が既知の方式で器具に結び付けられていることである。作業画像が器具に結び付けられていれば、これにより、作業画像と器具との間の相対的空間関係が先に既知となる。換言すれば、作業画像が撮像システムにより作成され、この撮像システムが器具に整列する。計画画像と作業画像とのレジストレーションにより、自動的に器具も計画画像に整列する。

作業画像は、該作業画像が処理の具体的状況において作成されることで器具と対象物との間の関係も検出されることから、計画画像とは異なる。作業画像はつまり処理時に作成される。作業画像は１つの作業過程の前に又はその中で作成される、すなわち、作業過程の実行前又は実行中に作成されるので、当該作業過程は、計画画像とのレジストレーションにより、言うなれば、準備されるか又は監視される、あるいは準備され且つ監視されることになる。作業画像はほぼ処理時に作成されるので、該当する作業過程の準備又は監視はオンラインで、すなわち処理時又は処理の途中で要求及び目的に沿って、行われる。

本発明は、主として、作業画像における情報量が低次元故に少なくなるという不利益から出発している。特に奥行き（深さ）情報は、二次元画像からは取得できないか又は限られた情報しか取得できない。例えば、作業画像から像平面における情報を取り出せても、視線方向に沿った情報は取り出せない。したがって、計画画像とのレジストレーション及びこれによる自動的な器具の位置決めは、像平面においては高い精度でできるが、像平面と直交する方向では精度を得られない。つまり、器具の種々の自由度に対して様々なレベルの精度が生じることになる。要するに、特定の自由度に関するレジストレーション精度は、作業画像の視線方向及び像平面に対するその相対的位置に依存する。像平面に沿った並進及び像平面に直交する軸に関する回転（すなわち像平面内の自由度）は、像平面に直交する並進及び像平面に平行な軸に関する回転（すなわち像平面外の自由度）に比べて高い精度でレジストレーションさせることができる。

情報量が少ないという上記問題点は、複数の作業画像を種々の視線方向から撮像して組み合わせる手法により、原則的に回避することができる。ただし、このアプローチは、その分コスト高であり時間がかかる。特に、種々の視線方向からの複数の作業画像の撮像には、使用する撮像装置、例えばＸ線装置を、相応に何回も配置する必要があり、さらにその分の広い作業範囲が必要である。それ故、複数の作業画像を用いるアプローチは、オンライン法とした限定範囲でのみ、すなわち処理中又は加工中の実行に対してのみ、好適である。

本方法に関し、所定の作業過程において器具のすべての自由度が必ずしも同じ重要度をもつのではなく、作業過程における精度に関する要求は個々の自由度に関して異なるということが、明らかとなっている。このことの基礎には、処理の場合、特定の作業過程において目的とする器具の配置、すなわち位置決め又は案内次第では、すべての自由度が同じ重要度をもつのではなくて、作業過程の種類によって特定の自由度が他の自由度よりも関連性が大きい、すなわち重要である、という認識がある。これについて次の例で説明する。針（注射針）又はドリルの使用時には、まず対象物の表面に対する位置決めが、続く挿入の際に目的部位へ正確に到達させるために、最重要である。当該後続の対象物への針挿入に際しては、しかしながら、針の侵入角度と前進運動、すなわち侵入深さが特に重要となる。針が、例えばｚ方向を向いているとすれば、位置決めの際にはｘ方向とｙ方向が優先的に重要となる。次いで挿入時には、ｚ方向とｘ軸及びｙ軸を中心とする回転が優先的に重要となる。

器具の自由度の個々に対する精度は、器具に対する作業画像の配置（整合）が第一に関係することも、明らかとなっている。上記の例を用いれば、針又はドリルの方向、すなわちｚ方向で撮像された画像が、針の横方向の位置決めに、すなわち像平面、つまりｘ方向及びｙ方向の配置のために、適している。これに対し、針の側方、すなわち側面から撮像された画像は、侵入角度及び侵入深さを側方から良好に認識できることから、針の挿入に適している。

本発明の中心的思想は、作業画像に合わせて特別に選択したできるだけ最適な視線方向により、最良のレジストレーション、すなわち最大限のレジストレーション精度、つまり最大限の器具精度、を達成することにある。これは、作業画像のための視線方向を選択するときに、器具のどの自由度が関与するのかを考慮することにより達成される。すなわち作業画像は、関連自由度ができるだけ像平面にあるか、又は、少なくとも、関連自由度が可能な限り作業画像において認識できるように、撮像される。

所定の作業過程に関する配置が既知であるという事実は、まさにこの配置を後に調整（設定）する目的のレジストレーションの際に利用すると有益である。この目的に対しまずは、どの自由度に対し調整が必要であるか、すなわちどの自由度が作業過程に関連するか、言い換えるとどの自由度が作業過程に重要であるのか重要でないのか、について決める。所定の作業過程に関し、器具は、すべての自由度に沿って移動させられたり、すべての自由度に関して位置決めされるのではなく、移動又は位置決め、要するに配置は、自由度の一部に限定される。所定の作業過程で使用されるこれら自由度を関連自由度と呼ぶ。

２Ｄ−３Ｄレジストレーションの別の方式について、例えば論文：Toward smart utilization of two X-ray images for 2D-3D registration applied to abdominal aortic aneurysm interventions；Miao et al.；Computers and Electrical Engineering 39 (2013)；pp.1485-1498に記載されている（非特許文献１）。この論文に開示されている適用例では、大動脈の２Ｄ画像に関する奥行き情報が脊柱の３Ｄ画像から得られ、該３Ｄ画像が大動脈の空間的位置に関する境界条件として使用されている。

別の２Ｄ−３Ｄレジストレーションが、論文：3D/2D Registration of CT and MR to X-Ray Images；Tomazevic et al.；IEEE Transactions on Medical Imaging；Vol.22 No.11；Nov. 2003；p.1407 ffに記載されている（非特許文献２）。上記論文のようにここでも解剖学的諸条件、ここでは骨表面のオリエンテーション、が精度向上の追加境界条件として使用されている。

上記両論文の方式では、画像自体の情報量が最大限のレジストレーション精度を得るために使用されている。この目的ために、画像処理と導出すべき境界条件の決定の際に解剖学的予備知識が用いられている。このことは本発明では重要ではない。本発明では、まったく別の方式が使われる：レジストレーション精度は、画像作成−特に作業画像の作成が既に、実行予定の作業過程に関して機器の計画配置を考慮して行われている、ということで向上する。すなわち、画像処理によってのみ最大限の精度を得るのではなくて、すでに作業画像作成の前段階で、作業画像が後続の過程において最大限の精度を導くことが保証されている。可能な変形態様では、しかしながら、これら２つのアプローチを互いに組み合わせて効果をあげることもできる。

作業過程は既知であるから、撮像システムは、該当する作業過程の前で関連自由度が求められた後に、最適な各撮像位置に自動的に移動し、そして関連視線方向から作業画像を撮像する。これにより処理が格段に加速される。

各作業過程に関して、このために必要な作業画像だけが好ましくは決められる。レジストレーションは、ワークフロー指向の方式で、作業過程のためにレジストレーションが必要とされるときにのみ、特定の自由度に関して行われる。

レジストレーションは、関連自由度に関して正確に特定の視線方向を決めて行われるので、低次元であっても該当の作業過程に対して最適な精度を得るために各作業過程に必要とされるのは、１つの作業画像である。同じ作業過程にそれ以上の作業画像を撮像することは不要である。一態様によれば、作業過程のそれぞれに対し作業画像が１つだけ撮像される。

計画された作業過程に基づく本発明によるレジストレーションの利点は、複数の作業過程で、処理又は加工に適した画像作成が可能であり、好適には画像作成が行われることにある。処理は、例えば複数の連続する作業過程を含んでいる。一態様によれば、各作業過程の後で次の作業過程の直前に、本発明に係るレジストレーション方法に従って、次の作業過程に関して計画画像と整列させる別の作業画像が撮像され、再レジストレーションが実行される。この場合、当該別の作業画像は、上述したように次の作業過程の関連自由度に基づいて撮像され、該作業過程に関してレジストレーション精度を最大限高める。換言すれば、次の作業過程に関して必要な配置の調整に関連する自由度が改めて求められ、新しい関連自由度として記憶される。該別の作業画像は、新しい関連自由度がレジストレーション精度の高い自由度であるように、新しい関連自由度に基づいて決められた新しい視線方向で撮像される。次の作業過程の作業画像に関する新しい視線方向は、場合によっては、必ずしも先の作業過程に関する作業画像の視線方向とは別の視線方向である必要はない。２つの連続する作業過程に関して視線方向が同一である場合には、後の作業過程に関して新しい作業画像を求める代わりに、先の作業過程の作業画像をもう一度使用する。

複数の作業過程のそれぞれに、各作業過程に適した作業画像を作成し、計画画像に対し整列させる。これにより、異なる作業過程では異なる自由度が関連することが考慮され、各作業過程に関して最適で且つ作業過程適合のレジストレーションを関連自由度に関して最大のレジストレーション精度で実行することが考慮される。各作業過程に関して、レジストレーションは、校正誤差がすべてあるいは主として非関連自由度にあるだけで、関連自由度は著しく向上した精度をもつように行われるから、校正誤差の発生確率ははるかに少ないか、全くない。この作業過程適合レジストレーションは、再レジストレーション、又はワークフロー適合撮像とも呼ぶ。作業画像の作成は作業過程ベースで実行され、すなわち視線方向が特定の作業過程ごとに定められ、他の作業過程に最適な視線方向とは違うものとすることができる。重要なことは、作業画像が特定の作業過程に関するレジストレーションに寄与し、この作業過程に関連する器具の自由度に関して最大限のレジストレーション精度が生じる視線で、当該作業過程に対して視線方向が決められることである。

好ましくは、後の処理の場所、すなわち処理位置に対象物をおいて計画画像を作成する、最初の粗レジストレーションを実行する。この場合、対象物の位置は、計画段階から処理まで殆ど変動しない。粗レジストレーションでは、計画画像が実際の位置に一致すると仮定される。２つの異なる画像が空間的に互いに関連付けられるわけではないので、粗レジストレーションは本来の意味でのレジストレーションではない。この最初の粗レジストレーションは、次の、作業画像によるレジストレーションに対する出発点として広く機能する。

上記粗レジストレーションの代わりに又は付加して、計画画像を処理の前に、該処理の位置ではない所で撮像する態様も可能である。これに続いて、粗レジストレーションを実行し、２つの作業画像を２つの異なる方向から撮像する。

計画画像は、後に作成する作業画像と同一の撮像システムにより作成するのがよい。処理において複数の作業画像が作成される場合に、全作業画像及び計画画像が同一の撮像システムで撮像される、という意味である。この態様においては、対象物の処理は計画段階に続けて直ちに実行するのがよい。計画段階終了後に対象物が動くことがこれにより極力避けられる。また、この手段により、上記の粗レジストレーションが簡単になり且つ装置に掛かる経費も少ない。このためには、Ｘ線装置、特に、３Ｄ画像も２Ｄ画像も作成できるコンピュータトモグラフィシステム、略してＣＴシステム、が適している。

一態様では、撮像システムがＸ線装置である。この装置は、好適には、Ｘ線源と検出器とを備えたＣアームを有する。作業画像は、Ｃアームが適切な位置で対象物に接近して作成される。この場合の検出器は、二次元画像の撮像を、当検出器と平行で且つＸ線源から当検出器に向かうＸ線方向に直交する像平面で可能とする、検出器フィールドとして構成される。

処理又は加工の最大限正確な実行に関して器具と撮像システムとの間の空間的な関係も重要なので、器具と撮像システムも互いに整列させるか、整列を目指す。撮像システムとと器具との最大限正確なレジストレーションにより、器具と対象物との間の相対誤差も減らせるので有利である。好適な態様では、器具及び撮像システムは、本発明に係る方法の開始時に及び処理又は加工の開始時にも、既に互いに整列させてある。有利な態様では、器具及び撮像システムは、代替的に又は付加的に、処理又は加工時に互いに整列させ、作業画像の作成時には、器具も作業画像内に一緒に撮像し、次いで作業画像に基づき、器具の撮像システムに対する位置を求める。撮像済みの作業画像は、対象物と器具とのレジストレーションに加えて器具と撮像システムとのレジストレーションにも使用される。これにより全体的精度がさらに向上する。

本発明に係る方法は、基本的に多数の様々な作業過程でのレジストレーションに適する。以下に、本発明に係る方法の幾つかの好適な状況及び該状況に合わせた発展態様を説明する。好適な態様はさらに、これら発展態様相互の組み合わせ又は他の発展態様との組み合わせによっても生じる。

好適な発展態様によれば、作業過程において、対象物、特に対象物の表面、に対する器具の位置が予め規定されており、該位置調整は２つの並進方向に沿った並進によってのみ行われる。この２つの並進方向は、本発明に係る方法において関連自由度として規定され記憶される。次に、視線方向が、並進方向に直交するように、本態様では器具に沿って、決定される。計画された作業過程は、対象物に対する器具の位置決めと、２つの並進方向により定められる作業面内での器具の位置決めとに関与する。２つの並進方向は、例えばｘ軸及びｙ軸であり、これに沿って器具が動作可能であり、作業過程における位置へアプローチするべく移動もする。器具の残りの４つの自由度はこの場合には関連しない。最良のレジストレーション精度は、撮像システムが作業画像をこのように視線方向が作業面に対し直交する撮像位置から撮像することによって得られる。この場合の「直交」とは必ず「正確に直交する」ことを意味するのではなく、これから若干外れた視線方向でも、たとえ原理上は逸脱の程度によって精度が減少するとしても、有利なこともある。特に、作業面に対し少なくとも８５°傾いた視線方向が好適なこともある。

別の態様によれば、作業過程において、対象物に対する器具の侵入角度が規定されており、該侵入角度の調整が回転軸に関する器具の回転（回動）によってのみ行われる。したがって回転軸が関連自由度として規定され記憶される。視線方向はこの場合回転軸に沿って決められる。像平面における器具の回転は、これにより高精度で実行可能である。上記態様に関連して既に述べたように、レジストレーションに関して、視線方向が正確に回転軸に沿って決められなければならないということは、侵入角度調整時の最大限の精度に関して必要とされない。この場合にも、適度に若干外れた視線方向でも高いレジストレーション精度を得るのに適していることがある。特に、回転軸に対して最大で５°傾いた視線方向が好適なこともある。

計画された作業過程は、したがって、対象物に対する器具の回転又は傾斜に関与する。上述した作業面内での先行する位置決めに際しては、また一般的にも、対象物への器具の侵入角度は調整されるか変えられる。器具が既に対象物に侵入している場合には、器具の侵入角度又は送り方向が変更又は修正される。

器具が撮像システムの視野範囲にあり且つ作業画像内で可視であれば、器具はその中で特に側面視で示される、すなわち器具は像平面内にある。視線方向はしたがって器具に対し側方にある。

別の態様によれば、作業過程において、対象物への器具の侵入深さが規定されており、該侵入深さの調整が送り方向に沿った器具の並進のみによって行われる。その送り方向が関連自由度として規定され記憶される。視線方向は送り方向に対し直交する。この態様では、レジストレーションは、これに続く作業過程で器具が対象物へ正確に特定の侵入深さまで侵入できるという目的をもって行われる。すなわち器具は、特定の目標点まで軌跡に沿って移動させる必要がある。視線方向及び像平面はそれ故、軌跡が丁度像平面内にあるように決められる。この場合にも若干ずれた視線方向の原則が適用され、特に送り方向に対して少なくとも８５°傾いた視線方向が適していることもある。

作業過程の実行中に撮像システムによって器具の配置調整を繰り返し監視するとよい。この監視は、器具の動作を除いて、レジストレーション方法の一部として実行される。これには特に、撮像システムが、先行するレジストレーションによって既に、続く作業過程における器具の動き監視のための最適撮像位置に調整されている、という考えが基底にある。計画された配置からのずれが高い精度で観察される。この目的ために、作業過程中に、原則的には作業画像に相当するが、器具の進行動作も示す画像が、適切に撮像される。この意味では、作業過程のオンライン監視が実施される。

上述したように、本方法は特に、治療分野における適用及び処理対象である患者の画像支援治療の改善に、適している。好適な適用例としては、処理が、少なくとも３つの作業過程を有する脊柱手術の場合である。上述した上位概念の態様は、すなわち脊柱手術特有の応用に適している。器具は、例えば、麻酔剤を注射するための注射針、患者の脊柱を穿孔するためのドリル、又は脊柱の予め作られた穿孔に埋め込むボルトである。一般にこれら器具は、長手軸に沿って延びている。

脊柱手術において器具は、脊柱の施術部位に届くように外部から対象物へ所定の侵入深さまで所定の侵入角度で挿入する必要がある。これは、上述した器具の３つの応用例すべてに当てはまる。まず注射針により麻酔を行い、続いてドリルによる脊柱の処置、最後に脊柱にボルトを埋め込むというように、それぞれの器具による処置が行われる。１つ１つの器具に関して言えば、第１の作業過程は患者に対する器具のセット、第２の作業過程は器具の侵入角度の調整、第３の作業過程は患者への器具の侵入である。これらの作業過程はこの順序で順に実行される。この３つの作業過程は、器具のそれぞれに対して改めて実行される。

上記作業過程を有する脊柱手術において、第１の作業過程については視線方向を長手軸に沿って選ぶのが有利である。第２及び第３の作業過程に対しては、好適にはそれぞれ器具の長手軸に対し直交する視線方向を選ぶ。第３の作業過程中は、撮像システムにより繰り返し器具の侵入を監視するのがよい。個々の作業過程における視線方向のこのような個別の決定により、各作業過程に関して最適なレジストレーション精度が得られ、手術は格段に向上した精度で実行される。作業過程自体は、画像支援脊柱手術で通常実施されるものに相当する。この範囲で、本発明に係る方法は問題なく通常の脊柱手術に適用可能であり、施術者の作業手順に対する変更はまったくないか、ごく僅かしかない。

本発明に係る方法は、さらに、上述したように器具及び撮像システムがそれぞれぞれロボットシステムの構成要素である、ロボット支援による処理又は加工にも好適である。ロボットシステムは対象物の処理又は加工のために構成され、対象物の処理又は加工のための器具を有し、そして、少なくとも１つの作業画像を撮像し、好ましくは計画画像も撮像する撮像システムを有する。そしてロボットシステムは、既に述べたレジストレーション方法を実行するように構成された制御ユニットを有する。この制御ユニットは、コントローラとも呼ぶ。制御ユニットは、例えばロボットシステムの個々の部品を制御するための制御システムの一部である。ロボットシステムは、総合的に、一方では処理又は加工を実行するように構成され、他方ではその間に、すなわちそれに付随して、処理又は加工の精度を向上させるためにレジストレーション方法を実行するように構成される。

次の図面を参照して、本発明の実施形態につき以下に詳細に説明する。
第１の作業過程に関するレジストレーションを概略的に示す。 第２の作業過程に関するレジストレーションを概略的に示す。 第３の作業過程に関するレジストレーションを概略的に示す。

図１〜図３は、対象物Ｏの処理又は加工の概略図を示し、特にここでは脊柱手術を例示しており、対象物Ｏは患者である。患者は各図において頭の方から横臥状態で示されている。患者の胴体及び頭部は概略表示である。

手術（処理）はロボットシステム２によるロボット支援で実行される。このシステム２は、対象物Ｏに施術するための器具４を備えている。器具４は、例えば注射針、ドリル、切削具、プローブなどや、又はボルトなどの部品であり、これらは対象物Ｏに装着又は挿入されるものである。さらにロボットシステム２は、少なくとも１つの作業画像を撮像するためと、本例では計画画像も撮像するための、撮像システム６を備える。すなわち、作業画像及び計画画像のずべてが１つの撮像システム６により撮像される。図示の実施形態では、撮像システム６及び器具４が、ロボットシステム２の２つのロボットアーム８の一方と他方に別々に搭載されている。ロボットシステム２はさらに制御ユニット１０を備えており、制御ユニット１０は、処理に付随する専用のレジストレーション方法を実行するように構成されている。

器具４は動作可能であり、複数の、本例では６つの運動自由度、すなわち３つの並進自由度及び３つの回転自由度をもつ。換言すれば、器具４は、ｘ軸Ｘ，ｙ軸Ｙ及びｚ軸Ｚの方向それぞれに移動可能であり、また、これらの軸Ｘ，Ｙ，Ｚに関して回転（回動）可能である。所定の作業過程において器具４は、対象物Ｏに対して所定の状態で配置する必要があり、この配置は通常、器具４を対象物Ｏの特定の部位に位置決めするか、特定の軌跡に沿って移動させるという目的をもって行われる。器具４の配置はしたがって、軸Ｘ，Ｙ，Ｚを有する仮想座標系において、軸Ｘ，Ｙ，Ｚのそれぞれに沿った位置とこれらの軸ぞれぞれに関する回転とを規定する６つの座標で、特徴付けられる。

本例の撮像システム６はＸ線装置であり、Ｘ線源１２と検出器１４とを備えたＣアームを有する。作業画像は、Ｃアームが適当な姿勢で対象物Ｏに近づいて動作することにより作成される。この例の検出器１４は、二次元画像の撮像を可能にする検出器フィールドとして形成され、検出器１４に平行で且つＸ線源１２から検出器１４へのＸ線方向Ｓに直交する像平面ＢＥを有する。撮像システム６は、手術のできるだけ正確な実施のためには器具４と撮像システム６との間の空間的関係も重要であることから、器具４に対する互いの相対位置が既知であるように、器具４とリンクする。このために、器具４と撮像システム６とは互いに整列する。

処理（手術）の準備のために、先ず、図示せぬ方法で対象物（患者）Ｏの手術前の三次元計画画像を作成し、本発明に係る方法のために用意する。計画画像を作成する最初の粗レジストレーションを実行し、このときに対象物（患者）Ｏは、後に処理（手術）を行う場所、本例では手術台（図示せず）の上にある。粗レジストレーションにおいては、計画画像が対象物（患者）Ｏの実際の位置と一致すると仮定されている。

処理（手術）時、撮像システム６により、それぞれの作業過程の準備として、作業過程に特有の、対象物（患者）Ｏの二次元手術中作業画像が作成される。作業画像は像平面ＢＥを有し、そして、像平面ＢＥに直交し本例ではＸ線方向Ｓに相当する視線方向ＢＲで撮像される。

本発明に係る方法は、対象物Ｏに対する器具４の配置調整を向上させる目的で、処理（手術）時のレジストレーションに寄与する。この目的のために、作業画像は、計画画像に対し、２Ｄ−３Ｄレジストレーションによって整列させ、リンクさせる。レジストレーション精度と呼ぶレジストレーション時の精度は、器具４の配置調整における精度、すなわち器具精度に直接影響する。

処理（手術）時、各作業過程ごとに、対象物（患者）Ｏに対する器具４の所定の配置が予め規定される。この場合、作業過程では必ずしも器具４のすべての自由度が同じ重要度をもつわけではないので、作業過程ごとに、個々の自由度に関する精度の要求は異なる。

図１〜図３には３種の異なる状況が示されており、これらの状況にそれぞれ合ったレジストレーションが実行され、続く作業過程において最大限の精度を得るようにしている。本例では、作業過程のそれぞれで作業画像が１つだけ、各作業過程に関連する自由度に基づいて決められた視線方向ＢＲから撮像される。図１〜図３は、それぞれ該当する作業過程に関して最適な撮像位置にある撮像システム６を示している。

例示した脊柱手術では、器具４は、外側から所定の侵入部位ＥＳへ、脊柱の施術部位に到達するように決められた侵入角度ＥＷで、対象物（患者）Ｏの中に入っていかなければならない。第１の作業過程は侵入部位ＥＳへのアプローチであり、第２の作業過程は侵入角度ＥＷの調整であり、第３の作業過程は決められた侵入深さＥＴまでの器具４の侵入である。これらの作業過程はこの順序で順に実行される。

第１の作業過程に関して、視線方向ＢＲは、図１に示すように器具４の長手軸Ｌに沿って、すなわちｚ軸Ｚの方向に決められる。一般に、第１の作業過程に関して器具４の位置は、対象物Ｏの表面に対し規定される。この位置の調整は、単純に２つの並進方向に沿った並進によって、すなわち図１においてｘ軸Ｘとｙ軸Ｙに沿って行われ、これらの軸は共同して図の描画面に垂直な作業面を画定している。ｘ軸Ｘとｚ軸Ｚはこの描画面上にあり、ｙ軸Ｙは描画面に直交する。ｘ方向とｙ方向における並進がこの過程では関連自由度である。器具の残りの４つの自由度はこの過程において関連しない。撮像システム６は、図１に示した撮像位置から作業画像を撮像し、この撮像位置で視線方向ＢＲは作業面に直交する。

第２及び第３の作業過程に関して、視線方向ＢＲは、図２及び図３に示すようにそれぞれ器具４の長手軸Ｌと直交するように決められ、本例においてｘ軸Ｘの方向に、すなわち図１の撮像方向と直交するように決められる。

第２の作業過程では侵入角度ＥＷが規定される。侵入角度ＥＷは、回転軸Ｘ，Ｙ，Ｚに関する器具４の回転（回動）によって調整され、ここではｘ軸Ｘに関する回転、すなわち図２に二重矢印で示したように図の描画面から外れる回転によって調整される。したがって本例においてｘ軸Ｘは、第２の作業過程に関して関連自由度である。視線方向ＢＲは、図２に示すようにｘ軸Ｘに沿って決められる。この作業画像において器具４は、側面視で示される。

第３の作業過程では侵入深さＥＴが規定され、器具４は、単純に送り方向に沿って、すなわち本例では図３に示すようにｚ軸Ｚに沿って移動する。したがってｚ軸Ｚが、第３の作業過程に関して関連自由度として規定され記憶される。視線方向ＢＲは、図３に示すようにｚ軸Ｚに対して直交するように決められ、本例ではｘ軸Ｘの方向、すなわち図２の視線方向と一致するので、第３の作業過程に関して作業画像は撮像されず、第２の作業過程に関する作業画像が改めて使用されるだけである。

第３の作業過程中は撮像システム６による監視が追加され、器具４の侵入深さＥＴが繰り返し監視される。これはすなわち、オンライン監視の実施である。このために図３の撮像位置が維持される。

総括すると、本発明に係る方法においては、配置調整を必要とする自由度が決められ、関連自由度として記憶される。作業過程のそれぞれに関する作業画像は視線方向ＢＲで撮像され、この視線方向ＢＲは、関連自由度がレジストレーション精度の高い自由度となるように決められる。すなわち、器具４の自由度の個々に関する精度が、器具４に関する作業画像の配置（整合）に主に依存する、という事実が利用される。図１を見れば、ｚ軸Ｚの方向で撮像された作業画像が、器具の横方向の位置決めに対して特に好適である。また、図２及び図３を見れば、侵入角度ＥＷ及び侵入深さＥＴについては側方から特に好適に認識できるので、器具の側方から撮像された作業画像が挿入に関しては好適である。各作業画像は、つまり、関連自由度ができるだけ像平面ＢＥにあるように撮像される。

２ ロボットシステム
４ 器具
６ 撮像システム
８ ロボットアーム
１０ 制御ユニット
１２ Ｘ線源
１４ 検出器
ＢＥ 像平面
ＢＲ 視線方向
ＥＳ 侵入部位
ＥＴ 侵入深さ
ＥＷ 侵入角度
Ｌ 器具の長手軸
Ｏ 対象物
Ｓ Ｘ線方向

Claims (13)

1. 複数の運動自由度において動作可能な器具（４）を用いた対象物（Ｏ）の処理又は加工において、少なくとも１つの作業過程が含まれていて、該作業過程に関して前記対象物（Ｏ）に対する前記器具（４）の配置が規定され、そして該配置の調整が前記運動自由度の一部に関してのみ必要であるときに、前記対象物（Ｏ）に対し前記器具（４）の配置を調整するために、計画画像と作業画像とを整列させる画像整列方法であって、
   前記対象物（Ｏ）の３次元の計画画像を用意し、
   前記作業過程における前記器具（４）の配置調整に関し必要な運動自由度を求めて関連自由度として記憶し、
   前記作業過程に際し、撮像システム（６）により２次元の作業画像を少なくとも１つ作成し、
   前記運動自由度の一部がその他の前記運動自由度よりも高い整列精度をもつように、前記作業画像を前記計画画像と整列させ、
   前記関連自由度が前記高い整列精度をもつ運動自由度であるように前記関連自由度に基づいて決定する視線方向（ＢＲ）で、前記撮像システム（６）により作業画像を撮像する、ことを含む画像整列方法。
2. 前記作業過程ごとに前記作業画像を１つ撮像する、請求項１に記載の画像整列方法。
3. 前記処理又は加工に前記作業過程が連続して複数含まれており、
   １つの前記作業過程の後で且つ次の前記作業過程の前に、該次の作業過程に関して別の２次元の前記作業画像を作成して前記計画画像と整列させる、再整列を実行する、請求項１又は２に記載の画像整列方法。
4. 前記対象物（Ｏ）が処理の場所にある間に前記計画画像を作成する、最初の粗レジストレーションを実行する、請求項１〜３のいずれか１項に記載の画像整列方法。
5. 前記計画画像は、前記作業画像と同一の前記撮像システム（６）により作成する、請求項１〜４のいずれか１項に記載の画像整列方法。
6. 前記撮像システム（６）がＸ線装置である、請求項１〜５のいずれか１項に記載の画像整列方法。
7. 前記作業画像の作成時に前記器具（４）を一緒に撮像し且つ続いて該作業画像に基づき前記撮像システム（６）に対する前記器具（４）の位置を規定し、前記処理又は加工時に前記器具（４）と前記撮像システム（６）とを互いに整列させる、請求項１〜６のいずれか１項に記載の画像整列方法。
8. 前記作業過程に関して前記対象物（Ｏ）における前記器具（４）の位置が規定され、該位置の調整が２つの並進方向に沿った並進のみによって行われる場合に、
   該２つの並進方向を前記関連自由度に規定して記憶し、
   前記視線方向（ＢＲ）を、当該並進方向に直交するように決める、請求項１〜７のいずれか１項に記載の画像整列方法。
9. 前記作業過程に関して前記対象物（Ｏ）に対する前記器具（４）の侵入角度（ＥＷ）が規定され、該侵入角度（ＥＷ）の調整が回転軸（Ｘ，Ｙ，Ｚ）に関する前記器具（４）の回転のみによって行われる場合に、
   該回転軸（Ｘ，Ｙ，Ｚ）を前記関連自由度に規定して記憶し、
   前記視線方向（ＢＲ）を、当該回転軸（Ｘ，Ｙ，Ｚ）に沿うように決める、請求項１〜８のいずれか１項に記載の画像整列方法。
10. 前記作業過程に関して前記対象物（Ｏ）に対する前記器具（４）の侵入深さ（ＥＴ）が規定され、該侵入深さ（ＥＴ）の調整が送り方向（Ｘ，Ｙ，Ｚ）に沿った前記器具（４）の並進のみによって行われる場合に、
    該送り方向（Ｘ，Ｙ，Ｚ）を前記関連自由度に規定して記憶し、
    前記視線方向（ＢＲ）を、当該送り方向（Ｘ，Ｙ，Ｚ）に直交するように決める、請求項１〜９のいずれか１項に記載の画像整列方法。
11. 前記対象物（Ｏ）が患者であり、前記処理又は加工が３つの作業過程を含んだ脊柱手術であり、前記器具（４）が注射針、ドリル又はボルトであって長手軸（Ｌ）に沿って延びており、そして、第１の前記作業過程が前記患者に対する前記器具（４）の位置決めであり、第２の前記作業過程が前記器具（４）の侵入角度（ＥＷ）の設定であり、第３の前記作業過程が前記患者への前記器具（４）の侵入である場合に、
    前記第１の作業過程に関して前記視線方向（ＢＲ）を前記長手軸（Ｌ）に沿うように決定し、
    前記第２及び第３の作業過程に関して前記視線方向（ＢＲ）を前記長手軸（Ｌ）に直交するようにそれぞれ決定する、請求項１〜１０のいずれか１項に記載の画像整列方法。
12. 対象物（Ｏ）の処理又は加工用に構成され、前記対象物（Ｏ）の処理又は加工用の器具（４）を搭載するロボットアーム（８）を備えた、ロボットシステム（２）であって、
    撮像システム（６）を備え、
    請求項１〜１１のいずれか１項に記載の画像整列方法を実行するように構成された制御ユニット（１０）を備える、ロボットシステム（２）。
13. 前記撮像システム（６）がもう一つのロボットアーム（８）に搭載されており、該撮像システム（６）が、互いの相対位置が既知であるように前記器具（４）とリンクする、請求項１２に記載のロボットシステム（２）。