JP6952740B2 - ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム - Google Patents

Description

本発明は、ユーザーを支援する方法、対応するコンピュータープログラム製品、対応するデータ記憶媒体、及び対応する撮像システムに関する。

現在、例えば、好ましくは医療環境、さらに他の産業分野では、多数の異なる撮像モダリティが存在しているが、撮像モダリティはそれぞれの目標物又は検査対象物を画像化するために用いられている。この場合、異なるソースから得られるデータを組み合わせる技法が現在では広く用いられているが、その際、例えば画像又はデータセットなどの対応するデータを互いに位置合わせすることによって、共通の座標系において正確な位置に重ね合わせている。各状況を可能な限り正確且つ信頼性をもって認識及び評価することができるように、又は、例えば画像化される検査対象物を可能な限り正確且つ信頼性をもって操作することができるように、この位置合わせは、可能な限り高精度であることが望ましい。この際、位置合わせ時の誤差、不正確性、又は不確実性は、悪影響を及ぼし得る。

本発明の課題は、間違った又は不確実な位置合わせを伴う状況で、ユーザーを支援することである。この課題は、本発明に従い、独立請求項の発明主題によって解決される。本発明の有利な実施の形態及び発展形態は、従属請求項、明細書、及び図面において示される。

本発明に係る方法は、例えば、検査対象物又は目標物の検査の際に、ユーザーを支援する。本方法では、まず、目標物を表示する（画像化する）３Ｄデータセットを準備する。この準備は、例えば、３Ｄデータセットが記憶されているデータメモリを準備又は利用可能にすることを含む又は意味し得る。同様に、この準備は、３Ｄデータセットを捕捉又は取得する、すなわち測定することを含む又は意味し得る。

３Ｄデータセットは、特に、第１の撮像モダリティ、例えばコンピューター断層撮影（断層写真撮影装置）、すなわちＸ線ＣＴ装置、磁気共鳴装置（ＭＲ装置）等を用いて取得することができる、又は取得されている場合がある。

目標物は、例えば、患者、患者の一部、特定の臓器又は組織サンプルとすることができるが、究極的には、対応する撮像モダリティによって画像化することのできる任意の対象物又は物質とすることもできる。例えば、産業用途において、Ｘ線を用いて画像化し、検査する技術装置が知られている。３Ｄデータセットは、あるセットでもよく、すなわち、例えば測定値若しくはデータ点の集まり、又は３Ｄ画像とすることができる。

さらに、本発明に係る方法において、目標物の少なくとも１つの２Ｄ画像が取得される。この取得は、例えば、準備されたデータメモリからの２Ｄ画像、すなわち対応するデータの呼出し、又は同様に、２Ｄ画像の測定若しくは撮影を含む又は意味し得る。２Ｄ画像の撮影は、例えば、自動的に行われるか、又は、例えばフットスイッチ等を作動させることによって行うことができる。特に、２Ｄ画像は、第２の撮像モダリティによって撮影することができる、又は撮影される場合がある。この場合、第２の撮像モダリティは、第１の撮像モダリティと同等であるか、又は第１の撮像モダリティとは別のもの、特に異なるものとすることができる。好ましくは、第１の撮像モダリティは、３Ｄ−Ｘ線装置であり、かつ第２の撮像モダリティは、２Ｄ−Ｘ線装置又は２Ｄモードで動作を行う３Ｄ−Ｘ線装置とすることができる。

さらに、本発明に係る方法において、少なくとも１つの２Ｄ画像と準備された３Ｄデータセットとの２Ｄ／３Ｄの位置合わせが自動的に行われる。換言すれば、２Ｄ画像及び３Ｄデータセットは、互いに正確な位置で組み合わされるか又は重ね合わされ、すなわち、共通の座標系に配置されて、２Ｄ画像及び３Ｄデータセットにおける画像化された目標物のそれぞれ互いに対応する部分又は領域が、対応する重ね合わせで互いに重畳する。この場合、２Ｄ画像は、３つの空間方向又は空間次元（以下ではｘ、ｙ、及びｚとも称する）内に配置することができる。さらに、本発明に係る方法において、２Ｄ／３Ｄの位置合わせの不確実性又は不正確性が最大となる、すなわち誤差（エラー）が最大となる空間方向が、自動的に特定される。つまり、特定された空間方向では、位置合わせの不確実性又は不正確性が、他の２つの空間方向よりも大きい。

２Ｄ／３Ｄの位置合わせの既知の方法では、３つの空間方向全てにおいて同じ精度ではないことがある。特に、多くの場合で、２Ｄ／３Ｄの位置合わせが、２つの直交する空間方向、例えばｘ及びｙにおいては、比較的高い精度又は正確性で行われるが、一方、第３の空間方向、すなわちｚ方向においては、比較的不正確な、すなわち明らかに低減した精度又は正確性で行われる場合がある。このことは特に、２Ｄ画像の撮影方向、すなわち、例えば、Ｘ線装置の対応する放射方向又は投影方向が、ｚ方向又はｚ軸に沿う場合に起こるか又は当てはまり得る。換言すれば、２Ｄ画像の撮影方向は、２Ｄ／３Ｄの位置合わせの不確実性が最大となる空間方向として特定し得る。したがって、２Ｄ／３Ｄの位置合わせの不確実性又は不正確性は、２Ｄ画像の奥行き解像度が比較的低いか又は不十分であることに最終的に起因する。この場合、２Ｄ／３Ｄの位置合わせの最大の不確実性を有する、すなわち位置合わせの不確実性が最大となる空間方向は、例えば、２Ｄ画像を撮影するのに用いられるＸ線装置及び目標物の姿勢を認識又は追跡することによって得ることができる。また、対応するデータから、２Ｄ画像の撮影方向、すなわち、例えば、共通の座標系又は３Ｄデータセットの座標系における対応する軸の角度を、直接的に、又は例えば対応する物体認識アルゴリズム若しくは画像処理アルゴリズムを用いて、場合によっては更なるセンサーデータ及び／又はユーザー入力を参照して、自動的に特定することができる。

さらに、本発明に係る方法において、ユーザーを支援するために、不確実性が最大となる特定の空間方向に応じて（関連して）、目標物を検査するために設けられた器具を方向付けるか又は方向付けを支援するための信号が生成及び出力される。したがって、ユーザーは、例えば、Ｘ線装置及び／又は器具のオペレーター、例えば医師又は技術者でもよい。器具の方向付け又は方向付けの支援は、この場合又はこの目的に関して、器具自体を移動又は調整（位置変更）できることを意味し得る。同様に、方向付けとは、他の物体、例えば撮像装置、患者台等を移動又は調整するものでもよく、それにより、器具の新たな又は適合された相対方向、すなわち、実際に移動又は調整される物体に対する器具の方向が得られることを意味し得る。以降、「方向付け」とは、直接の方向付け若しくは相対的な方向付け、又は場合によっては同様に、方向付けの対応する支援を意味する。

器具は、例えば、カメラ、センサ（ゾンデ）、針、感知器（プローブ）、又は多数の同様物若しくは更なる器具若しくは装置のうちの１つとすることができる。これに関して、いくつかの例を以下で更に詳細に説明する。

信号は、例えば、音響的、光学的、及び／又は触覚的な表示、グラフィック表現、データ信号又はデータセット、制御信号等とすることができる。このことも、同様に以下で更に詳細に説明する。したがって、信号を用いて又は信号を通して、ユーザーにデータ若しくは情報が最終的に提供され、及び／又は処理若しくはプロセスが開始され、それにより、ユーザーは、特に、それぞれの状況の評価、すなわち目標物のより正確及び／又はより信頼性のある評価を可能にし、及び／又は、少なくとも２Ｄ／３Ｄの位置合わせの不確実性をユーザーに知らせ、ひいては同様に、特定された空間方向における器具の対応する方向付け、位置決め、及び／又は作用についてもユーザーに知らせることが有利である。

従来の用途では、対応する位置合わせの不確実性は、単純に不可避なものとして黙認されることが多い。あるいは、例えば、目標物を検査する間、２Ｄ画像の代わりに、目標物の多数の更なる画像又は写真（描写）又はデータを取得し、全ての空間方向におけるより正確な位置合わせのために十分なデータを得るようにする。しかしながら、それにより、目標物への線量又は負荷が増大する不利益が生じるだけでなく、同様に、目標物を画像化又は検査する際の作業の流れ（ワークフロー）における時間的な遅延及び／又は物流の問題若しくは衝突の問題が生じ得る。その上また、３Ｄデータセットの取得だけでなく、目標物の検査時に、それ相応により洗練された、したがってより高価な撮像システム、すなわち、例えば、対応するＸ線装置が必要になり得る。さらに、各ユーザーが気付かない又は知らない位置合わせの不確実性は、誤った判断の危険性を含み、これは、目標物の各検査の結果を無価値なものにするか若しくはその結果に疑問を呈し、及び／又は目標物を害する若しくは損なうおそれがある。これらの不利益は、本発明によって回避又は軽減することができる。

本発明の有利な実施形態では、内視鏡、すなわちカメラ又は撮影装置（画像取得装置）、特に腹腔鏡が、器具として用いられる。また、３Ｄ画像及び／又は２Ｄ画像の座標系において、内視鏡の姿勢、すなわち位置及び向きが自動的に追跡され、必要に応じて、所定の（すなわち既知の）座標変換に至るまで自動的に追跡される。したがって、２Ｄ画像の取得及び内視鏡の位置決めについて同じ座標系が用いられない場合、双方の座標系は、少なくとも互いに所定の空間的位置関係を有する。このことは、例えば、対応する測定又は較正によって予め確保することができる。その後、内視鏡によって撮影された、目標物の少なくとも１つの内視鏡画像と、３Ｄデータセットとから、少なくとも１つの重ね合わせ画像（オーバーレイ画像）が生成される。また、例えば、ステレオ内視鏡（立体内視鏡）が用いられる場合、対応する２つの内視鏡画像、すなわち２つの部分的なステレオ画像（立体部分画像）が用いられ、それにより、例えば、２つの重ね合わせ画像を生成することができる。

３Ｄデータセットの取得と内視鏡画像の取得との間には、例えば数時間又は数日という相当の時間的間隔が存在する場合があり、したがって、その間、目標物が知らずに移動している可能性があることから、重ね合わせ画像を正確な位置に生成するために、すなわち、内視鏡画像及び３Ｄデータセットを正確な位置に重ね合わせるために、２Ｄ／３Ｄの位置合わせが用いられる。したがって、２Ｄ画像に基づいて、目標物の現在の姿勢をその都度特定して、３Ｄデータセット又は３Ｄデータセットの座標系に関連して特定することができる。したがって、２Ｄ画像及び内視鏡又は内視鏡画像の座標系の既知の位置関係を用いて、内視鏡画像と３Ｄデータセットとの間の位置関係、又は対応する座標系の位置関係をそれに応じて特定することができる。

この場合、重ね合わせ画像を得るために、内視鏡画像及び３Ｄデータセット自体を互いに重ね合わせることができる。一方、同様に、内視鏡画像は、３Ｄデータセットから生成又は導出された表示（画像）又は構造、例えば、仮想モデル又はセグメンテーション・グリッド若しくはセグメント化表現等と組み合わせる、すなわち重ね合わせることもできる。したがって、内視鏡画像は、特に、目標物を視覚的にリアルな仕方で、すなわち現実に即して、画像化するカメラ画像又は映像（ビデオ）とすることができる。そのため、重ね合わせ画像は、現実性を増大させたもの（拡張現実）として解釈又は生成することができる。

次いで、ユーザーが内視鏡の方向を変更することができること及びその方法を示す、ユーザーに対する示唆が、信号又は信号の一部として出力されて、重ね合わせ画像において２Ｄ／３Ｄ位置合わせの不確実性に起因する視覚化の誤差を低減するために、内視鏡の捕捉（取得）方向が、少なくとも実質的に位置合わせの不確実性が最大となる特定の空間方向に沿って延びるようにする。

この場合、内視鏡の捕捉方向は、内視鏡の光軸と、例えば、内視鏡によって捕捉される光束の中心光線が捕捉される方向に対応する。したがって、内視鏡の捕捉方向は、内視鏡画像の画像平面に対して特に直交するものとすることができる。この場合、特定の空間方向に沿った内視鏡の方向又は内視鏡の捕捉方向は、少なくとも実質的に平行又は逆平行の方向であることを意味し得る。

また特に、２Ｄ／３Ｄ位置合わせに１つの２Ｄ画像のみが用いられる場合、内視鏡の捕捉方向は、この１つの２Ｄ画像の撮影方向に沿って方向付けることができる。

少なくとも実質的に特定の空間方向に沿った、内視鏡又は内視鏡の捕捉方向の方向付けは、この場合、例えば１０度の誤差又は偏差までの、対応する方向付けを意味し得る。したがってこの場合、２Ｄ／３Ｄ位置合わせの不確実性が最大となる特定の空間方向は、重ね合わせ画像の観察方向又は奥行き方向と少なくとも実質的に一致する。このとき、不確実性は依然として存在し続ける場合があるものの、経験上、この方向では、観察者からはあまり気にならないものとして捉えられるため、許容できる。

したがって、信号によって又は信号として、例えば、内視鏡の捕捉方向と特定の空間方向との間の現在の角度偏差を示すグラフィカル（図形的）な補助を表示することができる。さらに、信号によって、信号として、又は信号の一部として、内視鏡の方向付けの際にユーザーを支援するための補助を表示又は出力することができる。これは、例えば、対応する矢印、色分け、及び／又は照準表示（ブルズアイ）によって実現することができる。対応する表示又は表現は、対応する表示装置、例えば、モニター又はヘッド・マウント・ディスプレイ（ＨＭＤ）、すなわち、対応する観察者又はユーザーの頭部に取り付けられる表示器上に、表示つまり出力することができる。

この場合、内視鏡の捕捉（取得）方向は、内視鏡自体、すなわちそのハウジング又は本体の中心軸又は長手方向軸と必ずしも一致する必要はないことに注意されたい。一方で、対応する角度偏差を、パラメーター又はパラメーター値として予め設定することができる。
総じて、３Ｄデータセットを用いて位置合わせするための目標物の更なる画像又は撮影、例えば更なるＸ線撮影を必要とすることなく、重ね合わせ画像又は対応する拡張現実アプリケーション（ＡＲアプリケーション）におけるより現実的な又は少なくとも知覚される精度を得ることができる。これには、内視鏡の対応する方向付けで十分であり、この方向付けは、簡単、迅速、柔軟に、且つ目標物に負担をかけずに行うことができる（すなわち達成することができる）。したがって、２Ｄ／３Ｄの位置合わせの際に、１つの空間方向における各ユーザーが気付いていない又は知らない不確実性に起因して、誤った判断をするリスクを、特に簡単且つ無害な方法で回避することができる。例えば、実際にはそうでない場合でなくとも、ｘ方向及びｙ方向における位置合わせの明らかに高い精度又は正確性が、同様にｚ方向にも当てはまるとユーザーが想定することは自然であり理解できる。

本発明の更なる有利な実施の形態において、ロボットによってガイドされる内視鏡が器具として用いられる。ここでも、３Ｄ画像及び／又は２Ｄ画像の座標系における、内視鏡の姿勢は、少なくとも所定の座標変換に至るまで、自動的に追跡される。ここでも同様に、内視鏡によって撮影された目標物の内視鏡画像と、３Ｄデータセットとから、重ね合わせ画像が生成される。次いで、信号又は信号の一部として、ロボットに対する制御信号が生成されて、この制御信号がロボットに用いられて、重ね合わせ画像における２Ｄ／３Ｄの位置合わせの不確実性に起因する視覚化の誤差を低減するために、内視鏡の捕捉方向が特定の空間方向に沿って延びるように、ロボットが内視鏡を自動的に方向付けする。

換言すれば、ロボットによってガイドされる内視鏡は、重ね合わせ画像の視覚化又は画質を最適化するように自動的に方向付けられ、特に追跡（再配置）される。さらに、このために、例えば目標物の現在の姿勢を監視及び追跡することができ、内視鏡を方向付けするとき、すなわち対応する制御信号を生成するときに、自動的に考慮することができる。このようにして、特に、内視鏡を特に迅速、正確、且つ信頼性をもって、対応して方向付けることができる。これにより、特に、重ね合わせ画像の最適な視覚化品質を、正確且つ信頼性をもって保証することができる。この場合、各ユーザーはこれに対して注意又は労力を払う必要がないため、目標物の検査が、場合によってはより迅速になり、各ユーザーに対する妨げ又は負担を軽減して実行することができることが特に有利である。

本発明の更なる有利な実施の形態において、同様に、内視鏡が器具として用いられ、３Ｄ画像及び／又は２Ｄ画像の座標系において、内視鏡の姿勢が、少なくとも所定の座標変換に至るまで追跡される。ここでも同様に、内視鏡によって撮影された、目標物の内視鏡画像と、３Ｄデータセットとから、重ね合わせ画像（ＡＲ画像）が生成される。ここでは、信号又は信号の一部として、２Ｄ画像の撮影に用いられる撮像モダリティ、すなわち上述の第２の撮像モダリティ、例えばＣ字状アームＸ線装置に対する制御信号が生成される。この制御信号によって、撮像モダリティ、すなわちＸ線装置は自動的に方向付けられて、２Ｄ／３Ｄの位置合わせの不確実性に起因する重ね合わせ画像における視覚化の誤差を低減するために、その画像化方向又は撮影方向が内視鏡の捕捉方向に沿って自動的に延びるようにする。

換言すれば、位置合わせの不確実性と、内視鏡及び内視鏡の捕捉方向の実際の現在の姿勢、特に向きとに応じて、第２の撮像モダリティ、すなわち、特にＸ線装置の傾斜（角形成）を自動的に適合又は再配置（修正）することができる。したがって、第２の撮像モダリティは、各ユーザーに対する補助として、その撮影方向、すなわち特に対応するＸ線投影方向が、内視鏡の観察方向、すなわち捕捉方向に対して平行又は逆平行に延びるように、自動的に移動又は調整される。これにより、重ね合わせ画像における視覚化の誤差を特に正確、迅速、且つ信頼性があるように最小化し、ユーザーの負担を減らすことができることが有利である。

本発明の更なる有利な実施の形態において、同様に、内視鏡が器具として用いられ、３Ｄ画像及び／又は２Ｄ画像の座標系において、内視鏡の姿勢は、少なくとも所定の座標変換に至るまで追跡される。ここでも同様に、内視鏡によって撮影された、目標物の内視鏡画像と、３Ｄデータセットとから、重ね合わせ画像が生成される。次いで、信号又は信号の一部として、重ね合わせ画像の視覚化が、２Ｄ／３Ｄの位置合わせの不確実性の程度に従って、特に重ね合わせ画像の一部の振れ（ブレ、ぼかし）、グレーアウト（ディミング、調光）、引き伸ばし若しくは歪み、及び／又は非表示（消失）によって、場所に応じて適合される。したがって、２Ｄ／３Ｄの位置合わせの不確実性に起因して、内視鏡画像及び３Ｄデータセットは、１００％の正確さで、又は１００％の確実性をもって、正確な位置で重ね合わせるか又は組み合わせることはできない。この場合、重ね合わせに際しての、すなわち重ね合わせ画像におけるこの不確実性又は不正確性は、重ね合わせ画像の様々な位置において、すなわち場所に応じて異なる場合がある。この場合、重ね合わせ又は重ね合わせ画像の不確実性は、特に、２Ｄ／３Ｄの位置合わせの不確実性が最大となる特定の空間方向に関して、内視鏡の相対方向又は内視鏡の捕捉方向に動的に依存し得る。
したがって、内視鏡の捕捉方向が、例えば角度αに関して特定の空間方向とは異なる場合、各観察者又はユーザーに対して、不確実性又は不正確性、すなわち視覚化の誤差の程度を伝える、または示すために、重ね合わせ画像をそれに対応して適合させる、すなわちグラフィック処理することができる。この場合、例えばｓｉｎ（α）に比例して、振れを行うことができることが好ましい。同様に、例えば、矢印又は他の記号により、角度偏差及び／又は特定の空間方向を示すことができる。特に好ましい実施形態では、３Ｄデータセットに基づく重ね合わせ画像の３Ｄデータセット又は部分のみが、対応して適合される。内視鏡画像は、重ね合わせ画像の一部として残り、例えば変更されず、重畳した重ね合わせ構造のみが適合又は変更される。特に好ましい実施形態では、角度偏差、すなわち内視鏡の捕捉方向と特定の空間方向との間の角度αの偏差に対する閾値を予め設定する。この閾値又は閾値角度に達するか又はそれを超えると、重ね合わせ構造、すなわち３Ｄデータセットに基づく重ね合わせ画像の部分は、完全に非表示となり得る。このようにして、各観察者又はユーザーは、特に直感的且つ明確な仕方で、すなわち特に簡単に理解し、したがって特に信頼性をもって、その表示の不確実性に関して認識することができる。

本発明の有利な発展形態において、重ね合わせ画像の視覚化は、２Ｄ／３Ｄの位置合わせの不確実性が最大となる特定の空間方向においてのみ適合化される。換言すれば、例えば、重ね合わせ構造の振れは、この空間方向、すなわちｚ方向において又はｚ方向に沿ってのみ行われる。同様に、重ね合わせ構造は、重ね合わせ画像における不確実性、すなわち視覚化の誤差又は結果として生じる視覚化の不確実性を表現又は表示するため、例えばｚ方向においてのみ引き伸ばすことができ、すなわち引き伸ばされた又は歪められた状態で表示することができる。このようにして、各観察者又はユーザーに、特に簡単且つ特に正確に問題点を提示し、２Ｄ／３Ｄの位置合わせが特定の空間方向において特に不確実、又は特に不正確であることを伝えることができる。この場合、例えば、更なるマーク、上書き、又は記号を不要にすることができ、それにより、ユーザー又は観察者の妨げ又はストレスを低減又は回避することができることが有利である。

本発明の更なる有利な実施の形態において、器具として、ステレオ内視鏡（立体内視鏡）が用いられる。この場合、３Ｄ画像及び／又は２Ｄ画像の座標系における、ステレオ内視鏡の姿勢は、少なくとも所定の座標変換に至るまで自動的に追跡される。ここでも同様に、ステレオ内視鏡によって撮影された目標物のステレオ内視鏡画像と、３Ｄデータセットとから、重ね合わせ画像が生成される。この場合、重ね合わせ画像における、ステレオ内視鏡画像の左側画像と右側画像との間の輻輳（フェルゲンツ）又は視差によって、特定の空間方向における空間的効果、すなわち奥行き印象が生成されることが意図される。その結果、内視鏡画像又はその立体視的な奥行き位置と、３Ｄデータセット又はそれにより生成された重ね合わせ画像の部分との間のより良好な適合を得ることができることが有利である。その結果、観察者又はユーザーに、より良好な印象、特により現実的な印象を伝えることができることが有利である。

本明細書では、内視鏡が使用される本発明の複数の実施形態が記載されている。これらの実施形態のうちの１つ以上に関連して記載されているそれぞれの実施の形態の詳細又は説明は、同様の対応する方法で別の実施形態に対しても当てはまる。

本発明の更なる有利な実施の形態において、特に方向に依存した２Ｄ／３Ｄ位置合わせの不確実性を考慮して、所定の目標に達するために、器具が導かれる経路を自動的に特定し、信号として出力する。

この場合、経路は、一連の経由地点又は位置だけでなく、それぞれの向きの情報、すなわち経路のある点において又は経路に沿って得られるか又は調整される器具の向き又は姿勢を含むか又は示すことができる。

所定の目標は、器具の望ましい目標位置又は目標姿勢、目標物の特定の位置、例えば特定の組織、組織部分又は目標物の一部からのサンプル採取、特定の組織、特定の組織部分又は目標物の特定の部分に対する作用等を含む又は示すことができる。このために、特に、器具の可能な経路及び／又は方向を制限又は限定することができる、３Ｄデータセット及び／又は２Ｄ画像から導出される又は予め設定される目標物の構造を考慮することができる。

経路は、例えば、その経路に沿って、器具が、不確実性が最大となる特定の空間方向において移動が最小限になるように、及び／又は器具の方向と特定の空間方向との間の偏差が最小限になるように移動できるように決定できることが好ましい。それにより、総じて、目標物又は所定の目標に対する器具の位置決めの正確性を向上又は最大化し、それに対応して、所定の目標をより高い正確性又は信頼性で達し、及び場合によっては目標物に対する負荷をより小さくすることができる。通常、例えば、器具は、限定的な有効範囲を有する。この場合、２Ｄ／３Ｄの位置合わせの不確実性に基づいて、例えば、特定の空間方向において、器具の更なる経由地点又は作用位置、すなわち使用位置を、経路の一部として計画又は設定することができ、位置合わせの不確実性にもかかわらず、所定の目標、例えば目標物の障害（病変）が、器具の有効範囲によって捕捉又はカバーされることが保証されるようにする。また、器具の作用は、例えば、場合によっては所定の最小限の画像の鮮明さで所定の目標を画像化すること、及びまた、目標物又は所定の目標を操作すること、例えば、サンプルの採取及び／又は切除を含むことができる。

本発明の有利な発展形態において、経路を決定するために、器具の作用の好ましい方向を考慮する。換言すれば、器具の作用の空間的異方性又は有効範囲が考慮される。例えば、器具は、サンプル採取のための生検針とすることができ、この生検針を用いると、経路に沿って、すなわち生検針の移動方向において、複数のサンプルを採取することができるが、この方向に対して横方向には採取することができない。

サンプルが実際にそれぞれ所定の目標又は目標領域から採取されることを確実にするために、例えば、器具が所定の目標の領域において特定の経路に沿って導かれる際、使用例に応じて、例えば所定の目標領域の形状に応じて、２Ｄ／３Ｄの位置合わせの不確実性が最大となる特定の空間方向に沿って又は例えばそれに対して器具が垂直に移動するように、経路を計画又は特定できるようにすることが特に有利である。同様に、器具の好ましい方向又は器具の作用を考慮することにより、例えば、器具の有効範囲と所定の目標との間の最大の重なりを、位置合わせ及び視覚化の不正確性又は不確実性を考慮して、経路の対応する計画又は特定によって達成することができる。例えば、ニードル切除（アブレーション）における切除領域は、円形又は球形状でなく、対応して使用される切除用ニードルの軸に沿って楕円状に広がることができる。例えば、腫瘍組織を除去する場合、本発明によって、腫瘍組織が実際に切除の容量又は有効範囲内に、すなわち切除領域内に完全に位置して、その際、周りを囲む組織が可能な限り影響を受けない又は可能な限り僅かにしか影響を受けないことを、向上した確実性又は信頼性で保証することができる。

したがって、本発明によって、介入器具又は外科用器具に対する向上した経路を特定することができ、目標物、例えば身体組織に対するその作用は、幾何学的に好ましい方向又は空間的異方性を有することが有利である。これは、この好ましい方向又は異方性と、２Ｄ／３Ｄの位置合わせと、従って重ね合わせ画像の空間的な異方性の不確実性又は不正確性とを考慮することによって達成される。

本発明の更なる有利な実施の形態において、器具自体が、重ね合わせ画像において、例えば画像又はモデルとして示される。また、信号若しくは信号の一部として、又は信号によって、重ね合わせ画像における器具及び／又はその影響範囲若しくは有効範囲の表示が、２Ｄ／３Ｄの位置合わせのそれぞれの局所的な不確実性に応じて、空間的に異方性の仕方で拡大される。換言すれば、器具及び／又はその有効範囲の表示は、２Ｄ／３Ｄの位置合わせの不確実性及び重ね合わせ画像の視覚化又は表示の不確実性に従って、歪めることができる。通常、各ユーザーは器具に精通しているため、この方法では、不確実性又は対応する視覚化の誤差（エラー）の種類、大きさ（度合い）、方向を、ユーザーに対して、特に簡単で、直感的に理解可能で、かつ不必要に妨げられることなく示すことができる。器具が実際に、例えば円筒形又は棒状の形状又は形態を有する場合、この形状又は形態は、重ね合わせ画像において、特定の空間方向に関する器具の現在の方向に応じて、例えば楕円形（長円形）に広がることができる。これにより、有効範囲の表示を適合させることができる。

同様に、表示の異方性の拡大は、重ね合わせ画像における器具の表示が、対応する拡大領域又は不確実性領域、すなわち対応するマークされた（特徴付けられた）空間領域によって囲まれることを意味し得る。例えば、器具の経路は、自動的に又は各ユーザーによって計画又は追跡することができ、この経路は、器具又はその有効範囲の拡大された表示全体が、所定の目標、例えば障害（病変）等を通過して、すなわちその目標を完全に捕捉するように器具を導く。このようにして、位置合わせの不確実性にかかわらず、拡大された表示によって与えられるか又は示される領域内の全ての可能な器具経路が、実際に、所定の目標、例えば、障害又は腫瘍等を通過するか又はそれらに突き当たることを確実にできることが有利である。したがって、特に、器具の有効範囲が拡大された表示よりも小さい場合、例えば、複数の作用位置又は使用位置、すなわち、例えば複数のサンプル採取点又は複数の隣接する経路を、所定の目標が拡大された表示全体及び／又は器具の有効範囲に重なるように、所定の目標を通って又は所定の目標の領域において計画又は追跡することができる。

器具が例えば針であり、２Ｄ／３Ｄの位置合わせの不確実性がｘ方向及びｙ方向において比較的小さく、一方ｚ方向においては比較的大きい場合、この針は、ｚ方向において又はｚ方向に沿って方向付けされた場合には、例えば線として表現されて、この方向からの偏差が増大するにつれて、より拡大された表現になる。この場合、ｚ方向における又はｚ方向に沿った針の方向は、ｚ方向において針の長手方向又は主延在方向に延びることを意味する。

本発明の更なる有利な実施の形態において、２Ｄ／３Ｄの位置合わせの方向に依存した不確実性に応じて、特に、器具の作用の好ましい方向を考慮して、器具の少なくとも１つの使用位置を自動的に決定し、対応する示唆、すなわち対応する位置データ、対応する提案、又は対応する特徴（識別コード）を、信号として出力する。使用位置とは、この意味において、特に、器具が意図したとおりの作用を示し、及び／又はその作用を発揮するために位置決めされるように、器具の関連する向きを含む場所又は位置のことである。器具が例えば生検針又は切除用ニードルである場合、使用位置とは、例えば、生検針によってサンプルが採取される、又は切除用ニードルによって物質若しくは組織が切除（焼灼）される、目標物の位置又は一部を示すものであり得る。すなわち、方向に依存した位置合わせの不確実性に応じて、器具の有効範囲の作用方向及び異方性を考慮して、器具の少なくとも１つの使用位置、すなわち作用位置又は使用位置に対する推奨を特定し、出力することができる。このようにして、位置合わせの不確実性にもかかわらず、器具の作用が実際に所定の目標に達することを特に信頼性のある仕方で自動的に保証することができる。そうでない場合、対応する示唆がなければ、位置合わせの不確実性と結果として生じ得る視覚化の誤差とに起因して、器具のその都度の実際の位置決め及び方向付けに際して、所定の目標に実際に到達するか否か及び到達する場合の確率について推測することは、ユーザーにとって困難となり得る。

本発明の更なる有利な実施の形態において、器具の実際の方向は、その都度自動的に捕捉され、特に追跡される。器具の捕捉された方向及び２Ｄ／３Ｄの位置合わせの不確実性に応じて、捕捉された方向において器具が所定の目標に達する確率が自動的に計算される。その後、計算された確率は、信号又は信号の一部として出力される。すなわち、例えば、所定の目標、例えば、障害（病変）又は腫瘍の所定の目標に実際に達する又は特定の組織領域からのサンプル採取を実際に遂行できるように、器具の特定の経路又は器具の複数の経路の組合せがガイドされる確率を、統計学的分析、例えばモンテカルロ・シミュレーション等によって計算することができる。その後、この確率は、各ユーザーに表示されて、ユーザーは、それに基づき、個々のケースそれぞれにおいて目標に達するのに十分な確率が得られるか又は与えられるまで、器具の経路又は方向を適合させることができ、及び／又は向上した、特により正確な位置合わせを行うことができる。このようにして、それぞれの使用の結果を統計的に客観的に改善又は検証可能にする、すなわち、明白な仕方で予測することができる。例えば、採取したサンプルの検査でマイナス（ネガティブ）の結果が得られた場合、これは、サンプル採取時に器具の使用される経路によって得られる、サンプルが所定の目標組織から採取されたことの確率に基づいて、分類又は評価することができる。目標に達する確率が１００％又は１００％に近いことが、本発明の使用により検証可能に保証される場合、場合によっては更なるサンプル採取をなしで済ませることができる。

このために、器具のガイド若しくは位置決め及び／又は追跡における不確実性又は不正確性又は公差（許容誤差）は、２Ｄ／３Ｄの位置合わせの不確実性に対して統計的に独立した変数として追加することができ、すなわち、この変数と組み合わせることができることが特に有利である。このようにして、所定の目標に達する確率は、更により正確且つより高い信頼性で計算することができる。対応する方法において、この不確実性又は確率のいくつか又は全ては、例えば、上述のように器具の表示を適合するときに、例えば、この表示の対応するより大きな拡大によって、考慮することができる。このようにして、例えば、器具の実際の経路又は実際の位置が、計画された経路又は計画された位置から逸脱し得る距離及び／又は確率を、各ユーザーに伝えることができる。

本発明の各場合の実施形態の変更にかかわらず、複数の２Ｄ画像が、例えば蛍光透視法の形態で、連続的に捕捉されることが意図され得る。この場合、それぞれの現在の２Ｄ画像及びそのそれぞれの撮影方向に従って、自動的に更新を行うことができ、すなわち、２Ｄ／３Ｄの位置合わせの不確実性が最大となる空間方向をその都度新しく特定又は更新することができ、２Ｄ／３Ｄの位置合わせをその都度新しく実行若しくは更新する及び／又は対応する更新信号を生成及び出力することができる。

本発明の更なる一態様は、コンピュータープログラムを含むコンピュータープログラム製品に関する。この場合、このコンピュータープログラムは、本発明に係る方法、すなわち、本発明に係る方法の少なくとも１つの実施形態の方法ステップを符号化（エンコード化）又は表現している。この場合、本発明に係るコンピュータープログラム製品又はコンピュータープログラムは、データ処理装置の記憶装置、特に撮像システム内のものに読み込まれて（ロードされて）、データ処理装置によってコンピュータープログラムが実行されるときに上記方法を実行するように、構成及び適合される。このために、データ処理装置は、記憶装置に接続された対応するプロセッサ装置（処理装置）、すなわち、例えば少なくとも１つのマイクロチップ又はマイクロコントローラーを含むことができる。すなわち、本発明に係るコンピュータープログラム製品は、本発明に係る方法を実行するためのプログラム手段を含むことができる。この場合、このプログラム手段は、本明細書では明確に記載されない更なる構成要素、例えば対応する制御コマンド、位置合わせ指示（レジスタ参照）等を含むことができる。

本発明の更なる一態様は、特に撮像システム内の、電子及び／又は電子的可読及び／又はコンピューター可読の、データ記憶媒体又はデータメモリ（記憶装置）に関する。この場合、本発明に係るデータ記憶媒体には、データ処理装置によって特に自動的に実行可能なプログラムコードが記憶されており、これには、データ処理装置によってコンピュータープログラム又はプログラムコードを実行するときに、方法、すなわち対応する方法ステップが実行されるように、本発明に係る方法の少なくとも１つの実施形態、すなわち、対応する方法ステップをコード化又は表現するコンピュータープログラムが含まれる。

したがって、特に、本発明に係るコンピュータープログラム製品又はそれに含まれるコンピュータープログラムの少なくとも１つの実施形態を、本発明に係るデータ記憶媒体に記憶することができる。

本発明の更なる態様は、撮像システムに関する。本発明に係る撮像システムは、目標物を画像化する３Ｄデータセット及び目標物の少なくとも１つの２Ｄ画像を捕捉（取得）する捕捉装置（取得装置）を備える。この場合、３Ｄデータセットは、例えば別のシステムによって、既に事前取得されている場合がある。この場合、３Ｄデータセットの捕捉とは、例えば、電子的可読又はコンピューター可読データメモリ等から３Ｄデータセットを呼び出すことを意味することができる。同様に、捕捉装置自体を、３Ｄデータセットを取得（記録）、すなわち測定するように構成及び適合することができる。さらに、本発明に係る撮像システムは、プロセッサ装置及びプロセッサ装置に接続された本発明に係るデータ記憶媒体を含むデータ処理装置を備える。さらに、本発明に係る撮像システムは、自動的に生成された信号を出力するための出力装置を備える。この場合、出力装置は、例えば、データ処理装置のインターフェース、コンピュータープログラム若しくはプログラムコードのプログラム・モジュール、及び／又は例えばスクリーン又はＨＭＤ等の表示（ディスプレイ）装置であるか又はそれらを含むことができる。すなわち、本発明に係る撮像システムは、特に、本発明に係る方法を実施又は実行するように構成及び適合されている。したがって、それにより、本発明に係る撮像システムは、本発明の他の態様に関連して、すなわち、本発明に係る方法、本発明に係るコンピュータープログラム製品、及び本発明に係るデータ記憶媒体に関連して記載した、特性及び／又は構成要素又は部材のいくつか又は全てを含むことができる。

この場合、本発明に係る撮像システムは、小型の（コンパクトな）システム又は装置、すなわち統合された、又は例えばハウジング内に配置されたシステム又は装置として構成することができる。同じく、撮像システムの少なくともいくつかの構成要素又は部材、すなわち特に、捕捉装置及びデータ処理装置は、空間的に分散された又は互いに空間的に離間した異なる場所に配置することもできる。したがって、撮像システムのデータ処理装置は、例えば、データセンター（コンピューターセンター）又はデータセンターの一部として、捕捉装置とは別の空間内に設けられることができる。この場合、データ処理装置は、「敷地内（オンプレミス）」に構成することができる。これは、例えば、データ処理装置及び捕捉装置、特に、本発明に係る撮像システムの全ての構成要素又は部材を、同じ操作現場、例えば企業の敷地、工場の敷地、又は病院の敷地に配置することができることを意味する。一方、同じく、データ処理装置は、遠隔に配置されたサーバー装置、例えばクラウドサーバー又はリモートサーバーとすることもできる。これをデータセンター内に配置して、例えば、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、例えばインターネットを介して、撮像システムの捕捉装置に接続することもできる。

この点において、本発明に係る方法は、例えば、介入又は外科手術中又はその準備中に行うことができる。しかしながら、そのこと自体は、何らかの外科的ステップを含むものではなく、また前提とするものでもない。本発明に係る方法は、受信したデータを処理し、信号の形で出力データを生成及び出力する、撮像システム又はデータ処理装置を動作させるための方法として解釈することができる。このことは、具体的な介入又は外科的適用から完全に分かれて、独立している。同様に、本発明に係る方法は、診断を自動的に行うように機能するものではない。したがって、本特許請求の範囲内では、可能な限り、外科的及び／又は診断的ステップを含む本発明に係る方法の可能な対応する実施形態は必要とされない。

本発明に係る方法、本発明に係るコンピュータープログラム、本発明に係るデータ記憶媒体、及び本発明に係る撮像システムの上記及び下記の特徴及び発展形態、並びに対応する利点は、本発明の各態様の間でそれぞれ同様に相互に転用可能である。したがって、本発明の範囲内には、本発明に係る方法、本発明に係るコンピュータープログラム、本発明に係るデータ記憶媒体、及び本発明に係る撮像システムの発展形態も含むが、ここでは不必要な冗長さを避けるために、それぞれの組合せを明確に記載せず又は本発明の各態様について個別に記載しない。

本発明の更なる特徴、詳細、及び利点は、以下の好ましい実施例の記載と、図面の参照とに基づいて明らかとなる。

図１は、撮像システムを示す概略図である。 図２は、図１の撮像システムのユーザーを支援する方法のための例示的な概略プログラムモデルを示す図である。

以下に、本発明に係る好ましい実施形態を説明する。実施形態の構成要素は、それぞれ、互いに独立して考慮できる本発明の個々の特徴を表している。この際、これらの特徴は、互いに独立して、それぞれ本発明を構成する。したがって、これらの特徴は、個々に、本発明の構成要素として考慮することができ、または図示若しくは記載したものとは別の組合せでも考慮することができる。さらに、実施形態は、上述した本発明の更なる特徴によって補完することもできる。

図１は、撮像システム１の概略図を示しているが、ここではＣ字状アーム（Ｃ字状腕部）を有するＸ線装置として構成されている。この場合、撮像システム１は、放射源３と、放射源３によって放射されたＸ線を検出する検出器２とを備える。Ｘ線により、すなわち撮像システム１を用いて、ここでは撮影方向４に沿って又は撮影方向４において、目標物を画像化することができる。ここでは、患者支持体５上に置かれている患者６が、目標物として、撮像システム１を用いて少なくとも部分的に画像化されている。撮像システム１は、検出器２から提供されるセンサーデータ又は画像データを処理するためにデータ処理装置７を備えるが、場合によってはデータ処理装置７のインターフェース８を介して更なるデータを受信又は捕捉（取得）する。データ処理装置７は、記憶装置（データ記憶媒体）９と、記憶装置９及びインターフェース８に接続されるプロセッサ装置（処理装置）１０とを更に備える。この場合、記憶装置９の上に又は中に、ユーザーを支援する方法をコード化（符号化）又は表現したコンピュータープログラム、すなわちプログラムコードが記憶されている。本方法を実行するために、上記コンピュータープログラム又は上記プログラムコードは、プロセッサ装置１０によって実行することができる。

図２は、撮像システム１のユーザーを支援する方法のための、例示的なプログラムモデル１１を概略的に示しているが、これは概略的に示されたプログラム・モジュール１８〜２４を有する。

この場合、撮像システム１は、例えばステレオカメラ（立体カメラ）として構成された、及び／又は電磁的な追跡を行うように構成された追跡装置（トラッキング装置）１２を更に備える。追跡装置１２によって、器具、例えばここで示されている腹腔鏡１３等の器具を追跡することができる。この追跡を行うために、すなわち、腹腔鏡１３の連続的又は定期的な捕捉を可能にするために、腹腔鏡１３は、ここでは対応するマーカー１４を備える。腹腔鏡１３を用いて、患者６を、腹腔鏡１３の観察方向又は捕捉方向１５において光学的に画像化することができる。

ここでは、同様に、患者６内に複数の患者マーカー１６を配置して、患者６の姿勢を特定及び追跡する追跡装置１２によって、それらの患者マーカー１６を捕捉することもできる。

この場合、撮像システム１は、例えばスクリーン又はモニターとして構成される表示装置１７を更に備える。

以下、ユーザーの支援のための撮像システム１の使用、及び図２に示されているプログラムモデル１１について、図１及び図２を参照して、より詳細に説明する。

近年、医用又は外科用途において、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）が用いられることがある。この場合、この目的のために、プログラム・モジュール１８によって、３Ｄデータセット、例えば、患者６の手術前又は介入前の３Ｄボリューム（容量）のスキャン（走査）が捕捉される。そして、介入の一部として、プログラム・モジュール１８及び撮像システム１によって、患者６の少なくとも１つの２Ｄ画像が捕捉される。さらに、プログラム・モジュール１８によって、この場合、患者６の内視鏡画像（イメージ）及び／又は内視鏡映像（ビデオ）が捕捉されて、腹腔鏡１３によって撮影される。この目的は、まず、これらの様々なデータセットから、重ね合わせ画像、すなわちＡＲ画像を生成することである。

例えば、外科用拡張現実において、内視鏡画像又は内視鏡映像、すなわち、この場合、腹腔鏡画像又は腹腔鏡映像に重ね合わされる構造又はオーバーレイ（上書き）を、患者６の実際の解剖学的構造に対して可能な限り正確に位置合わせしなければならない。同様に、患者６の実際の解剖学的構造に対して可能な限り正確に位置合わせすることは、例えばレーザーガイド又は光学的ナビゲーションに基づいて針のガイドをナビゲーション（案内）する際にも必要である。このために、多くの場合、針の経路、すなわち、針又は対応する器具が移動又は案内される経路が、１つ又は２つの２ＤのＸ線投影、すなわち２ＤのＸ線画像と、３Ｄボリュームスキャン又は対応する３Ｄデータセットに対する２Ｄ／３Ｄの位置合わせ又は２Ｄ／２Ｄ／３Ｄの位置合わせに基づいて計算される。更なる実施例として、２Ｄ超音波又は３Ｄ超音波を用いた針のガイドがある。この場合、アルゴリズムにより、３Ｄ超音波スキャン又は３ＤのＣＴ若しくは３ＤのＭＲスキャンを用いた２Ｄ／３Ｄの位置合わせを計算する。２Ｄ／３Ｄの位置合わせ又は２Ｄ／２Ｄ／３Ｄの位置合わせによって、針による介入の間に更なる３Ｄスキャンを行う必要がなく、又は、介入の間に撮影される更なるＸ線画像若しくは投影画像によって、手術中のスキャン後に動作アップデートを速やかに行うことができる。

ただし、上述の位置合わせは、全ての空間方向において同じ精度ではないことが多い。例えば、互いに直交する２つの空間方向（本明細書において、一般的な適用に限定することなく、ｘ方向及びｙ方向と称する）における位置合わせは、比較的高い精度で行われるが、第３の空間方向、すなわちｚ方向は、かなり不正確にしか位置合わせをすることができないことがある。具体的には、このことは、例えば、手術中又は介入中に、撮像システム１によって、ｚ方向又はｚ軸（ここでは撮影方向４に対応するか又は対応し得る）に沿って２ＤのＸ線画像が撮影される場合に生じる。この場合、この２ＤのＸ線画像に対し、２Ｄ／３Ｄの位置合わせによって、事前に撮影又は捕捉された（すなわち利用可能な）３Ｄデータセットが位置合わせされる。

この場合、この２Ｄ／３Ｄの位置合わせ又は２Ｄ／２Ｄ／３Ｄの位置合わせは、プログラム・モジュール１９によって実行される。

次に、２Ｄ／３Ｄの位置合わせを用いて、３Ｄデータセット、又はそこから導出された表示、例えばセグメント化された網目（メッシュ）等の表示を、ＡＲ表示によって又はＡＲ表示の形態で、すなわち拡張現実の形態によって、内視鏡画像に重ね合わせる。付加的又は代替的に、２Ｄ／３Ｄの位置合わせは、針、例えば生検針若しくは切除用ニードル又は他の器具の経路の計画の基礎として用いられる。

この場合、プログラム・モジュール２０は、マーカー１４に基づいて腹腔鏡１３を捕捉及び追跡するとともに、患者マーカー１６に基づいて患者６を捕捉及び追跡し、すなわち、プログラム・モジュール２０は、腹腔鏡１３及び患者６のそれぞれの姿勢を捕捉及び追跡する。したがって、それにより、腹腔鏡１３の捕捉方向１５が知られて、データ処理のために利用可能になる。さらに、対応する撮像システム１の制御パラメーター又は動作パラメーターから、撮影方向４が知られて、データ処理のために利用可能になる。プログラム・モジュール２１によって、撮影方向４に対する捕捉方向１５、すなわち、撮影方向４と捕捉方向１５との間の角度αが特定される。

問題なのは、２Ｄ／３Ｄの位置合わせは、一般的に、例えばｘ方向及びｙ方向には比較的精度が高いが、ｚ方向、すなわち撮影方向４に沿う方向では、明らかに精度が低いことである。ＡＲ画像又は重ね合わせ画像を生成するときに、すなわち、３Ｄデータセット又はそこから生成される重ね合わせ構造を内視鏡映像に重ね合わせるときに、ある空間軸又は空間方向に沿ったこの不正確性又は不確実性は、観察者又はユーザーにとって相当な混乱を起こさせることがあり、内視鏡１３の観察方向に応じて、すなわち捕捉方向１５の相対方向に応じて、作用又は視認性の度合いを変化させることがある。ユーザー、例えば外科医が気付かない不正確な重ね合わせによって、誤った判断の危険性を含み、最悪の場合、例えば、患者６又は特定の臓器の誤った位置を切開してしまうことが起こり得る。例えば、針生検の場合、３Ｄデータセット、すなわち３Ｄ撮像（イメージ）を用いて発見された障害（病変）が、実際に針経路に沿って到達することが望ましい。また、例えば、針経路に沿って複数の生検、すなわちサンプルを採取するということも可能だが、針経路から横方向にずれているサンプル位置は、検査することも到達することもできない。

更なる実施例において、ニードル切除における切除領域は、円形でなく、むしろ他の方向よりも針軸に沿ってさらに広がっている。ただし、この場合、腫瘍は、切除領域の容量（ボリューム）内に完全に位置することが必要である。

介入器具又は外科用器具の適用経路の計画時には、その身体組織に対して作用するには幾何学的に好ましい方向又は異方性があるため、一般的に、２Ｄ／３Ｄの位置合わせの正確性又は確実性若しくは不確実性の空間的な異方性が必要とされる。

従前、ユーザーには、２Ｄ／３Ｄの位置合わせと、重ね合わせ、すなわち重ね合わせ画像又はＡＲ画像が、どの方向に正確に又は不正確に位置合わせ又は視覚化されているのかという補助又は指示が提供されていなかった。同様に、従前、２Ｄ／３Ｄの位置合わせの空間的異方性の精度又は確実性は、針経路の計画時に考慮されていなかった。

可能な解決策の一つとしては、複数のＸ線投影方向を使用して、すなわち、各介入中に２方面のＸ線システムの使用によって、又は３ＤのＸ線画像を利用することによって、異なる傾斜（角形成）からの若しくは異なる傾斜での複数の２ＤのＸ線画像により、全空間方向における位置合わせの正確性又は確実性を改善又は保証することが考えられる。しかしながら、この場合、外科的なワークフロー（手順）における不利益、患者６に対する線量又は負荷の増大、及び場合によってはリソース集約的で、高価な撮像システム１を使用する必要があるという不利益が生じ得る。

本実施例では、撮像システム１は、手術中３Ｄ撮像及び２Ｄ蛍光透視法を行うＣ字状アーム（Ｃ字状腕部）を有するＸ線装置として構成されている。腹腔鏡１３を用いて光学的ライブ撮像が行われる。腹腔鏡１３は、ここでは傾斜した光学系（レンズ）を備え、したがって、腹腔鏡１３の捕捉方向１５が長手方向又は腹腔鏡１３の軸若しくはハウジングに対して例えば３０度で傾斜している。ここでは、患者支持体５、例えば手術台の上に横たわる患者６に、例えば腹腔鏡検査を行うことが想定されている。例えば、肝臓の腫瘍を切除することが想定されている。このために、ユーザー、すなわち外科医等は腹腔鏡１３を用いており、この腹腔鏡１３は、追跡装置１２によって、その位置及び向き、すなわちその姿勢の追跡が行われる。必要に応じて、ここでは個々には示さていない更なる外科用器具、例えば、鉗子、ポインター、電気焼灼器等を、追跡装置１２又は更なる追跡システムを用いて捕捉及び追跡することができる。同様に、例えば、撮像システム１によって撮影されたＸ線画像又は蛍光透視法画像に基づく腹腔鏡１３の位置及び配置の特定も可能である。

また、追跡装置１２、又は腹腔鏡１３の捕捉及び追跡が行われる追跡装置１２の座標系は、撮像システム１によって撮影されたＸ線画像の座標系及び３Ｄデータセットに対して較正される。したがって、Ｘ線画像及び／又は３Ｄデータセットから３Ｄ座標が計算された対象物を、腹腔鏡１３によって撮影された内視鏡画像又は対応する座標系において、正確な位置に重ね合わせて示すことができるように、所定の座標変換を用いて計算することができる。

ここでは、腹腔鏡１３は、立体（ステレオ）腹腔鏡とすることができる。同様に、表示装置１７は、立体表示装置、例えば３Ｄモニター又はステレオ・ヘッド・マウント・ディスプレイ（ＨＭＤ：ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）とすることができる。

理想的な場合では、腹腔鏡１３は、撮像システム１のＸ線投影方向に対して平行に向けられた状態で見られる。したがって、この場合、捕捉方向１５は、撮影方向４に対して平行又は逆平行に並ぶことを意味する。したがって、内視鏡画像の画像平面は、空間方向ｘ、ｙに沿った向きとなる。そのため、重ね合わせ画像において、３Ｄデータセットから導出又は生成された仮想的な重ね合わせ構造は、ｘ方向及びｙ方向における比較的正確な位置合わせによって、内視鏡画像に対して正確な位置に重ね合わせることができ、すなわち正確に合わせることができる。したがって、ｚ方向における、すなわち撮影方向４に沿った上述の位置合わせの不正確性又は不確実性は、効果的に目立たなくなる、又は相当に目立たなくなる。

さらに、腹腔鏡１３が立体腹腔鏡である場合、立体内視鏡画像の左側画像と右側画像の間のオーバーレイ（重なり）の輻輳及び／又は視差を用いて、３Ｄ奥行き印象を生成することもでき、この場合、対応する奥行き方向は、同様にＸ線投影方向ｚ、すなわち撮影方向４に対して平行である。重ね合わせ画像における２Ｄ／３Ｄの位置合わせ又は重ね合わせは、ここでは不正確な場合があるものの、観察者又はユーザーの目は、実際には、奥行き方向における比較的小さな相違又は不正確性はそれほど気にならないものとして捉えるため、この場合、奥行き方向における不正確性又は不確実性は許容され得る。

一般的な場合、腹腔鏡１３の観察方向又は捕捉方向１５と、Ｘ線投影方向、すなわち撮影方向４との間の角度αは、０度以外である。そのため、内視鏡画像の画像平面は空間方向ｘ、ｙに対して平行にならない。その結果、ｚ方向における位置合わせの不確実性又は位置合わせの誤差が増大すると、手術前画像の２Ｄ重ね合わせにおいて、例えばｓｉｎ（α）に比例して、直接的に影響する。

ここでは、重ね合わせ画像における２Ｄ／３Ｄの位置合わせ及び対応する重ね合わせの不正確性又は不確実性、すなわち、対応する視覚化の誤差又は対応する視覚化の不確実性若しくは不正確性をｚ方向で認識するための手段がユーザーに提供される。さらに、理想的な場合として上述したように、腹腔鏡１３を方向付けるための補助が、ユーザーに与えられる。

まず、プログラム・モジュール２２によって、方向及び大きさ（レベル）に関して、位置合わせの不確実性を特定する。このために、例えば、角度α、すなわち、撮影方向４及び捕捉方向１５の互いに対する相対方向、並びに、例えば、２Ｄ／３Ｄの位置合わせ及び／又は重ね合わせ画像の生成に用いられる位置合わせアルゴリズムの所定の経験値及び／又は戻り値（リターン値）に基づく、従前公知の方法を用いることができる。

次に、プログラム・モジュール２３によって、重ね合わせ画像を生成する。

次いで、プログラム・モジュール２４によって、特定の位置合わせの不確実性に応じて、腹腔鏡１３を方向付けるための信号を自動的に生成及び出力する。

腹腔鏡１３の観察方向、すなわち捕捉方向１５が撮影方向４からそれる場合、重ね合わせ画像の重ね合わせは、グラフィカル（図形的）に適合又は処理されて、ユーザーに対して不正確性又は不確実性の度合いを知らせるようにする。このことは、例えばｓｉｎ（α）に比例した、重ね合わせ構造の振れによって行うことができ、特にｚ方向のみにおける振れによって行うことができる。さらに、可能なものとして、例えば、重ね合わせ又は重ね合わせ構造の徐々の、すなわち空間的に段階的なグレーアウト（ディミング、調光）、ｚ方向における矢印及び／又は他の記号のオーバーレイ（重なり）、及び／又は、ｚ方向における重ね合わせ構造又は重ね合わせ面積の引き伸ばしがある。方向の偏差（それ）が大きすぎる場合、すなわち、角度αが所定の閾値を上回る場合、重ね合わせ構造を完全に非表示にすることができる。

したがって、撮像システム１又はナビゲーションシステムは、撮影方向４と捕捉方向１５との間の現在の方向偏差、すなわち角度αの大きさをその都度表示する、グラフィカルな補助を提供することができる。さらに、撮像システム１又はナビゲーションシステムは、捕捉方向１５の方向付け、すなわち、捕捉方向１５を撮影方向４に対して平行又は逆平行に並べることを支援するための補助を提供する。このために、照準表示（ブルズアイ）又はナビゲーションを提供することができる。付加的又は代替的に、捕捉方向１５は、その都度与えられるものと想定することができ、撮像システム１、すなわちＣ字状アーム、したがって撮影方向４の角形成（アンギュレーション）は、各ユーザーへの補助によって又は好ましくは自動的に移動することができ、撮影方向４が捕捉方向１５に対して平行又は逆平行に向けられるようにする。

したがって、この場合、撮像システム１のＸ線投影方向、すなわち撮影方向４と、腹腔鏡１３の観察方向、すなわち捕捉方向１５との間の偏差を測定することを可能にする。ここでは、捕捉方向１５を平行に並べるための補助、及び／又は撮影方向４を方向付けるための補助、特に自動補助が与えられるか又は使用される。この場合、各観察者又はユーザーに対して、位置合わせの不確実性及び／又は視覚化の不確実性を、重ね合わせ画像中の重ね合わせ内容適合化によって表示すことができる。

そのため、複数のＸ線投影方向、すなわち複数の異なる撮影方向４を必要とせずに、医療用の拡張現実表示又は拡張現実用途における重ね合わせの内容、すなわち各重ね合わせ画像の精度が向上し得ることが有利である。このことは、腹腔鏡１３の最適化された相対方向によって達成される。これにより、有利には、各ユーザー又は外科医が、ある空間方向における、気付いていない、特に不確実な位置合わせに起因して、誤った外科的判断を行うリスクを低減することができる。さらに、例えば、腹腔鏡１３の観察方向又は捕捉方向１５に基づく撮像システム１のＣ字状アームの自動的な方向付けの形で、腹腔鏡１３及び撮像システム１のより緊密な統合化を実現することができることが有利である。

腹腔鏡１３は、ここでは単に例として示されている。同様に、例えば、他の任意の内視鏡、カメラ、手術用顕微鏡等を使用することができる。

器具として針が用いられる実施例を再び参照すると、例えば手術前の３ＤのＣＴ又はＭＲスキャンに基づいて障害（病変）の疑いが発見された場合には、患者６に対して針生検を行うことが想定できる。病変は、例えば、患者６の肝臓又は前立腺において発見される場合がある。この場合、針ガイド、すなわち、生検針のガイド又は位置決め（移動）は、ナビゲートされながら行われ、このために、例えば、撮像システム１のレーザー・ニードル・ガイダンス又は光学的ナビゲーションが用いられる。

影響を受けた臓器、すなわち、例えば肝臓又は前立腺の実際の手術中位置に対して、手術前の３Ｄスキャンを位置合わせするために、撮像システム１によって２Ｄ蛍光透視法撮影が行われる。次いで、２Ｄ／３Ｄの位置合わせによって、手術前の３Ｄスキャンが患者６の現在の位置に対して位置合わせされる。代替的に、例えば、異なる傾斜（角形成）から２つの２Ｄ蛍光透視法の撮影を行って、２Ｄ／２Ｄ／３Ｄの位置合わせを行うことができる。ただし、ここでは、スペース上の理由から、すなわち、衝突を回避するために、これらの双方の傾斜間の角度を最適値の９０度よりもはるかに小さくすることができる場合があるが、これにより、位置合わせにおける、異方性の正確性が得られ、すなわち異方性の又は方向依存性の不確実性が得られる。しかし、本明細書に記載の方法によって、大柄な患者又は太った患者の場合、したがって移動用のスペース又は範囲が僅かである場合には、一般的に推奨されている４０度よりも小さな傾斜又は傾斜角度を使用することも可能である。

この場合、２Ｄ／３Ｄの位置合わせ又は２Ｄ／２Ｄ／３Ｄの位置合わせを実行するとき、双方の空間方向ｘ及びｙに沿った場合よりも空間方向ｚに沿った場合の方が大きな不正確性又は不確実性が生じ得る。

ここでは、生検針の方向、典型的には異方性に基づく、針経路の決定に関するこの不正確性又は不確実性を、経路計画の際に各ユーザー又は医師に示すことで、ユーザー又は医師が針経路を決定する際にそのことを考慮可能にすることが提案される。同様に、これに対応して、不正確性又は不確実性を、自動的な経路計画の際に考慮することもできる。さらに、対応する計画手段（計画ツール）又はプログラム・モジュール、例えばプログラム・モジュール２４は、推奨される奥行き範囲、連続して採取される生検又はサンプルの数（量）、及び対応する採取位置の互いに対する空間的距離を決定することができる。位置合わせの不正確性又は不確実性を考慮して、対応する値は、針軸に沿って、すなわち生検針の主延在方向に沿って、又は針経路に沿って特定される。

位置合わせ若しくは針経路の不確実性又は対応する表示に依存する、重ね合わせ画像における針の表示の拡大、例えば、楕円形状は、手術中の針ナビゲーションの際にライブで表示することができる。その一実施例は、腹腔鏡１３によって撮影された内視鏡画像又は腹腔鏡映像に対して拡張現実として重ね合わされる針ガイドである。ここでは、例えば、対応する不確実性領域が針の領域に重ねられ、病変（障害）が仮想的に表示される。

更なる実施例において、ニードル切除の場合、腫瘍は切除領域内に完全に位置すべきである。計画ツール又は経路計画モジュールによって、例えばプログラム・モジュール２４によって、重ね合わせ画像において、腫瘍の周りに、針経路又は針のそれ自体のそれぞれの方向に応じて、典型的には異方性の不確実性領域を表示して、位置合わせの不確実性を提示又は表示する。必要に応じて、ここでも他の実施例と同様に、器具ガイド及び／又は追跡装置１２の空間的な不確実性を正しく考慮し、加えることができる。

この実施例では、計画モジュールを用いて、針の周りの切除領域が視覚化されるが、好ましくは、例えば性能（パワー）及び／又は継続時間等の各切除（アブレーション）のパラメーターに応じて行い、及び場合によっては、切除領域の範囲内の対応する組織のモデル化若しくはシミュレーションに応じて適用される。これらのパラメーター又はパラメーター値、及び切除用ニードルの姿勢、すなわち位置又は配置が選択されて、可能な限り、腫瘍と、腫瘍の周りの不確実性の空間的な異方性の領域全体とが、表示される切除領域内におさまるようにする。ここでは、必要に応じて、確実性領域全体がまとめてカバーされるまで、複数の隣接する切除容量（ボリューム）を計画することができる。このことは、必ずしも互いに平行に配置されるか又は平行に延びていない、複数の針経路を計画又は提供することと同様と考えることができる。

上記の方法において、針生検又は他の器具の介入若しくは適用の向上した支援を達成することができることが有利である。これにより、場合によっては、特に針生検によって偽陰性の結果（間違ったネガティブな結果）が生じることを低減することができる。より的を絞った針生検及び他の器具の使用が可能になることが有利である。同一の又は向上した診断性により、場合によっては、必要とされる針穿刺の回数を低減できることが有利である。さらに、本明細書に記載の方法により、針ガイドのために２Ｄ／３Ｄの位置合わせ又は２Ｄ／２Ｄ／３Ｄの位置合わせをより効果的に使用することが可能になり、それにより、更なる手術中の３Ｄスキャンのための線量が不要になり得ることが多くの場合に有利である。さらに、切除手順を目標どおりに支援することが可能になり、例えば、実際的又は効果的な切除領域を、計画ツールを用いて、場合によっては向上した精度で予測することができる。

要するに、本明細書において、例えば、内視鏡の方向付け及び／又は器具経路の計画にとって、ある空間方向における位置合わせの不確実性が他の空間方向のものに比べて相当に高いという認識は、例えば、改善された、特により精度の高い器具ガイドによって、より良好な視覚化及び場合によっては患者の利益を得るために用いられる。この場合、各内視鏡及び／又は例えば各Ｘ線装置は、可能な限り低い位置合わせの不確実性又はその結果としての視覚化誤差が、各観察者に知覚できるように構成することができる。

１ 取得装置（撮像システム、撮像モダリティ）
２ 検出器
３ 放射源
４ 空間方向（撮影方向）
５ 患者支持体
６ 目標物（患者）
７ データ処理装置
９ データ記憶媒体（記憶装置）
１０ プロセッサ装置
１１ 方法
１２ 追跡装置
１３ 器具（腹腔鏡、内視鏡、ステレオ内視鏡）
１４ マーカー
１５ 取得方向（捕捉方向）
１６ 患者マーカー
１７ 出力装置

Claims (15)

1. 医療機器である撮像システムの作動方法であって、
   目標物（６）を表示する３Ｄデータセットを準備するステップと、
   前記目標物（６）の少なくとも１つの２Ｄ画像を取得するステップと、
   前記少なくとも１つの２Ｄ画像と準備された前記３Ｄデータセットとの自動的な２Ｄ／３Ｄの位置合わせを行うステップと、
   前記２Ｄ／３Ｄの位置合わせの不確実性が最大となる空間方向（４）を自動的に特定するステップと、
   前記目標物（６）を検査するために設けられた器具（１３）の方向付けを支援するための信号を、特定された前記空間方向（４）に応じて自動的に生成及び出力するステップと、
   を含む、前記撮像システムを作動させるための方法。
2. 前記器具（１３）として、内視鏡（１３）が用いられ、
   前記２Ｄ画像の座標系において、前記内視鏡（１３）の姿勢を自動的に追跡し、
   前記内視鏡（１３）によって撮影された前記目標物（６）の少なくとも１つの内視鏡画像と、前記３Ｄデータセットとから、少なくとも１つの重ね合わせ画像を生成し、
   前記内視鏡（１３）の方向をユーザーが変更することができること及びその方法の示唆を前記信号としてユーザーに出力し、それにより、前記２Ｄ／３Ｄの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記内視鏡（１３）の取得方向（１５）が、特定された前記空間方向（４）に沿って延びるようにすることを特徴とする、請求項１に記載の方法。
3. 前記器具（１３）として、ロボットによってガイドされる内視鏡（１３）が用いられ、
   前記２Ｄ画像の座標系において、前記内視鏡（１３）の姿勢を自動的に追跡し、
   前記内視鏡（１３）によって撮影された、前記目標物（６）の内視鏡画像と、前記３Ｄデータセットとから、重ね合わせ画像を生成し、
   前記ロボットに対する制御信号が前記信号として生成され、該制御信号が前記ロボットに用いられることによって、前記ロボットは、前記内視鏡（１３）を自動的に方向付けし、それにより、前記２Ｄ／３Ｄの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記内視鏡（１３）の取得方向（１５）が、特定された前記空間方向（４）に沿って延びるようにすることを特徴とする、請求項１又は２に記載の方法。
4. 前記器具（１３）として、内視鏡（１３）が用いられ、
   前記２Ｄ画像の座標系において、前記内視鏡（１３）の姿勢を自動的に追跡し、
   前記内視鏡（１３）によって撮影された、前記目標物（６）の内視鏡画像と、前記３Ｄデータセットとから、重ね合わせ画像を生成し、
   前記２Ｄ画像を撮影するために使用される撮像モダリティ（１）に対する制御信号が、前記信号として生成され、それにより、前記２Ｄ／３Ｄの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記撮像モダリティ（１）の撮影方向（４）が、前記内視鏡（１３）の取得方向（１５）に沿って自動的に並べられることを特徴とする、請求項１〜３のいずれか１項に記載の方法。
5. 前記器具（１３）として、内視鏡（１３）が用いられ、
   前記２Ｄ画像の座標系において、前記内視鏡（１３）の姿勢を自動的に追跡し、
   前記内視鏡（１３）によって撮影された前記目標物（６）の内視鏡画像と、前記３Ｄデータセットとから、重ね合わせ画像を生成し、
   前記信号として、前記重ね合わせ画像の視覚化が、前記２Ｄ／３Ｄの位置合わせの前記不確実性の、空間的に異方性の程度に従って重ね合わせ画像の一部に応じて適合され、前記重ね合わせ画像の一部の振れ、グレーアウト、引き伸ばし、及び非表示のうちの一つまたは複数によって適合されることを特徴とする、請求項１〜４のいずれか１項に記載の方法。
6. 前記重ね合わせ画像の前記視覚化は、前記２Ｄ／３Ｄの位置合わせの前記不確実性が最大となる特定の前記空間方向（４）においてのみ適合されることを特徴とする、請求項５に記載の方法。
7. 前記器具（１３）として、ステレオ内視鏡（１３）が用いられ、
   前記２Ｄ画像の座標系における、前記ステレオ内視鏡（１３）の姿勢を自動的に追跡し、
   前記ステレオ内視鏡によって撮影された、前記目標物（６）のステレオ内視鏡画像と、前記３Ｄデータセットとから、重ね合わせ画像を生成し、
   前記ステレオ内視鏡画像の左側画像と右側画像との間の輻輳又は視差により、前記重ね合わせ画像において特定の前記空間方向（４）における空間的効果が生じることを特徴とする、請求項１〜６のいずれか１項に記載の方法。
8. 前記２Ｄ／３Ｄの位置合わせの前記不確実性を考慮して、所定の目標に達するために、前記器具（１３）が導かれる経路を自動的に特定して、前記信号として出力することを特徴とする、請求項１〜７のいずれか１項に記載の方法。
9. 前記経路を特定するために、前記器具（１３）の作用の幾何学的な方向を考慮することを特徴とする、請求項８に記載の方法。
10. 前記器具（１３）が前記重ね合わせ画像において表示されて、前記信号として又は前記信号によって、前記重ね合わせ画像において、前記器具（１３）の表示と前記器具（１３）の作用範囲の一方又は双方が、前記２Ｄ／３Ｄの位置合わせのそれぞれの局所的な前記不確実性に応じて、空間的に異方性な仕方で拡大されることを特徴とする、請求項１〜９のいずれか１項に記載の方法。
11. 前記２Ｄ／３Ｄの位置合わせの方向に基づく不確実性に応じて、前記器具（１３）の作用の幾何学的な方向を考慮して、前記器具（１３）の少なくとも１つの使用位置を自動的に特定して、対応する示唆を前記信号として出力することを特徴とする、請求項１〜１０のいずれか１項に記載の方法。
12. 前記器具の現在の方向をその都度自動的に取得し、
    前記器具の取得された前記方向及び前記２Ｄ／３Ｄの位置合わせの前記不確実性に応じて、取得された前記方向において、予め定められた目標に前記器具（１３）が達するための確率を自動的に計算し、
    前記計算された確率を前記信号として出力することを特徴とする、請求項１〜１１のいずれか１項に記載の方法。
13. 請求項１〜１２のいずれか１項に記載の方法（１１）が符号化されたコンピュータープログラム（１１）を含むコンピュータープログラム製品であって、
    撮像システム（１）のデータ処理装置（７）の記憶装置（９）内に読み込まれて、
    前記コンピュータープログラム（１１）が前記データ処理装置（７）によって実行されるとき、前記方法（１１）を実行するように、
    構成及び適合された、コンピュータープログラム製品。
14. 撮像システム（１）用のデータ記憶媒体（９）であって、該データ記憶媒体（９）には、データ処理装置（７）によって実行可能で、かつ請求項１〜１２のいずれか１項に記載の方法（１１）を符号化したコンピュータープログラム（１１）を含むプログラムコードが記憶され、前記データ処理装置（７）によって前記プログラムコードが実行されるときに前記方法（１１）が実行される、データ記憶媒体。
15. 撮像システムであって、
    目標物（６）を表示する３Ｄデータセットと、前記目標物（６）の少なくとも１つの２Ｄ画像とを取得する取得装置（１）と、
    プロセッサ装置（１０）と、該プロセッサ装置（１０）に接続された請求項１４に記載のデータ記憶媒体（９）とを備えるデータ処理装置（７）と、
    自動的に生成された信号を表示用に出力するための出力装置（１７）と、
    を備える、撮像システム。

Images