JP6189854B2 - 半自動経路プランニングのための自動奥行きスクローリング及びオリエンテーション調整 - Google Patents

Description

本開示は、医療機器に関し、より具体的には、グラフィカルインタフェースツールを用いた医療手順のグラフィカルなプランニング及び支援のシステム及び方法に関する。

［関連技術］
経気管支バイオプシーは、バイオプシーのニードルが気管支鏡のワーキングチャネルで送られ、ある点で気管壁を通して進み、肺や縦隔中の腫瘍、リンパ節などの試料を取る一般的な侵襲的手順である。かかる侵襲のプランニング及びリアルタイムガイダンスを支援するため、患者の胸郭のスキャンを行う。コンピュータ断層撮影（ＣＴ）スキャンなどのスキャンは、実際の気管支鏡カメラの光学画像と同様に、放射線学Standard Viewsで、及びEndoluminal Viewの仮想レンダリングでユーザ（例えば、呼吸器科医）に表示できる。

Endoluminal-Viewでは、実際の気管支鏡からの光学画像または仮想的レンダリングの場合、ユーザは気管壁の後ろの組織、具体的にはバイオプシーの対象の位置や穴を開けない管の位置を見ることはできない。同様に、Standard Viewでは、ユーザは、ある点がEndoluminal View中にあるか正しくは分からない。

気管支鏡用の半自動経路プランニングには、３次元CT画像ボリューム中の複数の経路ポイントのマニュアル設定が必要である。２次元ディスプレイにおいてこれらの経路ポイントの設定をする場合、ユーザは、現在表示されているビュープレーンの３つの位置パラメータと３つの方向パラメータとを制御する必要がある。これによりワークフローが大幅に遅くなる。特許文献１及び非特許文献１、２を参照。
［特許文献１］国際出願第WO2009/138871号（Trumer et al.）
［非特許文献１］「superDimension’s iLogic Promotional Video」（June 8, 2010, XP055058866, youtube (URL:http:/www.youtube.com/watch?v=3oCkvD8eaMQ)
［非特許文献２］「superDimension Planning Phase」（January 14, 2009, XP055058871, youtube (URL:http:/www.youtube.com/watch?v=r_Zdpfh-Xww)

（例えば、バイオプシーの場合の）周辺ターゲットへの気管支鏡用経路プランニングは、一般的ではあるが困難な医療タスクである。ターゲットと気管との間の全自動経路プランニングは望ましいが、必ずしも最適な結果を与えないことがある。対称的に、半自動化されたマニュアル経路プランニングには、３次元CT画像ボリューム中の複数の経路ポイントの設定が必要である。

本原理によると、プランニングツール、システム及び方法は、プロセッサと、プロセッサに結合しプランニングモジュールを記憶したメモリとを含む。ユーザインタフェースは、プロセッサに結合し、経路システムによりユーザに経路を選択させるように構成されている。プランニングモジュールは、経路がナビゲートされるにつれ、経路中のカーソルポイントの奥行きに従って一以上のスライスが更新されるように、ユーザインタフェースを用いてガイドされたユーザ制御カーソルポイントに対応する画像ボリュームの一以上のスライスをアップロードするように構成される。

動作可能に結合された複数のビューポートを有するシステムは、プロセッサと、前記プロセッサに結合したメモリとを含み、メモリは画像処理モジュールを記憶している。グラフィカルユーザインタフェースは、プロセッサに結合し、経路システムによりユーザに経路を選択させるように構成されている。画像処理モジュールは、経路の腔内ビューと、画像ボリュームの他の一以上のビューと、前記腔内ビューと前記他の一以上のビューとを含む選択されたすべてのビューにおいて空間的基準を提供する仮想ラインと、ユーザ制御カーソルポイントは、腔内ビューをガイドするように構成され、カーソルポイントにおける選択更新に対応して、選択されたすべてのビューにおける更新をさせ、他のビューにおけるカーソルポイントの周りの画像情報がユーザインタフェースにおいて同時に見ることができるようにする仮想ラインとをレンダリングするように構成されている。

手順をプランニングする方法は、経路構造の画像ボリュームにエンドポイントを配置する、前記画像ボリュームは奥行きに沿って、スタックされた複数のスライスを有するステップと、前記経路構造の画像ボリューム中の開始点を選択するステップと、前記経路構造にそって経路を延ばすステップと、前記画像スライスに対応する前記経路構造の奥行きに応じて、前記経路に沿って前記経路構造の画像スライスを更新するステップと、前記経路に沿って前記終了点までナビゲーションするステップと、手順のプランを生成するため、前記経路を記憶するステップとを有する。

複数のビューポートを動作可能に結合する方法は、ユーザが経路システムにより経路を選択できるように構成されたグラフィカルユーザインタフェースにおいて、経路構造の腔内ビューを生成するステップと、画像ボリュームの他の一以上のビューを生成するステップと、前記腔内ビューと前記他の一以上のビューを含む複数のビューに空間的基準を提供する仮想ラインを生成するステップであって、前記仮想ラインは前記腔内ビューをガイドするように構成され、前記仮想ラインのユーザ選択された位置更新に対応する、他のビューにおける更新を可能とする基準を提供するようにし、前記他のビューにおける前記仮想ラインの周りの画像情報は前記ユーザインタフェースで同時にみることができるようにするステップとを含む。

本開示の上記その他の目的、特徴、及び効果は、その実施形態の以下の詳細な説明から明らかとなるであろう。詳細な説明は、添付した図面を参照して読まれたい。

この開示は、以下の図面を参照して、詳細に好ましい実施形態の以下の説明をする。
一実施形態による、手順をプランニングし、同時に異なる視点のリンクされたディスプレイビューを見るシステム／方法を示すブロック／フロー図である。 例示した一実施形態によるマウスで描いたプラントレースの奥行きによる、画像スライスを更新する方法を示すフロー図である。 例示した一実施形態による、カーソル位置（またはマウスポイント）によるカレントビュープレーンを更新するベクトルを示す図である。 他の一実施形態による、腔内構造に描いた経路トレースを有する第１スライスを示す画像である。 図４Ａの実施形態による、腔内構造に沿って延在する経路トレースを有する、異なる経路の後続スライスを示す画像である。 本原理による仮想ライン基準位置を用いる、互いに相関した複数の視点またはペイン（panes）を示すディスプレイ画面のイメージである。 例示した一実施形態による、手順をプランニングする方法を示すフロー図である。 例示した一実施形態による、複数の視点を動作可能に結合する方法を示すフロー図である。

本原理では、グラフィカルユーザインタフェースを有し、現在表示されているビュープレーンの奥行き、位置及び方向を自動的に調整し、ユーザが肺の気道などの内部構造の２次元トラッキングを制御すればよいようにするシステムを提供する。ビュープレーンは常に更新できる。一方法により、マウスや類似のポインティングデバイスを用いて、そのマウスの動きを用いて表示されているビュープレーンの位置とその方向を自動的に変化させて、その構造のローカルトレーシングを行う。マウスポイントはその構造（例えば、気道）の中心に配置され、ビュープレーンの方向がその構造の方向に合わせられる。このようにして、ユーザは、ビュープレーンの制御パラメータを調節しなくても、対象（例えば、バイオプシーの対象）から開始位置（例えば、気管）までの経路をマウスドラッグできる。このグラフィカルユーザインタフェースとその土台となっている方法により、ワークフローの解釈がより効率的かつ容易になる。

CTスキャンなどの３次元入力画像ボリュームは、通常、一以上の平面スライス画像の形式だけで表示される。最良の可能性には、ｘ、ｙ、ｚ軸で整列された画像（軸方向、冠状、矢状）、傾斜平面画像、または曲がったリフォーマット画像が含まれる。ユーザは、これらの２次元ビュープレーン内で、経路位置を示し（click into）経路制御ポイントを設定または編集できる。２次元ディスプレイにおいてこれらの経路ポイントのマニュアル設定をする場合、ユーザは、現在表示されているビュープレーンの３つの位置パラメータと３つの方向パラメータとを制御する必要がある。具体的に、ユーザは、複数のスライスにわたりスクロールして（現在表示されているスライスの奥行き位置を調節し）、方向を変化させ（例えば、頭尾体軸（cranio-caudal body axis）の周りの回転）、経路の最もよく見えトレース可能にする。大きなユーザインターラクションが必要であり、これにより制御点を設定するワークフローが大幅に遅延する。

本原理による一実施形態では、グラフィカルユーザインタフェース（ＧＵＩ）は、現在表示されているビュープレーンの奥行き位置と方向を連続的に自動的に調整（adaptation）する。ユーザが経路内でポインタまたはマウスをドラッグすると、マウスポイントが気道の中心に留まるように、現在表示されているビュープレーンの奥行き位置が自動的に調整される。任意的に、表示されたビュープレーンは、気道の方向（local direction）が表示されたスライスビュープレーンと最適に整列するように、現在のマウスポイントの周りに回転する。

このワークフローは、ユーザがマウスポイントをターゲットに合わせ、他のビュー制御パラメータはまったく調整せずに、経路に沿って開始点（例えば気管）までマウスをドラッグすることを含む。ユーザは、ビュープレーンにおける経路の２次元トラッキングのみを制御し、奥行きと回転は自動的に適合される。これは、基礎をなすアルゴリズムや方法により実現される。これらは新しいマウス位置に対して、そのマウスが現在位置している経路のローカルトレーシングを行う。ローカルな経路の３次元中心点とそのローカルな方向とが決定される。現在表示されている奥行きまたは方向及び推定経路中心及び方向に違いがあれば、ビュープレーンのパラメータは適宜先行され、ディスプレイがリアルタイムで（例えばライブフィードバックで）更新される。

他の一実施形態では、グラフィカルユーザインタフェース（ＧＵＩ）は、実際の内視鏡からの画像フィードバックに似た仮想的なEndoluminal-Viewにおいて動く複数のビューポートまたはペイン（panes）を含む。Endoluminal-Viewにおける各点について、ビューポートは傾斜したリフォーマットを提供して、画像ペイン中に表示されている経路壁ポイントを通して仮想的な針が進むと、どの組織を横切るか示す。これにより、重要な組織や管を回避しつつターゲット（例えば、目標となる腫瘍やリンパ節）に導く適切なバイオプシー経路が見つかる。

この実施形態では、仮想的及び実際のEndoluminal-Viewがビューポートにインターラクティブに結合される。現在の視点（カメラポイント）から進む針により貫通される組織は、他のビューの実際のまたは仮想的な画像と相関される。仮想的な針またはその他の基準がEndoluminal-Viewにおいて現在のマウス位置により指定され、適切なニードル指向の傾斜Reformat-Viewが自動的に計算されて表示される。Endoluminal-Viewの基礎となる奥行き情報を用いて、気道壁を貫通せずにEndoluminal-Viewにおいてカメラ位置を進める機能も実現できる。

言うまでもなく、本発明は、医療用機器に関して説明されるが、本発明の教示はそれよりも広く、経路ナビゲーションを行うシステムと方法に適用可能である。いくつかの実施形態では、本原理は、複雑な生物学的または機械的なシステムをトラッキングまたは分析するのに利用される。具体的に、本原理は、生物学的システムの内部トラッキング行為に適用可能であり、肺、消化管、排泄器官、血管などの人体のすべてのエリアにおける行為に適用可能である。図面に示した要素は、ハードウェアとソフトウェアの様々な組合せで実施でき、複数の機能を提供でき、これらの機能は、単一の要素または複数の要素に組み合わせできる。

図示した様々な要素の機能は、専用ハードウェアを用いても、ソフトウェアを実行可能なハードウェアと適当なソフトウェアとを組み合わせても提供できる。プロセッサにより提供される場合、機能を単一の専用プロセッサで提供してもよいし、共有された単一のプロセッサで提供してもよいし、一部が共有された複数の個別プロセッサで提供してもよい。さらに、「プロセッサ」または「コントローラ」という用語を明示的に使用した場合、ソフトウェアを実行できるハードウェアのみをいうと解釈してはならず、限定はされないが、デジタルシグナルプロセッサ（ＤＳＰ）、ソフトウェアを記憶するＲＯＭ、ＲＡＭ、不揮発性記憶装置等を黙示的に含んでもよい。

さらに、本発明の原理、態様、実施形態、及びその実施例のすべての記載は、その構成的等価物及び機能的等価物の両方を含むものである。また、かかる均等物は、現在知られている均等物及び将来開発される均等物を含み、すなわち、構成にかかわらず同じ機能を発揮する開発されるすべての要素を含む。このように、例えば、当業者には言うまでもなく、ここに説明したブロック図は本発明の原理を化体するシステムコンポーネント及び／または回路を概念的に示すものである。同様に、言うまでもなく、フローチャート、フロー図等は、様々な方法（processes）を表し、これらの方法をコンピュータ読み取り可能記憶媒体に実質的に表しても、明示的に示していようがいまいがコンピュータやプロセッサで実行してもよい。
さらに、本発明の実施形態は、コンピュータや命令実行システムにより使用されるプログラムコードを提供するコンピュータ利用可能媒体またはコンピュータ読み取り可能媒体からアクセスできるコンピュータプログラム製品の形体を取りうる。本開示の目的では、コンピュータ使用可能またはコンピュータ読み取り可能媒体は、命令実行システム、装置、まはたデバイスにより、またはそれらに関して使用される、プログラムを包含、格納、伝達、伝送、搬送できる任意の装置である。 この媒体は、電子的媒体、磁気的媒体、光媒体、光磁気媒体、赤外線媒体、半導体システム（または装置やデバイス）、伝達媒体などである。コンピュータ読み取り可能媒体の例としては、半導体または固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、固定磁気ディスク、光ディスクなどがある。光ディスクの例としては、コンパクトディスク−リードオンリメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）、ブルーレイ（商標）、及びＤＶＤなどがある。

ここで図面を参照する。図中、同様の数字は同一のまたは同様の要素を表す。最初に図１を参照して、一実施形態による、グラフィカル経路プランニング及びデバイストラッキングをするシステム１００を例示する。システム１００は、医療用ワークステーションの画像ディスプレイモジュールにおいて利用でき、気管支鏡専用ソフトウェアスイート（例えば侵襲コックピット）で、または血管トレーシング（例えば塞栓症と血小板検査）で有用である。他のアプリケーションも想定している。

システム１００は、手順を監視及び／または管理するワークステーションまたはコンソール１１２を含む。ワークステーション１１２は、好ましくは、一または複数のプロセッサ１１４と、プログラムとアプリケーションを記憶するメモリ１１６とを含む。メモリ１１６は、仮想命令を生成し、複数のビューポートを、実際のカメラからの画像、画像ボリューム（術前の画像）、画像スライス（ＣＴスキャン）などを見るように合わせ、複数ビューにおけるイベントを再生するように構成された画像処理モジュール１１５を記憶している。画像処理モジュール１１５は、医療用デバイスまたは機器（または仮想的機器またはデバイス）１０２及び／またはその周囲の領域の実際のまたは仮想的な経路に沿って、実際の及び仮想的な画像を再構成するように構成されている。医療用デバイス１０２は、カテーテル、ガイドワイヤ、プローブ、ニードル、内視鏡、ロボット、電極、フィルタデバイス、バルーンデバイス、その他の医療用コンポーネント等、または仮想的モデル、または仮想的モデル、またはかかるデバイスの表現を含み得る。経路システム１４８の術前画像ボリューム１１１を最初に生成するデバイス１０２を利用することもできる。

術前画像化データまたはリアルタイム術中画像化データを収集する画像化システム１１０を設けてもよい。術前画像化は、他の施設、ロケーションなどで、すべての手順に先立って行われてもよい。これらの画像１１１は、メモリ１１６に格納され、（実際のまたは仮想的な）患者または経路システム１４８の術前３次元画像ボリュームを含んでもいてもよい。

特に有用な一実施形態では、デバイス／仮想デバイス１０２を利用して、ターゲットを発見または観察する。ターゲットは、病変、腫瘍、けがの部位、オブジェクト、またはその他のターゲットを含み得る。他の一実施形態では、デバイス１０２はまったく必要ない。実際、仮想的デバイスまたはカーソルを用いて、仮想的または術前の画像（１１１）を用いて、経路にコースを記すことができる。

画像処理モジュール１１５は、経路決定モジュールまたはツール１４４を含む。経路決定モジュール１４４は、術前画像１１１中の経路に沿ったナビゲーションをプランニングして侵襲的手順を計画するユーザ機能を提供する。ワークステーション１１２は、被験者の内部画像を見るためのディスプレイ１１８を含む。画像は術前画像、リアルタイムカメラ画像、及び／またはリアルタイム術中画像を含み得る。画像化システム１１０を用いる場合、画像化システム１１０は、磁気共鳴画像化（ＭＲＩ）システム、蛍光透視システム、コンピュータ断層撮影（ＣＴ）システム、超音波（ＵＳ）などを含む。また、ディスプレイ１１８により、ユーザは、ワークステーション１１２及びそのコンポーネント・機能とインターラクトできる。ディスプレイ１１８は、好ましくは、グラフィカルユーザインタフェース（ＧＵＩ）１０６中の１つ以上のペイン（panes）またはビューポート１２４を表示するように構成される。ビューポート１２４は、好ましくは、リアルのまたは仮想的なトリガーイベントに基づき同時に更新されるように、相関している。ディスプレイ１１８とのユーザインターラクションはインタフェース１２０によりさらに容易になる。インタフェース１２０は、キーボード、マウス、ジョイスティック、その他の周辺機器またはコントロールなどのハードウェアデバイスを含み、仮想コントロール、パネル、ディスプレイペインなどのソフトウェアデバイスを、または両者の組み合わせを含み、ポインティングコントロール１０８のためのワークステーション１１２とのユーザインターラクションさせ得る。

一実施形態では、経路決定モジュール１４４は、インタフェース１２０用のソフトウェアデバイスを生成及び制御する。インタフェース１２０のマウスまたはポインタデバイス（１０８）を用いて、例えば気道から肺までの、適切な経路を、経路システム１４８によりプランニングする支援をする。ユーザはある位置でマウス１０８をクリックして、その位置を、侵襲的手順において後で通る（traverse）経路上のポイント位置として特定する。ポイント位置は、CTスキャンなどからの２次元スライス画像中で特定することもできる。プランニングは、最初のマウスポイント位置としてのターゲットサイトで始めてもよい。マウスポイント位置は、マウスまたは類似のデバイスを用いてポイント・アンド・クリックタイプの操作により示された仮想的な画像中の位置として定義される。現在表示されているリフォーマットスライス中の新しい各マウスポイント位置に対して、経路プランニングモジュール１４４を用いて、その後に行う手順中に通る経路をプランニングする以下のステップを行ってもよい。

図２を参照して、ブロック／フロー図は、経路システムにおける経路をプランニングするステップの例を示す。以下のステップは、プランニングモジュール１４４により制御または実行される。ブロック２０２において、両方向（例えばアップストリームとダウンストリーム）で経路の局所的抽出（セグメンテーション）を行う。抽出は、好ましくは、リアルタイムでの計算をできる限られた長さの断片で行い、既知のセグメンテーションアルゴリズム、例えばcentricity-based region growingアルゴリズムやtree segmentation and reconstructionアルゴリズムを用いて行われる。

ブロック２０４において、局所的経路セグメンテーションがうまくいかない、または現在のマウス位置が経路内に入る信頼性が低い場合、ブロック２０５において現在のビュープレーンの更新は行わない。そうでなければ、ブロック２０６において、経路の局所的中心「ｃａ」を決定する。ブロック２０８において、推定された経路中心ｃａと現在のマウスポイントｐとの間の差ベクトルｄ＝ｃａ−ｐを決定し、現在表示されているビュープレーンの放線ベクトルｎへの射影ｓ＝ｄ／ｎである射影「ｓ」を行う。次に、ビュープレーンの中心をｃｏからｃｏ＋ｓｎに更新する。ブロック２１０において、経路の局所的方向ベクトルｖａを決定する。ブロック２１２において、放線ｎに平行なｖａのベクトル成分と、現在表示されているビュープレーンの垂直ベクトルｅｖを減算して、直交化ベクトルｖを求める。次に、現在表示されているビュープレーンの水平ベクトルｅｈを、ｖとアライメント（aligned）するように調整する。これを実現するため、現在のマウスポイントｐを通る頭尾方向軸（cranio-caudal axis）の周りに回転する。

ブロック２１４において、現在表示されているビュープレーンを新しいプレーンパラメータ（例えばベクトル）を用いて更新する。ブロック２１６において、マウスのドラッグにより生成された経路に沿ってすべての３次元位置をトレースして、半自動経路プランニングの入力として用いるため記憶する。プロセス全体にわたって、経路ポイントを、センタリングと平滑化などのさらに別の処理アルゴリズムにかけてもよい。

図３を参照して、ベクトル図は、図２のワークフロー例による上記のベクトル演算を例示する。カレントビュープレーン２２０は、局所的にセグメント化された気道２２４の断面を示す。気道の局所的中心ｃａを決定または推定する。推定された経路中心ｃａと現在のマウスポイントｐとの間の差ベクトルｄ＝ｃａ−ｐを決定する。現在表示されているビュープレーン２２０の放線ベクトルｎへの射影ｓ＝ｄ・ｎである射影「ｓ」を行う。次に、よりよい可視化のため、ビュープレーンの中心を（例えばｃｏからｃｏ＋ｓｎに）更新する。経路の局所的方向ベクトルｖａを決定する。法線ｎに平行なｖａのベクトル成分と、現在表示されているビュープレーン２２０の（頭尾方向軸２２２に沿った）垂直ベクトルｅｖを減算し、直交化ベクトル（図示せず）を求める。次に、現在表示されているビュープレーン２２０の水平ベクトルｅｈを、ｖとアライメント（aligned）するように調整する。これを実現するため、現在のマウスポイントｐを通る頭尾方向軸（cranio-caudal axis）２２２の周りに回転する。

現在表示されているビュープレーン２２０を新しいプレーンパラメータ（例えばベクトル）を用いて更新する。更新後、中心ポイントｃａはビュープレーン上にあり、プレーン法線ｎは方向ｖａに対して直交している。マウスのドラッグにより生成された経路に沿ってすべての３次元位置をトレースして、半自動経路プランニングの入力として用いるため記憶する。経路ポイントに対してさらに別の処理（例えばセンタリングと平滑化）をしてもよい。換言すると、現在のビュー（リフォーマット）プレーン２２０上のマウス位置ｐから始めて局所的に経路をセグメント化し、連続的な更新サイクルにおいて、リフォーマットプレーン２２０をプレーン法線ｎに沿って前後にシフトして、推定経路中心ｃａがリフォーマットプレーン２２０中に来て、プレーン２２０が頭尾方向軸２２２の周りに回転し、リフォーマットプレーン２２０を法線ｎが推定される局所的経路方向に直交するようにする。

再び図１を参照するに、経路プランニングモジュール１４４は、ユーザにより提供されるマウスドラッグデータを用いて経路計算を支援する。手順まえに撮像した診断立体ＣＴ画像などの術前画像１１１は、その手順の「ロードマップ」として機能し、患者のアナトミーに関する非常に詳細な情報を提供する。これらの画像１１１をプランニングに利用して、例えば、所望のターゲットに到達する、肺の気道に沿った最適経路を確定する。一実施形態では、画像１１１も利用して、経路をプランニングする時にディスプレイ１１８を更新するのに用いるスライスを提供する。スライスは、マウスが経路に沿ってドラッグされると更新される２次元断面である。経路に沿って奥行きが変化すると、プランニングを続けられるように、スライスがより新しいスライスで更新される。スライスは、マウスポイントのセンタリング情報に基づいて更新され、またはユーザによりマニュアルで更新される。

図４Ａと図４Ｂを参照するに、肺３０６の２つの連続したスライス３０８と３１０を例示的に示した。本原理によると、肺３０６はＣＴを用いて画像化される。図４Ａにおいて、マウスポイントを気道３０４内で選択し、経路に沿ってドラッグしてマウスドラッグ３０２を提供する。マウスドラッグ３０２を伸ばすと、スライス３０８中の気道の腔内（endoluminal）部分を出てしまう。プラニング経路モジュール（１４４）は、マウスドラッグ３０２を再センタリングし、ビューを図４Ｂのスライス３１０に切り替える。図４Ｂのスライス３１０では、マウスドラッグ３０２を続けてその行き先ポイントに行ける。スライス３１０は、スライス３０８の２次元画像に対応する次のＣＴスキャンスライスであり、スライス３１０の奥行きはスライス３０８と異なる。これにより、気道３０４の腔内キャビティの追加的位置にアクセスできるようにすることにより、マウスドラッグ３０２を所望の経路に沿ってさらに伸ばすことができる。また、奥行き（第３次元）は画像処理により更新されるので、ナビゲーションプロセスは、（スライス中の）２次元でよい。これによりプランニング手順が大幅に簡略化される。好ましくは、マウスドラッグ３０２をターゲット位置で始め、エントリーポイントまたはポートなど（例えば、肺の場合には気管）の最初の開始ポイントに向けて後ろ向きに進む。

図５を参照するに、例示したグラフィカルユーザインタフェース（ＧＵＩ）４００は複数のビューポート４０２、４０４、４０６及び４０８を含む。ＧＵＩ４００はワークステーション１１２（図１）において利用できる。これは気管支鏡検査コックピットまたはその他の気管支鏡検査手順をプランニングしてガイドするシステムを含み得る。ビューポート４０２，４０４，４０６及び４０８は例示的な構成を示し、ビューポートの数はより多くても少なくてもよい。ビューポート４０２，４０４，４０６及び４０８の構成は、方向が異なっても、異なるサイズのペイン（panes）であってもよい。この例では、ビューポート４０２にはStandard-View（SV）（軸性）が示されている。ビューポート４０４には、Endoluminal-View（EV)が示されている。１つ以上の傾いたReformatted-Views（例えば、ＲＶ１，ＲＶ２，ＲＶ３など）がビューポート４０６と４０８に示されている。ビューポート４０４は、術前画像ボリュームまたはコンピュータで生成された画像ボリュームを含む。ビューポート４０２，４０４，４０６及び４０８はすべてジオメトリカルに結合され、ニードルベクトル４１０として示した仮想ラインまたはニードルの概念により管理される。言うまでもなく、ＧＵＩ４００は、手順に対するナビゲーションをプランニングするために利用され、または侵襲的手順のおいてツールとして利用できる。

例示では、Endoluminal-View４０４におけるマウスの動きにより、現在のマウスポイント４１２が、バイオプシーニードルが進む気道壁４１４中のポイントであるとの仮定の下、他のビューポート４０２、４０６，４０８がリアルタイムで更新される。ポイント４１２は、ビューポート４０４の仮想的な腔内レンダリングにおけるこのポイントのビューイング方向と、仮想的腔内レンダリングにおけるこのポイント４１２の奥行き値とにより決定される。この気道壁ポイント座標により、仮想的なニードルベクトルが、気道壁ポイント４１２と、Endoluminal-View４０４の現在のカメラ位置との間のベクトルとして計算される。あるいは、カメラ位置の代わりに他の位置を指定してもよい。例えば、（カメラ位置ではなく）気管支鏡のワーキングチャネルのマウス位置を仮想ニードルの開始ポイントとして指定してもよい。仮想的位置を用いることもできる。

（ビューポート４０４内の）現在の腔内カメラ位置とニードルベクトル４１０により与えられるプレーンを示す１つの傾いたReformatted-View ＲＶ１ ４０６を計算して、表示する。（ビューポート４０４の）現在の腔内カメラ位置により与えられ、ニードルベクトル４１０に平行であるが、ビューポート４０６のＲＶ１に直交する他のReformatted-View RV２（図示せず）を計算してもよい。（ビューポート４０４の）現在の腔内カメラ位置により与えられニードルベクトル４１０に直交する（直角な）プレーンの第３のReformatted-View RV３ ４０８を計算する。

仮想的ニードル４１０はReformatted-Views ＲＶ１（及び／または、図示されていればＲＶ２）に引いたラインにより表示される。ニードル４１０はＲＶ３ ４０８に対して直角であり、ＲＶ３ ４０８では１つの点または十字線として示されるだけである。仮想的なニードル４１０が気道壁を貫通するポイントは、Standard-View４０２においてマーカ４１８として示され、Standard-View４０２の中央座標はこのポイントにリセットされ、ビューをセンタリングし、仮想的なニードル４１０の軌跡を見えるようにする。

Endoluminal-View４０４へのマウスクリックを、仮想的な腔内レンダリングにおける腔内キャビティの方向に沿ってカメラ位置を動かす方法として利用できる。カメラ変位ベクトルの長さは、仮想的腔内レンダリングにおけるこのポイントの奥行き値の割合により与えられる。（段階的な長さの割合は、例えば５０％に固定してもユーザが調節可能としてもよい。）これにより、ユーザがEndoluminal-View４０４のどこをクリックしても、次のカメラ位置はまだ気道内にある。すべてのビューポートは、新しいカメラ位置に更新される。

言うまでもなく、上記の例は例示であり、本原理による多くのバリエーションを利用することができる。例えば、Standard-View４０２は、この例では軸平行である；しかし、軸性、冠状、矢状方向であっても、３つの方向すべてが同時に与えられてもよい。Endoluminal-View４０４は、直接的ボリュームレンダリングとして、メッシュによるサーフェスレンダリングとして、または閾値ボリューム画像として計算してもよい。Reformatted-View４０６，４０８は、シンスライスリフォーマット、スラブリフォーマット（例えば、最大強度または平均強度）、または直接的ボリュームレンダリングスラブを含み得る。他のバリエーションも想定している。

Standard-View（４０２）におけるマウスクリックを用いて、マウスクリックポイントにおけるEndoluminal-View（４０４）のレンダリングをトリガーしてもよい。適当な局所的気道抽出アルゴリズムを用いて、このポイントのカメラ方向を自動的に推定する。すべてのビューポートが適宜更新される。言うまでもなく、どのビューポートを更新しても、他のビューの更新がトリガーされる。この更新機能は、必要に応じてすべてのビューに、または一部のビューに、イネーブルされる。例えば、Reformatted-View４０６または４０８におけるマウスクリックにより、Standard-View４０２の中央ポイント及びEndoluminal-View４０４のカメラポイントが、選択されたポイントにリセットされ、すべてのビューポートが適宜更新され得る。Endoluminal-View４０４中に見える各気道壁ポイントに対して、Endoluminal-View４０４のビューイングレンジがReformatted-View（図示せず）中の境界線（boundary contour line）として見えるように、その位置はReformatted-View４０６、４０８（例えば、ＲＶ１，ＲＶ２，ＲＶ３など）においてカラー表示（color-coded）されてもよい。Endoluminal-View４０４において、色づけされたオーバーレイ（図示せず）を利用して、気管支鏡のバイオプシーニードルがカメラアングルから外れても良い最大角度を示しても良い。この機能は、手順をプランニングするためにニードルをアライメントする際に有用である。

特に有用な実施形態では、Endoluminal-View４０４のマウスホイールの動きを利用して、マウスクリックによりカメラ位置を進めたり下がらせたりする際のステップ長を変更してもよい。現在のステップ長でのマウスクリックによる次の位置を、Reformatted-View４０６（及び、用いていればＲＶ２）中のマーカとして示す。

Reformatted-View ＲＶ３ ４０８は、現在のカメラポイントにより計算されるだけではなく、仮想的ニードル４１０上のどのポイントに対しても計算して、例えば、ユーザがマウスホイールを用いてかかるポイントを連続的に選択して、仮想的ニードル４１０に沿って（及びそれと直角に）画像ボリューム中をスクロールできるようにしてもよい。Endoluminal-View４０４において（マウスクリックではなく）マウスドラッグを用いて、そのマウスドラッグの方向に応じて、カメラのビューイング方向を変え、またはカメラのアップ方向を変えることもできる。

ＧＵＩ４００は、ビュー選択、方向、画像処理などの設定をする仮想的コントロール及びボタン４２０を含む。コントロール４２２は、コントロールポインタ／マウスオプション及びコントロールを提供する。他の仮想的コントロール、メニューボックスなどを用いても良い。

図６を参照して、手順をプランニングする方法を説明するブロック図を示す。ブロック５０２において、経路構成用の術前画像が撮像または提供される。これには、手順前の任意の時間におけるＣＴスキャン、磁気共鳴画像化（ＭＲＩ）スキャンが含まれる。ブロック５０３において、術前画像を処理する。ブロック５０４において、経路構成を、カーソルの現在位置に対応する断片にセグメント化する。断片はリアルタイム計算ができるように小さくすべきである。ブロック５０５において、好ましくは、カーソル位置に対して２次元で、経路構成の腔内構造を局所的に抽出する。

ブロック５０６において、第１のエンドポイントを、経路構造の画像ボリューム中に配置する。画像ボリュームは、好ましくは、奥行きに沿ってスタックされた複数のスライスよりなる。画像ボリュームは肺、血管またはネットワークなどを含み得る。第１のエンドポイントは、腫瘍、病変、傷など、侵襲的手順を及ぼすターゲットを含み得る。ブロック５０８において、経路構造の画像ボリュームにおいて開始点を選択する。開始点の選択には、マウスをクリックしてマウスドラッグの開始点を選択することを含み得る。ブロック５１０において、経路構造に沿って経路を延ばす。これには、マウスをドラッグして、画像ボリュームの画像において仮想的にレンダリングされたラインを伸ばすことを含み得る。マウスのクリックとドラッグを説明したが、他の方法と動作を用いても良い。

ブロック５１２において、経路構造の経路における奥行きの現在位置に対応する画像スライスを表示する。画像スライスに対応する経路構造に沿った奥行きの変化に応じて、奥行きに沿って画像スライスを更新する。一例では、腔内構造に沿って経路を選択する。腔内構造のセンターラインが計算されたら、マウスドラッグをする。ブロック５１４において、経路中の腔内構造の中心位置を計算し、その中心位置を経路のトレースと比較して、見られているスタックされたスライスを更新すべきか決定する。マウスドラッグが続くにつれ、腔内構造に従ってマウスドラッグの奥行きが変わる。奥行きが変わるにつれて、画像スライスが更新される。

ブロック５１６において、経路にそってエンドポイントまで経路が（例えば、マウスドラッグを介して）ナビゲートされる。ブロック５１８において、手順のプランを生成するため、経路を記憶する。ブロック５２０において、動き相関マルチビューディスプレイツール及び方法（例えば図７を参照）を用いて、経路を分析し、修正してもよい。

図７を参照して、動作可能に複数のビューポートを結合する方法を示す。プランニング手順において複数のビューポートを利用できる。しかし、その他のアプリケーションも利用することが可能である。ブロック６０４において、ユーザが経路システムにより経路を選択できるように構成されたグラフィカルユーザインタフェースにおいて、経路構造の腔内ビューを生成する。腔内ビューは、術前画像、コンピュータ生成画像、画像メッシュなどを含み得る。ブロック６０８において、画像ボリュームの他の一以上のビューを生成する。この一以上のビューは、一以上の標準ビュー及びリフォーマットされたビューを含み得る。リフォーマットされたビューは、仮想ラインに平行なビューまたは仮想ラインに直角なビューのうちの一方を含み得る。腔内ビュー及びその他のビューは、ディスプレイデバイス上の複数のペイン（panes）に同時に表示されることが望ましい。

ブロック６１２において、仮想ラインを生成して、腔内ビューと一以上のその他のビューを含む複数のビューに空間的基準を提供する。仮想的ラインは、腔内ビューをガイドするように構成され、その仮想的ラインのユーザが選択した位置更新に対応するすべてのビューにおいて同時に更新させる基準を提供する。ビュー中の仮想的ラインを囲む画像情報は、ユーザインタフェースにおいて同時に見ることができる。ブロック６１６において、腔内ビューまたはその他のビューにおいて、ポインティング制御デバイスを前進または後進させることにより、仮想的ラインを前進または後進させる。選択されたすべてのビューが適宜更新される。ブロック６２０において、一実施形態では、腔内ビューを利用して腔内構造の壁におけるニードル挿入ポイントを決定し、他の少なくとも１つのビューを利用して、腔内ビューでは見えない、壁の向こうの構造を決定する。仮想ラインはバイオプシーニードルまたはその他の機器をモデル化するために利用されてもよい。本原理によって、他のビューや相関したビューポートの使用を提供することもできる。ブロック６２２において、好ましくは、選択されたすべてのビューに仮想ラインが示される。

ブロック６２４において、複数のビューのうちの少なくとも１つのビューのカメラアングルを、ポインティング制御デバイスを用いて変更できる。ポインティング制御デバイスは、マウスまたは同等のデバイスを含み得る。カメラ制御はマウスホイールなどにより行われる。

添付した請求項の解釈において、以下のことを理解すべきである：
ａ）「有する」という用語は、請求項に上げられたもの以外の構成要素やステップの存在を排除するものではない；
ｂ）構成要素に付された「１つの」、「一」という用語は、その構成要素が複数あることを排除するものではない；
c）請求項中の参照符号はその請求項の範囲を限定するものではない；
ｄ）同一のアイテム、ハードウェアまたはソフトウェアにより実施された構造、もしくは機能により、幾つかの「手段」を代表してもよい；
ｅ）特に断らなければ、動作（act)の順序を指定するものではない。

半自動経路プランニングのための自動的奥行きスクローリング及び方向調整の好ましい実施形態（これらは例示であって限定ではない）を説明したが、当業者は上記の教示を考慮して修正や変形をすることができることに留意すべきである。それゆえ、当然のことながら、添付した請求項により規定されるここに開示した実施形態の範囲内における、開示した開示の実施形態を変更することができる。特許法により要求される詳細と具体性をもって説明した。特許証により請求され保護を求めるものは、添付した請求項に記載されている。

Claims (12)

1. プランニングシステムであって、
   プロセッサと、
   前記プロセッサに結合し、プランニングモジュールを格納したメモリと、
   前記プロセッサに結合し、経路システムによりユーザに経路を選択させるように構成されたユーザインタフェースとを有し、
   前記プランニングモジュールは、前記経路がナビゲートされるにつれ、前記経路中のカーソルポイントの奥行きに従って一以上の２次元スライスが更新されるように、前記ユーザインタフェースを用いてガイドされたユーザ制御カーソルポイントに対応する画像ボリュームの前記一以上の２次元スライスを順次表示するように構成され、前記経路は内腔境界の内側及び外側の位置を含み、
   前記プランニングモジュールは、前記経路中の腔内構造の中心位置を計算し、前記中心位置を、前記経路のトレースと比較して、見られているスライスを更新すべきか決定する、
   システム。
2. 前記プランニングモジュールは前記経路を示すトレースラインを生成するように構成された、請求項１に記載のシステム。
3. 前記ユーザ制御カーソルポイントはディスプレイペイン内でセンタリングされ、前記プランニングモジュールは画像スライスのカーソルポイント奥行きをチェックして、前記画像スライスが更新されるべきか決定する、
   請求項１に記載のシステム。
4. カーソル位置について２次元で前記経路システムの腔内構造の局所的抽出を行うように構成された画像処理モジュールをさらに有する、
   請求項１に記載のシステム。
5. 動作可能に結合された複数のビューポートを有するシステムであって、
   プロセッサと、
   前記プロセッサに結合し、画像処理モジュールを格納したメモリと、
   前記プロセッサに結合し、経路システムによりユーザに経路を選択させるように構成されたグラフィカルユーザインタフェースとを有し、
   前記画像処理モジュールは、
   前記経路の腔内ビューと、
   画像ボリュームの他の一以上のビューと、
   前記腔内ビューと前記他の一以上のビューとを含む選択されたすべてのビューにおいて空間的基準を提供するユーザが引いた仮想ラインと、
   前記仮想ラインに続くユーザ制御カーソルポイントであって、前記ユーザ制御カーソルポイントにおける選択更新に対応して、選択されたすべてのビューにおける更新をさせ、他のビューにおける前記ユーザ制御カーソルポイントの周りの画像情報が前記グラフィカルユーザインタフェースにおいて同時に見ることができるようにする、ユーザ制御カーソルポイントと、をレンダリングするように構成され、
   前記腔内ビューは、腔内構造の壁におけるニードル挿入ポイントを示し、他の少なくとも１つのビューを利用して、前記腔内ビューでは見えない、前記壁の向こうの構造を決定する、
   システム。
6. 前記仮想ラインは、ポインティング制御デバイスを前進または後退させることにより、前記腔内ビューにおいて前進または後退する、
   請求項５に記載のシステム。
7. 前記仮想ラインは前記選択されたすべてのビューに示される、
   請求項５に記載のシステム。
8. 手順をプランニングする方法であって、
   経路構造の画像ボリュームに終了点を配置するステップと、
   前記経路構造の画像ボリューム中の開始点を選択するステップと、
   前記終了点と開始点との間の前記経路構造にそってユーザが引いた経路を延ばすステップと、
   前記経路に沿った奥行き位置に応じて、前記経路に沿って前記経路構造の２次元画像スライスを更新するステップと、
   前記経路に沿って前記終了点までナビゲーションするステップと、
   手順のプランを生成するため、前記経路を記憶するステップとを有し、
   前記経路中の腔内構造の中心位置を計算するステップと、前記中心位置を、前記経路のトレースと比較して、見られているスライスを更新すべきか決定するステップとをさらに有する、
   方法。
9. 複数のビューポートを動作可能に結合する方法であって、
   ユーザが経路システムにより経路を選択できるように構成されたグラフィカルユーザインタフェースにおいて、経路構造の腔内ビューを生成するステップと、
   画像ボリュームの他の一以上のビューを生成するステップと、
   前記腔内ビューと前記他の一以上のビューを含む複数のビューに空間的基準を提供するユーザが引いた仮想ラインを生成するステップであって、前記仮想ラインは前記腔内ビューをガイドするように構成され、前記仮想ラインのユーザ選択された位置更新に対応する、他のビューにおける更新を可能とする基準を提供するようにし、前記他のビューにおける前記仮想ラインの周りの画像情報は前記グラフィカルユーザインタフェースで同時にみることができるようにし、
   前記腔内ビューを利用して、腔内構造の壁におけるニードル挿入ポイントを決定し、他の少なくとも１つのビューを利用して、前記腔内ビューでは見えない、前記壁の向こうの構造を決定する、
   方法。
10. リフォーマットされたビューは、前記仮想ラインに平行なビュー、または前記仮想ラインに直角なビューのうちの一方を含む、
    請求項９に記載の方法。
11. 前記仮想ラインは、ポインティング制御デバイスを前進または後退させることにより、前記腔内ビューにおいて前進または後退する、
    請求項９に記載の方法。
12. 前記仮想ラインは前記選択されたすべてのビューに示される、
    請求項９に記載の方法。

Images