JP6730938B2 - 医学画像表示装置、医学画像表示システム、医学画像表示装置を動作させる方法 - Google Patents

Description

（背景）
（技術分野）
本開示は、動的なおよび変化する方法で医学画像を表示するシステムに関する。より具体的には、本開示は、ナビゲーション器具の位置および状態、および各点に時間内に到達する機能に基づいて動的に医学画像を表示するシステムに関する。

（関連技術の議論）
可視化技術は、医療分野において急速に成長してきた。特に、可視化技術は、切開の大きさを最小化すること、または、手術において患者の病気の低侵襲的な処置、および、低侵襲性的に患者の体内をナビゲートして目標の病変を識別し治療することに役立ってきた。しかしながら、可視化は、また、正しくない情報が表示されるという、予期しないリスクを提起する。さらに、正しくない情報が表示される場合、表示された情報を解釈するために、臨床医は困難な時を有し得る。

臨床医は、医療デバイスを使用しながら、手順、および／または、臨床医が達成したいと欲する機能に依存する動的な方法で、正しく適切な情報を得る必要がある。医療デバイスが正しく適切な情報をこのような条件の下で、表示できる場合、臨床医は、より少ない訓練のみを必要とする。また、このような条件の下で、設定が自動的に調節されて情報を表示する場合、臨床医およびスタッフメンバは、より早い、かつより容易な使用を経験できる。自動調節は、臨床医またはスタッフメンバが通常は医療デバイスを使用しない場合、より有益である。

（要旨）
一つの実施形態において、本開示は、肺の医学画像を画面上に表示する医学画像表示装置を開示する。医療学画像表示装置は、ナビゲーション器具の位置センサからのナビゲーション器具の位置情報、ナビゲーション器具の光学センサからのビデオストリームおよび画像化デバイスからの医学画像を受信するように構成されたネットワークインターフェイス、複数の医学画像および複数の医学画像を格納するメモリおよび命令、該命令を実行するように構成されたプロセッサ、および、動的に画像を画面上に表示するように構成されたディスプレイを含む。命令は、プロセッサによって実行される場合、医学画像表示装置に、状態情報が経路検討モード、目標管理モード、または、ナビゲーションモードを示すかを決定させる。プロセッサによって実行される場合、命令は、さらにディスプレイに、複数の医学画像の中で、ナビゲーション器具の位置情報および状態情報に基づいて、画面に表示される画像を動的に選択し、更新させる。

ある態様において、ナビゲーション器具は内視鏡器具である。

別の態様において、複数の医学画像は、矢状の、冠状の、または、軸位の画像、肺、目標、目標への経路計画、仮想気管支鏡ビデオ画像、実況の気管支鏡ビデオ画像、最大値投影画像、３Ｄ ＣＴ画像、ナビゲーション器具の遠位先端の三次元（３Ｄ）マップ、およびそれらの任意の組み合わせからなる群から選択される。矢状の、冠状の、または、軸位の画像は、コンピュータトモグラフィー、Ｘ線透視装置、コンピュータ支援トモグラフィー、陽電子放出トモグラフィー、または、磁気共鳴画像化法によって得られる。表示された画像は、合成画像であり、そこでは、第一の画像化法から得られた肺の第一の画像は、他の画像化法から得られた第二の画像と重ね合わされる。

一つの態様において、一部分が目標であり、第一の画像は、コンピュータトモグラフィーによって得られ、第二の画像は、Ｘ線透視装置によって得られる。ディスプレイは二つ以上の画像を、位置情報における変化に対応して、同期して表示する。

他の態様において、上記目標が３Ｄマップに表示される場合、目標の位置情報に基づいて、矢状の画像、冠状の画像、および／または、軸位の画像が選択され、表示される。位置情報における変化は、肺における、ナビゲーション器具の位置センサの動きを示す。

なおも別の態様において、ナビゲーション器具の位置センサの位置情報に基づいて、軸位の、冠状の、および矢状の画像が表示される。軸位の、冠状の、および矢状の画像の各々は、ズームおよびパンを含む制御によって制御される。

なおも別の態様において、３Ｄマップは、３Ｄマップの方向を示す方向インディケータと共に、表示される。

なおも別の態様において、ディスプレイは、位置情報が、位置センサは閾値位置を通り過ぎていないことを示すとき、実況の気管支鏡ビデオ画像を表示し、位置情報が、位置センサは閾値位置を通り過ぎたことを示すとき、ディスプレイは実況の気管支鏡ビデオ画像を取り除き、仮想気管支鏡ビデオ画像を表示する。

なおも別の態様において、実況の気管支鏡ビデオ画像が、ナビゲーションモードにおいて、ナビゲーション器具から受信されなかったと状態情報が示す場合、ディスプレイは最後に受信した画像を表示する。

なおも別の態様において、ディスプレイは、自動的に３Ｄマップを方向付けて、３Ｄマップにおける位置センサの現在の位置を十分な鮮明さで示す。

別の実施形態において、本開示は、医学画像を画面上に表示するための、医学画像表示システムを開示する。医学画像表示システムは、患者の画像を捕捉するように構成された画像化デバイス；患者の体内をナビゲートし、位置センサによって得られた位置情報および光学センサによって得られたビデオストリームを送信するように構成されたナビゲーション器具；ならびに、位置情報を受信するように構成されたネットワークインターフェイスを含む装置、および、ナビゲーション器具からのビデオストリーム、および、画像化デバイスから得られた画像、命令を実行するように構成されたプロセッサ、複数の医学画像および命令を格納するメモリ、および画面上に画像を表示するように構成されたディスプレイを含む。命令は、プロセッサによって実行される場合、装置に、ナビゲーション器具が位置情報およびビデオストリームを送信するかを示す、ナビゲーション器具の状態を決定させ、ナビゲーション器具の位置情報および状態情報に基づいて、ディスプレイに複数の画像の中で、画面に表示される画像を動的に選択し更新させる。

なおも別の実施形態において、本開示は、肺の医学画像を、肺のスライス画像、肺の三次元（３Ｄ）マップ、および目標への経路計画を格納する表示デバイスのディスプレイ上に動的に表示する方法を開示する。該方法は、表示デバイスの状態情報が、経路検討モード、ナビゲーションモード、または、目標管理モードを示しているかを決定することと、肺をナビゲートするナビゲーション器具の位置センサの位置を示す、ナビゲーション器具からの位置情報を受信することと、該決定された状態情報と位置情報に基づいて、医学画像を表示することとを含む。決定された状態情報が経路検討モードである場合、表示された医学画像は、３Ｄマップ、および経路計画および目標で重畳されている仮想気管支鏡ビデオ画像を含む。決定された状態情報がナビゲーションモードである場合、表示された医学画像は、３Ｄマップ、仮想または実況の気管支鏡ビデオ画像およびスライス画像を含み、それらのすべては、同期して位置センサの位置を追跡する。決定された状態情報が目標管理モードである場合、表示された医学画像は、独立な方向から撮られた３つのスライス画像および、目標を表示する最大値投影画像を含む。ナビゲーションモードにおいて、一つの画像がパンまたはズームされる場合、すべの画像および３Ｄマップが対応して、同期してパンまたはズームされる。

本開示の上記態様および実施形態のいずれも、本開示の範囲から外れることなく組み合わされる。
例えば、本願は以下の項目を提供する。
（項目１）
肺の医学画像を画面に表示する医学画像表示装置であって、該医学画像表示装置は、
ナビゲーション器具の位置センサから該ナビゲーション器具の位置情報と、該ナビゲーション器具の光学センサからのビデオストリームと、画像化デバイスからの医学画像とを受け取るように構成された、ネットワークインターフェイスと、
複数の医学画像および命令を格納するメモリと、
該命令を実行するように構成されたプロセッサと、
画像を該画面上に動的に表示するように構成されたディスプレイとを含み、
ここで、該命令は、該プロセッサによって実行される場合、医学画像表示装置に状態情報が経路検討モード、目標管理モード、または、ナビゲーションモードを示すかどうかを決定させ、
ここで、該命令は、該プロセッサによって実行される場合、該ナビゲーション器具の位置情報および状態情報に基づいて、該複数の医学画像の中で、該ディスプレイに該画面に、該画面に表示される画像を動的に選択させ、および更新させる、医学画像表示装置。
（項目２）
前記ナビゲーション器具は内視鏡器具である、項目１に記載の医学画像表示装置。
（項目３）
前記複数の医学画像は矢状の、冠状の、または、軸位の画像、肺の三次元（３Ｄ）マップ、目標、該目標への経路計画、仮想気管支鏡ビデオ画像、実況の気管支鏡ビデオ画像、最大値投影画像、３Ｄ ＣＴ画像、ナビゲーション器具の遠位先端、およびそれらの任意の組み合わせからなる群から選択される、項目１に記載の医学画像表示装置。
（項目４）
前記矢状の、冠状の、または軸位の画像はコンピュータトモグラフィ、Ｘ線透視装置、コンピュータ断支援トモグラフィー、陽電子放出トモグラフィー、または、磁気共鳴画像化法によって捕捉される、項目３に記載の医学画像表示装置。
（項目５）
表示された画像は合成画像であり、第一の画像化法から得られた肺の第一の画像は、別の画像化法から得られた第二の画像に重ねられている、項目３に記載の医学画像表示装置。
（項目６）
前記一部分は、前記目標であり、前記第一の画像は、コンピュータトモグラフィによって撮られており、前記第二の画像は、Ｘ線透視法によって撮られている、項目５に記載の医学画像表示装置。
（項目７）
前記ディスプレイは、前記位置情報における変化に対応して、二つ以上の画像を同期して表示する、項目１に記載の医学画像表示装置。
（項目８）
前記目標が３Ｄマップにおいて表示される場合、該目標の位置情報に基づいて、矢状の画像、冠状の画像、および／または、軸位の画像が選択され、かつ表示される、項目３に記載の医学画像表示装置。
（項目９）
前記位置情報における変化は、前記肺における前記ナビゲーション器具の前記位置センサの移動を示す、項目３に記載の医学画像表示装置。
（項目１０）
前記ナビゲーション器具の前記位置センサの前記位置情報に基づいて、前記軸位の画像、冠状の画像、および、矢状の画像が表示される、項目３に記載の医学画像表示装置。
（項目１１）
前記軸位の画像、冠状の画像、および矢状の画像のそれぞれは、制御装置によって制御される、項目１０に記載の医学画像表示装置。
（項目１２）
前記制御装置は、ズームとパンとを含む、項目１１に記載の医学画像表示装置。
（項目１３）
前記３Ｄマップは、方向インディケータと共に表示される、項目３に記載の医学画像表示装置。
（項目１４）
前記方向インディケータは、前記３Ｄマップの方向を示す、項目１３に記載の医学画像表示装置。
（項目１５）
前記位置情報が、前記位置センサは閾値位置を通過しないことを示す場合、前記ディスプレイは、前記実況の気管支鏡ビデオ画像を表示する、項目３に記載の医学画像表示装置。
（項目１６）
前記位置情報が、前記位置センサは前記閾値位置を通過することを示す場合、前記ディスプレイは、前記実況の気管支鏡ビデオ画像を除去し、前記仮想気管支鏡ビデオ画像を表示する、項目１５に記載の医学画像表示装置。
（項目１７）
前記ナビゲーションモードにおいて、前記状態情報が、実況の気管支鏡ビデオ画像が前記ナビゲーション器具から受信されていないことを示す場合、前記ディスプレイは、最後に受信した画像を表示する、項目３に記載の医学画像表示装置。
（項目１８）
前記ディスプレイは、前記３Ｄマップを自動的に配向して、３Ｄマップにおける前記位置センサの現在位置を十分な明瞭度で示す、項目３に記載の医学画像表示装置。
（項目１９）
医学画像を画面に表示する医学画像表示システムであって、該システムは、
患者の画像を捕捉するように構成された画像化デバイスと；
患者の内部をナビゲートし、位置センサによって得られた位置情報、および、光学センサによって得られたビデオストリームを送信するように構成されたナビゲーション装置と；
装置であって、該装置は、
該ナビゲーション器具からの該位置情報および該ビデオストリーム、および該画像化デバイスから得られた画像を受信するように構成された、ネットワークインターフェイスと；
命令を実行するように構成されたプロセッサと；
複数の医学画像および命令を格納するメモリと；
画像を該画面上に表示するように構成されたディスプレイとを含み、
ここで、該命令は、該プロセッサによって実行される場合、該ナビゲーション器具が該位置情報をおよび該ビデオストリームを送信するかどうかを示す該ナビゲーション器具の状態を決定させ、および、
ここで、該命令は、該プロセッサによって実行される場合、該ナビゲーション器具の位置情報および状態情報に基づいて、該複数の医学画像の中で、該ディスプレイに該画面に、該画面に表示される画像を動的に選択させ、および更新させる、装置、
とを含む、システム。
（項目２０）
肺の医学画像を該肺のスライス画像、該肺の三次元（３Ｄ）マップ、および目標への経路計画を格納する表示デバイスのディスプレイ上に動的に表示する方法であって、該方法は：
表示デバイスの状態情報が、経路検討モード、ナビゲーションモード、または、目標管理モードを示すかどうかを決定することと；
該肺をナビゲートする該ナビゲーション器具の位置センサの位置を示すナビゲーション器具から位置情報を受信することと；
該決定された状態情報および該位置情報に基づいて医学画像を表示することと、
を含み、
ここで、該決定された状態情報が該経路検討モードである場合、該表示された医学画像は、該経路計画および該目標に重ねられている該３Ｄマップおよび仮想気管支鏡ビデオ画像を含み、
ここで、該表示された医学画像は、該３Ｄマップ、該仮想または実況気管支鏡ビデオ画像、およびスライス画像を含み、該決定された状態情報が該ナビゲーションモードである場合、これらのすべては、該位置センサの該位置を同期して追跡し、
ここで、該表示された医学画像は、３つのスライス画像を含み、該決定された状態情報が該目標管理モードである場合、これらのスライス画像は、３つの独立した方向から撮られた、該目標を表示する最大値投影画像であり、かつ、
ここで、ナビゲーションモードにおいて、一つの画像がパンまたはズームされる場合、すべの画像および３Ｄマップが対応して、同期してパンまたはズームされる、
方法。

様々な実施形態の記述が添付の図面を参照して読まれるとき、本開示されるシステムおよび方法の対象および特徴が当業者に明らかになる。それらの図面は、

図１は、本開示の実施形態に従った、医学画像を画面に動的に表示するシステムの透視図である。 図２〜５は、本開示の実施形態に従った、図１のシステムの画面に表示された、動的に表示された画像のグラフィカルな例示である。 図２〜５は、本開示の実施形態に従った、図１のシステムの画面に表示された、動的に表示された画像のグラフィカルな例示である。 図２〜５は、本開示の実施形態に従った、図１のシステムの画面に表示された、動的に表示された画像のグラフィカルな例示である。 図２〜５は、本開示の実施形態に従った、図１のシステムの画面に表示された、動的に表示された画像のグラフィカルな例示である。 図６は、本開示の実施形態に従った、医学画像を動的に表示する方法を例示するフローチャートである。

（詳細な説明）
本開示は、医学画像を動的に画面に表示するシステムと方法に関する。システムディスプレイは、患者の内部の内視鏡デバイスの位置に基づいて、視覚的な、可聴な、および触覚的な情報を使用する適切な情報を更新、かつ、調節する。内視鏡デバイスの場所および状態情報に基づいて、画面上の画像を動的にかつ自動的に変えることは、表示システムの使用の容易さを促進し、臨床医のディスプレイの調節および変化に対する相互作用の必要性を減少する。

図１は、患者の胸の内部を低侵襲的に可視化して、画面上の医学画像および処理された画像を動的に表示する内視鏡ナビゲーションシステム１００を示す。特に、内視鏡ナビゲーションシステム１００は、ワークステーション１２０とナビゲーション器具１４０を含む。ワークステーション１２０は、ディスプレイ１２２、一つ以上のプロセッサ１２４、メモリ１２６、ネットワークインターフェイス１２８および入力デバイス１２９を含む。

ナビゲーション器具１４０は、気管支鏡１４４のワーキングチャネルの中へ挿入され得るカテーテル１４２を含む。監視デバイス１４６は、気管支鏡１４４によって生成された画像を表示する。ナビゲーション器具１４０の近位端のハンドル１４１は、カテーテル１４２に動作可能に接続されており、狭すぎて気管支鏡１４４がナビゲートできない、患者の領域へのカテーテル１４２のナビゲーションを可能にする。ナビゲーション器具１４０は、センサ１４３を含み得る。センサ１４３は、カテーテルの中に一体化して形成されてもよいか、または、カテーテル１４２の管腔を通って挿入可能な位置確認可能なガイド（ＬＧ）１４５上に形成されてもよい。ナビゲーションの間にＬＧ１４５を使用するとき、目標に到達すると、ＬＧ１４５は、カテーテル１４２を離れて、カテーテル１４２の管腔から除去され得る。この方法では、他の外科手術（例えば、生検、切除、密封、または、焼灼）が必要な場合、外科手術に対応する外科器具が、カテーテル１４２を通って挿入され得て、目標に到達する。

内視鏡ナビゲーションシステム１００は、外科用テーブル１６０をさらに含む。電磁（ＥＭ）場発生器１６５は、外科用テーブル１６０（例えば、下に置く、一体化して、または上面に置くか、患者１３０の下に置く）に関連し、電磁（ＥＭ）場発生器１６５によって発生された電磁（ＥＭ）場（示されない）内においてセンサ１４３の場所を識別することを支援するように使用され得る。

内視鏡ナビゲーションシステム１００は、追跡デバイス１４８および患者１３０上に置かれた基準センサ１５０を含み得る。ナビゲーション器具１４０は、気管支鏡を介し、有線接続または、無線接続（示されない）を通して動作可能に追跡デバイス１４８に結合される。基準センサ１５０は、電磁（ＥＭ）場発生器１６５によって発生された電磁波を感知し、患者の呼吸に起因する胸の運動パターンを感知する。基準センサ１５０は、患者の呼吸パターンを補償し得、電磁場内におけるセンサ」１４３の場所を識別することをより支援する。

追跡デバイス１４８は、位置情報をナビゲーション器具１４０に関連するセンサ１４３と患者内のセンサ１４３の場所を識別する基準センサ１５０とから受け取り、その位置を二次元画像および三次元マップと関連付け、患者１３０内のナビゲーション器具１４０のナビゲーションを可能にする。

ワークステーション１２０が３Ｄマップのセンサ１４３の位置を表示でき得るように、位置情報は、３Ｄマップの座標系において識別される。３Ｄマップとスライス画像を表示することは、さらに、以下で詳細に記述される。

一つ以上のプロセッサ１２４がコンピュータ実行可能な命令を実行する。プロセッサ１２４は、患者１３０の肺の３Ｄマップが、取り入れた医療におけるデジタル画像化および通信（ＤＩＣＯＭ）画像から生成され得るように、画像処理機能を行い得る。ディスプレイ１２２は、患者１３０の一部分の二次元（２Ｄ）画像、または三次元（３Ｄ）マップを表示し得る。プロセッサ１２４は、センサ１４３から感知された位置情報を処理し、センサ１４３の位置を識別し、登録処理を通じて、２Ｄ画像または３Ｄマップにおけるセンサ１４３の場所の識別を提供する。２Ｄ画像および３Ｄマップは、例えば、生検、または処置に対する目的のある点として、病変または腫瘍を場所決めかつ識別するように使用され得、その目標に到達するための経路を発生し、患者１３０の内部の目標へのナビゲーションを可能にする。

メモリ１２６は、データおよびプログラムを格納する。一つの態様において、データはＤＩＣＯＭ画像、３Ｄマップ、または、患者の治療記録、処方箋、および患者の病歴等の任意の他の関係するデータであり得、プログラムはナビゲーションおよび臨床医にガイダンスを提供し、３Ｄマップおよび２Ｄ画像上の経路の提示を提供する経路計画ソフトウェアであり得る。メモリに格納され得るプログラムの例は、Ｃｏｖｉｄｉｅｎ ＬＰによって販売されているＩＬＯＧＩＣ○Ｒ（登録商標）ナビゲーション計画および手順ソフトウェアパッケージを含む。計画ソフトウェアパッケージは、２０１３年３月１５日に出願された、「Ｐａｔｈｗａｙ Ｐｌａｎｎｉｎｇ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と称する、米国特許出願第１３／８３８，８０５号、米国特許出願第１３／８３８，９９７号、および米国特許出願第１３／８３９，２２４号に、および手順ソフトウェアパッケージは、Ｂｒｏｗｎ他によって２０１４年７月２日に出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｎａｖｉｇａｔｉｎｇ Ｗｉｔｈｉｎ Ｔｈｅ Ｌｕｎｇ」と称する米国仮特許出願第６２／０２０，２４０号に見られる。これらのすべては、Ｃｏｖｉｄｉｅｎ ＬＰによって出願され、その全体の内容が、参照により本明細書に援用されている。

図２から５は、本開示の実施形態に従った、ワークステーション１２０がディスプレイ１２２上に提示できる様々なウィンドウを例示する。ディスプレイ１２２は、内視鏡ナビゲーションシステム１００の動作のモードに基づいて、特定のウィンドウを提示し得、これらのモードは目標管理モード、経路計画モード、ナビゲーションモード、および本明細書に記載されたような他のものを含み得る。

図２は、開示の実施形態に従った、目標管理モードを例示する。目標が識別された後、臨床医は、各目標の場所またはサイズを優先順位付けるか確立するように、検討し管理し得る。目標管理モードは、３Ｄマップウィンドウ２１０および軸位表示ウィンドウ２３０、冠状表示ウィンドウ２５０および矢状表示ウィンドウ２７０を含む３つのウィンドウを含み得る。目標管理モードは、３Ｄマップウィンドウ２１０を、左側に位置し得、目標２１５を示し得る。目標２１５は、大きさでは比例的には表示されないが、臨床医にその場所を気づかせる。これらのウィンドウ２３０から２７０は、目標２１５場所に基づいて選択される。

一つの態様において、ディスプレイ１２２は、３Ｄマップウィンドウ２１０におけるすべての識別された目標を表示し得る。目標が、臨床医の指によって、または、ポインティング・デバイスによって選択される場合、３つのウィンドウ２３０から２７０は自動的に表示され、軸位の、矢状の、および冠状の、選択された目標の場所において互いに交差する画像を示す。さらに、選択された目標が、３Ｄマップウィンドウ２１０における他の非選択目標から区別できるように、選択された目標は、異なる色または形状で表示され得る。３Ｄマップウィンドウ２１０および３つのウィンドウ２３０から２７０は、選択された目標に基づいて同期され得る。選択された目標のサイズおよび場所情報は、３つのウィンドウ２３０から２７０において表示された情報と比較され識別され得る。臨床医は、場所における選択された目標のサイズおよび場所情報を訂正し、修正し得る。

別の態様において、３Ｄマップウィンドウ２１０にすでに表示された目標は、除去され得、新しい目標が目標管理モードに付加され得る。例えば、目標が選択され、対応するメニューが表示される場合、目標を除去することが選択され得る。そして、目標が３Ｄマップウィンドウ２１０から除去され、目標管理ウィンドウの右側には、対応するスライス画像が表示されない。または、新しい目標が付加された場合、新しい目標が３Ｄマップウィンドウ２１０に表示され、対応する３つのスライス画像が、目標管理ウィンドウの右側に積み重ねられた形式で表示されている。上に記載されたように、これらのウィンドウ２１０、２３０、２５０、および２７０が、手動で制御されて、臨床医が好むように、それらのサイズおよび場所を変更し得る。

一つの態様において、目標の場所のために、目標が明確に表示されない場合、３Ｄマップウィンドウ２１０は、回転されるか、パンされるか、または、ズームされる３Ｄマップ動的ウィンドウに自動的に切り換えられ得る。３Ｄマップ動的ウィンドウは、目標が明確に表示され得る様な方法で、自動的に回転されるか、パンされるか、またはズームされる。一つの態様において、図２の表示されたウィンドウは、生検用具が取られる場合、どこに次の目標があるかを、ナビゲーション段階において表示され得る。

ワークステーション１２０によって、目標が識別され、経路が識別される場合、臨床医は、ナビゲーション検討モードにおいて、経路を検討したいことがあり得る。図３は、計画段階のナビゲーション検討モードを例示し、該ナビゲーション検討モードにおいて、ワークステーション１２０は、３Ｄマップウィンドウ３１０および仮想気管支鏡検査法ウィンドウ３５０を、本開示の実施形態に従って、ディスプレイ１２２の画面上に示す。３Ｄマップウィンドウ３１０は、３Ｄマップを示し、かつ、仮想気管支鏡ウィンドウ３５０は、仮想気管支鏡ビデオ画像を示す。３Ｄマップウィンドウ３１０は、明白に表示し、かつ、経路３２０を目標３３０および現在位置インディケータ３１７に重ね合わせる。ナビゲーション検討モードにおいて、気管から目標３３０へのフライスルー視界が提示されているので、ディスプレイ１２２は、仮想気管支鏡検査法ウィンドウ３５０を常に示す。

仮想気管支鏡検査法ウィンドウ３５０は、また、検討のためのターゲット３３０に向かう経路３６０を示す。現在位置インディケータ３１７は、仮想気管支鏡検査法ウィンドウ３５０に示される現在位置に基づいてかつ現在位置に従って、３Ｄマップウィンドウ３１０において動く。一つの態様において、臨床医が、経路を示すことと経路を示さないこととの間に設定し得る表示選択肢に基づいて、経路３６０または３２０は、表示されないことがある。

仮想気管支鏡検査法ウィンドウ３５０は、不透明度のためのスライダ３７０を含む。該スライダ３７０を動かすことによって、仮想気管支鏡ビデオ画像の不透明度は、不透明から透明へ変化し得る。しかしながら、仮想気管支鏡の不透明度の状態は、３Ｄマップウィンドウ３１０に示される３Ｄマップには同期していない。

図４Ａおよび４Ｂは、ナビゲーションモードの間に表示されたウィンドウを例示しており、ナビゲーションモードは、本開示の実施形態に従った中央モードおよび周辺ナビゲーションモードを含む。この中央モードにおいて、ワークステーション１２０は、３Ｄマップウィンドウ４１０と、実況の気管支鏡検査法ウィンドウ４５０を、図４Ａに示されるように表示し得る。

３Ｄマップウィンドウ４１０は、患者の気道の３Ｄマップを表示し、実況の気管支鏡検査法ウィンドウ４５０は、気管支鏡１４４の遠位端に位置決めされた光学センサによって受け取られた実況の気管支鏡ビデオ画像を表示する。目標が肺の中央気道（例えば、気管または第一の気管支）にある場合、気管支鏡は目標に到達でき、実況の気管支鏡検査法ウィンドウ４５０は、実況の気管支鏡ビデオ画像および目標への経路を表示できる。

３Ｄマップウィンドウ４１０は、肺の３Ｄマップ４１５および、カテーテル１４２のＬＧ１４５のセンサ１４３の現在の位置を示す現在位置インディケータ４１７を表示する。センサ１４３が肺を目標に向かってナビゲートするので、現在位置インディケータ４１７は３Ｄマップ４１５中を、肺の中のセンサ１４３の実際の位置に対応する位置に移動する。例えば、センサ１４３は、実況の気管支鏡検査法ウィンドウ４５０における肺の分岐位置に近く、現在位置インディケータ４１７も、図４Ａに示されるように、３Ｄマップ４１５の分岐位置に近い。換言すれば、実況の気管支鏡検査法ウィンドウ４５０および３Ｄマップウィンドウ４１０は、３Ｄマップ４１５における現在位置インディケータ４１７を介して、センサ１４３の現在位置と同期する。

３Ｄマップウィンドウ４１０も、パン／ズーム選択装置４２０およびリセットボタン４２５を示す。パン／ズーム選択装置４２０においてパンが選択される場合、３Ｄマップ４１５はパンされ得る。例えば、ズームが選択される場合、３Ｄマップ４１５がズームされ得る。３Ｄマップウィンドウ４１０も、人間の体の形で方向インディケータ４４０を示す。３Ｄマップがパン、および／またはズームされるとき、方向インディケータ４４０は３Ｄマップ４１５の方向を示す。パン機能またはズーム機能がパン／ズーム選択装置４２０において選択される場合、パンおよび回転機能が起動される。３Ｄマップ４１５の内外で、３Ｄマップ４１５または方向インディケータ４４０をクリックし、右、左、上および下、または、任意の方向にドラッグすることによって、臨床医は、パンまたはズームし得る。

一つの実施形態において、３Ｄマップ４１５は、任意の方向に、または、換言すれば、パンおよびズームの組み合わせの方向にクリックおよびドラッグすることによって、３Ｄマップウィンドウ４１０の中心の周りに回転され得る。別の実施形態において、３Ｄマップ４１５は、現在位置インディケータ４１７の現在位置の周りにパンされ得る。３Ｄマップ４１５および方向インディケータ４４０の両方が同期してパンおよびズームし得る。リセットボタン４２５が押された場合、３Ｄマップ４１５は、現在位置インディケータ４１７の位置に基づいて自動的にパンおよびズームすることによって、デフォルトの方向に回転させられる。デフォルトの方向は、ディスプレイ１２２の設定に基づいて、前方上方位置であり得るか、または、後方上方位置に変更され得る。

別の実施形態において、３Ｄマップ４１５は、自動的にパンされるか、またはズームされて、現在位置インディケータ４１７の位置を明確に示し得る。例えば、現在位置インディケータ４１７が３Ｄマップ４１５の前葉に位置決めされ、３Ｄマップ４１５をズームまたはパンすることなく、明確には示されなく、３Ｄマップ４１５は自動的に回転させられ、および／または、ズームされて、３Ｄマップ４１５における現在位置インディケータ４１７の位置に基づいて、明確に現在位置を画面上に示し得る。

なおも別の実施形態において、リセットボタン４２５は、３Ｄマップ４１５における現在位置インディケータ４１７の位置に基づいて、自動パン、および／またはズームを起動し得る。そして、パン／ズーム選択装置４２０は、自動パン、および／またはズームを停止し、手動パンまたはズームを起動する。この方法において、ディスプレイ１２２は、臨床医が、ディスプレイ１２２に接触または操作することなく、肺の中のセンサ１４３の３Ｄマップ４１５における現在位置インディケータ４１７の位置と同期する実際の位置を評価することを支援する。また、臨床医は、３Ｄマップを手動で回転させて、目標の場所および、現在位置インディケータ４１７の位置に近い肺の構造をチェックする。

３Ｄマップウィンドウ４１０は、ズームインボタン４３２、ズームアウトボタン４３４および、ズームスライダ４３６を含むズームツール４３０を示す。ズームインボタン４３２は、現在位置インディケータ４１７の位置の周りをズームインし、ズームアウトボタン４３４は、現在位置インディケータの位置の周りをズームアウトする。ズームスライダ４３６は、スライダをそれぞれ上下に動かすことによって、ズームインおよびズームアウトするために使用され得る。一つの態様において、リセットボタン４２５が押されると、３Ｄマップ４１５は、デフォルトの方向にズームなしで、表示され得る。

実況の気管支鏡検査法ウィンドウ４５０は、実況の気管支鏡ビデオ画像を表示する。実況の気管支鏡検査法ウィンドウ４５０を見ることによって、臨床医は気管支鏡１４４を操縦でき、肺の内腔ネットワークにおいて目標に向けてナビゲートする。センサ１４３は、気管支鏡１４４から所定の距離だけ突き刺す。気管支鏡は、そのサイズに起因して、所定のサイズの肺の気道を超えてナビゲートできない。その位置の前に、光学センサは実況の気管支鏡ビデオ画像の流れをワークステーション１２０に送信する。

ひとたび、気管支鏡１４４が、気道において楔止めされると、または、実況の気管支鏡検査法４５０が任意の情報を提供しない場合、カテーテル１４２およびセンサ１４３は、気管支鏡１４４から延長され得、肺の周囲の分岐を通って目標に向かって、さらにナビゲートされる。この場合、ひとたび、周囲のナビゲーションが始まると、内視鏡ナビゲーションシステム１００および特に、ワークステーション１２０は、周辺ナビゲーションモードに自動的に切り替わり、そのモードでは、ディスプレイ１２２に提示されたウィンドウが変更される。例えば、光学センサは、同じ画像を単に受け取るので、ひとたび、気管支鏡１４４が楔止めされると、または、実況の気管支鏡検査法４５０が任意の情報を提供できない場合、実況の気管支鏡検査法ウィンドウ４５０から仮想気管支鏡検査法ウィンドウへ切り替えることが望ましいことがある。

図４Ｂは、本開示の実施形態に従った、サンプル周辺ナビゲーション表示を例示する。この構成において、３Ｄマップウィンドウ４１０および図４Ａの実況気管支鏡検査法ウィンドウ４５０は、ディスプレイの左側に積み重ねられ、局所表示ウィンドウ４６０は、右側に表示される。局所表示ウィンドウ４６０は、グレイのぼやけた境界によって囲まれている黒い領域として、気道４６５を示す。カテーテル１４２またはＬＧ１４５の遠位先端に位置決めされたセンサ１４３のグラフィカル表示４７０および目標４７５は、局所表示ウィンドウ４６０に示される。一つの態様において、目標４７５は、ボールまたは他の形状として、表示され得る。目標４７５の実際のサイズは、局所表示ウィンドウ４６０と同期される必要はなく、従って、センサ１４３の場所からのいくらかの距離にも拘わらず、フルサイズで表され得る。局所表示ウィンドウ４６０は、目標４７５、経路計画４８０およびセンサ１４３を示し、かつ重ね合わせる。

経路計画４８０は、局所表示ウィンドウ４６０の底から目標４７５へ曲線として臨床医を目標４７５へ到達するように導くように表示される。局所表示ウィンドウ４６０は、距離インディケータ４８５をさらに表示する。距離インディケータ４８５に示される距離は、設定に基づいて、国際標準単位（ＳＩ単位系）または、米国慣例法による単位で表され得る。図４Ｂにおいて、目標への距離はＳＩ単位系において９．２ｃｍとして示される。この距離は、経路計画４８０に従った目標４７５への距離を表し得る。

図５は、本開示の実施形態に従った、目標への実際のナビゲーションを表示する６つのウィンドウを例示する。６つのウィンドウは、３Ｄ ＣＴウィンドウ５１０、仮想気管支鏡検査法ウィンドウ５２０、実況の気管支鏡検査法ウィンドウ５３０、３Ｄマップ動的ウィンドウ５４０、矢状の表示ウィンドウ５５０、および、局所表示ウィンドウ５６０。ＬＧのセンサ１４３のグラフィカル表示が動くとき、６つのウィンドウ５１０から５６０は、対応して変化し得る。気管支鏡検査法ウィンドウ５３０がさらには進行しないので、肺の分岐のいくつかの点の後で、実況の気管支鏡検査法ウィンドウ５３０は、ある点の後に、同じ画像を示し得る。または、一つの態様において、実況の気管支鏡検査法ウィンドウ５３０は、センサ１４３がある点を通り過ぎた後に、ディスプレイの画面から自動的に除去され得る。

３Ｄ ＣＴウィンドウ５１０は、直接配置してＬＧのセンサ１４３の前に、表示を表示し得、かつ、血管、および病気の病変のような、高密度構造を示す。３Ｄ ＣＴウィンドウ５１０に示されるように、目標への距離５１２が表示され得る。３Ｄ ＣＴウィンドウ５１０は、次の中間地点５１４もどの道にセンサ１４３が進むべきかを示めす交差形式で示し得る。仮想気管支鏡検査法ウィンドウ５２０、気管支鏡検査法ウィンドウ５３０、および３Ｄマップ動的ウィンドウ５４０に対する記述は上記と同様であり、省略される。

一つの態様において、３Ｄ ＣＴウィンドウ５１０にマークされた目標病変は、蛍光透視鏡画像において、重ねて表示され得、合成画像を生成する。蛍光透視鏡画像が目標病変を示さないので、合成画像が表示され得、蛍光透視鏡画像において、仮想現実を示すように表示され得、さらなる利便性を臨床医に提供する。

矢状表示ウィンドウ５５０は、矢状平面に画像を表示し、矢状平面画像内のセンサ１４３のグラフィカル表示５２２を重ねる。センサ１４３が動く方向に基づいて、矢状表示ウィンドウ５５０は、冠状の表示ウィンドウまたは軸位の表示ウィンドウに切替られ得る。冠状の表示ウィンドウがよりよくセンサ１４３の動きを示す場合、冠状の表示ウィンドウは、自動的に矢状表示ウィンドウ５５０を置換する。一つの態様において、経路５５４は、矢状表示ウィンドウ５５０に重ね合わされる。

局所表示ウィンドウ５６０は、スライス画像（例えば、軸位の、冠状の、および矢状の画像）を表示し、センサ１４３に位置され、センサ１４３と整列され、かつ、スライス画像、センサ１４３のグラフィカル表示５５２、経路５５４、および目標５６２を重ね合わせる。

二つ以上のスライス画像が、ディスプレイの画面上に表示される場合、スライス画像は、センサ１４３の場所に基づいて、同期される。換言すれば、センサ１４３が動くとき、ディスプレイは、センサ１４３の場所に従ってスライス画像を表示する。さらに、３Ｄ ＣＴウィンドウ５１０、仮想気管支鏡検査法ウィンドウ５２０、３Ｄマップ動的ウィンドウ５４０、および局所表示ウィンドウ５６０も、センサ１４３の現在の位置に基づいて、同期される。気管支鏡検査法のユーザが、パンするか、ズームする場合、スライス画像、３Ｄマップ動的ウィンドウ５４０、局所表示ウィンドウ５６０も同期され得る。いくつかの例において、仮想気管支鏡検査法ウィンドウ５２０は、パンおよびズームとは同期されないかもしれない。

一つの態様において、画面に表示されるウィンドウの数は、手続きモードおよびセンサ１４３の位置情報に基づいて、自動的に調整され得る。臨床医は手動で画面からウィンドウを除去し得、例えば、６ウィンドウまでウィンドウを追加できる。画面に表示されたウィンドウの数は、しかしながら、所定の数に制限されるものではなく、画面の不動産、モード、および／または、臨床医の好みに基づいて増加または減少できる。一つの実施形態において、臨床医は手動で上に記述したウィンドウの場所を切替え、それらを縦方向に積み重ね、ウィンドウのサイズを増加し、または減少し、また、任意のウィンドウを追加または除去できる。

図６は、本開示の実施形態に従って、ナビゲーション器具１４０の状態情報および位置情報に基づいて、動的に医学画像を表示する方法６００を例示するフローチャートを示す。ワークステーション１２０は、患者のＤＩＣＯＭ画像（例えば、ＣＴ、ＣＡＴ、超音波画像、等）を取得し、画像化された構造（例えば、肺）の３Ｄマップを生成する。

ステップ６１０において、状態情報が識別される。状態情報は、ワークステーション１２０の状態を示し得る。内視鏡ナビゲーションシステム１００が、目標管理モードにあり、ディスプレイ１２２は、画像化された肺の３つの２Ｄ画像（例えば、矢状の、軸位の、冠状の画像）、および、最大値投影画像であり、それらのすべては、ステップ６２０において、目標候補を示す。これらの画像を表示することによって、臨床医は、容易に目標、それらの場所およびサイズを識別し、目標に到達する経路を決定する。そのようなステップが一般になされるとしても、上に記載したように、ナビゲーション手順を始める前に受けた別個のプロセスとして、手順の間に、臨床医が、ナビゲーションモードから目標管理モードに戻ることを望む場合がある。

実施において、ナビゲーション手順を始める前であるが手順を計画した後に、経路検討モードが入り得ることは、まれなことではない。経路検討において、ワークステーション１２０は、ステップ６１５においてそして図３に示されるように、３Ｄマップおよび仮想気管支鏡ビデオ画像を表示する。経路検討モードにおいて、ディスプレイ１２２は、例えば、目標および目標への肺の内腔ネットワークにおける経路への仮想ナビゲーションを図示する。ディスプレイ１２２は、内腔ネットワークにおける仮想ナビゲーションの位置に基づいて、２Ｄ画像を表示し得る。ここで、２Ｄ画像は、例えば、矢状の、冠状のおよび軸位の画像である。検討の完了に続いて、方法６００は、ステップ６１０に戻り、状態情報を確認する。

状態情報が、ナビゲーションモードがステップ６１０に入ったことを決定した後、ステップ６２５において、位置情報が、ＥＭ場発生器１６５によって発生されたＥＭ場内のセンサ１４３から受け取られる。位置情報は、ＥＭ場内のセンサ１４３の位置を識別し、カテーテル１４２の遠位先端の表現が２Ｄ画像および３Ｄマップに図示されるように、２Ｄ画像および３Ｄマップに登録され得る。初めに、センサ１４３が気管支鏡１４４の端に位置される。ステップ６３０において、センサ１４３の位置が閾値位置を通過したかどうかを決定する。気管支鏡のサイズに起因して、気管支鏡は、閾値位置よりさらに遠くにはナビゲートできない。閾値位置は、期間の底部、主気管支樹または気管支樹の任意の部分のような所定の位置であり得、その直径は所定の直径よりも小さい（例えば、気管支鏡の直径）。そのように、気管支鏡は、カテーテル１４２の、気管支鏡１４４の遠位端を超える前進を必要とする肺の気道においてくぎ付けになる。

一つの態様において、閾値位置は、実況の気管支鏡ビデオ画像がいかなる情報も提供しなく、仮想気管支鏡ビデオ画像に変更され、肺の内腔ネットワークを通ってさらにナビゲートする必要があるという状況であり得る。例えば、閾値位置では、気管支鏡が筋肉または出血によって閉塞される状況である。

閾値に到達する前に、ディスプレイ１２２は、図４Ａに示されるように、実況の気管支鏡ビデオ画像および３Ｄマップをステップ６３５において表示し得る。実況の気管支鏡ビデオ画像は、目標への経路に従う内視鏡１４４を示す。一つの態様において、ディスプレイ１２２は、また、ナビゲーション器具１４０のセンサ１４３の現在位置を示す、所望の（冠状の、矢状の、軸位の、またはその他の）表示からの肺の２Ｄ画像を示し得る。方法６００は、ステップ６２５から６３５において、センサ１４３が閾値位置を通過するまで、位置情報を受け取り続け、実況の気管支鏡ビデオ画像を表示し続ける。

ステップ６３０において、センサ１４３の位置が、閾値位置を通過したと決定される場合、ディスプレイ１２２は表示されている画像を変更し、仮想気管支鏡ビデオ画像（例えば、検討モードの間に図示されたものと同様なフライスルー視界であるが、画像におけるセンサ１４３のその瞬間の場所を示す）、３Ｄマップ、および３つの２Ｄ画像をステップ６４０において図示し得る。その様な実例において、図４Ａの実況の気管支鏡検査法ウィンドウ４５０は、カテーテル１４２およびセンサ１４３が光学の画像を超えて延長された場合、小さな値であり、本質において、ビデオ画像は変化しない。ディスプレイ１２２によって表示されたすべての画像は、同期して表示され、内腔ネットワーク内のセンサの現在位置に基づいて更新され得る。換言すれば、全ての画像はセンサ１４３の現在位置を３Ｄマップおよび任意の表示された２Ｄ画像において追跡する。

一つの態様において、モードは、マーカ配置モード、生検位置追跡／管理モード、生検支援モード、結論／要旨モード等をさらに含み得る。各モードに関係のある画像は、各モードにおいて手順を促進するか進めるように表示される。

上に記述したように、各画像はパンまたはズームボタンまたはスライダを含み得る。ステップ６４５において、一つの画像のパンまたはズーム特徴は、臨床医によって行われるかどうかが決定される。パンおよびズームボタンまたはスライダに加えて、パンおよびズーム特徴がキーボードおよびマウスのような入力デバイスによって、ディスプレイ画面上のタッチ動作（例えば、ピンチまたはダブルクリック）によって、カメラによって監視されている臨床医のジェスチャによって、または、可聴音によって起動され得る。パンまたはズームが行われない場合、方法６００は、ステップ６５５に進む。そうでない場合、ステップ６５０において、ディスプレイ１２２は、画像のパンまたはズームに対応する３Ｄマップを含むすべての画像を同期してパンまたはズームする。このように、全ての画像が一体化してパンされるかズームされ得る。３Ｄマップウィンドウは、切り替えられた３Ｄマップ動的ウィンドウが同期してパンまたはズームされるように、３Ｄマップ動的ウィンドウに切り替えられ得る。表示画面に表示された画像は、目標、経路、ウェイポイント、生検マーカ、臓器または医療器具を含み得る。

ステップ６５５において、ナビゲーションが終了したか、またはナビゲーション器具１４０が目標に到達したかを決定する。もし、そうでない場合、ナビゲーション器具１４０のセンサ１４３が目標の近傍に到着するまで、方法６００は、ステップ６４０から６５５までを実施し続ける。方法６００が終了した場合、生検または処理手順が行われ得る。ＬＧが使用されている場合、ＬＧは除去され、カテーテル１４２内の生検ツールまたは処理ツールによって置き換えられる。しかしながら、もし、センサ１４３がカテーテル１４２内で一体化されている場合、手順を実施するように要求されるので、生検ツールまたは処理ツールは単純に前進させられ得る。

図６に記載された方法論の結果として、ディスプレイ１２２に提示された画像は、臨床医が、ナビゲーション器具１４０または、気管支鏡１４４から手を放す必要性を取り除いて、手順の各段階において更新される。当業者によって評価されるように、上に記載された実施形態は、例示であり、本開示の範囲を限定するものではない。結果として、画像および３Ｄマップの異なるグループ分けが、手順の異なる段階において提示され得る。さらに、特定の臨床医、病院の好みに対するカスタマイズ、または、特定のタイプの肺の特定の部分に対する手順または、本明細書に記載されたデバイスおよびシステムによってアクセスされる他の領域に対するカスタマイズされるユーザ選択のインテリジェントディスプレイを生成する臨床医によって、段階は、最適化されるか、事前選択され得る。

ワークステーション１２０は、ラップトップ、デスクトップ、タブレット、または他の同様なデバイスを含む様々なコンピュータシステムの一つであり得る。ディスプレイ１２２は、タッチ感応、および／または音声起動であり得、ディスプレイ１２２を入力デバイスおよび出力デバイスとして役立つことを可能にする。一つの態様において、図１のメモリ１２６は、一つ以上の個体格納デバイス、フラッシュメモリ、大容量ストレージ、テープドライブ、または、格納制御装置およびシステム通信バスを介してプロセッサに接続されている任意のコンピュータ読み取り可能な格納媒体であり得る。コンピュータ読み取り可能な格納媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムまたは他のデータのような情報を格納する任意の方法または技術に実装される、非遷移型、揮発性、不揮発性、取外し可能型、非取外し可能型媒体であり得る。例えば、コンピュータ読み取り可能な格納媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他の個体メモリ技術、ＣＤ−ＲＯＭ、ＤＶＤまたは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスク、または他の磁気格納デバイス、または、所望の情報を格納するために使用され、表示デバイスによってアクセスできる任意の他の媒体を含む。

実施形態において、一つ以上のプロセッサ１２４が他のプログラムのために利用可能であるように、ワークステーション１２０は、別個の画像処理機能のみを行うグラフィックアクセラレータをさらに含み得る。ネットワークインターフェイス１２８は、他のコンピュータデバイスおよび／または画像化デバイス１１０が、有線および／または無線ネットワーク接続を介して互いに通信することを可能にする。図１において、ワークステーション１２０は、画像化デバイス１１０により有線接続を介して、医学画像、医学データ、および制御データを送信または受信するように示されているが、しかし、データは、無線で送信され得る。

一つの態様において、メモリまたは格納空間は、ネットワーククラウドにあり得、画像処理、または、肺の内腔ネットワークを介するナビゲーションを計画または実施するために必要な他の処理は、ネットワーククラウドにおいて、コンピュータデバイスによってなされ得る。

入力デバイス１２９は、値の設定、テキスト情報、および／または、ワークステーション１２０の制御のような、データを入力するか、情報制御のために使用される。入力デバイス１２９は、キーボード、マウス、走査デバイス、または、他のデータ入力デバイスを含み得る。システム通信バスは、ディスプレイ１２２、一つ以上のプロセッサ１２４、メモリ１２６、ネットワークインターフェイス１２８、および入力デバイス１２９の間を互いに接続し得る。一つの態様において、入力デバイス１２９は、音声、タッチ、または、ジェスチャをさらに含み得る。

別の態様において、コンピュータトモグラフィ（ＣＴ）技術、Ｘ線透視法、コンピュータ化軸位トモグラフィ（ＣＡＴ）スキャン法、磁気共鳴画像化（ＭＲＩ）法、超音波検査法、コントラスト画像化法、Ｘ線透視法、核スキャン、および、陽電子放出画像化（ＰＥＴ）法を含む、画像化モダリティを使用する画像化デバイスによって、肺のスライス画像が得られ得る。

加えて、次の共同所有の出願も参照され、それらは、画像処理の特徴、および本明細書に記載されたシステムと関連のある他の特徴の中でユーザインターフェイスの更新を教示する：２０１４年７月２日にＢｒｏｗｎ他によって出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｎａｖｉｇａｔｉｎｇ Ｗｉｔｈｉｎ ｔｈｅ Ｌｕｎｇ」と題される、米国仮特許出願第６２／０２０，２４０号；２０１４年７月２日にＢｒｏｗｎ他によって出願された、「Ｒｅａｌ−Ｔｉｍｅ Ａｕｔｏｍａｔｉｃ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｆｅｅｄｂａｃｋ」と題される、共同所有の米国仮特許出願第６２／０２０，２２０号；２０１４年７月２日にＢｒｏｗｎ他によって出願された、「Ｍｅｔｈｏｄｓ ｆｏｒ Ｍａｒｋｉｎｇ Ｂｉｏｐｓｙ Ｌｏｃａｔｉｏｎ」と題される、米国仮特許出願第６２／０２０，１７７号；２０１４年７月２日にＧｒｅｅｎｂｕｒｇによって出願された、「Ｕｎｉｆｉｅｄ Ｃｏｏｒｄｉｎａｔｅ Ｓｙｓｔｅｍ Ｆｏｒ Ｍｕｌｔｉｐｌｅ ＣＴ Ｓｃａｎｓ Ｏｆ Ｐａｔｉｅｎｔ Ｌｕｎｇｓ」と題される、米国仮特許出願第６２／０２０，２４２号；２０１４年７月２日にＫｌｅｉｎ他によって出願された、「Ａｌｉｇｎｍｅｎｔ ＣＴ」と題される、米国仮特許出願第６２／０２０，２４５号；２０１４年７月２日にＭｅｒｌｅｔ他によって出願された、「Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｆｌｕｏｒｏｓｃｏｐｉｃ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」と題される、米国仮特許出願第６２／０２０，２５０号；２０１４年７月２日にＬａｃｈｍａｎｏｖｉｃｈ他によって出願された、「Ｔｒａｃｈｅａ Ｍａｒｋｉｎｇ」と題される、米国仮特許出願第６２／０２０，２５３号；２０１４年７月２日にＭａｒｋｏｖ他によって出願された、「Ｌｕｎｇ ａｎｄ Ｐｌｅｕｒａ Ｓｅｇｍｅｎｔａｔｉｏｎ」と題される、米国仮特許出願第６２／０２０，２６１号；２０１４年７月２日にＬａｃｈｍａｎｏｖｉｃｈ他によって出願された、「Ｃｏｎｅ Ｖｉｅｗ−Ａ Ｍｅｔｈｏｄ Ｏｆ Ｐｒｏｖｉｄｉｎｇ Ｄｉｓｔａｎｃｅ Ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｆｅｅｄｂａｃｋ Ｗｈｉｌｅ Ｎａｖｉｇａｔｉｎｇ Ｉｎ ３ｄ」と題される、米国仮特許出願第６２／０２０，２５８号；２０１４年７月２日にＷｅｉｎｇａｒｔｅｎ他によって出願された、「Ｄｙｎａｍｉｃ ３Ｄ Ｌｕｎｇ Ｍａｐ Ｖｉｅｗ ｆｏｒ Ｔｏｏｌ Ｎａｖｉｇａｔｉｏｎ Ｉｎｓｉｄｅ ｔｈｅ Ｌｕｎｇ」と題される、米国仮特許出願第６２／０２０，２６２号；２０１４年７月２日にＭａｒｋｏｖ他によって出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｌｕｎｇ」と題される、米国仮特許出願第６２／０２０，２６１号；および２０１４年７月２日にＭａｒｋｏｖ他によって出願された、「Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｃｔｉｏｎ Ｏｆ Ｈｕｍａｎ Ｌｕｎｇ Ｔｒａｃｈｅａ」と題される、米国仮特許出願第６２／０２０，２５７号。さらに、本開示では、これらの参照文献はすべてＤＩＣＯＭ画像を処理する態様に向けられており、気管の検出、肺の中をナビゲートすること、およびＤＩＣＯＭ画像および処理された画像を表示して、とりわけ、肺の処理計画およびナビゲーションに関係する、強化された明確性および分析、診断、および処理システムのための性能を提供する。これらの出願のすべては、参照として、本明細書に援用される。本開示は、特定の例示の実施形態の観点から記述されてきたが、様々な修正、再構成および置換が、本開示の精神から離れることなく、なされ得ることが当業者には容易に明らかであろう。本開示の範囲は、以下に添付の特許請求の範囲によって規定される。

Claims (20)

1. 肺の医学画像を画面上に表示する医学画像表示装置であって、前記医学画像表示装置は、
   ナビゲーション器具の位置センサからの前記ナビゲーション器具の位置情報と、前記ナビゲーション器具の光学センサからのビデオストリームと、画像化デバイスからの医学画像とを受信するように構成されているネットワークインターフェイスと、
   複数の医学画像および命令を格納するメモリと、
   前記命令を実行するように構成されているプロセッサと、
   ウィンドウを前記画面上に動的に表示するように構成されているディスプレイと
   を含み、
   前記ウィンドウは、画像を表示し、
   前記命令は、前記プロセッサによって実行されると、
   前記ディスプレイの内視鏡ナビゲーション情報を決定することであって、前記内視鏡ナビゲーション情報は、手続きモードを示し、前記手続きモードは、経路検討モード、目標管理モード、または、ナビゲーションモードのうちの１つである、ことと、
   前記決定された内視鏡ナビゲーション情報によって示される前記手続きモードと前記位置情報とに基づいて、前記画面上に表示されるべき前記ウィンドウの数を動的に変更することと、
   前記ナビゲーション器具の前記位置情報と前記決定された内視鏡ナビゲーション情報とに基づいて、前記複数の医学画像の中から前記画面上に表示される画像を動的に選択し更新することと
   を前記医学画像表示装置に行わせる、医学画像表示装置。
2. 前記ナビゲーション器具は、内視鏡器具である、請求項１に記載の医学画像表示装置。
3. 前記複数の医学画像は、矢状の画像または冠状の画像または軸位の画像、前記肺の三次元（３Ｄ）マップ、目標、前記目標への経路計画、仮想気管支鏡ビデオ画像、実況の気管支鏡ビデオ画像、最大値投影画像、３Ｄ ＣＴ画像、ナビゲーション器具の遠位先端、および、これらの任意の組み合わせからなる群から選択される、請求項１に記載の医学画像表示装置。
4. 前記矢状の画像または前記冠状の画像または前記軸位の画像は、コンピュータトモグラフィ、Ｘ線透視法、コンピュータ支援トモグラフィー、陽電子放出トモグラフィー、または、磁気共鳴画像化法によって捕捉される、請求項３に記載の医学画像表示装置。
5. 表示された画像は、合成画像であり、第一の画像化法から得られた前記肺の第一の画像は、別の画像化法から得られた第二の画像に重ねられている、請求項３に記載の医学画像表示装置。
6. 前記第一の画像は、コンピュータトモグラフィによって捕捉され、前記第二の画像は、Ｘ線透視法によって捕捉される、請求項５に記載の医学画像表示装置。
7. 前記ディスプレイは、前記位置情報における変化に対応するように、二つ以上の画像を同期して表示する、請求項１に記載の医学画像表示装置。
8. 前記目標が３Ｄマップにおいて表示される場合には、前記目標の位置情報に基づいて、矢状の画像、冠状の画像、および／または、軸位の画像が選択され表示される、請求項３に記載の医学画像表示装置。
9. 前記位置情報における変化は、前記肺における前記ナビゲーション器具の前記位置センサの移動を示す、請求項３に記載の医学画像表示装置。
10. 前記ナビゲーション器具の前記位置センサの前記位置情報に基づいて、前記軸位の画像および前記冠状の画像および前記矢状の画像が表示される、請求項３に記載の医学画像表示装置。
11. 前記軸位の画像および前記冠状の画像および前記矢状の画像のそれぞれは、制御によって制御される、請求項１０に記載の医学画像表示装置。
12. 前記制御は、ズームすることとパンすることとを含む、請求項１１に記載の医学画像表示装置。
13. 前記３Ｄマップは、方向インディケータと共に表示される、請求項３に記載の医学画像表示装置。
14. 前記方向インディケータは、前記３Ｄマップの方向を示す、請求項１３に記載の医学画像表示装置。
15. 前記位置センサが閾値位置を通過しないことを前記位置情報が示す場合には、前記ディスプレイは、前記実況の気管支鏡ビデオ画像を表示する、請求項３に記載の医学画像表示装置。
16. 前記位置センサが前記閾値位置を通過することを前記位置情報が示す場合には、前記ディスプレイは、前記実況の気管支鏡ビデオ画像を除去し、前記仮想気管支鏡ビデオ画像を表示する、請求項１５に記載の医学画像表示装置。
17. 前記ナビゲーションモードにおいて実況の気管支鏡ビデオ画像が前記ナビゲーション器具から受信されていない場合には、前記ディスプレイは、最後に受信した画像を表示する、請求項３に記載の医学画像表示装置。
18. 前記ディスプレイは、前記３Ｄマップを自動的に配向することにより、前記３Ｄマップにおける前記位置センサの現在位置を示す、請求項３に記載の医学画像表示装置。
19. 医学画像を画面上に表示する医学画像表示システムであって、前記医学画像表示システムは、
    患者の画像を捕捉するように構成されている画像化デバイスと、
    前記患者の内部をナビゲートし、位置センサによって得られた位置情報と光学センサによって得られたビデオストリームとを送信するように構成されているナビゲーション装置と、
    装置と
    を含み、
    前記装置は、
    ナビゲーション器具からの前記位置情報および前記ビデオストリームと、前記画像化デバイスからの前記捕捉された画像とを受信するように構成されているネットワークインターフェイスと、
    命令を実行するように構成されているプロセッサと、
    複数の医学画像および命令を格納するメモリと、
    ウィンドウを前記画面上に表示するように構成されているディスプレイと
    を含み、
    前記ウィンドウは、画像を表示し、
    前記命令は、前記プロセッサによって実行されると、
    前記ナビゲーション器具の内視鏡ナビゲーション情報を決定することであって、前記内視鏡ナビゲーション情報は、手続きモードを示し、前記手続きモードでは、前記ナビゲーション器具が前記位置情報および前記ビデオストリームを送信する、ことと、
    前記決定された内視鏡ナビゲーション情報によって示される前記手続きモードと前記位置情報とに基づいて、前記画面上に表示されるべき前記ウィンドウの数を動的に変更することと、
    前記ナビゲーション器具の前記位置情報と前記決定された内視鏡ナビゲーション情報とに基づいて、前記複数の画像の中から前記画面上に表示される画像を動的に選択し更新することと
    を前記装置に行わせる、医学画像表示システム。
20. 肺の医学画像を表示デバイスの画面上に表示されるウィンドウ上に動的に表示する医学画像表示装置を動作させる方法であって、前記表示デバイスは、前記肺のスライス画像と前記肺の三次元（３Ｄ）マップと目標への経路計画とを格納し、前記医学画像表示装置は、プロセッサとネットワークインターフェイスとを含み、
    前記方法は、
    前記プロセッサが、前記表示デバイスの内視鏡ナビゲーション情報を決定することであって、前記内視鏡ナビゲーション情報は、手続きモードを示し、前記手続きモードは、経路検討モード、目標管理モード、または、ナビゲーションモードのうちの１つである、ことと、
    前記ネットワークインターフェイスが、ナビゲーション器具から位置情報を受信することであって、前記位置情報は、前記肺をナビゲートする前記ナビゲーション器具の位置センサの位置を示す、ことと、
    前記プロセッサが、前記決定された内視鏡ナビゲーション情報によって示される前記手続きモードと前記位置情報とに基づいて、前記画面上に表示されるべき前記ウィンドウの数を動的に変更することと、
    前記プロセッサが、前記決定された内視鏡ナビゲーション情報と前記位置情報とに基づいて、医学画像を選択することと
    を含み、
    前記決定された内視鏡ナビゲーション情報が前記経路検討モードである場合には、前記表示された医学画像は、前記経路計画および前記目標に重ねられている前記３Ｄマップおよび仮想気管支鏡ビデオ画像を含み、
    前記決定された内視鏡ナビゲーション情報が前記ナビゲーションモードである場合には、前記表示された医学画像は、前記３Ｄマップと、前記仮想気管支鏡ビデオ画像または実況気管支鏡ビデオ画像と、スライス画像とを含み、これらのすべては、前記位置センサの前記位置を同期して追跡し、
    前記決定された内視鏡ナビゲーション情報が前記目標管理モードである場合には、前記表示された医学画像は、３つの独立した方向から撮られた３つのスライス画像と、前記目標を表示する最大値投影画像とを含み、
    前記ナビゲーションモードにおいて、１つの画像がパンされるまたはズームされる場合には、すべての画像および前記３Ｄマップが対応するように、同期してパンされるまたはズームされる、方法。
    

Images