JP6638027B2 - 経路計画システムおよび方法 - Google Patents

経路計画システムおよび方法 Download PDF

Info

Publication number
JP6638027B2
JP6638027B2 JP2018132261A JP2018132261A JP6638027B2 JP 6638027 B2 JP6638027 B2 JP 6638027B2 JP 2018132261 A JP2018132261 A JP 2018132261A JP 2018132261 A JP2018132261 A JP 2018132261A JP 6638027 B2 JP6638027 B2 JP 6638027B2
Authority
JP
Japan
Prior art keywords
rotation
image
target
window
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018132261A
Other languages
English (en)
Other versions
JP2018175886A (ja
Inventor
ダブリュー. ベイカー マット
ダブリュー. ベイカー マット
Original Assignee
コビディエン エルピー
コビディエン エルピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コビディエン エルピー, コビディエン エルピー filed Critical コビディエン エルピー
Publication of JP2018175886A publication Critical patent/JP2018175886A/ja
Application granted granted Critical
Publication of JP6638027B2 publication Critical patent/JP6638027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Description

本開示は、患者の解剖学的管腔網を通る経路を計画するためのシステムおよび方法に関する。
臨床医は、外科手術中に、患者の管腔網内をナビゲートするための計画または経路を決定するためにCT画像を使用することが多い。しかし、多くの場合、CT画像により典型的に正確なナビゲートに十分な解像度が得られない特に気管支樹のより細い分岐部では、CT画像のみに基づいて経路を効果的に計画することは臨床医にとって難しい。
臨床医が管腔網を通る経路を計画するのを支援するために、CT画像上で指定された標的から患者の入口点、例えば、患者の口、鼻、他の自然な入口点または例えば切開部などの人工の入口点までの経路を自動的に生成する自動化経路計画システムおよび方法が実現されている。自動化経路計画システムおよび方法の一例は、米国特許第8,218,846号に記載されており、その開示内容全体が参照により本明細書に組み込まれる。
しかし、完全自動化経路計画システムを用いる場合、医療装置は、医療装置の作業端が標的に向かって方向づけられていない向きで経路の末端に到達することがある。この例では、作業端の代わりに医療装置の側面が標的に向かって方向づけられることがあり、臨床医は、作業端で標的にアクセスすることが困難であったり不可能であったりすることがある。特に、気管支樹の細い気道内をナビゲートする場合、細い気道を通る医療装置の進行路に対して標的が垂直に位置しているときは、医療装置の作業端を標的に向かって曲げたり回したりすることが困難であったり、さらには不可能であったりすることがある。
患者の解剖学的管腔網を通る経路を計画するためのシステムおよび方法が提供される。
本開示の一態様では、CT画像を分析および処理するように構成されたコンピュータプログラムを格納するメモリと、コンピュータプログラムを実行するように構成されたプロセッサと、コンピュータプログラムのユーザインタフェースを表示するように構成された表示装置とを備えた、患者の解剖学的管腔網を通る経路を計画するためのシステムが開示される。ユーザインタフェースは、CT画像データのスライスを表示するように構成されたCT画像ウィンドウと、少なくとも1つの肺の画像を表示するように構成されたローカライザーウィンドウとを含み、ローカライザーウィンドウは、少なくとも1つの肺に対する表示されているスライスの位置を特定するように構成されたローカライザーを含み、標的選択要素は、ユーザ入力に応答してCT画像データの表示されているスライスから標的を選択するように構成されている。
本開示の一態様では、CT画像ウィンドウは、ユーザ入力に応答してCT画像データの少なくとも1つの他のスライスを表示するように構成されており、ローカライザーは、少なくとも1つの肺に対する表示されている少なくとも1つの他のスライスの位置を特定するために、少なくとも1つの肺の画像に対して移動するように構成されている。
本開示の一態様では、CT画像ウィンドウは、ユーザ入力に応答してCT画像データのスライスを連続的に表示するように構成されている。
本開示の一態様では、CT画像ウィンドウは、軸方向、冠状方向および矢状方向のうちの一方向からのCT画像データのスライスを表示するように構成されている。
本開示の一態様では、ローカライザーウィンドウは、軸方向、冠状方向および矢状方向のうちの一方向からの少なくとも1つの肺の画像を表示するように構成されている。
本開示の一態様では、少なくとも1つの肺の画像は、蛍光透視様画像である。
本開示の一態様では、ユーザインタフェースは、軸方向、冠状方向および矢状方向の各方向からのCTスライスを含む標的編集ウィンドウを表示するようにさらに構成されており、各CTスライスは、標的の上に配置され、かつユーザ入力に応答してサイズ変更可能な標的寸法決め要素を表示するように構成されている。
本開示の一態様では、CT画像データの第1のスライスをCT画像ウィンドウ内に表示する工程と、少なくとも1つの肺の画像をローカライザーウィンドウ内に表示する工程と、少なくとも1つの肺の画像上のローカライザーウィンドウの位置要素を少なくとも1つの肺に対する第1のスライスの位置に対応する第1の位置に設定する工程と、ユーザ入力を受け取る工程と、ユーザ入力に応答してCT画像ウィンドウ内にCT画像データの第2のスライスを表示する工程と、少なくとも1つの肺の画像上のローカライザーウィンドウの位置要素を少なくとも1つの肺に対する第2のスライスの位置に対応する第2の位置に設定する工程とを含む、患者の解剖学的管腔網を通る経路を計画する方法が開示される。
本開示の一態様では、CT画像ウィンドウは、ユーザ入力に応答してCT画像データのスライスを連続的に表示する。
本開示の一態様では、本方法は、第1のスライスまたは第2のスライスのうちの少なくとも1つの上の標的を特定するユーザ入力を受け取る工程と、ユーザ入力に応答して標的を経路計画のための標的として設定する工程とをさらに含む。
本開示の一態様では、標的を設定する工程は、標的選択要素を標的の上に配置することを含む。
本開示の一態様では、本方法は、軸方向、冠状方向および矢状方向の各方向からのCT画像データのスライスであって、各スライスは、その上に標的を含み、サイズ変更可能な標的寸法決め要素は、標的の上に配置されるスライスを表示する工程をさらに含む。
本開示の一態様では、本方法は、ユーザ入力に応答して、表示されている軸方向、冠状方向および矢状方向のスライスのうちの1つ以上の中の標的寸法決め要素のサイズを変更する工程をさらに含む。
本開示の一態様では、ユーザ入力は、表示されている軸方向、冠状方向および矢状方向のスライスのうちの少なくとも1つの中の標的寸法決め要素の一部を操作すること、および寸法変数を入力することからなる群から選択される。
本開示の一態様では、プロセッサによって実行されると、CT画像データの第1のスライスをCT画像ウィンドウ内に表示する工程と、少なくとも1つの肺の画像をローカライザーウィンドウ内に表示する工程と、少なくとも1つの肺の画像上のローカライザーウィンドウの位置要素を少なくとも1つの肺に対する第1のスライスの位置に対応する第1の位置に設定する工程と、ユーザ入力を受け取る工程と、ユーザ入力に応答してCT画像ウィンドウ内にCT画像データの第2のスライスを表示する工程と、少なくとも1つの肺の画像上のローカライザーウィンドウの位置要素を少なくとも1つの肺に対する第2のスライスの位置に対応する第2の位置に設定する工程とをユーザインタフェースに行わせるプログラムが記憶された非一時的コンピュータ可読記憶媒体が開示される。
本開示の一態様では、CT画像ウィンドウは、ユーザ入力に応答してCT画像データのスライスを連続的に表示する。
本開示の一態様では、プログラムは、第1のスライスまたは第2のスライスのうちの少なくとも1つの上の標的を特定するユーザ入力を受け取る工程と、ユーザ入力に応答して標的を経路計画のための標的として設定する工程とをユーザインタフェースにさらに行わせる。
本開示の一態様では、標的を設定する工程は、標的選択要素を標的の上に配置することを含む。
本開示の一態様では、プログラムは、軸方向、冠状方向および矢状方向の各方向からのCT画像データのスライスであって、各スライスがその上に標的を含み、かつサイズ変更可能な標的寸法決め要素が標的の上に配置されるスライスを表示する工程をユーザインタフェースにさらに行わせる。
本開示の一態様では、プログラムは、ユーザ入力に応答して、表示されている軸方向、冠状方向および矢状方向のスライスのうちの1つ以上の中の標的寸法決め要素のサイズを変更する工程をユーザインタフェースにさらに行わせる。
本開示の上記態様および実施形態はいずれも、本開示の範囲を逸脱することなく組み合わせてもよい。
本開示のシステムおよび方法の目的および特徴は、添付の図面を参照しながらそれらの様々な実施形態の説明を読めば、当業者には明らかになるであろう。
本開示の一実施形態に係る経路計画のための計算装置の概略図である。 本開示の一実施形態に係る軸方向から撮影した患者の肺のCTスキャン画像図である。 本開示の一実施形態に係る軸方向を示す患者の体の斜視図である。 本開示の一実施形態に係る冠状方向から撮影した患者の肺のCTスキャン画像図である。 本開示の一実施形態に係る冠状方向を示す患者の体の斜視図である。 本開示の一実施形態に係る矢状方向から撮影した患者の肺のCTスキャン画像図である。 本開示の一実施形態に係る矢状方向を示す患者の体の斜視図である。 本開示の一実施形態に係る経路計画の4つの段階を示すフローチャートである。 本開示の一実施形態に係る患者データを選択するためのユーザインタフェースの実例である。 本開示の一実施形態に係る患者データを選択する方法のフローチャートである。 本開示の一実施形態に係る標的を経路計画に追加するためのユーザインタフェースの実例である。 本開示の一実施形態に係る標的を経路計画に追加する方法のフローチャートである。 本開示の一実施形態に係る追加された標的の標的詳細を編集するためのユーザインタフェースの実例である。 本開示の一実施形態に係る3Dマップを見直すためのユーザインタフェースの実例である。 本開示の一実施形態に係る3Dマップを見直す方法のフローチャートである。 標的から患者の入口点までの経路を見つけるためのユーザインタフェースの実例である。 ユーザインタフェースのCT画像を最初の軸の周りに回転させた後の図11Aのユーザインタフェースの実例である。 本開示の一実施形態に係る最初の回転軸を示す、患者の気管支樹の3Dモデルの斜視図である。 CT画像を経路の軸の周りに回転させた状態で、中間地点が追加され、かつ標的と中間地点との間の経路が作成された後の図11Bのユーザインタフェースの実例である。 第2の中間地点が追加され、かつ中間地点と第2の中間地点との間の第2の経路が作成された後の図11Dのユーザインタフェースの実例である。 公知の気道を表示するためにCT画像を第2の経路の軸の周りに回転させた後の図11Eのユーザインタフェースの実例である。 第3の中間地点が公知の気道内に追加され、かつ経路を自動的に完成させた後の図11Fのユーザインタフェースの実例である。 本開示の一実施形態に係る、公知の気道を見つけ、かつ経路を作成する方法のフローチャートである。 本開示の一実施形態に係る経路を見直すためのユーザインタフェースの実例である。 本開示の一実施形態に係る経路を見直す方法のフローチャートである。 本開示の一実施形態に係る標的および経路を見直し、かつさらなる標的および経路を作成するためのユーザインタフェースの実例である。 本開示の一実施形態に係る経路計画を見直してエクスポートするためのユーザインタフェースの実例である。 本開示の一実施形態に係る標的、経路および経路計画を見直してエクスポートする方法のフローチャートである。
本開示は、具体的な実施形態に関して記載するが、当業者には、本開示の趣旨を逸脱することなく、様々な修正、再構成および置き換えをなし得ることが容易に明らかになるであろう。本開示の範囲は、添付の特許請求の範囲によって定められている。
まず図1を参照すると、本開示は一般に、手術中に使用される経路計画システム10および患者の解剖学的管腔網を通る経路の計画方法に関する。経路計画システム10は、表示装置102、メモリ104、1つ以上のプロセッサ106および/または計算装置に典型的に含まれる種類の他の構成要素を有する、例えば、ラップトップ、デスクトップ、タブレットまたは他の同様の装置などの計算装置100を備えていてもよい。表示装置102は、表示装置102を入力および出力装置の両方として機能させることができるタッチセンサ式および/または音声作動式であってもよい。あるいは、キーボード(図示せず)、マウス(図示せず)または他のデータ入力装置を用いてもよい。
メモリ104は、データおよび/またはプロセッサ106によって実行可能であり、かつ計算装置100の動作を制御するソフトウェアを格納するためのあらゆる非一時的コンピュータ可読記憶媒体を含む。一実施形態では、メモリ104は、フラッシュメモリチップなどの1つ以上のソリッドステート記憶装置を含んでもよい。他の実施形態では、メモリ104は、大容量記憶装置制御装置(図示せず)および通信バス(図示せず)を介してプロセッサ106に接続された大容量記憶装置であってもよい。本明細書に含まれるコンピュータ可読媒体の記載は、ソリッドステート記憶装置を指しているが、当業者には当然のことながら、コンピュータ可読記憶媒体は、プロセッサ106がアクセスすることができる任意の入手可能な媒体であってもよい。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報の格納のための任意の方法または技術に実装される非一時的な揮発性および不揮発性の取外し可能および取外し不可能な媒体を含む。例えば、コンピュータ可読記憶媒体としては、RAM、ROM、EPROM、EEPROM、フラッシュメモリもしくは他のソリッドステートメモリ技術、CD−ROM、DVD、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、あるいは所望の情報を格納するために使用することができ、かつ計算装置100がアクセスすることができるあらゆる他の媒体が挙げられる。
計算装置100は、データを他のソースへ/から送信および受信するために、有線もしくは無線接続によって分散ネットワークまたはインターネットに接続されたネットワークモジュール108も備えていてもよい。例えば、計算装置100は、経路計画中に使用される患者のコンピュータ断層撮影(CT)画像を、サーバ、例えば、病院のサーバ、インターネットサーバまたは他の同様のサーバから受信してもよい。また、患者のCT画像は、取外し可能なメモリ104によって計算装置100に提供されてもよい。
経路計画モジュール200は、メモリ104に格納され、かつ計算装置100のプロセッサ106によって実行されるソフトウェアプログラムを含む。以下にさらに詳細に記載するように、経路計画モジュール200は、医療処置中に後で使用される経路計画を開発するために、臨床医を一連の工程に案内する。経路計画モジュール200は、臨床医に対して表示装置102上に視覚的対話型機能を表示し、かつ臨床医の入力を受け取るためのユーザインタフェースモジュール202と通信する。
本明細書に使用されている「臨床医」という用語は、あらゆる医学の専門家(すなわち、内科医、外科医、看護師など)または本明細書に記載されている実施形態の使用を必要とする医療処置の計画、実行、監視および/または監督に関わる経路計画システム10の他のユーザを指す。
図2A〜図2Fを一時的に参照すると、実際に標的を特定する最も効果的な方法は、コンピュータ断層撮影(CT)画像の使用を必要とする。導入として、診断ツールとしてのCT画像の使用は日常的になっており、CTの結果は、病変部、腫瘍または他の同様の対象となる標的のサイズおよび位置に関する臨床医に利用可能な主要情報源であることが多い。この情報は、生検などの手術処置を計画するために臨床医によって使用されるが、典型的には、処置の開始前に実施者の能力の及ぶ範囲で記憶されなければならない「オフライン」情報としてのみ利用可能である。CT画像は典型的に、軸方向、冠状方向および矢状方向のそれぞれのスライスとして患者をデジタルで画像化することにより得られる。例えば、図2Aは、軸方向から、すなわち図2Bに示すように患者の脊椎に対して平行に見ているかのように撮影されたCT画像のスライス示す。図2Cは、冠状方向から、すなわち図2Dに示すように患者の真上から撮影されたCT画像のスライスを示す。図2Eは、矢状方向から、すなわち図2Fに示すような患者の側面から撮影されたCT画像のスライスを示す。臨床医は、標的の特定すなわち発見を試みている際に、各方向からのスライスによってCT画像データスライスを見直してもよい。
次に図3を参照すると、一実施形態では、経路計画モジュール200を用いた経路計画は4つの別個の段階で実施することができる。第1段階S1で、臨床医は、経路計画のための患者を選択する。第2段階S2で、臨床医は、標的を追加する。第3段階S3で、臨床医は、標的までの経路を作成する。最後に、第4段階S4で、臨床医は、計画を見直しおよび承認し、医療処置で使用するためにその計画をエクスポートしてもよい。臨床医は、必要に応じて第2および第3段階S2およびS3のいずれか一方または両方を繰り返してさらなる標的を選択し、かつ/または特定の患者のためにさらなる経路を作成してもよい。例えば、臨床医は、さらなる標的を選択して、各標的までの経路を作成してもよい。臨床医は、さらにまたは代わりとして、同じ標的のために複数の経路を作成してもよい。図4〜図16を参照して、段階S1〜S4のそれぞれについて以下により詳細に記載する。
本明細書に使用されている「ウィンドウ」という用語は、ユーザインタフェース202によって表示装置102上に投影または提供されるあらゆる画面、画像、オーバーレイ、ユーザインタフェースまたはそれらの組み合わせを指す。
次に図4および図5を参照すると、段階S1で、ユーザインタフェース202は、経路計画を実施する患者データ212を選択するためのウィンドウ210を臨床医に提示する。図4は、ウィンドウ210を含むユーザインタフェース202を示し、図5は、本開示の一実施形態に係る患者データを選択する方法を示す。ユーザインタフェース202は、最初に、臨床医の見直しのためにウィンドウ210を開くことにより、工程S500で患者データを選択する方法を開始する。ウィンドウ210は、経路計画で使用される患者データ212を受け取るソースを臨床医が選択することができるよう選択可能なソース位置メニュー214を含む。工程S502で、臨床医は、上記のように、例えば、CD、DVD、ブルーレイ、他の挿入可能な光学式媒体、ユニバーサル・シリアル・バス(USB)メモリ装置、外部もしくは内部ハードドライブ、ソリッドステート記憶装置、または計算装置100に接続されているかデータ通信している任意の他の種類のメモリもしくは記憶装置104などの複数の記憶装置またはメモリ装置からソースを選択する。また、ウィンドウ210は、例えば、ネットワークまたはインターネット上のサーバなどの遠隔位置に格納された患者データ212へのアクセスを提供してもよい。ソース位置メニュー214により、臨床医が患者データの単一のソース選択することができるようにしたり、臨床医が同時に患者データの複数のソースを選択することができるようにしたりしてもよい。また、ソース位置メニュー214は、全てのソースから患者の一覧を作成するオプションを含んでいてもよい。工程S504で、臨床医は、患者の一覧から検索してもよく、あるいは患者の一覧を、例えば、患者の名前もしくは名字、ID番号、誕生日または他の同様の判別条件などの選択した判別条件を満たすものに絞るために、検索ボックス216に検索用語を入力してもよい。臨床医が選択した所望の患者を有すると、臨床医は工程S506に進む。
工程506では、臨床医によって患者が選択されると、患者の入手可能なCT画像220および各CT画像220に対して以前に作成された選択した患者のためのあらゆる経路計画222の一覧を含む患者のためのドロップダウンメニュー218が表示される。臨床医は、「新しい計画を作成する」オプション224を選択し、かつ工程S510に進むことにより、CT画像220に基づいて新しい計画を作成することを選択してもよく、あるいは、選択したCT画像220のために以前に作成された計画が存在する場合、「計画を開く」オプション226を選択し、かつ工程S514に進むことにより、以前に作成された計画を開いてもよい。「新しい計画を作成する」オプション224を選択した場合、CT画像220を好ましくはDICOMフォーマットで経路計画モジュール200内にインポートする。計算装置100は、CT画像220をそれらが撮影された順番に並べて、それらが撮影された際にCTスキャン装置に設定されたスライス間の距離に従ってそれらを離間させることにより、CT画像220を処理して3次元CTボリュームに組み立てる。経路計画モジュール200は、患者の気管支樹の継ぎ目のない3次元(3D)モデルすなわちCTボリュームを作成するためにデータフィル機能を実行してもよい。経路計画モジュール200は、新しく構築されたCTボリュームを使用して、気管支樹内の気道の3次元マップを生成する。3次元マップは、各気道が線として表されるように骨格化してもよく、あるいはそれらの各直径を表す寸法を有する気道を含んでいてもよい。3次元マップを生成している際に、後で使用するために、気道に気流方向の印(吸息、呼息すなわちそれぞれのための別個の矢印)を付けることが好ましい。3次元CTボリュームおよびモデルを生成する技術は、どちらもSummersらに付与された同一出願人による米国特許第6,246,784号および第6,345,112号ならびにそれらの中で引用されている参考文献に記載されており、それらの開示内容全体が参照により本明細書に組み込まれる。
また、ウィンドウ210は、臨床医が、表示装置102上に示されている現在の画面、例えば、ウィンドウ210の画像をキャプチャし、キャプチャした画像をメモリに保存することができる「画面をキャプチャする」オプション228を含んでいてもよい。また、「画面をキャプチャする」オプション228は、キャプチャした画像から患者に特有データを除去して、患者のプライバシーを保護するように構成されていてもよい。患者に特有のデータの除去は、臨床医によって選択可能なオプションであってもよく、デフォルトで「オン」に設定されていてもよい。
次に図6〜図8を参照すると、臨床医がウィンドウ210から「新しい計画を作成する」オプション224を選択した場合、本方法は、工程S512および段階S2に進み、標的を追加する。図6および図8は、ウィンドウ230および244を含むユーザインタフェース202を示し、図7は、本開示の一実施形態に係る標的を追加する方法を示す。段階S2が開始されると、本方法は、工程S700に進み、ユーザインタフェース202は、経路計画を実施する標的232の特定および選択のためのウィンドウ230を開く。ウィンドウ230では、主ウィンドウ236内のCT画像データのスライス234が臨床医に提供される。スライス234は、軸方向、冠状方向および矢状方向のうちのいずれか一方向からのCT画像データから取り出されたものであってもよい。臨床医は、主ウィンドウ236に示されているスライス234を、軸方向、冠状方向および矢状方向からのスライス234の間をいつでも自由に切り替えることができる。図示されている例では、軸方向のCT画像データからのスライス234が提供されている。一度に単一のスライスおよび方向のみ、例えば、軸方向のCT画像データからのスライス234のみを示すことにより、標的を選択する単純かつ見やすいインタフェースが臨床医に提供されることに留意されたい。臨床医は、主ウィンドウ236内の選択されたスライス234の画像を操作および再配置してもよく、選択されたスライス234を拡大縮小して、選択されたスライス234の特定の部分の拡大または縮小された図を得てもよい。
ウィンドウ230は、臨床医によって使用される患者のCT画像データの一般的な全体像を提供するローカライザー238も含む。図示されている例では、ローカライザー238は、冠状方向からの患者の肺の一般像を含むローカライザーウィンドウ240を提供している。ローカライザーウィンドウ240は、例えば、冠状方向からのCT画像、蛍光透視様画像、または臨床医に患者の肺の像を提供する他の同様の画像を表示してもよい。ローカライザー238は、ローカライザー238によって表示される患者の肺に対する主ウィンドウ236内に表示される選択されたスライス234の位置を臨床医に提供する、ローカライザーウィンドウ240を横切って延びる位置要素242、例えば、線またはバーを含む。位置要素242は、臨床医によって選択可能であり、かつ、臨床医が、主ウィンドウ236上に表示される患者の肺のCT画像スライス内をスクロールすることができるようにローカライザーウィンドウ240に対して移動およびスライド可能である。例えば、CT画像スライスを、CT画像データによって定められた順序でスクロールまたは表示してもよい。臨床医は、さらにまたは代わりとして、ローカライザーウィンドウ240の一部をクリックまたは選択して、ローカライザー238を患者の肺の中の選択した位置まで移動してもよい。臨床医は、さらにまたは代わりとして、ユーザインタフェース202と直接対話することなく、例えばマウスホイールまたは他の装置などの入力装置を介して、主ウィンドウ236に表示されている患者の肺のCT画像スライス内をスクロールしてもよい。主ウィンドウ236上に表示するために別の方向(例えば、冠状方向)を選択した場合、ローカライザー238は、他の方向(例えば、軸方向または矢状方向)のうちの1つの一般像を表示してもよい。ローカライザー238は、特定の病変部または他の標的232が患者の肺の中のどこに位置しているかについての一般参照を臨床医に提供する。また、ローカライザー238は、臨床医の参照のために1つ以上の以前に選択された標的を表示してもよい。
工程S702で、臨床医は、CT画像スライス234内をスクロールして、CT画像上の標的232を特定する。工程S704では、現在のCTスライス234内で標的232が特定されると、臨床医は、標的選択要素243、例えば、十字カーソル、マウスポインタ、手または他の同様の選択要素を用いて主ウィンドウ236から標的232をクリックするか、それ以外の方法で選択してもよい。臨床医は、標的選択要素243を標的232の上に配置するように、例えば、主ウィンドウ236上に表示されているCT画像をドラッグしてもよく、あるいは、マウス(図示せず)または他の入力装置を用いて標的232をクリックすることにより標的232を直接選択してもよい。表示装置102がタッチセンサ式である場合、臨床医は、表示装置102上の標的232をタッチして標的232を選択してもよい。次いで、「標的を追加する」オプション245を選択することにより、工程S706で標的232を計画に追加してもよい。
次に図8を参照すると、標的232が追加されると、ユーザインタフェース202によって標的詳細ウィンドウ244が表示される。標的詳細ウィンドウ244は、ウィンドウ230をオーバーレイしても置き換えてもよい。標的詳細ウィンドウ244は、軸方向表示246、冠状方向表示248および矢状方向表示250の拡大すなわちズームされた型の中に示される選択した標的232を臨床医に提供する。工程S708で、臨床医は、標的232の幅、高さおよび深さ寸法を入力し、標的232に名前を付け、標的232に関するさらなるコメントを追加してもよい。さらに、標的寸法決め要素252、例えば、十字カーソルまたは他の同様の要素を、各表示246、248、250内の標的232の上に配置し、臨床医によって、各表示246、248、250内の標的232を標的寸法決め要素252内にセンタリングするように操作または移動可能である。標的寸法決め要素252は、臨床医によって標的232の寸法を変更するように操作可能な調整可能境界リング254も含む。例えば、臨床医は、軸方向表示246、冠状方向表示248および矢状方向表示250のそれぞれの上の境界リング254のサイズを変更して、標的232の寸法を正確に定めてもよい。境界リング254は、円形、楕円形または他の同様の幾何学形状であってもよく、境界リング254の形状は、標的232の全体寸法に実質的に一致するように調整してもよい。一実施形態では、境界リング254を、臨床医によって非幾何学的に、例えば、境界リング254の自由形状操作で、標的232の非幾何学的な寸法に一致させるように調整してもよい。標的232は、例えば、病変部、腫瘍などの3次元の物体であり、かつ各表示246、248、250は、異なる方向から撮影されているため、臨床医による表示246、248、250のうちの1つに対する境界リング254の操作および調整により、残りの表示246、248、250の一方または両方の中の境界リング254も変更または調整され得ることに留意されたい。このようにして、臨床医は、標的の寸法および3種類の表示全ての中の標的232の位置を正確に選択し、標的を3次元の座標空間内の特定の座標および寸法に効果的にマッピングしてもよい。工程S710では、標的232の寸法および位置が臨床医によって選択されると、臨床医は、「標的を保存する」オプション256を選択し、工程S712の患者の気管支樹の生成された3次元マップの見直しに進む。
次に図9および図10を参照すると、臨床医がウィンドウ230の「標的を保存する」オプション256を選択した後、本方法は工程S1000に進み、気管支樹の3Dマップを見直す。工程S1000で、ユーザインタフェース202は、経路計画モジュール200によって生成された3次元マップの見直しのためのウィンドウ260を開く。ウィンドウ260は、患者の気管支樹の3次元モデル264を表示する3次元マップウィンドウ262および臨床医の参照のために軸方向、冠状方向および矢状方向のうちの一方向からのCT画像を表示するスキャンウィンドウ266を含む。図示されている実施形態では、冠状方向からのCT画像が表示されている。冠状方向からのCT画像が表示されているのは、冠状方向により、真上からの患者の気管支樹の画像すなわち正面図が得られ、気管支樹、例えば、主要な気道の主幹および分岐部の認識可能な主要な特徴を臨床医に表示する可能性が高いからである。CT画像を3次元モデル264と比較することにより、臨床医は、3次元モデル264が患者の気管支樹の認識可能な主要な特徴を含むこと、およびCT画像と比較した場合に3次元モデル264内に肉眼的異常が全く存在しないことも判定または確認することができる。工程S1002で、臨床医は、3次元マップウィンドウ262の回転スライダー268を操作して3次元モデルを必要に応じて回転させて、3Dマップが承認可能であるか否かを判定する。工程S1004では、3次元モデル264が実質的に正確であり、例えば、主要または中枢の気道が十分に図示されていると臨床医が満足した場合は、臨床医は、「マップを承認する」オプション270を選択し、段階S3および気道ファインダーに進む。3Dマップが承認可能でない場合、臨床医は、工程S1006に進み、工程S500に戻って、新しい患者データ、例えば、新しい患者または同じ患者の新しいCTスキャンを選択する。
次に図11A〜図11Gおよび図12を参照すると、臨床医がウィンドウ260の「マップを承認する」オプション270を選択した後、本方法は、段階S3および工程S1200に進んで気道ファインダーを開始する。図11A〜図11Bおよび図11D〜図11Gは、ウィンドウ272を含むユーザインタフェース202を示し、図11Cは、気道ファインダーによって使用される最初の軸「A」を示し、図12は、本開示の一実施形態に係る気道を見つけて経路を完成させる方法を示す。工程S1200では、最初に図11A〜図11Cを参照すると、ユーザインタフェース202は、標的232から患者の入口点、例えば、口もしくは鼻などの自然な開口部または切開部などの人工の入口点までの経路を作成するためのウィンドウ272を開く。ウィンドウ272は、標的232を含むCT画像276を表示する気道ファインダー274と、CT画像276の指定軸の周りでの回転を表す回転インタフェース278とを含む。一実施形態では、ウィンドウ272を最初に開くとすぐに、気道ファインダーウィンドウ274のCT画像276上に標的232のみが示され、回転インタフェース278上の回転インジケータ280、例えば、矢印280aおよび回転バー280bが位置合わせされる。回転インタフェース278は、CT画像276の指定軸の周りの相対的回転に関する回転情報を提供する。次に図11Bを参照すると、標的マーカ232aがCT画像276上に表示されており、臨床医に標的232の位置を示すために、標的232の上に配置されている。引き出し線232bは、標的マーカ232aの中心から延びており、ポインタ、マウスまたは他の入力装置の移動により臨床医によって移動可能である。例えば、臨床医による入力装置の移動により、標的232から離れるように延びる引き出し線232bの端部232cを移動させる。臨床医は引き出し線232bを使用して、工程S1208に関して以下にさらに詳細に記載するように適当な気道を選択する。
一実施形態では、図11Cを簡単に参照すると、ウィンドウ272を最初に開くとすぐに、工程S1202で最初の軸「A」が設定され、標的232から患者の気管内腔の中心部まで引かれた軸に沿って定められる。標的232から気管までの軸に沿った最初の軸「A」を定めることにより、標的232を入口点に繋ぐ標的232の近くの気道を臨床医が見つけることができる可能性が高まる。これは、気管支樹の樹状すなわち分岐的性質によるものである。他の実施形態では、最初の軸「A」を、標的232から患者の気管支樹の任意の他の部分、例えば、気管支樹の最も近い主要分岐部の中心部または患者の気管支樹の3Dマップの最も近い公知の気道まで引かれた軸に沿って定めてもよい。
工程S1204で、臨床医は、例えば、マウスホイールを転がすか、別の入力装置を操作するか、および/またはユーザインタフェース202の一部、例えば、回転インタフェース278を操作することにより、CT画像276を最初の軸に周りに回転させる。臨床医がCT画像276を最初の軸の周りに回転させるにつれて、回転インタフェース278上のインジケータ280は、互いに対して移動し、例えば、回転バー280bは、回転インタフェース278に沿って対応する方向に矢印280aに対して移動して、最初の表示に対する回転量を示す。臨床医により同じ方向に連続的に回転させた後に、回転バー280bが回転インタフェース278の端部に到達すると、回転バー280bは回転インタフェース278の端部から消えて、回転インタフェース278の反対側の端部から再び現れ、回転インタフェース278に沿って同じ方向にスライドし続ける。臨床医がCT画像276を最初の軸の周りにフル回転させると、インジケータ280、例えば、矢印280aおよび回転バー280bは、回転インタフェース278の中心に再度位置合わせされる。
次に図11Bおよび図11Dを参照すると、CT画像276を最初の軸の周りに回転させると、臨床医は、工程S1206で、CT画像276を評価して、標的232の近くに気道282が存在するか否かを判定する。例えば、標的232から離れるように延びるか標的232の近くに延びるCT画像276内の暗い領域は、気道282が存在するという指標であってもよい。臨床医が気道282が存在すると判定した場合、本方法は工程S1208に進み、臨床医は、引き出し線232bの端部232cをCT画像276上の気道282内の決定した位置に配置して、CT画像276上に経路中間地点282aを作成する。経路計画モジュール200は、CT画像276上の標的232と経路中間地点282aとの間に経路線284を描き、工程S1210に進む。このようにして、臨床医は、標的232に最も近い気道282の一部を定める。気道282が全く存在しない場合、臨床医は、工程S1204に戻り、CT画像を指定軸の周りに回転させ続ける。経路中間地点282aが正確に配置されていない場合または臨床医が別の気道を探すことを望んでいる場合は、臨床医は、経路中間地点282aを除去して、工程S1204またはS1208のいずれか一方に戻ってもよい。
工程S1210で、経路計画モジュール200は、臨床医によって選択された経路中間地点282aが経路計画モジュール200によって生成された3次元マップの公知の気道内に位置しているか否かを判定する。経路中間地点282aが3次元マップの公知の気道内に位置している場合、本方法は工程S1214に進み、図11G内の中間地点282aについて以下にさらに示すように、経路中間地点282aから3次元マップの公知の気道を通って気管および患者の入口点まで、経路計画モジュール200によって経路を自動的に完成させる。
経路中間地点282aが3次元マップの公知の気道内に位置していない場合、本方法は工程S1212に進む。次に図11Dおよび図11Eを参照すると、気道ファインダー274は、上記のように、標的232、標的マーカ232a、経路中間地点282a、経路線284および回転インタフェース278を含むCT画像286を表示する。図11Dに示すように、端部282cを有する引き出し線282bは、この時、経路中間地点282aから延びている。
工程S1212では、指定軸が、経路線284により画定された軸に設定される。CT画像286は、最初の軸「A」の代わりに経路線284の周りを回転可能であり、回転インタフェース278は、経路線284により画定された軸の周りでのCT画像286の相対的回転を表示する。経路線284の周りに回転軸を定めることにより、臨床医が、経路中間地点282aを含む気道282に繋がるCT画像286上の気道を見つける可能性が高まる。指定軸が経路線284の軸に設定された後、本方法は工程S1204に戻る。CT画像286を、経路線284により画定された軸の周りに回転させると、臨床医は、上記のように、CT画像286を評価して、経路中間地点282aを含む経路に繋がる気道288が存在するか否かを判定する。臨床医が工程S1206で気道288が存在すると判定した場合、本方法は、工程S1208に進み、臨床医は、引き出し線282Bの端部282CをCT画像286上の気道288内の決定した位置に配置して、CT画像286上に経路中間地点288aを作成する。経路計画モジュール200は、図11Eに示すように、CT画像286上に経路中間地点282aから経路中間地点288aまでの経路線290を描く。経路中間地点288aが正確に配置されていない場合または臨床医が別の気道を探すことを望んでいる場合は、臨床医は、経路中間地点288aを除去して、工程S1204またはS1208のいずれか一方に戻ってもよい。
工程S1210では、次に図11Fを参照すると、経路計画モジュール200は、臨床医によって選択された経路中間地点288aが、経路計画モジュール200によって生成された3次元マップの公知の気道、例えば気道291内に位置しているか否かを判定する。経路中間地点288aが3次元マップの公知の気道内に位置していない場合、本方法は工程S1212に進み、臨床医は、経路中間地点が3次元マップの公知の気道内に位置するまで、上記のようにさらなる経路中間地点を設定し続ける。
次に図11Gを参照すると、経路中間地点291aが気道291内に上記の方法で追加されている。この例示では、気道291は3次元マップの公知の気道である。本方法は工程S1214に進み、経路計画モジュール200によって、経路中間地点291aから気道291および気管支樹の3次元マップの公知の分岐部を通って患者の入口点まで、経路291bを自動的に完成させる。経路を自動的に完成させると、本方法は工程S1216に進み、ユーザインタフェース202によって経路完成ウィンドウ293が表示され、臨床医に「経路の見直しに進む」オプション293aおよび「自動完成を取り消す」オプション293aを提供する。臨床医は、「経路の見直しに進む」オプション293aを選択して工程S1218に進み、経路の見直しを開始してもよい。あるいは、臨床医が気道ファインダー274を用いて中間地点のマッピングを継続することを望んでいる場合、臨床医は、「自動完成を取り消す」オプション293bを選択し、上記のようにさらなる経路中間地点を作成するために、工程S1212に戻ってもよい。
このようにして、処置または手術中に臨床医によって後で使用される経路計画が作成される。臨床医は、自動完成前に標的232に最も近い経路および経路中間地点を手動で選択および作成することができるため、臨床医は、経路計画の終了時に標的232に対する医療装置の最終的な向きを直接制御する経路計画を作成することができる。これにより、臨床医は、医療装置を、患者の細い気道に沿って、医療装置の作業端をほぼ標的232に向かって方向づけることができる方向に移動させることができる医療装置のための経路計画を作成することができる。ここで、「ほぼ標的232に向かって」とは、臨床医が使用される医療装置の限度内で標的232に効果的にアクセスし得るあらゆる向きを含む。
次に図13および図14を参照すると、臨床医が経路を完成した後、本方法は工程S1400に進み、ユーザインタフェース202は、標的232から患者の入口点までの経路を見直すためのウィンドウ294を開く。図13は、ウィンドウ294を含むユーザインタフェース202を示し、図14は、本開示の一実施形態に係る経路を見直す方法を示す。ウィンドウ294は、仮想ウィンドウ295および3次元マップウィンドウ296を含む。3次元マップウィンドウ296は、3次元マップウィンドウ262と同様の患者の気管支樹の3次元モデル298を表示する。仮想ウィンドウ295は、実際の気管支鏡表示と同様のシミュレートされた表示を示すCTに基づく「仮想気管支鏡検査」を表示し、仮想気管支鏡検査表示、局所表示および放射状表示の間で選択するための表示選択タブ295aを含む。仮想気管支鏡検査の間、臨床医は、必要に応じて仮想表示、局所表示および放射状表示の間を切り替えて経路を見直してもよい。仮想気管支鏡検査表示は、気管支鏡からのビデオ画像に近似したCTデータから得られる気道の仮想映像を表示し、局所表示は、現在のナビゲーション位置を通るCTボリュームの断面の正面斜視図を表示し、放射状表示は、ナビゲーション位置および局所経路部分に垂直なCTボリュームの断面を表示する。仮想気管支鏡検査技術については、どちらもSummersらに付与された同一出願人による米国特許第6,246,784号および第6,345,112号ならびにそれらの中で引用されている参考文献に記載されており、それらの開示内容全体が参照により本明細書に組み込まれる。
工程S1402では、臨床医によって経路が作成されるとすぐに、ユーザは、仮想ウィンドウ295上のフライスルー仮想気管支鏡検査に従って、計画、標的および経路を見直す。ユーザインタフェース202は、仮想ウィンドウ295内に、作成された経路を表す線300を生成する。臨床医は、入口点から気管を通り、かつ患者の気管支樹の気道を通って、線300が標的232に到達するまで、線300を辿る。明らかなように、臨床医が、患者の気管支樹の次第に細くなっていく気道を通る線300を辿るにつれて、インポートされたCT画像の解像度の欠如により、経路計画モジュール200が細くなっていく気道を解像する能力が次第に難しくなっていく。この解像度の欠如により、仮想ウィンドウ295に表示されている仮想気管支鏡検査のシミュレートされた表示は、最終的に鮮明な気道内腔を示すことができなくなることがある。いずれにせよ、臨床医が経路計画の目的のために本システムを利用することができるように、標的232および線300は、仮想ウィンドウ295内に表示される。
臨床医が、患者の気管支樹を通って標的232までの線300を辿るにつれて、3次元モデル298に対する仮想ウィンドウ295のシミュレートされた表示の位置を示す対応するマーカ298aは、3次元モデル298に沿って標的232まで移動する。工程S1404では、仮想気管支鏡検査を見直した後、臨床医は、経路が承認可能であるか否かを判定する。経路が承認可能である場合、臨床医は、「承認する」オプション299aを選択してもよく、本方法は工程S1408に進む。経路が承認可能でない場合、本方法は工程S1406に進み、臨床医は、「経路を廃棄してやり直す」オプション299bを選択して気道ファインダーウィンドウ272に戻り、経路を編集するか新しい経路を作成してもよい。
次に図15〜図17を参照すると、臨床医が経路を見直しおよび承認するとすぐに、本方法は、段階S4および工程S1700に進む。図15および図16は、ウィンドウ302および316をそれぞれ含むユーザインタフェース202を示し、図17は、本開示の一実施形態に係る計画を見直す方法を示す。工程S1700で、ユーザインタフェース202は、3次元マップウィンドウ304と、選択した経路を表示する軸方向表示306、冠状方向表示308および矢状方向表示310の各表示を含むウィンドウ302を開く。ウィンドウ302は、標的タブ312および経路一覧314を含む。標的タブ312により、臨床医は、さらなる見直しのために、さらなる標的を追加し、かつ既に特定されている標的を選択することができる。経路一覧314により、臨床医は選択した標的タブ312に関連づけられた経路を見直し、かつ選択した標的タブ312のために経路を追加することができる。工程S1704で、臨床医は、標的が承認可能であるか否かを判定する。標的が承認可能でない場合、本方法は工程S1706に進み、経路計画モジュール200は、臨床医を「標的を追加する」ウィンドウ230に戻して、上記のように新しい標的を追加する。標的が承認可能である場合、本方法は工程S1708に進み、臨床医は、経路が承認可能であるか否かを判定する。経路が承認可能でない場合、本方法は工程S1710に進み、経路計画モジュール200は、上記のようにさらなる経路を作成するために、臨床医を「気道ファインダー」ウィンドウ272に戻す。標的および経路の両方が承認可能である場合、臨床医は、「終了してエクスポートする」オプション315を選択し、工程S1716の計画の見直しに進む。
次に図16を参照すると、工程S1716では、ユーザインタフェース202は、3次元マップウィンドウ318および選択した計画のために特定された標的320の一覧を含むウィンドウ316を開く。各標的320は、関連づけられた経路322を表示するために臨床医によって選択可能であり、各経路322は、見直しオプション324の選択により臨床医によって見直し可能である。ウィンドウ316は、3次元マップが見直しおよび承認されたか否かならびに現在の計画がエクスポートされたか否かの指標も提供する。工程S1712では、3Dマップが承認されなかった場合、臨床医は、「3Dマップを見直しする」オプション326を選択することにより、3次元マップを再度見直してもよい。「3Dマップを見直しする」オプション326が選択された場合、本方法は工程S1714に進み、経路計画モジュール200は、臨床医を上記「3Dマップを見直しする」ウィンドウ260に戻す。3Dマップが承認された場合、本方法は工程S1716に進み、臨床医は、全体的な計画が承認可能であるか否かを判定する。計画が承認可能でない場合、本方法は工程S1718に進み、経路計画モジュール200は、臨床医を上記「患者選択」ウィンドウ210に戻す。臨床医が計画に満足した場合、本方法は、工程S1720に進み、臨床医は、「エクスポート」オプション328を選択することにより、外科手術中に使用される計画をエクスポートしてもよい。当該計画を、例えば、装置100上のメモリまたは記憶装置、取外し可能な記憶装置などのメモリ104ついて上に記載した任意の形態の非一時的コンピュータ可読媒体、メモリまたは記憶装置にエクスポートしてもよく、遠隔すなわちサーバのメモリなどに有線もしくは無線接続を介した送信によりエクスポートしてもよい。
図4、図6、図15および図16を参照すると、ユーザインタフェース202は、上記段階および/または工程のいずれかに戻るかそれらを繰り返すために臨床医によって操作可能な1つ以上のナビゲーションバーを含んでいてもよい。例えば、図4に示すように、臨床医は、ナビゲーションバー330を操作して、段階間を切り替えてもよい。また、ユーザインタフェース202のウィンドウのいずれかにおいて前の工程またはウィンドウに戻るためのオプションを臨床医に提供していてもよい。
上記のように、本開示は、経路計画のためにCT画像を用いる。また、CT画像は、ナビゲーション目的のために、医療処置中に臨床医によって典型的に使用される。CT画像は、それら独自の座標系を有しているため、他の画像診断法にも好ましい。2つの座標系、例えば、CT画像の座標系と患者の座標系との一致は一般に、レジストレーションとして知られている。一般に、CT画像および体表または体内の位置を特定し、両系のそれらの座標を測定することにより、レジストレーションは行われる。
CTデータおよび患者データの手動および半自動化レジストレーション方法については、例えば、Covidien社に譲渡された米国特許第7,233,820号に詳細に記載されており、その開示内容は参照により本明細書に組み込まれる。手動レジストレーションは、やや時間がかかり、複数の工程を必要とするため、多くの実施者は、以下に記載する自動レジストレーション技術に頼る。但し、場合によっては、特にCT画像データの質が十分でない場合は、なお手動レジストレーションを行うことが必要であったり望ましかったりすることがある。
上で参照したレジストレーション技術の手動基準点の指定は非常に効果的であるが、サンプリングされる点の数の選択が必ずしも精度と効率とのトレードオフを表すとは限らないため、自動レジストレーションが、大部分の処置での標準となっている。同様に、半自動化技術は実現可能な選択肢であるが、それはカテーテルアセンブリの遠位端に画像センサを必要とし、それによりシステムの複雑さがさらに増してしまう。
自動レジストレーション技術については、同一出願人による米国特許出願第12/780,678号に詳細に記載されており、その開示内容全体が参照により本明細書に組み込まれる。分岐構造のデジタル画像と分岐構造内部のセンサの位置を表すリアルタイムインジケータとの自動レジストレーションは、その構造内部のデジタル画像を「ペイントする」ためにセンサを用いることにより達成される。十分な位置データが収集されると、レジストレーションが達成される。レジストレーションは、分岐構造を通るナビゲーションにより、必ずしもさらなる位置データが収集されるわけではなく、その結果、レジストレーションが絶えず精製されるという意味で「自動」である。
例示および説明のために添付の図面を参照しながら実施形態について詳細に説明してきたが、当然のことながら、本発明の方法および装置はそれらによって限定されるものとして解釈されるべきではない。本開示の範囲から逸脱することなく、上記実施形態に対する様々な修正が可能であることは当業者には明らかであろう。

Claims (16)

  1. 患者の解剖学的管腔網を通る経路を計画するためのシステムであって、前記システムは、
    少なくとも1つのプロセッサを含む計算装置と、
    前記計算装置と通信している表示装置と、
    前記表示装置上での表示のために構成され、かつユーザを経路計画手順に案内するように構成されたユーザインタフェースであって、前記ユーザインタフェースは、
    ユーザ入力に応答して少なくとも1つの標的から前記解剖学的管腔網の入口点までの少なくとも1つの経路を生成するように構成され、かつコンピュータ断層撮影(CT)画像を表示するように構成された気道ファインダーウィンドウであって、前記CT画像は最初に回転可能であり、前記気道ファインダーウィンドウは、前記CT画像の回転量を表示するように構成された回転インタフェースを含み、前記回転インタフェースは、1つ以上の回転インジケータをさらに含み、前記1つ以上の回転インジケータは、前記回転インタフェースを、360度の総回転量の中から前記CT画像の回転量を表示する複数の部分に分割するように構成されている、気道ファインダーウィンドウ
    を備える、ユーザインタフェースと、
    を備える、システム。
  2. 前記ユーザインタフェースは、
    患者選択ウィンドウであって、
    経路計画を行うCT画像データを有する患者を選択するユーザ入力を受け取り、
    前記計算装置に関連づけられた少なくとも1つのメモリ装置から患者データおよびCT画像データをインポートする
    ように構成されている、患者選択ウィンドウと、
    前記CT画像データから少なくとも1つの標的を選択するユーザ入力を受け取るように構成された標的選択ウィンドウであって、前記標的選択ウィンドウは、
    前記CT画像データのスライスを表示するように構成されたCT画像ウィンドウと、
    少なくとも1つの肺の画像を表示するように構成されたローカライザーウィンドウであって、前記ローカライザーウィンドウは、前記少なくとも1つの肺に対する表示されているスライスの位置を特定するように構成されている、ローカライザーウィンドウと、
    ユーザ入力に応答して前記CT画像データの表示されているスライスから前記少なくとも1つの標的を選択するように構成された標的選択要素と、
    を含む、標的選択ウィンドウと、
    をさらに備える、請求項1に記載のシステム。
  3. 前記少なくとも1つのプロセッサは、前記ユーザにより選択されたCT画像データから3次元CTボリュームを生成するように構成されている、請求項2に記載のシステム。
  4. 前記回転インタフェースは、1つ以上の回転矢印をさらに含む、請求項1に記載のシステム。
  5. 前記1つ以上の回転矢印は、現在の回転位置を表示するように構成されている、請求項に記載のシステム。
  6. 前記回転インタフェースは、回転バーおよび1つ以上の回転矢印をさらに含む、請求項1に記載のシステム。
  7. 前記回転バーは、前記CT画像が回転される際に、前記1つ以上の回転矢印に対して前記回転インタフェース内でスライドするように構成されている、請求項に記載のシステム。
  8. 前記回転バーは、前記CT画像の最初の回転の向きにて前記1つ以上の回転矢印と位置合わせされるように構成されている、請求項に記載のシステム。
  9. 前記回転バーは、前記CT画像の回転中に前記回転インタフェースの反対側の端部へスライドした後に、前記回転インタフェースの反対側の端部に現れるようにさらに構成されている、請求項に記載のシステム。
  10. 前記回転インタフェースは、前記CT画像の最初の回転の向きに対する軸の周りでの前記CT画像の回転量に関する回転情報を提供するように構成されている、請求項に記載のシステム。
  11. 患者の解剖学的管腔網を通る経路を計画するための方法であって、前記方法は、
    ユーザ入力により選択された患者のコンピュータ断層撮影(CT)画像データをインポートする工程と、
    前記CT画像データから3次元CTボリュームを生成する工程と、
    前記3次元CTボリュームのスライスを表示する工程と、
    少なくとも1つの特定された標的から前記3次元CTボリュームの気管まで延びる回転軸を画定する工程と、
    前記回転軸の周りに前記3次元CTボリュームを回転させる工程と、
    回転インタフェースを、360度の総回転量の中から前記3次元CTボリュームの回転量を表示する複数の部分に分割する1つ以上の回転インジケータを表示する工程を含む、前記3次元CTボリュームの回転量を表示する工程と、
    を備える、方法。
  12. 前記3次元CTボリュームの回転量を表示する工程は、
    現在の回転位置を描写する1つ以上の回転矢印を表示する工程
    をさらに含む、請求項11に記載の方法。
  13. 前記3次元CTボリュームの回転量を表示する工程は、
    1つ以上の回転矢印および回転バーを表示する工程と、
    前記3次元CTボリュームが回転される際に、前記1つ以上の回転矢印に対して回転インタフェース内で前記回転バーをスライドさせる工程と、
    をさらに含む、請求項11に記載の方法。
  14. プログラムが記憶された非一時的コンピュータ可読記憶媒体であって、前記プログラムは、プロセッサによって実行されるときに、ユーザインタフェースに、
    ユーザ入力により選択された患者のコンピュータ断層撮影(CT)画像データをインポートする工程と、
    前記CT画像データから3次元CTボリュームを生成する工程と、
    前記3次元CTボリュームのスライスを表示する工程と、
    少なくとも1つの特定された標的から前記3次元CTボリュームの気管まで延びる回転軸を画定する工程と、
    前記回転軸の周りに前記3次元CTボリュームのスライスを回転させる工程と、
    回転インタフェースを、360度の総回転量の中から前記3次元CTボリュームの回転量を表示する複数の部分に分割する1つ以上の回転インジケータを表示する工程を含む、前記3次元CTボリュームの回転量を表示する工程と、
    を行わせる、非一時的コンピュータ可読記憶媒体。
  15. 前記3次元CTボリュームの回転量を表示する工程は、
    1つ以上の回転矢印を表示する工程
    をさらに含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
  16. 前記3次元CTボリュームの回転量を表示する工程は、
    回転バーを表示する工程
    をさらに含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
JP2018132261A 2013-03-15 2018-07-12 経路計画システムおよび方法 Active JP6638027B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/838,997 2013-03-15
US13/838,997 US9925009B2 (en) 2013-03-15 2013-03-15 Pathway planning system and method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014048407A Division JP6371083B2 (ja) 2013-03-15 2014-03-12 経路計画システムおよび方法

Publications (2)

Publication Number Publication Date
JP2018175886A JP2018175886A (ja) 2018-11-15
JP6638027B2 true JP6638027B2 (ja) 2020-01-29

Family

ID=50280256

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014048407A Active JP6371083B2 (ja) 2013-03-15 2014-03-12 経路計画システムおよび方法
JP2018132261A Active JP6638027B2 (ja) 2013-03-15 2018-07-12 経路計画システムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014048407A Active JP6371083B2 (ja) 2013-03-15 2014-03-12 経路計画システムおよび方法

Country Status (6)

Country Link
US (1) US9925009B2 (ja)
EP (1) EP2779005B1 (ja)
JP (2) JP6371083B2 (ja)
CN (2) CN108877913B (ja)
AU (2) AU2014201318B2 (ja)
CA (1) CA2846215C (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9925009B2 (en) * 2013-03-15 2018-03-27 Covidien Lp Pathway planning system and method
CN106572834B (zh) 2014-07-02 2019-12-03 柯惠有限合伙公司 对准ct
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9934423B2 (en) * 2014-07-29 2018-04-03 Microsoft Technology Licensing, Llc Computerized prominent character recognition in videos
US10792100B2 (en) 2014-08-20 2020-10-06 Covidien Lp Systems and methods for spherical ablations
CN104306072B (zh) * 2014-11-07 2016-08-31 常州朗合医疗器械有限公司 医疗导航系统及方法
CN107106194B (zh) 2014-12-31 2020-08-25 柯惠有限合伙公司 用于治疗慢性阻塞性肺病和肺气肿的系统和方法
US10163262B2 (en) * 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
WO2017015738A1 (en) * 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
JP2019502477A (ja) * 2016-01-06 2019-01-31 ボストン サイエンティフィック サイムド,インコーポレイテッドBoston Scientific Scimed,Inc. 医療処置のプランを作成するシステム及び方法
US10582914B2 (en) 2016-01-15 2020-03-10 Covidien Lp Navigable endobronchial tool to access tissue outside a bronchus
US10558736B2 (en) * 2016-02-04 2020-02-11 Sap Se Metadata driven user interface layout control for web applications
US10583270B2 (en) 2016-03-14 2020-03-10 Covidien Lp Compound curve navigation catheter
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
CN106137394B (zh) * 2016-06-15 2019-09-24 苏州铸正机器人有限公司 一种获取椎弓根标准轴位图的方法
JP6239694B1 (ja) * 2016-06-15 2017-11-29 株式会社東芝 画像処理装置、画像処理方法、およびプログラム
US11419490B2 (en) 2016-08-02 2022-08-23 Covidien Lp System and method of using an endoscopic catheter as a port in laparoscopic surgery
US10478143B2 (en) 2016-08-02 2019-11-19 Covidien Lp System and method of generating and updatng a three dimensional model of a luminal network
US10448886B2 (en) 2016-08-17 2019-10-22 Covidien Lp Induced atelectasis and pulmonary consolidation systems and methods
US10881466B2 (en) 2016-08-29 2021-01-05 Covidien Lp Systems, methods, and computer-readable media of providing distance, orientation feedback and motion compensation while navigating in 3D
US10939963B2 (en) 2016-09-01 2021-03-09 Covidien Lp Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
US10799092B2 (en) 2016-09-19 2020-10-13 Covidien Lp System and method for cleansing segments of a luminal network
US10543044B2 (en) 2016-09-27 2020-01-28 Covidien Lp Systems and methods for detecting pleural invasion for surgical and interventional planning
US10542953B2 (en) 2016-09-27 2020-01-28 Covidien Lp Fissural assessment and surgical and interventional planning
US11222553B2 (en) 2016-09-27 2022-01-11 Covidien Lp Enhanced approaches to training for bronchoscopy and thoracic procedures
US20180140359A1 (en) 2016-11-21 2018-05-24 Covidien Lp Electromagnetic navigation registration using ultrasound
US10973396B2 (en) 2017-01-30 2021-04-13 Covidien Lp Enhanced ablation and visualization techniques
US11529190B2 (en) 2017-01-30 2022-12-20 Covidien Lp Enhanced ablation and visualization techniques for percutaneous surgical procedures
US11058489B2 (en) 2017-02-10 2021-07-13 Covidien Lp Devices, systems, and methods for a microwave ablation procedure
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
US10716627B2 (en) 2017-05-03 2020-07-21 Covidien Lp Method and system for planning a surgical instrument path
US11596477B2 (en) 2017-11-20 2023-03-07 Covidien Lp Systems and methods for generating energy delivery heat maps
US10646284B2 (en) 2017-12-05 2020-05-12 Covidien Lp Multi-rigid registration of magnetic navigation to a computed tomography volume
US11471217B2 (en) 2017-12-11 2022-10-18 Covidien Lp Systems, methods, and computer-readable media for improved predictive modeling and navigation
US12004849B2 (en) 2017-12-11 2024-06-11 Covidien Lp Systems, methods, and computer-readable media for non-rigid registration of electromagnetic navigation space to CT volume
US10984585B2 (en) 2017-12-13 2021-04-20 Covidien Lp Systems, methods, and computer-readable media for automatic computed tomography to computed tomography registration
US11224392B2 (en) 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
CN112566581B (zh) * 2018-08-10 2024-03-19 柯惠有限合伙公司 用于消融可视化的系统
CN111127550B (zh) * 2019-12-26 2023-08-29 上海联影医疗科技股份有限公司 基于床板的图像切片定位方法、装置、系统及存储介质
US20220139029A1 (en) * 2020-11-05 2022-05-05 Covidien Lp System and method for annotation of anatomical tree structures in 3d images
CN112450960A (zh) * 2020-12-21 2021-03-09 周永 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法
CN114191115A (zh) * 2021-12-22 2022-03-18 合肥德铭电子有限公司 可标注手术路径规划及远程指导的智能腔镜系统
CN114948199B (zh) * 2022-05-17 2023-08-18 天津大学 一种外科手术辅助系统及手术路径规划方法
CN115300159A (zh) * 2022-07-14 2022-11-08 桂林市啄木鸟医疗器械有限公司 自动激光切割组件、机械臂和牙椅

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602564A (en) * 1991-11-14 1997-02-11 Hitachi, Ltd. Graphic data processing system
JP3319518B2 (ja) 1992-06-26 2002-09-03 株式会社東芝 X線コンピュータ断層像撮影装置
JPH06337920A (ja) * 1993-05-28 1994-12-06 Toshiba Medical Eng Co Ltd 画像処理装置
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5920319A (en) 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5611025A (en) 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
JPH08166995A (ja) * 1994-12-13 1996-06-25 Toshiba Corp 医用診断支援システム
CA2246287C (en) 1996-02-15 2006-10-24 Biosense, Inc. Medical procedures and apparatus using intrabody probes
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US5971767A (en) 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
JPH11155881A (ja) 1997-09-26 1999-06-15 Olympus Optical Co Ltd 手術経路検索装置
JP2001087228A (ja) 1999-09-27 2001-04-03 Hitachi Medical Corp 読影支援装置
EP1095628A3 (en) 1999-10-29 2001-05-16 Marconi Medical Systems, Inc. Planning minimally invasive procedures for in - vivo placement of objects
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6829379B1 (en) 2000-11-27 2004-12-07 Ge Medical Systems Global Technology Company, Llc Methods and apparatus to assist and facilitate vessel analysis
US7179220B2 (en) 2001-02-07 2007-02-20 Siemens Corporate Research, Inc. Method for guiding flexible instrument procedures
EP2380487B1 (en) 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
JP2004105256A (ja) * 2002-09-13 2004-04-08 Fuji Photo Film Co Ltd 画像表示装置
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
CN1823349A (zh) * 2003-07-11 2006-08-23 西门子共同研究公司 内窥镜路径规划的系统和方法
US7620229B2 (en) * 2003-08-14 2009-11-17 Fujifilm Corporation Method and apparatus for aiding image interpretation and computer-readable recording medium storing program therefor
EP2189107A3 (en) 2003-10-31 2010-09-15 Olympus Corporation Insertion support system
JP3847744B2 (ja) * 2003-11-04 2006-11-22 オリンパス株式会社 挿入支援システム
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP4507085B2 (ja) * 2004-10-27 2010-07-21 株式会社ニコン 情報処理装置および方法、プログラム並びに記録媒体
JP4703193B2 (ja) 2005-01-14 2011-06-15 株式会社東芝 画像処理装置
JP4776954B2 (ja) * 2005-03-17 2011-09-21 オリンパス株式会社 内視鏡挿入支援装置
US20070092864A1 (en) * 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
US7518619B2 (en) 2005-11-07 2009-04-14 General Electric Company Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
WO2007113703A2 (en) 2006-03-30 2007-10-11 Koninklijke Philips Electronics N. V. Targeting method, targeting device, computer readable medium and program element
US20100201786A1 (en) * 2006-05-11 2010-08-12 Koninklijke Philips Electronics N.V. Method and apparatus for reconstructing an image
EP1865464B1 (en) * 2006-06-08 2013-11-20 National University Corporation Kobe University Processing device and program product for computer-aided image based diagnosis
US7517320B2 (en) 2006-06-30 2009-04-14 Broncus Technologies, Inc. Airway bypass site selection and treatment planning
RU2449365C2 (ru) * 2006-08-11 2012-04-27 Конинклейке Филипс Электроникс, Н.В. Способы и устройство для интегрирования систематического прореживания данных в основанный на генетическом алгоритме выбор подмножества признаков
WO2008125910A2 (en) 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
JP2010510815A (ja) 2006-11-28 2010-04-08 スーパーディメンション, リミテッド 身体の通路または腔を通してカテーテルをナビゲートする適応的ナビゲーション技術
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US8385622B2 (en) * 2007-07-27 2013-02-26 Hitachi Medical Corporation Image diagnostic support apparatus
JP4528322B2 (ja) * 2007-09-28 2010-08-18 富士フイルム株式会社 画像表示装置、画像表示方法、および画像表示プログラム
EP2225701A4 (en) * 2007-12-03 2012-08-08 Dataphysics Res Inc SYSTEMS AND METHODS FOR EFFICIENT IMAGING
EP2244633A4 (en) * 2008-02-14 2013-10-23 Penn State Res Found MEDICAL IMAGING SYSTEM AND METHOD
JP5301197B2 (ja) 2008-04-11 2013-09-25 富士フイルム株式会社 断面画像表示装置および方法ならびにプログラム
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
US20120062714A1 (en) * 2009-05-08 2012-03-15 Koninklijke Philips Electronics N.V. Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
EP2438584A4 (en) * 2009-05-12 2014-04-30 Edda Technology Inc SYSTEM, METHOD, APPARATUS AND COMPUTER PROGRAM FOR INTERACTIVE PREOPERATIVE ASSESSMENT
EP2448512B1 (en) * 2009-06-29 2021-10-27 Koninklijke Philips N.V. Apparatus for tracking in a medical procedure
JP2011125568A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、プログラム及び画像処理システム
US9149210B2 (en) * 2010-01-08 2015-10-06 Medtronic, Inc. Automated calibration of posture state classification for a medical device
WO2011089537A1 (en) * 2010-01-19 2011-07-28 Koninklijke Philips Electronics N.V. Imaging apparatus
US8600719B2 (en) * 2010-02-09 2013-12-03 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Ablated object region determining apparatuses and methods
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
CN101803952A (zh) * 2010-03-05 2010-08-18 南开大学 Ct图像导航脊柱微创手术机器人运动控制系统
JP4931027B2 (ja) 2010-03-29 2012-05-16 富士フイルム株式会社 医用画像診断支援装置および方法、並びにプログラム
US8922546B2 (en) 2010-09-30 2014-12-30 Siemens Aktiengesellschaft Dynamic graphical user interfaces for medical workstations
CN103068294B (zh) 2011-01-24 2015-06-24 奥林巴斯医疗株式会社 医疗设备
US9757021B2 (en) 2011-02-04 2017-09-12 The Penn State Research Foundation Global and semi-global registration for image-based bronchoscopy guidance
US20120249546A1 (en) * 2011-04-04 2012-10-04 Vida Diagnostics, Inc. Methods and systems for visualization and analysis of sublobar regions of the lung
EP2707851B1 (en) 2011-05-10 2019-10-16 Koninklijke Philips N.V. User-steered path planning for image guided endscopy
US9925009B2 (en) * 2013-03-15 2018-03-27 Covidien Lp Pathway planning system and method
US9459770B2 (en) * 2013-03-15 2016-10-04 Covidien Lp Pathway planning system and method
US9639666B2 (en) * 2013-03-15 2017-05-02 Covidien Lp Pathway planning system and method

Also Published As

Publication number Publication date
EP2779005B1 (en) 2019-01-02
CN104050347A (zh) 2014-09-17
AU2018233028A1 (en) 2018-10-11
CA2846215C (en) 2021-11-30
CN108877913B (zh) 2022-06-28
AU2018233028B2 (en) 2019-07-25
CA2846215A1 (en) 2014-09-15
AU2014201318B2 (en) 2018-06-21
EP2779005A1 (en) 2014-09-17
JP2018175886A (ja) 2018-11-15
US20140270441A1 (en) 2014-09-18
CN104050347B (zh) 2018-07-03
US9925009B2 (en) 2018-03-27
AU2014201318A1 (en) 2014-10-02
JP6371083B2 (ja) 2018-08-08
JP2014180545A (ja) 2014-09-29
CN108877913A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
JP6638027B2 (ja) 経路計画システムおよび方法
JP6586253B2 (ja) 経路計画システムおよび方法
US11804308B2 (en) Pathway planning system and method
US20240041299A1 (en) Intelligent display
CN110663084A (zh) 用于规划程序的图形用户界面

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R150 Certificate of patent or registration of utility model

Ref document number: 6638027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250