JP6670107B2 - 治療計画システム - Google Patents

治療計画システム Download PDF

Info

Publication number
JP6670107B2
JP6670107B2 JP2015514088A JP2015514088A JP6670107B2 JP 6670107 B2 JP6670107 B2 JP 6670107B2 JP 2015514088 A JP2015514088 A JP 2015514088A JP 2015514088 A JP2015514088 A JP 2015514088A JP 6670107 B2 JP6670107 B2 JP 6670107B2
Authority
JP
Japan
Prior art keywords
images
surgical instrument
image
target
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015514088A
Other languages
English (en)
Other versions
JP2015526111A (ja
Inventor
ジェー. フランク,ケビン
ジェー. フランク,ケビン
エー. ケイス,ジェイソン
エー. ケイス,ジェイソン
エム. ラッドトコウ,ケイシー
エム. ラッドトコウ,ケイシー
Original Assignee
コビディエン エルピー
コビディエン エルピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コビディエン エルピー, コビディエン エルピー filed Critical コビディエン エルピー
Publication of JP2015526111A publication Critical patent/JP2015526111A/ja
Application granted granted Critical
Publication of JP6670107B2 publication Critical patent/JP6670107B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgical Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Radiation-Therapy Devices (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本開示は、外科手術計画に関する。より具体的には、本開示は、患者の複数の画像を領域分割して治療計画を決定するための計画システムの使用に関する。
電気外科手術器具が広く使用されるようになってきた。電気外科手術では、外科手術中に、生物組織を切断、切開、焼灼、凝固、麻痺または封止するか、それ以外の方法で処置するために、熱および/または電気エネルギーの照射が行われる。電気外科手術は典型的に、電気外科手術中にエネルギーを組織部位に伝達するように構成された手術器具(例えば、エンドエフェクタまたは焼灼プローブ)と、エネルギーを出力するように動作可能な遠隔電気外科手術用発生器と、手術器具を遠隔発生器に動作可能に接続するケーブルアセンブリとを含むハンドピースを用いて行われる。
特定の疾患の治療では、悪性の組織増殖(例えば腫瘍)を破壊する必要がある。癌などの疾患の治療では、ある種の腫瘍細胞は、健康な細胞に通常有害である温度よりも僅かに低い高温で変性することが分かっている。温熱療法などの公知の治療方法では典型的に、隣接する健康な細胞を不可逆的な細胞破壊が生じる温度よりも低い温度に維持しながら、異常細胞を41℃超の温度まで加熱する。このような方法では、組織を加熱、焼灼および/または凝固させるために電磁放射線の照射を行うことがある。焼灼処置を行うために使用することができる複数の異なる種類の電気外科手術器具が存在する。
癌性もしくは良性腫瘍のための低侵襲的腫瘍焼灼処置は、2次元(2D)の術前コンピュータ断層撮影(CT)画像と、典型的に入力パラメータ(電力、時間)の範囲にわたる実験的生体外組織における焼灼針の特性が記載されている「焼灼区域チャート」とを用いて行うことがある。エネルギー量(電力、時間)は、特定の設計に対する焼灼組織の効果(体積、形状)と相関させることができる。マイクロ波アンテナの設計により、組織に送達されるエネルギー量を制御することができ、例えば、アンテナチョークを用いて、器具から組織へのマイクロ波伝達の既知の位置を与えてもよい。別の例では、誘電緩衝により、異なるまたは様々な組織特性とは無関係に、器具から組織に比較的一定なエネルギーを送達することができる。
使用者が、標的の治療を達成するためにどの焼灼針を使用すべきかを決定した後、使用者は、超音波ガイドを用いて治療を行う。通常、手術器具を超音波下で特定された標的に配置するには高レベルのスキルが必要である。最も重要なのは、器具を超音波画像平面(例えば、標的が撮像される場所)に向かって導くために必要な角度および入口点を選択する能力である。
超音波ガイド下介入では、手術器具を意図した標的に正確に導くために、リアルタイム超音波画像診断(経腹的超音波検査、術中超音波検査など)が使用される。これは、経皮照射および/または術中照射により行うことができる。いずれの場合にも、超音波システムは、患者の組織を撮像し、かつ標的を特定して標的に向かう器具の経路を予測および/または辿るために使用される変換器を備える。
超音波ガイド下介入は、検出された疑わしい病変部(乳房、肝臓、腎臓および他の軟組織)の悪性度を決定するための針生検法のために、今日では一般に使用されている。さらに、中心静脈留置は、頚静脈にアクセスし、かつ薬の送達を可能にするために一般的である。最後に、新たな使用としては、臓器(肝臓、肺、腎臓など)の腫瘍焼灼および外科的切除が挙げられる。腫瘍焼灼の場合、超音波ガイド下ターゲッティングが達成された後に、生検針様の針を用いて、腫瘍を死滅させる意図で、エネルギー(RF、マイクロ波、クライオなど)を送達してもよい。臓器切除の場合、切開中の表面下の解剖学的構造およびこの解剖学的構造に対する手術器具の表示に関する詳しい知識は、重要な構造を回避しながら切除を成功させるために重要である。
これらの各事例において、超音波ガイドでは典型的に、患者に当てられた変換器の遠位端から取り込まれた2次元画像平面が得られる。器具の配置に成功するために使用者にとって非常に重要なことは、標的を可視化および特性評価し、標的に到達するための器具の角度および入口点を選択し、かつ手術器具および標的に向かうその動きを見る能力である。今日では、使用者は、標的を撮像し、器具の角度および入口点を選択する高レベルのスキルを使用する。次いで、使用者は、超音波変換器を動かして器具の経路を見る(こうして標的部位を見失う)か、器具が画像平面に進入するまで経路が正しいかを推測しなければならない。最も重要なのは、超音波画像平面(例えば、標的が撮像される場所)に向かって器具を導くために必要な角度および入口点を選択する能力である。
本記載において「一実施形態では」「実施形態では」「いくつかの実施形態では」または「他の実施形態では」という語句が使用される場合があり、これらの語句はそれぞれ、本開示に係る同一または異なる実施形態の1つ以上を指すことができる。本記載の目的では、「A/B」の形態の語句は、AまたはBを意味する。本記載の目的では、「Aおよび/またはB」の形態の語句は、「(A)、(B)または(AおよびB)」を意味する。本記載の目的では、「A、BまたはCのうちの少なくとも1つ」という形態の語句は、「(A)、(B)、(C)、(AおよびB)、(AおよびC)、(BおよびC)または(A、BおよびC)」を意味する。
図面に示され、かつ以下の記載全体を通して記載されているように、手術器具上の相対的位置について言及している場合は従来同様に、「近位」という用語は、使用者または発生器により近い方の器具の端部を指し、「遠位」という用語は、使用者または発生器から遠い方の器具の端部を指す。「使用者」という用語は、本明細書に記載されている本開示の態様の使用を伴う医療処置を行う任意の医学の専門家(すなわち、医師、看護師など)を指す。
本記載に使用される「手術器具」という用語は一般に、電気外科手術エネルギーを与えて組織を治療する手術道具を指す。手術器具としては、針、プローブ、カテーテル、内視鏡器具、腹腔鏡手術器具、血管封止器具、外科手術用ステープラーなどが挙げられるが、これらに限定されない。「電気外科手術エネルギー」という用語は一般に、任意の形態の電磁エネルギー、光学エネルギーまたは音響エネルギーを指す。
電磁(EM)エネルギーは一般に、周波数の増加または波長の減少によって、電波、マイクロ波、赤外線、可視光線、紫外線、X線およびガンマ線に分類される。本明細書で使用される「マイクロ波」という用語は一般に、300メガヘルツ(MHz)(3×10サイクル/秒)〜300ギガヘルツ(GHz)(3×1011サイクル/秒)の周波数範囲の電磁波を指す。本明細書に使用される「RF」という用語は一般に、マイクロ波よりも低い周波数を有する電磁波を指す。本明細書に使用される「超音波」という用語は一般に、ヒトの聴力の上限よりも大きい周波数を有する周期的音圧を指す。
本記載に使用される「焼灼処置」という用語は一般に、任意の焼灼処置、例えば、マイクロ波焼灼、高周波(RF)焼灼またはマイクロ波焼灼補助下切除を指す。本記載に使用される「エネルギー照射装置」とは一般に、マイクロ波またはRF電気外科手術用発生器などの電力発生源から組織までエネルギーを伝達させるために使用することができる任意の装置を指す。
本記載に使用される「電源」および「電力供給部」という用語は、電子回路を動作させるのに適した形態の任意の電力供給源(例えば、電池)を指す。本記載に使用される「伝送線路」とは一般に、ある点から別の点までの信号の伝播のために使用することができる任意の伝送媒体を指す。本記載に使用される「スイッチ」または「複数のスイッチ」という用語は一般に、任意の電気式アクチュエータ、機械式アクチュエータ、電気機械式アクチュエータ(回転可能なアクチュエータ、回動可能なアクチュエータ、トグルスイッチ様アクチュエータ、ボタンなど)、光アクチュエータ、あるいは、電子装置もしくはその部品、器具、機器、伝送線路、それらへの接続部および付属品またはソフトウェアを接続または切断するという目的を一般に果たす任意の好適な装置を指す。
本記載に使用される「電子装置」とは一般に、真空、気体または半導体中を移動している電子またはイオンの特性を利用する装置または物体を指す。本明細書に使用される「電子回路」とは一般に、電子またはイオンの移動経路ならびに装置または物体によって電子またはイオンに与えられる方向を指す。本明細書に使用される「電気回路」または単に「回路」とは一般に、互いに接続されると所望の機能を果たす伝導路を形成する複数の電気装置および導体の組み合わせを指す。アナログおよび/またはデジタル部品を含み得る相互接続部以外の電気回路の任意の構成要素を「回路素子」と呼んでもよい。
「発生器」という用語は、エネルギーを供給することができる装置を指すことができる。そのような装置としては、電力源および、電力源によって出力されたエネルギーを変更して、所望の強度、周波数および/または波形を有するエネルギーを出力することができる電気回路が挙げられる。
本記載に使用される「ユーザインタフェース」とは一般に、使用者または他の実体に情報を提供し、かつ/またはそこから情報を受け取るための、任意の視覚的、図画的、触覚的、可聴的もしくは感覚的機構または他の機構を指す。本明細書に使用される「ユーザインタフェース」という用語は、使用者と装置(1つ以上)との間の通信を可能にするための、人間の使用者(または操作者)と1つ以上の装置との間のインタフェースを指すことができる。本開示の様々な実施形態に用いることができるユーザインタフェースの例としては、スイッチ、電位差計、ボタン、ダイヤル、スライダ、マウス、ポインティングデバイス、キーボード、キーパッド、ジョイスティック、トラックボール、表示画面、各種グラフィカルユーザインタフェース(GUI)、タッチスクリーン、マイクロホン、および、人間が生成したいくつかの形態の刺激を受け取り、かつそれに応答して信号を生成し得る他の種類のセンサまたは装置が挙げられるが、これらに限定されない。本明細書に使用される「コンピュータ」とは一般に、意図的な方法で情報を変換するあらゆるものを指す。
また、本明細書に記載されているシステムは、1つ以上の制御装置を利用して各種情報を受け取り、かつ受け取った情報を変形して出力を生成してもよい。制御装置は、メモリに格納されている一連の命令を実行することができる任意の種類の計算装置、計算回路または任意の種類のプロセッサまたは処理回路を含んでいてもよい。制御装置は、複数のプロセッサおよび/またはマルチコア中央処理装置(CPU)を含んでいてもよく、また、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどの任意の種類のプロセッサを含んでいてもよい。制御装置は、一連の命令を実行するためのデータおよび/またはアルゴリズムを格納するためのメモリも含んでいてもよい。
本明細書に記載されている方法、プログラム、アルゴリズムまたはコードのうちのいずれかを、プログラミング言語またはコンピュータプログラムに変換するか、それらで表現してもよい。「プログラミング言語」および「コンピュータプログラム」は、コンピュータに命令を指定するために使用される任意の言語であり、これらの言語およびそれらの導関数、すなわち、アセンブリ言語、BASIC、バッチファイル、BCPL、C、C+、C++、デルファイ(Delphi)、フォートラン(Fortran)、Java(登録商標)、JavaScript(登録商標)、機械コード、オペレーティングシステムコマンド言語、パスカル(Pascal)、パール(Perl)、PL1、スクリプト言語、ビジュアル・ベーシック(Visual Basic)、メタ言語(それ自体がプログラムを指定する)ならびに全ての第一、第二、第三、第四および第五世代のコンピュータ言語が挙げられる(が、これらに限定されない)。また、データベースおよび他のデータスキーマならびに任意の他のメタ言語も含まれる。この定義の目的では、解釈実行された言語、コンパイルされた言語またはコンパイルおよび解釈実行法の両方の使用を区別しない。この定義の目的では、プログラムのコンパイル版とソース版とを区別しない。従って、プログラムに対する言及は、プログラミング言語が2つ以上の状態(ソース、コンパイルされた状態、オブジェクトまたはリンクされた状態など)が存在する場合、ありとあらゆるそのような状態に対する言及である。この定義は、実際の命令およびそれらの命令の意図も包含する。
本明細書に記載されている方法、プログラム、アルゴリズムまたはコードのうちのいずれかを、1つ以上の機械可読媒体またはメモリに含めてもよい。「メモリ」という用語は、プロセッサ、コンピュータまたはデジタル処理装置などの機械によって読み取り可能な形態の情報を提供(例えば、格納および/または伝送)する機構を含んでもよい。例えば、メモリとしては、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリ装置または任意の他の揮発性もしくは非揮発性メモリ記憶装置が挙げられる。そこに含まれるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号および他の同様の信号によって表すことができる。
本記載に使用される「治療計画」という語句は、標的の治療を達成するために選択された焼灼針、エネルギーレベルおよび/または治療期間を指す。「標的」という用語は、治療が予定されている組織の領域を指し、焼灼される腫瘍、類線維腫および他の組織が挙げられるが、これらに限定されない。「焼灼区域」という語句は、焼灼される組織の面積および/または体積を指す。
本記載に使用される「コンピュータ断層撮影(CT)」または「コンピュータ軸方向断層撮影(CAT)」という語句は、コンピュータ処理によって生成される断層撮影を用いる医用画像法を指す。デジタルジオメトリ処理は、単一の回転軸の周りで撮影された大きな一連の2次元のX線画像から物体の内部の3次元画像を生成するために使用される。
本記載に使用される、磁気共鳴画像法(MRI)、核磁気共鳴画像法(NMRI)、または磁気共鳴断層撮影(MRT)という用語は、詳細な内部構造を可視化するために放射線学で使用される医用画像処理技術を指す。MRIは、体内の原子核を撮像するために核磁気共鳴(NMR)の特性を利用する。MRI機械は、強力な磁場を利用して体内のいくつかの原子核の磁化を揃えると共に、高周波磁場を使用してこの磁化の並びを体系的に変える。これにより、スキャナーによって検出可能な回転磁場を核に生成させ、この情報を記録して、体の走査された領域の画像を構築する。
本記載に使用される「3次元超音波」または「3D超音波」という用語は、3次元画像を提供する超音波診断法を指す。
本記載に使用される「ダイコム:医療におけるデジタル画像と通信のための規格(DICOM:digital imaging and communication in medicine)」という語句は、医用画像法に関する情報を処理、格納、印刷および伝送するための規格を指す。それは、ファイルフォーマットの定義およびネットワーク通信プロトコルを含む。通信プロトコルは、システム間の通信のためにTCP/IPを使用するアプリケーションプロトコルである。DICOMファイルは、DICOMフォーマットで画像および患者データを受信することができる2つの実体間で交換することができる。
本明細書に記載されているシステムおよび方法はいずれも、有線ネットワーク、無線ネットワーク、二地点間通信プロトコル、DICOM通信プロトコル、伝送線路、取外し可能な記憶媒体などを通してそれらの間でデータを伝送することができる。
本明細書に記載されているシステムは、組織および/または周囲環境の1つ以上の特性を検出するように構成された1つ以上のセンサを利用してもよい。そのような特性としては、組織インピーダンス、組織の種類、組織の鮮明度、組織の伸展性、組織または顎部材の温度、組織内の水分、顎開放角度、組織内の水枯渇量、エネルギー送達および顎閉鎖圧力が挙げられるが、これらに限定されない。
本開示の一態様では、計画システムが提供される。本計画システムは、複数の画像を格納するように構成されたメモリを備える。本計画システムは、複数の画像を3次元レンダリングし、複数の画像を自動的に領域分割して標的領域の境界を画定し、かつ標的領域に基づいて治療計画を自動的に決定するように構成された制御装置も備える。レンダリングされた複数の画像および標的領域を表示するための表示装置が提供される。
本計画システムでは、制御装置は、治療計画を決定するための容量分析を行う。本計画システムは、治療計画を調整するように構成された入力装置も備えていてもよい。表示装置は、グラフィカルユーザインタフェースを提供する。
制御装置は、少なくとも1つの血管を領域分割し、かつ標的に対する血管の近さに基づいて治療計画を調整してもよく、あるいは、制御装置は、少なくとも1つの臓器を領域分割し、かつ臓器に対する標的の位置に基づいて治療計画を調整してもよい。
本開示の上記および他の態様、特徴および利点は、添付の図面と共に以下の詳細な記載を考慮すれば、より明らかになるであろう。
本開示の一実施形態に係る計画・ナビゲーションシステムのシステムブロック図である。 図2Aおよび図2Bは、本開示の一実施形態に係る焼灼針の概略図である。 図2Aおよび図2Bの焼灼針の放射パターンの概略図である。 本開示の一実施形態に係る計画システムの概略図である。 本開示の一実施形態に係る計画システムの動作全体を示すフローチャートである。 本開示の一実施形態に係る計画システムに使用されるグラフィカルユーザインタフェースの概略図である。 本開示の一実施形態に係る計画システムに使用されるグラフィカルユーザインタフェースの概略図である。 本開示の一実施形態に係る画像領域分割および逆方向治療計画のためのアルゴリズムを示すフローチャートである。 本開示の一実施形態に係る小結節を領域分割するためのアルゴリズムを示すフローチャートである。 図10A〜図10Bは、焼灼区域とエネルギー送達との関係のグラフ表示である。 本開示の別の実施形態に係る血管と標的との関係の概略図である。 本開示の別の実施形態に係る別の線量曲線のグラフ表示である。 図12A〜図12Cは、本開示の別の実施形態に係る計画方法の概略図である。 本開示の一実施形態に係るナビゲーションシステムの概略図である。 図13のナビゲーションシステムに使用されるグラフィカルユーザインタフェースの概略図である。 図13のナビゲーションシステムに使用されるグラフィカルユーザインタフェースの概略図である。 本開示の一実施形態に係る基準トラッキングアルゴリズムを示すフローチャートである。 図16Aおよび図16Bはそれぞれ、カメラで撮影した画像および画像の補正版を示す。 本開示の一実施形態に係る白い円を見つけるためのアルゴリズムを示すフローチャートである。 図18A〜図18Cは、図17に示すアルゴリズムの中間の画像結果を示す。 本開示の一実施形態に係る黒い円および黒い領域を見つけるためのアルゴリズムを示すフローチャートである。 図20A〜図20Dは、図19に示すアルゴリズムの中間の画像結果を示す。 本開示の一実施形態に係る一致アルゴリズムを示すフローチャートである。 本開示の一実施形態に係るトポロジー制約を適用するためのアルゴリズムを示すフローチャートである。 図22A〜図22Dは、図21Aのアルゴリズムに使用される基準モデルの概略図である。 本開示の別の実施形態に係る一体化された計画・ナビゲーションシステムの概略図である。 本開示のさらに別の実施形態に係る一体化された計画・ナビゲーションシステムの概略図である。 図24のシステムと共に使用するのに適したナビゲーションシステムの概略図である。 図24のシステムと共に使用するのに適したナビゲーションシステムの概略図である。 本開示の様々な実施形態に係る図24のシステムに使用されるグラフィカルユーザインタフェースの概略図である。 本開示の様々な実施形態に係る図24のシステムに使用されるグラフィカルユーザインタフェースの概略図である。 本開示の様々な実施形態に係る図24のシステムに使用されるグラフィカルユーザインタフェースの概略図である。 本開示の様々な実施形態に係る図24のシステムに使用されるグラフィカルユーザインタフェースの概略図である。
以下、添付の図面を参照しながら、本開示の特定の実施形態について記載する。但し、開示されている実施形態は、本開示の単なる例示であって、様々な形態で実施できることを理解されたい。周知の機能または構成は、不要な詳細で本開示を曖昧にするのを回避するために、詳細に記載していない。従って、本明細書に開示されている具体的な構造および機能の詳細は、本発明を限定するものとして解釈されるべきではなく、単に特許請求の範囲の基礎および当業者に本開示を実質的にあらゆる適切に詳細な構造に様々に用いることを教示するための代表的な基礎として解釈されるべきである。図の説明の全体を通して、同様の符号は、同様または同一の要素を指すことができる。
図を参照すると、図1は、本開示の様々な実施形態に係る計画・ナビゲーションシステムの概要を示す。図1に示すように、画像取り込み装置10によって、患者「P」の術前画像15を取り込む。画像取り込み装置10としては、2次元(2D)または3次元(3D)画像が得られるMRI装置、CAT装置または超音波装置が挙げられるが、これらに限定されない。画像取り込み装置10は、計画システム100に転送される術前画像15を格納する。画像15をネットワークにアップロードし、無線通信手段により画像15を計画システム100に伝送し、かつ/または画像15を計画システム100に挿入される取外し可能なメモリに格納することにより、術前画像15を計画システム100に転送してもよい。本開示の一実施形態では、術前画像15をDICOMフォーマットで格納する。いくつかの実施形態では、画像取り込み装置10および計画システム100は、独立型ユニットに組み込まれていてもよい。
以下により詳細に記載する計画システム100は、術前画像15を受信し、かつ標的の大きさを決定する。標的の大きさおよび選択された手術器具に基づいて、計画システム100は、標的の治療を達成するためのエネルギーレベルおよび治療期間を含む設定値を決定する。
以下により詳細に記載するナビゲーションシステム200は、医用画像装置(例えば、超音波画像装置)上に配置された基準パターンを利用して、手術器具の体内位置を決定する。手術器具の体内位置を、医用画像装置によって得られた画像に対して表示装置に表示する。手術器具を標的の近くに配置したら、使用者は、計画システムによって決定された治療区域設定値に基づいて標的の治療を達成する。
いくつかの実施形態では、使用者は、計画システム100を用いて治療区域設定値を決定し、ナビゲーションシステム200を用いて治療を達成する際に治療区域設定値を利用する。他の実施形態では、計画システム100は、治療区域設定値をナビゲーションシステム200に伝送して、手術器具が標的の近くにある場合に標的の治療を自動的に達成する。さらに、いくつかの実施形態では、計画システム100およびナビゲーションシステム200は、単一の独立型システムにまとめられている。例えば、計画システム100およびナビゲーションシステム200のために単一のプロセッサおよび単一のユーザインタフェースを使用してもよく、計画システム100およびナビゲーションシステム200のために単一のプロセッサおよび複数のユーザインタフェースを使用してもよく、あるいは、計画システム100およびナビゲーションシステム200のために、複数のプロセッサおよび単一のユーザインタフェースを使用してもよい。
図2Aは、本開示の一実施形態に係る手術器具の例を示す。具体的には、図2Aは、電気チョーク72を備えた焼灼針60の変形形態の側面図であり、図2Bは、図2Aの2B−2Bに沿った断面側面図である。焼灼針60は、給電路(またはシャフト)64を介して近位に位置する結合器66に電気的に取り付けられた放射部62を示す。放射部62は、放射部62の上に被覆されたシーラント層68と共に示されている。電気チョーク72は、放射部62の近位に位置する電気チョーク部70を形成するように、給電路64の遠位部の上に部分的に配置された状態で示されている。
焼灼針60のエネルギー収束を高めるために、電気チョーク72は、焼灼針60の遠位端への電場の伝播または放射パターンを含めるために使用される。一般に、チョーク72は、焼灼針60上の放射部の近位に配置されている。チョーク72は、焼灼針60の上に配置された誘電体の上に配置されている。チョーク72は導電層であり、それを下にある焼灼針60に合わせるための管または被覆物で覆われていてもよく、それにより、より遠位であって放射部62のより近くに電気的接続(または短絡)を形成している。また、チョーク72と下にある焼灼針60との電気的接続は、他の接続方法、例えば、はんだ付け、溶接、ろう付け、圧着、導電性接着剤の使用などによって達成してもよい。焼灼針60は、焼灼針60に電気外科手術エネルギーを供給する発生器に電気的に接続されている。
図3は、本開示に係る放出された放射パターンの図表示と共に示されている焼灼針60の一実施形態の断面図である。
図4〜図12Cは、本開示の様々な実施形態に係る計画システム100の動作を記載している。図4を参照すると、計画システム100は、受信機102、メモリ104、制御装置106、入力装置108(例えば、マウス、キーボード、タッチパッド、タッチスクリーンなど)、および表示装置110を備える。計画システム100の動作中、受信機102は、DICOMフォーマットの術前画像15を受信し、その画像をメモリ104に格納する。次いで、制御装置106は、画像15を処理し(それについては以下により詳細に記載する)、処理された画像を表示装置110に表示する。入力装置108を用いて、使用者は、画像15内を移動し、画像15から画像の1つを選択し、選択された画像上にシード点を選択し、焼灼針を選択し、エネルギーレベルを調整し、かつ治療期間を調整することができる。入力装置108によって与えられた入力は、表示装置110に表示される。
図5は、治療計画を決定するために計画システム100によって使用されるアルゴリズムの一般的な概要を示す。図5に示すように、工程120では、無線接続すなわちネットワークによって、あるいは取外し可能な記憶媒体からメモリ104に格納された画像をダウンロードすることにより、DICOMフォーマットの画像を取得する。次いで、制御装置106は、画像15の自動3次元(3D)レンダリングを実行し、工程122で、(図6に示すような)3Dレンダリングされた画像を表示する。工程124では、画像領域分割を行って、特定の関心領域の境界を画定し、関心領域の体積を計算する。以下に記載するように、領域分割は、使用者が起動するか自動であってもよい。工程126では、制御装置は、逆方向治療計画操作を実行して(それについても以下のより詳細に記載する)、治療アルゴリズムを決定し、関心領域を治療する。この治療アルゴリズムは、手術器具、エネルギーレベルおよび/または治療期間の選択を含んでもよい。あるいは、使用者は、標的および周囲組織のマージンを治療するための「マージン値」を含む、治療する医師の意図を満たすための手術器具、エネルギーレベルおよび/または治療期間を選択することができる。
図6および図7は、表示装置110に表示することができるグラフィカルユーザインタフェース(GUI)を示す。図6および図7に示すように、各GUIは、レンダリングされたDICOM画像を表示するために、複数の領域(例えば、領域132、134および136)に分割されている。例えば、領域132は、横断面に沿った患者「P」の画像を示し、領域134は、冠状断面に沿った患者「P」の画像を示す。領域136は、患者「P」の3Dレンダリングを示す。他の実施形態では、矢状断面をGUIに表示してもよい。GUIにより、使用者は、ドロップダウンメニュー131の中の異なる焼灼針を選択することができる。GUIにより、使用者は領域133および135で電力および時間設定値をそれぞれ調整することもできる。さらに、GUIは領域137内に複数のさらなるツールを有し、それらのツールとしては、シード点の選択を開始する計画ツール、コントラストツール、ズームツール、ドラッグツール、DICOM画像内をスクロールするためのスクロールツールおよびDICOMデータセットのボリュームレンダリングを表示するための3Dレンダリングツールが挙げられるが、これらに限定されない。
図8のフローチャートは、画像領域分割工程124および逆方向治療計画工程126を実施するための基本的なアルゴリズムを示す。図8に示すように、使用者は、工程140でシード点を選択する(十字線が領域132および134において標的「T」の中心に置かれている図6を参照)。シード点を手動で選択した後、計画システム100は、工程142で小結節を領域分割して関心領域の体積の境界を画定する。他の実施形態では、画素の強度値に基づいてシード点を自動的に検出してもよい。
図9は、小結節を領域分割するために使用されるアルゴリズムのフローチャーである。図9に示すように、工程151でシード点を特定したら、このアルゴリズムは、工程152で関心領域(ROI)を生成する。例えば、ROIは、4cmの体積を包含してもよい。工程153では、連結閾値フィルタは、閾値を適用し、メモリ104に格納されているDICOM画像内のシード点に連結された全ての画素を見つける。例えば、閾値は、肺小結節を領域分割する際は、−400ハンスフィールド単位(HU)で開始し、100HUで終了してもよい。
工程154では、制御装置106は、幾何フィルタを適用して物体の大きさおよび形状を計算する。幾何フィルタにより、分類された体積内の全ての物体の幾何学的特徴を測定することができる。この分類された体積は、例えば、異なる解剖学的構造に領域分割された医用画像を表すことができる。これらの物体の各種幾何学的特徴の測定により、画像へのさらなる洞察を得ることができる。
このアルゴリズムは、工程155で所定の形状が検出されたか否かを決定する。所定の形状が検出されなかった場合、このアルゴリズムは工程156に進み、そこで所定の値だけ閾値を増加させる。このアルゴリズムは、所定の物体が検出されるまで工程153〜155を繰り返す。
所定の物体が検出されたら、このアルゴリズムは工程157で終了し、計画システム100は、工程144に進んで容量分析を行う。容量分析の間、球状の物体の以下の特性:最小直径、最大直径、平均直径、体積、球形度、最小密度、最大密度および平均密度を制御装置106によって計算してもよい。計算された特性を、図7の領域139に示すように表示装置110に表示してもよい。容量分析では、幾何フィルタを使用して、最小直径、最大直径、体積、伸び率、表面積および/または球形度を決定してもよい。また、工程144では、画像強度統計フィルタを幾何フィルタと共に使用してもよい。画像強度統計フィルタは、最小密度、最大密度および平均密度を計算する。
工程146では、境界が画定された標的のために、電力および時間設定値を計算する。図10は、所与の期間にわたって組織内に堆積したエネルギーと得られた焼灼区域との関係の各種グラフを示す。この関係により、標的組織(すなわち、腫瘍、類線維腫など)の寸法および特性ならびに特定の焼灼針のエネルギー線量/アンテナ設計を考慮した逆方向治療計画が可能となる。以下の表1は、焼灼針に関する焼灼体積、電力および時間の関係の例を示す。
Figure 0006670107
表1の値を使用し、この表から一次方程式を導いて、最適な電力および時間設定値を計算することができる。例えば、線形回帰分析を用いて、表1から以下の方程式が得られる。
体積=0.292381×電力+8.685714×時間−44.0762 (1)
これを以下のように書き換えることができる。
電力=(体積−8.685714×時間+44.0762)/0.292381 (2)
所望の体積は、以下のように、容量分析からの最大直径+1センチメートルのマージンを用いて計算することができる。
所望の体積=4/3×π×所望の半径^3 (3)
ここで、所望の半径は以下のように計算する。
所望の半径=最大の小結節直径/2+マージン (4)
所望の体積を方程式(1)または(2)に代入すると、2つの未知の電力および時間が残る。方程式(2)を用いて、制御装置106は、時間の値を代入して電力の値を求めることができる。制御装置106は、使用者が電力を安全な範囲に維持しながら可能な限り素早く処置を行うことができるように、時間に対して電力を70W未満に維持する最小値または他の所定の値を選択する。
146で電力および時間を計算したら、図7に示すように、電力および時間を表示装置110に表示する(133および135を参照)。使用者は、コントロール133および135をそれぞれ使用して、計算された電力および/または時間を調整して治療区域138aおよび/またはマージン138bを調整することができる。
メモリ104および/または制御装置106は、異なる手術器具に対応する複数の方程式を格納していてもよい。使用者がドロップダウンメニュー131で異なる手術器具を選択する場合、制御装置106は、上に記載されている同じ分析を行って時間に対して電力を70W未満に維持する最小値または他の所定の値を決定することができる。
上記手順は、所定の物体を決定するための単一のシード点の使用について記載しているが、標的の中には、他の組織への損傷を引き起こさずには所定の治療区域のみを治療することができない不規則な形状を有するものもある。そのような場合、複数の場所に再配置される単一の手術器具または不規則な形状の領域を治療するために同時に使用することができる複数の手術器具を用い、複数のシード点を使用して不規則な形状の治療計画を作成してもよい。
他の実施形態では、メモリ104および/または制御装置106は、生体外または生体内で治療区域を達成するのに必要な電力、時間、器具の数および器具の間隔を含む、手術器具および治療区域性能の一覧を格納していてもよい。画像領域分割および容量分析の結果に基づいて、制御装置は、ROIを治療するための器具の種類、器具の数、複数の器具の間隔および/または各器具の電力および時間設定値を自動的に選択してもよく。あるいは、使用者は、治療計画を生成するためのGUIを用いて、ROIを治療するための器具の種類、器具の数、複数の器具の間隔、各器具のための電力および/または時間設定値を手動で選択することができる。
本開示に係る別の実施形態では、計画システム100は、標的だけでなく臓器および他の重要な構造も領域分割する。臓器および血管などの他の構造の領域分割を使用して、より進歩した治療計画を得る。図10に関して上に記載したように、治療区域は、エネルギー送達に規則的に相関する。さらに、3ミリメートルを超える血管は、治療区域の形成に悪影響を与える可能性があることが知られている。血管の領域分割により、血管の直径(D1)および血管と提案される標的との距離(D2)(図11Aを参照)を含む、血管と標的との相互作用を推定することができる。この相互作用は、使用者によって手動で、あるいは制御装置106によって自動的に推定してもよい。血管の直径D1および距離D2を用いて、計画システム100は、図11Bに示すように、治療目的のために使用される別の線量曲線を自動的に提案してもよい。あるいは、制御装置106は、表示装置110を介して、使用者に治療区域を移動するという提案を行ってもよい。さらに、異なる治療区域案を表示装置110に表示することができる。さらに、図8の「電力および時間設定値を計算する」工程146では、制御装置は、血管の直径および標的領域までの距離によって異なる曲線を利用することができる。
図12A〜図12Cは、臓器の領域分割を用いる進歩した治療計画を示す。臓器の領域分割により、治療過程を計画する際に少なくとも2つの利点が可能となる。第1の例では、多くの場合、臓器が温存される低侵襲治療が選択される。臓器を領域分割することにより、制御装置106は、臓器の体積160を計算し、かつ決定された焼灼区域162を減算して、図12Aに示すように温存される臓器の体積164を決定することができる。制御装置106が温存される臓器の体積が非常に小さいと判定した場合、制御装置106は、別の治療計画が必要であることを使用者に警告するか、あるいは別の治療計画を提案してもよい。
図12Bおよび図12Cは、臓器の表面に位置する標的「T」のための治療計画を示す。従来では、多くの場合、臓器の表面の近くでの治療が回避されたり、治療可能になる前に、その臓器を他の臓器から離すためのさらなる技術が必要になったりすることがある。本開示に係る別の実施形態では、臓器が領域分割された後に、標的「T」の位置を決定することもできる。治療計画において治療区域162が臓器の表面の外に突出し、かつ標的「T」がその表面に位置している場合、制御装置106は、治療区域162が標的「T」の近くの他の臓器および/または構造に影響を与える可能性があること、および治療計画を変更する必要があることを使用者に警告してもよい。別の実施形態では、制御装置106は、使用者に手術器具、エネルギーレベル、治療期間を指示する提案を自動的に行ってもよい。また、制御装置106は、図12Bに示すようなより小さい治療区域162を提案してもよく、あるいは図12Cに示すように治療区域162を移動することを提案してもよい。
他の実施形態では、標的、組織、臓器および他の構造を領域分割した後に、既知の組織特性をこれらの構造に帰属させることができる。そのような組織特性としては、周波数範囲における導電率および誘電率、熱伝導率、熱対流係数などが挙げられるが、これらに限定されない。図8の計画アルゴリズムは、領域分割された腫瘍、組織、臓器および他の構造に帰属する組織特性を使用して、選択された標的を焼灼するのに必要な線量を計算するためにPennesの生体伝熱方程式を解いてもよい。生体熱方程式を用いる、このより包括的な解法の実装を成功させる秘訣としては、定常状態で既知の組織特性を利用して最初の空間温度プロファイルを予測すること、温度上昇に伴う組織特性を利用して温度上昇による空間特性を調整すること、および液体−気体相転移での組織特性を利用することが挙げられる。
図13を参照すると、本開示の一実施形態に係るナビゲーションシステムが一般に200として示されている。一般に、ナビゲーションシステム200には、超音波変換器202に取り付けられた参照パッチすなわち基準パッチ204が組み込まれている。基準パッチ204は、超音波変換器202に印刷されていても、接着剤により超音波変換器202に貼り付けられていても、超音波変換器202に取り外し可能に結合されていてもよい。いくつかの実施形態では、基準パッチは、超音波変換器のハウジングに取り外し可能に取り付けられる(例えば、「クリップで留められる」)ように構成された支持構造体上に配置されている。超音波変換器202は、音波を発生する超音波発生器210に接続されている。超音波変換器202および超音波発生器210は、独立型ユニットに組み込まれていてもよい。超音波変換器202は、患者「P」に向かって音波を放つ。音波は、患者「P」の体内の各種構造に反射し、超音波変換器202によって受信される。超音波変換器202は、反射された音波を超音波発生器210に伝送し、超音波発生器210は、反射された音波をリアルタイムで2次元(2D)画像に変換する。2D画像は、制御装置212に伝送される。制御装置212は、その2D画像を処理し、標的220を含む画像218として2D画像を表示装置214に表示する。画像218は、標的「T」を含み得る走査平面「S」のリアルタイム表示である。
本ナビゲーションシステムには、手術器具206に取り付けられたカメラ208も組み込まれている。カメラ208は、走査平面「S」に対する手術器具206の位置を決定するために、リアルタイムで基準パッチ204の画像を取り込む。特に、基準パッチ204は、走査平面「S」に対して規定の空間関係を有する。この規定の空間関係は、制御装置212に格納されている。カメラ208は、制御装置212に格納された手術器具206に対する既知の空間関係も有する。手術器具206と走査平面「S」との空間関係を決定するために、カメラ208は、基準パッチ204の画像を取り込み、その画像を制御装置212に伝送する。基準パッチ204の画像を用いて、制御装置212は、手術器具206と走査平面「S」との空間関係を計算することができる。
制御装置212が、手術器具206と走査平面「S」との空間関係を決定した後、制御装置212は、その関係を表示装置214に表示する。図13に示すように、表示装置214は、標的「T」の標的画像220を含む走査平面「S」の画像218を含む。さらに、制御装置212は、画像218に対する手術器具206の仮想の画像206aを重ね合わせて、走査平面「S」に対する手術器具206の位置を示す。焼灼針206の角度および位置に基づいて、制御装置212は、手術器具206の軌道を計算し、かつ一般に216として示される計算された軌道を表示することができる。いくつかの実施形態では、十字線すなわち標的を画像218の上に重ね合わせて、手術器具206が走査平面「S」と交差する場所を示してもよい。他の実施形態では、ナビゲーション状態を示すために、計算された軌道216を赤色または緑色で示してもよい。例えば、手術器具206が標的「T」と交差する経路上にある場合、計算された軌道216は緑色で示される。手術器具206が標的「T」と交差する経路上にない場合、計算された軌道216は赤色で示される。
制御装置212を使用者が制御して、手術器具の種類、エネルギーレベルおよび治療期間を入力することもできる。図14Aに示すように、手術器具の種類、エネルギーレベルおよび治療期間を、表示装置214に表示することができる。手術器具206が標的「T」と交差する場合、図14Bに示すように、仮想の焼灼区域222が画像218上に投影される。次いで、エネルギーレベルおよび治療期間を使用者が調整することができ、制御装置212は、仮想の焼灼区域222を調整して、エネルギーレベルおよび治療期間における変更を反映する。
以下、図15〜図22を参照しながら、基準トラッキングシステムについて本明細書に記載する。基準トラッキングシステムでは、制御装置212は、カメラ208から基準画像を受信する。制御装置212は、カメラ208のためのカメラ較正および歪み係数、基準システムモデルならびに以前にそこに格納されたカメラ−アンテナ較正データも含む。他の実施形態では、カメラ208のためのカメラ較正および歪み係数、基準システムモデルおよびカメラ−アンテナ較正データを、ナビゲーション手順の間に制御装置212に入力することができる。基準画像、カメラ208のためのカメラ較正および歪み係数、基準システムモデルならびにカメラ−アンテナ較正データに基づいて、制御装置212は、焼灼針206の位置ならびに診断フレームレート、残余誤差およびトラッキング状態を表示装置214に出力することができる。いくつかの実施形態では、カメラ208と基準パッチ204との距離は、約5〜約20センチメートルの範囲であってもよい。いくつかの実施形態では、カメラ208と基準パッチ204との距離は、約1〜約100センチメートルの範囲であってもよい。
図15は、制御装置212によって用いられる基準トラッキングアルゴリズムの基本的なフローチャートである。図15に示すように、工程230で画像フレームを取り込む。工程231では、制御装置212は、カメラ較正および歪み係数を用いてレンズ歪みを補正する。カメラ208によって取り込まれた画像は、図16Aに示すようにレンズ歪みを示すことがある。従って、さらなる計算のために画像を使用可能にする前に、画像の歪みを補正する必要がある。ナビゲーション手順の間にカメラ208を使用する前に、カメラ208を使用して、様々な角度でチェッカーボードパターンの複数の画像を撮影する。複数の画像および様々な角度を使用して、カメラ行列および歪み係数を生成する。次いで、制御装置212はカメラ行列および歪み係数を使用して、レンズの歪みを補正する。
工程232では、制御装置212は、図17のアルゴリズムを用いて、画像フレーム内に白い円を見つける。図17に示すように、工程241で受け取った画像フレーム(図18A)を、工程243で動的閾値を用いて閾値処理する(図18Bを参照)。動的閾値を用いる場合、各有効フレームの後に、動的閾値アルゴリズムは、有効フレーム内で見つかった円を用いて、次のフレームのために新しい閾値を計算する。有効フレーム内で見つかった円を用いて、制御装置212は、以下の方程式(5)に基づいて新しい閾値を計算する。
閾値=(黒い円の強度平均+白い円の強度平均)/2 (5)
所定の閾値を使用して、最初の有効フレームを取り込んでもよく、次いで、これを用いて新しい閾値を計算する。
あるいは、制御装置212は、有効フレームが得られる閾値が見つかるまで閾値範囲を試験して、最初の閾値を調べてもよい。最初の閾値が見つかったら、制御装置212は、有効フレームに基づいて動的閾値処理のために方程式(5)を使用する。
他の実施形態では、固定された閾値を使用してもよい。固定された閾値は、制御装置212に格納された所定の数であってもよく、あるいは、有効フレームが得られる閾値が見つかるまで閾値範囲を試験して決定してもよい。
閾値および自動利得制御を画像に適用した後、工程244で連結成分分析を行って、閾値処理された画像内の全ての物体を見つける。工程245では、連結成分分析および画像フレームの結果に幾何フィルタを適用する。幾何フィルタは、物体の大きさおよび形状を計算し、図18Cに示すように、円形であってほぼ正しい大きさの物体のみを維持する。全ての円形の物体の加重重心を計算し、それらを格納する。
図15に戻ると、工程232で白い円を見つけるだけでなく、制御装置212は、図19に示すアルゴリズムを用いて工程233で黒い円も見つける。黒い円を見つけるためのアルゴリズムは、白い円を見つけるための図17に示すアルゴリズムと同様である。黒い円を見つけるために、工程241で画像フレームを受信した後に(図20Aを参照)、制御装置212は、図20Bに示すように、工程242で画像フレームの輝度を反転させる。次いで、図17に関して上に記載したように、図20Cに示すように画像を閾値処理し、連結成分分析を行い、幾何フィルタを適用して図20Dに示す画像を得る。工程248で全ての黒い円の加重重心を計算し、それらを格納する。さらに、工程245では、制御装置212は、幾何フィルタを適用して、画像フレーム内の黒い円に加えて黒い領域を決定する。工程249で、制御装置212は、決定された黒い領域を格納する。
図15の工程234で、制御装置212は、図21Aに示すアルゴリズムを用いて、基準画像と基準モデルとの一致を見つける。図21Aの工程251で、制御装置212は、図21Bに示すように、トポロジー制約を使用して4つの白い円を選択する。図21Bに示すように、工程261で、制御装置212は、図19の工程249で格納された黒い領域を得、図17の工程246で格納された白い円を得る。次いで、制御装置212は、工程263で第1の黒い領域を選択し、工程264で第1の黒い領域内の白い円の数を数える。工程265で、制御装置212は、選択された黒い領域内の円の数が、所定の円の数と一致するか否かを決定する。円の数が所定の円の数と一致しない場合、このアルゴリズムは工程266に進み、そこで、次の黒い領域を選択し、工程264で、次の黒い領域内の円の数を再度数える。工程264で数えた円の数が所定の円の数に一致するまで、このプロセスを繰り返す。工程264で数えた円の数が所定の円の数に一致したら、このアルゴリズムは工程267に進み、そこで、トポロジー制約アルゴリズムは完了する。他の実施形態では、制御装置212は、4つの最も丸い円を選択することにより、4つの白い円を選択する。
4つの円を選択した後、工程252で、凸閉包アルゴリズムを用いて、それらを時計回りの順序で並べる。実ベクトル空間V内の点集合Xのための凸閉包または凸包絡は、Xを含む最小の凸集合である。それらの点が全て線上にある場合、凸閉包は、最も外側の2つの点を結びつける線分である。平面の場合、全ての点が同じ線上にない限り、凸閉包は凸状の多角形である。同様に、3次元では、凸閉包は一般に、その集合内の全ての点を含む最小の凸状の多面体である。さらに、そのモデル内の4つの一致している基準も時計回りの順序で並べる。
工程253では、平面のホモグラフィ行列を計算する。平面のホモグラフィ行列を計算した後、そのホモグラフィ行列を使用して、図22に示す4つの対応する基準モデルを用いて、基準モデルを画像座標に変換し、最も近く一致している画像基準を見つける(工程254および255)。制御装置212は、工程256で残余誤差も計算する。このアルゴリズムは、得られた3D変換を使用して、3D基準モデルを2D画像に変換する。次いで、2D画像に写像された基準間の距離を2D画像中で検出された基準と比較する。残余誤差は、画素における平均距離である。この誤差を使用して精度を確認し、赤色/緑色のナビゲーション状態を部分的に決定する。次いで、制御装置212は、最大の一致および最小の残余誤差を有するモデルを選択する。より正確な結果のために、最小数(例えば、3つ)の黒い基準の一致が存在しなければならない。
図15の工程235では、カメラ姿勢評価を行う。カメラ姿勢評価では、モデル基準を基準画像平面に繰り返し変換し、かつ画素における残余誤差を最小に抑えることにより、カメラと選択されたモデルとの間の3D変換を計算する。その目標は、誤差関数の大域的最小点を見つけることにある。生じ得る1つの問題は、回避しなければならない誤差関数における顕著な極小値の発生である(例えば、左側から撮像されたアンテナが、右側から撮像されたアンテナに類似して見える)。制御装置212は、複数の始点から最小化を行い、かつ最も小さい誤差を有する結果を選択することにより、極小値を回避する。3D変換を計算したら、制御装置は3D変換を使用して、手術器具206の座標をモデル空間に変換し、手術器具206を仮想の手術器具206aとして表示装置214に表示することができる。
物体の境界は異なる照明条件下で拡大および縮小するため、従来の正方形の角の基準位置は、照明条件によって変わることがある。基準パッチ204は、黒い円および白い円を使用し、よって、円の中心は常に同じ場所に留まっているため、この問題によって妨げられなることはなく、加重重心を計算するために十分に機能し続ける。他の対照的な画像または色も想定される。
本開示の別の実施形態では、図23に示すように、計画・ナビゲーションシステム300が提供される。システム300は、制御装置306に接続された計画システム302およびナビゲーションシステム304を備える。制御装置306は、表示装置308に接続されており、表示装置308は、単一の表示画面または複数の表示画面(例えば、2つの表示画面)を備えていてもよい。計画システム302は、計画システム100と同様であり、ナビゲーションシステム304は、ナビゲーションシステム200と同様である。システム300では、表示装置308は、本明細書の上に記載されている計画操作およびナビゲーション操作を表示する。計画操作およびナビゲーション操作を、単一の表示画面上に分割された画面配置として表示してもよく、計画操作およびナビゲーション操作を、別個の画面に表示してもよく、あるいは計画操作およびナビゲーション操作を同じ画面に表示してもよく、使用者は、表示を切り替えてもよい。制御装置306は、計画システムから線量設定値をインポートし、ナビゲーション操作中にその線量設定値を使用して焼灼区域寸法を表示してもよい。
本開示の他の実施形態では、CTナビゲーションおよびソフトウェアを、計画システム100に組み込むことができる。図24、図25Aおよび図25Bを参照すると、計画・ナビゲーションシステムは一般に、400として示されている。システム400は、電磁参照部428および/または光学参照部438を有する患者「P」のCT画像を取り込む画像取得装置402を備える。CT画像は、DICOMフォーマットで、計画システム100と同様の計画システム404に提供される。計画システム400を使用して、上記のように治療計画を決定し、治療計画は、制御装置408に提供され、図26に示すように表示装置410に計画画面412として表示される。
ナビゲーションシステム406は、図25Aに示す電磁トラッキングシステム、図25Bに示す赤外線トラッキングシステムまたは光学トラッキングシステムを使用してもよい。図25Aを参照すると、ナビゲーションシステム420は、電磁場発生器422、電磁変換器426を有する手術器具424、および患者の上に配置された電磁参照部428を備える。電磁場発生器422は、手術器具424上の電磁センサ(明確に図示せず)によって検出される電磁波を放ち、次いで、電磁参照部428を使用して、手術器具424と電磁参照部428との空間関係を計算する。空間関係は、電磁場発生器422によって計算してもよく、あるいは、電磁場発生器422がそのデータを制御装置408に提供して、焼灼針424と電磁参照部428との空間関係を計算してもよい。
図25Bは、上の図13に記載したナビゲーションシステムと同様の別のナビゲーションシステム430を示す。図25Bでは、光学参照部すなわち基準部438を患者の上に置く。手術器具424に取り付けられたカメラ436は、基準部438の画像を撮影し、画像を制御装置408に伝送して、基準部438に対する焼灼針の位置を決定する。
ナビゲーションシステム406からデータを受信した後、制御装置408は、以下に記載するように、手術器具424を標的「T」に誘導するために、手術器具424の位置をCT画像と相関させてもよい。この場合、患者参照部(任意の種類)は、体表に放射線不透過性マーカーを有し、かつCT中に可視化することができる。これにより、制御装置は、患者CT画像座標系を器具トラッキング座標系に結びつけることができる。
制御装置408および表示装置410は、互いに協働して、図27に示すナビゲーション画面440にCT画像を表示する。図27に示すように、表示画面440は、横断面表示442、冠状方向表示444および矢状方向表示446を含む。各表示は、標的「T」および焼灼区域452(マージンを含む)の表示を含む。横断面表示442、冠状方向表示444および矢状方向表示446、焼灼区域452は全て、計画システム404からインポートされる。さらに、全ての計画要素(例えば、器具選択、エネルギーレベルおよび治療期間)は、ナビゲーション画面440に自動的に転送される。ナビゲーション画面440は、使用者に器具選択、エネルギーレベルおよび治療期間を調整させることができるグラフィカルユーザインタフェースでもある。
焼灼針を標的「T」に誘導するのを支援するためのナビゲーションガイド画面448が表示画面440に設けられる。ナビゲーションシステム406から受信したデータに基づいて、制御装置は、手術器具424が標的「T」と位置合わせされているか否かを決定することができる。手術器具424が標的「T」と位置合わせされていない場合、円454は、外側の円453から中心が外れている。次いで、使用者は、円454の中心が外側の円453の中心と位置合わせされるまで、手術器具424の進入角度を調整する。いくつかの実施形態では、円454の中心が外側の円453の中心に位置合わせされていない場合は、円454を赤色の円として表示してもよく、あるいは、円454の中心が外側の円453の中心と位置合わせされている場合は、円454を緑色の円として表示してもよい。さらに、制御装置408は、標的「T」と手術器具424との距離を計算してもよい。
図28に示す別の実施形態では、制御装置408は、仮想の手術器具424aを3Dレンダリングされた画像に重ね合わせ、組み合わせられた画像を画面462に表示する。上記方法と同様に、使用者は、円453の中心を円454の中心と位置合わせして、手術器具424を標的「T」に誘導することができる。あるいは、使用者は、画面462上の仮想の手術器具424aを見て標的「T」に対する手術器具424の位置を決定して、手術器具424を標的「T」に誘導することができる。
図29は、本開示の別の実施形態を示す。上の画面462と同様に、図29の実施形態では、画面472は、以前に取得し、かつレンダリングされたCT画像と空間関係を有する仮想の手術器具424aを示す。このCT画像は、ボリュームレンダリングされて、標的「T」ならびにさらなる構造、血管および臓器の境界が画定されている。標的「T」ならびにさらなる構造、血管および臓器をボリュームレンダリングすることにより、使用者は、さらなる構造、血管および臓器が不必要に損傷されるのを回避しながら、手術器具424を患者の体内に誘導することができる。
当然のことながら上の記載は、単に本開示の例示である。当業者は、本開示から逸脱することなく、様々な他の形態および修正形態を考案することができる。従って、本開示は、全てのそのような他の形態、修正形態および変形形態を包含するものである。添付の図面を参照しながら記載されている実施形態は、単に本開示の特定の例を示すために提供されている。上記および/または添付の特許請求の範囲に記載されているものとは実質的に異なる他の要素、工程、方法および技術も、本開示の範囲に含まれるものである。

Claims (5)

  1. 複数の画像を受信するように構成された受信機と、
    前記複数の画像を格納するように構成されたメモリと、
    前記複数の画像を3次元レンダリングし、前記複数の画像を領域分割し、連結閾値フィルタを用いて、ユーザにより特定されたシード点に連結される前記画像中の全ての画素を発見することにより、標的領域の境界を画定し、かつ容量分析を行って前記標的領域に基づいて治療計画を決定するように構成された制御装置と、
    前記治療計画を調整するように構成された入力装置と、
    前記レンダリングされた複数の画像および前記標的領域を表示するように構成された表示装置と、
    体内における手術器具の位置を決定するように構成されたナビゲーションシステムと、
    を備える計画システムであって、
    前記制御装置及び前記表示装置が互いに協働して、前記ナビゲーションシステムから受信したデータに基づき前記制御装置が前記表示装置にナビゲーションガイド画面を表示して使用者が前記手術器具の進入角度を調整できるように構成され、
    前記制御装置が、トラッキングシステムを実行するためのカメラを備え、前記トラッキングシステムが前記制御装置の内部に記録されたソフトウェアプログラムにより下記の工程を実行すること:
    ビデオフレームを取り込む;
    レンズ歪みを補正して、カメラから受信される基準画像と基準モデルとの一致を見つける;
    カメラの姿勢評価を行う;かつ
    手術器具の座標をモデル空間に変換して、前記手術器具を仮想の手術器具として前記表示装置に表示する
    を特徴とする、計画システム。
  2. 前記表示装置はグラフィカルユーザインタフェースを提供する、請求項1に記載の計画システム。
  3. 前記制御装置は、少なくとも1つの血管を領域分割し、かつ前記少なくとも1つの血管の前記標的に対する近さに基づいて前記治療計画を調整する、請求項1に記載の計画システム。
  4. 前記制御装置は、少なくとも1つの臓器を領域分割し、前記少なくとも1つの臓器に対する前記標的の位置に基づいて前記治療計画を調整する、請求項1に記載の計画システム。
  5. (1)複数のCT画像を格納するように構成されたメモリと、
    (2)前記複数のCT画像を3次元レンダリングし、前記複数のCT画像を領域分割し、連結閾値フィルタを用いて、ユーザにより特定されたシード点に連結される前記CT画像中の全ての画素を発見することにより、標的領域の境界を画定し、かつ容量分析を行って前記標的領域に基づいて治療計画を決定するように構成された制御装置と、
    (3)前記レンダリングされた複数のCT画像および前記標的領域を、グラフィカルユーザインタフェースにより表示するように構成された表示装置と、
    (4)体内における手術器具の位置を決定するように構成されたナビゲーションシステムと、
    (5)前記複数のCT画像を受信するように構成された受信機であって、前記複数のCT画像はDICOMフォーマットであって、かつ、無線ネットワークにより前記受信機によって受信される、受信機と、
    を備える外科手術計画システムであって、
    前記グラフィカルユーザインタフェースは、手術器具の選択を可能にするように構成されており、前記制御装置は、前記標的領域および前記選択された手術器具に基づいてエネルギーレベルおよび治療期間を計算するように構成され、
    前記制御装置及び前記表示装置は互いに協働して、前記ナビゲーションシステムから受信したデータに基づき前記制御装置が前記表示装置にナビゲーションガイド画面を表示して使用者が前記手術器具の進入角度を調整できるように構成され、
    前記エネルギーレベルおよび前記治療期間のうちの少なくとも1つは、前記グラフィカルユーザインタフェースにより選択することができ、
    前記グラフィカルユーザインタフェースは、複数の領域を含み、各領域は、前記レンダリングされた複数のCT画像の断面を表示するように構成され、
    前記複数のCT画像の少なくとも1つは、前記表示装置に表示される前記グラフィカルユーザインタフェースにより選択することができ、
    前記制御装置は、少なくとも1つの血管を領域分割し、かつ前記標的領域に対する前記少なくとも1つの血管の近さに基づいて前記治療計画を調整し、
    前記制御装置は、少なくとも1つの臓器を領域分割し、かつ前記少なくとも1つの臓器に対する前記標的の位置に基づいて前記治療計画を調整する、
    外科手術計画システム。
JP2015514088A 2012-05-22 2013-05-20 治療計画システム Active JP6670107B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/477,406 2012-05-22
US13/477,406 US20130316318A1 (en) 2012-05-22 2012-05-22 Treatment Planning System
PCT/US2013/041842 WO2013177051A1 (en) 2012-05-22 2013-05-20 Treatment planning system

Publications (2)

Publication Number Publication Date
JP2015526111A JP2015526111A (ja) 2015-09-10
JP6670107B2 true JP6670107B2 (ja) 2020-03-18

Family

ID=49621879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015514088A Active JP6670107B2 (ja) 2012-05-22 2013-05-20 治療計画システム

Country Status (7)

Country Link
US (1) US20130316318A1 (ja)
EP (1) EP2852349A4 (ja)
JP (1) JP6670107B2 (ja)
CN (2) CN107550568B (ja)
AU (2) AU2013266600B2 (ja)
CA (1) CA2874577A1 (ja)
WO (1) WO2013177051A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071623A1 (ko) * 2020-09-29 2022-04-07 고려대학교 산학협력단 체내 온도 제어 및 흡수에너지 기반 종양치료 전기장 최적화 방법 및 시스템, 및 이를 포함하는 전기장 치료 방법 및 시스템

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2738756A1 (en) * 2012-11-30 2014-06-04 Surgical Science Sweden AB User interface device for surgical simulation system
US9301723B2 (en) 2013-03-15 2016-04-05 Covidien Lp Microwave energy-delivery device and system
KR101536115B1 (ko) * 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
CN105534593B (zh) * 2014-10-29 2019-04-23 深圳迈瑞生物医疗电子股份有限公司 介入消融模拟系统及方法
US9878177B2 (en) * 2015-01-28 2018-01-30 Elekta Ab (Publ) Three dimensional localization and tracking for adaptive radiation therapy
US10607738B2 (en) 2015-05-15 2020-03-31 University Health Network System and method for minimally invasive thermal ablation treatment planning
US10716626B2 (en) * 2015-06-24 2020-07-21 Edda Technology, Inc. Method and system for interactive 3D scope placement and measurements for kidney stone removal procedure
CN108472085B (zh) * 2016-01-06 2022-03-22 波士顿科学医学有限公司 用于计划医疗过程的系统和方法
JP2019515698A (ja) * 2016-03-02 2019-06-13 コヴィディエン リミテッド パートナーシップ 手術画像および/またはビデオの中で閉塞物体を除去するシステムならびに方法
JP6526346B2 (ja) * 2016-03-16 2019-06-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 近接照射療法システム及び方法
CN106236281A (zh) * 2016-07-25 2016-12-21 上海市肺科医院 一种手术室三维可视化操作系统
AU2018266132A1 (en) * 2017-05-09 2019-10-10 Boston Scientific Scimed, Inc. Operating room devices, methods, and systems
KR102061263B1 (ko) 2017-07-21 2020-01-02 주식회사 우영메디칼 전자기 코일시스템 제어 장치 및 방법
CN111526794B (zh) 2017-12-04 2024-05-28 柯惠有限合伙公司 从ct图像中自动分割消融天线
CN112566581B (zh) 2018-08-10 2024-03-19 柯惠有限合伙公司 用于消融可视化的系统
CN109805991B (zh) * 2019-03-14 2022-02-01 北京理工大学 血管穿刺辅助控制方法及装置
US20220108475A1 (en) * 2020-10-06 2022-04-07 Asensus Surgical Us, Inc. Camera calibration using fiducial markers on surgical tools
US20220199221A1 (en) * 2020-12-21 2022-06-23 Varian Medical Systems, Inc. Method and Apparatus to Deliver Therapeutic Energy to a Patient Using Multi-Objective Optimization as a Function of a Patient's Quality of Care
CN114904153B (zh) * 2021-02-09 2024-01-12 西安大医集团股份有限公司 放疗计划的生成方法、放疗计划系统及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212637A (en) * 1989-11-22 1993-05-18 Stereometrix Corporation Method of investigating mammograms for masses and calcifications, and apparatus for practicing such method
US5588428A (en) * 1993-04-28 1996-12-31 The University Of Akron Method and apparatus for non-invasive volume and texture analysis
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US7630750B2 (en) * 2001-02-05 2009-12-08 The Research Foundation For The State University Of New York Computer aided treatment planning
US20040044295A1 (en) * 2002-08-19 2004-03-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
US7769214B2 (en) * 2002-12-05 2010-08-03 The Trustees Of The University Of Pennsylvania Method for measuring structural thickness from low-resolution digital images
CA2460119A1 (en) * 2004-03-04 2005-09-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
CN1814321B (zh) * 2005-01-31 2010-09-01 重庆微海软件开发有限公司 超声治疗设备的控制系统
DE102005013847B4 (de) * 2005-03-24 2009-08-06 Erbe Elektromedizin Gmbh Elektrochirurgisches Instrument
WO2008000278A1 (en) * 2006-06-30 2008-01-03 Pnn Medical A/S Method of identification of an element in two or more images
DE102006021771B4 (de) * 2006-05-10 2008-07-17 Siemens Ag Vorrichtung, Verfahren sowie Computerprogrammprodukt zur Erstellung einer Bestrahlungsplanung
US9747684B2 (en) * 2007-01-24 2017-08-29 Koninklijke Philips N.V. RF ablation planner
DE102007053394B4 (de) * 2007-11-09 2014-04-03 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Planung und/oder Überprüfung einer interventionellen Radiofrequenz-Thermoablation
US20090221999A1 (en) * 2008-02-29 2009-09-03 Ramin Shahidi Thermal Ablation Design and Planning Methods
WO2010059734A1 (en) * 2008-11-18 2010-05-27 Precise Light Surgical, Inc. Dynamic laser pulse systems and methods
JP5685546B2 (ja) * 2008-12-03 2015-03-18 コーニンクレッカ フィリップス エヌ ヴェ インターベンショナル・プランニング及びナビゲーションを一体化するフィードバックシステム
US20100268223A1 (en) * 2009-04-15 2010-10-21 Tyco Health Group Lp Methods for Image Analysis and Visualization of Medical Image Data Suitable for Use in Assessing Tissue Ablation and Systems and Methods for Controlling Tissue Ablation Using Same
BRPI1009004A2 (pt) * 2009-06-05 2016-03-08 Koninkl Philips Electronics Nv método para integrar diagnóstico e tratamento para tecidos internos, e, sistema para integrar diagnóstico e tratamento para tecidos internos
CN102625670B (zh) * 2009-06-16 2015-07-15 核磁共振成像介入技术有限公司 Mri导向装置以及能够近实时地跟踪和生成该装置的动态可视化的mri导向的介入系统
US8472685B2 (en) * 2009-08-12 2013-06-25 The Regents Of The University Of California Apparatus and method for surface capturing and volumetric analysis of multidimensional images
JP2011067415A (ja) * 2009-09-25 2011-04-07 Univ Of Tsukuba 手術支援装置
KR101100464B1 (ko) * 2009-12-09 2011-12-29 삼성메디슨 주식회사 부 관심영역에 기초하여 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
US8600719B2 (en) * 2010-02-09 2013-12-03 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Ablated object region determining apparatuses and methods
DE102010008243B4 (de) * 2010-02-17 2021-02-11 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Ermittlung der Vaskularität eines sich in einem Körper befindlichen Objektes
JP2012019964A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 医用情報提示装置
US20130072784A1 (en) * 2010-11-10 2013-03-21 Gnanasekar Velusamy Systems and methods for planning image-guided interventional procedures
US10874453B2 (en) * 2011-03-23 2020-12-29 Acessa Health Inc. Merged image user interface and navigational tool for remote control of surgical devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071623A1 (ko) * 2020-09-29 2022-04-07 고려대학교 산학협력단 체내 온도 제어 및 흡수에너지 기반 종양치료 전기장 최적화 방법 및 시스템, 및 이를 포함하는 전기장 치료 방법 및 시스템

Also Published As

Publication number Publication date
WO2013177051A1 (en) 2013-11-28
CN104349740B (zh) 2017-10-27
EP2852349A1 (en) 2015-04-01
AU2013266600A1 (en) 2014-11-20
EP2852349A4 (en) 2015-11-04
CA2874577A1 (en) 2013-11-28
CN104349740A (zh) 2015-02-11
US20130316318A1 (en) 2013-11-28
JP2015526111A (ja) 2015-09-10
CN107550568A (zh) 2018-01-09
AU2017261527A1 (en) 2017-12-07
CN107550568B (zh) 2021-06-29
AU2013266600B2 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
JP6670107B2 (ja) 治療計画システム
CN106606374B (zh) 用于消融手术的计划系统和导航系统
EP3351201B1 (en) Integrated planning system and navigation system
CN107997821B (zh) 用于计划和导航的系统和方法
EP2666431B1 (en) Surgical planning system and navigation system
US8750568B2 (en) System and method for conformal ablation planning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200228

R150 Certificate of patent or registration of utility model

Ref document number: 6670107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250