JP6014049B2 - 画像ガイド下生検における針展開検出のためのシステム及びその作動方法 - Google Patents

画像ガイド下生検における針展開検出のためのシステム及びその作動方法 Download PDF

Info

Publication number
JP6014049B2
JP6014049B2 JP2013548923A JP2013548923A JP6014049B2 JP 6014049 B2 JP6014049 B2 JP 6014049B2 JP 2013548923 A JP2013548923 A JP 2013548923A JP 2013548923 A JP2013548923 A JP 2013548923A JP 6014049 B2 JP6014049 B2 JP 6014049B2
Authority
JP
Japan
Prior art keywords
deployment
surgical device
detector
biopsy
needle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013548923A
Other languages
English (en)
Other versions
JP2014505543A (ja
Inventor
クリュッカー,ヨッヘン
ヤン,ピンクン
アイヴァジ,アルペル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2014505543A publication Critical patent/JP2014505543A/ja
Application granted granted Critical
Publication of JP6014049B2 publication Critical patent/JP6014049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/0233Pointed or sharp biopsy instruments
    • A61B10/0266Pointed or sharp biopsy instruments means for severing sample
    • A61B10/0275Pointed or sharp biopsy instruments means for severing sample with sample notch, e.g. on the side of inner stylet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/0233Pointed or sharp biopsy instruments
    • A61B10/0241Pointed or sharp biopsy instruments for prostate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、外科手技撮像に関し、より具体的には、生検手技中に外科器具を検出するシステム及び方法に関する。
前立腺癌は、現在、米国人男性における癌死亡のうちで第2位の死因となっている。多くの状況において、患者は、“ブラインド”経直腸超音波(TRUS)ガイド下での体系的な生検(バイオプシー)を用いて、前立腺癌の診断を受けている。しかしながら、超音波撮像は、針を前立腺の様々な領域にガイド(誘導)するに過ぎず、前立腺癌を信頼性高く視覚化することができない。マルチパラメトリック磁気共鳴撮像(MRI)は、前立腺癌を検出する上で良好な感度及び特異度を有する。MRIにて特定された診断又は治療の標的部位まで針をガイドするために、事前収集されたMRIに実時間TRUSを融合することが可能な画像誘導アプリケーションを作り出すことに努力が払われてきた。
MRI/TRUS融合ガイド下での標的前立腺バイオプシー及び治療においては、生検針の展開の正確な位置を知ることが重要である状況が幾つも存在する。例えば、生検針の先端(針先)の位置特定は、画像融合システムの遡及的分析において役割を果たす。前立腺バイオプシーにおいて、生検針は、バイオプシーガンを用いて展開される。組織採取用の針先が、計画した標的部位に正確に当たらないことがある。反復生検では、医師は、以前の生検で疑わしい所見を有した領域を再採取することを望んだり、あるいはそれに代えて、良性の所見を有した領域及び以前の生検での標的領域を再採取することを明確に避けることを望んだりすることがある。何れの場合も、以前の生検標本の正確な位置を知る必要がある。また、限局性治療を計画するためには、画像所見に加えて、有益な生検の位置が必要である。
医療装置検出のためのシステム及び方法を提供する。
本原理によれば、医療装置検出のためのシステム及び方法は、被検体内に外科装置を送り届けるように構成された誘導システムを含む。外科装置展開検出器が、誘導システムと協働するように構成され、且つ被検体内での外科装置の展開を検出するように構成される。調整モジュールが、誘導システム及び展開検出器から入力を受信し、各展開の位置及び時間のうちの1つ以上を決定して記録するように構成される。
医療装置検出のための生検システムは、被検体内に生検針を送り届けるように構成された誘導システムと、生検針と、生検針を撮像するために使用される走査プローブとの展開を検出するように構成された展開検出器と、展開を撮像するように構成された撮像装置とを含む。調整モジュールが、誘導システム、展開検出器及び走査プローブのうちの1つ以上から入力を受信して各展開を記録し、各展開に関する生検の位置及び時間の記録を作成するように構成される。
医療装置検出のための方法は、誘導システムを用いて被検体内に外科装置を送り届けることと、外科装置誘導を、自動的な展開の検出及び記録と統合し、実時間画像、音響インジケータ、振動検出器及び空間的追跡装置のうちの1つ以上を用いて外科装置の展開が行われたことを検出することと、外科装置誘導と自動展開検出とに基づいて、各展開の位置及び時間のうちの1つ以上を決定して記録することとを含む。
一実施形態において、手技における実際の生検位置が見出され、そして、実際の生検位置が磁気共鳴(MR)画像にマッピングされる。そして、マルチパラメトリックMRにて特定された標的が、病理学的分析結果と正確に相関付けられ得る。
添付の図面とともに読まれるべき、例示的な実施形態の以下の詳細な説明から、本開示の上述及びその他の課題、特徴及び効果が明らかになる。
以下、本開示は、以下の図を参照して好適実施形態を詳細に説明する。
本原理に従った外科器具誘導・展開検出を統合したシステム/方法を示すブロック/フロー図である。 本原理に従った画像ガイド下生検用の調整モジュールのワークフローを示すブロック/フロー図である。 本原理に従った実時間画像を用いた展開検出システム/方法を示すブロック/フロー図である。 一実施形態に従った基準画像に対する実時間超音波画像及びトラッキングデータの変換を示す図である。 一実施形態に従った画像内で生検針をハイライトするために使用される例示的なフィルタを示す図である。 他の一実施形態に従った動きに基づく針展開検出を示す模式的な超音波画像である。 他の一実施形態に従った静止式追跡装置及び針上の移動式追跡装置を有するバイオプシーガン及び針を示す図である。 本原理に従った外科器具誘導・展開検出方法を示すフロー図である。
本原理に従って、外科手技中に外科器具の展開を検出するシステム及び方法が開示される。一実施形態において、外科器具は生検針を含み得る。外科手技は、生検位置を追跡する画像誘導ナビゲーションシステムと統合され得る。このシステム及び方法は、ナビゲーションシステムを用いて生検の回数、時間及び位置を監視する。一実施形態において、画像ガイド下生検手技中に針の展開位置が自動的に記録され、例えば、生検手技中に発射されるバイオプシーガンについて発射時間及び針位置が自動的に記録され得る。画像、音及び動きに基づいて針の展開を検出する方法が提供される。検出システムは、画像ガイド下生検ナビゲーションシステムに追加機能として組み込まれることができる。
また、理解されるように、本発明は以下では医療器具に関して説明されるが、本発明の教示は、もっと広いものであり、複雑な生体系又は機械系を監視あるいは分析する際に使用される器具にも適用可能である。特に、本原理は、生体系の内部監視手順、例えば肺、消化管、排泄器官、血管などの体の全ての領域での手順に適用可能である。図に示される要素は、ハードウェア及びソフトウェアの様々な組合せにて実装されることができ、単一の要素又は複数の要素に結合され得る機能を提供する。
図に示される様々な要素の機能は、専用ハードウェア、及び適切なソフトウェアと協働してソフトウェアを実行することが可能なハードウェアの使用を介して提供され得る。プロセッサによって提供されるとき、それらの機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、あるいは一部が共用され得る複数の個別プロセッサによって提供される。また、“プロセッサ”又は“コントローラ”なる用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に意味するものと解釈されるべきでなく、以下に限られないが、デジタル信号プロセッサ(“DSP”)ハードウェア、ソフトウェアを格納する読み出し専用メモリ(“ROM”)、ランダムアクセスメモリ(“RAM”)、不揮発性ストレージなどを暗示的に含み得る。
また、発明の原理、態様及び実施形態、並びにその具体例を記載するここでの全ての記述は、構造的な均等物及び機能的な均等物の双方を包含することを意図したものである。さらに、そのような均等物は現在知られている均等物と将来的に開発される均等物(構造にかかわらず、同じ機能を果たす何らかの開発された要素)との双方を含むことが意図される。故に、例えば、当業者に認識されるように、ここに提示されるブロック図は、発明の原理を具現化する例示的なシステムコンポーネント及び/又は回路を概念的に見たものを表している。同様に、認識されるように、フローチャート、フロー図、及びそれらに類するものは、コンピュータ又はプロセッサが明示的に示されていようといなかろうと、事実上コンピュータ読み取り可能記憶媒体内に表現されてコンピュータ又はプロセッサによってそのように実行され得る様々な処理を表している。
また、本発明の実施形態は、コンピュータ使用可能あるいはコンピュータ読み取り可能な記憶媒体からアクセス可能なコンピュータプログラムの形態をとることができ、これは、コンピュータ又は何らかの命令実行システムによって使用され、あるいはそれとともに使用されるプログラムコードを提供する。この説明の目的で、コンピュータ使用可能あるいはコンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスによる使用又はそれとともにの使用のためにプログラムを含み、格納し、通信し、伝播し、あるいは輸送し得る如何なる装置であってもよい。媒体は、電子媒体、磁気媒体、光媒体、電磁気媒体、赤外線媒体、半導体システム(若しくは装置、デバイス)、又は伝搬媒体とし得る。コンピュータ読み取り可能媒体の例には、半導体メモリ若しくはソリッドステートメモリ、磁気テープ、取り外し可能コンピュータディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、リジッドな磁気ディスク及び光ディスクがある。光ディスクの現行例には、コンパクトディスク型読み出し専用メモリ(CD−ROM)、リード/ライト型コンパクトディスク(CD−R/W)、及びDVDがある。
以下、図面を参照する。図において、同一あるいは同様の要素は、似通った参照符号によって表すこととする。先ず図1を参照するに、生検のための針誘導を自動的な針展開の検出及び記録と統合するシステム10が、一実施形態に従って例示されている。システム10は、例えば画像ガイド下生検などの多様な臨床手順に適用され得る。特に、システム10は、画像誘導ナビゲーションシステムの下で患者45に対して実行される生検の回数、時間及び位置を自動的に文書化する助けとなり得る。システム10はワークステーション12を含んでおり、ワークステーション12は、例えばディスプレイ14を用いて、計画情報、ナビゲーション情報及びフィードバック情報をユーザに提供する。ワークステーション12は、コンピュータプロセッサ16、ディスプレイ14、ユーザインタフェース18(例えば、マウス、キーボードなど)、並びにデータ及びソフトウェアを格納するメモリ20を含み得る。
メモリ20はソフトウェアを含んでおり、ソフトウェアには、画像情報、音響情報若しくは振動情報、空間追跡データなどを、医療器具の動き及び被検体の処置に関連するイベントと連係させるように構成された調整(コーディネーション)モジュール22が含まれ得る。一実施形態において、超音波プローブ30及び生検針32の位置が同時に追跡される。生検位置は、画像ガイダンスを用いて決定され、1つ以上の医療画像に関して記録される。他の一実施形態において、空間追跡システム24及び追跡装置25を用いて、医療画像に対する相対的なプローブ位置が決定され得る。例えば、追跡装置25として、6自由度の電磁(EM)追跡センサがプローブ30上に配置され得る。モジュール22は、展開誘導システム38(例えば、針ガイド、バイオプシーガン、若しくはその他の装置)、針32、又はその他の器具の位置を指し示すデータを収集する。
展開誘導システム38は、器具32の動き及び/又は起動(例えば、標本の採取)の展開検出を提供するように備え付けられる。モジュール22は、本原理に従って備え付けられたツール及びシステムを用いて自動での器具展開検出、位置決定及び記録の統合を調整する。検出は、撮像装置40から収集される例えば経直腸超音波画像/ビデオストリームといった画像からとし得る。一実施形態において、被検体45の画像を用いた器具32の追跡を支援するために、フィルタ47が使用される。他の実施形態において、検出は、音響検出器42から、若しくは振動(バイブレーション)検出器44からであってもよく、且つ/或いは、例えば追跡される生検針及び/又はプローブ30からである追跡装置25からの空間追跡データからであってもよい。これらの装置のうちの1つ以上を用いて、被検体内で、少なくともイベント(生検標本)の時間及び位置が決定され得る。器具32の展開動作の検出は、例えば生検標本の時間及び位置が将来的な参照のために記録され得るよう、基準座標系と相関付けられ得る。
一実施形態において、手技における実際の生検位置を見出し、この実際の生検位置を例えば磁気共鳴(MR)画像である基準画像にマッピングすることが非常に有用である。そして、マルチパラメトリックMR上で識別された標的を、病理学的分析結果と正確に相関付けることができる。
図2を参照するに、例示的な一実施形態に従った画像ガイド下生検手技中の調整モジュール22のワークフローがブロック/フロー図によって示されている。ブロック102にて、生検手技が終了したかの決定が為される。先ず、調整モジュール22で開始する。手技が完了している場合、このプログラム経路はブロック112で終了される。手技が完了していない場合、この経路はブロック104へと進む。ブロック104にて、針展開検出を用いた生検誘導が実行される。これは、例えば経直腸超音波(TRUS)プローブである走査装置プローブを監視しながら、且つ/或いは生検針位置を監視しながら、生検手技を実行することを含み得る。ブロック106にて、生検針展開の信号発生を決定するために、センサ及び/又はアルゴリズムによる出力が連続的に監視される。ブロック108にて展開が検出された場合、ブロック110にて、プローブ及び/又は生検針の位置が展開時間とともに記録される。展開監視は、ブロック112での生検手技の終了まで続けられる。調整モジュール22は針展開のためのその他の方法も提供し得る。そのような方法の例については後述する。
図3を参照するに、例えば超音波プローブの安定性、TRUSビデオの背景モデル、及び針の向き及び位置の予備知識などの複数の情報源からの情報を統合することにより、画像ベースの針展開検出が生検針展開を検出する。ブロック202にて、超音波プローブセンサからのEMトラッキング情報を用いて、超音波センサが静止して見える複数の部分にビデオがセグメント化(分割)される。ブロック204にて、画像内の生検針に応答するように特別に設計されたフィルタを用いて、針がハイライト(強調)される。ブロック206にて、各ビデオセグメントを通して維持される背景モデルに関してシーン変化が検出される。これらのステップをともに組み合わせることにより、ブロック208にて生検針の存在が検出され得る。各ステップの更なる詳細を以下に示す。
ブロック202にて、TRUSビデオの分割はプローブの安定性に基づく。針展開についての観察は、泌尿器科医が、先ず超音波プローブを安定させ、次いで、例えば前立腺又はその他の器官若しくは組織から標本を採取するために針を展開するというものである。この観察の下で、針展開の探索は、超音波プローブが静止しているビデオシーケンス部分に狭められる。
図4を参照するに、実時間TRUS画像310と事前収集されたMR画像302とを融合させるための変換チェーンが例示されている。撮影される患者312の超音波画像310は座標系CUSを有する。超音波プローブ306に取り付けられた追跡センサ308は、それ自身の座標系Csensorを有する。追跡システム304は、それ自身の座標系Ctrackingを有する。患者312のMRスキャンにより撮影されるMRI画像302は、それ自身の座標系CMRを有する。これらの座標系は、変換を用いて基準座標権(例えば、CMR)に変換されることができる。これらの変換は例えば、Tcalibration、Ttracking、及びTregistrationを含む。これらの変換を用いて、画素の3次元(3D)ワールド位置を、2次元(2D)TRUSフレーム(310)内で見出すことができる。連続した複数のフレームにおける同じ画素セット(複数画素の組)の3D座標を比較することにより、USプローブ306の動きを決定することができる。この手法において、画像平面(310)上でN個の点が選択される。そして、プローブ306のEM追跡により、これらの点のワールド座標が見出される。各点に対し、その点の3Dワールド位置と、先行フレームにおけるその3Dワールド位置との間の角距離が計算される。これらN個の点のうちの何れもが有意に動いていない場合、そのフレームは“静止”としてタグ付けされ、更なる処理のための候補にされる。
再び図3を参照するに、ブロック204にて、針がハイライトされる。USプローブ位置が安定しているときにキャプチャされたTRUSフレーム(310)が特定されると、可能であれば、それらフレーム内で針が検出されてセグメント化される。画像は、処理前に先ず、フィルタを用いて畳み込まれ得る。フィルタの詳細設計により、単に画像内のノイズを抑圧するのではなく、針の管状構造を活用することを支援することができる。一実施形態において、二次導関数ガウシアンフィルタが使用され得る。図5は、二次導関数ガウシアンフィルタ402の2つの例示的な斜視図を示している。二次導関数ガウシアンフィルタ402は、円筒形の針形状を活用して、超音波画像内で針を強調することを支援する。
ブロック206にて、変化検出のための背景のモデル化が実行される。針検出フィルタを用いてUS画像をフィルタリングした後、突然のフレーム外観変化を見出すことによって針展開が検出される。超音波プローブが安定しているとき、呼吸運動は無視することができるので、シーン内で起こる変化は針の展開のみである。この重要な変化を検出するため、小さい呼吸運動の下ではやはり不変量であるフィルタ応答のヒストグラムが用いられ得る。
ブロック208にて、針のセグメント化が実行される。ブロック206で説明した変化検出は、針展開を伴うフレームをマークするのみでなく、針が現れない偽陽性フレームをもマークしてしまうことがある。この偽陽性を排除するため、画像内で針をセグメント化して針の存在を検証し得る。ブロック210にて、フィルタ応答を用いて、画像が針の断片群と背景とにセグメント化される。セグメント化のためのグラフカットが用いられ得るが、2つ以上のセグメントが針として出力され得る。ブロック212にて、針ガイドの位置及び向きの予備知識に基づいて、これらのセグメントが一団とされる(クラスター化される)。管状構造を形成する断片群のクラスター化が好ましい。グラフカットもこの目的で使用され得る。
針のセグメント化が得られると、針ガイドに対する形状、向き及び位置に基づいて、多くの偽陽性を排除することができる。この手法は、針展開のないフレームのうちの大多数を信頼性高く排除する助けとなる。そして、発射された針を検出することができる。
なお、図3に従った針位置検出は、生検手技に使用される超音波プローブ及び生検ガイドの空間的な追跡を使用する。(更なる追跡センサを用いる)生検針自体の空間的な追跡は必要とされない。しかしながら、この方法が展開検出の唯一の手法として使用される場合、正確な生検針の針先又は生検コア位置(すなわち、針経路に沿った針挿入の深さ)の記録を利用することができない。
図6を参照するに、他の一実施形態において、動きベースの針展開検出が提供される。バイオプシーガン48が発射されるとき、針54をガイドするために使用される超音波プローブ52は幾らかの動き及び振動を被る。例えば超音波画像56におけるこの展開検出方法は、バイオプシーガン48に振動/動き検出器44を取付けて振動/動きセンサ44からの信号を継続的に監視することによって、この振動及び突然の動きを活用する。この方法は単純で使用しやすいとともに、針展開時間の記録を可能にする。TRUSプローブ52(又は、針ガイド)の空間的な追跡(25)と組み合わせて、この方法はまた、生検の時点での、例えば器官50内の、生検針展開経路の位置を記録することを可能にする。図6に従った展開検出方法は、正確な生検針の針先又は生検コア位置(すなわち、針経路に沿った針挿入の深さ)の記録を可能にしない。
他の実施形態において、複数の方法の組合せが使用され得る。例えば、組み合わされた方法は、振動、音響及び画像を併用することを含んでいてもよく、あるいはその他の組合せを含んでいてもよい。ここに記載される複数の実施形態を様々に組み合わせて、ロバストで信頼性のある針展開検出を達成することができる。これは、何れか1つの方法又は技術を用いる場合より、検出性能を向上させることができる。複数の方法を連係させることはまた、展開の回数及び時間と実際の生検針位置との、より正確な追跡及び記録を可能にし得る。
他の一実施形態において、生検針の空間的な追跡を用いた展開検出が使用される。ここに記載される空間的追跡は、独立した方法として提供されてもよいし、記載されるその他の方法と組み合わせて使用されてもよい。
図7を参照するに、生検針502の空間的な追跡により、針展開を自動的に検出することができるとともに、生検コア510の位置を決定することができる。この目的のため、1つ又は複数の追跡センサ504又は505が、バイオプシーガン506上に配設され、生検針502の“静止”基準点上(505)又は“移動”基準点上(504)の何れかに取り付けられ得る。静止基準点は、バイオプシーガン506が発射されるときに、針のシャフトに対して移動しない。静止基準点は、針502の外殻(アウターコア)512上に位置し得る。移動基準点は、バイオプシーガン506が発射されるときに、針展開機構とともに針の軸に沿って前方に移動する。静止基準点は、針502の内側の探り針(インナースタイレット)514上に位置し得る。
静止基準点上の追跡センサ505は、製造がより容易/安価であるが、“静止”センサ505による空間位置追跡は、展開中の針先の動きを直接的に反映しない。故に、展開検出のために、このセンサ505は好ましくは、例えば図3、4、5、6などで説明した方法と組み合わせて使用される。具体的には、振動/動きセンサ(44)として作用するように、追跡センサ504からの信号を使用することができる。針502の“移動”点上の追跡センサ504は、針502の展開(センサ504は針の軸に沿って一定距離だけ素速く移動することになる)を検出するため、及びその位置を記録するために、直接的に使用され得る。
図8を参照して医療装置検出のための方法を一実施形態に従って説明する。ブロック602にて、誘導システムを用いて被検体内に外科装置が送り込まれる。外科装置は生検針を含み得る。
ブロック606にて、実時間画像、音響インジケータ、振動検出器及び空間的追跡装置のうちの1つ以上を用いて外科装置の展開が行われたことを検出するため、外科装置誘導が、自動的な展開検出・記録と統合される。展開とは、被検体内への装置の挿入、より好ましくは、生検標本又はこれに類するものを収集するための装置の起動(トリガリング)を意味する。好ましくは、検出されるイベントは、生検標本の位置及び時間がシステムによって一層正確に決定されるよう、生検標本を採取するためのトリガーイベントである。
実時間画像を用いて外科装置の展開を検出することは、ブロック608にて、超音波プローブが静止している複数部分にビデオをセグメント化することと、ブロック609にて、フィルタを用いてビデオの上記複数部分内で外科装置をハイライトすることと、ブロック610にて、ビデオの複数部分を通して維持される背景モデルに関するシーン変化を検出して生検針の存在を決定することとを含み得る。
ブロック612にて、実時間画像は超音波走査され、追跡システムによって追跡された位置を超音波走査プローブ及び誘導システムのうちの少なくとも一方が有するようにされる。実時間画像は、ブロック613にて、基準医療画像へと変換され得る。
ブロック614において、振動検出器を用いて外科装置の展開を検出することは、展開を指し示す外科装置の振動を検出することを含む。ブロック616において、音響インジケータを用いて外科装置の展開を検出することは、誘導システムの位置を音響的に検出することを含む(例えば、針の深さが増すのに伴い、あるいは針を発射したときに、可聴音が大きくなる)。
ブロック618において、空間的追跡装置を用いて外科装置の展開を検出することは、生検針に取り付けられた空間的追跡装置を用いて誘導システムの位置を電磁的に追跡することを含む。ブロック619において、生検針に取り付けられた空間的追跡装置を用いて誘導システムの位置を追跡することは、静止式の空間的追跡装置及び移動式の空間的追跡装置のうちの一方を含む。理解されるように、ブロック606の複数の検出方法のうちの1つ以上が組み合わせて使用されてもよい。
ブロック620にて、外科装置誘導と自動展開検出とに基づいて、各展開の位置及び時間のうちの1つ以上が決定されて記録される。ブロック622において、決定及び記録を行うことは、生検標本を取得し、生検の回数と各生検の位置及び時間とを記録することを含む。ブロック624において、誘導システム及び自動展開検出は、展開の回数、各展開の位置、及び各展開の時間を、展開が検出された後に記録するように調整される。ブロック626にて、記録された位置及び時間に生検標本がマッチングされ得る(参照付けられ得る)。
添付の特許請求の範囲を解釈するに当たって理解されるべきことには、
a)用語“有する”は、所与の請求項に列挙された要素又はステップ以外の要素又はステップの存在を排除するものではなく、
b)要素の前の不定冠詞“a”又は“an”は、そのような要素が複数存在することを排除するものではなく、
c)請求項中の如何なる参照符号もその範囲を制限するものではなく、
d)複数の“手段”が、同一のアイテム、ハードウェア、ソフトウェア実装構造又は機能によって表されていることがあり、
e)特に指し示していない限り、ステップ群の特定の順序を必須とするものではない。
画像ガイド下生検における針展開検出のためのシステム及び方法に関して好適実施形態(例示的なものであり、限定的なものではない)を説明してきたが、以上の教示を受けた当業者によって変更及び変形が為され得る。故に、理解されるように、本開示に係る特定の実施形態において変形が為され得るが、それは添付の特許請求の範囲にまとめた開示の実施形態の範囲内でのものである。以上では特許法によって要求される詳細事項を説明したが、特許証による保護を望むものは添付の特許請求の範囲に記載されたものである。

Claims (15)

  1. 被検体内に外科装置を送り届けるように構成された誘導システム;
    前記誘導システムと協働するように構成され、前記被検体内での前記外科装置の展開を検出するように構成された外科装置展開検出器;及び
    前記誘導システム及び/又は前記外科装置の位置を追跡する空間的追跡システムからの入力と、前記展開検出器からの前記外科装置の動き及び/又は展開を指し示す入力を連係させて各展開の位置及び時間のうちの1つ以上を決定して記録するように構成された調整モジュール;
    を有する医療装置検出のためのシステム。
  2. 前記調整モジュールは、走査プローブからの超音波画像スキャンを更に連係させるように構成され、
    当該システムは、前記超音波画像スキャン内で前記外科装置を強調するように構成されたフィルタを更に有する
    請求項1に記載のシステム。
  3. 前記外科装置展開検出器は、前記誘導システムに取り付けられた振動検出器を含む、請求項1に記載のシステム。
  4. 前記外科装置展開検出器は、前記誘導システムの位置を音響的に検出するように構成された音響検出器を含む、請求項1に記載のシステム。
  5. 前記空間的追跡システムは、静止した空間的追跡装置及び移動する空間的追跡装置のうちの一方を含んだ、生検針に取り付けられた空間的追跡装置を含む、請求項1に記載のシステム。
  6. 被検体内に生検針を送り届けるように構成された誘導システム;
    前記生検針の展開を検出するように構成された展開検出器;
    前記生検針を撮像するために使用される走査プローブ;及び
    前記展開検出器からの前記生検針の展開を指し示す入力と、前記走査プローブからの超音波画像スキャンの入力とを連係させて、展開に関する生検の位置及び時間の記録を作成するように構成された調整モジュール;
    を有する医療装置検出のための生検システム。
  7. 前記超音波画像スキャン内で前記生検針を強調するように構成されたフィルタ、を更に有する請求項6に記載のシステム。
  8. 前記展開検出器は、前記誘導システムに取り付けられた振動検出器を含む、請求項6に記載のシステム。
  9. 前記展開検出器は、前記誘導システムの位置を音響的に検出するように構成された音響検出器を含む、請求項6に記載のシステム。
  10. 前記展開検出器は空間的追跡システムを含み、該空間的追跡システムは、静止した空間的追跡装置及び移動する空間的追跡装置のうちの一方を含んだ、前記生検針に取り付けられた空間的追跡装置を含む、請求項6に記載のシステム。
  11. 医療装置検出のためのシステムの作動方法であって:
    誘導システムを用いて送り届けられる外科装置について、展開検出器により、実時間画像、音響インジケータ、振動検出器及び空間的追跡装置のうちの1つ以上を用いて前記外科装置の展開が行われたことを検出するステップ;及び
    調整モジュールにより、前記誘導システム及び/又は前記外科装置の位置を追跡する空間的追跡システムからの入力と、前記展開検出器からの前記外科装置の動き及び/又は展開を指し示す入力とを連係させることによって、各展開の位置及び時間のうちの1つ以上を決定して記録するステップ;
    を有する作動方法。
  12. 振動検出器を用いた前記外科装置の展開検出は、前記展開を指し示す前記外科装置における振動を検出することを含む、請求項11に記載の作動方法。
  13. 音響インジケータを用いた前記外科装置の展開検出は、前記誘導システムの位置を音響的に検出することを含む、請求項11に記載の作動方法。
  14. 空間的追跡装置を用いた前記外科装置の展開検出は、生検針に取り付けられた空間的追跡装置を用いて前記誘導システムの位置を電磁的に追跡することを含み、前記空間的追跡装置は、静止した空間的追跡装置及び移動する空間的追跡装置のうちの一方を含む、請求項11に記載の作動方法。
  15. 実時間画像を用いて前記外科装置の展開を検出することは:
    超音波プローブが静止している複数部分にビデオをセグメント化し;
    フィルタを用いて、ビデオの前記複数部分内で前記外科装置を強調し;且つ
    複数のビデオセグメントを通して維持される背景モデルに関するシーン変化を検出することで、生検針の存在を決定する;
    ことを含む、請求項11に記載の作動方法。
JP2013548923A 2011-01-17 2012-01-12 画像ガイド下生検における針展開検出のためのシステム及びその作動方法 Active JP6014049B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161433284P 2011-01-17 2011-01-17
US61/433,284 2011-01-17
PCT/IB2012/050158 WO2012098483A1 (en) 2011-01-17 2012-01-12 System and method for needle deployment detection in image-guided biopsy

Publications (2)

Publication Number Publication Date
JP2014505543A JP2014505543A (ja) 2014-03-06
JP6014049B2 true JP6014049B2 (ja) 2016-10-25

Family

ID=45567061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013548923A Active JP6014049B2 (ja) 2011-01-17 2012-01-12 画像ガイド下生検における針展開検出のためのシステム及びその作動方法

Country Status (7)

Country Link
US (1) US9814442B2 (ja)
EP (1) EP2665423B1 (ja)
JP (1) JP6014049B2 (ja)
CN (1) CN103327907B (ja)
BR (1) BR112013017901A2 (ja)
RU (1) RU2591595C2 (ja)
WO (1) WO2012098483A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6014049B2 (ja) 2011-01-17 2016-10-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像ガイド下生検における針展開検出のためのシステム及びその作動方法
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
EP2997901B1 (en) 2011-09-06 2018-03-07 eZono AG Imaging probe
US9892557B2 (en) 2012-01-26 2018-02-13 Uc-Care Ltd. Integrated system for focused treatment and methods thereof
JP6106259B2 (ja) * 2012-03-21 2017-03-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
US9459087B2 (en) 2013-03-05 2016-10-04 Ezono Ag Magnetic position detection system
US9257220B2 (en) 2013-03-05 2016-02-09 Ezono Ag Magnetization device and method
GB201303917D0 (en) 2013-03-05 2013-04-17 Ezono Ag System for image guided procedure
US9600138B2 (en) 2013-03-15 2017-03-21 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2014141262A1 (en) 2013-03-15 2014-09-18 Uc-Care Ltd. System and methods for processing a biopsy sample
SG10201707562PA (en) 2013-03-15 2017-11-29 Synaptive Medical Barbados Inc Intramodal synchronization of surgical data
AU2014231344B2 (en) 2013-03-15 2018-10-04 Synaptive Medical Inc. Systems and methods for navigation and simulation of minimally invasive therapy
EP2884462A1 (en) * 2013-12-11 2015-06-17 Konica Minolta, Inc. Ultrasound diagnostic device, ultrasound image processing method, and non-transitory computer-readable recording medium
WO2015092582A1 (en) * 2013-12-20 2015-06-25 Koninklijke Philips N.V. Automatic ultrasound beam steering and needle artifact suppression
CN106061399A (zh) * 2014-01-22 2016-10-26 模拟技术公司 成像装置和介入器械事件映射器
EP3099241A1 (en) * 2014-01-29 2016-12-07 Koninklijke Philips N.V. System and method for imaging using ultrasound
JP6487027B2 (ja) * 2014-04-10 2019-03-20 エスワイエヌシー‐アールエックス、リミテッド 医療装置の存在下での画像解析
WO2015158577A1 (en) 2014-04-17 2015-10-22 Koninklijke Philips N.V. Method and system for detecting a fast moving surgical device
JP6782688B2 (ja) * 2014-07-16 2020-11-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 介入処置の3d撮像ワークフローにおける器具及び生体構造のインテリジェントかつリアルタイムな可視化
WO2016032846A1 (en) * 2014-08-23 2016-03-03 Intuitive Surgical Operations, Inc. Systems and methods for display of pathological data in an image guided procedure
US20180132944A1 (en) * 2015-05-18 2018-05-17 Koninklijke Philips N.V. Intra-procedural accuracy feedback for image-guided biopsy
EP3313305B1 (en) * 2015-06-26 2018-12-19 Koninklijke Philips N.V. Image guidance system
CN105055021B (zh) * 2015-06-30 2017-08-25 华南理工大学 手术导航穿刺针的标定装置及其标定方法
EP3328309A1 (en) * 2015-07-28 2018-06-06 Koninklijke Philips N.V. Workflow of needle tip identification for biopsy documentation
EP3367919A4 (en) * 2015-10-29 2019-07-10 Sharp Fluidics LLC SYSTEMS AND METHOD FOR DATA COLLECTION IN AN OPERATING ROOM
JP6664517B2 (ja) 2016-05-10 2020-03-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 追跡デバイス
MX2019000888A (es) * 2016-07-22 2019-06-03 Proteus Digital Health Inc Percepcion y deteccion electromagnetica de marcadores de evento ingeribles.
RU2629064C1 (ru) * 2016-11-14 2017-08-24 Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский радиологический центр" Министерства здравоохранения Российской Федерации (ФГБУ "НМИРЦ" Минздрава России) Устройство для стереотаксического наведения биопсийной иглы под контролем мрт
JP7181226B2 (ja) * 2017-05-11 2022-11-30 コーニンクレッカ フィリップス エヌ ヴェ 超音波処置における動き補償のためのワークフロー、システム及び方法
EP3482690A1 (en) * 2017-11-14 2019-05-15 Koninklijke Philips N.V. Ultrasound tracking and visualization
EP3492018A1 (en) * 2017-11-30 2019-06-05 Koninklijke Philips N.V. Device and method for providing information about a biopsy taking process and biopsy system
US11944487B2 (en) 2018-11-15 2024-04-02 Koninklijke Philips N.V. Simultaneous sensor tracking in medical interventions
US11896424B2 (en) * 2018-12-05 2024-02-13 Fujifilm Sonosite, Inc. Automated needle entry detection
CN109730769B (zh) * 2018-12-10 2021-03-30 华南理工大学 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统
CN111144271B (zh) * 2019-12-23 2021-02-05 山东大学齐鲁医院 一种内镜下自动识别活检部位及活检数量的方法及系统
CN114711837B (zh) * 2022-04-11 2024-04-19 哈尔滨理工大学 一种用于左轮式乳腺旋切活检枪的测试方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5581640A (en) 1978-12-15 1980-06-19 Aloka Co Ltd Ultrasoniccwave medical treatment device
US6246898B1 (en) * 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
JPH09271472A (ja) 1996-04-04 1997-10-21 Ge Yokogawa Medical Syst Ltd 穿刺針の位置検出装置および超音波診断装置
US5810008A (en) * 1996-12-03 1998-09-22 Isg Technologies Inc. Apparatus and method for visualizing ultrasonic images
US20030135115A1 (en) * 1997-11-24 2003-07-17 Burdette Everette C. Method and apparatus for spatial registration and mapping of a biopsy needle during a tissue biopsy
JP4443672B2 (ja) * 1998-10-14 2010-03-31 株式会社東芝 超音波診断装置
RU2146106C1 (ru) * 1999-06-02 2000-03-10 Локшин Константин Леонидович Способ цветного доплерографического исследования предстательной железы
US6695786B2 (en) * 2001-03-16 2004-02-24 U-Systems, Inc. Guide and position monitor for invasive medical instrument
US6546279B1 (en) * 2001-10-12 2003-04-08 University Of Florida Computer controlled guidance of a biopsy needle
KR20030058423A (ko) * 2001-12-31 2003-07-07 주식회사 메디슨 중재적 초음파를 사용하는 3 차원 초음파 진단 시스템에서검침 도구의 관찰 및 이의 대상체로의 진입을 용이하게하기 위한 방법 및 장치
WO2004019799A2 (en) 2002-08-29 2004-03-11 Computerized Medical Systems, Inc. Methods and systems for localizing of a medical imaging probe and of a biopsy needle
JP4418199B2 (ja) 2003-09-19 2010-02-17 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波撮像装置
JP4575033B2 (ja) * 2004-06-02 2010-11-04 株式会社東芝 超音波診断装置及び超音波診断装置の作動方法
JP4766902B2 (ja) * 2005-03-31 2011-09-07 オリンパスメディカルシステムズ株式会社 手術支援装置
US20090234223A1 (en) 2005-03-31 2009-09-17 Fumiyuki Onoda Surgery Assisting Apparatus and Treatment Assisting Apparatus
JP2007195867A (ja) 2006-01-30 2007-08-09 Toshiba Corp 超音波診断装置及び超音波画像表示プログラム
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
RU2305505C1 (ru) * 2006-06-20 2007-09-10 Государственное образовательное учреждение дополнительного профессионального образования Российская медицинская академия последипломного образования Федерального агентства по социальному развитию и здравоохранению (ГОУДПО РМАПО Росздрава) Способ радикального хирургического лечения локализованного рака предстательной железы
EP2212716B1 (en) * 2007-11-16 2014-02-26 Koninklijke Philips N.V. Interventional navigation using 3d contrast-enhanced ultrasound
US8485038B2 (en) 2007-12-18 2013-07-16 General Electric Company System and method for augmented reality inspection and data visualization
US20090247876A1 (en) 2008-03-28 2009-10-01 Cannon Jr Charles W Laparoscopic probe guidance system
US20100172559A1 (en) 2008-11-11 2010-07-08 Eigen, Inc System and method for prostate biopsy
US8556815B2 (en) 2009-05-20 2013-10-15 Laurent Pelissier Freehand ultrasound imaging systems and methods for guiding fine elongate instruments
JP6014049B2 (ja) 2011-01-17 2016-10-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像ガイド下生検における針展開検出のためのシステム及びその作動方法

Also Published As

Publication number Publication date
US20130289393A1 (en) 2013-10-31
BR112013017901A2 (pt) 2016-10-11
CN103327907A (zh) 2013-09-25
RU2013138385A (ru) 2015-02-27
JP2014505543A (ja) 2014-03-06
CN103327907B (zh) 2017-05-24
US9814442B2 (en) 2017-11-14
RU2591595C2 (ru) 2016-07-20
EP2665423A1 (en) 2013-11-27
EP2665423B1 (en) 2021-03-17
WO2012098483A1 (en) 2012-07-26

Similar Documents

Publication Publication Date Title
JP6014049B2 (ja) 画像ガイド下生検における針展開検出のためのシステム及びその作動方法
US11786318B2 (en) Intelligent real-time tool and anatomy visualization in 3D imaging workflows for interventional procedures
JP7041052B6 (ja) 反復介入手順を計画及び実行するシステム並びに方法
JP6843073B2 (ja) 画像誘導式生検のための処置中の精度フィードバック
CN106061424B (zh) 用于跟踪穿刺器械的系统和方法
CN103747729B (zh) 利用二维成像探头的三维针定位
KR102001219B1 (ko) 의료 영상들의 정합 방법 및 장치
CN102512209B (zh) 超声诊断设备
CN103919573A (zh) 病变诊断设备和方法
JP2014161734A (ja) 医療画像を整合する方法及びその装置
KR102070427B1 (ko) 종양의 위치를 추적하는 방법 및 장치
WO2009153723A1 (en) Method and system for performing biopsies
JP2008188417A (ja) 三次元画像診断システム
CN102858229A (zh) 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的系统和方法
KR20150027637A (ko) 의료영상들을 정합하는 방법 및 장치
JP2018518226A (ja) 医療手順における動き補償のためのシステム及び方法
CN109923432A (zh) 利用关于跟踪可靠性的反馈跟踪介入仪器的系统和方法
KR20150145106A (ko) 의료 영상 정합 방법 및 그 장치
KR20150129506A (ko) 의료 영상 정합 방법 및 그 장치
EP3861937B1 (en) Electromagnetic navigation bronchoscopy using ultrasound
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
US11452495B2 (en) Apparatus and method for detecting a tool

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160923

R150 Certificate of patent or registration of utility model

Ref document number: 6014049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250