JP6629031B2 - 超音波診断装置及び医用画像診断装置 - Google Patents

超音波診断装置及び医用画像診断装置 Download PDF

Info

Publication number
JP6629031B2
JP6629031B2 JP2015197881A JP2015197881A JP6629031B2 JP 6629031 B2 JP6629031 B2 JP 6629031B2 JP 2015197881 A JP2015197881 A JP 2015197881A JP 2015197881 A JP2015197881 A JP 2015197881A JP 6629031 B2 JP6629031 B2 JP 6629031B2
Authority
JP
Japan
Prior art keywords
puncture needle
ultrasonic
puncture
display
needle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015197881A
Other languages
English (en)
Other versions
JP2017070362A (ja
Inventor
田中 豪
豪 田中
新一 橋本
新一 橋本
隆之 郡司
隆之 郡司
修 中嶋
修 中嶋
後藤 英二
英二 後藤
友和 藤井
友和 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2015197881A priority Critical patent/JP6629031B2/ja
Priority to US15/283,832 priority patent/US20170095226A1/en
Publication of JP2017070362A publication Critical patent/JP2017070362A/ja
Application granted granted Critical
Publication of JP6629031B2 publication Critical patent/JP6629031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3413Needle locating or guiding means guided by ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Description

本発明の実施形態は、超音波診断装置及び医用画像診断装置に関する。
従来、被検体の体内の様子を容易に観察するために、体表から体内へ超音波を送信し、その反射波に基づいて超音波画像を表示する超音波診断装置が広く用いられる。例えば、超音波診断装置は、超音波画像を略リアルタイムでモニタに表示できることから、生体組織検査やラジオ波焼灼治療(RFA:Radio Frequency Ablation)、不可逆電気穿孔法(IRE:Irreversible Electroporation)を用いた治療等、穿刺が行われる場合に利用される。
例えば、生体組織検査では、医師は、穿刺針の針先の位置及び/又は病変部位の位置を超音波画像で確認しながら穿刺針を病変部位まで刺入し、病変部位から組織採取を行う。また、RFAやIREを用いた治療では、医師は、針先の位置及び/又は病変部位の位置を確認しながら穿刺針を病変部位まで刺入し、穿刺針からラジオ波を照射させて病変部位を焼灼する。ここで、上述した手技においては、穿刺針の刺入をガイドするためのガイドラインを超音波画像上に表示させて行われる。
特開2009−61076号公報 特開2010−88584号公報
本発明が解決しようとする課題は、手技のワークフローを改善させることができる超音波診断装置及び医用画像診断装置を提供することである。
実施形態の超音波診断装置は、取得部と、算出部と、補正部と、生成部と、表示制御部とを備える。取得部は、超音波画像が収集される空間における穿刺針の位置に基づく穿刺針のガイドラインを示す第1の位置情報と、前記超音波画像に含まれる穿刺針の位置を示す第2の位置情報とを取得する。算出部は、前記第1の位置情報及び前記第2の位置情報に基づいて、前記穿刺針の曲がりを算出する。補正部は、前記穿刺針の曲がりに基づいて前記ガイドラインを補正する。生成部は、前記穿刺針の先端を視点、刺入方向を視線方向として3次元の超音波画像データを投影することで、穿刺対象と所定の組織を示すマーカーとの位置関係を示す表示情報を生成する。表示制御部は、前記補正部による補正後のガイドラインが超音波画像上に配置された画像と、前記表示情報を表示部に表示させる。前記生成部は、前記穿刺針の先端と前記穿刺対象との距離が閾値よりも長い場合に、前記3次元の超音波画像データを平行投影することで前記表示情報を生成し、前記穿刺針の先端と前記穿刺対象との距離が前記閾値よりも短い場合に、前記3次元の超音波画像データを透視投影することで前記表示情報を生成する。
図1は、第1の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図2Aは、第1の実施形態に係る位置検出システムの一例を説明するための図である。 図2Bは、第1の実施形態に係る穿刺針のガイドラインの一例を示す図である。 図2Cは、第1の実施形態に係るターゲット及びマーカーの設定を説明するための図である。 図3は、第1の実施形態に係る穿刺針の曲がりの算出の一例を説明するための図である。 図4は、第1の実施形態に係る穿刺針の曲がりの算出の一例を説明するための図である。 図5Aは、第1の実施形態に係る表示情報の一例を示す図である。 図5Bは、第1の実施形態に係る表示情報の一例を示す図である。 図6Aは、第1の実施形態に係る表示情報の一例を示す図である。 図6Bは、第1の実施形態に係る表示情報の一例を示す図である。 図7は、第1の実施形態に係る表示情報の一例を示す図である。 図8は、第1の実施形態に係る表示情報の一例を示す図である。 図9は、第1の実施形態に係る表示情報の一例を示す図である。 図10Aは、第1の実施形態に係る表示情報の一例を示す図である。 図10Bは、第1の実施形態に係る表示情報の一例を示す図である。 図11Aは、第1の実施形態に係る表示情報の一例を示す図である。 図11Bは、第1の実施形態に係る表示情報の一例を示す図である。 図12は、第1の実施形態に係る超音波診断装置の処理例を説明するためのフローチャートである。 図13は、第2の実施形態に係る2次元の距離算出処理の一例を説明するための図である。 図14Aは、第2の実施形態に係る3次元の距離算出処理の一例を説明するための図である。 図14Bは、第2の実施形態に係る3次元の距離算出処理の一例を説明するための図である。 図14Cは、第2の実施形態に係る3次元の距離算出処理の一例を説明するための図である。
以下、添付図面を参照して、超音波診断装置の実施形態を詳細に説明する。なお、以下の説明において、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。
(第1の実施形態)
まず、第1の実施形態に係る超音波診断装置の構成について説明する。図1は、第1の実施形態に係る超音波診断装置の構成例を示すブロック図である。図1に例示するように、本実施形態に係る超音波診断装置は、超音波プローブ1と、ディスプレイ2と、入力部3と、装置本体10とを有する。
超音波プローブ1は、例えば、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体10が有する送受信回路11から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ1は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ1は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ1は、装置本体10と着脱自在に接続される。
超音波プローブ1から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ1が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
ここで、第1の実施形態に係る超音波プローブ1は、超音波により被検体Pを2次元で走査するとともに、被検体Pを3次元で走査することが可能な超音波プローブである。具体的には、第1の実施形態に係る超音波プローブ1は、一列に配置された複数の圧電振動子により、被検体Pを2次元で走査するとともに、複数の圧電振動子を所定の角度(揺動角度)で揺動させることで、被検体Pを3次元で走査するメカニカル4Dプローブである。或いは、第1の実施形態に係る超音波プローブ1は、複数の圧電振動子がマトリックス状に配置されることで、被検体Pを3次元で超音波走査することが可能な2Dプローブである。なお、2Dプローブは、超音波を集束して送信することで、被検体Pを2次元で走査することも可能である。
そして、第1の実施形態では、超音波プローブ1により超音波走査される領域に位置する組織を対象として、図1に示す穿刺針5を用いた穿刺が行なわれる。図1に示す穿刺針5は、例えば、ラジオ波を発生する電磁針であり、穿刺針5が発生するラジオ波の出力を制御する治療装置と接続される。この治療装置は、穿刺針5の温度や、ラジオ波の出力、焼灼領域のインピーダンスをモニタ可能であり、医師は、治療装置を操作して、穿刺針5を用いたRFAを進める。
また、例えば、図1に示す穿刺針5は、治療対象の組織に電流を流す電極針であり、穿刺針5が発生する電流の出力を制御する治療装置と接続される。ここで、この治療装置には、複数の穿刺針5が接続され、複数の穿刺針間で電流を流すことで穿刺針の間にある治療対象の組織に電流を流して治療を行う。例えば、医師は、事前に収集されたCT画像や、超音波画像を観察して、がん組織に対する治療計画をたてる。ここで、治療計画としては、例えば、がん組織に対してどのように穿刺針5を配置して、どの程度の電圧でどの程度電流を流すかなどの計画がたてられる。そして、医師は、超音波画像を観察しながら、複数の穿刺針5を患部に配置して、治療装置を操作することで、複数の穿刺針5を用いた不可逆電気穿孔法治療を進める。なお、不可逆電気穿孔法治療はナノナイフとも呼ばれる。
ここで、図1に示すように、超音波プローブ1には位置センサ4が取り付けられ、穿刺針5には位置センサ6が取り付けられる。また、第1の実施形態では、装置本体10の近傍の任意の位置に、トランスミッター7が配置される。位置センサ4、位置センサ6及びトランスミッター7は、超音波プローブ1の位置情報と穿刺針5の位置情報とを検出するための位置検出システムである。図2Aは、第1の実施形態に係る位置検出システムの一例を説明するための図である。例えば、位置センサ4は、超音波プローブ1に取り付けられる磁気センサである。位置センサ4は、例えば、図2Aに示すように、超音波プローブ1の本体の端部に取り付けられる。また、例えば、位置センサ6は、穿刺針5に取り付けられる磁気センサである。位置センサ6は、例えば、図2Aに示すように、穿刺針5の根元に取り付けられる。また、例えば、トランスミッター7は、自装置を中心として外側に向かって磁場を形成する装置である。
位置センサ4は、トランスミッター7によって形成された3次元の磁場の強度と傾きとを検出する。そして、位置センサ4は、検出した磁場の情報に基づいて、トランスミッター7を原点とする空間における自装置の位置(座標及び角度)を算出し、算出した位置を装置本体10に送信する。ここで、位置センサ4は、自装置が位置する3次元の座標及び角度を、超音波プローブ1の3次元位置情報として、装置本体10に送信する。これにより、装置本体10は、トランスミッター7を原点とする空間における超音波画像の位置を算出することができる。
また、位置センサ6は、トランスミッター7によって形成された3次元の磁場の強度と傾きとを検出する。そして、位置センサ6は、検出した磁場の情報に基づいて、トランスミッター7を原点とする空間における自装置の位置(座標及び角度)を算出し、算出した位置を装置本体10に送信する。ここで、位置センサ6は、自装置が位置する3次元の座標及び角度を、穿刺針5の3次元位置情報として、装置本体10に送信する。装置本体10は、位置センサ6から受信した穿刺針5の3次元位置情報(穿刺針5における位置センサ6が取り付けられた位置の3次元位置情報)と、予め入力された各穿刺針5の形状及びサイズの情報とから、図2Aに示すように、トランスミッター7を原点とする空間における穿刺針5の針先の位置を算出することができる。
なお、本実施形態は、上記の位置検出システム以外のシステムにより、超音波プローブ1及び穿刺針5の位置情報を取得する場合であっても適用可能である。例えば、本実施形態は、ジャイロセンサや加速度センサ等を用いて、超音波プローブ1及び穿刺針5の位置情報を取得する場合であっても良い。
上述したように、トランスミッター7を原点とする空間における超音波画像の位置と穿刺針5の位置とを算出することにより、超音波画像に対する穿刺針5の位置を算出することができる。そこで、第1の実施形態に係る超音波診断装置は、超音波画像に対する穿刺針5の位置を算出して、穿刺針5の刺入をガイドするためのガイドラインを超音波画像上に表示することができる。図2Bは、第1の実施形態に係る穿刺針のガイドラインの一例を示す図である。ここで、図2Bにおいては、図の左側に、超音波画像の断面内に穿刺針がないアウトプレーンの状態でのガイドラインを示す。なお、超音波画像の断面内に穿刺針がある(断面内を穿刺針が進む)インプレーンの状態でもガイドラインを示すことが可能である。
例えば、図2Bに示すように、アウトプレーンでの穿刺針ガイドは、現在の針先の位置を示す針先位置ガイドと、針の経路を示す針ガイドとが示される。すなわち、現在の穿刺針がそのまま刺入された場合、穿刺針が針ガイドのように進み、交差点と示された位置で超音波画像断面と交差することが示される。ここで、例えば、超音波画像上に治療の対象となるターゲット(例えば、がん組織など)や、穿刺針によって刺入させたくないもの(例えば、血管など)を示すマーカーなどを予め設定しておくことで、穿刺針ガイドとターゲット及びマーカーを同一画面上に表示させることができる。
図2Cは、第1の実施形態に係るターゲット及びマーカーの設定を説明するための図である。例えば、図2Cに示すように、超音波画像を観察しながら、ターゲット「T」を配置した後、超音波プローブを移動させることでターゲットの周辺を観察して、穿刺針によって刺入されたくないものにマーカーを配置する。ここで、ターゲットやマーカーの配置は、超音波画像上だけではなく、超音波画像と位置合わせされたCT画像などによっても行うことができる。例えば、穿刺針を用いた治療では、CT画像などが事前に収集され、収集されたCT画像を観察しながら、まずターゲットが決められ、治療計画が立てられる。すなわち、CT画像のボリュームデータの座標系とトランスミッター7を原点とする空間の座標系とを位置合わせすることで、CT画像上で設定されたターゲットの情報を超音波画像上に反映することができる。
図1に戻って、入力部3は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体10に対して受け付けた各種設定要求を転送する。
ディスプレイ2は、超音波診断装置の操作者が入力部3を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体10において生成された各種画像データ等を表示したりする。
装置本体10は、超音波プローブ1が受信した反射波信号に基づいて超音波画像データを生成する装置である。例えば、第1の実施形態に係る装置本体10は、超音波プローブ1が受信した2次元の反射波データに基づいて2次元の超音波画像データを生成可能な装置である。また、例えば、第1の実施形態に係る装置本体10は、超音波プローブ1が受信した3次元の反射波データに基づいて3次元の超音波画像データを生成可能な装置である。以下、3次元の超音波画像データを「ボリュームデータ」と記載する。
装置本体10は、図1に示すように、送受信回路11と、Bモード処理回路12と、ドプラ処理回路13と、画像メモリ14と、処理回路15と、内部記憶回路16とを有する。図1に示す超音波診断装置においては、各処理機能がコンピュータによって実行可能なプログラムの形態で内部記憶回路16へ記憶されている。送受信回路11、Bモード処理回路12、ドプラ処理回路13、及び、処理回路15は、内部記憶回路16からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。
なお、上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。
送受信回路11は、パルス発生器、送信遅延回路、パルサ等を有し、超音波プローブ1に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延回路は、超音波プローブ1から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ1に駆動信号(駆動パルス)を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。
なお、送受信回路11は、後述する処理回路15の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。
また、送受信回路11は、プリアンプ、A/D(Analog/Digital)変換器、受信遅延部、加算器等を有し、超音波プローブ1が受信した反射波信号に対して各種処理を行って反射波データを生成する。プリアンプは、反射波信号をチャネル毎に増幅する。A/D変換器は、増幅された反射波信号をA/D変換する。受信遅延回路は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延回路によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
第1の実施形態に係る送受信回路11は、被検体Pを2次元走査するために、超音波プローブ1から2次元の超音波ビームを送信させる。そして、第1の実施形態に係る送受信回路11は、超音波プローブ1が受信した2次元の反射波信号から2次元の反射波データを生成する。また、第1の実施形態に係る送受信回路11は、被検体Pを3次元走査するために、超音波プローブ1から3次元の超音波ビームを送信させる。そして、第1の実施形態に係る送受信回路11は、超音波プローブ1が受信した3次元の反射波信号から3次元の反射波データを生成する。
なお、送受信回路11からの出力信号の形態は、RF(Radio Frequency)信号と呼ばれる位相情報が含まれる信号である場合や、包絡線検波処理後の振幅情報である場合等、種々の形態が選択可能である。
Bモード処理回路12は、送受信回路11から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。
ドプラ処理回路13は、送受信回路11から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。本実施形態の移動体は、血管内を流動する血液や、リンパ管内を流動するリンパ液等の流体である。
なお、第1の実施形態に係るBモード処理回路12及びドプラ処理回路13は、2次元の反射波データ及び3次元の反射波データの両方について処理可能である。すなわち、Bモード処理回路12は、2次元の反射波データから2次元のBモードデータを生成し、3次元の反射波データから3次元のBモードデータを生成する。また、ドプラ処理回路13は、2次元の反射波データから2次元のドプラデータを生成し、3次元の反射波データから3次元のドプラデータを生成する。3次元のBモードデータは、3次元走査範囲の各走査線上で設定された複数の点(サンプル点)それぞれに位置する反射源の反射強度に応じた輝度値が割り当てられたデータとなる。また、3次元のドプラデータは、3次元走査範囲の各走査線上で設定された複数の点(サンプル点)それぞれに、血流情報(速度、分散、パワー)の値に応じた輝度値が割り当てられたデータとなる。
画像メモリ14は、後述する処理回路15が生成した表示用の画像データを記憶するメモリである。また、画像メモリ14は、Bモード処理回路12やドプラ処理回路13が生成したデータを記憶することも可能である。画像メモリ14が記憶するBモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、処理回路15を経由して表示用の超音波画像データとなる。
内部記憶回路16は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、内部記憶回路16は、必要に応じて、画像メモリ14が記憶する画像データの保管等にも使用される。また、内部記憶回路16が記憶するデータは、図示しないインターフェースを経由して、外部の装置へ転送することができる。
処理回路15は、超音波診断装置の処理全体を制御する。具体的には、処理回路15は、図1に示す画像生成機能151、制御機能152、取得機能153、算出機能154及び補正機能155に対応するプログラムを内部記憶回路16から読み出して実行することで、種々の処理を行う。例えば、処理回路15は、入力部3を介して操作者から入力された各種設定要求や、内部記憶回路16から読込んだ各種制御プログラム及び各種データに基づき、送受信回路11、Bモード処理回路12、ドプラ処理回路13の処理を制御する。また、処理回路15は、画像メモリ14や内部記憶回路16が記憶する表示用の超音波画像データをディスプレイ2にて表示するように制御する。また、処理回路15は、処理結果をディスプレイ2にて表示するように制御する。例えば、処理回路15が制御機能152に対応するプログラムを読み出して実行することで、装置全体の制御を行い、上述したような処置を制御する。
画像生成機能151は、Bモード処理回路12及びドプラ処理回路13が生成したデータから超音波画像データを生成する。すなわち、画像生成機能151は、Bモード処理回路12が生成した2次元のBモードデータから反射波の強度を輝度にて表したBモード画像データを生成する。Bモード画像データは、超音波走査された領域内の組織形状が描出されたデータとなる。また、画像生成機能151は、ドプラ処理回路13が生成した2次元のドプラデータから移動体情報を表すドプラ画像データを生成する。ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。ドプラ画像データは、超音波走査された領域内を流動する流体に関する流体情報を示すデータとなる。
ここで、画像生成機能151は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。具体的には、画像生成機能151は、超音波プローブ1による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成機能151は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行なう。また、画像生成機能151は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
すなわち、Bモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成機能151が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。
更に、画像生成機能151は、Bモード処理回路12が生成した3次元のBモードデータに対して座標変換を行なうことで、3次元のBモード画像データを生成する。また、画像生成機能151は、ドプラ処理回路13が生成した3次元のドプラデータに対して座標変換を行なうことで、3次元のドプラ画像データを生成する。3次元Bモードデータ及び3次元ドプラデータは、スキャンコンバート処理前のボリュームデータとなる。すなわち、画像生成機能151は、「3次元のBモード画像データや3次元のドプラ画像データ」を「3次元の超音波画像データであるボリュームデータ」として生成する。
更に、画像生成機能151は、ボリュームデータをディスプレイ2にて表示するための各種の2次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行なう。画像生成機能151が行なうレンダリング処理としては、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像データを生成する処理がある。また、画像生成機能151が行なうレンダリング処理としては、ボリュームデータに対して「Curved MPR」を行なう処理や、ボリュームデータに対して「Maximum Intensity Projection」を行なう処理がある。また、画像生成機能151が行なうレンダリング処理としては、3次元の情報を反映した2次元画像データを生成するボリュームレンダリング(VR:Volume Rendering)処理がある。
更に、画像生成機能151は、他の医用画像診断装置が収集したボリュームデータに対しても、上記の各種レンダリング処理を行なうことができる。かかるボリュームデータは、X線CT装置により収集された3次元のX線CT画像データ(X線CTボリュームデータ)や、MRI装置により収集された3次元のMRI画像データ(MRIボリュームデータ)である。一例として、画像生成機能151は、取得機能153が取得した超音波プローブ1の位置情報に基づいて、現時点で生成した2次元の超音波画像の走査断面に対応する断面を用いたMPR処理により、ボリュームデータから断面画像のMPR画像データを再構成する。
制御機能152は、上述した装置全体における種々の制御を実行する。取得機能153は、穿刺針5の位置に関する情報を取得する。算出機能154は、穿刺針5の曲がりに関する情報を算出する。補正機能155は、穿刺針5の曲がりを補正する。なお、これらの各機能の詳細については、後述する。
以上、第1の実施形態に係る超音波診断装置の全体構成について説明した。かかる構成のもと、第1の実施形態に係る超音波診断装置は、例えば、穿刺針5を用いた手技が行われる場合に、手技のワークフローを改善する。上述したように、穿刺針を用いた手技では、穿刺針ガイドを観察しながら穿刺針をターゲットまで進めて、RFAやIREが実行される。ここで、穿刺針ガイドは、穿刺針に取り付けられた位置センサによって取得された位置情報をもとに表示される。すなわち、穿刺針ガイドは、現在の穿刺針の端部に取り付けられ、現在使用されている穿刺針の形状やサイズに基づいて穿刺針の先端を算出することで、端部と先端の線分の延長線を針ガイドとして表示する。
しかしながら、穿刺針を用いた手技では、硬い組織によって穿刺針が曲がったり、位置センサやケーブルの重みによって針が撓んでしまったりする。その結果、針ガイドが実際の針の位置からずれて表示されてしまう。このように針ガイドが実際の位置からずれて表示された場合、針ガイドに沿って穿刺針を刺入させたとしても、実際には穿刺針ガイドとは異なる位置に刺入されていくこととなる。かかる場合には、ターゲット付近まで刺入されたとしてもターゲットがないため、穿刺針を再度刺し直すこととなり、手技の効率が低下する。そこで、第1の実施形態に係る超音波診断装置は、穿刺針の位置から穿刺針の曲がりを算出して、算出した曲がりに基づいて、穿刺針ガイドを補正することで、手技のワークフローを改善させる。以下、第1の実施形態に係る超音波診断装置による処理の詳細について説明する。なお、以下では、位置センサ4及び位置センサ6を用いた一連の位置合わせを行った後の処理について説明する。すなわち、超音波画像を収集する空間(トランスミッター7によって形成される座標空間)における被検体、超音波プローブ1及び穿刺針5の位置が取得できるように位置合わせが事前に行われている。
図1に示す取得機能153は、超音波画像が収集される空間における穿刺針5の位置を示す第1の位置情報と、超音波画像に含まれる穿刺針5の位置を示す第2の位置情報とを取得する。具体的には、取得機能153は、超音波画像が収集される空間における穿刺針5の位置情報と、超音波画像に示された穿刺針5の位置とを取得する。例えば、取得機能153は、超音波プローブ1に取り付けられた位置センサ4と穿刺針5に取り付けられた位置センサ6とから送信された情報に基づいて、超音波画像が収集される空間における穿刺針5の位置情報を取得する。
また、取得機能153は、超音波画像上に実際に表示され、操作者によって指定された穿刺針5の位置を取得する。例えば、針ガイドの補正モードに遷移された場合に、制御機能152がディスプレイ2に超音波画像上の穿刺針5の位置を指定するように促す画面を表示させる。これにより、操作者は、超音波画像上に穿刺針5が表示されるように超音波プローブ1を移動させ、入力部3を介して超音波画像上に表示された穿刺針5の位置を指定する。取得機能153は、操作者によって指定された位置情報を取得する。
なお、超音波画像に表示された穿刺針5の位置情報は、操作者によって指定される以外にも自動抽出する場合であってもよい。かかる場合には、例えば、取得機能153は、超音波画像内の高輝度領域を穿刺針5の位置として抽出する。或いは、抽出するまでを自動で行い、その後操作者に選択させる場合であってもよい。例えば、取得機能153が超音波画像内から高輝度領域を複数抽出して、抽出した複数の領域の中から操作者に選択させるようにすることもできる。
図1に示す算出機能154は、第1の位置情報及び第2の位置情報に基づいて、穿刺針の曲がりを算出する。具体的には、算出機能154は、取得機能153によって取得された超音波画像の収集空間における穿刺針5の位置と、超音波画像内における穿刺針5の位置とから穿刺針5の曲がり具合を算出する。ここで、算出機能154は、上記した位置情報に加えて、穿刺針ガイドの情報を用いる。すなわち、算出機能154は、超音波画像の収集空間における穿刺針5の位置に基づいて設定される穿刺針5のガイドラインと、実際の超音波画像内の穿刺針の位置とを用いて穿刺針5の曲がりを算出する。
図3は、第1の実施形態に係る穿刺針5の曲がりの算出の一例を説明するための図である。例えば、体表から刺入された穿刺針5が、硬い組織への刺入、或いは、穿刺針5に接続されたケーブルなどにより穿刺針5が曲がると、図3の(A)に示すように、ガイドライン51と実際の穿刺針5がずれてしまう。これは、位置センサ6の位置情報と穿刺針の形状及びサイズに基づいて針ガイドの先端が算出されるためであり、穿刺針5が曲がったとしてもその情報が取得されず、ガイドラインと穿刺針とがずれてしまう。
図3の(A)に示す状態で、超音波画像内の穿刺針5の位置情報が取得されると、算出機能154は、ガイドラインと、超音波画像内の穿刺針5の位置と、位置センサ6の位置情報とを用いて、穿刺針5の曲がりを算出する。例えば、算出機能154は、図3の(B)に示すように、ガイドライン51を、超音波画像内の穿刺針5の位置61と位置センサ6の位置とを通る曲線にすることで、穿刺針5の曲がりを算出する。一例を挙げると、算出機能154は、ガイドライン51と位置61を含む面内で、位置センサ6を通る曲率半径を無限大からゼロに変化させ、円と位置61が交差する曲率を穿刺針5の曲がりとして算出する。すなわち、算出機能154は、図3の(B)に示すように、曲率半径が無限大の円から徐々に半径を小さくしていき、位置センサ6と位置61とを通る円を探索して、探索した円の曲率を穿刺針5の曲がりとして算出する。
なお、図3に示す算出方法は、あくまでも一例であり、その他の算出方法により穿刺針5の曲がりを算出する場合であってもよい。例えば、実際の超音波画像上の位置を1点だけではなく、複数点取得して、取得した複数の点に対して楕円やベジエ補間を適用することで穿刺針5の曲がりを算出する場合であってもよい。例えば、組織の硬さによる曲がりや、センサやケーブルの重さによる撓みは、円で曲がるわけではないことから、上述した複数点を用いた算出方法によるより精度の高い曲がりを算出することができる可能性が高い。
また、図3に示す算出方法は、穿刺針5が全体に渡って曲がっている場合を想定して、曲がりを算出したが、体内では穿刺針5が直線を保っていると仮定して、穿刺針5の曲がりを算出する場合であってもよい。図4は、第1の実施形態に係る穿刺針の曲がりの算出の一例を説明するための図である。図4においては、穿刺針5において体表に出ている部分のみが曲がった場合を例に示す。かかる場合に、算出機能154は、図4に示すように、ガイドライン51の体内の部分を直線の状態のまま、体表から外に出ているガイドラインの部分と位置61を含む面内で、位置センサ6を通る曲率半径を無限大からゼロに変化させ、円と位置61が交差する曲率を穿刺針5の曲がりとして算出する。
図1に戻って、補正機能155は、第1の位置情報に基づいて推定される超音波画像に対する穿刺針の位置を補正する。具体的には、補正機能155は、算出機能154によって算出された穿刺針5の曲がりを用いて、穿刺針5のガイドラインを補正する。例えば、補正機能155は、算出機能154によって算出された曲率の曲がり(ベンド)があるとして固定した穿刺針のガイドラインを表示する。すなわち、補正機能155は、既に算出され、表示されたガイドラインを算出機能154によって算出された曲線の曲がりで補正する。
上述したように、第1の実施形態に係る超音波診断装置は、穿刺針5の曲がりを算出して穿刺針のガイドラインを補正することができる。これにより、補正後のガイドラインを参照して手技を進めることができ、手技のワークフローを改善させることができる。次に、補正したガイドラインを用いた表示情報の例を説明する。
例えば、図1に示す制御機能152は、補正機能155による補正後の穿刺針の位置に基づく情報をディスプレイ2に表示させる。以下、図5A〜図11Bを用いて、表示情報の例を示す。図5A〜図11Bは、第1の実施形態に係る表示情報の一例を示す図である。例えば、制御機能152は、図5Aに示すように、超音波画像に対して補正済みの針ガイドを表示させる。ここで、制御機能152は、図5Aに示すように、超音波画像との交点までと、交点から先とで針ガイドの色を変えることで、超音波画像に対する針ガイドの配置状態を見やすい画像を表示させる。例えば、図5Aに示すように、超音波画像上にターゲット「T」が表示されている場合には、操作者は針ガイドと超音波画像との交点にターゲット「T」がくるように穿刺針5を操作する。
ここで、制御機能152は、図5Aに示すように、超音波画像とともに、インジケータを表示させることもできる。かかるインジケータは、例えば、針先を視点として、ターゲット及びマーカーの位置が見えるようなものが表示される。例えば、制御機能152は、プローブに対して穿刺針5をどちらに傾ければよいかをわかりやすくするために、投影領域をプローブ基準としてインジケータを生成して表示する。一例を挙げると、制御機能152は、インジケータの「TOP(上側)」と「RIGHT(右側)」の定義をプローブ断面(超音波画像)を基準にして設定する。例えば、制御機能152は、プローブ断面に対して奥側をインジケータの「TOP」とし、プローブ断面に対して右をインジケータの「RIGHT」として設定する。
例えば、図5Bに示す3次元空間における穿刺針5に関するインジケータを作成する場合、制御機能152は、穿刺針の針先を視点として、針の進行方向を視線方向とする。すなわち、制御機能152は、穿刺針5が刺入されて進んでいくと、前に進んでいくようなインジケータを表示する。ここで、制御機能152は、穿刺針5から超音波画像の方向(超音波画像の断面の奥方向)をインジケータの上側にし、超音波画像に向かって右側がインジケータの右側になるように表示する。
ここで、図5Bに示す3次元空間を平行投影することでインジケータを生成した場合、3次元空間内のターゲット及びマーカーのサイズは変わらず、透視投影することでインジケータを生成した場合、3次元空間内のターゲット及びマーカーのサイズは針先との距離に応じて変化することとなる。例えば、制御機能152は、ターゲットまでの距離が長い場合には、平行投影したインジケータを表示させ、ターゲットまでの距離が短くなった場合に、透視投影したインジケータを表示させる。これにより、ターゲットまでの距離が短い場合でもターゲットの方向を見失わず、近くなった場合にはターゲットまでの距離を感覚的に把握することができる。例えば、操作者は、インジケータの中心にターゲットがくるように穿刺針5を操作することで、穿刺針5をターゲットまで正確に刺入させることができる。
また、例えば、制御機能152は、インジケータの中に実際の臓器などのボディーマークや画像などを表示させることもできる。例えば、インジケータにターゲットとマーカーのみの場合、実際の体内のどの部分を通過しているかがわからないが、臓器などを穿刺針の動きに連動して表示させることで、穿刺針5の体内での位置関係を把握することができる。また、制御機能152、インジケータ内に補正後のガイドラインを表示させることもできる。
また、制御機能152は、直交3断面の超音波画像とインジケータとをディスプレイ2に表示させることもできる。例えば、制御機能152は、図6Aに示すように、直交3断面の超音波画像上に補正後の針ガイドをそれぞれ表示させるとともに、インジケータを表示させることもできる。これらの表示情報を表示させることで、穿刺針5を刺入しやすくすることができ、手技のワークフローを改善することができる。
また、制御機能152は、他のモダリティの画像上に補正後の針ガイドを表示させることもできる。例えば、制御機能152は、図6Bに示すように、補正後の針ガイドを示した超音波画像とともに、この超音波画像と位置合わせされたCT画像やMRI画像に補正後の針ガイドを表示させることもできる。
また、制御機能152は、インジケータを使って、穿刺針5の刺入方向を補助することもできる。例えば、制御機能152は、図7の1段目の図に示すように、針ガイドと共に表示させるインジケータ内にターゲットの方向を示す矢印を表示させる。ここで、インジケータ内の矢印が左下を指していることから、ターゲットがプローブ断面に対して手前にあって、左側にあることがわかる。そこで、操作者は、穿刺針5の先端がプローブ断面の手前及び左側に向くように操作することで、穿刺針5をターゲット方向に向けることができる。
ターゲットまでの距離が短くなった場合、制御機能152は、図7の上から2段目の図に示すように、ターゲットの方向を示す矢印を短くする。これを見ながら操作者は、穿刺針5の先端がさらにプローブ断面の手前及び左側に向くように操作することで、図7の3段目、4段目とインジケータ内にターゲットをもってくることができる。操作者は、ターゲットがインジケータの中心になるように操作することで、超音波画像で観察しながら、穿刺針5をターゲットに向けることができる。
なお、インジケータの「TOP」及び「LIGHT」をプローブ断面に対してどのように定義するかは任意に設定することができる。例えば、「TOP」をプローブ断面の奥側とし、「LIGHT」をプローブ断面の左側とする場合であってもよい。また、インジケータに示すターゲット及びマーカーは球形に限らず、複数断面でトレースした情報に基づいてベジエ補間などにより補間された3次元領域が示される場合であってもよい。
また、制御機能152は、ターゲット及びマーカーにカラードプラを用いて収集した血管情報を投影して表示することもできる。例えば、制御機能152は、図8に示すように、インジケータ内のマーカー部分に対応する血管を投影したインジケータを表示させることもできる。
また、制御機能152は、上述した針先を中心としたインジケータだけではなく、ターゲットを中心としたインジケータを表示させることもできる。すなわち、上述した例では、穿刺針5の向きを変化させることでインジケータ内にターゲットが入ってくるインジケータであったが、上記したインジケータは、インジケータ内に入ってくるインジケータである。例えば、制御機能152は、図9に示すように、インジケータの中心をターゲットとしたインジケータを表示する。操作者は、図9に示すように、穿刺針5の交差点を示す点をインジケータの中心にもってくるように穿刺針を操作する。
また、制御機能152は、上述した2次元のインジケータだけではなく、3次元のインジケータを表示することもできる。例えば、肝ガンの局所治療にマルチニードル(例えば、Celonの場合など)を用いる場合、複数の穿刺針で腫瘍を挟んでRFAが行われるが、2次元で穿刺針間の位置関係を正確に把握することは難しい。それぞれの穿刺針の位置関係とターゲットとの位置関係をインジケータで表示してもよい。
例えば、制御機能152は、図10Aに示すように、針1と針2との位置関係を3次元で示したインジケータを表示させる。ここで、3次元のインジケータでは、任意の方向から穿刺針の位置関係を確認することができるように、回転操作を行うことができるように生成される。すなわち、操作者は入力部3を介した操作により、例えば、図10Aに示す3次元のインジケータを任意の方向に回転させて、任意の方向から針1と針2との位置関係を観察することができる。ここで、制御機能152は、さらに、インジケータに針間の最短距離「D」を表示させることができる。例えば、複数の穿刺針を用いた治療では、単に平行に並べた穿刺針5によって治療がおこなわれるだけではなく、複数の穿刺針をねじるように配置することによって、より効果的に焼灼できる手技もある。このような場合に、焼灼領域の目安として針間の距離「D」をインジケータ内に表示させる。或いは、距離「D」を直径とした球を穿刺針間に表示させるようにしてもよい。なお、針間の距離は、針ガイド(又は、実際の針)の座標間の距離により算出される。
また、制御機能152は、図10Bに示すように、例えば、穿刺針が3本以上になった場合、各穿刺針間で最短距離となる線分をそれぞれ抽出して、各線分を直径とする3つの球の重心を中心とした球を穿刺針間に表示させるようにしてもよい。なお、図10Bに示す例においても、3次元のインジケータを任意の方向に回転させて任意の方向から穿刺針の位置関係を観察することができる。
上述したインジケータの例として、穿刺針5の進行方向をインジケータの視線方向とする場合を例に挙げて説明した。しかしながら、インジケータの視線方向は任意の方向に設定することができる。例えば、穿刺針5を横から見た場合のインジケータを表示する場合であってもよい。例えば、制御機能152は、図11Aに示すように、穿刺針5の進行方向(穿刺針の長手方向)をインジケータの視線方向とした「Vertical表示」と、穿刺針5の長手方向に直交する方向(水平方向)をインジケータの視線方向とした「Horizontal表示」を行うことができる。
以下、「Vertical表示」と「Horizontal表示」とを用いたインジケータの使用例を図11Bを用いて説明する。なお、図11Bにおいては、2本の穿刺針5でターゲットを挟んで治療する際の穿刺針の配置について示す。例えば、制御機能152は、図11Bに示すように、「Vertical表示」及び「Horizontal表示」を含むインジケータを表示させる。ここで、例えば、操作者は、図11Bの(A)に示すように、「Vertical表示」においてターゲットがインジケータの中心に接し、「Horizontal表示」において穿刺針1がターゲットの下端を超える程度(穿刺針の焼灼部分がターゲットに対してうまく配置する程度)に穿刺針1を刺入させる。
次に、操作者が2本目の穿刺針2の刺入を開始した場合、制御機能152は、図11Bの(B)に示すように、穿刺針間の最短の距離を直径とする球(内部にある組織が焼灼される領域を示す球)をインジケータ内に表示させる。すなわち、操作者は、この球の中にターゲットが入るように穿刺針2の刺入を行う。例えば、図11Bの(B)に示すように、穿刺針2を配置した場合、「Horizontal表示」では、球の内部にターゲットが入っているが、「Vertical表示」においてターゲット全体が球に入っていないことを確認することができる。
そこで、操作者は、再度穿刺針2を操作して(刺入しなおして)、図11Bの(C)に示すように、「Vertical表示」及び「Horizontal表示」の両方において、ターゲットが球に入っていることを確認する。これにより、間違いなくターゲット全体を焼灼することができる。なお、これらの表示の場合、制御機能152は、図11Bに示すように、穿刺針の位置が確定するまで最短距離基準の球を点線で示す。
上述したように、制御機能152は、種々のインジケータを表示させることができる。また、制御機能152は、再補正の通知も行うことができる。例えば、複数の穿刺針を用いた手技時に、配置済み(刺入が終わりロック器具によって固定された後)の穿刺針においてベンド率が変化してしまった場合、再度補正を行うように制御する。例えば、制御機能152は、補正した2つ以上の穿刺針の位置センサの位置関係が、補正した時点の位置関係から変化した場合、補正し直しを通知する。
一例を挙げると、制御機能152は、補正を行う穿刺針が出た場合、対象の穿刺針のガイドラインの色を変えたり、点滅表示にしたり、精度数値表示(信頼値)を変更させたりする。或いは、制御機能152は、所定の閾値以上の位置情報の変化があった場合、対象の穿刺針の補正をキャンセルして通知する。
次に、図12を用いて、第1の実施形態に係るX線診断装置1の処理について説明する。図12は、第1の実施形態に係る超音波診断装置の処理例を説明するためのフローチャートである。図12に示すステップS101は、処理回路15が内部記憶回路16から制御機能152に対応するプログラムを読み出して実行されるステップである。ステップS101では、処理回路15が、針ガイド補正モードに遷移されたか否かを判定する。ステップS102及びステップS103は、処理回路15が内部記憶回路16から取得機能153に対応するプログラムを読み出して実行されるステップである。ステップS102では、針ガイド補正モードであると判定された場合に(ステップS101肯定)、処理回路15が、画像上の針の位置を取得する。また、ステップS103では、処理回路15が、針の位置情報を取得する。
図12のステップS104は、処理回路15が内部記憶回路16から算出機能153に対応するプログラムを読み出して実行されるステップである。ステップS104では、処理回路15が針の曲がりを算出する。図12のステップS105は、処理回路15が内部記憶回路16から補正機能155に対応するプログラムを読み出して実行されるステップである。ステップS105では、処理回路15が、針ガイドを補正する。
図12のステップS106は、処理回路15が内部記憶回路16から制御機能152に対応するプログラムを読み出して実行されるステップである。ステップS106では、処理回路15が、ターゲットと補正後のガイドラインを表示する。
上述したように、第1の実施形態によれば、取得機能153が、超音波画像が収集される空間における穿刺針の位置を示す第1の位置情報と、超音波画像に含まれる穿刺針の位置を示す第2の位置情報とを取得する。算出機能154が、第1の位置情報及び第2の位置情報に基づいて、穿刺針の曲がりを算出する。補正機能155は、第1の位置情報に基づいて推定される超音波画像に対する前記穿刺針の位置を補正する。従って、第1の実施形態に係る超音波診断装置は、穿刺針の曲がりに応じて穿刺針のガイドラインを補正することができ、手技のワークフローを改善することを可能にする。
また、第1の実施形態によれば、制御機能152が、操作中の穿刺針の先端を視点、進行方向を視線方向とし、超音波プローブの断面を基準として上下及び左右方向を決定した画像に、操作後の穿刺針及び関心領域を配置した表示画像をディスプレイ2に表示させる。従って、第1の実施形態に係る超音波診断装置は、超音波画像と穿刺針との位置関係を感覚的に把握させることができ、手技のワークフローを改善することを可能にする。
また、第1の実施形態によれば、制御機能152が、複数の穿刺針と関心領域との3次元的な位置関係を示す3次元画像を表示部に表示させる。従って、第1の実施形態に係る超音波診断装置は、複数の穿刺針を用いる手技にも対応することができ、手技のワークフローを改善することを可能にする。
また、第1の実施形態によれば、制御機能152が、補正機能155による補正後の穿刺針の位置が変化した場合に、補正機能155による補正を促す通知を出力する。従って、第1の実施形態に係る超音波診断装置は、手技中に生じたベンドに対しても対応することができ、手技のワークフローを改善することを可能にする。
また、第1の実施形態によれば、算出機能154は、第1の位置情報によって示される位置及び第2の位置情報によって示される位置に通過する円の曲率を、穿刺針の曲がりとして算出する。従って、第1の実施形態に係る超音波診断装置は、穿刺針の曲がりを容易に推定することを可能にする。
(第2の実施形態)
第2の実施形態では、穿刺針間の距離を計測する場合について説明する。なお、第2の実施形態においては、第1の実施形態と比較して、算出機能154及び制御機能152による処理のみが異なる。以下、これらを中心に説明する。
第2の実施形態に係る超音波診断装置においては、算出機能154が、補正機能155によって位置が補正された複数の穿刺針間の距離を算出する。図13は、第2の実施形態に係る2次元の距離算出処理の一例を説明するための図である。ここで、図13においては、「Vertical表示」及び「Horizontal表示」を含むインジケータを表示させる場合を示す。すなわち、第2の実施形態では、複数の穿刺針間、或いは、穿刺針とターゲットとの距離を2次元で算出する場合について説明する。
例えば、穿刺針1の配置後、穿刺針2をターゲットに対して配置している際、算出機能154は、実際の穿刺針1の座標と、穿刺針2の針ガイドの座標とから、図13の(A)に示すように、最短の穿刺針間の距離「2.5cm」を算出する。ここで、穿刺針間の距離が最短となる位置に穿刺針2が到達していないため、制御機能152は、距離を示す線を点線で表示する。そして、穿刺針2が穿刺針間の距離が最短となる位置に到達すると、制御機能152は、図13の(B)に示すように、距離を示す線を実線で表示する。
次に、穿刺針間の距離を3次元で表示する場合について、図14A〜図14Cを用いて説明する。図14A〜図14Cは、第2の実施形態に係る3次元の距離算出処理の一例を説明するための図である。ここで、図14A〜図14Cにおいては、3本の穿刺針をターゲットに対して配置する場合について説明する。
例えば、制御機能152は、図14Aに示すように、穿刺針1及び穿刺針2が配置され、現在穿刺針3の配置をしている場合、穿刺針3のラインに垂直な断面で、ターゲットの中心を通る断面のインジケータを表示する。ここで、算出機能154は、この断面上での穿刺針間の距離を算出して、制御機能152は算出された距離をインジケータに表示する。
また、制御機能152は、図14Bに示すように、穿刺針1、穿刺針2及び穿刺針3とターゲットとの位置関係を3次元で表示し、任意の位置にマークされた位置間の距離を表示することもできる。ここで、3次元で表示する場合は、3次元のレンダリング画像として表示することもできる。また、上記した3次元のインジケータと同様に、任意の方向への回転や、PAN、ズームを行うことができる。また、立体視可能な3Dモニタにて表示させてもよい。
ここで、算出機能154は、穿刺針間で任意の位置間の距離を算出することができる。例えば、ナノナイフに用いられる穿刺針の場合、通電するための電極が穿刺針にそれぞれ設置される。算出機能154は、例えば、電極の中心間の距離を計算することもできる。例えば、図14Cに示すように、制御機能152は、穿刺針にそれぞれ配置された電極(+)と電極(−)の中心間の距離を表示してもよい。ここで、電極の位置は、針種ごとに決まっている。例えば、穿刺針の先端から2cmの所に電極(−)があり、さらに2cmの所に電極(+)がある。そこで、算出機能154は、現在使用されている穿刺針の針種の情報を取得して、取得した針種の電極の位置に基づいて、電極の中心の位置間の距離を算出する。制御機能152は、算出された距離を3次元のレンダリング画像に表示させる。
上記した距離は、自動で算出するように設定することもできる。例えば、算出機能154は、補正された針ガイド間の距離を自動で算出して、制御機能152が各針間の距離を参照情報として表示する。ここで、指定した点を針間の距離自動計測ポイントに設定することができる。或いは、制御機能152が針種を選択するGUIをディスプレイ2に表示させ、操作者によって針種を選択させることで、電極の中心間の距離を自動で算出して表示することも可能である。ここで、距離の算出対象となる穿刺針は任意に選択することができる。例えば、実際に通電させる電極のみを対象とするように設定してもよい。なお、実際の針間距離を見る計測点(例えば、電極の中心)で曲がりの補正をすることにより、オート計測部分の精度は上げることができる。
制御機能152は、算出機能154によって算出された距離の値を治療装置に送信することで、治療に用いる出力値を設定させることも可能である。例えば、制御機能152は、算出した値をナノナイフ装置に入力して、計画した範囲を治療するために最適な通電時間や出力を決定することができる。
また、算出した値が予め計画された値と異なっていた場合に、警告を出力することも可能である。例えば、制御機能152は、治療計画で計画された穿刺針間の距離と比較して、算出機能154によって算出された穿刺針間の距離が大きく異なっていた場合に、警告を出力する。
上述した実施形態では、超音波診断装置が穿刺針の曲がりを算出して針ガイドを補正する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、X線CT装置などの他のモダリティで実行される場合であってもよい。
なお、上記の実施形態の説明で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上述した実施形態で説明した処理方法は、あらかじめ用意された処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、USBメモリ及びSDカードメモリ等のFlashメモリ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって非一時的な記録媒体から読み出されることによって実行することもできる。
以上、説明したとおり、実施形態によれば、手技のワークフローを改善させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
153 取得機能
154 算出機能
155 補正機能

Claims (8)

  1. 超音波画像が収集される空間における穿刺針の位置に基づく穿刺針のガイドラインを示す第1の位置情報と、前記超音波画像に含まれる穿刺針の位置を示す第2の位置情報とを取得する取得部と、
    前記第1の位置情報及び前記第2の位置情報に基づいて、前記穿刺針の曲がりを算出する算出部と、
    前記穿刺針の曲がりに基づいて前記ガイドラインを補正する補正部と、
    前記穿刺針の先端を視点、刺入方向を視線方向として3次元の超音波画像データを投影することで、穿刺対象と所定の組織を示すマーカーとの位置関係を示す表示情報を生成する生成部と、
    前記補正部による補正後のガイドラインが超音波画像上に配置された画像と、前記表示情報を表示部に表示させる表示制御部と、
    を備え
    前記生成部は、前記穿刺針の先端と前記穿刺対象との距離が閾値よりも長い場合に、前記3次元の超音波画像データを平行投影することで前記表示情報を生成し、前記穿刺針の先端と前記穿刺対象との距離が前記閾値よりも短い場合に、前記3次元の超音波画像データを透視投影することで前記表示情報を生成する、超音波診断装置。
  2. 記算出部は、数の穿刺針間の距離及び刺入済みの穿刺針と前記ガイドラインとの距離のうち少なくとも1つを算出し、
    前記表示制御部は、前記算出部によって算出された距離を表示させる、請求項1に記載の超音波診断装置。
  3. 前記表示制御部は、超音波プローブの断面を基準として、前記表示情報の上下及び左右方向を決定る、請求項に記載の超音波診断装置。
  4. 刺入済みの前記穿刺針の位置が変化した場合に、位置関係の補正を促す通知を出力する出力部をさらに備える、請求項1〜のいずれか1つに記載の超音波診断装置。
  5. 前記穿刺針の穿刺計画と前記穿刺針の刺入位置との誤差を算出し、算出した誤差が所定の閾値を上回った場合に、穿刺針の刺入位置の修正を促す通知を出力する出力部をさらに備える、請求項1〜のいずれか1つに記載の超音波診断装置。
  6. 前記表示制御部は、刺入済みの複数の穿刺針間の距離に基づいて、前記穿刺針による治療のための出力条件を表示部に表示させる、請求項2に記載の超音波診断装置。
  7. 前記算出部は、前記第1の位置情報によって示される位置及び前記第2の位置情報によって示される位置通過する円の曲率を、前記穿刺針の曲がりとして算出する、請求項1〜のいずれか1つに記載の超音波診断装置。
  8. 医用画像が収集される空間における穿刺針の位置に基づく穿刺針のガイドラインを示す第1の位置情報と、前記医用画像に含まれる穿刺針の位置を示す第2の位置情報とを取得する取得部と、
    前記第1の位置情報及び前記第2の位置情報に基づいて、前記穿刺針の曲がりを算出する算出部と、
    前記穿刺針の曲がりに基づいて前記ガイドラインを補正する補正部と、
    前記穿刺針の先端を視点、刺入方向を視線方向として3次元の医用画像データを投影することで、穿刺対象と所定の組織を示すマーカーとの位置関係を示す表示情報を生成する生成部と、
    前記補正部による補正後のガイドラインが医用画像上に配置された画像と、前記表示情報を表示部に表示させる表示制御部と、
    を備え
    前記生成部は、前記穿刺針の先端と前記穿刺対象との距離が閾値よりも長い場合に、前記3次元の医用画像データを平行投影することで前記表示情報を生成し、前記穿刺針の先端と前記穿刺対象との距離が前記閾値よりも短い場合に、前記3次元の医用画像データを透視投影することで前記表示情報を生成する、医用画像診断装置。
JP2015197881A 2015-10-05 2015-10-05 超音波診断装置及び医用画像診断装置 Active JP6629031B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015197881A JP6629031B2 (ja) 2015-10-05 2015-10-05 超音波診断装置及び医用画像診断装置
US15/283,832 US20170095226A1 (en) 2015-10-05 2016-10-03 Ultrasonic diagnostic apparatus and medical image diagnostic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015197881A JP6629031B2 (ja) 2015-10-05 2015-10-05 超音波診断装置及び医用画像診断装置

Publications (2)

Publication Number Publication Date
JP2017070362A JP2017070362A (ja) 2017-04-13
JP6629031B2 true JP6629031B2 (ja) 2020-01-15

Family

ID=58447264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015197881A Active JP6629031B2 (ja) 2015-10-05 2015-10-05 超音波診断装置及び医用画像診断装置

Country Status (2)

Country Link
US (1) US20170095226A1 (ja)
JP (1) JP6629031B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6753180B2 (ja) * 2016-07-08 2020-09-09 富士通株式会社 最短経路特定プログラム、最短経路特定方法および情報処理装置
KR20180066781A (ko) * 2016-12-09 2018-06-19 삼성전자주식회사 의료 영상을 표시하는 방법 및 장치
KR102607014B1 (ko) * 2018-01-18 2023-11-29 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
CN108335326B (zh) * 2018-01-31 2022-07-26 上海联影医疗科技股份有限公司 穿刺系统的校正方法、装置及系统
US20210030468A1 (en) * 2018-02-14 2021-02-04 Navix International Limited Systems and methods for automated guidance of treatment of an organ
CN111093512A (zh) * 2018-04-25 2020-05-01 深圳迈瑞生物医疗电子股份有限公司 超声成像方法以及超声成像设备
EP3968861B1 (en) * 2019-05-17 2022-11-09 Koninklijke Philips N.V. Ultrasound system and method for tracking movement of an object
US11730443B2 (en) * 2019-06-13 2023-08-22 Fujifilm Sonosite, Inc. On-screen markers for out-of-plane needle guidance
CN114173675A (zh) * 2019-07-24 2022-03-11 皇家飞利浦有限公司 超声目标点跟踪
CN112022229B (zh) * 2020-10-20 2024-02-27 上海联影医疗科技股份有限公司 乳腺活检定位装置校验方法、系统、设备和可读存储介质
CN113288370B (zh) * 2021-06-21 2022-11-15 清华大学深圳国际研究生院 一种术中穿刺针弯曲检测系统及其检测方法
CN113520543B (zh) * 2021-06-29 2023-04-07 深圳先进技术研究院 颅内穿刺方法、颅内穿刺装置、颅内穿刺系统及存储介质
CN113349897B (zh) * 2021-07-13 2023-03-24 安徽讯飞医疗股份有限公司 一种超声穿刺的引导方法、装置以及设备
CN116725673B (zh) * 2023-08-10 2023-10-31 卡本(深圳)医疗器械有限公司 基于三维重建与多模态医学图像配准的超声穿刺导航系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000063658A2 (en) * 1999-04-15 2000-10-26 Ultraguide Ltd. Apparatus and method for detecting the bending of medical invasive tools in medical interventions
JP2009061076A (ja) * 2007-09-06 2009-03-26 Toshiba Corp 超音波診断装置
JP5416900B2 (ja) * 2007-11-22 2014-02-12 株式会社東芝 超音波診断装置及び穿刺支援用制御プログラム
JP2010088584A (ja) * 2008-10-06 2010-04-22 Toshiba Corp 超音波診断装置
JP2013022029A (ja) * 2011-07-14 2013-02-04 Toshiba Corp 医用画像診断装置及び制御プログラム
JP2013118998A (ja) * 2011-12-08 2013-06-17 Toshiba Corp 医用画像診断装置、超音波診断装置及びプログラム
WO2013116240A1 (en) * 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
JP2013240369A (ja) * 2012-05-17 2013-12-05 Toshiba Corp 超音波診断装置及び制御プログラム
JP5830576B1 (ja) * 2014-06-04 2015-12-09 日立アロカメディカル株式会社 医療システム
US20160000399A1 (en) * 2014-07-02 2016-01-07 General Electric Company Method and apparatus for ultrasound needle guidance
JP6389118B2 (ja) * 2014-12-25 2018-09-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 表示装置及び超音波診断装置

Also Published As

Publication number Publication date
JP2017070362A (ja) 2017-04-13
US20170095226A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6629031B2 (ja) 超音波診断装置及び医用画像診断装置
JP5230589B2 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
US9282947B2 (en) Imager focusing based on intraoperative data
JP5830576B1 (ja) 医療システム
JP6615603B2 (ja) 医用画像診断装置および医用画像診断プログラム
WO2014077396A1 (ja) 超音波診断装置及び画像処理方法
JP6054089B2 (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
JP7461530B2 (ja) 超音波診断装置及び穿刺支援プログラム
JP2009125280A (ja) 超音波診断装置及び穿刺支援用制御プログラム
JP2015000132A (ja) 超音波診断装置
US10136877B2 (en) Ultrasound diagnosis apparatus and image processing apparatus
JP6073743B2 (ja) 超音波診断装置及び画像処理プログラム
JP2013240369A (ja) 超音波診断装置及び制御プログラム
JP2012513238A (ja) 医療処置ガイダンスに関する自動的な3次元音響撮像
JP6309240B2 (ja) 超音波診断装置
KR102434685B1 (ko) 향상된 기구 시각화용 초음파 시스템
JP6981793B2 (ja) 医用画像処理装置、医用画像診断装置及びプログラム
JP6925824B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP7258483B2 (ja) 医用情報処理システム、医用情報処理装置及び超音波診断装置
JP2013118998A (ja) 医用画像診断装置、超音波診断装置及びプログラム
JP2019093123A (ja) 医用画像診断装置及び医用画像処理装置
JP6510200B2 (ja) 超音波診断装置及び制御プログラム
JP6068017B2 (ja) 超音波診断装置及び画像生成プログラム
JP6078134B1 (ja) 医療システム
JP5936850B2 (ja) 超音波診断装置及び画像処理装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191204

R150 Certificate of patent or registration of utility model

Ref document number: 6629031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150