JPWO2018016337A1 - 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム - Google Patents

超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム Download PDF

Info

Publication number
JPWO2018016337A1
JPWO2018016337A1 JP2018528482A JP2018528482A JPWO2018016337A1 JP WO2018016337 A1 JPWO2018016337 A1 JP WO2018016337A1 JP 2018528482 A JP2018528482 A JP 2018528482A JP 2018528482 A JP2018528482 A JP 2018528482A JP WO2018016337 A1 JPWO2018016337 A1 JP WO2018016337A1
Authority
JP
Japan
Prior art keywords
region
image
unit
area
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018528482A
Other languages
English (en)
Other versions
JP6726744B2 (ja
Inventor
三宅 達也
達也 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018016337A1 publication Critical patent/JPWO2018016337A1/ja
Application granted granted Critical
Publication of JP6726744B2 publication Critical patent/JP6726744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波観測装置は、観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する画像処理部と、前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出部と、前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出部と、前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出部と、前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成部と、を備える。これにより、操作者の手間をかけずに、優先的に診断すべき領域を抽出することができる超音波観測装置を提供する。

Description

本発明は、超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラムに関する。
従来、超音波を用いて観察対象を診断する技術として、超音波エラストグラフィが知られている(例えば、特許文献1を参照)。超音波エラストグラフィは、生体内の癌や腫瘍組織の硬さが病気の進行状況や生体によって異なることを利用する技術である。この技術では、所定の関心領域(ROI:Region of Interest)における生体組織の変位量の平均値を基準値として色付けを行うことにより、生体組織の硬さに関する情報を画像化した弾性画像を生成する。超音波エラストグラフィでは、医師等の操作者が観察内容に応じて関心領域を設定する。
特開2009−261686号公報
ところで、従来の超音波エラストグラフィでは、操作者は、関心領域を超音波画像全体に設定し、超音波画像全体の弾性画像を観察することで、癌や腫瘍と考えられる硬さが硬い領域の中から優先的に診断すべき領域を探しており手間がかかっていた。
本発明は、上記に鑑みてなされたものであって、操作者の手間をかけずに、優先的に診断すべき領域を抽出することができる超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る超音波観測装置は、観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する画像処理部と、前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出部と、前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出部と、前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出部と、前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成部と、を備えることを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記所定の条件は、前記弾性情報に基づき、硬さが所定の閾値以上であること、閾値以上の硬さが所定の時間以上継続すること、又は閾値以上の硬さが所定の面積以上であることのいずれかの条件を含むことを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記診断支援情報は、前記弾性情報に基づいて前記算出部が決定した、前記領域抽出部が抽出した各領域を診断する際の優先順位であることを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記領域抽出部が抽出した領域を含む領域を関心領域に設定する関心領域設定部を備え、前記画像合成部は、前記関心領域設定部が設定した関心領域のエラストグラフィ画像データを前記超音波画像に合成した画像を生成することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、操作者の入力を受け付ける入力部を備え、前記関心領域設定部は、前記入力部が受け付けた入力に応じて、前記算出部が算出した優先順位が高い領域を含む領域から順に関心領域を切り替えることを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記関心領域設定部は、前記領域抽出部が抽出した領域の重心を中心として、該領域の面積と該領域の周辺領域の面積とが所定の割合となるように関心領域を設定することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記領域抽出部は、前記弾性情報算出部が算出した前記弾性情報に基づいて、所定の時間以上継続して、相対的に硬い領域が所定の面積以上を有する閉じた領域を抽出することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記算出部は、前記領域抽出部が抽出した各領域の前記弾性情報に基づく硬さが硬い順を優先順位として設定することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記算出部は、前記領域抽出部が抽出した各領域の面積の大きさが大きい順を優先順位として設定することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記画像合成部は、前記超音波画像との干渉度が低い態様で、前記領域抽出部が抽出した各領域を、前記超音波画像に合成した画像を生成することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記画像合成部は、前記領域抽出部が抽出した各領域を破線、点線又は実線で識別可能に合成した画像を生成することを特徴とする。
また、本発明の一態様に係る超音波観測装置は、前記画像合成部は、前記算出部が算出した優先順位を数値又は色で識別可能に合成した画像を生成することを特徴とする。
また、本発明の一態様に係る超音波観測装置の作動方法は、観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する超音波観測装置の作動方法であって、弾性情報算出部が、前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出ステップと、領域抽出部が、前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出ステップと、算出部が、前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出ステップと、画像合成部が、前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成ステップと、を含むことを特徴とする。
また、本発明の一態様に係る超音波観測装置の作動プログラムは、観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する超音波観測装置の作動プログラムであって、弾性情報算出部が、前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出ステップと、領域抽出部が、前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出ステップと、算出部が、前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出ステップと、画像合成部が、前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成ステップと、を前記超音波観測装置に実行させることを特徴とする。
本発明によれば、操作者の手間をかけずに、優先的に診断すべき領域を抽出することができる超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラムを実現することができる。
図1は、本発明の実施の形態に係る超音波観測装置を備えた超音波診断システムの構成を模式的に示す図である。 図2は、本発明の実施の形態に係る超音波観測装置が行う処理の概要を示すフローチャートである。 図3は、表示装置に表示される画像の一例を表す図である。 図4は、優先順位が最も高い領域を含む領域が関心領域に設定された様子を表す図である。 図5は、優先順位が2番目に高い領域を含む領域が関心領域に設定された様子を表す図である。 図6は、優先順位が3番目に高い領域を含む領域が関心領域に設定された様子を表す図である。 図7は、実施の形態の変形例に係る超音波観測装置を備えた超音波診断システムにおいて表示装置に表示される画像の一例を表す図である。
以下に、図面を参照して本発明に係る超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、超音波エラストグラフィによる診断を行うことができる超音波観測装置一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
(実施の形態)
図1は、本発明の実施の形態に係る超音波観測装置を備えた超音波診断システムの構成を模式的に示す図である。図1に示す超音波診断システム1は、観測対象である被検体へ超音波を送信し、該被検体で反射された超音波を受信する超音波内視鏡2と、超音波内視鏡2が取得した超音波信号に基づいて超音波画像を生成する超音波観測装置3と、超音波観測装置3が生成した超音波画像を表示する表示装置4と、を備える。
超音波内視鏡2は、その先端部に、超音波観測装置3から受信した電気的なパルス信号を超音波パルス(音響パルス)に変換して被検体へ照射するとともに、被検体で反射された超音波エコーを電圧変化で表現する電気的なエコー信号(超音波信号)に変換して出力する超音波振動子21を有する。超音波振動子21は、コンベックス型の振動子により実現される。ただし、超音波振動子21は、ラジアル型、リニア型等の振動子により実現される構成であってもよい。超音波内視鏡2は、超音波振動子21をメカ的に走査させるものであってもよいし、超音波振動子21として複数の素子をアレイ状に設け、送受信にかかわる素子を電子的に切り替えたり、各素子の送受信に遅延をかけたりすることで、電子的に走査させるものであってもよい。
超音波内視鏡2は、通常は撮像光学系及び撮像素子を有しており、被検体の消化管(食道、胃、十二指腸、大腸)、又は呼吸器(気管、気管支)へ挿入され、消化管、呼吸器やその周囲臓器(膵臓、胆嚢、胆管、胆道、リンパ節、縦隔臓器、血管等)を撮像することが可能である。また、超音波内視鏡2は、撮像時に被検体へ照射する照明光を導くライトガイドを有する。このライトガイドは、先端部が超音波内視鏡2の被検体への挿入部の先端まで達している一方、基端部が照明光を発生する光源装置に接続されている。
超音波観測装置3は、送受信部31と、信号処理部32と、画像処理部33と、フレームメモリ34と、弾性情報算出部35と、領域抽出部36と、算出部37と、画像合成部38と、関心領域設定部39と、入力部40と、記憶部41と、制御部42と、を備える。
送受信部31は、超音波内視鏡2と電気的に接続され、所定の波形及び送信タイミングに基づいて高電圧パルスからなる送信信号(パルス信号)を超音波振動子21へ送信するとともに、超音波振動子21から電気的な受信信号であるエコー信号を受信してデジタルの高周波(RF:Radio Frequency)信号のデータ(以下、RFデータという)を生成して、信号処理部32に出力する。
送受信部31が送信するパルス信号の周波数帯域は、超音波振動子21におけるパルス信号の超音波パルスへの電気音響変換の線型応答周波数帯域をほぼカバーする広帯域にするとよい。
送受信部31は、制御部42が出力する各種制御信号を超音波内視鏡2に対して送信するとともに、超音波内視鏡2から識別用のIDを含む各種情報を受信して制御部42へ送信する機能も有する。
また、送受信部31は、制御部42からエラストグラフィを行う旨の制御情報を取得すると、Bモード画像とエラストグラフィに関する画像とを得るための波形及び送信タイミングに基づいて高電圧パルスからなる送信信号(パルス信号)を超音波振動子21へ送信する。具体的には、送受信部31は、例えば、Bモード画像取得用のパルスに、エラストグラフィ用のパルスを重畳する。送受信部31は、同一の方向に複数回超音波を送信し、反射した複数のエコー信号を受信することで、エラストグラフィ用のエコー信号を取得する。送受信部31は、エラストグラフィ用のエコー信号を受信すると、エラストグラフィ用のRFデータを生成して、信号処理部32に出力する。
信号処理部32は、送受信部31から受信したRFデータをもとにデジタルのBモード用受信データを生成する。具体的には、信号処理部32は、RFデータに対してバンドパスフィルタ、包絡線検波、対数変換など公知の処理を施し、デジタルのBモード用受信データを生成する。対数変換では、RFデータを基準電圧で除した量の常用対数をとってデシベル値で表現する。Bモード用受信データは、超音波パルスの反射の強さを示す受信信号の振幅又は強度が、超音波パルスの送受信方向(深度方向)に沿って並んだ複数のラインデータからなる。信号処理部32は、生成した1フレーム分のBモード用受信データを、画像処理部33へ出力する。
また、信号処理部32は、送受信部31から受信したエラストグラフィ用のRFデータに基づいてエラストグラフィ用受信データを生成する。具体的には、信号処理部32は、同一方向のRFデータを用いて、超音波パルスの反射の強さを示す受信信号の振幅又は強度の変化を所定の深さごとに算出し、該算出した変化量を有する音線(ラインデータ)を生成する。エラストグラフィ用受信データは、超音波パルスの反射の強さを示す受信信号の振幅又は強度の変化量が、超音波パルスの送受信方向(深度方向)に沿って並んだ複数のラインデータからなる。信号処理部32は、CPU(Central Processing Unit)や各種演算回路等を用いて実現される。
画像処理部33は、信号処理部32から受信したBモード用受信データに基づいてBモード画像データを生成する。画像処理部33は、信号処理部32から出力されたBモード用受信データに対して、スキャンコンバーター処理、ゲイン処理、コントラスト処理等の公知の技術を用いた信号処理を行うとともに、表示装置4における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引き等を行うことによってBモード画像データを生成する。スキャンコンバーター処理では、Bモード用受信データのスキャン方向を、超音波のスキャン方向から表示装置4の表示方向に変換する。Bモード画像である超音波画像は、色空間としてRGB表色系を採用した場合の変数であるR(赤)、G(緑)、B(青)の値を一致させたグレースケール画像である。なお、画像処理部33が生成する画像は、表示装置4が表示可能な表示領域よりも大きい。換言すれば、表示装置4で表示されるBモード画像は、画像処理部33により生成されたBモード画像の一部である。
また、画像処理部33は、後述する弾性情報算出部35で算出された弾性情報に基づいて、後述する関心領域設定部39が設定した関心領域(ROI:Region of Interest)内のエラストグラフィ画像データを生成する。具体的には、画像処理部33は、設定されている関心領域における相対的な変化量に応じて各深さ位置に色情報を付与することにより、エラストグラフィ画像データを生成する。色情報は、各位置における観測対象の硬さを示す弾性情報であり、関心領域における変化量の割合で相対的に決まる色で表現される情報である。
画像処理部33は、信号処理部32からのBモード用受信データ、及び弾性情報算出部35からの弾性情報に走査範囲を空間的に正しく表現できるよう並べ直す座標変換を施した後、Bモード用受信データ間、及びエラストグラフィ用受信データ間の補間処理を施すことによってBモード用受信データ間の空隙を埋め、Bモード画像データ及びエラストグラフィ画像データを生成する。画像処理部33は、CPUや各種演算回路等を用いて実現される。
フレームメモリ34は、例えばリングバッファを用いて実現され、画像処理部33により生成された1フレームのBモード画像データを時系列に沿って記憶する。フレームメモリ34は、複数のフレームのBモード画像データを時系列に沿って記憶するものであってもよい。この場合、フレームメモリ34は、容量が不足すると(所定のフレーム数のBモード画像データを記憶すると)、最も古いBモード画像データを最新のBモード画像データで上書きすることで、最新のBモード画像データを時系列順に所定フレーム数記憶する。
弾性情報算出部35は、信号処理部32から受信したエラストグラフィ用受信データに基づいて、超音波画像内において予め設定された領域における観測対象の弾性情報を算出する。予め設定された領域は、例えば超音波画像の全体であり、弾性情報算出部35は、超音波画像内の各位置における弾性情報を算出する。ただし、予め設定された領域は、超音波画像の全体に限られず、例えば超音波画像の中央部に位置する予め定められた領域等であってもよい。ここでの弾性情報とは、例えば弾性率や変位量などを指す。
領域抽出部36は、超音波画像において、弾性情報算出部35が算出した各位置における弾性情報が所定の条件を満たす領域を抽出する。ここでの所定の条件とは、例えば弾性情報に基づき、硬さが所定の閾値以上であること、閾値以上の硬さが所定の時間以上継続すること、又は閾値以上の硬さが所定の面積以上であること等の条件が挙げられる。ただし、これらの条件のうち複数の条件を満たすことを所定の条件として設定してもよい。具体的には、領域抽出部36は、超音波画像において、各位置における観測対象の弾性情報に基づく硬さが所定の閾値以上であり、硬さが硬い領域を抽出する。また、領域抽出部36は、弾性情報算出部35が算出した弾性情報に基づいて、所定の時間以上継続して、相対的に硬い領域が所定の面積以上を有する閉じた領域を抽出する構成としてもよい。この構成では、抽出される領域の数が多過ぎることや、ノイズ等によって実際には硬さが硬い領域でない領域が抽出されることを防止することができる。領域抽出部36は、CPUや各種演算回路等を用いて実現される。
算出部37は、領域抽出部36が抽出した各領域の弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する。診断支援情報は、例えば、各領域の弾性情報に基づいて算出部37が決定する各領域を診断する優先順位である。具体的には、算出部37は、領域抽出部36が抽出した各領域に含まれる各位置の弾性情報に基づく硬さの平均値を算出し、この平均値が高い順を優先順位として設定する。ただし、算出部37は、領域抽出部36が抽出した各領域の弾性情報の統計値(各領域内の最高値、最頻値、中央値等)を算出し、この統計値が高い順を優先順位として設定してもよい。算出部37は、CPUや各種演算回路等を用いて実現される。
画像合成部38は、超音波画像との干渉度が低い態様で、領域抽出部36が抽出した各領域を、超音波画像に合成した画像を生成する。具体的には、画像合成部38は、超音波画像に領域抽出部36が抽出した各領域を破線、点線又は実線等で識別可能に合成した画像を生成する。また、画像合成部38は、算出部37が算出した診断支援情報を、画像処理部33が生成した超音波画像に合成した画像を合成する。具体的には、画像合成部38は、算出部37が決定した優先順位を、超音波画像に数値で合成した画像を生成する。また、画像合成部38は、画像処理部33が生成した超音波画像に、関心領域のエラストグラフィ画像データを合成した画像を生成する。画像合成部38は、CPUや各種演算回路等を用いて実現される。
関心領域設定部39は、入力部40が受け付けた入力に応じて、算出部37が算出した優先順位が高い領域を含む領域から順に関心領域を切り替える。具体的には、関心領域設定部39は、入力部40が受け付けた入力に応じて、算出部37が算出した優先順位が最も高い領域を含む領域を関心領域に設定する。さらに、関心領域設定部39は、入力部40が受け付けた入力に応じて、関心領域を優先順位が最も高い領域から2番目に高い領域を含む領域に切り替える。その後も、関心領域設定部39は、入力部40が受け付けた入力に応じて、関心領域を優先順位がより低い領域を含む領域に切り替える。このとき、関心領域設定部39は、領域抽出部36が抽出した領域の重心を中心として、その領域の面積とその領域の周辺領域の面積とが所定の割合(例えば1:1)となるように関心領域を設定する。
なお、関心領域設定部39がある領域の重心を中心として関心領域を設定する際に、他の領域が含まれる場合には、他の領域が含まれないように関心領域を狭めてもよい。また、関心領域設定部39がある領域の重心を中心として関心領域を設定する際に、他の領域が含まれる場合には、双方の領域を含むように関心領域を設定してもよい。また、関心領域設定部39がある領域の重心を中心として関心領域を設定する際に、関心領域が超音波画像からはみ出してしまう場合には、関心領域が超音波画像からはみ出さないように関心領域を狭めてもよい。
また、関心領域設定部39は、操作者が入力部40を介して入力した領域を関心領域に設定する機能も有する。関心領域設定部39は、CPUや各種演算回路等を用いて実現される。
入力部40は、キーボード、マウス、トラックボール、タッチパネル等の操作者インタフェースを用いて実現され、各種情報の入力を受け付ける。入力部40は、受け付けた情報を制御部42に出力する。入力部40は、操作者が関心領域を所望の領域に設定する入力を受け付ける。また、入力部40は、操作者による関心領域をより優先順位の低い領域を含む領域に切り替える指示入力を受け付ける。
記憶部41は、超音波診断システム1を動作させるための各種プログラム、及び超音波診断システム1の動作に必要な各種パラメータ等を含むデータなどを記憶する。
また、記憶部41は、超音波診断システム1の作動方法を実行するための作動プログラムを含む各種プログラムを記憶する。作動プログラムは、ハードディスク、フラッシュメモリ、CD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータによって読み取ることが可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
以上の構成を有する記憶部41は、各種プログラム等が予めインストールされたROM(Read Only Memory)、及び各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)等を用いて実現される。
制御部42は、超音波診断システム1全体を制御する。制御部42は、演算及び制御機能を有するCPUや各種演算回路等を用いて実現される。制御部42は、記憶部41が記憶、格納する情報を記憶部41から読み出し、超音波観測装置3の作動方法に関連した各種演算処理を実行することによって超音波観測装置3を統括して制御する。なお、制御部42を信号処理部32、画像処理部33、弾性情報算出部35、領域抽出部36、算出部37、画像合成部38、関心領域設定部39と共通のCPU等を用いて構成することも可能である。
図2は、本発明の実施の形態に係る超音波観測装置が行う処理の概要を示すフローチャートである。まず、画像処理部33は、信号処理部32から受信したBモード用受信データに基づいてBモード画像の超音波画像を生成する(ステップS1)。
また、弾性情報算出部35は、信号処理部32から受信したエラストグラフィ用受信データに基づいて、超音波画像内の各位置の硬さを示す弾性情報を算出する(ステップS2)。
続いて、領域抽出部36は、超音波画像において、各位置における観測対象の弾性情報に基づく硬さが所定の閾値以上の領域を抽出する(ステップS3)。
その後、算出部37は、領域抽出部36が抽出した各領域の弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する(ステップS4)。具体的には、算出部37は、診断支援情報として、各領域の弾性情報に基づく硬さの平均値が高い順に各領域の優先順位を決定する。
そして、画像合成部38は、算出部37が算出した優先順位を、画像処理部33が生成した超音波画像に数値で合成した画像を生成する(ステップS5)。また、画像合成部38は、領域抽出部36が抽出した領域を、画像処理部33が生成した超音波画像に破線で合成した画像を生成する。図3は、表示装置に表示される画像の一例を表す図である。図3に示すように、表示装置4には、画像合成部38が生成した画像が表示される。具体的には、表示装置4には、領域抽出部36が抽出した領域A1、A2、A3が破線で表示されるとともに、各領域A1、A2、A3の優先順位が数値で表示される。
その後、入力部40が操作者からの所定の入力を受け付けると、関心領域設定部39は、算出部37が算出した優先順位が最も高い領域を含む領域を関心領域に設定する(ステップS6)。図4は、優先順位が最も高い領域を含む領域が関心領域に設定された様子を表す図である。図4に示すように、関心領域設定部39は、優先順位が最も高い領域A1を含む領域R1を関心領域に設定する。すると、画像処理部33は、領域R1内のエラストグラフィ画像データを生成する。そして、画像合成部38は、超音波画像にエラストグラフィ画像データを合成した画像を生成し、表示装置4に表示させる。
さらに、入力部40が操作者からの所定の入力を受け付けると、関心領域設定部39は、関心領域を優先順位が次に高い領域を含む領域に切り替える(ステップS7)。図5は、優先順位が2番目に高い領域を含む領域が関心領域に設定された様子を表す図である。図5に示すように、関心領域設定部39は、優先順位が2番目の領域A2を含む領域R2を関心領域に設定する。すると、画像処理部33は、領域R2内のエラストグラフィ画像データを生成する。そして、画像合成部38は、超音波画像にエラストグラフィ画像データを合成した画像を生成し、表示装置4に表示させる。
その後、制御部42は、領域抽出部36が抽出した全ての領域を含む領域が関心領域に設定されたか否かを判定する(ステップS8)。全ての領域が関心領域に設定されていない場合(ステップS8:No)、ステップS7に戻る。
ここで、入力部40が操作者からの所定の入力を受け付けると、関心領域設定部39は、関心領域を優先順位が次に高い領域を含む領域に切り替える(ステップS7)。図6は、優先順位が3番目に高い領域を含む領域が関心領域に設定された様子を表す図である。図6に示すように、関心領域設定部39は、優先順位が3番目の領域A3を含む領域R3を関心領域に設定する。すると、画像処理部33は、領域R3内のエラストグラフィ画像データを生成する。そして、画像合成部38は、超音波画像にエラストグラフィ画像データを合成した画像を生成し、表示装置4に表示させる。
その後、制御部42は、領域抽出部36が抽出した全ての領域を含む領域が関心領域に設定されたか否かを判定する(ステップS8)。領域抽出部36が抽出した全ての領域を含む領域が関心領域に設定された場合(ステップS8:Yes)、一連の処理が終了する。
以上説明したように、実施の形態によれば、操作者が手間をかけずに優先的に診断すべき領域が抽出される。さらに、実施の形態によれば、操作者が手間をかけずに優先順位の高い領域の診断を行うことができる。また、実施の形態によれば、操作者が手間をかけずに抽出した各領域が関心領域に設定される。
(変形例)
図7は、実施の形態の変形例に係る超音波観測装置を備えた超音波診断システムにおいて表示装置に表示される画像の一例を表す図である。図7に示すように、画像合成部38は、算出部37が決定した優先順位を、各領域A1、A2、A3を囲む線の種類や色で示してもよい。具体的には、例えば、各領域A1、A2、A3を囲む線が赤に近いほど優先順位が高く、青に近いほど優先順位が低くすればよい。
なお、上述した実施の形態では、関心領域設定部39は、入力部40が受け付けた入力に応じて、算出部37が算出した優先順位が高い領域を含む領域から順に関心領域を切り替える構成を説明したがこれに限られない。例えば、ステップS5で図3に示す画像が表示装置4に表示された後に、関心領域設定部39は、入力部40が受け付けた入力に応じて、操作者が選択した領域を含む領域を関心領域に設定する構成であってもよい。
また、上述した実施の形態では、診断支援情報として、優先順位を数値で表示する構成を説明したがこれに限られない。例えば、診断支援情報として、硬さの指標を数値で表示してもよく、硬さに応じたランク等を表示してもよい。
また、上述した実施の形態では、算出部37は、各領域の硬さの統計値に基づいて優先順位を決定したがこれに限られない。例えば、算出部37は、領域の面積の大きさが大きい順に優先順位を決定してもよい。さらに、優先順位の決定方法を操作者が選択することができる構成であってもよい。
また、上述した実施の形態では、画像合成部38は、超音波画像に領域抽出部36が抽出した各領域を破線等で合成した画像を生成する構成を説明したがこれに限られない。例えば、画像合成部38は、超音波画像の領域抽出部36が抽出した各領域内に透過性のある薄い色を合成した画像を生成してもよい。
また、上述した実施の形態では、関心領域設定部39は、領域抽出部36が抽出した領域の重心を中心として、その領域の面積とその領域の周辺領域の面積とが所定の割合となるように関心領域を設定する構成を説明したがこれに限られない。例えば、関心領域設定部39は、領域抽出部36が抽出した領域に外接するように関心領域を設定してもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
1 超音波診断システム
2 超音波内視鏡
3 超音波観測装置
4 表示装置
21 超音波振動子
31 送受信部
32 信号処理部
33 画像処理部
34 フレームメモリ
35 弾性情報算出部
36 領域抽出部
37 算出部
38 画像合成部
39 関心領域設定部
40 入力部
41 記憶部
42 制御部

Claims (14)

  1. 観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する画像処理部と、
    前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出部と、
    前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出部と、
    前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出部と、
    前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成部と、
    を備えることを特徴とする超音波観測装置。
  2. 前記所定の条件は、前記弾性情報に基づき、硬さが所定の閾値以上であること、閾値以上の硬さが所定の時間以上継続すること、又は閾値以上の硬さが所定の面積以上であることのいずれかの条件を含むことを特徴とする請求項1に記載の超音波観測装置。
  3. 前記診断支援情報は、前記弾性情報に基づいて前記算出部が決定した、前記領域抽出部が抽出した各領域を診断する際の優先順位であることを特徴とする請求項1又は2に記載の超音波観測装置。
  4. 前記領域抽出部が抽出した領域を含む領域を関心領域に設定する関心領域設定部を備え、
    前記画像合成部は、前記関心領域設定部が設定した関心領域のエラストグラフィ画像データを前記超音波画像に合成した画像を生成することを特徴とする請求項3に記載の超音波観測装置。
  5. 操作者の入力を受け付ける入力部を備え、
    前記関心領域設定部は、前記入力部が受け付けた入力に応じて、前記算出部が算出した優先順位が高い領域を含む領域から順に関心領域を切り替えることを特徴とする請求項4に記載の超音波観測装置。
  6. 前記関心領域設定部は、前記領域抽出部が抽出した領域の重心を中心として、該領域の面積と該領域の周辺領域の面積とが所定の割合となるように関心領域を設定することを特徴とする請求項4又は5に記載の超音波観測装置。
  7. 前記領域抽出部は、前記弾性情報算出部が算出した前記弾性情報に基づいて、所定の時間以上継続して、相対的に硬い領域が所定の面積以上を有する閉じた領域を抽出することを特徴とする請求項1〜6のいずれか1つに記載の超音波観測装置。
  8. 前記算出部は、前記領域抽出部が抽出した各領域の前記弾性情報に基づく硬さが硬い順を優先順位として設定することを特徴とする請求項3〜7のいずれか1つに記載の超音波観測装置。
  9. 前記算出部は、前記領域抽出部が抽出した各領域の面積の大きさが大きい順を優先順位として設定することを特徴とする請求項3〜7のいずれか1つに記載の超音波観測装置。
  10. 前記画像合成部は、前記超音波画像との干渉度が低い態様で、前記領域抽出部が抽出した各領域を、前記超音波画像に合成した画像を生成することを特徴とする請求項1〜9のいずれか1つに記載の超音波観測装置。
  11. 前記画像合成部は、前記領域抽出部が抽出した各領域を破線、点線又は実線で識別可能に合成した画像を生成することを特徴とする請求項1〜10のいずれか1つに記載の超音波観測装置。
  12. 前記画像合成部は、前記算出部が算出した優先順位を数値又は色で識別可能に合成した画像を生成することを特徴とする請求項3〜11のいずれか1つに記載の超音波観測装置。
  13. 観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する超音波観測装置の作動方法であって、
    弾性情報算出部が、前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出ステップと、
    領域抽出部が、前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出ステップと、
    算出部が、前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出ステップと、
    画像合成部が、前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成ステップと、
    を含むことを特徴とする超音波観測装置の作動方法。
  14. 観測対象へ超音波を送信し、該観測対象で反射された超音波を受信する超音波振動子から受信した超音波信号に基づく超音波画像を生成する超音波観測装置の作動プログラムであって、
    弾性情報算出部が、前記超音波画像内において予め設定された領域における前記観測対象の弾性情報を算出する弾性情報算出ステップと、
    領域抽出部が、前記予め設定された領域において、前記弾性情報算出部が算出した前記弾性情報が所定の条件を満たす領域を抽出する領域抽出ステップと、
    算出部が、前記領域抽出部が抽出した各領域の前記弾性情報に基づいて、操作者による各領域の診断順序の判断を支援する診断支援情報を算出する算出ステップと、
    画像合成部が、前記算出部が算出した前記診断支援情報を、前記超音波画像に合成した画像を生成する画像合成ステップと、
    を前記超音波観測装置に実行させることを特徴とする超音波観測装置の作動プログラム。
JP2018528482A 2016-07-19 2017-07-06 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム Active JP6726744B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016141618 2016-07-19
JP2016141618 2016-07-19
PCT/JP2017/024798 WO2018016337A1 (ja) 2016-07-19 2017-07-06 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム

Publications (2)

Publication Number Publication Date
JPWO2018016337A1 true JPWO2018016337A1 (ja) 2019-05-09
JP6726744B2 JP6726744B2 (ja) 2020-07-22

Family

ID=60992394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018528482A Active JP6726744B2 (ja) 2016-07-19 2017-07-06 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム

Country Status (5)

Country Link
US (1) US20190142385A1 (ja)
EP (1) EP3488788A4 (ja)
JP (1) JP6726744B2 (ja)
CN (1) CN109640829A (ja)
WO (1) WO2018016337A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926389B (zh) * 2022-03-30 2024-07-09 什维新智医疗科技(上海)有限公司 一种超声图像的弹性信号提取装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005048847A1 (ja) * 2003-11-21 2005-06-02 Hitachi Medical Corporation 超音波診断装置
JP2009039472A (ja) * 2007-08-13 2009-02-26 Hitachi Medical Corp 超音波診断装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005025425A1 (ja) * 2003-09-12 2005-03-24 Hitachi Medical Corporation 超音波診断装置
CN100502791C (zh) * 2003-09-12 2009-06-24 株式会社日立医药 超声波诊断装置
JP5159041B2 (ja) * 2006-01-30 2013-03-06 株式会社東芝 超音波診断装置およびその画像処理プログラム
JP5394372B2 (ja) * 2008-04-25 2014-01-22 株式会社日立メディコ 超音波診断装置
US8500639B2 (en) * 2009-09-11 2013-08-06 Mr Holdings (Hk) Limited Systems and methods for shear wave field formation
JP5535575B2 (ja) * 2009-10-27 2014-07-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP5509437B2 (ja) * 2010-03-01 2014-06-04 国立大学法人山口大学 超音波診断装置
JP5489178B2 (ja) * 2011-11-18 2014-05-14 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
EP2910191A4 (en) * 2012-10-18 2016-06-29 Hitachi Aloka Medical Ltd ULTRASONIC DIAGNOSTIC DEVICE AND IMAGE DISPLAY METHOD
WO2015080522A1 (en) * 2013-11-28 2015-06-04 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for marking tumor on ultrasound elastography image
KR101580584B1 (ko) * 2013-11-28 2015-12-28 삼성전자주식회사 탄성 영상 내에 종양을 표시하는 방법 및 이를 위한 초음파 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005048847A1 (ja) * 2003-11-21 2005-06-02 Hitachi Medical Corporation 超音波診断装置
JP2009039472A (ja) * 2007-08-13 2009-02-26 Hitachi Medical Corp 超音波診断装置

Also Published As

Publication number Publication date
WO2018016337A1 (ja) 2018-01-25
JP6726744B2 (ja) 2020-07-22
CN109640829A (zh) 2019-04-16
US20190142385A1 (en) 2019-05-16
EP3488788A4 (en) 2020-04-08
EP3488788A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
JP6150970B2 (ja) 超音波観測装置、超音波観測システム、超音波観測装置の作動方法及び超音波観測装置の作動プログラム
JP6513220B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2021133123A (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP6513230B2 (ja) 超音波観測装置、超音波観測装置の作動方法、および超音波観測装置の作動プログラム
WO2018163793A1 (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
US20180210080A1 (en) Ultrasound observation apparatus
KR20170054982A (ko) 초음파 영상 장치 및 동작 방법
US20120095341A1 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
WO2018163827A1 (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JP6726744B2 (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
US20190008483A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
JP4651379B2 (ja) 超音波画像処理装置及び超音波画像処理方法、並びに、超音波画像処理プログラム
JP6530660B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2005205199A (ja) 超音波画像処理方法及び超音波画像処理装置、並びに、超音波画像処理プログラム
JP7155394B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2017035300A (ja) 超音波観測装置、超音波観測装置の作動方法、超音波観測装置の作動プログラム及び超音波観測システム
JP7289211B2 (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JP6563800B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6379059B2 (ja) 超音波観測装置、超音波観測装置の作動方法、超音波観測装置の作動プログラムおよび超音波診断システム
WO2018088254A1 (ja) 超音波観測装置、超音波観測システム、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JPWO2020189774A1 (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JP2017164371A (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R151 Written notification of patent or utility model registration

Ref document number: 6726744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250