JP6443056B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP6443056B2
JP6443056B2 JP2015002780A JP2015002780A JP6443056B2 JP 6443056 B2 JP6443056 B2 JP 6443056B2 JP 2015002780 A JP2015002780 A JP 2015002780A JP 2015002780 A JP2015002780 A JP 2015002780A JP 6443056 B2 JP6443056 B2 JP 6443056B2
Authority
JP
Japan
Prior art keywords
range
needle
diagnostic apparatus
ultrasonic
puncture needle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015002780A
Other languages
English (en)
Other versions
JP2016127874A (ja
Inventor
義浩 武田
義浩 武田
一也 高木
一也 高木
譲 色摩
譲 色摩
堀内 亮
亮 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015002780A priority Critical patent/JP6443056B2/ja
Priority to US14/965,887 priority patent/US10639003B2/en
Publication of JP2016127874A publication Critical patent/JP2016127874A/ja
Application granted granted Critical
Publication of JP6443056B2 publication Critical patent/JP6443056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4405Device being mounted on a trolley
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

この発明は、超音波診断装置に関する。
従来、被検体内部に超音波を照射し、当該被検体内部での反射波(エコー)を受信して所定の信号データ処理を行うことにより被検体の内部構造の検査を行う超音波診断装置がある。このような超音波診断装置は、医療目的の検査、治療や建築構造物内部の検査といった種々の用途に広く用いられている。
超音波診断装置は、取得された反射波のデータを処理して画像を表示させるだけではなく、被検体内の特定の部位(ターゲット)のサンプルを採取したり、水などを排出したり、或いは、特定の部位に薬剤やマーカーなどを注入、留置したりする際に、これらに用いられる穿刺針とターゲットの位置とを視認しながら当該穿刺針をターゲット位置に向けて刺入する場合にも用いられる。このような超音波画像の利用により、被検体内のターゲットに対する処置を迅速、確実且つ容易に行うことが出来る。
しかしながら、穿刺針は、通常、細い上に被検体に対して斜めに挿入されるので、被検体に対して垂直に入射された超音波の反射光が十分に当該超音波の送受信方向に反射されず、また、特に、穿刺針の先端付近では、超音波が散乱されやすく、その結果穿刺針が超音波画像中に明瞭に現れず、使用者が視認し難しいという問題がある。
これに対し、従来、使用者がより明確に穿刺針を視認出来るようにするための種々の技術がある。これらの技術の一つの方向として、超音波画像を解析して穿刺針を検出し、強調表示させる技術がある。特許文献1には、穿刺針の挿入方向に係る情報を取得し、超音波画像において当該挿入方向に延在する輝度のエッジを強調するフィルターを適用することで穿刺針の強調処理を行う技術に関して開示されている。また、特許文献2には、超音波画像から直線状に現れる高輝度領域を抽出し、当該直線上の輝度が低い先端側から最初に輝度が上がる点を穿刺針の先端として特定する技術が開示されている。
特許第5473853号公報 特許第5486449号公報
しかしながら、同定された直線上の輝度分布に基づいて穿刺針の先端位置を検出する場合、当該直線上にノイズや、超音波を反射する他の構造があると、誤った位置が先端位置として大きくずれて検出される場合が生じ、使用者が当該位置情報を不適切に知得して問題を生じさせやすいという課題がある。一方で、他の方法で穿刺針の先端位置を同定するには、他の構成や追加の画像処理を必要とするなどで手間がかかるという課題がある。
この発明の目的は、容易、且つより適切に穿刺針の位置情報を取得することの出来る超音波診断装置を提供することにある。
上記目的を達成するため、請求項1記載の発明は、
被検体内部で反射されて受信された超音波信号に基づいて当該被検体内部の超音波画像を生成する超音波診断装置であって、
前記被検体内部に刺入された穿刺針の位置に対応する針位置範囲の複数の検出候補領域を抽出する候補領域抽出部と、
抽出された前記複数の検出候補領域に基づいて、前記超音波画像から前記針位置範囲を含む針同定範囲を定める針同定範囲設定部と、
前記針同定範囲内における前記複数の検出候補領域の分布に係る集合状態を示す値に基づいて、当該針同定範囲内における前記針位置範囲の推定範囲を定める針位置範囲推定部と、
前記超音波画像における前記推定範囲を強調するための処理を行う針強調処理部と、
を備えることを特徴としている。
また、請求項2記載の発明は、請求項1記載の超音波診断装置において、
前記集合状態を示す値は、前記針同定範囲内に含まれる前記検出候補領域の数を含み、
前記推定範囲は、前記検出候補領域の数に応じて定められる
ことを特徴としている。
また、請求項3記載の発明は、請求項1記載の超音波診断装置において、
前記集合状態を示す値は、前記針同定範囲内に含まれる前記複数の検出候補領域の集合における各検出候補領域の位置の分散値を含み、
前記推定範囲は、前記分散値に応じて定められる
ことを特徴としている。
また、請求項4記載の発明は、請求項1〜3の何れか一項に記載の超音波診断装置において、
前記針強調処理部は、
前記集合状態を示す値に基づいて、前記推定範囲内を分割する各領域における前記推定範囲の推定結果に係る重み付けを行い、当該重み付けに応じた強調度合いで前記推定範囲の内部を強調する処理を行う
ことを特徴としている。
また、請求項5記載の発明は、請求項4記載の超音波診断装置において、
前記集合状態を示す値には、前記針同定範囲内に含まれる前記複数の検出候補領域の集合の中心位置として設定される値が含まれ、
前記針強調処理部は、当該中心位置に対して少なくとも一方の側で重みが減衰する所定の窓関数を用いて前記重み付けを行う
ことを特徴としている。
また、請求項6記載の発明は、請求項5記載の超音波診断装置において、
前記集合状態を示す値は、前記針同定範囲内に含まれる前記複数の検出候補領域の集合における各検出候補領域の位置の分散値を含み、
前記推定範囲は、前記分散値に応じて定められ、
前記分散値は、前記中心位置に対して両側で各々別個に定められることを特徴としている。
また、請求項7記載の発明は、請求項5又は6記載の超音波診断装置において、
前記中心位置は、前記針同定範囲内に含まれる前記複数の検出候補領域の集合の加重平均位置であることを特徴としている。
また、請求項8記載の発明は、請求項7記載の超音波診断装置において、
前記加重平均位置は、前記針同定範囲内に含まれる前記複数の検出候補領域における前記超音波信号の強度に応じた値で重み付けがなされた当該複数の検出候補領域の分布に応じて算出された位置であることを特徴としている。
また、請求項9記載の発明は、請求項1〜8の何れか一項に記載の超音波診断装置において、
前記候補領域抽出部は、前記被検体内に入射される超音波の入射方向に沿った前記超音波信号の分布に基づいて前記複数の検出候補領域を抽出することを特徴としている。
また、請求項10記載の発明は、請求項1〜9の何れか一項に記載の超音波診断装置において、
前記針同定範囲設定部は、前記超音波画像内部で両端の何れも定められない直線状の前記針同定範囲を定めることを特徴としている。
本発明に従うと、超音波診断装置において、容易、且つより適切に穿刺針の位置情報を取得することが出来るという効果がある。
本発明の実施形態の超音波診断装置の全体構成図である。 超音波診断装置の内部構成を示すブロック図である。 穿刺針検出に係る検出マップデータの算出について説明するための模式図である。 穿刺針検出マップデータの算出例を示す図である。 検出マップデータマップに基づいて穿刺針に対応する直線を検出した例を示す図である。 穿刺針の強調処理について説明するための図である。 同定された穿刺針の位置の強調表示例を示す図である。 穿刺針検出強調処理の制御手順を示すフローチャートである。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本実施形態の超音波診断装置Uの全体図である。図2は、超音波診断装置Uの内部構成を示すブロック図である。
図1に示すように、この超音波診断装置Uは、超音波診断装置本体1と、ケーブル22を介して超音波診断装置本体1に接続された超音波探触子2(超音波プローブ、送受信部)と、超音波探触子2に取り付けられた取付部4(アタッチメント、刺入機構)と、穿刺針3などを備える。
穿刺針3は、ここでは、中空状の長針形状を有し、取付部4の設定により定められた角度で被検体に対して刺入される。穿刺針3は、採取のターゲット(検体)又は注入される薬剤などの種別や分量に応じて適宜な太さ、長さや先端形状を有したものが換装されることが可能となっている。
取付部4は、穿刺針3を設定された向き(方向)で保持する。取付部4は、超音波探触子2の側部に取り付けられ、被検体に対する穿刺針3の刺入角度に応じた穿刺針3の向きを適宜変更設定可能となっている。なお、取付部4の代わりに、超音波探触子2に穿刺針3を刺入方向に向けて保持する案内部が直接設けられていても良い。
超音波診断装置本体1には、操作入力部18と出力表示部19とが設けられている。また、図2に示すように、超音波診断装置本体1は、これらに加えて、制御部11と、送信駆動部12と、受信駆動部13と、送受信切替部14と、画像生成部15と、画像処理部16などを備えている。
超音波診断装置本体1の制御部11は、外部からの入力操作による操作入力部18のキーボードやマウスといった入力デバイスからの操作信号や表示画面への接触動作を検出するタッチセンサーからの検出信号に基づき、超音波探触子2に駆動信号を出力して超音波を出力させ、また、超音波探触子2から超音波受信に係る受信信号を取得して各種処理を行い、必要に応じて出力表示部19の表示画面などに結果などを表示させる一連の動作を行う。
制御部11は、CPU(Central Processing Unit)、HDD(Hard Disk Drive)及びRAM(Random Access Memory)などを備えている。CPUは、HDDに記憶されている各種プログラムを読み出してRAMにロードし、当該プログラムに従って超音波診断装置Uの各部の動作を統括制御する。HDDは、超音波診断装置Uを動作させる制御プログラム及び各種処理プログラムや、各種設定データ等を記憶する。これらのプログラムや設定データは、HDDの他、例えば、SSD(Solid State Drive)を含むフラッシュメモリーなどの不揮発性メモリーを用いた補助記憶装置に読み書き更新可能に記憶させることとしても良い。RAMは、SRAMやDRAMなどの揮発性メモリーであり、CPUに作業用のメモリー空間を提供し、一時データを記憶する。
送信駆動部12は、制御部11から入力される制御信号に従って超音波探触子2に供給するパルス信号を出力し、超音波探触子2に超音波を発生させる。送信駆動部12は、例えば、クロック発生回路、パルス発生回路、パルス幅設定部、及び、遅延回路を備えている。クロック発生回路は、パルス信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。パルス幅設定部は、パルス発生回路から出力させる送信パルスの波形(形状)、電圧振幅及びパルス幅を設定する。パルス発生回路は、パルス幅設定部の設定に基づいて送信パルスを生成し、超音波探触子2の個々の振動子210ごとに異なる配線経路に出力する。遅延回路は、クロック発生回路から出力されるクロック信号を計数し、設定された遅延時間が経過すると、パルス幅発生回路に送信パルスを発生させて各配線経路に出力させる。
受信駆動部13は、制御部11の制御に従って超音波探触子2から入力された受信信号を取得する回路である。受信駆動部13は、例えば、増幅器、A/D変換回路、整相加算回路を備えている。増幅器は、超音波探触子2の各振動子210により受信された超音波に応じた受信信号を予め設定された所定の増幅率でそれぞれ増幅する回路である。A/D変換回路は、増幅された受信信号を所定のサンプリング周波数でデジタルデータに変換する回路である。整相加算回路は、A/D変換された受信信号に対して、振動子210毎に対応した配線経路毎に遅延時間を与えて時相を整え、これらを加算(整相加算)して音線データを生成する回路である。
送受信切替部14は、制御部11の制御に基づいて、振動子210から超音波を出射(送信)する場合に駆動信号を送信駆動部12から振動子210に送信させる一方、振動子210が出射した超音波に係る信号を取得する場合に受信信号を受信駆動部13に出力させるための切り替え動作を行う。
画像生成部15は、超音波の受信データ(超音波信号)に基づく診断用画像(超音波画像)を生成する。画像生成部15は、受信駆動部13から入力される音線データを検波(包絡線検波)して信号を取得し、また、必要に応じて対数増幅、フィルタリング(例えば、低域通過処理、スムージングなど)や強調処理などを行う。画像生成部15は、診断用画像の一つとして、当該信号強度に応じた輝度信号で信号の送信方向(入射方向、被検体の深度方向)と超音波探触子2により送信される超音波の走査方向を含む面内の二次元構造(被検体内部の構造)を表すBモード表示に係る各フレーム画像データを生成する。このとき、画像生成部15は、表示に係るダイナミックレンジの調整やガンマ補正などを行うことが出来る。この画像生成部15は、これらの画像生成に用いられる専用のCPUやRAMを備える構成とすることが出来る。又は、画像生成部15では、画像生成に係る専用のハードウェア構成が基板(ASIC(Application-Specific Integrated Circuit)など)上に形成されて備えられていても良い。或いは、画像生成部15は、制御部11のCPU及びRAMにより画像生成に係る処理が行われる構成であっても良い。
画像処理部16は、生成された診断用画像から穿刺針3を検出して強調表示を行うための各種処理を行い、また、表示タイミングまで一時的に記憶保持する。画像処理部16は、記憶部161と、検出マップ生成部162(候補領域抽出部)と、穿刺針同定部163(針同定範囲設定部)と、強調処理部164(針位置範囲推定部、針強調処理部)などを備える。
記憶部161は、画像生成部15で処理されてリアルタイム表示やこれに準じた表示に用いられる診断用画像データ(フレーム画像データ)をフレーム単位で直近の所定フレーム数分記憶する。記憶部161は、例えば、DRAM(Dynamic Random Access Memory)などの揮発性メモリーである。或いは、この記憶部161は、高速書き換えが可能な不揮発性メモリーであっても良い。記憶部161に記憶された診断用画像データは、制御部11の制御に従って読み出され、出力表示部19に送信されたり、図示略の通信部を介して超音波診断装置Uの外部に出力されたりする。このとき、出力表示部19の表示方式がテレビジョン方式の場合には、記憶部161と出力表示部19との間にDSC(Digital Signal Converter)が設けられて、走査フォーマットが変換された後に出力されれば良い。また、記憶部161は、超音波診断装置Uの使用者による操作入力部18への入力操作に応じて保存命令がなされた診断用画像データを、超音波診断装置Uの動作中、予め設定された期間、又は使用者の入力操作により消去されるまで、記憶させておくことが出来る。
検出マップ生成部162は、穿刺針同定部163で穿刺針3を同定するための検出マップデータを生成する。検出マップデータについては、後に詳述する。
穿刺針同定部163は、検出マップ生成部162で生成された検出マップデータを用いて穿刺針3の同定を行う。穿刺針同定部163は、これまでに同定された穿刺針位置の履歴を記憶し、例えば、当該位置の変化速度及び変化方向(変位ベクトル)を算出しておくことが出来る。この場合には、穿刺針同定部163は、これら穿刺針3の位置や変化ベクトルに基づいて次回の穿刺針3の推定位置を求めておき、同定の際に用いることが出来る。
強調処理部164は、同定された穿刺針3の位置を診断用画像内で強調するための処理を行う。強調処理部164は、穿刺針同定部163で同定された穿刺針3の位置や同定の確度に応じた強調処理の内容を決定し、当該強調処理を診断用画像に行って記憶部161に記憶させる。
検出マップ生成部162、穿刺針同定部163及び強調処理部164は、画像処理部16のCPU及びRAMを共用で用いても良いし、各々専用のCPU及びRAMを備えても良い。或いは、検出マップ生成部162、穿刺針同定部163及び強調処理部164は、制御部11のCPU及びRAMにより各種処理が行われても良い。
操作入力部18は、押しボタンスイッチ、キーボード、マウス、トラックボール若しくは表示画面へのタッチセンサー、又はこれらの組み合わせを備えており、ユーザーの入力操作を操作信号に変換し、超音波診断装置本体1に入力する。
出力表示部19は、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescent)ディスプレイ、無機ELディスプレイ、プラズマディスプレイ、CRT(Cathode Ray Tube)ディスプレイといった種々の表示方式のうち、何れかを用いた表示画面とその駆動部を備える。出力表示部19は、CPU15から出力された制御信号や、画像処理部16で生成された画像データに従って表示画面(各表示画素)の駆動信号を生成し、表示画面上に超音波診断に係るメニュー、ステータスや、受信された超音波に基づく計測データの表示を行う。また、出力表示部19は、LEDランプなどを別途備えて電源の投入有無などの表示を行う構成であっても良い。
これらの操作入力部18や出力表示部19は、超音波診断装置本体1の筐体に一体となって設けられたものであっても良いし、RGBケーブル、USBケーブルやHDMIケーブル(登録商標:HDMI)などを介して外部に取り付けられるものであっても良い。また、超音波診断装置本体1に操作入力端子や表示出力端子が設けられていれば、これらの端子に従来の操作用及び表示用の周辺機器を接続して利用するものであっても良い。
超音波探触子2は、超音波(ここでは、1〜30MHz程度)を発振して生体などの被検体に対して出射するとともに、出射した超音波のうち被検体で反射された反射波(エコー)を受信して電気信号に変換する音響センサーとして機能する。この超音波探触子2は、超音波を送受信する複数の振動子210の配列である振動子配列21と、ケーブル22などを備えている。
ケーブル22は、その一端に超音波診断装置本体1とのコネクター(図示略)を有し、超音波探触子2は、このケーブル22により超音波診断装置本体1に対して着脱可能に構成されている。ユーザーは、この超音波探触子2における超音波の送受信面、即ち、振動子配列21から超音波を出射する方向の面を被検体に所定の圧力で接触させて超音波診断装置Uを動作させ、超音波診断を行う。
なお、超音波診断装置本体1と超音波探触子2との間は、有線のケーブル22だけではなく、赤外線や電波などによるワイヤレス通信手段を用いて接続することも出来る。
振動子配列21は、圧電体とその変形(伸縮)により電荷が現れる両端に設けられた電極とを有する圧電素子を備えた複数の振動子210の配列、例えば、所定の方向(走査方向)への一次元配列である。振動子210に電圧パルス(パルス信号)が順番に供給されることで各圧電体に生じる電界に応じて圧電体が変形し、超音波が発信される。また、振動子210に所定の周波数帯の超音波が入射すると、その音圧により圧電体の厚さが変動(振動)することで当該変動量に応じた電荷が生じ、当該電荷量に応じた電気信号に変換、出力される。
次に、本実施形態の超音波診断装置Uにおける穿刺針3の検出手法について詳しく説明する。
図3は、穿刺針検出に係る検出マップデータの算出について説明するための模式図である。また、図4は、穿刺針検出マップデータの算出例を示す図である。
ここでは、図の上方の超音波探触子2から下向き(z方向)に超音波が入射され、被検体Qの内部で反射されて上向きに伝わった反射波が受信、検出される。
穿刺針3は、その太さや傾きによって上方とは異なる向き(図3では、右斜め上方)に反射される超音波成分が多く、下方にそのまま伝搬する成分が少ないので、その結果、穿刺針3より下方の領域Q1は、超音波の影の領域となり(音響陰影)、当該領域Q1で反射される超音波成分が他の領域Q0と比較して全体的に少なくなる。そこで、本実施形態の超音波診断装置Uでは、領域Q0と領域Q1の境界を同定することにより穿刺針3の検出を行う。
このとき、超音波が穿刺針3の両側(図3の表示面に対して直交(前後)方向)を伝わると、下方の反射波強度の低下が相対的に小さくなるので、超音波の送受信幅が穿刺針3の幅に比して広すぎないことが望ましい。
この境界の同定のために、先ず、各画素位置(ここでは、矩形領域の左上隅座標(x0、z0)などで表す)における反射波強度に応じた輝度値s(x0、z0)(x0、z0は0以上の整数)に対し、当該画素位置に対して超音波の入射方向(z方向)に沿った輝度値の分布に基づいて解析を行う。ここでは、画素位置(x0、z0)よりも被検体Qの浅い側(z≦z0)の各画素位置で取得された反射波強度の特徴的な値として平均値sa=Σs(x0、z≦z0)/(z0+1)を算出する。この平均値saは、上述の境界位置より浅い側(zが小さい側)の各画素位置では、高輝度の領域が含まれるに連れて一時的に値が上昇し、深い側(zが大きい側)の各画素位置では、全体輝度の低い領域が占める割合の増加に伴って徐々に低下していく。また、穿刺針3が刺入されていない位置では、全体濃度の低下がないので、この平均値saの値は大きく変化しない。
一方、各画素位置(x0、z0)において、当該画素位置よりも被検体Qの深い側(z≧z0)の各画素位置で得られた反射波強度の特徴的な値として最大値sm=max(s(x0、z≧z0))を算出する。この最大値smは、被検体Qの浅い位置に高輝度の点がある場合には、深さ方向の座標z0が大きくなるに連れて当該高輝度の点を境界として不連続に低下していき、穿刺針3の位置では高い確率でこの不連続の低下が生じる。
従って、各画素位置(x0、z0)において、平均値saと最大値smの差異である特徴量sc=sa−smは、穿刺針3の位置でs0が上昇し、smが減少することで大きな値となる。そして、更に、この特徴量scのz方向への偏微分値(隣接画素位置との差分値)ds(x0、z0)=∂s/∂z、ここでは、例えば単にsc(x0、z0)−sc(x0、z0−1)を各x0、z0に対して算出し、検出マップデータとする。
図4(a)の診断用画像に対し、この特徴量scの二次元マップは、図4(b)のように得られ、更に、検出マップデータは、図4(c)のように得られる。
偏微分値dsが全ての画素位置に対して得られると、次に、この検出マップデータを用いて穿刺針3の検出が行われる。この検出には、従来周知の検知方法、特に、画像データから直線を検出するための方法が用いられる。ここでは、例えば、Hough(ハフ)変換が用いられる。
図5は、図4(c)で得られた検出マップデータマップに基づいて穿刺針3に対応する直線を検出する例を示す図である。
図4(c)で得られた検出マップデータ上の各点の値である偏微分値dsは、例えば、所定の閾値で二値化されて、図5(a)に示すように閾値以上の点が穿刺針3の複数の候補点(xi、zi)(複数の検出候補領域の分布)として定められる。候補点(xi、zi)は、通常、超音波画像における穿刺針3の全体位置に対応する範囲(針位置範囲)を明瞭に示すことが出来ず、しばしば離散的に定まる。
次に、通常、穿刺針3が直線形状であることに鑑み、当該候補点が当該穿刺針3の形状に応じて同一直線上に密集している当該直線の検出がハフ変換により行われる(図5(b))。各候補点(xi、zi)を長さ変数ρと角度変数θを用いてρ=xi・cosθ+zi・sinθで表した場合に、この式を満たす(ρ、θ)の組み合わせは、候補点(xi、zi)を通る直線への原点からの垂線の長さと、x軸と当該直線とのなす角度とをそれぞれ表す。従って、最も多くの候補点(xi、zi)からの投票がある点(ρ0、θ0)が、これら候補点上を通る尤もらしい直線(候補線)を表すことになる(図5(c))。
また、直線ではなく、線分を検出する手法として、確率的ハフ変換がある。この確率的ハフ変換では、ランダムに選択した点群からハフ変換で候補線を検出した後、当該選択した線群の候補線上における存在範囲を確認する。これにより、候補線上に始点と終点とを定めることで、結果として、線分(長さ)を検出することが出来る。
このとき、穿刺針3の他に直線状に配列した候補点が存在する場合には、必ずしも1つの候補線に絞らなくても良く、複数の候補線を残しても良い。また、他の手法に基づいて予め穿刺針3の位置が推測可能な場合には、当該推測に基づいて複数の中から穿刺針3による候補線を選択しても良い。このようにして選択された候補線(針同定範囲)の少なくとも一部に穿刺針3(針位置範囲)が存在することになる。
候補線が検出されると、当該候補線の確かさなどに応じて当該候補線の強調度合いが決定される(図5(d))。即ち、複数本の候補線が残っている場合にも、穿刺針3に該当する可能性が低いものと高いものとで強調の度合いを変化させることが出来る。
次に、診断用画像における穿刺針3の強調表示について説明する。
本実施形態の超音波診断装置Uでは、診断用画像に対して選択された候補線上における穿刺針3が尤もらしく存在する範囲(推定範囲)について、当該尤もらしさに応じた強調度で強調表示を診断用画像に対して重ねることで穿刺針3の強調表示を行う。
図6は、穿刺針3の強調処理について説明するための図である。
上述のようにハフ変換を用いて選択された候補線Lには、両端の何れも定められていないので、これだけでは穿刺針3の先端位置が特定出来ない。また、穿刺針3の先端部は、その形状などにより穿刺針3の他の部分よりも超音波の散乱が多く、反射波が更に少なくなるので、同定しづらい場合がある。また、当該先端部の先にノイズがあったり超音波を反射する他の構造があったりした場合には、当該位置が先端であると誤認識されて正確な範囲とは異なる強調表示となってしまう場合がある。そこで、本実施形態の超音波診断装置Uでは、候補線Lの選択に用いられた候補点の分布に係る集合状態を示す値(集合の中心位置や集合度合いなど)といった針位置範囲に関連し得るパラメーターに基づいて尤もらしい穿刺針3の範囲として推定範囲を定め、この推定範囲内において各画素(領域)の重み付けを設定して、この推定範囲の強調表示(強調抑制)を行う。
図6に示した図では、丸印(○)で模式的に示された候補点が候補線L上に左側に偏って分布している。また、プラス印(+)で示された穿刺針3の実際の先端位置付近では、左端付近より候補点が少なく、更に、当該先端位置より先(右側)にも若干の候補点が存在している。
ここでは、例えば、先ず、候補線上の全ての候補点(xi、zi)(1≦i≦N)に対して、各候補点(xi、zi)における特徴量ωi=sc(xi、zi)でそれぞれ重み付けを行って加重平均位置(xc、zc)を算出する。即ち、加重平均位置(xc、zc)は、1≦i≦Nを満たすN個の候補点(xi、zi)及びN個の特徴量ωiを用いて、xc=Σ(ωi・xi)/Σ(ωi)、zc=Σ(ωi・zi)/Σ(ωi)により求められる。それから、当該加重平均位置(xc、zc)を基準(中心位置)として、所定のフィルター(窓関数)で強調度合いを低減させる。フィルターとしては、特には限られないが、例えば、ガウス窓やハミング窓などの窓関数が用いられ、窓の幅(適用幅)は、例えば、候補点の分散値(標準偏差)や、単純に候補点の数によって定められる。或いは、状況に応じて、実際の候補点の分布とは関係なく診断用画像内における候補線の長さが窓の幅として用いられても良いし、使用者の利用状況や好みなどに応じて推定範囲内で強調度合いを低減させる必要が無い場合には、矩形窓が用いられても良い。また、分散値は、加重平均位置に対して左側と右側と(両側)で別個に算出されても良いし、分散値だけでなく歪度や尖度などを求めて用いることとしても良い。また、これらの窓関数は、候補点の数や分布に応じて複数のリストの中から適切なものが選択されても良い。
この場合、穿刺針3の用途や先端位置に係る情報の重要性などに応じて、又は一律に、重み付けの範囲を狭く設定して、確実に穿刺針3が存在する中心付近のみを主に強調させたり、重み付けの範囲を広く設定して、穿刺針3が存在する可能性が多少低くても、予め定められた基準レベルを超える範囲では使用者が容易に視認可能な強調を行わせたりすることが出来る。
また、強調度合いをより穿刺針3の存在範囲に対応させるために、所定サイズの範囲ごとに候補点の抽出密度を求め、加重平均位置を含む範囲の密度に比較して所定の割合以上の密度の範囲に対しては、強調の度合いを低下させないようにしても良い。特に、穿刺針3が診断用画像の一方の端部を横切って診断用画像に含まれている場合には、加重平均位置から当該端部までの間における穿刺針3の強調度合いを抑制しないこととしても良い。或いは、通常、候補線L上の候補点の数は、穿刺針3の存在範囲が長くなるほど多くなるので、この候補点の数に応じて強調の度合いを低下させない範囲を定めたり、フィルターの窓幅を変化させたりしても良い。
また、処理が煩雑にならない範囲において穿刺針3の先端位置を別の方法で推定し、加重平均位置と当該先端位置との長さに応じた窓の幅を設定しても良い。
図7は、本実施形態の超音波診断装置Uで同定された穿刺針3の位置の強調表示例を示す図である。
図5(d)で定められた強調度合いは、上述のように、候補線L上における候補点の分布(集合の状態)に応じて抑制され、診断用画像の右寄りでは、図7(a)に示すように、強調表示が薄くなるように定められる。そして、この強調表示が元の診断用画像に重ねられて出力画像図7(b)が生成される。この強調表示は、元の診断用画像の色遣い(例えば、白黒表示)とは異なる色合い(例えば、青色など)とすることで、より見やすく行わせることが出来る。
図8は、本実施形態の超音波診断装置Uにおける穿刺針検出強調処理の制御手順を示すフローチャートである。
この処理は、上述のように、制御部11又は画像処理部16のCPUにより実行される。
穿刺針検出表示処理が開始されると、CPUは、検出マップ生成部162において、通常のBモードと同様に取得された被検体の二次元構造画像(診断用画像)から各画素位置の特徴量scをそれぞれ算出し、画素位置情報と対応付けて記憶する(ステップS101)。CPUは、当該特徴量scを更に処理して偏微分値dsを求めて穿刺針3の検出用マップデータを生成する(ステップS102)。CPUは、この検出用マップデータの各値と所定の基準値とを比較して穿刺針3の範囲の候補点を抽出する。
CPUは、穿刺針同定部163において、抽出された候補点についてハフ変換を実施し、直線を検出する(ステップS111)。CPUは、当該検出された直線から穿刺針3の候補となる候補線を決定する(ステップS112)。CPUは、候補線を強調表示するための基準となる強調度合いを決定する(ステップS113)。
CPUは、強調処理部164において、強調表示を行う位置、範囲や強調度合いの分布に係るパラメーターを算出する(ステップS121)。CPUは、候補線のうち、穿刺針3に対応する範囲としての尤もらしさに応じて強調範囲の重み付け設定(抑制パターン)を決定する(ステップS122)。CPUは、決定された重み付け設定を反映した強調マップを生成し(ステップS123)、当該生成された強調マップを元の診断用画像に重ねる(ステップS124)。そして、CPUは、穿刺針3の推定範囲が強調された超音波画像を記憶部161に記憶させ、穿刺針検出強調処理を終了する。
以上のように、本実施形態の超音波診断装置Uは、被検体内部で反射されて受信された超音波信号に基づいて当該被検体内部の超音波画像を生成する超音波診断装置であって、被検体内部に刺入された穿刺針3の位置に対応する針位置範囲の複数の候補点を抽出する検出マップ生成部162と、抽出された複数の候補点に基づいて、超音波画像から針位置範囲を含む候補線を定める穿刺針同定部163と、候補線上における複数の候補点の分布に係る集合状態を示す値に基づいて、当該候補線上における針位置範囲の推定範囲を定め、超音波画像における推定範囲を強調するための処理を行う強調処理部164と、を備える。
即ち、穿刺針3の位置に対応する針位置範囲を複数の候補点の分布に係る集合状態に応じて全体として判断するので、ノイズなどで先端位置が大きくずれて検出される可能性を抑えることが出来る。従って、容易な処理で、使用者に大きな問題を生じさせないような適切な穿刺針3の位置を定めることが出来る。
また、集合状態を示す値は、候補線上に含まれる候補点の数を含み、推定範囲は、当該候補点の数に応じて定められる。候補点の数は、通常、穿刺針3の長さに応じて増加するので、穿刺針3の長さに応じた推定範囲を容易に設定することが出来る。従って、診断用画像中における本来の穿刺針3の長さよりも推定範囲が長すぎたり短すぎたりする可能性を低減させることが出来る。
また、集合状態を示す値は、候補線上に含まれる複数の候補点の位置の分散値を含み、推定範囲は、この分散値に応じて定められる。従って、穿刺針3の太さなどにより候補点の密度が異なる診断用画像でも適切な長さの推定範囲をそれぞれ定めることが出来る。
また、強調処理部164は、集合状態を示す値に基づいて、推定範囲内の各画素位置における当該推定範囲の推定結果に係る重み付けを行い、当該重み付けに応じた強調度合いで推定範囲の内部を強調する処理を行う。これにより、単発的なノイズや穿刺針3とは離隔した位置にある構造などの影響を低減させる一方、推定範囲の両端付近に穿刺針3が必ず存在する訳ではないことが示されるので、使用者に大きな問題を生じさせる虞を減らすことが出来る。
また、集合状態を示す値には、候補線上に含まれる複数の候補点の中心位置として設定される値が含まれ、強調処理部164は、当該中心位置に対して少なくとも一方の側で重みが減衰する所定のフィルターを用いて重み付けを行う。
従って、推定された穿刺針3の位置の特に端部付近で、当該推定がどの程度確かであるかの情報を使用者が併せて容易に知得出来るので、穿刺針3の先端位置を使用者が勘違いして問題が生じる可能性を低減させることが出来る。
また、この分散値は、中心位置に対して両側で各々別個に定められるので、穿刺針3の根元まで診断用画像の外まで穿刺針3が続いている側と、穿刺針3の先端に向けて散乱が比較的大きくなる側とで異なる範囲を設定することが可能になり、推定範囲の精度が上がると共に、使用者も強調表示をより視認しやすくなる。
また、設定される中心位置は、候補線上に含まれる複数の候補点の加重平均位置であることにより、候補点が候補線上に多数まとまって検出されて穿刺針3が存在する角度が高い部分を確実にカバーしつつ、当該位置を基準として端部に向けて重み付けを漸減させることで、簡単な窓関数を用いた場合などでも不自然な位置で重み付けが小さくなってしまう可能性を低減させることが出来る。
また、加重平均位置は、候補線上に含まれる複数の候補点における超音波信号の強度に応じた値で重み付けがなされた当該複数の候補点の分布に応じて算出された位置とされることで、より確実性の高い穿刺針3の検出候補点のデータを優先して加重平均位置を算出出来るので、更に不自然な位置に中心位置が設定されづらく、推定範囲が適切に設定されやすい。
また、検出マップ生成部162は、被検体内に入射される超音波の入射方向に沿った超音波信号の分布に基づいて複数の候補点を抽出する。従って、穿刺針3により超音波の伝播が妨げられる当該穿刺針3の下流側と、穿刺針3の上流側との輝度差を用いて穿刺針3上の候補点をより確実に抽出しやすくなる。
また、穿刺針同定部163は、超音波画像内部で両端の何れも定められない直線状の候補線を定めるので、ハフ変換などを用いて容易且つ確実に穿刺針3の形状に従った候補線を同定することが出来る。
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、穿刺針3により生じる影(音響陰影)を利用して穿刺針3の位置をより明確に検出する技術を用いたが、通常の輝度値に基づく選択など、他の方法を用いて候補点の抽出を行っても良い。
また、上記実施の形態において画素単位で選択された候補点は、高周波ノイズの低減などを図るためなど、種々の目的に応じて画素と異なる単位(複数画素など)で設定されても良い。
また、上記実施の形態では、所定のパラメーターとして各候補点の加重平均位置、候補点の数や位置の分散値などを用いる場合を例に挙げて説明したが、これらの組合せに限られない。更に、所定のパラメーターは、集合の状態を表すもの以外のものであっても良く、例えば、配列順での中央位置などであっても良い。
また、上記実施の形態では、超音波診断装置Uとして、超音波診断装置本体1と超音波探触子2の組合せとして説明したが、超音波診断装置本体1があれば足り、外付けの超音波探触子2などと組み合わせて利用されるものであっても良い。
その他、上記実施の形態で示した構成、処理内容や手順などの具体的な細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
1 超音波診断装置本体
2 超音波探触子
3 穿刺針
4 取付部
11 制御部
12 送信駆動部
13 受信駆動部
14 送受信切替部
15 画像生成部
16 画像処理部
161 記憶部
162 検出マップ生成部
163 穿刺針同定部
164 強調処理部
18 操作入力部
19 出力表示部
21 振動子配列
210 振動子
22 ケーブル
L 候補線
Q 被検体
U 超音波診断装置

Claims (10)

  1. 被検体内部で反射されて受信された超音波信号に基づいて当該被検体内部の超音波画像を生成する超音波診断装置であって、
    前記被検体内部に刺入された穿刺針の位置に対応する針位置範囲の複数の検出候補領域を抽出する候補領域抽出部と、
    抽出された前記複数の検出候補領域に基づいて、前記超音波画像から前記針位置範囲を含む針同定範囲を定める針同定範囲設定部と、
    前記針同定範囲内における前記複数の検出候補領域の分布に係る集合状態を示す値に基づいて、当該針同定範囲内における前記針位置範囲の推定範囲を定める針位置範囲推定部と、
    前記超音波画像における前記推定範囲を強調するための処理を行う針強調処理部と、
    を備えることを特徴とする超音波診断装置。
  2. 前記集合状態を示す値は、前記針同定範囲内に含まれる前記検出候補領域の数を含み、
    前記推定範囲は、前記検出候補領域の数に応じて定められる
    ことを特徴とする請求項1記載の超音波診断装置。
  3. 前記集合状態を示す値は、前記針同定範囲内に含まれる前記複数の検出候補領域の集合における各検出候補領域の位置の分散値を含み、
    前記推定範囲は、前記分散値に応じて定められる
    ことを特徴とする請求項1記載の超音波診断装置。
  4. 前記針強調処理部は、
    前記集合状態を示す値に基づいて、前記推定範囲内を分割する各領域における前記推定範囲の推定結果に係る重み付けを行い、当該重み付けに応じた強調度合いで前記推定範囲の内部を強調する処理を行う
    ことを特徴とする請求項1〜3の何れか一項に記載の超音波診断装置。
  5. 前記集合状態を示す値には、前記針同定範囲内に含まれる前記複数の検出候補領域の集合の中心位置として設定される値が含まれ、
    前記針強調処理部は、当該中心位置に対して少なくとも一方の側で重みが減衰する所定の窓関数を用いて前記重み付けを行う
    ことを特徴とする請求項4記載の超音波診断装置。
  6. 前記集合状態を示す値は、前記針同定範囲内に含まれる前記複数の検出候補領域の集合における各検出候補領域の位置の分散値を含み、
    前記推定範囲は、前記分散値に応じて定められ、
    前記分散値は、前記中心位置に対して両側で各々別個に定められることを特徴とする請求項5記載の超音波診断装置。
  7. 前記中心位置は、前記針同定範囲内に含まれる前記複数の検出候補領域の集合の加重平均位置であることを特徴とする請求項5又は6記載の超音波診断装置。
  8. 前記加重平均位置は、前記針同定範囲内に含まれる前記複数の検出候補領域における前記超音波信号の強度に応じた値で重み付けがなされた当該複数の検出候補領域の分布に応じて算出された位置であることを特徴とする請求項7記載の超音波診断装置。
  9. 前記候補領域抽出部は、前記被検体内に入射される超音波の入射方向に沿った前記超音波信号の分布に基づいて前記複数の検出候補領域を抽出することを特徴とする請求項1〜8の何れか一項に記載の超音波診断装置。
  10. 前記針同定範囲設定部は、前記超音波画像内部で両端の何れも定められない直線状の前記針同定範囲を定めることを特徴とする請求項1〜9の何れか一項に記載の超音波診断装置。
JP2015002780A 2015-01-09 2015-01-09 超音波診断装置 Active JP6443056B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015002780A JP6443056B2 (ja) 2015-01-09 2015-01-09 超音波診断装置
US14/965,887 US10639003B2 (en) 2015-01-09 2015-12-10 Ultrasound diagnosis apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015002780A JP6443056B2 (ja) 2015-01-09 2015-01-09 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2016127874A JP2016127874A (ja) 2016-07-14
JP6443056B2 true JP6443056B2 (ja) 2018-12-26

Family

ID=56366646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015002780A Active JP6443056B2 (ja) 2015-01-09 2015-01-09 超音波診断装置

Country Status (2)

Country Link
US (1) US10639003B2 (ja)
JP (1) JP6443056B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447071B2 (ja) * 2013-12-11 2019-01-09 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、および、プログラム
JP6829801B2 (ja) * 2016-11-02 2021-02-17 株式会社プロアシスト 超音波アレイセンサシステム
CN112601495A (zh) * 2018-08-22 2021-04-02 皇家飞利浦有限公司 用于约束介入声学成像中的传感器跟踪估计的系统、设备和方法
JP7424003B2 (ja) * 2019-11-20 2024-01-30 コニカミノルタ株式会社 医用画像表示装置、領域表示方法及び領域表示プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5473853B2 (ja) 2010-09-28 2014-04-16 富士フイルム株式会社 超音波画像生成装置
JP5486449B2 (ja) * 2010-09-28 2014-05-07 富士フイルム株式会社 超音波画像生成装置及び超音波画像生成装置の作動方法
JP5645628B2 (ja) * 2010-12-09 2014-12-24 富士フイルム株式会社 超音波診断装置
US9226729B2 (en) * 2010-09-28 2016-01-05 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method

Also Published As

Publication number Publication date
US20160199024A1 (en) 2016-07-14
US10639003B2 (en) 2020-05-05
JP2016127874A (ja) 2016-07-14

Similar Documents

Publication Publication Date Title
US11786210B2 (en) Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
JP5121389B2 (ja) 対象体の大きさを測定するための超音波診断装置及び方法
JP6443056B2 (ja) 超音波診断装置
US20120310087A1 (en) Ultrasonic diagnosis apparatus, operation method of the same, and computer readable recording medium
JP2015226572A (ja) 超音波診断装置
JP2012070837A (ja) 超音波画像生成装置及び超音波画像生成方法
US10893846B2 (en) Ultrasound diagnosis apparatus
US10588606B2 (en) Ultrasound coupling medium detection
JP6589619B2 (ja) 超音波診断装置
US9348024B2 (en) Active sonar apparatus, active sonar signal processing method, and recording medium storing signal processing program thereof
CN114144120A (zh) 超声波诊断装置及超声波诊断装置的控制方法
JP5507018B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2009160336A (ja) 超音波診断装置
US10188367B2 (en) Ultrasound diagnostic device, ultrasound image processing method, and non-transitory computer-readable recording medium
WO2019124524A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
CN114287968A (zh) 弹性成像方法、系统及计算机可读存储介质
JP2019136505A (ja) 超音波診断装置、プローブ感度管理システム、及びプログラム
JP2019107418A5 (ja)
EP4360564A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
US20220287678A1 (en) Ultrasound imaging apparatus, ultrasound imaging system, method of operating ultrasound imaging apparatus, computer-readable recording medium, and ultrasound endoscope system
WO2022147690A1 (zh) 弹性成像方法和超声成像系统
US20230157662A1 (en) Ultrasound image analysis apparatus, ultrasound diagnostic apparatus, and control method for ultrasound image analysis apparatus
JPWO2016104034A1 (ja) 超音波体組織検出装置、超音波体組織検出方法、および、超音波体組織検出プログラム
JP2023077810A (ja) 超音波画像分析装置、超音波診断装置および超音波画像分析装置の制御方法
CN113301858A (zh) 穿刺针、超声波诊断装置及超声波诊断装置的控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181112

R150 Certificate of patent or registration of utility model

Ref document number: 6443056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150