JP6138402B2 - 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム - Google Patents

超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム Download PDF

Info

Publication number
JP6138402B2
JP6138402B2 JP2017509164A JP2017509164A JP6138402B2 JP 6138402 B2 JP6138402 B2 JP 6138402B2 JP 2017509164 A JP2017509164 A JP 2017509164A JP 2017509164 A JP2017509164 A JP 2017509164A JP 6138402 B2 JP6138402 B2 JP 6138402B2
Authority
JP
Japan
Prior art keywords
attenuation
attenuation rate
unit
feature amount
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017509164A
Other languages
English (en)
Other versions
JPWO2016157624A1 (ja
Inventor
知宏 中辻
知宏 中辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6138402B2 publication Critical patent/JP6138402B2/ja
Publication of JPWO2016157624A1 publication Critical patent/JPWO2016157624A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波を用いて観測対象の組織を観測する超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラムに関する。
観測対象である生体組織または材料の特性を観測するために、超音波を適用することがある。具体的には、観測対象に超音波を送信し、その観測対象によって反射された超音波エコーに対して所定の信号処理を施すことにより、観測対象の特性に関する情報を取得する。
超音波の強度は、観測対象を伝播する際に減衰する。従来、この減衰を利用して観測対象の材料の特性を決定する技術が知られている(例えば、特許文献1を参照)。この技術では、超音波エコーに対応する電気信号を周波数ドメインの振幅スペクトルに変換し、この振幅スペクトルを所定の基準振幅スペクトルと比較することによって減衰量を算出し、この減衰量を材料の特性に依存した減衰モデルとフィッティングさせることによって材料の特性を決定している。
特表2008−545123号公報
上述した特許文献1に記載の技術において、基準振幅スペクトルは、観測対象と同じ形状を有し、観測対象と対等の超音波速度を有する一方、超音波の減衰が実質的に生じない材料からなる基準対象(基準片)を用いて設定される。このようにして設定される基準振幅スペクトルを用いた観測対象の特性の決定方法は、規則的な構造を有する材料の場合には有効であるものの、構造自体が不規則な生体組織の場合に適用することは難しい。
また、上記特許文献1に記載の技術において、材料の特性を決定する際には、散乱や吸収などの減衰の原因に応じて異なる複数の減衰モデルを用いることにより、多くの計算を行う必要がある。
本発明は、上記に鑑みてなされたものであって、観測対象に適合した超音波の減衰特性を簡易な計算によって求めることができるとともに、その減衰特性を利用した観測を行うことができる超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る超音波観測装置は、観測対象に対して送信した超音波が該観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号の周波数を解析することによって複数の周波数スペクトルを算出する周波数解析部と、前記複数の周波数スペクトルの特徴量をそれぞれ算出し、前記超音波が前記観測対象を伝播する際の互いに異なる減衰特性を与える少なくとも三つの減衰率候補値の各々において、各周波数スペクトルの特徴量に対して前記超音波の減衰の影響を排除する減衰補正を行うことによって前記各周波数スペクトルの補正特徴量を算出し、前記減衰率候補値ごとに前記補正特徴量の統計的なばらつきを算出した後、該統計的なばらつきに基づく二次関数を生成し、該二次関数において前記統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する特徴量算出部と、前記最適な減衰率に基づく前記補正特徴量を視覚情報と関連づけて前記エコー信号から生成された超音波画像とともに表示する特徴量画像データを生成する特徴量画像データ生成部と、を備えたことを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記特徴量画像データ生成部が用いるデータのダイナミックレンジよりも広いダイナミックレンジのデータを用いて前記最適な減衰率の設定を行うことを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記各周波数スペクトルをn次式(nは正の整数)で近似する処理を行うことによって前記特徴量を算出することを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記周波数スペクトルにおける所定の周波数帯域を一次式で近似し、前記一次式の切片および傾き、ならびに前記周波数帯域の中間周波数における前記一次式の値であるミッドバンドフィットのうち、前記傾きおよび前記ミッドバンドフィットのいずれか一方を含む一つまたは複数を前記特徴量として算出し、前記傾きおよび前記ミッドバンドフィットのいずれか一方に基づいて前記最適な減衰率を設定することを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記傾きを前記特徴量として算出する場合は前記傾きに基づいて前記最適な減衰率を設定し、前記ミッドバンドフィットを前記特徴量として算出する場合は前記ミッドバンドフィットに基づいて前記最適な減衰率を設定することを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記超音波画像の全てのフレームで前記最適な減衰率を設定することを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記超音波画像の1より大きい所定数のフレームごとに前記最適な減衰率を設定し、前記最適な減衰率を設定しないフレームでは、該フレーム以前で最後に設定された前記最適な減衰率を用いて前記各周波数スペクトルの特徴量を算出することを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量算出部は、前記超音波画像の全てのフレームで前記最適な減衰率に相当する最適減衰率相当値を算出し、1より大きい所定数のフレームで算出した前記最適減衰率相当値をもとに前記最適な減衰率を設定することを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量画像データは、前記最適な減衰率に関する情報を含むことを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記特徴量画像データに対応する特徴量画像を表示する表示部をさらに備えたことを特徴とする。
本発明に係る超音波観測装置は、上記発明において、前記周波数解析部が前記周波数スペクトルを算出する対象領域の設定入力を受け付ける入力部をさらに備え、前記周波数解析部は、前記対象領域で反射された前記超音波エコーをもとに前記周波数スペクトルを算出することを特徴とする。
本発明に係る超音波観測装置の作動方法は、観測対象に対して送信した超音波が該観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号の周波数を解析することによって複数の周波数スペクトルを算出する周波数解析ステップと、特徴量算出部が、前記複数の周波数スペクトルの特徴量をそれぞれ算出し、前記超音波が前記観測対象を伝播する際の互いに異なる減衰特性を与える少なくとも三つの減衰率候補値の各々において、各周波数スペクトルの特徴量に対して前記超音波の減衰の影響を排除する減衰補正を行うことによって前記各周波数スペクトルの補正特徴量を算出し、前記減衰率候補値ごとに前記補正特徴量の統計的なばらつきを算出した後、該統計的なばらつきに基づく二次関数を生成し、該二次関数において前記統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する特徴量算出ステップと、特徴量画像データ生成部が、前記最適な減衰率に基づく前記補正特徴量を視覚情報と関連づけて前記エコー信号から生成された超音波画像とともに表示する特徴量画像データを生成する特徴量画像データ生成ステップと、を含むことを特徴とする。
本発明に係る超音波観測装置の作動プログラムは、観測対象に対して送信した超音波が該観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号の周波数を解析することによって複数の周波数スペクトルを算出する周波数解析手順と、特徴量算出部が、前記複数の周波数スペクトルの特徴量をそれぞれ算出し、前記超音波が前記観測対象を伝播する際の互いに異なる減衰特性を与える少なくとも三つの減衰率候補値の各々において、各周波数スペクトルの特徴量に対して前記超音波の減衰の影響を排除する減衰補正を行うことによって前記各周波数スペクトルの補正特徴量を算出し、前記減衰率候補値ごとに前記補正特徴量の統計的なばらつきを算出した後、該統計的なばらつきに基づく二次関数を生成し、該二次関数において前記統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する特徴量算出手順と、特徴量画像データ生成部が、前記最適な減衰率に基づく前記補正特徴量を視覚情報と関連づけて前記エコー信号から生成された超音波画像とともに表示する特徴量画像データを生成する特徴量画像データ生成手順と、を超音波観測装置に実行させることを特徴とする。
本発明によれば、観測対象に適合した超音波の減衰特性を簡易な計算によって求めることができるとともに、その減衰特性を利用した観測を行うことができるという効果を奏する。
図1は、本発明の一実施の形態に係る超音波観測装置を備えた超音波観測システムの構成を示すブロック図である。 図2は、本発明の一実施の形態に係る超音波観測装置の信号増幅部が行う増幅処理における受信深度と増幅率との関係を示す図である。 図3は、本発明の一実施の形態に係る超音波観測装置の増幅補正部が行う増幅補正処理における受信深度と増幅率との関係を示す図である。 図4は、超音波信号の1つの音線におけるデータ配列を模式的に示す図である。 図5は、本発明の一実施の形態に係る超音波観測装置の周波数解析部が算出する周波数スペクトルの例を示す図である。 図6は、本発明の一実施の形態に係る超音波観測装置の減衰補正部が補正した補正特徴量をパラメータとして有する直線を示す図である。 図7は、同じ観測対象に対して2つの異なる減衰率候補値に基づいてそれぞれ減衰補正された補正特徴量の分布例を模式的に示す図である。 図8は、減衰率候補値と、減衰率候補値に基づきそれぞれ減衰補正された補正特徴量の分散との関係を模式的に示す図である。 図9は、本発明の一実施の形態に係る超音波観測装置が行う処理の概要を示すフローチャートである。 図10は、本発明の一実施の形態に係る超音波観測装置の周波数解析部が実行する処理の概要を示すフローチャートである。 図11は、本発明の一実施の形態に係る超音波観測装システムの表示装置における特徴量画像の表示例を模式的に示す図である。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
(実施の形態)
図1は、本発明の一実施の形態に係る超音波観測装置を備えた超音波観測システムの構成を示すブロック図である。同図に示す超音波観測システム1は、観測対象である被検体へ超音波を送信し、該被検体で反射された超音波を受信する超音波内視鏡2と、超音波内視鏡2が取得した超音波信号に基づいて超音波画像を生成する超音波観測装置3と、超音波観測装置3が生成した超音波画像を表示する表示装置4と、を備える。
超音波内視鏡2は、その先端部に、超音波観測装置3から受信した電気的なパルス信号を超音波パルス(音響パルス)に変換して被検体へ照射するとともに、被検体で反射された超音波エコーを電圧変化で表現する電気的なエコー信号に変換して出力する超音波振動子21を有する。
超音波内視鏡2は、通常は撮像光学系および撮像素子を有しており、被検体の消化管(食道、胃、十二指腸、大腸)、または呼吸器(気管・気管支)へ挿入され、消化管や呼吸器、その周囲臓器(膵臓、胆嚢、胆管、胆道、リンパ節、縦隔臓器、血管等)を撮像することが可能である。また、超音波内視鏡2は、撮像時に被検体へ照射する照明光を導くライトガイドを有する。このライトガイドは、先端部が超音波内視鏡2の被検体への挿入部の先端まで達している一方、基端部が照明光を発生する光源装置に接続されている。
超音波観測装置3は、超音波内視鏡2と電気的に接続され、所定の波形および送信タイミングに基づいて高電圧パルスからなる送信信号(パルス信号)を超音波振動子21へ送信するとともに、超音波振動子21から電気的な受信信号であるエコー信号を受信してデジタルの高周波(RF:Radio Frequency)信号のデータ(以下、RFデータという)を生成、出力する送受信部31と、送受信部31から受信したRFデータをもとにデジタルのBモード用受信データを生成する信号処理部32と、送受信部31から受信したRFデータに対して所定の演算を施す演算部33と、各種画像データを生成する画像処理部34と、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける入力部35と、超音波観測システム1全体を制御する制御部36と、超音波観測装置3の動作に必要な各種情報を記憶する記憶部37と、を備える。
送受信部31は、エコー信号を増幅する信号増幅部311を有する。信号増幅部311は、受信深度が大きいエコー信号ほど高い増幅率で増幅するSTC(Sensitivity Time Control)補正を行う。図2は、信号増幅部311が行う増幅処理における受信深度と増幅率との関係を示す図である。図2に示す受信深度zは、超音波の受信開始時点からの経過時間に基づいて算出される量である。図2に示すように、増幅率β(dB)は、受信深度zが閾値zthより小さい場合、受信深度zの増加に伴ってβからβth(>β0)へ線型に増加する。また、増幅率β(dB)は、受信深度zが閾値zth以上である場合、一定値βthをとる。閾値zthの値は、観測対象から受信する超音波信号がほとんど減衰してしまい、ノイズが支配的になるような値である。より一般に、増幅率βは、受信深度zが閾値zthより小さい場合、受信深度zの増加に伴って単調増加すればよい。なお、図2に示す関係は、予め記憶部37に記憶されている。
送受信部31は、信号増幅部311によって増幅されたエコー信号に対してフィルタリング等の処理を施した後、A/D変換することによって時間ドメインのRFデータを生成し、信号処理部32および演算部33へ出力する。なお、超音波内視鏡2が複数の素子をアレイ状に設けた超音波振動子21を電子的に走査させる構成を有する場合、送受信部31は、複数の素子に対応したビーム合成用の多チャンネル回路を有する。
送受信部31が送信するパルス信号の周波数帯域は、超音波振動子21におけるパルス信号の超音波パルスへの電気音響変換の線型応答周波数帯域をほぼカバーする広帯域にするとよい。また、信号増幅部311におけるエコー信号の各種処理周波数帯域は、超音波振動子21による超音波エコーのエコー信号への音響電気変換の線型応答周波数帯域をほぼカバーする広帯域にするとよい。これらにより、後述する周波数スペクトルの近似処理を実行する際、精度のよい近似を行うことが可能となる。
送受信部31は、制御部36が出力する各種制御信号を超音波内視鏡2に対して送信するとともに、超音波内視鏡2から識別用のIDを含む各種情報を受信して制御部36へ送信する機能も有する。
信号処理部32は、RFデータに対してバンドパスフィルタ、包絡線検波、対数変換など公知の処理を施し、デジタルのBモード用受信データを生成する。対数変換では、RFデータを基準電圧Vcで除した量の常用対数をとってデシベル値で表現する。信号処理部32は、生成したBモード用受信データを、画像処理部34へ出力する。信号処理部32は、CPU(Central Processing Unit)や各種演算回路等を用いて実現される。
演算部33は、送受信部31が生成したRFデータに対して受信深度によらず増幅率βを一定とするよう増幅補正を行う増幅補正部331と、増幅補正を行ったRFデータに高速フーリエ変換(FFT:Fast Fourier Transform)を施して周波数解析を行うことにより周波数スペクトルを算出する周波数解析部332と、周波数スペクトルの特徴量を算出する特徴量算出部333と、を有する。演算部33は、CPU(Central Processing Unit)や各種演算回路等を用いて実現される。
図3は、増幅補正部331が行う増幅補正処理における受信深度と増幅率との関係を示す図である。図3に示すように、増幅補正部331が行う増幅処理における増幅率β(dB)は、受信深度zがゼロのとき最大値βth−β0をとり、受信深度zがゼロから閾値zthに達するまで線型に減少し、受信深度zが閾値zth以上のときゼロである。このように定められる増幅率によって増幅補正部331がデジタルRF信号を増幅補正することにより、信号処理部32におけるSTC補正の影響を相殺し、一定の増幅率βthの信号を出力することができる。なお、増幅補正部331が行う受信深度zと増幅率βの関係は、信号処理部32における受信深度と増幅率の関係に応じて異なることは勿論である。
このような増幅補正を行う理由を説明する。STC補正は、アナログ信号波形の振幅を全周波数帯域にわたって均一に、かつ、深度に対しては単調増加する増幅率で増幅させることで、アナログ信号波形の振幅から減衰の影響を排除する補正処理である。このため、エコー信号の振幅を輝度に変換して表示するBモード画像を生成する場合、かつ、一様な組織を走査した場合には、STC補正を行うことによって深度によらず輝度値が一定になる。すなわち、Bモード画像の輝度値から減衰の影響を排除する効果を得ることができる。
一方、本実施の形態のように超音波の周波数スペクトルを算出して解析した結果を利用する場合、STC補正でも超音波の伝播に伴う減衰の影響を正確に排除できるわけではない。なぜなら、一般に減衰量は周波数によって異なるが(後述する式(1)を参照)、STC補正の増幅率は距離だけに応じて変化し、周波数依存性がないためである。
上述した問題、すなわち、超音波の周波数スペクトルを算出して解析した結果を利用する場合、STC補正でも超音波の伝播に伴う減衰の影響を正確に排除できるわけではない、という問題を解決するには、Bモード画像を生成する際にSTC補正を施した受信信号を出力する一方、周波数スペクトルに基づいた画像を生成する際に、Bモード画像を生成するための送信とは異なる新たな送信を行い、STC補正を施していない受信信号を出力することが考えられる。ところがこの場合には、受信信号に基づいて生成される画像データのフレームレートが低下してしまうという問題がある。
そこで、本実施の形態では、生成される画像データのフレームレートを維持しつつ、Bモード画像用にSTC補正を施した信号に対してSTC補正の影響を排除するために、増幅補正部331によって増幅率の補正を行う。
周波数解析部332は、増幅補正部331が増幅補正した各音線のRFデータ(ラインデータ)を所定の時間間隔でサンプリングし、サンプルデータを生成する。周波数解析部332は、サンプルデータ群にFFT処理を施すことにより、RFデータ上の複数の箇所(データ位置)における周波数スペクトルを算出する。
図4は、超音波信号の1つの音線におけるデータ配列を模式的に示す図である。同図に示す音線SRkにおいて、白または黒の長方形は、1つのサンプル点におけるデータを意味している。また、音線SRkにおいて、右側に位置するデータほど、超音波振動子21から音線SRkに沿って計った場合の深い箇所からのサンプルデータである。音線SRkは、送受信部31が行うA/D変換におけるサンプリング周波数(例えば50MHz)に対応した時間間隔で離散化されている。図4では、番号kの音線SRkの8番目のデータ位置を受信深度zの方向の初期値Z(k) 0として設定した場合を示しているが、初期値の位置は任意に設定することができる。周波数解析部332による算出結果は複素数で得られ、記憶部37に格納される。
図4に示すデータ群Fj(j=1、2、・・・、K)は、FFT処理の対象となるサンプルデータ群である。一般に、FFT処理を行うためには、サンプルデータ群が2のべき乗のデータ数を有している必要がある。この意味で、サンプルデータ群Fj(j=1、2、・・・、K−1)はデータ数が16(=24)で正常なデータ群である一方、サンプルデータ群FKは、データ数が12であるため異常なデータ群である。異常なデータ群に対してFFT処理を行う際には、不足分だけゼロデータを挿入することにより、正常なサンプルデータ群を生成する処理を行う。この点については、周波数解析部332の処理を説明する際に詳述する(図9を参照)。
図5は、周波数解析部332が算出する周波数スペクトルの例を示す図である。ここでいう「周波数スペクトル」とは、サンプルデータ群をFFT処理を施すことによって得られた「ある受信深度zにおける強度の周波数分布」を意味する。また、ここでいう「強度」とは、例えばエコー信号の電圧、エコー信号の電力、超音波エコーの音圧、超音波エコーの音響エネルギー等のパラメータ、これらパラメータの振幅や時間積分値やその組み合わせのいずれかを指す。
図5では、横軸が周波数fである。また、図5では、縦軸が、強度I0を基準強度Ic(定数)で除した量の常用対数(デシベル表現)I=10log10(I0/Ic)である。図5に示す直線L10については後述する。なお、本実施の形態において、曲線および直線は、離散的な点の集合からなる。
図5に示す周波数スペクトルC1において、以後の演算に使用する周波数帯域の下限周波数fLおよび上限周波数fHは、超音波振動子21の周波数帯域、送受信部31が送信するパルス信号の周波数帯域などをもとに決定されるパラメータである。以下、図5において、下限周波数fLおよび上限周波数fHによって定まる周波数帯域を「周波数帯域U」という。
一般に、周波数スペクトルは、観測対象が生体組織である場合、超音波が走査された生体組織の性状によって異なる傾向を示す。これは、周波数スペクトルが、超音波を散乱する散乱体の大きさ、数密度、音響インピーダンス等と相関を有しているためである。ここでいう「生体組織の性状」とは、例えば悪性腫瘍(癌)、良性腫瘍、内分泌腫瘍、粘液性腫瘍、正常組織、嚢胞、脈管などのことである。
特徴量算出部333は、複数の周波数スペクトルの特徴量をそれぞれ算出し、超音波が観測対象を伝播する際の互いに異なる減衰特性を与える複数の減衰率候補値の各々において、各周波数スペクトルの特徴量(以下、補正前特徴量という)に対して超音波の減衰の影響を排除する減衰補正を行うことによって各周波数スペクトルの補正特徴量を算出し、該補正特徴量を用いて複数の減衰率候補値の中から観測対象に最適な減衰率を設定する。
特徴量算出部333は、周波数スペクトルを直線で近似することによって周波数スペクトルの補正前特徴量を算出する近似部333aと、近似部333aが算出した補正前特徴量に対して複数の減衰率候補値の各々に基づいた減衰補正を行うことによって補正特徴量を算出する減衰補正部333bと、減衰補正部333bがすべての周波数スペクトルに対して算出した補正特徴量の統計的なばらつきに基づいて複数の減衰率候補値の中から最適な減衰率を設定する最適減衰率設定部333cと、を有する。
近似部333aは、所定周波数帯域における周波数スペクトルの回帰分析を行って周波数スペクトルを一次式(回帰直線)で近似することにより、この近似した一次式を特徴付ける補正前特徴量を算出する。例えば、図5に示す周波数スペクトルC1の場合、近似部333aは、周波数帯域Uで回帰分析を行い周波数スペクトルC1を一次式で近似することによって回帰直線L10を得る。換言すると、近似部333aは、回帰直線L10の傾きa0、切片b0、および周波数帯域Uの中心周波数fM=(fL+fH)/2の回帰直線上の値であるミッドバンドフィット(Mid-band fit)c0=a0M+b0を補正前特徴量として算出する。
3つの補正前特徴量のうち、傾きa0は、超音波の散乱体の大きさと相関を有し、一般に散乱体が大きいほど傾きが小さな値を有すると考えられる。また、切片b0は、散乱体の大きさ、音響インピーダンスの差、散乱体の数密度(濃度)等と相関を有している。具体的には、切片b0は、散乱体が大きいほど大きな値を有し、音響インピーダンスの差が大きいほど大きな値を有し、散乱体の数密度が大きいほど大きな値を有すると考えられる。ミッドバンドフィットc0は、傾きa0と切片b0から導出される間接的なパラメータであり、有効な周波数帯域内の中心におけるスペクトルの強度を与える。このため、ミッドバンドフィットc0は、散乱体の大きさ、音響インピーダンスの差、散乱体の数密度に加えて、Bモード画像の輝度とある程度の相関を有していると考えられる。なお、特徴量算出部333は、回帰分析によって二次以上の多項式で周波数スペクトルを近似するようにしてもよい。
減衰補正部333bが行う補正について説明する。一般に、超音波の減衰量A(f,z)は、超音波が受信深度0と受信深度zとの間を往復する間に生じる減衰であり、往復する前後の強度変化(デシベル表現での差)として定義される。減衰量A(f,z)は、一様な組織内では周波数に比例することが経験的に知られており、以下の式(1)で表現される。
A(f,z)=2αzf ・・・(1)
ここで、比例定数αは減衰率と呼ばれる量である。また、zは超音波の受信深度であり、fは周波数である。減衰率αの具体的な値は、観測対象が生体である場合、生体の部位に応じて定まる。減衰率αの単位は、例えばdB/cm/MHzである。本実施の形態において、減衰補正部333bは、最も適合する減衰率(最適な減衰率)をそれぞれ設定するために、複数の減衰率候補値に対してそれぞれ減衰補正を行う。複数の減衰率候補値の詳細については、図8を参照して後述する。
減衰補正部333bは、近似部333aが抽出した補正前特徴量(傾きa0、切片b0、ミッドバンドフィットc0)に対し、以下に示す式(2)〜(4)にしたがって減衰補正を行うことにより、補正特徴量a、b、cを算出する。
a=a0+2αz ・・・(2)
b=b0 ・・・(3)
c=c0+A(fM,z)=c0+2αzfM(=afM+b)・・・(4)
式(2)、(4)からも明らかなように、減衰補正部333bは、超音波の受信深度zが大きいほど、補正量が大きい補正を行う。また、式(3)によれば、切片に関する補正は恒等変換である。これは、切片が周波数0(Hz)に対応する周波数成分であって減衰の影響を受けないためである。
図6は、減衰補正部333bが補正した補正特徴量a、b、cをパラメータとして有する直線を示す図である。直線L1の式は、
I=af+b=(a0+2αz)f+b0 ・・・(5)
で表される。この式(5)からも明らかなように、直線L1は、減衰補正前の直線L10と比較して、傾きが大きく(a>a0)、かつ切片が同じ(b=b0)である。
最適減衰率設定部333cは、減衰補正部333bがすべての周波数スペクトルに対して減衰率候補値ごとに算出した補正特徴量の統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する。本実施の形態では、統計的なばらつきを示す量として分散を適用する。この場合、最適減衰率設定部333cは、分散が最小となる減衰率候補値を最適な減衰率として設定する。上述した3つの補正特徴量a、b、cのうち独立なのは2つである。加えて、補正特徴量bは減衰率に依存しない。したがって、補正特徴量a、cに対して最適な減衰率を設定する場合、最適減衰率設定部333cは、補正特徴量aおよびcのいずれか一方の分散を算出すればよい。
ただし、最適減衰率設定部333cが最適な減衰率を設定する際に用いる補正特徴量は、特徴量画像データ生成部342が特徴量画像データを生成する際に用いる補正特徴量と同じ種類であることが好ましい。すなわち、特徴量画像データ生成部342が補正特徴量として傾きを用いて特徴量画像データを生成する場合は補正特徴量aの分散を適用し、特徴量画像データ生成部342が補正特徴量としてミッドバンドフィットを用いて特徴量画像データを生成する場合は補正特徴量cの分散を適用するのがより好ましい。これは、減衰量A(f,z)を与える式(1)があくまで理想的なものに過ぎず、現実には以下の式(6)の方が適切であることによる。
A(f,z)=2αzf+2α1z ・・・(6)
式(6)の右辺第2項のα1は、超音波の受信深度zに比例して信号強度が変化する大きさを表す係数であり、観測対象の組織が不均一であることや、ビーム合成時のチャンネル数の変更などに起因して発生する信号強度の変化を表す係数である。式(6)の右辺第2項が存在するため、補正特徴量としてミッドバンドフィットを用いて特徴量画像データを生成する場合は、補正特徴量cの分散を用いて最適な減衰率を設定した方が正確に減衰を補正することができる(式(4)を参照)。一方、周波数fに比例する係数である傾きを用いて特徴量画像データを生成する場合は、補正特徴量aの分散を用いて最適な減衰率を設定した方が、右辺第2項の影響を排除して正確に減衰を補正することができる。例えば、減衰率αの単位がdB/cm/MHzである場合、係数α1の単位はdB/cmである。
ここで、統計的なばらつきに基づいて最適な減衰率を設定することができる理由を説明する。観測対象に最適な減衰率を適用した場合、観測対象と超音波振動子21との距離に関わらず、特徴量は観測対象に固有の値へ収束し、統計的なばらつきが小さくなると考えられる。その一方で、観測対象に適合しない減衰率候補値を最適な減衰率とした場合、減衰補正が過剰であるかまたは不足するため、超音波振動子21との距離に応じて特徴量にずれが生じ、特徴量の統計的なばらつきが大きくなると考えられる。したがって、統計的なばらつきが最も小さい減衰率候補値が、観察対象にとって最適な減衰率であるということができる。
図7は、同じ観測対象に対して2つの異なる減衰率候補値に基づいてそれぞれ減衰補正された補正特徴量の分布例を模式的に示す図である。図7では、横軸を補正特徴量とし、縦軸を頻度としている。図7に示す2つの分布曲線N1、N2は、頻度の総和が同じである。図7に示す場合、分布曲線N1は、分布曲線N2と比較して特徴量の統計的なばらつきが小さく(分散が小さく)、山が急峻な形状をなす。したがって、最適減衰率設定部333cは、この2つの分布曲線N1、N2に対応する2つの減衰率候補値から最適な減衰率を設定する場合、分布曲線N1に対応する減衰率候補値を最適な減衰率として設定する。
一般に、減衰率候補値と、減衰率候補値ごとに算出した補正特徴量の統計的なばらつきである分散とは、フレームごとに一つの二次関数が決まることが知られている。本実施の形態では、最適減衰率設定部333cは、複数(本実施の形態では3つ)の減衰率候補値に基づきそれぞれ減衰補正された補正特徴量cの分散をもとに生成された二次関数において最小となる値(極値)を求め、該極値に応じた減衰候補値を最適な減衰率として設定する。これは、観測対象が一様と仮定した場合、減衰率の真値と、ばらつきを最小とする減衰率αとが等しいという性質を利用して、極値に基づき最適な減衰率を設定するものである。なお、減衰率候補値は、四つ以上設定されるものであってもよいが、演算処理による負荷軽減の観点から、三つであることが好ましい。
本実施の形態では、三つの減衰候補値(減衰率候補値α1,α2,α3)が予め記憶部37に記憶され、最適減衰率設定部333cは、この三つの減衰率候補値を用いて最適な減衰率の設定を行う。減衰率候補値α1,α2,α3は、0.0以上の値であって、観測対象が生体組織である場合、生体組織の減衰率は一般に0.6付近であるため、三つの減衰候補値のうち最も小さい減衰率候補値が0.6以下であり、かつ最も大きい値が0.6以上であることが好ましい。
図8は、減衰率候補値α1,α2,α3と、この減衰率候補値α1,α2,α3に基づきそれぞれ減衰補正された補正特徴量の分散S(α1),S(α2),S(α3)をもとに生成された二次関数Qとの関係を模式的に示す図である。最適減衰率設定部333cは、予め設定されている減衰率候補値α1,α2,α3に基づきそれぞれ減衰補正された補正特徴量cの分散S(α1),S(α2),S(α3)を求め、得られた分散S(α1),S(α2),S(α3)を通過する二次関数Qを生成する。この際に得られる二次関数は、下に凸の関数である。最適減衰率設定部333cは、生成した二次関数Qの極値を求め、該極値に応じた減衰率候補値αSを最適な減衰率として設定する。
ここで、同一フレームのRFデータにおいて、複数の減衰候補値に基づく分散が、同一の二次関数上に存在し、かつこの二次関数が下に凸となる理由について説明する。以下の説明では、補正特徴量c(ミッドバンドフィット)の分散を例に説明する。補正特徴量cの分散をVc(α)とすると、上記式(4)より、下式(7)が導出される。式(7)において、iはサンプル点を識別する添え字であり、各補正特徴量ciとこれらの補正特徴量の相加平均との差の二乗の和を求めることで、分散Vc(α)を算出する。
Figure 0006138402
上記式(7)より、下式(8)が導出される。なお、下式(8)では、往復距離をL(L=2z)としている。
Figure 0006138402
式(8)において、Vc(α)におけるα2の係数は、正の値となる。したがって、Vc(α)は、下に凸の二次関数となる。
また、補正特徴量aの分散についても、補正特徴量aの分散をVa(α)とすると、上記式(2)より、下式(9)が導出される。
Figure 0006138402
上記式(9)より、上述した分散Vc(α)と同様に計算すると、下式(10)が導出される。
Figure 0006138402
式(10)において、Va(α)におけるα2の係数は、正の値となる。したがって、Va(α)についても、下に凸の二次関数となる。
画像処理部34は、エコー信号の振幅を輝度に変換して表示する超音波画像であるBモード画像データを生成するBモード画像データ生成部341と、最適減衰率設定部333cが設定した最適な減衰率に基づく特徴量を視覚情報と関連づけてBモード画像とともに表示する特徴量画像データを生成する特徴量画像データ生成部342と、を有する。
Bモード画像データ生成部341は、信号処理部32から受信したBモード用受信データに対してゲイン処理、コントラスト処理等の公知の技術を用いた信号処理を行うとともに、表示装置4における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引き等を行うことによってBモード画像データを生成する。Bモード画像は、色空間としてRGB表色系を採用した場合の変数であるR(赤)、G(緑)、B(青)の値を一致させたグレースケール画像である。
Bモード画像データ生成部341は、信号処理部32からのBモード用受信データに走査範囲を空間的に正しく表現できるよう並べ直す座標変換を施した後、Bモード用受信データ間の補間処理を施すことによってBモード用受信データ間の空隙を埋め、Bモード画像データを生成する。Bモード画像データ生成部341は、生成したBモード画像データを特徴量画像データ生成部342へ出力する。
特徴量画像データ生成部342は、特徴量算出部333が算出した特徴量に関連する視覚情報をBモード画像データにおける画像の各画素に対して重畳することによって特徴量画像データを生成する。特徴量画像データ生成部342は、例えば図4に示す1つのサンプルデータ群Fj(j=1、2、・・・、K)のデータ量に対応する画素領域に対し、そのサンプルデータ群Fjから算出される周波数スペクトルの特徴量に対応する視覚情報を割り当てる。特徴量画像データ生成部342は、例えば上述した傾き、切片、ミッドバンドフィットのいずれか一つに視覚情報としての色相を対応付けることによって特徴量画像を生成する。なお、特徴量画像データ生成部342が、傾き、切片、ミッドバンドフィットから選択される2つの特徴量の一方に色相を対応付けるとともに、他方に明暗を対応付けることによって特徴量画像データを生成するようにしてもよい。特徴量に関連する視覚情報としては、例えば色相、彩度、明度、輝度値、R(赤)、G(緑)、B(青)などの所定の表色系を構成する色空間の変数を挙げることができる。
制御部36は、演算および制御機能を有するCPU(Central Processing Unit)や各種演算回路等を用いて実現される。制御部36は、記憶部37が記憶、格納する情報を記憶部37から読み出し、超音波観測装置3の作動方法に関連した各種演算処理を実行することによって超音波観測装置3を統括して制御する。なお、制御部36を信号処理部32および演算部33と共通のCPU等を用いて構成することも可能である。
記憶部37は、減衰率候補値α1,α2,α3、減衰補正部333bが減衰率候補値に応じて周波数スペクトルごとに算出した複数の特徴量、および該複数の特徴量の統計的なばらつきを与える分散を減衰率候補値と対応づけて記憶する特徴量情報記憶部371を有する。
記憶部37は、上記以外にも、例えば増幅処理に必要な情報(図2に示す増幅率と受信深度との関係)、増幅補正処理に必要な情報(図3に示す増幅率と受信深度との関係)、減衰補正処理に必要な情報(式(1)参照)、周波数解析処理に必要な窓関数(Hamming、Hanning、Blackman等)の情報等を記憶する。
また、記憶部37は、超音波観測装置3の作動方法を実行するための作動プログラムを含む各種プログラムを記憶する。作動プログラムは、ハードディスク、フラッシュメモリ、CD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
以上の構成を有する記憶部37は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)等を用いて実現される。
本実施の形態において、減衰補正部333bでは、補正特徴量のダイナミックレンジが、画像処理部34が行うゲイン処理、コントラスト処理等で設定可能な範囲に応じて設定されていることが好ましい。具体的には、減衰率候補値α1,α2,α3は、特徴量画像として表示する特徴量が、上述したゲイン処理、コントラスト処理等で設定可能な範囲に応じた表示に係るダイナミックレンジ内となるように、0.0〜2.0の間で設定される三つの値である。例えば、減衰候補値が2.0より大きいと、算出した補正特徴量が、ダイナミックレンジを超えてしまい、補正特徴量として保持することができない場合が生じる。これにより、統計的なばらつきの値が異なるものとなってしまい、例えば分散に基づき生成される関数が二次関数とならず、減衰率を最適な値に設定することができなくなる。すなわち、本実施の形態に係る減衰率候補値α1,α2,α3は、0.0〜2.0の範囲において設定される値であって、三つの減衰候補値のうち最も小さい減衰率候補値が0.6以下であり、かつ最も大きい値が0.6以上であることが好ましい。特に、観測対象が生体組織であって、固有小数点方式を用いる場合、クリップによる計算精度の低下を抑制するため、三つの減衰候補値が0.6付近の値にそれぞれ設定されることがさらに好ましい。
図9は、以上の構成を有する超音波観測装置3が行う処理の概要を示すフローチャートである。まず、超音波観測装置3は、超音波内視鏡2から超音波振動子21による観測対象の測定結果としてのエコー信号を受信する(ステップS1)。
超音波振動子21からエコー信号を受信した信号増幅部311は、そのエコー信号の増幅を行う(ステップS2)。ここで、信号増幅部311は、例えば図2に示す増幅率と受信深度との関係に基づいてエコー信号の増幅(STC補正)を行う。
続いて、Bモード画像データ生成部341は、信号増幅部311が増幅したエコー信号を用いてBモード画像データを生成して、表示装置4へ出力する(ステップS3)。Bモード画像データを受信した表示装置4は、そのBモード画像データに対応するBモード画像を表示する(ステップS4)。
増幅補正部331は、送受信部31から出力された信号に対して受信深度によらず増幅率が一定となる増幅補正を行う(ステップS5)。ここで、増幅補正部331は、例えば図3に示す増幅率と受信深度との関係が成立するように増幅補正を行う。
増幅補正後、周波数解析部332は、FFT演算による周波数解析を行うことによって特徴量画像データを生成する領域である関心領域内の全てのサンプルデータ群に対する周波数スペクトルを算出する(ステップS6:周波数解析ステップ)。図10は、ステップS6において周波数解析部332が実行する処理の概要を示すフローチャートである。以下、図10に示すフローチャートを参照して、周波数解析処理を詳細に説明する。
まず、周波数解析部332は、解析対象の音線を識別するカウンタkをk0とする(ステップS21)。
続いて、周波数解析部332は、FFT演算用に取得する一連のデータ群(サンプルデータ群)を代表するデータ位置(受信深度に相当)Z(k)の初期値Z(k) 0を設定する(ステップS22)。例えば、図4では、上述したように、音線SRkの8番目のデータ位置を初期値Z(k) 0として設定した場合を示している。
その後、周波数解析部332は、サンプルデータ群を取得し(ステップS23)、取得したサンプルデータ群に対し、記憶部37が記憶する窓関数を作用させる(ステップS24)。このようにサンプルデータ群に対して窓関数を作用させることにより、サンプルデータ群が境界で不連続になることを回避し、アーチファクトが発生するのを防止することができる。
続いて、周波数解析部332は、データ位置Z(k)のサンプルデータ群が正常なデータ群であるか否かを判定する(ステップS25)。図4を参照した際に説明したように、サンプルデータ群は、2のべき乗のデータ数を有している必要がある。以下、正常なサンプルデータ群のデータ数を2n(nは正の整数)とする。本実施の形態では、データ位置Z(k)が、できるだけZ(k)が属するサンプルデータ群の中心になるよう設定される。具体的には、サンプルデータ群のデータ数は2nであるので、Z(k)はそのサンプルデータ群の中心に近い2n/2(=2n-1)番目の位置に設定される。この場合、サンプルデータ群が正常であるとは、データ位置Z(k)の前方に2n-1−1(=Nとする)個のデータがあり、データ位置Z(k)の後方に2n-1(=Mとする)個のデータがあることを意味する。図4に示す場合、サンプルデータ群Fj(j=1、2、・・・、K−1)はともに正常である。なお、図4ではn=4(N=7,M=8)の場合を例示している。
ステップS25における判定の結果、データ位置Z(k)のサンプルデータ群が正常である場合(ステップS25:Yes)、周波数解析部332は、後述するステップS27へ移行する。
ステップS25における判定の結果、データ位置Z(k)のサンプルデータ群が正常でない場合(ステップS25:No)、周波数解析部332は、不足分だけゼロデータを挿入することによって正常なサンプルデータ群を生成する(ステップS26)。ステップS25において正常でないと判定されたサンプルデータ群(例えば図4のサンプルデータ群FK)は、ゼロデータを追加する前に窓関数が作用されている。このため、サンプルデータ群にゼロデータを挿入してもデータの不連続は生じない。ステップS26の後、周波数解析部332は、後述するステップS27へ移行する。
ステップS27において、周波数解析部332は、サンプルデータ群を用いてFFT演算を行うことにより、振幅の周波数分布である周波数スペクトルを得る(ステップS27)。図5に示す周波数スペクトルC1は、ステップS27の結果として得られる周波数スペクトルの一例である。
続いて、周波数解析部332は、データ位置Z(k)をステップ幅Dで変化させる(ステップS28)。ステップ幅Dは、記憶部37が予め記憶しているものとする。図4では、D=15の場合を例示している。ステップ幅Dは、Bモード画像データ生成部341がBモード画像データを生成する際に利用するデータステップ幅と一致させることが望ましいが、周波数解析部332における演算量を削減したい場合には、ステップ幅Dとしてデータステップ幅より大きい値を設定してもよい。
その後、周波数解析部332は、データ位置Z(k)が音線SRkにおける最大値Z(k) maxより大きいか否かを判定する(ステップS29)。データ位置Z(k)が最大値Z(k) maxより大きい場合(ステップS29:Yes)、周波数解析部332はカウンタkを1増加させる(ステップS30)。これは、処理をとなりの音線へ移すことを意味する。一方、データ位置Z(k)が最大値Z(k) max以下である場合(ステップS29:No)、周波数解析部332はステップS23へ戻る。このようにして、周波数解析部332は、音線SRkに対して、[(Z(k) max−Z(k) 0+1)/D+1]個のサンプルデータ群に対するFFT演算を行う。ここで、[X]は、Xを超えない最大の整数を表す。
ステップS30の後、周波数解析部332は、カウンタkが最大値kmaxより大きいか否かを判定する(ステップS31)。カウンタkが最大値kmaxより大きい場合(ステップS31:Yes)、周波数解析部332は一連の周波数解析処理を終了する。一方、カウンタkが最大値kmax以下である場合(ステップS31:No)、周波数解析部332はステップS22に戻る。この最大値kmaxは、術者等のユーザが入力部35を通じて任意に指示入力した値、もしくは、記憶部37にあらかじめ設定された値とする。
このようにして、周波数解析部332は、解析対象領域内の(kmax−k0+1)本の音線の各々について複数回のFFT演算を行う。FFT演算の結果は、受信深度および受信方向とともに記憶部37に格納される。
なお、以上の説明では、設定された関心領域内においてのみ周波数解析処理を行うものとしたが、周波数解析部332が超音波信号を受信したすべての領域に対して周波数解析処理を行うようにすることも可能である。
以上説明したステップS6の周波数解析処理に続いて、特徴量算出部333は、複数の周波数スペクトルの補正前特徴量をそれぞれ算出し、超音波が観測対象を伝播する際の互いに異なる減衰特性を与える複数の減衰率候補値の各々において、各周波数スペクトルの補正前特徴量に対して超音波の減衰の影響を排除する減衰補正を行うことによって各周波数スペクトルの補正特徴量を算出し、該補正特徴量を用いて各減衰率候補値ごとの分散を算出し、減衰率候補値と分散との関係を示す二次関数を生成して極値を求めることで観測対象に最適な減衰率を設定する(ステップS7〜S12:特徴量算出ステップ)。以下、ステップS7〜S12の処理を詳細に説明する。
ステップS7において、近似部333aは、周波数解析部332が算出した複数の周波数スペクトルをそれぞれ回帰分析することにより、減衰率設定対象の分割領域の各周波数スペクトルに対応する補正前特徴量を算出する(ステップS7)。具体的には、近似部333aは、各周波数スペクトルを回帰分析することによって一次式で近似し、補正前特徴量として傾きa0、切片b0、ミッドバンドフィットc0を算出する。例えば、図5に示す直線L10は、近似部333aが周波数帯域Uの周波数スペクトルC1に対し回帰分析によって近似した回帰直線である。
この後、最適減衰率設定部333cは、後述する減衰補正を行う際に適用する減衰率候補値の値を所定の設定値α1,α2,α3に設定する。この設定値α1,α2,α3の値は、予め特徴量情報記憶部371が記憶しておき、最適減衰率設定部333cが特徴量情報記憶部371を参照するようにすればよい。
続いて、減衰補正部333bは、近似部333aが各周波数スペクトルに対して近似した補正前特徴量に対し、設定値α1,α2,α3を減衰率候補値として減衰補正を行うことにより、補正特徴量をそれぞれ算出し、設定値α1,α2,α3とともに特徴量情報記憶部371に格納する(ステップS8)。図6に示す直線L1は、減衰補正部333bが減衰補正処理を行うことによって得られる直線の例である。
ステップS8において、減衰補正部333bは、上述した式(2)、(4)における受信深度zに、超音波信号の音線のデータ配列を用いて得られるデータ位置Z=(fsp/2vs)Dnを代入することによって補正特徴量を算出する。ここで、fspはデータのサンプリング周波数、vsは音速、Dはデータステップ幅、nは処理対象のサンプルデータ群のデータ位置までの音線の1番目のデータからのデータステップ数である。例えば、データのサンプリング周波数fspを50MHzとし、音速vsを1530m/secとし、図6に示すデータ配列を採用してステップ幅Dを15とすると、Z=0.2295n(mm)となる。
最適減衰率設定部333cは、減衰補正部333bが各周波数スペクトルに対して減衰補正することによって得られた複数の補正特徴量のうち代表となる補正特徴量の分散を算出し、設定値α1,α2,α3と対応づけて特徴量情報記憶部371へ格納する(ステップS9)。補正特徴量が傾きa、ミッドバンドフィットcである場合、上述した図8のように、最適減衰率設定部333cは、例えば、補正特徴量cの分散を算出する。ステップS19において、最適減衰率設定部333cは、特徴量画像データ生成部342が、傾きを用いて特徴量画像データを生成する場合は補正特徴量aの分散を適用し、ミッドバンドフィットを用いて特徴量画像データを生成する場合は補正特徴量cの分散を適用するのが好ましい。
この後、最適減衰率設定部333cは、設定値α1,α2,α3に基づきそれぞれ減衰補正された補正特徴量cの分散をもとに二次関数を生成する(ステップS10)。最適減衰率設定部333cは、生成された二次関数の極値を求め(ステップS11)、該極値に応じた減衰率候補値を最適な減衰率として設定する(ステップS12)。
最適減衰率設定部333cは、図8に示したように、減衰率候補値αSが0.65(dB/cm/MHz)のときに分散が極値S(α)minをとる場合、α=0.65(dB/cm/MHz)を最適な減衰率として設定する。
特徴量画像データ生成部342は、Bモード画像データ生成部341が生成したBモード画像データにおける各画素に対し、ステップS12で特定された最適な減衰率に基づく補正特徴量に関連づけた視覚情報(例えば色相)を重畳するとともに、最適な減衰率の情報を加えることによって特徴量画像データを生成する(ステップS13:特徴量画像データ生成ステップ)。
この後、表示装置4は、制御部36の制御のもと、特徴量画像データ生成部342が生成した特徴量画像データに対応する特徴量画像を表示する(ステップS14)。図11は、表示装置4における特徴量画像の表示例を模式的に示す図である。同図に示す特徴量画像201は、Bモード画像に特徴量に関する視覚情報が重畳された画像を表示する重畳画像表示部202と、観測対象の識別情報および最適な減衰率として設定された減衰率候補値の情報を表示する情報表示部203とを有する。なお、情報表示部203に、特徴量の情報、近似式の情報、設定値α1,α2,α3に基づきそれぞれ減衰補正された補正特徴量の分散をもとに生成された二次関数の情報、ゲインやコントラスト等の画像情報等をさらに表示するようにしてもよい。また、特徴量画像に対応するBモード画像を特徴量画像と並べて表示してもよい。また、減衰率候補値の情報を表示するか否かの指示信号を入力部35が受け付け可能な構成としてもよい。
以上説明してきた一連の処理(ステップS1〜S14)において、ステップS4の処理とステップS5〜S12の処理とを並行して行うようにしてもよい。
以上説明した本発明の一実施の形態によれば、予め設定された三つの設定値(設定値α1,α2,α3)を減衰率候補値として減衰補正を行うことにより、補正特徴量をそれぞれ算出し、補正特徴量の分散をもとに生成した二次関数の極値を求め、該極値に応じた減衰候補値を最適な減衰率として設定するようにしたので、観測対象に適合した超音波の減衰特性を簡易な計算によって高速に求めることができるとともに、その減衰特性を利用した観測を行うことができる。
また、本実施の形態によれば、各周波数スペクトルを減衰補正した補正特徴量の統計的なばらつきに基づいて最適な部分減衰率を設定するため、複数の減衰モデルとフィッティングを行う従来技術と比較して、計算量を削減することができる。
また、本実施の形態によれば、観測対象に適合する減衰率が未知の場合であっても、最適な減衰率を設定することができる。
また、本実施の形態によれば、減衰率候補値としての設定値α1,α2,α3を、0.0以上の値であって、三つの減衰候補値のうち最も小さい減衰率が0.6以下であり、かつ最も大きい値が0.6以上とすることによって、一般に0.6付近の減衰率である生体組織を観測対象とした際の最適な減衰率の算出精度を向上することができる。
また、本実施の形態によれば、二次関数の極値に応じた減衰率を最適な減衰率として設定するようにしたので、予め設定されている減衰率候補値よりも桁数の大きな数値を減衰率として設定することが可能となり、最適な減衰率の算出精度を向上することができる。
また、本実施の形態によれば、減衰率候補値α1,α2,α3を、特徴量画像として表示する特徴量がダイナミックレンジ内となるように、0.0〜2.0の間で設定することで、生体組織を観測対象とした際の最適な減衰率の算出精度を向上することができる。
また、本実施の形態によれば、情報表示部203に、設定値α1,α2,α3に基づきそれぞれ減衰補正された補正特徴量の分散をもとに生成された二次関数の情報をさらに表示させることによって、二次関数の生成において生じたエラーなどをユーザが確認し、把握することができる。
(実施の形態の変形例)
次に、本発明の実施の形態の変形例について説明する。本変形例では、最適減衰率設定部333cが、特徴量画像として表示する際のダイナミックレンジよりも広いダイナミックレンジで最適な減衰率を設定する。
具体的には、特徴量画像データ生成部342が生成する画像の表示ダイナミックレンジを70dBとすると、特徴量算出部333は、このダイナミックレンジ(70dB)よりも大きなダイナミックレンジ(例えば100dB)で減衰演算処理を行なう。例えば、特徴量画像データ生成部342が、8bitの固定小数点方式を用いるのに対し、特徴量算出部333は、32bitの浮動小数点方式を用いて特徴量の算出から最適な減衰率の設定までを含む減衰演算処理を行なう。
本変形例によれば、固定小数点方式を用いた減衰演算処理と比して、演算精度を向上させることができる。補正前特徴量の演算から分散に基づく二次関数の生成を一層高精度に行うことで、最適な減衰率を高精度に算出することができる。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。例えば、最適減衰率設定部333cは、超音波画像の全てのフレームで最適な減衰率に相当する最適減衰率相当値をそれぞれ算出し、最新のフレームにおける最適減衰率相当値を含む所定数の最適減衰率相当値の平均値、中央値または最頻値を最適な減衰率として設定してもよい。この場合には、各フレームで最適な減衰率を設定する場合と比較して、最適な減衰率の変化が少なくなってその値を安定させることができる。
また、最適減衰率設定部333cは、超音波画像の所定のフレーム間隔で最適な減衰率を設定するようにしてもよい。これにより、計算量を大幅に削減することができる。この場合には、次に最適な減衰率を設定するまでの間、最後に設定した最適な減衰率の値を使用すればよい。
また、統計的なばらつきを算出する対象領域を音線ごととしてもよいし、受信深度が所定値以上の領域としてもよい。これらの領域の設定を入力部35が受け付け可能な構成としてもよい。
また、入力部35が減衰率候補値の設定値α1,α2,α3の設定変更の入力を受け付け可能な構成としてもよい。
また、統計的なばらつきを与える量として、例えば標準偏差、母集団における特徴量の最大値と最小値の差、特徴量の分布の半値幅のいずれかを適用することも可能である。なお、統計的なばらつきを与える量として分散の逆数を適用する場合も考えられるが、この場合には、その二次関数が上に凸となり、その極値に応じた減衰率候補値が最適な減衰率となることはいうまでもない。
また、最適減衰率設定部333cが、複数種類の補正特徴量の統計的なばらつきをそれぞれ算出し、統計的なばらつきに基づき生成された二次関数の極値に応じた減衰率候補値を最適な部分減衰率として設定することも可能である。
また、超音波プローブとして、光学系のない細径の超音波ミニチュアプローブを適用してもよい。超音波ミニチュアプローブは、通常、胆道、胆管、膵管、気管、気管支、尿道、尿管へ挿入され、その周囲臓器(膵臓、肺、前立腺、膀胱、リンパ節等)を観察する際に用いられる。
また、超音波プローブとして、被検体の体表から超音波を照射する体外式超音波プローブを適用してもよい。体外式超音波プローブは、通常、腹部臓器(肝臓、胆嚢、膀胱)、乳房(特に乳腺)、甲状腺を観察する際に用いられる。
また、超音波振動子は、リニア振動子でもラジアル振動子でもコンベックス振動子でも構わない。超音波振動子がリニア振動子である場合、その走査領域は矩形(長方形、正方形)をなし、超音波振動子がラジアル振動子やコンベックス振動子である場合、その走査領域は扇形や円環状をなす。また、超音波内視鏡は、超音波振動子をメカ的に走査させるものであってもよいし、超音波振動子として複数の素子をアレイ状に設け、送受信にかかわる素子を電子的に切り替えたり、各素子の送受信に遅延をかけたりすることで、電子的に走査させるものであってもよい。
このように、本発明は、請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態を含みうるものである。
以上のように、本発明にかかる超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラムは、観測対象に適合した超音波の減衰特性を簡易な計算によって求めるとともに、その減衰特性を利用した観測を行うのに有用である。
1 超音波観測システム
2 超音波内視鏡
3 超音波観測装置
4 表示装置
21 超音波振動子
31 送受信部
32 信号処理部
33 演算部
34 画像処理部
35 入力部
36 制御部
37 記憶部
201 特徴量画像
202 重畳画像表示部
203 情報表示部
331 増幅補正部
332 周波数解析部
333 特徴量算出部
333a 近似部
333b 減衰補正部
333c 最適減衰率設定部
341 Bモード画像データ生成部
342 特徴量画像データ生成部
371 特徴量情報記憶部
1 周波数スペクトル

Claims (14)

  1. 観測対象に対して照射した超音波が該観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号の周波数を解析することによって複数の周波数スペクトルを算出する周波数解析部と、
    前記複数の周波数スペクトルの特徴量をそれぞれ算出する近似部と、
    前記超音波が前記観測対象を伝播する際の互いに異なる減衰特性を与える少なくとも三つの減衰率候補値のそれぞれによって、各周波数スペクトルの特徴量に対して前記超音波の減衰の影響を排除する減衰補正をそれぞれい、前記複数の周波数スペクトルの補正特徴量を算出する減衰補正部と、
    前記減衰率候補値ごとに前記補正特徴量の統計的なばらつきを算出した後、前記統計的なばらつきに基づく二次関数を生成し、前記二次関数において前記統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する最適減衰率設定部と、
    前記最適減衰率設定部が設定した前記最適な減衰率によって前記減衰補正部が算出した前記補正特徴量に基づく特徴量画像データを生成する特徴量画像データ生成部と、
    を備えたことを特徴とする超音波観測装置。
  2. 前記最適な減衰率に基づく前記補正特徴量を視覚情報と関連づけて前記エコー信号から生成された超音波画像とともに表示部に表示させる制御部をさらに備えたことを特徴とする請求項1に記載の超音波観測装置。
  3. 前記最適減衰率設定部は、前記特徴量画像データ生成部が用いるデータのダイナミックレンジよりも広いダイナミックレンジのデータを用いて前記最適な減衰率の設定を行うことを特徴とする請求項1に記載の超音波観測装置。
  4. 前記近似部は、
    前記各周波数スペクトルをn次式(nは正の整数)で近似する処理を行うことによって前記特徴量を算出することを特徴とする請求項に記載の超音波観測装置。
  5. 前記近似部は、前記周波数スペクトルにおける所定の周波数帯域を一次式で近似し、前記一次式の切片および傾き、ならびに前記周波数帯域の中間周波数における前記一次式の値であるミッドバンドフィットのうち、前記傾きおよび前記ミッドバンドフィットのいずれか一方を含む一つまたは複数を前記特徴量として算出し、
    前記最適減衰率設定部は、前記傾きおよび前記ミッドバンドフィットのいずれか一方に基づいて前記最適な減衰率を設定することを特徴とする請求項に記載の超音波観測装置。
  6. 前記最適減衰率設定部は、
    前記傾きを前記特徴量として算出する場合は前記傾きに基づいて前記最適な減衰率を設定し、前記ミッドバンドフィットを前記特徴量として算出する場合は前記ミッドバンドフィットに基づいて前記最適な減衰率を設定することを特徴とする請求項に記載の超音波観測装置。
  7. 前記最適減衰率設定部は、
    前記超音波画像の全てのフレームで前記最適な減衰率を設定することを特徴とする請求項に記載の超音波観測装置。
  8. 前記最適減衰率設定部は、前記超音波画像の1より大きい所定数のフレームごとに前記最適な減衰率を設定し、
    前記減衰補正部は、前記最適な減衰率を設定しないフレームでは、該フレーム以前で最後に設定された前記最適な減衰率を用いて前記各周波数スペクトルの補正特徴量を算出することを特徴とする請求項に記載の超音波観測装置。
  9. 前記最適減衰率設定部は、
    前記超音波画像の全てのフレームで前記最適な減衰率に相当する最適減衰率相当値を算出し、1より大きい所定数のフレームで算出した前記最適減衰率相当値をもとに前記最適な減衰率を設定することを特徴とする請求項に記載の超音波観測装置。
  10. 前記特徴量画像データは、前記最適な減衰率に関する情報を含むことを特徴とする請求項に記載の超音波観測装置。
  11. 前記特徴量画像データに対応する特徴量画像を表示する表示部をさらに備えたことを特徴とする請求項に記載の超音波観測装置。
  12. 前記周波数解析部が前記周波数スペクトルを算出する対象領域の設定入力を受け付ける入力部をさらに備え、
    前記周波数解析部は、前記対象領域で反射された前記超音波エコーをもとに前記周波数スペクトルを算出することを特徴とする請求項に記載の超音波観測装置。
  13. 周波数解析部が、観測対象に対して照射した超音波が該観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号の周波数を解析することによって複数の周波数スペクトルを算出する周波数解析ステップと、
    近似部が、前記複数の周波数スペクトルの特徴量をそれぞれ算出する特徴量算出ステップと、
    減衰補正部が、前記超音波が前記観測対象を伝播する際の互いに異なる減衰特性を与える少なくとも三つの減衰率候補値のそれぞれによって、各周波数スペクトルの特徴量に対して前記超音波の減衰の影響を排除する減衰補正をそれぞれい、前記複数の周波数スペクトルの補正特徴量を算出する減衰補正ステップと、
    最適減衰率設定部が、前記減衰率候補値ごとに前記補正特徴量の統計的なばらつきを算出した後、該統計的なばらつきに基づく二次関数を生成し、該二次関数において前記統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する最適減衰率設定ステップと、
    特徴量画像データ生成部が、前記最適減衰率設定部が設定した前記最適な減衰率によって前記減衰補正部が算出した前記補正特徴量に基づく特徴量画像データを生成する特徴量画像データ生成ステップと、
    を含むことを特徴とする超音波観測装置の作動方法。
  14. 周波数解析部が、観測対象に対して照射した超音波が該観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号の周波数を解析することによって複数の周波数スペクトルを算出する周波数解析手順と、
    近似部が、前記複数の周波数スペクトルの特徴量をそれぞれ算出する特徴量算出手順と、
    減衰補正部が、前記超音波が前記観測対象を伝播する際の互いに異なる減衰特性を与える少なくとも三つの減衰率候補値のそれぞれによって、各周波数スペクトルの特徴量に対して前記超音波の減衰の影響を排除する減衰補正をそれぞれい、前記複数の周波数スペクトルの補正特徴量を算出する減衰補正ステップと、
    最適減衰率設定部が、前記減衰率候補値ごとに前記補正特徴量の統計的なばらつきを算出した後、該統計的なばらつきに基づく二次関数を生成し、該二次関数において前記統計的なばらつきが最小である減衰率候補値を最適な減衰率として設定する最適減衰率設定手順と、
    特徴量画像データ生成部が、前記最適減衰率設定部が設定した前記最適な減衰率によって前記減衰補正部が算出した前記補正特徴量に基づく特徴量画像データを生成する特徴量画像データ生成手順と、
    を超音波観測装置に実行させることを特徴とする超音波観測装置の作動プログラム。
JP2017509164A 2015-03-31 2015-12-02 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム Active JP6138402B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015072726 2015-03-31
JP2015072726 2015-03-31
PCT/JP2015/083938 WO2016157624A1 (ja) 2015-03-31 2015-12-02 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム

Publications (2)

Publication Number Publication Date
JP6138402B2 true JP6138402B2 (ja) 2017-05-31
JPWO2016157624A1 JPWO2016157624A1 (ja) 2017-06-08

Family

ID=57004084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509164A Active JP6138402B2 (ja) 2015-03-31 2015-12-02 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム

Country Status (5)

Country Link
US (1) US20180028158A1 (ja)
EP (1) EP3278737A4 (ja)
JP (1) JP6138402B2 (ja)
CN (1) CN107405136A (ja)
WO (1) WO2016157624A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7432426B2 (ja) * 2020-04-01 2024-02-16 富士フイルムヘルスケア株式会社 超音波診断装置、信号処理装置および信号処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2825091B2 (ja) * 1985-11-18 1998-11-18 株式会社島津製作所 超音波診断装置における超音波吸収係数の周波数依存特性測定方法
JPH02193651A (ja) * 1989-01-20 1990-07-31 Fujitsu Ltd 超音波減衰係数の推定方法
JP5079177B2 (ja) * 2010-11-11 2012-11-21 オリンパスメディカルシステムズ株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2012063929A1 (ja) * 2010-11-11 2012-05-18 オリンパスメディカルシステムズ株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
CN102858251B (zh) * 2010-11-11 2014-12-17 奥林巴斯医疗株式会社 超声波观测装置及超声波观测方法
JP5054254B2 (ja) * 2010-11-11 2012-10-24 オリンパスメディカルシステムズ株式会社 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
WO2012133878A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 超音波観測装置および超音波観測装置の作動方法および超音波観測装置の作動プログラム
EP2719337A4 (en) * 2012-05-30 2015-04-08 Olympus Medical Systems Corp ULTRASONIC OBSERVATION DEVICE, OPERATING METHOD FOR A ULTRASONIC OBSERVATION DEVICE AND OPERATING PROGRAM FOR AN ULTRASONIC OBSERVATION DEVICE
WO2014017255A1 (ja) * 2012-07-27 2014-01-30 オリンパスメディカルシステムズ株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
EP3167809A4 (en) * 2014-07-11 2018-04-04 Olympus Corporation Ultrasonic observation device, method for operating ultrasonic observation device, and program for operating ultrasonic observation device

Also Published As

Publication number Publication date
US20180028158A1 (en) 2018-02-01
EP3278737A1 (en) 2018-02-07
CN107405136A (zh) 2017-11-28
EP3278737A4 (en) 2019-01-02
JPWO2016157624A1 (ja) 2017-06-08
WO2016157624A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP5974210B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2016151951A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5948527B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2018142937A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2017110756A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6289772B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6892320B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2016202567A (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2016181869A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6138402B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2018191779A (ja) 超音波観測装置
WO2016103848A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6157790B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2017113145A (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5981072B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6022135B1 (ja) 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
JP6253572B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2016181856A1 (ja) 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
US20210345990A1 (en) Ultrasound imaging apparatus, operating method of ultrasound imaging apparatus, and computer-readable recording medium
JP6010274B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5927367B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5953457B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5932184B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2016103849A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP2017217313A (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170309

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170309

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170425

R151 Written notification of patent or utility model registration

Ref document number: 6138402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250