JP5777650B2 - 超音波診断装置および超音波画像生成方法 - Google Patents

超音波診断装置および超音波画像生成方法 Download PDF

Info

Publication number
JP5777650B2
JP5777650B2 JP2013014505A JP2013014505A JP5777650B2 JP 5777650 B2 JP5777650 B2 JP 5777650B2 JP 2013014505 A JP2013014505 A JP 2013014505A JP 2013014505 A JP2013014505 A JP 2013014505A JP 5777650 B2 JP5777650 B2 JP 5777650B2
Authority
JP
Japan
Prior art keywords
radius
image data
ultrasonic
expansion
contraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013014505A
Other languages
English (en)
Other versions
JP2014144141A (ja
Inventor
雅史 野口
雅史 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013014505A priority Critical patent/JP5777650B2/ja
Priority to US14/166,260 priority patent/US11074693B2/en
Publication of JP2014144141A publication Critical patent/JP2014144141A/ja
Application granted granted Critical
Publication of JP5777650B2 publication Critical patent/JP5777650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves

Description

本発明は、超音波診断装置および超音波画像生成方法に係り、特に、超音波プローブから超音波の送受信を行うことで得られた受信信号に基づいて超音波画像を生成し、表示部に超音波画像を表示する超音波診断装置に関する。
従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、この種の超音波診断装置は、超音波プローブのアレイトランスデューサから被検体内に向けて超音波ビームを送信し、被検体からの超音波エコーをアレイトランスデューサで受信して、その受信信号を診断装置本体で電気的に処理することにより超音波画像が生成される。
また、近年、例えば、特許文献1〜3に開示されているように、超音波画像を生成する際に、超音波画像について膨張処理および収縮処理などのモルフォロジー処理を行うことでノイズ除去やエッジ強調などの画像処理を施し、画質を改善した超音波画像を生成する超音波診断装置が提案されている。
WO09/128213号公報 特開平11−272865号公報 特開2003−098117号公報
エッジ強調において、微分を用いる方法では、画像の変化率(傾き)の大きな場所をエッジと判定するのに対し、膨張処理および収縮処理を用いる方法では、画像の変化(変化量、落差)が大きい場所をエッジと判定するため、小さな粒状ノイズの影響を受けにくく、より人間の間隔に近いエッジ判定を行うことができる。
超音波診断に際して、超音波画像内の所定のノイズを除去し所定の構造物のエッジを強調したい場合に、特許文献1〜3に記載の膨張処理および収縮処理を用いて超音波画像内のノイズ除去および構造物のエッジ強調をすることは可能である。しかし、膨張処理および収縮処理を用いたエッジ強調は、強調の掛け過ぎによるオーバーシュートまたはアンダーシュートの発生を招く可能性がある。オーバーシュートとは、エッジの立ち上がり部分が上に突出する現象をいい、アンダーシュートとは、エッジの立ち下がり部分が下に突出する現象をいう。これらオーバーシュートおよびアンダーシュートは、特に、ノイズ除去の目的で平滑化処理を行った場合に、ボケてしまったエッジ部分を復元するために強調を掛けた際に発生することが多い。
超音波画像にエッジ強調を掛けた場合、特に、オーバーシュートが問題となる。本来、薄いはずの静脈壁にオーバーシュートが発生することで動脈のように見えてしまったり、また、甲状腺などの実質の辺縁に発生することで、辺縁の粗像と勘違いされてしまったりする恐れがある。そのため、これらオーバーシュートの発生は超音波画像に基づく超音波診断において誤診を招く危険性がある。
逆に、アンダーシュートについては、血管などの黒く抜けた部分のエッジの立下がり部分はダイナミックレンジで蹴られてしまうため目立たないが、オーバーシュートと同様に誤診を招く可能性が無いわけではない。
そこで、本発明の目的は、超音波画像のエッジ強調処理の際に、超音波画像におけるオーバーシュートまたはアンダーシュートの発生を抑制することができる超音波診断装置および超音波画像生成方法を提供することにある。
上記課題を解決するために、本発明は、超音波プローブにより被検体に向けて超音波を送信し、得られた受信データに基づいて診断装置本体により超音波画像データを生成し、超音波画像を表示する超音波診断装置であって、超音波画像データに対して膨張半径に基づいて膨張処理を施して膨張画像データを生成する膨張処理部と、超音波画像データに対して膨張半径と大きさの異なる収縮半径に基づいて収縮処理を施して収縮画像データを生成する収縮処理部と、膨張画像データと収縮画像データとの差分をとって差分画像データを生成する差分処理部と、差分画像データに基づいて超音波画像データにエッジ強調処理を施してエッジ強調画像データを生成するエッジ強調部とを備えることを特徴とする超音波診断装置を提供する。
また、膨張半径は収縮半径より大きくてもよく、膨張半径は収縮半径の2倍以上であることが好ましく、更に、膨張半径と収縮半径との比は、3:1〜5:1であることが好ましい。
また、膨張半径は収縮半径より小さくてもよい。
また、超音波画像の画素ごとに周辺輝度値を算出する輝度値算出部と、膨張処理に用いる膨張半径と収縮処理に用いる収縮半径とをそれぞれ制御する半径制御部とを更に備え、半径制御部は、周辺輝度値に基づいて画素ごとに膨張半径および収縮半径をそれぞれ制御することが好ましい。
また、周辺輝度値は、画素に対応する複数の周辺画素の輝度値の平均値であることが好ましい。
また、半径制御部は、輝度値算出部で算出された周辺輝度値が所定値より低い場合には膨張半径が収縮半径より大きくなるように制御し、輝度値算出部で算出された周辺輝度値が所定値より高い場合には膨張半径が収縮半径より小さくなるように制御することが好ましい。
また、本発明は、超音波プローブにより被検体に向けて超音波を送信し、得られた受信データに基づいて診断装置本体により超音波画像データを生成し、超音波画像を表示する超音波画像生成方法であって、超音波画像データに対して膨張半径に基づいて膨張処理を施して膨張画像データを生成するとともに、超音波画像データに対して膨張半径と大きさの異なる収縮半径に基づいて収縮処理を施して収縮画像データを生成し、膨張画像データと収縮画像データとの差分をとって差分画像データを生成し、差分画像データに基づいて超音波画像データのエッジ強調処理を施してエッジ強調画像データを生成し、エッジ強調画像データに基づいて超音波画像を表示することを特徴とする超音波画像生成方法を提供する。
本発明によれば、エッジ強調の際に超音波画像におけるオーバーシュートまたはアンダーシュートの発生を抑えることで適切なエッジ強調処理のなされた超音波画像を提供することができ、超音波診断における誤診を防ぐことができる。
本発明の実施の形態1に係る超音波診断装置の全体構成を示すブロック図である。 本発明に係る超音波診断装置において肝臓を撮影した際の超音波画像の一例である。 図2に示す超音波画像において、点線で囲まれた肝静脈部分Aを抜き出した超音波画像である。 図3に示す超音波画像の点線B−Bのプロファイルと、膨張半径raを3画素(ピクセル)として膨張処理を施した場合と収縮半径rbを3画素として収縮処理を施した場合における点線B−Bのそれぞれのプロファイルを示すグラフである。 図3に示す超音波画像の点線B−Bのプロファイルと、膨張半径raを5画素として膨張処理を施した場合と収縮半径rbを1画素として収縮処理を施した場合における点線B−Bのそれぞれのプロファイルを示すグラフである。 図3に示す超音波画像の点線B−Bのプロファイルと、図4に示す膨張処理を行った場合のプロファイルと収縮処理を行った場合のプロファイルとの差分および図5に示す膨張処理を行った場合のプロファイルと収縮処理を行った場合のプロファイルとの差分をそれぞれ示すグラフである。 図3に示す超音波画像の点線B−Bのプロファイルと、従来の差分画像データに基づいて超音波画像にエッジ強調処理を施した場合と本発明に係る差分画像データに基づいて超音波画像にエッジ強調処理を施した場合における点線B−Bのそれぞれのプロファイルを示すグラフである。 (A)は、図3に示す超音波画像において、従来のエッジ強調処理を施した場合の強調超音波画像であり、(B)は、図3に示す超音波画像において、本発明に係るエッジ強調処理を施した場合の強調超音波画像である。 本発明の実施の形態2に係る超音波診断装置の全体構成を示すブロック図である。
以下、この発明の実施の形態を添付の図面に基づいて説明する。
実施の形態1
図1は、実施の形態1に係る超音波診断装置の全体構成を示すブロック図である。超音波診断装置は、超音波プローブ1とこの超音波プローブ1に接続された診断装置本体2とを備えている。
超音波プローブ1は、アレイトランスデューサ3を備え、このアレイトランスデューサ3に送受信部4が接続され、送受信部4に送受信制御部5が接続されている。
診断装置本体2は、超音波プローブ1の送受信部4に接続された信号処理部11に画像処理部12、表示制御部13、画像表示部14が順次接続され、これら信号処理部11、画像処理部12および表示制御部13のそれぞれに本体制御部15が接続される。
また、超音波プローブ1の送受信制御部5と診断装置本体2の本体制御部15とが互いに接続されている。
また、画像処理部12は、信号処理部11に接続された膨張処理部16、同じく信号処理部11に接続された収縮処理部17、膨張処理部16および収縮処理部17のそれぞれに接続し、膨張処理部16で利用する膨張半径raおよび収縮処理部17で利用する収縮半径rbが記憶された内部メモリ18、膨張処理部16および収縮処理部17に接続された差分処理部19、信号処理部11および差分処理部19のそれぞれに接続されたエッジ強調部20をそれぞれ備える。
超音波プローブ1のアレイトランスデューサ3は、1次元または2次元のアレイ状に配列された複数の超音波トランスデューサを有している。これら複数の超音波トランスデューサは、それぞれ送受信部4から供給される送信信号に従って超音波を送信するとともに被検体からの超音波エコーを受信して受信信号を出力する。各超音波トランスデューサは、例えば、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミックや、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電素子、PMN−PT(マグネシウムニオブ酸・チタン酸鉛固溶体)に代表される圧電単結晶等からなる圧電体の両端に電極を形成した振動子によって構成される。
そのような振動子の電極に、パルス状または連続波の送信信号電圧を印加すると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波の超音波が発生して、それらの超音波の合成により超音波ビームが形成される。また、それぞれの振動子は、伝搬する超音波を受信することにより伸縮して電気信号を発生し、それらの電気信号は、超音波の受信信号として出力される。
送受信部4は、送受信制御部5からの制御信号に応じて選択された送信遅延パターンに基づいて、アレイトランスデューサ3の複数の超音波トランスデューサから送信される超音波が超音波ビームを形成するようにそれぞれの送信信号の遅延量を調節して複数の超音波トランスデューサに供給する。
また、送受信部4は、アレイトランスデューサ3の各超音波トランスデューサから送信される受信信号を増幅してA/D変換した後、送受信制御部5からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、各受信信号にそれぞれの遅延を与えて加算することにより、受信フォーカス処理を行う。この受信フォーカス処理により、超音波エコーの焦点が絞り込まれた受信データ(音線信号)が生成される。
送受信制御部5は、診断装置本体2の本体制御部15から伝送される各種の制御信号に基づいて、超音波プローブ1の各部の制御を行う。送受信制御部5の指示により送受信部4で生成された受信データは、順次、診断装置本体2の信号処理部11へ出力される。
一方、診断装置本体2の信号処理部11は、受信データに基づいて超音波画像データを生成し、画像処理部12の膨張処理部16、収縮処理部17、およびエッジ強調部20にそれぞれ出力する。
画像処理部12は、超音波画像データにノイズ除去やエッジ強調などの所定の画像処理を施す。具体的な画像処理は、画像処理部12内の膨張処理部16、収縮処理部17、差分処理部19およびエッジ強調部20で行われる。
膨張処理部16は、内部メモリ18に予め記憶された膨張半径raに基づいて信号処理部11から出力された超音波画像データの膨張処理を行い、膨張画像データを生成する。生成された膨張画像データは差分処理部18へ出力される。
ここで膨張処理とは、所定の画素において、その画素を中心に膨張半径raの範囲に含まれる全ての画素の値を参照した場合に、その膨張半径raの範囲に含まれる画素のうち、最も大きい値をその中心の画素の値とする処理をいう。
また、収縮処理部17は、内部メモリ18に予め記憶された収縮半径rbに基づいて信号処理部11から出力された超音波画像データの収縮処理を行い、収縮画像データを生成する。生成された収縮画像データは差分処理部19へ出力される。
ここで収縮処理とは、所定の画素において、その画素を中心に収縮半径rbの範囲に含まれる全ての画素の値を参照した場合に、その収縮半径rbの範囲に含まれる画素のうち、最も小さい値をその中心の画素の値とする処理をいう。
内部メモリ18は、膨張処理部16で膨張処理に利用する膨張半径raと、収縮処理部17で収縮処理に利用する収縮半径rbとを記憶し、必要に応じて膨張処理部16および収縮処理部17にこれらの情報を出力する。なお、膨張半径raおよび収縮半径rbは、例えば、オペレータにより図示しない操作入力部から入力されることで本体制御部15を通じて内部メモリ18に記憶される。
従来のエッジ処理では、膨張半径raと収縮半径rbとは同じ値とされるが、本発明に係るエッジ処理では膨張半径raと収縮半径rbとは異なる値とされる。つまり、膨張半径raと収縮半径rbとは異なる値が入力される。より具体的には、膨張半径raを収縮半径rbよりも大きく設定(ra>rb)することで超音波画像におけるオーバーシュートの発生を抑えることができ、収縮半径rbを膨張半径raよりも大きく設定(rb>ra)することで超音波画像におけるアンダーシュートの発生を抑えることができる。
差分処理部19は、膨張処理部16から出力された膨張画像データと収縮処理部17から出力された収縮画像データとの差分をとり、差分画像データを生成する。生成された差分画像データは、エッジ強調部20へ出力される。
エッジ強調部20は、信号処理部11から出力された超音波画像データと、差分処理部19から出力された差分画像データとに基づいて超音波画像にエッジ強調処理を施す。具体的には、超音波画像データに、差分画像データを掛け合わせることで超音波画像のエッジが強調されたエッジ強調画像データを生成する。生成されたエッジ強調画像データは、表示制御部13に出力される。
表示制御部13は、画像処理部12のエッジ強調部20から出力されたエッジ強調画像データを画像表示部14で表示可能な表示画像データに変換し、本体制御部15の指示に基づいて画像表示部14にエッジ強調処理を施した超音波画像を表示する。
画像表示部14は、例えば、LCD等のディスプレイ装置を含んでおり、表示制御部13の制御の下で、超音波画像を表示する。
本体制御部15は、オペレータにより図示しない操作入力部から入力された操作指示により、診断装置本体2内の各部の制御を行う。
なお、信号処理部11、画像処理部12および表示制御部13は、CPUと、CPUに各種の処理を行わせるための動作プログラムから構成されるが、それらをデジタル回路で構成してもよい。
次に、本発明の実施の形態1に係る超音波診断装置の動作を説明する。
オペレータは、超音波プローブ1を被検体の診断箇所(例えば、肝臓)付近の皮膚に接触させ、超音波診断を開始する。
超音波プローブ1の送受信部4からの駆動信号に基づいてアレイトランスデューサ3の複数の超音波トランスデューサから順次超音波ビームが被検体内に送信され、複数の超音波トランスデューサで受信された被検体からの受信信号が、送受信部4に順次出力されて受信データが生成される。これら受信データは、診断装置本体2の信号処理部11に順次出力される。
信号処理部11は、受信データに基づいて超音波画像データを生成し、画像処理部12の膨張処理部16、収縮処理部17、およびエッジ強調部20にそれぞれ出力する。
膨張処理部16では内部メモリ18に予め記憶された膨張半径raに基づいて超音波画像データに対する膨張処理が行われ、膨張画像データが生成される。また、収縮処理部17では、内部メモリ18に予め記憶された収縮半径rbに基づいて超音波画像データに対する収縮処理が行われ、収縮画像データが生成される。なお、内部メモリ18に予め記憶された膨張半径raと収縮半径rbとは異なる値が設定されている。膨張処理部16で生成された膨張画像データおよび収縮処理部17で生成された収縮画像データは、それぞれ差分処理部19へ出力される。
差分処理部19は、膨張処理部16で生成された膨張画像データと収縮処理部17で生成された収縮画像データとに基づいて差分画像データを生成する。差分処理部19は、差分画像データをエッジ強調部20へ出力する。
エッジ強調部20は、信号処理部11から出力された超音波画像データと差分処理部19から出力された差分画像データに基づいてエッジ強調画像データを生成する。具体的には、超音波画像データと差分画像データとを掛け合わせることでエッジ強調画像データを生成する。
エッジ強調画像データは、表示制御部13へ出力され、画像表示部14で表示可能な表示画像データに変換され、本体制御部15の指示により画像表示部14で表示される。本体制御部15を通じて表示制御部13により画像表示部14に適切にエッジ強調がなされた超音波画像が表示される。
次に、従来例として膨張半径raと収縮半径rbとを同じ値としてエッジ強調処理を施した強調超音波画像と、実施例として膨張半径raと収縮半径rbとを異なる値としてエッジ強調処理を施した強調超音波画像とを比較する。従来例では、膨張半径raと収縮半径rbとはともに3画素(ピクセル)とし、実施例では、膨張半径raを5画素、収縮半径rbを1画素とする。
図2は、信号処理部11で生成された超音波画像データに基づく肝臓の超音波画像である。図2に示すように、肝実質の中に、黒く走る肝静脈が確認できる。
そして、図2における点線Aで囲まれた肝静脈部分を拡大した図が図3である。図3の点線B−Bに示すプロファイルに基づいて、従来のエッジ強調処理と本発明に係るエッジ強調処理とを比較する。
図4は、図3に示す超音波画像の点線B−Bのプロファイルと、従来のエッジ強調処理のとおり、膨張半径raおよび収縮半径rbをそれぞれ等しく3画素として膨張処理および収縮処理を施した場合の膨張画像および収縮画像における点線B−Bのプロファイルをそれぞれ示すグラフである。なお、図4以降のグラフの縦軸は輝度値であり、横軸は距離を表す画素(ピクセル)である。
これに対して、図5は、図3に示す超音波画像の点線B−Bのプロファイルと、本発明に係るエッジ強調処理として、膨張半径raと収縮半径rbとを異なる値、つまり膨張半径raを5画素、収縮半径rbを3画素として膨張処理および収縮処理を施した場合の膨張画像および収縮画像における点線B−Bのプロファイルをそれぞれ示すグラフである。
従来のエッジ強調処理のとおり、膨張半径raおよび収縮半径rbをそれぞれ等しく3画素とした場合、図4のグラフに示すように、元データに対してそれぞれ等しく膨張処理および収縮処理が行われているのが分かる。これに対して、本発明に係るエッジ強調処理として膨張半径raを5画素、収縮半径rbを1画素として膨張処理および収縮処理を行った場合、図5のグラフに示すように、膨張処理によって元データが大きく変化しているのに対して、収縮処理は元データからほとんど変化していないことが分かる。
図6は、図3の点線B−Bに示すプロファイル(元データ)と、従来のエッジ処理のとおり膨張半径raおよび収縮半径rbをそれぞれ等しく3画素とした場合の差分画像データに対応するプロファイルと、本発明に係るエッジ処理のとおり膨張半径raと収縮半径rbとを異なる値、つまり膨張半径raを5画素、収縮半径rbを1画素とした場合の差分画像データに対応するプロファイルをそれぞれ示すグラフである。膨張半径raを5画素、収縮半径rbを1画素とした差分画像データの方が、膨張半径raおよび収縮半径rbをそれぞれ等しく3画素とした差分画像データよりも、各々の輝度値のピークが肝静脈の内側に寄っている。つまり、本発明に係る差分画像データは、エッジの立ち下がり側に寄って抽出されていることが分かる。
図7は、図3の点線B−Bに示すプロファイル(元データ)と、従来のエッジ処理のとおり膨張半径raおよび収縮半径rbをそれぞれ等しく3画素としてエッジ強調処理を施したエッジ強調画像データに対応するプロファイルと、本発明に係るエッジ処理のとおり膨張半径raと収縮半径rbとを異なる値、つまり膨張半径raを5画素、収縮半径rbを3画素としてエッジ強調処理を施したエッジ強調画像データに対応するプロファイルをそれぞれ示すグラフである。
また、図3の超音波画像に対応して、図8(A)は、従来のエッジ処理のとおり膨張半径raおよび収縮半径rbをそれぞれ等しく3画素としてエッジ強調処理を施した強調超音波画像であり、図8(B)は、本発明に係るエッジ処理のとおり膨張半径raと収縮半径rbとを異なる値、つまり膨張半径raを5画素、収縮半径rbを3画素としてエッジ強調処理を施した強調超音波画像である。
図8(A)は、点線で囲んだ部分からも分かるように、黒く写る肝静脈の付近でオーバーシュートが起こり、画像が白くなってしまっている。また、図8(A)に対応する図7のグラフを確認しても、肝静脈の前後でオーバーシュートとみられる急な強調が行われていることが分かる。
よって、エッジ強調処理を施した図8(A)の超音波画像に基づいてオペレータや医師が診断を行った場合に、白く写るオーバーシュートによって肝静脈を血管壁の厚い肝動脈と誤診する可能性がある。
これに対して、図8(B)は、黒い肝静脈の付近でオーバーシュートが発生しておらず、また、図7の対応するグラフを確認しても、従来のエッジ強調のグラフと比較して適切なエッジ強調が行われており、オーバーシュートを発生させずに肝静脈と肝実質との境界をシャープに描画できていることが分かる。
なお、図8(A)、図8(B)において、本来はエッジの立ち下がり部分にアンダーシュートが発生しているはずであるが、画像表示時のダイナミックレンジに蹴られるため、プロファイルには現れていない。
以上から明らかなように、実施の形態1に係る超音波診断装置では、膨張半径raと収縮半径rbとに予め差を設けることで、特に、膨張半径raを収縮半径rbより大きく設定することで、エッジ強調の際に超音波画像におけるオーバーシュートの発生を抑制することができ、オペレータや医師は、オーバーシュートによる誤診の心配なく超音波画像に基づいて適切な診断を行うことができる。また、同様に、収縮半径rbを膨張半径raよりも大きく設定することで超音波画像におけるアンダーシュートの発生を抑えることができる。
実施の形態2
実施の形態1に係る超音波診断装置では、内蔵メモリ18において膨張半径raおよび収縮半径rbを予め設定しておき、これら膨張半径raおよび収縮半径rbに基づいて、超音波画像データに対して一様な膨張処理および一様な収縮処理を行っている。
これに対して、超音波画像の領域ごとに膨張半径raおよび収縮半径rbをそれぞれ制御することで、より好適なエッジ強調を行うことができる。
実施の形態2に係る超音波診断装置は、例えば、図1に示す診断装置本体2の画像処理部12において、更に輝度値算出部21と半径制御部22とを追加し、図9に示す診断装置本体102の画像処理部112としたものである。なお、実施の形態2に係る超音波診断装置は、上述の輝度値算出部21と半径制御部22とを追加した以外は、実施の形態1に係る超音波診断装置と同様の構成である。
信号処理部11は、画像処理部12の膨張処理部16、収縮処理部17、エッジ強調部20に接続されるとともに、輝度値算出部21に接続される。
また、輝度値算出部21は、半径制御部22に接続され、半径制御部22は、内蔵メモリ18に接続され、内部メモリ18は膨張処理部16および収縮処理部17にそれぞれ接続される。
画像処理部112の輝度値算出部21は、超音波画像データに基づいて、所定の画素に対する複数の周辺画素の輝度値の平均値を周辺輝度値として算出する。算出された画素ごとの周辺輝度値の情報は、半径制御部21へ出力される。
半径制御部21は、画素ごとの周辺輝度値の情報から、画素ごとの膨張半径raおよび収縮半径rbを決定する。具体的には、周辺輝度値が所定値より高い場合は、収縮半径rbを膨張半径raよりも大きくし(rb>ra)、周辺輝度値が所定値より低い場合は、膨張半径raを収縮半径rbよりも大きくする(ra>rb)ように、膨張処理部16における膨張半径raと収縮処理部17における収縮半径rbを制御する。半径制御部21によって決定された画素ごとの膨張半径raおよび収縮半径rbの情報は、内部メモリ18に記憶される。
膨張処理部16は、半径制御部21が決定し内部メモリ18に記憶された膨張半径raに基づいて膨張処理を行い、また収縮処理部17は、半径制御部21が決定し内部メモリ18に記憶された収縮半径rbに基づいて収縮処理を行う。
なお、実施の形態2に係る超音波診断装置の画像処理部112の輝度値算出部21および半径制御部22以外の構成および動作は実施の形態1と同様である。
本発明の実施の形態2に係る超音波診断装置は、超音波画像の輝度値の情報を利用することで、比較的輝度値の低い領域周辺(血管などで黒く抜けている領域)ではオーバーシュートの発生を抑制するような半径に制御し、逆に、比較的輝度の高い領域周辺(石灰化や骨など)では、アンダーシュートの発生を抑制するような半径に制御することで、超音波画像に対してより適切な強調処理を掛けることができ、より適切な強調処理のなされた超音波画像を表示することができる。
本発明において、膨張半径raと収縮半径rbとの比率は、オーバーシュートとアンダーシュートのどちらをどの程度抑えたいか、被写体の種類(肝臓等)などに寄るが、超音波画像の血管等の抜け部分において、オーバーシュートを抑える際の1つの指針としては、膨張半径raを収縮半径rbの2倍以上に設定するとよい。特に、膨張半径ra:収縮半径rbは、3:1〜5:1程度が好ましい。
また、適切な膨張半径raおよび収縮半径rbの値については、入力画像の解像度、被写体の種類、撮影条件(超音波プローブ1の帯域や中心周波数)、送信する超音波の周波数や帯域幅、スキャンライン密度、受信時の検波処理などのフィルタ特性、ハーモニックイメージング等の画像化方法などによって異なる。なお、オーダーとしては、通常の超音波画像に対して数画素程度となる。
以上、本発明の実施の形態1および実施の形態2に係る超音波診断装置について詳細に説明したが、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
1 超音波プローブ、 2、102 診断装置本体、 3 アレイトランスデューサ、 4 送受信部、 5 送受信制御部、 11 信号処理部、 12、112 画像処理部、 13 表示制御部、 14 画像表示部、 15 本体制御部、 16 膨張処理部、 17 収縮処理部、 18 内部メモリ、 19 差分処理部、 20 エッジ強調部、 21 輝度値算出部、 22 半径制御部、 ra 膨張半径、 rb 収縮半径。

Claims (9)

  1. 超音波プローブにより被検体に向けて超音波を送信し、得られた受信データに基づいて診断装置本体により超音波画像データを生成し、超音波画像を表示する超音波診断装置であって、
    前記超音波画像データに対して膨張半径に基づいて膨張処理を施して膨張画像データを生成する膨張処理部と、
    前記超音波画像データに対して前記膨張半径と大きさの異なる収縮半径に基づいて収縮処理を施して収縮画像データを生成する収縮処理部と、
    前記膨張画像データと前記収縮画像データとの差分をとって差分画像データを生成する差分処理部と、
    前記差分画像データに基づいて前記超音波画像データにエッジ強調処理を施してエッジ強調画像データを生成するエッジ強調部とを備えることを特徴とする超音波診断装置。
  2. 前記膨張半径は前記収縮半径より大きいことを特徴とする請求項1に記載の超音波診断装置。
  3. 前記膨張半径は前記収縮半径の2倍以上であることを特徴とする請求項1または2に記載の超音波診断装置。
  4. 前記膨張半径と前記収縮半径との比は、3:1〜5:1であることを特徴とする請求項1〜3のいずれかに記載の超音波診断装置。
  5. 前記膨張半径は前記収縮半径より小さいことを特徴とする請求項1に記載の超音波診断装置。
  6. 前記超音波画像の画素ごとに周辺輝度値を算出する輝度値算出部と、
    前記膨張処理に用いる前記膨張半径と前記収縮処理に用いる前記収縮半径とをそれぞれ制御する半径制御部とを更に備え、
    前記半径制御部は、前記周辺輝度値に基づいて前記画素ごとに前記膨張半径および前記収縮半径をそれぞれ制御することを特徴とする請求項1に記載の超音波診断装置。
  7. 前記周辺輝度値は、前記画素に対応する複数の周辺画素の輝度値の平均値であることを特徴とする請求項6に記載の超音波診断装置。
  8. 前記半径制御部は、前記輝度値算出部で算出された前記周辺輝度値が所定値より低い場合には前記膨張半径が前記収縮半径より大きくなるように制御し、前記輝度値算出部で算出された前記周辺輝度値が所定値より高い場合には前記膨張半径が前記収縮半径より小さくなるように制御することを特徴とする請求6または7に記載の超音波診断装置。
  9. 超音波プローブにより被検体に向けて超音波を送信し、得られた受信データに基づいて診断装置本体により超音波画像データを生成し、超音波画像を表示する超音波画像生成方法であって、
    前記超音波画像データに対して膨張半径に基づいて膨張処理を施して膨張画像データを生成するとともに、前記超音波画像データに対して前記膨張半径と大きさの異なる収縮半径に基づいて収縮処理を施して収縮画像データを生成し、
    前記膨張画像データと前記収縮画像データとの差分をとって差分画像データを生成し、
    前記差分画像データに基づいて前記超音波画像データのエッジ強調処理を施してエッジ強調画像データを生成し、
    前記エッジ強調画像データに基づいて超音波画像を表示することを特徴とする超音波画像生成方法。
JP2013014505A 2013-01-29 2013-01-29 超音波診断装置および超音波画像生成方法 Active JP5777650B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013014505A JP5777650B2 (ja) 2013-01-29 2013-01-29 超音波診断装置および超音波画像生成方法
US14/166,260 US11074693B2 (en) 2013-01-29 2014-01-28 Ultrasound diagnostic apparatus and method of producing ultrasound image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013014505A JP5777650B2 (ja) 2013-01-29 2013-01-29 超音波診断装置および超音波画像生成方法

Publications (2)

Publication Number Publication Date
JP2014144141A JP2014144141A (ja) 2014-08-14
JP5777650B2 true JP5777650B2 (ja) 2015-09-09

Family

ID=51223667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013014505A Active JP5777650B2 (ja) 2013-01-29 2013-01-29 超音波診断装置および超音波画像生成方法

Country Status (2)

Country Link
US (1) US11074693B2 (ja)
JP (1) JP5777650B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081097B2 (en) * 2012-05-01 2015-07-14 Siemens Medical Solutions Usa, Inc. Component frame enhancement for spatial compounding in ultrasound imaging
CN109389116B (zh) * 2017-08-14 2022-02-08 阿里巴巴(中国)有限公司 一种字符检测方法及装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4665554A (en) * 1983-07-13 1987-05-12 Machine Vision International Corporation Apparatus and method for implementing dilation and erosion transformations in digital image processing
FR2632071B1 (fr) * 1988-05-31 1991-03-15 Labo Electronique Physique Echographe ultrasonore a bruit d'interference reduit
JP3596786B2 (ja) * 1995-01-24 2004-12-02 富士写真フイルム株式会社 異常陰影候補の検出方法
JP3731762B2 (ja) * 1995-08-10 2006-01-05 富士写真フイルム株式会社 画像処理方法および装置
US6125214A (en) * 1995-03-29 2000-09-26 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US5787208A (en) * 1995-06-07 1998-07-28 Neopath, Inc. Image enhancement method and apparatus
JP3597272B2 (ja) * 1995-10-12 2004-12-02 富士写真フイルム株式会社 異常陰影候補の検出方法
US6047090A (en) * 1996-07-31 2000-04-04 U.S. Philips Corporation Method and device for automatic segmentation of a digital image using a plurality of morphological opening operation
JP3690882B2 (ja) * 1996-08-16 2005-08-31 富士写真フイルム株式会社 画像の強調処理方法および装置
JP2003098117A (ja) 1997-12-25 2003-04-03 Nec Corp 画像の欠陥検出装置及びその欠陥検出方法
JPH11272865A (ja) 1998-03-23 1999-10-08 Mitsubishi Electric Corp 画像セグメンテーション方法およびその装置
JP2000076436A (ja) * 1998-08-31 2000-03-14 Canon Inc 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2000126178A (ja) * 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 立体表面形状定量化方法、及びこれを応用した悪性腫瘍自動識別方法
IL127254A0 (en) * 1998-11-25 1999-09-22 Univ Ramot Method and system for automatic classification and quantitative evaluation of adnexal masses bases on a cross-sectional or projectional images of the adnex
JP3733260B2 (ja) * 1999-04-30 2006-01-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP3730872B2 (ja) * 2000-03-31 2006-01-05 富士通株式会社 画像処理装置及び画像処理プログラム
US6606421B1 (en) * 2000-05-25 2003-08-12 Hewlett-Packard Development Company, L.P. Geometric deformation correction method and system for dot pattern images
JP2002099896A (ja) * 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
JP3833177B2 (ja) * 2000-11-30 2006-10-11 キヤノン株式会社 画像処理装置、画象処理方法、記憶媒体及びプログラム
US6463175B1 (en) * 2000-12-15 2002-10-08 Shih-Jong J. Lee Structure-guided image processing and image feature enhancement
JP3486615B2 (ja) * 2001-05-22 2004-01-13 畦元 将吾 医療用画像の領域抽出方法
US6859550B2 (en) * 2001-05-31 2005-02-22 Seho Oh Robust method for image feature estimation
US7187785B2 (en) * 2001-08-28 2007-03-06 Nippon Telegraph And Telephone Corporation Image processing method and apparatus
ITVA20020060A1 (it) * 2002-11-22 2004-05-23 St Microelectronics Srl Metodo di analisi di immagini rilevate da un micro-array
US6876776B2 (en) * 2003-02-14 2005-04-05 Ikonicys, Inc. System and method for auto-focusing an image
JP4373699B2 (ja) * 2003-04-28 2009-11-25 株式会社東芝 超音波診断装置
US8021301B2 (en) * 2003-12-26 2011-09-20 Fujifilm Corporation Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
JP4652717B2 (ja) * 2004-04-26 2011-03-16 株式会社ミツトヨ 画像処理装置及び方法並びにプログラム
US20070286527A1 (en) * 2004-12-24 2007-12-13 General Electric Company System and method of determining the exposed field of view in an x-ray radiograph
KR100747093B1 (ko) * 2005-01-12 2007-08-07 주식회사 메디슨 초음파 진단 영상을 이용한 대상체의 경계를 자동으로검출하는 방법 및 초음파 진단 시스템
CN1879553B (zh) * 2005-06-15 2010-10-06 佳能株式会社 在胸部图像中检测边界的方法及装置
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
JP4197008B2 (ja) * 2006-05-15 2008-12-17 セイコーエプソン株式会社 画像処理方法、プログラム及び画像処理装置
US7713209B2 (en) * 2007-05-21 2010-05-11 Siemens Medical Solutions Usa, Inc. Targeted contrast agent imaging with medical diagnostic ultrasound
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
US20090196524A1 (en) * 2008-02-05 2009-08-06 Dts Digital Images, Inc. System and method for sharpening of digital images
WO2009128213A1 (ja) 2008-04-14 2009-10-22 株式会社日立メディコ 医用診断装置および医用診断装置の画質改善方法
US8208707B2 (en) * 2008-09-02 2012-06-26 General Electric Company Tissue classification in medical images
US20130271455A1 (en) * 2011-01-26 2013-10-17 Hitachi Medical Corporation Ultrasonic diagnostic device and image processing method
FR2974219A1 (fr) * 2011-04-18 2012-10-19 Michelin Soc Tech Analyse de l'image numerique de la surface externe d'un pneumatique - traitement des points de fausse mesure
CN111311485B (zh) * 2020-03-17 2023-07-04 Oppo广东移动通信有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
JP2014144141A (ja) 2014-08-14
US20140213900A1 (en) 2014-07-31
US11074693B2 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
US8021301B2 (en) Ultrasonic image processing apparatus, ultrasonic image processing method and ultrasonic image processing program
EP1990009A1 (en) Ultrasonic diagnostic equipment
CN104783835A (zh) 超声波诊断装置以及超声波图像生成方法
JP2009153918A (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
US9421000B2 (en) Ultrasound diagnostic apparatus, method of producing ultrasound image, and recording medium
CN106466192B (zh) 超声波诊断装置和多普勒波形图像生成方法
JP6997508B2 (ja) 超音波診断装置及びその制御プログラム
JP7370903B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP5777650B2 (ja) 超音波診断装置および超音波画像生成方法
JP2012105950A (ja) 超音波診断装置及びプログラム
JP2006000618A (ja) 超音波撮像装置、超音波画像処理方法、及び、超音波画像処理プログラム
JP2012050818A (ja) カラードップラモード映像を提供する超音波システムおよび方法
WO2020110500A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP5956375B2 (ja) 超音波診断装置
JP2006212054A (ja) 超音波観測装置、画像処理装置、及び、画像処理プログラム
JP5829198B2 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
WO2014050889A1 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
US20160139252A1 (en) Ultrasound diagnostic device, method for generating acoustic ray signal of ultrasound diagnostic device, and program for generating acoustic ray signal of ultrasound diagnostic device
JP6979854B2 (ja) 超音波診断装置及びその制御プログラム
JP2018139684A (ja) 超音波画像処理装置及び超音波画像処理方法
JP2013244206A (ja) 超音波診断装置およびデータ処理方法
JP5836241B2 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP5669631B2 (ja) 超音波診断装置および超音波診断装置の作動方法
JP2006130009A (ja) 超音波診断装置
JP4762010B2 (ja) 超音波診断装置およびその画像処理方法、その画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150707

R150 Certificate of patent or registration of utility model

Ref document number: 5777650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250