JP5984243B2 - 超音波診断装置、医用画像処理装置及びプログラム - Google Patents

超音波診断装置、医用画像処理装置及びプログラム Download PDF

Info

Publication number
JP5984243B2
JP5984243B2 JP2012006036A JP2012006036A JP5984243B2 JP 5984243 B2 JP5984243 B2 JP 5984243B2 JP 2012006036 A JP2012006036 A JP 2012006036A JP 2012006036 A JP2012006036 A JP 2012006036A JP 5984243 B2 JP5984243 B2 JP 5984243B2
Authority
JP
Japan
Prior art keywords
ultrasonic
image
blood flow
feature information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012006036A
Other languages
English (en)
Other versions
JP2013144049A (ja
Inventor
淙 姚
淙 姚
神山 直久
直久 神山
哲也 川岸
哲也 川岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2012006036A priority Critical patent/JP5984243B2/ja
Priority to US13/735,711 priority patent/US20130184583A1/en
Priority to CN201310015563.3A priority patent/CN103202714B/zh
Publication of JP2013144049A publication Critical patent/JP2013144049A/ja
Application granted granted Critical
Publication of JP5984243B2 publication Critical patent/JP5984243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、血流信号の分布の特徴を定量的に抽出する超音波診断装置、医用画像処理装置及びプログラムに関する。
超音波診断装置は、生体内情報の画像を表示する診断装置であり、X線診断装置やX線コンピュータ断層撮影装置などの他の画像診断装置に比べ、安価で被曝がなく、非侵襲性に実時間で観測するための有用な装置として利用されている。超音波診断装置の適用範囲は広く、心臓などの循環器から肝臓、腎臓などの腹部、末梢血管、産婦人科、乳癌の診断などに適用されている。
ところで、整形外科及びリウマチ等の診療においては、関心部位の血流情報を超音波診断装置を用いて取得し、当該血流の量及び形態で被検体の健康状態を把握することが一般的である。
近年では、関心領域内の血流の量は、例えば血流の速度やパワーが一定以上であることを示す血流信号を含む超音波画像(例えば、カラードプラ像またはパワードプラ像等)における当該血流信号を表現する画素数(血流存在領域を構成する画素数)等で表される。
超音波検査法を用いた関節リウマチの新しい診療 ISBN978-4-7792-0522-4 小池隆夫監修 メディカルレビュー社
例えば正常者及びリウマチ等によって微小的な血管新生が生じた患者の同じ部位の超音波画像を比較した場合、当該両者の超音波画像に含まれる血流信号を表現する画素数は大きく異ならない可能性があるが、当該血流信号の分布の特徴(つまり、血流の形態)は大きく異なる場合が多い。
すなわち、関心部位(診断部位)の正常または異常を判断するためには、血流の量以外に血流の形態をも考慮することが必要である。
上記したように血流の量は超音波画像に含まれる血流信号を表現する画素数等で表すことができる。しかしながら、血流の形態を評価する客観的なパラメータはない。
血流の形態については、通常、上記した超音波画像を検者が確認し、当該検者の経験で関心部位の正常または異常を判断するが、当該判断は検者によってばらつきが生じる場合があり、正確な結果が得られない可能性がある。換言すれば、血流の形態に対する正常または異常の判断については検者によって結果が変動する場合があり、ロバスト性が低いといえる。
目的は、血流信号の分布の特徴を定量的に抽出することが可能な超音波診断装置、医用画像処理装置及びプログラムを提供することにある。
実施形態に係る超音波診断装置は、超音波プローブと、前記超音波プローブを介して被検体に対して超音波を送受信して、走査面に関するエコー信号を発生する超音波送受信部と、前記エコー信号に基づいて走査面に対応する被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを発生する画像データ発生部と、記超音波ドプラ画像に含まれる血流存在領域の分布を示す特徴情報を発生する特徴情報発生部と、を具備する。
実施形態に係る超音波診断装置10のブロック構成を示す図である。 図1に示す画像生成回路24の詳細を説明するための図である。 画像処理ユニットの詳細を説明するための図である。 図3に示す画像処理ユニット30の処理手順を示すフローチャートである。 正常者である被検体Pの指を関心領域とした場合に得られる3次元超音波ドプラ画像の一例を示す図である。 リウマチ患者である被検体Pの指を関心領域とした場合に得られる3次元超音波ドプラ画像の一例を示す図である。 図5及び図6に示す超音波ドプラ画像に対して画像処理が実行されることによって発生されたグラフの一例を示す図。
以下、図面を参照しながら本実施形態に係わる超音波診断装置を説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る超音波診断装置10のブロック構成を示す図である。図1に示すように、超音波診断装置10は、超音波診断装置本体(以下、単に装置本体と表記)11と、超音波プローブ12と、入力装置13と、モニター14とを備える。また、装置本体(医用画像処理装置)11は、送受信ユニット21と、Bモード処理ユニット22と、ドプラ処理ユニット23と、画像生成回路24と、制御プロセッサ(CPU)25と、内部記憶装置26と、インタフェース部27と、画像メモリ28a及びソフトウェア格納部28bを有する記憶部28とを含む。なお、装置本体11に内蔵される送受信ユニット21等は、例えば集積回路等のハードウェアで構成されることもあるが、ソフトウェア的にモジュール化されたソフトウェアプログラムである場合もある。以下、個々の構成要素の機能について説明する。
超音波プローブ12は、送受信ユニット21からの駆動信号に基づき超音波を発生し、被検体Pからの反射波を電気信号に変換する複数の圧電振動子、当該圧電振動子に設けられる整合層、当該圧電振動子から後方への超音波の伝播を防止するバッキング材等を有している。超音波プローブ12から被検体Pに超音波が送信されると、当該送信超音波は、体内組織の音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ12で受信される。このエコー信号の振幅は、反射することになった不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合のエコーは、ドプラ効果により移動体の超音波送信方向の速度成分に依存して、周波数偏移を受ける。
入力装置13は、装置本体11に接続され、オペレータからの各種指示、条件、関心領域(ROI)の設定指示、種々の画質条件設定指示等を装置本体11に取り込むためのトラックボール13a、各種スイッチ・ボタン13b、マウス13c及びキーボード13d等を有している。
モニター14は、画像生成回路24からのビデオ信号に基づいて、生体内の形態学的情報や、血流情報を画像として表示する。
送受信ユニット21は、図示しないトリガ発生回路、遅延回路及びパルサ回路等を有している。パルサ回路では、所定のレート周波数fr Hz(周期;1/fr秒)で、送信超音波を形成するためのレートパルスが繰り返し発生される。また、遅延回路では、チャンネル毎に超音波をビーム状に集束し且つ送信指向性を決定するのに必要な遅延時間が、各レートパルスに与えられる。トリガ発生回路は、このレートパルスに基づくタイミングで、超音波プローブ12に駆動パルスを印加する。
なお、送受信ニット21は、制御プロセッサ25の指示に従って、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に送信駆動電圧の変更については、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または複数の電源ユニットを電気的に切り替える機構によって実現される。
また、送受信ユニット21は、図示していないアンプ回路、A/D変換器、加算器等を有している。アンプ回路では、超音波プローブ12を介して取り込まれたエコー信号をチャンネル毎に増幅する。A/D変換器では、増幅されたエコー信号に対し受信指向性を決定するのに必要な遅延時間を与え、その後加算器において加算処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
Bモード処理ユニット22は、送受信ユニット21からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度で表現されるデータを生成する。このデータは、画像生成回路24に送信され、信号強度を輝度にて表したBモード画像としてモニター14に表示される。
ドプラ処理ユニット23は、送受信ユニット21から受け取ったエコー信号から速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の血流情報を多点について求める。得られた血流情報は画像生成回路24に送られ、平均速度画像、分散画像、パワー画像、これらの組み合わせ画像としてモニター14にカラー表示される。
画像生成回路24は、超音波スキャンの走査線信号列を、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換し、表示画像としての超音波診断画像を生成する。画像生成回路24によって生成される超音波診断画像には、例えば被検体Pの走査面に関するエコー信号に基づいて発生された当該走査面に対応する超音波ドプラ画像等が含まれる。なお、この超音波ドプラ画像は、被検体Pの血流の速度またはパワーに関する画像であり、例えば被検体Pの血流の速度またはパワーが一定以上であることを示す血流信号を含む。画像生成回路24は、画像データを格納する記憶メモリを搭載しており、検査中に記録された画像を例えば診断の後に操作者が呼び出すことが可能となっている。なお、画像生成回路24に入る以前のデータは、「生データ」と呼ばれることがある。
ここで、画像生成回路24の詳細を図2に示す。図2に示すように、画像生成回路24は、信号処理回路24a、スキャンコンバータ24b及び画像処理回路24cを含む。
まず、信号処理回路24aは、超音波スキャンの走査線レベルで画質を決定するようなフィルタリングを行う。信号処理回路24aの出力は、スキャンコンバータ24bに送られると同時に、記憶部28内の画像メモリ28aに保存される。
スキャンコンバータ24bは、超音波スキャンの走査線信号列から、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換する。スキャンコンバータ24bの出力は、画像処理回路24cに送られる。
画像処理回路24cでは、スキャンコンバータ24bの出力が輝度やコントラストの調整や空間フィルタなどの画像処理、もしくは種々の設定パラメータの文字情報や目盛などと共に合成され、ビデオ信号としてモニター14に出力される。かくして被検体組織形状を表す断層像が表示される。
制御プロセッサ25は、情報処理装置(計算機)としての機能を持ち、装置本体11の動作を制御する制御手段である。制御プロセッサ25は、内部記憶装置26から後述する画像処理等を実行するための制御プログラムを読出して記憶部28内のソフトウェア格納部28b上に展開し、各種処理に関する演算・制御等を実行する。
内部記憶装置26は、例えば上記した制御プログラムや、診断情報(患者ID、医師の所見等)、診断プロトコル、送受信条件、その他のデータ群を格納している。また、内部記憶装置26は、必要に応じて、画像メモリ28a中の画像の保管などにも使用される。内部記憶装置26のデータは、インタフェース部27を経由して超音波診断装置10の外部の周辺装置へ転送することも可能である。
インタフェース部27は、入力装置13、ネットワーク、新たな外部記憶装置(図示せず)に関するインタフェースである。超音波診断装置10において得られた超音波画像等のデータや解析結果等は、インタフェース部27によってネットワークを介して他の装置に転送可能である。
なお、上記した画像メモリ28aは、各種画像データ(例えば、上記した超音波ドプラ画像等)を格納する記憶メモリから成る。この画像データは、例えば診断の後に操作者が呼び出すことが可能となっており、静止画的に、あるいは複数枚を使って動画的に再生することが可能である。また、画像メモリ28aは、送受信ユニット21直後の出力信号(radio frequency(RF)信号と呼ばれる)、Bモード処理ユニット22やドプラ処理ユニット23通過後の画像輝度信号、その他の生データ、ネットワークを介して取得した画像データ等を必要に応じて記憶する。
以下、本実施形態に係る超音波診断装置10の動作について説明する。本実施形態に係る超音波診断装置10においては、例えば血流信号の分布の特徴を定量的に抽出するための画像処理が実行される。この画像処理は、超音波診断装置10内の画像処理ユニットによって実行される。なお、この画像処理ユニットは、制御プロセッサ25が上述した内部記憶装置26に格納されている制御プログラムを実行することによって実現される。
ここで、画像処理ユニットの詳細を図3に示す。図3に示すように、画像処理ユニット30は、画像フィルタ部31、変化率算出部32及びグラフ発生部33を含む。
画像フィルタ部31は、例えば血流の速度やパワーが一定以上であることを示す血流信号を含む超音波ドプラ画像を画像メモリ28aから入力する。この超音波ドプラ画像に含まれる血流信号によれば、当該超音波ドプラ画像において関心領域内の血流存在領域が示される。なお、画像フィルタ31によって入力される超音波ドプラ画像は、2次元または3次元画像である。
画像フィルタ部31は、入力された超音波ドプラ画像に含まれる血流信号を画像処理フィルタの作用で変更する。またあるいは、超音波ドプラ画像に血流として表示された画素を画像処理フィルタの作用で変更する。画像フィルタ部31は、例えば超音波ドプラ画像に対してノイズ低減処理(フィルタ処理)を実行するノイズ低減フィルタを有する。ノイズ低減処理前後の超音波ドプラ画像は、変化率算出部32に渡される。
変化率算出部32は、ノイズ低減処理前後の超音波ドプラ画像を比較する。これにより、変化率算出部32は、超音波ドプラ画像に含まれる血流存在領域を構成する画像構成要素数(つまり、超音波ドプラ画像における血流信号を表現する画像構成要素数)の上記したノイズ低減処理による変化率を算出する。なお、超音波ドプラ画像に含まれる血流存在領域を構成する画像構成要素数とは、当該超音波ドプラ画像が3次元画像である場合には当該血流存在領域を構成するボクセル(3次元画素)数であり、当該超音波ドプラ画像が2次元画像である場合には当該血流存在領域を構成する画素数である。また、変化率算出部32は、ノイズ低減フィルタのフィルタ特性に応じた変化率を算出する。変化率算出部32によって算出された変化率は、グラフ発生部33に渡される。
グラフ発生部33は、変化率算出部32によって算出された変化率の、ノイズ低減フィルタのフィルタ特性の変化に対する依存性を示す特徴情報(例えば、グラフ)を発生する。グラフ発生部33によって発生された特徴情報は、例えば数値または図形の指標でモニター14に表示される。
ここで、上述した図1においては省略されていたが、記憶部30は正常・異常データベース28cを有する。この正常・異常データベース28cには、グラフ発生部33によって発生された特徴情報に対して基準となる特徴情報が予め格納されている。
正常・異常判定部34は、グラフ発生部33によって発生された特徴情報と正常・異常データベース28cに格納されている基準となる特徴情報とを比較することによって、当該グラフ発生部33によって発生された特徴情報(すなわち、当該特徴情報を発生するために用いられた超音波ドプラ画像が得られた被検体P)が正常または異常であることを判定する。なお、正常・異常判定部34による判定結果は、例えばモニター14に表示される。
次に、図4に示すフローチャートを参照して、図3に示す画像処理ユニット30の処理手順について説明する。
まず、画像処理ユニット30に含まれる画像フィルタ部31は、例えば画像メモリ28aに記憶されている血流信号を含む超音波ドプラ画像を入力する(ステップS1)。なお、以下の説明では、画像フィルタ部31によって入力される超音波ドプラ画像は3次元画像であるものとして説明する。
次に、画像フィルタ部31は、ノイズ低減フィルタを介して、入力された超音波ドプラ画像(に含まれる血流信号)に対してノイズ低減処理を実行する。
以下、画像フィルタ部31によって実行されるノイズ低減処理について具体的に説明する。以下の説明では、ノイズ低減処理として、モーフォロジー演算におけるオープニング処理(以下、単にオープニング処理と表記)が実行されるものとして説明する。なお、モーフォロジー演算は、画像の特徴抽出やノイズ除去等の種々の画像処理に用いられる処理である。
この場合、画像フィルタ部31は、オープニング処理において必要な演算子(オープニング処理においてどの範囲で演算を行うかを表す構造要素)を定義する(ステップS2)。このとき、画像フィルタ部31は、例えば演算子のサイズ及び形状等を定義する。ここでは、演算子のサイズ及び形状として、例えば所定の半径(例えば、半径1)の球状ボクセルが定義されたものとする。
画像フィルタ部31は、定義された演算子を用いて、超音波ドプラ画像に対してオープニング処理を実行する(ステップS3)。オープニング処理においては、定義された演算子より細かい血流構造物(血流信号によって表される血流存在領域の部分)に対して例えば重み付けが行われ、当該血流構造物が超音波ドプラ画像中から除去される。すなわち、オープニング処理が実行された後の超音波ドプラ画像は、当該オープニング処理が実行される前の超音波ドプラ画像に含まれる血流存在領域の一部(すなわち、ノイズ)が除去された画像となる。
次に、変化率算出部32は、オープニング処理前後の超音波ドプラ画像を比較することによって、当該超音波ドプラ画像に含まれる血流存在領域を構成するボクセル数(血流カウント)の変化率を算出する(ステップS4)。この場合、血流存在領域を構成するボクセル数の変化率は、例えばオープニング処理前の超音波ドプラ画像に含まれる血流存在領域を構成するボクセル数を1に正規化し、「オープニング処理後の超音波ドプラ画像に含まれる血流存在領域を構成するボクセル数/オープニング処理前の超音波ドプラ画像に含まれる血流存在領域を構成するボクセル数」で表現される。なお、このように算出される変化率は、関心領域の位置等の選択による影響が少ない。
なお、上記した演算子の定義(上記した演算子のサイズ及び形状)を変更することにより、超音波ドプラ画像中の血流存在領域の除去程度が変化する。本実施形態においては、このような演算子の定義(フィルタ特性)を適宜変化させ、当該演算子の定義毎の変化率が算出されるものとする。換言すれば、上記したステップS2〜S4の処理は、例えば演算子の定義毎に繰り返される。
次に、グラフ発生部33は、変化率算出部32によって算出された変化率の、上記した演算子の定義(フィルタ特性)の変化に対する依存性を示す特徴情報として例えばグラフ(以下、被検体グラフと表記)を発生する(ステップS5)。被検体グラフでは、演算子の定義の各々に対して算出された変化率が表される。
ここで、図5は、例えば正常者である被検体Pの指を関心領域とした場合に得られる3次元超音波ドプラ画像(以下、正常者の超音波ドプラ画像と表記)の一例を示す。また、図6は、例えばリウマチ患者である被検体Pの指を関心領域とした場合に得られる3次元超音波ドプラ画像(以下、リウマチ患者の超音波ドプラ画像と表記)の一例を示す。
図5及び図6に示すように、リウマチ患者の超音波ドプラ画像に含まれる血流存在領域(血流信号)は、リウマチ領域に生じた炎症などにより、正常者の超音波ドプラ画像に含まれる血流存在領域と比較して、広範囲に広がっている(つまり、細かい構造物が多い)。すなわち、リウマチ患者の血流(リウマチ患者の超音波ドプラ画像に含まれる血流存在領域)は、正常者と比較して乱れているという特徴がある。
図7は、図5及び図6に示す超音波ドプラ画像に対して上記したステップS1〜S5の処理(画像処理)が実行されることによって発生されたグラフの一例を示す。なお、図7においては、演算子のサイズ(ここでは、半径)を1から7まで変化させた場合の各変化率を示している。
上記したようにリウマチ患者の超音波ドプラ画像に含まれる血流存在領域は正常者の超音波ドプラ画像に含まれる血流存在領域と比較して乱れている(すなわち、血流の形態が異なる)ため、上記したように演算子のサイズ(半径)を1から7まで変化させると、正常者とリウマチ患者とでは図7に示すように異なる曲線が描かれる。具体的には、リウマチ患者の超音波ドプラ画像には細かい血流存在領域の部分(血流構造物)が多数存在していることから、演算子のサイズが比較的小さい場合であってもオープニング処理によってこれらの構造物が除去される。従って、リウマチ患者の超音波ドプラ画像から発生されるグラフでは、正常者の超音波ドプラ画像から発生されるグラフと比較して、演算子のサイズが小さい段階から上記したように算出される変化率の変化が激しく、より早く0に近づく。
このように、本実施形態においては、上記した画像処理が実行されることによって、図7に示すように超音波ドプラ画像に含まれる血流存在領域(血流信号)の分布の特徴を定量的に抽出することができる。
再び図4に戻ると、正常・異常判定部34は、正常・異常データベース28cに格納されている基準となる特徴情報(を表すグラフ)を取得する。なお、正常・異常データベース28cに格納されている基準となる特徴情報を表すグラフ(以下、基準グラフと表記)は、例えば正常または異常な被検体の3次元超音波ドプラ画像に対して上記したステップS1〜S5の処理が実行されることによって発生されたグラフ(以下、正常グラフまたは異常グラフと表記)を含む。
正常・異常判定部34は、被検体グラフと取得された基準グラフとを比較することによって、当該グラフ発生部33によって発生されたグラフに描かれる曲線(すなわち、被検体P)が正常または異常であることを判定する(ステップS6)。例えば基準グラフが例えば正常グラフである場合、被検体グラフが当該正常グラフと類似していれば被検体Pが正常であると判定することができ、被検体グラフが当該正常グラフと大きく異なっていれば被検体Pが異常であると判定することができる。一方、基準グラフが例えば異常グラフである場合、被検体グラフが当該異常グラフと類似していれば被検体Pが異常であると判定することができる。
具体例としては、正常グラフと被検体グラフとの相関係数を計算し、同様に、異常グラフと被検体グラフとの相関係数を計算することによって、高い相関係数が計算されたグラフに従って正常または異常であることを判定することができる。
なお、ステップS6における正常または異常の判定処理においては、絶対的な定量化指標(例えば、正規化されたボクセル数の変化率)が用いられてもよいし、相対的な定量化指標(例えば、被検体グラフと基準グラフとによって挟まれる面積)が用いられてもよい。
正常・異常判定部34による判定結果は、例えばモニター14に表示される(ステップS7)。
ステップS7においては正常・異常判定部34による判定結果が表示されるものとして説明したが、当該判定処理を実行することなく、被検体Pが正常または異常であることを判断するためのパラメータとして上記したステップS4において算出された変化率またはステップS5において発生されたグラフ(被検体グラフ)のみがモニター14に表示されてもよいし、被検体グラフと基準グラフとが比較可能な態様で表示されるような構成であってもよい。
なお、本実施形態においては、画像フィルタ部31によって入力される超音波ドプラ画像が3次元画像であるものとして説明したが、当該超音波ドプラ画像は2次元画像であっても構わない。この場合には、演算子のサイズ及び形状として所定の範囲(構造要素)を定義して、オープニング処理前後の超音波ドプラ画像に含まれる血流存在領域を構成する画素数の変化率が算出されればよい。
また、本実施形態においては、ノイズ低減フィルタによるノイズ低減処理としてモーフォロジー演算におけるオープニング処理が実行されるものとして説明したが、当該処理に限定されず、例えばフーリエ変換によるローパスフィルタ(ローパスフィルタの場合、演算子はカットオフ周波数となる)、画像の平滑化フィルタ等の血流信号の形状(分布)の特徴を抽出可能な画像フィルタによる処理が行われても構わない。また、他にも、例えば閾値以下の流速値またはパワー値を非表示にする閾値フィルタ(閾値フィルタの場合、演算子はカットオフ閾値となる)、モルフォロジー演算を用いたerosionフィルタ、カーネル領域中の中央の画素値をカーネル領域の中間値と置き換えるメディアンフィルタ(メディアンフィルタの場合、演算子はカーネルの範囲となる)等を用いる構成としてもよい。なお、erosionフィルタによれば、例えば画像Aと当該画像Aを構造要素の方向へ数ピクセル移動させた画像A’とを重ね合わせたときに重複する画素のみを残すような処理が行われる。このerosionフィルタの場合、演算子は画像A’のピクセル移動量となる。
上記したように本実施形態においては、超音波プローブを介して被検体に対して超音波を送受信して、走査面に関するエコー信号を発生し、当該エコー信号に基づいて走査面に対応する被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを発生し、当該超音波ドプラ画像に対してノイズ低減処理を実行し、当該超音波ドプラ画像に含まれる血流存在領域を構成する画像構成要素数(ボクセル数または画素数)のノイズ低減処理による変化率の、ノイズ低減フィルタのフィルタ特性の変化に対する依存性を示す特徴情報を発生する構成により、超音波ドプラ画像に含まれる血流信号の分布の特徴を定量的に抽出することが可能となる。すなわち、本実施形態において発生される特徴情報は血流形態(分布)の特徴を示し、関心領域の選択に対する依存性が低いので、単なる血流存在領域を構成する画像構成要素数と比較して、ロバスト性が高い。
また、本実施形態においては、発生された特徴情報及びデータベースに格納されている基準となる特徴情報を比較することにより、被検体Pの血流形態が正常または異常であることを判定することができる。
また、本実施形態においては、発生された特徴情報を数値または図形の指標で表示する構成により、検者は当該指標に基づいて被検体Pの血流形態を評価することができる。
なお、本実施形態においては、超音波診断装置10によって得られる超音波ドプラ画像から血流信号の分布の特徴を定量的に抽出するものとして説明したが、例えばBモード等の他の超音波画像を対象としてもよい。更には、例えばX線、CT、MRI等の他の診断機器によって得られる画像を対象としても構わない。すなわち、本実施形態は、超音波診断装置10によって得られる超音波ドプラ画像以外であっても、画像中の信号の分布の特徴を定量的に抽出することが可能である。更に、一般的にドプラスキャンによって検出されるものは血流だけではなく、例えば心壁のような「移動する組織の動き」等についても検出される。すなわち、超音波ドプラ画像では血流だけでなく被検体で移動する移動体全般を検出することができるため、本実施形態において、超音波ドプラ画像から当該被検体で移動する移動体(つまり、血流信号以外の信号)の分布の特徴を定量的に抽出することも可能である。
また、本実施形態においては、超音波ドプラ画像に含まれる血流信号(血流存在領域)の分布の特徴を抽出することによって被検体Pが正常または異常であることを判定するものとして説明したが、例えば当該血流信号の分布の特徴に応じて血管構造等を判断することも可能である。具体的には、ノイズ低減フィルタのノイズ低減の度合いを大きくした場合に、画素数の変化が大きい画像であれば「細い血管が多く含まれる、もしくは組織炎症により細かい血流分布が分散している」と判断することができ、逆に画素数の変化が小さい画像であれば「太い血管が多く含まれる」と判断することができる。
また、本実施形態においては、正常・異常データベース28cに格納される基準グラフには正常または異常な被検体の超音波ドプラ画像に対して図4に示すステップS1〜S5の処理が実行されることによって発生されたグラフが含まれるものとして説明したが、基準グラフは被検体グラフに対して基準となるものであればよい。具体的には、正常・異常データベース28cには、例えば被検体Pの超音波ドプラ画像が得られた関心領域に対して左右対称となる関心領域(例えば、右ひざと左ひざ、右腎と左腎など)から得られた超音波ドプラ画像に対して同様の処理が実行されることによって発生されたグラフ等が格納されていてもよい。これにより、例えば被検体Pにおいて対応する左右の関心領域での血流信号の分布の特徴を比較することによって当該被検体Pの正常または異常を判定することも可能である。更に、正常・異常データベース28cにおいて各種病状に応じた基準グラフを予め用意しておき、当該基準グラフと被検体グラフとを比較することによって、被検体Pの病状を特定することも可能である。他にも、例えば同一被検体の被検体グラフを術前・術後で生成しておき、両者を比較することで予後改善の度合いを判断することも可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10…超音波診断装置、11…装置本体、12…超音波プローブ、13…入力装置、13a…トラックボール、13b…スイッチ・ボタン、13c…マウス、13d…キーボード、14…モニター、21…送受信ユニット、22…Bモード処理ユニット、23…ドプラ処理ユニット、24…画像生成回路、24a…信号処理回路、24b…スキャンコンバータ、24c…画像処理回路、25…制御プロセッサ、26…内部記憶装置、27…インタフェース部、28…記憶部、28a…画像メモリ、28b…ソフトウェア格納部、28c…正常・異常データベース、30…画像処理ユニット、31…画像フィルタ部、32…変化率算出部、33…グラフ発生部、34…正常・異常判定部。

Claims (8)

  1. 超音波プローブと、
    前記超音波プローブを介して被検体に対して超音波を送受信して、走査面に関するエコー信号を発生する超音波送受信部と、
    前記エコー信号に基づいて走査面に対応する被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを発生する画像データ発生部と、
    記超音波ドプラ画像に含まれる血流存在領域の分布を示す特徴情報を発生する特徴情報発生部と、
    を具備する超音波診断装置。
  2. 前記超音波ドプラ画像に対してフィルタ処理を実行するフィルタをさらに具備し、
    前記特徴情報発生部は、前記血流存在領域を構成する画像構成要素数の前記フィルタ処理による変化率を算出し、前記変化率の前記フィルタのフィルタ特性の変化に対する依存性に基づいて前記特徴情報を発生すること、
    を特徴とする請求項1記載の超音波診断装置。
  3. 前記フィルタは、前記フィルタ処理として前記超音波ドプラ画像に対してノイズ低減処理を実行することを特徴とする請求項2記載の超音波診断装置。
  4. 前記発生された特徴情報に対して基準となる特徴情報を予め格納するデータベースと、
    前記発生された特徴情報及び前記データベースに格納されている基準となる特徴情報を比較し、当該比較結果に基づいて前記発生された特徴情報が正常または異常であることを判定する判定部と
    を更に具備することを特徴とする請求項1乃至3にうちいずれか一項記載の超音波診断装置。
  5. 前記発生された特徴情報を、数値または図形の指標で表示する表示処理手段を更に具備することを特徴とする請求項1乃至4のうちいずれか一項記載の超音波診断装置。
  6. 超音波プローブと、
    前記超音波プローブを介して被検体に対して超音波を送受信して、走査面に関するエコー信号を発生する超音波送受信部と、
    前記エコー信号に基づいて走査面に対応する超音波画像のデータを発生する画像データ発生部と、
    記超音波画像に含まれる血流存在領域の分布を示す特徴情報を発生する特徴情報発生部と、
    を具備する超音波診断装置。
  7. 被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを記憶する画像記憶部と、
    前記エコー信号に基づいて走査面に対応する被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを発生する画像データ発生部と、
    記超音波ドプラ画像に含まれる血流存在領域の分布を示す特徴情報を発生する特徴情報発生部と、
    を具備する医用画像処理装置。
  8. 被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを記憶する画像記憶部を有する医用画像処理装置のプロセッサによって実行されるプログラムであって、
    前記プロセッサに、
    前記エコー信号に基づいて走査面に対応する被検体の血流の速度またはパワーに関する超音波ドプラ画像のデータを発生させる機能と、
    記超音波ドプラ画像に含まれる血流存在領域の分布を示す特徴情報を発生させる機能と、
    具備するプログラム。
JP2012006036A 2012-01-16 2012-01-16 超音波診断装置、医用画像処理装置及びプログラム Active JP5984243B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012006036A JP5984243B2 (ja) 2012-01-16 2012-01-16 超音波診断装置、医用画像処理装置及びプログラム
US13/735,711 US20130184583A1 (en) 2012-01-16 2013-01-07 Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
CN201310015563.3A CN103202714B (zh) 2012-01-16 2013-01-16 超声波诊断装置、医用图像处理装置以及医用图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012006036A JP5984243B2 (ja) 2012-01-16 2012-01-16 超音波診断装置、医用画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013144049A JP2013144049A (ja) 2013-07-25
JP5984243B2 true JP5984243B2 (ja) 2016-09-06

Family

ID=48750283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012006036A Active JP5984243B2 (ja) 2012-01-16 2012-01-16 超音波診断装置、医用画像処理装置及びプログラム

Country Status (3)

Country Link
US (1) US20130184583A1 (ja)
JP (1) JP5984243B2 (ja)
CN (1) CN103202714B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061592A (ja) * 2013-08-21 2015-04-02 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法およびコンピュータ読み取り可能な非一時的な記録媒体
CN104426899B (zh) * 2013-09-11 2020-11-24 上海联影医疗科技有限公司 一种诊断协议集合的动态设置方法
JP2015119949A (ja) * 2013-11-19 2015-07-02 株式会社東芝 超音波診断装置及び制御方法
EP3155971A4 (en) * 2014-06-11 2018-03-07 Olympus Corporation Medical diagnostic device, medical diagnostic device operation method, and medical diagnostic device operation program
KR102346128B1 (ko) * 2014-12-31 2022-01-03 삼성메디슨 주식회사 초음파 진단 장치, 웨어러블 장치, 그에 따른 초음파 진단 장치 제어방법, 그에 따른 웨어러블 장치 제어방법 및 그를 기록한 기록 매체
JP6547612B2 (ja) * 2015-12-14 2019-07-24 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理装置を備える超音波診断装置
CN107233109B (zh) * 2016-12-08 2023-08-08 成都优途科技有限公司 一种多普勒超声血流检测系统及其检测方法
CN109961682A (zh) * 2017-12-26 2019-07-02 深圳先进技术研究院 虚拟整形手术训练装置及终端设备
JP7239275B2 (ja) * 2018-04-27 2023-03-14 キヤノンメディカルシステムズ株式会社 超音波診断装置及び穿刺支援プログラム
CN109934278B (zh) * 2019-03-06 2023-06-27 宁夏医科大学 一种信息增益混合邻域粗糙集的高维度特征选择方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0693890B2 (ja) * 1985-04-30 1994-11-24 株式会社東芝 超音波診断装置
US4907156A (en) * 1987-06-30 1990-03-06 University Of Chicago Method and system for enhancement and detection of abnormal anatomic regions in a digital image
US5133020A (en) * 1989-07-21 1992-07-21 Arch Development Corporation Automated method and system for the detection and classification of abnormal lesions and parenchymal distortions in digital medical images
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US5671294A (en) * 1994-09-15 1997-09-23 The United States Of America As Represented By The Secretary Of The Navy System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination
US6438403B1 (en) * 1999-11-01 2002-08-20 General Electric Company Method and apparatus for cardiac analysis using four-dimensional connectivity
JP4749592B2 (ja) * 2000-05-01 2011-08-17 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー パルス・ドプラ超音波イメージングにおいてサンプル・ゲートを自動設定する方法及び装置
JP4763883B2 (ja) * 2000-09-18 2011-08-31 株式会社東芝 超音波診断装置
JP4411011B2 (ja) * 2003-05-13 2010-02-10 キヤノン株式会社 画像処理装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP2005111258A (ja) * 2003-09-19 2005-04-28 Fuji Photo Film Co Ltd 超音波診断装置
NO20035401D0 (no) * 2003-12-04 2003-12-04 Amersham Health As Metode
JP4528529B2 (ja) * 2004-01-20 2010-08-18 株式会社東芝 超音波診断装置及び超音波画像データ処理方法
JP5002119B2 (ja) * 2004-05-12 2012-08-15 株式会社東芝 超音波診断装置
JP4733938B2 (ja) * 2004-07-16 2011-07-27 株式会社東芝 超音波診断装置および超音波画像処理装置
US7974676B2 (en) * 2004-08-17 2011-07-05 Alan Penn & Associates, Inc. Method and system for discriminating image representations of classes of objects
EP1787587B1 (en) * 2004-08-31 2009-05-13 Kabushiki Kaisha Toshiba Ultrasound probe diagnosing apparatus, ultrasound diagnostic apparatus, and ultrasound probe diagnosing method
US8303507B2 (en) * 2004-09-07 2012-11-06 Kabushiki Kaisha Toshiba Ultrasonic doppler diagnostic apparatus and measuring method of diagnostic parameter
US8234923B2 (en) * 2004-09-20 2012-08-07 Innervision Medical Technologies Inc. Systems and methods for ultrasound imaging
US8047993B2 (en) * 2004-12-08 2011-11-01 Industrial Technology Research Institute Quantitative non-invasive method for detecting degree of malignancy in tumors and application thereof
US7787673B2 (en) * 2004-12-21 2010-08-31 Siemens Medical Solutions Usa, Inc. Method and apparatus for airway detection and segmentation using 3D morphological operators
US8834371B2 (en) * 2005-03-31 2014-09-16 Kabushiki Kaisha Toshiba Ultrasound diagnostic apparatus and ultrasound image processing program
WO2007114375A1 (ja) * 2006-03-31 2007-10-11 Kabushiki Kaisha Toshiba 超音波診断装置及び超音波診断装置制御方法
JP5002181B2 (ja) * 2006-03-31 2012-08-15 株式会社東芝 超音波診断装置及び超音波診断装置制御方法
EP2051638B1 (en) * 2006-08-09 2016-02-10 Koninklijke Philips N.V. Ultrasound imaging system.
US8582916B2 (en) * 2007-12-25 2013-11-12 Medic Vision—Brain Technologies Ltd. Noise reduction of images
JP5395371B2 (ja) * 2008-06-18 2014-01-22 株式会社東芝 超音波診断装置、超音波画像の取得方法及びプログラム
JP5525867B2 (ja) * 2009-03-04 2014-06-18 株式会社東芝 超音波診断装置、画像処理装置、超音波診断装置の制御方法、及び画像処理方法
TW201038256A (en) * 2009-04-23 2010-11-01 Univ Nat Taiwan Method for renal vascular perfusion examination with power doppler ultrasonography
JP5422264B2 (ja) * 2009-06-09 2014-02-19 株式会社東芝 超音波診断装置及び医用画像処理装置
US20120083698A1 (en) * 2009-06-10 2012-04-05 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and intima-media thickness measuring method therefor
JP5366678B2 (ja) * 2009-06-25 2013-12-11 株式会社東芝 3次元超音波診断装置及びプログラム
JP5542454B2 (ja) * 2010-01-14 2014-07-09 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2012030053A (ja) * 2010-06-30 2012-02-16 Toshiba Corp 超音波診断装置、画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN103202714B (zh) 2015-06-17
CN103202714A (zh) 2013-07-17
US20130184583A1 (en) 2013-07-18
JP2013144049A (ja) 2013-07-25

Similar Documents

Publication Publication Date Title
JP5984243B2 (ja) 超音波診断装置、医用画像処理装置及びプログラム
JP6734079B2 (ja) 医用診断装置、および医用解析プログラム
JP6222811B2 (ja) 超音波診断装置及び画像処理装置
JP6608232B2 (ja) 医用画像診断装置、医用画像処理装置および医用情報の表示制御方法
JP5395371B2 (ja) 超音波診断装置、超音波画像の取得方法及びプログラム
US9489921B2 (en) Method and apparatus for displaying plurality of different images of object
JP5762076B2 (ja) 超音波診断装置、超音波画像処理装置及び医用画像診断装置
JP5586203B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5002181B2 (ja) 超音波診断装置及び超音波診断装置制御方法
JP2014100556A (ja) 超音波診断装置及び超音波診断装置制御方法
US11166698B2 (en) Ultrasonic diagnostic apparatus
US10182793B2 (en) Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
JP2011224346A (ja) 超音波診断装置、画像処理装置および画像処理方法
JP6139186B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP6352013B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2011254963A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US20150173721A1 (en) Ultrasound diagnostic apparatus, medical image processing apparatus and image processing method
JP5542454B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2011125690A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2018015556A (ja) 超音波診断装置及び計測プログラム
JP5996268B2 (ja) 超音波診断装置、画像処理装置、及びプログラム
JP2007007200A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2020114282A (ja) 画像解析装置
JP7171291B2 (ja) 超音波診断装置及び画像処理プログラム
KR20170053103A (ko) 초음파 진단 장치 및 초음파 영상을 생성하기 위한 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151214

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160729

R150 Certificate of patent or registration of utility model

Ref document number: 5984243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350