JP6207972B2 - 超音波診断装置、画像処理装置及び画像処理プログラム - Google Patents

超音波診断装置、画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP6207972B2
JP6207972B2 JP2013227497A JP2013227497A JP6207972B2 JP 6207972 B2 JP6207972 B2 JP 6207972B2 JP 2013227497 A JP2013227497 A JP 2013227497A JP 2013227497 A JP2013227497 A JP 2013227497A JP 6207972 B2 JP6207972 B2 JP 6207972B2
Authority
JP
Japan
Prior art keywords
image data
image
unit
data
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013227497A
Other languages
English (en)
Other versions
JP2015085038A (ja
Inventor
良太 大住
良太 大住
哲也 川岸
哲也 川岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2013227497A priority Critical patent/JP6207972B2/ja
Priority to US14/518,036 priority patent/US10143439B2/en
Publication of JP2015085038A publication Critical patent/JP2015085038A/ja
Application granted granted Critical
Publication of JP6207972B2 publication Critical patent/JP6207972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Description

本発明の実施形態は、超音波診断装置、画像処理装置及び画像処理プログラムに関する。
従来、超音波診断装置は、超音波プローブに内蔵された超音波振動子から発生する超音波パルスを被検体内に放射し、被検体組織からの反射波信号を超音波振動子から受信する。そして、超音波診断装置は、反射波信号から画像データを生成し、画像データから超音波画像を生成して表示する。
画像データに対しては、ノイズやスペックルの低減等を目的として、各種の画像フィルタが適用される。例えば、画像フィルタは、画像の特徴量としてエッジの大きさと方向とを検出し、検出した方向に基づいて、画像を平滑化もしくは強調の度合を制御する。
特開2009−153918号公報 特開2006−116307号公報
本発明が解決しようとする課題は、画像フィルタ処理において、画像データの種別に依らず分解能を向上させることができる超音波診断装置、画像処理装置及び画像処理プログラムを提供することである。
実施形態の超音波診断装置は、送受信部と、第1の画像データ生成部と、第2の画像データ生成部と、画像処理部とを備える。送受信部は、被検体に対して超音波を送受信する。第1の画像データ生成部は、前記送受信部によって受信された受信信号から、歪み画像データもしくは硬さ画像データである第1の画像データを生成する。第2の画像データ生成部は、前記送受信部によって受信された受信信号から、前記第1の画像データと撮影領域が重複し、かつ、画像化対象とするパラメータの異なる、Bモード画像データ又はドプラ画像データのパワー値のいずれかである第2の画像データを生成する。画像処理部は、前記第2の画像データから特徴量を算出し、算出した特徴量に基づいて、前記第1の画像データを補正する。
図1は、第1の実施形態に係る超音波診断装置の全体構成を説明するための図。 図2は、従来方法を説明するための図。 図3は、従来方法に係る拡散フィルタ部による処理手順を示すフローチャート。 図4は、従来方法に係る画像処理部を説明するための図。 図5は、第1の実施形態に係る画像処理部の構成を示すブロック図。 図6は、第1の実施形態に係る拡散フィルタ部による処理手順を示すフローチャート。 図7は、第1の実施形態に係る画像処理部を説明するための図。 図8は、第1の実施形態に係る画像生成部を説明するための図。 図9は、第2の実施形態に係る超音波診断装置の全体構成を説明するための図。 図10は、第2の実施形態に係る画像処理部を説明するための図。 図11は、第3の実施形態に係る画像処理装置の構成例を示すブロック図。
以下、図面を参照して、実施形態に係る超音波診断装置、画像処理装置及び画像処理プログラムを説明する。
(第1の実施形態)
まず、第1の実施形態に係る超音波診断装置の構成について説明する。図1は、第1の実施形態に係る超音波診断装置の全体構成を説明するための図である。図1に示すように、本実施形態に係る超音波診断装置は、超音波プローブ1と、モニタ2と、入力装置3と、装置本体10とを有する。
超音波プローブ1は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体10が有する送信部11から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ1は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ1は、圧電振動子に設けられる整合層及び音響レンズと、圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。超音波プローブ1は、装置本体10と着脱自在に接続される。
超音波プローブ1から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ1が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移(ドプラ偏移)を受ける。
なお、本実施形態は、複数の圧電振動子が一列で配置された1次元超音波プローブである超音波プローブ1により、被検体Pを2次元でスキャンする場合であっても、1次元超音波プローブの複数の圧電振動子を機械的に揺動する超音波プローブ1や複数の圧電振動子が格子状に2次元で配置された2次元超音波プローブである超音波プローブ1により、被検体Pを3次元でスキャンする場合であっても、適用可能である。
入力装置3は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどを有し、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体10に対して受け付けた各種設定要求を転送する。
モニタ2は、超音波診断装置の操作者が入力装置3を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体10において生成された超音波画像などを表示したりする。
装置本体10は、超音波プローブ1が受信した反射波に基づいて超音波画像を生成する装置である。装置本体10は、図1に示すように、送信部11と、受信部12と、Bモード処理部13と、ドプラ処理部14と、歪みデータ処理部15と、画像処理部16と、画像生成部17と、画像メモリ18と、制御部19と、内部記憶部20とを有する。
送信部11は、トリガ発生回路、送信遅延回路及びパルサ回路等を有し、超音波プローブ1に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延回路は、超音波プローブ1から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ1に駆動信号(駆動パルス)を印加する。すなわち、送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。
なお、送信部11は、後述する制御部19の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。
受信部12は、アンプ回路、A/D変換器、加算器等を有し、超音波プローブ1が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。A/D変換器は、ゲイン補正された反射波信号をA/D変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、A/D変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
このように、送信部11及び受信部12は、超音波の送受信における送信指向性と受信指向性とを制御する。
ここで、超音波プローブ1が3次元走査可能である場合、送信部11及び受信部12それぞれは、超音波プローブ1から被検体Pに対して3次元の超音波ビームを送信させ、超音波プローブ1が受信した3次元の反射波信号から3次元の反射波データを生成することも可能である。
Bモード処理部13は、受信部12から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ(「Bモードデータ」或いは「Bモード画像データ」)を生成する。
ドプラ処理部14は、受信部12から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ(「ドプラデータ」或いは「ドプラ画像データ」)を生成する。具体的には、ドプラ処理部14は、移動体の運動情報として、平均速度、分散値、パワー値などを多点に渡り抽出したドプラデータを生成する。より具体的には、ドプラ処理部14は、血流の動態を示すカラードプラ画像を生成するためのカラードプラデータや、組織の動態を示す組織ドプラ画像を生成するための組織ドプラデータを生成する。
なお、本実施形態に係るBモード処理部13及びドプラ処理部14は、2次元の反射波データ及び3次元の反射波データの両方について処理可能である。すなわち、Bモード処理部13は、2次元の反射波データから2次元のBモードデータを生成し、3次元の反射波データから3次元のBモードデータを生成することも可能である。また、ドプラ処理部14は、2次元の反射波データから2次元のドプラデータを生成し、3次元の反射波データから3次元のドプラデータを生成することも可能である。
歪みデータ処理部15は、受信部12から受信した反射波データから、組織の硬さを表す歪みを演算し、歪みの空間分布を示す歪みデータを生成する。例えば、歪みデータ処理部15は、エラストグラフィーを行なうエラストモードが指定された場合に、歪みを反射波データから演算し、歪みデータを生成する。なお、エラストグラフィーとは、組織の弾性を画像化する技術である。
ここで、歪みを演算する方法としては、反射波データの相互相関により隣接フレーム間の組織の変位を検出してストレイン値を算出する方法が知られている。歪みデータ処理部15は、歪みを演算する方法として様々な方法を行なうことが可能である。
以下では、エラストモードが指定された場合に、操作者が手動で超音波プローブ1を加振することで組織の圧迫及び組織の開放を繰り返して行ない、歪みデータ処理部15が、反射波データの相互相関により隣接フレーム間の組織の変位を検出してストレイン値を演算する場合について説明する。なお、エラストモードでは、例えば、超音波プローブ1を保持する操作者の微小な手の動きによる組織変形に基づいて、歪みデータ処理部15が歪みを演算する場合もある。
具体的には、歪みデータ処理部15は、被検体Pの体表に当てた状態で超音波プローブ1を操作者が手で軽く押し付けたり離したりすることで変形した生体組織の変位を計算する。より具体的には、歪みデータ処理部15は、変形の前後、あるいは変形の程度の異なる2つ以上の反射波データから同一部位位置の変位を計算する。そして、歪みデータ処理部15は、変位を深さ方向に微分することでストレイン値を計算する。ここで、硬い組織ほど変形しにくいので、硬い組織の歪みの値は小さくなり、軟らかい生体組織の歪みの値は大きくなる。なお、以下では、歪みデータ処理部15が生成する歪みデータを、「歪み画像データ」と記載する場合がある。
画像処理部16は、超音波画像データに対して各種画像処理を行なう。本実施形態では、画像処理部16は、超音波画像データに対して、多重解像度解析と非線形異方性拡散フィルタとを組み合わせたフィルタ処理を行なうことによって、例えば、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)、スペックル除去処理などを行なう。なお、本実施形態に係る画像処理部16の処理については、後に詳述する。
画像生成部17は、Bモード処理部13、ドプラ処理部14及び歪みデータ処理部15が生成したデータを用いて表示用の超音波画像を生成する。すなわち、画像生成部17は、Bモード処理部13が生成したBモードデータから反射波の強度を輝度にて表したBモード画像を生成する。また、画像生成部17は、ドプラ処理部14が生成したドプラデータから移動体情報(血流運動情報や組織運動情報)を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのドプラ画像(カラードプラ画像や組織ドプラ画像)を生成する。
また、画像生成部17は、歪みデータ処理部15が生成した歪みデータを用いてエラストグラフィー画像を生成する。具体的には、画像生成部17は、各ウィンドウ幅にて計算されたストレイン値の大きさに応じて階調を変化させた歪み画像(ストレイン画像)を生成し、生成したストレイン画像をBモード画像に重畳させることで、エラストグラフィー画像を生成する。ここで、画像生成部17は、エラストグラフィー画像を生成する場合、画像処理部16によって各種画像処理されたデータを用いて表示用の超音波画像を生成する。
ここで、画像生成部17は、一般的には、超音波走査の走査線信号列を、テレビなどに代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用画像としての超音波画像を生成する。具体的には、画像生成部17は、超音波プローブ1による超音波の走査形態に応じて座標変換を行なうことで、表示用画像としての超音波画像を生成する。
また、画像生成部17は、画像データを格納する記憶メモリを搭載しており、3次元画像の再構成処理等を行なうことが可能である。また、画像生成部17が搭載する記憶メモリから、例えば、診断の後に操作者が検査中に記録された画像を呼び出すことが可能となっている。
また、画像生成部17は、生成した超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成し、合成画像データをビデオ信号としてモニタ2に出力する。また、画像生成部17は、複数の画像データを重畳した合成画像データを生成することも可能である。すなわち、Bモード処理部13、ドプラ処理部14及び歪みデータ処理部15が生成するデータは、スキャンコンバート処理前の超音波画像データであり、画像生成部17が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Bモード処理部13、ドプラ処理部14及び歪みデータ処理部15が生成した各種データは、生データ(Raw Data)とも呼ばれる。
画像メモリ18は、画像生成部17が生成した超音波画像や合成画像を記憶する。また、画像メモリ18は、Bモード処理部13やドプラ処理部14、歪みデータ処理部15が生成したデータ(生データ)を記憶することも可能である。また、画像メモリ18は、画像処理部16が各種画像処理したデータを記憶することも可能である。
内部記憶部20は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見など)や、診断プロトコルや各種ボディーマークなどの各種データを記憶する。また、内部記憶部20は、必要に応じて、画像メモリ18が記憶する画像の保管などにも使用される。また、内部記憶部20が記憶するデータは、図示しないインターフェースを経由して、外部の周辺装置へ転送することができる。
制御部19は、超音波診断装置の処理全体を制御する。具体的には、制御部19は、入力装置3を介して操作者から入力された各種設定要求や、内部記憶部20から読込んだ各種制御プログラム及び各種データに基づき、送信部11、受信部12、Bモード処理部13、ドプラ処理部14、歪みデータ処理部15、画像処理部16及び画像生成部17の処理を制御する。また、制御部19は、画像メモリ18が記憶する超音波画像及び合成画像や、操作者が各種処理を指定するためのGUIなどをモニタ2にて表示するように制御する。
以上、本実施形態に係る超音波診断装置の全体構成について説明した。かかる構成において、本実施形態に係る超音波診断装置は、超音波送受信により超音波画像の撮像を行なう。
画像処理部16によるフィルタ処理は、Bモードデータばかりでなく、他のモードの画像にも適用しうる。例えば、画像処理部16は、フィルタ処理の一例として、ウェーブレット変換により、歪みデータを所定複数階層(所定複数レベル)の低域分解画像データ及び高域分解画像データに多重解像度分解する。そして、画像処理部16は、下位レベルの画像データから上位レベルの画像データへと順を追って非線形異方性拡散フィルタにより処理する。
図2は、従来方法を説明するための図である。図2に示す一例では、画像処理部の処理対象となる原画像データを歪みデータ処理部により生成された歪みデータとしている。また、図2では、多重解像度解析のレベル数が「3」である場合を説明する。
従来方法に係る画像処理部は、各レベルに、分解部と、拡散フィルタ部と、調整部と、再構成部とを備える。なお、説明の便宜上、各レベルが有する分解部と、拡散フィルタ部と、調整部と、再構成部とをレベルごとに区別する場合には、以下のように称する場合がある。すなわち、レベル数が1である場合には、第1分解部、第1拡散フィルタ部、第1調整部、第1再構成部と称し、レベル数が2である場合には、第2分解部、第2拡散フィルタ部、第2調整部、第2再構成部と称し、レベル数が3である場合には、第3分解部、第3拡散フィルタ部、第3調整部、第3再構成部と称す。
分解部は、多重解像度解析(multi-resolution analysis)により、歪みデータを低域分解画像データと高域分解画像データとに分解する。具体的には、分解部は、ウェーブレット変換(離散ウェーブレット変換)により、歪みデータを、低域分解画像データである「LL」と、高域分解画像データである「HL、LH、HH」とに分解する。ここで、LLは、水平方向及び垂直方向がともに低周波成分である画像データである。また、HLは、水平方向が高周波成分であり垂直方向が低周波成分である画像データである。また、LHは、水平方向が低周波成分であり垂直方向が高周波成分である画像データである。また、HHは、水平方向及び垂直方向がともに高周波成分である画像データである。
そして、分解部は、「LL」を、1つ下位のレベルの分解部に出力し、「HL、LH、HH」を同位のレベルの調整部に出力する。例えば、図2に示すように、第1分解部は、レベル1のLLである「LL(1次)」を、第2分解部に出力し、レベル1のHL、LH、HHである「HL(1次)、LH(1次)、HH(1次)」を第1調整部に出力する。同様に、第2分解部は、レベル2のLLである「LL(2次)」を、第3分解部に出力し、レベル2のHL、LH、HHである「HL(2次)、LH(2次)、HH(2次)」を第2調整部に出力する。
なお、最下位のレベルの分解部は、「LL」を、同位のレベルの拡散フィルタ部に出力する。例えば、図2に示すように、第3分解部は、レベル3のLLである「LL(3次)」を、第3拡散フィルタ部に出力する。
そして、拡散フィルタ部は、「LL」に対して非線形異方性拡散フィルタを施す。そして、拡散フィルタ部は、「フィルタ処理済みLL」を再構成部に出力する。また、拡散フィルタ部は、エッジ情報を検出して、調整部に出力する。
図3は、従来方法に係る拡散フィルタ部による処理手順を示すフローチャートである。図3に示すように、拡散フィルタ部は、歪みデータの入力を受付ける(ステップS1)。そして、拡散フィルタ部は、歪みデータを用いて空間微分を行い(ステップS2)、構造テンソル(Structure Tensor)を算出する(ステップS3)。そして、拡散フィルタ部は、構造テンソルから歪みデータのエッジに関する情報(エッジ情報)としてエッジの大きさとエッジの方向とを算出する(ステップS4)。拡散フィルタ部は、算出したエッジ情報のうち、エッジの大きさを調整部に出力する(ステップS5)。続いて、拡散フィルタ部は、エッジ情報から拡散テンソル(Diffusion Tensor)を算出し(ステップS6)、算出した拡散テンソルを用いて、歪みデータに対して拡散方程式を演算する(ステップS7)。そして、拡散フィルタ部は、フィルタ処理済み歪みデータを再構成部に出力する(ステップS8)。
図2に戻る。調整部は、同位のレベルの拡散フィルタ部が検出したエッジ情報を用いて、「HL、LH、HH」の信号レベルを調整する。そして、調整部は、「調整済みHL、調整済みLH、調整済みHH」を同位のレベルの再構成部に出力する。例えば、図2に示すように、第3調整部は、第3拡散フィルタ部が検出したエッジ情報を用いて、「HL(3次)、LH(3次)、HH(3次)」の信号レベルを調整する。そして、第3調整部は、図2に示すように、「調整済みHL(3次)、調整済みLH(3次)、調整済みHH(3次)」を第3再構成部に出力する。
再構成部は、多重解像度合成により、「フィルタ処理済みLL」と「調整済みHL、調整済みLH、調整済みHH」とを再構成する。具体的には、再構成部は、ウェーブレット逆変換により「フィルタ処理済みLL」と「調整済みHL、調整済みLH、調整済みHH」とを合成する。そして、再構成部は、再構成後のデータである「出力データ」を上位のレベルの拡散フィルタ部に出力する。なお、最高位のレベルの再構成部は、出力データを画像生成部17に出力する。
例えば、図2に示すように、第3再構成部は、「フィルタ処理済みLL(3次)」と「調整済みHL(3次)、調整済みLH(3次)、調整済みHH(3次)」とを合成する。そして、第3再構成部は、図2に示すように、再構成後のデータである「レベル3出力データ」をレベル2の第2拡散フィルタ部に出力する。また、図2に示すように、第1再構成部は、「フィルタ処理済みLL(1次)」と「調整済みHL(1次)、調整済みLH(1次)、調整済みHH(1次)」とを合成する。そして、第1再構成部は、図2に示すように、再構成後のデータである「レベル1出力データ」を画像生成部17に出力する。
このように従来方法に係る画像処理部は、フィルタ処理の対象である歪みデータ自体から特徴量を算出し、算出した特徴量に基づいて、歪みデータのフィルタ処理を実行する。図4は、従来方法に係る画像処理部を説明するための図である。図4では、歪み画像データに対して、フィルタ処理を行わずに生成される歪み画像101と、フィルタ処理を行った後に生成される歪み画像104とを示す。また、図4では、歪み画像101において示す矩形領域102を拡大した拡大図103と、歪み画像104において示す矩形領域105を拡大した拡大図106とを示す。なお、図4では、乳腺を撮影した歪み画像の一例を示す。
図4に示すように、歪み画像101及び歪み画像104は、生体組織の硬さが色分けされた画像として生成される。なお、図4に示す例では、説明の便宜上、生体組織が硬い部位ほど白色に近づき、軟らかい部位ほど黒色に近づくように図示している。歪み画像101に示す硬い部位は、フィルタ処理後の歪み画像104において、平滑化されている。
一方で、歪み画像101に示す軟らかい部位は、フィルタ処理後の歪み画像104において、組織構造を保って平滑化されていない。より詳細には、拡大図103と、拡大図106とを比較した場合、拡大図106では、軟らかい部位でストレイン値が一部低下している。すなわち、軟らかい部位では、硬さの異なる境界部位において全体的にぼやけて平滑化されており、組織構造が明確ではない。
このように、従来方法に係る画像処理部によるフィルタ処理では、歪みデータにフィルタ処理を行なう場合、軟らかい部位ではフィルタリングによっても十分な分解能が得られず、組織構造との関係がわかりにくくなる。より具体的には、従来方法に係る画像処理部は、画像データの特徴量をフィルタ処理の対象である歪みデータ自体から算出する。しかし、歪みデータは、軟らかい部位では分解能が低く、適切な特徴量を算出しにくい。このため、従来方法に係る画像処理部によるフィルタ処理では、歪みデータにフィルタ処理を適用しても十分な効果が得られない。
そこで、本実施形態に係る画像処理部16は、例えば、Bモードデータから特徴量を算出し、算出した特徴量に基づいて、歪みデータを補正する。言い換えると、第1の実施形態に係る画像処理部16は、第1の画像データと撮影領域が重複し、かつ、画像化対象とするパラメータの異なる、第2の画像データから特徴量を算出し、算出した特徴量に基づいて、第1の画像データを補正する。
ところで、エラストモードが指定された場合に、第1の実施形態では、Bモード処理部13によるBモードデータ生成処理と、歪みデータ処理部15による歪みデータ生成処理とが時分割で実行される。
図5は、第1の実施形態に係る画像処理部16の構成を示す機能ブロック図である。図5に示すように、第1の実施形態に係る画像処理部16は、各レベルに、分解部161と、拡散フィルタ部162と、調整部163と、再構成部164と、画像縮小部166とを備える。なお、説明の便宜上、各レベルが有する分解部161と、拡散フィルタ部162と、調整部163と、再構成部164と、画像縮小部166とをレベルごとに区別する場合には、以下のように称する場合がある。すなわち、レベル数が1である場合には、第1分解部161a、第1拡散フィルタ部162a、第1調整部163a、第1再構成部164a、第1画像縮小部166aと称し、レベル数が2である場合には、第2分解部161b、第2拡散フィルタ部162b、第2調整部163b、第2再構成部164b、第2画像縮小部166bと称し、レベル数が3である場合には、第3分解部161c、第3拡散フィルタ部162c、第3調整部163c、第3再構成部164c、第3画像縮小部166cと称す。また、最高位のレベルには、更に、画像サイズ調整部165が備えられる。すなわち、レベル1には、画像サイズ調整部165が備えられる。
画像サイズ調整部165は、Bモードデータから、歪みデータと空間的範囲が一致する領域を切り出し、かつ、ピクセルサイズが歪みデータと一致するように、Bモードデータのサイズを調整する。ここで、画像サイズ調整部165は、後段の処理のために、歪みデータのピクセルサイズとBモードデータのピクセルサイズとを一致させればよい。このため、画像サイズ調整部165は、歪みデータのサイズだけを変更してもよく、或いは、歪みデータのサイズ及びBモードデータのサイズを共に変更してもよい。
分解部161は、歪みデータに対して多重解像度解析して低域分解画像データと、高域分解画像データとに分解する。具体的には、分解部161は、ウェーブレット変換(離散ウェーブレット変換)により、歪みデータを、低域分解画像データである「LL」と、高域分解画像データである「HL、LH、HH」とに分解する。ここで、LLは、水平方向及び垂直方向がともに低周波成分である画像データである。また、HLは、水平方向が高周波成分であり垂直方向が低周波成分である画像データである。また、LHは、水平方向が低周波成分であり垂直方向が高周波成分である画像データである。また、HHは、水平方向及び垂直方向がともに高周波成分である画像データである。
そして、分解部161は、「LL」を、1つ下位のレベルの分解部161に出力し、「HL、LH、HH」を同位のレベルの調整部163に出力する。例えば、図5に示すように、第1分解部161aは、レベル1のLLである「LL(1次)」を、第2分解部161bに出力し、レベル1のHL、LH、HHである「HL(1次)、LH(1次)、HH(1次)」を第1調整部163aに出力する。同様に、第2分解部161bは、レベル2のLLである「LL(2次)」を、第3分解部161cに出力し、レベル2のHL、LH、HHである「HL(2次)、LH(2次)、HH(2次)」を第2調整部163bに出力する。
なお、最下位のレベルの分解部161は、「LL」を、同位のレベルの拡散フィルタ部162に出力する。例えば、図5に示すように、第3分解部161cは、レベル3のLLである「LL(3次)」を、第3拡散フィルタ部162cに出力する。
画像縮小部166は、入力を受付けたBモードデータの画像サイズを、分解部161によって分解された歪みデータの低域分解画像データ「LL」と同じ画像サイズに縮小する。すなわち、画像縮小部166は、同一レベルの分解部161により生成される画像サイズと一致するようBモードデータの画像サイズを縮小する。そして、画像縮小部166は、同位のレベルの拡散フィルタ部162と、1つ下位のレベルの画像縮小部166とに縮小したBモードデータを出力する。なお、最下位のレベルの画像縮小部166は、縮小したBモードデータを同位のレベルの拡散フィルタ部162のみに出力する。また、画像縮小のためのフィルタ係数は、分解部161の低域フィルタと共通化可能である。
拡散フィルタ部162は、画像縮小部166によって縮小されたBモードデータからBモードデータのエッジの方向とエッジの大きさとを特徴量として算出し、算出した特徴量に基づいて、分解部161によって分解された歪みデータの低域分解画像データ「LL」を平滑化する。言い換えると、拡散フィルタ部162は、各レベルにおける縮小後のBモードデータのエッジの大きさとエッジの方向とを特徴量として算出し、エッジの大きさに基づいて、各レベルにおける多重解像度分解後の低域歪みデータをエッジの方向に沿って平滑化する。例えば、拡散フィルタ部162は、「LL」に対して非線形異方性拡散フィルタを施す。そして、拡散フィルタ部162は、「フィルタ処理済みLL」を再構成部164に出力する。また、拡散フィルタ部162は、エッジ情報(エッジの大きさ)を検出して、調整部163に出力する。
調整部163は、同位のレベルの拡散フィルタ部162が検出したエッジ情報を用いて、「HL、LH、HH」の信号レベルを調整する。例えば、調整部163は、分解部161によって分解された歪みデータの高域分解画像データ「HL、LH、HH」から、拡散フィルタ部162によって算出されたエッジの大きさ未満の信号をノイズとして取り除くことでノイズを低減させる。そして、調整部163は、「調整済みHL、調整済みLH、調整済みHH」を同位のレベルの再構成部164に出力する。例えば、図5に示すように、第3調整部163cは、第3拡散フィルタ部162cが検出したエッジ情報を用いて、「HL(3次)、LH(3次)、HH(3次)」の信号レベルを調整する。そして、第3調整部163cは、図5に示すように、「調整済みHL(3次)、調整済みLH(3次)、調整済みHH(3次)」を第3再構成部164cに出力する。
再構成部164は、調整部163によってノイズが取り除かれた歪みデータの高域分解画像データ「HL、LH、HH」と、拡散フィルタ部162によって平滑化された歪みデータの低域分解画像データ「LL」とを合成して、新たな歪みデータを生成する。すなわち、再構成部164は、多重解像度合成により、「フィルタ処理済みLL」と「調整済みHL、調整済みLH、調整済みHH」とを再構成して、補正済み歪みデータを生成する。具体的には、再構成部164は、ウェーブレット逆変換により「フィルタ処理済みLL」と「調整済みHL、調整済みLH、調整済みHH」とを合成する。そして、再構成部164は、再構成後のデータである「出力データ」を上位のレベルの拡散フィルタ部162に出力する。なお、最高位のレベルの再構成部164は、出力データを画像生成部17に出力する。
例えば、図5に示すように、第3再構成部164cは、「フィルタ処理済みLL(3次)」と「調整済みHL(3次)、調整済みLH(3次)、調整済みHH(3次)」とを合成する。そして、第3再構成部164cは、図5に示すように、再構成後のデータである「レベル3出力データ」をレベル2の第2拡散フィルタ部162bに出力する。また、図5に示すように、第1再構成部164aは、「フィルタ処理済みLL(1次)」と「調整済みHL(1次)、調整済みLH(1次)、調整済みHH(1次)」とを合成する。そして、第1再構成部164aは、図5に示すように、再構成後のデータである「レベル1出力データ」を画像生成部17に出力する。なお、ウェーブレット変換及びウェーブレット逆変換は、多重解像度解析の一例であり、ラプラシアン・ピラミッド法など他の多重解像度解析方法を適用してもよい。
次に、拡散フィルタ部162による処理手順について説明する。図6は、第1の実施形態に係る拡散フィルタ部162による処理手順を示すフローチャートである。図6に示すように、拡散フィルタ部162は、Bモードデータの入力を受付ける(ステップS101)。そして、拡散フィルタ部162は、Bモードデータの画素レベル(輝度値)を水平方向(横方向、x方向)と垂直方向(縦方向、y方向)とに空間微分して(ステップS102)、構造テンソルを算出する(ステップS103)。ここで、構造テンソルは、エッジの大きさとエッジの向きとを検出するために算出されるテンソルである。構造テンソルの固有値は、エッジの大きさに関連付けられ、構造テンソルの固有ベクトルは、エッジの向きを表す。構造テンソル「S」は、以下の式(1)のように定義される。
ここで、式(1)に示す「I」は、入力画像データの画素レベル「I」のx方向の空間微分であり、式(1)に示す「I」は、「I」のy方向の空間微分である。また、「Gρ」は、2次元ガウス関数を表し、演算子「*」は、畳み込みを表す。例えば、第3拡散フィルタ部162cは、「LL(3次)」を水平方向(横方向、x方向)と垂直方向(縦方向、y方向)とに微分して、式(1)に示す構造テンソル「s11,s12,s22」を算出する。
なお、構造テンソルの算出は、必ずしも上記の方法に厳密に従わなくともよく、処理の第1段階として「I」及び「I」を演算するかわりに、ソーベルフィルタ(sobel filter)を適用してもよい。
そして、拡散フィルタ部162は、算出した構造テンソルの各要素からBモードデータのエッジに関する情報(エッジ情報)としてエッジの大きさとエッジの方向とを算出する(ステップS104)。
また、拡散フィルタ部162は、歪みデータの硬い部位及び軟らかい部位のうち、軟らかい部位に対してBモードデータから算出したエッジの大きさに基づいて、歪みデータをエッジの方向に沿って平滑化する。例えば、拡散フィルタ部162は、歪みデータの入力を受付け(ステップS105)、歪みデータの各画素のストレイン値を正規化する(ステップS106)。例えば、拡散フィルタ部162は、画素のストレイン値を平均値又は最大値によって正規化する。そして、拡散フィルタ部162は、正規化したストレイン値について閾値を判定する(ステップS107)。例えば、拡散フィルタ部162は、正規化したストレイン値が閾値未満の画素である場合、ストレイン値を真値にする。続いて、拡散フィルタ部162は、閾値判定の結果に基づいて、マスキングを行なう(ステップS108)。例えば、拡散フィルタ部162は、正規化したストレイン値が閾値未満の画素に対してエッジの大きさを「0」にする。この結果、拡散フィルタ部162は、硬い部位をエッジがない部位として、以降の処理を実行する。一方、拡散フィルタ部162は、正規化したストレイン値が閾値以上の画素については、エッジの大きさとしてステップS104で検出したエッジの大きさを用いる。この結果、拡散フィルタ部162は、軟らかい部位のエッジの大きさを、Bモードデータから算出したエッジの大きさであるものとして、以降の処理を実行する。また、拡散フィルタ部162は、マスキング後のエッジの大きさを調整部163に出力する(ステップS109)。
続いて、拡散フィルタ部162は、拡散テンソルを算出する(ステップS110)。拡散テンソル「D」は、以下の式(2)により定義される。
ここで、式(2)に示す「R」は、回転行列であり、「R」は、「R」の転置行列である。また、式(2)に示す「λ,λ」は、エッジ情報により求めた拡散フィルタ係数である。例えば、第3拡散フィルタ部162cは、式(2)により、「LL(3次)」の拡散テンソル「d11,d12,d22」を算出する。
そして、拡散フィルタ部162は、歪みデータに対して拡散方程式を演算する(ステップS111)。非線形異方性拡散フィルタは、以下の偏微分方程式である式(3)で表される。
ここで、式(3)に示す「∇I(ナブラI)」は、「I」の勾配ベクトル(gradient vector)であり、式(3)に示す「t」は、処理に関わる時刻である。また、式(3)に示す「div」は、発散(Divergence)である。
すなわち、拡散フィルタ部162が式(3)で行なう演算処理「D∇I」は、各画素の勾配ベクトルに対し特定の向きと、当該向きの垂直方向とのそれぞれに、「λ」と「λ」とを掛ける演算処理である。ここで、特定の向きとは、画像データのエッジの向きであり、拡散フィルタ係数は、エッジの大きさに応じて算出される。
そして、拡散フィルタ部162は、式(3)の偏微分方程式の数値解析的計算を1回、又は、複数回繰り返し実行することで、非線形異方性拡散フィルタ処理を行なう。例えば、拡散フィルタ部162は、時刻「t」において、ある点における画素と当該画素の周囲の複数点(例えば9点)における各画素レベル及び拡散テンソルの各要素値から、時刻「t+Δt」における各点の新たな画素レベルを求め、次に、「t+Δt」を新たな「t」として、同様の計算を1回から数回繰り返す。かかる非線形異方性拡散フィルタ処理を、例えば、第3拡散フィルタ部162cは、「LL(3次)」及び「HL(3次)、LH(3次)、HH(3次)」に対して行なう。これにより、拡散フィルタ部162は、エッジのある部位では、エッジの方向にそって平滑化を行う一方で、エッジとは垂直の方向には平滑化を行わない。また、拡散フィルタ部162は、エッジのない部位では、エッジの方向によらず平滑化を行う。このように、拡散フィルタ部162は、組織のエッジの有無や方向によって平滑化の程度を変えることにより、分解能を犠牲にせずにノイズを低減することができる。
なお、「λ,λ」の算出方法は、各診断分野における超音波画像の特性によって変更できるように、一般的な数式を用意して、いくつかのパラメータによって調整できるようすることが望ましい。
そして、拡散フィルタ部162は、フィルタ処理済み歪みデータを再構成部164に出力する(ステップS112)。
図7は、第1の実施形態に係る画像処理部16を説明するための図である。図7では、歪み画像データに対して、フィルタ処理を行わずに生成される歪み画像201と、フィルタ処理を行った後に生成される歪み画像204とを示す。また、図7では、歪み画像201において示す矩形領域202を拡大した拡大図203と、歪み画像204において示す矩形領域205を拡大した拡大図206とを示す。なお、図7では、乳腺を撮影した歪み画像の一例を示す。
図7に示すように、歪み画像201及び歪み画像204は、生体組織の硬さが色分けされた画像として生成される。なお、図7に示す例では、説明の便宜上、生体組織が硬い部位ほど白色に近づき、軟らかい部位ほど黒色に近づくように図示している。歪み画像201に示す硬い部位は、フィルタ処理後の歪み画像204において、平滑化されている。
また、歪み画像201に示す軟らかい部位は、フィルタ処理後の歪み画像204において、組織構造を保って平滑化されている。より詳細には、拡大図203と、拡大図206とを比較した場合、拡大図206では、軟らかい部位でストレイン値の低下が軽減されている。さらに、拡大図206と、図4に示す拡大図106とを比較した場合、拡大図206では、軟らかい部位において硬さの異なる境界部位が維持されて平滑化されており、拡大図106より組織構造が明確である。
そして、画像生成部17は、画像処理部16によってフィルタ処理された歪みデータから歪み画像を生成し、生成した歪み画像をBモード画像に重畳させることで、エラストグラフィー画像を生成する。
図8は、第1の実施形態に係る画像生成部17を説明するための図である。図8では、第1の実施形態に係る画像処理部16によるフィルタ処理後に生成したエラストグラフィー画像を示す。図8に示すように、画像生成部17は、ストレイン画像212をBモード画像211に重畳させたエラストグラフィー画像を生成する。このようにして画像生成部17が生成するエラストグラフィー画像は、軟らかい部位の組織構造が保たれており、Bモード画像との関係が明確である。
上述したように、第1の実施形態では、Bモードデータからエッジの大きさとエッジの方向とを特徴量として算出し、算出した特徴量を非線形異方性拡散フィルタの特徴量とする。ここで、Bモードデータでは、組織構造が明確であるので、適切な特徴量が算出される。これにより、第1の実施形態によれば、Bモードデータから算出した特徴量を非線形異方性拡散フィルタの特徴量とすることで、フィルタ処理の対象である歪みデータ自体から特徴量を得ることに比べ、適切な特徴量を得ることができる。この結果、歪みデータにおいて軟らかい部位をフィルタ処理した場合でも、エッジの大きさとエッジの向きに沿って平滑化されるので、歪みと組織構造との関係を明確にすることができる。
また、硬い部位について、Bモードデータのエッジ情報を利用して異方性拡散フィルタを適用すると、Bモード画像のエッジの方向に従ったパターンが不自然に強く表出される傾向にある。そこで、第1の実施形態において、拡散フィルタ部162は、硬い部位をフィルタ処理の対象から除外する。例えば、拡散フィルタ部162は、歪みデータの各画素のストレイン値を正規化し、正規化した値について閾値判定を行い、閾値判定の結果に基づいて、マスキングを行なう(図6に示すステップS104からステップS106までの処理)。これにより、拡散フィルタ部162は、硬い(=歪みが小さい)部位をエッジがない部位として扱うことによって、不自然なパターンの表出を軽減する。なお、拡散フィルタ部162は、図6に示すステップS104からステップS106までの処理を省略してもよい。或いは、超音波診断装置は、図6に示すステップS104からステップS106までの処理の代わりに、フィルタ処理の対象とする領域の選択を操作者から受付けるようにしてもよい。かかる場合、画像処理部16は、入力装置3を介して、矩形領域、円領域又は任意の領域の選択を操作者から受付け、受付けた領域内の画素についてのみ、フィルタ処理を行なう。
(第2の実施形態)
第1の実施形態では、歪みデータ処理部15が、反射波データから歪みデータを生成する場合について説明した。ところで、歪みデータは、組織ドプラデータの速度成分から生成されてもよい。また、ドプラ処理部14は、組織ドプラ法において、組織ドプラデータを生成可能である。このようなことから、第2の実施形態では、歪みデータ処理部が、組織ドプラデータの速度成分から歪みデータを生成する場合について説明する。さらに、第2の実施形態では、画像処理部16が、組織ドプラデータのパワー値から特徴量を算出する場合を説明する。
図9は、第2の実施形態に係る超音波診断装置の全体構成を説明するための図である。図9に示すように、第2の実施形態に係る超音波診断装置は、超音波プローブ1と、モニタ2と、入力装置3と、装置本体30とを有する。なお、図1に示した各部と同様の役割を果たす機能部については、同一符号を付すことにしてその詳細な説明を省略する。
装置本体30は、超音波プローブ1が受信した反射波に基づいて超音波画像を生成する装置である。装置本体30は、図9に示すように、送信部11と、受信部12と、Bモード処理部13と、ドプラ処理部34と、歪みデータ処理部35と、画像処理部16と、画像生成部17と、画像メモリ18と、制御部19と、内部記憶部20とを有する。なお、図1に示した各部と同様の役割を果たす機能部については、同一符号を付すことにしてその詳細な説明を省略する。
ところで、エラストモードが指定された場合に、第2の実施形態では、Bモード処理部13によるBモードデータ生成処理と、ドプラ処理部34によるドプラデータ生成処理とが時分割で実行される。なお、ドプラ処理部34によって生成されたドプラデータのうち、ドプラデータのパワー値は画像処理部16に出力され、速度分布情報の速度成分は歪みデータ処理部35に出力される。
第2の実施形態に係るドプラ処理部34は、受信部12から受信した反射波データを周波数解析することで、走査範囲内にある組織のドプラ効果に基づく運動情報を抽出したデータ(組織ドプラデータ)を生成する。具体的には、ドプラ処理部34は、移動体である組織の運動情報として、速度、分散値、パワー値を、2次元空間又は3次元空間の多点に渡り抽出した組織ドプラデータを生成する。そして、ドプラ処理部34は、エラストモードが設定されている場合には、組織ドプラデータの速度成分を速度分布情報として、歪みデータ処理部35に出力する。また、ドプラ処理部34は、エラストモードが設定されている場合には、組織ドプラデータのパワー値を画像処理部16に出力する。なお、ドプラ処理部34は、組織ドプラモードが設定されている場合には、組織ドプラデータを画像生成部17に出力する。
第2の実施形態に係る歪みデータ処理部35は、ドプラ処理部34から取得した速度分布情報の速度成分から歪みを演算し、歪みデータを生成する。例えば、歪みデータ処理部35は、ドプラ処理部34から取得した速度分布情報の速度成分を時間積分することで変位を求める。続いて、歪みデータ処理部35は、求めた変位を用いて所定の演算(例えば、空間的微分)を行なうことで、組織の局所的な歪みを求める。そして、歪みデータ処理部35は、求めた組織の局所的な歪みの値をカラーコード化し、対応する位置にマッピングすることで、歪みデータを生成する。
そして、第2の実施形態に係る画像処理部16は、例えば、組織ドプラデータのパワー値から特徴量を算出し、算出した特徴量に基づいて、歪みデータを補正する。言い換えると、第2の実施形態に係る画像処理部16は、第1の画像データと撮影領域が重複し、かつ、画像化対象とするパラメータの異なる、第2の画像データから特徴量を算出し、算出した特徴量に基づいて、第1の画像データを補正する。なお、第2の実施形態に係る画像処理部16の構成は、図5に示した第1の実施形態に係る画像処理部16の構成と同様である。ここで、第2の実施形態に係る画像処理部16が処理する画像データが、歪み画像データと、ドプラデータのパワー値とである場合、歪み画像データと、ドプラデータのパワー値とは、同一のドプラ信号から生成される。
図10は、第2の実施形態に係る画像処理部16を説明するための図である。図10では、歪み画像データに対して、フィルタ処理を行わずに生成される歪み画像221と、フィルタ処理を行った後に生成される歪み画像222とを示す。
図10に示すように、歪み画像221及び歪み画像222は、生体組織の硬さが色分けされた画像として生成される。なお、図10に示す例では、説明の便宜上、生体組織が硬い部位ほど白色に近づき、軟らかい部位ほど黒色に近づくように図示している。図10に示すように、歪み画像221に示す硬い部位は、フィルタ処理後の歪み画像222において、平滑化されている。また、歪み画像221に示す軟らかい部位は、フィルタ処理後の歪み画像222において、軟らかい部位の組織構造が保たれている。
そして、画像生成部17は、画像処理部16によってフィルタ処理された歪みデータから歪み画像を生成し、生成した歪み画像をBモード画像に重畳させることで、エラストグラフィー画像を生成する。
上述したように、第2の実施形態によれば、組織ドプラデータのパワー値からエッジの大きさと方向を特徴量として算出することで、フィルタ処理の対象である歪みデータ自体から特徴量を得ることに比べ、歪みデータと組織構造との関係を明確にすることができる。
また、第2の実施形態によれば、歪み画像データとドプラ画像データのパワー値とが、同一のドプラ信号から生成される。これにより、装置本体30における処理負荷を低減することができる。
(第3の実施形態)
また、上記の実施形態では、超音波診断装置において処理が行なわれる場合について説明した。しかし、上記の実施形態で説明した画像処理は、超音波診断装置とは独立に設置された画像処理装置により行なわれる場合であってもよい。具体的には、図1及び図9に示す画像処理部16の機能を有する画像処理装置が、超音波診断装置、又は、PACS(Picture Archiving and Communication System)のデータベースや、電子カルテシステムのデータベースから超音波画像データを受信して上述した画像処理を行なう場合であってもよい。
図11は、第3の実施形態に係る画像処理装置300の構成例を示すブロック図である。図11に示すように、第3の実施形態に係る画像処理装置300は、モニタ302と、入力装置303と、画像処理部316と、画像生成部317と、画像メモリ318と、制御部319とを有する。
モニタ302は、各種設定要求を入力するためのGUIを表示したり、画像生成部317において生成された超音波画像などを表示したりする。また、入力装置303は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどを有し、画像処理装置300の操作者からの各種設定要求を受け付ける。画像メモリ318は、超音波診断装置、又は、PACSのデータベースや、電子カルテシステムのデータベースから受信した超音波画像データや超音波画像を記憶する。例えば、画像メモリ318は、超音波診断装置が生成した超音波画像や合成画像を記憶する。また、画像メモリ318は、超音波診断装置が生成した超音波画像データを記憶する。制御部319は、画像処理装置300における処理全体を制御するプロセッサである。
画像処理部316は、画像メモリ318が記憶する超音波画像データを読出して、各種画像処理を行なう。例えば、画像処理部316は、Bモードデータから特徴量を算出し、算出した特徴量に基づいて、歪みデータを補正する。或いは、画像処理部316は、組織ドプラデータのパワー値から特徴量を算出し、算出した特徴量に基づいて、歪みデータを補正する。
そして、画像生成部317は、画像処理部316によって各種画像処理されたデータを用いて表示用の超音波画像を生成する。
なお、画像処理装置300は、受信部と、Bモード処理部と、ドプラ処理部と、歪みデータ処理部とを更に有するようにしてもよい。かかる場合、超音波診断装置は、超音波プローブ1が受信した反射波信号を画像処理装置300に送信する。そして、画像処理装置300において受信部は、超音波診断装置の受信部12と同様に、反射波データを生成する。また、Bモード処理部は、受信部から反射波データを受信し、超音波診断装置のBモード処理部13と同様に、Bモードデータを生成する。ドプラ処理部は、受信部から反射波データを受信し、超音波診断装置のドプラ処理部14と同様に、ドプラデータを生成する。歪みデータ処理部は、受信部から反射波データを受信し、超音波診断装置の歪みデータ処理部15と同様に、歪みデータを生成する。或いは、歪みデータ処理部は、ドプラ処理部が生成した組織ドプラデータの速度成分を用いて、歪みデータを生成する。
(その他の実施形態)
上述した実施形態では、歪みデータ処理部15は、ドプラ処理部14から取得した速度分布情報の速度成分を時間積分することで変位を求めるものとして説明したが、実施形態はこれに限定されるものではない。例えば、歪みデータ処理部15は、受信部12から受信した反射波データを周波数解析することで、速度分布情報を生成するようにしてもよい。かかる場合、歪みデータ処理部15は、自身が生成した速度分布情報の速度成分を時間積分することで変位を求める。
また、上述した実施形態においては、画像生成部17は、生体組織の硬さに対応するストレイン値を用いて生成された歪みデータから歪み画像を生成し、生成した歪み画像を用いることで、エラストグラフィー画像を生成するものとして説明したが、実施形態はこれに限定されるものではない。例えば、エラストモードでは、超音波プローブ1から送信した高音圧の「Push Pulse」により組織を変形させて、硬さ画像データを生成する方法がある。このようなことから、画像生成部17は、硬さ画像データから硬さ画像を生成し、生成した硬さ画像を用いることで、エラストグラフィー画像を生成するようにしてもよい。かかる場合、超音波診断装置は、歪みデータ処理部15と同様の処理部として、例えば、硬さデータ処理部を備え、この硬さデータ処理部は、組織を伝搬する横波である剪断波を形成し、更に、剪断波の伝搬速度vを算出する。そして、硬さデータ処理部は、剪断波の伝搬速度vに基づいて、硬さ画像データ(「硬さデータ」とも言う)を生成してもよい。また、硬さデータ処理部は、剪断波の伝搬速度により算出されるヤング率を用いて硬さ画像データを生成してもよい。このようにして硬さデータ処理部が生成した硬さ画像データは、歪みデータと同様に、画像処理部16によってフィルタ処理される。
また、上述した実施形態においては、画像処理部16の多重解像度解析のレベル数が「3」である場合を例に説明したが、実施形態は、これに限定されるものではない。例えば、多重解像度解析のレベル数は、任意に変更可能である。例えば、多重解像度解析のレベル数は、「2」、「4」であってもよい。さらに、上述した実施形態においては、画像処理部16の多重解像度解析のレベル数が複数である場合について説明したが、実施形態は、これに限定されるものではない。例えば、多重解像度解析のレベル数が「1」であってもよい。
また、上述した実施形態では、画像処理部16が、Bモードデータから特徴量を抽出し、ストレイン値を算出して生成された歪みデータをフィルタ処理する場合や、ドプラデータのパワー値から特徴量を抽出し、組織ドプラデータの速度成分から生成された歪みデータをフィルタ処理する場合について説明したが、実施形態はこれに限定されるものではない。例えば、画像処理部16は、ドプラデータのパワー値から特徴量を抽出し、ストレイン値を算出して生成された歪みデータをフィルタ処理してもよい。また、画像処理部16は、Bモードデータから特徴量を抽出し、組織ドプラデータの速度成分から生成された歪みデータをフィルタ処理してもよい。或いは、画像処理部16は、ドプラデータのパワー値から特徴量を抽出し、硬さデータをフィルタ処理してもよく、また、Bモードデータから特徴量を抽出し、硬さデータをフィルタ処理してもよい。
また、上述した実施形態においては、画像生成部17は、歪みデータ処理部15が生成した歪みデータを用いて歪み画像を生成し、Bモード画像に歪み画像を重畳させてエラストグラフィー画像を生成するものとして説明したが、実施形態はこれに限定されるものではない。例えば、画像生成部17は、歪み画像をBモード画像に重畳させなくてもよい。かかる場合、画像生成部17は、エラストグラフィー画像として、歪み画像とBモード画像とを並列に並べてモニタ2に表示させるようにしてもよい。なお、画像生成部17は、歪みデータから歪み画像を生成して、歪み画像を単独でモニタ2に表示させてもよい。同様に、画像生成部17は、エラストグラフィー画像として、硬さデータ処理部が生成した硬さデータを用いて硬さ画像を生成し、Bモード画像に硬さ画像を重畳させてモニタ2に表示させてもよい。また、画像生成部17は、硬さ画像とBモード画像とを並列に並べてモニタ2に表示させてもよい。また、画像生成部17は、硬さ画像を単独でモニタ2に表示させてもよい。
また、上述した実施形態では、画像処理部16が、エラストモードにおいて生成された歪み画像データや硬さ画像データをフィルタ処理の対象とする場合について説明したが、実施形態はこれに限定されるものではない。すなわち、画像処理部16は、歪み画像データや硬さ画像データ以外のデータをフィルタ処理の対象としてもよい。例えば、第1の実施形態においては、画像処理部16は、Bモードデータのエッジの大きさとエッジの方向とを特徴量として算出し、算出した特徴量に基づいて、歪みデータをフィルタ処理するものとして説明したが、実施形態はこれに限定されるものではない。例えば、画像処理部16は、Bモードデータのエッジの大きさとエッジの方向とを特徴量として算出し、算出した特徴量に基づいて、カラードプラデータをフィルタ処理してもよい。また、第2の実施形態においては、画像処理部16は、ドプラデータのパワー値からエッジの大きさとエッジの方向とを特徴量として算出し、算出した特徴量に基づいて、歪みデータをフィルタ処理するものとして説明したが、実施形態はこれに限定されるものではない。例えば、画像処理部16は、ドプラデータのパワー値から特徴量を算出し、算出した特徴量に基づいて、カラードプラデータをフィルタ処理してもよい。
また、画像処理部16は、カラードプラデータの「速度」をカラーマッピングしたデータに対してフィルタ処理を行ってもよい。かかる場合、画像処理部16は、例えば、Bモードデータからエッジの大きさと方向とを特徴量として抽出する。そして、画像処理部16は、抽出した特徴量に基づいて、カラードプラデータの「速度」をカラーマッピングしたデータをフィルタ処理する。なお、画像処理部16は、ドプラデータのパワー値からエッジの大きさとエッジの方向とを特徴量として算出し、算出した特徴量に基づいて、カラードプラデータの「速度」をカラーマッピングしたデータをフィルタ処理するようにしてもよい。
また、画像処理部16は、カラードプラデータの「分散」をカラーマッピングしたデータに対してフィルタ処理を行ってもよい。かかる場合、画像処理部16は、例えば、Bモードデータからエッジの大きさと方向とを特徴量として抽出する。そして、画像処理部16は、抽出した特徴量に基づいて、カラードプラデータの「分散」をカラーマッピングしたデータをフィルタ処理する。このように、画像処理部16は、Bモードデータと測定パラメータの異なる画像であれば、Bモードデータから抽出したエッジの大きさと方向とを特徴量としてフィルタ処理を行ってもよい。なお、画像処理部16は、ドプラデータのパワー値からエッジの大きさとエッジの方向とを特徴量として算出し、算出した特徴量に基づいて、カラードプラデータの「分散」をカラーマッピングしたデータをフィルタ処理するようにしてもよい。
さらに、画像処理部16は、高調波成分を映像化するハーモニックイメージングで生成されたデータに対してフィルタ処理を行ってもよい。例えば、コントラストハーモニックイメージング(CHI:Contrast Harmonic Imaging)において、画像処理部16は、造影剤を投与して、高調波成分が抽出された反射波データから生成されたBモードデータ(CHI用のBモードデータ)にフィルタ処理を適用してもよい。かかる場合、画像処理部16は、造影剤を投与する前に基本波成分の反射波データから生成されたBモードデータからエッジの大きさと方向とを特徴量として抽出する。そして、画像処理部16は、抽出した特徴量に基づいて、CHI用のBモードデータをフィルタ処理する。
また、画像処理部16は、高調波成分を抽出する組織ハーモニックイメージング(THI:Tissue Harmonic Imaging)にフィルタ処理を適用してもよい。かかる場合、画像処理部16は、基本波成分の反射波データから生成されたBモードデータからエッジの大きさと方向とを特徴量として抽出する。そして、画像処理部16は、抽出した特徴量に基づいて、THI用のBモードデータをフィルタ処理する。
また、上述した実施形態においては、画像処理部16は、スキャンコンバート前のデータをフィルタ処理する例を説明したが、実施形態はこれに限定されるものではない。例えば、画像処理部16は、スキャンコンバート後の歪み画像や硬さ画像を用いて、フィルタ処理を行ってもよい。かかる場合、歪みデータ処理部15は、生成したデータを画像処理部16に出力せずに、画像生成部17に出力する。そして、画像処理部16は、スキャンコンバート後のBモード画像のエッジの大きさと方向とを特徴量として抽出し、抽出した特徴量に基づいて、スキャンコンバート後の歪み画像や硬さ画像をフィルタ処理する。
上述した実施形態においては、画像処理部16は、画像データの方向性を特徴量として抽出し、特徴量に基づいて平滑化処理を施す非線形異方性拡散フィルタを用いるものとして説明したが、実施形態はこれに限定されるものではない。例えば、画像処理部16は、非線形異方性拡散フィルタを用いて、エッジとは垂直の方向に強調処理を行なってもよい。また、例えば、画像処理部16は、接線方向に平滑化、法線方向に鮮明化を行なうフィルタを用いてもよい。
また、上述した実施形態においては、超音波振動子が1次元に配列された超音波プローブを用い、2次元の断層画像を得るものを前提に述べてきたが、1次元に配列された超音波振動子を摺動させる、または超音波振動子が2次元に配列された超音波プローブを用い、3次元の画像を得るものであってもよい。3次元の場合には、断面ごとに2次元フィルタを適用してもよいし、3次元の特徴量を有する3次元フィルタを適用してもよい。
また、上述の実施形態で説明した超音波診断装置による処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーション、PACSの画像保管装置(画像サーバ)や、ビューワ、電子カルテシステムの各種装置などのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくともひとつの実施形態によれば、画像フィルタ処理において、画像データの種別に依らず分解能を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 装置本体
11 送信部
12 受信部
13 Bモード処理部
14 ドプラ処理部
15 歪みデータ処理部
16 画像処理部

Claims (7)

  1. 被検体に対して超音波を送受信する送受信部と、
    前記送受信部によって受信された受信信号から、歪み画像データもしくは硬さ画像データである第1の画像データを生成する第1の画像データ生成部と、
    前記送受信部によって受信された受信信号から、前記第1の画像データと撮影領域が重複し、かつ、画像化対象とするパラメータの異なる、Bモード画像データ又はドプラ画像データのパワー値のいずれかである第2の画像データを生成する第2の画像データ生成部と、
    前記第2の画像データから特徴量を算出し、算出した特徴量に基づいて、前記第1の画像データを補正する画像処理部と
    を備えたことを特徴とする超音波診断装置。
  2. 前記画像処理部は、前記第2の画像データから当該第2の画像データのエッジの方向とエッジの大きさとを特徴量として算出し、前記エッジの大きさに基づいて、前記第1の画像データを前記エッジの方向に沿って平滑化することを特徴とする請求項1に記載の超音波診断装置。
  3. 前記画像処理部は、前記第1の画像データの硬い部位及び軟らかい部位のうち、軟らかい部位に対して前記第2の画像データから算出したエッジの大きさに基づいて、前記第1の画像データを前記エッジの方向に沿って平滑化することを特徴とする請求項2に記載の超音波診断装置。
  4. 記第2の画像データがドプラ画像データのパワー値である場合に、前記第1の画像データと前記第2の画像データとが、同一のドプラ信号から生成されることを特徴とする請求項1〜3のいずれか一つに記載の超音波診断装置。
  5. 前記画像処理部は、
    前記第1の画像データに対して多重解像度解析して低域分解画像データと、高域分解画像データとに分解する分解部と、
    前記第2の画像データの画像サイズを、前記分解部によって分解された低域分解画像データと同じ画像サイズに縮小する縮小部と、
    前記縮小部によって縮小された前記第2の画像データから当該第2の画像データのエッジの方向とエッジの大きさとを特徴量として算出し、算出した特徴量に基づいて、前記分解部によって分解された前記第1の画像データの低域分解画像データを平滑化する拡散フィルタ部と、
    前記分解部によって分解された前記第1の画像データの高域分解画像データから、前記拡散フィルタ部によって算出されたエッジの大きさ未満の信号をノイズとして取り除く調整部と、
    前記調整部によってノイズが取り除かれた前記第1の画像データの高域分解画像データと、前記拡散フィルタ部によって平滑化された前記第1の画像データの低域分解画像データとを合成して、新たな第1の画像データを生成する再構成部と
    を備えたことを特徴とする請求項1〜のいずれか一つに記載の超音波診断装置。
  6. 被検体に対して超音波を送信することによって得られた受信信号から、歪み画像データもしくは硬さ画像データである第1の画像データを生成する第1の画像データ生成部と、
    前記被検体に対して超音波を送信することによって得られた受信信号から、前記第1の画像データと撮影領域が重複し、かつ、画像化対象とするパラメータの異なる、Bモード画像データ又はドプラ画像データのパワー値のいずれかである第2の画像データを生成する第2の画像データ生成部と、
    前記第2の画像データから特徴量を算出し、算出した特徴量に基づいて、前記第1の画像データを補正する画像処理部と
    を備えたことを特徴とする画像処理装置。
  7. 被検体に対して超音波を送信することによって得られた受信信号から、歪み画像データもしくは硬さ画像データである第1の画像データを生成する第1の生成手順と、
    前記被検体に対して超音波を送信することによって得られた受信信号から、前記第1の画像データと撮影領域が重複し、かつ、画像化対象とするパラメータの異なる、Bモード画像データ又はドプラ画像データのパワー値のいずれかである第2の画像データを生成する第2の生成手順と、
    前記第2の画像データから特徴量を算出し、算出した特徴量に基づいて、前記第1の画像データを補正する画像処理手順と
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2013227497A 2013-10-31 2013-10-31 超音波診断装置、画像処理装置及び画像処理プログラム Active JP6207972B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013227497A JP6207972B2 (ja) 2013-10-31 2013-10-31 超音波診断装置、画像処理装置及び画像処理プログラム
US14/518,036 US10143439B2 (en) 2013-10-31 2014-10-20 Ultrasound diagnosis apparatus, image processing apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013227497A JP6207972B2 (ja) 2013-10-31 2013-10-31 超音波診断装置、画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015085038A JP2015085038A (ja) 2015-05-07
JP6207972B2 true JP6207972B2 (ja) 2017-10-04

Family

ID=52996158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013227497A Active JP6207972B2 (ja) 2013-10-31 2013-10-31 超音波診断装置、画像処理装置及び画像処理プログラム

Country Status (2)

Country Link
US (1) US10143439B2 (ja)
JP (1) JP6207972B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
KR102035993B1 (ko) 2015-09-03 2019-10-25 지멘스 메디컬 솔루션즈 유에스에이, 인크. 탄성 영상을 형성하는 초음파 시스템 및 방법
CN112437634A (zh) * 2018-07-18 2021-03-02 皇家飞利浦有限公司 智能导波弹性成像
CN111242856B (zh) * 2020-01-06 2023-03-24 西安工程大学 一种基于剪切波的双重图像去噪方法
CN117689590B (zh) * 2024-01-31 2024-04-16 天津灵境智游科技有限公司 一种基于ai技术的ar的对象互动展示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7288068B2 (en) * 2003-12-15 2007-10-30 Siemens Medical Solutions Usa, Inc. Automatic optimization for ultrasound medical imaging
KR100646715B1 (ko) 2004-10-18 2006-11-23 한국과학기술원 후처리를 통한 2차원 초음파 영상의 화질 개선 방법
US9389203B2 (en) * 2005-06-17 2016-07-12 Wisconsin Alumni Research Foundation Automated ultrasonic elasticity image formation with quality measure
JP4751282B2 (ja) * 2006-09-27 2011-08-17 株式会社日立製作所 超音波診断装置
JP5448328B2 (ja) * 2007-10-30 2014-03-19 株式会社東芝 超音波診断装置及び画像データ生成装置
JP5049773B2 (ja) * 2007-12-27 2012-10-17 株式会社東芝 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
US9255914B2 (en) 2009-08-13 2016-02-09 Kabushiki Kaisha Toshiba Ultrasonic diagnosis apparatus and program

Also Published As

Publication number Publication date
US10143439B2 (en) 2018-12-04
JP2015085038A (ja) 2015-05-07
US20150119711A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
JP5049773B2 (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
JP5835994B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5773781B2 (ja) 超音波診断装置、画像処理装置及びプログラム
JP5586375B2 (ja) 超音波診断装置、及びプログラム
JP2011224346A (ja) 超音波診断装置、画像処理装置および画像処理方法
JP6073563B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP6207972B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
US10101450B2 (en) Medical image processing apparatus, a medical image processing method and a medical diagnosis apparatus
JP5818592B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理方法
JP5542454B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5259175B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5269517B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6945334B2 (ja) 超音波診断装置及び医用画像処理装置
JP7438850B2 (ja) 医用画像診断装置及び医用画像処理装置
JP7109986B2 (ja) 画像処理装置及び超音波診断装置
JP7346212B2 (ja) 解析装置及び解析プログラム
JP2020114282A (ja) 画像解析装置
US10228462B2 (en) Ultrasonic imaging apparatus and control method thereof
US20220067932A1 (en) Image processing apparatus and ultrasonic diagnostic apparatus
JP5072585B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5646670B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5797514B2 (ja) 超音波診断装置、画像処理装置及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170906

R150 Certificate of patent or registration of utility model

Ref document number: 6207972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350