JP6598539B2 - 医用画像診断装置、医用画像処理装置及びプログラム - Google Patents

医用画像診断装置、医用画像処理装置及びプログラム Download PDF

Info

Publication number
JP6598539B2
JP6598539B2 JP2015134635A JP2015134635A JP6598539B2 JP 6598539 B2 JP6598539 B2 JP 6598539B2 JP 2015134635 A JP2015134635 A JP 2015134635A JP 2015134635 A JP2015134635 A JP 2015134635A JP 6598539 B2 JP6598539 B2 JP 6598539B2
Authority
JP
Japan
Prior art keywords
image
similarity
determination
subject
determination process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015134635A
Other languages
English (en)
Other versions
JP2017012607A (ja
Inventor
充男 穐山
武 杉尾
康典 大嶋
智子 鈴木
広治 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2015134635A priority Critical patent/JP6598539B2/ja
Publication of JP2017012607A publication Critical patent/JP2017012607A/ja
Application granted granted Critical
Publication of JP6598539B2 publication Critical patent/JP6598539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、医用画像診断装置、医用画像処理装置及びプログラムに関する。
超音波診断装置は、心臓の機能で重要とされている左心室の駆出率の計測に利用される場合がある。駆出率は心臓の収縮末期と拡張末期における心室の容積から比率を算出するものである。この計測を実施する場合、例えば、心臓の特定の断面の画像が一定時間安定的に描出されていることや、ECG波形や心拍数(HR:Heart Rate)などを確認して心拍の周期が一定時間安定していることが前提条件となる。
国際公開第04/112568号 国際公開第05/002446号 国際公開第12/029616号
本発明が解決しようとする課題は、精度の高い計測を簡便に行うことができる医用画像診断装置、医用画像処理装置及びプログラムを提供することである。
実施形態の医用画像診断装置は、画像生成部と、判定部とを備える。画像生成部は、被検体を走査して得られた信号から画像を生成する。判定部は、前記被検体の生体信号が所定の基準を満たすか否かの判定を実行する第1の判定処理を実行し、前記第1の判定処理において前記所定の基準を満たしていると判定された場合、前記第1の判定処理において前記所定の基準を満たしていると判定された前記生体信号に対応する前記被検体を略同一時相で走査して生成された画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する第2の判定処理を実行する判定部は、前記第1の判定処理において前記所定の基準を満たしていると判定されなかった場合前記第2の判定処理を実行しない。
図1は、第1の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図2は、第1の実施形態を説明するための図(1)である。 図3Aは、第1の実施形態を説明するための図(2)である。 図3Bは、第1の実施形態を説明するための図(3)である。 図4は、第1の実施形態を説明するための図(4)である。 図5は、第1の実施形態に係る超音波診断装置による処理手順を示すフローチャートである。 図6Aは、第1の実施形態の変形例を説明するための図(1)である。 図6Bは、第1の実施形態の変形例を説明するための図(2)である。 図7Aは、第1の実施形態の変形例を説明するための図(3)である。 図7Bは、第1の実施形態の変形例を説明するための図(4)である。 図8は、第1の実施形態の変形例を説明するための図(5)である。 図9は、第2の実施形態を説明するための図である。 図10は、第3の実施形態を説明するための図である。 図11は、第3の実施形態の変形例1を説明するための図である。 図12は、第3の実施形態の変形例2を説明するための図である。
以下、図面を参照して、実施形態に係る医用画像診断装置、医用画像処理装置及びプログラムを説明する。なお、実施形態では、医用画像診断装置の一例として超音波診断装置について説明する。また、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。
(第1の実施形態)
図1は、第1の実施形態に係る超音波診断装置1の構成例を示すブロック図である。図1に示すように、第1の実施形態に係る超音波診断装置1は、超音波プローブ11と、入力装置12と、ディスプレイ13と、心電計14と、装置本体100とを備える。超音波プローブ11は、後述する装置本体100が備える送受信回路110と通信可能に接続される。また、入力装置12、ディスプレイ13、及び心電計14は、装置本体100が備える各種の回路と通信可能に接続される。
超音波プローブ11は、被検体Pの体表面に接触され、超音波の送受信を行う。例えば、超音波プローブ11は、複数の圧電振動子を有する。これら複数の圧電振動子は、送受信回路110から供給される駆動信号に基づいて、超音波を発生させる。発生した超音波は、被検体Pの体内組織において反射され、反射波信号として複数の圧電振動子にて受信される。超音波プローブ11は、複数の圧電振動子にて受信した反射波信号を、送受信回路110へ送る。超音波プローブ11は、被検体Pを走査する走査部の一例である。
なお、第1の実施形態は、超音波プローブ11は、被検体P内の2次元領域を走査(2次元走査)する1Dアレイプローブであっても、被検体P内の3次元領域を走査(3次元走査)するメカニカル4Dプローブや2Dアレイプローブであっても適用可能である。
入力装置12は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等に対応する。入力装置12は、超音波診断装置1の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体100の各回路に対して適宜転送する。
ディスプレイ13は、操作者が入力装置12を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体100において生成された超音波画像データに基づく画像(超音波画像)等を表示したりする。
心電計14は、超音波走査される被検体Pの心電信号として、被検体Pの心電波形(ECG:Electrocardiogram)を取得する。心電計14は、取得した心電波形を装置本体100の各回路に適宜送信する。
装置本体100は、超音波プローブ11が受信した反射波信号に基づいて、超音波画像データを生成する装置である。図1に示すように、装置本体100は、例えば、送受信回路110と、Bモード処理回路120と、ドプラ処理回路130と、画像生成回路140と、画像メモリ150と、記憶回路160と、処理回路170とを有する。送受信回路110、Bモード処理回路120、ドプラ処理回路130、画像生成回路140、画像メモリ150、記憶回路160、及び処理回路170は、互いに通信可能に接続される。
送受信回路110は、超音波プローブ11による超音波の送受信を制御する。例えば、送受信回路110は、後述する処理回路170の指示に基づいて、超音波プローブ11が行う超音波送受信を制御する。送受信回路110は、超音波プローブ11に駆動信号(駆動パルス)を印加することで、超音波がビーム状に集束された超音波ビームを送信させる。また、送受信回路110は、超音波プローブ11が受信した反射波信号に所定の遅延時間を与えて加算処理を行うことで、反射波信号の受信指向性に応じた方向から反射成分が強調された反射波データを生成し、生成した反射波データをBモード処理回路120及びドプラ処理回路130に送信する。
Bモード処理回路120は、送受信回路110が反射波信号から生成した反射波データに対して各種の信号処理を行う。Bモード処理回路120は、送受信回路110から受信した反射波データに対して、対数増幅、包絡線検波処理等を行って、サンプル点(観測点)ごとの信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。Bモード処理回路120は、生成したBモードデータを画像生成回路140へ送る。
ドプラ処理回路130は、送受信回路110から受信した反射波データより、移動体のドプラ効果に基づく運動情報を、走査領域内の各サンプル点で抽出したデータ(ドプラデータ)を生成する。具体的には、ドプラ処理回路130は、移動体の運動情報として、平均速度、分散値、パワー値等を各サンプル点で抽出したドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路130は、生成したドプラデータを画像生成回路140へ送る。
画像生成回路140は、Bモード処理回路120やドプラ処理回路130が生成したデータから超音波画像データを生成する。例えば、画像生成回路140は、Bモード処理回路120が生成したBモードデータから、反射波の強度を輝度で表したBモード画像データを生成する。また、画像生成回路140は、ドプラ処理回路130が生成したドプラデータから、移動体情報を表すドプラ画像データを生成する。このドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。なお、画像生成回路140は、被検体Pを走査して得られた信号から画像を生成する画像生成部の一例である。
画像メモリ150は、Bモード処理回路120、ドプラ処理回路130、及び画像生成回路140により生成されたデータを記憶するメモリである。例えば、画像メモリ150は、画像生成回路140により生成された超音波画像データを、被検体Pの心電波形に対応付けて記憶する。なお、画像メモリ150に記憶されるデータ量が画像メモリ150の記憶容量を超過する場合には、古いデータから順に削除され、更新される。
記憶回路160は、各種データを記憶する記憶装置である。例えば、記憶回路160は、超音波送受信、画像処理及び表示処理を行うための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路160に記憶されるデータは、図示しないインタフェース部を介して、外部装置へ転送することができる。
また、記憶回路160は、Bモード処理回路120、ドプラ処理回路130、及び画像生成回路140により生成されたデータを記憶する。例えば、記憶回路160は、操作者により指定された所定心拍分の超音波画像データを記憶する。なお、記憶回路160は、被検体Pを所定期間で走査して得られた複数の画像を記憶する記憶部の一例である。
処理回路170は、超音波診断装置1の処理全体を制御する。具体的には、処理回路170は、入力装置12を介して操作者から入力された各種設定要求や、記憶回路160から読み込んだ各種制御プログラム及び各種データに基づいて、送受信回路110、Bモード処理回路120、ドプラ処理回路130、及び画像生成回路140等の処理を制御する。また、処理回路170は、画像メモリ150が記憶する超音波画像データをディスプレイ13に表示させる。
第1の実施形態に係る処理回路170は、判定機能171を有する。ここで、処理回路170の構成要素である判定機能171が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路160に記録されている。処理回路170は、各プログラムを記憶回路160から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路170は、図1の処理回路170内に示された各機能を有することとなる。判定機能171については、後述する。
なお、図1においては単一の処理回路170にて判定機能171にて行われる処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Preprocess Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路160にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
このように構成される超音波診断装置1は、例えば、左心室の駆出率の計測に利用される場合がある。この計測を開始する場合、例えば、ECG波形や心拍数などを確認して心拍の周期が一定時間安定していることや心臓の特定の断面の画像が一定時間安定的に描出されていることが前提条件となる。
ところで、従来では、計測を開始するための前提条件を満たしているかどうかの判断は操作者の主観に委ねられていた。すなわち、操作者は、生体的に安定した状態になっており、なおかつ安定した画像が得られているということを主観的に判断していた。このため、従来では、計測の開始までに必要以上に時間がかかってしまうという問題があった。また、前提条件を満たしているかどうかの判断を操作者の主観に委ねるため、計測結果の再現性が低くなり、この結果として計測の精度が落ちるという問題があった。
このようなことから、第1の実施形態に係る超音波診断装置1は、第1の判定処理と、第2の判定処理とを実行し、計測を開始するための前提条件を満たしているかどうかを判定する。かかる機能は、判定機能171により実現される。以下では、判定機能171について詳細に説明する。
判定機能171は、処理回路170が判定機能171に対応するプログラムを記憶回路160から読み出し実行することで、実現される機能である。なお、判定機能171は、判定部の一例である。判定機能171は、被検体Pの生体信号の周期性が安定である状態で被検体Pを略同一時相で走査して生成された画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する。
例えば、判定機能171は、第1の判定処理として、生体信号における所定の時相間の間隔及び生体信号における所定の時相間の形状のうち少なくともいずれか一つを用いて被検体Pの生体信号の周期性が安定である状態であるか否かを判定する。図2は、第1の実施形態を説明するための図(1)である。
例えば判定機能171は、第1の判定処理において、心電波形から、各心拍のR波を検出し、各心拍でのR波の間隔を測定する。図2に示す例では、判定機能171が3心拍分のR波を検出した場合を示す。そして、判定機能171は、各心拍におけるR波同士の間隔を任意の心拍数分測定する。図2に示す例では、判定機能171は、R1とR2との間隔2aと、R2とR3との間隔2bとを算出する。そして、判定機能171は、算出した間隔の差が、所定の閾値の範囲内である場合に、被検体Pの生体信号の周期性が安定である状態であると判定する。なお、被検体Pの生体信号の周期性が安定である状態を「第1の安定状態」とも言う。
より具体的には、判定機能171は、R1に続いてR2を検出し、R1とR2との間隔2aを算出した後に最新のR波としてR3を検出した場合、前回検出したR波であるR2とR3との間隔2bを算出する。そして、判定機能171は、前回の算出結果である間隔2aと今回の算出結果である間隔2bとの差が所定の閾値の範囲内であるか否かを判定する。ここで、判定機能171は、前回の算出結果である間隔2aと今回の算出結果である間隔2bとの差が所定の閾値の範囲内である場合に、第1の安定状態となった回数として1回を計上する。判定機能171は、第1の判定処理を繰り返し実行し、第1の安定状態となった回数が所定の回数に達した場合に、第2の判定処理に移行する。なお、所定の回数は1回以上で任意に設定可能である。
続いて、判定機能171は、被検体Pの生体信号の周期性が安定である状態である場合に、第2の判定処理として、画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する。図3Aは、第1の実施形態を説明するための図(2)であり、図3Bは、第1の実施形態を説明するための図(3)である。
図3Aでは、R波に対応する画像間の類似度を算出する場合について説明する。例えば、判定機能171は、第1の判定処理で得られた心電波形のR波をターゲットの時相とする。かかる場合、判定機能171は、ターゲットの時相で得られている超音波画像を画像メモリ150から読み出して、画像間の類似度を算出する。図2に示す例では、判定機能171は、超音波画像3a、3b及び3cを画像メモリ150から読み出して、超音波画像3aと超音波画像3bとの類似度、超音波画像3bと超音波画像3cとの類似度をそれぞれ算出する。
ここで、判定機能171は、画像間で対応する各画素の輝度値の差異に基づいて類似度を算出する。図3Bに示す例では超音波画像3aと超音波画像3bとの類似度を算出する場合について説明する。図3Bに示すように、判定機能171は、隣り合うR波の画像3a及び3bにおける左上の画素同士の輝度を比較する。そして、判定機能171は、比較した画素間の輝度値の差が例えば所定値以下であれば、比較した画素の輝度値の差が一致していると判定する。ここで例えば、所定値は10である。なお、所定値は、最大値を255とし操作者によって任意に調整可能である。そして、判定機能171は、各画像に含まれる画素数分だけ、輝度値の差が一致しているか否かを判定する。そして、判定機能171は、「輝度値の差が一致している画素の数/すべての画素の数」により類似度を算出する。なお、判定機能171は、心臓以外の領域を除外するために、1心拍内で輝度の変化が大きい領域に限定して画像の類似度を算出してもよい。
そして、判定機能171は、算出した類似度が所定の閾値を超えているか否かを判定する。ここで、判定機能171は、算出した類似度が所定の閾値を超えた場合には、類似度が所定の閾値を超えた回数を計上する。そして、判定機能171は、類似度が所定の閾値を超えた回数が所定の回数に達した場合、第2の安定状態であると判定する。なお、所定の回数は1回以上で任意に設定可能である。
また、判定機能171は、第2の判定処理の判定結果に応じて、類似度が所定の閾値を超えているか否かを示す情報を生成して操作者に通知する。図4は、第1の実施形態を説明するための図(4)である。図4では、類似度が所定の閾値を超えていることを示す文字情報を生成してディスプレイ13に表示させる場合について説明する。
図4に示すように、ディスプレイ13の表示領域には、超音波画像4aと心電波形4bとが表示されている。判定機能171は、類似度が所定の閾値を超えた場合には、例えば文字情報4cとして「計測が可能です」を生成し、ディスプレイ13に表示させる。これにより、操作者は、計測を開始するための前提条件を満たしていることを理解できる。
図5は、第1の実施形態に係る超音波診断装置1による処理手順を示すフローチャートである。図5に示すように、判定機能171は、前時相のR波との間隔を測定する(ステップS101)。そして、判定機能171は、前回の測定結果と今回の測定結果との差を算出する(ステップS102)。また、画像生成回路140は、R波の時相の画像を画像メモリ150に保管する(ステップS103)。
また、判定機能171は、各時相毎の間隔の差が連続して閾値内に収まる回数が所定の数に達したか否かを判定する(ステップS104)。ここで、判定機能171は、各時相毎の間隔の差が連続して閾値内に収まる回数が所定の数に達したと判定しなかった場合(ステップS104、No)、ステップS101に移行する。一方、判定機能171は、各時相毎の間隔の差が連続して閾値内に収まる回数が所定の数に達したと判定した場合(ステップS104、Yes)、前時相で保管した画像と今回の時相で保管した画像とを比較する(ステップS105)。すなわち、判定機能171は、画像間の類似度を算出する。
そして、判定機能171は、各時相毎の差が連続して閾値内に収まる回数が所定数に達したか否かを判定する(ステップS106)。ここで、判定機能171は、各時相毎の差が連続して閾値内に収まる回数が所定数に達したと判定しなかった場合(ステップS106、No)、ステップS101に移行する。一方、判定機能171は、各時相毎の差が連続して閾値内に収まる回数が所定数に達したと判定した場合(ステップS106、Yes)、画像の安定を通知する(ステップS107)。
上述したように、第1の実施形態では、第1の判定処理として、被検体Pの生体信号の周期性が安定である状態であるか否かを判定し、第2の判定処理として、画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する。これにより第1の実施形態によれば、操作者は、第1の実施形態に係る超音波診断装置1による客観的な判定結果を参照して計測を開始することが可能となる。この結果、操作者は、計測の開始までに必要な時間を短縮することが可能になる。また、操作者は、前提条件を満たしているかどうかを客観的な判定結果を参照することで、計測結果の再現性を高めることが可能になり、この結果として精度の高い計測を行うことが可能となる。
(第1の判定処理の変形例)
なお、上述した実施形態では、判定機能171は、第1の判定処理として、R波の間隔の差を用いて、被検体Pの生体信号の周期性が安定である状態であるか否かを判定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、判定機能171は、P波の間隔の差が一定になる場合に、被検体Pの生体信号の周期性が安定であると判定してもよい。また例えば、判定機能171は、R波の間隔の差とP波の間隔の差とが一定になる場合に、被検体Pの生体信号の周期性が安定であると判定してもよい。
また、上述した実施形態では、判定機能171は、第1の判定処理として、生体信号における所定の時相間の間隔を用いて被検体Pの生体信号の周期性が安定である状態であるか否かを判定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、判定機能171は、生体信号における所定の時相間の形状を用いて被検体Pの生体信号の周期性が安定である状態であるか否かを判定するようにしてもよい。言い換えると、判定機能171は、パターン認識を用いて略同一時相の波形の一致具合で、生体信号の周期性が安定であるか否かを判定する。図6Aは、第1の実施形態の変形例を説明するための図(1)であり、図6Bは、第1の実施形態の変形例を説明するための図(2)である。図6A及び図6Bでは、R波の形状を用いて被検体Pの生体信号の周期性が安定である状態であるか否かを判定する場合について説明する。
図6Aでは、生体信号の周期性が安定ではない場合を示す。図6Aでは、破線で囲んだR波の形状が異なる。かかる場合、判定機能171は、生体信号の周期性が安定でないと判定する。図6Bでは、生体信号の周期性が安定である場合を示す。図6Bでは、破線で囲んだR波の形状が略一致する。かかる場合、判定機能171は、生体信号の周期性が安定であると判定する。
なお、図6A及び図6Bでは、R波の形状を用いて被検体Pの生体信号の周期性が安定である状態であるか否かを判定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、図7Aは、第1の実施形態の変形例を説明するための図(3)であり、図7Bは、第1の実施形態の変形例を説明するための図(4)である。図7Aでは、生体信号の周期性が安定ではない場合を示す。図7Aでは、破線で囲んだT波の形状が異なる。かかる場合、判定機能171は、生体信号の周期性が安定でないと判定する。図7Bでは、生体信号の周期性が安定である場合を示す。図7Bでは、破線で囲んだT波の形状が略一致する。かかる場合、判定機能171は、生体信号の周期性が安定であると判定する。
(第2の判定処理の変形例)
また、上述した実施形態では、判定機能171は、第2の判定処理として、心電波形のR波の画像同士を比較し、類似度を算出するものとして説明したが、実施形態はこれに限定されるものではない。例えば、判定機能171は、第1の判定処理で得られた心電波形のP波の画像同士で類似度を算出してもよいし、R波を基準として任意の時間遅延させた個所をターゲットの時相とし、ターゲットの時相の画像同士で類似度を算出してもよい。さらに、判定機能171は、操作者が指定した時相で第2の判定処理を行っても良い。ここで、操作者は、テーブルや計算式を参照して時相を指定してもよい。例えば、収縮末期の場合であれば、拡張末期と収縮末期の時間は、一般に心拍数が大きくなるにつれて小さくなる。このため、操作者は、心拍数毎の収縮末期の時相を対応付けたテーブルを参照することで時相を設定することが可能となる。
また、判定機能171は、複数の時相ごとに類似度を算出して、それぞれの時相で算出した類似度が所定の閾値を超えたか否かを判定するようにしてもよい。図8は、第1の実施形態の変形例を説明するための図(5)である。図8に示すように、判定機能171は、P波、R波、T波及びU波それぞれでの第2の判定処理を実行する。すなわち、判定機能171は、P1、P2及びP3の画像を用いて類似度を算出して、P波での第2の判定処理を実行する。より具体的には、判定機能171は、P1の画像とP2の画像とで類似度を算出し、P2の画像とP3の画像とで類似度を算出する。P波での処理と同様に、判定機能171は、R1、R2及びR3の画像を用いて類似度を算出して、R波での第2の判定処理を実行する。また、判定機能171は、P波での処理と同様に、T1、T2及びT3の画像を用いて類似度を算出して、T波での第2の判定処理を実行する。さらに、判定機能171は、P波での処理と同様に、U1、U2及びU3の画像を用いて類似度を算出して、U波での第2の判定処理を実行する。そして、判定機能171は、P波、R波、T波及びU波それぞれでの第2の判定処理の結果が第2の安定状態であると判定するまで処理を繰り返す。
或いは、判定機能171は、異なる時相ごとに算出された類似度に基づいて、最終的な類似度を算出するようにしてもよい。ここでは、判定機能171が、R波の画像から算出した類似度と収縮末期の画像から算出した類似度とに基づいて最終的な類似度を算出する場合について説明する。かかる場合、判定機能171は、例えば、「(R波の画像で算出した類似度+収縮末期の画像で算出した類似度)/2」により類似度を算出する。なお、R波の画像で算出した類似度と、収縮末期の画像で算出した類似度とについて同じ重要度で最終的な類似度を算出するものとして説明したが、実施形態はこれに限定されるものではない。例えば、判定機能171は、R波の画像で算出した類似度と、収縮末期の画像で算出した類似度とに対して任意に重み付けをして最終的な類似度を算出してもよい。
なお、第2の判定処理において、たとえ類似度が高くても描出される画像の鮮明度が低いと計測には利用できない。このようなことから、判定機能171は、画像から抽出した所定の構造物の輪郭を示す画素数が所定の閾値以上であるか否かを判定するようにしてもよい。そして、判定機能171は、画素数が所定の閾値以上である場合に、画像が鮮明であると判定し、類似度を算出する。言い換えると、判定機能171は、画像間で対応する各画素の輝度値の差異と、画像から抽出した所定の構造物の輪郭を示す画素数とに基づいて類似度を算出する。
(判定結果の通知の変形例)
また、図4に示す例では、類似度が所定の閾値を超えた場合に、計測が可能であることを示す情報を表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、判定機能171は、類似度が所定の閾値を超えている場合と類似度が所定の閾値以下の場合とで、情報の表示形態を変更するようにしてもよい。より具体的には、判定機能171は、類似度が所定の閾値以下の場合には、計測が可能ではないことを示す情報を表示させておき、類似度が所定の閾値を超えた場合には、計測が可能であることを示す情報に切り替えて表示させてもよい。或いは、判定機能171は、類似度が所定の閾値以下の場合には、計測が可能ではないことを示す情報を表示させておき、類似度が所定の閾値を超えた場合には、計測が可能ではないことを示す情報をディスプレイ13上から消去させてもよい。かかる場合、判定機能171は、類似度が所定の閾値を超えた場合でも、計測が可能であることを示す情報を表示させなくてもよい。また、図4に示す例では、文字情報を表示させる場合について説明したが、計測が可能であることを示すアイコンや計測が可能ではないことを示すアイコンを表示させても良い。
また、例えば、判定機能171は、第2の判定処理で算出した類似度と、閾値との差を段階的に分けて、「安定度」として表示させてもよい。なお、閾値との差に対する安定度は、操作者によって任意に設定可能である。また、判定機能171は、心電波形への色付けといった動的な表示に置き換えるといったことも可能である。より具体的には、判定機能171は、通常時に心電波形を例えば緑色で表示させ、第2の安定状態と判定した場合に、心電波形を例えば赤色で表示させる。
(第2の実施形態)
第1の実施形態では、判定機能171が画像間で対応する各画素の輝度値の差異に基づいて類似度を算出する場合について説明した。第2の実施形態では、判定機能171が、時相が略同一である各画像から所定の構造物の輪郭を抽出し、当該画像間での輪郭を示す画素の移動量に基づいて類似度を算出する場合について説明する。なお、第2の実施形態に係る超音波診断装置1の全体構成は、図1に示した構成例と同様であるので、ここでは説明を省略する。
第2の実施形態に係る判定機能171は、第1の実施形態と同様に、第1の判定処理と、第2の判定処理とを実行する。すなわち、第2の実施形態に係る判定機能171は、第1の判定処理として、生体信号における所定の時相間の間隔及び生体信号における所定の時相間の形状のうち少なくともいずれか一つを用いて被検体Pの生体信号の周期性が安定である状態であるか否かを判定する。
そして、第2の実施形態に係る判定機能171は、被検体Pの生体信号の周期性が安定である状態である場合に、第2の判定処理として、画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する。図9を用いて、第2の実施形態に係る判定機能171による第2の判定処理を説明する。図9は、第2の実施形態を説明するための図である。
図9では、前時相において画像9aが生成された場合を説明する。判定機能171は、画像9aから所定の構造物の輪郭として、図9に示すU字型の輪郭を抽出する。また、判定機能171は、今回の時相において画像9bが生成された場合、画像9bから所定の構造物の輪郭として、図9に示すU字型の輪郭を抽出する。また、判定機能171は、今回の時相において画像9cが生成された場合、画像9cから所定の構造物の輪郭として、図9に示すU字型の輪郭を抽出する。
そして、判定機能171は、画像間での輪郭を示す画素の移動量に基づいて類似度を算出する。判定機能171は、輪郭を示す画素の移動量が大きい場合に、類似度を低く算出し、輪郭を示す画素の移動量が小さい場合に、類似度を高く算出する。ここで、図9に示すように、画像9bの輪郭は、画像9aの輪郭と略同一であるが、描出された位置が異なる。また、画像9cの輪郭は、画像9aの輪郭と略同一であり、描出された位置が略一致する。かかる場合、判定機能171は、画像9aと画像9bとの類似度よりも、画像9aと画像9cとの類似度を高く算出する。
そして、判定機能171は、算出した類似度が所定の閾値を超えているか否かを判定する。ここで、判定機能171は、算出した類似度が所定の閾値を超えた場合には、類似度が所定の閾値を超えた回数を計上する。そして、判定機能171は、類似度が所定の閾値を超えた回数が所定の回数に達した場合、第2の安定状態であると判定する。なお、所定の回数は1回以上で任意に設定可能である。
上述したように、第2の実施形態では、第1の判定処理として、被検体Pの生体信号の周期性が安定である状態であるか否かを判定し、第2の判定処理として、画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する。これにより第1の実施形態によれば、操作者は、精度の高い計測を簡便に行うことができる。
なお、第2の実施形態における第2の判定処理において、たとえ類似度が高くても描出される画像の鮮明度が低いと計測には利用できない。このようなことから、判定機能171は、画像から抽出した所定の構造物の輪郭を示す画素数が所定の閾値以上であるか否かを判定するようにしてもよい。そして、判定機能171は、画素数が所定の閾値以上である場合に、画像が鮮明であると判定し、類似度を算出する。
(第3の実施形態)
上述した第1の実施形態及び第2の実施形態では、超音波画像をリアルタイムで収集しながら駆出率を計測するものとして説明した。この駆出率の計測は、記憶回路160に保存した画像に対して行う場合が多い。また、上述した第1の実施形態及び第2の実施形態は、記憶回路160に保存した画像に対しても適用可能である。なお、リアルタイムで収集しながら駆出率を計測する場合、画像メモリ150に読み込まれている画像に対して第1の判定処理及び第2の判定処理を実行するのに対し、保存した画像で駆出率を計測する場合、記憶回路160から読み込まれた画像に対して第1の判定処理及び第2の判定処理を実行することになる。
ところで、記憶回路160から読み込む画像が動画である場合、この動画には第2の安定状態である画像(計測に使用する画像)と、単に計測する場所を探すために操作しているだけの無駄な画像(計測に使用しない画像)とが含まれる。このため、操作者は、動画の再生時に無駄な画像も見ることになる。
そこで、第3の実施形態に係る判定機能171は、複数の画像のうち、類似度が所定の閾値を超えた画像にタグを付与し、当該タグを付与した画像を記憶回路160に格納する。図10は、第3の実施形態を説明するための図である。
図10に示すように、両矢印10aで示す範囲の画像を動画とし、両矢印10bで示す範囲の画像を第2の安定状態である画像とする場合、計測に用いる画像は、両矢印10bで示す範囲の画像である。そこで、第3の実施形態に係る判定機能171は、類似度が所定の閾値を超えた画像にタグを付与し、記憶回路160に格納する。そして、処理回路170は、記憶回路160に記憶された複数の画像の表示要求を受付けて、複数の画像のうち、タグの付与された画像をディスプレイ13に表示させる。図10に示す例では、処理回路170は、両矢印10bで示す範囲のタグの付与された画像をディスプレイ13に表示させる。
このように、計測に用いる画像を特定可能なタグを付与して記憶させることで、動画を再生する際に必要な画像のみを再生させることが可能になる。また、判定機能171は、第2の安定状態の開始時の画像と終了時の画像とにインデックスをタグとして付与してもよい。かかる場合、処理回路170は、インデックスを呼び出すことにより、動画を再生させる場合に、必要な画像だけを呼び出すことが可能となる。
(第3の実施形態の変形例1)
また、判定機能171は、第2の安定状態に達したことをトリガとして、自動で画像を保存してもよい。例えば、判定機能171は、類似度が所定の閾値を超えている状態において被検体Pを走査して得られた画像を記憶回路160に格納するようにしてもよい。図11は、第3の実施形態の変形例1を説明するための図である。
図11では、両矢印11aで示す範囲の画像を第2の安定状態に達した画像とする。判定機能171は、類似度が所定の閾値を超えている状態から類似度が所定の閾値以下の状態に遷移した場合、類似度が所定の閾値を超えている状態において被検体Pを走査して得られた画像を画像メモリ150から特定する。すなわち、判定機能171は、図11に示す両矢印11aの範囲の画像を第2の安定状態に達した画像として画像メモリ150から特定する。そして、判定機能171は、この特定した画像を記憶回路160に格納する。
このように、第3の実施形態の変形例1では、画像を撮り続けているとき、画像に描出されている内容が変わったらデータを記憶回路160に保存する。これにより、第2の安定状態で表示されていた画像が変わるときに、それまで第2の安定状態だった時の画像を保存することで操作者が画像の取り忘れを防ぐことができる。なお、操作者は、自動で保存するようにするか否かを入力装置12から設定可能にしてもよい。
(第3の実施形態の変形例2)
これまでの例では第2の安定状態に達した画像を保存する場合の処理について説明したが、実施形態はこれに限定されるものではない。例えば、第2の安定状態から突然不安定な状態に遷移した場合に、画像を保存するようにしてもよい。図12は、第3の実施形態の変形例2を説明するための図である。
図12では、両矢印12aで示す範囲の画像を第2の安定状態に達した画像とし、矢印12bで示す画像を例えば不安定な状態に遷移した時の画像とする。例えば、判定機能171は、類似度が所定の閾値を超えている状態から、被検体Pの生体信号が一定ではない状態に遷移した場合、遷移後の被検体Pを走査して得られた画像にタグを付与し、当該タグを付与した画像を記憶回路160に格納する。これにより、例えば、不整脈等で心電波形がこれまでと異なる動きを示した時に被検体Pを走査して得られた画像にタグを付与することで、不整脈等の現象が起きた画像を後から簡単に読み出すことが可能になる。
(その他の実施形態)
実施形態は、上述した実施形態に限られるものではない。
操作者はプローブの位置を固定するが、手の動きによってプローブが動いてしまい、画像の位置が安定せず、時相ごとの画像比較の精度が悪くなる場合がある。そこで、例えば、判定機能171は、類似度が所定の閾値を超えている状態において超音波プローブ11の動きを検出し、検出した動きに基づいて画像を補正して、画像間の類似度を算出するようにしてもよい。
例えば、判定機能171は、心閃などの輝度の高い領域を基準位置として検出する。また、判定機能171は、画像から所定の構造物の輪郭を抽出する。そして、判定機能171は、基準位置と抽出した輪郭の形状とを用いて、超音波プローブ11が動いているか否かを判定する。すなわち、判定機能171は、抽出した輪郭の形状が略一致するが、基準位置からの位置が異なる場合に、超音波プローブ11が動いていると判定する。そして、判定機能171は、検出した動きに基づいて画像を補正する。このように、画像からスキャン面内の動きを検出し、ブレがキャンセルされるように動き補正を行うことで、より精度良く時相ごとの画像を比較することができる。
上述した実施形態では、判定機能171は、第1の判定処理と第2の判定処理とを実行するものとして説明したが、実施形態はこれに限定されるものではない。例えば、判定機能171は、第1の判定処理を実行することなく、第2の判定処理を実行してもよい。かかる場合、判定機能171は、第2の判定処理として、被検体を略同一時相で走査して生成された画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する。
また、上述した実施形態では、医用画像診断装置の一例として、超音波診断装置1について説明したが、実施形態はこれに限定されるものではない。例えば、医用画像診断装置は、X線診断装置であってもよい。
上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の実施形態で説明した制御方法は、予め用意された制御プログラムをパーソナルコンピュータやワークステーション(医用画像診断装置)等のコンピュータで実行することによって実現することができる。この制御プログラムは、インターネット等のネットワークを介して配布することができる。また、この制御プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、精度の高い計測を簡便に行うことができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 超音波診断装置
140 画像生成回路
170 処理回路
171 判定機能

Claims (15)

  1. 被検体を走査して得られた信号から画像を生成する画像生成部と、
    前記被検体の生体信号が所定の基準を満たすか否かの判定を実行する第1の判定処理を実行し、前記第1の判定処理において前記所定の基準を満たしていると判定された場合、前記第1の判定処理において前記所定の基準を満たしていると判定された前記生体信号に対応する前記被検体を略同一時相で走査して生成された画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する第2の判定処理を実行する判定部と、
    を備え
    前記判定部は、前記第1の判定処理において前記所定の基準を満たしていると判定されなかった場合前記第2の判定処理を実行しない、医用画像診断装置。
  2. 前記判定部は、前記生体信号における所定の時相間の間隔及び前記生体信号における所定の時相間の形状のうち少なくともいずれか一つを用いて前記被検体の生体信号の周期性が安定である状態であるか否かを判定し、前記被検体の生体信号の周期性が安定である状態である場合に、前記画像間の類似度を算出する、請求項1に記載の医用画像診断装置。
  3. 前記判定部は、前記画像間で対応する各画素の輝度値の差異に基づいて前記類似度を算出する、請求項1又は2に記載の医用画像診断装置。
  4. 前記判定部は、前記時相が略同一である各画像から所定の構造物の輪郭を抽出し、当該画像間での前記輪郭を示す画素の移動量に基づいて前記類似度を算出する、請求項1又は2に記載の医用画像診断装置。
  5. 前記判定部は、前記画像間で対応する各画素の輝度値の差異と、前記画像から抽出した所定の構造物の輪郭を示す画素数とに基づいて前記類似度を算出する、請求項1又は2に記載の医用画像診断装置。
  6. 前記判定部は、判定結果に応じて、前記類似度が所定の閾値を超えているか否かを示す情報を生成して操作者に通知する、請求項1〜5のいずれか一つに記載の医用画像診断装置。
  7. 前記判定部は、前記類似度が所定の閾値を超えている場合と前記類似度が所定の閾値以下の場合とで、前記情報の表示形態を変更する、請求項6に記載の医用画像診断装置。
  8. 前記被検体を所定期間で走査して得られた複数の画像を記憶する記憶部を更に備え、
    前記判定部は、前記複数の画像のうち、前記類似度が所定の閾値を超えた画像にタグを付与し、当該タグを付与した画像を前記記憶部に格納する、請求項1〜7のいずれか一つに記載の医用画像診断装置。
  9. 前記記憶部に記憶された複数の画像の表示要求を受付けて、前記複数の画像のうち、前記タグの付与されていない画像を所定の表示部に表示させることなく、前記タグの付与された画像を前記所定の表示部に表示させる表示制御部を更に備える、請求項8に記載の医用画像診断装置。
  10. 前記判定部は、前記類似度が所定の閾値を超えている状態において前記被検体を走査して得られた画像を記憶部に格納する、請求項1〜7のいずれか一つに記載の医用画像診断装置。
  11. 前記判定部は、前記類似度が所定の閾値を超えている状態から前記類似度が所定の閾値以下の状態に遷移した場合、前記類似度が所定の閾値を超えている状態において前記被検体を走査して得られた画像をメモリから特定し、当該画像を前記記憶部に格納する、請求項10に記載の医用画像診断装置。
  12. 前記判定部は、前記類似度が所定の閾値を超えている状態から、前記被検体の生体信号が一定ではない状態に遷移した場合、遷移後の前記被検体を走査して得られた画像にタグを付与し、当該タグを付与した画像を所定の記憶部に格納する、請求項1〜7のいずれか一つに記載の医用画像診断装置。
  13. 前記被検体を走査する走査部を更に備え、
    前記判定部は、前記類似度が所定の閾値を超えている状態において前記走査部の動きを検出し、検出した動きに基づいて前記画像を補正して、前記画像間の類似度を算出する、請求項1〜12のいずれか一つに記載の医用画像診断装置。
  14. 被検体を走査して得られた画像を取得する取得部と、
    前記被検体の生体信号が所定の基準を満たすか否かの判定を実行する第1の判定処理を実行し、前記第1の判定処理において前記所定の基準を満たしていると判定された場合、前記第1の判定処理において前記所定の基準を満たしていると判定された前記生体信号に対応する前記被検体を略同一時相で走査して生成された画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する第2の判定処理を実行する判定部と、
    を備え
    前記判定部は、前記第1の判定処理において前記所定の基準を満たしていると判定されなかった場合前記第2の判定処理を実行しない、医用画像処理装置。
  15. 被検体を走査して得られた画像を取得し、
    前記被検体の生体信号が所定の基準を満たすか否かの判定を実行する第1の判定処理を実行し、
    前記第1の判定処理において前記所定の基準を満たしていると判定された場合、前記第1の判定処理において前記所定の基準を満たしていると判定された前記生体信号に対応する前記被検体を略同一時相で走査して生成された画像間の類似度を算出し、当該類似度が所定の閾値を超えているか否かを判定する第2の判定処理を実行する
    処理をコンピュータに実行させ
    前記第1の判定処理において前記所定の基準を満たしていると判定されなかった場合前記第2の判定処理を前記コンピュータに実行させない、医用画像処理プログラム。
JP2015134635A 2015-07-03 2015-07-03 医用画像診断装置、医用画像処理装置及びプログラム Active JP6598539B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015134635A JP6598539B2 (ja) 2015-07-03 2015-07-03 医用画像診断装置、医用画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015134635A JP6598539B2 (ja) 2015-07-03 2015-07-03 医用画像診断装置、医用画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017012607A JP2017012607A (ja) 2017-01-19
JP6598539B2 true JP6598539B2 (ja) 2019-10-30

Family

ID=57827403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015134635A Active JP6598539B2 (ja) 2015-07-03 2015-07-03 医用画像診断装置、医用画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6598539B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6946587B1 (ja) * 2021-03-15 2021-10-06 Dmg森精機株式会社 画像処理装置および工作機械
WO2022230379A1 (ja) * 2021-04-30 2022-11-03 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01181852A (ja) * 1988-01-13 1989-07-19 Toshiba Corp 超音波診断装置
JP2854649B2 (ja) * 1990-01-19 1999-02-03 株式会社東芝 超音波診断装置
US5601085A (en) * 1995-10-02 1997-02-11 Nycomed Imaging As Ultrasound imaging
US6447450B1 (en) * 1999-11-02 2002-09-10 Ge Medical Systems Global Technology Company, Llc ECG gated ultrasonic image compounding
JP4761999B2 (ja) * 2006-02-23 2011-08-31 株式会社東芝 超音波診断装置およびその画像処理方法、その画像処理プログラム
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP5820128B2 (ja) * 2011-02-23 2015-11-24 株式会社東芝 超音波診断装置
JP5877816B2 (ja) * 2013-05-27 2016-03-08 日立アロカメディカル株式会社 超音波画像撮像装置及び超音波画像撮像方法

Also Published As

Publication number Publication date
JP2017012607A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6132614B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP5586203B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US20110137169A1 (en) Medical image processing apparatus, a medical image processing method, and ultrasonic diagnosis apparatus
JP5897674B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2017526467A (ja) 即時のユーザフィードバックのためのマルチビート心エコー取得のための品質メトリック
JP5877816B2 (ja) 超音波画像撮像装置及び超音波画像撮像方法
JP6382050B2 (ja) 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム
US11766245B2 (en) Ultrasonic diagnostic apparatus and control method
JP2019198389A (ja) 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP6815259B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP5954764B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP2018140073A (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP6598539B2 (ja) 医用画像診断装置、医用画像処理装置及びプログラム
US11712219B2 (en) Ultrasonic wave diagnostic apparatus, medical information processing apparatus, and computer program product
JP2017170131A (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP6430558B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
US20200093370A1 (en) Apparatus, medical information processing apparatus, and computer program product
JP6964996B2 (ja) 解析装置
WO2022141247A1 (zh) 超声成像设备和弹性参数的显示方法
JP2023074956A (ja) 情報処理装置、超音波診断装置、及びプログラム
JP2021194164A (ja) 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム
JP2020175186A (ja) 超音波診断装置及びプログラム
JP2016202829A (ja) 医用画像診断装置、及び医用画像処理装置
JP2021083955A (ja) 画像処理装置及び画像処理プログラム
JP2017159009A (ja) 超音波診断装置及び画像処理プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6598539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150