以下、各実施形態について、図面を参照して説明する。実施形態に係る超音波診断装置は、超音波の基本波信号の送信に対して得られた受信信号である入力データに学習済みモデルであるデータ生成機能を適用して、超音波の高調波信号に代表されるような非線形信号に基づく出力データを生成する。
(第1の実施形態)
図1は、第1の実施形態に係る超音波診断装置1の構成の一例を示すブロック図である。超音波診断装置1は、装置本体10と、超音波プローブ20とを有している。装置本体10は、入力装置30及び表示装置40と接続されている。また、装置本体10は、ネットワークNWを介して外部装置50と接続されている。
超音波プローブ20は、例えば、装置本体10からの制御に従い、被検体である生体P内のスキャン領域について超音波スキャンを実行する。超音波プローブ20は、例えば、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から方向への超音波の伝搬を防止するバッキング材等を有する。超音波プローブ20は、例えば、複数の超音波振動子が所定の方向に沿って配列された一次元アレイリニアプローブである。超音波プローブ20は、装置本体10と着脱自在に接続される。超音波プローブ20には、オフセット処理、及び超音波画像のフリーズ等の際に押下されるボタンが配置されてもよい。
複数の圧電振動子は、装置本体10が有する後述の超音波送信回路11から供給される駆動信号に基づいて超音波を発生する。これにより、超音波プローブ20から生体Pへ超音波が送信される。超音波プローブ20から生体Pへ超音波が送信されると、送信された超音波は、生体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として複数の圧電素子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流又は心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向の速度成分に依存して、周波数偏移を受ける。超音波プローブ20は、生体Pからの反射信号を受信して電気信号に変換する。
図1には、超音波スキャンに用いられる超音波プローブ20と装置本体10との接続関係のみを例示している。しかしながら、装置本体10には、複数の超音波プローブを接続することが可能である。接続された複数の超音波プローブのうちいずれを超音波スキャンに使用するかは、切り替え操作によって任意に選択することができる。
装置本体10は、超音波プローブ20により受信された反射波信号に基づいて超音波画像を生成する装置である。装置本体10は、超音波送信回路11と、超音波受信回路12と、内部記憶回路13と、画像メモリ14と、入力インタフェース15と、出力インタフェース16と、通信インタフェース17と、処理回路18とを有している。
超音波送信回路11は、超音波プローブ20に駆動信号を供給するプロセッサである。超音波送信回路11は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返して発生する。遅延回路は、超音波プローブから発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子毎の遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ20に設けられる複数の超音波振動子へ駆動信号(駆動パルス)を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。
超音波受信回路12は、超音波プローブ20が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路12は、例えば、プリアンプ、A/D変換器、復調器、及びビームフォーマ等により実現される。プリアンプは、超音波プローブ20が受信した反射波信号をチャネル毎に増幅してゲイン補正処理を行う。A/D変換器は、ゲイン補正された反射波信号をディジタル信号に変換する。復調器は、ディジタル信号を復調する。ビームフォーマは、例えば、復調されたディジタル信号に受信指向性を決定するのに必要な遅延時間を与えて、遅延時間が与えられた複数のディジタル信号を加算する。ビームフォーマの加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。
内部記憶回路13は、例えば、磁気的若しくは光学的記憶媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記憶媒体等を有する。内部記憶回路13は、超音波送受信を実現するためのプログラム、各種データ等を記憶している。プログラム、及び各種データは、例えば、内部記憶回路13に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて内部記憶回路13にインストールされてもよい。
また、内部記憶回路13は、後述する学習済みモデルを記憶している。内部記憶回路13は、超音波診断装置1の納品時に、学習済みモデルを記憶してもよい。または、内部記憶回路13は、超音波診断装置1の納品後に、例えば外部装置50などから取得した学習済みモデルを記憶してもよい。
また、内部記憶回路13は、入力インタフェース15を介して入力される操作に従い、処理回路18で生成されるBモード画像データ等を記憶する。内部記憶回路13は、記憶しているデータを、通信インタフェース17を介して外部装置50等に転送することも可能である。
なお、内部記憶回路13は、CD-ROMドライブ、DVDドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。内部記憶回路13は、記憶しているデータを可搬性記憶媒体へ書き込み、可搬性記憶媒体を介してデータを外部装置50に記憶させることも可能である。
画像メモリ14は、例えば、磁気的記憶媒体、光学的記憶媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記憶媒体等を有する。画像メモリ14は、入力インタフェース15を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ14に記憶されている画像データは、例えば、連続表示(シネ表示)される。
内部記憶回路13、及び画像メモリ14は、必ずしもそれぞれが独立した記憶装置により実現されなくてもよい。内部記憶回路13、及び画像メモリ14が単一の記憶装置により実現されてもよい。また、内部記憶回路13、及び画像メモリ14のそれぞれが複数の記憶装置により実現されてもよい
入力インタフェース15は、入力装置30を介し、操作者からの各種指示を受け付ける。入力装置30は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネル、及びタッチコマンドスクリーン(TCS:Touch Command Screen)である。入力インタフェース15は、例えばバスを介して処理回路18に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を処理回路18へ出力する。なお、入力インタフェース15は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置1とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を受け取り、この電気信号を処理回路18へ出力する回路も入力インタフェースの例に含まれる。
出力インタフェース16は、例えば処理回路18からの電気信号を表示装置40へ出力するためのインタフェースである。表示装置40は、液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、CRTディスプレイ等の任意のディスプレイである。出力インタフェース16は、例えばバスを介して処理回路18に接続され、処理回路18からの電気信号を表示装置に出力する。
通信インタフェース17は、例えばネットワークNWを介して外部装置50と接続され、外部装置50との間でデータ通信を行う。
処理回路18は、例えば、超音波診断装置1の中枢として機能するプロセッサである。処理回路18は、内部記憶回路13に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。処理回路18は、例えば、Bモード処理機能181と、ドプラ処理機能182と、画像生成機能183と、データ生成機能184と、表示制御機能185と、システム制御機能186とを有している。
Bモード処理機能181は、超音波受信回路12から受け取った受信信号に基づき、Bモードデータを生成する機能である。Bモード処理機能181において処理回路18は、例えば、超音波受信回路12から受け取った受信信号に対して包絡線検波処理、及び対数圧縮処理等を施し、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。生成されたBモードデータは、2次元的な超音波走査線(ラスタ)上のBモードRAWデータとして不図示のRAWデータメモリに記憶される。
ドプラ処理機能182は、超音波受信回路12から受け取った受信信号を周波数解析することで、スキャン領域に設定されるROI(Region Of Interest:関心領域)内にある移動体のドプラ効果に基づく運動情報を抽出したデータ(ドプラ情報)を生成する機能である。生成されたドプラ情報は、2次元的な超音波走査線上のドプラRAWデータとして不図示のRAWデータメモリに記憶される。
画像生成機能183は、Bモード処理機能181により生成されたデータに基づいて、Bモード画像データを生成する機能である。例えば、画像生成機能183において処理回路18は、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の画像データを生成する。具体的には、処理回路18は、RAWデータメモリに記憶されたBモードRAWデータに対してRAW-ピクセル変換、例えば、超音波プローブ20による超音波の走査形態に応じた座標変換を実行することで、ピクセルから構成される2次元Bモード画像データを生成する。
データ生成機能184は、Bモード画像データに準ずる画像データ生成のためのデータを生成する機能である。データ生成機能184において処理回路18は、検査によって取得された超音波の基本波信号に基づく入力データを入力することにより、非線形信号に基づく出力データを生成する。データ生成機能184の詳細は後述する。
表示制御機能185は、2次元Bモード画像データ、及び画像データの表示装置40における表示を制御する機能である。例えば、表示制御機能185において処理回路18は、例えば、2次元Bモード画像データに、ドプラデータを収集するためのROIを表す表示を合成する。処理回路18は、入力装置30から入力される操作者からの指示に従い、2次元Bモード画像データにおける対応する部位に、2次元ドプラ画像データを合成する。このとき、処理回路は、操作者からの指示に従い、合成する2次元ドプラ画像データの不透明度を調整するようにしてもよい。
また、処理回路18は、2次元Bモード画像データに対し、ダイナミックレンジ、輝度(ブライトネス)、コントラスト、及びγカーブ補正、並びにRGB変換等の各種処理を実行することで、画像データをビデオ信号に変換する。処理回路18は、ビデオ信号を表示装置40に表示させる。なお、処理回路18は、操作者が入力装置により各種指示を入力するためのユーザインタフェース(GUI:Graphical User Interface)を生成し、GUIを表示装置40に表示させてもよい。
システム制御機能186は、超音波診断装置1全体の動作を統括して制御する機能である。
超音波診断装置1では、一般に、受信信号に含まれる高調波成分を用いてBモード画像データを生成するハーモニックイメージング(HI:Harmonic Imaging)と称される影像法が行われる。例えば、超音波診断装置1は、超音波送信において位相変調(PM:Phase Modulation)あるいは振幅変調(AM:Amplitude Modulation)を用いることで、HIを実行する。HIでは、基本波成分による画像生成と比較してサイドローブが低減した画像が得られるため、画質が向上する。また、HIでは、基本波成分による画像生成と比較して方位分解能がよい。
HIとしては、ティッシュハーモニックイメージング(THI:Tissue Harmonic Imaging)と、コントラストハーモニックイメージング(CHI:Contrast harmonic Imaging)とが知られている。THIは、生体組織を伝わっていくにつれて超音波の波形が徐々に歪んで高調波成分が含まれるようになる性質を利用するものである。THIでは、超音波診断装置1は、基本波成分と高調波成分とを含む受信信号から基本波成分を除去し、あるいは、高調波成分を取り出し、高調波成分を用いて画像を構成する。CHIは、超音波造影剤を用いた超音波診断において、超音波診断装置1が超音波造影剤に由来する高調波成分を用いて画像を構成するものである。
以下、超音波診断装置1でのHIにおける位相変調、及び振幅変調の一例について説明する。
図2は、位相変調に関する超音波の波形を例示する図である。超音波診断装置1では、超音波送信回路11は、例えば、位相が異なる超音波送信を複数回行う。超音波送信回路11は、例えば、図2に(A)で示される第1の基本波信号である超音波と、図2に(B)で示される第2の基本波信号である超音波とを用いた2回の超音波送信を、被検体の同一の撮像部位に対して行う。なお、第1の基本波信号及び第2の基本波信号とは、超音波送信回路11におけるビームフォーミング後の送信超音波信号である。第1の基本波信号及び第2の基本波信号は、基本波成分からなる超音波である。第2の基本波信号は、第1の基本波信号の位相を反転させたものである。ここでは、第1の基本波信号と第2の基本波信号との振幅(音圧)は同一である。超音波受信回路12は、第1の基本波信号の超音波送信による第1の受信信号と、第2の基本波信号の超音波送信による第2の受信信号とを生成する。
Bモード処理機能181において処理回路18は、例えば、第1の受信信号と第2の受信信号との和である加算信号を生成することにより、非線形信号を得る。図2には、加算信号を表す(C)として非線形信号が示されている。図2に(C)で示される非線形信号は、基本波成分が除去された、高調波成分からなる高調波信号である。このような非線形信号を用いてBモード画像データを生成することにより、つまり、THIにより、サイドローブの影響が軽減された画像が得られる。
なお、非線形信号とは、高調波信号に代表されるような、基本波信号(線形信号)ではない信号を指す。例えば、非線形特性を持つ生体内を超音波が伝播した場合に、伝播する超音波の波形に歪みが生じ、送信信号には含まれない高調波成分が受信信号に現れる。この高調波成分(高調波信号)を非線形信号と称する。高調波信号は、二次高調波信号、三次高調波信号、四次高調波信号などの高次高調波信号、及び小数次数の高調波信号など、受信信号に含まれる高調波成分である。
また、Bモード処理機能181において処理回路18は、第1の基本波信号に基づく第1の受信信号と第2の基本波信号に基づく第2の受信信号との差である減算信号を生成することにより、基本波信号を得ることも可能である。図2には、減算信号を表す(D)として、基本波信号が示されている。図2に(D)で示される基本波信号は、基本波成分からなる。
図3は、振幅変調に関する超音波の波形を例示する図である。超音波診断装置1では、超音波送信回路11は、例えば、音圧(振幅)が異なる超音波送信を複数回行う。超音波送信回路11は、例えば、図3に(E)で示される第3の基本波信号である超音波と、図3に(F)で示される第4の基本波信号である超音波と、図3に(G)で示される第5の基本波信号である超音波とである3回の超音波送信を、被検体の同一の撮像部位に対して行う。第3の基本波信号は、例えば、超音波プローブ20が備える複数のチャネル(CH)(超音波振動子の一次元アレイにおけるユニット)の例えば偶数チャネルからの超音波送信(以降、偶数CH送信と称する)に基づく。第4の基本波信号は、例えば、超音波プローブ20が備える全てのチャネルからの超音波送信(以降、全CH送信と称する)に基づく。第5の基本波信号は、例えば奇数チャネルからの超音波送信(以降、奇数CH送信と称する)に基づく。なお、第3の基本波信号、第4の基本波信号、及び第5の基本波信号とは、超音波送信回路11におけるビームフォーミング後の送信超音波信号である。第3の基本波信号、第4の基本波信号、及び第5の基本波信号は、いずれも基本波成分からなる超音波であり、同位相である。第3の基本波信号の音圧と第5の基本波信号の音圧とは略等しい。第4の基本波信号の音圧は、第3の基本波信号の音圧及び第5の基本波信号の音圧の約2倍である。超音波受信回路12は、それぞれの超音波送信によって得られる反射波に基づいて、第3の基本波信号の超音波送信による第3の受信信号と、第4の基本波信号の超音波送信による第4の受信信号と、第5の基本波信号の超音波送信による第5の受信信号とを生成する。
Bモード処理機能181において処理回路18は、例えば、第3の受信信号に第5の受信信号を加算して第4の受信信号を減算した信号を生成することにより、非線形信号を得ることが可能である。図3には、当該信号を表す(H)として、非線形信号が示されている。図3に(H)で示される非線形信号は、基本波成分が除去された、高調波成分からなる高調波信号である。このような非線形信号を用いたTHIによっても、サイドローブの影響が軽減された画像が得られる。
図4は、本実施形態における超音波診断装置1に係る処理回路18のデータ生成機能184へのデータの入出力の概念を説明する図である。超音波診断装置1では、超音波送信回路11から送信された超音波の基本波信号に基づく入力データが、処理回路18のデータ生成機能184に入力される。入力データは、例えば、超音波送信回路11から送信された超音波の基本波信号に対して超音波受信回路12で受信した受信信号である。入力データは、例えば、図2の(A)に示される第1の基本波信号の超音波送信による第1の受信信号、あるいは、図3の(B)に示される基本波信号の全CH送信による第4の受信信号である。つまり、入力データは、基本波信号に関する1回の超音波送信で得られた受信信号である。処理回路18は、基本波信号に関する入力データに、超音波の非線形信号に基づく出力データを生成する学習済みモデルを適用して、PM又はAMによる送受信せずとも非線形信号に関する出力データを生成する。非線形信号に関する出力データが、処理回路18のデータ生成機能184から出力される。データ生成機能における学習の詳細は後述する。
図5は、処理回路18のデータ生成機能184を説明する図である。データ生成機能184は、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)により実現される。以下、4層のCNNでの処理について例示するが、層数は限定されない。図5では、4つの矢印をそれぞれ畳み込み層として表現し、入力データ、及び4つの畳み込み層L11、L12、L13、L14からそれぞれ出力されるデータを例示している。
第1の畳み込み層L11には、サンプル数S0×受信ラスタ数R0の入力データ(ここでは画像データ)が入力される。ここで、サンプル数S0は、処理回路18が生成するBモード画像において画像高さに相当するものであり、受信ラスタ数R0は、画像幅に相当するものである。データ生成機能184において処理回路18は、当該信号にN1個の組のカーネルサイズK0×L0のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれS1、R1に間引いた信号を生成する。つまり、S0>S1、R0>R1である。
第2の畳み込み層L12には、サンプル数S1×ラスタ数R1の複数の信号が入力される。データ生成機能184において処理回路18は、当該複数の信号のそれぞれにN2個の組のカーネルサイズK1×L1のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれS2、R2に間引いた信号を生成する。つまり、S1>S2、R1>R2である。
第3の畳み込み層L13には、サンプル数S2×ラスタ数R2の複数の信号が入力される。データ生成機能184において処理回路18は、当該複数の信号のそれぞれにN3個のカーネルサイズK3×L3のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれS3、R3に拡大した信号を生成する。つまり、S2<S3、R2<R3である。
第4の畳み込み層L14には、サンプル数S3×ラスタ数R3の複数の信号が入力される。データ生成機能184において処理回路18は、当該複数の信号のそれぞれにカーネルサイズK3×L3のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれS4、R4に拡大した信号を生成する。つまり、S3<S4、R3<R4である。ここで、S4=S0、R4=R0である。そして、第4の畳み込み層L14から、サンプル数S0×ラスタ数R0の信号、すなわち入力データと同じサイズの出力データが出力される。
なお、ここではデータ生成機能184として4層の畳み込み層L11、L12、L13、L14を有するCNNについて説明したが、畳み込み層の数、及び層の種類は任意に設定してよい。また、機械学習の方法はCNNである必要はなく、別の機械学習方法を用いてもよい。
図6は、データ生成機能184における処理回路18の動作の一例を示すフローチャートである。ステップSA1において、処理回路18は、超音波の受信ビームの基本波信号に関する入力データを取得する。ステップSA2において、処理回路18は、取得した入力データと学習済みモデルとに基づいて、非線形信号に関する出力データを生成する。ステップSA3において、処理回路18は、出力データに基づく出力画像を表示装置40に表示させる。
図7は、上述の出力データに基づいて表示装置40に表示された画面表示41の一例を示す図である。図7では、処理回路18のBモード処理機能181において生成されたBモード画像データに基づくBモード画像42と、データ生成機能184において生成されたデータに基づく画像43とが表示装置40に並べて表示されている。Bモード画像42とデータ生成機能184に基づく画像43とは、一見して区別されるようにして表示装置40に表示される。図7では、データ生成機能184に基づく画像43には、「AI」との表示44が付されている。なお、2つの画像が並べて表示されなくてもよく、画像43及び表示44のみが表示されてもよい。
以上説明したように、本実施形態に係る超音波診断装置1では、処理回路18は、超音波の基本波信号に基づく入力データを用いて、超音波の非線形信号に基づく出力データを生成する生成部として、検査によって取得された超音波の基本波信号に基づく入力データを当該生成部に対して入力することにより、非線形信号に基づく出力データを生成する。これにより、サイドローブの影響の少ない超音波診断画像データを生成することができる。従来に比して少ない超音波送信で得られた、基本波信号の送信に関する受信データを元にして、THIでの超音波画像に近い高画質の超音波画像を得ることが可能となる。例えば、図2に示されるPMによれば基本波信号に関する2回の超音波送信によりTHIが行われるが、本実施形態では基本波信号に関する1回の超音波送信でTHIと同様の高画質な超音波画像が得られるため、フレームレートを2倍にすることができる。通常のPM又はAMによる非線形信号を利用した場合に比べて超音波送信回数を減らすことができるため、フレームレートが速い。
本実施形態によれば、基本波信号による超音波の送信を行った場合であっても、基本波信号に基づく受信データから、非線形信号を利用した場合に近い方位分解能を持った画像を得ることができる。
(学習済みモデルの生成例)
本実施形態に係る学習済みモデルは、学習用データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより得られた学習済みの機械学習モデルである。ここで、本実施形態の学習済みモデルは、基本波信号に基づく超音波画像の入力に基づき、非線形信号に基づく超音波画像を出力するように機能付けられている。この場合、学習用データは、基本波信号に基づく超音波画像である入力データと、非線形信号に基づく超音波画像である教師データとを含んでいる。
以下、学習済みモデルの生成について、図8乃至図12を参照して説明する。
図8は、本実施形態に係る学習済みモデルの生成を説明する図である。学習済みモデルは、学習装置60により生成される。学習装置60は、上述のCNNなどの機械学習モデルを含む。学習装置60は、被検体の同一位置に対する超音波検査に関する入力データと教師データとに基づく学習(教師あり学習)を行うことにより、学習済みモデルを生成する。つまり、学習済みモデルとは、学習済みの機械学習モデルである。なお、超音波診断装置1が学習済みモデルを生成する機能を有する場合には、超音波診断装置1が学習装置60と呼ばれてよい。
以下、学習装置60での機械学習に用いる入力データ及び教師データについて、図9及び図10を用いて説明する。図9は、学習済みモデルの生成、及び利用に係る位相変調の一例を示す図である。図10は、学習済みモデルの生成、及び利用に係る振幅変調の一例を示す図である。なお、図9及び図10に示される各信号に対応する波形は、図2及び図3とそれぞれ同様である。
例えば、図9に(D)で示されるように、学習装置60は、第1の基本波信号の超音波送信による第1の受信信号と第2の基本波信号の超音波送信による第2の受信信号との差である減算信号を学習時の入力データとする。この減算信号は、前述したように、高調波成分を除去した、基本波成分からなる基本波信号である。また、図9に(C)で示されるように、学習装置60は、第1の基本波信号の超音波送信による第1の受信信号と第2の基本波信号の超音波送信による第2の受信信号との和である加算信号を教師データとする。この加算信号は、前述したように、基本波成分を除去した、高調波成分からなる非線形信号である。
学習時の入力データとして減算信号を用いるのは、教師データの加算信号とS/N比を合わせるためである。また、学習時の入力データとして第1の受信信号又は第2の受信信号が用いられてもよい。すなわち、学習時の入力データは、基本波信号であればよい。
なお、図4を参照して説明したように、超音波診断装置1の利用時に学習済みモデル(データ生成機能184)に入力される入力データは、図9の(A)に示される第1の基本波信号の超音波送信による第1の受信信号である。つまり、利用時の入力データは、1回の超音波送信から得られた基本波信号である。
あるいは、例えば、図10に(F)で示されるように、学習装置60は、全CH送信による第4の受信信号を入力データ(学習時の入力データ、及び利用時の入力データ)とする。第4の受信信号は、前述したように、基本波成分からなる第4の基本波信号の送信に関する受信信号である。また、図10に(H)で示されるように、学習装置60は、偶数CH送信による第3の受信信号と奇数CH送信による第5の受信信号との和から全CH送信による第4の受信信号を差し引いた信号を教師データとする。当該信号は、前述したように、高調波成分からなる非線形信号である。
図10に示されるAMでは、教師データを生成するために、2回ではなく3回の超音波送信を1組としている。超音波送信回路11の非線形応答を避けるために、超音波送信回路11は、送信音圧を変えずに、1回目の超音波送信を偶数CH送信とすることで2回目の全CH送信時に比べて半分の送信音圧を実現している。また、超音波送信回路11は、3回目の超音波送信を奇数CH送信として、処理回路18で1回目の超音波送信による第3の受信信号と3回目の超音波送信による第5の受信信号とを加算することで、線形応答信号に対しては全CH送信による第4の受信信号と同等になる。よって、両者を減算することで非線形信号のみが残る(図10の(H))。
なお、全CH送信の半分の送信音圧は、奇数CH送信、偶数CH送信以外の送信手法により実現されてもよい。また、3回の超音波送信によるAMは例示であり、2回の超音波送信によるAMが行われてもよい。例えば、2回の超音波送信による受信信号に係数を乗算して減算することで、非線形信号を得ることが可能である。
なお、送信超音波の振幅と位相との両方を変化させた、すなわちAM及びPMの両方を用いた信号も利用可能であるが、その説明はここでは省略する。
図11は、学習装置60による学習済みモデルの生成の具体例を説明する図である。学習装置60では、例えば、図9の(D)あるいは図10の(F)であるような基本波信号に基づいて生成された超音波画像データである入力データが機械学習モデル61(CNN)に入力される。学習装置60は、図5を参照して説明したようにして、基本波信号に関する入力データにCNNを適用して、非線形信号に関する出力データを生成する。非線形信号に関する出力データが、CNNから出力される。学習装置60において、出力データは、評価機能62に入る。また、学習装置60では、例えば、図9の(C)あるいは図10の(H)であるような非線形信号に基づいて生成された超音波画像データである教師データが評価機能62に入力される。学習装置60は、入力データに基づいて機械学習モデル(CNN)で生成された出力データと、教師データとを評価機能62により評価する。評価機能62は、例えば、生成された出力データを教師データと比較して、誤差逆伝播法によりCNNの係数(重みとバイアス等のネットワークパラメータ)を修正する。このように、評価機能62による評価は、CNNにフィードバックされる。学習装置60は、被検体の同一位置に対して取得された入力データと教師データとの組である訓練データに基づくこのような一連の教師あり学習を、例えば、出力データと教師データとの間の誤差が所定の閾値以下になるまで、繰り返す。学習装置60は、学習した機械学習モデルを学習済みモデルとして出力可能である。
図12は、学習済みモデルの生成における学習装置60の動作の一例を示すフローチャートである。ステップSB1において、学習装置60は、機械学習モデルのパラメータを初期化する。ステップSB2において、学習装置60は、入力データ及び教師データを取得する。ステップSB3において、学習装置60は、取得した入力データと教師データとに基づいて、上述のようにして機械学習モデルを学習する。ステップSB4において、学習装置60は、学習された機械学習モデルを学習済みモデルとして出力する。
なお、超音波プローブ20が取り替えられたり、超音波プローブ20で使用される超音波の周波数が変更されたりする場合など、超音波プローブ20の物理的な条件、使用時の設定等が変わる場合には、超音波プローブ20の種類ごと、超音波プローブ20で使用する超音波の周波数ごとなどに学習済みモデルを用意する必要がある。同様に、最大視野深度、送信ラスタ数、受信ラスタ数、あるいは、腹部、心臓、胎児などの対象部位ごとなどに学習済みモデルを用意する必要がある。学習装置60(超音波診断装置1)は、例えば、工場出荷時などに事前に種々の学習済みモデルを出力してよい。
以上の説明では、工場出荷前に学習装置60が学習済みモデルを生成し、これを超音波診断装置1での超音波検査時に利用することを想定しているが、利用形態はこれに限らない。例えば、学習装置60を搭載した超音波診断装置1が行う日々の超音波検査時に、学習装置60(超音波診断装置1)がリアルタイムで学習を行うことも可能である。この場合には、例えば、PMにより得られる、図9の(A)に示される第1の基本波信号に基づく第1の受信信号、及び図9の(B)に示される第2の基本波信号に基づく第2の受信信号から、訓練データとなる入力データ(図9の(C)に示される非線形信号)及び教師データ(図9の(D)に示される基本波信号)が生成されて、当該訓練データを用いた学習が行われる。これにより、既存の学習済みモデルを工場出荷前でなくてもバージョンアップすることができる。
以上説明したように、本実施形態では、学習装置60(CNN、データ生成機能)が、少なくとも2回の超音波送信により、超音波の基本波信号に基づく入力データ、及び超音波の非線形信号に基づく教師データを取得することと、入力データと教師データとに基づいて機械学習モデルを機械学習させることにより、超音波の基本波信号に基づく入力データを用いて、超音波の非線形信号に基づく出力データを生成する、超音波診断装置用の学習済みモデルを生成する。少なくとも2回の超音波送信は、同一のスキャン方向について、互いに音圧が等しく、位相が反転している超音波を用いて実行される(図9)か、同一のスキャン方向について、音圧の異なる超音波を用いて実行される(図10)。当該学習済みモデルを搭載した超音波診断装置1が、超音波の基本波信号に基づく入力データを用いて、機械学習の結果を用いた推論により非線形信号に基づく出力データ、例えばTHIに準ずる超音波画像を出力する。CHIでもAMにより非線形信号を検出できるので、THI以外にもCHIでも同様な使用態様が可能である。
例えば、CNNにおいては、入力データ及び教師データが与えられると、入力データの特徴から教師データに変換されるような内部パラメータが生成される。機械学習に用いるデータの数は多いほどよく、例えば、数千以上のデータが望ましい。
数千以上のデータを得るためには、入力データ及び教師データを効率的に得ることが重要である。例えば、超音波診断装置1で生体データが取得される場合には、操作者が手で超音波プローブを持って動いている生体を走査するため、パネル上のユーザインタフェースを使って入力データと教師データとで条件を変えて完全に同一断面のデータを収集することはほぼ不可能である。生体が動いたり、プローブを持つ手が動いたりしてしまうからである。しかしながら、機械学習を行うための入力データと教師データとは完全に同一断面で生体の臓器の位置や心拍動の時相も同一である必要があり、その精度は波長レベルが要求される。
本実施形態では、学習装置60において、学習時に取得する入力データと教師データとは、被検体の同一断面についての基本波信号及び非線形信号である。それ故、効率よく学習済みモデルを生成することができる。生成された学習済みモデルは、スキャン位置で受信した基本波信号に基づく入力データを用いて、当該スキャン位置で受信した非線形信号に基づく出力データを生成することができる。
(応用例)
第1の実施形態では、入力データ及び出力データ(あるいは教師データ)として、主に超音波画像データを利用する場合について説明した。つまり、第1の実施形態では、データ生成機能184において処理回路18は、基本波信号に由来する超音波画像データに基づく入力データを用いて、非線形信号に由来する超音波画像データに基づく出力データを生成する。第1の実施形態に係る応用例では、処理回路18内の任意の箇所において処理されたデータを利用する場合について説明する。
図13は、超音波受信回路12、処理回路18、及び表示装置40におけるデータの流れを説明する図である。処理回路18のBモード処理機能181は、検波機能1811と、対数圧縮機能1812とを備える。超音波受信回路12で受信したデータが、処理回路18で処理されて、表示装置40で画像が表示される。
処理回路18のBモード処理機能181の検波機能1811において、受信したデータは、検波処理される。処理されたデータは、検波機能1811から対数圧縮機能1812へと送られる。次いで、対数圧縮機能1812において、送られたデータが、対数圧縮処理される。処理されたデータは、対数圧縮機能1812から画像生成機能183へと送られる。画像生成機能183において、送られたデータが、座標変換により画像生成処理されて、Bモード画像データが生成される。Bモード画像データは、画像生成機能183から表示装置40へと送られる。表示装置40は、処理回路18の表示制御機能185による制御により、Bモード画像を表示する。
本応用例では、処理回路18は、図14、図16、及び図17に示されるいずれかの箇所においてデータ生成機能184を実行する。なお、処理回路18は、複数の箇所でデータ生成機能184を実行してもよい。
図14は、データ生成機能184が実行される箇所の一例を示す図である。図14によれば、超音波受信回路12の後述するビームフォーマ127でビームフォーミングされた後の信号(後述するIQ信号又はRF信号)にデータ生成機能184が適用される。つまり、データ生成機能184において処理回路18は、基本波信号に対する受信信号に基づく入力データを用いて、非線形信号に対する受信信号に基づく出力データを生成する。データ生成機能184が適用されることにより生成されたデータは、処理回路18において検波機能1811へと送られる。
ここで、超音波受信回路12において扱われる信号について説明する。図15は、超音波受信回路12において扱われる複数の信号、及び周波数振幅特性の関係を説明する図である。複数の信号には、例えば、RF信号、解析信号、IQ信号、及び折返しのある解析信号(以降、折り返し解析信号と称する)がある。これらそれぞれの信号を入力データとして用いる。
図15の(a)は、RF信号の周波数振幅特性を示す図である。RF信号は、例えば、超音波プローブ20における各チャネルのそれぞれから出力される信号及び後述するプリアンプ群の各プリアンプから出力された信号を直接A/D変換した信号に相当する。
図15の(b)は、解析信号の周波数振幅特性を示す図である。解析信号は、例えば、フィルタなどによりRF信号から正の周波数帯域の信号を取り出した信号に相当する。
図15の(c)は、IQ信号の周波数特性を示す図である。IQ信号は、例えば、解析信号を中心周波数f0でミキシングした信号に相当する。また、IQ信号は、例えば、後述する復調器群の各復調器から出力される信号及びビームフォーマから出力される信号に相当する。
図15の(d)は、折り返し解析信号の周波数特性を示す図である。折り返し解析信号は、例えば、図15の(c)に示される低いサンプリング周波数(ナイキスト周波数fN2)のIQ信号に対して、以下の式(1)を適用させて得られる信号である。ここで、f0はRF信号からIQ信号を作成した際のミキシング周波数である。
図14に示される例では、データ生成機能184において処理回路18が超音波受信回路12から受け取る信号は、図15の(c)に示されるような、ビームフォーミング後のIQ信号であってよい。複素数であるIQ信号に対しては、データ生成機能184における全ての計算が複素数で行われる。例えば、係数が実数でI、Qを独立に扱う場合には、第1の畳み込み層への入力データは、サンプル数S0×ラスタ数R0の2個のデータである。あるいは、IQ信号の代わりに、図15の(b)に示されるような解析信号、又は図15の(d)に示されるような折り返し解析信号が使用されることにより、深さ方向に変化する波の位相も情報に含めることが可能である。
超音波受信回路12においてビームフォーミングをRF信号で行う場合には、データ生成機能184において処理回路18が図15の(a)に示されるようなRF信号を取得する。なお、ビームフォーミングをIQ信号で行う場合においてもIQ信号をRF信号に変換してCNNを使用した方が良い場合がある。例えば、既存のCNNのフレームワークは実数のみに対応している場合が多いが、原信号がIQ信号であってもRF信号に変換されれば既存のフレームワークを使用することができる。
ここで、処理回路18が超音波受信回路12から受け取ったIQ信号をRF信号に変換するには、まず、IQ信号IQ(t)を補間して元のRF信号の周波数帯域を取れるだけのサンプリング周波数の信号IQ2(t)にする。IQ信号IQ2(t)からRF信号RF(t)への変換式は、以下の式(2)で表される。ここで、f0はRF信号からIQ信号を作成した際のミキシング周波数、Re[]は実数のみを取り出すことを意味する。
図16は、データ生成機能184が実行される箇所の一例を示す図である。図16によれば、処理回路18の検波機能1811において検波処理されたデータにデータ生成機能184が適用される。つまり、データ生成機能184において処理回路18は、基本波信号に由来する検波信号に基づく入力データを用いて、非線形信号に由来する検波信号に基づく出力データを生成する。ここでは、データは実数の信号であるから、通常のグレースケールのBモード画像の場合と同様な処理を行うことができる。データ生成機能184が適用されることにより生成されたデータは、処理回路18において対数圧縮機能1812へと送られる。
図17は、データ生成機能184が実行される箇所の一例を示す図である。図17によれば、処理回路18の対数圧縮機能1812において対数圧縮処理されたデータにデータ生成機能184が適用される。つまり、データ生成機能184において処理回路18は、基本波信号に由来する対数圧縮信号に基づく入力データを用いて、非線形信号に由来する対数圧縮信号に基づく出力データを生成する。ここでも、データは実数の信号であるから、通常のグレースケールのBモード画像の場合と同様な処理を行うことができる。データ生成機能184が適用されることにより生成されたデータは、処理回路18において画像生成機能183へと送られる。
このように、第1の実施形態では、処理回路18は、超音波受信回路12から受け取ったIQ信号、RF信号、解析信号、又は折り返し解析信号、検波後の信号、対数圧縮後の信号、座標変換後の超音波画像のいずれかに対して、学習済みモデルによるデータ生成機能184を実行する。
(第2の実施形態)
前述の第1の実施形態、及び第1の実施形態に係る応用例では、入力データ及び出力データ(あるいは教師データ)として、主にビームフォーミング後のデータを利用する場合について説明した。第2の実施形態では、ビームフォーミング前のデータを利用する場合について説明する。
図18は、第2の実施形態に係る超音波診断装置1の構成の一例を示すブロック図である。以下の説明では、主に、第1の実施形態と第2の実施形態との相違点を説明し、第1の実施形態と同様の構成及び動作についての説明を省略する。
第2の実施形態では、超音波受信回路12は、前処理機能121と、データ生成機能122と、後処理機能123とを有している。前処理機能121は、データ生成機能122に入力されるデータをデータ生成機能122での処理に適した形式に前処理する機能である。データ生成機能122は、第1の実施形態における処理回路18のデータ生成機能184に実質的に対応する機能である。後処理機能123は、データ生成機能122で生成されたデータを後続の処理に適した形式に後処理する機能である。なお、本実施形態では、処理回路18はデータ生成機能を含んでいない。
図19は、超音波プローブ20のチャネルとビーム数の概念を説明する図である。超音波プローブ20は、複数の超音波振動子211からなる探触部21を有している。全ての超音波振動子211を複数個ずつに分けたものがチャネルである。すなわち、各チャネルは、1以上の超音波振動子211を含む。超音波プローブ20は、超音波送信回路11により、複数のチャネルを同時に駆動することによって超音波送信をする。
図19には、#1から#NまでのN個のチャネルが示されている。例えば、2つのチャネルを同時に駆動することによって超音波送信をする場合、超音波送信回路11は、チャネル#1、#2を同時に駆動させる。チャネル#1、#2が同時に駆動することによって、それぞれの超音波の波面が合成されビーム#1が形成される。同様に、超音波送信回路11がチャネル#2、#3を同時に駆動させることによって、ビーム#2が形成される。このように、隣り合う2つのチャネルからの超音波送信により、一つのビームが形成される。図18には、#1から#MまでのM本のビームが示されている。なお、同時に駆動させるチャネルの数は、2つに限らず、3以上であってもよい。また、前述の全CHは、同時に駆動させるチャネルの全てのチャネルを意味し、奇数CHは、奇数番目(例えば、#1、#3、・・・、#N-1)のチャネルを意味し、偶数CHは、偶数番目(例えば、#2、#4、・・・、#N)のチャネルを意味する。
図20は、超音波受信回路12、及び処理回路18の構成の一例を示すブロック図である。超音波受信回路12は、プリアンプ群124と、A/D変換器群125と、復調器群126と、ビームフォーマ127とを備える。プリアンプ群124は、プリアンプ124-1、124-2、・・・、124-Nからなる。A/D変換器群125は、A/D変換器125-1、125-2、・・・、125-Nからなる。復調器群126は、復調器126-1、126-2、・・・、126-Nからなる。
プリアンプ124-1~124-Nには、チャネル#1~#Nから、受信信号がそれぞれ入る。プリアンプ124-1~124-Nは、それぞれ、受信信号を増幅する。プリアンプ124-1~124-Nで増幅された受信信号は、それぞれ、A/D変換器125-1~125-Nに入る。A/D変換器125-1~125-Nは、増幅された受信信号をアナログ信号からディジタル信号へと変換する。変換された受信信号は、それぞれ、復調器126-1~126-Nに入る。復調器126-1~126-Nは、変換された受信信号を復調する。復調された受信信号は、ビームフォーマ127に入る。ビームフォーマ127は、復調された受信信号をビームフォーミングする。ビームフォーミングされた受信信号は、処理回路18に送信される。
図21は、データ生成機能122に入力される入力データの一例を示す図である。データ生成機能122は、例えば、4つの畳み込み層L11、L12、L13、L14を有するCNNにより実現される。第1の畳み込み層L11には、サンプル数S×受信ビーム数M、チャネル数Nの入力データ(信号)が入力される。ここで、サンプル数Sは、処理回路18が生成するBモード画像において画像高さに相当するものであり、受信ビーム数Mは、画像幅に相当するものである。図21の入力データは、前処理機能121によって処理される。
図22は、データ生成機能122が実行される箇所の一例を示す図である。図22では、A/D変換器群125でアナログ信号から変換されたディジタル信号が、超音波受信回路12の前処理機能121に入る。前処理機能121において超音波受信回路12は、ディジタル信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理(前処理)する。前処理された信号は、データ生成機能122に入る。前処理された信号にデータ生成機能122が適用される。つまり、データ生成機能122において超音波受信回路12は、基本波信号に由来するマトリクスデータに基づく入力データを用いて、非線形信号に由来するマトリクスデータに基づく出力データを生成する。データ生成機能122が適用されることにより生成された信号は、超音波受信回路12において後処理機能123に入る。後処理機能123において超音波受信回路12は、信号を後処理する。後処理された信号は、復調器群126に入る。
図23は、超音波受信回路12のデータ生成機能122を説明する図である。データ生成機能122は、例えばCNNにより実現される。以下、4層のCNNでの処理について例示するが、層数は限定されない。図23では、4つの矢印をそれぞれ畳み込み層として表現し、入力データ、及び4つの畳み込み層L11、L12、L13、L14からそれぞれ出力されるデータを例示している。なお、図23では、畳み込み層から出力されるデータは、チャネル#1のデータのみを図示し、チャネル#2~#Nまでのデータの図示を省略している。
第1の畳み込み層L11には、サンプル数S×ビーム数M、チャネル数Nの入力データ(信号)が入力される。チャネル#1のデータに注目すると、データ生成機能122において超音波受信回路12は、当該信号にN1個の組のカーネルサイズK0×L0のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれS1、R1に間引いた信号を生成する。つまり、S0>S1、M>R1である。
第2の畳み込み層L12には、サンプル数S1×ビーム数R1の複数の信号が入力される。データ生成機能122において超音波受信回路12は、当該複数の信号のそれぞれにN2個の組のカーネルサイズK1×L1のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれS2、R2に間引いた信号を生成する。つまり、S1>S2、R1>R2である。
第3の畳み込み層L13には、サンプル数S2×ビーム数R2の複数の信号が入力される。データ生成機能122において超音波受信回路12は、当該複数の信号のそれぞれにN3個のカーネルサイズK2×L2のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれS3、R3に拡大した信号を生成する。つまり、S2<S3、R2<R3である。
第4の畳み込み層L14には、サンプル数S3×ビーム数R3の複数の信号が入力される。データ生成機能122において超音波受信回路12は、当該複数の信号のそれぞれにN個のカーネルサイズK3×L3のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれS、Mに拡大した信号を生成する。つまり、S3<S、R3<Mである。そして、第4の畳み込み層L14から、サンプル数S×ビーム数M、チャネル数Nの信号、すなわち入力データと同じサイズの出力データが出力される。
なお、ここではデータ生成機能122として4つの畳み込み層を有するCNNについて説明したが、畳み込み層の数、及び層の種類は任意に設定してよい。また、機械学習の方法はCNNである必要はなく、別の機械学習方法を用いてもよい。ここでは入力データは2次元データであるが、3次元データであってもよい。3次元データであっても、3D CNNを適用することで処理可能である。
図24は、データ生成機能122における超音波受信回路12の動作の一例を示すフローチャートである。ステップSC1において、超音波受信回路12は、超音波の受信ビームの基本波信号に関する受信データを取得する。ステップSC2において、超音波受信回路12は、受信データに基づいて前処理を実行することによって入力データを生成する。ステップSC3において、超音波受信回路12は、生成した入力データと学習済みモデルとに基づいて、非線形信号に関する出力データを生成する。ステップSC4において、超音波受信回路12は、出力データについて後処理を実行することによって処理済み受信データを生成する。
図25は、学習済みモデルの生成における学習装置60の動作の一例を示すフローチャートである。ステップSD1において、学習装置60は、機械学習モデルのパラメータを初期化する。ステップSD2において、学習装置60は、入力データ及び教師データを取得する。ステップSD3において、学習装置60は、取得された入力データと教師データとに基づいて、機械学習モデルを学習する。ステップSD4において、学習装置60は、学習された機械学習モデルを学習済みモデルとして出力する。
なお、図21では、データ生成機能122に入力される入力データは、サンプル数S×受信ビーム数M、チャネル数Nであるとして説明したが、例えば、図26に示されるように、サンプル数S×チャネル数N、受信ビーム数Mの入力データであってもよい。この場合にも、図23に示されるのと同様の処理により、データ生成を行うことができる。
本実施形態では、超音波受信回路12がデータ生成機能122を備える。超音波受信回路12は、図22又は図27に示されるいずれかの箇所においてデータ生成機能122を実行する。複数の箇所でデータ生成機能122が実行されてもよい。以下、図27を参照して、超音波受信回路12におけるデータの流れの一例を説明する。
図27は、データ生成機能122が実行される箇所の一例を示す図である。図27によれば、復調器群126で復調された信号が、超音波受信回路12の前処理機能121に入る。前処理機能121において超音波受信回路12は、復調信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理(前処理)する。前処理された受信信号は、データ生成機能122に入る。前処理された信号にデータ生成機能122が適用される。つまり、データ生成機能122において超音波受信回路12は、基本波信号に由来するマトリクスデータに基づく入力データを用いて、非線形信号に由来するマトリクスデータに基づく出力データを生成する。データ生成機能122が適用されることにより生成された信号は、超音波受信回路12において後処理機能123に入る。後処理機能123において超音波受信回路12は、信号を後処理する。後処理された信号は、ビームフォーマ127に入る。
図22に示される例では、データ生成機能122に入力される信号が実数のRF信号であるが、図27に示される例では、データ生成機能122に入力される信号は複素数のIQ信号である。この点で相違するものの、図27に示される例であっても、図23を参照して説明したのと同様のデータ生成機能122を使用することができる。つまり、全ての計算が複素数で行われることにより、同様のデータ生成を実行可能である。IQ信号はRF信号に比べて周波数帯域が狭くなっているので、低いサンプリング周波数で済み、サンプル数が小さくて良い。そのために、サンプル方向のカーネルサイズを図22に示される例よりも小さくすることができ、計算点数を少なくすることができる。ただし、計算が複素数であるために、1つの計算の時間は増える。
なお、係数が実数で良いとした場合には、IQ信号を独立なI信号、Q信号とみなして、チャネル方向に振り分けることで、チャネル数は2倍になるがすべての計算を実数で行うことができる。
データ生成機能122で処理される信号に関する変形例1として、ベースバンド帯域信号のIQ信号の代わりに解析信号を使用してよい。解析信号Ana(t)とIQ信号IQ(t)の関係は、前述の式(1)の通りである。IQ信号の代わりに解析信号を使用することで、深さ方向に変化する波の位相も表現できるので、RF信号を用いた場合と同じ結果を得ることができる。学習時の入力データと教師データに解析信号を使用した場合は、利用時には入力データを解析信号に変換して解析信号の推論データを得た後に、IQ信号に変換する処理を行う。
データ生成機能122で処理される信号に関する変形例2として、ベースバンド帯域信号のIQ信号の代わりに折り返し解析信号(図15の(d)参照)を使用してよい。解析信号の周波数帯域はRF信号(図15の(a))の正の周波数帯域と同一である。そのために高いサンプリング周波数が要求される。しかし、図15の(c)に示されるような低いサンプリング周波数(ナイキスト周波数fN2)のIQ信号に対して式(1)を適用すると、図15の(d)に示すような信号になる。この信号は、図15の(b)に示されるナイキスト周波数fNの解析信号をナイキスト周波数fN2でサンプリングして折り返った状態にあると解釈できる。周波数帯域はIQ信号と同一のベースバンドで狭帯域であるが、位相は元の解析信号と同じ状態を保持しているので、深さ方向に変化する波の位相を保持している。したがって、RF信号や解析信号を用いた場合と同じ結果を低いサンプリング周波数で実現でき、計算量を小さくすることができる。学習時の入力データと教師データに折り返し解析信号を使用した場合は、処理回路18は、利用時には解析信号を折り返し解析信号に変換してデータを得た後に、当該データをさらにIQデータに変換する処理を行う。
(第3の実施形態)
図28は、第3の実施形態に係る超音波診断装置1の構成の一例を示すブロック図である。第3の実施形態では、超音波受信回路12と処理回路18との両方にデータ生成機能が備わっている。つまり、第3の実施形態では、第1の実施形態で説明した処理回路18のデータ生成機能184と、第2の実施形態で説明した超音波受信回路12のデータ生成機能122とが組み合わせられる。
第1の実施形態で説明したように、入力データと教師データとの組合せは、図9に示されるPMにおける組合せと、図10に示されるAMにおける組合せとの2通りある。また、第1の実施形態で説明したデータ生成機能184を実行する箇所が4通りあり、第2の実施形態で説明したデータ生成機能122を実行する箇所が2通りある。これらの組合せだけでなく、2以上のデータ生成機能122、184も組み合わせて用いられることが可能である。
例えば、超音波診断装置1は、図22に示される超音波受信回路12のデータ生成機能122と、図13に示される処理回路18のデータ生成機能184との両方を実行する。上流のデータ生成機能122が実行された後、下流のデータ生成機能184が実行される。この場合、データ生成機能122において超音波受信回路12は、生成処理部として、基本波信号に由来するマトリクスデータに基づく入力データを用いて、非線形信号に由来するマトリクスデータに基づく出力データを生成する学習済みモデルに対して、前処理機能121により処理されたマトリクスデータに基づく入力データを入力することにより、非線形信号に由来するマトリクスデータに基づく出力データを生成する。さらに、データ生成機能184において処理回路18は、生成部として、基本波信号に由来する超音波画像データに基づく入力データを用いて、非線形信号に由来する超音波画像データに基づく出力データを生成する。あるいは、超音波診断装置1は、図27に示される超音波受信回路12のデータ生成機能122と、図13に示される処理回路18のデータ生成機能184との両方を実行してよい。もちろん、超音波受信回路12において2以上のデータ生成機能122が実行されてもよいし、処理回路18において2以上のデータ生成機能184が実行されてもよい。
本実施形態によれば、2つのデータ生成機能122、184を組み合わせて用いることにより、生成される超音波画像の画質をより向上させることが可能となる。
(第4の実施形態)
上記各実施形態では、超音波送信回路11及び超音波受信回路12が、装置本体10に含まれる場合について説明した。第4の実施形態では、超音波送信回路11及び超音波受信回路12が、超音波プローブ20a内に含まれる場合を説明する。
図29は、第4の実施形態に係る超音波診断装置の構成例を示すブロック図である。図27に示されるように、超音波診断装置1aは、装置本体10a及び超音波プローブ20aを備える。装置本体10aは、入力装置30及び表示装置40と接続される。また、装置本体10aは、ネットワークNWを介して外部装置50と接続される。超音波プローブ20aは、装置本体10aと着脱自在に接続される。
超音波プローブ20aは、探触部21、超音波送信回路11、超音波受信回路12、制御回路22及び通信インタフェース23を含む。尚、超音波プローブ20aは、オフセット処理や、超音波画像のフリーズの際などに押下されるボタンなどを入力インタフェースとして有していてもよい。
探触部21は、複数の圧電振動子、圧電振動子に設けられる整合層及び圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。探触部21は、圧電振動子により、超音波送信回路11から供給される駆動信号に基づき超音波を発生する。探触部21から被検体Pへ超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射される。探触部21は、圧電振動子により、反射波を受信する。探触部21は、受信した反射波を反射波信号に変換する。
制御回路22は、例えば、超音波スキャンに関する動作を制御するプロセッサである。制御回路22は、装置本体10aの内部記憶回路13に記憶されている動作プログラムを実行することで、この動作プログラムに対応する機能を実現する。具体的には、制御回路22は、ビーム制御機能221を有する。
なお、ビーム制御機能221は、内部記憶回路13に記憶される動作プログラムとして組み込まれることに限定されない。ビーム制御機能221は、例えば、制御回路22内に組み込まれていてもよい。また、ビーム制御機能221は、装置本体10aの処理回路18が有するシステム制御機能186に統合されてもよい。
制御回路22は、ビーム制御機能221により、超音波送信回路11及び超音波受信回路12についての制御パラメータを設定する。具体的には、例えば、制御回路22は、図示しないメモリから送信位置、送信開口及び送信遅延などの情報を読み出し、読み出したこれらの情報を超音波送信回路11に設定する。同様に、制御回路22は、上記読み出したこれらの情報を超音波受信回路12に設定する。
また、制御回路22は、設定した制御パラメータに基づいて超音波送信回路11及び超音波受信回路12を制御し、様々な撮像モードに応じた超音波スキャンを実行する。
通信インタフェース23は、有線または無線により装置本体10aと接続され、装置本体10aとの間でデータ通信を行う。具体的には、例えば、通信インタフェース23は、装置本体10aの処理回路18が有するシステム制御機能186などからの指示を受信し、受信した指示を制御回路22へと出力する。また、通信インタフェース23は、超音波受信回路12で生成される受信信号を処理回路18へ出力する。尚、上記有線は、例えば、USB(Universal Serial Bus)により実現されるが、これに限定されない。
図27に示される装置本体10aは、超音波プローブ20aから出力される受信信号に基づいて超音波画像を生成する装置である。装置本体10aは、内部記憶回路13、画像メモリ14、入力インタフェース15、出力インタフェース16、通信インタフェース17a及び処理回路18を有する。
通信インタフェース17aは、有線または無線により超音波プローブ20aと接続され、超音波プローブ20aとの間でデータ通信を行う。具体的には、例えば、通信インタフェース17aは、処理回路18が有するシステム制御機能186などからの指示を超音波プローブ20aへ出力する。また、通信インタフェース17aは、超音波プローブ20aで生成される受信信号を装置本体10aへ出力する。また、通信インタフェース17aは、ネットワークNWなどを介して外部装置50と接続され、外部装置50との間でデータ通信を行う。
なお、超音波プローブ20a及び装置本体10aの構成は上記に限定されない。例えば、超音波プローブ20aは、超音波送受信を実現するための制御プログラムなどを記憶するメモリを有していても構わない。また、超音波受信回路12は、前述した前処理機能121、データ生成機能122及び後処理機能123を備えてもよい。
また、本実施形態に係る装置本体10aに含まれる構成のうちの少なくとも一つが超音波プローブ20a内に含まれてもよい。この場合、超音波プローブ20aは、超音波画像を表示するための表示装置40(例えば、ディスプレイ、タブレット端末及びスマートフォン)と、USBまたは無線で接続されてもよい。
また、装置本体10aは、入力装置30及び表示装置40を含んでいてもよい。このとき、装置本体10aは、例えば、タブレット端末及びスマートフォンなどの端末装置により実現される。
(その他の実施形態)
加えて、実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することも可能である。
以上説明した少なくとも一つの実施形態によれば、従来に比して少ない超音波送信で高画質の超音波画像を得ることができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CP:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1、図16及び図26などにおける複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。