JP7302972B2 - 超音波診断装置、及び学習プログラム - Google Patents

Description

本発明の実施形態は、超音波診断装置、及び学習プログラムに関する。

超音波診断装置では、同一のスキャン方向について、複数回の超音波送信によって得られる複数の超音波信号を加算することによって加算信号を得ることができる。この加算信号は、１回の超音波送信によって得られる超音波信号よりも信号対雑音比を大きくできることが知られている。しかしながら、複数回の超音波送信を行う必要があるため、送信回数及びフレームレートに関して不利である。

特開２０１５－２２６７６２号公報

本発明が解決しようとする課題は、従来に比して少ない超音波送信回数で高画質の超音波画像を得ることである。

実施形態に係る超音波診断装置は、生成部を備える。生成部は、超音波信号に基づく入力データを用いて、複数の超音波信号を合成した合成信号に基づく出力データを生成する学習済みモデルに対して、検査によって取得された超音波信号に基づく入力データを入力することにより、合成信号に基づく出力データを生成する。

図１は、第１の実施形態に係る超音波診断装置の構成の一例を示すブロック図である。 図２は、複数の超音波の送信波形、及び複数の送信波形を合成した合成波形を例示する図である。 図３は、第１の実施形態における処理回路のデータ生成機能へのデータの入出力の概念を説明する図である。 図４は、処理回路のデータ生成機能を説明する図である。 図５は、データ生成機能における処理回路の動作の一例を示すフローチャートである。 図６は、出力データに基づく表示装置の画面表示の一例を示す図である。 図７は、学習装置による学習済みモデルの生成を説明する図である。 図８は、学習済みモデルの生成、及び利用に係る超音波の送信波形の一例を示す図である。 図９は、学習装置による学習済みモデルの生成の具体例を説明する図である。 図１０は、学習済みモデルの生成における学習装置の動作の一例を示すフローチャートである。 図１１は、超音波受信回路、処理回路、及び表示装置におけるデータの流れを説明する図である。 図１２は、データ生成機能が実行される箇所の一例を示す図である。 図１３は、超音波受信回路において扱われる複数の信号、及び複数の信号のそれぞれの周波数振幅特性の関係を説明する図である。 図１４は、データ生成機能が実行される箇所の一例を示す図である。 図１５は、データ生成機能が実行される箇所の一例を示す図である。 図１６は、第２の実施形態に係る超音波診断装置の構成の一例を示すブロック図である。 図１７は、超音波プローブのチャネルとビーム数の概念を説明する図である。 図１８は、超音波受信回路、及び処理回路の構成の一例を示すブロック図である。 図１９は、データ生成機能に入力される入力データの一例を示す図である。 図２０は、データ生成機能が実行される箇所の一例を示す図である。 図２１は、超音波受信回路のデータ生成機能を説明する図である。 図２２は、データ生成機能に係わる超音波受信回路の動作の一例を示すフローチャートである。 図２３は、学習済みモデルの生成における学習装置の動作の一例を示すフローチャートである。 図２４は、データ生成機能に入力される入力データの一例を示す図である。 図２５は、超音波受信回路におけるデータの流れの一例を説明する図である。 図２６は、第３の実施形態に係る超音波診断装置の構成の一例を示すブロック図である。 図２７は、第４の実施形態に係る超音波診断装置の構成の一例を示すブロック図である。

以下、各実施形態について、図面を参照して説明する。実施形態に係る超音波診断装置は、超音波信号に基づく入力データを用いて、複数の超音波信号を合成した合成信号に基づく出力データを生成する学習済みモデルを備える。尚、以下の実施形態では、学習済みモデル（又は機械学習モデル）は、畳み込みニューラルネットワークを想定するが、他のネットワークモデルが用いられてもよい。また、本実施形態において、「複数の超音波信号」は、あるスキャン位置で、１回の超音波送受信によって得られる超音波信号を、複数回行うことによって得ることを意味する。

（第１の実施形態）
図１は、第１の実施形態に係る超音波診断装置１の構成の一例を示すブロック図である。超音波診断装置１は、装置本体１０と、超音波プローブ２０とを有している。装置本体１０は、入力装置３０及び表示装置４０と接続されている。また、装置本体１０は、ネットワークＮＷを介して外部装置５０と接続されている。

超音波プローブ２０は、例えば、装置本体１０からの制御に従い、被検体である生体Ｐ内のスキャン領域について超音波スキャンを実行する。超音波プローブ２０は、例えば、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から方向への超音波の伝搬を防止するバッキング材等を有する。超音波プローブ２０は、例えば、複数の超音波振動子が所定の方向に沿って配列された一次元アレイリニアプローブである。超音波プローブ２０は、装置本体１０と着脱自在に接続される。超音波プローブ２０には、オフセット処理、及び超音波画像のフリーズ等の際に押下されるボタンが配置されてもよい。

複数の圧電振動子は、装置本体１０が有する後述の超音波送信回路１１から供給される駆動信号に基づいて超音波を発生する。これにより、超音波プローブ２０から生体Ｐへ超音波が送信される。超音波プローブ２０から生体Ｐへ超音波が送信されると、送信された超音波は、生体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として複数の圧電素子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流又は心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向の速度成分に依存して、周波数偏移を受ける。超音波プローブ２０は、生体Ｐからの反射波信号を受信して電気信号に変換する。

図１には、超音波スキャンに用いられる超音波プローブ２０と装置本体１０との接続関係のみを例示している。しかしながら、装置本体１０には、複数の超音波プローブを接続することが可能である。接続された複数の超音波プローブのうちいずれを超音波スキャンに使用するかは、切り替え操作によって任意に選択することができる。

装置本体１０は、超音波プローブ２０により受信された反射波信号に基づいて超音波画像を生成する装置である。装置本体１０は、超音波送信回路１１と、超音波受信回路１２（受信部）と、内部記憶回路１３と、画像メモリ１４と、入力インタフェース１５と、出力インタフェース１６と、通信インタフェース１７と、処理回路１８とを有している。

超音波送信回路１１は、超音波プローブ２０に駆動信号を供給するプロセッサである。超音波送信回路１１は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返して発生する。遅延回路は、超音波プローブから発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子毎の遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ２０に設けられる複数の超音波振動子へ駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。

超音波受信回路１２は、超音波プローブ２０が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路１２は、超音波プローブ２０によって取得された超音波信号に対する受信信号を生成する。具体的には、超音波受信回路１２は、例えば、プリアンプ、Ａ／Ｄ変換器、復調器、及びビームフォーマ等により実現される。プリアンプは、超音波プローブ２０が受信した反射波信号をチャネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をディジタル信号に変換する。復調器は、ディジタル信号を復調する。ビームフォーマは、例えば、復調されたディジタル信号に受信指向性を決定するのに必要な遅延時間を与えて、遅延時間が与えられた複数のディジタル信号を加算する。ビームフォーマの加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。

内部記憶回路１３は、例えば、磁気的若しくは光学的記憶媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記憶媒体等を有する。内部記憶回路１３は、超音波送受信を実現するためのプログラム、各種データ等を記憶している。プログラム、及び各種データは、例えば、内部記憶回路１３に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて内部記憶回路１３にインストールされてもよい。

また、内部記憶回路１３は、後述する学習済みモデルを記憶している。内部記憶回路１３は、超音波診断装置１の納品時に、学習済みモデルを記憶してもよい。または、内部記憶回路１３は、超音波診断装置１の納品後に、例えば外部装置５０などから取得した学習済みモデルを記憶してもよい。

また、内部記憶回路１３は、入力インタフェース１５を介して入力される操作に従い、処理回路１８で生成されるＢモード画像データ等を記憶する。内部記憶回路１３は、記憶しているデータを、通信インタフェース１７を介して外部装置５０等に転送することも可能である。

なお、内部記憶回路１３は、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。内部記憶回路１３は、記憶しているデータを可搬性記憶媒体へ書き込み、可搬性記憶媒体を介してデータを外部装置５０に記憶させることも可能である。

画像メモリ１４は、例えば、磁気的記憶媒体、光学的記憶媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記憶媒体等を有する。画像メモリ１４は、入力インタフェース１５を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ１４に記憶されている画像データは、例えば、連続表示（シネ表示）される。

内部記憶回路１３、及び画像メモリ１４は、必ずしもそれぞれが独立した記憶装置により実現されなくてもよい。内部記憶回路１３、及び画像メモリ１４が単一の記憶装置により実現されてもよい。また、内部記憶回路１３、及び画像メモリ１４のそれぞれが複数の記憶装置により実現されてもよい
入力インタフェース１５は、入力装置３０を介し、操作者からの各種指示を受け付ける。入力装置３０は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネル、及びタッチコマンドスクリーン（ＴＣＳ：Touch Command Screen）である。入力インタフェース１５は、例えばバスを介して処理回路１８に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を処理回路１８へ出力する。なお、入力インタフェース１５は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を受け取り、この電気信号を処理回路１８へ出力する回路も入力インタフェースの例に含まれる。

出力インタフェース１６は、例えば処理回路１８からの電気信号を表示装置４０へ出力するためのインタフェースである。表示装置４０は、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ等の任意のディスプレイである。出力インタフェース１６は、例えばバスを介して処理回路１８に接続され、処理回路１８からの電気信号を表示装置に出力する。

通信インタフェース１７は、例えばネットワークＮＷを介して外部装置５０と接続され、外部装置５０との間でデータ通信を行う。

処理回路１８は、例えば、超音波診断装置１の中枢として機能するプロセッサである。処理回路１８は、内部記憶回路１３に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。処理回路１８は、例えば、Ｂモード処理機能１８１と、ドプラ処理機能１８２と、画像生成機能１８３（画像生成部）と、データ生成機能１８４（生成部）と、表示制御機能１８５と、システム制御機能１８６とを有している。

Ｂモード処理機能１８１は、超音波受信回路１２から受け取った受信信号に基づき、Ｂモードデータを生成する機能である。Ｂモード処理機能１８１において処理回路１８は、例えば、超音波受信回路１２から受け取った受信信号に対して包絡線検波処理、及び対数圧縮処理等を施し、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線（ラスタ）上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

ドプラ処理機能１８２は、超音波受信回路１２から受け取った受信信号を周波数解析することで、スキャン領域に設定されるＲＯＩ（Region Of Interest：関心領域）内にある移動体のドプラ効果に基づく運動情報を抽出したデータ（ドプラ情報）を生成する機能である。生成されたドプラ情報は、２次元的な超音波走査線上のドプラＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

画像生成機能１８３は、Ｂモード処理機能１８１により生成されたデータに基づいて、Ｂモード画像データを生成する機能である。例えば、画像生成機能１８３において処理回路１８は、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の画像データを生成する。具体的には、処理回路１８は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対してＲＡＷ－ピクセル変換、例えば、超音波プローブ２０による超音波の走査形態に応じた座標変換を実行することで、ピクセルから構成される２次元Ｂモード画像データ（超音波画像データとも称する）を生成する。

データ生成機能１８４は、超音波信号に基づく入力データを用いて、複数の超音波信号を合成した合成信号に基づく出力データを生成する学習済みモデルに対して、検査によって取得された超音波信号に基づく入力データを入力することにより、合成信号に基づく出力データを生成する機能である。データ生成機能１８４において処理回路１８は、例えば、入力データとして、画像生成機能１８３によって生成された超音波画像データを用いる。また、学習済みモデルは、スキャン位置で受信した超音波信号に基づく入力データを用いて、スキャン位置で受信した複数の超音波信号を合成した合成信号に基づく出力データを生成してもよい。データ生成機能１８４の詳細は後述する。

表示制御機能１８５は、２次元Ｂモード画像データ、及び画像データの表示装置４０における表示を制御する機能である。例えば、表示制御機能１８５において処理回路１８は、例えば、２次元Ｂモード画像データに、ドプラデータを収集するためのＲＯＩを表す表示を合成する。処理回路１８は、入力装置３０から入力される操作者からの指示に従い、２次元Ｂモード画像データにおける対応する部位に、２次元ドプラ画像データを合成する。このとき、処理回路は、操作者からの指示に従い、合成する２次元ドプラ画像データの不透明度を調整するようにしてもよい。

また、処理回路１８は、２次元Ｂモード画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、及びγカーブ補正、並びにＲＧＢ変換等の各種処理を実行することで、画像データをビデオ信号に変換する。処理回路１８は、ビデオ信号を表示装置４０に表示させる。なお、処理回路１８は、操作者が入力装置により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Graphical User Interface）を生成し、ＧＵＩを表示装置４０に表示させてもよい。

システム制御機能１８６は、超音波診断装置１全体の動作を統括して制御する機能である。

なお、超音波診断装置１では、受信信号に含まれる高調波成分を用いてＢモード画像データを生成するハーモニックイメージング（ＨＩ：Harmonic Imaging）と称される影像法が行われてもよい。例えば、超音波診断装置１は、超音波送信において位相変調（ＰＭ：Phase Modulation）あるいは振幅変調（ＡＭ：Amplitude Modulation）を用いることで、ＨＩを実行する。ＨＩでは、基本波成分による画像生成と比較してサイドローブが低減した画像が得られるため、画質が向上する。また、ＨＩでは、基本波成分による画像生成と比較して方位分解能がよい。

ＨＩとしては、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）と、コントラストハーモニックイメージング（ＣＨＩ：Contrast harmonic Imaging）とが知られている。ＴＨＩは、生体組織を伝わっていくにつれて超音波の波形が徐々に歪んで高調波成分が含まれるようになる性質を利用するものである。ＴＨＩでは、超音波診断装置１は、基本波成分と高調波成分とを含む受信信号から基本波成分を除去し、あるいは、高調波成分を取り出し、高調波成分を用いて画像を構成する。ＣＨＩは、超音波造影剤を用いた超音波診断において、超音波診断装置１が超音波造影剤に由来する高調波成分を用いて画像を構成するものである。

本実施形態において、非線形信号とは、高調波信号に代表されるような、基本波信号（線形信号）ではない信号を指す。例えば、非線形特性を持つ生体内を超音波が伝播した場合に、伝播する超音波の波形に歪みが生じ、送信信号には含まれない高調波成分が受信信号に現れる。この高調波成分（高調波信号）を非線形信号と称する。高調波信号は、二次高調波信号、三次高調波信号、四次高調波信号などの高次高調波信号、及び小数次数の高調波信号など、受信信号に含まれる高調波成分である。

図２は、複数の超音波の送信波形、及び複数の送信波形を合成した合成波形を例示する図である。超音波診断装置１では、超音波送信回路１１は、例えば、音圧（振幅）が略同一の超音波送信を複数回行う。超音波送信回路１１は、例えば、図２に（Ａ）で示される第１の信号である超音波と、図２に（Ｂ）で示される第Ｎの信号である超音波とを少なくとも用いたＮ回の超音波送信を、同一のスキャン位置に対して行う。以降では、Ｎ＝２として説明を行うが、これに限らない。第１の信号の振幅（音圧）は、第２の信号の振幅と略同一である。超音波受信回路１２は、第１の信号の超音波送信よる第１の受信信号と、第２の信号の超音波送信による第２の受信信号とを生成する。尚、図２に示される第１の信号の波形及び第２の信号の波形は、それぞれの受信信号の波形（受信波形）と略同様となる。よって、波形の形状を説明する際には、送信波形および受信波形にかかわらず図２を引用して説明することがある。

Ｂモード処理機能１８１において処理回路１８は、例えば、第１の信号と第２の信号との和である加算信号（合成信号）を生成する。図２には、加算信号を表す（Ｃ）として、合成波形が示される。図２に（Ｃ）で示される合成波形は、加算処理を行っているため、図２の（Ａ）および（Ｂ）の波形に比べて振幅が大きく、信号対雑音比も大きくなる。

換言すると、処理回路１８は、第１の信号と第２の信号とを合成して合成信号を生成することが可能である。即ち、合成信号は、複数の超音波信号を合成した信号である。

図３は、本実施形態における超音波診断装置１に係る処理回路１８のデータ生成機能１８４へのデータの入出力の概念を説明する図である。超音波診断装置１では、超音波送信回路１１の１回の超音波送信に関して超音波受信回路１２で受信した１つの受信信号（超音波信号）に基づく入力データが、処理回路１８のデータ生成機能１８４に入力される。入力データは、例えば、図２の（Ａ）に示される超音波送信による第１の信号である。つまり、入力データは、１回の超音波送信によって得た超音波信号である。処理回路１８は、超音波信号に基づく入力データに、複数の超音波信号を合成した合成信号に基づく出力データを生成する学習済みモデルを適用して、合成信号に基づく出力データを生成する。合成信号に基づく出力データが、処理回路１８のデータ生成機能１８４から出力される。データ生成機能における学習の詳細は後述する。尚、入力データは、図２の（Ｂ）に示される超音波送信による第２の信号でもよい。

図４は、処理回路１８のデータ生成機能１８４を説明する図である。データ生成機能１８４は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）により実現される。以下、４層のＣＮＮでの処理について例示するが、層数は限定されない。図４では、４つの矢印をそれぞれ畳み込み層として表現し、入力データ、及び４つの畳み込み層Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４からそれぞれ出力されるデータを例示している。

第１の畳み込み層Ｌ１１には、サンプル数Ｓ０×受信ラスタ数Ｒ０の入力データ（ここでは画像データ）が入力される。ここで、サンプル数Ｓ０は、処理回路１８が生成するＢモード画像において画像高さに相当するものであり、受信ラスタ数Ｒ０は、画像幅に相当するものである。データ生成機能１８４において処理回路１８は、当該信号にＮ１個の組のカーネルサイズＫ０×Ｌ０のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれＳ１、Ｒ１に間引いた信号を生成する。つまり、Ｓ０＞Ｓ１、Ｒ０＞Ｒ１である。

第２の畳み込み層Ｌ１２には、サンプル数Ｓ１×ラスタ数Ｒ１の複数の信号が入力される。データ生成機能１８４において処理回路１８は、当該複数の信号のそれぞれにＮ２個の組のカーネルサイズＫ１×Ｌ１のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれＳ２、Ｒ２に間引いた信号を生成する。つまり、Ｓ１＞Ｓ２、Ｒ１＞Ｒ２である。

第３の畳み込み層Ｌ１３には、サンプル数Ｓ２×ラスタ数Ｒ２の複数の信号が入力される。データ生成機能１８４において処理回路１８は、当該複数の信号のそれぞれにＮ３個のカーネルサイズＫ３×Ｌ３のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれＳ３、Ｒ３に拡大した信号を生成する。つまり、Ｓ２＜Ｓ３、Ｒ２＜Ｒ３である。

第４の畳み込み層Ｌ１４には、サンプル数Ｓ３×ラスタ数Ｒ３の複数の信号が入力される。データ生成機能１８４において処理回路１８は、当該複数の信号のそれぞれにカーネルサイズＫ３×Ｌ３のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びラスタ数をそれぞれＳ４、Ｒ４に拡大した信号を生成する。つまり、Ｓ３＜Ｓ４、Ｒ３＜Ｒ４である。ここで、Ｓ４＝Ｓ０、Ｒ４＝Ｒ０である。そして、第４の畳み込み層から、サンプル数Ｓ０×ラスタ数Ｒ０の信号、すなわち入力データと同じサイズの出力データが出力される。

なお、ここではデータ生成機能１８４として４層の畳み込み層Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４を有するＣＮＮについて説明したが、畳み込み層の数、及び層の種類は任意に設定してよい。また、機械学習の方法はＣＮＮである必要はなく、別の機械学習方法を用いてもよい。

図５は、データ生成機能１８４における処理回路１８の動作の一例を示すフローチャートである。ステップＳＡ１において、処理回路１８は、１つの受信信号に関する入力データを取得する。ステップＳＡ２において、処理回路１８は、取得した入力データと学習済みモデルとに基づき、合成信号に関する出力データを生成する。ステップＳＡ３において、処理回路１８は、出力データに基づく出力画像を表示装置４０に表示させる。

図６は、上述の出力データに基づいて表示装置４０に表示された画面表示４１の一例を示す図である。図６では、処理回路１８のＢモード処理機能１８１において生成されたＢモード画像データに基づくＢモード画像４２と、データ生成機能１８４において生成されたデータに基づく画像４３とが表示装置４０に並べて表示されている。Ｂモード画像４２とデータ生成機能１８４に基づく画像４３とは、一見して区別されるようにして表示装置４０に表示される。図６では、データ生成機能１８４に基づく画像４３には、「ＡＩ」との表示４４が付されている。なお、２つの画像が並べて表示されなくてもよく、画像４３及び表示４４のみが表示されてもよい。

以上説明したように、本実施形態に係る超音波診断装置１では、処理回路１８は、超音波信号に基づく入力データを用いて、複数の超音波信号を合成した合成信号に基づく出力データを生成する学習済みモデルに対して、検査によって取得された超音波信号に基づく入力データを入力することにより、合成信号に基づく出力データを生成する。これにより、データを生成することができる。つまり、１回の受信ビームから取得された信号（超音波信号）であっても、合成信号から生成された超音波画像に近い高画質の超音波画像を得ることが可能となる。

なお、本実施形態で用いられる合成信号は、非線形信号であってもよい。例えば、複数の超音波信号がそれぞれ非線形信号の場合、合成信号も非線形信号となる。従って、本実施形態に係る超音波診断装置１は、従来に比して少ない超音波送信回数で非線形信号に関する高画質の超音波画像データを生成することができる。

（学習済みモデルの生成例）
本実施形態に係る学習済みモデルは、学習用データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより得られた学習済みの機械学習モデルである。ここで、本実施形態の学習済みモデルは、超音波信号に基づく超音波画像の入力に基づき、複数の超音波信号を合成した合成信号に基づく超音波画像を出力するように機能付けられている。この場合、学習用データは、超音波信号に基づく超音波画像である入力データと、合成信号に基づく超音波画像である教師データとを含んでいる。

以下、学習済みモデルの生成について、図７乃至図１０を参照して説明する。

図７は、本実施形態に係る学習済みモデルの生成を説明する図である。学習済みモデルは、学習装置６０により生成される。学習装置６０は、上述のＣＮＮなどの機械学習モデルを含む。学習装置６０は、被検体の同一位置に対する超音波検査に関する入力データと教師データとに基づく学習（教師あり学習）を行うことにより、学習済みモデルを生成する。つまり、学習済みモデルとは、学習済みの機械学習モデルである。なお、超音波診断装置１が学習済みモデルを生成する機能を有する場合には、超音波診断装置１が学習装置６０と呼ばれてよい。

以下、学習装置６０での機械学習に用いる入力データ及び教師データについて、図８を用いて説明する。図８は、学習済みモデルの生成、及び利用に係る超音波の送信波形を示す図である。なお、図８に示される各信号に対応する波形は、図２とそれぞれ同様である。

例えば、図８に（Ａ）で示されるように、学習装置６０は、第１の信号の超音波送信による第１の受信信号を学習時の入力データとする。また、図８に（Ｃ）で示されるように、学習装置６０は、第１の信号の超音波送信による第１の受信信号と、第２の信号の超音波送信による第２の受信信号との和である加算信号を教師データとする。この時、第１の受信信号および第２の受信信号は、同一のスキャン位置から取得される。尚、学習時の入力データとして第２の受信信号が用いられてもよい。

なお、図３を参照して説明したように、超音波診断装置１の利用時に学習済みモデル（データ生成機能１８４）に入力される入力データは、図８の（Ａ）に示される第１の信号の超音波送信による第１の受信信号である。つまり、利用時の入力データは、１回の超音波送信から得られた超音波信号である。

図９は、学習装置６０による学習済みモデルの生成の具体例を説明する図である。学習装置６０では、例えば、図８の（Ａ）であるような超音波信号に基づいて生成された超音波画像データである入力データが機械学習モデル６１（ＣＮＮ）に入力される。学習装置６０は、図４を参照して説明したようにして、超音波信号に関する入力データにＣＮＮを適用して、複数の超音波信号を合成した合成信号に関する出力データを生成する。合成信号に関する出力データが、ＣＮＮから出力される。学習装置６０において、出力データは、評価機能６２に入る。また、学習装置６０では、例えば、図８の（Ｃ）であるような合成信号に基づいて生成された超音波画像データである教師データが評価機能６２に入力される。学習装置６０は、入力データに基づいて機械学習モデル（ＣＮＮ）で生成された出力データと、教師データとを評価機能６２により評価する。評価機能６２は、例えば、生成された出力データを教師データと比較して、誤差逆伝播法によりＣＮＮの係数（重みとバイアス等のネットワークパラメータ）を修正する。このように、評価機能６２による評価は、ＣＮＮにフィードバックされる。学習装置６０は、被検体の同一位置に対して取得された入力データと教師データとの組である訓練データに基づくこのような一連の教師あり学習を、例えば、出力データと教師データとの間の誤差が所定の閾値以下になるまで、繰り返す。学習装置６０は、学習した機械学習モデルを学習済みモデルとして出力可能である。

図１０は、学習済みモデルの生成における学習装置６０の動作の一例を示すフローチャートである。ステップＳＢ１において、学習装置６０は、機械学習モデルのパラメータを初期化する。ステップＳＢ２において、学習装置６０は、入力データ及び教師データを取得する。ステップＳＢ３において、学習装置６０は、取得した入力データと教師データとに基づいて、上述のようにして機械学習モデルを学習する。ステップＳＢ４において、学習装置６０は、学習された機械学習モデルを学習済みモデルとして出力する。

なお、超音波プローブ２０が取り替えられたり、超音波プローブ２０で使用される超音波の周波数が変更されたりする場合など、超音波プローブ２０の条件が変わる場合には、超音波プローブ２０の種類ごと、超音波プローブ２０で使用する超音波の周波数ごとなどに学習済みモデルを用意する必要がある。同様に、最大視野深度、送信ラスタ数、受信ラスタ数、あるいは、腹部、心臓、胎児などの対象部位ごとなどに学習済みモデルを用意する必要がある。学習装置６０（超音波診断装置１）は、例えば、工場出荷時などに事前に種々の学習済みモデルを出力してよい。

以上の説明では、工場出荷前に学習装置６０が学習済みモデルを生成し、これを超音波診断装置１での超音波検査時に利用することを想定しているが、利用形態はこれに限らない。例えば、学習装置６０を搭載した超音波診断装置１が行う日々の超音波検査時に、学習装置６０（超音波診断装置１）がリアルタイムで学習を行うことも可能である。この場合には、例えば、超音波診断装置１は、複数回の超音波送信により得られる、図８の（Ｃ）に示される合成信号が取得される。ここで、入力データは、複数回の超音波送信のそれぞれで得られる超音波信号である。超音波診断装置１は、訓練データとなる入力データ（図８の（Ａ）に示される超音波信号）及び教師データ（図８の（Ｃ）に示される合成信号）が生成されて、当該訓練データを用いた学習が行われる。これにより、既存の学習済みモデルを工場出荷前でなくてもバージョンアップすることができる。

以上説明したように、本実施形態では、学習装置６０（ＣＮＮ、データ生成機能）が、少なくとも２回の超音波送信により、超音波信号に基づく入力データ、及び複数の超音波信号を合成した合成信号に基づく教師データを取得することと、入力データと教師データとに基づいて機械学習モデルを機械学習させることにより、超音波信号に基づく入力データを用いて、合成信号に基づく出力データを生成する、学習済みモデルを生成する。少なくとも２回の超音波送信波、同一のスキャン方向について、互いに音圧が等しい超音波を用いて実行される（例えば、図８参照）。

例えば、ＣＮＮにおいては、入力データ及び教師データが与えられると、入力データの特徴から教師データに変換されるような内部パラメータが生成される。機械学習に用いるデータの数は多いほどよく、例えば、数千以上のデータが望ましい。

数千以上のデータを得るためには、入力データ及び教師データを効率的に得ることが重要である。例えば、超音波診断装置１で生体データが取得される場合には、操作者が手で超音波プローブを持って動いている生体を走査するため、パネル上のユーザインタフェースを使って入力データと教師データとで条件を変えて完全に同一断面のデータを収集することはほぼ不可能である。生体が動いたり、プローブを持つ手が動いたりしてしまうからである。しかしながら、機械学習を行うための入力データと教師データとは完全に同一断面で生体の臓器の位置や心拍動の時相も同一である必要があり、その精度は波長レベルが要求される。

本実施形態では、学習装置６０において、学習時に取得する入力データと教師データとは、被検体の同一断面についての超音波信号及び合成信号である。それ故、効率よく学習済みモデルを生成することができる。生成された学習済みモデルは、スキャン位置で受信した超音波信号に基づく入力データを用いて、当該スキャン位置で受信した複数の超音波信号を合成した合成信号に基づく出力データを生成することができる。

（応用例）
第１の実施形態では、入力データ及び出力データ（あるいは教師データ）として、主に超音波画像データを利用する場合について説明した。第１の実施形態に係る応用例では、処理回路１８内の任意の箇所において処理されたデータを利用する場合について説明する。

図１１は、超音波受信回路１２、処理回路１８、及び表示装置４０におけるデータの流れを説明する図である。処理回路１８のＢモード処理機能１８１は、検波機能１８１１（検波部）と、対数圧縮機能１８１２（対数圧縮部）とを備える。超音波受信回路１２で受信したデータが、処理回路１８で処理されて、表示装置４０で画像が表示される。

処理回路１８のＢモード処理機能１８１の検波機能１８１１において、受信したデータは、検波処理される。処理されたデータは、検波機能１８１１から対数圧縮機能１８１２へと送られる。次いで、対数圧縮機能１８１２において、送られたデータが、対数圧縮処理される。処理されたデータは、対数圧縮機能１８１２から画像生成機能１８３へと送られる。画像生成機能１８３において、送られたデータが、画像生成処理されて、Ｂモード画像データが生成される。Ｂモード画像データは、画像生成機能１８３から表示装置４０へと送られる。表示装置４０は、処理回路１８の表示制御機能１８５による制御により、Ｂモード画像を表示する。

本応用例では、処理回路１８は、図１２、図１４、及び図１５に示されるいずれかの箇所においてデータ生成機能１８４を実行する。なお、処理回路１８は、複数の箇所でデータ生成機能１８４を実行してもよい。

図１２は、データ生成機能１８４が実行される箇所の一例を示す図である。図１２によれば、超音波受信回路１２でビームフォーミングされた後の信号（後述するＩＱ信号又はＲＦ信号）にデータ生成機能１８４が適用される。データ生成機能１８４が適用されることにより生成されたデータは、処理回路１８において検波機能１８１１へと送られる。

具体的には、超音波受信回路１２は、超音波プローブ２０で取得された超音波信号に対する受信信号を生成する。処理回路１８は、データ生成機能１８４により、超音波信号に対する受信信号に基づく入力データを入力することにより、複数の超音波信号を合成した合成信号に対する受信信号に基づく出力データを生成する学習済みモデルに対して、生成された受信信号に基づく入力データを入力することにより、合成信号に対する受信信号に基づく出力データを生成する。

ここで、超音波受信回路１２において扱われる信号について説明する。図１３は、超音波受信回路１２において扱われる複数の信号、及び周波数振幅特性の関係を説明する図である。複数の信号には、例えば、ＲＦ信号、解析信号、ＩＱ信号、及び折返しのある解析信号（以降、折り返し解析信号と称する）がある。これらそれぞれの信号を入力データとして用いる。

図１３の（ａ）は、ＲＦ信号の周波数振幅特性を示す図である。ＲＦ信号は、例えば、超音波プローブ２０における各チャネルのそれぞれから出力される信号及び後述するプリアンプ群の各プリアンプから出力された信号を直接Ａ／Ｄ変換した信号に相当する。

図１３の（ｂ）は、解析信号の周波数振幅特性を示す図である。解析信号は、例えば、フィルタなどによりＲＦ信号から正の周波数帯域の信号を取り出した信号に相当する。

図１３の（ｃ）は、ＩＱ信号の周波数特性を示す図である。ＩＱ信号は、例えば、解析信号を中心周波数ｆ_０でミキシングした信号に相当する。また、ＩＱ信号は、例えば、後述する復調器群の各復調器から出力される信号及び後述するビームフォーマから出力される信号に相当する。

図１３の（ｄ）は、折り返し解析信号の周波数特性を示す図である。折り返し解析信号は、例えば、図１３の（ｃ）に示される低いサンプリング周波数（ナイキスト周波数ｆＮ２）のＩＱ信号に対して、以下の式（１）を適用させて得られる信号である。ここで、ｆ_０はＲＦ信号からＩＱ信号を作成した際のミキシング周波数である。

図１２に示される例では、データ生成機能１８４において処理回路１８が超音波受信回路１２から受け取る信号は、図１３の（ｃ）に示されるような、ビームフォーミング後のＩＱ信号であってよい。複素数であるＩＱ信号に対しては、データ生成機能１８４における全ての計算が複素数で行われる。例えば、係数が実数でＩ、Ｑを独立に扱う場合には、第１の畳み込み層Ｌ１１への入力データは、サンプル数Ｓ０×ラスタ数Ｒ０の２個のデータである。あるいは、ＩＱ信号の代わりに、図１３の（ｂ）に示されるような解析信号、又は図１３の（ｄ）に示されるような折り返し解析信号が使用されることにより、深さ方向に変化する波の位相も情報に含めることが可能である。

超音波受信回路１２においてビームフォーミングをＲＦ信号で行う場合には、データ生成機能１８４において処理回路１８が図１３の（ａ）に示されるようなＲＦ信号を取得する。なお、ビームフォーミングをＩＱ信号で行う場合においてもＩＱ信号をＲＦ信号に変換してＣＮＮを使用した方が良い場合がある。例えば、既存のＣＮＮのフレームワークは実数のみに対応している場合が多いが、原信号がＩＱ信号であってもＲＦ信号に変換されれば既存のフレームワークを使用することができる。

ここで、処理回路１８が超音波受信回路１２から受け取ったＩＱ信号をＲＦ信号に変換するには、まず、ＩＱ信号ＩＱ（ｔ）を補間して元のＲＦ信号の周波数帯域を取れるだけのサンプリング周波数の信号ＩＱ２（ｔ）にする。ＩＱ信号ＩＱ２（ｔ）からＲＦ信号ＲＦ（ｔ）への変換式は、以下の式（２）で表される。ここで、ｆ_０はＲＦ信号からＩＱ信号を作成した際のミキシング周波数、Ｒｅ［］は実数のみを取り出すことを意味する。

図１４は、データ生成機能１８４が実行される箇所の一例を示す図である。図１４によれば、処理回路１８の検波機能１８１１において検波処理されたデータにデータ生成機能１８４が適用される。ここでは、データは実数の信号であるから、通常のグレースケールの画像の場合と同様な処理を行うことができる。データ生成機能１８４が適用されることにより生成されたデータは、処理回路１８において対数圧縮機能１８１２へと送られる。

具体的には、処理回路１８は、検波機能１８１１により、超音波受信回路１２で生成された、超音波信号に対する受信信号を検波することによって検波信号を生成する。処理回路１８は、データ生成機能１８４により、超音波信号に由来する検波信号に基づく入力データを用いて、複数の超音波信号を合成した合成信号に由来する検波信号に基づく出力データを生成する学習済みモデルに対して、生成された検波信号に基づく入力データを入力することにより、合成信号に由来する検波信号に基づく出力データを生成する。

図１５は、データ生成機能１８４が実行される箇所の一例を示す図である。図１５によれば、処理回路１８の対数圧縮機能１８１２において対数圧縮処理されたデータにデータ生成機能１８４が適用される。ここでも、データは実数の信号であるから、通常のグレースケールの画像の場合と同様な処理を行うことができる。データ生成機能１８４が適用されることにより生成されたデータは、処理回路１８において画像生成機能１８３へと送られる。

具体的には、処理回路１８は、対数圧縮機能１８１２により、超音波受信回路１２で生成された、超音波信号に対する受信信号を対数圧縮することによって対数圧縮信号を生成する。処理回路１８は、データ生成機能１８４により、超音波信号に由来する対数圧縮信号に基づく入力データを用いて、複数の超音波信号を合成した合成信号に由来する対数圧縮信号に基づく出力データを生成する学習済みモデルに対して、生成された対数圧縮信号に基づく入力データを入力することにより、合成信号に由来する対数圧縮信号に基づく出力データを生成する。

このように、第１の実施形態では、処理回路１８は、超音波受信回路１２から受け取ったＩＱ信号、ＲＦ信号、解析信号、又は折り返し解析信号、検波後の信号、対数圧縮後の信号、座標変換後の超音波画像のいずれかに対して、学習済みモデルによるデータ生成機能１８４を実行する。

（第２の実施形態）
前述の第１の実施形態、及び第１の実施形態に係る応用例では、入力データ及び出力データ（あるいは教師データ）として、主にビームフォーミング後のデータを利用する場合について説明した。第２の実施形態では、ビームフォーミング前のデータを利用する場合について説明する。

図１６は、第２の実施形態に係る超音波診断装置１の構成の一例を示すブロック図である。以下の説明では、主に、第１の実施形態と第２の実施形態との相違点を説明し、第１の実施形態と同様の構成及び動作についての説明を省略する。

第２の実施形態では、超音波受信回路１２は、前処理機能１２１（前処理部）と、データ生成機能１２２（生成部）と、後処理機能１２３とを有している。前処理機能１２１は、データ生成機能１２２に入力されるデータをデータ生成機能１２２での処理に適した形式に前処理する機能である。データ生成機能１２２は、第１の実施形態における処理回路１８のデータ生成機能１８４に実質的に対応する機能である。後処理機能１２３は、データ生成機能１２２で生成されたデータを後続の処理に適した形式に後処理する機能である。なお、本実施形態では、処理回路１８はデータ生成機能を含んでいない。

図１７は、超音波プローブ２０のチャネルとビーム数の概念を説明する図である。超音波プローブ２０は、複数の超音波振動子２１１からなる探触部２１を有している。全ての超音波振動子２１１を複数個ずつに分けたものがチャネルである。すなわち、各チャネルは、１以上の超音波振動子２１１を含む。超音波プローブ２０は、超音波送信回路１１により、複数のチャネルを同時に駆動することによって超音波送信をする。尚、本明細書における「ビーム」は、超音波の１回の送受信が行われる走査線（ラスタ）と同様の概念である。よって、ビーム数はラスタ数と読み替えられてもよい。

図１７には、＃１から＃ＮまでのＮ個のチャネルが示されている。例えば、２つのチャネルを同時に駆動することによって超音波送信をする場合、超音波送信回路１１は、チャネル＃１、＃２を同時に駆動させる。チャネル＃１、＃２が同時に駆動することによって、それぞれの超音波の波面が合成されビーム＃１が形成される。同様に、超音波送信回路１１がチャネル＃２、＃３を同時に駆動させることによって、ビーム＃２が形成される。このように、隣り合う２つのチャネルからの超音波送信により、一つのビームが形成される。図１６には、＃１から＃ＭまでのＭ本のビームが示されている。なお、同時に駆動させるチャネルの数は、２つに限らず、３以上であってもよい。また、前述の全ＣＨは、同時に駆動させるチャネルの全てのチャネルを意味し、奇数ＣＨは、奇数番目（例えば、＃１、＃３、・・・、＃Ｎ－１）のチャネルを意味し、偶数ＣＨは、偶数番目（例えば、＃２、＃４、・・・、＃Ｎ）のチャネルを意味する。

図１８は、超音波受信回路１２、及び処理回路１８の構成の一例を示すブロック図である。超音波受信回路１２は、プリアンプ群１２４と、Ａ／Ｄ変換器群１２５（アナログ／ディジタル変換部）と、復調器群１２６と、ビームフォーマ１２７とを備える。プリアンプ群１２４は、プリアンプ１２４－１、１２４－２、・・・、１２４－Ｎからなる。Ａ／Ｄ変換器群１２５は、Ａ／Ｄ変換器１２５－１、１２５－２、・・・、１２５－Ｎからなる。復調器群１２６は、復調器１２６－１、１２６－２、・・・、１２６－Ｎからなる。

プリアンプ１２４－１～１２４－Ｎには、チャネル＃１～＃Ｎから、受信信号がそれぞれ入る。プリアンプ１２４－１～１２４－Ｎは、それぞれ、受信信号を増幅する。プリアンプ１２４－１～１２４－Ｎで増幅された受信信号は、それぞれ、Ａ／Ｄ変換器１２５－１～１２５－Ｎに入る。

Ａ／Ｄ変換器１２５－１～１２５－Ｎは、増幅された受信信号をアナログ信号からディジタル信号へと変換する。変換された受信信号は、それぞれ、復調器１２６－１～１２６－Ｎに入る。換言すると、Ａ／Ｄ変換器群１２５は、超音波プローブ２０の複数のチャネルから取得された、超音波信号に由来するＲＦ信号をサンプリングすることによってＲＦ信号の信号強度に基づく値として複数のディジタル信号を生成する。

復調器１２６－１～１２６－Ｎは、変換された受信信号を復調する。復調された受信信号は、ビームフォーマ１２７に入る。ビームフォーマ１２７は、復調された受信信号をビームフォーミングする。ビームフォーミングされた受信信号は、処理回路１８に送信される。換言すると、復調器群１２６は、Ａ／Ｄ変換器群１２５によって生成された複数のディジタル信号を復調することによって複数の復調信号を生成する。尚、復調信号は、解析信号又はＩＱ信号である。

図１９は、データ生成機能１２２に入力される入力データの一例を示す図である。データ生成機能１２２は、例えば、４つの畳み込み層を有するＣＮＮにより実現される。第１の畳み込み層には、サンプル数Ｓ×受信ビーム数Ｍ、チャネル数Ｎの入力データ（信号）が入力される。ここで、サンプル数Ｓは、処理回路１８が生成するＢモード画像において画像高さに相当するものであり、受信ビーム数Ｍは、画像幅に相当するものである。図１９の入力データは、前処理機能１２１によって処理される。

図２０は、データ生成機能１２２が実行される箇所の一例を示す図である。図２０では、Ａ／Ｄ変換器群１２５でアナログ信号から変換されたディジタル信号が、超音波受信回路１２の前処理機能１２１に入る。前処理機能１２１において超音波受信回路１２は、変換された信号を前処理する。前処理された信号は、データ生成機能１２２に入る。前処理された信号にデータ生成機能１２２が適用される。データ生成機能１２２が適用されることにより生成された信号は、超音波受信回路１２において後処理機能１２３に入る。後処理機能１２３において超音波受信回路１２は、信号を後処理する。後処理された信号は、復調器群１２６に入る。

具体的には、超音波受信回路１２は、前処理機能１２１により、Ａ／Ｄ変換器群１２５で生成された複数のディジタル信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理する。超音波受信回路１２は、データ生成機能１２２により、超音波信号に由来するマトリクスデータに基づく入力データを用いて、複数の超音波信号を合成した合成信号に由来するマトリクスデータに基づく出力データを生成する学習済みモデルに対して、前処理機能１２１により処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する。超音波受信回路１２は、後処理機能１２３により、データ生成機能１２２で生成された出力データを、復調器群１２６への入力に適合するように後処理する。

図２１は、超音波受信回路１２のデータ生成機能１２２を説明する図である。データ生成機能１２２は、例えばＣＮＮにより実現される。以下、４層のＣＮＮでの処理について例示するが、層数は限定されない。図２１では、４つの矢印をそれぞれ畳み込み層として表現し、入力データ、及び４つの畳み込み層Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４から出力されるデータを例示している。なお、図２１では、畳み込み層から出力されるデータは、チャネル＃１のデータのみを図示し、チャネル＃２～＃Ｎまでのデータの図示を省略している。

第１の畳み込み層Ｌ１１には、サンプル数Ｓ×ビーム数Ｍ、チャネル数Ｎの入力データ（信号）が入力される。チャネル＃１のデータに注目すると、データ生成機能１２２において超音波受信回路１２は、当該信号にＮ１個の組のカーネルサイズＫ０×Ｌ０のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれＳ１、Ｒ１に間引いた信号を生成する。つまり、Ｓ０＞Ｓ１、Ｍ＞Ｒ１である。

第２の畳み込み層Ｌ１２には、サンプル数Ｓ１×ビーム数Ｒ１の複数の信号が入力される。データ生成機能１２２において超音波受信回路１２は、当該複数の信号のそれぞれにＮ２個の組のカーネルサイズＫ１×Ｌ１のフィルタを用いた畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれＳ２、Ｒ２に間引いた信号を生成する。つまり、Ｓ１＞Ｓ２、Ｒ１＞Ｒ２である。

第３の畳み込み層Ｌ１３には、サンプル数Ｓ２×ビーム数Ｒ２の複数の信号が入力される。データ生成機能１２２において超音波受信回路１２は、当該複数の信号のそれぞれにＮ３個のカーネルサイズＫ２×Ｌ２のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれＳ３、Ｒ３に拡大した信号を生成する。つまり、Ｓ２＜Ｓ３、Ｒ２＜Ｒ３である。

第４の畳み込み層Ｌ１４には、サンプル数Ｓ３×ビーム数Ｒ３の複数の信号が入力される。データ生成機能１２２において超音波受信回路１２は、当該複数の信号のそれぞれにＮ個のカーネルサイズＫ３×Ｌ３のフィルタを用いた逆畳み込み処理を行うことにより、サンプル数、及びビーム数をそれぞれＳ、Ｍに拡大した信号を生成する。つまり、Ｓ３＜Ｓ、Ｒ３＜Ｍである。そして、第４の畳み込み層から、サンプル数Ｓ×ビーム数Ｍ、チャネル数Ｎの信号、すなわち入力データと同じサイズの出力データが出力される。

なお、ここではデータ生成機能１２２として４つの畳み込み層Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４を有するＣＮＮについて説明したが、畳み込み層の数、及び層の種類は任意に設定してよい。また、機械学習の方法はＣＮＮである必要はなく、別の機械学習方法を用いてもよい。ここでは入力データは２次元データであるが、３次元データであってもよい。３次元データであっても、３Ｄ ＣＮＮを適用することで処理可能である。

図２２は、データ生成機能１２２における超音波受信回路１２の動作の一例を示すフローチャートである。ステップＳＣ１において、超音波受信回路１２は、１つの受信信号に関する受信データを取得する。ステップＳＣ２において、超音波受信回路１２は、受信データについて前処理を実行することによって入力データを生成する。ステップＳＣ３において、超音波受信回路１２は、生成した入力データと学習済みモデルとに基づいて、合成信号に関する出力データを生成する。ステップＳＣ４において、超音波受信回路１２は、出力データについて後処理を実行することによって処理済み受信データを生成する。

図２３は、学習済みモデルの生成における学習装置６０の動作の一例を示すフローチャートである。ステップＳＤ１において、学習装置６０は、機械学習モデルのパラメータを初期化する。ステップＳＤ２において、学習装置６０は、入力データ及び教師データを取得する。ステップＳＤ３において、学習装置６０は、取得された入力データと教師データとに基づいて、機械学習モデルを学習する。ステップＳＤ４において、学習装置６０は、学習された機械学習モデルを学習済みモデルとして出力する。

なお、図１９では、データ生成機能１２２に入力される入力データは、サンプル数Ｓ×受信ビーム数Ｍ、チャネル数Ｎであるとして説明したが、例えば、図２４に示されるように、サンプル数Ｓ×チャネル数Ｎ、受信ビーム数Ｍの入力データであってもよい。この場合にも、図２１に示されるのと同様の処理により、データ生成を行うことができる。

本実施形態では、超音波受信回路１２がデータ生成機能１２２を備える。超音波受信回路１２は、図２０又は図２５に示されるいずれかの箇所においてデータ生成機能１２２を実行する。複数の箇所でデータ生成機能１２２が実行されてもよい。以下、図２５を参照して、超音波受信回路１２におけるデータの流れの一例を説明する。

図２５は、データ生成機能１２２が実行される箇所の一例を示す図である。図２５によれば、復調器群１２６で復調された信号が、超音波受信回路１２の前処理機能１２１に入る。前処理機能１２１において超音波受信回路１２は、復調された信号を前処理する。前処理された受信信号は、データ生成機能１２２に入る。前処理された信号にデータ生成機能１２２が適用される。データ生成機能１２２が適用されることにより生成された信号は、超音波受信回路１２において後処理機能１２３に入る。後処理機能１２３において超音波受信回路１２は、信号を後処理する。後処理された信号は、ビームフォーマ１２７に入る。

具体的には、超音波受信回路１２は、前処理機能１２１により、復調器群１２６で生成された複数の復調信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理する。超音波受信回路１２は、データ生成機能１２２により、超音波信号に由来するマトリクスデータに基づく入力データを用いて、複数の超音波信号を合成した合成信号に由来するマトリクスデータに基づく出力データを生成する学習済みモデルに対して、前処理機能１２１により処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する。超音波受信回路１２は、後処理機能１２３により、データ生成機能１２２で生成された出力データを、ビームフォーマ１２７への入力に適合するように後処理する。

図２０に示される例では、データ生成機能１２２に入力される信号が実数のＲＦ信号であるが、図２５に示される例では、データ生成機能１２２に入力される信号は複素数のＩＱ信号である。この点で相違するものの、図２５に示される例であっても、図２１を参照して説明したのと同様のデータ生成機能１２２（ＣＮＮ）を使用することができる。つまり、全ての計算が複素数で行われることにより、同様のデータ生成を実行可能である。ＩＱ信号はＲＦ信号に比べて周波数帯域が狭くなっているので、低いサンプリング周波数で済み、サンプル数が小さくて良い。そのために、サンプル方向のカーネルサイズを図２０に示される例よりも小さくすることができ、計算点数を少なくすることができる。ただし、計算が複素数であるために、１つの計算の時間は増える。

なお、係数が実数で良いとした場合には、ＩＱ信号を独立なＩ信号、Ｑ信号とみなして、チャネル方向に振り分けることで、チャネル数は２倍になるがすべての計算を実数で行うことができる。

変形例１として、ベースバンド帯域信号のＩＱ信号の代わりに解析信号を使用してよい。解析信号Ａｎａ（ｔ）とＩＱ信号ＩＱ（ｔ）の関係は、前述の式（１）の通りである。ＩＱ信号の代わりに解析信号を使用することで、深さ方向に変化する波の位相も表現できるので、ＲＦ信号を用いた場合と同じ結果を得ることができる。学習時の入力データと教師データに解析信号を使用した場合は、利用時には入力データを解析信号に変換して解析信号の推論データを得た後に、ＩＱ信号に変換する処理を行う。

変形例２として、ベースバンド帯域信号のＩＱ信号の代わりに折り返し解析信号（図１３の（ｄ）参照）を使用してよい。解析信号の周波数帯域はＲＦ信号（図１３の（ａ））の正の周波数帯域と同一である。そのために高いサンプリング周波数が要求される。しかし、図１３の（ｃ）に示されるような低いサンプリング周波数（ナイキスト周波数ｆ_Ｎ２）のＩＱ信号に対して式（１）を適用すると、図１３の（ｄ）に示すような信号になる。この信号は、図１３の（ｂ）に示されるナイキスト周波数ｆ_Ｎの解析信号をナイキスト周波数ｆ_Ｎ２でサンプリングして折り返った状態にあると解釈できる。周波数帯域はＩＱ信号と同一のベースバンドで狭帯域であるが、位相は元の解析信号と同じ状態を保持しているので、深さ方向に変化する波の位相を保持している。したがって、ＲＦ信号や解析信号を用いた場合と同じ結果を低いサンプリング周波数で実現でき、計算量を小さくすることができる。学習時の入力データと教師データに折り返し解析信号を使用した場合は、処理回路１８は、利用時には入力データに解析信号を折り返し解析信号に変換してデータを得た後に、ＩＱデータに変換する処理を行う。

なお、図２２及び図２５に示される箇所にてデータ生成機能１２２が実行される場合、学習済みモデルの生成において、前述の学習用データと併せて、教師データに人工的なノイズ（ホワイトノイズ）を付加したデータを新たな入力データとして更に利用してもよい。

（第３の実施形態）
図２６は、第３の実施形態に係る超音波診断装置１の構成の一例を示すブロック図である。第３の実施形態では、超音波受信回路１２と処理回路１８との両方にデータ生成機能が備わっている。つまり、第３の実施形態では、第１の実施形態で説明した処理回路１８のデータ生成機能１８４と、第２の実施形態で説明した超音波受信回路１２のデータ生成機能１２２とが組み合わせられる。尚、第３の実施形態において、データ生成機能１２２は、生成処理部と呼ばれてもよく、データ生成機能１８４は、処理部と呼ばれてもよい。

第１の実施形態で説明したように、入力データと教師データとの組合せは、図８に示される組合せがある。また、第１の実施形態で説明したデータ生成機能１８４を実行する箇所が４通りあり、第２の実施形態で説明したデータ生成機能１２２を実行する箇所が２通りある。これらの組合せだけでなく、２以上のデータ生成機能１２２、１８４も組み合わせて用いることが可能である。

例えば、超音波診断装置１は、図２０に示される超音波受信回路１２のデータ生成機能１２２と、図１１に示される処理回路１８のデータ生成機能１８４との両方を実行する。この場合、上流のデータ生成機能１２２が実行された後、下流のデータ生成機能１８４が実行される。この場合、データ生成機能１２２において超音波受信回路１２は、生成処理部として、超音波信号に由来するマトリクスデータに基づく入力データを用いて、複数の超音波信号を合成した合成信号に由来するマトリクスデータに基づく出力データを生成する学習済みモデルに対して、前処理機能１２１により処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する。さらに、データ生成機能１８４において処理回路１８は、生成部として、超音波信号に由来する超音波画像データに基づく入力データを用いて、複数の超音波信号を合成した合成信号に由来する超音波画像データに基づく出力データを生成する。或いは、超音波診断装置１は、図２５に示される超音波受信回路１２のデータ生成機能１２２と、図１２に示される処理回路１８のデータ生成機能１８４との両方を実行してよい。もちろん、超音波受信回路１２において２以上のデータ生成機能１２２が実行されてもよいし、処理回路１８において２以上のデータ生成機能１８４が実行されてもよい。

本実施形態によれば、２つのデータ生成機能１２２、１８４を組み合わせて用いることにより、生成される超音波画像の画質をより向上させることが可能となる。

（第４の実施形態）
上記各実施形態では、超音波送信回路１１及び超音波受信回路１２が、装置本体１０に含まれる場合について説明した。第４の実施形態では、超音波送信回路１１及び超音波受信回路１２が、超音波プローブ２０ａ内に含まれる場合を説明する。

図２７は、第４の実施形態に係る超音波診断装置の構成例を示すブロック図である。図２７に示されるように、超音波診断装置１ａは、装置本体１０ａ及び超音波プローブ２０ａを備える。装置本体１０ａは、入力装置３０及び表示装置４０と接続される。また、装置本体１０ａは、ネットワークＮＷを介して外部装置５０と接続される。超音波プローブ２０ａは、装置本体１０ａと着脱自在に接続される。

超音波プローブ２０ａは、探触部２１、超音波送信回路１１、超音波受信回路１２、制御回路２２及び通信インタフェース２３を含む。尚、超音波プローブ２０ａは、オフセット処理や、超音波画像のフリーズの際などに押下されるボタンなどを入力インタフェースとして有していてもよい。

探触部２１は、複数の圧電振動子、圧電振動子に設けられる整合層及び圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。探触部２１は、圧電振動子により、超音波送信回路１１から供給される駆動信号に基づき超音波を発生する。探触部２１から被検体Ｐへ超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射される。探触部２１は、圧電振動子により、反射波を受信する。探触部２１は、受信した反射波を反射波信号に変換する。

制御回路２２は、例えば、超音波スキャンに関する動作を制御するプロセッサである。制御回路２２は、装置本体１０ａの内部記憶回路１３に記憶されている動作プログラムを実行することで、この動作プログラムに対応する機能を実現する。具体的には、制御回路２２は、ビーム制御機能２２１を有する。

なお、ビーム制御機能２２１は、内部記憶回路１３に記憶される動作プログラムとして組み込まれることに限定されない。ビーム制御機能２２１は、例えば、制御回路２２内に組み込まれていてもよい。また、ビーム制御機能２２１は、装置本体１０ａの処理回路１８が有するシステム制御機能１８６に統合されてもよい。

制御回路２２は、ビーム制御機能２２１により、超音波送信回路１１及び超音波受信回路１２についての制御パラメータを設定する。具体的には、例えば、制御回路２２は、図示しないメモリから送信位置、送信開口及び送信遅延などの情報を読み出し、読み出したこれらの情報を超音波送信回路１１に設定する。同様に、制御回路２２は、上記読み出したこれらの情報を超音波受信回路１２に設定する。

また、制御回路２２は、設定した制御パラメータに基づいて超音波送信回路１１及び超音波受信回路１２を制御し、様々な撮像モードに応じた超音波スキャンを実行する。

通信インタフェース２３は、有線または無線により装置本体１０ａと接続され、装置本体１０ａとの間でデータ通信を行う。具体的には、例えば、通信インタフェース２３は、装置本体１０ａの処理回路１８が有するシステム制御機能１８６などからの指示を受信し、受信した指示を制御回路２２へと出力する。また、通信インタフェース２３は、超音波受信回路１２で生成される受信信号を処理回路１８へ出力する。尚、上記有線は、例えば、ＵＳＢ（Universal Serial Bus）により実現されるが、これに限定されない。

図２７に示される装置本体１０ａは、超音波プローブ２０ａから出力される受信信号に基づいて超音波画像を生成する装置である。装置本体１０ａは、内部記憶回路１３、画像メモリ１４、入力インタフェース１５、出力インタフェース１６、通信インタフェース１７ａ及び処理回路１８を有する。

通信インタフェース１７ａは、有線または無線により超音波プローブ２０ａと接続され、超音波プローブ２０ａとの間でデータ通信を行う。具体的には、例えば、通信インタフェース１７ａは、処理回路１８が有するシステム制御機能１８６などからの指示を超音波プローブ２０ａへ出力する。また、通信インタフェース１７ａは、超音波プローブ２０ａで生成される受信信号を装置本体１０ａへ出力する。また、通信インタフェース１７ａは、ネットワークＮＷなどを介して外部装置５０と接続され、外部装置５０との間でデータ通信を行う。

なお、超音波プローブ２０ａ及び装置本体１０ａの構成は上記に限定されない。例えば、超音波プローブ２０ａは、超音波送受信を実現するための制御プログラムなどを記憶するメモリを有していても構わない。また、超音波受信回路１２は、前述した前処理機能１２１、データ生成機能１２２及び後処理機能１２３を備えてもよい。

また、本実施形態に係る装置本体１０ａに含まれる構成のうちの少なくとも一つが超音波プローブ２０ａ内に含まれてもよい。この場合、超音波プローブ２０ａは、超音波画像を表示するための表示装置４０（例えば、ディスプレイ、タブレット端末及びスマートフォン）と、ＵＳＢまたは無線で接続されてもよい。

また、装置本体１０ａは、入力装置３０及び表示装置４０を含んでいてもよい。このとき、装置本体１０ａは、例えば、タブレット端末及びスマートフォンなどの端末装置により実現される。

（その他の実施形態）
加えて、実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することも可能である。

以上説明した少なくとも一つの実施形態によれば、従来に比して少ない超音波送信回数で高画質の超音波画像を得ることができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit:ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰ：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図１４及び図２４などにおける複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…超音波診断装置
１０…装置本体
１１…超音波送信回路
１２…超音波受信回路
１３…内部記憶回路
１４…画像メモリ
１５…入力インタフェース
１６…出力インタフェース
１７…通信インタフェース
１８…処理回路
２０…超音波プローブ
３０…入力装置
４０…表示装置
５０…外部装置
６０…学習装置
ＮＷ…ネットワーク

Claims (17)

1. 超音波信号に基づく入力データを用いて、同一のスキャン方向について複数回の超音波送信によって得られる複数の超音波信号を加算合成した合成信号に基づく出力データを生成する学習済みモデルに対して、検査によって取得された超音波信号に基づく入力データを入力することにより、合成信号に基づく出力データを生成する生成部
   を具備する、超音波診断装置。
2. 前記学習済みモデルは、スキャン位置で受信した超音波信号に基づく入力データを用いて、前記スキャン位置で受信した合成信号に基づく出力データを生成する、
   請求項１に記載の超音波診断装置。
3. 前記取得された超音波信号に対する受信信号を生成する受信部
   を更に具備し、
   前記学習済みモデルは、超音波信号に対する受信信号に基づく入力データを入力することにより、合成信号に対する受信信号に基づく出力データを生成し、
   前記生成部は、前記学習済みモデルに対して、前記受信部で生成された受信信号に基づく入力データを入力することにより、合成信号に対する受信信号に基づく出力データを生成する、
   請求項１又は２に記載の超音波診断装置。
4. 前記受信部は、前記取得された超音波信号に基づくディジタル信号に対してビームフォーミングすることによって、前記受信信号としての解析信号、ＩＱ信号又はＲＦ信号を生成する、
   請求項３に記載の超音波診断装置。
5. 前記取得された超音波信号に対する受信信号を生成する受信部と、
   前記受信部で生成された受信信号を検波することによって検波信号を生成する検波部と、
   を更に具備し、
   前記学習済みモデルは、超音波信号に由来する検波信号に基づく入力データを用いて、合成信号に由来する検波信号に基づく出力データを生成し、
   前記生成部は、前記学習済みモデルに対して、前記検波部で生成された検波信号に基づく入力データを入力することにより、合成信号に由来する検波信号に基づく出力データを生成する、
   請求項１乃至４のいずれか１項に記載の超音波診断装置。
6. 前記取得された超音波信号に対する受信信号を生成する受信部と、
   前記受信部で生成された受信信号を対数圧縮することによって対数圧縮信号を生成する対数圧縮部と
   を更に具備し、
   前記学習済みモデルは、超音波信号に由来する対数圧縮信号に基づく入力データを用いて、合成信号に由来する対数圧縮信号に基づく出力データを生成し、
   前記生成部は、前記学習済みモデルに対して、前記対数圧縮部で生成された対数圧縮信号に基づく入力データを入力することにより、合成信号に由来する対数圧縮信号に基づく出力データを生成する、
   請求項１乃至５のいずれか１項に記載の超音波診断装置。
7. 前記取得された超音波信号に対する受信信号を生成する受信部と、
   前記受信部で生成された受信信号を座標変換することによって超音波画像データを生成する画像生成部と
   を更に具備し、
   前記学習済みモデルは、超音波信号に由来する超音波画像データに基づく入力データを用いて、合成信号に由来する超音波画像データに基づく出力データを生成し、
   前記生成部は、前記学習済みモデルに対して、前記画像生成部で生成された超音波画像データに基づく入力データを入力することにより、合成信号に由来する超音波画像データに基づく出力データを生成する、
   請求項１乃至６のいずれか１項に記載の超音波診断装置。
8. 前記取得された超音波信号に対する受信信号を生成する受信部
   を更に具備し、
   前記受信部で生成された受信信号は、１回の超音波送信によって受信された超音波信号に対する受信信号である、
   請求項１乃至７のいずれか１項に記載の超音波診断装置。
9. 超音波プローブの複数のチャネルから取得された、超音波信号に由来するＲＦ信号をサンプリングすることによって前記ＲＦ信号の信号強度に基づく値として複数のディジタル信号を生成するアナログ／ディジタル変換部と、
   前記複数のディジタル信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理する処理部と
   を更に具備し、
   前記学習済みモデルは、超音波信号に由来するマトリクスデータに基づく入力データを用いて、合成信号に由来するマトリクスデータに基づく出力データを生成し、
   前記生成部は、前記学習済みモデルに対して、前記処理部で処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する、
   請求項１又は２に記載の超音波診断装置。
10. 超音波プローブの複数のチャネルから取得された、超音波信号に由来するＲＦ信号をサンプリングすることによって前記ＲＦ信号の信号強度に基づく値として複数のディジタル信号を生成するアナログ／ディジタル変換部と、
    前記複数のディジタル信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理する処理部と、
    超音波信号に由来するマトリクスデータに基づく入力データを用いて、合成信号に由来するマトリクスデータに基づく出力データを生成する学習済みモデルに対して、前記処理部で処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する生成処理部と
    を更に具備する、請求項３乃至８のいずれか１項に記載の超音波診断装置。
11. 超音波プローブの複数のチャネルから取得された、超音波信号に由来するＲＦ信号をサンプリングすることによって前記ＲＦ信号の信号強度に基づく値として複数のディジタル信号を生成するアナログ／ディジタル変換部と、
    前記複数のディジタル信号を復調することによって複数の復調信号を生成する復調部と、
    前記複数の復調信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理する処理部と
    を更に具備し、
    前記学習済みモデルは、超音波信号に由来するマトリクスデータに基づく入力データを用いて、合成信号に由来するマトリクスデータに基づく出力データを生成し、
    前記生成部は、前記学習済みモデルに対して、前記処理部で処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する、
    請求項１、２、及び９のいずれか１項に記載の超音波診断装置。
12. 超音波プローブの複数のチャネルから取得された、超音波信号に由来するＲＦ信号をサンプリングすることによって前記ＲＦ信号の信号強度に基づく値として複数のディジタル信号を生成するアナログ／ディジタル変換部と、
    前記複数のディジタル信号を復調することによって複数の復調信号を生成する復調部と、
    前記複数の復調信号を、一方の軸がスキャン部位の深さ方向に対応し、他方の軸が送信ビーム方向に対応するマトリクスデータとして処理する処理部と、
    超音波信号に由来するマトリクスデータに基づく入力データを用いて、合成信号に由来するマトリクスデータに基づく出力データを生成する学習済みモデルに対して、前記処理部で処理されたマトリクスデータに基づく入力データを入力することにより、合成信号に由来するマトリクスデータに基づく出力データを生成する生成処理部と
    を更に具備する、請求項３乃至８、及び１０のいずれか１項に記載の超音波診断装置。
13. 前記復調信号は、解析信号又はＩＱ信号である、
    請求項１１又は１２に記載の超音波診断装置。
14. 前記学習済みモデルは、畳み込みニューラルネットワークである、
    請求項１乃至１３のいずれか１項に記載の超音波診断装置。
15. コンピュータに、
    少なくとも２回の超音波送信により、超音波信号に基づく入力データ、及び同一のスキャン方向について複数回の超音波送信によって得られる複数の超音波信号を加算合成した合成信号に基づく教師データを取得することと、
    前記入力データと前記教師データとに基づいて機械学習モデルを機械学習させることにより、超音波信号に基づく入力データを用いて、合成信号に基づく出力データを生成する、学習済みモデルを生成することと
    を実行させるための学習プログラム。
16. 前記少なくとも２回の超音波送信は、同一のスキャン方向について、互いに音圧が等しい超音波を用いて実行される、
    請求項１５に記載の学習プログラム。
17. 前記機械学習モデルは、畳み込みニューラルネットワークである、
    請求項１５又は１６に記載の学習プログラム。

Images