JP7346314B2 - 超音波診断装置、学習装置、画像処理方法及びプログラム - Google Patents

Description

本発明は超音波診断装置に関し、特に超音波診断装置の画質を向上させるための技術に関する。

超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。その画像生成の手法としては、超音波プローブ（探触子）の複数の振動子から超音波パルスを被検体に送信し、被検体内の音響インピーダンスの差を反映した反射超音波を受信する。これらの受信信号を処理して画像化することで観察したい領域の超音波画像を得ることができる。

このような超音波診断装置において、被検体内の複数の反射体からの反射超音波のランダムな干渉によってノイズ（スペックルノイズ）が生じ、超音波画像の画質が低下することがある。このようなノイズを低減する手法として、コンパウンド処理がある。さらに、コンパウンド処理には、空間コンパウンド処理と周波数コンパウンド処理とがある。空間コンパウンド処理は、被検体の同一箇所に対して複数の異なる方向から超音波パルスの送受信を行い、得られた複数の信号データを合成することで超音波画像を作成する技術である。周波数コンパウンド処理は、被検体の同一箇所に対して複数の異なる周波数の超音波パルスの送受信を行い、得られた複数の信号データを合成することで超音波画像を作成する技術である。

特許文献１には、コンパウンド処理による超音波画像の画質向上について開示されている。特許文献２にはニューラルネットワークで構成された復元器を用いた医用撮像装置が開示されている。

特開２０１８－２３６１９号公報 特開２０１９－２５０４４号公報

コンパウンド処理を行うには、被検体の同一箇所に対して複数回の超音波パルスの送受信をしなければならない。それゆえ、フレームレートが低下するという課題がある（単純に言うと、１回の送受信で画像を生成するのに比べ、Ｎ回の送受信を行えばフレームレートは１／Ｎとなる）。また、Ｎ回の送受信を行うあいだに被検体や超音波プローブが動いた場合、分解能やコントラストなどの画質が低下するという課題もある。

本発明は上述した課題に鑑みてなされたものであり、フレームレート低下の影響を少なくしつつ画質の良い画像を得ることのできる超音波診断装置を提供することを目的とする。

本開示は、被検体内の観察領域に対して超音波を走査する超音波探触子と、超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による超音
波の１回の走査により得られた第３の受信信号に基づく第３のデータから、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる画像データに相当する推定画像を生成する推定画像生成部と、を有することを特徴とする超音波診断装置を含む。

本開示は、超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて、モデルの機械学習を行う学習部を有することを特徴とする学習装置を含む。

本開示は、上記超音波診断装置の推定演算部で用いられるモデルの機械学習を行う学習装置であって、超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて、前記モデルの機械学習を行うことを特徴とする学習装置を含む。

本開示は、超音波探触子による超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による超音波の１回の走査により得られた第３の受信信号に基づく第３のデータから、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる画像データに相当する推定画像を生成するステップ、を有することを特徴とする画像処理方法を含む。

本開示は、上記画像処理方法の各ステップをプロセッサに実行させるためのプログラムを含む。

本発明によれば、フレームレート低下の影響を少なくしつつ画質の良い画像を得ることのできる超音波診断装置を提供することができる。

超音波診断装置のハードウエア構成の一例を示すブロック図 第１実施形態に係る受信信号処理ブロックの詳細を示すブロック図 空間コンパウンド処理を説明する図 学習装置の一例を示すブロック図 空間コンパウンド画像を用いた学習データの一例を示す図 周波数コンパウンド画像を用いた学習データの一例を示す図 学習データを作成するＧＵＩの一例を示す図 第１実施形態におけるタイムシーケンスを表す図 第１実施形態における処理のフローを表す図 第１実施形態における処理のフローを表す図 第１実施形態における表示装置の表示の一例を表す図 第２実施形態に係る受信信号処理ブロックの詳細を示すブロック図 第２実施形態における表示装置の表示の一例を表す図

＜第１実施形態＞
（超音波診断装置の構成）
本発明の第１実施形態について説明する。図１は超音波診断装置のハードウエア構成の一例を示すブロック図である。超音波診断装置１は、概略、超音波プローブ（超音波探触
子）１０２、プローブ接続部１０３、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８、システム制御ブロック１０９を有する。超音波診断装置１は、超音波プローブ１０２から超音波パルスを被検体１００に送信し、被検体１００の内部で反射された反射超音波を受信して、被検体１００の内部の画像情報（超音波画像）を生成するためのシステムである。超音波診断装置１で得られる超音波画像は各種の臨床検査で利用される。

超音波プローブ１０２は、電子スキャン方式のプローブであり、その先端に１次元又は２次元に配列された複数の振動子１０１を有する。振動子１０１は、電気信号（電圧パルス信号）と超音波（音響波）のあいだの相互変換を行う電気機械変換素子である。超音波プローブ１０２は、複数の振動子１０１から超音波を被検体１００に送信し、被検体１００内の音響インピーダンスの差を反映した反射超音波を複数の振動子１０１により受信する。

送信電気回路１０４は、複数の振動子１０１に対してパルス信号（駆動信号）を出力する送信部である。複数の振動子１０１に対して時間差をつけてパルス信号を印加することで、複数の振動子１０１から遅延時間の異なる超音波が送信されることで送信超音波ビームが形成される。パルス信号を印加する振動子１０１（つまり駆動する振動子１０１）を選択的に変えたり、パルス信号の遅延時間（印加タイミング）を変えたりすることで、送信超音波ビームの方向やフォーカスを制御できる。この送信超音波ビームの方向及びフォーカスを順次変更することで、被検体１００内部の観察領域が走査（スキャン）される。受信電気回路１０５は、反射超音波を受信した振動子１０１から出力される電気信号を、受信信号として入力する受信部である。受信信号は受信信号処理ブロック１０６に入力される。送信電気回路１０４及び受信電気回路１０５の動作、すなわち、超音波の送受信は、システム制御ブロック１０９によって制御される。なお、本明細書では、振動子１０１から出力されるアナログ信号も、それをサンプリング（デジタル変換）したデジタルデータも、特に区別することなく受信信号と呼ぶ。ただし、文脈によってデジタルデータであることを明示する目的で、受信信号を受信データと記す場合もある。

受信信号処理ブロック１０６は、受信電気回路１０５から得られた受信信号に基づいて画像データを生成する。画像処理ブロック１０７は、受信信号処理ブロック１０６で生成された画像データに対し、輝度調整、補間、フィルタ処理などの画像処理を施す。表示装置１０８は、画像データ及び各種情報を表示するための表示部であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどで構成される。システム制御ブロック１０９は、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８などを統括制御する制御部である。

（受信信号処理ブロックの構成）
図２は受信信号処理ブロック１０６が有する機能の一例を示すブロック図である。受信信号処理ブロック１０６は、整相加算処理ブロック２０１、信号記憶ブロック２０２、演算処理ブロック２０３、Ｂモード処理ブロック２０４、推定演算ブロック２０５を有する。本実施形態では、演算処理ブロック２０３、Ｂモード処理ブロック２０４、推定演算ブロック２０５がそれぞれ本発明の「合成部」、「画像生成部」、「推定画像生成部」に対応する。

整相加算処理ブロック２０１は、受信電気回路１０５から得られた受信信号に対して整相加算を行い、加算された受信信号を信号記憶ブロック２０２に保存する。整相加算処理とは、振動子１０１ごとに遅延時間を変えて複数の振動子１０１の受信信号を足し合わせることで受信超音波ビームを形成する処理であり、Ｄｅｌａｙ ａｎｄ Ｓｕｍ（ＤＡＳ）ビームフォーミングとも呼ばれる。整相加算処理は、システム制御ブロック１０９から
与えられる素子配置や画像生成の各種条件（開口制御、信号フィルタ）に基づいて行われる。

演算処理ブロック２０３は後述する手法でコンパウンド処理後の超音波信号を生成する。信号記憶ブロック２０２に保存された受信信号とコンパウンド処理後の超音波信号はＢモード処理ブロック２０４へと送信される。Ｂモード処理ブロック２０４は、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。推定演算ブロック２０５（推定画像生成部）は、超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、超音波プローブ１０２（超音波探触子）による超音波の１回の走査により得られた第３の受信信号に基づく第３のデータから、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる画像データに相当する推定画像を生成する。「超音波の送信方向又は中心周波数を変えた複数回の走査により得られる画像データに相当する推定画像」を本明細書では「コンパウンド処理相当画像」とも呼ぶ。コンパウンド処理相当画像は、１枚の超音波画像に画像処理（推定演算処理）を施すことによって、コンパウンド処理後の超音波信号を用いて生成される画像（コンパウンド画像と呼ぶ）に相当する画質改善を図った画像ということもできる。推定演算ブロック２０５によるコンパウンド処理相当画像の生成を、擬似コンパウンド処理あるいはＡＩ（人工知能）コンパウンド処理と呼び、コンパウンド処理相当画像を擬似コンパウンド画像あるいはＡＩコンパウンド画像と呼ぶこともできる。受信信号処理ブロック１０６は、システム制御ブロック１０９の制御にしたがって、受信信号処理ブロック１０６で生成し出力する画像を切り替え可能である。システム制御ブロック１０９は、例えば、通常のＢモード画像、コンパウンド画像、コンパウンド処理相当画像のうちから、出力する画像を選択することができる。受信信号処理ブロック１０６から出力される画像は、画像処理ブロック１０７で所定の処理が施されたのち、表示装置１０８で表示される。

受信信号処理ブロック１０６は、１つ以上のプロセッサとメモリにより構成してもよい。その場合、図２に示す各ブロック２０１～２０５の機能はコンピュータ・プログラムによって実現される。例えば、メモリに記憶されているプログラムをＣＰＵが読み込み実行することにより、各ブロック２０１～２０５の機能を提供することができる。受信信号処理ブロック１０６は、ＣＰＵの他に、演算処理ブロック２０３の演算や推定演算ブロック２０５の演算を担当するプロセッサ（ＧＰＵ、ＦＰＧＡなど）を備えていてもよい。特に同時に多くのデータが入力される演算処理ブロック２０３にはＦＰＧＡを、推定演算ブロック２０５のような演算を効率よく実行するにはＧＰＵを用いることが有効である。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、ＣＰＵが利用するワーキングメモリなどを含むとよい。

（コンパウンド処理）
ここで、コンパウンド処理である空間コンパウンド処理と周波数コンパウンド処理による画像生成方法について説明する。

空間コンパウンド処理は、被検体の同一箇所に対して複数の異なる方向から超音波の送受信を行い、得られた複数の信号データを合成することで超音波画像を作成する技術である。空間コンパウンド処理は、超音波画像の均一性が増加し、病変部などにおける辺縁エコーのつながりが向上する効果がある。図３に示すように、被検体の同一箇所に対して、超音波ビームの送信方向を変えた複数回の走査を行い、それぞれの送信方向に対応した受信信号を取得することで、超音波ビームの送信方向の異なる複数のフレームデータが得られる。これらを加算平均して合成することで１フレームのフレームデータを生成し、これに基づいて超音波画像を生成する。図３は、３回の走査（偏向角θ＝θ１、θ２、θ３）
で得られた３つのフレームデータを合成する例を示している。合成の際は加算平均だけでなく、重み付け加算などを行い、複数フレームデータから１フレームのフレームデータを生成してもよい。被検体の同一箇所を異なる方向から撮像することで、スペックルノイズやアーチファクトのパターンが異なる複数のフレームデータが得られるため、これらを合成することでスペックルノイズやアーチファクトを低減した超音波画像が得られる。

しかし、１回の走査（１方向の撮像）のみで超音波画像を生成する通常の処理と比較して、空間コンパウンド処理の場合は複数回の走査（複数方向の撮像）が必要であるため、フレームレートが低下する。例えば、図３のように、偏向角をθ１、θ２、θ３と変えて３回の走査を行う場合は、１回の走査のみで超音波画像を生成する通常の処理に比べて、フレームレートは１／３となる。また、複数回の走査を行っているあいだに超音波プローブ１０２や被検体が動くと、各フレームデータにおける被検体の位置がずれるため、それらを合成することで分解能やコントラストなどの画質の低下を招くおそれもある。

周波数コンパウンド処理は、被検体の同一箇所に対して複数の異なる中心周波数の超音波パルスの送受信を行い、得られた複数の信号データを合成することで超音波画像を作成する技術である。周波数コンパウンド処理は、方位分解能の向上と画像の均一性向上という効果がある。例えば、被検体の観察領域に対して中心周波数ｆ１の超音波ビームを走査し、中心周波数ｆ１の超音波ビームに対応した受信信号を取得する。さらに、同じ観察領域に対して中心周波数ｆ２（≠ｆ１）の超音波ビームを走査し、受信信号を取得する。これにより、超音波ビームの中心周波数の異なる複数のフレームデータが得られる。これらを加算平均して合成することで1フレームのフレームデータを生成し、これに基づいて超
音波画像を生成する。合成の際は加算平均だけでなく、重み付け加算などを行い、複数フレームデータから1フレームのフレームデータを生成してもよい。被検体の同一箇所を異
なる中心周波数の超音波で撮像することで、スペックルノイズやアーチファクトのパターンが異なる複数のフレームデータが得られるため、これらを合成することでスペックルノイズやアーチファクトを低減した超音波画像が得られる。

しかし、１回の走査（１つの中心周波数の撮像）のみで超音波画像を生成する通常の処理と比較して、周波数コンパウンド処理の場合は複数回の走査（複数の中心周波数の撮像）が必要であるため、フレームレートが低下する。例えば、上記のように、中心周波数をｆ１、ｆ２と変えて２回の走査を行う場合は、１回の走査のみで超音波画像を生成する通常の処理に比べて、フレームレートは１／２となる。また、複数回の走査を行っているあいだに超音波プローブ１０２や被検体が動くと、各フレームデータにおける被検体の位置がずれるため、それらを合成することで分解能やコントラストなどの画質の低下を招くおそれもある。

（推定演算ブロック）
推定演算ブロック２０５について説明する。推定演算ブロック２０５は学習済みモデルを用いてコンパウンド処理相当画像を生成（推定）する処理を行う。

モデルの学習には、機械学習が用いられるとよい。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図４は、モデルの機械学習を行う学習装置４０の一例を示している。学習装置４０は、複数の学習データ４０１を用いてモデルの機械学習を実施する学習部（学習器）４０４を有している。学習部４０４は先に例示した機械学習アルゴリズムのうちいずれを利用して
もよいし、他の機械学習アルゴリズムを利用してもよい。学習データ４０１は、入力データと正解データ（教師データ）の組で構成されている。入力データとして、超音波の１回の走査により得られる第１の受信信号に基づく第１のデータが用いられ、本実施形態では、第１のデータとして、通常の超音波画像４０２が用いられる。また、正解データとして、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータが用いられ、本実施形態では、第２のデータとして、コンパウンド画像４０３が用いられる。学習部４０４は、与えられた複数の学習データ４０１を基に、通常の超音波画像４０２とコンパウンド画像４０３のあいだの相関を学習して、学習済みモデル４０５を作成する。これにより、学習済みモデル４０５は、通常の超音波画像を入力データとして与えるとコンパウンド処理相当画像を出力データとして生成する機能（能力）を獲得することができる。学習済みモデル４０５は、超音波診断装置１の推定演算ブロック２０５で実行されるプログラムに実装される。モデルの学習（学習済みモデル４０５の生成処理）は、超音波診断装置１に組み込まれる前に実施されるのが望ましい。ただし、超音波診断装置１が学習機能を有する場合には超音波診断装置１で得られた画像データを用いて学習（新規の学習又は追加学習）を行ってもよい。

図５は空間コンパウンド処理相当画像を出力する推定演算ブロック２０５の学習について説明した図である。図６は周波数コンパウンド処理相当画像を出力する推定演算ブロック２０５の学習について説明した図である。空間コンパウンド処理相当画像を出力するように学習されたモデルと周波数コンパウンド処理相当画像を出力するように学習されたモデルの２種類の学習済みモデル４０５が超音波診断装置１に組み込まれてもよいし、いずれか一方のみが組み込まれてもよい。あるいは、図５と図６に示される学習データを両方用いて学習した単一の学習済みモデル４０５が超音波診断装置１に組み込まれてもよい。

図５を参照して、空間コンパウンド処理相当画像を出力する推定演算ブロック２０５の学習について説明する。ここでは、入力データとして、ある被検体の通常のＢモード画像、すなわち空間コンパウンド処理を行わず、１方向のみに対して超音波ビームを形成して撮像したものを用いる。また正解データとして、同じ被検体を空間コンパウンド処理を用いて撮像した空間コンパウンド画像を用いる。

図５には、学習データＩＤ１～３の３つの学習データが例示されている。学習データＩＤ１の入力データとして、通常Ｂモード画像Ｂ１－１を用いる。また学習データＩＤ１の正解データとして同じ被検体を空間コンパウンド処理を用いて撮像した空間コンパウンド画像ＳＣ１－１を用いる。空間コンパウンド画像ＳＣ１－１のコンパウンド条件は、コンパウンド数が３フレーム、それぞれのフレームデータの偏向角は－１０°、０°、１０°である。学習データＩＤ２は、学習データＩＤ１と同じ入力データ（通常Ｂモード画像Ｂ１－１）に対して、コンパウンド処理の条件が異なる空間コンパウンド画像ＳＣ１－２を正解データとした例である。空間コンパウンド画像ＳＣ１－２のコンパウンド条件は、コンパウンド数が５フレーム、それぞれのフレームデータの偏向角が、－１５°、－１０°、０°、１０°、１５°である。このように、ある被検体に対して空間コンパウンド処理を行わない条件で取得した超音波画像Ｂ１－１に対して、同じ被検体を空間コンパウンド処理を用いて撮像した空間コンパウンド画像ＳＣ１－１、ＳＣ１－２を正解データとして学習する。また、学習データＩＤ３は、学習データＩＤ１、２とは異なる被検体の通常Ｂモード画像Ｂ２－１を入力データとし、空間コンパウンド処理を用いて撮像した空間コンパウンド画像ＳＣ２－１を正解データとした例である。

図６を参照して、周波数コンパウンド処理相当画像を出力する推定演算ブロック２０５の学習について説明する。ここでは、入力データとして、ある被検体の通常のＢモード画像、すなわち周波数コンパウンド処理を行わず、単一の中心周波数の超音波を用いて撮像したものを用いる。また正解データとして、同じ被検体を周波数コンパウンド処理を用い
て撮像した周波数コンパウンド画像を用いる。

図６には、学習データＩＤ４～６の３つの学習データが例示されている。学習データＩＤ４の入力データとして、通常Ｂモード画像Ｂ１－１を用いる。また学習データＩＤ４の正解データとして同じ被検体を周波数コンパウンド処理を用いて撮像した周波数コンパウンド画像ＦＣ１－１を用いる。周波数コンパウンド画像ＦＣ１－１のコンパウンド条件は、コンパウンド数が２フレーム、それぞれのフレームデータの送信中心周波数は２ＭＨｚ、８ＭＨｚである。学習データＩＤ５は、学習データＩＤ４と同じ入力データ（通常Ｂモード画像Ｂ１－１）に対して、コンパウンド処理の条件が異なる周波数コンパウンド画像ＦＣ１－２を正解データとした例である。周波数コンパウンド画像ＦＣ１－２のコンパウンド条件は、コンパウンド数が４フレーム、それぞれのフレームデータの送信中心周波数は２ＭＨｚ、４ＭＨｚ、６ＭＨｚ、８ＭＨｚである。このように、ある被検体に対して周波数コンパウンド処理を行わない条件で取得した超音波画像Ｂ１－１に対して、同じ被検体を周波数コンパウンド処理を用いて撮像した周波数コンパウンド画像ＦＣ１－１、ＦＣ１－２を正解データとして学習する。また、学習データＩＤ６は、学習データＩＤ４、５とは異なる被検体の通常Ｂモード画像Ｂ２－１を入力データとし、周波数コンパウンド処理を用いて撮像した周波数コンパウンド画像ＦＣ２－１を正解データとした例である。

図５及び図６に示したように、コンパウンド条件が異なる学習データや、被検体が異なる学習データなど、様々な学習データを用いて学習を行うとよい。より多くの学習データを用いて学習することで、様々なパターンの入力データに対する学習が行われ、実際に使用された時も安定して画質の良い画像を推定することが期待できる。なお、被検体としては、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いてもよく、さらには実際のファントム、またさらに実際の生体を用いても構わない。

また学習データの前処理を行ってもよい。例えば、超音波の減衰による輝度値のムラを補正することにより、学習効率の改善を図ってもよい。コンパウンド画像の中でも超音波ビームの収束が良いところ、つまり、送信フォーカスを設定した深さ付近の画像を抽出して用いてもよい。これにより、推定画像の解像度向上を期待できる。被検体撮像時の超音波プローブの浮きなどによる影を入力データから除去する処理を行ってもよい。これにより推定精度の安定性を向上することができる。あるいは、プローブの浮きなどによる影を入力データと正解データがともに含んでいる学習データを用いれば、実際のプローブの浮きが発生した時に推定画像においてもプローブが浮いていることを認識できる画像を推定する効果なども期待できる。

また、学習においては図７に示したようなＧＵＩを用いて入力データおよび正解データの前処理をさらに行っても良い。表示画面内に入力データ７０と正解候補データ７１とを示し、それぞれを複数の領域に分割するインジケータ７２を表示する。図７の例では画像を４×４の１６個の領域に分割している。採択指定ボックス７３は、領域ごとの採否を使用者に指定させるためのユーザインタフェースである。使用者は入力データ７０と正解候補データ７１を見比べながら、学習データとして採択する領域に「〇」を、除外する領域に「×」を入力する。これにより、正解候補データ７１の中で予期せぬ画像劣化が起きているところなどを除外することができる。例えば、コンパウンド処理における複数回の超音波ビームの送受信間の被検体の動きにより画質が低下していると判断される箇所などを除外することができる。図５及び図６では、画像全体を１つの学習データとして用いる想定で説明をしているが、図７のように画像を複数の領域に分割した場合には、個々の領域の画像（部分画像）が１つの学習データとして用いられる。すなわち、図７の例では、採択される領域が９個あるため、９組の学習データが生成されることとなる。

本実施形態では入力データとして通常Ｂモード画像を例示しているが、通常Ｂモード画
像以外の関連情報を入力データに加えてもよい。例えば、通常Ｂモード画像を取得した際の送信周波数やバンドパスフィルタの帯域などの情報を入力データに加えると、入力データの状況に合わせて精度よく推定できる可能性を高めることができる。また、被検体が生体のどの部分なのか、体軸に対してどの向きに超音波プローブを接触しているのか、などの情報を入力データに加えてもよい。部位ごとの特徴（例えば脂肪層が表面にある、筋膜の構造による高輝度領域がある、太い血管による低輝度領域が存在するなど）に対応し、より推定精度が高まることが期待できる。またさらに、診療科や性別、ＢＭＩ、年齢、病態などの情報を入力データに付加することで、先ほどの部位ごとの特徴にさらに詳細に対応した学習済みモデルが得られる可能性があり、より推定精度が高まることが期待できる。

また、超音波診断装置１に搭載される推定演算ブロック２０５の学習済みモデル４０５は、全診療科の画像データを学習させたモデルでもよいし、診療科ごとの画像データを学習させたモデルでもよい。診療科ごとの画像データを学習させたモデルが搭載されている場合は、システム制御ブロック１０９が、超音波診断装置１の使用者に診療科情報を入力ないし選択させ、診療科に合わせて用いる学習済みモデルを変更するとよい。撮像部位がある程度限定される診療科ごとにモデルを使い分けることで、より推定精度が高まることが期待できる。

このような各種撮像条件と通常Ｂモード画像とを入力データとし、その正解データにコンパウンド画像を用いた学習を行うことで得られた学習済みモデル４０５が推定演算ブロック２０５上で動作する。結果として推定演算ブロック２０５は入力される通常Ｂモード画像に対して分解能やコントラストの高いコンパウンド画像に相当する画像を推定し、出力することが期待できる。

（画像生成方法）
次に本実施形態における画像生成のための処理の詳細を図１を用いて述べる。図示していないＧＵＩを利用して使用者から撮像の指示が入力される。ＧＵＩからの指示を受けたシステム制御ブロック１０９が送信電気回路１０４に超音波の送信指示を入力する。送信指示は、遅延時間を計算するためのパラメータや音速情報を含むとよい。送信電気回路１０４はシステム制御ブロック１０９からの送信指示に基づいて、複数のパルス信号（電圧波形）をプローブ接続部１０３を通じて超音波プローブ１０２の複数の振動子１０１へと出力する。このとき送信電気回路１０４は、超音波ビームの送信方向（偏向角）及びフォーカス位置にしたがって、各振動子１０１に印加するパルス信号の遅延時間を設定する。ここでは図３に示すような偏向角θ１を持つ超音波ビームを第１の送信超音波ビーム形状とする。なお、偏向角は、複数の振動子１０１が配列されている面の法線方向と、超音波ビームの軸方向とがなす角度であり、図３の例ではθ１＝０°とする。

複数の振動子１０１から送信された超音波は被検体１００内を伝播し、被検体１００内の音響インピーダンスの境界で反射される。音響インピーダンスの差を反映した反射超音波を複数の振動子１０１が受信し、電圧波形へと変換する。この電圧波形はプローブ接続部１０３を通して受信電気回路１０５へと入力される。受信電気回路１０５は必要に応じて電圧波形を増幅、デジタルサンプリングし、受信信号処理ブロック１０６へ受信信号として出力する。図２に示す受信信号処理ブロック１０６内では、受信電気回路１０５で得られた受信信号に対して、システム制御ブロック１０９から入力される素子配置や画像生成の各種条件（開口制御、信号フィルタ）を元に、整相加算処理ブロック２０１が整相加算を行う。整相加算を行った信号は信号記憶ブロック２０２に保存される。これにより、第１の送信超音波ビームに対応する第１の受信データが信号記憶ブロック２０２に保存される。同様の処理を行うことで、図３に示すような偏向角θ２を持つ第２の送信超音波ビームに対応する第２の受信データ、偏向角θ３を持つ第３の送信超音波ビームに対応する
第３の受信データが信号記憶ブロック２０２に保存される。ここでは、θ２＝－１０°、θ３＝＋１０°とする。

演算処理ブロック２０３は、第１、第２、および第３の受信データを用いて空間コンパウンド処理により、ノイズが低減された超音波信号を生成する。これらの信号はＢモード処理ブロック２０４へと送信される。Ｂモード処理ブロック２０４は、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表した空間コンパウンド画像を生成する。また、第１の受信データもＢモード処理ブロック２０４へと送信され、包絡線検波処理、対数圧縮処理などを行うことで、第１の受信データに基づく通常Ｂモード画像が生成される。推定演算ブロック２０５は、第１の受信データに基づく通常Ｂモード画像を学習済みモデルに入力し、学習済みモデルの推定結果であるコンパウンド処理相当画像（以下「推定画像」と記す）を取得する。空間コンパウンド画像と推定画像は、画像処理ブロック１０７へ入力される。画像処理ブロック１０７は、空間コンパウンド画像と推定画像のそれぞれに、輝度調整や補間、その他のフィルタを適用する。

ここでは、推定演算ブロック２０５への入力は、偏向角が０°である第１の受信データに基づく通常Ｂモード画像とした。これは、推定演算ブロック２０５から出力される推定画像と、Ｂモード処理ブロック２０４で生成される空間コンパウンド画像の領域が同じになるようにするためである。すなわち、偏向角が０°である第１の受信データに基づく通常Ｂモード画像から推定画像を生成することにより、推定画像と空間コンパウンド画像との位置合わせや領域合わせなどの処理を省略できるという利点がある。ただし、第２又は第３の受信データに基づく通常Ｂモード画像から推定画像を生成してもよい。その際は、推定画像と空間コンパウンド画像の領域にずれがあるため、両方の画像の共通の領域を切り出して表示してもよい。もしくは、推定画像と空間コンパウンド画像の差異部分を通常Ｂモード画像で補完してもよい。

次に、超音波診断装置１における画像の生成及び表示の制御例について説明する。超音波診断装置１は、コンパウンド画像のみを用いて表示画像を更新するモード、推定画像のみを用いて表示画像を更新するモード、コンパウンド画像と推定画像の両方を用いて表示画像を更新するモードのうち少なくともいずれかの表示モードを有する。超音波診断装置１が複数の表示モードを有する場合、例えば、使用者による表示モードの切り替えが可能であるとよい。

図８Ａ～図８Ｃは、推定演算ブロック２０５における通常Ｂモード画像からの推定画像の形成とコンパウンド処理によるコンパウンド画像の形成のタイミングの例を示している。図８Ａは、コンパウンド画像のみを用いて表示画像を更新する表示モードの例であり、図８Ｂ及び図８Ｃは、コンパウンド画像と推定画像の両方を用いて表示画像を更新する表示モードの例である。また図９は、図８Ａ及び図８Ｂに示す表示モードにおける推定画像の形成とコンパウンド画像の形成の切り替え処理の例を示すフローチャートである。

図８Ａは、コンパウンド処理による画像の生成・表示のタイミングを示している。偏向角を変えた複数パターンの超音波ビームによって観察領域を複数回走査し、コンパウンド処理を行い、コンパウンド画像（フレーム）を表示するまでにかかる時間をＣ１、Ｃ２、Ｃ３、Ｃ４で示している。ここでは４枚のコンパウンド画像が出力されることになる。

ここからは図９に示したフローチャートに従って説明を行う。使用者からの指示、もしくは装置のデフォルト設定、もしくは診療科や使用者ＩＤなどによってこのフローチャートに示した制御モードに装置が切り替わる。なお、図９の処理は、システム制御ブロック１０９の制御にしたがって、超音波診断装置１の各部１０１～１０８が動作することによって実現される。

ステップＳ９０では、コンパウンド画像の生成及び表示を行う。具体的には、偏向角を変えた複数パターンの超音波ビームによって観察領域を複数回走査し、コンパウンド処理を行い、コンパウンド画像を１フレーム分生成し、コンパウンド画像を表示装置１０８に表示する。その動作に必要な時間を図８ＢのＣ１で示している。なお、システム制御ブロック１０９はフレームメモリを有しており、受信信号処理ブロック１０６から出力される表示画像データを一時的に保存可能である。

ステップＳ９１では、通常Ｂモード画像から推定画像が生成される。具体的には、偏向角が０°である１方向のみに対して超音波ビームの送受信を行い通常Ｂモード画像を作成し、推定演算ブロック２０５によって推定画像を生成する。この動作に必要な時間を図８ＢのＢ１で示している。

ステップＳ９２では、システム制御ブロック１０９が、推定演算ブロック２０５によって生成された推定画像が所定の条件を満足しているか否かを評価する。この評価は、推定画像の信頼性（推定の精度）が高いか否かを判定するためであり、本実施形態では、フレームメモリに記憶されている直前の表示画像との相関が高いほど信頼性が高いとみなす。相関を評価するための指標はどのように設計してもよい。本実施形態では、例えば、推定画像と直前の表示画像のあいだのＳＳＤ（画素値の差分の二乗和）の逆数を用いて相関の強さを評価する。この相関が所定の閾値以上である場合、すなわち、直前の表示画像に比べて推定画像が大きく変化していない場合は、推定画像の妥当性ないし信頼性が高いとみなし、ステップＳ９３にて、システム制御ブロック１０９はこの推定画像を用いて表示画像を更新する。例えば、システム制御ブロック１０９は、直前の表示画像と今回の推定画像とを所定の重みで合成することによって、新たな表示画像を生成してもよい。あるいは、システム制御ブロック１０９は、今回の推定画像をそのまま新たな表示画像として採用してもよい（直前の表示画像の重みが０、推定画像の重みが１と捉えることもできる）。あるいは、システム制御ブロック１０９は、直前のコンパウンド画像と今回の推定画像とを所定の重みで合成することによって、新たな表示画像を生成してもよい。ステップＳ９４では、ステップＳ９３で生成された表示画像が表示装置１０８に表示される。

ステップＳ９５では、システム制御ブロック１０９が、表示画像の更新に推定画像を連続で用いた回数が所定の回数Ｎ（本例ではＮ＝１０とする）に達したか否かを確認する。Ｎ回未満であれば、ステップＳ９１に戻り、通常Ｂモード画像の撮像を行い、推定画像が生成される（図８ＢのＢ２はこの動作にかかる時間を示している）。その後、ステップＳ９２～Ｓ９５の処理が繰り返される。

この処理を繰り返す中で、推定画像と直前の表示画像との相関が所定の閾値未満になった場合は、システム制御ブロック１０９は、その推定画像を表示に利用せず、新たなコンパウンド画像の生成及び表示（ステップＳ９０）へと制御を切り替える。図８Ｂは、時間Ｂ３に得られた推定画像が直前の表示画像と相関が低かったために、時間Ｃ２において新たなコンパウンド画像の生成が行われた例を示している。一度コンパウンド画像を表示した後は、再び推定画像を生成する制御へ切り替える（ステップＳ９１）。

また、ステップＳ９５において、表示画像の更新に推定画像を連続で用いた回数がＮ回に達したと判定された場合、システム制御ブロック１０９は、推定画像の生成を止め、新たなコンパウンド画像の生成及び表示（ステップＳ９０）へと制御を切り替える。図８Ｃは、推定画像の連続回数が１０回（Ｂ１～Ｂ１０）に達したため、時間Ｃ２において新たなコンパウンド画像の生成が行われた例である。

以上述べた制御によれば、１回の走査で得られたＢモード画像から生成した推定画像を
表示画像の更新に用いるので、コンパウンド画像のみを用いて表示画像の更新を行うのに比べて、高いフレームレートでの画像表示が実現できる。図８Ａ（コンパウンド画像のみを用いる表示モード）と図８Ｂ（コンパウンド画像と推定画像を用いる表示モード）とを比較すれば明らかなように、後者の方が単位時間あたりに表示できるフレーム数が増加することがわかる。また、本実施形態では、推定画像の信頼性が低下した場合には、コンパウンド画像の生成及び表示に切り替える制御を行うので、画質の低い画像や推定に失敗した画像などが表示される可能性を抑制することができる。また、本実施形態では、推定画像そのものを表示に用いるのではなく、直前のコンパウンド画像や直前の表示画像を推定画像で更新していく処理を行うので、全体として信頼性の高い画像表示を継続することができる。

なお、相関の算出においては、観察領域全体同士の相関を用いる必要はなく、観察領域内を分割しそれぞれの相関を算出した後、そのうちの一定割合の領域で相関が一定以上であるかどうかで判定してもよい。このような制御を行うことで、例えば心臓を撮像している際に弁が動いている領域の中の相関は下がったとしても、他の領域の相関は高いので、推定画像を用いた高いフレームレートの表示を継続することが可能となる。また、図９の処理では、推定画像と直前の表示画像とのあいだの相関を評価したが、その代わりに、推定画像と直前のコンパウンド画像とのあいだの相関を評価してもよい。

また、図９の処理では、相関の評価に用いる画像と表示に用いる画像を同じにしていたが、相関の評価と表示とで異なる画像を用いてもよい。例えば、相関の評価には観察領域の中の一部の領域（選択領域と呼ぶ）のみの画像を用い、選択領域の画像の評価にしたがって観察領域全体の画像の生成を制御してもよい。これにより撮像及び画像処理の効率化を図ることができる。なお、選択領域は任意に設定してよく、例えば観察領域の１／ｎの領域（ｎは２以上の整数）や中央領域を機械的に選択領域に設定してもよいし、使用者に選択領域を設定させてもよい。

図１０は、選択領域の画像を相関の評価に用いる制御の一例を示している。ステップＳ１００では、偏向角を変えた複数パターンの超音波ビームによって選択領域のみを複数回走査し、コンパウンド処理によってその選択領域のコンパウンド画像を生成する。この画像は表示には利用しない。ステップＳ１０１では、選択領域の通常Ｂモード画像を撮像し、その通常Ｂモード画像から選択領域の推定画像を算出する。ステップＳ１０２では、システム制御ブロック１０９が、選択領域のコンパウンド画像と選択領域の推定画像との相関を算出する。この相関が閾値未満の場合は、ステップＳ１０３にて観察領域全体のコンパウンド画像を生成し、表示する。その後はステップＳ１０１に戻る。他方、選択領域のコンパウンド画像と推定画像との相関が閾値以上である場合は、ステップＳ１０４にて観察領域全体の通常Ｂモード画像を撮像し、その通常Ｂモード画像から観察領域全体の推定画像を生成し表示する。推定画像の連続回数がＮ回に達するまでは、ステップＳ１０１～Ｓ１０４を繰り返し、Ｎ回に達した場合はステップＳ１００に戻る（ステップＳ１０５）。このような制御を行うことで、相関の評価に用いるための画像（コンパウンド画像及び推定画像）の取得に要する時間を大幅に短縮できるので、処理の効率を高めることができる。

次に撮像動作中に使用者から静止画像もしくは動画保存の指示が出た場合の制御について述べる。システム制御ブロック１０９は、静止画保存の指示を受けた場合に、指示を受けたタイミングに最も近い時刻に取得されたコンパウンド画像及び／又は推定画像を保存するとよい。このとき、取得はしたが表示に利用されなかった画像は保存対象から除いてもよい。例えば図８Ｂに示したタイミングｔ１で静止画保存の指示がＧＵＩなどを通じてシステム制御ブロック１０９へと入力された場合、時間Ｃ１で取得したコンパウンド画像と、時間Ｂ１で取得した推定画像とが保存される。このとき、２つの画像を保存候補とし
て使用者に提示し、実際に保存する画像を使用者に選択させてもよい。また例えばタイミングｔ２で静止画保存の指示が入力された場合、時間Ｃ２で取得したコンパウンド画像と、タイミングｔ２に一番近い時刻に取得され、かつ表示にも利用された推定画像である、時間Ｂ２で取得した推定画像が保存される。なお、時間Ｂ３で得られた推定画像は相関が閾値未満であり、表示に利用されなかったため、保存対象から除かれる。なお、これらの保存に関しては別途システムのオプションとして、コンパウンド画像のみ、推定画像のみを保存するように設定することも可能である。また保存指示が出た時点で図９や図１０のフローチャートに割り込みをかけ、コンパウンド画像を撮像する制御を行い、その画像を保存してもよい。

また、動画保存に関しては、コンパウンド画像と推定画像とを別々に保存してもよく、混合して保存してもよい。これらの切り替えについてもシステムのオプションとして設定できるようにすることも可能である。また、本実施形態の画像生成方法においては画像のフレームレートが制御によって変化するため、動画保存の際は、一定の時間間隔のデータになるように補間や処理を実施した後に一定のフレームレートの動画として保存してもよい。

また、本実施形態では適応的に画像の相関を見てコンパウンド画像と推定画像とを切り替える制御を示したが、これらの割合は固定でもよく、またＧＵＩから使用者がインタラクティブに割合を変更できるようにシステム制御ブロック１０９が制御してもよい。また、推定画像が連続している時に１つ以上離れた推定画像同士の相関が高い場合は、被検体がほぼ動いていないと判断し、自動的にコンパウンド画像へと切り替えても良い。これによりほぼ動いていない被検体に対して、コンパウンド処理で取得した画像を得られる。

図１１Ａ～図１１Ｃは表示装置１０８における画像の表示例を模式的に示したものである。図１１Ａはコンパウンド処理によって作成されたコンパウンド画像の表示であることを表している（通常コンパウンド：ＯＮ、ＡＩコンパウンド：ＯＦＦ、図８Ａに相当）。フレームレート（ＦＲ）は３５ｆｐｓとなっている。なお、「通常コンパウンド」ボタンと「ＡＩコンパウンド」ボタンはトグルボタンであり、使用者はボタン押下によりＯＮ／ＯＦＦを切り替えることができる。「通常コンパウンド」がＯＮの場合は、コンパウンド画像が表示画像の更新に利用され、ＯＦＦの場合は、コンパウンド画像は表示画像の更新に利用されない。また、「ＡＩコンパウンド」がＯＮの場合は、推定画像が表示画像の更新に利用され、ＯＦＦの場合は、推定画像は表示画像の更新に利用されない。すなわち、このＧＵＩによって、使用者は表示モード（表示画像の更新に利用する画像の種類）を任意に切り替えることができる。

図１１Ｂはコンパウンド画像と通常Ｂモード画像からの推定画像の両方を適宜切り替えて表示している状態である（通常コンパウンド：ＯＮ、ＡＩコンパウンド：ＯＮ、図８Ｂ及び図８Ｃに相当）。前述のように、推定画像を利用することで、コンパウンド画像のみを表示する場合よりもフレームレートが高くなっている。図１１Ｂの例ではフレームレート（ＦＲ）が６０ｆｐｓとなっている。推定演算ブロック２０５から出力した推定画像は受信した超音波を直接画像化したものではなく、推定が含まれているものであるため、推定された画像であることを表示領域内にインジケートするとよい。本実施形態では「ＡＩコンパウンド：ＯＮ」と表示領域内に文字で表示することで推定画像が表示画像中に含まれていることを示している。このインジケータは文字でなくてもよく、表示画像や表示領域の外縁の色を変える、点滅させる、背景の色、彩度、模様を変化させるなどの手法であっても構わない。

また、図１１Ｃはコンパウンド画像と通常Ｂモード画像からの推定画像を並べて表示した例である。画面の左側にはコンパウンド画像のみがフレームレート３５ｆｐｓで表示さ
れ、画面の右側には推定画像のみがフレームレート８０ｆｐｓで表示されている。この表示画面を用いれば、使用者は推定画像だけでなく、正解データとしてのコンパウンド画像も同時に確認することができる。このような表示画面は、推定演算ブロック２０５の精度や信頼性の評価やチェックに有用である。

以上述べた実施形態では空間コンパウンド処理を例に挙げて説明したが、周波数コンパウンド処理の場合も同様の制御を適用することができる。

＜第２実施形態＞
次に本発明の別の実施形態について述べる。第１実施形態ではコンパウンド画像と推定演算ブロック２０５の推定結果を併用したが、第２実施形態ではコンパウンド処理は行わず推定演算ブロック２０５の推定結果のみを表示する。これにより、第１実施形態よりもさらに高いフレームレートでコンパウンド処理相当の画質の画像を表示することができる。

超音波診断装置１の全体構成は第１実施形態（図１）と同じである。被検体１００に対して超音波を送信して受信信号を受信信号処理ブロックに入力するまでのフローは第１実施形態と同様である。

図１２は第２実施形態における受信信号処理ブロック１１６の詳細を表す図である。第２実施形態の受信信号処理ブロック１１６は、整相加算処理ブロック２０１、信号記憶ブロック２０２、Ｂモード処理ブロック２０４、推定演算ブロック２０５を有している。各ブロックの機能及び処理は、基本的に、第１実施形態の同じ名称のブロックと同じである。すなわち、受信電気回路１０５から取り込まれた受信信号は、整相加算処理ブロック２０１によって整相加算され、信号記憶ブロック２０２に保存される。そしてＢモード処理ブロック２０４が通常Ｂモード画像を生成し、推定演算ブロック２０５に入力する。推定演算ブロック２０５は、学習済みモデルに通常Ｂモード画像を入力し、推定結果として、コンパウンド処理相当画像（推定画像）を得る。本実施形態ではこの推定画像が表示装置１０８での表示に利用される。

図１３は第２実施形態における画像の表示例を模式的に示したものである。図１３は通常Ｂモード画像からの推定画像のみ表示している状態である（通常コンパウンド：ＯＦＦ、ＡＩコンパウンド：ＯＮ）。前述のように、推定画像のみ表示することで、第１実施形態の場合よりもフレームレートが高くなっている。

＜その他の実施形態＞
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。

例えば、第１実施形態および第２実施形態においては、Ｂモード画像を入力データ、推定画像を出力データとするモデルを利用したが、モデルの入出力は画像でなくてもよい。例えば、通常Ｂモード撮像により得られた受信データそのものを入力データとして用いてもよく、また整相加算処理後の受信データを入力データとしても用いてもよい。その場合は、正解データとして、コンパウンド処理を行った受信データそのもの、もしくは整相加算処理とコンパウンド処理を行った受信データを用いるとよい。このようなモデルを用いても上述した実施形態と同様の作用効果を得ることができる。

また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば
、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１：超音波診断装置
１００：被検体
１０２：超音波プローブ
１０６：受信信号処理ブロック
２０４：Ｂモード処理ブロック
２０５：推定演算ブロック

Claims (15)

1. 被検体内の観察領域に対して超音波を走査する超音波探触子と、
   超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による超音波の１回の走査により得られた第３の受信信号に基づく第３のデータから、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる画像データに相当する推定画像を生成する推定画像生成部と、
   を有することを特徴とする超音波診断装置。
2. 前記第２の受信信号は、超音波の送信方向又は中心周波数を変えた複数回の走査のそれぞれで得られた複数の受信信号を合成することにより得られた信号である
   ことを特徴とする請求項１に記載の超音波診断装置。
3. 前記超音波探触子により超音波の送信方向又は中心周波数を変えた複数回の走査を行うことで得られた複数の受信信号を合成し、第４の受信信号を生成する合成部と、
   前記第３の受信信号に基づく画像を生成する処理と、前記第４の受信信号に基づく画像を生成する処理とを実行可能な画像生成部と、を有する
   ことを特徴とする請求項１又は２に記載の超音波診断装置。
4. 前記第３の受信信号に基づく画像は、Ｂモード画像であり、
   前記第４の受信信号に基づく画像は、コンパウンド画像である
   ことを特徴とする請求項３に記載の超音波診断装置。
5. 表示装置に出力する表示画像の制御を行う制御部をさらに有し、
   前記制御部は、前記推定画像を用いて前記表示画像を更新する表示モードを有する
   ことを特徴とする請求項３又は４に記載の超音波診断装置。
6. 前記表示モードは、前記第４の受信信号に基づく画像のみを用いて前記表示画像の更新を行う場合に比べて、高いフレームレートで前記表示画像の更新が可能である
   ことを特徴とする請求項５に記載の超音波診断装置。
7. 前記表示モードは、前記推定画像と前記第４の受信信号に基づく画像の両方を用いて前記表示画像を更新するモードであり、
   前記制御部は、前記表示モードにおいて、前記推定画像生成部から取得された前記推定画像が所定の条件を満足しない場合、及び／又は、前記推定画像を用いた前記表示画像の更新の連続回数が所定の回数に達した場合に、前記第４の受信信号に基づく画像により前記表示画像の更新を行う
   ことを特徴とする請求項５又は６に記載の超音波診断装置。
8. 前記制御部は、前記推定画像と前記第４の受信信号に基づく画像とを並べて表示する表示モードを有する
   ことを特徴とする請求項５～７のうちいずれか１項に記載の超音波診断装置。
9. 前記第１のデータは、前記第１の受信信号に基づいて生成された画像データであり、
   前記第２のデータは、前記第２の受信信号に基づいて生成された画像データであり、
   前記第３のデータは、前記第３の受信信号に基づいて生成された画像データである
   ことを特徴とする請求項１～８のうちいずれか１項に記載の超音波診断装置。
10. 前記第１のデータは、前記第１の受信信号そのもののデータもしくは前記第１の受信信号を整相加算したデータであり、
    前記第２のデータは、前記第２の受信信号そのもののデータもしくは前記第２の受信信号を整相加算したデータであり、
    前記第３のデータは、前記第３の受信信号そのもののデータもしくは前記第３の受信信号を整相加算したデータである
    ことを特徴とする請求項１～８のうちいずれか１項に記載の超音波診断装置。
11. 前記モデルは、ニューラルネットワークである
    ことを特徴とする請求項１～１０のうちいずれか１項に記載の超音波診断装置。
12. 超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて、モデルの機械学習を行う学習部
    を有することを特徴とする学習装置。
13. 請求項１～１１のうちいずれか１項に記載の超音波診断装置の推定画像生成部で用いられるモデルの機械学習を行う学習装置であって、
    超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて、前記モデルの機械学習を行う
    ことを特徴とする学習装置。
14. 超音波探触子による超音波の１回の走査により得られる第１の受信信号に基づく第１のデータと、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる第２の受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による超音波の１回の走査により得られた第３の受信信号に基づく第３のデータから、超音波の送信方向又は中心周波数を変えた複数回の走査により得られる画像データに相当する推定画像を生成するステップ、
    を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。

Images