JP7455696B2 - 超音波診断装置、学習装置、画像処理方法およびプログラム - Google Patents

Description

本発明は超音波診断装置、学習装置、画像処理方法およびプログラムに関し、特に超音波画像の画質を向上させるための技術に関する。

超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。その画像生成の手法としては、送信ビームの形成処理と受信信号の整相加算処理とによって画像を生成する手法が一般的である。送信ビームの形成は、複数の変換素子に対して時間遅延を与えた電圧波形を入力し、生体内で超音波を収束させることで達成される。また、受信信号の整相加算は、生体内の構造により反射された超音波を複数の変換素子で受信し、得られた受信電圧信号に対して、注目点に対する経路長を考慮した時間遅延を与え、さらに加算することで達成される。この送信ビームの形成処理と整相加算処理とにより、注目点からの反射信号を選択的に抽出して画像化を行う。そして、送信ビームが画像化領域の中を走査するように、送信ビームを制御することで観察したい領域の画像を得ることができる。

このような超音波診断装置において、送信ビームに複数の受信ビームを形成して超音波信号を受信する技術がある（特許文献１）。これによれば、１回の送信に対して１回の受信を行って超音波信号を得る場合よりも、より多くの受信信号を同時に処理することができ、超音波画像におけるコントラストの向上、分解能の向上、フレームレートの向上が可能となる。

特許第２８３１７１９号明細書

しかしながら、送信ビームに複数本の走査線分の受信ビーム形成を行うため、超音波診断装置には走査線数分の並列受信回路やデータ処理回路などが必要となり、装置の構成が複雑化する可能性がある。

本発明は、超音波診断装置の構成を複雑化させることなく、画質の良い画像を生成することができる技術を提供することを目的とする。

本開示は、被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成する信号処理部と、
単一の受信ビームデータに対する複数の受信ビームデータを教師データとして学習された学習済みモデルを用いて、前記信号処理部により生成された前記単一の受信ビームデータを入力として、複数の受信ビームデータに基づく走査線データである推定データを出力する推論部と、
前記推論部により出力された前記推定データに基づいて画像を生成する画像生成部と、
前記画像生成部により生成された画像を表示する表示部と、
を備えることを特徴とする超音波診断装置を含む。
また、本開示は、
被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータ
の第１の超音波画像を生成する信号処理部と、
単一の受信ビームデータの超音波画像を入力データとして複数の受信ビームデータに基づく１つの走査線の第２の超音波画像を推定するように学習された学習済みモデルを用いて、前記信号処理部によって生成された前記第１の超音波画像を入力として、前記第２の超音波画像に相当する推定超音波画像を出力する推論部と、
前記推論部により出力された前記推定超音波画像を表示する表示部と、
を備えることを特徴とする超音波診断装置を含む。
また、本開示は、被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成することを繰り返して第１の超音波画像を生成する信号処理部と、
単一の受信ビームデータを生成することを複数回数繰り返して生成される超音波画像を入力データとして複数の受信ビームデータを生成することを前記複数回数よりも多い回数繰り返して生成される第２の超音波画像を推定する学習済みモデルを用いて、前記信号処理部によって生成された前記第１の超音波画像を入力として、前記第２の超音波画像に相当する推定超音波画像を出力する推論部と、
前記推論部により出力された前記推定超音波画像を表示する表示部と、
を備えることを特徴とする超音波診断装置を含む。
また、本開示は、被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成する信号処理部と、
単一の受信ビームデータを入力データとして複数の受信ビームデータに基づく１つの走査線データを推定するように学習された第１の学習済みモデルと、複数の受信ビームデータ生成を複数回数繰り返して生成される第１の複数の走査線データを入力データとして複数の受信ビームデータ生成を前記複数回数よりも多い回数繰り返して生成される第２の複数の走査線データを推定する第２の学習済みモデルと、を用いて、前記信号処理部によって生成された前記単一の受信ビームデータを前記第１の学習済みモデルに入力して１つの走査線データを推定することを繰り返して得られる複数の走査線データを、第２の学習済みモデルに入力して前記第２の複数の走査線データに相当する複数の走査線データを推定し、前記第２の学習済みモデルによって推定された前記複数の走査線データからなる推定超音波画像を出力する推論部と、
前記推論部により出力された前記推定超音波画像を表示する表示部と、
を備えることを特徴とする超音波診断装置を含む。

さらに、本開示は、被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータに対する複数の受信ビームデータを教師データとして含む学習データを用いた機械学習により学習済みモデルを生成する学習器、
を有することを特徴とする学習装置を含む。
また、本開示は、被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成する信号処理ステップと、
単一の受信ビームデータに対する複数の受信ビームデータを教師データとして学習された学習済みモデルを用いて、前記信号処理ステップにより生成された前記単一の受信ビームデータを入力として、複数の受信ビームデータに基づく走査線データである推定データを出力する推論ステップと、
前記推論ステップにより出力された前記推定データに基づいて画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された画像を表示する表示ステップと、
を有することを特徴とする画像処理方法を含む。
また、本開示は、上記画像処理方法の各ステップをプロセッサに実行させるためのプログラムを含む。

本発明によれば、超音波診断装置の構成を複雑化させることなく、画質の良い画像を生成することができる技術を提供することができる。

第１実施形態における超音波診断装置の概略構成を示す図 第１実施形態における受信信号処理部の概略構成を示す図 マルチ受信ビームフォーミングを模式的に示す図 第１実施形態における超音波診断装置が実行する処理のフローを示す図 第１実施形態における学習部の処理内容を模式的に示す図 第１実施形態における学習に用いる入力データと正解データの一例を示す図 第１実施形態における超音波診断装置の表示部の表示例を示す図 第１実施形態における超音波診断装置の表示部の別の表示例を示す図 第２実施形態における受信信号処理部の概略構成を示す図 第３実施形態におけるデータの関係を模式的に示す図 一変形例における送信ビームと受信ビームの関係を模式的に示す図

以下、添付図面を参照して本発明の好適な実施形態について説明する。

＜第１実施形態＞
以下に、第１実施形態に係る超音波診断装置について説明する。図１は、第１実施形態に係る超音波診断装置を用いるシステムを示す概略図である。

超音波診断装置１は、被検者に接触させて超音波の送受信を行う超音波探触子１００と、超音波探触子１００によって受信した超音波信号に信号処理を施して超音波画像を生成する装置本体１０１を備える。また、超音波診断装置１は、装置本体１０１を操作するための操作部１０２と装置本体１０１によって生成された超音波画像などを表示する表示部１０３とを備える。

超音波探触子１００は、装置本体１０１に接続されている。超音波探触子１００は、複数の振動子を有し、複数の振動子を駆動することによって超音波を発生する。超音波探触子１００は、振動子から被検体に超音波を送信し、被検体から反射する超音波を受信して電気信号に変換する。超音波探触子１００によって変換された電気信号は、装置本体１０１に伝達される。

また、超音波探触子１００は、複数の振動子の前面側（被検体側）に設けられ、複数の振動子と被検体の音響インピーダンスを整合させる音響整合層を有する。また、超音波探触子１００は、複数の振動子の背面側（被検体に対して反対側）に設けられ、複数の振動子から背面側への超音波の伝播を防止するバッキング材を有する。

超音波探触子１００は、装置本体１０１に着脱自在に接続される。超音波探触子１００の種類として、リニア型、セクタ型、コンベックス型、ラジアル型、三次元走査型など挙げられ、被検体の撮影用途に応じて、超音波探触子１００の種類が適宜選択されてよい。

装置本体１０１は、超音波探触子１００に電圧信号を送信するための送信回路１１０と、被検体から反射する超音波を受信するための受信回路１１１とを備える。また、装置本体１０１は、受信回路１１１によって受信された超音波信号を用いて超音波画像を生成する受信信号処理部１１２を備える。さらに、装置本体１０１は、受信信号処理部１１２によって生成された超音波画像に輝度調整や補間、その他のフィルタを適用する超音波画像生成部１１３を備える。さらに、装置本体１０１は、装置本体１０１の各種構成要素を制
御する制御部１１４を備える。

超音波探触子１００は、複数の振動子から超音波を被検体に送信し、被検体内の音響インピーダンスの差が反映された反射超音波を被検体から受信する。そして、送信回路１１０は、超音波探触子１００による超音波の送信を制御する。送信回路１１０は、パルス発生部や送信遅延回路等を有し、超音波探触子１００に駆動信号を供給する。パルス発生部は、所定のパルス繰り返し周波数（ＰＲＦ；Pulse Repetition Frequency）のレートパルスを発生させる。

送信回路１１０は、複数の振動子に異なる時間差を有する電圧信号を送信する。これにより、複数の振動子から遅延時間の異なる超音波が送信されることで送信ビームが形成される。そして、スイッチなどにより送信ビームを形成する位置（振動子）を順次変更することで、被検体に対する電子的なスキャンが可能となる。

受信回路１１１は、アンプやＡ／Ｄ変換部等を有する。アンプは、被検体からの反射超音波の信号をチャンネルごとに増幅してゲイン補正処理を行う。また、Ａ／Ｄ変換部は、アンプによってゲイン補正された信号をＡ／Ｄ変換する。

送信回路１１１は、被検体に対して二次元走査を行う場合は、超音波探触子１００から二次元の超音波を送信させる。そして、受信回路１１１は、超音波探触子１００が受信した二次元の反射超音波から二次元の超音波信号を生成する。また、送信回路１１１は、被検体に対して三次元走査を行う場合は、超音波探触子１００から三次元の超音波を送信させる。そして、受信回路１１１は、超音波探触子１００が受信した三次元の反射超音波から三次元の超音波信号を生成する。

操作部１０２には、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティックなどが用いられる。操作部１０２は、超音波診断装置の操作者からユーザ入力として種々の指示を受け付け、装置本体１０１に対して、受け付けた指示を伝達する。

表示部１０３は、超音波診断装置の操作者が操作部１０２を操作して指示を入力するためのＧＵＩ（Graphic User Interface）を表示したり、装置本体１０１によって生成された超音波画像や計測結果などを表示したりする。

なお、装置本体１０１における送信回路１１０、受信回路１１１、受信信号処理部１１２、超音波画像生成部１１３は、集積回路などのハードウェアで構成されてもよいし、ソフトウェアでモジュール化されたプログラムであってもよい。

図２は、受信信号処理部１１２の概略構成を示す図である。遅延処理部２０１は、制御部１１４から入力される振動子配置や画像生成の各種条件（開口制御、信号フィルタ）を基に、受信回路１１１で得られた受信信号のデジタルデータに対して、被検体から受信する超音波の受信指向性を決定する遅延時間を与える。

推論部２０２は、遅延処理部２０１で遅延処理された信号を入力とし、記憶部２０３に保存された学習済みモデルに従って信号を生成する。推論部２０２では、学習済みモデルを用いて入力信号を処理するプログラムが実行される。Ｂ（Brightness）モード処理部２０４は、推論部２０２で生成された信号に対して、包絡線検波処理や対数圧縮処理などを行った後、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。これらの画像データは、最終的に表示部１０３において表示される。

加算部２０５は、遅延処理部２０１で遅延処理された信号を入力とし、入力信号に対して加算処理を行う。すなわち、遅延処理部２０１と加算部２０５で整相加算処理が行われる。遅延処理部２０１で遅延処理された信号は、推論部２０２による学習済みモデルを用いた推定が行われない場合に、加算部２０５に入力される。この結果、通常の整相加算によるＢモード画像が生成される。

記憶部２０３に保存される学習済みモデルは、超音波診断装置に組み込まれる前に、超音波診断装置の外部の学習装置２１０で学習が実施されたものであることが望ましい。学習済みモデルは、あらかじめ記憶部２０３に保存されていてもよいし、ネットワークを介して超音波診断装置に送信されるものであってもよい。

学習装置２１０による学習済みモデルの生成のための機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）が採用されてもよい。これら種々のアルゴリズムのうち利用できるものが適宜選択されて学習装置２１０による機械学習に適用することができる。

受信信号処理部１１２は、１つ以上のプロセッサとメモリにより構成してもよい。その場合、図２に示す各部の機能はコンピュータプログラムによって実現される。例えば、メモリに記憶されているプログラムをＣＰＵが読み込み実行することにより、各部の機能を提供することができる。受信信号処理部１１２は、ＣＰＵの他に、各部の演算を担当するプロセッサ（ＧＰＵ、ＦＰＧＡなど）を備えていてもよい。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、ＣＰＵが利用するワーキングメモリなどを含むとよい。

図３は、マルチ受信ビームフォーミングを模式的に示す図である。超音波探触子１００の複数の振動子３００から送信ビームが生成される。マルチ受信ビームフォーミングとは、送信ビームの音場内に複数の受信ビームを形成する手法である。図に示す例では、送信ビーム３０１の音場内に３つの受信ビーム３０２ａ、３０２ｂ、３０２ｃが形成されている。受信ビーム３０２ａ、３０２ｂ、３０２ｃは、それぞれ観測点３０３ａ、３０３ｂ、３０３ｃから伝搬する波面３０４ａ、３０４ｂ、３０４ｃに応じた遅延処理を受信開口３０５内の振動子が受信する超音波信号に行うことで形成される。

マルチ受信ビームフォーミングによれば、１本の走査線に対して一対の送受信ビームの形成を行うよりも一度に広範囲の被検体の情報を取得できる。そして、マルチ受信ビームフォーミングを行いながら送信ビームをスキャンすることで、観測点が同じである同一の受信ビームを重ね合わせることができる。この結果、受信する超音波信号のＳＮ比および画像コントラストを向上させることができる。さらに、受信ビームの重ね合わせを用いることで、送信ビームのフォーカスに起因する深さごとの方位分解能の劣化を補償しつつ、より広い深さ範囲で高い分解能を維持した、いわゆるフォーカスレス効果を得ることができる。

図４は、本実施形態において、超音波診断装置１の各部が実行する画像処理のフローを示す。ステップＳ４０において、受信信号処理部１１２は、受信回路１１１で得られたマルチ受信ビームフォーミングを行っていない超音波信号と、制御部１１４から入力される振動子の配置や画像生成の各種条件とを基に、受信超音波の信号データを得る。

次に、ステップＳ４１で、受信信号処理部１１２は、ステップＳ４０による信号処理が行われた信号データを入力として、記憶部２０３に記憶されている学習済みモデルを用い
た推論を実行する。この結果、受信信号処理部１１２は、マルチ受信ビームフォーミングを行った場合に相当する推定データを得る。受信信号処理部１１２は、この推定データを超音波画像生成部１１３に出力する。

そして、ステップＳ４２において、超音波画像生成部１１３は、受信信号処理部１１２から出力される推定データに対して輝度調整や補間、その他のフィルタを適用して、その結果得られる画像データを表示部１０３に出力する。表示部１０３は、超音波画像生成部１１３から出力される超音波画像を表示し、超音波診断装置１は本フローの処理を終了する。

＜学習フェーズ＞
次に、本実施形態の超音波診断装置１における学習について説明する。図５は、学習装置２１０の処理内容を示す図である。入力データ５０１と正解データ５０２が学習器５０３に与えられ、学習済みモデル５０４が生成される。入力データ５０１は、一例として、被検体への１回の超音波の送受信により得られる受信データから生成された単一の受信ビームデータを含む。また、正解データ５０２は、一例として、複数回の超音波の送受信により得られる複数の受信データにそれぞれ異なる整相加算処理を施して生成された同一の走査線の複数の受信ビームデータを含む。そして、学習器５０３は、入力データ５０１と正解データ５０２を含む学習データを用いた機械学習により学習済みモデル５０４を生成する。ここで、教師データは、推論部２０２に入力されるデータと同様の入力データと、この入力データが推論部２０２に入力されたときに期待される出力である正解データを含む。より具体的には、教師データは、一例として、単一の受信ビームデータに対する複数の受信ビームデータである。教師データは、教示データあるいはトレーニングデータとも呼ばれる。また、入力データは、入力画像、学習画像、学習データとも呼ばれる。また、正解データは、正解画像とも呼ばれる。

なお、学習装置２１０の学習に用いるデータは、学習用の超音波診断装置によって取得されるデータを用いて行われることが望ましい。学習用の超音波診断装置は、大規模な並列同時受信回路または大容量メモリおよび高性能なＧＰＵ（Graphics Processing Unit）等の並列演算処理装置を備えることが望ましい。これにより、超音波診断装置で、より精度の高いマルチビームフォーミング処理が行える。高性能な学習用の超音波装置で生成した正解データにより学習した学習済みモデルを記憶部２０３に保存することにより、大規模で高価なハード構成を持たない比較的簡易な装置でマルチビームフォーミング処理相当の画像を生成することが可能となる。

また、正解データは、学習装置２１０の学習にリアルタイムに生成される必要はなく、振動子のデータの取得と保持ができれば、高速並列演算を行わずに走査線ごとの信号データが生成されてよい。このようにリアルタイム処理の制約がないことにより、従来のマルチ受信ビームフォーミングよりもさらに多くの受信ビームを用いて得られる走査線ごとの信号データを学習に用いることができる。

図６は、学習装置２１０の学習に使用される入力データと正解データの例を模式的に示す図である。学習装置２１０に与えられる入力データ６０１は、超音波診断装置においてマルチ受信ビームフォーミングを行っていない場合の受信超音波による信号データであり、単一の受信ビームから得られる受信超音波に遅延処理を行った後の信号データである。この遅延処理後の信号データは、各振動子が受信する超音波について、各振動子を示す軸とサンプリングタイミングを示す軸とからなる平面上に信号データを並べた二次元データである。入力データを生成する際に用いる受信開口３０６は、図３に示すように、超音波診断装置においてマルチ受信ビームフォーミングを行う場合の１つの受信開口３０５より広いことが望ましい。また、受信開口３０６は、１つの送信ビームの送信に使用される全
振動子を含む範囲の受信開口であることが望ましい。これは、受信開口３０６をマルチ受信ビームフォーミングに使用する全振動子を包含する開口とすることで、推定に使用する情報をマルチ受信ビームフォーミングで使用する情報と同等のものとすることができるためである。

また、学習装置２１０に与えられる正解データ６０２は、超音波診断装置においてマルチ受信ビームフォーミングを行い、１本の走査線について複数の受信ビームによる受信超音波の信号データを整相加算して生成した走査線データである。図６の例では、マルチ受信ビームフォーミングによって３つの受信ビームを形成する場合に、各受信ビームについて振動子が受信する超音波に基づく信号データ６１１、６１２、６１３が示されている。これら信号データ６１１、６１２、６１３を基に目的の１本の走査線についての信号データ６２１、６２２、６２３が得られる。これらの信号データ６２１、６２２、６２３を整相加算することで、正解データ６０２が得られる。また、この正解データは、Ｂモード処理が行われる前の一次元データである。超音波診断装置では、送信ビームのスキャンを行うことで、同一の走査線については、送信ビームに形成される受信ビームの数の分だけ加算される。

本実施形態では、上記の入力データと正解データのセットを様々な被検体の撮像データから取得し、学習装置２１０の学習に用いる。このような学習を行うことで、入力データに用いられる受信ビーム１つ分の信号データから、マルチ受信ビームフォーミングを行った場合に相当する１本の走査線情報を得ることができる。

なお、ここでは入力データは、複数の振動子が受信する受信データに遅延処理を施した二次元データであり、各振動子を示す軸とサンプリングタイミングを示す軸とからなる平面上に信号データを並べた二次元データを想定している。ただし、入力データは、受信ビーム１つ分の遅延処理後の信号データであればよい。あるいは、入力データは、複数の振動子が受信する受信データに整相加算処理を施した一次元データでもよい。入力データが一次元データである場合は、受信開口内の振動子方向に平均化された信号データであるため、二次元データに比べて情報量が減少しており、学習で抽出される特徴量が十分でない場合がある。したがって、入力データとしては、加算処理前の遅延処理後の信号データである方がより望ましいといえる。

また、入力データと正解データの取得に用いられる被検体は、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いてもよいし、実際のファントムを用いてもよいし、実際の生体を用いてもよい。

本実施形態では学習装置２１０が超音波診断装置１の外部にあり、学習済みモデルが記憶部２０３に記憶される例について説明したが、学習装置２１０を超音波診断装置１の一部として構成して学習を行ってもよい。この場合の正解データは、上記の超音波診断装置１の外部で学習が行われる場合と同様に、整相加算された複数の受信ビームを合成して生成した１本の走査線に関する信号データである。大規模な並列同時受信回路を持たない超音波診断装置では、送信ビームに複数の受信ビームを形成することで画像生成のフレームレートが低下するが、本実施形態の超音波診断装置１では正解データの生成ではリアルタイム処理は必須でない。したがって、本実施形態の超音波診断装置１によれば、種々の被検体を用いた学習データをあらかじめ用意できるため、様々なパターンの入力データに対する学習が行われる。この結果、超音波探触子１００によって得られる受信超音波を基に、安定して画質の良い画像を推定できることが期待できる。

このような受信ビーム１つ分の遅延処理後の信号データを入力データとし、正解データにマルチ受信ビームフォーミングによる信号データを用いた学習を行うことで得られた学
習モデルが推論部２０２で動作する。これにより、推論部２０２は、入力される受信ビーム１つ分の遅延処理後の信号データに対して分解能やコントラストの高いマルチ受信ビームフォーミング処理に相当する信号データを推定できることが期待できる。

＜推論フェーズ＞
次に、図２を参照しながら、受信信号処理部１１２によって実行される推論処理について説明する。記憶部２０３には、マルチ受信ビームフォーミングに相当する信号データが生成されるように学習された学習済みモデルが記憶される。遅延処理部２０１から出力された受信ビーム１つ分の遅延処理後の信号データが推論部２０２に入力される。推論部２０２は、記憶部２０３に記憶されている学習済みモデルを用いて、入力される信号データからマルチ受信ビームフォーミングに相当する信号データを得て、後段のＢモード処理部２０４に出力する。推論部２０２は、超音波探触子１００による送信ビームのスキャン回数に応じた回数の推論を繰り返し行う。出力される信号データは、Ｂモード処理部２０４に入力され、Ｂモード処理部２０４は、この信号データに包絡線検波処理、対数圧縮処理などを行い、各観測点における信号強度を輝度強度で表した画像データを生成する。Ｂモード処理部２０４によって生成される画像データは、超音波画像生成部１１３に出力される。超音波画像生成部１１３は、生成される画像データに輝度調整や補間、その他のフィルタを適用する。超音波画像生成部１１３による処理後の画像データは、表示部１０３に出力され、表示部１０３に超音波画像が表示される。

以上の処理により、１回の送信に対して１回の受信のデータを使用して、マルチ受信ビームフォーミングを行ったことに相当する超音波画像を生成することができる。すなわち、大規模な並列同時受信回路や高性能な並列演算処理装置を持たない装置でマルチ受信ビームフォーミングに相当する高画質画像を生成することができる。

＜超音波画像の表示＞
次に、図７を用いて超音波診断装置１の表示部１０３に表示される超音波画像について説明する。上記処理によって生成される画像は、超音波探触子１００が受信した超音波を直接画像化したものではなく、学習済みモデルを用いた推論に基づく画像であるため、表示部１０３では、表示されている画像が推論に基づく画像であることが表示される。例えば、図７に示す超音波画像７０１では、画像と共に「multi AI」という文字を表示することで推論結果である画像が超音波画像７０１に含まれていることを示す。なお、推論に基づく画像であることを示すのは、文字による表示でなくてもよく、表示画像や表示領域の外縁の色を変える、点滅させる、背景の色を変える、彩度、模様を変化させるなどの種々の手法によってユーザに通知されてよい。

図８は、推論部２０２による学習済みモデルを用いた推論を行わずに送信ビームに単一の受信ビームを形成して得られる超音波画像８１１と、上記の推論によって得られる超音波画像８１２とが、表示部２０３によって表示される表示画面８０１の例である。ユーザは、推論によって生成される超音波画像８１２だけでなく、推論なしの超音波画像８１１も同時に確認できるため、推論によって変化する画像部分を視認することができる。なお、表示画面８０１における超音波画像８１１、８１２の表示は、一方の画像のみを表示する切り替え表示や、互いの画像を重ねる重畳表示などによって表示形態が変更されてよい。これにより、ユーザは、種々の表示方法によって両画像８１１、８１２の差分を確認することができる。

＜第２実施形態＞
次に、図９を参照しながら、第２実施形態に係る超音波診断装置について説明する。なお、以下の説明において、第１実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。第２実施形態が第１実施形態と異なる点は、学習装置２１０における
学習および推論部２０２による推論に使用する入力データは、マルチ受信ビームフォーミングを行わずに得られるＢモード用の超音波画像データである点である。さらに、第２実施形態が第１実施形態と異なる点は、学習装置２１０の学習に使用する正解データが、マルチ受信ビームフォーミングを行って得られるＢモード用の超音波画像データである点である。

図９は、第２実施形態における受信信号処理部９１２の構成を示す図である。超音波診断装置のその他の構成は第１実施形態と同じである。図８に示すように、第２実施形態における受信信号処理部９１２は、整相加算部９０１、Ｂモード処理部２０４、推論部２０２、記憶部２０３を有する。

整相加算部９０１は、受信回路１１１で得られる超音波探触子１００の各振動子の受信信号のデジタルデータに、制御部１１４から入力される振動子の配置や画像生成の各種条件（開口制御、信号フィルタ）を基に、受信指向性を決定する遅延時間を与える。そして、整相加算部９０１は、各振動子の受信超音波の信号データを加算して１本の走査線の信号データを得る。Ｂモード処理部２０４は、整相加算部９０１で生成される信号データに対し、包絡線検波処理、対数圧縮処理などを行った後、各観測点における信号強度を輝度強度で表したＢモード画像データを生成する。

推論部２０２は、記憶部２０３に記憶されている学習済みモデルを用いて、Ｂモード処理部２０４によって生成されたＢモード画像データを入力として推論した超音波画像データを生成する。推論部２０２から出力された画像データは、表示部１０３において表示される。

第２実施形態における学習装置２１０の学習に使用される入力データは、マルチ受信ビームフォーミングを行っていないＢモード画像データであり、単一の受信ビームデータの超音波画像である。また、学習装置２１０の学習に使用される正解データは、マルチ受信ビームフォーミングによって得られるＢモード画像であり、複数の受信ビームデータに基づく１つの走査線の超音波画像である。また、正解データは、１本の走査線の画像データを生成するために使用する受信ビームの本数が入力データの画像データの生成に用いられる受信ビームの本数よりも多い画像データである。

本実施形態における推論に使用される入力データは、マルチ受信ビームフォーミングを行っていない第１の超音波画像の一例としてのＢモード画像データである。記憶部２０３には、マルチ受信ビームフォーミングを行って得られるＢモード画像データが出力されるように学習された学習済みモデルが記憶されている。Ｂモード処理部２０４から出力されたマルチ受信ビームフォーミングを行っていないＢモード画像データが、推論部２０２に入力される。そして、推論部２０２は、マルチ受信ビームフォーミングを行った場合に相当する第２の超音波画像の一例としてのＢモード画像データを出力する。出力されたＢモード画像データは、推定超音波画像として超音波画像生成部１１３に出力される。超音波画像生成部１１３は、入力されるＢモード画像データに輝度調整や補間、その他のフィルタを適用して表示部１０３に出力する。

以上により、本実施形態では、マルチ受信ビームフォーミングを行っていない場合のＢモード画像データが学習済みモデルに入力され、その出力として、マルチ受信ビームフォーミングを行った場合に相当する超音波画像の画像データが得られる。本実施形態では、第１実施形態のように信号データに対して推論処理を繰り返すのではなく、画像データに対して推論が行われ、推論結果としての画像データを得る。画像データに対する推論処理を行うため、画像データでは、その基となる信号データに含まれる情報の一部が失われている。この結果、学習および推論の精度が信号データを入力とする場合に比べて低下する
可能性があるが、データ処理量を抑えることができ、より高速な処理、および／またはより簡易な超音波診断装置の構成が可能となる。

＜第３実施形態＞
次に、図１０を参照しながら、第３実施形態に係る超音波診断装置について説明する。なお、以下の説明において、第１および第２実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。第３実施形態が第１および第２実施形態と異なる点は、第１実施形態と同様に遅延処理後の信号データから１本の走査線の信号データを出力する推論を行った後に、さらに、間欠的な画像データを入力として補完された画像データを出力する推論を行う点である。

マルチ受信ビームフォーミングを用いる場合は、送信ビームのスキャンのピッチを広げることで、超音波画像の表示におけるフレームレートを向上することができる。図１０に、マルチ受信ビームフォーミングにおける送信ビームのスキャンのピッチサイズによる受信ビームと推論により得られる走査線の信号データの関係を示す。図１０Ａは、送信ビームのスキャンピッチが狭い場合の、図１０Ｂは、送信ビームのスキャンピッチがより広い場合の、スキャン方向における受信ビームと信号データの位置関係を模式的に示す。図に示すように、スキャンピッチによって、同一の走査線に対する受信ビームの重なり回数が変わり、スキャンピッチが広くなるほど同一の走査線に対する受信ビームの重なり回数は少なくなる。また、スキャンピッチが広くなるほど、被検体に送信される送信ビームの送信回数は少なくなる。

図１０Ａおよび図１０Ｂの例では、１送信ビームあたり４本の受信ビームを形成するマルチ受信ビームフォーミングを想定する。本実施形態では、４本の受信ビームを形成して得られる受信超音波を基に１本の走査線の信号データを推論する。

図１０Ａの例では、２本の送信ビーム１００１、１００２から、それぞれ４本の受信ビームについての信号データ１００３、１００４が得られる。また、各信号データ１００３、１００４から推論によって２本の走査線の信号データ１００５、１００６が得られる。図１０Ａのように送信ビームのスキャンピッチがより狭い場合は、推論により得られる走査線の信号データ１００５、１００６をより密に配置することができる。

図１０Ｂの例でも、２本の送信ビーム１０１１、１０１２から、それぞれ４本の受信ビームについての信号データ１０１３、１０１４が得られる。また、各信号データ１０１３、１０１４から推論によって２本の走査線の信号データ１０１５、１０１６が得られる。ただし、図１０Ｂの例では、図１０Ａの例よりもスキャンピッチが広いため、推論により得られる走査線の信号データは、図１０Ａの例より疎に配置され、送信ビームのスキャンピッチに応じた大きさの間隙１０１７が生じる。この結果、図１０Ｂの例の場合は、超音波診断装置において走査線間の距離が広い超音波画像データ１０２０が生成される。

本実施形態では、遅延処理後の信号データを入力として１本の走査線の信号データを推論する第１の学習済みモデルに加えて、別の第２の学習済みモデルを用いて、補完画像データを推論する。第１の学習済みモデルは、単一の受信ビームデータを入力データとして複数の受信ビームデータに基づく１つの走査線データを推定するように学習された学習済みモデルである。また、第２の学習済みモデルは、複数の受信ビームデータ生成を複数回数繰り返して生成される第１の複数の走査線データが入力データとして入力される学習済みモデルである。そして、第２の学習済みモデルは、複数の受信ビームデータ生成を複数回数よりも多い回数繰り返して生成される第２の複数の走査線データを推定する。第２の学習済みモデルの学習に使用される入力データは、図１０Ｂの例のように送信ビームのスキャンピッチがより広く、すなわち送信ビームの送信回数がより少なく、走査線間の距離
がより広い信号データを基に生成される走査線データである。また、正解データは、図１０Ａのように送信ビームのスキャンピッチがより狭く、すなわち送信ビームの送信回数がより多く、走査線間の距離がより狭い（好ましくは、走査線間の間隙がない）信号データを基に生成される複数本の走査線データである。これら入力データと正解データとを用いた学習は、あらかじめ超音波診断装置外で行われ、学習により得られた学習済みモデルは記憶部２０３に記憶されている。

本実施形態に係る超音波診断装置では、超音波探触子１００の振動子で受信され、受信信号処理部１１２の遅延処理部２０１によって遅延処理が行われた信号データが推論部２０２に入力される。そして、推論部２０２は、第１実施形態と同様の学習済みモデルによって、１本の走査線データが推論される。そして、この推論処理を超音波探触子１００による送信ビームのスキャン回数分繰り返した後、推論結果である信号データ群が、推論部２０２による第２の学習済みモデルを用いた推論に使用される。第２の学習済みモデルを用いた推論により、超音波探触子１００による送信ビームのスキャンピッチよりも狭い送信ビームのスキャンによって得られる複数本の走査線データに相当する走査線データが生成される。そして、生成された走査線データは、Ｂモード処理部２０４に入力され、Ｂモード処理部２０４によって輝度変調されたＢモード用画像データが超音波画像生成部１１３に出力される。超音波画像生成部１１３は、Ｂモード用画像データに輝度調整や補間、その他のフィルタを適用する。超音波画像生成部１１３による処理後の画像データは、表示部１０３に出力され、表示部１０３に超音波画像が表示される。

以上の構成により、本実施形態によれば、マルチ受信ビームフォーミングを行っていない場合に得られる信号データを使用して、マルチ受信ビームフォーミングを行った場合に相当する信号データが推論によって得られる。さらに、本実施形態によれば、超音波画像のフレームレートを高く維持しつつ、より低いフレームレートで生成される高画質な超音波画像を推論によって生成することが可能となる。これにより、高画質な超音波画像を生成するための高価で規模の大きいハードウェア構成を持たない超音波診断装置において、マルチ受信ビームフォーミングを行った場合に相当する高画質な超音波画像を生成することができる。

＜その他の実施形態＞
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。

例えば、第１実施形態、第３実施形態においては、信号データを入力データとし、推論によって信号データを出力として得る学習済みモデルを利用したが、学習済みモデルの入出力は信号データでなくてもよい。例えば、第２実施形態と同様にＢモード処理部２０４によって生成される画像データを入力データとして用いてもよい。このような超音波診断装置の構成によっても、上述した実施形態と同様の作用効果を得ることができる。

また、上記の実施形態の一変形例として、次のように教師データを生成してもよい。図１１に模式的に示すように、複数の振動子１１０３を用いて、マルチ受信ビームフォーミングを行わない送信ビーム１１０１（実線）に形成される受信ビーム１１０１ａを基に入力データを得る。また、マルチ受信ビームフォーミングを行う送信ビーム１１０２（点線）に形成される複数（図では一例として３本）の受信ビーム１１０２ａ～１１０２ｃのいずれか（図では一例として１１０２ｂ）を受信ビーム１１０１ａと合うようにして正解データを得る。そして、送信ビーム１１０１から得られる受信ビームデータの走査領域と送信ビーム１１０２から得られる受信ビームデータの走査領域との少なくとも一部の領域が互いに重なるようにして教師データを生成してもよい。したがって、教師データにおける
複数の受信ビームデータは、単一の受信ビームデータの走査領域を含む走査領域に対して複数回の超音波の送受信を行うことにより得られる受信データから形成することができる。さらには、教師データにおける複数の受信ビームデータは、単一の受信ビームデータの走査領域と重複する走査領域に対して複数回の超音波の送受信を行うことにより得られる受信データから形成することもできる。これにより、入力データと正解データとの間で、被験体に対する走査領域の少なくとも一部を合わせることで、より精度の高い推論結果が得られるように学習装置２１０の学習を行うことができる。

また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１：超音波診断装置
１１２：受信信号処理部
２０２：推論部
１１３：超音波画像生成部
１０３：表示部

Claims (14)

1. 被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成する信号処理部と、
   単一の受信ビームデータに対する複数の受信ビームデータを教師データとして学習された学習済みモデルを用いて、前記信号処理部により生成された前記単一の受信ビームデータを入力として、複数の受信ビームデータに基づく走査線データである推定データを出力する推論部と、
   前記推論部により出力された前記推定データに基づいて画像を生成する画像生成部と、
   前記画像生成部により生成された画像を表示する表示部と、
   を備えることを特徴とする超音波診断装置。
2. 前記教師データにおける前記複数の受信ビームデータは、前記単一の受信ビームデータの走査領域と重複する走査領域に対して複数回の超音波の送受信を行うことにより得られる受信データから形成されることを特徴とする請求項１に記載の超音波診断装置。
3. 前記教師データにおける前記複数の受信ビームデータは、前記単一の受信ビームデータの走査領域を含む走査領域に対して複数回の超音波の送受信を行うことにより得られる受信データから形成されることを特徴とする請求項１に記載の超音波診断装置。
4. 前記学習済みモデルは、被検体への１回の超音波の送受信により得られる受信データから生成された単一の受信ビームデータを入力データとし、複数回の超音波の送受信により得られる複数の受信データにそれぞれ異なる整相加算処理を施して生成された同一の走査線の複数の受信ビームデータを合成した正解データとして、学習されることを特徴とする請求項１に記載の超音波診断装置。
5. 前記学習済みモデルの入力データは、複数の振動子が受信する受信データに遅延処理を施した二次元データであることを特徴とする請求項１に記載の超音波診断装置。
6. 前記学習済みモデルの入力データは、複数の振動子が受信する受信データに整相加算処理を施した一次元データであることを特徴とする請求項１に記載の超音波診断装置。
7. 前記学習済みモデルは、前記超音波診断装置とは別の学習装置による学習によって得られることを特徴とする請求項１から６のいずれか１項に記載の超音波診断装置。
8. 前記学習済みモデルを生成する学習装置をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の超音波診断装置。
9. 被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータの第１の超音波画像を生成する信号処理部と、
   単一の受信ビームデータの超音波画像を入力データとして複数の受信ビームデータに基づく１つの走査線の第２の超音波画像を推定するように学習された学習済みモデルを用いて、前記信号処理部によって生成された前記第１の超音波画像を入力として、前記第２の超音波画像に相当する推定超音波画像を出力する推論部と、
   前記推論部により出力された前記推定超音波画像を表示する表示部と、
   を備えることを特徴とする超音波診断装置。
10. 被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成することを繰り返して第１の超音波画像を生成する信号処理部と、
    単一の受信ビームデータを生成することを複数回数繰り返して生成される超音波画像を
    入力データとして複数の受信ビームデータを生成することを前記複数回数よりも多い回数繰り返して生成される第２の超音波画像を推定する学習済みモデルを用いて、前記信号処理部によって生成された前記第１の超音波画像を入力として、前記第２の超音波画像に相当する推定超音波画像を出力する推論部と、
    前記推論部により出力された前記推定超音波画像を表示する表示部と、
    を備えることを特徴とする超音波診断装置。
11. 被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成する信号処理部と、
    単一の受信ビームデータを入力データとして複数の受信ビームデータに基づく１つの走査線データを推定するように学習された第１の学習済みモデルと、複数の受信ビームデータ生成を複数回数繰り返して生成される第１の複数の走査線データを入力データとして複数の受信ビームデータ生成を前記複数回数よりも多い回数繰り返して生成される第２の複数の走査線データを推定する第２の学習済みモデルと、を用いて、前記信号処理部によって生成された前記単一の受信ビームデータを前記第１の学習済みモデルに入力して１つの走査線データを推定することを繰り返して得られる複数の走査線データを、第２の学習済みモデルに入力して前記第２の複数の走査線データに相当する複数の走査線データを推定し、前記第２の学習済みモデルによって推定された前記複数の走査線データを出力する推論部と、
    前記推論部により出力された前記複数の走査線データに基づいて画像を生成する画像生成部と、
    前記画像生成部により生成された画像を表示する表示部と、
    を備えることを特徴とする超音波診断装置。
12. 被検体への１回の超音波の送受信により得られる受信データから生成される単一の受信ビームデータに対する複数の受信ビームデータを教師データとして含む学習データを用いた機械学習により学習済みモデルを生成する学習器、
    を有することを特徴とする学習装置。
13. 被検体への１回の超音波の送受信により得られる受信データから単一の受信ビームデータを生成する信号処理ステップと、
    単一の受信ビームデータに対する複数の受信ビームデータを教師データとして学習された学習済みモデルを用いて、前記信号処理ステップにより生成された前記単一の受信ビームデータを入力として、複数の受信ビームデータに基づく走査線データである推定データを出力する推論ステップと、
    前記推論ステップにより出力された前記推定データに基づいて画像を生成する画像生成ステップと、
    前記画像生成ステップにより生成された画像を表示する表示ステップと、
    を有することを特徴とする画像処理方法。
14. 請求項１３に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。

Images