JP7419081B2 - 超音波診断装置、画像処理方法、画像処理方法及びプログラム - Google Patents

Description

本発明は超音波診断装置、画像処理方法、画像処理方法及びプログラムに関し、特に超音波診断装置の画質を向上させるための技術に関する。

超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。一般的な超音波画像生成の手法は、送信ビームの形成と受信信号の整相加算処理を含む。送信ビームの形成は、複数の変換素子に対して時間遅延を与えた電圧波形を入力し、生体内で超音波を収束させることで実施する。受信信号の整相加算は、生体内の構造により反射された超音波を複数の変換素子で受信し、得られた受信信号に対して、注目点に対する経路長を考慮した時間遅延を与え、さらに加算することで実施する。この送信ビームの形成と整相加算処理とにより、注目点からの反射信号を選択的に抽出し、画像化を行う。この送信ビームが画像化領域の中を走査するように制御することで観察したい領域の画像を得ることができる。

このような超音波診断装置において、ドプラ効果を用いて血流情報を画像化するドプラ法が広く用いられている。ドプラ法の１つにカラードプラ法がある。カラードプラ法では、超音波パルスの送受信を同一の走査線上で複数回行い、受信信号から血流に由来する成分の位相差（ドプラシフト量）を抽出する。ドプラシフト量の抽出は、同一位置の時系列が異なる受信信号に対してＭＴＩ（Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｉｎｄｉｃａｔｏｒ）フィルタを適用して、動きの小さい組織に由来する成分（クラッタ成分）を低減することにより行われる。抽出された血流に由来する成分から血流の速度や分散などの血流情報（ドプラ情報）が求められる。

特許文献１には、ＭＴＩフィルタを用いたドプラ法によるについて開示されている。特許文献２にはニューラルネットワークで構成された復元器を用いた医用撮像装置が開示されている。

特開平１－１５３１４４号公報 特開２０１９－２５０４４号公報

カラードプラ法で取得可能な最大速度は超音波パルスの繰り返し周波数の制約を受けることが知られている。繰り返し周波数よりも周波数の高い成分は、位相差を算出した際にエイリアシングを生じるため、周波数が低い成分と識別できなくなる。例えば、深部観察では繰り返し周波数を下げる必要があり、したがって、取得できる速度に限界がある。

また、カラードプラ法では通常のＢモード画像に血流情報を重畳して表示する。したがって、通常のＢモード画像を作成するための超音波パルスの送受信に加えて、カラードプラ画像のための超音波パルスの送受信も行わなければならない。よって、通常のＢモードと比較してフレームレートが低下することになる。また、カラードプラの精度を向上させるために、同一の走査線上での超音波パルスの送受信回数を増やすことがあるが、これによってフレームレートはさらに低下する。

本発明は上述した課題に鑑みてなされたものであり、フレームレート低下の影響を少なくしつつ広い範囲の血流情報（ドプラ情報）を得ることのできる超音波診断装置を提供することを目的とする。

本開示は、被検体に対して超音波を送受信する超音波探触子と、観察領域から得られるＢモード画像生成用の受信信号に基づく第１のデータと、前記観察領域からカラードプラ法を用いて得られる血流情報に基づく第２のデータとを含む学習データを用いて、複数の条件によって、機械学習されたモデルを用いて、前記超音波探触子で受信したＢモード画像生成用の受信信号に基づく第３のデータから、血流情報に基づく２次元データを推定する推定演算部と、を有し、前記モデルは、前記観察領域から得られるＢモード画像生成用の受信信号に基づく前記第１のデータと前記観察領域からカラードプラ法を用いて得られる血流情報に基づく前記第２のデータとの相関関係について機械学習されていることを特徴とする超音波診断装置を含む。

本開示は、観察領域から得られる反射超音波の受信信号に基づくデータを入力データ、前記観察領域を複数回走査して得られる反射超音波から抽出された血流情報を正解データとして含む学習データを用いて、前記学習モデルの機械学習を行う学習部を有する、ことを特徴とする学習装置を含む。

本開示は、超音波探触子を用いて、被検体に対して超音波を送信し、被検体からの反射超音波を受信する受信ステップと、観察領域から得られるＢモード画像生成用の受信信号
に基づく第１のデータと、前記観察領域からカラードプラ法を用いて得られる血流情報に基づく第２のデータとを含む学習データを用いて、複数の条件によって、機械学習された学習モデルを用いて、前記受信ステップにおいて受信したＢモード画像生成用の受信信号に基づく第３のデータから、前記血流情報に基づく２次元データを推定する推定演算ステップと、前記推定演算ステップにおいて推定されたデータに基づく画像を表示装置に表示する表示ステップと、を有し、前記学習モデルは、前記観察領域から得られるＢモード画像生成用の受信信号に基づく前記第１のデータと前記観察領域からカラードプラ法を用いて得られる血流情報に基づく前記第２のデータとの相関関係について機械学習されていることを特徴とする画像処理方法を含む。

本開示は、上記画像処理方法の各ステップをプロセッサに実行させるためのプログラムを含む。

本発明の超音波診断装置により、フレームレート低下の影響を少なくしつつ広い範囲の血流情報（ドプラ情報）を得ることができる。

超音波診断装置の構成の一例を示すブロック図 第１実施形態の受信信号処理ブロックが有する機能の一例を示すブロック図 学習モデルを学習する学習装置の一例を示す図 学習データを説明する図 学習データを作成するＧＵＩの一例を示す図 画像生成処理のタイムシーケンスを表す図 画像生成および表示処理のフローを示す図 表示装置における表示の一例を表す図

＜第１実施形態＞
本発明の第１実施形態について説明する。本実施形態では、Ｂモード画像生成用の複数フレーム分の受信信号から、血流情報を推定する。推定には機械学習された学習済みモデルを用いる。ドプラ画像生成用の受信信号の取得回数を低減できるため、通常のカラードプラ画像の表示と比較してフレームレートが高い状態で血流情報に相当する画像を表示できる。また、推定により血流情報を得ているので、取得可能な最大血流速度が繰り返し周波数の制限を受けない。それにより、通常のカラードプラ法では表示することが困難な低流速血流と高流速血流を同時に表示できる。

図１は、本実施形態に係る超音波診断装置１のハードウェア構成の一例を示すブロック図である。超音波診断装置１は、概略、超音波プローブ（超音波探触子）１０２、プローブ接続部１０３、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８、システム制御ブロック１０９を有する。超音波診断装置１は、超音波プローブ１０２から超音波パルスを被検体１００に送信し、被検体１００の内部で反射された反射超音波を受信して、被検体１００の内部の画像情報（超音波画像）を生成するためのシステムである。超音波診断装置１で得られる超音波画像は各種の臨床検査で利用される。

超音波プローブ１０２は、電子スキャン方式のプローブであり、その先端に１次元又は２次元に配列された複数の振動子１０１を有する。振動子１０１は、電気信号（電圧パルス信号）と超音波（音響波）のあいだの相互変換を行う電気機械変換素子である。超音波プローブ１０２は、被検体１００に対して複数の振動子１０１から超音波を送信し、被検体１００からの反射超音波を複数の振動子１０１により受信する。反射音響波は、被検体１００内の音響インピーダンスの差を反映している。

送信電気回路１０４は、複数の振動子１０１に対してパルス信号（駆動信号）を出力する送信部である。複数の振動子１０１に対して時間差をつけてパルス信号を印加することで、複数の振動子１０１から遅延時間の異なる超音波が送信されることで送信超音波ビームが形成される。パルス信号を印加する振動子１０１（つまり駆動する振動子１０１）を選択的に変えたり、パルス信号の遅延時間（印加タイミング）を変えたりすることで、送信超音波ビームの方向やフォーカスを制御できる。この送信超音波ビームの方向及びフォーカスを順次変更することで、被検体１００内部の観察領域が走査（スキャン）される。送信電気回路１０４は、所定の駆動波形のパルス信号を振動子１０１に送信することで、振動子１０１において所定の送信波形を有する送信超音波を発生させる。受信電気回路１０５は、反射超音波を受信した振動子１０１から出力される電気信号を、受信信号として入力する受信部である。受信信号は受信信号処理ブロック１０６に入力される。

送信電気回路１０４及び受信電気回路１０５の動作、すなわち、超音波の送受信は、システム制御ブロック１０９によって制御される。システム制御ブロック１０９は、例えば、後述するＢモード画像とドプラ画像の生成のそれぞれに応じて電圧信号や送信超音波を形成する位置を変更する。

Ｂモード画像を生成する場合には、観察領域を走査して得られる反射超音波の受信信号を取得して、画像生成に用いる。観察領域の１回の走査により、１フレーム分のＢモード画像に対応する受信信号が得られる。ドプラ画像を生成する場合には、観察領域内の複数の走査線上のそれぞれで超音波の送受信を複数回行って得られる反射超音波の受信信号を取得して、画像生成すなわち血流情報の抽出に用いる。ドプラ画像生成のための走査は、１つの走査線上で複数回の送受信を行ってから次の走査線で送受信を行う方式でもよいし、各走査線上で１回ずつ送受信を行うこと複数回繰り返す方式でもよい。ドプラ画像の観察領域は、Ｂモード画像の観察領域の一部であることが一般的である。また、Ｂモード画像生成のための超音波の送受信と、ドプラ画像生成のための超音波の送受信は、交互に行われることが一般的である。

本明細書では、振動子１０１から出力されるアナログ信号も、それをサンプリング（デジタル変換）したデジタルデータも、特に区別することなく受信信号と呼ぶ。ただし、文脈によってデジタルデータであることを明示する目的で、受信信号を受信データと記す場合もある。

受信信号処理ブロック１０６は、超音波プローブ１０２から得られた受信信号に基づいて画像データを生成する画像生成部である。画像処理ブロック１０７は、受信信号処理ブロック１０６で生成された画像データに対し、輝度調整、補間、フィルタ処理などの画像処理を施す。表示装置１０８は、画像データ及び各種情報を表示するための表示部であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどで構成される。システム制御ブロック１０９は、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８などを統括制御する制御部である。

（受信信号処理ブロックの構成）
図２は受信信号処理ブロック１０６が有する機能の一例を示すブロック図である。受信信号処理ブロック１０６は、整相加算処理ブロック２０１、信号記憶ブロック２０２、Ｂモード処理ブロック２０３、ドプラ処理ブロック２０４、推定演算ブロック２０５を有する。

整相加算処理ブロック２０１は、受信電気回路１０５で得られた受信信号に整相加算や直交検波処理を行い、処理後の受信信号を信号記憶ブロック２０２に保存する。整相加算処理とは、振動子１０１ごとに遅延時間を変えて複数の振動子１０１の受信信号を足し合わせることで受信超音波ビームを形成する処理であり、Ｄｅｌａｙ ａｎｄ Ｓｕｍ（ＤＡＳ）ビームフォーミングとも呼ばれる。直交検波処理は、受信信号をベースバンド帯域の同相信号（Ｉ信号）と直交信号（Ｑ信号）とに変換する処理である。整相加算処理および直交検波処理は、システム制御ブロック１０９から入力される素子配置や画像生成の各種条件（開口制御、信号フィルタ）に基づいて行われる。を元に、整相加算処理ブロックで整相加算や直交検波処理を行う。Ｂモード画像生成用の受信信号は、整相加算処理および直交検波処理が行われた後に、信号記憶ブロック２０２に保存される。またドプラ画像生成用の受信信号は信号記憶ブロック２０２に保存される。

Ｂモード処理ブロック２０３は、信号記憶ブロック２０２に保存されたＢモード画像生成用の受信信号に対して、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。

ドプラ処理ブロック２０４は、信号記憶ブロック２０２に保存されたドプラ画像生成用の受信信号から、後述する手法により血流情報（ドプラ情報）を抽出し、血流情報を画像化した血流画像データを生成する。ドプラ処理ブロック２０４は、本発明のドプラ処理部に相当する。

推定演算処理ブロック２０５（推定演算部）は、モデルを用いて、超音波探触子で受信した画像生成用の受信信号に基づく第３のデータから、血流情報に基づくデータを推定する。本実施形態では、推定演算ブロック２０５は、信号記憶ブロック２０２に保存されたＢモード画像生成用の受信信号に基づいて、推定血流情報データ（第４のデータ）を生成（推定）する。推定演算ブロック２０５は、Ｂモード画像生成用の受信信号を入力として、血流情報を出力するようにあらかじめ機械学習された学習済みモデルを有しており、当該学習済みモデルを用いて推定血流情報データを生成（推定）する。推定演算ブロック２０５は、本発明の推定演算部に相当する。

Ｂモード処理ブロック２０３、ドプラ処理ブロック２０４、推定演算ブロック２０５から出力される画像データは、画像処理ブロック１０７による処理が施された後、最終的に表示装置１０８において表示される。血流画像はＢモード画像に重畳されて表示されてもよいし、Ｂモード画像に重畳されずに表示されてもよい。以下では、血流情報を含む画像をカラードプラ画像あるいは単にドプラ画像と称する。

受信信号処理ブロック１０６は、１つ以上のプロセッサとメモリにより構成してもよい。その場合、図２に示す各ブロック２０１～２０５の機能はコンピュータ・プログラムによって実現される。例えば、メモリに記憶されているプログラムをＣＰＵが読み込み実行することにより、各ブロック２０１～２０５の機能を提供することができる。受信信号処理ブロック１０６は、ＣＰＵの他に、Ｂモード処理ブロック２０３の演算や推定演算ブロック２０５の演算を担当するプロセッサ（ＧＰＵ、ＦＰＧＡなど）を備えていてもよい。特に同時に多くのデータが入力される演算処理ブロック２０３にはＦＰＧＡを、推定演算ブロック２０５のような演算を効率よく実行するにはＧＰＵを用いることが有効である。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、ＣＰＵが利用するワーキングメモリなどを含むとよい。

（ドプラ処理ブロック）
ドプラ処理ブロック２０４は、信号記憶ブロック２０２に保存されたドプラ画像生成用の受信信号を周波数解析することによって、走査範囲内にある対象物のドプラ効果に基づく血流情報を抽出する。本実施形態では、対象物が血液である例を主に説明するが、対象物は、体内組織や造影剤のような物体であってもよい。また、血流情報の例は、速度、分散値、パワー値のうちの少なくともいずれかを含む。また、ドプラ処理ブロック２０４は、被検体内の１点（１つの位置）における血流情報を求めてよいし、深さ方向における複数の位置の血流情報を求めてもよい。また、ドプラ処理ブロック２０４は、所定の深さ範囲における平均速度や最高速度を求めてもよく、さらに、速度の時間変化が表示できるように時系列に複数の時点の速度を求めてもよい。

ドプラ処理ブロック２０４によって、本実施形態に係る超音波診断装置１は、カラーフローマッピング法（ＣＦＭ：Ｃｏｌｏｒ Ｆｌｏｗ Ｍａｐｐｉｎｇ）とも呼ばれるカラードプラ法を実行可能である。ＣＦＭ法では、複数の走査線上のそれぞれで、超音波の送受信を複数回行う。ドプラ処理ブロック２０４は、同一位置の受信データに対してＭＴＩ（Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｉｎｄｉｃａｔｏｒ）フィルタを掛けることで、動きの小さい組織に由来する成分（クラッタ成分）を低減して、血流に由来する成分を抽出する。そして、この血流成分から血流の速度、血流の分散、血流のパワーなどの血流情報を算出する。後述する表示装置１０８は、算出結果の血流情報（血流画像データ）を、２次元でカラー表示してＢモード画像データに重畳して表示する。

（推定演算ブロック）
推定演算ブロック２０５について説明する。推定演算ブロック２０５は学習済みモデルを用いて、血流情報（ドプラ画像データ）を推定する処理を行う。学習済みモデルは、所定の走査範囲から得られる反射超音波の受信信号に基づくデータから、当該観察領域の移動情報に基づくデータを推定するように機械学習される。より具体的には、本実施形態では、学習モデルは、Ｂモード画像を生成するために観察領域を複数回走査して得られる複数フレーム分の受信信号に整相加算処理を施したデータが入力されると、同じ観察領域内の血流情報データを出力するように学習される。

モデルは、観察領域から得られる画像生成用の受信信号に基づく第１のデータ（入力データ）と、前記観察領域に基づく第２のデータ（正解セータ）とを含む学習データを用いて機械学習される。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図３は、モデルの機械学習を行う学習装置３０の一例を示している。学習装置３０は、
複数の学習データ３０１を用いてモデルの機械学習を実施する学習部（学習器）３０４を有している。学習部３０４は先に例示した機械学習アルゴリズムのうちいずれを利用してもよいし、他の機械学習アルゴリズムを利用してもよい。学習データ３０１は、入力データと正解データ（教師データ）の組で構成されている。本実施形態では、入力データとしてＢモード画像生成用の受信信号３０２を、正解データとしてカラードプラ法を用いて取得した血流情報３０３を用いる。学習部３０４は、与えられた複数の学習データ３０１を基に、受信信号３０２と血流情報３０３のあいだの相関を学習して、学習済みモデル３０５を作成する。これにより、学習済みモデル３０５は、Ｂモード画像生成用の受信信号を入力データとして与えると、血流情報を出力データとして生成する機能（能力）を獲得することができる。学習済みモデル３０５は、超音波診断装置１の推定演算ブロック２０５で実行されるプログラムに実装される。モデルの学習（学習済みモデル３０５の生成処理）は、超音波診断装置１に組み込まれる前に実施されるのが望ましい。ただし、超音波診断装置１が学習機能を有する場合には超音波診断装置１で得られた画像データを用いて学習（新規の学習又は追加学習）を行ってもよい。

図４を参照して、学習データについてより具体的に説明する。学習データに含まれる入力データは、ある被検体のＢモード画像生成用の複数フレーム分の受信信号である。また、正解データは、同じ被検体をカラードプラ法を用いて撮像して得られる血流情報である。

図４には、学習データＩＤ１，２の２つの学習データが例示されている。学習データＩＤ１の入力データは、２フレーム分のＢモード画像生成用の受信信号Ｂ１である。また学習用データＩＤ１の正解データは、同じ被検体をカラードプラ法を用いて撮像して得た血流情報ＣＦＭ１である。Ｂモード画像生成用の受信信号の観察領域と、血流情報の観察領域は同一であることが望ましいが、Ｂモード画像生成用の受信信号の観察領域の一部が血流情報の観察領域でもよい。その場合はＢモード画像生成用の受信信号から、血流情報の観察領域に対応する範囲を切り出して学習データ（入力データ）として用いる。

また、学習データＩＤ２の入力データは、学習データＩＤ１とは異なる被検体を対象として取得した、２フレーム分のＢモード画像生成用の受信信号Ｂ２である。学習データＩＤ２の正解データは、受信信号Ｂ２と同じ被検体をカラードプラ法を用いて撮像して得た血流情報ＣＦＭ２である。なお、ここでは２フレーム分のＢモード画像生成用の受信信号を入力データとしているが、３フレーム以上の受信信号を入力データとしてもよいし、１フレーム分の受信信号を入力データとしてもよい。

様々な条件で取得された学習データを用いて学習することで、様々なパターンの入力に対する学習が行われ、実際に使用されたときも安定して画質の良い画像を推定することが期待できる。したがって、同じ被検体に対して、異なる条件でＢモード画像生成用の受信信号および血流情報を取得することが好ましい。なお、被検体として、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いてもよく、さらには実際のファントム、またさらに実際の生体を用いても構わない。

本実施形態では、学習データの入力データが複数フレーム分のＢモード画像生成用の受信信号である例を示しているが、入力データは、Ｂモード画像生成用の受信信号の取得条件（撮像条件）を更に含んでもよい。撮像条件の例として、送信超音波の波面形状、送信超音波の送信周波数、バンドパスフィルタの帯域、被検体の種類および／または部分、体軸に対する超音波プローブ１０２の接触角度が挙げられる。送信超音波の波面形状の例として、収束ビーム、平面波、拡散波が挙げられる。送信超音波に関する情報を入力データに含めることで、Ｂモード画像生成用の受信信号取得に用いる超音波に応じた推定が行え、推定精度が向上する。また、被検体に関する情報やプローブの接触角度に関する情報を
入力データに含めることで、部位ごとの特徴に対応した推定が可能となり、より推定精度が高まることが期待できる。部位毎の特徴として、例えば、脂肪層が表面にある、筋膜の構造による高輝度領域がある、太い血管による低輝度値領域が存在するなどという特徴が挙げられる。入力データは、さらに、診療科や性別、ＢＭＩ、年齢、病態などの情報を含んでもよく、これにより、さらに詳細な条件に対応した学習モデルが得られる可能性があり、より推定精度が高まることが期待できる。

また、超音波診断装置１に搭載される推定演算ブロック２０５の学習済みモデル３０５は、全診療科の画像データを学習させたモデルでもよいし、診療科ごとの画像データを学習させたモデルでもよい。診療科ごとの画像データを学習させたモデルが搭載されている場合は、システム制御ブロック１０９が、超音波診断装置１の使用者に診療科情報を入力ないし選択させ、診療科に合わせて用いる学習済みモデルを変更するとよい。撮像部位がある程度限定される診療科ごとにモデルを使い分けることで、より推定精度が高まることが期待できる。

学習においては図５に示したようなＧＵＩを用いて入力データおよび正解データの前処理をさらに行っても良い。表示画面内に入力データ５０と正解候補データ５１とを示し、それぞれを複数の領域に分割するインジケータ５２を表示する。図５の例では画像を４×４の１６個の領域に分割している。採択指定ボックス５３は、領域ごとの採否を使用者に指定させるためのユーザインタフェースである。使用者は入力データ５０と正解候補データ５１を見比べながら、学習データとして採択する領域に「〇」を、除外する領域に「×」を入力する。これにより、正解候補データ５１の中で血流情報が含まれていない領域や予期せぬ画像劣化が起きている領域など、学習に適切ではない領域を除外することができる。図４では、画像全体を１つの学習データとして用いる想定で説明をしているが、図５のように画像を複数の領域に分割した場合には、個々の領域の画像（部分画像）が１つの学習データとして用いられる。この場合、学習モデルは、入力データ５０と同じサイズ（分解能）の画像を入力として受け付け、正解候補データ５１と同じサイズの画像を出力する。図５の例では、採択される領域が９個あるため、９組の学習データが生成されることとなる。

このような撮像条件とＢモード画像生成用の受信信号を入力データとし、その正解データに血流情報を用いた機械学習を行うことで得られた学習モデル３０５が推定演算ブロック２０５上で動作する。結果として推定演算ブロック２０５は入力される撮像条件とＢモード画像生成用の受信信号から血流情報を推定し、出力することが期待できる。

（画像生成方法）
次に本実施形態における画像生成のための処理の詳細を図１を用いて述べる。図示していないＧＵＩから撮像の指示が入力されると、ＧＵＩからの指示を受けたシステム制御ブロック１０９が送信電気回路１０４に超音波の送信指示を入力する。送信指示は、遅延時間を計算するためのパラメータや音速情報を含むと良い。送信電気回路１０４はシステム制御ブロック１０９からの送信指示に基づいて、遅延時間を有した複数の電圧波形をプローブ接続部１０３を通じて超音波プローブ１０２の複数の振動子１０１へと出力する。本実施形態では、送信超音波は収束ビームであり、撮像範囲が送信超音波によって走査される。

複数の振動子１０１から送信された送信超音波は被検体内を伝播し、被検体内の音響インピーダンスの差を反映した反射超音波を生じさせる。反射超音波は、複数の振動子１０１によって受信され、電圧波形（電圧信号）へと変換する。この電圧波形はプローブ接続部１０３を通して受信電気回路１０５へと入力される。受信電気回路１０５は必要に応じて電圧波形を増幅、デジタルサンプリングし、受信信号処理ブロック１０６へと受信信号
として出力する。Ｂモードの撮像範囲を収束ビームが走査することで、Ｂモード画像生成用の受信信号が１フレーム分得られる。ドプラ画像生成用の受信信号は、ドプラ画像撮像範囲内の複数の走査線上のそれぞれで超音波の送受信を複数回行うことで得られる。

受信信号処理ブロック１０６は、受信信号に対して整相加算処理と直交検波処理のいずれかまたは両方を行う。受信電気回路１０５で得られたＢモード画像生成用の受信信号に対して、システム制御ブロック１０９から入力される素子配置や画像生成の各種条件（開口制御、信号フィルタ）を元に、整相加算処理ブロック２０１が整相加算を行う。受信信号処理ブロック１０６は、さらに、整相加算と直交検波処理を行った信号を信号記憶ブロック２０２に保存する。これらの信号はＢモード処理ブロック２０３へと送信される。Ｂモード処理ブロック２０３は、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表したＢモード画像データを生成する。

同様に、受信電気回路１０５で得られたドプラ画像生成用の受信信号は信号記憶ブロック２０２に保存される。ドプラ処理ブロック２０４は、ドプラ画像生成用の受信信号を用いて血流情報画像データを算出する。

推定演算ブロック２０５は、複数フレーム分のＢモード画像生成用の受信信号を入力とし、推定血流情報データを出力する。具体的には、推定演算ブロック２０５は、複数フレーム分のＢモード画像生成用の受信信号を学習済みモデル３０５に入力して得られる血流情報を、当該受信信号に対応する血流情報データとして取得し出力する。

これらのＢモード画像データ、血流情報画像データ、推定血流情報データは、画像処理ブロック１０７へ入力され、輝度調整や補間、その他のフィルタが適用された後、表示装置１０８にて表示される。以下では、ドプラ処理ブロック２０４によって生成された血流情報画像データ、あるいは当該血流情報画像データとＢモード画像が重畳された画像データに基づく画像のことを、通常ドプラ画像とも称する。また、推定演算ブロック２０５によって推定された推定血流情報データに基づく画像データ、あるいは当該画像データとＢモード画像が重畳された画像データに基づく画像を、擬似ドプラ画像あるいは推定画像とも称する。

次に、超音波診断装置１における画像の生成および表示の制御例について説明する。超音波診断装置１は、以下の３つの表示モードの少なくともいずれかを有する。第１の表示モードは、擬似ドプラ画像を用いずに通常ドプラ画像を用いて表示画像を更新するモードである。第２のモードは、通常ドプラ画像と擬似ドプラ画像の両方を用いて表示画像を更新するモードである。第３のモードは、通常ドプラ画像を用いずに擬似ドプラ画像を用いて表示を更新するモードである。超音波診断装置１が複数の表示モードを有する場合、例えば、使用者による表示モードの切り替えが可能であるとよい。

図６Ａおよび図６Ｂは、ドプラ処理ブロック２０４による通常ドプラ画像の形成タイミングと、推定演算ブロック２０５による擬似ドプラ画像の形成タイミングを示す図である。図６Ａは、通常ドプラ画像のみを用いて表示画像を更新する第１の表示モードの例であり、図６Ｂは、通常ドプラ画像と擬似ドプラ画像の両方を用いて表示画像を更新する第２の表示モードの例である。また、図７は、図６Ｂに示す第２の表示モードにおける画像形成と表示のフローチャートである。

図６Ａは、ドプラ処理による画像の生成・表示のタイミングを示している。Ｂモード画像生成用の受信信号からＢモード画像を生成し、ドプラ画像生成用の受信信号から血流情報を算出してＢモード画像と重畳してカラードプラ画像を表示するまでにかかる時間をＣＦＭ１～ＣＦＭ４で示している。ここでは４枚のカラードプラ画像が出力されることにな
る。

ここからは図７に示したフローチャートに従って第２の表示モードについて説明を行う。使用者からの指示、もしくは装置のデフォルト設定、もしくは診療科や使用者ＩＤなどによってこのフローチャートに示した制御モードに装置が切り替わる。なお、図７の処理は、システム制御ブロック１０９の制御にしたがって、超音波診断装置１の各部１０１～１０８が動作することによって実現される。

ステップＳ７１では、Ｂモード画像生成用の受信信号の取得と、ドプラ画像生成用の受信信号の取得を行い、通常ドプラ画像データ（カラードプラ画像データ）を１フレーム分生成し、生成した通常ドプラ画像を表示装置１０８に表示する。その動作に必要な時間を図６ＢのＣＦＭ１で示している。なお、システム制御ブロック１０９はフレームメモリを有しており、受信信号処理ブロック１０６から出力される表示画像データを一時的に保存可能である。

ステップＳ７２では、次のフレームのＢモード画像生成用の受信信号を取得し、前フレーム分と合わせて、Ｂモード画像生成用の受信信号の複数フレーム分を推定演算ブロック２０５に入力し推定血流情報データを推定する。この動作に必要な時間を図６ＢのＢ１で示している。

ステップＳ７３では、システム制御ブロック１０９は、推定血流情報データ（推定画像）を新たに取得したＢモード画像に重畳させた擬似ドプラ画像に基づいて表示画像を更新する。例えば、システム制御ブロック１０９は、直前の表示画像と今回の推定画像とを所定の重みで合成することによって、新たな表示画像を生成してもよい。あるいは、システム制御ブロック１０９は、今回の擬似ドプラ画像をそのまま新たな表示画像として採用してもよい（直前の表示画像の重みが０、今回の表示画像の重みが１と捉えることもできる）。

ステップＳ７４では、血流情報の推定演算実行および推定画像に基づく表示の連続回数が、所定の回数Ｎ（本例ではＮ＝１０とする）に達したか否かを確認する。Ｎ回未満であれば、ステップＳ７２に戻る。そして、所定の回数Ｎに達するまで、Ｂモード画像生成用の受信信号の取得、およびそれを用いた血流情報の推定および擬似ドプラ画像の表示が繰り返される。図８ＢのＢ２～Ｂ１０は各回の動作に必要な時間を示している。血流情報の推定演算実行および擬似ドプラ画像に基づく表示の連続回数が、所定の回数Ｎに達すると、ステップＳ７１に戻って、通常ドプラ画像生成用の受信信号の取得および、それに基づくカラードプラ画像データの生成が行われる。

このように本表示モードでは、通常ドプラ画像に基づいて表示画像を更新した後に、所定の回数連続して擬似ドプラ画像に基づいて表示画像を更新する、という処理が繰り返される。

以上述べた制御によれば、１フレーム分のＢモード画像生成用の受信信号を取得するたびに、新たな擬似ドプラ画像の取得および表示が可能である。したがって、通常のカラードプラ画像のみを用いて表示画像の更新を行うのに比べて、高いフレームレートでの画像表示が実現できる。図６Ａ（通常ドプラ画像のみを用いる表示モード）と図６Ｂ（通常ドプラ画像と推定画像を用いる表示モード）とを比較すれば明らかなように、後者の方が単位時間あたりに表示できるフレーム数が増加することがわかる。

次に撮像動作中に使用者から静止画像もしくは動画画像の保存の指示が出た場合の制御について述べる。システム制御ブロック１０９は、静止画像保存の指示を受けた場合に、
指示を受けたタイミングに最も近い時刻に取得されたドプラ画像および推定画像の両方またはいずれか一方を保存するとよい。例えば図６Ｂに示したタイミングｔ１で静止画保存の指示がＧＵＩなどを通じてシステム制御ブロック１０９へと入力された場合、時間ＣＦＭ１で取得したドプラ画像と、時間Ｂ１で取得した推定画像とが保存される。このとき、２つの画像を保存候補として使用者に提示し、実際に保存する画像を使用者に選択させてもよい。また例えばタイミングｔ２で静止画保存の指示が入力された場合、時間ＣＦＭ２で取得したドプラ画像と、時間Ｂ２で取得した推定画像（推定血流情報データ）が保存される。なお、これらの保存に関しては別途システムのオプションとして、カラードプラ画像のみ、推定画像のみを保存するように設定することも可能である。また、保存指示が出た時点で図７のフローチャートに割り込みをかけ、カラードプラ画像を撮像する制御を行い、その画像を保存してもよい。

また、動画保存に関しては、カラードプラ画像と推定画像とを別々に保存してもよく、混合して保存してもよい。これらの切り替えについてもシステムのオプションとして設定できるようにすることも可能である。また、本実施形態においては画像のフレームレートが制御によって変化するため、動画保存の際は、一定の時間間隔のデータになるように補間や処理を実施した後に一定のフレームレートの動画として保存してもよい。

また、本実施形態では推定画像を連続して表示する回数Ｎを固定値としたが、システム制御ブロック１０９が、使用者がＧＵＩを用いてインタラクティブに所定の回数Ｎを変更できるようにしてもよい。

図８Ａ～図８Ｃは表示装置１０８における画像の表示例を模式的に示したものである。表示画面８０は、画像表示領域８１、フレームレート表示領域８２、カラードプラ画像の表示オンオフのインジケータ８３、推定画像の表示オンオフのインジケータ８４を含む。

図８Ａは、ドプラ処理によって作成されたカラードプラ画像のみを表示するモードにおける表示例を示す。この表示モードは、図６Ａのモードに対応する。フレームレート（ＦＲ）は３５ｆｐｓとなっている。カラードプラ画像が表示されているのでインジケータ８３には「通常ＣＦＭ：ＯＮ」と表示され、推定画像は表示されていないのでインジケータ８４には「ＡＩ－ＣＦＭ：ＯＦＦ」と表示される。

図８Ｂは、カラードプラ画像と推定画像の両方を表示するモードにおける表示例を示す。この表示モードは図５Ｂのモードに対応する。フレームレートは６０ｆｐｓとなっている。前述のように、推定画像を含めて表示することで、カラードプラ画像のみを表示する場合よりもフレームレートが高くなる。本実施形態ではインジケータ８３に「通常ＣＦＭ：ＯＮ」と表示されるのは図８Ａと同様であるが、本モードではインジケータ８４に「ＡＩ－ＣＦＭ：ＯＮ」と表示される。これにより、表示画像に、推定演算ブロック２０５によって推定された推定画像が含まれることを使用者に明示できる。本実施形態のインジケータ７４は、文字表示により推定画像が表示されることを通知しているが、その他の方式により推定画像の表示を通知してもよい。例えば、表示画像や表示領域の外縁の色を変える、点滅させる、背景の色、彩度、模様を変化させるなどの手法であっても構わない。

図８Ｃは、カラードプラ画像と推定画像を並べて表示した例である。画面の左側にはカラードプラ画像がフレームレート３５ｆｐｓで表示され、画面の右側には推定画像がフレームレート８０ｆｐｓで表示されている。この表示画面を用いれば、使用者は推定画像と正解画像を動じに確認できる。このような表示画面は、推定演算ブロック２０５の精度や信頼性の評価やチェックに有用である。

＜第２実施形態＞
次に本発明の別の実施形態について述べる。本実施形態では、血流情報の推定に、ドプラ画像を生成するための受信信号の一部を利用する。

超音波診断装置１の全体構成は第１実施形態（図１）と同様である。Ｂモード画像生成用の受信信号とドプラ画像生成用の受信信号を受信信号処理ブロック１０６に入力して信号記憶ブロック２０２に保存するまでのフローは第１実施形態と同様である。

第１実施形態では、複数フレーム分のＢモード画像生成用の受信信号を推定演算ブロック２０５への入力とした。第２実施形態では、推定演算ブロック２０５への入力は、複数フレーム分のＢモード画像生成用の受信信号とドプラ画像生成用の受信信号の一部、もしくはドプラ画像生成用の受信信号の一部のみである。ドプラ画像生成用の受信信号の一部とは、例えば、ドプラ画像生成のために観察領域に対して所定回数の交互走査をする場合の、一部（例えば１回）の走査により得られる受信信号である。

本実施形態では、学習済みモデル３０５の学習に用いる学習データの入力データは、推定演算ブロック２０５への入力データと同様のデータを用いる。すなわち、本実施形態では、複数フレーム分のＢモード画像生成用の受信信号とドプラ画像生成用の受信信号の一部、もしくはドプラ画像生成用の受信信号の一部のみを入力データとして含む学習データを用いて学習を行う。

本実施形態によれば、カラードプラ法で算出されるドプラシフト量を求めるための元となるデータが推定に利用されるので、血流情報の推定精度が高くなることが期待できる。本実施形態では、推定画像取得のためにドプラ画像生成用の受信信号の取得の一部を行う必要があるので、フレームレートは第１実施形態よりもやや低下するが、カラードプラ画像のみを表示する場合よりはフレームレートは向上する。また、観察領域を交互走査する場合には、各回の走査により得られる受信信号からそれぞれ推定画像を取得でき、フレームレート向上の効果が大きい。

＜第３実施形態＞
さらに本発明の別の実施形態について述べる。第１，第２実施形態ではＢモード画像生成のための送信超音波は収束ビームであったが、本実施形態では、平面波または拡散波を送信超音波として利用する。送信電気回路１０４が複数の振動子１０１に対して時間差を与えずに電圧信号を印加することで、振動子１０１から平面波もしくは拡散波の超音波が送信される。

本実施形態では、推定演算ブロック２０５は、平面波または拡散波の送信により得られる複数フレーム分の受信信号から血流情報データを推定する。したがって、学習済みモデル３０５の学習には、超音波プローブ１０２から平面波または拡散波を送信して得られる複数フレーム分の受信信号を入力データとし、ＣＦＭ法により得られる血流情報データを正解データとする学習データが用いられる。

平面波もしくは拡散波を用いる場合、１回から数回程度のごく少ない送信回数で撮像領域の情報が取得できるため、収束した超音波ビームを走査してＢモード画像を生成する場合よりもフレームレートを各段に向上する。また、カラードプラ法のドプラシフト量の算出では同一走査線上を複数回にわたって超音波の送受信を行う。したがって、平面波もしくは拡散波の送受信の方が、収束ビーム送受信と比較して、カラードプラ法により近いフレームレートで同一走査線上から受信信号を取得できる。このように、フレームレートがＢモード画像生成用の受信信号よりも高い、平面波もしくは拡散波の送受信による受信信号を推定に用いることで、血流情報の推定精度が高くなることが期待できる。

＜第４実施形態＞
上記の実施形態では、推定演算ブロック２０５は１つの学習モデルのみを有しているが、推定演算ブロック２０５は異なる学習がされた複数の学習モデルを有してもよい。複数の学習モデルの学習に用いる学習データの入力データはいずれも上記と同様であるが、学習データの正解データが、学習モデルの応じて異なる条件で取得された血流情報（ドプラ画像）である。異なる条件とは、例えば、それぞれ、超低速血流、通常速血流、高速血流の血流情報を取得するために適切な送信制御および受信制御の設定である。また、１つの学習モデルが、上記のような複数の異なる条件で取得された血流情報を推定するように学習されていてもよい。

本実施形態によれば、モード画像生成用の受信信号から、超低速血流、通常速血流、高速血流それぞれの血流情報が得られる。これらの血流情報をＢモード画像と重畳させて表示することで、広い速度範囲の血流情報を同時に可視化することができる。

＜その他の実施形態＞
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。

例えば、第１から第４実施形態において、カラードプラ画像を生成および表示しているが、カラードプラ画像の生成および表示を行わずに、推定画像（推定血流情報データ）の推定および表示のみを行ってもよい。これにより、ドプラ処理によるフレームレートの低下を生じさせることなく、カラードプラ相当の画像を得ることができる。また、超音波診断装置１からドプラ処理ブロック２０４を省くこともできる。

また、第１から第４実施形態においては、学習済みモデルへの入力データは、複数フレーム分のＢモード画像生成用の受信信号であったが、１フレーム分のＢモード画像生成用の受信信号を学習済みモデルの入力としてもよい。１フレーム分の受信信号からでも、血流情報の推定が行え、本発明の効果を得ることができる。入力データに受信信号ではなく、Ｂモード画像データを用いる場合も同様である。

また、第１から第４実施形態においては、学習を行う際に、整相加算と直交検波後の信号を入力し血流情報データを出力する学習モデルを用いている。しかしながら、学習済みモデルへの入力データは、Ｂモード処理ブロックに入力後の画像データであってもよい。この場合は正解データとしてドプラ処理を行ったカラードプラ画像を用いるとよい。このような学習によっても本発明の効果を得ることができる。

また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、その
プログラムコードを記録した記録媒体は本発明を構成することになる。

１：超音波診断装置 １０２：超音波プローブ １０６：受信信号処理ブロック
２０５：推定演算ブロック ３０５：学習済みモデル

Claims (18)

1. 被検体に対して超音波を送受信する超音波探触子と、
   観察領域から得られるＢモード画像生成用の受信信号に基づく第１のデータと、前記観察領域からカラードプラ法を用いて得られる血流情報に基づく第２のデータとを含む学習データを用いて、複数の条件によって、機械学習されたモデルを用いて、前記超音波探触子で受信したＢモード画像生成用の受信信号に基づく第３のデータから、血流情報に基づく２次元データを推定する推定演算部と、
   を有し、
   前記モデルは、前記観察領域から得られるＢモード画像生成用の受信信号に基づく前記第１のデータと前記観察領域からカラードプラ法を用いて得られる血流情報に基づく前記第２のデータとの相関関係について機械学習されている
   ことを特徴とする超音波診断装置。
2. 前記第３のデータは、Ｂモード画像を生成するために前記観察領域を走査して得られる受信信号または当該受信信号に基づくＢモード画像データを含む、
   請求項１に記載の超音波診断装置。
3. 前記第３のデータは、平面波または拡散波を送信して得られる受信信号または当該受信信号に基づく画像データを含む、
   請求項１に記載の超音波診断装置。
4. 前記第３のデータは、前記観察領域を複数回走査して得られる反射超音波の複数の受信信号、または当該複数の受信信号に基づく画像データを含む、
   請求項２または３に記載の超音波診断装置。
5. 前記第３のデータは、前記観察領域の血流情報を取得するために前記観察領域の複数の走査線上のそれぞれで超音波の送受信を複数回行って得られる受信信号の一部、または、当該受信信号の一部に基づく画像データを含む、
   請求項１に記載の超音波診断装置。
6. 前記第３のデータは、送信超音波の波面形状、送信超音波の送信周波数、前記被検体の種類、および前記超音波探触子の前記被検体に対する接触角度、のうちの少なくともいずれかを更に含む、
   請求項１から５のいずれか１項に記載の超音波診断装置。
7. 前記推定演算部は、前記第３のデータから、異なる速度範囲の血流情報に基づくデータを推定するように機械学習された複数の学習モデルを含む、
   請求項１から６のいずれか１項に記載の超音波診断装置。
8. 前記観察領域の複数の走査線上のそれぞれで超音波の送受信を複数回行って得られる反射超音波の受信信号から血流情報を抽出し、当該血流情報に基づくドプラ画像データを生成するドプラ処理部を更に有する、
   請求項１から７のいずれか１項に記載の超音波診断装置。
9. 前記第３のデータは、前記ドプラ画像データを生成するための受信信号の一部を含む、
   請求項８に記載の超音波診断装置。
10. 表示装置に出力する表示画像の制御を行う制御部を更に有し、
    前記制御部は、前記推定演算部によって推定されたデータに基づいて前記表示画像を更新する表示モードを有する、
    請求項１から９のいずれか１項に記載の超音波診断装置。
11. 表示装置に出力する表示画像の制御を行う制御部を更に有し、
    前記制御部は、前記推定演算部によって推定されたデータには基づかずに前記ドプラ画像データに基づいて前記表示画像を更新する表示モードと、前記ドプラ画像データと前記推定演算部によって推定されたデータとに基づいて前記表示画像を更新する表示モードとを有する、
    請求項８または９に記載の超音波診断装置。
12. 前記ドプラ画像データと前記推定演算部によって推定されたデータとに基づいて前記表示画像を更新する表示モードでは、前記制御部は、前記ドプラ画像データに基づいて前記表示画像を更新した後、所定の回数連続して前記推定演算部によって推定されたデータに基づいて前記表示画像を更新する処理を繰り返す、
    請求項１１に記載の超音波診断装置。
13. 前記制御部は、使用者からの入力に応じて前記所定の回数を変更する、
    請求項１２に記載の超音波診断装置。
14. 前記制御部は、使用者から画像の保存の指示を受けると、前記指示を受けたタイミングに最も近いタイミングに取得された前記ドプラ画像データおよび前記推定演算部によって推定されたデータの両方またはいずれか一方を保存する、
    請求項１１から１３のいずれか１項に記載の超音波診断装置。
15. 表示装置に出力する表示画像の制御を行う制御部を更に有し、
    前記制御部は、前記ドプラ画像データに基づく画像と前記推定演算部によって推定されたデータに基づく画像を並べて表示する、
    請求項８または９に記載の超音波診断装置。
16. 請求項１から１１のいずれか１項に記載の超音波診断装置の推定演算部で用いられる学
    習モデルの機械学習を行う学習装置であって、
    観察領域から得られる反射超音波の受信信号に基づくデータを入力データ、前記観察領域を複数回走査して得られる反射超音波から抽出された血流情報を正解データとして含む学習データを用いて、前記学習モデルの機械学習を行う学習部を有する、
    ことを特徴とする学習装置。
17. 超音波探触子を用いて、被検体に対して超音波を送信し、被検体からの反射超音波を受信する受信ステップと、
    観察領域から得られるＢモード画像生成用の受信信号に基づく第１のデータと、前記観察領域からカラードプラ法を用いて得られる血流情報に基づく第２のデータとを含む学習データを用いて、複数の条件によって、機械学習された学習モデルを用いて、前記受信ステップにおいて受信したＢモード画像生成用の受信信号に基づく第３のデータから、前記血流情報に基づく２次元データを推定する推定演算ステップと、
    前記推定演算ステップにおいて推定されたデータに基づく画像を表示装置に表示する表示ステップと、
    を有し、
    前記学習モデルは、前記観察領域から得られるＢモード画像生成用の受信信号に基づく前記第１のデータと前記観察領域からカラードプラ法を用いて得られる血流情報に基づく前記第２のデータとの相関関係について機械学習されている
    ことを特徴とする画像処理方法。
18. 請求項１７に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。
    

Images