JP7269778B2

JP7269778B2 - 超音波撮像装置、および、画像処理装置

Info

Publication number: JP7269778B2
Application number: JP2019072291A
Authority: JP
Inventors: 一宏山中; 宏樹田中; 淳一塩川; 朋史西浦
Original assignee: 富士フイルムヘルスケア株式会社
Priority date: 2019-04-04
Filing date: 2019-04-04
Publication date: 2023-05-09
Anticipated expiration: 2039-04-04
Also published as: JP2020168233A; US20200320750A1; US11461938B2; CN111789635A; CN111789635B

Description

本発明は、超音波を用いて被検体内の画像を撮像する超音波撮像技術に関するものであり、画像の再構成にあたって、機械学習の手法により訓練されたアルゴリズムを用いる技術に関するものである。

超音波撮像技術とは、超音波（聞くことを意図しない音波、一般的には２０ｋＨｚ以上の高周波数の音波）を用いて人体をはじめとする被検体の内部を非侵襲的に画像化する技術である。

近年、ニューラルネットワークやディープラーニングなどの技術を中心とした機械学習技術の進展により、超音波撮像技術による画像化において、機械学習技術を用いた再構成処理や画質改善処理の例が複数開示されている。ニューラルネットワークへの入力データと、ニューラルネットワークの出力の目標とする教師データとのセットを用いて、ニューラルネットワークの訓練を行うことにより、未知の入力データに対しても所望の出力を高精度で得ることができる。画像化される前の信号を入力データとし、画像化後のデータを教師データとすれば、ニューラルネットワークは画像再構成の処理を行うことになるし、入力データと教師データ双方に画像化後のデータを用いれば、ニューラルネットワークに画質改善をさせることも可能である。

例えば特許文献１には、超音波エコー信号やエコー信号をもとにビームフォーミングされた信号か、またはその両方をニューラルネットワークへの入力とし、ニューラルネットワークから画像データを出力する超音波画像システムが開示されている。ニューラルネットワークは機械学習の手法によって訓練されたものであって、これを用いることによって、従来の超音波画像化処理を置き換えたり、より高画質な画像を得たり、明示的な物理モデルを与えることなく組織性状の情報や血流情報などを得ることができるようになるとされている。

国際公開第２０１８／１２７４９７号

ニューラルネットワークは、通常大量のデータをもとにした学習を通して各ノードでの演算に用いる重みを定め、目標とする高精度な画像や信号等を出力できるようになるものであり、データをもとにした処理があらかじめ定められるモデルベースの処理と比較すると、その挙動を直感的に理解することが難しいことがある。特に、未知の入力に対するニューラルネットワークの挙動を予測することは難しい。そのため、ニューラルネットワークの出力する画像や信号等を見た人間は、それが妥当な出力か否かをその出力のみから判断することも難しい。

特許文献１に記載の超音波撮像装置は、画像化プロセス中に、機械学習により訓練されたニューラルネットワークが含まれるため、未知の入力である受信信号からニューラルネットワークが画像を生成する構成である。このため、ニューラルネットワークによって生成され、表示される画像を見たユーザーが、その画像が妥当な画像かどうかを判断することは難しい。

本発明の目的は、ニューラルネットワークを含む処理により生成された画像が妥当かどうかを判断する材料となる情報をユーザに提供することにある。

上記目的を達成するために、本発明の超音波撮像装置は、被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、受信信号に基づいて超音波画像を生成する画像生成部と、受信信号または画像生成部が生成した超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、受信信号、前記超音波画像、推測受信信号、推測超音波画像、および、ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、推測受信信号または推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有する。

本発明によれば、超音波撮像装置でニューラルネットワークを用いて生成した画像の妥当性を示す情報を表示することができるため、ユーザーは、画像が妥当性の判断が可能になる。

（ａ）本実施形態の超音波撮像装置全体の斜視図、（ｂ）本実施形態の超音波撮像装置の概略構成を示すブロック図。実施形態の超音波撮像装置全体の構成を表すブロック図。（ａ）～（ｃ）実施形態の超音波撮像装置本体のうち、受信信号処理部から画像処理部までのデータの流れの詳細を示すブロック図。（ａ）および（ｂ）予め定めておいた差分値の絶対値（特徴量）と妥当性を示す値との関係を示すグラフ。実施形態１のニューラルネットワークを訓練するときの計算の流れを示す概念図。実施形態１における動作の流れを示すフローチャート。実施形態１において画像処理部が生成する超音波画像の例を示す図。実施形態１においてユーザーの入力に応じた画像処理部の動作の変更方法を示すフローチャート。実施形態２の超音波撮像装置本体のうち、受信信号処理部から画像処理部までの構成とデータの流れの詳細を示すブロック図。実施形態２のニューラルネットワークの構成の一例を示す説明図。実施形態３において、送信する超音波の波長に応じて妥当性情報生成部の処理を変更する際のデータの流れを説明するブロック図。実施形態３において、送信する超音波の波長に応じて妥当性情報生成部の処理を変更する際のデータの流れを説明する概念図。実施形態４において、妥当性情報をもとに画像処理部が画像処理を変更する際のデータの流れを示すブロック図。実施形態４において、妥当性情報をもとに画像処理部が画像処理を変更する際のデータの流れを示すブロック図。

本発明の一実施形態について図面を用いて説明する。

本実施形態の超音波撮像装置は、図１（ａ）、（ｂ）に示すように、画像生成部１０８と、学習済みのニューラルネットワーク１０９と、妥当性情報生成部１１０とを備えて構成される。画像生成部１０８は、超音波探触子１０２が出力する受信信号を受け取って、受信信号に基づいて超音波画像を生成する。ニューラルネットワーク１０９は、受信信号、または、画像生成部１０８が生成した超音波画像を入力とし、推測受信信号または推測超音波画像を出力する。妥当性情報生成部１１０は、受信信号、超音波画像、推測受信信号、推測超音波画像、および、ニューラルネットワーク１０９の中間層の出力、のうちの一つ以上を用いて、推測受信信号または推測超音波画像の妥当性を示す情報を生成する。

例えば、妥当性情報生成部１１０は、受信信号、超音波画像、推測受信信号、推測超音波画像、および、ニューラルネットワークの中間層の出力、のうちの２つ以上を比較する演算（例えば、差分を求める演算）を行って、演算結果（差分）に基づいて妥当性を示す情報を生成する構成である。

別の例としては、妥当性情報生成部１１０は、受信信号、超音波画像、推測受信信号、推測超音波画像、および、ニューラルネットワークの中間層の出力、のうちの一つから特徴量を抽出し、予め求めておいた特徴量と妥当性を示す値との関係に基づいて、抽出した特徴量に対応する妥当性を示す値を求める構成である。

このような構成であるため、本実施形態の超音波撮像装置は、推測超音波画像、または、推測受信信号から画像生成部が生成した超音波画像とともに、それらの妥当性を示す情報を画像表示部１０４に表示することができる。よって、ユーザーはニューラルネットワーク１０９が出力する画像等の妥当性の判断をしやすくなる。

＜＜実施形態１＞＞
実施形態１の超音波撮像装置１００について図１（ａ）、図２、図３（ａ）を用いて詳しく説明する。

実施形態１では、妥当性情報生成部１１０は、ニューラルネットワーク１０９へ入力される受信信号または超音波画像と、ニューラルネットワーク１０９から出力される推測受信信号または推測超音波画像との差分を求め、差分に基づいて妥当性を示す情報を生成する。

図１（ａ）は、超音波撮像装置１００の全体の斜視図を、図２は、全体の概略構成を、図３（ａ）は、装置の一部の詳しい構成図を示す。超音波撮像装置１００は、超音波撮像装置本体１０１と超音波の送受信を行う超音波素子１１３を１以上有する超音波プローブ１０２とユーザーがパラメータを入力するコンソール１０３と超音波画像を表示する画像表示部１０４とを有する。

超音波撮像装置本体１０１は、送信ビームフォーマ１０６と、超音波プローブ１０２と本体１０１との間で信号の送信と受信を切り替える送受信スイッチ１０７と、画像生成部１０８と、学習済みのニューラルネットワーク１０９と、ニューラルネットワーク１０９の出力の妥当性を示す情報２０６を生成する妥当性情報生成部１１０と、画像処理部１１２と、超音波撮像装置の上述の各構成要素１０６－１１２の各構成へ制御信号を送信する制御部１０５とを有する。本体１０１の制御部１０５には、コンソール１０３が接続され、画像処理部１１２には、画像表示部１０４が接続されて超音波撮像装置１００を構成している。

送信ビームフォーマ１０６は、所定量で遅延させた送信信号を生成して、超音波探触子１０２を構成する複数の超音波素子１１３に出力する。これにより、複数の超音波素子１1３は、それぞれ所定量ずつ遅延した超音波を被検体１１４へ送信する。送信された超音波は、被検体１１４により反射等されて超音波素子１１３に戻り、受信され、受信信号に変換される。受信信号は、ＡＤ変換器（不図示）によりデジタル信号に変換され、ＲＦデータ２０１となり、送受信スイッチ１０７を経由して画像生成部１０８へ送られる。

画像生成部１０８は、ＲＦデータ２０１を処理し、ニューラルネットワーク１０９の入力データとなる超音波画像２０２を生成する。画像生成部１０８は、例えばローパス・ハイパス・バンドパスフィルター処理といったＲＦデータに対する一般的な信号処理や、遅延加算法等により整相処理を行って超音波画像を再構成する処理等を行う。超音波画像２０２は、いわゆるＢモード画像であっても良いし、流れを見るためのドップラー画像であっても良いし、組織の硬さを見るための弾性情報画像であっても良い。また、画像生成部１０８が行う処理は、これらの画像を生成する上で行われるさまざまな処理を含んでよい。

ニューラルネットワーク１０９は、超音波画像２０２を入力とし、推測超音波画像（以下、推測画像と呼ぶ）２０３を出力するネットワークであり、機械学習の手法により教師データを用いてあらかじめ訓練された学習済みネットワークである。教師データの例については後で説明する。ニューラルネットワーク１０９は機械学習の手法により訓練されたネットワークであれば何でもよく、例えば畳み込みニューラルネットワークや再帰型ニューラルネットワークを使うことができる。

画像生成部１０８は、ニューラルネットワーク１０９が訓練に用いた入力データと同種類の超音波画像を生成する。ニューラルネットワーク１０９が出力する推測画像２０３は、超音波データ２０２と同じデータ形式である。すなわち、超音波画像２０２が２次元画像形式である場合には、推測画像２０３も２次元画像形式である。

妥当性情報生成部１１０は、ニューラルネットワーク１０９が出力した推測画像２０３の妥当性を表す情報である妥当性情報２０６を生成する。ここでは、妥当性情報生成部１１０は、推測画像２０３と超音波画像２０２とを用いて演算（例えば、差分を求める演算）を行い、妥当性情報２０６を算出する。

なお、画像生成部１０８、ニューラルネットワーク１０９、妥当性情報生成部１１０は、ソフトウェアによって実現することも可能であるし、その一部または全部をハードウェアによって実現することも可能である。ソフトウェアによって実現する場合、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサとメモリによりこれらを構成し、メモリに予め格納されたプログラムを読み込んで実行することにより、画像生成部１０８、ニューラルネットワーク１０９、妥当性情報生成部１１０の機能を実現する。また、ハードウェアによって実現する場合には、ＡＳＩＣ（Application Specific Integrated Circuit）のようなカスタムＩＣやＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルＩＣを用い、画像生成部１０８、ニューラルネットワーク１０９、妥当性情報生成部１１０の動作を少なくとも実現するように回路設計を行なえばよい。

妥当性情報生成部１１０の動作を説明する。妥当性情報生成部１１０は、ニューラルネットワーク１０９へ入力される超音波画像２０２と、ニューラルネットワーク推測画像２０３との対応するピクセルの画素値を差分を取り、その絶対値を生成する。妥当性情報生成部１１０は、差分の絶対値を妥当性情報２０６として出力する。

また、妥当性情報生成部１１０は、超音波画像２０２と推測画像２０３との対応するピクセルの画素値を差分を求め、さらにその絶対値を求め、予め定めておいた差分値の絶対値と妥当性を示す値との関係２０５を参照し、求めた差分に対応する妥当性を示す値を求めてもよい。上記予め定めておいた差分値の絶対値と妥当性を示す値との関係２０５は、テーブルとしてメモリ１１１に保持しておいてもよいし、図４（ａ）のように、差分値（特徴量）と妥当性を示す値（妥当性情報）との関係２０５を示すグラフや関数を予め定めておき、メモリ１１１に格納しておいて、妥当性情報生成部１１０がメモリ１１１から読み出して用いてもよい。図４（ａ）の例は、差分値があるしきい値よりも小さければ妥当性を示す値が大きく、差分値があるしきい値により大きければ妥当性を示す値が小さくなるように設定されている。また、上記予め定めておいた差分値の絶対値と妥当性を示す値との関係２０５は、学習に用いたデータに基づいて設定しても良い。

なお、ここでいう１ピクセルは、必ずしも１画素である必要はなく、予め定めた所定のサイズの領域であればよい。例えば、予め定めた画素数からなる領域を１ピクセルとすることもできる。その場合、ピクセルの画素値としては、ピクセルを構成する画素の平均値や最大値や最小値など予め定めておいた演算方法で求めた代表値を用いる。

なお、上記説明では、超音波画像２０２と推測画像２０３とが同じ画像サイズの場合について説明したが、超音波画像２０２と推測画像２０３は、サイズやデータ形式が異なっていてもよい。その場合、妥当性情報生成部１１０は超音波画像２０２と推測画像２０３に含まれる対応する任意のデータについて妥当性を示す値を演算すればよい。

妥当性情報生成部１１０による妥当性情報２０６の算出は、ここで示した差分を取る方法だけでなく、推測画像２０３と超音波画像２０２とを比較する様々な演算を取りうる。例えば、差分そのものではなくpeak signal to noise ratio（PSNR）と呼ばれる２つの画像の差分を画像内の最大信号強度で規格化した値を用いても良いし、構造類似性（structure similarity/SSIM）指数など、画像内の領域ごとに比較するような演算を用いても良い。

例えば、妥当性情報生成部１１０は、推測画像２０３と超音波画像２０２それぞれの画像中の画像特徴量を、画像内に設定した領域ごとに算出し、その画像特徴量どうしを比較することによって妥当性情報２０６を生成しても良い。画像特徴量としては、例えば同時生起行列を使用したテクスチャ解析により算出された特徴量を用いるなど、テクスチャ解析の手法を用いて算出しても良い。

画像処理部１１２は、推測画像２０３と妥当性情報２０６とに基づいて、画像表示部１０４に表示させる超音波画像２０７を生成する。これにより、推測画像２０３のみではなく、推測画像２０３の妥当性を判断する根拠となる妥当性情報２０６をユーザーに表示できる。画像表示部１０４は、画像処理部１１２が生成した超音波画像２０７をユーザーへ表示する。超音波画像２０７については、後で詳しく説明する。

ここで、学習済みニューラルネットワーク１０９について説明する。ニューラルネットワーク１０９は、あらかじめ教師データを用いて訓練されることにより、ノードごとの重みが決定されている。図５を用いて、ニューラルネットワーク１０９の訓練方法を説明する。

ニューラルネットワーク１０９の訓練には、教師データとして、訓練用入力データ２１１と、目標とする正解データ２１０とを用いる。訓練用入力データ２１１は、超音波画像２０２を生成するのと同様の処理により生成したデータである。正解データ２１０は、ニューラルネットワークから出力させたい目標とするデータである。訓練用入力データ２１１のニューラルネットワーク１０９に入力し、正解データ２１０を参照しながらニューラルネットワーク１０９を構成する複数層に含まれるノードの重みの最適化を行う。具体的には、訓練用入力データ２１１を入力した場合のニューラルネットワーク１０９の出力である訓練時出力データ２１２と、正解データ２１０とを損失関数２１３により比較し、その損失関数が最小になるようにニューラルネットワーク１０９のノードの重みのアップデート２１４を行う。重みのアップデート２１４には、例えば誤差逆伝搬法が用いられる。

例えば、訓練用入力データ２１１として少ない数の送信で得られた受信信号を用いて再構成処理を行った画像を用い、正解データ２１０として、訓練用入力データ２１１よりも多い数の送信でそれぞれ得られた受信信号を用いて再構成処理を行った画像を用いる。言い換えるならば、訓練用入力データ２１１よりも送信走査線の密度が高い超音波画像を正解データ２１０とすることができる。このようにして訓練された後のニューラルネットワーク１０９は、超音波画像２０２から、送信数が多い場合の受信信号から再構成された画像を推測する推測画像２０３を出力することができる。なお、送信走査線のみならず、訓練用入力データ２１１よりも、教師データは、超音波画像を入力データとし、入力データ２１１よりも送信走査線および受信走査線の少なくとも一方の密度が高い超音波画像を正解データ２１０として用いることも可能である。

訓練用入力データ２１１として受信信号（ＲＦデータ）を用い、正解データ２１０として、被検体１１４に送信する超音波の送信信号の周波数を、訓練用入力データの受信信号を得るときの送信信号よりも高く設定して得た受信信号を用いることも可能である。このような訓練用データ２１１と正解データ２１０により訓練された後のニューラルネットワーク１０９は、受信信号（ＲＦデータ）２０１から、送信信号の周波数を高く設定した場合の推測受信信号２２３を出力することができる。同様に、訓練用入力データ２１１として超音波画像を用い、正解データ２１０として、被検体１１４に送信する超音波の送信信号の周波数を、訓練用入力データの超音波画像を生成するときの送信信号よりも高く設定して得た超音波画像を用いることも可能である。このような訓練用データ２１１と正解データ２１０により訓練された後のニューラルネットワーク１０９は、超音波画像２０２から、送信信号の周波数を高く設定した場合の超音波画像を推測する推測画像２０３を出力することができる。

ニューラルネットワーク１０９の訓練は、同じ超音波撮像装置１００で撮像した訓練用入力データ２１１と正解データ２１０を用いても行っても良い。また、異なる装置を用いて撮像した訓練用入力データと正解データ２１０を用いて、同じ構造の別のニューラルネットワークの訓練も行った後、その重みのみを超音波撮像装置１００のニューラルネットワーク１０９に記憶させるようにしても良い。

なお、妥当性情報生成部１１０が、妥当性情報の生成に用いる差分値（特徴量）と妥当性を示す値との関係２０５は、訓練用入力データ２１１に対するニューラルネットワーク１０９のふるまいをもとにして設定しても良い。例えば、訓練用入力データ２１１を超音波画像２０２として訓練後のニューラルネットワーク１０９に入力して推測画像２０３を生成し、推測画像２０３と超音波画像２０２との差分（特徴量）を算出しておく。これを、複数の訓練用入力データ２１１についてそれぞれ行い、得られた複数の差分値の確率分布を図４（ｂ）のように算出する。得られた確率分布が大きいものほど、妥当性を示す値（妥当性情報）が大きくなるように、差分値（特徴量）と妥当性を示す値との関係２０５を図４（ｂ）のように設定する。

具体的には、図４（ｂ）で示すように訓練用入力データ２１１をニューラルネットワーク１０９に入力した場合にニューラルネットワーク１０９が出力する推測画像２０３と、訓練用入力データ２１１（超音波画像２０２）との差分値を求め、差分値の確率分布（図４（ｂ）ではハッチ付ヒストグラム）を求める。求めた差分値の確率と妥当性を示す値（妥当性情報）が比例するように、差分値（特徴量）と妥当性情報の関係２０５（図４（ｂ）において点線で図示）を生成する。

言い換えるならば、ニューラルネットワーク１０９を訓練（学習）させる際に用いた複数の訓練用入力データ２１１を、訓練後のニューラルネットワーク１０９に入力した場合にそれぞれ出力される複数の出力データ２０３と、入力した複数の学習用入力データ２１１との差分の分布の範囲内（図４（ｂ）の範囲４１１）は、妥当性を示す値が、他の範囲よりも、高い値に設定されている。これにより、超音波画像２０２をニューラルネットワーク１０９に入力したときのふるまい（得られる推測画像２０３）が、訓練用入力データ２１１を入力したときのふるまいと同様である場合には、図４（ｂ）に基づき、妥当性情報生成部１１０が、妥当性を示す値を大きく出力することができる。

なお、差分値（特徴量）と妥当性を示す値との関係２０５は、訓練用入力データ２１１に関係なく定めても良い。例えば、図４（ａ）を用いてすでに説明したように、差分値が、ある一定の閾値以下であれば、妥当な出力であるとして妥当性を示す値（情報）として高い値を出力し、その閾値より小さければ、妥当でない出力であるとして妥当性を示す値（情報）として低い値を出力するようにしてもよい。

つぎに、図６を用いて、本実施形態の超音波撮像装置の動作を順を追って説明する。

まず、ステップＳ１０１で送信ビームフォーマ１０６が送信信号を探触子１０２の超音波素子１１３に送信する。超音波素子１１３は、被検体１１４に超音波を送信する。被検体１１４と相互作用をした超音波を超音波素子１１３が受信し、受信信号（ＲＦデータ２０１）を画像生成部１０８が信号処理及び整相処理等を行い、超音波画像２０２を生成する（ステップＳ１０２）。次にニューラルネットワーク１０９が、超音波画像２０２の入力を受けて、推測画像２０３を出力する（ステップＳ１０３）。

次に妥当性情報生成部１１０が、推測画像２０３と超音波画像２０２との差分値を求め、その絶対値を妥当性情報とするか、もしくは、差分値に基づいて、予め定めておいた関係２０５を参照し、妥当性を示す値（妥当性情報）２０６を生成する（ステップＳ１０４）。次に画像処理部１１２が、推測画像２０３と妥当性情報２０６とをもとに超音波画像２０７を生成する（ステップＳ１０５）。画像表示部１０４が、超音波画像２０７を表示する（ステップＳ１０６）。

コンソール１０３がユーザから受け付けた入力をもとに、撮像を終了するか否かを判定し、撮像を終了しない場合にはステップＳ１０１へ戻り、同じ動作を繰り返し、ステップＳ１０６で画像表示部１０４に表示される超音波画像２０７を更新する。撮像を終了する場合には一連の動作を終了する（ステップＳ１０７）。

以上の手順により、ユーザーは、画像表示部１０４に表示された超音波画像２０７を見ることにより、ニューラルネットワーク１０９が出力した推測画像２０３の妥当性を判断することができる。

図７を用いて画像処理部１１２が生成し、画像表示部１０４が表示する画像の例について説明する。

画像処理部１１２は、図７(a)のように、推測画像２０３と妥当性情報２０６とを重畳した超音波画像２０７を生成することができる。重畳方法は、輝度の推測画像２０３に白黒を、妥当性情報２０６に例えば赤などの色を用いるようにしても良い。

また、画像処理部１１２は、図７(b)のように、推測画像２０３と妥当性情報２０６とを隣り合わせに並べた超音波画像２０７を生成してもよい。これにより、ユーザは、推測画像２０３と妥当性情報２０６とを見比べることができる。

また、画像処理部１１２は、図７(c)のように、推測画像２０３の中に設けられた表示領域内に妥当性情報２０６を表示する超音波画像２０７を生成してもよい。これらの方法により、ユーザーは推測画像２０３を観察しながら同時に妥当性情報２０６を知ることができる。

画像処理部１１２は、推測画像２０３の表示中に妥当性情報２０６を間欠的に表示する超音波画像２０７を生成してもよい。すなわち、あるフレームでは、妥当性情報２０６を推測画像２０３に重畳し、あるフレームでは、推測画像２０３のみを超音波画像２０７とするといったことを一定間隔で繰り返す超音波画像２０７を生成する。この方法により、ユーザーは妥当性情報２０６に邪魔されることなく推測画像２０３を観察できるとともに、妥当性情報２０６を一定の時間間隔で確認することが可能になる。

画像処理部１１２は、妥当性情報２０６をもとに推測画像２０３を修正した超音波画像２０７を生成しても良い。例えば、妥当性情報２０６が低値、すなわち妥当性が低いと推定される領域については、推測画像２０３の輝度を低減し、妥当性が高いと推定される領域については、推測画像２０３の輝度を上昇させるような処理を行って超音波画像２０７を生成しても良い。このような方法により、ユーザーはより妥当である画像領域にのみ関心が届きやすくなる。

画像処理部１１２は、妥当性情報２０６の全領域や、あるいは一部の領域について統計を取り、その領域に関する妥当性を示す値（情報）をある数値にまとめ、その数値を超音波画像２０７上に表示する超音波画像２０７を生成しても良い。これにより、ユーザーはその数値のみを見て推測画像２０３の関心領域中の妥当性を容易に判断することができる。

図８を用いて、超音波撮像装置１００の動作の別の例について説明する。図８の例では、超音波撮像装置１００は、ユーザーの入力に応じて、ユーザーが妥当性に関する判断材料の表示を要求した場合にのみ、妥当性情報を表示する。

図８のステップＳ１１１～１１３およびステップS１１８～１１９は、図６において説明したステップＳ１０１～１０７と同様の動作であるため説明を省略する。

図８のステップＳ１１４において、コンソール１０３からユーザが入力した情報に基づき、妥当性情報を表示するかを切り替える。すなわち、ユーザが、妥当性情報を表示することを求めた場合には、図６のステップＳ１０４～１０５と同様の動作をステップＳ１１６～１１７で行い、妥当性情報生成部１１０は、妥当性情報２０６を生成し、画像処理部１１２は、妥当性情報２０６と推測画像２０３から超音波画像２０７を生成する。

一方、ステップＳ１１４において、ユーザが妥当性情報を表示することを求めなかった場合、画像処理部１１２は、推測画像２０３のみをもとに画像処理を行い、超音波画像２０７を生成する（ステップＳ１１５）。

図８の動作例では、超音波撮像装置１００は、ユーザーが妥当性に関する判断材料を必要としているときにのみ、妥当性情報２０６を提供できる。

なお、コンソール１０３がユーザーから受け付ける入力は、図８で示したような妥当性情報の表示の有無のみではなく、妥当性情報の提示方法に関する様々なパラメータの設定が含まれていても良い。例えば、妥当性情報２０６の表示輝度ゲインを設定や、妥当性情報２０６が間欠的に表示されるフレーム滅レートの設や、妥当性情報２０６により低減される推測画像２０３の輝度低減のされ方を設定等を、コンソール１０３においてユーザーから受け付けてもよい。

また、ユーザーが、妥当性情報２０６の超音波画像２０７への反映方法を切り替えるようにしても良い。例えば、図７（ａ）～（ｃ）に示した反映方法等をユーザが選択できるようにしてもよい。これにより、推測画像２０３の妥当性に関する判断材料を、推測画像の妥当性に関するユーザーの関心に応じて提供できる。

＜実施形態１の変形例＞
上述してきた実施形態１では、ニューラルネットワーク１０９は、超音波画像２０２を入力データとして、推測画像２０３を出力するものであったが、本実施形態はこれに限られない。ニューラルネットワーク１０９の入力は、ＲＦデータ２０１から超音波画像を生成する際のどの時点のデータを用いても良い。例えば、受信したＲＦデータそのものや、受信ビームフォーミング（整相）された後のＲＦデータや、複数の受信ビームフォーミング後のＲＦデータが加算されたデータを、ニューラルネットワーク１０９を入力データとしてもよい。また、画像処理や対数圧縮などが行われたあとの超音波画像データをニューラルネットワーク１０９を入力データとしてもよい。

ＲＦデータ２０１をニューラルネットワーク１０９を入力データとする場合には、同じ次元のＲＦデータを推測信号２２３としてニューラルネットワーク１０９から出力させる構成とすることができる。

具体例としては図３（ｂ）のように、ニューラルネットワーク１０９は、受信ビームフォーマ１２０により整相後の受信信号２２２を入力として、同じ次元の推測受信信号２２３を出力する構成とする。ニューラルネットワーク１０９の後段には、画像生成部１０８が配置され、画像生成部１０８が、推測受信信号２２３に基づいて超音波画像を生成する。妥当性情報生成部１１０は、ニューラルネットワーク１０９に入力された受信信号２２２と、ニューラルネットワーク１０９から出力された推測受信信号２２３との差分を求め、差分に基づいて妥当性を示す情報を算出する。

図３（ｂ）の構成の場合、例えば、学習済みのニューラルネットワーク１０９を訓練する入力データとして受信信号を用い、被検体１１４に送信する超音波の送信信号の周波数を、訓練用入力データの受信信号を得るときの送信信号よりも高く設定して得た受信信号をを正解データとして用いることができる。これにより、訓練後のニューラルネットワーク１０９は、受信信号２２２が入力された場合、被検体１１４に送信する超音波の送信信号の周波数を、受信信号２２２を得るときの送信信号よりも高く設定して得たられる推測受信信号２２３を出力することができる。

また、ＲＦデータ２０１をニューラルネットワーク１０９を入力データとして、超音波画像を推測画像２０３として出力させる構成としてもよい。

具体例としては図３（ｃ）のように、ニューラルネットワーク１０９は、受信信号２２２を入力として、推測超音波画像２０３を出力する構成とする。この場合、受信ビームフォーマ１２０の後段に、ニューラルネットワーク１０９と並列に画像生成部１０８を配置し、画像生成部１０８は、受信信号２２２から超音波画像を生成するように構成する。妥当性情報生成部１１０は、受信信号２２２から画像生成部１０８が生成した超音波画像と、ニューラルネットワーク１０９から出力された推測超音波画像２０３との差分を求め、差分に基づいて妥当性を示す情報を算出する。

＜＜実施形態２＞＞
実施形態２の超音波撮像装置について説明する。実施形態２の超音波撮像装置は、妥当性情報生成部１１０は、受信信号（ＲＦデータ）、超音波画像、推測受信信号、推測超音波画像、および、ニューラルネットワークの中間層の出力、のうちの一つから特徴量を抽出し、予め求めておいた特徴量と妥当性を示す値との関係２０５に基づいて、抽出した特徴量に対応する妥当性を示す値を求める。

図９は、実施形態２の超音波撮像装置の構成の一例を示している。図９の構成では、妥当性情報生成部１１０が、ニューラルネットワーク１０９の中間層１１５の出力である中間層出力２１５をもとに妥当性情報２０６を生成する。この構成について、実施形態１と異なる部分を中心に説明する。

ニューラルネットワーク１０９は連続する複数の関数によって構成されており、各関数を層と呼ぶ。中間層１１５とは、ニューラルネットワーク１０９での関数関数のことを言い、関数の出力値を中間層出力２１５と言う。例えば順伝搬型ニューラルネットワークの場合には、活性化関数の出力値が中間層出力２１５に対応する。

図９に示すように、妥当性情報生成部１１０には、中間層出力２１５が入力される。妥当性情報生成部１１０は、中間層出力２１５をもとに妥当性情報２０６を生成する。例えば、妥当性情報生成部１１０は、あらかじめメモリ１１１に記憶された特徴量と妥当性情報との関係２０５を読み出し、それに基づいて、中間層出力２１５から妥当性情報２０６を生成する。

あらかじめメモリ１１１に記憶された特徴量と妥当性情報との関係２０５は、例えば以下のようにして生成したものである。まず、訓練用入力データ２１１を訓練後のニューラルネットワーク１０９に入力し、その時の中間層出力２１５を得る。これを複数の訓練用入力データ２１１についてそれぞれ行って、複数の中間層出力２１５を得る。得られた複数の中間層出力２１５について平均を取ったり、パターン分類を行ったりすることにより、訓練用入力データ２１１がニューラルネットワーク１０９に入力された場合の中間層出力２１５のパターン（特徴量）に関する情報を得る。

そして、訓練用入力データ２１１を入力した場合と同様のパターン（特徴量）の出力を示す中間層出力２１５は、妥当性が高く、訓練用入力データ２１１を入力した場合と異なるパターン（特徴量）の出力を示す中間層出力２１５は、妥当性が低くなるように、特徴量と妥当性情報との関係２０５を予め生成しておく。生成した特徴量と妥当性情報との関係２０５は、メモリ１１１に格納しておく。

そして、実際の超音波画像２０２をニューラルネットワーク１０９に入力した場合には、妥当性情報生成部１１０は、中間層１１５の中間層出力２１５を受け取って、メモリ１１１から読み出した特徴量と妥当性情報との関係２０５を参照することにより、中間層出力２１５に対応する妥当性情報（妥当性を示す値）を得る。妥当性情報生成部１１０は、妥当性を示す値が高い場合、ニューラルネットワーク１０９への入力データである超音波画像２０２が訓練用入力データ２１１と同じようなふるまいをしていると判別できる。したがって、妥当性情報生成部１１０は、妥当性情報の値により、超音波画像２０２が訓練用入力データ２１１により学習された範囲に含まれているかを判別することができ、訓練用入力データ２１１により学習された範囲に含まれている場合には、出力される推測画像２０３の妥当性が高いことを示す妥当性情報を出力することができる。

また、図９では、中間層１１５として、ニューラルネットワーク１０９の途中の層を用いているが、途中の層に限定されるものではなく、入力層から出力層を含めてどの層を中間層１１５として用いてもよい。

図１０に示したように、層によってノードの数が異なるニューラルネットワーク１０９を用いる場合、ノードの数が最も小さい層を中間層１１５として用い、その出力を中間層出力２１５としてもよい。ノードの数が最も小さい層は、特徴が表れやすいと一般にいわれているため、この層から出力されるデータを中間層出力２１５として用いることにより、妥当性情報生成部１１０は、入力データである超音波画像２０２が訓練用入力データ２１１と同じようなふるまいをしているかどうかをより容易に判別できる可能性がある。

なお、妥当性情報生成部１１０への入力として中間層出力２１５ではなく、超音波データ２０２や、画像生成部１０８における処理過程中の任意のデータを用いても良いし、推測画像２０３を用いても良いし、それらの任意の組み合わせを用いても良い。この方法を用いることにより、超音波データ２０２がＲＦデータの形式であり、推測画像２０３の形式が画像データの形式であるというように異なるデータの形式であった場合でも推測画像２０３の妥当性情報２０６を生成することができる。すなわち、ニューラルネットワーク１０９の入力と出力のデータ形式が異なる場合であっても推測画像２０３の妥当性情報２０６を生成することができる。

なお、図９では、超音波撮像装置の構成として、ニューラルネットワーク１０９に超音波画像２０２を入力する図３（ａ）に対応する構成を示したが、実施形態２はこれに限られず、図３（ｂ）、（ｃ）等のニューラルネットワーク１０９に受信信号を入力する構成等、他の構成にすることももちろん可能である。

＜＜実施形態３＞＞
実施形態３の超音波撮像装置について図１１、図１２を用いて説明する。

実施形態３の超音波撮像装置は、実施形態１と同様の構成であるが、妥当性情報生成部１１０が、妥当性情報を算出するピクセルのサイズを、送信した超音波また受信した超音波の波長に応じて変更する点で実施形態１とは異なっている。

図１１は、実施形態３の超音波撮像装置の主要部の構成を示す図であり、図１２は、妥当性情報生成部１１０が、妥当性情報を算出するピクセルサイズと送信超音波の波長を示す図である。

ユーザーは、コンソール１０３を通じて、超音波プローブ１０２が送信する超音波１１６の波長を設定する。この送信超音波の設定は、超音波の波長や周波数を直接数値で設定できるように構成しても良いし、撮像モードを設定することにより間接的に切り替えられるようにしても良い。

制御部１０５は、コンソール１０３を通じて設定された送信超音波１１６の波長に従い、その波長の超音波を送信させる送信信号を生成するよう、送信ビームフォーマ１０６へ指示する。送信ビームフォーマ１０６は、送受信スイッチ１０７を経由して超音波プローブ１０２へ送信信号を送る。これにより、超音波プローブ１０２から、設定された波長の送信超音波１１６が発信される。

制御部１０５は、妥当性情報生成部１１０に送信波長の情報を送り、妥当性情報生成部１１０はその送信波長の情報に応じて、生成する妥当性情報２０６の座標グリッド３０１の大きさを変更する。図１１においては、妥当性情報生成部１１０に推測画像２０３、ニューラルネットワークの中間層１１５の動作データ２０４、超音波データ２０２が入力される場合を図示しているが、実施形態１、２で述べたようにこれらのデータの任意の組み合わせを妥当性情報生成部１１０への入力としてよい。

なお、画像生成部１０８において受信信号２０１の波長を検出し、その波長サイズに応じて妥当性情報生成部１０がピクセルサイズを変更する構成としてもよい。

座標グリッド３０１の大きさの変更方法について図１２を用いて詳しく説明する。ここでは、妥当性情報生成部１１０が生成する妥当性情報２０６が２次元画像形式である場合を例にとって説明する。生成する妥当性情報２０６の座標グリッド３０１は、ｘ座標とｙ座標により構成される。座標グリッド３０１によって区切られた領域が１ピクセルである。妥当性情報生成部１１０は、送信超音波の波形３０４の波長３０５に応じて妥当性情報のｘ方向のピクセルサイズ３０２と妥当性情報のｙ方向のピクセルサイズ３０３を変更する。

妥当性情報生成部１１０は、ｘ方向のピクセルサイズ３０２およびｙ方向のピクセルサイズ３０３を送信超音波の波長３０５に対して、ある定数による比例関係のサイズに設定する構成としても良いし、あらかじめ定義されたテーブルにしたがって、波長３０５に対応するピクセルサイズ３０２，３０３を変更する形式であっても良い。

ｘ方向のピクセルサイズ３０２とｙ方向のピクセルサイズ３０３は等しくても良いし、異なる値を用いても良い。

このようにして妥当性情報の座標グリッド３０１を設定することにより、妥当性情報２０６を生成するにあたって適切なグリッドサイズ（ピクセルサイズ）を設定することができ、演算コストを抑制することができる。

なお、妥当性情報２０６の形式は、２次元画像形式に限られるものではなく、３次元のボリューム形式であっても良いし、さらに複数フレームを持つ３次元あるいは４次元形式であっても良い。また、例えば超音波プローブとして、セクタープローブやコンベックスプローブなどを用いる場合など、カーテシアン座標系でなく、極座標系などの他の空間座標系を用いて座標グリッドを生成しても良い。

＜＜実施形態４＞＞
実施形態４の超音波撮像装置について図１３、図１４を用いて説明する。

実施形態４の超音波撮像装置は、実施形態１と同様の構成であるが、画像処理部１１２が生成して画像表示部１０４に表示させる超音波画像２０７の態様が実施形態１とは異なっている。

実施形態４では、画像処理部１１２は、妥当性情報２０６を用いて推測画像２０３を更新して超音波画像２０７を生成する処理を行ったり、複数の推測画像２０３から超音波画像２０７を生成するのに使う画像を選択する等の処理を行う。

図１３を用いて、画像処理部１１２が、妥当性情報２０６から推測画像２０３を更新して超音波画像２０７を生成する処理について説明する。

画像処理部１１２は、超音波画像２０２、妥当性情報２０６、推測画像２０３をもとに超音波画像２０７を生成する。このとき、妥当性情報２０６に応じて、推測画像２０３と超音波画像２０２の超音波画像２０７への反映のさせ方を変更する処理を行う。

例えば、画像処理部１１２は、妥当性情報２０６が一定の閾値を越える、すなわち妥当性が高い領域については、超音波画像２０７へは推測画像２０３を割り付け、そうでない領域については、超音波画像２０２を割り付ける処理を行い、超音波画像２０７を生成する。

あるいは、画像処理部１１２は、超音波画像２０２と推測画像２０３とをある重みをつけて足し合わせて超音波画像２０７を生成し、その時の重みを妥当性情報２０６に応じて変更する。すなわち、妥当性情報２０６が高い値である場合には、画像処理部１１２は、推測画像２０３に高い重みをつけ、妥当性情報２０６が低い値である場合には、超音波画像２０２に高い重みをつける。

また、画像処理部１１２は、上記の妥当性情報２０６に応じて割り付けを切り替える方法と妥当性情報２０６に応じて重みづけを変える方法とを組み合わせて超音波画像２０７を生成しても良い。

このような方法により生成した超音波画像２０７を、画像処理部１１２が画像表示部１０４に表示させることにより、ユーザーは、超音波画像２０７を見ることにより、妥当な画像かどうかを判断することが可能になる。

また、画像処理部１１２は、妥当性情報が一定の条件を満たしたときに操作者に通知するために、超音波画像２０７にアラートを重畳表示したり、音を出力する構成としてもよい。これにより、妥当性情報が妥当性が低いことを示している場合には、推測画像２０３を用いないように、ユーザーに注意喚起することができる。

さらに、図１４を用いて、超音波処理装置のニューラルネットワーク１０９が、複数のニューラルネットワークを含み、ニューラルネットワークがそれぞれ推測画像２０３を生成し、妥当性情報生成部１１０は、複数の妥当性情報２０６を生成する構成である場合の、画像処理部１１２の処理について説明する。妥当性情報生成部１１０は、複数のニューラルネットワークごとの推測画像２０３や超音波画像２０２や中間層出力２１５等を用いて、それぞれ妥当性情報２０６を生成する。

この場合、画像処理部１１２は、複数の妥当性情報２０６に基づいて、より妥当性が高い超音波画像２０７を選択または生成するために、複数の妥当性情報２０６のうち、妥当性が高値である妥当性情報２０６に対応する推測画像２０３を超音波画像２０７に割り付ける処理を行い、超音波画像２０７を生成する構成とする。

あるいは、画像処理部１１２は、妥当性情報２０６に応じた重みにより複数の推測画像２０３を足し合わせることにより超音波画像２０７を生成する構成としても良い。

さらに、上記の妥当性情報２０６に応じて割り付けを切り替える方法と妥当性情報２０６に応じて重みづけを変える方法とを組み合わせて超音波画像２０７を生成しても良い。

上述してきた各実施形態において、ユーザーとは、超音波撮像装置を使用する者である。ユーザーは、医師や超音波技師であってよい。また、ユーザーは開発者などの技術者や製造時の生産管理などを行うものであっても良い。本発明はそのようなユーザーが開発や製造に用いて開発時の性能検証や製造時の品質保証に用いても良い。例えば、標準仕様ファントムを撮像した時の妥当性情報２０６を開発時の性能検証の指標や品質保証の判断材料の一部として用いても良い。これにより、効率的な開発や検査や製造を行うことができるようになる。

１００：超音波撮像装置
１０１：超音波撮像装置本体
１０２：超音波プローブ
１０３：コンソール
１０４：画像表示部
１０５：制御部
１０６：送信ビームフォーマ
１０７：送受信スイッチ
１０８：画像生成部
１０９：ニューラルネットワーク
１１０：妥当性情報生成部
１１１：メモリ
１１２：画像処理部
１１３：超音波素子
１１４：被検体
１１５：ニューラルネットワーク中間層
１１６：送信超音波
２０１：ＲＦデータ
２０２：超音波データ
２０３：推測画像
２０５：特徴量と妥当性情報との関係
２０６：妥当性情報
２０７：超音波画像
２１０：正解データ
２１１：訓練用入力データ
２１２：訓練時出力データ
２１３：損失関数
２１４：重みのアップデート
２１５：中間層出力

Claims

被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記妥当性情報生成部は、前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの２つ以上を比較する演算を行って、前記演算の結果に基づいて前記妥当性を示す情報を生成することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記妥当性情報生成部は、前記ニューラルネットワークへ入力される前記受信信号または前記超音波画像と、前記ニューラルネットワークから出力される前記推測受信信号または前記推測超音波画像との差分を求め、前記差分に基づいて前記妥当性を示す情報を生成することを特徴とする超音波撮像装置。
請求項２に記載の超音波撮像装置であって、前記妥当性情報生成部は、予め定めておいた、差分の値と妥当性を示す値との関係を参照し、求めた前記差分に対応する妥当性を示す値を求めることを特徴とする超音波撮像装置。
請求項３に記載の超音波撮像装置であって、前記予め定めておいた差分の値と妥当性を示す値との関係は、前記差分の値が所定の範囲内にある場合、対応する妥当性を示す値が他の範囲内よりも高くなるように設定され、
前記所定の範囲は、前記ニューラルネットワークを学習させる際に用いた複数の学習用入力データを、前記学習後のニューラルネットワークに入力した場合にそれぞれ出力される複数の出力データと、入力した前記複数の学習用入力データとの差分の値の分布の範囲であることを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記ニューラルネットワークは、前記画像生成部が生成した超音波画像を入力として、前記推測超音波画像を出力するものであり、
前記妥当性情報生成部は、前記ニューラルネットワークに入力された前記超音波画像と、前記ニューラルネットワークから出力された前記推測超音波画像との差分を求め、前記差分に基づいて前記妥当性を示す情報を算出することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記ニューラルネットワークは、前記受信信号を入力として、前記推測超音波画像を出力するものであり、
前記妥当性情報生成部は、前記受信信号から前記画像生成部が生成した前記超音波画像と、前記ニューラルネットワークから出力された前記推測超音波画像との差分を求め、前記差分に基づいて前記妥当性を示す情報を算出することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記ニューラルネットワークは、前記受信信号を入力として、前記推測受信信号を出力するものであり、
前記妥当性情報生成部は、前記ニューラルネットワークに入力された前記受信信号と、前記ニューラルネットワークから出力された前記推測受信信号との差分を求め、前記差分に基づいて前記妥当性を示す情報を算出し、
前記画像生成部は、前記推測受信信号に基づいて前記超音波画像を生成することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記妥当性情報生成部は、前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つから特徴量を抽出し、予め求めておいた特徴量と妥当性を示す値との関係に基づいて、抽出した前記特徴量に対応する妥当性を示す値を求めることを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記学習済みのニューラルネットワークは、教師データを用いて学習したものであり、前記教師データは、超音波画像を入力データとし、前記入力データよりも送信走査線および受信走査線の少なくとも一方の密度が高い超音波画像を正解データとするものであることを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記学習済みのニューラルネットワークは、教師データを用いて学習したものであり、前記教師データは、前記被検体に前記超音波探触子から超音波の送信信号が送信され、前記超音波探触子が前記被検体からの超音波を受信して出力する受信信号を入力データとし、前記入力データよりも、前記被検体に送信された前記送信信号の周波数が高い場合に前記超音波探触子が出力する前記受信信号を正解データとするものであることを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記学習済みのニューラルネットワークは、教師データを用いて学習したものであり、前記教師データは、前記被検体に前記超音波探触子から超音波の送信信号が送信され、前記超音波探触子が前記被検体からの超音波を受信して出力する受信信号から生成した超音波画像または受信信号を入力データとし、前記入力データよりも、前記被検体に送信された前記送信信号の周波数が高い場合に前記超音波探触子が出力する前記受信信号から生成した超音波画像を正解データとするものであることを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記受信信号は、前記超音波探触子から前記被検体に超音波を送信し、前記被検体で反射された超音波を前記超音波探触子により受信したものであり、
前記妥当性情報生成部は、２次元または３次元に配列されたピクセルごとに前記妥当性を示す値を付与した２次元または３次元の妥当性情報を生成し、前記ピクセルのサイズを、前記超音波探触子から送信された超音波あるいは、受信された超音波の波長に応じて変更することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部と、
操作者が情報を入力するコンソールと、
前記ニューラルネットワークが生成した前記推測超音波画像または前記推測受信信号から生成した超音波画像へ前記妥当性を示す情報を反映させた画像を生成する画像処理部とを有し、
前記画像処理部は、前記コンソールへ入力された情報にしたがって、前記推測超音波画像または前記推測受信信号から生成した超音波画像へ、前記妥当性を示す情報を反映させる際の反映のさせ方を変更することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部と、
前記妥当性を示す情報の示す前記妥当性が予め定めた条件よりも低い場合には、ユーザーに警告を行う画像処理部とを有することを特徴とする超音波撮像装置。
被検体からの超音波を受信した超音波探触子が出力する受信信号を受け取って、前記受信信号に基づいて超音波画像を生成する画像生成部と、
前記受信信号または前記画像生成部が生成した前記超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部と、
画像処理部とを有し、
前記学習済みのニューラルネットワークは、複数のニューラルネットワークを含み、それぞれのニューラルネットワークが前記推測受信信号または前記推測超音波画像を生成し、
前記妥当性情報生成部は、前記複数のニューラルネットワークが生成した複数の前記推測超音波画像それぞれに対して前記妥当性を示す情報を生成し、
前記画像処理部は、複数の前記妥当性を示す情報からより妥当な情報を選択または生成することを特徴とする超音波撮像装置。
超音波の受信信号または超音波画像を入力とし、推測受信信号または推測超音波画像を出力する、学習済みのニューラルネットワークと、
前記受信信号、前記超音波画像、前記推測受信信号、前記推測超音波画像、および、前記ニューラルネットワークの中間層の出力、のうちの一つ以上を用いて、前記推測受信信号または前記推測超音波画像の妥当性を示す情報を生成する妥当性情報生成部とを有し、
前記妥当性情報生成部は、前記ニューラルネットワークへ入力される前記受信信号または前記超音波画像と、前記ニューラルネットワークから出力される前記推測受信信号または前記推測超音波画像との差分を求め、前記差分に基づいて前記妥当性を示す情報を生成することを特徴とする画像処理装置。