JP7370903B2 - 超音波診断装置、学習装置、画像処理方法およびプログラム - Google Patents

Description

本発明は超音波診断装置、学習装置、画像処理方法およびプログラムに関し、特に超音波画像の画質を向上させるための技術に関する。

超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。その画像生成の手法としては、送信ビームの形成処理と受信信号の整相加算処理とによって画像を生成する手法が一般的である。送信ビームの形成は、複数の変換素子に対して時間遅延を与えた電圧波形を入力し、生体内で超音波を収束させることで達成される。また、受信信号の整相加算は、生体内の構造により反射された超音波を複数の変換素子で受信し、得られた受信電圧信号に対して、注目点に対する経路長を考慮した時間遅延を与え、さらに加算することで達成される。この送信ビームの形成処理と整相加算処理とにより、注目点からの反射信号を選択的に抽出して画像化を行う。そして、送信ビームが画像化領域の中を走査するように、送信ビームを制御することで観察したい領域の画像を得ることができる。

特許文献１には、ニューラルネットワークで構成された復元器を用いた医用撮像装置が開示されている。

特開２０１９－２５０４４号公報

しかしながら、超音波診断装置の診断対象となる生体においては、組織ごとや使用条件ごとに画像生成に最適な超音波の音速が異なる、すなわち生体内には超音波の伝搬に関する音響的なパラメータの分布が存在する。このため、上述の時間遅延（一般的には、音速と想定される距離とから算出される）と実際の生体内における時間遅延とが異なる結果、画質が低下するという課題がある。

本発明は上述した課題に鑑みてなされたものであり、生体内の超音波伝搬に係る音速調整を行って画質の良い画像を得ることのできる超音波診断装置を提供することを目的とする。

本開示は、被検体の観察領域に対して超音波を送受信する超音波探触子と、超音波の送受信により得られる画像データと超音波の音速情報とを含む学習データを用いて機械学習された学習済みモデルを用いて、超音波の送受信により得られた画像データから、前記観察領域における超音波の音速情報を取得する音速情報取得部と、を有することを特徴とする超音波診断装置を含む。

本開示は、超音波の送受信により得られる観察領域の画像データを入力データ、超音波の音速情報を正解データ、として含む学習データを用いて、学習済みモデルの機械学習を行う学習部を有することを特徴とする学習装置を含む。

本開示は、超音波探触子によって被検体の観察領域に対して超音波を送受信する送受信
ステップと、超音波の送受信により得られる画像データと超音波の音速情報とを用いて機械学習された学習済みモデルを用いて、超音波の送受信により得られた画像データから、前記観察領域における超音波の音速情報を取得する音速情報取得ステップと、を有することを特徴とする画像処理方法を含む。

本開示は、上記画像処理方法の各ステップをプロセッサに実行させるためのプログラムを含む。

本発明によれば、生体内の超音波伝搬に係る音速分布に応じた音速調整を行うことができる超音波診断装置を提供することができる。

一実施形態における超音波診断装置のハードウエア構成を示すブロック図 一実施形態における学習装置の一例を示すブロック図 画像データと観察深さと音速の調整量とを用いた学習データの一例を示す図 一実施形態における学習データを作成するＧＵＩの一例を示す図 一実施形態における処理のフローを表す図 一実施形態における表示装置の表示の一例を表す図 一変形例における超音波診断装置のハードウエア構成を示すブロック図 一変形例における受信信号処理ブロックの詳細を示すブロック図

＜第１実施形態＞
（超音波診断装置の構成）
本発明の第１実施形態について説明する。図１は超音波診断装置のハードウエア構成の一例を示すブロック図である。超音波診断装置１は、超音波プローブ１０２、プローブ接続部１０３、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８、システム制御ブロック１０９、音速サジェストブロック１１０を有する。超音波診断装置１は、超音波プローブ１０２（超音波探触子）から超音波パルスを被検体１００内の観察領域に送信し、被検体１００の内部で反射された反射超音波を受信して、被検体１００の内部の画像情報（超音波画像）を生成するためのシステムである。超音波診断装置１で得られる超音波画像は各種の臨床検査で利用される。

超音波プローブ１０２は、電子スキャン方式のプローブであり、その先端に１次元または２次元に配列された複数の振動子１０１を有する。振動子１０１は、電気信号（電圧パルス信号）と超音波（音響波）のあいだの相互変換を行う電気機械変換素子である。超音波プローブ１０２は、複数の振動子１０１から超音波を被検体１００に送信し、被検体１００内の音響インピーダンスの差を反映した反射超音波を複数の振動子１０１により受信する。

送信電気回路１０４は、複数の振動子１０１に対してパルス信号（駆動信号）を出力する送信部である。複数の振動子１０１に対して時間差をつけてパルス信号を印加することで、複数の振動子１０１から遅延時間の異なる超音波が送信されることで送信超音波ビームが形成される。パルス信号を印加する振動子１０１（つまり駆動する振動子１０１）を選択的に変えたり、パルス信号の遅延時間（印加タイミング）を変えたりすることで、送信超音波ビームの方向やフォーカスを制御できる。この送信超音波ビームの方向およびフォーカスを順次変更することで、被検体１００内部の観察領域が走査（スキャン）される。

受信電気回路１０５は、反射超音波を受信した振動子１０１から出力される電気信号を、受信信号として入力する受信部である。受信信号は受信信号処理ブロック１０６に入力される。送信電気回路１０４および受信電気回路１０５の動作、すなわち、超音波の送受信は、システム制御ブロック１０９によって制御される。なお、本明細書では、振動子１０１から出力されるアナログ信号も、それをサンプリング（デジタル変換）したデジタルデータも、特に区別することなく受信信号と呼ぶ。ただし、文脈によってデジタルデータであることを明示する目的で、受信信号を受信データと記す場合もある。

受信信号処理ブロック１０６は、受信電気回路１０５から得られた受信信号から、システム制御ブロック１０９によって与えられる素子配置や画像生成の各種条件（音速、開口制御、信号フィルタ）に基づいて整相加算処理を行う。なお、後述する音速サジェストブロック１１０からシステム制御ブロック１０９に入力される適正音速を示す信号も、システム制御ブロック１０９から受信信号処理ブロック１０６に入力される。さらに、受信信号処理ブロック１０６は、整相加算処理を行った信号に対して、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点における信号強度が輝度で表された画像データを生成する。

画像処理ブロック１０７は、受信信号処理ブロック１０６で生成された画像データに対し、輝度調整、補間、フィルタ処理などの画像処理を施す。表示装置１０８は、画像データおよび各種情報を表示するための表示部であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどで構成される。システム制御ブロック１０９は、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８、音速サジェストブロック１１０などを統括制御する制御部である。

（音速サジェストブロック）
音速サジェストブロック１１０について説明する。音速サジェストブロック１１０は、１つ以上のプロセッサとメモリにより構成しても良い。その場合、音速サジェストブロック１１０の機能はコンピュータプログラムによって実現される。例えば、メモリに記憶されているプログラムをＣＰＵが読み込み実行することにより、音速サジェストブロック１１０の機能を提供することができる。音速サジェストブロック１１０は、ＣＰＵの他に、音速サジェストブロック１１０の演算を担当するプロセッサ（ＧＰＵ、ＦＰＧＡなど）を備えていても良い。音速サジェストブロック１１０を構成する種々の処理ブロックのうち、特に同時に多くのデータが入力されるブロックにはＦＰＧＡを、演算を効率良く実行するブロックにはＧＰＵを用いることが有効である。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、ＣＰＵが利用するワーキングメモリなどを含むと良い。

音速サジェストブロック１１０は、学習済みの学習済みモデルを用いて超音波プローブ１０２から送信される超音波の適正な音速（適正音速値）を生成（推定）する処理を行う。音速サジェストブロック１１０は、超音波の送受信により得られる画像データと、画像データを生成する際に使用する超音波の音速の調整量データとを用いて機械学習された学習済みモデルを用いる。そして、音速サジェストブロック１１０は、学習済みモデルを用いて、超音波の送受信により得られた画像データから、画像データを生成する際に使用する超音波の音速の調整量を取得する。音速サジェストブロック１１０は、本発明の音速情報取得部に対応する。また、超音波の適正音速値や音速の調整量、これらの値や量を示すデータは、本発明の音速情報に対応する。

モデルの学習には、機械学習が用いられると良い。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また
、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図２は、モデルの機械学習を行う学習装置２０の一例を示している。学習装置３２は、複数の学習データ２０１を用いてモデルの機械学習を実施する学習部（学習器）２０４を有している。学習部２０４は先に例示した機械学習アルゴリズムのうちいずれを利用しても良いし、他の機械学習アルゴリズムを利用しても良い。学習データ２０１は、入力データと正解データ（教師データ）の組で構成されており、本実施形態では、入力データとして、観察画像と当該観察画像における観察深さとが組となったデータを用いる。観察深さとは、超音波が送信される観察領域の深さであり、観察画像中で画像化されている対象と超音波プローブ１０２の表面との距離とも言える。また、正解データとして、音速情報、ここでは観察画像における適正音速までの差分をラベルとしたデータを用いる。適正音速は、観察画像において、さらにどの程度音速を調整するとより望ましい画像が得られるかを示す音速であり、適正音速までの差分が音速の調整量となる。また、観察画像の画像データは、ＲＦ（Radio Frequency）データ（生データ）を含んでも良い。

学習部２０４は、与えられた複数の学習データ２０１を基に、観察画像２０２と適正音速までの差分２０３のあいだの相関を学習して、学習済みモデル２０５を作成する。これにより、学習済みモデル２０５は、観察画像を入力データとして与えると適正音速までの差分（音速の調整量）を出力データとして生成する機能（能力）を獲得することができる。学習済みモデル２０５は、超音波診断装置１の音速サジェストブロック１１０で実行されるプログラムに実装される。モデルの学習（学習済みモデル２０５の生成処理）は、超音波診断装置１に組み込まれる前に実施されるのが望ましい。ただし、超音波診断装置１が学習機能を有する場合には超音波診断装置１で得られた画像データを用いて学習（新規の学習または追加学習）を行っても良い。

図３は、音速サジェストブロック１１０の学習について説明した図である。学習においては、観察対象の組織を送信超音波ビームで撮像して得られる観察画像と観察画像を撮像したときの観察深さを含むデータを入力データとして用いる。さらに、音速サジェストブロック１１０は、当該観察画像の撮像に用いた送信超音波ビームの音速から適正音速までの差分を示すラベルを含むデータを正解データとして用いる。

ここで、適正音速とは、最適な撮像画像が得られる、受信信号処理ブロック１０６で整相加算を行う際に用いる超音波の音速である。撮像画像を最適な画像であるとみなす基準は、例えば画質など適宜決めることができる。また、例えば、撮像画像をシミュレーションによって作成した画像である場合は、シミュレーションにおいてモデルの音速に対して遅延時間計算に用いた音速から適正音速までの差分をラベルとして、上記の正解データに含めることができる。

本実施形態における音速サジェストブロック１１０の学習についてさらに詳細に説明する。図３に示すように、学習用データの入力データには、観察画像と観察深さなどが含まれる。また、学習用データの正解データには、撮像に用いた送信超音波ビームの音速から適正音速までの差分を示すラベルが含まれる。図３の例では、学習用データＩＤ１の観察画像を取得したときの送信超音波ビームの音速から適正音速までの差分を示すラベルは、＋１０である。一例として、送信超音波ビームの音速から適正音速までの差分を示すラベルの単位はｍ／ｓであるが、任意の単位の指標がラベルに用いられて良い。図３の例では、「＋１０」は、観察画像を取得したときの送信超音波ビームの音速を１０ｍ／ｓ大きくすると適正音速となることを意味する。

同様に、学習用データＩＤ２～４の入力データとして、それぞれ観察画像と観察深さなどをセットとしたものを用いる。また、学習用データＩＤ２～４の正解データとして、撮像に用いた送信超音波ビームの音速から適正音速までの差分を示すラベルなどを用いる。

また、音速サジェストブロック１１０は、送信超音波ビームの送信条件が異なる学習データや、観察対象の組織が異なる学習データなど、様々な学習データを用いて学習を行うと良い。より多くの学習データを用いて学習することで、様々なパターンの入力データに対する学習が行われ、実際に使用された時も安定して画質の良い画像を推定することが期待できる。なお、被検体としては、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いても良く、さらには実際のファントム、またさらに実際の生体を用いても構わない。

また学習データの前処理を行っても良い。例えば、超音波の減衰による輝度値のムラを補正することにより、学習効率の改善を図っても良い。これにより、推定画像の解像度向上を期待できる。被検体撮像時の超音波プローブの浮きなどによる影を入力データから除去する処理を行っても良い。これにより推定精度の安定性を向上することができる。あるいは、プローブの浮きなどによる影を入力データと正解データがともに含んでいる学習データを用いれば、実際のプローブの浮きが発生した時に推定画像においてもプローブが浮いていることを認識できる画像を推定する効果なども期待できる。

また、学習においては図４Ａおよび図４Ｂに示すようなＧＵＩを用いて正解データの前処理をさらに行っても良い。ＧＵＩは、システム制御ブロック１０９の指示によって表示装置１０８に表示される。システム制御ブロック１０９が、画像データを生成する際に使用する超音波の音速の調整量を受け付ける受付部に対応する。図４Ａに示すＧＵＩ４１では、観察画像全体を示す全体画像４１１と全体画像４１１の一部を切り出した抽出領域の画像４１２とが表示されている。抽出領域は、使用者が指定した任意の領域であっても良いし、あらかじめ設定された領域であっても良いし、画像の特徴値を演算するなどの画像処理を基に決定される領域であっても良い。また、抽出領域は全体画像４１１内の１つの領域でも良いし複数の領域でも良い。また、ＧＵＩ４１には抽出領域の画像４１２における観察深さが表示される。システム制御ブロック１０９が、この観察深さの情報を出力する。ＧＵＩ４１には、受信信号処理ブロック１０６で画像データを生成する際に使用する音速を調整する音速調整部４１３が表示される。

音速調整部４１３には、音速の調整量を示す目盛り４１３ａとスライドバー４１３ｂとが表示される。使用者は、超音波診断装置１に接続されている図示しない入力装置を操作することで、スライドバー４１３ｂを目盛り４１３ａの所望の調整量に移動する。これにより、スライドバー４１３ｂによって指定された調整量に応じて音速が変更された場合の抽出領域の画像４１２が変更される。したがって、使用者は、スライドバー４１３ｂを移動しながら最適な抽出領域の画像４１２を判断することができる。使用者は、最適と判断した抽出領域の画像４１２が表示されているときに、入力装置を操作してＯＫボタン４１４を押す。ＯＫボタン４１４が押されたときにスライドバー４１３ｂによって指定されている音速の調整量が、適正音速までの差分として決定される。決定された適正音速は、抽出領域の画像４１２および観察深さと対応付けられて正解データとして作成される。使用者は、同じ全体画像の別の抽出領域の画像または別の全体画像の抽出領域の画像に対して上記操作を繰り返すことで、複数の抽出領域の画像に対する正解データを作成することができる。使用者は、ＧＵＩ４１において、表示されている抽出領域の画像のＳＮ比が良くないなど、学習データとしてふさわしくない画像であると判断した場合は、入力装置を操作してＳＫＩＰボタン４１５を押す。これにより、現在表示されている抽出領域の画像４１２を学習データに含めないようにすることもできる。

また、ＧＵＩ４１の代わりに、図４Ｂに示すＧＵＩ４２が用いられても良い。ＧＵＩ４２では、スライドバー４１３ｂによって抽出領域の画像４１２を変更する代わりに、同一の抽出領域の画像４１２に対して、所定の調整量によって音速が変更された場合の画像４２２、４２３、４２４が並べて表示される。図４Ｂの場合は、所定の調整量は「＋１０」、「０」、「－１０」（いずれも単位はｍ／ｓ）であるが、調整量の値や数は適宜決定されて良い。ＧＵＩ４２では、所定の調整量によって音速が変更された場合の各画像４２２、４２３、４２４に対応するラジオボタン４２５、４２６、４２７が表示されている。使用者は、入力装置を操作して、各画像４２２、４２３、４２４のうち最適と判断した画像に対応するラジオボタンを有効にし、ＯＫボタン４２８を押す。ＯＫボタン４２８が押されたときにラジオボタン４２５、４２６、４２７のうち有効にされているラジオボタンに対応する音速の調整量が、適正音速までの差分として決定される。決定された適正音速は、抽出領域の画像４２２、４２３、４２４のうちラジオボタンが有効にされている画像および観察深さと対応付けられて正解データとして作成される。使用者は、ＧＵＩ４２において、表示されている抽出領域の画像のＳＮ比が良くないなど、学習データとしてふさわしくない画像であると判断した場合は、入力装置を操作してＳＫＩＰボタン４２９を押す。これにより、現在表示されている抽出領域の画像４２２、４２３、４２４を学習データに含めないようにすることもできる。

以上のように、スライドバー４１３ｂやラジオボタン４２５、４２６、４２７によって、画像データを生成する際に使用する超音波の音速の調整量を受け付けることができる。なお、表示装置１０８が、画像データを生成する際に使用する超音波の音速の複数の調整量を選択可能に表示する表示部に対応する。

本実施形態では、観察画像と観察深さ以外の関連情報を入力データに加えても良い。例えば、入力データの他の候補の例としては、送信超音波ビームを出射するレンズのＮＡ（開口数）、開口サイズ、周波数、診断領域などが挙げられる。ＮＡ、開口サイズ、周波数は、実際の観察対象と受信信号処理ブロック１０６で画像データを生成する際に使用する音速の違いによる画像の変化と関係がある。また、診断領域は、一般的に音速が遅い脂肪層の厚みによって適正音速までの量が変化する可能性がある点で画像の変化と関係がある。またさらに、診療科や性別、ＢＭＩ、年齢、病態などの情報を入力データに付加することで、先ほどの観察対象の部位ごとの特徴にさらに詳細に対応した学習済みモデルが得られる可能性があり、より推定精度が高まることが期待できる。

また、超音波診断装置１に搭載される音速サジェストブロック１１０の学習済みモデルは、全診療科の画像データを学習させたモデルでも良いし、診療科ごとの画像データを学習させたモデルでも良い。診療科ごとの画像データを学習させたモデルが搭載されている場合は、システム制御ブロック１０９が、超音波診断装置１の使用者に診療科情報を入力ないし選択させ、診療科に合わせて用いる学習済みモデルを変更すると良い。撮像部位がある程度限定される診療科ごとにモデルを使い分けることで、より推定精度が高まることが期待できる。

このような画像と観察深さとを入力データとし、その正解データに撮像時の音速から適正音速までの差分のラベルを用いた学習を行うことで得られた学習済みモデルが音速サジェストブロック１１０上で動作する。結果として音速サジェストブロック１１０は、受信信号処理ブロック１０６から入力される画像に対して適正音速までの差分（調整量）を推定し、推定した音速の調整量を推定結果として出力する。

（画像生成方法）
次に、本実施形態における画像生成のための処理の詳細について、図１を用いて述べる。図示していないＧＵＩを利用して使用者から撮像の指示が入力される。ＧＵＩからの指
示を受けたシステム制御ブロック１０９が送信電気回路１０４に超音波の送信指示を入力する。送信指示は、遅延時間を計算するためのパラメータや音速情報を含むと良い。送信電気回路１０４はシステム制御ブロック１０９からの送信指示に基づいて、複数のパルス信号（電圧波形）をプローブ接続部１０３を通じて超音波プローブ１０２の複数の振動子１０１へと出力する。このとき送信電気回路１０４は、超音波ビームの送信方向（偏向角）およびフォーカス位置にしたがって、各振動子１０１に印加するパルス信号の遅延時間を設定する。なお、偏向角は、複数の振動子１０１が配列されている面の法線方向と、超音波ビームの軸方向とがなす角度である。

複数の振動子１０１から送信された超音波は被検体１００内を伝播し、被検体１００内の音響インピーダンスの境界で反射される。音響インピーダンスの差を反映した反射超音波を複数の振動子１０１が受信し、電圧波形へと変換する。この電圧波形はプローブ接続部１０３を通して受信電気回路１０５へと入力される。受信電気回路１０５は必要に応じて電圧波形を増幅、デジタルサンプリングし、受信信号処理ブロック１０６へ受信信号として出力する。

図５は、本実施形態において、超音波診断装置１の各ブロックが実行する画像生成・表示処理のフローを示す。ステップＳ５０において、受信信号処理ブロック１０６が観察画像を生成する。具体的には、受信信号処理ブロック１０６は、入力された受信信号を内部メモリに保存する。また、受信信号処理ブロック１０６は、システム制御ブロック１０９から入力される遅延時間を計算するためのパラメータや音速情報に従って遅延処理および加算処理を実施する。さらに、受信信号処理ブロック１０６は、包絡線検波処理によって包絡線を求め、求めた包絡線のデータを内部メモリに保存する。受信信号処理ブロック１０６は、入力される受信信号に対して上記の処理を繰り返すことで観察画像を生成する。

次に、ステップＳ５１において、音速サジェストブロック１１０が、観察画像に対する適正音速までの差分を算出する。具体的には、ステップ５０において生成された画像が、画像処理ブロック１０７と音速サジェストブロック１１０とに出力される。音速サジェストブロック１１０は、入力される画像とシステム制御ブロック１０９から入力される観察深さの情報を使用して、適正音速までの差分をシステム制御ブロック１０９に出力する。なお、適正音速までの差分は、観察画像全体での当該差分の平均値や観察画像内に設定される領域ごとの当該差分の分布を用いて算出されても良い。

次に、ステップＳ５２において、表示装置１０８によって、適正音速までの差分を基に修正された修正画像と適正音速までの差分が表示される。具体的には、システム制御ブロック１０９は、音速サジェストブロック１１０から入力される適正音速までの差分の情報を用いて適正音速の情報を受信信号処理ブロック１０６に入力する。受信信号処理ブロック１０６は、上記の処理で内部メモリに保存した受信信号を内部メモリから取得する。そして、受信信号処理ブロック１０６は、取得した受信信号に対して、システム制御ブロック１０９から入力される適正音速の音速情報を用いて遅延処理および加算処理を再度実施する。さらに、受信信号処理ブロック１０６は、包絡線検波処理によって包絡線を求め、求めた包絡線を基に生成した画像データを修正画像データとして画像処理ブロック１０７に出力する。受信信号処理ブロック１０６は、音速の調整量を用いて超音波の送受信により得られた画像データを修正した修正画像データを生成する画像生成部に対応する。これにより、画像処理ブロック１０７は、ステップＳ５０において生成された修正前の観察画像とステップＳ５２において生成された修正後の観察画像の２種類の観察画像を取得する。画像処理ブロック１０７は、受信信号処理ブロック１０６から入力される画像に対して輝度調整や補間などの処理や、その他のフィルタを適用するなどの処理を行った画像を表示装置に出力する。そして、超音波診断装置１は本フローの処理を終了する。

図６Ａ～図６Ｃは、表示装置１０８における画像の表示画面の例を模式的に示したものである。表示画面６１０、６２０、６３０には、上記の処理によって生成される画像６１１、６２１、６３１がそれぞれ表示されている。

図６Ａの例では、表示画面６１０に表示される画像６１１は、上記の処理によって生成される修正画像である。また、表示画面６１０には、画像６１０の基となる観察画像の撮像に用いた音速および適正音速までの差分（図中「１５００＋１５」）が表示される。図６Ａの例の場合は、図中「１５００＋１５」のうち、「１５００」は、システム制御ブロック１０９から送信電気回路１０４に入力された音速、すなわち送信ビームを形成するための各振動子の遅延時間を算出した際の音速を表す。また、図中「１５００＋１５」のうち、「＋１５」は、音速サジェストブロック１１０からシステム制御ブロック１０９に出力された適正音速までの差分を表す。また、表示画面６１０には、画像の表示モードが、適正音速までの差分によって調整された後の修正画像を表示するモードであることを示す指標（図６Ａの例では「音速サジェストＯＮ」）が表示される。

図６Ｂの例では、表示画面６２０に表示される画像６２１は、上記の処理によって生成される修正画像の基となる観察画像、すなわち適正音速に基づく修正前の画像である。また、表示画面６２０には、修正候補（修正画像）があることが「１５００＋０」の「＋０」によって示されている。図中「１５００＋０」のうち、「１５００」は、システム制御ブロック１０９から送信電気回路１０４に入力された音速、すなわち送信ビームを形成するための各振動子の遅延時間を算出した際の音速を表す。また、表示画面６２０には、画像の表示モードが、適正音速までの差分によって調整された後の画像を表示するモードではないことを示す指標（図６Ｂの例では「音速サジェストＯＦＦ」）が表示される。

使用者は、入力装置を操作して、画像の表示モードを修正画像を表示するモードに切り替える。これにより、表示画面６２０の指標「音速サジェストＯＦＦ」の表示が「音速サジェストＯＮ」に変更され、表示画面６２０の表示内容が表示画面６１０の例で説明したような修正画像の表示に切り替わる。なお、送信ビームを形成するための各振動子の遅延時間を算出した際の音速から適正音速までの差分がない場合など、修正候補がない場合は、表示画面６２０において「１５００＋０」の「＋０」を非表示とするなどにより修正候補がないことが示される。

図６Ｃの例では、表示画面６３０に表示される画像６３１は、上記の処理によって生成される修正画像である。また、表示画面６３０には、画像６３１における観察深さに応じた適正音速までの差分の分布を示す分布図６３２が観察深さ（図中「ｆ１」、「ｆ２」）とともに表示されている。分布図６３２によって示される適正音速までの差分の分布は、全体の平均値などの代表値やばらつきなどを数字で示しても良く、ばらつき自体の分布を表示しても良く、選択領域における音速平均値とばらつきを示すものでも良い。また、表示画面６３０には、分布図６３２における適正音速までの差分（調整量）を示す凡例であるスケール６３３が表示されている。使用者は、スケール６３３を基に分布図６３２を参照することで、観察深さに対応する音速情報である適正音速までの差分（調整量）を確認することができる。また、使用者は、分布図６３２から、使用者が注目する領域の適正音速を確認することができるため、音速調整に要する時間を短縮することができる。

なお、表示装置１０８における観察画像および修正画像の表示形態は上記に限られず、例えば、修正前の観察画像と修正画像とを１つの表示画面に並列して表示されても良い。また、表示装置１０８において算出された適正音速までの差分が表示されるだけの簡易な表示形態でも良い。この場合でも、使用者は、どの程度音速を変化させるのが好ましいかを把握しつつ、音速調整に要する時間を短縮することができる。また、表示されている画像が修正前または修正後であるかの表示は、文字（上記の例では「音速サジェストＯＮ」
「音速サジェストＯＦＦ」）による表示でなくても良い。例えば、表示画像や表示領域の外縁の色を変える、点滅させる、背景の色、彩度、模様を変化させるなどの手法が採用されても良い。

＜第２実施形態＞
次に、第２実施形態に係る超音波診断装置について説明する。超音波診断装置１の全体構成は第１実施形態（図１）と同じであるため、以下の説明では、第１実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。

第２実施形態では、受信信号処理ブロック１０６から画像処理ブロック１０７と音速サジェストブロック１１０へ画像データが出力される処理は、第１実施形態と同様である。さらに、音速サジェストブロック１１０からシステム制御ブロック１０９へ適正音速までの差分が出力されるまでの処理も第１実施形態と同様である。第２実施形態では、適正音速までの差分を用いて送信遅延が計算し直されて再度超音波が被検体に送信され、観察対象から反射した超音波が受信電気回路１０５を用いて受信される。そして、受信信号処理ブロック１０６での整相加算においても、この適正音速までの差分を用いて遅延時間の計算が行われる。

また、第２実施形態では、２回目の超音波の送受信時に、１回目の送受信時に設定された音速に対して適正音速までの差分をそのまま用いて修正するのではなく、当該差分の一定の割合を調整量として設定する。例えば、１回目の送受信時に設定された音速が１５００ｍ／ｓである場合に、適正音速までの差分が＋１０ｍ／ｓと算出されても、２回目の送受信時には当該差分の５０％を調整量とした１５０５ｍ／ｓ（＝１５００＋０．５×１０）を音速として設定する。このように調整量が設定されることで、修正前後における画像の変化が緩やかになり、使用者が画像観察において表示画像の変更時に受ける違和感を軽減することができる。

さらに、第２実施形態では、超音波の送信において特定の位置に収束するように超音波が送信されるため、適正音速までの差分の分布が分かったとしても、修正した遅延時間を用いた送信をあらゆる位置に行うことは現実的には送信回数が増加するために難しい。そのため、同じ送信方向で収束深さを段階的に変化させて超音波送信を行う、多段フォーカス技術と呼ばれる技術が採用される。第２実施形態では、適正音速までの差分の分布において被検体の深さ方向に大きく変化する観察深さ（図６Ｃの例では観察深さｆ１とｆ２）に多段フォーカス技術における超音波送信の収束深さが設定される。これにより、適正音速までの差分を反映した送信を効率良く行うことができる。

＜その他の実施形態＞
上記の実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。

上記の実施形態では、音速サジェストブロック１１０への入力は画像データとしたが、遅延処理後の受信データを入力としても良く、これにより適正音速までの差分が算出されて良い。また、図４に例示するＧＵＩ４１、４２を用いて適正音速までの差分をラベルとした正解データを作成する過程では、音速調整量を変更しつつ抽出領域の画像データを変更して適正音速を決定することで、適正音速までの差分を正解データとする。しかし、抽出領域の画像データの基となる遅延処理後の受信データと適正音速までの差分を正解データとして、遅延処理後の受信データを入力として適正音速までの差分を出力する学習済みモデルが作成されても良い。また、デジタルファントムを用いる場合は、モデルの設定した音速値と遅延時間の計算に使用した音速値とを変更することで、遅延処理後の受信デー
タと適正音速までの差分の正解データを作成することができる。

図７は、一変形例に係る超音波診断装置のハードウエア構成の一例を示すブロック図である。本変形例に係る超音波診断装置７において、上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。また、図８は、超音波診断装置７の受信信号処理ブロックの詳細を示すブロック図である。図８に示すように、受信信号処理ブロック７０６は、遅延処理ブロック７０６１、加算処理ブロック７０６２、包絡線検波処理ブロック７０６３、音速サジェストブロック７０６４を有する。

遅延処理ブロック７０６１は、受信電気回路１０５から出力される受信信号に対して遅延処理を行う。本変形例を第１実施形態に適用する場合は、この遅延処理に用いる音速は、システム制御ブロック１０９から送信電気回路１０４に入力される音速すなわち送信ビームを形成するための各振動子の遅延時間を算出した際の音速である。また、本変形例を第２実施形態に適用する場合は、この遅延処理に用いる音速は、１回目の送受信時に設定される音速である。遅延処理後の受信データは音速サジェストブロック７０６４に入力され、音速サジェストブロック７０６４は適正音速までの差分を出力する。

そして、本変形例を第１実施形態に適用する場合は、適正音速までの差分が遅延処理ブロック７０６１に出力されて再度遅延処理が行われる。そして、加算処理ブロック７０６２による加算処理と包絡線検波処理ブロック７０６３による包絡線検波処理が行われて、画像データが生成される。生成された画像データは、画像処理ブロック１０７に出力される。

また、本変形例を第２実施形態に適用する場合は、適正音速までの差分がシステム制御ブロック１０９に出力された後に送信電気回路１０４に入力される。そして、送信でき回路１０４によって送信遅延が計算し直され、超音波プローブ１０２から再度超音波が観察対象に送信されて受信電気回路１０５によって受信信号が取得される。そして、遅延処理ブロック７０６１による適正音速までの差分を用いた遅延時間の計算処理と、加算処理ブロック７０６２による加算処理と、包絡線検波処理ブロック７０６３による包絡線検波処理が行われて、画像データが生成される。生成された画像データは、画像処理ブロック１０７に出力される。

また、上記の実施形態や変形例において、学習済みモデルの作成に用いる入力データには、画像データを生成する際に使用する超音波の音速（上記の例では１５００ｍ／ｓなど）が含まれても良い。また、学習済みモデルを用いた出力として、適正音速までの差分に加えてあるいは代わりに調整後の音速（上記の例では１５１０ｍ／ｓなど）が出力されても良い。

また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読
み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１：超音波診断装置
１００：被検体
１０２：超音波プローブ
１１０：音速サジェストブロック
２０１：学習データ
２０２：観察画像
２０３：適正音速までの差分
２０５：学習済みモデル

Claims (19)

1. 被検体の観察領域に対して超音波を送受信する超音波探触子と、
   超音波の送受信により得られる画像データと超音波の音速情報とを含む学習データを用いて機械学習された学習済みモデルを用いて、超音波の送受信により得られた画像データから、前記観察領域における超音波の音速情報を取得する音速情報取得部と、
   を有することを特徴とする超音波診断装置。
2. 前記学習データは、前記音速情報を正解データとして含むことを特徴とする請求項１に記載の超音波診断装置。
3. 前記超音波の送受信により得られる前記画像データは、ＲＦ（Radio Frequency）デー
   タを含むことを特徴とする請求項１または２に記載の超音波診断装置。
4. 前記学習済みモデルはさらに、前記画像データにおける前記観察領域の深さを用いて機械学習されることを特徴とする請求項１～３のうちいずれか１項に記載の超音波診断装置。
5. 前記画像データを生成する際に使用する超音波の音速の調整量を受け付ける受付部をさらに有し、
   前記学習済みモデルは、前記受け付けられた前記調整量を用いて機械学習される
   ことを特徴とする請求項１～４のうちいずれか１項に記載の超音波診断装置。
6. 前記観察領域における超音波の音速の複数の調整量を選択可能に表示する表示部と、
   前記複数の調整量のうち選択された調整量を受け付ける受付部と、
   をさらに有することを特徴とする請求項１に記載の超音波診断装置。
7. 前記学習済みモデルの機械学習に用いられる前記画像データは、前記超音波探触子による超音波の受信信号のデータもしくは該受信信号を整相加算したデータである
   ことを特徴とする請求項１～６のうちいずれか１項に記載の超音波診断装置。
8. 前記学習済みモデルは、ニューラルネットワークである
   ことを特徴とする請求項１～７のうちいずれか１項に記載の超音波診断装置。
9. 前記音速情報取得部によって取得された前記音速情報を用いて、超音波の送受信により得られた前記画像データを修正した修正画像データを生成する画像生成部と、
   前記生成された前記修正画像データを表示する表示部と、
   をさらに有することを特徴とする請求項１～８のうちいずれか１項に記載の超音波診断装置。
10. 前記表示部は、前記修正画像データと、前記修正画像データが前記音速情報を用いて修正された画像データであることを示す指標とを表示することを特徴とする請求項９に記載の超音波診断装置。
11. 前記表示部は、前記修正画像データと、前記修正画像データにおける前記観察領域の深さおよび前記音速情報の分布とを表示することを特徴とする請求項９または１０に記載の超音波診断装置。
12. 超音波の送受信により得られた画像データと前記音速情報取得部によって取得される前記音速情報とを用いて、超音波画像を生成する画像生成部をさらに有することを特徴とす
    る請求項１～８のうちいずれか１項に記載の超音波診断装置。
13. 前記音速情報取得部によって取得される前記音速情報は、前記画像データを生成する際に使用する超音波の音速の適正音速値である、ことを特徴とする請求項１～１１のうちいずれか１項に記載の超音波診断装置。
14. 前記音速情報取得部によって取得される音速情報は、前記画像データを生成する際に使用する超音波の音速の調整量である、ことを特徴とする請求項１～１１のうちいずれか１項に記載の超音波診断装置。
15. 超音波の送受信により得られる観察領域の画像データを入力データ、超音波の音速情報を正解データ、として含む学習データを用いて、学習済みモデルの機械学習を行う学習部を有することを特徴とする学習装置。
16. 請求項１～１４のうちいずれか１項に記載の超音波診断装置の超音波の音速情報を取得する音速情報取得部で用いられる学習済みモデルの機械学習を行う学習装置であって、
    超音波の送受信により得られる観察領域の画像データを入力データ、超音波の音速情報を正解データ、として含む学習データを用いて、学習済みモデルの機械学習を行う
    ことを特徴とする学習装置。
17. 画像データを生成する際に使用する超音波の音速情報を受け付ける受付部と、
    前記学習済みモデルは、前記受け付けた前記音速情報を用いて機械学習される
    ことを特徴とする請求項１６に記載の学習装置。
18. 超音波探触子によって被検体の観察領域に対して超音波を送受信する送受信ステップと、
    超音波の送受信により得られる画像データと超音波の音速情報とを用いて機械学習された学習済みモデルを用いて、超音波の送受信により得られた画像データから、前記観察領域における超音波の音速情報を取得する音速情報取得ステップと、
    を有することを特徴とする画像処理方法。
19. 請求項１８に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。

Images