JP7428020B2 - 超音波診断装置、超音波画像生成方法、プログラム及びモデル訓練装置 - Google Patents

Description

本発明は、超音波診断装置、超音波画像生成方法、プログラム及びモデル訓練装置に関する。

従来、医用画像診断装置の一つとして、超音波を被検体に向けて送信し、その反射波を受信して受信信号に所定の信号処理を行うことにより、被検体内部の形状、性状又は動態を超音波画像として可視化する超音波診断装置が知られている。超音波診断装置は、超音波探触子を体表に当てる又は体内に挿入するという簡単な操作で超音波画像を取得することができるので、安全であり、被検体にかかる負担も小さい。

近年、持ち運び等の利便性の観点から、超音波診断装置の小型化が進んでいる。小型の超音波診断装置においては、バッテリー駆動で長時間使用できる性能を有することが重要である。一方で、診断に足る十分な画質を得るには、超音波の音響出力を可能な限り最大限に増大させる必要がある。

また、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置などの医用撮像装置の分野においては、機械学習により訓練した学習モデルを利用して、低画質画像から高画質画像を生成する技術が開発されている（例えば、特許文献１参照）。特許文献１には、ニューラルネットワークで構成された復元器を用いて、入力された劣化画像から高画質画像を復元する技術が開示されている。

特開２０１９－０２５０４４号公報

しかしながら、超音波の音響出力を増大させる場合、送信電圧も高くなることが多く、超音波診断装置の低消費電力化及び小型化を妨げる要因となる。小型の超音波診断装置は、これらの二律背反する事象に折り合いをつけながら開発する必要があり、低音響出力でも診断に必要な十分な画質を確保することが要求される。

特許文献１に開示の技術では、分類ごとに復元器が必要であり、装置構成が複雑である上、それぞれの復元器を学習させる必要があるため、高精度の復元器を実現するには学習フェーズが煩雑になる。また、教師データとなる劣化画像（入力データ）と正解画像（正解データ）の組を準備するに際し、正解画像からアンダーサンプリング等の処理を施して劣化画像を作成しており、学習開始前の教師データの準備も煩雑である。

本発明の目的は、低音響出力であっても診断に必要な高画質の超音波画像を得ることができ、装置の低消費電力化及び小型化を図ることができる超音波診断装置、超音波画像生成方法、プログラム、及び学習モデル訓練装置を提供することである。

本発明に係る超音波診断装置は、
被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置であって、
低音響出力の第１の超音波及び高音響出力の第２の超音波の送受信を行う送受信部と、
前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第１の画像処理部と、
前記第２の超音波の送受信により得られる第２の受信信号に基づいて前記超音波画像を生成する第２の画像処理部と、
前記受信信号が前記第１の受信信号である場合に前記第１の画像処理部を選択し、前記受信信号が前記第２の受信信号である場合に前記第２の画像処理部を選択する切替部と、を備え、
前記第１の画像処理部は、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルを含み、前記学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成する。
また、本発明に係る超音波診断装置は、
被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置であって、
低音響出力の第１の超音波及び高音響出力の第２の超音波の送受信を行う送受信部と、
前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第１の画像処理部と、を備え、
前記第１の画像処理部は、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルを含み、
前記学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成し、
前記学習モデルを訓練するためのモデル訓練部をさらに備え、
前記モデル訓練部は、
前記教師データを取得する入力部と、
前記学習モデルと同様のニューラルネットワークを有し、前記教師データを用いて前記ニューラルネットワークの調整値を最適化する訓練実行部と、
前記ニューラルネットワークの調整値を出力する出力部と、を有し、
前記調整値が前記学習モデルに反映され、
前記訓練実行部は、
前記ニューラルネットワークで構成され、前記低音響出力データから出力データを生成する生成器と、
前記出力データと前記高音響出力データを比較し、前記出力データの真偽を判定する識別器と、を有し、
前記識別器の判定結果を前記生成器及び前記識別器に逆伝搬させ、前記生成器と前記識別器を交互に競合させながら前記調整値を最適化し、
前記入力部は、前記第１の受信信号及び前記第２の超音波の送受信により得られる第２の受信信号から前記教師データを生成する教師データ生成部を有し、
前記教師データ生成部は、フレーム単位又は音線単位で連続して取得した前記第１の受信信号及び前記第２の受信信号に基づいて、前記教師データを生成する。

本発明に係る超音波画像生成方法は、
被検体内で反射した反射超音波に応じた受信信号に基づく超音波画像を生成する超音波画像生成方法であって、
低音響出力の第１の超音波又は高音響出力の第２の超音波の送受信を行う第１ステップと、
前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第２ステップと、
前記第２の超音波の送受信により得られる第２の受信信号に基づいて前記超音波画像を生成する第３ステップと、
前記受信信号が前記第１の受信信号である場合に前記第２ステップを選択し、前記受信信号が前記第２の受信信号である場合に前記第３ステップを選択する第４ステップと、を有し、
前記第２ステップは、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成する。

本発明に係るプログラムは、
被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置のコンピューターに、所定の処理を実行させるプログラムであって、
低音響出力の第１の超音波又は高音響出力の第２の超音波の送受信を行う第１処理と、
前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第２処理と、
前記第２の超音波の送受信により得られる第２の受信信号に基づいて前記超音波画像を生成する第３処理と、
前記受信信号が前記第１の受信信号である場合に前記第２処理を選択し、前記受信信号が前記第２の受信信号である場合に前記第３処理を選択する第４処理と、を有し、
前記第２処理は、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成する。

本発明に係るモデル訓練装置は、
上記の超音波診断装置に実装される前記学習モデルを訓練するためのモデル訓練装置であって、
前記教師データを取得する入力部と、
前記学習モデルと同様のニューラルネットワークを有し、前記教師データを用いて前記ニューラルネットワークの調整値を最適化する訓練実行部と、
前記ニューラルネットワークの調整値を出力する出力部と、を備える。

本発明によれば、低音響出力であっても診断に必要な高画質の超音波画像を得ることができ、装置の低消費電力化及び小型化を図ることができる。

図１は、実施の形態に係る超音波診断装置の外観を示す図である。 図２は、超音波探触子の構成を示す図である。 図３は、超音波診断装置の制御系の主要部を示すブロック図である。 図４は、モデル訓練部の具体的な構成を示す図である。 図５は、訓練実行部の処理内容を示す図である。 図６は、超音波診断装置における超音波診断処理の一例を示すフローチャートである。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る超音波診断装置１の外観を示す図である。図２は、超音波探触子２０の構成を示す図である。図３は、超音波診断装置１の制御系の主要部を示すブロック図である。

超音波診断装置１は、被検体内の形状、性状又は動態を超音波画像として可視化し、画像診断するために用いられる。
図１に示すように、超音波診断装置１は、超音波診断装置本体１０及び超音波探触子２０を備える。超音波診断装置本体１０と超音波探触子２０は、ケーブル３０を介して接続される。なお、超音波探触子２０は、超音波診断装置本体１０と無線通信を介して接続されてもよい。

超音波探触子２０は、被検体に対して超音波を送信するとともに、被検体で反射された超音波エコー（反射超音波）を受信し、受信信号に変換して超音波診断装置本体１０に送信する。超音波探触子２０には、コンベックス探触子、リニア探触子、又はセクタ探触子等の任意の電子走査方式の探触子やメカニカルセクタ探触子等の機械走査方式の探触子を適用することができる。超音波探触子２０は、穿刺針を取り付けて刺入方向を案内する穿刺針ガイド部を有していてもよい。

図２に示すように、超音波探触子２０は、例えば、超音波送受信側から順に、音響レンズ２１、音響整合層２２、振動子アレイ２３、バッキング材２４を有する。なお、音響レンズ２１の表面（超音波送受信面）には、保護層が配置されてもよい。

音響レンズ２１は、超音波をスライス方向(複数の振動子が配列されているスキャン方向とは直交する方向)に収束させるレンズであり、例えば、生体よりも音速が遅い材料を音響レンズに用いる場合は、一般的にはスライス方向における中央部が盛り上がったかまぼこ様の形状を有する。
音響整合層２２は、超音波を効率よく被検体内に進入させるための中間的物質であり、振動子（図示略）と被写体の音響インピーダンスを整合させる。

振動子アレイ２３は、例えば、スキャン方向に単列で配置された複数の短冊状の振動子により構成される。すなわち、超音波探触子２０は、いわゆる単列探触子である。
バッキング材２４は、振動子アレイ２３で発生する不要振動を減衰する。

超音波診断装置本体１０は、超音波探触子２０からの受信信号を用いて、被検体内の形状、性状又は動態を超音波画像（Ｂモード画像）として可視化する。
図３に示すように、超音波診断装置本体１０は、操作入力部１１、送信部１２、受信部１３、切替部１４、第１の画像処理部１５、第２の画像処理部１６、表示部１７、通信部１８、システム制御部１９及びモデル訓練部４０等を備える。超音波診断装置本体１０の各機能ブロックは、第１電源部５１又は第２電源部５２からの電力供給によって駆動される。

送信部１２、受信部１３、切替部１４、第１の画像処理部１５、第２の画像処理部１６、通信部１８及びモデル訓練部４０は、例えば、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の、各処理に応じた専用もしくは汎用のハードウェア（電子回路）で構成され、システム制御部１９と協働して各機能を実現する。

第１電源部５１はバッテリーで構成され、第２電源部５２は外部電源（ＡＣ電源）からの電力供給を受ける。第２電源部５２が外部電源に接続されている場合は、第２電源部５２が有効となり、第２電源部５２によって駆動電力が供給される。一方、第２電源部５２が外部電源から遮断されている場合は、第１電源部５１が有効となり、第１電源部５１によって駆動電力が供給される。

超音波診断装置本体１０は、運転モードとして、第１電源部５１から駆動電力が供給される低電力モードと、第２電源部５２から駆動電力が供給される通常モードと、を有する。運転モードは、例えば、第２電源部５２の外部電源との接続状態に応じて、自動的に切り替えられる。
低電力モードでは、第１電源部５１のバッテリー消費を抑制するため、低音響出力の第１の超音波の送受信が行われる。通常モードでは、高画質の超音波画像を得るため、高音響出力の第２の超音波の送受信が行われる。

低音響出力の第１の超音波は、高音響出力の第２の超音波に比較して送信電圧が小さいので、低電力モードでは通常モードよりも消費電力は小さい。一方、第１の超音波の送受信により得られる第１の受信信号をそのまま画像変換して超音波画像を生成する場合、第２の超音波により得られる第２の受信信号に基づいて生成される超音波画像に比較して、低画質となる。本実施の形態では、低電力モードにおいて第１の超音波の送受信が行われる場合は、学習モデル１５２が実装された第１の画像処理部１５によって画像処理を行うことにより、超音波画像の高画質化が図られている。学習モデル１５２による画像処理によって、例えば、Ｂモード画像を生成する場合には、低画質のＢモード画像から第２の超音波で送受信した場合と同等の高画質のＢモード画像を得ることができる。

操作入力部１１は、例えば、診断開始等を指示するコマンド又は被検体に関する情報の入力を受け付ける。操作入力部１１は、例えば、複数の入力スイッチを有する操作パネル、キーボード、及びマウス等を有する。ユーザーは、例えば、操作入力部１１を用いて、超音波診断処理の実行を指示したり、モデル訓練部４０による学習モデル１５２の訓練処理を指示したりすることができる。なお、操作入力部１１は、表示部１７と一体的に設けられるタッチパネルで構成されてもよい。

送信部１２は、システム制御部１９の指示に従って、送信信号（駆動信号）を生成して、超音波探触子２０に出力する。図示を省略するが、送信部１２は、例えば、クロック発生回路、パルス発生回路、パルス幅設定部及び遅延回路を有する。

クロック発生回路は、パルス信号の送信タイミングや送信周波数を決定するクロック信号を発生させる。パルス発生回路は、所定の周期で予め設定された電圧振幅のバイポーラー型の矩形波パルスを発生させる。パルス幅設定部は、パルス発生回路から出力される矩形波パルスのパルス幅を設定する。パルス発生回路で生成された矩形波パルスは、パルス幅設定部への入力前又は入力後に、超音波探触子２０の個々の振動子ごとに異なる配線経路に分離される。遅延回路は、生成された矩形波パルスを、振動子ごとの送信タイミングに応じて遅延させ、振動子に出力する。

受信部１３は、システム制御部１９の指示に従って、超音波探触子２０からの受信信号を受信し、切替部１４へ出力する。図示を省略するが、受信部１３は、例えば、増幅器、Ａ／Ｄ変換回路、整相加算回路を有する。

増幅器は、超音波探触子２０の各振動子により受信された超音波に応じた受信信号を予め設定された所定の増幅率でそれぞれ増幅する。Ａ／Ｄ変換回路は、増幅された受信信号を所定のサンプリング周波数でデジタルデータに変換する。整相加算回路は、Ａ／Ｄ変換された受信信号に対して、振動子に対応した配線経路毎に遅延時間を与えて時相を整え、これらを加算（整相加算）する。

切替部１４は、システム制御部１９の指示に従って、後段の第１の画像処理部１５又は第２の画像処理部１６に、受信部１３からの受信信号を適切に伝達する。具体的には、システム制御部１９が、駆動電力を供給する電源に関する情報（本実施形態においては、第１電源部または第２電源部）を切替部１４へ通知し、切替部１４は、駆動電力を供給する電源が第１電源部である場合には、第１の画像処理部を選択し、駆動電力を供給する電源が第２電源部である場合には、第２の画像処理部を選択する。これにより、受信信号が低音響出力の反射超音波に応じた第１の受信信号である場合に第１の画像処理部１５が選択され、受信信号が高音響出力の反射超音波に応じた第２の受信信号である場合に第２の画像処理部が選択される。

なお、システム制御部１９から切替部１４へ通知する情報は、駆動電力を供給する電源に関する情報に限定されず、電力モード（低電力モードであるか通常モードであるか）に関する情報であってもよい。また、システム制御部１９からの通知ではなく、切替部１４が、駆動電力を供給する電源の種類または電力モードを検出し、駆動電力を供給する電源または電力モードに基づいて、第１電源部５１が有効である場合（低電力モードである場合）に第１の画像処理部１５を選択し、第２電源部５２が有効である場合（通常モードである場合）に第２の画像処理部１６を選択してもよい。

第１の画像処理部１５は、画像データ生成部１５１及び学習モデル１５２を有し、システム制御部１９の指示に従って、低音響出力の超音波の送受信により得られる第１の受信信号に基づいて、被検体の内部状態を示すＢモード画像を生成する。
第２の画像処理部１６は、画像データ生成部１６１を有し、システム制御部１９の指示に従って、高音響出力の超音波の送受信により得られる第２の受信信号に基づいて、被検体の内部状態を示すＢモード画像を生成する。
また、図示を省略するが、第１の画像処理部１５及び第２の画像処理部１６は、超音波探触子２０の種類に応じた座標変換及び画素補間を行うＤＳＣ（Digital Scan Converter）を含む。

学習モデル１５２は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network））で構成され、公知の機械学習アルゴリズム（いわゆるディープラーニング）を利用して構築される。機械学習には、低音響出力の第１の超音波の送受信により得られる低音響出力データＴＤ１と、高音響出力の第２の超音波の送受信により得られる高音響出力データＴＤ２のペアからなる教師データＴＤが用いられる。教師データＴＤを構成する低音響出力データＴＤ１及び高音響出力データＴＤ２は、実際に、同一の対象部位に対して、低音響出力の第１の超音波及び高音響出力の第２の超音波を送受信することにより得られる。
低音響出力の受信データに対して学習モデル１５２を実行することで、高音響出力の受信データに近い出力結果が得られる。したがって、この出力結果に基づいてＢモード画像を生成することで、低電力モードにおいても、通常モードで得られるＢモード画像と遜色のない、高画質のＢモード画像が得られる。

教師データＴＤには、例えば、超音波の受信信号から得られる、画像変換前の音線データ（生データ）を適用できる。音線データのデータ構造は、リニア型、セクタ型、コンベックス型等の超音波探触子２０の種別に依存しない。この場合、学習モデル１５２による処理は、画像データ生成部１５１の前段で行われる（図３の画像データ生成部１５１と学習モデル１５２の配置を入れ替えた順序で行われる）。すなわち、第１の受信信号に基づく低音響出力の音線データが、そのまま学習モデル１５２に入力される。学習モデル１５２の出力結果（処理後の音線データ）は、画像データ生成部１５１により画像データに変換され、生成された画像データに基づくＢモード画像が、表示部１７に出力される。
音線データは、アキシャル方向及びアジマス方向に拡がりを有する二次元配列構造のデータであってもよいし、超音波探触子２０が３Ｄ／４Ｄプローブである場合は、さらにエレベーション方向（プローブの厚さ方向）への拡がりを加えた三次元配列構造のデータであってもよい。二次元配列構造を有する音線データは、ＣＮＮと相性がよく、好適な出力結果を得ることができる。

また例えば、教師データＴＤには、超音波の受信信号を画像変換した後の画像データを適用できる。この場合、学習モデル１５２による処理は、画像データ生成部１５１の後段で行われる。すなわち、第１の受信信号に基づく低音響出力の音線データは、画像データ生成部１５１により画像データに変換される。そして、この画像データが学習モデル１５２に入力され、学習モデル１５２の出力結果（処理後の画像データ）に基づくＢモード画像が、そのまま表示部１７に出力される。

学習モデル１５２の訓練、すなわち、学習モデル１５２に適した調整値の生成は、例えば、モデル訓練部４０によって行われる。
なお、本実施の形態においては、モデル訓練部４０が超音波診断装置内に設けられ、学習モデル１５２が超音波診断装置内で学習することができる例を説明するが、モデル訓練部４０が超音波診断装置内に設けられずに、予め学習済みの学習モデル１５２を実装した態様であってもよい。モデル訓練部４０を超音波診断装置内に設けることにより、学習モデル１５２が予め学習済みであったとしても、学習モデル１５２による出力結果の精度を向上させることができる。また、モデル訓練部４０を超音波診断装置内に設けることにより、超音波診断で得られた超音波画像データを教師データとして用いることもでき、学習に必要とされる教師データの入力作業の手間を抑制することができる。
また、本実施の形態においては、第１の画像処理部１５の画像データ生成部１５１と第２の画像処理部１６の画像データ生成部１６１とを各々設けたが、第１の画像処理部１５と第２の画像処理部１６とで共通の画像データ生成部を設ける構成としてもよい。このような構成においては、低電力モードである場合に、画像データ生成部と学習モデル１５２が選択され、通常モードである場合に、画像データ生成部が選択される構成とすることができる。

表示部１７は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等で構成される。表示部１７は、システム制御部１９の指示に従って、表示処理部（図示略）からの表示信号に基づいて画像を表示する。

通信部１８は、例えばＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）、ＵＳＢ（Universal Serial Bus）等の各種インターフェースを含む。通信部１８には、ＮＦＣ（Near Field Communication）やBluetooth（登録商標）等の近距離無線通信用の通信インターフェースを適用することもできる。ＣＰＵ１９１は、通信部１８を介して、有線／無線ＬＡＮ（Local Area Network）等の通信ネットワークに接続された外部装置（例えば、パーソナルコンピューターやインターネット上のクラウドストレージ）との間で、各種情報の送受信を行う。

システム制御部１９は、操作入力部１１、送信部１２、受信部１３、切替部１４、第１の画像処理部１５、第２の画像処理部１６、表示部１７及びモデル訓練部４０を、それぞれの機能に応じて制御することによって、超音波診断装置１の全体制御を行う。

システム制御部１９は、演算／制御装置としてのＣＰＵ（Central Processing Unit）１９１、主記憶装置としてのＲＯＭ（Read Only Memory）１９２及びＲＡＭ（Random Access Memory）１９３等を有する。ＲＯＭ１９２には、基本プログラムや基本的な設定データが記憶される。また、ＲＯＭ１９２には、診断時に実行される超音波診断プログラムが記憶される。ＣＰＵ１９１は、ＲＯＭ１９２から処理内容に応じたプログラムを読み出してＲＡＭ１９３に展開し、展開したプログラムを実行することにより、超音波診断装置本体１０の各機能ブロック（送信部１２、受信部１３、切替部１４、第１の画像処理部１５、第２の画像処理部１６、表示部１７及びモデル訓練部４０）の動作を集中制御する。

本実施の形態では、機能ブロックを構成する各ハードウェアとシステム制御部１９とが協働することにより、各機能ブロックの機能が実現される。なお、システム制御部１９がプログラムを実行することにより、各機能ブロックの一部又は全部の機能が実現されるようにしてもよい。

図４は、モデル訓練部４０の具体的な構成を示す図である。図５は、訓練実行部の処理内容を示す図である。
図４に示すように、モデル訓練部４０は、入力部４１、記憶部４２、訓練実行部４３及び出力部４４を有する。

入力部４１は、低音響出力データＴＤ１（例題）及び高音響出力データＴＤ２（答え）のペアからなる教師データＴＤを取得する。本実施の形態では、入力部４１は、低音響出力の第１の超音波の送受信により得られる第１の受信信号、及び高音響出力の第２の超音波の送受信により得られる第２の受信信号から教師データＴＤを生成する（教師データ生成部）。なお、入力部４１は、ネットワーク上のクラウドストレージに保存されている教師データＴＤを、通信部１８を介して取得してもよい。

教師データＴＤは、例えば、同一の対象物に対して、低音響出力の第１の超音波と高音響出力の第２の超音波を交互に連続して送受信して得られた受信信号に基づいて生成される。具体的には、第１の超音波の送受信により得られる第１の受信信号から低音響出力データＴＤ１が生成され、第２の超音波の送受信により得られる第２の受信信号から高音響出力データＴＤ２が生成される。
このとき、第１の受信信号と第２の受信信号を、フレーム単位で交互に取得してもよいし、音線単位で交互に取得してもよい。フレーム単位で取得する場合は、音線単位で取得する場合に比較して、超音波の送受信処理を簡素化できる。音線単位で取得する場合は、フレーム単位で取得する場合に比較して、教師データＴＤのペアとなるデータ間の時間的なずれを極力抑制することができ、好適な教師データＴＤを生成できる。

記憶部４２は、入力部４１において取得された教師データＴＤを記憶する。訓練に用いられた教師データＴＤは、入力部４１によって新たに教師データＴＤが取得された場合に、適宜上書きされてもよい。
なお、入力部４１で生成された教師データＴＤは、通信部１８を介して、ネットワーク上のクラウドストレージに転送され、保存されてもよい。この場合、学習モデル１５２を実装している他の超音波診断装置１との間で教師データＴＤを共有でき、学習モデル１５２の訓練に必要となる膨大な量の教師データＴＤを容易に準備することができる。

訓練実行部４３は、図５に示すように、学習モデル１５２と同様のニューラルネットワークを有し、教師データＴＤを用いた機械学習により、前記ニューラルネットワークの調整値を最適化する。具体的には、訓練実行部４３は、低音響出力データＴＤ１（教師データＴＤの例題）を生成器４３１に入力したときに、高音響出力データＴＤ２（教師データＴＤの答え）が出力されるように、生成器４３１の調整値（パラメーター）を最適化する。図５では、教師データＴＤに、画像変換後の画像データを適用した場合について示している。

訓練実行部４３には、例えば、生成器４３１及び識別器４３２を有する敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Networks）を適用できる。生成器４３１は、学習モデル１５２と同様のニューラルネットワークで構成され、低音響出力データＴＤ１から出力データＤoutを生成する。識別器４３２は、出力データＤoutと高音響出力データＴＤ２を比較し、出力データＤoutの真偽を判定する。識別器４３２の判定結果を生成器４３１及び識別器４３２に逆伝搬させ、生成器４３１と識別器４３２を交互に競合させることにより、生成器４３１の調整値が最適化される。

生成器４３１の調整値は、出力部４４から出力され、学習モデル１５２に反映される。このようにして、学習モデル１５２の訓練が行われる。

図６は、超音波診断装置１における超音波診断処理の一例を示すフローチャートである。この処理は、例えば、超音波診断装置１において、診断モードが有効化されることに伴い、ＣＰＵ１９１がＲＯＭ１９２に格納されている所定のプログラムを実行することにより実現される。診断モードの有効化は、例えば、操作入力部１１におけるモード選択によって行われる。

ステップＳ１０１において、システム制御部１９は、運転モード（低電力モード／通常モード）に応じた超音波の送受信を行う。具体的には、システム制御部１９は、送信部１２を制御して、超音波探触子２０から第１の超音波又は第２の超音波を送信するとともに、受信部１３を制御して、超音波探触子２０で受信した反射超音波（超音波エコー）に応じた受信信号を取得する。

ステップＳ１０２において、システム制御部１９は、運転モードが低電力モードであるか否かを判定する。低電力モードである場合（ステップＳ１０２で“ＹＥＳ”）、ステップＳ１０３の処理に移行する。一方、低電力モード出ない場合、すなわち通常モードである場合（ステップＳ１０２で“ＮＯ”）、ステップＳ１０４の処理に移行する。

ステップＳ１０３において、システム制御部１９は、切替部１４を制御して第１の画像処理部１５を選択し、第１の画像処理を実行させる。ステップＳ１０３では、第１の超音波の送受信により得られる第１の受信信号に基づいてＢモード画像が生成される。具体的には、第１の受信信号の音線データ（又は音線データを画像変換した画像データ）が学習モデル１５２に入力され、学習モデル１５２の出力結果に基づいてＢモード画像が生成され、出力される。
学習モデル１５２は、ニューラルネットワークで構成され、低音響出力データＴＤ１と高音響出力データＴＤ２のペアからなる教師データＴＤを用いた機械学習により構築されているので、学習モデル１５２の出力結果に基づいて生成されたＢモード画像において、高音響出力の第２の超音波の送受信により得られるＢモード画像と同等の画質が実現される。

ステップＳ１０４において、システム制御部１９は、切替部１４を制御して第２の画像処理部１６を選択し、第２の画像処理を実行させる。ステップＳ１０４では、第２の超音波の送受信により得られる第２の受信信号の音線データがそのまま利用して画像変換され、Ｂモード画像が生成される。

ステップＳ１０５において、システム制御部１９は、表示部１７を制御して、生成された画像データに基づいて、診断用の表示画像を表示する。ユーザーは、低電力モードにおいても、通常モードと同等の高画質の超音波画像で診断を行うことができる。

このように、実施の形態に係る超音波診断装置１は、被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置であって、低音響出力の第１の超音波及び高音響出力の第２の超音波の送受信を行う送信部１２及び受信部１３（送受信部）と、第１の超音波の送受信により得られる第１の受信信号に基づいて超音波画像を生成する第１の画像処理部１５と、を備える。第１の画像処理部１５は、ニューラルネットワークで構成され、第１の超音波の送受信により得られる低音響出力データＴＤ１と第２の超音波の送受信により得られる高音響出力データＴＤ２のペアからなる教師データＴＤを用いて機械学習された学習モデル１５２を有し、第１の受信信号が入力されたときの学習モデル１５２の出力結果に基づいて超音波画像を生成する。

また、実施の形態に係る超音波診断方法は、被検体内で反射した反射超音波に応じた受信信号に基づく超音波画像により診断を行う超音波診断方法であって、低音響出力の第１の超音波又は高音響出力の第２の超音波の送受信を行う第１ステップ（図６のステップＳ１０１）と、第１の超音波の送受信により得られる第１の受信信号に基づいて超音波画像を生成する第２ステップ（図６のステップＳ１０３）と、を有する。第２ステップは、ニューラルネットワークで構成され、第１の超音波の送受信により得られる低音響出力データＴＤ１と第２の超音波の送受信により得られる高音響出力データＴＤ２のペアからなる教師データＴＤを用いて機械学習された学習モデル１５２を利用して、第１の受信信号が入力されたときの学習モデル１５２の出力結果に基づいて超音波画像を生成する。

また、実施の形態に係るプログラムは、被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置１のコンピューターに、所定の処理を実行させるプログラムであって、低音響出力の第１の超音波又は高音響出力の第２の超音波の送受信を行う第１処理（図６のステップＳ１０１）と、第１の超音波の送受信により得られる第１の受信信号に基づいて超音波画像を生成する第２処理（図６のステップＳ１０３）と、を有する。第２処理は、ニューラルネットワークで構成され、第１の超音波の送受信により得られる低音響出力データＴＤ１と第２の超音波の送受信により得られる高音響出力データＴＤ２のペアからなる教師データＴＤを用いて機械学習された学習モデル１５２を利用して、第１の受信信号が入力されたときの学習モデル１５２の出力結果に基づいて超音波画像を生成する。
このプログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、このプログラムは、当該プログラムを保有するサーバーから、ネットワークを介してダウンロードにより提供することもできる。

実施の形態に係る超音波診断装置１、超音波診断方法及びプログラムによれば、低音響出力であっても診断に必要な高画質の超音波画像を得ることができ、装置の低消費電力化及び小型化を図ることができる。

また、超音波診断装置１は、第２の超音波の送受信により得られる第２の受信信号に基づいて超音波画像を生成する第２の画像処理部１６と、受信信号が第１の受信信号である場合に第１の画像処理部１５を選択し、受信信号が第２の受信信号である場合に前記第２の画像処理部を選択する切替部１４と、を備える。これにより、超音波の音響出力を、低音響出力と高音響出力に適宜切り替えて使用できるとともに、それぞれに適した画像処理が行われるので、超音波診断装置１の利便性が向上する。

また、超音波診断装置１は、バッテリーからなる第１電源部５１と、外部電源からの電力供給を受ける第２電源部５２と、を備え、送信部１２及び受信部１３（送受信部）は、第１電源部５１から駆動電力が供給される場合に第１の超音波の送受信を行い、第２電源部５２から駆動電力が供給される場合に第２の超音波の送受信を行う。これにより、駆動電力の供給源に応じて超音波の音響出力が選択され、音響出力に適した画像処理が行われるので、超音波診断装置１の利便性がさらに向上する。

また、超音波診断装置１において、教師データＴＤは、アキシャル方向及びアジマス方向に拡がりを有する、画像変換前の音線データである。この二次元データは、音線のアキシャル方向のサンプリング点数×音線に直交するアジマス方向の音線数の二次元配列構造を有するので、画像処理で実績のあるＣＮＮを学習モデル１５２に適用することができる。
また、超音波診断装置１において、教師データＴＤは、さらにエレベーション方向に拡がりを有してもよい。この場合、超音波探触子２０として、マトリックスアレイ構造のプローブや、メカニカル揺動方式の３Ｄ／４Ｄプローブ等を使用する場合に対応することができる。
また、超音波診断装置１において、教師データＴＤは、受信信号を画像変換した後の画像データである。この場合、画像処理で実績のあるＣＮＮを学習モデル１５２に適用することができる。

また、超音波診断装置１は、学習モデル１５２を訓練するためのモデル訓練部４０を備え、モデル訓練部４０は、教師データＴＤを取得する入力部４１と、学習モデル１５２と同様のニューラルネットワークを有し、教師データＴＤを用いてニューラルネットワークの調整値を最適化する訓練実行部４３と、ニューラルネットワークの調整値を出力する出力部４４と、を有し、調整値が学習モデル１５２に反映されている。これにより、超音波診断装置１の中で学習モデル１５２の訓練を行うことができ、学習モデル１５２の精度を容易に向上することができる。

また、超音波診断装置１において、訓練実行部４３は、ニューラルネットワークで構成され、低音響出力データＴＤ１から出力データを生成する生成器４３１と、出力データと高音響出力データＴＤ２を比較し、出力データの真偽を判定する識別器４３２と、を有し、識別器４３２の判定結果を生成器４３１及び識別器４３２に逆伝搬させ、生成器４３１と識別器４３２を交互に競合させながら調整値を最適化する。これにより、公知のＧＡＮの技術を適用でき、生成器４３１の調整値を容易に最適化することができる。

また、超音波診断装置１において、入力部４１は、第１の受信信号及び第２の受信信号から教師データＴＤを生成する教師データ生成部を有する。これにより、超音波診断装置１の中で学習モデル１５２の訓練だけでなく、教師データＴＤの生成を行うこともでき、学習モデル１５２の精度を容易に向上することができる。

また、超音波診断装置１において、入力部４１（教師データ生成部）は、フレーム単位で連続して取得した第１の受信信号及び第２の受信信号に基づいて、教師データＴＤを生成する。この場合、超音波の送受信処理を簡素化できる。

また、超音波診断装置１において、入力部４１（教師データ生成部）は、音線単位で連続して取得した第１の受信信号及び第２の受信信号に基づいて、教師データＴＤを生成する。この場合、教師データＴＤのペアとなるデータ間の時間的なずれを極力抑制することができ、好適な教師データＴＤを生成できる。

また、超音波診断装置１において、入力部４１（教師データ生成部）において生成された教師データＴＤは、ネットワーク上のクラウドストレージに転送される。これにより、学習モデル１５２を実装した他の超音波診断装置１との間で教師データＴＤを共有でき、利便性が向上する。

また、超音波診断装置１において、入力部４１は、ネットワーク上のクラウドストレージから教師データＴＤを取得する。これにより、学習モデル１５２の訓練に必要な膨大な量の教師データＴＤを容易に取得することができ、学習モデル１５２の精度を高めることができる。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、実施の形態では、学習モデル１５２にＣＮＮを適用した場合について説明したが、ぼけ画像を高画質化する超解像技術や鮮鋭化フィルター処理等の公知技術に基づく、画像処理タスクに応用可能なニューラルネットワークを適用してもよい。

また、実施の形態では、通常モードでは、高音響出力の第２の超音波の送受信が行われる場合について説明したが、例えば、診断対象部位の確認など、超音波画像が高画質である必要がない場合は、通常モードにおいて低音響出力の第１の超音波の送受信が行われるようにして、省電力化を図るようにしてもよい。

また、実施の形態では、超音波診断装置１に実装されたモデル訓練部４０によって学習モデル１５２を訓練する場合について説明したが、モデル訓練部４０と同様の機能構成を有する外部コンピューター（モデル訓練装置）によって、学習モデル１５２の訓練が行われてもよい。

さらに、訓練実行部４３は２つのＣＮＮ（生成器と識別器）から成るＧＡＮには限定されず、単一のＣＮＮで構成されてもよい。この場合、例えば、公知のＵ－Ｎｅｔと呼ばれるＵ字型のＣＮＮを適用してもよいし、公知のＩｍａｇｅＮｅｔと呼ばれる大規模画像データセットにて既に学習済みのＶＧＧ１６等のＣＮＮを転移学習させ、モデル訓練部４０にとって好適な形状のＣＮＮにファインチューニングしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 超音波診断装置
１０ 超音波診断装置本体
１１ 操作入力部
１２ 送信部
１３ 受信部
１４ 切替部
１５ 第１の画像処理部
１６ 第２の画像処理部
１７ 表示部
１８ 通信部
１９ システム制御部（コンピューター）
２０ 超音波探触子
４０ モデル訓練部
１５２ 学習モデル
ＴＤ 教師データＴＤ
ＴＤ１ 低音響出力データ
ＴＤ２ 高音響出力データ

Claims (16)

1. 被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置であって、
   低音響出力の第１の超音波及び高音響出力の第２の超音波の送受信を行う送受信部と、
   前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第１の画像処理部と、
   前記第２の超音波の送受信により得られる第２の受信信号に基づいて前記超音波画像を生成する第２の画像処理部と、
   前記受信信号が前記第１の受信信号である場合に前記第１の画像処理部を選択し、前記受信信号が前記第２の受信信号である場合に前記第２の画像処理部を選択する切替部と、を備え、
   前記第１の画像処理部は、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルを含み、前記学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成する、超音波診断装置。
2. バッテリーからなる第１電源部と、
   外部電源からの電力供給を受ける第２電源部と、を備え、
   前記送受信部は、前記第１電源部から駆動電力が供給される場合に前記第１の超音波の送受信を行い、前記第２電源部から駆動電力が供給される場合に前記第２の超音波の送受信を行う、請求項１に記載の超音波診断装置。
3. 前記切替部は、前記第１電源部から駆動電力が供給されている場合に、前記第１の画像処理部を選択し、前記第２電源部から駆動電力が供給されている場合に、前記第２の画像処理部を選択する、請求項２に記載の超音波診断装置。
4. 前記切替部は、電力モードが低電力モードである場合に、前記第１の画像処理部を選択する、請求項１又は２に記載の超音波診断装置。
5. 前記教師データは、アキシャル方向及びアジマス方向に拡がりを有する、画像変換前の音線データである、請求項１に記載の超音波診断装置。
6. 前記教師データは、さらに、エレベーション方向に拡がりを有する、請求項５に記載の超音波診断装置。
7. 前記教師データは、前記受信信号を画像変換した後の画像データである、請求項１に記載の超音波診断装置。
8. 前記学習モデルを訓練するためのモデル訓練部を備え、
   前記モデル訓練部は、
   前記教師データを取得する入力部と、
   前記学習モデルと同様のニューラルネットワークを有し、前記教師データを用いて前記ニューラルネットワークの調整値を最適化する訓練実行部と、
   前記ニューラルネットワークの調整値を出力する出力部と、を有し、
   前記調整値が前記学習モデルに反映されている、請求項１から７のいずれか一項に記載の超音波診断装置。
9. 前記訓練実行部は、
   前記ニューラルネットワークで構成され、前記低音響出力データから出力データを生成する生成器と、
   前記出力データと前記高音響出力データを比較し、前記出力データの真偽を判定する識別器と、を有し、
   前記識別器の判定結果を前記生成器及び前記識別器に逆伝搬させ、前記生成器と前記識別器を交互に競合させながら前記調整値を最適化する、請求項８に記載の超音波診断装置。
10. 前記入力部は、前記第１の受信信号及び前記第２の受信信号から前記教師データを生成する教師データ生成部を有する、請求項８又は９に記載の超音波診断装置。
11. 被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置であって、
    低音響出力の第１の超音波及び高音響出力の第２の超音波の送受信を行う送受信部と、
    前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第１の画像処理部と、を備え、
    前記第１の画像処理部は、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルを含み、
    前記学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成し、
    前記学習モデルを訓練するためのモデル訓練部をさらに備え、
    前記モデル訓練部は、
    前記教師データを取得する入力部と、
    前記学習モデルと同様のニューラルネットワークを有し、前記教師データを用いて前記ニューラルネットワークの調整値を最適化する訓練実行部と、
    前記ニューラルネットワークの調整値を出力する出力部と、を有し、
    前記調整値が前記学習モデルに反映され、
    前記訓練実行部は、
    前記ニューラルネットワークで構成され、前記低音響出力データから出力データを生成する生成器と、
    前記出力データと前記高音響出力データを比較し、前記出力データの真偽を判定する識別器と、を有し、
    前記識別器の判定結果を前記生成器及び前記識別器に逆伝搬させ、前記生成器と前記識別器を交互に競合させながら前記調整値を最適化し、
    前記入力部は、前記第１の受信信号及び前記第２の超音波の送受信により得られる第２の受信信号から前記教師データを生成する教師データ生成部を有し、
    前記教師データ生成部は、フレーム単位又は音線単位で連続して取得した前記第１の受信信号及び前記第２の受信信号に基づいて、前記教師データを生成する、超音波診断装置。
12. 前記教師データ生成部において生成された前記教師データは、ネットワーク上のクラウドストレージに転送される、請求項１０又は１１に記載の超音波診断装置。
13. 前記入力部は、ネットワーク上のクラウドストレージから前記教師データを取得する、請求項８から１２のいずれか一項に記載の超音波診断装置。
14. 被検体内で反射した反射超音波に応じた受信信号に基づく超音波画像を生成する超音波画像生成方法であって、
    低音響出力の第１の超音波又は高音響出力の第２の超音波の送受信を行う第１ステップと、
    前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第２ステップと、
    前記第２の超音波の送受信により得られる第２の受信信号に基づいて前記超音波画像を生成する第３ステップと、
    前記受信信号が前記第１の受信信号である場合に前記第２ステップを選択し、前記受信信号が前記第２の受信信号である場合に前記第３ステップを選択する第４ステップと、を有し、
    前記第２ステップは、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成する、超音波画像生成方法。
15. 被検体内で反射した反射超音波に応じた受信信号に基づいて超音波画像を生成し、表示する超音波診断装置のコンピューターに、所定の処理を実行させるプログラムであって、
    低音響出力の第１の超音波又は高音響出力の第２の超音波の送受信を行う第１処理と、
    前記第１の超音波の送受信により得られる第１の受信信号に基づいて前記超音波画像を生成する第２処理と、
    前記第２の超音波の送受信により得られる第２の受信信号に基づいて前記超音波画像を生成する第３処理と、
    前記受信信号が前記第１の受信信号である場合に前記第２処理を選択し、前記受信信号が前記第２の受信信号である場合に前記第３処理を選択する第４処理と、を有し、
    前記第２処理は、ニューラルネットワークで構成され、かつ、前記第１の超音波の送受信により得られる低音響出力データと前記第２の超音波の送受信により得られる高音響出力データのペアからなる教師データを用いて機械学習された学習モデルに対して、前記第１の受信信号を入力することにより、高音響出力の受信データに近い出力結果を得て、前記第２の超音波の送受信により得られる超音波画像と同等の画質の超音波画像を生成する、プログラム。
16. 請求項１から７のいずれか一項に記載の超音波診断装置に実装される前記学習モデルを訓練するためのモデル訓練装置であって、
    前記教師データを取得する入力部と、
    前記学習モデルと同様のニューラルネットワークを有し、前記教師データを用いて前記ニューラルネットワークの調整値を最適化する訓練実行部と、
    前記ニューラルネットワークの調整値を出力する出力部と、を備える、モデル訓練装置。

Images