JP2024008364A - 学習モデル、診断用プログラム、超音波診断装置、超音波診断システム、画像診断装置、機械学習装置、学習データ作成装置、学習データ作成方法及び学習データ作成プログラム - Google Patents

Abstract

【課題】より高い精度が得られる学習モデル、診断用プログラム、超音波診断装置、超音波診断システム、画像診断装置、機械学習装置、学習データ作成装置、学習データ作成方法及び学習データ作成プログラムを提供する。【解決手段】学習モデルは、超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データに座標変換の逆変換を行って得られた第２の正解データと、のペアからなる学習データを用いて機械学習されている。【選択図】図５

Description

この発明は、学習モデル、診断用プログラム、超音波診断装置、超音波診断システム、画像診断装置、機械学習装置、学習データ作成装置、学習データ作成方法及び学習データ作成プログラムに関する。

従来、撮影された医用画像に基づく医療診断が多くなされている。医用画像は、医師などが見やすいように適宜適切な座標系に変換されて表示出力される。

このような医用画像の診断にも、診断能力のばらつきなどに伴う見落としを防ぐために、ニューラルネットワークなどを利用した画像認識に係る学習モデルを機械学習により学習させて画像の自動判断を行わせる技術が注目されつつある。特許文献１では、超音波エコーを利用した画像の診断に機械学習アルゴリズムを用いて当該画像から得られた確率情報を利用する技術が開示されている。

特表２０２０－５１９３６９号公報

機械学習では、有識者が正解データ（教師データ）を生成して学習用データとともに学習モデルに入力して当該学習モデルを学習させる。このとき、画像認識に係る学習では、上記座標変換などの処理がなされた後の画像データを用いると、元の画像に含まれていた情報の一部が取り除かれて情報量が減少しているため、学習精度が低下するという課題がある。

この発明の目的は、より高い精度の学習モデルを得て、これを診断に利用させることのできる当該学習モデル、診断用プログラム、超音波診断装置、超音波診断システム、画像診断装置、機械学習装置、学習データ作成装置、学習データ作成方法及び学習データ作成プログラムを提供することにある。

上記目的を達成するため、請求項１記載の発明は、
超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、
当該第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データに前記座標変換の逆変換を行って得られた第２の正解データと、
のペアからなる学習データを用いて機械学習された学習モデルである。

本発明に従うと、より効率よく精度の高い学習済モデルを得て、これを診断に利用させることができるという効果がある。

本実施形態の超音波診断装置の構成を説明する図である。 超音波診断装置の機能構成を示すブロック図である。 電子計算機の機能構成を示すブロック図である。 学習用データの作成について説明する図である。 学習用データ作成処理の制御手順を示すフローチャートである。 学習制御処理の制御手順を示すフローチャートである。 画像処理部による処理内容について説明する図である。 学習モデルを用いた対象の検出例を示す図である。 超音波診断制御処理の制御手順を示すフローチャートである。 空間コンパウンドの例、及び空間コンパウンド画像に対する教師データの設定について説明する図である。 空間コンパウンド画像からの教師データの設定例を説明する図である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の超音波診断装置１（超音波診断システム）の構成を説明する図である。超音波診断装置１は、本体部１０と、超音波探触子２０とを含む。

超音波探触子２０は、被検体に対して超音波を送信し、その反射波を受信するプローブである。超音波探触子２０は、圧電部材を複数の振動子として有し、各振動子に適宜な周波数で電圧が印加されることで振動子が変形して超音波を生じさせるとともに、入力された超音波に応じて生じる振動子の変形を電気信号に変換することで当該超音波を受信して、得られた電気信号を画像生成用の受信信号として出力する。超音波探触子２０は、信号ケーブル２２を有し、当該信号ケーブル２２の一端に位置する図示略の接続端子が本体部１０に接続されることで、送信する超音波を送信するための電気信号が本体部１０から超音波探触子２０に送られ、また、受信信号が超音波探触子２０から本体部１０へ送られる。

本体部１０は、上記超音波の送受信に係る制御を行うほか、操作受付部１８及び表示部１９を備える。表示部１９は、超音波診断装置１のステータスやメニュー、撮影画像や診断結果などの表示を行う。表示部１９は、表示画面として、例えば、液晶ディスプレイ（ＬＣＤ）などを有するが、これに限られない。他のもの、例えば、有機ＥＬディスプレイなどを有していてもよい。

操作受付部１８は、ユーザーなどによる外部からの入力操作を受け付けて、受け付けた入力操作の内容を入力信号として制御部１１（図２参照）へ出力する。操作受付部１８は、キーボード、キーパッド、押しボタンスイッチ、スライドスイッチ、トグルスイッチ、ロッカースイッチなどの一部又は全部を有していてもよい。

図２は、超音波診断装置１の機能構成を示すブロック図である。
超音波診断装置１の本体部１０は、制御部１１と、送信駆動部１２と、受信駆動部１３と、送受信切替部１４と、画像処理部１５と、通信部１７と、操作受付部１８と、表示部１９などを備える。

送信駆動部１２は、制御部１１から入力される制御信号に従って超音波探触子２０に供給するパルス信号を出力し、超音波探触子２０に超音波を発生させる。送信駆動部１２は、例えば、クロック発生回路、パルス発生回路、パルス幅設定部、及び遅延回路を備えている。クロック発生回路は、パルス信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。パルス幅設定部は、パルス発生回路から出力させる送信パルスの波形（形状）、電圧振幅及びパルス幅を設定する。パルス発生回路は、パルス幅設定部の設定に基づいて送信パルスを生成し、超音波探触子２０の個々の振動子に対して異なる配線経路で出力する。遅延回路は、クロック発生回路から出力されるクロック信号を計数し、設定された遅延時間が経過すると、パルス発生回路に送信パルスを発生させて各配線経路に出力させる。

受信駆動部１３は、制御部１１の制御に従って超音波探触子２０から入力された受信信号を取得する回路である。受信駆動部１３は、例えば、増幅器、Ａ／Ｄ変換回路、整相加算回路を備えている。増幅器は、超音波探触子２０の各振動子により受信された超音波に応じた受信信号を予め設定された所定の増幅率でそれぞれ増幅する回路である。Ａ／Ｄ変換回路は、増幅された受信信号を所定のサンプリング周波数でデジタルデータに変換する回路である。整相加算回路は、Ａ／Ｄ変換された受信信号に対して、振動子ごとに対応する配線経路にそれぞれ遅延時間を与えて時相を整え、これらを加算（整相加算）して音線データを生成する回路である。

送受信切替部１４は、制御部１１の制御に基づいて、各振動子から超音波を出射（送信）する場合に駆動信号を送信駆動部１２から当該振動子に送信させる一方、振動子が出射した超音波に係る信号を取得する場合に受信信号を受信駆動部１３に出力させるための切り替え動作を行う。

画像処理部１５は、超音波の受信データ（受信信号）に基づいて、診断用画像（第２の超音波画像）を生成する。画像処理部１５は、記憶部１５１と、処理部１５２（出力部）と、座標変換部１５３と、合成部１５４などを備える。

処理部１５２は、受信駆動部１３から入力される音線データ（ＲＦデータ）を検波（包絡線検波）して信号を取得し、また、必要に応じて中間処理、例えば、対数増幅（対数圧縮）、ＳＴＣ（Sensitivity Time Control）、フィルタリング（例えば、低域通過処理、スムージング、ダイナミックフィルターなど）や強調処理などを行う。また、処理部１５２は、ＦＦＴドップラー（パワードップラー）処理、カラードップラー処理といった周波数解析処理が可能であってもよい。処理部１５２は、生成された画像（中間処理画像）を出力する。

処理部１５２は、生成された中間処理画像から検出対象（関心対象）の構造（外形状などを含む）を検出してその構造や特性をユーザーが識別、知得可能に表示するデータを生成することができる。画像処理部１５における検出対象の構造検出には、入力画像から検出対象を検出するように機械学習された学習モデル１５２１（学習済モデル）が利用される。すなわち、検出対象を検出したい画像を学習モデル１５２１に入力すると、学習モデル１５２１は、検出対象の特徴的な構造を検出して各画素位置が当該構造に含まれる確率（確信度とも呼ばれる）の分布などとして出力する。学習モデル１５２１の出力から、さらに、確率をある閾値で二値化した場合の輪郭線などとして診断用画像と重ねて表示可能なデータに変換されたり、当該検出対象の構造の特性値（物理量）、例えば、長さ（横幅）、幅（縦幅）、円形や楕円形の構造の径（直径、半径、長径、短径）、面積、重心（中心）位置、周長、構造の特定位置間の距離などが求められたりしてもよい。また、３次元形状が特定、推定可能な場合には、容積、表面積、高さや深さなどが求められてもよい。学習モデル１５２１の生成及び利用については、後に詳述する。

超音波診断装置１による検出及び診断の対象となる部位としては、特には限られるものではないが、例えば、肺、心臓（心臓壁、弁輪端など）、下大静脈などの血管（領域、位置）、神経、筋肉などが挙げられる。また、検査画像からは胎児の検出などもなされ得る。あるいは、人体そのものだけではなく、検査や治療などに用いる医療器具、例えば、カテーテルや穿刺針なども検出対象とされ得る。また、これらは特定の状態（静的な状態）に限られず、呼吸や脈拍（心拍）などに伴う収縮／膨張などの変化が特定されるのであってもよい。学習モデル１５２１は、検出対象ごとに各々学習生成されていてもよい。ある部位の変化に応じた複数の状態は、同一の学習モデル１５２１内で検出可能であってもよい。

座標変換部１５３は、処理部１５２により生成された中間処理画像を表示画面の座標（各画素位置）に合わせて座標変換を行う処理（デジタルスキャンコンバート；ＤＳＣ、としての処理）などを行う。例えば、診断用画像の一つとして、当該信号強度に応じた輝度信号で信号の送信方向（入射方向、被検体の深度方向）と超音波探触子２０により送信される超音波の方向（走査一周期分）を含む面内の二次元構造（被検体内部の構造）を直交座標系（デカルト座標系）で表したＢモード表示に係る各フレーム画像データを出力する場合に、座標変換部１５３は、元の受信信号の座標系から直交座標系への変換を行う。座標変換については後述する。座標変換部１５３は、併せてガンマ補正などの画像調整処理が可能であってもよいが、このような処理は処理部１５２で行われるのであってもよい。

画像処理部１５は、座標変換部１５３により座標変換された診断用画像を表示部１９などへ出力する。診断用画像は、そのまま出力されてもよいし、一度処理部１５２に戻して直接又は微調整後に当該処理部１５２から表示部１９などへ出力されてもよい。例えば、座標変換後の診断用画像に基づいて上記のような特性値（物理量）を計測、算出する場合には、座標変換部１５３による座標変換処理の後に、処理部１５２がこれらの計測、算出を行ってもよい。座標変換部１５３から直接出力される場合には、座標変換部１５３から表示部１９への出力処理は、本発明の出力部の構成に含まれることとされてもよい。

画像処理部１５は、記憶部１５１を有する。診断用画像と学習モデル１５２１の出力結果とを用いた医療診断に係るプログラム（診断用プログラム１５１１）は、記憶部１５１に記憶される。学習モデル１５２１も記憶部１５１に記憶保持されて、処理部１５２により利用されるのであってもよい。記憶部１５１は、例えば、フラッシュメモリーやＨＤＤ（Hard Disk Drive）などの不揮発性メモリーを含む。

合成部１５４は、複数の画像（座標変換を含む中間処理後の画像）を空間コンパウンド、周波数コンパウンド、時間平均や平滑化などに伴って合成して出力する場合に、位置合わせや重み付けなどの処理を行って複数の画像を合成する。また、合成部１５４は、後述の変形例のように、学習モデル１５２１の出力した確率分布画像の合成や分解を行うことができてもよい。

画像処理部１５は、制御部として、診断用画像や学習モデル１５２１の出力画像などの生成（画像処理）に用いられる専用のＣＰＵやＲＡＭを備えていてもよく、さらに、画像処理を行うＧＰＵ（Graphics Processing Unit）などを備えていてもよい。または、画像処理部１５では、画像生成に係る専用のハードウェア構成が基板（ＡＳＩＣ（Application-Specific Integrated Circuit）など）上に形成されて備えられていてもよい。あるいは、画像処理部１５は、制御部１１のＣＰＵ及びＲＡＭにより画像生成に係る処理が行われる構成であってもよい。処理部１５２、座標変換部１５３及び合成部１５４の処理は、共通のＣＰＵ（プロセッサー）によって行われてもよいし、各々別個にプロセッサーが割り当てられてもよい。

通信部１７は、外部との間で所定の通信規格に従って行う通信を制御する。通信規格としては、例えば、ＬＡＮに係るもの（ＴＣＰ／ＩＰなど）が挙げられ、例えば、後述の電子計算機４０との間で診断用画像の送信や学習された機械学習モデルの受信などを行うことができる。

操作受付部１８は、押しボタンスイッチ、キーボード、マウス、トラックボール若しくは表示画面に重なって位置するタッチパネル、又はこれらの組み合わせを備えており、ユーザーの入力操作に応じた内容の操作信号を生成して、当該操作信号を制御部１１へ入力する。

表示部１９は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescent）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイといった種々の表示方式のうちいずれかによる表示画面とその駆動部とを備える。表示部１９は、制御部１１から出力された制御信号や、画像処理部１５で生成された画像データに従って表示画面（各表示画素）を駆動し、表示画面上に超音波診断に係るメニュー、ステータスや、受信された超音波に基づく撮影画像や診断結果などの表示を行う。また、表示部１９は、ＬＥＤランプなどを別途備えて電力供給の有無や動作異常などの報知に係る表示を行う構成であってもよい。

これらの操作受付部１８や表示部１９は、本体部１０の筐体に一体となっているものであってもよいし、ＲＧＢケーブル、ＵＳＢケーブルやＨＤＭＩケーブル（登録商標：ＨＤＭＩ）などを介して本体部１０に取り付けられるものであってもよい。また、本体部１０に操作入力端子や表示出力端子が設けられている場合には、これらの端子に操作受付用の周辺機器及び表示用の周辺機器を接続して利用するものであってもよい。

超音波探触子２０は、超音波（ここでは、１～３０ＭＨｚ程度）を発振して生体などの被検体に対して出射するとともに、出射した超音波のうち被検体で反射された反射波（エコー）を受信して電気信号に変換する音響センサーとして機能する。この超音波探触子２０は、超音波を送受信する複数の振動子の配列と、信号ケーブル２２などを備えている。

信号ケーブル２２は、その一端に本体部１０とのコネクター（図示略）を有する。超音波探触子２０は、この信号ケーブル２２により本体部１０に対して着脱可能となっている。ユーザーは、この超音波探触子２０における超音波の送受信面を被検体に適宜な圧力で接触させて超音波診断装置１を動作させ、超音波診断を行う。

超音波探触子２０では、リニア走査（直進）、セクター走査（放射状）、コンベックス走査（扇状）、アーク走査（弓状）などのいずれか又はこれらのうち複数の方式（順番及び向き）で超音波を出射させることが可能なものがある。また、超音波探触子２０自体にも、これら走査方式に応じて振動子が平面上に（リニアに）配列されていたり、扇状（コンベックス）に曲面上に並んでいたりといった構造上の種類がある。用途などに応じて適宜な超音波探触子２０が選択されて単一の本体部１０に対して接続され、適宜な走査方式により超音波の送受信が行われればよい。
なお、本体部１０と超音波探触子２０との間は、有線の信号ケーブル２２ではなく、赤外線や電波などによるワイヤレス通信手段を用いて接続されてもよい。

一方、上記学習モデル１５２１は、本実施形態では、超音波診断装置１の外部で別途生成（学習）されて、作成済みものが超音波診断装置１へコピーされる。また、学習に係る学習用データも外部で作成される。

図３は、本実施形態の機械学習装置かつ学習データ作成装置である電子計算機４０の機能構成を示すブロック図である。
電子計算機４０は、一般的なＰＣ（コンピューター）であってもよく、制御部４１と、記憶部４５と、通信部４７と、表示部４８と、操作受付部４９などを備える。

制御部４１は、演算処理を行って電子計算機４０の全体動作を統括制御するハードウェアプロセッサーを有する。ハードウェアプロセッサーには、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）に加えて特定の処理を行うように構成された論理回路、例えばＡＳＩＣ（Application Specific Integrated Circuit）などが含まれていてもよい。

記憶部４５は、不揮発性メモリーを有する。不揮発性メモリーには、フラッシュメモリーなどの他にＨＤＤ（Hard Disk Drive）も含まれ得る。また、記憶部４５は、大容量の画像データやその中間処理データなどを一時記憶するための揮発性メモリー（ＤＲＡＭなど）を有していてもよい。記憶部４５には、超音波診断装置１において超音波計測された信号から被検体における検出対象（関心対象）の有無、位置や構造などを検出推定（推論）するための機械学習モデル４５１及びその学習パラメーターと、当該機械学習モデル４５１を学習させる学習用データ４５２と、学習用データ４５２を作成するための処理を制御する学習データ作成プログラム４５３と、が記憶される。機械学習モデル４５１の学習は、ここでは教師有学習であり、すなわち、学習用データ４５２には、入力データとなる画像データと、各画像データに対応付けられた教師データ（正解データ）とが含まれる。

通信部４７は、外部と所定の通信規格で行う通信を制御する。通信規格には、ＬＡＮなどに係るネットワーク通信規格が含まれ、通信部４７は、当該通信規格に応じたネットワークカードなどを有する。

表示部４８は、表示画面を有し、制御部４１の制御に基づいて種々の内容を表示画面に表示する。表示画面は、例えば、液晶ディスプレイ（ＬＣＤ）であるが、これに限られるものではない。

操作受付部４９は、外部からの入力操作を受け付けて、受け付けた入力操作の内容に応じた操作信号を制御部４１へ出力する。操作受付部４９は、マウスといったポインティングデバイスを含み、これに加えてキーボードや押しボタンスイッチなどを含んでいてもよい。また、これらに代えて又は加えて、表示部４８の表示画面上に重なって位置するタッチパネルなどが操作受付部４９に含まれていてもよい。

なお、表示部４８及び操作受付部４９は、各種規格のうちいずれかのケーブルなどにより接続端子に接続された、又はブルートゥース（登録商標）や２．４ＧＨｚの無線通信などによりワイヤレスでデータのやり取りが可能な周辺機器であってもよい。

次に、学習モデル１５２１による推論と学習用データの作成について説明する。
上記のように、超音波診断装置１では、超音波探触子２０により受信された信号に基づいて計測画像を生成し、当該計測画像の表示を行う。また、超音波診断装置１は、この表示の際に、検出対象の物や構造を検出して識別可能に表示を追加したり、当該検出対象の位置、サイズや形状に係るパラメーターを算出して表示に追加したりすることができる。検出対象の検出（位置範囲の推定）では、学習モデル１５２１が利用される。学習モデル１５２１は、画像認識に係る公知のアルゴリズムに基づくものであり、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などを含んだものであってもよい。

機械学習モデル４５１を学習（機械学習）させて学習モデル１５２１を生成する電子計算機４０では、学習の前に予め学習用データ４５２を作成する。学習用データ４５２は、上記のように学習時に機械学習モデル４５１への入力対象とされる画像データに対して教師データ（正解データ）が付されたものである。教師データは、ここでは例えば、画像データに対してその内部の検出対象の物や構造の範囲（マスク）を規定するものであり、この範囲は、超音波医用画像からの結果判断に習熟した有識者（例えば、医師や臨床検査技師）などにより設定される。

ここで、上記のように画像処理部１５で診断用画像を得るために、計測データに対して座標変換を含む種々の処理が実行されるので、元の計測データに含まれていた情報の一部が欠落、変更されている。その結果、診断用画像による学習では、学習、特に臨床的に意味のある構造の検出に係るもの、の精度や効率が落ちる場合がある。機械学習モデル４５１は、最終的な診断用画像ではなく、これよりも前、特に座標変換以外の中間処理が行われる前、途中又は後の中間処理画像（第１の超音波画像データ）を入力データとして学習を行った方が判断の精度を上げやすい。

一方で、教師データを設定する有識者は、通常、最終的な診断用画像しか視認、利用していないので、中間処理画像に対して直接教師データを設定するのは、少なくとも手間がかかり、しばしば非常に難しい。そこで、本実施形態の電子計算機４０では、ある段階の中間処理画像（第１の超音波画像データ）に対して座標変換を含む中間処理（座標変換を含む処理）を行って診断用画像（第２の超音波画像データ）を取得し、当該診断用画像に対して設定された正解の位置範囲（第１の正解データ）から上記座標変換の逆変換をして中間処理画像における当該正解の位置範囲（第２の正解データ）を特定し、特定された位置範囲を教師データとして元の中間処理画像と対応付けて（ペアとして）学習用データ（機械学習用の学習データ）に含める。

図４は、学習用データの作成について説明する図である。
超音波診断装置１で通常行われるように、計測に係る座標系で表された中間処理画像Ｐ１は、表示に係る座標系、すなわち、直交（デカルト）座標系に座標変換されて診断用画像Ｐ２とされる。例えば、Ｂモードの診断用画像は、計測時に超音波探触子２０によりセクター走査やコンベックス走査などが行われた場合には、極座標系でデータが得られており、極座標系から直交座標系への座標変換が行われる。また、極座標系では、動径方向の値（原点からの距離）に応じてデータの取得密度が変化するので、直交座標系において均一な間隔でデータ点（画素値）を得るために画素間の補間が行われる。超音波探触子２０によりリニア走査などが行われた場合には、計測データも直交座標系で得られるが、通常、データ上の縦横比（アスペクト比）が実サイズの縦横比とは一致しなかったり、超音波の送受信方向が斜めに設定されることでデータ上の２軸が直交していなかったりする場合がある。したがって、これらの場合には、計測データがアフィン変換や射影変換されて、実際の縦横比に応じた直交座標系で表された診断用画像に変換される。なお、中間処理画像Ｐ１と診断用画像Ｐ２との間には、座標変換だけではなく、診断用画像Ｐ２を適切に生成し、見やすくするための上記の各種画像処理が含まれていてもよい（これらをまとめて座標変換を含む処理）。

電子計算機４０では、超音波診断装置１と同一手順で別途上記座標変換を含む処理が行われてもよいし、超音波診断装置１で生成された処理前後の中間処理画像Ｐ１及び診断用画像Ｐ２のセット（画像セット）を電子計算機４０が取得することで、上記座標変換を含む処理の前後の画像を電子計算機４０が取得するのであってもよい。電子計算機４０が取得する画像は、単一の超音波診断装置１からのもののみであってもよいし、複数の超音波診断装置１からのものであってもよい。

診断用画像Ｐ２に対して有識者（上記結果判断に習熟した者）により第１の正解データＣ１が設定される。電子計算機４０は、診断用画像Ｐ２に対して簡易的な検出対象の簡易アルゴリズムなどを適用して、暫定的な正解の範囲を設定してもよい。診断用画像Ｐ２、及び上記暫定的な正解の範囲が設定された場合にはその範囲が表示部４８により表示されて、担当者が診断用画像Ｐ２を見ながら正解の範囲を操作受付部４９により新規設定又は修正する操作を行うことで、第１の正解データＣ１が生成される（取得処理）。その後、第１の正解データＣ１が逆変換されて中間処理画像Ｐ１と同一の座標系での正解の範囲を示す第２の正解データＣ２が得られる（逆変換処理）。このときには、上記の座標変換を含む処理のうち座標変換以外の処理の逆変換はなされなくてよい。

上記のように、超音波探触子２０における走査方式（セクター走査、コンベックス走査、リニア走査）、及び必要に応じて超音波探触子２０の種類に応じて、座標変換のパラメーター（マトリクス）が異なる。診断用画像Ｐ２には、アルファチャンネル（メタデータやヘッダーデータなど）により、用いられたプローブの種類の情報や走査の位相情報などが付帯情報（送信方向情報）として付与されているので、この付帯情報を参照することで、どのような変換パラメーターで逆変換されればよいかが特定される。

機械学習モデル４５１の学習用データ４５２は、単に多ければよいというわけではなく、その選択も重要である。例えば、判別対象の構造として生じ得る典型的なパターンが存在するような場合には、検出対象の構造を判別することの可能な担当者（有識者とは別の者であってよく、習熟の度合が有識者よりも低くてもよい）などが予め取得された多数の画像データから当該パターンごとに適切な割合で必要な数ずつ画像データを手動で選択して、当該選択されたデータを学習用データ４５２の作成に用いればよい。また、手動での選択の前に、上記のように暫定的な正解範囲の設定に基づく分類が利用されてもよい。
中間処理画像Ｐ１と第２の正解データＣ２とが対応付けられて（ペアとされて）記憶部４５の学習用データ４５２に記憶される（記憶制御処理）。

図５は、電子計算機４０で実行される学習用データ作成処理の制御部４１による制御手順を示すフローチャートである。本実施形態の学習データ作成方法であるこの学習データ作成処理は、例えば、電子計算機４０のユーザーにより、上記のように学習用データとされる計測データのデータセットの指定とともに所定の起動命令に応じて学習データ作成プログラム４５３が起動されて、開始される。

学習データ作成処理が開始されると、制御部４１は、指定されたデータセットから未選択の画像データを１つ取得する（ステップＳ４０１）。画像データには、上記の中間処理画像Ｐ１と診断用画像Ｐ２とが含まれる。

制御部４１は、簡易な検出アルゴリズムを用いて暫定的な正解範囲を設定する（ステップＳ４０２）。制御部４１は、診断用画像Ｐ２と暫定的な正解範囲を表示部４８により表示させる（ステップＳ４０３）。上記のようにステップＳ４０２の処理はなされなくてもよく、この場合にはステップＳ４０３の処理でも、制御部４１は、暫定的な正解範囲の表示を行わない。制御部４１は、操作受付部４９による入力操作を待ち受けて、得られた入力操作の内容に基づいて第１の正解データＣ１となる対象物の正解範囲の情報を取得する（ステップＳ４０４）。ステップＳ４０１、Ｓ４０４の処理が本実施形態の学習データ作成方法（学習データ作成プログラム）の取得ステップ（取得機能）を構成する。

制御部４１は、診断用画像Ｐ２の付帯情報を参照して、走査の方式及び位相（並びに必要に応じて超音波探触子２０の種類）などに応じて座標の逆変換パラメーター（変換マトリクス）を決定する（ステップＳ４０５）。制御部４１は、取得された第１の正解データＣ１の正解範囲を決定された逆変換パラメーターによって中間処理画像Ｐ１の画像範囲における正解範囲を示す第２の正解データＣ２に逆変換する（ステップＳ４０６；逆変換ステップ、逆変換機能）。

制御部４１は、得られた第２の正解データＣ２と中間処理画像Ｐ１とを対応付けて学習用データ４５２に追加する（ステップＳ４０７；記憶制御ステップ、記憶制御機能）。制御部４１は、追加対象の学習用データを記憶部４５の学習用データ４５２に追加記憶させる。制御部４１は、入力対象のデータセットから全ての画像データが選択されたか否かを判別する（ステップＳ４０８）。全ての画像データが選択されていない（選択されていない画像データがある）と判別された場合には（ステップＳ４０８で“ＮＯ”）、制御部４１は、処理をステップＳ４０１へ戻す。全ての画像データが選択されたと判別された場合には（ステップＳ４０８で“ＹＥＳ”）、制御部４１は、学習データ作成処理を終了する。

このように学習用データ４５２が生成されると、当該学習用データ４５２を用いて機械学習モデル４５１が学習される。機械学習は、周知のように、例えば、学習用データ４５２の診断用画像Ｐ２を入力して対象物の構造を推定（推論）し、当該推論の結果と教師データとを比較してその差異（損失関数）をパラメーターにフィードバック（逆伝播）させることで行われる。

図６は、電子計算機４０で実行される学習制御処理の制御部４１による制御手順を示すフローチャートである。この処理は、電子計算機４０のユーザーによる操作受付部４９への上記の生成された学習用データ４５２を指定しての開始命令に係る入力操作に応じて開始される。

制御部４１は、学習対象の機械学習モデル４５１を設定する（ステップＳ４２１）。制御部４１は、指定された学習用データ４５２を取得する（ステップＳ４２２）。制御部４１は、学習対象の機械学習モデル４５１に対して順番に学習用データ４５２を入力し、中間処理画像Ｐ１に対する機械学習モデル４５１からの出力結果と教師データとの比較に基づいてパラメーターを改良することで機械学習を行わせる（ステップＳ４２３）。学習用データ４５２の全てのデータが入力されて機械学習が終了すると、制御部４１は、学習制御処理を終了する。

機械学習がなされた機械学習モデル４５１（学習済モデル）は、超音波診断装置１に送られて、学習モデル１５２１として保持され、受信信号に基づく計測画像からの検出対象の構造の推定（推論）に用いられる。なお、学習済モデルは、電子計算機４０から直接超音波診断装置１に送られる必要はない。複数の超音波診断装置１が有する学習済モデルなどのバージョンを管理するための管理サーバーなどに学習済モデルが送られて、当該管理サーバーから超音波診断装置１に学習済モデルが送信配布されるのであってもよい。

図７は、超音波診断装置１における画像処理部１５による処理内容について説明する図である。超音波探触子２０による通常の計測で得られた受信信号が画像処理部１５へ入力されると、画像処理部１５は、受信信号に基づいて中間処理画像Ｐ１を生成する。

中間処理画像Ｐ１（第３の超音波画像データ）が学習モデル１５２１に入力されて、各画素位置が上記の構造に含まれる確率（確信度）を示す確率分布画像Ａ１（第１の推論結果）が出力される。中間処理画像Ｐ１と確率分布画像Ａ１は、それぞれ座標変換されて診断用画像Ｐ２及び当該診断用画像Ｐ２と同一座標系で表現された確率分布画像Ａ２（第２の推論結果）とが得られる。座標変換の変換パラメーターは、中間処理画像Ｐ１に付与されている付帯情報（上記の診断用画像Ｐ２と同じように、走査方式や走査の位相、及び必要に応じて超音波探触子２０の種類といった送信方向情報を含む）に基づいて定められればよい。

確率分布画像Ａ２は、表示部１９に表示させる内容や設定に応じて、所定の閾値で二値化されたり、表示画面上で見やすいように輝度値を変更するルックアップテーブル（ＬＵＴ）を参照して輝度分布が変換（適用）されたりしてもよい。また、二値化により特定された構造の範囲に基づいて、上述した構造の特性値（物理量）が計測、算出されてもよい。これらの処理は、座標変換後に行われることで、不要なノイズをむしろ強調するような逆効果が生じることを抑制することができる。

表示部１９では、診断用画像Ｐ２に重ねて推論結果（第２の推論結果）が表示されてもよいし、推論結果の一部又は全部が診断用画像Ｐ２とは別ウィンドウなどで表示されてもよい。

図８は、学習モデル１５２１を用いた対象の検出例を示す図である。
図８（ａ）の診断用画像で示されているように、下大静脈Ｂａ及び肝静脈Ｂｂを含む肝臓付近の血管が撮影された場合、中間処理画像から学習モデル１５２１によりこれらの確率頻度分布が求められて、図８（ｂ）に示すように、下大静脈Ｂａの範囲である確率分布が高い領域Ｒａと、肝静脈Ｂｂの範囲である確率分布が高い領域Ｒｂとがそれぞれ示される。図８（ｃ）に示すように、下大静脈Ｂａの確率分布を適宜な閾値と大小比較することにより、下大静脈Ｂａの輪郭Ｒ２ａが得られる。また、肝静脈Ｂｂの確率分布において最大の値を示す点を肝静脈の位置Ｒ２ｂとして得ることができる。

図９は、超音波診断装置１で実行される超音波診断制御処理の画像処理部１５の制御部による制御手順を示すフローチャートである。この超音波診断制御処理は、超音波探触子２０からの受信信号が入力されるごとに診断用プログラム１５１１が起動されて開始される。

画像処理部１５は、入力される受信信号のデータを取得する（ステップＳ１０１）。画像処理部１５（処理部１５２）は、受信信号に基づいて、中間処理画像Ｐ１を生成する（ステップＳ１０２）。

画像処理部１５（処理部１５２）は、中間処理画像Ｐ１のデータを機械学習モデルに入力する（ステップＳ１０３）。画像処理部１５は、学習モデルから出力される推論結果（構造物の範囲に係る確率分布画像Ａ１を含む）を取得する（ステップＳ１０４；出力機能）。

画像処理部１５（座標変換部１５３）は、中間処理画像Ｐ１の付帯情報と画像の表示モードとに基づいて座標変換パラメーターを設定する（ステップＳ１０５）。画像処理部１５（座標変換部１５３）は、中間処理画像Ｐ１及び確率分布画像Ａ１を上記座標変換パラメーターにより座標変換する処理を含む画像処理を行う（ステップＳ１０６）。画像処理部１５は、画像処理により得られた診断用画像Ｐ２の表示の調整に係る処理、例えば、ガンマ補正やコントラスト調整などを行う（ステップＳ１０７）。画像処理部１５は、必要に応じて座標変換後の確率分布画像Ａ２から特性値を算出する（ステップＳ１０８）。画像処理部１５は、得られた診断用画像Ｐ２と推論結果とを表示部１９により表示させる（ステップＳ１０９）。そして、画像処理部１５は、超音波診断制御処理を終了する。

なお、上記では、超音波探触子２０からの受信信号を略リアルタイムで処理するように説明したが、これに限られない。例えば、ステップＳ１０３、Ｓ１０４、Ｓ１０８などの処理をリアルタイム処理では省略して表示を行いつつ、中間処理画像Ｐ１を記憶保持しておき、後に臨床検査技師や医師などが診断を行う際に、当該中間処理画像Ｐ１を用いてステップＳ１０３以降の処理を実行するのであってもよい。

［変形例］
上記実施の形態では、中間処理画像と診断用画像が１対１であるものとして説明したが、医療診断上、しばしば複数の中間処理画像が中間処理の後に合成されて最終的な単一の診断用画像が得られる場合がある。このような場合としては、例えば、複数の中間処理画像が時間的な変化を無視可能であるタイミングで複数の向きなどから撮影された画像（空間コンパウンド）、複数の周波数の超音波による同一範囲（撮影方向）の撮影画像（周波数コンパウンド）、単純な複数の同一周波数かつ同一範囲（撮影方向）の撮影画像の重ね合わせ、時間平滑化などがある。このような場合に個々の中間処理画像から得られる推論結果もまた、座標変換後に合成されてもよい。合成は、例えば、単純平均であってもよいし、中間処理画像の撮影条件などに応じて重み付けされた平均であってもよい。また、診断用画像は実際には合成されていない場合であっても、複数の中間処理画像から得られた推論結果を座標変換したもの（第２の推論結果）を合成して、各中間処理画像に対応する複数の診断用画像に共通の推論結果として表示出力させてもよい。学習モデル１５２１を用いても１枚の中間処理画像からは十分な精度で推論結果が得られない場合などに、このように合成処理を行うことでＳＮ比を上昇させるなどにより精度を向上させて、医師などがより診断しやすくすることができる。このような推論結果の合成に係る処理は、診断用画像に係る合成処理とともに、超音波診断装置１の合成部１５４により行われる。

図１０は、空間コンパウンドの例、及び空間コンパウンド画像に対する推論結果の生成について説明する図である。図１０（ａ）に示す３方向の撮影画像Ｄ１～Ｄ３でそれぞれ検出される検出対象の構造の推論結果Ｔ１～Ｔ３は、合成されて、図１０（ｂ）に示す単一の推論結果Ｔ０として出力され得る。

反対に、合成された診断用画像データに対して教師データを生成して学習用データ４５２を作成する場合には、教師データを合成される前の複数の中間処理画像の座標系へ各々逆変換して、当該複数の中間処理画像の座標系でそれぞれ表された教師データが得られてもよい。この処理は、電子計算機４０の制御部４１により行われる。すなわち、学習用データ４５２の作成において、診断用画像Ｐ２に対応する中間処理画像Ｐ１が複数あってもよく、この場合には、第１の正解データＣ１から逆変換される第２の正解データＣ２は、複数あってもよく、当該複数の第２の正解データＣ２を得るための逆変換パラメーターは、その一部又は全部が互いに異なっていてもよい。

図１１は、空間コンパウンド画像からの教師データの設定例を説明する図である。図１１（ａ）のように単一の空間コンパウンド画像に設定された推論結果Ｔ０からは、図１１（ｂ）のように、空間コンパウンド画像の生成時に合成された複数の画像の撮影方向に応じて分解され、座標変換の逆変換がなされて、複数（３つ）の中間処理画像に対応する正解範囲Ｔａ～Ｔｃに分割される。

なお、このような場合には、分割される複数の中間処理画像の全てを学習用データに含めなくてもよい。例えば、図１１の例において、３枚の中間処理画像のうちいずれか１枚又は２枚の中間処理画像のみが教師データに含まれるように設定され、これに応じて当該１枚の中間処理画像に対応する座標系にのみ逆変換された教師データが求められてもよい。選択される中間処理画像は、方向に応じた特定精度のよい固定された撮影方向からのものであってもよいし、撮影方向と関係なく所定枚数に１枚ずつ中間処理画像が選択されるのであってもよい。

以上のように、本実施形態の学習モデル１５２１は、超音波探触子２０で受信した画像生成用の受信信号に基づく中間処理画像Ｐ１と、当該中間処理画像Ｐ１に座標変換を含む中間処理を行って得られた診断用画像Ｐ２に対する第１の正解データＣ１に前記座標変換の逆変換を行って得られた第２の正解データＣ２と、のペアからなる学習データを用いて機械学習されたものである。
このように、最終的な診断用画像Ｐ２ではなく、その前の段階の中間処理画像Ｐ１を学習モデル１５２１の入力とすることで、診断用画像Ｐ２として医師などが見やすくするための処理による情報の欠落分を含めて判断が可能になるので、学習モデル１５２１は、より精度の高い正確な推論の出力が可能になる。そして、この学習モデル１５２１を超音波診断に用いることで、より精度のよい診断を行うことが可能になる。一方で、機械学習モデル４５１の学習に用いられる学習用データ４５２の作成時に、医師などが見慣れていない中間処理画像Ｐ１に当該医師などが直接正解を付して教師データを生成するのは難しく、できたとしても手間がかかる。そこで、診断用画像Ｐ２に対して正解が付与された第２の正解データＣ２を逆変換して中間処理画像Ｐ１に対応する第１の正解データＣ１を得ることで、容易により正確な出力が得られる機械学習モデル４５１を学習させて学習モデル１５２１を得るための学習用データ４５２を作成することができる。

また、診断用画像Ｐ２はＢモード画像であってもよい。一般に極座標系で時系列的に計測が行われるＢモードの画像では、元の極座標での中間処理画像Ｐ１は、診断用画像Ｐ２と大きく見え方が異なるので、上記のように診断用画像Ｐ２に対して第１の正解データＣ１を付与してから逆変換することで、特に容易に学習用データ４５２を得ることができる。

また、座標変換は、画素間の補間を含んでもよい。上記のような極座標系の計測では、動径に応じて所定の方位角度当たりの間隔が変化するので、そのまま直交座標系の診断用画像Ｐ２に各点を変換すると、画素点が不均一になる。このような場合に画素間で補間（特に線形補間）を行うことで、均一な表示画像を得ることができるので、診断用画像Ｐ２が画像が見やすくなる。同様に、診断用画像Ｐ２に対して付与された正解データの各点も適切に極座標で表現することができる。

また、第１の正解データＣ１は、超音波の送信方向情報に基づいて座標が逆変換されて第２の正解データＣ２が得られる。超音波探触子２０の走査は通常では周期的になされるので、診断用画像Ｐ２の各々（フレーム画像）に付される走査情報を当該超音波の送信方向情報として取得することで、容易に各診断用画像Ｐ２の各画素位置が特定される。したがって、第１の正解データＣ１は、この送信方向情報に基づいて容易に第２の正解データＣ２に変換され得る。

特に、超音波の送信方向情報は、中間処理画像Ｐ１（及び診断用画像Ｐ２）のヘッダーなどに付与されているので、別途座標変換や逆変換のための情報を取得せずとも容易に座標変換に係る処理を行うことが可能である。

また、本実施形態の診断用プログラム１５１１は、上記の学習モデル１５２１を用いて、超音波探触子２０で受信した画像生成用の受信信号に基づく中間処理（座標変換を含む）前の超音波画像データ（中間処理画像Ｐ１）から、第１の推論結果（確率分布画像Ａ１）を出力する出力機能、をコンピューターに実現させる。
このように学習モデル１５２１を利用する診断用プログラム１５１１を実行して超音波診断装置１や外部の電子機器のコンピューターで検出対象（関心対象）をより精度よく検出することで、医師の見落としなどを抑制し、また、医師の経験や能力への依存度合を低減させて、安定してより確実な診断を行うことができる。

また、本実施形態の超音波診断装置１は、被検体に対して超音波を送受信する超音波探触子２０と、上記の学習モデル１５２１を用いて、超音波探触子２０で受信した画像生成用の受信信号に基づく中間処理（座標変換を含む）前の超音波画像データ（中間処理画像Ｐ１）から、第１の推論結果（確率分布画像Ａ１）を出力する処理部１５２と、を有する。
この超音波診断装置１によれば、超音波探触子２０を用いて取得した計測データから速やかにより精度の高い検出結果を得ることができる。

また、超音波診断装置１は、第１の推論結果（のうち確率分布画像Ａ１のように座標変換が必要、可能なもの）に対して座標変換を行い第２の推論結果（確率分布画像Ａ２）とする座標変換部１５３を更に有する。処理部１５２は、座標変換後の第２の推論結果（確率分布画像Ａ２や当該確率分布画像Ａ２に基づく特性値など）を出力する。上記のように処理の途中の画像に基づいて確率分布画像Ａ１などの元の座標系に基づくデータを得た後にこの画像（データ）に対して中間処理画像Ｐ１と同じ座標変換を行うことで、診断用画像Ｐ２と同一の座標系の推論結果を、診断用画像Ｐ２自身を入力する学習モデルで得ることのできる推論結果よりも高精度で得ることができる。この場合、座標変換の必要のない結果が第１の推論結果に含まれている場合には、当該結果については座標変換部１５３による座標変換に係る処理がなされなくてよい。

また、超音波診断装置１は、第２の推論結果（確率分布画像Ａ２など）を表示する表示部１９を有する。診断用画像Ｐ２と同一の座標系で表された確率分布画像Ａ２を表示部１９に表示させることで、医師などの超音波診断装置１のユーザーは、容易により精度のよい検出対象の検出結果を視認して診断を行うことができる。

また、超音波診断装置１は、第２の推論結果に係る複数の確率分布画像Ａ２の合成処理を行う合成部１５４を有する。本実施形態の学習モデル１５２１であっても十分な精度で得られない確率分布画像Ａ２を更に複数合成することでより精度のよい検出結果を得ることができる。また、診断用画像Ｐ２が、空間コンパウンド画像、周波数コンパウンド画像などの元々複数の画像を合成して出力するものである場合には、これらの合成に応じて確率分布画像Ａ２も合成することで、学習モデル１５２１による検出結果を適切に診断用画像Ｐ２と対応させることができる。

また、処理部１５２は、第２の推論結果（確率分布画像Ａ２や特性値など）を二値化若しくは分類し、又は第２の推論結果にその値を変換するルックアップテーブルを適用してもよい。得られた第２の推論結果は、さらに、より診断しやすい画像や有益なパラメーターなどとして出力することができる。これにより、医師などが診断をより容易かつ精度よく行うことが可能になる。

また、処理部１５２は、第２の推論結果（確率分布画像Ａ２）を二値化し、この二値化された推論結果に基づいて、被検体の関心対象（検出対象）に関連付けられた位置、面積、容積、長さ、高さ、幅、深さ、直径のうちの少なくとも１つを推定してもよい。このように確率分布画像を二値化して検出対象の範囲を特定することで、特性値を求めやすくすることができる。また、上記のように、より精度よく確率分布画像が得られることで、特性値自体の精度も向上させることができる。

また、本実施形態の超音波診断システムは、被検体に対して超音波を送受信する超音波探触子２０と、上記の学習モデル１５２１を用いて、超音波探触子２０で受信した画像生成用の受信信号に基づく中間処理前の超音波画像データ（中間処理画像Ｐ１）から、第１の推論結果（確率分布画像Ａ１）を出力する処理部１５２と、を有する。
超音波診断システムは、超音波診断装置１単体ではなく、複数の装置の組み合わせによって構成されていてもよい。これにより部分的な更新、交換などが容易となる。

あるいは、本実施形態の画像診断装置は、学習モデル１５２１を用いて、超音波探触子２０で受信した画像生成用の受信信号に基づく中間処理前の超音波画像データ（中間処理画像Ｐ１）から、第１の推論結果（確率分布画像Ａ１）を出力する処理部１５２を有する。すなわち、本体部１０は、超音波探触子２０とは別体として扱われてもよい。上記のように、超音波探触子２０は用途などによって複数種類のものが着脱交換されるものであるので、本体部１０がこれと別途販売、貸出可能とされることで、各ユーザーは別途必要な超音波探触子２０を選択して取得すればよい。

また、本実施形態の機械学習装置としての電子計算機４０は、超音波探触子２０で受信した画像生成用の受信信号に基づく中間処理画像Ｐ１と、当該中間処理画像Ｐ１に座標変換を含む中間処理を行って得られた診断用画像Ｐ２に対する正解データ（確率分布画像Ａ１）に上記座標変換の逆変換を行って得られた正解データ（確率分布画像Ａ２）と、座標変換前の中間処理画像Ｐ１と、のペアからなる学習用データ４５２を用いて機械学習モデル４５１の機械学習を行う。この電子計算機４０によれば、より情報の多い中間処理画像Ｐ１に基づいてより精度の高い出力が可能な学習モデル１５２１を得ることができる。

また、機械学習モデル４５１は、畳み込みニューラルネットワークを含む。画像認識処理として安定して適切な結果が得られやすいＣＮＮを機械学習モデル４５１のアルゴリズムとして用いることで、より確実に精度よく検出対象の構造などを検出することができる。

また、本実施形態の学習データ作成装置としての電子計算機４０は、制御部４１と、記憶部４５とを備える。制御部４１は、超音波探触子２０で受信した画像生成用の受信信号に基づく第１の超音波画像データ（中間処理画像Ｐ１）と、当該第１の超音波画像データに座標変換を含む中間処理を行って得られた第２の超音波画像データ（診断用画像Ｐ２）に対する第１の正解データ（確率分布画像Ａ１）と、を取得する取得処理と、第１の正解データ（確率分布画像Ａ１）に上記座標変換の逆変換を行って第２の正解データ（確率分布画像Ａ２）を得る逆変換処理と、中間処理前の第１の超音波画像データ（中間処理画像Ｐ１）と第２の正解データ（確率分布画像Ａ２）とのペアを機械学習用の学習データとして記憶部４５に記憶させる記憶制御処理と、を行う。
この電子計算機４０では、上記の学習用データ４５２を適切に作成することができる。

また、制御部４１が実行する本実施形態の学習データ作成方法は、超音波探触子２０で受信した画像生成用の受信信号に基づく第１の超音波画像データ（中間処理画像Ｐ１）と、当該第１の超音波画像データに座標変換を含む中間処理を行って得られた第２の超音波画像データ（診断用画像Ｐ２）に対する第１の正解データ（確率分布画像Ａ１）と、を取得する取得ステップと、第１の正解データに座標変換の逆変換を行って第２の正解データ（確率分布画像Ａ２）を得る逆変換ステップと、中間処理前の第１の超音波画像データと第２の正解データとのペアを、機械学習用の学習データとして記憶部４５に記憶させる記憶制御ステップと、を含む。このような学習データの作成方法により、手間をさほど増大させずにより精度のよい出力結果が得られる学習モデル１５２１を得るための学習用データ４５２が得られる。

また、本実施形態の学習データ作成プログラム４５３は、超音波探触子２０で受信した画像生成用の受信信号に基づく第１の超音波画像データ（中間処理画像Ｐ１）と、当該第１の超音波画像データに座標変換を含む中間処理を行って得られた第２の超音波画像データ（診断用画像Ｐ２）に対する第１の正解データ（確率分布画像Ａ１）と、を取得する取得機能と、第１の正解データに上記座標変換の逆変換を行って第２の正解データ（確率分布画像Ａ２）を得る逆変換機能と、中間処理前の第１の超音波画像データと第２の正解データとのペアを、機械学習用の学習用データ４５２として記憶部４５に記憶させる記憶制御機能と、をコンピューター（電子計算機４０）に実現させる。
電子計算機４０によりこの学習データ作成プログラム４５３を実行させることで、特殊な構成を必要とせずに超音波診断装置１の撮影データから容易に学習用データ４５２を作成することができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、診断用画像としてＢモード画像を例に挙げて説明したが、これに限られない。その他の診断用画像、例えば、Ｍモード画像、カラードップラー、パワードップラー、エラストグラフィなどの解析結果に係る画像などであってもよい。

また、上記実施の形態では、座標変換に伴って画素間の補間が行われるものとして説明したが、リニア走査で適宜な焦点距離の画像などで補間が必要ない場合には、当然補間を行う必要はない。また、座標変換には、ＤＳＣに係るもの以外のものが含まれていてもよい。

また、上記実施の形態では、正解データとして輪郭形状や領域を設定するものとして説明したが、これに限られるものではない。特定の座標データであってもよいし、算出される物理量、例えば、上記輪郭形状の長さ（周長、特定の成分の幅、特定の位置間の距離など）や、面積、容積などであってもよい。

また、上記実施の形態では、座標変換に係る変換パラメーターを中間処理画像Ｐ１などのヘッダーデータに含まれる超音波の送信方向情報に基いて定めるものとして説明したが、これに限られない。画像外部から別途超音波探触子２０の走査情報などが取得されて、当該走査情報などに基づいて変換パラメーターが定められてもよい。この場合の走査情報は、個々の中間処理画像Ｐ１に各々付されるものではなく、一部の基準画像の識別情報と、当該基準画像との時間差やフレーム数の差などに応じて超音波の出力方向の変化量を求めるための情報との組み合わせなどであってもよい。

また、上記実施の形態では、学習モデル１５２１に入力される座標変換前の画像を中間処理画像Ｐ１である、すなわち座標変換を除く中間処理の前、途中又は後の画像であると説明したが、更に遡って検波処理が行われる前のＲＦデータが学習モデル１５２１に入力されるデータであってもよい。すなわち、上記座標変換を含む処理には検波処理が含まれ得る。

また、上記実施の形態では、機械学習モデル４５１（学習モデル１５２１）の画像認識アルゴリズムとしてＣＮＮを用いるものとして説明したが、これに限られない。検出対象の形状や構造が学習、特定可能な任意の他のアルゴリズム、例えば、サポートベクターマシンなどを利用するものであってもよい。

また、超音波診断装置１は、人体に対して超音波を出射する医療用のものに限られない。ペットなどの人以外の生物が被検体であってもよいし、構造物の内部構造検査に用いられるものであってもよい。

また、超音波診断装置１の本体部１０の各構成は、複数の装置の組み合わせ（システム）であってもよい。例えば、操作受付部１８や表示部１９は周辺機器などとして取り付けられるものであってもよいし、本体部１０のうち処理部１５２や座標変換部１５３などの処理の一部などが外部の電子計算機などに送られて別途行われるのであってもよい。あるいは、本体部１０のうち信号増幅や包絡線検波などの前半の処理（受信装置としての処理）と、検出などの後半の処理（画像診断装置としての処理）とが完全に分離されて、異なる複数の装置の組み合わせとされてもよい。

また、上記実施の形態では、機械学習モデル４５１の学習及びその学習用データ４５２の作成を超音波診断装置１とは別個の電子計算機４０で行うものとして説明したが、学習及び学習用データ４５２の作成を超音波診断装置１で行ってもよい。この場合には、記憶部１５１に学習データ作成プログラム４５３が記憶される。あるいは、機械学習モデル４５１の学習と、学習用データ４５２の作成とは、別個の電子計算機で実行されてもよい。また、学習用データ４５２は、電子計算機４０の記憶部４５ではなく、外部のネットワークストレージ、外付けの記憶装置、クラウドサーバー（データベース装置）などの記憶部に記憶されてもよい。

また、以上の説明では、本発明の学習用データの作成制御に係る学習データ作成プログラム４５３を記憶するコンピューター読み取り可能な媒体、及び超音波画像の診断に係る診断用プログラム１５１１を記憶するコンピューター読取可能な媒体として、それぞれＨＤＤやフラッシュメモリーなどの不揮発性メモリーなどからなる記憶部４５、１５１を例に挙げて説明したが、これらに限定されない。その他のコンピューター読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリーや、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。

１ 超音波診断装置
１０ 本体部
１１ 制御部
１２ 送信駆動部
１３ 受信駆動部
１４ 送受信切替部
１５ 画像処理部
１５１ 記憶部
１５１１ 診断用プログラム
１５２ 処理部
１５２１ 学習モデル
１５３ 座標変換部
１５４ 合成部
１７ 通信部
１８ 操作受付部
１９ 表示部
２０ 超音波探触子
２２ 信号ケーブル
４０ 電子計算機
４１ 制御部
４５ 記憶部
４５１ 機械学習モデル
４５２ 学習用データ
４５３ 学習データ作成プログラム
４７ 通信部
４８ 表示部
４９ 操作受付部
Ａ１、Ａ２ 確率分布画像
Ｃ１ 第１の正解データ
Ｃ２ 第２の正解データ
Ｄ１～Ｄ３ 撮影画像
Ｐ１ 中間処理画像
Ｐ２ 診断用画像

Claims (27)

1. 超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、
   当該第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データに前記座標変換の逆変換を行って得られた第２の正解データと、
   のペアからなる学習データを用いて機械学習された学習モデル。
2. 前記第２の超音波画像データはＢモード画像である請求項１記載の学習モデル。
3. 前記座標変換は、画素間の補間を含む、請求項１記載の学習モデル。
4. 前記第１の正解データは、超音波の送信方向情報に基づいて前記逆変換される、請求項１記載の学習モデル。
5. 前記超音波の送信方向情報は、前記第１の超音波画像データに付与されている、請求項４記載の学習モデル。
6. 請求項１に記載の学習モデルを用いて、超音波探触子で受信した画像生成用の受信信号に基づく前記座標変換を含む処理前の第３の超音波画像データから、第１の推論結果を出力する出力機能、をコンピューターに実現させる診断用プログラム。
7. 前記第２の超音波画像データはＢモード画像である請求項６記載の診断用プログラム。
8. 前記座標変換は、画素間の補間を含む、請求項６記載の診断用プログラム。
9. 前記第１の正解データは、超音波の送信方向情報に基づいて前記逆変換される、請求項６記載の診断用プログラム。
10. 被検体に対して超音波を送受信する超音波探触子と、
    請求項１に記載の学習モデルを用いて、前記超音波探触子で受信した画像生成用の受信信号に基づく前記座標変換を含む処理前の第３の超音波画像データから、第１の推論結果を出力する出力部と、
    を有する超音波診断装置。
11. 前記第１の推論結果に対して前記座標変換を行い第２の推論結果とする座標変換部を更に有し、
    前記出力部は、前記座標変換後の前記第２の推論結果を出力する、
    請求項１０記載の超音波診断装置。
12. 前記第２の超音波画像データはＢモード画像である請求項１０又は１１記載の超音波診断装置。
13. 前記座標変換は、画素間の補間を含む、請求項１０又は１１記載の超音波診断装置。
14. 前記第１の正解データは、超音波の送信方向情報に基づいて前記逆変換される、請求項１０又は１１記載の超音波診断装置。
15. 前記座標変換部は、前記第１の推論結果に対して、前記超音波の送信方向情報に基づいて決定された前記座標変換を行い第２の推論結果を得る請求項１１記載の超音波診断装置。
16. 前記超音波の送信方向情報は、前記第１の超音波画像データに付与されている、請求項１５記載の超音波診断装置。
17. 前記第２の推論結果を表示する表示部を有する請求項１１、１５、１６のいずれか一項に記載の超音波診断装置。
18. 前記第２の推論結果に係る複数の画像の合成処理を行う合成部を有する、請求項１１、１５、１６のいずれか一項に記載の超音波診断装置。
19. 前記出力部は、前記第２の推論結果を二値化若しくは分類し、又は前記第２の推論結果にルックアップテーブルを適用する請求項１１、１５、１６のいずれか一項に記載の超音波診断装置。
20. 前記出力部は、前記第２の推論結果を二値化し、前記二値化された推論結果に基づいて、前記被検体の関心対象に関連付けられた位置、面積、容積、長さ、高さ、幅、深さ、直径のうちの少なくとも１つを推定する、請求項１１、１５、１６のいずれか一項に記載の超音波診断装置。
21. 被検体に対して超音波を送受信する超音波探触子と、
    請求項１～５のいずれか一項に記載の学習モデルを用いて、前記超音波探触子で受信した画像生成用の受信信号に基づく前記座標変換を含む処理前の第３の超音波画像データから、第１の推論結果を出力する出力部と、
    を有する超音波診断システム。
22. 請求項１～５のいずれか一項に記載の学習モデルを用いて、超音波探触子で受信した画像生成用の受信信号に基づく前記座標変換を含む処理前の第３の超音波画像データから、第１の推論結果を出力する出力部、を有する画像診断装置。
23. 超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、当該第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データに前記座標変換の逆変換を行って得られた第２の正解データと、
    のペアからなる学習データを用いて学習モデルの機械学習を行う機械学習装置。
24. 前記学習モデルは、畳み込みニューラルネットワークを含む、請求項２３記載の機械学習装置。
25. 制御部と、記憶部とを備え、
    前記制御部は、
    超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、当該第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データと、を取得する取得処理と、
    前記第１の正解データに前記座標変換の逆変換を行って第２の正解データを得る逆変換処理と、
    前記座標変換を含む処理前の前記第１の超音波画像データと前記第２の正解データとのペアを機械学習用の学習データとして前記記憶部に記憶させる記憶制御処理と、
    を行う学習データ作成装置。
26. 制御部が、以下の各ステップの処理を行うことにより機械学習用の学習データを作成する学習データ作成方法であって、
    超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、当該第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データと、を取得する取得ステップと、
    前記第１の正解データに前記座標変換の逆変換を行って第２の正解データを得る逆変換ステップと、
    前記座標変換を含む処理前の前記第１の超音波画像データと前記第２の正解データとのペアを、機械学習用の学習データとして記憶部に記憶させる記憶制御ステップと、
    を含む学習データ作成方法。
27. 超音波探触子で受信した画像生成用の受信信号に基づく第１の超音波画像データと、当該第１の超音波画像データに座標変換を含む処理を行って得られた第２の超音波画像データに対する第１の正解データと、を取得する取得機能と、
    前記第１の正解データに前記座標変換の逆変換を行って第２の正解データを得る逆変換機能と、
    前記座標変換を含む処理前の前記第１の超音波画像データと前記第２の正解データとのペアを、機械学習用の学習データとして記憶部に記憶させる記憶制御機能と、
    をコンピューターに実現させる学習データ作成プログラム。

Images