JP7828241B2 - 超音波時系列データ処理装置及び超音波時系列データ処理プログラム - Google Patents

Description

本明細書は、超音波時系列データ処理装置及び超音波時系列データ処理プログラムを開示する。

従来、超音波診断装置により、被検体に向けて超音波が送受波され、それにより得られたフレームデータ（１枚の超音波画像に相当する複数の超音波ビームデータ）に基づいて、超音波画像が生成されている。従来、超音波画像に表される疾患を自動判定する技術が提案されている。

特許文献１には、疾患としての腫瘤が映る超音波画像（静止画像）と、それ以外の超音波画像（静止画像）を学習データとして用いて、入力超音波画像において腫瘤を識別するようにモデルを学習させ、判定対象の超音波画像を学習済みのモデルに入力して、判定対象の超音波画像において腫瘤を識別する超音波画像診断支援方法が開示されている。特に、特許文献１に開示された超音波画像診断支援方法においては、スペックルノイズなどが単発的に発生するという知見から、判定対象の超音波画像に時系列的に連続する超音波画像である連続フレームにおいて、同一位置に発生している腫瘤候補領域を最終的な腫瘤領域として扱っている。

国際公開第２０１８／１８０３８６号

例えば特許文献１のように、学習済みのモデル（学習器）に対して超音波画像を入力することで、当該超音波画像が示す特徴を予測することが可能となる。しかしながら、学習器を用いた超音波画像の特徴の予測には改善の余地がある。例えば、学習器が、時系列の超音波画像列（すなわち動画像）が表す被検体の動きなどをも考慮して超音波画像の特徴を予測可能となれば、その予測精度が向上されることが期待される。

本明細書で開示される超音波時系列データ処理装置の目的は、超音波画像が示す特徴の予測精度を向上させることにある。

本明細書で開示される超音波時系列データ処理装置は、被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該学習用時系列データに関する特徴を表す情報との組み合わせを学習データとして用い、入力された前記時系列データに基づいて当該時系列データに関する特徴を予測して出力するように学習された特徴予測学習器に対して、対象被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された前記時系列データである対象時系列データを入力し、当該入力に対する前記特徴予測学習器の出力に基づいて、前記対象時系列データに関する特徴を予測する特徴予測部と、前記特徴予測部の予測結果をユーザに通知する通知部と、を備えることを特徴とする。
また、前記特徴は、前記時系列データを用いて行われる検査の種類、前記時系列データが示す組織断面の種類、設定すべき計測位置、前記時系列データが示す疾患、又は、前記時系列データにおいて生じたアーティファクトの種類、の少なくとも１つであるとよい。
また、前記時系列データは、時系列の超音波画像列、画像化前のデータである時系列のフレームデータ列、スペックルの軌跡を表す軌跡情報、被検部位の歪み量の時間変化を表す時系列エラスト情報、又は、被検部位又は血液の速度の時間変化を表す時系列ドプラ信号、の少なくとも１つであるとよい。

当該構成によれば、特徴予測学習器は、時系列の学習用時系列データを用いて学習されることで、時系列データにおける信号の時間変化を考慮して、時系列データの特徴を出力できるようになる。このように学習された特徴予測学習器に対して、時系列の対象時系列データを入力することで、少なくとも、静止画像である超音波画像を用いて学習された学習器に超音波画像を入力することで当該超音波画像の特徴を予測する場合に比して、より高精度に超音波画像の特徴を予測することが可能となる。

前記特徴予測部は、互いに異なる前記特徴を予測して出力するように学習された複数の前記特徴予測学習器の中から、ユーザ指示に基づいて選択した前記特徴予測学習器に前記対象時系列データを入力するとよい。

当該構成によれば、ユーザは、対象時系列データに関する所望の特徴の予測結果を得ることができる。

前記特徴予測部は、互いに異なる前記特徴を予測して出力するように学習された複数の前記特徴予測学習器それぞれに対して、前記対象時系列データを入力し、複数の前記特徴予測学習器の出力の組み合わせに基づいて、前記対象時系列データに関する特徴を予測するとよい。

当該構成によれば、対象時系列データに関する特徴の予測の精度がより向上されることが期待される。例えば、特徴予測部は、時系列データを用いて行われる検査の種類を予測する特徴予測学習器の出力に基づいて、対象時系列データを用いて行うべき検査の種類を予測し、予測した検査の種類から判別し得る複数の疾患を特定する。その上で、特徴予測部は、時系列データが示す疾患を予測する特徴予測学習器に対象時系列データを入力することで、先に特定した複数の疾患の中から選択する形で、対象時系列データが示す疾患を予測する。これにより、疾患予測の精度がより向上されることが期待される。

前記対象時系列データ及び前記学習用時系列データは、被検体の脈動周期における同一期間に対応する前記時系列データであるとよい。

当該構成によれば、脈動周期における学習用時系列データと対象時系列データとの期間が同一となることで特徴予測学習器の出力精度が向上され、これにより対象時系列データが示す特徴の予測精度を向上させることができる。

前記対象時系列データを生成する時系列データ生成部と、をさらに備えるとよい。

当該構成によれば、被検体に対して超音波を送受波して対象時系列データを生成する超音波診断装置において、対象時系列データに関する特徴を予測することができる。

前記特徴予測部は、現時点を基準とした前記対象時系列データに関する特徴の予測を繰り返し実行するとよい。

当該構成によれば、ユーザは、最新の対象時系列データに関する特徴の予測結果を得ることができる。

前記特徴予測部は、前記対象被検体から取得された心電波形に基づいて、前記対象被検体の心拍間隔が安定した時点を基準とした前記対象時系列データに関する特徴の予測を実行するとよい。

当該構成によれば、心拍間隔が安定した状態で取得された対象時系列データの特徴の予測を行うことができる。

前記特徴予測部は、超音波の送受波を行う超音波プローブをユーザが操作した時点を基準とした前記対象時系列データに関する特徴の予測を実行するとよい。

当該構成によれば、ユーザは、超音波プローブを操作する度に、対象時系列データの特徴の予測を得ることができる。

また、本明細書で開示される超音波時系列データ処理プログラムは、コンピュータを、被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該学習用時系列データに関する特徴を表す情報との組み合わせを学習データとして用い、入力された前記時系列データに基づいて当該時系列データに関する特徴を予測して出力するように学習された特徴予測学習器に対して、対象被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された前記時系列データである対象時系列データを入力し、当該入力に対する前記特徴予測学習器の出力に基づいて、前記対象時系列データに関する特徴を予測する特徴予測部と、前記特徴予測部の予測結果をユーザに通知する通知部と、として機能させることを特徴とする。

本明細書で開示される超音波時系列データ処理装置によれば、超音波画像が示す特徴の予測精度を向上させることができる。

本実施形態に係る超音波診断装置のブロック図である。 時系列のフレームデータ列を示す概念図である。 特徴予測部の予測結果を通知する通知画面の例を示す図である。 特徴予測部による予測処理を行うタイミング及び対象時系列データを示す第１の概念図である。 特徴予測部による予測処理を行うタイミング及び対象時系列データを示す第２の概念図である。 特徴予測部による予測処理を行うタイミング及び対象時系列データを示す第３の概念図である。 本実施形態に係る超音波診断装置の処理の流れを示すフローチャートである。

図１は、本実施形態に係る超音波時系列データ処理装置としての超音波診断装置１０のブロック図である。超音波診断装置１０は、病院などの医療機関に設置され、超音波検査時に使用される医用装置である。

詳しくは後述するが、超音波診断装置１０は、被検体に対して超音波ビームを走査し、それにより得られたフレームデータに基づいて超音波画像を生成する装置である。詳しくは、超音波診断装置１０は、フレームデータに基づいて、走査面からの反射波の振幅強度が輝度に変換された断層画像（Ｂモード画像）を生成する。

また、超音波診断装置１０は、時系列に並ぶ複数のＢモード画像において、小さな斑点（スペックル）を時間方向に追跡するスペックルトラッキング機能を備えている。スペックルトラッキング機能は、例えば、心筋の所定部分の運動（収縮・拡張）の評価などを行う際に利用される。また、超音波診断装置１０は、被検体の体表に対してプローブ１２を押し付けるなどの方法によって被検部位に圧力を加え、当該圧力に応じた被検部位の歪み量を推定して、被検部位の歪み量を色で表してＢモード画像に重畳表示させるエラストグラフィ機能を備えている。さらに、超音波診断装置１０は、送信波と反射波の周波数の差分に基づいて、被検体内の組織の運動速度を演算し、運動速度を色で表してＢモード画像に重畳表示させるカラーフローマッピング機能（カラードプラ機能）を備えている。

超音波プローブであるプローブ１２は、超音波の送信及び反射波の受信を行うデバイスである。具体的には、プローブ１２は、被検体の体表に当接され、被検体に向けて超音波を送信し、被検体内の組織において反射した反射波を受信する。プローブ１２内には、複数の振動素子からなる振動素子アレイが設けられている。振動素子アレイに含まれる各振動素子には、後述の送信部１４から電気信号である送信信号が供給され、これにより、超音波ビーム（送信ビーム）が生成される。また、振動素子アレイに含まれる各振動素子は、被検体からの反射波を受信し、反射波を電気信号である受信信号に変換して後述の受信部１６に送信する。

送信部１４は、超音波の送信時において、後述のプロセッサ４６の制御に応じて、複数の送信信号をプローブ１２（詳しくは振動素子アレイ）に対して並列的に供給する。これにより振動素子アレイから超音波が送信される。送信部１４は、プローブ１２から送信される送信ビームが走査面内において電子走査されるように、送信信号をプローブ１２に供給する。

受信部１６は、反射波の受信時において、プローブ１２（詳しくは振動素子アレイ）からの複数の受信信号を並列的に受け取る。受信部１６では、複数の受信信号に対する整相加算（遅延加算）が実施され、これにより受信ビームデータが生成される。

図２は、時系列のフレームデータ列を示す概念図である。プローブ１２からは、走査面において超音波ビームがθ方向に走査されて、複数の受信ビームデータから成る１枚の超音波画像に対応する１つのフレームデータＦが生成される。被検体内に設定された同一の走査面に対する超音波ビームの走査が複数回繰り返し行われる。これにより、時系列の複数のフレームデータＦ（つまりフレームデータ列）が生成される。

生成されたフレームデータＦは、画像生成部１８、エラスト処理部２２、又はドプラ処理部２４に送られる。

図１に戻り、画像生成部１８は、デジタルスキャンコンバータにより構成され、座標変換機能、画素補間機能、フレームレート変換機能などを備えている。画像生成部１８は、受信部１６からの各受信ビームデータ列に対して、ゲイン補正処理、対数増幅処理、及びフィルタ処理などの各種信号処理を行う。その上で、画像生成部１８は、信号処理後の複数の受信ビームデータ列からなるフレームデータに基づいて、反射波の振幅（強度）が輝度で表されたＢモード画像を生成する。画像生成部１８は、時系列のフレームデータ列に基づいて、時系列の超音波画像列（Ｂモード画像列）を生成する。生成されたＢモード画像は、表示制御部２６及びプロセッサ４６に送られる。

トラッキング処理部２０は、画像生成部１８により生成された時系列のＢモード画像列に基づいて、スペックルを時間方向に追跡するスペックルトラッキング処理を実行する。スペックルトラッキング処理の内容は従来と同内容であってよいため、ここでは詳細な説明は省略する。スペックルトラッキング処理により得られた、スペックルの軌跡を表す軌跡情報は、表示制御部２６及びプロセッサ４６に送られる。

エラスト処理部２２は、受信部１６からの受信ビームデータに基づいて、プローブ１２を被検体の体表に押し付けるなどの方法によって加えられた圧力に応じた被検部位の歪み量を推定する。歪み量を推定する処理の内容は従来と同内容であってよいため、ここでは詳細な説明は省略する。特に、エラスト処理部２２は、受信部１６からの時系列の受信ビームデータ列に基づいて、被検部位の歪み量の時間変化を推定する。推定された歪み量の時間変化を表す時系列エラスト情報は、表示制御部２６及びプロセッサ４６に送られる。

ドプラ処理部２４は、受信部１６からの受信ビームデータに基づいて、走査面内にある被検部位又は当該被検部位内を流れる血液の速度を演算する。被検部位又は血液の速度を演算する処理の内容も従来と同内容であってよいため、ここでは詳細な説明は省略する。特に、ドプラ処理部２４は、受信部１６からの時系列の受信ビームデータ列に基づいて、走査面内にある被検部位又は当該被検部位内を流れる血液の速度の時間変化を演算する。演算された被検部位又は血液の速度の時間変化を示す時系列ドプラ信号（時系列速度信号）は、表示制御部２６及びプロセッサ４６に送られる。

表示制御部２６は、画像生成部１８で生成されたＢモード画像を、例えば液晶パネルなどにより構成される表示部としてのディスプレイ２８に表示させる。特に、表示制御部２６は、時系列のＢモード画像列（すなわち動画像）をディスプレイ２８に表示させる。また、表示制御部２６は、トラッキング処理部２０からの軌跡情報に基づいて、スペックルトラッキング処理の結果をディスプレイ２８に表示させる。また、表示制御部２６は、エラスト処理部２２からの時系列エラスト情報に基づいて、Ｂモード画像列（動画像）に重畳させて、被検部位の歪み量を色で表すことでその時間変化をディスプレイ２８に表示させる。また、表示制御部２６は、ドプラ処理部２４からの時系列ドプラ信号に基づいて、Ｂモード画像列（動画像）に重畳させて、被検部位若しくは血液の速度を色で表すことでその時間変化をディスプレイ２８に表示させる。さらに、表示制御部２６は、後述の特徴予測部４８による予測結果をディスプレイ２８に表示させる。

なお、送信部１４、受信部１６、画像生成部１８、トラッキング処理部２０、エラスト処理部２２、ドプラ処理部２４、表示制御部２６の各部は、１又は複数のプロセッサ、チップ、電気回路などによって構成されている。各部がハードウェアとソフトウエアとの協働により実現されてもよい。

入力インターフェース３０は、例えばボタン、トラックボール、あるいはタッチパネルなどから構成される。入力インターフェース３０は、ユーザの指示を超音波診断装置１０に入力するためのものである。

心電計３２は、被検体に装着される複数の電極を含んで構成される。心電計３２は、被検体の心拍波形である心電波形データをプロセッサ４６に出力する。

メモリ３４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ｅＭＭＣ（embedded Multi Media Card）、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）などを含んで構成される。メモリ３４には、超音波診断装置１０の各部を動作させるための超音波時系列データ処理プログラムが記憶される。なお、超音波時系列データ処理プログラムは、ＵＳＢ（Universal Serial Bus）メモリ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。超音波診断装置１０又は他のコンピュータは、そのような記憶媒体から超音波時系列データ処理プログラムを読み取って実行することができる。また、図１に示される通り、メモリ３４には、検査種類予測学習器３６、組織断面予測学習器３８、計測位置予測学習器４０、疾患予測学習器４２、及び、アーティファクト予測学習器４４が記憶される。各学習器は、特徴予測学習器に相当する。

検査種類予測学習器３６、組織断面予測学習器３８、計測位置予測学習器４０、疾患予測学習器４２、及び、アーティファクト予測学習器４４の各学習器は、それぞれ、例えば、ＲＮＮ（Recurrent neural network；回帰型ニューラルネットワーク）、ＲＮＮの一種であるＬＳＴＭ（Long Short Term Memory）、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）、あるいは、深層強化学習アルゴリズムを利用したＤＱＮ（Deep Q-Network）などの学習モデルから構成される。上述の各学習器は、全て同じタイプの学習モデルであってもよいし、互いに異なる学習モデルであってもよい。

各学習器は、被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該学習用時系列データに関する特徴を表す情報（ラベル）との組み合わせを学習データとして用い、入力された時系列データに基づいて当該時系列データに関する特徴を予測して出力するように学習される。具体的には、学習器には学習用時系列データが入力され、学習器は当該学習用時系列データが示す特徴を予測して出力する。学習処理を行うコンピュータは、所定の損失関数により、当該出力データと、当該学習用時系列データに付されたラベルとの誤差を演算し、当該誤差が小さくなるように、学習器の各パラメータ（例えば各ニューロンの重みやバイアス）を調整する。このような学習処理を繰り返すことで、学習器は、入力された時系列データに基づいて、当該時系列データに関連する特徴を高精度に出力できるようになる。

本実施形態では、学習用時系列データは、画像生成部１８が生成した時系列の超音波画像列であるが、学習用時系列データとしては、画像化前のデータである時系列のフレームデータ列であってもよい。また、疾患予測学習器４２においては、学習用時系列データとして、トラッキング処理部２０が生成した軌跡情報、エラスト処理部２２が生成した時系列エラスト情報、又は、ドプラ処理部２４が生成した時系列ドプラ信号であってもよい。

学習用時系列データの対象となる被検部位が脈動する部位である場合がある。その場合、学習用時系列データは、被検部位の脈動周期における所定期間に対応するデータであるとよい。例えば、心電計３２から被検体の心電波形を取得し、心電波形におけるＲ波からＲ波の間の期間に取得された受信ビームデータ列に基づく時系列データを学習用時系列データとするとよい。

また、上述の「特徴」とは、当該時系列データを用いて行われる検査の種類、当該時系列データが示す組織断面の種類、当該時系列データに対応する超音波画像において設定すべき計測位置、当該時系列データが示す疾患、又は、当該時系列データにおいて生じたアーティファクトの種類、の少なくとも１つである。本実施形態では、以下に説明するように、特徴毎にそれぞれ学習器が設けられている。

検査種類予測学習器３６は、学習用時系列データと、当該学習用時系列データを用いて行うべき検査の種類を示す情報との組み合わせを学習データとして用いて、入力された時系列データに基づいて、当該時系列データを用いて行うべき検査の種類を予測して出力するように学習されたものである。

組織断面予測学習器３８は、学習用時系列データと、当該学習用時系列データに対応する超音波画像（Ｂモード画像）が示す組織断面（例えば心臓の四腔断面、二腔断面など）を示す情報との組み合わせを学習データとして用いて、入力された時系列データに基づいて、当該時系列データに対応する超音波画像が示す組織断面を予測して出力するように学習されたものである。

計測位置予測学習器４０は、学習用時系列データと、当該学習用時系列データを用いた計測において設定すべき計測位置（例えば組織の位置やドプラ検査におけるカーソル位置など）を示す情報との組み合わせを学習データとして用いて、入力された時系列データに基づいて、当該時系列データを用いた計測において設定すべき計測位置を予測して出力するように学習されたものである。

疾患予測学習器４２は、学習用時系列データと、当該学習用時系列データが示す疾患を示す情報との組み合わせを学習データとして用いて、入力された時系列データに基づいて、当該時系列データが示す疾患を予測して出力するように学習されたものである。

アーティファクト予測学習器４４は、学習用時系列データと、当該学習用時系列データに対応する超音波画像において生じるアーティファクトの種類を示す情報との組み合わせを学習データとして用いて、入力された時系列データに基づいて、当該時系列データに対応する超音波画像において生じるアーティファクトの種類を予測して出力するように学習されたものである。

本実施形態では、上記の各学習器は、超音波診断装置１０以外の他のコンピュータによって学習されて、学習済みの学習器がメモリ３４に記憶される。しかし、超音波診断装置１０により取得される時系列データを学習用時系列データとして、各学習器の学習処理を超音波診断装置１０で行うようにしてもよい。この場合、プロセッサ４６が、各学習器の学習処理を行う学習処理部としての機能を発揮することになる。

プロセッサ４６は、汎用的な処理装置（例えばＣＰＵ（Central Processing Unit）など）、及び、専用の処理装置（例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、あるいは、プログラマブル論理デバイスなど）の少なくとも１つを含んで構成される。プロセッサ４６としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図１に示すように、プロセッサ４６は、メモリ３４に記憶された超音波時系列データ処理プログラムに従って、特徴予測部４８としての機能を発揮する。

特徴予測部４８は、特徴予測の対象となる被検体（本明細書では「対象被検体」と呼ぶ）内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された時系列データ（本明細書では「対象時系列データ」と呼ぶ）を、上述の学習済みの学習器に入力する。本実施形態では、対象時系列データは、画像生成部１８が生成した時系列の超音波画像列であるが、対象時系列データとしては、画像化前のデータである時系列のフレームデータ列であってもよい。また、疾患予測学習器４２においては、対象時系列データは、トラッキング処理部２０が生成した軌跡情報、エラスト処理部２２が生成した時系列エラスト情報、又は、ドプラ処理部２４が生成した時系列ドプラ信号であってもよい。

対象時系列データが超音波画像列である場合、受信部１６及び画像生成部１８が時系列データ生成部に相当し、対象時系列データが画像化前のデータである時系列のフレームデータ列である場合、受信部１６が時系列データ生成部に相当する。また、対象時系列データが軌跡情報である場合、受信部１６、画像生成部１８、及びトラッキング処理部２０が時系列データ生成部に相当し、対象時系列データが時系列エラスト情報である場合、受信部１６及びエラスト処理部２２が時系列データ生成部に相当し、対象時系列データが時系列ドプラ信号である場合、受信部１６及びドプラ処理部２４が時系列データ生成部に相当する。

なお、過去に取得された時系列データ（フレームデータ列、超音波画像列、軌跡情報、時系列エラスト情報、又は時系列ドプラ信号）は、所定期間、シネメモリ（不図示）などに一時的に保持される。例えば、心電計３２で取得される対象被検体の心電波形に基づいて、複数心拍分の時系列データが保持される。詳しくは後述するが、特徴予測部４８は、保持されていた時系列データから対象時系列データを選択する。

各学習器は、入力された対象時系列データに基づいて、対象時系列データに関する特徴を予測して、予測結果を示す出力データを出力する。特徴予測部４８は、各学習器の出力データに基づいて、対象時系列データに関する特徴を予測する。

具体的には、特徴予測部４８は、対象時系列データを学習済みの検査種類予測学習器３６に入力することで、対象時系列データを用いて行うべき検査の種類を予測する。また、特徴予測部４８は、対象時系列データを学習済みの組織断面予測学習器３８に入力することで、対象時系列データに対応する超音波画像が示す組織断面を予測する。また、特徴予測部４８は、対象時系列データを学習済み計測位置予測学習器４０に入力することで、対象時系列データを用いた計測において設定すべき計測位置を予測する。対象時系列データを用いて行うべき検査の種類の予測、対象時系列データに対応する超音波画像が示す組織断面の予測、あるいは、設定すべき計測位置の予測は、超音波画像を用いた診断などに不慣れな者にとって有益となり得る。また、組織断面の予測については、自動処理を行うための助けにもなり得る。例えば、Ｂモード画像に表された心臓の輪郭を自動トレースする処理を行う場合、前もって当該Ｂモード画像に心臓が表されていることを超音波診断装置１０が把握する必要がある。超音波診断装置１０は、組織断面の予測を行うことで、Ｂモード画像において心臓が表されていることを特定した上で、心臓の輪郭の自動トレース処理に移行することができる。

また、特徴予測部４８は、対象時系列データを学習済みの疾患予測学習器４２に入力することで、対象時系列データが示す疾患を予測する。上述のように、特徴予測部４８は、対象時系列データとして、トラッキング処理部２０が生成した軌跡情報、エラスト処理部２２が生成した時系列エラスト情報、又は、ドプラ処理部２４が生成した時系列ドプラ信号を疾患予測学習器４２に入力することができる。軌跡情報を学習データとして学習された疾患予測学習器４２は、スペックルの軌跡に基づいて対象時系列データが示す疾患を予測することになる。また、時系列エラスト情報を学習データとして学習された疾患予測学習器４２は、被検部位の歪み量の時間変化に基づいて対象時系列データが示す疾患を予測することになる。さらに、時系列ドプラ信号を学習データとして学習された疾患予測学習器４２は、被検体内の組織の運動速度の時間変化（例えば血流の時間変化）に基づいて対象時系列データが示す疾患を予測することになる。

さらに、特徴予測部４８は、対象時系列データを学習済みのアーティファクト予測学習器４４に入力することで、対象時系列データに対応する超音波画像において生じるアーティファクトの種類を予測する。対象時系列データに対応する超音波画像において生じるアーティファクトの種類の予測は、超音波画像において生じるアーティファクトを識別することに不慣れな者にとって有益となり得る。

本実施形態では、互いに異なる特徴を予測して出力するように学習された複数の学習器がメモリ３４に記憶されているため、特徴予測部４８は、複数の学習器のうち、ユーザ指示に基づいて選択した学習器に対象時系列データを入力する。ユーザは、入力インターフェース３０を用いて、対象時系列データが入力される学習器を直接指定することができる。また、特徴予測部４８は、入力インターフェース３０を用いてユーザが決定した超音波診断装置１０の動作設定に基づいて、対象時系列データを入力する学習器を選択するようにしてもよい。例えば、超音波診断装置１０の動作モードがカラードプラ機能を発揮するカラードプラモードである場合は、特徴予測部４８は、ドプラカーソルの位置を予測する計測位置予測学習器４０に対象時系列データを入力する。また、超音波診断装置１０の動作モードがスペックルトラッキングを行うスペックルトラッキングモードである場合は、特徴予測部４８は、疾患予測学習器４２に対象時系列データ（この場合は軌跡情報）を入力する。

また、特徴予測部４８は、複数の学習器それぞれに対して、対象時系列データを入力し、複数の学習器の出力の組み合わせに基づいて、当該対象時系列データに関する特徴を予測するようにしてもよい。例えば、特徴予測部４８は、検査種類予測学習器３６の出力に基づいて、対象時系列データを用いて行うべき検査の種類を予測し、予測した検査の種類から判別し得る複数の疾患を特定する。検査の種類に基づく複数の疾患の特定は、例えば、検査の種類と、当該検査の種類から判別し得る複数の疾患とが関連付けられたテーブルを参照するなどの方法で行うことができる。その上で、特徴予測部４８は、対象時系列データを学習済みの疾患予測学習器４２に入力することで、特定した複数の疾患の中から選択する形で対象時系列データが示す疾患を予測する。これにより、疾患予測の精度がより向上されることが期待される。同じように、特徴予測部４８は、組織断面予測学習器３８の出力に基づいて、対象時系列データに対応する超音波画像が示す組織断面を予測し、予測した組織断面から判別し得る複数の疾患を特定する。組織断面に基づく複数の疾患の特定も、例えば、組織断面と、当該組織断面から判別し得る複数の疾患とが関連付けられたテーブルを参照するなどの方法で行うことができる。その上で、特徴予測部４８は、対象時系列データを学習済みの疾患予測学習器４２に入力することで、特定した複数の疾患の中から選択する形で対象時系列データが示す疾患を予測する。これにより、疾患予測の精度がより向上されることが期待される。

なお、特徴予測部４８は、対象時系列データを全ての学習器に入力して、全ての学習器における各特徴の予測結果を並列的に取得するようにしてもよい。

上述のように、本実施形態においては、各学習器は、学習用時系列データを用いて学習される。これにより、各学習器は、時系列データ（フレームデータ列、超音波画像列、軌跡情報、時系列エラスト情報、又は時系列ドプラ信号）における時間変化を考慮して、時系列データの特徴を出力できるようになる。このように学習された学習器に対して、対象時系列データを入力することで、少なくとも、静止画像である超音波画像を用いて学習された学習器に超音波画像を入力することで当該超音波画像の特徴を予測する場合に比して、より高精度に超音波画像の特徴を予測することが可能となる。

対象時系列データ及び学習用時系列データは、心電計３２で取得される心電波形における被検体の脈動周期における同一期間に対応する時系列データであるとよい。例えば、学習用時系列データが、心電波形におけるＲ波からＲ波の間の期間に取得された受信ビームデータ列に基づく時系列データである場合、特徴予測部４８は、対象時系列データも、心電波形におけるＲ波からＲ波の間の期間に取得された受信ビームデータ列に基づく時系列データとするとよい。脈動周期における学習用時系列データと対象時系列データとの期間が同一となることで、各学習器の出力精度を向上させることができる。すなわち、特徴予測部４８による対象時系列データが示す特徴の予測精度が向上される。

表示制御部２６は、特徴予測部４８の予測結果をユーザに通知する。すなわち、表示制御部２６は通知部として機能する。なお、本実施形態では、特徴予測部４８の予測結果は、以下に説明するように表示制御部２６によってディスプレイ２８に表示させるが、これに加えて又は代えて、音声出力などによって特徴予測部４８の予測結果がユーザに通知されてもよい。

図３は、ディスプレイ２８に表示された、特徴予測部４８の予測結果を通知する通知画面５０の例を示す図である。通知画面５０においては、対象時系列データに基づいて生成された超音波画像５２（動画像）、及び、特徴予測部４８の予測結果５４が表示されている。通知画面５０においては、特徴予測部４８による、疾患予測学習器４２を用いた対象時系列データが示す疾患の予測結果が示されている。

以下、特徴予測部４８が上述の予測処理を行うタイミング、及び、予測処理の対象となる対象時系列データの選択方法について説明する。

まず、特徴予測部４８は、ユーザからの指示があったタイミングで予測処理を実行することができる。例えば、ユーザが入力インターフェース３０を用いて予測指示を超音波診断装置１０に入力したことに応じて、特徴予測部４８は、それまでに得られている対象時系列データを学習器に入力することで対象時系列データの特徴を予測する。

図４は、ユーザからの指示があったタイミングで予測処理を実行する場合における対象時系列データを示す図である。図４（後で言及する図５及び図６についても同様）においては、横軸が時間軸を表し、心電計３２により取得された対象被検体の心電波形が示されている。

図４の例では、ユーザは、時刻ｔ１において予測指示を超音波診断装置１０に入力し、特徴予測部４８は時刻ｔ１において予測処理を実行する。この場合、特徴予測部４８は、保持されている時系列データの中から、時刻ｔ１を基準として対象時系列データを選択する。

例えば、図４の符号６０に示されている通り、特徴予測部４８は、予測処理の実行時刻である時刻ｔ１を基準として直前の１心拍の期間に取得された時系列データを対象時系列データとすることができる。ここでは、心電波形のＲ波からＲ波までの期間の時系列データが対象時系列データとされている。また、図４の符号６２に示されている通り、特徴予測部４８は、時刻ｔ１を基準として直前の所定時間の間に取得された時系列データを対象時系列データとしてもよい。さらに、図４の符号６４に示されている通り、特徴予測部４８は、時刻ｔ１を基準として、心電波形のＲ波のタイミングで取得された所定個のデータを対象時系列データとするようにしてもよい。符号６４の例のように、対象時系列データに含まれる複数のデータは、時間的に連続していなくてもよい。

また、特徴予測部４８は、ユーザからの予測指示に依らずに、所定時間間隔で予測処理を繰り返し実行してもよい。この場合、特徴予測部４８は、予測処理の実行時刻（すなわち現時点）を基準とした対象時系列データ（例えば図４の符号６０，６２，６４で示された対象時系列データ）に関する特徴の予測を繰り返し実行することになる。これにより、ユーザは、最新の対象時系列データに関する特徴の予測結果を得ることができる。

また、特徴予測部４８は、心電計３２により取得された対象被検体の心電波形に基づいて、予測処理を実行するようにしてもよい。具体的には、図５に示すように、特徴予測部４８は、対象被検体の心拍間隔が安定したタイミングで予測処理を実行するようにしてもよい。対象被検体の心拍間隔は、例えば、心電波形からＲ波を検出し、Ｒ波とＲ波との間の時間を計測することで把握することができる。図５の例では、３心拍分の心拍間隔が安定したタイミングである時刻ｔ２において予測処理が実行される。この場合、特徴予測部４８は、予測処理の実行時刻（図５の例では時刻ｔ２）を基準とした対象時系列データ（例えば、時刻ｔ２の直前の１心拍の期間に取得された時系列データ（図５の符号６６）、ｔ２の直前の所定時間の間に取得された時系列データ、又は、時刻ｔ２を基準として、心電波形のＲ波のタイミングで取得された所定個のデータなど）に関する特徴の予測を実行する。これにより、心拍間隔が安定した状態で取得された対象時系列データの特徴の予測を行うことができる。

さらに、特徴予測部４８は、プローブ１２をユーザが操作した時点を基準としたタイミングで予測処理を実行するようにしてもよい。具体的には、特徴予測部４８は、プローブ１２の姿勢が変更されてからプローブ１２の姿勢が所定時間安定したタイミングで予測処理を実行するようにしてもよい。特徴予測部４８は、例えば、プローブ１２に設けられた加速度センサの検出信号に基づいてプローブ１２の姿勢を特定することができる。また、特徴予測部４８は、画像生成部１８が生成したＢモード画像の画像変化に基づいてプローブ１２の姿勢の変化を特定することができる。これにより、ユーザは、プローブ１２を操作する度に、対象時系列データの特徴の予測を得ることができる。特に、ユーザは、プローブ１２の姿勢を変化させる度に、対象時系列データの特徴の予測を得ることができる。

例えば、図６において、時刻ｔ３でユーザがプローブ１２の姿勢を姿勢１から姿勢２に変更して、その後プローブ１２の姿勢を姿勢２に維持したとする。特徴予測部４８は、プローブ１２の姿勢変化を検出した時刻ｔ３から所定時間Ｔの間、プローブ１２の姿勢が安定した（その変化量が所定量以下を維持した）と判定した場合、時刻ｔ３から所定時間Ｔ後の時刻である時刻ｔ４において予測処理を実行する。この場合、特徴予測部４８は、予測処理の実行時刻（図６の例では時刻ｔ４）を基準とした対象時系列データ（例えば、時刻ｔ４の直前の１心拍の期間に取得された時系列データ（図６の符号６８）、ｔ４の直前の所定時間の間に取得された時系列データ、又は、時刻ｔ４を基準として、心電波形のＲ波のタイミングで取得された所定個のデータなど）に関する特徴の予測を実行する。

同様に、時刻ｔ５でユーザがプローブ１２の姿勢を姿勢２から姿勢３に変更して、その後プローブ１２の姿勢を姿勢３に維持したとする。特徴予測部４８は、プローブ１２の姿勢変化を検出した時刻ｔ５から所定時間Ｔの間、プローブ１２の姿勢が安定したと判定した場合、時刻ｔ５から所定時間Ｔ後の時刻である時刻ｔ６において予測処理を実行する。この場合、特徴予測部４８は、予測処理の実行時刻（図６の例では時刻ｔ６）を基準とした対象時系列データ（例えば、時刻ｔ６の直前の１心拍の期間に取得された時系列データ（図６の符号７０）、ｔ６の直前の所定時間の間に取得された時系列データ、又は、時刻ｔ６を基準として、心電波形のＲ波のタイミングで取得された所定個のデータなど）に関する特徴の予測を実行する。

以下、図７に示すフローチャートに従って、本実施形態に係る超音波診断装置１０の処理の流れを説明する。

ステップＳ１０において、超音波診断装置１０は、入力インターフェース３０からのユーザの指示に応じて動作モードを設定する。動作モードとは、例えば、Ｂモード画像を生成するＢモード、スペックルトラッキングを行うスペックルトラッキングモード、エラストグラフィ機能を発揮するエラストモード、あるいは、カラーフローマッピング機能を発揮するカラードプラモードなどである。

ステップＳ１２において、対象被検体に対してプローブ１２から超音波の送受波が行われ、それにより時系列データ（フレームデータ列、超音波画像列、軌跡情報、時系列エラスト情報、又は時系列ドプラ信号）が取得される。時系列データは、シネメモリなどに保持される。

ステップＳ１４において、特徴予測部４８は、対象時系列データについて予測する特徴の種類を設定する。換言すれば、特徴予測部４８は、メモリ３４に記憶された複数の学習器のうち、対象時系列データを入力する学習器を選択する。特徴予測部４８は、ユーザが入力インターフェース３０に入力した指示に基づいて学習器を選択してもよいし、ステップＳ１０で設定された超音波診断装置１０の動作モードに基づいて学習器を選択してもよい。

ステップＳ１６において、特徴予測部４８は、予測処理を実行するタイミングとなったか否かを判定する。上述の通り、予測処理を実行するタイミングは、ユーザからの指示があったタイミング、所定時間間隔で予測処理を行う場合では前回の予測実行から所定時間経過したタイミング、対象被検体の心拍間隔が安定したタイミング、あるいは、プローブ１２の姿勢が変更されてからプローブ１２の姿勢が所定時間安定したタイミングなどである。特徴予測部４８は、予測処理を実行するタイミングになるまで待機し、予測処理を実行するタイミングとなった場合にはステップＳ１８に進む。

ステップＳ１８において、特徴予測部４８は、ステップＳ１２にて保持された時系列データの中から、予測処理の実行時刻を基準として対象時系列データを選択する。例えば、特徴予測部４８は、予測処理の実行時刻の直前の１心拍の期間に取得された時系列データ、予測処理の実行時刻の直前の所定時間の間に取得された時系列データ、又は、予測処理の実行時刻を基準として、心電波形のＲ波のタイミングで取得された所定個のデータなどを対象時系列データとして選択する。

ステップＳ２０において、特徴予測部４８は、ステップＳ１４で選択した学習器に、ステップＳ１８で選択した対象時系列データを入力する。そして、特徴予測部４８は、当該学習器の出力データに基づいて、対象時系列データに関する特徴を予測する。

ステップＳ２２において、表示制御部２６は、特徴予測部４８の予測結果をユーザに通知する（図３参照）。

ステップＳ２４において、プロセッサ４６は、ユーザの指示によって、予測処理の中止指示が入力されたか否かを判定する。中止指示が入力されていない場合はステップＳ１６に戻り、ステップＳ１６からＳ２４までの処理を繰り返す。中止指示が入力された場合は処理を終了する。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

例えば、本実施形態では、超音波時系列データ処理装置が超音波診断装置１０であったが、超音波時系列データ処理装置は超音波診断装置１０に限られず、その他のコンピュータであってもよい。この場合、超音波時系列データ処理装置としてのコンピュータからアクセス可能なメモリに、学習済みの各学習器が記憶され、当該コンピュータのプロセッサが特徴予測部４８及び表示制御部２６としての機能を発揮する。

１０ 超音波診断装置、１２ プローブ、１４ 送信部、１６ 受信部、１８ 画像生成部、２０ トラッキング処理部、２２ エラスト処理部、２４ ドプラ処理部、２６ 表示制御部、２８ ディスプレイ、３０ 入力インターフェース、３４ メモリ、３６ 検査種類予測学習器、３８ 組織断面予測学習器、４０ 計測位置予測学習器、４２ 疾患予測学習器、４４ アーティファクト予測学習器、４６ プロセッサ、４８ 特徴予測部。

Claims (7)

1. 被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該学習用時系列データに関する特徴を表す情報との組み合わせを学習データとして用い、入力された前記時系列データに基づいて当該時系列データに関する特徴を予測して出力するように学習された特徴予測学習器に対して、対象被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された前記時系列データである対象時系列データを入力し、当該入力に対する前記特徴予測学習器の出力に基づいて、前記対象時系列データに関する特徴を予測する特徴予測部と、
   前記特徴予測部の予測結果をユーザに通知する通知部と、
   前記対象時系列データを生成する時系列データ生成部と、
   を備え、
   前記特徴予測部は、超音波の送受波を行う超音波プローブの姿勢が変更されてから前記超音波プローブの姿勢が所定時間安定した時点の直前の、前記被検体の１心拍分の期間に取得された前記対象時系列データに関する特徴の予測を、前記時点において実行する、
   ことを特徴とする超音波時系列データ処理装置。
2. 前記特徴は、前記時系列データを用いて行われる検査の種類、前記時系列データが示す組織断面の種類、設定すべき計測位置、前記時系列データが示す疾患、又は、前記時系列データにおいて生じたアーティファクトの種類、の少なくとも１つである、
   ことを特徴とする請求項１に記載の超音波時系列データ処理装置。
3. 前記時系列データは、時系列の超音波画像列、画像化前のデータである時系列のフレームデータ列、スペックルの軌跡を表す軌跡情報、被検部位の歪み量の時間変化を表す時系列エラスト情報、又は、被検部位又は血液の速度の時間変化を表す時系列ドプラ信号、の少なくとも１つである、
   ことを特徴とする請求項１に記載の超音波時系列データ処理装置。
4. 前記特徴予測部は、互いに異なる前記特徴を予測して出力するように学習された複数の前記特徴予測学習器の中から、ユーザ指示に基づいて選択した前記特徴予測学習器に前記対象時系列データを入力する、
   ことを特徴とする請求項１に記載の超音波時系列データ処理装置。
5. 前記特徴予測部は、互いに異なる前記特徴を予測して出力するように学習された複数の前記特徴予測学習器それぞれに対して、前記対象時系列データを入力し、複数の前記特徴予測学習器の出力の組み合わせに基づいて、前記対象時系列データに関する特徴を予測する、
   ことを特徴とする請求項１に記載の超音波時系列データ処理装置。
6. 前記対象時系列データ及び前記学習用時系列データは、被検体の脈動周期における同一期間に対応する前記時系列データである、
   ことを特徴とする請求項１に記載の超音波時系列データ処理装置。
7. コンピュータを、
   被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された、信号の時間変化を示す時系列データである学習用時系列データと、当該学習用時系列データに関する特徴を表す情報との組み合わせを学習データとして用い、入力された前記時系列データに基づいて当該時系列データに関する特徴を予測して出力するように学習された特徴予測学習器に対して、対象被検体内に設定された同一の走査面に対する超音波の送受波を複数回繰り返し行うことで生成された前記時系列データである対象時系列データを入力し、当該入力に対する前記特徴予測学習器の出力に基づいて、前記対象時系列データに関する特徴を予測する特徴予測部と、
   前記特徴予測部の予測結果をユーザに通知する通知部と、
   前記対象時系列データを生成する時系列データ生成部と、
   として機能させ、
   前記特徴予測部は、超音波の送受波を行う超音波プローブの姿勢が変更されてから前記超音波プローブの姿勢が所定時間安定した時点の直前の、前記被検体の１心拍分の期間に取得された前記対象時系列データに関する特徴の予測を、前記時点において実行する、
   ことを特徴とする超音波時系列データ処理プログラム。