JP7277345B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本明細書及び図面に開示の実施形態は、画像処理装置及び画像処理プログラムに関する。

医用分野では、超音波プローブの複数の振動子（圧電振動子）を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。

超音波診断装置による心エコー検査では、表示画像のフリーズ操作後に、操作者が直近の複数心拍から手動で最適と考えられる心拍を選択し、選択した心拍に対応する超音波画像に対し、種々の計測及び解析が行われる。超音波画像の計測及び解析の手法としては、例えば、心筋の壁運動解析を行う２次元ＷＭＴ（Wall Motion Tracking）及び３次元ＷＭＴや、左室駆出率等を自動で算出するＡｕｔｏ＿ＥＦ（Automated Ejection Fraction）等が挙げられる。

Ａｕｔｏ＿ＥＦは、実際の心臓の形態と、予め構築されたデータベースに登録された特徴（心臓の外観、左室心内膜等）を照合してパターン認識を行い、同様のパターンを有した心臓を探し出して左室心内膜を検出し、各心拍の定量値として、拡張末期左室容積（ＥＤＶ）、収縮末期左室容積（ＥＳＶ）、左室駆出率（ＥＦ）等を算出する方法である。

特開２０１３－１３５８３６号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、バックグラウンドで行われる処理の状態を操作者に提示することである。
ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置づけることもできる。

実施形態に係る画像処理装置は、受付部と、生成部と、表示制御部と、処理部とを備える。受付部は、特定の超音波画像の保存指示を受け付ける。生成部は、保存指示に係る特定の超音波画像のサムネイル画像を生成する。表示制御部は、超音波画像を表示部にライブ表示させるとともに、サムネイル画像を表示部に表示させる。処理部は、表示制御部によるライブ表示のバックグラウンドで、保存指示により保存された特定の超音波画像から定量値を取得する処理を実行する。表示制御部は、処理が完了すると処理の結果をサムネイル画像上に表示させる。

実施形態に係る画像処理装置は、受付部と、生成部と、表示制御部と、処理部とを備える。受付部は、特定の医用画像の保存指示を受け付ける。生成部は、保存指示に係る特定の医用画像のサムネイル画像を生成する。表示制御部は、医用画像を表示部にライブ表示させるとともに、サムネイル画像を表示部に表示させる。処理部は、表示制御部によるライブ表示のバックグラウンドで、保存指示により保存された特定の医用画像から定量値を取得する処理を実行する。表示制御部は、処理が完了すると処理の結果をサムネイル画像上に表示させる。

図１は、実施形態に係る画像処理装置を設ける超音波診断装置の構成の一例を示す概略図。 図２は、実施形態に係る画像処理装置の機能の一例を示すブロック図。 図３は、実施形態に係る画像処理装置の動作の一例をフローチャートとして示す図。 図４は、実施形態に係る画像処理装置において、Ｂモード画像の表示例を示す図。 図５は、実施形態に係る画像処理装置において、サムネイル画像の表示例を示す図。 図６は、実施形態に係る画像処理装置において、進捗度を示す情報の表示例を示す図。 図７は、実施形態に係る画像処理装置において、処理の結果としての代表値の表示例を示す図。 図８は、実施形態に係る画像処理装置において、処理の結果を示す情報の表示例を示す図。 図９は、実施形態に係る画像処理装置において、処理開始前におけるサムネイル画像の拡大画像の表示例を示す図。 図１０は、実施形態に係る画像処理装置において、処理中におけるサムネイル画像の拡大画像の表示例を示す図。 図１１は、実施形態に係る画像処理装置において、処理終了後における処理の結果をワークシート形式で示す画像の表示例を示す図。 図１２は、実施形態に係る画像処理装置において、処理終了後におけるサムネイル画像の拡大画像と処理の結果をワークシート形式で示す画像との表示例を示す図。 図１３は、実施形態に係る画像処理装置において、処理終了後におけるサムネイル画像の拡大画像の表示例を示す図。 図１４は、実施形態に係る画像処理装置において、処理終了後におけるサムネイル画像の拡大画像の表示例を示す図。 図１５は、実施形態に係る画像処理装置において、周期性の変化が大きい心拍を含めた処理結果である旨を提示するための、図７の表示画面における代表値の表示例を示す図。 図１６は、実施形態に係る画像処理装置において、周期性の変化が大きい心拍を単純に除いた処理結果である旨を提示するための、図７の表示画面における代表値の表示例を示す図。

以下、図面を参照しながら、画像処理装置及び画像処理プログラムの実施形態について詳細に説明する。

実施形態に係る画像処理装置は、医用画像を生成する医用画像診断装置の一部として設けられる。以下、画像処理装置が、医用画像診断装置としての超音波診断装置の一部として設けられる場合について説明する。しかし、その場合に限定されるものではない。例えば、画像処理装置は、医用画像診断装置としての単純Ｘ線装置、Ｘ線透視撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及び核医学診断装置等の一部として設けられる場合であってもよい。画像処理装置は、スキャン装置によるスキャンを行いながら、そのスキャンにより取得された画像データからバックグランドで定量値を取得する処理を行うように制御可能なものであればよい。

図１は、実施形態に係る画像処理装置を設ける超音波診断装置の構成の一例を示す概略図である。

図１は、実施形態に係る画像処理装置１０を設ける超音波診断装置１を示す。超音波診断装置１は、画像処理装置１０と、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０と、生体信号センサ５０とを示す。なお、画像処理装置１０に、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０と、生体信号センサ５０とのうちの少なくとも１個を加えた装置を画像処理装置と称する場合もある。以下の説明では、画像処理装置１０の外部に、超音波プローブ２０と、入力インターフェース３０と、ディスプレイ４０と、生体信号センサ５０との全てが備えられる場合について説明する。

画像処理装置１０は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４と、画像メモリ１５と、ネットワークインターフェース１６と、処理回路１７と、メインメモリ１８とを備える。回路１１～１４は、特定用途向け集積回路（ＡＳＩＣ:Application Specific Integrated Circuit）等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路１１～１４の機能の全部又は一部は、処理回路１７がプログラムを実行することで実現されるものであってもよい。

送受信回路１１は、送信回路及び受信回路（図示省略）を有する。送受信回路１１は、処理回路１７による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路１１が画像処理装置１０に設けられる場合について説明するが、送受信回路１１は、超音波プローブ２０に設けられてもよいし、画像処理装置１０と超音波プローブ２０との両方に設けられてもよい。なお、送受信回路１１は、送受信部の一例である。

送信回路は、パルス発生回路、送信遅延回路、及びパルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ２０の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。

受信回路は、アンプ回路、Ａ／Ｄ（Analog to Digital）変換器、及び加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。

Ｂモード処理回路１２は、処理回路１７による制御の下、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（２次元又は３次元データ）を生成する。このデータは、一般に、Ｂモードデータと呼ばれる。なお、Ｂモード処理回路１２は、Ｂモード処理部の一例である。

なお、Ｂモード処理回路１２は、フィルタ処理により、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。Ｂモード処理回路１２のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを実行可能である。すなわち、Ｂモード処理回路１２は、造影剤が注入された被検体の反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ又は分周波データ）と、被検体内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。Ｂモード処理回路１２は、また、ハーモニック成分の反射波データ（受信信号）から、造影画像データを生成するためのＢモードデータを生成することができ、また、基本波成分の反射波データ（受信信号）から、基本波（ファンダメンタル）画像データを生成するためのＢモードデータを生成することができる。

また、Ｂモード処理回路１２のフィルタ処理機能を用いることによるＴＨＩにおいて、被検体の反射波データから、ハーモニック成分の反射波データ（受信信号）である高調波データ又は分周波データを分離することができる。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）から、ノイズ成分を除去した組織画像データを生成するためのＢモードデータを生成することができる。

さらに、ＣＨＩやＴＨＩのハーモニックイメージングを行なう際、Ｂモード処理回路１２は、上述したフィルタ処理を用いた方法とは異なる方法により、ハーモニック成分を抽出することができる。ハーモニックイメージングでは、振幅変調（ＡＭ：Amplitude Modulation）法や位相変調（ＰＭ：Phase Modulation）法、ＡＭ法及びＰＭ法を組み合わせたＡＭＰＭ法と呼ばれる映像法が行なわれる。ＡＭ法、ＰＭ法及びＡＭＰＭ法では、同一の走査線に対して振幅や位相が異なる超音波送信を複数回行なう。これにより、送受信回路１１は、各走査線で複数の反射波データ（受信信号）を生成し出力する。そして、Ｂモード処理回路１２は、各走査線の複数の反射波データ（受信信号）を、変調法に応じた加減算処理することで、ハーモニック成分を抽出する。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）に対して包絡線検波処理等を行なって、Ｂモードデータを生成する。

例えば、ＰＭ法が行なわれる場合、送受信回路１１は、処理回路１７が設定したスキャンシーケンスにより、例えば（－１，１）のように、位相極性を反転させた同一振幅の超音波を、各走査線で２回送信させる。そして、送受信回路１１は、「－１」の送信による受信信号と、「１」の送信による受信信号とを生成し、Ｂモード処理回路１２は、これら２つの受信信号を加算する。これにより、基本波成分が除去され、２次高調波成分が主に残存した信号が生成される。そして、Ｂモード処理回路１２は、この信号に対して包絡線検波処理等を行なって、ＴＨＩのＢモードデータやＣＨＩのＢモードデータを生成する。

又は、例えば、ＴＨＩでは、受信信号に含まれる２次高調波成分と差音成分とを用いて映像化を行なう方法が実用化されている。差音成分を用いた映像化法では、例えば、中心周波数が「ｆ１」の第１基本波と、中心周波数が「ｆ１」より大きい「ｆ２」の第２基本波とを合成した合成波形の送信超音波を、超音波プローブ２０から送信させる。この合成波形は、２次高調波成分と同一の極性を持つ差音成分が発生するように、互いの位相が調整された第１基本波の波形と第２基本波の波形とを合成した波形である。送受信回路１１は、合成波形の送信超音波を、位相を反転させながら、例えば、２回送信させる。かかる場合、例えば、Ｂモード処理回路１２は、２つの受信信号を加算することで、基本波成分が除去され、差音成分及び２次高調波成分が主に残存したハーモニック成分を抽出した後、包絡線検波処理等を行なう。

ドプラ処理回路１３は、処理回路１７による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、平均速度、分散、パワー等の移動体の移動情報を多点について抽出したデータ（２次元又は３次元データ）を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。なお、ドプラ処理回路１３は、ドプラ処理部の一例である。

画像生成回路１４は、処理回路１７による制御の下、超音波プローブ２０が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像を画像データとして生成する。例えば、画像生成回路１４は、超音波画像として、Ｂモード処理回路１２によって生成された２次元のＢモードデータから反射波の強度を輝度にて表したＢモード画像を生成する。また、画像生成回路１４は、超音波画像として、ドプラ処理回路１３によって生成された２次元のドプラデータから移動態情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像を生成する。なお、画像生成回路１４は、画像生成部の一例である。

ここで、画像生成回路１４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成回路１４は、超音波プローブ２０による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成回路１４は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、画像生成回路１４は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成回路１４が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。画像生成回路１４は、スキャンコンバート処理前の２次元超音波画像データから、表示用の２次元超音波画像データを生成する。

さらに、画像生成回路１４は、Ｂモード処理回路１２によって生成された３次元のＢモードデータに対して座標変換を行なうことで、３次元Ｂモード画像データを生成する。また、画像生成回路１４は、ドプラ処理回路１３によって生成された３次元のドプラデータに対して座標変換を行なうことで、３次元ドプラ画像データを生成する。画像生成回路１４は、「３次元のＢモード画像データや３次元ドプラ画像データ」を「３次元超音波画像データ（ボリュームデータ）」として生成する。

そして、画像生成回路１４は、３次元メモリに記憶されたボリュームデータをディスプレイ４０にて表示するための各種の２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行なう。画像生成回路１４は、レンダリング処理として、例えば、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行なってボリュームデータからＭＰＲ画像データを生成する処理を行う。また、画像生成回路１４は、レンダリング処理として、例えば、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理を行う。

画像メモリ１５は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１５は、処理回路１７の制御による制御の下、画像生成回路１４によって生成された、心拍データに対応付けられた複数心拍分の超音波画像データを保存する。画像メモリ１５に保存された複数の超音波画像データは、被検体の心拍データと１心拍（１つの心周期）単位で対応付けられる。具体的には、例えば画像メモリ１５に保存された各超音波画像データは、１心拍に対応する心拍データに対応付けられる。

なお、画像メモリ１５は、１心拍分の超音波画像データを１つの画像データとして保存してもよいし、複数心拍分の超音波画像データを１つの画像データにまとめて保存してもよい。また、画像メモリ１５は、処理回路１７の制御による制御の下、画像生成回路１４によって生成された超音波画像データを、２次元データとしてのみならず、ボリュームデータとして記憶してもよい。なお、画像メモリ１５は、記憶部の一例である。

ネットワークインターフェース１６は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース１６は、この各種プロトコルに従って、超音波診断装置１と、外部の画像管理装置６０及び画像処理装置７０等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線の病院基幹のＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。

また、ネットワークインターフェース１６は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、画像処理装置１０は、例えば超音波プローブ２０と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース１６は、ネットワーク接続部の一例である。

処理回路１７は、専用又は汎用のＣＰＵ（central processing unit）、ＭＰＵ（micro processor unit）、又はＧＰＵ（Graphics Processing Unit）の他、ＡＳＩＣ、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：simple programmable logic device）、複合プログラマブル論理デバイス（ＣＰＬＤ：complex programmable logic device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）等が挙げられる。

また、処理回路１７は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、メインメモリ１８は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ１８が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、処理回路１７は、処理部の一例である。

メインメモリ１８は、ＲＡＭ（random access memory）、フラッシュメモリ（flash memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ１８は、ＵＳＢ（universal serial bus）メモリ及びＤＶＤ（digital video disk）等の可搬型メディアによって構成されてもよい。メインメモリ１８は、処理回路１７において用いられる各種処理プログラム（アプリケーションプログラムの他、ＯＳ（operating system）等も含まれる）や、プログラムの実行に必要なデータを記憶する。また、ＯＳに、操作者に対するディスプレイ４０への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース３０によって行うことができるＧＵＩ（graphical user interface）を含めることもできる。なお、メインメモリ１８は、記憶部の一例である。

超音波プローブ２０は、前面部に複数個の微小な振動子（圧電素子）を備え、スキャン対象を含む領域、例えば管腔体を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号（受信信号）に変換する機能を有する。超音波プローブ２０は小型、軽量に構成されており、ケーブル（又は無線通信）を介して画像処理装置１０に接続される。

超音波プローブ２０は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ２０は、アレイ配列次元の違いにより、アジマス方向に１次元（１Ｄ）的に複数個の振動子が配列された１Ｄアレイプローブと、アジマス方向かつエレベーション方向に２次元（２Ｄ）的に複数個の振動子が配列された２Ｄアレイプローブとの種類に分けられる。なお、１Ｄアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。

ここで、３Ｄスキャン、つまり、ボリュームスキャンが実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた２Ｄアレイプローブが利用される。又は、ボリュームスキャンが実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた１Ｄプローブが利用される。後者のプローブは、メカ４Ｄプローブとも呼ばれる。

入力インターフェース３０は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路１７に出力する。なお、入力インターフェース３０は、入力部の一例である。

ディスプレイ４０は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ４０は、処理回路１７の制御に従って各種情報を表示する。なお、ディスプレイ４０は、表示部の一例である。

生体信号センサ５０は、超音波走査される被検体から生体信号を検出する。生体信号センサ５０は、生体信号として、例えば、被検体のＥＣＧ（心電図波形：Electrocardiogram）信号を電気信号として検出する。生体信号センサ５０は、検出されたＥＣＧ信号にデジタル化処理を含む各種処理を施した上で、心拍データとして画像処理装置１０に送信する。なお、生体信号センサ５０は、生体信号として、ＥＣＧに加え／代え、脳波、脈拍、及び呼吸等の被検体から発せられる周期性を有する他の信号を検出してもよい。

また、図１は、画像処理装置１０の外部機器である画像管理装置６０と画像処理装置７０とを示す。画像管理装置６０は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであり、ネットワークＮを介してデータ送受信可能に超音波診断装置１等の機器に接続される。画像管理装置６０は、超音波診断装置１によって生成された超音波画像等の医用画像をＤＩＣＯＭファイルとして管理する。

画像処理装置７０は、ネットワークＮを介してデータ送受信可能に超音波診断装置１や画像管理装置６０等の機器に接続される。画像処理装置７０としては、例えば、超音波診断装置１によって生成された超音波画像に対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等が挙げられる。なお、画像処理装置７０はオフラインの装置であって、超音波診断装置１によって生成された超音波画像を可搬型の記憶媒体を介して読み出し可能な装置であってもよい。

続いて、画像処理装置１０の機能について説明する。

図２は、画像処理装置１０の機能の一例を示すブロック図である。

処理回路１７は、メインメモリ１８、又は、処理回路１７内のメモリに記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、画像取得機能１７１と、表示制御機能１７２と、受付機能１７３と、記憶制御機能１７４と、サムネイル生成機能１７５と、処理機能１７６と、管理機能１７７と、評価機能１７８とを実現する。以下、機能１７１～１７８がコンピュータプログラムによって実現される場合を例に挙げて説明するが、機能１７１～１７８の全部又は一部は、画像処理装置１０にＡＳＩＣ等の回路等の機能として設けられるものであってもよい。

画像取得機能１７１は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４等を制御して、超音波プローブ２０を用いたスキャンを実行させて超音波画像データを取得する機能を含む。具体的には、画像取得機能１７１は、超音波画像データとして、Ｍモード画像データや、Ｂモード画像データや、ドプラ画像データ等を取得する。なお、画像取得機能１７１は、画像取得部の一例である。

表示制御機能１７２は、画像取得機能１７１による制御に従って画像生成回路１４によって生成された各超音波画像データを超音波画像としてディスプレイ４０にライブ表示させる機能を含む。また、表示制御機能１７２は、超音波画像データのライブ表示とともに、後述のサムネイル生成機能１７５によって生成されたサムネイル画像データをサムネイル画像としてディスプレイ４０に表示させる機能を含む。なお、表示制御機能１７２は、表示制御部の一例である。

受付機能１７３は、複数フレームの超音波画像のうち特定フレームの超音波画像データの保存指示を入力インターフェース３０から受け付ける機能を含む。なお、受付機能１７３は、受付部の一例である。

記憶制御機能１７４は、生体信号センサ５０から出力された心拍データを取得し、画像生成回路１４によって生成された複数の超音波画像データを心拍データに対応付けて画像メモリ１５に逐次保存（一次的に保存）する機能を含む。記憶制御機能１７４は、複数の超音波画像データを画像メモリ１５に逐次保存するとともに、心拍データを複数の超音波画像データと対応付けて別のメモリ（図示省略）に逐次保存してもよい。また、記憶制御機能１７４は、複数の超音波画像データを取得した期間における、被検体の複数心拍に関する心拍データを取得してもよい。

また、記憶制御機能１７４は、受付機能１７３によって受け付けられた保存指示に係る特定フレームの超音波画像データに対応する複数フレームの超音波画像データを、画像メモリ１５に保存（二次的に保存）する機能を含む。なお、記憶制御機能１７４は、記憶制御部の一例である。

サムネイル生成機能１７５は、受付機能１７３によって受け付けられた保存指示に係る特定フレームの超音波画像データのサムネイルを示すサムネイル画像データを生成する機能を含む。なお、サムネイル生成機能１７５は、生成部の一例である。

処理機能１７６は、表示制御機能１７２によるライブ表示のバックグラウンドで、受付機能１７３の保存指示により記憶制御機能１７４によって保存された複数フレームの超音波画像データから定量値を取得する処理を実行する機能を含む。例えば、処理機能１７６は、処理として、複数心拍にわたる複数の超音波画像データから各心拍における定量値を取得する処理を実行する。なお、処理機能１７６は、処理部の一例である。

また、表示制御機能１７２は、処理機能１７６による処理が完了すると、処理結果をディスプレイ４０に表示させる機能を含む。

管理機能１７７は、処理機能１７６による処理状態（未処理、処理中、処理後未承認、処理後承認済）を管理する機能を含む。その場合、表示制御機能１７２は、処理状態に応じて表示態様を変更する。また、管理機能１７７は、外部装置（例えば、図１に図示する画像管理装置６０）への転送状態（未転送／転送済）を管理する機能を含む。その場合、表示制御機能１７２は、転送状態に応じて表示態様を変更する。なお、管理機能１７７は、管理部の一例である。

評価機能１７８は、処理機能１７６によって各心拍から得られた定量値の信頼度を評価する機能を含む。その場合、表示制御機能１７２は、信頼度に基づく情報をディスプレイ４０に表示させる。例えば、評価機能１７８は、Ａｕｔｏ＿ＥＦの際のパターンマッチングの確度を定量値の信頼度とし、信頼度に応じて、処理結果の表示態様を変更する。なお、評価機能１７８は、評価部の一例である。

機能１７１～１７８の詳細については、図３～図１４を用いて説明する。

続いて、画像処理装置１０の動作について説明する。

図３は、画像処理装置１０の動作の一例をフローチャートとして示す図である。図３において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。

画像処理装置１０の画像取得機能１７１は、例えば、ＨＩＳ（Hospital Information Systems）等の検査依頼装置（図示省略）から検査オーダ情報を受信した後、入力インターフェース３０を介して心エコー検査の超音波スキャンの開始指示を受け付ける。画像取得機能１７１は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４等を制御して、超音波プローブ２０を用いた超音波スキャンを開始させる（ステップＳＴ１）。表示制御機能１７２は、ステップＳＴ１によって取得された、心臓を含む各フレームのＢモード画像データをＢモード画像としてディスプレイ４０にライブ表示させる（ステップＳＴ２）。

図４は、Ｂモード画像の表示例を示す図である。

図４は、超音波画像としてのＢモード画像を含む表示画面Ｄ１を示す。表示画面Ｄ１は、ライブ表示される第ｎフレームのＢモード画像Ｂｎを含む。ｎは、１以上の整数である。第ｎフレームのＢモード画像Ｂｎ上に第ｎ＋１フレームのＢモード画像Ｂｎ＋１が重畳されてＢモード画像の表示が更新されることで、Ｂモード画像がライブ表示される。なお、表示画面Ｄ１には図示しないが、表示画面Ｄ１（後述する表示画面Ｄ２～Ｄ１１についても同様）は、心拍データ（例えば、心電図波形）を含んでいてもよい。

また、表示画面Ｄ１は、「保存」指示を受け付けるためのユーザインターフェース、例えば保存ボタンＰを設ける場合があるが、その説明については図５を用いて後述する。

図３の説明に戻って、受付機能１７３は、ステップＳＴ２によってディスプレイ４０に表示されたフレームのＢモード画像データの保存指示を入力インターフェース３０から受け付ける（ステップＳＴ３）。一般的には、入力インターフェース３０からライブ表示によるＢモード画像の更新画像がフリーズされた上で、保存指示が受け付けられる。

記憶制御機能１７４は、ステップＳＴ３によって受け付けられた保存指示により、保存指示直前の複数心拍にわたる複数フレームのＢモード画像データを取得して画像メモリ１５に保存する（ステップＳＴ４）。例えば、記憶制御機能１７４は、ステップＳＴ４において、画像メモリ１５（又はメインメモリ１８）に一次的に保存された複数フレームのＢモード画像データから、保存指示直前の４心拍に対応する複数フレームのＢモード画像データを取得して画像メモリ１５に二次的に保存する。画像メモリ１５に一次的に保存された複数フレームのＢモード画像データは、心拍データに対応付けられている。

サムネイル生成機能１７５は、ステップＳＴ３によって保存指示を受け付けたＢモード画像データのサムネイルを示すサムネイル画像データを生成する（ステップＳＴ５）。表示制御機能１７２は、Ｂモード画像データのライブ表示とともに、ステップＳＴ５によって生成されたサムネイル画像データをサムネイル画像としてディスプレイ４０に表示させる（ステップＳＴ６）。

図５は、サムネイル画像の表示例を示す図である。

図５は、サムネイル画像を含む表示画面Ｄ２を示す。表示画面Ｄ２は、ライブ表示される第ｎフレームのＢモード画像Ｂｎと、保存指示されたＢモード画像データのサムネイルを示すサムネイル画像Ｂとを含む。

図４に示す表示画面Ｄ１において、入力インターフェース３０により画面上のマーカが保存ボタンＰ上に合わせられて決定（クリック）されると、表示制御機能１７２は、表示画面Ｄ１から図５に示す表示画面Ｄ２に移行させる。

また、表示画面Ｄ２は、処理を開始させるためのユーザインターフェース、例えば開始ボタンＱを設ける場合があるが、その説明については図６を用いて後述する。表示制御機能１７２は、開始ボタンＱの要素として、処理を行う断面の種別を受け付けるためのユーザインターフェース、例えば「４ｃｈ（チャンバ）」ボタン、「２ｃｈ」ボタン、「３ｃｈ」ボタンをディスプレイ４０に表示させる。

図３の説明に戻って、受付機能１７３は、表示制御機能１７２によるライブ表示のバックグラウンドで、ステップＳＴ４によって保存された、複数心拍にわたる複数フレームのＢモード画像データに基づいて、各心拍の定量値を取得する処理の開始指示を受け付ける（ステップＳＴ７）。

処理機能１７６は、ステップＳＴ７によって受け付けられた処理開始指示により、表示制御機能１７２によるライブ表示のバックグラウンドで、各心拍の定量値を取得する処理を開始する（ステップＳＴ７）。つまり、超音波スキャンによるライブ表示と同時並行で、定量値の取得が行われる。

例えば、処理機能１７６は、保存指示直前の４心拍にわたる複数フレームのＢモード画像データに対して、ライブ表示のバックグラウンドで、定量値を得るためのＡｕｔｏ＿ＥＦを実行する。ここで、予め複数心拍（例えば、４心拍）が処理の対象として設定されている場合には、その複数心拍の各心拍について定量値が取得されてもよいし、入力インターフェース３０を介して複数心拍から選択された１又は各心拍について定量値が取得されてもよい。その場合、受付機能１７３は、入力インターフェース３０を介して複数心拍のうち任意の心拍の指定を受け付ける。また、予め１心拍が設定され、保存指示の直前の１心拍のみについて定量値が取得されてもよい。

表示制御機能１７２は、ステップＳＴ７によって開始された処理の進捗度（％）を算出し、処理の進捗度をディスプレイ４０に表示させる（ステップＳＴ８）。

図６は、進捗度を示す情報の表示例を示す図である。

図６は、進捗度を示す情報を含む表示画面Ｄ３を示す。表示画面Ｄ３は、ライブ表示される第ｎフレームのＢモード画像Ｂｎと、保存指示されたＢモード画像データのサムネイルを示すサムネイル画像Ｂと、時刻ｍにおける進捗度を示す情報Ｔｍとを含む。進捗度を示す情報Ｔｍは、サムネイル画像Ｂに重畳されることが好適である。

図６において、進捗度を示す情報Ｔｍは、Ａｕｔｏ＿ＥＦの進捗度を示す「ＸＸ．Ｘ％」を含む。ここで、「ＸＸ．Ｘ」は、「０．００」～「１００．０」の数値を意味する。時間の経過とともに、Ａｕｔｏ＿ＥＦの進捗度は増加することになる。

図５に示す表示画面Ｄ２において、入力インターフェース３０により画面上のマーカが例えば「４ｃｈ」ボタン上に合わせられて決定（クリック）されると４ｃｈ画像について処理が開始され、表示制御機能１７２は、表示画面Ｄ２から図６に示す表示画面Ｄ３に移行させる。「４ｃｈ」は、４ｃｈ画像は、四腔像である４ｃｈビューの４ｃｈ画像を選択するためのものである。「２ｃｈ」、「３ｃｈ」は、４ｃｈビューを基点として、さらに左室中心軸回りにＭＰＲ画像を回転し、４ｃｈビューから６０度、２７０度回転したそれぞれの位置のＭＰＲ画像を選択するためのものである。

なお、断面の選択はユーザインターフェースを介して決定するものとして説明したが、その場合に限定されるものではない。例えば、処理機能１７６は、処理を行う心臓の断面の種別（ビュー）を、超音波画像データに対する画像処理、又は、撮像手順に基づいて決定する。画像処理からビューを決定する処理には、例えば、超音波画像データと、ビューとを関連付けたルックアップテーブル（ＬＵＴ）が用いられてもよいし、機械学習が用いられてもよい。また、機械学習としてＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）等の、多層のニューラルネットワークを用いた深層学習が用いられてもよい。また、ストレスエコー等の撮像手順（プロトコル）のように、撮像手順ごとにビューが決まっている場合には、撮像手順からビューが決定される。

図３の説明に戻って、処理機能１７６は、ステップＳＴ７によって開始された、各心拍の定量値を求める処理が、全心拍について終了したか否かを判断する（ステップＳＴ９）。ステップＳＴ９の判断にてＮＯ、つまり、ステップＳＴ７によって開始された処理が終了していないと判断される場合、処理機能１７６は、ステップＳＴ７によって開始された処理の進捗度を再び算出し、処理の進捗度を表示画面Ｄ３上に表示させる（ステップＳＴ８）。

一方で、ステップＳＴ９の判断にてＹＥＳ、つまり、ステップＳＴ７によって開始された処理が終了したと判断される場合、表示制御機能１７２は、処理結果としての、複数の心拍から取得された複数の定量値の代表値をディスプレイ４０、例えばサムネイル画像上に表示させる（ステップＳＴ１０）。代表値とは、例えば、各心拍から得られた定量値の平均値、中央値、最頻値または標準偏差の値である。なお、表示制御機能１７２は、処理結果としての代表値をサムネイル画像上に表示させる場合に限定されず、複数心拍のうち特定の心拍（例えば最新心拍）から得られた定量値をサムネイル画像上に表示させてもよい。また、解析対象の心拍は必ずしも複数心拍である必要はなく１つの心拍であってもよい。解析対象が１心拍である場合には、例えば当該１心拍から得られた定量値がサムネイル画像上に表示される。

図７は、処理結果としての代表値の表示例を示す図である。

図７は、代表値Ｕを含む表示画面Ｄ４を示す。表示画面Ｄ４は、ライブ表示される第ｎフレームのＢモード画像Ｂｎと、保存指示されたＢモード画像データのサムネイルを示すサムネイル画像Ｂと、処理結果としての代表値Ｕとを含む。代表値Ｕは、サムネイル画像Ｂに重畳されることが好適である。

図７において、代表値Ｕは、Ａｕｔｏ＿ＥＦにより計測された複数心拍の定量値に基づく左室駆出率（ＥＦ）の「５８．８％」を含む。なお、代表値Ｕは、ＥＦの値に限定されるものではない。代表値Ｕ、言い換えれば、代表値Ｕの元となる定量値は、左心室及び左心房の少なくとも一方に関する拡張期左心室内径（ＬＶＬｄ）と、拡張末期左室容積（ＥＤＶ）と、左心室長さ（ＬＶＬｓ）と、収縮末期左室容積（ＥＳＶ）と、１回心拍出量（ＳＶ）と、心拍出量（ＣＯ）と、左室駆出率（ＥＦ）と、心筋ストレイン（ＧＬＳ）とのうち少なくとも１つを含むことが好適である。なお、表示される代表値Ｕの種類は、予め設定されていればよい。

この表示画面Ｄ４による表示により、ライブ表示されるＢモード画像Ｂｎを参照しながら代表値Ｕを簡易に視認することができる。

また、表示画面Ｄ４は、処理結果の表示形式を「Ｗｏｒｋ Ｓｈｅｅｔ」に切り替えるためのユーザインターフェース、例えば切替ボタンＷを設ける場合があるが、その説明については図８を用いて後述する。

画像処理装置１０によると、保存指示直前の複数心拍にわたる複数フレームの超音波画像データから定量値を取得する処理（例えば、Ａｕｔｏ＿ＥＦ）を行う際、処理の完了を操作者に分かりやすく表示することができる。

（第１の変形例）
表示制御機能１７２は、処理結果を、図７に示す簡易形式で代表値として提示するのみならず、詳細形式（例えば、ワークシート形式）で提示してもよい。簡易形式は、定量値を複数心拍の代表値を表示するものである一方で、ワークシート形式は、処理結果を、各心拍の定量値として表示するものである。また、ワークシート形式は、Ａｕｔｏ＿ＥＦによって算出される輪郭ライン等の等を示してもよい。

表示制御機能１７２は、入力インターフェース３０を介して図７に示す表示画面Ｄ４に設けられる「Ｗｏｒｋ Ｓｈｅｅｔ」の切替ボタンＷが押下されることで、表示画面Ｄ４を、処理結果をワークシート形式で示す画面に切り替えることができる。表示制御機能１７２は、処理機能１７６による複数心拍に対する処理結果を、複数心拍間で比較可能にディスプレイ４０に表示させる。

図８は、処理結果を示す情報の表示例を示す図である。

図８は、ワークシート形式で示される処理結果を含む表示画面Ｄ５である。表示画面Ｄ５の上段左側は、保存指示直前の複数心拍のうち最新心拍の、４ｃｈ画像に基づく拡張期左心室内径（ＬＶＬｄ４）と、拡張末期左室容積（ＥＤＶ４）と、左心室長さ（ＬＶＬｓ４）と、収縮末期左室容積（ＥＳＶ４）と、１回心拍出量（ＳＶ４）と、心拍出量（ＣＯ４）と、左室駆出率（ＥＦ４）と、心筋ストレイン（ＧＬＳ４）との値を含む。それらの値は、Ａｕｔｏ＿ＥＦにより計測される定量値である。

また、表示画面Ｄ５の上段右側は、最新心拍における拡張末期と収縮末期の各超音波画像を含む。各超音波画像には、Ａｕｔｏ＿ＥＦにより算出される、定量値を取得する処理の途中結果として、左室心内膜の輪郭ライン等の線（例えば、画像中の破線と実線の直線）も示されることが好適である。受付機能１７３が途中結果の変更を受け付けると、処理機能１７６は、変更後の途中結果に基づいて定量値を再計測して更新する。なお、途中結果は、心室及び心房の少なくとも一方の内膜の輪郭ラインと、選択された心拍との少なくとも一方を含む。

表示画面Ｄ５の下段左側は、保存指示直前の複数心拍のうち最新心拍の１心拍前の、４ｃｈ画像に基づく拡張期左心室内径（ＬＶＬｄ４）と、拡張末期左室容積（ＥＤＶ４）と、左心室長さ（ＬＶＬｓ４）と、収縮末期左室容積（ＥＳＶ４）と、１回心拍出量（ＳＶ４）と、心拍出量（ＣＯ４）と、左室駆出率（ＥＦ４）と、心筋ストレイン（ＧＬＳ４）との値を含む。それらの値は、Ａｕｔｏ＿ＥＦにより計測される定量値である。

また、表示画面Ｄ５の下段右側は、最新心拍の１心拍前における拡張末期と収縮末期の各超音波画像を含む。各超音波画像には、Ａｕｔｏ＿ＥＦにより算出される、定量値を取得する処理の途中結果として、左室心内膜の輪郭ライン等の線（例えば、画像中の破線と実線の直線）も示されることが好適である。受付機能１７３が途中結果の変更を受け付けると、処理機能１７６は、変更後の途中結果に基づいて定量値を再計測して更新する。

また、表示画面Ｄ５は、心拍ごとに操作者が計測値を承認するためのインターフェース、例えば承認ボタンを含む。入力インターフェース３０を介して承認ボタンが押下され、受付機能１７３が心拍ごとの承認を受け付けることで、管理機能１７７は、計測された定量値に対する承認を与えることができる。

なお、表示制御機能１７２は、処理の状態を識別可能なように、処理の状態に応じて表示画面の全体又は一部の表示態様を変更してもよい。例えば、管理機能１７７が、処理中の状態であると判断する場合には、表示制御機能１７２は、図６の表示画面Ｄ３の進捗度を示す情報Ｔｍの枠部分を青色で表示させる。管理機能１７７が、処理終了後未承認の状態であると判断する場合には、表示制御機能１７２は、図７の表示画面Ｄ４の代表値Ｕの枠部分を黄色で表示させる。管理機能１７７が、処理後承認済みの状態であると判断する場合には、表示制御機能１７２は、図８の表示画面Ｄ５の承認ボタンの枠部分を白色で表示させる。なお色は上記の例に限定されるものではない。また、色に限らず処理状態の変化を識別可能な表示態様であればよい。上記の例では情報Ｔｍの枠部分の色を変更することとしたが、枠部分の色の変更に加えて又は枠部分の色の変更に替えて、情報Ｔｍに含まれる文字または数字の色を変更することとしてもよい。例えば、表示制御機能１７２は、複数心拍のそれぞれに関して定量値が取得される場合には、定量値の取得が完了した順に定量値を青色でサムネイル画像上に表示させ、設定された心拍分の定量値が取得された後に代表値を黄色でサムネイル画像上に表示させることとしてもよい。また、例えば、表示制御機能１７２は、複数心拍のそれぞれに関して定量値が取得される場合には、定量値の取得が完了した順に定量値をサムネイル画像上に青色で表示させ、最新の心拍から取得された定量値を黄色でサムネイル画像上に表示させることとしてもよい。

また、管理機能１７７は、外部装置（例えば、画像管理装置６０）への処理結果の転送状態についても、処理の状態を識別可能なように、転送状態に応じて表示画面の全体又は一部の表示態様を変更してもよい。例えば、管理機能１７７が、外部装置に未転送の状態であると判断する場合には、表示制御機能１７２は、表示画面Ｄ５の承認ボタンの枠部分の白色を維持する。管理機能１７７が、外部装置に転送済みの状態であると判断する場合には、表示制御機能１７２は、表示画面Ｄ５の承認ボタンの枠部分を赤色で表示させる。

このように、表示画面Ｄ５の表示によれば、操作者は、複数心拍間の定量値の差異を比較評価することができる。また、表示画面Ｄ５の表示によれば、操作者は、定量値の妥当性を確認し、輪郭ラインの修正、処理対象の心拍の再設定、承認操作等を行うことができる。

（第２の変形例）
表示制御機能１７２は、図５に示す処理開始前の表示画面Ｄ２において、保存指示されたＢモード画像のサムネイル画像Ｂを視認可能な態様で表示してもよい。

図９は、処理開始前におけるサムネイル画像の拡大画像の表示例を示す図である。

図９は、処理開始前におけるサムネイル画像の拡大画像Ｂ´を含む表示画面Ｄ６を示す。表示画面Ｄ６は、図５に示す表示画面Ｄ２において、入力インターフェース３０により画面上のマーカＭが操作される場合の画面を示す。マーカＭがサムネイル画像Ｂ上に合わせられると、表示制御機能１７２は、ライブ表示されるＢモード画像Ｂｎの前面に、サムネイル画像Ｂの拡大画像Ｂ´を重畳（ポップアップ）表示させる。

また、表示画面Ｄ６は、処理を開始させるための開始ボタンＱ（図５に図示）を設ける場合がある。

このように、表示画面Ｄ６の表示及び機能によれば、操作者は、ライブ表示されるＢモード画像Ｂｎを参照しつつ、簡易な操作で、処理予定のＢモード画像を拡大画像Ｂ´として視認することができる。

（第３の変形例）
表示制御機能１７２は、図６に示す処理中の表示画面Ｄ３において、保存指示されたＢモード画像のサムネイル画像Ｂを視認可能な態様で表示してもよい。

図１０は、処理中におけるサムネイル画像の拡大画像の表示例を示す図である。

図１０は、処理中におけるサムネイル画像の拡大画像Ｂ´を含む表示画面Ｄ７を示す。表示画面Ｄ７は、図６に示す表示画面Ｄ３において、入力インターフェース３０により画面上のマーカＭが操作される場合の画面を示す。マーカＭがサムネイル画像Ｂ（又は、進捗度を示す情報Ｔｍ）上に合わせられると、表示制御機能１７２は、ライブ表示されるＢモード画像Ｂｎの前面に、サムネイル画像Ｂの拡大画像Ｂ´を重畳表示させる。

このように、表示画面Ｄ７の表示及び機能によれば、操作者は、ライブ表示されるＢモード画像Ｂｎを参照しつつ、簡易な操作で、処理中のＢモード画像を拡大画像Ｂ´として視認することができる。

（第４の変形例）
表示制御機能１７２は、図７に示す処理終了後の表示画面Ｄ４において、処理結果をワークシート形式で示す画像を視認可能な態様で表示してもよい。

図１１は、処理終了後における処理結果をワークシート形式で示す画像の表示例を示す図である。

図１１は、処理終了後における処理結果をワークシート形式で示す画像Ｃを含む表示画面Ｄ８を示す。表示画面Ｄ８は、図７に示す表示画面Ｄ４において、入力インターフェース３０により画面上のマーカＭが操作される場合の画面を示す。マーカＭがサムネイル画像Ｂ上に合わせられると、表示制御機能１７２は、ライブ表示されるＢモード画像Ｂｎの前面に、処理結果をワークシート形式で示す画像Ｃ（図８に図示する表示画面Ｄ５の縮小画像）を重畳表示させる。

また、表示制御機能１７２は、入力インターフェース３０を介して表示画面Ｄ８上の「Ｗｏｒｋ Ｓｈｅｅｔ」の切替ボタンＷが押下されることで、又は、入力インターフェース３０によりマーカＭが画像Ｃ上に合わせられて決定（クリック）されることで、表示制御機能１７２は、表示画面Ｄ８を、処理結果をワークシート形式で示す表示画面Ｄ５（図８に図示）に切り替えることができる。

このように、表示画面Ｄ８の表示及び機能によれば、操作者は、ライブ表示されるＢモード画像Ｂｎを参照しつつ、簡易な操作で、ワークシート形式で示される処理結果を視認することができる。

（第５の変形例）
表示制御機能１７２は、図７に示す処理終了後の表示画面Ｄ４において、サムネイル画像の拡大画像と、処理結果をワークシート形式で示す画像とを視認可能な態様で表示してもよい。つまり、表示制御機能１７２は、図１１を用いて説明した画像Ｃに加え、サムネイル画像Ｂの拡大画像をも視認可能な態様で表示する。

図１２は、処理終了後におけるサムネイル画像の拡大画像と処理結果をワークシート形式で示す画像との表示例を示す図である。

図１２は、処理終了後におけるサムネイル画像の拡大画像Ｂ´と、処理結果をワークシート形式で示す画像Ｃとを含む表示画面Ｄ９を示す。表示画面Ｄ９は、図７に示す表示画面Ｄ４において、入力インターフェース３０により画面上のマーカＭが操作される場合の画面を示す。マーカＭがサムネイル画像Ｂ（又は、代表値Ｕ）上に合わせられると、表示制御機能１７２は、ライブ表示されるＢモード画像Ｂｎの前面に、処理結果をワークシート形式で示す画像Ｃ（図８に図示する表示画面Ｄ５の縮小画像）と、サムネイル画像Ｂの拡大画像Ｂ´とを重畳表示させる。

また、入力インターフェース３０を介して表示画面Ｄ９上の「Ｗｏｒｋ Ｓｈｅｅｔ」の切替ボタンＷが押下されることで、又は、入力インターフェース３０によりマーカＭが画像Ｃ上に合わせられて決定（クリック）されることで、表示制御機能１７２は、表示画面Ｄ９を、処理結果をワークシート形式で示す表示画面Ｄ５（図８に図示）に切り替えることができる。

このように、表示画面Ｄ９の表示及び機能によれば、操作者は、ライブ表示されるＢモード画像Ｂｎを参照しつつ、簡易な操作で、処理済みのＢモード画像の拡大画像Ｂ´と、ワークシート形式で示される処理結果とを視認することができる。

（第６の変形例）
表示制御機能１７２は、図１２に示す処理終了後の表示画面Ｄ９において、入力インターフェース３０によりマーカＭが拡大画像Ｂ´上に合わせられて決定（クリック）されることで、サムネイル画像の拡大画像を視認可能な態様で表示してもよい。

図１３は、処理終了後におけるサムネイル画像の拡大画像の表示例を示す図である。

図１３は、処理終了後におけるサムネイル画像Ｂの拡大画像Ｂ´´を含む表示画面Ｄ１０を示す。表示画面Ｄ１０は、図１２に示す表示画面Ｄ９において、入力インターフェース３０によりマーカＭが拡大画像Ｂ´上に合わせられて決定（クリック）された後の画面を示す。拡大画像Ｂ´が決定されると、表示制御機能１７２は、拡大画像Ｂ´の拡大画像Ｂ´´を、ライブ表示されるＢモード画像Ｂｎに代替して表示させる。

また、表示制御機能１７２は、表示画面Ｄ１０において拡大画像Ｂ´´を表示させる際、表示画面Ｄ１０に、計測値等の情報Ｖを含めてもよい。なお、計測値等の情報Ｖの「Ａ４Ｃ」は、計測された４ｃｈの１断面（Single Plane）画像を意味する。

また、入力インターフェース３０を介して表示画面Ｄ９上の「Ｗｏｒｋ Ｓｈｅｅｔ」の切替ボタンＷが押下されることで、表示制御機能１７２は、表示画面Ｄ１０を、処理結果をワークシート形式で示す表示画面Ｄ５（図８に図示）に切り替えることができる。

このように、表示画面Ｄ１０の表示及び機能によれば、操作者は、処理済みのＢモード画像を拡大画像Ｂ´´として視認することができる。

（第７の変形例）
表示制御機能１７２は、図１３に示す処理終了後の表示画面Ｄ１０において、入力インターフェース３０によりマーカＭが計測値等の情報Ｖ上に合わせられることで、処理結果をワークシート形式で示す画像を視認可能な態様で表示してもよい。

図１４は、処理終了後におけるサムネイル画像の拡大画像の表示例を示す図である。

図１４は、処理終了後におけるサムネイル画像Ｂの拡大画像Ｂ´´を含む表示画面Ｄ１１を示す。表示画面Ｄ１１は、入力インターフェース３０により画面上のマーカＭが操作される場合の画面を示す。マーカＭが計測値等の情報Ｖ上に合わせられると、表示制御機能１７２は、拡大画像Ｂ´´の前面に、処理結果を詳細形式で示す画像Ｃ（図８に図示する表示画面Ｄ５の縮小画像）を重畳表示させる。

また、入力インターフェース３０を介して表示画面Ｄ１１上の「Ｗｏｒｋ Ｓｈｅｅｔ」の切替ボタンＷが押下されることで、又は、入力インターフェース３０によりマーカＭが画像Ｃ上に合わせられて決定（クリック）されることで、表示制御機能１７２は、表示画面Ｄ１１を、処理結果をワークシート形式で示す表示画面Ｄ５（図８に図示）に切り替えることができる。

このように、表示画面Ｄ１１の表示及び機能によれば、操作者は、処理済みのＢモード画像を拡大画像Ｂ´´として視認することができる。

（第８の変形例）
表示制御機能１７２は、図７に示す処理終了後の表示画面Ｄ４に示すように、処理結果をサムネイル画像上に表示させる際、心拍データに基づく周期性の変化に応じて、処理結果としての代表値Ｕの表示態様を変更させてもよい。例えば、処理機能１７６は、生体信号センサ５０から出力された心拍データ（例えばＥＣＧ信号）を取得し、ＥＣＧ波形に基づいて、処理対象の複数心拍に、Ｒ－Ｒ間隔の変化が大きい心拍を含むと判断する。その場合、表示制御機能１７２は、処理結果としての代表値Ｕの表示態様を変更させる。Ｒ－Ｒ間隔とは、ＥＣＧ波形に現われる第１のＲ波から次の第２のＲ波が現われるまでの時間間隔を意味する。Ｒ－Ｒ間隔の変化が大きく、かつ、Ｒ－Ｒ間隔が短い心拍では、心拍異常、例えば、心房細動等の不整脈が発生していると推認される。

ここで、処理機能１７６による、周期性の変化が大きい心拍の検出方法について説明する。処理機能１７６は、ＥＣＧ波形に基づいて心拍ごとにＲ－Ｒ間隔を算出する。処理機能１７６は、各Ｒ－Ｒ間隔と閾値とを比較し、当該閾値以下のＲ－Ｒ間隔に対応する心拍を、周期性の変化が大きい心拍として検出する。なお、閾値は、予め設定（Preset）されるものであってもよいし、複数心拍のＲ－Ｒ間隔の平均値であってもよいし、複数心拍のＲ－Ｒ間隔の最大値と最小値との中間値であってもよいし、当該平均値又は中間値から所定の値（例えば、３σ）が減算された値であってもよい。

そして、周期性の変化が大きい心拍を含むと判断された場合、処理機能１７６による処理と表示制御機能１７２による表示との方法により、次の３つの「処理・表示態様（１）～（３）」が可能である。なお、処理・表示態様（１）～（３）は、任意に選択可能である。
（１）周期性の変化が大きい心拍を含めた処理により定量値を取得し、定量値と共に当該処理を行った旨の表示を行う。
（２）周期性の変化が大きい心拍を単純に除いた処理により定量値を取得し、定量値と共に当該処理を行った旨の表示を行う。
（３）周期性の変化が大きい心拍を除き、それを他の心拍で補った処理により定量値を取得し、定量値と共に当該処理を行った旨の表示を行う。

処理・表示態様（１）について説明する。周期性の変化が大きい心拍が検出された場合、表示制御機能１７２は、処理機能１７６による処理が完了すると、周期性の変化が大きい心拍を含めた処理結果である旨を、処理結果と共にディスプレイ４０に表示させる。

図１５は、周期性の変化が大きい心拍を含めた処理結果である旨を提示するための、図７の表示画面Ｄ４における代表値Ｕの表示例を示す図である。図１５（Ａ）は、周期性の変化が大きい心拍を含めた処理結果である旨をマークＭ１として提示する例である。図１５（Ｂ）は、周期性の変化が大きい心拍を含めた処理結果である旨を、代表値Ｕの表示領域の背景色の変化として提示する例である。

図１５（Ａ）に示すように、図７の表示画面Ｄ４におけるサムネイル画像Ｂは、定量値としての代表値Ｕと、周期性の変化が大きい心拍を含めた処理結果である旨を示すマークＭ１「＾」とを含む。また、図１５（Ｂ）に示すように、図７の表示画面Ｄ４におけるサムネイル画像Ｂは、定量値としての代表値Ｕと、周期性の変化が大きい心拍を含めた処理結果である旨を示す背景色とを含む。操作者は、これらの表示画面を確認することで、処理結果が、周期性の変化が大きい心拍を含めたデータから取得されたものであることを認識することができるので、操作者が期待した心拍で解析したという誤解を招くことはない。また、操作者は、必要であれば、周期性の変化が大きい心拍を除いた再処理を促すこともできる。

続いて、処理・表示態様（２）について説明する。周期性の変化が大きい心拍が検出された場合、処理機能１７６は、周期性の変化が大きい心拍を単純に除いて、正常の心拍のみを用いて処理を行う。例えば、「ｍ」を２以上の整数とすると、処理機能１７６は、ｍ個の心拍のうち、周期性の変化が大きい１個の心拍を検出した場合、周期性の変化が大きい心拍が除かれたｍ－１個の心拍において定量値を取得する。そして、表示制御機能１７２は、処理機能１７６による処理が完了すると、周期性の変化が大きい心拍を単純に除いた処理結果である旨を、処理結果と共にディスプレイ４０に表示させる。

図１６は、周期性の変化が大きい心拍を単純に除いた処理結果である旨を提示するための、図７の表示画面Ｄ４における代表値Ｕの表示例を示す図である。図１６（Ａ）は、周期性の変化が大きい心拍を単純に除いた処理結果である旨をマークＭ２として提示する例である。図１６（Ｂ）は、周期性の変化が大きい心拍を単純に除いた処理結果である旨を、代表値Ｕの表示領域の背景色の変化として提示する例である。

図１６（Ａ）に示すように、図７の表示画面Ｄ４におけるサムネイル画像Ｂは、定量値としての代表値Ｕと、周期性の変化が大きい心拍を含めた処理結果である旨を示すマークＭ２「＊」とを含む。また、図１６（Ｂ）に示すように、図７の表示画面Ｄ４におけるサムネイル画像Ｂは、定量値としての代表値Ｕと、周期性の変化が大きい心拍を含めた処理結果である旨を示す背景色とを含む。操作者は、これらの表示画面を確認することで、処理結果が、周期性の変化が大きい心拍を単純に除いたデータから取得されたものであることを認識することができる。操作者は、必要であれば、処理対象の心拍の数を増やすべく再処理を促すこともできる。

なお、図１６に示す処理・表示態様（２）によるマークや背景色は、図１５に示す処理・表示態様（１）によるマークや背景色と同一であってもよいし、異なっていてもよい。後者の場合、操作者は、マークや背景色の違いによって、表示結果が、周期性の変化が大きい心拍を含むものであるか、周期性の変化が大きい心拍を単純に除いたものなのかについて、簡単に視認することができる。

続いて、処理・表示態様（３）について説明する。周期性の変化が大きい心拍が検出された場合、処理機能１７６は、周期性の変化が大きい心拍を除いた上で、除かれた心拍の数の分を他の心拍で補う。例えば、「ｎ」を基準の心拍とすると、処理機能１７６は、第ｎ－４番目から第ｎ番目までの５個の心拍のうち、周期性の変化が大きい第ｎ－４番目の心拍を検出した場合、第ｎ－４番目より古い第ｎ－５番目と、第ｎ－３番目から第ｎ番目までとの５個の心拍において定量値を取得する。そして、表示制御機能１７２は、処理機能１７６による処理が完了すると、周期性の変化が大きい第ｎ－４番目の心拍を除いた上で、除かれた心拍の数の分を他の第ｎ－５番目の心拍で補った処理結果である旨を、処理結果と共にディスプレイ４０に表示させる。

処理・表示態様（３）による表示例は、図１６に示す処理・表示態様（２）による表示例と同等であるので説明を省略する。また、処理・表示態様（３）によるマークや背景色は、図１５に示す処理・表示態様（１）によるマークや背景色、及び、図１６に示す処理・表示態様（２）によるマークや背景色と同一であってもよいし、異なっていてもよい。後者の場合、操作者は、マークや背景色の違いによって、表示結果が、周期性の変化が大きい心拍を含むものであるか、周期性の変化が大きい心拍を単純に除いたものなのか、周期性の変化が大きい心拍を除いて正常な心拍で補ったものであるのかについて、簡単に視認することができる。

なお、周期性の変化は、上述したようなＲ－Ｒ間隔の変化に限定されるものではない。例えば、周期性の変化は、ＥＣＧ波形に現われる第１のＰ波から次の第２のＰ波が現われるまでの時間間隔であるＰ－Ｐ間隔の変化や、ＥＣＧ波形に現われる第１のＴ波から次の第２のＴ波が現われるまでの時間間隔であるＴ－Ｔ間隔の変化等であってもよい。また、処理終了後の表示画面は、表示画面Ｄ４に限定されるものではなく、図８に示す表示画面Ｄ５や、図１１～図１４にそれぞれ示す表示画面Ｄ８～Ｄ１１であってもよい。

以上説明した少なくとも１つの実施形態によれば、バックグラウンドで行われる処理の状態を操作者に提示することができる。

なお、画像取得機能１７１は、画像取得部の一例である。表示制御機能１７２は、表示制御部の一例である。受付機能１７３は、受付部の一例である。記憶制御機能１７４は、記憶制御部の一例である。サムネイル生成機能１７５は、生成部の一例である。処理機能１７６は、処理部の一例である。管理機能１７７は、管理部の一例である。評価機能１７８は、評価部の一例である。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせ、実施形態と１又は複数の変形例との組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 超音波診断装置
１０ 画像処理装置
１７ 処理回路
４０ ディスプレイ
１７１ 画像取得機能
１７２ 表示制御機能
１７３ 受付機能
１７４ 記憶制御機能
１７５ サムネイル生成機能
１７６ 処理機能
１７７ 管理機能
１７８ 評価機能

Claims (19)

1. 特定の超音波画像の保存指示を受け付ける受付部と、
   前記保存指示に係る前記特定の超音波画像のサムネイル画像を生成する生成部と、
   超音波画像を表示部にライブ表示させるとともに、前記サムネイル画像を表示部に表示させる表示制御部と、
   前記表示制御部による前記ライブ表示のバックグラウンドで、前記保存指示により保存された前記特定の超音波画像から定量値を取得する処理を実行する処理部と、
   を備える画像処理装置であって、
   前記表示制御部は、前記処理が完了すると前記処理の結果を前記サムネイル画像上に表示させる、
   画像処理装置。
2. 前記処理部は、前記処理として、複数心拍にわたる複数の超音波画像から各心拍における定量値を取得する処理を実行する、
   請求項１に記載の画像処理装置。
3. 前記処理部は、前記各心拍から得られた定量値のうち最新心拍から得られた定量値または前記複数心拍から得られた複数の定量値の代表値を算出し、
   前記表示制御部は、最新心拍から得られた定量値または前記代表値を前記処理の結果として前記サムネイル画像上に表示させる、
   請求項２に記載の画像処理装置。
4. 前記代表値は、前記各心拍から得られた定量値の平均値、中央値、最頻値または標準偏差の値である、
   請求項３に記載の画像処理装置。
5. 前記表示制御部は、前記処理の結果を前記サムネイル画像上に表示させる第１の表示画面から、各心拍の定量値が示された第２の表示画面に切り替える、
   請求項４に記載の画像処理装置。
6. 前記表示制御部は、前記第２の表示画面において、前記定量値を前記複数心拍間で比較可能に前記表示部に表示させる、
   請求項５に記載の画像処理装置。
7. 前記受付部は、前記複数心拍の心拍ごとに定量値の承認を受け付ける、
   請求項６に記載の画像処理装置。
8. 前記処理の状態を管理する管理部を更に備え、
   前記表示制御部は、前記処理の状態に応じて表示態様を変更する、
   請求項７に記載の画像処理装置。
9. 前記各心拍から得られた定量値の信頼度を評価する評価部を更に備え、
   前記表示制御部は、前記信頼度に基づく情報を前記表示部に表示させる、
   請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記処理の結果の外部装置への転送状態を管理する管理部を更に備え、
    前記管理部は、前記転送状態に応じて表示態様を変更する、
    請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記超音波画像は、心臓を含み、
    前記受付部は、前記処理を行う前記心臓の断面の種別の指定を受け付け、
    前記表示部は、前記保存指示を受け付けた後に前記種別の指定を受け付けるためのユーザインターフェースを前記表示部に表示させる、
    請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記超音波画像は、心臓を含み、
    前記処理部は、前記処理を行う前記心臓の断面の種別を前記超音波画像に対する画像処理または撮像手順に基づいて決定する、
    請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記表示制御部は、前記定量値を取得する処理の途中結果を前記表示部に表示させる、
    請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記受付部は、前記途中結果の変更を受け付け、
    前記処理部は、変更後の途中結果に基づいて前記定量値を更新する、
    請求項１３に記載の画像処理装置。
15. 前記超音波画像は、心臓を含み、
    前記途中結果は、心室および心房の少なくとも一方の内膜の輪郭ラインと、心拍とのうちの少なくとも一方を含む、
    請求項１４に記載の画像処理装置。
16. 前記定量値は、左心室および左心房の少なくとも一方に関する駆出率および心筋ストレインの少なくとも一方を含む、
    請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記表示制御部は、前記処理の結果を前記サムネイル画像上に表示させる際、心拍データに基づく周期性の変化に応じて、前記処理の結果の表示態様を変更させる、
    請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 特定の医用画像の保存指示を受け付ける受付部と、
    前記保存指示に係る前記特定の医用画像のサムネイル画像を生成する生成部と、
    医用画像を表示部にライブ表示させるとともに、前記サムネイル画像を表示部に表示させる表示制御部と、
    前記表示制御部による前記ライブ表示のバックグラウンドで、前記保存指示により保存された前記特定の医用画像から定量値を取得する処理を実行する処理部と、
    を備える画像処理装置であって、
    前記表示制御部は、前記処理が完了すると前記処理の結果を前記サムネイル画像上に表示させる、
    画像処理装置。
19. コンピュータに、
    特定の超音波画像の保存指示を受け付ける受付機能と、
    前記保存指示に係る前記特定の超音波画像のサムネイル画像を生成する生成機能と、
    超音波画像を表示部にライブ表示させるとともに、前記サムネイル画像を表示部に表示させる表示制御機能と、
    前記表示制御機能による前記ライブ表示のバックグラウンドで、前記保存指示により保存された前記特定の超音波画像から定量値を取得する処理を実行する処理機能と、
    を実現させる画像処理プログラムであって、
    前記表示制御機能は、前記処理が完了すると前記処理の結果を前記サムネイル画像上に表示させる、
    画像処理プログラム。

Images