以下、図面を参照しながら、超音波診断装置、医用画像処理装置、及び超音波画像表示プログラムの実施形態について詳細に説明する。
実施形態に係る超音波診断装置は、取得手段と、再生開始調整手段とを有する。取得手段は、記憶部から、第1の超音波動画像(予め記録された動画像)を取得する。再生開始調整手段は、第2の超音波画像(ライブ画像又は予め記録された動画像の1フレーム)を表示部に表示させると共に、第2の超音波画像の収集時に発生する時相特定情報に基づいて特定時相を特定し特定時相に対応する画像を再生開始フレームとして第1の超音波動画像を表示部に再生表示させる。
ここで、再生開始調整手段は、時相特定情報を、心位相(ECG:Electrocardiogram)の情報とすることができる。その場合、再生開始調整手段は、心位相の情報に基づいて特定時相、例えばR波時を特定する。つまり、再生開始調整手段は、心位相基準で第1の超音波動画像の再生開始タイミングを求める。又は、再生開始調整手段は、時相特定情報を、フラッシュの情報とすることができる。その場合、再生開始調整手段は、フラッシュの情報に基づいて特定時相、例えばフラッシュ時を特定する。つまり、再生開始調整手段は、フラッシュ基準で第1の超音波動画像の再生開始タイミングを求める。
また、再生開始調整手段は、第2の超音波画像をライブ画像とすることができる。その場合、再生開始調整手段は、ライブ画像を表示部に逐次表示させる。又は、再生開始調整手段は、第2の超音波画像を、予め記録された第2の超音波動画像の1フレームとすることができる。その場合、再生開始調整手段は、第2の超音波動画像を表示部に再生表示させる。
以上のように、時相特定情報が心位相の情報であるか又はフラッシュの情報であるかと、第2の超音波画像がライブ画像であるか又は予め登録された第2の超音波動画像の1フレームであるかとの組み合わせに応じて、4種類の実施形態が考えられる。以下、第1の実施形態(図1~図5)において、時相特定情報が心位相の情報であり、かつ、第2の超音波画像がライブ画像である場合について説明し、第2の実施形態(図1、図6~図9)において、時相特定情報が心位相の情報であり、かつ、第2の超音波画像が予め記録された第2の超音波動画像の1フレームである場合について説明し、第3の実施形態(図1、図12~図15)において、時相特定情報がフラッシュの情報であり、かつ、第2の超音波画像がライブ画像である場合について説明し、第4の実施形態(図1、図16~図19)において、時相特定情報がフラッシュの情報であり、かつ、第2の超音波画像が予め記録された第2の超音波動画像の1フレームである場合について説明する。
1.第1の実施形態
図1は、第1の実施形態に係る超音波診断装置の構成を示す概略図である。
図1は、第1の実施形態に係る超音波診断装置10を示す。また、図1は、超音波プローブ20、入力インターフェース30、及びディスプレイ40を示す。なお、超音波診断装置10に、超音波プローブ20、入力インターフェース30、及びディスプレイ40の少なくとも1個を加えた装置を超音波診断装置と称する場合もある。以下の説明では、超音波診断装置10の外部に、超音波プローブ20、入力インターフェース30、及びディスプレイ40の全てが備えられる場合について説明する。
超音波診断装置10は、送受信回路11、Bモード処理回路12、ドプラ処理回路13、画像生成回路14、画像メモリ15、表示制御回路16、ネットワークインターフェース17、処理回路18、及びメインメモリ19を備える。回路11~14は、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路11~14の機能の全部又は一部は、処理回路18がプログラムを実行することで実現されるものであってもよい。
送受信回路11は、送信回路及び受信回路(図示省略)を有する。送受信回路11は、処理回路18による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路11が超音波診断装置10に設けられる場合について説明するが、送受信回路11は、超音波プローブ20に設けられてもよいし、超音波診断装置10及び超音波プローブ20の両方に設けられてもよい。なお、送受信回路11は、送受信部の一例である。
送信回路は、パルス発生回路、送信遅延回路、及びパルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ20の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。
受信回路は、アンプ回路、A/D(Analog to Digital)変換器、及び加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。A/D変換器は、ゲイン補正されたエコー信号をA/D変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、A/D変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。
Bモード処理回路12は、処理回路18による制御の下、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ(2次元又は3次元データ)を生成する。このデータは、一般に、Bモードデータと呼ばれる。なお、Bモード処理回路12は、Bモード処理部の一例である。
ドプラ処理回路13は、処理回路18による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、ドプラ効果による血流や組織を抽出し、平均速度、分散、パワー等の移動態情報を多点について抽出したデータ(2次元又は3次元データ)を生成する。このデータは、一般に、ドプラデータと呼ばれる。なお、ドプラ処理回路13は、ドプラ処理部の一例である。
画像生成回路14は、処理回路18による制御の下、超音波プローブ20が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像を画像データとして生成する。例えば、画像生成回路14は、超音波画像として、Bモード処理回路12によって生成された2次元のBモードデータから反射波の強度を輝度にて表したBモード画像を生成する。また、画像生成回路14は、超音波画像として、ドプラ処理回路13によって生成された2次元のドプラデータから移動態情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像を生成する。なお、画像生成回路14は、画像生成部の一例である。
画像メモリ15は、1フレーム当たり2軸方向に複数のメモリセルを備え、それを複数フレーム分備えたメモリである2次元メモリを含む。画像メモリ15としての2次元メモリは、処理回路18の制御による制御の下、画像生成回路14によって生成された1フレーム、又は、複数フレームに係る超音波画像を2次元画像データとして記憶する。なお、画像メモリ15は、記憶部の一例である。
画像生成回路14は、処理回路18による制御の下、画像メモリ15としての2次元メモリに配列された超音波画像に対し、必要に応じて補間処理を行う3次元再構成を行うことで、画像メモリ15としての3次元メモリ内に超音波画像をボリュームデータとして生成する。補間処理方法としては、公知の技術が用いられる。
画像メモリ15は、3軸方向(X軸、Y軸、及びZ軸方向)に複数のメモリセルを備えたメモリである3次元メモリを含む場合もある。画像メモリ15としての3次元メモリは、処理回路18の制御による制御の下、画像生成回路14によって生成された超音波画像をボリュームデータとして記憶する。
表示制御回路16は、GPU(Graphics Processing Unit)及びVRAM(Video RAM)等を含む。表示回路16は、処理回路18の制御による制御の下、処理回路18から表示出力要求のあった超音波画像(例えば、ライブ画像)をディスプレイ40に表示させる。なお、表示制御回路16は、表示制御部の一例である。
ネットワークインターフェース17は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース17は、この各種プロトコルに従って、超音波診断装置10と、外部の医用画像管理装置50及び医用画像処理装置60等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線/有線の病院基幹のLAN(Local Area Network)やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。
また、ネットワークインターフェース17は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、超音波診断装置10は、例えば超音波プローブ20と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース17は、ネットワーク接続部の一例である。
処理回路18は、専用又は汎用のCPU(central processing unit)、MPU(micro processor unit)、又はGPU(Graphics Processing Unit)の他、ASIC、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:simple programmable logic device)、複合プログラマブル論理デバイス(CPLD:complex programmable logic device)、及び、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)等が挙げられる。
また、処理回路18は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、メインメモリ19は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ19が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、処理回路18は、処理部の一例である。
メインメモリ19は、RAM(random access memory)、フラッシュメモリ(flash memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ19は、USB(universal serial bus)メモリ及びDVD(digital video disk)等の可搬型メディアによって構成されてもよい。メインメモリ19は、処理回路18において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(operating system)等も含まれる)や、プログラムの実行に必要なデータを記憶する。また、OSに、操作者に対するディスプレイ40への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース30によって行うことができるGUI(graphical user interface)を含めることもできる。なお、メインメモリ19は、記憶部の一例である。
超音波プローブ20は、前面部に複数個の微小な振動子(圧電素子)を備え、スキャン対象を含む領域、例えば管腔体を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号(受信信号)に変換する機能を有する。超音波プローブ20は小型、軽量に構成されており、ケーブル(又は無線通信)を介して超音波診断装置10に接続される。
超音波プローブ20は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ20は、アレイ配列次元の違いにより、アジマス方向に1次元(1D)的に複数個の振動子が配列された1Dアレイプローブと、アジマス方向かつエレベーション方向に2次元(2D)的に複数個の振動子が配列された2Dアレイプローブとの種類に分けられる。なお、1Dアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。
ここで、3Dスキャン、つまり、ボリュームスキャンが実行される場合、超音波プローブ20として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた2Dアレイプローブが利用される。又は、ボリュームスキャンが実行される場合、超音波プローブ20として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた1Dプローブが利用される。後者のプローブは、メカ4Dプローブとも呼ばれる。
入力インターフェース30は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、走査面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路18に出力する。なお、入力インターフェース30は、入力部の一例である。
ディスプレイ40は、例えば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ40は、処理回路18の制御に従って各種情報を表示する。なお、ディスプレイ40は、表示部の一例である。
また、図1は、超音波診断装置10の外部機器である医用画像管理装置50及び医用画像処理装置60を示す。医用画像管理装置50は、例えば、DICOM(Digital Imaging and Communications in Medicine)サーバであり、ネットワークNを介してデータ送受信可能に超音波診断装置10等の機器に接続される。医用画像管理装置50は、超音波診断装置10によって生成された超音波画像等の医用画像をDICOMファイルとして管理する。
医用画像処理装置60は、ネットワークNを介してデータ送受信可能に超音波診断装置10や医用画像管理装置50等の機器に接続される。医用画像診断装置60としては、例えば、超音波診断装置10によって生成された超音波画像に対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等が挙げられる。なお、医用画像処理装置60はオフラインの装置であって、超音波診断装置10によって生成された超音波画像を可搬型の記憶媒体を介して読み出し可能な装置であってもよい。
続いて、超音波診断装置10の機能について説明する。
図2は、超音波診断装置10の機能を示すブロック図である。
図2は、心電計測器50を示す。心電計測器50は、患者の心位相を表す信号としてのECG信号を計測する。心電計測器50は、ECGセンサ及びECGユニット(図示省略)を含む。ECGセンサは、患者の体表に付着され、患者のECG信号を電気信号として検出する。ECGユニットは、ECG信号にデジタル化処理を含む各種の処理を施した上で、超音波診断装置10に出力する。心電計測器50としては、例えばベクトル心電計を用いることができる。
処理回路18は、メインメモリ19に記憶された、又は、処理回路18内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能21、スキャン制御機能22、及び再生開始調整機能23を実現する。以下、機能21~23がソフトウェア的に機能する場合を例に挙げて説明するが、機能21~23の全部又は一部は、超音波診断装置10にASIC等の回路等として設けられるものであってもよい。
画像取得機能21は、画像メモリ15から、過去動画像を取得する機能である。なお、画像取得機能21は、取得手段の一例である。
スキャン制御機能22は、送受信回路11、Bモード処理回路12、ドプラ処理回路13、及び画像生成回路14等を制御して、超音波プローブ20を用いたスキャンを実行させてライブ画像を生成する機能である。なお、スキャン制御機能22は、スキャン制御手段の一例である。
再生開始調整機能23は、スキャン制御機能22によって生成されたライブ画像をディスプレイ40に表示させる機能である。また、再生開始調整機能23は、ライブ画像の収集時に発生する時相特定情報(例えば、ECG波形の情報)に基づいて特定時相(例えば、R波時)を特定し、特定時相に対応する画像を再生開始フレームとして過去動画像をディスプレイ40に再生表示させる機能である。なお、再生開始調整機能23は、再生開始調整手段の一例である。
続いて、超音波診断装置10の動作について説明する。
図3は、超音波診断装置10の動作をフローチャートとして示す図である。図3において、「ST」に数字を付した符号はフローチャートの各ステップを示す。
画像取得機能21は、ライブ画像を収集予定の患者と同一患者に係る過去動画像を画像メモリ15から取得する(ステップST1)。ここで、過去動画像は、過去動画像の収集時に発生するECG信号に基づくECG波形に対応付けられている。スキャン制御機能22は、入力インターフェース30を介した操作者からのスキャン開始指示に従って送受信回路11、Bモード処理回路12、ドプラ処理回路13、及び画像生成回路14等を制御して、ライブ画像を生成するためのスキャンを開始する(ステップST2)。また、再生開始調整機能23は、心電計測器50を制御して、心位相の計測を開始する(ステップST3)。
スキャン制御機能22は、ステップST2によって開始されたスキャンに基づいてライブ画像を生成し、再生開始調整機能23は、ライブ画像をディスプレイ40に表示させる(ステップST4)。また、再生開始調整機能23は、ステップST3によって開始された心位相の計測に基づくECG信号を取得してディスプレイ40に表示させる(ステップST5)。ステップST4によるライブ画像の表示例を、図4(A),(B)のそれぞれの右上に示す。ステップST5によるECG信号に基づくECG波形の表示例を、図4(A),(B)のそれぞれの右下に示す。
また、再生開始調整機能23は、ステップST5によって取得されたECG波形に基づいて特定時相を特定し、特定時相に対応する画像を再生開始フレームとして過去動画像のディスプレイ40への再生表示を開始する(ステップST6)。具体的には、再生開始調整機能23は、ライブ画像の収集時までのECG波形に基づいて、ステップST4に係るフレームのライブ画像が特定時相、例えば、R波に相当するか否かを判断する(ステップST6a)。なお、特定時相は、R波である場合に限定されるものではなく、T波やP波等であってもよい。
ステップST6aに判断にてYES、つまり、ステップST4に係るフレームのライブ画像がR波に相当すると判断された場合、再生開始調整機能23は、ステップST6bにおいて、当該フレームのライブ画像が表示されるタイミングで、ステップST1によって取得された過去動画像の、R波に相当するフレームからのディスプレイ40への再生表示を開始する(図4(A)に図示)。つまり、過去動画像の再生開始時点では、過去動画像の表示画像の心位相とライブ画像の心位相とはR波で一致することになる。
一方で、ステップST6aに判断にてNO、つまり、ステップST4に係るライブ画像がR波に相当しないと判断された場合、再生開始調整機能23は、過去動画像の再生表示を継続させ(図4(B)に図示)、次のフレームに相当するライブ画像の表示に戻る(ステップST4)。
スキャン制御機能22は、スキャンの実行を終了するか否かを判断する(ステップST7)。スキャン制御機能22は、入力インターフェース30を介した操作者からのスキャン終了指示があったか否かに従ってスキャンの実行を終了するか否かを判断すればよい。
ステップST7に判断にてYES、つまり、スキャンの実行を終了すると判断された場合、ステップST2によって開始されたスキャン、ステップST3によって開始された心位相の計測、ライブ画像の逐次表示、過去動画像の再生表示を終了する(ステップST8)。
一方で、ステップST7に判断にてNO、つまり、スキャンの実行を終了しないと判断された場合、再生開始調整機能23は、次のフレームに相当するライブ画像の表示に戻る(ステップST4)。
以上のように、超音波診断装置10によれば、R波のタイミングの都度、過去動画像の表示画像がライブ画像に同期される。よって、超音波診断装置10によれば、ライブ画像と過去動画像との並列表示において、超音波画像による診断効率及び診断精度を向上させることができる。
なお、過去動画像の収集時間帯に複数のR波が存在することがある(図5に図示)。その場合、第1に、再生開始調整機能23は、プリセットされたm番目のR波に相当する1個の画像、又は、任意に操作者によって選択されたn番目のR波に相当する1個の画像を再生開始フレームとして過去動画像の再生を開始する。つまり、再生開始調整機能23は、m番目又はn番目のR波以降に相当する画像群をループ再生することになる。例えば、図5において2番目のR波が選択されると、ライブ画像の収集においてR波が現れる都度、第2の心拍の先頭のフレームから過去動画像が再生表示される。
第2に、再生開始調整機能23は、プリセットされたp回のR波に相当するp個の画像、又は、任意に操作者によって選択されたq回のR波に相当するq個の画像を順番に再生開始フレームとして過去動画像の再生を開始する。つまり、再生開始調整機能23は、p個又はq個の画像群を順にループ再生することになる。例えば、図5において1番目のR波と2番目のR波とが選択されると、ライブ画像の収集においてn回目のR波が現れると第1の心拍の先頭のフレームから過去動画像が再生表示され、n+1回目のR波が現れると第2の心拍の先頭のフレームから過去動画像が再生表示される。
このように、過去動画像の収集時間帯に複数のR波が存在する場合においても、ライブ画像の時相に合った過去動画像の適切な再生表示が行える。
さらに、過去動画像のうちR波に相当するフレームを、R波に相当するライブ画像に同期させるものに限定されるものではない。例えば、過去動画像のうちR波に相当するフレームから第1の時間経過後のフレームを、R波に相当するライブ画像から第2の時間経過後のライブ画像に同期させてもよい。その場合、第1の時間と第2の時間とを同一としてもよいし、第1の時間と第2の時間とをそれぞれ心拍間隔に対する同一割合(%)としてもよい。心拍間隔とは、例えば、R波から次のR波までの時間である。
2.第2の実施形態
第2の実施形態に係る超音波診断装置10Aは、第1の実施形態に係る超音波診断装置10と異なり、第2の超音波画像を、ライブ画像ではなく、予め記録された動画像の1フレームとするものである。第2の実施形態に係る超音波診断装置10Aの構成は、図1に示す第1の実施形態に係る超音波診断装置10の構成と同等であるので、説明を省略する。
図6は、超音波診断装置10Aの機能を示すブロック図である。
処理回路18Aは、メインメモリ19に記憶された、又は、処理回路18A内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能21A及び再生開始調整機能23Aを実現する。以下、機能21A,23Aがソフトウェア的に機能する場合を例に挙げて説明するが、機能21A,23Aの全部又は一部は、超音波診断装置10AにASIC等の回路等として設けられるものであってもよい。
画像取得機能21Aは、画像メモリ15から第1の動画像を取得すると共に、画像メモリ15から第2の動画像を取得する機能である。なお、画像取得機能21Aは、取得手段の一例である。
再生開始調整機能23Aは、画像取得機能21Aによって取得された第2の動画像をディスプレイ40に再生表示させる機能である。また、再生開始調整機能23Aは、第2の動画像の収集時に発生し第2の動画像に対応付けられた時相特定情報(例えば、ECGの情報)に基づいて特定時相(例えば、R波時)を特定し、特定時相に対応する画像を再生開始フレームとして第1の動画像をディスプレイ40に再生表示させる機能である。なお、再生開始調整機能23Aは、再生開始調整手段の一例である。
続いて、超音波診断装置10Aの動作について説明する。
図7は、超音波診断装置10Aの動作をフローチャートとして示す図である。図7において、「ST」に数字を付した符号はフローチャートの各ステップを示す。
画像取得機能21Aは、第1の動画像を画像メモリ15から取得する(ステップST11)。ここで、第1の動画像は、第1の動画像の収集時に発生するECG信号に基づくECG波形に対応付けられている。また、画像取得機能21Aは、第1の動画像の患者と同一患者に係る第2の動画像を画像メモリ15から取得する(ステップST12)。ここで、第2の動画像は、第2の動画像の収集時に発生するECG信号に基づくECG波形に対応付けられている。
再生開始調整機能23Aは、ステップST12によって取得された第2の動画像のディスプレイ40への再生表示を開始し(ステップST13)、第2の動画像のうち所定フレームの画像をディスプレイ40に表示させる(ステップST14)。ステップST13による第2の動画像の再生表示例を、図8(A),(B)のそれぞれの右側に示す。なお、併せてECG波形が表示されてもよい。
また、再生開始調整機能23Aは、第2の動画像に対応付けられたECG波形に基づいて特定時相を特定し、特定時相に対応する画像を再生開始フレームとして第1の動画像のディスプレイ40への再生表示を開始する(ステップST15)。具体的には、再生開始調整機能23Aは、ステップST15aにおいて、第2の動画像の収集時のECG波形に基づいて、ステップST14に係る画像が特定時相、例えば、R波に相当するか否かを判断する。
ステップST15aに判断にてYES、つまり、ステップST14に係る画像がR波に相当すると判断された場合、再生開始調整機能23Aは、ステップST15bにおいて、当該フレームの画像が表示されるタイミングで、ステップST11によって取得された第1の動画像の、R波に相当するフレームからのディスプレイ40への再生表示を開始する(図8(A)に図示)。つまり、第1の動画像の再生開始時点では、第1の動画像の表示画像の心位相と第2の動画像の表示画像の心位相とはR波で一致することになる。
一方で、ステップST15aに判断にてNO、つまり、ステップST14に係る画像がR波に相当しないと判断された場合、再生開始調整機能23Aは、第1の動画像の再生表示を継続させ(図8(B)に図示)、次のフレームに相当する画像の表示に戻る(ステップST14)。
再生開始調整機能23Aは、第2の動画像の再生表示を終了するか否かを判断する(ステップST16)。再生開始調整機能23Aは、入力インターフェース30を介した操作者からの再生終了指示があったか否かに従って再生表示の実行を終了するか否かを判断すればよい。
ステップST16に判断にてYES、つまり、再生表示を終了すると判断された場合、第1の動画像の再生表示、第2の動画像の再生表示を終了する(ステップST17)。一方で、ステップST16に判断にてNO、つまり、再生表示を終了しないと判断された場合、再生開始調整機能23Aは、第2の動画像のうち次のフレームに相当する画像の表示に戻る(ステップST14)。
以上のように、超音波診断装置10Aによれば、R波のタイミングの都度、第2の動画像の表示画像が第2の動画像の表示画像に同期される。よって、超音波診断装置10Aによれば、第2の動画像と第1の動画像との並列表示において、超音波画像による診断効率及び診断精度を向上させることができる。
なお、第1の動画像の収集時間帯に複数のR波が存在することがある(図9に図示)。その場合、第1に、再生開始調整機能23Aは、プリセットされたm番目のR波に相当する1個の画像、又は、任意に操作者によって選択されたn番目のR波に相当する1個の画像を再生開始フレームとして第1の動画像の再生を開始する。つまり、再生開始調整機能23Aは、m番目又はn番目のR波以降に相当する画像群をループ再生することになる。例えば、図9(A)において2番目のR波が選択されると、図9(B)に示す第2の動画像の再生においてR波が現れる都度、図9(A)に示す第2の心拍の先頭のフレームから第1の動画像が再生表示される。
第2に、再生開始調整機能23Aは、プリセットされたp回のR波に相当するp個の画像、又は、任意に操作者によって選択されたq回のR波に相当するq個の画像を順番に再生開始フレームとして第1の動画像の再生を開始する。つまり、再生開始調整機能23Aは、p個又はq個の画像群を順にループ再生することになる。例えば、図9(A)において1番目のR波と2番目のR波とが選択されると、図9(B)に示す第2の動画像の再生においてn回目のR波が現れると図9(A)に示す第1の心拍の先頭のフレームから第1の動画像が再生表示され、n+1回目のR波が現れると図9(A)に示す第2の心拍の先頭のフレームから第1の動画像が再生表示される。
このように、第1の動画像の収集時間帯に複数のR波が存在する場合にも、第2の動画像の表示画像の時相に合った第1の動画像の適切な再生表示が行える。
さらに、第1の動画像のうちR波に相当するフレームを、第2の動画像のうちR波に相当するフレームに同期させるものに限定されるものではない。例えば、第1の動画像のうちR波に相当するフレームから第1の時間経過後のフレームを、第2の動画像のうちR波に相当するフレームから第2の時間経過後のフレームに同期させてもよい。
3.変形例
前述した第1の実施形態によれば、ライブ画像と過去動画像との間で、同期の基準となるR波直後では時相が一致するが、それ以降の時相では、心位相にずれが生じ始める場合がある。第2の実施形態においても同様に、第2の動画像と第1の動画像との間で、心位相にずれが生じ始める場合がある。
図10は、心位相のずれを説明するための図である。
図10(A)は、心位相に対応する過去動画像の配列を示し、図10(B)は、心位相に対応するライブ画像の配列を示す。例えば、拡張期等は、過去動画像とライブ画像との間で心位相のずれが生じやすい。特に、過去動画像の収集時の心拍数とライブ画像の収集時の心拍数とが異なる場合にそのずれが顕著である。
そこで、再生開始調整機能23は、過去動画像の収集時の心拍間隔と、ライブ画像の収集時の心拍間隔とに基づいて、表示される過去動画像の再生速度を調整することができる。例えば、再生開始調整機能23は、過去動画像に対応するECG波形に基づいて複数のR波を検出し、複数のR波の間隔に基づいて心拍間隔を算出することができる。そして、再生開始調整機能23は、ライブ画像の収集時のECG波形に基づいてR波を検出し、当該R波と直前のR波との間隔に基づいて心拍間隔を算出することができる。
図10に示す場合、ライブ画像の収集時の心拍間隔が、過去動画像の収集時の心拍間隔より大きい。そこで、再生開始調整機能23は、過去動画像の収集時の心拍間隔を、ライブ画像の収集時の心拍間隔に合わせて大きくする、即ち、過去動画像の再生速度を遅くすることができる(図11に図示)。
ここで、再生開始調整機能23は、図10(A)において、過去動画像の再生速度を、第1の心拍、第2の心拍、又は第3の心拍における心拍間隔に基づいて算出することができる。又は、再生開始調整機能23は、図10(A)において、過去動画像の再生速度を、第1の心拍、第2の心拍、及び第3の心拍における平均の心拍間隔に基づいて算出することができる。
再生開始調整機能23が、ライブ画像に並列表示される過去動画像の再生速度を調整することで、過去動画像の収集時とライブ画像の収集時とで異なる心拍間隔(心拍数)であっても、表示上の心位相の時相ずれが生じにくくなる。
4.第3の実施形態
第3の実施形態に係る超音波診断装置10Bは、第1及び第2の実施形態に係る超音波診断装置10,10Aと異なり、時相特定情報を、フラッシュ時とするものである。第3の実施形態に係る超音波診断装置10Bの構成は、図1に示す第1の実施形態に係る超音波診断装置10の構成と同等であるので、説明を省略する。
図12は、超音波診断装置10Bの機能を示すブロック図である。
処理回路18Bは、メインメモリ19に記憶された、又は、処理回路18B内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能21B、スキャン制御機能22B、及び再生開始調整機能23Bを実現する。以下、機能21B~22Bがソフトウェア的に機能する場合を例に挙げて説明するが、機能21B~22Bの全部又は一部は、超音波診断装置10BにASIC等の回路等として設けられるものであってもよい。
画像取得機能21Bは、画像メモリ15から、過去動画像を取得する機能である。なお、画像取得機能21Bは、取得手段の一例である。
スキャン制御機能22Bは、送受信回路11、Bモード処理回路12、ドプラ処理回路13、及び画像生成回路14等を制御して、超音波プローブ20を用いたスキャン(フラッシュイメージング:Flash Imaging)を実行させてライブ画像を生成する機能である。フラッシュイメージングとは、高音圧送信の送信(フラッシュ)を行い、造影剤バブルを一掃した後で、低音圧でバブルを壊さないように画像化し、造影剤の病巣への再還流を確認する手法を意味する。なお、スキャン制御機能22Bは、スキャン制御機手段の一例である。
なお、スキャン制御機能22Bは、画像取得機能21Bによって取得された過去動画像のスキャン方法を操作者に提示することで、過去動画像のスキャン方法と同一のスキャン方法にてスキャンを実行することもできる。例えば、画像取得機能21Bによって取得された過去動画像のスキャン方法がMFI(Micro Flow Imaging)である場合、スキャン制御機能22Bは、収集予定のライブ画像に係るスキャンもMFIによって行うことができる。
再生開始調整機能23Bは、スキャン制御機能22Bによって生成されたライブ画像をディスプレイ40に表示させる機能である。また、再生開始調整機能23Bは、ライブ画像の収集時に発生する時相特定情報(例えば、フラッシュの情報)に基づいて特定時相(例えば、フラッシュ時)を特定し、特定時相に対応する画像を再生開始フレームとして過去動画像をディスプレイ40に再生表示させる機能である。なお、再生開始調整機能23Bは、再生開始調整手段の一例である。
続いて、超音波診断装置10Bの動作について説明する。
図13は、超音波診断装置10Bの動作をフローチャートとして示す図である。図13において、「ST」に数字を付した符号はフローチャートの各ステップを示す。
画像取得機能21Bは、ライブ画像を収集予定の患者と同一患者に係る過去動画像を画像メモリ15から取得する(ステップST21)。ここで、過去動画像の該当フレームには、過去動画像の収集時に発生するフラッシュの指示信号を示す情報がタグ情報として対応付けられている。スキャン制御機能22Bは、入力インターフェース30を介した操作者からのスキャン開始指示に従って送受信回路11、Bモード処理回路12、ドプラ処理回路13、及び画像生成回路14等を制御して、フラッシュイメージングに係るライブ画像を生成するためのスキャンを開始する(ステップST22)。
スキャン制御機能22Bは、ステップST22によって開始されたスキャンに基づいてライブ画像を生成し、再生開始調整機能23Bは、ライブ画像をディスプレイ40に表示させる(ステップST24)。ステップST24によるライブ画像の表示例を、図14(A),(B)のそれぞれの右側に示す。
また、再生開始調整機能23Bは、フラッシュの指示信号に基づいて特定時相を特定し、特定時相に対応する画像を再生開始フレームとして過去動画像のディスプレイ40への再生表示を開始する(ステップST26)。具体的には、再生開始調整機能23Bは、ライブ画像の収集時にフラッシュ指示を受けたかを判断する(ステップST26a)。
ステップST26aに判断にてYES、つまり、ステップST24に係るライブ画像の収集時にフラッシュ指示を受けたと判断された場合、再生開始調整機能23Bは、ステップST26bにおいて、当該フレームのライブ画像が表示されるタイミングで、ステップST21によって取得された過去動画像の、フラッシュに相当するフレームからのディスプレイ40への再生表示を開始する(図14(A)に図示)。つまり、過去動画像の再生開始時点では、過去動画像の表示画像とライブ画像とはフラッシュ時で一致することになる。
一方で、ステップST26aに判断にてNO、つまり、ステップST24に係るライブ画像の収集時にフラッシュ指示を受けていないと判断された場合、再生開始調整機能23Bは、過去動画像の再生表示を継続させ(図14(B)に図示)、次のフレームに相当するライブ画像の表示に戻る(ステップST24)。
スキャン制御機能22Bは、スキャンの実行を終了するか否かを判断する(ステップST27)。スキャン制御機能22Dは、入力インターフェース30を介した操作者からのスキャン終了指示があったか否かに従ってスキャンの実行を終了するか否かを判断すればよい。
ステップST27に判断にてYES、つまり、スキャンの実行を終了すると判断された場合、ステップST22によって開始されたスキャン、ライブ画像の逐次表示、過去動画像の再生表示を終了する(ステップST28)。一方で、ステップST27に判断にてNO、つまり、スキャンの実行を終了しないと判断された場合、再生開始調整機能23Bは、次のフレームに相当するライブ画像の表示に戻る(ステップST24)。
以上のように、超音波診断装置10Bによれば、フラッシュ時に、過去動画像の表示画像がライブ画像に同期される。よって、超音波診断装置10Bによれば、ライブ画像と過去動画像との並列表示において、超音波画像による診断効率及び診断精度を向上させることができる。
なお、過去動画像の収集時間帯に複数のフラッシュ時が存在することがある(図15に図示)。その場合、再生開始調整機能23Bは、プリセットされたm番目のフラッシュ時に相当する1個の画像、又は、任意に操作者によって選択されたn番目のフラッシュ時に相当する1個の画像を再生開始フレームとして過去動画像の再生を開始する。又は、再生開始調整機能23Bは、プリセットされたp回のフラッシュ時に相当するp個の画像、又は、任意に操作者によって選択されたq回のフラッシュ時に相当するq個の画像を順番に再生開始フレームとして過去動画像の再生を開始する。
このように、過去動画像の収集時間帯に複数のフラッシュ時が存在する場合に、ライブ画像の時相に合った過去動画像の適切な再生表示が行える。
5.第4の実施形態
第4の実施形態に係る超音波診断装置10Cは、第3の実施形態に係る超音波診断装置10Bと異なり、第2の超音波画像を、ライブ画像ではなく、予め記録された動画像の1フレームとするものである。第4の実施形態に係る超音波診断装置10Cの構成は、図1に示す第1の実施形態に係る超音波診断装置10の構成と同等であるので、説明を省略する。
図16は、超音波診断装置10Cの機能を示すブロック図である。
処理回路18Cは、メインメモリ19に記憶された、又は、処理回路18C内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能21C及び再生開始調整機能23Cを実現する。以下、機能21C,23Cがソフトウェア的に機能する場合を例に挙げて説明するが、機能21C,23Cの全部又は一部は、超音波診断装置10CにASIC等の回路等として設けられるものであってもよい。
画像取得機能21Cは、画像メモリ15から第1の動画像を取得すると共に、画像メモリ15から第2の動画像を取得する機能である。なお、画像取得機能21Cは、取得手段の一例である。
再生開始調整機能23Cは、画像取得機能21Cによって取得された第2の動画像をディスプレイ40に再生表示させる機能である。また、再生開始調整機能23Cは、第2の動画像の収集時に発生し第2の動画像に対応付けられた時相特定情報(例えば、フラッシュの情報)に基づいて特定時相(例えば、フラッシュ時)を特定し、特定時相に対応する画像を再生開始フレームとして第1の動画像をディスプレイ40に再生表示させる機能である。なお、再生開始調整機能23Cは、再生開始調整手段の一例である。
続いて、超音波診断装置10Cの動作について説明する。
図17は、超音波診断装置10Cの動作をフローチャートとして示す図である。図17において、「ST」に数字を付した符号はフローチャートの各ステップを示す。
画像取得機能21Cは、第1の動画像を画像メモリ15から取得する(ステップST31)。ここで、第1の動画像の該当フレームには、第1の動画像の収集時に発生するフラッシュの指示信号を示す情報がタグ情報として対応付けられている。また、画像取得機能21Cは、第1の動画像の患者と同一患者に係る第2の動画像を画像メモリ15から取得する(ステップST32)。ここで、第2の動画像の該当フレームには、第2の動画像の収集時に発生するフラッシュの指示信号を示す情報がタグ情報として対応付けられている。
再生開始調整機能23Cは、ステップST32によって取得された第2の動画像のディスプレイ40への再生表示を開始する(ステップST33)、第2の動画像のうち所定フレームの画像をディスプレイ40に表示させる(ステップST34)。ステップST33による第2の動画像の再生表示例を、図18(A),(B)のそれぞれの右側に示す。
また、再生開始調整機能23Cは、第2の動画像に対応付けられたフラッシュの指示信号を示すタグ情報に基づいて特定時相を特定し、特定時相に対応する画像を再生開始フレームとして第1の動画像のディスプレイ40への再生表示を開始する(ステップST35)。具体的には、再生開始調整機能23Cは、第2の動画像の収集時のフラッシュの指示信号を示すタグ情報に基づいて、ステップST34に係る画像が特定時相、例えば、フラッシュ時に相当するか否かを判断する(ステップST35a)。
ステップST35aに判断にてYES、つまり、ステップST34に係る画像がフラッシュ時に相当すると判断された場合、再生開始調整機能23Cは、ステップST35bにおいて、当該フレームの画像が表示されるタイミングで、ステップST31によって取得された第1の動画像の、フラッシュ時に相当するフレームからのディスプレイ40への再生表示を開始する(図18(A)に図示)。つまり、第1の動画像の再生開始時点では、第1の動画像の表示画像と第2の動画像の表示画像とはフラッシュ時で一致することになる。
一方で、ステップST35aに判断にてNO、つまり、ステップST34に係る画像がフラッシュ時に相当しないと判断された場合、再生開始調整機能23Cは、第1の動画像の再生表示を継続させ(図18(B)に図示)、次のフレームに相当する画像の表示に戻る(ステップST34)。
再生開始調整機能23Cは、第2の動画像の再生表示を終了するか否かを判断する(ステップST36)。再生開始調整機能23Cは、入力インターフェース30を介した操作者からの再生終了指示があったか否かに従って再生表示の実行を終了するか否かを判断すればよい。
ステップST36に判断にてYES、つまり、再生表示を終了すると判断された場合、第1の動画像の再生表示、第2の動画像の再生表示を終了する(ステップST37)。一方で、ステップST36に判断にてNO、つまり、再生表示を終了しないと判断された場合、再生開始調整機能23Cは、第2の動画像のうち次のフレームに相当する画像の表示に戻る(ステップST34)。
以上のように、超音波診断装置10Cによれば、フラッシュ時に、第2の動画像の表示画像が第2の動画像の表示画像に同期される。よって、超音波診断装置10Cによれば、第2の動画像と第1の動画像との並列表示において、超音波画像による診断効率及び診断精度を向上させることができる。
なお、第1の動画像の収集時間帯に複数のフラッシュ時が存在することがある(図19に図示)。その場合、第1に、再生開始調整機能23Cは、プリセットされたm番目のフラッシュ時に相当する1個の画像、又は、任意に操作者によって選択されたn番目のフラッシュ時に相当する1個の画像を再生開始フレームとして第1の動画像の再生を開始する。つまり、再生開始調整機能23Cは、m番目又はn番目のフラッシュ時以降に相当する画像群をループ再生することになる。例えば、図19(A)において2番目のフラッシュ時が選択されると、図19(B)に示す第2の動画像の再生においてフラッシュ時が現れる都度、図19(A)に示す2番目のフラッシュ時に相当するフレームから第1の動画像が再生表示される。
第2に、再生開始調整機能23Cは、プリセットされたp個のフラッシュ時に相当するp個の画像、又は、任意に操作者によって選択されたq個のフラッシュ時に相当するq個の画像を順番に再生開始フレームとして第1の動画像の再生を開始する。つまり、再生開始調整機能23Cは、p個又はq個の画像群を順にループ再生することになる。例えば、図19(A)において1番目のフラッシュ時と2番目のフラッシュ時とが選択されると、図19(B)に示す第2の動画像の再生においてn回目のフラッシュ時が現れると図19(A)に示す1番目のフラッシュ時に相当するフレームから第1の動画像が再生表示され、n+1回目のフラッシュ時が現れると図19(A)に示す2番目のフラッシュ時に相当するフレームから第1の動画像が再生表示される。
このように、第1の動画像の収集時間帯に複数のフラッシュ時が存在する場合にも、第2の動画像の表示画像の時相に合った第1の動画像の適切な再生表示が行える。
6.第5の実施形態
前述の第2の実施形態で示した機能は、医用画像処理装置60A(図1に図示)で実現されることもある。以下、第2の実施形態で示した機能が、医用画像処理装置60Aで実現される第5の実施形態について説明する。
図20は、第5の実施形態に係る医用画像処理装置の構成を示す概略図である。
図20は、第5の実施形態に係る医用画像処理装置60Aを示す。医用画像処理装置60Aは、処理回路61A、メモリ62、入力インターフェース63、表示制御回路64、及びディスプレイ65を備える。なお、処理回路61A、メモリ62、入力インターフェース63、表示制御回路64、及びディスプレイ65は、図1に示す処理回路18、メインメモリ19、入力インターフェース30、表示制御回路16、及びディスプレイ40と同等の構成を備えるものとして、説明を省略する。
処理回路61Aは、メモリ62に記憶された、又は、処理回路61A内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能21A及び再生開始調整機能23Aを実現する。以下、機能21A,23Aがソフトウェア的に機能する場合を例に挙げて説明するが、機能21A,23Aの全部又は一部は、医用画像処理装置10AにASIC等の回路等として設けられるものであってもよい。
なお、図20に示す医用画像処理装置60Aにおいて、図6に示す超音波診断装置10Aと同一部材には同一符号を付して説明を省略する。
以上のように、医用画像処理装置60Aによれば、R波のタイミングの都度、第2の動画像の表示画像が第2の動画像の表示画像に同期される。よって、医用画像処理装置60Aによれば、第2の動画像と第1の動画像との並列表示において、超音波画像による診断効率及び診断精度を向上させることができる。
7.第6の実施形態
前述の第4の実施形態で示した機能は、医用画像処理装置60C(図1に図示)で実現されることもある。以下、第4の実施形態で示した機能が、医用画像処理装置60Cで実現される第6の実施形態について説明する。
図21は、第6の実施形態に係る医用画像処理装置の構成を示す概略図である。
図21は、第6の実施形態に係る医用画像処理装置60Cを示す。医用画像処理装置60Cは、処理回路61C、メモリ62、入力インターフェース63、表示制御回路64、及びディスプレイ65を備える。なお、処理回路61C、メモリ62、入力インターフェース63、表示制御回路64、及びディスプレイ65は、図1に示す処理回路18、メインメモリ19、入力インターフェース30、表示制御回路16、及びディスプレイ40と同等の構成を備えるものとして、説明を省略する。
処理回路61Cは、メモリ62に記憶された、又は、処理回路61C内に直接組み込まれたプログラムを読み出して実行することで、画像取得機能21C及び再生開始調整機能23Cを実現する。以下、機能21C,23Cがソフトウェア的に機能する場合を例に挙げて説明するが、機能21C,23Cの全部又は一部は、医用画像処理装置10CにASIC等の回路等として設けられるものであってもよい。
なお、図21に示す医用画像処理装置60Cにおいて、図16に示す超音波診断装置10Cと同一部材には同一符号を付して説明を省略する。
以上のように、医用画像処理装置60Cによれば、フラッシュ時に、第2の動画像の表示画像が第2の動画像の表示画像に同期される。よって、医用画像処理装置60Cによれば、第2の動画像と第1の動画像との並列表示において、超音波画像による診断効率及び診断精度を向上させることができる。
以上説明した少なくとも1つの実施形態によれば、超音波画像による診断効率及び診断精度を向上させることができる。具体的には、心臓等に代表されるような循環器領域においては、動態診断(カラードップラを用いた血流の流れ方、弁の動き等)が行われた場合、比較対象である過去の情報を、静止画ではなく動画で表示することができるようになる。また、過去動画像(又は、第1の動画像)を動画像として再生表示する際に、同一時相(心臓の場合は収縮期又は拡張期、フラッシュイメージングの場合はフラッシュ時)で再生開始フレームを一致させるので、患者の検査時間の短縮や、操作者のストレスの低減につながる。
なお、画像取得機能21,21A,21B,21Cは、取得手段の一例である。スキャン制御機能22,22Bは、スキャン制御手段の一例である。再生開始調整機能23,23A,23B,23Cは、再生開始調整手段の一例である。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。