JP5932189B1 - 超音波観測装置 - Google Patents

Abstract

本発明にかかる超音波観測装置は、観測対象に対して送信した超音波が観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される複数の超音波画像を合成して合成画像を生成する超音波観測装置であって、複数の超音波画像を時系列に沿って記憶するフレームメモリと、フレームメモリが記憶する複数の超音波画像のうち、最新フレームの超音波画像に対する過去のフレームの超音波画像の三次元的な相関である移動量および移動方向を検出するフレームメモリ相関部と、三次元的な移動量および移動方向に基づいて、過去のフレームの超音波画像の相対位置を移動するフレームメモリ位置補正部と、三次元的な移動量に基づいて、過去のフレームの超音波画像に対して重み付け処理を施す重み付け加算部と、を備えた。

Description

本発明は、超音波を用いて観測対象の組織を観測する超音波観測装置に関する。

観測対象である生体組織または材料の特性を観測するために、超音波を適用することがある。具体的には、観測対象に超音波を送信し、その観測対象によって反射された超音波エコーに対して所定の信号処理を施すことにより、観測対象の特性に関する情報を取得する。

超音波を用いて観測対象の組織を観測する際、超音波エコーに基づいて超音波画像を生成し、該生成した超音波画像を表示することで、観測対象の観測を行う。この超音波画像のノイズやボケを低減する技術として、入力された画像を信号成分画像とノイズ成分画像とに分離し、ノイズ成分画像に対してフレーム合成処理を行った後、信号成分画像とフレーム合成処理されたノイズ成分画像とを合成する超音波観測装置が知られている（例えば、特許文献１を参照）。

国際公開第２０１０／１２５７８９号公報

ところで、ノイズの低減は、合成するフレーム数が多いほど効果がある。一方で、ボケの低減は、合成するフレーム数が少ない方がよい。このように、ノイズおよびボケの低減は、トレードオフの関係を有している。特許文献１が開示する合成処理では、同一の撮像面で撮像されていることを前提とし、二次元的に位置ずれを補正している。このため、異なる撮像平面で撮像されて、フレーム間で被写体の位置や角度にずれが生じた場合、位置ずれ補正の精度が低下して適切な位置補正が行われず、その結果、ノイズおよびボケの低減を両立した超音波画像を得ることができなかった。

本発明は、上記に鑑みてなされたものであって、超音波画像におけるノイズおよびボケの低減を両立することができる超音波観測装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る超音波観測装置は、観測対象に対して送信した超音波が前記観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される複数の超音波画像を合成して合成画像を生成する超音波観測装置であって、前記複数の超音波画像を時系列に沿って記憶するフレームメモリと、前記フレームメモリが記憶する複数の超音波画像のうち、最新フレームの超音波画像に対する過去のフレームの超音波画像の三次元的な相関である移動量および移動方向を検出するフレームメモリ相関部と、前記フレームメモリ相関部が検出した前記三次元的な移動量および移動方向に基づいて、前記最新フレームの超音波画像に対する前記過去のフレームの超音波画像の相対位置を移動するフレームメモリ位置補正部と、前記フレームメモリ相関部が検出した前記三次元的な移動量に基づいて、前記過去のフレームの超音波画像に対して重み付け処理を施す重み付け加算部と、を備えたことを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記重み付け加算部は、前記フレームメモリ相関部が検出した前記移動量と関連付けた重み付け量をもとに前記過去のフレームの超音波画像に対して重み付け処理を施すことを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記過去のフレームの超音波画像を分割し、該分割により生成された分割領域ごとに前記三次元的な移動量および移動方向を検出することを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量および移動方向をもとに、前記最新フレームの超音波画像に対する前記過去のフレームの超音波画像の全体の移動量を算出することを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量をもとに、当該フレームの超音波画像の代表移動量を算出し、該代表移動量と規定値とを比較し、該比較の結果に応じて当該フレームの超音波画像を合成対象から除外することを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量および移動方向をもとに、前記最新フレームの超音波画像に対する前記過去のフレームの超音波画像の全体の移動の状態を判別することを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量をもとに、当該フレームの超音波画像の移動の状態を判別し、該移動の状態が前記最新フレームの超音波画像の移動の状態と異なる場合に当該フレームの超音波画像を合成対象から除外、または前記重み付け量を低減することを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記移動の状態は、前記超音波画像中の被写体の三次元的な移動状態であることを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記移動量の分散値と、所定の値とを比較することにより移動の状態を判別することを特徴とする。

本発明に係る超音波観測装置は、上記発明において、前記フレームメモリ相関部は、前記最新フレームの超音波画像から特徴点を検出し、該特徴点を用いて前記過去のフレームの超音波画像との相関を検出することを特徴とする。

本発明によれば、超音波画像におけるノイズおよびボケの低減を両立するという効果を奏する。

図１は、本発明の一実施の形態に係る超音波観測装置を備えた超音波観測システムの構成を示すブロック図である。 図２は、本発明の一実施の形態に係る超音波観測装置の加算整相部が行う増幅処理における受信深度と増幅率との関係を示す図である。 図３は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。 図４は、本発明の一実施の形態に係る超音波観測装置が行う処理の概要を示すフローチャートである。 図５は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。 図６は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。 図７は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。 図８は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。 図９は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ位置補正部が行う位置補正処理を説明する模式図である。 図１０は、本発明の一実施の形態に係る超音波観測装置の重み付け加算部が行う画像合成処理を説明する模式図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態）
図１は、本発明の一実施の形態に係る超音波観測装置を備えた超音波観測システムの構成を示すブロック図である。同図に示す超音波診断システム１は、観測対象である被検体へ超音波を送信し、該被検体で反射された超音波を受信する超音波内視鏡２と、超音波内視鏡２が取得した超音波信号に基づいて超音波画像を生成する超音波観測装置３と、超音波観測装置３が生成した超音波画像を表示する表示装置４と、を備える。

超音波内視鏡２は、その先端部に、超音波観測装置３から受信した電気的なパルス信号を超音波パルス（音響パルス）に変換して被検体へ照射するとともに、被検体で反射された超音波エコーを電圧変化で表現する電気的なエコー信号に変換して出力する超音波振動子２１を有する。超音波振動子２１は、コンベックス振動子、リニア振動子およびラジアル振動子のいずれでも構わない。超音波内視鏡２は、超音波振動子２１をメカ的に走査させるものであってもよいし、超音波振動子２１として複数の素子をアレイ状に設け、送受信にかかわる素子を電子的に切り替えたり、各素子の送受信に遅延をかけたりすることで、電子的に走査させるものであってもよい。

超音波内視鏡２は、通常は撮像光学系および撮像素子を有しており、被検体の消化管（食道、胃、十二指腸、大腸）、または呼吸器（気管・気管支）へ挿入され、消化管、呼吸器やその周囲臓器（膵臓、胆嚢、胆管、胆道、リンパ節、縦隔臓器、血管等）を撮像することが可能である。また、超音波内視鏡２は、撮像時に被検体へ照射する照明光を導くライトガイドを有する。このライトガイドは、先端部が超音波内視鏡２の被検体への挿入部の先端まで達している一方、基端部が照明光を発生する光源装置に接続されている。

超音波観測装置３は、送受信部３０１、加算整相部３０２、信号処理部３０３、スキャンコンバーター３０４、画像処理部３０５、フレームメモリ３０６、フレームメモリ相関部３０７、フレームメモリ位置補正部３０８、重み付け加算部３０９、入力部３１０、制御部３１１および記憶部３１２を有する。

送受信部３０１は、超音波内視鏡２と電気的に接続され、所定の波形および送信タイミングに基づいて高電圧パルスからなる送信信号（パルス信号）を超音波振動子２１へ送信するとともに、超音波振動子２１から電気的な受信信号であるエコー信号を受信する。

送受信部３０１が送信するパルス信号の周波数帯域は、超音波振動子２１におけるパルス信号の超音波パルスへの電気音響変換の線型応答周波数帯域をほぼカバーする広帯域にするとよい。

送受信部３０１は、制御部３１１が出力する各種制御信号を超音波内視鏡２に対して送信するとともに、超音波内視鏡２から識別用のＩＤを含む各種情報を受信して制御部３１１へ送信する機能も有する。

加算整相部３０２は、送受信部３０１からエコー信号を受信してデジタルの高周波（ＲＦ：Radio Frequency）信号のデータ（以下、ＲＦデータという）を生成、出力する。加算整相部３０２は、受信深度が大きいエコー信号ほど高い増幅率で増幅するＳＴＣ（Sensitivity Time Control）補正を行い、増幅されたエコー信号に対してフィルタリング等の処理を施した後、Ａ／Ｄ変換することによって時間ドメインのＲＦデータを生成し、信号処理部３０３へ出力する。なお、超音波内視鏡２が複数の素子をアレイ状に設けた超音波振動子２１を電子的に走査させる構成を有する場合、加算整相部３０２は、複数の素子に対応したビーム合成用の多チャンネル回路を有する。

図２は、加算整相部３０２が行う増幅処理における受信深度と増幅率との関係を示す図である。図２に示す受信深度ｚは、超音波の受信開始時点からの経過時間に基づいて算出される量である。図２に示すように、増幅率β（ｄＢ）は、受信深度ｚが閾値ｚ_thより小さい場合、受信深度ｚの増加に伴ってβ_０からβ_th（＞β₀）へ増加する。また、増幅率β（ｄＢ）は、受信深度ｚが閾値ｚ_th以上である場合、一定値β_thをとる。閾値ｚ_thの値は、観測対象から受信する超音波信号がほとんど減衰してしまい、ノイズが支配的になるような値である。より一般に、増幅率βは、受信深度ｚが閾値ｚ_thより小さい場合、受信深度ｚの増加に伴って単調増加すればよい。なお、図２に示す関係は、予め記憶部３１２に記憶されている。

信号処理部３０３は、送受信部３０１から受信したＲＦデータをもとにデジタルのＢモード用受信データを生成する。信号処理部３０３は、ＲＦデータに対してバンドパスフィルタ、包絡線検波、対数変換など公知の処理を施し、デジタルのＢモード用受信データを生成する。対数変換では、ＲＦデータを基準電圧Ｖ_cで除した量の常用対数をとってデシベル値で表現する。信号処理部３０３は、生成したＢモード用受信データを、画像処理部３０５へ出力する。信号処理部３０３は、ＣＰＵ（Central Processing Unit）や各種演算回路等を用いて実現される。

スキャンコンバーター３０４は、信号処理部３０３から受信したＢモード用受信データに対してスキャン方向を変換してフレームデータを生成する。具体的には、スキャンコンバーター３０４は、Ｂモード用受信データのスキャン方向を、超音波のスキャン方向から表示装置４の表示方向に変換する。

画像処理部３０５は、エコー信号の振幅を輝度に変換して表示する超音波画像であるＢモード画像を含むＢモード画像データ（以下、単に画像データともいう）を生成する。画像処理部３０５は、スキャンコンバーター３０４からフレームデータに対してゲイン処理、コントラスト処理等の公知の技術を用いた信号処理を行うとともに、表示装置４における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引き等を行うことによってＢモード画像データを生成する。Ｂモード画像は、色空間としてＲＧＢ表色系を採用した場合の変数であるＲ（赤）、Ｇ（緑）、Ｂ（青）の値を一致させたグレースケール画像である。

画像処理部３０５は、信号処理部３０３からのＢモード用受信データに走査範囲を空間的に正しく表現できるよう並べ直す座標変換を施した後、Ｂモード用受信データ間の補間処理を施すことによってＢモード用受信データ間の空隙を埋め、Ｂモード画像データを生成する。

フレームメモリ３０６は、例えばリングバッファを用いて実現され、画像処理部３０５により生成された一定量（所定フレーム数Ｎ：Ｎ＝ｎ，ｎ−１，ｎ−２，ｎ−３，・・・）のＢモード画像を時系列に沿って記憶する。容量が不足すると（所定のフレーム数のＢモード画像データを記憶すると）、最も古いＢモード画像データを最新のＢモード画像データで上書きすることで、最新のＢモード画像を時系列順に所定フレーム数記憶する。フレームメモリ３０６は、図１に示すように、最新のＢモード画像であるｎ番目のフレーム（ｎは２以上の自然数）のＢモード画像ＩＭ_ｎから所定のフレーム数遡った複数のＢモード画像（ＩＭ_n-1，ＩＭ_n-2，ＩＭ_n-3、・・・）を記憶する。

フレームメモリ相関部３０７は、フレームメモリ３０６に記憶されている複数のＢモード画像データ間の相関性を求める。具体的には、フレームメモリ相関部３０７は、最新フレームのＢモード画像（例えばＢモード画像ＩＭ_n）を基準として、過去のフレームのＢモード画像（例えばＢモード画像ＩＭ_n-1，ＩＭ_n-2，ＩＭ_n-3）の動きベクトルを求めて、最新のフレーム（以下、最新フレームという）のＢモード画像と、過去のフレーム（以下、過去フレームという）のＢモード画像との三次元的な相関性を求め、過去フレームの超音波画像における被写体が、最新フレームの超音波画像における被写体に対し、画像上で略平行に移動しているか否かを判断する。

図３は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。フレームメモリ相関部３０７は、最新フレームのＢモード画像（Ｂモード画像ＩＭ_n）に基づく第１動き検出用画像Ｆ１と、過去フレーム（例えば最新フレームより一つ前のフレーム）のＢモード画像（Ｂモード画像ＩＭ_n-1）に基づく第２動き検出用画像Ｆ２と、に対し、Ｒ、ＧおよびＢを各々加算平均することで疑似的な輝度信号を生成する。動き検出の方法は、例えば、一般的なブロックマッチング処理により検出する。具体的には、第２動き検出用画像Ｆ２の画素Ｍ１が第１動き検出用画像Ｆ１のどの位置に移動したかを検出する。フレームメモリ相関部３０７は、画素Ｍ１を中心としたブロックＢ１（分割領域）をテンプレートとして、第１動き検出用画像Ｆ１において第２動き検出用画像Ｆ２の画素Ｍ１の位置と同じ位置の画素ｆ_１を中心に、第１動き検出用画像Ｆ１をブロックＢ１のテンプレートで走査し、テンプレート間の差分絶対値和が最も小さい位置の中心画素を画素Ｍ１’とする。フレームメモリ相関部３０７は、第１動き検出用画像Ｆ１において画素Ｍ１（画素ｆ_１）から画素Ｍ１’への動き量Ｙ１を動きベクトルとして検出し、この処理を画像処理対象の全ての分割領域の中心画素に対して行う。以下、画素Ｍ１の座標を（ｘ，ｙ）とし、座標（ｘ，ｙ）における動きベクトルのｘ成分をＶｘ（ｘ，ｙ）、ｙ成分をＶｙ（ｘ，ｙ）と記載する。なお、ｘ方向は、Ｂモード画像の左右（水平）方向に相当し、ｙ方向は上下（垂直）方向に相当するものとして説明する。また、第１動き検出用画像Ｆ１における画素Ｍ１’の座標を（ｘ’，ｙ’）とすると、ｘ’およびｙ’は、下式（１）、（２）でそれぞれ定義される。

また、フレームメモリ相関部３０７は、フレーム分割部３０７ａ、移動量検出部３０７ｂおよび移動方向検出部３０７ｃを有する。

フレーム分割部３０７ａは、動きベクトルを算出するためにＢモード画像を分割する。具体的には、相関算出対象の過去フレームのＢモード画像をｐ×ｑ（ｐ，ｑは２以上の自然数）に分割し、ｐ×ｑ個の分割領域を生成する。

移動量検出部３０７ｂは、フレームメモリ相関部３０７が求めた動きベクトルに基づいて、フレーム分割部３０７ａの分割により生成された分割領域ごとに移動量を算出する。移動量検出部３０７ｂは、算出した移動量をもとにフレームごとに平均移動量を算出する。また、移動量検出部３０７ｂは、Ｂモード画像間の移動の状態を判定するための判定値として、算出した移動量に基づいて該移動量（大きさ）の分散値（分散値Ｌ）を求める。移動量検出部３０７ｂは、例えばｎ−１番目のフレーム以前のＢモード画像データに対してそれぞれの分散値Ｌ_n-1，Ｌ_n-2，Ｌ_n-3、・・・を求める。

移動方向検出部３０７ｃは、フレームメモリ相関部３０７が求めた動きベクトルに基づいて、フレーム分割部３０７ａの分割により生成された分割領域ごとに移動方向を算出する。

フレームメモリ位置補正部３０８は、移動量検出部３０７ｂが算出した移動量、および移動方向検出部３０７ｃが算出した移動方向に基づいて基準となるＢモード画像ＩＭ_ｎに対して過去フレームのＢモード画像を移動させることにより、フレーム間の画像を一致させる。

重み付け加算部３０９は、基準となるＢモード画像に対して合成する過去フレームのＢモード画像の重み付け量を決定し、該決定した重み付け量に応じて、Ｂモード画像の合成処理を行った後、合成画像に対して補間処理を施す。重み付け加算部３０９は、算出部３０９ａ、合成部３０９ｂおよび補間フィルタ部３０９ｃを有する。

算出部３０９ａは、移動量検出部３０７ｂが算出した平均移動量に応じて、基準となるＢモード画像に対して合成する過去フレームのＢモード画像の重み付け量を決定する。算出部３０９ａは、例えば、平均移動量が小さいフレームのＢモード画像ほど、重み付け量が大きくなるような設定を行う。重み付け量は、例えば変換された各輝度に対して乗ずる係数である。

合成部３０９ｂは、算出部３０９ａにより決定された重み付け量に基づいて、基準フレームのＢモード画像と、過去フレームのＢモード画像とを合成する。合成部３０９ｂは、合成後の画像（以下、合成画像という）を補間フィルタ部３０９ｃに出力する。

補間フィルタ部３０９ｃは、公知の空間フィルタを用いることにより合成画像におけるフレーム間の画像の位置ずれによる不連続部分を補正する。具体的には、空間フィルタとして、点像分布関数(Point Spread Function：ＰＳＦ)を用いて画像合成時のボケを推定してボケの補正を行うデコンボリューションフィルタを用いて、合成画像におけるフレーム間の画像の不連続部分を補正することによって、合成画像のボケを抑制する。

なお、補間フィルタ部３０９ｃは、その他の空間フィルタとして、注目画素の周辺の画素の画素値を重み付けして平均化することにより画素間の画素値を算出する加重平均フィルタを用いて、合成画像におけるフレーム間の画像の不連続部分を補正することによって、合成画像のボケを抑制するものであってもよい。

入力部３１０は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。

制御部３１１は、超音波診断システム１全体を制御する。制御部３１１は、演算および制御機能を有するＣＰＵ（Central Processing Unit）や各種演算回路等を用いて実現される。制御部３１１は、記憶部３１２が記憶、格納する情報を記憶部３１２から読み出し、超音波観測装置３の作動方法に関連した各種演算処理を実行することによって超音波観測装置３を統括して制御する。なお、制御部３１１を信号処理部３０３と共通のＣＰＵ等を用いて構成することも可能である。

記憶部３１２は、超音波観測装置３の動作に必要な各種情報を記憶する。記憶部３１２は、フレームメモリ相関部３０７が算出する動きベクトルの大きさ（移動方向）の分散値（分散値Ｌ）にかかる規定値α、および平均移動量（平均移動量Ｄ）にかかる規定値γと、重み付け処理に用いる重み付け量であって、平均移動量に応じて設定される重み付け量と、を記憶する合成情報記憶部３１２ａを有する。

記憶部３１２は、上記以外にも、例えば増幅処理に必要な情報（図２に示す増幅率と受信深度との関係）等を記憶する。

また、記憶部３１２は、超音波観測装置３の作動方法を実行するための作動プログラムを含む各種プログラムを記憶する。作動プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する記憶部３１２は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）等を用いて実現される。

図４は、以上の構成を有する超音波観測装置３が行うＢモード画像の合成処理の概要を示すフローチャートである。まず、フレームメモリ相関部３０７は、最新フレームのＢモード画像ＩＭ_nを含むＮフレーム分の画像データ（Ｂモード画像データ）をフレームメモリ３０６から取得する（ステップＳ１０１）。

図５は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。図５に示すように、フレームメモリ相関部３０７は、フレームメモリ３０６に記憶されている最新フレームのＢモード画像ＩＭ_nを含むＮフレーム分の画像データ（Ｂモード画像データ）を取得する。

Ｎフレーム分の画像データを取得後、フレーム分割部３０７ａが最新フレームのＢモード画像を除く各フレーム（過去フレーム）のＢモード画像を分割する（ステップＳ１０２）。図６は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図であって、フレーム分割部３０７ａによる分割処理を説明する図である。フレーム分割部３０７ａは、図６に示すように、例えばｎ−１番目のＢモード画像ＩＭ_n-1を４×４に分割し、１６個の分割領域Ｒｄを生成する。

分割領域Ｒｄを生成後、フレームメモリ相関部３０７は、各分割領域Ｒｄについて、最新フレーム（基準フレーム）のＢモード画像ＩＭ_ｎに対する動きベクトルを検出する（ステップＳ１０３）。図７は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。フレームメモリ相関部３０７は、分割領域Ｒｄと、検出した動きベクトルＹとを対応付けた検出情報をフレームごとに生成する。例えば、図７に示す検出情報ＩＳ_n-1は、ｎ−１番目のフレームに関する検出情報を示している。

動きベクトル検出後、移動量検出部３０７ｂは、検出情報に基づいて、フレーム分割部３０７ａの分割により生成された分割領域Ｒｄごとに移動量を算出し、算出した移動量に基づいて当該フレームの分散値Ｌ（例えば、ｎ−１番目のフレームであれば分散値Ｌ_n-1）を求める。

その後、フレームメモリ相関部３０７は、得られた分散値Ｌが、規定値α以下であるか否かを判断する（ステップＳ１０４）。フレームメモリ相関部３０７は、例えばｎ−１番目のフレームの分散値Ｌ_n-1が、規定値α以下であるか否かを判断する。ここで、フレームメモリ相関部３０７は、分散値Ｌ_n-1が、規定値αより大きい場合（ステップＳ１０４：Ｎｏ）、分割領域Ｒｄ間の移動方向のばらつきが大きい、換言すればＢモード画像における被写体の移動の状態として、過去フレームとの相関性が低い移動であると判断し、ステップＳ１０５に移行して当該フレーム番号のＢモード画像を合成対象から除外（破棄）する。その後、フレームメモリ相関部３０７は、次の動きベクトル検出対象のフレームのＢモード画像に対して、ステップＳ１０３およびＳ１０４の処理を繰り返す。

一方、フレームメモリ相関部３０７は、分散値Ｌ_n-1が、規定値α以下である場合（ステップＳ１０４：Ｙｅｓ）、分割領域Ｒｄ間の三次元的な移動方向のばらつきが小さい、換言すればＢモード画像における被写体の移動の状態として、過去フレームとの相関性が高い移動であると判断し、ステップＳ１０６に移行する。

ステップＳ１０６では、移動量検出部３０７ｂが、フレームメモリ相関部３０７が求めた動きベクトルに基づいて、分割領域Ｒｄごとに移動量を算出し、該算出した移動量をもとにフレームごとに平均移動量Ｄ（Ｄ_n-1，Ｄ_n-2，Ｄ_n-3、・・・）を算出する。

その後、フレームメモリ相関部３０７は、得られた平均移動量Ｄが、規定値γ以下であるか否かを判断する（ステップＳ１０６）。フレームメモリ相関部３０７は、例えばｎ−１番目のフレームの平均移動量Ｄ_n-1が、規定値γ以下であるか否かを判断する。ここで、フレームメモリ相関部３０７は、平均移動量Ｄ_n-1が、規定値γより大きい場合（ステップＳ１０６：Ｎｏ）、分割領域Ｒｄ間の移動量が大きく、基準となるＢモード画像に対して合成対象領域が小さくなるため、ステップＳ１０７に移行して当該フレーム番号のＢモード画像を合成対象から除外（破棄）する。その後、フレームメモリ相関部３０７は、次の動きベクトル検出対象のフレームのＢモード画像に対して、ステップＳ１０３およびＳ１０４の処理を繰り返す。

なお、図７では、各分割領域Ｒｄにおける動きベクトルの向き、大きさが同じものを例示しているが、図８に示すように、分割領域Ｒｄごとに動きベクトルの向き、大きさが異なる場合がある。図８は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ相関部が行う動きベクトル検出処理を説明する模式図である。図８に示す検出情報ＩＳ_n-1では、分割領域Ｒｄごとに動きベクトルの向き、大きさが異なっている。この場合、当該フレーム番号のＢモード画像は、上述したステップＳ１０５またはＳ１０７において合成対象から除外（破棄）される。

一方、フレームメモリ相関部３０７は、平均移動量Ｄ_n-1が、規定値γ以下である場合（ステップＳ１０６：Ｙｅｓ）、分割領域Ｒｄ間の移動量が小さく、合成対象領域が大きいと判断し、ステップＳ１０８に移行する。ステップＳ１０８では、フレームメモリ相関部３０７が、次の動きベクトル検出対象のフレームのＢモード画像が存在するか否かを判断する。ここで、フレームメモリ相関部３０７は、次の動きベクトル検出対象のＢモード画像が存在する場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０３およびＳ１０４の処理を繰り返す。これに対し、フレームメモリ相関部３０７は、次の動きベクトル検出対象のＢモード画像が存在しない場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０９に移行する。

ステップＳ１０９では、フレームメモリ位置補正部３０８が、移動量検出部３０７ｂが算出した移動量、および移動方向検出部３０７ｃが算出した移動方向に基づいて基準となるＢモード画像ＩＭ_ｎに対して過去フレームのＢモード画像の相対位置を移動させる。図９は、本発明の一実施の形態に係る超音波観測装置のフレームメモリ位置補正部が行う位置補正処理を説明する模式図である。フレームメモリ位置補正部３０８は、図９に示すように、基準となるフレームのＢモード画像ＩＭ_nに対し、過去フレームのＢモード画像（図９ではＢモード画像ＩＭ_n-1）を移動する。フレームメモリ位置補正部３０８は、Ｂモード画像ＩＭ_n-1においてＢモード画像ＩＭ_nと重なる領域（合成対象領域）を切り出して、合成用切り出し画像ＩＣ_n-1を生成する。

その後、算出部３０９ａにより平均移動量に応じて、基準となるＢモード画像に対して合成する過去フレームのＢモード画像の重み付け量をフレームごとに決定する（ステップＳ１１０）。なお、ステップＳ１０９およびＳ１１０の処理は、順序が逆であってもよいし、同時に行うものであってもよい。

重み付け量の決定後、合成部３０９ｂが、決定された重み付け量に基づいて過去フレームのＢモード画像（合成用切り出し画像）の重み付け処理を行って重み付け後の画像データを生成し（ステップＳ１１１）、基準フレームのＢモード画像と、過去フレームの重み付け後の画像データとを合成する（ステップＳ１１２）。図１０は、本発明の一実施の形態に係る超音波観測装置の重み付け加算部が行う画像合成処理を説明する模式図である。図１０に示すように、合成部３０９ｂは、Ｂモード画像ＩＭ_ｎと合成用切り出し画像ＩＣ_n-1とを合成することにより、合成画像ＩＭ_addを取得する。同様にして、他の過去フレームの画像データ（合成用切り出し画像）についても合成する。合成部３０９ｂは、合成処理後の合成画像を補間フィルタ部３０９ｃに出力する。

補間フィルタ部３０９ｃは、合成部３０９ｂにより合成画像が生成されると、公知の空間フィルタを用いて補間フィルタ処理を施すことにより、合成画像におけるフレーム間の画像の位置ずれによる不連続部分を補正する（ステップＳ１１３）。

上述した画像合成処理により生成された合成画像は、制御部３１１の制御のもと、記憶部３１２に記憶され、表示装置４で表示される。また、超音波観測装置３は、超音波内視鏡２から新たなエコー信号を受信すると、フレームメモリ３０６の最新フレームのＢモード画像が更新され、該更新された最新のＢモード画像を基準とし、上述した画像合成処理を行う。

以上説明した本発明の一実施の形態によれば、フレームメモリ相関部３０７が、最新フレームの超音波画像に対する過去のフレームの超音波画像の三次元的な相関である移動量および移動方向を検出し、フレームメモリ位置補正部３０８が、検出した三次元的な移動量および移動方向に基づいて、最新フレーム超音波画像に対する過去のフレームの超音波画像の相対位置を移動させ、重み付け加算部３０９が、フレームメモリ相関部３０７が検出した三次元的な移動量および移動方向に基づいて、過去のフレームの超音波画像に対して重み付け処理を施すようにしたので、超音波画像におけるノイズおよびボケの低減を両立することができる。

ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。例えば、観測対象が生体組織であることを例に説明したが、材料の特性を観測する工業用の内視鏡であっても適用できる。本発明にかかる超音波観測装置は、体内、体外を問わず適用可能である。また、超音波のほか、赤外線などを照射して観測対象の信号を送受信するものであってもよい。

また、上述した実施の形態では、超音波画像を分割して、該分割により生成された複数の分割領域についてそれぞれ最新フレームの超音波画像に対する過去のフレームの超音波画像の三次元的な相関を求めるものとして説明したが、超音波画像の分割は行わずに、超音波画像全体について最新フレームの超音波画像に対する過去のフレームの超音波画像の三次元的な相関を求めるものであってもよい。この場合、超音波画像における特徴点を検出し、該検出した特徴点についての三次元的な相関を求めればよい。

このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態を含みうるものである。

以上のように、本発明にかかる超音波観測装置は、超音波画像におけるノイズおよびボケの低減を両立するのに有用である。

１ 超音波診断システム
２ 超音波内視鏡
３ 超音波観測装置
４ 表示装置
２１ 超音波振動子
３０１ 送受信部
３０２ 加算整相部
３０３ 信号処理部
３０４ スキャンコンバーター
３０５ 画像処理部
３０６ フレームメモリ
３０７ フレームメモリ相関部
３０７ａ フレーム分割部
３０７ｂ 移動量検出部
３０７ｃ 移動方向検出部
３０８ フレームメモリ位置補正部
３０９ 重み付け加算部
３０９ａ 算出部
３０９ｂ 合成部
３０９ｃ 補間フィルタ部
３１０ 入力部
３１１ 制御部
３１２ 記憶部
３１２ａ 合成情報記憶部

Claims (12)

1. 観測対象に対して送信した超音波が前記観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される複数の超音波画像を合成して合成画像を生成する超音波観測装置であって、
   前記複数の超音波画像を時系列に沿って記憶するフレームメモリと、
   前記フレームメモリが記憶する複数の超音波画像のうち、最新フレームの超音波画像に対する過去のフレームの超音波画像の三次元的な相関である移動量および移動方向を検出するフレームメモリ相関部と、
   前記フレームメモリ相関部が検出した前記三次元的な移動量および移動方向に基づいて、前記最新フレームの超音波画像に対する前記過去のフレームの超音波画像の相対位置を移動するフレームメモリ位置補正部と、
   前記フレームメモリ相関部が検出した前記三次元的な移動量に基づいて、前記過去のフレームの超音波画像に対して重み付け処理を施す重み付け加算部と、
   を備えたことを特徴とする超音波観測装置。
2. 前記重み付け加算部は、前記フレームメモリ相関部が検出した前記移動量と関連付けた重み付け量をもとに前記過去のフレームの超音波画像に対して重み付け処理を施すことを特徴とする請求項１に記載の超音波観測装置。
3. 前記フレームメモリ相関部は、前記過去のフレームの超音波画像を分割し、該分割により生成された分割領域ごとに前記三次元的な移動量および移動方向を検出することを特徴とする請求項１に記載の超音波観測装置。
4. 前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量および移動方向をもとに、前記最新フレームの超音波画像に対する前記過去のフレームの超音波画像の全体の移動量を算出することを特徴とする請求項３に記載の超音波観測装置。
5. 前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量をもとに、当該フレームの超音波画像の代表移動量を算出し、該代表移動量と規定値とを比較し、該比較の結果に応じて当該フレームの超音波画像を合成対象から除外することを特徴とする請求項３に記載の超音波観測装置。
6. 前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量および移動方向をもとに、前記最新フレームの超音波画像に対する前記過去のフレームの超音波画像の全体の移動の状態を判別することを特徴とする請求項３に記載の超音波観測装置。
7. 前記移動の状態は、前記超音波画像中の被写体の三次元的な移動状態であることを特徴とする請求項６に記載の超音波観測装置。
8. 前記フレームメモリ相関部は、前記移動量の分散値と、所定の値とを比較することにより移動の状態を判別することを特徴とする請求項６に記載の超音波観測装置。
9. 前記フレームメモリ相関部は、前記分割領域ごとに検出された複数の前記三次元的な移動量をもとに、当該フレームの超音波画像の移動の状態を判別し、該移動の状態が前記最新フレームの超音波画像の移動の状態と異なる場合に当該フレームの超音波画像を合成対象から除外、または前記重み付け量を低減することを特徴とする請求項３に記載の超音波観測装置。
10. 前記移動の状態は、前記超音波画像中の被写体の三次元的な移動状態であることを特徴とする請求項９に記載の超音波観測装置。
11. 前記フレームメモリ相関部は、前記移動量の分散値と、所定の値とを比較することにより移動の状態を判別することを特徴とする請求項９に記載の超音波観測装置。
12. 前記フレームメモリ相関部は、前記最新フレームの超音波画像から特徴点を検出し、該特徴点を用いて前記過去のフレームの超音波画像との相関を検出することを特徴とする請求項３に記載の超音波観測装置。

Images