JP5551627B2

JP5551627B2 - 超音波画像処理装置

Info

Publication number: JP5551627B2
Application number: JP2011014119A
Authority: JP
Inventors: 英司笠原
Original assignee: Hitachi Aloka Medical Ltd
Current assignee: Hitachi Ltd
Priority date: 2011-01-26
Filing date: 2011-01-26
Publication date: 2014-07-16
Anticipated expiration: 2031-01-26
Also published as: JP2012152379A

Description

本発明は、超音波画像処理装置に関し、特に、画像データ間において相関演算を実行する装置に関する。

超音波を送受することにより得られる超音波画像の画像データに対して相関演算を行う超音波画像処理装置や超音波診断装置が知られている。例えば、特許文献１，２には、相関演算に基づいたパターンマッチングにより、複数のフレームに亘って心筋の動きを追跡する旨の画期的な技術が提案されている。また、プローブを移動させつつ得られる複数の画像データをパターンマッチングにより部分的に重ね合わせてパノラマ画像を形成する技術なども知られている。

画像データ間のパターンマッチングにおいては、例えば、一方の画像データ内において注目箇所にテンプレートが設定され、他方の画像データ内でテンプレートを移動させつつテンプレート内の画像データ同士が相関演算される。そして、他方の画像データ内で最も類似度の大きいテンプレートの位置が注目箇所に対応した位置とされる。

特開２００７−１３００６３号公報特開２００７−１４３６０６号公報

上述した背景技術に鑑み、本願の発明者は、パターンマッチングの技術について研究開発を重ねてきた。特に画像内における方向性に注目した。

本発明は、その研究開発の過程において成されたものであり、その目的は、方向性を備えた新しいパターンマッチングの技術を提供することにある。

上記目的にかなう好適な超音波画像処理装置は、複数の超音波画像に対応した複数の画像データを記憶する画像記憶部と、画像データ間において一方の画像データ内の注目箇所に対応したテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより、他方の画像データ内において前記注目箇所を探索する画像処理部とを有し、前記画像処理部は、画像データ内の複数方向について、各方向ごとにその方向に沿ったテンプレートを設定し、各方向ごとにその方向に沿ってテンプレートを移動させつつ前記相関演算を実行し、複数方向に関する相関演算の結果に基づいて、当該複数方向の中から探索方向を選択して当該探索方向に沿って前記注目箇所を探索する、ことを特徴とする。

上記構成によれば、複数方向の中から探索方向を選択してその探索方向に沿って注目箇所を探索するという、方向性を備えた新しいパターンマッチングの技術が提供される。上記構成において、各画像データは、例えば、２次元的に収集されたエコーデータから得られる２次元データ、または、３次元的に収集されたエコーデータから得られる３次元データである。画像データが２次元データの場合には、例えば注目箇所を中心として平面的に略等角度間隔で複数方向が設定される。また、画像データが３次元データの場合には、例えば注目箇所を中心として立体的に放射状に複数方向が設定される。

望ましい具体例において、前記画像処理部は、各方向ごとにその方向に沿って並ぶ複数画素に対応したテンプレートを設定する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、各方向ごとにその方向に沿って１列に並ぶ複数画素に対応した１次元のテンプレートを設定する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、各方向ごとに相関演算の結果として得られる類似の度合に基づいて複数方向の中から類似の度合が最大のものを前記探索方向として選択する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、前記注目箇所として設定される注目画素を中心として略等角度間隔で前記複数方向を設定する、ことを特徴とする。

また、上記目的にかなう好適な超音波診断装置は、超音波を送受するプローブと、プローブを制御することにより受信信号を得る送受信部と、受信信号に基づいて複数の超音波画像に対応した複数の画像データを形成する画像形成部と、画像データ間において一方の画像データ内の注目箇所に対応したテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより、他方の画像データ内において前記注目箇所を探索する画像処理部と、を有し、前記画像処理部は、画像データ内の複数方向について、各方向ごとにその方向に沿ったテンプレートを設定し、各方向ごとにその方向に沿ってテンプレートを移動させつつ前記相関演算を実行し、複数方向に関する相関演算の結果に基づいて、当該複数方向の中から探索方向を選択して当該探索方向に沿って前記注目箇所を探索する、ことを特徴とする。

また、上記目的にかなう好適な超音波画像処理プログラムは、複数の超音波画像に対応した複数の画像データを処理するコンピュータに、画像データ内の複数方向について各方向ごとにその方向に沿ったテンプレートを設定するテンプレート設定機能と、画像データ間において、各方向ごとに、一方の画像データ内の注目箇所に対応したテンプレートを他方の画像データ内で対応する方向に沿って移動させつつテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、複数方向に関する相関演算の結果に基づいて当該複数方向の中から探索方向を選択し、当該探索方向に沿って他方の画像データ内において前記注目箇所を探索する探索機能と、を実現させることを特徴とする。

上記超音波画像処理プログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供される。もちろん、インターネットなどの電気通信回線を介して上記超音波画像処理プログラムがコンピュータに提供されてもよい。

本発明により、方向性を備えた新しいパターンマッチングの技術が提供される。例えば本発明の好適な態様によれば、複数方向の中から探索方向を選択してその探索方向に沿って注目箇所を探索するパターンマッチングの技術が提供される。

本発明の実施において好適な超音波診断装置の全体構成を示す図である。画像データ間のパターンマッチングを説明するための図である。各方向に沿ったテンプレートの具体例を示す図である。移動方向の選択と移動先の決定を説明するための図である。本実施形態におけるパターンマッチング処理を示すフローチャートである。

図１は、本発明の実施において好適な超音波診断装置の全体構成を示す図である。図１の超音波診断装置は、本発明に係る超音波画像処理装置の機能を備えている。

プローブ１０は、例えば心臓や筋肉などの対象物を含む領域に対して超音波を送受する超音波探触子である。プローブ１０は、超音波を送受する複数の振動素子を備えており、複数の振動素子が送受信部１２によって送信制御されて送信ビームが形成される。また、複数の振動素子が対象物を含む領域内から得られる超音波を受波し、これにより得られた信号が送受信部１２へ出力され、送受信部１２が受信ビームを形成して受信ビームに沿ってエコーデータが収集される。

プローブ１０は、超音波ビーム（送信ビームと受信ビーム）を二次元平面内において走査してエコーデータを収集する。もちろん、超音波ビームを三次元空間内において立体的に走査する三次元プローブが利用されてもよい。

対象物を含む領域内で超音波ビームが走査され、送受信部１２によりエコーデータが収集されると、画像形成部２０は、収集されたエコーデータに基づいて超音波の画像データを形成する。画像形成部２０は、例えばＢモード画像の画像データを形成する。また、画像形成部２０は、複数の超音波画像に対応した複数の画像データを形成する。例えば、複数の時刻に亘って対象物を映し出した複数の画像データを形成する。なお、プローブ１０を徐々に移動させつつ互いに異なる位置において対象物を映し出した複数の画像データが形成されてもよい。画像形成部２０において形成された複数の画像データは、メモリ等で構成される画像記憶部２２に記憶される。

パターンマッチング処理部３０は、画像データ間のパターンマッチングを行う画像処理部として機能する。パターンマッチング処理部３０は、画像データ内の複数方向について各方向ごとにその方向に沿ったテンプレートを設定するテンプレート設定機能と、各方向ごとにテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、複数方向に関する相関演算の結果に基づいて探索方向を選択する探索方向選択機能を備えている。

パターンマッチング処理部３０は、例えばＣＰＵや信号処理プロセッサなどのハードウェアにより実現することができる。そして、パターンマッチング処理部３０は、画像記憶部２２に記憶された複数の画像データを対象として、相関演算に基づいて画像データ間のパターンマッチングを行う。

こうして、パターンマッチング処理により、例えば、画像データ内の注目点が複数の時相に亘って追跡され、表示部４０にその追跡結果を示した表示画像が表示される。もちろん、プローブを移動させつつ得られる複数の画像データをパターンマッチングにより部分的に重ね合わせてパノラマ画像を形成して表示部４０に表示させてもよい。

次に、図１の超音波診断装置によるパターンマッチング処理の具体例を説明する。

図２は、画像データ間のパターンマッチングを説明するための図であり、画像データ１と画像データ２との間における処理を示している。画像データ１と画像データ２は、例えば同じ心臓から互いに異なる時刻に得られる画像データである。図１の超音波診断装置によるパターンマッチング処理では、画像データ内の複数方向について各方向ごとにその方向に沿ったテンプレートが設定される。

つまり、図２に示すように、まず、検査者などのユーザにより画像データ１内に注目点Ｐが設定され、例えばその注目点Ｐを中心として等角度間隔で、破線で示す複数の方向が設定される。図２には二次元の画像データの例が示されており、この場合には、例えば、上下方向と左右方向に加えて、これらと４５度の角度で交差する２つの斜め方向が設定される。もちろん、方向の総数は４方向より多くてもよいし少なくてもよい。また、複数の方向は等角度間隔であることが望ましいものの、等角度間隔の関係に限定されない。また予め装置に設定された複数の方向が利用されてもよいし、例えば超音波画像を見ながらユーザが複数の方向を設定するようにしてもよい。

ちなみに、三次元の画像データであれば、例えば、上下方向と左右方向の両方向に対して注目点Ｐで直交する奥行方向が追加され、さらに、上下方向と奥行方向に対して４５度の角度で交差する２つの斜め方向と、左右方向と奥行方向に対して４５度の角度で交差する２つの斜め方向が追加される。もちろん、三次元の場合においても、方向の総数はこれらより多くてもよいし少なくてもよい。また、複数の方向は等角度間隔のものに限定されない。

図２に示すように画像データ１内に注目点Ｐが設定されて複数の方向が決定されると、各方向ごとにその方向に沿ったテンプレートが設定される。そして、画像データ２内において各方向ごとにその方向に沿ってテンプレートが移動されつつ相関演算が実行される。さらに、複数の方向に関する相関演算の結果に基づいて、それら複数の方向の中から注目点Ｐの移動方向（探索方向）が選択され、その移動方向に沿って注目点Ｐの移動先が探索される。こうして、画像データ１内に設定された注目点Ｐの移動先として、画像データ２内において移動先Ｐ´が特定される。

図３は、各方向に沿ったテンプレートの具体例を示す図である。（ａ）には、上下方向（垂直方向）に沿ったテンプレートＴが示されている。（ａ）に示す例において、テンプレートＴは、注目点Ｐの画素（注目画素Ｐ）を中心として、上下方向に配列された５つの画素に対応している。また、テンプレートＴに隣接する破線で示す画素は、テンプレートＴの移動範囲、つまり探索範囲を示している。（ａ）に示す例においては、５つの画素に対応したテンプレートＴが１画素ずつ上側と下側にそれぞれ２画素分だけ移動される。

（ａ）に示すように上下方向のテンプレートＴが設定されると、画像データ１（図２）内において、このテンプレートＴに対応した５つの画素が特定される。そして、画像データ２（図２）内において、例えば注目画素Ｐと同じ位置を初期位置として、テンプレートＴが上下方向に移動される。こうして、画像データ２内の各移動位置においてテンプレートＴに対応した５つの画素が特定され、各移動位置ごとに、画像データ１のテンプレートＴ内の５つの画素との間において相関値が算出される。

（ｂ）には、左右方向（水平方向）に沿ったテンプレートＴが示されている。この場合にも、テンプレートＴは、注目画素Ｐを中心として水平方向に配列された５つの画素に対応している。また、テンプレートＴが１画素ずつ右側と左側にそれぞれ２画素分だけ移動される。そして、画像データ２内の各移動位置においてテンプレートＴに対応した５つの画素が特定され、各移動位置ごとに、画像データ１のテンプレートＴ内の５つの画素との間において相関値が算出される。

（ｃ）に示す斜め方向１や（ｄ）に示す斜め方向２についても、テンプレートＴは、注目画素Ｐを中心として各方向に沿って配列された５つの画素に対応している。また、テンプレートＴが１画素ずつ一方側と他方側にそれぞれ２画素分だけ移動される。

図３に示す例においては、各方向に沿って１列に配列された５つの画素に対応した１次元のテンプレートＴであった。但し、テンプレートＴの大きさ（画素数）は５つに限定されない。また、テンプレートＴの形状も１次元に限定されない。例えば対応する方向を長手方向としつつ、その長手方向に対して直交する方向に厚みをもたせてもよい。つまり、２列または３列等の画素列に対応したテンプレートＴを形成してもよい。さらに、例えば画像の状態（対象組織等）に応じてテンプレートＴの大きさや形状が変更されてもよい。もちろん、例えば画像の状態等に応じて、テンプレートＴの移動範囲（探索範囲）が変更されてもよい。

以上のように、画像データ内の複数の方向について、各方向ごとにテンプレートＴが設定され、テンプレートＴの各移動位置において相関値が算出される。なお、相関値とは、画像データ間の相関関係の程度（類似の程度）を示す数値であり、相関値の算出には相関演算の各手法に応じた公知の数式が用いられる。例えば、位相限定相関法や相互相関法では、類似の度合が大きいほど大きな値を示す相関値が利用され、最小和絶対差法では、類似の度合が大きいほど小さな値を示す相関値が利用される。

そして、本実施形態においては、複数の方向に関する相関演算の結果に基づいて、複数の方向の中から移動方向（探索方向）が選択され、さらに、その移動方向に沿って注目画素Ｐの移動先が決定される。

図４は、移動方向の選択と移動先の決定を説明するための図である。図４には、図３に示した４つの方向（ａ）〜（ｄ）の各々に関する相関演算の結果例が示されている。つまり、図４の横軸は、各方向に沿って移動されるテンプレートの位置を示しており、図４の縦軸には、横軸の各位置ごとに得られる相関演算の結果（類似の度合）が示されている。

本実施形態においては、複数の方向の中から類似の度合が最大となる方向が選択され、移動方向とされる。例えば、図４に示す例においては、上下方向（ａ）における類似の度合の最大値が、他の方向の最大値よりも大きいため、上下方向が移動方向として選択される。そして、その上下方向（ａ）に沿って、類似の度合が最大となるテンプレートの位置が注目画素Ｐの移動先Ｐ´とされる。

図５は、本実施形態におけるパターンマッチング処理を示すフローチャートである。まず、ユーザにより画像データ１内に注目点Ｐが設定されると（Ｓ５０１：図２参照）、その注目点Ｐを中心として複数の方向が決定され、各方向に対応したテンプレートＴが設定される（Ｓ５０２：図２，３参照）。

次に、各方向ごとに探索範囲内においてテンプレートＴが移動され（Ｓ５０３）、探索範囲内の全域に亘ってテンプレートＴの各移動位置ごとに相関演算が実行される（Ｓ５０４）。そして、各方向ごとに、類似の度合（類似値）の最大値と、その最大値が得られたテンプレートＴの移動位置が特定される（Ｓ５０５）。

Ｓ５０３からＳ５０５までの処理は各方向ごとに実行され、Ｓ５０６において全方向に関する処理が終了したと判断されると、Ｓ５０７の処理へ進み、全方向の中から、類似値の最大値が他の方向よりも大きい方向が移動方向（探索方向）として選択され、さらに、その移動方向に沿って得られた類似値の最大値の位置、つまり、その最大値が得られたテンプレートＴの移動位置が、注目点Ｐの移動先とされる（Ｓ５０７：図４参照）。こうして、画像データ２内において、注目点Ｐの移動先Ｐ´が特定され（図２参照）、本フローチャートが終了する。

図５のフローチャートは、例えば互いに時相的に隣接する前後の画像データ間において次々に実行される。その場合には、前の時相の画像データ内に決定された移動先が、Ｓ５０１における注目点とされ、Ｓ５０２からＳ５０７の処理により、後の時相の画像データ内においてその注目点の移動先が決定される。

なお、Ｓ５０７において、最大値が最も大きくなる方向がいくつかある場合には、そのいくつかの方向の中から１つの方向を選択してもよいし、時相的に１つ前の画像データ間において選択された方向をそのまま維持して選択するようにしてもよい。

また、Ｓ５０５において、突出した最大値が得られない場合、例えば、最大値と他の値との差が所定値よりも小さい場合には、その方向を選択の候補から除外するようにしてもよい。また、Ｓ５０５において、複数の移動位置で最大値が得られた場合には、注目点Ｐに最も近い移動位置を選択するようにしてもよい。

以上、本発明の好適な実施形態である超音波診断装置について説明したが、例えば、上述したテンプレート設定と相関演算と探索方向選択の処理に対応したプログラムにより、図１に示したパターンマッチング処理部３０の機能をコンピュータで実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。

また、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。例えば、上述したパターンマッチング処理を超音波以外の画像データ、例えば、他の医療画像データやコンピュータなどにより処理される一般の映像データなどに適用することも可能である。

１０プローブ、２０画像形成部、３０パターンマッチング処理部。

Claims

複数の超音波画像に対応した複数の画像データを記憶する画像記憶部と、
画像データ間において一方の画像データ内の注目箇所に対応したテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより、他方の画像データ内において前記注目箇所を探索する画像処理部と、
を有し、
前記画像処理部は、画像データ内の複数方向について、各方向ごとにその方向に沿ったテンプレートを設定し、各方向ごとにその方向に沿ってテンプレートを移動させつつ前記相関演算を実行し、複数方向に関する相関演算の結果に基づいて、当該複数方向の中から探索方向を選択して当該探索方向に沿って前記注目箇所を探索する、
ことを特徴とする超音波画像処理装置。
請求項１に記載の超音波画像処理装置において、
前記画像処理部は、各方向ごとにその方向に沿って並ぶ複数画素に対応したテンプレートを設定する、
ことを特徴とする超音波画像処理装置。
請求項２に記載の超音波画像処理装置において、
前記画像処理部は、各方向ごとにその方向に沿って１列に並ぶ複数画素に対応した１次元のテンプレートを設定する、
ことを特徴とする超音波画像処理装置。
請求項１から３のいずれか１項に記載の超音波画像処理装置において、
前記画像処理部は、各方向ごとに相関演算の結果として得られる類似の度合に基づいて複数方向の中から類似の度合が最大のものを前記探索方向として選択する、
ことを特徴とする超音波画像処理装置。
請求項１から４のいずれか１項に記載の超音波画像処理装置において、
前記画像処理部は、前記注目箇所として設定される注目画素を中心として略等角度間隔で前記複数方向を設定する、
ことを特徴とする超音波画像処理装置。
超音波を送受するプローブと、
プローブを制御することにより受信信号を得る送受信部と、
受信信号に基づいて複数の超音波画像に対応した複数の画像データを形成する画像形成部と、
画像データ間において一方の画像データ内の注目箇所に対応したテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより、他方の画像データ内において前記注目箇所を探索する画像処理部と、
を有し、
前記画像処理部は、画像データ内の複数方向について、各方向ごとにその方向に沿ったテンプレートを設定し、各方向ごとにその方向に沿ってテンプレートを移動させつつ前記相関演算を実行し、複数方向に関する相関演算の結果に基づいて、当該複数方向の中から探索方向を選択して当該探索方向に沿って前記注目箇所を探索する、
ことを特徴とする超音波診断装置。
複数の超音波画像に対応した複数の画像データを処理するコンピュータに、
画像データ内の複数方向について各方向ごとにその方向に沿ったテンプレートを設定するテンプレート設定機能と、
画像データ間において、各方向ごとに、一方の画像データ内の注目箇所に対応したテンプレートを他方の画像データ内で対応する方向に沿って移動させつつテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、
複数方向に関する相関演算の結果に基づいて当該複数方向の中から探索方向を選択し、当該探索方向に沿って他方の画像データ内において前記注目箇所を探索する探索機能と、
を実現させる、
ことを特徴とする超音波画像処理プログラム。