JP5651030B2 - 超音波画像処理装置 - Google Patents

Description

本発明は超音波画像処理装置に関し、特に、ブルズアイ(Bullseye)表示像のような展開イメージを表示する装置に関する。

医療の分野において超音波診断装置が活用されている。超音波診断装置は、生体に対する超音波の送受波によって超音波画像を表示する装置である。超音波画像としては二次元断層画像等が周知であり、それは動画像又は静止画像として表示される。超音波画像を基礎として様々な計測が実行されており、特に循環器の分野においては心臓特に左室の機能が超音波画像を基礎として評価される。例えば、時間軸上に存在する複数の断層画像（あるいはフレーム列）において隣接画像間で各観測点の二次元移動が解析され、その解析結果から心筋の動きが表示される。観測点の二次元移動の解析に当たってはパターンマッチング法が利用される。例えば、基準フレーム上において、左室の心筋の内縁と外縁に沿って複数の観測点が指定され（それらの観測点の間に観測点が自動的に追加されることもある）、それに続くフレーム間において各観測点ごとのパターンマッチングが実行され、個々の観測点につきフレーム間での二次元移動が解析される。各フレームにおいては、内縁トレースライン及び外縁トレースラインにより複数の区画（セグメント）が定義される。各区画は運動評価値を観測する個別領域に相当する。上記のフレーム間パターンマッチングの進行により、各フレームごと（時相ごと）且つ各区画ごとに運動評価値が演算される。運動評価値は、ストレイン、ストレインレート、角度、等であって、それらは心筋における局所部位の動きを表している。

特開２００８−１４２５６８号公報

ところで、心臓特に左室について各時相ごとに求められた運動評価値は数値としてユーザーに提供される。しかし、数値観察では全体の動きや局所の動きを把握し難いので、全区画を展開図のように表現すると共に、各区画に対して着色処理（カラー処理）を施す技術が普及しつつある。このように表示される画像はブルズアイ表示像とも称されている（特許文献１参照）。超音波診断の分野においては、左室に対して３つの断面を設定し、個々の断面上に定義される複数の区画の集合体としてブルズアイ表示像が構成される。より具体的には、左室の長軸を基準として、互いに直交又は交差する三断面が設定され、あるいは、左室の短軸像として互いに平行な三断面が設定される。そして、各断面ごとに心筋の動きが観測される。ブルズアイ表示像においては、多重リングのような複数の同心円ラインと放射状の複数のラインとによって画定された個々のエリアが個々の区画に相当する。各区画について求められた運動評価値に対応する色相及び輝度によって各区画が着色される。

このようなブルズアイ表示像は、左室の内部から外側に左室を眺め、それを二次元に展開させたような座標系を有する。複数の断面上の複数の区画列を同時に視認、把握することができる反面、そこに表示された個々の区画がどの断面上のどの区画であるのか、とりわけ、個々の区画が左室のどの部位に相当するのか、については直感的に理解し難い。従来、ブルズアイ表示像の表示に際しては、三断面の中からユーザー選択された特定の断面を表す二次元断層画像が表示され、そこでは観測点列や区画列が表わされると同時に各区画の運動評価値がカラーによって表現されている。しかし、ブルズアイ表示像上の個々の区画と断層画像上の個々の区画との対応関係については認識し難い。あるいは、その認識には熟練を要する。

本発明の目的は、展開イメージが表示される場合に展開イメージ中の個々の区画と組織部位との対応関係を直感的に認識できるようにすることにある。あるいは、逆に特定の断面が展開イメージ上のどこに相当するかを直感的に認識できるようにすることにある。

本発明は、生体内の運動組織に対して設定された複数の断面に対応する複数のフレーム列を処理する超音波画像処理装置において、前記各フレーム列を構成する複数のフレームを時間軸方向に順次解析することにより前記各断面上に定義される複数の区画について区画ごとに且つ時相ごとに運動評価値を演算する演算手段と、前記複数の断面上に定義された区画群の三次元配列を表す展開イメージを生成する手段であって、前記展開イメージの全部又は一部に対して第１の区画別表示処理を施す第１のイメージ生成手段と、前記各断面上の組織形態及び複数の区画を表す模擬イメージセットを生成する手段であって、前記模擬イメージセットの全部又は一部に対して第２の区画別表示処理を施す第２のイメージ生成手段と、を含み、前記第１の区画別表示処理及び前記第２の区画別表示処理は、区画ごとに且つ時相ごとに演算される運動評価値に応じて個々の区画の表示態様を変化させる処理であり、前記第１の区画別表示処理後の展開イメージと共に前記第２の区画別表示処理後の模擬イメージセットが表示される、ことを特徴とする。

上記構成によれば、第１の区画別表示処理後の展開イメージと共に第２の区画別表示処理が施された模擬イメージセットが表示される。模擬イメージセットの一部又は全部に対して区画別表示処理が施されるので、展開イメージにおける区画別表示処理結果と模擬イメージにおける区画別表示処理結果との対応関係から、展開イメージにおける個々の区画が生体組織におけるどの部分に相当するのかを直感的に認識することができ、あるいは、その認識を支援することが可能となる。このように模擬イメージセットは展開イメージと実空間（実組織）との間で橋渡しを行うものである。各模擬イメージは組織形態の概略を表したシェーマ像であるのが望ましい。但し解剖図のような詳細図であってもよい。複数の断面上に設定される区画数と展開イメージ上に現れる区画数とが一致していてもよいし、不一致であってもよい。運動評価値は、区画内の局所部位あるいは全体の運動を評価するための値であるのが望ましく、移動量、接線方向のストレイン、接線方向に交差する方向（直交方向、筋組織厚み方向）のストレイン、区画面積（面積変化率）、等であってもよい。各区画は一般に４点以上で指定される二次元区画である。

第２の区画別表示処理は、模擬イメージセットを構成する複数の模擬イメージの全部に対して適用され、あるいは、一部に対して適用される。前者によれば、全区画について断面上での位置を把握しつつ運動評価値を観測でき、後者によれば、注目している断面（望ましくは表示断層画像に対応する断面）を意識しつつ当該断面上の区画について運動評価値を観念できる。

望ましくは、前記複数の断面の中から選択された選択断面に対応するフレーム列中の各フレームに基づいて断層画像を形成する断層画像形成手段と、前記断層画像に合成され且つ前記選択断面上の複数の区画を表すオーバーレイ画像を生成する手段であって、前記オーバーレイ画像に対して第３の区画別表示処理を施す第３のイメージ生成手段と、を含み、前記第３の区画別表示処理は、区画ごとに且つ時相ごとに演算される運動評価値に応じて個々の区画の表示態様を変化させる処理であり、 前記第１の区画別表示処理後の展開イメージ及び前記断層画像に対して前記第３の区画別表示処理後のオーバーレイ画像を合成することによって生成される合成画像と共に、前記第２の区画別表示処理後の模擬イメージセットが表示される。この構成によれば、展開イメージにおける特定の区画が、断層画像上及び模擬イメージセット中のどの区画に対応するのかを容易に認識できる。あるいは、断層画像上における特定の区画が、展開イメージ上及び模擬イメージ中のどの区画に対応するのかを容易に認識できる。更に、模擬イメージセット中の特定の区画が、断層画像上及び展開イメージ上のどの区画に対応するのかを容易に認識できる。

望ましくは、前記第１のイメージ生成手段は、一部処理モードにおいて、前記展開イメージに表示される区画群の中で前記複数の断面の中から選択された選択断面に対応する複数の区画に対して前記第１の区画別表示処理を施し、前記第２のイメージ生成手段は、前記一部処理モードにおいて、前記模擬イメージセットの中で前記選択断面に対応する模擬イメージに対して前記第２の区画別表示処理を施す。望ましくは、前記第１のイメージ生成手段は、全部処理モードにおいて、前記展開イメージに表示される区画群の全部に対して前記第１の区画別表示処理を施し、前記第２のイメージ生成手段は、前記全部処理モードにおいて、前記模擬イメージセットの全部に対して前記第２の区画別表示処理を施す。

望ましくは、前記演算手段は、前記各フレーム列におけるフレーム間において複数の観測点の二次元移動を演算する手段と、前記複数の観測点の二次元移動に基づいて区画単位で運動評価値を演算する手段と、前記複数の観測点の二次元移動及び前記区画単位の運動評価値の少なくとも一方に基づいて、前記複数の観測点の中でエラー点を判定する手段と、を含み、前記第２のイメージ生成手段は、前記模擬イメージセットに対して前記エラー点に対応する区画が識別されるように識別処理を施す。この構成によれば、運動異常あるいはトラッキング異常が生じた場合にそれを模擬イメージセット上において特定できるから、運動評価値の診断を的確に行える。

望ましくは、前記第１乃至第３の区画別表示処理は、前記運動評価値に応じて互いに同じ色相及び輝度を与える処理である。この構成によれば、３つの画像間において対応関係を把握することが容易となる。同じ色相及び輝度は、ユーザーから見て同じように見えるものであれば足り、厳密な一致を求めるものではない。断層画像上にオーバーレイ表示されるイメージについては背景画像の輝度等を考慮して色相や輝度に固有の変化をもたせてもよい。

本発明に係るプログラムは、生体内の運動組織に対して設定された複数の断面に対応する複数のフレーム列を処理する超音波画像処理装置において実行される超音波画像処理プログラムであって、前記各フレーム列を時間軸方向に順次解析することにより前記各断面上に定義される複数の区画について区画ごとに且つ時相ごとに運動評価値を演算する機能と、前記複数の断面上に定義された区画群の三次元配列を表す展開イメージを生成する機能であって、前記展開イメージの全部又は一部に対して第１の区画別表示処理を施す機能と、前記各断面上の組織形態及び区画列を表す模擬イメージセットを生成する機能であって、前記模擬イメージセットの全部又は一部に対して第２の区画別表示処理を施す機能と、を含み、前記第１の区画別表示処理及び前記第２の区画別表示処理は、区画ごとに且つ時相ごとに演算される運動評価値に応じて個々の区画の表示態様を変化させる処理であり、前記第１の区画別表示処理後の展開イメージと共に前記第２の区画別表示処理後の模擬イメージセットが表示される、ことを特徴とする。超音波画像処理装置は、超音波診断装置内に組み込まれる装置、それからのデータを処理する情報処理装置、等である。

上記構成によれば、展開イメージについての全区画につき同時把握できる利点を得つつも、その欠点である空間的把握の困難性を複数の模擬イメージを媒介させることにより補うことができるから、診断上有益な支援を行える。

本発明によれば、展開イメージが表示される場合に展開イメージ中の個々の区画と組織部位との対応関係を直感的に認識できる。あるいは、特定の断面が展開イメージ上のどこに相当するかを直感的に認識できる。

本発明に係る超音波診断システムの好適な実施形態を示すブロック図である。 ３つの断面についての第１配列を示す説明図である。 ３つの断面についての第２配列を示す説明図である。 区画群とブルズアイ像とを示す図である。 表示画像の一例を示す図である。 フレーム間パターンマッチング処理を説明するための図である。 カラー表示処理の一例を示す図である。 図１に示したシステムにおける表示画像生成処理を説明するためのフローチャートである。 表示画像の形成途中における表示内容を示す図である。 表示画像の他の例を示す図である。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１には、本発明に係る超音波診断システムの好適な実施形態が示されており、図１はその全体構成を示すブロック図である。図１に示される超音波診断システムは医療の分野において用いられるものである。超音波診断システムは、図１に示す例において、上段に示す超音波診断装置と、下段に示すＰＣ（パーソナルコンピュータ）４０とにより構成されている。

まず、超音波診断装置について説明する。プローブ１０は、生体表面上に当接して用いられ、超音波を送受波する送受波器である。本実施形態において、プローブ１０は、複数の振動素子からなるアレイ振動子を備えている。そのアレイ振動子は１Ｄアレイ振動子であり、そのアレイ振動子により超音波ビーム１１が形成される。超音波ビーム１１に対する電子走査により、走査面が構成される。図において、ｒが深さ方向すなわちビーム方向を示しており、θが電子走査方向を示している。電子走査方式としては、電子セクタ走査、電子リニア走査等が周知である。１Ｄアレイ振動子に代えて、２Ｄアレイ振動子を用いることも可能である。

本実施形態においては、心臓、特に左室の機能を超音波診断するために、左室を横断する３つの断面が定められ、各断面に対して繰り返し走査面が形成される。断面の設定にあたっては、画像表示される超音波画像を見ながらプローブ１０の当接位置や当接姿勢をユーザーにより調整することにより、適切な位置に断面が定められる。本実施形態においては、左室に対して３つの断面が設定され、その場合において、互いに交差関係をもって３つの断面を設定する第１配列と、互いに平行な関係をもって３つの断面を設定する第２配列とが選択される。もっとも、他の配列が用いられるようにしてもよい。各配列については後に図２、図３を用いて説明する。

ちなみに、２Ｄアレイ振動子を用いれば、プローブの位置等を変更することなく３つの断面についてそれぞれフレーム列（フレームデータ列）を同時に取得することが可能である。いずれにしても、個々の断面毎にフレーム列が取得される。フレーム列は時系列順で並ぶ複数のフレームにより構成され、各フレームは複数のビームデータあるいはラインデータにより構成される。各ビームデータあるいは各ラインデータは複数のエコーデータあるいはピクセルデータにより構成される。

送受信部１２は送信ビームフォーマおよび受信ビームフォーマとして機能するものである。送信時において、送受信部１２からアレイ振動子に対して複数の送信信号が並列的に供給される。これによって送信ビームが形成される。生体内からの反射波が１Ｄアレイ振動子にて受波されると、１Ｄアレイ振動子から複数の受信信号が送受信部１２に対して並列的に出力される。送受信部１２においては、複数の受信信号に対して整相加算処理を実行し、これによって整相加算後の受信信号すなわちビームデータを生成する。そのビームデータは、図示されていない信号処理部を経由してＤＳＣ（デジタルスキャンコンバータ）１４へ出力される。

ＤＳＣ１４は、複数のビームデータに基づいて断層画像データを生成する機能を有し、具体的には、座標変換機能、補間処理機能等を備えている。このＤＳＣ１４によって、二次元断層画像のデータが生成され、それを構成する複数のラインデータすなわちフレームが表示処理部１６へ出力される。

本実施形態においては、ＤＳＣ１４から出力されたデータがシネメモリ２０にも送られており、シネメモリ２０上には一定期間にわたるフレーム列が格納される。シネメモリ２０は複数のリングバッファとして機能するものであり、本実施形態においては、３つの断面に対応する３つのフレーム列がシネメモリ２０に格納される。また、シネメモリ２０には、それぞれのフレーム列を取得する際に同時に取得された心電波形も格納される。その心電波形は心電計１９から出力されるものである。

符号２２は、シネメモリ２０の記憶内容を概念的に示したものを表している。シネメモリ２０には、３つの断面に対応したデータセットＡ，Ｂ，Ｃが格納され、ここでデータセットＡは、第１断面に対応するフレーム列２４と、そのフレーム列２４に対応する心電波形２６とにより構成される。同様に、第２断面に対応するデータセットＢはフレーム列２８と心電波形３０とにより構成され、第３断面に対応するデータセットＣはフレーム列３２と心電波形３４とにより構成される。それぞれのフレーム列に対して心電波形が対応づけられているのは、それぞれのフレーム列間において時相を合わせるためである。したがって、三次元ボリュームデータが取得され、それぞれのフレーム列の間において時相の対応関係が既知であるならば、心電波形は必ずしも格納する必要はない。

ＤＳＣ１４から出力されるフレームは直接的に表示処理部１６へ出力されてもよいし、シネメモリ２０を経由して表示処理部１６へ出力されてもよい。表示処理部１６は、画像合成機能等を有し、表示処理部１６から出力された画像データが表示部１８へ送られる。表示部１８には超音波画像が表示される。超音波画像は、例えば二次元断層画像であり、その他の超音波画像としては、二次元ドプラ画像、三次元画像、ドプラ波形画像等をあげることが可能である。

ＰＣ４０は、超音波診断装置、特にシネメモリ２０から取得されるデータに基づいて画像処理を実行する情報処理装置である。ＰＣ４０が、超音波診断装置に対してオンラインで接続されてもよいし、オフラインで接続されてもよい。例えば記憶媒体を経由して超音波診断装置からＰＣ４０へデータが渡されてもよい。もちろん、画像処理における一部の機能が超音波診断と同時にリアルタイムで遂行されてもよい。なお、本実施形態においてはＤＳＣ１４の後のフレームがＰＣ４０に出力されているが、ＤＳＣ１４に入力される前のフレームすなわち座標変換前のフレームがＰＣ４０へ渡されるようにしてもよい。その場合においてはＰＣ４０においてＤＳＣ１４と同様の処理を実行するようにすればよい。

ＰＣ４０において、トラッキング処理部４２は、ユーザーにより選択されたフレーム列に対して時系列順でトラッキング処理を行うモジュールである。具体的には、フレーム間において各観測点毎にパターンマッチング処理を実行している。これにより各観測点の時間軸方向における二次元移動ベクトルが各フレーム毎に演算されることになる。ちなみに、複数の演算により選択された基準フレーム（初期フレーム）上において複数の観測点がマニュアルで指定されており、それ以降の各フレームにおいてはトラッキング処理により各点の動きが自動的に演算されることになる。このような一連の処理は、各フレーム列毎に実行されることになる。

計測部４４は、フレーム間において演算される観測点毎の二次元移動ベクトルに基づいて、あるいは、各フレーム上における観測点の位置に基づいて、計測値を演算するモジュールである。例えば、各区画のうちの代表観測点について計測値が求められる。そのような計測値としては、長さ、ストレイン、面積、等の各種の計測値をあげることができる。それらのいずれに対しても後述する処理を適用することが可能である。ちなみに計測値の種別についてはユーザーにより選択することが可能である。計測部４４は、各フレーム列毎に区画を定義する機能を備えており、すなわち各断面上には複数の区画からなる連結体が定義される。もっとも、各区画の形態は各観測点の運動によって変化することになる。計測部４４は、いずれにしても各時相、すなわち各フレーム毎に区画を単位として計測値を演算している。

本実施形態において、計測部４４は、異常判定部４５を備えている。すなわち、計測値の演算において、あるいはトラッキング処理の結果として異常が判定された場合、その異常が判定された区画を識別する機能を備えている。この異常判定部４５がトラッキング処理部４２内に設けられてもよい。例えばパターンマッチングにおいて相関値が異常値である場合、具体的には類似度が所定値以下である場合に異常を判定するようにしてもよい。このような異常判定によればトラッキング処理や計測値演算において異常が認識された区画をユーザーに提示して、誤った診断を回避することが可能となる。

計測部４４において演算された計測値はオーバーレイ像生成部４６、ブルズアイ像生成部４８およびシェーマ像処理部５０に送られている。それぞれの生成部４６，４８および処理部５０には必要に応じて他の情報も与えられている。オーバーレイ像生成部４６は、二次元断層画像としてのＢモード画像上に重ねて表示されるグラフィック画像としてのオーバーレイ像を生成するモジュールである。本実施形態において、オーバーレイ像は、各フレーム毎に特定された複数の観測点により定義される複数の区画を含んでいる。その場合において、必要に応じてカラー表示処理が施され、すなわちカラーペイント処理が施されたオーバーレイ像が生成される。各区画の着色にあたって、色相および輝度（すなわちカラー）が計測値に対応づけられる。

ブルズアイ像生成部４８は、区画群を含むブルズアイ像を生成するモジュールである。本実施形態においては、カラー表示処理が施されたブルズアイ像が生成される。ブルズアイ像の具体例については後に図４を用いて説明するが、ブルズアイ像は、３つの断面上に設定された複数の区画の全部またはその主な区画を表すものであり、三次元的に存在する複数の区画の展開図に相当するものである。シェーマ像処理部５０は、本実施形態における特徴的なモジュールの１つをなすものであり、３つの断面に対応した３つのシェーマ像からなるシェーマ像セットを生成するモジュールである。個々のシェーマ像はそれに対応する断面上の組織形態を模式的に表したものであり、本実施形態においては、さらに組織の形態に対して複数の区画が表現されており、しかも各区画に対してはカラー表示処理を施すことが可能である。オーバーレイ像、ブルズアイ像およびシェーマ像のそれぞれのカラー表示処理にあたっては、基本的に同様のカラー変換が実施されており、すなわち、ある区画に対して与えられた計測値に対応するカラーがそれぞれのイメージにおける対応の区画に与えられている。もっとも、オーバーレイ像はＢモード断層画像上に合成されるものであり、すなわち背景の輝度の影響を受けやすいため、その像については輝度を若干変更する等の修正を施すことも可能である。

イメージメモリ５２内には、本実施形態において交差配列に対応する３つの断面を表す３つのシェーマ像と、平行配列に対応する３つの断面を表す３つのシェーマ像とがグラフィックイメージとして格納されている。符号５４はイメージメモリ５２の中身を模式的に表したものである。符号５６は第一配列に対応した３つのシェーマ像を表しており、符号５８は第２配列に対応した３つのシェーマ像を表している。いずれのシェーマ像セットを利用するのかについては、ユーザーにより直接的にまたは間接的に選択される。

なお、後に説明するように、３つの断面を構成する各断面上にはそれぞれ所定個の区画が定義される。本実施形態において、それらの総和としての区画数は、ブルズアイ像を構成する区画の数に必ずしも一致していない。それは三次元空間内において重複関係にある複数の区画がいくつか生じているためである。

表示処理部６０は、表示部６２に表示される表示画像の内容を構成するモジュールである。表示画像は、後に説明するように、Ｂモード画像とオーバレイ像とを合成してなる合成画像と、ブルズアイ像と、シェーマ像セットとを含むものであり、さらに必要に応じて数値表示等が含まれる。イメージメモリ６４には、生成されたオーバーレイ像、ブルズアイ像、シェーマ像等が格納される。表示部６２には、静止画像としての表示画像が表示され、あるいは動画像としての表示画像が表示される。ちなみに、上述したように複数のフレーム列の相互の時相関係を特定するにあたってはそれぞれの心電信号が用いられる。すなわち、それぞれのフレーム列は互いに異なる時間において取得されたものであるが、左室は周期的に運動する臓器であるため、それぞれのフレーム列において心拍時相が一致すれば実質的に同様の組織形態を有するとみなせる。

次に、図２および図３を用いて３つの断面の配列について説明する。図２および図３には対象組織の一例として左室６６が模式的に示されている。本実施形態において、第１配列が選択される場合、図２に示されるように、互いに交差関係をもった３つの断面６８，７０および７２が左室に対して設定される。図２においては直交関係をもって３つの断面が設定されている。このような３つの断面はプローブの当接位置および当接姿勢を変えることにより順次設定可能である。図３には、第２配列が示されている。この第２配列においては、左室６６に対して互いに平行関係をもって３つの断面７４，７６，７８が設定されている。それぞれの断面上には、左室における心筋の外縁と内縁とに対してそれぞれ観測点列が設定され、２つの観測点列の間を複数のラインでつなげることにより、複数の区画からなる連結体が定義される。３つの断面に対応して３つの連結体が定義されることになるが、それらの全体を同時に表すためにブルズアイ像が用いられる。

図４には区画群およびそれを展開したブルズアイ像が例示されている。（Ａ）には三次元的な配列を有する区画群が模式的に表されている。ただし、ここでは左室の下側がやや開いた状態となっている。上方から下方にかけて３つのステージを観念でき、ここにおいて上段は４つの区画Ｈ１〜Ｈ４で構成され、中段は６つの区画Ｍ１〜Ｍ６で構成され、下段は６つの区画Ｌ１〜Ｌ６で構成されている。このような三次元的関係を有する区画群を二次元平面上に展開したものが（Ｂ）に示すブルズアイ像８２である。上述した３つの段数に対応して、同心円状に３つの領域が存在し、ここで中央領域は４つの区画Ｈ１〜Ｈ４を有し、中央の領域は６つの区画Ｍ１〜Ｍ６を有し、外側の領域は６つの区画Ｌ１〜Ｌ６を有している。三次元的な形状を二次元展開したために各区画の形状サイズは修正あるいは変更されているが、大ざっぱに捉えて区画群全体の配列は維持されている。実際には左室の内部から各区画を眺めたような配列として同心円状のパターンをもってブルズアイ像８２が構成されている。ちなみに、（Ａ）に示す区画８４Ａは（Ｂ）に示す区画８４Ｂに対応しており、同じく（Ａ）に示す区画８６Ａは（Ｂ）に示す区画８６Ｂに対応している。

なお、本実施形態においては、３つの断面が設定されていたが、２つの断面あるいは４つ以上の断面が設定されてもよい。すなわち図示のようなブルズアイ像の表示を行う場合に限らず、広く展開イメージを表示する場合に本発明を適用することが可能である。

図５には、図１に示した表示部６２に表示される表示画像の一例が示されている。この表示画像は、合成画像１００、ブルズアイ像１０２、シェーマ像セット１０４、心電波形１０６および数値表示欄１０８を備えている。以下それぞれについて説明する。

合成画像１００は、図示される例において、Ｂモード画像（二次元断層画像）１０１Ａと、それに重ねて表示されるオーバーレイ像１０１Ｂとからなるものである。Ｂモード画像１０１Ａは白黒の濃淡画像であり、この例においては心臓の断面が表されている。特に左室の断面が表されている。オーバーレイ像１０１Ｂは、上述したようにＢモード画像に合成表示されるグラフィック画像であり、それは左室における心筋の外縁上に設定された複数の観測点列と、心筋の内縁上に設定された複数の観測点列とを備えている。それらの観測点列の全部または一部がユーザーにより設定される。ユーザーに設定された複数の観測点に基づいて必要に応じて補間処理等により自動的に観測点が付加される。図においては外縁上に設定される複数の観測点に対してスプライン処理を適用することによりトレースラインが生成されており、同じく、内縁上に設定された複数の観測点に対してスプライン処理を適用することによりトレースラインが生成されている。２つのトレースライン間にはその両端間に複数のラインが設定され、これによって複数の区画、図においては６つの区画が定義されている。

各区画は、少なくとも４つの観測点によって定義されるものであり、図示の例においては６つの点で各区画の形状が定義されている。もちろん、さらに多くの観測点によってその形状が定められてもよい。各観測点毎にフレーム間において上述したパターンマッチング処理が適用されフレーム間における二次元移動ベクトルが演算される。

オーバーレイ像１０１Ｂにおいて、複数の区画により連結体が構成され、それは具体的には６つの区画を連ねたものである。本実施形態においては、上述したように各区画毎に各時相で計測値が演算され、その計測値がカラーにより表現される。具体的には、個々の区画毎に設けられた計測値に対応するカラーが当該区画に与えられ、すなわち区画に対する着色処理が施される（図７参照）。ただし、その着色処理は背景としてのＢモード画像の観察を必要以上に妨げないような透明感をもった表示処理である。

ブルズアイ像１０２は、図示の例において、カラー表示処理が施された後のブルズアイ像である。上述したように、ブルズアイ像は複数の区画の集合体として構成され、各区画毎に求められた計測値が各区画の着色内容として表現されている。例えば符号１１４は１つの区画を表しており、その区画については当該区画について求められた計測値に対応する色素および輝度が与えられる。ちなみに各区画に対しては計測値が数値として表示されており（符号１１４参照）、数値として具体的に計測値を理解することも可能である。ただし、全体の計測値の傾向や変化を直感的に理解するためには上述したようなカラー処理を施すのが望ましい。

シェーマ像セット１０４は、本実施形態において、３つのシェーマ像により構成される。具体的には、左室に対して設定された３つの断面に対応する。３つのシェーマ像１１６，１１８，１２０が表示される。個々のシェーマ像は、それに対応する断面上に現れる標準的な組織形態を模式図として表したものであり、さらに、本実施形態においては、各シェーマ像は、対応する断面上に設定される複数の区画を表しており、さらに各区画に対してはカラー表示処理が施されている。オーバーレイ像１０１Ｂと、ブルズアイ像１０２と、シェーマ像セット１０４のそれぞれのカラー表示処理にあたっては同じカラー変換関数が利用されており、すなわち３つのイメージ間においてカラーは互いに対応づけられている。すなわち、ある区画に着目した場合、それぞれのイメージにおいては当該区画が同じカラーによって表現されている。もっとも、その場合におけるカラーの同一性はユーザーの観察上における同一性であれば足りる。

図５に示す例においては、表示された３つのシェーマ像１１６，１１８，１２０のそれぞれに対してカラー表示処理が施されている。この例においては、直交関係にある３つの断面に対応する３つのシェーマ像が表されており、そのうちで特定のシェーマ像１２０に対して枠マーカー１１２が付されている。この枠マーカー１１２はハイライト表示体あるいは特定のカラー表示体である。この枠マーカー１１２が付されているシェーマ像１２０は、左側に表示されている合成画像１００に対応するものであり、すなわち現在選択されている断面を表している。この図５に示す例において、枠マーカー１１２が付されている断面をブルズアイ像１０２において認識することはできないが、後に示す図１０においては、ブルズアイ像１０２において、選択されている断面に対応する区画のみがカラー表現されている。これによって断面を直感的に認識することが容易となっている。これについては後に再び説明する。

心電波形１０６は心電信号に基づいて生成され、その心電波形はシネメモリ上に記憶された３つの心電波形のうちで特定の波形を表している。いずれの波形を選択するのかについては適宜定めればよい。本実施形態においては、３つの断面間において心電波形が実質的に同一であることが前提となっているためである。符号１２４は時相バーを表しており、この時相バーは合成画像１００が取得されているタイミングを時間軸上において表したものである。すなわち時相バー１２４が表している時相に対応するものが合成画像１００であり、またブルズアイ像１０２およびシェーマ像セット１０４である。時相バー１２４を固定して、すなわち静止画像としてそれぞれのイメージを表示させることもでき、時相バー１２４をユーザーにより動かすことにより、任意の時相についてそれぞれのイメージを表示させることも可能である。すなわち時相バー１２４と各イメージの時相とが連動関係にある。また、自動的に時相を変えて動画像として各イメージを連動表示させることも可能である。この場合においては、時相バー１２４は時間軸方向に運動することになる。

符号１０８は上述したように数値表示欄を表しており、本実施形態においてはブルズアイ像１０２が１６個の区画を備えており、数値表示欄１０８においては各区画毎に計測された計測値が数値により表示される。

本実施形態においては、上述したように異常判定機能が備えられており、パターンマッチング処理においてあるいは計測値演算処理においてエラーが判定された場合には、そのエラー判定に係る区画を識別するためにエラーマーカー１２２が表示される。エラーマーカー１２２は、本実施形態においてシェーマ像セットにおけるエラー発生にかかる区画の近傍に表示される。もちろんそのようなグラフィックマーカーではなく、カラー表現を利用してエラーを積極的に表示するようにしてもよい。またブルズアイ像においてエラー区画を特定できるように表示を制御してもよい。これはＢモード画像上においても同様である。

以上のように、本実施形態によれば、合成画像とブルズアイ像との他に、シェーマ像セットが表示され、しかもそのシェーマ像セットに対しては一部またはその全部に対して他のイメージと同様のカラー表示処理が適用されるため、そのようなシェーマ像セットを経由してブルズアイ像あるいは合成画像を観察することにより、それらの画像間における区画対応関係を容易に理解することが可能である。また、シェーマ像セットの全てに対してカラー表示処理を適用するならば、それら３つのシェーマ像を観察するだけで、ブルズアイ像を構成する基礎となった計測値の空間的な分布やその変化を容易に認識することが可能となる。すなわちＢモード画像には表れていない他の２つの断面上における計測値の変化を画面上で確認することが可能となる。また本実施形態においては、枠マーカーの表示あるいは指定により、現在認識されているＢモード断層画像とそれに対応するシェーマ像との関係を即座に認識することが可能である。

次に、図８に基づいて、図１に示したＰＣ４０における画像処理についてより具体的に説明する。図８に示すフローチャートは、例えば３つの断面についての配列が選択されている状態において実行される。もちろん、そのような選択がフローチャートの実行途中で行われるようにしてもよい。またこのフローチャートはシネメモリからのデータの取り出し後に実行されるものである。

Ｓ１０においては、ユーザーによりビューが選択される。すなわち３つの断面における特定の断面が選択されることになる。この選択はシネメモリ上における特定のフレーム列の選択に相当する。Ｓ１２においては、選択されたフレーム列に基づいて静止画像あるいは動画像としてＢモード断層画像が表示される。ユーザーは、そのような断層画像を見ながら複数の観測点を指定するための基準フレーム（初期フレーム）の選択を行う。Ｓ１４においては、選択された基準フレーム上においてポインティングデバイスを利用して複数の観測点（トラッキングポイント）がマニュアルにより指定される。この場合においては、基準フレームに表れている心筋の外縁および内縁に沿って複数の観測点列がユーザーにより指定されることになる。必要に応じて、観測点列に対しては補間処理が適用され自動的に補間点が加えられる。

このように基準フレームに対して複数の観測点が指定されると、Ｓ１６においては、基準フレーム以降の各フレーム間において各観測点毎にパターンマッチング処理すなわちトラッキング処理が実行される。これについて図６を用いて説明すると、（Ａ）には前フレームが示されており、（Ｂ）には後フレームが示されている。前フレーム上において、今注目点１２６が特定されている場合、後フレームにおいて注目点１２６に対応する対応点１３０が特定され、それを基準として探索エリア１３２が定義される。探索エリア１３２内には元ウィンド１２８と比較される比較ウィンド１３４がその位置を変化させながら順次設定される。そして各ウィンド位置毎に２つのウィンド間における相関値が演算され、最も良い相関値が得られた位置をもって最良ウィンド位置が特定され、当該ウィンド位置の中心点をなす点が新たな注目点の位置として定められる。従って前フレーム上における注目点と後フレーム上における注目点との間の座標の差として二次元移動ベクトルが定義されることになる。このようなフレーム間におけるパターンマッチング処理が各フレーム毎にすなわち各時相毎に、加えて各観測点毎に実行されることになる。

図８に戻って、Ｓ１６において、本実施形態においてはトラッキングにおいてエラーが判定されており、すなわち例えば異常の相関値が得られた場合にエラーが判定されている。続いて、Ｓ１８においては、画面内にブルズアイ像および選択されたシェーマ像セットが表示される。すでに表示されている場合にはこの工程は省略される。選択されたシェーマ像セットは、上述した第１配列または第２配列の中からユーザーにより選択された配列に対応するものである。現在認識しているＢモード画像すなわち断面に対応するシェーマ像に対して枠マーカーが付加される。この状態が図９に示されている。現在においては１番目のフレーム列の処理が行われており、まだ計測値については演算されていないため、図９に示される各イメージに対してはカラー表示処理が未だ適用されていない。合成画像１００ＡはＢモード画像１０１Ａとオーバーレイ像１０１Ｃとで構成され、ここでオーバーレイ像１０１Ｃは複数の観測点とそれらをつなぐトレースラインを含み、さらに２つのトレースライン間をつなぐ複数のラインを含んでいる。ただし、各区画は定義されているものの、それに対する着色処理は施されていない。同様に、ブルズアイ像１０２およびシェーマ像セット１０４Ａにおいてもカラー表示処理は施されていない。ただし、枠マーカー１４２が特定のシェーマ像１４０に対して付されており、その枠マーカー１４２は現在注目している断面を表している。すなわち当該断面に対応するシェーマ像１４０に対しては枠マーカーが付加されている。そのような特定のシェーマ像１４０に対してはグレー表現が施され、あるいは計測値を表すカラーとは別の色づけがなされる。同様に、ブルズアイ像１０２Ａにおいても現在の断面に対応する複数の区画に対して識別処理が施されている（符号１３６参照）。断面に対応するシェーマ像１４０およびブルズアイ像１０２Ａ上の複数の区画に対応する識別処理は当該断面が直感的に認識できるものであればよく、着色処理あるいはグレー表現によらずに、何らかのマーカーを表示するようにしてもよい。例えば符号１３８で示すような断面を示すライン状のグラフィックを表現するようにしてもよい。

再び図８に戻って、Ｓ２０においては、フレーム毎に区画単位で計測が実行され、その計測結果がブルズアイ像等に反映される。計測値の反映は個々のフレームの計測値演算処理を行う都度実施するようにしてもよいし、全てのフレームについての計測値演算が終了した後に実施するようにしてもよい。３つの断面についてのＳ１０〜Ｓ２０の繰り返し数に応じてブルズアイ像においてカラー表示処理が施されているエリアが拡大していくことになる。

Ｓ２２においては、３つの断面すなわち３つのビューのうちで処理を行っていないものがあるか否かが判断され、そのような未処理のビューがあればＳ１０以降の各工程が繰り返し実行される。一方、Ｓ２２においてそのようなビューがないとするならばＳ２４が実行される。

図１０には、図８に示したＳ２０の工程が１番目の断面に対して適用された後の状態が示されている。すなわち、ブルズアイ像１０２Ｂにおいては、現在選択されている断面に対応する６つの区画に対してのみカラー表示処理が施されている（１４４参照）。同じく、シェーマ像セット１０４Ｂにおいては特定のシェーマ像１４０に対してのみカラー表示処理が施されており、それを表すために枠マーカー１４２が表示されている。心電波形１０６Ｂにおいては、現在表示している時相が時間軸上において時相マーカー１２４によって表されている。その合成画像１００Ｂはその時相に対応する断層画像を表しており、具体的には、その合成画像１００Ｂは上述したようにＢモード断層画像１０１Ａとカラー表示処理が施されたオーバーレイ像１０１Ｂとにより構成されている。オーバーレイ像１０１Ｂは透明感をもってペイント処理が施された画像であり、背景としての組織構造をオーバーレイ像１０１Ｂを介して観察することが可能である。

従って、図８に示したＳ１０〜Ｓ２０の処理を繰り返すと、ブルズアイ像およびシェーマ像セットにおいてカラー表示処理される領域が増大していくこととなり、最終的には図５に示したような表示画像を得ることが可能となる。もちろん、ユーザーの選択により、図１０に示したような特定の断面だけに対してカラー表示処理が施された表示内容を構成することも可能である。すなわち一部処理モードおよび全部処理モードのいずれをも選択することが可能である。

図８に戻って、Ｓ２４においては、ユーザーにより必要に応じて時相が指定され、これによって当該時相に対応する表示内容が画面表示されることになる。その場合においては時相をマニュアルで変更するようにしてもよいし、時相を連続的にすなわち自動的に切り替えるようにしてもよい。

上記実施形態においては、単一カラー表示モードおよび全部カラー表示モードのいずれを選択した場合であっても、カラー表示処理が施されたオーバーレイ像、ブルズアイ像およびシェーマ像セットを得ることができるので、ユーザーはそのようなイメージ上におけるカラー表示処理結果を参照することによりイメージ間における区画の対応関係を直感的に認識でき、特に三次元空間内における断面の位置を容易に把握することが可能である。

２０ シネメモリ、４２ トラッキング部、４４ 計測部、４５ 異常判定部、４６ オーバレイ像生成部、４８ ブルズアイ像生成部、５０ シェーマ像処理部、６０ 表示処理部。

Claims (7)

1. 生体内の運動組織に対して設定された複数の断面に対応する複数のフレーム列を処理する超音波画像処理装置において、
   前記各フレーム列を構成する複数のフレームを時間軸方向に順次解析することにより前記各断面上に定義される複数の区画について区画ごとに且つ時相ごとに運動評価値を演算する演算手段と、
   前記複数の断面上に定義された区画群の三次元配列を表す展開イメージを生成する手段であって、前記展開イメージの全部又は一部に対して第１の区画別表示処理を施す第１のイメージ生成手段と、
   前記各断面上の組織形態及び複数の区画を表す模擬イメージセットを生成する手段であって、前記模擬イメージセットの全部又は一部に対して第２の区画別表示処理を施す第２のイメージ生成手段と、
   を含み、
   前記第１の区画別表示処理及び前記第２の区画別表示処理は、区画ごとに且つ時相ごとに演算される運動評価値に応じて個々の区画の表示態様を変化させる処理であり、
   前記第１の区画別表示処理後の展開イメージと共に前記第２の区画別表示処理後の模擬イメージセットが表示され、
   前記演算手段は、
   前記各フレーム列におけるフレーム間において複数の観測点の二次元移動を演算する手段と、
   前記複数の観測点の二次元移動に基づいて区画単位で運動評価値を演算する手段と、
   前記複数の観測点の二次元移動及び前記区画単位の運動評価値の少なくとも一方に基づいて、前記複数の観測点の中でエラー点を判定する手段と、
   を含み、
   前記第２のイメージ生成手段は、前記模擬イメージセットに対して前記エラー点に対応する区画が識別されるように識別処理を施す、ことを特徴とする超音波画像処理装置。
2. 請求項１記載の装置において、
   前記複数の断面の中から選択された選択断面に対応するフレーム列中の各フレームに基づいて断層画像を形成する断層画像形成手段と、
   前記断層画像に合成され且つ前記選択断面上の複数の区画を表すオーバーレイ画像を生成する手段であって、前記オーバーレイ画像に対して第３の区画別表示処理を施す第３のイメージ生成手段と、
   を含み、
   前記第３の区画別表示処理は、区画ごとに且つ時相ごとに演算される運動評価値に応じて個々の区画の表示態様を変化させる処理であり、
   前記第１の区画別表示処理後の展開イメージ及び前記断層画像に対して前記第３の区画別表示処理後のオーバーレイ画像を合成することによって生成される合成画像と共に、前記第２の区画別表示処理後の模擬イメージセットが表示される、ことを特徴とする超音波画像処理装置。
3. 請求項１又は２記載の装置において、
   前記第１のイメージ生成手段は、一部処理モードにおいて、前記展開イメージに表示される区画群の中で前記複数の断面の中から選択された選択断面に対応する複数の区画に対して前記第１の区画別表示処理を施し、
   前記第２のイメージ生成手段は、前記一部処理モードにおいて、前記模擬イメージセットの中で前記選択断面に対応する模擬イメージに対して前記第２の区画別表示処理を施す、ことを特徴とする超音波画像処理装置。
4. 請求項１又は２記載の装置において、
   前記第１のイメージ生成手段は、全部処理モードにおいて、前記展開イメージに表示される区画群の全部に対して前記第１の区画別表示処理を施し、
   前記第２のイメージ生成手段は、前記全部処理モードにおいて、前記模擬イメージセットの全部に対して前記第２の区画別表示処理を施す、ことを特徴とする超音波画像処理装置。
5. 請求項１記載の装置において、
   前記エラー点に対応する区画を識別するための識別処理は、エラーマーカーの表示である、ことを特徴とする超音波画像処理装置。
6. 請求項２記載の装置において、
   前記第１乃至第３の区画別表示処理は、前記運動評価値に応じて互いに同じ色相及び輝度を与える処理である、ことを特徴とする超音波画像処理装置。
7. 超音波画像処理プログラムが、生体内の運動組織に対して設定された複数の断面に対応する複数のフレーム列を処理する超音波画像処理装置に、
   前記各フレーム列を時間軸方向に順次解析することにより前記各断面上に定義される複数の区画について区画ごとに且つ時相ごとに運動評価値を演算する機能と、
   前記複数の断面上に定義された区画群の三次元配列を表す展開イメージを生成する機能であって、前記展開イメージの全部又は一部に対して第１の区画別表示処理を施す機能と、
   前記各断面上の組織形態及び区画列を表す模擬イメージセットを生成する機能であって、前記模擬イメージセットの全部又は一部に対して第２の区画別表示処理を施す機能と、
   を実現させるためのものであり、
   前記第１の区画別表示処理及び前記第２の区画別表示処理は、区画ごとに且つ時相ごとに演算される運動評価値に応じて個々の区画の表示態様を変化させる処理であり、前記第１の区画別表示処理後の展開イメージと共に前記第２の区画別表示処理後の模擬イメージセットが表示され、
   前記運動評価値を演算する機能は、
   前記各フレーム列におけるフレーム間において複数の観測点の二次元移動を演算する機能と、
   前記複数の観測点の二次元移動に基づいて区画単位で運動評価値を演算する機能と、
   前記複数の観測点の二次元移動及び前記区画単位の運動評価値の少なくとも一方に基づいて、前記複数の観測点の中でエラー点を判定する機能と、
   を含み、
   前記模擬イメージセットに対して前記エラー点に対応する区画が識別されるように識別処理が施される、ことを特徴とする超音波画像処理プログラム。

Images