JPWO2012164919A1 - 超音波画像生成装置および超音波画像生成方法 - Google Patents

Abstract

超音波プローブの位置取得精度の方向依存性を抑制する超音波画像生成装置（１０）であって、複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定部（１０Ａ）と、複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの移動ベクトルを、第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定部（１０Ｂ）と、第一移動推定部（１０Ａ）が推定した第一移動ベクトルと第二移動推定部（１０Ｂ）が推定した第二移動ベクトルとを、第一移動ベクトルまたは第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、合成移動ベクトルと複数の画像とを用いて被検体の超音波診断画像を構成する位置再構成部（１０Ｃ）とを備える。

Description

本発明は、超音波画像生成装置および超音波画像生成方法に関する。特に、超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成装置および超音波画像生成方法に関する。

生体の画像診断装置としては、エックス線診断装置、ＭＲ（磁気共鳴）診断装置、あるいは、超音波診断装置が普及している。超音波診断装置は非侵襲性及び実時間性などの利点を持ち、検診も含めて広く診断に利用されている。超音波診断装置の診断部位は、心臓または頚動脈などの血管、肝臓、あるいは、乳房など多岐に渡る。その中で、近年の動脈硬化罹患者数の増加などから、頚動脈は特に重要度の高い診断部位の一つである。

以下、頚動脈を例として説明する。超音波による頚動脈の診断では、内中膜複合体の厚み（ＩＭＴ：Ｉｎｔｉｍａ Ｍｅｄｉａ Ｔｈｉｃｋｎｅｓｓ）またはプラークの有無などを総頚動脈から内頚動脈、あるいは外頚動脈に沿って観察する。このとき、超音波プローブを複数の方向から走査し、血管内を取りこぼしのないように観察する必要がある。しかし、上記の方法によると、血管構造の把握が困難で検査に時間がかかる、あるいは、観察結果が手技に依存して再現性確保が困難であるなどの問題がある。この問題を解決すべく、走査画像から構築した血管の３次元像に基づく診断に対するニーズが高まっている。

走査した超音波画像から３次元像を構築する際には、超音波画像取得時の超音波プローブの位置情報（位置と向き）を取得し、それぞれの超音波画像を位置情報に基づいて３次元空間内にマッピングする。位置情報を推定する方法として、超音波プローブに取り付けたマーカーをカメラで撮影し、撮影した画像におけるマーカーの位置と形状の変化に基づいて超音波プローブの位置を推定する方法がある（例えば、特許文献１）。

特開２０１０−７５５０３号公報

しかしながら、超音波プローブの位置取得精度には方向依存性があるという問題がある。

そこで本発明の目的は、かかる問題に鑑みてなされたものであって、超音波プローブの位置取得精度の方向依存性を抑制する超音波画像生成装置を提供することにある。

上記目的を達成するために、本発明の一態様に係る超音波画像生成装置は、超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成装置であって、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定部と、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定部と、前記第一移動推定部が推定した前記第一移動ベクトルと前記第二移動推定部が推定した前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る超音波画像生成装置により、超音波プローブの任意の移動方向に対して高精度な位置情報が取得でき、従来の超音波画像生成装置よりも高精度な３次元像が構築できる。

図１Ａは、実施の形態１の超音波画像生成装置の一例の構成図である。 図１Ｂは、実施の形態１の超音波画像生成装置の他の一例の構成図である。 図２は、画像処理による移動ベクトルの取得方法についての説明図である。 図３は、実施の形態１の超音波画像生成装置の動作を示すフローチャートである。 図４は、位置再構成部の構成を示す図である。 図５は、基準方向と移動ベクトルとのなす角の説明図である。 図６は、位置再構成手段の動作を示すフローチャートである。 図７は、移動ベクトルを基準方向成分、および、直交成分に分解する方法を示す図である。 図８は、移動ベクトルを絶対座標空間成分に分解する方法を示す図である。 図９は、複数のカメラによる位置情報取得方法の説明図である。 図１０は、実施の形態１の超音波画像生成装置の効果を示す図である。 図１１は、実施の形態２の超音波画像生成装置の効果を示す図である。 図１２は、実施の形態２の超音波画像生成装置の動作を示すフローチャートである。 図１３は、カメラ配置、および、カメラ配置のための補助情報についての説明図である。 図１４Ａは、実施の形態２の超音波画像生成装置の変形例の動作を示すフローチャートである。 図１４Ｂは、フィードバック部を含む超音波画像生成装置の一例の構成図である。 図１５は、従来の超音波画像生成装置の一例の構成図である。 図１６は、従来の超音波画像生成装置の動作を示すフローチャートである。 図１７は、従来の超音波画像生成装置の位置取得方法についての説明図である。 図１８は、超音波画像生成方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した超音波診断装置に関し、以下の問題が生ずることを見出した。

走査時に取得した超音波プローブの位置情報に基づいて３次元像を構築する従来の超音波診断装置について図１５と図１６とを参照して説明する。

図１５は従来の超音波診断装置１５０１の一例の構成図である。図１５に示されるように、超音波診断装置１５０１は、超音波プローブ１０１と、送信部１０２と、受信部１０３と、送受信制御部１０４と、超音波画像生成部１０５と、画像メモリ１５０６と、位置取得部１５０７と、位置再構成部１５０８と、表示部１５０９とを備える。

超音波プローブ１０１内に配置された圧電素子などのエレメントは、送信部１０２から出力される駆動信号に基づいて超音波信号を発生する。超音波信号は、血管壁や筋肉など被検体の生体内の構造により反射され、反射成分の一部は超音波プローブ１０１に受信される。

受信部１０３は、受信した反射信号に対して、増幅、Ａ／Ｄ（アナログ／デジタル）変換、各エレメントの信号の遅延加算処理などを順に行い、受信ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を生成する。

送受信制御部１０４は、送信部１０２、および、受信部１０３の動作を制御する。送信部１０２に対しては、所定の走査を行うために駆動電圧の切り替えや送信周波数の設定などが行われる。受信部１０３に対しては、受信ビームフォーミングを実施するための遅延時間の設定などが行われる。

超音波画像生成部１０５は、受信ＲＦ信号を超音波画像に変換し、画像メモリ１５０６に格納する。生成される超音波画像としては、信号強度が輝度の大きさで表されるＢモード画像、または、受信ＲＦ信号のドップラー効果に基づいて計算した血流や組織の運動速度を示すドップラー画像などがある。

位置取得部１５０７は超音波プローブの位置情報ＬｏｃＩｎｆ０を取得し、位置再構成部１５０８へ出力する。位置取得部１５０７は例えば、カメラにより実現される。

位置再構成部１５０８は、位置取得部１５０７から受信した位置情報ＬｏｃＩｎｆ０に基づいて画像メモリ１５０６に格納された超音波画像を３次元空間内にマッピングし、撮像対象の３次元像ＰｒｏｃＩｍｇ０を構成する。

表示部１５０９は、３次元像ＰｒｏｃＩｍｇ０をモニタなどの表示デバイス上に表示する。

図１６は、従来の超音波診断装置１５０１の動作を示すフローチャートである。

従来の超音波診断画像１５０１は、ステップＳ１６０１において超音波画像を取得する。ステップＳ１６０２において、ステップＳ１６０１で取得した超音波画像に対応する位置情報を位置取得部１５０７から取得する。ステップＳ１６０３において、超音波画像の取得が終了したか否か判定する。ステップＳ１６０３において超音波画像の取得が終了したと判定されるまで、ステップＳ１６０１及びステップＳ１６０２の処理を繰り返す。ステップＳ１６０４において、取得した超音波画像を位置情報に基づいて３次元空間内にマッピングする。ステップＳ１６０５において超音波画像の３次元像を表示する。

３次元像に基づく診断の精度を向上させるためには、高精度な３次元像が不可欠である。高精度な３次元像を得るためには、位置情報を高精度に取得する必要がある。しかしながら、従来の超音波診断装置では、単一の位置取得手段による情報に基づいて位置情報を決定する。位置取得手段の位置情報取得精度に方向依存性がある場合に、位置取得精度の低い方向における位置情報の精度が低下し、３次元像の構築精度が低下するという問題がある。

位置情報の取得方法としては、カメラなど位置センサーによる方法と、超音波画像を利用した画像処理による方法とがある。以下に、カメラ、および、画像処理による位置推定を例に、位置分解能の方向依存性について説明する。

図１７は、従来の超音波画像生成装置の位置情報取得方法についての説明図である。

図１７の（ａ）は、カメラによる位置情報取得方法についての説明図である。カメラはｘ軸方向に向けて配置され、超音波プローブに取り付けられた光学マーカー（マーカー）をトラッキングし、マーカーの形状または姿勢変化量に基づいてマーカーの位置情報を決定する。同一距離を移動した際のマーカーの形状または姿勢の変化量はマーカーの移動方向に依存して異なり、ｘ軸方向では、ｙ軸方向またはｚ軸方向に比べて変化量が小さい。変化量が小さいと位置情報の分解能が低下する。そのため、カメラによる位置情報取得では、ｘ軸方向、すなわち、カメラの奥行き方向の分解能が低下する。

図１７の（ｂ）は、画像処理による位置情報取得方法についての説明図である。本方式では、連続的に走査した超音波画像間の位置ずれ量を、画像間の相関などに基づいて決定することで、画像間の相対的な位置関係を決定する。例えば、（Ｎ−１）番目とＮ番目の連続する２枚のＢモード画像の位置ずれ量を調べることで、（Ｎ−１）番目とＮ番目の画像間での移動ベクトルが決定できる。しかしながら、画像の相関に基づく方法では、画像平面内（ｘ軸とｚ軸が作る平面）の位置ずれ量に比べて、プローブの進行方向（ｙ軸方向に相当）の分解能が低下する。

このように、単一の手法により取得した位置情報では、分解能に方向依存性があるため、プローブを任意方向に移動しながら撮像する際に、位置情報の分解能が低下する方向が存在する。超音波画像からの３次元像の構築では、超音波画像を位置情報に基づいて３次元空間内にマッピングするため、位置情報の分解能低下に起因して、３次元像の構築精度が低下するという問題がある。

そこで本発明の目的は、かかる問題に鑑みてなされたものであって、超音波プローブの位置取得精度の方向依存性を抑制する超音波画像生成装置を提供することにある。

このような問題を解決するために、本発明の一態様に係る超音波画像生成装置は、超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成装置であって、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定部と、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定部と、前記第一移動推定部が推定した前記第一移動ベクトルと前記第二移動推定部が推定した前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成部とを備える。

これによれば、推定精度の方向依存性が異なる第一及び第二推定方法を用いて複数の移動ベクトルを推定し、それらを合成することにより、第一推定方法において推定精度が比較的低い方向の成分を、第二推定方法による推定精度が比較的高い方向の成分と合成することで、超音波プローブの移動ベクトルを算出することができる。その際、推定精度が低い方の成分の重みを小さく、推定精度が高い方の成分の重みを大きくすることにより、すべての方向において精度が高い移動ベクトルを算出することができる。よって、超音波プローブの位置取得精度の方向依存性を抑制することができる。

また、例えば、前記第一移動推定部は、前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定する。

これによれば、２枚の画像のずれを解析し、超音波プローブの移動量を推定することができる。これにより画像に対応する超音波信号を送信した被検体の断面を含む平面内の超音波プローブの移動を比較的高い精度で検出することができる。

また、例えば、前記第一移動推定部は、前記複数の画像のうちの２枚の画像を構成する画素値の相関に基づいて、前記２枚の画像間の画像のずれ量を検出することで、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記超音波プローブの移動ベクトルを推定する。

これによれば、２枚の画像を構成する画素を解析することで、対応する画素または複数の画素の集まりである領域の移動量を算出し、当該移動量から超音波プローブの移動量を推定することができる。これにより画像に対応する被検体の断面を含む平面内の超音波プローブの移動を比較的高い精度で検出することができる。

また、例えば、前記位置再構成部は、前記超音波プローブの移動方向と、前記第一移動推定部または前記第二移動推定部における推定の際に基準となった基準方向とのなす角度が大きいほど、前記第一移動ベクトルまたは前記第二移動ベクトルの重みを大きくし、前記合成移動ベクトルを算出することで、前記超音波診断画像を構成する。

これによれば、推定方法において推定精度が比較的高い方向の成分の重みを大きく設定した上で、推定された位置ベクトルを重み付けして合成位置ベクトルを生成することで、合成移動ベクトルの精度を高くすることができる。よって、超音波プローブの位置取得精度の方向依存性を抑制することができる。

また、例えば、前記位置再構成部は、前記超音波プローブの移動方向と、前記第一移動推定部における前記基準方向である推定精度が低い方向とのなす角度が大きいほど、前記第一移動推定部が推定した前記移動ベクトルの重みを大きくし、前記合成移動ベクトルを算出することで、前記超音波診断画像を構成する。

これによれば、画像解析による超音波プローブの移動ベクトルの推定において、画像に対応する被検体の断面を含む平面内の方向成分の重みを大きく設定した上で、合成位置ベクトルを生成することで、合成移動ベクトルの精度を高くすることができる。

また、例えば、前記第一移動推定部及び前記第二移動推定部のうちの少なくとも一方は、前記超音波プローブに取り付けられた光学マーカーをカメラにより撮像し、撮像された前記光学マーカーの位置または形状に基づいて、前記超音波プローブの位置および角度を算出する。

これによれば、光学マーカーとカメラとにより超音波プローブの移動ベクトルを推定することができる。これにより、カメラの撮像面に平行な平面内の超音波プローブの移動を比較的高い精度で検出できる。

また、例えば、前記位置再構成部は、前記超音波プローブの移動方向と、前記光学移動推定部における基準方向である前記カメラの撮像面の法線方向とのなす角度が大きいほど、前記光学移動推定部が推定した前記移動ベクトルの重みを大きくし、前記移動ベクトルを合成することで、前記複数の画像を構成する。

これによれば、光学マーカーとカメラとによる超音波プローブの推定において、カメラの撮像面に平行な平面内の方向成分の重みを大きく設定した上で、合成位置ベクトルを生成することで、合成移動ベクトルの精度を高くすることができる。

また、例えば、前記第一移動推定部は、前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記超音波プローブの移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定し、前記第二移動推定部は、前記超音波プローブに取り付けられた光学マーカーをカメラにより撮像し、撮像された前記光学マーカーの位置または形状に基づいて、前記超音波プローブの位置および角度を算出することで、前記超音波プローブの移動ベクトルを推定する。

これによれば、画像処理による超音波プローブの位置推定と、光学マーカー及びカメラによる超音波プローブの位置推定とを併用し、それぞれの方法により推定された超音波プローブの位置ベクトルを合成して、合成位置ベクトルを生成することができる。

また、例えば、前記超音波画像生成装置は、さらに、前記第一移動推定部及び前記第二移動推定部における前記基準方向が互いに略直交するように、操作者による前記基準方向の変更のための操作を促すための情報を提示する配置アシスト部を備える。

これによれば、推定方法における推定精度が低い方向を、他の推定方法における推定精度が高い方向と一致させることにより、合成位置ベクトルの推定精度の方向依存性を抑制するように、操作者が推定方法の方向を設定することができる。よって、超音波プローブの位置取得精度の方向依存性を抑制することができる。

また、本発明の一態様に係る超音波画像生成方法は、超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成方法であって、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定ステップと、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定ステップと、前記第一移動推定ステップにおいて推定された前記第一移動ベクトルと前記第二移動推定ステップにおいて推定された前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成ステップとを含む。

これにより、上記の超音波画像生成装置と同様の効果を奏する。

また、本発明の一態様に係る超音波画像生成方法は、前記第一移動推定ステップにおいて、前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定する。

これにより、上記の超音波画像生成装置と同様の効果を奏する。

以下、本発明の一態様に係る超音波画像生成装置について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１Ａは、本発明の実施の形態１の超音波画像生成装置１０の構成図である。

図１Ａに示されるように、本発明の実施の形態１の超音波画像生成装置１０は、第一移動推定部１０Ａと、第二移動推定部１０Ｂと、位置再構成部１０Ｃとを備える。

第一移動推定部１０Ａは、複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの超音波プローブの移動ベクトルを、第一推定方法により推定する。

第二移動推定部１０Ｂは、超音波プローブの移動ベクトルを、第一の推定方法とは推定精度の方向依存性が異なる第二推定方法により推定する。

位置再構成部１０Ｃは、第一移動推定部及び第二移動推定部が推定した移動ベクトルを、超音波プローブの移動方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、合成移動ベクトルに従って複数の画像を構成することで、被検体の超音波診断画像を生成する。

図１Ｂは、本発明の実施の形態１の超音波画像生成装置１１の構成図である。

図１Ｂに示されるように、超音波画像生成装置１１は、超音波プローブ１０１、送信部１０２、受信部１０３、送受信制御部１０４、超音波画像生成部１０５、画像メモリ１０５、位置取得部１１１、画像位置推定部１１２、位置再構成部１１３、および、表示手段１１４を有する。超音波信号を送受信し、Ｂモード画像またはドップラー画像を生成するための処理を行って超音波画像を生成する機能ブロックの動作は従来の超音波診断装置１５０１と同様であるため、同一の符号を付し説明を省略する。画像位置推定部１１２は、第一移動推定部１０Ａに相当する。位置取得部１１１は、第二移動推定部１０Ｂに相当する。

超音波プローブ１０１としては、少なくとも一列の超音波探触子から構成され２次元画像を得るリニア型プローブ、一列の超音波探蝕子が揺動あるいは平行移動して２次元画像を連続的に生成することにより３次元画像を得る揺動３Ｄ型プローブ、あるいは、２次元に配列された探蝕子により３次元画像を取得するマトリクス型プローブなどが使用できる。本実施の形態ではリニア型プローブを例に説明する。

位置取得部１１１は、超音波プローブ１０１の位置情報ＬｏｃＩｎｆ１を取得して位置再構成部１１３に入力する。位置情報の取得タイミングと超音波画像の取得タイミングとを一致させるため、両者は同期しながら、あるいは、それぞれが既知の基準クロックに従って動作する。位置情報は、３次元空間内での位置（ｘ、ｙ、ｚ軸の座標値に相当する）と向き（３軸の各軸周りの回転量を示す情報であり、３次元空間における超音波プローブの姿勢を決定する情報）の計６個のパラメータを含む。位置取得部１０１としては、カメラなどの光学方式、磁気センサー、ジャイロ、加速度センサー、あるいはＧＰＳなど多様な方式を使用可能である。本実施の形態ではカメラを例に説明する。

画像位置推定部１１２は、画像メモリ１１５に保持した超音波画像に基づき、画像間の相関に基づいて画像間の移動ベクトルＭＥＩｎｆを推定し、位置再構成部１１３に入力する。

図２は、画像処理による移動ベクトルの取得方法についての説明図である。図２の（ａ）はＮ番目に取得された超音波画像、図２の（ｂ）の実線は（Ｎ＋１）番目の超音波画像をそれぞれ示す。Ｎ番目から（Ｎ＋１）番目の画像間には、図２の（ｂ）内に示された位置ずれベクトルに相当する位置ずれが存在する。この位置ずれは、画像全体、あるいは、画像を分割した評価単位毎の評価値に基づいて決定される。例えば、評価単位の間での画素値の差分の総和を評価値として、Ｎ番目の画像内における特定位置の評価単位に対して、（Ｎ＋１）番目の画像内で評価値が最小となる評価単位を探索し、両評価単位の位置ずれを算出することにより決定されてもよい。また、評価単位間での画素値の相関や相互情報量などの尺度を用いた評価により決定されてもよい。また、ＳＩＦＴ法（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、あるいは、ＳＮＡＫＥＳ法などの動的輪郭モデルに基づいて特徴点を検出し、複数の特徴点の位置ずれの平均や中間値などから位置ずれベクトルが決定されてもよい。また、検出した特徴点から輪郭の重心などを計算し、重心の位置ずれを位置ずれベクトルとしてもよい。評価単位としては、例えば、血管のように輪郭が比較的明瞭な部位を撮像する際には、画像内で撮像対象の輪郭を抽出して、抽出された輪郭を含む領域を用いてもよい。さらには、抽出された輪郭上の点を特徴点として位置ずれベクトルを求めてもよい。図２の（ｂ）に示される位置ずれベクトルは画像平面内のベクトルであるため、Ｎ番目画像の位置情報に基づいて、位置ずれベクトルを３次元空間内でのベクトルに変換する。以降、２枚の画像間の位置ずれを示す３次元空間内のベクトルを移動ベクトルと呼ぶ。図２の（ｃ）は、図２の（ｂ）の位置ずれベクトルを移動ベクトルに変換した結果を示す。３次元空間内での超音波プローブの移動方向と移動距離とが、移動ベクトルに相当する。なお、移動ベクトルへの変換は位置再構成部１１３で行ってもよい。また、位置取得部１１１において取得したＮ番目画像と（Ｎ＋１）番目画像の位置情報の差分からも同様に移動ベクトルが算出できる。

位置再構成部１１３は、位置情報ＬｏｃＩｎｆ１と移動ベクトルＭＥｉｎｆとを重み付けして決定した位置情報に基づいて超音波画像を３次元空間内にマッピングし、３次元像を構築して、表示用の３次元像ＰｒｏｃＩｍｇ１を生成する。最後に、表示部１１４は３次元像ＰｒｏｃＩｍｇ１をモニタなどの出力デバイスに表示する。本願発明の超音波画像生成装置１１は位置取得部１１１、画像位置推定部１１２、および、位置再構成部１１３の動作に特徴を有するため、以下では主にこれらの機能ブロックの動作について説明し、その他の機能ブロックについては適宜説明を省略する。

図３は、超音波画像生成装置１１の動作を示すフローチャートである。図３に示されるように、超音波画像生成装置１１は、ステップＳ１０１において超音波画像を取得する。ステップＳ１０２において、ステップＳ１０１で取得した超音波画像に対応する位置情報を位置取得部１０１から取得する。ステップＳ１０３において、超音波画像の取得が終了した否かを判定する。ステップＳ１０３において、超音波画像の取得が終了したと判定されるまで、ステップＳ１０１及びステップＳ１０２の処理を繰り返す。ステップＳ１０４において、超音波画像間の相対的な位置ずれ量を画像処理により推定し、移動ベクトルを算出する。ステップＳ１０５において、位置取得部１１１から取得した位置情報に基づき算出した移動ベクトルと、画像処理により取得した移動ベクトルに基づき、両者を重み付けして超音波画像の位置情報を決定する。ステップＳ１０６において、各超音波画像を、ステップＳ１０５で決定した位置情報に基づいて超音波画像を３次元座標空間内にマッピングして３次元像を構築する。ステップＳ１０７において、超音波画像の３次元像を表示する。

図４は、位置再構成部１１３の構成を示すブロック図である。位置再構成部１１３は、方向差分取得部１１３１、重み決定部１１３２、および、３次元像構築部１１３３とを有する。

方向差分取得部１１３１は、位置取得部１１１において取得した移動ベクトルと基準方向との方向差分Ｄｉｆｆ、すなわち、両ベクトルのなす角を算出する。ここで、基準方向とは、位置取得部１１１に対する特定の方向を示すものである。基準方向は、例えば、カメラの奥行き方向である。また、基準方向は、カメラの撮像面の法線方向としてもよい。

重み決定部１１３２は、位置取得部１１１、および、画像位置推定部１１２で取得した移動ベクトルを、方向差分Ｄｉｆｆに基づいて重み付けして最終的な移動ベクトルを決定する。さらに、処理対象画像の直前画像の位置情報に移動ベクトルを加算して、処理対象画像の位置情報を決定し、位置情報ＬｏｃＩｎｆ２として３次元像構築部１１３３に入力する。

３次元像構築部１１３３は、位置情報ＬｏｃＩｎｆ２に基づいて超音波画像を３次元空間内にマッピングし、３次元像を構築する。

なお、位置情報における方向を、クオータニアンなど加減算の可能な表現形式を用いる際には、位置情報そのものを加減算できるが、オイラー角などの表現形式を用いる際には、加減算が可能な形式に変換した上で位置情報を加減算する。また、位置取得部１１１ではマーカーの基準位置に対する位置情報が得られるため、超音波画像を３次元空間内にマッピングする際には、超音波画像上の画素位置とマーカーの基準位置及び向きとのオフセットを考慮して回転および平行移動を行う。

図５は、基準方向と移動ベクトルとのなす角の説明図である。ここでは、カメラにおける位置分解能が低下するカメラの奥行き方向を基準方向として設定する。また、両者のなす角をθとすると、角度θが方向差分Ｄｉｆｆに相当する。なお、角度θを決定する際の移動ベクトルとしては、カメラから得た移動ベクトルを使用する。重み決定部１１３２は、（式１）に例示する方法などにより、角度θに基づいて、位置取得部１１１から得られた移動ベクトルと、画像処理により得られた移動ベクトルとの重み付けを行う。

ここで、mv_3は重み付け後の移動ベクトル、mv_1は位置取得部から得られた移動ベクトル、mv_2は画像処理により得られた移動ベクトルを示す。カメラにおいては、奥行き方向の位置分解能が低いため、移動ベクトルが奥行き方向に近づく、すなわち、cosθが１に近づくほどmv_1の重みが小さくなる。

なお、移動ベクトルの算出方法は（式１）の方法に限られない。θが変化する際に、単調増加または単調減少するような関数を使用することも可能である。

図６は、位置再構成部１１３の動作を示すフローチャートである。位置再構成部１１３は、ステップＳ１０３１において、位置取得部１０１から得られた（Ｎ−１）番目画像とＮ番目画像との位置の差分である移動ベクトル１を算出する。ステップＳ１０３２において、（Ｎ−１）番目画像とＮ番目画像との相関に基づき、両者の位置ずれ量を示す移動ベクトル２を算出する。ステップＳ１０３３において、移動ベクトル１と基準方向とのなす角である角度θを算出する。ステップＳ１０３４において、角度θに基づいて移動ベクトル１と移動ベクトル２とを重み付けし、Ｎ番目画像の最終的な移動ベクトルである移動ベクトル３を決定する。ステップＳ１０３５において、（Ｎ−１）番目画像の位置ベクトルに移動ベクトル３を加算して、Ｎ番目画像の位置を決定する。ここで、位置ベクトルとは、画像の位置と向きにより決定されるベクトルである。なお、角度θの算出は、（Ｎ−１）番目画像の移動ベクトル３と基準方向とのなす角に基づいて決定してもよい。また、先頭フレームについては、移動ベクトル１を移動ベクトル３とみなす。ステップＳ１０３６において、位置情報に基づいて超音波画像を３次元空間内にマッピングし、３次元像を構築する。

次に、角度θに基づく重み付け方法の他の例について説明する。まず、（式１）の方法では角度θに基づいて移動ベクトル１と移動ベクトル２とをまとめて重み付けしたが、移動ベクトルを方向成分に分解した上で重み付けしてもよい。

図７は、移動ベクトルを基準方向に基づいて分解する例を示す。図７の（ａ）は、移動ベクトル１と基準方向との関係を示す。図７の（ｂ）は、移動ベクトル１を基準方向成分、基準方向の第１直交成分、および、基準方向の第２直交成分の３つの成分に分解した例を示す。基準方向成分は、カメラの位置分解能低下の影響が顕著であるため、他の２方向と異なる重み付けを行う。（式２）に、重み付けの例を示す。

ここで、mv_1、mv_2、mv_3の各ベクトルの定義は（式１）と同一である。[ref]、[crs1]、[crs2]は、それぞれ、移動ベクトルの基準方向成分、基準方向の第１直交成分、および、基準方向の第２直交成分を示す。また、αは第１直交成分に対する重み、βは第２直交成分に対する重みを示す。なお、αまたはβを０とすることで、対応する方向の成分の寄与をなくす（全く寄与しないようにする）ことも可能である。

図８は、移動ベクトルを絶対座標空間の成分に分解する例を示す。絶対座標空間は、予め設定した互いに直交する３軸（図８のｘ軸、ｙ軸、ｚ軸）により決定される３次元空間であり、移動ベクトル１は、ｘ、ｙ、ｚの３軸方向の成分に分解される。このとき、各軸方向の成分は、それぞれの軸と基準方向Ｃ（カメラの基準方向）および基準方向Ｉ（画像処理の基準方向）とのなす角に基づいて決定される。ここで、基準方向Ｉ（画像処理の基準方向）は、画像処理による位置分解能が低下する方向であり、超音波画像の撮像面の法線方向を示す。移動ベクトルの重み付けの例を（式３）に示す。

ここで、φは基準方向Ｃとｘ軸とのなす角、τは基準方向Ｉとｘ軸とのなす角を示し、[x]は、移動ベクトルのｘ軸方向成分を示す。c1とc2とは、それぞれ、mv_1[x]とmv_2[x]とに対する重みの和を１に正規化するための係数である。なお、ｙ軸方向とｚ軸方向についても同様に処理できる。本方法によれば、カメラから得られた移動ベクトルと画像処理から得られた移動ベクトルとの重み付けを柔軟にすることができるという利点がある。

なお、c1及びc2を変更することにより、mv_1[x]及びmv_2[x]のそれぞれのmv_3[x]への寄与の比率を設定することができる。例えば、c1とc2とを同一の値とすることによりmv_1[x]及びmv_2[x]のそれぞれの寄与を等しくすることができる。また、c1をc2の定数倍とすることによりmv_1[x]の寄与をmv_2[x]の寄与の当該定数倍にすることができる。

また、位置取得部１１１として複数のカメラを用いてもよい。図９は、複数のカメラによる位置情報取得方法の説明図である。図９の（ａ）は、カメラ９０１及びカメラ９０２の２台のカメラにより位置情報を取得する例を示す。このとき、カメラは空間的に離して、かつ、異なる方向を向くように配置することが望ましい。このように配置することにより、（１）超音波プローブの操作者、あるいは、被験者によりマーカーが遮られてカメラに写らなくなることを防ぐこと、および、（２）カメラ毎の基準方向が互いに異なるように配置することで、位置分解能が低下する方向を減らすことができる。図９の（ｂ）は、基準方向Ｃ１（カメラ９０１の基準方向）、および、基準方向Ｃ２（カメラ２の基準方向）と移動ベクトルとのなす角を示す。ここで、角度θを決定する際の移動ベクトルとしては、カメラ１により取得された移動ベクトル、カメラ２により取得された移動ベクトル、あるいは、直前画像の移動ベクトル３を用いることができる。

最終的な移動ベクトルである移動ベクトル３は、複数のカメラのそれぞれにより取得された移動ベクトルを合成して移動ベクトル１を決定し、その後（式１）のように移動ベクトル２と重み付けて算出する。あるいは、カメラ毎の移動ベクトルを合成して単一のベクトルとせずに、カメラから得られる複数の移動ベクトルと、移動ベクトル２とを互いに重み付けてもよい。前者の例を（式４）に示す。

ここで、mv_1、mv_11、mv_12は、それぞれ、複数カメラの移動ベクトルを合成して得た移動ベクトル１、カメラ１から得た移動ベクトル、カメラ２から得た移動ベクトルを示す。[ref]、[crs1]、[crs2]は、それぞれ、移動ベクトルの基準方向成分、基準方向の第１直交成分、および、基準方向の第２直交成分を示す。また、αは第１直交成分に対する重み、βは第２直交成分に対する重みを示す。mv_11、および、mv_12の決定時には、他方のカメラで取得した位置情報をフィードバックしてもよい。例えば、カメラ１ではｘ軸方向の移動に対して低分解能となるが、カメラ２で得たｘ軸方向の移動量をカメラ１における位置情報決定時に使用することで、カメラ１におけるｘ軸方向の位置分解能が向上する。なお、図９ではカメラが２台の場合について説明したが、３台以上のカメラを用いる際にも拡張できる。さらには、カメラとジャイロなど複数種類の位置センサーを組み合わせて使用してもよい。

以上では、位置取得部１０１と画像処理とを併用し、画像処理では相対的な位置関係のみ得られることから、位置情報の決定に移動ベクトルを導入した。しかしながら、カメラなどの位置取得部１０１においては、位置取得部１０１の原点を基準とした位置情報の絶対値が得られる。従って、複数の位置取得部１０１の位置情報のみから位置情報を決定する際には、移動ベクトルを用いずに、それぞれの位置取得部から得た位置情報の絶対値を重み付けしてもよい。

図１０は、本発明の実施の形態１の超音波画像生成装置１１の効果を示す図である。この例では超音波プローブがｙ軸方向に移動し、カメラの基準方向がｘ軸方向となる。従って、カメラはｙｚ平面内、画像処理ではｚｘ平面内の超音波プローブの移動に対して、位置情報を高分解能に取得できる。従って、カメラと画像処理とを組み合わせることにより、全方向において高分解能な位置情報を取得できる。このように、複数の位置情報取得方式を組み合わせることで、超音波プローブの任意方向の移動に対して位置情報を高分解能に取得できる。

以上のように、本発明の一態様による超音波画像生成装置によれば、推定精度の方向依存性が異なる第一及び第二推定方法を用いて複数の移動ベクトルを推定し、それらを合成することにより、第一推定方法において推定精度が比較的低い方向の成分を、第二推定方法による推定精度が比較的高い方向の成分と合成することで、超音波プローブの移動ベクトルを算出することができる。その際、推定精度が低い方の成分の重みを小さく、推定精度が高い方の成分の重みを大きくすることにより、すべての方向において精度が高い移動ベクトルを算出することができる。よって、超音波プローブの位置取得精度の方向依存性を抑制することができる。

また、２枚の画像のずれを解析し、超音波プローブの移動量を推定することができる。これにより画像に対応する超音波信号を送信した被検体の断面を含む平面内の超音波プローブの移動を比較的高い精度で検出することができる。

また、２枚の画像を構成する画素を解析することで、対応する画素または複数の画素の集まりである領域の移動量を算出し、当該移動量から超音波プローブの移動量を推定することができる。これにより画像に対応する被検体の断面を含む平面内の超音波プローブの移動を比較的高い精度で検出することができる。

また、推定方法において推定精度が比較的高い方向の成分の重みを大きく設定した上で、推定された位置ベクトルを重み付けして合成位置ベクトルを生成することで、合成移動ベクトルの精度を高くすることができる。よって、超音波プローブの位置取得精度の方向依存性を抑制することができる。

また、画像解析による超音波プローブの移動ベクトルの推定において、画像に対応する被検体の断面を含む平面内の方向成分の重みを大きく設定した上で、合成位置ベクトルを生成することで、合成移動ベクトルの精度を高くすることができる。

また、光学マーカーとカメラとにより超音波プローブの移動ベクトルを推定することができる。これにより、カメラの撮像面に平行な平面内の超音波プローブの移動を比較的高い精度で検出できる。

また、光学マーカーとカメラとによる超音波プローブの推定において、カメラの撮像面に平行な平面内の方向成分の重みを大きく設定した上で、合成位置ベクトルを生成することで、合成移動ベクトルの精度を高くすることができる。

また、画像処理による超音波プローブの位置推定と、光学マーカー及びカメラによる超音波プローブの位置推定とを併用し、それぞれの方法により推定された超音波プローブの位置ベクトルを合成して、合成位置ベクトルを生成することができる。

（実施の形態２）
図１１は、本発明の実施の形態２の超音波画像生成装置１２の構成を示すブロック図である。超音波画像生成装置１２は、超音波プローブ１０１、送信部１０２、受信部１０３、送受信制御部１０４、超音波画像生成部１０５、画像メモリ１１５、画像位置推定部１１２、位置再構成部１１３、位置取得部２０１、配置アシスト部２０２、および、表示部２０３を有する。図１０で説明したように、本発明の超音波画像生成装置においては、複数の位置取得部の間、あるいは、位置取得部と画像処理との間で互いに補完して、位置分解能が低下する方向を低減する。超音波画像生成装置１２は、超音波画像生成装置１１に対して、カメラなどの位置取得部２０１の配置位置を決定するための配置アシスト部２０２を新たに追加したものである。なお、超音波画像生成装置１１と同一の機能ブロックについては同一符号を付し、説明を省略する。

配置アシスト部２０２は、位置取得部２０１から取得した初期位置情報ＬｏｃＩｎｆ２に基づいて位置取得部２０１の配置目標位置を決定し、位置取得部を配置目標位置に配置するための補助情報ＮａｖｉＩｎｆを生成して、表示部２０３に入力する。表示部２０３は、補助情報ＮａｖｉＩｎｆを表示デバイス上に表示する。

図１２は、超音波画像生成装置１２の動作を示すフローチャートである。まず、ステップＳ３０１において、位置取得部２０１の現在位置を取得すると共に、位置取得部２０１がイメージング対象に対して所定の位置となるように位置取得部２０１の配置目標位置を決定する。以下に、位置取得部２０１としてカメラを用いた場合の処理について説明する。

まず、現在位置において被験者のイメージング対象部位の近くに配置したキャリブレーション用マーカーをカメラで撮影して、キャリブレーション用マーカーに対するカメラの相対位置を算出する。あるいは、マーカーが取り付けられた超音波プローブによりイメージング対象部位を走査してマーカーの位置を取得することで、イメージング対象位置に対するカメラの相対位置を決定してもよい。次に、配置目標位置の決定方法について説明する。画像処理では超音波プローブの撮像断面の法線方向における位置分解能が低下する。従って、カメラの位置分解能が高くなる方向と、撮像断面の法線方向との差異が閾値以下となるようにカメラを配置する。撮像断面の法線方向は、キャリブレーション用マーカーと法線方向とが所定の位置関係となるようにキャリブレーション用マーカーを配置しておき、カメラでキャリブレーション用マーカーを撮像することにより取得できる。また、撮像断面の法線方向は、イメージング部位を走査して超音波プローブの移動方向をカメラにより撮影することでも取得できる。また、カメラにおいては、奥行き方向の位置分解能が低下する。従って、複数のカメラを使う場合には、各カメラの奥行き方向が、他のカメラにおける位置分解能が高い方向となるようにする。

例えば、２台のカメラを使う場合には、各カメラの奥行き方向のなす角が９０度に近くなるように（略直交するように）配置する。各カメラの奥行き方向のなす角がなす角が９０度となると、超音波プローブの移動ベクトルは、一方のカメラの奥行き方向に一致する際に当該カメラの位置分解能が大きく低下するが、同時に他方のカメラの奥行き方向に一致することはない。そのため、両方のカメラによる位置取得の分解能が一定以上に維持される。なお、各カメラの奥行き方向のなす角を９０度近傍の所定の範囲内に設定してもよい。例えば、８０度から１００度までとしてもよいし、その他の範囲としてもよい。なお、カメラとイメージング対象部位との距離については、超音波プローブの移動範囲がカメラの視野に収まるように決定する。

ステップＳ３０２において、位置取得部２０１の現在位置と配置目標位置とに基づいて、位置取得部２０１を配置目標位置へと誘導するための補助情報を生成して、表示する。この後、ユーザーが補助情報に従って、配置目標位置と整合するように位置取得部２０１の位置を移動する。

ステップＳ３０３において、現在位置と配置目標位置との間の位置及び向きの差異が閾値以下であるか否かを判定し、当該差異が閾値以下になるまでステップＳ３０１及びステップＳ３０２の処理を繰り返す。

ステップＳ３０３において、現在位置と配置目標位置との間の位置と向きの差異が閾値以下と判定されると、ステップＳ３０４において、位置取得部２０１の配置が完了した旨を示す補助情報を表示し、以降は、超音波画像生成装置１１と同様の動作フローを実施する。

なお、位置取得部２０１は複数あってもよい。位置取得部２０１が複数ある場合は、ステップＳ３０２において位置取得部２０１毎の現在位置と配置目標位置とを決定する。また、ユーザーが位置取得部２０１を配置するのではなく、位置取得部２０１を電動ステージ、あるいはロボットアームなどの可動デバイスに取り付け、配置目標位置に自動的に移動させてもよい。上記では、超音波画像の撮像前に１度だけ位置取得部２０１の配置を行ったが、実際には、進行方向が変動すると配置目標位置も変化する。従って、位置取得部２０１を自動的に移動可能な場合には、進行方向に応じて配置目標位置を計算し、その配置目標位置へと位置取得部２０１を移動させてもよい。

図１３は、カメラ配置、および、カメラ配置のための補助情報についての説明図である。図１３の（ａ）は、ヒトの首付近に位置する頚動脈を撮像する際のカメラの配置目標位置の例である。カメラ１（１３０１）とカメラ２（１３０２）とは、イメージング対象部位である首１３１３が視野に入り、かつ、両者の奥行き方向が互いに直角に近い角をなすように配置される。キャリブレーション用マーカー１３１２は、現在位置の取得に用いられ、かつ、首１３１３とキャリブレーション用マーカー１３１２との相対位置が一定となるように設置する。こうすることで、首１３１３とカメラ（１３０１及び１３０２）との相対位置を取得できる。

図１３の（ｂ）は、補助情報の表示例を示す。図１３において、実線によりカメラ１の現在位置（１３０１Ａ）及びカメラ２の現在位置（１３０２Ａ）が示される。また、破線によりカメラ１の配置目標位置（１３０１Ｂ）及びカメラ２の配置目標位置（１３０２Ｂ）を示す。図中の矢印は、それぞれのカメラを配置目標位置に誘導するための移動方向を示し、ユーザーは矢印で示される方向に向けてカメラを移動する。なお、首を撮像する際には、図１３の（ａ）に示すｚ方向に比べて、ｘ軸またはｙ軸方向へ超音波プローブを移動させることが多い。従って、カメラが１台の場合には、図中のカメラ２（１３０２）のように、首を見下ろす位置にカメラを配置することで、画像処理による位置分解能が低下するｘ軸、あるいは、ｙ軸方向の移動を高分解能に取得できる。

以下に、各実施の形態の変形例について示す。

図１４Ａは、実施の形態１に係る超音波画像生成装置１１の変形例の動作を示すフローチャートであり、１つ以上の位置取得部から得た移動ベクトルを重み付けして超音波画像の移動ベクトルを一旦決定した後に、画像処理により移動ベクトルを補正する。図３のフローチャートと同一のステップについては同一符号を付し説明を省略する。

まず、ステップＳ１０３までの処理において超音波画像の取得、および、位置取得部からの位置情報の取得を完了する。ステップＳ２０１では、１つ以上の位置取得部から位置情報を取得する。

ステップＳ２０２において、ステップＳ２０１で取得した１つ以上の位置取得部からの位置情報を重み付けして移動ベクトルを決定する。

ステップＳ２０３において、超音波画像間の相対的な位置ずれ量を画像処理により推定し、位置ずれ量を３次元空間内でのベクトルに変換した補正ベクトルを算出する。（Ｎ−１）番目画像とＮ番目画像との間の位置ずれ量は、ステップＳ２０２で決定したＮ番目画像の移動ベクトルに基づいてＮ番目画像を移動した後に、推定してもよい。こうすることで、位置取得部から得た移動ベクトルを用いて大まかに位置ずれ量を推定した上で、画像処理により高精度な推定を行うことができ、処理量を削減できると共に、位置推定のロバスト性が高まる。また、補正ベクトルは、連続する複数の画像間の移動量の連続性を考慮して、移動ベクトルが滑らかに変化するように設定してもよい。例えば、手振れや位置取得部の誤差などに起因して位置取得部から得られる移動ベクトルが揺らぐ際には、画像処理により移動ベクトルの変化を平滑化することで、揺らぎを低減して正確な位置に近づけることができる。さらに、位置ずれ量の推定においては、超音波画像間の相関ではなく、位置取得部における移動ベクトルを、スプライン補間などの補間処理、あるいは、フィルタ処理などにより平滑化して、平滑化前後の移動ベクトルの差異を補正ベクトルとしてもよい。なお、移動ベクトルを使わずに、位置取得部から取得した位置情報に対して平滑化処理を行い、平滑化前後の位置情報の差異を移動ベクトルとしてもよい。

ステップＳ２０４において、移動ベクトルに補正ベクトルを加算して移動ベクトルを補正する。

ステップＳ２０５において、補正後の移動ベクトルに基づいて３次元空間内に超音波画像をマッピングして３次元像を構築し、ステップＳ１０７において表示する。

また、位置情報取得時の誤差や手ぶれの影響などを低減するために、位置再構成部１０３では、以下のような動作を行ってもよい。まず、位置取得部、あるいは画像処理により得られた位置情報の信頼度を設定し、信頼度が低い位置情報は使用しないことにしてもよい。例えば、カメラ１台と画像処理による位置情報を用いる場合に、画像処理による位置情報の信頼度が閾値以下であれば、カメラによる位置情報のみを利用する。あるいは、カメラ２台と画像処理とによる位置情報を用いる場合に、１台のカメラの位置情報の信頼度が低ければ、他の１台のカメラと画像処理とによる位置情報を利用する。また、信頼度が閾値を越える位置情報が存在しないケースなどでは、当該超音波画像は３次元像構築に使用しないこととしてもよい。位置取得部の信頼度としては、連続する画像間の移動ベクトルの変化量が使用可能である。例えば、（Ｎ−１）番目画像の移動ベクトルとＮ番目画像の移動ベクトルとの絶対値の差分、あるいは、方向の差分が閾値を越える場合には、Ｎ番目画像の位置情報を無効とする。画像処理では、同様の尺度に加え、位置ずれ推定時に評価値が最小となる評価単位を探索する際に、最小の評価値が閾値を越える場合には位置情報を無効とするなどとしてもよい。さらに、移動ベクトル３、あるいは、移動ベクトル３に基づいて最終的な位置情報を決定する際に、前の画像の位置情報を利用すると、位置情報の誤差が累積することがある。このため、所定の走査時間間隔、あるいは、特定の取得画像枚数毎に位置情報をリセットして処理対象画像に対する位置情報のみから当該画像の位置情報を決定し、誤差の累積を低減してもよい。

また、上記では位置取得部としてカメラを例に、基準方向と移動ベクトルとの向きの差分に基づいて位置情報を重み付けしたが、重み付けの尺度は向きの差分に限定されるものではない。例えば、磁気センサーにおける磁気発信器とプローブとの距離、あるいは、ジャイロのように回転方向に依存して分解能が異なる場合には回転方向に応じて重み付けしてもよい。

なお、以上では高い位置分解能で取得した位置情報に基づいて３次元像を構築する装置について述べたが、用途は３次元像の構築に限定されるものではなく、ＣＴやＭＲＩなど超音波以外のモーダルで撮像した２次元あるいは３次元像と超音波画像との位置合わせ、あるいは、定期的な診断など異なる日時で撮像した超音波画像同士の位置合わせなどにも適用できる。また、位置取得部と画像処理との併用は必須ではなく、特に、複数の位置取得部を用いる際には、位置取得部のみから位置情報を決定してもよい。

なお、以下のようにすることで、位置取得部１１１及び画像位置推定部１１２の位置取得の精度を向上させることができる。

位置取得部１１１及び画像位置推定部１１２における位置取得の精度の向上と、頻度の向上とはトレードオフの関係にある。位置取得部１１１及び画像位置推定部１１２において、取得された情報に対して反復演算などによる高精度あるいはロバストな位置情報決定処理を施すことにより情報の精度を向上させることができるが、当該位置情報決定処理を施すためには所定の時間を要し、位置取得の頻度が低下するためである。

そこで、位置取得部１１１及び画像位置推定部１１２の位置取得の頻度を、位置取得部１１１及び画像位置推定部１１２で取得される位置の精度によって変更するようにする。具体的には、位置取得部１１１及び画像位置推定部１１２で取得される位置情報の差分を、位置取得の頻度へフィードバック制御するようにする。位置取得部１１１及び画像位置推定部１１２は、それぞれ、精度あるいはロバスト性が低く位置取得頻度が高い動作モード（高頻度モード）と、精度あるいはロバスト性が高く位置取得頻度が低い動作モード（高精度モード）とを有し、これらの動作モードを、フィードバック情報により切り替えるようにする。こうすることにより、位置取得状況に応じて、位置取得部１１１及び画像位置推定部１１２の位置取得の精度または頻度を向上させることができる。フィードバック制御の一例について、図１４Ｂに示す。

図１４Ｂは、フィードバック部を含む超音波画像生成装置の一例の構成図である。図１４Ｂに示されるように、この例において、超音波画像生成装置はフィードバック部１１６を備える。その他の機能ブロックの動作は超音波診断装置１１と同様であるため、同一の符号を付し説明を省略する。

フィードバック部１１６は、位置取得部１１１及び画像位置推定部１１２で取得される位置情報を取得する。そして、これらの位置情報の差を算出し、その差が閾値より大きい場合には、位置取得部１１１及び画像位置推定部１１２を高精度モードへ変更する。また、位置情報の差が閾値より小さい場合には、位置取得部１１１及び画像位置推定部１１２を高頻度モードへ変更する。このようにすることにより、位置取得状況に応じて、位置取得部１１１及び画像位置推定部１１２の位置取得の精度または頻度を向上させることができる。

以上のように、本発明の一態様による超音波画像生成装置によれば、推定方法における推定精度が低い方向を、他の推定方法における推定精度が高い方向と一致させることにより、合成位置ベクトルの推定精度の方向依存性を抑制するように、操作者が推定方法の方向を設定することができる。よって、超音波プローブの位置取得精度の方向依存性を抑制することができる。

（実施の形態３）
上記各実施の形態で示した超音波画像生成方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１８は、上記各実施の形態の超音波画像生成方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１８の（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１８の（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１８の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法を実現する上記画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

なお、図１Ｂの超音波画像生成部１０５、位置取得部１１１、画像位置推定部１１２、位置再構成部１１３、および、画像メモリ１１５などのブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。例えば、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのグラフィクス処理用の専用回路が使用できる。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成方法であって、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定ステップと、前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定ステップと、前記第一移動推定ステップにおいて推定された前記第一移動ベクトルと前記第二移動推定ステップにおいて推定された前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成ステップとを実行させる。

また、このプログラムは、コンピュータに、前記第一移動推定ステップにおいて、前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定するステップを実行させる。

以上、本発明の一つまたは複数の態様に係る超音波画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明に係る超音波画像生成装置および方法によれば、イメージング対象を任意方向から走査した超音波画像と位置情報に基づいて３次元像を構築する際に、複数の位置取得部からの位置情報を重み付けして最終的な位置情報を決定するため、任意方向の移動に対して高精度な位置情報が取得でき、３次元像を高精度に構築できる。故に本発明に係る超音波画像生成装置および方法は、診断部位の３次元形状を高精度に観察できることから、診断精度の向上が期待でき、特に医療診断機器産業において特に高い利用可能性を持つ。

１０、１１、１２ 超音波画像生成装置
１０Ａ 第一移動推定部
１０Ｂ 第二移動推定部
１０Ｃ、１１３、１５０８ 位置再構成部
１０１ 超音波プローブ
１０２ 送信部
１０３ 受信部
１０４ 送受信制御部
１０５ 超音波画像生成部
１１１、２０１、１５０７ 位置取得部
１１２ 画像位置推定部
１１４、２０３、１５０９ 表示部
１１５、１５０６ 画像メモリ
１１３１ 方向差分取得部
１１３２ 重み決定部
１１３３ ３次元像構築部

また、例えば、前記超音波画像生成装置は、さらに、前記超音波プローブに取り付けられた光学マーカーをカメラにより撮像し、撮像された前記光学マーカーの位置または形状に基づいて、前記超音波プローブの位置および角度を算出する光学移動推定部を備え、前記第一移動推定部及び前記第二移動推定部のうちの少なくとも一方は、前記光学移動推定部である。

Claims (13)

1. 超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成装置であって、
   前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定部と、
   前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定部と、
   前記第一移動推定部が推定した前記第一移動ベクトルと前記第二移動推定部が推定した前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成部とを備える
   超音波画像生成装置。
2. 前記第一移動推定部は、
   前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定する
   請求項１に記載の超音波画像生成装置。
3. 前記第一移動推定部は、
   前記複数の画像のうちの２枚の画像を構成する画素値の相関に基づいて、前記２枚の画像間の画像のずれ量を検出することで、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記超音波プローブの移動ベクトルを推定する
   請求項２に記載の超音波画像生成装置。
4. 前記位置再構成部は、
   前記超音波プローブの移動方向と、前記第一移動推定部または前記第二移動推定部における推定の際に基準となった基準方向とのなす角度が大きいほど、前記第一移動ベクトルまたは前記第二移動ベクトルの重みを大きくし、前記合成移動ベクトルを算出することで、前記超音波診断画像を構成する
   請求項１〜３のいずれか１項に記載の超音波画像生成装置。
5. 前記位置再構成部は、
   前記超音波プローブの移動方向と、前記第一移動推定部における前記基準方向である推定精度が低い方向とのなす角度が大きいほど、前記第一移動推定部が推定した前記移動ベクトルの重みを大きくし、前記合成移動ベクトルを算出することで、前記超音波診断画像を構成する
   請求項４に記載の超音波画像生成装置。
6. 前記第一移動推定部及び前記第二移動推定部のうちの少なくとも一方は、
   前記超音波プローブに取り付けられた光学マーカーをカメラにより撮像し、撮像された前記光学マーカーの位置または形状に基づいて、前記超音波プローブの位置および角度を算出する
   請求項１に記載の超音波画像生成装置。
7. 前記位置再構成部は、
   前記超音波プローブの移動方向と、前記光学移動推定部における基準方向である前記カメラの撮像面の法線方向とのなす角度が大きいほど、前記光学移動推定部が推定した前記移動ベクトルの重みを大きくし、前記移動ベクトルを合成することで、前記複数の画像を構成する
   請求項６に記載の超音波画像生成装置。
8. 前記第一移動推定部は、
   前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記超音波プローブの移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定し、
   前記第二移動推定部は、
   前記超音波プローブに取り付けられた光学マーカーをカメラにより撮像し、撮像された前記光学マーカーの位置または形状に基づいて、前記超音波プローブの位置および角度を算出することで、前記超音波プローブの移動ベクトルを推定する
   請求項１に記載の超音波画像生成装置。
9. 前記超音波画像生成装置は、さらに、
   前記第一移動推定部及び前記第二移動推定部における前記基準方向が互いに略直交するように、操作者による前記基準方向の変更のための操作を促すための情報を提示する配置アシスト部を備える
   請求項１〜８のいずれか１項に記載の超音波画像生成装置。
10. 超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する超音波画像生成方法であって、
    前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定ステップと、
    前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定ステップと、
    前記第一移動推定ステップにおいて推定された前記第一移動ベクトルと前記第二移動推定ステップにおいて推定された前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成ステップとを含む
    超音波画像生成方法。
11. 前記第一移動推定ステップにおいて、
    前記複数の画像のうちの２枚の画像間の画像のずれに基づいて、前記２枚の画像の一方が取得されてから他方が取得されるまでの間の前記移動ベクトルを算出することで、前記超音波プローブの移動ベクトルを推定する
    請求項１０に記載の超音波画像生成方法。
12. 請求項１０に記載の方法をコンピュータに実行させるためのプログラム。
13. 超音波プローブを移動させながら、被検体から得られる複数の超音波信号を用いて超音波診断画像を生成する集積回路であって、
    前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記超音波プローブの移動を示す移動ベクトルを、第一推定方法により第一移動ベクトルとして推定する第一移動推定部と、
    前記複数の超音波信号のそれぞれに対応する複数の画像が取得されたときの前記移動ベクトルを、前記第一推定方法とは推定精度の方向依存性が異なる第二推定方法により第二移動ベクトルとして推定する第二移動推定部と、
    前記第一移動推定部が推定した前記第一移動ベクトルと前記第二移動推定部が推定した前記第二移動ベクトルとを、前記第一移動ベクトルまたは前記第二移動ベクトルの方向に基づいて重み付けして合成することで、合成移動ベクトルを算出し、前記合成移動ベクトルと前記複数の画像とを用いて前記被検体の超音波診断画像を構成する位置再構成部とを備える
    集積回路。

Images