JP4427536B2 - ３次元超音波システム - Google Patents

Description

本発明は、超音波診断装置で収集した２次元の超音波画像データを、外付けの３次元画像処理用コンピュータユニットに取り込んで、この３次元画像処理用コンピュータユニットにおいて３次元画像を生成し表示する３次元超音波システムに関する。

従来の超音波診断装置は一般的に超音波ビームを１つの面内で走査するため、断面画像を表示するシステムとなっている。近年、超音波診断装置の超音波送受信部である超音波プローブを移動させながら走査面の異なる複数の画像を収集し、この複数の画像から３次元画像を再構成するという試みが盛んに行われており、超音波診断装置における３次元画像の表示は新たな診断の可能性を期待されている。

実際には、腹部用のコンベックスプローブやリニアアレイプローブを手動または機械的に移動させたり、電子セクタプローブを回転させる機構を持った経食道用マルチプレーンプローブを用いるなどして研究が進められている。

ここで、従来の３次元超音波システムでは、超音波診断装置側で収集した２次元の超音波画像をビデオ信号に変換し、それに対して外付けの３次元画像処理用コンピュータユニットにビデオ信号の状態でビデオキャプチャボードを介して取り込んでいるため、超音波画像のフレーム数（フレームレート）が幾つであっても、３次元画像処理用コンピュータユニットには、毎秒３０フレームという固定されたフレームレートで取り込まれるようになっていた。

このため、取り込み画像の中には、前後のフレームをつなぎ台わせたような部分合成画像や何枚か連続して同一の画像になるといった事態が生じていた。また、超音波診断装置から超音波画像を３次元画像処理用コンピュータユニットに取り込む場合、各走査時のプローブの位置データをプローブに付けた位置センサから取り込むことが行われているが、この場合、３次元画像処理用コンピュータユニットで超音波診断装置からの画像の取り込みと、位置センサからの位置データの取り込みとを同期させて、超音波画像とその画像に対応するプローブの位置データとを整合させるようにしているが、この方法は、超音波診断装置から３次元画像処理用コンピュータユニットにオフラインで２次元画像データを転送する場合には適用できないという問題があった。

また、超音波プローブを手動により適当な位置から移動させることにより、３次元画像の再構成に必要な走査面の異なる複数の２次元画像データを収集するようになっている場合、画像収集を開始するタイミングを図ったり、収集時間に合わせて超音波プローブを動かすのは難しいという問題がある。

さらに、超音波診断装置では、組織の断層画像を表すＢモード画像と、カラードップラによる血流画像とを１枚に合成して表示する場合があるが、この場合、血流画像をＢモード画像の上に上書きして、つまり血流が存在する部分にはＢモード画像情報を落として血流情報だけを割り当てるような合成が行われており、この合成画像のビデオ信号として３次元画像処理用コンピュータユニットには送られてくるため、３次元画像処理用コンピュータユニットでは完全な形でＢモード画像と血流画像とに分離することはできなかった。しかしながら、超音波診断装置のＢモード画像と血流画像を同時に収集し、それぞれを別個に３次元画像として再構成するという要求は強く、実際にその分離法なり表示法を提案した例もある。そのような場合でも超音波のＢモード画像と血流画像の３次元的な表示によりそれぞれ相互の位置関係や個々の３次元的な形状を十分に観察するには３次元的な表示の表現手段に乏しく、十分といえるものではなかった。

さらに、超音波画像を３次元表示する場合、Ｘ線ＣＴやＭＲＩといった他の画像診断装置とは異なり収集画像の表示エリアが小さく、また表示形状も超音波プローブの走査法により多数あるため、収集画像を再構成して作る３次元画像もその方向や形状にバラエティーがあり、使用者は表示している３次元画像のオリエンテーション、つまり画像の上下、左右、さらには表示方向（部位を見ている方向）を見失ってしまいやすいという問題があった。

本発明の目的は、３次元画像の表示方向を、３次元走査したボリューム領域を基準に分かり易く提示することができる３次元超音波システムを提供することにある。
本発明の他の目的は、超音波診断装置に外付けされた３次元画像処理用コンピュータユニットの側で合成画像からＢモード画像とカラードプラの血流画像とに分離することのできる３次元超音波システムを提供することにある。

本発明のある局面は、２次元超音波画像データを３次元的に収集し、３次元超音波画像データを生成して表示する３次元超音波診断装置において、前記３次元表示画像データと同画面に、前記２次元超音波画像データの上下、左右及び収集方向を判別可能に構成した３次元状のインジケータを表示し、前記３次元表示画像データの表示方向に連動して前記インジケータの表示方向を変えるようにしたことを特徴とした３次元超音波システムである。

本発明の第１局面によると、３次元画像の表示方向を、３次元走査したボリューム領域を基準に分かり易く提示することができる。
本発明の第２局面によると、超音波診断装置に外付けされた３次元画像処理用コンピュータユニットの側で合成画像からＢモード画像とカラードプラの血流画像とに分離することができる。

以下、図面を参照して、本発明による３次元超音波システムを好ましい実施形態により説明する。図１には本発明の好ましい実施形態による３次元超音波システムの構成を示し、図２にはそのブロック図を示す。本実施形態の３次元超音波システムは、Ｂモード画像データやカラードプラによる血流画像データの如き２次元画像データを収集する超音波診断装置１と、超音波診断装置１に外付け可能な汎用タイプのコンピュータユニットであって、超音波診断装置１から画像メモリ６を介して出力された２次元画像データを画像入力部１２を介して画像メモリ７ａ、７ｂに取り込んで３次元画像作成部８で３次元画像データを再構成する３次元画像処理用コンピュータユニット４とから構成される。

超音波診断装置１では超音波プローブ２を介して被検体を走査して、複数の２次元画像データを超音波診断装置１内の画像メモリ６に記録する。この画像メモリ６は、２系統装備されており、その一方６ａはＢモード画像データの記憶用として、他方６ｂはカラードップラによる血流画像データの記憶用として用いられる。このようにＢモード画像と血流画像とを別系統のメモリに記憶するようにしたことで、３次元画像処理用コンピュータユニット４の画像メモリ７ａ，７ｂに別々に転送することができ、これによって、３次元画像処理用コンピュータユニット４においてＢモード画像の３次元画像と血流画像の３次元画像とを別個に再構成し、Ｂモード画像と血流画像とを３次元画像上で合成したり、あるいは並列表示することが可能となる。

画像メモリ６ａ，６ｂは、それぞれ複数の２次元画像データを記憶する容量をもっており、診断装置１のホストＣＰＵ９から収集終了（フリーズ(Freeze)）のコマンドが送られるまで、超音波画像作成部１０で作成された画像データを連続的に記億する。この記憶にはいわゆるループ方式が採用されており、つまり、画像の枚数が画像メモリ６の容量を超えた場合には、古い画像を消し、その上に新しい画像を書き込む（上書き）ことで、常に最新の複数枚の画像データが記憶されるようになっている。

なお、この画像メモリ６の容量を上限として、３次元画像を再構成するために要求される２次元超音波画像の枚数がオペレータにより自由に指定されるが、この指定された枚数に２次元超音波画像の１枚当たりの生成速度を乗算した時間が、３次元画像収集時間として定義するものとする。

コンピュータユニット４には、超音波プローブ２に取り付けられた位置センサ３から位置データが逐次送られ、２次元画像データの収集間隔と同じ間隔又はそれより短い間隔でコンピュータユニット４の位置データメモリ５上に、記録されていく。

操作者は、超音波診断装置１又はコンピュータユニット４の操作卓（ユーザインタフェース）を介して、画像収集開始のコマンドと、画像収集終了のコマンド（フリーズコマンド）とを入力することができる。図では、これらのコマンドはコンピュータユニット４の操作卓から入力されるようになっている。

コンピュータユニット４の３次元ユニットＣＰＵ１１は、この画像収集開始のコマンドを入力すると、位置データ収集部５に位置センサ３からの位置データの位置データメモリ５への記録を開始させる。

また、コンピュータユニット４の３次元ユニットＣＰＵ１１は、この画像収集終了のコマンドを入力すると、位置データ収集部５に位置センサ３からの位置データの位置データメモリ５への記録を終了させるとともに、この画像収集終了のコマンドを超音波診断装置１のホストＣＰＵ９に転送するようになっている。ホストＣＰＵ９は、画像収集開始のコマンドを受け取るとそれにトリガされて超音波画像作成部１０に超音波走査の終了及び２次元超音波画像の作成終了を促す。このように画像収集終了のコマンドをコンピュータユニット４と超音波診断装置１との一方から入力すると、それがコンピュータユニット４と超音波診断装置１の他方に転送されるようにしたことで、２次元画像データの収集と位置データの収集とを同期して終了することができる。

なお、画像収集開始及び終了のコマンドがコンピュータユニット４と超音波診断装置１との一方から入力されると、それがコンピュータユニット４と超音波診断装置１の他方に転送されるようにしたことで、２次元超音波画像データの収集と位置データの収集とを同期して終了２次元画像データの収集と位置データの収集とを同期できるとしたが、図３に示すように、超音波診断装置１と３次元画像処理用コンピュータユニット４とで共用されるデータ収集タイミング信号発生部２１を設けて、このデータ収集タイミング信号発生部２１から発生した画像収集開始及び終了のコマンドが超音波診断装置１のホストＣＰＵ９と３次元画像処理用コンピュータユニット４の３次元ユニットＣＰＵ１１とにパラレルで送られるようにしてもよい。

２次元画像データの収集と位置データの収集とが終了した後に、超音波診断装置１の画像メモリ６から３次元画像処理用コンピュータユニット４の画像メモリ７ａ，７ｂに画像入力部１２を介して２次元超音波画像データが転送される。

画像メモリ７ａ，７ｂからは最後に収集した２次元超音波画像データから１フレームづつ順番に読み出され、またこれに同期して位置データメモリ５からも最後に収集された位置データから順番に読み出され、両者が加算処理器１３で合わされて３次元画像作成部８に送られる。このとき２次元超音波画像データと位置データとの整合は完全にとれている。なぜなら、２次元超音波画像データの収集と位置データの収集とは同期して終了し、また読み出しは最後に収集したデータから順番に行われるからである。

３次元画像作成部８では、複数フレームの２次元超音波画像データとその各々の位置データとから、Ｘ線ＣＴやＭＲＩの３次元表示で用いられている例えば表面表示、ＭＩＰ（最大値投影）、ＭｉｎＩＰ（最小値投影）、積分投影、ボリュームレンダリング、ＭＰＲ画像など等の一般的な３次元再構成法を使って関心部位に関する３次元ボリュームデータを再構成する。

なお、本実施形態では、Ｂモード画像とドップラ血流画像とを超音波診断装置１の画像メモリ６ａ、６ｂに別々に記憶し、３次元画像処理用コンピュータユニット４の画像メモリ７ａ，７ｂに別々に転送することによって、Ｂモード画像の３次元ボリュームデータと血流画像の３次元ボリュームデータとを個別に再構成することができるのもであったが、図４に示すようにＢモード画像とドップラ血流画像とを超音波診断装置１で合成しておくことにより、３次元画像処理用コンピュータユニット４で合成画像から情報欠落することなくＢモード画像とドップラ血流画像とに分離して、Ｂモード画像の３次元ボリュームデータと血流画像の３次元ボリュームデータとを個別に再構成することができるようにしていてもよい。

このＢモード画像とドップラ血流画像との合成は、図５に示すように、超音波診断装置１の合成画像作成部１５で行われ、また分離は３次元画像処理用コンピュータユニット４の画像分離部１８で行われる。この場合、超音波診断装置１においてＢモード画像用と血流画像用とで画像メモリ６ａ，６ｂを別々に設けなくとも、１系統でよい。従来から、超音波診断装置１の表示画像はＣＦＭなどのカラードップラによる血流画像を表示する場合、Ｂモード画像の上にカラー血流画像を上書き合成して表示している。このため、この画像をそのまま３次元画像処理用コンピュータユニット４の画像メモリ７に転送し、Ｂモード画像と血流画像の３次元画像を再構成すると、血流画像が上書きされた部分のＢモード画像が欠落してしまう。また、カラー血流画像もＢモード画像に囲まれて見難い３次元画像となってしまう。

そこで、超音波診断装置１の合成画像作成部１５で、Ｂモード画像とカラー血流画像とを合成する際に、Ｂモード画像の白黒の情報と、カラー血流画像のカラー情報とを、それらいずれの情報も全く欠落しないように従来のような上書き合成ではなくて後述する加算処理により合成する。一方、３次元画像処理用コンピュータユニット４では、超音波診断装置１に表示された合成画像データを収集し、超音波診断装置１で行なわれた合成と逆の手順でＢモード画像とカラー血流画像とを分離し、それぞれの画像を画像メモリ７ａ，７ｂに振り分けて記億し、それぞれ個別に３次元画像を再構成する。このようにすれば、Ｂモード画像とカラー血流画像両方の画像を欠落なく同時に収集、３次元表示することが可能となる。

ここで、Ｂモード画像とカラー血流画像の合成、分離の１例を説明する。Ｂモード画像は、白黒画像であり、ＲＧＢの色成分に分離すると、Ｒ信号，Ｇ信号，Ｂ信号が同じ値となる。一方、カラー血流画像が、赤のグラデーション、青のグラデーションでの場合、Ｇ信号の値は常にゼロである。この特徴を利用して、以下のように合成する。なお、Ｂモード画像の画素値を（Ｒｂ，Ｇｂ，Ｇｂ）、カラー血流画像の画素値を（Ｒｃ，Ｇｃ，Ｂｃ）で表すものとする。

このとき、合成画像の画素値（Ｒｓ，Ｇｓ，Ｂｓ）は、Ｇｃが０でない場合Ｒｓ＝（Ｒｂ＋Ｒｃ）／２Ｇｓ＝（Ｇｂ＋Ｇｃ）／２Ｂｓ＝（Ｂｂ＋Ｂｃ）／２で計算される。

また、Ｇｃが０の場合Ｒｓ＝ＲｂＧｓ＝ＧｂＢｓ＝Ｂｂで計算される。

逆に、合成画像を分離するのは、Ｒｓ，Ｇｓ，Ｂｓが等しくない場合Ｒｂ＝Ｇｓ×２Ｇｂ＝Ｇｓ×２Ｂｂ＝Ｇｓ×２Ｒｃ＝（Ｒｓ−Ｇｓ）×２Ｇｃ＝０Ｂｃ＝（Ｂｓ−Ｇｓ）×２で求められる。

また、 Ｒｓ，Ｇｓ，Ｂｓが等しい場合Ｒｂ＝ＲｓＧｂ＝ＧｓＢｂ＝ＢｓＲｃ＝０Ｇｃ＝０Ｂｃ＝０で求められる。

このように別々に再構成したＢモード画像の３次元画像とカラー血流画像の３次元画像とは、ディスプレイ装置１７で表示される。この表示方法としては、図６（ａ）に示すように、Ｂモード画像の３次元画像とカラー血流画像の３次元画像とを位置整合して１画像に合成して表示する合成表示法と、また図６（ｂ）に示すようにＢモード画像の３次元画像とカラー血流画像の３次元画像とを左右に並べて別々に表示する並列表示法との２通りが用意されており、オペレータにより自由に切り替えられるようになっている。また、合成の手法としては、単純加算処理、半透明加算処理、３次元的な奥行きを考慮し、陰面消去をおこなった合成法などこれも特に限定をしない。

ここで図６（ａ）に示した合成表示例では、Ｂモード画像をＭｉｎＩＰ（最小値投影）、カラー血流画像をＭＩＰ（最大値投影）したものである。画像を画面の中央に表示し、画像の左側にはそれぞれの画像の表示方法を変更するボタンを配置した操作パネルを表示する。このボタンを切り替えることで、合成画像のそれぞれの表示法を変更できる。また、トラックボール操作、またはマウスによる操作で画像の回転、移動、拡大縮小が可能である。このとき、Ｂモード、カラー両方の３次元画像は常に追従して回転、移動、拡大縮小される。

操作パネルには、合成表示から並列表示に表示方法を切り替えるボタンを配置する。操作者がこのボ夕ンを押すことによって、図６（ｂ）に示した並列表示に切り替えることができる。並列表示では、左右にそれぞれＢモードとカラーの３次元画像を表示する。このとき表示される表示法は、並列表示に切り替える前の合成表示時の表示法とする。表示画像の下部には画像の表示方向を変更するボタンを配置した操作パネルを表示する。また、トラックボール操作、マウス操作により画像の回転、移動、拡大縮小が行なえる。

このとき、左右の画像を同じく回転、移動、拡大縮小することも可能であるし、Ｂモード画像のみ、カラー血流画像のみを回転、移動、拡大縮小することも可能である。この操作対象の切り替えは、操作パネルに配置した［Ｓｙｎｃ］（同期）ボタンを選択・非選択することによっておこなう。また、この操作パネルには、表示形式を合成表示に戻すボタンを配置し、このボタンを押すことによって、並列表示時の表示法で合成した合成画像を表示することが可能である。

また、図７（ａ）に示すように、１断面のＢモード画像をカラー血流画像の３次元画像に合成し、その断面位置から遠い部分のＢモード画像の外周面を非表示にするようにしてもよいし、図７（ｂ）に示すように、１断面のＢモード画像をカラー血流画像の３次元画像に合成し、その断面位置から遠い部分のＢモード画像の外周面を表示するようにしてもよい。さらに、図７（ａ），（ｂ）に示した１断面のＢモード画像とカラー血流画像の３次元画像を両方共に、又は一方だけを半透明で表示することにより、断面より遠い部分のＢモード画像とカラー血流画像との位置関係を見やすくするようにしてもよい。さらに半透明表示における透明度の調整も両画像でシンクロして変えるようにしても、又は別々に行うようにしてもよい。

以上のような３次元表示では、超音波で被検体を走査したボリューム領域との関係、つまり現在表示されている３次元画像が、ボリューム領域を基準として、どのような向き（図９の視線方向）から見ている画像なのかを把握することは厄介である。本実施形態では、この問題を解決するために、インジケータ発生部１６を設けている。

インジケータ発生部１６は、図８（ａ）に示すように、２次元の走査面を動かすボリューム領域をデフォルメしてその外形に近似するような例えば４角錐形状、４角錐の頂点部分を削除した形状、球体の中心から表面にかけての一部分を切り取った形状、又はこの球体の一部分形状の中心点部分を削除した形状で、しかもそのボリューム領域の上下、左右及び走査面が動く収集方向（図９のＺ方向）を判別可能に構成したような立体画像をポジションインジケータデータとして発生する。つまり、このポジションインジケータはボリューム領域の前後左右を分かり易くするために、図８（ｂ）に示すように、走査面が動く収集方向に沿って半分ずつ青と赤のように異なる色で色分けされ、そして模式的な立体形状とボリュームデータの全体形状を示すワイアフレームとが合成されている。このポジションインジケータの０゜（前）の位置は収集画像の１枚目（ボリューム領域の走査開始面）を表し、１８０゜（後）の位置は収集画像の最後（ボリューム領域の走査最終面）を表している。もちろん、このポジションインジケータの表示方向は、Ｂモード画像等の３次元画像の表示方向に連動して変化され、つまりＢモード画像等の３次元画像を上下回転、左右回転したときにそれに追従して上下回転、左右回転されるようになっている。

このポジションインジケータをディスプレイ装置１７においてＢモード画像等の３次元画像と共に表示することで、３次元画像の表示方向と実際に３次元で走査したボリューム領域との位置的な関係が容易に把握できるようになる。

次に、オペレータの３次元走査作業を支援する技術について説明する。３次元走査は、オペレータが超音波プローブ２を把持して被検体の体表面を移動したり、また首振りのように動かすことで簡易的に行われることが多い。その一方で、３次元画像処理用コンピュータユニット４で何枚の２次元超音波画像から３次元画像を再構成するかは自由に設定できるようになっている。ここで仮にｎ枚の２次元超音波画像から３次元画像が再構成されるとすると、３次元画像再構成の１サイクルは画像収集のフレームレートの逆数、つまり１フレームの収集時間に“ｎ”を乗算した時間として与えられる。この１サイクル時間で、関心部位を含むボリューム領域全体を一通り走査するように超音波プローブ２を動かすことが、好ましい。

オペレータが好ましく超音波プローブ２を動かすことができるように、それを支援するための収集インジケータをインジケータ発生部１６で発生し、ディスプレイ装置１７に表示する。この収集インジケータの一例を図１０（ａ）に示している。この例では、円グラフであるがバーグラフでもよい。この収集インジケータはその表示形態が１サイクル時間を周期として変動するようになっており、例えば円グラフの表示色が円周方向に経時的に変化し、またバーグラフの表示色がその長軸方向に経時的に変化するようになっている。オペレータは、このような収集インジケータを参照することにより、超音波プローブ２を好ましく動かすことができる。

また、超音波診断装置１の画像メモリ６から３次元画像処理用コンピュータユニット４の画像メモリ７に複数フレーム分の２次元超音波画像データが転送されるとき、その転送の進捗状況を、インジケータ発生部１６で発生する転送インジケータ、例えば図１０（ｂ）に示すような残りをバーグラフとパーセントで表示する転送インジケータをディスプレイ装置８に表示するようにしてもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の好ましい実施形態による３次元超音波システムの概略図。 図１の機能ブロック図。 図１の他の機能ブロック図。 本実施形態の他の画像分離方法の原理図。 図４の画像分離法法に対応する３次元超音波システムの機能ブロック図。 図１のディスプレイ装置上に表示した中間調画像。 図１のディスプレイ装置上に表示した中間調画像。 インジケータ発生部で作られるポジションインジケータの一例を示す図。 ３次元走査の３方向を示す図。 インジケータ発生部で作られる収集インジケータと転送インジケータとの一例を示す図。

符号の説明

１…超音波診断装置、２…超音波プローブ、３…位置センサ、４…３次元画像処理用コンピュータユニット、５…位置データメモリ、６…画像メモリ、７…画像メモリ、８…３次元画像作成部。

Claims (4)

1. ２次元超音波画像データを３次元的に収集し、３次元超音波画像データを生成して表示する３次元超音波診断装置において、前記３次元表示画像データと同画面に、前記２次元超音波画像データの上下、左右及び収集方向を判別可能に構成した３次元状のインジケータを表示し、前記３次元表示画像データの表示方向に連動して前記インジケータの表示方向を変えるようにしたことを特徴とした３次元超音波システム。
2. 前記インジケータは、前記２次元超音波画像データの３次元的な収集領域の外形に近似する４角錐形状、４角錐の頂点部分を削除した形状、球体の中心から表面にかけての一部分を切り取った形状、又はこの球体の一部分形状の中心点部分を削除した形状であることを特徴とした請求項１記載の３次元超音波システム。
3. 前記インジケータを前記収集方向に沿って半分ずつあるいは数段階に分けて異なる色で表示することを特徴とした請求項１又は２記載の３次元超音波システム。
4. 前記インジケータを、模式的な立体形状とボリュームデータの全体形状を示すワイアフレームとを合成した形状で表示することを特徴とした請求項１、２又は３記載の３次元超音波システム。

Images