JP4205957B2

JP4205957B2 - Ultrasonic diagnostic equipment

Info

Publication number: JP4205957B2
Application number: JP2003003344A
Authority: JP
Inventors: 英司笠原
Original assignee: Aloka Co Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2009-01-07
Anticipated expiration: 2023-01-09
Also published as: JP2004215701A

Description

【０００１】
【発明の属する技術分野】
本発明は、超音波を用いて取得した被検体内三次元領域のエコー情報に基づき、ボリュームレンダリングを用いて被検体内部の三次元画像を構成する超音波診断装置に関し、特に穿刺針やラジオ波熱凝固装置を用いた術式の支援のための技術に関する。
【０００２】
【従来の技術】
従来より、穿刺による組織採取や高周波凝固療法（ＲＦＡ;Radio Frequency Ablation）による癌組織焼灼などの術式において、穿刺針や高周波凝固用ハンドピースなどの挿入器具の位置確認に超音波診断装置が利用されている。このような位置確認には、一般的には二次元断層画像が用いられている。
【０００３】
ところが、二次元断層画像では、断層面内の挿入器具の位置や周囲の組織の様子は把握できるが、断層面に直交する奥行き方向の様子は把握できない。このため、高周波凝固療法の場合次のような問題がある。すなわち、高周波凝固療法では、図９に示すように、高周波凝固用ハンドピース４００の先端を肝臓癌等の目標組織まで挿入し、その先端から電極針４０２を四方に展開する。したがって、ハンドピース４００の位置が二次元断層画像で確認できたとしても、電極針１０２は二次元断層像の面外に出るので、断層面外にある血管等を傷つけないための配慮が必要になる。従来は、事前に医師が二次元断層画像により患部の様々な断面の様子を確認して患部周囲の血管の状況をイメージし、施術時にはこのイメージを頼りに、血管等を傷つけないように注意して電極針４０２を展開している。このような作業は医師にとって大きな負担となっている。
【０００４】
また、高周波凝固法でも穿刺でも、ハンドピースや穿刺針が二次元断層画像の面の外に出る場合がある。このような場合、穿刺針等の先端部の位置確認のためには超音波探触子を操作してハンドピース等を断層画像の面内に収める必要がある。このような超音波探触子の操作と穿刺針の操作を一人の医師が行うことは困難である。
【０００５】
これに対し、特許文献１には、近年利用が進んでいる超音波三次元画像表示装置を用いた穿刺支援のための機構が提案されている。この装置は、三次元領域のエコー情報を取り込むための超音波探触子に穿刺アダプタを設け、穿刺針をこの穿刺アダプタで案内することで穿刺針が三次元画像に示されるようにし、三次元画像により穿刺針の進入状態を確認できるようにしている。三次元画像であれば、断面のみならずその周囲の様子も把握できる。
【０００６】
【特許文献１】
特開２００２−１０２２２１号公報。
【０００７】
【発明が解決しようとする課題】
特許文献１の装置は、被検体内の三次元的な様子を表示できるので、高周波凝固用ハンドピースの電極針の三次元的な広がりの把握も不可能ではない。しかしながら、高周波凝固用ハンドピースの向きや位置は、医師の操作に応じて変化していくのに対し、従来装置では超音波探触子の位置を基準とした固定の視野の画像を表示するだけなので、ハンドピースと周囲組織との関係が見やすい三次元画像が得られるとは限らない。この問題は穿刺の場合にもいえることである。
【０００８】
本発明は、このような問題に鑑みなされたものであり、高周波凝固用ハンドピースや穿刺針等の体内挿入器具の位置確認に好適な超音波診断装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る超音波診断装置は、超音波ビームを走査して三次元領域内の各ボクセルのエコー情報を取得する三次元エコー情報取得手段と、前記三次元領域内の各ボクセルのうちエコー情報が閾値以上の値を持つボクセル群を、前記三次元領域における体内挿入器具の存在領域として検出する器具検出手段と、前記器具検出手段の検出結果である前記存在領域内の２ボクセルを結ぶ線分の中で最長の線分を求め、求めた前記最長の線分の向きを前記体内挿入器具の向きとして求める器具方向判定手段と、前記三次元領域内の各ボクセルのエコー情報に基づき、前記三次元領域の三次元画像を構成する三次元画像構成手段であって、前記器具方向判定手段で判定した前記体内挿入器具の向きに対してあらかじめ定めた関係となる方向を視線方向に決定し、この視線方向に対応する三次元画像を構成する三次元画像構成手段と、を備える。
また、本発明の別の側面に係る超音波診断装置は、超音波ビームを走査して三次元領域内の各ボクセルのエコー情報を取得する三次元エコー情報取得手段と、前記三次元領域内の各ボクセルのエコー情報に基づき、前記三次元領域における体内挿入器具の存在領域を検出する器具検出手段と、前記器具検出手段の検出結果から前記体内挿入器具の向きを求める器具方向判定手段と、前記三次元領域内の各ボクセルのエコー情報に基づき、前記三次元領域の三次元画像を構成する三次元画像構成手段であって、前記器具方向判定手段で判定した前記体内挿入器具の向きに基づき視線方向を決定し、この視線方向に対応する三次元画像を構成する三次元画像構成手段と、前記器具検出手段の検出結果である前記存在領域内の２ボクセルを結ぶ線分の中で最長の線分の両端点のうち超音波ビームの送信源から遠い方の端点を前記三次元領域内での前記体内挿入器具の先端位置として求める器具位置判定手段と、を備え、前記三次元画像構成手段は、前記器具位置判定手段で求めた前記体内挿入器具の先端位置に対してあらかじめ定めた位置関係となる位置を視点位置に決定し、この視点位置と前記視線方向とに対応する三次元画像を構成する、ことを特徴とする。
【００１０】
ここで、体内挿入器具の存在領域とは、器具検出手段による検出の時点において、体内挿入器具が現に存在している領域のことである。
【００１１】
本発明の好適な態様では、超音波診断装置は、前記器具検出手段の検出結果から前記三次元領域内での前記体内挿入器具の位置を求める器具位置判定手段を更に備え、前記三次元画像構成手段は、前記器具位置判定手段で求めた前記体内挿入器具の位置に基づき視点位置を決定し、この視点位置と前記視線方向とに対応する三次元画像を構成する。
【００１２】
また別の好適な態様では、前記三次元画像構成手段は、前記器具方向判定手段で検出された前記体内挿入器具の向きを基準に複数の視線方向を決定し、それら視線方向ごとに、視線方向に対応する三次元画像を構成する。
【００１３】
また別の好適な態様では、前記三次元画像構成手段は、前記器具検出手段で検出した前記体内挿入器具の存在領域の情報に基づき、該存在領域をそれ以外の領域と異なる表示形態で表す三次元画像を構成する。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１５】
図１は本発明に係る超音波診断装置の構成を示す機能ブロック図である。この超音波診断装置は、穿刺や高周波凝固用ハンドピースなどの体内挿入器具の位置確認のための三次元画像を表示するためのものである。
【００１６】
超音波探触子１０は、被検体内の所定の三次元データ取込領域内を超音波ビームにより走査し、その三次元領域内の各点からのエコー情報を取得するためのプローブである。超音波探触子１０としては、電子走査式の一次元アレイ振動子を走査面に垂直な方向に機械的に走査することで三次元データ取込領域を走査するメカニカル３Ｄスキャナや、振動素子を二次元配列し電子走査のみで三次元データ取込領域の走査を実現する２Ｄアレイプローブなどを用いることができる。
【００１７】
送信回路１２は、この超音波探触子１０の各振動素子に対して送信信号を供給し、送信ビームの形成や走査を行う回路である。受信回路１４は、後段での信号処理のために、超音波探触子１０の各振動素子から出力される受信信号に対してインピーダンスマッチングや信号増幅等の処理を行う回路である。整相加算回路１６は、受信回路１４からのそれら各振動素子の受信信号を、それぞれ適切な量だけ遅延させた上で加算することで、受信ビームの形成や走査を行う回路である。
【００１８】
整相加算回路１６の加算出力のアナログ信号は、図示省略したＡ／Ｄ変換器でデジタル信号に変換される。更に、このデジタル信号には、図示省略したＤＳＣ（デジタル・スキャン・コンバータ）により、ボリュームレンダリング演算のために必要な走査変換処理が施される。この走査変換処理では、例えばセクタ走査など非直交座標系のビーム走査で得たエコー情報を三次元直交座標系に座標変換したり、ビーム同士の間のデータ値のないボクセルに対してデータ補間を行ったりする。このＤＳＣによる変換処理結果のデータがメモリ部１８に記憶される。これにより、メモリ部１８には、三次元データ取込領域の各ボクセルのエコー情報が記憶されることになる。メモリ部１８に記憶される情報は、例えば三次元データ取込領域の走査のたびに更新される。
【００１９】
中央制御回路（ＣＰＵ）１９は、以上に説明した、及び以降に説明する各機能モジュールを制御し、本超音波診断装置が提供する各種機能を実現する。
【００２０】
視点算出部１００は、メモリ部１８に記憶された三次元データ取込領域内の各ボクセルのエコー情報から、体内挿入器具の向きや位置を求め、この向きや位置に基づき三次元画像描画の際の視点を求める。
【００２１】
視点算出部１００は、器具領域抽出部１０２，抽出メモリ部１０４，器具位置検出部１０６，器具変位算出部１０８，及び視点位置計算部１１０を備える。
【００２２】
器具領域抽出部１０２は、メモリ部１８に記憶された三次元データ取込領域の各ボクセルのデータの中から、体内挿入器具に該当するボクセルを抽出する。穿刺針や高周波凝固用プローブなどの器具は、生体組織に比べて遙かにエコー強度が高いので、各ボクセルのエコー強度値を閾値判定、すなわち二値化することにより、それら体内挿入器具に該当するボクセルを抽出することができる。二値化の閾値（二値化閾値と呼ぶ）は、ユーザが手動設定することもできるが、超音波探触子１０にて取得したエコー情報に基づき自動設定することもできる。
【００２３】
自動設定方法の一例としては、例えばヒストグラムを用いる方法がある。この方法では、まず、例えば三次元データ取込領域の１走査の間、整相加算回路１６から出力される受信信号の信号レベル（すなわちエコー強度であり、表示時の輝度値に対応する）のヒストグラムを作成する。図２は、作成されるヒストグラムの一例を示す図である。三次元データ取込領域内に体内挿入器具が存在する場合、ヒストグラムには、図２に示すように生体組織のエコーを示す山Ａと体内挿入器具のエコーを示す山Ｂができる。生体組織と体内挿入器具のエコー強度は大きく異なるので、一般に２つの山Ａ，Ｂの間に頻度がきわめて小さい谷Ｃができる。そこで、二値化閾値の自動設定では、ヒストグラムにおいて信号レベルの小さい方から順に頻度値を調べていき、所定の第１閾値より高頻度の最初のピーク（これが一般に生体組織を示す山Ａに対応する）を超えた後で、頻度値が所定の第２閾値以下となる範囲（これが谷Ｃに対応する）を探索し、この範囲の例えば中央の信号レベルを二値化閾値に設定する。なお、ここで用いる第１閾値は、ノイズ等によるピークを生体組織を示す山Ａとして誤認しないようにするためのものである。生体組織からのエコーは頻度が高いため、第１閾値としては高めの値を設定しておく。また第２閾値は、頻度が０に近い谷Ｃを検知するためのものであり、あらかじめ小さい値を設定しておく。
【００２４】
このように自動設定又は手動設定された二値化閾値により器具領域抽出部１０２で抽出されたボクセルの情報は、抽出メモリ部１０４に記憶される。ここで抽出メモリ部１０４には、例えば器具領域抽出部１０２での二値化結果（例えば体内挿入器具に該当するボクセルは１，それ以外のボクセルは０の値を持つボリュームデータ）が保持される。このような二値化結果の代わりに、抽出された各ボクセルの位置（三次元データ取込領域内での位置を特定する情報）の情報を記憶するようにしてもよい。
【００２５】
なお、生体組織と体内挿入器具とはエコー強度が顕著に異なるので、ボリュームデータにノイズ（例えばスペックルノイズ）が加わっても、一般的には、上述の二値化処理で問題なく両者を弁別できる。しかし、何らかの理由でノイズが弁別に影響を与える場合には、二値化処理の前段でボリュームデータの平滑化を行ったり、二値化処理結果に対して画像処理分野で周知の孤立点除去処理などを加えたりすることで、ノイズを除去し、体内挿入器具を抽出することができる。
【００２６】
器具位置検出部１０６は、抽出メモリ部１０４に記憶された情報に基づき、三次元データ取込領域内の体内挿入器具の長手方向の両端点を検出する。穿刺針や高周波凝固用プローブなどの体内挿入器具は一般に細い棒状の形状を有しているので、この棒形状のうち三次元データ取込領域内に存在する部分の両端を検出するのである。両端が検出できると、体内挿入器具の先端位置と向きが分かる。
【００２７】
この器具位置検出部１０６の処理の一例を図３を用いて説明する。この処理では、まず抽出メモリ部１０４に記憶された二値化結果のボリュームデータ２００をＸＹ平面、ＹＺ平面及びＺＸ平面のうちから選んだ２つの面に対して投影する（ａ）。これにより、各面において二次元の二値画像が得られる。図ではＸＹ平面への投影画像２１０とＹＺ平面への投影画像２２０を示している。
【００２８】
以下、投影画像２１０及び２２０の各々において、体内挿入器具を示す領域２５０内の２点を結ぶ線分の中で最長となる線分を求める。この最長線分検出処理は、投影画像２１０及び２２０の両方に対し同じ内容でよいので、投影画像２１０を例にとって説明する。以下では、投影画像２１０において体内挿入器具に該当する画素の値が１、それ以外の画素の値が０であるとして説明する。この処理ではまず投影画像２１０の画素をラスタ走査順序（図示例ではＸ方向がラスタ走査の主走査方向、Ｙ方向が副走査方向）で順に調べ、値が１の画素を見つける（ｂ）。
【００２９】
値が１の画素が見つかると、その画素を線分の始点Ｐとし、その線分の終点Ｑをこの始点Ｐから主走査方向に順に移動させ、終点Ｑが値０の画素に達するまでその移動処理を繰り返す（ｃ）。この終点Ｑの移動の間、始点Ｐと終点Ｑの距離を逐次計算する。この移動により終点Ｑが値０の画素に行き当たると、次に終点Ｑをラスタ走査の副走査方向に１画素ずつ移動させ、この移動を値が１である画素に行き当たるまで繰り返す。この移動の間も始点Ｐと終点Ｑの距離を逐次計算する。ここで、終点Ｑを副走査方向に移動させると始点終点間の距離が短くなるようであれば、終点Ｑの移動方向を逆向きにする。この副走査方向の移動により終点Ｑが値１の画素に行き当たると、終点Ｑの移動方向を主走査方向に切り替え、終点Ｑが値０の画素に行き当たるまで１画素ずつ移動していく。
【００３０】
このようにして終点Ｑを１画素ずつ主走査又は副走査方向に移動させていき、その移動の都度、始点終点間の距離を移動前の距離と比較する。そして、終点をどのように移動しても、始点終点間の距離が移動前の距離より小さくなる場合、そのときの終点を、最長線分の正式な終点Ｑとして採用し、そのｘ、ｙ座標を求める（ｄ）。
【００３１】
そして今度はその正式な終点を固定し、始点Ｐの方を、先ほどの終点Ｑの移動と同様のやり方で移動させていく（ｅ）。この移動処理では、まずＸ方向に１画素ずつ移動させていく。この場合、始点Ｐの移動方向は、移動により始点終点間の距離が大きくなる方向とする。そして、値０の画素に行き当たれば、値１の画素に行き当たるまで始点ＰをＹ方向に移動させる。この移動も、始点終点間の距離が大きくなる方向とする。このような移動を繰り返していき、どの方向に始点Ｐを動かしても移動前より始点終点間の距離が小さくなったとき、そのときの始点位置を最長線分の正式な始点Ｐとして採用し、そのｘ、ｙ座標を求める（ｆ）。
【００３２】
以上のようにして、ＸＹ平面への投影画像２１０における体内挿入器具の領域２５０の最長線分の両端点のｘ、ｙ座標が求められる。同様の処理をＹＺ平面への投影画像２２０に対して実行することにより、体内挿入器具の領域２５０の最長線分の両端点のｙ，ｚ座標が求められる。これらを組み合わせることにより、体内挿入器具の領域２５０の最長線分（すなわち長手軸）の両端点の三次元座標が求められる。
【００３３】
以上、図３を参照して器具位置検出部１０６の処理内容を説明した。しかし、この処理はあくまで一例にすぎず、他にも様々な処理方式が考えられる。例えば別の方法として、体内挿入器具に該当する各ボクセルのｘ，ｙ，ｚ座標を調べ、その各々の最大値及び最小値を求めるという方法がある。体内挿入器具は棒状の形状を有しているので、この方法で、該器具の長手軸の両端の三次元座標を求めることができる。
【００３４】
器具変位算出部１０８は、器具位置検出部１０６の検出結果に基づき、体内挿入器具の向きや位置の変位量を計算する。この器具変位算出部１０８の処理の一例を図４を参照して説明する。
【００３５】
図４において、Ｘ，Ｙ，Ｚの各座標軸は、メモリ部１８に記憶された三次元データ取込領域の各直交座標軸である。そして、点Ｐ(x1,y1,z1)、Ｑ(x2,y2,z2)は、器具位置検出部１０６で検出された体内挿入器具の長手軸の各端点である。また、θxは線分ＰＱのＹＺ平面への正射影がＺ軸となす角度を、θyは線分ＰＱのＺＸ平面への正射影がＺ軸となす角度を、それぞれ示す。θx，θyはそれぞれ次式から求められる。
【００３６】
【数１】
θx＝ｔａｎ^-1((y2-y1)/(z2-z1)) ...(1)
θy＝ｔａｎ^-1((x2-x1)/(z2-z1)) ...(2)
そして、器具変位算出部１０８は、これら角度θx，θyの体内挿入器具の向きの変位量とし、(x1,y1,z1)を体内挿入器具の先端位置の変位量として出力する。すなわち、ここでは、前回タイミングでは体内挿入器具の先端位置が原点に、体内挿入器具の向きがＺ軸方向に向いているものとし、それに対する今回タイミングでの先端位置及び向きの変位を出力している。なお、両端点のうちのいずれが体内挿入器具の先端であるかは、超音波探触子１０から遠い方の端点を先端とすればよい。
【００３７】
視点位置計算部１１０は、器具変位算出部１０８で求められた位置及び向きの変位量に基づき、三次元画像のレンダリングのための視点の位置を計算する。すなわち、本実施形態では、体内挿入器具に対して一定の位置関係となるよう視点を設定する。これにより、体内挿入器具の向き又は位置が変化すると、それに応じて視点が移動することになる。視線の向きは、その視点から三次元データ取込領域の基準点（例えば該領域の中心点）に向かう向きとする。
【００３８】
この視点位置計算部１１０における視点の計算式の一例を以下に示す。
【００３９】
【数２】

【数３】
［Ｖxnew，Ｖynew，Ｖznew，１］＝［Ｖxold，Ｖyold，Ｖzold，１］Ｔrxyz
ここで、Ｔrxyzは変換マトリクスであり、［Ｖxnew，Ｖynew，Ｖznew］は今回のタイミングでの視点の三次元座標、［Ｖxold，Ｖyold，Ｖzold］は前回のタイミングでの視点の三次元座標を示す。この計算式は、前回タイミングの視点位置を、Ｘ軸周りに角度θx、Ｙ軸周りに角度θyだけ回転させ、さらに(x1,y1,z1)だけ平行移動させることで、今回の視点を求めるというものである。このような変換により求められた新たな視点から、三次元データ取込領域の所定の基準点へと向かう向きが新たな視線方向となる。
【００４０】
三次元画像レンダリングの視点及び視線方向を、この視点位置計算部１１０で求められた視点及び視線方向に変えることで、視線方向が前回タイミングからＸ軸周りに角度θx、Ｙ軸周りに角度θyだけ回転し、かつ視点位置が前回タイミングから(x1,y1,z1)だけ平行移動することになる。
【００４１】
このようにして視点位置計算部１１０で計算された視点位置の情報は、三次元画像構成部２０に入力される。
【００４２】
三次元画像構成部２０は、メモリ部１８に記憶された三次元データ取込領域内の各ボクセルのエコー情報に対してボリュームレンダリング演算を施すことにより、該取込領域の三次元画像を構成する。三次元画像構成部２０のボリュームレンダリング演算には、例えば特許第２８８３５８４号の明細書に示される公知の手法を用いることができる。構成された三次元画像は、表示部２２に表示される。なお、三次元画像構成部２０で構成された三次元画像は、表示部２２に表示するだけでなく、図示省略した印刷装置から印刷出力したり、図示省略した記憶装置に保存したりすることもできる。
【００４３】
本実施形態の三次元画像構成部２０は、視点算出部１００から視点位置の入力を受け、この視点位置から所定の基準点に向かって見た状態の三次元画像を構成する。すなわち、本実施形態では、体内挿入器具の向き及び位置に応じた視点及び視線方向で、ボリュームレンダリング演算を行うことができる。これにより、体内挿入器具の挿入操作に応じて該器具の向きや先端位置が変化すると、その変化に追従して表示部２２に表示される三次元画像の視点位置や視線方向が変化する。したがって、ユーザは、あたかも体内挿入器具に対して固定されたカメラから見ているように、体内挿入器具の動きに追従して変化する三次元画像を見ることができる。
【００４４】
例えば、図５に示すように（ａ）穿刺針６０を腹部５０に対して挿入開始し、（ｂ）穿刺針６０の角度を変え、（ｃ）変えた角度で穿刺針６０を進めて腫瘍５２まで到達させるという処置では、表示部２２に表示される三次元画像は図６に示すように変化する。すなわち、図６（ａ）は穿刺針挿入開始時の、（ｂ）は穿刺針角度変更時の、（ｃ）は穿刺針進行時の三次元画像を模式的に示したものである。例えば穿刺針の挿入角度を変えると（ｂ）に示すように、表示部２２に表示される三次元画像の視線方向もその変化に応じて変化する。したがって、腫瘍５２とその周囲に存在する血管５４との関係が見づらい場合は、穿刺針６０の角度を変えることで、それらの関係が見やすいように三次元画像の視線方向を変えることができる。また、穿刺針５０を目標とする腫瘍５２に近づけていくにつれ、（ｃ）に示すように腫瘍が大きく見えてくるため、直感的に分かりやすい。
【００４５】
なお、視点算出部１００は、上述の処理により求めた変換マトリクスＴrxyzに従い、整相加算回路１６の後段のＤＳＣでの座標変換マトリクスを変更する。これにより、次にＤＳＣから出力される座標変換結果は、体内挿入器具の位置及び向きに変化がなければその先端位置が原点に位置しその向きがＺ軸方向に向くようになる。したがって、体内挿入器具の位置及び向きに変化があった場合は、それを基準に前述のようにしてその変位量を求めることができる。
【００４６】
このように本実施形態の装置によれば、体内挿入器具の移動に追従して三次元画像の視野を変えることができるので、体内挿入器具を操作するユーザにとって見やすい三次元画像を提供できる。これにより、例えば高周波凝固用プローブを用いた手術では、電極針を四方に展開する前に、その周囲に血管がないかを、見やすい方向からの三次元画像により確認できる。また、本実施形態では、画像処理により視野を変化させることができるので、ユーザは、超音波プローブを固定したままで、体内挿入器具の操作に集中することができる。
【００４７】
以上、本発明の好適な実施の形態を説明したが、この実施形態の超音波診断装置には様々な変形、改善が考えられる。
【００４８】
例えば、上記実施形態では、体内挿入器具の向きの変化に応じて、レンダリングの視線方向を変化させ、更に体内挿入器具の移動量だけ視点位置を並行い移動させたが、この代わりに体内挿入器具の向きの変化に応じて視線方向のみを変化させる構成でも効果がある。
【００４９】
また、上記実施形態では、前回の視点位置を基準に今回の視点位置を計算したが、この代わりに、固定の三次元直交座標系にて体内挿入器具の先端の位置及び向きを求め、これら位置及び向きに対して一定の位置関係を満たすように視線方向や視点位置を決定しても、同様の作用効果が得られる。
【００５０】
また、上記実施形態では、１つの視点からの三次元画像を表示したが、これでは、体内挿入器具の先端と生体組織の注目部位（例えば腫瘍）との位置関係が把握しにくい場合もある。これに対する解決策としては、体内挿入器具を基準に複数の視点（及びそれに付随する視線方向）を設定し、それら各視点からの三次元画像を１つの画面又は複数画面に同時表示する構成がある。例えば、上述の視点及び視線方向の他に、その視線方向に対して９０°異なる方向に視線方向を設定し、三次元データ取込領域の基準点からその視線方向に向かう線上、例えば基準点から見て上述の視点と同じ距離の位置に視点を設定して、もう一つの三次元画像をレンダリングして表示する等の方法が可能である。この場合、図７ように、異なる方向から見た２つの三次元画像３００及び３１０が同時表示される。各三次元画像３００及び３１０の隣に示された矢印３０２及び３１２は、それら三次元画像３００及び３１０の相互の位置関係を示している。すなわち。三次元画像３００の視線方向に対して矢印３０２の向き（すなわち左から右への向き）に見た画像が三次元画像３１０であり、逆に三次元画像３１０に対して矢印３１２の向きに見た画像が三次元画像３００であることを示している。図７は、２方向から画像を同時表示するものであったが、３方向（すなわち３視点）以上からの画像を同時表示することももちろん可能である。このように、異なる視点からの異なる視線方向の三次元画像を同時表示することで、ユーザは、体内挿入器具と被検体の血管や腫瘍等との位置関係を、同時に様々な方向から確認することができる。
【００５１】
また、器具位置検出部１０６で検出した体内挿入器具の両端点の位置情報に基づき、体内挿入器具を表す三次元モデルとして、それら両端点を上面及び底面とした円柱形や角柱形のモデルを作成し、体内挿入器具に該当するボクセル群をこのモデルに置き換えた上でレンダリングする構成も可能である。この構成によれば、三次元画像における体内挿入器具の形状を整えることができるので、画像上で体内挿入器具が識別しやすくなる。
【００５２】
また、本実施形態の超音波診断装置では、三次元データ取込領域のボクセル群のうちのどれが体内挿入器具に該当するかという情報を抽出メモリ部１０４に記憶しているので、その情報をもとに、体内挿入器具とその他の部分（すなわち生体組織部分）とを異なる表示形態でレンダリングすることができる。表示形態としては、例えば色が考えられる。すなわち、この場合、体内挿入器具に該当するボクセルにはある色を割り当てる。同様に、生体組織に該当するボクセルには、体内挿入器具とは異なる色を割り当てる。そして、各々のボクセルのエコー強度は、対応する色における輝度レベルの違いで表現する。このように各ボクセルの色及び輝度値を設定した上で、ボリュームレンダリング演算を行うことで、体内挿入器具と生体組織とを異なる色で示した三次元画像を構成できる。
【００５３】
また同様の考え方で、ボリュームデータから腫瘍や血管の領域を抽出し、これらを体内挿入器具や他の組織とは識別可能な表示形態で表示する構成も可能である。図８は、このような構成を示す機能ブロック図である。図８において、図１に示した構成の要素と同一又は類似の要素には同一符号を付してその説明を省略する。図８の構成は、図１の構成に加え、腫瘍抽出部２４，フィルタ２６及び血管抽出部２８を備える。
【００５４】
腫瘍抽出部２４は、メモリ部１８に記憶された三次元データ取込領域のボリュームデータに基づき、腫瘍に該当するボクセルを抽出する。腫瘍部分の抽出は、例えば本出願人による特許第３３２５９８３号明細書に開示されたファジー推論や、同じく本出願人による特許第２００９６３１号明細書に開示されたテクスチャー解析等の手法により実現できる。
【００５５】
血管抽出部２８は、メモリ部１８に記憶された三次元データ取込領域のボリュームデータに基づき、血管に該当するボクセルを抽出する。血管部分の抽出は、例えば、血流部分と組織部分とのエコー強度の差に基づき行うことができる。すなわち、血流部分は筋肉や内臓その他の組織部分に比べてエコー強度が低いので、あらかじめ設定した閾値以下のエコー強度のボクセルが血流部分、すなわち血管に該当するものと判別できる。また、別の方法として、各ボクセルのカラードプラ信号に基づき血管部分を抽出することもできる。すなわち、血流は組織部分に比べて速度が大きいので、カラードプラ信号があらかじめ設定した閾値より大きいボクセルを血流部分、すなわち血管に該当するものとして抽出できる。各ボクセルのカラードプラ信号は、自己相関演算等、周知の方法で求めることができる。以上、血管部分の抽出手法の例をいくつか説明したが、いずれの場合も、体内挿入器具と組織部分との弁別に比べてノイズの影響が顕著なので、血管抽出部２８の前段にフィルタ２６を設け、ボリュームデータからのノイズ除去を行う。フィルタ２６としては、例えば三次元メディアン−メディアンフィルタを用いることができる。
【００５６】
このように腫瘍や血管に該当するボクセルが抽出できると、三次元画像構成部２０は、腫瘍、血管、体内挿入器具、及びその他の組織をそれぞれ異なる表示形態で表示することができる。例えば腫瘍に該当するボクセル、血管に該当するボクセル、体内挿入器具に該当するボクセル、その他のボクセルに対してそれぞれ異なる色を割り当て、ボリュームレンダリングを行うなどである。またこの構成では、三次元画像において、腫瘍を半透明表示することも可能である。この半透明表示は、例えば、腫瘍に該当する各ボクセルに対し、半透明表示に適したオパシティ（不透明度）を与えて、ボリュームレンダリングを行うことで実現できる。
【００５７】
【発明の効果】
このように、本発明によれば、挿入操作時の体内挿入器具の向きの変化に応じて三次元画像のレンダリングの視線方向を自動的に変えることができる。したがって、ユーザは、体内挿入器具を操作するだけで、三次元画像の視線方向を変えることができる。
【００５８】
また本発明では、更に体内挿入器具の位置の変化に応じて視点位置を移動させることができるので、例えば体内挿入器具が注目部位に近づくに従って三次元画像上で注目部位が大きくなっていくといった、直感的に分かりやすい表示が実現できる。
【図面の簡単な説明】
【図１】実施形態の超音波診断装置の構成を示す機能ブロック図である。
【図２】三次元データ取込領域内に体内挿入器具が存在する場合のエコー強度のヒストグラムの一例を示す図である。
【図３】ボリュームデータ中の体内挿入器具の領域の長手軸方向両端の検出処理の一例を説明するための図である。
【図４】体内挿入器具の向き及び先端位置の変位を説明するための図である。
【図５】体内挿入器具の操作手順の一例を説明するための図である。
【図６】図５の操作手順の各段階で表示部に表示される三次元画像の例を模式的に示す図である。
【図７】２方向からの三次元画像を同時表示した様子を説明するための図である。
【図８】変形例の超音波診断装置の構成を示す機能ブロック図である。
【図９】高周波凝固用ハンドピースの構成を説明するための図である。
【符号の説明】
１０超音波探触子、１２送信回路、１４受信回路、１６整相加算回路、１８メモリ部、１９中央制御回路、２０三次元画像構成部、２２表示部、１００視点算出部、１０２器具領域抽出部、１０４抽出メモリ部、１０６器具位置検出部、１０８器具変位算出部、１１０視点位置計算部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an ultrasound diagnostic apparatus that constructs a three-dimensional image inside a subject using volume rendering based on echo information of a three-dimensional region inside the subject acquired using ultrasound, and in particular, a puncture needle or radio wave The present invention relates to a technique for assisting an operation method using a thermocoagulation apparatus.
[0002]
[Prior art]
Conventionally, ultrasonic diagnostic equipment has been used to confirm the position of insertion instruments such as puncture needles and high frequency coagulation handpieces in surgical procedures such as tissue collection by puncture and cancer tissue ablation by radio frequency ablation (RFA). Has been. A two-dimensional tomographic image is generally used for such position confirmation.
[0003]
However, in the two-dimensional tomographic image, the position of the insertion instrument in the tomographic plane and the state of the surrounding tissue can be grasped, but the state in the depth direction perpendicular to the tomographic plane cannot be grasped. For this reason, there are the following problems in the case of high-frequency coagulation therapy. That is, in the high-frequency coagulation therapy, as shown in FIG. 9, the tip of the high-frequency coagulation handpiece 400 is inserted to a target tissue such as liver cancer, and the electrode needle 402 is expanded in all directions from the tip. Therefore, even if the position of the handpiece 400 can be confirmed by a two-dimensional tomographic image, the electrode needle 102 goes out of the plane of the two-dimensional tomographic image, so that care must be taken not to damage blood vessels or the like outside the tomographic plane. Become. Conventionally, doctors confirm the state of various cross-sections of the affected area using a two-dimensional tomographic image in advance and imagine the state of the blood vessels around the affected area, and use this image during surgery to be careful not to damage the blood vessels etc. The electrode needle 402 is developed. Such work is a heavy burden for doctors.
[0004]
In addition, in both high-frequency coagulation and puncture, the handpiece and the puncture needle may come out of the plane of the two-dimensional tomographic image. In such a case, in order to confirm the position of the tip of the puncture needle or the like, it is necessary to operate the ultrasonic probe so that the handpiece or the like is within the plane of the tomographic image. It is difficult for one doctor to operate such an ultrasonic probe and a puncture needle.
[0005]
On the other hand, Patent Document 1 proposes a mechanism for supporting puncture using an ultrasonic three-dimensional image display device that has been used in recent years. This device is provided with a puncture adapter in an ultrasonic probe for capturing echo information of a three-dimensional area, and the puncture needle is shown in a three-dimensional image by guiding the puncture needle with this puncture adapter. The state of entry of the puncture needle can be confirmed from the image. In the case of a three-dimensional image, it is possible to grasp not only the cross section but also the surroundings.
[0006]
[Patent Document 1]
JP 2002-102221 A.
[0007]
[Problems to be solved by the invention]
Since the apparatus of Patent Document 1 can display a three-dimensional state in the subject, it is not impossible to grasp the three-dimensional extent of the electrode needle of the high-frequency coagulation handpiece. However, the direction and position of the high-frequency coagulation handpiece changes according to the operation of the doctor, whereas the conventional device only displays a fixed visual field image based on the position of the ultrasonic probe. Therefore, it is not always possible to obtain a three-dimensional image in which the relationship between the handpiece and the surrounding tissue is easy to see. This problem is also true for puncture.
[0008]
The present invention has been made in view of such problems, and an object thereof is to provide an ultrasonic diagnostic apparatus suitable for confirming the position of an intracorporeal instrument such as a high-frequency coagulation handpiece or a puncture needle.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, an ultrasonic diagnostic apparatus according to the present invention includes a three-dimensional echo information acquisition means for acquiring echo information of each voxel in a three-dimensional region by scanning an ultrasonic beam, and the three-dimensional region. Each voxel Out of Echo information A group of voxels with a value greater than or equal to the threshold The presence area of the intracorporeal instrument in the three-dimensional area As Instrument detection means to detect, and detection result of the instrument detection means The longest line segment connecting the two voxels in the existing area is obtained, and the direction of the longest line segment obtained is determined. Orientation of the insertion device As Based on echo information of each voxel in the three-dimensional area to be obtained, and a three-dimensional image constituting means for constructing a three-dimensional image of the three-dimensional area, the instrument direction determining means In the direction of the insertion device The direction of the predetermined relationship Gaze direction In 3D image forming means for determining and forming a 3D image corresponding to the line-of-sight direction.
An ultrasonic diagnostic apparatus according to another aspect of the present invention includes a three-dimensional echo information acquisition unit that scans an ultrasonic beam to acquire echo information of each voxel in the three-dimensional region, Based on the echo information of each voxel, instrument detection means for detecting the presence area of the intracorporeal instrument in the three-dimensional area, instrument orientation determination means for determining the orientation of the intracorporeal instrument from the detection result of the instrument detection means, 3D image constructing means for constructing a 3D image of the 3D area based on echo information of each voxel in the 3D area, wherein the line of sight is based on the orientation of the intracorporeal instrument determined by the instrument direction determining means. A line segment connecting a three-dimensional image forming means for determining a direction and forming a three-dimensional image corresponding to the line-of-sight direction and two voxels in the existence area as a detection result of the instrument detecting means Instrument position determining means for obtaining an end point farther from the transmission source of the ultrasonic beam among both end points of the longest line segment as the tip position of the intracorporeal instrument in the three-dimensional region, and the tertiary The original image constructing unit determines a position having a predetermined positional relationship with respect to the distal end position of the in-vivo insertion instrument obtained by the instrument position determining unit as a viewpoint position, and corresponds to the viewpoint position and the line-of-sight direction. Composing a 3D image, It is characterized by that.
[0010]
Here, the region where the intracorporeal instrument is present is a region where the intracorporeal instrument is actually present at the time of detection by the instrument detection means.
[0011]
In a preferred aspect of the present invention, the ultrasonic diagnostic apparatus further comprises instrument position determination means for obtaining the position of the intracorporeal instrument in the three-dimensional region from the detection result of the instrument detection means, and the three-dimensional image configuration The means determines a viewpoint position based on the position of the in-vivo insertion instrument obtained by the instrument position determination means, and constructs a three-dimensional image corresponding to the viewpoint position and the line-of-sight direction.
[0012]
In another preferred aspect, the three-dimensional image constructing unit determines a plurality of gaze directions based on the orientation of the in-vivo insertion instrument detected by the instrument direction determining unit, and the gaze direction is determined for each gaze direction. A three-dimensional image corresponding to is constructed.
[0013]
In another preferred aspect, the three-dimensional image constructing means is a tertiary that represents the existence area in a display form different from other areas based on information on the existence area of the intracorporeal instrument detected by the instrument detection means. Construct the original image.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings.
[0015]
FIG. 1 is a functional block diagram showing a configuration of an ultrasonic diagnostic apparatus according to the present invention. This ultrasonic diagnostic apparatus is for displaying a three-dimensional image for confirming the position of an intracorporeal instrument such as a puncture or a handpiece for high-frequency coagulation.
[0016]
The ultrasonic probe 10 is a probe for scanning a predetermined three-dimensional data capturing area in a subject with an ultrasonic beam and acquiring echo information from each point in the three-dimensional area. As the ultrasonic probe 10, a mechanical 3D scanner that scans a three-dimensional data acquisition region by mechanically scanning an electronic scanning type one-dimensional array transducer in a direction perpendicular to the scanning surface, or a vibration element is used. It is possible to use a 2D array probe or the like that is two-dimensionally arranged and realizes scanning of a three-dimensional data capturing area only by electronic scanning.
[0017]
The transmission circuit 12 is a circuit that supplies a transmission signal to each vibration element of the ultrasonic probe 10 to form and scan a transmission beam. The reception circuit 14 is a circuit that performs processing such as impedance matching and signal amplification on the reception signal output from each vibration element of the ultrasonic probe 10 for signal processing in the subsequent stage. The phasing addition circuit 16 is a circuit that forms and scans a reception beam by adding the reception signals of the respective vibration elements from the reception circuit 14 after being delayed by an appropriate amount.
[0018]
The analog signal output from the phasing and adding circuit 16 is converted into a digital signal by an A / D converter (not shown). Further, this digital signal is subjected to scan conversion processing necessary for volume rendering calculation by a DSC (digital scan converter) (not shown). In this scan conversion processing, for example, echo information obtained by beam scanning in a non-orthogonal coordinate system such as sector scanning is coordinate-converted into a three-dimensional orthogonal coordinate system, or data interpolation is performed on voxels without data values between beams. To go. Data of the conversion processing result by the DSC is stored in the memory unit 18. Thereby, the memory unit 18 stores the echo information of each voxel in the three-dimensional data capture area. The information stored in the memory unit 18 is updated each time the three-dimensional data capturing area is scanned, for example.
[0019]
The central control circuit (CPU) 19 controls each functional module described above and hereinafter and realizes various functions provided by the ultrasonic diagnostic apparatus.
[0020]
The viewpoint calculation unit 100 obtains the orientation and position of the in-vivo insertion device from the echo information of each voxel in the 3D data capture area stored in the memory unit 18, and performs the 3D image drawing based on the orientation and position. Seeking a perspective.
[0021]
The viewpoint calculation unit 100 includes an appliance region extraction unit 102, an extraction memory unit 104, an appliance position detection unit 106, an appliance displacement calculation unit 108, and a viewpoint position calculation unit 110.
[0022]
The instrument region extraction unit 102 extracts voxels corresponding to the intracorporeal instrument from the data of each voxel in the three-dimensional data capture region stored in the memory unit 18. Instruments such as puncture needles and high-frequency coagulation probes have much higher echo intensity than living tissue, so by determining the threshold value of each echo intensity value of each voxel, that is, binarizing, it corresponds to these intracorporeal instruments. Voxels to be extracted. The binarization threshold (referred to as binarization threshold) can be manually set by the user, but can also be automatically set based on echo information acquired by the ultrasound probe 10.
[0023]
As an example of the automatic setting method, for example, there is a method using a histogram. In this method, first, for example, during one scan of the three-dimensional data capture area, the signal level of the received signal output from the phasing and adding circuit 16 (that is, the echo intensity, which corresponds to the luminance value at the time of display). Create a histogram. FIG. 2 is a diagram illustrating an example of a created histogram. When the intracorporeal insertion instrument exists in the three-dimensional data capturing area, the histogram includes a peak A indicating the echo of the living tissue and a peak B indicating the echo of the intracorporeal instrument as shown in FIG. Since the echo intensity of the living tissue and the internal insertion instrument are greatly different, a valley C having a very low frequency is generally formed between the two peaks A and B. Therefore, in the automatic setting of the binarization threshold, the frequency value is examined in order from the signal level in the histogram in order from the lower signal level, and the first peak having a frequency higher than the predetermined first threshold (this generally corresponds to the mountain A indicating a biological tissue). After that, a range (which corresponds to the valley C) where the frequency value is equal to or less than a predetermined second threshold is searched, and the signal level at the center of this range is set as the binarization threshold. Note that the first threshold value used here is for preventing a peak due to noise or the like from being mistaken as a mountain A indicating a living tissue. Since the echo from the living tissue has a high frequency, a higher value is set as the first threshold value. The second threshold is for detecting a valley C whose frequency is close to 0, and a small value is set in advance.
[0024]
The voxel information extracted by the instrument region extraction unit 102 based on the binarization threshold value set automatically or manually as described above is stored in the extraction memory unit 104. Here, the extraction memory unit 104 holds, for example, the binarization result obtained by the instrument region extraction unit 102 (for example, volume data having a value of 1 for voxels corresponding to a body insertion instrument and 0 for other voxels). . Instead of such a binarization result, information on the position of each extracted voxel (information specifying the position in the three-dimensional data capturing area) may be stored.
[0025]
In addition, since the echo intensity is remarkably different between the living tissue and the internal insertion instrument, even if noise (for example, speckle noise) is added to the volume data, in general, the above binarization process can distinguish both without any problem. it can. However, if noise affects discrimination for some reason, volume data is smoothed before binarization processing, or isolated point removal processing known in the image processing field for binarization processing results. Etc., noise can be removed and the body insertion device can be extracted.
[0026]
The instrument position detection unit 106 detects both end points in the longitudinal direction of the intracorporeal instrument in the three-dimensional data capture area based on the information stored in the extraction memory unit 104. An intracorporeal instrument such as a puncture needle or a high-frequency coagulation probe generally has a thin rod-like shape, and therefore, both ends of a portion of the rod shape existing in the three-dimensional data capturing area are detected. If both ends can be detected, the tip position and orientation of the intracorporeal instrument can be known.
[0027]
An example of processing performed by the appliance position detection unit 106 will be described with reference to FIG. In this process, first, the binarized volume data 200 stored in the extraction memory unit 104 is projected onto two surfaces selected from the XY plane, the YZ plane, and the ZX plane (a). Thereby, a two-dimensional binary image is obtained on each surface. In the figure, a projection image 210 onto the XY plane and a projection image 220 onto the YZ plane are shown.
[0028]
Hereinafter, in each of the

projection images

210 and 220, the longest line segment is obtained among the line segments connecting two points in the region 250 indicating the intracorporeal instrument. Since the longest line segment detection processing may have the same contents for both the

projection images

210 and 220, the projection image 210 will be described as an example. In the following description, it is assumed that the value of the pixel corresponding to the intracorporeal insertion instrument in the projection image 210 is 1, and the values of the other pixels are 0. In this process, the pixels of the projection image 210 are first examined in the raster scanning order (in the example shown, the X direction is the main scanning direction of the raster scanning and the Y direction is the sub-scanning direction) to find a pixel having a value of 1 (b).
[0029]
When a pixel having a value of 1 is found, that pixel is set as the starting point P of the line segment, and the end point Q of the line segment is sequentially moved from the starting point P in the main scanning direction, and the movement is performed until the end point Q reaches a pixel of value 0. The process is repeated (c). During the movement of the end point Q, the distance between the start point P and the end point Q is sequentially calculated. When the end point Q reaches a pixel having a value of 0 by this movement, the end point Q is then moved one pixel at a time in the sub-scanning direction of the raster scan, and this movement is repeated until a pixel having a value of 1 is reached. During this movement, the distance between the start point P and the end point Q is sequentially calculated. Here, if the end point Q is moved in the sub-scanning direction, if the distance between the start point and the end point is shortened, the movement direction of the end point Q is reversed. When the end point Q reaches the pixel having the value 1 by the movement in the sub-scanning direction, the moving direction of the end point Q is switched to the main scanning direction, and the pixel is moved one pixel at a time until the end point Q reaches the pixel having the value 0.
[0030]
In this way, the end point Q is moved pixel by pixel in the main scanning or sub-scanning direction, and the distance between the start point and the end point is compared with the distance before the movement each time the movement is made. If the distance between the start point and the end point becomes smaller than the distance before the movement, no matter how the end point is moved, the end point at that time is adopted as the formal end point Q of the longest line segment, and its x, y coordinates (D).
[0031]
Then, the formal end point is fixed, and the starting point P is moved in the same manner as the movement of the end point Q (e). In this movement process, first, the pixels are moved one by one in the X direction. In this case, the moving direction of the starting point P is a direction in which the distance between the starting point and the end point increases due to the movement. If the pixel reaches the pixel having the value 0, the starting point P is moved in the Y direction until the pixel having the value 1 is reached. This movement is also set to a direction in which the distance between the start point and the end point increases. When such a movement is repeated, and the distance between the start point and the end point becomes smaller than before the movement no matter which direction the start point P is moved, the start point position at that time is adopted as the official start point P of the longest line segment, The x and y coordinates are obtained (f).
[0032]
As described above, the x and y coordinates of both end points of the longest line segment of the region 250 of the intracorporeal instrument in the projection image 210 on the XY plane are obtained. By executing the same processing on the projected image 220 on the YZ plane, the y and z coordinates of the end points of the longest line segment of the region 250 of the internal insertion instrument can be obtained. By combining these, the three-dimensional coordinates of the end points of the longest line segment (that is, the longitudinal axis) of the region 250 of the intracorporeal instrument are obtained.
[0033]
The processing contents of the instrument position detection unit 106 have been described above with reference to FIG. However, this processing is merely an example, and various other processing methods are conceivable. For example, as another method, there is a method in which the x, y, and z coordinates of each voxel corresponding to the intracorporeal instrument are examined and the maximum value and the minimum value thereof are obtained. Since the intracorporeal instrument has a rod-like shape, three-dimensional coordinates of both ends of the longitudinal axis of the instrument can be obtained by this method.
[0034]
The appliance displacement calculator 108 calculates the amount of displacement of the orientation and position of the intracorporeal appliance based on the detection result of the appliance position detector 106. An example of processing of the appliance displacement calculation unit 108 will be described with reference to FIG.
[0035]
In FIG. 4, the X, Y, and Z coordinate axes are the orthogonal coordinate axes of the three-dimensional data capture area stored in the memory unit 18. Points P (x1, y1, z1) and Q (x2, y2, z2) are the end points of the longitudinal axis of the intracorporeal instrument detected by the instrument position detector 106. Θx represents the angle formed by the orthogonal projection of the line segment PQ onto the YZ plane with respect to the Z axis, and θy represents the angle formed by the orthogonal projection of the line segment PQ onto the ZX plane with respect to the Z axis. θx and θy can be obtained from the following equations, respectively.
[0036]
[Expression 1]
θx = tan ^-1 ((y2-y1) / (z2-z1)) ... (1)
θy = tan ^-1 ((x2-x1) / (z2-z1)) ... (2)
Then, the instrument displacement calculation unit 108 outputs the displacement amount in the direction of the in-vivo insertion instrument at these angles θx and θy, and outputs (x1, y1, z1) as the displacement amount of the tip position of the in-body insertion instrument. That is, here, at the previous timing, it is assumed that the tip position of the intracorporeal insertion device is the origin, and the orientation of the intracorporeal insertion device is oriented in the Z-axis direction, and the displacement of the tip position and orientation at this timing relative to this is output. Yes. Note that which of the two end points is the tip of the intracorporeal insertion instrument may be the end point farther from the ultrasound probe 10.
[0037]
The viewpoint position calculation unit 110 calculates the position of the viewpoint for rendering of the three-dimensional image based on the displacement amount of the position and orientation obtained by the appliance displacement calculation unit 108. That is, in the present embodiment, the viewpoint is set so as to have a certain positional relationship with the intracorporeal instrument. Thus, when the orientation or position of the intracorporeal instrument changes, the viewpoint moves accordingly. The direction of the line of sight is the direction from the viewpoint toward the reference point of the 3D data capture area (for example, the center point of the area).
[0038]
An example of a viewpoint calculation formula in the viewpoint position calculation unit 110 is shown below.
[0039]
[Expression 2]

[Equation 3]
[Vxnew, Vynew, Vznew, 1] = [Vxold, Vyold, Vzold, 1] Trxyz
Here, Trxyz is a transformation matrix, [Vxnew, Vynew, Vznew] indicates the three-dimensional coordinates of the viewpoint at the current timing, and [Vxold, Vyold, Vzold] indicates the three-dimensional coordinates of the viewpoint at the previous timing. This calculation formula obtains the current viewpoint by rotating the viewpoint position at the previous timing by the angle θx around the X axis and the angle θy around the Y axis, and by moving it by (x1, y1, z1). Is. The direction from the new viewpoint obtained by such conversion toward the predetermined reference point of the three-dimensional data capture area is the new line-of-sight direction.
[0040]
By changing the viewpoint and line-of-sight direction of the 3D image rendering to the viewpoint and line-of-sight direction obtained by the viewpoint position calculation unit 110, the line-of-sight direction is the angle θx around the X axis and the angle θy around the Y axis from the previous timing. It rotates and the viewpoint position translates by (x1, y1, z1) from the previous timing.
[0041]
Information on the viewpoint position calculated in this way by the viewpoint position calculation unit 110 is input to the three-dimensional image construction unit 20.
[0042]
The three-dimensional image constructing unit 20 constructs a three-dimensional image of the capturing region by performing volume rendering operation on the echo information of each voxel in the three-dimensional data capturing region stored in the memory unit 18. . For the volume rendering operation of the three-dimensional image construction unit 20, for example, a known method shown in the specification of Japanese Patent No. 2883584 can be used. The configured three-dimensional image is displayed on the display unit 22. Note that the 3D image formed by the 3D image constructing unit 20 is not only displayed on the display unit 22, but also printed out from a printing device (not shown) or stored in a storage device (not shown). it can.
[0043]
The three-dimensional image constructing unit 20 of the present embodiment receives a viewpoint position input from the viewpoint calculating unit 100, and constructs a three-dimensional image viewed from the viewpoint position toward a predetermined reference point. That is, in the present embodiment, the volume rendering operation can be performed from the viewpoint and the line-of-sight direction according to the direction and position of the intracorporeal instrument. As a result, when the orientation or tip position of the instrument changes according to the insertion operation of the intracorporeal instrument, the viewpoint position and the line-of-sight direction of the three-dimensional image displayed on the display unit 22 change following the change. Therefore, the user can see a three-dimensional image that changes following the movement of the intracorporeal insertion instrument as if viewed from a camera fixed to the intracorporeal insertion instrument.
[0044]
For example, as shown in FIG. 5, (a) the insertion of the puncture needle 60 into the abdomen 50 is started, (b) the angle of the puncture needle 60 is changed, (c) the puncture needle 60 is advanced at the changed angle, and the tumor 52 In the treatment of reaching the position, the three-dimensional image displayed on the display unit 22 changes as shown in FIG. 6A schematically shows a three-dimensional image when the insertion of the puncture needle is started, FIG. 6B shows a three-dimensional image when the puncture needle angle is changed, and FIG. For example, when the insertion angle of the puncture needle is changed, as shown in (b), the line-of-sight direction of the three-dimensional image displayed on the display unit 22 also changes according to the change. Therefore, when it is difficult to see the relationship between the tumor 52 and the blood vessel 54 existing around it, the viewing direction of the three-dimensional image can be changed by changing the angle of the puncture needle 60 so that the relationship is easy to see. Further, as the puncture needle 50 is brought closer to the target tumor 52, the tumor appears larger as shown in FIG.
[0045]
The viewpoint calculation unit 100 changes the coordinate conversion matrix in the DSC at the subsequent stage of the phasing addition circuit 16 according to the conversion matrix Trxyz obtained by the above-described processing. As a result, the coordinate conversion result output from the DSC next is such that, if there is no change in the position and orientation of the intracorporeal instrument, the tip position is located at the origin and the orientation is directed in the Z-axis direction. Therefore, if there is a change in the position and orientation of the intracorporeal insertion instrument, the amount of displacement can be obtained as described above based on the change.
[0046]
As described above, according to the apparatus of the present embodiment, the field of view of the three-dimensional image can be changed following the movement of the in-vivo insertion instrument, so that it is possible to provide a three-dimensional image that is easy for the user who operates the in-vivo insertion instrument. Thereby, for example, in the operation using the high-frequency coagulation probe, before the electrode needle is expanded in all directions, it can be confirmed by a three-dimensional image from an easy-to-see direction whether there is a blood vessel around the electrode needle. In this embodiment, since the field of view can be changed by image processing, the user can concentrate on the operation of the intracorporeal insertion instrument while the ultrasonic probe is fixed.
[0047]
Although the preferred embodiment of the present invention has been described above, various modifications and improvements can be considered for the ultrasonic diagnostic apparatus of this embodiment.
[0048]
For example, in the above embodiment, the line-of-sight direction of rendering is changed according to the change in the orientation of the internal insertion instrument, and the viewpoint position is moved in parallel by the amount of movement of the internal insertion instrument. Even in the configuration in which only the line-of-sight direction is changed in accordance with the change in the direction of the image, there is an effect.
[0049]
Further, in the above embodiment, the current viewpoint position is calculated based on the previous viewpoint position, but instead, the position and orientation of the distal end of the intracorporeal instrument are obtained in a fixed three-dimensional orthogonal coordinate system, and these positions are calculated. Even if the line-of-sight direction and the viewpoint position are determined so as to satisfy a certain positional relationship with respect to the orientation, the same effect can be obtained.
[0050]
Moreover, in the said embodiment, although the three-dimensional image from one viewpoint was displayed, in this, it may be difficult to grasp | ascertain the positional relationship of the front-end | tip of an in-vivo insertion instrument and the attention site | part (for example, tumor) of a biological tissue. As a solution to this, there is a configuration in which a plurality of viewpoints (and the line-of-sight directions associated therewith) are set with reference to the intracorporeal instrument, and a three-dimensional image from each viewpoint is simultaneously displayed on one screen or a plurality of screens. . For example, in addition to the above-described viewpoint and line-of-sight direction, the line-of-sight direction is set in a direction that is 90 ° different from the line-of-sight direction, and the line from the reference point of the three-dimensional data capture area toward the line-of-sight direction, for example, from the reference point It is possible to set a viewpoint at a position at the same distance as the above-described viewpoint and to render and display another three-dimensional image. In this case, as shown in FIG. 7, two three-

dimensional images

300 and 310 viewed from different directions are displayed simultaneously.

Arrows

302 and 312 shown next to each of the three-

dimensional images

300 and 310 indicate the positional relationship between the three-

dimensional images

300 and 310. That is. The image viewed in the direction of the arrow 302 (that is, the direction from left to right) with respect to the line-of-sight direction of the three-dimensional image 300 is the three-dimensional image 310, and conversely, the image is viewed in the direction of the arrow 312 with respect to the three-dimensional image 310. This indicates that the image is a three-dimensional image 300. Although FIG. 7 displays images simultaneously from two directions, it is of course possible to simultaneously display images from three directions (ie, three viewpoints). In this way, by simultaneously displaying three-dimensional images in different gaze directions from different viewpoints, the user can simultaneously confirm the positional relationship between the intracorporeal instrument and the blood vessel, tumor, etc. of the subject from various directions. Can do.
[0051]
In addition, based on the position information of both end points of the in-vivo insertion tool detected by the instrument position detection unit 106, a cylindrical or prismatic model with the both end points as the top surface and bottom surface is created as a three-dimensional model representing the in-body insertion device. However, it is also possible to render the voxel group corresponding to the intracorporeal instrument after rendering it with this model. According to this configuration, since the shape of the in-vivo insertion device in the three-dimensional image can be adjusted, the in-vivo insertion device can be easily identified on the image.
[0052]
Further, in the ultrasonic diagnostic apparatus of the present embodiment, the extraction memory unit 104 stores information on which of the voxel groups in the three-dimensional data capture area corresponds to the in-vivo insertion instrument. Originally, the intracorporeal instrument and other parts (i.e., biological tissue parts) can be rendered in different display forms. As a display form, for example, a color can be considered. That is, in this case, a certain color is assigned to the voxel corresponding to the intracorporeal instrument. Similarly, the voxel corresponding to the biological tissue is assigned a color different from that of the intracorporeal instrument. The echo intensity of each voxel is expressed by a difference in luminance level in the corresponding color. Thus, by setting the color and brightness value of each voxel and performing volume rendering calculation, it is possible to construct a three-dimensional image in which the internal insertion instrument and the living tissue are shown in different colors.
[0053]
Further, with the same concept, it is also possible to extract a tumor or blood vessel region from the volume data and display them in a display form that can be distinguished from an intracorporeal instrument or other tissue. FIG. 8 is a functional block diagram showing such a configuration. 8, elements that are the same as or similar to the elements of the configuration shown in FIG. 8 includes a tumor extraction unit 24, a filter 26, and a blood vessel extraction unit 28 in addition to the configuration of FIG.
[0054]
The tumor extraction unit 24 extracts voxels corresponding to the tumor based on the volume data of the three-dimensional data capture area stored in the memory unit 18. Extraction of a tumor part can be realized by a technique such as fuzzy reasoning disclosed in Japanese Patent No. 3325983 by the applicant or texture analysis disclosed in Japanese Patent No. 200000961 by the present applicant.
[0055]
The blood vessel extraction unit 28 extracts voxels corresponding to blood vessels based on the volume data of the three-dimensional data capture area stored in the memory unit 18. The extraction of the blood vessel portion can be performed based on, for example, a difference in echo intensity between the blood flow portion and the tissue portion. That is, since the blood flow portion has a lower echo intensity than the muscle, viscera, and other tissue portions, it can be determined that a voxel having an echo intensity equal to or lower than a preset threshold value corresponds to the blood flow portion, that is, a blood vessel. As another method, a blood vessel portion can be extracted based on the color Doppler signal of each voxel. That is, since the blood flow rate is higher than that of the tissue part, voxels having a color Doppler signal larger than a preset threshold can be extracted as corresponding to the blood flow part, that is, the blood vessel. The color Doppler signal of each voxel can be obtained by a known method such as autocorrelation calculation. As described above, several examples of the blood vessel part extraction method have been described. In any case, the influence of noise is significant compared to the discrimination between the intracorporeal instrument and the tissue part. Provide noise removal from volume data. As the filter 26, for example, a three-dimensional median-median filter can be used.
[0056]
When voxels corresponding to tumors and blood vessels can be extracted in this way, the three-dimensional image construction unit 20 can display tumors, blood vessels, in-vivo insertion devices, and other tissues in different display forms. For example, a different color is assigned to each voxel corresponding to a tumor, voxel corresponding to a blood vessel, voxel corresponding to a body insertion device, and other voxels, and volume rendering is performed. In this configuration, it is also possible to display the tumor translucently in the three-dimensional image. This translucent display can be realized, for example, by performing volume rendering by giving each voxel corresponding to a tumor an opacity (opacity) suitable for the translucent display.
[0057]
【The invention's effect】
As described above, according to the present invention, it is possible to automatically change the line-of-sight direction for rendering a three-dimensional image in accordance with the change in the orientation of the in-vivo insertion device during the insertion operation. Therefore, the user can change the line-of-sight direction of the three-dimensional image only by operating the in-vivo insertion instrument.
[0058]
Further, in the present invention, since the viewpoint position can be further moved according to the change in the position of the in-vivo insertion instrument, for example, the attention site becomes larger on the three-dimensional image as the in-vivo insertion instrument approaches the attention site. Intuitive and easy-to-understand display can be realized.
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating a configuration of an ultrasonic diagnostic apparatus according to an embodiment.
FIG. 2 is a diagram showing an example of an echo intensity histogram when an intracorporeal instrument is present in a three-dimensional data capture area.
FIG. 3 is a diagram for explaining an example of detection processing at both ends in a longitudinal axis direction of a region of an in-vivo insertion device in volume data.
FIG. 4 is a view for explaining the orientation of the internal insertion instrument and the displacement of the tip position.
FIG. 5 is a diagram for explaining an example of an operation procedure of the internal insertion instrument.
6 is a diagram schematically showing an example of a three-dimensional image displayed on the display unit at each stage of the operation procedure of FIG. 5;
FIG. 7 is a diagram for explaining a state in which three-dimensional images from two directions are displayed simultaneously.
FIG. 8 is a functional block diagram showing a configuration of a modified ultrasonic diagnostic apparatus.
FIG. 9 is a diagram for explaining the configuration of a high-frequency coagulation handpiece.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Ultrasonic probe, 12 Transmission circuit, 14 Reception circuit, 16 Phased addition circuit, 18 Memory part, 19 Central control circuit, 20 Three-dimensional image structure part, 22 Display part, 100 Viewpoint calculation part, 102 Instrument area extraction Unit 104 extraction memory unit 106 appliance position detection unit 108 appliance displacement calculation unit 110 viewpoint position calculation unit

Claims

3D echo information acquisition means for scanning the ultrasonic beam and acquiring echo information of each voxel in the 3D region;
Instrument detection means for detecting a voxel group having a value equal to or greater than a threshold value as echo information among each voxel in the three-dimensional area, as an existence area of an in-vivo insertion instrument in the three-dimensional area;
Seeking the longest line segment among line segments connecting two voxels of the present area is a detection result of the device detecting means, the instrument determining the orientation of the longest line segment determined as a direction of the body insertion instrument direction A determination means;
Based on each voxel echo information of the three-dimensional region, a three-dimensional image constructing means for constructing a three-dimensional image of the three-dimensional region, against the direction of the body insertion instrument determined in the instrument direction determining means Determining a direction that is a predetermined relationship to the line- of- sight direction, and a three-dimensional image forming unit that forms a three-dimensional image corresponding to the line-of-sight direction;
An ultrasonic diagnostic apparatus comprising:

3D echo information acquisition means for scanning the ultrasonic beam and acquiring echo information of each voxel in the 3D region;
Based on the echo information of each voxel in the three-dimensional region, instrument detection means for detecting the presence region of the intracorporeal instrument in the three-dimensional region;
Instrument direction determination means for obtaining the orientation of the intracorporeal instrument from the detection result of the instrument detection means;
Based on the echo information of each voxel in the three-dimensional region, a three-dimensional image constructing means for constructing a three-dimensional image of the three-dimensional region, based on the orientation of the intracorporeal instrument determined by the instrument direction determining means A three-dimensional image constructing means for determining a gaze direction and constructing a three-dimensional image corresponding to the gaze direction;
Among the end points of the longest line segment connecting the two voxels in the existence area, which is the detection result of the instrument detection means, the end point far from the ultrasonic beam transmission source is within the three-dimensional area. Instrument position determining means for obtaining the tip position of the intracorporeal instrument;
With
The three-dimensional image constructing means determines a position having a predetermined positional relationship with respect to the distal end position of the in-vivo insertion instrument obtained by the instrument position determining means as a viewpoint position, and sets the viewpoint position and the line-of-sight direction. Configure the corresponding 3D image,
An ultrasonic diagnostic apparatus.

The ultrasonic diagnostic apparatus according to claim 1 or 2,
The three-dimensional image constructing means constructs a three-dimensional image representing the existence area in a display form different from other areas based on information on the existence area of the in-vivo insertion instrument detected by the instrument detection means. Ultrasonic diagnostic equipment.

The ultrasonic diagnostic apparatus according to claim 1 or 2,
Based on echo information of each voxel in the three-dimensional region, further comprising blood vessel detection means for detecting a blood vessel region in the subject,
The three-dimensional image constructing unit constructs a three-dimensional image representing a blood vessel region in the subject in a display form different from other regions based on a detection result of the blood vessel detecting unit. apparatus.

The ultrasonic diagnostic apparatus according to claim 1 or 2,
Based on echo information of each voxel in the three-dimensional region, further comprising a tumor detection means for detecting a tumor region in the subject,
The three-dimensional image constructing unit constructs a three-dimensional image representing a tumor region in the subject in a display form different from other regions based on a detection result of the tumor detecting unit. apparatus.