JPH0773300A

JPH0773300A - 超音波画像信号処理装置及び超音波画像信号処理システム

Info

Publication number: JPH0773300A
Application number: JP5222410A
Authority: JP
Inventors: Tatsuo Nagasaki; 達夫長崎; Hatsuo Shimizu; 初男清水; Hiroyuki Watabe; 洋之渡部; Hiroyuki Fukuda; 弘之福田
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1993-09-07
Filing date: 1993-09-07
Publication date: 1995-03-17

Abstract

(57)【要約】【目的】本発明は、超音波診断画像を３次元的に表示す
ることを可能とし、立体的な形状および位置を感覚的に
も容易に獲得可能な超音波画像信号処理装置及びそのシ
ステムを提供することを目的とする。【構成】本発明は、電子走査型プローブ１と機械的連結
する３次元情報取り込み部２からなるスキャナ部と、電
子走査型超音波診断装置３と、得られたビデオ信号をデ
ィジタル化するＡ／Ｄ変換器１１と、取込まれた画像信
号か光磁気ディスク１９からの画像信号を選択するスイ
ッチ１２と、選択画像信号を透視投影するための座標変
換処理する透視投影処理回路１３と、透視投影処理又は
未処理の画像信号をＭＰＥＧフォーマットに圧縮するＭ
ＰＥＧエンコーダ１７と、処理済，未処理の画像信号を
表示するＴＶモニタ２１やＦＭＤ２２、圧縮画像信号を
記録する光磁気ディスク１９とからなる超音波画像信号
処理装置及びそのシステムをである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は超音波画像信号を用い
て、観察する物体の断層面を３次元的に表示する装置及
びそのシステムに関する。

【０００２】

【従来の技術】一般に超音波診断装置は、そのプローブ
の形状により、リニア、コンベックス、セクタと呼ばれ
るタイプに大別することができるが、いづれのタイプの
装置も観察物体の内部を非侵襲的に観察することができ
るのが特徴であり、特に医療の分野で広く診断に用いら
れてきている。

【０００３】また、光学式エンコーダを使用した３次元
スキャナにより得られた超音波診断装置からのビデオ信
号をデジタル変換してメモリボードに取り込み、３次元
画像の作成に必要なデータを選び出し演算して、立体再
構成を行ない表示させるようなシステムがある。

【０００４】

【発明が解決しようとする課題】しかし、前述した従来
の超音波診断装置では、その画像により物体の断面の情
報を得ることができるが、その画像はあくまでも断面を
正面から見たような画像となっており、観察者の視点で
の見え方とは多少異なっている場合があり、診断上好ま
しくないこともあった。

【０００５】また、立体再構成を行なうシステムにおい
ては、再構成に必要な大量な画像データを蓄積しなけれ
ばならなかったために装置規模が大きくなり、かつ膨大
な演算が必要とされたために処理時間が長くかかってし
まい、リアルタイムでの観察は行なえなかった。

【０００６】そこで本発明は、超音波診断画像をリアル
タイムで３次元的に表示することを可能とし、立体的な
形状および位置を感覚的にも容易に獲得可能な超音波画
像信号処理装置及びそのシステムを提供することを目的
とする。

【０００７】

【課題を解決するための手段】本発明は上記目的を達成
するために、複数フィールド又はフレームにわたって取
り込まれた超音波画像信号を処理する装置であって、各
フィールド又は、フレームの画像信号の３次元空間内で
の位置及び観察者の観察条件に係る情報に基づき、透視
投影するための座標変換処理手段とで構成される超音波
画像信号処理装置を提供する。

【０００８】さらに、被検査物体に近接し、移動するプ
ローブから複数フレーム若しくは複数フィールドにわた
って、３次元空間内での位置情報と共に超音波画像信号
として取り込むスキャナ手段と、前記スキャナ手段から
の超音波画像信号を画像信号に変換する電子走査型超音
波診断手段と、得られた画像信号に前記３次元空間内で
の位置及び観察者の観察条件に係る情報とに基づき、透
視投影するための座標変換処理を施す画像処理手段と、
前記画像処理手段による画像信号を表示する表示手段と
で構成される超音波画像信号処理装置及びそのシステム
を提供する。

【０００９】

【作用】以上のような構成の超音波画像信号処理装置に
おいて、３次元画像データを扱う場合に移動するプロー
ブから複数フレーム若しくは複数フィールドにわたって
取り込まれた超音波画像信号は、各フレームの３次元空
間での位置情報と、観察者の観察条件に係わる情報、例
えば、観察者の位置と視野角度と視線方向とによって画
像の投影（透視投影）処理が行なわれる。この投影処理
は、各フレームの全ての画素を３次元空間で、どこの位
置に存在するのかが座標データとして得られ、これらの
画像が３次元空間の任意の視点位置から任意の倍率で実
際に観察位置に視点を置いたように表示される。

【００１０】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図１には、本発明による第１実施例として
の超音波画像信号処理装置の概略的な構成を示し説明す
る。

【００１１】この超音波画像信号処理装置は、大別し
て、スキャナ部、電子走査型超音波診断部、画像処理
部、記録再生部、表示部から構成される。前記スキャナ
部は、電子走査型プローブ１と機械的に連結された３次
元情報取り込み部２によって構成される。ここで、前記
３次元情報取り込み部２は、従来の技術で述べた３次元
スキャナの場合では、光学式エンコーダであり、各フレ
ームの３次元空間内での位置及び面の傾きを知ることが
できる。

【００１２】前記電子走査型超音波診断部は、電子走査
型超音波診断装置３からなり、電子走査型プローブ１へ
パルスを供給すると共に、受信したエコー波をアナログ
ビデオ信号に変換し出力する。また入力部４は、本シス
テムで用いるパラメータの設定又は変更を行い、テキス
ト等を入力するものであり、マウス等のポインティング
デバイスが接続されている。

【００１３】この画像処理装置は、超音波診断装置から
のアナログビデオ信号を、後述する処理を施した後、記
録再生装置や表示装置をインターフェイスする。まず、
電子走査型超音波診断装置３で得られたアナログビデオ
信号は、Ａ／Ｄ変換器１１でディジタルデータに変換さ
れ、スイッチ１２を介して画像メモリを含む透視投影処
理回路１３に入力される。このスイッチ１２の切換えは
ＣＰＵ１４によって制御され、後の処理をＡ／Ｄ変換器
１１からの入力信号に施すか、後述する記録再生部から
読み出した画像信号に施すかを切り換えるものである。

【００１４】また、透視投影処理回路１３による透視投
影するための座標変換処理が画像メモリ上で行なわれ
る。この座標変換処理は、３次元情報取り込み部２から
出力される３次元位置、角度情報を基にＣＰＵ１４によ
って演算が行なわれ、透視投影コントローラ１５からの
制御信号によって制御される。

【００１５】そしてＣＰＵ１４に制御されるスイッチ１
６の切換えによって、透視投影処理回路１３を介するか
省くか、すなわち、透視投影処理を施すか、施さないか
を選択した後、記録再生部及び表示部へ伝送するための
処理を行なう。

【００１６】次に記録する場合には、ＭＰＥＧエンコー
ダ１７によって動画像の国際標準圧縮方式であるＭＰＥ
Ｇフォーマットに圧縮した後、バスコントローラ１８で
ＣＰＵ１４からのデータを付加して記録再生部の光磁気
ディスク（ＭＯ）１９に記録する。

【００１７】また、データ表示は、Ｄ／Ａ変換器２０に
よってアナログ信号に変換した後、ＴＶモニタ２１やＦ
ＭＤ（フェイス・マウンテッド・ディスプレイ）２２に
表示される。

【００１８】さらに、光磁気ディスク１９に記録された
データを読出す場合には、バスコントローラ１８によっ
て、ヘッダデータを読み出した後、ＭＰＥＧデコーダ２
３によってデータを伸張し、スイッチ１２を介して透視
投影処理回路１３に送出される。

【００１９】なお、本実施例では超音波診断装置と画像
処理装置を分けた構成で説明したが、これらを一体化す
ることも可能であり、その場合は電子走査型超音波診断
装置３からディジタル信号を直接取り出せるため、Ａ／
Ｄ変換器１１は不要であり、よりシンプルな装置とな
る。

【００２０】次に前述した３次元スキャナにより得られ
る一連の超音波画像について説明する。例えば、図２に
示す装置は医療用で、内部に破線で示すような可動なプ
ローブを備えており、底面は観察しようとする患者の体
に密着させる部分であり、球面の形状をしている。この
プローブを矢印方向に一定速度で動かしながら超音波画
像を取り込んでいる。

【００２１】この時、プローブの位置は正確に判ってい
るので、各画像により切り出されている断面の位置も正
確に把握できる。本装置のプローブは通常の位置から前
後にそれぞれ３０度の角度で傾けられるようになってお
り、端から端までの６０度を毎秒３０フレームづつ４秒
間でスキャンするようになっている。

【００２２】こうして得られた１２０枚の画像を再び３
次元空間に並べ直したものを、見やすくするためにフレ
ームを間引いて鳥瞰図的に観察すると図３に示すように
なっている。このように本発明は、３次元空間内に配置
されている各フレームの位置関係を感覚的に把握し易く
するために、これを適当な位置から観察したように表示
させる透視投影を行なっている。

【００２３】図４は、視点変更のための透視投影を行な
うときの情報を表している。図４において、１フレーム
の超音波画像について考えるとすると、その超音波画像
の３次元空間内での座標を特定するためのデータとして
は、その画像の面の方程式が判っていて、画像中の少な
くとも１点の位置が特定されていることが必要である。
そこで、画像中の左上隅の３次元空間内の座標３１と、
画像を含む平面の法線ベクトル３２を与える。

【００２４】一方、その面を観察する条件としては、観
察者の位置と、視線と、視野角を定める必要がある。そ
のほかに、観察者が首を傾けながら観察している場合の
表示が行なえるようにするために、観察時の上方向を定
める必要があるが、本発明においては画像の自然さが求
められているため、観察時の上方向を超音波画像の上方
向と一致させるている。

【００２５】そこで、観察者の視点３３と、視線を決定
するために観察者が注目している点３４と、視野角３５
を与える。ただし、視野角３５は注目点から水平方向に
どこまで離れた点が視野に入るのかを角度で表したもの
としている。ここで、座標系は、一般的に右手系と呼ば
れるものを使用しており、即ち、水平方向右向きをｘ
軸、鉛直方向上向きをｙ軸、そして手前向きをｚ軸のそ
れぞれの正としている。

【００２６】これらの条件が与えられれば、画像の透視
投影を行なうことができ、あたかも指定した観察位置か
ら観察しているような画像を再生させることができるよ
うになる。以下に投影の考え方について簡単に説明す
る。

【００２７】まず、視点３３から視野に入る空間の中
に、視線と直角に位置する投影平面３６を考え、この投
影平面３６の視野に入る部分を画像の画素数に応じて分
割する。そして、その視野に入る部分の各画像と視点と
を結ぶ直線を求め、各直線と超音波画像の平面との交点
を求める。この各交点における画像の値を投影後の画像
の値とする。

【００２８】次に本発明において超音波画像を表示する
装置の一例として、眼鏡型ディスプレイ（以下ＦＭＤ）
について説明する。例えば、特願平３−２９５８７４号
の「像観察装置」に開示されているＦＭＤは図５に示す
ような構成となっている。この図では、使用者の頭部４
１、眼球４２ａ，４２ｂを表しており、部品４３ａ，ｂ
〜４８ａ，ｂによる構成で顔面に保持するメガネ型のヘ
ッドホン付きディスプレイである。スピーカ内蔵の信号
処理部４３ａ，ｂでは音声信号を再生しながら、画像信
号を自己発光型二次元表示素子４４ａ，ｂに表示させ、
それを結像レンズ４５ａ，ｂ、光軸屈曲用くさび型プリ
ズム４６ａ，ｂ、開口絞り４７ａ，ｂ、及び非球面型凹
面鏡４８ａ，ｂを用いて眼球内部に投影される。

【００２９】この画像及び音声信号処理は右、左それぞ
れに独立して行なわれるようになっているので、立体映
像及びステレオサウンドとして再生させることができ
る。本装置は、眼球の視度に合わせて非球面型凹面鏡４
８ａ，ｂの作る虚像の位置を適当な位置にできるよう、
自己発光型二次元表示素子４４ａ，ｂの位置を光軸方向
に移動調整できる機能を有している。また、非球面型凹
面鏡４８ａ，ｂは、その反射率を変えることができ、ス
イッチの切り替えによって素通しでＦＭＤの外部を見る
いわゆるシースルー観察を行なうことも可能である。

【００３０】次に観察倍率を決定する視野角の決定方法
について説明する。まず、超音波画像内の見かけの大き
さと実際の物体の大きさとの関係を求めるとする。図６
（ａ）に示すように大きさｈの物体５１を、距離ｄだけ
離れた視点５２で観察しているように表示させる場合を
考える。この物体の画像を図６（ｂ）のＦＭＤ５３を用
いて表示させる時、図で表されるように、ＦＭＤの片側
視野角θが１６度で、表示領域５４の中に３６０画素が
存在すると、物体５１がディスプレイ上で下式のｘで表
される画素数で領域５５の大きさに表示されている時
に、見かけの大きさが一致する。

【００３１】ｘ＝（３６０×ｈ）／（ｔａｎ１６°×ｄ）つまり、ｈの大きさの物をｄの距離から実際に観察して
いるときに感じる大きさと、ディスプレイ上でｘ画素で
表示されているものを見たときに感じる大きさとが一致
することになる。

【００３２】例えば、等倍で表示させるとき、撮影時に
取り込まれる画素数がディスプレイの画素数と等しいと
すれば、透視投影のときの視野角を１６度として観察距
離をｄとなるように視点を定めてやればよいことにな
る。

【００３３】一方、実際の観察よりも倍率を大きくして
表示したり、遠近感を強調したりしたいときなどに、見
かけの大きさを異ならせて表示させる必要があるが、そ
の場合には視野角と観察距離を適当な値にしてやればよ
い。つまり、透視投影処理で用いる観察条件のパラメー
タを操作しながら投影変換を行なうことで、同時に倍率
を変化させて表示することができるので、ハード上の兼
用化が可能となり電子的ズームイン・ズームアウトのた
めに新たに手段を設ける必要がない。

【００３４】本発明では図１に示したＣＰＵ１４に対し
て、入力部４によりこれらを任意の値に設定することが
できる。次に立体画像の再生可能な装置への出力画像の
生成方法について説明する。

【００３５】視点を左目と右目の両方について用意し、
それらから透視投影により求めた左画像と右画像をそれ
ぞれ作成し、左右の目で別々に観察できるように表示さ
せる。例えば、ＦＭＤを利用するとき、左右の目で見る
画像を偶フィールド、奇フィールドのそれぞれに割り当
てる場合、左画像と右画像を偶フィールドと奇フィール
ドのそれぞれに記録する。そしてＦＭＤでは、偶フィー
ルドの画像を左目用の表示素子に出力し、奇フィールド
の画像を右目用の表示素子に出力する。このとき、左目
と右目のそれぞれの視線は、注目点と両眼で異なった視
点とを結んだものになるので当然それぞれ異なったもの
になり、再生画像が視差を持つことにより立体視され、
より空間的配置を理解し易くなる。

【００３６】ＦＭＤのような３次元画像表示装置に出力
する場合には、前述の視点から眼幅の半分の距離だけ左
の位置を左目視点とし、逆に右の位置を右目視点とす
る。そして、この２つの視点と注目点とを結んだ左目視
線と右目視線とで透視投影を行なうが、この眼幅を変え
ることで立体視するときの視差を変化させることがで
き、例えば、実際の３次元空間内での位置関係よりも、
奥行き感を強調したような表示にすることも可能であ
る。

【００３７】この奥行き強調も、透視投影のパラメータ
を変更するだけで実現でき、このために新たに手段を設
ける必要がないのは前述した電子的ズームイン・ズーム
アウトの場合と同様である。そこで、本発明では前述し
た入力部４より眼幅を操作者の好みにより変化させるこ
とができるようになっている。

【００３８】本発明では、より立体的感覚を把握し易く
するために、表示画面の中に３次元方向のスケール（３
次元スケール）を併せて表示させることができるように
なっている。以下の３次元スケールを表示させる機能を
有した第２実施例について図を用いて説明する。

【００３９】例えば、図７（ａ）は４枚のフレームの画
像が３次元的に表示されている状態で、ｘ軸６１、ｙ軸
６２ａ、ｚ軸６３ａのそれぞれの座標軸に実寸の目盛り
が付けられて、スケールとして表示されている。この座
標軸は空間内の任意の位置を原点として作成されるよう
になっており、図においては３軸の正の値をとる座標だ
けが表示されているが、負の値についても表示させるこ
とが可能で、また、指定した座標軸だけを表示させるよ
うにすることもできるようになっている。

【００４０】この座標軸の内、表示させる軸を決定させ
る方法としては、操作者が入力する以外に、視点の位置
によってそれぞれの座標軸を表示させた場合の効果を判
断し、効果があると判断されたもののみを表示すること
可能である。例えば図７（ａ）の場合、ｘ軸６１は画像
と重なってしまい、観察するには、むしろ無い方が好ま
しいと判断できる。また、ｙ軸およびｚ軸の値の範囲は
超音波画像の存在する範囲を充分カバーできる大きさの
ものであることが望ましい。

【００４１】このようにして座標軸の表示を決定した例
が図７（ｂ）である。前述したように決定された座標軸
を実際に図７（ｂ）のように表示させる方法について、
図８に示す構成を用いて以下に述べる。

【００４２】まず座標軸を画面のどこに配置するかを決
定するために、座標軸の原点を決定する。次に、前述し
たように決定した大きさの座標軸をスケール作成部７１
により２値画像として作成し、超音波画像と同様に投影
変換処理部７２にて透視投影を行なった画像にした後、
合成部７３にて超音波画像にオーバーレイさせている。
そして、合成された画像信号は圧縮手段等を備えた記録
部７４に記録され、表示部７５に送られて表示される。

【００４３】この座標軸は多値画像のものでもよく、Ｃ
ＰＵ７６からの指示により合成部７３はこのスケールを
指定した色を付けて表示させたり、超音波画像とのエク
スクルーシブオア（ＸＯＲ）をとるようにしたり、観察
者の好みにより点滅させたり、表示を停止させたりする
ことができる。また、スケールはＣＰＵ７６に接続され
ているマウス７７によって画面内の任意の位置へ移動さ
せることができる。

【００４４】このスケールを表示させることによって、
物体の大きさやフレーム毎の位置が測定し易くなる他
に、ＦＭＤでの観察の場合フレーム内に左右の視差の基
準点ができて、より立体的感覚を得易くなるといった効
果が生ずる。尚、本実施例で説明した機能と、図１で示
した実施例との対応は、図８に示すスケール作成部７
１、投影変換処理部７２、合成部７３は図１における透
視投影処理回路１３に含まれる。また、記録部７４と表
示部７５は、図１におけるＭＰＥＧエンコーダ１７、バ
スコントローラ１８、光磁気ディスク１９とＤ／Ａ変換
器２０、ＴＶモニタ２１、ＦＭＤ２２とＭＰＥＧデコー
ダ２３にそれぞれ対応している。

【００４５】次に、この様な装置による画像信号の記録
方法について説明する。まず図９にはＭＰＥＧのデータ
構造例を示し簡単に説明する。シーケンス層は複数のＧ
ＯＰ層と呼ばれる画像データの集合から構成されてい
る。そしてこのＧＯＰ層は、ある枚数のピクチャ層と呼
ばれるフレームのデータから構成されている。このとき
各層はその層の先頭に各層のデータに関する情報をヘッ
ダとして記録している。図９で８１はシーケンスヘッダ
であり画像のサイズや量子化マトリクスなどのデータが
書込まれる。８２はＧＯＰヘッダでタイムコード等を含
んでいる。８３、８５及び８７はピクチャヘッダで、符
号化のタイプや動ベクトルに関する情報が書込まれる。
そして、８４、８６、８８はそれぞれがフレームのデー
タであり、上述の各ヘッダにはそれぞれユーザが定義で
きる領域が含まれている。

【００４６】次に、本発明の超音波画像信号処理装置に
よる実際の記録動作について説明する。透視投影変換を
行なう前のオリジナル画像はビデオ信号として出力され
ているので、そのままＶＴＲ等に記録することもできる
が、３次元データを記録しておくことや検索性および記
録性等から、プローブの位置及び傾き情報又は観察者の
観察条件に係る情報を付加してディジタルで記録されて
いることが望ましい。つまり、シーケンスを動画像圧縮
記録の国際標準方式であるＭＰＥＧで記録し、各フレー
ムの３Ｄ座標データつまり、左上隅座標と法線ベクトル
はコード化した後、ピクチャヘッダに記録するようにし
ている。

【００４７】一方、透視投影変換を行なった画像もビデ
オ信号としてそのままＶＴＲ等に記録することが可能で
あるが、やはり検索性等の面からディジタル化されたデ
ータとして記録されていることが望ましい。この記録の
際に、オリジナル画像を取り込んだ装置に関する情報
や、透視投影後の画像であることを示すフラグと投影時
の視点、注目点、視野角に関する情報は、シーケンスヘ
ッダに記録するようにしている。

【００４８】この変換前の画像と変換後の画像のどちら
を記録するのかを切り替えるのは、図１に示したスイッ
チ１６により行なっている。また、再生時にはスイッチ
１２を切り替えて、読み出された信号を透視投影処理部
１３に送っている。そして記録されていた信号が変換前
のオリジナル画像であった場合は、スイッチ１６を切り
替えて透視投影処理部１３からの出力を表示部へ送り、
変換後の信号であった場合は透視投影処理部１３を通さ
ないで表示させるようにスイッチ１６を切り替えてい
る。

【００４９】また、前述した３次元方向のスケールはオ
ーバーレイされた画像を記録することもできるが、オー
バーレイせずに、超音波画像のみを画像データとして記
録し、スケールは符号化してシーケンスヘッダのユーザ
データ領域に記録するようにすることもできる。この
時、図８に示す合成部７３では、オーバーレイした画像
を表示部７５に出力し、オーバーレイしていない変換後
の超音波画像を記録部７４に出力している。そして、Ｃ
ＰＵ７６にてスケールに関する情報を符号化した信号を
作成して、記録部７４に送っている。記録部７４は送ら
れた信号からヘッダを作成し、画像信号を符号化してＭ
Ｏや磁気テープ等の媒体に記録する。

【００５０】前述したスケールの符号化方法は、画面上
での始点と終点および目盛りの間隔を記録しているが、
再生装置にてスケールを再構成することができるだけの
情報が記録されているならば、どのような方法であって
も構わない。

【００５１】このように、透視投影前後の画像をそれぞ
れ記録する機能を有するのは、投影前の画像を記録して
おけば、超音波画像取り込み装置からのオリジナルの最
も解像度の高い画像を残しておくことができ、さらに本
発明の透視投影再生装置を利用することで、観察位置を
任意に変更した透視投影画像を得ることができる。

【００５２】一方、透視投影後の画像を記録しておけ
ば、透視投影機能のない通常の再生装置にて再生が可能
となるからである。次に、この超音波画像信号処理装置
において、記録されるフレームについて考えてみる。

【００５３】通常、超音波画像は画像と垂直な方向に対
して有限な解像度を持っており、ここで１フレームで分
解できる最小の厚さの値をｒ［ｍｍ］とし、プローブが
幅ｗ［ｍｍ］を時間ｔ［秒］だけ掛けて、１秒毎にｓフ
レーム［フレーム／秒］の画像を取り込んでいるとする
と、ｒ＞ｗ／（ｓｔ）［ｍｍ／フレーム］の場合オーバーサンプリングである。ここで、本発明に
おいて観察部位の動きの少ない場合、ｗ／（ｒｓｔ）の
比率でフレームをリサンプリングして記録情報量を減ら
すことができるようになっている。

【００５４】図１０に、その判断を行うフローチャート
を示し説明する。まず、記録媒体節約モードがオンか否
か判断し（ステップＳ１）、オンである場合（ＹＥ
Ｓ）、次にｒ＞ｗ／（ｓｔ）か否か判断し（ステップＳ
２）、その結果が真であるとき（ＹＥＳ）、（ｒｓｔ）
／ｗを小数点以下切捨てを行って整数化した値ｉを求め
る（ステップＳ４）。前記ステップＳ１でオフ，ステッ
プＳ２で偽であった場合には（ＮＯ）、値ｉ＝１に設定
し（ステップＳ３）、後述するステップＳ６に移行す
る。

【００５５】次にステップＳ４で求めた値ｉに基づき、
観察画像の動きの早さからそのフレームレートの最小値
ｍを求め、その値がｓ／ｉ以下であるか否か判断し（ス
テップＳ５）、真であれば（ＹＥＳ）、ｓ／ｉ［フレー
ム／秒］のフレームレートで記録を行なう（ステップＳ
６）。もし偽であれば（ＮＯ）、ｉは条件を満足する最
大の整数を求めるためにｉから１を減じ（ステップＳ
７）、ステップＳ５に戻る。ここで、最小フレームレー
トｍは図１の入力部４のキーボードからの入力によるも
のでも構わないが、例えば、圧縮回路の動きベクトル検
出回路を用いてブロック毎に動きベクトルを求めて、そ
れらの動きベクトルの中で、最も大きいものを利用して
最小フレームレートを自動的に決定するようにしても良
い。

【００５６】これまでプローブを機械的に移動させて連
続的に超音波画像を取り込んだ場合の例を示してきた
が、本発明による第３実施例として、超音波画像信号処
理装置に用いられる超音波画像の取り込みに関する他の
例について説明する。

【００５７】ここで、図１に示した３次元情報取り込み
部２の例として、３Ｄ（３次元）マウスについて説明す
る。図１１は磁気方式の３Ｄマウスの概念的な構成を示
したものである。

【００５８】この３Ｄマウスにおいて、ソース９１は
ｘ、ｙ、ｚ３軸にコイルを巻いた直交コイルであり、ド
ライブ回路９２に駆動されて、所定の磁界を発生する。
この磁界中でソース９１に対峙させ、複数の直交コイル
からなるセンサ９５を置くと、センサ９５の各コイルに
電流が誘起される。この誘起された電流は、磁界の強度
に比例するため、検出回路９４で電圧に変換された後、
ＣＰＵ９３によって距離・角度情報として出力される。

【００５９】この距離・角度情報とは、図１２に示すよ
うに、ｘ，ｙ，ｚで表される位置及び、Ｑ_x ，Ｑ_y ，Ｑ
_z で表される各軸での角度である。従来、３次元位置セ
ンサを３個使用して３次元情報を取り込んでいたが、こ
の３Ｄマウス１個で実現できるようになり、装置が非常
にコンパクトに設計できるようになる。

【００６０】この３Ｄマウスを超音波プローブに取り付
けた場合、プローブを移動させながら超音波画像を取り
込み、その各フレーム毎の基準座標と法線ベクトルを同
時に得ることが可能である。このプローブを用いれば、
操作者が自由にプローブを移動させたり、傾けたりしな
がら取り込んだ超音波画像でも透視投影を行なった観察
が可能なことは言うまでもなく、前述したように３Ｄ座
標データをヘッダに付加した記録を行なうことで、診察
が終った後でも、その映像がプローブをどのように動か
しながら取り込んだものかが判る。

【００６１】前述した３Ｄマウスのついたプローブを超
音波による断面と同一平面内を移動させて取り込んだ超
音波画像は、一部重なり合う部分を持って並んでいる。
これをプローブの位置情報によって連続した広画角の画
像を得られる。

【００６２】例えば、図１３に示すように２つの画像９
６，９７が並んでいる場所から取り込まれたとすると、
通常の観察では、どちらか一方だけしか表示させること
ができなかった。しかし、この２枚の画像から１枚の画
像９８を作ることにより、従来はプローブの大きさによ
り制限されてしまっていた観察領域の範囲を広げること
が可能となった。つまり、観察したい範囲に応じて必要
な枚数の画像を取り込むことにより、例えば肝臓の様に
大きな臓器を一枚の超音波画像の中に表示することがで
きるようになった。

【００６３】また、複数のプローブを用いて、各プロー
ブからの信号を上記方法と同じようにして広画角超音波
画像を得ることもできる。従って、プローブの移動にか
かる時間を短縮することができるため、動きのある部分
の観察にも画像のずれが生じることがない。

【００６４】次に第４実施例として、本出願人が提案し
た特願平４−８９０９２号の「撮像装置」および特願平
４−９４４７３号の「電子カメラ」に開示されている画
像の合成アルゴリズムを本発明に適用した例について説
明する。

【００６５】図１４に示すように、互いにエリアの一部
が重なるように、取り込まれた２つの画像信号の画像１
と画像２が画像記憶部１０１に一時的に記憶される。画
像記憶部１０１から読み出された重なり領域の画像信号
に基づいて、変位量検出部１０２で検出された変換係数
（回転量Ｒ、ずれ量Ｓ）により、各画像の相対的な画素
位置が特定される。補間部１０３は、複数の画像の画素
値に補間演算を順次、用いて画素値を補正し、重ね合わ
せのための補間画像信号を得る。この補間画像信号と、
画像記憶部１０１の信号を合成部１０４で合成し広画角
の画像として出力している。

【００６６】この方法によれば、３Ｄマウスによる３Ｄ
座標情報の値の精度があまり高くない場合でも、重なり
部分の信号から２つの画像の相対的な位置関係を精度良
く求めることができるので、合成された画像の接続部分
が、不連続にならないといった特徴を持つ。ここでは入
力画像を２枚用いた場合について説明したが、さらに多
くの画像を用いることでさらに広画角な投影画像を得る
ことができるようになる。

【００６７】さらに、前述した３Ｄマウスを観察者の動
きの検出に用いた場合、３ＤマウスとＦＭＤとを組み合
せて、観察者の頭部の動きを検出するようにして頭部の
動きに連動して画面をスクロールする機能を持たせるこ
とも可能である。つまり、前述の広画角画像を観察する
際に、その一部を画面に表示させておき、画面内に入り
切らない部分はそちらに顔を向けることで画面がスクロ
ールされて画面に入ってくるように表示させる。これに
より、ＦＭＤの視野に入らない大きさの画像も仮想的に
画像の空間を広げて取り扱えるようになる。

【００６８】次に本発明の超音波画像信号処理装置によ
る第５実施例として、超音波画像から特定の臓器を抽出
して形状を測定したり、特殊な観察を行なう例について
説明する。

【００６９】図１５は超音波画像に対して、画像の形状
解析に使われる手法として一般的な境界抽出処理や、輪
郭線抽出処理を施して、胆嚢等の臓器の領域を抽出した
例であり、超音波画像１１１の中からテクスチャーの不
連続部分を探し出してその境界線画像１１２を得てい
る。この境界線は臓器の表面の一部分であり、複数のフ
レームから抽出された境界をワイヤーフレームで表示さ
せたり、補間を行いながらつなぎ合わせて臓器の表面を
取り出し、ハッチング処理等を行って表示させることが
できる。

【００７０】図１６に、このような処理を実施するため
の回路の構成例を示している。前述した３次元スキャナ
を用いた例で、スキャナ部１１３から取り込まれた１２
０フレームの超音波画像シーケンスはメモリ部１１４に
一旦記録される。この信号は２つに分けられて一方はこ
れまで説明してきた透視投影部１１５にて投影変換され
る。そしてもう一方の信号は臓器表面抽出処理部１１６
にて各フレーム毎に臓器表面の抽出を行い、それを立体
再構成部１１７にて３次元空間内でのワイヤフレームに
して、透視投影部１１８にて投影変換を行う。

【００７１】これらの２つの投影変換後の信号は、信号
合成部１１９にて合成された後、表示部１２０のＦＭＤ
に表示される。このワイヤフレーム化された臓器情報は
シーケンス中で不変であるが、各フレームにて超音波画
像の断面と交叉する位置が異なっている。そこで、合成
するときに、超音波画像面よりも観察者側の部分のワイ
ヤフレームを実線で表示させ、向こう側の部分を破線で
表示させるようにしている。

【００７２】この手法において表示は、１２０フレーム
のシーケンスを繰り返し再生するようにしているので、
臓器部分の３次元再構成がリアルタイムに行うことがで
きなかったとしても、再構成が完了し次第合成するよう
にしている。このときの、繰り返し読み出されるシーケ
ンスを記憶しているメモリ部１１４については、媒体は
半導体の他に、光磁気ディスク等で構成しても構わな
く、画像圧縮伸長回路を内蔵させたものを用いて記憶す
る信号にデータ圧縮処理を施すようにしたものでも構わ
ない。

【００７３】本発明の第６実施例としての超音波画像信
号処理装置において、更に入力されるシーケンスに対し
て、時間的に前のフレームの信号をたし合わせて残像効
果を与えるような処理を行なうこともできる。

【００７４】図１７はこの残像処理を行なったものを透
視投影して表示させる場合の信号の処理を表している。
画像入力部１２１からのシーケンスは透視投影部１２２
にて変換された後、乗算器１２３にて係数ａを乗じら
れ、メモリ部１２５の信号に乗算器１２６にて係数ｂを
乗じた信号と加算器１２４でたし合わされる。

【００７５】この結果は、次のフレームの信号とたし合
わせるためにメモリ部１２５に書き込まれるものと、表
示部１２７に送られるものとに分けられる。ただし、こ
こで用いられる係数ａ及びｂは、フレームの重みを表す
もので、ｂの値が大きくなるほど残像効果が強くなり、
両者はたすと１となるように定められたものである。こ
の構成を用いることで、画像のフレーム間の変化を残像
として見ることができるようになり、空間的な配置を更
に把握しやすくなる。

【００７６】これまで投影変換のパラメータを変更する
ことで１つのオリジナルシーケンスから様々な状態で観
察しているような画像を作成することができることを説
明してきたが、これらを同時に見たいという要望もあ
る。

【００７７】第７実施例として、例えば図１８で入力画
像が透視投影処理部１３１に送られ、そこで正面、左、
右、上からの４つの視点からの観察画像を作成し、その
４つの画像をマルチ画面作成部１３２にて、それぞれを
図１９に示す如く画面の第１象限から第４象限に表示さ
せるマルチ画面１４０とし、表示部１３３に送るように
する。このとき表示画面を４分割しているので、１つの
画面は４分の１の大きさに縮小されているのだが、先に
説明したように、透視投影変換のパラメータを入力部１
３４によって適当な値にしてやることによって同時に縮
小された画像にすることができるので、縮小画像を作成
するための回路は必要ない。そして、適当な位置から観
察しているように変換するためのパラメータの計算及び
これらパラメータの設定や、マルチ画面のレイアウトの
情報の提供も、ＣＰＵ１３５により行なわれる。また、
透視投影処理は、各パラメータ毎に独立で処理されてい
るので、分割数が多くなって１つの透視投影処理部だけ
では計算が間に合わなくなった場合は、透視投影処理部
をパラレルに複数接続してそれぞれに計算させるように
することも可能である。図１８の破線で囲まれている部
分はそのような時に、透視投影処理部１３１ａ、１３１
ｂ、…のように増設していった場合の例で、通常は必要
ない。

【００７８】以上説明した本発明の超音波画像信号処理
装置を医療の分野で超音波画像を観察しながら処置を行
う場合の一例を述べる。例えば、注射針状の器具を腹部
の内部に挿入し、同時に超音波画像でその位置を確認し
ながら目標組織の細胞を採取して検査を行なったり、癌
組織に直接抗癌剤を注射することが行なわれている。そ
のような処置では、針の先端の位置と組織との位置関係
をリアルタイムに得られることが望まれている。そのよ
うな場合に本発明の超音波画像信号処理装置の映像をＦ
ＭＤを用いて観察することで、立体的に針の先端と目標
組織とを見ながら作業が行なえるため、非常に正確で、
安全に組織の細胞を採取することができるようになる。
このときＦＭＤのシースルー切り替えスイッチにフット
スイッチ等を用いれば、シースルー機能を利用して超音
波画像と実際の作業をしている手元を見ることを、ＦＭ
Ｄの取り外しを行わずにかつ作業を中断することなく切
り替えることができ、非常に安全でかつ便利である。ま
た本発明は、前述した実施例に限定されるものではな
く、他にも発明の要旨を逸脱しない範囲で種々の変形や
応用が可能であることは勿論である。

【００７９】

【発明の効果】以上詳述したように本発明によれば、超
音波診断画像を３次元的に表示することを可能とし、立
体的な形状および位置を感覚的にも容易に獲得可能な超
音波画像信号処理装置及び超音波画像信号処理システム
を提供することができる。

【図面の簡単な説明】

【図１】本発明による第１実施例としての超音波画像信
号処理装置の概略的な構成を示す図である。

【図２】３次元スキャナの構成例を示す図である。

【図３】図３に示した３次元スキャナによるスキャン状
態を鳥瞰図的に示した図である。

【図４】視点変更のための透視投影を行なうときの情報
を表す図である。

【図５】像観察装置（眼鏡型ディスプレイ）の構成例を
示す図である。

【図６】超音波画像の見かけの大きさと実際の物体の大
きさとの関係を示す図である。

【図７】本発明の第２実施例としての３次元スケールを
表示させる機能を説明するための図である。

【図８】本発明の第３実施例としての超音波画像信号処
理装置の概略的な構成を示す図である。

【図９】ＭＰＥＧのデータ構造例を示す図である。

【図１０】第３実施例の超音波画像信号処理装置の動作
を説明するためのフローチャートである。

【図１１】超音波画像信号処理装置に用いられる磁気方
式の３Ｄマウスの具体的な構成を示す図である。

【図１２】３Ｄマウスにおける距離・角度情報を説明す
るための図である。

【図１３】３Ｄマウスを用いて取り込んだ画像の状態を
説明するための図である。

【図１４】第４実施例としての超音波画像信号処理装置
の構成を示す図である。

【図１５】本発明による第５実施例としての超音波画像
信号処理装置による境界抽出処理や輪郭線抽出処理を施
して特定領域を抽出する例を示す図である。

【図１６】第５実施例の超音波画像信号処理装置の構成
を示す図である。

【図１７】本発明による第６実施例としての超音波画像
信号処理装置の構成を示す図である。

【図１８】本発明による第７実施例としての超音波画像
信号処理装置の構成を示す図である。

【図１９】第７実施例により観察される画像例を示す図
である。

【符号の説明】

１…電子走査型プローブ、２…３次元情報取り込み部、
３…電子走査型超音波診断装置、４…入力部、１１…Ａ
／Ｄ変換器、１２，１６…スイッチ、１３…透視投影処
理回路、１４…ＣＰＵ、１５…透視投影コントローラ、
１７…ＭＰＥＧエンコーダ、１８…バスコントローラ、
１９…光磁気ディスク（ＭＯ）、２０…Ｄ／Ａ変換器、
２１…ＴＶモニタ、２２…ＦＭＤ（フェイス・マウンテ
ッド・ディスプレイ）、２３…ＭＰＥＧデコーダ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｇ０１Ｎ 29/06 (72)発明者福田弘之東京都渋谷区幡ヶ谷２丁目43番２号オリンパス光学工業株式会社内

Claims

【特許請求の範囲】

【請求項１】複数フィールド又はフレームにわたって
取り込まれた超音波画像信号を処理する装置であって、各フィールド又は、フレームの画像信号の３次元空間内
での位置及び観察者の観察条件に係る情報に基づき、透
視投影するための座標変換処理手段を有したことを特徴
とする超音波画像信号処理装置。
【請求項２】被検査物体に近接し、移動するプローブ
から複数フレーム若しくは複数フィールドにわたって、
３次元空間内での位置情報と共に超音波画像信号として
取り込むスキャナ手段と、前記スキャナ手段からの超音波画像信号を画像信号に変
換する電子走査型超音波診断手段と、得られた画像信号に前記３次元空間内での位置及び観察
者の観察条件に係る情報とに基づき、透視投影するため
の座標変換処理を施す画像処理手段と、前記画像処理手段による画像信号を表示する表示手段
と、を具備することを特徴とする超音波画像信号処理シ
ステム。