JP3350125B2 - Ultrasound diagnostic equipment - Google Patents

Ultrasound diagnostic equipment

Info

Publication number
JP3350125B2
JP3350125B2 JP04146693A JP4146693A JP3350125B2 JP 3350125 B2 JP3350125 B2 JP 3350125B2 JP 04146693 A JP04146693 A JP 04146693A JP 4146693 A JP4146693 A JP 4146693A JP 3350125 B2 JP3350125 B2 JP 3350125B2
Authority
JP
Japan
Prior art keywords
image
dimensional
information
contour
ultrasonic diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04146693A
Other languages
Japanese (ja)
Other versions
JPH06254097A (en
Inventor
武史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP04146693A priority Critical patent/JP3350125B2/en
Publication of JPH06254097A publication Critical patent/JPH06254097A/en
Application granted granted Critical
Publication of JP3350125B2 publication Critical patent/JP3350125B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、超音波プローブからの
受信信号を用いて組織情報と移動体の移動情報を得る超
音波診断装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an ultrasonic diagnostic apparatus for obtaining tissue information and movement information of a moving body by using a reception signal from an ultrasonic probe.

【0002】[0002]

【従来の技術】従来、この種の超音波診断装置は、超音
波プローブからの受信信号の信号強度、つまり反射エコ
ー強度を測定して被検体の組織像(以下Bモード画像と
いう)を生成するBモード処理系と、この送受信信号に
含まれるドプラ効果による偏移周波数情報を測定して所
望の速度で移動する移動体、つまり血球の移動像(以下
カラーフローマッピング(CFM)画像という)を生成
するCFM処理系とを備え、両画像を合成して、または
一画面に分割して表示することができ、X線診断法のよ
うな被曝障害がなく、造影剤を用いずに軟部組織の断層
像を観測することができ、また腫瘍とその栄養血管を同
時に観察することができるというX線撮影装置やX線コ
ンピュータトモグラフィ装置や磁気共鳴イメージング装
置といった他のモダリティにはない独自性を備えた循環
器系の医療現場においては不可欠な装置である。しか
も、電子走査技術に代表される各種技術の進歩によりリ
アルタイム表示性能が向上して、より実時間に近い動体
計測が可能となり急速に普及してきた。
2. Description of the Related Art Conventionally, an ultrasonic diagnostic apparatus of this type measures a signal intensity of a signal received from an ultrasonic probe, that is, a reflected echo intensity, and generates a tissue image of a subject (hereinafter, referred to as a B-mode image). A B-mode processing system and measures shift frequency information due to the Doppler effect included in the transmission / reception signal to generate a moving object moving at a desired speed, that is, a moving image of a blood cell (hereinafter referred to as a color flow mapping (CFM) image). And a CFM processing system that can combine the two images or display them on a single screen, without exposure damage such as X-ray diagnostics, and without the use of contrast agents. Other radiography systems, such as X-ray imaging systems, X-ray computed tomography systems, and magnetic resonance imaging systems, that can observe images and simultaneously observe tumors and their vegetative blood vessels. Is an indispensable apparatus in the medical field of circulatory system with no uniqueness in utility. Moreover, real-time display performance has been improved due to the progress of various technologies represented by the electronic scanning technology, and moving object measurement closer to real time has become possible, and the technology has rapidly spread.

【0003】ところで近年、X線コンピュータトモグラ
フィ装置や磁気共鳴イメージング装置の分野では、骨格
や内臓や脳等の3次元表示が既に実用の域に達してい
る。また、頭蓋骨と脳内動脈瘤を同時に表示して手術シ
ミュレーションに適用する試みもなされている(メディ
カルレビューNo.46,pp25〜42,199
2)。
[0003] In recent years, in the field of X-ray computed tomography apparatus and magnetic resonance imaging apparatus, three-dimensional display of skeleton, internal organs, brain, and the like has already reached the practical level. Attempts have also been made to simultaneously display the skull and intracerebral aneurysm and apply it to surgery simulation (Medical Review No. 46, pp. 25-42, 199).
2).

【0004】これに対し、上述した従来の超音波診断装
置でも、Bモード画像の3次元表示(谷口他:「臨床応
用可能な超音波3次元装置の開発」、第60回日本超音
波医学会講演論文集pp.17〜18,1992等)
や、CFM画像の3次元表示(特願平3−213625
号)に見られるように、3次元表示の開発が盛んになっ
てきた。しかし、これらの3次元表示方法は、Bモード
画像とCFM画像のいずれか一方の単独の表示方法であ
り、両画像を組み合わせて3次元表示することはでき
ず、組織と血管との関係、例えば腫瘍とその栄養血管の
関係を提供することはできなかった。
On the other hand, even in the above-mentioned conventional ultrasonic diagnostic apparatus, a three-dimensional display of a B-mode image (Taniguchi et al .: "Development of a clinically applicable ultrasonic three-dimensional apparatus", 60th Japan Society of Ultrasound Medicine Lecture papers pp. 17-18, 1992, etc.)
And 3D display of CFM images (Japanese Patent Application No. Hei 3-213625)
No. 3), the development of three-dimensional display has become active. However, these three-dimensional display methods are independent display methods for either the B-mode image or the CFM image, and cannot be displayed three-dimensionally by combining both images. The relationship between the tumor and its vegetative vessels could not be provided.

【0005】[0005]

【発明が解決しようとする課題】本発明は、上述した事
情に対処すべくなされたもので、その目的は、Bモード
画像とCFM画像を組み合わせた3次元表示を実現し得
る超音波診断装置を提供することである。
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and has as its object to provide an ultrasonic diagnostic apparatus capable of realizing a three-dimensional display combining a B-mode image and a CFM image. To provide.

【0006】[0006]

【課題を解決するための手段】本発明は、被検体に対し
て超音波を送受波するプローブと、前記プローブからの
受信信号に基づいて前記3次元空間内の組織情報と前記
3次元空間内の移動体の移動情報を得る手段と、前記組
織情報から関心部分の輪郭像を抽出する手段と、前記移
動情報から血流像を抽出する手段と、前記輪郭像と前記
血流像の3次元分布情報を記憶する3次元データメモリ
と、前記3次元空間に対して視点を変えながらその各位
置で前記3次元分布情報を投影処理して複数の2次元画
像を生成する生成手段と、前記2次元画像を所定の順番
で連続的に表示する表示手段とを具備する。
According to the present invention, there is provided a probe for transmitting and receiving an ultrasonic wave to and from a subject, tissue information in the three-dimensional space based on a signal received from the probe, and tissue information in the three-dimensional space. Means for obtaining movement information of a moving object, means for extracting a contour image of a portion of interest from the tissue information, means for extracting a blood flow image from the movement information, and three-dimensional images of the contour image and the blood flow image A three-dimensional data memory for storing distribution information, generating means for projecting the three-dimensional distribution information at each position while changing the viewpoint with respect to the three-dimensional space to generate a plurality of two-dimensional images; Display means for continuously displaying the two-dimensional images in a predetermined order.

【0007】[0007]

【作用】本発明によれば、組織情報から抽出した関心部
分の輪郭像と血流像の各像を3次元空間に分布して3次
元分布情報を作成し、視点を変えながらその各位置で3
次元分布情報を投影処理して複数の2次元画像を生成
し、これらの2次元画像を所定の順番で連続的に表示す
ることで、人間の運動視差と呼ばれる視覚特性によって
関心部分の立体構造と血流像の立体構造とを同時に把握
することができる。
According to the present invention, three-dimensional distribution information is created by distributing the contour image of the part of interest and the blood flow image extracted from the tissue information in a three-dimensional space, and changing the viewpoint at each position. 3
By projecting the dimensional distribution information to generate a plurality of two-dimensional images and continuously displaying these two-dimensional images in a predetermined order, the three-dimensional structure of the part of interest can be changed by a visual characteristic called human motion parallax. The three-dimensional structure of the blood flow image can be simultaneously grasped.

【0008】[0008]

【実施例】以下、図面を参照しながら本発明による超音
波診断装置の一実施例を説明する。なお、超音波診断装
置のスキャン方式にはリニア走査、セクタ走査等がある
が、ここではセクタ走査を例にとって説明するものとす
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the ultrasonic diagnostic apparatus according to the present invention will be described below with reference to the drawings. Note that the scanning method of the ultrasonic diagnostic apparatus includes linear scanning, sector scanning, and the like. Here, description will be made by taking sector scanning as an example.

【0009】図1は本実施例の構成を示すブロック図で
ある。図1において1は複数の圧電振動子を並設してな
る超音波プローブ(以下単に「プローブ」と略す)であ
る。このプローブ1は位置検出装置2に支持されてい
て、その位置や姿勢が検出されるようになっている。
FIG. 1 is a block diagram showing the configuration of this embodiment. In FIG. 1, reference numeral 1 denotes an ultrasonic probe (hereinafter simply abbreviated as “probe”) in which a plurality of piezoelectric vibrators are arranged in parallel. The probe 1 is supported by a position detection device 2 so that its position and orientation can be detected.

【0010】位置検出装置2は例えば図2に示すように
構成される。50は滑車51により自在に移動できる支
持台であり、この支持台50の上面には支柱52がZ軸
に平行な1軸に沿って旋回可能に設置されていて、この
支柱52の上端にはアーム53がX軸に平行な2軸に沿
って起倒可能に設けられ、このアーム53の先端にはア
ーム54がX軸に平行な3軸に沿って回転可能に設けら
れる。このアーム54の先端にはブロック55を介して
L字形のL字ブロック56がY軸に平行な4軸に沿って
回転可能に接続され、L字ブロック56の一端にはブロ
ック57を介して装着ブロック58が4軸に直交する5
軸に沿って回転可能に接続される。装着ブロック58は
プローブ1を5軸に直交する6軸に沿って回転自在に装
着する。したがって、位置検出装置2はプローブ1を任
意の位置でかつ任意の姿勢で支持することができ、さら
に各軸の角度でプローブ1の現在位置P0 (x0
0 ,z0 )や姿勢、つまりX軸に対するプローブ1の
長軸の傾斜角度α、Y軸に対するプローブ1の長軸の傾
斜角度βおよびZ軸に対するプローブ1の長軸の傾斜角
度γを検出することができるようになっている。なお位
置検出装置2で検出したプローブ1の現在位置および姿
勢の情報を位置データと称して以下の説明で使用する。
The position detecting device 2 is configured as shown in FIG. 2, for example. Reference numeral 50 denotes a support that can be freely moved by a pulley 51. A support 52 is provided on the upper surface of the support 50 so as to be pivotable along one axis parallel to the Z-axis. An arm 53 is provided so as to be able to move up and down along two axes parallel to the X axis. At the tip of this arm 53, an arm 54 is provided rotatably along three axes parallel to the X axis. An L-shaped L-shaped block 56 is rotatably connected to a tip of the arm 54 via a block 55 along four axes parallel to the Y-axis, and is attached to one end of the L-shaped block 56 via a block 57. Block 58 is orthogonal to 4 axes 5
It is connected rotatably along the axis. The mounting block 58 rotatably mounts the probe 1 along six axes orthogonal to the five axes. Therefore, the position detecting device 2 can support the probe 1 at an arbitrary position and an arbitrary posture, and furthermore, the current position P 0 (x 0 ,
y 0 , z 0 ) and posture, that is, the inclination angle α of the long axis of the probe 1 with respect to the X axis, the inclination angle β of the long axis of the probe 1 with respect to the Y axis, and the inclination angle γ of the long axis of the probe 1 with respect to the Z axis. You can do it. The information on the current position and posture of the probe 1 detected by the position detection device 2 is referred to as position data and used in the following description.

【0011】プローブ1には、送信系3と受信系7が接
続される。送信系3はパルス発生器4、送信遅延回路
5、パルサ6を備え、送信時にプローブ1の各振動子に
送信パルスを供給する。パルス発生器4はレートパルス
を発生する。送信遅延回路5は、パルス発生器4から受
けたレートパルスに、所定の方向へ超音波ビームを集束
させるべく各振動子毎に異なる遅延時間を与える。パル
サ6は、送信遅延回路5からの遅延レートパルスにした
がってプローブ2の各振動子に送信パルスを供給する。
送信系3からの送信パルスによりプローブ1から超音波
ビームが被検体P内に送信されると、被検体P内の異な
る音響インピーダンスの境界部で反射し、再度プローブ
2で受信される。この受信信号は受信系7に供給され
る。
A transmission system 3 and a reception system 7 are connected to the probe 1. The transmission system 3 includes a pulse generator 4, a transmission delay circuit 5, and a pulser 6, and supplies a transmission pulse to each transducer of the probe 1 during transmission. The pulse generator 4 generates a rate pulse. The transmission delay circuit 5 gives the rate pulse received from the pulse generator 4 a different delay time for each transducer to focus the ultrasonic beam in a predetermined direction. The pulser 6 supplies a transmission pulse to each transducer of the probe 2 according to the delay rate pulse from the transmission delay circuit 5.
When an ultrasonic beam is transmitted from the probe 1 into the subject P by a transmission pulse from the transmission system 3, the ultrasonic beam is reflected at a boundary portion of a different acoustic impedance in the subject P and is received by the probe 2 again. This reception signal is supplied to the reception system 7.

【0012】受信系7はプリアンプ8、受信遅延回路
9、加算器10を備える。プリアンプ8は、受信信号を
所定のレベルまで増幅する。受信遅延回路9は、プリア
ンプ8で増幅された受信信号を受けて、この受信信号に
送信遅延回路5で与えた遅延時間と逆の遅延時間を与え
る。加算器10は受信遅延回路9からの出力を加算す
る。この加算信号は、Bモード処理系11とカラーフロ
ーマッピング(CFM)処理系15に供給される。
The receiving system 7 includes a preamplifier 8, a receiving delay circuit 9, and an adder 10. The preamplifier 8 amplifies the received signal to a predetermined level. The reception delay circuit 9 receives the reception signal amplified by the preamplifier 8 and gives the reception signal a delay time opposite to the delay time given by the transmission delay circuit 5. The adder 10 adds the outputs from the reception delay circuit 9. This addition signal is supplied to a B-mode processing system 11 and a color flow mapping (CFM) processing system 15.

【0013】Bモード処理系11は、対数増幅器12、
包絡線検波回路13、アナログディジタル変換器(A/
D)14を備える。対数増幅器12は、受信系7からの
加算信号を受けて、これを対数増幅する。包絡線検波回
路13は、対数増幅器12からの出力の包絡線の検波処
理を行う。包絡線検波回路13からの検波信号は、アナ
ログディジタル変換器14を介してBモード処理系11
から出力される。
The B-mode processing system 11 includes a logarithmic amplifier 12,
Envelope detection circuit 13, analog-to-digital converter (A /
D) 14 is provided. The logarithmic amplifier 12 receives the added signal from the receiving system 7 and logarithmically amplifies the signal. The envelope detection circuit 13 detects the envelope of the output from the logarithmic amplifier 12. The detection signal from the envelope detection circuit 13 is transmitted to the B-mode processing system 11 through the analog / digital converter 14.
Output from

【0014】カラーフローマッピング処理系15は、位
相検波回路16、アナログディジタル変換器17、ムー
ビング・ターゲット・インジケータ(MTI;Moving T
arget Indicator )フィルタ18、自己相関器19、演
算部20を備える。位相検波回路16は、受信系7から
の加算信号を受けて、これから高周波成分を除去すると
共に直交位相検波処理を行う。位相検波回路16からの
出力はアナログディジタル変換器17を介してMTIフ
ィルタ18に送られる。MTIとは、レーダ分野で常用
されている技術であり、設定した移動目標だけをドップ
ラ効果を利用して抽出する技術である。MTIフィルタ
18は、このMTI技術を応用したものであり、所定回
数繰り返し送波したレートパルスにおける同一ピクセル
間の位相変化に基づいて、受信信号に含まれる心臓の壁
等のように比較的動きの遅い移動体からの不要なクラッ
タ成分を除去し、移動目標すなわち血球からの反射成分
だけを抽出するものである。
The color flow mapping processing system 15 includes a phase detection circuit 16, an analog-to-digital converter 17, and a moving target indicator (MTI).
arget Indicator) A filter 18, an autocorrelator 19, and a calculation unit 20 are provided. The phase detection circuit 16 receives the addition signal from the reception system 7, removes high-frequency components therefrom, and performs quadrature phase detection processing. The output from the phase detection circuit 16 is sent to the MTI filter 18 via the analog / digital converter 17. MTI is a technique commonly used in the radar field, and is a technique for extracting only a set moving target using the Doppler effect. The MTI filter 18 is an application of the MTI technology, and based on a phase change between the same pixels in a rate pulse repeatedly transmitted a predetermined number of times, a relatively moving object such as a heart wall included in a received signal. An unnecessary clutter component from a slow moving object is removed, and only a reflection component from a moving target, that is, a blood cell is extracted.

【0015】自己相関器19は、MTIフィルタ18か
らの出力を用いて2次元多数点の出力レベルについてリ
アルタイムで周波数分析する。自己相関処理は、FFT
(高速フーリエ変換)処理より演算数が著しく少ない演
算数で周波数分析を実現できるので、リアルタイム処理
を要する装置に多用されている処理である。演算部20
は、この自己相関器19の出力を受けて、各点の平均速
度や分散やパワー等の情報を計算する。この情報は、2
次元のディジタルスキャンコンバータ(DSC)21に
送られる。
The autocorrelator 19 uses the output from the MTI filter 18 to perform frequency analysis in real time on the output levels of two-dimensional multiple points. Autocorrelation processing is FFT
(Fast Fourier Transform) This is a process that is frequently used in devices that require real-time processing because frequency analysis can be realized with a significantly smaller number of operations than in the process. Arithmetic unit 20
Receives the output of the autocorrelator 19 and calculates information such as the average speed, variance and power of each point. This information is 2
It is sent to a dimensional digital scan converter (DSC) 21.

【0016】ディジタルスキャンコンバータ21は、B
モード処理系11やCFM処理系15からの各出力を受
けて、2次元のBモード画像やCFM画像を各別に生成
する。このディジタルスキャンコンバータ21には、2
次元画像の表示系22と3次元画像の表示系26が接続
される。表示系22は、カラー処理回路23、ディジタ
ルアナログ(D/A)変換器24、カラーモニタ25を
備え、ディジタルスキャンコンバータ21からのBモー
ド画像やCFM画像をそれぞれ白黒でまたはカラーで表
示する。
The digital scan converter 21 has a B
Upon receiving outputs from the mode processing system 11 and the CFM processing system 15, two-dimensional B-mode images and CFM images are separately generated. This digital scan converter 21 has 2
A two-dimensional image display system 22 and a three-dimensional image display system 26 are connected. The display system 22 includes a color processing circuit 23, a digital / analog (D / A) converter 24, and a color monitor 25, and displays a B-mode image and a CFM image from the digital scan converter 21 in black and white or in color, respectively.

【0017】他方の表示系26は、本発明の主要部であ
る3次元ディジタルスキャンコンバータ(3D−DS
C)27、ディジタルアナログ(D/A)変換器28、
カラーモニタ29を備え、Bモード画像とCFM画像を
組み合わせた3次元画像を作成し、これを表示する。
The other display system 26 is a three-dimensional digital scan converter (3D-DS) which is a main part of the present invention.
C) 27, digital / analog (D / A) converter 28,
A color monitor 29 is provided, creates a three-dimensional image combining the B-mode image and the CFM image, and displays it.

【0018】3次元ディジタルスキャンコンバータ27
は図3に示すように構成される。すなわち、3次元ディ
ジタルスキャンコンバータ27は中央処理装置(CP
U)33を各構成要素の制御および3次元画像処理の中
枢として、この中央処理装置33からのCPUバス34
に各構成要素が枝状に接続されてなる。ディジタルスキ
ャンコンバータ21からの各Bモード画像は切替器35
の切替え操作により、スライス枚数分用意されたB画像
用イメージメモリ361 〜36n に保持される。これら
B画像用イメージメモリ361 〜36n はCPUバス3
4に相互接続される。同様に、ディジタルスキャンコン
バータ21からの各CFM画像は切替器37の切替え操
作により、スライス枚数分用意されたCFM画像用イメ
ージメモリ381 〜38n に保持される。これらCFM
画像用イメージメモリ381 〜38n はCPUバス34
に相互接続される。
3D digital scan converter 27
Is configured as shown in FIG. That is, the three-dimensional digital scan converter 27 is connected to the central processing unit (CP
U) 33 as a center of control of each component and three-dimensional image processing, a CPU bus 34 from the central processing unit 33.
Each component is connected in a branch shape. Each B-mode image from the digital scan converter 21 is supplied to a switch 35.
By the switching operation, the image data is stored in the B image image memories 361 to 36n prepared for the number of slices. These B image image memories 361 to 36n are connected to the CPU bus 3
4 are interconnected. Similarly, the CFM images from the digital scan converter 21 are held in the CFM image image memories 381 to 38n prepared for the number of slices by the switching operation of the switch 37. These CFM
The image memories 381 to 38n for images are stored in the CPU bus 34.
Interconnected.

【0019】このCPUバス34には上述した位置検出
装置2が接続されていて、位置検出装置2が検出したプ
ローブ1の位置および姿勢の位置データが入力される。
また、CPUバス34には上述したシステムコントロー
ラ31が接続され、操作スイッチ30から入力した関心
部位の輪郭のトレース情報が入力される。
The above-mentioned position detecting device 2 is connected to the CPU bus 34, and the position data of the position and the posture of the probe 1 detected by the position detecting device 2 are inputted.
The system controller 31 described above is connected to the CPU bus 34, and the trace information of the contour of the region of interest input from the operation switch 30 is input.

【0020】また、このCPUバス34には、実空間に
対応した3次元メモリ空間を有するB画像用3次元デー
タメモリ39とCFM画像用3次元データメモリ40が
接続される。操作スイッチ30からシステムコントロー
ラ31を介して入力された関心部位の輪郭のトレース情
報は、中央処理装置33の書き込み制御のもと当該Bモ
ード画像を収集したときのプローブ1の位置データに基
づいて3次元座標変換されB画像用3次元データメモリ
39の3次元メモリ空間の該当位置に順次書き込まれ
る。また、CFM画像用イメージメモリ381 〜38n
の各CFM画像は中央処理装置33で血管像を抽出さ
れ、中央処理装置33の書き込み制御のもと当該Bモー
ド画像を収集したときのプローブ1の位置データに基づ
いて3次元座標変換されCFM画像用3次元データメモ
リ40の3次元メモリ空間の該当位置に順次書き込まれ
る。
The CPU bus 34 is connected to a B image three-dimensional data memory 39 and a CFM image three-dimensional data memory 40 having a three-dimensional memory space corresponding to a real space. The trace information of the contour of the region of interest input from the operation switch 30 via the system controller 31 is based on the position data of the probe 1 when the B-mode image was collected under the writing control of the central processing unit 33. The dimensional coordinates are converted and sequentially written to corresponding positions in the three-dimensional memory space of the B-image three-dimensional data memory 39. Also, image memories for CFM images 381 to 38n
Of each of the CFM images is extracted by the central processing unit 33, and under the writing control of the central processing unit 33, the CFM image is subjected to three-dimensional coordinate conversion based on the position data of the probe 1 when the B-mode image is collected. Is sequentially written to a corresponding position in the three-dimensional memory space of the three-dimensional data memory 40 for use.

【0021】さらにCPUバス34には、複数でかつ同
じ枚数のB画像用投影メモリ411〜41m とCFM画
像投影メモリ421 〜42m が接続される。B画像用3
次元データメモリ39の3次元分布情報は、中央処理装
置33で設定した複数の視点から投影され、これら投影
画像はそれぞれB画像用投影メモリ411 〜41m に送
られ保持される。また、同様に、CFM画像用3次元デ
ータメモリ40の3次元分布情報は、B画像用3次元デ
ータメモリ39の3次元分布情報を投影したときと同じ
複数の視点で投影され、これら投影画像はそれぞれCF
M画像投影メモリ421 〜42m に送られ保持される。
Further, a plurality of and the same number of B image projection memories 411 to 41m and CFM image projection memories 421 to 42m are connected to the CPU bus 34. 3 for B image
The three-dimensional distribution information in the dimensional data memory 39 is projected from a plurality of viewpoints set by the central processing unit 33, and these projected images are sent to and stored in the B image projection memories 411 to 41m, respectively. Similarly, the three-dimensional distribution information of the CFM image three-dimensional data memory 40 is projected from the same plurality of viewpoints as when the three-dimensional distribution information of the B image three-dimensional data memory 39 is projected. Each CF
The images are sent to and stored in the M image projection memories 421 to 42m.

【0022】B画像用投影メモリ411 〜41m には切
替器43が接続され、CFM画像投影メモリ421 〜4
2m には切替器44が接続される。切替器43と切替器
44は同期して同じ視点から投影した2種の投影画像を
それぞれ1枚ずつ選択的にカラー処理回路45に出力す
る。カラー処理回路45では両投影画像を合成し、この
合成画像をカラーバーを用いてR,G,Bの各カラー信
号に変換し出力する。
A switch 43 is connected to the B image projection memories 411 to 41m, and the CFM image projection memories 421 to 4m.
A switch 44 is connected to 2m. The switch 43 and the switch 44 selectively output two types of projected images projected from the same viewpoint one by one to the color processing circuit 45 in synchronization with each other. The color processing circuit 45 combines the two projected images, converts the combined image into R, G, and B color signals using a color bar and outputs the signals.

【0023】3次元ディジタルスキャンコンバータ27
からカラー処理回路45を介して出力された合成画像
は、ディジタルアナログ変換器(D/A)28を介して
カラーモニタ29に表示される。
A three-dimensional digital scan converter 27
The composite image output from the color processing circuit 45 is displayed on a color monitor 29 via a digital / analog converter (D / A) 28.

【0024】30は、カラーモニタ29に表示されたB
モード画像の関心部位(腫瘍)の輪郭を手入力でトレー
スするためのマウスやデバイダの如き操作スイッチ(S
W)である。操作スイッチ30からのトレース情報(操
作軌跡)は、システムコントローラ31を介して3次元
ディジタルスキャンコンバータ27に送られる。3次元
ディジタルスキャンコンバータ27は、このトレース情
報を現に保持しているBモード画像に重ね合わせ、この
重ね合わせた画像をカラーモニタ29に表示させる。次
に本実施例の作用について説明する。
Reference numeral 30 denotes B displayed on the color monitor 29.
An operation switch (S) such as a mouse or a divider for manually tracing the contour of the region of interest (tumor) in the mode image
W). Trace information (operation trajectory) from the operation switch 30 is sent to the three-dimensional digital scan converter 27 via the system controller 31. The three-dimensional digital scan converter 27 superimposes the trace information on the currently held B-mode image, and displays the superimposed image on the color monitor 29. Next, the operation of the present embodiment will be described.

【0025】プローブ1がオペレータによって被検体P
の体表面を移動される。その各位置でプローブ1は送信
系3によって駆動され2次元スキャンを繰り返す。この
各2次元スキャンにより得られたエコー情報は、Bモー
ド処理系11とカラーフローマッピング処理系15に送
られ、各処理系11,15でそれぞれBモード画像とC
FM画像に生成され、ディジタルスキャンコンバータ2
1に送られる。
The probe 1 is moved by the operator to the subject P
The body surface is moved. At each position, the probe 1 is driven by the transmission system 3 and repeats a two-dimensional scan. The echo information obtained by each of the two-dimensional scans is sent to a B-mode processing system 11 and a color flow mapping processing system 15.
Digital scan converter 2 generated into FM image
Sent to 1.

【0026】このとき2次元スキャンを繰り返したとき
の各位置のプローブ1の位置や姿勢が位置検出装置2で
検出される。この位置データは、3次元ディジタルスキ
ャンコンバータ27に送られる。
At this time, the position and orientation of the probe 1 at each position when the two-dimensional scan is repeated are detected by the position detecting device 2. This position data is sent to the three-dimensional digital scan converter 27.

【0027】ディジタルスキャンコンバータ21から各
Bモード画像と各CFM画像が順次3次元ディジタルス
キャンコンバータ27に出力される。3次元ディジタル
スキャンコンバータ27は、各Bモード画像を切替器3
5の切替え操作により順番にB画像用イメージメモリ3
61 〜36n に保持し、また各CFM画像を切替器37
の切替え操作により順番にCFM画像用イメージメモリ
381 〜38n に保持する。
Each B-mode image and each CFM image are sequentially output from the digital scan converter 21 to the three-dimensional digital scan converter 27. The three-dimensional digital scan converter 27 converts each B-mode image into a switch 3
5, the B image image memory 3
61 to 36n, and switches each CFM image to a switch 37.
Are sequentially stored in the CFM image image memories 381 to 38n.

【0028】そして、3次元ディジタルスキャンコンバ
ータ27はこれら保持した画像を用いて3次元画像を生
成する。図4は3次元ディジタルスキャンコンバータ2
7による3次元画像生成処理の概略的な流れを示す図で
ある。
Then, the three-dimensional digital scan converter 27 generates a three-dimensional image using these stored images. FIG. 4 shows a three-dimensional digital scan converter 2
FIG. 7 is a diagram showing a schematic flow of a three-dimensional image generation process by No. 7;

【0029】まず、3次元ディジタルスキャンコンバー
タ27はCFM画像用イメージメモリ381 〜38n に
保持されている各CFM画像を多値化、ここでは4値化
して、血管像を抽出する。なお、CFM画像から血管像
を抽出するのは比較的容易である。なぜなら、既にMT
Iフィルタ18によって血流成分のみが抽出されてい
て、CFM画像上の像はすべて血管像であるので、比較
的ラフなしきい値でしきい値処置を行うことにより血管
部分を抽出できる。CFM画像は、血流の方向、速度、
分散などの血流情報を有しているので、ここではCFM
画像の各画素の画素値を以下のような4種のデータのい
ずれかに置換する。 0…スキャン範囲外 1 … 血流なし 2 … 向かってくる血流 3 … 遠ざかる血流
First, the three-dimensional digital scan converter 27 converts each of the CFM images stored in the CFM image image memories 381 to 38n into multi-valued data, here quaternary data, and extracts a blood vessel image. Note that it is relatively easy to extract a blood vessel image from a CFM image. Because MT already
Since only the blood flow component is extracted by the I filter 18 and the images on the CFM image are all blood vessel images, the blood vessel portion can be extracted by performing the threshold processing with a relatively rough threshold. The CFM image shows the direction, velocity,
Since it has blood flow information such as dispersion, here CFM
The pixel value of each pixel of the image is replaced with any of the following four types of data. 0: out of the scan range 1 ... no blood flow 2 ... blood flow coming 3 ... blood flow going away

【0030】一方、Bモード画像を2値化して、腫瘍な
どの関心部位の輪郭を抽出することは非常に困難であ
り、現状では完全に自動化できる方法は存在しない。そ
こでここではBモード画像用イメージメモリ361 〜3
6n に保持されている各Bモード画像をカラーモニタ2
9に表示し、マウス等の操作スイッチ30でオペレータ
が手入力で各Bモード画像の当該関心部位の輪郭をトレ
ースする。なお、輪郭線上の画素の画素値は2に、また
それ以外の背景部分の画素の画素値は0に置換する。
On the other hand, it is very difficult to binarize a B-mode image and extract the contour of a site of interest such as a tumor, and at present, there is no method that can be completely automated. Therefore, here, the image memories 361 to 3 for B-mode images are used.
6n is stored in the color monitor 2
9 and the outline of the concerned part of each B-mode image is traced manually by the operator using the operation switch 30 such as a mouse. Note that the pixel value of the pixel on the contour line is replaced with 2, and the pixel value of the pixel of the other background portion is replaced with 0.

【0031】次に上述した各スライスの4値画像および
2値画像をそれぞれB画像用3次元データメモリ39や
CFM画像用3次元データメモリ40の3次元メモリ空
間に展開する。この展開処理に必要な3次元座標変換処
理は次のように行われる。
Next, the quaternary image and the binary image of each slice described above are developed in the three-dimensional memory space of the three-dimensional data memory 39 for the B image and the three-dimensional data memory 40 for the CFM image, respectively. The three-dimensional coordinate conversion process required for this expansion process is performed as follows.

【0032】すなわち、中央処理装置33に位置検出装
置2から2次元スキャンしたプローブ1の各位置の位置
データが供給される。この位置データは上述したよう
に、プローブ1の現在位置P0 (x0 ,y0 ,z0 )や
X,Y,Zの各軸に対する角度(α,β,γ)である。
中央処理装置33はこの各スライス毎の位置データを用
いて各4値画像および各2値画像の2次元座標を3次元
座標に変換する。図5はB画像用3次元データメモリ3
9やCFM画像用3次元データメモリ40の3次元メモ
リ空間を模式的に示した図である。各画像の基準位置
は、各スライスで検出したP0 (x0 ,y0 ,z0 )で
ある。(X,Y)を2次元の画像のアドレス、(x,
y,z)を3次元座標変換後の3次元空間のアドレスと
する。
That is, the position data of each position of the probe 1 which has been two-dimensionally scanned is supplied from the position detecting device 2 to the central processing unit 33. As described above, the position data is the current position P 0 (x 0 , y 0 , z 0 ) of the probe 1 and the angles (α, β, γ) with respect to the X, Y, and Z axes.
The central processing unit 33 converts the two-dimensional coordinates of each quaternary image and each binary image into three-dimensional coordinates using the position data of each slice. FIG. 5 shows a three-dimensional data memory 3 for a B image.
9 is a diagram schematically showing a three-dimensional memory space of a three-dimensional data memory for CFM 9 and CFM images. The reference position of each image is P 0 (x 0 , y 0 , z 0 ) detected in each slice. (X, Y) is the address of the two-dimensional image, (x, Y)
(y, z) is the address of the three-dimensional space after the three-dimensional coordinate conversion.

【0033】まず、3次元空間におけるX軸の回りの回
転パラメータAは次式(1)のように、Y軸の回りの回
転パラメータBは次式(2)のように、Z軸の回りの回
転パラメータCは次式(3)のように表される。
First, a rotation parameter A about the X axis in the three-dimensional space is expressed by the following equation (1), and a rotation parameter B about the Y axis is expressed by the following equation (2). The rotation parameter C is represented by the following equation (3).

【0034】[0034]

【数1】 (Equation 1)

【0035】したがって、(X,Y)から(x,y,
z)への3次元座標変換は式(4)で表すことができ
る。なお式(4)において、(x0 ′,y0 ′,
0 ′)は、当該P0 (x0 ,y0 ,z0 )から、3次
元スキャンにおける全スライス中の中心に位置するスラ
イス(例えば100スライススキャンであれば、50番
目のスライス)のP0 (x0 ,y0 ,z0 )の値を引い
たものである。
Therefore, from (X, Y) to (x, y,
The three-dimensional coordinate conversion to z) can be expressed by equation (4). In equation (4), (x 0 ′, y 0 ′,
z 0 ′) is calculated from the P 0 (x 0 , y 0 , z 0 ) from the P 0 of the slice located at the center of all the slices in the three-dimensional scan (for example, the 50th slice in the case of 100 slice scan). 0 (x 0 , y 0 , z 0 ) is subtracted.

【0036】[0036]

【数2】 (Equation 2)

【0037】ただし、この3次元座標変換は位置検出装
置2が認識しているXYZ座標系に対して行われるが、
後述するように投影画像は視点を3次元メモリ空間のx
yz座標系のy軸の回りで回転しながら作成されるの
で、y軸を回転中心に変更する、換言すると視点をy軸
を中心に移動するために、さらに以下のような座標変換
を行う。ここでは、3次元スキャンの中心のスライスが
回転軸の中心になるように座標変換処理を行う。3次元
スキャンの中心のスライスの回転角αc 、βc 、γc
すると、x軸、y軸、z軸の座標系の各軸に対する回転
パラメータAc -1,Bc -1,Cc -1はそれぞれ次式
(5),(6),(7)のように定義することができ
る。
However, this three-dimensional coordinate conversion is performed on the XYZ coordinate system recognized by the position detecting device 2,
As will be described later, the projection image has a viewpoint of x in a three-dimensional memory space.
Since it is created while rotating around the y axis of the yz coordinate system, the following coordinate transformation is further performed to change the y axis to the center of rotation, in other words, to move the viewpoint around the y axis. Here, the coordinate conversion processing is performed so that the slice at the center of the three-dimensional scan becomes the center of the rotation axis. Assuming that the rotation angles α c , β c , and γ c of the slice at the center of the three-dimensional scan are, rotation parameters A c −1 , B c −1 , and C c for each axis of the x-axis, y-axis, and z-axis coordinate systems -1 can be defined as in the following equations (5), (6), and (7), respectively.

【0038】[0038]

【数3】 (Equation 3)

【0039】そして、これら回転パラメータAc -1,B
c -1,Cc -1を次式(8)に示すように式(4)で得た
(x,y,z)に適用すると、3次元メモリ空間のxy
z座標系の3次元座標(x´,y´,z´)を得ること
ができる。
The rotation parameters A c -1 and B c
When c -1 and C c -1 are applied to (x, y, z) obtained by Expression (4) as shown in Expression (8), xy in the three-dimensional memory space is obtained.
The three-dimensional coordinates (x ', y', z ') of the z coordinate system can be obtained.

【0040】[0040]

【数4】 (Equation 4)

【0041】なお、(Ac -1・Bc -1・Cc -1)・(C
・B・A)の行列に対しては元の2次元座標を変換すれ
ば良いので、視点の移動を行っても処理時間は殆ど変わ
らない。
It should be noted that (A c -1 · B c -1 · C c -1 ) · (C
Since the original two-dimensional coordinates need only be transformed for the matrix of (B · A), the processing time hardly changes even if the viewpoint is moved.

【0042】中央処理装置33は2値画像や4値画像の
全ての画素(X,Y)に対してこの3次元座標変換を行
い3次元座標に変換する。この3次元座標に基づいて、
2値画像はB画像用3次元データメモリ39の3次元メ
モリ空間に展開され、4値画像はCFM画像用3次元デ
ータメモリ40の3次元メモリ空間に展開される。
The central processing unit 33 performs this three-dimensional coordinate conversion on all the pixels (X, Y) of the binary image or the quaternary image to convert them to three-dimensional coordinates. Based on these three-dimensional coordinates,
The binary image is developed in the three-dimensional memory space of the B image three-dimensional data memory 39, and the quaternary image is developed in the three-dimensional memory space of the CFM image three-dimensional data memory 40.

【0043】次にこの3次元座標変換後のデータが書き
込まれなかった3次元メモリ空間の領域について補間処
理を行う。上記視点の変換により、3次元スキャンの中
心スライスがx−y平面にあるので、z軸方向がほぼ超
音波スキャンの直交方向(スライス方向)と考えられ
る。スライスピッチは2次元スキャンの走査線ピッチに
比べて著しく大きので、音場的には、このスライス方向
の分解能が悪く、補間処理はこのスライス方向に沿って
行うことが望ましい。なお、この補間処理はBモード画
像用3次元データメモリ39とCFM画像用3次元デー
タメモリ40の各3次元分布情報について個々に行う。
補間処理は次のように行われる。すなわち、z軸と平行
に各画素の値を連続的に検索する。このとき画素値1以
上の2点の間に画素値が0の点があったとき(つまり像
情報のない画素が像情報を持つ画素に挟まれていると
き)、その画素値0の点の場所に、画素値1以上の2点
の大きい値を選択的に画素値0に置換して補間処理を行
う。但し、1以上の2点の間に画素値0の点が一定個数
以上(例えば32点)あったならば、像は非連続である
と判断して当該画素値0の点については補間処理を行わ
ない。
Next, an interpolation process is performed on an area of the three-dimensional memory space in which the data after the three-dimensional coordinate conversion is not written. Since the center slice of the three-dimensional scan is on the xy plane by the above viewpoint conversion, it is considered that the z-axis direction is almost the orthogonal direction (slice direction) of the ultrasonic scan. Since the slice pitch is significantly larger than the scanning line pitch of the two-dimensional scan, the resolution in the slice direction is poor in terms of the sound field, and it is desirable that the interpolation process be performed along the slice direction. This interpolation processing is individually performed for each piece of three-dimensional distribution information in the three-dimensional data memory 39 for B-mode images and the three-dimensional data memory 40 for CFM images.
The interpolation process is performed as follows. That is, the value of each pixel is continuously searched in parallel with the z-axis. At this time, when there is a point having a pixel value of 0 between two points having a pixel value of 1 or more (that is, a pixel having no image information is sandwiched between pixels having image information), Interpolation processing is performed by selectively replacing a large value of two points having a pixel value of 1 or more with a pixel value of 0 at a location. However, if there are at least a certain number of points having a pixel value of 0 (for example, 32 points) between one or more two points, it is determined that the image is discontinuous, and interpolation processing is performed for the point having the pixel value of 0. Not performed.

【0044】以上のような処理により3次元の血管像、
3次元の腫瘍の輪郭像がBモード画像用3次元データメ
モリ39とCFM画像用3次元データメモリ40に格納
されると、3次元表示のための画像、すなわち視点の異
なる複数枚の投影画像の作成処理が開始される。ここで
は、Bモード画像用3次元データメモリ39とCFM画
像用3次元データメモリ40の各3次元メモリ空間内で
同じように視点を移動しながら同じ各位置で各3次元分
布情報を投影処理した複数枚の投影画像を作成し、各投
影画像を所定の時間間隔で視点の移動経路に沿った順番
で表示することで、人間の運動視差を利用してあたかも
血管および腫瘍の立体模型が回転する如く立体的に表示
する。このときの表示法は以下に記載するように複数の
表示法があり、適宜選択して使用する。 [表示法1]
By the above processing, a three-dimensional blood vessel image can be obtained.
When the three-dimensional tumor contour image is stored in the B-mode image three-dimensional data memory 39 and the CFM image three-dimensional data memory 40, an image for three-dimensional display, that is, a plurality of projection images having different viewpoints is obtained. The creation process is started. In this case, the three-dimensional distribution information is projected at the same position while moving the viewpoint in the same three-dimensional memory space of the three-dimensional data memory 39 for the B-mode image and the three-dimensional data memory 40 for the CFM image. By creating a plurality of projection images and displaying each projection image at predetermined time intervals in the order along the movement path of the viewpoint, it is as if a three-dimensional model of a blood vessel and tumor rotates using human motion parallax It is displayed three-dimensionally. There are a plurality of display methods at this time, as described below, which are appropriately selected and used. [Display method 1]

【0045】表示法1は、腫瘍の輪郭像の表面像と血管
の表面像とを視点をy軸の回りで回転させながら表示す
る本実施例の基本となる表示法である。このときの色相
および輝度処理は、腫瘍の輪郭を灰色で、向かってくる
血管を赤色で、遠ざかる血管を青色で表現し、また視点
からの距離に応じて明るさを変えるように行う。これに
よってオペレータはその運動視差によってあたかも血管
および腫瘍の立体模型が回転する如く立体的に知覚する
ことができる。図6はこの表示法による表示順序を示す
図であり、(a)は視点の位置がy軸の回りの初期位
置、つまり角度0°のときの画像で、(b)は45°、
(c)は90°のときの画像である。実際には、腫瘍お
よび周囲の血管が3次元空間を連続回転するかのよう
に、5°間隔で投影画像を作成し、これらを連続的に表
示することが望ましい。 [表示法2]
The display method 1 is a basic display method of the present embodiment for displaying the surface image of the contour image of the tumor and the surface image of the blood vessel while rotating the viewpoint around the y-axis. The hue and luminance processing at this time are performed such that the outline of the tumor is expressed in gray, the blood vessels coming toward it in red, and the blood vessels moving away in blue, and the brightness is changed according to the distance from the viewpoint. This allows the operator to perceive three-dimensionally as if the three-dimensional model of the blood vessel and the tumor were rotated by the motion parallax. 6A and 6B are diagrams showing a display order according to this display method. FIG. 6A is an image when the position of the viewpoint is an initial position around the y-axis, that is, at an angle of 0 °, and FIG.
(C) is an image at 90 °. In practice, it is desirable to create projection images at 5 ° intervals and display them continuously, as if the tumor and surrounding blood vessels rotate continuously in a three-dimensional space. [Display method 2]

【0046】表示法2は、表示法1において腫瘍像の一
部をカットして投影像を作成し、それを表示する表示法
である。例えば図6(a)の腫瘍の一部をカットした画
像は、図7(a)のようになる。 [表示法3]表示法3は、表示法1の腫瘍像を半透明で
表示する表示法である。この画像は図7(b)のように
なる。 [表示法4]
The display method 2 is a display method in which a part of a tumor image is cut in the display method 1 to create a projection image and the projection image is displayed. For example, an image of FIG. 6A in which a part of the tumor is cut is as shown in FIG. 7A. [Display method 3] Display method 3 is a display method in which the tumor image of display method 1 is displayed translucently. This image is as shown in FIG. [Display method 4]

【0047】表示法4は、視点を腫瘍の内側に設定した
状態での、表示法1(腫瘍表面表示、血管表面表示)ま
たは表示法3(腫瘍半透明表示、血管表面表示)の表示
法である。視点を腫瘍の内側に設定した状態で表示法1
を適用したときの画像は図7(c)のようになり、表示
法3を適用したときの画像は図7(d)のようになる。 [表示法5]表示法2で、腫瘍像の一部をカットした部
分に、Bモード画像をそのまま断面変換しただけで挿入
する。この画像は図7(e)のようになる。次に上述の
各表示法を実施するための処理手順について説明する。
Display method 4 is a display method of display method 1 (tumor surface display, blood vessel surface display) or display method 3 (tumor translucent display, blood vessel surface display) with the viewpoint set inside the tumor. is there. Display method 1 with the viewpoint set inside the tumor
7C is as shown in FIG. 7C, and the image when the display method 3 is applied is as shown in FIG. 7D. [Display Method 5] In Display Method 2, a B-mode image is inserted into a portion where a part of a tumor image is cut by simply converting the cross section. This image is as shown in FIG. Next, a processing procedure for implementing each of the above display methods will be described.

【0048】まず、表示法1の処理手順について説明す
る。Bモード画像用3次元データメモリ39とCFM画
像用3次元データメモリ40には、3次元メモリ空間に
展開された血管像、腫瘍の輪郭像の3次元分布情報が保
持されている。いずれの処理手順も同じであるのでここ
では血管像の処理手順のみ説明し、腫瘍の輪郭像の処理
手順は省略する。血管の3次元分布情報に対して視点を
移動しながら各位置で回転表示のための投影画像を作成
する。y軸の回りに角度θだけ視点を回転させた時の回
転後の座標(X,Y,Z)に対する回転前の座標(x,
y,z)は次式(9)で求められる。
First, the processing procedure of the display method 1 will be described. The B-mode image three-dimensional data memory 39 and the CFM image three-dimensional data memory 40 hold three-dimensional distribution information of a blood vessel image and a tumor contour image developed in a three-dimensional memory space. Since all the processing procedures are the same, only the processing procedure of the blood vessel image will be described here, and the processing procedure of the contour image of the tumor will be omitted. A projection image for rotational display is created at each position while moving the viewpoint with respect to the three-dimensional distribution information of blood vessels. The coordinate (x, Y, Z) before rotation with respect to the coordinate (X, Y, Z) after rotation when the viewpoint is rotated by an angle θ around the y axis.
y, z) is obtained by the following equation (9).

【0049】[0049]

【数5】 (Equation 5)

【0050】次に、回転後のXYZ座標系のZ軸方向か
ら見た投影画像を求める。なおここでは投影処理は、す
べての投影ラインがZ軸に平行な平行投影で行われる。
中央処理装置33は、Z軸の大きい方から小さい方に順
次画素を探索してゆき、2以上の画素値を持つ画素が出
現したときに、当該探索を中止し、この画素のZ座標お
よび当該画素値をCFM画像用投影メモリ421 〜42
m のいずれかに出力し当該(X,Y)の位置に保持させ
る。この処理手順は、一般にzバッファアルゴリズムと
呼ばれている処理方法で実現される。なお、ここでは便
宜上、投影画像と呼んでいるが、正確には陰面消去され
た表面表示像である。投影ラインに沿って3次元メモリ
空間の最後の画素まで探索して、すべての画素の画素値
が0の場合は、CFM画像用投影メモリ421 〜42m
の同じメモリの当該(X,Y)の位置に0を入れる。ま
た、途中に画素値1の画素があった場合は、同じメモリ
の当該(X,Y)の位置に1を入れる。このような投影
処理を、視点を回転しながらその各位置で繰り返す。こ
れら複数の投影画像は視点の移動順に応じてそれぞれC
FM画像用投影メモリ421 〜42m に順次格納され
る。例えば、間欠回転角度θを5.625°毎に変化さ
せた場合、360°の表示を行うためには64回上記の
投影処理を繰り返し、得られた64枚の投影画像をそれ
ぞれCFM画像用投影メモリ421 〜42m に保持させ
る。
Next, a projected image viewed from the Z-axis direction of the rotated XYZ coordinate system is obtained. Here, the projection processing is performed by parallel projection in which all projection lines are parallel to the Z axis.
The central processing unit 33 sequentially searches for a pixel from a larger Z-axis to a smaller one. When a pixel having a pixel value of 2 or more appears, the search is stopped, and the Z coordinate of the pixel and the The pixel values are stored in the CFM image projection memories 421 to 42.
m and is held at the (X, Y) position. This processing procedure is realized by a processing method generally called a z-buffer algorithm. In addition, here, for convenience, it is called a projection image, but to be precise, it is a surface display image from which hidden surfaces have been eliminated. A search is performed along the projection line to the last pixel in the three-dimensional memory space, and when the pixel values of all the pixels are 0, the CFM image projection memories 421 to 42m
0 is placed at the corresponding (X, Y) position in the same memory. If there is a pixel having a pixel value of 1 in the middle, 1 is inserted at the corresponding (X, Y) position in the same memory. Such projection processing is repeated at each position while rotating the viewpoint. These plurality of projection images are respectively C
These are sequentially stored in the FM image projection memories 421 to 42m. For example, when the intermittent rotation angle θ is changed every 5.625 °, the above-described projection processing is repeated 64 times to display 360 °, and the obtained 64 projected images are respectively projected to the CFM image. The data is held in the memories 421 to 42m.

【0051】なお、腫瘍の輪郭像の投影画像も、血管像
の処理手順と同じように作成され、視点の移動順に応じ
てそれぞれBモード画像用投影メモリ411 〜41m に
順次格納される。
The projection image of the contour image of the tumor is also created in the same manner as the processing procedure of the blood vessel image, and is sequentially stored in the B-mode image projection memories 411 to 41m in accordance with the moving order of the viewpoint.

【0052】表示に際しては、切替器43と44とが同
期して切替え操作することで、Bモード画像用投影メモ
リ411 〜41m の投影画像と、これと同じ視点で作成
したCFM画像用投影メモリ421 〜42m の投影画像
とがそれぞれ1枚ずつ順次カラー処理回路45に供給す
る。
At the time of display, the switching devices 43 and 44 perform switching operation in synchronization with each other, so that the projection images of the B-mode image projection memories 411 to 41m and the CFM image projection memory 421 created from the same viewpoint. .About.42 m are sequentially supplied to the color processing circuit 45 one by one.

【0053】カラー処理回路45では、Bモード画像用
投影メモリ411 〜41m からの腫瘍の輪郭の投影画像
(各画素の画素値(ZB ,DB ))と、CFM画像用投
影メモリ421 〜42m からの血管の投影画像(各画素
の画素値(ZC ,CC ))とを1枚の画像に合成する。
なお、ZB とZC は、投影処理の出現画素のZ座標であ
り、DB とCC は2値化または4値化したときの値であ
る。カラー処理回路45は表示法1のとき次のような処
理を行う。 DB =2の時、合成画像の当該画素に白色情報を与え、
かつZ座標のZB に応じた輝度を与える。 DB ≠2、かつ、CC =0の時、合成画像の当該画素に
グレー情報を与える。
[0053] In the color processing circuit 45, B-mode image projection memory 411 tumors of the contour of the projected image from ~41M (pixel values of pixels (Z B, D B)) and the projection memory 421 ~42M for CFM image Is combined with a projection image of a blood vessel (pixel values (Z C , C C ) of each pixel) from a single image.
Incidentally, Z B and Z C is the Z-coordinate of the appearance pixel projection processing, D B and C C is the value when binarization or four values. The color processing circuit 45 performs the following processing in the case of the display method 1. When D B = 2, white information is given to the pixel of the composite image,
And providing the luminance in accordance with the Z B Z coordinates. When DB B2 and C C = 0, gray information is given to the pixel of the composite image.

【0054】DB ≠2、かつ、CC =1の時、合成画像
の当該画素に黒色情報を与える。 DB ≠2、かつ、CC =2の時、合成画像の当該画素に
赤色情報を与え、かつZC に応じた輝度を与える。 DB ≠2、かつ、CC =3の時、合成画像の当該画素に
青色情報を与え、かつZC に応じた輝度を与える。 こうして合成された複数の画像は、順次ディジタルアナ
ログ変換器28を介してカラーモニタ29に送られ連続
的に表示される。
When D B ≠ 2 and C C = 1, black information is given to the pixel of the composite image. When D B ≠ 2 and C C = 2, red information is given to the pixel of the composite image, and luminance according to Z C is given. When D B ≠ 2 and C C = 3, blue information is given to the pixel of the composite image and luminance according to Z C is given. The plurality of images synthesized in this way are sequentially sent to a color monitor 29 via a digital-to-analog converter 28 and are continuously displayed.

【0055】[表示法2]を行うためには、カットする
腫瘍の断面を最初に決定する必要がある。その決定方法
としては、マニュアルとオートを選択して用いる。マニ
ュアルでは、[表示法1]の回転画像を見ながら、まず
最適な断面のある投影像を選択する。次に、カットする
断面の深さを決めるために、腫瘍像の部分をマウスで指
定する。指定された場所のZB の値をZBTとすると、
「DB =2であっても、ZB >ZBTならば、DB ≠2の
時と同様の処理を行う」という処理を上述の合成処理に
追加することにより、深さがZBTより手前にある腫瘍の
部分をカットすることが出来る。なお、オートのとき、
BTの値を自動的に少しずつ変えていくことで、カット
する断面を連続的に変えて表示することが出来る。[表
示法3]での合成処理は以下の条件のもとで行われる。 DB ≠2、CC =0の時は、合成画像の当該画素にグレ
ー情報を与える。 DB ≠2、CC =1の時は、合成画像の当該画素に黒色
情報を与える。 DB ≠2、CC =2の時は、合成画像の当該画素に赤色
情報を与え、かつZC に応じた輝度を与える。 DB ≠2、CC =3の時は、合成画像の当該画素に青色
情報を与え、かつZC に応じた輝度を与える。 DB ≠2、CC ≦1の時は、合成画像の当該画素に白色
情報を与え、かつZB に応じた輝度を与える。 DB ≠2、CC =2の時は、合成画像の当該画素に赤紫
色情報を与え、かつZC に応じた輝度を与える。 DB ≠2、CC =3の時は、合成画像の当該画素に青紫
色情報を与え、かつでZC に応じた輝度を与える。 この合成処理により、視点から見て腫瘍の陰に隠れた血
管は、紫色系統の色で表現され、その存在を確認でき
る。[表示法4]を行うためには、投影ラインを腫瘍内
部の視点から放射状に配置して、視点から腫瘍外部に向
かって探索を進行すればよい。
In order to perform the [display method 2], it is necessary to first determine the cross section of the tumor to be cut. As a determination method, manual and automatic are selected and used. In the manual, a projected image having an optimum cross section is first selected while looking at the rotated image of [Display method 1]. Next, in order to determine the depth of the section to be cut, the part of the tumor image is designated with a mouse. When the value of Z B of the specified location and Z BT,
By adding a process of “if Z B > Z BT , even if D B = 2, the same process as in the case of D Bに 2” is added to the above-described synthesis process, the depth is greater than Z BT . The part of the tumor in front can be cut. In the case of auto,
By going to change the value of the Z BT automatically little by little, it can be displayed by changing the cross-section cut continuously. The combining process in [Display method 3] is performed under the following conditions. When D B ≠ 2 and C C = 0, gray information is given to the pixel of the composite image. When D B ≠ 2 and C C = 1, black information is given to the pixel of the composite image. When D B ≠ 2 and C C = 2, red information is given to the pixel of the composite image and luminance according to Z C is given. When D B 、 2 and C C = 3, blue information is given to the pixel of the composite image and luminance according to Z C is given. When D B ≠ 2 and C C ≦ 1, white information is given to the pixel of the composite image and luminance according to Z B is given. When D B ≠ 2 and C C = 2, red-violet information is given to the pixel of the composite image and luminance according to Z C is given. When D B 、 2 and C C = 3, blue-violet information is given to the pixel of the composite image, and a luminance according to Z C is given. By this synthesizing process, the blood vessels hidden behind the tumor from the viewpoint are expressed in purple-based colors, and the existence thereof can be confirmed. In order to perform the [display method 4], the projection lines may be radially arranged from the viewpoint inside the tumor, and the search may be performed from the viewpoint toward the outside of the tumor.

【0056】[表示法5]を行うためには、Bモード画
像の2値化を行わないで、もとのBモード画像の階調の
ままのデータをBモード画像用3次元データメモリ39
に格納し、カットする範囲の部分に相当する断面の階調
データをBモード画像用3次元データメモリ39から読
出して血管の投影画像に合成する。
In order to perform the [display method 5], the B-mode image is not binarized, and the data with the gradation of the original B-mode image is stored in the three-dimensional data memory 39 for the B-mode image.
Is read out from the B-mode image three-dimensional data memory 39 and combined with the projected image of the blood vessel.

【0057】このように本実施例によれば、Bモード画
像とCFM画像を組み合わせて3次元表示を行うことが
できる。この結果、次のような臨床的な有用性を達成す
ることができる。 1)例えば腫瘍は肝動脈、肝静脈、門脈のいずれかから
栄養を受けているのかといった腫瘍に栄養を提供してい
る栄養血管を特定することができる。 2)組織や血管の3次元構造を、客観的な情報として伝
達および記録することができるので、カンファレンスや
患者への説明に用いることができる。 3)組織や血管の3次元構造を直接表示でき、診断時間
の短縮化や診断精度の向上を図ることができる。 4)腫瘍の像にその周辺の血管の像を組み合わせて3次
元表示することができるので、摘出範囲の決定等の手術
計画を優位に立案できる。 5)腫瘍の像とその栄養血管の像を組み合わせて3次元
表示することができるので、エタノール塞栓術等の治療
後の治療効果の良否判定が容易になる。 6)腫瘍の像とその栄養血管の像を組み合わせて3次元
表示することができるので、腫瘍が良性であるかまたは
悪性であるかという判定が容易になる。 本発明は上述した実施例に限定されることなく、種々変
形して実施可能である。
As described above, according to this embodiment, three-dimensional display can be performed by combining the B-mode image and the CFM image. As a result, the following clinical utility can be achieved. 1) For example, it is possible to specify a vegetative blood vessel providing nutrition to the tumor, for example, whether the tumor receives nutrition from the hepatic artery, hepatic vein, or portal vein. 2) Since the three-dimensional structure of tissues and blood vessels can be transmitted and recorded as objective information, it can be used for conferences and explanations to patients. 3) The three-dimensional structure of a tissue or a blood vessel can be directly displayed, so that a diagnosis time can be reduced and a diagnosis accuracy can be improved. 4) Since an image of a tumor can be combined with an image of a blood vessel around the tumor and displayed three-dimensionally, an operation plan such as determination of an extraction range can be made superior. 5) Since the image of the tumor and the image of the vegetative blood vessel can be combined and displayed three-dimensionally, it is easy to determine the quality of the therapeutic effect after treatment such as ethanol embolization. 6) Since the image of the tumor and the image of the vegetative blood vessel can be combined and displayed three-dimensionally, it is easy to determine whether the tumor is benign or malignant. The present invention is not limited to the embodiments described above, but can be implemented with various modifications.

【0058】[0058]

【発明の効果】本発明は、超音波を送受信する超音波プ
ローブを移動しながら被検体内の所望の3次元空間内を
超音波で走査する手段と、上記プローブの位置および姿
勢を検出する手段と、上記プローブからの受信信号に基
づいて上記3次元空間内の組織情報と上記3次元空間内
の移動体の移動情報を得る手段と、上記組織情報から関
心部分の輪郭像を抽出する手段と、上記移動情報から血
流像を抽出する手段と、上記検出手段からの上記プロー
ブの位置および姿勢情報に基づいて、上記輪郭像と上記
血流像を3次元空間に分布して3次元分布情報を得る手
段と、上記3次元空間に対して視点を変えながらその各
位置で上記3次元分布情報を投影処理して複数の2次元
画像を生成する手段と、上記2次元画像を所定の順番で
連続的に表示する手段とを具備する。
The present invention provides a means for scanning an ultrasonic probe for transmitting and receiving ultrasonic waves in a desired three-dimensional space in a subject while moving the ultrasonic probe, and a means for detecting the position and orientation of the probe. Means for obtaining tissue information in the three-dimensional space and movement information of a moving object in the three-dimensional space based on a signal received from the probe; and means for extracting a contour image of a portion of interest from the tissue information. Means for extracting a blood flow image from the movement information; and distributing the contour image and the blood flow image in a three-dimensional space based on the position and orientation information of the probe from the detecting means. Means for projecting the three-dimensional distribution information at each position while changing the viewpoint with respect to the three-dimensional space to generate a plurality of two-dimensional images. Display continuously ; And a stage.

【0059】したがって、本発明によれば、組織情報か
ら抽出した関心部分の輪郭像と血流像の各像を3次元空
間に分布して3次元分布情報を作成し、視点を変えなが
らその各位置で3次元分布情報を投影処理して複数の2
次元画像を生成し、これらの2次元画像を所定の順番で
連続的に表示することで、人間の運動視差と呼ばれる視
覚特性によって関心部分の立体構造と血流像の立体構造
とを同時に観察することができ、例えば腫瘍とその栄養
血管の関係を把握することができる。
Therefore, according to the present invention, three-dimensional distribution information is created by distributing the contour image of the part of interest and the blood flow image extracted from the tissue information in a three-dimensional space, and changing each viewpoint while changing the viewpoint. Projection processing of three-dimensional distribution information at a position
By generating two-dimensional images and displaying these two-dimensional images continuously in a predetermined order, the three-dimensional structure of the part of interest and the three-dimensional structure of the blood flow image are simultaneously observed by a visual characteristic called human motion parallax. For example, the relationship between a tumor and its vein can be grasped.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による超音波診断装置の一実施例の構成
を示すブロック図。
FIG. 1 is a block diagram showing a configuration of an embodiment of an ultrasonic diagnostic apparatus according to the present invention.

【図2】図1に示した位置検出装置の構造を示す外観
図。
FIG. 2 is an external view showing the structure of the position detection device shown in FIG.

【図3】図1に示した3次元ディジタルスキャンコンバ
ータの構成を示すブロック図。
FIG. 3 is a block diagram showing a configuration of the three-dimensional digital scan converter shown in FIG.

【図4】本実施例による3次元表示の処理手順を示す
図。
FIG. 4 is an exemplary view showing a processing procedure of three-dimensional display according to the embodiment.

【図5】図3に示した中央処理装置による3次元座標変
換処理を説明する図。
FIG. 5 is a view for explaining three-dimensional coordinate conversion processing by the central processing unit shown in FIG. 3;

【図6】本実施例による回転表示を示す図。FIG. 6 is a view showing a rotation display according to the embodiment.

【図7】本実施例による他の表示法を示す図。FIG. 7 is a view showing another display method according to the embodiment.

【符号の説明】[Explanation of symbols]

1…プローブ、2…位置検出装置、3…送信系、7…受
信系、11…Bモード処理系、15…CFM処理系、2
1…ディジタルスキャンコンバータ、22,26…表示
系、27…3次元ディジタルスキャンコンバータ。
DESCRIPTION OF SYMBOLS 1 ... Probe, 2 ... Position detection device, 3 ... Transmission system, 7 ... Reception system, 11 ... B-mode processing system, 15 ... CFM processing system, 2
1 ... Digital scan converter, 22, 26 ... Display system, 27 ... Three-dimensional digital scan converter.

フロントページの続き (56)参考文献 特開 平2−124148(JP,A) 特開 昭62−150385(JP,A) 特開 平4−158853(JP,A) 特開 昭54−143041(JP,A) 特開 平4−174655(JP,A) 特開 平2−36851(JP,A) 特開 昭56−70757(JP,A) (58)調査した分野(Int.Cl.7,DB名) A61B 8/00 - 8/15 Continuation of the front page (56) References JP-A-2-124148 (JP, A) JP-A-62-150385 (JP, A) JP-A-4-1588853 (JP, A) JP-A-54-143041 (JP, A) JP-A-4-174655 (JP, A) JP-A-2-36851 (JP, A) JP-A-56-70757 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB Name) A61B 8/00-8/15

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】被検体に対して超音波を送受波するプロー
ブと、 前記プローブからの受信信号に基づいて前記3次元空間
内の組織情報と前記3次元空間内の移動体の移動情報を
得る手段と、 前記組織情報から関心部分の輪郭像を抽出する手段と、 前記移動情報から血流像を抽出する手段と、 前記輪郭像と前記血流像の3次元分布情報を記憶する3
次元データメモリと、 前記3次元空間に対して視点を変えながらその各位置で
前記3次元分布情報を投影処理して複数の2次元画像を
生成する生成手段と、 前記2次元画像を所定の順番で連続的に表示する表示手
段とを具備することを特徴とした超音波診断装置。
A probe for transmitting and receiving an ultrasonic wave to and from a subject; obtaining tissue information in the three-dimensional space and movement information of a moving body in the three-dimensional space based on a reception signal from the probe. Means for extracting a contour image of a portion of interest from the tissue information; means for extracting a blood flow image from the movement information; and storing three-dimensional distribution information of the contour image and the blood flow image.
A two-dimensional data memory; generating means for projecting the three-dimensional distribution information at each position while changing the viewpoint with respect to the three-dimensional space to generate a plurality of two-dimensional images; An ultrasonic diagnostic apparatus, comprising: display means for continuously displaying the ultrasonic diagnostic data.
【請求項2】 前記生成手段は、前記投影処理により前
記3次元分布情報の中から前記視点から見て最初に出現
する前記輪郭像上のデータまたは前記血流像上のデータ
を抽出し前記2次元画像を生成することを特徴とした請
求項1記載の超音波診断装置。
2. The generating means extracts data on the contour image or data on the blood flow image appearing first from the viewpoint from the three-dimensional distribution information by the projection processing, and The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus generates a two-dimensional image.
【請求項3】 前記生成手段は、前記2次元画像から前
記輪郭像の一部を除去する手段をさらに備えることを特
徴とした請求項1記載の超音波診断装置。
3. An ultrasonic diagnostic apparatus according to claim 1, wherein said generating means further comprises means for removing a part of said contour image from said two-dimensional image.
【請求項4】 前記表示手段は、前記視点からの距離に
応じて色調と輝度の少なくとも一方を変化させながら前
記2次元画像を表示することを特徴とした請求項1記載
の超音波診断装置。
4. The ultrasonic diagnostic apparatus according to claim 1, wherein the display unit displays the two-dimensional image while changing at least one of a color tone and a luminance according to a distance from the viewpoint.
【請求項5】 前記生成手段は、前記輪郭像の内部に前
記視点を位置して前記2次元画像を生成することを特徴
とした請求項1記載の超音波診断装置。
5. The ultrasonic diagnostic apparatus according to claim 1, wherein said generating means generates said two-dimensional image by positioning said viewpoint inside said contour image.
【請求項6】 前記関心部分の輪郭像を抽出する手段
は、操作者の指示に従って前記関心部分の輪郭をトレー
スする手段と、前記トレースされた輪郭に基づいて前記
輪郭像を生成する手段とを有することを特徴とした請求
項1記載の超音波診断装置。
6. The means for extracting a contour image of a part of interest includes means for tracing the contour of the part of interest in accordance with an instruction of an operator, and means for generating the contour image based on the traced contour. The ultrasonic diagnostic apparatus according to claim 1, further comprising:
JP04146693A 1993-03-02 1993-03-02 Ultrasound diagnostic equipment Expired - Lifetime JP3350125B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04146693A JP3350125B2 (en) 1993-03-02 1993-03-02 Ultrasound diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04146693A JP3350125B2 (en) 1993-03-02 1993-03-02 Ultrasound diagnostic equipment

Publications (2)

Publication Number Publication Date
JPH06254097A JPH06254097A (en) 1994-09-13
JP3350125B2 true JP3350125B2 (en) 2002-11-25

Family

ID=12609154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04146693A Expired - Lifetime JP3350125B2 (en) 1993-03-02 1993-03-02 Ultrasound diagnostic equipment

Country Status (1)

Country Link
JP (1) JP3350125B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3406106B2 (en) * 1995-02-06 2003-05-12 ジーイー横河メディカルシステム株式会社 Ultrasonic image display method and ultrasonic diagnostic apparatus
US20040153126A1 (en) * 2001-06-07 2004-08-05 Takashi Okai Method and apparatus for treating uterine myoma
WO2006095289A1 (en) * 2005-03-11 2006-09-14 Koninklijke Philips Electronics, N.V. System and method for volume rendering three-dimensional ultrasound perfusion images
KR101116925B1 (en) 2009-04-27 2012-05-30 삼성메디슨 주식회사 Ultrasound system and method for aligning ultrasound image

Also Published As

Publication number Publication date
JPH06254097A (en) 1994-09-13

Similar Documents

Publication Publication Date Title
JP4068234B2 (en) Ultrasonic diagnostic equipment
JP3187148B2 (en) Ultrasound diagnostic equipment
US6283918B1 (en) Medical image diagnostic apparatus
JP6180539B2 (en) Automatic placement on a standard surface for real-time fetal heart assessment
US6245017B1 (en) 3D ultrasonic diagnostic apparatus
EP1253855B1 (en) Ultrasonic imager
JP5433240B2 (en) Ultrasonic diagnostic apparatus and image display apparatus
JP2000135217A (en) Three-dimensional ultrasonograph
JP4468432B2 (en) Ultrasonic diagnostic equipment
JP5253893B2 (en) Medical image processing apparatus, ultrasonic diagnostic apparatus, and ultrasonic image acquisition program
JP4280098B2 (en) Ultrasonic diagnostic apparatus and puncture treatment support program
JP2010284218A (en) Ultrasonic diagnosis apparatus and medical image processing device
JPH11327A (en) Ultrasonograph
JP5942217B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
JP2001276066A (en) Three-dimensional image processor
JP3936450B2 (en) Projection image generation apparatus and medical image apparatus
JP2001128982A (en) Ultrasonic image diagnosing apparatus and image processor
JP2009101204A (en) Medical image diagnostic apparatus
JP4350214B2 (en) Ultrasonic diagnostic equipment
Downey et al. Three-dimensional ultrasound: a maturing technology
JP3350125B2 (en) Ultrasound diagnostic equipment
JP5331313B2 (en) Ultrasonic diagnostic equipment
JP2007135994A (en) Ultrasonic diagnosis apparatus and method for generating ultrasonic image data
JP2012245092A (en) Ultrasonic diagnostic apparatus
JP2005143733A (en) Ultrasonic diagnosis apparatus, three-dimensional image data displaying apparatus and three-dimensional image data displaying method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070913

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080913

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080913

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090913

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090913

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100913

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100913

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110913

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120913

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120913

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130913

Year of fee payment: 11

EXPY Cancellation because of completion of term