JP4864532B2 - Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data generation method - Google Patents
Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data generation method Download PDFInfo
- Publication number
- JP4864532B2 JP4864532B2 JP2006133820A JP2006133820A JP4864532B2 JP 4864532 B2 JP4864532 B2 JP 4864532B2 JP 2006133820 A JP2006133820 A JP 2006133820A JP 2006133820 A JP2006133820 A JP 2006133820A JP 4864532 B2 JP4864532 B2 JP 4864532B2
- Authority
- JP
- Japan
- Prior art keywords
- volume data
- vector
- voxel
- ultrasonic
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、超音波診断装置、画像データ表示装置及び3次元画像データ生成方法に係り、特に、被検体から収集した3次元の超音波データをレンダリング処理して3次元画像データを生成する超音波診断装置、画像データ表示装置及び3次元画像データ生成方法に関する。 The present invention relates to an ultrasonic diagnostic apparatus, an image data display apparatus, and a three-dimensional image data generation method, and more particularly, an ultrasonic wave that generates three-dimensional image data by rendering a three-dimensional ultrasonic data collected from a subject. The present invention relates to a diagnostic device, an image data display device, and a three-dimensional image data generation method.
超音波診断装置は、複数の振動素子が配列された超音波プローブを用いて被検体の複数方向に対し超音波送受信を行ない、このとき得られた反射波に基づいて生成した画像データをモニタ上に表示するものである。この装置は、超音波プローブを体表に接触させるだけの簡単な操作で体内の2次元画像や3次元画像をリアルタイムで観測することができるため各種臓器の形態診断や機能診断に広く用いられている。 The ultrasonic diagnostic apparatus performs ultrasonic transmission / reception in a plurality of directions of a subject using an ultrasonic probe in which a plurality of vibration elements are arranged, and displays image data generated based on the obtained reflected wave on a monitor. Is displayed. This device is widely used for morphological diagnosis and functional diagnosis of various organs because it can observe a two-dimensional image and a three-dimensional image in the body in real time with a simple operation by simply bringing an ultrasonic probe into contact with the body surface. Yes.
従来、超音波によって被検体の3次元画像データを得るには、振動素子が1次元配列された超音波プローブをその配列方向に対して垂直な方向に移動あるいは回動させながら前記被検体の3次元領域に対し超音波を送受信し、このとき収集された超音波データ(ボリュームデータ)をレンダリング処理して3次元画像データの生成を行なってきた。 Conventionally, in order to obtain three-dimensional image data of a subject using ultrasonic waves, an ultrasonic probe in which vibration elements are arranged one-dimensionally is moved or rotated in a direction perpendicular to the arrangement direction of the subject. Ultrasound has been transmitted to and received from a three-dimensional area, and three-dimensional image data has been generated by rendering the ultrasonic data (volume data) collected at this time.
又、近年では、振動素子が2次元配列された超音波プローブ(2次元アレイ超音波プローブ)が実用化されている。この超音波プローブを用いることにより3次元領域に対する超音波送受信方向の設定は全て電子的な制御で行なうことができるため、ボリュームデータの収集に要する時間が大幅に短縮され、3次元画像データのリアルタイム表示も可能になりつつある。 In recent years, an ultrasonic probe (two-dimensional array ultrasonic probe) in which vibration elements are two-dimensionally arranged has been put into practical use. By using this ultrasonic probe, the setting of the ultrasonic transmission / reception direction with respect to the three-dimensional region can be performed by electronic control. Therefore, the time required for collecting volume data is greatly reduced, and the real-time of the three-dimensional image data is reduced. Display is also becoming possible.
ところで、被検体から収集されたボリュームデータをレンダリング処理して3次元画像データを生成する場合、先ず、3次元領域に対する超音波送受信によって得られた受信信号の振幅情報に対して空間的な補間処理を行ない小立方体の集合で構成されたボリュームデータを生成する。次いで、このボリュームデータにおける所定ボクセル及びその周囲ボクセルにおける信号強度(以下では、ボクセル値と呼ぶ。)から算出した勾配値に基づいて当該ボクセルの法線単位ベクトル(以下、法線ベクトルと呼ぶ。)を設定し、更に、画像観察者の視点と当該ボクセルの中心位置を結ぶ線上に視線単位ベクトル(以下、視線ベクトルと呼ぶ。)を設定する。そして、法線ベクトルと視線ベクトルの内積値に基づいて設定されたシェーディング値(臓器等を立体的に表現するための陰影値)と、画像観察者の視点から当該ボクセルまでの距離に基づいて設定された不透明度を用いてボリュームデータを処理することにより臓器表面等の立体的表示が行なわれている(例えば、特許文献1参照。)。
超音波診断では、超音波の送受信方向が臓器等の境界面に対し垂直となった場合、その信号振幅が特異的に大きな値を示す超音波反射波(以下では、高エコーと呼ぶ。)が受信されることが一般に知られている。そして、この高エコーの影響を含んだボリュームデータの各ボクセルに対して法線ベクトルを算出し、更に、この法線ベクトルと視線ベクトルとの内積値に基づいてレンダリング処理を行なう場合、ボクセル値の勾配に基づいて得られた法線ベクトルの方向と実際の臓器境界面に対する法線方向との間に大きな誤差が発生し、ボリュームデータに対して正確なシェーディングを行なうことが困難になるという問題点が発生する。 In ultrasonic diagnosis, when the transmission / reception direction of ultrasonic waves is perpendicular to the boundary surface of an organ or the like, an ultrasonic reflected wave (hereinafter referred to as high echo) whose signal amplitude has a specifically large value. It is generally known to be received. Then, a normal vector is calculated for each voxel of the volume data including the influence of this high echo, and when the rendering process is performed based on the inner product value of the normal vector and the line-of-sight vector, the voxel value A large error occurs between the direction of the normal vector obtained based on the gradient and the normal direction to the actual organ boundary surface, making it difficult to perform accurate shading on volume data Will occur.
このような問題点を改善する方法として、臓器境界面の所定部位に対し異なる複数の方向から超音波送受信を行ない、このとき得られた受信信号を加算合成する、所謂、空間コンパウンド法が考えられる。しかしながら、この方法では所定部位に対して複数回の超音波送受信を行なう必要があるため、通常の走査密度でボリュームデータを収集する場合にはその収集に多くの時間を要し、3次元画像データを表示する際のフレーム周波数(単位時間に表示する画像データ枚数)が低下する欠点を有している。 As a method for solving such a problem, a so-called spatial compound method is conceivable in which ultrasonic transmission / reception is performed from a plurality of different directions with respect to a predetermined part of the organ boundary surface, and the received signals obtained at this time are added and synthesized. . However, in this method, since it is necessary to perform ultrasonic transmission / reception a plurality of times with respect to a predetermined part, when collecting volume data at a normal scanning density, it takes a lot of time to collect the three-dimensional image data. Has a drawback that the frame frequency (the number of image data to be displayed per unit time) is reduced.
又、通常のフレーム周波数を維持するために走査密度を低くして超音波送受信を行なう場合には3次元画像データの画質は劣化する。即ち、複数方向の超音波送受信による空間コンパウンド法では、3次元画像データの時間分解能(フレーム周波数)と空間分解能(走査密度)の何れをも良好な状態に維持したまま高エコーに関わる上述の問題点を改善することはできない。 In addition, when ultrasonic transmission / reception is performed at a low scanning density in order to maintain a normal frame frequency, the image quality of the three-dimensional image data deteriorates. That is, in the spatial compound method using ultrasonic wave transmission / reception in multiple directions, the above-mentioned problems relating to high echoes while maintaining both temporal resolution (frame frequency) and spatial resolution (scanning density) of 3D image data in a good state. The point cannot be improved.
一方、並列同時受信等の技術を適用して受信時のみの空間コンパウンド法を行なう方法では、時間分解能や空間分解能の劣化は生じないが送信方向に依存する高エコーの影響を効果的に排除することは困難であり、又、収集されたボリュームデータの全ての領域に対し一様なフィルタ処理を行なって高エコーの影響を平滑化する方法では、受信時のみの空間コンパウンド法と同様に時間分解能の劣化は発生しないが空間分解能やコントラスト分解能の劣化を招くという問題点を有している。 On the other hand, in the method of performing the spatial compound method only during reception by applying a technique such as parallel simultaneous reception, the temporal resolution and spatial resolution are not degraded, but the influence of high echo depending on the transmission direction is effectively eliminated. In the method of smoothing the influence of high echo by applying uniform filtering to all areas of the collected volume data, the time resolution is the same as the spatial compound method only at the time of reception. However, there is a problem that spatial resolution and contrast resolution are deteriorated.
本発明は、上述の問題点に鑑みてなされたものであり、その目的は、被検体から収集されたボリュームデータに基づいて3次元画像データを生成する際、臓器境界面等に対する超音波ビームの入射角度に依存する高エコーの影響を時間分解能や空間分解能を劣化させることなく低減することにより良好な3次元画像データを得ることが可能な超音波診断装置、画像データ表示装置及び3次元画像データ生成方法を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to generate an ultrasonic beam on an organ boundary surface or the like when generating three-dimensional image data based on volume data collected from a subject. Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data capable of obtaining good three-dimensional image data by reducing influence of high echo depending on incident angle without degrading time resolution or spatial resolution It is to provide a generation method.
上記課題を解決するために、請求項1に係る本発明の超音波診断装置は、被検体の3次元領域に対して超音波を送受信するための振動素子を有した超音波プローブと、前記振動素子を駆動して超音波の送信を行なう送信手段と、前記超音波の送受信によって得られた前記被検体からの反射信号を受信する受信手段と、前記受信手段によって得られた3次元データに基づいてボリュームデータを生成するボリュームデータ生成手段と、前記ボリュームデータのボクセルにおける法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて前記法線ベクトルを補正するベクトル演算手段と、補正された法線ベクトルに基づき、前記ボリュームデータ生成手段が生成したボリュームデータをレンダリング処理して3次元画像データを生成するレンダリング演算手段とを備えたことを特徴としている。 In order to solve the above problems, an ultrasonic diagnostic apparatus according to a first aspect of the present invention includes an ultrasonic probe having a vibration element for transmitting and receiving ultrasonic waves to and from a three-dimensional region of a subject, and the vibration Based on transmission means for transmitting an ultrasonic wave by driving an element, reception means for receiving a reflected signal from the subject obtained by transmission / reception of the ultrasonic wave, and three-dimensional data obtained by the reception means Volume data generating means for generating volume data, calculating a normal vector and a scanning vector in a voxel of the volume data, and correcting the normal vector based on angle information between the normal vector and the scanning vector. Based on the vector calculation means and the corrected normal vector, the volume data generated by the volume data generation means is rendered. It is characterized in that a rendering computation means for generating a 3-dimensional image data and management.
又、請求項2に係る本発明の超音波診断装置は、被検体の3次元領域に対して超音波を送受信するための振動素子を有した超音波プローブと、前記振動素子を駆動して超音波の送信を行なう送信手段と、前記超音波の送受信によって得られた前記被検体からの反射信号を受信する受信手段と、前記受信手段によって得られた3次元データに基づいてボリュームデータを生成するボリュームデータ生成手段と、前記ボリュームデータのボクセルに対し法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定するベクトル演算手段と、この特定結果に基づいて前記ボリュームデータを補正するボリュームデータ補正手段と、このボリュームデータ補正手段が補正したボリュームデータのボクセルに対し前記ベクトル演算手段が新たに算出した法線ベクトルに基づいて、前記ボリュームデータ生成手段が生成した前記ボリュームデータをレンダリング処理し3次元画像データを生成するレンダリング演算手段とを備えたことを特徴としている。 According to a second aspect of the present invention, there is provided an ultrasonic diagnostic apparatus according to the present invention, comprising: an ultrasonic probe having a vibration element for transmitting and receiving ultrasonic waves to and from a three-dimensional region of a subject; Volume data is generated based on transmission means for transmitting sound waves, reception means for receiving reflected signals from the subject obtained by transmitting and receiving the ultrasonic waves, and three-dimensional data obtained by the reception means The volume data generation means calculates a normal vector and a scan vector for the voxel of the volume data, and influences the high echo depending on the ultrasonic incident angle based on angle information between the normal vector and the scan vector. Vector calculation means for specifying the received voxel, volume data correction means for correcting the volume data based on the specification result, and the voxel Based on the normal vector newly calculated by the vector calculation means for the volume data voxel corrected by the volume data correction means, the volume data generated by the volume data generation means is rendered to generate three-dimensional image data. And a rendering operation means.
更に、請求項9に係る本発明の画像データ表示装置は、被検体から得られた3次元データに基づいてボリュームデータを生成するボリュームデータ生成手段と、前記ボリュームデータのボクセルにおける法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定するベクトル演算手段と、この特定結果に基づいて前記ボリュームデータを補正するボリュームデータ補正手段と、このボリュームデータ補正手段が補正したボリュームデータのボクセルに対し前記ベクトル演算手段が新たに算出した法線ベクトルに基づいて、前記ボリュームデータ生成手段が生成した前記ボリュームデータをレンダリング処理して3次元画像データを生成するレンダリング演算手段と、前記3次元画像データを表示する表示手段とを備えたことを特徴としている。 Furthermore, the image data display device of the present invention according to claim 9 includes volume data generation means for generating volume data based on three-dimensional data obtained from a subject, normal vectors and scans in voxels of the volume data. Vector calculation means for calculating a vector and specifying a voxel affected by a high echo depending on an ultrasonic incident angle based on angle information between the normal vector and the scanning vector, and based on the specification result, Volume data correction means for correcting the volume data, and the volume data generation means generated based on the normal vector newly calculated by the vector calculation means for the voxels of the volume data corrected by the volume data correction means 3D image data by rendering volume data And rendering arithmetic means to be generated, is characterized by comprising a display means for displaying the 3-dimensional image data.
一方、請求項11に係る本発明の3次元画像データ生成方法は、ボリュームデータ生成手段が、被検体に対する超音波の送受信によって得られた3次元データに基づいてボリュームデータを生成するステップと、ベクトル演算手段が、前記ボリュームデータのボクセルにおける法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定するステップと、ボリュームデータ補正手段が、前記ベクトル演算手段の特定結果に基づいて所定領域の前記ボリュームデータを補正するステップと、前記ベクトル演算手段が、補正された前記ボリュームデータのボクセルに対して法線ベクトルを新たに算出するステップと、レンダリング演算手段が、前記ボリュームデータ生成手段が生成したボリュームデータを新たに算出された前記法線ベクトルに基づいてレンダリング処理し3次元画像データを生成するステップとを有することを特徴としている。 On the other hand, in the three-dimensional image data generation method of the present invention according to claim 11, the volume data generation means generates volume data based on the three-dimensional data obtained by transmitting / receiving ultrasonic waves to / from the subject, The calculation means calculates a normal vector and a scanning vector in the voxel of the volume data, and is affected by a high echo depending on an ultrasonic incident angle based on angle information between the normal vector and the scanning vector. Identifying the volume data in a predetermined area based on the identification result of the vector computing means, and the vector computing means for the voxel of the corrected volume data. New normal vector calculation and rendering operations Stage, is characterized by a step of generating a rendering three-dimensional image data based on the normal vector which is newly calculated volume data in which the volume data generating means has generated.
本発明によれば、被検体から収集されたボリュームデータに基づいて3次元画像データを生成する際に、臓器境界面等に対する超音波ビームの入射角度に依存する高エコーの影響を時間分解能や空間分解能を劣化させることなく低減することが可能となり、従って、良好な3次元画像データを得ることができる。 According to the present invention, when generating three-dimensional image data based on volume data collected from a subject, the influence of high echoes depending on the incident angle of an ultrasonic beam with respect to an organ boundary surface or the like can be determined with respect to temporal resolution or spatial. It is possible to reduce the resolution without degrading, and therefore, good three-dimensional image data can be obtained.
以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
以下に述べる本発明の第1の実施例における超音波診断装置では、被検体の3次元領域に対する超音波送受信によって得られたボリュームデータをレンダリング処理して3次元画像データを生成する際、臓器境界面の法線方向を示す法線ベクトルをボリュームデータのボクセル値の勾配に基づいて算出し、更に、前記ボリュームデータの各ボクセルに対する超音波の送受信方向を示す走査ベクトルを算出する。 In the ultrasonic diagnostic apparatus according to the first embodiment of the present invention described below, when the volume data obtained by ultrasonic transmission / reception with respect to the three-dimensional region of the subject is rendered to generate three-dimensional image data, the organ boundary A normal vector indicating the normal direction of the surface is calculated based on the gradient of the voxel value of the volume data, and further, a scan vector indicating the ultrasonic wave transmission / reception direction for each voxel of the volume data is calculated.
次いで、各ボクセルに対して算出した法線ベクトルと走査ベクトルとの内積値に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定し、このボクセルを中心とした所定領域のボクセル値をフィルタリング処理あるいは階調処理によって補正する。そして、補正後のボリュームデータにおけるボクセル値の勾配に基づいて新たに算出した法線ベクトルと画像データ観測者の視線方向を示す視線ベクトルに基づき補正前のボリュームデータをレンダリング処理して3次元画像データを生成する。 Next, based on the inner product value of the normal vector and the scanning vector calculated for each voxel, the voxel affected by the high echo depending on the ultrasonic incident angle is specified, and a predetermined region centered on this voxel is determined. The voxel value is corrected by filtering processing or gradation processing. Then, the volume data before correction is rendered on the basis of the normal vector newly calculated based on the gradient of the voxel value in the volume data after correction and the line-of-sight vector indicating the line-of-sight direction of the image data observer, and three-dimensional image data is rendered. Is generated.
尚、本実施例では、振動素子が2次元配列された所謂2次元アレイ超音波プローブを用いて収集されたボリュームデータをレンダリング処理して3次元画像データを生成する場合について述べるが、これに限定されるものではなく、例えば、複数の振動素子が1次元配列された超音波プローブを機械的に移動あるいは回動して得られたボリュームデータに基づいて3次元画像データを生成してもよい。 In this embodiment, a case where volume data collected using a so-called two-dimensional array ultrasonic probe in which vibration elements are two-dimensionally arranged is rendered to generate three-dimensional image data will be described. However, the present invention is not limited to this. For example, three-dimensional image data may be generated based on volume data obtained by mechanically moving or rotating an ultrasonic probe in which a plurality of vibration elements are arranged one-dimensionally.
又、上述のボリュームデータはBモードデータに基づいて生成される場合について述べるがカラードプラデータ等の他の超音波データであっても構わない。 Further, although the case where the volume data is generated based on the B mode data will be described, other ultrasonic data such as color Doppler data may be used.
(装置の構成)
本実施例における超音波診断装置の構成につき図1乃至図6を用いて説明する。尚、図1は、超音波診断装置の全体構成を示すブロック図であり、図2は、この超音波診断装置が備えた送受信部及び受信信号処理部のブロック図を示す。又、図6は、前記超音波診断装置の3次元画像データ生成部が備えたベクトル演算部の具体的な構成を示すブロック図である。
(Device configuration)
The configuration of the ultrasonic diagnostic apparatus according to this embodiment will be described with reference to FIGS. FIG. 1 is a block diagram showing the overall configuration of the ultrasonic diagnostic apparatus, and FIG. 2 is a block diagram of a transmission / reception unit and a received signal processing unit provided in the ultrasonic diagnostic apparatus. FIG. 6 is a block diagram showing a specific configuration of a vector calculation unit provided in the three-dimensional image data generation unit of the ultrasonic diagnostic apparatus.
図1に示した本実施例の超音波診断装置100は、被検体の3次元領域に対し超音波パルス(送信超音波)を送信し、この送信によって得られた超音波反射波(受信超音波)を電気信号(受信信号)に変換する複数個の振動素子が2次元配列された超音波プローブ3と、前記被検体の所定方向に対して超音波パルスを送信するための駆動信号を前記振動素子に供給し、この振動素子から得られた複数チャンネルの受信信号を整相加算する送受信部2と、整相加算後の受信信号を処理してBモードデータを生成する受信信号処理部4と、超音波の送受信方向単位で得られたBモードデータを用いて3次元画像データを生成する3次元画像データ生成部5を備えている。
The ultrasonic
更に、超音波診断装置100は、上述の3次元画像データ生成部5によって生成された3次元画像データを表示する表示部7と、被検体情報の入力や画像データ生成条件の設定等を行なう入力部8と、上述の各ユニットを統括的に制御するシステム制御部9を備えている。
Further, the ultrasonic
超音波プローブ3は、2次元配列されたN個(N=N1×N2)の図示しない振動素子をその先端部に有し、この先端部を被検体の体表に接触させて超音波の送受信を行なう。又、超音波プローブ3の振動素子の各々は、図示しないNチャンネルの多芯ケーブルを介して送受信部2に接続されている。振動素子は電気音響変換素子であり、送信時には電気パルス(駆動信号)を超音波パルス(送信超音波)に変換し、又、受信時には超音波反射波(受信超音波)を電気的な受信信号に変換する機能を有している。
The
この超音波プローブ3には、セクタ走査対応、リニア走査対応、コンベックス走査対応等があり、操作者は診断部位に応じて任意に選択することが可能である。本実施例では、N個の振動素子が2次元配列されたセクタ走査用の超音波プローブ3を用いる場合について述べるが、リニア走査対応やコンベックス走査対応等の超音波プローブであっても構わない。
The
次に、図2に示す送受信部2は、超音波プローブ3の振動素子に対して駆動信号を供給する送信部21と、振動素子から得られたNチャンネルの受信信号に対して整相加算を行なう受信部22を備えている。
Next, the transmission /
そして、送信部21は、レートパルス発生器211と、送信遅延回路212と、駆動回路213を備え、レートパルス発生器211は、送信超音波の繰り返し周期を決定するレートパルスを生成して送信遅延回路212に供給する。送信遅延回路212は、送信に使用される振動素子と同数のNチャンネルの独立な遅延回路から構成され、送信超音波を所定の深さに集束するための集束用遅延時間と、送信超音波を所定の方向に送信するための偏向用遅延時間を上記レートパルスに与え、このレートパルスを駆動回路213に供給する。駆動回路213は、送信遅延回路212と同数のNチャンネルの独立な駆動回路を有しており、超音波プローブ3に内蔵されたN個の振動素子を駆動し、被検体の体内に送信超音波を放射する。
The
一方、受信部22は、Nチャンネルから構成されるA/D変換器221及び受信遅延回路222と、加算器223を備えており、振動素子から供給されたNチャンネルの受信信号は、A/D変換器221にてデジタル信号に変換され、受信遅延回路222に送られる。
On the other hand, the receiving
受信遅延回路222は、所定の深さからの受信超音波を集束するための集束用遅延時間と、所定方向に対して受信指向性を設定するための偏向用遅延時間をA/D変換器221から出力されるNチャンネルの受信信号の各々に与え、加算器223は、受信遅延回路222からの受信信号を加算する。即ち、受信遅延回路222と加算器223により、所定方向から得られた受信信号は整相加算される。
The
図3は、超音波プローブ3の中心軸をZ軸とした直交座標(X−Y−Z)における超音波の送受信方向(θp、φq)を示したものであり、この場合、振動素子はX軸方向及びY軸方向に配列され、θp及びφqは、X−Z平面及びY−Z平面に投影された送受信方向を示している。
FIG. 3 shows the ultrasonic transmission / reception direction (θp, φq) in orthogonal coordinates (XYZ) with the central axis of the
尚、受信遅延回路222及び加算器223は、その遅延時間の制御によって複数方向に対する受信超音波ビームを同時に形成する所謂並列同時受信を行なうことも可能である。この並列同時受信法の適用によりボリュームデータの収集に要する時間は大幅に短縮される。
The
次に、図2の受信信号処理部4は、包絡線検波器411と対数変換器412を備え、包絡線検波器411は、受信部22の加算器223から供給された整相加算後の受信信号を包絡線検波し、この包絡線検波信号は対数変換器412においてその振幅が対数変換されBモードデータが生成される。尚、包絡線検波器411と対数変換器412は順序を入れ替えて構成してもよい。
Next, the received
図1に戻って、3次元画像データ生成部5は、受信信号処理部4において生成されたBモードデータを3次元的な超音波送受信方向に対応させて順次保存するデータ記憶部51と、このBモードデータを補間処理して等方的なボクセルで構成されるボリュームデータを生成するボリュームデータ生成部52と、後述のベクトル演算部54によって算出される法線ベクトルと走査ベクトルとの内積値に基づいて上述のボリュームデータを補正するボリュームデータ補正部53を備え、更に、3次元画像データ生成部5は、法線ベクトル、走査ベクトル及び視線ベクトルを算出し、更に、法線ベクトルと走査ベクトルとの内積演算等を行なうベクトル演算部54と、法線ベクトルと視線ベクトルに基づいてボリュームデータをレンダリング処理し3次元画像データを生成するレンダリング演算部55を備えている。
Returning to FIG. 1, the three-dimensional image data generation unit 5 includes a
図4は、データ記憶部51に保存されたBモードデータを模式的に示したものであり、このデータ記憶部51には、送受信方向S1に対して収集されたBモードデータの信号強度a11、a21、a31・・・、送受信方向S2に対して収集されたBモードデータの信号強度a12、a22、a32・・・、送受信方向S3に対して収集されたBモードデータの信号強度a13、a23、a33・・・が夫々保存され、各送受信方向におけるこれらのデータにはシステム制御部9から供給される送受信角度(θ、φ)の情報が付帯情報として付加される。
FIG. 4 schematically shows B-mode data stored in the
図1に戻って、ボリュームデータ生成部52は、図示しない演算回路と記憶回路を有し、超音波プローブ3の中心位置(2次元配列された振動素子群の中心位置)と前記記憶回路にて所定サイズで形成された各ボクセルの中心位置は一義的に決定される。
Returning to FIG. 1, the volume
そして、ボリュームデータの生成に際し、ボリュームデータ生成部52の演算回路は、データ記憶部51において保存されているBモードデータを読み出し、このBモードデータの補間処理により前記記憶回路に設定された各ボクセルにおけるボクセル値を算出してボリュームデータを生成する。そして、得られたボリュームデータを前記記憶回路に保存する。
When generating the volume data, the arithmetic circuit of the volume
図5は、前記演算回路によって行なわれる補間処理を模式的に示したものであり、説明を判りやすくするためにデータ記憶部51に保存されているBモードデータ(図5の●)を対応させて表示している。但し、図5では、Bモードデータに対し1次元方向(X方向)の補間処理を行なって各ボクセルのボクセル値を算出する場合について示しているが、実際には、当該ボクセルを取り囲む複数のBモードデータを用いた3次元的な補間処理が望ましい。
FIG. 5 schematically shows an interpolation process performed by the arithmetic circuit. In order to make the explanation easy to understand, B mode data (● in FIG. 5) stored in the
例えば、ボクセルの中心位置が超音波の送受信方向S1と一致するボクセルB12ではBモードデータにおける信号強度a11がボクセル値c12として設定され、同様にして、ボクセルの中心位置が送受信方向S4と一致するボクセルB14ではBモードデータの信号強度a14がボクセル値c14として設定される。一方、ボクセルの中心位置が送受信方向と一致しないボクセルB13では、Bモードデータの信号強度a12及びその位置情報と信号強度a13及びその位置情報とに基づく補間処理によってボクセル値c13が算出される。 For example, in the voxel B12 in which the center position of the voxel coincides with the ultrasonic transmission / reception direction S1, the signal intensity a11 in the B mode data is set as the voxel value c12. Similarly, the voxel in which the center position of the voxel coincides with the transmission / reception direction S4. In B14, the signal intensity a14 of the B mode data is set as the voxel value c14. On the other hand, in the voxel B13 in which the center position of the voxel does not coincide with the transmission / reception direction, the voxel value c13 is calculated by interpolation processing based on the signal intensity a12 of the B mode data, the position information thereof, the signal intensity a13, and the position information thereof.
更に、ボクセルの中心位置が送受信方向と一致しないボクセルB22、B23,B24,B32,B33,B34,・・・に対してはボクセルB13の場合と同様にして、隣接したBモードデータの信号強度とその位置情報に基づく補間処理によってボクセル値c22、c23、c24、c32、c33、c34、・・・が算出される。そして、得られたこれらのボクセル値は、前記記憶回路に保存されてボリュームデータが生成される。 Further, for the voxels B22, B23, B24, B32, B33, B34,... Where the center position of the voxel does not coincide with the transmission / reception direction, the signal strength of the adjacent B-mode data is determined in the same manner as in the case of the voxel B13. Voxel values c22, c23, c24, c32, c33, c34,... Are calculated by interpolation processing based on the position information. The obtained voxel values are stored in the storage circuit to generate volume data.
次に、図6のブロック図を用いてベクトル演算部54の具体的な構成について説明する。この図6に示すようにベクトル演算部54は、法線ベクトル算出部541と、走査ベクトル算出部542と、視線ベクトル算出部543と、内積演算部544を備えている。
Next, a specific configuration of the
ベクトル演算部54の法線ベクトル算出部541は、ボリュームデータ生成部52において生成されたボリュームデータ、あるいは、後述のボリュームデータ補正部53によって高エコーの影響が低減された補正後のボリュームデータにおける各ボクセルの法線ベクトルを算出する。
The normal
例えば、ボクセルB(x、y、z)における法線ベクトルN(x、y、z)を算出する場合、法線ベクトル算出部541は、先ず、ボリュームデータ生成部52あるいはボリュームデータ補正部53の記憶回路に保存されているボリュームデータの中からボクセルB(x、y、z)に隣接したボクセルB(x+1、y、z)、B(x−1、y、z)、B(x、y+1、z)、B(x、y−1、z)、B(x、y、z+1)、B(x、y、z−1)の各々におけるボクセル値c(x+1、y、z)、c(x−1、y、z)、c(x、y+1、z)、c(x、y−1、z)、c(x、y、z+1)、c(x、y、z−1)を読み出し、これらのボクセル値を次式(1)に代入することにより法線ベクトルN(x、y、z)を算出する。
更に、法線ベクトル算出部541は、ボリュームデータ生成部52によるボリュームデータに対して算出した法線ベクトルの情報を内積演算部544に供給し、ボリュームデータ補正部53による補正後のボリュームデータに対して算出した法線ベクトルの情報を後述のレンダリング演算部55に供給する。
Further, the normal
一方、ベクトル演算部54の走査ベクトル算出部542は、ボリュームデータ生成部52の記憶回路に保存されたボリュームデータにおけるボクセルの中心位置と超音波プローブ3の中心位置に基づいて、超音波の送受信方向を示す走査ベクトルを算出する。又、視線ベクトル算出部543は、上述のボリュームデータにおけるボクセルの中心位置と画像観測者の視点位置に基づいて視線方向を示す視線ベクトルを算出する。
On the other hand, the scanning
図7は、ベクトル演算部54によって算出される上述の3つの単位ベクトルを示したものであり、ボリュームデータを構成するボクセルBの中心P(x、y、z)を基準として臓器境界面に対する法線方向を示す法線ベクトルN(x、y、z)と、超音波送受信方向を示す走査ベクトルM(x、y、z)と、画像観測者の視線方向を示す視線ベクトルL(x、y、z)が夫々算出される。
FIG. 7 shows the above-described three unit vectors calculated by the
次に、ベクトル演算部54の内積演算部544は、走査ベクトル算出部542が算出したボクセルに対する走査ベクトルとこのボクセルに対して法線ベクトル算出部541が算出した法線ベクトルとの内積値βを各々のボクセルに対して算出し、この内積値βと自己の記憶回路に予め保管されている閾値αを比較する。そして、内積値βが閾値αより大きいボクセルが存在する場合には、その比較結果をボリュームデータ補正部53へ供給し、内積値βが閾値αより大きいボクセルが存在しない場合には、その比較結果を法線ベクトル算出部541へ供給する。
Next, the inner
一方、図1のボリュームデータ補正部53は、上述の比較結果に基づいてボリュームデータ生成部52の記憶回路に保存されているボリュームデータの1部あるいは全てを読み出し、上述の内積値βが閾値αより大きいボクセルとその周囲のボクセルのボクセル値に対してフィルタリング処理あるいは階調処理を行なう。
On the other hand, the volume
即ち、内積値βが閾値αより大きいボクセルが存在する場合、ボリュームデータ補正部53は、当該ボクセルに対応する臓器境界面に対して超音波が略垂直に送受信され、従って、そのボクセル値は高エコーの影響を受けていると判定する。そして、この高エコーの影響を排除するために、当該ボクセルを中心とした所定範囲のボクセルにおけるボクセル値に対しフィルタリング処理あるいは階調処理を行なってボリュームデータの補正を行なう。尚、ボリュームデータに対するフィルタリング処理の範囲情報は、通常、ボリュームデータ補正部53が備える図示しない記憶回路に予め保管されているが、操作者が入力部8にて設定しても構わない。
That is, when there is a voxel whose inner product value β is larger than the threshold value α, the volume
次に、レンダリング演算部55は、ベクトル演算部54の法線ベクトル算出部541がボリュームデータ補正部53における補正後のボリュームデータに対して算出した法線ベクトルの情報と視線ベクトル算出部543が算出した視線ベクトルの情報をボクセル単位でベクトル演算部54から受信する。そして、法線ベクトルと視線ベクトルとの内積値に基づくシェーディング値と、画像観察者の視点から当該ボクセルの中心までの距離に基づく不透明度を夫々のボクセルに対して算出する。
Next, the
次いで、レンダリング演算部55は、ボリュームデータ生成部52の記憶回路に保存されている補正前のボリュームデータを読み出し、このボリュームデータのボクセル値を上述のシェーディング値や不透明度の情報を用いてレンダリング処理し3次元画像データを生成する。
Next, the
一方、表示部7は、図示しない表示データ生成回路と変換回路とモニタを備え、前記表示データ生成回路は、3次元画像データ生成部5のレンダリング演算部55において生成された3次元画像データに被検体情報等の付帯情報を付加して表示データを生成する。一方、前記変換回路は、表示データ生成回路が生成した表示データに対してD/A変換とテレビフォーマット変換を行なって前記モニタに表示する。
On the other hand, the
入力部8は、操作パネル上に液晶表示パネルやキーボード、トラックボール、マウス等の入力デバイスを備え、被検体情報の入力、画像データ収集モードの選択、画像データの生成条件や表示条件の設定、視点位置の設定、更には、各種コマンド信号の入力等を行なう。
The
そして、システム制御部9は、図示しないCPUと記憶回路を備え、入力部8から供給された各種コマンド信号や制御信号に基づいて、上記各ユニットの制御や装置全体の制御を統括して行なう。特に、図2に示した送信部21の送信遅延回路122及び受信部22の受信遅延回路132における遅延時間を制御し、当該被検体の3次元領域に対し超音波送受信を行なう。
The system control unit 9 includes a CPU and a storage circuit (not shown), and performs overall control of the units and control of the entire apparatus based on various command signals and control signals supplied from the
(3次元画像データの生成手順)
次に、本実施例における3次元画像データの生成手順につき図8のフローチャートを用いて説明する。
(Procedure for generating 3D image data)
Next, the procedure for generating the three-dimensional image data in this embodiment will be described with reference to the flowchart of FIG.
当該被検体に対する3次元データの収集に先立ち、超音波診断装置100の操作者は入力部8において被検体情報を入力し、更に、画像データ収集モードの選択、画像データの生成条件や表示条件の設定等を行なう。本実施例では、画像データ収集モードとして「3次元Bモード」を選択するがこれに限定されない。そして、入力部8にて入力された上述の入力情報、選択情報及び設定情報はシステム制御部9の記憶回路に保存される(図8のステップS1)。
Prior to the collection of the three-dimensional data for the subject, the operator of the ultrasonic
上述の初期設定が終了したならば、操作者は、超音波プローブ3を被検体の体表に接触させた状態で入力部8より3次元データの収集開始コマンドを入力し、このコマンド信号がシステム制御部9に供給されることにより、当該被検体に対する3次元データの収集が開始される。
When the above initial setting is completed, the operator inputs a three-dimensional data collection start command from the
3次元データの収集に際し、図2に示した送信部21のレートパルス発生器211は、システム制御部9から入力された制御信号に従ってレートパルスを生成し送信遅延回路212に供給する。送信遅延回路212は、送信において細いビーム幅を得るために所定の深さに超音波を集束するための遅延時間と、最初の送受信方向(θ1、φ1)に超音波を送信するための遅延時間を前記レートパルスに与え、このレートパルスをNチャンネルの駆動回路213に供給する。次いで、駆動回路213は、送信遅延回路212から供給されたレートパルスに基づいて所定の遅延時間を有した駆動信号を生成し、この駆動信号を超音波プローブ3におけるN個の振動素子に供給して被検体の体内に送信超音波を放射する。
When collecting the three-dimensional data, the
放射された送信超音波の一部は、音響インピーダンスの異なる臓器境界面や組織にて反射し、前記振動素子によって受信されてNチャンネルの電気的な受信信号に変換される。次いで、この受信信号は、受信部22のA/D変換器221においてデジタル信号に変換された後、Nチャンネルの受信遅延回路222において所定の深さからの受信超音波を収束するための遅延時間と送受信方向(θ1、φ1)からの受信超音波に対し強い受信指向性を設定するための遅延時間が与えられ、加算器223にて整相加算される。
A part of the radiated transmission ultrasonic wave is reflected by an organ boundary surface or tissue having different acoustic impedance, received by the vibration element, and converted into an N-channel electrical reception signal. Next, this received signal is converted into a digital signal by the A /
そして、整相加算後の受信信号が供給された受信信号処理部4の包絡線検波器411及び対数変換器412は、この受信信号に対して包絡線検波と対数変換を行なってBモードデータを生成し3次元画像データ生成部5のデータ記憶部51に保存する。
Then, the
送受信方向(θ1、φ1)に対するBモードデータの生成と保存が終了したならば、超音波の送受信方向がφ方向にΔφずつ更新されたφq=φ1+(q−1)Δφ(q=2乃至Q)によって設定される送受信方向(θ1、φ2乃至φQ)に対して同様の手順で超音波の送受信を行なう。このとき、システム制御部9は、その制御信号によって送信遅延回路212及び受信遅延回路222の遅延時間を超音波の送受信方向に対応させて更新する。
When the generation and storage of B-mode data for the transmission / reception direction (θ1, φ1) is completed, φq = φ1 + (q−1) Δφ (q = 2 to Q) in which the ultrasonic transmission / reception direction is updated by Δφ in the φ direction. ), Ultrasonic waves are transmitted and received in the same procedure with respect to the transmission / reception directions (θ1, φ2 to φQ) set. At this time, the system control unit 9 updates the delay times of the
上述の手順によって送受信方向(θ1、φ1乃至φQ)に対する超音波送受信が終了したならば、送受信方向がθ方向にΔθずつ更新されたθp=θ1+(p−1)Δθ(p=2乃至P)を設定し、送受信方向θ2乃至θPの各々に対して上述のφ1乃至φQの超音波送受信を繰り返すことによって当該被検体に対する3次元走査が行なわれる。そして、各々の送受信方向に対する超音波送受信によって得られたBモードデータは送受信方向の情報と共にデータ記憶部51に順次保存されて3次元データが生成される。(図8のステップS2)。
When the ultrasonic transmission / reception in the transmission / reception direction (θ1, φ1 to φQ) is completed by the above-described procedure, θp = θ1 + (p−1) Δθ (p = 2 to P) in which the transmission / reception direction is updated by Δθ in the θ direction. And the ultrasonic transmission / reception of φ1 to φQ described above is repeated for each of the transmission / reception directions θ2 to θP, thereby performing three-dimensional scanning on the subject. The B-mode data obtained by ultrasonic transmission / reception in each transmission / reception direction is sequentially stored in the
次いで、3次元画像データ生成部5のボリュームデータ生成部52は、データ記憶部51に保存されたBモードデータとその付帯情報(即ち、超音波送受信方向の情報)を読み出し、このBモードデータを用いた補間処理によって算出した3次元的なボクセル値を自己の記憶回路に保存してボリュームデータを生成する(図8のステップS3)。
Next, the volume
そして、ベクトル演算部54の法線ベクトル算出部541は、ボリュームデータ生成部52において生成されたボリュームデータの各ボクセルにおける法線ベクトルを上述の式(1)に基づいて算出する(図8のステップS4)。
Then, the normal
一方、ベクトル演算部54の走査ベクトル算出部542は、ボリュームデータ生成部52が生成したボリュームデータにおける各ボクセルの中心位置と超音波プローブ3の中心位置に基づいて走査ベクトルを算出し、視線ベクトル算出部543は、前記ボクセルの中心位置と画像観察者の視点位置に基づいて視線ベクトルを算出する(図8ステップS5)。
On the other hand, the scan
但し、図8に示したフローチャートでは、法線ベクトルの算出(ステップS4)に後続して走査ベクトルと視線ベクトルを算出する場合について述べたが、これに限定されない。即ち、走査ベクトル及び視線ベクトルの算出は、3次元データやボリュームデータの生成に対して独立に行なうことができ、従って、上述のステップS1乃至ステップS4における各手順の何れかに後続あるいは何れかと並行して行なうことも可能である。 However, in the flowchart shown in FIG. 8, the case where the scan vector and the line-of-sight vector are calculated subsequent to the calculation of the normal vector (step S4) is not limited to this. That is, the calculation of the scanning vector and the line-of-sight vector can be performed independently for the generation of the three-dimensional data and the volume data, and therefore, any of the procedures in the above-described steps S1 to S4 is followed or in parallel with any of them. It is also possible to do this.
次いで、ベクトル演算部54の内積演算部544は、前記ボクセルに対して走査ベクトル算出部542が算出した走査ベクトルと法線ベクトル算出部541が算出した法線ベクトルとの内積値βを各々のボクセルに対して算出する(図8のステップS6)。そして、算出された各ボクセルにおける内積値βと自己の記憶回路に予め保管されている閾値αを比較し(図8のステップS7)、内積値βが閾値αより大きいボクセルが存在する場合には、その比較結果をボリュームデータ補正部53に供給する。
Next, the inner
この比較結果を受信したボリュームデータ補正部53は、ボリュームデータ生成部52の記憶回路に保存されているボリュームデータを読み出し、上述の内積値βが閾値αより大きいボクセルとその周囲のボクセルのボクセル値に対しフィルタリング処理あるいは階調処理を行なってボリュームデータを補正する(図8のステップS8)。
Receiving the comparison result, the volume
次いで、法線ベクトル算出部541は、ボリュームデータ補正部53において補正されたボリュームデータの各ボクセルに対し上述のステップS4と同様な演算を行なって法線ベクトルを算出し(図8のステップS9)、算出した法線ベクトルの情報をレンダリング演算部55へ供給する。
Next, the normal
一方、上述のステップS7において、内積値βが閾値αより大きいボクセルが存在しない場合、内積演算部544は、その比較結果を法線ベクトル算出部541へ供給し、法線ベクトル算出部541は、ステップS4において算出した法線ベクトルの情報をレンダリング演算部55へ供給する。
On the other hand, if there is no voxel whose inner product value β is larger than the threshold value α in step S7 described above, the inner
次に、レンダリング演算部55は、法線ベクトル算出部541がステップS4あるいはステップS9において算出した法線ベクトルと視線ベクトル算出部543が算出した視線ベクトルとに基づいて各ボクセルのシェーディング値を算出し、更に、観察者の視点からボクセルの中心位置までの距離に基づいて各ボクセルの不透明度を算出する。そして、ステップS3においてボリュームデータ生成部52が生成したボリュームデータをその記憶回路から読み出し、このボリュームデータに対し上述のシェーディング値と不透明度を用いたレンダリング処理を行なって3次元画像データを生成する(図8ステップS10)。
Next, the
そして、表示部7の表示データ生成回路は、3次元画像データ生成部5のレンダリング演算部55において生成された3次元画像データに対し被検体情報等の付帯情報を付加して表示データを生成し、表示部7の変換回路は、表示データ生成回路が生成した表示データに対してD/A変換とテレビフォーマット変換を行なってモニタに表示する(図8ステップS11)。
The display data generation circuit of the
次に、図9と図10を用いて本実施例の効果を模式的に説明する。図9(a)は、当該被検体から得られた3次元データに基づいてボリュームデータ生成部52が生成したボリュームデータを示しており、図9(b)は、このボリュームデータのボクセル値に基づいてベクトル演算部54の法線ベクトル算出部541が算出した各ボクセルの法線ベクトルを矢印で示している。
Next, the effect of the present embodiment will be schematically described with reference to FIGS. 9 and 10. FIG. 9A shows the volume data generated by the volume
一方、図10(a)は、ボリュームデータ補正部53による補正後のボリュームデータを示しており、図10(b)は、補正後のボリュームデータのボクセル値に基づいて法線ベクトル算出部541が算出した各ボクセルの法線ベクトルを示している。但し説明を簡単にするために、図9(a)及び図10(a)は、ボリュームデータの所定断面(X−Z断面)におけるボクセル値を示しており、図9(b)及び図10(b)は、上記断面のX方向及びZ方向におけるボクセル値の勾配に基づいて算出された各ボクセルの法線ベクトルを示している。
On the other hand, FIG. 10A shows the volume data corrected by the volume
又、図9(a)の各ボクセルに示した数値はボクセル値の具体例を示しており、ここではボクセル値「0」の臓器Aとボクセル値「1」の臓器Bの境界面Cに対して法線ベクトルを算出する場合について述べる。但し、境界面Cが超音波の送受信方向に対して略垂直に交差するボクセルB25は超音波入射角に依存する高エコーの影響を受け、他のボクセルのボクセル値と比較して特異的に高いボクセル値「5」を有している。 Also, the numerical values shown in the respective voxels in FIG. 9A show specific examples of the voxel values. Here, with respect to the boundary surface C between the organ A having the voxel value “0” and the organ B having the voxel value “1”. The case of calculating the normal vector will be described. However, the voxel B25 in which the boundary surface C intersects substantially perpendicularly to the transmission / reception direction of the ultrasonic waves is affected by a high echo depending on the ultrasonic incident angle, and is specifically higher than the voxel values of other voxels. It has a voxel value of “5”.
このようなボクセル値を有するボリュームデータに対して法線ベクトルを算出する場合、例えば、ボクセルB24及びボクセルB26では、ボクセルB25における特異的なボクセル値「5」の影響を受け境界面Cに対する真の法線方向とは異なる方向の法線ベクトルN24及びN26が算出される。 When calculating a normal vector for volume data having such a voxel value, for example, the voxel B24 and the voxel B26 are affected by a specific voxel value “5” in the voxel B25, and the true value for the boundary surface C is calculated. Normal vectors N24 and N26 in a direction different from the normal direction are calculated.
既に述べたように内積演算部544は、ボリュームデータ生成部52が生成したボリュームデータに対し法線ベクトル算出部541が算出した各ボクセルの法線ベクトルと走査ベクトル算出部542が算出した各ボクセルの走査ベクトルとの内積値βを計測し、この内積値βと閾値αを比較する。そして、ボリュームデータ補正部53は、この比較結果に基づいて上述のボリュームデータを補正する。このとき、ボリュームデータ補正部53は、このボリュームデータにおいて内積値βが閾値αより大きいボクセルB25を検出し、このボクセルB25に対してフィルタリング処理あるいは階調処理を行ない上述の高エコーの影響を低減する。
As described above, the inner
図10(a)は、ボリュームデータ補正部53によって補正されたボリュームデータのボクセル値を示しており、ボクセルB25のボクセル値はフィルタリング処理あるいは階調処理によって周囲のボクセルのボクセル値に略等しい値に補正される。そして、補正後のボリュームデータを用いた法線ベクトル演算により、真の法線方向に略一致した法線ベクトルN24及び法線ベクトルN26が算出される(図10(b)参照)。
FIG. 10A shows the voxel value of the volume data corrected by the volume
以上述べた本発明の第1の実施例によれば、超音波入射角度に依存した高エコーの影響を受けているボクセルをボリュームデータの各ボクセルにおける法線ベクトルと走査ベクトルの内積値に基づいて特定し、このボクセルを中心とした所定領域に対してフィルタリング処理あるいは階調処理を行なうことにより、他の超音波情報を歪めることなく前記高エコーの影響を効果的に低減することができる。 According to the first embodiment of the present invention described above, the voxel that is affected by the high echo depending on the ultrasonic incident angle is determined based on the inner product value of the normal vector and the scanning vector in each voxel of the volume data. By specifying and performing a filtering process or a gradation process on a predetermined region centered on this voxel, the influence of the high echo can be effectively reduced without distorting other ultrasonic information.
そして、フィルタリング処理等によって前記高エコーの影響が低減したボリュームデータを用いることにより臓器境界面等における正確な法線ベクトルの算出が可能となり、この法線ベクトルに基づくレンダリング処理によって良好な3次元画像データを生成することができる。 Then, by using the volume data in which the influence of the high echo is reduced by filtering processing or the like, it is possible to calculate an accurate normal vector on the organ boundary surface or the like, and a good three-dimensional image can be obtained by rendering processing based on this normal vector. Data can be generated.
又、上述の実施例では、補正後のボリュームデータの各ボクセルにおいて算出した法線ベクトルと視線ベクトルの情報を用いて補正前のボリュームデータをレンダリング処理しているため、空間分解能やコントラスト分解能を劣化させることなく有効なシェーディング処理を行なうことが可能となる。 In the above-described embodiment, since the volume data before correction is rendered using information on the normal vector and the line-of-sight vector calculated in each voxel of the volume data after correction, the spatial resolution and contrast resolution are deteriorated. It is possible to perform an effective shading process without causing it to occur.
更に、高エコーの低減に際しては空間コンパウンド法を適用する必要がないため時間分解能が劣化することもない。 Furthermore, since it is not necessary to apply the spatial compound method when reducing the high echo, the time resolution is not deteriorated.
上述の理由により、超音波ビームの入射角度に依存する高エコーの影響を時間分解能、空間分解能、更には、コントラスト分解能を劣化させることなく低減することが可能となり、良好な3次元画像データを得ることができる。 For the above-described reason, it is possible to reduce the influence of high echo depending on the incident angle of the ultrasonic beam without degrading time resolution, spatial resolution, and contrast resolution, and obtain good three-dimensional image data. be able to.
次に、本発明の第2の実施例について説明する。上述の第1の実施例では、自己の送受信部2、超音波プローブ3及び受信信号処理部4を用いて被検体の3次元データを収集し、この3次元データに基づいて3次元画像データを生成する超音波診断装置100について述べたが、以下の第2の実施例では、別途設置された超音波診断装置から供給される3次元データに基づいて3次元画像データの生成及び表示を行なう画像データ表示装置について述べる。
Next, a second embodiment of the present invention will be described. In the first embodiment described above, three-dimensional data of a subject is collected using its own transmission /
即ち、本実施例における画像データ表示装置では、ネットワーク等を介して超音波診断装置から供給される3次元データを用いて生成したボリュームデータをレンダリング処理して3次元画像データを生成する際、先ず、ボリュームデータの各ボクセルにおいて法線ベクトルと走査ベクトルを算出する。次いで、得られた法線ベクトルと走査ベクトルとの内積値に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定し、このボクセルを中心とした所定領域のボクセル値をフィルタリング処理あるいは階調処理によって補正する。そして、補正後のボリュームデータにおけるボクセル値の勾配に基づいて新たに算出した法線ベクトルと画像データ観測者の視線方向を示す視線ベクトルに基づき補正前のボリュームデータをレンダリング処理して3次元画像データを生成する。 That is, in the image data display apparatus according to the present embodiment, when the volume data generated using the 3D data supplied from the ultrasonic diagnostic apparatus via a network or the like is rendered to generate 3D image data, The normal vector and the scan vector are calculated for each voxel of the volume data. Next, based on the inner product value of the obtained normal vector and scanning vector, the voxel affected by the high echo depending on the ultrasonic incident angle is specified, and the voxel value in a predetermined region centered on this voxel is filtered. Correction is performed by processing or gradation processing. Then, the volume data before correction is rendered on the basis of the normal vector newly calculated based on the gradient of the voxel value in the volume data after correction and the line-of-sight vector indicating the line-of-sight direction of the image data observer, and three-dimensional image data is rendered. Is generated.
本発明の第2の実施例における画像データ表示装置の全体構成につき図11のブロック図を用いて説明する。但し、図1に示した超音波診断装置のユニットと略同様な機能を有するユニットは同一の符号を付加し詳細な説明は省略する。 The overall configuration of the image data display apparatus according to the second embodiment of the present invention will be described with reference to the block diagram of FIG. However, units having substantially the same functions as the units of the ultrasonic diagnostic apparatus shown in FIG.
この画像データ表示装置200は、超音波診断装置によって収集された3次元データを用いて3次元画像データを生成する3次元画像データ生成部5xと、この3次元画像データを表示する表示部7と、被検体情報や各種コマンド信号等を入力する入力部8と、上述の各ユニットを統括的に制御するシステム制御部9を備えている。
The image
そして、3次元画像データ生成部5xは、別途設置された超音波診断装置が収集した当該被検体の3次元データをネットワーク10あるいは図示しない記憶媒体を介して保存するデータ記憶部51xと、この3次元データを補間処理して等方的なボクセルで構成されるボリュームデータを生成するボリュームデータ生成部52と、後述のベクトル演算部54によって算出される法線ベクトルと走査ベクトルとの内積値に基づいて上述のボリュームデータを補正するボリュームデータ補正部53を備え、更に、法線ベクトル、走査ベクトル及び視線ベクトルを算出し、法線ベクトルと走査ベクトルとの内積演算等を行なうベクトル演算部54と、法線ベクトルと視線ベクトルに基づいてボリュームデータをレンダリング処理し3次元画像データを生成するレンダリング演算部55を備えている。
The three-dimensional image
超音波診断装置から供給された3次元データに基づく3次元画像データの生成に際し、3次元画像データ生成部5xのボリュームデータ生成部52は、ネットワーク10等を介して超音波診断装置から供給されデータ記憶部51xに一旦保存された3次元データを補間処理してボリュームデータを生成し、ベクトル演算部54は、このボリュームデータの各ボクセルにおいて法線ベクトルと走査ベクトルを算出する。更に、ベクトル演算部54は、得られた法線ベクトルと走査ベクトルとの内積値を算出し、この内積値と予め設定された閾値とを比較する。
When generating three-dimensional image data based on the three-dimensional data supplied from the ultrasonic diagnostic apparatus, the volume
一方、ボリュームデータ補正部53は、ベクトル演算部54による内積値と閾値との比較結果に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを前記ボリュームデータにおいて特定し、このボクセルを中心とした所定領域のボクセル値をフィルタリング処理あるいは階調処理によって補正する。そして、ベクトル演算部54は、補正後のボリュームデータにおけるボクセル値の勾配に基づいて法線ベクトルを新たに算出し、レンダリング演算部55は、この法線ベクトルと画像データ観測者の視線方向を示す視線ベクトルに基づき補正前のボリュームデータをレンダリング処理して3次元画像データを生成する。
On the other hand, the volume
以上述べた本発明の第2の実施例によれば、上述の第1の実施例と同様にして、超音波入射角度に依存した高エコーの影響を受けているボクセルをボリュームデータの各ボクセルにおける法線ベクトルと走査ベクトルの内積値に基づいて特定し、このボクセルを中心とした所定領域に対してフィルタリング処理あるいは階調処理を行なうことにより、他の超音波情報を歪めることなく前記高エコーの影響を効果的に低減することができる。そして、フィルタリング処理等によって前記高エコーの影響が低減したボリュームデータを用いることにより臓器境界面等における正確な法線ベクトルの算出が可能となり、この法線ベクトルに基づくレンダリング処理によって良好な3次元画像データを生成することができる。 According to the second embodiment of the present invention described above, the voxel that is affected by the high echo depending on the ultrasonic incident angle is determined in each voxel of the volume data in the same manner as the first embodiment. By specifying the inner product value of the normal vector and the scanning vector, and performing a filtering process or a gradation process on a predetermined area centered on this voxel, the high echo can be obtained without distorting other ultrasonic information. The influence can be effectively reduced. Then, by using the volume data in which the influence of the high echo is reduced by filtering processing or the like, it is possible to calculate an accurate normal vector on the organ boundary surface or the like, and a good three-dimensional image can be obtained by rendering processing based on this normal vector. Data can be generated.
又、上述の実施例では、補正後のボリュームデータの各ボクセルにおいて算出した法線ベクトルと視線ベクトルの情報を用いて補正前のボリュームデータをレンダリング処理しているため、空間分解能やコントラスト分解能を劣化させることなく有効なシェーディング処理を行なうことが可能となる。 In the above-described embodiment, since the volume data before correction is rendered using information on the normal vector and the line-of-sight vector calculated in each voxel of the volume data after correction, the spatial resolution and contrast resolution are deteriorated. It is possible to perform an effective shading process without causing it to occur.
上述の理由により、超音波ビームの入射角度に依存する高エコーの影響を時間分解能、空間分解能、更には、コントラスト分解能を劣化させることなく低減することが可能となり、良好な3次元画像データを得ることができる。 For the above-described reason, it is possible to reduce the influence of high echo depending on the incident angle of the ultrasonic beam without degrading time resolution, spatial resolution, and contrast resolution, and obtain good three-dimensional image data. be able to.
更に、上述の実施例における画像データ表示装置は、別途設置された超音波診断装置からネットワーク等を介して供給された3次元データに基づいて3次元画像データを生成することができるため、操作者は、時間や場所の制約をあまり受けることなく当該被検体の3次元画像データを生成あるいは観察することが可能となる。 Furthermore, since the image data display device in the above-described embodiment can generate 3D image data based on 3D data supplied from a separately installed ultrasonic diagnostic apparatus via a network or the like, the operator Can generate or observe three-dimensional image data of the subject without much restrictions on time and place.
以上、本発明の実施例について述べてきたが、本発明は、上述の実施例に限定されるものではなく、変形して実施することが可能である。例えば、上述の第1の実施例及び第2の実施例では、Bモードデータに基づいてボリュームデータを生成する場合について述べたが、カラードプラデータ等、他の超音波データに基づいてボリュームデータを生成してもよい。 As mentioned above, although the Example of this invention has been described, this invention is not limited to the above-mentioned Example, It can change and implement. For example, in the first and second embodiments described above, the case where the volume data is generated based on the B-mode data has been described. However, the volume data is generated based on other ultrasonic data such as color Doppler data. It may be generated.
又、2次元配列された振動素子による3次元走査について述べたが、これに限定されるものではなく、例えば、1次元配列された振動素子を配列方向に対して垂直な方向に移動あるいは回動させることによって3次元走査を行なってもよい。更に、コンベックス走査やリニア走査、更にはラジアル走査等、セクタ走査以外の走査法によってボリュームデータを生成してもよい。 Further, the three-dimensional scanning by the two-dimensionally arranged vibration elements has been described. However, the present invention is not limited to this. For example, the one-dimensionally arranged vibration elements are moved or rotated in a direction perpendicular to the arrangement direction. By doing so, a three-dimensional scan may be performed. Furthermore, the volume data may be generated by a scanning method other than sector scanning, such as convex scanning, linear scanning, or radial scanning.
一方、ボリュームデータの補正におけるフィルタリング処理の範囲情報や閾値αの情報はボリュームデータ補正部53やベクトル演算部54の記憶回路に予め保管されている場合について述べたが、操作者が入力部8にて設定あるいは更新しても構わない。この方法によれば、3次元画像データの観察下にて最適な条件を設定することができる。
On the other hand, the range information of the filtering process in the correction of the volume data and the information of the threshold value α are described as being stored in advance in the storage circuit of the volume
又、法線ベクトルと走査ベクトルとの内積値に基づいて高エコーの影響を受けたボクセルを特定する場合について述べたが、法線ベクトルと走査ベクトルとの交差角度が算出できる他の方法であっても構わない。 Also, the case where the voxel affected by the high echo is specified based on the inner product value of the normal vector and the scan vector has been described, but this is another method that can calculate the intersection angle between the normal vector and the scan vector. It doesn't matter.
更に、上述の実施例では、法線ベクトルと走査ベクトルとの内積値に基づいて上述の高エコーの影響を受けたボクセルを特定する機能をベクトル演算部54が有している場合について述べたが、ボリュームデータ補正部53がこの機能を有していてもよい。
Furthermore, in the above-described embodiment, the case where the
2…送受信部
21…送信部
211…レートパルス発生器
212…送信遅延回路
213…駆動回路
22…受信部
221…A/D変換器
222…受信遅延回路
223…加算器
3…超音波プローブ
4…受信信号処理部
411…包絡線検波器
412…対数変換器
5、5x…3次元画像データ生成部
51、51x…データ記憶部
52…ボリュームデータ生成部
53…ボリュームデータ補正部
54…ベクトル演算部
541…法線ベクトル算出部
542…走査ベクトル算出部
543…視線ベクトル算出部
544…内積演算部
55…レンダリング演算部
7…表示部
8…入力部
9…システム制御部
10…ネットワーク
100…超音波診断装置
200…画像データ表示装置
2. Transmission /
Claims (11)
前記振動素子を駆動して超音波の送信を行なう送信手段と、
前記超音波の送受信によって得られた前記被検体からの反射信号を受信する受信手段と、
前記受信手段によって得られた3次元データに基づいてボリュームデータを生成するボリュームデータ生成手段と、
前記ボリュームデータの法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて前記法線ベクトルを補正するベクトル演算手段と、
補正された法線ベクトルに基づき、前記ボリュームデータ生成手段が生成したボリュームデータをレンダリング処理して3次元画像データを生成するレンダリング演算手段とを
備えたことを特徴とする超音波診断装置。 An ultrasonic probe having a vibration element for transmitting and receiving ultrasonic waves to and from a three-dimensional region of a subject;
Transmitting means for transmitting the ultrasonic wave by driving the vibration element;
Receiving means for receiving a reflected signal from the subject obtained by transmitting and receiving the ultrasonic wave;
Volume data generating means for generating volume data based on the three-dimensional data obtained by the receiving means;
A vector calculation means for calculating a normal vector and a scanning vector of the volume data and correcting the normal vector based on angle information between the normal vector and the scanning vector;
An ultrasonic diagnostic apparatus, comprising: a rendering calculation unit that generates a three-dimensional image data by rendering the volume data generated by the volume data generation unit based on the corrected normal vector.
前記振動素子を駆動して超音波の送信を行なう送信手段と、
前記超音波の送受信によって得られた前記被検体からの反射信号を受信する受信手段と、
前記受信手段によって得られた3次元データに基づいてボリュームデータを生成するボリュームデータ生成手段と、
前記ボリュームデータのボクセルに対し法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定するベクトル演算手段と、
この特定結果に基づいて前記ボリュームデータを補正するボリュームデータ補正手段と、
このボリュームデータ補正手段が補正したボリュームデータのボクセルに対し前記ベクトル演算手段が新たに算出した法線ベクトルに基づいて、前記ボリュームデータ生成手段が生成した前記ボリュームデータをレンダリング処理し3次元画像データを生成するレンダリング演算手段とを
備えたことを特徴とする超音波診断装置。 An ultrasonic probe having a vibration element for transmitting and receiving ultrasonic waves to and from a three-dimensional region of a subject;
Transmitting means for transmitting the ultrasonic wave by driving the vibration element;
Receiving means for receiving a reflected signal from the subject obtained by transmitting and receiving the ultrasonic wave;
Volume data generating means for generating volume data based on the three-dimensional data obtained by the receiving means;
A normal vector and a scan vector are calculated for the voxels of the volume data, and a voxel affected by a high echo depending on an ultrasonic incident angle is specified based on angle information between the normal vector and the scan vector. Vector computing means;
Volume data correction means for correcting the volume data based on the identification result;
Based on the normal vector newly calculated by the vector calculation unit for the voxel of the volume data corrected by the volume data correction unit, the volume data generated by the volume data generation unit is subjected to rendering processing to obtain three-dimensional image data. An ultrasonic diagnostic apparatus comprising: a rendering calculation means for generating.
前記ボリュームデータのボクセルにおける法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定するベクトル演算手段と、
この特定結果に基づいて前記ボリュームデータを補正するボリュームデータ補正手段と、
このボリュームデータ補正手段が補正したボリュームデータのボクセルに対し前記ベクトル演算手段が新たに算出した法線ベクトルに基づいて、前記ボリュームデータ生成手段が生成した前記ボリュームデータをレンダリング処理して3次元画像データを生成するレンダリング演算手段と、
前記3次元画像データを表示する表示手段とを
備えたことを特徴とする画像データ表示装置。 Volume data generation means for generating volume data based on three-dimensional data obtained from a subject;
A vector for calculating a normal vector and a scan vector in the voxel of the volume data, and specifying a voxel affected by a high echo depending on an ultrasonic incident angle based on angle information between the normal vector and the scan vector Computing means;
Volume data correction means for correcting the volume data based on the identification result;
Based on the normal vector newly calculated by the vector calculation means for the voxel of the volume data corrected by the volume data correction means, the volume data generated by the volume data generation means is subjected to rendering processing to obtain three-dimensional image data. Rendering operation means for generating
An image data display device comprising display means for displaying the three-dimensional image data.
ベクトル演算手段が、前記ボリュームデータのボクセルにおける法線ベクトル及び走査ベクトルを算出し、前記法線ベクトルと前記走査ベクトルとの角度情報に基づいて超音波入射角度に依存する高エコーの影響を受けたボクセルを特定するステップと、
ボリュームデータ補正手段が、前記ベクトル演算手段の特定結果に基づいて所定領域の前記ボリュームデータを補正するステップと、
前記ベクトル演算手段が、補正された前記ボリュームデータのボクセルに対して法線ベクトルを新たに算出するステップと、
レンダリング演算手段が、前記ボリュームデータ生成手段が生成したボリュームデータを新たに算出された前記法線ベクトルに基づいてレンダリング処理し3次元画像データを生成するステップとを
有することを特徴とする3次元画像データ生成方法。 Volume data generation means generates volume data based on three-dimensional data obtained by transmitting and receiving ultrasonic waves to the subject;
A vector calculation means calculates a normal vector and a scan vector in the voxel of the volume data, and is affected by a high echo depending on an ultrasonic incident angle based on angle information between the normal vector and the scan vector. Identifying a voxel;
Volume data correction means corrects the volume data of a predetermined area based on the identification result of the vector calculation means;
The vector calculation means newly calculating a normal vector for the corrected voxel of the volume data;
A rendering calculation unit comprising: a step of rendering the volume data generated by the volume data generation unit based on the newly calculated normal vector to generate three-dimensional image data. Data generation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006133820A JP4864532B2 (en) | 2006-05-12 | 2006-05-12 | Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006133820A JP4864532B2 (en) | 2006-05-12 | 2006-05-12 | Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007301218A JP2007301218A (en) | 2007-11-22 |
JP4864532B2 true JP4864532B2 (en) | 2012-02-01 |
Family
ID=38835671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006133820A Expired - Fee Related JP4864532B2 (en) | 2006-05-12 | 2006-05-12 | Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4864532B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102218308B1 (en) | 2013-05-21 | 2021-02-23 | 삼성전자주식회사 | ultrasonic image processing apparatus and method |
EP3552553B1 (en) * | 2016-12-12 | 2023-11-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US10453193B2 (en) * | 2017-05-05 | 2019-10-22 | General Electric Company | Methods and system for shading a two-dimensional ultrasound image |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3388954B2 (en) * | 1995-08-23 | 2003-03-24 | 株式会社東芝 | Ultrasound diagnostic equipment |
JP2001076169A (en) * | 1999-09-03 | 2001-03-23 | Ge Yokogawa Medical Systems Ltd | Three-dimensional image generation method and x-ray ct system |
JP2003061956A (en) * | 2001-08-30 | 2003-03-04 | Toshiba Corp | Ultrasonic diagnostic apparatus, medical diagnosing apparatus and image processing method |
JP2004141514A (en) * | 2002-10-28 | 2004-05-20 | Toshiba Corp | Image processing apparatus and ultrasonic diagnostic apparatus |
-
2006
- 2006-05-12 JP JP2006133820A patent/JP4864532B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007301218A (en) | 2007-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4579686B2 (en) | Ultrasound imaging system and method for user-guided three-dimensional volume scan sequence | |
JP5814646B2 (en) | Ultrasonic data processing method and system | |
US8382669B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic diagnostic apparatus control method | |
JP5525930B2 (en) | Ultrasound diagnostic device for generating and displaying 3D ultrasound images | |
JP2009131420A (en) | Ultrasonic image diagnosing device | |
JP2009061086A (en) | Ultrasonic diagnostic system, image processing method, and program | |
JP2008073085A (en) | Ultrasonic diagnostic equipment and image data generation method | |
KR101120684B1 (en) | Ultrasound system and method for providing 3-dimensional ultrasound image based on roi of ellipsoid | |
US11272906B2 (en) | Ultrasonic imaging device and method for controlling same | |
JP2011182933A (en) | Ultrasonic diagnostic apparatus and control program for setting region of interest | |
JP2009178262A (en) | Ultrasonic diagnostic apparatus | |
US9107631B2 (en) | Ultrasonic imaging apparatus and a method for generating an ultrasonic image | |
JP4864532B2 (en) | Ultrasonic diagnostic apparatus, image data display apparatus, and three-dimensional image data generation method | |
JP2005342194A (en) | Ultrasonic diagnostic apparatus | |
JP6381979B2 (en) | Ultrasonic diagnostic apparatus and control program | |
JP5087324B2 (en) | Ultrasonic diagnostic equipment | |
JP5627171B2 (en) | Ultrasonic diagnostic equipment | |
JP4960013B2 (en) | Ultrasonic diagnostic apparatus and image processing program thereof | |
JP7211150B2 (en) | ULTRASOUND DIAGNOSTIC DEVICE, ULTRASOUND IMAGE GENERATING METHOD AND PROGRAM | |
JP5348829B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image display method, and ultrasonic image display program | |
JP2022122023A (en) | Ultrasonic diagnostic equipment, setting control method, and setting control program | |
JP2013009832A (en) | Ultrasonic diagnostic device, medical image processing device, and medical image processing program | |
JP2010158473A (en) | Ultrasonic image diagnostic apparatus | |
JP5190248B2 (en) | Ultrasonic diagnostic equipment | |
JP5503862B2 (en) | Ultrasonic diagnostic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |