JP5622374B2 - Ultrasonic diagnostic apparatus and ultrasonic image generation program - Google Patents

Ultrasonic diagnostic apparatus and ultrasonic image generation program Download PDF

Info

Publication number
JP5622374B2
JP5622374B2 JP2009232279A JP2009232279A JP5622374B2 JP 5622374 B2 JP5622374 B2 JP 5622374B2 JP 2009232279 A JP2009232279 A JP 2009232279A JP 2009232279 A JP2009232279 A JP 2009232279A JP 5622374 B2 JP5622374 B2 JP 5622374B2
Authority
JP
Japan
Prior art keywords
volume data
gradient
ultrasonic
color
transfer function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009232279A
Other languages
Japanese (ja)
Other versions
JP2011078514A (en
Inventor
衣津紀 久我
衣津紀 久我
武史 佐藤
武史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2009232279A priority Critical patent/JP5622374B2/en
Publication of JP2011078514A publication Critical patent/JP2011078514A/en
Application granted granted Critical
Publication of JP5622374B2 publication Critical patent/JP5622374B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)

Description

本発明は、超音波の3次元ボリュームデータから3次元ボリュームレンダリングイメージを生成し表示する超音波診断装置及び超音波画像生成プログラムに関する。   The present invention relates to an ultrasonic diagnostic apparatus and an ultrasonic image generation program for generating and displaying a three-dimensional volume rendering image from ultrasonic three-dimensional volume data.

近年、超音波診断装置では,3次元ボリュームデータを収集可能な超音波プローブを用いることにより3次元画像データを得ることができる。
かかる超音波診断装置における3次元ボリュームレンダリングイメージでは、超音波の3次元ボリュームデータの輝度値を引数に取る伝達関数の閾値と不透明度との操作及び観察に不要な領域をクロップする等の操作により観察対象の部位のみを表示することができる。かかる超音波の3次元ボリュームデータに関する技術としては、例えば非特許文献1がある。
In recent years, ultrasonic diagnostic apparatuses can obtain three-dimensional image data by using an ultrasonic probe capable of collecting three-dimensional volume data.
In the three-dimensional volume rendering image in such an ultrasonic diagnostic apparatus, the threshold value of the transfer function that takes the luminance value of the ultrasonic three-dimensional volume data as an argument and the opacity are manipulated, and an area unnecessary for observation is cropped. Only the site to be observed can be displayed. Non-patent document 1 is an example of a technique related to such ultrasonic three-dimensional volume data.

Klaus Engel,Markus Hadwiger,Joe M.Kniss,Christof Rezk-Salama,Daniel Weiskopf著、「Real-Time VOLUME GRAPHICS」A.k Peters,Ltd.Klaus Engel, Markus Hadwiger, Joe M. “Real-Time VOLUME GRAPHICS” by Kniss, Christof Rezk-Salama and Daniel Weiskopf. k Peters, Ltd.

しかしながら、超音波診断装置での3次元ボリュームレンダリングイメージでは、例えば腫傷等の特定部位を3次元的に表示するには、輪郭抽出が必要である。かかる3次元ボリュームレンダリングイメージにおいて輪郭抽出を行うことは難しく、腫瘍等の表示には断面表示(MPR)を用いるのが主流である。
すなわち、超音波の3次元ボリュームデータには、臓器等の各組織と輝度値との間に明確な対応関係がない。3次元ボリュームデータ中において同じ輝度値を取る各組織が存在しても、これら組織は同一組織であるものとは限らない。このため、同じ輝度値を取る各組織同士は、闘値や不透明度によって分離することができない。
However, in a three-dimensional volume rendering image in an ultrasonic diagnostic apparatus, contour extraction is necessary to display a specific part such as a wound three-dimensionally. It is difficult to perform contour extraction in such a three-dimensional volume rendering image, and cross-sectional display (MPR) is mainly used for displaying tumors and the like.
That is, there is no clear correspondence between each tissue such as an organ and the luminance value in the ultrasonic three-dimensional volume data. Even if each organization having the same luminance value exists in the three-dimensional volume data, these organizations are not necessarily the same organization. For this reason, the tissues having the same luminance value cannot be separated by the battle value or the opacity.

又、自動境界抽出技術によって関心領域のみを抽出し、この関心領域の周囲をクロップして観察対象のみを表示する手法がある。しかしながら、超音波画像において境界を抽出することは難しく、適用できる対象は限られている。
特に腫瘍の境界抽出は難しく、腫瘍とその周囲部位との分離が難しい。
There is also a method of extracting only the region of interest by an automatic boundary extraction technique and cropping the region of interest to display only the observation target. However, it is difficult to extract a boundary in an ultrasonic image, and applicable objects are limited.
In particular, it is difficult to extract the boundary of the tumor, and it is difficult to separate the tumor from the surrounding area.

本発明の目的は、超音波の3次元ボリュームデータから特定部位の輪郭を抽出できる超音波診断装置及び超音波画像生成プログラムを提供することにある。   An object of the present invention is to provide an ultrasonic diagnostic apparatus and an ultrasonic image generation program that can extract the contour of a specific part from ultrasonic three-dimensional volume data.

請求項1に対応する超音波診断装置は、超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成するもので、前記超音波ボリュームデータにおける複数の輝度値間の変化を勾配として求める勾配値演算部と、前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部とを具備する。 An ultrasonic diagnostic apparatus corresponding to claim 1 generates three-dimensional rendering image data based on ultrasonic volume data, and calculates a gradient value as a gradient between a plurality of luminance values in the ultrasonic volume data. And adjusting the color and opacity of the ultrasonic volume data according to a transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient , and the adjustment of the luminance value, The color is adjusted based on the gradient and the first contribution coefficient set for each, and the opacity adjustment is performed based on the luminance value, the gradient, and the second contribution coefficient set for each. and second parameter transfer function processing unit for adjusting the transparency, the color by the second argument transfer function processing unit, with respect to the volume data in which the opacity is adjusted It includes a rendering processor for Liu beam rendering process, and a display unit that displays the ultrasound volume data rendering process by the rendering processing unit.

請求項2に対応する超音波診断装置は、被検体に対する3次元走査によって収集された超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成するもので、前記超音波ボリュームデータ内において輝度値の勾配の方向ベクトルの縦方向、横方向、奥行き方向の要素及び勾配の大きさをそれぞれ求め、前記勾配の値の方向ベクトルの要素及び大きさの値を組み合わせて勾配スカラーデータを生成する勾配値演算部と、前記超音波ボリュームデータの前記輝度値を第1の引数とし、前記勾配値を組み合わせた値を第2の引数とし、これら2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、前記伝達関数における前記2つの引数を操作する操作部と、前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記超音波ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部とを具備する。 An ultrasonic diagnostic apparatus corresponding to claim 2 generates three-dimensional rendering image data based on ultrasonic volume data collected by three-dimensional scanning on a subject, and a luminance value is included in the ultrasonic volume data. Gradient value calculation that determines the vertical direction, horizontal direction, and depth direction elements of the gradient direction vector, and the gradient size, and generates gradient scalar data by combining the gradient vector direction vector elements and magnitude values. and parts, the said luminance values of the ultrasound volume data as the first argument, the value of combining the gradient value as a second argument, the ultrasound volume data in accordance with a transfer function that takes two arguments The color and opacity are adjusted, and the color adjustment is based on the luminance value, the gradient, and the first contribution coefficient set for each. A two-argument transfer function processing unit that adjusts the color and adjusts the opacity based on the luminance value, the gradient, and a second contribution coefficient set to each of the brightness value, and the opacity adjustment; An operation unit that operates the two arguments, a rendering processing unit that performs volume rendering processing on the ultrasonic volume data in which the color and the opacity are adjusted by the two-argument transfer function processing unit, and the rendering processing unit And a display unit for displaying the ultrasonic volume data rendered by.

請求項3に対応する超音波診断装置は、超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成するもので、前記超音波ボリュームデータにおける複数の輝度値間の変化を勾配として求める勾配値演算部と、前記超音波ボリュームデータの輝度値の1つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色を調整する1引数伝達関数処理部と、前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記超音波ボリュームデータと前記1引数伝達関数処理部により前記色が調整された前記超音波ボリュームデータとを合成する合成演算部と、前記合成演算部により合成された前記超音波ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部とを具備する。 An ultrasonic diagnostic apparatus corresponding to claim 3 generates three-dimensional rendering image data based on ultrasonic volume data, and calculates a gradient value for determining a change between a plurality of luminance values in the ultrasonic volume data as a gradient. wherein a part, said the first argument transfer function processing unit for adjusting the color the ultrasound volume data in response to one transfer function which takes an argument of the luminance values of the ultrasound volume data, the luminance value of the ultrasound volume data color of the ultrasound volume data in accordance with a transfer function that takes two arguments and gradient, adjust the opacity and the brightness value is adjustment of the color, the gradient and the first contribution coefficient set respectively The color is adjusted based on the opacity, and the opacity adjustment is based on the luminance value, the gradient, and the second contribution coefficient set for each. And second parameter transfer function processing unit for adjusting the transparency, the color by the second argument transfer function processing unit, the color is adjusted by the opacity is adjusted the ultrasound volume data and the first parameter transfer function processing unit A synthesis operation unit that synthesizes the ultrasonic volume data, a rendering processing unit that performs volume rendering processing on the ultrasonic volume data that is synthesized by the synthesis operation unit, and the ultrasonic that is rendered by the rendering processing unit And a display unit for displaying the sound wave volume data.

請求項4に対応する超音波診断装置は、被検体に対する3次元走査によって収集された超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成するもので、前記超音波ボリュームデータ内において輝度値の勾配の方向ベクトルの縦方向、横方向、奥行き方向の要素及び勾配の大きさをそれぞれ求め、前記勾配の値の方向ベクトルの要素及び大きさの値を組み合わせて勾配スカラーデータを生成する勾配値演算部と、前記超音波ボリュームデータの前記輝度値を第1の引数とし、前記勾配値を組み合わせた値を第2の引数とし、これら2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、前記超音波ボリュームデータの前記輝度値を第1の引数とし、当該第1の引数を取る伝達関数を通じて前記超音波ボリュームデータの色を調整する1引数伝達関数処理部と、前記伝達関数における前記第1の引数又は前記第2の引数のうちいずれか一方又は両方を操作する操作部と、前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記超音波ボリュームデータと前記1引数伝達関数処理部により前記色が調整された前記超音波ボリュームデータとを合成する合成演算部と、前記合成演算部により合成された前記超音波ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部とを具備する。 An ultrasonic diagnostic apparatus corresponding to claim 4 generates three-dimensional rendering image data based on ultrasonic volume data collected by three-dimensional scanning on a subject, and a luminance value is included in the ultrasonic volume data. Gradient value calculation that determines the vertical direction, horizontal direction, and depth direction elements of the gradient direction vector, and the gradient size, and generates gradient scalar data by combining the gradient vector direction vector elements and magnitude values. and parts, the said luminance values of the ultrasound volume data as the first argument, the value of combining the gradient value as a second argument, the ultrasound volume data in accordance with a transfer function that takes two arguments The color and opacity are adjusted, and the color adjustment is based on the luminance value, the gradient, and the first contribution coefficient set for each. A two-argument transfer function processing unit that adjusts the opacity based on the luminance value, the gradient, and a second contribution coefficient set to each of the brightness value, the gradient, and the second contribution coefficient set in the adjustment of the opacity; A one-argument transfer function processing unit that takes the luminance value of the data as a first argument and adjusts the color of the ultrasound volume data through a transfer function that takes the first argument; and the first argument in the transfer function or An operation unit that operates one or both of the second arguments, the ultrasonic volume data in which the color and the opacity are adjusted by the two-argument transfer function processing unit, and the one-argument transfer function processing unit A synthesis computation unit that synthesizes the ultrasonic volume data with the color adjusted by the method, and a volume for the ultrasound volume data synthesized by the synthesis computation unit. It includes a rendering processor for over beam rendering process, and a display unit that displays the ultrasound volume data rendering process by the rendering processing unit.

請求項11に対応する超音波画像生成プログラムは、コンピュータに、超音波ボリュームデータにおける複数の輝度値間の変化を勾配として取得させる勾配取得機能と、前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整させ、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整させる調整機能と、前記色、前記不透明度が調整された前記超音波ボリュームデータに対してボリュームレンダリング処理させるボリュームレンダリング機能と、前記レンダリング処理された前記超音波ボリュームデータを表示させる表示機能と、
を実現させる。
An ultrasonic image generation program corresponding to claim 11 causes a computer to acquire a change between a plurality of luminance values in ultrasonic volume data as a gradient, a luminance acquisition value of the ultrasonic volume data, and the gradient . The color and opacity of the ultrasonic volume data are adjusted according to a transfer function that takes two arguments , and the adjustment of the color is based on the luminance value, the gradient, and the first contribution coefficient set for each. And adjusting the opacity, the adjustment function for adjusting the opacity based on the luminance value, the gradient, and a second contribution coefficient set for each of the brightness value, the color, and the opacity A volume rendering function for performing volume rendering on the adjusted ultrasonic volume data; and A display function for displaying the ultrasound volume data,
Is realized.

請求項12に対応する超音波画像生成プログラムは、コンピュータに、超音波ボリュームデータにおける複数の輝度値間の変化を勾配として取得させる勾配取得機能と、前記超音波ボリュームデータの輝度値の1つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色を調整させる色調整機能と、前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整させ、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整させる色・不透明度調整機能と、前記色、前記不透明度が調整された前記超音波ボリュームデータと前記色が調整された前記超音波ボリュームデータとを合成させる合成機能と、前記合成された超音波ボリュームデータに対してボリュームレンダリング処理させるボリュームレンダリング機能と、前記レンダリング処理された前記超音波ボリュームデータを表示させる表示機能とを実現させる。 An ultrasonic image generation program corresponding to claim 12 causes a computer to acquire a change between a plurality of luminance values in ultrasonic volume data as a gradient, and one argument of luminance values of the ultrasonic volume data A color adjustment function that adjusts the color of the ultrasonic volume data according to a transfer function that takes a value, and the ultrasonic volume data according to a transfer function that takes two arguments: a luminance value of the ultrasonic volume data and the gradient The color and opacity are adjusted , and in the color adjustment, the color is adjusted based on the luminance value, the gradient, and the first contribution coefficient set for each, and in the opacity adjustment, the luminance value is adjusted. , and color opacity adjustment function to adjust the opacity based on the second participation factors to be set in the gradient and respectively, the color, the impermeable A synthesis function for synthesizing the ultrasonic volume data with the degree adjusted and the ultrasonic volume data with the color adjusted, a volume rendering function for performing volume rendering processing on the synthesized ultrasonic volume data, And a display function for displaying the rendered ultrasonic volume data.

本発明によれば、超音波の3次元ボリュームデータから特定部位を輪郭抽出できる超音波診断装置及び超音波画像生成プログラムを提供できる。   According to the present invention, it is possible to provide an ultrasonic diagnostic apparatus and an ultrasonic image generation program that can extract a contour of a specific part from ultrasonic three-dimensional volume data.

本発明に係る超音波診断装置の第1の実施の形態を示す構成図。1 is a configuration diagram showing a first embodiment of an ultrasonic diagnostic apparatus according to the present invention. FIG. 同装置における2D伝達関数のうち色を調整するための第1のルックアップテーブルを設定するユーザインタフェースを示す図。The figure which shows the user interface which sets the 1st look-up table for adjusting a color among 2D transfer functions in the same apparatus. 同装置における2D伝達関数のうち不透明度を調整するための第2のルックアップテーブルを設定するユーザインタフェースを示す図。The figure which shows the user interface which sets the 2nd look-up table for adjusting opacity among 2D transfer functions in the same apparatus. 本発明に係る超音波診断装置の第2の実施の形態を示す構成図。The block diagram which shows 2nd Embodiment of the ultrasonic diagnosing device which concerns on this invention.

以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は超音波診断装置のブロック構成図を示す。本装置は、超音波プローブ1により収集された3次元ボリュームデータをボリュームレンダリングし、これら像をモニタ11に表示する。これに加え本装置は、レンダリング処理する際に、超音波の3次元ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る伝達関数(以下、2D伝達関数と称する)を用いて3次元ボリュームデータから腫瘍等の特定部位を輪郭抽出する。なお、1つの引数を取る伝達関数を1D伝達関数と称する。
装置本体100には、超音波プローブ1が接続されている。この超音波プローブ1は、被検体に対して超音波ビームを3次元スキャンして送波し、被検体からの反射波を受波してその電気信号を出力する。この超音波プローブ1は、例えば3次元ボリュームデータを収集可能な3次元(3D)超音波プローブ、又は3Dボリュームデータを時系列に連続して収集して成る4次元(4D)超音波データを収集可能な4次元(4D)超音波プローブである。この超音波プローブ1には、送信部2と受信部3とが接続されている。送信部2は、超音波プローブ1に対して超音波送波のために駆動パルス信号を送信する。受信部3は、超音波プローブ1から出力される電気信号を受信し、超音波の3次元ボリュームデータを生成する。
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an ultrasonic diagnostic apparatus. The apparatus performs volume rendering on the three-dimensional volume data collected by the ultrasonic probe 1 and displays these images on the monitor 11. In addition, this apparatus uses a transfer function (hereinafter referred to as a 2D transfer function) that takes two arguments, the luminance value of ultrasonic three-dimensional volume data and the gradient of the luminance value, during rendering processing. The contour of a specific part such as a tumor is extracted from the three-dimensional volume data. A transfer function that takes one argument is referred to as a 1D transfer function.
The ultrasonic probe 1 is connected to the apparatus main body 100. The ultrasonic probe 1 transmits an ultrasonic beam by three-dimensionally scanning an object, receives a reflected wave from the object, and outputs an electric signal thereof. The ultrasonic probe 1 collects, for example, a three-dimensional (3D) ultrasonic probe capable of collecting three-dimensional volume data, or four-dimensional (4D) ultrasonic data obtained by continuously collecting 3D volume data in time series. A possible four-dimensional (4D) ultrasound probe. A transmitter 2 and a receiver 3 are connected to the ultrasonic probe 1. The transmission unit 2 transmits a drive pulse signal to the ultrasonic probe 1 for ultrasonic transmission. The receiving unit 3 receives an electrical signal output from the ultrasonic probe 1 and generates ultrasonic three-dimensional volume data.

装置本体100には、操作部としての入力装置4が接続されている。この入力装置4は、本装置における2D伝達関数の操作等を行うためのユーザインタフェースを形成するもので、例えばキーボード、操作パネル、トラックボール等から成る。
CPU12は、装置本体100の動作を制御するもので、入力装置4からの操作指示を受け、かつ送信部2、受信部3、勾配値演算部5、2D伝達関数処理部6、レンダリング処理部9、表示部10に対して動作指令を発する。
CPU12には、プログラムメモリ13と各種データを記憶するためのメモリ14とが接続されている。このプログラムメモリ13には、超音波画像生成プログラムが記憶されている。この超音波画像生成プログラムは、超音波ボリュームデータにおける複数の輝度値間の変化を勾配として求め、超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて超音波ボリュームデータの色、不透明度を調整し、これら色、不透明度が調整された超音波ボリュームデータに対してボリュームレンダリング処理し、このレンダリング処理された超音波ボリュームデータを表示する。
CPU12は、プログラムメモリ13に記憶されている超音波画像生成プログラムを実行することにより、上記勾配値演算部5、上記2D伝達関数処理部6、上記レンダリング処理部9、上記表示部10の各機能を有する。
An input device 4 as an operation unit is connected to the apparatus main body 100. The input device 4 forms a user interface for performing operations and the like of 2D transfer functions in this device, and includes, for example, a keyboard, an operation panel, a trackball, and the like.
The CPU 12 controls the operation of the apparatus main body 100, receives an operation instruction from the input device 4, and transmits the transmission unit 2, the reception unit 3, the gradient value calculation unit 5, the 2D transfer function processing unit 6, and the rendering processing unit 9. The operation command is issued to the display unit 10.
The CPU 12 is connected with a program memory 13 and a memory 14 for storing various data. The program memory 13 stores an ultrasonic image generation program. This ultrasonic image generation program obtains a change between a plurality of luminance values in ultrasonic volume data as a gradient, and determines an ultrasonic volume according to a transfer function that takes two arguments of the luminance value of the ultrasonic volume data and the gradient. The color and opacity of the data are adjusted, volume rendering processing is performed on the ultrasound volume data in which the color and opacity are adjusted, and the rendered ultrasound volume data is displayed.
The CPU 12 executes the ultrasonic image generation program stored in the program memory 13, whereby each function of the gradient value calculation unit 5, the 2D transfer function processing unit 6, the rendering processing unit 9, and the display unit 10 is performed. Have

勾配値演算部5は、受信部3により生成される超音波ボリュームデータを受け取り、この超音波ボリュームデータにおける例えば複数の輝度値間の変化を勾配として表し、この勾配をベクトルにより表す。そして、勾配値演算部5は、勾配ベクトルの方向、勾配ベクトルの大きさを計算し、これら勾配ベクトルの方向及び大きさをそれぞれ任意に組み合わせて1つの勾配スカラーデータを生成する。勾配値演算部5は、例えば特定部位として乳腺腫瘍の分離が最適になるよう勾配ベクトルの全要素(x,y,z)を使って当該勾配ベクトルの長さを求め、この勾配ベクトルの長さを勾配スカラーデータとして生成する。   The gradient value calculation unit 5 receives the ultrasonic volume data generated by the reception unit 3, and represents, for example, a change between a plurality of luminance values in the ultrasonic volume data as a gradient, and this gradient is represented by a vector. Then, the gradient value calculation unit 5 calculates the direction of the gradient vector and the magnitude of the gradient vector, and generates one gradient scalar data by arbitrarily combining the direction and magnitude of these gradient vectors. The gradient value calculation unit 5 obtains the length of the gradient vector using all the elements (x, y, z) of the gradient vector so that, for example, the separation of the mammary tumor is optimized as the specific part, and the length of the gradient vector Are generated as gradient scalar data.

超音波ボリュームデータをIとすると、勾配は、次式(1)により表される。

Figure 0005622374
When the ultrasonic volume data is I, the gradient is expressed by the following equation (1).
Figure 0005622374

装置本体1の内部では、以下の3つの要素毎に(x,y,z)の形式で保持される。すなわち、xは超音波ビームの方向を表し、yは超音波ビームのスキャン方向を表し、zは奥行方向に対応する。3要素の距離は、次に示す通常の距離を求める式(2)から求められる。

Figure 0005622374
Inside the apparatus main body 1, the following three elements are held in the format of (x, y, z). That is, x represents the direction of the ultrasonic beam, y represents the scanning direction of the ultrasonic beam, and z corresponds to the depth direction. The distance between the three elements is obtained from the following formula (2) for obtaining a normal distance.
Figure 0005622374

2D伝達関数処理部6は、受信部3により生成される超音波ボリュームデータを受け取ると共に、勾配値演算部5により生成された勾配スカラーデータを受け取り、超音波ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数に応じて超音波ボリュームデータの色、不透明度を調整する。
具体的に2D伝達関数処理部6は、超音波ボリュームデータの色を調節するための伝達関数の第1のルックアップテーブルと、超音波ボリュームデータの不透明度を調節するための伝達関数の第2のルックアップテーブルとを有する。これら第1と第2のルックアップテーブルは、例えばメモリ14内に形成されている。これら第1、第2のルックアップテーブルに対する操作は、ユーザインタフェースとして入力装置4を介してリアルタイムで可能である。
The 2D transfer function processing unit 6 receives the ultrasonic volume data generated by the receiving unit 3 and also receives the gradient scalar data generated by the gradient value calculating unit 5, and receives the luminance value of the ultrasonic volume data and the luminance value of the luminance value. The color and opacity of the ultrasonic volume data are adjusted according to a 2D transfer function that takes two arguments, the gradient.
Specifically, the 2D transfer function processing unit 6 includes a first lookup table for a transfer function for adjusting the color of the ultrasound volume data, and a second transfer function for adjusting the opacity of the ultrasound volume data. And a lookup table. These first and second look-up tables are formed in the memory 14, for example. Operations on the first and second look-up tables can be performed in real time via the input device 4 as a user interface.

図2は2D伝達関数のうち色を調整するための第1のルックアップテーブルを設定するユーザインタフェースを示す。このユーザインタフェースは、第1の設定インタフェースF1と、第2の設定インタフェースF2と、第3の設定インタフェースF3とを有する。これらインタフェースF1〜F3は、モニタ11に表示される。
第1の設定インタフェースF1は、縦軸を勾配スカラーデータとし、横軸を超音波ボリュームデータの使用範囲とし、超音波ボリュームデータの使用範囲を調整可能とする。この第1の設定インタフェースF1は、縦軸を勾配スカラーデータとし、横軸で超音波ボリュームデータの使用範囲を調整する。この第1の設定インタフェースF1内には、可変ポインタH1〜H4を有する。これら可変ポインタH1〜H4により形成される例えば四辺形内のエリアが超音波ボリュームデータの使用範囲と成る。可変ポインタH1〜H4により形成される例えば四辺形内のエリア外は、例えばノイズ等を含む非表示エリアとなる。このうち可変ポインタH1、H2は、それぞれ入力装置4からの操作指示を受けて第1の設定インタフェースF1の平面内で移動可能である。これら可変ポインタH1、H2の移動により超音波ボリュームデータの使用範囲の大きさが調整可能となる。超音波ボリュームデータの使用範囲外の出力値は、例えば「0」に設定される。超音波ボリュームデータの使用範囲内の出力値は、グレイスケールで表示される。例えば8bitの場合、白色が「255」に対応し、黒色が「0」に対応する。
FIG. 2 shows a user interface for setting a first lookup table for adjusting the color of the 2D transfer function. This user interface includes a first setting interface F1, a second setting interface F2, and a third setting interface F3. These interfaces F1 to F3 are displayed on the monitor 11.
The first setting interface F1 makes it possible to adjust the use range of the ultrasonic volume data by setting the vertical axis as gradient scalar data and the horizontal axis as the use range of the ultrasonic volume data. The first setting interface F1 adjusts the usage range of the ultrasonic volume data on the horizontal axis with gradient scalar data on the vertical axis. The first setting interface F1 has variable pointers H1 to H4. An area within, for example, a quadrilateral formed by these variable pointers H1 to H4 is a usage range of ultrasonic volume data. For example, the area outside the quadrilateral formed by the variable pointers H1 to H4 is a non-display area including, for example, noise. Among these, the variable pointers H1 and H2 can move within the plane of the first setting interface F1 upon receiving an operation instruction from the input device 4, respectively. The movement range of the ultrasonic volume data can be adjusted by moving these variable pointers H1 and H2. The output value outside the use range of the ultrasonic volume data is set to “0”, for example. The output value within the use range of the ultrasonic volume data is displayed in gray scale. For example, in the case of 8 bits, white corresponds to “255” and black corresponds to “0”.

第2の設定インタフェースF2は、入力装置4からの操作指示を受けて、第1の設定インタフェースF1において設定された超音波ボリュームデータの使用範囲内における勾配スカラーデータの出力に寄与する係数を設定可能とする。例えば、勾配スカラーデータが小さい程、出力値が小さくなる等に設定される。   Upon receiving an operation instruction from the input device 4, the second setting interface F2 can set a coefficient that contributes to the output of gradient scalar data within the use range of the ultrasonic volume data set in the first setting interface F1. And For example, the smaller the gradient scalar data is, the smaller the output value is set.

第3の設定インタフェースF3は、入力装置4からの操作指示を受けて、超音波ボリュームデータの出力に寄与する係数を設定可能とする。例えば、超音波ボリュームデータの輝度値が小さい程、出力値が小さくなる等に設定される。 The third setting interface F3 can set a coefficient that contributes to output of ultrasonic volume data in response to an operation instruction from the input device 4. For example, the smaller the luminance value of the ultrasonic volume data is, the smaller the output value is set.

図3は2D伝達関数のうち不透明度を調整するための第2のルックアップテーブルを設定するユーザインタフェースを示す。このユーザインタフェースは、第1の設定インタフェースE1と、第2の設定インタフェースE2と、第3の設定インタフェースE3とを有する。これらインタフェースE1〜E3は、モニタ11に表示される。
第1の設定インタフェースE1は、縦軸を勾配スカラーデータとし、横軸を超音波ボリュームデータの不透明度の設定範囲とし、超音波ボリュームデータの不透明度設定範囲を調整可能とする。この第1の設定インタフェースE1は、縦軸を勾配スカラーデータとし、横軸で超音波ボリュームデータの不透明度設定範囲を調整する。この第1の設定インタフェースE1内には、可変ポインタJ1〜J4を有する。これら可変ポインタJ1〜J4により形成される例えば四辺形内のエリアが超音波ボリュームデータの不透明度設定範囲と成る。このうち可変ポインタJ1、J2は、それぞれ入力装置4からの操作指示を受けて第1の設定インタフェースE1の平面内で移動可能である。これら可変ポインタJ1、J2の移動により超音波ボリュームデータの不透明度設定範囲の大きさが調整可能となる。超音波ボリュームデータの不透明度設定範囲外の不透明度の値(出力値)は、例えば「0」に設定される。出力値はグレイスケールで表示される。例えば8bitの場合、白色が「255」に対応し、黒色が「0」に対応する。
FIG. 3 shows a user interface for setting a second lookup table for adjusting the opacity of the 2D transfer function. This user interface includes a first setting interface E1, a second setting interface E2, and a third setting interface E3. These interfaces E1 to E3 are displayed on the monitor 11.
The first setting interface E1 makes it possible to adjust the opacity setting range of the ultrasonic volume data by setting the vertical axis as the gradient scalar data and the horizontal axis as the opacity setting range of the ultrasonic volume data. The first setting interface E1 adjusts the opacity setting range of the ultrasonic volume data on the vertical axis using gradient scalar data on the vertical axis. This first setting interface E1 has variable pointers J1 to J4. An area within, for example, a quadrilateral formed by these variable pointers J1 to J4 is an opacity setting range of the ultrasonic volume data. Among these, the variable pointers J1 and J2 are movable in the plane of the first setting interface E1 upon receiving an operation instruction from the input device 4, respectively. By moving the variable pointers J1 and J2, the size of the opacity setting range of the ultrasonic volume data can be adjusted. The opacity value (output value) outside the opacity setting range of the ultrasonic volume data is set to “0”, for example. The output value is displayed in grayscale. For example, in the case of 8 bits, white corresponds to “255” and black corresponds to “0”.

第2の設定インタフェースE2は、入力装置4からの操作指示を受けて、第1の設定インタフェースE1において設定された超音波ボリュームデータの不透明度設定範囲内における勾配スカラーデータの不透明度係数を設定可能とする。例えば、勾配スカラーデータが小さい程、不透明度係数の出力値は、小さくなる等に設定される。   The second setting interface E2 can set the opacity coefficient of the gradient scalar data within the opacity setting range of the ultrasonic volume data set in the first setting interface E1 in response to an operation instruction from the input device 4. And For example, the smaller the gradient scalar data is, the smaller the output value of the opacity coefficient is set.

第3の設定インタフェースE3は、入力装置4からの操作指示を受けて、超音波ボリュームデータの出力に寄与する不透明度係数を設定可能とする。例えば、超音波ボリュームデータの不透明度が小さい程、出力値が小さくなる等に設定される。 The third setting interface E3 receives an operation instruction from the input device 4 and can set an opacity coefficient that contributes to the output of ultrasonic volume data. For example, the smaller the opacity of the ultrasonic volume data, the smaller the output value is set.

レンダリング処理部9は、2D伝達関数処理部6により色、不透明度が調整された超音波ボリュームデータを受け取り、この超音波ボリュームデータに対してボリュームレンダリング処理、すなわち3次元から2次元への座標変換、見えない部分を消去する陰面消去、立体感を出すための陰影処理などを行う。ボリュームレンダリングは、下記の各式(3)(4)に示すように奥から手前へ視線方向に沿った累積計算により行われる。

Figure 0005622374
The rendering processing unit 9 receives the ultrasonic volume data whose color and opacity are adjusted by the 2D transfer function processing unit 6, and performs volume rendering processing on this ultrasonic volume data, that is, coordinate conversion from 3D to 2D. , Shadow removal to erase invisible parts, shadow processing to give a three-dimensional effect, etc. Volume rendering is performed by cumulative calculation along the line-of-sight direction from the back to the front as shown in the following equations (3) and (4).
Figure 0005622374

表示部10は、レンダリング処理部9によりレンダリング処理された超音波ボリュームデータをモニタ11に表示する。
次に、上記の如く構成された装置の動作について説明する。
例えば乳腺腫瘍のボリュームレンダリングイメージを表示する場合、超音波プローブ1は、乳腺を含む被検体に対して超音波ビームを3次元スキャンして送波し、被検体からの反射波を受波してその電気信号を出力する。受信部3は、超音波プローブ1から出力される電気信号を受信し、超音波の3次元ボリュームデータを生成する。装置本体100は、超音波プローブ1により収集された3次元ボリュームデータをボリュームレンダリングし、これら像をモニタ11に表示する。
The display unit 10 displays the ultrasonic volume data rendered by the rendering processing unit 9 on the monitor 11.
Next, the operation of the apparatus configured as described above will be described.
For example, when displaying a volume rendering image of a mammary gland tumor, the ultrasonic probe 1 performs three-dimensional scanning with an ultrasonic beam on a subject including the mammary gland and transmits the received wave, and receives a reflected wave from the subject. The electrical signal is output. The receiving unit 3 receives an electrical signal output from the ultrasonic probe 1 and generates ultrasonic three-dimensional volume data. The apparatus main body 100 performs volume rendering on the three-dimensional volume data collected by the ultrasonic probe 1 and displays these images on the monitor 11.

このとき医師等の観察者は、モニタ11に表示されるMPR(直交3断面)の各断面像を見ながら超音波プローブ1を操作し、モニタ11の表示画面内に例えば乳腺腫瘍が表示されるように超音波プローブ1を乳腺上に当てる。   At this time, an observer such as a doctor operates the ultrasonic probe 1 while viewing each cross-sectional image of MPR (three orthogonal cross sections) displayed on the monitor 11, and for example, a breast tumor is displayed in the display screen of the monitor 11. In this manner, the ultrasonic probe 1 is placed on the mammary gland.

次に、勾配値演算部5は、受信部3により生成される超音波ボリュームデータを受け取り、この超音波ボリュームデータにおける例えば複数の輝度値間の変化を勾配として表し、この勾配をベクトルにより表す。勾配は、上記式(1)により表される。
この勾配値演算部5は、例えば特定部位として乳腺腫瘍の分離が最適になるよう勾配ベクトルの全要素を使って当該勾配ベクトルの長さを求め、この勾配ベクトルの長さを勾配スカラーデータとして生成する。勾配ベクトルは、超音波ビームの方向xと、超音波ビームのスキャン方向yと、奥行方向zとにより表される。これら要素の距離は、通常の距離を求める上記式(2)から求められる。
Next, the gradient value calculation unit 5 receives the ultrasonic volume data generated by the reception unit 3, and represents, for example, a change between a plurality of luminance values in the ultrasonic volume data as a gradient, and this gradient is represented by a vector. The gradient is represented by the above formula (1).
The gradient value calculation unit 5 obtains the length of the gradient vector using all the elements of the gradient vector so that, for example, the separation of the mammary tumor is optimized as a specific part, and generates the length of the gradient vector as gradient scalar data To do. The gradient vector is represented by an ultrasonic beam direction x, an ultrasonic beam scanning direction y, and a depth direction z. The distance between these elements is obtained from the above equation (2) for obtaining a normal distance.

次に、2D伝達関数処理部6は、受信部3により生成される超音波ボリュームデータを受け取ると共に、勾配値演算部5により生成された勾配スカラーデータを受け取り、かつユーザインタフェースとして入力装置4からの操作指示を受け取り、超音波ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数に応じて超音波ボリュームデータの色、不透明度を調整する。   Next, the 2D transfer function processing unit 6 receives the ultrasonic volume data generated by the receiving unit 3, receives the gradient scalar data generated by the gradient value calculation unit 5, and receives from the input device 4 as a user interface. An operation instruction is received, and the color and opacity of the ultrasonic volume data are adjusted according to a 2D transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient of the luminance value.

2D伝達関数処理部6は、ユーザインタフェースとして入力装置4からの操作指示を受け取り、超音波ボリュームデータの色を第1のルックアップテーブルから読み取って調整する。図2に示すように第1の設定インタフェースF1では、可変ポインタH1〜H4のうち例えば可変ポインタH1、H2を移動し、可変ポインタH1〜H4により形成される例えば四辺形内の超音波ボリュームデータの使用範囲を調整する。
第2の設定インタフェースF2では、入力装置4からの操作指示を受けて、第1の設定インタフェースF1において設定された超音波ボリュームデータの使用範囲内における勾配スカラーデータの出力に寄与する係数を設定可能とする。
第3の設定インタフェースF3は、入力装置4からの操作指示を受けて、超音波ボリュームデータの出力に寄与する係数を設定可能とする。
なお、第1乃至第3の設定インタフェースF1〜F3における調整は、ユーザインタフェースとして入力装置4からの操作指示を受けてリアルタイムに行われる。
The 2D transfer function processing unit 6 receives an operation instruction from the input device 4 as a user interface, and reads and adjusts the color of the ultrasound volume data from the first lookup table. As shown in FIG. 2, in the first setting interface F1, for example, the variable pointers H1 and H2 among the variable pointers H1 to H4 are moved, and the ultrasonic volume data in, for example, the quadrilateral formed by the variable pointers H1 to H4. Adjust the range of use.
In the second setting interface F2, upon receiving an operation instruction from the input device 4, it is possible to set a coefficient that contributes to the output of gradient scalar data within the use range of the ultrasonic volume data set in the first setting interface F1. And
The third setting interface F3 can set a coefficient that contributes to output of ultrasonic volume data in response to an operation instruction from the input device 4.
The adjustments in the first to third setting interfaces F1 to F3 are performed in real time in response to an operation instruction from the input device 4 as a user interface.

又、2D伝達関数処理部6は、ユーザインタフェースとして入力装置4からの操作指示を受け取り、超音波ボリュームデータの不透明度を第2のルックアップテーブルから読み取って調整する。図3に示すように第1の設定インタフェースE1では、可変ポインタJ1〜J4のうち例えば可変ポインタJ1、J2を移動し、可変ポインタJ1〜J4により形成される例えば四辺形内の超音波ボリュームデータの不透明度設定範囲を調整可能とする。   The 2D transfer function processing unit 6 receives an operation instruction from the input device 4 as a user interface, and reads and adjusts the opacity of the ultrasonic volume data from the second lookup table. As shown in FIG. 3, in the first setting interface E1, among the variable pointers J1 to J4, for example, the variable pointers J1 and J2 are moved, and for example, ultrasonic volume data in the quadrilateral formed by the variable pointers J1 to J4. The opacity setting range can be adjusted.

第2の設定インタフェースE2では、入力装置4からの操作指示を受けて、第1の設定インタフェースE1において設定された超音波ボリュームデータの不透明度設定範囲内における勾配スカラーデータの不透明度係数を設定可能とする。
第3の設定インタフェースE3では、入力装置4からの操作指示を受けて、超音波ボリュームデータの出力に寄与する不透明度係数を設定可能とする。
なお、第1乃至第3の設定インタフェースJ1〜J3における調整は、ユーザインタフェースとして入力装置4からの操作指示を受けてリアルタイムに行われる。
In the second setting interface E2, upon receiving an operation instruction from the input device 4, it is possible to set the opacity coefficient of the gradient scalar data within the opacity setting range of the ultrasonic volume data set in the first setting interface E1. And
In the third setting interface E3, in response to an operation instruction from the input device 4, an opacity coefficient that contributes to the output of ultrasonic volume data can be set.
The adjustments in the first to third setting interfaces J1 to J3 are performed in real time in response to an operation instruction from the input device 4 as a user interface.

レンダリング処理部9は、2D伝達関数処理部6により色、不透明度が調整された超音波ボリュームデータを受け取り、この超音波ボリュームデータに対してボリュームレンダリング処理、すなわち3次元から2次元への座標変換、見えない部分を消去する陰面消去、立体感を出すための陰影処理などを行う。
表示部10は、レンダリング処理部9によりレンダリング処理された超音波ボリュームデータをモニタ11に表示する。
The rendering processing unit 9 receives the ultrasonic volume data whose color and opacity are adjusted by the 2D transfer function processing unit 6, and performs volume rendering processing on this ultrasonic volume data, that is, coordinate conversion from 3D to 2D. , Shadow removal to erase invisible parts, shadow processing to give a three-dimensional effect, etc.
The display unit 10 displays the ultrasonic volume data rendered by the rendering processing unit 9 on the monitor 11.

このように上記第1の実施の形態によれば、2D伝達関数処理部6によって超音波ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数に応じて超音波ボリュームデータの色、不透明度を調整する。すなわち、伝達関数を拡張して2つの値を引数に取ることで、輝度値だけでは分離できなかった組織を分離して表示する。拡張した伝達関数の第1のパラメータは、超音波ボリュームデータの輝度値であり、第2のパラメータは輝度値の勾配を用いる。この勾配は、勾配ベクトルの縦、横、奥行きのそれぞれの3要素及び勾配の大きさの合計4つのパラメータが存在し、目的に応じて任意に組み合わせて1つのスカラー量を求め、これを第2の引数とする。そして、所望の組織境界と対応する勾配値の範囲を使い、更にこれに対する超音波ボリュームデータの輝度値範囲を調整することで、腫瘍等を抽出することができる。   As described above, according to the first embodiment, the 2D transfer function processing unit 6 uses the 2D transfer function according to the 2D transfer function that takes two arguments, the brightness value of the ultrasound volume data and the gradient of the brightness value. Adjust the color and opacity of the data. That is, by expanding the transfer function and taking two values as arguments, the tissue that cannot be separated only by the luminance value is separated and displayed. The first parameter of the extended transfer function is the luminance value of the ultrasonic volume data, and the second parameter uses the gradient of the luminance value. This gradient has four parameters in total, that is, the three elements of the gradient vector in the vertical, horizontal, and depth directions, and the magnitude of the gradient, and is arbitrarily combined depending on the purpose to obtain one scalar quantity. As an argument. A tumor or the like can be extracted by using the gradient value range corresponding to the desired tissue boundary and further adjusting the luminance value range of the ultrasonic volume data corresponding thereto.

このように超音波の3次元ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数を用いることによって、3次元ボリュームデータから乳腺腫瘍等の特定部位を輪郭抽出することができ、この輪郭抽出した乳腺腫瘍等の特定部位等を含む3次元ボリュームデータに対してボリュームレンダリング処理して表示できる。すなわち、従来、超音波ボリュームデータの輝度値だけでは分離できなかった乳腺腫瘍等の特定部位を分離でき、乳腺腫瘍等の特定部位のみ表示することができる。例えば、乳腺腫瘍等の特定部位とその周囲の部位との境界における輝度値の変化が大きければ、かかる境界により乳腺腫瘍等の特定部位を分離できると共に、上記境界における輝度値の勾配が大きくても、かかる境界により乳腺腫瘍等の特定部位を分離できる。   In this way, by using a 2D transfer function that takes two arguments, the luminance value of the ultrasonic three-dimensional volume data and the gradient of the luminance value, the contour extraction of a specific part such as a breast tumor is extracted from the three-dimensional volume data. It is possible to display the contour-extracted three-dimensional volume data including a specific part such as a breast tumor by performing volume rendering processing. That is, it is possible to separate a specific part such as a breast tumor that could not be separated only by the luminance value of ultrasonic volume data, and display only a specific part such as a breast tumor. For example, if the change in luminance value at the boundary between a specific region such as a breast tumor and the surrounding region is large, the specific region such as a breast tumor can be separated by the boundary, and the luminance value gradient at the boundary is large. Such a boundary can isolate a specific site such as a mammary tumor.

次に、本発明の第2の実施の形態について図面を参照して説明する。なお、図1と同一部分には同一符号を付してその詳しい説明は省略する。
図4は超音波診断装置のブロック構成図を示す。プログラムメモリ13には、超音波画像生成プログラムが記憶されている。この超音波画像生成プログラムは、超音波ボリュームデータにおける複数の輝度値間の変化を勾配として求め、超音波ボリュームデータの輝度値の1つの引数を取る伝達関数に応じて超音波ボリュームデータの色を調整し、超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて超音波ボリュームデータの色、不透明度を調整し、これら色、不透明度が調整された超音波ボリュームデータと色が調整された超音波ボリュームデータとを合成し、この合成された超音波ボリュームデータに対してボリュームレンダリング処理し、このレンダリング処理された超音波ボリュームデータを表示する。
CPU12は、プログラムメモリ13に記憶されている超音波画像生成プログラムを実行することにより、上記勾配値演算部5、上記2D伝達関数処理部6、上記レンダリング処理部9、上記表示部10、1D伝達関数処理部20、合成演算部21の各機能を有する。
Next, a second embodiment of the present invention will be described with reference to the drawings. The same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
FIG. 4 is a block diagram of the ultrasonic diagnostic apparatus. The program memory 13 stores an ultrasonic image generation program. This ultrasonic image generation program obtains a change between a plurality of luminance values in the ultrasonic volume data as a gradient, and changes the color of the ultrasonic volume data according to a transfer function that takes one argument of the luminance value of the ultrasonic volume data. The volume and the volume of the ultrasound volume data are adjusted according to the transfer function that takes two arguments, the luminance value of the ultrasound volume data and the gradient, and the volume and volume of the ultrasound volume are adjusted. The data and the ultrasonic volume data whose color is adjusted are synthesized, volume rendering processing is performed on the synthesized ultrasonic volume data, and the rendered ultrasonic volume data is displayed.
The CPU 12 executes the ultrasonic image generation program stored in the program memory 13 to thereby execute the gradient value calculation unit 5, the 2D transfer function processing unit 6, the rendering processing unit 9, the display unit 10, and 1D transmission. Each function of the function processing unit 20 and the composition calculation unit 21 is provided.

勾配値演算部5は、受信部3により生成される超音波ボリュームデータを受け取り、この超音波ボリュームデータにおける例えば複数の輝度値間の変化を勾配として表し、この勾配をベクトルにより表す。そして、勾配値演算部5は、勾配ベクトルの方向、勾配ベクトルの大きさを計算し、これら勾配ベクトルの方向及び大きさをそれぞれ任意に組み合わせて1つの勾配スカラーデータを生成する。勾配値演算部5は、例えば特定部位として乳腺腫瘍の分離が最適になるよう勾配ベクトルの全要素を使って当該勾配ベクトルの長さを求め、この勾配ベクトルの長さを勾配スカラーデータとして生成する。   The gradient value calculation unit 5 receives the ultrasonic volume data generated by the reception unit 3, and represents, for example, a change between a plurality of luminance values in the ultrasonic volume data as a gradient, and this gradient is represented by a vector. Then, the gradient value calculation unit 5 calculates the direction of the gradient vector and the magnitude of the gradient vector, and generates one gradient scalar data by arbitrarily combining the direction and magnitude of these gradient vectors. For example, the gradient value calculation unit 5 obtains the length of the gradient vector using all the elements of the gradient vector so that the separation of the mammary tumor is optimized as the specific part, and generates the length of the gradient vector as gradient scalar data. .

超音波ボリュームデータをIとすると、勾配は、上記式(1)により表される。   When the ultrasonic volume data is I, the gradient is expressed by the above formula (1).

装置本体1の内部では、以下の3つの要素毎に(x,y,z)の形式で保持される。すなわち、xは超音波ビームの方向を表し、yは超音波ビームのスキャン方向を表し、zは奥行方向に対応する。y、zの2要素の距離は、次に示す通常の距離を求める式(5)から求められる。

Figure 0005622374
Inside the apparatus main body 1, the following three elements are held in the format of (x, y, z). That is, x represents the direction of the ultrasonic beam, y represents the scanning direction of the ultrasonic beam, and z corresponds to the depth direction. The distance between the two elements y and z is obtained from the following formula (5) for obtaining a normal distance.
Figure 0005622374

1D伝達関数処理部20は、受信部3により生成された超音波の3次元ボリュームデータを受け取り、超音波ボリュームデータの例えば輝度値の1つの引数を取る1D伝達関数に応じて超音波ボリュームデータの色を調整する。具体的に1D伝達関数処理部20は、超音波ボリュームデータの色を調節するための伝達関数の1次元配列のルックアップテーブルを有する。この1次元配列のルックアップテーブルに対する操作は、ユーザインタフェースとして入力装置4を介してリアルタイムで可能である。なお、1次元配列のルックアップテーブルは、例えばメモリ14に記憶されている。   The 1D transfer function processing unit 20 receives the ultrasonic three-dimensional volume data generated by the receiving unit 3, and sets the ultrasonic volume data according to the 1D transfer function taking one argument of, for example, the luminance value of the ultrasonic volume data. Adjust the color. Specifically, the 1D transfer function processing unit 20 includes a lookup table of a one-dimensional array of transfer functions for adjusting the color of the ultrasonic volume data. The one-dimensional array lookup table can be operated in real time via the input device 4 as a user interface. Note that the one-dimensional array lookup table is stored in the memory 14, for example.

合成演算部21は、2D伝達関数処理部6により色、不透明度が調整された超音波ボリュームデータを受け取ると共に、1D伝達関数処理部20によりが調整された超音波ボリュームデータを受け取り、これら超音波ボリュームデータを合成する。ここで、合成演算部21は、1D伝達関数処理部20によりが調整された超音波ボリュームデータから2D伝達関数処理部6により色、不透明度が調整された超音波ボリュームデータを減算する。このとき、2D伝達関数への操作及び減算の係数への操作は、ユーザインタフェースとしての入力装置4からCPU12にリアルタイムで受け付けられる。   The composition calculation unit 21 receives the ultrasonic volume data in which the color and opacity are adjusted by the 2D transfer function processing unit 6, and receives the ultrasonic volume data adjusted by the 1D transfer function processing unit 20, and these ultrasonic waves Synthesize volume data. Here, the composition calculation unit 21 subtracts the ultrasound volume data whose color and opacity are adjusted by the 2D transfer function processing unit 6 from the ultrasound volume data adjusted by the 1D transfer function processing unit 20. At this time, the operation to the 2D transfer function and the operation to the subtraction coefficient are received in real time by the CPU 12 from the input device 4 as a user interface.

レンダリング処理部9は、合成演算部21により合成出力された超音波ボリュームデータを受け取り、この超音波ボリュームデータに対してボリュームレンダリング処理、すなわち3次元から2次元への座標変換、見えない部分を消去する陰面消去、立体感を出すための陰影処理などを行う。ボリュームレンダリングは、上記各式(3)(4)に示すように奥から手前へ視線方向に沿った累積計算により行われる。   The rendering processing unit 9 receives the ultrasonic volume data synthesized and output by the synthesis calculation unit 21, and performs volume rendering processing on this ultrasonic volume data, that is, coordinate conversion from 3D to 2D, and erases invisible parts. Eliminate shadows and perform shading to create a three-dimensional effect. Volume rendering is performed by cumulative calculation along the line-of-sight direction from the back to the front as shown in the above equations (3) and (4).

次に、上記の如く構成された装置の動作について説明する。
例えば胎児の顔のボリュームレンダリングイメージを表示する場合、超音波プローブ1は、胎児の顔を含む被検体に対して超音波ビームを3次元スキャンして送波し、被検体からの反射波を受波してその電気信号を出力する。受信部3は、超音波プローブ1から出力される電気信号を受信し、超音波の3次元ボリュームデータを生成する。装置本体100は、超音波プローブ1により収集された3次元ボリュームデータをボリュームレンダリングし、これら像をモニタ11に表示する。
Next, the operation of the apparatus configured as described above will be described.
For example, when displaying a volume rendering image of a fetal face, the ultrasonic probe 1 transmits an ultrasonic beam that is three-dimensionally scanned with respect to a subject including the fetal face, and receives a reflected wave from the subject. Wave and output the electrical signal. The receiving unit 3 receives an electrical signal output from the ultrasonic probe 1 and generates ultrasonic three-dimensional volume data. The apparatus main body 100 performs volume rendering on the three-dimensional volume data collected by the ultrasonic probe 1 and displays these images on the monitor 11.

このとき医師等の観察者は、モニタ11に表示されるMPR(直交3断面)の各断面像を見ながら超音波プローブ1を操作し、モニタ11の表示画面内に例えば胎児の顔が表示されるように超音波プローブ1を胎児の顔に相当する母体上に当てる。   At this time, an observer such as a doctor operates the ultrasonic probe 1 while viewing each cross-sectional image of MPR (three orthogonal cross-sections) displayed on the monitor 11, and the face of the fetus, for example, is displayed on the display screen of the monitor 11. In this manner, the ultrasonic probe 1 is placed on the mother body corresponding to the fetal face.

勾配値演算部5は、受信部3により生成される超音波ボリュームデータを受け取り、この超音波ボリュームデータにおける例えば複数の輝度値間の変化を勾配として表し、この勾配をベクトルにより表す。そして、勾配値演算部5は、勾配ベクトルの方向、勾配ベクトルの大きさを計算し、これら勾配ベクトルの方向及び大きさをそれぞれ任意に組み合わせて1つの勾配スカラーデータを生成する。勾配値演算部5は、例えば特定部位として胎児の顔の分離が最適になるよう勾配ベクトルの要素、ここでは横方向(超音波ビームのスキャン方向y)と奥行き方向(z)との2要素の勾配ベクトルの長さを求め、この勾配ベクトルの長さを勾配スカラーデータとして生成する。   The gradient value calculation unit 5 receives the ultrasonic volume data generated by the reception unit 3, and represents, for example, a change between a plurality of luminance values in the ultrasonic volume data as a gradient, and this gradient is represented by a vector. Then, the gradient value calculation unit 5 calculates the direction of the gradient vector and the magnitude of the gradient vector, and generates one gradient scalar data by arbitrarily combining the direction and magnitude of these gradient vectors. The gradient value calculation unit 5 includes, for example, two elements of a gradient vector, that is, a horizontal direction (scanning direction y of the ultrasonic beam) and a depth direction (z) so that the separation of the fetal face is optimized as a specific part. The length of the gradient vector is obtained, and the length of this gradient vector is generated as gradient scalar data.

次に、1D伝達関数処理部20は、受信部3により生成される超音波ボリュームデータを受け取り、かつユーザインタフェースとして入力装置4からの操作指示を受け取り、超音波ボリュームデータの色を1次元配列のルックアップテーブルから読み取り、超音波ボリュームデータの輝度値の1つの引数を取る1D伝達関数に応じて超音波ボリュームデータの色を調整する。この1次元配列のルックアップテーブルに対する操作は、ユーザインタフェースとして入力装置4を介してリアルタイムで可能である。   Next, the 1D transfer function processing unit 20 receives the ultrasonic volume data generated by the receiving unit 3, receives an operation instruction from the input device 4 as a user interface, and sets the color of the ultrasonic volume data to a one-dimensional array. The color of the ultrasound volume data is adjusted according to the 1D transfer function that is read from the lookup table and takes one argument of the luminance value of the ultrasound volume data. The one-dimensional array lookup table can be operated in real time via the input device 4 as a user interface.

レンダリング処理部9は、1D伝達関数処理部20により色の調整された超音波ボリュームデータを受け取り、この超音波ボリュームデータに対してボリュームレンダリング処理を行う。
表示部10は、レンダリング処理部9によりレンダリング処理された超音波ボリュームデータをモニタ11に表示する。
医師等の観察者は、ユーザインタフェースとしての入力装置4を介して1D伝達関数のルックアップテーブルの色の値を調整し、この調節された色の値を有する超音波ボリュームデータのボリュームレンダリング処理の結果をリアルタイムで更新してモニタ11に表示する。この結果、1D伝達関数の調整結果について所望のイメージが得られる。
The rendering processing unit 9 receives the ultrasonic volume data whose color has been adjusted by the 1D transfer function processing unit 20, and performs volume rendering processing on the ultrasonic volume data.
The display unit 10 displays the ultrasonic volume data rendered by the rendering processing unit 9 on the monitor 11.
An observer such as a doctor adjusts the color value of the lookup table of the 1D transfer function via the input device 4 serving as a user interface, and performs volume rendering processing of the ultrasound volume data having the adjusted color value. The result is updated in real time and displayed on the monitor 11. As a result, a desired image is obtained for the adjustment result of the 1D transfer function.

ここで、医師等の観察者は、1D伝達関数による調整が終わったことを入力装置4に対して操作入力する。CPU12は、入力装置4から1D伝達関数による調整が終わった旨を受け付けると、超音波ボリュームデータと勾配スカラーデータとを2D伝達関数処理部6に送る。   Here, an observer such as a doctor performs operation input to the input device 4 that the adjustment by the 1D transfer function is finished. When the CPU 12 accepts that the adjustment by the 1D transfer function is finished from the input device 4, the CPU 12 sends the ultrasonic volume data and the gradient scalar data to the 2D transfer function processing unit 6.

次に、2D伝達関数処理部6は、上記同様に、受信部3により生成される超音波ボリュームデータを受け取ると共に、勾配値演算部5により生成された勾配スカラーデータを受け取り、かつユーザインタフェースとして入力装置4からの操作指示を受け取り、上記図2に示すように超音波ボリュームデータの使用範囲を調整し、かつ超音波ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数に応じて超音波ボリュームデータの色、不透明度を調整する。   Next, as described above, the 2D transfer function processing unit 6 receives the ultrasonic volume data generated by the receiving unit 3 and also receives the gradient scalar data generated by the gradient value calculating unit 5 and inputs it as a user interface. 2D transmission which receives the operation instruction from the apparatus 4, adjusts the use range of the ultrasonic volume data as shown in FIG. 2, and takes two arguments, the luminance value of the ultrasonic volume data and the gradient of the luminance value. Adjust the color and opacity of the ultrasonic volume data according to the function.

すなわち、2D伝達関数処理部6は、ユーザインタフェースとして入力装置4からの操作指示を受け取り、超音波ボリュームデータの色を第1のルックアップテーブルから読み取って調整する。図2に示すように第1の設定インタフェースF1では、可変ポインタH1〜H4のうち例えば可変ポインタH1、H2を移動し、可変ポインタH1〜H4により形成される例えば四辺形内の超音波ボリュームデータの使用範囲を調整する。
第2の設定インタフェースF2では、入力装置4からの操作指示を受けて、第1の設定インタフェースF1において設定された超音波ボリュームデータの使用範囲内における勾配スカラーデータの出力に寄与する係数を設定可能とする。
第3の設定インタフェースF3は、入力装置4からの操作指示を受けて、超音波ボリュームデータの出力に寄与する係数を設定可能とする。
That is, the 2D transfer function processing unit 6 receives an operation instruction from the input device 4 as a user interface, and reads and adjusts the color of the ultrasonic volume data from the first lookup table. As shown in FIG. 2, in the first setting interface F1, for example, the variable pointers H1 and H2 among the variable pointers H1 to H4 are moved, and the ultrasonic volume data in, for example, the quadrilateral formed by the variable pointers H1 to H4. Adjust the range of use.
In the second setting interface F2, upon receiving an operation instruction from the input device 4, it is possible to set a coefficient that contributes to the output of gradient scalar data within the use range of the ultrasonic volume data set in the first setting interface F1. And
The third setting interface F3 can set a coefficient that contributes to output of ultrasonic volume data in response to an operation instruction from the input device 4.

又、2D伝達関数処理部6は、ユーザインタフェースとして入力装置4からの操作指示を受け取り、超音波ボリュームデータの不透明度を第2のルックアップテーブルから読み取って調整する。図3に示すように第1の設定インタフェースE1では、可変ポインタJ1〜J4のうち例えば可変ポインタJ1、J2を移動し、可変ポインタJ1〜J4により形成される例えば四辺形内の超音波ボリュームデータの不透明度設定範囲を調整可能とする。
第2の設定インタフェースE2では、入力装置4からの操作指示を受けて、第1の設定インタフェースE1において設定された超音波ボリュームデータの不透明度設定範囲内における勾配スカラーデータの不透明度係数を設定可能とする。
第3の設定インタフェースE3では、入力装置4からの操作指示を受けて、超音波ボリュームデータの出力に寄与する不透明度係数を設定可能とする。
次に、合成演算部21は、2D伝達関数処理部6により色、不透明度が調整された超音波ボリュームデータを受け取ると共に、1D伝達関数処理部20によりが調整された超音波ボリュームデータを受け取り、これら超音波ボリュームデータを合成する。
The 2D transfer function processing unit 6 receives an operation instruction from the input device 4 as a user interface, and reads and adjusts the opacity of the ultrasonic volume data from the second lookup table. As shown in FIG. 3, in the first setting interface E1, among the variable pointers J1 to J4, for example, the variable pointers J1 and J2 are moved, and for example, ultrasonic volume data in the quadrilateral formed by the variable pointers J1 to J4. The opacity setting range can be adjusted.
In the second setting interface E2, upon receiving an operation instruction from the input device 4, it is possible to set the opacity coefficient of the gradient scalar data within the opacity setting range of the ultrasonic volume data set in the first setting interface E1. And
In the third setting interface E3, in response to an operation instruction from the input device 4, an opacity coefficient that contributes to the output of ultrasonic volume data can be set.
Next, the composition calculation unit 21 receives the ultrasonic volume data in which the color and opacity are adjusted by the 2D transfer function processing unit 6, and receives the ultrasonic volume data adjusted by the 1D transfer function processing unit 20, These ultrasonic volume data are synthesized.

レンダリング処理部9は、合成演算部21により合成出力された超音波ボリュームデータを受け取り、この超音波ボリュームデータに対してボリュームレンダリング処理、すなわち3次元から2次元への座標変換、見えない部分を消去する陰面消去、立体感を出すための陰影処理などを行う。
表示部10は、レンダリング処理部9によりレンダリング処理された超音波ボリュームデータをモニタ11に表示する。
なお、表示部10は、1D伝達関数処理部20により色の調整された超音波ボリュームデータに対してボリュームレンダリング処理した結果をモニタ11に表示すると共に、当該超音波ボリュームデータの表示の例えば隣に、2D伝達関数処理部6により色、不透明度の調整された超音波ボリュームデータに対してボリュームレンダリング処理した結果を表示してもよい。
The rendering processing unit 9 receives the ultrasonic volume data synthesized and output by the synthesis calculation unit 21, and performs volume rendering processing on this ultrasonic volume data, that is, coordinate conversion from 3D to 2D, and erases invisible parts. Eliminate shadows and perform shading to create a three-dimensional effect.
The display unit 10 displays the ultrasonic volume data rendered by the rendering processing unit 9 on the monitor 11.
The display unit 10 displays the result of volume rendering processing on the ultrasonic volume data whose color has been adjusted by the 1D transfer function processing unit 20 on the monitor 11 and, for example, next to the display of the ultrasonic volume data. The result of volume rendering processing performed on the ultrasonic volume data whose color and opacity are adjusted by the 2D transfer function processing unit 6 may be displayed.

このように上記第2の実施の形態によれば、1D伝達関数処理部20によって超音波ボリュームデータの輝度値の1つの引数を取る1D伝達関数に応じて超音波ボリュームデータの色を調整し、かつ2D伝達関数処理部6によって超音波ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数に応じて超音波ボリュームデータの色、不透明度を調整する。これにより、超音波ボリュームデータの輝度値の1つの引数を取る1D伝達関数に応じて超音波ボリュームデータの色を調整する表示するに加えて、超音波ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数に応じて超音波ボリュームデータの色、不透明度を調整すれば、レンダリング処理された超音波ボリュームデータ中において乳腺腫瘍等の特定部位の陰影として用いることができる。これによって、2D伝達関数による結果を陰影として用い、ベースとなる1D伝達関数による結果とは独立に操作可能なイメージを得ることができる。   As described above, according to the second embodiment, the color of the ultrasound volume data is adjusted by the 1D transfer function processing unit 20 according to the 1D transfer function that takes one argument of the luminance value of the ultrasound volume data, In addition, the color and opacity of the ultrasonic volume data are adjusted by the 2D transfer function processing unit 6 in accordance with the 2D transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient of the luminance value. Thereby, in addition to the display for adjusting the color of the ultrasound volume data according to the 1D transfer function that takes one argument of the brightness value of the ultrasound volume data, the brightness value of the ultrasound volume data and the gradient of the brightness value are displayed. If the color and opacity of the ultrasound volume data are adjusted according to the 2D transfer function that takes two arguments, and can be used as a shadow of a specific site such as a breast tumor in the rendered ultrasound volume data . As a result, it is possible to obtain an image that can be operated independently of the result of the base 1D transfer function by using the result of the 2D transfer function as a shadow.

又、上記第1の実施の形態と同様に、超音波の3次元ボリュームデータの輝度値とこの輝度値の勾配との2つの引数を取る2D伝達関数を用いることによって、3次元ボリュームデータから乳腺腫瘍等の特定部位を輪郭抽出することができ、この輪郭抽出した乳腺腫瘍等の特定部位等を含む3次元ボリュームデータに対してボリュームレンダリング処理して表示できる。すなわち、従来、超音波ボリュームデータの輝度値だけでは分離できなかった乳腺腫瘍等の特定部位を分離でき、乳腺腫瘍等の特定部位のみ表示することができる。   Similarly to the first embodiment, by using a 2D transfer function that takes two arguments, the luminance value of the ultrasonic three-dimensional volume data and the gradient of the luminance value, the mammary gland is converted from the three-dimensional volume data. A contour of a specific part such as a tumor can be extracted, and volume rendering processing can be performed on the three-dimensional volume data including the specific part of the breast tumor extracted from the contour. That is, it is possible to separate a specific part such as a breast tumor that could not be separated only by the luminance value of ultrasonic volume data, and display only a specific part such as a breast tumor.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
上記実施形態では、乳腺腫瘍又は胎児の顔の観察を例に挙げたが、これに限らず、それぞれの手法を他の部位に対して適用することも可能である。
超音波プローブ1からの電気信号をリアルタイムに収集して取得した超音波ボリュームデータに限らず、過去に取得した超音波ボリュームデータをメモリから読み出し、この超音波ボリュームデータに対して上記本装置の動作を適用してもよい。
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
In the embodiment described above, observation of a breast tumor or a fetal face is taken as an example. However, the present invention is not limited to this, and each method can be applied to other parts.
Not only the ultrasonic volume data acquired by collecting the electrical signals from the ultrasonic probe 1 in real time, but also the ultrasonic volume data acquired in the past is read from the memory, and the operation of the apparatus is performed on this ultrasonic volume data. May be applied.

又、勾配値の組み合わせも本実施例に挙げたものに限定されない。
2D伝達関数は、ルックアップテーブルに記憶するに限らず、関数として実装してもよい。
2D伝達関数の係数は、1次元関数に限定されず、より複雑な形を取ってもよい。
ボリュームレンダリングの累積は、手前から行ってもよい。
Also, the combination of gradient values is not limited to those listed in this embodiment.
The 2D transfer function is not limited to being stored in the lookup table, and may be implemented as a function.
The coefficient of the 2D transfer function is not limited to a one-dimensional function, and may take a more complicated form.
The accumulation of volume rendering may be performed from the front.

1:超音波プローブ、11:モニタ、100:装置本体、2:送信部、3:受信部、4:入力装置、5:勾配値演算部、6:2D伝達関数処理部、9:レンダリング処理部、10:表示部、12:CPU、13:プログラムメモリ、14:メモリ、20:1D伝達関数処理部、21:合成演算部。   1: ultrasonic probe, 11: monitor, 100: apparatus main body, 2: transmission unit, 3: reception unit, 4: input device, 5: gradient value calculation unit, 6: 2D transfer function processing unit, 9: rendering processing unit 10: display unit, 12: CPU, 13: program memory, 14: memory, 20: 1D transfer function processing unit, 21: synthesis calculation unit.

Claims (12)

超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成する超音波診断装置において、
前記超音波ボリュームデータにおける複数の輝度値間の変化を勾配として求める勾配値演算部と、
前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、
前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、
前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部と、
を具備することを特徴とする超音波診断装置。
In an ultrasonic diagnostic apparatus that generates three-dimensional rendering image data based on ultrasonic volume data,
A gradient value calculation unit for obtaining a change between a plurality of luminance values in the ultrasonic volume data as a gradient;
The color and opacity of the ultrasonic volume data are adjusted according to a transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient, and the luminance value, the gradient, and the gradient are adjusted in the color adjustment. The color is adjusted based on the first contribution coefficient set for each, and the opacity is adjusted based on the luminance value, the gradient, and the second contribution coefficient set for each in the adjustment of the opacity. A two-argument transfer function processing unit,
A rendering processing unit that performs volume rendering processing on the volume data in which the color and the opacity are adjusted by the two-argument transfer function processing unit;
A display unit for displaying the ultrasonic volume data rendered by the rendering processing unit;
An ultrasonic diagnostic apparatus comprising:
被検体に対する3次元走査によって収集された超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成する超音波診断装置において、
前記超音波ボリュームデータ内において輝度値の勾配の方向ベクトルの縦方向、横方向、奥行き方向の要素及び勾配の大きさをそれぞれ求め、前記勾配の値の方向ベクトルの要素及び大きさの値を組み合わせて勾配スカラーデータを生成する勾配値演算部と、
前記超音波ボリュームデータの前記輝度値を第1の引数とし、前記勾配値を組み合わせた値を第2の引数とし、これら2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、
前記伝達関数における前記2つの引数を操作する操作部と、
前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記超音波ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、
前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部と、
を具備することを特徴とする超音波診断装置。
In an ultrasonic diagnostic apparatus for generating three-dimensional rendering image data based on ultrasonic volume data collected by three-dimensional scanning on a subject,
In the ultrasonic volume data, the vertical direction, horizontal direction, and depth direction elements of the gradient direction vector of the luminance value and the magnitude of the gradient are obtained, and the direction vector element and the magnitude value of the gradient value are combined. A gradient value calculator for generating gradient scalar data
The luminance value of the ultrasonic volume data is used as a first argument, a value obtained by combining the gradient values is used as a second argument, and the color and non-uniformity of the ultrasonic volume data are determined according to a transfer function taking these two arguments. Adjusting the transparency, and adjusting the color, adjusting the color based on the luminance value, the gradient, and a first contribution coefficient set to each, and adjusting the opacity, the luminance value, the gradient, and A two-argument transfer function processing unit for adjusting the opacity based on a second contribution coefficient set for each;
An operation unit for operating the two arguments in the transfer function;
A rendering processing unit that performs volume rendering processing on the ultrasonic volume data in which the color and the opacity are adjusted by the two-argument transfer function processing unit;
A display unit for displaying the ultrasonic volume data rendered by the rendering processing unit;
An ultrasonic diagnostic apparatus comprising:
超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成する超音波診断装置において、
前記超音波ボリュームデータにおける複数の輝度値間の変化を勾配として求める勾配値演算部と、
前記超音波ボリュームデータの輝度値の1つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色を調整する1引数伝達関数処理部と、
前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、
前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記超音波ボリュームデータと前記1引数伝達関数処理部により前記色が調整された前記超音波ボリュームデータとを合成する合成演算部と、
前記合成演算部により合成された前記超音波ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、
前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部と、
を具備することを特徴とする超音波診断装置。
In an ultrasonic diagnostic apparatus that generates three-dimensional rendering image data based on ultrasonic volume data,
A gradient value calculation unit for obtaining a change between a plurality of luminance values in the ultrasonic volume data as a gradient;
A one-argument transfer function processing unit that adjusts the color of the ultrasonic volume data according to a transfer function that takes one argument of the luminance value of the ultrasonic volume data;
The color and opacity of the ultrasonic volume data are adjusted according to a transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient, and the luminance value, the gradient, and the gradient are adjusted in the color adjustment. The color is adjusted based on the first contribution coefficient set for each, and the opacity is adjusted based on the luminance value, the gradient, and the second contribution coefficient set for each in the adjustment of the opacity. A two-argument transfer function processing unit,
A synthesis calculation unit that synthesizes the ultrasonic volume data in which the color and the opacity are adjusted by the two-argument transfer function processing unit and the ultrasonic volume data in which the color is adjusted by the one-argument transfer function processing unit When,
A rendering processing unit that performs volume rendering processing on the ultrasonic volume data synthesized by the synthesis operation unit;
A display unit for displaying the ultrasonic volume data rendered by the rendering processing unit;
An ultrasonic diagnostic apparatus comprising:
被検体に対する3次元走査によって収集された超音波ボリュームデータに基づいて3次元レンダリングイメージデータを生成する超音波診断装置において、
前記超音波ボリュームデータ内において輝度値の勾配の方向ベクトルの縦方向、横方向、奥行き方向の要素及び勾配の大きさをそれぞれ求め、前記勾配の値の方向ベクトルの要素及び大きさの値を組み合わせて勾配スカラーデータを生成する勾配値演算部と、
前記超音波ボリュームデータの前記輝度値を第1の引数とし、前記勾配値を組み合わせた値を第2の引数とし、これら2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整し、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整する2引数伝達関数処理部と、
前記超音波ボリュームデータの前記輝度値を第1の引数とし、当該第1の引数を取る伝達関数を通じて前記超音波ボリュームデータの色を調整する1引数伝達関数処理部と、
前記伝達関数における前記第1の引数又は前記第2の引数のうちいずれか一方又は両方を操作する操作部と、
前記2引数伝達関数処理部により前記色、前記不透明度が調整された前記超音波ボリュームデータと前記1引数伝達関数処理部により前記色が調整された前記超音波ボリュームデータとを合成する合成演算部と、
前記合成演算部により合成された前記超音波ボリュームデータに対してボリュームレンダリング処理するレンダリング処理部と、
前記レンダリング処理部によりレンダリング処理された前記超音波ボリュームデータを表示する表示部と、
を具備することを特徴とする超音波診断装置。
In an ultrasonic diagnostic apparatus for generating three-dimensional rendering image data based on ultrasonic volume data collected by three-dimensional scanning on a subject,
In the ultrasonic volume data, the vertical direction, horizontal direction, and depth direction elements of the gradient direction vector of the luminance value and the magnitude of the gradient are obtained, and the direction vector element and the magnitude value of the gradient value are combined. A gradient value calculator for generating gradient scalar data
The luminance value of the ultrasonic volume data is used as a first argument, a value obtained by combining the gradient values is used as a second argument, and the color and non-uniformity of the ultrasonic volume data are determined according to a transfer function taking these two arguments. Adjusting the transparency, and adjusting the color, adjusting the color based on the luminance value, the gradient, and a first contribution coefficient set to each, and adjusting the opacity, the luminance value, the gradient, and A two-argument transfer function processing unit for adjusting the opacity based on a second contribution coefficient set for each;
A one-argument transfer function processing unit that takes the luminance value of the ultrasonic volume data as a first argument and adjusts the color of the ultrasonic volume data through a transfer function that takes the first argument;
An operation unit for operating either one or both of the first argument and the second argument in the transfer function;
A synthesis calculation unit that synthesizes the ultrasonic volume data in which the color and the opacity are adjusted by the two-argument transfer function processing unit and the ultrasonic volume data in which the color is adjusted by the one-argument transfer function processing unit When,
A rendering processing unit that performs volume rendering processing on the ultrasonic volume data synthesized by the synthesis operation unit;
A display unit for displaying the ultrasonic volume data rendered by the rendering processing unit;
An ultrasonic diagnostic apparatus comprising:
前記勾配値演算部は、特定部位の分離を最適とするために前記勾配の方向ベクトルの縦方向、横方向、奥行き方向の全要素を使って当該勾配ベクトルの長さを求め、この勾配ベクトルの長さを前記勾配スカラーデータとして生成することを特徴とする請求項2又は4記載の超音波診断装置。   The gradient value calculation unit obtains the length of the gradient vector using all the elements in the vertical direction, the horizontal direction, and the depth direction of the gradient direction vector in order to optimize the separation of the specific part. 5. The ultrasonic diagnostic apparatus according to claim 2, wherein a length is generated as the gradient scalar data. 前記勾配の方向ベクトルは、縦方向、横方向、奥行き方向の3要素を有する3次元ベクトルであり、
前記勾配値演算部は、前記3次元ベクトルの前記3要素及び前記勾配ベクトルの大きさを任意に組み合わせる、
ことを特徴とする請求項2又は4記載の超音波診断装置。
The gradient direction vector is a three-dimensional vector having three elements in the vertical direction, the horizontal direction, and the depth direction,
The gradient value calculation unit arbitrarily combines the three elements of the three-dimensional vector and the magnitude of the gradient vector.
The ultrasonic diagnostic apparatus according to claim 2 or 4, wherein
前記伝達関数は、前記操作部に対する操作に応じて任意の特性を取ることを特徴とする請求項2又は4記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 2, wherein the transfer function has an arbitrary characteristic according to an operation on the operation unit. 前記2引数伝達関数処理部は、前記2つの引数を取る伝達関数をグレイスケールで表示し、
前記操作部は、前記超音波ボリュームデータの前記色、前記不透明度を調整するためにそれぞれ設けられ、前記超音波ボリュームデータの使用範囲の設定と、前記超音波ボリュームデータの使用範囲内における前記勾配スカラーデータの出力に寄与する係数の設定と、前記超音波ボリュームデータの出力に寄与する係数の設定とを可能とする2つのユーザインタフェースを有する、
ことを特徴とする請求項2又は4記載の超音波診断装置。
The two-argument transfer function processing unit displays the transfer function taking the two arguments in gray scale,
The operation unit is provided to adjust the color and the opacity of the ultrasonic volume data, and sets a use range of the ultrasonic volume data and the gradient within the use range of the ultrasonic volume data. Two user interfaces that enable setting of coefficients that contribute to the output of scalar data and setting of coefficients that contribute to the output of the ultrasound volume data;
The ultrasonic diagnostic apparatus according to claim 2 or 4, wherein
前記合成演算部によって前記第1と前記第2の引数により調整された前記超音波ボリュームデータと前記第1の引数により調整された前記超音波ボリュームデータとを合成する際、前記操作部を介して前記第1の引数又は前記第2の引数のうちいずれか一方又は両方を独立して任意の値に設定可能とする、
ことを特徴とする請求項4記載の超音波診断装置。
When synthesizing the ultrasonic volume data adjusted by the first argument and the ultrasonic volume data adjusted by the first argument by the synthesizing operation unit, via the operation unit Either one or both of the first argument and the second argument can be independently set to any value,
The ultrasonic diagnostic apparatus according to claim 4 .
前記表示部は、前記レンダリング処理された前記超音波ボリュームデータをリアルタイムで表示することを特徴とする請求項1乃至4のうちいずれか1項記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 1, wherein the display unit displays the rendered ultrasonic volume data in real time. コンピュータに、
超音波ボリュームデータにおける複数の輝度値間の変化を勾配として取得させる勾配取得機能と、
前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整させ、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整させる調整機能と、
前記色、前記不透明度が調整された前記超音波ボリュームデータに対してボリュームレンダリング処理させるボリュームレンダリング機能と、
前記レンダリング処理された前記超音波ボリュームデータを表示させる表示機能と、
を実現させる超音波画像生成プログラム。
On the computer,
A gradient acquisition function for acquiring a change between a plurality of luminance values in ultrasonic volume data as a gradient;
The color and opacity of the ultrasonic volume data are adjusted according to a transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient, and the luminance value, the gradient, and the gradient are adjusted in the color adjustment. The color is adjusted based on the first contribution coefficient set for each, and the opacity is adjusted based on the luminance value, the gradient, and the second contribution coefficient set for each in the adjustment of the opacity. Adjustment function
A volume rendering function for performing volume rendering processing on the ultrasonic volume data in which the color and the opacity are adjusted;
A display function for displaying the rendered ultrasonic volume data;
Ultrasonic image generation program that realizes
コンピュータに、
超音波ボリュームデータにおける複数の輝度値間の変化を勾配として取得させる勾配取得機能と、
前記超音波ボリュームデータの輝度値の1つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色を調整させる色調整機能と、
前記超音波ボリュームデータの輝度値と前記勾配との2つの引数を取る伝達関数に応じて前記超音波ボリュームデータの色、不透明度を調整させ、かつ前記色の調整では前記輝度値、前記勾配及びそれぞれに設定される第1の寄与係数に基づいて当該色を調整し、前記不透明度の調整では前記輝度値、前記勾配及びそれぞれに設定される第2の寄与係数に基づいて当該不透明度を調整させる色・不透明度調整機能と、
前記色、前記不透明度が調整された前記超音波ボリュームデータと前記色が調整された前記超音波ボリュームデータとを合成させる合成機能と、
前記合成された超音波ボリュームデータに対してボリュームレンダリング処理させるボリュームレンダリング機能と、
前記レンダリング処理された前記超音波ボリュームデータを表示させる表示機能と、
を実現させる超音波画像生成プログラム。
On the computer,
A gradient acquisition function for acquiring a change between a plurality of luminance values in ultrasonic volume data as a gradient;
A color adjustment function that adjusts the color of the ultrasonic volume data according to a transfer function that takes one argument of the luminance value of the ultrasonic volume data;
The color and opacity of the ultrasonic volume data are adjusted according to a transfer function that takes two arguments, the luminance value of the ultrasonic volume data and the gradient, and the luminance value, the gradient, and the gradient are adjusted in the color adjustment. The color is adjusted based on the first contribution coefficient set for each, and the opacity is adjusted based on the luminance value, the gradient, and the second contribution coefficient set for each in the adjustment of the opacity. Color and opacity adjustment function
A synthesis function for synthesizing the ultrasonic volume data with the color and the opacity adjusted, and the ultrasonic volume data with the color adjusted;
A volume rendering function for performing volume rendering processing on the synthesized ultrasonic volume data;
A display function for displaying the rendered ultrasonic volume data;
Ultrasonic image generation program that realizes
JP2009232279A 2009-10-06 2009-10-06 Ultrasonic diagnostic apparatus and ultrasonic image generation program Active JP5622374B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009232279A JP5622374B2 (en) 2009-10-06 2009-10-06 Ultrasonic diagnostic apparatus and ultrasonic image generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009232279A JP5622374B2 (en) 2009-10-06 2009-10-06 Ultrasonic diagnostic apparatus and ultrasonic image generation program

Publications (2)

Publication Number Publication Date
JP2011078514A JP2011078514A (en) 2011-04-21
JP5622374B2 true JP5622374B2 (en) 2014-11-12

Family

ID=44073250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009232279A Active JP5622374B2 (en) 2009-10-06 2009-10-06 Ultrasonic diagnostic apparatus and ultrasonic image generation program

Country Status (1)

Country Link
JP (1) JP5622374B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9192354B2 (en) 2011-06-07 2015-11-24 Konica Minolta, Inc. Ultrasound diagnostic apparatus and ultrasound diagnostic method
CN106667526A (en) * 2016-07-08 2017-05-17 广东睿超电子科技有限公司 Intelligent mammary gland and fetal heart detection system
CN111836584B (en) * 2020-06-17 2024-04-09 深圳迈瑞生物医疗电子股份有限公司 Ultrasound contrast imaging method, ultrasound imaging apparatus, and storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3762482B2 (en) * 1996-06-19 2006-04-05 株式会社日立メディコ Shading method and apparatus by volume rendering method
JP3522488B2 (en) * 1997-04-10 2004-04-26 アロカ株式会社 Ultrasound diagnostic equipment
JP3062463B2 (en) * 1997-11-07 2000-07-10 ジーイー横河メディカルシステム株式会社 Image generating method and apparatus, and medical image apparatus
JP3875915B2 (en) * 2002-05-14 2007-01-31 アロカ株式会社 Ultrasonic diagnostic equipment
JP4122463B2 (en) * 2002-07-26 2008-07-23 将吾 畦元 Method for generating medical visible image
JP4626138B2 (en) * 2003-09-30 2011-02-02 コニカミノルタエムジー株式会社 Image processing apparatus, image processing method, and program
JP2006000127A (en) * 2004-06-15 2006-01-05 Fuji Photo Film Co Ltd Image processing method, apparatus and program

Also Published As

Publication number Publication date
JP2011078514A (en) 2011-04-21

Similar Documents

Publication Publication Date Title
JP5264097B2 (en) Ultrasonic diagnostic equipment
US9173632B2 (en) Ultrasonic diagnosis system and image data display control program
JP5606076B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program
US7404797B2 (en) Ultrasonic imaging system and ultrasonic signal processing method
JP5770189B2 (en) Ultrasonic diagnostic equipment
US11521363B2 (en) Ultrasonic device, and method and system for transforming display of three-dimensional ultrasonic image thereof
WO2007043310A1 (en) Image displaying method and medical image diagnostic system
JP5525930B2 (en) Ultrasound diagnostic device for generating and displaying 3D ultrasound images
JP4632807B2 (en) Ultrasonic diagnostic equipment
JP2011104137A (en) Ultrasonic diagnostic system
JP2009011468A (en) Ultrasound diagnosis apparatus
JP4740695B2 (en) Ultrasonic diagnostic equipment
JP5942217B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
JP5622374B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image generation program
JP7076554B2 (en) Systems and methods for adaptively setting the dynamic range for ultrasound image display
KR101107478B1 (en) Ultrasound system and method for forming a plurality of 3 dimensional ultrasound images
KR101014559B1 (en) Ultrasound system and method for providing 3-dimensional ultrasound images
CN110537936B (en) Blood flow image processing device and method, and computer-readable storage medium
JP5823184B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program
JP2012066027A (en) Ultrasonic diagnostic apparatus and method
JP2000300555A (en) Ultrasonic image processing device
KR20140036977A (en) Ultrasonic diagnosis apparatus and program for controlling the same
JP2018187131A (en) Ultrasonic image processing device
JP2011024733A (en) Ultrasonic diagnostic apparatus
JP2019030575A (en) Ultrasound image processing apparatus and volume data processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140922

R150 Certificate of patent or registration of utility model

Ref document number: 5622374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350