JP5981281B2 - Ultrasonic diagnostic apparatus, image processing apparatus, and program - Google Patents
Ultrasonic diagnostic apparatus, image processing apparatus, and program Download PDFInfo
- Publication number
- JP5981281B2 JP5981281B2 JP2012200707A JP2012200707A JP5981281B2 JP 5981281 B2 JP5981281 B2 JP 5981281B2 JP 2012200707 A JP2012200707 A JP 2012200707A JP 2012200707 A JP2012200707 A JP 2012200707A JP 5981281 B2 JP5981281 B2 JP 5981281B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- rendering
- data
- voxel data
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
- A61B8/145—Echo-tomography characterised by scanning multiple planes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明の実施の形態は、超音波診断装置、画像処理装置及びプログラムに関する。 Embodiments described herein relate generally to an ultrasonic diagnostic apparatus, an image processing apparatus, and a program.
従来、超音波診断装置においては、2Dアレイプローブ(two dimensional array probe)や、メカニカル4Dプローブ(mechanical four dimensional probe)を用いて3次元データ(ボリュームデータ:Volume data)を収集し、収集したボリュームデータをボリュームレンダリングした超音波画像の表示が行われている。かかる超音波画像の表示に際しては、超音波診断装置は、ボリュームデータをXYZ座標からなる3次元のカーテシアン(Cartesian)座標系に座標変換したボクセルデータをボリュームレンダリングした超音波画像を表示することができる。 Conventionally, in an ultrasonic diagnostic apparatus, 2D array probes (two dimensional array probes) and mechanical 4D probes (mechanical four dimensional probes) are used to collect 3D data (volume data), and the collected volume data. An ultrasonic image obtained by volume rendering is displayed. When displaying such an ultrasonic image, the ultrasonic diagnostic apparatus can display an ultrasonic image obtained by volume-rendering voxel data obtained by coordinate conversion of volume data into a three-dimensional Cartesian coordinate system composed of XYZ coordinates. .
ここで、近年、ボリュームレンダリングを高速で行うための手法として、シアーワープ(Shear Warp)法が知られている。シアーワープ法は、上述したボクセルデータを用いたレンダリング手法であり、スライス状のボクセルデータを視線方向の変化(回転)に応じて再配置することで、ボリュームレンダリングを高速で行う。しかしながら、上述した従来の技術では、画質の低下を効率よく抑止することが困難となる場合があった。 Here, in recent years, a shear warp method is known as a method for performing volume rendering at high speed. The shear warp method is a rendering method using the above-described voxel data, and performs volume rendering at high speed by rearranging sliced voxel data in accordance with a change (rotation) in the line-of-sight direction. However, with the above-described conventional technology, it may be difficult to efficiently suppress a decrease in image quality.
本発明が解決しようとする課題は、画質の低下を効率よく抑止することを可能にする超音波診断装置、画像処理装置及びプログラムを提供することである。 The problem to be solved by the present invention is to provide an ultrasonic diagnostic apparatus, an image processing apparatus, and a program that can efficiently suppress a decrease in image quality.
実施の形態の超音波診断装置は、レンダリング手段と、検出手段と、ボクセルデータ生成手段とを備える。レンダリング手段は、ボクセルデータから構成される3次元データを複数のスライス領域に分割し、前記複数のスライス領域を、前記ボクセルデータを観察する視線方向に基づいて再配置し、前記スライス領域が再配置された前記ボクセルデータをボリュームレンダリングすることで画像データを生成する。検出手段は、前記レンダリング手段によって生成される画像データの画質を示す画質情報を検出する。ボクセルデータ生成手段は、前記検出手段によって検出された前記画質情報に基づいて、前記視線方向に基づいて、前記3次元データを構成する前記ボクセルデータを再配置する。 The ultrasonic diagnostic apparatus according to the embodiment includes a rendering unit, a detection unit, and a voxel data generation unit. Rendering means divides the three-dimensional data composed of voxel data into a plurality of slice regions, rearranges the plurality of slice regions based on a line-of-sight direction in which the voxel data is observed, and rearranges the slice regions Image data is generated by volume rendering the voxel data. The detecting means detects image quality information indicating the image quality of the image data generated by the rendering means. The voxel data generation means rearranges the voxel data constituting the three-dimensional data based on the line-of-sight direction based on the image quality information detected by the detection means.
(第1の実施形態)
まず、本実施形態に係る超音波診断装置の構成について説明する。図1は、第1の実施形態に係る超音波診断装置100の構成を説明するための図である。図1に示すように、第1の実施形態に係る超音波診断装置100は、超音波プローブ1と、モニタ2と、入力装置3と、装置本体10とを有する。
(First embodiment)
First, the configuration of the ultrasonic diagnostic apparatus according to the present embodiment will be described. FIG. 1 is a diagram for explaining a configuration of an ultrasonic
超音波プローブ1は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体10が有する送受信部11から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ1は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ1は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。なお、超音波プローブ1は、装置本体10と着脱自在に接続される。
The ultrasonic probe 1 includes a plurality of piezoelectric vibrators, and the plurality of piezoelectric vibrators generate ultrasonic waves based on a drive signal supplied from a transmission / reception unit 11 included in the apparatus
超音波プローブ1から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ1が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。 When ultrasonic waves are transmitted from the ultrasonic probe 1 to the subject P, the transmitted ultrasonic waves are reflected one after another at the discontinuous surface of the acoustic impedance in the body tissue of the subject P, and the ultrasonic probe is used as a reflected wave signal. 1 is received by a plurality of piezoelectric vibrators. The amplitude of the received reflected wave signal depends on the difference in acoustic impedance at the discontinuous surface where the ultrasonic wave is reflected. Note that the reflected wave signal when the transmitted ultrasonic pulse is reflected on the moving blood flow or the surface of the heart wall depends on the velocity component of the moving body in the ultrasonic transmission direction due to the Doppler effect. And undergoes a frequency shift.
ここで、本実施形態に係る超音波プローブ1は、超音波により被検体Pを2次元で走査するとともに、被検体Pを3次元で走査することが可能な超音波プローブである。具体的には、本実施形態に係る超音波プローブ1は、被検体Pを2次元で走査する複数の圧電振動子を所定の角度(揺動角度)で揺動させることで、被検体Pを3次元で走査するメカニカルスキャンプローブである。或いは、本実施形態に係る超音波プローブ1は、複数の圧電振動子がマトリックス状に配置されることで、被検体Pを3次元で超音波走査することが可能な2次元超音波プローブである。なお、2次元超音波プローブは、超音波を集束して送信することで、被検体Pを2次元で走査することが可能である。 Here, the ultrasound probe 1 according to the present embodiment is an ultrasound probe capable of scanning the subject P in two dimensions with ultrasound and scanning the subject P in three dimensions. Specifically, the ultrasonic probe 1 according to this embodiment swings a plurality of piezoelectric vibrators that scan the subject P in two dimensions at a predetermined angle (swing angle), thereby causing the subject P to move. This is a mechanical scan probe that scans in three dimensions. Alternatively, the ultrasonic probe 1 according to the present embodiment is a two-dimensional ultrasonic probe that can ultrasonically scan the subject P in three dimensions by arranging a plurality of piezoelectric vibrators in a matrix. . Note that the two-dimensional ultrasonic probe can scan the subject P two-dimensionally by focusing and transmitting ultrasonic waves.
モニタ2は、超音波診断装置100の操作者が入力装置3を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体10において生成された超音波画像などを表示したりする。例えば、モニタ2は、後述する制御部17の制御のもと生成されたレンダリング画像を表示する。
The monitor 2 displays a GUI (Graphical User Interface) for an operator of the ultrasonic
入力装置3は、トラックボール、スイッチ、ダイヤル、タッチコマンドスクリーンなどを有する。入力装置3は、超音波診断装置100の操作者からの各種設定要求を受け付け、装置本体10に対して受け付けた各種設定要求を転送する。例えば、入力装置3は、モニタ2に表示されたボリュームレンダリング画像の向きを変更するための回転操作を受付けて、受付けた回転操作の情報(例えば、右方向に45度回転など)を、制御部17に転送する。
The
装置本体10は、超音波プローブ1が受信した反射波に基づいて超音波画像を生成する装置である。具体的には、本実施形態に係る装置本体10は、超音波プローブ1が受信した3次元の反射波データに基づいて3次元超音波画像(ボリュームデータ)を生成可能な装置である。装置本体10は、図1に示すように、送受信部11と、Bモード処理部12と、ドプラ処理部13と、画像生成部14と、画像メモリ15と、内部記憶部16と、制御部17とを有する。
The apparatus
送受信部11は、トリガ発生回路、遅延回路およびパルサ回路などを有し、超音波プローブ1に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、遅延回路は、超音波プローブ1から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ1に駆動信号(駆動パルス)を印加する。すなわち、遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。 The transmission / reception unit 11 includes a trigger generation circuit, a delay circuit, a pulsar circuit, and the like, and supplies a drive signal to the ultrasonic probe 1. The pulsar circuit repeatedly generates rate pulses for forming transmission ultrasonic waves at a predetermined rate frequency. The delay circuit also sets the delay time for each piezoelectric vibrator necessary for determining the transmission directivity by focusing the ultrasonic wave generated from the ultrasonic probe 1 into a beam shape, and for each rate pulse generated by the pulser circuit. Give to. The trigger generation circuit applies a drive signal (drive pulse) to the ultrasonic probe 1 at a timing based on the rate pulse. In other words, the delay circuit arbitrarily adjusts the transmission direction from the piezoelectric vibrator surface by changing the delay time given to each rate pulse.
なお、送受信部11は、後述する制御部17の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧などを瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。
The transmission / reception unit 11 has a function capable of instantaneously changing the transmission frequency, the transmission drive voltage, and the like in order to execute a predetermined scan sequence based on an instruction from the
また、送受信部11は、アンプ回路、A/D変換器、加算器などを有し、超音波プローブ1が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。A/D変換器は、ゲイン補正された反射波信号をA/D変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、A/D変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。 The transmission / reception unit 11 includes an amplifier circuit, an A / D converter, an adder, and the like, and performs various processes on the reflected wave signal received by the ultrasonic probe 1 to generate reflected wave data. The amplifier circuit amplifies the reflected wave signal for each channel and performs gain correction processing. The A / D converter performs A / D conversion on the gain-corrected reflected wave signal and gives a delay time necessary for determining reception directivity to the digital data. The adder performs an addition process of the reflected wave signal processed by the A / D converter to generate reflected wave data. By the addition processing of the adder, the reflection component from the direction corresponding to the reception directivity of the reflected wave signal is emphasized.
このように、送受信部11は、超音波の送受信における送信指向性と受信指向性とを制御する。ここで、本実施形態に係る送受信部11は、超音波プローブ1から被検体Pに対して3次元の超音波ビームを送信させ、超音波プローブ1が受信した3次元の反射波信号から3次元の反射波データを生成する。 As described above, the transmission / reception unit 11 controls transmission directivity and reception directivity in ultrasonic transmission / reception. Here, the transmission / reception unit 11 according to the present embodiment transmits a three-dimensional ultrasonic beam from the ultrasonic probe 1 to the subject P, and three-dimensionally receives the three-dimensional reflected wave signal received by the ultrasonic probe 1. The reflected wave data is generated.
Bモード処理部12は、送受信部11から反射波データを受信し、対数増幅、包絡線検波処理などを行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。 ここで、Bモード処理部12は、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。また、Bモード処理部12は、一つの反射波データに対して、二つの検波周波数による検波処理を並列して行うことができる。 The B-mode processing unit 12 receives the reflected wave data from the transmission / reception unit 11 and performs logarithmic amplification, envelope detection processing, and the like to generate data (B-mode data) in which the signal intensity is expressed by brightness. . Here, the B-mode processing unit 12 can change the frequency band to be visualized by changing the detection frequency. Further, the B-mode processing unit 12 can perform detection processing with two detection frequencies in parallel on one reflected wave data.
ドプラ処理部13は、送受信部11から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
The
なお、本実施形態に係るBモード処理部12およびドプラ処理部13は、2次元の反射波データおよび3次元の反射波データの両方について処理可能である。すなわち、本実施形態に係るBモード処理部12は、3次元の反射波データから3次元のBモードデータを生成することができる。また、本実施形態に係るドプラ処理部13は、3次元の反射波データから3次元のドプラデータを生成することができる。
Note that the B-mode processing unit 12 and the
画像生成部14は、Bモード処理部12及びドプラ処理部13が生成したデータから超音波画像を生成する。すなわち、画像生成部14は、Bモード処理部12が生成したBモードデータから反射波の強度を輝度にて表したBモード画像を生成する。具体的には、画像生成部14は、Bモード処理部12が生成した3次元のBモードデータから、3次元のBモード画像を生成する。
The image generation unit 14 generates an ultrasound image from the data generated by the B mode processing unit 12 and the
また、画像生成部14は、ドプラ処理部13が生成したドプラデータから移動体情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像を生成する。具体的には、画像生成部14は、ドプラ処理部13が生成した3次元のドプラデータから、3次元のカラードプラ画像を生成する。なお、以下では、画像生成部14が生成した3次元のBモード画像及び3次元のカラードプラ画像をまとめて「ボリュームデータ」と記載する。
In addition, the image generation unit 14 generates a color Doppler image as an average velocity image, a dispersed image, a power image, or a combination image representing moving body information from the Doppler data generated by the
また、画像生成部14は、生成したボリュームデータをモニタ2にて表示するための各種画像を生成することができる。具体的には、画像生成部14は、ボリュームデータからMPR画像やレンダリング画像を生成することができる。 In addition, the image generation unit 14 can generate various images for displaying the generated volume data on the monitor 2. Specifically, the image generation unit 14 can generate an MPR image and a rendering image from the volume data.
すなわち、超音波プローブ1により被検体Pの撮影部位に対して超音波の3次元走査が行なわれることで、送受信部11は、3次元のデータを生成する。そして、画像生成部14は、ボリュームデータをモニタ2に表示するための画像として、例えば、操作者からの指示により、直交3断面におけるMPR画像や、超音波プローブ1の被検体Pに対する接触面を視点とした場合のレンダリング画像や、任意の場所を視点とした場合のレンダリング画像を生成する。 That is, when the ultrasonic probe 1 performs ultrasonic three-dimensional scanning on the imaging region of the subject P, the transmission / reception unit 11 generates three-dimensional data. Then, the image generation unit 14 displays, as an image for displaying volume data on the monitor 2, for example, an MPR image in three orthogonal cross sections or a contact surface of the ultrasonic probe 1 with respect to the subject P according to an instruction from the operator. A rendering image when a viewpoint is used and a rendering image when an arbitrary place is a viewpoint are generated.
また、画像生成部14は、ボリュームデータをXYZ座標からなる3次元のカーテシアン座標系に座標変換されたボクセルデータからレンダリング画像を生成する。例えば、画像生成部14は、シアーワープ(Shear Warp)を用いてボクセルデータからレンダリング画像を生成する。 In addition, the image generation unit 14 generates a rendering image from voxel data obtained by coordinate conversion of volume data into a three-dimensional Cartesian coordinate system including XYZ coordinates. For example, the image generation unit 14 generates a rendering image from voxel data using a shear warp.
画像メモリ15は、画像生成部14が生成した超音波画像を記憶するメモリである。また、画像メモリ15は、Bモード処理部12やドプラ処理部13が生成したデータを記憶することも可能である。
The
内部記憶部16は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見など)や、診断プロトコルや各種ボディーマークなどの各種データを記憶する。また、内部記憶部16は、必要に応じて、画像メモリ15が記憶する画像の保管などにも使用される。 また、内部記憶部16は、シアーワープによって生成されるレンダリング画像の画質を予測するための予測情報を記憶する。なお、予測情報については、後に詳述する。
The
制御部17は、情報処理装置(計算機)としての機能を実現する制御プロセッサ(CPU:Central Processing Unit)であり、超音波診断装置100の処理全体を制御する。具体的には、制御部17は、入力装置3を介して操作者から入力された各種設定要求や、内部記憶部16から読込んだ各種制御プログラム及び各種データに基づき、送受信部11、Bモード処理部12、ドプラ処理部13及び画像生成部14の処理を制御する。また、制御部17は、画像メモリ15が記憶する超音波画像や、内部記憶部16が記憶する各種画像、又は、画像生成部14による処理を行なうためのGUI、画像生成部14の処理結果などをモニタ2にて表示するように制御する。
The
以上、第1の実施形態に係る超音波診断装置100の全体構成について説明した。かかる構成のもと、第1の実施形態に係る超音波診断装置100は、以下、詳細に説明する制御部17の処理により、画質の低下を抑止することができるように構成されている。
The overall configuration of the ultrasonic
ここで、まず、従来技術、特にシアーワープを用いて生成されるレンダリング画像において画質が低下する場合について説明する。図2は、従来技術に係る課題の一例を説明するための図である。ここで、図2においては、ボリュームデータをカーテシアン座標系に座標変換したボクセルデータを上側から見た場合の図を示す。すなわち、図2に示す実線はそれぞれボリュームデータから生成されたスライスデータを示す。 Here, first, a case where the image quality is deteriorated in a rendering image generated using the prior art, particularly, shear warp will be described. FIG. 2 is a diagram for explaining an example of a problem related to the related art. Here, FIG. 2 shows a view when the voxel data obtained by converting the volume data into the Cartesian coordinate system is viewed from above. That is, each solid line shown in FIG. 2 indicates slice data generated from volume data.
例えば、ボクセルデータからレンダリング画像を生成するレンダリングにおいては、図2の(A)に示すように、視線方向20からクリッピングプレーンの厚さ21の間にあるボクセルデータからレンダリング画像を生成する。すなわち、図2の(A)においては、視線方向20からレンダリングする場合、5スライス分のボクセルデータを用いたレンダリングとなる。
For example, in rendering in which a rendering image is generated from voxel data, the rendering image is generated from voxel data between the line-of-
ここで、図2の(B)に示すように、視線方向を視線方向20から視線方向22に変化させた(レンダリング画像を回転させる)場合、シアーワープによるレンダリングでは、図2の(C)に示すように、ボクセルデータの座標を変化させる。すなわち、視線方向20からレンダリングした場合に、視線方向22から見た場合のクリッピングプレーンの厚さ21に含まれるボクセルデータが用いられるように、各ボクセルデータが再配置される。
Here, as shown in FIG. 2B, when the line-of-sight direction is changed from the line-of-
従って、シアーワープによるレンダリングでは、例えば、図2の(C)における両端の矢印に示すように、レンダリングに用いられるボクセルデータが奥行き方向に欠落したり、再配置の際にボクセルデータ間の間隔が広がることで、画質が低下する場合があった。ここで、画質の低下としては、例えば、画像に不連続な部分が発生したり、解像度が低下したりすることなどが挙げられる。 Therefore, in rendering by shear warp, for example, as indicated by arrows at both ends in FIG. 2C, voxel data used for rendering is missing in the depth direction, or the interval between voxel data is widened at the time of rearrangement. As a result, the image quality may deteriorate. Here, the deterioration in image quality includes, for example, the occurrence of a discontinuous portion in the image or a decrease in resolution.
このような画質の低下に対しては、例えば、角度に応じてスライス方向の異なる複数種類のボクセルデータを予め用意したり、回転後にスライス方向の異なるボクセルデータを再生成したりすることが考えられる。しかしながら、複数種類のボクセルデータを予め用意する場合には、余分なメモリ容量を消費するうえに、1ボリュームデータにつき複数種類のボクセルデータを生成しなければならず、リアルタイム性に欠けてしまい、画質の低下を効率よく抑止することが困難である。 For such a decrease in image quality, for example, a plurality of types of voxel data with different slice directions depending on the angle may be prepared in advance, or voxel data with different slice directions may be regenerated after rotation. . However, when a plurality of types of voxel data are prepared in advance, an extra memory capacity is consumed, and a plurality of types of voxel data must be generated for one volume data. It is difficult to efficiently suppress the decrease in
また、回転後にボクセルデータを再生成する場合には、ユーザがレンダリング画像を回転させるたびにボクセルデータを生成することとなる。ここで、シアーワープによるレンダリングでは、レンダリングの条件(例えば、ボクセルデータのサイズ、データに含まれる構造、透明度、クリッピングプレーンの厚さなど)により、画質が低下した場合でも外見上認識されない程度の場合もあり、ユーザがレンダリング画像を回転させるたびにボクセルデータを生成することで回転操作後のレスポンスが悪くなり、画質の低下を効率よく抑止することが困難である。そこで、第1の実施形態に係る超音波診断装置100においては、以下に詳細に記載する制御部17の処理により、画質の低下を効率よく抑止することを可能にする。
When voxel data is regenerated after rotation, voxel data is generated every time the user rotates the rendering image. Here, when rendering with shear warp, even if the image quality deteriorates due to the rendering conditions (for example, the size of the voxel data, the structure included in the data, the transparency, the thickness of the clipping plane, etc.), it may not be recognized in appearance. In addition, since the voxel data is generated every time the user rotates the rendering image, the response after the rotation operation is deteriorated, and it is difficult to efficiently suppress the deterioration of the image quality. Therefore, in the ultrasonic
図3は、第1の実施形態に係る制御部17の構成の一例を示す図である。図3に示すように、第1の実施形態に係る制御部17は、ボクセルデータ生成部171と、レンダリング制御部172と、検出部173とを有する。
FIG. 3 is a diagram illustrating an example of the configuration of the
ボクセルデータ生成部171は、ボリュームデータをカーテシアン座標系に座標変換したボクセルデータを生成する。具体的には、ボクセルデータ生成部171は、画像生成部14によって生成されたボリュームデータを、ボクセルエクスポートによってXYZ座標に座標変換したボクセルデータを生成する。図4は、第1の実施形態に係るボクセルデータ生成部171によるボクセルデータ生成の一例を説明するための図である。 The voxel data generation unit 171 generates voxel data obtained by coordinate conversion of volume data into the Cartesian coordinate system. Specifically, the voxel data generation unit 171 generates voxel data obtained by converting the volume data generated by the image generation unit 14 into XYZ coordinates by voxel export. FIG. 4 is a diagram for explaining an example of voxel data generation by the voxel data generation unit 171 according to the first embodiment.
例えば、ボクセルデータ生成部171は、図4の(A)に示すボリュームデータを矢印23の方向でスライスして、図4の(B)に示すように、XYZ座標上に各スライスを配置したボクセルデータを生成する。 For example, the voxel data generation unit 171 slices the volume data shown in FIG. 4A in the direction of the arrow 23 and arranges each slice on the XYZ coordinates as shown in FIG. 4B. Generate data.
また、ボクセルデータ生成部171は、後述する検出部173による判定結果に基づいて、ボクセルデータを再生成する。換言すると、ボクセルデータ生成部171は、検出部173によって検出された画質情報に基づいて、視線方向に基づいて、3次元データを構成するボクセルデータを再配置する。なお、ボクセルデータの再生成については、後に詳述する。
Further, the voxel data generation unit 171 regenerates the voxel data based on the determination result by the
図3に戻って、レンダリング制御部172は、ボクセルデータから構成される3次元データを複数のスライス領域に分割し、前記複数のスライス領域を、前記ボクセルデータを観察する視線方向に基づいて再配置し、前記スライス領域が再配置された前記ボクセルデータをボリュームレンダリングすることで画像データを生成する。具体的には、レンダリング制御部172は、ボクセルデータ生成部171によって生成されたボクセルデータを用いてシアーワープによるボリュームレンダリングを実行させて、レンダリング画像を生成するように画像生成部14を制御する。
Returning to FIG. 3, the
検出部173は、レンダリング制御部172よって生成される画像データの画質を示す画質情報を検出する。具体的には、検出部173は、レンダリング制御部172によって生成されたレンダリング画像における輝度情報を直線状に取得し、取得した輝度情報に基づいて、レンダリング画像の画質が低下するか否かを判定する。より具体的には、検出部173は、直線状に取得した輝度情報によって形成される波形をフーリエ変換し、所定の周波数成分が含まれる場合に、レンダリング画像の画質が低下すると判定する。また、検出部173は、直線状に取得した輝度情報によって形成される波形をフーリエ変換し、所定の周波数よりも高い周波数成分が含まれていない場合に、レンダリング画像の画質が低下すると判定する。
The
図5A〜図5Cは、第1の実施形態に係る検出部173による処理の一例を説明するための図である。ここで、図5A〜図5Cにおいては、レンダリング制御部172の制御のもと画像生成部14によって生成されたレンダリング画像を示す。すなわち、図5A〜図5Cにおいては、シアーワープにより生成されたレンダリング画像に対する処理を示す。
5A to 5C are diagrams for explaining an example of processing by the
例えば、検出部173は、図5Aに示すように、レンダリング画像に対して矢印24の方向に3本、矢印25の方向に2本のライン状に輝度情報のサンプリングを行う。ここで、サンプリングを行う方向及びラインの数は任意に設定することができる。また、検出部173は、レンダリング条件に基づいて、サンプリングする方向を決定することも可能である。すなわち、検出部173は、レンダリング画像を回転させる場合の回転の向きに応じて、画像上に発生する不連続の部分の向きを予測し、予測した向きに直交する方向でサンプリングを実行する。
For example, as illustrated in FIG. 5A, the
そして、検出部173は、ライン状にサンプリングした輝度情報から形成される波形を解析することで、レンダリング画像の画質が低下するか否かを判定する。例えば、検出部173は、ライン状にサンプリングした輝度情報の波形をフーリエ変換して、所定の周波数に突出して強い成分がある場合にレンダリング画像に不連続部分があると判定する。一例を挙げると、検出部173は、図5Bに示すように、矢印24の方向にラインサンプリングした輝度情報の波形をフーリエ変換し、所定の周波数に突出して強い成分がある場合に、不連続部分26がレンダリング画像に含まれていると判定する。
Then, the
また、検出部173は、ライン状にサンプリングした輝度情報の波形をフーリエ変換して、所定の周波数よりも高い周波数成分がない場合にレンダリング画像の解像度が低下していると判定する。一例を挙げると、検出部173は、図5Cに示すように、矢印24の方向、或いは矢印25の方向にラインサンプリングした輝度情報の波形をフーリエ変換し、高周波成分が含まれていない場合に、レンダリング画像の解像度が低下していると判定する。
In addition, the
ここで、ボクセルデータ生成部171は、画質情報に基づいて、検出部173が検出に用いたボクセルデータをレンダリング制御部172へ出力する第1のモードと、再配置を行ったボクセルデータをレンダリング制御部172へ出力する第2のモードとを切り替える。具体的には、ボクセルデータ生成部171は、ボクセルデータから生成されるレンダリング画像の画質が低下しないと検出部173に判定された場合には、当該ボクセルデータをレンダリング制御部172に出力する。一方、ボクセルデータ生成部171は、ボクセルデータから生成されるレンダリング画像の画質が低下すると検出部173に判定された場合には、ボリュームデータからボクセルデータを再生成して、再生成したボクセルデータをレンダリング制御部172に出力する。
Here, the voxel data generation unit 171 performs rendering control on the first mode in which the voxel data used by the
検出部173によってレンダリング画像の画質が低下すると判定され、ボクセルデータを再生成する場合には、ボクセルデータ生成部171は、視線方向に基づいて、ボリュームデータからボクセルデータを生成する。具体的には、ボクセルデータ生成部171は、レンダリング制御部172の制御によって実行されるシアーワープによるボリュームレンダリングの視線方向に基づいて、ボリュームデータからボクセルデータを再生成する。
When it is determined by the
図6は、第1の実施形態に係るボクセルデータ生成部171によるボクセルデータの再生成の一例を説明するための図である。ここで、図6においては、図4に示すボリュームデータからのボクセルデータ再生成について示す。例えば、ボクセルデータ生成部171は、図6の(A)に示すように、スライスする方向を矢印27の方向に変更する。そして、ボクセルデータ生成部171は、図6の(B)に示すように、ボリュームデータを矢印27の方向でスライスし、XYZ座標上に各スライスを配置したボクセルデータを生成する。
FIG. 6 is a diagram for explaining an example of voxel data regeneration by the voxel data generation unit 171 according to the first embodiment. Here, FIG. 6 shows the voxel data regeneration from the volume data shown in FIG. For example, the voxel data generation unit 171 changes the slicing direction to the direction of the
ここで、ボクセルデータ生成部171は、レンダリング制御部172によるシアーワープのレンダリング条件に基づいて、スライスする方向を決定する。すなわち、ボクセルデータ生成部171は、レンダリング画像の回転角度(ボリュームデータに対する視線方向)に応じて、ボリュームデータをスライスする方向を決定する。
Here, the voxel data generation unit 171 determines the slice direction based on the rendering condition of the shear warp by the
ボクセルデータ生成部171によってボクセルデータが再生成されると、レンダリング制御部172は、画像生成部14を制御して、再生成されたボクセルデータに対してシアーワープによるレンダリングを実行させ、レンダリング画像を生成させる。
When the voxel data is regenerated by the voxel data generation unit 171, the
上述したように、第1の実施形態に係る制御部17は、シアーワープによって生成されたレンダリング画像に画質の低下があるか否かを判定し、画質の低下があると判定した場合に、ボクセルデータを再生成する。これにより、第1の実施形態に係る超音波診断装置100は、ボクセルデータの再生成を必要最低限に抑えることができ、レンダリング画像の画質の低下を効率よく抑止することができる。
As described above, the
次に、図7を用いて、第1の実施形態に係る超音波診断装置100の処理について説明する。図7は、第1の実施形態に係る超音波診断装置100による処理の手順を示すフローチャートである。図7に示すように、第1の実施形態に係る超音波診断装置100においては、シアーワープによるレンダリングのモードであると(ステップS101肯定)、ボクセルデータ生成部171が、画像生成部14によって生成されたボリュームデータからボクセルデータを生成する(ステップS102)。
Next, processing of the ultrasonic
レンダリング制御部172は、ボクセルデータ生成部171によって生成されたボクセルデータに対してシアーワープによるレンダリングを実行するように画像生成部14を制御する(ステップS103)。そして、入力装置3が、操作者によるレンダリング画像の回転操作を受付けると(ステップS104肯定)、レンダリング制御部172が回転後のレンダリング画像を生成させる。
The
そして、検出部173は、生成された回転後のレンダリング画像上をライン状にサンプリングして(ステップS105)、フーリエ変換による波形解析を実行する(ステップS106)。具体的には、検出部173は、回転後のレンダリング画像の輝度情報をライン状にサンプリングし、サンプリングした輝度情報によって形成される波形をフーリエ変換する。そして、検出部173は、フーリエ変換によって得られた周波数に基づいて、レンダリング画像に不連続部分があるか否かを判定し(ステップS107)、さらに、解像度が低下しているか否かを判定する(ステップS108)。
Then, the
ここで、レンダリング画像に不連続部分がなく(ステップS107否定)、さらに、レンダリング画像の解像度が低下していないと判定された場合には(ステップS108否定)、制御部17は、回転後のレンダリング画像をモニタ2にて表示させる(ステップS109)。
Here, when it is determined that there is no discontinuous portion in the rendered image (No at Step S107) and the resolution of the rendered image is not reduced (No at Step S108), the
一方、レンダリング画像に不連続部分が含まれている(ステップS107肯定)、或いは、レンダリング画像の解像度が低下していると判定された場合には(ステップS108肯定)、ボクセルデータ生成部171が、ボクセルデータを再生成する(ステップS110)。そして、レンダリング制御部172が、再生成されたボクセルデータを用いたシアーワープによるレンダリングを画像生成部14に実行させる(ステップS111)。その後、制御部17が、再生成されたボクセルデータから生成されたレンダリング画像をモニタ2にて表示させる(ステップS109)。
On the other hand, when it is determined that the rendered image includes a discontinuous portion (Yes at Step S107) or the resolution of the rendered image is lowered (Yes at Step S108), the voxel data generation unit 171 Voxel data is regenerated (step S110). Then, the
そして、制御部17は、終了コマンドを受付けた場合に(ステップS112肯定)、処理を終了する。なお、制御部17は、終了コマンドを受付けるまで、レンダリング画像(画像データ)を表示させた状態で、回転操作の受付待機状態となる(ステップS112否定)。また、ステップS104において、回転操作を受付けていない場合には(ステップS104否定)、制御部17は、レンダリング画像(画像データ)を継続して表示させる。また、シアーワープによるレンダリングのモードではない場合には(ステップS101否定)、制御部17は、画像生成部14にボリュームレンダリングを実行させ(ステップS113)、レンダリング画像をモニタ2にて表示させる(ステップS109)。
And control
上述したように、第1の実施形態によれば、レンダリング制御部172は、ボクセルデータから構成される3次元データを複数のスライス領域に分割し、複数のスライス領域を、ボクセルデータを観察する視線方向に基づいて再配置し、スライス領域が再配置されたボクセルデータをボリュームレンダリングすることで画像データを生成する。そして、検出部173は、レンダリング制御部172によって生成される画像データの画質を示す画質情報を検出する。そして、ボクセルデータ生成部171は、検出部173によって検出された画質情報に基づいて、視線方向に基づいて、3次元データを構成するボクセルデータを再配置する。従って、第1の実施形態に係る超音波診断装置100は、ボクセルデータの再生成を必要最低限に抑えることができ、レンダリング画像の画質の低下を効率よく抑止することを可能にする。
As described above, according to the first embodiment, the
また、第1の実施形態によれば、ボクセルデータ生成部171は、画質情報に基づいて、検出部173が検出に用いたボクセルデータをレンダリング制御部172へ出力する第1のモードと、ボクセルデータ生成部171が再配置を行ったボクセルデータをレンダリング制御部172へ出力する第2のモードとを切り替える。従って、第1の実施形態に係る超音波診断装置100は、画質に応じてボクセルデータを再配置するか否かを決定することを可能にする。
Further, according to the first embodiment, the voxel data generation unit 171 outputs the voxel data used for detection by the
また、第1の実施形態によれば、検出部173は、レンダリング制御部172によって生成されたレンダリング画像における輝度情報をライン状に取得し、取得した輝度情報に基づいて、レンダリング画像の画質が低下するか否かを判定する。従って、第1の実施形態に係る超音波診断装置100は、レンダリング画像の画質の低下を処理負荷をかけずに確度高く判定することを可能にする。
Further, according to the first embodiment, the
また、第1の実施形態によれば、検出部173は、ライン状に取得した輝度情報によって形成される波形をフーリエ変換し、所定の周波数成分が含まれる場合に、レンダリング画像の画質が低下すると判定する。従って、第1の実施形態に係る超音波診断装置100は、レンダリング画像に不連続部分が含まれる場合の画質低下を検出することを可能にする。
In addition, according to the first embodiment, the
また、第1の実施形態によれば、検出部173は、ライン状に取得した輝度情報によって形成される波形をフーリエ変換し、所定の周波数よりも高い周波数成分が含まれていない場合に、レンダリング画像の画質が低下すると判定する。従って、第1の実施形態に係る超音波診断装置100は、レンダリング画像の解像度が低下した場合の画質低下を検出することを可能にする。
Further, according to the first embodiment, the
(第2の実施形態)
上述した第1の実施形態では、波形をフーリエ変換して画質が低下しているか否かを判定する場合について説明した。第2の実施形態では、輝度値の分布に基づいて画質が低下しているか否かを判定する場合について説明する。なお、第2の実施形態に係る超音波診断装置は、第1の実施形態に係る超音波診断装置100と比較して、図3に示す検出部173の処理内容のみが異なる。以下、これを中心に説明する。
(Second Embodiment)
In the first embodiment described above, the case where the waveform is subjected to Fourier transform to determine whether the image quality has deteriorated has been described. In the second embodiment, a case will be described in which it is determined whether the image quality is deteriorated based on the luminance value distribution. Note that the ultrasonic diagnostic apparatus according to the second embodiment differs from the ultrasonic
第2の実施形態に係る検出部173は、直線状に取得した輝度情報の輝度値の分布が所定の範囲以内である場合に、レンダリング画像の画質が低下すると判定する。具体的には、検出部173は、ライン状に取得した輝度情報の各輝度値のヒストグラムを生成して、輝度値の分布が所定の範囲以内にあった場合に、レンダリング画像の解像度が低下していると判定する。
The
次に、図8を用いて、第2の実施形態に係る超音波診断装置100の処理について説明する。図8は、第2の実施形態に係る超音波診断装置100による処理の手順を示すフローチャートである。図8に示すように、第2の実施形態に係る超音波診断装置100においては、シアーワープによるレンダリングのモードであると(ステップS201肯定)、ボクセルデータ生成部171が、画像生成部14によって生成されたボリュームデータからボクセルデータを生成する(ステップS202)。
Next, processing of the ultrasonic
レンダリング制御部172は、ボクセルデータ生成部171によって生成されたボクセルデータに対してシアーワープによるレンダリングを実行するように画像生成部14を制御する(ステップS203)。そして、入力装置3が、操作者によるレンダリング画像の回転操作を受付けると(ステップS204肯定)、レンダリング制御部172が回転後のレンダリング画像を生成させる。
The
そして、検出部173は、生成された回転後のレンダリング画像上をライン状にサンプリングして(ステップS205)、フーリエ変換による波形解析を実行する(ステップS206)。具体的には、検出部173は、回転後のレンダリング画像の輝度情報をライン状にサンプリングし、サンプリングした輝度情報によって形成される波形をフーリエ変換する。そして、検出部173は、フーリエ変換によって得られた周波数に基づいて、レンダリング画像に不連続部分があるか否かを判定する(ステップS207)。
Then, the
その後、検出部173は、ピクセルカウントによって波形解析を実行する(ステップS208)。具体的には、検出部173は、ライン状にサンプリングした輝度情報の輝度値の分布に基づいて、レンダリング画像の解像度が低下しているか否かを判定する(ステップS209)。
Thereafter, the
ここで、レンダリング画像に不連続部分がなく(ステップS207否定)、さらに、レンダリング画像の解像度が低下していないと判定された場合には(ステップS209否定)、制御部17は、回転後のレンダリング画像をモニタ2にて表示させる(ステップS210)。
Here, when it is determined that there is no discontinuous portion in the rendered image (No at Step S207) and the resolution of the rendered image is not lowered (No at Step S209), the
一方、レンダリング画像に不連続部分が含まれている(ステップS207肯定)、或いは、レンダリング画像の解像度が低下していると判定された場合には(ステップS209肯定)、ボクセルデータ生成部171が、ボクセルデータを再生成する(ステップS211)。そして、レンダリング制御部172が、再生成されたボクセルデータを用いたシアーワープによるレンダリングを画像生成部14に実行させる(ステップS212)。その後、制御部17が、再生成されたボクセルデータから生成されたレンダリング画像をモニタ2にて表示させる(ステップS210)。
On the other hand, when it is determined that the rendered image includes a discontinuous portion (Yes at Step S207) or the resolution of the rendered image is lowered (Yes at Step S209), the voxel data generation unit 171 Voxel data is regenerated (step S211). Then, the
そして、制御部17は、終了コマンドを受付けた場合に(ステップS213肯定)、処理を終了する。なお、制御部17は、終了コマンドを受付けるまで、レンダリング画像(画像データ)を表示させた状態で、回転操作の受付待機状態となる(ステップS213否定)。また、ステップS204において、回転操作を受付けていない場合には(ステップS204否定)、制御部17は、レンダリング画像(画像データ)を継続して表示させる。また、シアーワープによるレンダリングのモードではない場合には(ステップS201否定)、制御部17は、画像生成部14にボリュームレンダリングを実行させ(ステップS214)、レンダリング画像をモニタ2にて表示させる(ステップS210)。
And control
上述したように、第2の実施形態によれば、検出部173は、ライン状に取得した輝度情報の輝度値の分布が所定の範囲以内である場合に、レンダリング画像の画質が低下すると判定する。従って、第2の実施形態に係る超音波診断装置100は、レンダリング画像の解像度が低下した場合の画質低下を簡易に検出することを可能にする。
As described above, according to the second embodiment, the
(第3の実施形態)
上述した第1及び第2の実施形態では、回転後のレンダリング画像を生成し、生成したレンダリング画像上の輝度情報をライン状にサンプリングして、サンプリングした輝度情報に基づいて画質の低下を判定する場合について説明した。第3の実施形態では、回転後のレンダリングの条件に基づいて画質の低下を予測する場合について説明する。
(Third embodiment)
In the first and second embodiments described above, a rotated rendered image is generated, luminance information on the generated rendered image is sampled in a line shape, and deterioration in image quality is determined based on the sampled luminance information. Explained the case. In the third embodiment, a case will be described in which a decrease in image quality is predicted based on the rendering conditions after rotation.
図9は、第3の実施形態に係る制御部17の構成の一例を示す図である。図9に示すように、第3の実施形態に係る制御部17は、画質予測部174を新たに有する。画質予測部174は、レンダリング制御部172によって実行されるボリュームレンダリングの条件に基づいて、レンダリング画像の画質が低下するか否かを予測する。具体的には、画質予測部174は、内部記憶部16によって記憶される予測情報に基づいて、回転後のレンダリング画像の画質が低下するか否かを予測する。
FIG. 9 is a diagram illustrating an example of the configuration of the
ここで、予測情報について説明する。図10は、第3の実施形態に係る内部記憶部16によって記憶される予測情報の一例を示す図である。例えば、内部記憶部16は、図10に示すように、条件ごとに、判定基準となる値を対応付けた予測情報を記憶する。一例を挙げると、内部記憶部16は、「ボクセルデータサイズ」、「表示範囲」、「透明度」、「回転角度」、「クリッピングプレーンの厚み」などのレンダリング条件ごとに値を対応付けた予測情報を記憶する。
Here, the prediction information will be described. FIG. 10 is a diagram illustrating an example of prediction information stored by the
画質予測部174は、入力装置3が操作者による回転操作を受付けた場合に、回転角度などの操作内容の情報と、レンダリング制御部172によって制御されるシアーワープによるレンダリングの条件とを取得する。そして、画質予測部174は、取得した各情報と予測情報とを比較して、レンダリング画像の画質が低下するか否かを判定する。例えば、画質予測部174は、取得した情報の値と予測情報の値とを条件ごとに比較して、画質が低下するか否かを判定する。なお、予測情報に含まれる条件及び条件ごとの値は、任意に決定される。また、一つの条件のみを用いて予測を行う場合であってもよく、或いは、複数の条件を用いて予測を行う場合であってもよい。
When the
ボクセルデータ生成部171は、画質予測部174によってレンダリング画像の画質が低下しないと判定された場合には、既に生成済みのボクセルデータをレンダリング制御部172に出力する。一方、画質予測部174によってレンダリング画像の画質が低下すると判定された場合には、ボクセルデータ生成部171は、レンダリングの条件に基づいて、ボクセルデータを再生成し、再生成したボクセルデータをレンダリング制御部172に出力する。
If the image quality prediction unit 174 determines that the quality of the rendered image does not deteriorate, the voxel data generation unit 171 outputs already generated voxel data to the
次に、図11を用いて、第3の実施形態に係る超音波診断装置100の処理について説明する。図11は、第3の実施形態に係る超音波診断装置100による処理の手順を示すフローチャートである。図11に示すように、第3の実施形態に係る超音波診断装置100においては、シアーワープによるレンダリングのモードであると(ステップS301肯定)、ボクセルデータ生成部171が、画像生成部14によって生成されたボリュームデータからボクセルデータを生成する(ステップS302)。
Next, processing of the ultrasonic
画質予測部174は、レンダリング制御部172によって実行されるシアーワープによるレンダリングの条件を取得し(ステップS303)、レンダリング画像の画質が低下するか否かを判定する。具体的には、画質予測部174は、不連続部分が発生するか否か(ステップS304)、さらに、解像度が低下するか否か(ステップS305)を予測する。 The image quality prediction unit 174 obtains the rendering conditions by the shear warp executed by the rendering control unit 172 (step S303), and determines whether the image quality of the rendered image is degraded. Specifically, the image quality prediction unit 174 predicts whether or not a discontinuous portion occurs (step S304), and further whether or not the resolution decreases (step S305).
ここで、レンダリング画像に不連続部分が発生せず(ステップS304否定)、さらに、レンダリング画像の解像度が低下しないと予測された場合には(ステップS305否定)、レンダリング制御部172は、ボクセルデータ生成部171によって生成されたボクセルデータに対してシアーワープによるレンダリングを実行するように画像生成部14を制御する(ステップS307)。そして、制御部17は、レンダリング画像(画像データ)をモニタ2にて表示させる(ステップS308)。
Here, when it is predicted that a discontinuous portion does not occur in the rendered image (No at Step S304) and the resolution of the rendered image is not reduced (No at Step S305), the
一方、レンダリング画像に不連続部分が発生する(ステップS304肯定)、或いは、レンダリング画像の解像度が低下すると予測された場合には(ステップS305肯定)、ボクセルデータ生成部171が、ボクセルデータを再生成する(ステップS306)。そして、レンダリング制御部172が、再生成されたボクセルデータを用いたシアーワープによるレンダリングを画像生成部14に実行させる(ステップS307)。その後、制御部17が、再生成されたボクセルデータから生成されたレンダリング画像をモニタ2にて表示させる(ステップS308)。
On the other hand, when it is predicted that a discontinuous portion is generated in the rendered image (Yes in Step S304) or the resolution of the rendered image is lowered (Yes in Step S305), the voxel data generation unit 171 regenerates the voxel data. (Step S306). Then, the
そして、入力装置3が、操作者によるレンダリング画像の回転操作を受付けると(ステップS309肯定)、画質予測部174は、回転操作の情報を取得するとともに、ステップS303に戻って、画質が低下するか否かの予測を再度実行する。
Then, when the
そして、制御部17は、終了コマンドを受付けた場合に(ステップS310肯定)、処理を終了する。なお、制御部17は、終了コマンドを受付けるまで、レンダリング画像(画像データ)を表示させた状態で、回転操作の受付待機状態となる(ステップS310否定)。また、ステップS309において、回転操作を受付けていない場合には(ステップS309否定)、制御部17は、レンダリング画像(画像データ)を継続して表示させる。また、シアーワープによるレンダリングのモードではない場合には(ステップS301否定)、制御部17は、画像生成部14にボリュームレンダリングを実行させ(ステップS311)、レンダリング画像をモニタ2にて表示させる(ステップS308)。
And control
上述したように、第3の実施形態に係る超音波診断装置100においては、画質予測部174は、レンダリング制御部172によって実行されるボリュームレンダリングの条件に基づいて、レンダリング画像の画質が低下するか否かを予測する。従って、第3の実施形態に係る超音波診断装置100は、シアーワープによるレンダリング画像の生成を省略することができ、処理負荷を低減させることを可能にする。
As described above, in the ultrasonic
(第4の実施形態)
さて、これまで第1、2及び3の実施形態について説明したが、上述した第1、2及び3の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
(Fourth embodiment)
The first, second, and third embodiments have been described so far, but may be implemented in various different forms other than the first, second, and third embodiments described above.
上述した第1及び第2の実施形態では、レンダリング画像からライン状にサンプリングを行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、所定の領域をサンプリングする場合であってもよい。 In the first and second embodiments described above, the case where sampling is performed in a line shape from a rendering image has been described. However, the embodiment is not limited to this, and may be a case where a predetermined region is sampled, for example.
また、上述した第1及び第2の実施形態では、フーリエ変換によって画像の不連続部分を検出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、任意のアルゴリズムによって不連続部分の検出を実行することが可能である。 In the first and second embodiments described above, the case where a discontinuous portion of an image is detected by Fourier transform has been described. However, the embodiment is not limited to this, and the detection of the discontinuous portion can be performed by an arbitrary algorithm.
また、上述した第1〜第3の実施形態では、不連続部分が含まれている場合、或いは、解像度が低下している場合のそれぞれで画質を判定し、ボクセルデータを再生成する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複合的に判定する場合であってもよい。一例を挙げると、所定の周波数成分がどの程度含まれているか、及び、高周波成分の欠落度合いをそれぞれ段階的に設定し、それぞれの判定結果からボクセルデータを再生成するか否かを判定する場合であってもよい。 In the first to third embodiments described above, the case where the image quality is determined and the voxel data is regenerated when a discontinuous portion is included or when the resolution is lowered is described. did. However, the embodiment is not limited to this, and may be, for example, a case where determination is made in a composite manner. As an example, when determining how much a predetermined frequency component is included and the degree of missing high frequency components in stages and determining whether to regenerate voxel data from each determination result It may be.
上述した第1〜第3の実施形態では、超音波診断装置がレンダリング画像の画質を判定して、画質が低下すると判定した場合にボクセルデータを再生成する場合について説明したが、上述した処理は、ワークステーションなどの画像処理装置によって実行される場合であってもよい。かかる場合には、例えば、ネットワークを介して超音波診断装置や、画像保管装置などと接続されたワークステーションが、超音波診断装置や、画像保管装置などからボリュームデータを取得する。そして、ワークステーションは、取得したボリュームデータを用いて上述した処理を実行する。 In the first to third embodiments described above, the case where the ultrasonic diagnostic apparatus determines the image quality of the rendered image and the voxel data is regenerated when it is determined that the image quality is deteriorated has been described. It may be executed by an image processing apparatus such as a workstation. In such a case, for example, a workstation connected to an ultrasonic diagnostic apparatus or an image storage apparatus via a network acquires volume data from the ultrasonic diagnostic apparatus or the image storage apparatus. Then, the workstation executes the above-described processing using the acquired volume data.
以上説明したとおり、第1の実施形態、第2の実施形態、第3の実施形態及び第4の実施形態によれば、本実施形態の超音波診断装置、画像処理装置及びプログラムは、画質の低下を効率よく抑止することを可能にする。 As described above, according to the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment, the ultrasonic diagnostic apparatus, the image processing apparatus, and the program according to the present embodiment have image quality. It is possible to efficiently suppress the decline.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
1 超音波プローブ
10 装置本体
14 画像生成部
17 制御部
171 ボクセルデータ生成部
172 レンダリング制御部
173 検出部
174 画質予測部
100 超音波診断装置
DESCRIPTION OF SYMBOLS 1
Claims (10)
前記レンダリング手段によって生成される画像データの画質を示す画質情報を検出する検出手段と、
前記検出手段によって検出された前記画質情報に基づいて、前記視線方向に基づいて、前記3次元データを構成する前記ボクセルデータを再配置するボクセルデータ生成手段と、
を備えたことを特徴とする超音波診断装置。 The voxel in which the three-dimensional data composed of voxel data is divided into a plurality of slice areas, the plurality of slice areas are rearranged based on a line-of-sight direction in which the voxel data is observed, and the slice areas are rearranged Rendering means for generating image data by volume rendering the data;
Detection means for detecting image quality information indicating the image quality of the image data generated by the rendering means;
Voxel data generation means for rearranging the voxel data constituting the three-dimensional data based on the line-of-sight direction based on the image quality information detected by the detection means;
An ultrasonic diagnostic apparatus comprising:
前記検出手段は、前記取得手段によって取得されたレンダリング条件に基づいて、前記レンダリング手段によって生成される画像データの前記画質情報を検出することを特徴とする請求項1〜6のいずれか一つに記載の超音波診断装置。 An acquisition unit configured to acquire a rendering condition of volume rendering executed by the rendering unit ;
The detection unit detects the image quality information of the image data generated by the rendering unit based on the rendering condition acquired by the acquisition unit. The ultrasonic diagnostic apparatus as described.
前記レンダリング手段によって生成される画像データの画質を示す画質情報を検出する検出手段と、
前記検出手段によって検出された前記画質情報に基づいて、前記視線方向に基づいて、前記3次元データを構成する前記ボクセルデータを再配置するボクセルデータ生成手段と、
を備えたことを特徴とする画像処理装置。 The voxel in which the three-dimensional data composed of voxel data is divided into a plurality of slice areas, the plurality of slice areas are rearranged based on a line-of-sight direction in which the voxel data is observed, and the slice areas are rearranged Rendering means for generating image data by volume rendering the data;
Detection means for detecting image quality information indicating the image quality of the image data generated by the rendering means;
Voxel data generation means for rearranging the voxel data constituting the three-dimensional data based on the line-of-sight direction based on the image quality information detected by the detection means;
An image processing apparatus comprising:
前記レンダリング手順によって生成される画像データの画質を示す画質情報を検出する検出手順と、
前記検出手順によって検出された前記画質情報に基づいて、前記視線方向に基づいて、前記3次元データを構成する前記ボクセルデータを再配置するボクセルデータ生成手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。 The voxel in which the three-dimensional data composed of voxel data is divided into a plurality of slice areas, the plurality of slice areas are rearranged based on a line-of-sight direction in which the voxel data is observed, and the slice areas are rearranged A rendering procedure for generating image data by volume rendering the data;
A detection procedure for detecting image quality information indicating the image quality of the image data generated by the rendering procedure;
Based on the image quality information detected by the detection procedure, based on the line-of-sight direction, a voxel data generation procedure for rearranging the voxel data constituting the three-dimensional data;
An image processing program for causing a computer to execute.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200707A JP5981281B2 (en) | 2012-09-12 | 2012-09-12 | Ultrasonic diagnostic apparatus, image processing apparatus, and program |
PCT/JP2013/074764 WO2014042228A1 (en) | 2012-09-12 | 2013-09-12 | Ultrasound diagnostic apparatus, image processing apparatus, and method |
CN201380047321.0A CN104619261B (en) | 2012-09-12 | 2013-09-12 | Diagnostic ultrasound equipment, image processing apparatus and method |
US14/607,131 US9734621B2 (en) | 2012-09-12 | 2015-01-28 | Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200707A JP5981281B2 (en) | 2012-09-12 | 2012-09-12 | Ultrasonic diagnostic apparatus, image processing apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014054378A JP2014054378A (en) | 2014-03-27 |
JP5981281B2 true JP5981281B2 (en) | 2016-08-31 |
Family
ID=50278336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012200707A Expired - Fee Related JP5981281B2 (en) | 2012-09-12 | 2012-09-12 | Ultrasonic diagnostic apparatus, image processing apparatus, and program |
Country Status (4)
Country | Link |
---|---|
US (1) | US9734621B2 (en) |
JP (1) | JP5981281B2 (en) |
CN (1) | CN104619261B (en) |
WO (1) | WO2014042228A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101851221B1 (en) * | 2013-07-05 | 2018-04-25 | 삼성전자주식회사 | ultrasonic imaging apparatus and method for controlling a ultrasonic imaging apparatus using the same |
EP3108456B1 (en) * | 2014-02-19 | 2020-06-24 | Koninklijke Philips N.V. | Motion adaptive visualization in medical 4d imaging |
US9655592B2 (en) | 2014-11-21 | 2017-05-23 | General Electric Corporation | Method and apparatus for rendering an ultrasound image |
WO2019161914A1 (en) * | 2018-02-23 | 2019-08-29 | Brainlab Ag | Image based ultrasound probe calibration |
WO2019165380A1 (en) * | 2018-02-26 | 2019-08-29 | VRcaffeine LLC | Rendering volumes using angle gradations in multiple dimensions |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69915901T2 (en) * | 1998-01-14 | 2004-09-02 | Canon K.K. | Image processing device |
JP3503539B2 (en) * | 1999-09-07 | 2004-03-08 | 日本電気株式会社 | 3D graphics display |
GB2361396B (en) * | 2000-04-10 | 2002-04-03 | Voxar Ltd | Imaging volume data |
JP2004141514A (en) * | 2002-10-28 | 2004-05-20 | Toshiba Corp | Image processing apparatus and ultrasonic diagnostic apparatus |
JP2006204621A (en) * | 2005-01-28 | 2006-08-10 | Toshiba Corp | Ultrasonograph and control program of ultrasonograph |
US8049752B2 (en) * | 2006-07-25 | 2011-11-01 | Siemens Medical Solutions Usa, Inc. | Systems and methods of determining sampling rates for volume rendering |
US8711144B2 (en) * | 2006-08-01 | 2014-04-29 | Siemens Medical Solutions Usa, Inc. | Perception-based artifact quantification for volume rendering |
JP5380121B2 (en) * | 2008-06-09 | 2014-01-08 | 株式会社東芝 | Ultrasonic diagnostic equipment |
JP5872216B2 (en) * | 2010-09-13 | 2016-03-01 | 株式会社東芝 | Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus |
-
2012
- 2012-09-12 JP JP2012200707A patent/JP5981281B2/en not_active Expired - Fee Related
-
2013
- 2013-09-12 CN CN201380047321.0A patent/CN104619261B/en not_active Expired - Fee Related
- 2013-09-12 WO PCT/JP2013/074764 patent/WO2014042228A1/en active Application Filing
-
2015
- 2015-01-28 US US14/607,131 patent/US9734621B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2014042228A1 (en) | 2014-03-20 |
CN104619261A (en) | 2015-05-13 |
US9734621B2 (en) | 2017-08-15 |
CN104619261B (en) | 2017-03-08 |
US20150139521A1 (en) | 2015-05-21 |
JP2014054378A (en) | 2014-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180206820A1 (en) | Ultrasound apparatus and method | |
JP6073563B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and image processing program | |
JP5981281B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and program | |
JP2008099729A (en) | Ultrasonic diagnostic apparatus and control program of ultrasonic diagnostic apparatus | |
US20140031687A1 (en) | Ultrasonic diagnostic apparatus | |
US8724880B2 (en) | Ultrasonic diagnostic apparatus and medical image processing apparatus | |
JP5984260B2 (en) | Image processing apparatus and medical image diagnostic apparatus | |
JP2017055944A (en) | Ultrasonic diagnostic apparatus | |
JP6139184B2 (en) | Ultrasonic diagnostic apparatus and control method | |
JP6510290B2 (en) | Ultrasonic probe and ultrasonic diagnostic apparatus | |
JP6305752B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic probe | |
US20190175142A1 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and method for calculating plaque score | |
KR20140137037A (en) | ultrasonic image processing apparatus and method | |
JP2011244931A (en) | Ultrasonograph | |
JP7005206B2 (en) | Ultrasound diagnostic equipment and ultrasound imaging program | |
JP5823184B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program | |
JP6651405B2 (en) | Ultrasound diagnostic apparatus and program | |
JP2013009832A5 (en) | ||
JP5065743B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic image generation program | |
JP2010011904A (en) | Ultrasonic diagnostic apparatus, medical image processor and medical image processing program | |
WO2022230666A1 (en) | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device | |
JP7383400B2 (en) | Ultrasonic diagnostic equipment, scan control method and scan control program | |
JP2008048951A (en) | Ultrasonic diagnostic system | |
JP2021132683A (en) | Ultrasonic diagnostic device, ultrasonic probe and control program | |
JP2009183571A (en) | Ultrasonic diagnostic apparatus and control program therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150706 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5981281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |