JP5462598B2 - Ultrasound diagnostic system - Google Patents

Ultrasound diagnostic system Download PDF

Info

Publication number
JP5462598B2
JP5462598B2 JP2009262603A JP2009262603A JP5462598B2 JP 5462598 B2 JP5462598 B2 JP 5462598B2 JP 2009262603 A JP2009262603 A JP 2009262603A JP 2009262603 A JP2009262603 A JP 2009262603A JP 5462598 B2 JP5462598 B2 JP 5462598B2
Authority
JP
Japan
Prior art keywords
dimensional
cross
section
data
echo data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009262603A
Other languages
Japanese (ja)
Other versions
JP2011104137A (en
Inventor
英司 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Aloka Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Aloka Medical Ltd filed Critical Hitachi Aloka Medical Ltd
Priority to JP2009262603A priority Critical patent/JP5462598B2/en
Publication of JP2011104137A publication Critical patent/JP2011104137A/en
Application granted granted Critical
Publication of JP5462598B2 publication Critical patent/JP5462598B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、超音波診断システムに関し、特に三次元エコーデータからある断面の画像を生成して表示する場合の、断面の位置の表示に関する。   The present invention relates to an ultrasonic diagnostic system, and more particularly to display of a position of a cross section when an image of a cross section is generated and displayed from three-dimensional echo data.

現在の超音波診断装置は、超音波探触子(以下、プローブと呼ぶ)の位置を基準とした画像を表示するものが一般的である。このようなプローブ位置基準の画像は、診断のために現にプローブを操作している医師自身には分かりやすいものであるが、プローブがどこにどのような向きで当てられているのかが分からない第三者には、必ずしも理解しやすいものとはいえない。例えば、診断画像のデータを保存し、後で医師自身や他の人がその断層画像を観察する場合、観察の時点ではプローブを操作していないので、医師自身も他の人も、どの部分の画像かが把握しづらい。また、遠隔診療などのために、診断画像を超音波診断装置から遠隔の観察者の元にデータ転送して表示する場合も、遠隔の観察者の観察者にとっても、同様に、表示されているのがどこの部分の画像かが分かりにくい。   A current ultrasonic diagnostic apparatus generally displays an image based on the position of an ultrasonic probe (hereinafter referred to as a probe). Such a probe position reference image is easy to understand for the doctor who is actually operating the probe for diagnosis, but it is not clear where and in what direction the probe is applied. It is not always easy to understand. For example, if the diagnostic image data is stored and the doctor or another person observes the tomographic image later, the probe is not operated at the time of observation. It is difficult to grasp the image. In addition, for telemedicine and the like, the diagnostic image is also displayed for the observer of the remote observer in the same way when the data is transferred from the ultrasonic diagnostic apparatus to the remote observer for display. It is difficult to understand where the image is.

特許文献1には、超音波三次元画像データにおける任意断面の画像を表示する装置が開示されている。この技術では、三次元画像データに基づき、参照画像として三次元空間のワイヤーフレームの中に、超音波診断装置により得た組織の立体的画像を表示するとともに、ユーザから断層像表示対象の切断面の指示を受け、その切断面のイメージである切断面カーソルを表示する。そして、切断面を所定の向きから見た断層画像を三次元画像データから生成し、参照画像と並べて表示する。   Patent Document 1 discloses an apparatus that displays an image of an arbitrary cross section in ultrasonic three-dimensional image data. In this technique, a three-dimensional image of a tissue obtained by an ultrasonic diagnostic apparatus is displayed as a reference image in a wire frame of a three-dimensional space based on the three-dimensional image data, and a cut surface of a tomographic image display target from a user. In response to the instruction, a cut surface cursor which is an image of the cut surface is displayed. Then, a tomographic image obtained by viewing the cut surface from a predetermined direction is generated from the three-dimensional image data, and displayed side by side with the reference image.

また、特許文献2には、プローブが被検者の身体のどの部分に当てられているかを示すマークを超音波画像と共に表示することが開示されている。   Patent Document 2 discloses that a mark indicating which part of the body of a subject is touched with a probe is displayed together with an ultrasonic image.

また、特許文献3には、被検者の身体を模したボディマークを診断画像と共に画面表示し、プローブの位置を磁気センサ等で実測し、ボディマーク上でのその位置にプローブを表すプローブマークを表示する技術が開示されている。   In Patent Document 3, a body mark that imitates the body of a subject is displayed on a screen together with a diagnostic image, the position of the probe is measured with a magnetic sensor or the like, and a probe mark that represents the probe at that position on the body mark A technique for displaying is disclosed.

また、特許文献4に開示される装置では、プローブの空間的な位置及び姿勢が計測され、その計測データが、プローブの超音波受信データ(例えば断層画像)に対応づけてシネメモリ等に格納される。シネメモリ等から受信データを読み出して画像を再生する場合に、その受信データに対応付けられた座標データに基づいて参照イメージが生成、表示される。参照イメージは身体を模したボディマーク及びプローブを模したプローブマークで構成され、その参照イメージによって受信データ取得時における診断状況が模式的に再現される。すなわち被検体における診断部位や診断角度がボディマーク上におけるプローブマークの位置及び姿勢として表現される。   In the apparatus disclosed in Patent Document 4, the spatial position and orientation of the probe are measured, and the measurement data is stored in a cine memory or the like in association with ultrasonic reception data (for example, a tomographic image) of the probe. . When the received data is read from the cine memory or the like and the image is reproduced, a reference image is generated and displayed based on the coordinate data associated with the received data. The reference image is composed of a body mark imitating the body and a probe mark imitating the probe, and the diagnosis state at the time of receiving the received data is schematically reproduced by the reference image. That is, the diagnostic part and diagnostic angle in the subject are expressed as the position and posture of the probe mark on the body mark.

特開2004−49426号公報JP 2004-49426 A 特開平6−22966号公報JP-A-6-22966 特開2004−05379号公報JP 2004-05379 A 特開2005−124712号公報JP 2005-124712 A

特許文献1に開示された技術では、超音波により得た組織の立体的画像に対し、断層画像の切断面がどのように位置しているかを表示する。しかしながら、超音波で得た組織の立体的画像は、必ずしも分かりやすいものとはいえない。特に、その立体的画像が示す臓器等の超音波診断画像を見慣れていない人にとっては、分かりにくい。   The technique disclosed in Patent Document 1 displays how the cut surface of the tomographic image is positioned with respect to the three-dimensional image of the tissue obtained by ultrasound. However, a three-dimensional image of a tissue obtained by ultrasound is not always easy to understand. In particular, it is difficult for a person who is not familiar with an ultrasonic diagnostic image of an organ or the like indicated by the three-dimensional image.

特許文献2,3,4に記載された技術は、いずれも体表面に対するプローブの位置や姿勢の情報をマークによりを提供するものである。しかし、超音波診断画像の表す範囲が体内の臓器や胎児に対してどのような位置関係にあるかは、体表面に対するプローブの位置や姿勢からは、必ずしも分かりやすいとはいえなかった。   Each of the techniques described in Patent Documents 2, 3, and 4 provides information on the position and posture of the probe with respect to the body surface using marks. However, it is not always easy to understand the positional relationship of the range represented by the ultrasonic diagnostic image with respect to the organ or fetus in the body from the position and posture of the probe with respect to the body surface.

本発明に係る超音波診断システムは、観察対象の臓器又は胎児の一般的な三次元形状を表す三次元形状モデルデータと、当該三次元形状モデルデータにおける各特徴点の座標情報と、を記憶する記憶手段と、被検体内に超音波を送受波して、前記被検体内の前記観察対象の臓器又は胎児を含んだ観察領域の三次元エコーデータを生成する三次元エコーデータ生成手段と、前記三次元エコーデータ生成手段が生成した前記三次元エコーデータから、前記三次元モデルデータの前記各特徴点に対応する各特徴点を特定し、特定した前記三次元エコーデータの前記各特徴点の座標と、前記三次元モデルデータの前記各特徴点の座標と、に基づき、前記三次元モデルデータと前記三次元エコーデータとの間の座標変換情報を生成する座標変換情報生成手段と、前記三次元エコーデータから、ユーザの指定した断面の断層画像を生成する断層画像生成手段と、前記三次元形状モデルデータを表すモデル画像を生成すると共に、前記ユーザが指定した断面の前記三次元エコーデータ中での位置及び向きと、前記座標変換情報とに基づき、前記三次元モデルデータ上での前記断面を位置及び向きを求め、求めた位置及び向きを持つ断面カーソルを前記モデル画像に合成するモデル画像生成手段と、前記断層画像生成手段が生成した前記断層画像と、前記モデル画像生成手段が生成した前記断面カーソルが合成された前記モデル画像と、を互いに対応づけた表示画像を生成する表示画像生成手段と、を備える超音波診断システムである。 The ultrasonic diagnostic system according to the present invention stores three-dimensional shape model data representing a general three-dimensional shape of an organ or fetus to be observed, and coordinate information of each feature point in the three-dimensional shape model data. A storage means; and a three-dimensional echo data generation means for generating and receiving three-dimensional echo data of an observation region including the organ or fetus to be observed in the subject by transmitting and receiving ultrasonic waves in the subject; From the 3D echo data generated by the 3D echo data generation means, specify each feature point corresponding to each feature point of the 3D model data, and the coordinates of the feature point of the specified 3D echo data And coordinate conversion information generation for generating coordinate conversion information between the three-dimensional model data and the three-dimensional echo data based on the coordinates of each feature point of the three-dimensional model data And stage, from the three-dimensional echo data, the tomographic image generating means for generating a tomographic image of a specified section of the user, to generate a model image representing the three-dimensional shape model data, the cross-section in which the user specifies Based on the position and orientation in the three-dimensional echo data and the coordinate conversion information, the position and orientation of the cross section on the three-dimensional model data are obtained, and the cross-section cursor having the obtained position and orientation is taken as the model image. A display image in which the model image generating unit to be combined with the tomographic image generated by the tomographic image generating unit and the model image combined with the cross-sectional cursor generated by the model image generating unit are associated with each other. And a display image generating means for generating an ultrasonic diagnostic system.

更なる態様では、前記座標変換情報生成手段は、前記各特徴点の各々について、ユーザに前記三次元エコーデータ中で断面を指定させ、指定された断面について前記断層画像生成手段が生成した前記三次元エコーデータの断層画像上で、前記ユーザから特徴点の位置の指定を受け付ける特徴点指定手段と、前記特徴点指定手段により指定を受け付けた特徴点の前記断層画像上での位置と、前記三次元エコーデータ内での前記断層画像に対応する断面の位置とに基づき、当該特徴点の前記三次元エコーデータ内での座標を算出する算出手段と、を備え、前記各特徴点のそれぞれについて前記算出手段が算出した座標と、前記三次元モデルデータにおける前記各特徴点の座標とに基づき、前記座標変換情報を生成するものであってもよい。   In a further aspect, the coordinate conversion information generation unit causes the user to specify a cross section in the three-dimensional echo data for each of the feature points, and the tertiary image generated by the tomographic image generation unit for the specified cross section. On the tomographic image of the original echo data, a feature point designating unit that accepts designation of the position of the feature point from the user, a position on the tomographic image of the feature point that has been designated by the feature point designating unit, and the tertiary Calculation means for calculating coordinates in the three-dimensional echo data of the feature point based on the position of the cross section corresponding to the tomographic image in the original echo data, and for each of the feature points The coordinate conversion information may be generated based on the coordinates calculated by the calculation means and the coordinates of the feature points in the three-dimensional model data.

また、別の態様では、前記座標変換情報生成手段は、前記三次元エコーデータ及び前記三次元モデルデータのうちの一方をテンプレートとし、他方に対してテンプレートマッチング処理を実行し、テンプレートマッチング処理により得られた相関係数の値が最大となったときの前記テンプレートの平行移動量、回転角及び縮尺に基づいて前記座標変換情報を生成するものであってもよい。   In another aspect, the coordinate conversion information generating means uses one of the three-dimensional echo data and the three-dimensional model data as a template, executes a template matching process on the other, and obtains the template matching process. The coordinate conversion information may be generated based on the translation amount, rotation angle, and scale of the template when the value of the obtained correlation coefficient is maximized.

更なる態様では、本発明に係るシステムは、前記表示画像生成手段が生成した前記表示画像内の前記モデル画像上で前記断面カーソルの位置及び向きの変更指示を受け付ける断面変更指示受付手段と、前記変更指示に応じて変更された前記断面カーソルの位置及び向きを表す情報を、前記座標変換情報を用いて、前記三次元エコーデータの座標系における断面の位置及び向きを表す情報に変換する断面変換手段と、を更に備え、前記断層画像生成手段は、前記三次元エコーデータから、前記断面変換手段が求めた変換後の位置及び向きを表す情報が表す断面の断層画像を生成する、ようにしてもよい。   In a further aspect, the system according to the present invention includes a cross-section change instruction accepting unit that accepts a change instruction of the position and orientation of the cross-section cursor on the model image in the display image generated by the display image generating unit, Cross-section conversion for converting the information indicating the position and orientation of the cross-section cursor changed according to the change instruction into information indicating the position and orientation of the cross-section in the coordinate system of the three-dimensional echo data using the coordinate conversion information Means for generating a tomographic image of a cross section represented by the information indicating the position and orientation after conversion obtained by the cross section converting means from the three-dimensional echo data. Also good.

本発明によれば、被検体の内部にある観察対象に対する断層画像の断面の位置関係を、観察対象の三次元形状を表す三次元モデルデータとの関係で表示することができる。   According to the present invention, the positional relationship of the cross section of the tomographic image with respect to the observation target inside the subject can be displayed in relation to the three-dimensional model data representing the three-dimensional shape of the observation target.

本発明に係る超音波診断装置の一実施形態の機能ブロック図である。1 is a functional block diagram of an embodiment of an ultrasonic diagnostic apparatus according to the present invention. 実施形態の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of embodiment. 特徴点位置指定の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of a feature point position designation | designated. 特徴点の位置指定のための画面表示の例を模式的に示す図である。It is a figure which shows typically the example of the screen display for the position designation | designated of the feature point. 断面カーソルを表示したガイド表示と、断層画像とを並べて表示する表示画面の例を模式的に示す図である。It is a figure which shows typically the example of the display screen which displays the guide display which displayed the cross-section cursor, and a tomographic image side by side. 特徴点の位置指定のための画面表示の別の例を模式的に示す図である。It is a figure which shows typically another example of the screen display for the position designation | designated of the feature point. 実施形態の処理手順の別の一例を示すフローチャートである。It is a flowchart which shows another example of the process sequence of embodiment.

図1を参照して、本発明に係る超音波診断装置の一実施形態の機能構成を説明する。   With reference to FIG. 1, the functional configuration of an embodiment of an ultrasonic diagnostic apparatus according to the present invention will be described.

例示した装置は、三次元の超音波画像を表示する装置である。この装置において、3D(三次元)プローブ10は、被検体内の三次元エコー取得領域を超音波ビームにより走査し、被検体内で反射されたエコーを受信する超音波探触子である。3Dプローブ10は、一次元アレイの振動子アレイを機械走査する方式のもの、二次元アレイ振動子を用いるものなど、どのような方式のものでもよい。送受信制御部12は、3Dプローブ10を制御して送信超音波ビームの形成及び走査を行わせると共に、3Dプローブ10の振動子アレイの各振動素子が受信したエコー信号(受信信号)を受け取る。整相加算部14は、3Dプローブ10により得られた各振動素子の受信信号を整相加算することで受信ビームを生成する。ビーム処理部16は、整相加算後の受信信号(ビームデータ)に対し、検波処理や対数変換処理などの信号処理を実行する。信号処理後のビームデータは、三次元座標(例えば超音波ビームの2次元の方向を表す座標とエコー反射点の深さを表す座標の組、又は直交三次元座標)によりアドレス可能な状態で、メモリ18に書き込まれる。この書き込みの前に必要に応じて、ビーム走査の座標系から直交座標系等の表示のための座標系に座標変換を行ってもよい。メモリ18には、このようにして、1フレーム(三次元エコー取得領域を1回走査して得られる三次元データ)〜複数フレーム分のボリュームデータが格納される。連続的に走査を行う場合、例えばリングバッファのように、メモリ18内の最も古いフレームのデータに、現在取得したビームデータが上書きされる。   The illustrated apparatus is an apparatus that displays a three-dimensional ultrasonic image. In this apparatus, a 3D (three-dimensional) probe 10 is an ultrasonic probe that scans a three-dimensional echo acquisition region in a subject with an ultrasonic beam and receives an echo reflected in the subject. The 3D probe 10 may be of any type, such as a type that mechanically scans a transducer array of a one-dimensional array or a type that uses a two-dimensional array transducer. The transmission / reception control unit 12 controls the 3D probe 10 to form and scan a transmission ultrasonic beam and receives an echo signal (reception signal) received by each vibration element of the transducer array of the 3D probe 10. The phasing addition unit 14 generates a reception beam by phasing and adding the reception signals of the respective vibration elements obtained by the 3D probe 10. The beam processing unit 16 performs signal processing such as detection processing and logarithmic conversion processing on the received signal (beam data) after phasing addition. The beam data after the signal processing can be addressed by three-dimensional coordinates (for example, a set of coordinates representing the two-dimensional direction of the ultrasonic beam and the depth representing the depth of the echo reflection point, or orthogonal three-dimensional coordinates). It is written in the memory 18. Before the writing, coordinate conversion may be performed from a beam scanning coordinate system to a display coordinate system such as an orthogonal coordinate system, if necessary. Thus, the memory 18 stores volume data for one frame (three-dimensional data obtained by scanning the three-dimensional echo acquisition area once) to a plurality of frames. When scanning is performed continuously, the beam data currently acquired is overwritten on the data of the oldest frame in the memory 18, such as a ring buffer.

断層画像生成部20は、ボリュームデータから、指定された断面の断層画像を生成する。ユーザは、入力装置28を操作することで、断層画像を生成する断面の位置や向きを変更することができる。例えば、ユーザは、表示装置24に表示された三次元画像や断層画像を見ながら、入力装置28(例えばトラックボール等のポインティングデバイス)を走査して断面の位置や向きを指示すると、その指示が中央制御部26を介して断層画像生成部20に伝達される。断層画像生成部20は、ボリュームデータの中から、指示された位置及び向きの断面上にあるボクセルの値を読み出すことにより、断層画像を生成する。   The tomographic image generation unit 20 generates a tomographic image of a specified cross section from the volume data. The user can change the position and orientation of the cross section for generating the tomographic image by operating the input device 28. For example, when the user scans the input device 28 (for example, a pointing device such as a trackball) while viewing the three-dimensional image or tomographic image displayed on the display device 24 and indicates the position and orientation of the cross section, the instruction is given. The data is transmitted to the tomographic image generation unit 20 via the central control unit 26. The tomographic image generation unit 20 generates a tomographic image by reading out the values of voxels on the cross section at the designated position and orientation from the volume data.

画像生成・合成部22は、メモリ18内のボリュームデータに基づき三次元エコー取得領域の三次元画像を生成し、この三次元画像と、断層画像生成部20が生成した断層画像とを、例えば並べて表示するなどの形で1つの画面に合成する。合成された画面の画像は、液晶ディスプレイ等の表示装置24に表示される。   The image generation / synthesis unit 22 generates a three-dimensional image of the three-dimensional echo acquisition region based on the volume data in the memory 18, and arranges the three-dimensional image and the tomographic image generated by the tomographic image generation unit 20, for example. Combine them into one screen, such as displaying them. The synthesized screen image is displayed on a display device 24 such as a liquid crystal display.

ここまでに説明した各モジュールは、従来の三次元超音波診断装置と同様のものでよい。   Each module described so far may be the same as the conventional three-dimensional ultrasonic diagnostic apparatus.

この実施形態では、更に、表示装置24に対して、断層画像と共に、三次元エコー取得領域内の臓器又は胎児などといった観察対象に対する断層画像の位置関係を表すガイド表示を行う。断層画像の位置の表示に関しては、従来、ボリュームデータにおいてユーザが指定した任意の断面の断層画像を表示し、その断面の位置を、あらかじめ定められた直交する3つの断面の断層画像上に(例えば任意断面とそれら3断面との交線として)表示することが行われている。以下では、断層画像の表示対象としてユーザが指定する断面を、直交3断面などのシステム固定の断面との対比で、任意断面と呼ぶことにする。しかしながら、観察対象のエコー断層画像にあまりなじみがない人や、3Dプローブ10が観察対象に対してどのような向きで当てられているかを分からない人には、そのようなガイド表示では観察対象と任意断面との位置表示が必ずしも分かりやすいとは言えない。そこで、本実施形態では、観察対象の臓器や胎児などの三次元形状を表すモデルを表示し、断層画像を表示する任意断面の位置や向きをその三次元形状モデルに対して表示する。三次元形状モデルは、臓器や胎児等といった観察対象の典型的な三次元形状を表す、三次元コンピュータグラフィックス又は三次元CAD(コンピュータ支援設計)のモデルであり、例えばサーフェイスモデル又はソリッドモデルなどといったモデルである。サーフェイスモデルの場合、観察対象の外表面を表すものであってもよいし、また観察対象の外表面内に腔部などの内部構造がある場合は、その内部構造の表面(例えば心室や心房の内表面や弁など)と外表面との両方を表すものであってもよい。また、ソリッドモデルの場合、観察対象の外形形状を表すものであってもよいし、外形形状とその中の腔部等の内部構造の両方を表すものであってもよい。このような観察対象の三次元形状モデルを、以下では、参照モデルと呼ぶ。臓器や胎児などの観察対象の形状には、解剖学の知見などから一般的、典型的な形状を想定することができるので、本実施形態では、そのような典型形状を表す参照モデルをあらかじめ作成し、用いるのである。   In this embodiment, the display device 24 further performs a guide display indicating the positional relationship of the tomographic image with respect to the observation target such as an organ or a fetus in the three-dimensional echo acquisition region together with the tomographic image. Regarding the display of the position of the tomographic image, conventionally, a tomographic image of an arbitrary cross section designated by the user in the volume data is displayed, and the position of the cross section is displayed on the tomographic images of three predetermined cross sections (for example, It is displayed (as an intersection line between an arbitrary cross section and these three cross sections). In the following, the cross section designated by the user as the display target of the tomographic image is referred to as an arbitrary cross section in comparison with a system fixed cross section such as three orthogonal cross sections. However, for a person who is not familiar with the echo tomographic image of the observation object or who does not know in what direction the 3D probe 10 is being applied to the observation object, such a guide display will be considered as an observation object. It cannot be said that the position display with the arbitrary cross section is easy to understand. Therefore, in this embodiment, a model representing a three-dimensional shape such as an organ or fetus to be observed is displayed, and the position and orientation of an arbitrary cross section for displaying a tomographic image is displayed on the three-dimensional shape model. The three-dimensional shape model is a three-dimensional computer graphics or three-dimensional CAD (computer-aided design) model that represents a typical three-dimensional shape of an observation target such as an organ or a fetus, such as a surface model or a solid model. It is a model. In the case of the surface model, it may represent the outer surface of the observation target, and if there is an internal structure such as a cavity in the outer surface of the observation target, the surface of the internal structure (for example, the ventricle or the atrium) It may represent both an inner surface and a valve) and an outer surface. Further, in the case of a solid model, it may represent the outer shape of an observation target, or may represent both the outer shape and an internal structure such as a cavity therein. Hereinafter, such a three-dimensional shape model to be observed is referred to as a reference model. General and typical shapes can be assumed for the shapes of observation targets such as organs and fetuses based on anatomical knowledge. In this embodiment, a reference model representing such typical shapes is created in advance. And use it.

このようなガイド表示のために、この実施形態の超音波診断装置は、記憶装置30、座標整合処理部36、カーソル生成部38及びモデル画像生成部40を備える。   For such guide display, the ultrasonic diagnostic apparatus of this embodiment includes a storage device 30, a coordinate matching processing unit 36, a cursor generation unit 38, and a model image generation unit 40.

記憶装置30は、例えばハードディスク等の不揮発性の記憶装置であり、参照モデルデータ34と特徴点データ32を記憶している。参照モデルデータ34は、上に説明したような参照モデルを表す三次元形状データである。特徴点データ32は、参照モデル上で定められた複数の特徴点の定義データである。特徴点は、参照モデルを超音波走査により得た実際の三次元エコーデータ(すなわちボリュームデータ)に対して位置合わせするための基準となる点である。例えば、観察対象が胎児の場合、鼻の尖端、顎の尖端、右目の中心、左目の中心などが特徴点となる。ある観察対象の特徴点データ32には、当該観察対象の各特徴点の種類(例えば鼻の尖端か、顎の尖端かなど)と座標のデータが含まれる。この場合の座標は、参照モデルの座標系での座標である。   The storage device 30 is a nonvolatile storage device such as a hard disk, and stores reference model data 34 and feature point data 32. The reference model data 34 is three-dimensional shape data representing the reference model as described above. The feature point data 32 is definition data of a plurality of feature points determined on the reference model. The feature point is a point that serves as a reference for aligning the reference model with actual three-dimensional echo data (that is, volume data) obtained by ultrasonic scanning. For example, when the observation target is a fetus, feature points include the tip of the nose, the tip of the jaw, the center of the right eye, and the center of the left eye. The feature point data 32 of an observation target includes the type of each feature point of the observation target (for example, the tip of the nose or the tip of the jaw) and coordinate data. The coordinates in this case are coordinates in the coordinate system of the reference model.

座標整合処理部36は、メモリ18内のボリュームデータと、参照モデルとの位置合わせを行う処理モジュールである。ボリュームデータは、一般に3Dプローブ10を基準として定められた座標系(プローブ座標系と呼ぶ)で表現されているのに対し、参照モデルは参照モデル自身の座標系で表現されている。また、実際の観察対象の形状と、典型的な形状である参照モデルとの間にはずれが存在する。そこで、座標整合処理部36は、参照モデルをボリュームデータに(或いはその逆に)位置合わせするための座標変換を計算する。この座標変換は、例えば平行移動、回転、拡大・縮小などの成分を含む。   The coordinate matching processing unit 36 is a processing module that aligns the volume data in the memory 18 and the reference model. The volume data is generally expressed in a coordinate system (referred to as a probe coordinate system) defined based on the 3D probe 10, whereas the reference model is expressed in the coordinate system of the reference model itself. There is also a gap between the actual shape of the object to be observed and the reference model that is a typical shape. Therefore, the coordinate matching processing unit 36 calculates a coordinate transformation for aligning the reference model with the volume data (or vice versa). This coordinate conversion includes components such as translation, rotation, and enlargement / reduction.

この座標変換を求めるために、この実施形態では、ボリュームデータと参照モデルとの間で、同一の特徴点同士の位置が一致するように、両者間の座標変換を求める。参照モデルの各特徴点の情報は特徴点データ32としてあらかじめ記憶装置32に記憶されている。ボリュームデータの各特徴点は、表示装置24に表示した画像上でユーザに指定させる。   In order to obtain this coordinate transformation, in this embodiment, coordinate transformation between the volume data and the reference model is obtained so that the positions of the same feature points coincide with each other. Information about each feature point of the reference model is stored in advance in the storage device 32 as feature point data 32. Each feature point of the volume data is specified by the user on the image displayed on the display device 24.

カーソル生成部38は、ユーザがボリュームデータに対して指定した任意断面の位置や向きを、座標整合処理部36が求めた座標変換の情報を用いて参照モデルの座標系に変換し、参照モデル上でその任意断面を表す断面カーソルの三次元データを生成する。   The cursor generation unit 38 converts the position and orientation of an arbitrary cross section designated by the user with respect to the volume data into the coordinate system of the reference model using the coordinate conversion information obtained by the coordinate matching processing unit 36, and To generate three-dimensional data of the cross-section cursor representing the arbitrary cross-section.

モデル画像生成部40は、参照モデルデータ34と、カーソル生成部38が生成した断面カーソルの三次元データとをレンダリングすることにより、参照モデル上に断面カーソルが示されたモデル画像を生成する。   The model image generation unit 40 generates a model image in which the cross-section cursor is shown on the reference model by rendering the reference model data 34 and the three-dimensional data of the cross-section cursor generated by the cursor generation unit 38.

画像生成・合成部22は、このモデル画像を、断層画像生成部20が生成したユーザ指定された断面の断層画像と共に表示した表示画面を生成し、表示装置24に供給する。また、三次元画像表示が指示されている場合は、画像生成・合成部22は、ボリュームデータをレンダリングした三次元画像も合わせて表示した表示画面を生成する。   The image generation / synthesis unit 22 generates a display screen that displays the model image together with the tomographic image of the cross section specified by the user generated by the tomographic image generation unit 20, and supplies the generated display screen to the display device 24. When the display of the 3D image is instructed, the image generation / synthesis unit 22 generates a display screen that also displays the 3D image in which the volume data is rendered.

中央制御部26は、これまで説明した送受信制御部12や座標整合処理部36等の各モジュールを制御する。   The central control unit 26 controls the modules such as the transmission / reception control unit 12 and the coordinate matching processing unit 36 described so far.

図1に示した各機能モジュールのうち、中央制御部26、座標整合処理部36、カーソル生成部38、モデル画像生成部40は、例えば、それら各機能モジュールの処理を記述したプログラムをプロセッサに実行させることにより実現することができる。   Among the functional modules shown in FIG. 1, the central control unit 26, the coordinate matching processing unit 36, the cursor generating unit 38, and the model image generating unit 40, for example, execute a program describing the processing of each functional module on the processor. This can be realized.

次に、図2及び図3を参照して、この実施形態の装置における断面カーソル表示のための処理手順の一例を説明する。   Next, an example of a processing procedure for displaying a cross-section cursor in the apparatus of this embodiment will be described with reference to FIGS.

この手順では、ユーザが観測対象の領域をカバーするように被検者の体表に3Dプローブ10を当てると、図2に示すように、3Dプローブ10が超音波ビームを走査し、その領域のボリュームデータを生成する(S10)。これにより、例えば、画像生成・合成部22が生成したそのボリュームデータの三次元画像と、断層画像生成部20が生成した任意断面(最初はデフォルト設定された断面)の断層画像とが表示装置24に表示される。直交3断面を表示するモードの場合は、更に、あらかじめ定められた互いに直交する3つの断面の断層画像が断層画像生成部20により生成され、表示装置24に表示される。このボリュームデータが、以下に説明する参照モデルとの位置合わせ処理の対象となる。なお、メモリ18内に複数フレームのボリュームデータが記憶されている場合、ユーザがその中から1つを、以下の位置合わせ処理の対象として選択し、表示装置24に表示させてもよい。   In this procedure, when the user places the 3D probe 10 on the body surface of the subject so as to cover the region to be observed, the 3D probe 10 scans the ultrasonic beam as shown in FIG. Volume data is generated (S10). Thereby, for example, the three-dimensional image of the volume data generated by the image generation / synthesis unit 22 and the tomographic image of the arbitrary cross section (initially set cross section) generated by the tomographic image generation unit 20 are displayed on the display device 24. Is displayed. In the mode of displaying three orthogonal cross sections, further, tomographic images of three predetermined cross sections orthogonal to each other are generated by the tomographic image generation unit 20 and displayed on the display device 24. This volume data is a target of alignment processing with a reference model described below. Note that when volume data of a plurality of frames is stored in the memory 18, the user may select one of them as a target for the following alignment processing and display it on the display device 24.

ユーザが、入力装置28を介して断面カーソルの表示を指示すると、中央制御部26は、特徴点位置指定処理を実行する(S12)。特徴点位置指定処理の一例を図3に示す。   When the user instructs display of the cross-section cursor via the input device 28, the central control unit 26 executes a feature point position designation process (S12). An example of the feature point position designation process is shown in FIG.

図3の処理では、中央制御部26は、表示装置24の画面上に、観測対象の複数の特徴点のうちの1つの特徴点の位置の指定を促すメッセージを表示する(S30)。例えば観測対象が胎児の場合、鼻の尖端、顎の尖端、右目、左目という4つの特徴点のうち、まず鼻の尖端の指定を指示するメッセージ(例えば「鼻の尖端をよく表した断層面を表示し、その断層面上で鼻の尖端の位置を指定して下さい。」)を画面に表示する。また、この場合、観測対象が胎児であることは、例えば診断の開始時などに、ユーザが超音波診断装置に指定しておけばよい。この時点では、表示装置24には、デフォルト断面の断層画像が表示されている(S32)ので、ユーザは必要に応じ入力装置28を操作して、表示する断面(任意断面)の位置や向きを変更する(S34)。表示断面が変更された場合、断層画像生成部20が変更後の断面の断層画像をボリュームデータから生成し、表示装置24に表示する。   In the process of FIG. 3, the central control unit 26 displays a message on the screen of the display device 24 that prompts the user to specify the position of one of the feature points to be observed (S30). For example, if the observation target is a fetus, out of the four feature points of the tip of the nose, the tip of the jaw, the right eye, and the left eye, first a message that specifies the tip of the nose (for example, “a tomographic plane that clearly represents the tip of the nose” Display and specify the position of the tip of the nose on the tomographic plane. ”) Is displayed on the screen. In this case, the fact that the observation target is a fetus may be specified by the user to the ultrasonic diagnostic apparatus at the start of diagnosis, for example. At this time, since the tomographic image of the default cross section is displayed on the display device 24 (S32), the user operates the input device 28 as necessary to indicate the position and orientation of the cross section to be displayed (arbitrary cross section). Change (S34). When the display cross section is changed, the tomographic image generation unit 20 generates a tomographic image of the changed cross section from the volume data and displays it on the display device 24.

そして、指定された特徴点を含んだ断面の断層画像が表示装置24に表示されると、ユーザは、入力装置28を走査して、その断層画像上での特徴点の位置を指定する。中央制御部26は、ユーザが指定した、断層画像上での特徴点の位置を取得する(S36)。   When the tomographic image of the cross section including the designated feature point is displayed on the display device 24, the user scans the input device 28 and designates the position of the feature point on the tomographic image. The central control unit 26 acquires the position of the feature point on the tomographic image designated by the user (S36).

そして、中央制御部26は、表示断面の位置や向きを表す情報(例えば断面を表す方程式のパラメータ)と、断層画像上での特徴点の位置の情報とから、ボリュームデータの座標系でのその特徴点の座標を計算する(S38)。   Then, the central control unit 26 calculates the position in the coordinate system of the volume data from information indicating the position and orientation of the display cross section (for example, parameters of equations representing the cross section) and information on the position of the feature point on the tomographic image. The coordinates of the feature points are calculated (S38).

中央制御部26は、以上に示したS30〜S38の処理を、観測対象に対して設定された全特徴点について繰り返す(S40)。   The central control unit 26 repeats the processes of S30 to S38 described above for all feature points set for the observation target (S40).

例えば、図4の例では、まず、鼻の尖端の指定をユーザに促すと、ユーザは任意断面の位置や向きを変え、鼻の尖端がよく現れた断層画像100Aが表示装置24に表示されると、その画像100A上で鼻の尖端110の位置を指定する。次に、顎の尖端の指定を促すと、ユーザは、顎の尖端がよく現れた断層画像100Bを表示装置24に表示させ、その画像100B上で顎の尖端110の位置を指定する。次に、右目と左目の指定を促すと、ユーザは、両目がよく現れた断層画像100Cを表示装置24に表示させ、その画像100C上で右目114と左目116の位置をそれぞれ指定する。なお、この明細書に添付する図4等のエコー断層画像の模式図は、実際の断層画像のグレー濃度を反転し、他階調であるところを単純化して描いたものである。   For example, in the example of FIG. 4, first, when the user is prompted to specify the tip of the nose, the user changes the position and orientation of the arbitrary cross section, and a tomographic image 100A in which the tip of the nose appears often is displayed on the display device 24. Then, the position of the tip 110 of the nose is designated on the image 100A. Next, when the user is prompted to specify the tip of the jaw, the user causes the display device 24 to display a tomographic image 100B in which the tip of the jaw appears frequently, and specifies the position of the tip of the jaw 110 on the image 100B. Next, when the user is prompted to specify the right eye and the left eye, the user causes the display device 24 to display a tomographic image 100C in which both eyes often appear, and specifies the positions of the right eye 114 and the left eye 116 on the image 100C. Note that the schematic diagram of the echo tomographic image such as FIG. 4 attached to this specification is drawn by inverting the gray density of the actual tomographic image and simplifying the other gradations.

なお、観測対象の特徴点を必須の特徴点と必須でない特徴点とに分類しておき、必須の特徴点がすべて指定されれば、必須でない特徴点が指定されなくてもよいようにしてもよい。   Note that the feature points to be observed are classified into essential feature points and non-essential feature points, and if all the essential feature points are specified, the non-essential feature points may not be specified. Good.

このようにして、ボリュームデータ上での各特徴点の座標が分かると、図2の手順に戻り、次に中央制御部26は、座標整合処理部36に対し、特徴点座標の整合処理を実行させる(S16)。座標整合処理部36は、ボリュームデータ上の各特徴点の座標を、参照モデル上の対応する各特徴点の座標に一致させるための座標変換を計算する。求められる座標変換は、例えば座標変換行列などの情報で表現される。なお、全特徴点の座標が両者間で完全一致することは必須ではない。例えば、対応する特徴点同士の座標の誤差の全特徴点にわたる総和が最小となるような座標変換を求めるようにしてもよい。   When the coordinates of each feature point on the volume data are found in this way, the procedure returns to the procedure of FIG. 2, and then the central control unit 26 executes a feature point coordinate matching process on the coordinate matching processing unit 36. (S16). The coordinate matching processing unit 36 calculates coordinate transformation for matching the coordinates of each feature point on the volume data with the coordinates of each corresponding feature point on the reference model. The required coordinate transformation is expressed by information such as a coordinate transformation matrix. In addition, it is not essential that the coordinates of all feature points are completely the same between the two. For example, coordinate conversion that minimizes the sum of the error of coordinates between corresponding feature points over all feature points may be obtained.

このようにして座標変換情報が求められると、カーソル生成部38が、中央制御部26から現在の任意断面のボリュームデータの座標系における位置及び向きを表す情報を受け取り、その任意断面をその座標変換情報を用いて座標変換することで、参照モデルの座標系における任意断面を求め、その任意断面を表す断面カーソルデータを生成する(S16)。断面カーソルデータは、参照モデルの座標系での任意断面の平面を表す三次元データである。モデル画像生成部40は、その断層カーソルデータと参照モデルデータ34とをレンダリングすることで、参照モデルの立体形状に対して任意断面を表すカーソルが合成されたモデル画像を生成する(S18)。画像生成・合成部22は、この断面カーソルつきのモデル画像をガイド表示として、現在の任意断面の断層画像と共に、表示装置24に表示する(S20)。   When the coordinate conversion information is obtained in this way, the cursor generation unit 38 receives information representing the position and orientation of the volume data of the current arbitrary cross section in the coordinate system from the central control unit 26, and converts the arbitrary cross section to the coordinate conversion. By performing coordinate conversion using the information, an arbitrary cross section in the coordinate system of the reference model is obtained, and cross section cursor data representing the arbitrary cross section is generated (S16). The section cursor data is three-dimensional data representing a plane of an arbitrary section in the coordinate system of the reference model. The model image generation unit 40 renders the tomographic cursor data and the reference model data 34, thereby generating a model image in which a cursor representing an arbitrary cross section is combined with the three-dimensional shape of the reference model (S18). The image generation / synthesis unit 22 displays the model image with the cross-sectional cursor as a guide display on the display device 24 together with the current tomographic image of an arbitrary cross-section (S20).

図5に、任意断面の断層画像200と、ガイド表示210とを並べて表示した表示画面の例を示す。この例の任意断面は胎児の顔のある断面であり、ガイド表示210には、胎児の形状を表す参照モデル画像212に対し、その任意断面を表す断面カーソル214が合成されている。   FIG. 5 shows an example of a display screen in which a tomographic image 200 having an arbitrary cross section and a guide display 210 are displayed side by side. The arbitrary cross section in this example is a cross section with the face of the fetus. In the guide display 210, a cross section cursor 214 representing the arbitrary cross section is synthesized with the reference model image 212 representing the shape of the fetus.

この表示の後、ユーザが更に入力装置28を操作して任意断面の位置や向きを変更すると(S22の判定結果がYes)、再びカーソル生成部38が変更後の任意断面を表す断面カーソルデータを生成し(S16)、モデル画像生成部40がその断面カーソルデータと参照モデルとを合成したモデルの画像をレンダリングし(S18)、レンダリング結果のガイド表示を変更後の任意断面の断層画像と共に表示する(S20)。以上の処理を、ユーザが終了指示を行うまで繰り返す(S24)。   After this display, when the user further operates the input device 28 to change the position and orientation of the arbitrary cross section (Yes in S22), the cursor generation unit 38 again displays the cross section cursor data representing the changed arbitrary cross section. The model image generation unit 40 renders a model image obtained by synthesizing the cross-section cursor data and the reference model (S18), and displays the rendering result guide display together with the tomographic image of the arbitrary cross-section after the change. (S20). The above processing is repeated until the user gives an end instruction (S24).

以上説明したように、この実施形態では、臓器や胎児などといった被検体内部の観察対象に対する、断層画像の断面の位置関係を示すことができる。また、この実施形態では、エコー画像そのものよりも形状を把握しやすい参照モデル上に断面カーソルを表示するので、観察対象のエコー画像に馴染んでいない人や3Dプローブ10を当てた位置や向きを知らない人にも任意断面の位置が分かりやすい。医師などは医学書などにより各種の臓器の形状を把握しているので、エコー画像そのものは分かりにくくても、観察対象の臓器や胎児の典型的な形状をモデル化した参照モデルならば形状や位置関係を把握しやすい。   As described above, in this embodiment, the positional relationship of the cross section of the tomographic image with respect to the observation target inside the subject such as an organ or a fetus can be shown. In this embodiment, since the cross-section cursor is displayed on the reference model whose shape is easier to grasp than the echo image itself, the person who is not familiar with the echo image to be observed and the position and orientation of the 3D probe 10 are known. It is easy for people who do not know the position of the arbitrary section. Doctors know the shape of various organs using medical books, etc., so even if the echo image itself is difficult to understand, if it is a reference model that models the typical shape of the organ or fetus to be observed, the shape and position Easy to grasp the relationship.

なお、画像生成・合成部22が生成した、任意断面の断層画像と断面カーソルを含んだガイド表示とを表示した表示画面の情報を、ローカルエリアネットワークやインターネットなどのデータ通信ネットワークを介して遠隔地にある表示装置に送信し、表示させることもできる。   Information on a display screen generated by the image generation / synthesis unit 22 that displays a tomographic image of an arbitrary cross section and a guide display including a cross section cursor is transmitted to a remote location via a data communication network such as a local area network or the Internet. It can also be sent to and displayed on a display device.

また、ボリュームデータを保存する際、座標整合処理部36が求めた座標変換情報と参照モデルを特定する情報とをそのボリュームデータと対応づけて保存するようにしてもよい。対応づけは、例えば、ボリュームデータのファイルの中に、属性情報として座標変換情報を組み込む等の方法で行うことができる。保存されたボリュームデータを超音波診断装置自身又は他の装置で表示する際に、対応する座標変換情報及び参照モデルの情報を用いることで、ボリュームデータの任意断面の位置を、参照モデル上の断面カーソルにより表示することができる。   Further, when storing the volume data, the coordinate conversion information obtained by the coordinate matching processing unit 36 and the information specifying the reference model may be stored in association with the volume data. The association can be performed, for example, by a method of incorporating coordinate conversion information as attribute information in a volume data file. When displaying the stored volume data on the ultrasonic diagnostic apparatus itself or another apparatus, the position of the arbitrary cross section of the volume data can be determined by using the corresponding coordinate conversion information and reference model information. Can be displayed by cursor.

また、図4及び図5では胎児を例にとったが、心臓などといった臓器に対してもこの実施形態の手法は適用可能である。心臓の場合、例えば、図6に例示するようにボリュームデータの中から、心エコー法の基本断面のうち左右の心室及び心房がすべて捉えられる心尖部四腔断面の断層画像300をユーザに選択させる。そして、その断層画像300の中から、僧帽弁の弁輪部2点(断面と弁輪部との交点)、三尖弁の弁輪部2点、及び心尖部1点を特徴点として選択させる。そして、これら特徴点の位置が、心臓の参照モデルに設定された心尖部四腔断面における各特徴点と位置合わせされるよう、座標変換を求めればよい。   Moreover, although the fetus was taken as an example in FIGS. 4 and 5, the method of this embodiment can be applied to an organ such as the heart. In the case of the heart, for example, as illustrated in FIG. 6, the user selects a tomographic image 300 of the apical four-chamber cross section in which all the left and right ventricles and atrium are captured from the volume data, as illustrated in FIG. . From the tomographic image 300, two mitral valve annulus parts (intersection of the cross-section and the annulus part), tricuspid valve annulus parts, and one apex part are selected as feature points. Let Then, coordinate transformation may be obtained so that the positions of these feature points are aligned with the feature points in the apex four-chamber cross section set in the heart reference model.

また、以上の例は、座標変換の計算のためにユーザにボリュームデータ上で特徴点を指定させていたが、そのようなユーザの介在なしに自動的に座標変換を求める処理も考えられる。図7に、この自動方式の例の処理手順を示す。この例の装置構成は、図1に例示したものと同様でよいが、特徴点データ32は不要である。   In the above example, the feature point is specified on the volume data by the user for the coordinate conversion calculation. However, a process for automatically obtaining the coordinate conversion without such user intervention is also conceivable. FIG. 7 shows a processing procedure of an example of this automatic method. The apparatus configuration of this example may be the same as that illustrated in FIG. 1, but the feature point data 32 is not necessary.

この手順では、S10で対象とするボリュームデータを取得すると、座標整合処理部36は、そのボリュームデータをあらかじめ定めた閾値を用いて二値化する(S40)。なお、必要に応じ、ボリュームデータの画素値を反転させるなどの処理も行う。そして、参照モデルの縮尺、三次元的な回転角度及び位置を様々に変えながら、参照モデルをテンプレートとしてボリュームデータに対してテンプレートマッチング処理を行う(S42)。このテンプレートマッチング処理では、縮尺、回転角度及び位置の組み合わせごとに、参照モデルとボリュームデータとの相関係数を求める。そして、相関係数が最大となるときに参照モデルとボリュームデータとが位置合わせされたものとし、このときの縮尺、回転角度及び位置の組み合わせを元に、参照モデルとボリュームデータとの間の座標変換を計算する。このように座標変換情報が計算された後の処理は、図2の手順と同様でよい。   In this procedure, when the target volume data is acquired in S10, the coordinate matching processing unit 36 binarizes the volume data using a predetermined threshold (S40). If necessary, processing such as inversion of the pixel value of the volume data is also performed. Then, template matching processing is performed on the volume data using the reference model as a template while variously changing the scale of the reference model, the three-dimensional rotation angle, and the position (S42). In this template matching process, a correlation coefficient between the reference model and volume data is obtained for each combination of scale, rotation angle, and position. It is assumed that the reference model and the volume data are aligned when the correlation coefficient is maximum, and the coordinates between the reference model and the volume data are based on the combination of the scale, rotation angle, and position at this time. Calculate the transformation. The processing after the coordinate conversion information is calculated in this way may be the same as the procedure in FIG.

また、この実施形態において、モデル画像生成部40が生成したモデル画像上で断層画像をとる断面の位置や向きを指定できるようにしてもよい。この場合、ユーザは、入力装置28を操作して、モデル画像の表示(ガイド表示)上で断面カーソルの位置や向きを変更する。中央制御部26は、変更後の断面カーソルの位置や向きを表す情報を取得し、それを座標整合処理部36が求めた座標変換情報を用いて、ボリュームデータの座標系での断面の位置及び向きを表す情報へと変換する。そして、断層画像生成部20が、その変換により得られた位置及び向きの情報が表す断面上の各ボクセルのデータを描画することにより、ユーザが指定した断面の断層画像を生成する。   In this embodiment, the position and orientation of a cross section that takes a tomographic image on the model image generated by the model image generation unit 40 may be designated. In this case, the user operates the input device 28 to change the position and orientation of the cross-section cursor on the model image display (guide display). The central control unit 26 acquires information indicating the position and orientation of the cross-sectional cursor after the change, and uses the coordinate conversion information obtained by the coordinate matching processing unit 36 to obtain the position of the cross-section in the coordinate system of the volume data and Convert to orientation information. Then, the tomographic image generation unit 20 generates the tomographic image of the cross section designated by the user by drawing the data of each voxel on the cross section represented by the position and orientation information obtained by the conversion.

10 3Dプローブ、12 送受信制御部、14 整相加算部、16 ビーム処理部、18 メモリ、20 断層画像生成部、22 画像生成・合成部、24 表示装置、26 中央制御部、28 入力装置、30 記憶装置、32 特徴点データ、34 参照モデルデータ、36 座標整合処理部、38 カーソル生成部、40 モデル画像生成部。   10 3D probe, 12 transmission / reception control unit, 14 phasing addition unit, 16 beam processing unit, 18 memory, 20 tomographic image generation unit, 22 image generation / synthesis unit, 24 display device, 26 central control unit, 28 input device, 30 Storage device, 32 feature point data, 34 reference model data, 36 coordinate matching processing unit, 38 cursor generation unit, 40 model image generation unit.

Claims (5)

観察対象の臓器又は胎児の一般的な三次元形状を表す三次元形状モデルデータと、当該三次元形状モデルデータにおける3以上の各特徴点の座標情報と、を記憶する記憶手段と、
被検体内に超音波を送受波して、前記被検体内の前記観察対象の臓器又は胎児を含んだ観察領域の三次元エコーデータを生成する三次元エコーデータ生成手段と、
前記三次元エコーデータ生成手段が生成した前記三次元エコーデータから、前記三次元モデルデータの前記各特徴点に対応する各特徴点を特定し、特定した前記三次元エコーデータの前記各特徴点の座標と、前記三次元モデルデータの前記各特徴点の座標と、に基づき、前記三次元モデルデータと前記三次元エコーデータとの間の座標変換情報を生成する座標変換情報生成手段と、
前記三次元エコーデータから、ユーザの指定した断面の断層画像を生成する断層画像生成手段と、
前記三次元形状モデルデータを表すモデル画像を生成すると共に、前記ユーザが指定した断面の前記三次元エコーデータ中での位置及び向きと、前記座標変換情報とに基づき、前記三次元モデルデータ上での前記断面を位置及び向きを求め、求めた位置及び向きを持つ断面カーソルを前記モデル画像に合成するモデル画像生成手段と、
前記断層画像生成手段が生成した前記断層画像と、前記モデル画像生成手段が生成した前記断面カーソルが合成された前記モデル画像と、を互いに対応づけた表示画像を生成する表示画像生成手段と、
を備る超音波診断システム。
Storage means for storing three-dimensional shape model data representing a general three-dimensional shape of an organ or fetus to be observed, and coordinate information of three or more feature points in the three-dimensional shape model data;
Three-dimensional echo data generating means for transmitting and receiving ultrasonic waves in the subject and generating three-dimensional echo data of the observation region including the observation target organ or fetus in the subject;
From the 3D echo data generated by the 3D echo data generation means, identify each feature point corresponding to each feature point of the 3D model data, and identify each feature point of the identified 3D echo data Coordinate conversion information generating means for generating coordinate conversion information between the three-dimensional model data and the three-dimensional echo data based on the coordinates and the coordinates of the feature points of the three-dimensional model data;
A tomographic image generating means for generating a tomographic image of a cross section designated by the user from the three-dimensional echo data;
A model image representing the three-dimensional shape model data is generated, and on the three-dimensional model data based on the position and orientation of the cross section specified by the user in the three-dimensional echo data and the coordinate conversion information. the cross-section obtains the position and orientation of the model image generating means for synthesizing the cross cursor to the model image with the position and orientation determined,
Display image generation means for generating a display image in which the tomographic image generated by the tomographic image generation means and the model image synthesized by the cross-sectional cursor generated by the model image generation means are associated with each other;
Ultrasound diagnostic system Ru Bei to give a.
前記座標変換情報生成手段は、
前記各特徴点の各々について、ユーザに前記三次元エコーデータ中で断面を指定させ、指定された断面について前記断層画像生成手段が生成した前記三次元エコーデータの断層画像上で、前記ユーザから特徴点の位置の指定を受け付ける特徴点指定手段と、
前記特徴点指定手段により指定を受け付けた特徴点の前記断層画像上での位置と、前記三次元エコーデータ内での前記断層画像に対応する断面の位置とに基づき、当該特徴点の前記三次元エコーデータ内での座標を算出する算出手段と、
を備え、前記各特徴点のそれぞれについて前記算出手段が算出した座標と、前記三次元モデルデータにおける前記各特徴点の座標とに基づき、前記座標変換情報を生成する、
ことを特徴とする請求項に記載の超音波診断システム。
The coordinate conversion information generating means includes
For each of the feature points, the user designates a cross section in the three-dimensional echo data, and the feature is received from the user on the tomographic image of the three-dimensional echo data generated by the tomographic image generation unit for the designated cross section. A feature point designation means for accepting designation of a point position;
Based on the position on the tomographic image of the feature point that has been designated by the feature point designating means and the position of the cross section corresponding to the tomographic image in the three-dimensional echo data, the three-dimensional of the feature point Calculating means for calculating coordinates in the echo data;
And generating the coordinate conversion information based on the coordinates calculated by the calculation means for each of the feature points and the coordinates of the feature points in the three-dimensional model data.
The ultrasonic diagnostic system according to claim 1 .
前記座標変換情報生成手段は、前記三次元エコーデータ及び前記三次元モデルデータのうちの一方をテンプレートとし、他方に対してテンプレートマッチング処理を実行し、テンプレートマッチング処理により得られた相関係数の値が最大となったときの前記テンプレートの平行移動量、回転角及び縮尺に基づいて前記座標変換情報を生成する、
ことを特徴とする請求項に記載の超音波診断システム。
The coordinate transformation information generation means uses one of the three-dimensional echo data and the three-dimensional model data as a template, executes a template matching process on the other, and obtains a correlation coefficient value obtained by the template matching process Generating the coordinate conversion information based on the parallel movement amount, rotation angle, and scale of the template when
The ultrasonic diagnostic system according to claim 1 .
観察対象の臓器又は胎児の一般的な三次元形状を表す三次元形状モデルデータと、当該三次元形状モデルデータにおける3以上の各特徴点の座標情報と、を記憶する記憶手段と、  Storage means for storing three-dimensional shape model data representing a general three-dimensional shape of an organ or fetus to be observed, and coordinate information of three or more feature points in the three-dimensional shape model data;
被検体内に超音波を送受波して、前記被検体内の前記観察対象の臓器又は胎児を含んだ観察領域の三次元エコーデータを生成する三次元エコーデータ生成手段と、  Three-dimensional echo data generating means for transmitting and receiving ultrasonic waves in the subject and generating three-dimensional echo data of the observation region including the observation target organ or fetus in the subject;
前記三次元エコーデータ生成手段が生成した前記三次元エコーデータから、前記三次元モデルデータの前記各特徴点に対応する各特徴点を特定し、特定した前記三次元エコーデータの前記各特徴点の座標と、前記三次元モデルデータの前記各特徴点の座標と、に基づき、前記三次元モデルデータと前記三次元エコーデータとの間の座標変換情報を生成する座標変換情報生成手段と、  From the 3D echo data generated by the 3D echo data generation means, identify each feature point corresponding to each feature point of the 3D model data, and identify each feature point of the identified 3D echo data Coordinate conversion information generating means for generating coordinate conversion information between the three-dimensional model data and the three-dimensional echo data based on the coordinates and the coordinates of the feature points of the three-dimensional model data;
前記座標変換情報生成手段は、前記三次元エコーデータ及び前記三次元モデルデータのうちの一方をテンプレートとし、他方に対してテンプレートマッチング処理を実行し、テンプレートマッチング処理により得られた相関係数の値が最大となったときの前記テンプレートの平行移動量、回転角及び縮尺に基づいて前記座標変換情報を生成する、  The coordinate transformation information generation means uses one of the three-dimensional echo data and the three-dimensional model data as a template, executes a template matching process on the other, and obtains a correlation coefficient value obtained by the template matching process Generating the coordinate conversion information based on the parallel movement amount, rotation angle, and scale of the template when
ことを特徴とする超音波診断システム。  An ultrasonic diagnostic system characterized by that.
前記表示画像生成手段が生成した前記表示画像内の前記モデル画像上で前記断面カーソルの位置及び向きの変更指示を受け付ける断面変更指示受付手段と、
前記変更指示に応じて変更された前記断面カーソルの位置及び向きを表す情報を、前記座標変換情報を用いて、前記三次元エコーデータの座標系における断面の位置及び向きを表す情報に変換する断面変換手段と、
を更に備え、
前記断層画像生成手段は、前記三次元エコーデータから、前記断面変換手段が求めた変換後の位置及び向きを表す情報が表す断面の断層画像を生成する、
ことを特徴とする請求項1〜のいずれか1項に記載の超音波診断システム。
A cross-section change instruction receiving means for receiving a change instruction for the position and orientation of the cross-section cursor on the model image in the display image generated by the display image generating means;
A cross section for converting the information indicating the position and orientation of the cross-section cursor changed according to the change instruction into information indicating the position and orientation of the cross section in the coordinate system of the three-dimensional echo data using the coordinate conversion information. Conversion means;
Further comprising
The tomographic image generation means generates a tomographic image of a cross section represented by information indicating the position and orientation after conversion obtained by the cross section conversion means from the three-dimensional echo data.
The ultrasonic diagnostic system according to any one of claims 1 to 3 .
JP2009262603A 2009-11-18 2009-11-18 Ultrasound diagnostic system Active JP5462598B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009262603A JP5462598B2 (en) 2009-11-18 2009-11-18 Ultrasound diagnostic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009262603A JP5462598B2 (en) 2009-11-18 2009-11-18 Ultrasound diagnostic system

Publications (2)

Publication Number Publication Date
JP2011104137A JP2011104137A (en) 2011-06-02
JP5462598B2 true JP5462598B2 (en) 2014-04-02

Family

ID=44228341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009262603A Active JP5462598B2 (en) 2009-11-18 2009-11-18 Ultrasound diagnostic system

Country Status (1)

Country Link
JP (1) JP5462598B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6118021B2 (en) * 2011-12-15 2017-04-19 株式会社日立製作所 Ultrasonic diagnostic apparatus and image display method
JP5493114B1 (en) * 2012-10-24 2014-05-14 株式会社モルフォ Image processing apparatus, image processing method, image processing program, and recording medium
JP6173686B2 (en) * 2012-12-25 2017-08-02 東芝メディカルシステムズ株式会社 Ultrasonic diagnostic equipment
KR101495528B1 (en) * 2013-03-28 2015-03-02 삼성메디슨 주식회사 Ultrasound system and method for providing direction information of a target object
JP6032610B2 (en) * 2013-04-15 2016-11-30 富士通株式会社 Display processing program, display processing method, and display processing apparatus
CN105433981B (en) * 2015-12-07 2018-08-07 深圳开立生物医疗科技股份有限公司 A kind of ultrasonic imaging method, device and its ultrasonic device
CN109069119B (en) 2016-04-26 2021-10-22 皇家飞利浦有限公司 3D image synthesis for ultrasound fetal imaging
JP7027029B2 (en) * 2016-06-21 2022-03-01 キヤノンメディカルシステムズ株式会社 Ultrasound diagnostic equipment and medical image processing equipment
US10675004B2 (en) 2016-07-20 2020-06-09 Fujifilm Sonosite, Inc. Ultrasound imaging apparatus with image selector
US11465177B2 (en) 2018-05-21 2022-10-11 Fujifilm Sonosite, Inc. PMUT ultrasound transducer with damping layer
EP3711673A1 (en) * 2019-03-18 2020-09-23 Koninklijke Philips N.V. Methods and systems for adjusting the field of view of an ultrasound probe
JP7442548B2 (en) * 2019-05-31 2024-03-04 コーニンクレッカ フィリップス エヌ ヴェ guided ultrasound imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0810468B2 (en) * 1989-01-26 1996-01-31 株式会社東芝 Image display device
JPH0378513U (en) * 1989-11-29 1991-08-08
JPH0428354A (en) * 1990-05-25 1992-01-30 Toshiba Corp Ultrasonic diagnosing device
JP2002140689A (en) * 2000-10-31 2002-05-17 Toshiba Corp Medical image processor and its method
JP4138445B2 (en) * 2002-10-28 2008-08-27 アロカ株式会社 Ultrasonic diagnostic equipment
JP4263579B2 (en) * 2003-10-22 2009-05-13 アロカ株式会社 Ultrasonic diagnostic equipment
WO2006064676A1 (en) * 2004-12-13 2006-06-22 Hitachi Medical Corporation Ultrasonic diagnosis apparatus
JP5027922B2 (en) * 2008-05-07 2012-09-19 株式会社日立製作所 Ultrasonic diagnostic equipment
JP5390149B2 (en) * 2008-09-17 2014-01-15 株式会社東芝 Ultrasonic diagnostic apparatus, ultrasonic diagnostic support program, and image processing apparatus

Also Published As

Publication number Publication date
JP2011104137A (en) 2011-06-02

Similar Documents

Publication Publication Date Title
JP5462598B2 (en) Ultrasound diagnostic system
US11094138B2 (en) Systems for linking features in medical images to anatomical models and methods of operation thereof
JP6574532B2 (en) 3D image synthesis for ultrasound fetal imaging
CN106037797B (en) Three-dimensional volume of interest in ultrasound imaging
JP4847334B2 (en) Ultrasonic imaging apparatus and projection image generation method
JP5567502B2 (en) Medical training method and apparatus
JP5606076B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program
US8079957B2 (en) Synchronized three or four-dimensional medical ultrasound imaging and measurements
CN110087555B (en) Ultrasonic equipment and display transformation method and system of three-dimensional ultrasonic image thereof
JP2000500679A (en) 3D image forming system
KR101100464B1 (en) Ultrasound system and method for providing three-dimensional ultrasound image based on sub region of interest
JP5525930B2 (en) Ultrasound diagnostic device for generating and displaying 3D ultrasound images
CN114902288A (en) Method and system for three-dimensional (3D) printing using anatomy-based three-dimensional (3D) model cutting
JP5390149B2 (en) Ultrasonic diagnostic apparatus, ultrasonic diagnostic support program, and image processing apparatus
JP4936281B2 (en) Ultrasonic diagnostic equipment
KR101014559B1 (en) Ultrasound system and method for providing 3-dimensional ultrasound images
KR101107478B1 (en) Ultrasound system and method for forming a plurality of 3 dimensional ultrasound images
JP2022513225A (en) Systems and methods for frame indexing and image review
JP5576041B2 (en) Ultrasonic diagnostic equipment
JP2018149055A (en) Ultrasonic image processing device
JP2022090787A (en) Ultrasonic diagnostic system and operation support method
JP7165541B2 (en) Volume data processing device, method and program
JP5182932B2 (en) Ultrasonic volume data processor
US20230181165A1 (en) System and methods for image fusion
JP4843728B2 (en) Ultrasonic diagnostic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5462598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250