JP4429433B2

JP4429433B2 - Image processing method and apparatus

Info

Publication number: JP4429433B2
Application number: JP32103099A
Authority: JP
Inventors: 朋洋永尾; 尚子永尾; 良洋後藤; 聖子森田; 佐々木　　寛
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 1999-11-11
Filing date: 1999-11-11
Publication date: 2010-03-10
Anticipated expiration: 2019-11-11
Also published as: JP2001143098A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び装置に係り、特に複数枚の断層像が積み上げられてなる三次元の原画像に対して視点を設定し、該視点から各断層像を投影面に投影するとともに陰影付けしてなる三次元画像に対する視点及び視野範囲を把握可能にするための切断面画像を構成する画像処理方法及び装置に関する。
【０００２】
【従来の技術】
現在、画像診断装置としてＸ線ＣＴ装置やコーンビームＣＴ装置、ＭＲＩ装置などが使用されており、該画像診断装置により複数の断層像が得られる。この断層像が複数枚積み上げられてなる三次元の原画像に対して、視点を設定し該視点から各断層像を投影面に投影するとともに陰影付けしてなる三次元画像を構成する中心投影法を利用した画像処理方法がある（特願平６−３４９２号）。この中心投影法を利用した画像処理方法は、内視鏡や腹腔鏡で管腔臓器内部を観察するような三次元画像を構成する場合に有効な手法である。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記中心投影法を利用した画像処理方法によって構成された三次元画像は、視点が観察対象の内部に入っている場合、観察対象全体の中のどの位置に視点が置かれ、観察対象のどの範囲を観察しているかを常に把握することが困難であるという問題がある。
【０００４】
本発明はこのような事情に鑑みてなされたもので、中心投影法を利用して構成された三次元画像の視点の位置が観察対象のどの位置にあるか、また観察対象のどの範囲を観察しているかを容易に把握することができる画像処理方法及び装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
前記目的を達成するために本願請求項１に係る発明は、複数枚の断層像が積み上げられてなる三次元の原画像に対して視点を設定し、該視点から各断層像を投影面に投影するとともに陰影付けしてなる三次元画像を構成する画像処理方法において、前記視点を含み、該視点を中心にして任意の方向に回転可能な平面を前記原画像の切断面として設定するステップと、前記設定された切断面によって前記原画像を切断してなる切断面画像を構成するステップと、前記切断面画像を表示するとともに該切断面画像上に前記視点及び視野範囲を表示するステップと、を含むことを特徴としている。
【０００６】
本願請求項２に係る発明は、複数枚の断層像が積み上げられてなる三次元の原画像に対して視点を設定し、該視点から各断層像を投影面に投影するとともに陰影付けしてなる三次元画像を構成する画像処理装置において、前記視点を含み、該視点を中心にして任意の方向に回転可能な平面を前記三次元画像の切断面として設定する切断面設定手段と、前記設定された切断面によって前記原画像を切断してなる切断面画像を構成する切断面画像構成手段と、前記切断面画像上における前記視点及び前記三次元画像の視野範囲を求める手段と、前記切断面画像を表示するとともに該切断面画像上に前記視点及び視野範囲を表示する手段と、を備えたことを特徴としている。
【０００７】
本発明によれば、視点を含む任意の切断面画像とともに切断面画像中に視点と視野範囲とを表示するようにしたため、三次元画像の観察時に、三次元画像の視点の位置が観察対象のどの位置にあるか、また観察対象のどの範囲を観察しているかを容易に把握することができる。
【０００８】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理方法及び装置の好ましい実施の形態について詳説する。
【０００９】
まず、図１及び図２により中心投影法により三次元画像を構成する画像処理法について説明する。
【００１０】
図１は中心投影法を三次元座標で説明するための図であり、図２は三次元の原画像に対する視点と投影面の位置関係を示す斜視図である。これらの図面に示すように、複数枚の断層像２２（図１、図２では１枚のみを示している）がｙ軸方向に積み上げられてなる三次元の原画像２６に対して視点ｅ及び投影面２０が設定される。
【００１１】
尚、図１上で、ａ、ｂ、ｃはそれぞれ投影面２０とｘ軸、ｙ軸、ｚ軸との交点を示し、αは原点から投影面２０に下ろした垂線と、この垂線をｚ−ｘ面に投影した線とのなす角であり、前記ｚ−ｘ面に投影した線とｘ軸とのなす角である。
【００１２】
中心投影法では視点ｅから伸びている投影線２４に沿って、断層像２２上の画素ｓ（ｘ₀，ｙ₀，ｚ₀）の投影結果が投影面２０上の点ｐ（ｘ，ｙ，ｚ）に座標変換される。
【００１３】
そして、投影面２０上に投影された断層像に対し、周知の陰影付けアルゴリズムにしたがって陰影付けを行うことにより、内視鏡や腹腔鏡で管腔臓器内部を観察するような三次元画像が構成される。
【００１４】
次に、図３及び図４により本発明に係る切断面画像の作成方法を説明する。
図３は視点と投影面と切断面画像と位置関係を示す斜視図であり、図４は切断面画像の計算方法を説明するために用いた切断面画像を含む平面図である。
図３に示すように切断面画像２８は、視点ｅを含み、この視点ｅを中心にして任意の方向に回転可能な平面によって原画像２６を切断した切断面を示す画像である。
【００１５】
この切断面画像２８は、視点ｅと投影面２０上の任意の２点Ｐ、Ｑとを通る平面として定義される。即ち、視点ｅを通る平面の回転角が決まると、投影面２０上の２点Ｐ、Ｑも決定される。
【００１６】
ここで、切断面画像２８を作成する場合、視点ｅ、点Ｐ、点Ｑの座標をそれぞれ（ｅ_x ，ｅ_y ，ｅ_z ）、（ｐ_x ，ｐ_y ，ｐ_z ）、（ｑ_x ，ｑ_y ，ｑ_z ）とすると、線分ＰＱの中点Ｒ（ｒ_x ，ｒ_y ，ｒ_z）は、
ｒ_x＝（ｐ_x＋ｑ_x）/ ２
ｒ_y＝（ｐ_y＋ｑ_y）/ ２
ｒ_z＝（ｐ_z＋ｑ_z）/ ２
として与えられる。また、これより線分ｅＲの方向ベクトル（ｉ，ｊ，ｋ）は、ｉ＝ｒ_x−ｅ_x
ｊ＝ｒ_y−ｅ_y
ｋ＝ｒ_z−ｅ_z
と定義される。切断面画像２８は、例えば線分ＰＱ上の点α（α_x ，α_y ，α_z ）を通る、線分ｅＲの方向ベクトルと平行な直線の集合として、次式で表わされる。
（ｘ−α_x）／ｉ＝（ｙ−α_y）／ｊ＝（ｚ−α_z）／ｋ
（ただし、ｙ₁ ≦ｙ≦ｙ₂ ）
【００１７】
また、視野範囲を示す境界線３２は、線分ｅＰ、ｅＱの切断面画像２８上の位置を計算することで求められる。例えば線分ｅＰの方向ベクトル（１，ｍ，ｎ）は、次式、
ｌ＝ｐ_x−ｅ_x
ｍ＝ｐ_y−ｅ_y
ｎ＝ｐ_z−ｅ_z
として定義され、線分ｅＰによる境界線３２は、次式、
（ｘ−α_x ）／ｌ＝（ｙ−α_y）／ｍ＝（ｚ−α_z）／ｎ
（ただし、ｅ_y ≦ｙ≦ｙ₂）
として与えられる。線分ｅＱによる境界線３２も同様に求めることができる。
【００１８】
このようにして、視点ｅを通り、該視点ｅを中心にして任意に回転する平面で原画像を切断した切断面画像２８を作成することができ、また、視点ｅからの視野範囲を示す境界線３２も作成することができる。したがって、切断面画像２８を表示するとともに、切断面画像２８上に視点ｅ及び境界線３２を表示することにより、三次元画像の視点の位置が観察対象のどの位置にあるか、また観察対象のどの範囲を観察しているかを容易に把握することができる。
【００１９】
図５は本発明に係る画像処理装置のハードウエア構成を示すブロック図である。
図５に示すように画像処理装置２は、Ｘ線ＣＴ装置、コーンビームＣＴ装置、ＭＲＩ装置等の画像診断装置によって取得された三次元の原画像が格納された磁気ディスク４と、演算処理に必要なソフトウェアが収納された主メモリ６と、演算処理を行なう中央処理装置（以下ＣＰＵと称す）８と、処理結果の表示データを記録する表示メモリ１０と、その表示データを表示するＣＲＴディスプレイ等の表示装置１２と、画面上のソフトスイッチを操作するマウス１４やキーボード等の外部入力コントローラ１６と、共通バス１８とから構成されている。
【００２０】
オペレータはマウス１４やキーボードを利用して入出力を行い、その入出力された情報を基にＣＰＵ８は磁気ディスク４に格納された原画像を呼び出し、主メモリ６のソフトウェアに従って上述した中心投影法を利用した三次元画像や切断面画像を構成するための所定の演算処理を行う。この画像処理された表示データは表示メモリ１０を介して表示装置１２に表示される。表示データは磁気ディスク４に格納され、再表示に利用される。
【００２１】
図６は本発明に係る画像処理方法の手順を示すフローチャートである。
まず、三次元画像を再構成するための視点の位置や投影面等を示すパラメータを設定する（ステップ６１）。続いて、図１及び図２で説明したように中心投影法を利用して三次元画像の再構成計算を行い（ステップ６２）、図７に示すように表示装置に三次元画像２７を表示する。
【００２２】
次に、上記三次元画像２７のガイド像としての切断面画像を表示する場合には、任意の切断面画像を計算するための視点ｅを中心とする回転角等のパラメータを設定する（ステップ６４）。続いて、図３及び図４で説明したように任意に設定した切断面画像を構成するための計算を行うとともに、視点位置及び視野範囲（図４の境界線３２）の計算を行う（ステップ６５、６６）。そして、図８（ａ）に示すように、視点ｅ、境界線３２が表示された任意の切断面画像２８を表示装置に表示する（ステップ６７）。
【００２３】
尚、ステップ６４でのパラメータを変更し、ステップ６５〜６７の処理を繰り返し実行することにより、任意の切断面画像を表示させることができる。
また、図８（ａ）に示すように境界線３２を画像上に表示することで視野範囲３０を表示する場合に限らず、図８（ｂ）に示すように境界線３２の外側と内側でコントラストを付けることで視野範囲３０を示してもよい。
更に、前記三次元画像２７と切断面画像２８とは、表示装置の画面を切り替えて表示するようにしてもよいし、図９に示すように並べて表示するようにしてもよい。
【００２４】
【発明の効果】
以上説明したように本発明によれば、中心投影法を利用して構成された三次元画像の観察時に、視点を含む任意の切断面画像とともに切断面画像中に視点と視野範囲とを表示するようにしたため、視点の位置が観察対象のどの位置にあるか、また観察対象のどの範囲を観察しているかを容易に把握することができる。
【図面の簡単な説明】
【図１】中心投影法を三次元座標で説明するための図。
【図２】三次元の原画像に対する視点と投影面の位置関係を示す斜視図。
【図３】視点と投影面と切断面画像と位置関係を示す斜視図。
【図４】切断面画像の計算方法を説明するために用いた切断面画像を含む平面図。
【図５】本発明に係る画像処理装置のハードウエア構成を示すブロック図。
【図６】本発明に係る画像処理方法の手順を示すフローチャート。
【図７】中心投影法を利用して構成された三次元画像を示す図。
【図８】本発明に係る切断面画像の一例を示す図。
【図９】三次元画像と切断面画像とが並べて表示された図。
【符号の説明】
２…画像処理装置、４…磁気ディスク、６…主メモリ、８…ＣＰＵ、１０…表示メモリ、１２…表示装置、１４…マウス、１６…外部入力コントローラ、１８…共通バス、２０…投影面、２２…断層像、２４…投影線、２６…三次元の原画像、２７…三次元画像、２８…切断面画像、３０…視野範囲、３２…境界線、ｅ…視点[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus, and in particular, sets a viewpoint for a three-dimensional original image in which a plurality of tomographic images are stacked, projects each tomographic image from the viewpoint onto a projection plane, and shades the image. The present invention relates to an image processing method and apparatus for constructing a cut surface image for enabling grasping of a viewpoint and a visual field range for a three-dimensional image.
[0002]
[Prior art]
Currently, an X-ray CT apparatus, a cone beam CT apparatus, an MRI apparatus, and the like are used as an image diagnostic apparatus, and a plurality of tomographic images are obtained by the image diagnostic apparatus. A central projection method for constructing a three-dimensional image in which a tomographic image is set by projecting each tomographic image onto a projection plane from the viewpoint of a three-dimensional original image obtained by stacking a plurality of tomographic images. There is an image processing method using Japanese Patent Application No. 6-3492. This image processing method using the central projection method is an effective method for constructing a three-dimensional image in which the inside of a hollow organ is observed with an endoscope or a laparoscope.
[0003]
[Problems to be solved by the invention]
However, the three-dimensional image formed by the image processing method using the central projection method, when the viewpoint is inside the observation target, is located at which position in the entire observation target, There is a problem that it is difficult to always grasp which range is being observed.
[0004]
The present invention has been made in view of such circumstances, and the position of the viewpoint of the three-dimensional image constructed using the central projection method is located in the observation target, and the range of the observation target is observed. An object of the present invention is to provide an image processing method and apparatus capable of easily grasping whether or not an image is being processed.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 of the present application sets a viewpoint for a three-dimensional original image formed by stacking a plurality of tomographic images, and projects each tomographic image from the viewpoint onto a projection plane. In the image processing method for constructing a three-dimensional image that is shaded and setting a plane that includes the viewpoint and is rotatable in an arbitrary direction around the viewpoint as a cut surface of the original image; A step of constructing a cut surface image formed by cutting the original image with the set cut surface; and a step of displaying the cut surface image and displaying the viewpoint and field of view range on the cut surface image. It is characterized by including.
[0006]
In the invention according to claim 2 of the present application, a viewpoint is set for a three-dimensional original image obtained by stacking a plurality of tomographic images, and each tomographic image is projected onto the projection plane and shaded from the viewpoint. In the image processing apparatus constituting the three-dimensional image, the cutting plane setting means for setting a plane that includes the viewpoint and is rotatable in an arbitrary direction around the viewpoint as a cutting plane of the three-dimensional image, the set A cutting plane image forming means for forming a cutting plane image formed by cutting the original image with the cut plane, a means for obtaining a visual field range of the viewpoint and the three-dimensional image on the cutting plane image, and the cutting plane image And a means for displaying the viewpoint and field-of-view range on the cut surface image.
[0007]
According to the present invention, since the viewpoint and the visual field range are displayed in the cut surface image together with an arbitrary cut surface image including the viewpoint, the position of the viewpoint of the three-dimensional image is the observation target when the three-dimensional image is observed. It is possible to easily grasp the position and the range of the observation target.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of an image processing method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
[0009]
First, an image processing method for constructing a three-dimensional image by the central projection method will be described with reference to FIGS.
[0010]
FIG. 1 is a diagram for explaining the central projection method in three-dimensional coordinates, and FIG. 2 is a perspective view showing the positional relationship between the viewpoint and the projection plane with respect to the three-dimensional original image. As shown in these drawings, a viewpoint e and a three-dimensional original image 26 in which a plurality of tomographic images 22 (only one image is shown in FIGS. 1 and 2) are stacked in the y-axis direction. A projection plane 20 is set.
[0011]
In FIG. 1, a, b, and c represent the intersection points of the projection plane 20 and the x-axis, y-axis, and z-axis, respectively, and α represents a perpendicular line drawn from the origin to the projection plane 20 and the perpendicular line z−. It is an angle formed by a line projected on the x plane, and an angle formed by the line projected on the zx plane and the x axis.
[0012]
In the central projection method, the projection result of the pixel s (x ₀ , y ₀ , z ₀ ) on the tomographic image 22 along the projection line 24 extending from the viewpoint e is the point p (x, y, z).
[0013]
A tomographic image projected on the projection plane 20 is shaded according to a well-known shading algorithm, thereby forming a three-dimensional image for observing the inside of a luminal organ with an endoscope or a laparoscope. Is done.
[0014]
Next, a method of creating a cut surface image according to the present invention will be described with reference to FIGS.
FIG. 3 is a perspective view showing a positional relationship between the viewpoint, the projection plane, and the cut plane image, and FIG. 4 is a plan view including the cut plane image used for explaining the calculation method of the cut plane image.
As shown in FIG. 3, the cut surface image 28 is an image showing a cut surface that includes the viewpoint e and cuts the original image 26 by a plane that can rotate in an arbitrary direction around the viewpoint e.
[0015]
The cut plane image 28 is defined as a plane passing through the viewpoint e and two arbitrary points P and Q on the projection plane 20. That is, when the rotation angle of the plane passing through the viewpoint e is determined, the two points P and Q on the projection plane 20 are also determined.
[0016]
Here, when the cut surface image 28 is created, the coordinates of the viewpoint e, the point P, and the point Q are set to (e _x , e _y , e _z ), (p _x , p _y , p _z ), (q _x , q _y , q _z ), the midpoint R (r _x , r _y , r _z ) of the line segment PQ is
r _x = (p _x + q _x ) / 2
_{_{r y = (p y + q}} y) / 2
r _z = (p _z + q _z ) / 2
As given. This also from the direction vector of the line segment eR (i, j, k) is, i = r _{_x} -e _x
j = r _y −e _y
k = r _z −e _z
It is defined as The cut surface image 28 is expressed by the following expression as a set of straight lines that pass through the point α (α _x , α _y , α _z ) on the line segment PQ and parallel to the direction vector of the line segment eR, for example.
(X−α _x ) / i = (y−α _y ) / j = (z−α _z ) / k
(However, y ₁ ≤ y ≤ y ₂ )
[0017]
The boundary line 32 indicating the visual field range is obtained by calculating the positions of the line segments eP and eQ on the cut surface image 28. For example, the direction vector (1, m, n) of the line segment eP is given by
l = p _x −e _x
m = p _{_y} -e _y
n = p _z −e _z
The boundary line 32 by the line segment eP is defined as
(X−α _x ) / l = (y−α _y ) / m = (z−α _z ) / n
(However, e _y ≤ y ≤ y ₂ )
As given. The boundary line 32 by the line segment eQ can be similarly obtained.
[0018]
In this way, it is possible to create a cut surface image 28 obtained by cutting the original image on a plane that passes through the viewpoint e and is arbitrarily rotated about the viewpoint e, and a boundary indicating the visual field range from the viewpoint e. Line 32 can also be created. Therefore, by displaying the cut plane image 28 and displaying the viewpoint e and the boundary line 32 on the cut plane image 28, the position of the viewpoint of the three-dimensional image is located in the observation target, and the observation target It is possible to easily grasp which range is being observed.
[0019]
FIG. 5 is a block diagram showing a hardware configuration of the image processing apparatus according to the present invention.
As shown in FIG. 5, the image processing apparatus 2 includes a magnetic disk 4 on which a three-dimensional original image acquired by an image diagnostic apparatus such as an X-ray CT apparatus, a cone beam CT apparatus, and an MRI apparatus is stored. A main memory 6 in which necessary software is stored, a central processing unit (hereinafter referred to as CPU) 8 that performs arithmetic processing, a display memory 10 that records display data of processing results, a CRT display that displays the display data, and the like Display device 12, an external input controller 16 such as a mouse 14 or a keyboard for operating a soft switch on the screen, and a common bus 18.
[0020]
The operator performs input / output using the mouse 14 and the keyboard, and based on the input / output information, the CPU 8 calls the original image stored in the magnetic disk 4 and performs the above-described central projection method according to the software in the main memory 6. Predetermined calculation processing for constructing the utilized three-dimensional image or cut surface image is performed. The image-processed display data is displayed on the display device 12 via the display memory 10. The display data is stored in the magnetic disk 4 and used for redisplay.
[0021]
FIG. 6 is a flowchart showing the procedure of the image processing method according to the present invention.
First, parameters indicating the position of the viewpoint and the projection plane for reconstructing the three-dimensional image are set (step 61). Subsequently, as described with reference to FIGS. 1 and 2, a three-dimensional image reconstruction calculation is performed using the central projection method (step 62), and the three-dimensional image 27 is displayed on the display device as shown in FIG. .
[0022]
Next, when a cut surface image as a guide image of the three-dimensional image 27 is displayed, parameters such as a rotation angle around the viewpoint e for calculating an arbitrary cut surface image are set (step 64). ). Subsequently, as described with reference to FIGS. 3 and 4, calculation for constructing an arbitrarily set cut surface image is performed, and the viewpoint position and the visual field range (boundary line 32 in FIG. 4) are calculated (step 65). 66). Then, as shown in FIG. 8A, an arbitrary cut surface image 28 on which the viewpoint e and the boundary line 32 are displayed is displayed on the display device (step 67).
[0023]
In addition, an arbitrary cut surface image can be displayed by changing the parameter in step 64 and repeatedly executing the processing in steps 65 to 67.
Further, not only when the visual field range 30 is displayed by displaying the boundary line 32 on the image as shown in FIG. 8A, but outside and inside the boundary line 32 as shown in FIG. 8B. The visual field range 30 may be indicated by adding contrast.
Further, the three-dimensional image 27 and the cut surface image 28 may be displayed by switching the screen of the display device, or may be displayed side by side as shown in FIG.
[0024]
【The invention's effect】
As described above, according to the present invention, at the time of observing a three-dimensional image configured using the central projection method, the viewpoint and the field of view range are displayed in the cut surface image together with an arbitrary cut surface image including the viewpoint. As a result, it is possible to easily grasp which position of the observation target is located in the observation target and which range of the observation target is being observed.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a center projection method in three-dimensional coordinates.
FIG. 2 is a perspective view showing a positional relationship between a viewpoint and a projection plane with respect to a three-dimensional original image.
FIG. 3 is a perspective view showing a positional relationship between a viewpoint, a projection plane, and a cut plane image.
FIG. 4 is a plan view including a cut surface image used for explaining a calculation method of a cut surface image;
FIG. 5 is a block diagram showing a hardware configuration of an image processing apparatus according to the present invention.
FIG. 6 is a flowchart showing a procedure of an image processing method according to the present invention.
FIG. 7 is a view showing a three-dimensional image constructed by using the central projection method.
FIG. 8 is a diagram showing an example of a cut surface image according to the present invention.
FIG. 9 is a diagram in which a three-dimensional image and a cut surface image are displayed side by side.
[Explanation of symbols]
2 ... Image processing device, 4 ... Magnetic disk, 6 ... Main memory, 8 ... CPU, 10 ... Display memory, 12 ... Display device, 14 ... Mouse, 16 ... External input controller, 18 ... Common bus, 20 ... Projection plane, 22 ... Tomographic image, 24 ... Projection line, 26 ... Three-dimensional original image, 27 ... Three-dimensional image, 28 ... Cross section image, 30 ... Field of view, 32 ... Boundary line, e ... Viewpoint

Claims

A viewpoint is set for a three-dimensional original image obtained by stacking a plurality of tomographic images obtained by the diagnostic imaging apparatus, and each tomographic image is projected onto the projection plane from the viewpoint by the central projection method and shaded. An image processing apparatus for constructing a three-dimensional image,
A cutting plane setting means for setting a plane that can rotate in an arbitrary direction around the set viewpoint as a cutting plane of the three-dimensional original image;
A cutting plane image forming means for forming a cutting plane image formed by cutting the three-dimensional original image with the set cutting plane;
Display means for displaying the configured cut surface image;
With the viewing range calculation means for calculating the viewpoint and field of view of the three-dimensional image image in the cutting plane image on,
In the image processing apparatus for displaying the cut surface image, the viewpoint, and the visual field range configured by the cut surface image forming unit,
The image processing apparatus, wherein the cut surface image is displayed with a contrast between an inner side and an outer side of the boundary line representing the visual field range on the visual field range side .

The image processing apparatus according to claim 1, wherein the boundary between the inner side and the outer side of the visual field range is obtained by a line segment passing through two points at both ends on the projection plane and the viewpoint.