WO2011062108A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2011062108A1
WO2011062108A1 PCT/JP2010/070094 JP2010070094W WO2011062108A1 WO 2011062108 A1 WO2011062108 A1 WO 2011062108A1 JP 2010070094 W JP2010070094 W JP 2010070094W WO 2011062108 A1 WO2011062108 A1 WO 2011062108A1
Authority
WO
WIPO (PCT)
Prior art keywords
opacity
value
image
image processing
pixel
Prior art date
Application number
PCT/JP2010/070094
Other languages
English (en)
French (fr)
Inventor
良洋 後藤
Original Assignee
株式会社 日立メディコ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 日立メディコ filed Critical 株式会社 日立メディコ
Priority to JP2011541899A priority Critical patent/JPWO2011062108A1/ja
Publication of WO2011062108A1 publication Critical patent/WO2011062108A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for generating a three-dimensional image from a plurality of tomographic images.
  • volume rendering processing samples feature values distributed in each pixel (voxel) in volume data, which is a stack of multiple tomographic images, from a given viewpoint along a virtual ray (ray) at regular intervals. By adding the values, a semi-transparent image is finally generated. A virtual ray is emitted from each pixel on the projection surface.
  • the feature amount (pixel value) of each pixel in the volume data is determined in consideration of the intensity of the virtual ray, its attenuation, reflection, and opacity of the pixel.
  • Opacity is introduced as a parameter representing opacity.
  • an opacity setting method for example, it is described that an optimal opacity curve is determined by performing statistical analysis using a histogram relating to H.U. (Hounsfield Unit) (paragraph [0025] of Patent Document 1).
  • This Patent Document 1 is intended to reduce the burden of parameter (opacity) setting in operator image generation, and enables opacity to be set based on objective evaluation values by statistical analysis related to H.U.
  • a kernel having a certain spatial spread is set with reference to the attention data in the volume data, and the centroid position is obtained based on the values of a plurality of data in the kernel. It is described that the opacity is determined based on the distance (distribution evaluation value) to the center position (usually coincident with the data position of interest) (paragraphs [0006] to [0007]). As a result, the opacity is determined that reflects the tissue properties (for example, the presence or absence of tissue boundaries) in the vicinity of the position where the data of interest exists. Note that the data in the kernel described in Patent Document 2 is echo data of an ultrasonic beam (paragraph [0041]).
  • Patent Document 1 and Patent Document 2 described above generating a shaded three-dimensional image with the skin removed is not considered.
  • a shaded three-dimensional image with the skin removed is not considered.
  • the present invention has been made in view of the above problems, and provides an image processing apparatus and an image processing method capable of generating a shaded three-dimensional image with the skin removed based on a plurality of tomographic images.
  • the purpose is to do.
  • the present invention provides an image processing apparatus for setting a projection line for a plurality of tomographic images and generating a shaded three-dimensional image, from pixel values of pixels on the projection line.
  • An opacity setting means for setting an opacity according to the derived secondary value, and an image generation means for generating the shaded three-dimensional image based on the opacity set by the opacity setting means.
  • An image processing apparatus is characterized.
  • the present invention is an image processing method for setting a projection line for a plurality of tomographic images and generating a shaded three-dimensional image, which is a secondary value derived from a pixel value of a pixel on the projection line.
  • An image processing method comprising: an opacity setting step for setting an opacity in response; and an image generation step for generating the shaded three-dimensional image based on the opacity set by the opacity setting step.
  • the image processing apparatus and the image processing method of the present invention it is possible to provide an image processing apparatus and an image processing method capable of generating a shaded three-dimensional image from which skin is removed based on a plurality of tomographic images. Become.
  • Example of setting opacity (assigning opacity lines to histograms)
  • Example of setting opacity Display example of image from which skin generated by the present invention is removed
  • Example of opacity setting screen 200 for assigning opacity to the operator Flowchart for explaining the flow of image generation processing executed by the image processing apparatus 100 according to the present invention (second embodiment)
  • an image processing system 1 is connected to a medical image processing apparatus 100 (hereinafter referred to as an image processing apparatus 100) having a display device 107 and an input device 109, and the image processing apparatus 100 via a network 110.
  • the image processing apparatus 100 is a computer that performs processing such as image generation and image analysis.
  • a medical image processing apparatus installed in a hospital or the like is included.
  • the image processing apparatus 100 includes a CPU (Central Processing Unit) 101, a main memory 102, a storage device 103, a communication interface (communication I / F) 104, a display memory 105, a mouse 108, and other external devices. Interface (I / F) 106, and each unit is connected via a bus 113.
  • CPU Central Processing Unit
  • the CPU 101 calls and executes a program stored in the main memory 102 or the storage device 103 in the work memory area on the RAM of the main memory 102, executes driving control of each unit connected via the bus 113, and the image processing apparatus Implements various processes performed by 100.
  • the CPU 101 executes volume rendering processing for volume data composed of a plurality of tomographic images in image generation processing (see FIG. 4) described later.
  • the opacity in the volume rendering process is assigned to a secondary value derived from a pixel value (CT value, MR value, or echo data).
  • the secondary value derived from the pixel value includes, for example, a difference value between the target pixel and its surrounding pixels, a power of the difference value, a standard deviation value, a variance value, and the like. The setting of the opacity will be described later.
  • shaded 3D image generated by the volume rendering process is referred to as a shaded 3D image.
  • the main memory 102 is composed of ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the ROM permanently holds a computer boot program, a BIOS program, data, and the like.
  • the RAM temporarily holds programs, data, and the like loaded from the ROM, the storage device 103, and the like, and includes a work area that the CPU 101 uses for performing various processes.
  • the storage device 103 is a storage device that reads / writes data to / from an HDD (hard disk drive) or other recording medium, and stores programs executed by the CPU 101, data necessary for program execution, an OS (operating system), and the like. .
  • As for the program a control program corresponding to the OS and an application program are stored. Each of these program codes is read by the CPU 101 as necessary, transferred to the RAM of the main memory 102, and executed as various means.
  • the communication I / F 104 has a communication control device, a communication port, and the like, and mediates communication between the image processing apparatus 100 and the network 110.
  • the communication I / F 104 performs communication control with the image database 111, another computer, or an image capturing apparatus 112 such as an X-ray CT apparatus or an MRI apparatus via the network 110.
  • the I / F 106 is a port for connecting a peripheral device, and transmits / receives data to / from the peripheral device.
  • a pointing device such as a mouse 108 or a stylus pen may be connected via the I / F 106.
  • the display memory 105 is a buffer that temporarily stores display data input from the CPU 101.
  • the accumulated display data is output to the display device 107 at a predetermined timing.
  • the display device 107 includes a display device such as a liquid crystal panel and a CRT monitor, and a logic circuit for executing display processing in cooperation with the display device, and is connected to the CPU 101 via the display memory 105.
  • the display device 107 displays the display data stored in the display memory 105 under the control of the CPU 101.
  • the input device 109 is an input device such as a keyboard, for example, and outputs various instructions and information input by the operator to the CPU 101.
  • the operator interactively operates the image processing apparatus 100 using external devices such as the display device 107, the input device 109, and the mouse 108.
  • the network 110 includes various communication networks such as a LAN (Local Area Network), a WAN (Wide Area Network), an intranet, the Internet, and the like, and connects the image database 111, the server, other information devices, and the like to the image processing apparatus 100. Mediate.
  • LAN Local Area Network
  • WAN Wide Area Network
  • intranet the Internet
  • the image database 111 stores and stores image data captured by the medical image capturing device 112.
  • the image database 111 is configured to be connected to the image processing apparatus 100 via the network 110.
  • the image database 111 is provided in the storage device 103 in the image processing apparatus 100. May be.
  • a difference value (hereinafter referred to as a difference value) between a pixel of interest and its surrounding pixels is described as a secondary value.
  • volume rendering processing samples feature values distributed in each pixel (voxel) in volume data, which is a stack of multiple tomographic images, from a given viewpoint along a virtual ray (ray) at regular intervals. Add the values and project to the projection plane.
  • the finally generated image is a shaded three-dimensional image in which the feature value addition value is expressed by shading or color change.
  • a virtual ray is emitted from each pixel on the projection surface.
  • the feature amount of each pixel in the volume data is, for example, a pixel value (CT value, MR value, echo data, etc.) of a tomographic image.
  • the pixel value of each pixel of the generated three-dimensional image is determined in consideration of the density gradient of volume data, the intensity of virtual light, its attenuation, reflection, and opacity of the pixel.
  • a viewpoint is set inside a luminal organ such as the large intestine and an image for observing cancer existing in a subcutaneous tissue inside the intestinal wall is generated. Since the virtual ray is emitted from the viewpoint and reaches the intestinal wall before reaching cancer, the transparency of the intestinal wall may be set high.
  • a parameter that clearly distinguishes the skin (intestinal wall) from other parts is derived based on the pixel value, and an opacity corresponding to this parameter is set.
  • this parameter is called a secondary value in the sense of a secondary value derived from the pixel value.
  • the pixel value is referred to as a primary value.
  • Graph G1 in FIG. 3 shows a change in the difference value of the pixel value between the target pixel on the projection line and the surrounding pixels.
  • the difference value is calculated from the following equation (1).
  • Difference value sqrt ( ⁇ I x 2 + ⁇ I y 2 + ⁇ I z 2 ) (1)
  • ⁇ I x , ⁇ I y , and ⁇ I z are CT value differences from adjacent pixels in the x, y, and z directions, respectively.
  • the difference value increases at the boundary between the air region and the organ region, that is, the skin region.
  • the difference value becomes large also in the blood vessel wall in the organ, the difference value is not as large as the skin region.
  • an area having a large pixel value difference value is regarded as a skin area, and the skin area is removed from the shaded three-dimensional image by setting the opacity value (opacity) of the skin area to be small.
  • the opacity is set according to the difference value, and the volume rendering process is executed with the set opacity.
  • the skin region can be estimated from the power of the difference value, the standard deviation value of the pixel value of the target pixel and its surrounding pixels, the variance value, and the like.
  • Opacity is a value representing opacity.
  • the opacity value is ⁇ .
  • the transparency is 1 ⁇ (when ⁇ is a real number not less than 0 and not more than 1), and is uniquely determined if an opacity ⁇ is given.
  • ⁇ is a positive integer
  • the transparency is a constant ⁇ .
  • ⁇ 1, 2, 3,..., 1000
  • the transparency is 1000 ⁇ . In this case, since it is an integer calculation, there is no error and the calculation can be performed at high speed.
  • the CPU 101 of the image processing apparatus 100 reads the program and data related to the image generation processing of FIG. 4 from the main memory 102, and executes processing based on the program and data.
  • volume data obtained by stacking a plurality of tomographic images is fetched from the image database 111 or the like via the network 110 and the communication I / F 104 and stored in the storage device 103 of the image processing device 100. It is assumed that
  • the CPU 101 of the image processing apparatus 100 reads a series of tomographic images about the target region as input data.
  • a CT image, an MR image, an ultrasonic image, or the like can be given as a suitable example of the input data.
  • an example of generating a shaded three-dimensional image is shown based on a CT image with the target region being shined.
  • the target region is not limited to this, and an image other than the CT image may be used as input data. Good.
  • the CPU 101 sets a projection line (virtual ray) in a predetermined viewpoint direction with respect to the read input data (volume data), and calculates a secondary value of each pixel on the projection line (step S101).
  • a difference value between the pixel value of the target pixel and the pixel values of the surrounding pixels is obtained.
  • the difference value is calculated by the above equation (1).
  • step S101 only needs to read the previously obtained secondary value data. For example, when a high-frequency emphasized image or a compressed image is generated, the difference value is calculated at the generation stage. Therefore, the calculation in step S101 is omitted, and it is only necessary to read the existing difference value.
  • the CPU 101 sets an opacity according to the difference value calculated in step S101. For example, the CPU 101 obtains a difference value histogram and assigns an opacity to the obtained histogram.
  • FIG. 5 is a diagram showing an example of assigning opacity to a histogram of difference values.
  • the horizontal axis indicates the difference value
  • the left vertical axis indicates the appearance frequency
  • the right vertical axis indicates the opacity
  • the thin solid line indicates the histogram
  • the thick solid line indicates the opacity line.
  • the CPU 101 When setting the opacity, the CPU 101 obtains, for example, the peak position and height of the histogram of FIG. 5 (a), and obtains positions ⁇ 1 and ⁇ 2 that have a predetermined ratio of height to the peak height. For example, in FIG. 5 (a), the predetermined ratio is 1 ⁇ 2 of the peak height.
  • An opacity line may be set so that
  • the display is opaque.
  • a region having a large difference value is regarded as a skin region, and the opacity is set to be small and displayed transparently. Therefore, a skin region having a large difference value is displayed transparently.
  • the peak with the highest appearance frequency may be selected and the opacity may be set as in FIG. 6 (a).
  • the opacity line is not limited to the downward-sloping line, and may have any shape.
  • the opacity line may be changed in a plurality of stages.
  • the opacity of a specific difference value may be increased and displayed opaquely. For example, when the difference value of the lesion site to be observed is known in advance, the region having the difference value can be displayed opaquely.
  • the CPU 101 obtains a difference value (secondary value) from the input volume data for each pixel on the projection line, refers to the opacity assigned to the difference value (secondary value), and performs shading 3 A pixel value of each pixel of the dimensional image is obtained (step S103).
  • the volume rendering process the density gradient on the projection line of the volume data, the attenuation of the intensity of the virtual ray, the reflection, the density gradient, and the opacity are considered.
  • the following expression (2) or expression (3) is an expression for calculating the pixel value of the shaded three-dimensional image.
  • ⁇ Opacity
  • n i Absolute value of concentration gradient. The density gradient is obtained by dividing the difference from the adjacent pixel in the light incident direction by the difference value of Equation (1).
  • Equation (3) When using Equation (3) to calculate the pixel value, compared to the case using Equation (2), the high CT value is displayed lighter (white), and the lower CT value is more It is displayed dark (black).
  • the CPU 101 stores it in the storage device 103 and displays it on the display device 107.
  • FIG. 7 and 8 are display examples of the shaded three-dimensional image generated by the first embodiment of the present invention.
  • FIG. 7 is an example in which the pixel value of the shaded 3D image is calculated using the above equation (3)
  • FIG. 8 is a diagram illustrating the pixel value of the shaded 3D image using the above equation (2). This is a calculated example.
  • the skin area is estimated from the secondary value derived from the pixel value, and the opacity is set according to the secondary value, the skin area as shown in FIG. 7 or FIG. Removed shaded 3D images can be generated.
  • FIG. 7 pixels with lower density values are darker and pixels with higher density values are brighter.
  • the CPU 101 of the image processing apparatus 100 obtains the secondary value of the pixel value for each pixel on the virtual ray emitted from the virtual viewpoint based on the plurality of tomographic images, and this secondary value.
  • Set the opacity according to the value For example, the opacity is set low for the secondary value estimated as the skin region and set high for the secondary value estimated as the other region.
  • volume rendering processing shading 3D image generation processing
  • a shading 3D image is output.
  • the skin area is estimated from the secondary value derived from the pixel value, and the opacity is set according to the secondary value. Therefore, the skin area is clearly distinguished from other areas by making it opaque or transparent. Can be set. Therefore, it is possible to generate a shaded 3D image with the skin removed.
  • the image processing apparatus 100 provides a user interface for setting various parameters for setting opacity and generating a shaded three-dimensional image.
  • the CPU 101 of the image processing apparatus 100 displays the setting screen 200 including at least one of opacity setting, shading mode selection, and secondary value selection prior to the generation of the three-dimensional image. Display on 107.
  • FIG. 9 is a display example of the opacity setting screen 200.
  • the setting screen 200 includes an image display area 201, a histogram display area 202, and a selection area 203.
  • the image displayed in the image display area 201 is a shaded three-dimensional image generated using the opacity set on the setting screen 200 as shown in FIG. 7 or FIG.
  • a list of selectable opacity line shapes, a shading mode pull-down list, a secondary value pull-down list, and an “End” button are displayed.
  • any shape including the pattern shown in Fig. 6 can be set in addition to the regular pattern such as a shape with a slope to the right as shown in Fig. 9 and a shape with a slope to the right. is there.
  • the shading mode is an expression selection mode used for generating a three-dimensional image. For example, Formula (2) or Formula (3) of the first embodiment. In FIG. 9, “Proportional to CT value” is displayed, indicating that Formula (3) is selected.
  • Secondary values that can be selected are secondary values used for opacity allocation, such as a difference value between the target pixel and its surrounding pixels, a power of the difference value, a standard deviation value, a variance value, and the like. .
  • FIG. 9 shows that “difference value” is selected.
  • the CPU 101 calculates the secondary value of each pixel on the virtual ray from the read volume data, similarly to step S101 of the first embodiment (step S201). ). Thereafter, a histogram of the calculated secondary value is generated and displayed on the display device 107. For example, a histogram is displayed in the histogram display area 202 of the setting screen 200 shown in FIG. 9 (step S202).
  • the CPU 101 accepts a selection operation for the selection area 203 and displays the selected opacity line on the histogram.
  • CPU 101 displays the opacity line on the histogram, it displays the handles M1 and M2 at the curve change points. If necessary, the operator moves the handles M1 and M2 to arbitrary positions by operating the mouse 108 or the like to adjust the shape of the curve (step S203).
  • the CPU 101 displays the opacity line on the histogram, the opacity line based on the peak position and height may be set and displayed by default, as in the first embodiment.
  • the CPU 101 associates the secondary value with the opacity value based on the opacity set on the histogram, and holds it in the main memory 102.
  • the CPU 101 obtains a secondary value from the input volume data (a plurality of tomographic images), and refers to the opacity value associated with the secondary value. Then, the volume rendering process is executed. In the volume rendering process, the above equation (2) or equation (3) is selected and selected according to the shading mode selected in the selection area 203 in consideration of attenuation, reflection, and opacity of virtual rays. Based on the shaded mode, the pixel value of the shaded three-dimensional image is calculated (step S204). Thereafter, when the pixel values of the respective pixels of the three-dimensional image are calculated by the processes in steps S201 to S204, the CPU 101 stores them in the storage device 103 and displays them on the display device 107.
  • the image processing apparatus 100 displays the selection screen 200 that allows the operator to select an opacity line shape, a shading mode, a secondary value, and the like. And accepting an operation from the operator.
  • the setting of the opacity for the image to be generated, the shading mode in the volume rendering process, and the secondary value can be freely changed as desired by the operator. Therefore, a shaded three-dimensional image from which the skin has been removed can be generated in the opacity or shading mode desired by the operator.
  • the subcutaneous tissue (muscles, blood vessels, etc.) is displayed semi-transparently as shown in FIGS. Therefore, the bone region is not displayed.
  • a medical image is diagnosed, there is a demand for displaying bones while removing the skin in order to clarify the positional relationship between tissues.
  • the image processing apparatus 100 generates an image with the skin removed while displaying bones.
  • FIG. 11 is a flowchart showing the flow of processing when generating an image with the skin removed while displaying bones.
  • the CPU 101 initializes a memory for storing data for each pixel of the generated three-dimensional image (step S301), and from the read volume data on the virtual ray as in step S101 of the first embodiment. It is determined whether or not the CT value of each pixel satisfies a predetermined condition (step S302).
  • the CT value condition may be, for example, a threshold value for extracting a bone region. Here, it is determined whether or not the CT value is smaller than a predetermined threshold.
  • the CPU 101 calculates the secondary value of each pixel and calculates the calculated secondary value as in the method of the first embodiment.
  • An opacity is assigned to the value, the opacity value associated with the secondary value is referred to, volume rendering processing is executed, and a pixel value of the shaded three-dimensional image is calculated (step S303).
  • the opacity assignment may be performed automatically as in the first embodiment, or may be performed manually by the operator as in the second embodiment. Thereafter, the pixel value calculated for the pixel is stored in the corresponding memory (step S304).
  • step S302 determines the CT value (primary value) in the same manner as the generation of the conventional shaded three-dimensional image.
  • the opacity is assigned to the image, the opacity value associated with the CT value is referred to, volume rendering processing is executed, and the pixel value of the shaded three-dimensional image is calculated (step S305).
  • the opacity is set low in a region with a low CT value (skin, fat, muscle, etc.) and the opacity is set high in a region with a high CT value (bone, etc.) with the above threshold as a boundary.
  • the pixel value calculated for the pixel is stored in the corresponding memory (step S304).
  • step S301 to step S305 is repeated for all pixels, and when the processing for all pixels is completed (step S306; Yes), the processing ends.
  • an opacity setting screen may be displayed on the display device 107 to accept a setting operation from the operator.
  • the setting screen 300 in FIG. 12 includes an image display area 301 for displaying a generated shaded three-dimensional image, an opacity line setting area 305 for secondary values, and an opacity line setting area 307 for primary values. Consists of
  • the image display area 301 for example, a three-dimensional image generated in accordance with a setting operation on the setting screen 300 as shown in FIGS. 13 to 16 is displayed.
  • a vertical and horizontal axis with a secondary value on the horizontal axis and an opacity value on the vertical axis are displayed.
  • the CPU 101 displays an opacity line 32 whose shape can be arbitrarily changed by one or a plurality of handles M1, M2,..., And when there is an operation on the handles M1, M2,.
  • the secondary value on the horizontal axis can be selected from, for example, a difference value, a power of the difference value, a standard deviation, a variance value, and the like, and a selection list 311 is displayed in a pull-down format.
  • a vertical and horizontal axis with a primary value on the horizontal axis and an opacity value on the vertical axis is provided.
  • the CPU 101 displays an opacity line 34 whose shape can be arbitrarily changed by one or a plurality of handles M3, M4, M5,..., And there is an operation on the handle M3, M4, M5,. Change its shape.
  • the primary values on the horizontal axis can be selected from, for example, CT values, MR values, echo data, and the like, and the selection list 313 is displayed in a pull-down format.
  • a histogram with the horizontal axis as a secondary value or a primary value may be displayed in each vertical and horizontal axis.
  • FIGS. 13 shows the result of using the expression (2) in the volume rendering process
  • FIG. 14 shows the result of using the expression (3) in the volume rendering process.
  • the bone region is displayed while the skin is removed.
  • the bone region appears in the center of the left and right light parts (the cross section of the shin) in the figure.
  • the bone is drawn in detail in the above-mentioned processing
  • an image showing only the relative relationship between the position of the bone and the object may be generated.
  • the outline of the bone can be drawn on the image from which the skin has been removed.
  • the determination process (CT value condition determination) in step S302 described above is performed only once when the virtual ray first reaches the target. Determines and assigns an opacity to either the primary value or the secondary value according to the determination result, and assigns the opacity according to the determination result for the pixels on the subsequent virtual rays regardless of the CT value. .
  • the incident direction of the virtual ray is set to be incident on the cross section of the organ, the bone region, the subcutaneous tissue region, or the skin region depending on the pixel value (CT value) of the virtual ray passing pixel of the first tomogram Is determined.
  • CT value pixel value of the virtual ray passing pixel of the first tomogram
  • FIGS. 15 and 16 show a shaded three-dimensional image generated when the CT value condition determination (step S302) is performed only once in the process of the third embodiment.
  • FIG. 16 shows the case where the expression (2) is used in the rendering process
  • FIG. 16 shows the case where the expression (3) is used in the volume rendering process.
  • the depiction of the bone itself is simplified and its position is clearly displayed.
  • the part generated by assigning the opacity to the primary value and the part generated by assigning the opacity to the secondary value can be identified by displaying them in different colors. May be displayed. In this way, when the operator looks at the generated image and further adjusts the opacity, it becomes easier to understand whether the primary value or the secondary value should be adjusted. It is possible to provide an image processing apparatus that is easy to perform.
  • a three-dimensional image with the skin removed is generated.
  • the shaded 3D image with the skin generated by the conventional method and the shaded 3D image with the skin removed according to the present invention may be combined and displayed.
  • CPU101 displays the shaded 3D image generated by the conventional method on the display screen.
  • ROI region of interest
  • the CPU 101 sets the opacity for the pixels in the set ROI according to the secondary value as in the first or second embodiment,
  • the pixel value of the shaded three-dimensional image is calculated by performing the calculation of Expression (2) or Expression (3) with reference to the opacity value associated with the secondary value of each pixel.
  • FIG. 17 shows a composite image generated in the fourth embodiment.
  • a white rectangular frame indicates the ROI, and an image with the skin removed is displayed in the ROI, and a conventional shaded three-dimensional image with skin is displayed in the other areas.
  • the image processing apparatus 100 is derived from pixel values of pixels (voxels) on a projection line incident on a plurality of tomographic images.
  • An opacity is set according to a secondary value (for example, a difference value), and a shaded three-dimensional image is generated by executing a volume rendering process based on this opacity.
  • the CPU 101 calculates a histogram of secondary values, regards the peak of the histogram as a skin region, and sets the opacity so that different opacity values are obtained with this peak as a boundary. For example, the estimated opacity of the skin region is set small.
  • a specific area such as skin is clearly distinguished from other areas by the secondary value, and an opacity is set based on the specific area, so that a shaded three-dimensional image in which the specific area is transparent can be generated.
  • a secondary value histogram may be displayed, and an opacity line having an arbitrary shape may be input to the operator with respect to the displayed histogram. In this case, an operator's desired image can be generated.
  • the secondary value includes at least one of the difference value between the pixel on the projection line and the surrounding pixels, the power of the difference value, the standard deviation value, and the variance value. It is possible to estimate the characteristics of the skin. Furthermore, if a secondary value can be selected, a desired image can be generated with a secondary value desired by the operator.
  • the difference value is calculated from the difference between the CT values of the adjacent pixels in the x, y, and z directions. It may be calculated from the difference between the pixel values.
  • the opacity is set according to the pixel value, and the pixel value satisfies the predetermined condition. If it is determined that the opacity is not satisfied, by setting the opacity according to the secondary value, for example, a bone or an area corresponding to an arbitrary pixel value can be drawn on the image from which the skin is removed.
  • the opacity is set according to the pixel value (primary value) of the pixel on the projection line, the generated shaded 3D image with skin, and the opacity is set according to the secondary value.
  • a shaded three-dimensional image with no image may be synthesized and displayed. In this case, it is desirable to accept the setting of the region of interest, and display a shaded 3D image without skin inside the region of interest, and display a shaded 3D image with skin outside the region of interest. In this way, it is possible to observe the subcutaneous tissue of a desired region of interest while drawing the positional relationship in an easy-to-understand manner with the skin attached, which is suitable for diagnosis.
  • 1 image processing system 100 image processing device, 101 CPU, 102 main memory, 103 storage device, 104 communication I / F, 105 display memory, 106 I / F, 107 display device, 108 mouse, 109 input device, 110 network, 111 image database, 112 medical imaging device, 113 bus, 200 opacity setting screen, 201 image display area, 202 histogram display area, 203 selection area, M1 to M5 handle, 300 opacity setting screen, 301 image display area, 305 Opacity line setting area for secondary values, 307 Opacity line setting area for primary values

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

　皮膚を除去した陰影付け3次元画像を生成する画像処理装置を提供する。　画像処理装置100のCPU101は、複数の断層像からなるボリュームデータに対して入射する投影線上の画素(ボクセル)の画素値から、注目画素とその周辺画素との差分値、差分値のべき乗、標準偏差値、分散値等の2次的値を算出する。CPU101は、このような画素値から導出される2次的値に応じてオパシティを設定し、このオパシティに基づいて、ボリュームレンダリング処理を実行することにより陰影付け3次元画像を生成する。例えば、差分値の大きい領域は皮膚領域であるものとみなし、差分値のヒストグラムから、皮膚領域のオパシティを小さく設定する。

Description

画像処理装置及び画像処理方法
　本発明は、複数の断層像から3次元画像を生成する画像処理装置及び画像処理方法に関する。
　従来から、例えばX線CT(computed tomography)装置やMRI(magnetic resonance imaging)装置、超音波診断装置等によって撮影される一連の断層像群を基に、例えば、3Dボリュームレンダリング画像(陰影付け3次元画像)を生成する画像処理装置が提案されている。ボリュームレンダリング処理は、複数の断層像を積み重ねてなるボリュームデータ内の各画素(ボクセル)に分布している特徴量を、任意の視点から仮想光線(レイ)に沿って一定間隔でサンプリングし、その値を加算していくことで最終的に半透明な画像を生成するものである。仮想光線は、投影面の各画素から射出される。ボリュームデータ内の各画素の特徴量(画素値)は、仮想光線の強度と、その減衰、反射、及び当該画素の不透明度を考慮して決定される。
　不透明度を表すパラメータとして、オパシティが導入される。オパシティの設定方法としては、例えば、H.U.(Hounsfield Unit)に関するヒストグラムを用いた統計解析を行うことにより、最適なオパシティカーブを決定することが記述されている(特許文献1の段落［0025］)。この特許文献1では、操作者の画像生成におけるパラメータ(オパシティ)設定の負担軽減を目的としたものであり、H.U.に関する統計解析によって客観的な評価値に基づいてオパシティを設定可能としている。
　また、特許文献2では、ボリュームデータ内の注目データを基準として一定の空間的広がりを有するカーネルを設定し、このカーネル内の複数のデータの値に基づいて重心位置を求め、重心位置とカーネルの中心位置(通常は注目データ位置に一致)との距離(分布評価値)に基づいてオパシティを決定することが記述されている(段落［0006］～［0007］)。これにより、注目データが存在する位置の近傍での組織性状(例えば、組織境界の有無)を反映したオパシティの決定を行っている。なお、特許文献2における上述のカーネル内のデータとは、超音波ビームのエコーデータである(段落［0041］)。
特開2008－6274号公報 特開2004－267506号公報
　ところで、皮下組織の観察を行うために、皮膚を除去した陰影付け3次元画像を生成したいという要望がある。例えば、大腸等の管腔臓器にあるがんを観察する場合、仮想的な視点を腸内に設定し陰影付け3次元画像を生成すると、腸壁の表面に現れているがんは表示されるが、腸壁の内部の皮下組織にあるがんは表示されない。そこで、皮膚(ここでは腸壁)を除去した陰影付け3次元画像を生成するために、皮膚のオパシティを小さく設定し、皮膚を透明にすると、オパシティはCT値(H.U.)やエコーデータに応じて決定されているため、皮膚とともに筋肉等の組織も透明に表示され、意図しない骨が表示されてしまっていた。上述の特許文献1及び特許文献2では、そもそも皮膚を除去した陰影付け3次元画像を生成することは考慮されていなかった。例えば、特許文献2により皮膚を透明に表示しようとすると、カーネルの重心位置と中心位置との距離(分布評価値)が皮膚の境界前後で同じ値となる位置があるので、皮膚以外も透明に表示されてしまう。
　本発明は、以上の問題点に鑑みてなされたものであり、複数の断層像に基づいて、皮膚を除去した陰影付け三次元画像を生成することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
　前述した目的を達成するために、本発明は、複数の断層像に対して投影線を設定し、陰影付け3次元画像を生成する画像処理装置であって、前記投影線上の画素の画素値から導出される2次的値に応じてオパシティを設定するオパシティ設定手段と、前記オパシティ設定手段により設定されたオパシティに基づいて、前記陰影付け3次元画像を生成する画像生成手段と、を備えることを特徴とする画像処理装置である。
　また本発明は、複数の断層像に対して投影線を設定し、陰影付け3次元画像を生成する画像処理方法であって、前記投影線上の画素の画素値から導出される2次的値に応じてオパシティを設定するオパシティ設定ステップと、前記オパシティ設定ステップにより設定されたオパシティに基づいて、前記陰影付け3次元画像を生成する画像生成ステップと、を備えることを特徴とする画像処理方法である。
　本発明の画像処理装置及び画像処理方法により、複数の断層像に基づいて、皮膚を除去した陰影付け3次元画像を生成することが可能な画像処理装置及び画像処理方法を提供することが可能となる。
画像処理装置100の全体構成を示す図 皮下組織内のがんのイメージ図 投影線上の差分値(2次的値の一例)と、断層像との対応を示す図 本発明に係る画像処理装置100が実行する画像生成処理の流れを説明するフローチャート(第1の実施の形態) オパシティの設定例(ヒストグラムへのオパシティ線の割り当て) オパシティの設定例 本発明により生成された皮膚が除去された画像の表示例 本発明により生成された皮膚が除去された画像の表示例 操作者にオパシティを割り当てさせる場合のオパシティ設定画面200の例 本発明に係る画像処理装置100が実行する画像生成処理の流れを説明するフローチャート(第2の実施の形態) 本発明に係る画像処理装置100が実行する画像生成処理の流れを説明するフローチャート(第3の実施の形態) 画素値の1次的値での条件判定結果に応じて、1次的値または2次的値にオパシティを割り当てる場合のオパシティ設定画面300の例 本発明により生成された、皮膚が除去され、骨が表示された画像の表示例 本発明により生成された、皮膚が除去され、骨が表示された画像の表示例 本発明により生成された、皮膚が除去され、骨が表示された画像の表示例(骨は相対位置のみ) 本発明により生成された、皮膚が除去され、骨が表示された画像の表示例(骨は相対位置のみ) 従来の手法で生成された陰影付け3次元画像に、本発明にて生成した皮膚除去画像を合成した画像の表示例
　以下図面に基づいて、本発明の実施形態を詳細に説明する。
　［第1の実施の形態］
　まず、図1を参照して、本発明の画像処理装置100を適用した画像処理システム1の構成について説明する。
　図1に示すように、画像処理システム1は、表示装置107、入力装置109を有する医用画像処理装置100(以下、画像処理装置100という)と、画像処理装置100にネットワーク110を介して接続される画像データベース111と、画像撮影装置112とを備える。
　画像処理装置100は、画像生成、画像解析等の処理を行うコンピュータである。例えば、病院等に設置される医用画像処理装置を含む。
　画像処理装置100は、図1に示すように、CPU(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106を備え、各部はバス113を介して接続されている。
　CPU101は、主メモリ102または記憶装置103等に格納されるプログラムを主メモリ102のRAM上のワークメモリ領域に呼び出して実行し、バス113を介して接続された各部を駆動制御し、画像処理装置100が行う各種処理を実現する。
　また、CPU101は、後述する画像生成処理(図4参照)において、複数の断層像からなるボリュームデータについて、ボリュームレンダリング処理を実行する。本発明では、ボリュームレンダリング処理におけるオパシティは、画素値(CT値、MR値、またはエコーデータ)から導出される2次的値に対して割り当てるものとする。
　画素値から導出される2次的値とは、例えば、注目画素とその周辺画素との差分値、差分値のべき乗、標準偏差値、分散値等を含む。
　オパシティの設定については、後述する。
　なお、以下の説明において、ボリュームレンダリング処理により生成される陰影付けされた3次元画像を陰影付け3次元画像と呼ぶ。
　主メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。ROMは、コンピュータのブートプログラムやＢIOS等のプログラム、データ等を恒久的に保持している。また、RAMは、ROM、記憶装置103等からロードしたプログラム、データ等を一時的に保持するとともに、CPU101が各種処理を行う為に使用するワークエリアを備える。
　記憶装置103は、HDD(ハードディスクドライブ)や他の記録媒体へのデータの読み書きを行う記憶装置であり、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、CPU101により必要に応じて読み出されて主メモリ102のRAMに移され、各種の手段として実行される。
　通信I/F104は、通信制御装置、通信ポート等を有し、画像処理装置100とネットワーク110との通信を媒介する。また通信I/F104は、ネットワーク110を介して、画像データベース111や、他のコンピュータ、或いは、X線CT装置、MRI装置等の画像撮影装置112との通信制御を行う。
　I/F106は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106を介して接続させるようにしてもよい。
　表示メモリ105は、CPU101から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置107に出力される。
　表示装置107は、液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ105を介してCPU101に接続される。表示装置107はCPU101の制御により表示メモリ105に蓄積された表示データを表示する。
　入力装置109は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をCPU101に出力する。操作者は、表示装置107、入力装置109、及びマウス108等の外部機器を使用して対話的に画像処理装置100を操作する。
　ネットワーク110は、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、インターネット等の各種通信網を含み、画像データベース111やサーバ、他の情報機器等と画像処理装置100との通信接続を媒介する。
　画像データベース111は、医用画像撮影装置112によって撮影された画像データを蓄積して記憶するものである。図1に示す画像処理システム1では、画像データベース111はネットワーク110を介して画像処理装置100に接続される構成であるが、画像処理装置100内の例えば記憶装置103に画像データベース111を設けるようにしてもよい。
　以下の説明では、2次的値として、注目画素とその周辺画素との差分値(以下、差分値という)を用いる例について説明する。
　次に、図2及び図3を参照して、ボリュームレンダリング処理とオパシティについて説明する。
　ボリュームレンダリング処理は、複数の断層像を積み重ねてなるボリュームデータ内の各画素(ボクセル)に分布している特徴量を、任意の視点から仮想光線(レイ)に沿って一定間隔でサンプリングし、その値を加算し、投影面に投影する。最終的に生成される画像は、特徴量の加算値を濃淡または色の変化等で表現した、陰影付けされた3次元画像となる。仮想光線は、投影面の各画素から射出される。ボリュームデータ内の各画素の特徴量は、例えば断層像の画素値(CT値、MR値、エコーデータ等)である。生成される3次元画像の各画素の画素値は、ボリュームデータの濃度勾配や、仮想光線の強度と、その減衰、反射、及び当該画素の不透明度を考慮して決定される。
　図2に示すように、例えば大腸等の管腔臓器内部に視点を設定し、腸壁の内部の皮下組織に存在するがんについて観察するための画像を生成する場合を考える。仮想光線は視点から発し、がんに到達する前に腸壁に達するため、腸壁の透明度を高く設定すればよい。
　そこで、本発明では、皮膚(腸壁)と他の部位とを明確に区別するパラメータを画素値に基づいて導出し、このパラメータに応じたオパシティを設定する。本発明では、このパラメータを、画素値から導出された2次的な値という意味において、2次的値と呼ぶ。これに対して、画素値は1次的値と呼ぶこととする。
　図3のグラフG1は、投影線上における注目画素とその周辺の画素との画素値の差分値の変化を示している。差分値は、以下の式(1)から算出される。
　差分値＝sqrt(ΔIx 2＋ΔIy 2＋ΔIz 2)　　・・・(1)
　ここで、ΔIx，ΔIy，ΔIzは、それぞれx，y，z方向の隣接画素とのCT値差とする。
　グラフG1に示すように、空気領域と臓器領域との境界、すなわち皮膚領域において差分値が大きくなる。なお、臓器内の血管壁においても差分値が大きくなるが、その差分値は皮膚領域程は大きくない。
　そこで、本発明では、画素値の差分値が大きい領域を皮膚領域とみなし、皮膚領域のオパシティ値(不透明度)を小さく設定することにより、陰影付け3次元画像から皮膚領域を除去する。
　すなわち、差分値に応じてオパシティを設定し、設定されたオパシティにてボリュームレンダリング処理を実行する。
　同様に、差分値のべき乗、注目画素とその周辺画素の画素値の標準偏差値、分散値等からも皮膚領域を推定できる。
　オパシティとは不透明度を表す値である。以下の説明では、オパシティの値をαとする。
　透明度は、1－α(αが、0以上1以下の実数の場合)であり、オパシティαが与えられれば一義的に求められる。なお、αの値を正の整数とした場合は、透明度は、定数－αである。例えば、α＝1，2，3，…，1000の場合、透明度は1000－αとする。
この場合は整数計算となるので誤差がなくなり、高速に演算できる。
　次に、図4～図8を参照して、画像処理装置100の動作について説明する。
　画像処理装置100のCPU101は、主メモリ102から図4の画像生成処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。
　なお、以下の画像生成処理の実行開始に際して、複数の断層像を積み上げたボリュームデータは画像データベース111等からネットワーク110及び通信I/F104を介して取り込まれ、画像処理装置100の記憶装置103に記憶されているものとする。
　図2の画像生成処理において、まず画像処理装置100のCPU101は、対象領域についての一連の断層像を入力データとして読み込む。ここで入力データの好適な例として、CT画像、MR画像、または超音波画像等が挙げられる。以下の説明において、対象領域をすねとしたCT画像を基に、陰影付け3次元画像の生成例を示すが、対象領域はこれに限定されず、また、CT画像以外の画像を入力データとしてもよい。
　まず、CPU101は、読み込んだ入力データ(ボリュームデータ)に対して所定の視点方向に投影線(仮想光線)を設定し、投影線上の各画素の2次的値を算出する(ステップS101)。ここでは、2次的値の一例として、注目画素の画素値とその周辺の画素の画素値との差分値を求める。
　差分値は、上述の式(1)により算出される。
　なお、ステップS101の処理は、以前に求めた2次的値のデータがある場合にはそれを読み込むだけでよい。例えば、高周波強調画像や圧縮画像が生成されている場合には、その生成段階で差分値が算出されているので、ステップS101の演算を省略し、既出の差分値を読み込むだけでよい。
　次に、CPU101は、ステップS101で算出した差分値に応じてオパシティを設定する。例えば、CPU101は差分値のヒストグラムを求め、求められたヒストグラムに対してオパシティを割り当てる。
　図5は、差分値のヒストグラムへのオパシティの割り当て例を示す図である。図5のヒストグラムでは、横軸が差分値、左縦軸が出現頻度、右縦軸がオパシティを示し、山状の細い実線がヒストグラム、太い実線がオパシティ線を示している。
　CPU101は、オパシティを設定する際、例えば、図5(a)のヒストグラムのピーク位置及び高さを求め、ピークの高さに対して所定の割合の高さとなる位置Δ1，Δ2を求める。所定の割合として、例えば図5(a)では、ピークの高さの1／2としている。
　そして、CPU101は、Δ3＝Δ2＋定数×(Δ2－Δ1)として、
　0～Δ1：直線L1
　Δ1～Δ2：直線L2
　Δ2～Δ3：直線L2
　Δ3～　　：直線L3
となるように、オパシティ線を設定する。
　また、図5(b)に示すように、差分値のヒストグラムのピークの位置をΔ2とし、ピーク高さの1／2の高さとなる位置のうち差分値の小さい方をΔ1とし、
　Δ3＝Δ2＋定数×(Δ2－Δ1)として、
　0～Δ1：直線L1
　Δ1～Δ2：直線L2
　Δ2～Δ3：直線L3
となるように、オパシティ線を設定してもよい。
　差分値の比較的小さく画素値の一様な領域、すなわち皮膚以外の領域でオパシティが大きく設定されるため不透明に表示される。一方、差分値が大きい領域は皮膚領域とみなされ、オパシティが小さく設定されて透明に表示される。よって、差分値の大きい皮膚領域は透明に表示される。
　図6(a)に示すように、ヒストグラムに複数のピークがある場合にも、最も出現頻度の高いピークを選択して、図5と同様にオパシティを設定してもよい。
　また、オパシティ線は、右下がりの線に限定されず、任意の形状としてもよい。
　例えば、図6(b)に示すように、オパシティ線を複数段階に変化させてもよい。また図6(c)に示すように、特定の差分値のオパシティを高くし、不透明に表示させるようにしてもよい。例えば、観察対象の病変部位の差分値が予め分かっているような場合には、その差分値を持つ領域について不透明に表示させることも可能である。
　次に、CPU101は、投影線上の各画素について、入力されたボリュームデータから差分値(2次的値)を求め、差分値(2次的値)に割り当てられたオパシティを参照し、陰影付け3次元画像の各画素の画素値を求める(ステップS103)。ボリュームレンダリング処理では、ボリュームデータの投影線上の濃度勾配、仮想光線の強度の減衰、反射、濃度勾配、及びオパシティを考慮する。以下の式(2)または式(3)は、陰影付け3次元画像の画素値を算出する式である。
Figure JPOXMLDOC01-appb-I000001
Figure JPOXMLDOC01-appb-I000002
　ここで、
　α　　：オパシティ
　nｉ　：濃度勾配の絶対値。濃度勾配は、光線入射方向での隣接画素との差分を式(1)の差分値で除したものである。
　L　　：仮想光線強度の初期値
　CTｉ：CT値
　とする。
　なお、上述の式(2)または(3)のいずれを用いて3次元画像の画素値を算出するかは、予め決定されていてもよいし、操作者の選択操作によって決定するものでもよい(図9参照)。
　画素値の算出に、式(3)を用いた場合は、式(2)を用いた場合と比較して、CT値の高いところはより淡く(白く)表示され、CT値の低いところはより濃く(黒く)表示される。
　CPU101は、ステップS101～ステップS103の処理によって陰影付け3次元画像の各画素の画素値が算出されると、記憶装置103に記憶するとともに表示装置107に表示する。
　図7及び図8は、本発明の第1の実施の形態によって生成された陰影付け3次元画像の表示例である。図7は、上述の式(3)を用いて陰影付け3次元画像の画素値を算出した例であり、図8は、上述の式(2)を用いて陰影付け3次元画像の画素値を算出した例である。
　本発明では、皮膚領域を画素値から導出される2次的値から推定し、その2次的値に応じてオパシティを設定しているため、図7または図8に示すような、皮膚領域を除去した陰影付け3次元画像を生成できる。図7ではより濃度値の低い画素はより暗く、濃度値の高い画素はより明るく表現される。
　以上説明したように、画像処理装置100のCPU101は、複数の断層像に基づいて、仮想的な視点から射出した仮想光線上の各画素について画素値の2次的値を求め、この2次的値に応じてオパシティを設定する。オパシティは、例えば、皮膚領域と推定される2次的値では低く、その他の領域と推定される2次的値では高く設定される。そして、設定したオパシティ値を用いて、ボリュームレンダリング処理(陰影付け3次元画像の生成処理)を行い、陰影付け3次元画像を出力する。
　そのため、皮膚領域を画素値から導出される2次的値から推定し、その2次的値に応じてオパシティを設定しているため、皮膚領域を他の領域と明確に区別して不透明度または透明度を設定できる。そのため、皮膚を除去した陰影付け3次元画像を生成できる。
　［第2の実施の形態］
　次に、図9～図10を参照して、第2の実施の形態の画像処理装置100について説明する。
　第2の実施の形態の画像処理装置100のハードウエア構成は、図1に示す第1の実施の形態の画像処理装置100と同様であるので、同一の各部については同一の符号を付して説明することとする。
　第2の実施の形態において、画像処理装置100は、オパシティの設定及び陰影付け3次元画像の生成のための各種パラメータの設定のためのユーザインタフェースを提供する。
　すなわち、画像処理装置100のCPU101は、3次元画像の生成に先立ち、オパシティの設定、陰影付けモードの選択、2次的値の選択のうち、少なくともいずれか一つを含む設定画面200を表示装置107に表示する。
　図9は、オパシティの設定画面200の表示例である。
　図9に示すように、設定画面200には、画像表示エリア201、ヒストグラム表示エリア202、及び選択エリア203が設けられる。
　画像表示エリア201に表示される画像は、例えば図7または図8に示すような、この設定画面200にて設定したオパシティを用いて生成される陰影付け3次元画像である。
　選択エリア203には、選択可能なオパシティ線の形状の一覧と、陰影付けモードのプルダウンリストと、二次的値のプルダウンリストと、「終了」ボタンが表示されている。
　選択可能なオパシティ線としては、図9に示すような右下がりに傾きを持つ形、右上がりに傾きを持つ形等の定型パターンの他、図6に示すパターンを含む任意の形状が設定可能である。
　陰影付けモードとは、3次元画像の生成に用いる式の選択モードである。例えば、第1の実施の形態の式(2)または式(3)である。図9では「CT値に比例」が表示され、式(3)が選択されていることを示している。
　選択可能な2次的値としては、オパシティの割り当てに使用する2次的値であり、例えば、注目画素とその周辺画素との差分値、差分値のべき乗、標準偏差値、分散値等である。図9では「差分値」が選択されていることを示している。
　次に、オパシティを手動設定する場合の処理の流れを説明する。
　図10のフローチャートに示すように、まず、CPU101は、第1の実施の形態のステップS101と同様に、読み込んだボリュームデータから、仮想光線上の各画素の2次的値を算出する(ステップS201)。その後、算出した2次的値のヒストグラムを生成し、表示装置107に表示する。例えば、図9に示す設定画面200のヒストグラム表示エリア202にヒストグラムを表示する(ステップS202)。
　ここで、CPU101は選択エリア203に対する選択操作を受付け、選択されたオパシティ線をヒストグラム上に表示する。
　CPU101は、ヒストグラム上にオパシティ線を表示する際、カーブの変化点にハンドルM1，M2を表示する。操作者は、必要に応じ、マウス108等の操作によってハンドルM1，M2を任意の位置に移動させ、カーブの形状を調整する(ステップS203)。なお、CPU101がヒストグラム上にオパシティ線を表示する際、デフォルトでは第1の実施の形態と同様に、ピークの位置及び高さに基づいたオパシティ線を設定して表示してもよい。
　CPU101は、ヒストグラム上に設定されたオパシティに基づいて、2次的値とオパシティ値とを対応付け、主メモリ102に保持する。
　その後、第1の実施の形態のステップS3と同様に、CPU101は、入力されたボリュームデータ(複数の断層像)から2次的値を求め、2次的値に対応付けられたオパシティ値を参照し、ボリュームレンダリング処理を実行する。ボリュームレンダリング処理では、仮想光線の減衰と反射とオパシティを考慮し、選択エリア203にて選択されている陰影付けモードに応じて、上述の式(2)または式(3)を選択し、選択された陰影付けモードに基づいて、陰影付け3次元画像の画素値を算出する(ステップS204)。その後、CPU101は、ステップS201～ステップS204の処理によって3次元画像の各画素の画素値が算出されると、記憶装置103に記憶するとともに表示装置107に表示する。
　以上説明したように、第2の実施の形態の画像処理装置100では、オパシティ線の形状や陰影付けモードの選択や2次的値の選択等を操作者に行わせるための選択画面200を表示し、操作者からの操作を受け付ける。
　従って、第1の実施の形態における効果に加え、生成する画像についてのオパシティの設定やボリュームレンダリング処理における陰影付けモードや、2次的値を操作者の望むものに自在に変更できる。そのため、皮膚を除去した陰影付け3次元画像を、操作者の所望するオパシティや陰影付けモード等にて生成できる。
　［第3の実施の形態］
　次に、図11～図13を参照して、第3の実施の形態の画像処理装置100について説明する。
　第3の実施の形態の画像処理装置100のハードウエア構成は、図1に示す第1の実施の形態の画像処理装置100と同様であるので、同一の各部については同一の符号を付して説明することとする。
　第1及び第2の実施の形態の手法にて、皮膚を除去した陰影付け3次元画像を生成すると、図7及び図8に示すように、皮下組織(筋肉、血管等)が半透明に表示されるため、骨領域は表示されない。一方で医用画像の診断を行う場合、組織の位置関係を明確にするため、皮膚は除去しつつも骨を表示させたいという要望もある。
　第3の実施の形態の画像処理装置100は、骨を表示しつつ、皮膚を除去した画像を生成する。
　図11は、骨を表示しつつ、皮膚を除去した画像を生成する際の処理の流れを示すフローチャートである。
　まず、CPU101は、生成する3次元画像の画素毎のデータを格納するメモリを初期化し(ステップS301)、第1の実施の形態のステップS101と同様に、読み込んだボリュームデータから、仮想光線上の各画素のCT値が所定の条件を満たすか否かを判定する(ステップS302)。CT値の条件とは、例えば、骨領域を抽出するための閾値とすればよい。ここでは、CT値が所定の閾値より小さいか否かを判定するものとする。
　CT値が所定の閾値より小さいと判定した場合(ステップS302；Yes)、CPU101は、第1の実施の形態の手法と同様に、各画素の2次的値を算出し、算出した2次的値に対してオパシティを割り当て、2次的値に対応付けられたオパシティ値を参照し、ボリュームレンダリング処理を実行し、陰影付け3次元画像の画素値を算出する(ステップS303)。オパシティの割り当ては、第1の実施の形態と同様に自動で行ってもよいし、第2の実施の形態と同様に操作者の手動設定によって行ってもよい。
　その後、当該画素について算出した画素値を該当メモリに格納する(ステップS304)。
　一方、ステップS302において、CT値が所定の閾値以上であると判定した場合(ステップS302；No)、CPU101は、従来の陰影付け3次元画像の生成と同様に、CT値(1次的値)に対してオパシティを割り当て、CT値に対応付けられたオパシティ値を参照し、ボリュームレンダリング処理を実行し、陰影付け3次元画像の画素値を算出する(ステップS305)。オパシティの割り当ては、上述の閾値を境界として、CT値の低い領域(皮膚、脂肪、筋肉等)ではオパシティを低く、CT値の高い領域(骨等)ではオパシティを高く設定する。
　その後、当該画素について算出した画素値を該当メモリに格納する(ステップS304)。
　ステップS301～ステップS305の処理を全画素について繰り返し、全画素の処理が終了した場合は(ステップS306；Yes)、処理を終了する。
　上述の一連の処理において、オパシティの設定画面を表示装置107に表示し、操作者からの設定操作を受け付けるようにしてもよい。
　本第3の実施の形態のオパシティの設定画面300の一例を図12に示す。
　図12の設定画面300は、生成される陰影付け3次元画像を表示する画像表示エリア301と、2次的値に対するオパシティ線の設定エリア305と、1次的値に対するオパシティ線の設定エリア307とから構成される。
　画像表示エリア301には、例えば、図13～図16に示すような、本設定画面300における設定操作に応じて生成された3次元画像が表示される。
　2次的値にオパシティを割り当てるためのオパシティ線操作エリア305には、横軸に2次的値、縦軸をオパシティ値とした縦横軸が表示される。CPU101は、一つまたは複数のハンドルM1，M2，・・・によって任意に形状を変更できるオパシティ線32を表示し、このハンドルM1，M2，・・・に対して操作がある場合は、その形状を変更する。横軸の2次的値は、例えば、差分値、差分値のべき乗、標準偏差、分散値等から選択可能であり、その選択リスト311がプルダウン形式で表示される。
　1次的値にオパシティを割り当てるためのオパシティ線操作エリア307には、横軸に1次的値、縦軸をオパシティ値とした縦横軸が設けられる。CPU101は、一つまたは複数のハンドルM3，M4，M5，・・・によって任意に形状を変更できるオパシティ線34を表示し、このハンドルM3，M4，M5，・・・に対して操作がある場合は、その形状を変更する。横軸の1次的値は、例えば、CT値、MR値、エコーデータ等から選択可能であり、その選択リスト313がプルダウン形式で表示される。
　なお、図12には示されていないが、各縦横軸内に、横軸を2次的値または1次的値とするヒストグラムを表示してもよい。
　第3の実施の形態の処理によって生成される陰影付け3次元画像を図13～図14に示す。
　図13は、ボリュームレンダリング処理において式(2)を使用したもの、図14は、ボリュームレンダリング処理において式(3)を使用したものである。
　いずれの画像も皮膚が除去されつつ、骨領域が表示されている。骨領域は図中の左右の淡い部分(すねの断面図)の中央に表れている。
　ところで、上述の処理では骨が詳細に描画されているが、骨の詳細な描画は望まず、骨の位置と対象との相対的関係だけを示す画像を生成したい場合もある。この場合は、皮膚の除去された画像に骨の輪郭を描画することもできる。
　骨の位置と対象との相対的な位置関係だけを示す画像を生成する場合、上述のステップS302の判定処理(CT値の条件判定)を、仮想光線が対象に最初に達したときに一度だけ判定し、判定結果に応じて一次的値または2次的値のいずれか一方にオパシティを割り当て、以降の仮想光線上の画素ではCT値に関わらず、その判定結果に従ったオパシティの割り当てを行う。
　仮想光線の入射方向を臓器の断面に対して入射するように設定すると、1枚目の断層像の仮想光線通過画素の画素値(CT値)によって、骨領域か、皮下組織領域か、皮膚領域かが判定される。CPU101は、はじめに骨領域と判定された場合は、同じ仮想光線上のそれ以降の画素も1次的値に対してオパシティを割り当てる。また、はじめに皮下組織領域または皮膚領域と判定された場合は、同じ仮想光線上のそれ以降の画素も2次的値に対してオパシティを割り当てる。
　このようにして、骨の位置を明確に描画した陰影付け3次元画像を生成できる。
　図15、図16は、第3の実施の形態の処理において、CT値の条件判定(ステップS302)を一度だけ行う場合に生成される陰影付け3次元画像を示しており、図15は、ボリュームレンダリング処理において式(2)を使用したもの、図16は、ボリュームレンダリング処理において式(3)を使用したものである。図13、図14と比較すると、図15、図16では骨自体の描写は単純化され、その位置が明確に表示されている。
　なお、本第3の実施の形態において、1次的値にオパシティを割り当てて生成した部位と、2次的値にオパシティを割り当てて生成した部位とを、異なる色にて表示する等、識別可能に表示してもよい。このようにすると、操作者が生成された画像をみて更にオパシティの調整を行う場合にも、1次的値または2次的値のいずれを調整すればよいのかが分かりやすくなり、操作者にとって使用しやすい画像処理装置を提供できる。
　［第4の実施の形態］
　次に、図17を参照して、第4の実施の形態の画像処理装置100について説明する。
　第4の実施の形態の画像処理装置100のハードウエア構成は、図1に示す第1の実施の形態の画像処理装置100と同様であるので、同一の各部については同一の符号を付して説明することとする。
　第1及び第2の実施の形態では、皮膚を除去した3次元画像を生成する。このとき、皮膚が除去され、また骨等の表示もなければ、対象を一見して判断しにくい。そこで、従来の手法で生成した皮膚のついた陰影付け3次元画像と、本発明による皮膚を除去した陰影付け3次元画像とを合成して表示させてもよい。
　CPU101は、従来の手法で生成した陰影付け3次元画像を表示画面に表示する。その表示画面上で、ROI(関心領域)の設定を受け付ける。操作者のマウス操作等によりROIが設定されると、CPU101は、設定されたROI内の画素について、第1または第2の実施の形態のように2次的値に応じてオパシティを設定し、各画素の2次的値に対応付けられたオパシティ値を参照して式(2)または式(3)の演算を行って、陰影付け3次元画像の画素値を算出する。
　第4の実施の形態において生成される合成画像を図17に示す。
　図17において、白抜きの矩形の枠がROIを示し、ROI内は、皮膚を除去した画像が表示され、その他の領域は皮膚のある従来の陰影付け3次元画像が表示されることとなる。
　以上、第1～第4の実施の形態にて説明したように、本発明の画像処理装置100は、複数の断層像に対して入射する投影線上の画素(ボクセル)の画素値から導出される2次的値(例えば、差分値)に応じてオパシティを設定し、このオパシティに基づいて、ボリュームレンダリング処理を実行することにより陰影付け3次元画像を生成する。また、CPU101は、2次的値のヒストグラムを算出し、該ヒストグラムのピークを皮膚領域とみなし、このピークを境に異なるオパシティ値となるようにオパシティを設定する。例えば、推定された皮膚領域のオパシティを小さく設定する。
　従って、2次的値によって、例えば皮膚等の特定領域を他の領域と明確に区別し、これに基づいてオパシティを設定するので、特定領域を透明にした陰影付け3次元画像を生成できる。
　また、このような画像処理装置100において、2次的値のヒストグラムを表示させ、表示されたヒストグラムに対して任意形状のオパシティ線を操作者に入力させてもよい。この場合は、操作者の所望の画像を生成できるようになる。
　また、2次的値として、投影線上の画素とその周辺の画素との差分値、差分値のべき乗、標準偏差値、分散値の少なくともいずれか一つを含むので、様々な2次的値から皮膚の特徴を推定可能となる。更に、2次的値が選択できるようにすれば、操作者の望む2次的値にて所望の画像を生成できる。
　なお、差分値は上述の実施の形態では、x，y，z方向の隣接画素とのCT値の差分から算出しているが、隣接画素に限らず、より拡張した範囲の画素と注目画素との画素値の差分から算出してもよい。
　また、投影線上の画素の画素値に関する所定の条件を判定し、画素値が所定の条件を満たすと判定された場合には、オパシティを画素値に応じて設定し、画素値が所定の条件を満たさないと判定された場合には、オパシティを2次的値に応じて設定するようにすれば、例えば皮膚を除去した画像上に、骨や任意の画素値に相当する領域を描写できる。
　また、投影線上の画素の画素値(1次的値)に応じてオパシティを設定し、生成した皮膚付きの陰影付け3次元画像と、2次的値に応じてオパシティを設定し、生成した皮膚のない陰影付け3次元画像と、を合成表示するようにしてもよい。この場合、関心領域の設定を受け付け、関心領域内は皮膚のない陰影付け3次元画像を表示し、関心領域外は皮膚付きの陰影付け3次元画像を表示することが望ましい。このようにすれば、対象を皮膚のついた状態で位置関係を分かりやすく描画しつつ、所望の関心領域については皮下組織を観察できるようになり、診断に好適である。
　以上、添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
　1　画像処理システム、100　画像処理装置、101　CPU、102　主メモリ、103　記憶装置、104　通信I/F、105　表示メモリ、106　I/F、107　表示装置、108　マウス、109　入力装置、110　ネットワーク、111　画像データベース、112　医用画像撮影装置、113　バス、200　オパシティの設定画面、201　画像表示エリア、202　ヒストグラム表示エリア、203　選択エリア、M1～M5　ハンドル、300　オパシティの設定画面、301　画像表示エリア、305　2次的値に対するオパシティ線の設定エリア、307　1次的値に対するオパシティ線の設定エリア

Claims (9)

  1. 　複数の断層像に対して投影線を設定し、陰影付け3次元画像を生成する画像処理装置であって、
    　前記投影線上の画素の画素値から導出される2次的値に応じてオパシティを設定するオパシティ設定手段と、
    　前記オパシティ設定手段により設定されたオパシティに基づいて、前記陰影付け3次元画像を生成する画像生成手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記オパシティ設定手段は、
    　前記2次的値に基づいて皮膚領域を推定し、皮膚領域のオパシティ値を小さくするように前記オパシティを設定することを特徴とする請求項1に記載の画像処理装置。
  3. 　前記オパシティ設定手段は、
    　前記2次的値のヒストグラムを算出し、該ヒストグラムの最も高いピークの高さに基づいて、オパシティ線を設定することを特徴とする請求項1に記載の画像処理装置。
  4. 　前記オパシティ設定手段は、
    　前記2次的値のヒストグラムを算出し、表示するヒストグラム表示手段と、
    　前記ヒストグラム表示手段によって表示されたヒストグラムに対して定型パターンまたは任意形状のオパシティ線を入力させる入力手段と、を更に備えることを特徴とする請求項1に記載の画像処理装置。
  5. 　前記2次的値は、前記投影線上の画素とその周辺の画素との差分値、差分値のべき乗、標準偏差値、分散値の少なくともいずれか一つを含むことを特徴とする請求項1に記載の画像処理装置。
  6. 　前記2次的値を選択する選択手段を更に備えることを特徴とする請求項5に記載の画像処理装置。
  7. 　前記投影線上の画素の画素値に関する所定の条件を判定する判定手段と、
    　前記判定手段により、前記画素値が所定の条件を満たすと判定された場合には前記オパシティを画素値に応じて設定し、前記画素値が所定の条件を満たさないと判定された場合には、前記オパシティを2次的値に応じて設定することを特徴とする請求項1に記載の画像処理装置。
  8. 　投影線上の画素の画素値に応じてオパシティを設定し、皮膚を除去しない陰影付け3次元画像を生成する皮膚付き画像生成手段と、
    　前記画像生成手段により生成される画像と、前記皮膚つき画像生成手段により生成される画像とを合成表示する合成表示手段と、
    　を更に備えることを特徴とする請求項1に記載の画像処理装置。
  9. 　複数の断層像に対して投影線を設定し、陰影付け3次元画像を生成する画像処理方法であって、
    　前記投影線上の画素の画素値から導出される2次的値に応じてオパシティを設定するオパシティ設定ステップと、
    　前記オパシティ設定ステップにより設定されたオパシティに基づいて、前記陰影付け3次元画像を生成する画像生成ステップと、
    　を備えることを特徴とする画像処理方法。
PCT/JP2010/070094 2009-11-19 2010-11-11 画像処理装置及び画像処理方法 WO2011062108A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011541899A JPWO2011062108A1 (ja) 2009-11-19 2010-11-11 画像処理装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-263548 2009-11-19
JP2009263548 2009-11-19

Publications (1)

Publication Number Publication Date
WO2011062108A1 true WO2011062108A1 (ja) 2011-05-26

Family

ID=44059587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/070094 WO2011062108A1 (ja) 2009-11-19 2010-11-11 画像処理装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JPWO2011062108A1 (ja)
WO (1) WO2011062108A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149064A (ja) * 1998-11-12 2000-05-30 Mitsubishi Electric Inf Technol Center America Inc カットプレ―ン変更バ―ジョンを表示するためのボリュ―ムデ―タ集合を実時間で変更する装置及び方法
JP2001319220A (ja) * 2000-05-03 2001-11-16 Ge Medical Systems Global Technology Co Llc 医療画像データ・ボリュームからの関係のある画像データの抽出
JP3483929B2 (ja) * 1994-04-05 2004-01-06 株式会社日立製作所 ３次元画像生成方法
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP3685737B2 (ja) * 2001-05-18 2005-08-24 アロカ株式会社 超音波診断装置
JP3762482B2 (ja) * 1996-06-19 2006-04-05 株式会社日立メディコ ボリュームレンダリング法による陰影づけ方法及び装置
JP2006518074A (ja) * 2003-02-18 2006-08-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 組織混合を使ったボリューム可視化
JP2007190288A (ja) * 2006-01-20 2007-08-02 Toshiba Corp 医用画像処理装置、超音波診断装置及び医用画像処理プログラム
JP2008253549A (ja) * 2007-04-05 2008-10-23 Toshiba Corp 超音波診断装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3062463B2 (ja) * 1997-11-07 2000-07-10 ジーイー横河メディカルシステム株式会社 画像生成方法および装置並びに医用画像装置
JP5049654B2 (ja) * 2006-05-29 2012-10-17 株式会社東芝 医用画像処理装置、及び医用画像処理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3483929B2 (ja) * 1994-04-05 2004-01-06 株式会社日立製作所 ３次元画像生成方法
JP3762482B2 (ja) * 1996-06-19 2006-04-05 株式会社日立メディコ ボリュームレンダリング法による陰影づけ方法及び装置
JP2000149064A (ja) * 1998-11-12 2000-05-30 Mitsubishi Electric Inf Technol Center America Inc カットプレ―ン変更バ―ジョンを表示するためのボリュ―ムデ―タ集合を実時間で変更する装置及び方法
JP2001319220A (ja) * 2000-05-03 2001-11-16 Ge Medical Systems Global Technology Co Llc 医療画像データ・ボリュームからの関係のある画像データの抽出
JP3685737B2 (ja) * 2001-05-18 2005-08-24 アロカ株式会社 超音波診断装置
JP2006518074A (ja) * 2003-02-18 2006-08-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 組織混合を使ったボリューム可視化
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2007190288A (ja) * 2006-01-20 2007-08-02 Toshiba Corp 医用画像処理装置、超音波診断装置及び医用画像処理プログラム
JP2008253549A (ja) * 2007-04-05 2008-10-23 Toshiba Corp 超音波診断装置

Also Published As

Publication number Publication date
JPWO2011062108A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
US9547894B2 (en) Apparatus for, and method of, processing volumetric medical image data
US20090174729A1 (en) Image display device and control method thereof
JP5562339B2 (ja) 医用画像表示装置及び医用画像表示方法
US10748263B2 (en) Medical image processing apparatus, medical image processing method and medical image processing system
WO2010098444A1 (ja) 医用画像処理装置及び方法
JP4563326B2 (ja) 画像処理方法および画像処理プログラム
JP4122463B2 (ja) 医療用可視画像の生成方法
US7576741B2 (en) Method, computer program product, and device for processing projection images
JP2004174241A (ja) 画像形成方法
JP2017189460A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2010075549A (ja) 画像処理装置
JP4473578B2 (ja) 体の構造の孤立した視覚化されたものを形成する方法及び装置
JP2012085833A (ja) ３次元医用画像データの画像処理システム、その画像処理方法及びプログラム
JP6533687B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2010131315A (ja) 医用画像処理装置及び医用画像処理プログラム
JP6921711B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008086658A (ja) 画像表示装置および画像表示プログラム
JP6842307B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2011062108A1 (ja) 画像処理装置及び画像処理方法
Furlow CT image visualization: a conceptual introduction
JPH0728976A (ja) 画像表示装置
JP2001351120A (ja) 三次元画像表示装置
US20230260198A1 (en) Image processing device, image processing method, and storage medium
JP6035057B2 (ja) 三次元画像表示装置及び三次元画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10831503

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011541899

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10831503

Country of ref document: EP

Kind code of ref document: A1