WO2018110558A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2018110558A1
WO2018110558A1 PCT/JP2017/044600 JP2017044600W WO2018110558A1 WO 2018110558 A1 WO2018110558 A1 WO 2018110558A1 JP 2017044600 W JP2017044600 W JP 2017044600W WO 2018110558 A1 WO2018110558 A1 WO 2018110558A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
image processing
image
voxel
volume data
Prior art date
Application number
PCT/JP2017/044600
Other languages
English (en)
French (fr)
Inventor
博之 関口
孝太郎 梅澤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP17880845.7A priority Critical patent/EP3552553B1/en
Priority to JP2018556695A priority patent/JP6870001B2/ja
Priority to CN201780075602.5A priority patent/CN110139609B/zh
Publication of WO2018110558A1 publication Critical patent/WO2018110558A1/ja
Priority to US16/432,162 priority patent/US10997699B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • Patent Literature 1 defines a single line from the body surface of the subject in the deep direction, and calculates the distribution of differential values for the photoacoustic data group that appears on this line. A technique for detecting a region near the body surface is described.
  • Patent Document 1 is a method of detecting an approximate region of the body surface in units of lines, and the detection result belongs only to the line to be calculated. For this reason, when the whole body surface is seen, an approximate area
  • An object of the present invention is to enable estimation of an interface of a subject using image data even for image data acquired by an imaging method having poor image information on the interface of the subject.
  • a second aspect of the present invention is the image processing apparatus according to the first aspect, further comprising a display control unit that displays the continuous surface so as to overlap the volume data.
  • the invention described in claim 3 further includes a display control unit that changes the luminance magnification used for displaying the luminance value of each voxel in accordance with the depth from the continuous surface. This is an image processing apparatus.
  • the display control unit is configured such that any of the luminance values on the display of the voxels located in the shallow portion is higher than the maximum value of the luminance values on the display of the voxels located in the deep portion.
  • the estimation unit uses a physical model in which a lattice point group in which lattice points having masses are connected to each other by a spring is freely dropped by gravity from above an object in the distribution of the luminance gradient.
  • the estimating unit obtains a normal direction of each voxel based on the distribution of the luminance gradient, and uses the normal direction as a direction of a drag acting on the physical model. 6.
  • An image processing apparatus according to claim 5, wherein the image processing apparatus is characterized in that:
  • the estimation unit estimates the continuous surface using a voxel having a luminance value exceeding a predetermined noise level as a processing target. It is.
  • the invention according to claim 8 is the image processing apparatus according to claim 7, wherein the estimation unit accepts designation of the noise level through an input field provided on a user interface screen.
  • the invention according to claim 9 further includes a display control unit for displaying a button for removing a high-luminance voxel appearing in a deep part of the volume data from a display target on a user interface screen.
  • a display control unit for displaying a button for removing a high-luminance voxel appearing in a deep part of the volume data from a display target on a user interface screen.
  • the volume data is any one of photoacoustic tomographic image data, ultrasonic image data, and MRI angiographic image data. is there.
  • the estimation unit is configured such that a ratio of the voxel set on the low luminance side when the voxels constituting the volume data are rearranged in order of luminance value is equal to or less than a predetermined value.
  • the image processing apparatus wherein the luminance gradient is obtained with respect to a luminance value normalized with a maximum luminance value in the set of voxels.
  • the predetermined value is a value of 99% or more and 99.99% or less.
  • the invention according to claim 13 has a function of changing and displaying the chromaticity of the voxel from the continuous surface defining the interface of the object toward the inside of the object. Device.
  • the invention according to claim 14 is a process of estimating a continuous surface defining an interface of an object corresponding to the volume data using a luminance gradient of a voxel group constituting volume data representing a reconstructed image, and the continuous And an image processing method including a process of displaying a surface over the volume data.
  • the invention according to claim 15 has a function of causing a computer to estimate a continuous surface defining an interface of an object corresponding to the volume data using a luminance gradient of a voxel group constituting volume data representing a reconstructed image.
  • the present invention it is possible to estimate the interface of the subject using the image data even if the image data is acquired by an imaging method having poor image information on the interface of the subject.
  • the effect of one invention described in this specification will be described.
  • the continuous surface that defines the interface of the subject can be estimated.
  • the estimation accuracy can be confirmed.
  • the interpretation of the interpretation target can be facilitated as compared with the case where the luminance magnification is not changed according to the depth from the continuous surface.
  • the interpretation of the deep portion is performed. Can be easily done.
  • the sixth aspect of the present invention it is possible to suppress the influence of a specific luminance value and increase the estimation accuracy of the interface as compared with a case where a continuous surface is not estimated using so-called cross simulation.
  • the estimation accuracy of the continuous surface defining the interface can be adjusted.
  • the interpretation of the interpretation target can be facilitated.
  • the continuous surface that defines the interface of the subject can be estimated.
  • the voxel data is not normalized by the ratio of the magnitudes of the luminance values
  • an estimation result that does not depend on the voxel data can be obtained.
  • an estimation result that does not depend on the voxel data can be obtained.
  • the display is performed from the vicinity of the object surface to the inside.
  • the positional relationship from the interface of the existing tissue or organ can be easily confirmed.
  • the fourteenth aspect of the invention unlike the case where the luminance gradient of the voxel group constituting the volume data representing the reconstructed image is not used, the continuous surface that defines the interface of the subject is estimated, and the estimation accuracy is further increased. Can be confirmed.
  • the continuous surface that defines the interface of the subject is estimated, and the estimation accuracy is further improved. Can be confirmed.
  • FIG. 1 It is a figure which shows the hardware structural example of the image processing system which forms and displays a reconstructed image. It is a figure explaining the function structure of the control part in this Embodiment. It is a figure explaining the image of a brightness
  • FIG. 10 is a diagram for explaining the positional relationship between a superficial blood vessel and a body surface mask in the XX section in FIG. 9. It is a figure which shows the example of a screen which displayed the volume data obtained by image
  • FIG. 1 is a diagram illustrating a hardware configuration example of an image processing system 10 that forms and displays a reconstructed image.
  • the image processing system 10 includes an image processing apparatus 100 that processes 3D image data (volume data) of a subject, a file server 110 that stores 3D image data, tomographic image data used for the generation, and the like. And an imaging device 120 for tomographic imaging.
  • the image processing apparatus 100 includes a control unit 101 that controls the operation of the entire apparatus, a storage unit 105 that stores image data to be processed, a display unit 106 that is used to display an operation reception screen and a reconstructed image, An operation receiving unit 107 that receives user input operations and a communication unit 108 that communicates with the file server 110 and the imaging device 120 are included. These units are connected by a bus 109, and data transfer is executed through the bus 109.
  • the control unit 101 is a so-called computer, a CPU (Central Processing Unit) 102 that executes a program, a ROM (Read Only Memory) 103 that stores programs and data such as BIOS (Basic Input / Output System) and firmware, It is composed of a RAM (Random Access Memory) 104 that gives a work area to the program. Functions realized through execution of the program by the CPU 102 will be described later.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • BIOS Basic Input / Output System
  • BIOS Basic Input / Output System
  • BIOS Basic Input / Output System
  • BIOS Basic Input / Output System
  • the storage unit 105 includes a storage device such as a hard disk device or a semiconductor memory, and stores image data acquired from the file server 110 or the imaging device 120. In the present embodiment, image data in the medical field is assumed.
  • the display unit 106 is configured by a liquid crystal display, for example.
  • the liquid crystal display includes a liquid crystal panel, a backlight, and the like.
  • the display unit 106 may be an organic EL (electroluminescence) display.
  • the operation receiving unit 107 is an input device such as a mouse or a pointing device used for receiving a user's operation input.
  • the communication unit 108 includes a wired interface circuit and a wireless interface circuit.
  • the file server 110 is a storage device on a network that stores volume data generated by stacking tomographic image data and individual tomographic image data as file data, and is configured by a large-capacity hard disk device, for example.
  • the volume data is composed of a set of voxels (voxel group) that gives unit pixels in a three-dimensional space. Each voxel is composed of a coordinate value and a luminance value.
  • the file server 110 for example, tomographic image data output from the imaging device 120 is directly stored.
  • the file server 110 may store volume data created by reconstruction processing (tomographic image data stacking processing) by the image processing apparatus 100, or may be stored by reconstruction processing by an image processing apparatus (not shown).
  • the created volume data may be stored.
  • the imaging device 120 is a device that acquires a tomographic image of a subject such as a living tissue by a photoacoustic tomographic imaging method, an ultrasonic imaging diagnostic method, an MRI angiography diagnostic method, or the like.
  • the image data acquired by each imaging method is referred to as photoacoustic tomographic image data, ultrasonic image data, and MRI angiographic image data.
  • the imaging device 120 corresponding to the photoacoustic tomographic imaging method includes a light source that irradiates a subject with pulsed laser light and an ultrasonic probe (probe) that detects ultrasonic waves from the subject.
  • the imaging device 120 corresponding to the ultrasonic image diagnostic method includes an ultrasonic source that irradiates a subject with ultrasonic waves and an ultrasonic probe (probe) that detects ultrasonic waves from the subject.
  • the imaging device 120 corresponding to the MRI angiography diagnostic method includes a static magnetic field generating magnet, a gradient magnetic field coil, an RF coil, and a control device.
  • FIG. 2 is a diagram illustrating a functional configuration of the control unit 101 in the present embodiment.
  • the functional configuration shown in FIG. 2 is realized through execution of a program.
  • the control unit 101 according to the present embodiment includes a receiving unit 201 that receives volume data to be processed, a rearrangement unit 202 that rearranges the voxel groups constituting the volume data in order of the luminance value, and a ratio of the entire voxel Is a normalization unit 203 that normalizes each luminance value of the volume data with the maximum luminance value in the low luminance side voxel set extracted so as to be equal to or less than a predetermined value (for example, 99.9% or less) as a reference value.
  • a predetermined value for example, 99.9% or less
  • the receiving unit 201 When the receiving unit 201 receives a file name to be processed from among the file names displayed as a list on the screen of the display unit 106, the receiving unit 201 reads the corresponding volume data from the file server 110 and stores it in the storage unit 105. Execute.
  • the rearrangement unit 202 executes a processing function that rearranges the voxel groups constituting the volume data in the order of the luminance values using a known method.
  • the normalization unit 203 This is a functional unit that normalizes the luminance values of all the voxels so that the maximum luminance value in the low luminance side voxel set is converted into a reference value (for example, 1.0).
  • the normalization process is executed for the purpose of sharing the processing function of the subsequent stage regardless of the difference in the luminance distribution of the volume data to be processed. An example of the operation screen used for inputting the reference value will be described later.
  • the noise processing unit 204 executes a processing function of extracting only voxels having a luminance value exceeding a noise level received through an operation screen (not shown) as a processing target.
  • the noise processing unit 204 executes a processing function for removing voxels having a luminance value equal to or lower than the noise level.
  • the noise level as the threshold is input by the user through an operation screen (not shown), for example.
  • the luminance gradient calculation unit 205 executes a processing function for calculating voxels extracted with the luminance gradient as a processing target.
  • the luminance gradient is a vector quantity represented by a gradient intensity indicating the maximum luminance difference between each voxel and the voxel located in the vicinity (neighboring) and a gradient direction indicating a direction in which the maximum luminance difference is obtained.
  • a range (number of voxels) for giving the surroundings is given in advance, and its minimum value is “1”.
  • FIG. 3 is a diagram for explaining an image of the luminance gradient 300. In FIG. 3, a position with a high luminance value is represented in white, and a position with a low luminance value is represented in black.
  • the length of the vector in the figure indicates the magnitude of the luminance gradient 300 at each position, and the direction of the vector gives the direction of the luminance gradient 300 at each position.
  • FIG. 3A shows the luminance gradient 300 when the luminance value decreases concentrically toward the center that gives the lowest luminance.
  • FIG. 3B shows a luminance gradient 300 in the case where there are different luminance changes on the left side and the right side across the line 301.
  • the left side of the line 301 represents the luminance gradient 300 when the luminance is the highest at the position of the line 301 and the luminance value decreases in the left direction.
  • the right side of the line 301 represents a case where the luminance change is reversed with respect to the position of the line 302.
  • the luminance gradient 300 may be calculated for all voxel groups constituting the volume data, or may be calculated only for the voxel groups scattered in the surface layer portion of the volume data.
  • the continuous surface that can be estimated is limited to the body surface, but the amount of calculation is reduced accordingly, and the processing time is shortened.
  • voxels with a high probability of having at least the interface are also subject to calculation.
  • the continuous surface estimation unit 206 executes a processing function for estimating a continuous surface based on the calculated luminance gradient 300. If the luminance gradient 300 accurately gives the shape of the interface, and the ideal state where the luminance gradient 300 is given without excess or deficiency, the continuous surface estimation unit 206 directly determines the shape of the interface from the set of luminance gradients 300. However, in the volume data to be processed in the present embodiment, there is no information on the body surface of the subject or the information itself is small. That is, many of the luminance values that can be used in the surface layer portion of the volume data are derived from superficial blood vessels and noise.
  • the continuous surface estimation unit 206 in the present embodiment executes a processing function that estimates the body surface of the subject as a shape that appears when a cloth (cross) is placed on the surface of the volume data. That is, in the present embodiment, so-called cross simulation is applied to volume data.
  • Cross simulation is a simulation that predicts the shape of a cloth when the cloth is made to fall freely by gravity from above the object, with a lattice point group in which lattice points having masses are connected to each other by a spring. .
  • FIG. 4 is a diagram for explaining the cross simulation.
  • the cloth model 400 when the cloth model 400 is arranged above the superficial blood vessel and the deep blood vessel that appear as high luminance values in the voxel data, and then the physical model that causes the cloth model 400 to fall freely is applied, the cloth model 400 is superficial. Deformation is to form a catenary line between the blood vessel and the superficial blood vessel.
  • the surface formed by the cloth model 400 is regarded as the body surface of the subject.
  • FIG. 5 is a diagram for explaining an example of the structure of the cloth model 400.
  • FIG. 5 represents the cloth model 400 as a spring node model. Circles in the figure are nodes 401 having mass, and the individual nodes 401 are connected to each other by springs 402.
  • the node here is an example of a lattice point.
  • FIG. 5 shows an example in which only the structural spring is arranged, a shear spring may be additionally arranged in the diagonal direction.
  • the in-plane density of the node 401 is smaller than the in-plane density of the voxels constituting the volume data. That is, there are more voxels than the node 401 in the same area. For this reason, the node 401 always contacts any voxel.
  • FIG. 6 is a diagram for explaining the force acting on each node 401 necessary for calculation of the cross simulation.
  • the air resistance fv acting in the opposite direction to the motion direction the gravity g acting on the node 401 having the mass m
  • the attractive force or repulsive force ⁇ k ⁇ x acting between the surrounding nodes 401 is required.
  • the gradient direction of the luminance gradient 300 described above is used. Specifically, the direction of the luminance gradient 300 calculated for the voxel with which the node 401 is in contact is used as the normal direction of the object surface that gives the direction in which the drag N acts.
  • Information about the speed and position at which the deformation of the cloth model 400 is stopped is given through the operation reception unit 107.
  • FIG. 7 is a diagram for explaining a body surface mask 500 as a continuous surface estimated by the cross simulation described in the present embodiment.
  • the body surface mask 500 that changes along the superficial blood vessel is obtained by applying the cross simulation using the luminance value caused by the superficial blood vessel instead of the body surface. Due to the nature of the cross simulation, singular points (voxels) whose brightness values are extremely different from the surroundings are ignored. As a result, the body surface mask 500 is given as a continuous surface in which high-luminance voxels that appear discretely on the surface layer portion are connected by a suspension curve.
  • FIG. 8 is a diagram illustrating an example of the surface extracted by the comparative example.
  • an example of an extraction surface 501 generated by linearly comparing voxel luminance values and threshold values in the depth direction and connecting voxels having luminance values exceeding the threshold values first is shown.
  • both the superficial blood vessel and the deep blood vessel are detected as voxels having a luminance value exceeding the threshold value, so that the extraction surface 501 has a shape that is not similar to the body surface.
  • FIG. 9 is a diagram showing a screen example in which volume data obtained by photographing the palm by the photoacoustic tomography method and the body surface mask 500 are displayed in an overlapping manner.
  • the body surface mask 500 given as a continuous surface is represented by the nodes 401 (see FIG. 5) of the cloth model 400 used for the generation so that the state of the internal structure can be observed.
  • the cloth model 400 shown in FIG. 9 includes 10,000 (101 ⁇ 101) nodes 401.
  • FIG. 10 is a view for explaining the positional relationship between the superficial blood vessel and the body surface mask 500 in the XX section in FIG.
  • the position of the XX cross section is determined so that the four fingers are transversely broken. Therefore, the body surface mask 500 shown in FIG. 10 is curved along the shape of the body surface at the finger portion, and a catenary line is formed between the fingers.
  • FIG. 11 is a diagram showing a screen example in which volume data obtained by imaging a breast by the photoacoustic tomography method and a body surface mask 500 are displayed in an overlapping manner. Also in the case of FIG. 11, the body surface mask 500 is represented by the nodes 401 of the cloth model 400 used for the generation so that the state of the internal structure can be observed.
  • the cloth model 400 shown in FIG. 11 is also composed of 10,000 (101 ⁇ 101) nodes 401.
  • FIG. 12 is a diagram for explaining the positional relationship between the superficial blood vessel and the body surface mask 500 in the XII-XII cross section in FIG.
  • the XII-XII cross section is positioned so as to break the breast in the thickness (height) direction. Therefore, the body surface mask 500 shown in FIG. 12 is curved along the body surface shape of the breast.
  • the bottom surface (that is, the deep part) of the breast contains a lot of noise (bottom noise) that obstructs interpretation. A display function for removing this noise will be described later.
  • the display control unit 207 executes a processing function of correcting the reconstructed image according to the display items and display conditions input through the operation receiving unit 107 and displaying them on the display unit 106.
  • objects that can be specified as display items include estimated continuous surfaces, superficial blood vessels (so-called veins), deep blood vessels (so-called arteries), noise appearing on the bottom surface, and the like. Instructions for displaying these objects are specified through a user interface screen described later.
  • Targets that can be specified as display conditions include a noise level that gives the maximum value of the range of luminance levels not used for display, color-coded display of superficial blood vessels and deep blood vessels, and voxels and deep regions of superficial regions in the reconstructed image. There are voxel ratio, surface area highlight display, deep area highlight display (in this embodiment, setting of the luminance magnification in accordance with the depth), and the like. Instructions for these conditions are specified through a user interface screen described later.
  • FIG. 13 is a diagram illustrating an example of a user interface screen 600 displayed on the display unit 106.
  • the user interface screen 600 includes a plurality of columns provided for inputting the display items and display conditions described above.
  • the surface deletion column 601 is used for selecting the display mode of blood vessels.
  • “(Delete) None” indicating display of superficial blood vessels
  • “Delete” indicating deleting superficial blood vessels from the display screen
  • display of only superficial blood vessels are displayed.
  • “surface” meaning “color coding” which means a color-coded display of superficial blood vessels and deep blood vessels.
  • the superficial blood vessel and the deep blood vessel are distinguished by, for example, the number of pixels (voxels) from the position of the body surface mask 500 in the deep direction. That is, the voxel chromaticity may be changed from the continuous surface that defines the interface of the object (for example, the body surface mask 500) toward the inside of the object.
  • color-coding according to the depth from the surface it is desirable to color-code according to the shortest normal direction distance from the body surface mask 500.
  • a range from the body surface mask 500 to 10 voxels in the depth direction is defined as a surface region, and high-luminance voxels belonging to the surface region are defined as superficial blood vessels.
  • a range exceeding 30 voxels in the depth direction from the body surface mask 500 is defined as a deep region, and a high-luminance voxel belonging to the deep region is defined as a deep blood vessel.
  • the surface area / deep area column 602 is used to input a display ratio between voxels belonging to the surface area and voxels belonging to the deep area.
  • the ratio of voxels belonging to the surface area and voxels belonging to the deep area is changed by the movement of the slider.
  • the deep emphasis column 603 is used for designating the degree of emphasis display of the deep area.
  • the numerical value in the column represents the luminance coefficient to be multiplied by the luminance value of the voxel belonging to the deep region. In the case of FIG. 13, the luminance coefficient is “1.50”.
  • the bottom removal column 604 is used to remove high-luminance voxels that appear in the bottom (bottom) region of the volume data from the display target. In the case of FIG. 13, when the check box is checked, the high brightness voxel in the bottom area is removed from the display target.
  • the luminance magnification setting column 604A is used for setting a luminance magnification for multiplying the luminance value of the voxel belonging to the surface area and a luminance magnification for multiplying the luminance value of the voxel belonging to the deep area.
  • “0.40” is a luminance coefficient applied to the surface layer region
  • “1.00” is a luminance coefficient applied to the deep region.
  • the display brightness of the voxels belonging to the surface layer area is smaller than the original brightness value
  • the display brightness of the voxels belonging to the deep area is the same as the original brightness value.
  • the noise level column 605 is used to specify the value of the luminance value to be processed as the noise level.
  • the estimation accuracy of the body surface mask 500 can be increased.
  • the percentage of voxels on the low luminance side treated as the noise level is given as a percentage.
  • a maximum value of luminance values handled as a noise level may be given.
  • the user can adjust the magnitude of the noise level. For this reason, the estimation accuracy of the body surface mask 500 can be adjusted by appropriately adjusting the noise level.
  • the mask creation field 606 is used when creating the body surface mask 500.
  • the “Create Mask” button is clicked with the pointer, the processing of the brightness gradient calculating unit 205 and the continuous surface estimating unit 206 described above is executed.
  • the mask generation parameter column 607 is an input column used when generating the body surface mask 500, and includes several input columns to be described later.
  • the target ratio column 608 is used for inputting a target ratio used in the normalization process.
  • the example of FIG. 13 represents an example in which “99.9%” is designated as a ratio of the number of voxel sets on the low luminance side after rearrangement in the order of luminance values to the total number of voxels.
  • this inventor confirmed by experiment that a favorable display result is obtained when a target ratio is 99.9%, it is desirable that this value can be adjusted between 99% and 99.99%. .
  • the cross simulation parameter column 609 is used to input a spring constant, air resistance, and node mass used in the cross simulation.
  • the “spring constant” is “1000”
  • the “air resistance” is “200”
  • the “node mass” is “1.00”.
  • the stop condition column 610 is used for inputting a stop speed and a stop position. These items give the end condition of the cross simulation, that is, the condition for stopping the vibration operation.
  • the surface node output column 611 is used to specify whether or not to display the body surface mask 500 over the volume data representing the reconstructed image. In the case of FIG. 13, when the check box is checked, the body surface mask 500 is displayed over the reconstructed image. In this case, as shown in FIGS. 9 and 11, a screen showing the body mask 500 superimposed on the reconstructed image is displayed. If the created body surface mask 500 is displayed superimposed on the reconstructed image, the user can confirm whether or not the estimation result of the body surface mask 500 is appropriate.
  • the mask deletion button 612 is used to delete the body surface mask 500 displayed over the volume data from the display target.
  • FIG. 14 is a flowchart illustrating an image processing procedure by the control unit in the present embodiment.
  • the control unit 101 accepts selection of a file name to be displayed through the function of the accepting unit 201 (step 101).
  • the control unit 101 reads volume data corresponding to the selected file name from the file server 110 (step 102). This process corresponds to a process of acquiring image data of an object including a structure.
  • the control unit 101 uses the function of the rearrangement unit 202 to rearrange the voxel groups constituting the read voxel data in the order of the luminance values (step 103).
  • control unit 101 normalizes the rearranged volume data using the function of the normalization unit 203 (step 104).
  • the luminance values of all the voxels are converted so that the maximum luminance value in the low luminance side voxel set satisfying the target ratio is converted into the reference value.
  • control unit 101 uses the function of the noise processing unit 204 to extract only the voxels having a luminance value exceeding the noise level from the normalized voxel data as processing targets (step 105). This process corresponds to a process of acquiring information indicating the position of the structure by image processing on the image data. Thereafter, the control unit 101 uses the function of the luminance gradient calculating unit 205 to calculate a luminance gradient for each voxel extracted as a processing target (step 106).
  • the control unit 101 uses the function of the continuous surface estimation unit 206 to estimate a continuous surface (body surface mask 500 in this embodiment) that defines the body surface of the subject (step 107). ).
  • This process corresponds to the process of estimating the interface of the object by the process using the information indicating the position of the structure.
  • the luminance gradient calculated in step 106 is used as one of the parameters of the cross simulation, the cross simulation for voxel data is executed, and the body surface mask 500 that covers the superficial blood vessel is estimated.
  • image data here, the luminance gradient of the image data
  • image data may be used.
  • control unit 101 uses the function of the display control unit 207 to pre-process the reconstructed image so that the display content matches the items and conditions specified on the user interface screen 600 described above (step 108).
  • preprocessing for example, processing for removing only a specific blood vessel from a display target or adding a color is executed.
  • processing for displaying the body surface mask 500 on the reconstructed image is executed.
  • the control unit 101 displays the reconstructed image on the display unit 106 (step 109).
  • FIG. 15 is a diagram illustrating a luminance magnification pattern applied to the luminance value of each voxel by the display control unit 207 functioning as the superficial blood vessel mode.
  • the superficial blood vessel mode is executed when the user clicks the “surface” button in the surface deletion field 601 on the user interface screen 600 (see FIG. 13).
  • the display control unit 207 operating in the superficial blood vessel mode sets the luminance magnification used for displaying the luminance value of each voxel from a position of the body surface mask 500 to a first depth (for example, Up to 10 voxels) and then reduced continuously (or smoothly) to a predetermined second depth (eg, 30 voxels) and in areas deeper than the predetermined second depth Set to 0.
  • a first depth for example, Up to 10 voxels
  • a predetermined second depth eg, 30 voxels
  • the brightness at the second depth be lower by one digit or more than the brightness at the first depth.
  • the luminance intensity it is also desirable to display even if the chromaticity is changed. For example, displaying the first depth in red and the second depth in blue is an example. In this case, the tissue organ can be distinguished while displaying the information on the first depth and the information on the second depth together, so that the visibility is improved.
  • “continuous” means that a function corresponding to a change in luminance magnification changes continuously, and includes a case where the value changes discretely as in digital processing. .
  • the depth is given by the number of pixels (number of voxels), but it may be given by a distance such as how many millimeters.
  • FIG. 16 is a display example of a reconstructed image in the superficial blood vessel mode.
  • the reconstructed image is composed only of superficial blood vessels. This is because, as shown in FIG. 15, the luminance value of the voxel located deeper than the second depth is multiplied by zero. Therefore, the display of FIG. 16 allows the user to accurately confirm only the state of the superficial blood vessel.
  • the luminance magnification is continuously (or smoothly) decreased from the first depth to the second depth. The reason for adopting such a change is to reduce discomfort on the display and to deal with individual differences in the range of superficial blood vessels.
  • FIG. 17 is a diagram for explaining a pattern of luminance magnification applied to the luminance value of each voxel by the display control unit 207 functioning as a superficial removal mode (deep blood vessel mode).
  • the superficial removal mode is executed when the user clicks the “delete” button in the surface deletion field 601 on the user interface screen 600 (see FIG. 13).
  • the display control unit 207 operating in the superficial removal mode sets the luminance magnification used for displaying the luminance value of each voxel from a position of the body surface mask 500 to a predetermined first depth (for example, Up to 10 voxels), and then increases continuously (or smoothly) to a predetermined second depth (eg, 30 voxels), and 1 for regions deeper than the predetermined second depth.
  • a predetermined first depth for example, Up to 10 voxels
  • a predetermined second depth eg, 30 voxels
  • the depth is given by the number of pixels (number of voxels), but it may be given by a distance such as how many millimeters.
  • the depth direction is given as the local normal direction of the body surface mask 500 (for example, a range of ⁇ 5 degrees).
  • FIG. 18 is a display example of a reconstructed image in the superficial removal mode (deep blood vessel mode).
  • the reconstructed image is composed only of deep blood vessels. This is because, as shown in FIG. 17, the luminance value of the voxel located at a portion shallower than the first depth is multiplied by zero. Accordingly, the display of FIG. 18 allows the user to accurately check only the state of the deep blood vessel.
  • the luminance magnification is continuously (or smoothly) increased from the first depth to the second depth. The reason for adopting such a change is to reduce discomfort on the display and to cope with individual differences in the existence range of deep blood vessels.
  • the luminance magnification for multiplying the luminance value of the voxel located shallower than the first depth is set to 0, but the luminance magnification for multiplying the voxel in this region is greater than 0 and less than 1.
  • the value of may be used. In this case, both deep blood vessels can be observed with the display luminance of the superficial blood vessels reduced.
  • the display brightness of the voxel located in the shallow part (the brightness after multiplying the original brightness value by the brightness magnification) is the same as the display brightness of the voxel located in the deep part (FIG. 17).
  • the display control unit 207 changes the luminance magnification by which the voxel located in the shallow portion is multiplied so that it becomes smaller than the maximum value of the original luminance value.
  • FIG. 19 is a diagram illustrating a luminance magnification pattern that the display control unit 207 applies to the luminance value of each voxel when highlighting a voxel located in the deep portion in the superficial removal mode (deep blood vessel mode). .
  • FIG. 19 is executed when the user enters a luminance magnification larger than 1 in the deep emphasis column 603 on the user interface screen 600 (see FIG. 13). However, this function may be executed when the check box is checked.
  • the luminance magnification used for displaying the luminance value of each voxel is the same in that it is maintained at 0 from the body surface mask 500 to a predetermined first depth (for example, 10 voxels).
  • the luminance magnification at a predetermined second depth is set to a value larger than 1 (for example, 1.5). Note that the luminance magnification between the first depth and the second depth increases continuously (or smoothly) from 0 to 1.5. In this case, the visibility of the deep blood vessel is further improved, and the deep blood vessel is easily interpreted.
  • This technique can also be applied to the case where the luminance magnification for multiplying the luminance value of the voxel located in the shallow portion is greater than 0 and less than 1, as described above. *
  • FIG. 20 is a diagram illustrating a pattern of luminance magnification applied to the luminance value of each voxel by the display control unit 207 functioning as the bottom noise removal mode.
  • the bottom noise removal mode is executed when the user checks a check box in the bottom removal column 604 on the user interface screen 600 (see FIG. 13).
  • the display control unit 207 operating in the bottom noise removal mode changes the luminance magnification used for displaying the luminance value of each voxel from the position of the body surface mask 500 to a predetermined first depth a. Is maintained at 1, and then continuously (or smoothly) decreased to a predetermined second depth b, and set to 0 in a region deeper than the predetermined second depth b.
  • the depth is given by the number of pixels (number of voxels), but it may be given by a distance such as how many millimeters.
  • the first depth a is determined so that both the superficial blood vessel and the deep blood vessel can be visually recognized.
  • FIG. 21 is a diagram showing a display example of the reconstructed image before the bottom noise is removed.
  • the reconstructed image shown in FIG. 21 is a display example when the breast is imaged by the photoacoustic tomographic imaging method.
  • the left figure corresponds to an image obtained by imaging the breast from the front direction of the human body, and the right figure corresponds to a cross-sectional image passing through the nipple.
  • the bottom noise with high luminance is displayed so as to overlap the superficial blood vessel and the deep blood vessel, which hinders interpretation of the blood vessel. It can be seen from the figure on the right that high-intensity voxels are concentrated at the bottom.
  • the first depth a in the depth direction is determined based on the position of the body surface mask 500 according to the depth at which the deep blood vessel appears, and the second depth B is defined as the shallowest position of the high-luminance voxel.
  • the first depth a and the second depth b may be given in advance as initial values, or may be given while confirming on the screen.
  • FIG. 22 is a diagram showing a display example of the reconstructed image after the bottom noise is removed.
  • FIG. 22 corresponds to a display example when the check box in the bottom removal column 604 is checked.
  • the left figure corresponds to an image obtained by imaging the breast from the front direction of the human body, and the right figure corresponds to a cross-sectional image passing through the nipple.
  • the bottom noise with high luminance is removed, and the interpretation of superficial blood vessels and deep blood vessels is facilitated. It can also be seen from the right figure that the high-luminance voxels have been removed from the bottom.
  • image data in the medical field is used as a processing target. It may be.
  • image data in the medical field particularly image data acquired by an imaging method with little information on the body surface
  • it may be.
  • it is possible to simplify the process of estimating a continuous surface that defines the interface of an object whose outer edge portion is not clear.
  • cross simulation is used when estimating the continuous surface.
  • the continuous surface that defines the interface of the subject is estimated using the luminance gradient 300. May be.
  • the continuous surface that defines the body surface of the subject is estimated, but the continuous surface that defines the interface appearing in the internal structure of the subject may be estimated.
  • the imaging apparatus 120 that images a subject by the photoacoustic tomographic imaging method may include a light irradiation unit, an ultrasonic probe, a DAS (Data Acquisition System), a computer, an input unit, and a display unit.
  • the light irradiation unit irradiates the subject with light, and ultrasonic waves are generated in the subject.
  • Ultrasound generated by the photoacoustic effect due to light is also called a photoacoustic wave.
  • the ultrasonic probe outputs an electric signal (photoacoustic signal) as an analog signal by receiving a photoacoustic wave.
  • the DAS converts an analog signal output from the ultrasonic probe into a digital signal and outputs it to a computer.
  • the computer stores the digital signal output from the DAS as signal data derived from photoacoustic waves.
  • the computer generates volume data representing a three-dimensional spatial distribution of information about the subject (subject information) by performing signal processing on the stored digital signal.
  • the volume data is stored in the storage unit 105 via the storage unit in the computer or the communication unit 180 based on a storage instruction from the user or the computer.
  • Reconstruction algorithms for converting signal data into volume data as a spatial distribution include analytical reconstruction methods such as back projection in the time domain and back projection in the Fourier domain, and model-based methods (repetitive computation). Can be adopted.
  • volume data obtained by the photoacoustic tomography method includes photoacoustic wave generation sound pressure (initial sound pressure), light absorption energy density, light absorption coefficient, concentration of substances constituting the subject (oxygen saturation, etc.), etc. Is volume data representing a spatial distribution of at least one subject information.
  • the light irradiation unit includes a light source that emits light and an optical system that guides the light emitted from the light source to the subject.
  • the light includes pulsed light such as a so-called rectangular wave and triangular wave.
  • the pulse width of the light emitted from the light source may be 1 ns or more and 100 ns or less.
  • the wavelength of light may be in the range of about 400 nm to 1600 nm.
  • a wavelength (400 nm or more and 700 nm or less) having a large absorption in the blood vessel may be used.
  • light having a wavelength (700 nm or more and 1100 nm or less) that is typically less absorbed in the background tissue (water, fat, etc.) of the living body may be used.
  • a laser or a light emitting diode can be used as the light source.
  • the light source which can change a wavelength may be sufficient.
  • various lasers such as a solid laser, a gas laser, a dye laser, and a semiconductor laser can be used.
  • a pulsed laser such as an Nd: YAG laser or an alexandrite laser may be used as the light source.
  • a Ti: sa laser or an OPO (Optical Parametric Oscillators) laser using Nd: YAG laser light as excitation light may be used as a light source.
  • a flash lamp or a light emitting diode may be used as the light source 111.
  • a microwave source may be used as the light source.
  • Optical elements such as lenses, mirrors, prisms, optical fibers, diffusion plates, shutters, etc. can be used for the optical system.
  • the maximum permissible exposure is determined by the safety standard shown below for the intensity of light allowed to irradiate the living tissue. (IEC 60825-1: Safety of laser products, JIS C 6802: Safety standards for laser products, FDA: 21 CFR Part 1040.10, ANSI Z136.1: Laser Safety Standards, etc.).
  • the maximum allowable exposure amount defines the intensity of light that can be irradiated per unit area. For this reason, a large amount of light can be guided to the subject by collectively irradiating the surface of the subject E over a wide area, so that a photoacoustic wave can be received with a high S / N ratio.
  • the emission part of the optical system may be configured with a diffusion plate or the like for diffusing light in order to irradiate with a beam diameter of high energy light.
  • the light emitting portion of the optical system in order to increase the resolution, may be constituted by a lens or the like, and the beam may be focused and irradiated. Note that the light irradiation unit may directly irradiate the subject from the light source without providing the optical system.
  • CMUT Capacitive Micro-machined Ultrasonic Transducers
  • Fabry-Perot interferometer an element using a Fabry-Perot interferometer, or the like can be used as the transducer.
  • the frequency component constituting the photoacoustic wave is typically 100 KHz to 100 MHz, and an ultrasonic probe that can detect these frequencies may be employed.
  • the ultrasonic probe may have a configuration in which a plurality of transducers are arranged side by side in a plane or a curved surface called a 1D array, 1.5D array, 1.75D array, or 2D array.
  • the ultrasonic probe may include an amplifier that amplifies a time-series analog signal output from the transducer.
  • the ultrasonic probe may include an A / D converter that converts a time-series analog signal output from the transducer into a time-series digital signal.
  • the ultrasonic probe may have a DAS function.
  • the transducer may be ideally arranged so as to surround the subject from the entire periphery.
  • the transducer may be arranged on the hemisphere so as to approximate the entire circumference. It should be noted that the arrangement and number of transducers may be optimized according to the subject, and any ultrasonic probe can be employed in the present invention.
  • the space between the ultrasound probe and the subject may be filled with a medium through which acoustic waves can propagate.
  • a material having acoustic characteristics matching at the interface of the subject or the ultrasonic probe and having a high transmittance of ultrasonic waves, acoustic waves, and photoacoustic waves may be employed.
  • a material having acoustic characteristics matching at the interface of the subject or the ultrasonic probe and having a high transmittance of ultrasonic waves, acoustic waves, and photoacoustic waves may be employed.
  • water, ultrasonic gel, or the like may be used as this medium.
  • the DAS includes an amplifier that amplifies an electrical signal that is an analog signal output from the transducer, and an A / D converter that converts the analog signal output from the amplifier into a digital signal.
  • the DAS may be configured by an FPGA (Field Programmable Gate Array) chip or the like.
  • a digital signal output from the DAS is stored in a storage unit in the computer.
  • a computer as volume data generation means includes a calculation unit, a storage unit, and a control unit.
  • the arithmetic unit can be configured by a processor such as a CPU or GPU (Graphics Processing Unit), or an arithmetic circuit such as an FPGA (Field Programmable Gate Array) chip. These units are not only composed of a single processor and arithmetic circuit, but may be composed of a plurality of processors and arithmetic circuits.
  • the storage unit can be configured by a non-temporary storage medium such as a ROM (Read only memory), a magnetic disk, or a flash memory.
  • the storage unit may be a volatile medium such as a RAM (Random Access Memory).
  • the storage medium storing the program is a non-temporary storage medium.
  • the control unit is composed of an arithmetic element such as a CPU.
  • the control unit controls the operation of each component of the imaging device 120.
  • the control unit may control each component of the imaging device 120 in response to instruction signals from various operations such as measurement start from the input unit.
  • the control unit reads the program code stored in the storage unit, and controls the operation of each component of the imaging device 120.
  • the control unit may control the light emission timing of the light source via the control line.
  • the control unit may control opening / closing of the shutter via a control line.
  • the computer may be a specially designed workstation.
  • each configuration of the computer may be configured by different hardware. Further, at least a part of the configuration of the computer may be configured by a single hardware.
  • the display unit is a display such as a liquid crystal display, an organic EL (Electro Luminescence) FED, a glasses-type display, or a head-mounted display. It is an apparatus that displays an image based on volume data obtained by a computer, a numerical value at a specific position, and the like.
  • the display unit may display an image based on the volume data and a GUI for operating the device.
  • the display unit may be provided separately from the imaging device 120.
  • an operation console composed of a mouse, a keyboard and the like that can be operated by the user can be employed.
  • the display unit may be configured with a touch panel, and the display unit may be used as an input unit.
  • the input unit may be configured to input information on a region of interest.
  • numerical values may be input, or input may be performed by operating a slider bar.
  • the image displayed on the display unit may be updated according to the input information.
  • the user may operate an input unit provided remotely from the imaging device 120, and information input using the input unit may be transmitted to the imaging device 120 via a network.
  • each structure of the imaging device 120 may be comprised as a different apparatus, respectively, and may be comprised as one apparatus integrated. Further, at least a part of the configuration of the imaging device 120 may be integrated as one device. In addition, information transmitted and received between the components of the imaging device 120 is exchanged by wire or wirelessly.
  • the control unit 101 of the image processing apparatus 100 includes a unit that acquires image data of an object including a structure, a unit that acquires information indicating the position of the structure by image processing on the image data, and a position of the structure. Means for estimating an interface of an object by processing using information.
  • the control unit 101 may use image data in addition to information indicating the position of the structure when estimating the interface of the object.
  • the interface of the object is determined by a plurality of steps including a processing step of obtaining information indicating the position of the structure by image processing on the image data and a processing step of estimating the interface of the object based on the information indicating the position of the image data and the structure It can be estimated with high accuracy.
  • modified examples of the interface estimation method performed by the control unit 101 including these means will be described.
  • ⁇ Modification 1> a specific example of a method in which the control unit 101 determines the position of a structure in an object by image processing on the volume data of the object will be described.
  • the position of the structure blood vessel
  • the control unit 101 sets a threshold, and determines a position where the image value of the volume data is equal to or greater than the threshold as the position of the structure.
  • the threshold value setting method will be described by a method in which the operator sets the threshold value by moving the slider bar while viewing the volume data image displayed on the display unit.
  • the slider bar exists in the UI of the application on the display, and is configured such that the bar can be slid by the operation receiving unit 107 such as a mouse or a keyboard.
  • the operation receiving unit 107 such as a mouse or a keyboard.
  • the operator can designate a threshold value when the image of the structure is selectively displayed by operating the slider bar.
  • the estimation calculation is started by pressing an interface estimation button or the like that also exists in the UI.
  • the control unit 101 can acquire information on the position of the structure displayed on the display unit at this time, and can use this information for estimation of the interface.
  • control unit 101 is not limited to the above-described method, and the control unit 101 may set a threshold that can discriminate blood vessel images obtained empirically and automatically set the position of the structure (blood vessel). That is, the control unit 101 may use a threshold value stored in advance in the storage unit.
  • control unit 101 may determine the position of the structure by evaluating the spatial differential value of the image value of the volume data, similarly to the evaluation of the absolute value of the image value of the volume data. That is, the control unit 101 may determine a position where the spatial differential value of the image value of the volume data is greater than or equal to a threshold value as the position of the structure. Further, the control unit 101 may apply a blood vessel extraction algorithm to the volume data and determine the extracted blood vessel position as the structure position. For example, a blood vessel image is extracted by locally changing the threshold value by adaptive binarization processing, or blood vessel enhancement is performed using a Hessian matrix after binarization, or a dynamic method such as the Snake method is used. Blood vessel extraction may be performed using a contour method or a graph cut method.
  • the Snake method is an image processing technique that uses a closed curve that minimizes the energy of a closed curve surrounding a region as a shape interface.
  • the energy constraint term includes coefficients that determine the tension and rigidity of the closed surface.
  • the graph cut is one of image segmentation methods, and the structure in the object can be segmented by calculating the minimum cut of the luminance flow between the pixels as an energy minimization problem.
  • pre-processing for reducing noise such as smoothing may be performed on the volume data. By such pre-processing, it is possible to estimate the position of the structure with higher accuracy by reducing local image variations due to noise.
  • a known method such as a two-dimensional or three-dimensional averaging filter, a bilateral filter, or Total Variation Minimization may be employed.
  • ⁇ Modification 2> In this modification, an example will be described in which, when an imaging region is designated, a cross simulation parameter corresponding to the imaging region is determined.
  • the controller 101 sets parameters for cross simulation when estimating the interface by cross simulation. In the cross simulation, it is necessary to set parameters such as mass m and spring length. At this time, the control unit 101 can set the parameters of the cross simulation using the information indicating the imaging region. For example, when the imaging region is the breast, there are many regions where blood vessel images exist sparsely compared to the palm. In this case, if the mass of the mass point of the cross simulation is made too heavy, or if the length of the spring is made too short, the interface estimated in the region where there is no blood vessel may be different from the actual interface.
  • the control unit 101 sets a parameter value suitable for the breast obtained empirically.
  • the parameter value may be calculated by adding a constraint condition that smoothes the surface shape to the cross simulation itself so that the surface is not too uneven.
  • a table indicating the relationship between a plurality of imaging regions and parameters corresponding to each imaging region may be stored in the storage unit.
  • the control unit 101 may acquire information indicating an imaging region and read out a parameter corresponding to the imaging region from the table. Further, it is preferable that the mass of the mass point of the cross simulation when the imaging region is a breast is lighter than that when the imaging region is a palm. Further, it is preferable that the length of the spring of the cross simulation when the imaging region is the breast is longer than that when the imaging region is the palm.
  • the control unit 101 can acquire information indicating the imaging region via the operation reception unit 107. The operator may specify an imaging region using the UI.
  • ⁇ Modification 3> In this modification, an example will be described in which processing for reducing an image that is considered to have an adverse effect on estimation of an interface from volume data is performed. If there are high-intensity artifacts or images of objects other than the subject in the volume data, the estimation of the interface may be adversely affected. For example, when estimating an interface by cross simulation, if an artifact having high strength exists in addition to the interface, the cross may be caught by the artifact and a position different from the interface may be defined as the interface. While viewing the volume data image displayed on the display unit, the operator can use the operation receiving unit 107 to designate a region that is thought to have an adverse effect on the estimation of the interface. The control unit 101 can reduce or delete the image value of the designated area. Here, the image value reduction target is determined manually, but the control unit 101 may determine the image value reduction target by performing image processing on the volume data. The control unit 101 may determine the image value reduction target by performing image processing on the volume data after performing noise reduction preprocessing such as smoothing.
  • ⁇ Modification 4> In this modification, an example will be described in which information indicating the estimated interface is used for the process of generating volume data again or used for the process of correcting volume data.
  • the control unit 101 can determine a boundary where the sound speed changes using information indicating the estimated interface.
  • the control unit 101 assigns the sound speed of the subject to the subject side of the interface, and the acoustic matching material to the acoustic matching material side of the interface. Assign a sound speed.
  • the control part 101 can produce
  • the control unit 101 assigns a sound speed to each region separated from the interface, and estimates the sound speed that maximizes the sum of the edges of the generated image by reconstructing using the assigned sound speed as the optimum sound speed. Can do.
  • the sound speed distribution can be set with high accuracy by using the information indicating the estimated interface.
  • the control unit 101 can determine the light amount distribution in the subject using information indicating the estimated interface. Further, the control unit 101 can correct the variation in the image value of the volume data resulting from the variation in the light amount by using the information indicating the light amount distribution in the subject. For example, the control unit 101 determines the light amount profile at the interface position by projecting the light amount profile of the irradiation light onto the estimated interface position. The control unit 101 sets the light amount profile at the interface position as the light emission amount of the virtual light source at the interface, and calculates the propagation of light generated from the virtual light source using a difference method such as a finite element method. In this way, the light quantity distribution in the subject can be calculated using information indicating the estimated interface. And the control part 101 can produce
  • generate volume data such as a light absorption coefficient and oxygen saturation
  • DESCRIPTION OF SYMBOLS 10 ... Image processing system, 100 ... Image processing apparatus, 101 ... Control part, 110 ... File server, 120 ... Imaging device, 201 ... Reception part, 202 ... Rearrangement part, 203 ... Normalization part, 204 ... Noise processing part, 205 ... Luminance gradient calculation unit, 206 ... Continuous surface estimation unit, 207 ... Display control unit, 300 ... Luminance gradient, 400 ... Cloth model, 401 ... Node, 402 ... Spring, 500 ... Body surface mask, 600 ... User interface screen, 601 ... Surface deletion column, 602 ... Surface layer region / depth region column, 603 ... Deep highlight column, 604 ... Bottom removal column, 605 ... Noise level column, 606 ... Mask creation column, 607 ... Mask generation parameter column, 608 ... Target ratio Column, 609 ... cross simulation parameter column, 610 ... stop condition column, 611 ... surface node output column, 612 ... mask deletion button

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

被検体の界面の画像情報に乏しい撮影法により取得された画像データであっても、画像データを用いて被検体の界面を規定する連続面の推定を可能にする。画像処理装置は、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、ボリュームデータに対応する物体の界面を規定する連続面を推定する推定部を有する。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラムに関する。
　Ｘ線コンピュータ断層診断法（Computed Tomography：CT）や磁気共鳴画像診断法（Magnetic Resonance Imaging: MRI）で生体組織などの被検体を撮影すると、画像に被検体の体表面（例えば表皮）が映り込む。これらの画像では、体表面近傍と体内部の輝度の差が小さいため、画像から体表面を抽出して体表マスクを生成し、読影の邪魔になる体表付近の血管（表在血管）をマスクすることも比較的容易に行える。なお、磁気共鳴血管造影法(Magnetic Resonance Angiography: MRA）で撮影した画像では読影の邪魔になる表在血管が映り込まないので、体表面を抽出して表在血管をマスクする必要自体が存在しない。
　これに対し、光音響断層イメージング法（Photo Acoustic Tomography: PAT）、超音波画像診断法では、体表面近傍と体内部では、体内部の輝度が低いために、高輝度な体表面近傍の画像に阻害されて体内部の画像が判別し難くなっている。そのため表面近傍の画像の輝度を低くしたり、その画像を除去する必要が生じていた。特にPAT画像では、表面はあいまいで、表面近傍の血管の輝度が高く、体内部の血管の輝度が低くなっている。そのため、手等の複雑な形状の表面を除去するには、手作業で行う必要があり、多大な時間を要していた。ＭＲＩ血管造影診断法で生体組織などの被検体を撮影すると、体表面が画像に映り込まないか、映り込んだとしても情報が少ない。このため、この種の画像でも、読影の前に、手作業により表在血管を画像から取り除いていた。
　また光音響画像について、特許文献１には、被検体の体表面から深部方向に向かう１本の線を定義し、この線上に出現する光音響データ群について微分値の分布を計算することにより、体表面の近傍領域を検出する手法が記載されている。
特開２０１３－１８８４６１号公報
　しかし、前記したように画像から表在血管を手作業で取り除く手法は、その作業に長時間を必要とする。一方、特許文献１に記載の手法は、体表面の近似領域を線単位で検出する手法であり、検出結果は計算対象である線のみに属する。このため、体表面全体でみると離散的にしか近似領域を求めることができない。すなわち体表面の滑らかな界面を決定することができない。
　本発明の目的は、被検体の界面の画像情報に乏しい撮像法により取得された画像データであっても、画像データを用いて被検体の界面の推定を可能にすることである。
　以下、本明細書に記載の発明の一例を説明する。
　請求項１に記載の発明は、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、当該ボリュームデータに対応する物体の界面を規定する連続面を推定する推定部を有する画像処理装置である。
　請求項２に記載の発明は、前記連続面を、前記ボリュームデータに重ねて表示する表示制御部を更に有することを特徴とする請求項１に記載の画像処理装置である。
　請求項３に記載の発明は、各ボクセルの輝度値の表示に用いる輝度倍率を、前記連続面からの深さに応じて変化させる表示制御部を更に有することを特徴とする請求項１に記載の画像処理装置である。
　請求項４に記載の発明は、前記表示制御部は、浅部に位置する前記ボクセルの表示上の輝度値のいずれもが、深部に位置する当該ボクセルの表示上の輝度値の最大値よりも小さくなるように、前記輝度倍率を変化させることを特徴とする請求項３に記載の画像処理装置である。
　請求項５に記載の発明は、前記推定部は、質量を有する格子点をバネにより相互に連結した格子点群を対象物の上方から重力により自由落下させる物理モデルを、前記輝度勾配の分布に適用することにより前記連続面を推定することを特徴とする請求項１に記載の画像処理装置である。
　請求項６に記載の発明は、前記推定部は、前記輝度勾配の分布に基づいて各ボクセルの法線方向を求め、当該法線方向を前記物理モデルに作用する抗力の方向として使用することを特徴とする請求項５に記載の画像処理装置である。
　請求項７に記載の発明は、前記推定部は、予め定めたノイズレベルを超える輝度値を有するボクセルを処理対象として前記連続面を推定することを特徴とする請求項１に記載の画像処理装置である。
　請求項８に記載の発明は、前記推定部は、ユーザインタフェース画面上に設けられた入力欄を通じて前記ノイズレベルの指定を受け付けることを特徴とする請求項７に記載の画像処理装置である。
　請求項９に記載の発明は、前記ボリュームデータの深部に出現する高輝度のボクセルを表示対象から除去するボタンをユーザインタフェース画面に表示する表示制御部を更に有することを特徴とする請求項１に記載の画像処理装置である。
　請求項１０に記載の発明は、前記ボリュームデータは、光音響断層画像データ、超音波画像データ、ＭＲＩ血管造影画像データのいずれかであることを特徴とする請求項１に記載の画像処理装置である。
　請求項１１に記載の発明は、前記推定部は、前記ボリュームデータを構成するボクセルを輝度値の大きさ順に並び替えた場合における低輝度側のボクセル集合が全体に占める割合が予め定める値以下となるときの当該ボクセル集合における最大輝度値で正規化された輝度値について前記輝度勾配を求めることを特徴とする請求項１に記載の画像処理装置である。
　請求項１２に記載の発明は、前記予め定める値は、９９％以上９９．９９％以下の値であることを特徴とする請求項１１に記載の画像処理装置である。
　請求項１３に記載の発明は、前記物体の界面を規定する連続面から、物体内部に向かってボクセルの色度を変えて表示する機能を有することを特徴とする請求項１に記載の画像処理装置である。
　請求項１４に記載の発明は、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、当該ボリュームデータに対応する物体の界面を規定する連続面を推定する処理と、前記連続面を、前記ボリュームデータに重ねて表示する処理とを有する画像処理方法である。
　請求項１５に記載の発明は、コンピュータに、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、当該ボリュームデータに対応する物体の界面を規定する連続面を推定させる機能と、前記連続面を、前記ボリュームデータに重ねて表示させる機能とを実行させるためのプログラムである。
　本発明によれば、被検体の界面の画像情報に乏しい撮像法により取得された画像データであっても、画像データを用いて被検体の界面の推定を可能にすることができる。以下、本明細書に記載の一発明の効果を説明する。
　請求項１記載の発明によれば、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用いない場合とは異なり、被検体の界面を規定する連続面を推定できる。
　請求項２記載の発明によれば、連続面がボリュームデータに重ねて表示されない場合とは異なり、推定精度を確認できる。
　請求項３記載の発明によれば、連続面からの深さに応じて輝度倍率を変化させない場合に比して、読影対象の読影を容易にできる。
　請求項４記載の発明によれば、浅部に位置するボクセルの表示上の輝度値を深部に位置するボクセルの表示上の輝度値の最大値よりも小さくしない場合に比して、深部の読影を容易にできる。
　請求項５記載の発明によれば、いわゆるクロスシミュレーションを用いて連続面を推定しない場合に比して、特異的な輝度値の影響を抑えて界面の推定精度を高めることができる。
　請求項６記載の発明によれば、いわゆるクロスシミュレーションを用いて連続面を推定しない場合に比して、特異的な輝度値の影響を抑えて界面の推定精度を高めることができる。
　請求項７記載の発明によれば、予め定めたノイズレベルのボクセルを除かない場合に比して、界面を規定する連続面の推定精度を高めることができる。
　請求項８記載の発明によれば、ノイズレベルを調整できない場合とは異なり、界面を規定する連続面の推定精度を調整できる。
　請求項９記載の発明によれば、深部に出現する高輝度のボクセルを表示対象から除去しない場合と異なり、読影対象の読影を容易にできる。
　請求項１０記載の発明によれば、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用いない場合とは異なり、被検体の界面を規定する連続面を推定できる。
　請求項１１記載の発明によれば、輝度値の大きさの比率でボクセルデータを正規化しない場合とは異なり、ボクセルデータに依存しない推定結果を得ることができる。
　請求項１２記載の発明によれば、輝度値の大きさの比率で正規化しない場合とは異なり、ボクセルデータに依存しない推定結果を得ることができる。
　請求項１３記載の発明によれば、請求項１に記載の発明で規定された界面から、物体内部の方向に向かって、ボクセルの色度を変えて表示するため、物体表面の近傍から内部に存在する組織や器官の界面からの位置関係を容易に確認することができる。
　請求項１４記載の発明によれば、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用いない場合とは異なり、被検体の界面を規定する連続面を推定し、さらに推定精度を確認できる。
　請求項１５記載の発明によれば、再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用いない場合とは異なり、被検体の界面を規定する連続面を推定し、さらに推定精度を確認できる。
再構成画像を形成して表示する画像処理システムのハードウェア構成例を示す図である。 本実施の形態における制御部の機能構成を説明する図である。 輝度勾配のイメージを説明する図である。 クロスシミュレーションを説明するための図である。 布モデルの構造例を説明する図である。 クロスシミュレーションの計算で必要となる各節点に作用する力を説明する図である。 本実施の形態で説明するクロスシミュレーションによって推定される連続面としての体表マスクを説明する図である。 比較例によって抽出される表面の一例を説明する図である。 光音響断層イメージング法により手のひらを撮影して得られるボリュームデータと体表マスクを重ねて表示した画面例を示す図である。 図９におけるＸ－Ｘ断面における表在血管と体表マスクの位置関係を説明する図である。 光音響断層イメージング法により乳房を撮影して得られるボリュームデータと体表マスクを重ねて表示した画面例を示す図である。 図１１におけるＸＩＩ－ＸＩＩ断面における表在血管と体表マスクの位置関係を説明する図である。 表示部に表示されるユーザインタフェース画面の一例を説明する図である。 本実施の形態における制御部による画像処理手順を説明するフローチャートである。 表在血管モードとして機能する表示制御部が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。 表在血管モードによる再構成画像の表示例である。 表在除去モード（深部血管モード）として機能する表示制御部が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。 表在除去モード（深部血管モード）による再構成画像の表示例である。 表在除去モード（深部血管モード）の場合において深部を積極的に強調表示するときに表示制御部が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。 深部ノイズ除去モードとして機能する表示制御部が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。 底面ノイズを除去する前の再構成画像の表示例を示す図である。 底面ノイズを除去した後の再構成画像の表示例を示す図である。
　以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜実施の形態１＞
＜システム構成＞
　図１は、再構成画像を形成して表示する画像処理システム１０のハードウェア構成例を示す図である。画像処理システム１０は、被検体の三次元画像データ（ボリュームデータ）を処理する画像処理装置１００と、三次元画像データやその生成に用いた断層画像データなどを保存するファイルサーバ１１０と、被検体を断層撮影する撮像装置１２０とを有している。
　画像処理装置１００は、装置全体の動作を制御する制御部１０１と、処理対象とする画像データを記憶する記憶部１０５と、操作受付画面や再構成画像の表示に使用される表示部１０６と、ユーザの入力操作を受け付ける操作受付部１０７と、ファイルサーバ１１０や撮像装置１２０と通信する通信部１０８とを有している。これらの各部はバス１０９で接続されており、データの受け渡しはバス１０９を通じて実行される。
　制御部１０１は、いわゆるコンピュータであり、プログラムを実行するＣＰＵ（Central Processing Unit）１０２と、ＢＩＯＳ（Basic Input / Output System）やファームウェアなどのプログラムやデータを記憶するＲＯＭ（Read Only Memory）１０３と、プログラムに作業エリアを与えるＲＡＭ（Random Access Memory）１０４とにより構成される。ＣＰＵ１０２によるプログラムの実行を通じて実現される機能については後述する。
　記憶部１０５は、ハードディスク装置や半導体メモリなどの記憶装置により構成され、ファイルサーバ１１０や撮像装置１２０から取得した画像データを記憶する。本実施の形態では、医療分野の画像データを想定する。表示部１０６は、例えば液晶ディスプレイで構成される。液晶ディスプレイは、液晶パネル、バックライトなどで構成される。なお、表示部１０６は、有機ＥＬ（electroluminescence）ディスプレイなどであってもよい。
　操作受付部１０７は、ユーザの操作入力の受け付けに用いられるマウスやポインティングデバイスなどの入力装置である。通信部１０８は、有線インターフェース回路や無線インターフェース回路で構成される。
　ファイルサーバ１１０は、断層画像データを積み重ねて生成したボリュームデータや個々の断層画像データをファイルデータとして格納するネットワーク上の記憶装置であり、例えば大容量のハードディスク装置で構成される。ボリュームデータは、３次元空間内の単位画素を与えるボクセルの集合体（ボクセル群）で構成される。個々のボクセルは、座標値と輝度値で構成される。
　ファイルサーバ１１０には、例えば撮像装置１２０から出力された断層画像データが直接格納される。また、ファイルサーバ１１０には、画像処理装置１００による再構成処理（断層画像データの積み重ね処理）によって作成されたボリュームデータが格納される場合もあれば、不図示の画像処理装置による再構成処理によって作成されたボリュームデータが格納される場合もある。
　撮像装置１２０は、光音響断層イメージング法、超音波画像診断法、ＭＲＩ血管造影診断法などにより生体組織などの被検体の断層画像を取得する装置である。本実施の形態では、各撮像法によって取得された画像データを、光音響断層画像データ、超音波画像データ、ＭＲＩ血管造影画像データという。
　光音響断層イメージング法に対応する撮像装置１２０は、パルスレーザ光を被検体に照射する光源と、被検体からの超音波を検出する超音波探触子（プローブ）とで構成される。超音波画像診断法に対応する撮像装置１２０は、超音波を被検体に照射する超音波源と、被検体からの超音波を検出する超音波探触子（プローブ）とで構成される。ＭＲＩ血管造影診断法に対応する撮像装置１２０は、静磁場発生磁石と、勾配磁場コイルと、ＲＦコイルと、制御装置とで構成される。
＜機能構成＞
　図２は、本実施の形態における制御部１０１の機能構成を説明する図である。図２に示す機能構成は、プログラムの実行を通じて実現される。本実施の形態における制御部１０１は、処理対象とするボリュームデータを受け付ける受付部２０１と、ボリュームデータを構成するボクセル群を輝度値の大きさ順に並び替える並替部２０２と、ボクセル全体に占める割合が予め定める値以下（例えば９９．９％以下）となるように抽出された低輝度側のボクセル集合内での最大輝度値を基準値としてボリュームデータの各輝度値を正規化する正規化部２０３と、輝度値がノイズレベル以下のボクセルを除去するノイズ処理部２０４と、処理対象として抽出されたボクセルについて輝度勾配を算出する輝度勾配算出部２０５と、算出された輝度勾配に基づいて連続面を推定する連続面推定部２０６と、表示項目や表示条件に従って再構成画像の表示を制御する表示制御部２０７とで構成される。
　受付部２０１は、表示部１０６の画面上に一覧表示されたファイル名の中から処理対象とするファイル名を受け付けると、対応するボリュームデータをファイルサーバ１１０から読み出して記憶部１０５に格納する処理機能を実行する。並替部２０２は、既知の手法を用いて、ボリュームデータを構成するボクセル群を輝度値の大きさ順に並び替える処理機能を実行する。
　正規化部２０３は、低輝度側のボクセル集合を構成するボクセルの数がボクセル全体の数に占める割合が、不図示の操作画面を通じて受け付けた目標割合（例えば９９．９％）を満たす場合に、その低輝度側のボクセル集合内の最大輝度値が基準値（例えば１．０）に変換されるように、全てのボクセルの輝度値を正規化する機能部である。正規化処理は、処理対象とするボリュームデータの輝度分布の違いによらず後段の処理機能を共通化する目的で実行される。基準値の入力に使用される操作画面例については後述する。
　ノイズ処理部２０４は、不図示の操作画面を通じて受け付けたノイズレベルを超える輝度値を有するボクセルのみを処理対象として抽出する処理機能を実行する。換言すると、ノイズ処理部２０４は、輝度値がノイズレベル以下のボクセルを除去する処理機能を実行する。閾値としてのノイズレベルは、例えば不図示の操作画面を通じてユーザにより入力される。輝度勾配算出部２０５は、詳細については後述するが、輝度勾配を処理対象として抽出されたボクセルについて算出する処理機能を実行する。
　輝度勾配は、個々のボクセルとその周囲（隣り）に位置するボクセルとの最大輝度差を示す勾配強度と、最大輝度差が得られる方向を示す勾配方向とで表されるベクトル量である。ここで、周囲を与える範囲（ボクセル数）は予め与えられ、その最小値は“１”である。図３は、輝度勾配３００のイメージを説明する図である。図３では、輝度値が高い位置を白色で、輝度値の低い位置を黒色で表している。
　図中のベクトルの長さは各位置での輝度勾配３００の大きさを示し、ベクトルの向きは各位置での輝度勾配３００の向きを与える。図３（Ａ）は、最低輝度を与える中心に向けて輝度値が同心円状に小さくなる場合の輝度勾配３００を表している。図３（Ｂ）は、線３０１を挟んで左側と右側とで異なる輝度変化がある場合の輝度勾配３００を表している。因みに、線３０１の左側は、線３０１の位置が最も輝度が高く、左方向に輝度値が小さくなる場合の輝度勾配３００を表している。一方、線３０１の右側は、線３０２の位置を挟んで輝度変化が逆向きとなる場合を表している。
　輝度勾配３００は、ボリュームデータを構成する全てのボクセル群について算出してもよいし、ボリュームデータの表層部分に点在するボクセル群についてのみ計算してもよい。ボリュームデータの表層部分についてのみ輝度勾配を計算する場合には、推定可能な連続面は体表面に限られるが、その分、計算量が少なくなり処理時間が短縮される。もっとも、内部構造の界面を規定する連続面を求めたい場合には、少なくとも界面が存在する蓋然性の高い深さのボクセルも計算対象とする。
　連続面推定部２０６は、詳細については後述するが、算出された輝度勾配３００に基づいて連続面を推定する処理機能を実行する。輝度勾配３００が界面の形状を正確に与え、かつ、輝度勾配３００が過不足なく与えられる理想的な状態であれば、連続面推定部２０６は、輝度勾配３００の集合から界面の形状を直接的に再現できるが、本実施の形態で処理対象とするボリュームデータでは、被検体の体表面の情報が存在しないか、情報自体が少ない。すなわち、ボリュームデータの表層部分で利用可能な輝度値の多くは、表在血管やノイズに由来する。
　そこで、本実施の形態における連続面推定部２０６は、被検体の体表面をボリュームデータの表面に布（クロス）を被せる場合に現れる形状として推定する処理機能を実行する。すなわち、本実施の形態では、いわゆるクロスシミュレーションをボリュームデータに適用する。クロスシミュレーションとは、質量を有する格子点をバネにより相互に連結した格子点群を布に見立て、布を対象物の上方から重力により自由落下させた際に、布の形状を予測するシミュレーションである。
　図４は、クロスシミュレーションを説明するための図である。図４では、ボクセルデータにおいて高輝度値として現れる表在血管と深部血管の上方に布モデル４００を配置し、その後、布モデル４００を自由落下させる物理モデルを適用した場合、布モデル４００が表在血管と表在血管の間で懸垂線を形成するように変形することを表している。本実施の形態では、布モデル４００が形成する面を、被検体の体表面とみなす。
　図５は、布モデル４００の構造例を説明する図である。図５は、布モデル４００をバネ節点モデルとして表している。図中の丸印は質量を有する節点４０１であり、個々の節点４０１はバネ４０２によって相互に連結されている。ここでの節点は、格子点の一例である。なお、図５は構造バネだけを配置する例であるが、対角線方向にせん断バネを追加的に配置してもよい。本実施の形態において、節点４０１の面内密度は、ボリュームデータを構成するボクセルの面内密度より小さい。すなわち、同じ面積内には、節点４０１よりも多くのボクセルが存在する。このため、節点４０１は、いずれかのボクセルと必ず接触する。
　図６は、クロスシミュレーションの計算で必要となる各節点４０１に作用する力を説明する図である。クロスシミュレーションでは、運動方向に対して反対方向に作用する空気抵抗ｆｖと、質量ｍを有する節点４０１に作用する重力ｇと、周囲の節点４０１との間で作用する引力又は斥力－ｋΔｘと、節点４０１がボクセルとの接点から受ける抗力Ｎとが必要になる。抗力Ｎが作用する方向の算出に、前述した輝度勾配３００の勾配方向を利用する。具体的には、抗力Ｎが作用する方向を与える物体表面の法線方向として、節点４０１が接するボクセルについて計算された輝度勾配３００の方向を使用する。布モデル４００の変形を停止させる速度や位置についての情報は、操作受付部１０７を通じて与えられる。
　図７は、本実施の形態で説明するクロスシミュレーションによって推定される連続面としての体表マスク５００を説明する図である。本実施の形態の場合、表在血管に起因する輝度値を体表面の代わりに用いてクロスシミュレーションを適用し、表在血管に沿って変化する体表マスク５００を得る。クロスシミュレーションの性質により、輝度値などが周囲とは極端に異なる特異点（ボクセル）は無視される。この結果、体表マスク５００は、表層部分に離散的に出現する高輝度ボクセルを懸垂曲線で結んだ連続面として与えられる。
　図８は、比較例によって抽出される表面の一例を説明する図である。比較例では、深部方向に向かって直線的にボクセルの輝度値としきい値とを比較し、最初にしきい値を超えた輝度値を有するボクセルを結ぶことで生成される抽出面５０１の例を示している。比較例では、表在血管と深部血管の両方が、しきい値を超える輝度値を有するボクセルとして検出されるため、抽出面５０１が体表面とは類似しない形状になる。
　参考までに、クロスシミュレーションによって作成された体表マスク５００の具体例を例示する。図９は、光音響断層イメージング法により手のひらを撮影して得られるボリュームデータと体表マスク５００を重ねて表示した画面例を示す図である。図９では、内部構造の様子を観察できるように、連続面として与えられる体表マスク５００を、その生成に用いた布モデル４００の節点４０１（図５参照）によって表している。なお、図９に示す布モデル４００は、１万個（１０１×１０１）の節点４０１で構成されている。
　図１０は、図９におけるＸ－Ｘ断面における表在血管と体表マスク５００の位置関係を説明する図である。Ｘ－Ｘ断面は、４本の指を横断的に破断するように位置が定められている。このため、図１０に示す体表マスク５００は、指の部分では体表面の形状に沿って湾曲し、指と指の間では懸垂線を形成している。
　図１１は、光音響断層イメージング法により乳房を撮影して得られるボリュームデータと体表マスク５００を重ねて表示した画面例を示す図である。図１１の場合も、内部構造の様子を観察できるように、体表マスク５００を、その生成に用いた布モデル４００の節点４０１によって表している。図１１に示す布モデル４００も、１万個（１０１×１０１）の節点４０１で構成されている。
　図１２は、図１１におけるＸＩＩ－ＸＩＩ断面における表在血管と体表マスク５００の位置関係を説明する図である。ＸＩＩ－ＸＩＩ断面は、乳房を厚み（高さ）方向に破断するように位置が定められている。このため、図１２に示す体表マスク５００は、乳房の体表面形状に沿って湾曲している。なお、図１１及び１２の場合、乳房の底面（すなわち深部）に読影の邪魔になるノイズ（底面ノイズ）が多く含まれている。このノイズを除去する表示機能については後述する。
　表示制御部２０７は、操作受付部１０７を通じて入力される表示項目や表示条件に従って再構成画像を修正し、表示部１０６に表示する処理機能を実行する。詳細については後述するが、表示項目として指定できる対象には、推定された連続面、表在血管（いわゆる静脈）、深部血管（いわゆる動脈）、底面に出現するノイズなどがある。これらの対象の表示に対する指示は、後述するユーザインタフェース画面を通じて指定される。
　また、表示条件として指定できる対象には、表示に使用しない輝度レベルの範囲の最大値を与えるノイズレベル、表在血管と深部血管の色分け表示、再構成画像に占める表層領域のボクセルと深部領域のボクセルの比率、表層領域の強調表示や深部領域の強調表示（本実施の形態では深さに応じた輝度倍率の設定）などがある。これらの条件に対する指示は、後述するユーザインタフェース画面を通じて指定される。
＜ユーザインタフェース画面の例＞
　図１３は、表示部１０６に表示されるユーザインタフェース画面６００の一例を説明する図である。ユーザインタフェース画面６００は、前述した表示項目や表示条件の入力用に設けられた複数の欄で構成される。
　表面削除欄６０１は、血管の表示態様の選択に使用される。図１３に示す表面削除欄６０１には、表在血管の表示を意味する「（削除）なし」、表在血管を表示画面から削除することを意味する「削除」、表在血管だけの表示を意味する「表面」、表在血管と深部血管の色分け表示を意味する「色分け」などを含む。本実施の形態の場合、表在血管と深部血管の区別は、例えば体表マスク５００の位置から深部方向への画素（ボクセル）数によって区別する。すなわち、物体の界面を規定する連続面（例えば体表マスク５００）から、物体内部に向かってボクセルの色度を変えて表示してもよい。表面からの深さによって色分けする場合、体表マスク５００から最短の法線方向距離にしたがって、色分けするのが望ましい。
　例えば体表マスク５００から深部方向に１０ボクセルまでの範囲を表層領域とし、表層領域に属する高輝度ボクセルを表在血管とする。また、体表マスク５００から深部方向に３０ボクセルを超える範囲を深部領域とし、深部領域に属する高輝度ボクセルを深部血管とする。
　表層領域／深部領域欄６０２は、表層領域に属するボクセルと深部領域に属するボクセルとの表示割合の入力に使用される。図１３に示す表層領域／深部領域欄６０２の例では、スライダの移動により、表層領域に属するボクセルと深部領域に属するボクセルの比率が変更される。
　深部強調欄６０３は、深部領域の強調表示の度合いを指定するために使用される。欄内の数値は、深部領域に属するボクセルの輝度値に乗算される輝度係数を表している。図１３の場合、輝度係数は“１．５０”である。底部除去欄６０４は、ボリュームデータの底部（底面）領域に現れる高輝度ボクセルを表示対象から除去するために使用される。図１３の場合、チェックボックスにチェックが入っている場合、底部領域の高輝度ボクセルが表示対象から除去される。
　輝度倍率設定欄６０４Ａは、表層領域に属するボクセルの輝度値に乗算する輝度倍率と深部領域に属するボクセルの輝度値に乗算する輝度倍率の設定に使用される。図１３の場合、“０．４０”は表層領域に適用する輝度係数であり、“１．００”は深部領域に適用する輝度係数である。図１３の例では、表層領域に属するボクセルの表示輝度は本来の輝度値よりも小さく、深部領域に属するボクセルの表示輝度は本来の輝度値と同じである。
　ノイズレベル欄６０５は、ノイズレベルとして処理する輝度値の値を指定するために使用される。ノイズレベルを適切に与えることにより、体表マスク５００の推定精度を高めることができる。なお、図１３の例では、ノイズレベルとして扱う低輝度側のボクセルの割合を百分率で与えている。なお、ノイズレベルとして扱う輝度値の最大値を与えてもよい。本実施の形態の場合、ノイズレベルの大きさをユーザが調整できる。このため、ノイズレベルを適切に調整することで、体表マスク５００の推定精度を調整できる。
　マスク作成欄６０６は、体表マスク５００を作成する際に使用される。「マスク作成」ボタンがポインタによってクリック操作されると、前述した輝度勾配算出部２０５及び連続面推定部２０６の処理が実行される。
　マスク生成パラメータ欄６０７は、体表マスク５００を生成する際に使用される入力欄であり、後述する幾つかの入力欄で構成される。目標割合欄６０８は、正規化処理の際に用いる目標割合の入力に使用される。図１３の例では、輝度値の大きさ順に並び替えた後の低輝度側のボクセル集合の個数が全体のボクセル数に占める割合として“９９．９％”を指定した例を表している。なお、本発明者は、目標割合が９９．９％の場合に良好な表示結果が得られることを実験により確認したが、この値は９９％以上９９．９９％以下の間で調整できることが望ましい。
　クロスシミュレーションパラメータ欄６０９は、クロスシミュレーションで使用するばね定数、空気抵抗、節点質量の入力に用いられる。図１３の例では、「ばね定数」が“１０００”、「空気抵抗」が“２００”、「節点質量」が“１．００”である。
　停止条件欄６１０は、停止速度と停止位置の入力に用いられる。これらの項目は、クロスシミュレーションの終了条件、すなわち振動動作を停止させるための条件を与える。表面ノード出力欄６１１は、再構成画像を表現するボリュームデータに重ねて体表マスク５００を表示するか否かの指定に用いられる。図１３の場合、チェックボックスにチェックが入った場合、再構成画像に重ねて体表マスク５００が表示される。この場合、図９や図１１に示すように再構成画像に体表マスク５００を重ねて示す画面が表示される。作成された体表マスク５００が再構成画像に重ねて表示されれば、ユーザは、体表マスク５００の推定結果が適切であるか否かを確認できる。マスク削除ボタン６１２は、ボリュームデータに重ねて表示されている体表マスク５００を表示対象から削除するために使用される。
＜処理動作＞
　以下では、本実施の形態に係る画像処理装置１００の処理動作を説明する。図１４は、本実施の形態における制御部による画像処理手順を説明するフローチャートである。
　制御部１０１は、受付部２０１の機能を通じ、表示対象とするファイル名の選択を受け付ける（ステップ１０１）。次に、制御部１０１は、選択されたファイル名に対応するボリュームデータをファイルサーバ１１０から読み出す（ステップ１０２）。この処理が構造体を含む物体の画像データを取得する処理に相当する。続いて、制御部１０１は、並替部２０２の機能を使用して、読み出したボクセルデータを構成するボクセル群を輝度値の大きさ順に並び替える（ステップ１０３）。
　次に制御部１０１は、正規化部２０３の機能を使用して、並び替え後のボリュームデータを正規化する（ステップ１０４）。正規化処理では、目標割合を満たす低輝度側のボクセル集合内の最大輝度値が基準値に変換されるように、全てのボクセルの輝度値を換算する。この正規化処理により、ボリュームデータを構成するボクセルの輝度分布の違いによらず、体表面の推定精度が高い状態に保たれる。
　次に、制御部１０１は、ノイズ処理部２０４の機能を使用して、正規化後のボクセルデータのうちノイズレベルを超える輝度値を有するボクセルのみを処理対象として抽出する（ステップ１０５）。この処理が画像データに対する画像処理により、構造体の位置を示す情報を取得する処理に相当する。この後、制御部１０１は、輝度勾配算出部２０５の機能を使用して、処理対象として抽出されたボクセルのそれぞれについて輝度勾配を算出する（ステップ１０６）。
　続いて、制御部１０１は、連続面推定部２０６の機能を使用して、被検体の体表面を規定する連続面（本実施の形態の場合には体表マスク５００）を推定する（ステップ１０７）。この処理が構造体の位置を示す情報を用いた処理により、物体の界面を推定する処理に相当する。本実施の形態の場合、ステップ１０６で算出された輝度勾配をクロスシミュレーションのパラメータの１つとして使用し、ボクセルデータを対象としたクロスシミュレーションを実行し、表在血管を覆う体表マスク５００を推定する。このように、物体の界面を推定する処理において、構造体の位置を示す情報に加えて、画像データ（ここでは画像データの輝度勾配）を用いてもよい。
 
　この後、制御部１０１は、表示制御部２０７の機能を使用し、前述したユーザインタフェース画面６００で指定された項目や条件に表示内容が合致するように再構成画像を前処理する（ステップ１０８）。前処理として、例えば特定の血管のみを表示対象から除いたり、色を付したりする処理が実行される。また、前処理として、体表マスク５００を再構成画像に重ねて表示する処理が実行される。この前処理の後、制御部１０１は、表示部１０６に再構成画像を表示する（ステップ１０９）。
＜表示画面例＞
　以下では、ユーザインタフェース画面６００を用いて実現される表示画面例について説明する。
＜画面例１＞
　図１５は、表在血管モードとして機能する表示制御部２０７が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。表在血管モードは、ユーザインタフェース画面６００（図１３参照）において、ユーザが表面削除欄６０１の「表面」ボタンをクリックした場合に実行される。
　図１５に示すように、表在血管モードで動作する表示制御部２０７は、各ボクセルの輝度値の表示に用いる輝度倍率を、体表マスク５００の位置から予め定めた第１の深さ（例えば１０ボクセル）までは等倍に維持し、その後、予め定めた第２の深さ（例えば３０ボクセル）までは連続的に（又は滑らかに）減少させ、予め定めた第２の深さより深い領域では０に設定する。
　表在血管モードで表示する場合、第１の深さと第２の深さで、目視で判断できる十分なコントラスト比が得られればよい。そのため、第２の深さの輝度は、第１の深さの輝度に対して一桁以上低くすることが望ましい。また、第１の深さと第２の深さを輝度強度で区別する以外に、色度を変えても表示することも望ましい。たとえば第１の深さは赤色で、第２の深さは青色で表示するのも一例である。この場合、第１の深さの情報と第２の深さの情報も合わせて表示しながら、組織器官が区別できるので視認性が向上する。
　本実施の形態の場合、「連続的」とは、輝度倍率の変化に相当する関数が連続的に変化することを意味し、デジタル処理の場合のように離散的に値が変化する場合も含む。なお、図１５においては深さを画素数（ボクセル数）で与えているが、何ミリというように距離で与えてもよい。
　図１６は、表在血管モードによる再構成画像の表示例である。図１６の場合、再構成画像は、表在血管だけで構成される。なぜなら、図１５に示すように、第２の深さより深部に位置するボクセルの輝度値には０が乗算されるためである。従って、図１６の表示により、ユーザは、表在血管の状態だけを正確に確かめることができる。なお、図１５においては、輝度倍率を、第１の深さから第２の深さまでの間で連続的に（又は滑らかに）減少させている。このような変化を採用するのは、表示上の違和感を減らすためと表在血管の存在範囲の個人差に対応するためである。
＜画面例２＞
　図１７は、表在除去モード（深部血管モード）として機能する表示制御部２０７が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。表在除去モードは、ユーザインタフェース画面６００（図１３参照）において、ユーザが表面削除欄６０１の「削除」ボタンをクリックした場合に実行される。
　図１７に示すように、表在除去モードで動作する表示制御部２０７は、各ボクセルの輝度値の表示に用いる輝度倍率を、体表マスク５００の位置から予め定めた第１の深さ（例えば１０ボクセル）までは０に維持し、その後、予め定めた第２の深さ（例えば３０ボクセル）までは連続的に（又は滑らかに）増加させ、予め定めた第２の深さより深い領域では１に設定する。図１７においても、深さを画素数（ボクセル数）で与えているが、何ミリというように距離で与えてもよい。本実施の形態では、深さ方向は、体表マスク５００の局所的な法線方向（例えば±５度の範囲）として与える。
　図１８は、表在除去モード（深部血管モード）による再構成画像の表示例である。図１８の場合、再構成画像は、深部血管だけで構成される。なぜなら、図１７に示すように、第１の深さより浅部に位置するボクセルの輝度値には０が乗算されるためである。従って、図１８の表示により、ユーザは、深部血管の状態だけを正確に確かめることができる。なお、図１７においては、輝度倍率を、第１の深さから第２の深さまでの間で連続的に（又は滑らかに）増加させている。このような変化を採用するのは、表示上の違和感を減らすためと深部血管の存在範囲の個人差に対応するためである。
　図１７の場合には、第１の深さより浅部に位置するボクセルの輝度値に乗算する輝度倍率を０に設定しているが、この領域のボクセルに乗算する輝度倍率として０より大きく１未満の値を用いてもよい。この場合、表在血管の表示輝度を低減した状態で、深部血管の両方を観察することができる。
　ただし、その場合でも、浅部に位置するボクセルの輝度値が高いと、深部血管の読影に支障が生じてしまう。このような不都合を避けるためには、浅部に位置するボクセルの表示輝度（本来の輝度値に輝度倍率を乗算した後の輝度）のいずれもが、深部に位置するボクセルの表示輝度（図１７の場合、本来の輝度値）の最大値よりも小さくなるように、表示制御部２０７が、浅部に位置するボクセルに乗算する輝度倍率を変化させることが望ましい。
　また、図１７の場合には、深部に位置するボクセルの輝度値に乗算する輝度倍率を１に設定しているが、深部に位置するボクセルの輝度値を強調表示してもよい。図１９は、表在除去モード（深部血管モード）の場合において深部に位置するボクセルを強調表示するときに表示制御部２０７が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。図１９は、ユーザインタフェース画面６００（図１３参照）において、ユーザが深部強調欄６０３に１より大きい輝度倍率を入れた場合に実行される。もっとも、この機能は、チェックボックスにチェックが入れられた場合に実行されるようにしてもよい。
　図１９の場合、各ボクセルの輝度値の表示に用いる輝度倍率を、体表マスク５００から予め定めた第１の深さ（例えば１０ボクセル）までは０に維持している点では同じであるが、予め定めた第２の深さ（例えば３０ボクセル）における輝度倍率を１より大きい値（例えば１．５）としている。なお、第１の深さから第２の深さの間における輝度倍率は、０から１．５まで連続的に（又は滑らかに）増加する。この場合、深部血管の視認性が一段と高まり、深部血管の読影が容易になる。この技術は、前述したように浅部に位置するボクセルの輝度値に乗算する輝度倍率を０より大きく１未満とする場合にも適用できる。　
＜画面例３＞
　図２０は、底部ノイズ除去モードとして機能する表示制御部２０７が各ボクセルの輝度値に適用する輝度倍率のパターンを説明する図である。底部ノイズ除去モードは、ユーザインタフェース画面６００（図１３参照）において、ユーザが底部除去欄６０４のチェックボックスにチェックを入れた場合に実行される。
　図２０に示すように、底部ノイズ除去モードで動作する表示制御部２０７は、各ボクセルの輝度値の表示に用いる輝度倍率を、体表マスク５００の位置から予め定めた第１の深さａまでは１に維持し、その後、予め定めた第２の深さｂまでは連続的に（又は滑らかに）減少させ、予め定めた第２の深さｂより深い領域では０に設定する。図２０においても、深さを画素数（ボクセル数）で与えているが、何ミリというように距離で与えてもよい。本実施の形態の場合、第１の深さａは、表在血管と深部血管の両方を視認できるように定めている。
　図２１は、底面ノイズを除去する前の再構成画像の表示例を示す図である。図２１に示す再構成画像は、光音響断層イメージング法により乳房を撮像した場合の表示例である。左図は、乳房を人体の正面方向から撮像した画像に相当し、右図は、乳頭を通る断面画像に相当する。図２１の左図では、輝度の高い底部ノイズが表在血管と深部血管に重なって表示されており、血管の読影に支障が生じている。高輝度ボクセルが底部に集中していることは右図より分かる。
　そこで、本実施の形態では、右図に示すように、体表マスク５００の位置を基準に深部方向への第１の深さａを深部血管が現れる深さに応じて定め、第２の深さｂを高輝度ボクセルの最浅位置に定める。ここでの第１の深さａと第２の深さｂは予め初期値として与えてもよいし、画面上で確認しながら与えられるようにしてもよい。
　図２２は、底面ノイズを除去した後の再構成画像の表示例を示す図である。図２２は、底部除去欄６０４のチェックボックスにチェックを入れた場合の表示例に相当する。左図は乳房を人体の正面方向から撮像した画像に相当し、右図は乳頭を通る断面画像に相当する。図２２の左図では、輝度の高い底部ノイズが取り除かれており、表在血管と深部血管の読影が容易になっている。また、高輝度ボクセルが底部から除去されたことは右図より分かる。
＜他の実施形態＞
　前述の実施の形態における画像処理装置１００では医療分野の画像データ、中でも体表面の情報が少ない撮影手法で取得された画像データを処理対象としたが、本発明は、コンピュータシミュレーションなどで扱う画像データであってもよい。本発明を用いれば、外縁部分が明確でない物体の界面を規定する連続面の推定処理を簡易化できる。
　前述の実施の形態では、連続面の推定時にクロスシミュレーションを使用しているが、輝度勾配３００の精度が高い場合には、輝度勾配３００を用いて被検体の界面を規定する連続面を推定してもよい。
　前述の実施の形態では、被検体の体表面を規定する連続面を推定しているが、被検体の内部構造に現れる界面を規定する連続面を推定してもよい。
　光音響断層イメージング法により被検体を撮影してボリュームデータを取得する方法の一例を説明する。光音響断層イメージング法により被検体を撮影する撮像装置１２０は、光照射部、超音波探触子、ＤＡＳ（Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　Ｓｙｓｔｅｍ）、コンピュータ、入力部、および表示部を有してもよい。
　光照射部が光を被検体に照射し、被検体内で超音波が発生する。光に起因して光音響効果により発生する超音波を光音響波とも呼ぶ。超音波探触子は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。
　ＤＡＳは、超音波探触子から出力されたアナログ信号をデジタル信号に変換し、コンピュータに出力する。コンピュータは、ＤＡＳから出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。
　コンピュータは、記憶されたデジタル信号に対して信号処理を行うことにより、被検体に関する情報（被検体情報）の３次元の空間分布を表すボリュームデータを生成する。ボリュームデータは、ユーザやコンピュータからの保存指示に基づいて、コンピュータ内の記憶部や、通信部１８０を介して記憶部１０５に保存される。
　信号データを空間分布としてのボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法（繰り返し演算法）を採用することができる。例えば、タイムドメインでの逆投影法として、Ｕｎｉｖｅｒｓａｌ　ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ　ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ－ａｎｄ－Ｓｕｍ）などが挙げられる。
　光音響断層イメージング法により得られるボリュームデータは、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、及び光吸収係数、被検体を構成する物質の濃度（酸素飽和度など）などの少なくとも１つの被検体情報の空間分布を表すボリュームデータである。
　（光照射部）
　光照射部は、光を発する光源と、光源から射出された光を被検体へ導く光学系とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
　光源が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。
　光源としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ　Ｐａｒａｍｅｔｒｉｃ　Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源１１１としてフラッシュランプや発光ダイオードを用いてもよい。また、光源としてマイクロウェーブ源を用いてもよい。
　光学系には、レンズ、ミラー、プリズム、光ファイバー、拡散板、シャッターなどの等の光学素子を用いることができる。
　生体組織に照射することが許される光の強度は、以下に示す安全規格によって最大許容露光量（ＭＰＥ：ｍａｘｉｍｕｍ　ｐｅｒｍｉｓｓｉｂｌｅ　ｅｘｐｏｓｕｒｅ）が定められている。（ＩＥＣ　６０８２５－１：Ｓａｆｅｔｙ　ｏｆ　ｌａｓｅｒ　ｐｒｏｄｕｃｔｓ、ＪＩＳ　Ｃ　６８０２：レーザー製品の安全基準、ＦＤＡ：２１ＣＦＲ　Ｐａｒｔ　１０４０．１０、ＡＮＳＩ　Ｚ１３６．１：Ｌａｓｅｒ　Ｓａｆｅｔｙ　Ｓｔａｎｄａｒｄｓ、など）。最大許容露光量は、単位面積あたりに照射することができる光の強度を規定している。このため被検体Ｅの表面を広い面積で一括して光を照射することにより、多くの光を被検体に導くことができるので、光音響波を高いＳＮ比で受信することができる。乳房等の生体組織を被検体とする場合、高エネルギーの光のビーム径を広げて照射するために、光学系の射出部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
　なお、光照射部が光学系を備えずに、光源から直接被検体に光を照射してもよい。
　（超音波探触子）
　超音波探触子のトランスデューサを構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、トランスデューサには圧電素子以外の素子を用いてもよい。例えば、トランスデューサには、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ　Ｍｉｃｒｏ－ｍａｃｈｉｎｅｄ　Ｕｌｔｒａｓｏｎｉｃ　Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いた素子などを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。
　光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、超音波探触子として、これらの周波数を検出することのできるものを採用してもよい。
　超音波探触子は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置する構成であってもよい。
　また、超音波探触子が、トランスデューサから出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、超音波探触子が、トランスデューサから出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、超音波探触子がＤＡＳの機能を備えてもよい。
　なお、超音波、音響波、光音響波を様々な角度で検出できるようにするために、理想的には被検体を全周囲から囲むようにトランスデューサを配置してもよい。ただし、被検体が大きく全周囲を囲むようにトランスデューサを配置することが困難である場合は、半球上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。
　なお、トランスデューサの配置や数は被検体に応じて最適化すればよく、本発明に関してはあらゆる超音波探触子を採用することができる。
　超音波探触子と被検体との間の空間は、音響波が伝播することができる媒質で満たしてもよい。この媒質には、被検体や超音波探触子の界面において音響特性が整合し、超音波、音響波、光音響波の透過率が高い材料を採用してもよい。例えば、この媒質には、水、超音波ジェルなどを採用してもよい。
　（ＤＡＳ）
　ＤＡＳは、トランスデューサから出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。ＤＡＳは、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）チップなどで構成されてもよい。ＤＡＳから出力されるデジタル信号は、コンピュータ内の記憶部に記憶される。
　（コンピュータ）
　ボリュームデータ生成手段としてのコンピュータは、演算部、記憶部、制御部を含む。　演算部は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
　記憶部は、ＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部は、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
　制御部は、ＣＰＵなどの演算素子で構成される。制御部は、撮像装置１２０の各構成の動作を制御する。制御部は、入力部からの測定開始などの各種操作による指示信号を受けて、撮像装置１２０の各構成を制御してもよい。また、制御部は、記憶部に格納されたプログラムコードを読み出し、撮像装置１２０の各構成の作動を制御する。例えば、制御部が制御線を介して、光源の発光タイミングを制御してもよい。また、光学系がシャッターを含む場合、制御部が制御線を介して、シャッターの開閉を制御してもよい。
　コンピュータは専用に設計されたワークステーションであってもよい。また、コンピュータの各構成は異なるハードウェアによって構成されてもよい。また、コンピュータの少なくとも一部の構成は単一のハードウェアで構成されてもよい。
　（表示部）
　表示部は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ＦＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータにより得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部は、ボリュームデータに基づいた画像や装置を操作するためのＧＵＩを表示してもよい。表示部は、撮像装置１２０とは別に提供されていてもよい。
　（入力部）
　入力部としては、ユーザが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部をタッチパネルで構成し、表示部を入力部として利用してもよい。
　入力部は、関心領域の情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部に表示される画像が更新されていってもよい。これにより、ユーザは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。また、ユーザが撮像装置１２０の遠隔に設けられた入力部を操作し、入力部を用いて入力された情報を、ネットワークを介して撮像装置１２０に送信してもよい。
　なお、撮像装置１２０の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、撮像装置１２０の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。
　また、撮像装置１２０の各構成間で送受信される情報は、有線または無線でやりとりがなされる。
　画像処理装置１００の制御部１０１は、構造体を含む物体の画像データを取得する手段と、画像データに対する画像処理により、構造体の位置を示す情報を取得する手段と、構造体の位置を示す情報を用いた処理により、物体の界面を推定する手段と、を有していてもよい。また、制御部１０１は、物体の界面を推定するときに、構造体の位置を示す情報に加えて、画像データを用いてもよい。画像データに対する画像処理により構造体の位置を示す情報を取得する処理ステップと、画像データ及び構造体の位置を示す情報に基づいて物体の界面を推定する処理ステップとの複数ステップにより物体の界面を精度良く推定することができる。以下、これらの手段を備える制御部１０１による界面の推定方法の変形例を説明する。
＜変形例１＞
　本変形例では、制御部１０１が、物体のボリュームデータに対する画像処理により、物体中の構造体の位置を決定する方法の具体例を説明する。
　まず、ボリュームデータの画像値の絶対値を評価することにより、構造体（血管）の位置を決定する例を説明する。制御部１０１が閾値を設定し、ボリュームデータの画像値が閾値以上である位置を構造体の位置として決定する。閾値の設定方法としては、操作者が表示部に表示されたボリュームデータの画像を見ながらスライダーバーを動かすことで閾値を設定する方法で説明を行う。ここでスライダーバーは、ディスプレイ上でアプリケーションのＵＩ中に存在し、マウスやキーボード等の操作受付部１０７でバーをスライドできるように構成されている。スライダーバーで閾値を変化させることで、表示部に表示される画像中の構造体以外の背景組織の影響度が変化する。よって、操作者はスライダーバーを操作することにより、構造体の画像が選択的に表示させたときの閾値を指定することができる。操作者は、閾値を指定した後に、同じくＵＩ中に存在する界面推定ボタン等を押下することで、推定計算が開始する。制御部１０１は、このときに表示部に表示されている構造体の位置の情報を取得し、この情報を界面の推定に用いることができる。なお、前述した方法に限らず、制御部１０１は、経験的に得られた血管像を弁別できる閾値を設定し、自動で構造体（血管）の位置を設定してもよい。すなわち、制御部１０１は、予め記憶部に格納された閾値を用いてもよい。
　なお、制御部１０１は、ボリュームデータの画像値の絶対値の評価と同様に、ボリュームデータの画像値の空間微分値を評価することにより構造体の位置を決定してもよい。すなわち、制御部１０１は、ボリュームデータの画像値の空間微分値が閾値以上である位置を構造体の位置として決定してもよい。
　また、制御部１０１は、ボリュームデータに血管抽出アルゴリズムを適用し、抽出された血管の位置を構造体の位置として決定してもよい。例えば、適応的二値化処理により局所的に閾値の値を変化させて血管像を抽出したり、二値化した後にヘッセ行列等で血管強調を行い血管抽出したり、Ｓｎａｋｅ法等の動的輪郭手法や、グラフカット手法を用いて血管抽出を行ってもよい。Ｓｎａｋｅ法とは、領域を囲む閉曲線のエネルギーが最小となる閉曲線を形状界面とする画像処理手法で、エネルギー制約項に、閉曲面の張力、剛性を決める係数があり、これを調整することで血管を抽出することができる。グラフカットも、Ｓｎａｋｅ法同様、画像のセグメンテーション手法の一つで、エネルギー最小化問題として各ピクセル間の輝度のフローの最小カットを算出することで物体中の構造体のセグメンテーションを行うことができる。
　なお、ボリュームデータに対する画像処理により構造体の位置を決定する前に、ボリュームデータに対して平滑化等のノイズを低減するための事前処理を行ってもよい。このような事前処理により、ノイズによる局所的な画像のばらつきを低減することで、より精度よく構造体の位置を推定することができる。平滑化手法は、２次元・３次元の平均化フィルタやバイラテラルフィルタ、Ｔｏｔａｌ　Ｖａｒｉａｔｉｏｎ　Ｍｉｎｉｍｉｚａｔｉｏｎ等の公知な手法を採用してもよい。
＜変形例２＞
　本変形例では、撮影部位を指定すると、撮影部位に対応するクロスシミュレーションのパラメータを決定する例を説明する。
　制御部１０１は、クロスシミュレーションにより界面を推定する際に、クロスシミュレーションのパラメータを設定する。クロスシミュレーションでは、質量ｍやばねの長さ等のパラメータの設定が必要である。このとき、制御部１０１は、撮影部位を示す情報を用いて、クロスシミュレーションのパラメータを設定することができる。
　例えば、撮影部位が乳房の場合、手のひらと比較して、血管像が疎に存在する領域が多い。この場合、クロスシミュレーションの質点の質量を重くしすぎたり、ばねの長さを短くしすぎたりすると、血管が無い領域で推定した界面が実際の界面と異なる可能性がある。そこで、制御部１０１は、撮影部位が乳房であることを示す情報を取得すると、経験的に得られた乳房に適したパラメータ値を設定する。パラメータ値に関しては、表面が凸凹になりすぎないように、クロスシミュレーション自体に表面形状が滑らかになるような拘束条件を追加して計算してもよい。
　なお、複数の撮影部位と各撮影部位に対応するパラメータとの関係を示すテーブルが記憶部に格納されていてもよい。この場合、制御部１０１は、撮影部位を示す情報を取得し、当該撮影部位に対応するパラメータを、テーブルから読み出すことにより取得してもよい。
　また、撮影部位が乳房である場合のクロスシミュレーションの質点の質量は、撮影部位が手のひらである場合よりも軽くすることが好ましい。また、撮影部位が乳房である場合のクロスシミュレーションのばねの長さは、撮影部位が手のひらである場合よりも長くすることが好ましい。
　操作者が操作受付部１０７を用いて撮影部位を指定すると、制御部１０１が操作受付部１０７を介して撮影部位を示す情報を取得することができる。操作者はＵＩを用いて撮影部位を指定してもよい。
＜変形例３＞
　本変形例では、ボリュームデータから界面の推定に悪影響を及ぼすと思われる画像を低減する処理を行う例を説明する。
　ボリュームデータ中に強度の高いアーチファクトや被検体以外の物体による画像が存在すると、界面の推定に悪影響を及ぼす場合がある。例えば、クロスシミュレーションにより界面を推定する場合に、界面以外に強度の高いアーチファクトが存在すると、クロスが当該アーチファクトに引っ掛かり、界面とは異なる位置を界面と定義してしまう可能性がある。
　操作者が表示部に表示されたボリュームデータの画像を見ながら、操作受付部１０７を用いて、界面の推定に悪影響を及ぼすと思われる領域を指定することができる。制御部１０１は、指定された領域の画像値を低減または削除することができる。ここでは手入力で画像値の低減対象を決定したが、制御部１０１がボリュームデータに対する画像処理を行うことにより、画像値の低減対象を決定してもよい。なお、制御部１０１は、その他平滑化等のノイズ低減の事前処理を行った後に、ボリュームデータに対して画像処理を行うことにより、画像値の低減対象を決定してもよい。
＜変形例４＞
　本変形例では、推定された界面を示す情報を、再度ボリュームデータを生成する処理に用いたり、ボリュームデータを補正する処理に用いたりする例を説明する。
　制御部１０１は、推定された界面を示す情報を用いて、音速が変化する境界を決定することができる。制御部１０１は、被検体と音響マッチング材（水等）とが界面を形成している場合、界面の被検体側には被検体の音速を割り当て、界面の音響マッチング材側には音響マッチング材の音速を割り当てる。そして、制御部１０１は、割り当てられた音速分布を用いて再構成処理を行うことにより、ボリュームデータを生成することができる。
　なお、被検体および音響マッチング材の少なくとも一方の音速が未知である場合、推定された界面を音速分布の境界として、界面を隔てた各領域で音速推定を行う。音速推定の方法は公知の手法を用いてもよい。例えば、制御部１０１は、界面を隔てた各領域に音速を割り当て、割り当てられた音速を用いて再構成することにより生成された画像のエッジの総和が最大になる音速を最適音速として推定することができる。
　以上のように、推定された界面を示す情報を用いることにより、音速分布を精度良く設定することができる。
　制御部１０１は、推定された界面を示す情報を用いて、被検体内の光量分布を決定することができる。また、制御部１０１は、被検体内の光量分布を示す情報を用いて、光量のばらつきに由来するボリュームデータの画像値のばらつきを補正することができる。
　例えば、制御部１０１は、照射光の光量プロファイルを推定された界面の位置に投影することにより、界面の位置における光量プロファイルを決定する。制御部１０１は、界面の位置における光量プロファイルを界面における仮想光源の発光光量として設定し、有限要素法等の差分法を用いて、仮想光源から発生した光の伝播を計算する。このようにして、推定された界面を示す情報を用いて、被検体内の光量分布を算出することができる。そして、制御部１０１は、算出された光量分布を用いてボリュームデータの画像のばらつきを補正することにより、光吸収係数や酸素飽和度などのボリュームデータを精度良く生成することができる。
　以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
　１０…画像処理システム、１００…画像処理装置、１０１…制御部、１１０…ファイルサーバ、１２０…撮像装置、２０１…受付部、２０２…並替部、２０３…正規化部、２０４…ノイズ処理部、２０５…輝度勾配算出部、２０６…連続面推定部、２０７…表示制御部、３００…輝度勾配、４００…布モデル、４０１…節点、４０２…バネ、５００…体表マスク、６００…ユーザインタフェース画面、６０１…表面削除欄、６０２…表層領域／深部領域欄、６０３…深部強調欄、６０４…底部除去欄、６０５…ノイズレベル欄、６０６…マスク作成欄、６０７…マスク生成パラメータ欄、６０８…目標割合欄、６０９…クロスシミュレーションパラメータ欄、６１０…停止条件欄、６１１…表面ノード出力欄、６１２…マスク削除ボタン
 

Claims (19)

  1. 　再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、当該ボリュームデータに対応する物体の界面を規定する連続面を推定する推定部
    　を有する画像処理装置。
  2. 　前記連続面を、前記ボリュームデータに重ねて表示する表示制御部を更に有すること
    　を特徴とする請求項１に記載の画像処理装置。
  3. 　各ボクセルの輝度値の表示に用いる輝度倍率を、前記連続面からの深さに応じて変化させる表示制御部を更に有すること
    　を特徴とする請求項１に記載の画像処理装置。
  4. 　前記表示制御部は、浅部に位置する前記ボクセルの表示上の輝度値のいずれもが、深部に位置する当該ボクセルの表示上の輝度値の最大値よりも小さくなるように、前記輝度倍率を変化させること
    　を特徴とする請求項３に記載の画像処理装置。
  5. 　前記推定部は、質量を有する格子点をバネにより相互に連結した格子点群を対象物の上方から重力により自由落下させる物理モデルを、前記輝度勾配の分布に適用することにより前記連続面を推定すること
    　を特徴とする請求項１に記載の画像処理装置。
  6. 　前記推定部は、前記輝度勾配の分布に基づいて各ボクセルの法線方向を求め、当該法線方向を前記物理モデルに作用する抗力の方向として使用すること
    　を特徴とする請求項５に記載の画像処理装置。
  7. 　前記推定部は、予め定めたノイズレベルを超える輝度値を有するボクセルを処理対象として前記連続面を推定すること
    　を特徴とする請求項１に記載の画像処理装置。
  8. 　前記推定部は、ユーザインタフェース画面上に設けられた入力欄を通じて前記ノイズレベルの指定を受け付けること
    　を特徴とする請求項７に記載の画像処理装置。
  9. 　前記ボリュームデータの深部に出現する高輝度のボクセルを表示対象から除去するボタンをユーザインタフェース画面に表示する表示制御部を更に有すること
    　を特徴とする請求項１に記載の画像処理装置。
  10. 　前記ボリュームデータは、光音響断層画像データ、超音波画像データ、ＭＲＩ血管造影画像データのいずれかであること
    　を特徴とする請求項１に記載の画像処理装置。
  11. 　前記推定部は、前記ボリュームデータを構成するボクセルを輝度値の大きさ順に並び替えた場合における低輝度側のボクセル集合が全体に占める割合が予め定める値以下となるときの当該ボクセル集合における最大輝度値で正規化された輝度値について前記輝度勾配を求めること
    　を特徴とする請求項１に記載の画像処理装置。
  12. 　前記予め定める値は、９９％以上９９．９９％以下の値であること
    　を特徴とする請求項１１に記載の画像処理装置。
  13. 　前記物体の界面を規定する連続面から、物体内部に向かってボクセルの色度を変えて表示する機能を有すること
    　を特徴とする請求項１に記載の画像処理装置。
  14. 　前記推定部は、撮影部位を示す情報を取得し、前記撮影部位を示す情報に基づいて、前記格子点の質量および前記バネの長さの少なくとも１つを設定すること
    　を特徴とする請求項５に記載の画像処理装置。
  15. 　構造体を含む物体の画像データを取得する手段と、
    　前記画像データに対する画像処理により、前記構造体の位置を示す情報を取得する手段と、
    　前記構造体の位置を示す情報を用いた処理により、前記物体の界面を推定する手段と、を有する画像処理装置。
  16. 　再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、当該ボリュームデータに対応する物体の界面を規定する連続面を推定する処理と、
    　前記連続面を、前記ボリュームデータに重ねて表示する処理と
    　を有する画像処理方法。
  17. 　構造体を含む物体の画像データを取得する処理と、
    　前記画像データに対する画像処理により、前記構造体の位置を示す情報を取得する処理と、
    　前記構造体の位置を示す情報を用いて、前記物体の界面を推定する処理と、
    　を有する画像処理方法。
  18. 　コンピュータに、
    　再構成画像を表現するボリュームデータを構成するボクセル群の輝度勾配を用い、当該ボリュームデータに対応する物体の界面を規定する連続面を推定させる機能と、
    　前記連続面を、前記ボリュームデータに重ねて表示させる機能と
    　を実行させるためのプログラム。
  19. 　コンピュータに、
    　構造体を含む物体の画像データを取得する機能と、
    　前記画像データに対する画像処理により、前記構造体の位置を示す情報を取得する機能と、
    　前記構造体の位置を示す情報を用いた処理により、前記物体の界面を推定する機能と、
    　を実行させるプログラム。
     
PCT/JP2017/044600 2016-12-12 2017-12-12 画像処理装置、画像処理方法及びプログラム WO2018110558A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17880845.7A EP3552553B1 (en) 2016-12-12 2017-12-12 Image processing apparatus, image processing method, and program
JP2018556695A JP6870001B2 (ja) 2016-12-12 2017-12-12 画像処理装置、画像処理方法及びプログラム
CN201780075602.5A CN110139609B (zh) 2016-12-12 2017-12-12 图像处理装置、图像处理方法和程序
US16/432,162 US10997699B2 (en) 2016-12-12 2019-06-05 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-240504 2016-12-12
JP2016240504 2016-12-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/432,162 Continuation US10997699B2 (en) 2016-12-12 2019-06-05 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2018110558A1 true WO2018110558A1 (ja) 2018-06-21

Family

ID=62558644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044600 WO2018110558A1 (ja) 2016-12-12 2017-12-12 画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US10997699B2 (ja)
EP (1) EP3552553B1 (ja)
JP (1) JP6870001B2 (ja)
CN (1) CN110139609B (ja)
WO (1) WO2018110558A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580032A (zh) * 2019-02-15 2020-08-25 通用电气精准医疗有限责任公司 用于去除磁共振成像中峰值噪声的方法和系统
JP7457096B2 (ja) 2019-11-21 2024-03-27 株式会社東芝 処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639556B (zh) * 2020-05-15 2023-06-20 圣点世纪科技股份有限公司 一种非均匀插值的手指轴旋转指静脉图像纠正方法
CN114071209A (zh) * 2020-08-05 2022-02-18 晶晨半导体(上海)股份有限公司 实时检测视频图像显示区域的方法和装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007301218A (ja) * 2006-05-12 2007-11-22 Toshiba Corp 超音波診断装置、画像データ表示装置及び３次元画像データ生成方法
WO2012140984A1 (ja) * 2011-04-14 2012-10-18 株式会社 日立メディコ 超音波診断装置と超音波画像描出方法
JP2013188461A (ja) 2012-02-13 2013-09-26 Fujifilm Corp 光音響画像化方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363199B2 (en) * 2001-04-25 2008-04-22 Telekinesys Research Limited Method and apparatus for simulating soft object movement
JP4122463B2 (ja) * 2002-07-26 2008-07-23 将吾 畦元 医療用可視画像の生成方法
JP2004141514A (ja) * 2002-10-28 2004-05-20 Toshiba Corp 画像処理装置及び超音波診断装置
KR100500897B1 (ko) * 2003-09-03 2005-07-14 한국전자통신연구원 방향을 갖는 질점과 일반화된 스프링 모델을 이용한비정형 물체의 애니메이션 방법
US7650025B2 (en) * 2005-08-01 2010-01-19 Siemens Medical Solutions Usa, Inc. System and method for body extraction in medical image volumes
EP2415018B1 (en) * 2009-04-03 2017-10-25 Koninklijke Philips N.V. System and method for interactive live-mesh segmentation
WO2012007892A1 (en) * 2010-07-10 2012-01-19 UNIVERSITé LAVAL Image intensity standardization
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
JP6346445B2 (ja) * 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
JP2018536951A (ja) * 2015-10-09 2018-12-13 アウダーチェス オートマサン エ インフォーマティカ インダストリアル エルティーディーエイＡｕｄａｃｅｓ Ａｕｔｏｍａｃａｏ Ｅ Ｉｎｆｏｒｍａｔｉｃａ Ｉｎｄｕｓｔｒｉａｌ Ｌｔｄａ 仮想三次元環境においてマネキンの身体上に衣服を表現する面を作成および編集するためのコンピュータ化された方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007301218A (ja) * 2006-05-12 2007-11-22 Toshiba Corp 超音波診断装置、画像データ表示装置及び３次元画像データ生成方法
WO2012140984A1 (ja) * 2011-04-14 2012-10-18 株式会社 日立メディコ 超音波診断装置と超音波画像描出方法
JP2013188461A (ja) 2012-02-13 2013-09-26 Fujifilm Corp 光音響画像化方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580032A (zh) * 2019-02-15 2020-08-25 通用电气精准医疗有限责任公司 用于去除磁共振成像中峰值噪声的方法和系统
CN111580032B (zh) * 2019-02-15 2022-10-25 通用电气精准医疗有限责任公司 用于去除磁共振成像中峰值噪声的方法和系统
JP7457096B2 (ja) 2019-11-21 2024-03-27 株式会社東芝 処理装置

Also Published As

Publication number Publication date
CN110139609A (zh) 2019-08-16
JPWO2018110558A1 (ja) 2019-10-24
EP3552553A4 (en) 2020-10-28
CN110139609B (zh) 2022-06-03
EP3552553B1 (en) 2023-11-15
EP3552553A1 (en) 2019-10-16
JP6870001B2 (ja) 2021-05-12
US20190287228A1 (en) 2019-09-19
US10997699B2 (en) 2021-05-04

Similar Documents

Publication Publication Date Title
US10997699B2 (en) Image processing apparatus and image processing method
US10136821B2 (en) Image generating apparatus, image generating method, and program
JP6192297B2 (ja) 被検体情報取得装置、表示制御方法、およびプログラム
US20170168150A1 (en) Photoacoustic apparatus, display control method, and storage medium
US10825175B2 (en) Apparatus, method, and medium for reducing pixel values in unnecessary regions in medical images
JP6946307B2 (ja) 情報取得装置および信号処理方法
JP5885437B2 (ja) 光音響装置及び処理方法
JP2017113095A (ja) 光音響装置、情報取得装置、情報取得方法、およびプログラム
EP3329843B1 (en) Display control apparatus, display control method, and program
JP6300977B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP6486056B2 (ja) 光音響装置および光音響装置の処理方法
US10755467B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018126389A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014147825A (ja) 画像生成装置、画像生成方法、及び、プログラム
WO2018230409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6381718B2 (ja) 装置および画像生成方法
JP6016881B2 (ja) 光音響イメージング装置、光音響イメージング方法および光音響イメージング方法を実行するためのプログラム
WO2017006542A2 (en) Apparatus, method, and program of acquiring optical coefficient information
JP7479684B2 (ja) 画像生成方法、画像生成プログラムおよび画像生成装置
US11599992B2 (en) Display control apparatus, display method, and non-transitory storage medium
JP6113330B2 (ja) 装置および画像生成方法
JP2018161467A (ja) 画像処理装置および画像処理方法
JP2016104230A (ja) 被検体情報取得装置及び被検体情報取得方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17880845

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556695

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017880845

Country of ref document: EP