WO2007029467A1 - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置 Download PDF

Info

Publication number
WO2007029467A1
WO2007029467A1 PCT/JP2006/316211 JP2006316211W WO2007029467A1 WO 2007029467 A1 WO2007029467 A1 WO 2007029467A1 JP 2006316211 W JP2006316211 W JP 2006316211W WO 2007029467 A1 WO2007029467 A1 WO 2007029467A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
teacher
input
pixel
image processing
Prior art date
Application number
PCT/JP2006/316211
Other languages
English (en)
French (fr)
Inventor
Takayuki Ishida
Akiko Yanagita
Ikuo Kawashita
Megumi Yamamoto
Mitoshi Akiyama
Original Assignee
Konica Minolta Medical & Graphic, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Medical & Graphic, Inc. filed Critical Konica Minolta Medical & Graphic, Inc.
Priority to JP2007534302A priority Critical patent/JPWO2007029467A1/ja
Priority to US11/991,240 priority patent/US20090169075A1/en
Priority to EP06796522A priority patent/EP1922999B1/en
Publication of WO2007029467A1 publication Critical patent/WO2007029467A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/502—Clinical applications involving diagnosis of breast, i.e. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present invention relates to an image processing method and an image processing apparatus for outputting an output image in which a specific pattern is also emphasized as an input image force.
  • a pattern image of an abnormal shadow to be detected is prepared, and statistics such as an average pixel value and a variance value in the image area of the abnormal shadow, Alternatively, an image feature amount consisting of shape feature amounts such as size and circularity is input to the ANN as teacher data, and if the pattern is close to the feature of the abnormal shadow image, the ANN is learned to output an output value close to 1.
  • a pattern image of the shadow of normal tissue this is the normal shadow and ⁇ ⁇
  • train the ANN to output an output value close to 0 if the pattern is close to the characteristics of the normal shadow image. .
  • CAD detects abnormal shadow candidates based on output values obtained by such a method.
  • the image of the non-turn recognition target is divided into certain areas, and the pixel value of each pixel in the area is input as an input value.
  • An ANN method has been developed that outputs a continuous value as a pixel value of a pixel of interest located at the center of the region (see, for example, Patent Documents 1 and 2).
  • a pixel is compared with the characteristics of the pixels that make up the specific pattern using information about its surrounding pixels, and if it is close to the characteristics of the pixels that make up the specific pattern, a value close to “1” is set. If not, ANN learning is performed to output a value close to “0”. In other words, an image in which the specific pattern is emphasized by the output value from the ANN is formed.
  • Patent Document 1 U.S. Patent No. 6819790
  • Patent Document 2 US Patent No. 6754380
  • the present invention has been made in view of the above-described problems, and an object thereof is to provide an image processing method and an image processing apparatus that have high versatility and learning accuracy and have a high degree of design freedom.
  • the above object of the present invention has been achieved by the following constitution.
  • the invention described in (1) is a teacher image having a specific pattern in an image processing method, and includes a teacher input image input to a discriminator and a teacher output image corresponding to the teacher input image.
  • the invention described in (2) is the image processing method described in (1), wherein in the learning step, pixel values of pixels constituting the teacher input image are input to the discriminator, and the teacher output The classifier is trained using the pixel values of the pixels constituting the image as the learning target value of the classifier for the input.
  • the teacher input image includes a plurality of teachers created by performing image processing on the teacher input image.
  • a feature image is included, and in the learning step, a pixel value of a target pixel existing at a corresponding position in each of the plurality of teacher input images is input to the classifier, and the target output pixel corresponds to the target pixel in the teacher output image
  • the pixel value of the pixel is used as the learning target value of the discriminator for the input.
  • the invention described in (4) is characterized in that, in the image processing method described in (3), a plurality of the teacher feature images are created by different image processing.
  • the invention described in (5) is the image processing method described in (4), wherein in the enhancement step, a plurality of feature images are created by performing different image processing on the processing target image, and the plurality of feature images
  • the pixel value of the pixel of interest at the position corresponding to each of the processing target images including is input to the discriminator, and the input value output value output by the discriminator corresponds to the pixel of interest.
  • An enhanced image is formed as a pixel value of a pixel to be processed
  • the invention described in (6) is the image processing method according to any one of (1) to (5), wherein the teacher output image is an image created by processing the teacher input image. It is a feature.
  • the invention described in (7) is the image processing method according to any one of (1) to (5), wherein the teacher output image is pattern data obtained by functioning the specific pattern. That Features.
  • the invention described in (8) is characterized in that in the image processing method described in (6) or (7), the pixel value of the teacher output image is a continuous value.
  • the invention described in (9) is characterized in that, in the image processing method described in (6) or (7), pixel values of the teacher output image are discrete values.
  • the invention described in (10) is the image processing method described in any one of (3) to (5).
  • the teacher feature images are grouped according to the characteristics of image processing performed on the teacher feature images, and the classifier is learned according to the group.
  • the invention described in (11) is characterized in that in the image processing method described in any one of (1) to (10), the teacher image is a medical image.
  • the invention described in (12) is characterized in that, in the image processing method described in (11), the teacher image is a partial image extracted by medical image force.
  • the invention described in (13) is characterized in that in the image processing method described in (11) or (12), the specific pattern is a pattern showing an abnormal shadow.
  • the invention described in (14) is the image processing method described in any one of (1) to (13), including a detection step of performing an abnormal shadow candidate detection process using the enhanced image. It is characterized by including.
  • the invention described in (15) is a teacher image having a specific pattern in the image processing apparatus, and is a teacher input image input to the discriminator and a teacher output image corresponding to the teacher input image.
  • a learning unit that causes the classifier to learn the specific pattern using a teacher image
  • an enhancement unit that creates an emphasized image in which the specific pattern emphasizes the specific pattern using the classifier.
  • the invention described in (16) is the image processing device described in (15), wherein the learning means inputs pixel values of pixels constituting the teacher input image to the classifier, and the teacher teacher The classifier is trained using the pixel values of the pixels constituting the output image as the learning target value of the classifier for the input.
  • the invention described in (17) is the image processing device described in (15) or (16), wherein
  • the teacher input image includes a plurality of teacher feature images created by performing image processing on the teacher input image, and the learning unit is a pixel of interest existing at a corresponding position in each of the plurality of teacher input images. Is input to the discriminator, and the pixel value of the pixel corresponding to the target pixel in the teacher output image is set as the learning target value of the discriminator for the input.
  • the invention described in (19) is the image processing device described in (18), wherein the enhancement unit performs different image processing on the processing target image to create a plurality of feature images, and the plurality of feature images.
  • the pixel value of the pixel of interest at the position corresponding to each of the processing target images including is input to the discriminator, and the input value output value output by the discriminator corresponds to the pixel of interest.
  • An enhanced image is formed as a pixel value of a pixel to be processed
  • the invention described in (20) is the image processing device described in any one of (15) to (19), wherein the teacher output image is created by processing the teacher input image. It is characterized by being an image.
  • the invention described in (21) is the image processing device described in any one of (15) to (19), wherein the teacher output image includes a specific pattern included in the teacher input image. It is characterized by functionalized pattern data.
  • the invention described in (22) is characterized in that, in the image processing device described in (20) or (21), pixel values of the teacher output image are continuous values.
  • the invention described in (23) is the image processing device described in (20) or (21), wherein the pixel value of the teacher output image is a discrete value.
  • the invention described in (24) is the image processing device described in any one of (17) to (19), in which the learning unit is configured to have characteristics of image processing performed on the teacher feature image. Each teacher feature image is grouped and learning of the classifier is performed according to the group.
  • the invention described in (25) is provided in the image processing device described in any one of (15) to (24).
  • the teacher image is a medical image.
  • the invention described in (26) is characterized in that, in the image processing device described in (25), the teacher image is a partial image extracted by medical image force.
  • the invention described in (27) is the image processing device described in (25) or (26), wherein the specific pattern is a pattern showing an abnormal shadow.
  • the invention described in (28) is an abnormal shadow candidate for performing detection processing of an abnormal shadow candidate using the enhanced image in the image processing device described in any one of (15) to (27).
  • a detection means is provided.
  • the teacher output image can be intentionally created according to the emphasized! It is possible to improve the degree of freedom in designing the vessel.
  • the learning method of the discriminator can be intentionally adjusted according to the group of image processing suitable for pattern recognition of the specific pattern, It is possible to construct a classifier that is highly sensitive to a specific pattern.
  • FIG. 1 is a diagram showing a functional configuration of an image processing apparatus in the present embodiment.
  • FIG. 3 is a diagram showing an example of a teacher feature image.
  • FIG. 4 is a diagram showing an example of a teacher input image and a teacher output image.
  • FIG. 5 is a diagram for explaining learning of a classifier.
  • FIG. 6 is a diagram plotting normal values of teacher input images.
  • FIG. 7 is a diagram showing another example of a teacher output image.
  • FIG. 8 is a flowchart for explaining enhancement processing executed by the image processing apparatus.
  • FIG. 9 is a diagram showing an example of creating an emphasized image from a processing target image by a discriminator.
  • FIG. 10 is a diagram showing an example of an emphasized image.
  • FIG. 11 is a diagram showing an example of an emphasized image.
  • FIG. 13 is a diagram showing an example of an emphasized image.
  • FIG. 14 is a diagram showing another configuration example of the discriminator.
  • FIG. 15 is a diagram for explaining pattern enhancement by group learning.
  • an abnormal shadow pattern is recognized as a specific pattern by the discriminator with a medical image force, and an enhanced image in which this is emphasized is output.
  • the specific pattern refers to an image having a characteristic shape, pattern, size, color, density and the like.
  • FIG. 1 shows an apparatus configuration of an image processing apparatus 10 to which the present invention is applied.
  • the image processing apparatus 10 generates an enhanced image in which a medical image force obtained by examination imaging also emphasizes an abnormal shadow pattern, and detects an abnormal shadow candidate region from the enhanced image.
  • the abnormal shadow pattern refers to an image of a lesion portion that appears on a medical image.
  • Abnormal shadows have different power depending on the type of medical image and the type of lesion.
  • the chest X-ray image has a low density (white) and a certain size. Appears in a roughly circular shade pattern with a thickness.
  • an abnormal shadow pattern often has a characteristic shape, size, density distribution, and the like, and can be distinguished from other image regions based on such characteristics.
  • this image processing apparatus 10 is obtained by displaying a medical image stored in the server in order to be attached to an image generation apparatus that generates a medical image, a server that stores and manages medical images, and a doctor's interpretation.
  • Various devices such as a radiogram interpretation terminal displayed on the means may be provided in a medical image system connected via a network.
  • the present invention is realized by the image processing apparatus 10 alone will be described.
  • the functions of the image processing apparatus 10 are distributed to the constituent devices of the medical image system, and the present invention is applied to the entire medical image system. It may be realized.
  • the image processing apparatus 10 includes a control unit 11, an operation unit 12, a display unit 13, a communication unit 14, a storage unit 15, an image processing unit 16, an abnormal shadow candidate detection unit 17, and learning data. It is configured with memory 18.
  • the control unit 11 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like.
  • the control unit 11 stores various control programs stored in the storage unit 15 and performs various calculations. At the same time, it supervises the processing operations in each part 12-18. To control.
  • the operation unit 12 includes a keyboard, a mouse, and the like. When these are operated by an operator, an operation signal corresponding to the operation is generated and output to the control unit 11. Note that a touch panel configured integrally with the display in the display unit 13 may be provided.
  • the display unit 13 includes a display unit such as an LCD (Liquid Crystal Display), and various operation screens, medical images, and emphasized images thereof are displayed on the display unit according to instructions from the control unit 11. Display information.
  • LCD Liquid Crystal Display
  • the communication unit 14 includes a communication interface and transmits / receives information to / from an external device on the network. For example, the communication unit 14 performs a communication operation such as receiving a medical image generated from the image generation device and transmitting an emphasized image created by the image processing device 10 to the interpretation terminal.
  • the storage unit 15 includes various control programs such as a control program used in the control unit 11, a learning process used in the image processing device 16, an enhancement process, and an abnormal shadow candidate detection process used in the abnormal shadow candidate detection unit 17.
  • control programs such as a control program used in the control unit 11, a learning process used in the image processing device 16, an enhancement process, and an abnormal shadow candidate detection process used in the abnormal shadow candidate detection unit 17.
  • parameters such as parameters necessary for execution of each program and data such as processing results are stored.
  • the image processing unit 16 performs various types of image processing (gradation conversion processing, sharpness adjustment processing, dynamic range compression processing, etc.) on the processing target image in cooperation with the processing program stored in the storage unit 15. Apply. Further, the image processing unit 16 includes a discriminator 20, performs learning processing and enhancement processing described later, causes the discriminator 20 to learn a specific pattern by the learning processing, and emphasizes the discriminator 20 that has performed learning. In the process, an enhanced image is created from the image to be processed.
  • image processing unit 16 includes a discriminator 20, performs learning processing and enhancement processing described later, causes the discriminator 20 to learn a specific pattern by the learning processing, and emphasizes the discriminator 20 that has performed learning. In the process, an enhanced image is created from the image to be processed.
  • the abnormal shadow candidate detection unit 17 performs an abnormal shadow candidate detection process on the processing target image and outputs the detection result.
  • an enhanced image generated by enhancement processing may be used as the processing target image, or an unprocessed medical image may be used.
  • an emphasized image is used as a processing target image of the abnormal shadow candidate detection unit 17, since the abnormal shadow is selectively emphasized in the enhanced image, it is generally known as an algorithm for the abnormal shadow candidate detection process. It is possible to use a combination of relatively simple image processing techniques such as threshold processing and labeling processing. Also, abnormal shadows for detection purposes A known algorithm may be arbitrarily selected according to the species. For example, in a breast image obtained by imaging a breast part, abnormal shadows such as tumors and microcalcification clusters are detected, but in the case of a tumor, the shadow pattern is circular and the density gradually decreases toward the center. It has a Gaussian distribution of density change.
  • an abnormal shadow pattern of a tumor is also detected using a morphological filter or the like for breast image power.
  • microcalcification clusters appear on the breast image as low-concentration shadows that have a substantially conical density change (clustered), so that abnormal shadow patterns with this density characteristic are detected.
  • a triple ring filter is applied.
  • the triple ring filter has three ring filter forces in which the intensity component and the direction component of the concentration gradient when the concentration change shows an ideal cone shape are determined in advance. Composed. First, a representative value of the intensity component and the direction component of the pixel value force density gradient on each area of each ring filter is obtained around a certain target pixel. Then, based on the difference between the representative value and the intensity component and direction component of the density gradient predetermined for each ring filter, an image area having a density change close to a conical shape is detected as a candidate area.
  • the learning data memory 18 is a memory that stores teacher data necessary for learning by the discriminator 20.
  • the teacher data is data for causing the discriminator 20 to learn a specific pattern.
  • a teacher image including an abnormal shadow pattern is used as teacher data.
  • the teacher image includes a teacher input image input to the classifier 20 for learning training and a teacher output image corresponding to the teacher input image. Each of these teacher images will be described later together with the learning method of the classifier 20.
  • This learning process is a process executed when the image processing unit 16 reads a learning processing program stored in the storage unit 15.
  • a medical image including an abnormal shadow pattern is prepared in advance for learning and is stored in the learning data memory 18 as a teacher image.
  • a medical image used as teacher data is input (step Al).
  • a medical image (teacher image) stored in the learning data memory 18 is read.
  • a specific pattern for which the input medical image force is to be learned that is, a partial image region including an abnormal shadow pattern is extracted (step A2).
  • this partially extracted image is referred to as a partial image.
  • the extraction of the partial image is configured such that the doctor interprets the teacher image, visually determines an area including the abnormal shadow pattern, and designates the area by the operation unit 12, and the image processing apparatus 10 responds to the designation operation.
  • the image of the area corresponding to the specified area is extracted from the teacher image.
  • a plurality of partial images can be extracted from one teacher image.
  • a plurality of different types of image processing is performed on the partial image to create a teacher feature image (step A3).
  • the created teacher feature image is stored in the learning data memory 18.
  • This teacher feature image is used as a teacher input image. That is, the teacher input image includes an original medical image prepared for learning (hereinafter referred to as an original image to be distinguished from the teacher feature image) and a teacher feature image.
  • the teacher input image composed of the original image and the teacher feature image is input to the classifier 20 for learning training of the classifier 20.
  • Examples of the types of image processing include primary differentiation processing, secondary differentiation processing, and the like in the X and Y directions.
  • image processing using a first-order differential filter such as a Sobel filter or a Prewitt filter
  • image processing for deriving features of a second-order differential system using eigenvalues of a Laplacian filter or Hessian matrix, or the like may be used.
  • Calculate the calculated value or sign of curvature such as average curvature, Gaussian curvature, etc. obtained for the density distribution curved surface of the partial image, or image the amount of Shapelndex, Curvedness, etc. defined based on the curvature. It is also possible.
  • a frequency component image may be created by separating the partial image into a plurality of frequency bands using wavelet transform processing or various unsharp color processing. / ⁇ .
  • pre-processing may be performed prior to the above-described various image processing! Examples of pre-processing include tone conversion using linear or nonlinear tone conversion characteristics, background trend correction that removes background density gradients by using polynomial approximation, band-pass filters, etc. Processing and the like.
  • FIG. 3 shows an example of each teacher feature image obtained by the image processing.
  • image 1 is an original image
  • images 2 to 19 are teacher characteristic images subjected to various image processing.
  • Teacher feature images 2 to 5 have been subjected to image processing corresponding to primary differentiation, image 2 is a primary differential image in the X direction, image 3 is a primary differential image in the y direction, and image 4 is the output of the Sobel filter (edge enhancement), and image 5 is the output of the Sobel filter (edge angle).
  • Teacher Features Images 6 to 9 have undergone image processing equivalent to the second derivative, image 6 is the output of the Laplacia n filter, image 7 is the second derivative image in the X direction, and image 8 is the second derivative image in the y direction.
  • the second derivative image, image 9, is the second derivative image in the xy direction.
  • Teacher feature images 10 and 11 are encoded curvatures
  • image 10 is an encoded image with average curvature
  • image 11 is an encoded image with Gaussian curvature.
  • the image 12 is a smoothed image (3 ⁇ 3)
  • the image 13 is a standard deviation image (3 ⁇ 3).
  • Teacher feature images 14 to 19 are classified for each frequency component by Wavelet transform processing.
  • Image 14 is a high-frequency component image of Wavelet (Levell-3)
  • image 15 is a high-frequency component of Wavelet (Level2 4).
  • Image 16 is the medium frequency component image of Wavelet (Level3-5)
  • Image 17 is the medium frequency component image of Wavelet (Level4-6)
  • Image 18 is the low frequency component image of Wavelet (Level5-7)
  • Image 19 Is a low-frequency component image of Wavelet (Level 6-8).
  • the teacher feature images 2 to 19 can be grouped according to similar properties according to the characteristics of the image processing.
  • a teacher output image is created (step A4).
  • the teacher output image is an image that is a learning target for the input of the teacher input image to the classifier 20.
  • FIG. 4 shows an example of the teacher input image and the teacher output image.
  • the teacher output image f2 shown in Fig. 4 is created corresponding to the teacher input image (original image) indicated by the symbol fl, and the area corresponding to the abnormal shadow pattern is set to "1". Set the area to 0 An example of a teacher output image created by artificially processing by binarizing is shown.
  • the region corresponding to the abnormal shadow pattern is designated by the operation unit 12 after the doctor determines the region in the teacher input image fl.
  • the image processing apparatus 10 creates a teacher output image in which the pixel value of the designated area is set to “0” and the pixel values of the other areas are set to “1”.
  • the discriminator 20 is a hierarchical ANN as shown in FIG.
  • Hierarchical ANNs receive input signals and receive input signals that are distributed to other -Eurons-an input layer that is -European force, an output layer that consists of output neurons that output output signals to the outside, and inputs and outputs It exists in the middle of the Nylon-and consists of an intermediate layer consisting of Eurons. The neurons in the middle layer are connected to all of the input layer-Euron, and the output layer-Euron is connected to all of the intermediate layer-Euron.
  • a target pixel is set for a teacher input image (original image), and a pixel value of the target pixel is acquired. Further, pixel values of pixels corresponding to the target pixel of the original image are acquired from a plurality of teacher feature images and teacher output images created from the original image. Then, each pixel value acquired from the original image and the teacher feature image is input to the discriminator 20 as an input value, and the pixel value acquired from the teacher output image is set to the discriminator 20 as a learning target value, Learning of the discriminator 20 is performed so that a value close to the learning target value is output from the input value (step A5).
  • the pixel value used as the input value to the discriminator 20 is a value obtained by normalizing the value from 0 to 1, and the standard of the input value of each teacher input image having different characteristics is constant.
  • Figure 6 shows A diagram is shown in which the values obtained by normalizing the pixel values in a certain pixel of the teacher input image (original image 1 shown in FIG. 3, each teacher feature image 2 to 19) are plotted.
  • each normalized value connected by a dotted line indicates a normalized value of the pixels constituting the normal tissue image pattern (hereinafter referred to as normal shadow pattern ⁇ ⁇ ⁇ ⁇ ) in the teacher input image, and is represented by a solid line.
  • Each connected normalization value indicates the normal pixel value of the pixels constituting the abnormal shadow pattern.
  • the learning of the discriminator 20 is first obtained from the output value obtained from the discriminator 20 and the teacher output image as a result of inputting each pixel value of the teacher input image to the discriminator 20 as shown in FIG.
  • the calculated pixel value is compared and the error is calculated.
  • the output value output from the discriminator 20 is a continuous value from 0 to 1.
  • the parameters of the bias function in the intermediate layer are optimized so that the error is reduced.
  • a learning method for performing optimization for example, an error back propagation method or the like can be used.
  • the teacher output image is not limited to the binary (discrete value) shown in FIG. 7 (a), and a multi-value (continuous value) image is created as shown in FIG. 7 (b). May be.
  • a multi-valued image can be created by creating a binary image shown in FIG. 7 (a) and then subjecting it to a non-sharpening process.
  • pattern data that is a function of an abnormal shadow pattern instead of an image may be created.
  • pattern data (see Fig. 7 (c) and (d)) is created with output values set for each pixel position.
  • the pattern data shown in Fig. 7 (c) is an output value that is a discrete value, and the output value (vertical axis) of "0" or "1" set corresponding to the pixel position (horizontal axis). Show.
  • the pattern data shown in Fig. 7 (d) is a series of output values. Yes, output values “0” to “1” set corresponding to the pixel positions are shown.
  • 7 (c) and 7 (d) are diagrams showing setting data for a certain line. Actually, such output value setting data corresponds to the pixel positions in the main scanning and sub scanning directions. It is set in two dimensions.
  • the output value of the pattern data is a discrete value
  • an effect of forcibly increasing the degree of enhancement inside the region of the abnormal shadow pattern in the enhanced image is expected.
  • the output value of the pattern data is a continuous value
  • the change in the output value from the center to the periphery of the shadow pattern is Gaussian, so the size of the abnormal shadow pattern is different from that learned. It can be expected to be able to cope to some extent. The same can be said for the images shown in Figs. 7 (a) and 7 (b).
  • an enhancement process in which an image with a medical image force to be processed is also created by the discriminator 20 that has completed learning will be described with reference to FIG. Similar to the learning process, the enhancement process is realized by the cooperation of the image processing unit 16 and the enhancement process program stored in the storage unit 15.
  • a medical image to be enhanced is input (step Bl). That is, the medical image to be processed stored in the storage unit 15 is read by the image processing unit 16.
  • different image processes are performed on the medical images to create a plurality of feature images (step B2).
  • the image processing performed at this time is of the same type and the same processing conditions as the image processing when creating the teacher feature image.
  • a target pixel is set in the original medical image (referred to as an original image in order to distinguish this from the feature image), and the pixel value of the target pixel is acquired.
  • the pixel value of the pixel at the position corresponding to the target pixel of the original image in the feature image is acquired, and the normalized value obtained by normalizing the pixel value acquired from the original image and the feature image to 0 to 1 Is input to the identifier 20 (step B3).
  • the output value is set as a pixel value of a pixel constituting the enhanced image (step B4).
  • FIG. 9 shows the relationship between the input value and the output value by the discriminator 20.
  • the output value from the discriminator 20 is set to the original image in the enhanced image. It is set as the pixel value of the pixel corresponding to the position of the target pixel.
  • Step B5 If not scanned (Step B5; N), the position of the target pixel is shifted by one pixel in the main scanning direction (Step B6), and the processing of Steps B3 and B4 is performed for the target pixel newly set by the shift. Repeated.
  • step B7 When the pixel of interest is scanned (main scan and sub-scan) over the entire image area (step B5; Y), the emphasis is configured with the output value from the discriminator 20 as the pixel value. An image will be output (step B7).
  • the output value from the discriminator 20 is output as a continuous value of "0" to "1", when outputting an emphasized image to a display device or a film, etc., depending on these output means
  • the output value is converted to luminance level or density level and output.
  • output value “0” is the lowest luminance level K (black on the display)
  • output value “1” is the highest luminance level K.
  • FIG. 10 is a diagram illustrating an example of an emphasized image.
  • the processing target image gl shown on the left side of FIG. 10 is a chest X-ray image (original image).
  • the enhanced image g2 shown on the right side is output. It was.
  • An abnormal shadow pattern exists at the position indicated by the arrow in the processing target image gl, but it is difficult to discriminate it on the processing target image gl.
  • the enhanced image g2 it can be seen that the abnormal shadow pattern clearly appears as a low-density round pattern and is emphasized compared to other image areas.
  • a partial image h3 including an abnormal shadow pattern (shadow region indicated by an arrow) is extracted as a teacher input image from the processing target image hi of the chest CT image, and this teacher
  • the trained discriminator 20 uses the emphasized image from the processing target image hi. h2 is created.
  • the processing target image hi is an image obtained by extracting only the lung field region by image processing. In this processing target image hi, there are many normal shadow patterns that are easily confused with abnormal shadows of nodules such as blood vessels, but in the enhanced image h2, the characteristics of these normal shadow patterns are reduced, and only the abnormal shadow patterns are displayed. It can be seen that it has been successfully emphasized.
  • a low-quality processing target image jl with coarse graininess is prepared, and a teacher output image j2 indicating an abnormal shadow pattern is created from the processing target image jl. Learned. Then, when the processing target image jl was input again to the learned discriminator 20, an enhanced image j3 as shown in FIG. 12 was output. As can be seen from the emphasized image j3, the noise that was prominent in the processing target image jl is reduced, and only the abnormal shadow pattern is emphasized.
  • the identification of the present embodiment is performed on a test object kl in which a plurality of circular low-density simulated patterns are set with various sizes and contrasts.
  • Apparatus 20 was applied.
  • the test object kl is provided with a low-density lattice pattern in addition to the simulated pattern.
  • the discriminator 20 uses an arbitrary simulated pattern in the test object as a teacher input image k2, and creates and learns a teacher output image k3 corresponding thereto.
  • the teacher output image k3 is a binary image.
  • an enhanced image k4 as shown in FIG. 13 (b) was obtained.
  • FIG. 13 (b) As shown in FIG.
  • each simulated pattern in the test object kl has the same characteristics as the simulated pattern included in the teacher input image k2 even when the lattice patterns overlap in a manner different from the lattice pattern included in the teacher input image k2. It can be seen that the image area can be emphasized. In addition, it can be seen that the simulated patterns of any size are all emphasized on the enhanced image k4, and can correspond to a certain extent to the size of the pattern to be enhanced.
  • the created enhanced image is output from the image processing unit 16 to the abnormal shadow candidate detection unit 17, and is subjected to the abnormal shadow candidate detection process by the abnormal shadow candidate detection unit 17.
  • information on the detected abnormal shadow candidate for example, a mark such as an arrow indicating the position of the candidate area of the abnormal shadow). Force image
  • a plurality of images are created from one image and those pixel values are input to the discriminator 20, so that a large number of input values and corresponding outputs are output from one learning image. Values can be obtained, and these input values have various characteristics and can be used for multifaceted learning. Therefore, the learning accuracy of the discriminator 20 can be improved with a small number of teacher data, and the pattern recognition ability of the discriminator 20 can be improved.
  • the discriminator 20 can be learned using pixel values obtained from the teacher feature image subjected to various image processing, that is, feature quantities indicating various features, and multifaceted pattern learning is performed. be able to. Thereby, the pattern recognition accuracy of the discriminator 20 can be improved.
  • the pattern recognition accuracy can be adjusted depending on which image processing image that has been subjected to image processing is used during learning. Therefore, an enhanced image is created specifically for a specific abnormal shadow pattern by intentionally selecting the teacher feature image (image processing applied to the original image) to be used according to the abnormal shadow pattern to be detected. And the design of identifier 20 The reason can be improved.
  • an emphasis process for emphasizing the abnormal shadow pattern is performed, and by emphasizing the abnormal shadow pattern in advance, the characteristics of the normal shadow pattern are lost.
  • the number of false positive candidates can be greatly reduced. Therefore, the detection accuracy of abnormal shadow candidates can be improved.
  • ANN is applied as the discriminator 20
  • pattern recognition is performed by pattern learning based on teacher data such as a discriminator using a discriminant analysis method, fuzzy inference, support vector machine, or the like. Any classifier that can do this is applicable.
  • the output value output from the discriminator 20 is binary.
  • a lung field region is extracted from the medical image power obtained by photographing the chest.
  • the present invention may be applied to segmentation (region extraction) processing for extracting and recognizing a specific region.
  • a pattern of interstitial shadows included in a medical image obtained by photographing a chest may be used. It may be used for classification.
  • the abnormal shadow candidate detection process is applied in the detection process after the enhanced image is generated in the enhancement process.
  • an abnormality is detected from an unprocessed medical image by a known detection algorithm
  • the pattern recognition of the present invention was used in the discrimination stage to discriminate them into true positives (true abnormal shadow candidates) and false positives (candidates with low certainty of abnormal shadows). It is also possible to perform discrimination and detect the final abnormal shadow candidate.
  • the purpose is to emphasize a relatively small pattern called an abnormal shadow! Therefore, the partial image obtained by partially extracting the medical image power is used as a teacher image! /, Force Not limited to this, the entire medical image may be a teacher image depending on the purpose. For example, when the present invention is applied to segmentation, a relatively large region such as an organ is often extracted. Therefore, it is better to use the entire medical image that does not require partial image extraction as the teacher image.
  • the number of Eurons in the output layer is 1, that is, the number of teacher output images used in the learning process is one for one partial image.
  • the number may be 2 or more, that is, a plurality of teacher output images may be used.
  • the pattern can be emphasized as a teacher output image.
  • the emphasis process three emphasis images are output by inputting one image to be processed. Therefore, the degree of emphasis is the strongest among them! ⁇ Select the emphasis image and select the pattern corresponding to the emphasis image.
  • the type is the classification result.
  • an index of the degree of emphasis for example, an average value of pixel values of the emphasized image or a statistic such as a pixel value that gives a predetermined cumulative histogram value can be used.
  • the teacher feature image has a pattern that can be easily recognized depending on the characteristics of the image processing
  • the teacher feature image is grouped according to the characteristics of the image processing, and the classifier is trained according to the group. It is good.
  • the following five groups are created using images 1 to 19. That is, it consists of group 1 consisting of image 1 and images 2 to 5 of the first order differential system, group 2 consisting of images 1 and 6 of the second order differential system 6, images 1 and images 10 and 11 of the curvature system. Group 3, image 1 and group 4, consisting of images 12, 13 using statistics, and group 5, consisting of image 1 and wavelet images 14-19.
  • the original image 1 is included in all groups.
  • Learning of the classifier is performed according to these groups (hereinafter referred to as group learning).
  • group learning Learning of the classifier is performed according to these groups (hereinafter referred to as group learning).
  • a separate discriminator (primary discriminator) is prepared for each group, and the output value output from the primary discriminator force of each group is further input to the secondary discriminator.
  • An embodiment is described in which a hierarchical classifier group that obtains a comprehensive output value is constructed, and learning of the classifier is performed in two stages. First, each primary classifier is trained using the teacher input images of each group. In this case, learning is performed by comparing the output value obtained from the primary discriminator with the pixel value of the teacher output image. Next, a primary enhanced image is created by applying the same image as the teacher input image as a processing target image to each primary classifier that has completed learning. Next, the five types of primary enhanced images created are used as teacher input images to learn the secondary classifier.
  • a learning is performed by comparing the output value obtained from the secondary discriminator with the pixel value of the teacher output image.
  • both the primary classifier and the secondary classifier are shown in the ANN example. Different classifiers (for example, the primary classifier is based on ANN and the secondary classifier is based on discriminant analysis). It is good.
  • teacher feature images indicated by image numbers 2 to 19 in Fig. 3 are created from the original image ml shown in Fig. 15 (a), and each image 1 to 19 is grouped into the above five groups.
  • group learning of the secondary and secondary classifiers is performed, when the original image ml is input to this learned classifier, the primary enhanced images m2 to m6 as shown in Fig. 15 (b) Output from the discriminator.
  • the primary enhanced images m2 to m6 are images in which different features are enhanced.
  • a secondary enhanced image n3 as shown in FIG. 16 is obtained.
  • Fig. 16 shows a case where learning is performed using one discriminator for the entire image without grouping the original image nl and the original image nl in addition to the secondary enhanced image n3 (shown in the embodiment).
  • Learning by method shows an enhanced image n2.
  • the secondary enhanced image n3 obtained by group learning shows different characteristics from the enhanced image n2 obtained by full image learning.
  • Fig. 16 shows the learning result of a simple circular pattern. In the case of group learning, the sensitivity to the pattern increases as the pattern to be learned becomes more complex, and the effect of group learning is expected to increase.
  • a single discriminator is used as shown in FIG. It is also possible to learn the classifier 20 at the same time. Specifically, the coupling coefficient between the input layer and the intermediate layer is restricted, and the coupling of a specific combination is relatively weakened or the coupling is cut off. For example, the middle layer -Euron 1 is restricted so that the input layer corresponding to the teacher feature image that does not belong to group 1 is weakened, and the middle layer -Euron 2 The coupling coefficient is limited so that the coupling of the input layer corresponding to the teacher feature image that does not belong to 2 is weak. Under such conditions, learning of the discriminator 20 is executed.

Abstract

　本発明は、高い汎用性及び学習精度を有し、かつ設計の自由度が高い画像処理方法及び画像処理装置を提供する。この画像処理方法及び画像処理装置においては、まず、学習時に、教師入力画像として準備された医用画像に異なる複数の画像処理をそれぞれ施して複数の教師特徴画像を作成する。また、当該医用画像から教師出力画像を作成する。そして、複数の教師特徴画像を含む教師入力画像の同一位置における画素の画素値を識別器２０に入力し、識別器２０から得られた出力値と、教師出力画像における前記画素位置の画素の画素値との誤差が縮小されるように識別器２０の学習を行う。そして、強調時に、処理対象画像から特徴画像を作成し、これら複数の画像の同一位置における画素の画素値を識別器２０に入力し、この識別器２０から出力された出力値を前記画素位置における画素の画素値として設定した強調画像を出力する。

Description

明 細 書
画像処理方法及び画像処理装置
技術分野
[0001] 本発明は、入力画像力も特定パターンを強調した出力画像を出力する画像処理方 法及び画像処理装置に関する。
背景技術
[0002] 従来から、人工-ユーラルネットワーク（以下、 ANNと略す）やサポートベクトルマシ ン等のように、教師データと呼ばれる学習用のサンプルデータを用いて特徴的な形 状や模様、色彩、濃度、大きさ等を有する特定パターンを学習させた識別器により、 ノターン認識を行う手法がある。
[0003] この手法を利用して、医療の分野では検査撮影により得られた医用画像力 病変 部分の陰影 (これを異常陰影という）と予想される画像領域をパターン認識し、異常 陰影の候補領域として検出する装置が開発されている。この装置は、 CAD (Compu ter Aided Diagnosis；コンピュータ診断支援装置）と呼ばれている。
[0004] 通常、例えば ANNの識別器によりパターン認識を行う場合、検出させたい異常陰 影のパターン画像を準備して、その異常陰影の画像領域における平均画素値や分 散値等の統計量、或いはサイズや円形度等の形状特徴量からなる画像特徴量を教 師データとして ANNに入力し、その異常陰影画像の特徴に近いパターンであれば 1 に近い出力値を出力するように ANNを学習させる。同様に、正常組織の陰影 (これ を正常陰影と ヽぅ）のパターン画像を用いてその正常陰影画像の特徴に近 ヽパター ンであれば 0に近い出力値を出力するように ANNを学習させる。これにより、検出対 象の画像についての画像特徴量を前記 ANNに入力させると、その画像特徴量から 0〜 1の出力値が得られ、この出力値が 1に近ければ異常陰影である可能性が高ぐ 0に近ければ正常陰影である可能性が高いという結果が得られる。従来、 CADでは このような方法により得られた出力値に基づいて異常陰影候補を検出していた。
[0005] し力しながら、上記の方法では、 1つの教師画像 (入力値）に 1つの出力値が対応し 、この出力値は学習させた特定パターンの特徴に強く依存するため、未学習データ に対する識別性能は低ぐ検出精度を高めるためには多数の特定パターンの学習が 必要であった。
[0006] このような問題点に対し、ノターン認識対象の画像をある領域毎に区切ってその領 域内の各画素の画素値を入力値として入力し、特定パターンらしさを示す「0〜1」の 連続値を、その領域の中心に位置する注目画素の画素値として出力する ANNの手 法が開発されている（例えば、特許文献 1、 2参照)。この手法では、ある画素につい てその周辺画素の情報を用いて特定パターンを構成する画素の特徴と比較され、特 定パターンを構成する画素の特徴に近ければ「1」に近い値を、そうでなければ「0」に 近い値を出力するよう ANNの学習が行われる。すなわち、 ANNからの出力値により 特定パターンが強調された画像が構成される。
[0007] この手法によれば、ある注目画素についてその周辺領域の情報（画素値)も含めて 特定パターンの学習を行っているため、 1つの教師画像力 多数の入力値、多数の 出力値を得ることができる。よって、少数の教師画像で高精度のパターン認識が可能 となる。また、識別器への入力する情報量が増えるため、学習精度が向上する。 特許文献 1 :米国特許第 6819790号明細書
特許文献 2：米国特許第 6754380号明細書
発明の開示
発明が解決しょうとする課題
[0008] し力しながら、上記特許文献 1、 2に記載の方法では、識別器における解析的要素 が少なぐ識別器力も得られる出力値が入力値力もどのような影響を受けて出力され たのか、その経緯はブラックボックス性が高く理論的な解析が困難である。そのため、
CADのアルゴリズムとして採用する等、実用化に向けて利用するには設計の自由度 の点で制限を受ける可能性がある。
[0009] そこで本発明は、上述の課題を鑑みてなされたものであって、高い汎用性及び学 習精度を有し、かつ設計の自由度が高い画像処理方法及び画像処理装置の提供を 目的とする。
課題を解決するための手段
[0010] 本発明の上記目的は、下記構成により達成された。 [0011] (1)に記載の発明は、画像処理方法において、特定パターンを有する教師画像で あって、識別器に入力する教師入力画像及び当該教師入力画像に対応する教師出 力画像からなる教師画像を用いて、前記特定パターンを前記識別器に学習させる学 習工程と、前記識別器により処理対象画像力も前記特定パターンを強調した強調画 像を作成する強調工程と、を含むことを特徴とする。
[0012] (2)に記載の発明は、 (1)に記載の画像処理方法において、前記学習工程では、 前記教師入力画像を構成する画素の画素値を前記識別器に入力し、前記教師出力 画像を構成する画素の画素値を当該入力に対する識別器の学習目標値として当該 識別器の学習を行うことを特徴とする。
[0013] (3)に記載の発明は、（1)又は（2)に記載の画像処理方法において、前記教師入 力画像には、当該教師入力画像に画像処理を施して作成した複数の教師特徴画像 が含まれ、前記学習工程では、前記複数の教師入力画像のそれぞれにおいて対応 する位置に存在する注目画素の画素値を前記識別器へ入力し、前記教師出力画像 において前記注目画素に対応する画素の画素値を当該入力に対する識別器の学 習目標値とすることを特徴とする。
[0014] (4)に記載の発明は、 (3)に記載の画像処理方法において、前記教師特徴画像は 、異なる画像処理により複数作成されることを特徴とする。
[0015] (5)に記載の発明は、（4)に記載の画像処理方法において、前記強調工程では、 処理対象画像に異なる画像処理を施して特徴画像を複数作成し、この複数の特徴 画像を含む処理対象画像のそれぞれにお!ヽて対応する位置にある注目画素の画素 値を前記識別器に入力し、この入力値力 当該識別器により出力された出力値を、 前記注目画素に対応する画素の画素値として強調画像を構成することを特徴とする
[0016] (6)に記載の発明は、（1)乃至（5)の何れか 1つに記載の画像処理方法において、 前記教師出力画像は、前記教師入力画像を加工して作成された画像であることを特 徴とする。
[0017] (7)に記載の発明は、（1)乃至（5)の何れか 1つに記載の画像処理方法において、 前記教師出力画像は、前記特定パターンを関数ィ匕したパターンデータであることを 特徴とする。
[0018] (8)に記載の発明は、（6)又は（7)に記載の画像処理方法において、前記教師出 力画像の画素値は、連続値であることを特徴とする。
[0019] (9)に記載の発明は、（6)又は（7)に記載の画像処理方法において、前記教師出 力画像の画素値は、離散値であることを特徴とする。
[0020] (10)に記載の発明は、（3)乃至（5)の何れか 1つに記載の画像処理方法において
、前記学習工程では、前記教師特徴画像に施す画像処理の特性によって各教師特 徴画像をグループ化し、当該グループに応じて前記識別器の学習を行うことを特徴 とする。
[0021] (11)に記載の発明は、（1)乃至（10)の何れか 1つに記載の画像処理方法におい て、前記教師画像は、医用画像であることを特徴とする。
[0022] (12)に記載の発明は、 (11)に記載の画像処理方法において、前記教師画像は、 医用画像力 部分的に抽出された部分画像であることを特徴とする。
[0023] (13)に記載の発明は、（11)又は（12)に記載の画像処理方法において、前記特 定パターンは、異常陰影を示すパターンであることを特徴とする。
[0024] (14)に記載の発明は、（1)乃至（13)の何れか 1つに記載の画像処理方法におい て、前記強調画像を用いて異常陰影候補の検出処理を施す検出工程を含むことを 特徴とする。
[0025] (15)に記載の発明は、画像処理装置において、特定パターンを有する教師画像 であって、識別器に入力する教師入力画像及び当該教師入力画像に対応する教師 出力画像カゝらなる教師画像を用いて、前記特定パターンを前記識別器に学習させる 学習手段と、前記識別器により処理対象画像力 前記特定パターンを強調した強調 画像を作成する強調手段と、を備えることを特徴とする。
[0026] (16)に記載の発明は、 (15)に記載の画像処理装置において、前記学習手段は、 前記教師入力画像を構成する画素の画素値を前記識別器に入力し、前記教師教師 出力画像を構成する画素の画素値を当該入力に対する識別器の学習目標値として 当該識別器の学習を行うことを特徴とする。
[0027] (17)に記載の発明は、（15)又は（16)に記載の画像処理装置において、前記教 師入力画像には、当該教師入力画像に画像処理を施して作成した複数の教師特徴 画像が含まれ、前記学習手段は、前記複数の教師入力画像のそれぞれにおいて対 応する位置に存在する注目画素の画素値を前記識別器へ入力し、前記教師出力画 像において前記注目画素に対応する画素の画素値を当該入力に対する識別器の 学習目標値とすることを特徴とする。
[0028] (18)に記載の発明は、 (17)に記載の画像処理装置において、前記教師特徴画 像は、異なる画像処理により複数作成されることを特徴とする。
[0029] (19)に記載の発明は、 (18)に記載の画像処理装置において、前記強調手段は、 処理対象画像に異なる画像処理を施して特徴画像を複数作成し、この複数の特徴 画像を含む処理対象画像のそれぞれにお!ヽて対応する位置にある注目画素の画素 値を前記識別器に入力し、この入力値力 当該識別器により出力された出力値を、 前記注目画素に対応する画素の画素値として強調画像を構成することを特徴とする
[0030] (20)に記載の発明は、（15)乃至（19)の何れか 1つに記載の画像処理装置にお いて、前記教師出力画像は、前記教師入力画像を加工して作成された画像であるこ とを特徴とする。
[0031] (21)に記載の発明は、（15)乃至（19)の何れか 1つに記載の画像処理装置にお いて、前記教師出力画像は、前記教師入力画像に含まれる特定パターンを関数化し たパターンデータであることを特徴とする。
[0032] (22)に記載の発明は、（20)又は（21)に記載の画像処理装置において、前記教 師出力画像の画素値は、連続値であることを特徴とする。
[0033] (23)に記載の発明は、（20)又は（21)に記載の画像処理装置において、前記教 師出力画像の画素値は、離散値であることを特徴とする。
[0034] (24)に記載の発明は、（17)乃至（19)の何れか 1つに記載の画像処理装置にお いて、前記学習手段は、前記教師特徴画像に施す画像処理の特性によって各教師 特徴画像をグループ化し、当該グループに応じて前記識別器の学習を行うことを特 徴とする。
[0035] (25)に記載の発明は、（15)乃至（24)の何れか 1つに記載の画像処理装置にお いて、前記教師画像は、医用画像であることを特徴とする。
[0036] (26)に記載の発明は、 (25)に記載の画像処理装置において、前記教師画像は、 医用画像力 部分的に抽出された部分画像であることを特徴とする。
[0037] (27)に記載の発明は、（25)又は（26)に記載の画像処理装置において、前記特 定パターンは、異常陰影を示すパターンであることを特徴とする。
[0038] (28)に記載の発明は、（15)〜（27)の何れか 1つに記載の画像処理装置におい て、前記強調画像を用いて異常陰影候補の検出処理を施す異常陰影候補検出手 段を備えることを特徴とする。
発明の効果
[0039] (1)乃至（5)、 （15)乃至（19)に記載の発明によれば、 1つの教師入力画像から多 くの入力値 (教師特徴画像の画素値)及びそれに対する出力値 (教師出力画像の画 素値)を得ることができる。また、入力値は様々な特徴を持っため、多面的なパターン 認識を行うことができる。よって、少ない教師データ数で識別器の学習精度を向上さ せ、識別器におけるパターン認識能を向上させることができる。また、このような識別 器により特定パターンが強調された強調画像を出力することができ、当該強調画像 により特定パターンの検出が容易となる。さらに、用いる教師特徴画像を意図的に選 択することにより識別器のパターン認識の精度を調整することができ、設計の自由度 が高い。
[0040] (6)乃至（9)、 (20)乃至（23)に記載の発明によれば、強調した!/、特定パターンに 応じて教師出力画像を意図的に作成することができ、識別器の設計の自由度を向上 させることがでさる。
[0041] (10)、 (24)に記載の発明によれば、特定パターンのパターン認識に適した画像処 理のグループに応じて識別器の学習方法等を意図的に調整することができ、特定パ ターンに対する感度が高い識別器を構築することが可能となる。
[0042] (11)乃至（14)、 （25)乃至（28)に記載の発明によれば、異常陰影パターンを強 調した強調画像により医師の異常陰影の検出作業を支援することができる。また、異 常陰影候補の検出処理に強調画像を使用する場合、予め強調画像により偽陽性候 補の削除を行うことができ、検出精度の向上を図ることができる。 図面の簡単な説明
[0043] [図 1]本実施形態における画像処理装置の機能的構成を示す図である。
[図 2]画像処理装置により実行される学習処理を説明するフローチャートである。
[図 3]教師特徴画像の一例を示す図である。
[図 4]教師入力画像及び教師出力画像の一例を示す図である。
[図 5]識別器の学習を説明するための図である。
[図 6]教師入力画像の正規ィ匕値をプロットした図である。
[図 7]教師出力画像の他の例を示す図である。
[図 8]画像処理装置により実行される強調処理を説明するフローチャートである。
[図 9]識別器により処理対象画像から強調画像を作成する例を示す図である。
[図 10]強調画像の一例を示す図である。
[図 11]強調画像の一例を示す図である。
[図 12]強調画像の一例を示す図である。
[図 13]強調画像の一例を示す図である。
[図 14]識別器の他の構成例を示す図である。
[図 15]グループ学習によるパターン強調を説明する図である。
[図 16]全画像学習及びグループ学習による強調処理結果を比較した図である。 符号の説明
[0044] 10 画像処理装置
11 制御部
12 操作部
13 表示部
14 通信部
15 記憶部
16 画像処理部
17 異常陰影候補検出部
18 学習データメモリ
発明を実施するための最良の形態 [0045] 本実施形態では、識別器により医用画像力も特定パターンとして異常陰影パターン を認識し、これを強調した強調画像を出力する例を説明する。ここで、特定パターン とは、特徴的な形状、模様、大きさ、色彩、濃度等を有する画像をいう。
[0046] まず、構成を説明する。
[0047] 図 1に、本発明を適用した画像処理装置 10の装置構成を示す。
[0048] この画像処理装置 10は、検査撮影により得られた医用画像力も異常陰影パターン を強調した強調画像を生成するとともに、当該強調画像から異常陰影の候補領域を 検出するものである。
[0049] ここで、異常陰影パターンとは医用画像上に現れる病変部分の画像をいう。異常陰 影はその医用画像の種類や病変種によって画像の現れ方が異なる力 例えば肺癌 の所見となるものの一種である小結節の場合、胸部 X線画像上では低濃度（白い）で ある程度の大きさを持った略円形の陰影パターンで現れる。このように、異常陰影パ ターンは特徴的な形状、大きさ、濃度分布等を有していることが多ぐこのような特徴 を元に他の画像領域と識別できることが多い。
[0050] なお、この画像処理装置 10を、医用画像を生成する画像生成装置や医用画像を 保存'管理するサーバ、医師の読影に付すため、サーバに保存された医用画像を取 り寄せて表示手段上に表示する読影端末等、各種装置がネットワークを介して接続 された医用画像システムに設けることとしてもよい。また、本実施形態では画像処理 装置 10単体で本発明を実現する例を説明するが、画像処理装置 10における機能を 上記医用画像システムの各構成装置に分散させて医用画像システム全体で本発明 を実現することとしてもよい。
[0051] 以下、画像処理装置 10について詳細に説明する。
[0052] 画像処理装置 10は、図 1に示すように、制御部 11、操作部 12、表示部 13、通信部 14、記憶部 15、画像処理部 16、異常陰影候補検出部 17、学習データメモリ 18を備 えて構成されている。
[0053] 制御部 11は、 CPU (Central Processing Unit) , RAM (Random Access Memory)等を備えて構成されており、記憶部 15に格納されて 、る各種制御プログ ラムを読み出して各種演算を行うとともに、各部 12〜 18における処理動作を統括的 に制御する。
[0054] 操作部 12は、キーボードやマウス等を備え、オペレータによりこれらが操作されると 、その操作に応じた操作信号を生成して制御部 11に出力する。なお、表示部 13に おけるディスプレイと一体に構成したタツチパネルを備えることとしてもよい。
[0055] 表示部 13は、 LCD (Liquid Crystal Display)等の表示手段を備え、制御部 11 力 の指示に応じてこの表示手段上に、各種操作画面や、医用画像及びその強調 画像等、様々な表示情報を表示させる。
[0056] 通信部 14は、通信用のインターフェイスを備え、ネットワーク上の外部装置と情報 の送受信を行う。例えば、通信部 14は画像生成装置から生成された医用画像を受 信する、画像処理装置 10にお ヽて作成された強調画像を読影端末に送信する等の 通信動作を行う。
[0057] 記憶部 15は、制御部 11において用いられる制御プログラム、画像処理装置 16に おいて用いられる学習処理、強調処理、異常陰影候補検出部 17において用いられ る異常陰影候補検出処理等の各種処理プログラムの他、各プログラムの実行に必要 なパラメータやその処理結果等のデータが記憶されている。
[0058] 画像処理部 16は、記憶部 15に格納されている処理プログラムとの協働により、処 理対象画像に各種画像処理 (階調変換処理、鮮鋭性調整処理、ダイナミックレンジ 圧縮処理等)を施す。また、画像処理部 16は識別器 20を有しており、後述する学習 処理及び強調処理を実行し、学習処理により当該識別器 20に特定パターンを学習 させ、学習を行った識別器 20により強調処理において処理対象画像から強調画像 を作成する。
[0059] 異常陰影候補検出部 17は、処理対象画像に対して異常陰影候補検出処理を実 行し、その検出結果を出力する。なお、処理対象画像として、強調処理により生成さ れる強調画像を用いてもょ ヽし、未処理の医用画像を用いてもょ ヽ。
[0060] 異常陰影候補検出部 17の処理対象画像として強調画像を用いる場合は、強調画 像において異常陰影が選択的に強調されているので、異常陰影候補検出処理のァ ルゴリズムとして、一般に知られている閾値処理やラベリング処理等の比較的単純な 画像処理手法を組み合わせて用いることが可能である。また、検出目的の異常陰影 種に応じて公知のアルゴリズムを任意に選択してもよい。例えば、乳房部位を撮影し た乳房画像においては、腫瘤や微小石灰化クラスタといった異常陰影の検出が行わ れるが、腫瘤の場合、その陰影パターンは円形状で中心に向かって濃度が緩やかに 低下するガウス分布状の濃度変化を有する。よって、このような濃度特性に基づいて モルフオルジフィルタ等により乳房画像力も腫瘤の異常陰影パターンを検出する。一 方、微小石灰化クラスタは、乳房画像上では略円錐形状の濃度変化を有する低濃度 の陰影が集まって (クラスタ化して)現れるので、この濃度特性を有する異常陰影バタ ーンを検出するため、 3重リングフィルタ等が適用される。
[0061] 一例として、 3重リングフィルタについて説明すると、 3重リングフィルタは、濃度変化 が理想的な円錐形状を示す場合の濃度勾配の強度成分及び方向成分が予め決定 された 3つのリングフィルタ力 構成される。まず、ある注目画素周辺において、各リン グフィルタのそれぞれの領域上の画素値力 濃度勾配の強度成分及び方向成分の 代表値を求める。そして、その代表値と各リングフィルタに予め決定されている濃度 勾配の強度成分及び方向成分との差に基づいて、円錐形状に近い濃度変化を有す る画像領域を候補領域として検出する。
[0062] 学習データメモリ 18は、上記識別器 20の学習に必要な教師データを記憶するメモ リである。教師データとは、識別器 20に特定パターンを学習させるためのデータをい う。本実施形態では、教師データとして異常陰影パターンを含む教師画像を用いる。 教師画像は学習訓練用に識別器 20に入力される教師入力画像及び当該教師入力 画像に対応する教師出力画像からなる。これら各教師画像については、識別器 20の 学習方法とともに後述する。
[0063] 次に、上記画像処理装置 10の動作について説明する。
[0064] まず、図 2を参照して、識別器 20を構築する学習処理について説明する。この学習 処理は、画像処理部 16が記憶部 15に記憶される学習処理プログラムを読み込むこ とにより実行される処理である。
[0065] なお、以下の説明では識別器 20として、 ANNを適用した例を説明する。また、説 明の前提として、予め学習用に異常陰影パターンを含む医用画像が準備されており 、学習データメモリ 18に教師画像として記憶しておくこととする。 [0066] 図 2に示す学習処理では、まず教師データとして用いる医用画像の入力が行われ る (ステップ Al)。具体的には、画像処理部 16において、学習データメモリ 18に記憶 されて 、た医用画像 (教師画像)の読み込みが行われる。
[0067] 次いで、入力医用画像力も学習させたい特定パターン、つまり異常陰影パターンを 含む一部の画像領域の抽出が行われる (ステップ A2)。以下、この部分的に抽出さ れた画像を部分画像という。部分画像の抽出は、医師が教師画像を読影し、目視で 異常陰影パターンを含む領域を判断して当該領域を操作部 12により指定操作する 構成とし、画像処理装置 10ではこの指定操作に応じて教師画像から指定された領 域に対応する領域の画像を抽出する。なお、部分画像は一つの教師画像から複数 抽出することが可能である。
[0068] 次 ヽで、この部分画像に対し、異なる複数種類の画像処理が施され、教師特徴画 像が作成される (ステップ A3)。作成された教師特徴画像は学習データメモリ 18に記 憶される。この教師特徴画像は、教師入力画像として用いられるものである。すなわ ち、教師入力画像には、学習用に準備された元々の医用画像 (以下、教師特徴画像 と区別するため、原画像という）と、教師特徴画像とが含まれる。この原画像及び教師 特徴画像からなる教師入力画像は、識別器 20の学習訓練用に識別器 20に入力さ れるものである。
[0069] 上記画像処理の種類としては、 X、 Y方向それぞれについての 1次微分処理、 2次 微分処理等が挙げられる。また、 Sobelフィルタや Prewittフィルタ等の 1次微分系フ ィルタを用いた画像処理、 Laplacianフィルタや Hessian行列の固有値を用いた 2次 微分系の特徴を導く画像処理等を用いてもよい。前記部分画像の濃度分布曲面に 対して求めた平均曲率、ガウス曲率等の曲率の計算値或いは符号を画像ィ匕したり、 曲率に基づ 、て定義される Shapelndex、 Curvedness等の量を画像化したりするこ とも可能である。前記部分画像内に小領域を設定し、小領域を 1画素づっ走査しな 力 Sら平均値を計算したり（平滑化処理)、小領域内の標準偏差値やメジアン値等の他 の統計量を計算したりして、その結果を画像ィ匕してもよい。また、ウェーブレット変換 処理や種々の非鮮鋭ィ匕処理等を用いて、前記部分画像を複数の周波数帯域に分 離した周波数成分画像を作成してもよ！/ヽ。 [0070] また、上記の種々の画像処理に先立って、前処理を施してもよ!、。前処理の例とし ては、線形又は非線形の階調変換特性を用いた階調変換処理や、多項式近似、バ ンドパスフィルタ等を利用することにより背景の濃度勾配等を除去する背景トレンド補 正処理等が挙げられる。
[0071] 図 3に、上記画像処理による各教師特徴画像の例を示す。
[0072] 図 3において画像 1が原画像、画像 2〜 19が各種画像処理が施された教師特徴画 像である。
[0073] 教師特徴画像 2〜5は、 1次微分に相当する画像処理が施されたものであり、画像 2 は X方向の 1次微分画像、画像 3は y方向の 1次微分画像、画像 4は Sobelフィルタの 出力（エッジ強調）、画像 5は Sobelフィルタの出力（エッジの角度)である。教師特徴 画像 6〜9は 2次微分に相当する画像処理が施されたものであり、画像 6は Laplacia nフィルタの出力、画像 7は X方向の 2次微分画像、画像 8は y方向の 2次微分画像、 画像 9は xy方向の 2次微分画像である。教師特徴画像 10、 11は曲率を符号化した ものであり、画像 10は平均曲率の符号化画像、画像 11はガウス曲率の符号化画像 である。また、画像 12は平滑化画像（3 X 3)、画像 13は標準偏差画像 (3 X 3)である 。教師特徴画像 14〜19は、 Wavelet (ウェーブレット)変換処理により周波数成分毎 に分類されたものであり、画像 14は Wavelet (Levell— 3)の高周波成分画像、画像 15は Wavelet (Level2 4)の高周波成分画像、画像 16は Wavelet (Level3— 5) の中周波成分画像、画像 17は Wavelet (Level4— 6)の中周波成分画像、画像 18 は Wavelet (Level5— 7)の低周波成分画像、画像 19は Wavelet (Level6— 8)の 低周波成分画像である。このように、各教師特徴画像 2〜19は、その画像処理の特 性によって類似する性質毎にグループ分けすることができる。
[0074] 教師特徴画像が作成されると、次に教師出力画像が作成される (ステップ A4)。教 師出力画像は、識別器 20への教師入力画像の入力に対する学習目標となる画像で ある。
[0075] 図 4に、教師入力画像及び教師出力画像の一例を示す。
[0076] 図 4に示す教師出力画像 f 2は、符号 flで示す教師入力画像 (原画像）に対応して 作成されたものであり、異常陰影パターンに該当する領域を「1」、その他の領域を「0 」と二値化することにより人工的に加工して作成された教師出力画像の例を示してい る。異常陰影パターンに該当する領域は、医師が教師入力画像 flにおいて当該領 域を判断し、操作部 12により指定する。この指定操作に応じて画像処理装置 10では 指定領域の画素値を「0」、その他の領域の画素値を「1」に設定した教師出力画像が 作成される。
[0077] このようにして、教師入力画像及び教師出力画像が準備されると、これらを用いて 識別器 20の学習が行われる。
[0078] 識別器 20は、図 5に示すような階層型 ANNである。階層型 ANNは、入力信号を 受け取り、他の-ユーロンへ分配する入力用の-ユーロン力 なる入力層と、外部へ 出力信号を出力する出力用のニューロンからなる出力層と、入力用と出力用のニュ 一ロンの中間に存在する-ユーロンからなる中間層とから構成されて 、る。中間層の ニューロンは入力層の-ユーロンの全てと結合していて、出力層の-ユーロンは中間 層の-ユーロンの全てと結合して 、る。
[0079] 入力層の-ユーロンは、中間層の-ユーロンとのみ結合し、中間層の-ユーロンは 出力層の-ユーロンとのみ結合しているため、信号は入力層から中間層、出力層へと 流れていくこととなる。入力層では、ニューロンによる信号の処理は行われず、受け取 つた入力信号はそのまま中間層のニューロンに出力される。中間層、出力層では、各 ニューロンに設定されたバイアス関数により前層から入力された信号に重み付けを行 う等の信号処理が施され、処理が施された信号が後層のニューロンに出力される。
[0080] 識別器 20の学習時には、まず教師入力画像 (原画像）に対して注目画素が設定さ れ、当該注目画素の画素値が取得される。また、当該原画像から作成された複数の 教師特徴画像及び教師出力画像にお ヽて原画像の注目画素に対応する画素の画 素値が取得される。そして、原画像及び教師特徴画像から取得された各画素値が入 力値として識別器 20に入力されるとともに、教師出力画像から取得された画素値が 学習目標値として識別器 20にセットされ、当該入力値から当該学習目標値に近い値 が出力されるよう、識別器 20の学習が行われる (ステップ A5)。
[0081] なお、識別器 20への入力値として使用される画素値は 0〜1の値に正規ィ匕したもの を使用し、特性が異なる各教師入力画像の入力値の規格を一定とする。図 6に、教 師入力画像 (図 3に示す原画像 1、各教師特徴画像 2〜 19)のある画素における画 素値を正規ィ匕した値をプロットした図を示す。図 6において、点線で連結した各正規 化値は、教師入力画像における正常組織の画像パターン (以下、正常陰影パターン と ヽぅ）を構成する画素の画素値を正規化した値を示し、実線で連結した各正規化値 は異常陰影パターンを構成する画素の正規ィ匕画素値を示している。
[0082] 識別器 20の学習は、まず図 5に示すように教師入力画像の各画素値を識別器 20 に入力した結果、識別器 20から得られた出力値と、教師出力画像から取得された画 素値とが比較され、その誤差が演算される。なお、識別器 20から出力される出力値 は 0〜1の連続値である。そして、誤差が縮小されるように中間層におけるバイアス関 数のパラメータが最適化される。最適化を行うための学習方法としては、例えば誤差 逆伝搬法等を用いることができる。これは、パラメータが最適化により再設定されると 、再度、教師特徴画像力 取得された画素値が識別器 20に入力され、入力値により 得られた出力値と、教師出力画像の画素値との誤差力 、さくなるようにパラメータの 最適化が何度も繰り返し行われることにより、異常陰影パターンの学習を行うものであ る。
[0083] そして、一つの注目画素について学習が終了すると、原画像において注目画素の 位置が一画素分主走査方向へシフトされ、新たに設定された注目画素について同 様に学習が行われる。このようにして、教師入力画像の主走査及び副走査方向に注 目画素が走査され、教師入力画像の全ての画素について学習が終了すると、異常 陰影パターンについて学習させた識別器 20を構築することができる。
[0084] なお、教師出力画像は、図 7 (a)に示す二値 (離散値)のものに限らず、図 7 (b)に 示すように、多値 (連続値)の画像を作成してもよい。多値の画像は、図 7 (a)に示す 二値の画像を作成した後、これに非鮮鋭ィ匕処理を施して作成することができる。
[0085] また、画像ではなく異常陰影パターンを関数ィ匕したパターンデータを作成することと してもよい。すわなち、各画素位置に対応して出力値を設定したパターンデータ（図 7 (c)、（d)参照)を作成する。図 7 (c)に示すパターンデータは、出力値を離散値とし たものであり、画素位置 (横軸）に対応して設定された「0」又は「1」の出力値 (縦軸） を示している。一方、図 7 (d)に示すパターンデータは、出力値を連続値としたもので あり、画素位置に対応して設定された「0」〜「1」の出力値を示している。なお、図 7 (c )、（d)はある一ライン分の設定データを示している図であり、実際にはこのような出力 値の設定データが主走査及び副走査方向の画素位置に対応して 2次元的に設定さ れている。
[0086] パターンデータの出力値を離散値とした場合、強調画像における異常陰影パター ンの領域内部の強調の程度を強制的に大きくする効果が期待される。一方、パター ンデータの出力値を連続値とした場合、陰影パターンの中心から周囲にかけての出 力値の変化がガウス分布状となるため、異常陰影パターンの大きさが学習させたもの と異なるものであってもある程度対応できることが期待できる。これは、図 7 (a)、（b)に 示すような画像を用いた場合も同様のことが ヽえる。
[0087] 次に、学習を終えた識別器 20により処理対象の医用画像力も強調画像を作成する 強調処理について、図 8を参照して説明する。強調処理についても学習処理と同様 に、画像処理部 16と記憶部 15に記憶された強調処理プログラムとの協働により実現 されるちのである。
[0088] 図 8に示す強調処理では、まず強調処理対象の医用画像の入力が行われる (ステ ップ Bl)。すなわち、記憶部 15に記憶されていた処理対象の医用画像が画像処理 部 16により読み込まれる。次いで、医用画像に異なる画像処理がそれぞれ施され、 複数の特徴画像が作成される (ステップ B2)。このとき施される画像処理は、教師特 徴画像を作成する際の画像処理と同一種類、同一処理条件のものである。
[0089] 特徴画像が作成されると、元の医用画像 (これを特徴画像と区別するため、原画像 という）に注目画素が設定され、当該注目画素の画素値が取得される。また、特徴画 像において原画像の注目画素に対応する位置にある画素の画素値が取得され、こ れら原画像及び特徴画像から取得された画素値を 0〜1に正規化した正規化値が識 別器 20に入力される (ステップ B3)。そして、この入力値により識別器 20から出力値 が得られると、当該出力値が強調画像を構成する画素の画素値として設定される (ス テツプ B4)。
[0090] 図 9に、上記識別器 20による入力値と出力値との関係を示す。
[0091] 図 9に示すように、識別器 20からの出力値は、強調画像において、原画像に設定さ れた注目画素の位置に対応する画素の画素値として設定されることとなる。
[0092] このようにして、識別器 20により処理対象画像から一画素分の出力値が得られると 、全画像領域について注目画素が設定され、走査された力否かが判別される (ステツ プ B5)。未走査の場合は (ステップ B5 ;N)、注目画素の位置が一画素分主走査方 向へシフトされ (ステップ B6)、シフトにより新たに設定された注目画素についてステツ プ B3、 B4の処理が繰り返される。
[0093] そして、全画像領域につ!、て注目画素が走査（主走査及び副走査）されると (ステツ プ B5； Y)、識別器 20からの出力値を画素値として構成された強調画像が出力され ることとなる (ステップ B7)。
[0094] なお、識別器 20からの出力値は「0」〜「1」の連続値で出力されるので、強調画像 を表示装置又はフィルム等へ出力する場合には、それら出力手段に応じて出力値を 輝度レベル又は濃度レベルに変換して出力する。輝度値に変換する場合には、出 力値「0」を最低輝度レベル K (表示上では黒）、出力値「1」を最高輝度レベル K
min max
(表示上では白）として、「0」〜「1」の出力値を K から Κ に割り付ける。一方、濃
mm max
度値に変換する場合には、出力値「0」を最低濃度値 D (フィルム上では黒)、出力
mm
値「1」を最高濃度値 D (フィルム上では白）として、「0」〜「1」の出力値を D 〜D
max max mmに割り付ける。
[0095] 図 10は、強調画像の一例を示す図である。
[0096] 図 10の左側に示す処理対象画像 glは胸部 X線画像 (原画像)であり、識別器 20 にこの処理対象画像 g 1を適用することより、右側に示す強調画像 g2が出力された。 処理対象画像 glにおいて矢印により示す位置に異常陰影パターンが存在するが、 処理対象画像 gl上ではその判別は困難である。しかし、強調画像 g2上では、異常 陰影パターンが低濃度の丸いパターンではっきりと現れており、他の画像領域に比 ベて強調されて ヽることが分かる。
[0097] また、図 11に示す強調画像 h2の例は、胸部 CT画像の処理対象画像 hiから異常 陰影パターン (矢印で示す陰影領域)を含む部分画像 h3を教師入力画像として抽出 し、この教師入力画像 h3から教師出力画像 h4を作成してこれらを用いて識別器 20 の学習を行った後、この学習済みの識別器 20により処理対象画像 hiから強調画像 h2を作成したものである。なお、処理対象画像 hiは、画像処理により肺野領域のみ を抽出した画像である。この処理対象画像 hiにおいては血管等、小結節の異常陰 影と混同しやすい正常陰影パターンが多く存在しているが、強調画像 h2ではこれら 正常陰影パターンの特徴が低減され、異常陰影パターンのみを強調することに成功 していることが分かる。
[0098] また、図 12に示すように、粒状性が粗い低画質の処理対象画像 j lを準備して、この 処理対象画像 j lから異常陰影パターンを示す教師出力画像 j2を作成し、識別器 20 の学習を行った。そして、この学習済みの識別器 20に、再度処理対象画像 jlを入力 したところ、図 12に示すような強調画像 j3が出力された。強調画像 j 3から分力ゝるよう に、処理対象画像 j lで顕著であったノイズが低減され、異常陰影パターンのみが強 調されている。
[0099] また、図 13 (a)に示すように、円形状の低濃度の模擬パターンをその大きさ及びコ ントラストを様々なものに変えて複数設定したテストオブジェクト klに本実施形態の識 別器 20を適用した。テストオブジェクト klでは、模擬パターンの他、低濃度の格子パ ターンが設けられている。識別器 20は、テストオブジェクト中の任意の模擬パターン を教師入力画像 k2として用い、それに対応する教師出力画像 k3を作成して学習を 行ったものである。教師出力画像 k3は、二値のものを作成した。その結果、図 13 (b) に示すような強調画像 k4が得られた。図 13 (b)に示すように、識別器 20によれば格 子パターンの特徴を抑えて模擬パターンのみを強調することができる。また、テストォ ブジェクト klにおける各模擬パターンにおいて、教師入力画像 k2に含まれる格子パ ターンとは異なる態様で格子パターンが重なっている場合でも、教師入力画像 k2に 含まれる模擬パターンと同一の特徴を持つ画像領域であれば強調することができる ことが分かる。また、どの大きさの模擬パターンも強調画像 k4上では全て強調されて おり、強調したいパターンの大きさにも有る程度対応できることが分かる。
[0100] 強調処理後、作成された強調画像は画像処理部 16から異常陰影候補検出部 17 に出力され、異常陰影候補検出部 17により異常陰影候補の検出処理に付される。 そして、当該強調画像から異常陰影候補が検出されると、当該検出された異常陰影 候補に関する情報 (例えば、異常陰影の候補領域の位置を指し示す矢印等のマー 力画像)が医師の診断支援情報として表示部 13上に表示される。
[0101] なお、作成された強調画像をそのまま医師の読影に提供することとしてもよい。
[0102] 以上のように、本実施形態によれば、教師入力画像として元々の原画像にカ卩え、当 該原画像に様々な画像処理を施して作成した教師特徴画像を用いるので、 1つの画 像から多数の入力値を得ることが可能となる。従来は、ある教師画像の画像特徴量を 入力値として異常陰影である可能性等を出力するよう、識別器 20を構築していること が多力つた力 この方法では 1つの入力画像に対して 1つの出力値が対応するため、 処理対象画像と教師画像 (異常陰影パターン)の特徴がほぼ同じでなければパター ン認識することができず、未学習データを含む様々な異常陰影パターンに対応する ためには、教師画像を多数準備しなければならな力つた。しかし、本実施形態によれ ば、 1つの画像から複数の画像を作成し、さらにそれらの画素値を識別器 20に入力 するため、 1つの学習用の画像から多数の入力値及びそれに対応する出力値を得る ことができ、またそれら入力値は様々な特徴を有しており多面的な学習を行うことが できる。よって、少ない教師データ数で識別器 20の学習精度を向上させることができ 、識別器 20におけるパターン認識能を向上させることができる。
[0103] また、このような識別器 20を用いて異常陰影パターンを強調した強調画像を作成 することができ、この強調画像を用いて異常陰影候補の検出処理を行う、或いは医 師の読影に付す等することにより、異常陰影の検出作業を容易化することができ、医 師の診断支援を行うことができる。
[0104] さらに、各種画像処理を施した教師特徴画像から得られる画素値、つまり様々な特 徴を示す特徴量を用いて識別器 20の学習を行うことができ、多面的なパターン学習 を行うことができる。これにより、識別器 20のパターン認識精度を向上させることがで きる。
[0105] また、画像処理の特性によって認識しやすいパターンがあるため、学習時にどの画 像処理を施した教師特徴画像を使用するかにより、パターンの認識精度を調整する ことができる。よって、検出目的とする異常陰影パターンに応じて使用する教師特徴 画像 (原画像に施す画像処理)を意図的に選択することにより、ある特定の異常陰影 ノターンに特ィ匕して強調画像を作成したりすることができ、識別器 20の設計に係る自 由度を向上させることができる。
[0106] さらに、異常陰影候補検出処理の前処理として異常陰影パターンを強調する強調 処理を行い、予め異常陰影パターンを強調しておくことにより、正常陰影のパターン の特徴が失われるため、元の医用画像 (原画像)を用いて異常陰影候補を検出する 場合に比して偽陽性候補 (異常陰影らしさの確信度が低い候補)の検出数を大幅に 減少させることができる。よって、異常陰影候補の検出精度を向上させることができる
[0107] なお、上述した実施形態は、本発明を適用した好適な一例であり、これに限定され ない。
[0108] 例えば、上記実施形態では、識別器 20として、 ANNを適用した例を説明したが、 判別分析手法による識別器、フアジィ推論、サポートベクトルマシン等、教師データに 基づくパターン学習によりパターン認識することができる識別器であれば適用可能で ある。なお、マハラノビスの距離等、 2つのクラスに分類するような手法の場合、識別 器 20から出力される出力値は二値のものとなる。
[0109] また、実施形態では医用画像中に含まれる異常陰影パターンを検出する例を説明 したが、これに限らず、例えば胸部を撮影した医用画像力ゝら肺野領域を抽出する等、 ある特定領域をパターン認識して抽出するセグメンテーション (領域抽出）の処理に 本発明を適用することとしてもよいし、例えば胸部を撮影した医用画像に含まれる間 質性陰影のパターンを分類する等、ノターン分類に利用することとしてもよい。
[0110] 上記実施形態では、 2次元の画像処理を用いた例を説明したが、 3次元の画像処 理も同様に適用可能である。
[0111] また、上記実施形態では、強調工程において強調画像を作成した後に検出工程に おいて異常陰影候補検出処理を適用する例を説明したが、未処理の医用画像から 公知の検出アルゴリズムにより異常陰影候補を検出した後で、それらを真陽性 (真の 異常陰影候補)と偽陽性 (異常陰影らしさの確信度が低い候補)とに判別する判別段 階において、本発明のパターン認識を利用した判別を行い、最終的な異常陰影候補 を検出することとしてもよい。
[0112] さらに、医用画像のみならず、他の画像であっても画像中力 特定パターンを強調 したい場合には本発明を適用可能である。
[0113] また、上記例では、異常陰影という比較的小さなパターンを強調することを目的とし て!、たため、医用画像力も部分的に画像を抽出した部分画像を教師画像として！/、た 力 これに限らず、目的に応じて医用画像全体を教師画像としてもよい。例えばセグ メンテーシヨンに本発明を適用する場合には、臓器等、比較的大きな領域を抽出す ることが多い。よって、部分的に画像を抽出する必要がなぐ医用画像全体を教師画 像として使用した方がよい。
[0114] 上記実施形態では出力層の-ユーロンの個数が 1、すなわち学習工程において用 いる教師出力画像の数が一つの部分画像に対して一つであつたが、出力層の-ュ 一ロンの個数が 2以上、すなわち複数の教師出力画像を用いる構成としてもよい。
[0115] 例えば、パターン分類への応用において、画像に含まれる陰影を 3種類の特定パ ターン A、 B、 Cに分類することが目的である場合に、教師出力画像として、パターン Aの強調に有効な教師出力画像、パターン Bの強調に有効な教師出力画像及びパ ターン Cの強調に有効な教師出力画像を各々作成し、それらを出力層の 3個の-ュ 一ロンに対応付けて学習を行う。強調工程においては、一つの処理対象画像を入力 することにより 3つの強調画像が出力されるので、それらの中から最も強調の度合い が強!ヽ強調画像を選び、その強調画像に対応するパターンの種類を分類結果とする 。強調の度合いの指標としては、例えば強調画像の画素値の平均値や、所定の累積 ヒストグラム値を与える画素値等の統計量を使用することができる。
[0116] また、教師特徴画像はその画像処理の特性によって認識しやすいパターンがある ことから、画像処理の特性によって教師特徴画像をグループィ匕し、そのグループに 応じて識別器の学習を行うこととしてもよい。
[0117] 例えば、図 3に示す教師特徴画像の例では、画像 1〜19を用いて以下に示す 5つ のグループを作成する。すなわち、画像 1および 1次微分系の画像 2〜5から成るグ ループ 1、画像 1および 2次微分系の画像 6〜9から成るグループ 2、画像 1および曲 率系の画像 10、 11から成るグループ 3、画像 1および統計量を用いた画像 12、 13か ら成るグループ 4、画像 1およびウェーブレット系の画像 14〜19から成るグループ 5 である。ここで、原画像である画像 1は、全てのグループに重複して含まれている。 [0118] これらグループに応じて識別器の学習を行う（以下、グループ学習という）。ここでは 、図 14に示すように、グループ毎に別個の識別器（1次識別器)を準備し、各グルー プの 1次識別器力 出力された出力値をさらに 2次識別器に入力して総合的な出力 値を得るような階層的な識別器群を構成した上で、 2段階に分けて識別器の学習を 行う実施形態を説明する。まず、各グループの教師入力画像を使用して、個々の 1次 識別器の学習を行う。この場合、 1次識別器から得られた出力値と、教師出力画像の 画素値とを比較して学習を行うこととなる。次に、学習を終えた各々の 1次識別器に、 処理対象画像として前記教師入力画像と同一の画像を適用して、 1次強調画像を作 成する。続いて、作成された 5種類の 1次強調画像を教師入力画像として使用し、 2 次識別器の学習を行う。この場合、 2次識別器から得られた出力値と、教師出力画像 の画素値とを比較して学習を行うこととなる。なお、図 14では、 1次識別器及び 2次識 別器とも ANNの例で示している力 異なる手法による識別器 (例えば、 1次識別器は ANN, 2次識別器は判別分析によるもの）としてもよい。
[0119] 例えば、図 15 (a)に示す原画像 mlから図 3の 2〜19の画像番号で示す教師特徴 画像を作成し、各画像 1〜19を上記 5グループでグループ分けした後、 1次及び 2次 識別器のグループ学習を行った場合、この学習済みの識別器に原画像 mlを入力 すると、図 15 (b)に示すような 1次強調画像 m2〜m6が各グループの 1次識別器から 出力される。図 15 (b)に示すように、各 1次強調画像 m2〜m6は、それぞれ異なる特 徴が強調された画像となっている。これら 1次強調画像 m2〜m6をさらに 2次識別器 に入力すると、図 16に示すような 2次強調画像 n3が得られる。
[0120] 図 16に、比較のため 2次強調画像 n3の他、原画像 nl及びグループ化せずに全画 像を 1個の識別器を用いて学習を行った場合 (実施形態に示した方法による学習。 以下、全画像学習という。）の強調画像 n2を示す。図 16に示すように、グループ学習 により得られる 2次強調画像 n3は、全画像学習による強調画像 n2とは異なる特徴を 示していることが分かる。なお、図 16は円形の単純なパターンの学習結果であるが、 グループ学習の場合、学習するパターンが複雑になるにつれてパターンに対する感 度が向上し、グループ学習による効果が高まるものと期待される。
[0121] 別の実施形態として、図 5に示すように一個の識別器を用い、前述のグループに応 じて識別器 20の学習を行うことも可能である。具体的には、入力層と中間層の-ユー ロン同士の結合係数に制限を加え、特定の組み合わせの結合を相対的に弱めるか 、あるいは結合を遮断する。例えば、中間層の-ユーロン 1は、グループ 1に属さない 教師特徴画像に対応する入力層の-ユーロンとの結合が弱くなるように結合に制限 が加えられ、中間層の-ユーロン 2は、グループ 2に属さない教師特徴画像に対応す る入力層の-ユーロンとの結合が弱くなるように結合係数に制限が加えられる。このよ うな条件の下で、識別器 20の学習を実行する。
[0122] このように、グループに応じた識別器とすることにより、検出目的とする特定パターン に対する感度が高い識別器 20を構築することができ、より特定パターンに対するバタ ーン認識能が高い強調画像を作成することが可能となる。すなわち、使用目的に応 じて識別器を柔軟に設計することの可能な、自由度の高い構成であるため、実用的 である。加えて、比較的複雑なパターンを有する画像を処理対象とした場合にも、高 い効果が期待される。
[0123] なお、教師特徴画像の作成に使用する画像処理の種類は様々なものが考えられる 力 強調したいパターンの特徴に基づいて、パターンの強調に効果的と思われる画 像処理を選択したり、或 、はパターンの強調に効果的な画像処理とパターンの減弱 に効果的な画像処理との組み合わせを含むように選択したりすることにより、特定パ ターンに特ィ匕した識別器 20を構築することができる。また、多数の教師特徴画像の 中から、強調したいパターンに応じて、逐次選択法や遺伝的アルゴリズム等の最適 化手法を使用して特徴画像の選択を行ってもょ ヽ。

Claims

請求の範囲
[1] 特定パターンを有する教師画像であって、識別器に入力する教師入力画像及び当 該教師入力画像に対応する教師出力画像力もなる教師画像を用いて、前記特定パ ターンを前記識別器に学習させる学習工程と、
前記識別器により処理対象画像から前記特定パターンを強調した強調画像を作成 する強調工程と、
を含むことを特徴とする画像処理方法。
[2] 前記学習工程では、前記教師入力画像を構成する画素の画素値を前記識別器に 入力し、前記教師出力画像を構成する画素の画素値を当該入力に対する識別器の 学習目標値として当該識別器の学習を行うことを特徴とする請求の範囲第 1項に記 載の画像処理方法。
[3] 前記教師入力画像には、当該教師入力画像に画像処理を施して作成した複数の 教師特徴画像が含まれ、
前記学習工程では、前記複数の教師入力画像のそれぞれにおいて対応する位置 に存在する注目画素の画素値を前記識別器へ入力し、前記教師出力画像において 前記注目画素に対応する画素の画素値を当該入力に対する識別器の学習目標値と することを特徴とする請求の範囲第 1項又は第 2項に記載の画像処理方法。
[4] 前記教師特徴画像は、異なる画像処理により複数作成されることを特徴とする請求 の範囲第 3項に記載の画像処理方法。
[5] 前記強調工程では、処理対象画像に異なる画像処理を施して特徴画像を複数作 成し、この複数の特徴画像を含む処理対象画像のそれぞれにお！、て対応する位置 にある注目画素の画素値を前記識別器に入力し、この入力値力 当該識別器により 出力された出力値を、前記注目画素に対応する画素の画素値として強調画像を構 成することを特徴とする請求の範囲第 4項に記載の画像処理方法。
[6] 前記教師出力画像は、前記教師入力画像を加工して作成された画像であることを 特徴とする請求の範囲第 1項乃至第 5項の何れか一項に記載の画像処理方法。
[7] 前記教師出力画像は、前記特定パターンを関数ィ匕したパターンデータであることを 特徴とする請求の範囲第 1項乃至第 5項の何れか一項に記載の画像処理方法。
[8] 前記教師出力画像の画素値は、連続値であることを特徴とする請求の範囲第 6項 又は第 7項に記載の画像処理方法。
[9] 前記教師出力画像の画素値は、離散値であることを特徴とする請求の範囲第 6項 又は第 7項に記載の画像処理方法。
[10] 前記学習工程では、前記教師特徴画像に施す画像処理の特性によって各教師特 徴画像をグループ化し、当該グループに応じて前記識別器の学習を行うことを特徴 とする請求の範囲第 3項乃至第 5項の何れか一項に記載の画像処理方法。
[11] 前記教師画像は、医用画像であることを特徴とする請求の範囲第 1項乃至第 10項 の何れか一項に記載の画像処理方法。
[12] 前記教師画像は、医用画像力も部分的に抽出された部分画像であることを特徴と する請求の範囲第 11項に記載の画像処理方法。
[13] 前記特定パターンは、異常陰影を示すパターンであることを特徴とする請求の範囲 第 11項又は第 12項に記載の画像処理方法。
[14] 前記強調画像を用いて異常陰影候補の検出処理を施す検出工程を含むことを特 徴とする請求の範囲第 1項乃至第 13項の何れか一項に記載の画像処理方法。
[15] 特定パターンを有する教師画像であって、識別器に入力する教師入力画像及び当 該教師入力画像に対応する教師出力画像力もなる教師画像を用いて、前記特定パ ターンを前記識別器に学習させる学習手段と、
前記識別器により処理対象画像から前記特定パターンを強調した強調画像を作成 する強調手段と、
を備えることを特徴とする画像処理装置。
[16] 前記学習手段は、前記教師入力画像を構成する画素の画素値を前記識別器に入 力し、前記教師教師出力画像を構成する画素の画素値を当該入力に対する識別器 の学習目標値として当該識別器の学習を行うことを特徴とする請求の範囲第 15項に 記載の画像処理装置。
[17] 前記教師入力画像には、当該教師入力画像に画像処理を施して作成した複数の 教師特徴画像が含まれ、
前記学習手段は、前記複数の教師入力画像のそれぞれにおいて対応する位置に 存在する注目画素の画素値を前記識別器へ入力し、前記教師出力画像において前 記注目画素に対応する画素の画素値を当該入力に対する識別器の学習目標値とす ることを特徴とする請求の範囲第 15項又は第 16項に記載の画像処理装置。
[18] 前記教師特徴画像は、異なる画像処理により複数作成されることを特徴とする請求 の範囲第 17項に記載の画像処理装置。
[19] 前記強調手段は、処理対象画像に異なる画像処理を施して特徴画像を複数作成 し、この複数の特徴画像を含む処理対象画像のそれぞれにお!/ヽて対応する位置に ある注目画素の画素値を前記識別器に入力し、この入力値力 当該識別器により出 力された出力値を、前記注目画素に対応する画素の画素値として強調画像を構成 することを特徴とする請求の範囲第 18項に記載の画像処理装置。
[20] 前記教師出力画像は、前記教師入力画像を加工して作成された画像であることを 特徴とする請求の範囲第 15項乃至第 19項の何れか一項に記載の画像処理装置。
[21] 前記教師出力画像は、前記教師入力画像に含まれる特定パターンを関数化した ノターンデータであることを特徴とする請求の範囲第 15項乃至第 19項の何れか一 項に記載の画像処理装置。
[22] 前記教師出力画像の画素値は、連続値であることを特徴とする請求の範囲第 20項 又は第 21項に記載の画像処理装置。
[23] 前記教師出力画像の画素値は、離散値であることを特徴とする請求の範囲第 20項 又は第 21項に記載の画像処理装置。
[24] 前記学習手段は、前記教師特徴画像に施す画像処理の特性によって各教師特徴 画像をグループ化し、当該グループに応じて前記識別器の学習を行うことを特徴と する請求の範囲第 17項乃至第 19項の何れか一項に記載の画像処理装置。
[25] 前記教師画像は、医用画像であることを特徴とする請求の範囲第 15項乃至第 24 項の何れか一項に記載の画像処理装置。
[26] 前記教師画像は、医用画像力も部分的に抽出された部分画像であることを特徴と する請求の範囲第 25項に記載の画像処理装置。
[27] 前記特定パターンは、異常陰影を示すパターンであることを特徴とする請求の範囲 第 25項又は第 26項に記載の画像処理装置。 前記強調画像を用いて異常陰影候補の検出処理を施す異常陰影候補検出手段 を備えることを特徴とする請求の範囲第 15項乃至第 27項の何れか一項に記載の画 像処理装置。
PCT/JP2006/316211 2005-09-05 2006-08-18 画像処理方法及び画像処理装置 WO2007029467A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007534302A JPWO2007029467A1 (ja) 2005-09-05 2006-08-18 画像処理方法及び画像処理装置
US11/991,240 US20090169075A1 (en) 2005-09-05 2006-08-18 Image processing method and image processing apparatus
EP06796522A EP1922999B1 (en) 2005-09-05 2006-08-18 Image processing method and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005256385 2005-09-05
JP2005-256385 2005-09-05

Publications (1)

Publication Number Publication Date
WO2007029467A1 true WO2007029467A1 (ja) 2007-03-15

Family

ID=37835590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316211 WO2007029467A1 (ja) 2005-09-05 2006-08-18 画像処理方法及び画像処理装置

Country Status (5)

Country Link
US (1) US20090169075A1 (ja)
EP (1) EP1922999B1 (ja)
JP (1) JPWO2007029467A1 (ja)
CN (1) CN101252884A (ja)
WO (1) WO2007029467A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084880A1 (en) * 2007-01-12 2008-07-17 Fujifilm Corporation Radiation image processing method, apparatus and program
JP2010026017A (ja) * 2008-07-16 2010-02-04 Nikon Systems Inc 画像表示方法、プログラム、及び、画像表示装置
WO2010050333A1 (ja) * 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
WO2010050334A1 (ja) * 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
JP2015038441A (ja) * 2013-08-19 2015-02-26 株式会社Ｓｃｒｅｅｎホールディングス 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
JP2019506208A (ja) * 2016-01-21 2019-03-07 エレクタ、インク.Elekta, Inc. 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法
JP2019109553A (ja) * 2017-12-15 2019-07-04 コニカミノルタ株式会社 情報処理装置及び情報処理方法
WO2019221222A1 (ja) * 2018-05-18 2019-11-21 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
JP2020021228A (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2020075531A1 (ja) * 2018-10-10 2020-04-16 株式会社島津製作所 画像作成装置、画像作成方法および学習済みモデルの作成方法
JP2020108808A (ja) * 2016-04-05 2020-07-16 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
KR20200092841A (ko) * 2019-01-25 2020-08-04 주식회사 스트라드비젼 위험 요소 검출에 사용될 학습용 이미지 데이터 세트 생성 방법 및 컴퓨팅 장치 그리고 이용한 학습 방법 및 학습 장치
WO2021020339A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
US11587680B2 (en) 2019-06-19 2023-02-21 Canon Medical Systems Corporation Medical data processing apparatus and medical data processing method
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8013858B2 (en) * 2007-09-20 2011-09-06 Spx Corporation Statistical waveform drawing routine
US8520916B2 (en) * 2007-11-20 2013-08-27 Carestream Health, Inc. Enhancement of region of interest of radiological image
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9122955B2 (en) * 2010-06-28 2015-09-01 Ramot At Tel-Aviv University Ltd. Method and system of classifying medical images
JP5514127B2 (ja) * 2011-01-13 2014-06-04 富士フイルム株式会社 放射線画像表示装置および方法
AU2011200830B2 (en) * 2011-02-25 2014-09-25 Canon Kabushiki Kaisha Method, apparatus and system for modifying quality of an image
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
CN104766298B (zh) * 2014-10-22 2018-01-05 中国人民解放军电子工程学院 基于在线稀疏的红外图像冗余信息剔除方法与装置
US11221990B2 (en) 2015-04-03 2022-01-11 The Mitre Corporation Ultra-high compression of images based on deep learning
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
US11517197B2 (en) 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11280777B2 (en) * 2018-03-20 2022-03-22 SafetySpect, Inc. Apparatus and method for multimode analytical sensing of items such as food
JP7166189B2 (ja) * 2019-02-15 2022-11-07 東京エレクトロン株式会社 画像生成装置、検査装置及び画像生成方法
CN113240964B (zh) * 2021-05-13 2023-03-31 广西英腾教育科技股份有限公司 一种心肺复苏教学机器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150569A (ja) * 1996-11-15 1998-06-02 Hitachi Medical Corp 画像処理装置
JPH10255035A (ja) * 1997-03-11 1998-09-25 Hitachi Medical Corp 画像処理装置
US6754380B1 (en) 2003-02-14 2004-06-22 The University Of Chicago Method of training massive training artificial neural networks (MTANN) for the detection of abnormalities in medical images
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150569A (ja) * 1996-11-15 1998-06-02 Hitachi Medical Corp 画像処理装置
JPH10255035A (ja) * 1997-03-11 1998-09-25 Hitachi Medical Corp 画像処理装置
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US6754380B1 (en) 2003-02-14 2004-06-22 The University Of Chicago Method of training massive training artificial neural networks (MTANN) for the detection of abnormalities in medical images
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1922999A4

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084880A1 (en) * 2007-01-12 2008-07-17 Fujifilm Corporation Radiation image processing method, apparatus and program
JP2010026017A (ja) * 2008-07-16 2010-02-04 Nikon Systems Inc 画像表示方法、プログラム、及び、画像表示装置
WO2010050333A1 (ja) * 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
WO2010050334A1 (ja) * 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
JPWO2010050334A1 (ja) * 2008-10-30 2012-03-29 コニカミノルタエムジー株式会社 情報処理装置
JP5533662B2 (ja) * 2008-10-30 2014-06-25 コニカミノルタ株式会社 情報処理装置
JP2015038441A (ja) * 2013-08-19 2015-02-26 株式会社Ｓｃｒｅｅｎホールディングス 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
JP2019506208A (ja) * 2016-01-21 2019-03-07 エレクタ、インク.Elekta, Inc. 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法
US11386557B2 (en) 2016-01-21 2022-07-12 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US10867385B2 (en) 2016-01-21 2020-12-15 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
JP2020108808A (ja) * 2016-04-05 2020-07-16 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
JP7303144B2 (ja) 2016-04-05 2023-07-04 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
JP2019109553A (ja) * 2017-12-15 2019-07-04 コニカミノルタ株式会社 情報処理装置及び情報処理方法
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning
JPWO2019221222A1 (ja) * 2018-05-18 2021-08-12 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
JP7352261B2 (ja) 2018-05-18 2023-09-28 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
WO2019221222A1 (ja) * 2018-05-18 2019-11-21 国立大学法人東京農工大学 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
JP2020021228A (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2020026852A1 (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US11961161B2 (en) 2018-07-31 2024-04-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP7463575B2 (ja) 2018-07-31 2024-04-08 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2023033639A (ja) * 2018-07-31 2023-03-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7218118B2 (ja) 2018-07-31 2023-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2020075531A1 (ja) * 2018-10-10 2020-04-16 株式会社島津製作所 画像作成装置、画像作成方法および学習済みモデルの作成方法
JP7052880B2 (ja) 2018-10-10 2022-04-12 株式会社島津製作所 画像作成装置、画像作成方法および学習済みモデルの作成方法
JPWO2020075531A1 (ja) * 2018-10-10 2021-09-02 株式会社島津製作所 画像作成装置、画像作成方法および学習済みモデルの作成方法
KR102313607B1 (ko) 2019-01-25 2021-10-19 주식회사 스트라드비젼 위험 요소 검출에 사용될 학습용 이미지 데이터 세트 생성 방법 및 컴퓨팅 장치 그리고 이용한 학습 방법 및 학습 장치
JP2020119496A (ja) * 2019-01-25 2020-08-06 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20200092841A (ko) * 2019-01-25 2020-08-04 주식회사 스트라드비젼 위험 요소 검출에 사용될 학습용 이미지 데이터 세트 생성 방법 및 컴퓨팅 장치 그리고 이용한 학습 방법 및 학습 장치
US11587680B2 (en) 2019-06-19 2023-02-21 Canon Medical Systems Corporation Medical data processing apparatus and medical data processing method
JPWO2021020339A1 (ja) * 2019-07-26 2021-02-04
JP7321271B2 (ja) 2019-07-26 2023-08-04 富士フイルム株式会社 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
WO2021020339A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム

Also Published As

Publication number Publication date
JPWO2007029467A1 (ja) 2009-03-19
EP1922999A1 (en) 2008-05-21
EP1922999A4 (en) 2010-01-06
EP1922999B1 (en) 2011-08-03
US20090169075A1 (en) 2009-07-02
CN101252884A (zh) 2008-08-27

Similar Documents

Publication Publication Date Title
WO2007029467A1 (ja) 画像処理方法及び画像処理装置
EP3455782B1 (en) System and method for detecting plant diseases
AU705713B2 (en) Method and system for the detection of lesions in medical images
Iwahori et al. Automatic detection of polyp using hessian filter and HOG features
US20070253040A1 (en) Color scanning to enhance bitonal image
WO2013049153A2 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US20120099771A1 (en) Computer aided detection of architectural distortion in mammography
CN111507932B (zh) 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
Chapaneri et al. Plant disease detection: A comprehensive survey
Mohaimin et al. Automated method for the detection and segmentation of drusen in colour fundus image for the diagnosis of age‐related macular degeneration
CN108288276B (zh) 一种投影交互系统中触摸模式下的干扰滤除方法
Laroussi et al. Diagnosis of masses in mammographic images based on Zernike moments and Local binary attributes
CN112801031A (zh) 静脉图像识别方法、装置、电子设备及可读存储介质
CN115131355B (zh) 利用电子设备数据检测防水布异常的智能方法
CN116434920A (zh) 一种胃肠上皮化生进展风险预测方法与装置
Zabihi et al. Vessel extraction of conjunctival images using LBPs and ANFIS
Challoob et al. Retinal vessel segmentation using matched filter with joint relative entropy
Karale et al. A screening CAD tool for the detection of microcalcification clusters in mammograms
Vijayarajan et al. A novel comparative study on breast cancer detection using different types of classification techniques
CN113989588A (zh) 一种基于自学习的五边形绘图测试智能评价系统及方法
JP2003216953A (ja) 画像から対象物を抽出する方法およびその装置
CN113139936B (zh) 一种图像分割处理方法及装置
Kumar et al. Detection of Lung Malignancy Using SqueezeNet-Fc Deep Learning Classification Technique
Kamble et al. Automatic detection of optic disc using structural learning
US20230050168A1 (en) Digital tissue segmentation and mapping with concurrent subtyping

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680032015.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007534302

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2006796522

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11991240

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE