WO2006117932A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2006117932A1
WO2006117932A1 PCT/JP2006/305024 JP2006305024W WO2006117932A1 WO 2006117932 A1 WO2006117932 A1 WO 2006117932A1 JP 2006305024 W JP2006305024 W JP 2006305024W WO 2006117932 A1 WO2006117932 A1 WO 2006117932A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
hemorrhagic
area
bleeding
candidate
Prior art date
Application number
PCT/JP2006/305024
Other languages
English (en)
French (fr)
Inventor
Ryoko Inoue
Tetsuo Nonami
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005130231A external-priority patent/JP4855709B2/ja
Priority claimed from JP2005130229A external-priority patent/JP4832794B2/ja
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to CN2006800140335A priority Critical patent/CN101166456B/zh
Priority to US11/630,934 priority patent/US7907775B2/en
Priority to EP06729058A priority patent/EP1875855B1/en
Publication of WO2006117932A1 publication Critical patent/WO2006117932A1/ja
Priority to US12/859,628 priority patent/US8204287B2/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/07Endoradiosondes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Definitions

  • Image processing apparatus image processing method, and image processing program
  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for extracting a bleeding edge based on a medical image obtained by an endoscope apparatus or the like.
  • an endoscope apparatus inserts an elongated insertion portion into a body cavity, and captures an internal organ image captured by an objective optical system provided at the distal end of the insertion portion, such as a solid-state imaging device. And an endoscopic image of the organ in the body cavity is displayed on the monitor screen based on the imaging signal. The surgeon performs endoscopic image force observation and diagnosis displayed on the monitor screen.
  • the endoscopic device can directly capture the mucosal image of the digestive tract, the surgeon can combine various findings such as the color of the mucous membrane, the shape of the lesion, and the fine structure of the mucosal surface. Observation is possible.
  • a capsule endoscope apparatus has been developed as a medical device having a new image capturing function that can be expected to be useful in the same manner as this endoscope apparatus.
  • the capsule endoscope device is used to image the inside of the body cavity from when the subject swallows the capsule endoscope orally until it is discharged from the body, and the captured imaging signal is provided outside the body. Send to receiver. After the subject swallows the capsule endoscope, the capsule endoscope passes through the esophagus, stomach, duodenum, small intestine, and large intestine in the body cavity and is discharged outside the body. It takes several hours.
  • Capsule Endoscopic Force For example, when two images (frames) per second are captured and transmitted to a receiver outside the body, the capsule endoscope is swallowed and discharged from the body 6 If it takes time, an image is captured while the capsule endoscope travels through the body cavity The number is a huge amount of 43200 sheets.
  • the final diagnosis in the endoscopic examination using a capsule endoscope or a normal endoscope apparatus largely depends on the subjectivity of the doctor, and the quality of the diagnosis varies. There was also a problem. Therefore, for the purpose of improving the quality of diagnostic imaging and shortening the time required to read endoscopic images, the presence of lesions such as bleeding, redness, abnormal blood vessels, and polyps is automatically detected from endoscopic images. Realization of computer diagnosis support (CAD) was desired.
  • CAD computer diagnosis support
  • Computer diagnosis support is realized by an endoscope diagnosis support apparatus.
  • Endoscope The diagnosis support device uses various features calculated from the region of interest (R0I) in the image, threshold processing, or an image to be diagnosed using a statistical non-statistic discriminator. By providing doctors with information on whether such findings are classified as such, it supports objective 'numerical diagnosis'.
  • the endoscopic diagnosis support apparatus reduces the burden of interpretation on a doctor by selecting and presenting an image suspected of having a lesion.
  • PCT WO 02/073507 A2 uses the above-described endoscope diagnosis support apparatus based on the hue, saturation, and brightness of the observation target region in the endoscope image. A method for automatically detecting bleeding has been proposed.
  • the technique described in the above publication uses the normal mucosal hue, saturation, and lightness values that are set in advance in the endoscopic diagnosis support apparatus for the hue, saturation, and lightness values of the observation target region. Compare the sample value of the sample and the hue, saturation, and brightness sample values of the bleeding part, and determine whether the observation area is a normal mucous membrane or a bleeding part based on the distance of the force to the sample value
  • an image processing apparatus capable of detecting a hemorrhagic region using an amount of change in an image signal or a color signal in a contour portion of the hemorrhagic region
  • An object of the present invention is to provide an image processing program.
  • the image processing apparatus extracts a bleeding region candidate region of a bleeding region based on an image signal of a medical image composed of a plurality of color signals obtained by imaging a living body.
  • a feature amount calculation unit for calculating a feature amount of the hemorrhagic region based on calculation of a variation amount of the image signal in a small region including the candidate region in a plurality of small regions obtained by dividing the medical image;
  • a hemorrhagic edge determination unit that determines whether the candidate region is an outline of the hemorrhagic region based on the feature amount
  • the image processing apparatus divides a medical image corresponding to a medical image signal composed of a plurality of color signals obtained by imaging a living body into a plurality of small regions, and A small region including the outline of the hemorrhagic region is extracted from at least one color signal for the small region, the extracted small region is set as the hemorrhagic evaluation region, and the hemorrhagic evaluation region An evaluation area setting unit for setting an evaluation target area composed of a plurality of the small areas around the periphery;
  • a hemorrhagic candidate region determination unit that determines whether or not the candidate is a bleeding candidate region
  • a hemorrhagic region determination unit that determines whether or not the hemorrhagic candidate region is the hemorrhagic region from the ratio of the part, It is provided with.
  • FIG. 1 is a diagram schematically showing a network configuration of an image processing apparatus and related systems according to a first embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing an overall configuration of an image processing apparatus.
  • Fig. 3 is a flowchart explaining the procedure of image analysis processing by the image processing program.
  • FIG. 4 is a flowchart for explaining a procedure of bleeding part edge candidate extraction processing.
  • Fig. 5 is a schematic diagram for explaining analysis data
  • Fig. 5 (a) is a schematic diagram for explaining an original image
  • Fig. 5 (b) is a schematic diagram for explaining a bleeding part edge candidate image
  • FIG. 5C is a schematic diagram for explaining the shape edge image
  • FIG. 5D is a schematic diagram for explaining the bleeding part edge image.
  • FIG. 6 is a flowchart illustrating a procedure of shape edge extraction processing.
  • FIG. 7 is a diagram for explaining a method for calculating R fluctuation.
  • FIG. 8 is a flowchart for explaining the procedure of a bleeding part edge determination process.
  • FIG. 9 is a flowchart for explaining the procedure of image analysis processing by an image processing program according to the second embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a procedure for calculating a color edge feature quantity.
  • FIG. 11 is a diagram for explaining a calculation method for R fluctuation and G fluctuation.
  • FIG. 12 is a flowchart for explaining a procedure of image analysis processing by an image processing program according to the third embodiment of the present invention.
  • FIG. 13 is a schematic diagram for explaining the relationship between a bleeding part edge candidate region and a background region.
  • FIG. 14 schematically shows the value of the R signal of the pixel located on the line CC ′ in FIG. 13, and FIG. 14 (a) shows that the bleeding edge candidate region is the bleeding edge.
  • FIG. 14 (b) shows the change in the value of the R signal when the bleeding part edge candidate region is an edge made up of elements other than the bleeding.
  • FIG. 15 is a flowchart for explaining a procedure of image analysis processing by an image processing program according to the fourth embodiment of the present invention.
  • FIG. 16 is a schematic diagram for explaining a relationship between a bleeding part edge candidate region and an internal region.
  • FIG. 17 is a diagram schematically showing an overall configuration of an image processing apparatus according to a fifth embodiment of the present invention.
  • FIG. 18 is a flowchart for explaining the procedure of image analysis processing by the image processing program.
  • FIG. 19 is a flowchart for explaining a procedure of edge extraction processing.
  • FIG. 20 is a diagram for explaining a method for calculating G fluctuation.
  • FIG. 21 is a flowchart for explaining the procedure of bleeding part candidate extraction processing.
  • FIG. 22 is a diagram for explaining a bleeding part candidate extraction process.
  • FIG. 23 is a diagram for explaining a method for determining a bleeding part candidate.
  • FIG. 24 is a flowchart for explaining the procedure of bleeding part determination processing.
  • FIG. 25 is a diagram for explaining a calculation method of R fluctuation and G fluctuation.
  • FIG. 26 is a flowchart for explaining the procedure of a bleeding part edge candidate determination process in the second embodiment.
  • FIG. 27 is a diagram for explaining a setting position of a peripheral area in the fifth embodiment.
  • FIG. 28 is a diagram for explaining a bleeding part candidate determination process in the fifth embodiment.
  • FIG. 29 is a diagram for explaining a layout pattern of peripheral areas in the sixth embodiment. BEST MODE FOR CARRYING OUT THE INVENTION
  • the amount of change in the color signal at the contour of the hemorrhagic region (hereinafter referred to as the hemorrhagic edge) is detected based on relative judgment of the amount of change in the color signal and whether or not it is a hemorrhagic edge.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program capable of performing the above.
  • hemorrhagic region examples include a hemorrhagic region that is a region where bleeding actually occurs from the mucous membrane, and a reddening region that is a region where the mucosal surface is red due to hyperemia.
  • a hemorrhagic region that is a region where bleeding actually occurs from the mucous membrane
  • a reddening region that is a region where the mucosal surface is red due to hyperemia.
  • a bleeding part edge an outline of a bleeding part region
  • FIG. 1 is a diagram schematically showing a network configuration of the image processing apparatus 1 and related systems according to the first embodiment of the present invention.
  • an image processing apparatus 1 that performs various types of image processing and information processing is connected to a LAN 2 that uses TCP / IP as a communication protocol.
  • an endoscopic observation device 3 that images a mucous membrane in a living body and outputs an image signal of a medical image is also connected to the LAN 2 via the endoscope filing device 4.
  • the endoscope filing device 4 receives or captures an image signal from the endoscope observation device 3 to generate image data, and accumulates the generated image data. Then, the image processing apparatus 1 acquires the image data stored in the endoscope filing apparatus 4 via LAN2.
  • the image processing apparatus 1 is mainly composed of a general-purpose personal computer 11, and includes an operation device 12 composed of a keyboard and a mouse, a storage device 13 composed of a hard disk, and a CRT. And a display device 14.
  • FIG. 2 is a diagram schematically showing the overall configuration of the image processing apparatus 1.
  • the operation device 12, the storage device 13, and the display device 14 are electrically connected to the personal computer 11, respectively. Designation of the image data to be processed, acquisition display of the designated image data, and an instruction to execute the processing are input from the operation device 12. The results of various processes performed by the image processing apparatus 1 are displayed on the display device 14.
  • the personal computer 11 includes a CPU 21 that executes and controls various programs, a memory 22 that stores various processing programs and data, and an external storage I / F 23 that reads and writes information from and to the storage device 13. And network power 24 that communicates information with external devices, operation I / F 25 that receives operation signals input from the operation device 12 and performs necessary data processing, and video to the display device 14 And a graphic board 26 that outputs signals.
  • the CPU 21, memory 22, external storage IZF 23, network card 24, operation IZF 25, and graphic board 26 constituting the personal computer 11 are electrically connected via a bus 27. Therefore, this in the personal computer 11 Each of these components can transmit and receive information to and from each other via the bus 27.
  • the network card 24 is electrically connected to the LAN 2, and transmits and receives information to and from the endoscope filing device 4 that is also connected to the LAN 2.
  • the external storage I / F 23 reads the image processing program 28 stored in the storage device 13 and stores it in the memory 22.
  • the image processing program 28 is a program that executes image analysis processing, and includes a plurality of execution files, dynamic link library files, or setting files.
  • the CPU 21 operates.
  • the CPU 21 performs image analysis processing such as detection or determination of a contour portion (edge portion) of a bloody region, which will be described later, on the image data acquired from the endoscope filing device 4.
  • Analysis data 29 acquired and generated by each process in the CPU 21 is stored in the memory 22.
  • the analysis data 29 includes an original image 31 that is image data acquired from the endoscope filing device 4.
  • the analysis data 29 includes a bleeding part edge candidate image 32, a shape edge image 33, and a bleeding part edge image 34 that are generated by various processes to be described later. Each of these images 32 to 34 will be described in detail later.
  • the CPU 21 has the functions shown in FIG. 3 described below, that is, a bleeding part edge candidate extraction function, a feature amount calculation function, and a bleeding part edge determination function.
  • FIG. 3 is a flowchart for explaining the procedure of image analysis processing by the image processing program 28.
  • the CPU 21 acquires the image data designated from the operation device 12 from the image filing device 4 and stores it in the memory 22 as the original image 31.
  • the original image 31 is a color image composed of three planes of red (R), green (G), and blue (B), and the number of gradations of the pixels of each plane is 8 bits, that is, 0 to 255.
  • R red
  • G green
  • B blue
  • step S2 the CPU 21 acquires in step S1.
  • the processed original image 31 is subjected to various types of processing, and the bleeding edge candidate image 32, the shape edge image 33,
  • step S2 the bleeding part edge candidate image is extracted from the original image 31.
  • the shape edge extraction processing for generating the shape edge image 33 and the bleeding portion that generates the bleeding portion edge image 34 from the bleeding portion edge candidate image 32 and the shape edge image 33
  • edge determination processing step S40
  • shape edge image 33 and the bleeding part edge candidate image 3 are obtained by the feature amount calculation process.
  • the bleeding part edge image 34 is generated by the bleeding part edge processing.
  • step S2 Each process is executed in the order of steps S10, S20, and S40. Each process described above in the image analysis processing step (step S2) will be described in the order of processing.
  • FIG. 4 is a flowchart for explaining the procedure of the bleeding part edge candidate extraction process.
  • step S11 the CPU 21 divides the original image 31 into N ⁇ N small areas.
  • N 36 is set.
  • step S11 As a pre-process in step S11, inverse gamma correction for the original image 31 may be added. In this case, the corrected image on which these correction processes have been performed is divided into small areas, and the subsequent processes are performed.
  • step S12 the CPU 21 initializes i indicating a number for identifying a divided small area (hereinafter, referred to as a divided area) to be analyzed to 1. It should be noted that the number i specifying the divided area 43 is an integer value of 1 or more and N X N or less.
  • step S13 the CPU 21 obtains the R signal, G signal, and B signal values (luminance values) of the pixels included in the i-th divided area 43, and outputs each color signal in the i-th divided area 43.
  • the average value Ra, Ga, Ba of the issue is calculated.
  • step S14 the CPU 21 determines that the bleeding area color tone space is set in advance.
  • Bleeding area color tone space is the brightness level of each of the R, G, and B signals on the X axis. , Y-axis, z-axis three-dimensional space where the bleeding part can exist R signal brightness level range (Rmin ⁇ x ⁇ Rmax), G signal brightness level range (Gmin ⁇ y ⁇ Gmax), This is an internal space delimited by the range of the B signal luminance level (Bmin ⁇ z ⁇ Bmax).
  • step S14 the CPU 21 determines whether or not the average values Ra, Ga, Ba of the respective color signals calculated in step S13 are present in the bleeding part region color space, and i 1 corresponding thereto 1
  • the average values Ra, Ga, and Ba of the calculated color signals are the values in the bleeding area color tone space.
  • step SI5. When ⁇ Bmax, the process proceeds to step SI5. And in step S15 i
  • the CPU 21 determines that the i-th divided region 43 is a bleeding part edge candidate.
  • step S13 when the average values Ra, Ga, Ba of the respective color signals calculated in step S13 do not exist in the bleeding part region tone space, that is, Rmin> Ra, Ra> Rmax, Gmin> Ga, Ga > Gmax, Bmin> Ba, Ba> Bmax, if step S1 iii
  • step S16 the CPU 21 determines that the i-th divided area 43 is not a bleeding part edge candidate.
  • G / R and B / G color space may be used to determine the bleeding edge candidate.
  • the CPU 21 determines that the i-th divided region 43 is a bleeding part edge candidate.
  • (G / R) min and (G / R) max represent the minimum and maximum values of G / R, respectively.
  • (B / G) min and (B / G) max represent the minimum and maximum values of B / G, respectively.
  • step S17 the CPU 21 determines whether or not the bleeding part edge candidate determination has been performed for all the divided regions 43.
  • FIG. 5 A bleeding part edge candidate image 32 as shown in (b) is generated.
  • FIG. 5 is a schematic diagram for explaining the analysis data 29.
  • FIG. 5 (a) is a schematic diagram for explaining the original image 31
  • FIG. 5 (b) is a schematic diagram for explaining the bleeding part edge candidate image 32
  • FIG. 5 (c) is a shape edge.
  • FIG. 5D is a schematic diagram for explaining the image 33
  • FIG. 5D is a schematic diagram for explaining the bleeding part edge image.
  • a mucosal shape region 41 such as a groove formed on the mucosal surface and a blood discharge region 42 are present.
  • the bleeding part edge candidate image 32 shown in FIG. 5 (b) obtained based on the original image 31 all the divided areas 43 are the bleeding part edge candidate areas 44 (hatched parts) or non-bleeding parts. It is classified into one of the edge candidate areas 45, and the bleeding part edge candidate area 44 includes a mucous membrane shape area 41 and a bleeding part area 42.
  • FIG. 6 is a flowchart for explaining the procedure of the shape edge extraction process in step S20 of FIG.
  • the CPU 21 determines that the contour portion of the mucosa shape region 41 (hereinafter referred to as shape edge) is a shape edge region formed by a large region in which a plurality of divided regions 43 are connected.
  • the process to extract is performed.
  • step S21 the CPU 21 initializes i, which indicates a number for identifying the divided area 43 to be analyzed, to 1. Note that the number i for specifying the divided region 43 is an integer value of 1 or more and N X N or less.
  • step S 22 the CPU 21 calculates a change in the value of the R signal in the i-th divided region 43 (hereinafter referred to as “R change”).
  • the R variation is calculated from the R signal value ( R1 ) of a specific pixel in the i-th divided region 43 and the R signal value (R2) of another specific pixel in the same divided region 43.
  • the CPU 21 calculates the R variation for each of the eight directions in the divided region 43, ie, the vertical direction, the horizontal direction, and the diagonal direction.
  • Figures 7 (a) to 7 (h) are diagrams for explaining a method for calculating the R fluctuation.
  • the first R variation is an upward R variation as shown in Fig. 7 (a).
  • the R signal value of the lower center pixel is Rl
  • the R signal value of the upper central pixel is Rl. Calculated as R2.
  • the second R variation is an R variation in the upper right direction of the diagonal line as shown in Fig. 7 (b) .
  • the R signal value of the lower left pixel is Rl
  • the R signal value of the upper right pixel is Calculated as R2.
  • the third R variation is the R variation in the right direction as shown in Fig. 7 (c).
  • the R signal value of the pixel in the center left is Rl
  • the R signal value of the pixel in the center right is R2. Is calculated as
  • the fourth R variation is an R variation in the diagonally lower right direction as shown in Fig. 7 (d).
  • the R signal value of the upper left pixel is Rl
  • the R signal value of the lower right pixel is The value is calculated as R2.
  • the fifth R variation is a downward R variation as shown in Fig. 7 (e)
  • the R signal value of the upper center pixel is calculated as Rl
  • the R signal value of the lower center pixel is calculated as R2. Is done.
  • the sixth R variation is the R variation in the diagonally lower left direction, where the R signal value of the upper right pixel is Rl and the R signal value of the lower left pixel is R2. Calculated.
  • the seventh R variation is an R variation in the left direction as shown in Fig. 7 (g).
  • the value of the R signal of the pixel in the right center is Rl
  • the value of the R signal of the pixel in the left center is The value is calculated as R2.
  • the eighth R variation is the R variation in the diagonally upper left direction.
  • the R signal value of the lower right pixel is Rl
  • the R signal value of the upper left pixel is Calculated as R2.
  • step S23 the CPU 21 acquires the maximum value in the first to eighth R variations calculated in step S22 as the edge feature amount A.
  • step S24 the CPU 21 determines whether or not the i-th divided area 43 is an edge. Specifically, if the edge feature value force A> Thl, the i-th divided region 43 is determined to be an edge.
  • step S29 the CPU 21 performs a labeling process on the area determined to be an edge in step S25 among the N ⁇ N divided areas 43.
  • the labeling process in the present embodiment is performed as follows.
  • the CPU 21 sequentially scans the image data from the upper left to the lower right, finds a divided area 43 that is not labeled and is determined to be an edge area, and assigns a predetermined number as a label value. .
  • the CPU 21 does not use the label value already assigned to the other divided area 43, and adds a value obtained by adding 1 to the maximum value of the label value already assigned. Granted to Area 4 3.
  • the CPU 21 assigns, for example, 1 to the divided area 43 as a label value. Next, the CPU 21 assigns the same label value to all the divided regions 43 that are connected to the divided region 43 to which the label value is assigned and are determined to be edge regions.
  • the CPU 21 repeats the above scanning and label value assignment until label values are assigned to all the divided areas 43 determined to be edge areas. In other words, by the labeling process, the same label value is assigned to the divided regions 43 belonging to the same connected portion, and different label values are assigned to the connected portions.
  • step S 30 the CPU 21 acquires the maximum value of the label value assigned to the N ⁇ N divided areas 43 in step S 29 as L. Subsequently, in step S31, the CPU 21 initializes j indicating 1 that indicates a label value for identifying the connected divided regions 43 to be analyzed. It should be noted that the label value j specifying the connected divided areas 43 takes an integer value of 1 or more and L or less. Next, in step S32, the CPU 21 counts the number of the divided areas 43 having the label value j, and obtains the counted area number M.
  • step S33 the CPU 21 performs label classification determination for determining whether the label value j is a shape edge label or a bleeding part edge label. Specifically, the CPU 21 determines that the label value j is a shape edge label if the number of areas M is M> Th2. Is determined.
  • M> Th2 the CPU 21 determines that the label value j is the shape edge label j
  • step S36 If M ⁇ Th2, go to step S35.
  • the CPU 21 determines that the label value j is a bleeding part edge label, and proceeds to the process of step S36.
  • step S36 the CPU 21 determines whether or not the label classification determination has been performed for all the divided regions 43 determined to be edges.
  • step S37 the CPU 21 adds 1 to the label tj that identifies the concatenated divided areas (j shout + 1), returns to step S32, and remains.
  • a shape edge image 33 as shown in FIG. 5C is generated.
  • the divided region 43 to which the label value classified as the shape edge label is given is shown as the shape edge region 46 (shaded portion).
  • This shape edge region 46 coincides with the divided region 43 corresponding to the contour portion of the mucous membrane shape region 41 in the bleeding portion edge candidate region 44 of the bleeding portion edge candidate image 32 shown in FIG.
  • FIG. 8 is a flowchart for explaining the procedure of the bleeding part edge determination process.
  • the CPU 21 performs a process of determining the bleeding part edge area 47 from the bleeding part edge candidate area 44 extracted in the bleeding part edge candidate extraction process.
  • the CPU 21 initializes i indicating a number for identifying the divided region 43 to be analyzed to 1.
  • step S42 the CPU 21 determines whether or not the i-th divided region 43 is the bleeding part edge candidate region 44.
  • the determination process in step S42 is the bleeding part edge candidate extraction process in step S10 of FIG. It is based on the result of the reason.
  • the CPU 21 proceeds to the process of step S43, and determines whether or not the label value assigned to the i-th divided area 43 is a bleeding part edge label. judge. If the i-th divided area 43 is not the blood bleeding part edge candidate area 44, the CPU 21 determines in step S45 that the divided area is not the bleeding part edge area 47, and proceeds to step S46.
  • step S43 is made based on the result of the shape edge extraction process in step 20 of FIG. If the label value assigned to the i-th divided area 43 is the bleeding part edge label, the CPU 21 determines in step S44 that the i-th divided area 43 is the bleeding part edge area 47, and step S46. Proceed to
  • the label value given to the i-th divided area 43 is not a bleeding part edge label, that is, the label value given to the i-th divided area 43 is a shape edge label or a label is given. If not, the CPU 21 determines in step S45 that the divided area is not the bleeding part edge area 47, and proceeds to step S46.
  • a bleeding part edge image 34 as shown in FIG. 5 (d) is generated.
  • the outline of the bleeding part region 42 in the original image 31 shown in FIG. 5 (a), that is, the bleeding part edge is displayed as the bleeding part edge region 47 (shaded part). Has been.
  • the image processing apparatus 1 acquires the original image 31 captured by the endoscope observation apparatus 3 through the image filing apparatus 4 and detects the bleeding part edge in the original image 31. That power S.
  • the image processing apparatus 1 by using the change amount of the specific color signal at the bleeding part edge, it is relatively determined whether or not the bleeding part edge is detected. Can do.
  • the shape edge or the bleeding part Therefore, the bleeding part edge can be accurately extracted.
  • the surgeon uses the bleeding part edge image 34 as an observation target, so that the quality of image diagnosis can be improved and the time required for reading an endoscopic image can be shortened.
  • the edge region is extracted using the edge feature amount A which is the maximum value of the fluctuation of the R signal, and it is determined from the size of the edge region whether or not it is a bleeding part edge.
  • the color edge feature amount B is calculated based on the variation of two or more color signals of the R signal, the G signal, and the B signal, and the color edge feature amount B is used for bleeding. It is determined whether it is a part edge.
  • the image processing apparatus 1 has the same hardware configuration as the image processing apparatus 1 in FIG. An image processing program 51 different from the image processing program 28 stored in the storage device 13 of FIG. 2 is stored. Further, unlike the case of FIG. 2, the analysis data stored in the memory 22 is two types of image data, that is, the original image 31 and the bleeding part edge image 34.
  • the image processing apparatus 1 is different from the processing contents of the image processing program 51 in that the analysis data acquired and generated by executing the image processing program 51 and stored in the memory 22.
  • 52 is the two types of image data of the original image 31 and the bleeding part edge image 34, except that the bleeding part edge candidate image 32 and the shape edge image 33 are not included. Is the same. For this reason, in the present embodiment, only the characteristic operation will be described, the same components are denoted by the same reference numerals, and the description thereof will be omitted.
  • FIG. 9 is a flowchart for explaining the procedure of image analysis processing by the image processing program 51.
  • step S 110 the CPU 21 acquires the image data designated from the operation device 12 from the image filing device 4 and stores it in the memory 22 as the original image 31.
  • step S120 the CPU 21 divides the original image 31 acquired in step S110 to generate NXN divided regions 43.
  • step S130 the CPU 21 Initialize i to 1, which indicates the number that identifies the subregion 43 to be an elephant. Note that the number i for identifying the divided region 43 is an integer value of 1 or more and NXN or less.
  • step S140 the CPU 21 calculates a color edge feature amount B in the i-th divided region 43.
  • the procedure for calculating the color edge feature amount in step S140 will be described with reference to the flowchart of FIG. FIG. 10 is a flowchart for explaining the color edge feature amount calculation procedure.
  • step S141 the CPU 21 performs the fluctuation of the R signal value (hereinafter referred to as R fluctuation) and the fluctuation of the G signal value (hereinafter referred to as G fluctuation) in the i-th divided region 43. calculate.
  • the R variation is the R signal value (R1) of a specific pixel P1 in the divided region 43 and the R signal value (R2) of another specific pixel P2 in the same divided region 43.
  • FIG. 11 is diagrams for explaining the calculation method of R fluctuation and G fluctuation.
  • the calculation methods for the first to eighth R fluctuations shown in Figs. 11 (a) to (h) are the same as the calculation methods for the first to eighth R fluctuations shown in Figs. 7 (a) to (h). Because there is, we omit the explanation.
  • the first to eighth G fluctuation calculation methods shown in FIGS. 11 (a) to 11 (h) use the same pixels as those used to calculate the first to eighth R fluctuations. If the R signal values Rl and R2 are replaced with the G signal values Gl and G2, respectively, the calculation method is the same as the first to eighth R fluctuation calculation methods. Omitted.
  • step S142 the CPU 21 performs the first to eighth G fluctuations, respectively.
  • the CPU 21 obtains the maximum value of the first to eighth fluctuation ratios obtained in step S142 as the color edge feature amount B.
  • the maximum value of G fluctuation / R fluctuation is set as the color edge feature amount B.
  • the CPU 21 may use the maximum value of the B variation ZG variation.
  • step S150 of FIG. 9 the CPU 21 determines whether or not the i-th divided area 43 is a bleeding part edge. Specifically, if the color edge feature quantity is B> Th 3, the CPU 21 determines that the i-th divided area 43 is a bleeding part edge.
  • Th3 is a threshold value serving as a reference value when determining that the edge is a bleeding part edge.
  • Th3 is set to 0.1.
  • step S170 the CPU 21 determines that the i-th divided area 43 is bleeding.
  • step S180 It judges that it is not a part edge, and progresses to step S180.
  • the color edge feature amount Bi calculated based on the variation of two or more color signals among the R signal, the G signal, and the B signal is used. Therefore, it is possible to detect and determine the relative power of the bleeding part edge.
  • the present embodiment can extract bleeding part edges of various sizes such as a bleeding part having a large area or a bleeding part extracted by dividing the edge, so that the detection accuracy of the bleeding part edge is high. Further improve.
  • the image processing apparatus 1 uses an image processing product 61 that is different in processing content from the image processing program of the image processing apparatus 1 in FIG.
  • the image processing apparatus 1 according to the present embodiment obtains and generates analysis data 62 that is acquired and generated by executing the image processing program 61 and stored in the memory 22, and includes the original image 31 and the bleeding part edge image 34.
  • This type of image data is the same as that of the first embodiment except that the bleeding part edge candidate image 32 and the shape edge image 33 are not included. For this reason, here, only the characteristic action will be described, and the same components are denoted by the same reference numerals and the description thereof is omitted.
  • FIG. 12 is a flowchart for explaining the procedure of image analysis processing by the image processing program 61.
  • step S 201 the CPU 21 acquires the image data designated from the operation device 12 from the image filing device 4 and stores it in the memory 22 as the original image 31.
  • step S202 the CPU 21 generates N ⁇ N divided regions 43 from the original image 31 acquired in step S201, and extracts the bleeding part edge candidate region 44.
  • the process in step S202 is the same as the bleeding part edge candidate extraction process described with reference to FIG. 4 in the first embodiment, and thus the description thereof is omitted.
  • the CPU 21 initializes i indicating a number for identifying the bleeding part edge candidate region 44 to be analyzed to 1.
  • the number i for identifying the bleeding part edge candidate region 44 is an integer value of 1 or more and M or less.
  • M is the number of the divided areas 43 extracted as the blood extraction part edge candidate areas 44 in step S202.
  • step S204 CPU 21 calculates first to eighth R fluctuations in i-th bleeding part edge candidate region 44.
  • the method for calculating the R fluctuation in step S204 is the same as the method described with reference to FIG. 7 in the first embodiment, and thus the description thereof is omitted.
  • the CPU 21 sets the maximum value of the first to eighth R fluctuations calculated in step S204 as the edge feature quantity A1, and sets the direction in which the R fluctuation is the maximum as D. To calculate. For example, when the 4th R fluctuation is the maximum, the direction Di is diagonally lower right as shown in Fig. 7 (d). Note that the two feature quantities of edge feature quantity A1 and direction D are collectively referred to as candidate area continuity feature quantities.
  • step S206 the CPU 21 sets a background region 63 related to the i-th bleeding site edge candidate region 44.
  • FIG. 13 is a schematic diagram for explaining the relationship between the bleeding part edge candidate region 44 and the background region 63.
  • the background region 63 is a region necessary for evaluating the continuity of the edge feature amount, and is the direction D obtained in step S205 as viewed from the center of the i-th bleeding part edge candidate region 44. Located adjacent to the opposite direction.
  • the CPU 21 calculates the R variation in the direction D in the background area 63 and calculates it as the background area continuity feature amount A 2.
  • the method for calculating the R variation is the same as the method for calculating the R variation in the bleeding site edge candidate region 44, and thus the description thereof is omitted.
  • next step S208 the CPU 21 determines whether or not the i-th bleeding part edge candidate region 44 is a bleeding part edge. Specifically, the value obtained by dividing the background region continuity feature A2 by the edge feature A1 is defined as the continuity evaluation feature C. If C ⁇ Th4, the i-th bleeding region edge candidate region 44 is the bleeding region. Judged to be an edge.
  • Th4 is a threshold value that serves as a reference value when determining that it is a bleeding part edge. In the present embodiment, for example, Th4 is set to 0.2.
  • step S209 the CPU 21 determines that the i-th bleeding part edge candidate region 44 is a bleeding part edge, and proceeds to step S211.
  • step S210 the CPU 21 determines that the i-th bleeding part edge candidate region 44 is an edge made up of elements other than bleeding and is not a bleeding part edge. Determination is made and the process proceeds to step S211.
  • FIG. 14 is a schematic diagram for explaining bleeding part edge determination based on the continuity evaluation feature amount C.
  • FIG. 14 schematically shows the value of the R signal of the pixel located on the line CC ′ in FIG. [0111]
  • Fig. 14 (a) shows the change in R signal value when the bleeding part edge candidate region 44 is a bleeding part edge
  • Fig. 14 (b) shows the bleeding part edge candidate region 44 other than bleeding. The change in the value of the R signal when the edge is composed of is shown.
  • the bleeding part edge candidate area 44 is an edge made up of elements other than bleeding
  • the value of the R signal extends from the background area 63 to the bleeding part edge candidate area 44. Changes slowly.
  • the continuity evaluation feature C By capturing the difference in the value of the R signal from the background region 63 to the bleeding part edge candidate region 44 as the continuity evaluation feature C, which is the R variation ratio of both, the continuity evaluation feature The quantity C can be used to determine whether or not it is a bleeding edge.
  • the image processing apparatus 1 by using the edge feature amount that is the change amount of the color signal at the bleeding portion edge, it is relatively determined whether or not the bleeding portion edge. Can detect power S.
  • edge feature amounts are calculated also in the peripheral region of the bleeding portion edge, and the continuity of the edge feature amount from the peripheral region to the bleeding portion edge is evaluated to determine whether or not the bleeding portion edge is Therefore, it is possible to prevent a shape change or intestinal fluid having an edge feature amount similar to the bleeding part edge from being erroneously detected as the bleeding part edge. Therefore, according to the present embodiment, the detection accuracy of the bleeding part edge is further improved.
  • bleeding part edge candidate region 44 may be extracted using the color edge feature amount described in the second embodiment instead of the edge feature amount.
  • the CPU 21 determines the bleeding part edge candidate region 44 in step S202 in FIG. Instead of performing the extraction process (that is, the bleeding part edge candidate extraction process described with reference to FIG. 4 in the first embodiment), the bleeding part edge extraction described with reference to FIG. 9 in the second embodiment. The same processing as the processing is performed. In this case, the region extracted as the bleeding portion edge in the second embodiment is the bleeding portion edge candidate region 44 in this embodiment.
  • the edge feature amount is calculated also in the peripheral region of the blood discharge portion edge candidate region, and the continuity of the edge feature amount over the peripheral region force discharge portion edge candidate region is evaluated.
  • whether or not it is a bleeding part edge is determined based on the liquid surface tone of the inner area of the bleeding part edge candidate area.
  • the overall configuration of the image processing apparatus 1 is the same as that of the third embodiment except that the processing content of the image processing program 71 is different. Therefore, only the characteristic operations will be described here.
  • the same components are denoted by the same reference numerals, and the description thereof is omitted.
  • FIG. 15 is a flowchart for explaining the procedure of image analysis processing by the image processing program 71.
  • step S 301 the CPU 21 acquires the image data designated from the operation device 12 from the image filing device 4 and stores it in the memory 22 as the original image 31.
  • step S302 the CPU 21 generates N ⁇ N divided regions 43 from the original image 31 acquired in step S301, and extracts the bleeding part edge candidate region 44.
  • the CPU 21 initializes i indicating a number for identifying the bleeding part edge candidate region 44 to be analyzed to 1.
  • the number i for identifying the bleeding part edge candidate region 44 is an integer value of 1 or more and M or less.
  • M is the number of the divided areas 43 extracted as the blood extraction part edge candidate areas 44 in step S302.
  • step S304 the CPU 21 calculates the first to eighth R fluctuations in the i-th bleeding part edge candidate region 44.
  • the processes in steps S301 to S304 described above are the same as the processes in steps S201 to S204 in FIG.
  • step S305 the CPU 21 sets the direction in which the first to eighth R fluctuations calculated in step S304 are the maximum as the candidate area feature amount D ′. For example, when the fourth R variation is maximum, the candidate region feature amount D ′ is in the diagonally lower right direction as shown in FIG. 7 (d).
  • step S306 the CPU 21 sets an internal region 72 related to the i-th bleeding portion edge candidate region 44 as shown in FIG.
  • FIG. 16 is a schematic diagram for explaining the relationship between the bleeding part edge candidate region 44 and the inner region 72.
  • the inner area 72 is an area for evaluating the liquid surface color tone inside the edge, and is the candidate area feature D ′ obtained in step S305 as seen from the center of the i-th bleeding area edge candidate area 44. It is located adjacent to the direction of.
  • the inner region 72 has the same shape and area as the bleeding part edge candidate region 44.
  • step S307 the CPU 21 obtains the values of the R signal, the G signal, and the B signal of the pixels included in the internal region 72, and calculates the average value Ra ′ of each color signal in the internal region 72, Ga ',
  • the CPU 21 compares the bleeding portion region color space set in advance with the average values Ra ′, Ga ′, Ba ′ of the color signals calculated in step S307.
  • steps S307 and S308 are the same as the processes in steps S13 and S14 in FIG. If the average value Ra ′, Ga ′, Ba ′ of each color signal calculated in step S307 is present in the bleeding area color tone space, in step S309, the CPU 21 determines that the i-th bleeding area edge candidate area 44 is the bleeding area. It is determined that it is an edge, and the process proceeds to step S311.
  • step S307 determines in step S310 that the i-th bleeding area edge candidate area. 44 determines that it is not a bleeding part edge, and proceeds to the process of step S311.
  • the G / R, B / G tone space may be used to determine the bleeding part edge.
  • CPU21 is the i-th partition region 43 is judged as a bleeding part edge candidate.
  • the image processing apparatus 1 by using the edge feature amount that is the change amount of the color signal at the bleeding portion edge, it is relatively determined whether or not it is the bleeding portion edge. Can detect power S.
  • the liquid surface color tone is evaluated in the internal region of the bleeding part edge to determine whether or not it is a bleeding part edge. It is possible to prevent a foreign object or intestinal fluid having a similar edge feature amount change from being erroneously detected as a bleeding part edge. Therefore, according to the present embodiment, the detection accuracy of the bleeding part edge is further improved.
  • the bleeding edge edge candidate region is described using the color edge feature amount described in the second embodiment. 44 may be extracted.
  • the present invention is not limited to the above-described embodiment. Various changes and modifications can be made without departing from the gist of the invention.
  • the present invention can be applied to the case of extracting the reddish outline of the mucosal surface.
  • the hemorrhagic edge is judged based on the amount of change in the color signal in the contour of the hemorrhagic region (hereinafter referred to as the hemorrhagic edge).
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program capable of detecting a hemorrhagic region surrounded by edges.
  • the hemorrhagic region includes a bleeding part, which is a region where bleeding actually occurs from the mucosa, and the mucosal surface becoming red due to redness or the like.
  • the redness part etc. which are areas are raised.
  • the network configuration of the related system of the image processing apparatus 1 according to the fifth embodiment of the present invention is the same as that shown in FIG.
  • an image processing apparatus 1 that performs various types of image processing and information processing is connected to a LAN 2 that uses TCP / IP as a communication protocol.
  • an endoscopic observation device 3 that captures an image of a living body and outputs an image signal is also connected to the LAN 2 via the endoscope filing device 4.
  • the endoscope filing device 4 receives the image signal from the endoscope observation device 3 to generate image data, and accumulates the generated image data. That is, the image processing device 1 acquires the image data stored in the endoscope filing device 4 via the LAN 2.
  • the image processing apparatus 1 of the present embodiment has a configuration shown in FIG.
  • the image processing apparatus 1 has the same hardware configuration as the image processing apparatus 1 in FIG. For this reason, the same components as those in FIG.
  • the image processing apparatus 1 of the present embodiment employs an image processing program 128 that is different from the image processing program 28 of FIG.
  • the analysis data 29 stored in the memory 22 stores an image different from the analysis data 29 stored in the memory 22 in FIG.
  • the image processing apparatus 1 is configured around a general-purpose personal computer 11, and includes an operation device 12 including a keyboard and a mouse, and a hard disk. And a display device 14 made of CRT.
  • the operating device 12, the storage device 13, and the display device 14 are electrically connected to the personal computer 11 respectively. Designation of the image data to be processed, acquisition display of the designated image data, and an instruction to execute the processing are input from the operation device 12. In addition, the results of various processes performed by the image processing apparatus 1 are displayed on the display device 14.
  • the personal computer 11 includes an external storage I / O that reads and writes information between the CPU 21 that executes and controls various programs, the memory 22 that stores various processing programs and data, and the storage device 13. Network power to communicate information between F23 and external devices And a graphic board 26 that receives the operation signal input from the operation device 12 and performs necessary data processing and outputs a video signal to the display device 14, respectively. It is electrically connected to bus 27. Therefore, each component of the personal computer 11 can transmit / receive information to / from each other via the bus 27.
  • the network card 24 is electrically connected to the LAN 2 and transmits / receives information to / from the endoscope filing device 4 that is also connected to the LAN 2.
  • the external storage I / F 23 reads the image processing program 128 stored in the storage device 13 and stores it in the memory 22.
  • the image processing program 128 is a program that executes image analysis processing, and includes a plurality of execution files, dynamic link library files, or setting files.
  • the CPU 21 operates by executing the image processing program 128 stored in the memory 22.
  • the CPU 21 performs image analysis processing on the image data acquired from the endoscope filing device 4.
  • the analysis data 29 acquired and generated by each process in the CPU 21 is hidden in the memory 22.
  • the analysis data 29 includes an original image 31 that is image data acquired from the endoscope filing device 4. Furthermore, the analysis data 29 includes an edge image 132, a bleeding part candidate image 133, and a bleeding part image 134 that are generated by various processes to be described later.
  • the CPU 21 divides the original image 31 into a plurality of small areas as described below, and extracts and extracts a region including the outline of the color signal power hemorrhagic region in each small region. It has an evaluation area setting processing function to set the small area as a bleeding evaluation area.
  • the CPU 21 sets the vicinity of the bleeding evaluation area or a plurality of small areas around it as an evaluation target area during the evaluation area setting process. Then, the CPU 21 calculates the variation amount of the color signal in the plurality of evaluation target regions, extracts a bleeding edge candidate region based on the variation amount, and sets the set evaluation target region and the extracted bleeding property. Proportional power with edge candidate area It has a function to determine whether or not the bleeding evaluation area is a bleeding candidate area.
  • the CPU 21 calculates the amount of fluctuation of two or more color signals in the hemorrhagic edge candidate region. Based on the above, it has a hemorrhagic area determination processing function that determines whether or not the bleeding candidate area is a hemorrhagic area.
  • FIG. 18 is a flowchart for explaining the procedure of image analysis processing by the image processing program 128.
  • the CPU 21 acquires the image data designated from the operation device 12 from the image filling device 4 and stores it in the memory 22 as the original image 31.
  • the original image 31 is a color image composed of three planes of red (R), green (G), and blue (B).
  • the number of gradations of the pixels of each plane is 8 bits, that is, 0 to 255. Take the value.
  • the CPU 21 performs various processes on the original image 31 acquired in step S401 to generate a bleeding part candidate image 133, an edge image 132, and a bleeding part image 134. To do.
  • an edge extraction process (step S410) that generates an edge image 132 from the original image 31, and a bleeding part candidate that generates a bleeding part candidate image 133 from the original image 31.
  • the extraction process (step S420) and the bleeding part determination process (step S440) for generating the bleeding part image 134 from the edge image 132 and the bleeding part candidate image 133 are configured in this order.
  • the Each processing described above in the image analysis processing step (step S402) will be described according to the processing order.
  • FIG. 19 is a flowchart for explaining the procedure of the edge extraction process.
  • step S411 the CPU 21 divides the original image 31 into N X N small regions.
  • N 36 is set. Note that you can add inverse gamma correction and shading correction to the original image 31 as preprocessing in step S411. In this case, the corrected image on which these correction processes have been performed is divided into small areas, and the subsequent processes are performed.
  • step S412 the CPU 21 determines that the divided small area (below, I indicating the number for identifying the divided area is initialized to 1. Note that the number i specifying the divided area 141 takes an integer value of 1 or more and NXN or less.
  • step S413 the CPU 21 calculates a change in the value of the G signal in the i-th divided region 141 (hereinafter referred to as a G change).
  • the G variation is calculated from the G signal value (G1) of a specific pixel in the divided area 141 and the G signal value (G2) of another specific pixel in the same divided area 43.
  • FIGS. 20 (a) to (h) are diagrams for explaining a method of calculating the G fluctuation.
  • the first G variation is an upward G variation as shown in Fig. 20 (a).
  • the G signal value of the center lower pixel is Gl
  • the G signal value of the center upper pixel is Gl. Calculated as G2.
  • the second G variation is a G variation in the upper right corner of the diagonal line, where the G signal value of the lower left pixel is Gl and the G signal value of the upper right pixel is G2.
  • the third G variation is the G variation in the right direction as shown in Fig. 20 (c), where the G signal value of the left center pixel is Gl and the G signal value of the right center pixel is G2. Is calculated as
  • the fourth G variation is the G variation in the diagonally lower right direction as shown in Fig. 20 (d).
  • the G signal value of the upper left pixel is Gl
  • the G signal value of the lower right pixel is The value is calculated as G2.
  • the fifth G variation is the downward G variation
  • the G signal value of the upper center pixel is G1
  • the G signal value of the lower center pixel is G2. Is done.
  • the sixth G variation is the G variation in the diagonally lower left direction, as shown in Fig. 20 (f) .
  • the G signal value of the upper right pixel is G1
  • the G signal value of the lower left pixel is G2. Is calculated as
  • the seventh G variation is a G variation in the left direction as shown in Fig. 20 (g).
  • the G signal value of the pixel at the right center is Gl
  • the G signal of the pixel at the left center is The value is calculated as G2.
  • the 8th G variation is the G variation in the diagonal upper left direction, where the G signal value of the lower right pixel is G1, and the G signal value of the upper left pixel is G2. Calculated.
  • step S414 the CPU 21 calculates the maximum value of the first to eighth G fluctuations calculated in step S413 as E1, and calculates the direction in which the G fluctuation is maximum as D1.
  • E1 the maximum value of the first to eighth G fluctuations calculated in step S413
  • D1 the direction in which the G fluctuation is maximum
  • the direction Dl f is the diagonal lower right direction as shown in FIG. 20 (d).
  • edge feature values the two feature values of G variation maximum value E1 and direction D1 are collectively referred to as edge feature values.
  • step S415 the CPU 21 determines whether or not the i-th divided region 141 is a force that is an edge. Specifically, if the maximum value of G fluctuation El ⁇ El> Thrl, the CPU 21 determines that the i-th divided area 141 is an edge.
  • step S416 the CPU 21 determines that the i-th divided area 141 is
  • step S418 the CPU 21 determines with it being an edge, and progresses to step S418.
  • step S417 the CPU 21 determines that the i-th divided area 141 is not an edge, and proceeds to step S418.
  • FIG. 21 is a flowchart for explaining the procedure of the bleeding part candidate extraction process.
  • the CPU 21 extracts a bleeding part candidate and a bleeding part edge candidate based on the arrangement of the edges extracted in the edge extraction process.
  • the CPU 21 executes the processing from step S421 to step S423 as evaluation area setting means, and sets the peripheral area 143 as the evaluation target area for the i-th divided area 141 as the bleeding evaluation area. .
  • the peripheral region 143 is set on a closed curve that surrounds the outer periphery of the i-th divided region 141.
  • the CPU 21 initializes i indicating a number for identifying the divided area 141 to be analyzed to 1. Note that the number i for specifying the divided region 141 takes an integer value of 1 or more and N X N or less.
  • step S422 the CPU 21 determines that the i-th segment as shown in Fig. 22 (a). MXM divided areas 141 centering on the area 141 are acquired as the arrangement evaluation areas 142 in the i-th divided area 141.
  • FIG. 22 is a diagram for explaining bleeding part candidate extraction processing.
  • the number C1 of the peripheral regions 143 related to the divided region 141 of the cell is 16.
  • step S424 the CPU 21 initializes j indicating the number for identifying the peripheral region 143 to be analyzed to 1, and the counter Cntl for counting the number of bleeding part edge candidate regions in the peripheral region 143 to 0. .
  • step S425 the CPU 21 sets the direction in which the j-th peripheral area 143 is directed to the i-th divided area 141 as D2.
  • step S26 the CPU 21 calculates G fluctuations in eight directions in the j-th peripheral region 43, and sets the direction in which the G fluctuation is maximum as D3.
  • the G fluctuation calculation method in step S426 is the same as the G fluctuation calculation method in step S413.
  • step S427 the CPU 21 obtains an angle ⁇ formed by the direction D2 acquired in step S425 and the direction D3 acquired in step S426 (see FIG. 22 (b)).
  • step S428, the CPU 21 determines whether or not the j-th peripheral area 143 is a bleeding part edge candidate. Specifically, the CPU 21 determines whether or not the angle ⁇ calculated in step S427 is ⁇ ⁇ Thr2. Where Thr2 is a threshold
  • the bleeding part edge candidate determination in step S428 is a tentative (provisional) determination, and when it is determined that the i-th divided area 141 is a bleeding part candidate area by the process described later, this is the first time in this step. The determination result is adopted.
  • step S429 determines that the jth peripheral region 143 is a bleeding edge candidate Semi-fixed IJ, go to step S429, set Cntl to 1, and go to step S430.
  • step S428 the CPU 21 determines that the j-th peripheral region 143 is not a bleeding part edge candidate, and proceeds to step S430.
  • step S432 the CPU 21 determines whether or not the i-th divided area 41 is a bleeding part candidate. Specifically, the ratio of the number Cntl of the bleeding part edge candidate area to the number C1 of the peripheral area 143 is calculated, and it is determined whether Cntl / Cl> Thr3. Where T
  • step S433 when Cntl / Cl> Thr3, in step S433, the CPU 21 determines that the i-th divided region 141 is a bleeding part candidate.
  • step S428 the CPU 21 determines that the peripheral region 143 is tentatively determined to be a bleeding part edge candidate, that is, the peripheral region 143 related to the i-th divided region 141 and ⁇ ⁇ Thr2. 1 43 is formally determined to be a bleeding edge candidate.
  • FIG. 23 is a diagram for explaining a method for determining a bleeding part candidate.
  • Area 141 is determined as a bleeding candidate, and 12 peripheral areas 143 satisfying ⁇ ⁇ Thr2
  • the peripheral area 143 shaded in FIG. 23 is an area determined as a bleeding part edge candidate.
  • step S433 ends, the CPU 21 proceeds to step S434.
  • step S434 CntlZCl ⁇ Thr In the case of 3, the CPU 21 determines that the i-th divided region 141 is not a bleeding part candidate, and proceeds to step S434.
  • FIG. 24 is a flowchart for explaining the procedure of the bleeding part determination process.
  • the CPU 21 calculates the ratio of the variation of two or more color signals of the R signal, G signal, and B signal for the peripheral area 143 of the bleeding part edge candidate extracted by the bleeding part candidate extraction process. Based on the color edge feature amount, a color edge feature amount is calculated, and based on the color edge feature amount, it is determined whether or not it is a bleeding part edge. Further, the CPU 21 determines the bleeding part region based on the extracted bleeding part edge region.
  • step S441 the CPU 21 obtains a divided region 141 determined to be a bleeding part candidate in the bleeding part candidate extraction process.
  • H is the number of divided regions 144 that are bleeding part candidates.
  • step S442 the CPU 21 initializes k indicating a number for identifying the divided area 141 to be analyzed to 1.
  • the divided regions 141 to be analyzed are H divided regions 141 that are bleeding part candidates acquired in step S441. Therefore, the number k specifying the divided region 141 takes an integer value of 1 or more and H or less.
  • step S443 the CPU 21 obtains a peripheral region 143 determined to be a bleeding portion edge candidate in the k-th divided region 141 in the bleeding portion candidate extraction process.
  • the number of peripheral regions 143 that are bleeding part edge candidates is C2.
  • step S444 the CPU 21 initializes 1 indicating the number for identifying the peripheral area 143 to be analyzed to 1 and Cnt2 for counting the number of bleeding part edge areas in the peripheral area 143 to 0. Note that the number 1 for identifying the peripheral region 143 and the counter Cnt2 take an integer value of 1 or more and C2 or less.
  • step S445 the CPU 21 determines the R signal in the first peripheral area 143. Calculates the fluctuation of the value (hereinafter referred to as R fluctuation) and the fluctuation of the G signal value (hereinafter referred to as G fluctuation).
  • the G variation is calculated from the G signal value (G1) of the pixel P1 and the G signal value (G2) of the pixel P2 used to calculate the R variation.
  • G fluctuation log (G2) -log (Gl) ee is calculated.
  • R fluctuation and G fluctuation are calculated for each of the eight directions in the peripheral area 143 in the vertical and horizontal directions and the diagonal direction.
  • FIGS. 25 (a) to 25 (h) are diagrams illustrating a method for calculating R fluctuation and G fluctuation.
  • the calculation method of the first to eighth G fluctuations shown in (h) is the same as the calculation method of the first to eighth G fluctuations shown in FIGS. 20 (a) to (h) calculated in step S413. Detailed explanation is omitted.
  • the first to eighth R fluctuation calculation methods shown in Figs. 25 (a) to (h) are performed using the same pixels as those used to calculate the first to eighth G fluctuations. If the G signal values Gl and G2 are replaced with the R signal values Rl and R2, respectively, the calculation method is the same as the first to eighth G fluctuation calculation methods. Is omitted.
  • step S446 the CPU 21 divides the first to eighth G fluctuations by the first to eighth R fluctuations to obtain the first to eighth fluctuation ratios. Further, the CPU 21 calculates in the direction D3 in which the G variation is maximum in the first peripheral area 143 calculated in step S426.
  • the value of the variation ratio of G variation to R variation in kl is the color edge feature B1.
  • the change in the G signal is generally larger than the change in the R signal and the B signal. Therefore, the maximum value of G fluctuation / R fluctuation is the color edge feature amount. Note that the maximum value of G variation and ZB variation may be used as the color edge feature amount.
  • step S447 the CPU 21 determines whether or not the first peripheral area 143 is a bleeding part edge. Specifically, if color edge feature B1 force Bl> Thr4
  • the CPU 21 determines that the first peripheral area 143 is a bleeding part edge.
  • Step The bleeding part edge determination in S447 is a tentative determination, and the determination result in this step is adopted for the first time when the k-th divided area 141 is determined to be a bleeding part area by the processing described later.
  • Thr4 is a threshold.
  • Thr4 l.0 is set.
  • Bl> Thr4 CPU21 is the first peripheral area 143 is the bleeding area
  • step S448 move Cnt2 to 1, and go to step S449.
  • step S451 the CPU 21 determines whether or not the k-th divided area 141 is a bleeding part. Specifically, the CPU 21 determines the number of the peripheral area 143, the bleeding part for the number C2.
  • the ratio of the number of regions Cnt2 is calculated, and it is determined whether Cnt2 / C2> Thr5.
  • the th divided region 141 is a bleeding part.
  • step S447 the CPU 21 is the peripheral region 143 tentatively determined to be the bleeding portion edge, that is, the peripheral region 143 related to the kth divided region 141, and B1>
  • the peripheral region 143 that is Th4 is formally determined to be a bleeding part edge.
  • step S452 the CPU 21 proceeds to step S453.
  • the CPU 21 determines that the kth divided area 141 is not a bleeding part, and proceeds to step S453.
  • the bleeding part candidates are extracted based on the arrangement of the bleeding part edge candidates, and the color signal change ratio ( Based on the color edge feature), it is relatively judged whether or not it is a bleeding part edge, and the area surrounded by the bleeding part edge is detected as a bleeding part.
  • Power S can be.
  • the divided area 141 in contact with the outline of the placement evaluation area 142 is the peripheral area 143.
  • the peripheral area 143 is also provided inside the placement evaluation area 142.
  • the evaluation target area of the bleeding edge candidate has a width. As a result, it is possible to detect bleeding parts having more various shapes.
  • the overall configuration of the image processing apparatus 1 is the same as that of the fifth embodiment, except that the processing content of the image processing program 81 is different from that of the image processing program 128 of the fifth embodiment. For this reason, only the characteristic operation will be described here, and the same components will be denoted by the same reference numerals and description thereof will be omitted.
  • the present embodiment as in the fifth embodiment, for example, a case where a bleeding part is detected will be described.
  • the image analysis processing in the present embodiment is the same as that in the fifth embodiment except that the content of the bleeding part candidate extraction process is different from step S423 to step S431, that is, the bleeding part edge candidate determination process. .
  • the bleeding part edge candidate determination process in the present embodiment will be described with reference to the flowchart of FIG.
  • FIG. 26 is a flowchart for explaining the procedure of the bleeding part edge candidate determination process in the sixth embodiment.
  • step S401 in FIG. 18 the CPU 21 obtains the original image 31, finishes the edge extraction processing in step S410, and then proceeds to steps S421 to S422 in FIG.
  • the layout evaluation area 142 in the divided area 141 is acquired. Subsequently, the bleeding part edge candidate determination process shown in FIG. 26 is executed.
  • FIG. 12 is a diagram for explaining a setting position of the peripheral region 143 in the second embodiment.
  • step S524 the CPU 21 sets m indicating the number for identifying the peripheral region 143 to be analyzed to 1, and sets the counter Cnt3 for counting the number of bleeding part edge candidate regions in the peripheral region 143 to 0. Initialize each.
  • step S525 the CPU 21 acquires the divided area 141 included in the mth peripheral area 143.
  • the placement evaluation region 142 passes from the i-th divided region 141 located in the center of the placement evaluation region 142 through the divided region 141 located Z inward from the outline of the placement evaluation region 142. A straight line reaching the outline of the line is drawn, and a divided area 141 located on the half line is obtained as a peripheral area 143 (see FIG. 27).
  • the number of divided areas 141 included in one peripheral area 143 is two. That is, in FIG. 27, two divided regions 141 connected by a line segment belong to the same peripheral region 143.
  • step S526 the CPU 21 initializes n indicating a number for identifying the divided area 141 in the mth peripheral area 143 to 1. Note that the number n for specifying the divided area 141 takes an integer value of 1 or more and Z or less.
  • step S527 the CPU 21 sets the direction of force to D4 from the nth divided area 141 to the ith divided area 141 in the mth peripheral area 143. Subsequently, in step S528, the CPU 21 obtains the mth peripheral area acquired in step S14. Direction D1 of the edge feature amount of the n-th divided region 141 at 143, and step S527 imn
  • step S529 the CPU 21 determines whether or not the mth peripheral region 143 is a bleeding site edge candidate. Specifically, the CPU 21 determines whether or not the angle ⁇ calculated in step S528 is ⁇ ⁇ Thr6.
  • the bleeding part edge candidate determination in step S529 is a provisional determination, and the i-th divided area 141 is determined to be a bleeding part candidate area by the process described later. In this case, the judgment result in this step is adopted for the first time. If ⁇ ⁇ Thr6, the CPU 21 determines that the mth peripheral region 143 is a bleeding part edge candidate, adds 1 to Cnt3 in step S530, and proceeds to step S533.
  • step S531 the CPU 21 determines that the mth peripheral area 143 imn
  • the bleeding part edge candidate determination is performed on the remaining divided region 141.
  • n Z
  • the CPU 21 determines that the mth peripheral region 143 is not a bleeding part edge candidate, and the process proceeds to step S533. That is, if at least one of the Z divided regions 141 included in the mth peripheral region satisfies ⁇ ⁇ Th6, which is the judgment condition for the bleeding part edge candidate, the CPU 21 will bleed the mth peripheral region. Determined to be a partial edge candidate
  • step S533 the CPU 21 determines whether or not the bleeding part edge candidate determination has been performed for all the peripheral areas 143 related to the i-th divided area 141. Specifically, if m and C3, in step S534, the CPU 21 determines the number i for identifying the peripheral area 143.
  • Step S32 Since the subsequent processing is the same as that of the fifth embodiment, description thereof is omitted.
  • FIG. 28 is a diagram for explaining a bleeding part candidate determination process.
  • eight peripheral regions 143 in which the direction D1 that is the edge feature amount is indicated by an arrow in the divided region 141 are edges. It is determined that there is.
  • Cnt3 / C3 is 1.
  • Cnt3 / C3 value is set as Thr3 0.7 or later
  • the divided area 141 is determined as a bleeding part candidate, and the eight peripheral areas 143 satisfying ⁇ ⁇ Thr6 are determined as bleeding part edge candidates.
  • the bleeding part is determined based on the color edge feature amount of the bleeding part edge candidate, as in the fifth embodiment.
  • the peripheral region 143 which is the evaluation target of the bleeding part edge candidate, is given a width. It is also possible to detect bleeding parts having various shapes such as the shape of the camera, and the detection accuracy of the bleeding part is further improved.
  • the divided region 141 that is in contact with the entire circumferential direction of the outline of the placement evaluation region 142 is defined as the peripheral region 143.
  • the peripheral region 143 includes two opposing sides of the outline of the placement evaluation region 142 and divided regions 141 arranged on two straight lines facing each other across the diagonal line.
  • the overall configuration of the image processing apparatus 1 is the same as that of the fifth embodiment, except that the processing content of the image processing program 91 is different from that of the image processing program 128 of the fifth embodiment. For this reason, only the characteristic actions are described here, and the same components are described. Are denoted by the same reference numerals, and description thereof is omitted. In the present embodiment, as in the fifth embodiment, for example, a case where a bleeding part is detected will be described.
  • the position of the peripheral region 143 set in step S423 of the bleeding part candidate extraction processing is different, and the peripheral region 143 set for one divided region 141 is As shown in FIGS. 29A to 29D, the arrangement pattern is the same as that of the fifth embodiment except that a plurality of arrangement patterns are provided.
  • step S423 as shown in FIG. 29 (a), the CPU 21 sets the divided area 141 in contact with the two sides of the outline facing vertically in the arrangement evaluation area 142 acquired in step S422. 143 is obtained, and bleeding part edge candidate determination and bleeding part candidate determination processing in steps S424 to S433 are performed.
  • step S433 force S is completed, the CPU 21 returns to step S423, and as shown in FIG. 29 (b), in the layout evaluation region 142, the divided region 144 that is in contact with the two sides of the outer wall facing in the left-right direction is changed to the peripheral region. 143 is obtained, and bleeding part edge candidate determination and bleeding part candidate determination processing are performed.
  • the divided area 141 located on two straight lines sandwiching the diagonal line from the upper left to the lower right is used as the peripheral area 143.
  • the CPU 21 also performs the bleeding part edge candidate determination and the bleeding part candidate determination process for the pattern in which the divided area 141 located on the two straight lines sandwiching the diagonal line from the upper right to the lower left direction is the peripheral area 143.
  • step S434 After performing the bleeding part edge candidate determination and the bleeding part candidate determination process for all the surrounding region 143 arrangement patterns, the CPU 21 proceeds to step S434, and performs the processes after step S434.
  • the bleeding part is determined based on the color edge feature amount of the bleeding part edge candidate, as in the fifth embodiment.
  • the divided regions 141 arranged on the two straight lines that face each other with the divided region 141 to be evaluated as the bleeding portion candidate are used as the bleeding portion edge. Since it is used as the peripheral area 143 that is the candidate for evaluation, the bleeding area is However, even when only a part of the bleeding part is shown in the endoscopic image, it is possible to detect the bleeding part, and the detection accuracy of the bleeding part is further improved.
  • the present invention is limited to the above-described embodiment.
  • various changes and modifications can be made without departing from the scope of the present invention.
  • the present invention can be applied to the case where a reddish part on the mucosal surface is extracted.
  • a bleeding region can be objectively detected using multiple pieces of color information by image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

 出血性エッジ候補領域抽出部は、生体を撮像した複数の色信号からなる医療用画像の画像信号に基づき、出血性領域の輪郭部の候補領域を抽出する。特徴量算出部は、医療用画像を分割した複数の小領域における前記候補領域を含む小領域における前記画像信号の変動量の算出に基づき、前記出血性領域が持つ特徴量を算出する。出血性エッジ判定部は、特徴量に基づき、前記候補領域が前記出血性領域の輪郭部であるか否かを判定する。

Description

明 細 書
画像処理装置、画像処理方法、及び画像処理プログラム
技術分野
[0001] 本発明は、内視鏡装置などにより得られる医用画像を基に出血性エッジを抽出す るための画像処理装置、画像処理方法、及び画像処理プログラムに関する。
背景技術
[0002] 医療分野にぉレ、ては、 X線、 CT、 MRI、超音波観測装置、内視鏡装置等の画像 撮像機能を有する医療機器を用いた体腔内臓器の観察及び診断が広く行われてい る。
[0003] 例えば内視鏡装置は、細長の挿入部を体腔内に挿入し、その挿入部の先端部に 設けられた対物光学系により取り込んだ体腔内臓器像を固体撮像素子等の撮像手 段により撮像し、その撮像信号を基にモニタ画面に体腔内臓器の内視鏡画像を表示 する。そして、術者は、そのモニタ画面に表示された内視鏡画像力 観察及び診断 を行っている。
[0004] 内視鏡装置は、消化管粘膜像を直接的に撮像することが可能であることから、術者 は粘膜の色調、病変形状、粘膜表面の微細な構造等の様々な所見を総合的に観察 することが可能となっている。
[0005] 近年、この内視鏡装置と同様に有用性が期待できる新しい画像撮像機能を有する 医療機器として、カプセル型内視鏡装置が開発されている。カプセル型内視鏡装置 は、被検者がカプセル型内視鏡を経口的に飲み込んでから体外に排出されるまでの 間、体腔内を撮像し、その撮像した撮像信号を体外に設けられたレシーバに送信す る。カプセル型内視鏡を被検者が飲み込んでから、カプセル型内視鏡が体腔内の食 道、胃、十二指腸、小腸、及び大腸の各消化管を通過して体外に排出されるまでに は数時間を要する。
[0006] カプセル型内視鏡力 例えば、毎秒 2枚(フレーム)の画像を撮像して体外のレシ一 バに送信する場合には、カプセル型内視鏡を飲み込んでから体外に排出するまで 6 時間かかったとすると、カプセル型内視鏡が体腔内を進行する間に撮像される画像 数は、 43200枚と膨大な量となる。
[0007] この膨大な数の画像を観察装置に表示して観察及び診断する場合、例えば、毎秒
10枚の画像を表示したとしても全画像数を表示するには 72分間と比較的長時間要 する。この長時間にわたり表示される撮像画像を術者が観察することになるが、術者 にとつて時間的負荷が多大であるということが大きな問題になっている。
[0008] また、カプセル内視鏡や通常の内視鏡装置を用いた内視鏡検查における最終的 な診断は、医師の主観に依存している部分が多大であり、診断の品質がばらつくとい う問題もあった。このため、画像診断の品質の向上と内視鏡画像の読影時間の短縮 とを目的とし、出血、発赤、異常血管、ポリープなどの病巣の存在を、内視鏡画像か ら自動的に検出するコンピュータ診断支援(CAD)の実現が望まれていた。
[0009] コンピュータ診断支援(CAD)は、内視鏡診断支援装置により実現される。内視鏡 診断支援装置は、画像内における関心領域 (R〇I)から算出された様々な特徴量を 用レ、、閾値処理あるいは統計的'非統計的識別器を用いて診断対象とする画像がそ のような所見に分類されるのかを医師に提示することにより、客観的'数値的な診断 の支援を行うものである。また、内視鏡診断支援装置は、病変が疑われる画像を選 択して提示することで、医師の読影負担を軽減するものである。
[0010] 一方、出血には様々な病理学的な理由が考えられるため、出血の検出については レ、くつかのアプローチが用いられてきた。その中の一つのアプローチとして、 PCT WO 02/073507 A2号公報には、上述した内視鏡診断支援装置を用レ、、内視 鏡画像における観察対象領域の色相、彩度、明度に基づいて、出血を自動的に検 出する手法が提案されてレ、る。
[0011] しかし、上記公報に記載された手法は、観察対象領域の色相、彩度、明度の値を、 あらかじめ内視鏡診断支援装置に設定されている、通常粘膜の色相、彩度、明度の サンプル値、及び出血部の色相、彩度、明度のサンプル値と比較し、サンプル値に 力 の距離によって、観察対象領域が通常粘膜であるか出血部であるかを判別する
[0012] このため、判別結果が内視鏡診断支援装置に設定されたサンプル値に依存してし まうという問題があった。 [0013] そこで、本発明においては、出血性領域の輪郭部における画像信号若しくは色信 号の変化量を用いて、出血性領域を検出することが可能な、画像処理装置、画像処 理方法、及び画像処理プログラムを提供することを目的とする。
発明の開示
課題を解決するための手段
[0014] 本発明の第 1の形態の画像処理装置は、生体を撮像した複数の色信号からなる医 療用画像の画像信号に基づき、出血性領域の輪郭部の候補領域を抽出する出血性 エッジ候補領域抽出部と、
前記医療用画像を分割した複数の小領域における前記候補領域を含む小領域に おける前記画像信号の変動量の算出に基づき、前記出血性領域が持つ特徴量を算 出する特徴量算出部と、
前記特徴量に基づき、前記候補領域が前記出血性領域の輪郭部であるか否かを 判定する出血性エッジ判定部と、
を備えたことを特徴とする。
[0015] 本発明の第 2の形態の画像処理装置は、生体を撮像した複数の色信号からなる医 療用画像信号に対応する医療用画像を複数の小領域に分割して、前記複数の小領 域に対して少なくとも 1つの前記色信号から、出血性領域の輪郭部を含む小領域を 抽出し、抽出された該小領域を出血性評価領域として設定し、かつ前記出血性評価 領域の周辺に、複数の前記小領域からなる評価対象領域を設定する評価領域設定 部と、
前記評価対象領域における前記色信号の変動量に基づき、前記評価対象領域か ら出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候 補領域の割合力 前記出血性評価領域が出血性候補領域か否力を判定する出血 性候補領域判定部と、
前記出血性エッジ候補領域における 2つ以上の前記色信号の変動に基づき、前記 出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補 領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前 記出血性領域か否かを判定する出血性領域判定部と、 を備えたことを特徴とする。
図面の簡単な説明
[図 1]図 1は、本発明の第 1の実施の形態に係わる画像処理装置と関連システムとの ネットワーク構成を概略的に示す図。
[図 2]図 2は、画像処理装置の全体構成を概略的に示す図。
[図 3]図 3は、画像処理プログラムによる画像解析処理の手順を説明するフローチヤ ート。
[図 4]図 4は、出血部エッジ候補抽出処理の手順を説明するフローチャート。
[図 5]図 5は、解析データを説明する概略図であり、図 5 (a)は、原画像を説明する概 略図、図 5 (b)は、出血部エッジ候補画像を説明する概略図、図 5 (c)は、形状エッジ 画像を説明する概略図、図 5 (d)は、出血部エッジ画像を説明する概略図。
[図 6]図 6は、形状エッジ抽出処理の手順を説明するフローチャート。
[図 7]図 7は、 R変動の算出方法を説明する図。
[図 8]図 8は、出血部エッジ決定処理の手順を説明するフローチャート。
[図 9]図 9は、本発明の第 2の実施の形態における画像処理プログラムによる画像解 析処理の手順を説明するフローチャート。
[図 10]図 10は、カラーエッジ特徴量の算出手順を説明するフローチャート。
[図 11]図 11は、 R変動及び G変動の算出方法を説明する図。
[図 12]図 12は、本発明の第 3の実施の形態における画像処理プログラムによる画像 解析処理の手順を説明するフローチャート。
[図 13]図 13は、出血部エッジ候補領域と背景領域との関係を説明する概略図。
[図 14]図 14は、図 13における C— C'線上に位置する画素の R信号の値を概略的に 示すものであり、図 14 (a)は、出血部エッジ候補領域が出血部エッジである場合の R 信号の値の変化を、図 14 (b)は、出血部エッジ候補領域が出血以外の要素からなる エッジである場合の R信号の値の変化を示す図。
[図 15]図 15は、本発明の第 4の実施の形態における画像処理プログラムによる画像 解析処理の手順を説明するフローチャート。
[図 16]図 16は、出血部エッジ候補領域と内部領域との関係を説明する概略図。 [図 17]図 17は、本発明の第 5の実施の形態の画像処理装置の全体構成を概略的に 示した図。
[図 18]図 18は、画像処理プログラムによる画像解析処理の手順を説明するフローチ ヤート。
[図 19]図 19は、エッジ抽出処理の手順を説明するフローチャート。
[図 20]図 20は、 G変動の算出方法を説明する図。
[図 21]図 21は、出血部候補抽出処理の手順を説明するフローチャート。
[図 22]図 22は、出血部候補抽出処理を説明する図。
[図 23]図 23は、出血部候補の判定方法を説明する図。
[図 24]図 24は、出血部決定処理の手順を説明するフローチャート。
[図 25]図 25は、 R変動及び G変動の算出方法を説明する図。
[図 26]図 26は、第 2の実施の形態における出血部エッジ候補判定処理の手順を説 明するフローチャート。
[図 27]図 27は、第 5の実施の形態における周辺領域の設定位置を説明する図。
[図 28]図 28は、第 5の実施の形態における出血部候補判定処理を説明する図。
[図 29]図 29は、第 6の実施の形態における周辺領域の配置パターンを説明する図。 発明を実施するための最良の形態
[0017] 以下、図面を参照して本発明の実施の形態を説明する。
[0018] (第 1の実施の形態)
以下、図 1から図 8を参照して本発明の第 1の実施の形態を説明する。本実施の形 態は、出血性領域の輪郭部(以下、出血性エッジと示す)における色信号の変化量を 用レ、、出血性エッジか否力、を相対的に判断して検出することが可能な、画像処理装 置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
[0019] 出血性領域としては、粘膜から実際に出血が生じている領域である出血部領域や 、粘膜表面が充血などによって赤くなつている領域である発赤部領域などがあげられ る。本実施の形態においては、例えば出血部領域の輪郭部(以下、出血部エッジと 示す)を検出する場合について説明する。
[0020] まず、図 1に基づき、本発明の第 1の実施の形態に係わる画像処理装置 1の関連シ ステムとのネットワーク構成について説明する。図 1は、本発明の第 1の実施の形態 に係わる画像処理装置 1と関連システムとのネットワーク構成を概略的に示した図で ある。
[0021] 図 1に示すように、各種画像処理や情報処理を行う画像処理装置 1は、 TCP/IP を通信プロトコルとする LAN2に接続されている。一方、生体内の粘膜等を撮像して 医療用画像の画像信号を出力する内視鏡観察装置 3も、内視鏡フアイリング装置 4を 介して LAN2に接続されてレ、る。
[0022] 内視鏡フアイリング装置 4は、内視鏡観察装置 3から画像信号を受信或いは取り込 み画像データを生成するとともに、生成された画像データを蓄積する。そして、画像 処理装置 1は、内視鏡フアイリング装置 4に蓄積されている画像データを、 LAN2経 由で取得する。
[0023] 次に、画像処理装置 1の全体構成について説明する。画像処理装置 1は、図 2に示 すように、汎用のパーソナルコンピュータ 11を中心に構成されており、キーボードとマ ウスとからなる操作装置 12と、ハードディスクからなる記憶装置 13と、 CRTからなる表 示装置 14とを備えている。
[0024] 図 2は、画像処理装置 1の全体構成を概略的に示した図である。操作装置 12、記 憶装置 13、及び表示装置 14は、それぞれパーソナルコンピュータ 11と電気的に接 続されている。処理対象となる画像データの指定、指定された画像データの取得表 示、処理実行の指示は、操作装置 12から入力される。また、画像処理装置 1で行わ れる各種処理の結果は表示装置 14に表示される。
[0025] パーソナルコンピュータ 11は、各種プログラムの実行処理や制御を行う CPU21と、 各種処理プログラムやデータを記憶するメモリ 22と、記憶装置 13に対して情報の読 み書きを行う外部記憶 I/F23と、外部機器との間で情報の通信を行うネットワーク力 ード 24と、操作装置 12から入力された操作信号を受信して必要なデータ処理を行う 操作 I/F25と、表示装置 14へビデオ信号を出力するグラフィックボード 26とを有す る。 パーソナルコンピュータ 11を構成するこれら CPU21 ,メモリ 22,外部記憶 IZF 23、ネットワークカード 24、操作 IZF25、及びグラフィックボード 26は、それぞれバス 27を介して電気的に接続されている。従って、パーソナルコンピュータ 11におけるこ れらの各構成要素は、バス 27を介して相互に情報の送受信を行うことができる。
[0026] ネットワークカード 24は、 LAN2と電気的に接続されており、同じく LAN2に接続さ れている内視鏡フアイリング装置 4との間で情報を送受信する。
[0027] 外部記憶 I/F23は、記憶装置 13に格納されている画像処理プログラム 28を読み 込んでメモリ 22に記憶させる。尚、画像処理プログラム 28は、画像解析処理を実行 するプログラムであって、複数の実行ファイル、又は動的リンクライブラリファイル、又 は設定ファイルから構成される。メモリ 22に記憶された画像処理プログラム 28が実行 されることで、 CPU21が動作する。
[0028] CPU21は、内視鏡フアイリング装置 4から取得した画像データに対し、後述する出 血性領域の輪郭部(エッジ部)の検出若しくは判定等の画像解析処理を行う。 CPU2 1における各処理によって取得、生成される解析データ 29は、メモリ 22に記憶される 。この解析データ 29には、内視鏡フアイリング装置 4から取得した画像データである 原画像 31が含まれる。
[0029] 更に、解析データ 29には、後述の各種処理によって生成される出血部エッジ候補 画像 32と、形状エッジ画像 33と、出血部エッジ画像 34とが含まれる。これらの各画 像 32〜34については、後で詳述する。なお、 CPU21は、以下に説明する図 3の機 能、つまり、出血部エッジ候補抽出機能、特徴量算出の機能、出血部エッジ判定機 能を有する。
[0030] 上述のように構成された、画像処理装置 1の作用について説明する。本実施の形 態においては、例えば出血部領域の輪郭部(以下、出血部エッジと示す)を検出する 場合について、図 3のフローチャートを用いて説明する。
[0031] 図 3は、画像処理プログラム 28による画像解析処理の手順を説明するフローチヤ一 トである。まず、ステップ S1の原画像取得ステップにおいて CPU21は、操作装置 12 から指定された画像データを、画像フアイリング装置 4から取得し、原画像 31としてメ モリ 22に記憶させる。原画像 31は、赤 (R)、緑 (G)、青(B)の 3プレーンからなるカラ 一画像であり、各プレーンの画素の階調数は、 8bit、すなわち 0〜255の値をとるも のとする。
[0032] 次に、ステップ S2の画像解析処理ステップにおいて CPU21は、ステップ S1で取得 した原画像 31に各種処理を施し、出血部エッジ候補画像 32と、形状エッジ画像 33と
、出血部エッジ画像 34とを生成する。
[0033] この画像解析処理ステップ (ステップ S2)は、原画像 31から出血部エッジ候補画像
32を生成する出血部エッジ候補抽出処理 (ステップ S10)と、出血部エッジ候補画像
32から特徴量算出の処理に基づき、形状エッジ画像 33を生成する形状エッジ抽出 処理 (ステップ S20)と、出血部エッジ候補画像 32と形状エッジ画像 33とから出血部 エッジ画像 34を生成する出血部エッジ決定処理 (ステップ S40)とから構成される。
[0034] なお、上記特徴量算出の処理により、形状エッジ画像 33と出血部エッジ候補画像 3
2とが混ざった状態で生成される可能性があり、出血部エッジ処理により出血部エツ ジ画像 34が生成される。
[0035] 上記ステップ S10、 S20、 S40の順番で各処理が実行される。画像解析処理ステツ プ (ステップ S2)における上述の各処理について、処理順序に従って説明する。
[0036] 最初に、ステップ S10の出血部エッジ候補抽出処理について、図 4を用いて説明す る。図 4は、出血部エッジ候補抽出処理の手順を説明するフローチャートである。まず
、ステップ S11において CPU21は、原画像 31を N X N個の小領域に分割する。本 実施の形態においては、例えば N = 36に設定している。
[0037] 尚、ステップ S 11の前処理として、原画像 31に対する逆ガンマ補正ゃシエーデイン グ補正を追加してもよい。この場合、これらの補正処理が行われた補正画像を小領 域に分割して、以降の処理を行う。
[0038] 次に、ステップ S12において CPU21は、解析対象となる分割された小領域 (以下、 分割領域と示す)を特定する番号を示す iを 1に初期化する。尚、分割領域 43を特定 する番号 iは、 1以上、 N X N以下の整数値である。
[0039] 次に、ステップ S13において CPU21は、 i番目の分割領域 43に含まれる画素の R 信号、 G信号、 B信号の値 (輝度値)を取得し、 i番目の分割領域 43における各色信 号の平均値 Ra、 Ga、 Baを算出する。
[0040] 続いて、ステップ S14において CPU21は、予め設定された出血部領域色調空間と
、ステップ S 13で算出した各色信号の平均値 Ra、 Ga、 Baとを比較する。
[0041] 出血部領域色調空間とは、 R信号、 G信号、 B信号の各輝度レベルをそれぞれ X軸 、 y軸、 z軸とする 3次元空間において、出血部が存在しうる R信号の輝度レベルの範 囲(Rmin≤x≤Rmax)、 G信号の輝度レベルの範囲(Gmin≤y≤Gmax)、 B信号 の輝度レベルの範囲(Bmin≤z≤Bmax)で区切られた内部空間である。
[0042] ステップ S14において CPU21は、ステップ S13で算出された各色信号の平均値 R a、 Ga、 Baが出血部領域色調空間内に存在するか否力、を判定し、これに該当する i 1 1
場合にはステップ SI 5に移る。
[0043] つまり算出された各色信号の平均値 Ra、 Ga、 Baが出血部領域色調空間内の場
1 1 1
合、すなわち、 Rmin≤Ra≤Rmax、かつ、 Gmin≤Ga≤Gmax、かつ、 Bmin≤Ba
i i
≤Bmaxである場合には、ステップ SI 5の処理に移る。そしてこのステップ S 15にお i
いて CPU21は、 i番目の分割領域 43が出血部エッジ候補であると判定する。
[0044] 一方、ステップ S13で算出された各色信号の平均値 Ra、 Ga、 Baが出血部領域色 調空間内に存在しない場合、すなわち、 Rmin>Ra、 Ra >Rmax、 Gmin>Ga、 G a >Gmax、 Bmin>Ba、 Ba >Bmaxのいずれかに該当する場合には、ステップ S1 i i i
6の処理に移る。そしてこのステップ S16において CPU21は、 i番目の分割領域 43 が出血部エッジ候補でないと判定する。
[0045] 尚、出血部エッジ候補を判定するのに、 G/R, B/Gの色調空間を利用してもよい 。つまり、(G/R) min≤Ga /Ra≤ (G/R) maxかつ(B/G) min≤Ba /Ga≤ (B
i i i i
/G) maxである場合、 CPU21は、 i番目の分割領域 43は出血部エッジ候補である と判定する。
[0046] ここで、 (G/R) min及び(G/R) maxは、それぞれ G/Rの最小値及び最大値を 表す。また、 (B/G) min及び(B/G) maxは、それぞれ B/Gの最小値及び最大値 を表す。
[0047] ステップ S15、またはステップ S16の処理が終了すると、続いてステップ S17におい て CPU21は、全ての分割領域 43について出血部エッジ候補判定を行ったか否かを 判定する。
[0048] 具体的には、 iく N X Nである場合、ステップ S18において CPU21は、分割領域 4 3を特定する番号 iに 1を加算(i = i+ 1)してステップ S13へ戻り、残りの分割領域に 対して出血部エッジ候補判定の処理を行う。 i = N X Nである場合、 CPU21は、図 4 の処理(つまり図 3のステップ S10の出血部エッジ候補抽出処理)を終了し、続く図 3 のステップ S20の形状エッジ抽出処理へと移行する。
[0049] 出血部エッジ候補抽出処理が終了すると、図 5 (a)に示すような原画像 31から、図
5 (b)に示すような出血部エッジ候補画像 32が生成される。図 5は、解析データ 29を 説明する概略図である。
[0050] つまり、図 5 (a)は、原画像 31を説明する概略図、図 5 (b)は、出血部エッジ候補画 像 32を説明する概略図、図 5 (c)は、形状エッジ画像 33を説明する概略図、図 5 (d) は、出血部エッジ画像 34を説明する概略図である。
[0051] 図 5 (a)の原画像 31には、粘膜表面に形成された溝などの粘膜形状領域 41と、出 血部領域 42とが存在している。この原画像 31を基にして得られた図 5 (b)に示す出 血部エッジ候補画像 32では、全ての分割領域 43が、出血部エッジ候補領域 44 (斜 線部)、又は非出血部エッジ候補領域 45のいずれかに分類され、出血部エッジ候補 領域 44には、粘膜形状領域 41と出血部領域 42とが含まれる。
[0052] 次に、形状エッジ抽出処理について、図 6を用いて説明する。図 6は、図 3のステツ プ S20の形状エッジ抽出処理の手順を説明するフローチャートである。
[0053] この形状エッジ抽出処理において CPU21は、粘膜形状領域 41の輪郭部(以下、 形状エッジと示す)が、複数の分割領域 43が連結された大領域で形成される形状ェ ッジ領域として抽出する処理を行うものである。まず、ステップ S21において CPU21 は、解析対象となる分割領域 43を特定する番号を示す iを 1に初期化する。尚、分割 領域 43を特定する番号 iは、 1以上、 N X N以下の整数値である。
[0054] 次に、ステップ S22において CPU21は、 i番目の分割領域 43における R信号の値 の変動(以下、 R変動と示す)を算出する。 R変動は、 i番目の分割領域 43における特 定の画素の R信号の値 (R1)と、同じ分割領域 43における別の特定の画素の R信号 の値 (R2)とから算出される。具体的には、 CPU21は、 R変動 = log (R2) -log (R
e e
1)で計算する。
[0055] 本実施の形態では、図 7に示すように、分割領域 43における上下、左右方向及び 対角線方向の八つの方向について、 CPU21はそれぞれ R変動を算出する。図 7 (a) 〜 (h)は、 R変動の算出方法を説明する図である。 [0056] 第 1の R変動は、図 7 (a)に示すように上方向への R変動であり、中央下部の画素の R信号の値を Rl、中央上部の画素の R信号の値を R2として算出される。第 2の R変 動は、図 7 (b)に示すように対角線右上方向への R変動であり、左下部の画素の R信 号の値を Rl、右上部の画素の R信号の値を R2として算出される。第 3の R変動は、 図 7 (c)に示すように右方向への R変動であり、左中央部の画素の R信号の値を Rl、 右中央部の画素の R信号の値を R2として算出される。
[0057] 第 4の R変動は、図 7 (d)に示すように対角線右下方向への R変動であり、左上部の 画素の R信号の値を Rl、右下部の画素の R信号の値を R2として算出される。第 5の R変動は、図 7 (e)に示すように下方向への R変動であり、中央上部の画素の R信号 の値を Rl、中央下部の画素の R信号の値を R2として算出される。第 6の R変動は、 図 7 (f)に示すように対角線左下方向への R変動であり、右上部の画素の R信号の値 を Rl、左下部の画素の R信号の値を R2として算出される。
[0058] 第 7の R変動は、図 7 (g)に示すように左方向への R変動であり、右中央部の画素の R信号の値を Rl、左中央部の画素の R信号の値を R2として算出される。第 8の R変 動は、図 7 (h)に示すように対角線左上方向への R変動であり、右下部の画素の R信 号の値を Rl、左上部の画素の R信号の値を R2として算出される。
[0059] 次に、ステップ S23において CPU21は、ステップ S22で算出した第 1〜第 8の R変 動における最大値を、エッジ特徴量 Aとして取得する。次に、ステップ S24において CPU21は、 i番目の分割領域 43がエッジであるか否かを判定する。具体的には、ェ ッジ特徴量 力 A >Thlであれば i番目の分割領域 43はエッジであると判定する。
[0060] ここで、 Thlはエッジ判定を行うための基準とする閾値であり、本実施の形態にお いては、例えば Thl =0. 14に設定している。 A >Thlの場合、ステップ S25におい て CPU21は、 i番目の分割領域 43はエッジであると判定し、ステップ S27の処理へ 進む。 A≤Thlの場合、ステップ S26において CPU21は、 i番目の分割領域 43はェ ッジでないと判定し、ステップ S27の処理へ進む。
[0061] ステップ S27において CPU21は、全ての分割領域 43についてエッジ判定を行つ たか否かを判定する。具体的には、 i< N X Nである場合、ステップ S28において CP U21は、分割領域 43を特定する番号 iに 1を加算(i = i+ l)してステップ S22へ戻り、 残りの分割領域 43に対してステップ S22〜S26のエッジ判定を行う。 i=N X Nである 場合、 CPU21は、エッジ判定の処理を終了し、ステップ S29の処理へ進む。
[0062] ステップ S29において CPU21は、 N X N個の分割領域 43のうち、ステップ S25に おいてエッジであると判定された領域について、ラベリング処理を行う。本実施の形 態におけるラベリング処理は次のように行われる。
[0063] CPU21は、画像データを左上から右下へ順次走査し、ラベル付けされておらず、 かつエッジ領域であると判定された分割領域 43を見つけ、ラベル値として所定の番 号を付与する。
[0064] この時、 CPU21は、他の分割領域 43に対して既に付与されているラベル値は使 用せず、既に付与されているラベル値の最大値に 1を加算した値を、当該分割領域 4 3に付与する。
[0065] 尚、どの分割領域 43にもラベル値が付与されていない場合、 CPU21は、当該分 割領域 43にはラベル値として例えば 1を付与する。次に、ラベル値が付与された分 割領域 43と連結されており、かつエッジ領域であると判定された全ての分割領域 43 に対して、 CPU21は同じラベル値を付与する。
[0066] エッジ領域であると判定された全ての分割領域 43に対してラベル値が付与される まで、 CPU21は上記の走査とラベル値付与を繰り返す。つまり、ラベリング処理によ つて、同一の連結部分に属している分割領域 43には同一のラベル値が付与され、か つ、連結部分ごとに異なったラベル値が付与される。
[0067] 次に、ステップ S30において CPU21は、ステップ S29で N X N個の分割領域 43に 付与されたラベル値の最大値を Lとして取得する。続いて、ステップ S31において CP U21は、解析対象となる、連結された分割領域 43を特定するラベル値を示す jを 1に 初期化する。尚、連結された分割領域 43を特定するラベル値 jは、 1以上、 L以下の 整数値を取る。次に、ステップ S32において CPU21は、ラベル値 jを持つ分割領域 4 3の数をカウントし、カウントした領域数 Mを取得する。
J
[0068] 続いて、ステップ S33において CPU21は、ラベル値 jが、形状エッジラベルと出血 部エッジラベルとのいずれであるかを判定する、ラベル分類判定を行う。具体的には 、 CPU21は、領域数 Mが、 M >Th2であればラベル値 jは形状エッジラベルである と判定する。ここで、 Th2は形状エッジラベルと出血部エッジラベルとを判別する際の 基準値となる閾値であり、本実施の形態においては、例えば Th2 = 10に設定してい る。 M >Th2の場合、ステップ S34において CPU21は、ラベル値 jは形状エッジラベ j
ルであると判定し、ステップ S36の処理へ進む。 M≤Th2の場合、ステップ S35にお
j
いて CPU21は、ラベル値 jは出血部エッジラベルであると判定し、ステップ S36の処 理へ進む。
[0069] ステップ S36において CPU21は、エッジであると判定された全ての分割領域 43に っレ、て、ラベル分類判定を行ったか否かを判定する。
[0070] 具体的には、 j <Lである場合、ステップ S37において CPU21は、連結された分割 領域を特定するラベル tjに 1を加算 (j叫 + 1)してステップ S 32へ戻り、残りの領域 に対してステップ S32〜S35のラベル分類判定を行う。 j =Lである場合、図 6の処理 を終了し、続いて図 3のステップ S40の出血部エッジ決定処理へと移行する。
[0071] 図 6の形状エッジ抽出処理が終了すると、図 5 (c)に示すような形状エッジ画像 33 が生成される。図 5 (c)に示す形状エッジ画像 33では、形状エッジラベルに分類され ているラベル値を付与されている分割領域 43が、形状エッジ領域 46 (斜線部)として 示されている。この形状エッジ領域 46は、図 5 (b)に示す出血部エッジ候補画像 32 の出血部エッジ候補領域 44のうち、粘膜形状領域 41の輪郭部に対応する分割領域 43と一致する。
[0072] 次に、図 3のステップ S40の出血部エッジ決定処理について、図 8を用いて説明す る。図 8は、出血部エッジ決定処理の手順を説明するフローチャートである。
[0073] 出血部エッジ決定処理において CPU21は、出血部エッジ候補抽出処理において 抽出された、出血部エッジ候補領域 44から、出血部エッジ領域 47を決定する処理を 行う。まず、ステップ S41において CPU21は、解析対象となる分割領域 43を特定す る番号を示す iを 1に初期化する。
[0074] 尚、分割領域 43を特定する番号 iは、 1以上、 N X N以下の整数値である。次に、ス テツプ S42において CPU21は、 i番目の分割領域 43が出血部エッジ候補領域 44か 否かを判定する。
[0075] ステップ S42における判定処理は、図 3のステップ S10の出血部エッジ候補抽出処 理の結果に基づいて行われる。 CPU21は、 i番目の分割領域 43が出血部エッジ候 補領域 44である場合、ステップ S43の処理へ進み、 i番目の分割領域 43に付与され ているラベル値が出血部エッジラベルか否かを判定する。 i番目の分割領域 43が出 血部エッジ候補領域 44でない場合、ステップ S45において CPU21は、当該分割領 域は出血部エッジ領域 47でないと判定し、ステップ S46へ進む。
[0076] ステップ S43における判定は、図 3のステップ 20の形状エッジ抽出処理の結果に基 づいて行われる。 i番目の分割領域 43に付与されているラベル値が出血部エッジラ ベルである場合、ステップ S44において CPU21は、 i番目の分割領域 43が出血部ェ ッジ領域 47であると判定し、ステップ S46へ進む。
[0077] i番目の分割領域 43に付与されているラベル値が出血部エッジラベルでない場合、 すなわち、 i番目の分割領域 43に付与されているラベル値が形状エッジラベルである か、ラベルが付与されていない場合、ステップ S45において CPU21は、当該分割領 域は出血部エッジ領域 47でないと判定し、ステップ S46へ進む。
[0078] ステップ S46において CPU21は、全ての分割領域 43について、出血部エッジ領 域判定を行ったか否かを判定する。具体的には、 i< N X Nである場合、ステップ S4 7において CPU21は、分割領域 43を特定する番号 iに 1を加算(i=i+ l)してステツ プ S42へ戻り、残りの分割領域 43に対して出血部エッジ領域判定を行う。 i=N X N である場合、 CPU21は図 8の出血部エッジ決定処理を終了する。
[0079] 出血部エッジ決定処理が終了すると、図 5 (d)に示すような出血部エッジ画像 34が 生成される。図 5 (d)に示す出血部エッジ画像 34では、図 5 (a)に示す原画像 31の 出血部領域 42の輪郭部、すなわち出血部エッジが、出血部エッジ領域 47 (斜線部) として表示されている。
[0080] 以上の処理によって、画像処理装置 1は、内視鏡観察装置 3で撮像された原画像 3 1を、画像フアイリング装置 4を介して取得し、原画像 31における出血部エッジを検出 すること力 Sできる。
[0081] このように、本実施の形態の画像処理装置 1では、出血部エッジにおける特定の色 信号の変化量を用いることで、出血部エッジか否力 ^相対的に判断して検出すること ができる。また、本実施の形態は、エッジの大きさに基づき形状エッジか出血部エツ ジかを判別するため、出血部エッジを精度よく抽出することができる。更に、本実施の 形態によれば、術者は出血部エッジ画像 34を観察対象とすることで、画像診断の品 質が向上し、内視鏡画像の読影時間の短縮を図ることができる。
[0082] (第 2の実施の形態)
次に、本発明の第 2の実施の形態を説明する。上述した第 1の実施の形態では、 R 信号の変動の最大値であるエッジ特徴量 Aを用いてエッジ領域を抽出し、エッジ領 域の大きさから出血部エッジか否かを判定した。これに対して、本実施の形態では、 R信号、 G信号、 B信号のうちの 2つ以上の色信号の変動に基づくカラーエッジ特徴 量 Bを算出し、カラーエッジ特徴量 Bを用いて出血部エッジか否かを判定する。
[0083] 本実施の形態の画像処理装置 1は、そのハードウェア上の構成は、図 2の画像処 理装置 1と同じ構成である。そして、図 2の記憶装置 13に格納されている画像処理プ ログラム 28とは異なる画像処理プログラム 51が格納されている。また、メモリ 22に記 憶される解析データが図 2の場合と異なり、原画像 31と出血部エッジ画像 34との二 種類の画像データとなる。
[0084] つまり、本実施の形態の画像処理装置 1は、画像処理プログラム 51の処理内容が 異なる点と、画像処理プログラム 51を実行することによって取得、生成され、メモリ 22 に記憶される解析データ 52が、原画像 31と出血部エッジ画像 34との二種類の画像 データであり、出血部エッジ候補画像 32と形状エッジ画像 33とは含まれていない点 とを除き、第 1の実施の形態と同一である。このため、本実施の形態では、特徴となる 作用についてのみ説明し、同じ構成要素については同じ符号を付して、その説明は 省略する。
[0085] 本実施の形態においては、第 1の実施の形態と同様に、例えば出血部エッジを検 出する処理について、図 9のフローチャートを用いて説明する。図 9は、画像処理プロ グラム 51による画像解析処理の手順を説明するフローチャートである。
[0086] まず、ステップ S110において CPU21は、操作装置 12から指定された画像データ を、画像ファィリング装置 4から取得し、原画像 31としてメモリ 22に記憶させる。次に、 ステップ S120において CPU21は、ステップ S 110で取得した原画像 31を分割し、 N X N個の分割領域 43を生成する。次に、ステップ S130において CPU21は、解析対 象となる分割領域 43を特定する番号を示す iを 1に初期化する。尚、分割領域 43を 特定する番号 iは、 1以上、 N X N以下の整数値である。
[0087] 次に、ステップ S140において CPU21は、 i番目の分割領域 43におけるカラーエツ ジ特徴量 Bを算出する。ステップ S140におけるカラーエッジ特徴量の算出手順を、 図 10のフローチャートを用いて説明する。図 10は、カラーエッジ特徴量の算出手順 を説明するフローチャートである。
[0088] まず、ステップ S141において CPU21は、 i番目の分割領域 43における R信号の値 の変動 (以下、 R変動と示す)と、 G信号の値の変動 (以下、 G変動と示す)とを算出す る。 R変動は、第 1の実施の形態と同様に、分割領域 43における特定の画素 P1の R 信号の値 (R1)と、同じ分割領域 43における別の特定の画素 P2の R信号の値 (R2) とから算出される。具体的には、 CPU21は、 R変動 = log (R2)—log (R1)で計算 e e
する。
[0089] また、 G変動は、 R変動を算出する際に用いた画素 P1の G信号の値 (G1)と、画素 P2の G信号の値 (G2)とから算出される。具体的には、 G変動 =log (G2) -log (G
e e
1)で CPU21により計算される。本実施の形態では、図 11に示すように、分割領域 4 3における上下、左右方向及び対角線方向の八つの方向について、 CPU21はそれ ぞれ R変動と G変動とを算出する。図 11 (a)〜 (h)は、 R変動及び G変動の算出方法 を説明する図である。図 11 (a)〜(h)に示す、第 1〜第 8の R変動の算出方法は、図 7 (a)〜 (h)に示す第 1〜第 8の R変動の算出方法と同様であるので、その説明を省 略する。
[0090] 図 11 (a)〜(h)に示す、第 1〜第 8の G変動の算出方法は、第 1〜第 8の R変動を 算出する際に用いた画素と同じ画素を用いており、 R信号の値である Rl、 R2を、そ れぞれ G信号の値である Gl、 G2と置き換えれば、第 1〜第 8の R変動の算出方法と 同様であるので、その説明を省略する。
[0091] 次に、ステップ S142において CPU21は、第 1〜第 8の G変動をそれぞれ第 1〜第
8の R変動で割り、第 1〜第 8の変動比を求める。続くステップ S143において CPU21 は、ステップ S142で求めた第 1〜第 8の変動比のうちの最大値を、カラーエッジ特徴 量 Bとして取得する。 [0092] 周辺粘膜と出血部との境界領域付近、すなわち、出血部エッジ付近は、一般的に、 R信号や B信号の変化に比べて G信号の変化が大きい。従って、本実施の形態にお いては、 G変動/ R変動の最大値をカラーエッジ特徴量 Bとする。尚、カラーエッジ 特徴量 Bとして、 CPU21は、 B変動 ZG変動の最大値を用いるようにしてもよい。
[0093] 次に、図 9のステップ S150において CPU21は、 i番目の分割領域 43が出血部エツ ジであるか否かを判定する。具体的に CPU21は、カラーエッジ特徴量 が、 B >Th 3であれば i番目の分割領域 43は出血部エッジであると判定する。
[0094] ここで、 Th3は出血部エッジであると判定する際の基準値となる閾値であり、本実施 の形態においては、例えば Th3 = 0. 1に設定している。 B >Th3の場合、ステップ S 160において CPU21は、 i番目の分割領域 43は出血部エッジであると判定し、ステ ップ S 180の処理へ進む。
[0095] B≤Th3の場合、ステップ S170において CPU21は、 i番目の分割領域 43は出血
i
部エッジでないと判定し、ステップ S 180へ進む。
[0096] ステップ S180において CPU21は、全ての分割領域 43について出血部エッジ判 定を行ったか否かを判定する。具体的には、 i< N X Nである場合、ステップ S190に おいて CPU21は、分割領域 43を特定する番号 iに 1を加算(i=i+ 1)してステップ S 140へ戻り、残りの分割領域に対して出血部エッジ判定を行う。 i = N X Nである場合 、 CPU21は、図 9の処理を終了する。
[0097] このように、本実施の形態の画像処理装置 1では、 R信号、 G信号、 B信号のうちの 2つ以上の色信号の変動に基づいて算出されたカラーエッジ特徴量 Biを用いて出血 部エッジか否力を判定するため、出血部エッジか否力を相対的に判断して検出する こと力 Sできる。また、本実施の形態は、面積の広い出血部や、エッジが分割して抽出 された出血部など、多様な大きさの出血部エッジを抽出することができるため、出血 部エッジの検出精度がさらに向上する。
[0098] (第 3の実施の形態)
次に、本発明の第 3の実施の形態を説明する。上述した第 1の実施の形態では、出 血部エッジにおける色信号の変化量を反映したエッジ特徴量を用いて出血部エッジ か否かを判定したのに対して、本実施の形態は、周辺領域においてもエッジ特徴量 を算出し、周辺領域から出血部エッジにかけてのエッジ特徴量の連続性を評価する ことで、出血部エッジか否かを判定する。
[0099] 本実施の形態の画像処理装置 1は、図 2の画像処理装置 1の画像処理プログラムと は処理内容が異なる画像処理プロダラ 61が用いられる。また、本実施の形態の画像 処理装置 1は、画像処理プログラム 61を実行することによって取得、生成され、メモリ 22に記憶される解析データ 62が、原画像 31と出血部エッジ画像 34との二種類の画 像データであり、出血部エッジ候補画像 32と形状エッジ画像 33とは含まれていない 点を除き、第 1の実施の形態と同一である。このため、ここでは、特徴となる作用につ レ、てのみ説明し、同じ構成要素については同じ符号を付してその説明を省略する。
[0100] 本実施の形態においては、第 1の実施の形態と同様に、例えば出血部エッジを検 出する処理について、図 12のフローチャートを用いて説明する。図 12は、画像処理 プログラム 61による画像解析処理の手順を説明するフローチャートである。
[0101] まず、ステップ S201において CPU21は、操作装置 12から指定された画像データ を、画像フアイリング装置 4から取得し、原画像 31としてメモリ 22に記憶させる。次の ステップ S202において CPU21は、ステップ S201で取得した原画像 31から N X N個 の分割領域 43を生成し、出血部エッジ候補領域 44を抽出する。ステップ S202にお ける処理は、第 1の実施の形態において、図 4を用いて説明した出血部エッジ候補抽 出処理と同様の処理であるので、その説明を省略する。
[0102] 次のステップ S203において CPU21は、解析対象となる出血部エッジ候補領域 44 を特定する番号を示す iを 1に初期化する。尚、出血部エッジ候補領域 44を特定する 番号 iは、 1以上、 M以下の整数値である。ここで、 Mは、ステップ S202において、出 血部エッジ候補領域 44として抽出された分割領域 43の数である。
[0103] 続くステップ S204におレヽて CPU21は、 i番目の出血部エッジ候補領域 44における、 第 1〜第 8の R変動を算出する。ステップ S204における R変動の算出方法は、第 1の 実施の形態において、図 7を用いて説明した方法と同様であるので、その説明を省 略する。
[0104] 次のステップ S205において CPU21は、ステップ S204で算出した、第 1〜第 8の R 変動における最大値をエッジ特徴量 A1とし、その R変動が最大となる方向を Dとし て算出する。例えば、第 4の R変動が最大である場合、方向 Diは図 7 (d)に示すよう に対角線右下方向となる。尚、エッジ特徴量 A1と方向 Dとの二つの特徴量を包括し て、候補領域連続性特徴量と呼ぶ。
[0105] 続いて、ステップ S206において CPU21は、図 13に示すように、 i番目の出血部ェ ッジ候補領域 44に関する背景領域 63を設定する。図 13は、出血部エッジ候補領域 44と背景領域 63との関係を説明する概略図である。
[0106] 背景領域 63とは、エッジ特徴量の連続性を評価するために必要な領域であり、 i番 目の出血部エッジ候補領域 44の中心から見て、ステップ S205で求めた方向 Dと反 対の方向に隣接して位置する。また、背景領域 63は、出血部エッジ候補領域 44と 1 : kの相似関係にあり、本実施の形態においては、図 13に示すように、例えば k = 2に 設定している。
[0107] 次のステップ S207において CPU21は、背景領域 63における方向 Dの R変動を算 出し、背景領域連続性特徴量 A2として算出する。 R変動の算出方法は、出血部エツ ジ候補領域 44における R変動の算出方法と同様であるので、その説明を省略する。
[0108] 次のステップ S208において CPU21は、 i番目の出血部エッジ候補領域 44が出血 部エッジであるか否かを判定する。具体的には、背景領域連続性特徴量 A2をエツ ジ特徴量 A1で割った値を連続性評価特徴量 Cとし、 C≤Th4であれば i番目の出 血部エッジ候補領域 44は出血部エッジであると判定する。ここで、 Th4は出血部エツ ジであることを判定する際の基準値となる閾値であり、本実施の形態においては、例 えば Th4 = 0. 2に設定している。
[0109] 図 14 (a)に示すように、 C≤Th4の場合、ステップ S209において CPU21は、 i番 目の出血部エッジ候補領域 44は出血部エッジであると判定し、ステップ S211へ進 む。図 14 (b)に示すように、 C >Th4の場合、ステップ S210において CPU21は、 i 番目の出血部エッジ候補領域 44は出血以外の要素からなるエッジであり、出血部ェ ッジではないと判定し、ステップ S211の処理へ進む。
[0110] なお、図 14は、連続性評価特徴量 Cによる出血部エッジ判定を説明する概略図で ある。図 14は、図 13における C— C'線上に位置する画素の R信号の値を概略的に 示したものである。 [0111] 図 14 (a)は、出血部エッジ候補領域 44が出血部エッジである場合の R信号の値の 変化を、図 14 (b)は、出血部エッジ候補領域 44が出血以外の要素からなるエッジで ある場合の R信号の値の変化を、それぞれ示している。
[0112] 図 14 (a)に示すように、出血部エッジ候補領域 44が出血部エッジである場合、背 景領域 63では R信号の値がほぼ一定であるのに対し、出血部エッジ候補領域 44で は R信号の値が大きく変化する。
[0113] 一方、図 14 (b)に示すように、出血部エッジ候補領域 44が出血以外の要素からな るエッジである場合、背景領域 63から出血部エッジ候補領域 44にかけて、 R信号の 値はゆるやかに変化していく。
[0114] この背景領域 63から出血部エッジ候補領域 44にかけての R信号の値の変化の違 いを、双方の R変動比である連続性評価特徴量 Cとして捉ることで、連続性評価特徴 量 Cを用いて出血部エッジであるか否かを判定することができる。
[0115] ステップ S211において CPU21は、全ての出血部エッジ候補領域 44についてエツ ジ判定を行ったか否かを判定する。具体的には、 i< Mである場合、ステップ S212に ぉレ、て CPU21は、出血部エッジ候補領域 44を特定する番号 iに 1を加算(i = i + 1 ) してステップ 204へ戻り、残りの出血部エッジ候補領域 44に対して出血部エッジ判定 を行う。一方、 i=Mである場合、 CPU21は、図 12の処理を終了する。
[0116] このように、本実施の形態の画像処理装置 1では、出血部エッジにおける色信号の 変化量であるエッジ特徴量を用いることで、出血部エッジか否かを相対的に判断して 検出すること力 Sできる。
[0117] また、本実施の形態は、出血部エッジの周辺領域においてもエッジ特徴量を算出し 、周辺部領域から出血部エッジにかけてのエッジ特徴量の連続性を評価して出血部 エッジか否力、を判定するため、出血部エッジと類似したエッジ特徴量を有する形状変 化や腸液などを、出血部エッジであるとして誤検出するのを防ぐことができる。従って 、本実施の形態によれば、出血部エッジの検出精度がさらに向上する。
[0118] 尚、エッジ特徴量の替わりに、第 2の実施の形態において説明した、カラーエッジ特 徴量を用いて出血部エッジ候補領域 44を抽出してもよい。
[0119] 具体的には、 CPU21は、図 12のステップ S202における出血部エッジ候補領域 44 の抽出処理(つまり第 1の実施の形態における図 4を用いて説明した出血部エッジ候 補抽出処理)を行う替わりに、第 2の実施の形態における図 9を用いて説明した出血 部エッジ抽出処理と同様の処理を行う。この場合、第 2の実施の形態において出血 部エッジとして抽出された領域が、本実施の形態にぉレ、ては出血部エッジ候補領域 44となる。
[0120] (第 4の実施の形態)
次に、本発明の第 4の実施の形態を説明する。上述した第 3の実施の形態では、出 血部エッジ候補領域の周辺領域においてもエッジ特徴量を算出し、周辺領域力 出 血部エッジ候補領域にかけてのエッジ特徴量の連続性を評価することで、出血部ェ ッジか否力、を判定したのに対して、本実施の形態では、出血部エッジ候補領域の内 部領域の液面色調に基づき、出血部エッジか否かを判定する。
[0121] 画像処理装置 1の全体構成は、画像処理プログラム 71の処理内容が異なる点を除 き、第 3の実施の形態と同一であるため、ここでは、特徴となる作用についてのみ説 明し、同じ構成要素については同じ符号を付して、その説明を省略する。
[0122] 本実施の形態においては、第 3の実施の形態と同様に、例えば出血部エッジを検 出する処理について、図 15のフローチャートを用いて説明する。図 15は、画像処理 プログラム 71による画像解析処理の手順を説明するフローチャートである。
[0123] まず、ステップ S301において CPU21は、操作装置 12から指定された画像データ を、画像フアイリング装置 4から取得し、原画像 31としてメモリ 22に記憶させる。次の ステップ S302において CPU21は、ステップ S301で取得した原画像 31から N X N個 の分割領域 43を生成し、出血部エッジ候補領域 44を抽出する。
[0124] 次のステップ S303において CPU21は、解析対象となる出血部エッジ候補領域 44 を特定する番号を示す iを 1に初期化する。尚、出血部エッジ候補領域 44を特定する 番号 iは、 1以上、 M以下の整数値である。ここで、 Mは、ステップ S302において、出 血部エッジ候補領域 44として抽出された分割領域 43の数である。
[0125] 続くステップ S304におレ、て CPU21は、 i番目の出血部エッジ候補領域 44における 、第 1〜第 8の R変動を算出する。尚、上述したステップ S301〜ステップ S304の各 処理は、図 12におけるステップ S201〜ステップ S204の各処理と同様の処理である [0126] 次のステップ S305において CPU21は、ステップ S304で算出した、第 1〜第 8の R 変動が最大となる方向を、候補領域特徴量 D 'とする。例えば、第 4の R変動が最大 である場合、候補領域特徴量 D 'は図 7 (d)に示すように対角線右下方向となる。
[0127] 続くステップ S306におレ、て CPU21は、図 16に示すように、 i番目の出血部エッジ 候補領域 44に関する内部領域 72を設定する。図 16は、出血部エッジ候補領域 44と 内部領域 72との関係を説明する概略図である。
[0128] 内部領域 72とは、エッジ内側の液面色調を評価する領域であり、 i番目の出血部ェ ッジ候補領域 44の中心から見て、ステップ S305で求めた候補領域特徴量 D 'の方 向に隣接して位置する。また、内部領域 72は、出血部エッジ候補領域 44と同じ形状 •面積を有する。
[0129] 次に、ステップ S307におレ、て CPU21は、内部領域 72に含まれる画素の R信号、 G信号、 B信号の値を取得し、内部領域 72における各色信号の平均値 Ra '、 Ga '、
Ba 'を算出する。続くステップ S308において CPU21は、予め設定された、出血部 領域色調空間と、ステップ S307で算出した各色信号の平均値 Ra '、 Ga '、 Ba 'とを 比較する。
[0130] 尚、ステップ S307, S308の処理は、図 3におけるステップ S13, S14の処理と同様 の処理である。ステップ S307で算出された各色信号の平均値 Ra '、 Ga '、 Ba 'が出 血部領域色調空間内に存在する場合、ステップ S309において CPU21は、 i番目の 出血部エッジ候補領域 44は出血部エッジであると判定し、ステップ S311の処理へ 進む。
[0131] 一方、ステップ S307で算出した各色信号の平均値 Ra '、 Ga '、 Ba 'が出血部領 域色調空間内に存在しない場合、ステップ S310において CPU21は、 i番目の出血 部エッジ候補領域 44は出血部エッジでないと判定し、ステップ S311の処理へ進む。
[0132] なお、出血部エッジを判定するのに、 G/R, B/G色調空間を利用しても良い。つ まり、(GZR) min≤Ga ZRa≤ (0/1 ) 111& かっ(:6/0) 11^1≤8& /0&≤ (B/ G) maxである場合、 CPU21は、 i番目の分割領域 43は出血部エッジ候補であると 判定する。 [0133] ステップ S311において CPU21は、全ての出血部エッジ候補領域 44についてエツ ジ判定を行ったか否かを判定する。具体的には、 i< Mである場合、ステップ S311に ぉレ、て CPU21は、出血部エッジ候補領域 44を特定する番号 iに 1を加算(i = i + 1 ) してステップ 304へ戻り、残りの出血部エッジ候補領域 44に対して出血部エッジ判定 を行う。一方、 i = Mである場合には CPU21は、図 15の処理を終了する。
[0134] このように、本実施の形態の画像処理装置 1では、出血部エッジにおける色信号の 変化量であるエッジ特徴量を用いることで、出血部エッジか否かを相対的に判断して 検出すること力 Sできる。
[0135] また、本実施の形態は、出血部エッジの内部領域において液面色調を評価して出 血部エッジか否かを判定するため、周辺粘膜から出血部へかけて、出血部エッジと 類似したエッジ特徴量変化を有する異物や腸液などを、出血部エッジであるとして誤 検出するのを防ぐことができる。従って、本実施の形態によれば、出血部エッジの検 出精度がさらに向上する。
[0136] 尚、本実施の形態においても第 3実施の形態と同様に、エッジ特徴量の替わりに、 第 2の実施の形態において説明した、カラーエッジ特徴量を用いて出血部エッジ候 補領域 44を抽出してもよい。
[0137] 以上のように、上記 4つの実施の形態では、出血部エッジを抽出する場合を例にと つて説明したが、本発明は、上述した実施の形態に限定されるものではなぐ本発明 の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば粘膜表 面の発赤部の輪郭部を抽出する場合にも適用可能である。
[0138] (第 5の実施の形態)
次に図 1、図 17〜図 25を参照して本発明の第 5の実施の形態を説明する。
[0139] 本実施の形態は、出血性領域の輪郭部(以下、出血性エッジと示す)における色信 号の変化量を用いて出血性エッジか否力、を相対的に判断し、出血性エッジに囲まれ た出血性領域を検出することが可能な、画像処理装置、画像処理方法、及び画像処 理プログラムを提供することを目的とする。
[0140] 第 1の実施の形態において説明したように、出血性領域としては、粘膜から実際に 出血が生じている領域である出血部や、粘膜表面が充血などによって赤くなつている 領域である発赤部などがあげられる。
[0141] 本実施の形態においては、例えば出血部を検出する場合について説明する。本発 明の第 5の実施の形態に係わる画像処理装置 1の関連システムとのネットワーク構成 は、図 1と同じ構成である。
[0142] 図 1に示すように、各種画像処理や情報処理を行う画像処理装置 1は、 TCP/IP を通信プロトコルとする LAN2に接続されている。一方、生体内を撮像して画像信号 を出力する内視鏡観察装置 3も、内視鏡フアイリング装置 4を介して LAN2に接続さ れている。
[0143] 内視鏡フアイリング装置 4は、内視鏡観察装置 3から画像信号を受信して画像デー タを生成するとともに、生成された画像データを蓄積する。すなわち、画像処理装置 1は、内視鏡フアイリング装置 4に蓄積されている画像データを、 LAN2経由で取得 する。
[0144] また、本実施の形態の画像処理装置 1は、図 17に示す構成になっている。この画 像処理装置 1は、図 2の画像処理装置 1とハードウェア上の構成は同じである。このた め、図 2と同じ構成要素には、同じ符号が付けてある。本実施の形態の画像処理装 置 1は、図 2の画像処理プログラム 28とは異なる画像処理プログラム 128が採用され ている。また、本実施の形態では、メモリ 22に格納される解析データ 29は、図 2のメ モリ 22に格納される解析データ 29と異なる画像が格納される。
[0145] 図 17に示すように、本実施の形態の画像処理装置 1は、汎用のパーソナルコンビュ ータ 11を中心に構成されており、キーボードとマウスとからなる操作装置 12と、ハード ディスクからなる記憶装置 13と、 CRTからなる表示装置 14とを備えている。
[0146] 操作装置 12、記憶装置 13、及び表示装置 14は、それぞれパーソナルコンピュータ 1 1と電気的に接続されている。処理対象となる画像データの指定、指定された画像デ ータの取得表示、処理実行の指示は、操作装置 12から入力される。また、画像処理 装置 1で行われる各種処理の結果は表示装置 14に表示される。
[0147] パーソナルコンピュータ 11は、各種プログラムの実行処理や制御を行う CPU21と、 各種処理プログラムやデータを記憶するメモリ 22と、記憶装置 13との間で情報の読 み書きを行う外部記憶 I/F23と、外部機器との間で情報の通信を行うネットワーク力 ード 24と、操作装置 12から入力された操作信号を受信して必要なデータ処理を行う 操作 I/F25と、表示装置 14へビデオ信号を出力するグラフィックボード 26とを有し ており、それぞれバス 27と電気的に接続されている。従って、パーソナルコンビユー タ 11の各構成要素は、バス 27を介して相互に情報の送受信を行うことができる。
[0148] ネットワークカード 24は、 LAN2と電気的に接続されており、同じく LAN2に接続さ れている内視鏡フアイリング装置 4との間で情報を送受信する。
[0149] 外部記憶 I/F23は、記憶装置 13に格納されている画像処理プログラム 128を読 み込んでメモリ 22に記憶させる。尚、画像処理プログラム 128は、画像解析処理を実 行するプログラムであって、複数の実行ファイル、又は動的リンクライブラリファイル、 又は設定ファイルから構成される。
[0150] メモリ 22に記憶された画像処理プログラム 128が実行されることで、 CPU21が動作 する。 CPU21は、内視鏡フアイリング装置 4から取得した画像データに対し、画像解 析処理を行う。 CPU21における各処理によって取得、生成される解析データ 29は、 メモリ 22に記 '隠される。
[0151] この解析データ 29には、内視鏡フアイリング装置 4から取得した画像データである 原画像 31が含まれる。更に、解析データ 29には、後述する各種処理によって生成さ れるエッジ画像 132と、出血部候補画像 133と、出血部画像 134とが含まれる。
[0152] この場合、 CPU21は、以下に説明するように原画像 31を複数の小領域に分割し、 各小領域における色信号力 出血性領域の輪郭部を含む領域を抽出して、抽出さ れた小領域を出血性評価領域と設定する処理を行う評価領域設定の処理機能を持 つ。
[0153] また、 CPU21は、評価領域設定の処理の際に、この出血性評価領域の近傍若しく は周辺の複数の小領域を評価対象領域として設定する。そして、 CPU21は、複数の 評価対象領域における色信号の変動量を算出して、この変動量に基づき、出血性ェ ッジ候補領域を抽出し、設定された評価対象領域と抽出された出血性エッジ候補領 域との割合力 出血性評価領域が出血性候補領域か否かの判定を行う出血性候補 領域判定の処理機能を有する。
[0154] また、この CPU21は、出血性エッジ候補領域における 2つ以上の色信号の変動量 に基づき、出血性候補領域が出血性領域か否力を判定する出血性領域判定の処理 機能を持つ。
[0155] 上述のように構成された、画像処理装置 1の作用について説明する。本実施の形 態においては、例えば出血部領域を検出する場合について、図 18のフローチャート を用いて説明する。
[0156] 図 18は、画像処理プログラム 128による画像解析処理の手順を説明するフローチ ヤートである。まず、ステップ S401の原画像取得ステップにおいて CPU21は、操作 装置 12から指定された画像データを、画像ファィリング装置 4から取得し、原画像 31 としてメモリ 22に記'慮させる。
[0157] 原画像 31は、赤 (R)、緑 (G)、青(B)の 3プレーンからなるカラー画像であり、各プ レーンの画素の階調数は、 8bit、すなわち 0〜255の値をとるものとする。次に、ステ ップ S402の画像解析処理ステップにおいて CPU21は、ステップ S401で取得した 原画像 31に各種処理を施し、出血部候補画像 133と、エッジ画像 132と、出血部画 像 134とを生成する。
[0158] この画像解析処理ステップ (ステップ S402)は、原画像 31からエッジ画像 132を生 成する、エッジ抽出処理 (ステップ S410)と、原画像 31から出血部候補画像 133を 生成する出血部候補抽出処理 (ステップ S420)と、エッジ画像 132と出血部候補画 像 133とから出血部画像 134を生成する出血部決定処理 (ステップ S440)と力 構 成される、この順番で各処理が実行される。画像解析処理ステップ (ステップ S402) における上述の各処理について、処理順序に従って説明する。
[0159] 最初に、エッジ抽出処理について、図 19を用いて説明する。図 19は、エッジ抽出 処理の手順を説明するフローチャートである。
[0160] まず、ステップ S411において CPU21は、原画像 31を N X N個の小領域に分割す る。本発明の実施の形態においては、例えば N = 36に設定している。尚、ステップ S 411の前処理として、原画像 31に対する逆ガンマ補正やシェーディング補正を追加 してもよレ、。この場合、これらの補正処理が行われた補正画像を小領域に分割して、 以降の処理を行う。
[0161] 次に、ステップ S412において CPU21は、解析対象となる分割された小領域(以下 、分割領域と示す)を特定する番号を示す iを 1に初期化する。尚、分割領域 141を特 定する番号 iは、 1以上、 N X N以下の整数値を取る。
[0162] 次に、ステップ S413において CPU21は、 i番目の分割領域 141における G信号の 値の変動(以下、 G変動と示す)を算出する。 G変動は、分割領域 141における特定 の画素の G信号の値 (G1)と、同じ分割領域 43における別の特定の画素の G信号の 値 (G2)とから算出される。具体的には、 CPU21は、 G変動 =log (G2) -log (Gl) e e で計算する。
[0163] 本実施の形態では、図 20に示すように、 CPU21は分割領域 141における上下、 左右方向及び対角線方向の八つの方向について、それぞれ G変動を算出する。図 2 0 (a)〜(h)は、 G変動の算出方法を説明する図である。
[0164] 第 1の G変動は、図 20 (a)に示すように上方向への G変動であり、中央下部の画素 の G信号の値を Gl、中央上部の画素の G信号の値を G2として算出される。第 2の G 変動は、図 20 (b)に示すように対角線右上方向への G変動であり、左下部の画素の G信号の値を Gl、右上部の画素の G信号の値を G2として算出される。第 3の G変動 は、図 20 (c)に示すように右方向への G変動であり、左中央部の画素の G信号の値 を Gl、右中央部の画素の G信号の値を G2として算出される。
[0165] 第 4の G変動は、図 20 (d)に示すように対角線右下方向への G変動であり、左上部 の画素の G信号の値を Gl、右下部の画素の G信号の値を G2として算出される。第 5 の G変動は、図 20 (e)に示すように下方向への G変動であり、中央上部の画素の G 信号の値を Gl、中央下部の画素の G信号の値を G2として算出される。第 6の G変動 は、図 20 (f)に示すように対角線左下方向への G変動であり、右上部の画素の G信 号の値を G1、左下部の画素の G信号の値を G2として算出される。
[0166] 第 7の G変動は、図 20 (g)に示すように左方向への G変動であり、右中央部の画素 の G信号の値を Gl、左中央部の画素の G信号の値を G2として算出される。第 8の G 変動は、図 20 (h)に示すように対角線左上方向への G変動であり、右下部の画素の G信号の値を G1、左上部の画素の G信号の値を G2として算出される。
[0167] 次に、ステップ S414において CPU21は、ステップ S413で算出した第 1〜第 8の G 変動における最大値を E1とし、 G変動が最大となる方向を D1として算出する。例え ば、第 4の G変動が最大である場合、方向 Dlfは図 20 (d)に示すように対角線右下方 向となる。尚、 G変動の最大値 E1と方向 D1との二つの特徴量を包括して、エッジ特 徴量と呼ぶ。
[0168] 次に、ステップ S415において CPU21は、 i番目の分割領域 141がエッジである力、 否かを判定する。具体的には、 G変動の最大値 El† El >Thrlあれば、 CPU21 は i番目の分割領域 141はエッジであると判定する。ここで、 Thrlは閾値であり、本 発明の実施の形態においては、例えば Thrl = 0. 3に設定している。
[0169] El >Thrlの場合、ステップ S416において CPU21は、 i番目の分割領域 141は
i
エッジであると判定し、ステップ S418へ進む。 El≤Thrlの場合、ステップ S417に おいて CPU21は、 i番目の分割領域 141はエッジでないと判定し、ステップ S418へ 進む。
[0170] ステップ S418において CPU21は、全ての分割領域 141についてエッジ判定を行 つたか否かを判定する。具体的には、 i< N X Nである場合、ステップ S419において CPU21は、分割領域 141を特定する番号 iに 1を加算(i = i + 1 )してステップ S413 へ戻り、残りの分割領域 141に対してエッジ判定を行う。 i = N X Nである場合、 CPU 21は、図 19の処理を終了して続く出血部候補抽出処理へと移行する。
[0171] 次に、出血部候補抽出処理について、図 21を用いて説明する。図 21は、出血部 候補抽出処理の手順を説明するフローチャートである。出血部候補抽出処理におい て、 CPU21はエッジ抽出処理において抽出されたエッジの配置に基づき出血部候 補と出血部エッジ候補とを抽出する。
[0172] まず、 CPU21は評価領域設定手段としてのステップ S421〜ステップ S423の処理 を実行し、出血性評価領域としての i番目の分割領域 141に関し、評価対象領域とし ての周辺領域 143を設定する。
[0173] ここで、周辺領域 143は、 i番目の分割領域 141の外周を取り囲む閉曲線上に設定 される。ステップ S421において CPU21は、解析対象となる分割領域 141を特定す る番号を示す iを 1に初期化する。尚、分割領域 141を特定する番号 iは、 1以上、 N X N以下の整数値を取る。
[0174] 次に、ステップ S422において CPU21は、図 22 (a)に示すように、 i番目の分割領 域 141を中心とする M X M個の分割領域 141を、 i番目の分割領域 141における配 置評価領域 142として取得する。
[0175] 図 22は出血部候補抽出処理を説明する図である。本実施の形態において CPU2 1は、例えば M = 5とした。続いて、ステップ S423において CPU21は、ステップ S42 2において取得した配置評価領域 142において、当該領域の外郭に接する分割領 域 141を周辺領域 143 (斜線部)として取得する。
[0176] 本実施の形態においては、図 22 (a)に示すように、潘目の分割領域 141に関する 周辺領域 143の個数 C1は 16個となる。
[0177] 次に、 CPU21は出血性候補領域判定手段としてのステップ S424〜ステップ S43 2の処理を実行する。まず、ステップ S424において CPU21は、解析対象となる周辺 領域 143を特定する番号を示す jを 1に、周辺領域 143における出血部エッジ候補領 域数をカウントするカウンタ Cntlを 0に、それぞれ初期化する。
[0178] 尚、周辺領域 143を特定する番号 jとカウンタ Cntlとは、 1以上、 C1以下の整数値 を取る。続いて、ステップ S425において CPU21は、 j番目の周辺領域 143から i番目 の分割領域 141に向力う方向を D2とする。次に、ステップ S26において CPU21は 、j番目の周辺領域 43において八方向の G変動を算出し、 G変動が最大となる方向 を D3とする。ステップ S426における G変動の算出方法は、ステップ S413における G変動の算出方法と同様である。
[0179] 続いて、ステップ S427において CPU21は、ステップ S425において取得した方向 D2と、ステップ S426において取得した方向 D3との成す角度 Θ を求める(図 22 (b )参照)。次に、ステップ S428におレ、て CPU21は、 j番目の周辺領域 143が出血部 エッジ候補であるか否かを判定する。具体的には、 CPU21はステップ S427におレヽ て算出した角度 Θ が、 Θ ≤Thr2であるか否かを判定する。ここで、 Thr2は閾値で
ij ij
あり、本発明の実施の形態においては、例えば Thr2 = 45 (度)に設定している。尚、 ステップ S428における出血部エッジ候補判定は仮の(暫定的な)判定であり、後述 する処理によって i番目の分割領域 141が出血部候補領域であると判定された場合 に、初めて本ステップにおける判定結果が採用される。
[0180] Θ ≤Thr2の場合、 CPU21は j番目の周辺領域 143は出血部エッジ候補であると 半 IJ定し、ステップ S429におレヽて Cntlに 1をカロえ、ステップ S430へ進む。 Θ >Thr2 の場合、ステップ S428において CPU21は、 j番目の周辺領域 143は出血部エッジ 候補でないと判定し、ステップ S430へ進む。
[0181] ステップ S430において CPU21は、 i番目の分割領域 141に関する全ての周辺領 域 143について出血部エッジ候補判定を行ったか否かを判定する。具体的には、 jく C1である場合、ステップ S431において CPU21は、周辺領域 143を特定する番号 j に 1を加算 (j叫 + 1)してステップ S425へ戻り、残りの周辺領域 143に対して出血部 エッジ候補判定を行う。 j = Clである場合、 CPU21は、ステップ S432へ進む。
1
[0182] ステップ S432において CPU21は、 i番目の分割領域 41が出血部候補であるか否 かを判定する。具体的には、周辺領域 143の個数 C1に対する出血部エッジ候補領 域数 Cntlの割合を算出し、 Cntl/Cl >Thr3であるか否かを判定する。ここで、 T
i
hr3は閾値であり、本発明の実施の形態においては、例えば Thr3 = 0. 7に設定して いる。
[0183] 図 23に示すように、 Cntl/Cl >Thr3の場合、ステップ S433において CPU21 は i番目の分割領域 141は出血部候補であると判定する。また、ステップ S428にお レ、て CPU21は、出血部エッジ候補であると仮判定された周辺領域 143、すなわち、 i 番目の分割領域 141に関する周辺領域 143であって、 Θ ≤Thr2である周辺領域 1 43を、出血部エッジ候補であると正式に判定する。図 23は、出血部候補の判定方法 を説明する図である。
[0184] 図 23においては、例えば i番目の分割領域 141に関する 16個の周辺領域 143のう ち、周辺領域 143の中にエッジ特徴量である方向 D1を矢印で記載した 14個の周辺 領域 143がエッジであると判定されている。更に、エッジと判定された 14個の周辺領 域のうちの 12個が、 Θ ≤Thr2を満たしているため、 Cntl/Clは 0. 75となる。
ij i
[0185] Cntl/Clの値が Thr3として設定されている 0. 7以上であるため、 i番目の分割領
i
域 141は出血部候補と判定され、 Θ ≤Thr2を満たす 12個の周辺領域 143は出血
1J
部エッジ候補と判定される。 (図 23において網掛けされている周辺領域 143が、出血 部エッジ候補と判定された領域である。 )
CPU21はステップ S433が終了すると、ステップ S434へ進む。 CntlZCl≤Thr 3の場合、 CPU21は i番目の分割領域 141は出血部候補でないと判定し、ステップ S 434へ進む。
[0186] ステップ S434において CPU21は、全ての分割領域 141について、出血部候補判 定を行ったか否かを判定する。具体的には、 i< N X Nである場合、ステップ S435に おいて CPU21は、分割領域 141を特定する番号 iに 1を加算(i = i+ 1)してステップ S422へ戻り、残りの分割領域 141に対して出血部候補判定を行う。 i = N X Nである 場合、 CPU21は図 21の処理を終了し、続く出血部決定処理へと移行する。
[0187] 次に、出血性領域判定手段としての出血部決定処理について、図 24を用いて説 明する。図 24は、出血部決定処理の手順を説明するフローチャートである。出血部 決定処理においては、 CPU21は出血部候補抽出処理により抽出された出血部エツ ジ候補の周辺領域 143について、 R信号、 G信号、 B信号のうちの 2つ以上の色信号 の変動の比に基づくカラーエッジ特徴量を算出し、カラーエッジ特徴量に基づき出 血部エッジか否かを判定する。更に、 CPU21は抽出された出血部エッジ領域を基に 、出血部領域を決定する。
[0188] まず、ステップ S441において CPU21は、出血部候補抽出処理において出血部候 補であると判定された分割領域 141を取得する。また、出血部候補である分割領域 1 41の個数を Hとする。次に、ステップ S442において CPU21は、解析対象となる分 割領域 141を特定する番号を示す kを 1に初期化する。尚、解析対象となる分割領域 141は、ステップ S441で取得した出血部候補である H個の分割領域 141である。従 つて、分割領域 141を特定する番号 kは、 1以上、 H以下の整数値を取る。
[0189] 続いて、ステップ S443において CPU21は、出血部候補抽出処理において、 k番 目の分割領域 141における出血部エッジ候補であると判定された周辺領域 143を取 得する。また、出血部エッジ候補である周辺領域 143の個数を C2とする。次に、ステ
k
ップ S444において CPU21は、解析対象となる周辺領域 143を特定する番号を示 す 1を 1に、周辺領域 143における出血部エッジ領域数をカウントするカウンタ Cnt2を 0に、それぞれ初期化する。尚、周辺領域 143を特定する番号 1とカウンタ Cnt2とは、 1以上、 C2以下の整数値を取る。
k
[0190] 次に、ステップ S445において CPU21は、 1番目の周辺領域 143における R信号の 値の変動 (以下、 R変動と示す)と、 G信号の値の変動 (以下、 G変動と示す)とを算出 する。 R変動は、周辺領域 143における特定の画素 P1の R信号の値 (R1)と、同じ周 辺領域 143における別の特定の画素 P2の R信号の値 (R2)とから算出され、具体的 には、 R変動 =log (R2) -log (R1)で計算される。
e e
[0191] また、 G変動は、 R変動を算出する際に用いた画素 P1の G信号の値 (G1)と、画素 P2の G信号の値 (G2)とから算出され、具体的には、 G変動 =log (G2) -log (Gl) e e で計算される。本実施の形態では、図 25に示すように、周辺領域 143における上下 左右方向及び対角線方向の八つの方向について、それぞれ R変動と G変動とを算 出している。
[0192] 図 25 (a)〜(h)は、 R変動及び G変動の算出方法を説明する図である。図 25 (a)〜
(h)に示す、第 1〜第 8の G変動の算出方法は、ステップ S413において算出した、図 20 (a)〜(h)に示す第 1〜第 8の G変動の算出方法と同様であるので、詳細な説明 は省略する。
[0193] 図 25 (a)〜 (h)に示す、第 1〜第 8の R変動の算出方法は、第 1〜第 8の G変動を 算出する際に用いた画素と同じ画素を用いており、 G信号の値である Gl、 G2を、そ れぞれ R信号の値である Rl、 R2と置き換えれば、第 1〜第 8の G変動の算出方法と 同様であるので、詳細な説明は省略する。
[0194] 次に、ステップ S446において CPU21は、第 1〜第 8の G変動をそれぞれ第 1〜第 8の R変動で割り、第 1〜第 8の変動比を求める。更に、 CPU21はステップ S426に おいて算出した、 1番目の周辺領域 143において G変動が最大となる方向 D3 にお
kl ける、 R変動に対する G変動の変動比の値をカラーエッジ特徴量 B1とする。
1
[0195] 周辺粘膜と出血部との境界領域付近、すなわち、出血部エッジ付近は、一般的に、 R信号や B信号の変化に比べて G信号の変化が大きい。従って、 G変動/ R変動の 最大値をカラーエッジ特徴量とする。尚、カラーエッジ特徴量は、 G変動 ZB変動の 最大値を用いてもよい。
[0196] 次に、ステップ S447において CPU21は、 1番目の周辺領域 143が出血部エッジで あるか否かを判定する。具体的には、カラーエッジ特徴量 B1力 Bl >Thr4であれ
1 1
ば、 CPU21は 1番目の周辺領域 143は出血部エッジであると判定する。尚、ステップ S447における出血部エッジ判定は仮の判定であり、後述する処理によって k番目の 分割領域 141が出血部領域であると判定された場合に、初めて本ステップにおける 判定結果が採用される。
[0197] ここで、 Thr4は閾値であり、本発明の実施の形態においては、例えば Thr4 = l . 0 に設定している。 Bl >Thr4の場合、 CPU21は 1番目の周辺領域 143は出血部エツ
1
ジであると半 IJ定し、ステップ S448におレヽて Cnt2に 1をカロえ、ステップ S449へ進む。
[0198] Bl≤Thr4の場合、 CPU21は 1番目の周辺領域 143は出血部エッジでないと判定
1
し、ステップ S449へ進む。
[0199] ステップ S449において CPU21は、 k番目の分割領域 141に関する全ての周辺領 域 143について出血部エッジ判定を行ったか否かを判定する。具体的には、 K C2 k である場合、ステップ S450において CPU21は、周辺領域 143を特定する番号 1に 1 を加算(1 = 1 + 1)してステップ S445へ戻り、残りの周辺領域 143に対して出血部エツ ジ判定を行う。
[0200] j = C2である場合、 CPU21は出血部エッジ判定の処理を終了し、ステップ S451 k
へ進む。
[0201] ステップ S451において CPU21は、 k番目の分割領域 141が出血部であるか否か を判定する。具体的には、 CPU21は周辺領域 143の個数 C2に対する出血部エツ k
ジ領域数 Cnt2の割合を算出し、 Cnt2/C2 >Thr5であるか否かを判定する。
k
[0202] ここで、 Thr5は閾値であり、本発明の実施の形態においては、例えば Thr5 = 0. 7 に設定している。 Cnt2/C2 >Th5の場合、ステップ S452において CPU21は、 k k
番目の分割領域 141は出血部であると判定する。
[0203] また、ステップ S447において CPU21は、出血部エッジであると仮判定された周辺 領域 143、すなわち、 k番目の分割領域 141に関する周辺領域 143であって、 B1 >
1
Th4である周辺領域 143を、出血部エッジであると正式に判定する。
[0204] ステップ S452が終了すると、 CPU21はステップ S453へ進む。 Cnt2ZC2≤Th5 k の場合、 CPU21は k番目の分割領域 141は出血部でないと判定し、ステップ S453 へ迪む。
[0205] ステップ S453において CPU21は、出血部候補である全ての分割領域 141につい て、出血部判定を行ったか否かを判定する。具体的には、 k< Hである場合、ステツ プ S454において CPU21は、分割領域 141を特定する番号 kに 1を加算(k=k+ l ) してステップ S443へ戻り、残りの出血部候補である分割領域 141に対して出血部判 定を行う。 k=Hである場合、 CPU21は処理を終了する。
[0206] このように、本実施の形態の画像処理装置 1では、出血部エッジ候補の配置に基づ き出血部候補を抽出し、更に、出血部エッジ候補において異なる色信号の変化量比 (カラーエッジ特徴量)に基づき出血部エッジか否力、を相対的に判断し、出血部エツ ジに囲まれた領域を出血部として検出するため、小面積の出血部も精度よく検出す ること力 Sできる。
[0207] (第 6の実施の形態)
次に、本発明の第 6の実施の形態を説明する。上述した第 5の実施の形態では、配 置評価領域 142の外郭に接する分割領域 141を周辺領域 143としたが、本実施の 形態では、配置評価領域 142の内部にも周辺領域 143を設け、出血性エッジ候補の 評価対象領域に幅を持たせている。これにより、より多様な形状の出血部を検出する ことが可能になる。
[0208] 画像処理装置 1の全体構成は、画像処理プログラム 81の処理内容が第 5の実施の 形態における画像処理プログラム 128と異なる点を除き、第 5の実施の形態と同一で ある。このため、ここでは、特徴となる作用についてのみ説明し、同じ構成要素につい ては同じ符号を付して説明は省略する。また、本実施の形態においては、第 5の実施 の形態と同様に、例えば出血部を検出する場合について説明する。
[0209] 本実施の形態における画像解析処理は、出血部候補抽出処理のステップ S423〜 ステップ S431、すなわち出血部エッジ候補判定の処理内容が異なる点を除き、第 5 の実施の形態と同一である。本実施の形態における出血部エッジ候補判定処理を、 図 26のフローチャートを用いて説明する。
[0210] 図 26は、第 6の実施の形態における出血部エッジ候補判定処理の手順を説明する フローチャートである。
[0211] 図 18のステップ S401において CPU21は原画像 31を取得し、ステップ S410にお けるエッジ抽出処理を終了した後、図 21のステップ S421〜S422におレヽて i番目の 分割領域 141における配置評価領域 142を取得する。引き続き、図 26に示す出血 部エッジ候補判定処理が実行される。
[0212] 出血部エッジ候補判定処理では、まず、ステップ S523において CPU21は、ステツ プ S22において取得した配置評価領域 142において、外郭部から Z個内側の分割 領域 141の個数を周辺領域 143の個数 C3とする。本実施の形態においては、例え ば配置評価領域 142として 5 X 5 = 25個の分割領域 141を取得し、周辺領域 143の 幅に相当する Zを Z = 2と設定した。この場合、図 27に示すように、周辺領域 143の 個数 C3は 8個となる。図 12は、第 2の実施の形態における周辺領域 143の設定位 置を説明する図である。
[0213] 次に、ステップ S524において CPU21は、解析対象となる周辺領域 143を特定す る番号を示す mを 1に、周辺領域 143における出血部エッジ候補領域数をカウントす るカウンタ Cnt3を 0に、それぞれ初期化する。
[0214] 尚、周辺領域 143を特定する番号 mとカウンタ Cnt3とは、 1以上、 C3以下の整数 値を取る。続いて、ステップ S525において CPU21は、 m番目の周辺領域 143に含 まれる分割領域 141を取得する。
[0215] 具体的には、配置評価領域 142の中心に位置する i番目の分割領域 141から、配 置評価領域 142の外郭から Z個分内側に位置する分割領域 141を通って配置評価 領域 142の外郭まで達する半直線を引き、半直線上に位置する分割領域 141を周 辺領域 143として取得する(図 27参照)。
[0216] 本実施の形態の場合、 Z = 2と設定しているため、 1つの周辺領域 143に含まれる 分割領域 141は 2個となる。すなわち、図 27において、線分で連結されている 2個の 分割領域 141は、同じ周辺領域 143に属する。
[0217] 続いて、ステップ S526において CPU21は、 m番目の周辺領域 143における分割 領域 141を特定する番号を示す nを 1に初期化する。尚、分割領域 141を特定する 番号 nは、 1以上、 Z以下の整数値を取る。
[0218] 次に、ステップ S527において CPU21は、 m番目の周辺領域 143における n番目 の分割領域 141から i番目の分割領域 141に向力 方向を D4 とする。続いて、ステ ップ S528におレ、て CPU21は、ステップ S14において取得した、 m番目の周辺領域 143における n番目の分割領域 141のエッジ特徴量の方向 D1 と、ステップ S527 imn
において取得した方向を D4 との成す角度 Θ を求める。
[0219] 続いて、ステップ S529において CPU21は、 m番目の周辺領域 143が出血部エツ ジ候補であるか否かを判定する。具体的には、 CPU21はステップ S528において算 出した角度 Θ が、 Θ ≤Thr6であるか否かを判定する。
imn imn
[0220] ここで、 Thr6は閾値であり、本発明の実施の形態においては、例えば Thr6 = 45 ( 度)に設定している。尚、第 5の実施の形態におけるステップ S428と同様に、ステツ プ S529における出血部エッジ候補判定は仮の判定であり、後述する処理によって i 番目の分割領域 141が出血部候補領域であると判定された場合に、初めて本ステツ プにおける判定結果が採用される。 Θ ≤Thr6の場合、 CPU21は m番目の周辺 領域 143は出血部エッジ候補であると判定し、ステップ S530において Cnt3に 1を加 え、ステップ S533へ進む。
[0221] Θ >Thr6の場合、ステップ S531において CPU21は、 m番目の周辺領域 143 imn
に含まれる全ての分割領域 141につレ、て出血部エッジ候補判定を行ったか否かを 判定する。具体的には、 n<Zである場合、ステップ S532において CPU21は、 m番 目の周辺領域 143における分割領域 141を特定する番号 nに 1を加算(n=n+ 1)し てステップ S527へ戻り、残りの分割領域 141に対して出血部エッジ候補判定を行う。
[0222] n=Zである場合、 CPU21は m番目の周辺領域 143は出血部エッジ候補でないと 判定し、ステップ S533へ進む。すなわち、 m番目の周辺領域に含まれる Z個の分割 領域 141のうち、 1つでも出血部エッジ候補の判定条件である Θ ≤Th6を満たす 領域があれば、 CPU21は m番目の周辺領域は出血部エッジ候補であると判定する
[0223] ステップ S533において CPU21は、 i番目の分割領域 141に関する全ての周辺領 域 143について出血部エッジ候補判定を行ったか否かを判定する。具体的には、 m く C3である場合、ステップ S534において CPU21は、周辺領域 143を特定する番 i
号 mに 1を加算(m=m+ 1)してステップ S525へ戻り、残りの周辺領域 143に対して 出血部エッジ候補判定を行う。
[0224] m = C3である場合、 CPU21は処理を終了し、ステップ S32へ進む。ステップ S32 i 以降の処理は、第 5の実施の形態と同様であるので、説明を省略する。
[0225] ステップ S34において出血部候補判定処理が終了すると、例えば図 28に示すよう に出血部候補が抽出される。図 28は、出血部候補判定処理を説明する図である。図 28においては、例えば i番目の分割領域 141に関する 8個の周辺領域 143のうち、 分割領域 141の中にエッジ特徴量である方向 D1 を矢印で記載した 8個の周辺領 域 143がエッジであると判定されている。
[0226] 更に、エッジと判定された 8個の周辺領域 143全てが、 Θ ≤Thr6を満たしている
imn
ため、 Cnt3/C3は 1となる。 Cnt3/C3の値が Thr3として設定されている 0. 7以
i i
上であるため 番目の分割領域 141は出血部候補と判定され、 Θ ≤Thr6を満た す 8個の周辺領域 143は出血部エッジ候補と判定される。
[0227] 以上のようにして抽出した出血部候補に関する出血部決定処理では、第 5の実施 の形態と同様に、出血部エッジ候補のカラーエッジ特徴量を基に出血部の判定が行 われる。
[0228] このように、本実施の形態の画像処理装置 1では、出血部エッジ候補の評価対象と なる周辺領域 143に幅を持たせているので、小面積の出血部に加えて楕円形ゃァメ ーバ形状など多様な形状を有する出血部も検出することができ、出血部の検出精度 が更に向上する。
[0229] (第 7の実施の形態)
次に、本発明の第 7の実施の形態を説明する。上述した第 5の実施の形態では、配 置評価領域 142の外郭の全周方向に接する分割領域 141を周辺領域 143とした。こ れに対して、本実施の形態では、配置評価領域 142の外郭の対向する 2辺、及び、 対角線を挟んで対向する 2直線上に配置される分割領域 141を周辺領域 143として いる。
[0230] これにより、出血部が帯状であって、内視鏡画像に出血部の一部のみが映し出され ている場合にも、本実施の形態によれば出血部を検出することが可能になる。
[0231] 画像処理装置 1の全体構成は、画像処理プログラム 91の処理内容が第 5の実施の 形態における画像処理プログラム 128と異なる点を除き、第 5の実施の形態と同一で ある。このため、ここでは、特徴となる作用についてのみ説明し、同じ構成要素につい ては同じ符号を付して説明は省略する。また、本実施の形態においては、第 5の実施 の形態と同様に、例えば出血部を検出する場合について説明する。
[0232] 本実施の形態における画像解析処理は、出血部候補抽出処理のステップ S423に おいて設定する周辺領域 143の位置が異なることと、 1つの分割領域 141に対して 設定する周辺領域 143の配置パターンが、図 29 (a)〜(d)に示すように、複数設けら れている点を除くと第 5の実施の形態と同一である。
[0233] すなわち、ステップ S423において CPU21は、図 29 (a)に示すように、ステップ S4 22において取得した配置評価領域 142において、上下方向に対向する外郭の 2辺 に接する分割領域 141を周辺領域 143として取得し、ステップ S424〜ステップ S43 3の出血部エッジ候補判定及び出血部候補判定処理を行う。
[0234] ステップ S433力 S終了すると CPU21はステップ S423に戻り、図 29 (b)に示すように 、配置評価領域 142において、左右方向に対向する外郭の 2辺に接する分割領域 1 41を周辺領域 143として取得し、出血部エッジ候補判定及び出血部候補判定処理 を行う。
[0235] 同様に、図 29 (c)に示すように、左上から右下方向の対角線を挟む 2直線上に位 置する分割領域 141を周辺領域 143とするパターン、図 29 (d)に示すように、右上か ら左下方向対角線を挟む 2直線上に位置する分割領域 141を周辺領域 143とする パターンについても、 CPU21は出血部エッジ候補判定及び出血部候補判定処理を 行う。
[0236] CPU21は全ての周辺領域 143配置パターンについて出血部エッジ候補判定及び 出血部候補判定処理を行った後、ステップ S434へ進み、このステップ S434以降の 処理を行う。
[0237] 以上のようにして抽出した出血部候補に関する出血部決定処理では、第 5の実施 の形態と同様に、出血部エッジ候補のカラーエッジ特徴量を基に出血部の判定が行 われる。
[0238] このように、本実施の形態の画像処理装置 1では、出血部候補の評価対象となる分 割領域 141を挟んで対向する 2直線上に配置された分割領域 141を、出血部エッジ 候補の評価対象となる周辺領域 143として用いるようにしているので、出血部が帯状 であって、内視鏡画像に出血部の一部のみが映し出されている場合にも、出血部を 検出すること力 Sでき、出血部の検出精度が更に向上する。
[0239] 以上のように、上記第 5から第 7の 3つの実施の形態では、出血性領域として出血 部を抽出する場合を例にとって説明したが、本発明は、上述した実施の形態に限定 されるものではなぐ本発明の要旨を変えない範囲において、種々の変更、改変等が 可能である。例えば粘膜表面の発赤部を抽出する場合にも適用可能である。
産業上の利用可能性
[0240] 生体粘膜を内視鏡等により撮像した医療用画像に対して、画像処理により、その複 数の色情報を利用して出血性領域を客観的に検出することができ、術者による診断 を支援すること力 Sできる。
[0241] 本出願は、 2005年 4月 27日に日本国に出願された特願 2005— 130229号、 200
5年 4月 27日に日本国に出願された特願 2005— 130231号を優先権主張の基礎と して出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引 用されたものとする。

Claims

請求の範囲
[1] 生体を撮像した複数の色信号力 なる医療用画像の画像信号に基づき、出血性 領域の輪郭部の候補領域を抽出する出血性エッジ候補領域抽出部と、
前記医療用画像を分割した複数の小領域における前記候補領域を含む小領域に おける前記画像信号の変動量の算出に基づき、前記出血性領域が持つ特徴量を算 出する特徴量算出部と、
前記特徴量に基づき、前記候補領域が前記出血性領域の輪郭部であるか否かを 判定する出血性エッジ判定部と、
を備えたことを特徴とする画像処理装置。
[2] 前記出血性エッジ候補領域抽出部は、前記医療用画像を分割した複数の小領域 における前記画像信号を構成する複数の色信号の平均値がそれぞれ所定の範囲内 に存在するか否か、若しくは 2つの色信号の平均値の比の値が所定の範囲内に存在 するか否かの判定を行う判定部を有し、前記判定部の結果に基づいて前記出血性 領域の輪郭部の候補領域を抽出することを特徴とする請求項 1に記載の画像処理装 置。
[3] 前記特徴量算出部は、前記小領域内における少なくとも 1つの色信号の輝度値が 最大に変動する変動量の値に基づき、前記特徴量を算出することを特徴とする請求 項 1に記載の画像処理装置。
[4] 前記出血性エッジ判定部は、前記特徴量に基づき前記候補領域が、前記出血性 領域以外の形状領域の輪郭部であるか否かを判定する形状エッジ判定部と、前記 特徴量に基づき前記候補領域が、前記出血性領域の輪郭部であるか否力、を判定す るエッジ判定部とを含むことを特徴とする請求項 1に記載の画像処理装置。
[5] 前記出血性エッジ判定部は、前記候補領域に隣接する隣接領域における前記特 徴量を算出する隣接領域特徴量算出部を更に含み、前記候補領域の前記特徴量と 前記隣接領域の前記特徴量との比に基づき、前記候補領域が前記出血性領域の輪 郭部であるか否力を判定することを特徴とする請求項 1に記載の画像処理装置。
[6] 前記出血性エッジ判定部は、前記候補領域に隣接する隣接領域における前記画 像信号に基づき、前記候補領域が前記出血性領域の輪郭部であるか否力を判定す ることを特徴とする請求項 1に記載の画像処理装置。
[7] 生体を撮像した複数の色信号力もなる医療用画像の画像信号に基づき、出血性領 域の輪郭部の候補領域を抽出する出血性エッジ候補領域抽出ステップと、
前記医療用画像を分割した複数の小領域における前記候補領域を含む小領域に おける前記画像信号の変動量の算出に基づき、前記出血性領域が持つ特徴量を算 出する特徴量算出ステップと、
前記特徴量に基づき、前記候補領域が前記出血性領域の輪郭部であるか否かを 判定する出血性エッジ判定ステップと、
を備えたことを特徴とする画像処理方法。
[8] 前記出血性エッジ候補領域抽出ステップは、前記医療用画像を分割した複数の小 領域における前記画像信号を構成する複数の色信号の平均値が、それぞれ所定の 範囲内に存在するか否か、若しくは 2つの色信号の平均値の比の値が所定の範囲 内に存在するか否かの判定を行う判定ステップを有し、前記判定ステップの結果に 基づいて前記出血性領域の輪郭部の候補領域を抽出することを特徴とする請求項 7 に記載の画像処理方法。
[9] 前記特徴量算出ステップは、前記小領域内における 1つの色信号の輝度値が最大 に変動する変動量に基づき、前記特徴量を算出することを特徴とする請求項 7に記 載の画像処理方法。
[10] 前記特徴量算出部は、前記小領域における 2つの色信号の変動量の割合が最大 に変動する変動量の算出の結果に基づき、前記特徴量を算出することを特徴とする 請求項 7に記載の画像処理方法。
[11] 前記変動量の算出に用レ、られる 2つの色信号は、少なくとも Gの色信号を用いる変 動量であることを特徴とする請求項 10に記載の画像処理方法。
[12] 前記出血性エッジ判定ステップは、前記出血性領域以外の形状領域の輪郭部を 判定する形状エッジ判定ステップを有し、前記形状エッジ判定ステップにより判定さ れた前記形状領域の輪郭部を除外して前記出血性領域の輪郭部であるか否力、を判 定することを特徴とする請求項 7に記載の画像処理方法。
[13] 前記出血性エッジ判定ステップは、前記出血性領域の輪郭部を判定するためのサ ィズの閾値を用いて前記出血性領域の輪郭部に対する判定を行うことを特徴とする 請求項 7に記載の画像処理方法。
[14] 前記出血性エッジ判定ステップは、抽出された前記候補領域の周辺領域にぉレ、て 算出された周辺領域情報に基づき、抽出された前記候補領域が前記出血性領域の 輪郭部であるか否力、を判定することを特徴とする請求項 7に記載の画像処理方法。
[15] 前記出血性エッジ判定ステップは、抽出された前記候補領域の周辺領域において 算出された周辺領域特徴量と、前記候補領域において算出された特徴量との連続 性の評価結果に基づき、前記出血性領域の輪郭部であるか否力、を判定することを特 徴とする請求項 7に記載の画像処理方法。
[16] 前記出血性エッジ判定ステップは、抽出された前記候補領域の内側において算出 された内側領域の色調評価結果に基づき、抽出された前記候補領域が前記出血性 領域の輪郭部であるか否力 ^判定することを特徴とする請求項 7に記載の画像処理 方法。
[17] 前記出血性エッジは、発赤部のエッジの場合を含むことを特徴とする請求項 1に記 載の画像処理方法。
[18] コンピュータに、
生体を撮像した複数の色信号力もなる医療用画像の画像信号に基づき、出血性領 域の輪郭部の候補領域を抽出する出血性エッジ候補領域抽出手順と、
前記医療用画像を分割した複数の小領域おける前記候補領域を含む小領域にお ける前記画像信号の変動量の算出に基づき、出血性領域が持つ特徴量を算出する 特徴量算出手順と、
前記特徴量に基づき、前記候補領域が前記出血性領域の輪郭部であるか否かを 判定する出血性エッジ判定手順と、
を実行させることを特徴とする画像処理プログラム。
[19] 生体を撮像した複数の色信号からなる医療用画像信号に対応する医療用画像を 複数の小領域に分割して、前記複数の小領域に対して少なくとも 1つの前記色信号 から、出血性領域の輪郭部を含む小領域を抽出し、抽出された該小領域を出血性 評価領域として設定し、かつ前記出血性評価領域の周辺に、複数の前記小領域か らなる評価対象領域を設定する評価領域設定部と、
前記評価対象領域における前記色信号の変動量に基づき、前記評価対象領域か ら出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候 補領域の割合力 前記出血性評価領域が出血性候補領域か否力 ^判定する出血 性候補領域判定部と、
前記出血性エッジ候補領域における 2つ以上の前記色信号の変動に基づき、前記 出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補 領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前 記出血性領域か否かを判定する出血性領域判定部と、
を備えたことを特徴とする画像処理装置。
[20] 前記評価領域設定部は、前記小領域内における前記色信号の輝度値の変動量の 最大値を算出し、該最大値が所定値を超える場合の小領域を前記出血性評価領域 として設定することを特徴とする請求項 19に記載の画像処理装置。
[21] 前記評価領域設定部は、前記評価対象領域を前記出血性評価領域の外周を取り 囲む閉曲線上に設定することを特徴とする請求項 19に記載の画像処理装置。
[22] 前記評価領域設定部は、前記出血性評価領域の外周を取り囲む前記閉曲線とし て、前記小領域複数個分の幅を有するように設定することを特徴とする請求項 21に 記載の画像処理装置。
[23] 前記評価領域設定部は、前記評価対象領域を前記出血性評価領域を挟むように 対向する 2つの直線上に設定することを特徴とする請求項 19に記載の画像処理装 置。
[24] 前記出血性候補領域判定部は、前記評価対象領域における前記色信号の輝度値 が最大に変化する第 1の方向を算出し、該第 1の方向と該評価対象領域力 前記出 血性評価対象領域に向力 第 2の方向とのなす角度が所定値以下となる該評価対 象領域を前記出血性エッジ候補領域として算出することを特徴とする請求項 19に記 載の画像処理装置。
[25] 前記出血性候補領域判定部は、前記評価対象領域として設定された小領域の数 に対して、前記出血性エッジ候補領域として算出された小領域の数の割合が所定値 を超えたか否かにより前記出血性評価領域が出血性候補領域か否かを判定すること を特徴とする請求項 24に記載の画像処理装置。
[26] 前記出血性領域判定部は、前記出血性エッジ候補領域における少なくとも Gの色 信号を含む 2つの色信号の輝度値の変動量を算出し、前記 2つの色信号の変動量 の割合が最大となる最大値を算出し、前記最大値が所定値を超えたか否かに基づき 、前記出血性候補領域が前記出血性領域か否かを判定するために使用する暫定領 域を算出することを特徴とする請求項 19に記載の画像処理装置。
[27] 前記出血性領域判定部は、前記暫定領域の数が出血性エッジ候補領域の数に対 して所定値を超える割合となるか否かにより、前記出血性候補領域が前記出血性領 域か否力、を判定することを特徴とする請求項 26に記載の画像処理装置。
[28] 生体を撮像した複数の色信号からなる医療用画像信号に対応する医療用画像を 複数の小領域に分割して、前記複数の小領域に対して少なくとも 1つの前記色信号 から、出血性領域の輪郭部を含む小領域を抽出し、抽出された該小領域を出血性 評価領域として設定し、かつ前記出血性評価領域の周辺に、複数の小領域からなる 評価対象領域を設定する評価領域設定ステップと、
前記評価対象領域における前記色信号の変動量に基づき、前記評価対象領域か ら出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候 補領域の割合力 前記出血性評価領域が出血性候補領域か否力を判定する出血 性候補領域判定ステップと、
前記出血性エッジ候補領域における 2つ以上の前記色信号の変動に基づき、前記 出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補 領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前 記出血性領域か否かを判定する出血性領域判定ステップと、
を備えたことを特徴とする画像処理方法。
[29] 前記評価領域設定ステップは、前記小領域内における前記色信号の輝度値の変 動量の最大値を算出し、該最大値が所定値を超える場合の小領域を前記出血性評 価領域として設定することを特徴とする請求項 28に記載の画像処理方法。
[30] 前記評価領域設定部は、前記評価対象領域を前記出血性評価領域の外周を取り 囲む閉曲線上に設定することを特徴とする請求項 28に記載の画像処理方法。 コンピュータに、
生体を撮像した複数の色信号からなる医療用画像信号に対応する医療用画像を複 数の小領域に分割して、前記複数の小領域に対して少なくとも 1つの前記色信号か ら、出血性領域の輪郭部を含む小領域を抽出し、抽出された該小領域を出血性評 価領域として設定し、かつ前記出血性評価領域の周辺に、複数の前記小領域からな る評価対象領域を設定する評価領域設定手順と、
前記評価対象領域における前記色信号の変動量に基づき、前記評価対象領域か ら出血性エッジ候補領域を抽出し、前記評価対象領域に対する前記出血性エッジ候 補領域の割合力 前記出血性評価領域が出血性候補領域か否力 ^判定する出血 性候補領域判定手順と、
前記出血性エッジ候補領域における 2つ以上の前記色信号の変動に基づき、前記 出血性エッジ候補領域から出血性領域の輪郭部を抽出し、前記出血性エッジ候補 領域に対する前記出血性領域の前記輪郭部の割合から前記出血性候補領域が前 記出血性領域か否力を判定する出血性領域判定手順と、
を実行させることを特徴とする画像処理プログラム。
PCT/JP2006/305024 2005-04-27 2006-03-14 画像処理装置、画像処理方法、及び画像処理プログラム WO2006117932A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2006800140335A CN101166456B (zh) 2005-04-27 2006-03-14 图像处理装置
US11/630,934 US7907775B2 (en) 2005-04-27 2006-03-14 Image processing apparatus, image processing method and image processing program
EP06729058A EP1875855B1 (en) 2005-04-27 2006-03-14 Image processing apparatus, image processing method, and image processing program
US12/859,628 US8204287B2 (en) 2005-04-27 2010-08-19 Image processing apparatus, image processing method and image processing program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005130231A JP4855709B2 (ja) 2005-04-27 2005-04-27 画像処理装置、画像処理方法、及び画像処理プログラム
JP2005130229A JP4832794B2 (ja) 2005-04-27 2005-04-27 画像処理装置及び画像処理プログラム
JP2005-130229 2005-04-27
JP2005-130231 2005-04-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/630,934 A-371-Of-International US7907775B2 (en) 2005-04-27 2006-03-14 Image processing apparatus, image processing method and image processing program
US12/859,628 Division US8204287B2 (en) 2005-04-27 2010-08-19 Image processing apparatus, image processing method and image processing program

Publications (1)

Publication Number Publication Date
WO2006117932A1 true WO2006117932A1 (ja) 2006-11-09

Family

ID=37307737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305024 WO2006117932A1 (ja) 2005-04-27 2006-03-14 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (2) US7907775B2 (ja)
EP (2) EP1875855B1 (ja)
KR (1) KR100943367B1 (ja)
WO (1) WO2006117932A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2156782A4 (en) * 2007-06-14 2012-05-09 Olympus Corp IMAGE PROCESSING APPARATUS, IMAGE PROCESSING PROGRAM, AND IMAGE PROCESSING METHOD

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN101971210A (zh) * 2008-03-12 2011-02-09 皇家飞利浦电子股份有限公司 实时数字图像处理体系结构
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5336939B2 (ja) * 2009-06-15 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5290915B2 (ja) * 2009-09-03 2013-09-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460506B2 (ja) 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5747913B2 (ja) * 2010-05-17 2015-07-15 コニカミノルタ株式会社 放射線画像処理装置
JP5269921B2 (ja) * 2011-01-24 2013-08-21 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN103747718B (zh) * 2012-03-21 2016-03-30 奥林巴斯株式会社 图像处理装置
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210736A (ja) * 1992-01-31 1993-08-20 Olympus Optical Co Ltd 画像輪郭抽出方法
JPH0660182A (ja) * 1992-08-04 1994-03-04 Komatsu Ltd テクスチャ解析を用いた領域分割方法及び装置
JPH0737056A (ja) * 1993-07-19 1995-02-07 Toshiba Corp 医用診断支援装置
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621924B1 (en) * 1999-02-26 2003-09-16 Sony Corporation Contour extraction apparatus, a method thereof, and a program recording medium
EP1339017A4 (en) * 2000-12-01 2007-08-29 Japan Science & Tech Corp METHOD FOR DETERMINING NUCLEAR ZONES AND METHOD FOR ESTABLISHING NUCLEAR GENEALOGY
US20020177779A1 (en) * 2001-03-14 2002-11-28 Doron Adler Method and system for detecting colorimetric abnormalities in vivo
CN101264001B (zh) * 2003-04-25 2010-11-10 奥林巴斯株式会社 图像显示装置
US20040240716A1 (en) * 2003-05-22 2004-12-02 De Josselin De Jong Elbert Analysis and display of fluorescence images
JP4287240B2 (ja) 2003-10-24 2009-07-01 日本無線株式会社 ベースバンド信号復調装置
JP2005130229A (ja) 2003-10-24 2005-05-19 Fuji Photo Film Co Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210736A (ja) * 1992-01-31 1993-08-20 Olympus Optical Co Ltd 画像輪郭抽出方法
JPH0660182A (ja) * 1992-08-04 1994-03-04 Komatsu Ltd テクスチャ解析を用いた領域分割方法及び装置
JPH0737056A (ja) * 1993-07-19 1995-02-07 Toshiba Corp 医用診断支援装置
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1875855A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2156782A4 (en) * 2007-06-14 2012-05-09 Olympus Corp IMAGE PROCESSING APPARATUS, IMAGE PROCESSING PROGRAM, AND IMAGE PROCESSING METHOD
US8989459B2 (en) 2007-06-14 2015-03-24 Olympus Corporation Image processing apparatus, image processing program product, and image processing method

Also Published As

Publication number Publication date
US20100316273A1 (en) 2010-12-16
KR20080002893A (ko) 2008-01-04
EP1875855B1 (en) 2012-05-02
EP2224400A2 (en) 2010-09-01
EP2224400B1 (en) 2012-03-07
EP1875855A4 (en) 2010-10-13
US20090196495A1 (en) 2009-08-06
US7907775B2 (en) 2011-03-15
EP1875855A1 (en) 2008-01-09
US8204287B2 (en) 2012-06-19
KR100943367B1 (ko) 2010-02-18
EP2224400A3 (en) 2010-10-13

Similar Documents

Publication Publication Date Title
WO2006117932A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4767591B2 (ja) 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US8743189B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
JP5374135B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
EP1450287A2 (en) Method of extracting region of interest from tongue image and health monitoring method and apparatus using the tongue image
EP2294964A1 (en) Image processing apparatus, image processing program and image processing method
US20110085717A1 (en) Image processing apparatus, image processing program recording medium, and image processing method
JP4832794B2 (ja) 画像処理装置及び画像処理プログラム
WO2012114600A1 (ja) 医用画像処理装置及び医用画像処理方法
US8871438B2 (en) Disease diagnosis method, marker screening method and marker using TOF-SIMS
EP2474949A1 (en) Image processing device, image processing method, and image processing program
US20130064436A1 (en) Medical image processing apparatus and method of operating medical image processing apparatus
KR20100071595A (ko) 뇌 단층촬영 영상의 병변부위 자동 검출방법
Penna et al. A technique for blood detection in wireless capsule endoscopy images
JP4855709B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Piccirelli et al. Small bowel capsule endoscopy and artificial intelligence: first or second reader?
US20090080768A1 (en) Recognition method for images by probing alimentary canals
CN101021946A (zh) 一种筛选食管微小病变的图像处理方法
Zhu et al. Convolutional neural network based anatomical site identification for laryngoscopy quality control: A multicenter study

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680014033.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 11630934

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006729058

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077024775

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729058

Country of ref document: EP