WO2013077381A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2013077381A1
WO2013077381A1 PCT/JP2012/080237 JP2012080237W WO2013077381A1 WO 2013077381 A1 WO2013077381 A1 WO 2013077381A1 JP 2012080237 W JP2012080237 W JP 2012080237W WO 2013077381 A1 WO2013077381 A1 WO 2013077381A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
tubular
candidate region
image processing
abnormal
Prior art date
Application number
PCT/JP2012/080237
Other languages
English (en)
French (fr)
Inventor
昌士 弘田
大和 神田
北村　誠
隆志 河野
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP12851696.0A priority Critical patent/EP2783622A4/en
Priority to CN201280057135.0A priority patent/CN103945755B/zh
Publication of WO2013077381A1 publication Critical patent/WO2013077381A1/ja
Priority to US14/282,119 priority patent/US10178941B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for detecting an abnormal part from an image obtained by imaging the inside of a subject.
  • endoscopes are widely used as medical observation apparatuses that are introduced into a subject such as a patient and observe a living body in a non-invasive manner.
  • a swallowable endoscope capsule endoscope
  • a communication device e.g., a camera
  • the like e.g., a communication device
  • the like e.g., a communication device
  • the like e.g., a communication device
  • the like e.g., a communication device, and the like inside a capsule-type housing and wirelessly transmits image data acquired by performing imaging with the imaging device to the outside of the body.
  • an abnormal part is automatically detected from an image to present an image to be diagnosed with priority.
  • Patent Document 1 an abnormal shadow candidate and a blood vessel shadow are extracted from a lung field region in a tomographic image, and a portion where the abnormal shadow candidate and the blood vessel shadow overlap is deleted from the abnormal shadow candidate.
  • a method for properly detecting an abnormal part is disclosed.
  • the present invention has been made in view of the above, and in an intraluminal image, an image processing apparatus, an image processing method, and an image capable of distinguishing an abnormal part from a blood vessel and appropriately detecting the abnormal part
  • An object is to provide a processing program.
  • an image processing apparatus is a region that is a candidate for an abnormal part from an intraluminal image obtained by imaging the lumen of a subject.
  • An abnormal candidate region detecting unit for detecting an abnormal candidate region, a tubular region detecting unit for detecting a tubular region from the intraluminal image, and the abnormal candidate region and the tubular region having a color similar to the tubular region Connectivity determining means for determining whether or not they are connected with each other, and abnormality determining means for determining whether or not the abnormality candidate region is the abnormal portion based on a determination result of the connectivity determining means. It is characterized by that.
  • the image processing method includes an abnormal candidate region detection step of detecting an abnormal candidate region that is a candidate for an abnormal portion from an intraluminal image obtained by imaging the inside of the lumen of a subject; A tubular region detecting step for detecting a tubular region from an intraluminal image, and a connectivity determining step for determining whether or not the abnormal candidate region and the tubular region are connected by a region having a color similar to the tubular region. And an abnormality determination step of determining whether or not the abnormality candidate region is the abnormal portion based on a determination result in the connectivity determination step.
  • An image processing program includes an abnormality candidate region detection step of detecting an abnormality candidate region that is a region that is a candidate for an abnormal portion from an intraluminal image obtained by imaging the inside of a lumen of a subject; A tubular region detecting step for detecting a tubular region from an intraluminal image, and a connectivity determining step for determining whether or not the abnormal candidate region and the tubular region are connected by a region having a color similar to the tubular region. And an abnormality determination step of determining whether or not the abnormality candidate region is the abnormal part based on a determination result in the connectivity determination step.
  • an abnormal candidate region detected from an intraluminal image it is determined whether or not the abnormal candidate region is connected by a region similar in color to the tubular region, and based on this determination result Since it is determined whether or not the abnormal candidate region is an abnormal part, it is possible to distinguish the abnormal part from the blood vessel and to detect the abnormal part appropriately.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3 is a schematic diagram illustrating an example of an image that is a processing target of the image processing apparatus illustrated in FIG. 1.
  • FIG. 4 is a flowchart showing a detailed operation of the tubular region detection unit shown in FIG.
  • FIG. 5 is a flowchart showing the operation of the continuity determination unit shown in FIG.
  • FIG. 6A is a diagram for explaining processing executed by the continuity determination unit shown in FIG. 1.
  • FIG. 6B is a diagram for describing processing executed by the continuity determination unit illustrated in FIG. 1.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3 is a schematic diagram illustrating an example of an
  • FIG. 6C is a diagram for explaining processing executed by the continuity determination unit illustrated in FIG. 1.
  • FIG. 7 is a flowchart showing the operation of the connectivity determination unit shown in FIG.
  • FIG. 8A is a diagram for describing processing executed by the connectivity determination unit illustrated in FIG. 1.
  • FIG. 8B is a diagram for describing processing executed by the connectivity determination unit illustrated in FIG. 1.
  • FIG. 8C is a diagram for describing processing executed by the connectivity determination unit illustrated in FIG. 1.
  • FIG. 9 is a block diagram illustrating a configuration of the connectivity determination unit according to the modification of the first embodiment.
  • FIG. 10 is a flowchart showing the operation of the connectivity determination unit shown in FIG.
  • FIG. 11 is a schematic diagram for explaining processing executed by the connectivity determination unit shown in FIG.
  • FIG. 12 is a block diagram illustrating a configuration of the image processing apparatus according to the second embodiment.
  • FIG. 13 is a flowchart showing the operation of the connectivity determination unit shown in FIG.
  • an abnormality is detected from an intraluminal image (hereinafter, also simply referred to as an image) acquired by imaging the inside of the lumen of a subject with a medical observation device such as a capsule endoscope.
  • a medical observation device such as a capsule endoscope.
  • the image processing for detecting an abnormal part by distinguishing the part from the blood vessel region will be described.
  • an intraluminal image to be subjected to image processing is a pixel level (pixel) for each color component (wavelength component) of R (red), G (green), and B (blue) at each pixel position. Value).
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • An image processing apparatus 1 illustrated in FIG. 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, and an image acquisition unit that acquires image data corresponding to an image captured by a medical observation apparatus such as a capsule endoscope. 20, an input unit 30 that receives an input signal input from the outside, a display unit 40 that performs various displays, a recording unit 50 that stores image data and various programs acquired by the image acquisition unit 20, and image data And an arithmetic unit 100 that executes predetermined image processing.
  • the control unit 10 is realized by hardware such as a CPU, and reads various programs stored in the recording unit 50, thereby according to image data input from the image acquisition unit 20, operation signals input from the input unit 30, and the like. Then, instructions to each unit constituting the image processing apparatus 1 and data transfer are performed, and the overall operation of the image processing apparatus 1 is controlled in an integrated manner.
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the medical observation apparatus.
  • the medical observation apparatus is a capsule endoscope and a portable recording medium is used to exchange image data with the medical observation apparatus
  • the image acquisition unit 20 detachably attaches the recording medium.
  • a reader device that reads out the image data of the stored intraluminal image.
  • the image acquisition unit 20 includes a communication device connected to the server, and performs data communication with the server.
  • the image data of the intraluminal image is acquired.
  • the input unit 30 is realized by an input device such as a keyboard, a mouse, a touch panel, or various switches, and outputs the received input signal to the control unit 10.
  • the display unit 40 is realized by a display device such as an LCD or an EL display, and displays various screens including intraluminal images under the control of the control unit 10.
  • the recording unit 50 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, a hard disk built in or connected by a data communication terminal, or an information recording device such as a CD-ROM and its reading device.
  • ROM and RAM such as flash memory that can be updated and recorded
  • a hard disk built in or connected by a data communication terminal or an information recording device such as a CD-ROM and its reading device.
  • the recording unit 50 operates the image processing apparatus 1 and causes the image processing apparatus 1 to execute various functions. Records data used during the execution of Specifically, the recording unit 50 records an image processing program 51 for causing the image processing apparatus 1 to perform image processing for detecting an abnormal portion from the intraluminal image.
  • the arithmetic unit 100 is realized by hardware such as a CPU, and performs various image processing on the image data corresponding to the intraluminal image by reading the image processing program 51, and detects abnormal portions from the intraluminal image. The arithmetic processing is performed.
  • the calculation unit 100 includes an abnormality candidate region detection unit 110 that detects an abnormality candidate region that is a candidate for an abnormality from an image, a tubular region detection unit 120 that detects a tubular region from an image, and an abnormality candidate.
  • a connectivity determination unit 130 that determines whether or not the region and the tubular region are connected by a region having a color similar to the tubular region, and the detection result of the connectivity determination unit 130 is detected from the image.
  • an abnormality determination unit 140 that determines whether or not the abnormality candidate region is an abnormal part.
  • the color region similar to the tubular region is a region having a color feature amount in the vicinity of the color feature amount of the tubular region, and more specifically, a predetermined wavelength component (for example, R Component), a change amount (edge intensity) of a predetermined wavelength component, a predetermined color feature amount (eg, G / R value), or a change amount (differential value) of a predetermined color feature amount A region that is within a predetermined range from the value to be.
  • a predetermined wavelength component for example, R Component
  • a change amount (edge intensity) of a predetermined wavelength component for example, a predetermined color feature amount (eg, G / R value), or a change amount (differential value) of a predetermined color feature amount
  • the tubular area detection unit 120 detects a tubular candidate area that is a candidate for the tubular area based on the color feature amount of each pixel in the image, and based on the outer shape of the tubular candidate area. Based on the continuity of pixel values in the peripheral region of the tubular candidate region and the outer shape determination unit 122 that determines whether or not the tubular candidate region is a tubular region, whether or not the tubular candidate region is a tubular region A continuity determining unit 123 for determining More specifically, the outer shape determination unit 122 includes an area calculation unit 122a that calculates the area of the tubular candidate region, and a peripheral length calculation unit 122b that calculates the peripheral length of the tubular candidate region.
  • the continuity determination unit 123 approximates pixel value changes on both sides of the tubular candidate region in the orthogonal direction, and an orthogonal direction calculation unit 123a that calculates an orthogonal direction to the longitudinal direction of the tubular candidate region in the plane of the image. It includes an approximate function calculation unit 123b that calculates an approximate function, and a difference calculation unit 123c that calculates a difference between approximate function values at the same coordinate in the orthogonal direction.
  • the connectivity determination unit 130 calculates a feature amount in a region between the abnormality candidate region and the tubular region (hereinafter referred to as an inter-region feature amount), and detects an abnormality based on the inter-region feature amount.
  • An inter-region feature amount determination unit 132 that determines connectivity between the candidate region and the tubular region. More specifically, the inter-region feature quantity calculation unit 131 includes an interpolation line calculation unit 131a that calculates an interpolation line for interpolating between the abnormality candidate area and the tubular area, and an on-line feature quantity calculation that calculates a feature quantity on the interpolation line. Part 131b.
  • the on-line feature amount calculation unit 131b includes a maximum edge strength calculation unit 131b-1, a maximum color edge strength calculation unit 131b-2, and an average color feature amount calculation unit 131b-3.
  • the maximum edge strength calculation unit 131b-1 calculates the edge strength on the interpolation line, that is, the maximum value of the pixel value change (differential value) between adjacent pixels on the interpolation line or between pixels at a predetermined interval.
  • the maximum color edge intensity calculation unit 131b-2 calculates the color edge intensity on the interpolation line, that is, the maximum value of the change (differential value) of the color feature amount between adjacent pixels or pixels at a predetermined interval on the interpolation line.
  • the average color feature amount calculation unit 131b-3 calculates an average value of the color feature amounts on the interpolation line.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 1.
  • FIG. 3 is a schematic diagram illustrating an example of an image to be processed by the image processing apparatus 1. As shown in FIG. 3, in the image M1, a mucous membrane Mem, a region A1 having a different state from the surrounding mucous membrane, and regions B1 to B4 elongated in a tubular shape are seen.
  • step S 10 the image acquisition unit 20 acquires an intraluminal image of the subject and stores it in the recording unit 50.
  • the arithmetic unit 100 sequentially reads images to be processed (for example, the image M1) from the recording unit 50.
  • the abnormal candidate area detection unit 110 detects an abnormal candidate area from the image.
  • Various known methods can be used as a method for detecting an abnormal candidate region. For example, after mapping the pixel value of each pixel in the image into a feature space based on the color information of each pixel and performing clustering in the feature space, information such as the position and average value (ie, barycentric coordinates) of each cluster. By identifying normal mucosal clusters and abnormal part clusters based on the above, it is possible to detect abnormal part candidate areas (see, for example, JP-A-2005-192880).
  • the tubular region detection unit 120 determines that the blood vessel candidate region is a blood vessel region based on the shape of the blood vessel candidate region and the continuity of pixel value changes around the blood vessel candidate region.
  • a blood vessel region is detected by determining whether or not.
  • Various known methods can be used as a method for detecting a blood vessel candidate region.
  • a blood vessel candidate region is detected by the method described below.
  • FIG. 4 is a flowchart showing the detailed operation of the tubular region detection unit 120 in step S12.
  • the tubular candidate region detection unit 121 detects a blood vessel candidate region from the image. Specifically, template matching using a blood vessel model template is executed, and a structural component based on the matching result is extracted (see, for example, Japanese Patent Application Laid-Open No. 2004-181096).
  • the tubular candidate region detection unit 121 performs a labeling process on the detected blood vessel candidate region. Then, for each blood vessel candidate region, loop B processing is performed to determine whether or not the blood vessel candidate region is a blood vessel region.
  • step S122 the outer shape determination unit 122 causes the area calculation unit 122a to calculate the area A of the blood vessel candidate region and causes the peripheral length calculation unit 122b to calculate the peripheral length L of the blood vessel candidate region.
  • step S123 the outer shape determination unit 122 calculates a ratio L / A of the area A to the peripheral length L, and determines whether the ratio L / A is equal to or greater than a predetermined threshold value.
  • step S123 corresponds to processing for determining whether or not the outer shape of the blood vessel candidate region is tubular, and is executed to remove a region that is not tubular, such as redness. Therefore, other methods may be used as long as it can be determined whether or not the outer shape is tubular. For example, by comparing the ratio L1 / L2 of the values L1 and L2 (L1> L2) calculated by the following expressions (1) and (2) with a predetermined threshold, is the outer shape of the blood vessel candidate region tubular? It may be determined whether or not.
  • step S123 when it is determined that the ratio L / A is smaller than the threshold (step S123: No), the outer shape determination unit 122 determines that the blood vessel candidate region is not a blood vessel region (step S124).
  • the continuity determination unit 123 further calculates a value representing the continuity of the pixel values around the blood vessel candidate region. (Step S125). More specifically, a value indicating whether the pixel values of the mucosal regions on both sides of the blood vessel candidate region are continuously changed is calculated.
  • FIG. 5 is a flowchart showing a detailed operation of the continuity determination unit 123 in step S125.
  • 6A to 6C are diagrams for explaining processing executed by the continuity determination unit 123. FIG. Among these, FIG. 6A corresponds to a part of the image M1 shown in FIG.
  • the orthogonal direction calculation unit 123a calculates a direction orthogonal to the longitudinal direction of the blood vessel candidate region in the plane of the image.
  • the orthogonal direction can be calculated as the direction of the second eigenvector of the Hessian matrix in each pixel on the blood vessel candidate region, for example.
  • the Hessian matrix is a matrix given by the following equation (3) using the pixel value I of the pixel at the position coordinates (x, y).
  • the R value of each pixel is used as the pixel value I.
  • orthogonal directions x1 and x2 are calculated with respect to the longitudinal directions dir1 and dir2 of the blood vessel candidate regions B1 and B2, respectively.
  • the approximate function calculation unit 123b calculates a function that represents a curve that approximates a change in pixel values on both sides of the blood vessel candidate region in a direction orthogonal to the longitudinal direction of the blood vessel candidate region. For example, in the case of the blood vessel candidate region B1 shown in FIG. 6A, as shown in FIG. 6B, the pixel value profiles Pr1 in the regions C1 and C2 on both sides of the blood vessel candidate region B1 are approximated to the pixel value profile Pr1 in the orthogonal direction x1, respectively.
  • the approximate curve functions f 11 (x1) and f 12 (x1) are calculated.
  • the blood vessel candidate region B2 shown in FIG. 6A as shown in FIG.
  • the pixel value profiles Pr2 in the regions C3 and C4 on both sides of the blood vessel candidate region B2 are approximated to the pixel value profile Pr2 in the orthogonal direction x2, respectively.
  • the approximate curve functions f 21 (x2) and f 22 (x2) are calculated.
  • a difference value d2 f 21 (x2) ⁇ f 22 (x2) in each pixel on the x2 axis is calculated in each of the regions C3 and C4.
  • the total value is divided by the number of pixels on the x2 axis.
  • the continuity determination unit 123 determines the continuity around each blood vessel candidate region by comparing the difference value calculated in this way with a predetermined threshold value. Specifically, when the difference value is equal to or smaller than a predetermined threshold (for example, when the difference value d1 is small as shown in FIG. 6B), it is determined that the regions on both sides of the blood vessel candidate region have continuity. . On the other hand, when the difference value is larger than a predetermined threshold (for example, when the difference value d2 is large as shown in FIG. 6C), it is determined that the regions on both sides of the blood vessel candidate region do not have continuity.
  • a predetermined threshold for example, when the difference value d1 is small as shown in FIG. 6B
  • the tubular region detection unit 120 determines that the tubular candidate region is a blood vessel region (step S127). On the other hand, when it is determined that there is no continuity around the blood vessel candidate region (step S126: No), the tubular region detection unit 120 determines that the tubular candidate region is not a blood vessel region (step S124).
  • the blood vessel candidate region for example, blood vessel candidate region B1 having the pixel value profile Pr1 of the pixel value profile in which a dent is generated due to a difference in light absorption characteristics such as a blood vessel is included between the mucous membranes. It is possible to exclude the blood vessel candidate region of the pixel value profile (for example, the blood vessel candidate region B2 having the pixel value profile Pr2) generated due to the structure of the groove or the like from the blood vessel region. Thereafter, the operation of the arithmetic unit 100 returns to the main routine.
  • step S13 the connectivity determination unit 130 determines whether the two overlap each other based on the coordinate values of the abnormal candidate region detected in step S11 and the blood vessel region detected in step S12 (that is, at least the pixel position). It is determined whether or not a part is duplicated. When both pixel positions overlap (step S13: Yes), the abnormality determination unit 140 determines that the abnormality candidate region is a blood vessel (step S14).
  • the connectivity determination unit 130 determines whether there is connectivity between the abnormal candidate region and the blood vessel region. That is, based on the feature amount (inter-region feature amount) in the region between the abnormal candidate region and the vascular region, it is determined whether or not the two regions are connected by a region having a color similar to the vascular region.
  • FIG. 7 is a flowchart showing a detailed operation of the connectivity determination unit 130 in step S15.
  • 8A to 8C are diagrams for explaining processing executed by the connectivity determination unit 130.
  • FIG. 8A corresponds to a part of the image M1 shown in FIG.
  • the connectivity determination unit 130 executes the process of loop C for each blood vessel region. That is, in step S150, the interpolation line calculation unit 131a thins the blood vessel region and detects the end points (reference: CG-ARTS Association, “Digital Image Processing”, pages 185 to 189). For example, in the case of FIG. 8A, the end point EP of the line NL obtained by thinning the blood vessel region B3 is detected.
  • the interpolation line calculation unit 131a calculates an interpolation line connecting the abnormal candidate region and the end point.
  • an interpolation line IL connecting the end point EP and the abnormality candidate area A1 is calculated.
  • 8A illustrates a straight interpolation line, but a straight line or a curve calculated by another method may be used as long as the region between the abnormal candidate region and the blood vessel region can be interpolated. For example, after sampling some points from the end point EP along the line NL in order from the blood vessel region, a spline curve may be drawn by connecting each point and the center of gravity of the abnormal candidate region.
  • step S152 the on-line feature amount calculation unit 131b calculates the maximum edge strength, the maximum color edge strength, and the average color feature amount as the feature amount on the interpolation line (on-line feature amount). Specifically, the maximum value of the differential value of the R value on the interpolation line is calculated as the maximum edge strength, the maximum value of the differential value of the G / R value is calculated as the maximum color edge strength, and G / An average value of R values is calculated.
  • the inter-region feature quantity determination unit 132 determines whether or not the three on-line feature quantities satisfy the following three conditions.
  • Condition 1 The maximum edge strength is below a predetermined threshold.
  • Condition 2 The maximum color edge intensity is below a predetermined threshold.
  • Condition 3 The difference between the average color feature value and the average color feature value of the blood vessel region is equal to or less than a predetermined threshold.
  • the state where there is connectivity between the abnormal candidate region and the vascular region means that there is no structural discontinuity such as a groove between the two regions, and the region between them is similar to the vascular region. This means that the colors are connected without sudden color change.
  • the pixel value (R value) profile on the interpolation line connecting the two regions changes gently (corresponding to the above condition 1).
  • the color feature amount (G / R value) profile on the interpolation line changes gently (corresponding to the condition 2) in the vicinity of the color feature amount of the blood vessel region (corresponding to the condition 3). Therefore, the connectivity between the abnormal candidate region and the blood vessel region can be determined by illuminating the feature amount on the interpolation line with the above conditions 1 to 3.
  • step S153: Yes If the on-line feature value satisfies all of the above conditions 1 to 3 (step S153: Yes), the connectivity determination unit 130 exits the loop C and determines that the abnormal candidate region has connectivity with the blood vessel region ( Step S154). On the other hand, when the line feature amount does not satisfy at least one of the above conditions 1 to 3 (step S153: No), the connectivity determination unit 130 repeats the process of the loop C with another blood vessel region as a determination target. If the blood vessel region satisfying all of the above conditions 1 to 3 is not detected even after the processing for all blood vessel regions is completed, the connectivity determination unit 130 determines that the abnormal candidate region is connected to the blood vessel region. It is determined that there is no property (step S155). Thereafter, the operation of the arithmetic unit 100 returns to the main routine.
  • step S16 the abnormality determination unit 140 determines an abnormality candidate region based on the determination result of the connectivity determination unit 130. That is, when it is determined that the abnormal candidate region has connectivity with the blood vessel region (step S16: Yes), the abnormality determining unit 140 determines that the abnormal candidate region is a blood vessel (a region where blood vessels are dense), It is determined that it is not (step S14). On the other hand, when it is determined that the abnormality candidate region does not have connectivity with the blood vessel region (step S16: No), the abnormality determination unit 140 determines that the abnormality candidate region is an abnormal portion (step S17).
  • the arithmetic unit 100 After executing such determination processing for all abnormality candidate areas detected in step S11, the arithmetic unit 100 exits loop A and outputs the determination result of the abnormal part (step S18). In response to this, the control unit 10 records the determination result of the abnormal part in the recording unit 50. At this time, the control unit 10 may display the determination result of the abnormal part on the display unit 40 or the like. Thereafter, the processing in the image processing apparatus 1 ends.
  • the abnormality candidate region is an abnormal part by determining the connectivity between the abnormality candidate region detected from the image and the blood vessel region having a tubular shape. Therefore, it is possible to distinguish the abnormal part from the blood vessel and to detect the abnormal part appropriately.
  • the blood vessel candidate region detected from the image is determined based on the outer shape, and then the continuity around the blood vessel candidate region is determined. However, it may be determined whether or not the blood vessel candidate region is a blood vessel region by directly determining the continuity around the blood vessel candidate region.
  • the image processing apparatus includes a connectivity determination unit 150 illustrated in FIG. 9 instead of the connectivity determination unit 130 illustrated in FIG.
  • the configuration of each part of the image processing apparatus other than the connectivity determination unit 150 is the same as that shown in FIG.
  • the connectivity determination unit 150 includes a direction in which the abnormal candidate region further extends from the longitudinal direction of the blood vessel region (hereinafter, simply referred to as “removal candidate region”).
  • a presence direction determination unit 151 that determines whether or not the blood vessel region exists on the basis of the relative positional relationship between the abnormality candidate region and the blood vessel region. It is characterized by discriminating sex.
  • the existence direction determination unit 151 includes an approximation function calculation unit 151a that calculates a function (approximation function) that approximates the shape of a blood vessel region, and a neighboring region that is within a predetermined distance from the approximation function in the image. And a neighborhood area detection unit 151c that determines whether or not an abnormality candidate area exists in the neighborhood area.
  • an approximation function calculation unit 151a that calculates a function (approximation function) that approximates the shape of a blood vessel region, and a neighboring region that is within a predetermined distance from the approximation function in the image.
  • a neighborhood area detection unit 151c that determines whether or not an abnormality candidate area exists in the neighborhood area.
  • a region where a plurality of blood vessels intersect under the mucous membrane may be detected as an abnormal candidate region because the outer shape is not tubular.
  • Such an abnormal candidate region is considered to exist in the extending direction of the blood vessel region. Therefore, in this modification, when determining the connectivity between the abnormal candidate region and the blood vessel region (step S15 in FIG. 2), it is determined whether or not the abnormal candidate region exists in the extending direction of the blood vessel region. Only when the abnormal candidate region exists in the extension direction, the connectivity determination using the feature amount on the interpolation line is performed.
  • FIG. 10 is a flowchart showing the operation of the connectivity determination unit 150 in this modification.
  • FIG. 11 is a schematic diagram for explaining processing executed by the connectivity determination unit 150, and corresponds to a part of the image M1 shown in FIG.
  • the connectivity determination unit 150 first executes the process of loop D for each blood vessel region detected from the intraluminal image. That is, in step S190, the approximate function calculation unit 151a calculates a position coordinate function (approximate function) that approximates the shape of the blood vessel region in the longitudinal direction.
  • the coefficient of the quadratic function given by the following equation (4) may be calculated by the least square method using the position coordinates (x, y) of each pixel in the image.
  • y ax 2 + bx + c (4)
  • a function f3 that approximates the shape of the blood vessel region B3 in the longitudinal direction and a function f4 that approximates the shape of the blood vessel region B4 in the longitudinal direction are calculated.
  • the neighborhood region detection unit 151b detects a region within a certain distance range from the approximate function as a neighborhood region in the intraluminal image.
  • the neighborhood region generates a distance image obtained by converting the pixel value of each pixel in the image into a distance between the pixel position on the approximation function and has a pixel value equal to or smaller than a predetermined threshold in the distance image ( That is, it can be detected by extracting a region having a distance equal to or less than the threshold.
  • a neighboring region R3 of the function f3 and a neighboring region R4 of the function f4 are detected.
  • step S192 the near region existence determination unit 151c determines whether there is an abnormal candidate region in the vicinity region, that is, whether there is an abnormal candidate region in the extending direction of the blood vessel region. For example, in the case of FIG. 11, since a part of the abnormal candidate region A1 overlaps the neighboring region R3, it is determined that there is an abnormal candidate region in the extending direction of the blood vessel region R3. On the other hand, since there is no abnormal candidate region in the neighboring region R4, it is determined that there is no abnormal candidate region in the extending direction of the blood vessel region B4.
  • step S192: No When there is no abnormal candidate region in the extending direction of the blood vessel region (step S192: No), the operation of the connectivity determination unit 150 proceeds to processing for the next blood vessel region. On the other hand, when an abnormal candidate region exists in the extending direction of the blood vessel region (step S192: Yes), the operation of the connectivity determination unit 150 proceeds to step S193. Note that steps S193 to S198 shown in FIG. 10 correspond to steps S150 to S155 shown in FIG.
  • the connectivity determination between the abnormal candidate region and the blood vessel region is performed only when the abnormal candidate region exists in the extending direction of the blood vessel region.
  • the amount can be reduced.
  • FIG. 12 is a block diagram illustrating a configuration of the image processing apparatus according to the second embodiment.
  • the image processing apparatus 2 according to Embodiment 2 includes a calculation unit 200 instead of the calculation unit 100 shown in FIG.
  • the calculation unit 200 includes a connectivity determination unit 210 instead of the connectivity determination unit 130 illustrated in FIG. More specifically, the connectivity determination unit 210 includes a similar color region detection unit 211 that detects a similar color region that is a color region similar to the tubular region from the image, and an abnormal candidate region and a tubular region pixel for the similar color region. An overlap determination unit 212 that determines position overlap (that is, overlap).
  • the similar color region detection unit 211 includes an average value calculation unit 211a that calculates an average value of color feature amounts in a tubular region, a threshold setting unit 211b that sets a threshold value based on the average value of color feature amounts, and a threshold value And a threshold processing unit 211c that performs threshold processing on the image based on the threshold set by the setting unit 211b.
  • the configuration of each part of the image treatment device 2 other than the connectivity determination unit 210 is the same as that shown in FIG.
  • the overall operation of the image processing apparatus 2 is the same as that shown in FIG. 2, and the details of the process of determining connectivity between the abnormal candidate region and the blood vessel region (step S15) executed by the connectivity determination unit 210 are implemented This is different from the first form.
  • FIG. 13 is a flowchart showing a detailed operation of the connectivity determination unit 210.
  • the connectivity determination unit 210 performs a loop E process for each blood vessel region detected in step S12 (see FIG. 2).
  • step S200 the average value calculation unit 211a calculates the average value of the color feature amount in the blood vessel region.
  • the G / R value is used as the color feature amount, an average G / R value is calculated in step S200.
  • the threshold setting unit 211b sets a threshold based on the average color feature amount calculated in step S200. Specifically, a value obtained by multiplying the average G / R value by an arbitrary coefficient ⁇ ( ⁇ ⁇ 1) is set as a threshold value.
  • step S202 the threshold processing unit 211c performs threshold processing on the image and detects a region having a G / R value equal to or less than the threshold as a similar color region of the blood vessel region.
  • the overlap determination unit 212 determines whether both the blood vessel region and the abnormal candidate region overlap with the similar color region (that is, at least a part of the pixel position in the blood vessel region overlaps with the similar color region. Whether or not there is a portion where at least a part of the pixel position in the abnormality candidate region overlaps the similar color region). If both the blood vessel region and the abnormal candidate region overlap with the similar color region (step S204: Yes), the connectivity determination unit 210 exits the loop E, and the abnormal candidate region is connected to the blood vessel region. It is discriminated that it has the property (step S205).
  • the connectivity determination unit 210 loops another blood vessel region as a determination target. Repeat the process of E. If the vascular region and the abnormal candidate region overlapping the similar color region are not detected even after the processing for all the vascular regions is completed, the connectivity determination unit 210 connects the abnormal candidate region to the vascular region. It is determined that there is no property (step S206). Thereafter, the operation of the calculation unit 200 returns to the main routine.
  • a similar color region is detected based on a threshold value set based on the color feature amount of the blood vessel region, and the pixel positions of the abnormal candidate region and the blood vessel region overlap with the similar color region. Is determined to determine connectivity between the abnormal candidate region and the blood vessel region. Therefore, according to the second embodiment, it is possible to determine the connectivity between the abnormal candidate region and the blood vessel region with higher accuracy in accordance with the color feature amount of the blood vessel region.
  • the image processing apparatuses according to the first and second embodiments and the modifications described above can be realized by executing the image processing program recorded in the recording apparatus on a computer system such as a personal computer or a workstation. Further, such a computer system may be used by being connected to other computer systems, servers, or other devices via a public network such as a local area network, a wide area network (LAN / WAN), or the Internet. good.
  • the image processing apparatuses according to Embodiments 1 and 2 and the modification examples acquire image data of intraluminal images via these networks, and various output devices connected via these networks.
  • the image processing result may be output to (a viewer, a printer, or the like), or the image processing result may be stored in a storage device (such as a recording device and its reading device) connected via these networks.
  • the present invention is not limited to the first and second embodiments and the modified examples, and various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the respective embodiments and modified examples. it can. For example, some constituent elements may be excluded from all the constituent elements shown in each embodiment or modification, or may be formed by appropriately combining the constituent elements shown in different embodiments or modifications. May be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

　管腔内画像において、異常部と血管とを区別し、異常部を適正に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。画像処理装置１は、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出部１１０と、管腔内画像から管状領域を検出する管状領域検出部１２０と、異常候補領域と管状領域とが、管状領域と類似した色の領域で連結されているか否かを判定する連結性判定部１３０と、連結性判定部１３０の判定結果に基づいて、異常候補領域が異常部であるか否かを判定する異常判定部１４０とを備える。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本発明は、被検体の体内を撮像した画像から異常部を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　従来、患者等の被検体内に導入され、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置で撮像を行うことにより取得した画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。
　しかしながら、これらの医用観察装置によって生体の管腔内を撮像した画像（管腔内画像）に対する観察及び診断には、多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。
　このような機能を実現する画像認識技術の１つとして、画像から異常部を自動的に検出することで、重点的に診断すべき画像を提示する技術が提案されている。例えば、特許文献１には、断層像内の肺野領域から、異常陰影の候補及び血管陰影を抽出し、異常陰影の候補と血管陰影とが重なる部分を当該異常陰影の候補から削除することにより、異常部を適正に検出する方法が開示されている。
特開２００２－２９１７３３号公報
　しかしながら、管腔内画像においては、異常部の候補領域に血管が密集しているような場合に、候補領域周辺の外形が管状とならないこともある。このような場合、特許文献１に開示された方法においては、血管が血管として検出されず、結果として、異常部を適正に検出することができなくなるおそれがある。
　本発明は、上記に鑑みてなされたものであって、管腔内画像において、異常部と血管とを区別し、異常部を適正に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出手段と、前記管腔内画像から管状領域を検出する管状領域検出手段と、前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定手段と、前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定手段とを備えることを特徴とする。
　本発明に係る画像処理方法は、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、前記管腔内画像から管状領域を検出する管状領域検出ステップと、前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、前記連結性判定ステップにおける判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップとを含むことを特徴とする。
　本発明に係る画像処理プログラムは、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、前記管腔内画像から管状領域を検出する管状領域検出ステップと、前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、前記連結性判定ステップにおける判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップとをコンピュータに実行させることを特徴とする。
　本発明によれば、管腔内画像から検出された異常候補領域に対し、当該異常候補領域が管状領域と類似した色の領域で連結されているか否かを判定し、この判定結果に基づいて、当該異常候補領域が異常部であるか否かを判定するので、異常部と血管とを区別し、異常部を適正に検出することが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、図１に示す画像処理装置の処理対象である画像の一例を示す模式図である。 図４は、図１に示す管状領域検出部の詳細な動作を示すフローチャートである。 図５は、図１に示す連続性判別部の動作を示すフローチャートである。 図６Ａは、図１に示す連続性判別部が実行する処理を説明するための図である。 図６Ｂは、図１に示す連続性判別部が実行する処理を説明するための図である。 図６Ｃは、図１に示す連続性判別部が実行する処理を説明するための図である。 図７は、図１に示す連結性判定部の動作を示すフローチャートである。 図８Ａは、図１に示す連結性判定部が実行する処理を説明するための図である。 図８Ｂは、図１に示す連結性判定部が実行する処理を説明するための図である。 図８Ｃは、図１に示す連結性判定部が実行する処理を説明するための図である。 図９は、実施の形態１の変形例における連結性判定部の構成を示すブロック図である。 図１０は、図９に示す連結性判定部の動作を示すフローチャートである。 図１１は、図９に示す連結性判定部が実行する処理を説明するための模式図である。 図１２は、実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１３は、図１２に示す連結性判定部の動作を示すフローチャートである。
　以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
　以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）から、異常部と血管領域とを区別して、異常部を検出する画像処理について説明する。なお、以下の実施の形態において画像処理の対象となる管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分（波長成分）に対する画素レベル（画素値）を持つカラー画像である。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
　制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
　画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
　入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
　表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
　記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ－ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記録する。具体的には、記録部５０は、管腔内画像から異常部を検出する画像処理を当該画像処理装置１に実行させるための画像処理プログラム５１を記録する。
　演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から異常部を検出するための種々の演算処理を行う。
　次に、演算部１００の詳細な構成について説明する。
　図１に示すように、演算部１００は、画像から異常部の候補である異常候補領域を検出する異常候補領域検出部１１０と、画像から管状領域を検出する管状領域検出部１２０と、異常候補領域と管状領域とが、管状領域と類似した色の領域で連結されているか否かを判定する連結性判定部１３０と、該連結性判定部１３０の判定結果に基づいて、画像から検出された異常候補領域が異常部であるか否かを判定する異常判定部１４０とを備える。ここで、本願において、管状領域と類似した色の領域とは、管状領域の色特徴量の近傍の色特徴量を有する領域のことであり、より詳細には、所定の波長成分（例えば、Ｒ成分）、所定の波長成分の変化量（エッジ強度）、所定の色特徴量（例えばＧ／Ｒ値）、又は、所定の色特徴量の変化量（微分値）といった値が、管状領域の対応する値から所定の範囲内である領域のことをいう。
　この内、管状領域検出部１２０は、画像内の各画素の色特徴量に基づいて管状領域の候補である管状候補領域を検出する管状候補領域検出部１２１と、管状候補領域の外形に基づいて、当該管状候補領域が管状領域であるか否かを判別する外形判別部１２２と、管状候補領域の周囲領域における画素値の連続性に基づいて、当該管状候補領域が管状領域であるか否かを判別する連続性判別部１２３とを有する。より詳細には、外形判別部１２２は、管状候補領域の面積を算出する面積算出部１２２ａと、管状候補領域の周囲長を算出する周囲長算出部１２２ｂとを含む。また、連続性判別部１２３は、画像の面内における管状候補領域の長手方向に対する直交方向を算出する直交方向算出部１２３ａと、該直交方向において管状候補領域の両側の画素値変化をそれぞれ近似する近似関数を算出する近似関数算出部１２３ｂと、直交方向の同一座標における近似関数の値の差分を算出する差分算出部１２３ｃとを含む。
　連結性判定部１３０は、異常候補領域と管状領域との間の領域における特徴量（以下、領域間特徴量という）を算出する領域間特徴量算出部１３１と、領域間特徴量に基づいて異常候補領域と管状領域との間の連結性を判別する領域間特徴量判別部１３２とを有する。より詳細には、領域間特徴量算出部１３１は、異常候補領域と管状領域との間を補間する補間線を算出する補間線算出部１３１ａと、補間線上における特徴量を算出する線上特徴量算出部１３１ｂとを含む。この内、線上特徴量算出部１３１ｂは、最大エッジ強度算出部１３１ｂ－１と、最大色エッジ強度算出部１３１ｂ－２と、平均色特徴量算出部１３１ｂ－３とを含む。最大エッジ強度算出部１３１ｂ－１は、補間線上におけるエッジ強度、即ち、補間線上において隣接する画素間又は所定間隔の画素間における画素値変化（微分値）の最大値を算出する。最大色エッジ強度算出部１３１ｂ－２は、補間線上における色エッジ強度、即ち、補間線上において隣接する画素間又は所定間隔の画素間における色特徴量の変化（微分値）の最大値を算出する。平均色特徴量算出部１３１ｂ－３は、補間線上における色特徴量の平均値を算出する。
　次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、画像処理装置１の処理対象である画像の一例を示す模式図である。図３に示すように、画像Ｍ１には、粘膜Ｍｅｍと、周囲の粘膜とは状態が異なる領域Ａ１と、管状に細長く延びた領域Ｂ１～Ｂ４とが見られる。
　まず、ステップＳ１０において、画像取得部２０は、被検体の管腔内画像を取得して記録部５０に格納する。演算部１００は、処理対象の画像（例えば、画像Ｍ１）を記録部５０から順次読み込む。
　ステップＳ１１において、異常候補領域検出部１１０は、画像から異常候補領域を検出する。異常候補領域の検出方法としては、既知の種々の方法を用いることができる。例えば、画像内の各画素の画素値を各画素の色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングを行った後、各クラスタの位置や平均値（即ち、重心座標）等の情報を基に正常粘膜クラスタや異常部クラスタを特定することにより異常部の候補領域を検出することができる（例えば、特開２００５－１９２８８０号公報を参照）。
　続くステップＳ１２において、管状領域検出部１２０は、画像から血管候補領域を検出した後、血管候補領域の形状や、血管候補領域周囲における画素値変化の連続性に基づいて当該血管候補領域が血管領域であるか否かを判別することにより、血管領域を検出する。血管候補領域の検出方法としては、既知の種々の方法を用いることができる。本実施の形態１においては、以下に説明する方法により、血管候補領域を検出する。図４は、ステップＳ１２における管状領域検出部１２０の詳細な動作を示すフローチャートである。
　まず、ステップＳ１２０において、管状候補領域検出部１２１は、画像から血管候補領域を検出する。具体的には、血管モデルのテンプレートを用いたテンプレートマッチングを実行し、マッチング結果に基づく構造成分を抽出する（例えば、特開２００４－１８１０９６号公報を参照）。
　続くステップＳ１２１において、管状候補領域検出部１２１は、検出した血管候補領域に対してラベリング処理を行う。そして、各血管候補領域に対して、当該血管候補領域が血管領域であるか否かを判別するループＢの処理を行う。
　即ち、ステップＳ１２２において、外形判別部１２２は、血管候補領域の面積Ａを面積算出部１２２ａに算出させると共に、血管候補領域の周囲長Ｌを周囲長算出部１２２ｂに算出させる。そして、ステップＳ１２３において、外形判別部１２２は、面積Ａの周囲長Ｌに対する比率Ｌ／Ａを算出し、該比率Ｌ／Ａが所定の閾値以上であるか否かを判別する。
　なお、ステップＳ１２３における処理は、血管候補領域の外形が管状であるか否かを判別する処理に相当し、発赤等の管状ではない領域を除去するために実行している。従って、外形が管状であるか否かを判別できるのであれば、これ以外の方法を用いても良い。例えば、次式（１）及び（２）によって算出される値Ｌ１、Ｌ２（Ｌ１＞Ｌ２）の比率Ｌ１／Ｌ２を所定の閾値と比較することにより、当該血管候補領域の外形が管状であるか否かを判別しても良い。
　　　Ｌ１×Ｌ２＝Ａ　　　　…（１）
　　　２（Ｌ１＋Ｌ２）＝Ｌ　…（２）
　ステップＳ１２３における判定の結果、比率Ｌ／Ａが閾値より小さいと判定された場合（ステップＳ１２３：Ｎｏ）、外形判別部１２２は、当該血管候補領域は血管領域でないと判別する（ステップＳ１２４）。
　一方、比率Ｌ／Ａが閾値以上であると判定された場合（ステップＳ１２３：Ｙｅｓ）、連続性判別部１２３は、さらに、当該血管候補領域の周囲における画素値の連続性を表す値を算出する（ステップＳ１２５）。より詳細には、血管候補領域を挟んだ両側の粘膜領域の画素値が連続的に変化しているかを示す値を算出する。図５は、ステップＳ１２５における連続性判別部１２３の詳細な動作を示すフローチャートである。また、図６Ａ～図６Ｃは、連続性判別部１２３が実行する処理を説明するための図である。この内、図６Ａは、図３に示す画像Ｍ１の一部に対応している。
　ステップｓ０１において、直交方向算出部１２３ａは、画像の面内において、血管候補領域の長手方向と直交する方向を算出する。ここで、直交方向は、例えば、血管候補領域上の各画素において、Hessian行列の第２固有ベクトルの方向として算出することができる。Hessian行列は、位置座標（ｘ，ｙ）における画素の画素値Ｉを用いて次式（３）によって与えられる行列である。
Figure JPOXMLDOC01-appb-M000001
 なお、本実施の形態１においては、画素値Ｉとして、各画素のＲ値を用いる。これより、例えば図６Ａの場合、血管候補領域Ｂ１、Ｂ２の長手方向ｄｉｒ１、ｄｉｒ２に対して、直交方向ｘ１、ｘ２がそれぞれ算出される。
　ステップｓ０２において、近似関数算出部１２３ｂは、血管候補領域の長手方向に対する直交方向において、該血管候補領域の両側における画素値の変動を近似する曲線を表す関数を算出する。例えば、図６Ａに示す血管候補領域Ｂ１の場合、図６Ｂに示すように、直交方向ｘ１における画素値プロファイルＰｒ１に対し、血管候補領域Ｂ１の両側の領域Ｃ１、Ｃ２における画素値プロファイルＰｒ１をそれぞれ近似する近似曲線の関数ｆ11（ｘ１）、ｆ12（ｘ１）が算出される。また、図６Ａに示す血管候補領域Ｂ２の場合、図６Ｃに示すように、直交方向ｘ２における画素値プロファイルＰｒ２に対し、血管候補領域Ｂ２の両側の領域Ｃ３、Ｃ４における画素値プロファイルＰｒ２をそれぞれ近似する近似曲線の関数ｆ21（ｘ２）、ｆ22（ｘ２）が算出される。
　ステップｓ０３において、差分算出部１２３ｃは、血管候補領域の両側における２つの近似曲線の関数に対して、直交方向上の複数箇所の座標を代入し、両近似曲線の差分値をそれぞれ算出する。そして、これらの差分値を合計し、この合計値を、差分値を算出した座標数で除算することにより正規化を行う。例えば、血管候補領域Ｂ１の場合、領域Ｃ１内のｘ１軸上の各画素における差分値ｄ１＝ｆ11（ｘ１）－ｆ12（ｘ１）が算出され、これらの差分値ｄ１の合計値が領域Ｃ１内のｘ１軸上の画素数で除算される。領域Ｃ２についても同様である。また、血管候補領域Ｂ２の場合には、各領域Ｃ３、Ｃ４において、ｘ２軸上の各画素における差分値ｄ２＝ｆ21（ｘ２）－ｆ22（ｘ２）が算出され、これらの差分値ｄ２の合計値がｘ２軸上の画素数で除算される。このような正規化を行うことにより、各領域の座標数（画素数）によらない差分値を得ることができる。その後、演算部１００の動作はメインルーチンに戻る。
　ステップＳ１２６において、連続性判別部１２３は、このようにして算出した差分値を所定の閾値と比較することにより、各血管候補領域の周囲における連続性を判断する。具体的には、差分値が所定の閾値以下である場合（例えば、図６Ｂに示すように、差分値ｄ１が小さい場合）、血管候補領域を挟んだ両側の領域に連続性があると判断する。一方、差分値が所定の閾値よりも大きい場合（例えば、図６Ｃに示すように、差分値ｄ２が大きい場合）、血管候補領域を挟んだ両側の領域には連続性がないと判断する。
　血管候補領域の周囲に連続性があると判別された場合（ステップＳ１２６：Ｙｅｓ）、管状領域検出部１２０は、当該管状候補領域は血管領域であると判断する（ステップＳ１２７）。一方、血管候補領域の周囲に連続性がないと判別された場合（ステップＳ１２６：Ｎｏ）、管状領域検出部１２０は、当該管状候補領域は血管領域でないと判断する（ステップＳ１２４）。
　これにより、血管のような吸光特性の違いに起因して凹みが生じた画素値プロファイルの血管候補領域（例えば、画素値プロファイルＰｒ１を有する血管候補領域Ｂ１）を血管領域に含め、粘膜間に存在する溝等の構造に起因して生じた画素値プロファイルの血管候補領域（例えば、画素値プロファイルＰｒ２を有する血管候補領域Ｂ２）を血管領域から除外することができる。その後、演算部１００の動作はメインルーチンに戻る。
　ステップＳ１２に続いて、演算部１００は、各異常候補領域についてループＡの処理を実行する。
　まず、ステップＳ１３において、連結性判定部１３０は、ステップＳ１１において検出された異常候補領域とステップＳ１２において検出された血管領域との座標値に基づき、両者が重なり合っているか（即ち、画素位置の少なくとも一部が重複しているか）否かを判定する。両者の画素位置が重複している場合（ステップＳ１３：Ｙｅｓ）、異常判定部１４０は、当該異常候補領域が血管であると判定する（ステップＳ１４）。
　一方、両者の画素位置が重複していない場合（ステップＳ１３：Ｎｏ）、続くステップＳ１５において、連結性判定部１３０は、異常候補領域と血管領域との連結性の有無を判定する。即ち、異常候補領域と血管領域との間の領域における特徴量（領域間特徴量）を基に、両領域の間が血管領域と類似した色の領域で連結されているか否かを判別する。図７は、ステップＳ１５における連結性判定部１３０の詳細な動作を示すフローチャートである。また、図８Ａ～図８Ｃは、連結性判定部１３０が実行する処理を説明するための図である。この内、図８Ａは、図３に示す画像Ｍ１の一部に対応している。
　まず、連結性判定部１３０は、各血管領域についてループＣの処理を実行する。即ち、ステップＳ１５０において、補間線算出部１３１ａは、血管領域を細線化して端点を検出する（参考：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」、第１８５～１８９頁）。例えば、図８Ａの場合、血管領域Ｂ３を細線化した線ＮＬの端点ＥＰが検出される。
　続くステップＳ１５１において、補間線算出部１３１ａは、異常候補領域と端点を繋いだ補間線を算出する。図８Ａにおいては、端点ＥＰと異常候補領域Ａ１とを接続した補間線ＩＬが算出される。なお、図８Ａにおいては直線の補間線を例示しているが、異常候補領域と血管領域との間の領域を補間できるのであれば、他の方法で算出した直線又は曲線であっても良い。例えば、端点ＥＰから線ＮＬに沿って幾つかの点を血管領域から順にサンプリングした後、各点と異常候補領域の重心とを繋いでスプライン曲線を引くなどしても良い。
　ステップＳ１５２において、線上特徴量算出部１３１ｂは、補間線上における特徴量（線上特徴量）として、最大エッジ強度、最大色エッジ強度、及び平均色特徴量を算出する。具体的には、最大エッジ強度として補間線上におけるＲ値の微分値の最大値が算出され、最大色エッジ強度としてＧ／Ｒ値の微分値の最大値が算出され、平均色特徴量としてＧ／Ｒ値の平均値が算出される。
　ステップＳ１５３において、領域間特徴量判別部１３２は、上記３つの線上特徴量が、以下に示す３つの条件を満たしているか否かを判別する。
　条件１：最大エッジ強度が所定の閾値以下である。
　条件２：最大色エッジ強度が所定の閾値以下である。
　条件３：平均色特徴量と血管領域の平均色特徴量の差分が所定の閾値以下である。
　ここで、異常候補領域と血管領域との間に連結性がある状態とは、両領域の間に溝等の構造的な途切れが存在せず、且つ、両領域の間が血管領域と類似した色で急激な色変化無く繋がっている状態のことをいう。この場合、図８Ｂに示すように、両領域を繋ぐ補間線上における画素値（Ｒ値）プロファイルはなだらかに変化する（上記条件１に相当）。また、図８Ｃに示すように、補間線上における色特徴量（Ｇ／Ｒ値）プロファイルは血管領域の色特徴量近傍で（上記条件３に相当）なだらかに変化する（上記条件２に相当）。従って、補間線上における特徴量を上記条件１～３に照らすことにより、異常候補領域と血管領域との連結性を判別することができる。
　線上特徴量が上記条件１～３の全てを満たす場合（ステップＳ１５３：Ｙｅｓ）、連結性判定部１３０は、ループＣを抜け、当該異常候補領域は血管領域との連結性を有すると判別する（ステップＳ１５４）。一方、線上特徴量が上記条件１～３の内の少なくともいずれかを満たさない場合（ステップＳ１５３：Ｎｏ）、連結性判定部１３０は、別の血管領域を判別対象としてループＣの処理を繰り返す。そして、全ての血管領域についての処理が終了しても、上記条件１～３の全てを満たす血管領域が検出されなかった場合、連結性判定部１３０は、当該異常候補領域は血管領域との連結性を有しないと判別する（ステップＳ１５５）。その後、演算部１００の動作はメインルーチンに戻る。
　ステップＳ１５に続くステップＳ１６において、異常判定部１４０は、連結性判定部１３０の判定結果に基づいて、異常候補領域の判別を行う。即ち、異常候補領域が血管領域との連結性を有すると判定された場合（ステップＳ１６：Ｙｅｓ）、異常判定部１４０は、当該異常候補領域は血管（血管が密集した領域）であり、異常部ではないと判別する（ステップＳ１４）。一方、異常候補領域が血管領域との連結性を有しないと判定された場合（ステップＳ１６：Ｎｏ）、異常判定部１４０は、当該異常候補領域は異常部であると判別する（ステップＳ１７）。
　このような判別処理を、ステップＳ１１において検出された全ての異常候補領域について実行した後、演算部１００はループＡを抜け、異常部の判別結果を出力する（ステップＳ１８）。これに応じて、制御部１０は、異常部の判別結果を記録部５０に記録する。この際、制御部１０は、異常部の判別結果を表示部４０等に表示させても良い。その後、画像処理装置１における処理は終了する。
　以上説明したように、実施の形態１によれば、画像内から検出された異常候補領域に対し、管状を有する血管領域との連結性を判断することにより、当該異常候補領域が異常部であるか否かを判別するので、異常部と血管とを区別し、異常部を適正に検出することが可能となる。
　なお、実施の形態１においては、血管領域を検出する際に、画像から検出された血管候補領域に対して外形に基づく判別を行った上で、血管候補領域の周囲の連続性を判別しているが、血管候補領域に対して直接その周囲の連続性を判別することにより、当該血管候補領域が血管領域であるか否かを判別するようにしても良い。
（変形例）
　次に、実施の形態１の変形例について説明する。
　本変形例に係る画像処理装置は、図１に示す連結性判定部１３０の代わりに、図９に示す連結性判定部１５０を備える。なお、連結性判定部１５０以外の画像処置装置の各部の構成については、図１に示すものと同様である。
　図９に示すように、連結性判定部１５０は、領域間特徴量算出部１３１及び領域間特徴量判別部１３２に加えて、異常候補領域が血管領域の長手方向からさらに延びる方向（以下、単に血管領域の延長方向という）上に存在するか否かを判定する存在方向判定部１５１をさらに有し、異常候補領域と血管領域の相対位置関係に基づいて、異常候補領域と血管領域との連結性を判別することを特徴とする。
　より詳細には、存在方向判定部１５１は、血管領域の形状を近似する関数（近似関数）を算出する近似関数算出部１５１ａと、近似関数から所定の距離の範囲内である近傍領域を画像内から検出する近傍領域検出部１５１ｂと、近傍領域内に異常候補領域が存在するか否かを判定する近傍領域内存在判定部１５１ｃと含む。
　ここで、粘膜下において複数の血管が交差している領域は、外形が管状ではないため、異常候補領域として検出されてしまう場合がある。このような異常候補領域は、血管領域の延長方向上に存在すると考えられる。そこで、本変形例においては、異常候補領域と血管領域との連結性を判定する際に（図２のステップＳ１５）、異常候補領域が血管領域の延長方向上に存在するか否かを判別し、異常候補領域が当該延長方向上に存在する場合にのみ、補間線上の特徴量を用いた連結性判定を行う。
　図１０は、本変形例における連結性判定部１５０の動作を示すフローチャートである。また、図１１は、連結性判定部１５０が実行する処理を説明するための模式図であり、図３に示す画像Ｍ１の一部に対応する。
　連結性判定部１５０は、まず、管腔内画像から検出された各血管領域について、ループＤの処理を実行する。即ち、ステップＳ１９０において、近似関数算出部１５１ａは、血管領域の長手方向の形状を近似する位置座標の関数（近似関数）を算出する。近似関数の算出方法としては、例えば、画像内の各画素の位置座標（ｘ，ｙ）を用いて次式（４）で与えられる２次関数の係数を最小二乗法により算出すれば良い。
　　　ｙ＝ａｘ2＋ｂｘ＋ｃ　…（４）
例えば、図１１の場合、血管領域Ｂ３の長手方向の形状を近似する関数ｆ３と、血管領域Ｂ４の長手方向の形状を近似する関数ｆ４とが算出される。
　続くステップＳ１９１において、近傍領域検出部１５１ｂは、管腔内画像において当該近似関数から一定の距離範囲の領域を近傍領域として検出する。近傍領域は、例えば、画像内の各画素の画素値を近似関数上の画素位置との間の距離に変換した距離画像を生成し、当該距離画像において所定の閾値以下の画素値を有する領域（即ち、閾値以下の距離の領域）を抽出することにより、検出することができる。例えば、図１１の場合、関数ｆ３の近傍領域Ｒ３と、関数ｆ４の近傍領域Ｒ４とが検出される。
　ステップＳ１９２において、近傍領域内存在判定部１５１ｃは、近傍領域内に異常候補領域が存在するか否か、即ち、血管領域の延長方向上に異常候補領域が存在するか否かを判定する。例えば、図１１の場合、近傍領域Ｒ３に異常候補領域Ａ１の一部が重なっているため、血管領域Ｒ３の延長方向上に異常候補領域が存在すると判定される。一方、近傍領域Ｒ４には異常候補領域が存在しないため、血管領域Ｂ４の延長方向上に異常候補領域は存在しないと判定される。
　血管領域の延長方向上に異常候補領域が存在しない場合（ステップＳ１９２：Ｎｏ）、連結性判定部１５０の動作は、次の血管領域に対する処理に移行する。一方、血管領域の延長方向上に異常候補領域が存在する場合（ステップＳ１９２：Ｙｅｓ）、連結性判定部１５０の動作は、ステップＳ１９３に移行する。なお、図１０に示すステップＳ１９３～Ｓ１９８は、図７に示すステップＳ１５０～Ｓ１５５に対応している。
　以上説明したように、本変形例によれば、血管領域の延長方向に異常候補領域が存在する場合にのみ、当該異常候補領域と血管領域との連結性判定を行うので、連結性判定の演算量を低減することが可能となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　図１２は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図１２に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。
　演算部２００は、図１に示す連結性判定部１３０の代わりに、連結性判定部２１０を備える。より詳細には、連結性判定部２１０は、画像から管状領域と類似した色の領域である類似色領域を検出する類似色領域検出部２１１と、類似色領域に対する異常候補領域及び管状領域の画素位置の重複（即ち、重なり合い）を判定する重複判定部２１２とを有する。この内、類似色領域検出部２１１は、管状領域における色特徴量の平均値を算出する平均値算出部２１１ａと、色特徴量の平均値を基に閾値を設定する閾値設定部２１１ｂと、閾値設定部２１１ｂが設定した閾値に基づいて画像を閾値処理する閾値処理部２１１ｃとを含む。なお、連結性判定部２１０以外の画像処置装置２の各部の構成については、図１に示すものと同様である。
　次に、画像処理装置２の動作について説明する。画像処理装置２全体の動作は、図２に示すものと同様であり、連結性判定部２１０が実行する異常候補領域と血管領域との連結性を判定する処理（ステップＳ１５）の詳細が、実施の形態１とは異なる。
　図１３は、連結性判定部２１０の詳細な動作を示すフローチャートである。連結性判定部２１０は、ステップＳ１２（図２参照）において検出された各血管領域について、ループＥの処理を実行する。
　まず、ステップＳ２００において、平均値算出部２１１ａは、血管領域における色特徴量の平均値を算出する。実施の形態２においては、色特徴量としてＧ／Ｒ値を用いるため、本ステップＳ２００においては、平均Ｇ／Ｒ値を算出する。
　続くステップＳ２０１において、閾値設定部２１１ｂは、ステップＳ２００において算出された平均色特徴量を基に、閾値を設定する。具体的には、平均Ｇ／Ｒ値に任意の係数α（α≧1）を掛け合わせた値を閾値とする。
　ステップＳ２０２において、閾値処理部２１１ｃは、画像に対して閾値処理を施し、閾値以下のＧ／Ｒ値を有する領域を、血管領域の類似色領域として検出する。
　さらに、ステップＳ２０３において、重複判定部２１２は、類似色領域に対して血管領域と異常候補領域が共に重複しているか（即ち、血管領域内の画素位置の少なくとも一部が類似色領域と重複している箇所と、異常候補領域内の画素位置の少なくとも一部が類似色領域と重複している箇所との両方が存在するか）否かを判定する。そして、類似色領域に対して血管領域と異常候補領域が共に重複していた場合（ステップＳ２０４：Ｙｅｓ）、連結性判定部２１０は、ループＥを抜け、当該異常候補領域は血管領域との連結性を有すると判別する（ステップＳ２０５）。一方、類似色領域に対して血管領域と異常候補領域と内のいずれか又は両方が重複していない場合（ステップＳ２０４：Ｎｏ）、連結性判定部２１０は、別の血管領域を判別対象としてループＥの処理を繰り返す。そして、全ての血管領域についての処理が終了しても、類似色領域に対して重なる血管領域及び異常候補領域が検出されない場合、連結性判定部２１０は、当該異常候補領域は血管領域との連結性を有しないと判別する（ステップＳ２０６）。その後、演算部２００の動作はメインルーチンに戻る。
　以上説明したように、実施の形態２においては、血管領域の色特徴量に基づいて設定された閾値により類似色領域を検出し、該類似色領域に対する異常候補領域及び血管領域の画素位置の重複を判別することにより、異常候補領域と血管領域との連結性を判定する。従って、実施の形態２によれば、血管領域の色特徴量に応じて、異常候補領域と血管領域との連結性をより高精度に判別することが可能となる。
　以上説明した実施の形態１及び２並びに変形例に係る画像処理装置は、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１及び２並びに変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録装置及びその読取装置等）に画像処理結果を格納するようにしても良い。
　なお、本発明は、実施の形態１及び２並びに変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
　１、２　画像処理装置
　１０　制御部
　２０　画像取得部
　３０　入力部
　４０　表示部
　５０　記録部
　５１　画像処理プログラム
　１００、２００　演算部
　１１０　異常候補領域検出部
　１２０　管状領域検出部
　１２１　管状候補領域検出部
　１２２　外形判別部
　１２２ａ　面積算出部
　１２２ｂ　周囲長算出部
　１２３　連続性判別部
　１２３ａ　直交方向算出部
　１２３ｂ　近似関数算出部
　１２３ｃ　差分算出部
　１３０、１５０、２１０　連結性判定部
　１３１　領域間特徴量算出部
　１３１ａ　補間線算出部
　１３１ｂ　線上特徴量算出部
　１３１ｂ－１　最大エッジ強度算出部
　１３１ｂ－２　最大色エッジ強度算出部
　１３１ｂ－３　平均色特徴量算出部
　１３２　領域間特徴量判別部
　１４０　異常判定部
　１５１　存在方向判定部
　１５１ａ　近似関数算出部
　１５１ｂ　近傍領域検出部
　１５１ｃ　近傍領域内存在判定部
　２１１　類似色領域検出部
　２１１ａ　平均値算出部
　２１１ｂ　閾値設定部
　２１１ｃ　閾値処理部
　２１２　重複判定部

Claims (16)

  1. 　被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出手段と、
    　前記管腔内画像から管状領域を検出する管状領域検出手段と、
    　前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定手段と、
    　前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定手段と、
    を備えることを特徴とする画像処理装置。
  2. 　前記連結性判定手段は、
    　前記異常候補領域と前記管状領域との間の領域における特徴量である領域間特徴量を算出する領域間特徴量算出手段と、
    　前記領域間特徴量に基づいて前記異常候補領域と前記管状領域との間の連結性を判別する領域間特徴量判別手段と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記領域間特徴量算出手段は、
    　前記異常候補領域と前記管状領域との間を補間する補間線を算出する補間線算出手段と、
    　前記補間線上における特徴量を算出する線上特徴量算出手段と、
    を含むことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記線上特徴量算出手段は、前記補間線上における画素値変化の最大値を算出する最大エッジ強度算出手段を含むことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記線上特徴量算出手段は、前記補間線上における色特徴量の変化の最大値を算出する最大色エッジ強度算出手段を含むことを特徴とする請求項３に記載の画像処理装置。
  6. 　前記線上特徴量算出手段は、前記補間線上における色特徴量の平均値を算出する平均色特徴量算出手段を含むことを特徴とする請求項３に記載の画像処理装置。
  7. 　前記連結性判定手段は、
    　前記管腔内画像から前記管状領域と類似した色の領域である類似色領域を検出する類似色領域検出手段と、
    　前記類似色領域に対する前記異常候補領域及び前記管状領域の画素位置の重複の有無を判定する重複判定手段と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  8. 　前記類似色領域検出手段は、
    　前記管状領域における色特徴量の平均値を算出する平均色特徴量算出手段と、
    　前記色特徴量の平均値を基に閾値を設定する閾値設定手段と、
    　前記閾値に基づいて前記管腔内画像を閾値処理する閾値処理手段と、
    を含むことを特徴とする請求項７に記載の画像処理装置。
  9. 　前記連結性判定手段は、前記異常候補領域が前記管状領域の延長方向上に存在するか否かを判定する存在方向判定手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
  10. 　前記存在方向判定手段は、
    　前記管状領域の形状を近似する位置座標の関数を算出する近似関数算出手段と、
    　前記管腔内画像において前記関数から所定の距離の範囲内である近傍領域を検出する近傍領域検出手段と、
    　前記近傍領域内に異常候補領域が存在するか否かを判定する近傍領域内存在判定手段と、
    を含むことを特徴とする請求項９に記載の画像処理装置。
  11. 　前記管状領域検出手段は、
    　前記管腔内画像の色特徴量に基づいて前記管状領域の候補である管状候補領域を検出する管状候補領域検出手段と、
    　前記管状候補領域の周囲領域における画素値の連続性に基づいて、前記管状候補領域が前記管状領域であるか否かを判別する連続性判別手段と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  12. 　前記連続性判別手段は、
    　前記画像の面内における前記管状候補領域の長手方向に対する直交方向を算出する直交方向算出手段と、
    　前記直交方向における前記管状候補領域の両側における画素値変化をそれぞれ近似する近似関数を算出する近似関数算出手段と、
    　前記直交方向の同一座標における前記近似関数の値の差分を算出する差分算出手段と、
    を含み、
    　前記差分に基づいて前記管状候補領域に対する判別を行うことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記管状領域検出手段は、
    　前記管腔内画像における色特徴量に基づいて前記管状領域の候補である管状候補領域を検出する管状候補領域検出手段と、
    　前記管状候補領域の外形に基づいて前記管状候補領域が前記管状領域であるか否かを判別する外形判別手段と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  14. 　前記外形判別手段は、
    　前記管状候補領域の面積を算出する面積算出手段と、
    　前記管状候補領域の周囲長を算出する周囲長算出手段と、
    を含み、
    　前記面積と前記周囲長とに基づいて前記管状領域に対する判別を行うことを特徴とする請求項１３に記載の画像処理装置。
  15. 　被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、
    　前記管腔内画像から管状領域を検出する管状領域検出ステップと、
    　前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、
    　前記連結性判定ステップにおける判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップと、
    を含むことを特徴とする画像処理方法。
  16. 　被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、
    　前記管腔内画像から管状領域を検出する管状領域検出ステップと、
    　前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、
    　前記連結性判定ステップにおける判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2012/080237 2011-11-25 2012-11-21 画像処理装置、画像処理方法、及び画像処理プログラム WO2013077381A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12851696.0A EP2783622A4 (en) 2011-11-25 2012-11-21 IMAGE PROCESSING DEVICE, METHOD, AND PROGRAM
CN201280057135.0A CN103945755B (zh) 2011-11-25 2012-11-21 图像处理装置
US14/282,119 US10178941B2 (en) 2011-11-25 2014-05-20 Image processing apparatus, image processing method, and computer-readable recording device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011258224A JP5931418B2 (ja) 2011-11-25 2011-11-25 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2011-258224 2011-11-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/282,119 Continuation US10178941B2 (en) 2011-11-25 2014-05-20 Image processing apparatus, image processing method, and computer-readable recording device

Publications (1)

Publication Number Publication Date
WO2013077381A1 true WO2013077381A1 (ja) 2013-05-30

Family

ID=48469823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080237 WO2013077381A1 (ja) 2011-11-25 2012-11-21 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US10178941B2 (ja)
EP (1) EP2783622A4 (ja)
JP (1) JP5931418B2 (ja)
CN (1) CN103945755B (ja)
WO (1) WO2013077381A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106535736A (zh) * 2014-07-15 2017-03-22 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
US20200126202A1 (en) * 2018-10-23 2020-04-23 International Business Machines Corporation Detection for abnormal connectivity on a product

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2016110984A1 (ja) * 2015-01-08 2016-07-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
CN106204628A (zh) * 2016-08-02 2016-12-07 海纳医信（北京）软件科技有限责任公司 血管分割方法和装置
JP6805736B2 (ja) * 2016-11-07 2020-12-23 富士通株式会社 類似症例画像検索プログラム、類似症例画像検索装置及び類似症例画像検索方法
CN109963492B (zh) * 2016-11-17 2021-07-20 奥林巴斯株式会社 内窥镜装置、内窥镜装置的工作方法以及视频处理器
JP6912608B2 (ja) * 2018-02-07 2021-08-04 Hoya株式会社 内視鏡システム
CN111583219B (zh) * 2020-04-30 2021-05-18 赤峰学院附属医院 颅颌面软硬组织的分析方法及装置、电子设备
CN112183518B (zh) * 2020-09-25 2024-05-28 伏羲九针智能科技(北京)有限公司 静脉靶点自动确定方法、装置和设备
CN115272345B (zh) * 2022-09-30 2022-12-27 南通海王消防水带有限公司 基于图像处理的防火面料质量分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291733A (ja) 2001-04-03 2002-10-08 Hitachi Medical Corp 画像診断支援方法及びそのシステム
JP2004181096A (ja) 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006304995A (ja) * 2005-04-27 2006-11-09 Olympus Medical Systems Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008012291A (ja) * 2006-06-08 2008-01-24 Kobe Univ 医用画像診断支援装置および医用画像診断支援プログラム
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2009273644A (ja) * 2008-05-14 2009-11-26 Toshiba Corp 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006087981A1 (ja) * 2005-02-15 2006-08-24 Olympus Corporation 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP4599191B2 (ja) * 2005-03-01 2010-12-15 国立大学法人神戸大学 画像診断処理装置および画像診断処理プログラム
WO2006117932A1 (ja) 2005-04-27 2006-11-09 Olympus Medical Systems Corp. 画像処理装置、画像処理方法、及び画像処理プログラム
JP4891636B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP5242381B2 (ja) * 2006-03-16 2013-07-24 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
EP1865464B1 (en) 2006-06-08 2013-11-20 National University Corporation Kobe University Processing device and program product for computer-aided image based diagnosis
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291733A (ja) 2001-04-03 2002-10-08 Hitachi Medical Corp 画像診断支援方法及びそのシステム
JP2004181096A (ja) 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006304995A (ja) * 2005-04-27 2006-11-09 Olympus Medical Systems Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008012291A (ja) * 2006-06-08 2008-01-24 Kobe Univ 医用画像診断支援装置および医用画像診断支援プログラム
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2009273644A (ja) * 2008-05-14 2009-11-26 Toshiba Corp 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIGITAL IMAGE PROCESSING, pages 185 - 189
See also references of EP2783622A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106535736A (zh) * 2014-07-15 2017-03-22 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
US20200126202A1 (en) * 2018-10-23 2020-04-23 International Business Machines Corporation Detection for abnormal connectivity on a product
US10832399B2 (en) * 2018-10-23 2020-11-10 International Business Machines Corporation Detection for abnormal connectivity on a product

Also Published As

Publication number Publication date
CN103945755B (zh) 2017-06-27
JP2013111125A (ja) 2013-06-10
US10178941B2 (en) 2019-01-15
EP2783622A4 (en) 2015-09-02
EP2783622A1 (en) 2014-10-01
US20140257114A1 (en) 2014-09-11
CN103945755A (zh) 2014-07-23
JP5931418B2 (ja) 2016-06-08

Similar Documents

Publication Publication Date Title
JP5931418B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
US8811698B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5658963B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6371544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
EP1994879B1 (en) Image analysis device and image analysis method
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5597049B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2008044466A1 (fr) Dispositif, procédé et programme de traitement d'image
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
US10628941B2 (en) Image processing apparatus, image processing method, and image processing program
US8913806B2 (en) Texture homogeneity based in-vivo image identifying device, method, and computer-readable recording device
JP2012045056A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US7689018B2 (en) Anomaly detection in volume data structure information
JP6987721B2 (ja) 画像処理装置、方法およびプログラム
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2010099348A (ja) 医用画像処理装置
WO2015111308A1 (ja) ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム
US20220230367A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12851696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012851696

Country of ref document: EP