WO2007119297A1 - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

医療用画像処理装置及び医療用画像処理方法 Download PDF

Info

Publication number
WO2007119297A1
WO2007119297A1 PCT/JP2007/053588 JP2007053588W WO2007119297A1 WO 2007119297 A1 WO2007119297 A1 WO 2007119297A1 JP 2007053588 W JP2007053588 W JP 2007053588W WO 2007119297 A1 WO2007119297 A1 WO 2007119297A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
region
lesion
medical image
image processing
Prior art date
Application number
PCT/JP2007/053588
Other languages
English (en)
French (fr)
Inventor
Hirokazu Nishimura
Hideki Tanaka
Kenji Nakamura
Ryoko Inoue
Miho Sawa
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to EP07714981.3A priority Critical patent/EP1994878B9/en
Priority to JP2008510749A priority patent/JP5242381B2/ja
Priority to CN200780009275XA priority patent/CN101404923B/zh
Publication of WO2007119297A1 publication Critical patent/WO2007119297A1/ja
Priority to US12/208,821 priority patent/US8295566B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method suitable for detecting a lesion candidate area from a medical image and detecting a lesion such as a polyp.
  • endoscopes have come to be widely used, for example, in examinations and diagnoses in the medical field.
  • the surgeon inserts the insertion portion of the endoscope into a body cavity such as the large intestine of the patient, images the inside of the body cavity by the imaging means provided at the distal end portion of the insertion portion, and displays the endoscope displayed on the monitor.
  • Endoscopic examinations such as screening and diagnosis of lesions such as polyps are performed by observing mirror images.
  • the surgeon is required to perform endoscopy smoothly and with less pain to the patient, which increases the burden on the surgeon.
  • Japanese Patent Application Laid-Open No. 2005-192880 as a second conventional example discloses an image processing method for detecting a lesion candidate region from color tone information from an endoscopic image.
  • the first conventional example is difficult to apply when screening or diagnosing a lesion such as a probe from an endoscopic image obtained by imaging a body cavity such as the large intestine. Also, X-ray CT images are difficult to detect if there are no clear hemispherical uplift findings.
  • color information In an image obtained by optically observing the inside of a body cavity as in the case of an endoscopic image, color information is also obtained. Therefore, it is desirable that the color information can be used for lesion detection or the like.
  • the second conventional example uses color information and contour information to A concave or the like is detected.
  • this second conventional example there is information on areas that are accompanied by properties such as areas that are accompanied by the nature of color change of redness and amber color tone that occurs in polyps and abnormal findings areas that occur in the mucosa around the polyps. Make effective use of,,,. For this reason, it is desired that the lesion information can be detected with higher accuracy or high reliability by effectively using the information of these regions.
  • the present invention has been made in view of the above-described points, and medical image processing that can accurately detect a lesion such as a polyp medical image force having color information such as an endoscopic image. It is an object to provide a medical device and a medical image processing method.
  • a first medical image processing apparatus includes a lesion candidate area detecting means for detecting a lesion candidate area based on at least one color signal in a medical image composed of a plurality of color signals, and the medical use
  • An associated area detection means for detecting an associated area that occurs in a property associated with a lesion from an image, and a detection criterion for changing a detection criterion when detecting a lesion from the lesion candidate area according to a detection result of the associated area It is characterized by having a change means.
  • the second medical image processing apparatus includes a lesion candidate area detection unit that detects a lesion candidate area from at least one color signal in a medical image including a plurality of color signals, and the medical Associated region detection means for detecting an associated region that occurs in a property associated with a lesion from an image, a lesion candidate region detected by the candidate lesion region detection unit, and an associated region detected by the associated region detection unit It is characterized by detecting lesions based on the presence or absence of a region that correlates with the region.
  • the medical image processing method detects a lesion candidate area that detects a lesion candidate area based on at least one color signal in a medical image having a plurality of color signal powers.
  • FIG. 1 is a block diagram showing a configuration of an endoscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a view showing a state in which an image is taken by an endoscope inserted into a tubular part such as a large intestine according to Example 1 of the present invention.
  • FIG. 3A is a diagram showing an example of an endoscopic image captured by an imaging apparatus provided in the endoscope of FIG.
  • FIG. 3B is a diagram showing an example of an endoscopic image captured by an imaging device provided in the endoscope of FIG.
  • FIG. 4 is a block diagram showing an image processing function by a CPU according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing processing for detecting a polyp as a raised lesion by image processing according to the first embodiment of the present invention.
  • FIG. 6 is a flowchart showing processing for calculating three-dimensional shape information in step S4 of FIG.
  • FIG. 7 is a diagram showing a curved surface shape based on the value of Shape Index SI calculated in step S12 of FIG.
  • FIG. 8 is a flowchart showing the processing content of step S6 of FIG.
  • FIG. 9B is a diagram showing an example of an endoscopic image captured by an imaging device provided in the endoscope according to Example 2 of the present invention.
  • FIG. 10 is a block diagram showing an image processing function by a CPU according to Embodiment 2 of the present invention.
  • FIG. 11 is a flowchart showing processing for detecting a polyp as a raised lesion by image processing according to the second embodiment of the present invention.
  • FIG. 12 is a flowchart showing the contents of processing for determining mucosal property information in step S51 of FIG.
  • FIG. 13 is a flowchart showing the processing contents of abnormal blood vessel growth determination in step S51 of FIG.
  • FIGS. 1 to 8 relate to Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an endoscope system
  • FIG. 2 is an image taken by an endoscope inserted into a tubular part such as a large intestine.
  • FIG. 3A is a diagram showing an example of an endoscopic image captured by the imaging device provided in the endoscope of FIG. 2
  • FIG. 3B is an image captured by the imaging device provided in the endoscope of FIG.
  • Fig. 4 is a block diagram showing an image processing function by the CPU
  • Fig. 5 is a flowchart showing a process for detecting a polyp as a raised lesion by image processing
  • Fig. 6 is a diagram of Fig. 5.
  • FIG. 7 is a flowchart showing the curved surface shape based on the shape index SI value calculated in step S12 of FIG. 6, and
  • FIG. 8 is the processing content of step S6 of FIG. It is a flowchart which shows.
  • An endoscope system 1 shown in FIG. 1 includes an endoscope observation apparatus 2 and a personal computer that performs image processing on an endoscope image obtained by the endoscope observation apparatus 2.
  • the endoscope observation apparatus 2 includes an endoscope 6 that is inserted into a body cavity, a light source device 7 that supplies illumination light to the endoscope 6, and signal processing for the imaging means of the endoscope 6.
  • the endoscope 6 includes an insertion portion 11 that is inserted into a body cavity, and an operation portion 12 that is provided at the rear end of the insertion portion 11.
  • a light guide 13 that transmits illumination light is inserted into the insertion portion 11.
  • the rear end of the light guide 13 is connected to the light source device 7. Then, the illumination light supplied from the light source device 7 is transferred by the light guide 13 and emitted from the distal end surface attached to the illumination window provided at the distal end portion 14 of the insertion portion 11 (transmitted illumination light). Illuminate the subject such as the affected area. Light up.
  • An imaging device including an objective lens 15 attached to an observation window adjacent to the illumination window, and a charge coupled device (abbreviated as CCD) 16 as a solid-state imaging device disposed at an imaging position of the objective lens 15, for example. 17 is provided.
  • the optical image stored on the imaging surface of the CCD 16 is photoelectrically converted by the CCD 16.
  • the CCD 16 is connected to the CCU 8 through a signal line, and the CCD 16 outputs a photoelectrically converted image signal by applying the CCU 8 force CCD drive signal.
  • This image signal is signal-processed by a video processing circuit in the CCU 8 and converted into a video signal.
  • This video signal is output to the monitor 9 and an endoscopic image is displayed on the display surface of the monitor 9. This video signal is also input to the image processing device 3.
  • the image processing device 3 includes an image input unit 21 to which a video signal corresponding to an endoscopic image input from the endoscope observation device 2 is input, and an image data input from the image input unit 21.
  • CPU 22 as a central processing unit for performing image processing on the data, and a processing program storage unit 23 for storing a processing program (control program) for executing image processing by CPU 22.
  • the image processing apparatus 3 includes an image storage unit 24 that stores image data input from the image input unit 21, an information storage unit 25 that stores information processed by the CPU 22, and the CPU 22.
  • a hard disk 27 as a storage device for storing processed image data and information via the storage device interface 26, a display processing unit 28 for performing display processing for displaying the image data and the like processed by the CPU 22, and a user Has an input operation unit 29 that also has the power of a keyboard or the like for inputting data such as an image processing parameter or performing an instruction operation.
  • the video signal generated by the display processing unit 28 is displayed on the display monitor 4, and a processed image subjected to image processing is displayed on the display surface of the display monitor 4.
  • the image input unit 21, the CPU 22, the processing program storage unit 23, the image storage unit 24, the information storage unit 25, the storage device interface 26, the display processing unit 28, and the input operation unit 29 are connected to each other via the data bus 30. Connected to!
  • a tubular region such as the large intestine 31 (tubular device).
  • the insertion section 11 of the direct-view endoscope 6 is inserted into the officer and is imaged by the imaging device 17.
  • FIG. 3A and FIG. 3B show examples of two-dimensional endoscopic images having a polyp as a raised lesion imaged by the endoscope 6! /.
  • FIG. 3B shows an endoscopic image having a polyp with a white-colored fading portion 33 in a wider area than in the case of FIG. 3A.
  • the threshold value of the detection reference for performing the polyp detection is changed and set according to the detection result of the accompanying region accompanied by the color change.
  • FIG. 4 shows image processing functions performed by the CPU 22 in the image processing apparatus 3 of the present embodiment.
  • the CPU 22 uses the data force of the captured endoscopic image based on the light / dark information (or luminance information) V, and as a lesion candidate area detection means for detecting a raised change area as a raised lesion candidate area.
  • the color change area detection function 22a and the color change area detection function 22b as an associated area detection means for detecting the color change area from a plurality of color signals of the endoscopic image Detection function 22d that detects polyps as sexual lesions, and detection criteria change means that changes the polyp detection criteria depending on whether or not there is a color tone change area when performing this polyp detection Standard setting function 22c.
  • this CPU 22 uses the luminance information of the two-dimensional endoscope image as shape information for estimating the shape when detecting the raised change region by the raised change region detection function 22a.
  • a 3D shape information generation function 22e for generating 3D shape information is provided.
  • each function shown in FIG. 4 is realized by software. That is
  • the CPU 22 reads the processing program stored (stored) in the processing program storage unit 23, and the CPU 22 performs the processing according to this processing program, thereby executing the image processing of the polyp detection shown in FIG.
  • an endoscope image (of the image captured by the imaging device 17 of the endoscope 6 and subjected to signal processing by the CCU 8) Video signal) is displayed on the monitor 9 and also input to the image processing device 3 via the image input unit 21.
  • a series of processing in the present embodiment is applied to the endoscope image Ii of each frame continuously input as a moving image.
  • the image processing shown in FIG. 5 may be performed on an endoscopic image every several frames. Further, the image processing shown in FIG. 5 may be performed on the endoscopic image that is filed on the hard disk 27 or the like.
  • step S3 the CPU 22 extracts the R signal component Ri (abbreviated as R image) Ri in the endoscopic image Ii, and in the next step S4, the CPU 22 extracts the three-dimensional shape information of the R image Ri. Calculate (generate) based on changes in brightness (change in luminance information).
  • the CPU 22 may calculate the three-dimensional shape information using the R image Ri, in addition to the luminance signal component image, for example.
  • FIG. 6 shows a processing method for calculating 3D shape information from the 2D R image Ri.
  • the CPU 22 estimates (generates) the 3D shape as shown in step S21 in FIG.
  • a method of generating a three-dimensional shape for example, there is Shape from Shading.
  • the method of generating a 3D shape by this shape from shading is that the intensity of the reflected light of the target area illuminated by the illumination light from the illumination light source changes depending on the tilted state of the surface, and the reflected light accompanied by the change.
  • Reflected in the captured endoscopic image for example, “Computer vision, shape-from-shading when there is a point light source at the center of projection—3D shape reconstruction from endoscopic shape Okaya , Exit: pp. 19-26, 1996 ”describes this method. It is also possible to use a method of calculating (generating) a 3D shape estimated from another 2D endoscope image.
  • Shape IndexSI and CurvednessCV are feature quantities representing the curved surface shape, for each calculated three-dimensional curved surface. Shape IndexSI and CurvednessCV are calculated as follows.
  • the CPU 22 calculates the first-order partial differential coefficients fx, fy for the R pixel value f in the local region (curved surface) including the target 3D position (x, y, z) for the calculated 3D shape. , Fz, and second order partial differential coefficients f xx, fyy, fzz, fxy, fyz, fxz.
  • the CPU 22 is described in "The Institute of Electronics, Information and Communication Engineers, IEICE Technical Report (MI2003-102), Examination of 3D Abdominal CT Image Force Automatic Detection Method for Colorectal Polyp Based on Shape Information, Kimura, Calculate Gaussian curvature K and average curvature H as described in “Hayashi, Kitasaka, Mori, Suecho PP. 29-34, 2004”.
  • Shape IndexSI and Curvedness ssCV which are feature amounts representing the curved surface shape in this case, are respectively
  • the CPU 22 calculates the Shape Index SI and Curvednes sCV on each three-dimensional curved surface as three-dimensional shape information.
  • Shape IndexSI represents a curved surface shape with an index having a value from 0 to 1 as shown in FIG.
  • Curvedness CV represents the reciprocal of the radius of curvature, and is used when limiting the size of the convex region of the target curved surface. In this way, the process of step S4 in FIG. 5 is performed.
  • a polyp as a raised lesion When performing detection image processing, the CPU 22 uses detection criteria 1 and 2 as detection criteria.
  • step S5 of FIG. 5 the CPU 22 extracts the R image Ri in the endoscopic image Ii and the G signal component (abbreviated as G image Gi) in the endoscopic image ⁇ . Then, in the next step S6, the CPU 22 detects a color tone change area indicating a color change of the reddish blue color tone.
  • the color tone change area detection process in step S6 is performed as shown in FIG. 8, for example.
  • the CPU 22, the R image Ri, and the G image Gi are subjected to a process of excluding unsuitable pixels such as dark part noise or residue.
  • the removal of the dark portion and the erasure can be easily removed using a threshold value set corresponding to the dark portion and the nodal portion. Residues can be removed by combining the color of the residue and determining the shape of the part.
  • the CPU 22 performs processing to divide into, for example, 8 ⁇ 8 small areas.
  • the CPU 22 performs a parameter m indicating the number of the divided small areas, and a small area.
  • the parameter j representing the number of pixels in is set to the initial value 1.
  • the CPU 22 calculates the chromaticity gjZrj of the j-th pixel.
  • gj is the luminance level of the jth pixel in the (mth) small region of the G image Gi
  • rj is the luminance level of the jth pixel in the (mth) small region of the R image Ri
  • the CPU 22 determines whether j is the last pixel number jend in the small area. If this is not the case, CPU 22 increments j by 1 in step S36, and then returns to step S34 to repeat the same processing.
  • step S37 After calculating the chromaticity gjZrj up to the last pixel number jend in the mth small region, the process proceeds to step S37.
  • step S37 the CPU 22 determines that the chromaticity average value ⁇ grm of the m-th small area Is calculated. Then, in the next step S38, the CPU 22 determines whether or not the small area number m force is the last number mend. If this is not the case, in step S39, the CPU 22 increases m by one, then returns to step S34, and repeats the processing of steps S34 to S39.
  • step S40 the CPU 22 determines the chromaticity average value / z gr and standard deviation a of all the small regions. Calculate gr.
  • step S41 the CPU 22 considers that the chromaticity average value / z grm of the small area is normally distributed, and the chromaticity average value / z grm is chromaticity of all the small areas. Judgment is made as to whether or not it is within the range of 1.5 x a gr from the average value / z gr distribution position.
  • step S42 the CPU 22 detects (determines) that the small area is not a small area of reddish and faint color change.
  • step S43 the CPU 22 detects it as a small region of reddish or fading color tone change.
  • the detection (judgment) result is stored in the information storage unit 25 (see FIG. 1) or the like together with the small area number m or the two-dimensional position information of the small area. Then, information of the detection result is used in the determination in step S9 of FIG. 5 described below.
  • step S41 to S43 in FIG. 8 is performed from 1 to mend by changing the small area number m.
  • step S42 or S43 is performed on all the small areas to be processed in this way.
  • the process proceeds to the processing of step S7 or step S8 in FIG. [0061]
  • bjZgj may be added as the chromaticity described in the example using chromaticity gjZrj. In this case, it is possible to cope with detection of a yellowish mucous membrane.
  • step S7 a change is made so as to detect the depressed change area instead of the process of detecting the raised change area, and step S9 may be similarly changed. .
  • Embodiment 2 of the present invention will be described with reference to FIGS.
  • the detection of the bulging change region is applied from the three-dimensional information (shape information) calculated based on the change in brightness, and the polyp is detected as the bulging lesion.
  • Polyps may be accompanied by abnormal findings in the peripheral mucosa. Conversely, if abnormal findings are seen in the mucosa, the possibility of polyps is increasing. Mucosal Abnormal findings include, for example, vitiligo as shown in Fig. 9A and abnormal blood vessel growth as shown in Fig. 9B.
  • a detection criterion with a relaxed detection condition is applied to a raised change region with abnormal findings in the peripheral mucous membrane as compared with a case without abnormal findings.
  • the CPU 22 in the image processing apparatus 3 has a processing function shown in FIG. That is, in place of the color tone change area detection function 22b shown in FIG. 4 in the first embodiment, an abnormal finding area detection function 22f is provided. This abnormal finding area is detected (determined) by the mucosal property finding determination process as described below.
  • Steps S1 to S5 in the process of the flowchart shown in FIG. 11 are the same as steps S1 to S5 in the process of the flowchart of FIG.
  • the CPU 22 determines the region power / failure power in which the region having the characteristic mucosal findings is abnormal in the endoscopic image Ii! I do.
  • the R image Ri and the G image Gi are used.
  • detection of abnormal findings such as vitiligo and abnormal vascular hyperplasia is performed by applying a series of processes described later. .
  • step S7 in Fig. 5 the raised change region is detected based on the three-dimensional shape information calculated in step S4.
  • step S10 the CPU 22 applies the polyp detection process based on the detection criterion 1.
  • step S11 the CPU 22 applies polyp detection processing based on detection criterion 2. After steps S10 and S11, the process returns to step S2 via step S12.
  • the polyp detection process is performed by detection using Shape IndexSI or using a threshold value of CurvednessCV.
  • step S51 in FIG. 11 in the present embodiment The process of determining the mucosal property finding in step S51 in FIG. 11 in the present embodiment will be described with reference to the flowcharts in FIGS.
  • the CPU 22 performs processing for excluding inappropriate pixels such as dark portion noise and residue.
  • the CPU 22 calculates the chromaticity gjZrj of each pixel.
  • the subscript j represents a pixel number.
  • Vth a threshold value
  • steps S67 and S68 are used for the determination of step S52. In other words, it is used as the presence or absence of abnormal findings depending on the presence or absence of vitiligo detection.
  • step S51 the abnormal finding detection process due to abnormal blood vessel growth shown in Fig. 13 described below is performed.
  • the abnormal finding detection process due to abnormal blood vessel growth In order to detect abnormal blood vessel growth, local thick blood vessels and small complex branches are detected from the endoscopic image ⁇ .
  • step S71 From the first step S71 to step S74, substantially the same processing as in Fig. 12 is performed. That is, in step S71, the CPU 22 performs processing for excluding inappropriate pixels such as dark portions and halation and residues, and in the next step S72, calculates the chromaticity gjZrj of each pixel. In the next step S73, the CPU 22 performs binarization processing by threshold processing. In this case, binarization is performed using a threshold Vth different from the case of Fig. 12.
  • a labeling process is performed.
  • a fine line image is created as a labeling image.
  • the feature amount detection process is not performed using the number of branches or intersections, but the degree of expansion or the like.
  • the number of extension degrees exceeding a threshold value may be detected, and abnormal blood vessel growth detection (discrimination) may be performed depending on whether the number exceeds the threshold value for abnormal blood vessel growth detection.
  • step S52 The detection result obtained by the process in FIG. 13 is used for the determination in step S52.
  • the CPU 22 corresponds to the bulged change area detected in step S7 as the mucosal findings with the force accompanied by the detection of vitiligo according to FIG. 12 or the detection of abnormal blood vessel growth according to FIG. It is determined whether or not the power to do.
  • step S52 After the result of the determination process in step S52, the same process as in the case of the first embodiment shown in FIG. 5 is performed.
  • step S52 determines whether the determination process in step S52 does not involve an abnormal finding
  • CPU 22 performs polyp detection in step S10 by applying detection criterion 1
  • step S11 the CPU 22 performs polyp detection by applying detection criterion 2. Then, after the processing of steps S10 and S11, the image parameter i is increased by one and the same processing is performed on the next endoscopic image Ii.
  • the detection criterion 1 and the detection criterion 2 are performed by using detection by Shape IndexSI or using a threshold value of CurvednessCV.
  • whether or not a lesion candidate is a lesion is detected based on whether or not there is a region where both are correlated. Also good. For example, in order to respond to a request that only a region that is considered to be sufficiently likely to be a lesion is detected, it is detected as a lesion candidate when there is a correlation that can be detected as a lesion candidate in both. As a result, the accuracy of detection of the lesioned portion can be increased.
  • the length, area, or curvature of the edge detected as a lesion candidate is used as a detection criterion, and the detection criterion is determined based on abnormal findings in the lesion or the surrounding area. It is also possible to change.
  • the present invention is not limited to this.
  • a discriminator that uses a known linear discriminant function, and there are abnormal findings, by controlling the weighting for the value obtained by applying the linear discriminant function in each shape, the convex shape etc. This makes it possible to control such that it is easy to detect.
  • the luminance information power in a medical image having color information such as an endoscopic image is also detected in a lesion candidate region such as a polyp, and has characteristics associated with the lesion.
  • a lesion candidate region such as a polyp
  • Highly accurate lesion detection by detecting associated areas with color tone changes such as reddening and fading tones and changing the detection criteria for detecting lesions from candidate lesion areas according to the detection results of the associated areas Have industrial applicability that can be performed.
  • a lesion candidate region detecting means for detecting a lesion candidate region based on at least one color signal in a medical image having a plurality of color signal powers, and an associated region that occurs with a property associated with the lesion from the medical image.
  • a medical image processing apparatus comprising: an associated region detecting unit; and a detection criterion changing unit configured to change a detection criterion for detecting the lesion candidate region force lesion according to a detection result of the associated region.
  • the detection criterion changing means changes, as the detection criterion, a threshold value of at least one of a shape index and a curvedness of a feature amount representing a curved surface shape in the generated three-dimensional shape information.
  • At least one color signal power in a medical image having a plurality of color signal powers A lesion candidate area detecting means for detecting a lesion candidate area, and an accompanying area for detecting an accompanying area that occurs in a property associated with the medical image power lesion
  • a lesion detection is performed based on the presence or absence of a region in which a region detection unit, a lesion candidate region detected by the lesion candidate region detection unit, and an associated region detected by the accompanying region detection unit are correlated.
  • Image processing equipment is performed based on the presence or absence of a region in which a region detection unit, a lesion candidate region detected by the lesion candidate region detection unit, and an associated region detected by the accompanying region detection unit are correlated.
  • a detection criterion changing step of changing a detection criterion for detecting the lesion candidate region force lesion according to the detection result of presence / absence of the accompanying region Medical image processing method.
  • the supplementary note 3 is characterized in that as the detection reference, at least one of a shape index and a curvedness of a feature amount representing a curved surface shape in the generated three-dimensional shape information or a threshold value of a height from the reference surface is changed. Medical image processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　画像処理装置３は、内視鏡６により撮像された内視鏡画像のＲ成分画像からその輝度情報を利用して３次元形状と３次元形状の曲面の特徴量の情報とを算出する。また、画像処理装置３は、Ｒ，Ｇの両画像成分から発赤・褪色調の色調変化領域を検出し、その検出結果に応じて３次元形状の曲面における隆起性変化領域から隆起性病変としてのポリープを検出する場合の閾値としての検出基準の値を変更して、精度の高いポリープ検出を行うようにしている。

Description

明 細 書
医療用画像処理装置及び医療用画像処理方法
技術分野
[0001] 本発明は、医療用画像から病変部候補領域を検出し、ポリープ等の病変を検出す るのに適した医療用画像処理装置及び医療用画像処理方法に関する。
背景技術
[0002] 近年、内視鏡は、例えば医療用分野における検診や診断等において広く用いられ るよつになった。
この場合、術者は、内視鏡の挿入部を患者の大腸等の体腔内に挿入して、挿入部 の先端部に設けた撮像手段により体腔内を撮像し、モニタに表示される内視鏡画像 を観察してポリープ等の病変部の検診や診断等の内視鏡検査を行う。このような場 合、術者は患者に与える苦痛を少なぐかつ円滑に内視鏡検査を行うことが望まれる ため、術者の負担が大きくなる。
[0003] このため、例えば第 1の従来例としての特開 2004— 180932号公報には、 X線 CT 装置等による第 1の画像診断装置と、 X線 TV装置等の第 2の画像診断装置によりそ れぞれ同一関心領域に対する病変候補を検出し、これら 2つの検出結果を相互に比 較対象して検出結果を合成して術者に提示することにより、術者の見落としを防ぐこ とができるようにしている。
[0004] また、第 2の従来例としての特開 2005— 192880号公報においては、内視鏡画像 から病変候補領域を色調情報から検出する画像処理方法が開示されている。
[0005] し力しながら、上記第 1の従来例は、大腸等の体腔内を撮像した内視鏡画像からポ リーブ等の病変をスクリーニングする場合や診断するような場合には適用し難い。ま た、 X線 CTによる画像では明確な半球状の隆起所見が無い場合には検出が困難で ある。
内視鏡画像の場合のよう光学的に体腔内を観察した画像においては、色情報も得 られるため、色情報も病変検出等に利用できることが望ましい。
一方、第 2の従来例は、色情報及び輪郭情報を利用して、出血 ·発赤及び隆起 '陥 凹等を検出するようにしている。しかし、この第 2の従来例は、ポリープに生じる発赤' 褪色調の色調変化の性状を付随的に呈する領域やポリープの周辺粘膜に生じる異 常所見領域等の性状を付随的に呈する領域の情報を有効に利用して 、な 、。この ため、これらの領域の情報を有効に利用して、病変をより精度良く若しくは高い信頼 性で検出できることが望まれる。
また、 2次元画像から 3次元の形状画像を生成して、より信頼度を向上した病変検 出ができることが望まれる。
[0006] 本発明は上述した点に鑑みてなされたもので、内視鏡画像のように色情報を有す る医療用画像力 ポリープ等の病変を精度良く検出することができる医療用画像処 理装置及び医療用画像処理方法を提供することを目的とする。
また、本発明は、 3次元の形状画像を利用して、より信頼度を向上した病変検出が できる医療用画像処理装置及び医療用画像処理方法を提供することを目的とする。 発明の開示
課題を解決するための手段
[0007] 本発明による第 1の医療用画像処理装置は、複数の色信号からなる医療用画像に おける少なくとも 1つの色信号に基づき病変候補領域を検出する病変候補領域検出 手段と、前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出 する付随領域検出手段と、前記付随領域の検出結果に応じて前記病変候補領域か ら病変を検出する際の検出基準を変更する検出基準変更手段とを具備したことを特 徴とする。
[0008] また、本発明による第 2の医療用画像処理装置は、複数の色信号からなる医療用 画像における少なくとも 1つの色信号から病変候補領域を検出する病変候補領域検 出手段と、前記医療用画像から病変に伴い付随した性状で発生する付随領域を検 出する付随領域検出手段と、前記病変候補領域検出手段により検出された病変候 補領域と、前記付随領域検出手段により検出された付随領域とが相関する領域の有 無により病変検出を行うことを特徴とする。
[0009] 更に、本発明による医療用画像処理方法は、複数の色信号力 なる医療用画像に おける少なくとも 1つの色信号に基づき病変候補領域を検出する病変候補領域検出 ステップと、前記医療用画像力 病変に伴い付随した性状で発生する付随領域の有 無を検出する付随領域検出ステップと、前記付随領域の有無の検出結果に応じて前 記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更ステツ プとを具備したことを特徴とする。
図面の簡単な説明
[図 1]本発明の実施例 1に係る、内視鏡システムの構成を示すブロック図である。
[図 2]本発明の実施例 1に係る、大腸のような管状部位内に挿入された内視鏡により 撮像する様子を示す図である。
[図 3A]図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図 である。
[図 3B]図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図 である。
[図 4]本発明の実施例 1に係る、 CPUによる画像処理機能を示すブロック図である。
[図 5]本発明の実施例 1の画像処理により隆起性病変としてのポリープを検出する処 理を示すフローチャートである。
[図 6]図 5のステップ S4の 3次元形状情報算出の処理を示すフローチャートである。
[図 7]図 6のステップ S12により算出される Shape Index SIの値による曲面形状を示 す図である。
[図 8]図 5のステップ S6の処理内容を示すフローチャートである。
[図 9A]本発明の実施例 2に係る、内視鏡に設けられた撮像装置により撮像された内 視鏡画像例を示す図である。
[図 9B]本発明の実施例 2に係る、内視鏡に設けられた撮像装置により撮像された内 視鏡画像例を示す図である。
[図 10]本発明の実施例 2に係る、 CPUによる画像処理機能を示すブロック図である。
[図 11]本発明の実施例 2の画像処理により隆起性病変としてのポリープを検出する 処理を示すフローチャートである。
[図 12]図 11のステップ S51における粘膜性状情報判定の処理内容を示すフローチ ヤートである。 [図 13]図 11のステップ S51における異常血管増成判定の処理内容を示すフローチ ヤートである。
発明を実施するための最良の形態
[0011] 以下、図面を参照して本発明の実施例を説明する。
(実施例 1)
図 1〜図 8は本発明の実施例 1に係り、図 1は内視鏡システムの構成を示すブロック 図、図 2は大腸のような管状部位内に挿入された内視鏡により撮像する様子を示す 図、図 3Aは図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を 示す図、図 3Bは図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像 例を示す図、図 4は CPUによる画像処理機能を示すブロック図、図 5は画像処理に より隆起性病変としてのポリープを検出する処理を示すフローチャート、図 6は図 5の ステップ S4の 3次元形状情報算出の処理を示すフローチャート、図 7は図 6のステツ プ S12により算出される Shape Index SIの値による曲面形状を示す図、図 8は図 5の ステップ S6の処理内容を示すフローチャートである。
[0012] 図 1に示す内視鏡システム 1は、内視鏡観察装置 2と、この内視鏡観察装置 2により 得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成さ れる内視鏡画像処理装置（以下、単に画像処理装置と略記） 3と、この画像処理装置 3により画像処理された画像を表示する表示モニタ 4とから構成される。
[0013] 内視鏡観察装置 2は、体腔内に挿入される内視鏡 6と、この内視鏡 6に照明光を供 給する光源装置 7と、内視鏡 6の撮像手段に対する信号処理を行うカメラコントロール ユニット（CCUと略記） 8と、この CCU8から出力される映像信号が入力されることによ り、撮像素子で撮影した内視鏡画像を表示するモニタ 9とを有する。
[0014] 内視鏡 6は、体腔内に挿入される挿入部 11と、この挿入部 11の後端に設けられた 操作部 12とを有する。また、挿入部 11内には照明光を伝送するライトガイド 13が挿 通されている。
[0015] このライトガイド 13の後端は、光源装置 7に接続される。そして、この光源装置 7から 供給される照明光をライトガイド 13により転送し、挿入部 11の先端部 14に設けた照 明窓に取り付けられた先端面から (伝送した照明光を）出射し、患部等の被写体を照 明する。
[0016] 照明窓に隣接する観察窓に取り付けた対物レンズ 15と、この対物レンズ 15の結像 位置に配置された固体撮像素子としての例えば電荷結合素子 (CCDと略記） 16とに よる撮像装置 17が設けてある。そして、この CCD 16の撮像面に結蔵された光学像 は、この CCD16により光電変換される。
[0017] この CCD16は、信号線を介して CCU8と接続され、この CCU8力 CCD駆動信号 が印加されることにより、 CCD16は光電変換した画像信号を出力する。この画像信 号は、 CCU8内の映像処理回路により信号処理され、映像信号に変換される。この 映像信号はモニタ 9に出力され、モニタ 9の表示面には、内視鏡画像が表示される。 この映像信号は、画像処理装置 3にも入力される。
[0018] この画像処理装置 3は、内視鏡観察装置 2から入力される内視鏡画像に対応する 映像信号が入力される画像入力部 21と、この画像入力部 21から入力された画像デ ータに対する画像処理を行う中央演算処理装置としての CPU22と、この CPU22〖こ より画像処理を実行させる処理プログラム (制御プログラム）を記憶する処理プロダラ ム記憶部 23とを有する。
[0019] また、この画像処理装置 3は、画像入力部 21から入力される画像データ等を記憶 する画像記憶部 24と、 CPU22により処理された情報等を記憶する情報記憶部 25と 、 CPU22により処理された画像データ及び情報等を記憶装置インターフェース 26を 介して記憶する記憶装置としてのハードディスク 27と、 CPU22により処理された画像 データ等を表示するための表示処理を行う表示処理部 28と、ユーザが画像処理の ノ ラメータ等のデータ入力や指示操作を行うキーボード等力もなる入力操作部 29と を有する。
[0020] そして、この表示処理部 28により生成された映像信号は、表示モニタ 4に表示され 、この表示モニタ 4の表示面には画像処理された処理画像が表示される。なお、画像 入力部 21、 CPU22、処理プログラム記憶部 23、画像記憶部 24、情報記憶部 25、 記憶装置インターフェース 26、表示処理部 28、入力操作部 29は、データバス 30を 介して互!、に接続されて!、る。
[0021] 本実施例においては、図 2に示すように、例えば大腸 31のような管状部位 (管状器 官）に直視型の内視鏡 6の挿入部 11が挿入され、撮像装置 17により撮像される。
[0022] 図 3A及び図 3Bは、内視鏡 6によって撮像された隆起性病変としてのポリープを有 する 2次元の内視鏡画像例を示して!/、る。
[0023] 図 3Aでは、発赤調部 32を伴ったポリープを有する内視鏡画像を示す。なお、ポリ 一プの頂部は、白色調の褪色部 33となっている。
また、図 3Bは、図 3Aの場合よりも広い領域で白色調の褪色部 33が伴ったポリープ を有する内視鏡画像を示す。
[0024] このように隆起性病変としてのポリープにおいては、発赤調や白色調 (褪色調）の色 調変化が付随した性状で発生する場合がしばしばある。本実施例では、このような色 調変化を呈する色調変化領域を付随領域としてその有無を検出若しくは判定する。 そして、このような色調変化領域の検出結果に応じて、その後に行うポリープ検出若 しくは判定を行う際の検出基準を変更 (或いは制御）、より具体的には検出基準の閾 値を変更する。
[0025] また、本実施例においては、上記ポリープ検出を精度良く行うために、撮像された 2 次元の内視鏡画像から検査対象部位 (例えば管腔形状の内面)の 3次元形状を推定 する。そして、推定された 3次元形状の情報を用いて、ポリープ候補としての隆起性 変化領域を検出する。
[0026] そして、検出された隆起性変化領域に対応する部分 (その周辺部を含む）に対して
、上記色調変化を伴う付随領域の検出結果に応じて、ポリープ検出を行う検出基準 の閾値を変更設定する。
[0027] 具体的には、色調変化を伴う場合には、隆起性変化によりポリープ検出を行う際に 適用する検出基準としては、色調変化を伴わない場合よりも、検出条件を緩和した検 出基準を適用する。
[0028] 後述するように図 5に示す方法でポリープ検出を行う例では、色調変化を伴わない 場合には検出基準 1、色調変化を伴う場合には、検出基準 1よりも検出条件を緩和し た検出基準 2をそれぞれ閾値として隆起性変化によりポリープ検出 (判定)を行うこと になる。
[0029] このようにして、画像処理でポリープ検出を行うことにより、精度良く（或いは高い信 頼性で)ポリープ検出結果を得られるようにしている。
[0030] 図 4は、本実施例の画像処理装置 3内の CPU22による行う画像処理機能を示す。
CPU22は、撮像され内視鏡画像のデータ力も明暗情報 (或いは輝度情報）に基づ V、て、隆起性の病変候補領域としての隆起性変化領域を検出する病変候補領域検 出手段としての隆起性変化領域検出機能 22aと、内視鏡画像の複数の色信号から 色調変化領域を検出する付随領域検出手段としての色調変化領域検出機能 22bと 、検出される隆起性変化領域に対して、隆起性病変としてのポリープ検出を行うポリ ープ検出機能 22dと、このポリープ検出を行う際に色調変化領域が伴うか否かによつ て、ポリープ検出基準を変更設定する検出基準変更手段としての検出基準の設定 機能 22cとを有する。
[0031] また、この CPU22は、隆起性変化領域検出機能 22aにより、隆起性変化領域を検 出する場合、 2次元の内視鏡画像の輝度情報を、その形状を推定する形状情報とし て用いることにより、 3次元形状情報を生成する 3次元形状情報生成機能 22eを有す る。
[0032] 次に本実施例による内視鏡画像力もポリープ検出を行うまでの動作を説明する。
本実施例においては、図 4に示した各機能をソフトウェアにより実現している。つまり
、 CPU22は、処理プログラム記憶部 23に記憶 (格納）された処理プログラムを読み 出し、 CPU22はこの処理プログラムに従って処理を行うことにより、図 5に示すポリ一 プ検出の画像処理を実行する。
[0033] 図 1に示す内視鏡観察装置 2及び画像処理装置 3の電源が投入されると、内視鏡 6 の撮像装置 17で撮像され、 CCU8で信号処理された内視鏡画像 (の映像信号）がモ ユタ 9で表示されると共に、画像処理装置 3にも画像入力部 21を経て入力される。
[0034] そして、術者力 図示しないキーボード等の画像処理開始キー等を操作することに より、その指示信号が CPU22に送られ、 CPU22は図 5のポリープ検出を行うための 画像処理を開始する。
[0035] 最初のステップ S1において CPU22は、内視鏡画像 Iの番号を示すパラメータ iを初 期値 i= lに設定し、次のステップ S2において例えば図 1のハードディスク 27或いは 画像記憶部 24に順次格納される i番目の RGB信号カゝらなる内視鏡画像 Iiを取り込む [0036] 本実施例における一連の処理は動画像として連続して入力される各フレームの内 視鏡画像 Iiについて適用されるものとする。この場合に限定されるものでなぐ例えば 数フレームおきの内視鏡画像に対して図 5の画像処理を行うようにしても良い。また、 ハードディスク 27その他にフアイリングされた内視鏡画像に対して図 5の画像処理を 行うようにしても良い。
ステップ S2の後、ステップ S3において CPU22は、内視鏡画像 Iiにおける R信号成 分 (R画像と略記) Riを抽出し、次のステップ S4において CPU22は、 R画像 Riの 3次 元形状情報を明暗変化 (輝度情報の変化）に基づき算出 (生成)する。本実施例では 、 CPU22は、 R画像 Riを用いて 3次元形状情報を算出するようにしている力 この他 に例えば輝度信号成分の画像を用いて算出しても良い。
[0037] 2次元の R画像 Riから 3次元形状情報を算出する処理方法を図 6に示す。
2次元の画像から 3次元形状情報を算出するために、図 6のステップ S21に示すよう に CPU22は 3次元形状を推定 (生成)する。
[0038] 3次元形状を生成する方法としては、例えば Shape from Shadingがある。この S hape from Shadingによる 3次元形状の生成方法は、照明光源からの照明光で 照明された対象部位の反射光の強度が、その面の傾き状態で変化し、その変化が 伴った反射光で撮像された内視鏡画に反映されることを利用したものであり、例えば 、「コンピュータビジョン，投影中心に点光源がある場合の Shape— from— Shading 内視鏡形状からの 3次元形状復元 岡谷、出口： pp. 19- 26, 1996」にこの方 法が記載されている。また、他の 2次元の内視鏡画像から推定された 3次元形状を算 出 (生成)する方法を利用しても良 、。
[0039] そして、次のステップ S22において CPU22は、算出された 3次元形状の各曲面に おいて、曲面形状を表す特徴量である Shape IndexSI及び CurvednessCVを算出す る。 Shape IndexSI及び CurvednessCVは、以下のようにして算出される。
[0040] CPU22は、算出された 3次元形状に対して、注目する 3次元位置 (x、 y、 z)を含む 局所領域（曲面）におけるその R画素値 fにおける 1階偏微分係数 fx、 fy、 fz、及び 2 階偏微分係数 f xx, fyy, fzz, fxy, fyz, fxzを算出する。 [0041] これらの係数を用いて、 CPU22は、「電子情報通信学会、信学技報 (MI2003-102) ,形状情報に基づく 3次元腹部 CT像力 の大腸ポリープ自動検出手法に関する検 討 木村、林、北坂、森、末長 PP. 29- 34, 2004」中に記載されているようにガウ ス曲率 K,平均曲率 Hを算出する。
一方、曲面の主曲率 kl, k2 (kl≥k2)は、ガウス曲率 Kと、平均曲率 Hを用いて、 kl =H+ (H2-K) 1 2 k2 = H- (H2— K) 1 2 (1)
と表される。
[0042] また、この場合における曲面形状を表す特徴量である Shape IndexSI及び Curvedne ssCVは、それぞれ、
SI= lZ2—(lZ u ) arc tan[ (kl +k2)Z(kl—k2) ] (2)
CV= ( (kl2+k22) /2) 1/2 (3)
となる。
[0043] CPU22は、このようにして、 3次元の各曲面における Shape IndexSI及び Curvednes sCVを 3次元形状情報として算出する。
[0044] Shape IndexSIは、図 7に示すように曲面形状を 0から 1までの値を持つ指標で表す
。この場合、 Shape IndexSIが 0の場合には、曲面形状は凹型となり、 1の場合は凸型 となる。つまり、この Shape IndexSIの値が 1に近い値程、凸型の隆起形状の特徴を有 する。
[0045] 従って、 Shape IndexSIの値を 1に近い閾値として検出基準を設定し、この閾値より も大きな ShapelndexSIの値を持つ領域を検出することにより、隆起性病変としてのポリ ープを画像処理上で客観的に検出することが可能になる。なお、後述する図 5のステ ップ S10に用いる検出基準 1では、 Shape IndexSIの閾値として（SI = ) 0. 9に、ステツ プ S11における検出基準 2では Shape IndexSIの閾値として（SI = ) 0. 8に設定して 行う。
[0046] また、 CurvednessCVは、曲率半径の逆数を表し、対象曲面の凸型の領域の大きさ を限定するような場合に利用される。このようにして、図 5におけるステップ S4の処理 が行われる。
[0047] そして、本実施例においては、以下に説明するように隆起性病変としてのポリープ 検出の画像処理を行う場合、 CPU22は、検出基準 1と検出基準 2とを用いて行う。
[0048] 一方、図 5のステップ S5において CPU22は、内視鏡画像 Iiにおける R画像 Riと、 内視鏡画像 Πにおける G信号成分 (G画像 Giと略記）を抽出する。そして、次のステツ プ S6において CPU22は、発赤 '褪色調の色調変化を示す色調変化領域の検出を 行う。
[0049] ステップ S6における色調変化領域の検出処理は，例えば図 8に示すように行う。最 初のステップ S31にお!/、て CPU22、 R画像 Ri及び G画像 Giに対して暗部'ノヽレーシ ヨンあるいは残渣等の不適画素を除外する処理を行う。暗部'ノ、レーシヨンの除去は 、暗部及びノヽレーシヨンに対応して設定した閾値を用いて簡単に除去することができ る。また、残渣は、残渣の色調及びその部分の形状判定等とを組み合わせて除去す ることがでさる。
[0050] 次のステップ S32において CPU22は、例えば 8 X 8の小領域に分割する処理を行 そして、次のステップ S33において CPU22は、分割された小領域の番号を表すパ ラメータ mと、小領域内の画素の番号を表すパラメータ jとを初期値 1に設定する。な お、小領域の番号付けを行う場合、ステップ S31の処理により、除外された画素が、 その小領域内である割合、例えば 50%を超えた場合には、その小領域は処理対象 力 除外する (mの番号に割り付けない)。つまり、小領域に対しても、不適当な小領 域は、処理対象から除外する。
[0051] 次のステップ S34において CPU22は、 j番目の画素の色度 gjZrj算出する。ここで 、 gjは、 G画像 Giの（m番目の）小領域内の j番目の画素の輝度レベル、 rjは R画像 Ri の（m番目の）小領域内の j番目の画素の輝度レベルを表す。そして、次のステップ S 35において CPU22は、 jが小領域内の最後の画素番号 jendか否かの判定を行う。 これに該当しない場合には、ステップ S36において CPU22は jを 1つ増大させた後、 ステップ S34に戻り、同様の処理を繰り返す。
[0052] このようにして、 m番目の小領域内の最後の画素番号 jendまで色度 gjZrjを算出し た後、ステップ S37に進む。
[0053] このステップ S37にお!/、て、 CPU22は、その m番目の小領域の色度平均値 μ grm を算出する。そして、次のステップ S38において、 CPU22は、小領域の番号 m力 最 後の番号 mendか否かの判定を行う。これに該当しない場合には、ステップ S39にお いて、 CPU22は、 mを 1つ増大させた後、ステップ S34に戻り、ステップ S34〜S39 の処理を繰り返す。
[0054] このようにして、 mが最後の番号 mendに一致した場合には、ステップ S40に進み、 このステップ S40において、 CPU22は、全ての小領域の色度平均値/ z gr及び標準 偏差 a grの算出を行う。
[0055] そして、次のステップ S41において CPU22は、ステップ S37において算出された m 番目の小領域の色度平均値/ z grmが、全ての小領域の場合の色度平均値/ z gr、及 び標準偏差 σ grを用いて、発赤及び褪色調の色調変化の小領域力否かの判定を行
[0056] 具体的には、ステップ S41に示すように CPU22は、小領域の色度平均値/ z grmが 、正規分布すると見なし、その色度平均値/ z grmが全ての小領域の色度平均値/ z gr の分布位置から士（1.5 X a gr)の範囲内にあるか否かの判定を行う。
ステップ S41の判定条件を満たす場合には、ステップ S42に示すように CPU22は 、その小領域は発赤及び褪色調の色調変化の小領域でな 、と検出 (判定)する。
[0057] 一方、ステップ S41の条件力 逸脱する場合には、ステップ S43に示すように CPU 22は、発赤又は褪色調の色調変化の小領域として検出する。
[0058] より具体的には、色度平均値/ z grmが色度平均値/ z grの分布位置から 1.5 X σ g rより外側に外れた場合に対しては発赤、また色度平均値/ z grmが色度平均値/ z gr の分布位置から + 1.5 X σ grより外側に外れた場合に対しては褪色調の色調変化の 小領域として検出 (判定)する。
[0059] 検出（判定)の結果は、小領域の番号 m或いは小領域の 2次元位置の情報とともに 情報記憶部 25 (図 1参照）等に記憶される。そして、以下に説明する図 5のステップ S 9の判定において、その検出結果の情報が利用される。
[0060] なお、図 8におけるステップ S41から S43までの処理は、小領域の番号 mを変えて 、 1から mendまで行う。このようにして処理対象の全ての小領域に対してステップ S4 2若しくは S43の処理を行った後、図 5のステップ S7又はステップ S8の処理に進む。 [0061] なお、上述の説明では、色度 gjZrjを用いた例で説明した力 色度として bjZgjを 加えてもよい。この場合には、黄色調粘膜の検出に対応することができる。
[0062] また、図 8の処理にぉ 、て、色度平均値 μ grmと μ grの比 μ rate= μ grm/ μ gr に基づき，例えば /ζ ΪΘ< 0.5なら発赤調， rate> 1.5なら褪色調として検出するよう にしてもよい。
[0063] 続いて、図 5のステップ S7において CPU22は、ステップ S4で算出された 3次元形 状情報に基づき、隆起性変化領域の検出の処理を行う。例えば、上述した Shape Ind exSIの値が 0. 8以上の小領域の部分を検出する。
[0064] さらに、ステップ S8において、 CPU22は、ステップ S4による 3次元形状情報及びス テツプ S6による色調変化領域検出の情報の対応付けを行うことにより、ステップ S6で 検出された色調変化領域に含まれる各画素或いはその小領域が 3次元形状上のど の位置に相当するかを特定する。
[0065] 次のステップ S9において CPU22は、ステップ S7及び S8による各結果に基づく判 定処理を行う。具体的には CPU22は、ステップ S7において検出した 3次元形状上 の隆起性変化領域が、ステップ S8において特定された色調変化領域に該当するか 否かを判定する。
[0066] そして、ステップ S9における判定結果が NO,すなわち色調変化を伴わない隆起 性変化であれば、ステップ S10において CPU22は、検出基準 1によるポリープ検出 処理を適用する。
[0067] 一方、ステップ S9における判定結果が YES、すなわち色調変化を伴う隆起性変化 であれば、ステップ S11において CPU22は、検出基準 2によるポリープ検出処理を 適用する。
[0068] このように本実施例では、ステップ S10及び S11に示すようにステップ S9による判 定結果に応じて、ポリープ検出を行う検出基準或いは評価基準を変更して行う。この 場合、色調変化が検出された場合には、その領域及びその領域周辺部はポリープ の可能性が高いので、隆起性変化の特徴を有する部分を、色調変化が検出されな い場合よりも検出条件を緩和して検出することにより、精度良くポリープ或いはポリ一 プ候補を検出する。 [0069] また、ポリープ検出処理は種々のものが適用可能であるが、本実施例においては 上述した Shape IndexSIによる検出基準を採用する。
隆起性病変としてのポリープを示す凸型 (或いはカップ)形状を検出するための Sha pe IndexSIの閾値として検出基準 1を（SI = ) 0. 9に、検出基準 2は（SI = ) 0. 8に設 定する（なお、上述のように 1に近いほど凸型形状となる）。そして、ステップ S10或い は S11において CPU22は、検出基準の 0. 9或いは 0. 8の Shape IndexSIと比較し、 その値よりも大きい場合に小領域がポリープと検出 (判定)する。
[0070] この場合、例えば CurvednessCVは、検出基準 1及び 2のいずれにおいても（CV=
) 0. 2を閾値として、この値より大きい場合にポリープとして検出（判定)する。
[0071] なお、上記説明では色調変化を伴う場合と、伴わない場合とで検出基準として、 Sha pe IndexSIの値を変更している力 以下のように CurvednessCVの値を変えて検出基 準を変更するようにしても良 、。
つまり、検出基準 1として Shape IndexSIの閾値を 0. 9及び CurvednessCVの閾値を
0. 20とし、検出基準 2として Shape IndexSIの閾値を 0. 9及び CurvednessCVの閾値 を 0. 15にするようにしても良い。
[0072] また、検出基準 1に対して検出基準 2の場合には、 Shape IndexSIの閾値と Curvedn essCVの閾値を下げるように変更しても良!、。
[0073] 例えば、検出基準 1として Shape IndexSIの閾値を 0. 9及び CurvednessCVの閾値 を 0. 20とし、検出基準 2として Shape IndexSIの閾値を 0. 85及び CurvednessCVの 閾値を 0. 15にするようにしても良い。
[0074] このようにしてステップ S 10或いはステップ S 11において CPU22は、検出基準 1或 いは 2を閾値に設定して、隆起性変化領域における Shape IndexSIの値によりポリ一 プ検出の処理を行う。
[0075] そして、その検出結果を、例えば図 1のハードディスク 27に検出対象の内視鏡画像 Iiと関連付けて格納すると共に、表示処理部 28を経て表示モニタ 4に、例えば検出 対象の内視鏡画像 Iiと並べて表示する。
[0076] そして、図 5のステップ S12において CPU22は iを 1つ大きくして次の内視鏡画像 Ii に対して同様の処理を行う。 [0077] このような画像処理を行う本実施例によれば、ポリープの場合に付随的に発生する 色調変化の特徴量に対応した色調変化情報を参照することで検出基準の値若しく は条件値を変更 (制御)することが可能となり、検出対象がポリープか否かの検出精 度 (若しくは検出の信頼性)を向上することができる。つまり、一方のみの検出でポリ ープ検出を行う場合の画像処理の場合に比較して、両方の検出を組み合わせること によって、より精度の高いポリープ検出を可能とする。
[0078] なお、上述の説明では、曲面形状を表す特徴量である Shape IndexSI及び Curvedn essCVの閾値を用いてステップ S10或!、はステップ SI 1でポリープ検出処理を行う場 合を説明したが、隆起性変化領域における基準面力 の高さの情報に基づいて検 出を行うようにしても良い。
[0079] この場合には、検出基準 1の場合の高さの閾値を、 HIとした場合には、検出基準と すて HIより小さい閾値 H2に変更すれば良い。以上により、色調変化を伴う場合は、 ポリープ検出における検出条件を緩和するように変更 (制御)することにより，高精度 のポリープ検出が可能となる。
[0080] なお，本実施例においては病変検出の手段或いは方法として隆起性病変としての ポリープの場合で説明したが、本実施例はこれに限定されるものでなぐ陥凹性病変 に対しても適用可能であることは明らかである。
[0081] この場合には、例えば図 5において、ステップ S7において、隆起性変化領域検出 の処理の代わりに陥凹性変化領域を検出するように変更し、またステップ S9も同様 に変更すれば良い。
また、ステップ S10及びステップ S11における検出基準も、陥凹性病変の特徴量に 近い値に変更する。このようにすれば、陥凹性病変に対しても適用可能である。
[0082] (実施例 2)
次に、図 9〜図 13を参照して本発明の実施例 2を説明する。
本実施例においても，明暗変化に基づき算出される 3次元情報 (形状情報)から隆 起性変化領域の検出を適用し，隆起性病変としてのポリープ検出を行う。
[0083] ポリープは、周辺粘膜において異常所見をともなう場合がある。逆にいうと，粘膜に 異常所見が見られる場合にはポリープが発生している可能性も高まっている。粘膜の 異常所見としては，例えば図 9Aに示す白斑や、図 9Bに示す異常血管の増成があ げられる。
[0084] 本実施例では、この異常所見に着目し、粘膜表面に異常所見を呈する場合には、 形状情報によるポリープ検出の検出基準 (パラメータや閾値等)を変更することにより 、ポリープ検出の精度の向上を図ることを可能とする。
[0085] 具体的には，周辺粘膜に異常所見を伴う隆起性変化領域に対しては、異常所見を 伴わない場合よりも、検出条件を緩和した検出基準を適用する。
[0086] 本実施例における画像処理装置 3の構成は図 1と同様であり、処理内容が異なる。
本実施例では画像処理装置 3における CPU22は、図 10に示す処理機能を有する。 つまり、実施例 1における図 4で示した色調変化領域検出機能 22bの代わりに、異常 所見領域の検出機能 22fを有する。なお、この異常所見領域は、以下に説明するよう に粘膜性状所見判定の処理で検出 (判定)される。
[0087] 次に図 11を参照して、本実施例における画像処理によりポリープ検出の動作を説 明する。図 11に示すフローチャートの処理におけるステップ S1からステップ S5まで は、図 5のフローチャートの処理におけるステップ S1からステップ S5と同様であるた め、その説明を省略する。
[0088] ステップ S5において CPU22は、内視鏡画像 Iiにおける R画像 Riと、内視鏡画像 Ii における G画像 Giを抽出し、次のステップ S51において CPU22は、（異常所見領域 を検出する)粘膜性状所見判定の処理を行う。
[0089] この粘膜性状所見判定の処理にお!、て、 CPU22は、内視鏡画像 Iiにお!/、て特徴 的な粘膜性状所見を呈する領域が異常所見を呈する領域力否力の判定を行う。本 実施例では R画像 Ri及び G画像 Giを使用するものとして、上記のようにステップ S51 において、後述する一連の処理の適用により、白斑、異常血管増成等の異常所見領 域の検出を行う。
[0090] 続いて、図 5のステップ S7と同様に、ステップ S4で算出された 3次元形状の情報に 基づく隆起製変化領域の検出を行う。
[0091] 続いて、ステップ S52において CPU22は、ステップ S51及び S7による各検出結果 に基づく判定処理を行う。このステップ S52の判定処理により、異常所見がなければ ステップ S 10へ，異常所見があればステップ S 11に進む。
[0092] 実施例 1の場合と同様に、ステップ S10において CPU22は、検出基準 1によるポリ ープ検出処理を適用する。また、ステップ S11において CPU22は、検出基準 2によ るポリープ検出処理を適用する。そして、ステップ S10及び S11の処理の後、ステツ プ S 12を経てステップ S 2に戻る。
[0093] ポリープ検出処理は、種々のものが適用可能であり、例えば実施例 1の場合と同様 に Shape IndexSIによる検出や CurvednessCVの閾値を用いる等して行う。
[0094] 本実施例における図 11におけるステップ S51の粘膜性状所見判定の処理を図 12 及び図 13のフローチャートを参照して説明する。
[0095] 粘膜性状所見判定の処理として、本実施例では図 12に示す白斑の異常所見の検 出処理と、図 13に示す異常血管増成の異常所見の検出処理とを行う。まず、図 12 の白斑の異常所見の検出処理を説明する。
[0096] 最初のステップ S61において CPU22は、暗部'ノヽレーシヨン及び残渣等の不適画 素除外の処理を行う。次のステップ S62において CPU22は、各画素の色度 gjZrjの 算出を行う。ここで、添え字 jは、画素番号を表す。
[0097] 次のステップ S63において、 CPU22は、閾値処理による 2値化処理を行う。この場 合、例えば (色度の）閾値 Vthを 0. 8に設定し、この閾値 Vthを用いて gjZrj >0. 8 ならば それ以外、つまり gjZrj≤0. 8ならば 0とする 2値ィ匕を行い、 2値化された 2 値化画像を生成する。
[0098] 続くステップ S64において、 CPU22は、 2値化画像に対して 2値化の値が 1の画素 を追跡して、領域のラベル付けを行うラベリング処理を行い、 2値化画像からラベリン グ画像を生成する。
[0099] 次のステップ S65において、 CPU22は、ラベリング処理で生成されたラベリング画 像に対して、白斑の小塊検出処理を行う。つまり、ラベリング画像中に白斑による小 塊に対応するものが発生している力否かの白斑の小塊検出を行う。
[0100] 白斑の小塊検出を行う場合、例えば伸長度（=面積 Z細線ィ匕長）を用いる。そして ラベリング画像に対して伸長度の値 Eを検出し、その値 Eが (判定基準の）閾値 Vth ( 例えば Vth= 10)より小さいか否かを比較する。そして、 Eく Vth ( = 10)となる小塊 数 Nを算出する。
[0101] なお、伸長度でなぐ円形度やモーメント特徴量等を検出基準として小塊数 Nを算 出するようにしても良い。
次のステップ S66において、 CPU22は、ステップ S65で検出された小塊数 Nが白 斑検出の検出基準の閾値 Nth (例えば Hth= 20)より大きいか否かの判定を行う。そ して、この条件 N>Nthを満たす場合には、ステップ S67に示すように CPU22は、こ のラベリング画像 (G画像 Gi及び R画像 Ri)で、白斑検出と判定し、逆にこの条件を満 たさない場合には、ステップ S68において白斑検出無しと判定する。
[0102] ステップ S67、 S68の検出結果は、ステップ S52の判定に利用される。つまり、白斑 検出の有無により異常所見の有無として利用される。
[0103] また、ステップ S51の粘膜性状所見判定の処理として、次に説明する図 13の異常 血管増成による異常所見の検出処理を行う。異常血管増成を検出するために、内視 鏡画像 Πから局所的な太い血管と細かい複雑な分岐を検出する処理を行う。
[0104] 最初のステップ S71からステップ S74までは、図 12とほぼ同様の処理を行う。つまり 、ステップ S71において CPU22は、暗部'ハレーション及び残渣等の不適画素の除 外の処理を行い、次のステップ S72において、各画素の色度 gjZrjの算出を行う。ま た、次のステップ S73において CPU22は、閾値処理による 2値化処理を行う。この場 合には、図 12の場合とは異なる閾値 Vthを用いて 2値ィ匕を行う。
[0105] CPU22は、例えば、閾値 Vthを 0. 2に設定し、この閾値 Vthを用いて gjZrjく 0.
2ならば 1、それ以外、つまり gjZrj≥0. 2ならば 0とする 2値ィ匕を行い、 2値ィ匕された 2 値化画像を生成する。
[0106] そして、次のステップ S 74でラベリングの処理を行い、この場合には、ラベリング画 像として細線画像を作成する。
[0107] そして次のステップ S75において、 CPU22は、異常血管増成に対応した特徴量検 出の処理を行う。この特徴量検出の処理としては、細線画像に対して、分岐'交差点 数を検出する。そして、次のステップ S76において CPU22は、分岐'交差点数の閾 値若しくは判別関数を用いて異常血管増成の検出の有無を行う。
[0108] なお、特徴量検出の処理として、分岐，交差点数を用いて行う代わりに、伸長度等 を用い、閾値を超える伸長度の数を検出し、その数が異常血管増成検出の閾値を超 える力否かにより異常血管増成の検出 (判別)を行うようにしても良い。
[0109] 図 13の処理による検出結果は、ステップ S52の判定に利用される。ステップ S52に おいて CPU22は、ステップ S7により検出された隆起性変化領域が、その粘膜性状 所見として図 12による白斑の検出を伴うもの力若しくは図 13による異常血管増成の 検出を伴うものに該当する力否かの判定を行う。
[0110] そして、このステップ S52による判定処理の結果以後は、図 5に示した実施例 1の場 合の処理と同様に行う。
[0111] つまり、ステップ S52の判定処理により、異常所見を伴うものでない場合には、ステ ップ S10において CPU22は、検出基準 1を適用してポリープ検出を行い、異常所見 を伴う場合には、ステップ S11において CPU22は、検出基準 2を適用してポリープ 検出を行う。そして、ステップ S10、 S11の処理の後、画像のパラメータ iを 1つ大きく して、次の内視鏡画像 Iiに対して同様の処理を行う。
[0112] 検出基準 1及び検出基準 2は、上述したように Shape IndexSIによる検出や Curvedn essCVの閾値を用いる等して行う。
[0113] なお、上述の説明において、 G画像 Giに対して、白斑或いは異常血管増成を検出 するための検出フィルタを適用してそれらを検出するようにしてもょ 、。
[0114] また、白斑或いは異常血管増成等の異常所見領域が複数フレームにわたって検 出された場合には、他のフレームに対しても検出基準 2を適用してポリープ検出を行 うように検出基準を変更 (制御)することも可能である。
[0115] このように本実施例によれば、粘膜性状所見の判定処理により、異常所見が検出さ れた場合と検出されない場合とに応じて、隆起性変化領域に対する検出基準を変更 して隆起性病変検出としてのポリープの検出を行うことにより、精度の高いポリープの 検出を行うことができる。
[0116] なお、図 11における画像処理の順序を変更しても良い。例えばステップ S51の前 にステップ S7の処理を行うようにしても良い。また、計算量を低減するために、ステツ プ S7による 3次元の隆起性を有しない非隆起性変化部の検出領域に対応する領域 に対してステップ S51による粘膜性状所見の判定処理を行うようにしても良 、。つまり 、本実施例における異常所見の領域は隆起性病変としてのポリープの周辺部におい て付随的に発生するため、隆起性病変変化領域の周辺の平坦部，周辺粘膜に対し てこれらの異常所見を検出）するようにしてもょ 、。
[0117] また、検出基準 1、 2としては、上述したように Shape IndexSIによる検出や Curvednes sCVの閾値を用いる場合に限定されるものでなぐ実施例 1にお!/、て説明したように 基準面からの高さの値等に基づいて隆起性病変を検出するようにしても良い。この場 合にも、粘膜表面において白斑や異常血管増成をともなう場合はポリープ検出にお ける感度をより高めるよう制御することとなり、高精度のポリープ検出が可能となる。
[0118] なお、本実施例における病変検出手段及び方法は、隆起性病変の場合に限らず、 実施例 1において説明したように陥凹性病変に対しても同様に適用可能である。
[0119] なお、上述した実施例 1及び実施例 2において、画像処理により病変を検出する場 合、色調変化或いは異常所見の領域 (つまり付随領域)を検出した場合の検出結果 に応じて、輝度情報に基づいて隆起性病変領域等の病変候補を検出する際の検出 基準を変更する場合で説明したが、両方の検出結果力 総合的に病変を検出するよ うにしても良い。
[0120] また、これらの実施例における他の検出方法或いは検出手段として、両方が相関 性を持つ領域が存在するか否かにより、病変候補が病変である力否かを検出するよ うにしても良い。例えば、病変である可能性が十分に高いと考えられる領域のみを検 出したような要望に対応するためには、両方で病変候補として検出されるような相関 性がある場合に病変候補として検出すると、病変部分の検出の精度を高くすることが できる。
[0121] なお、実施例 1及び実施例 2においては、病変検出手法として 3次元形状推定に基 づく手法について説明した力 本発明はこれに限定されるものでない。例えば、 2次 元の R画像に対する帯域通過フィルタリングによりエッジを抽出の上、閾値処理によ る 2値ィ匕を行い、公知のハフ変換により、ポリープ様病変が呈する円弧形状を示すェ ッジを検出する手法を適用することが考えられる。
[0122] このような場合においても、病変候補として検出するエッジの長さ、面積、或いは円 弧の曲率等を検出基準とし、病変部若しくは周辺部の異常所見に基づき検出基準を 変更することも可能である。
[0123] また、上述した実施例にお!、ては、病変検出手法として Shape IndexSI及び Curved nessC Vに対する閾値処理に基づく手法にっ 、て説明したが、本発明はこれに限定 されるものでない。例えば、閾値処理でなぐ凸型、 CUP型等の各形状所見を有す る画像群を教師データとして用意し、算出した各特徴量を用いた識別器による検出 手法にも利用することが可能である。例えば、公知の線形判別関数を用いた識別器 を使用する場合、異常所見が存在する場合においては、各形状における線形判別 関数の適用により得られる値に対する重み付けを制御することにより、凸型形状等を 検出し易くする等の制御が可能となる。
[0124] なお、上述した実施例等を部分的に組み合わせたり、画像処理する順序を変更し たりする変形例等も本発明に属する。
[0125] 以上説明したように本発明によれば、内視鏡画像等の色情報を有する医療用画像 における輝度情報力もポリープ等の病変候補領域を検出すると共に、病変に伴い付 随した性状で発生する発赤，褪色調部分等の色調変化等を伴う付随領域を検出し、 付随領域の検出結果に応じて病変候補領域から病変を検出する検出基準を変更す ることにより、精度の高い病変検出を行うことができるという産業上の利用可能性を有 する。
[0126] また、本発明は、以下に記載する付記に述べる特徴を有するものである。
(付記 1)
複数の色信号力 なる医療用画像における少なくとも 1つの色信号に基づき病変 候補領域を検出する病変候補領域検出手段と、前記医療用画像から病変に伴い付 随した性状で発生する付随領域を検出する付随領域検出手段と、前記付随領域の 検出結果に応じて前記病変候補領域力 病変を検出する際の検出基準を変更する 検出基準変更手段とを具備したことを特徴とする医療用画像処理装置。
[0127] (付記 2)
前記病変候補領域検出手段は、前記医療用画像から前記少なくとも 1つの色信号 に基づき、 3次元形状の情報を生成する 3次元形状の情報生成手段を有し、生成さ れた 3次元形状の情報を利用して病変候補領域を検出することを特徴とする付記 1 に記載の医療用画像処理装置。
[0128] (付記 3)
前記付随領域検出手段は、前記付随領域として、発赤若しくは褪色等の色調変化 の性状を呈する色調変化領域を検出することを特徴とする付記 1に記載の医療用画 像処理装置。
[0129] (付記 4)
前記付随領域検出手段は、前記付随領域として、白斑若しくは異常血管の異常所 見の性状を呈する異常所見領域を検出することを特徴とする付記 1に記載の医療用 画像処理装置。
[0130] (付記 5)
前記検出基準変更手段は、前記検出基準として、生成された前記 3次元形状の情 報における曲面形状を表す特徴量の Shape Index及び Curvednessの少なくとも一方 の閾値を変更することを特徴とする付記 3に記載の医療用画像処理装置。
[0131] (付記 6)
複数の色信号力 なる医療用画像における少なくとも 1つの色信号力 病変候補領 域を検出する病変候補領域検出手段と、前記医療用画像力 病変に伴い付随した 性状で発生する付随領域を検出する付随領域検出手段と、前記病変候補領域検出 手段により検出された病変候補領域と、前記付随領域検出手段により検出された付 随領域とが相関する領域の有無により病変検出を行うことを特徴とする医療用画像 処理装置。
[0132] (付記 7)
複数の色信号力 なる医療用画像における少なくとも 1つの色信号に基づき病変 候補領域を検出する病変候補領域検出ステップと、前記医療用画像から病変に伴 V、付随した性状で発生する付随領域の有無を検出する付随領域検出ステップと、前 記付随領域の有無の検出結果に応じて前記病変候補領域力 病変を検出する際の 検出基準を変更する検出基準変更ステップとを具備したことを特徴とする医療用画 像処理方法。
[0133] (付記 8) 前記病変候補領域検出ステップは、前記医療用画像から前記少なくとも 1つの色 信号に基づき、 3次元形状の情報を生成する 3次元形状の情報生成ステップを有し、 生成された 3次元形状の情報を利用して病変候補領域を検出することを特徴とする 付記 7に記載の医療用画像処理方法。
[0134] (付記 9)
前記付随領域検出ステップは、前記付随領域として、発赤若しくは褪色の色調変 化の性状を呈する色調変化領域を検出することを特徴とする付記 7に記載の医療用 画像処理方法。
[0135] (付記 10)
前記付随領域検出ステップは、前記付随領域として、白斑若しくは異常血管の性 状を呈する異常所見領域を検出することを特徴とする付記 7に記載の医療用画像処 理方法。
[0136] (付記 11)
前記検出基準変更ステップは、前記検出基準として、生成された前記 3次元形状の 情報における曲面形状を表す特徴量の Shape Index及び Curvednessの少なくとも一 方の閾値を変更することを特徴とする付記 8に記載の医療用画像処理方法。
[0137] (付記 12)
前記検出基準として、生成された前記 3次元形状の情報における曲面形状を表す 特徴量の Shape Index及び Curvednessの少なくとも一方若しくは基準面からの高さの 閾値を変更することを特徴とする付記 3に記載の医療用画像処理装置。

Claims

請求の範囲
[1] 複数の色信号力 なる医療用画像における少なくとも 1つの色信号に基づき病変 候補領域を検出する病変候補領域検出手段と、
前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出する付 随領域検出手段と、
前記付随領域の検出結果に応じて前記病変候補領域から病変を検出する際の検 出基準を変更する検出基準変更手段と、
を具備したことを特徴とする医療用画像処理装置。
[2] 前記病変候補領域検出手段は、前記医療用画像から前記少なくとも 1つの色信号 に基づき、 3次元形状の情報を生成する 3次元形状の情報生成手段を有し、生成さ れた 3次元形状の情報を利用して病変候補領域を検出することを特徴とする請求項 1に記載の医療用画像処理装置。
[3] 前記付随領域検出手段は、前記付随領域として、発赤若しくは褪色等の色調変化 の性状を呈する色調変化領域を検出することを特徴とする請求項 1に記載の医療用 画像処理装置。
[4] 前記付随領域検出手段は、前記付随領域として、白斑若しくは異常血管の異常所 見の性状を呈する異常所見領域を検出することを特徴とする請求項 1に記載の医療 用画像処理装置。
[5] 前記検出基準変更手段は、前記検出基準として、生成された前記 3次元形状の情 報における曲面形状を表す特徴量の Shape Index及び Curvednessの少なくとも一方 の閾値を変更することを特徴とする請求項 3に記載の医療用画像処理装置。
[6] 複数の色信号力 なる医療用画像における少なくとも 1つの色信号力 病変候補領 域を検出する病変候補領域検出手段と、
前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出する付 随領域検出手段と、
前記病変候補領域検出手段により検出された病変候補領域と、前記付随領域検 出手段により検出された付随領域とが相関する領域の有無により病変検出を行うこと を特徴とする医療用画像処理装置。
[7] 複数の色信号力 なる医療用画像における少なくとも 1つの色信号に基づき病変 候補領域を検出する病変候補領域検出ステップと、
前記医療用画像力 病変に伴い付随した性状で発生する付随領域の有無を検出 する付随領域検出ステップと、
前記付随領域の有無の検出結果に応じて前記病変候補領域力 病変を検出する 際の検出基準を変更する検出基準変更ステップと、
を具備したことを特徴とする医療用画像処理方法。
[8] 前記病変候補領域検出ステップは、前記医療用画像から前記少なくとも 1つの色 信号に基づき、 3次元形状の情報を生成する 3次元形状の情報生成ステップを有し、 生成された 3次元形状の情報を利用して病変候補領域を検出することを特徴とする 請求項 7に記載の医療用画像処理方法。
[9] 前記付随領域検出ステップは、前記付随領域として、発赤若しくは褪色の色調変 化の性状を呈する色調変化領域を検出することを特徴とする請求項 7に記載の医療 用画像処理方法。
[10] 前記付随領域検出ステップは、前記付随領域として、白斑若しくは異常血管の性 状を呈する異常所見領域を検出することを特徴とする請求項 7に記載の医療用画像 処理方法。
[11] 前記検出基準変更ステップは、前記検出基準として、生成された前記 3次元形状の 情報における曲面形状を表す特徴量の Shape Index及び Curvednessの少なくとも一 方の閾値を変更することを特徴とする請求項 8に記載の医療用画像処理方法。
PCT/JP2007/053588 2006-03-16 2007-02-27 医療用画像処理装置及び医療用画像処理方法 WO2007119297A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP07714981.3A EP1994878B9 (en) 2006-03-16 2007-02-27 Medical image processing device and medical image processing method
JP2008510749A JP5242381B2 (ja) 2006-03-16 2007-02-27 医療用画像処理装置及び医療用画像処理方法
CN200780009275XA CN101404923B (zh) 2006-03-16 2007-02-27 医疗用图像处理装置
US12/208,821 US8295566B2 (en) 2006-03-16 2008-09-11 Medical image processing device and medical image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006073184 2006-03-16
JP2006-073184 2006-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/208,821 Continuation US8295566B2 (en) 2006-03-16 2008-09-11 Medical image processing device and medical image processing method

Publications (1)

Publication Number Publication Date
WO2007119297A1 true WO2007119297A1 (ja) 2007-10-25

Family

ID=38609113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/053588 WO2007119297A1 (ja) 2006-03-16 2007-02-27 医療用画像処理装置及び医療用画像処理方法

Country Status (5)

Country Link
US (1) US8295566B2 (ja)
EP (1) EP1994878B9 (ja)
JP (1) JP5242381B2 (ja)
CN (1) CN101404923B (ja)
WO (1) WO2007119297A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115413A (ja) * 2008-11-14 2010-05-27 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法
JP2011234931A (ja) * 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置
JP2013111420A (ja) * 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014036698A (ja) * 2012-08-10 2014-02-27 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016067779A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US10052015B2 (en) 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
WO2018235246A1 (ja) * 2017-06-22 2018-12-27 オリンパス株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2023067922A1 (ja) * 2021-10-20 2023-04-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
WO2012077117A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board multi-camera endoscope
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US9554692B2 (en) 2009-06-18 2017-01-31 EndoChoice Innovation Ctr. Ltd. Multi-camera endoscope
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
JP5486432B2 (ja) * 2010-07-28 2014-05-07 富士フイルム株式会社 画像処理装置、その作動方法およびプログラム
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
EP2618718B1 (en) 2010-09-20 2020-04-15 EndoChoice Innovation Center Ltd. Multi-camera endoscope having fluid channels
JP5944912B2 (ja) 2010-10-28 2016-07-05 エンドチョイス イノベーション センター リミテッド マルチセンサ内視鏡のための光学系
JP6054874B2 (ja) 2010-12-09 2016-12-27 エンドチョイス イノベーション センター リミテッド マルチカメラ内視鏡用フレキシブル電子回路基板
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
EP3228236A1 (en) 2011-02-07 2017-10-11 Endochoice Innovation Center Ltd. Multi-element cover for a multi-camera endoscope
JP5856745B2 (ja) * 2011-03-15 2016-02-10 オリンパス株式会社 手術システム及びその制御方法
JP5800549B2 (ja) * 2011-03-31 2015-10-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
EP2604172B1 (en) 2011-12-13 2015-08-12 EndoChoice Innovation Center Ltd. Rotatable connector for an endoscope
CA2798716A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Removable tip endoscope
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6067264B2 (ja) 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
CN104203075B (zh) * 2012-11-07 2017-03-01 奥林巴斯株式会社 医疗用图像处理装置
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
US10117563B2 (en) * 2014-01-09 2018-11-06 Gyrus Acmi, Inc. Polyp detection from an image
WO2017026539A1 (ja) 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
CN106687023B (zh) 2015-08-13 2018-12-18 Hoya株式会社 评价值计算装置以及电子内窥镜系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180932A (ja) 2002-12-03 2004-07-02 Toshiba Corp コンピュータ支援診断装置
JP2005095501A (ja) * 2003-09-26 2005-04-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2005253685A (ja) * 2004-03-11 2005-09-22 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048931A1 (en) * 2001-03-23 2003-03-13 Peter Johnson Quantification and differentiation of tissue based upon quantitative image analysis
DE10136191A1 (de) * 2001-07-25 2003-02-20 Wolf Gmbh Richard Vorrichtung zur bildgebenden und spektroskopischen Diagnose von Gewebe
WO2005084520A1 (ja) * 2004-03-04 2005-09-15 Olympus Corporation 内視鏡撮像装置
KR20070083467A (ko) * 2004-06-23 2007-08-24 메딕사이트 피엘씨. 병터 검출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180932A (ja) 2002-12-03 2004-07-02 Toshiba Corp コンピュータ支援診断装置
JP2005095501A (ja) * 2003-09-26 2005-04-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2005253685A (ja) * 2004-03-11 2005-09-22 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIMURA ET AL.: "A study on automated detection of colonic polyps from 3D abdominal CT images based on shape", TECHNICAL REPORT OF IEICE (MI2003-102, 2004, pages 29 - 34
OKATANI; DEGUCHI: "Reconstructing Shape from Shading with a Point Light Source at the Projection Center -Shape Reconstruction from an Endoscopic Image", COMPUTER VISION, 1996, pages 19 - 26
See also references of EP1994878A4

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705818B2 (en) 2008-11-14 2014-04-22 Olympus Corporation Image processing device, computer readable storage medium storing image processing program, and image processing method
JP2010115413A (ja) * 2008-11-14 2010-05-27 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法
US8913111B2 (en) 2009-12-28 2014-12-16 Olympus Corporation Image processing device, electronic apparatus, information storage device, and image processing method
JP2011234931A (ja) * 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
US8837821B2 (en) 2010-05-11 2014-09-16 Olympus Corporation Image processing apparatus, image processing method, and computer readable recording medium
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置
US8682418B2 (en) 2011-02-01 2014-03-25 Olympus Medical Systems Corp. Diagnosis supporting apparatus and control method of diagnosis supporting apparatus
US9639927B2 (en) 2011-11-30 2017-05-02 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording device
JP2013111420A (ja) * 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014036698A (ja) * 2012-08-10 2014-02-27 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067779A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US10052015B2 (en) 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP6234648B1 (ja) * 2016-01-15 2017-11-22 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US10736499B2 (en) 2016-01-15 2020-08-11 Olympus Corporation Image analysis apparatus, image analysis system, and method for operating image analysis apparatus
WO2018235246A1 (ja) * 2017-06-22 2018-12-27 オリンパス株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2023067922A1 (ja) * 2021-10-20 2023-04-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム

Also Published As

Publication number Publication date
US20090074269A1 (en) 2009-03-19
EP1994878A1 (en) 2008-11-26
EP1994878B9 (en) 2013-09-04
CN101404923B (zh) 2010-12-22
EP1994878B1 (en) 2013-05-15
JP5242381B2 (ja) 2013-07-24
CN101404923A (zh) 2009-04-08
US8295566B2 (en) 2012-10-23
JPWO2007119297A1 (ja) 2009-08-27
EP1994878A4 (en) 2010-08-18

Similar Documents

Publication Publication Date Title
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
US8682418B2 (en) Diagnosis supporting apparatus and control method of diagnosis supporting apparatus
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US20080097150A1 (en) Medical image processing apparatus and medical image processing method
KR102287364B1 (ko) 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
JP4749732B2 (ja) 医用画像処理装置
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
WO2006062163A1 (ja) 医用画像処理方法
US8666135B2 (en) Image processing apparatus
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN112105284A (zh) 图像处理装置、内窥镜系统及图像处理方法
US20230255467A1 (en) Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
JP4855673B2 (ja) 医用画像処理装置
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
JP4668624B2 (ja) 食道粘膜用画像処理装置
US20230162356A1 (en) Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
JP5315376B2 (ja) 柵状血管検出装置および柵状血管検出装置の作動方法
JP4856275B2 (ja) 医用画像処理装置
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07714981

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2008510749

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2007714981

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200780009275.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE