WO2014097758A1 - 医用画像処理装置及び医用画像処理方法 - Google Patents

医用画像処理装置及び医用画像処理方法 Download PDF

Info

Publication number
WO2014097758A1
WO2014097758A1 PCT/JP2013/079883 JP2013079883W WO2014097758A1 WO 2014097758 A1 WO2014097758 A1 WO 2014097758A1 JP 2013079883 W JP2013079883 W JP 2013079883W WO 2014097758 A1 WO2014097758 A1 WO 2014097758A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial
biological
medical image
mucous membrane
image processing
Prior art date
Application number
PCT/JP2013/079883
Other languages
English (en)
French (fr)
Inventor
悠介 登本
博一 西村
田中　健一
佐和子 柴田
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2014531444A priority Critical patent/JP5749864B2/ja
Priority to CN201380067107.1A priority patent/CN104869884B/zh
Priority to EP13865861.2A priority patent/EP2912988A4/en
Publication of WO2014097758A1 publication Critical patent/WO2014097758A1/ja
Priority to US14/336,340 priority patent/US9262687B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method for performing image processing on a medical image obtained by imaging a biological mucous membrane.
  • Japanese Patent Laid-Open No. 2006-141734 discloses that a biological mucous membrane fine structure is extracted by binarization processing based on an image signal obtained by imaging a subject, and the pixel value of a pixel corresponding to the biological mucous membrane fine structure is set to 1, Labeling processing is performed on the binarized image generated by setting the pixel values of the other pixels to 0 to identify the constituent elements constituting the biological mucosal fine difference structure, and the biological mucous membrane microstructure is determined based on the structural information for each constituent element.
  • a region dividing technique for allocating regions to each element is disclosed.
  • micro-vascular images and pit (gland opening) structures, etc. have been achieved by increasing the resolution of endoscope systems (including capsule endoscopes), the spread of magnifying endoscopes, and the spread of narrow-band light observation.
  • endoscope systems including capsule endoscopes
  • magnifying endoscopes and the spread of narrow-band light observation.
  • narrow-band light observation The importance of observing the fine structure of living body mucous membranes is increasing.
  • the morphology and distribution information of the biological mucosa microstructure in the biological tissue is useful for the differentiation of normal tissue and tumor tissue, and also for the diagnosis of lesions such as estimation of the depth of cancer.
  • diagnostics based on various classifications have been proposed and used for various organs and diseases. For example, observation of large intestine pit pattern (for example, Nobuhide Kudo: “Depression type early colorectal cancer”, Monthly Book Gastro, All Japan Hospital Press, May 15, 1993, Volume 3, No. 5, p.
  • MV Pattern which is a microvascular finding in the mucosa of the stomach
  • MS Pattern which is a fine structure of the mucosal surface (epithelial structure) (for example, Kenji Yao, Toshiyuki Matsui: “Gas expander endoscope” (See 2009)), and IPCL (for example, Haruhiro Inoue, 5 others: “Enlarged Endoscopic Diagnosis of Esophageal Disease”), Gastrointestinal Endoscope, Tokyo Medical Company, 2001 March 25, 2013, No. 13, No. 3, see pages 301-308).
  • bronchial vascular findings are also attracting attention.
  • Imaging conditions such as observation distance, direction, angle, and illumination light quantity when acquiring an endoscopic image are unstable.
  • the present invention provides an invention that pays particular attention to the problem (B), and the following describes the problem (B) in detail.
  • a discontinuous structure can be divided into two cases: an image as if it is presenting a continuous pattern, and a case where the image is formed as if it were a continuous pattern.
  • (B2) overlaps or adjoins each other in the depth direction of the image even if the structures are histologically independent due to the optical characteristics and three-dimensional arrangement of the mucosal tissue.
  • the discontinuous structure is imaged as if it had a continuous pattern.
  • it is considered essential to analyze the pattern corresponding to the findings with some interpretation rather than simply analyzing the continuous pattern in the eyes.
  • it is difficult to extract and analyze the biological mucosa microstructure corresponding to the findings from the endoscopic image.
  • each biological mucous membrane microstructure is morphologically simple in the captured image and independent on the image space.
  • an effective processing result can be obtained.
  • the biological mucosa microstructure has a complicated shape, multiple biological mucosa microstructures overlap or adjoin each other. If a continuous pattern is exhibited, it is difficult to obtain an effective processing result.
  • the technique related to the retinal image analysis method described in Japanese National Table 2011-516200 discloses a viewpoint of calculating a blood vessel feature amount using a blood vessel segment constituting a blood vessel of a captured image.
  • the viewpoint of finding only a partial pattern of the fine structure of the living mucous membrane, or as if the discontinuous structure is presenting as a continuous pattern with the two-dimensional imaging of the three-dimensional structure It is not conceived about the issues to be addressed and there is no specific disclosure.
  • the technique related to the retinal image analysis method described in Japanese National Table No. 2011-516200 provides an effective processing result when the entire continuous pattern of the captured biological mucous membrane microstructure is a recognition target.
  • the partial pattern of the fine structure of the biological mucous membrane is an important finding for diagnosis, or when the three-dimensional discontinuous structure is imaged as if it is a continuous pattern Has a problem that it is difficult to obtain an effective processing result.
  • the present invention has been made in view of the above points, and in a medical image obtained by imaging the surface of a biological mucosa, when the biological mucous membrane microstructure has a complicated shape or a plurality of biological mucosa microstructures are imaged.
  • Medical image processing apparatus and medical image processing capable of extracting a living body mucous membrane fine structure corresponding to a finding even when a continuous pattern is presented by overlapping or adjoining each other in the depth direction It aims to provide a method.
  • a medical image processing apparatus calculates at least one feature amount from an image input unit to which a medical image obtained by imaging a biological mucous membrane is input, and the medical image input to the image input unit
  • a feature amount calculating means an extraction means for extracting a biological mucous membrane microstructure exhibiting a continuous pattern in the medical image based on the feature amount calculated by the feature amount calculation means, and a biological mucosa extracted by the extraction means
  • Area dividing means for dividing the fine structure into partial areas corresponding to a predetermined dividing condition based on the feature quantity calculated by the feature quantity calculating means.
  • an image input step of inputting a medical image obtained by imaging a biological mucous membrane, and at least one feature amount is calculated from the medical image input in the image input step.
  • a feature amount calculating step, an extraction step for extracting a biological mucous membrane microstructure exhibiting a continuous pattern in the medical image based on the feature amount calculated by the feature amount calculating step, and a biological mucosa fine portion extracted by the extraction step A region dividing step of dividing the structure into partial regions corresponding to a predetermined dividing condition based on the feature amount calculated by the feature amount calculating step;
  • FIG. 1 is a diagram illustrating an example of a configuration of a main part of an endoscope apparatus having a medical image processing apparatus according to a first embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of a rotary filter included in the light source device of FIG.
  • FIG. 3 is a diagram illustrating an example of transmission characteristics of each filter included in the first filter group in FIG. 2.
  • FIG. 4 is a diagram illustrating an example of transmission characteristics of each filter included in the second filter group in FIG. 2.
  • FIG. 5 is a block diagram showing a main configuration of the calculation unit of FIG.
  • FIG. 6 is a flowchart illustrating an example of processing performed in the image processing unit according to the first embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of a configuration of a main part of an endoscope apparatus having a medical image processing apparatus according to a first embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of a rotary filter included in the light
  • FIG. 7 is a schematic diagram illustrating an example of image data to be processed.
  • FIG. 8 is a schematic diagram showing an example of an image obtained by imaging a blood vessel that travels to a position having a different depth from the mucosal surface existing in the mucosa.
  • FIG. 9 is a schematic diagram showing an example of the definition of contrast of the biological mucosa microstructure.
  • FIG. 10 is a schematic diagram illustrating a division example in which regions are divided due to different contrasts.
  • FIG. 11 is a schematic diagram showing an example of a biological mucous membrane fine structure and a region division result thereof.
  • FIG. 12 is a flowchart showing a specific processing example in the processing of dividing into partial areas.
  • FIG. 12 is a flowchart showing a specific processing example in the processing of dividing into partial areas.
  • FIG. 13A is an explanatory diagram showing a specific processing example of processing for dividing a biological mucosa fine structure segment.
  • FIG. 13B is an explanatory diagram showing a specific processing example of the processing for dividing the biological mucosa fine structure segment.
  • FIG. 13C is an explanatory diagram showing a specific processing example of the processing for dividing the biological mucous membrane fine structure segment.
  • FIG. 14 is an explanatory diagram showing a specific processing example of processing for dividing the biological mucosa fine structure segment by processing different from the processing described in FIG. 13.
  • FIG. 15A is a schematic diagram for explaining an example of a combination of biological mucous membrane microstructure segments before being divided into regions.
  • FIG. 15A is a schematic diagram for explaining an example of a combination of biological mucous membrane microstructure segments before being divided into regions.
  • FIG. 15B is a schematic diagram for explaining an example of a combination of biological mucous membrane microstructure segments before being divided into regions.
  • FIG. 15C is a schematic diagram for explaining an example of a combination of biological mucous membrane fine structure segments before region division.
  • FIG. 15D is a schematic diagram for explaining an example of a combination of biological mucous membrane microstructure segments before being divided into regions.
  • FIG. 16A is a flowchart showing a process of dividing a partial area under a condition that the sum of variance values is minimum.
  • FIG. 16B is a flowchart showing a process of dividing into partial regions under conditions where the sum of average values is the maximum and the sum of the variance values is the minimum.
  • FIG. 16A is a flowchart showing a process of dividing a partial area under a condition that the sum of variance values is minimum.
  • FIG. 16B is a flowchart showing a process of dividing into partial regions under conditions where the sum of average values is the maximum and the sum of the variance values
  • FIG. 16C is a block diagram illustrating a main configuration of a calculation unit according to the second embodiment of the present invention.
  • FIG. 17 is a flowchart illustrating an example of processing performed in the image processing unit according to the second embodiment of the present invention.
  • FIG. 18A is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18B is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18C is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18D is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18A is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18B is a schematic diagram for explaining an example of a method for
  • FIG. 18E is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18F is a schematic diagram for explaining an example of a method for calculating the width of the biological mucosa microstructure.
  • FIG. 18G is a schematic diagram for explaining an example of a method for calculating the width of the biological mucous membrane microstructure.
  • FIG. 19 is a schematic diagram showing an example of quantizing the traveling direction of the biological mucous membrane microstructure.
  • FIG. 20 is a schematic diagram illustrating an example of a predetermined division condition related to region division in the case of thickness.
  • FIG. 21 is a schematic diagram illustrating an example of a predetermined division condition related to region division in the case of a color tone.
  • FIG. 20 is a schematic diagram illustrating an example of a predetermined division condition related to region division in the case of thickness.
  • FIG. 21 is a schematic diagram illustrating an example of a predetermined division condition related to region division in the case of
  • FIG. 22 is a schematic diagram showing an example of a predetermined division condition related to region division in the case of a traveling direction.
  • FIG. 23 is a schematic diagram illustrating an example of a predetermined division condition related to region division in the case of a traveling direction.
  • FIG. 24A is a diagram for explaining an example of a method for calculating the direction of a biological mucous membrane microstructure segment.
  • FIG. 24B is a diagram for explaining an example of a method for calculating the direction of a biological mucosa microstructure segment.
  • FIG. 25 is a block diagram showing a main configuration of a calculation unit in the third embodiment of the present invention.
  • FIG. 26 is a flowchart illustrating an example of processing performed in the image processing unit according to the third embodiment of the present invention.
  • FIG. 27A is a schematic diagram for explaining an example in the case of division into partial regions based on a predetermined division condition based on saliency.
  • FIG. 27B is a schematic diagram for explaining an example in the case of division into partial areas under a predetermined division condition based on saliency.
  • FIG. 27C is a schematic diagram for explaining an example of dividing into partial areas based on a predetermined dividing condition based on saliency.
  • FIG. 27D is a schematic diagram for explaining an example of dividing into partial areas based on a predetermined dividing condition based on saliency.
  • FIG. 27E is a schematic diagram for explaining an example in the case of dividing into partial regions based on a predetermined division condition based on saliency.
  • FIG. 27A is a schematic diagram for explaining an example in the case of division into partial regions based on a predetermined division condition based on saliency.
  • FIG. 27B is a schematic diagram for explaining an example in the case of division into partial areas under
  • FIG. 27F is a schematic diagram for explaining an example in the case of division into partial regions based on a predetermined division condition based on saliency.
  • FIG. 27G is a schematic diagram for explaining an example in the case of division into partial regions under a predetermined division condition based on saliency.
  • FIG. 27H is a schematic diagram for explaining an example in the case of division into partial areas under a predetermined division condition based on saliency.
  • FIG. 27I is a schematic diagram for explaining an example in the case of dividing into partial regions based on a predetermined division condition based on saliency.
  • FIG. 28 is a schematic diagram illustrating an example of dividing into partial areas based on a predetermined dividing condition based on discontinuity in length.
  • FIG. 29 is a flowchart illustrating an example of a feature amount calculation according to a division condition and a region division process based on the calculation result according to the third embodiment.
  • an endoscope apparatus 1 includes an endoscope 2 that is inserted into a body cavity of a subject and outputs an image obtained by imaging a subject such as a living tissue 101 in the body cavity, and a living body.
  • a light source device 3 that emits illumination light for illuminating the tissue 101
  • a processor 4 that constitutes a medical image processing device that performs various processes on an output signal from the endoscope 2, and a video signal from the processor 4
  • an external storage device 6 for storing an output signal corresponding to a processing result in the processor 4.
  • the endoscope 2 includes an insertion portion 21a having an elongated shape and dimensions that can be inserted into a body cavity of a subject, a distal end portion 21b provided on the distal end side of the insertion portion 21a, and a proximal end side of the insertion portion 21a. And an operating portion 21c provided. Further, a light guide 7 for transmitting illumination light emitted from the light source device 3 to the distal end portion 21b is inserted into the insertion portion 21a.
  • One end surface (light incident end surface) of the light guide 7 is detachably connected to the light source device 3.
  • the other end face (light emission end face) of the light guide 7 is disposed in the vicinity of an illumination optical system (not shown) provided at the distal end portion 21 b of the endoscope 2.
  • the illumination light emitted from the light source device 3 passes through the light guide 7 connected to the light source device 3 and the illumination optical system (not shown) provided at the distal end portion 21b, and then enters the body cavity. The light is emitted to the living tissue 101.
  • the distal end portion 21b of the endoscope 2 includes an objective optical system 22 that forms an optical image of the subject, and an imaging unit that is disposed at the imaging position of the objective optical system 22 and captures the optical image and acquires it as an image.
  • a charge-coupled device (abbreviated as CCD) 23 is provided.
  • the operation unit 21c of the endoscope 2 is provided with an observation mode switching switch 24 capable of giving an instruction to switch the observation mode to either the normal light observation mode or the narrow band light observation mode. .
  • the light source device 3 includes a white light source 31 formed of a xenon lamp or the like, a rotary filter 32 that uses white light emitted from the white light source 31 as surface-sequential illumination light, a motor 33 that rotationally drives the rotary filter 32, and a rotary filter 32. And a motor 34 that moves the motor 33 in a direction perpendicular to the emission light path of the white light source 31 (reference numeral B in FIG. 1), and a rotary filter drive that drives the motors 33 and 34 based on the control of the control unit 42 of the processor 4 And a condensing optical system 36 that condenses the illumination light that has passed through the rotary filter 32 and supplies it to the incident end face of the light guide 7. As shown in FIG.
  • the rotary filter 32 has a disk shape with the center as a rotation axis, and includes a first filter group 32 ⁇ / b> A including a plurality of filters provided along the circumferential direction on the inner circumference side, and the outer circumference. And a second filter group 32B having a plurality of filters provided along the circumferential direction of the side. Then, when the driving force of the motor 33 is transmitted to the rotating shaft, the rotary filter 32 rotates.
  • the rotary filter 32 except the part in which each filter of the 1st filter group 32A and the 2nd filter group 32B is arrange
  • the first filter group 32A is provided along the circumferential direction on the inner peripheral side of the rotary filter 32, and passes through an R filter 32r that passes light in the red wavelength band and light in the green wavelength band.
  • the filter includes a G filter 32g and a B filter 32b that transmits light in a blue wavelength band.
  • the R filter 32r has a configuration that mainly transmits light (R light) from 600 nm to 700 nm.
  • the G filter 32g has a configuration that mainly transmits light (G light) from 500 nm to 600 nm as shown in FIG. 3, for example. Further, for example, as shown in FIG.
  • the B filter 32 b has a configuration that mainly transmits light (B light) from 400 nm to 500 nm.
  • the R filter 32r, the G filter 32g, and the B filter 32b are simply indicated by R, G, and B.
  • the white light emitted from the white light source 31 passes through the first filter group 32A, thereby generating broadband light for the normal light observation mode.
  • the second filter group 32B includes a Bn filter 321b that transmits blue and narrow band light, and a Gn that transmits green and narrow band light, which are provided along the circumferential direction on the outer peripheral side of the rotary filter 32. And a filter 321g.
  • the Bn filter 321 b has a center wavelength set near 415 nm and is configured to transmit light in a narrow band (Bn light) compared to the B light.
  • the Gn filter 321g has a center wavelength set near 540 nm and is configured to transmit light in a narrow band (Gn light) compared to G light.
  • the Bn filter 321b and the Gn filter 321g are simply indicated by Bn and Gn.
  • the white light emitted from the white light source 31 passes through the second filter group 32B, thereby generating a plurality of bands of narrowband light for a narrowband light observation mode.
  • the processor 4 has a configuration having a function as the medical image processing apparatus of the present embodiment.
  • the processor 4 includes an image processing unit 41 and a control unit 42.
  • the image processing unit 41 receives an image input of medical images captured by the image data generation unit 41a, the calculation unit 41b, the video signal generation unit 41c, and the CCD 23 constituting the imaging unit of the endoscope 2. 41d.
  • the image data generation unit 41a of the image processing unit 41 is obtained by the CCD 23 by performing processing such as noise removal and A / D conversion on the output signal of the endoscope 2 based on the control of the control unit 42. Image data corresponding to the image is generated.
  • an image input unit 41d to which a medical image (an output signal of the endoscope 2) obtained by imaging with the CCD 23 constituting the imaging unit is input is provided near the input unit of the image data generation unit 41a.
  • a medical image is input to the image data generation unit 41a via the image input unit 41d, but the image data generation unit 41a may include an image input unit 41d.
  • the calculation unit 41b of the image processing unit 41 performs a predetermined process using the image data generated by the image data generation unit 41a, whereby the living body of the mucosal epithelium is detected from the image data obtained by imaging the living tissue 101.
  • a mucous membrane fine structure (abbreviated as epithelial structure) is extracted and further divided into partial regions corresponding to predetermined division conditions.
  • the image data includes a continuous bio-mucosal microstructure structure pattern, and the bio-mucosal microstructure structure according to the diagnostically important findings in the bio-mucosa microstructure.
  • a region division process is performed so as to distinguish other regions.
  • Such an area division processing method is implemented as a program in a ROM (not shown) or the memory 47 shown in FIG. 16C, and the CPU constituting the calculation unit 41b executes according to the program.
  • the video signal generation unit 41c of the image processing unit 41 generates a video signal by performing processing such as gamma conversion and D / A conversion on the image data generated by the image data generation unit 41a, and displays the display device 5. Etc.
  • control unit 42 When the control unit 42 detects that an instruction to switch to the normal light observation mode has been made based on an instruction from the observation mode switch 24, the control unit 42 controls to emit broadband light for the normal light observation mode from the light source device 3. To the rotary filter driving unit 35. Then, based on the control of the control unit 42, the rotary filter driving unit 35 inserts the first filter group 32A on the emission light path of the white light source 31, and the second filter from the emission light path of the white light source 31. The motor 34 is operated so as to retract the group 32B.
  • control unit 42 detects that an instruction to switch to the narrowband light observation mode is made based on the instruction of the observation mode changeover switch 24, the control unit 42 outputs the narrowband light of a plurality of bands for the narrowband light observation mode. Control for emitting light from the light source device 3 is performed on the rotary filter drive unit 35.
  • the rotary filter driving unit 35 inserts the second filter group 32B on the emission light path of the white light source 31, and the first filter from the emission light path of the white light source 31.
  • the motor 34 is operated so as to retract the group 32A.
  • the normal light observation mode When the normal light observation mode is selected according to the configuration of the endoscope apparatus 1 described above, an image having substantially the same color as when the observation target such as the living tissue 101 is viewed with the naked eye ( The normal light image) is displayed on the display device 5 and further stored in the external storage device 6.
  • the narrowband light observation mode is selected by the configuration of the endoscope apparatus 1 described above, an image (narrowband light image) in which blood vessels included in the living tissue 101 are emphasized is displayed on the display device 5. And is further stored in the external storage device 6.
  • the calculation unit 41 b (which constitutes the medical image processing apparatus) constitutes a feature quantity calculation unit that calculates at least one feature quantity from the medical image input to the image input unit 41 d described above.
  • a region dividing unit that divides the biological mucous membrane microstructure extracted by the extraction unit 43b into partial regions corresponding to a predetermined division condition based on the feature amount calculated by the feature amount calculation unit 43a.
  • An area dividing unit 43c An area dividing unit 43c.
  • the area dividing unit 43c includes a branching unit recognition unit 44a as a branching unit recognition unit that recognizes a branching unit from the biological mucous membrane microstructure extracted by the extraction unit 43b, and each branch recognized by the branching unit recognition unit 44a.
  • the region dividing unit 43c is a predetermined setting set by the dividing condition setting unit 43d based on the feature amount calculated for each biological mucosal microstructure structure segment with respect to the biological mucosa microstructure structure segment generated by the segment dividing unit 44b.
  • a division determination unit (or division determination unit) 44c that determines or determines whether to divide into partial areas corresponding to the division condition.
  • the division determination unit 44c determines whether the predetermined division condition set by the division condition setting unit 43d is satisfied or whether the predetermined division condition is satisfied based on the feature amount calculated for each biological mucosa microstructure structure segment. To determine or determine whether to divide into partial areas.
  • the calculation unit 41b shown in FIG. 5 is not limited to the configuration having the functions of the feature amount calculation unit 43a, the extraction unit 43b, the region division unit 43c, and the like, and may be configured separately from the calculation unit 41b. However, it may be configured by dedicated hardware.
  • the image processing unit 41 constituting the medical image processing apparatus having such a configuration includes an image input unit 41d (shown in FIG. 1) as an image input unit for inputting a medical image obtained by imaging a biological mucous membrane, The feature amount calculation unit 43a shown in FIG.
  • the extraction unit 43b as an extraction means for extracting the biological mucosal microstructure showing a continuous pattern in the image, and the biological mucous membrane microstructure extracted by the extraction means
  • an area dividing unit 43c as area dividing means for dividing into partial areas corresponding to a predetermined dividing condition.
  • the medical image processing method includes step S1 as an image input step for inputting a medical image obtained by imaging a biological mucous membrane as shown in FIG. 6, and the medical image input in the image input step.
  • Step S2 as a feature amount calculation step for calculating at least one feature amount from (using a filter or the like), and a living body presenting a continuous pattern in the medical image based on the feature amount calculated by the feature amount calculation step
  • Step S3 as an extraction step for extracting the mucous membrane fine structure and the biological mucous membrane fine structure extracted by the extraction step into partial regions corresponding to a predetermined division condition based on the feature amount calculated by the feature amount calculation step.
  • Step S4 as a region dividing step to be divided is executed.
  • the operator turns on the power of each part of the endoscope apparatus 1 and then selects the normal light observation mode with the observation mode switch 24. Then, the operator views the endoscope 2 while viewing the image displayed on the display device 5 when selecting the normal light observation mode, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting into the body cavity, the distal end portion 21b is brought close to the site where the biological tissue 101 to be observed exists.
  • the observation mode changeover switch 24 When the normal light observation mode is selected by the observation mode changeover switch 24, light of each color of R light, G light, and B light is sequentially emitted from the light source device 3 to the living tissue 101, and the light of each color is emitted from the endoscope 2. Images corresponding to each are acquired.
  • an image corresponding to the R light, an image corresponding to the G light, and an image corresponding to the B light are shown in step S1 of FIG. 6 via the image input unit 41d. Is input as follows.
  • the image data generation unit 41a generates color component image data corresponding to each image.
  • the image data generated by the image data generation unit 41a is composed of three planes R, G, and B, and includes a horizontal direction ISX (for example, 640 pixels) and a vertical direction ISY (for example, 480 pixels). It is assumed that image data is generated such that each pixel has an 8-bit gradation of 0 to 255. In the following description, it is assumed that the pixel values of the j-th (1 ⁇ j ⁇ ISX ⁇ ISY) pixel in each of the R, G, and B planes are rj, gj, and bj, respectively.
  • the calculation unit 41b (the feature amount calculation unit 43a) of the image processing unit 41 performs reverse gamma correction and noise suppression processing as preprocessing (not shown) as necessary based on the image data generated by the image data generation unit 41a. You may go.
  • the calculation unit 41b (the feature amount calculation unit 43a) of the image processing unit 41, based on the image data generated in the image data generation unit 41a as shown in step S2 of FIG. Is calculated for each pixel of the image data. More specifically, since the biological mucous membrane microstructure has a thin linear structure, for example, the calculation unit 41b of the present embodiment emphasizes (or extracts) the linear structure as the predetermined feature amount described above. The response value of the filter is used. Note that “enhancement” here refers to processing in which a value is large if the local region around the pixel position to which the filter is applied is close to a linear structure, and a small value is output otherwise.
  • an evaluation value is set for each pixel of the pixel value gj of the jth pixel of the G plane of the image data generated when the narrowband light observation mode is selected (first to (ISX ⁇ ISY) for all pixels.
  • the calculation unit 41b (the extraction unit 43b) of the image processing unit 41 uses the predetermined feature amount calculated in step S2 of FIG. 6, and the biological mucosa microstructure exists in the biological tissue 101 as shown in step S3. A process of extracting an area is performed.
  • Such cases are classified according to the type of biological mucosal microstructure, for example, blood vessels have smaller image density values than surrounding mucous membranes.
  • FIG. 7 schematically shows the fine structure of the living body mucosa of the gastric pyloric gland mucosa observed using the magnifying endoscope in the narrow-band light observation mode.
  • image data including not only a living body mucous membrane fine structure and a background mucous membrane region but also various structures such as a fine blood vessel, a collective venule, and a glandular opening are obtained. Is done.
  • the biological mucous membrane microstructure extracted in step S3 in FIG. 6 is also extracted as a continuous pattern.
  • FIG. 8 shows image data obtained when a blood vessel traveling in the mucous membrane is imaged in this state.
  • the mucous membrane of the living tissue 101 is imaged by the distal end portion 21 b of the insertion portion 21 a of the endoscope 2 (an imaging unit provided on the distal end portion 21 b).
  • a thin blood vessel A runs near a shallow position from the mucosal surface
  • a thick blood vessel B runs near a position deeper than the blood vessel A.
  • the image data obtained by imaging the biological mucosa from the direction perpendicular to the surface of the mucous membrane to the depth direction (depth direction) of the surface is continuous by connecting the blood vessel A and the blood vessel B as shown in FIG. There are cases where it appears as a blood vessel in the pattern.
  • the blood vessel A and the blood vessel B have different positions in the depth direction, and are not three-dimensionally connected. Therefore, image data in which the blood vessel A and the blood vessel B are two-dimensionally connected.
  • partial regions for example, blood vessel A and blood vessel B in FIG. 8
  • red light having a long wavelength diffuses deeply in a wide range
  • blue light having a short wavelength diffuses shallowly in a narrow range. It is known that due to the influence of this light propagation characteristic, the blood vessels existing on the deep side tend to be blurred and have low contrast, and the superficial blood vessels tend to be imaged with sharp contours and high contrast. .
  • the wavelength characteristic of the light to be projected is a narrow band, so that it is easily affected by the difference in the light propagation characteristic due to the depth described above. Therefore, in an image captured in the narrow-band light observation mode, the mucous membrane in which the blood vessel exists on the surface layer causes strong absorption of Bn light and weak absorption and scattering of Gn light, and the mucous membrane in which the blood vessel exists on the deep side is Bn light. It causes reflection and scattering and strong absorption of Gn light.
  • the color tone varies depending on the depth of the blood vessel and is imaged. Furthermore, for example, with regard to blood vessels, there is a tendency that thick blood vessels run in the deep part of the mucous membrane and thin blood vessels run on the surface layer, and there are cases where distinction is possible due to the difference in thickness on the image.
  • the calculation unit 41b (region division unit 43c) of the image processing unit 41 is a region where contrast is different inside the biological mucosal microstructure as shown in step S4 with respect to the biological mucous membrane microstructure extracted in step S3 of FIG. Is divided into partial regions corresponding to a predetermined division condition according to a predetermined division condition (the first condition indicating that the contrast is discontinuous or non-homogeneous (or non-identity)).
  • a predetermined division condition the first condition indicating that the contrast is discontinuous or non-homogeneous (or non-identity).
  • This predetermined division condition is such that when a three-dimensional discontinuous biological mucous membrane microstructure is imaged as if the pattern on a two-dimensional image data is a continuous pattern, Suitable for dividing (or extracting) the image data of the biological mucosa fine structure into partial areas at the discontinuous boundary (in other words, suitable for dividing or extracting the image data of the biological mucosa fine structure corresponding to the findings) A) forming conditions.
  • the description of the region division processing in the present embodiment will be continued.
  • the contrast here is, for example, an average value ⁇ A of image density values of an image according to G light in a region A which is a local region inside the region of the biological mucous membrane microstructure 51 as shown in FIG. It is assumed that the difference is from the average value ⁇ B of the image density values of the image corresponding to the G light in the region B which is a local region outside the region of the biological mucous membrane microstructure 51. If there is a difference in contrast (average value of image density values) or the contrasts are different, the region division process is performed assuming that the contrast indicates discontinuity or inhomogeneity.
  • the contrast when the difference in contrast between the region A and the region B is equal to or greater than the threshold value ⁇ , the contrast is determined to be discontinuous or non-homogeneous, and division processing is performed on the partial region at the boundary where the contrast is different Also good.
  • the contrast difference if the contrast difference is less than the threshold value ⁇ , the contrast may be determined as continuity or homogeneity, and the boundary where the contrast difference is less than the threshold value ⁇ may not be divided into partial regions.
  • contrast indicating discontinuity or inhomogeneity is abbreviated as contrast indicating discontinuity.
  • condition that each partial region shows continuity or homogeneity is, for example, when the region A is divided into two partial regions (partial region C and partial region D) as shown in FIG.
  • a condition that minimizes the change in the partial areas C and D may be set as the predetermined division condition.
  • the contrast variation (change) corresponding to each pixel belonging to the partial region C is minimized, and the contrast variation corresponding to each pixel belonging to the partial region D is minimized.
  • variance is used as a parameter representing the magnitude of variation.
  • this condition may be such that the change between the partial areas C and D is maximized.
  • the difference between the statistical properties of the contrast corresponding to each pixel belonging to the partial area C and the statistical properties of the contrast corresponding to each pixel belonging to the partial area D is maximized. This is equivalent to solving an optimization problem for obtaining a simple region segmentation result.
  • an average value is used as the statistical property.
  • the average value of the contrast in the partial region C is ⁇ C.
  • the average value of contrast in the partial area D when the mu D may be obtained the objective function subregion maximize f 2 C and partial region D below.
  • this condition may be a condition in which the change between the partial areas C and D is minimized, and the change between the partial areas C and D is maximized.
  • the contrast variance value in the partial region C is ⁇ C , average value mu C contrast, D a variance ⁇ of the contrast in the partial area D, and the average value of the contrast in the partial area D when the mu D, partial regions that maximizes the objective function f 3 of the following C and partial area D may be obtained.
  • the calculation unit 41b (the region division unit 43c) of the image processing unit 41 recognizes the branching portion from the biological mucosa fine structure extracted by the extraction unit 43b as shown in step S11 of FIG.
  • the branching unit recognition unit 44a of the region dividing unit 43c binarizes the extracted biological mucous membrane fine structure, and further performs a thinning process for detecting the center line, thereby reducing the thinned image (thinned image).
  • the pixels that are in contact with three or more directions among the pixels in the eight directions adjacent to each pixel are recognized as branching points (branch points).
  • FIG. 13A to FIG. 13C are specific explanatory diagrams of the processing contents by the branch recognition unit 44a.
  • the extraction unit 43b of the calculation unit 41b extracts the biological mucous membrane microstructure 51 (image thereof) branched in three directions as shown in FIG. 13A, for example.
  • the branch recognition unit 44a of the region division unit 43c binarizes the biological mucous membrane fine structure 51 (image thereof) of FIG. 13A extracted by the extraction unit 43b, and further performs a thinning process for detecting the center line.
  • a thinned image 51a shown in 13B is generated.
  • branching unit recognition unit 44a recognizes, as a branching unit 51b (a branching point), a pixel that is in contact with three or more directions among eight pixels adjacent to each pixel of the thinned image 51a.
  • the segment division unit 44b of the calculation unit 41b detects the biological mucosa fine structure segment divided by the branch unit 51b as shown in step S12.
  • the segment division unit 44b of the calculation unit 41b detects the thinned segment by removing each branch point from the thinned image 51a, and has a size of, for example, 7 ⁇ 7 with respect to the thinned segment.
  • the biological mucous membrane fine structure segments SG1, SG2, SG3 divided into three as shown by the dotted line in FIG. 13C are detected.
  • a thinned segment is detected by removing each branch point from the thinned image, and the widthwise direction with respect to the thinned segment is detected.
  • the boundary between the branching portion 51b and the biological mucosal microstructure 51 is not limited to the detection of the biological mucous membrane microstructure segment by performing the expansion process.
  • Biological mucosa fine structure segments SG1, SG2, and SG3 may be generated by dividing by a dividing line 51c connecting the two. The dividing line 51c is set so that the distance between the branch part 51b and the boundary of the biological mucous membrane microstructure 51 becomes a minimum value.
  • the region dividing unit 41c of the calculation unit 41b calculates the feature amount (by the feature amount calculation unit 43a) for each biological mucosa fine structure segment SG1, SG2, SG3 as shown in FIG. Based on the calculated feature amount, the image is divided into partial areas so that the contrast of each divided partial area satisfies the condition indicating continuity or homogeneity.
  • the feature amount (the response value of the filter that emphasizes the linear structure) calculated in step S2 in FIG. 6 depends on the contrast
  • the magnitude of the response value is determined.
  • the feature amount can be used as a parameter representing contrast.
  • the segment dividing unit 44b of the calculation unit 41b generates two sets of arbitrary combinations of biological mucosal fine structure segments from all the biological mucosal fine structure segments detected in step S12 of FIG. 12, and sets each set as a candidate for a partial region.
  • FIG. 15A corresponds to the case where the three biological mucosa fine structure segments SG1, SG2, and SG3 shown in FIG. 13C are partial region candidates.
  • the biological mucous membrane microstructure segment before division is shown in the case of a pattern branched into a tridental shape.
  • the segment dividing unit 44b divides the segment into candidates for partial regions so that one end is a branching portion and the other end side is an end (not shown). In addition, when the other end side is a branch portion, the same division is performed.
  • ⁇ S1A and ⁇ S2A represent the variance values of the contrasts of the partial region candidates S1A and S2A, and the region division processing is performed so that the sum of the two is minimized by Equation (4).
  • the partial region candidate S1B is a biological mucosal microstructure segment SG2, and the partial region candidate S2B is a biological mucosal microstructure segment SG3 + SG1.
  • f 1B ⁇ S1B + ⁇ S2B ⁇ min (5)
  • the partial region candidate S1C is the biological mucosal microstructure segment SG3, and the partial region candidate S2C is the biological mucosal microstructure segment SG1 + SG2.
  • two partial area candidates corresponding to the value of J are represented by S1J and S2J.
  • the region dividing unit 43c sets two dispersion value thresholds ⁇ th1 and ⁇ th2 in order to evaluate when dividing into partial regions.
  • the two threshold values ⁇ th1 and ⁇ th2 are calculated in advance from past data, for example.
  • the two thresholds ⁇ th1 and ⁇ th2 may be set to the upper limit value of the allowable dispersion value when dividing into partial areas.
  • the region dividing unit 43c performs a process of dividing the biological mucous membrane microstructure segment into two partial region candidates S1J and S2J under the condition that the two threshold values ⁇ th1 and ⁇ th2 or less.
  • the area dividing unit 43c determines whether or not there are partial area candidates S1J and S2J that can be divided under conditions of two thresholds ⁇ th1 and ⁇ th2 or less.
  • step S45 If it is determined that there is a partial area candidate S1Jmin in step S45, the area dividing unit 43c gives a value that minimizes the sum of two variance values in the partial area candidate S1J and the partial area candidate S2J. , S2Jmin is calculated, and then the process proceeds to the next step S46.
  • step S44 If there is no partial area candidate S1J or S2J in the determination process of step S44, the process proceeds to step S46.
  • the region dividing unit 43c divides the biological mucous membrane fine structure segment using the partial region candidates S1Jmin and S2Jmin as partial regions. Note that, even if the threshold value is set to the upper limit value as described above, if none of the partial region candidates S1Jmin and S2Jmin that give the value that minimizes the sum of the two variance values can be calculated in step S48, another division is performed. Region division is performed using conditions. In this case, not the equation (1) but, for example, the following values that are the maximum in each of the objective functions f 3J of each group J in the N groups corresponding to the objective function of the equation (3) are obtained.
  • FIG. 16B shows a flowchart for performing such processing. Note that the process of FIG. 16B may be performed without performing the process shown in FIG. 16A. Since the process of FIG. 16B is similar to the process of FIG. 16A, a different part is demonstrated.
  • the first step S41 in FIG. 16B is the same as that in FIG. 16A, and in the next step S42 ′, the area dividing unit 43c sets the threshold values ⁇ th1 and ⁇ th2 of the average values in addition to the threshold values ⁇ th1 and ⁇ th2 of the variance values in FIG. To do.
  • the average threshold values ⁇ th1 and ⁇ th2 are calculated in advance from, for example, past data.
  • the two threshold values ⁇ th1 and ⁇ th2 may be set to the lower limit value of the average value allowed when dividing into partial areas.
  • the region dividing unit 43c divides the biological mucous membrane microstructure segment into two partial region candidates S1J and S2J under the conditions of two thresholds ⁇ th1 and ⁇ th2 or more and two thresholds ⁇ th1 and ⁇ th2 or less. I do.
  • step S44 the area dividing unit 43c determines whether or not there are partial area candidates S1J and S2J that can be divided under the condition of step S43 ′.
  • the region dividing unit 43c determines that the sum of the two variance values in the partial region candidate S1J and the partial region candidate S2J is minimum and the sum of the two average values is After performing the process of calculating the partial area candidates S1Jmax and S2Jmax that give the maximum value (in other words, satisfy Expression (7)), the process proceeds to the next step S46.
  • step S44 if there is no partial area candidate S1J or S2J in the determination process of step S44, the process proceeds to step S46.
  • the region dividing unit 43c divides the biological mucosal microstructure segment using the partial region candidates S1Jmax and S2Jmax as partial regions.
  • the biological mucous membrane microstructure that exhibits a continuous pattern on the image data is obtained.
  • Each of the partial areas can be divided into partial areas whose contrast shows continuity. As a result, it is possible to improve the extraction accuracy of the biological mucous membrane microstructure corresponding to the findings.
  • the apparently continuous pattern is obtained on the two-dimensional image data obtained by imaging the three-dimensional biological mucous membrane fine structure, it is divided into partial regions at discontinuous boundaries corresponding to the three-dimensional structure, and after the division Then, it can be divided into partial areas in which the contrast shows continuity within each partial area. As a result, it is possible to improve the extraction accuracy for extracting the partial region corresponding to the three-dimensional biological mucosa fine structure.
  • the region division is performed not only in the case of the structure branched into three as shown in FIGS. 15A to 15D, but also in the same process or method even in the structure branched into four or more. be able to.
  • the area division processing according to the present embodiment is performed using the objective function f 1 (or objective functions f 1A , f 1B , and f 1C corresponding thereto) in Expression (1) (or Expressions (4) to (6) corresponding thereto).
  • the objective function f 1 or objective functions f 1A , f 1B , and f 1C corresponding thereto
  • Expression (1) or Expressions (4) to (6) corresponding thereto.
  • the value of the objective function f 3 may be configured to maximize in).
  • the region division processing according to the present embodiment is not limited to an image obtained when the narrow-band light observation mode is selected.
  • an image obtained when the normal light observation mode is selected is used. Can be performed in substantially the same manner.
  • the region division processing of the present embodiment is not limited to a method of calculating an evaluation value representing the linear structure based on the eigenvalue obtained by calculating the eigenvalue of the Hessian matrix as a filter that emphasizes the linear structure, It may be a filter that calculates the difference between the average value of the image density value in the structural element and the average value in the local region surrounding the structural element when the line segment is the structural element. Also, the difference of the elliptical Gaussian filter may be calculated, or the Laplacian of the elliptical Gaussian filter may be calculated. Also, a difference filter such as a Sobel filter may be used.
  • the region division processing according to the present embodiment is not limited to calculating a response value of a filter that emphasizes a linear structure using a pixel value of image data corresponding to G light as a predetermined feature amount. It may be calculated using pixel values of image data corresponding to R light or B light.
  • the region division processing uses, as a predetermined feature amount, a response value of a filter that emphasizes a linear structure, from an image data pixel value corresponding to G light to an image density value of image data corresponding to R light. It may be calculated using a value obtained by dividing (or pixel value).
  • the region division processing according to the present embodiment uses a filter response value that emphasizes the linear structure, a RGB color system pixel value as an HSI color system, or an L * a * b color system as a predetermined feature amount. It is also possible to calculate using a value after conversion obtained by converting to.
  • the region division processing according to the present embodiment is not limited to using variance as a variation parameter in the region division condition that minimizes a change in a partial region to be divided, and a standard deviation or a standard deviation is divided by an average.
  • the coefficient of variation obtained by this may be used.
  • the area division processing of the present embodiment uses not only the average value as a parameter of statistical properties but also the median or mode in the area division condition that maximizes the change between the divided partial areas. It may be a thing.
  • the recognition of the branch portion may be recognized by the response value of the matched filter modeled in accordance with the shape of the branch.
  • the means and method for dividing the biological mucous membrane microstructure into regions based on contrast discontinuity have been described.
  • the gist of the present embodiment is the contrast discontinuity or non-contrast.
  • the method is not limited to the method of performing region division based on homogeneity, and for example, it is also possible to perform region division based on the morphological features of the structure.
  • the extraction of the biological mucous membrane microstructure and the partial region are performed.
  • the same feature amount is used for the region division, but it is also possible to use different feature amounts for the extraction of the biological mucosa fine structure and the region division into partial regions.
  • morphological feature amounts such as the width of the pattern of the biological mucous membrane microstructure are used while different feature amounts are used for extraction of the biological mucous membrane microstructure and segmentation into partial regions.
  • the configuration of the endoscope apparatus according to the present embodiment is the same as the configuration of the endoscope apparatus 1 of the first embodiment shown in FIG.
  • symbol as the endoscope apparatus 1 of 1st Embodiment is used as the endoscope apparatus of this embodiment, and description of the structure is abbreviate
  • the image processing unit constituting the medical image processing apparatus of the present embodiment has the same configuration as the image processing unit 41 shown in FIG. Therefore, the same reference numerals as those of the image processing unit 41 of the first embodiment are used as the image processing unit of the present embodiment, and the description thereof is omitted. Moreover, the structure of the calculating part 41b of this embodiment is shown to FIG. 16C.
  • the calculation unit 41b of the present embodiment shown in FIG. 16C is partially different from the calculation unit 41b of the first embodiment shown in FIG.
  • the feature amount calculation unit 43a in FIG. 5 uses the feature amount used when extracting the biological mucous membrane fine structure in common with the feature amount used when dividing the region, but the feature amount calculation unit 43a in FIG. 16C.
  • the calculation unit 41b illustrated in FIG. 16C has a configuration that includes the case of the first embodiment, and therefore, a common feature amount can be calculated as in the first embodiment.
  • the discontinuity (or inhomogeneity) of the contrast is set as a division condition for dividing the partial area.
  • the structure of the structure other than the contrast is used.
  • the division condition setting unit 43d may be provided inside the image processing unit 41 outside the calculation unit 41b.
  • the calculation unit 41b includes a first division condition 46a that uses contrast discontinuity (or non-homogeneity) as a division condition, and a discontinuity (or non-homogeneity) in the morphological feature amount of the structure. And a second division condition 46b having a division condition as a division condition.
  • the memory 47 may be provided inside the image processing unit 41 outside the calculation unit 41b.
  • the division condition setting unit 43d can select one of the first division condition 46a and the second division condition 46b stored in the memory 47 and set it as the division condition. I have to.
  • the third division condition 46c can be further selected.
  • the third division condition is to use discontinuity (or non-homogeneity) in color tone as a division condition.
  • Other configurations are the same as those of the first embodiment.
  • This embodiment is almost the same as the first embodiment when the first division condition is selected as the division condition, and therefore, the case where the division condition other than the first division condition is selected will be described.
  • the calculation unit 41b includes an extraction feature amount calculation unit 45a, a feature amount calculation unit 43a having an area division feature amount calculation unit 45b, an extraction unit 43b, a branching unit recognition unit 44a, a segment division unit 44b, A description will be given of the case of the area division unit 43c having the division determination unit 44c, and the division condition setting unit 43d that can select the second division condition 46b or the third division condition 46c.
  • a configuration including such a calculation unit 41b may be used as a modification of the second embodiment.
  • the operation does not include the first embodiment using contrast.
  • the configuration shown in FIG. 16C in addition to the operation of the first embodiment, the following operation is provided.
  • the operator turns on the power of each part of the endoscope apparatus 1 and then selects the normal light observation mode with the observation mode switch 24. Then, the operator views the endoscope 2 while viewing the image displayed on the display device 5 when selecting the normal light observation mode, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting into the body cavity, the distal end portion 21b is brought close to the site where the biological tissue 101 to be observed exists.
  • the observation mode changeover switch 24 When the normal light observation mode is selected by the observation mode changeover switch 24, light of each color of R light, G light, and B light is sequentially emitted from the light source device 3 to the living tissue 101, and the light of each color is emitted from the endoscope 2. Images corresponding to each are acquired.
  • FIG. 17 shows the main processing of the image processing unit 41 different from the first embodiment in this embodiment.
  • an image corresponding to the R light, an image corresponding to the G light, and an image corresponding to the B light are input to the image input unit 41d as shown in step S21 of FIG. Is input via. Then, the image data generation unit 41a generates image data of color components corresponding to each image, and outputs the generated image data to the calculation unit 41b of the image processing unit 41.
  • the calculation unit 41b of the image processing unit 41 may perform reverse gamma correction and noise suppression processing as preprocessing (not shown) as needed based on the image data generated by the image data generation unit 41a.
  • the calculation unit 41b calculates a predetermined feature amount used for the subsequent processing based on the image data generated by the image data generation unit 41a.
  • the feature amount calculation unit 43a uses the extraction feature amount calculation unit 45a to set the response value of the filter that emphasizes the linear structure as image data corresponding to G light. For each pixel, and a feature value for extraction is calculated. And the extracted feature-value is sent to the extraction part 43b of the calculating part 41b.
  • the extraction unit 43b Based on the feature amount extracted in step S22, the extraction unit 43b performs a process of extracting a region where the biological mucosa fine structure exists in the biological tissue 101 as shown in step S23 of FIG.
  • step S24 the calculation unit 41b (the feature amount calculation unit 43a) calculates a region segmentation feature amount different from the extraction feature amount calculated in step S22.
  • the feature quantity calculation unit 43a uses the area segmentation feature quantity calculation unit 45b as a feature quantity for area division, for example, a morphological feature quantity of the pattern of the biological mucosa microstructure extracted in step S23 (specific example) Then, the width is calculated.
  • the region segmentation feature quantity calculation unit 45b binarizes the biological mucous membrane microstructure 51 shown in FIG. 18A extracted in step S23 of FIG. FIG. 18B shows a binarized binary image EB.
  • the binarized image EB is an image in which the pixel value of the pixel corresponding to the biological mucous membrane microstructure is 1 and the pixel values of the other pixels are 0. Further, the region dividing feature amount calculation unit 45b performs a thinning process for detecting the center line on the binarized image EB, thereby obtaining a thinned image 51a shown in FIG. 18C.
  • the thinned image 51a is an image in which the pixel value of the pixel corresponding to the center line of the biological mucous membrane microstructure is 1 and the pixel values of other pixels are 0. As shown in FIG.
  • 18F shows the traveling direction Ds of the biological mucosa microstructure and the orthogonal direction Dv orthogonal to the traveling direction Ds in order to calculate the width of the biological mucosa microstructure in the pixel EBi of the binarized image EB.
  • the traveling direction Ds of the biological mucosa microstructure in the pixel EBi can be obtained by a known method as shown below.
  • the gradient direction ⁇ obtained by performing the horizontal differential process and the vertical differential process on the image data corresponding to the G light, and calculating the arc tangent of the resulting differential value in the two directions Further, for example, it can be obtained by quantization in four directions as shown in FIG.
  • the left side of FIG. 19 shows the state of quantization in four directions D1-D4 in units of ( ⁇ / 4) radians, with ⁇ ⁇ ⁇ ⁇ ⁇ in the direction from ⁇ radians to ⁇ radians. Further, the right side of FIG. 19 shows the range of the gradient direction ⁇ in the case of corresponding to each of the four directions.
  • the orthogonal direction Dv orthogonal to the traveling direction Ds of the biological mucosa microstructure in the pixel EBi is ( ⁇ / 2) in the gradient direction ⁇ obtained by calculating the arc tangent of the differential value in two directions obtained by the above calculation. ) It can be obtained by adding radians and further quantizing in four directions as shown in FIG.
  • the number of directions to be quantized is not limited to the four directions as shown in FIG.
  • the region dividing unit 43c of the calculation unit 41b has different widths (or thicknesses) as morphological feature amounts calculated in the biological mucous membrane microstructure 51 in step S24 of FIG. 17, for example, as shown in FIG. Is present, it is divided into the partial regions 61 and 62 by the dividing line L based on the condition indicating the discontinuity or inhomogeneity of the width (morphological predetermined dividing condition) as shown in step S25. Then, the width of each of the partial areas 61 and 62 after the division shows continuity or homogeneity.
  • the region division processing here is the same processing as the region division processing of the first embodiment described above, and the same processing can be performed by replacing the contrast in the first embodiment with the width.
  • the biological mucous membrane microstructure that exhibits a continuous pattern on the image data is obtained.
  • the biological mucous membrane fine structure can be divided into two partial areas having a uniform width. As a result, it is possible to improve the extraction accuracy of the biological mucous membrane microstructure corresponding to the findings.
  • each of the partial areas can be divided into partial areas whose width is uniform or shows continuity. As a result, it is possible to improve the extraction accuracy for extracting the partial region corresponding to the three-dimensional biological mucosa fine structure.
  • the region division processing based on the morphological division condition of the present embodiment is not limited to the division into partial regions using the width of the biological mucosa fine structure, and the third division condition 46c shown in FIG. 16C. (Conditions relating to color tone) may be selected, and the region division processing may be performed using the discontinuity (or non-uniformity) of the color tone as a predetermined division condition.
  • FIG. 21 shows an example of division into partial regions 61 and 62 by a dividing line L due to discontinuity of color tone in the biological mucous membrane microstructure 51.
  • the image density value of the image data corresponding to the G light at each pixel position in the biological mucosa microstructure in step S24 with respect to the biological mucosa microstructure extracted in step S23 of FIG. May be calculated.
  • the biological mucous membrane fine structure segment is detected by a method substantially similar to the method described above, and the average value is calculated for all the pixels constituting each segment from the image density value of the image data corresponding to the G light.
  • the color tone of each mucosal microstructure segment can be obtained.
  • the region dividing process of the present embodiment is not limited to the one that is divided into partial regions using the width of the biological mucosa fine structure, and the traveling direction of the biological mucosa fine structure as shown in FIG. 22 and FIG. May be used.
  • FIG. 22 shows a state where the traveling direction in the biological mucosa microstructure 51 as shown on the left side is divided into the partial areas 61 and 62 by the dividing line L as shown on the right side.
  • the partial areas 61, 62a, 62b A state of being divided into 62c and 62d is shown.
  • the traveling direction at each pixel position of the biological mucous membrane fine structure is obtained by performing horizontal differential processing and vertical differential processing on the image data corresponding to the G light, and resulting bi-directional differentiation.
  • the gradient direction ⁇ obtained by calculating the arc tangent of the value can be obtained by further quantizing the four directions as shown in FIG. 19, for example.
  • each biological mucous membrane microstructure segment is obtained by detecting the biological mucous membrane microstructure segment by a substantially similar method and calculating the mode value from the running direction for all the pixels constituting each segment. Can do. And when the mode value of a running direction shows discontinuity, it divides
  • FIGS. 24A and 24B The calculation process of the frequency in the running direction in the biological mucous membrane microstructure segment is shown in FIGS. 24A and 24B.
  • the traveling direction at each pixel position in the biological mucous membrane microstructure segment SG is calculated.
  • the calculated driving direction information for all pixels is divided into four directions D1-D4 shown in FIG. 19, for example, and the frequency is calculated.
  • the mode value in the traveling direction is set as the traveling direction.
  • the region division process is performed using the mode value in the traveling direction as a division condition using the discontinuity of the mode value in the traveling direction.
  • the mode value in the traveling direction becomes almost continuous in each partial area.
  • the region division processing is performed using the mode value
  • the region division processing is performed using the weighted mode value in the weighted histogram obtained by multiplying each gradient direction with the gradient strength as a weight. You may make it perform.
  • region division processing of the present embodiment is not limited to the one that is divided into partial regions using the width of the biological mucosa fine structure, and may be the one that uses the length of the biological mucosa fine structure.
  • the length of the biological mucosa microstructure is, for example, the pixel value of the thinned image obtained by binarizing the biological mucous membrane microstructure extracted in step S23 in FIG. 17 and performing thinning processing for detecting the center line. This is the total number of pixels that are one.
  • the length of each of the biological mucous membrane fine structure segments can be calculated by detecting the thinned segments from the thinned image by a substantially similar method and counting the number of pixels constituting each thinned segment.
  • the region division processing of the present embodiment is not limited to the division into partial regions using the width of the biological mucosa microstructure, but the contrast, width, color tone, running direction, length of the biological mucosa microstructure. Two or more of them may be used in combination. In the following, as an example of the combination, in the example of dividing the region using the width and the color tone, the parts with the same processing are omitted, and only main parts serving as points are shown.
  • the variance value of the width in the partial area C is ⁇ wC
  • the variance value of the color tone is ⁇
  • the distribution value of the width in the partial region D is ⁇ wD
  • the variance value of the color tone is ⁇ cD
  • the partial region C and the partial region D that minimize the following objective function f 1D may be obtained.
  • f 1D ⁇ ( ⁇ wC + ⁇ wD ) + ⁇ ( ⁇ cC + ⁇ cD ) ⁇ min (8)
  • the average value of the width in the partial region C is ⁇ wC
  • the average value of the hue is ⁇
  • the partial area C and the partial area D that maximize the following objective function f 2B may be obtained.
  • the variance value of the width in the partial area C is ⁇ wC
  • the variance value of the color tone is ⁇ cC
  • the average value of the width in the partial region C is ⁇ wC
  • the average value of the color tone is ⁇ cC
  • the variance value of the width in the region D is ⁇ wD
  • the variance value of the color tone is ⁇ cD
  • the width in the partial region D is
  • the region division processing of the present embodiment may be a method for obtaining a combination of biological mucosa fine structure segments that minimizes the value of the objective function f 1D in Expression (8), or the objective function f 2B in Expression (9). May be a method of maximizing the value of the objective function f 3B of the equation (10).
  • the first embodiment and the second embodiment are methods for performing region division by paying attention to the change in the characteristics within and between the areas of the partial areas.
  • This is a method of dividing an area by paying attention to an absolute amount. More specifically, when the region of the biological mucous membrane microstructure is divided, the region is divided into a partial region (a prominent partial region) in which a predetermined feature amount is maximized and other partial regions.
  • processing is performed using the endoscope apparatus 1 having the same configuration as in the first embodiment and the second embodiment. Therefore, in the present embodiment, the endoscope apparatus 1 having the same reference numerals as in the first embodiment is used.
  • the image processing unit of the present embodiment has the same configuration as the image processing unit 41 of the first and second embodiments, and the present embodiment will be described using the image processing unit 41 having the same reference numerals.
  • the structure of the calculating part 41b in this embodiment is shown in FIG.
  • the memory 47 further stores a fourth division condition 46d for performing the region division processing by saliency. The user can select an arbitrary division condition from the first division condition 46a to the fourth division condition 46d.
  • the region dividing unit 43c further includes an end recognition unit 44d as an end recognition unit for recognizing (or detecting) at least one end from the biological mucous membrane microstructure extracted by the extraction unit 43b, and an end recognition unit.
  • a partial structure candidate detection unit serving as a partial structure candidate detection unit that detects, as a partial structure candidate, a partial structure having the end at one end from the biological mucous membrane fine structure extracted by the extraction unit 43b based on the end recognized by 44d 44e.
  • the division determination unit 44c of the region division unit 43c sets the fourth division condition 46d as a predetermined division condition based on the feature amount calculated from each of the partial structure candidates detected by the partial structure candidate detection unit 44e. Determination and division to divide into corresponding partial areas are performed.
  • partial structure candidate detection unit 44e may also function as the end recognition unit 44d. That is, the partial structure candidate detection unit 44e recognizes at least one end from the biological mucous membrane fine structure, and further (substructure candidate detection unit 44e) has a partial structure having the end at one end based on the recognition result. You may make it detect as a candidate.
  • the calculation unit 41b includes an extraction feature amount calculation unit 45a, a feature amount calculation unit 43a having an area segmentation feature amount calculation unit 45b, an extraction unit 43b, an end recognition unit 44d, and a partial structure candidate detection unit. 44e, the region dividing unit 43c having the division determination unit 44c, and the division condition setting unit 43d in which the fourth division condition 46d is selected will be described. As a modification of the third embodiment, a configuration including only such a calculation unit 41b may be used.
  • the operator turns on the power of each part of the endoscope apparatus 1 and then selects the normal light observation mode with the observation mode switch 24. Then, the operator views the endoscope 2 while viewing the image displayed on the display device 5 when selecting the normal light observation mode, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting into the body cavity, the distal end portion 21b is brought close to the site where the biological tissue 101 to be observed exists.
  • the observation mode changeover switch 24 When the normal light observation mode is selected by the observation mode changeover switch 24, light of each color of R light, G light, and B light is sequentially emitted from the light source device 3 to the living tissue 101, and the light of each color is emitted from the endoscope 2. Images corresponding to each are acquired.
  • FIG. 26 shows the main processing of the image processing unit 41 in the present embodiment.
  • an image corresponding to the R light, an image corresponding to the G light, and an image corresponding to the B light are input to the image input unit 41d as shown in step S31 of FIG. Is input via. Then, the image data generation unit 41a generates image data of color components corresponding to each image, and outputs the generated image data to the calculation unit 41b of the image processing unit 41.
  • the calculation unit 41b of the image processing unit 41 may perform reverse gamma correction and noise suppression processing as preprocessing (not shown) based on the image data generated by the image data generation unit 41a as necessary.
  • the calculation unit 41b calculates a predetermined feature amount used for the subsequent processing based on the image data generated by the image data generation unit 41a.
  • the feature amount calculation unit 43a uses the extraction feature amount calculation unit 45a to set the response value of the filter that emphasizes the linear structure as image data corresponding to G light. For each pixel, and a feature value for extraction is calculated. And the extracted feature-value is sent to the extraction part 43b of the calculating part 41b.
  • the extraction unit 43b Based on the feature amount extracted in step S32, the extraction unit 43b performs a process of extracting a region where the biological mucosa fine structure exists in the biological tissue 101 as shown in step S33 of FIG.
  • the extraction unit 43b outputs the extracted biological mucous membrane microstructure to the region dividing unit 43c.
  • the end recognition unit 44d of the region dividing unit 43c recognizes a plurality of end points (as ends of the biological mucosa microstructure) from the extracted biological mucosa microstructure.
  • the edge recognizing unit 44d of the area dividing unit 43c recognizes a plurality of end points as shown in step S34 from the biological mucous membrane fine structure extracted in step S33 of FIG. 26, and in the next step S35, the part of the area dividing unit 43c.
  • the structure candidate detection unit 44e detects a pair of two end points as end point candidates, and detects a path that passes through the biological mucous membrane microstructure connecting both end points as a path candidate (forms a partial structure candidate). To do.
  • the edge recognition unit 44d generates a thinned image 51a shown in FIG. 27B by binarizing the biological mucous membrane microstructure 51 shown in FIG. 27A and further performing a thinning process for detecting the center line. To do. Further, the end recognition unit 44d recognizes all the pixels whose number of adjacent pixels is 1 from the thinned image 51a, that is, the end point group. In the case of FIG. 27B, the three end points P1, P2, and P3 are recognized (detected), and the end point group includes the end points P1, P2, and P3.
  • route candidates CP 1 , CP 2 , and CP 3 as shown in FIGS. 27C, 27D, and 27E are detected.
  • the feature amount calculation unit 43a calculates, as the predetermined feature amount, for example, the length l (CP k ) of the path candidate CP k of the biological mucosa microstructure as the feature amount for region division.
  • Route candidates CP k of length l (CP k) are obtained, for example, by calculating the total number of pixels constituting the route candidates CP k each on thinned image 51a.
  • the three sets of route candidates CP 1 , CP 2 , CP 3 shown in FIGS. 27C, 27D, and 27E are as shown in FIGS. 27F, 27G, and 27H, respectively.
  • the division determination unit 44c determines that the longest candidate route CPmax from the three route candidates CP 1 , CP 2 , CP 3 is the route candidate CP 1 .
  • the division determination unit 44c by performing the expansion processing path candidate CP 1 in the width direction, and generates a partial region 61 and 62 divided by the dividing line L as shown in FIG. 27I.
  • the calculation unit 41b performs the same processing to determine the division of the calculation unit 41b.
  • the unit 44c generates partial regions 61, 62a, and 62b divided by the dividing lines L1 and L2 as shown on the right side of FIG.
  • a biological mucous membrane microstructure that exhibits a continuous pattern on the image data is obtained.
  • the biological mucosal microstructure can be divided into partial areas so as to have a partial area with the maximum length.
  • the first embodiment and the second embodiment are the region division methods based on the discontinuity or non-homogeneity of the biological mucosa microstructure
  • the present embodiment is partially remarkable in the biological mucosa microstructure.
  • the extraction accuracy of the biological mucosa fine structure corresponding to the findings can be improved.
  • a process according to a predetermined division condition set or selected by the division condition setting unit 43d as illustrated in FIG. 29 may be performed.
  • the user sets or selects a predetermined division condition by the division condition setting unit 43d.
  • step S51 After the process of step S51, the process of image input in step S52, the process of calculating the feature value for extraction in step S53, and the process of extracting the biological mucosa microstructure in step S54 are sequentially performed.
  • steps S52, S53, and S54 are the same processing as steps S21, S22, and S23 in FIG. 17 (or steps S31, S32, and S33 in FIG. 26).
  • step S55 after step S54, the area dividing unit 43c determines the predetermined division condition set in step S51. Then, according to the determination result, the feature amount calculation unit 43a calculates a feature amount for region division.
  • the feature amount calculation unit 43a (the region division feature amount calculation unit 45b) extracts the biological mucous membrane extracted in step S54.
  • the contrast in the fine structure pattern is calculated as a feature amount for area division.
  • the feature amount calculation unit 43a extracts the biological mucous membrane extracted in step S54.
  • the morphological feature amount (specifically, the width or length of the pattern, the traveling direction, or the like) in the fine structure pattern is calculated as the feature amount for region division.
  • the feature amount calculation unit 43a (the region division feature amount calculation unit 45b) extracts the biological mucous membrane extracted in step S54.
  • the feature quantity of the color tone in the fine structure pattern is calculated as the feature quantity for area division.
  • the feature amount calculation unit 43a extracts the biological mucous membrane extracted in step S54.
  • a saliency feature amount in the fine pattern is calculated as a region division feature amount.
  • step S60 after the processing of steps S56, S57, S58, and S59, the region dividing unit 43c generates a discontinuity of the calculated feature value based on the calculated feature value for region division based on the calculated feature value for region division. Is divided into partial areas corresponding to at least one of sex, heterogeneity, and non-saliency. Then, each of the divided partial regions is discontinuous, non-homogeneous, or non-saliency, and has a continuity, homogeneity, or saliency characteristic. In this way, the process of FIG. 29 is completed.
  • 3 of the biological mucous membrane microstructure is determined based on various feature values (specifically, contrast, color tone, width, length, traveling direction, etc. in the pattern) indicated by the pattern of the biological mucosa microstructure. It can be divided into partial areas with high accuracy so as to reflect the dimensional structure.
  • the process shown in FIG. 29 shows an example of a specific process, and a partly changed process may be performed. For example, two or three (such as plural) processes in steps S56, S57, S58, and S59 are performed sequentially or in parallel, and the process of step S60 is performed based on the calculation results of the plurality of feature values.
  • two feature quantities that is, the width and length of the pattern are calculated, and the process of step S60 is performed based on the calculation result. good.
  • a calculation feature quantity order setting unit that sets the order of feature quantities to be preferentially calculated is provided, and feature quantities with high priority are preferentially calculated.
  • the region division processing may be performed based on the above. Further, the region division processing may be performed based on the calculation results of a plurality of feature amounts having high priority. In this way, it is possible to perform more reliable region segmentation and accurate partial region extraction.
  • the series of processes described in each of the above embodiments is not limited to what is applied to an endoscopic image, but is applied to, for example, an image obtained by a capsule endoscope. Alternatively, it may be applied to various medical images such as monochrome images. Further, the series of processes described in the above embodiments can be applied to any of a surface pattern, a pit pattern (pit pattern), and a blood vessel in a biological mucosa microstructure.
  • processing may be performed using a feature amount calculated for each pixel, or for each small area composed of a plurality of pixels (for example, 4 ⁇ 4 pixels).
  • the processing may be performed using the feature amount calculated in (1).
  • the second embodiment has been described as a configuration substantially including the first embodiment.
  • the first embodiment is described. You may make it the structure which excluded the form.
  • 3rd Embodiment demonstrated 1st Embodiment and 2nd Embodiment substantially by structure, as mentioned as a modification in 3rd Embodiment, 1st Embodiment and A configuration excluding the second embodiment may be adopted.
  • the present invention is not limited to the above-described embodiments, but includes embodiments that are configured by partially combining embodiments including modifications. Furthermore, it goes without saying that the present invention can be variously modified and applied without departing from the spirit of the present invention.

Abstract

　生体粘膜を撮像した医用画像から特徴量算出部４３ａは特徴量を算出し、抽出部４３ｂは算出された特徴量から生体粘膜微細構造を抽出し、特徴量算出部４３ａは抽出された生体粘膜微細構造からさらに特徴量を算出し、領域分割部４３ｃは算出された特徴量から所定の条件に対応する部分領域に分割する。

Description

医用画像処理装置及び医用画像処理方法
　本発明は、生体粘膜を撮像した医用画像に対して画像処理を行う医用画像処理装置及び医用画像処理方法に関する。
　生体組織を撮像して得た医用画像の特徴量の算出結果に基づき、該医用画像において領域分割を行うことで所定の対象物が存在する領域を検出する技術が従来から利用されている。
　例えば、日本国特開２００６－１４１７３４号公報には、被写体を撮像した画像信号に基づいて、二値化処理により生体粘膜微細構造を抽出し、生体粘膜微細構造にあたる画素の画素値を１、それ以外の画素の画素値を０として生成した二値化画像に対してラベリング処理を施し生体粘膜微差構造を構成する構成要素を識別し、構成要素毎の構造情報に基づいて生体粘膜微細構造の各要素に領域を割り当てる領域分割技術が開示されている。
　また、日本国特表２０１１－５１６２００号公報には、網膜画像の１つ以上の血管の１つ以上の経路を自動的にトレースし、トレースした血管に含まれる血管セグメントを自動的に識別し、血管セグメントを使用して血管の特徴量を算出する技術が開示されている。
　また、近年、内視鏡（カプセル型内視鏡も含む）システムの高解像度化、拡大内視鏡の普及、及び、狭帯域光観察の普及により、微細血管像及びｐｉｔ（腺口）構造等の生体粘膜微細構造の観察の重要性が高まっている。
　生体組織における生体粘膜微細構造の形態及び分布情報は、正常組織と腫瘍組織との分別、さらには癌の深達度の推定等の病変の診断に有用である。これらの生体粘膜微細構造所見に対しては、様々な臓器、疾患に対して種々の分類に基づく診断学が提唱され、用いられている。　例えば、大腸ｐｉｔ　ｐａｔｔｅｒｎの観察（例えば、工藤進英：「陥凹型早期大腸癌」、Ｍｏｎｔｈｌｙ　Ｂｏｏｋ　Ｇａｓｔｒｏ、全日本病院出版会、１９９３年５月１５日、第３巻、第５号、ｐ．４７－ｐ．５４を参照）や、胃の粘膜内微細血管所見であるＭＶ　Ｐａｔｔｅｒｎ及び粘膜表面微細構造（上皮構造）所見であるＭＳ Ｐａｔｔｅｒｎ（例えば、八尾建史、松井敏幸：「胃拡大内視鏡」（２００９）を参照）や、食道の粘膜内微細血管所見であるＩＰＣＬ（例えば、井上晴洋、他５名：「食道疾患の拡大内視鏡診断」、消化器内視鏡、東京医学社、２００１年３月２５日、第１３号、第３号、ｐ．３０１－ｐ．３０８を参照）が知られている。また、明確な分類はないが気管支の血管所見も注目されている。
　一方、このような診断は、主に医師の経験及び知識に基づくものであるため、経験や知識の差異を除外するための手法として、例えば、画像解析手法を用いた生体粘膜微細構造所見の鑑別診断支援手法の実現が望まれている。そして、このような鑑別診断支援手法が、コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ、ＣＡＤ）の一つとして研究されている。
　例えば、胃のＭＶ　Ｐａｔｔｅｒｎ及びＭＳ　Ｐａｔｔｅｒｎを用いた診断においては、各パターン（図形）の形状の均一性、配列の規則性、分布の対称性が重要な所見として挙げられる。これらの所見はただ目に写る画像そのものでなく、例えば、目に見える内視鏡像から生体粘膜の三次元的な組織学的構造を推測、分析する等、何らかの解釈を加えて認識されるものと考えられる。
　こういった何らかの解釈を加えるプロセスによって、認識の対象となる所見が、ある場合は画像上のパターン全体であり、また、ある場合は部分的なパターンのみである、というように変化すると考えられる。
　内視鏡画像のような医用画像における生体粘膜微細構造の解析においては、以下の（Ａ）～（Ｂ）の課題がある。
　（Ａ）内視鏡画像を取得する際の観察距離、方向、角度、及び、照明光量等の撮像条件が不安定である。
　（Ｂ）所見が多種多様かつ複雑である。
　本発明は、特に、課題（Ｂ）に着目した発明を提供するものであり、以下は課題（Ｂ）について詳しく述べる。
　例えば、連続的なパターンを呈する生体粘膜微細構造に関して、（Ｂ）は、（Ｂ１）生体粘膜微細構造が真に連続的なパターンを呈している場合と、（Ｂ２）３次元構造の２次元画像化に伴って不連続な構造があたかも連続的なパターンを呈しているかのように画像化される場合と、の大きく２つの場合に分けることができる。
　（Ｂ２）は、より具体的には、粘膜組織の光学的特性や三次元的な配置によって、組織学的に独立した構造同士であっても画像の奥行き方向で互いに重なり合ったり隣接し合ったりすることで生じ、不連続な構造があたかも連続的なパターンを呈しているかのように画像化される。　
　内視鏡画像における生体粘膜微細構造の解析においては、単に目に写る連続的なパターンを解析するのではなく、何らかの解釈を加えて所見に対応したパターンを解析することが必須であると考えられるが、前述した課題があることから、所見に対応した生体粘膜微細構造を内視鏡画像から抽出・解析することは困難である。
　例えば、日本国特開２００６－１４１７３４号公報に記載された生体粘膜微細構造抽出方法に係る技術は、撮像された画像において各々の生体粘膜微細構造が形態的に単純であるとともに画像空間上で独立しており離散的なパターンとして画像化された場合には有効な処理結果が得られる反面、生体粘膜微細構造が複雑な形状を呈している場合や複数の生体粘膜微細構造が重なり合ったり隣接し合ったりすることで連続的なパターンを呈している場合には有効な処理結果を得ることが困難である、という課題を有している。
　その結果、例えば、生体粘膜微細構造を撮像して得た画像に対し、日本国特開２００６－１４１７３４号公報に記載された生体粘膜微細構造方法及び特徴量算出方法に係る技術を用いた場合、所見に対応した生体粘膜微細構造の抽出精度の低下を招いてしまう。
　また、日本国特表２０１１－５１６２００号公報に記載された網膜画像分析方法に係る技術は、撮像された画像の血管を構成する血管セグメントを使用して血管の特徴量を算出する観点が開示されているが、生体粘膜微細構造の部分的パターンのみを所見とする観点や、３次元構造の２次元画像化に伴って不連続な構造があたかも連続的なパターンを呈しているかのように画像化される課題について着想されておらず、具体的な開示もない。
　日本国特表２０１１－５１６２００号公報に記載された網膜画像分析方法に係る技術は、撮像された生体粘膜微細構造の連続するパターン全体が所見として認識対象になる場合においては有効な処理結果が得られる反面、生体粘膜微細構造の部分的なパターンが診断に重要な所見であるような場合や三次元的に不連続な構造があたかも連続的なパターンを呈しているかのように画像化された場合においては有効な処理結果を得ることが困難である、という課題を有している。
　その結果、例えば、生体粘膜微細構造を撮像して得た画像に対し、日本国特表２０１１－５１６２００号公報に記載された網膜画像分析方法に係る技術を用いた場合、所見に対応した生体粘膜微細構造の抽出精度の低下を招いてしまう。
　本発明は上述した点に鑑みてなされたもので、生体粘膜表面を撮像して得た医用画像において、生体粘膜微細構造が複雑な形状を呈している場合や複数の生体粘膜微細構造が画像の奥行き方向で互いに重なり合ったり隣接し合ったりすることで連続的なパターンを呈している場合であっても、所見に対応した生体粘膜微細構造を抽出することが可能な医用画像処理装置及び医用画像処理方法を提供することを目的としている。
　本発明の一態様に係る医用画像処理装置は、生体粘膜を撮像して得られる医用画像が入力される画像入力手段と、前記画像入力手段に入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出手段と、前記抽出手段により抽出された生体粘膜微細構造を、前記特徴量算出手段により算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割手段と、を有する。
　本発明の一態様に係る医用画像処理方法は、生体粘膜を撮像して得られる医用画像を入力する画像入力ステップと、前記画像入力ステップで入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにより算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出ステップと、前記抽出ステップにより抽出された生体粘膜微細構造を、前記特徴量算出ステップにより算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割ステップと、を実行する。
図１は第１の実施形態に係る医用画像処理装置を有する内視鏡装置の要部の構成の一例を示す図。 図２は図１の光源装置が有する回転フィルタの構成の一例を示す図。 図３は図２の第１のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図４は図２の第２のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図５は図１の演算部の主要な構成を示すブロック図。 図６は本発明の第１の実施形態における画像処理部において行われる処理の一例を示すフローチャート。 図７は処理対象となる画像データの一例を示す模式図。 図８は粘膜内に存在する粘膜表面からの深さが異なる位置に走行する血管を撮像した画像の一例を示す模式図。 図９は生体粘膜微細構造のコントラストの定義の一例を示す模式図。 図１０はコントラストが異なることにより領域分割する分割例を示す模式図。 図１１は生体粘膜微細構造とその領域分割結果の一例を示す模式図。 図１２は部分領域に分割する処理における具体的な処理例を示すフローチャート。 図１３Ａは生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１３Ｂは生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１３Ｃは生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１４は図１３において説明した処理と異なる処理により生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１５Ａは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１５Ｂは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１５Ｃは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１５Ｄは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１６Ａは分散値の和が最小となる条件の部分領域に分割する処理を示すフローチャート。 図１６Ｂは平均値の和が最大かつ分散値の和が最小となる条件の部分領域に分割する処理を示すフローチャート。 図１６Ｃは本発明の第２の実施形態における演算部の主要な構成を示すブロック図。 図１７は本発明の第２の実施形態における画像処理部において行われる処理の一例を示すフローチャート。 図１８Ａは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｂは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｃは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｄは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｅは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｆは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｇは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１９は生体粘膜微細構造の走行方向を量子化する一例を示す模式図。 図２０は領域分割に係る所定の分割条件を太さの場合で示した一例を示す模式図。 図２１は領域分割に係る所定の分割条件を色調の場合で示した一例を示す模式図。 図２２は領域分割に係る所定の分割条件を走行方向の場合で示した一例を示す模式図。 図２３は領域分割に係る所定の分割条件を走行方向の場合で示した一例を示す模式図。 図２４Ａは生体粘膜微細構造セグメントの方向算出方法の一例を説明するための図。 図２４Ｂは生体粘膜微細構造セグメントの方向算出方法の一例を説明するための図。 図２５は本発明の第３の実施形態における演算部の主要な構成を示すブロック図。 図２６は本発明の第３の実施形態における画像処理部において行われる処理の一例を示すフローチャート。 図２７Ａは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｂは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｃは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｄは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｅは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｆは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｇは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｈは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｉは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２８は長さの不連続性に基づく所定の分割条件により部分領域に分割する場合の一例を示す模式図。 図２９は第３の実施形態における分割条件に応じた特徴量の算出及び算出結果に基づいた領域分割の処理の一例を示すフローチャート。
　以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
　図１に示すように、内視鏡装置１は、被験者の体腔内に挿入され、該体腔内の生体組織１０１等の被写体を撮像して得た画像を信号出力する内視鏡２と、生体組織１０１を照明するための照明光を発する光源装置３と、内視鏡２からの出力信号に対して種々の処理を施す医療用画像処理装置を構成するプロセッサ４と、プロセッサ４からの映像信号に応じた画像を表示する表示装置５と、プロセッサ４における処理結果に応じた出力信号を記憶する外部記憶装置６と、を有して構成されている。
　内視鏡２は、被験者の体腔内に挿入可能な細長な形状及び寸法を備えた挿入部２１ａと、挿入部２１ａの先端側に設けられた先端部２１ｂと、挿入部２１ａの基端側に設けられた操作部２１ｃと、を有して構成されている。また、挿入部２１ａの内部には、光源装置３において発せられた照明光を先端部２１ｂへ伝送するためのライトガイド７が挿通されている。
　ライトガイド７の一方の端面（光入射端面）は、光源装置３に着脱自在に接続される。また、ライトガイド７の他方の端面（光出射端面）は、内視鏡２の先端部２１ｂに設けられた図示しない照明光学系の近傍に配置されている。このような構成によれば、光源装置３において発せられた照明光は、光源装置３に接続されたライトガイド７、及び先端部２１ｂに設けられた図示しない照明光学系を経た後、体腔内の生体組織１０１に出射される。
　内視鏡２の先端部２１ｂには、被写体の光学像を結像する対物光学系２２と、対物光学系２２の結像位置に配置され、光学像を撮像して画像として取得する撮像部を構成する電荷結合素子（ＣＣＤと略記）２３と、が設けられている。また、内視鏡２の操作部２１ｃには、観察モードを通常光観察モードまたは狭帯域光観察モードのいずれかに切り替えるための指示を行うことが可能な観察モード切替スイッチ２４が設けられている。
　光源装置３は、キセノンランプ等からなる白色光源３１と、白色光源３１から発せられる白色光を面順次な照明光とする回転フィルタ３２と、回転フィルタ３２を回転駆動するモータ３３と、回転フィルタ３２及びモータ３３を白色光源３１の出射光路に垂直な方向（図１において符号Ｂ）に移動させるモータ３４と、プロセッサ４の制御部４２の制御に基づいてモータ３３及び３４を駆動させる回転フィルタ駆動部３５と、回転フィルタ３２を通過した照明光を集光してライトガイド７の入射端面に供給する集光光学系３６と、を有している。　
　回転フィルタ３２は、図２に示すように、中心を回転軸とした円盤形状であり、内周側の周方向に沿って設けられた複数のフィルタを具備する第１のフィルタ群３２Ａと、外周側の周方向に沿って設けられた複数のフィルタを具備する第２のフィルタ群３２Ｂと、を有している。そして、モータ３３の駆動力が前記回転軸に伝達されることにより、回転フィルタ３２が回転する。なお、回転フィルタ３２において、第１のフィルタ群３２Ａ及び第２のフィルタ群３２Ｂの各フィルタが配置されている部分以外は、遮光部材により構成されている。
　第１のフィルタ群３２Ａは、各々が回転フィルタ３２の内周側の周方向に沿って設けられた、赤色の波長帯域の光を通過させるＲフィルタ３２ｒと、緑色の波長帯域の光を通過させるＧフィルタ３２ｇと、青色の波長帯域の光を通過させるＢフィルタ３２ｂと、を有して構成されている。　
　Ｒフィルタ３２ｒは、例えば図３に示すように、主に６００ｎｍから７００ｎｍまでの光（Ｒ光）を透過させるような構成を有している。また、Ｇフィルタ３２ｇは、例えば図３に示すように、主に５００ｎｍから６００ｎｍまでの光（Ｇ光）を透過させるような構成を有している。さらに、Ｂフィルタ３２ｂは、例えば図３に示すように、主に４００ｎｍから５００ｎｍまでの光（Ｂ光）を透過させるような構成を有している。なお、図３においては、Ｒフィルタ３２ｒ、Ｇフィルタ３２ｇ、Ｂフィルタ３２ｂを単にＲ，Ｇ，Ｂで示している。
　そして、白色光源３１において発せられた白色光は、第１のフィルタ群３２Ａを経ることにより、通常光観察モード用の広帯域光が生成される。
　第２のフィルタ群３２Ｂは、各々が回転フィルタ３２の外周側の周方向に沿って設けられた、青色かつ狭帯域な光を透過させるＢｎフィルタ３２１ｂと、緑色かつ狭帯域な光を透過させるＧｎフィルタ３２１ｇと、を有して構成されている。　
　Ｂｎフィルタ３２１ｂは、例えば図４に示すように、中心波長が４１５ｎｍ付近に設定され、かつ、Ｂ光に比べて狭い帯域の光（Ｂｎ光）を透過させるように構成されている。
　また、Ｇｎフィルタ３２１ｇは、例えば図４に示すように、中心波長が５４０ｎｍ付近に設定され、かつ、Ｇ光に比べて狭い帯域の光（Ｇｎ光）を透過させるように構成されている。なお、図４においては、Ｂｎフィルタ３２１ｂ、Ｇｎフィルタ３２１ｇを単にＢｎ，Ｇｎで示している。
　そして、白色光源３１において発せられた白色光は、第２のフィルタ群３２Ｂを経ることにより、離散化された狭帯域光観察モード用の複数の帯域の狭帯域光が生成される。
　プロセッサ４は、本実施形態の医用画像処理装置としての機能を備えた構成を有する。
具体的には、図１に示すようにプロセッサ４は、画像処理部４１と、制御部４２と、を備えて構成される。また、画像処理部４１は、画像データ生成部４１ａと、演算部４１ｂと、映像信号生成部４１ｃと、内視鏡２の撮像部を構成するＣＣＤ２３により撮像された医用画像が入力される画像入力部４１ｄと、を備えて構成される。
　画像処理部４１の画像データ生成部４１ａは、制御部４２の制御に基づき、内視鏡２の出力信号に対してノイズ除去及びＡ／Ｄ変換等の処理を施すことにより、ＣＣＤ２３により得られた画像に対応した画像データを生成する。
　なお、画像データ生成部４１ａの入力部付近には、撮像部を構成するＣＣＤ２３により撮像して得られる医用画像（内視鏡２の出力信号）が入力される画像入力部４１ｄが設けてある。画像データ生成部４１ａには画像入力部４１ｄを経て医用画像が入力されるが、画像データ生成部４１ａが画像入力部４１ｄを備えた構成でも良い。
　画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにより生成された画像データを用いて所定の処理を行うことにより、生体組織１０１を撮像して得た画像データの中から粘膜上皮の生体粘膜微細構造（上皮構造と略記）を抽出し、さらに所定の分割条件に対応する部分領域に分割する。
　なお、本実施形態においては、前記画像データに連続的な生体粘膜微細構造のパターンが含まれているものとし、さらに、前記生体粘膜微細構造において診断上重要な所見に応じた生体粘膜微細構造とそれ以外の領域とを区別するような領域分割処理を行う。
　また、このような領域分割処理の方法は、図示しないＲＯＭ又は図１６Ｃに示すメモリ４７内にプログラムとして実装されており、演算部４１ｂを構成するＣＰＵはそのプログラムに従って、実行する。
　画像処理部４１の映像信号生成部４１ｃは、画像データ生成部４１ａにより生成された画像データに対してガンマ変換及びＤ／Ａ変換等の処理を施すことにより、映像信号を生成して表示装置５等に出力する。
　制御部４２は、観察モード切替スイッチ２４の指示に基づき、通常光観察モードに切り替える指示が行われたことを検出した場合、通常光観察モード用の広帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第１のフィルタ群３２Ａを介挿させ、かつ、白色光源３１の出射光路上から第２のフィルタ群３２Ｂを退避させるように、モータ３４を動作させる。
　また、制御部４２は、観察モード切替スイッチ２４の指示に基づき、狭帯域光観察モードに切り替える指示が行われたことが検出した場合、狭帯域光観察モード用の複数の帯域の狭帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。
　そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第２のフィルタ群３２Ｂを介挿させ、かつ、白色光源３１の出射光路上から第１のフィルタ群３２Ａを退避させるように、モータ３４を動作させる。
　そして、以上に述べた内視鏡装置１の構成により、通常光観察モードが選択された場合には、生体組織１０１等の観察対象物を肉眼で見た場合と略同様の色合いを有する画像（通常光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させる。また、以上に述べた内視鏡装置１の構成により、狭帯域光観察モードが選択された場合には、生体組織１０１に含まれる血管が強調された画像（狭帯域光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させる。
　図５に示すように（医用画像処理装置を構成する）演算部４１ｂは、上述した画像入力部４１ｄに入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出手段を構成する特徴量算出部４３ａと、該特徴量算出部４３ａにより算出された特徴量に基づき前記医用画像における連続的なパターン（図形）を呈する生体粘膜微細構造（の画像部分）を抽出する抽出手段を構成する抽出部４３ｂと、該抽出部４３ｂにより抽出された生体粘膜微細構造を、前記特徴量算出部４３ａにより算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割手段を構成する領域分割部４３ｃと、を有する。
　また、領域分割部４３ｃは、抽出部４３ｂにより抽出された生体粘膜微細構造から分岐部を認識する分岐部認識手段としての分岐部認識部４４ａと、分岐部認識部４４ａにより認識された各々の分岐部で分割した生体粘膜微細構造セグメントを検出（又は生成）するセグメント分割部４４ｂを有する。
　また、領域分割部４３ｃは、セグメント分割部４４ｂにより生成された生体粘膜微細構造セグメントに対して各生体粘膜微細構造セグメントに対して算出された特徴量に基づき分割条件設定部４３ｄにより設定された所定の分割条件に対応する部分領域に分割するか否かを判定または決定する分割判定部（又は分割決定部）４４ｃとを有する。
　分割判定部４４ｃは、生体粘膜微細構造セグメント毎に算出された特徴量に基づき、分割条件設定部４３ｄにより設定された所定の分割条件を満たすか否か又は所定の分割条件に対応するか否かにより部分領域に分割するか否かの判定又は決定を行う。なお、図５に示す演算部４１ｂが特徴量算出部４３ａ、抽出部４３ｂ、領域分割部４３ｃ等の機能を有する構成に限定されるものでなく、演算部４１ｂと別体で構成しても良いし、専用のハードウェアにより構成しても良い。
　このような構成における医用画像処理装置を構成する画像処理部４１は、生体粘膜を撮像して得られる医用画像が入力される画像入力手段としての（図１に示す）画像入力部４１ｄと、前記画像入力手段に入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出手段としての図５に示す特徴量算出部４３ａと、前記特徴量算出手段により算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出手段としての抽出部４３ｂと、前記抽出手段により抽出された生体粘膜微細構造を、前記特徴量算出手段により算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割手段としての領域分割部４３ｃと、を有することを特徴とする。
　また、本実施形態における医用画像処理方法は、図６に示すように生体粘膜を撮像して得られる医用画像を入力する画像入力ステップとしてのステップＳ１と、前記画像入力ステップで入力された医用画像から少なくとも１つの特徴量を（フィルタ等を用いて）算出する特徴量算出ステップとしてのステップＳ２と、前記特徴量算出ステップにより算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出ステップとしてのステップＳ３と、前記抽出ステップにより抽出された生体粘膜微細構造を、前記特徴量算出ステップにより算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割ステップとしてのステップＳ４とを実行することを特徴とする。
　次に本実施形態の医用画像処理装置を備える内視鏡装置１の作用（動作）の説明を行う。
　まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。
　観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。
　画像処理部４１の画像データ生成部４１ａには、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が、画像入力部４１ｄを経て図６のステップＳ１に示すように入力される。画像データ生成部４１ａは、各画像に対応する色成分の画像データをそれぞれ生成する。
　なお、本実施形態においては、画像データ生成部４１ａにより生成される画像データは、Ｒ、Ｇ及びＢの３つのプレーンからなり、水平方向ＩＳＸ（例えば６４０画素）及び垂直方向ＩＳＹ（例えば４８０画素）の画像サイズを備え、さらに、各画素の階調が０～２５５の８ｂｉｔであるような画像データが生成されるものとする。また、以下の説明においては、Ｒ、Ｇ及びＢの各プレーンにおけるｊ番目（１≦ｊ＜ＩＳＸ×ＩＳＹ）の画素の画素値をそれぞれｒｊ、ｇｊ及びｂｊとして説明を進めるものとする。
　画像処理部４１の演算部４１ｂ（の特徴量算出部４３ａ）は、画像データ生成部４１ａにおいて生成された画像データに基づき、必要に応じて、図示しない前処理として逆ガンマ補正やノイズ抑制処理を行ってもよい。
　画像処理部４１の演算部４１ｂ（の特徴量算出部４３ａ）は、図６のステップＳ２に示すように画像データ生成部４１ａにおいて生成された画像データに基づき、以後の処理に用いる所定の特徴量を該画像データの画素毎に算出する。　
　より具体的には、生体粘膜微細構造は例えば細い線状構造を有しているため、本実施形態の演算部４１ｂは、前述の所定の特徴量として、線状構造を強調（または抽出）するフィルタの応答値を用いる。なお、ここでの強調とは、フィルタを適用した画素位置の周辺の局所領域が線状構造に近い形状であれば値が大きく、そうでなければ値が小さく出力される処理のことを表す。
　線状構造を強調するフィルタとしては、ヘッセ行列の固有値を計算することで得られる固有値に基づき線状構造らしさを表す評価値を計算する方法を用いる。このような方法は、Ａｌｅｊａｎｄｒｏ　Ｆ．　Ｆｒａｎｇｉ，　Ｗｉｒｏ　Ｊ．　Ｎｉｓｓｅｎ，　Ｋｏｅｎ　Ｌ．　Ｖｉｎｃｋｅｎ　ａｎｄ　Ｍａｘ　Ａ．　Ｖｉｅｒｇｅｖｅｒ：「Ｍｕｌｔｉｓｃａｌｅ　Ｖｅｓｓｅｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｆｉｌｔｅｒｉｎｇ」，　ＬＮＣＳ，　ｖｏｌ．　１４９６，　Ｓｐｒｉｎｇｅｒ　Ｖｅｒｌａｇ，　Ｂｅｒｌｉｎ，　Ｇｅｒｍａｎｙ，　ｐｐ．　１３０－１３７に開示されている。本実施形態においては、評価値を、狭帯域光観察モードが選択された際に生成される画像データのＧプレーンのｊ番目の画素の画素値ｇｊの各画素ごとに（１番目～（ＩＳＸ×ＩＳＹ）番目の画素全てにおいて）算出する。
　その後、画像処理部４１の演算部４１ｂ（の抽出部４３ｂ）は、図６のステップＳ２において算出した所定の特徴量を用い、ステップＳ３に示すように生体組織１０１において生体粘膜微細構造が存在する領域を抽出する処理を行う。
　本実施形態においては、画素ごとに線状構造を強調するフィルタの応答値を算出し、応答値が閾値Ｔ＝５０よりも大きい画素を生体粘膜微細構造として抽出する。フィルタの設計内容によっては、あるいは抽出する対象となる生体粘膜微細構造の種類によっては、応答値が閾値Ｔ´＝－５０よりも小さい画素を生体粘膜微細構造として抽出する場合もある。
　このような場合分けは、生体粘膜微細構造の種類によって、例えば血管は周囲の粘膜よりも画像濃度値が小さく、八尾建史、松井敏幸：「胃拡大内視鏡」（２００９）に記載のＭＣＥ等の生体粘膜微細構造やピオクタニン染色を用いたｐｉｔ　ｐａｔｔｅｒｎは周囲の粘膜よりも画像濃度値が大きい傾向があるために生じる。
　なお、以降においては、説明の簡単のため、例えば図７のような、生体粘膜微細構造の内部（生体粘膜微細構造の内側）に相当する領域をドット模様とし、背景粘膜（生体粘膜微細構造の外側）に相当する領域を白く表示するものとし、かつ、これら２つの領域の境界線を細い実線で示した、模式的な画像データに対して処理を行うものとして説明を進める。
　なお、図７は、狭帯域光観察モードの拡大内視鏡を用いて観察される、胃幽門腺粘膜の生体粘膜微細構造を模式的に示したものである。実際の内視鏡画像によれば、生体粘膜微細構造及び背景粘膜領域のみを含むものに限らず、例えば、微細血管、集合細静脈、腺口等の各種構造をさらに含むような画像データが取得される。
　さて、生体粘膜微細構造は、不連続な構造同士であっても、生体粘膜の深さ方向の３次元的な配置によって画像の中では連続的なパターンとして画像化されてしまう場合があり、このような場合、図６のステップＳ３において抽出した生体粘膜微細構造も連続的なパターンとして抽出されてしまう。
　図８はこの状態について粘膜内を走行する血管を撮像した場合に得られる画像データを示す。図８に示すように内視鏡２の挿入部２１ａの先端部２１ｂ（に設けた撮像部）により、生体組織１０１の粘膜を撮像する。粘膜内には粘膜表面から浅い位置付近に細い血管Ａと、血管Ａよりも深い位置付近に太い血管Ｂが走行している。このように粘膜の表面に垂直方向から表面の深さ方向（奥行き方向）の生体粘膜を撮像して得られる画像データは、図８に示すように血管Ａと血管Ｂとが繋がって、連続したパターンの血管として見える場合が存在する。
　実際には、図８に示すように、血管Ａと血管Ｂとは深さ方向の位置が異なり、３次元的には繋がっていないため、血管Ａと血管Ｂが２次元的に繋がった画像データに対して所見に対応した（換言すると実際の３次元構造に対応した）部分領域（例えば図８における血管Ａと血管Ｂ）に分割することが望まれる。本実施形態においては、このように２次元的に繋がっているように抽出された生体粘膜微細構造のパターンを、所見に対応した部分領域（例えば図８における血管Ａと血管Ｂ）に分割するための画像処理装置及び画像処理方法について説明する。
　上記のように、一見連続的なパターンとして画像化されている場合であっても、粘膜内での深さが異なることによって、粘膜細胞による光の散乱、及び血管による光の吸収の度合い等が異なる。こうした散乱や吸収の違いによって、画像上で微妙なコントラストや色調の差が生じることがある。
　一般に、粘膜のような半透明の物質に光を投射したときは、長い波長を有する赤色の光は広い範囲に深く拡散するのに対し、短い波長を有する青色の光は狭い範囲に浅く拡散することが知られており、この光の伝播特性の影響によって、深部側に存在する血管は、輪郭がぼけてコントラストが低く、表層の血管は輪郭がシャープでコントラストが高く画像化される傾向がある。
　また、狭帯域光観察モードにおいては、図４に示したように投射する光の波長特性が狭帯域であるため、前述の深さによる光の伝播特性の違いの影響を強く受けやすい。そのため、狭帯域光観察モードで撮像された画像において、表層に血管が存在する粘膜はＢｎ光の強い吸収とＧｎ光の弱い吸収および散乱を生じ、深部側に血管が存在する粘膜はＢｎ光の反射および散乱とＧｎ光の強い吸収を生じる。
　その結果として、血管が存在する深さによって色調が異なって画像化される。さらに、例えば血管に関しては、粘膜の深部においては太い血管が走行し、表層においては細い血管が走行する傾向があり、画像上での太さの違いにより区別が可能な場合もある。
　画像処理部４１の演算部４１ｂ（の領域分割部４３ｃ）は、図６のステップＳ３において抽出した生体粘膜微細構造に対して、ステップＳ４に示すように生体粘膜微細構造の内部でコントラストが異なる領域が存在する場合、（コントラストが不連続性または非均質性（または非同一性）を示す第１の条件となる）所定の分割条件により、所定の分割条件に対応する部分領域に分割する領域分割処理を行う。この所定の分割条件は、３次元的には不連続となる生体粘膜微細構造が撮像された２次元の画像データ上でのパターンとしてはあたかも連続的なパターンを呈しているような場合において、その不連続となる境界で生体粘膜微細構造の画像データを部分領域に分割する（又は抽出する）のに適した（換言すると所見に対応した生体粘膜微細構造の画像データに分割又は抽出するのに適した）条件を形成する。　
　以下に、前述の「コントラスト」および「各々の部分領域が連続性または均質性を示す条件」についての定義および概念的な説明を行った後、本実施形態における領域分割処理の説明を続ける。
　ここでのコントラストとは、例えば、図９に示すように生体粘膜微細構造５１の領域内部の局所的な領域である領域ＡにおけるＧ光に応じた画像の画像濃度値の平均値μＡと、生体粘膜微細構造５１の領域外部の局所的な領域である領域ＢにおけるＧ光に応じた画像の画像濃度値の平均値μＢとの差であるとする。そして、コントラスト（画像濃度値の平均値）に差がある場合、又はコントラストが異なる場合には、コントラストが不連続性又は非均質性を示すとして領域分割処理を行う。
　例えば領域Ａと領域Ｂとのコントラストの差が閾値Δ以上の場合には、コントラストが不連続性又は非均質性と判定してコントラストに差がある境界で部分領域に分割処理を行うようにしても良い。一方、コントラストの差が閾値Δ未満の場合には、コントラストが連続性又は均質性と判定し、コントラストの差が閾値Δ未満となる境界においては部分領域に分割しないようにしても良い。なお、コントラストが不連続性又は非均質性を示すことをコントラストが不連続性を示すと略記する場合もある。
　また、生体粘膜微細構造５１の領域内においても、図１０の左側に示すようにコントラストに差がある境界が存在する場合、又は異なる場合にも、右側に示すように分割線Ｌで部分領域６１，６２に分割する。
　また、各々の部分領域が連続性または均質性を示す条件とは、例えば、図１１に示すように領域Ａを２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割した場合において、分割された部分領域Ｃ、部分領域Ｄ各々の部分領域内で変化が最小となるような条件を所定の分割条件としても良い。
　この内容は、別の表現を用いると、部分領域Ｃに属する各々の画素に対応したコントラストの変動（変化）が最小となり、また、部分領域Ｄに属する各々の画素に対応したコントラストの変動が最小となるような領域分割結果を求める最適化問題を解くことに等しい。本実施形態では、変動の大きさを表すパラメータとして、分散を使用する。
　より具体的には、例えば、図１１の左側に示すような領域Ａを、図１１の右側に示すように２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割しようとする場合において、部分領域Ｃのコントラスト（の平均値から）の分散値をσＣ、部分領域Ｄ内のコントラスト（の平均値から）の分散値をσＤとした場合に、以下の目的関数ｆ１を最小化するような部分領域Ｃ、部分領域Ｄを求めればよい。
　　　　　　　ｆ１ ＝ σＣ＋σＤ　→　min　　　 （１）
　また、この条件は、部分領域Ｃ、部分領域Ｄ各々の部分領域間での変化が最大となるような条件としてもよい。
　別の表現においては、部分領域Ｃに属する各々の画素に対応したコントラストの統計的性質と、部分領域Ｄに属する各々の画素に対応したコントラストの統計的性質との間の差が最大となるような領域分割結果を求める最適化問題を解くことに等しい。本実施形態では、統計的性質としては、平均値を使用する。
　より具体的には、例えば、図１１に示すように領域Ａを２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割しようとした場合において、部分領域Ｃ内のコントラストの平均値をμＣ、部分領域Ｄ内のコントラストの平均値をμＤとしたときに、以下の目的関数ｆ２を最大化する部分領域Ｃと部分領域Ｄを求めればよい。
　　　　　　　ｆ２ ＝ μＣ＋μＤ　→　max　　　 （２）
　さらに、この条件は、部分領域Ｃ、部分領域Ｄ各々の部分領域内で変化が最小となり、部分領域Ｃ、部分領域Ｄ各々の部分領域間での変化が最大となる条件としてもよい。
　例えば、図１１に示すように領域Ａを２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割しようとした場合において、部分領域Ｃ内のコントラストの分散値をσＣ、部分領域Ｃ内のコントラストの平均値をμＣ、部分領域Ｄ内のコントラストの分散値をσＤ、部分領域Ｄ内のコントラストの平均値をμＤとした場合に、以下の目的関数ｆ３を最大化する部分領域Ｃと部分領域Ｄを求めればよい。
　　　ｆ３ ＝（μＣ＋μＤ）／（σＣ＋σＤ）→　max　（３）
　以上がコントラストおよび各々の部分領域が連続性または均質性を示すような条件についての概念的な説明であり、以下に、本実施形態における領域分割（図６のステップＳ４）のより具体的な処理の流れを、図１２を参照しながら説明する。
　画像処理部４１の演算部４１ｂ（の領域分割部４３ｃ）は、図１２のステップＳ１１に示すように抽出部４３ｂにより抽出された生体粘膜微細構造から分岐部を認識する。
　このため、領域分割部４３ｃの分岐部認識部４４ａは、抽出された生体粘膜微細構造を２値化し、さらに中心線を検出する細線化処理を施して、細線化処理された画像（細線化画像と言う）の各画素から隣接する８方向の画素のうち３方向以上に接する画素を分岐部（の分岐点）として認識する。図１３Ａ～図１３Ｃは分岐部認識部４４ａによる処理内容の具体的な説明図を示す。
　演算部４１ｂの抽出部４３ｂが、例えば図１３Ａに示すような３方向に分岐した生体粘膜微細構造５１（の画像）を抽出した場合において説明する。領域分割部４３ｃの分岐部認識部４４ａは、抽出部４３ｂにより抽出された図１３Ａの生体粘膜微細構造５１（の画像）を２値化し、さらに中心線を検出する細線化処理を施して、図１３Ｂに示す細線化画像５１ａを生成する。
　また、分岐部認識部４４ａは、細線化画像５１ａの各画素から隣接する８方向の画素のうち３方向以上に接する画素を分岐部５１ｂ（の分岐点）として認識する。
　図１３Ｂに示す細線化画像５１ａに対して、演算部４１ｂのセグメント分割部４４ｂは、ステップＳ１２に示すように分岐部５１ｂで分割した生体粘膜微細構造セグメントを検出する。
　より具体的には、演算部４１ｂのセグメント分割部４４ｂは、細線化画像５１ａから各々の分岐点を除去することで細線化セグメントを検出し、細線化セグメントに対して例えば７×７のサイズの構造要素を用いて膨張処理を施すことで図１３Ｃにおける点線で示すように３つに分割された生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３を検出する。
　図１３Ａ～図１３Ｃにおいて説明したように、生体粘膜微細構造セグメントの検出方法として、細線化画像から各々の分岐点を除去することで細線化セグメントを検出し、細線化セグメントに対して幅方向に膨張処理を施すことで生体粘膜微細構造セグメントを検出するものに限らず、検出された分岐部５１ｂの各々に対して、図１４に示すように、分岐部５１ｂと生体粘膜微細構造５１の境界とを結ぶ分割線５１ｃによって分割することにより、生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３を生成してもよい。なお、この分割線５１ｃは、分岐部５１ｂと生体粘膜微細構造５１の境界との間の距離が極小値となるように設定する。
　さらに、演算部４１ｂの領域分割部４１ｃは、ステップＳ１３に示すように図１３Ｃで示すような生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３ごとの特徴量を（特徴量算出部４３ａにより）算出し、算出した特徴量に基づき、前述した分割後の各々の部分領域のコントラストが連続性または均質性を示す条件を満たすように、部分領域に分割する。
　なお、本実施形態において図６のステップＳ２で算出した特徴量（線状構造を強調するフィルタの応答値）が、コントラストに依存して、その応答値の大きさが決まるものとなるため、この特徴量をコントラストを表すパラメータとして使用することができる。
　また、生体粘膜微細構造を例えば２つの部分領域に分割する場合における演算部４１ｂの領域分割部４３ｃによる具体的な処理の流れを、図１５Ａ～図１５Ｄを参照しながら説明する。演算部４１ｂのセグメント分割部４４ｂは、図１２のステップＳ１２において検出した全ての生体粘膜微細構造セグメントから、生体粘膜微細構造セグメントの任意の組み合わせを２セット生成し、各々のセットを部分領域の候補とする。
　図１５Ａは、図１３Ｃで示した３つの生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３を部分領域の候補とした場合に相当する。図１５Ａにおいては、分割前の生体粘膜微細構造セグメントは三つ叉形状に分岐したパターンの場合で示している。そして、以下に説明するようにセグメント分割部４４ｂは、一端が分岐部、他端側が（図示していないが）端部となるように部分領域の候補となるセグメントに分割する。なお、他端側が分岐部になっている場合にも、同様に分割する。
　具体的には、図１５Ｂに示すように生体粘膜微細構造セグメントＳＧ１による部分領域の候補Ｓ１Ａと生体粘膜微細構造セグメントＳＧ２及びＳＧ３（ＳＧ２＋ＳＧ３）からなる部分領域の候補Ｓ２Ａ、図１５Ｃに示すように生体粘膜微細構造セグメントＳＧ２による部分領域の候補Ｓ１Ｂと生体粘膜微細構造セグメントＳＧ３及びＳＧ１（ＳＧ３＋ＳＧ１）からなる部分領域の候補Ｓ２Ｂ、図１５Ｄに示すように生体粘膜微細構造セグメントＳＧ３による部分領域の候補Ｓ１Ｃと生体粘膜微細構造セグメントＳＧ１及びＳＧ２（ＳＧ１＋ＳＧ２）からなる部分領域の候補Ｓ２Ｃの３つの部分領域の候補とする。
　図１５Ｂの部分領域の候補Ｓ１ＡとＳ２Ａに対して、前述した分割条件の式（１）を適用させ、以下の式（４）の目的関数ｆ１Aの値を求める。
　　　　　　　ｆ１A ＝ σS1A ＋ σS2A　→　min　　　 （４）
　ここで、σS1A，σS2Aは、部分領域の候補Ｓ１Ａ，Ｓ２Ａの各コントラストの分散値を表し、式（４）により両者の和が最小となるように領域分割処理を行う。
　また、図１５Ｃの部分領域の候補Ｓ１ＢとＳ２Ｂに対しても同様に以下の式（５）の目的関数ｆ１Bの値を求める。なお、部分領域の候補Ｓ１Ｂは生体粘膜微細構造セグメントＳＧ２、部分領域の候補Ｓ２Ｂは、生体粘膜微細構造セグメントＳＧ３＋ＳＧ１である。　
　　　　　　　ｆ１B ＝ σS1B ＋ σS2B　→　min　　　 （５）
　また、図１５Ｄの部分領域の候補Ｓ１ＣとＳ２Ｃに対しても同様に以下の式（６）の目的関数ｆ１Ｃの値を求める。なお、部分領域の候補Ｓ１Ｃは生体粘膜微細構造セグメントＳＧ３、部分領域の候補Ｓ２Ｃは、生体粘膜微細構造セグメントＳＧ１＋ＳＧ２である。
　　　　　　　ｆ１Ｃ ＝ σS1C ＋ σS2C　→　min　　　 （６）
　上述した式（４）－（６）の目的関数ｆ１A、ｆ１B、ｆ１Cにおいて最小値となる組み合わせの部分領域の候補Ｓ１ＸとＳ２Ｘ（但し、Ｘ＝Ａ，Ｂ，Ｃのいずれか）を部分領域とするように（分割判定部４４ｃは）判定して、判定結果に沿って生体粘膜微細構造を部分領域に領域分割する。
　上述した式（４）－（６）の目的関数ｆ１A、ｆ１B、ｆ１Cにおいて最小値となる組み合わせの部分領域の候補Ｓ１ＸとＳ２Ｘを算出する場合、例えば図１６Ａに示すように行う。ステップＳ４１において領域分割部４３ｃは、Ｎ組（図１５Ａ～図１５ＤではＮ＝３）の部分領域の候補を表すパラメータＪを初期設定（Ｊ＝１）する。図１５Ａ～図１５Ｄの場合には、Ｊ＝１が部分領域の候補Ｓ１Ａ，Ｓ２Ａを指定した場合に対応する。ここでは、Ｊの値に対応する２つの部分領域の候補をＳ１Ｊ、Ｓ２Ｊで表す。
　次のステップＳ４２において領域分割部４３ｃは、部分領域に分割する場合の評価を行うため２つの分散値の閾値σth1，σth2を設定する。なお、２つの閾値σth1，σth2は、例えば過去のデータ等から予め算出する。２つの閾値σth1，σth2は、部分領域に分割する場合の許容される分散値の上限値に設定しても良い。　
　次のステップＳ４３において領域分割部４３ｃは、生体粘膜微細構造セグメントを２つの閾値σth1，σth2以下とした条件で２つの部分領域の候補Ｓ１Ｊ、Ｓ２Ｊに分割する処理を行う。
　次のステップＳ４４において領域分割部４３ｃは、２つの閾値σth1，σth2以下の条件で分割できる部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在するか否かを判定する。
　存在すると判定した場合には、次のステップＳ４５において領域分割部４３ｃは、部分領域の候補Ｓ１Ｊと部分領域の候補Ｓ２Ｊとにおける２つの分散値の和が最小となる値を与える部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを算出する処理を行った後、次のステップＳ４６に移る。
　また、ステップＳ４４の判定処理において部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在しない場合には、ステップＳ４６に移る。
　ステップＳ４６において領域分割部４３ｃは、Ｊ＝Ｎか否かを判定し、これに該当しない場合にはステップＳ４７においてＪを１つ増加させた後、ステップＳ４３の処理に戻る。このようにして、Ｊ＝１からＮまで、上述した処理を繰り返す。Ｊ＝Ｎの場合には、ステップＳ４８において領域分割部４３ｃは、Ｊ＝１からＮまでにおいて２つの分散値の和が最小となる値を与える部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを（Ｓ１ＸとＳ２Ｘとして）算出する。
　そして、領域分割部４３ｃは、その部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを部分領域として生体粘膜微細構造セグメントを分割する。なお、上記のように閾値を上限値に設定してもステップＳ４８において２つの分散値の和が最小となる値を与える部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを１つも算出できない場合には、他の分割条件を用いて領域分割を行う。この場合には、（１）式でなく、例えば（３）式の目的関数に対応するＮ組における各組Ｊの目的関数ｆ３Ｊ それぞれにおいて最大とする以下の値を求める。
　ｆ３Ｊ ＝（μS1Ｊ＋μS2Ｊ）／（σS1Ｊ＋σS2Ｊ） →　max　　　 （７）
　さらに、Ｎ組全体で最大値を与える目的関数を求め、該最大値を与える目的関数の場合の部分領域の候補を部分領域として分割するようにしても良い。図１６Ｂは、このような処理を行うフローチャートを示す。なお、図１６Ａに示す処理を行うことなく、図１６Ｂの処理を行うようにしても良い。図１６Ｂの処理は、図１６Ａの処理に類似するため、異なる部分を説明する。
　図１６Ｂにおける最初のステップＳ４１は図１６Ａと同じであり、次のステップＳ４２′において領域分割部４３ｃは、図１６Ａにおける分散値の閾値σth1，σth2の他に、平均値の閾値μth1，μth2を設定する。なお、平均値の閾値μth1，μth2は、例えば過去のデータ等から予め算出する。
　２つの閾値μth1，μth2は、部分領域に分割する場合の許容される平均値の下限値に設定しても良い。次のステップＳ４３′において領域分割部４３ｃは、生体粘膜微細構造セグメントを２つの閾値μth1，μth2以上、かつ２つの閾値σth1，σth2以下の条件で２つの部分領域の候補Ｓ１Ｊ、Ｓ２Ｊに分割する処理を行う。
　次のステップＳ４４において領域分割部４３ｃは、ステップＳ４３′の条件で分割できる部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在するか否かを判定する。
　存在すると判定した場合には、次のステップＳ４５′において領域分割部４３ｃは、部分領域の候補Ｓ１Ｊと部分領域の候補Ｓ２Ｊとにおける２つの分散値の和が最小、かつ２つの平均値の和が最大となる値を与える（換言すると式（７）を満たす）部分領域の候補Ｓ１Ｊmax、Ｓ２Ｊmaxを算出する処理を行った後、次のステップＳ４６に移る。
　また、ステップＳ４４の判定処理において部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在しない場合にも、ステップＳ４６に移る。
　ステップＳ４６において領域分割部４３ｃは、Ｊ＝Ｎか否かを判定し、これに該当しない場合にはステップＳ４７においてＪを１つ増加させた後、ステップＳ４３の処理に戻る。このようにして、Ｊ＝１からＮまで、上述した処理を繰り返す。Ｊ＝Ｎの場合には、ステップＳ４８′において領域分割部４３ｃは、Ｊ＝１からＮまでにおいて２つの分散値の和が最小、かつ２つの平均値の和が最大となる値を与える（換言するとＮ組全体において式（７）を満たす）部分領域の候補Ｓ１Ｊmax、Ｓ２Ｊmaxを（Ｓ１ＸとＳ２Ｘとして）算出する。
　そして、領域分割部４３ｃは、その部分領域の候補Ｓ１Ｊmax、Ｓ２Ｊmaxを部分領域として生体粘膜微細構造セグメントを分割する。
　本実施形態によれば、画像データ生成部４１ａにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、画像データ上では連続的なパターンを呈する生体粘膜微細構造を、それぞれの部分領域内でコントラストが連続性を示すような部分領域に分割することができる。その結果、所見に対応した生体粘膜微細構造の抽出精度を向上させることができる。
　換言すると、３次元の生体粘膜微細構造を撮像した２次元の画像データ上では見かけ上連続したパターンとなっている場合、３次元構造に対応した不連続な境界で部分領域に分割し、分割後ではそれぞれの部分領域内でコントラストが連続性を示すような部分領域に分割することができる。その結果、３次元の生体粘膜微細構造に対応した部分領域を抽出する抽出精度を向上させることができる。
　なお、本実施形態においては２つの部分構造に分割する場合について説明したが、分割する数について特に限定されるものではない。
　また本実施形態においては、図１５Ａ～図１５Ｄに示したような３つに分岐した構造の場合に限らず、４つ以上に分岐した構造であっても同様の処理又は方法で領域分割を行うことができる。
　また、本実施形態の領域分割処理は、式（１）（又はこれに準じる式（４）－（６））における目的関数ｆ１（又はこれに準じる目的関数ｆ１A、ｆ１B、ｆ１C）の値を最小化する生体粘膜微細構造セグメントの組み合わせを求める方法に限らず、式（２）における目的関数ｆ２の値を最大化するものであってもよく、さらに上述したように式（３）における目的関数ｆ３の値を最大化するものであってもよい。
　また、本実施形態の領域分割処理は、狭帯域光観察モードが選択された場合に得られる画像において行われるものに限らず、例えば通常光観察モードが選択された場合に得られる画像を用いても略同様に行うことができる。
　また、本実施形態の領域分割処理は、線状構造を強調するフィルタとして、ヘッセ行列の固有値を計算することで得られる固有値に基づき線状構造らしさを表す評価値を計算する方法に限らず、線分を構造要素としたときに構造要素内の画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタであってもよい。また、楕円型ガウシアンフィルタの差分を計算するものであっても良いし、楕円型ガウシアンフィルタのラプラシアンを計算するものであってもよい。また、Ｓｏｂｅｌフィルタのような差分フィルタを用いてもよい。
　また、本実施形態の領域分割処理は、所定の特徴量として、線状構造を強調するフィルタの応答値をＧ光に応じた画像データの画素値を用いて算出するものに限らず、例えば、Ｒ光やＢ光に応じた画像データの画素値を用いて算出するものであってもよい。
　また、本実施形態の領域分割処理は、所定の特徴量として、線状構造を強調するフィルタの応答値をＧ光の応じた画像データの画素値からＲ光に応じた画像データの画像濃度値（又は画素値）を除して得た値を用いて算出するものであってもよい。
　さらに、本実施形態の領域分割処理は、所定の特徴量として、線状構造を強調するフィルタの応答値を、ＲＧＢ表色系の画素値をＨＳＩ表色系またはＬ＊ａ＊ｂ表色系に変換することにより得られる変換後の値を用いて算出するものであってもよい。
　また、本実施形態の領域分割処理は、分割する部分領域内での変化を最小とする領域分割条件において、変動のパラメータとして分散を用いるものに限らず、標準偏差や標準偏差を平均で除することによって得られる変動係数を用いるものであってもよい。
　また、本実施形態の領域分割処理は、分割する部分領域間の変化を最大とする領域分割条件において、統計的性質のパラメータとして平均値を用いるものに限らず、中央値や最頻値を用いるものであってもよい。
また、本実施形態の領域分割処理は、分岐部の認識は分岐の形状に合わせてモデル化したマッチドフィルタの応答値によって認識されるものであってもよい。
　（第２の実施形態）
　次に、本発明の第２の実施形態の説明を行う。第１の実施形態では、生体粘膜微細構造をコントラストの不連続性（または非均質性）に基づいて領域分割する手段及び方法について説明したが、本実施形態の趣旨はコントラストの不連続性または非均質性に基づいて領域分割を行う方法に限定されるものではなく、例えば、構造の形態的特徴に基づいて領域分割を行うことも可能である。
　さらに、第１の実施形態においては、生体粘膜微細構造の抽出に用いる特徴量である線状構造を強調するフィルタの応答値とコントラストに相関があるため、生体粘膜微細構造の抽出と部分領域への領域分割に同じ特徴量を用いていたが、生体粘膜微細構造の抽出と部分領域への領域分割に異なる特徴量を用いることも可能である。
　このため、本実施形態においては、生体粘膜微細構造の抽出と、部分領域への領域分割に対して、異なる特徴量を用いつつ、生体粘膜微細構造のパターンの幅等の形態的な特徴量に基づいて領域分割を行うことが可能な医用画像処理装置及び医用画像処理方法についての説明を行う。
　なお、本実施形態に係る内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同じである。このため、本実施形態の内視鏡装置として第１の実施形態の内視鏡装置１と同じ符号を用いて、その構成の説明を省略する。
　また、本実施形態の医用画像処理装置を構成する画像処理部も図１に示した画像処理部４１と同じ構成である。そのため、本実施形態の画像処理部として第１の実施形態の画像処理部４１と同じ符号を用い、その説明を省略する。また、本実施形態の演算部４１ｂの構成を図１６Ｃに示す。
　図１６Ｃに示す本実施形態の演算部４１ｂは、図５に示した第１の実施形態の演算部４１ｂと一部異なる。図５の特徴量算出部４３ａは、生体粘膜微細構造を抽出する場合に用いる特徴量が、領域分割する場合に用いる特徴量と共通して使用していたが、図１６Ｃの特徴量算出部４３ａは、生体粘膜微細構造を抽出するために特徴量を算出する抽出用特徴量算出部４５ａと、領域分割する場合に用いる特徴量を算出する領域分割用特徴量算出部４５ｂとを有する。なお、図１６Ｃに示す演算部４１ｂは、第１の実施形態の場合も含む構成であるため、第１の実施形態のように共通の特徴量を算出することもできる。
　また、図５に示した第１の実施形態においては、コントラストの不連続性（又は非均質性）を部分領域に分割する分割条件としていたが、本実施形態においては、コントラストの他に構造の形態的な特徴量の不連続性を分割条件に設定することもできるように分割条件を設定（又は選択）する分割条件設定部４３ｄを有する。なお、分割条件設定部４３ｄを、演算部４１ｂの外部の画像処理部４１内部等に設けるようにしても良い。
　図１６Ｃに示すように演算部４１ｂは、コントラストの不連続性（又は非均質性）を分割条件とする第１の分割条件４６ａと、構造の形態的な特徴量の不連続性（又は非均質性）を分割条件とする第２の分割条件４６ｂとを格納するメモリ４７を有する。なお、メモリ４７を、演算部４１ｂの外部の画像処理部４１内部等に設けるようにしても良い。
　そして、ユーザの選択指示により、分割条件設定部４３ｄは、メモリ４７に格納され第１の分割条件４６ａと、第２の分割条件４６ｂとから一方を選択して分割条件に設定することができるようにしている。本実施形態においては、更に第３の分割条件４６ｃを選択することができるようにしている。第３の分割条件は、色調の不連続性（又は非均質性）を分割条件とするものである。その他の構成は、第１の実施形態と同様である。
　次に、本実施形態に係る内視鏡装置１の作用を説明する。
　本実施形態は、分割条件として第１の分割条件を選択した場合には、第１の実施形態とほぼ同様となるため、分割条件として第１の分割条件以外を選択した場合を説明する。
　つまり、以下の説明は、演算部４１ｂが抽出用特徴量算出部４５ａ，領域分割用特徴量算出部４５ｂを有する特徴量算出部４３ａ、抽出部４３ｂ、分岐部認識部４４ａ，セグメント分割部４４ｂ，分割判定部４４ｃを有する領域分割部４３ｃ、第２の分割条件４６ｂ又は第３の分割条件４６ｃを選択可能とする分割条件設定部４３ｄの場合について説明する。なお、第２の実施形態の変形例として、このような演算部４１ｂを備えた構成にしても良い。第２の実施形態の変形例の構成の場合には、コントラストを用いた第１の実施形態を含まない作用を持つことになる。これに対して、図１６Ｃに示した構成の場合には、第１の実施形態の作用の他に、以下の説明する作用を有するものとなる。
　まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。
　観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。
　図１７は、本実施形態における第１の実施形態とは異なる画像処理部４１の主要な処理を示す。
　画像処理部４１の画像データ生成部４１ａには、図１７のステップＳ２１に示すようにＲ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が画像入力部４１ｄを介して入力される。そして、画像データ生成部４１ａは、各画像に対応する色成分の画像データをそれぞれ生成し、生成した画像データを画像処理部４１の演算部４１ｂに出力する。
　画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにおいて生成された画像データに基づき、必要に応じて図示しない前処理として逆ガンマ補正やノイズ抑制処理を行ってもよい。
　演算部４１ｂ（の特徴量算出部４３ａ）は、画像データ生成部４１ａにおいて生成された画像データに基づき、以後の処理に用いる所定の特徴量を算出する。本実施形態においては図１７のステップＳ２２に示すように特徴量算出部４３ａは、抽出用特徴量算出部４５ａを用いて、線状構造を強調するフィルタの応答値をＧ光に応じた画像データの画素毎に算出し、抽出用の特徴量を算出する。そして、抽出した特徴量を演算部４１ｂの抽出部４３ｂに送る。
　ステップＳ２２において抽出された特徴量により、抽出部４３ｂは、図１７のステップＳ２３に示すように、生体組織１０１において生体粘膜微細構造が存在する領域を抽出する処理を行う。
　さらに、ステップＳ２４において演算部４１ｂ（の特徴量算出部４３ａ）は、ステップＳ２２において算出した抽出用の特徴量とは異なる領域分割用の特徴量を算出する。
　つまり、特徴量算出部４３ａは、領域分割用特徴量算出部４５ｂを用いて、領域分割用の特徴量として、例えばステップＳ２３において抽出した生体粘膜微細構造のパターンの形態的な特徴量（具体例では幅）を算出する。
　具体的な幅の算出方法を図１８Ａ～図１８Ｇを参照しながら説明する。まず、図１７のステップＳ２３において抽出した図１８Ａに示す生体粘膜微細構造５１を領域分割用特徴量算出部４５ｂは２値化する。図１８Ｂは、２値化された２値化画像ＥＢを示す。
　なお、２値化画像ＥＢは、生体粘膜微細構造にあたる画素の画素値を１、それ以外の画素の画素値を０とする画像である。　
　さらに領域分割用特徴量算出部４５ｂは、２値化画像ＥＢに対して中心線を検出する細線化処理を施すことで、図１８Ｃに示す細線化画像５１ａを得る。細線化画像５１ａは、生体粘膜微細構造の中心線にあたる画素の画素値を１、その他の画素の画素値を０とする画像である。　
　図１８Ｄに示すように細線化画像５１ａの画素値が１である画素の位置をｉ（１≦ｉ＜ＩＳＸ×ＩＳＹ｜Ｓｉ＝１）としたとき、図１８Ｅに示すように全てのｉについて２値化画像ＥＢの画素ＥＢｉにおける生体粘膜微細構造の幅を計算する。なお、上記（１≦ｉ＜ＩＳＸ×ＩＳＹ｜Ｓｉ＝１）はＩＳＸ×ＩＳＹ中における画素値Ｓｉが１になる位置ｉを表す。　
　図１８Ｆは２値化画像ＥＢの画素ＥＢｉにおける生体粘膜微細構造の幅を算出するために生体粘膜微細構造の走行方向Ｄｓ及びこの走行方向Ｄｓに直交する直交方向Ｄｖを示す。
　生体粘膜微細構造の幅は、例えば、画素ＥＢｉにおける生体粘膜微細構造の走行方向Ｄｓに直交する直交方向Ｄｖにおける、２値化画像ＥＢの画素値が１である画素が連続している個数である。そして、図１８Ｇに示すように直交方向Ｄｖにおける、２値化画像ＥＢの画素値が１である画素が連続している個数Ｍを算出する。図１８Ｇの場合にはＭ＝７の幅に相当する値となる。
　なお、画素ＥＢｉにおける生体粘膜微細構造の走行方向Ｄｓは、以下に示すような公知の方法で求めることができる。
　例えば、Ｇ光に応じた画像データに対して水平方向の微分処理と垂直方向の微分処理を行い、結果として得られる２方向の微分値のアークタンジェントを計算することで得られる勾配方向θを、さらに例えば図１９のような４方向に量子化することで得ることができる。
　図１９の左側は、－πラジアンからπラジアンの方向に対して－π≦θ≦πとして、（π／４）ラジアンを単位として４つの方向Ｄ１－Ｄ４に量子化した様子を示す。また、図１９の右側は、４つの方向にそれぞれ該当する場合の勾配方向θの範囲を示す。
　また、画素ＥＢｉにおける生体粘膜微細構造の走行方向Ｄｓに直交する直交方向Ｄｖは、前述の計算により得られる２方向の微分値のアークタンジェントを計算することで得られる勾配方向θに（π／２）ラジアンを加算し、さらに例えば図１９のような４方向に量子化することで得ることができる。なお、量子化する方向の数は、図１９に示すような４方向に限定されるものでなく、４以上となる複数方向でも良い。
　さらに、演算部４１ｂの領域分割部４３ｃは、図２０に示すように例えば図１７のステップＳ２４において生体粘膜微細構造５１において算出された形態的な特徴量としての幅（又は太さ）が異なる領域が存在する場合、ステップＳ２５に示すように幅の不連続性又は非均質性を示す条件（形態的な所定の分割条件）に基づいて分割線Ｌにより部分領域６１，６２に分割する。そして、分割後における各部分領域６１，６２の幅は、連続性または均質性を示すようになる。
　ここでの領域分割処理は、上述した第１の実施形態の領域分割処理と同様の処理であり、第１の実施形態におけるコントラストを幅に置き換えることで同様の処理を行うことができる。
　本実施形態によれば、画像データ生成部４１ａにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、画像データ上で連続的なパターンを呈する生体粘膜微細構造を、それぞれの分割された部分領域内で生体粘膜微細構造の幅が一様な２つの部分領域に分割することができる。その結果、所見に対応した生体粘膜微細構造の抽出精度を向上させることができる。
　換言すると、３次元の生体粘膜微細構造を撮像した２次元の画像データ上では見かけ上連続したパターンとなっている場合、３次元構造に対応した不連続な境界で部分領域に分割し、分割後ではそれぞれの部分領域内で幅が一様又は連続性を示すような部分領域に分割することができる。その結果、３次元の生体粘膜微細構造に対応した部分領域を抽出する抽出精度を向上させることができる。
　なお、本実施形態の形態的な分割条件による領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、図１６Ｃに示す第３の分割条件４６ｃ（色調に関する条件）を選択して、色調の不連続性（又は非均質性）を所定の分割条件として領域分割処理を行うようにしても良い。
　図２１は、生体粘膜微細構造５１における色調の不連続性から分割線Ｌにより部分領域６１，６２に分割した例を示す。
　つまり、色調に関する特徴量としては、例えば図１７のステップＳ２３において抽出した生体粘膜微細構造に対して、ステップＳ２４において生体粘膜微細構造における各画素位置における、Ｇ光に応じた画像データの画像濃度値を算出するようにしてもよい。また、上述した方法と略同様の方法で生体粘膜微細構造セグメントを検出し、Ｇ光に応じた画像データの画像濃度値から各々のセグメントを構成する全ての画素について平均値を計算することで生体粘膜微細構造セグメントの各々の色調を得ることができる。
　また、本実施形態の領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、図２２及び図２３に示すように生体粘膜微細構造の走行方向を用いるものであってもよい。図２２は、その左側に示すように生体粘膜微細構造５１における走行方向が異なる部分において、その右側に示すように分割線Ｌにより部分領域６１，６２に分割した様子を示す。また、図２３も同様にその左側に示すように生体粘膜微細構造５１における走行方向が異なる部分において、その右側に示すように分割線Ｌ１，Ｌ２，Ｌ３，Ｌ４により部分領域６１，６２ａ，６２ｂ，６２ｃ，６２ｄに分割した様子を示す。
　生体粘膜微細構造の各々の画素位置における走行方向は、前述したようにＧ光に応じた画像データに対して水平方向の微分処理と垂直方向の微分処理を行い、結果として得られる２方向の微分値のアークタンジェントを計算することで得られる勾配方向θを、さらに例えば図１９で示したような４方向に量子化することで得ることができる。
　また、生体粘膜微細構造セグメント各々の方向は、略同様の方法で生体粘膜微細構造セグメントを検出し、各々のセグメントを構成する全ての画素についての走行方向から最頻値を計算することで得ることができる。そして、走行方向の最頻値が不連続性を示す場合には部分領域に分割する。
　生体粘膜微細構造セグメントにおける走行方向の頻度の算出過程を図２４Ａ及び図２４Ｂに図示した。図２４Ａに示すように生体粘膜微細構造セグメントＳＧ内における各々の画素位置における走行方向を算出する。なお、算出された全画素における走行方向の情報は、例えば図１９に示した４つの方向Ｄ１－Ｄ４に区分けしてその頻度を算出する。算出された各方向の頻度の値を図２４Ｂに示すことにより、生体粘膜微細構造セグメントＳＧにおける走行方向の最頻値を算出することができる。そして、走行方向の最頻値を走行方向に設定する。その後、走行方向の最頻値を用いて走行方向の最頻値の不連続性を分割条件として領域分割処理を行う。そして、分割後では、各部分領域内では走行方向の最頻値がほぼ連続性を示すようになる。
　なお、最頻値を用いて領域分割処理を行う場合に限定されるものでなく、各々の勾配方向に勾配強度を重みとして乗じた重み付きヒストグラムにおける重み付き最頻値を用いて領域分割処理を行うようにしてもよい。
　また、本実施形態の領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、生体粘膜微細構造の長さを用いるものであってもよい。
　生体粘膜微細構造の長さは、例えば、図１７のステップＳ２３において抽出した生体粘膜微細構造を２値化し、さらに中心線を検出する細線化処理を施すことで得た細線化画像の画素値が１である画素の総数である。
　また、生体粘膜微細構造セグメントの各々の長さは、細線化画像から略同様の方法で細線化セグメントを検出し、各々の細線化セグメントを構成する画素の数をカウントすることで計算できる。　
　さらに、本実施形態の領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、生体粘膜微細構造のコントラスト、幅、色調、走行方向、長さのうち２つ以上を組み合わせて用いるものであってもよい。以下に、組み合わせの一例として幅と色調を用いて領域分割する場合の例を、処理が同様の部分は省略し、ポイントとなる主要な部分のみ示す。
　例えば、上述した図１１に示すように領域Ａを２つの領域（部分領域Ｃと部分領域Ｄ）に分割する場合において、部分領域Ｃ内の幅の分散値をσｗＣ、色調の分散値をσｃＣ、部分領域Ｄ内の幅の分散値をσｗＤ、色調の分散値をσｃＤとしたときに、以下の目的関数ｆ１Ｄを最小化する部分領域Ｃと部分領域Ｄを求めればよい。なお、αとβはそれぞれ重みを表す定数であり、ここでは例えばα＝１、β＝１とする。
　　ｆ１Ｄ ＝α（σｗＣ＋σｗＤ）＋β（σｃＣ＋σｃＤ）　→ｍｉｎ　　（８）
　また、例えば、図１１に示すように領域Ａを２つの領域（部分領域Ｃと部分領域Ｄ）に分割する場合において、部分領域Ｃ内の幅の平均値をμｗＣ、色調の平均値をμｃＣ、部分領域Ｄ内の幅の平均値をμｗＤ、色調の平均値をμｃＤとしたときに、以下の目的関数ｆ２Ｂを最大化する部分領域Ｃと部分領域Ｄを求めればよい。なお、αとβはそれぞれ重みを表す定数であり、ここでは例えばα＝１、β＝１とする。
　　ｆ２Ｂ ＝α（μｗＣ＋μｗＤ）＋β（μｃＣ＋μｃＤ）　→ｍａｘ　　（９）
　さらに、例えば、図１１に示すように領域Ａを２つの領域（部分領域Ｃと部分領域Ｄ）に分割する場合において、部分領域Ｃ内の幅の分散値をσｗＣ、色調の分散値をσｃＣ、部分領域Ｃ内の幅の平均値をμｗＣ、色調の平均値をμｃＣ、領域Ｄ内の幅の分散値をσｗＤ、色調の分散値をσｃＤ、部分領域Ｄ内の幅の平均値をμｗＤ、色調の平均値をμｃＤとしたときに、以下の目的関数ｆ３Ｂを最大化する部分領域Ｃと部分領域Ｄを求めればよい。
　なお、αとβはそれぞれ重みを表す定数であり、ここでは例えばα＝１、β＝１とする。
　ｆ３Ｂ ＝α(μｗＣ＋μｗＤ)/(σｗＣ＋σｗＤ)
　　　　＋β(μｃＣ＋μｃＤ)/(σｃＣ＋σｃＤ)　　 →ｍａｘ　　（１０）
　本実施形態の領域分割処理は、式（８）における目的関数ｆ１Ｄの値を最小化する生体粘膜微細構造セグメントの組み合わせを求める方法であってもよいし、式（９）における目的関数ｆ２Ｂの値を最大化する方法であってもよいし、式（１０）の目的関数ｆ３Ｂの値を最大化するものであってもよい。
（第３の実施形態）
　次に、本発明の第３の実施形態の説明を行う。分割する各々の部分領域が連続性または同一性を保つような分割条件に基づいて領域分割処理を行った第１の実施形態、及び第２の実施形態とは異なり、本実施形態においては、生体粘膜微細構造の顕著性に基づく領域分割処理について説明を行う。
　つまり、第１の実施形態および第２の実施形態が部分領域の領域内及び領域間の特徴の変化に着目して領域分割を行う方法であるのに対し、本実施形態は部分領域の特徴の絶対量に着目して領域分割を行う方法である。より具体的には、生体粘膜微細構造の領域分割する場合、所定の特徴量が最大となるような部分領域（顕著な部分領域）と、それ以外の部分領域に分割する。
　なお、本実施形態においては、第１の実施形態及び第２の実施形態と同様の構成の内視鏡装置１を用いて処理を行う。そのため、本実施形態においては、第１の実施形態の場合と同じ符号の内視鏡装置１を用いる。また、本実施形態の画像処理部は第１及び第２の実施形態の画像処理部４１と同じ構成であり、本実施形態も同じ符号の画像処理部４１を用いて説明する。また、本実施形態における演算部４１ｂの構成を図２５に示す。図２５に示す演算部４１ｂは、図１６Ｃに示す演算部４１ｂにおいて、更にメモリ４７には顕著性により領域分割処理を行うための第４の分割条件４６ｄを格納している。そして、ユーザは第１分割条件４６ａから第４の分割条件４６ｄまでの任意の分割条件を選択することができる。
　また、領域分割部４３ｃは、更に抽出部４３ｂにより抽出された生体粘膜微細構造から少なくとも１つの端部を認識（又は検出）する端部認識手段としての端部認識部４４ｄと、端部認識部４４ｄによって認識された端部に基づき、抽出部４３ｂにより抽出された生体粘膜微細構造から前記端部を一端に持つ部分構造を部分構造候補として検出する部分構造候補検出手段としての部分構造候補検出部４４ｅと、を有する。
　そして、領域分割部４３ｃの分割判定部４４ｃは、部分構造候補検出部４４ｅによって検出された部分構造候補の各々から算出される特徴量に基づいて所定の分割条件としての第４の分割条件４６ｄに対応する部分領域に分割する判定及び分割を行う。
　なお、部分構造候補検出部４４ｅが端部認識部４４ｄの機能を兼ねる構成にしても良い。つまり、部分構造候補検出部４４ｅが生体粘膜微細構造から少なくとも１つの端部を認識し、認識結果に基づいてさらに（部分構造候補検出部４４ｅが）前記端部を一端に持つ部分構造を部分構造候補として検出するようにしても良い。
　ユーザが第４の分割条件以外を選択した場合には、第２の実施形態と同様の作用となる場合がある。このため、以下の説明においては、ユーザが第４の分割条件を選択した場合を説明する。　
　本実施形態における第１の実施形態及び第２の実施形態と異なる主要部分においては、部分領域への領域分割に用いる特徴量、及び、領域分割の基準が主に異なる。そのため、本実施形態においては、第１の実施形態及び第２の実施形態と異なる部分についての説明を主に行うとともに、第１の実施形態及び第２の実施形態と同様の部分については適宜省略しつつ説明を行う。
　つまり、以下の説明は、演算部４１ｂが抽出用特徴量算出部４５ａ，領域分割用特徴量算出部４５ｂを有する特徴量算出部４３ａ、抽出部４３ｂ、端部認識部４４ｄ，部分構造候補検出部４４ｅ，分割判定部４４ｃを有する領域分割部４３ｃ、第４の分割条件４６ｄが選択された分割条件設定部４３ｄの場合について説明する。なお、第３の実施形態の変形例として、このような演算部４１ｂのみを備えた構成にしても良い。
　次に、本実施形態に係る内視鏡装置１の作用について説明を行う。
　まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。
　観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。
　図２６は、本実施形態における画像処理部４１の主要な処理を示す。
　画像処理部４１の画像データ生成部４１ａには、図２６のステップＳ３１に示すようにＲ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が画像入力部４１ｄを介して入力される。そして、画像データ生成部４１ａは、各画像に対応する色成分の画像データをそれぞれ生成し、生成した画像データを画像処理部４１の演算部４１ｂに出力する。
　画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにおいて生成された画像データに基づき、必要に応じて、図示しない前処理として逆ガンマ補正やノイズ抑制処理を行ってもよい。
　演算部４１ｂ（の特徴量算出部４３ａ）は、画像データ生成部４１ａにおいて生成された画像データに基づき、以後の処理に用いる所定の特徴量を算出する。本実施形態においては図２６のステップＳ３２に示すように特徴量算出部４３ａは、抽出用特徴量算出部４５ａを用いて、線状構造を強調するフィルタの応答値をＧ光に応じた画像データの画素毎に算出し、抽出用の特徴量を算出する。そして、抽出した特徴量を演算部４１ｂの抽出部４３ｂに送る。
　ステップＳ３２において抽出された特徴量により、抽出部４３ｂは、図２６のステップＳ３３に示すように、生体組織１０１において生体粘膜微細構造が存在する領域を抽出する処理を行う。抽出部４３ｂは、抽出した生体粘膜微細構造を領域分割部４３ｃに出力する。ステップＳ３４に示すように、領域分割部４３ｃの端部認識部４４ｄは、抽出された生体粘膜微細構造から複数の端点を（生体粘膜微細構造の端部として）認識する。ステップＳ３４以降の処理について図２７Ａ～図２７Ｉを参照しながら説明する。
　領域分割部４３ｃの端部認識部４４ｄは、図２６のステップＳ３３において抽出した生体粘膜微細構造からステップＳ３４に示すように複数の端点を認識し、さらに次のステップＳ３５において領域分割部４３ｃの部分構造候補検出部４４ｅは、２つの端点の組を端点候補として検出し、検出された各々の組について両端点を結ぶ生体粘膜微細構造を通る経路を（部分構造候補を形成する）経路候補として検出する。
　より具体的には、端部認識部４４ｄは、図２７Ａに示す生体粘膜微細構造５１を２値化し、さらに中心線を検出する細線化処理を施すことで図２７Ｂに示す細線化画像５１ａを生成する。また、端部認識部４４ｄは、細線化画像５１ａから隣接する画素の数が１である画素を端点として全て、つまり端点群を認識する。図２７Ｂの場合には、３つの端点Ｐ１，Ｐ２，Ｐ３が認識（検出）され、端点群は端点Ｐ１，Ｐ２，Ｐ３からなる。
　次に、部分構造候補検出部４４ｅは、端点群の中から２つの端点を端点候補としてランダムに選択する。部分構造候補検出部４４ｅは、さらに、別の端点候補として、先に選択された２点とは異なる２点の組をランダムに選択し、全ての端点の組み合わせが選択されるまで同様の処理を繰り返す。このようにして得られた端点候補の組に対して、各々の端点候補の組を結ぶ経路を経路候補ＣＰｋ（ｋ＝１，．．．，Ｎ）として細線化画像５１ａから全て求める。
　図２７Ｂの端点Ｐ１，Ｐ２，Ｐ３の場合には、図２７Ｃ，図２７Ｄ，図２７Ｅに示すような経路候補ＣＰ１，ＣＰ２，ＣＰ３が検出される。
　さらに、演算部４１ｂの特徴量算出部４３ａは、図２６のステップＳ３６において、検出された各々の経路候補ＣＰｋについて所定の特徴量を算出する。特徴量算出部４３ａは、所定の特徴量として、例えば、生体粘膜微細構造の経路候補ＣＰｋの長さｌ（ＣＰｋ）を領域分割用の特徴量として算出する。
　経路候補ＣＰｋの長さｌ（ＣＰｋ）は、例えば、細線化画像５１ａ上で各々の経路候補ＣＰｋを構成する画素の総数を計算することで得られる。
　図２６のステップＳ３７において演算部４１ｂの分割判定部４４ｃは、ステップＳ３３において抽出された生体粘膜微細構造を、ステップＳ３６において算出された各々の経路候補ＣＰｋの中で最も長い経路を顕著な経路として部分領域として領域分割する。
　より具体的に、本実施形態において最も顕著な経路とは、例えば、全ての経路候補の中で最も長い経路候補であり、細線化画像５１ａにおいて最も長い候補経路ＣＰmax arg＝max（ｌ（ＣＰｋ））を選択し、その候補経路を幅方向に膨張処理を施すことで部分領域を得る。
　さらに、図２６のステップＳ３３において抽出された生体粘膜微細構造から、このようにして得た部分領域と、その他の部分領域とを領域分割する。
　図２７の図示例においては、図２７Ｃ、図２７Ｄ、図２７Ｅに示す３組の経路候補ＣＰ１，ＣＰ２，ＣＰ３は、それぞれ図２７Ｆ、図２７Ｇ、図２７Ｈに示すようになる。分割判定部４４ｃは、３つの経路候補ＣＰ１，ＣＰ２，ＣＰ３から最も長い候補経路ＣＰmaxが経路候補ＣＰ１であると判定する。そして、分割判定部４４ｃは、経路候補ＣＰ１を幅方向に膨張処理を施すことで、図２７Ｉに示すように分割線Ｌで分割された部分領域６１，６２を生成する。
　また、抽出部４３ｂにより抽出された生体粘膜微細構造５１が例えば図２８の左側に示すようなパターン形状である場合には、演算部４１ｂは同様の処理を行うことにより、演算部４１ｂの分割判定部４４ｃは、図２８の右側に示すに分割線Ｌ１，Ｌ２で分割された部分領域６１，６２ａ，６２ｂを生成する。
　本実施形態によれば、画像データ生成部４１ａにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、画像データ上で連続的なパターンを呈する生体粘膜微細構造を、最大の長さを持つ部分領域を有するように生体粘膜微細構造を部分領域に分割することができる。
　第１の実施形態及び第２の実施形態は、生体粘膜微細構造の不連続性または非均質性に基づいた領域分割手法であったが、本実施形態は、生体粘膜微細構造において部分的に顕著な特徴量を有する領域が存在する場合において、所見に対応した生体粘膜微細構造の抽出精度を向上させることができる。
　なお、本実施形態の画像処理部４１が行う処理として、図２９に示すように分割条件設定部４３ｄにより設定又は選択された所定の分割条件に応じた処理を行うようにしても良い。最初のステップＳ５１においてユーザは分割条件設定部４３ｄによる所定の分割条件の設定又は選択を行う。
　ステップＳ５１の処理後に、ステップＳ５２の画像入力の処理、ステップＳ５３の抽出用の特徴量を算出する処理、ステップＳ５４の生体粘膜微細構造を抽出する処理を順次行う。これらのステップＳ５２，Ｓ５３，Ｓ５４は、図１７のステップＳ２１，Ｓ２２，Ｓ２３（又は図２６のステップＳ３１，Ｓ３２，Ｓ３３）と同じ処理である。
　ステップＳ５４の後のステップＳ５５において領域分割部４３ｃは、ステップＳ５１において設定された所定の分割条件を判定する。そして、判定結果に応じて、特徴量算出部４３ａは領域分割用の特徴量を算出する。
　所定の分割条件が第１の分割条件に設定されている判定の場合には、ステップ５６において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおけるコントラストを領域分割用の特徴量として算出する。
　所定の分割条件が第２の分割条件に設定されている判定の場合には、ステップ５７において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおける形態的な特徴量（具体的には、パターンの幅、又は長さ、又は走行方向等）を領域分割用の特徴量として算出する。
　所定の分割条件が第３の分割条件に設定されている判定の場合には、ステップ５８において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおける色調の特徴量を領域分割用の特徴量として算出する。
　所定の分割条件が第４の分割条件に設定されている判定の場合には、ステップ５９において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおける顕著性の特徴量を領域分割用の特徴量として算出する。
　ステップＳ５６，Ｓ５７，Ｓ５８，Ｓ５９の処理後のステップＳ６０において領域分割部４３ｃは、生体粘膜微細構造のパターンを、算出された領域分割用の特徴量に基づいて、算出された特徴量の不連続性、不均質性、非顕著性の少なくともいずれかに対応する部分領域に分割する。そして、分割された各部分領域は、不連続性、不均質性、非顕著性の少なくともいずれかが解消されて連続性、又は均質性、又は顕著性の特性を示すようになる。このようにして、図２９の処理が終了する。
　このように処理することにより、生体粘膜微細構造のパターンが示す種々の特徴量（具体的にはパターンにおけるコントラスト、色調、幅、長さ、走行方向等）に基づいて、生体粘膜微細構造の３次元的構造を反映するように部分領域に精度良く分割することができる。なお、図２９に示す処理は、具体的処理の１例を示すものであり、一部を変更した処理を行うようにしても良い。　
　例えば、ステップＳ５６，Ｓ５７，Ｓ５８，Ｓ５９における２つ、又は３つ（のように複数）の処理を順次又は並行して行い、複数の特徴量の算出結果に基づいてステップＳ６０の処理を行うようにしても良い。また、例えば、パターンの形態的な特徴量を算出する場合においても、例えばパターンの幅と長さとの２つの特徴量を算出し、該算出結果に基づいてステップＳ６０の処理を行うようにしても良い。
　また、領域分割用の特徴量を算出する場合、優先して算出する特徴量の順序を設定する算出特徴量順序設定部を設け、優先度の高い特徴量を優先して算出し、その算出結果に基づいて領域分割の処理を行うようにしても良い。また、優先度の高い複数の特徴量の算出結果に基づいて領域分割の処理を行うようにしても良い。このようにすると、より信頼性の高い領域分割や、精度の良い部分領域の抽出を行うことができる。
　また、以上の各実施形態において述べた一連の処理は、内視鏡画像に対して適用されるものに限らず、例えば、カプセル内視鏡により得られた画像に対して適用されるものであってもよく、または、モノクロ画像等の各種の医用画像に対して適用されるものであってもよい。　
　また、以上の各実施形態において述べた一連の処理は、生体粘膜微細構造における、サーフェスパターンやｐｉｔ　ｐａｔｔｅｒｎ（ピットパターン）や血管のいずれに対しても適用することができる。
　また、以上に述べた各実施形態においては、１画素ごとに算出された特徴量を用いて処理を行うものであってもよく、または、複数画素（例えば４×４画素）からなる小領域ごとに算出された特徴量を用いて処理を行うものであってもよい。
　また、上述した実施形態において、例えば第２の実施形態は、実質的に第１の実施形態を含む構成で説明したが、第２の実施形態中において変形例として言及したように第１の実施形態を除外した構成にしても良い。また、第３の実施形態は、実質的に第１の実施形態と第２の実施形態を構成で説明したが、第３の実施形態中において変形例として言及したように第１の実施形態と第２の実施形態を除外した構成にしても良い。
　本発明は、上述した各実施形態に限定されるものではなく、変形例を含む実施形態等を部分的に組み合わせて構成される実施形態の場合を含む。さらに本発明は、本発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
　本出願は、２０１２年１２月１９日に日本国に出願された特願２０１２－２７７０９０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (20)

  1. 　生体粘膜を撮像して得られる医用画像が入力される画像入力手段と、
    　前記画像入力手段に入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出手段と、
    　前記特徴量算出手段により算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出手段と、
    　前記抽出手段により抽出された生体粘膜微細構造を、前記特徴量算出手段により算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割手段と、
    　を有することを特徴とする医用画像処理装置。
  2. 　さらに、前記抽出手段によって抽出された生体粘膜微細構造から分岐部を認識する分岐部認識手段を有し、
    　前記領域分割手段は、前記特徴量算出手段によって算出された特徴量に基づき、前記分岐部認識手段によって認識された分岐部の周辺において前記所定の分割条件を適用することにより前記分岐部から前記部分領域を分割することを特徴とする請求項１に記載の医用画像処理装置。
  3. 　前記所定の分割条件は、前記生体粘膜微細構造におけるパターンの不連続性、非均質性、非顕著性のうちの少なくとも１つに基づいて設定される条件であることを特徴とする請求項１又は２に記載の医用画像処理装置。
  4. 　前記所定の分割条件は、前記生体粘膜微細構造におけるパターンの延伸する方向、幅、色調・コントラスト、長さのいずれかに関する不連続性、非均質性、非顕著性のうち少なくとも１つに基づいて設定される条件であることを特徴とする請求項１から３のいずれか１つの請求項に記載の医用画像処理装置。
  5. 　さらに、前記生体粘膜微細構造を、一端に前記分岐部を有し他端に分岐部または端部を有する複数のセグメントに分割するセグメント分割部を有し、
    　前記特徴量算出手段は、さらに前記セグメント分割部によって分割されたセグメントの各々に対しても、それぞれ少なくとも１つの特徴量を算出し、
    　前記領域分割手段は、前記抽出手段により抽出された生体粘膜微細構造を、前記特徴量算出手段により算出されたセグメント毎の特徴量に基づき前記所定の分割条件に対応する部分領域に分割することを特徴とすることを特徴とする請求項２から４のいずれか１つの請求項に記載の医用画像処理装置。
  6. 　さらに、前記抽出手段によって抽出された生体粘膜微細構造から少なくとも１つの端部を認識する端部認識手段と、
    　前記端部認識手段によって認識された端部に基づき、前記抽出手段によって抽出された生体粘膜微細構造から前記端部を一端にもつ部分構造を前記領域分割手段で分割する部分構造の候補として複数検出する部分構造候補検出手段と、を有し
    　前記領域分割手段は、前記部分構造候補検出手段によって検出された部分構造候補の各々から算出される特徴量に基づいて所定の分割条件に対応する部分領域に分割することを特徴とする請求項２から４のいずれか１つの請求項に記載の医用画像処理装置。
  7. 　前記粘膜微細構造は血管、サーフェスパターン、pit patternのうちの少なくとも１つであることを特徴とする請求項１から６のいずれか１つの請求項に記載の医用画像処理装置。
  8. 　前記所定の分割条件は、分割後の各々の部分領域内においてコントラストの変化が最小とする条件であることを特徴とする請求項１から７のいずれか１つの請求項に記載の医用画像処理装置。
  9. 　前記所定の分割条件は、分割後の各々の部分領域間においてコントラストの平均値の変化が最大とする条件であることを特徴とする請求項１から７のいずれか１つの請求項に記載の医用画像処理装置。
  10. 　前記分割条件は、分割後の各々の部分領域内においてコントラストの変化が最小、かつ分割後の各々の部分領域間においてコントラストの平均値の変化が最大とする条件であることを特徴とする請求項１から７のいずれか１つの請求項に記載の医用画像処理装置。
  11. 　生体粘膜を撮像して得られる医用画像を入力する画像入力ステップと、
    　前記画像入力ステップで入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出ステップと、
    　前記特徴量算出ステップにより算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出ステップと、
    　前記抽出ステップにより抽出された生体粘膜微細構造を、前記特徴量算出ステップにより算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割ステップと、
    　を実行することを特徴とする医用画像処理方法。
  12. 　さらに、前記抽出ステップによって抽出された生体粘膜微細構造から分岐部を認識する分岐部認識ステップを有し、
    　前記領域分割ステップは、前記特徴量算出ステップによって算出された特徴量に基づき、前記分岐部認識ステップによって認識された分岐部の周辺部において前記所定の分割条件を適用することにより前記分岐部から前記部分領域を分割することを特徴とする請求項１１に記載の医用画像処理方法。
  13. 　前記所定の分割条件は、前記生体粘膜微細構造におけるパターンの不連続性、非均質性、非顕著性のうちの少なくとも１つに基づいて設定される条件であることを特徴とする請求項１１又は１２に記載の医用画像処理方法。
  14. 　前記所定の分割条件は、前記生体粘膜微細構造におけるパターンの延伸する方向、幅、色調・コントラスト、長さのいずれかに関する不連続性、非均質性、非顕著性のうち少なくとも１つに基づいて設定される条件であることを特徴とする請求項１１から１３のいずれか１つの請求項に記載の医用画像処理方法。
  15. 　さらに、前記生体粘膜微細構造を、一端に前記分岐部を有し他端に分岐部または端部を有する複数のセグメントに分割するセグメント分割ステップを有し、
    　前記特徴量算出ステップは、さらに前記セグメント分割ステップによって分割されたセグメントの各々に対しても、それぞれ少なくとも１つの特徴量を算出し、
    　前記領域分割ステップは、前記抽出ステップにより抽出された生体粘膜微細構造を、前記特徴量算出ステップにより算出されたセグメント毎の特徴量に基づき所定の分割条件に対応する部分領域に分割することを特徴とすることを特徴とする請求項１２から１４のいずれか１つの請求項に記載の医用画像処理方法。
  16. 　さらに、前記抽出ステップによって抽出された生体粘膜微細構造から少なくとも１つの端部を認識する端部認識ステップと、
    　前記端部認識ステップによって認識された端部に基づき、前記抽出ステップによって抽出された生体粘膜微細構造から前記端部を一端にもつ部分構造を前記領域分割ステップで分割する部分構造の候補として複数検出する部分構造候補検出ステップと、を有し、
    　前記領域分割ステップは、前記部分構造候補検出ステップによって検出された部分構造候補の各々から算出される特徴量に基づいて所定の分割条件に対応する部分領域に分割することを特徴とする請求項１２から１４のいずれか１つの請求項に記載の医用画像処理方法。
  17. 　前記粘膜微細構造は血管、サーフェスパターン、pit patternのうちの少なくとも１つであることを特徴とする請求項１１から１６のいずれか１つの請求項に記載の医用画像処理方法。
  18. 　前記所定の分割条件は、分割後の各々の部分領域内においてコントラストの変化が最小とする条件であることを特徴とする請求項１１から１７のいずれか１つの請求項に記載の医用画像処理方法。
  19. 　前記所定の分割条件は、分割後の各々の部分領域間においてコントラストの平均値の変化が最大とする条件であることを特徴とする請求項１１から１７のいずれか１つの請求項に記載の医用画像処理方法。
  20. 　前記所定の分割条件は、分割後の各々の部分領域内においてコントラストの変化が最小、かつ分割後の各々の部分領域間においてコントラストの平均値の変化が最大とする条件であることを特徴とする請求項１１から１７のいずれか１つの請求項に記載の医用画像処理方法。
PCT/JP2013/079883 2012-12-19 2013-11-05 医用画像処理装置及び医用画像処理方法 WO2014097758A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014531444A JP5749864B2 (ja) 2012-12-19 2013-11-05 画像処理装置
CN201380067107.1A CN104869884B (zh) 2012-12-19 2013-11-05 医用图像处理装置以及医用图像处理方法
EP13865861.2A EP2912988A4 (en) 2012-12-19 2013-11-05 DEVICE FOR PROCESSING MEDICAL PICTURES AND METHOD FOR PROCESSING MEDICAL PICTURES
US14/336,340 US9262687B2 (en) 2012-12-19 2014-07-21 Image processing apparatus and method of operation of image processing appartus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-277090 2012-12-19
JP2012277090 2012-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/336,340 Continuation US9262687B2 (en) 2012-12-19 2014-07-21 Image processing apparatus and method of operation of image processing appartus

Publications (1)

Publication Number Publication Date
WO2014097758A1 true WO2014097758A1 (ja) 2014-06-26

Family

ID=50978104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/079883 WO2014097758A1 (ja) 2012-12-19 2013-11-05 医用画像処理装置及び医用画像処理方法

Country Status (5)

Country Link
US (1) US9262687B2 (ja)
EP (1) EP2912988A4 (ja)
JP (1) JP5749864B2 (ja)
CN (1) CN104869884B (ja)
WO (1) WO2014097758A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158838A (ja) * 2015-02-27 2016-09-05 富士フイルム株式会社 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
WO2017086433A1 (ja) * 2015-11-19 2017-05-26 国立大学法人 東京大学 医用画像処理方法及び装置及びシステム及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11191506B2 (en) * 2016-07-08 2021-12-07 Ricoh Company, Ltd. Diagnosis support system, diagnosis support apparatus, and recording medium
CA3058195A1 (en) 2017-04-28 2018-11-01 4D Path Inc. Apparatus, systems, and methods for rapid cancer detection
TWI632893B (zh) * 2017-05-16 2018-08-21 國立陽明大學 偵測與分析消化道黏膜組織之方法及系統
CN109785296B (zh) * 2018-12-25 2023-07-04 西安电子科技大学 一种基于cta图像的三维球形指数测定方法
WO2020189213A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム
CN112967207B (zh) * 2021-04-23 2024-04-12 北京恒安嘉新安全技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114359278B (zh) * 2022-03-18 2022-05-20 武汉楚精灵医疗科技有限公司 胃黏膜微结构排列规范程度量化方法、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141734A (ja) 2004-11-19 2006-06-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009142552A (ja) * 2007-12-17 2009-07-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2011516200A (ja) 2008-04-08 2011-05-26 ナショナル ユニヴァーシティー オブ シンガポール 網膜画像分析システム及び方法
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2011167349A (ja) * 2010-02-18 2011-09-01 Olympus Medical Systems Corp 画像処理装置及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP4434705B2 (ja) * 2003-11-27 2010-03-17 オリンパス株式会社 画像解析方法
JP5435532B2 (ja) * 2007-07-17 2014-03-05 富士フイルム株式会社 画像処理システム
US7767980B2 (en) * 2007-07-17 2010-08-03 Fujifilm Corporation Image processing system, image processing method and computer readable medium
JP5376206B2 (ja) * 2007-12-05 2013-12-25 富士フイルム株式会社 位置特定システムおよびプログラム
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
EP2502546B1 (en) * 2010-04-12 2015-07-01 Olympus Medical Systems Corp. Medical image processing apparatus and medical image processing method
JPWO2011161993A1 (ja) * 2010-06-24 2013-08-19 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理装置の制御方法
JP2012013432A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 断層画像処理装置及び方法、並びに光干渉断層画像診断装置
EP2679142B1 (en) * 2011-02-22 2017-04-19 Olympus Corporation Medical image processing device and medical image processing method
JP5263995B2 (ja) * 2011-03-18 2013-08-14 富士フイルム株式会社 ネットワーク構築装置および方法ならびにプログラム
JP5301737B2 (ja) * 2011-04-27 2013-09-25 オリンパスメディカルシステムズ株式会社 医用画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141734A (ja) 2004-11-19 2006-06-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009142552A (ja) * 2007-12-17 2009-07-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2011516200A (ja) 2008-04-08 2011-05-26 ナショナル ユニヴァーシティー オブ シンガポール 網膜画像分析システム及び方法
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2011167349A (ja) * 2010-02-18 2011-09-01 Olympus Medical Systems Corp 画像処理装置及び画像処理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALEJANDRO F. FRANGI; WIRO J. NISSEN; KOEN L. VINCKEN; MAX A. VIERGEVER: "LNCS", vol. 1496, SPRINGER VERLAG, article "Multiscale Vessel Enhancement Filtering", pages: 130 - 137
EISHIN KUDO: "Monthly Book Gastro, Kabushikigaisha Zen-nihon Byo-in Shuppan-kai", 15 May 1993, article "Early-Stage Depressed Large Intestine Cancer", pages: 47 - 54
HARUHIRO INOUE: "magnifying endoscopic diagnosis of esophageal diseases", GASTROENTEROLOGICAL ENDOSCOPY, 25 March 2001 (2001-03-25), pages 301 - 308
KENSHI YAO; TOSHIYUKI MATSUI, ZOOM GASTROSCOPY, 2009
See also references of EP2912988A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158838A (ja) * 2015-02-27 2016-09-05 富士フイルム株式会社 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
WO2017086433A1 (ja) * 2015-11-19 2017-05-26 国立大学法人 東京大学 医用画像処理方法及び装置及びシステム及びプログラム
JPWO2017086433A1 (ja) * 2015-11-19 2018-07-05 国立大学法人 東京大学 医用画像処理方法及び装置及びシステム及びプログラム

Also Published As

Publication number Publication date
JP5749864B2 (ja) 2015-07-15
EP2912988A1 (en) 2015-09-02
EP2912988A4 (en) 2016-07-13
US20150003715A1 (en) 2015-01-01
JPWO2014097758A1 (ja) 2017-01-12
CN104869884B (zh) 2017-03-08
CN104869884A (zh) 2015-08-26
US9262687B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
JP5749864B2 (ja) 画像処理装置
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP4409166B2 (ja) 画像処理装置
JP6176978B2 (ja) 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
EP1842481B1 (en) Medical image processing method
EP2502546B1 (en) Medical image processing apparatus and medical image processing method
WO2012114600A1 (ja) 医用画像処理装置及び医用画像処理方法
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
JP5622461B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2012073953A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
WO2020008651A1 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2012002012A1 (ja) 画像処理装置及び画像処理方法
JP6580446B2 (ja) 画像処理装置及び画像処理方法
Anuradha et al. Detection of oral tumor based on marker-controlled watershed algorithm
JP6112859B2 (ja) 医用画像処理装置
JP4855673B2 (ja) 医用画像処理装置
Sánchez-Peralta et al. Artificial intelligence for colorectal polyps in colonoscopy
Finkšt et al. Classification of malignancy in suspicious lesions using autofluorescence bronchoscopy
JP4856275B2 (ja) 医用画像処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014531444

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13865861

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013865861

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE