WO2014073527A1 - 医療用画像処理装置 - Google Patents

医療用画像処理装置 Download PDF

Info

Publication number
WO2014073527A1
WO2014073527A1 PCT/JP2013/079884 JP2013079884W WO2014073527A1 WO 2014073527 A1 WO2014073527 A1 WO 2014073527A1 JP 2013079884 W JP2013079884 W JP 2013079884W WO 2014073527 A1 WO2014073527 A1 WO 2014073527A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
region
area
feature amount
mucous membrane
Prior art date
Application number
PCT/JP2013/079884
Other languages
English (en)
French (fr)
Inventor
田中　健一
佐和子 柴田
悠介 登本
博一 西村
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to EP13853195.9A priority Critical patent/EP2815692B1/en
Priority to CN201380018296.3A priority patent/CN104203075B/zh
Priority to JP2014523526A priority patent/JP5593009B1/ja
Publication of WO2014073527A1 publication Critical patent/WO2014073527A1/ja
Priority to US14/300,406 priority patent/US9129384B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Definitions

  • the present invention relates to a medical image processing apparatus that performs image processing on a medical image obtained by imaging a biological mucous membrane.
  • An endoscope apparatus has, for example, an elongated insertion portion that is inserted into a body cavity as a living body, and a solid-state imaging device that forms an image in the body cavity formed by an objective optical system disposed at a distal end portion of the insertion portion.
  • the image and the like are taken and output as an imaging signal, and the image of the image in the body cavity is displayed on the display means such as a monitor based on the imaging signal.
  • the user observes an organ or the like in the body cavity, for example.
  • the endoscope apparatus can directly capture an image of the digestive tract mucosa. Therefore, the user can comprehensively observe various findings such as the color tone of the mucous membrane, the shape of the lesion, and the fine structure of the mucosal surface (mucosal microstructure).
  • NBI narrow band light observation
  • Computer diagnosis support (Computer Aided) that provides support information such as the estimation of disease states by image analysis and the identification of microstructures that should be focused on when providing and quantifying quantitative judgment scales through image processing for medical images Research and development of Diagnosis (CAD) is underway.
  • CAD Diagnosis
  • the mucous membrane microstructure in the endoscopic image has a continuous pattern captured in a complicated form, and it is difficult to extract and analyze with high accuracy by the conventional image analysis technique. Further, the pattern of the mucous membrane microstructure to be imaged differs depending on the organs such as the stomach and the large intestine. Furthermore, even in the same organ, for example, in the stomach, the pyloric gland and the fundus gland differ.
  • mucosal microstructures such as blood vessels and epithelial structures are imaged two-dimensionally on endoscopic images
  • Yasushi Kenshi: gastroscopic endoscope; 79-87, 2009 (hereinafter non-patented) In fact, it has a three-dimensional structure.
  • MCE glenoid marginal epithelium
  • Japanese Patent No. 2918162 filed by the present applicant describes a method for dividing and detecting a small area using a gastric subdivision in the gastric mucosa as a unit area.
  • the unit is a gastric subdivision, and it is not intended for analysis into a complex and minute structure as much as the above-mentioned biohistological unit.
  • it since it is not an area division method considering a three-dimensional structure, it is difficult to divide each unit area well, such as when a plurality of unit areas are imaged so as to be folded or connected. There is a problem of being.
  • the mucous membrane microstructure in the endoscopic image is captured in a complex pattern of continuous patterns, and it is difficult to extract and analyze with high accuracy by the conventional image analysis technique.
  • the pattern of the mucous membrane microstructure to be imaged differs depending on the organs such as the stomach and the large intestine. Furthermore, even in the same organ, for example, in the stomach, the pyloric gland and the fundus gland differ.
  • mucosal microstructures such as blood vessels and epithelial structures are imaged two-dimensionally on endoscopic images, as described in the above-mentioned non-patent document, a three-dimensional structure is actually used. Presents.
  • MCE glenoid marginal epithelium
  • Japanese Patent No. 2918162 filed by the present applicant describes a method for dividing and detecting a small area using a gastric subdivision in the gastric mucosa as a unit area.
  • the unit is a gastric subdivision, and the analysis to the minute structure as much as the above-described range of one unit in biohistology is not targeted.
  • it since it is not an area division method considering a three-dimensional structure, it is difficult to divide each unit area well, such as when a plurality of unit areas are imaged so as to be folded or connected. There is a problem of being.
  • Japanese Patent No. 4451460 sets a plurality of regions of interest (abbreviated as ROI) in an endoscopic image, calculates a feature amount from each ROI, and estimates and discriminates the pit pattern classification. Disclosure.
  • the ROI is set manually.
  • the ROI is manually set as described above, and it is not disclosed that the range that becomes one unit in terms of biohistology is automatically set as the ROI. Therefore, the ROI is automatically set. It is difficult to set.
  • the present invention has been made in view of the above-described problems, and by making it possible to divide and set a unit region from a mucosal microstructure, it is possible to support diagnosis and the like of individual structures on a medical image.
  • An object is to provide a medical image processing apparatus.
  • the present invention has been made in view of the above-described points, and can be used for medical purposes in which a discrimination target region is appropriately set with a size in units of units and the state of the biological mucous membrane in the discrimination target region can be discriminated.
  • An object is to provide an image processing apparatus.
  • a medical image processing apparatus includes an input unit to which a biological mucosal image obtained by imaging a biological mucous membrane is input, and a mucous membrane microstructure from the biological mucosal image input to the input unit.
  • a region extracting unit for extracting a corresponding mucosal microstructure region, a closed region identifying unit for identifying at least one closed region considered to be surrounded by the mucosal microstructure region, and the mucosa extracted by the region extracting unit
  • a unit region setting unit that sets a unit region based on the microstructure region and the closed region identified by the closed region identifying unit.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscope apparatus having a medical image processing apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a configuration of a rotary filter included in the light source device of FIG.
  • FIG. 3 is a diagram illustrating an example of transmission characteristics of each filter included in the first filter group in FIG. 2.
  • FIG. 4 is a diagram illustrating an example of transmission characteristics of each filter included in the second filter group in FIG. 2.
  • FIG. 5 is a block diagram showing a configuration of a calculation unit in FIG.
  • FIG. 6A is a flowchart showing the processing contents in the first embodiment.
  • FIG. 6B is a diagram showing a semi-elliptical shape used for template matching.
  • FIG. 6A is a flowchart showing the processing contents in the first embodiment.
  • FIG. 6B is a diagram showing a semi-elliptical shape used for template matching.
  • FIG. 7 is a schematic diagram of an endoscopic image.
  • FIG. 8 is an enlarged schematic view of a part of FIG.
  • FIG. 9 is a diagram illustrating an example of a detection result of the MCE region MA1 in the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a labeling result of an area including the MCE area MA1 in the first embodiment.
  • FIG. 11 is a diagram illustrating an example of calculating a width Wk as a feature amount of the MCE region MAi in the first embodiment.
  • FIG. 12 is a diagram showing an example of setting of the unit area UA3 in the first embodiment.
  • FIG. 13 is a diagram illustrating an example in which the unit areas UA2 and UA3 overlap in the first embodiment.
  • FIG. 14A is a diagram illustrating an example of a schematic closed region CAj that is a target in a modification of the first embodiment.
  • FIG. 14B is a flowchart illustrating an example of processing content in the modification.
  • FIG. 15 is a diagram illustrating an example of a detection result of the core line CL1 in the modification.
  • FIG. 16 is a diagram illustrating an example of the virtual line VL1 in the modification.
  • FIG. 17 is a diagram showing an example of a labeling result using the virtual line VL1 in the modified example.
  • FIG. 18 is a diagram illustrating a setting example of virtual lines VL1 and VL2 in a modified example.
  • FIG. 19A is a block diagram illustrating a configuration of a calculation unit according to the second embodiment of the present invention.
  • FIG. 19A is a block diagram illustrating a configuration of a calculation unit according to the second embodiment of the present invention.
  • FIG. 19A is a block diagram illustrating a configuration of a calculation unit according
  • FIG. 19B is a flowchart showing an example of processing contents in the second embodiment of the present invention.
  • FIG. 20 is a schematic diagram illustrating an example when the MCE region is unclear in the endoscopic image.
  • FIG. 21 is a diagram showing an example of the unit area UAj when the process described in the first embodiment is applied to FIG.
  • FIG. 22 is a diagram illustrating an example of a detection result of the MCE region MA2 in the second embodiment.
  • FIG. 23 is a diagram illustrating an example of a matched filter MF used in the second embodiment.
  • FIG. 24 is a diagram illustrating an example of pixel value setting of image data according to the second embodiment.
  • FIG. 25 is a diagram illustrating an example of a detection result of the approximate closed region candidate pixel CPz in the second embodiment.
  • FIG. 20 is a schematic diagram illustrating an example when the MCE region is unclear in the endoscopic image.
  • FIG. 21 is a diagram showing an example of the unit area UAj when the process described in the
  • FIG. 26 is a diagram showing an example of a labeling result for the approximate closed region candidate pixel CPz in the second embodiment.
  • FIG. 27 is a diagram showing an example of setting of the unit area UA2 in the second embodiment.
  • FIG. 28 is a diagram showing an example of a schematic configuration of an endoscope apparatus having a medical image processing apparatus according to a third embodiment of the present invention.
  • FIG. 29 is a diagram illustrating an example of a configuration of a rotary filter included in the light source device of FIG.
  • FIG. 30 is a diagram illustrating an example of transmission characteristics of each filter included in the first filter group in FIG. 29.
  • FIG. 31 is a diagram illustrating an example of transmission characteristics of each filter included in the second filter group in FIG. 29.
  • FIG. 32 is a block diagram showing the configuration of the calculation unit of FIG.
  • FIG. 33A is a flowchart showing the processing contents in the third embodiment.
  • FIG. 33B is a diagram showing a semi-elliptical shape used for template matching.
  • FIG. 34 is a schematic diagram of an endoscopic image.
  • FIG. 35 is a schematic diagram enlarging a part of FIG.
  • FIG. 36 is a diagram showing an example of the detection result of the MCE region MB1 in the third embodiment.
  • FIG. 37 is a diagram showing an example of a labeling result of an area including the MCE area MB1 in the third embodiment.
  • FIG. 38 is a diagram illustrating an example of calculating a width Tk as a feature amount of the MCE region MBi in the third embodiment.
  • FIG. 39 is a diagram showing an example of setting of the unit area UB3 in the third embodiment.
  • FIG. 40 is a diagram illustrating an example in which the unit areas UB2 and UB3 overlap in the third embodiment.
  • FIG. 41A is a diagram showing a set unit area of interest.
  • FIG. 41B is a diagram showing a setting example of the discrimination target area Ad set so as to include the target unit area.
  • FIG. 42 is a flowchart showing detailed processing contents of steps S509 and S510 of FIG. 33A.
  • FIG. 43A is a diagram schematically illustrating an image example different from the image illustrated in FIG. 35 obtained by imaging the biological mucous membrane input to the calculation unit.
  • FIG. 43B is a diagram showing an example in which the target unit area set in the case of the image of FIG.
  • FIG. 43A is set.
  • FIG. 43C is a diagram showing an example in which a rectangular area is further set in FIG. 43B.
  • FIG. 43D is a diagram showing an example in which the rectangular area in FIG. 43C is set as the discrimination target area.
  • FIG. 44 is a flowchart showing the processing contents for setting the discrimination target area based on the second feature amount calculated for the unit area of interest.
  • 45A is a diagram showing a discrimination target region that is set when the area is equal to or larger than a threshold in the process of FIG.
  • FIG. 45B is a diagram showing a discrimination target region that is set when the area is less than the threshold value in the process of FIG. FIG.
  • FIG. 46 is a flowchart showing the processing contents for setting a discrimination target area using two thresholds based on the second feature amount calculated for the unit area of interest.
  • FIG. 47 is a flowchart showing the processing contents when the discrimination target area is set using the degree as the third feature amount for the image of FIG. 43A.
  • FIG. 48 is a diagram showing an example of the discrimination target area set in the process of FIG.
  • FIG. 49 is an explanatory diagram showing that the number of unit areas touched by a common MCE is recognized by the recognition unit.
  • FIG. 50 is a flowchart showing the processing contents in a modification of the third embodiment.
  • an endoscope apparatus 1 includes an endoscope 2 that is inserted into a body cavity of a subject and outputs an image obtained by imaging a subject such as a living tissue 101 in the body cavity, and a living body.
  • a light source device 3 that emits illumination light for illuminating the tissue 101
  • a processor 4 that constitutes a medical image processing device that performs various processes on an output signal from the endoscope 2, and a video signal from the processor 4
  • an external storage device 6 for storing an output signal corresponding to a processing result in the processor 4.
  • the endoscope 2 includes an insertion portion 21a having an elongated shape and dimensions that can be inserted into a body cavity of a subject, a distal end portion 21b provided on the distal end side of the insertion portion 21a, and a proximal end side of the insertion portion 21a. And an operating portion 21c provided. Further, a light guide 7 for transmitting illumination light emitted from the light source device 3 to the distal end portion 21b is inserted into the insertion portion 21a.
  • One end surface (light incident end surface) of the light guide 7 is detachably connected to the light source device 3.
  • the other end face (light emission end face) of the light guide 7 is disposed in the vicinity of an illumination optical system (not shown) provided at the distal end portion 21 b of the endoscope 2.
  • the illumination light emitted from the light source device 3 passes through the light guide 7 connected to the light source device 3 and the illumination optical system (not shown) provided at the distal end portion 21b, and then enters the body cavity. The light is emitted to the living tissue 101.
  • the distal end portion 21b of the endoscope 2 includes an objective optical system 22 that forms an optical image of the subject, and an imaging unit that is disposed at the imaging position of the objective optical system 22 and captures the optical image and acquires it as an image.
  • a charge-coupled device (abbreviated as CCD) 23 is provided.
  • the operation unit 21c of the endoscope 2 is provided with an observation mode switching switch 24 capable of giving an instruction to switch the observation mode to either the normal light observation mode or the narrow band light observation mode. .
  • the light source device 3 includes a white light source 31 formed of a xenon lamp or the like, a rotary filter 32 that uses white light emitted from the white light source 31 as surface-sequential illumination light, a motor 33 that rotationally drives the rotary filter 32, and a rotary filter 32. And a motor 34 that moves the motor 33 in a direction perpendicular to the emission light path of the white light source 31 (symbol A in FIG. 1), and a rotary filter drive that drives the motors 33 and 34 based on the control of the control unit 42 of the processor 4. And a condensing optical system 36 that condenses the illumination light that has passed through the rotary filter 32 and supplies it to the incident end face of the light guide 7.
  • the rotary filter 32 has a disk shape with the center as a rotation axis, and includes a first filter group 32 ⁇ / b> A including a plurality of filters provided along the circumferential direction on the inner circumference side, and the outer circumference. And a second filter group 32B having a plurality of filters provided along the circumferential direction of the side. Then, when the driving force of the motor 33 is transmitted to the rotating shaft, the rotary filter 32 rotates.
  • positioned it is comprised with the light shielding member.
  • the first filter group 32A is provided along the circumferential direction on the inner peripheral side of the rotary filter 32, and passes through an R filter 32r that passes light in the red wavelength band and light in the green wavelength band.
  • the filter includes a G filter 32g and a B filter 32b that transmits light in a blue wavelength band.
  • the R filter 32r has a configuration that mainly transmits light (R light) from 600 nm to 700 nm, for example, as shown in FIG.
  • the G filter 32g has a configuration that mainly transmits light (G light) from 500 nm to 600 nm as shown in FIG. 3, for example.
  • the B filter 32 b has a configuration that mainly transmits light (B light) from 400 nm to 500 nm.
  • the R filter 32r, the G filter 32g, and the B filter 32b are simply indicated by R, G, and B.
  • the white light emitted from the white light source 31 passes through the first filter group 32A, thereby generating broadband light for the normal light observation mode.
  • the second filter group 32B includes a Bn filter 321b that transmits blue and narrow band light, and a Gn that transmits green and narrow band light, which are provided along the circumferential direction on the outer peripheral side of the rotary filter 32. And a filter 321g.
  • the Bn filter 321b has a center wavelength set near 415 nm and is configured to transmit light in a narrow band (Bn light) compared to the B light.
  • the Gn filter 321g has a center wavelength set near 540 nm and is configured to transmit light in a narrow band (Gn light) compared to G light.
  • the Bn filter 321b and the Gn filter 321g are simply indicated by Bn and Gn.
  • the white light emitted from the white light source 31 passes through the second filter group 32B, thereby generating a plurality of bands of narrowband light for a narrowband light observation mode.
  • the processor 4 has a configuration having a function as the medical image processing apparatus of the present embodiment. Specifically, as shown in FIG. 1, the processor 4 includes an image processing unit 41 and a control unit 42.
  • the image processing unit 41 includes an image data generation unit 41a, a calculation unit 41b, and a video signal generation unit 41c.
  • the image data generation unit 41 a of the image processing unit 41 is obtained in the CCD 23 by performing processing such as noise removal and A / D conversion on the output signal from the endoscope 2 based on the control of the control unit 42. Image data corresponding to the selected image is generated.
  • the calculation unit 41b of the image processing unit 41 performs a predetermined process using the image data generated by the image data generation unit 41a, so that the biological mucous membrane fine image is obtained from the image data obtained by imaging the biological tissue 101.
  • the structure is extracted, and further, an operation for setting a unit region based on a predetermined condition from the mucosal microstructure is performed.
  • the image data includes a mucous membrane fine structure of a living body, and a unit as a process for setting a range which is one unit in terms of the biohistology of the mucosal fine structure as a unit region Perform area setting processing. Details of such unit area setting processing will be described later.
  • the video signal generation unit 41c of the image processing unit 41 generates a video signal by performing processing such as gamma conversion and D / A conversion on the image data generated by the image data generation unit 41a, and displays the display device 5. Etc.
  • control unit 42 When the control unit 42 detects that an instruction to switch to the normal light observation mode has been made based on an instruction from the observation mode switch 24, the control unit 42 controls to emit broadband light for the normal light observation mode from the light source device 3. To the rotary filter driving unit 35. Then, based on the control of the control unit 42, the rotary filter driving unit 35 inserts the first filter group 32A on the emission light path of the white light source 31, and the second filter from the emission light path of the white light source 31. The motor 34 is operated so as to retract the group 32B.
  • control unit 42 detects that an instruction to switch to the narrowband light observation mode is made based on the instruction of the observation mode changeover switch 24, the control unit 42 outputs the narrowband light of a plurality of bands for the narrowband light observation mode. Control for emitting light from the light source device 3 is performed on the rotary filter drive unit 35.
  • the rotary filter driving unit 35 interposes the second filter group 32 ⁇ / b> B on the emission light path of the white light source 31 and the first filter from the emission light path of the white light source 31.
  • the motor 34 is operated so as to retract the group 32A.
  • an image in which blood vessels near the surface layer included in the living tissue 101 are emphasized.
  • the calculation unit 41b constituting the medical image processing apparatus of FIG. 1 receives a biological mucous membrane image (image data) obtained by imaging the biological mucous membrane with the CCD 23 from the image data generation unit 41a.
  • a region extraction unit 43c for extracting a region, a closed region identification unit (or a substantially closed region identification unit) 43d for identifying at least one closed region (or surrounding region) that is considered to be surrounded by the mucosal microstructure region,
  • a unit region setting unit that sets a unit region based on the mucous membrane fine structure region extracted by the region extraction unit 43c and the closure identified by the closed region identification unit 43d Has a 3e, the.
  • the calculation unit 41b is not limited to
  • the processor 4 as the medical image processing apparatus of the present embodiment includes the calculation unit 41b including the input unit 43a, the region extraction unit 43c, the closed region identification unit 43d, and the unit region setting unit 43e.
  • the region extracting unit 43c may extract the mucosal microstructure structure region corresponding to the mucosal microstructure from the biological mucous membrane image input to the input unit 43a without performing preprocessing.
  • the unit region setting unit 43e shown in FIG. 5 calculates the width of the mucosal microstructure region having a belt (belt) shape as the feature amount used for setting the range from the mucosal microstructure region or the closed region to the unit region.
  • a width calculation unit 44a serving as a calculation unit
  • a range setting unit 44b that sets the range of the unit region based on the feature amount of the width.
  • the input unit 43a constituting the calculation unit 41b may be configured by an input end of image data to the calculation unit 41b.
  • the region extraction unit 43c, the closed region identification unit 43d, the unit region setting unit 43e, the width calculation unit 44a, and the range setting unit 44b are provided in the calculation unit 41b configured by a central processing unit (CPU) or the like.
  • CPU central processing unit
  • the present embodiment is not limited to such a case, and may be configured using dedicated hardware for performing each process.
  • the region extraction unit 43c, the closed region identification unit 43d, the unit region setting unit 43e, the width calculation unit 44a, and the range setting unit 44b are respectively divided into a region extraction circuit, a closed region identification circuit, a unit region setting circuit, a width calculation circuit, and a range.
  • You may comprise by a setting circuit.
  • the operator turns on the power of each part of the endoscope apparatus 1 and then selects the normal light observation mode with the observation mode switch 24. Then, the operator views the endoscope 2 while viewing the image displayed on the display device 5 when selecting the normal light observation mode, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting into the body cavity, the distal end portion 21b is brought close to the site where the biological tissue 101 to be observed exists.
  • the observation mode changeover switch 24 When the normal light observation mode is selected by the observation mode changeover switch 24, light of each color of R light, G light, and B light is sequentially emitted from the light source device 3 to the living tissue 101, and the light of each color is emitted from the endoscope 2. Images corresponding to each are acquired.
  • the image data generation unit 41a of the image processing unit 41 receives color component image data corresponding to each image. Are generated respectively.
  • FIG. 6A shows main processing for performing unit area setting processing.
  • the mucosal microstructure included in the image data is shown.
  • a unit region setting process will be described for the case of a marginal epithelium (Marginal Crypto Epithelium: MCE).
  • FIG. 7 schematically shows an image obtained by imaging the pyloric gland of the stomach in the narrow-band light observation mode. Imaging in the narrow-band light observation mode has an advantage of displaying the structure in the vicinity of the surface layer more clearly than in the broadband light observation mode.
  • FIG. 8 shows an image obtained by locally cutting a part of the image as shown in FIG. In FIG. 7 to FIG. 8, a plurality of band-shaped MCEs 51 overlap each other, and an inter-pit portion 52 exists in an inner region (usually a closed region) surrounded by the MCEs 51. Further, a blood vessel 53 runs in the inter-pit portion 52.
  • image data captured by the endoscope 2 depends on imaging conditions such as distance and angle and the state of the mucous membrane itself, so that there may be a clear boundary between one MCE 51 or a boundary between adjacent MCEs 51. It may be unclear.
  • the image data generated by the image data generation unit 41a is input from the input unit 43a into the preprocessing unit 43b in the calculation unit 41b.
  • the image data in this embodiment and other embodiments is composed of 3 (color component) images of size (horizontal ⁇ vertical number of pixels) of ISX ⁇ ISY, RGB, and each image of R, G, and B Are provided with 8-bit gradations each having a value from 0 to 255.
  • ISX ⁇ ISY 640 ⁇ 480.
  • the preprocessing unit 43b performs preprocessing such as noise suppression and inverse gamma correction on the input image data.
  • preprocessing such as noise suppression and inverse gamma correction
  • known median filtering rearranging the pixel values in the mask including the target pixel by size and replacing the value of the target pixel by the median value
  • noise suppression is performed with a mask size of 3 ⁇ 3.
  • gamma correction is a non-linear process applied to provide a visually linear gradation when an image is displayed on a monitor or the like, and inverse gamma correction returns this to the original linear gradation. . For this reason, when the gamma correction is not performed on the image data input to the preprocessing unit 43b, the inverse gamma correction is not necessary.
  • the preprocessed image data is output to the area extraction unit 43c.
  • the region extracting unit 43c extracts a band-shaped MCE region MAi (i ⁇ 1) as a mucosal microstructure region corresponding to the mucosa microstructure.
  • the method for extracting the MCE region MAi uses a structural component extraction method based on template matching described in Japanese Patent No. 4409166, for example.
  • FIG. 6B shows a semi-elliptical shape used for template matching.
  • values described in the examples of Japanese Patent No. 4409166 may be used as they are.
  • the processing may be performed on the G image among the three RGB images.
  • Such an extraction method is applied to the image data of FIG. 7 or FIG. 8 to extract the MCE region MA1 as shown in FIG. 9, for example.
  • the extracted MCE area MA1 is output to the closed area identification unit 43d.
  • the extracted MCE area MA1 is indicated by hatching.
  • the closed region identifying unit 43d is roughly surrounded by the MCE region MAi detected as the mucosal microstructure region (in other words, the closed region or the region surrounded by the MCE region MAi is considered to be surrounded).
  • the process of detecting or identifying the approximate closed area CAj (j ⁇ 1) is performed.
  • the substantially closed region CAj is an enclosed closed region, and in the second embodiment to be described later, it is not completely enclosed by the enclosed closed region. And a generally closed region that is generally enclosed.
  • the well-known labeling is performed on the pixel area other than the area detected as the MCE area MAi.
  • the MCE area MA1 is divided into seven labels L1 to L7 as shown in FIG.
  • a process of enclosing the open area and closing the non-closed end is performed in FIG. 10 in the MCE area MA1 in FIG. 9, a process of enclosing the open area and closing the non-closed end is performed.
  • the MCE area MA1 is indicated by oblique lines.
  • the pixels other than those including the outermost peripheral pixel of the image data (pixels with an X coordinate of 0 or 639, and pixels with a Y coordinate of 0 or 479) in the pixels in the label are defined as a substantially closed region CAj .
  • the labels L1 to L6 excluding the label L7 become the substantially closed regions CA1 to CA6, respectively.
  • Information on the approximate closed areas CA1 to CA6 detected or identified by the closed area identifying unit 43d is output to the unit area setting unit 43e.
  • the range setting unit 44b of the unit region setting unit 43e calculates a width as a feature amount of the MCE region MAi based on the approximate closed region CAj, and performs a process of setting the range of the unit region UAj.
  • the width calculation unit 44a of the unit region setting unit 43e first calculates a width Wk (k ⁇ 1) as a feature amount of the MCE region MAi adjacent to the substantially closed region CAj.
  • the width calculation unit 44a for example, from the boundary pixel BPk (for example, on the side of the substantially closed region CAj) between the substantially closed region CAj and the adjacent MCE region MAi, in the direction opposite to the substantially closed region CAj adjacent to the MCE region MAi.
  • the width Wk at the boundary pixel BPk is calculated.
  • FIG. 11 shows an example of calculating widths W1, W2, and W3 in, for example, three representative directions when the approximate closed region CA3 is targeted, and the width W2 in one direction by focusing on the boundary pixel BP2.
  • the enlarged view in the case of calculating is shown.
  • the MCE region MA1 is indicated by hatching.
  • the substantially closed region CA3 adjacent to the boundary pixel BP2 is located in the lower left direction (the direction indicated by A in FIG. 11), and thus is in the direction opposite to the lower left direction from the boundary pixel BP2.
  • the pixel is scanned in the upper right direction.
  • the number of pixels in the MCE area MA1 is counted while scanning in the upper right direction (in FIG. 11, the side of the substantially closed area CA4), it becomes 8 pixels, which is the value of the width W2.
  • the number of pixels is counted by scanning in each direction, and the one with the smallest number of pixels is set as the value of the width Wk.
  • FIG. 11 only three boundary pixels BP1, BP2, and BP3 shown discretely in the substantially closed region CA3 are illustrated, but the calculation of the width Wk is performed on all the boundary pixels BPk.
  • the average value of the width Wk calculated for all the boundary pixels BPk is set as a region size ASj of the MCE region MAi adjacent to the substantially closed region CAj. Then, based on the calculation of the width by the width calculation unit 44a, the range setting unit 44b determines that the unit region UAj is a region obtained by combining the approximate closed region CAj and the MCE region MAi located within the range of the region size ASj from the approximate closed region CAj. Is set or determined as a range.
  • FIG. 12 shows an example of the unit area UA3 set when the approximate closed area CA3 described in FIG. 11 is targeted, and the area size AS3 of the MCE area MA1 adjacent to the approximate closed area CA3.
  • the unit area UA3 set in FIG. 12 is indicated by hatching.
  • the unit area UA3 in FIG. 12 has a substantially closed area CA3 and an area size AS3 determined by the average value of the above widths from the outer periphery boundary (periphery boundary) of the approximate closed area CA3 so as to surround the approximate closed area CA3. This is a combined region of the band-shaped MCE region MA1 located in the range.
  • the band-shaped MCE region MA1 located in the range of the region size AS3 surrounding the substantially closed region CA3 may be expressed as an MCE region MA1-3.
  • the unit area UA3 in FIG. 12 is composed of a substantially closed area CA3 and a band-shaped MCE area MA1-3 surrounding the substantially closed area CA3.
  • the width Wk as the feature value of the band-shaped MCE area MAi surrounding the approximate closed area CAj is calculated from the approximate closed area CAj to set the range of the unit area UAj.
  • the range of one unit area UA3 is allowed to overlap with the range of another unit area UA2.
  • the unit area UA3 set from the substantially closed area CA3 described in FIG. 12 is indicated by hatching. Further, according to FIG. 13, the unit area UA2 set from the approximate closed area CA2 is indicated by diagonal lines by the same processing as in the case of the approximate closed area CA3.
  • the unit area UA2 and the unit area UA3 overlap with each other in the area indicated by cross-hatching.
  • a part of the unit area as described above is another unit area. Allow overlap with part of the region.
  • the unit region setting unit 43e sets the unit region independently for each of the plurality of closed regions when the unit region is set for the plurality of closed regions. As shown in FIG. 5, a part of the unit areas (specifically, the band-shaped MCE area) is allowed to overlap each other.
  • an area that is a unit in terms of biological histology can be set as the unit area UAj from the image data.
  • one closed region CAj that is regarded as a closed region or closed region such as the inter-cavity 52 including the blood vessel 53, and one MCE that has a band-like closed loop shape surrounding the substantially closed region CAj.
  • the area MAi can be set as the unit area UAj.
  • the width Wk of the MCE region MAi is calculated using the boundary pixel BPk of the substantially closed region CAj has been described, but may be calculated from the MCE region MAi.
  • the feature amount calculation unit such as the width calculation unit 44a may calculate a feature amount used for setting the range of the unit region from the MCE region MAi as the mucosal microstructure region, or may be an outline as a closed region.
  • the feature amount used for setting the range of the unit area may be calculated from the closed area CAj.
  • the content of the pre-processing in step S2 in FIG. 6A is not limited to noise suppression and inverse gamma correction, and brightness or color tone correction may be added.
  • the preprocessing methods are not limited to the methods, and may be changed according to the characteristics of the target image or device. For example, although median filtering is used as a noise suppression method in the present embodiment, other methods such as a smoothing filter may be used.
  • the detection or extraction method of the MCE region MAi in step S3 is not limited to the above-described structural component extraction method, and other methods may be used.
  • threshold processing for pixel values such as a luminance value and color tone
  • a method using various frequency filters such as a Gabor filter
  • line segment detection processing using a Hessian matrix and a vector concentration degree which are known techniques, may be used.
  • the method for detecting or identifying the roughly closed region CAj in step S4 is not limited to the above-described method using labeling, and other methods may be used.
  • the closed region may be searched by scanning the boundary pixel BPk of the detected MCE region MAi, and the substantially closed region CAj may be detected.
  • the width Wk is calculated by counting the number of pixels from the boundary pixel BPk.
  • the width Wk is not limited to this method, and the size of the template or filter used in the extraction of the MCE area MAi in step S3 is the width. Other methods such as use as Wk may be used.
  • the width Wk may be calculated from pixels sampled every several pixels, for example, without using all the boundary pixels BPk.
  • the calculation of the region size ASj is not limited to the average value of the width Wk, and other statistics such as the mode value, minimum value, and maximum value of the width Wk may be used.
  • the calculation of the area size ASj is not limited to the method using the width Wk, and may be calculated from the size / shape of the substantially closed area CAj or the user may set an arbitrary value. Good. Further, the region size ASj that defines the range of the unit region may be determined from the area of the substantially closed region CAj.
  • the range of the unit area UAj is set by the distance from the boundary pixel of the approximate closed area CAj, but is not limited to this method.
  • the range of the unit area UAj may be set based on the above.
  • FIG. 13 shows an example in which each unit area UAj allows overlapping, it may be determined which unit area UAj the overlapping portion belongs to and the overlapping area may be divided.
  • the unit area UAj is described as including the MCE area MAj.
  • the unit area UAj may be defined so as not to include the MCE area MAj.
  • unit area UAj substantially closed area CAj.
  • Each pixel set as the unit area UAj may be stored as image data, and an image may be displayed on the display device 5 or the like by generating a video signal by the video signal generation unit 41c.
  • the range of one unit of the mucosal microstructure can be set to be separable or extractable as a unit region. Diagnosis of individual structures on a mirror image can be supported. In other words, according to the present embodiment, it is possible to set or extract the range of the mucous membrane microstructure as a unit region, which is a unit in terms of biological histology.
  • This modification relates to an image processing apparatus and a processing method that can accurately detect the unit area UAj when the MCE area MAi does not exhibit a complete closed curve due to, for example, tissue destruction due to cancer or imaging conditions. explain. Specifically, MCE may be obscured by the destruction or replacement of normal mucosal cells by the growth of cancer cells.
  • description will be made mainly with reference to FIGS. 14A to 18.
  • This modified example corresponds to a modified example related to the process of detecting the roughly closed region CAj in step S4 in the first embodiment, and the MCE region MAi detected in step S3 in the first embodiment exhibits a complete closed curve.
  • the first embodiment can also be applied to the case where the substantially closed area CAj cannot be detected with high accuracy, such as when the area is not present.
  • the configuration of this modification is almost the same as that of the first embodiment. Specifically, the calculation unit 41b constituting the image processing unit 41 in the first embodiment further sets a virtual mucosal microstructure region for the biological mucous membrane image as indicated by a dotted line in FIG. A virtual mucous membrane fine structure setting unit 43f is included.
  • the virtual mucosal microstructure setting unit 43f sets a virtual MCE area MAi as a virtual mucosal microstructure structure area. For this reason, the virtual mucous membrane fine structure setting unit 43f has a function of a virtual MCE region setting unit.
  • the closed region identifying unit 43d includes the mucosal fine structure region extracted by the region extracting unit 43c and the virtual mucosal fine structure region set by the virtual mucosal fine structure setting unit 43f (specifically, Identifies the region surrounded by the virtual MCE region MAi) as the closed region (or the substantially closed region) described in the first embodiment.
  • step S11 after step S3 an opening end that opens in the MCE region MAj is detected as described later, and the virtual mucous membrane fine structure setting is performed.
  • the unit 43f performs a process of connecting the open ends with the virtual gland VLx, and performs the process of step S4 after the process of connecting with the virtual gland VLx.
  • Other processes are the same as those in the first embodiment. Therefore, only differences from the first embodiment will be mainly described.
  • FIG. 14A shows an example in which the MCE region MA1 is detected or extracted in step S3.
  • description will be made as a candidate area CCAj of the non-closed substantially closed area CAj indicated by hatching in FIG. 14A.
  • the candidate area CCAj is also identified as a closed area in the same manner as in the case of the substantially closed area CAj (closed), and the unit area is set in the same manner as in the case of the approximate closed area CAj. To be able to.
  • the MCE region MAi extracted as described above has two open ends that are not closed, the open region surrounded by a portion other than the two open ends becomes the candidate region CCAj of the approximate closed region CAj. .
  • the core area CLi is detected as described below so that a unit area as a unit can be set biologically. ) Set the closed region by connecting the open ends.
  • the virtual mucous membrane fine structure setting unit 43f in this modification performs the following processing.
  • the virtual mucous membrane fine structure setting unit 43f first detects the core line CLi of the MCE region MAi by a known method such as thinning the MCE region MAj.
  • the virtual mucous membrane fine structure setting unit 43f when there is an unclosed end point (also referred to as an open end) in the detected core line CLi as shown in step S11 of FIG. 14B, the end points are connected to the virtual line VLx (x ⁇ Connect in 1).
  • FIG. 16 shows a connection example of the virtual line VLx. Subsequently, as in the case of performing step S4 of FIG. 6A in the first embodiment, a known labeling is performed. However, the pixels other than the region detected as the MCE region MAi and the virtual line VLx are subjected to labeling. Let it be a pixel. The subsequent processing is the same as in the first embodiment.
  • step S4 the unit area UAj in step S5 is set, and the process in FIG. 14B is terminated.
  • the end points of the core line CLi are connected by a straight virtual line VLx, but may be connected by a curve or the like.
  • imaginary lines VLx (VL1 and VL2 in FIG. 18) are drawn from the end points of the respective core lines CLi in the extending direction of the core line CLi at the end points or the extending direction of the band-shaped MCE region. May be used to detect or identify the substantially closed region CAj. Thereby, compared with the case where the end points are connected with a straight line, the roughly closed region CAj having a complicated shape may be detected with high accuracy.
  • the unit region UAj can be obtained with high accuracy even when the MCE region MAi does not exhibit a complete closed curve due to tissue destruction due to cancer or the like. Can be set.
  • the endoscopic image obtained by imaging the mucosal microstructure is such that the MCE 51 between the adjacent interpits 52 is indicated by a dotted line due to tissue destruction due to cancer, imaging conditions, or the like. May become ambiguous.
  • each inter-pit portion 52 can be set as an individual unit area without being set as one large unit area UAj as shown by the shaded pattern in FIG.
  • a processing apparatus and a processing method thereof will be described.
  • a description will be given with reference to FIGS. 19A to 27.
  • This embodiment corresponds to the case where the same processing is performed from step S1 to step S3 in the first embodiment, and different processing is used in the detection of the approximate closed region CAj and the setting of the unit region UAj after step S4. The process will be described. Therefore, only differences from the first embodiment will be described.
  • the medical image processing apparatus has the same configuration as that in FIG. 1, and the calculation unit 41b in the present embodiment includes the input unit 43a described above (in the first embodiment), as shown in FIG. 19A.
  • a pre-processing unit 43b, a region extraction unit 43c, a closed region identification unit 43d, and a unit region setting unit 43e are included.
  • the closed region identification unit 43d includes a convolution operation unit 45a using a matched filter, and a general closed region pixel candidate detection / labeling unit 45b that detects and labels pixel candidates in the general closed region.
  • the substantially closed region pixel candidate detection / labeling unit 45b is divided into a substantially closed region pixel candidate detecting unit that detects pixel candidates in the substantially closed region and a labeling unit that labels the detected pixel candidates in the substantially closed region. It may be configured.
  • the unit area setting unit 43e in the present embodiment sets a unit area using processing different from that in the first embodiment (specifically, the matched filter information).
  • Step S21 in FIG. 19B is equivalent to the MCE region detection in step S3 of the first embodiment.
  • the MCE detection process is applied to FIG. 20, the detection result of the MCE region MAi as shown in FIG. 22 is obtained. At this time, an area where the MCE is unclear may not be detected as the MCE area MAi.
  • the MCE 51 is indicated by a shaded pattern.
  • the MCE area MAi in FIG. 22 is also shown with a shaded pattern.
  • the convolution operation unit 45a of the closed region identification unit 43d performs a convolution operation using the matched filter MF on the MCE region MAi.
  • the matched filter MF for example, a matched filter MF in which a donut shape having an inner radius of 11 pixels and an outer radius of 21 pixels is designed in a 43 ⁇ 43 rectangular area as shown in FIG.
  • the filter coefficient in the matched filter MF is 1 for the gray donut-shaped portion and 0 for the other white portions.
  • the pixel values of the image data are converted into pixels belonging to the MCE area MAi indicated by a shaded pattern as shown in FIG. Is 1 and the other pixels are 0.
  • a matched filter response value RVy (0 ⁇ y ⁇ ISX ⁇ ISY) is calculated for all the pixels of the image data.
  • the approximate closed region pixel candidate detection / labeling unit 45b of the closed region identifying unit 43d uses the following formula (1) to calculate a pixel having a high matched filter response value RVy, that is, the approximate closed region candidate pixel CPz ( z ⁇ 1) is detected or identified using a threshold Thre1.
  • the approximate closed region candidate pixel CPz represents each pixel that satisfies Equation (1).
  • the MCE area MAi is indicated by a shaded pattern.
  • the approximate closed region pixel candidate detection / labeling unit 45b performs known labeling on the approximate closed region candidate pixel CPz. As a result, it is divided into six labels (L1 ′ to L6 ′) as shown in FIG.
  • the unit region setting unit 43e sets the range of the radius of the circle outside the matched filter MF (21 pixels in this embodiment) from the boundary pixels of the labels of the labels L1 ′ to L6 ′.
  • Each is set as a unit area UAj.
  • FIG. 27 shows a unit area UA2 when the label L2 'is taken as an example. By applying the same processing to the label L3 'etc. adjacent to the unit area UA2, the unit area can be set. Note that, as in the first embodiment and its modifications, the ranges of the unit areas UAj are allowed to overlap.
  • matched filter MF only one type of donut filter is used as the matched filter MF.
  • shape, size, and number of filters are not limited to this, and a matched filter such as a circular shape or a polygon is used.
  • a plurality of matched filters having different sizes and shapes may be applied, and a filter having the largest filter response value RVy may be employed when a plurality of matched filters are applied.
  • the range of the unit area UAj is set based on the radius of the matched filter MF.
  • the present invention is not limited to this method, and the range may be calculated from the sizes of the labels L1 ′ to L6 ′. The user may specify in advance.
  • the MCE between adjacent interpits is not clear, and a plurality of unit areas UAj are combined or known Even when the end points of the core line CLi extracted using thinning are unclear, they can be divided and the ranges of the individual unit areas UAj can be set with high accuracy.
  • G image captured in the narrowband observation mode has been described, other color signals of RGB (specifically, an R image or a B image) may be used, or G / R or G ( A calculation result calculated by a combination of each color signal such as R + G + B) may be used. Further, image data captured in an observation mode other than the narrow band observation mode may be used.
  • RGB specifically, an R image or a B image
  • G / R or G A calculation result calculated by a combination of each color signal such as R + G + B
  • image data captured in an observation mode other than the narrow band observation mode may be used.
  • the MCE of the pyloric gland mucosa of the stomach has been described as an example, but the target organ is not limited, and the gastric fundus gland mucosa and intestinal metaplasia are not limited.
  • Applicable to other digestive tract organs such as large intestine, small intestine and esophagus.
  • Specific examples include neoplastic lesions that exhibit tubular or villous findings of the large intestine, Barrett's esophageal mucosa, and the like.
  • the target mucosal microstructure is not limited to MCE, and other mucosal microstructures such as blood vessels, pits, surfaces, and patterns may be used.
  • the threshold value and filter coefficient when detecting the mucosal microstructure may be appropriately changed according to the mucous membrane microstructure.
  • Numeral values such as threshold values and filter coefficients are not limited to those described in this specification, and values may be changed.
  • the unit area is divided and extracted from the mucosal microstructure captured in the medical image. As a result, it is possible to support the user's observation and diagnosis.
  • a unit region is set from a mucosal microstructure captured as an endoscopic image that is a medical image, and an area including one or more unit regions from the set unit region is set.
  • a medical image processing apparatus for determining the state of the mucous membrane will be described. 28 to 43D relate to the third embodiment of the present invention.
  • an endoscope apparatus 501 includes an endoscope 502 that is inserted into a body cavity of a subject and outputs an image obtained by imaging a subject such as a living tissue 601 in the body cavity, and a living body.
  • a light source device 503 that emits illumination light for illuminating the tissue 601
  • a processor 504 that constitutes a medical image processing device that performs various processes on an output signal from the endoscope 502, and a video signal from the processor 504
  • a display device 505 for displaying an image corresponding to the image data, and an external storage device 506 for storing an output signal corresponding to the processing result in the processor 504.
  • the endoscope 502 includes an insertion portion 521a having an elongated shape and size that can be inserted into a body cavity of a subject, a distal end portion 521b provided on the distal end side of the insertion portion 521a, and a proximal end side of the insertion portion 521a. And an operating portion 521c provided.
  • a light guide 507 for transmitting illumination light emitted from the light source device 503 to the distal end portion 521b is inserted into the insertion portion 521a.
  • One end face (light incident end face) of the light guide 507 is detachably connected to the light source device 503.
  • the other end face (light emitting end face) of the light guide 507 is disposed in the vicinity of an illumination optical system (not shown) provided at the distal end portion 521b of the endoscope 502.
  • an illumination optical system not shown
  • the illumination light emitted from the light source device 503 passes through the light guide 507 connected to the light source device 503 and the illumination optical system (not shown) provided at the distal end portion 521b, and then enters the body cavity.
  • the light is emitted to the living tissue 601.
  • the distal end portion 521b of the endoscope 502 includes an objective optical system 522 that forms an optical image of a subject, and an imaging unit that is disposed at the imaging position of the objective optical system 522 and captures the optical image and acquires it as an image.
  • a charge-coupled device (abbreviated as CCD) 523 is provided.
  • the operation unit 521c of the endoscope 502 is provided with an observation mode switching switch 524 capable of giving an instruction to switch the observation mode to either the normal light observation mode or the narrow band light observation mode. .
  • the light source device 503 includes a white light source 531 formed of a xenon lamp, a rotary filter 532 that uses white light emitted from the white light source 531 as surface-sequential illumination light, a motor 533 that rotationally drives the rotary filter 532, and a rotary filter 532. And a motor 534 that moves the motor 533 in a direction perpendicular to the emission light path of the white light source 531 (reference numeral B in FIG. 1), and a rotary filter drive that drives the motors 533 and 34 based on the control of the control unit 542 of the processor 504. And a condensing optical system 536 that condenses the illumination light that has passed through the rotary filter 532 and supplies it to the incident end face of the light guide 507.
  • the rotary filter 532 has a disk shape with the center as the rotation axis, and includes a first filter group 532A including a plurality of filters provided along the circumferential direction on the inner circumference side, and the outer circumference. And a second filter group 532B including a plurality of filters provided along the circumferential direction of the side. Then, when the driving force of the motor 533 is transmitted to the rotation shaft, the rotation filter 532 rotates.
  • the rotary filter 532 is configured by a light-shielding member except for the portions where the filters of the first filter group 532A and the second filter group 532B are arranged.
  • the first filter group 532A is provided along the circumferential direction on the inner peripheral side of the rotary filter 532, and passes through an R filter 532r that passes light in the red wavelength band, and passes light in the green wavelength band.
  • R filter 532r that passes light in the red wavelength band
  • G filter 532g and a B filter 532b that transmits light in the blue wavelength band are included.
  • the R filter 532r has a configuration that mainly transmits light (R light) from 600 nm to 700 nm, for example, as shown in FIG. Further, for example, as shown in FIG. 30, the G filter 532g has a configuration that mainly transmits light (G light) from 500 nm to 600 nm. Further, for example, as shown in FIG. 30, the B filter 532b has a configuration that mainly transmits light (B light) from 400 nm to 500 nm. In FIG. 30, the R filter 532r, the G filter 532g, and the B filter 532b are simply indicated by R, G, and B.
  • the white light emitted from the white light source 531 passes through the first filter group 532A to generate broadband light for the normal light observation mode.
  • the second filter group 532B includes a Bn filter 821b that transmits blue and narrow band light, and a Gn that transmits green and narrow band light, which are provided along the circumferential direction on the outer peripheral side of the rotary filter 532. And a filter 821g.
  • the Bn filter 821b has a center wavelength set near 415 nm and is configured to transmit light in a narrow band (Bn light) compared to B light.
  • the Gn filter 821g has a center wavelength set near 540 nm and is configured to transmit light in a narrow band (Gn light) compared to G light.
  • the Bn filter 821b and the Gn filter 821g are simply indicated by Bn and Gn.
  • the white light emitted from the white light source 531 passes through the second filter group 532B, thereby generating a plurality of bands of narrowband light for a narrowband light observation mode.
  • the processor 504 has a configuration having a function as the medical image processing apparatus of the present embodiment. Specifically, as illustrated in FIG. 1, the processor 504 includes an image processing unit 541 and a control unit 542.
  • the image processing unit 541 includes an image data generation unit 541a, a calculation unit 541b, and a video signal generation unit 541c.
  • the image data generation unit 541a of the image processing unit 541 is obtained in the CCD 523 by performing processing such as noise removal and A / D conversion on the output signal from the endoscope 502 based on the control of the control unit 542. Image data corresponding to the selected image is generated.
  • the calculation unit 541b of the image processing unit 541 performs predetermined processing using the image data generated by the image data generation unit 541a, so that the mucous membrane fine particles of the living body are extracted from the image data obtained by imaging the living tissue 601. Based on the calculation of the feature amount after extracting the structure, performing an operation to set a unit region based on a predetermined condition from the mucosal microstructure, and further setting a discrimination target region including the unit region of interest as a unit region of interest Thus, a process of discriminating the state of the mucous membrane in the discrimination target area is performed.
  • the image data includes a mucous membrane fine structure of a living body, and a region or a range that is a unit in terms of the biohistology of the mucosal fine structure is set as a unit region.
  • the unit area setting process is performed. Details of such unit area setting processing will be described later.
  • the video signal generation unit 541c of the image processing unit 541 generates a video signal by performing processing such as gamma conversion and D / A conversion on the image data generated by the image data generation unit 541a to generate a display device 505. Etc.
  • the control unit 542 controls to emit broadband light for the normal light observation mode from the light source device 503 when detecting that an instruction to switch to the normal light observation mode is performed based on the instruction of the observation mode switching switch 524. Is performed on the rotary filter driving unit 535. Then, based on the control of the control unit 542, the rotary filter driving unit 535 causes the first filter group 532A to be inserted on the emission light path of the white light source 531 and the second filter from the emission light path of the white light source 531. The motor 534 is operated so as to retract the group 532B.
  • control unit 542 detects that an instruction to switch to the narrowband light observation mode is performed based on the instruction of the observation mode changeover switch 524, the control unit 542 outputs the narrowband light of a plurality of bands for the narrowband light observation mode. Control for emitting light from the light source device 503 is performed on the rotary filter driving unit 535.
  • the rotary filter driving unit 535 causes the second filter group 532B to be inserted on the emission light path of the white light source 531 and the first filter from the emission light path of the white light source 531.
  • the motor 534 is operated so as to retract the group 532A.
  • the color of the observation object such as the living tissue 601 is substantially the same as that of the naked eye.
  • An image (normal light image) can be displayed on the display device 505 and further stored in the external storage device 506.
  • an image (narrowband light image) in which blood vessels near the surface layer included in the living tissue 601 are emphasized. ) Can be displayed on the display device 505 and further stored in the external storage device 506.
  • the calculation unit 541b configuring the medical image processing apparatus generates a biological mucosal image (image data) as medical image information obtained by imaging the biological mucous membrane with the CCD 523 from the image data generation unit 541a.
  • the calculation unit 541b further sets a unit region setting unit 543e that sets one or more unit regions based on the mucosal microstructure region extracted by the region extraction unit 543c and the closed region identified by the closed region identification unit 543d. And a feature amount calculation unit 543f that calculates a feature amount including a first feature amount and the like from the unit region set by the unit region setting unit 543e.
  • the calculation unit 541b further includes a discrimination target region setting unit 543g that sets a discrimination target region from a plurality of unit regions based on the feature amount (specifically, the second feature amount) calculated by the feature amount calculation unit 543f. And a determination unit 543h for determining the state of the mucous membrane of the determination target region based on the first feature amount calculated by the feature amount calculation unit 543f, and a plurality of unit regions are set by the unit region setting unit 543e.
  • a unit unit of interest setting unit 543i that sets a unit of interest as a single unit region that meets a predetermined condition and is noticed by a user such as a surgeon from a plurality of unit regions.
  • the attention unit area setting unit 543i is not limited to being provided inside the calculation unit 541b, and may be provided outside the calculation unit 541b.
  • the feature amount calculation unit 543f includes a first feature amount calculation unit 544a that calculates a first feature amount as a feature amount used by the determination unit 543h to determine the state of the mucous membrane having the determination target region; A second feature quantity calculation unit 544b that calculates a second feature quantity as a feature quantity used for setting the discrimination target area, and the relevance of the target unit area with respect to the unit area around the target unit area And a third feature amount calculation unit 544c that calculates a third feature amount related to.
  • the calculation unit 541b is not limited to the configuration including the input unit 543a, and the image processing unit 541 (for example, the image data generation unit 541a) excluding the calculation unit 541b may be configured to include the input unit 543a.
  • the processor 504 as the medical image processing apparatus includes the input unit 543a, the region extraction unit 543c, the closed region identification unit 543d, the unit region setting unit 543e, and the feature amount calculation unit 543f (first of them). It is characterized by having a calculation unit 541b including a feature quantity calculation unit 544a) and a determination unit 543h, and constituent elements other than the characteristic constituent elements may be provided as necessary.
  • the region extracting unit 543c may be configured to extract the mucosal microstructure structure region corresponding to the mucosal microstructure from the biological mucosa image input to the input unit 543a without performing preprocessing.
  • the unit region setting unit 543e shown in FIG. 32 calculates a feature amount for calculating the width of the mucous membrane microstructure region having a belt (belt) shape as a feature amount used for setting the range from the mucosal microstructure region or the closed region to the unit region.
  • a width calculation unit 545a serving as a calculation unit, and a range setting unit 545b that sets a range of the unit region based on the feature amount of the width are provided.
  • the discrimination target area setting unit 543g sets a discrimination target area from the plurality of unit areas based on the second feature quantity, and the first feature quantity
  • the calculation unit 544a calculates the first feature amount in the discrimination target region set by the discrimination target region setting unit 543g.
  • the discrimination target region setting unit 543g includes a threshold setting unit 546a that sets a threshold used when setting the discrimination target region based on the second feature amount.
  • the threshold set by the threshold setting unit 546a and the third threshold are set. Based on the feature amount, the determination target region may be set from the target unit region and a plurality of surrounding unit regions.
  • the threshold value setting unit 546a is provided with a threshold value selection unit 546b as shown by a dotted line in FIG. 32, and the threshold value selection unit 546b is actually used from a plurality of types of threshold values such as a distance threshold value, an area threshold value, and an order threshold value.
  • One threshold value to be used may be selected, and the discrimination target region may be set using the selected threshold value.
  • the determination unit 543h includes a determination threshold setting unit 547a that sets a determination threshold used for determining the state of the mucous membrane based on the first feature amount calculated by the first feature amount calculation unit 544a. .
  • the input unit 543a constituting the calculation unit 541b may be configured by an input end of image data to the calculation unit 541b.
  • the region extraction unit 543c, the closed region identification unit 543d, the unit region setting unit 543e, the feature amount calculation unit 543f, the determination target region setting unit 543g, the determination unit 543h, the attention unit region setting unit 543i, and the like are included in the calculation unit 541b.
  • the present embodiment is not limited to such a case, and may be configured using dedicated hardware for performing each process.
  • the operator turns on the power of each part of the endoscope apparatus 501 and then selects the normal light observation mode with the observation mode switch 524. Then, the surgeon moves the endoscope 502 while viewing the image displayed on the display device 505 when the normal light observation mode is selected, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting it into the body cavity, the tip 521b is brought close to the site where the biological tissue 601 to be observed exists.
  • the observation mode changeover switch 524 When the normal light observation mode is selected by the observation mode changeover switch 524, light of each color of R light, G light, and B light is sequentially emitted from the light source device 503 to the living tissue 601, and the light of each color is emitted from the endoscope 502. Images corresponding to each are acquired.
  • the image data generation unit 541a of the image processing unit 541 inputs image data of color components corresponding to each image. Are generated respectively.
  • Steps S501 to S505 in FIG. 33A show main processing for performing unit area setting processing.
  • FIG. 34 schematically shows an image obtained by imaging the pyloric gland of the stomach in the narrow-band light observation mode. Imaging in the narrow-band light observation mode has an advantage of displaying the structure in the vicinity of the surface layer more clearly than in the broadband light observation mode.
  • FIG. 35 shows an image obtained by locally cutting out a part of the image shown in FIG. 34 or a part of an image similar to the part shown in FIG.
  • a plurality of band-shaped MCEs 551 overlap each other, and an inter-pit portion 552 exists in an inner region (usually a closed region) surrounded by the MCEs 551.
  • a blood vessel 553 runs in the inter-pit portion 552.
  • the boundary between one MCE 551 may be clear or the boundary between adjacent MCEs 551 may be different. It may be unclear.
  • the boundary of the MCE 551 indicated by the symbol B1 is clear, but the boundary of the MCE 551 indicated by the symbol B2 is unclear.
  • the image data generated by the image data generation unit 541a is input from the input unit 543a into the preprocessing unit 543c in the calculation unit 541b.
  • the image data in this embodiment and other embodiments is composed of 3 (color component) images of size (horizontal ⁇ vertical number of pixels) of ISX ⁇ ISY, RGB, and each image of R, G, and B Are provided with 8-bit gradations each having a value from 0 to 255.
  • ISX ⁇ ISY 640 ⁇ 480.
  • the preprocessing unit 543c performs preprocessing such as noise suppression and inverse gamma correction on the input image data.
  • preprocessing such as noise suppression and inverse gamma correction
  • known median filtering rearranging the pixel values in the mask including the target pixel by size and replacing the value of the target pixel by the median value
  • noise suppression is performed with a mask size of 3 ⁇ 3.
  • gamma correction is a non-linear process applied to provide a visually linear gradation when an image is displayed on a monitor or the like, and inverse gamma correction returns this to the original linear gradation. . For this reason, when gamma correction is not performed on the image data input to the preprocessing unit 543c, reverse gamma correction is not necessary.
  • the preprocessed image data is output to the area extraction unit 543c.
  • the region extraction unit 543c extracts a band-shaped MCE region MBi (i ⁇ 1) as a mucosal microstructure region corresponding to the mucosa microstructure.
  • the MCE region MBi extraction method uses, for example, a structural component extraction method based on template matching described in Japanese Patent No. 4409166.
  • FIG. 33B shows a semi-elliptical shape used for template matching.
  • values described in the examples of Japanese Patent No. 4409166 may be used as they are.
  • the processing may be performed on the G image among the three RGB images.
  • Such an extraction method is applied to the image data shown in FIG. 34 or FIG. 35 to extract the MCE region MB1 as shown in FIG.
  • the extracted MCE region MB1 is output to the closed region identification unit 543d.
  • the extracted MCE region MB1 is indicated by hatching.
  • the closed region identifying unit 543d is roughly surrounded by the MCE region MBi detected as the mucosal microstructure region (in other words, the closed region or the region surrounded by the MCE region MBi is considered to be surrounded).
  • the process of detecting or identifying the approximate closed area CBj (j ⁇ 1) is performed.
  • the substantially closed region CBj is an enclosed closed region, but may be applied to the case of the approximate closed region considered to be enclosed as described above.
  • step S504 the well-known labeling is performed on the pixel region other than the region detected as the MCE region MBi.
  • the MCE area MB1 is divided into eight labels L11 to L18 as shown in FIG. In FIG. 37, the MCE region MB1 is indicated by hatching.
  • the pixels other than the label L18 including the outermost peripheral pixel of the image data (the X coordinate is 0 or 639 and the Y coordinate is 0 or 479) in the pixels in the label are substantially closed regions CBj.
  • the labels L11 to L17 except for the label L18 become the substantially closed regions CB1 to CB7, respectively.
  • all of CB1 to CB7 are not explicitly shown by reference numerals.
  • the closed regions of labels L12 and L13 are shown as CB2 and CB3
  • the closed regions of labels L13 and L14 are shown as CB3 and CB4. It is clearly stated.
  • Information on the approximate closed regions CB1 to CB7 detected or identified by the closed region identifying unit 543d is output to the unit region setting unit 543e.
  • the range setting unit 545b of the unit region setting unit 543e calculates the width as the feature amount of the MCE region MBi based on the approximate closed region CBj and performs a process of setting the range of the unit region UBj.
  • the width calculation unit 545a of the unit region setting unit 543e first calculates a width Tk (k ⁇ 1) as a feature amount of one MCE region MBi adjacent to one roughly closed region CBj.
  • the width calculation unit 545a for example, from the boundary pixel BQk between the approximate closed region CBj and the adjacent MCE region MBi (for example, on the approximate closed region CBj side), in the direction opposite to the approximate closed region CBj adjacent to the MCE region MBi.
  • the pixel is scanned and the number of pixels in the MCE region MBi is counted to calculate the width Tk at the boundary pixel BQk.
  • the enlarged view in the case of calculating width T2 in one direction is shown.
  • the MCE region MB1 is indicated by hatching.
  • the substantially closed region CB3 adjacent to the boundary pixel BQ2 is located in the lower left direction (the direction indicated by A in FIG. 38), and thus is in the direction opposite to the lower left direction from the boundary pixel BQ2.
  • the pixel is scanned in the upper right direction.
  • the number of pixels in the MCE region MB1 is counted while scanning in the upper right direction (in FIG. 38, the side of the substantially closed region CB4), it becomes 8 pixels, which is the value of the width T2.
  • FIG. 38 illustrates only three boundary pixels BQ1, BQ2, and BQ3 discretely shown in the substantially closed region CB3, but the calculation of the width Tk is performed for all the boundary pixels BQk.
  • the average value of the widths Tk calculated for all the boundary pixels BQk is set as the region size BSj of the MCE region MBi adjacent to the substantially closed region CBj. Then, based on the calculation of the width by the width calculation unit 545a, the range setting unit 545b determines the unit region UBj as a region obtained by combining the approximate closed region CBj and the MCE region MBi located in the range of the region size BSj from the approximate closed region CBj. Is set or determined as a range.
  • FIG. 39 shows an example of the unit area UB3 set when the approximate closed area CB3 described in FIG. 38 is targeted, and the area size BS3 of the MCE area MB1 adjacent to the approximate closed area CB3.
  • the unit region UB3 set in FIG. 39 is indicated by hatching.
  • the unit area UB3 is located within the range of the approximate closed area CB3 and the area size BS3 determined by the above average value of the width from the outer peripheral boundary of the approximate closed area CB3 so as to surround the approximate closed area CB3. This is a combined region of the band-shaped MCE region MB1.
  • the width Tk as the feature amount of the band-shaped MCE region MBi surrounding the approximate closed region CBj is calculated from the approximate closed region CBj to calculate the unit.
  • the processing or method for setting the range of the region UBj has been exemplified, the processing is actually performed for all the substantially closed regions CBj.
  • the range of one unit area UB3 is allowed to overlap with the range of another unit area UB2.
  • the unit area UB3 set from the substantially closed area CB3 described in FIG. 39 is indicated by hatching. Further, according to FIG. 40, the unit area UB2 set from the substantially closed area CB2 is indicated by diagonal lines by the same processing as in the case of the roughly closed area CB3.
  • the unit area UB2 and the unit area UB3 overlap with each other in the area indicated by cross-hatching.
  • a part of the unit area in this way is another unit area. It is allowed to overlap with a part of the region (specifically, a band-shaped MCE region).
  • the unit region setting unit 543e sets the unit region independently for each of the plurality of closed regions when the unit region is set by setting the MCE region so as to surround the plurality of closed regions.
  • some MCE regions of the unit region are allowed to overlap each other.
  • a region that is a unit in terms of biological histology can be set as the unit region UBj from the image data.
  • one closed region CBj regarded as a closed region or closed region such as the inter-cavity 552 including the blood vessel 553, and one MCE having a band-shaped closed loop shape surrounding the substantially closed region CBj.
  • the area MBi can be set as the unit area UBj.
  • the determination target area Ad including the unit area UBj is set by calculating the feature amount of the unit area UBj as described below.
  • step S506 after step S505, the unit of interest setting unit 543i sets the unit of attention UBin as one unit region existing at a distance closest to the center of the image.
  • FIG. 41A shows an example of the target unit region UBin set corresponding to this condition C1 (that is, one unit region existing at a distance closest to the center of the image).
  • the example shown in FIG. 41A shows a case where the unit area UB3 shown in FIG. 40 is set as the target unit area UBin.
  • the second feature amount calculation unit 544b uses the outer shape of the target unit region UBin as a second feature amount related to the size of the region size of the target unit region UBin or the shape of the region.
  • the maximum value of the (contour) width is calculated.
  • the second feature amount calculation unit 544b outputs the calculated maximum value of the width to the discrimination target region setting unit 543g.
  • the feature amount calculated by the second feature amount calculation unit 544b is not limited to the maximum value of the width of the target unit region UBin, and may be an average value of the width, or calculate the area as described later. You may do it. Further, the perimeter of the target unit region UBin may be calculated instead of the area.
  • the discrimination target area setting unit 543g sets a circular area Ac having a diameter that is, for example, three times the maximum value Tmax of the calculated width as the threshold of the distance set by the threshold setting unit 546a.
  • the inside of the circular area Ac is set as the discrimination target area Ad. That is, the threshold setting unit 546a sets a distance threshold from the maximum value of the width as the second feature amount.
  • a circular area Ac having a radius of 3 times the maximum value Tmax of the calculated width around the target unit area UBin (its center of gravity position) is set as the discrimination target area Ad.
  • the unit areas included inside the circular area Ac are set as a unit area group of the discrimination target area Ad.
  • a region included in the determination target region Ad outside the region illustrated in FIG. 41A is also illustrated.
  • the present invention is not limited to the case where the inside of the circular area Ac is set as the determination target area Ad.
  • a unit area at least partially included in the circular area Ac is set as the unit area of the determination target area Ad
  • a unit area in which at least a half or more of the area is included in the circular area Ac may be set as the unit area of the determination target area Ad.
  • a unit area almost entirely included in the circular area Ac may be set as the unit area of the discrimination target area Ad.
  • the discrimination target area setting unit 543g sets (determines) the discrimination target area Ad, and then outputs the setting (determination) information to the first feature quantity calculation unit 544a of the feature quantity calculation unit 543f.
  • the first feature quantity calculation unit 544a calculates, for example, the circularity of each unit area included in the discrimination target area Ad as the first feature quantity of the discrimination target area Ad, The average circularity of is calculated.
  • FIG. 42 shows details of the circularity calculation processing as the first feature amount calculation of step S509 in FIG. 33A and the mucous membrane state determination processing of step S510 based on the circularity calculation processing result.
  • the average circularity is calculated as the statistic of the first feature value.
  • the mucous membrane state is determined based on the calculation result of the average circularity. It is not limited.
  • the first feature amount calculation unit 544a (a circularity calculation unit included in the first feature amount calculation unit) counts the unit regions included in the determination target region Ad from the target unit region UBin. Numbering (labeling) is performed with the parameter J, and the total number N of unit areas included in the discrimination target area Ad is set.
  • the circularity calculation unit calculates the circularity C (J) of the unit area of the parameter J.
  • the circularity calculation unit determines whether or not the parameter J is equal to the total number N. If the parameter J is not equal to the total number N, J is incremented by 1 in step S525, and then in step S522. Return to processing.
  • the circularity calculation unit in step S526 uses the average circularity Cav as the statistic of the first feature quantity. calculate.
  • the average circularity Cav is calculated by adding the circularity C of the parameter J from 1 to N and dividing by the total number N, thereby calculating the average circularity Cav, thereby performing the process of step S509 in FIG. 33A. Ends, and the process proceeds to step S510.
  • step S527 the determination unit 543h compares the average circularity Cav with the determination threshold set by the determination threshold setting unit 547a, and determines whether the average circularity Cav is greater than or equal to the determination threshold.
  • the mucosa state of the region Ad is determined.
  • the determination threshold value setting unit 547a sets the determination threshold value to about 0.6, for example, when the average circularity is used as the first feature amount.
  • the determination unit 543h determines that the mucous membrane has a regular structure (state).
  • the determination unit 543h determines in step S529 that the mucous membrane has an irregular structure (is in a state). If it is determined that the mucous membrane has an irregular structure, it is highly likely that the normal mucous membrane has an abnormal shape due to the destruction of the structure.
  • step S30 the determination unit 543h outputs the determination result to the video signal generation unit 541c outside the calculation unit 541b, displays the determination result on the display device 505, and performs the processing of FIG. 42 or FIG. 33A. Exit.
  • the surgeon can obtain information on whether or not there is a high possibility that the mucous membrane of the discrimination target region is a lesion from the state of the mucous membrane determined by the determination unit 543h, and refers to the determination result by the determination unit 543h. By doing so, diagnosis can be performed efficiently.
  • the discrimination target area with the size of the unit area as a unit and discriminate the state of the biological mucous membrane of the discrimination target area.
  • the determination target region setting unit 543g is a predetermined multiple of the maximum value of the width (outline) of the target unit region UBin calculated as the second feature amount of the target unit region UBin (1 in the specific example).
  • a case has been described in which a circular area Ac having a radius of .5 times is set as the discrimination target area Ad.
  • the present invention is not limited to the case where the circular area Ac is set as the discrimination target area Ad.
  • the rectangular area Ar may be set as the discrimination target area Ad as shown by a dotted line in FIG. 41B. Note that the rectangular area Ar shown in FIG. 41B is shown in the case where the length of one side is three times the maximum value of the width (outline) of the target unit area UBin, but is not limited to this size. .
  • the unit area setting unit 543e sets a circular area Ac or a rectangular area Ar centered on the target unit area UBin based on the second feature amount (indicated by a dotted line in FIG. 32).
  • a rectangular area setting unit 545c, and the unit area (group) included in the circular area Ac or the rectangular area Ar set in the circular / rectangular area setting unit 545c may be set as the determination target area Ad.
  • the setting method of the discrimination target area Ad described above can be applied to an image in which unit areas are connected as shown in FIG. 41B.
  • the unit area group includes, for example, an upper area A1 and a lower area.
  • the present invention can also be applied to an image having a structure separated into the area A2.
  • the unit area existing at a distance closest to the center of the image is set as the attention unit area UBin, and as shown in FIG. A rectangular area Ar is set, and this rectangular area Ar can be set as the discrimination target area Ad ′ as shown in FIG. 43D.
  • the mucous membrane state of the determination target region Ad ′ can be determined based on the first feature amount described above based on the unit region included in the determination target region Ad ′ shown in FIG. 43D.
  • each unit region is connected to or adjacent to the adjacent unit region by MCE as a common mucosal microstructure, whereas the image of FIG.
  • the band-shaped MCE as the mucosal microstructure is not connected or adjacent to each other but is separated into two regions A1 and A2.
  • the determination target region may be set based on the degree adjacent to the target unit region UBin as the third feature amount that places more importance on the relationship with the target unit region UBin.
  • the order may be defined as follows.
  • the attention unit area UBin is set as a zero-order unit area, and in a plurality of unit areas existing around the attention unit area UBin, a unit area adjacent to the zero-order unit area is defined as a primary unit area, the primary unit area A unit region that is adjacent to the unit region and not adjacent to the 0th order unit region is a secondary unit region, and a unit region that is adjacent to the secondary unit region and not adjacent to the primary unit region is a tertiary unit region.
  • a unit area adjacent to the Nth order unit area and not adjacent to the (N ⁇ 1) th order unit area is defined as an N + 1th order unit area. Set. Specific examples will be described later.
  • the third feature amount calculation unit 544c sets the target unit region UBin as a zero-order unit region, a primary unit region adjacent to the zero-order unit region, and a secondary adjacent to the primary unit region. Are calculated as the third feature amount.
  • the calculation unit 541b is a unit region that is adjacent to the unit region having a common mucosal microstructure in the unit region of interest UBin and a plurality of unit regions existing around the unit region of interest UBin. Is recognized (see FIG. 32).
  • the third feature amount calculation unit 544c calculates the degree adjacent to the target unit region UBin for a plurality of unit regions existing around the target unit region UBin. For this reason, the third feature amount calculation unit 544c includes a function of an order calculation unit that calculates the order as the third feature amount.
  • the attention unit area setting unit 543i has described the case where the attention unit area UBin is set using the condition C1 (that is, one unit area present at the closest distance to the center of the image).
  • the unit region of interest UBin may be set according to the following conditions C2-C5 based on the information on the degree to which the unit regions are connected (connected), not limited to the condition C1.
  • the attention unit area setting unit 543i performs the following conditions C2-C5 C2: a unit region in which the order of unit regions to be connected (U-1, U-2, etc. in the specification to be described later) can be taken to the highest order, C3: a unit region closest to the center (or centroid) of the entire unit region group to be connected; C4: a unit area randomly set in the image,
  • the unit region of interest UBin may be set according to C5: manually set unit region.
  • the attention unit area UBin is not limited to one, and a plurality of attention unit areas UBin may be set. Furthermore, the attention unit region UBin is not limited to one, and the determination target region Ad may be set and the mucous membrane state may be determined for all unit regions. As the order at that time, the processing may be performed in order from the unit area meeting the above condition (C1-C5), may be random, or may be performed in order from the upper right of the image.
  • the first feature amount calculation unit 544a has described the case where the average circularity is calculated as the first feature amount.
  • the first feature amount calculation unit 544a is not limited to the circularity, and the area, color tone (luminance value, Pixel value), perimeter, and the like may be calculated from the unit area included in the determination target area Ad.
  • the first feature quantity calculation unit 544a may calculate a statistic quantity of variance (coefficient of variation) in addition to the average statistic quantity as the first feature quantity.
  • the second feature amount calculation unit 544b calculates the area of the target unit region UBin as the second feature amount (not the above-described width) as described below in step S507.
  • the discrimination target area setting unit 543g may set the discrimination target area using the order based on the comparison result using the threshold value of the area based on the calculated area.
  • the determination target region setting unit 543g determines the range of the determination target region Ad depending on whether or not the area of the target unit region UBin calculated as the second feature amount is greater than or equal to a threshold (more specifically, the area threshold). Set. As described above, the discrimination target area setting unit 543g sets the discrimination target area Ad (range) based on the calculated second feature amount in units of unit areas. That is, the discrimination target area setting unit 543g sets the discrimination target area Ad as a unit area group including the target unit area UBin based on the calculated second feature amount.
  • the discrimination target area setting unit 543g shows a third feature amount that represents the structural relationship between the target unit area UBin and the surrounding unit areas UBj. It may be set (determined) based on
  • FIG. 44 shows a process in which the discrimination target region setting unit 543g sets (determines) the discrimination target region Ad based on the area as the third feature amount.
  • the area calculated by the second feature amount calculation unit 544b is input to the discrimination target region setting unit 543g.
  • the determination target region setting unit 543g determines whether or not the area calculated by the second feature amount calculation unit 544b is equal to or larger than the threshold value of the area set by the threshold setting unit 546a.
  • the threshold setting unit 546a sets the area threshold to, for example, about 5000, more specifically, the number of 5000 pixels.
  • the determination target region setting unit 543g includes the target unit region UBin and the target unit region UBin around the target unit region UBin as illustrated in step S513.
  • the unit area UBj that is in direct contact is set as the determination target area Ad.
  • the discrimination target area setting unit 543g includes the 0th order unit area in which the target unit area UBin is the 0th order unit area and the first order unit area that directly contacts the 0th order unit area.
  • the region (in the unit region group) is set as the discrimination target region Ad.
  • the unit area (group) U-1 is set as the discrimination target area Ad.
  • the determination target region setting unit 543g when the area of the target unit region UBin is less than the area threshold, the determination target region setting unit 543g, as shown in step S514, The primary unit region (group) U-1 that is in direct contact with the target unit region UBin, and the secondary unit region (group) U-2 that is in direct contact with the primary unit region (group) U-1 Are set as the discrimination target area Ad.
  • the discrimination target area setting unit 543g sets the zero-order unit area, the primary unit area, and the area (in the unit area group) up to the secondary unit area as the discrimination target area Ad.
  • the discrimination target area Ad in this case is as shown in FIG. 45B.
  • the setting process of the discrimination target area Ad shown in FIG. 44 is finished, that is, the process of step S508 in FIG. 33A is finished.
  • the range of the unit region included in the determination target region Ad is expanded from the determination target region Ad to the mucosa than when the area value is equal to or greater than the threshold value.
  • the discrimination target area setting unit 543g sets (determines) the discrimination target area Ad, and then outputs information on the setting (determination) to the first feature quantity calculation unit 544a of the feature quantity calculation unit 543f. Then, as described above, the processing after step S509 in FIG. 33A is performed.
  • the determination target region Ad is set to the primary unit region (group) U-1 or the secondary unit region (group) U-2 according to the area of the target unit region UBin as shown in FIG. It is not limited to setting. It may be set to use a tertiary unit region (group) U-3.
  • the area of the target unit region UBin is less than the threshold (specifically 5000) in the determination in step S512 of FIG. 44, the area of the target unit region UBin is further increased as described above in step S515 of FIG. You may make it determine whether it is more than the 2nd threshold value (for example, 3000) of the value smaller than a threshold value.
  • the secondary unit region (group) U-2 is included in the determination target region Ad as shown in step S514 of FIG.
  • (Group) Up to U-3 may be included in the discrimination target area Ad.
  • two levels of thresholds may be set, and the order of unit areas (groups) to be included in the discrimination target area Ad may be set according to the comparison result with the thresholds, or three or more levels of thresholds may be set.
  • the order of the unit areas (groups) to be included in the determination target area Ad may be set according to the comparison result with the threshold value.
  • connection order N 10000 / (area of target unit region UBin) (2)
  • the decimal part in the calculation result of the expression (2) is rounded down.
  • step S542 the discrimination target area setting means and the discrimination target area setting method using the order effective for setting the discrimination target area range in the case of the image as shown in FIG. 43A will be described below.
  • step S542 the process for setting the unit area of interest is performed as shown in step S542.
  • the recognition unit 543j recognizes the unit areas having a common mucosal microstructure as unit areas (or unit area groups) adjacent to each other. Then, the third feature quantity calculation unit 544c calculates the order of the unit area adjacent to the target unit area UBin as the third feature quantity based on the recognition result by the recognition unit 543j.
  • the unit unit of interest UBin is set as a unit region existing at a distance closest to the center of the image, for example.
  • the target unit region UBin may be set so as to correspond to, for example, the C2 or C3 condition other than the C1 condition.
  • the second feature amount calculation unit 544b calculates second feature amounts such as the area and width of the target unit region UBin. Based on the calculation result of the second feature amount, as shown in step S544, the discrimination target area setting unit 543g identifies the unit area of the order that is equal to or less than the order threshold and sets it as the discrimination target area Ad. For example, when the determination target region Ad is set by the processing of FIG. 44, when the area of the target unit region UBin is equal to or smaller than the threshold value, a unit region having an order of 2 or less is set as the determination target region Ad.
  • FIG. 48 shows an example of the discrimination target region Ad that is set when the area of the target unit region UBin is equal to or smaller than the threshold value in the case of the image of FIG. 43A.
  • the target unit area UBin is set as a zero-order unit area, and a primary unit area (group) U-1 and four primary unit areas composed of four unit areas that are in contact with the outside through a common MCE 551.
  • the determination target region Ad is set by a secondary unit region (group) U-2 including seven unit regions that are in contact with the outside of (group) U-1 via a common MCE.
  • FIG. 49 is an explanatory diagram showing that unit areas around the target unit area UBin are in contact via a common MCE 551. As shown in FIG.
  • the recognizing unit 543j recognizes the unit areas having the MCE 551 as the common mucosal microstructure among the plurality of unit areas around the target unit area UBin as adjacent unit areas.
  • step S545 subsequent to step S544, the determination unit 543h determines the mucosal state using the calculation result of the first feature amount by the first feature amount calculation unit 544a for the determination target region Ad. .
  • step S546 the determination unit 543h outputs the determination result to the video signal generation unit 541c, and the display device 505 displays the determination result. Then, the process of FIG. 47 ends.
  • the discrimination target area Ad When the discrimination target area Ad is set using the order as shown in FIG. 47, the unit areas are connected as shown in FIG. 41B, as well as areas A1 and A2 as shown in FIG. 43A. Even in the case of an image in which unit areas are not connected to each other, the discrimination target area Ad can be set so as to include a unit area highly related to the target unit area UBin, so that the mucosal state can be discriminated with high accuracy. be able to.
  • the mucosal state may be determined to be an irregular structure, and when it is less than the threshold value, the mucosal state may be determined to be a regular structure.
  • the circularity, area, and perimeter of the target unit region UBin are compared with the average value in the discrimination target region Ad.
  • the ratio of the former and the latter is equal to or greater than a threshold value of 1.3, the mucosal state is irregular. If the structure is less than the threshold value, the mucous membrane state may be determined as a regular structure.
  • the case where various feature amounts are calculated in the entire unit area included in the determination target area Ad has been described. However, the above description has been given from the blood vessel, the MCE, and the interpits included in each unit area. Various feature amounts may be calculated. In addition, the mucosal state may be determined using threshold values corresponding to the blood vessel, MCE, and intercavity.
  • the feature amount calculation unit such as the width calculation unit 545a may calculate the feature amount used for setting the range of the unit region from the MCE region MBi as the mucosal microstructure region, or may be an outline as a closed region.
  • the feature amount used for setting the range of the unit area may be calculated from the closed area CBj.
  • the content of the preprocessing in step S502 in FIG. 33A is not limited to noise suppression and inverse gamma correction, and brightness and color tone correction may be added.
  • the preprocessing methods are not limited to the methods, and may be changed according to the characteristics of the target image or device. For example, although median filtering is used as a noise suppression method in the present embodiment, other methods such as a smoothing filter may be used.
  • the detection or extraction method of the MCE region MBi in step S503 is not limited to the above-described structural component extraction method, and other methods may be used.
  • threshold processing for pixel values such as a luminance value and color tone
  • a method using various frequency filters such as a Gabor filter
  • line segment detection processing using a Hessian matrix and a vector concentration degree which are known techniques, may be used.
  • the detection or identification method of the roughly closed region CBj in step S504 is not limited to the above-described method using labeling, and other methods may be used.
  • the closed region may be searched by scanning the boundary pixel BQk of the detected MCE region MBi to detect the substantially closed region CBj.
  • the width Tk is calculated by counting the number of pixels from the boundary pixel BQk.
  • the present invention is not limited to this method, and the size of the template or filter used in the extraction of the MCE region MBi in step S503 is the width.
  • Other methods such as using as Tk may be used.
  • the calculation of the width Tk is performed for all the boundary pixels BQk.
  • the width Tk may be calculated from pixels sampled every several pixels, for example, without using all the boundary pixels BQk.
  • the calculation of the region size BSj is not limited to the average value of the width Tk, and other statistics such as the mode value, minimum value, and maximum value of the width Tk may be used.
  • the calculation of the region size BSj is not limited to the method using the width Tk, and may be calculated from the size / shape of the substantially closed region CBj or even if the user sets an arbitrary value. Good. Further, the region size BSj that defines the range of the unit region may be determined from the area of the roughly closed region CBj.
  • the range of the unit region UBj is set by the distance from the boundary pixel of the substantially closed region CBj, but is not limited to this method.
  • the range of the unit area UBj may be set based on the above.
  • FIG. 40 shows an example in which each unit area UBj allows overlapping, but it may be determined which unit area UBj the overlapping portion belongs to and the overlapping area may be divided.
  • Each pixel set as the unit region UBj may be held as image data, and an image signal may be displayed on the display device 505 or the like by generating a video signal by the video signal generation unit 541c.
  • an area that is a unit in terms of biohistology is set to be separable or distinguishable as a unit area. Then, with the unit area as a unit, a discrimination target area composed of a unit area group of an appropriate size can be set around the target unit area UBin of interest, and the mucosal state of the discrimination target area can be discriminated.
  • the target unit area UBin is set as the discrimination target area Ad
  • the first feature amount is calculated by setting the target unit area UBin alone (set as the discrimination target area Ad).
  • the mucous membrane state of the target unit region UBin may be determined based on the calculated first feature amount.
  • the attention unit area UBin set in FIG. 41A is set as the determination target area Ad.
  • the target unit area UBin shown in FIG. 43B may be set as the discrimination target area Ad.
  • FIG. 50 shows the processing in this case.
  • the processing shown in FIG. 50 is the same as that described in FIG. 33A from step S501 to S506, and after the processing in step S506, the processing in steps S509 and S510 is performed without performing S507 and S508 in FIG. 33A.
  • the first feature amount is calculated for the determination target region Ad including a plurality of unit regions including the target unit region UBin.
  • the first feature amount calculation unit 544a calculates the first feature amount for the target unit region UBin.
  • the first feature amount calculation unit 544a calculates the circularity as the first feature amount of the unit region of interest UBin.
  • the determination unit 543h determines that the mucous membrane of the unit region of interest UBin has a regular structure when the calculated circularity is, for example, 0.6 or more as a threshold value. Judged as an irregular structure.
  • the mucous membrane of the target unit region UBin has a regular structure. You may make it determine with a regular structure.
  • the case of the category indicating whether the structure is a regular structure or an irregular structure and the “state” of the mucous membrane has been described. It is not limited to the case of such a category, for example, a “pathological condition” or a result of comparing the calculation result of the statistic of the first feature amount with a threshold value to determine whether it is cancer or non-cancer. You may make it discriminate
  • the case of the stomach has been described.
  • the present invention can also be applied to other medical images obtained by imaging a biological mucous membrane such as the large intestine and esophagus.
  • the determination unit 543h may include a first feature amount calculation unit 544a that calculates the first feature amount.
  • the determination unit 543h may include a statistic calculation unit 547b that calculates the statistic of the first feature amount as indicated by a dotted line in FIG. Further, the determination unit 543h may determine the mucosal state based on the statistics.
  • embodiments configured by partially combining the above-described embodiments and the like also belong to the present invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　医療用画像処理装置に設けられた演算部４１ｂは、生体粘膜を撮像して得られる生体粘膜画像が入力される入力部４３ａと、入力された生体粘膜画像から粘膜微細構造に対応する粘膜微細構造領域を抽出する領域抽出部４３ｃと、粘膜微細構造領域によって包囲されるとみなされる少なくとも１つの閉領域を識別する閉領域識別部４３ｄと、粘膜微細構造領域及び閉領域に基づき単位領域を設定する単位領域設定部４３ｅと、を有する。

Description

医療用画像処理装置
　本発明は、生体粘膜を撮像した医用画像に対する画像処理を行う医療用画像処理装置に関する。
　従来、医療分野において内視鏡（カプセル型を含む）装置等の画像撮像装置を用いた観察が広く行われている。内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという構成及び作用を有する。　
　そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造（粘膜微細構造）等の様々な所見を総合的に観察することができる。
　前述した粘膜微細構造（血管・ｐｉｔ・上皮構造等）の所見を用いて、病状を分類・診断する診断学が、大腸・胃・食道等、様々な臓器を対象として多数提唱されている。例えば、日本において広く利用されている診断学の１つに、大腸のｐｉｔ　ｐａｔｔｅｒｎ分類がある。さらに近年では、狭帯域光観察（ＮＢＩ）用内視鏡の普及により、ＮＢＩで撮像された医療用画像に対する診断学の検討がさかんに行われている。　
　しかし、これらの診断学の理解・実践には十分な経験等を要するため、医師によって判断が異なる場合や、経験の浅い医師が診断学を使いこなすことが難しい、などの課題があった。そこで、医療用画像に対する画像処理によって、定量的な判断尺度の提供・診断の際に着目すべき微細構造の特定・画像解析による病状の推定結果などの支援情報を提供するコンピュータ診断支援（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）の研究・開発が行われている。
　内視鏡画像における粘膜微細構造は、連続的なパターンが複雑な形態で撮像されており、従来の画像解析手法では精度の高い抽出・解析が困難である。また、胃・大腸などの臓器の違いによって撮像される粘膜微細構造のパターンが異なり、さらに同一臓器においても、例えば胃では幽門腺と胃底腺とで異なる。
　さらに言えば、血管や上皮構造等の粘膜微細構造は、内視鏡画像上では２次元で撮像されているが、八尾建史：胃拡大内視鏡；７９－８７、２００９（以降、非特許文献と称する）、に記載のように、実際には３次元的な構造を呈している。
　そのため従来例による画像解析によって、個々の構造や、生体組織学的に一単位となる範囲を認識・検出することが難しい、という課題がある。
　例えば胃の幽門腺粘膜をＮＢＩで撮像すると、窩間部の周りを腺窩辺縁上皮（ＭＣＥ）が囲うように走行する。それらが連続して連なっているため、１つの窩間部に対応するＭＣＥ（＝個々の構造）の範囲が明確でなく、従来例の画像処理によって解析することが困難であった。
　以上の課題に対し、例えば本出願人による日本国特許第２９１８１６２号公報では、胃粘膜における胃小区を単位領域として小領域を分割・検出する方法が記載されているが、対象とする領域の最小単位が胃小区であり、前述した生体組織学的に一単位となる範囲ほどの複雑かつ微小な構造への解析を対象としていない。さらに、３次元的な構造を考慮した領域分割手法でないため、複数の単位領域が折り重なり、あるいは連結しているように撮像された場合など、個々の単位領域を良好に分割することが困難である、という課題を有している。
　一方、内視鏡画像における粘膜微細構造は、連続的なパターンが複雑な形態で撮像されており、従来の画像解析手法では精度の高い抽出・解析が困難である。また、胃・大腸などの臓器の違いによって撮像される粘膜微細構造のパターンが異なり、さらに同一臓器においても、例えば胃では幽門腺と胃底腺とで異なる。
　さらに言えば、血管や上皮構造等の粘膜微細構造は、内視鏡画像上では２次元で撮像されているが、前述の非特許文献に記載のように、実際には３次元的な構造を呈している。
　そのため従来例による画像解析によって、個々の構造や、生体組織学的に一単位となる範囲を認識・検出することが難しい、という課題がある。
　例えば胃の幽門腺粘膜をＮＢＩで撮像すると、窩間部の周りを腺窩辺縁上皮（ＭＣＥ）が囲うように走行する。それらが連続して連なっているため、１つの窩間部に対応するＭＣＥ（＝個々の構造）の範囲が明確でなく、従来例の画像処理によって解析することが困難であった。
　以上の課題に対し、例えば本出願人による日本国特許第２９１８１６２号公報では、胃粘膜における胃小区を単位領域として小領域を分割・検出する方法が記載されているが、対象とする領域の最小単位が胃小区であり、前述した生体組織学的に一単位となる範囲ほどの微小な構造への解析を対象としていない。さらに、３次元的な構造を考慮した領域分割手法でないため、複数の単位領域が折り重なり、あるいは連結しているように撮像された場合など、個々の単位領域を良好に分割することが困難である、という課題を有している。
　また、日本国特許第４４５１４６０号公報は、内視鏡画像に複数の関心領域（ＲＯＩと略記）を設定し、それぞれのＲＯＩから特徴量を算出して、ｐｉｔ ｐａｔｔｅｒｎ分類を推定、判別する内容を開示している。なお、ＲＯＩの設定は手動で行われる。
　しかし、この先行例では上記のようにＲＯＩを手動で設定しており、生体組織学的に一単位となる範囲を自動的にＲＯＩとして設定することが開示されていないため、自動的にＲＯＩを設定することが困難である。
　本発明は、前述した課題を鑑みてなされたものであり、粘膜微細構造から単位領域を分割して設定可能にすることにより、医療用画像上における個々の構造の診断等を支援することができる医療用画像処理装置を提供することを目的とする。
　また、本発明は、上述した点に鑑みてなされたもので、単位領域を単位としたサイズで判別対象領域を適切に設定し、判別対象領域の生体粘膜の状態を判別することができる医療用画像処理装置を提供することを目的とする。
　本発明の一能様に係る医療用画像処理装置は、生体粘膜を撮像して得られる生体粘膜画像が入力される入力部と、前記入力部に入力された前記生体粘膜画像から粘膜微細構造に対応する粘膜微細構造領域を抽出する領域抽出部と、前記粘膜微細構造領域によって包囲されるとみなされる少なくとも1つの閉領域を識別する閉領域識別部と、前記領域抽出部により抽出された前記粘膜微細構造領域及び前記閉領域識別部により識別された前記閉領域に基づき単位領域を設定する単位領域設定部と、を有する。
図１は本発明の第１の実施形態に係る医療用画像処理装置を有する内視鏡装置の概略の構成の一例を示す図。 図２は図１の光源装置が有する回転フィルタの構成の一例を示す図。 図３は図２の第１のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図４は図２の第２のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図５は図１の演算部の構成を示すブロック図。 図６Ａは第１の実施形態における処理内容を示すフローチャート。 図６Ｂはテンプレート・マッチングに用いる半楕円形状を示す図。 図７は内視鏡画像の模式図。 図８は図７の一部を拡大した模式図。 図９は第１の実施形態におけるＭＣＥ領域ＭＡ１の検出結果の一例を示す図。 図１０は第１の実施形態におけるＭＣＥ領域ＭＡ１を含む領域のラベリング結果の一例を示す図。 図１１は第１の実施形態におけるＭＣＥ領域ＭＡｉの特徴量としての幅Ｗｋを算出する場合の一例を示す図。 図１２は第１の実施形態における単位領域ＵＡ３の設定の一例を示す図。 図１３は第１の実施形態における単位領域ＵＡ２，ＵＡ３が重複する一例を示す図。 図１４Ａは第１の実施形態の変形例における対象とする概略閉領域ＣＡｊの一例を示す図。 図１４Ｂは変形例における処理内容の一例を示すフローチャート。 図１５は変形例における芯線ＣＬ１の検出結果の一例を示す図。 図１６は変形例における仮想線ＶＬ１の一例を示す図。 図１７は変形例における仮想線ＶＬ１を用いたラベリング結果の一例を示す図。 図１８は変形例における仮想線ＶＬ１，ＶＬ２の設定例を示す図。 図１９Ａは本発明の第２の実施形態における演算部の構成を示すブロック図。 図１９Ｂは本発明の第２の実施形態における処理内容の一例を示すフローチャート。 図２０は内視鏡画像においてＭＣＥ領域が不明瞭な場合の一例を示す模式図。 図２１は図２０に第１の実施形態で説明した処理を適用した場合の単位領域ＵＡｊの一例を示す図。 図２２は第２の実施形態におけるＭＣＥ領域ＭＡ２の検出結果の一例を示す図。 図２３は第２の実施形態において用いられるマッチドフィルタＭＦの一例を示す図。 図２４は第２の実施形態における画像データの画素値設定の一例を示す図。 図２５は第２の実施形態における概略閉領域候補画素ＣＰｚの検出結果の一例を示す図。 図２６は第２の実施形態における概略閉領域候補画素ＣＰｚに対するラベリング結果の一例を示す図。 図２７は第２の実施形態における単位領域ＵＡ２の設定の一例を示す図。 図２８は本発明の第３の実施形態に係る医療用画像処理装置を有する内視鏡装置の概略の構成の一例を示す図。 図２９は図２８の光源装置が有する回転フィルタの構成の一例を示す図。 図３０は図２９の第１のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図３１は図２９の第２のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図３２は図２８の演算部の構成を示すブロック図。 図３３Ａは第３の実施形態における処理内容を示すフローチャート。 図３３Ｂはテンプレート・マッチングに用いる半楕円形状を示す図。 図３４は内視鏡画像の模式図。 図３５は図３４の一部を拡大した模式図。 図３６は第３の実施形態におけるＭＣＥ領域ＭＢ１の検出結果の一例を示す図。 図３７は第３の実施形態におけるＭＣＥ領域ＭＢ１を含む領域のラベリング結果の一例を示す図。 図３８は第３の実施形態におけるＭＣＥ領域ＭＢｉの特徴量としての幅Ｔｋを算出する場合の一例を示す図。 図３９は第３の実施形態における単位領域ＵＢ３の設定の一例を示す図。 図４０は第３の実施形態における単位領域ＵＢ２，ＵＢ３が重複する一例を示す図。 図４１Ａは設定された注目単位領域を示す図。 図４１Ｂは注目単位領域を含むように設定された判別対象領域Ａｄの設定例を示す図。 図４２は図３３ＡのステップＳ５０９とＳ５１０との詳細な処理内容を示すフローチャート。 図４３Ａは演算部に入力される生体粘膜を撮像した図３５に示した画像とは異なる画像例を模式的に示す図。 図４３Ｂは図４３Ａの画像の場合において設定した注目単位領域を設定した例を示す図。 図４３Ｃは図４３Ｂにおいてさらに矩形領域を設定した例を示す図。 図４３Ｄは図４３Ｃにおいて矩形領域内を判別対象領域に設定した例を示す図。 図４４は注目単位領域に対して算出された第２の特徴量に基づいて判別対象領域を設定する処理内容を示すフローチャート。 図４５Ａは図４４の処理において面積が閾値以上の場合において設定される判別対象領域を示す図。 図４５Ｂは図４４の処理において面積が閾値未満の場合において設定される判別対象領域を示す図。 図４６は注目単位領域に対して算出された第２の特徴量に基づいて２つの閾値を用いて判別対象領域を設定する処理内容を示すフローチャート。 図４７は図４３Ａの画像に対して第３の特徴量として次数を用いて判別対象領域を設定した場合における処理内容を示すフローチャート。 図４８は図４７の処理において設定された判別対象領域の例を示す図。 図４９は認識部により共通のＭＣＥにより接する単位領域数が認識されることの説明図。 図５０は第３の実施形態の変形例における処理内容を示すフローチャート。
　以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
　本発明の第１の実施形態は、医療用画像である内視鏡画像として撮像された粘膜微細構造から単位領域として分割される領域を設定する処理装置及び処理方法について説明する。図１から図１３は、本発明の第１の実施形態に係るものである。
　図１に示すように、内視鏡装置１は、被験者の体腔内に挿入され、該体腔内の生体組織１０１等の被写体を撮像して得た画像を信号出力する内視鏡２と、生体組織１０１を照明するための照明光を発する光源装置３と、内視鏡２からの出力信号に対して種々の処理を施す医療用画像処理装置を構成するプロセッサ４と、プロセッサ４からの映像信号に応じた画像を表示する表示装置５と、プロセッサ４における処理結果に応じた出力信号を記憶する外部記憶装置６と、を有して構成されている。
　内視鏡２は、被験者の体腔内に挿入可能な細長な形状及び寸法を備えた挿入部２１ａと、挿入部２１ａの先端側に設けられた先端部２１ｂと、挿入部２１ａの基端側に設けられた操作部２１ｃと、を有して構成されている。また、挿入部２１ａの内部には、光源装置３において発せられた照明光を先端部２１ｂへ伝送するためのライトガイド７が挿通されている。
　ライトガイド７の一方の端面（光入射端面）は、光源装置３に着脱自在に接続される。また、ライトガイド７の他方の端面（光出射端面）は、内視鏡２の先端部２１ｂに設けられた図示しない照明光学系の近傍に配置されている。このような構成によれば、光源装置３において発せられた照明光は、光源装置３に接続されたライトガイド７、及び先端部２１ｂに設けられた図示しない照明光学系を経た後、体腔内の生体組織１０１に出射される。
　内視鏡２の先端部２１ｂには、被写体の光学像を結像する対物光学系２２と、対物光学系２２の結像位置に配置され、光学像を撮像して画像として取得する撮像部を構成する電荷結合素子（ＣＣＤと略記）２３と、が設けられている。また、内視鏡２の操作部２１ｃには、観察モードを通常光観察モードまたは狭帯域光観察モードのいずれかに切り替えるための指示を行うことが可能な観察モード切替スイッチ２４が設けられている。
　光源装置３は、キセノンランプ等からなる白色光源３１と、白色光源３１から発せられる白色光を面順次な照明光とする回転フィルタ３２と、回転フィルタ３２を回転駆動するモータ３３と、回転フィルタ３２及びモータ３３を白色光源３１の出射光路に垂直な方向（図１において符号Ａ）に移動させるモータ３４と、プロセッサ４の制御部４２の制御に基づいてモータ３３及び３４を駆動させる回転フィルタ駆動部３５と、回転フィルタ３２を通過した照明光を集光してライトガイド７の入射端面に供給する集光光学系３６と、を有している。
　回転フィルタ３２は、図２に示すように、中心を回転軸とした円盤形状であり、内周側の周方向に沿って設けられた複数のフィルタを具備する第１のフィルタ群３２Ａと、外周側の周方向に沿って設けられた複数のフィルタを具備する第２のフィルタ群３２Ｂと、を有している。そして、モータ３３の駆動力が前記回転軸に伝達されることにより、回転フィルタ３２が回転する。なお、回転フィルタ３２において、第１のフィルタ群３２Ａ及び第２のフィルタ群３２Ｂの各フィルタが配置されている部分以外は、遮光部材により構成されている。
　第１のフィルタ群３２Ａは、各々が回転フィルタ３２の内周側の周方向に沿って設けられた、赤色の波長帯域の光を通過させるＲフィルタ３２ｒと、緑色の波長帯域の光を通過させるＧフィルタ３２ｇと、青色の波長帯域の光を通過させるＢフィルタ３２ｂと、を有して構成されている。
　Ｒフィルタ３２ｒは、例えば図３に示すように、主に６００ｎｍから７００ｎｍまでの光（Ｒ光）を透過させるような構成を有している。また、Ｇフィルタ３２ｇは、例えば図３に示すように、主に５００ｎｍから６００ｎｍまでの光（Ｇ光）を透過させるような構成を有している。さらに、Ｂフィルタ３２ｂは、例えば図３に示すように、主に４００ｎｍから５００ｎｍまでの光（Ｂ光）を透過させるような構成を有している。なお、図３においては、Ｒフィルタ３２ｒ、Ｇフィルタ３２ｇ、Ｂフィルタ３２ｂを単にＲ，Ｇ，Ｂで示している。
　そして、白色光源３１において発せられた白色光は、第１のフィルタ群３２Ａを経ることにより、通常光観察モード用の広帯域光が生成される。
　第２のフィルタ群３２Ｂは、各々が回転フィルタ３２の外周側の周方向に沿って設けられた、青色かつ狭帯域な光を透過させるＢｎフィルタ３２１ｂと、緑色かつ狭帯域な光を透過させるＧｎフィルタ３２１ｇと、を有して構成されている。
　Ｂｎフィルタ３２１ｂは、例えば図４に示すように、中心波長が４１５ｎｍ付近に設定され、かつ、Ｂ光に比べて狭い帯域の光（Ｂｎ光）を透過させるように構成されている。
　また、Ｇｎフィルタ３２１ｇは、例えば図４に示すように、中心波長が５４０ｎｍ付近に設定され、かつ、Ｇ光に比べて狭い帯域の光（Ｇｎ光）を透過させるように構成されている。なお、図４においては、Ｂｎフィルタ３２１ｂ、Ｇｎフィルタ３２１ｇを単にＢｎ，Ｇｎで示している。
　そして、白色光源３１において発せられた白色光は、第２のフィルタ群３２Ｂを経ることにより、離散化された狭帯域光観察モード用の複数の帯域の狭帯域光が生成される。
　プロセッサ４は、本実施形態の医療用画像処理装置としての機能を備えた構成を有する。具体的には、図１に示すようにプロセッサ４は、画像処理部４１と、制御部４２と、を有して構成されている。また、画像処理部４１は、画像データ生成部４１ａと、演算部４１ｂと、映像信号生成部４１ｃと、を有して構成されている。
　画像処理部４１の画像データ生成部４１ａは、制御部４２の制御に基づき、内視鏡２からの出力信号に対してノイズ除去及びＡ／Ｄ変換等の処理を施すことにより、ＣＣＤ２３において得られた画像に対応した画像データを生成する。
　画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにより生成された画像データを用いて所定の処理を行うことにより、生体組織１０１を撮像して得た画像データの中から生体の粘膜微細構造を抽出し、さらに前記粘膜微細構造から所定の条件に基づく単位領域を設定する演算を行う。　
　なお、本実施形態においては、前記画像データに生体の粘膜微細構造が含まれているものとし、前記粘膜微細構造について生体組織学的に一単位となる範囲を単位領域として設定する処理としての単位領域設定処理を行う。このような単位領域設定処理の詳細については、後述する。
　画像処理部４１の映像信号生成部４１ｃは、画像データ生成部４１ａにより生成された画像データに対してガンマ変換及びＤ／Ａ変換等の処理を施すことにより、映像信号を生成して表示装置５等に出力する。
　制御部４２は、観察モード切替スイッチ２４の指示に基づき、通常光観察モードに切り替える指示が行われたことを検出した場合、通常光観察モード用の広帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第１のフィルタ群３２Ａを介挿させ、かつ、白色光源３１の出射光路上から第２のフィルタ群３２Ｂを退避させるように、モータ３４を動作させる。
　また、制御部４２は、観察モード切替スイッチ２４の指示に基づき、狭帯域光観察モードに切り替える指示が行われたことが検出した場合、狭帯域光観察モード用の複数の帯域の狭帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。
　そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第２のフィルタ群３２Ｂを介挿させ、かつ、白色光源３１の出射光路上から第１のフィルタ群３２Ａを退避させるように、モータ３４を動作させる。　
　すなわち、以上に述べた内視鏡装置１の構成によれば、通常光観察モードが選択された場合には、生体組織１０１等の観察対象物を肉眼で見た場合と略同様の色合いを有する画像（通常光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させることができる。また、以上に述べた内視鏡装置１の構成によれば、狭帯域光観察モードが選択された場合には、生体組織１０１に含まれる表層付近の血管が強調された画像（狭帯域光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させることができる。
　図５に示すように図１の医療用画像処理装置を構成する演算部４１ｂは、画像データ生成部４１ａから、ＣＣＤ２３により生体粘膜を撮像して得られる生体粘膜画像（の画像データ）が入力される画像入力部（単に入力部と略記）４３ａと、入力部４３ａに入力された前記生体粘膜画像に対する前処理を行う前処理部４３ｂと、前処理された粘膜微細構造に対応する粘膜微細構造領域を抽出する領域抽出部４３ｃと、前記粘膜微細構造領域によって包囲されるとみなされる少なくとも１つの閉領域（又は包囲領域）を識別する閉領域識別部（又は概略閉領域識別部）４３ｄと、前記領域抽出部４３ｃにより抽出された前記粘膜微細構造領域及び前記閉領域識別部４３ｄにより識別された前記閉領に基づき単位領域を設定する単位領域設定部４３ｅと、を有する。なお、演算部４１ｂが入力部４３ａを備えた構成に限らず、演算部４１ｂを除く画像処理部４１（例えば画像データ生成部４１ａ）が入力部４３ａを備えた構成にしても良い。
　このように本実施形態の医療用画像処理装置としてのプロセッサ４は、上記入力部４３ａ、領域抽出部４３ｃ、閉領域識別部４３ｄ及び単位領域設定部４３ｅを有する演算部４１ｂを備えることを特徴とする。なお、前処理を行うことなく、領域抽出部４３ｃは、入力部４３ａに入力された前記生体粘膜画像から粘膜微細構造に対応する粘膜微細構造領域を抽出する構成にしても良い。
　また、図５に示す単位領域設定部４３ｅは、粘膜微細構造領域又は閉領域から単位領域の範囲設定に用いられる特徴量としての帯（ベルト）形状の粘膜微細構造領域の幅を算出する特徴量算出部としての幅算出部４４ａと、前記幅の特徴量に基づいて前記単位領域の範囲を設定する範囲設定部４４ｂと、を備える。
　なお、演算部４１ｂを構成する入力部４３ａは演算部４１ｂへの画像データの入力端で構成しても良い。また、領域抽出部４３ｃ、閉領域識別部４３ｄ、単位領域設定部４３ｅ、幅算出部４４ａ、範囲設定部４４ｂを、中央処理装置（ＣＰＵ）等により構成される演算部４１ｂ内に設けた構成を示しているが、本実施形態はこのような場合に限定されるものでなく、それぞれの処理を行う専用のハードウェアを用いて構成しても良い。例えば、領域抽出部４３ｃ、閉領域識別部４３ｄ、単位領域設定部４３ｅ、幅算出部４４ａ、範囲設定部４４ｂを、それぞれ領域抽出回路、閉領域識別回路、単位領域設定回路、幅算出回路、範囲設定回路により構成しても良い。後述する実施形態における畳み込み演算部４５ａ、概略閉領域画素候補検出・ラベリング部４５ｂ等に関しても同様である。
　次に、医療用画像処理装置としてのプロセッサ４を備えた内視鏡装置１の作用について説明する。
　まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。
　観察モード切替スイッチ２４により通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。
　画像処理部４１の画像データ生成部４１ａは、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が入力されると、各画像に対応する色成分の画像データをそれぞれ生成する。
　次に、画像処理部４１の演算部４１ｂに含まれる、単位領域を設定する単位領域設定処理を行う動作の詳細について説明を行う。図６Ａは単位領域設定処理を行うための主要な処理を示す。　
　以下、本実施形態では、生体組織１０１上における上皮模様（上皮構造）を形成する胃の幽門腺を狭帯域光観察モードで撮像した画像データの例において、この画像データに含まれる粘膜微細構造を腺窩辺縁上皮（Ｍａｒｇｉｎａｌ　Ｃｒｙｐｔ　Ｅｐｉｔｈｅｌｉｕｍ：ＭＣＥ）とした場合に対して、単位領域設定処理を説明する。
　図７は胃の幽門腺を狭帯域光観察モードで撮像した画像を模式的に示す。狭帯域光観察モードで撮像することにより、広帯域光観察モードの場合よりも表層付近における構造等をより鮮明に表示させるメリットを有する。また、図７のような画像の一部を局所的に切り出した画像を図８に示す。図７～図８においては、複数の帯形状のＭＣＥ５１が重なって存在し、ＭＣＥ５１に囲まれた内側の（通常は閉領域となる）領域に窩間部５２が存在する。また、窩間部５２の中に血管５３が走行している。
　さらに、内視鏡２によって撮像される画像データは、距離や角度等の撮像条件や粘膜自体の状態に依存するため、１つのＭＣＥ５１の境界が明瞭な場合もあれば、隣接するＭＣＥ５１の境界が不明瞭な場合もある。
　図６ＡのステップＳ１に示すように、画像データ生成部４１ａで生成された画像データを入力部４３ａから演算部４１ｂ内の前処理部４３ｂ内に入力する。なお、本実施形態及び他の実施形態における画像データは、大きさ（横×縦の画素数）がＩＳＸ×ＩＳＹ、ＲＧＢの３（色成分）画像から構成され、Ｒ、Ｇ及びＢの各画像はそれぞれ０から２５５の値からなる８ビットの階調を備えるものとする。例えば、ＩＳＸ×ＩＳＹ＝６４０×４８０である。
　次のステップＳ２において、前処理部４３ｂは入力された画像データに対して、ノイズ抑制、逆ガンマ補正等の前処理を行う。本実施形態においては、ノイズ抑制として公知のメディアンフィルタリング（注目画素を含むマスク内の画素値を大きさで並べ替え、中央値で注目画素の値を置き換える）を大きさ３×３のマスクサイズで適用する。
　なお、ガンマ補正は、画像をモニタ等に表示する際に視覚的に線形な階調を与えるために適用された非線形処理であり、逆ガンマ補正はこれを元の線形階調に戻すものである。このため、前処理部４３ｂに入力される画像データにガンマ補正が施されていない場合には、逆ガンマ補正は不要となる。
　前処理を行った画像データは領域抽出部４３ｃに出力される。ステップＳ３に示すように領域抽出部４３ｃは、粘膜微細構造に対応する粘膜微細構造領域として帯形状のＭＣＥ領域ＭＡｉ（ｉ≧１）の抽出を行う。
　ＭＣＥ領域ＭＡｉの抽出方法は、例えば日本国特許第４４０９１６６号公報に記載のテンプレート・マッチングによる構造成分抽出手法を用いる。図６Ｂはテンプレート・マッチングに用いる半楕円形状を示す。
　なお、テンプレートの作成に用いる半楕円形状の幅Ｗは、Ｗ＝３～９（１．０刻み）とし、深さＤをＭＣＥ領域ＭＡｉの深さに対応した値に設定しても良い。その他のパラメータは、日本国特許第４４０９１６６号公報の実施例に記載の値をそのまま用いればよい。
　また、日本国特許第４４０９１６６号公報の実施例と同様に、ＲＧＢの３画像のうちＧ画像を対象として処理を実施すればよい。このような抽出方法を図７又は図８の画像データに適用して、例えば図９のようにＭＣＥ領域ＭＡ１を抽出する。抽出したＭＣＥ領域ＭＡ１を閉領域識別部４３ｄに出力する。なお、図９において抽出されたＭＣＥ領域ＭＡ１を斜線で示す。
　図６Ａにおける次のステップＳ４において閉領域識別部４３ｄは、粘膜微細構造領域として検出されたＭＣＥ領域ＭＡｉに概略包囲された（換言すると、ＭＣＥ領域ＭＡｉによって包囲される閉領域ないしは包囲されるとみなされる概略の閉領域としての）概略閉領域ＣＡｊ（ｊ≧１）を検出または識別する処理を行う。
　なお、第１の実施形態及びその変形例においては、概略閉領域ＣＡｊは、包囲された閉領域となり、後述する第２の実施形態においては、包囲された閉領域と完全には包囲されていないが概略包囲されている概略の閉領域とを含む。
　ステップＳ４の処理を行うために、ＭＣＥ領域ＭＡｉとして検出された領域以外の画素の領域について、公知のラベリングを実施する。図９のＭＣＥ領域ＭＡ１の検出結果について適用した場合、ＭＣＥ領域ＭＡ１は図１０のように７つのラベルＬ１～Ｌ７に分割される。なお、図１０においては図９におけるＭＣＥ領域ＭＡ１において、開口する領域を囲み、閉じていない端部を閉塞する処理を施している。図１０においてＭＣＥ領域ＭＡ１を斜線で示す。
　各ラベルＬ１～Ｌ７のうち、ラベル内の画素に画像データの最外周画素（Ｘ座標が０もしくは６３９の画素、およびＹ座標が０もしくは４７９の画素）を含むラベル以外を概略閉領域ＣＡｊとする。図１０に適用した場合の例では、ラベルＬ７を除くラベルＬ１～Ｌ６がそれぞれ概略閉領域ＣＡ１～ＣＡ６となる。閉領域識別部４３ｄにより検出又は識別された概略閉領域ＣＡ１～ＣＡ６の情報は、単位領域設定部４３ｅに出力される。
　次のステップＳ５において単位領域設定部４３ｅの範囲設定部４４ｂは、概略閉領域ＣＡｊを元にＭＣＥ領域ＭＡｉの特徴量としての幅を算出して、単位領域ＵＡｊの範囲を設定する処理を行う。
　単位領域設定部４３ｅの幅算出部４４ａは、まず、概略閉領域ＣＡｊと隣接するＭＣＥ領域ＭＡｉの特徴量としての幅Ｗｋ（ｋ≧１）を算出する。幅算出部４４ａは、例えば、概略閉領域ＣＡｊと隣接するＭＣＥ領域ＭＡｉとの（例えば概略閉領域ＣＡｊ側の）境界画素ＢＰｋから、ＭＣＥ領域ＭＡｉに隣接するこの概略閉領域ＣＡｊとは逆の方向に画素を走査し、ＭＣＥ領域ＭＡｉの画素数をカウントすることで、該境界画素ＢＰｋにおける幅Ｗｋを算出する。
　図１１は、概略閉領域ＣＡ３を対象とした場合における例えば３つの代表的な方向での幅Ｗ１，Ｗ２，Ｗ３を算出する例と、境界画素ＢＰ２に着目して１つの方向での幅Ｗ２を算出する場合の拡大図を示す。なお、図１１においてＭＣＥ領域ＭＡ１を斜線で示す。
　図１１においては、概略閉領域ＣＡ３の外周に３つの境界画素ＢＰ１，ＢＰ２，ＢＰ３を設定した場合において、各境界画素ＢＰ１，ＢＰ２，ＢＰ３それぞれから概略閉領域ＣＡ３と隣接するＭＣＥ領域ＭＡ１の幅Ｗ１，Ｗ２，Ｗ３を算出する様子を示す。以下１つの境界画素ＢＰ２の場合に対して、この境界画素ＢＰ２を含む一部の拡大図を参照して幅Ｗ２を算出する説明を行う。
　図１１の拡大図のように、境界画素ＢＰ２に隣接する概略閉領域ＣＡ３は左下方向（図１１でＡで示す方向）に位置するため、境界画素ＢＰ２からこの左下方向の逆向きの方向となる右上方向に画素を走査する。右上方向（図１１では概略閉領域ＣＡ４側）に走査しながらＭＣＥ領域ＭＡ１の画素数をカウントすると８ｐｉｘｅｌｓとなり、これが幅Ｗ２の値となる。
　なお、境界画素ＢＰｋに隣接する概略閉領域ＣＡｊが複数画素ある場合、それぞれの方向に走査して画素数をカウントし、最も画素数が少ないものを幅Ｗｋの値とする。図１１では概略閉領域ＣＡ３における離散的に示した境界画素ＢＰ１、ＢＰ２，ＢＰ３の３画素のみ例示したが、この幅Ｗｋの算出を全境界画素ＢＰｋにおいて実施する。
　次に、全境界画素ＢＰｋで算出した幅Ｗｋの平均値を、概略閉領域ＣＡｊと隣接するＭＣＥ領域ＭＡｉの領域サイズＡＳｊとする。そして、幅算出部４４ａによる幅の算出に基づいて、範囲設定部４４ｂは、概略閉領域ＣＡｊと、概略閉領域ＣＡｊから領域サイズＡＳｊの範囲に位置するＭＣＥ領域ＭＡｉを合わせた領域を単位領域ＵＡｊの範囲として設定又は決定する。
　図１２は、図１１で説明した概略閉領域ＣＡ３を対象とした場合に設定される単位領域ＵＡ３の例と、概略閉領域ＣＡ３に隣接するＭＣＥ領域ＭＡ１の領域サイズＡＳ３を示す。なお、図１２において設定された単位領域ＵＡ３を斜線で示す。図１２の単位領域ＵＡ３は、概略閉領域ＣＡ３と、この概略閉領域ＣＡ３を囲むように該概略閉領域ＣＡ３の外周境界（周縁境界）から上記の幅の平均値で決定される領域サイズＡＳ３の範囲に位置する帯形状のＭＣＥ領域ＭＡ１を合わせた領域となる。なお、概略閉領域ＣＡ３を囲む（例えば幅の平均値で決定される）領域サイズＡＳ３の範囲に位置する帯形状のＭＣＥ領域ＭＡ１をＭＣＥ領域ＭＡ１－３のように表記しても良い。この表記を用いると、図１２の単位領域ＵＡ３は、概略閉領域ＣＡ３と、この概略閉領域ＣＡ３を囲む帯形状のＭＣＥ領域ＭＡ１－３とから構成される。
　上記の説明においては概略閉領域ＣＡ３を対象として、概略閉領域ＣＡｊから該概略閉領域ＣＡｊを包囲する帯形状のＭＣＥ領域ＭＡｉの特徴量としての幅Ｗｋを算出して単位領域ＵＡｊの範囲を設定する処理ないしは方法を例示したが、実際には全ての概略閉領域ＣＡｊについて実施する。
　その際、図１３に示すように、ある単位領域ＵＡ３の範囲が他の単位領域ＵＡ２の範囲と重複することを許容する。
　図１３によれば、図１２において説明した概略閉領域ＣＡ３から設定した単位領域ＵＡ３が斜線で示されている。また、図１３によれば、概略閉領域ＣＡ３の場合と同様の処理により、概略閉領域ＣＡ２から設定した単位領域ＵＡ２が斜線で示されている。
　そして、図１３によれば、単位領域ＵＡ２と単位領域ＵＡ３とがクロスハッチングで示す領域が重複することになるが、単位領域を設定する場合、このようにある単位領域の一部が他の単位領域の一部と重複することを許容する。換言すると、単位領域設定部４３ｅは、単位領域の設定を複数の閉領域に対して行う場合、前記複数の閉領域各々に対して独立して前記単位領域の設定を行い、その結果、図１３に示すように単位領域の一部（具体的には帯形状のＭＣＥ領域）が互いに重複することを許容する。
　以上により、画像データから生体組織学的に一単位となる領域を単位領域ＵＡｊとして設定することができる。換言すると、画像データから血管５３を含む窩間部５２のような１つの閉領域ないしは閉領域と見なされる概略閉領域ＣＡｊと、該概略閉領域ＣＡｊを囲む帯形状の閉ループ形状となる１つのＭＣＥ領域ＭＡｉを単位領域ＵＡｊとして設定することができる。
　上述の説明においては、ＭＣＥ領域ＭＡｉの幅Ｗｋを算出する場合、概略閉領域ＣＡｊの境界画素ＢＰｋを用いて算出する場合を説明したが、ＭＣＥ領域ＭＡｉから算出しても良い。換言すると、幅算出部４４ａのような特徴量算出部は、粘膜微細構造領域としてのＭＣＥ領域ＭＡｉから単位領域の範囲設定に用いられる特徴量を算出しても良いし、又は閉領域としての概略閉領域ＣＡｊから単位領域の範囲設定に用いられる特徴量を算出するようにしても良い。
　なお、図６ＡにおけるステップＳ２における前処理の内容は、ノイズ抑制と逆ガンマ補正に限定されるものではなく、明るさや色調の補正等を加えても良い。また、前処理の各手法についても、手法を限定するものではなく、対象とする画像や機器の特性に応じて変更してよい。例えば本実施形態ではノイズ抑制の手法としてメディアンフィルタリングを用いたが、平滑化フィルタなどの他の手法を用いてもよい。
　ステップＳ３におけるＭＣＥ領域ＭＡｉの検出又は抽出方法は、前述の構造成分抽出手法に限定されるものではなく、他の手法を用いてもよい。例えば、輝度値や色調などの画素値に対する閾値処理、ガボールフィルタ等の各種周波数フィルタを用いた手法、公知技術であるヘッセ行列やベクトル集中度を用いた線分検出処理でもよい。
　ステップＳ４における概略閉領域ＣＡｊの検出又は識別手法は、前述のラベリングを用いた手法に限定されるものではなく、他の手法を用いてもよい。例えば、検出されたＭＣＥ領域ＭＡｉの境界画素ＢＰｋを走査することによって閉領域を探索し、概略閉領域ＣＡｊを検出してもよい。
　ステップＳ５において、幅Ｗｋは境界画素ＢＰｋから画素数をカウントすることで算出したが、この方法に限るものではなく、ステップＳ３のＭＣＥ領域ＭＡｉの抽出の際に用いたテンプレートやフィルタのサイズを幅Ｗｋとして用いるなど、他の方法を用いてもよい。
　また、幅Ｗｋの算出を全境界画素ＢＰｋにおいて実施したが、全境界画素ＢＰｋを用いる場合に限らず、例えば数画素おきにサンプリングした画素から幅Ｗｋを算出してもよい。
　さらに、領域サイズＡＳｊの算出は、幅Ｗｋの平均値に限定されるものではなく、幅Ｗｋの最頻値・最小値・最大値等の他の統計量を用いてもよい。
　また、領域サイズＡＳｊの算出は、幅Ｗｋを用いた方法に限定されるものではなく、概略閉領域ＣＡｊのサイズ・形状等から算出しても良いし、ユーザが任意の値を設定してもよい。また、概略閉領域ＣＡｊの面積などから単位領域の範囲を規定する領域サイズＡＳｊを決定しても良い。
　さらに、本実施形態では単位領域ＵＡｊの範囲を、概略閉領域ＣＡｊの境界画素からの距離で設定したが、この方法に限定されるものではなく、例えば概略閉領域ＣＡｊの中心点（重心）などを基準に、単位領域ＵＡｊの範囲を設定してもよい。
　図１３では、それぞれの単位領域ＵＡｊが重複を許容する例を示したが、重複している部分がどちらの単位領域ＵＡｊに属するかを判定し、重複する領域を分割してもよい。　
　また、上述の説明においては、単位領域ＵＡｊはＭＣＥ領域ＭＡｊを含むと説明したが、単位領域ＵＡｊがＭＣＥ領域ＭＡｊを含まないように定義してもよい。この定義の場合には、単位領域ＵＡｊ＝概略閉領域ＣＡｊとなる。　
　単位領域ＵＡｊとして設定された各画素を画像データとして保持し、映像信号生成部４１ｃによって映像信号を生成することで、表示装置５等に画像表示してもよい。
　本実施例形態によれば、粘膜微細構造について生体組織学的に一単位となる範囲を単位領域として分離、又は抽出可能に設定することができるようにしているので、医療用画像としての内視鏡画像上における個々の構造の診断等を支援することができる。換言すると、本実施例形態によれば、粘膜微細構造について生体組織学的に一単位となる範囲を単位領域として分離設定ないしは該抽出等することが可能となる。
　このため、複雑な画像データにおいても診断しようとする領域から、生体組織学的に一単位となる範囲の単位領域毎に分離又は抽出できるので、診断等を行い易くなる。これに対して、本実施形態のような生体組織学的に一単位となる範囲を設定できない従来例の場合には、生体組織学的に複数単位に連なった複雑な範囲に対して診断を行うことが必要となり、診断等を行い難くなってしまう。従って、第１の実施形態によれば、上記のように診断が行い易くなり、術者等による診断等を有効に支援することができる。また、単位領域よりも大きな領域を抽出しようとする場合においても、単位領域を単位として、所望とする領域サイズの領域を抽出することが容易となる。
　次に第１の実施形態の変形例を説明する。本変形例は、例えば癌による組織の破壊や撮像条件等が原因でＭＣＥ領域ＭＡｉが完全なる閉曲線を呈していない場合に、単位領域ＵＡｊを精度良く検出することができる画像処理装置及び処理方法について説明する。具体的には、癌細胞の増殖により、正常粘膜細胞が破壊される、もしくは置換されることにより、ＭＣＥが不明瞭となることがある。以下、主に図１４Ａから図１８を参照して説明する。
　本変形例は、第１の実施形態におけるステップＳ４の概略閉領域ＣＡｊを検出する処理に関する変形例に該当し、第１の実施形態におけるステップＳ３で検出されたＭＣＥ領域ＭＡｉが完全なる閉曲線を呈していない場合など、第１の実施形態では概略閉領域ＣＡｊを精度よく検出できない場合にも適用できる。
　本変形例の構成は、第１の実施形態と殆ど同様である。具体的には、第１の実施形態における画像処理部４１を構成する演算部４１ｂは、図５において点線で示すようにさらに、生体粘膜画像に対して、仮想的な粘膜微細構造領域を設定する仮想粘膜微細構造設定部４３ｆを有する。
　本変形例の場合、仮想粘膜微細構造設定部４３ｆは、仮想的な粘膜微細構造領域として仮想的なＭＣＥ領域ＭＡｉを設定する。このため、仮想粘膜微細構造設定部４３ｆは、仮想的ＭＣＥ領域設定部の機能を持つ。
　また、本変形例においては、閉領域識別部４３ｄは、領域抽出部４３ｃにより抽出された粘膜微細構造領域及び仮想粘膜微細構造設定部４３ｆにより設定された仮想的な粘膜微細構造領域（具体的には仮想的なＭＣＥ領域ＭＡｉ）により包囲される領域を、第１の実施形態で説明した閉領域（又は概略閉領域）として識別する。
　また、本変形例の処理は図１４Ｂに示すように、図６の処理において、ステップＳ３の後にステップＳ１１において、後述するようにＭＣＥ領域ＭＡｊにおける開口する開口端を検出し、仮想粘膜微細構造設定部４３ｆは、開口端を仮想腺ＶＬｘで接続する処理を行い、この仮想腺ＶＬｘで接続する処理後にステップＳ４の処理を行う。その他は、第１の実施形態と同様の処理となる。したがって、主に第１の実施形態との相違点のみを説明する。
　図１４ＡはステップＳ３でＭＣＥ領域ＭＡ１を検出又は抽出した例を示す。以下、図１４Ａにおける網掛けで示す閉じていない概略閉領域ＣＡｊの候補領域ＣＣＡｊとして説明する。そして、本変形例は、候補領域ＣＣＡｊに対しても実質的に（閉じた）概略閉領域ＣＡｊの場合と同様に閉領域として識別し、概略閉領域ＣＡｊの場合と同様に単位領域を設定することができるようにする。
　図６Ａで説明したのと同様に図１４ＢにおけるステップＳ１からＳ３までの処理を行う。そして、ステップＳ３において領域抽出部４３ｃは、図１４Ａに示すようなＭＣＥ領域ＭＡｉ（図１４Ａではｉ＝１）を抽出し、仮想粘膜微細構造設定部４３ｆに出力する。上記のように抽出されたＭＣＥ領域ＭＡｉにおいて、閉じていない２つの開口端を有する場合には、該２つの開口端以外の部分で包囲される開領域が概略閉領域ＣＡｊの候補領域ＣＣＡｊとなる。このため、このような開領域の候補領域ＣＣＡｊの場合に対しても、生体組織学的に一単位となる単位領域を設定することができるように、（以下のように芯線ＣＬｉを検出して）開口端を接続する等して閉領域を設定する。
　本変形例における仮想粘膜微細構造設定部４３ｆは、以下のような処理を行う。
　仮想粘膜微細構造設定部４３ｆは、まず、ＭＣＥ領域ＭＡｊについて、公知の細線化等の方法で、ＭＣＥ領域ＭＡｉの芯線ＣＬｉを検出する。芯線ＣＬｉの検出例を図１５に示す。なお、図１５から図１８においてＭＣＥ領域ＭＡｉ（ｉ＝１）を斜線で示す。次に仮想粘膜微細構造設定部４３ｆは、図１４ＢのステップＳ１１に示すように検出された芯線ＣＬｉに閉じていない端点（開口する端とも言える）がある場合、端点同士を仮想線ＶＬｘ（ｘ≧１）で接続する。
　仮想線ＶＬｘの接続例を図１６に示す。続いて、第１の実施形態における図６ＡのステップＳ４を行う場合と同様に、公知のラベリングを実施するが、ラベリングの対象とする画素をＭＣＥ領域ＭＡｉとして検出された領域および仮想線ＶＬｘ以外の画素とする。これ以降の処理は、第１の実施形態と同様である。
　仮想線ＶＬｘを用いることにより、図１７のように、ＭＣＥ領域ＭＡ１だけでは閉領域を形成していないラベルＬ７の領域を検出することができる。なお、領域サイズＡＳｊおよび幅Ｗｋの算出には、仮想線ＶＬｘの画素は用いず、第１の実施形態と同様にＭＣＥ領域ＭＡｉの境界画素ＢＰｋのみを用いる。そして、ステップＳ４の後にステップＳ５の単位領域ＵＡｊの設定を行い、図１４Ｂの処理を終了する。
　なお、本変形例では芯線ＣＬｉの端点同士を直線の仮想線ＶＬｘで接続したが、曲線等で接続してもよい。
　また、図１８に示すように、それぞれの芯線ＣＬｉの端点から、端点における芯線ＣＬｉの延伸方向又は帯形状のＭＣＥ領域の延伸方向に仮想線ＶＬｘ（図１８ではＶＬ１，ＶＬ２）を引き、その交点を用いて概略閉領域ＣＡｊを検出又は識別してもよい。これにより、端点同士を直線で接続する場合に比べ、複雑な形状の概略閉領域ＣＡｊを精度よく検出できる場合がある。
　本変形例によれば、第１の実施形態と同様の効果を有する他に、癌による組織の破壊等が原因でＭＣＥ領域ＭＡｉが完全なる閉曲線を呈していない場合でも、高い精度で単位領域ＵＡｊを設定することができる。
（第２の実施形態）
　次に本発明の第２の実施形態を図１９Ａ－図２７を参照して説明する。粘膜微細構造を撮像した内視鏡画像は、図２０の模式図のように、例えば癌による組織の破壊や撮像条件等が原因で、隣接する窩間部５２の間のＭＣＥ５１が点線で示すように不明瞭となる場合がある。
　本実施形態では、こうした場合に図２１の網掛け模様で示すように１つの大きな単位領域ＵＡｊとして設定してしまうことなく、それぞれの窩間部５２を個別の単位領域として設定することができる画像処理装置及びその処理方法について説明する。以下、図１９Ａから図２７を参照して説明する。
　本実施形態は、第１の実施形態におけるステップＳ１からステップＳ３までは同じ処理を行い、ステップＳ４以降の概略閉領域ＣＡｊの検出および単位領域ＵＡｊの設定において、異なる処理を用いた場合に相当し、その処理について説明する。したがって、第１の実施形態との相違点のみを説明する。
　本実施形態の医療用画像処理装置は、図１と同様の構成であり、本実施形態における演算部４１ｂは、図１９Ａに示すように、（第１の実施形態において）前述した入力部４３ａ、前処理部４３ｂ、領域抽出部４３ｃ、閉領域識別部４３ｄ、単位領域設定部４３ｅを有する。
　本実施形態においては閉領域識別部４３ｄは、マッチド・フィルタを用いた畳み込み演算部４５ａと、概略閉領域の画素候補を検出及びラベリングする概略閉領域画素候補検出・ラベリング部４５ｂとを有する。なお、概略閉領域画素候補検出・ラベリング部４５ｂを、概略閉領域の画素候補を検出する概略閉領域画素候補検出部と、検出された概略閉領域の画素候補をラベリングするラベリング部とに分けた構成にしても良い。また、本実施形態における単位領域設定部４３ｅは、第１の実施形態と異なる処理（具体的には上記マッチド・フィルタの情報）を用いて単位領域の設定を行う。
　そして、図１９Ｂに示す処理に従って、単位領域を設定する処理を行う。
　図１９ＢのステップＳ２１は、第１の実施形態のステップＳ３のＭＣＥ領域検出と同等であり、例えば図２０に該ＭＣＥ検出処理を適用すると図２２のようなＭＣＥ領域ＭＡｉの検出結果を得る。この時、ＭＣＥが不明瞭な領域は、ＭＣＥ領域ＭＡｉとして検出されない場合がある。なお、図２０においてＭＣＥ５１を網掛け模様で示す。図２２ＭＣＥ領域ＭＡｉも同様に網掛け模様で示す。
　次に、ステップＳ２２に示すように閉領域識別部４３ｄの畳み込み演算部４５ａは、このＭＣＥ領域ＭＡｉに対して、マッチドフィルタＭＦを用いた畳み込み演算を実施する。マッチドフィルタＭＦは、例えば図２３のような４３×４３サイズの矩形領域の中に、内側の半径１１ｐｉｘｅｌｓ、外側の半径２１ｐｉｘｅｌｓのドーナツ型が設計されたマッチドフィルタＭＦを用いる。なお、マッチドフィルタＭＦにおけるフィルタ係数はグレーのドーナツ型部分を１、それ以外の白色部分を０とする。
　また、ＭＣＥ領域ＭＡｉの画像データに対して、該マッチドフィルタＭＦを用いて畳み込み演算を行う際、該画像データの画素値を、図２４のように、網掛け模様で示すＭＣＥ領域ＭＡｉに属する画素を１、それ以外の画素を０とする。
　そして、畳み込み演算の結果、画像データの全画素に対して、マッチドフィルタ応答値ＲＶｙ（０≦ｙ＜ＩＳＸ×ＩＳＹ）が算出される。
　次のステップＳ２３において閉領域識別部４３ｄの概略閉領域画素候補検出・ラベリング部４５ｂは、下記の数式（１）を用いて、マッチドフィルタ応答値ＲＶｙが高い画素、すなわち概略閉領域候補画素ＣＰｚ（ｚ≧１）を閾値Ｔｈｒｅ１を用いて検出又は識別する。なお、本実施形態でのマッチドフィルタＭＦの係数の合計ＣＴは９０８である。また、閾値Ｔｈｒｅ１は例えば０．６とする。数式（１）を満たす画素（＝概略閉領域候補画素ＣＰｚ）を検出すると図２５のような結果となる。なお、概略閉領域候補画素ＣＰｚは、数式（１）を満たす各画素を表す。図２５ではＭＣＥ領域ＭＡｉを網掛け模様で示している。
　マッチドフィルタ応答値ＲＶｙ／（マッチドフィルタＭＦの係数の合計ＣＴ）＞Ｔｈｒｅ１　　…（１）
　次のステップＳ２４において概略閉領域画素候補検出・ラベリング部４５ｂは、概略閉領域候補画素ＣＰｚに対して、公知のラベリングを実施する。その結果、例えば図２６のように６つのラベル（Ｌ１’～Ｌ６’）に分割される。
　次のステップＳ２５において単位領域設定部４３ｅは、各ラベルＬ１’～Ｌ６’それぞれのラベルの境界画素から、マッチドフィルタＭＦの外側の円の半径の長さ（本実施形態では２１ｐｉｘｅｌｓ）の範囲を、それぞれ単位領域ＵＡｊとして設定する。図２７においてラベルＬ２’を例とした場合の単位領域ＵＡ２を示す。この単位領域ＵＡ２に隣接するラベルＬ３’等に対しても同様の処理を適用することにより、単位領域を設定することができる。なお、第１の実施形態およびその変形例と同様に、各単位領域ＵＡｊの範囲が重複することを許容する。
　なお、本実施形態では、マッチドフィルタＭＦとしてドーナツ型のフィルタを１種類のみ利用したが、形状、サイズ、フィルタの個数はこれに限るものではなく、類円形や多角形等のマッチドフィルタを用いてもよいし、サイズや形状の異なる複数のマッチドフィルタを適用し、複数のマッチドフィルタを適用した場合において最もフィルタの応答値ＲＶｙが大きいものを採用してもよい。
　また、本実施形態では、単位領域ＵＡｊの範囲をマッチドフィルタＭＦの半径を元に設定したが、この方法に限るものではなく、各ラベルＬ１’～Ｌ６’の大きさから範囲を算出してもよいし、ユーザがあらかじめ指定してもよい。
　本実施形態によれば、癌による組織の破壊や撮像条件等が原因で、隣接する窩間部の間のＭＣＥが明瞭でなく、複数の単位領域ＵＡｊが結合してしまっている場合や公知の細線化を用いて抽出される芯線ＣＬｉの端点が不明確な場合でも、それらを分割し、精度よく個々の単位領域ＵＡｊの範囲を設定することができる。
　上述した変形例の場合を含む全ての実施形態において、処理対象を入力された画像データ全体を用いた場合に対して説明したが、ユーザが任意の領域を設定し、設定された領域の範囲内のみを処理対象領域としてもよい。
　また、狭帯域観察モードで撮像されたＧ画像を用いて説明したが、ＲＧＢの他の色信号（具体的にはＲ画像、又はＢ画像）を用いてもよいし、Ｇ／ＲやＧ（Ｒ＋Ｇ＋Ｂ）等の各色信号の組み合わせにより算出された演算結果を用いてもよい。また、狭帯域観察モード以外の観察モードで撮像された画像データを用いてもよい。
　また、変形例の場合を含む全ての実施形態において、胃の幽門腺粘膜のＭＣＥを例として説明したが、対象とする臓器を限定するものではなく、胃の胃底腺粘膜や腸上皮化生・大腸・小腸・食道等の他の消化管臓器にも適用可能である。具体的には、大腸の管状・絨毛状所見を呈する腫瘍性病変や、バレット食道粘膜などが挙げられる。
　同様に、対象とする粘膜微細構造はＭＣＥに限定されるものではなく、血管・ｐｉｔ・Ｓｕｒｆａｃｅ　ｐａｔｔｅｒｎなど、他の粘膜微細構造を用いてもよい。その場合、粘膜微細構造の検出の際の閾値やフィルタ係数等を対象とする粘膜微細構造に応じて適宜変更すればよい。
　閾値やフィルタの係数等の数値は本明細書に記したものに限るものではなく、値の変更を加えてもよい。
　その他、発明の趣旨を変えない範囲で、種々の変更を行ってもよい。
　以上に述べたように、本発明の医療用画像処理装置及び医療用画像処理装置を用いた医療用画像処理方法によれば、医療用画像に撮像された粘膜微細構造から単位領域として分割、抽出する領域を設定することができ、その結果、ユーザの観察及び診断の支援をすることができる。
（第３の実施形態）
　本発明の第３の実施形態は、医用画像である内視鏡画像として撮像された粘膜微細構造から単位領域を設定し、設定された単位領域から、単位領域を単位として１つ以上含む領域の粘膜の状態を判別する医療用画像処理装置を説明する。図２８から図４３Ｄは、本発明の第３の実施形態に係る。
　図２８に示すように、内視鏡装置５０１は、被験者の体腔内に挿入され、該体腔内の生体組織６０１等の被写体を撮像して得た画像を信号出力する内視鏡５０２と、生体組織６０１を照明するための照明光を発する光源装置５０３と、内視鏡５０２からの出力信号に対して種々の処理を施す医療用画像処理装置を構成するプロセッサ５０４と、プロセッサ５０４からの映像信号に応じた画像を表示する表示装置５０５と、プロセッサ５０４における処理結果に応じた出力信号を記憶する外部記憶装置５０６と、を有して構成されている。
　内視鏡５０２は、被験者の体腔内に挿入可能な細長な形状及び寸法を備えた挿入部５２１ａと、挿入部５２１ａの先端側に設けられた先端部５２１ｂと、挿入部５２１ａの基端側に設けられた操作部５２１ｃと、を有して構成されている。また、挿入部５２１ａの内部には、光源装置５０３において発せられた照明光を先端部５２１ｂへ伝送するためのライトガイド５０７が挿通されている。
　ライトガイド５０７の一方の端面（光入射端面）は、光源装置５０３に着脱自在に接続される。また、ライトガイド５０７の他方の端面（光出射端面）は、内視鏡５０２の先端部５２１ｂに設けられた図示しない照明光学系の近傍に配置されている。このような構成によれば、光源装置５０３において発せられた照明光は、光源装置５０３に接続されたライトガイド５０７、及び先端部５２１ｂに設けられた図示しない照明光学系を経た後、体腔内の生体組織６０１に出射される。
　内視鏡５０２の先端部５２１ｂには、被写体の光学像を結像する対物光学系５２２と、対物光学系５２２の結像位置に配置され、光学像を撮像して画像として取得する撮像部を構成する電荷結合素子（ＣＣＤと略記）５２３と、が設けられている。また、内視鏡５０２の操作部５２１ｃには、観察モードを通常光観察モードまたは狭帯域光観察モードのいずれかに切り替えるための指示を行うことが可能な観察モード切替スイッチ５２４が設けられている。
　光源装置５０３は、キセノンランプ等からなる白色光源５３１と、白色光源５３１から発せられる白色光を面順次な照明光とする回転フィルタ５３２と、回転フィルタ５３２を回転駆動するモータ５３３と、回転フィルタ５３２及びモータ５３３を白色光源５３１の出射光路に垂直な方向（図１において符号Ｂ）に移動させるモータ５３４と、プロセッサ５０４の制御部５４２の制御に基づいてモータ５３３及び３４を駆動させる回転フィルタ駆動部５３５と、回転フィルタ５３２を通過した照明光を集光してライトガイド５０７の入射端面に供給する集光光学系５３６と、を有している。
　回転フィルタ５３２は、図２９に示すように、中心を回転軸とした円盤形状であり、内周側の周方向に沿って設けられた複数のフィルタを具備する第１のフィルタ群５３２Ａと、外周側の周方向に沿って設けられた複数のフィルタを具備する第２のフィルタ群５３２Ｂと、を有している。そして、モータ５３３の駆動力が前記回転軸に伝達されることにより、回転フィルタ５３２が回転する。なお、回転フィルタ５３２において、第１のフィルタ群５３２Ａ及び第２のフィルタ群５３２Ｂの各フィルタが配置されている部分以外は、遮光部材により構成されている。
　第１のフィルタ群５３２Ａは、各々が回転フィルタ５３２の内周側の周方向に沿って設けられた、赤色の波長帯域の光を通過させるＲフィルタ５３２ｒと、緑色の波長帯域の光を通過させるＧフィルタ５３２ｇと、青色の波長帯域の光を通過させるＢフィルタ５３２ｂと、を有して構成されている。
　Ｒフィルタ５３２ｒは、例えば図３０に示すように、主に６００ｎｍから７００ｎｍまでの光（Ｒ光）を透過させるような構成を有している。また、Ｇフィルタ５３２ｇは、例えば図３０に示すように、主に５００ｎｍから６００ｎｍまでの光（Ｇ光）を透過させるような構成を有している。さらに、Ｂフィルタ５３２ｂは、例えば図３０に示すように、主に４００ｎｍから５００ｎｍまでの光（Ｂ光）を透過させるような構成を有している。なお、図３０においては、Ｒフィルタ５３２ｒ、Ｇフィルタ５３２ｇ、Ｂフィルタ５３２ｂを単にＲ，Ｇ，Ｂで示している。
　そして、白色光源５３１において発せられた白色光は、第１のフィルタ群５３２Ａを経ることにより、通常光観察モード用の広帯域光が生成される。
　第２のフィルタ群５３２Ｂは、各々が回転フィルタ５３２の外周側の周方向に沿って設けられた、青色かつ狭帯域な光を透過させるＢｎフィルタ８２１ｂと、緑色かつ狭帯域な光を透過させるＧｎフィルタ８２１ｇと、を有して構成されている。
　Ｂｎフィルタ８２１ｂは、例えば図３１に示すように、中心波長が４１５ｎｍ付近に設定され、かつ、Ｂ光に比べて狭い帯域の光（Ｂｎ光）を透過させるように構成されている。
　また、Ｇｎフィルタ８２１ｇは、例えば図３１に示すように、中心波長が５４０ｎｍ付近に設定され、かつ、Ｇ光に比べて狭い帯域の光（Ｇｎ光）を透過させるように構成されている。なお、図３１においては、Ｂｎフィルタ８２１ｂ、Ｇｎフィルタ８２１ｇを単にＢｎ，Ｇｎで示している。
　そして、白色光源５３１において発せられた白色光は、第２のフィルタ群５３２Ｂを経ることにより、離散化された狭帯域光観察モード用の複数の帯域の狭帯域光が生成される。
　プロセッサ５０４は、本実施形態の医療用画像処理装置としての機能を備えた構成を有する。具体的には、図１に示すようにプロセッサ５０４は、画像処理部５４１と、制御部５４２と、を有して構成されている。また、画像処理部５４１は、画像データ生成部５４１ａと、演算部５４１ｂと、映像信号生成部５４１ｃと、を有して構成されている。
　画像処理部５４１の画像データ生成部５４１ａは、制御部５４２の制御に基づき、内視鏡５０２からの出力信号に対してノイズ除去及びＡ／Ｄ変換等の処理を施すことにより、ＣＣＤ５２３において得られた画像に対応した画像データを生成する。
　画像処理部５４１の演算部５４１ｂは、画像データ生成部５４１ａにより生成された画像データを用いて所定の処理を行うことにより、生体組織６０１を撮像して得た画像データの中から生体の粘膜微細構造を抽出し、前記粘膜微細構造から所定の条件に基づく単位領域を設定する演算を行い、さらに注目する単位領域としての注目単位領域を含む判別対象領域を設定した後、特徴量の算出に基づいて、判別対象領域の粘膜の状態を判別する処理を行う。
　なお、本実施形態においては、前記画像データに生体の粘膜微細構造が含まれているものとし、前記粘膜微細構造について生体組織学的に一単位となる領域又は範囲を単位領域として設定する処理としての単位領域設定処理を行う。このような単位領域設定処理の詳細については、後述する。
　画像処理部５４１の映像信号生成部５４１ｃは、画像データ生成部５４１ａにより生成された画像データに対してガンマ変換及びＤ／Ａ変換等の処理を施すことにより、映像信号を生成して表示装置５０５等に出力する。
　制御部５４２は、観察モード切替スイッチ５２４の指示に基づき、通常光観察モードに切り替える指示が行われたことを検出した場合、通常光観察モード用の広帯域光を光源装置５０３から出射させるための制御を回転フィルタ駆動部５３５に対して行う。そして、回転フィルタ駆動部５３５は、制御部５４２の制御に基づき、白色光源５３１の出射光路上に第１のフィルタ群５３２Ａを介挿させ、かつ、白色光源５３１の出射光路上から第２のフィルタ群５３２Ｂを退避させるように、モータ５３４を動作させる。
　また、制御部５４２は、観察モード切替スイッチ５２４の指示に基づき、狭帯域光観察モードに切り替える指示が行われたことが検出した場合、狭帯域光観察モード用の複数の帯域の狭帯域光を光源装置５０３から出射させるための制御を回転フィルタ駆動部５３５に対して行う。
　そして、回転フィルタ駆動部５３５は、制御部５４２の制御に基づき、白色光源５３１の出射光路上に第２のフィルタ群５３２Ｂを介挿させ、かつ、白色光源５３１の出射光路上から第１のフィルタ群５３２Ａを退避させるように、モータ５３４を動作させる。
　すなわち、以上に述べた内視鏡装置５０１の構成によれば、通常光観察モードが選択された場合には、生体組織６０１等の観察対象物を肉眼で見た場合と略同様の色合いを有する画像（通常光画像）を表示装置５０５に表示させ、さらに、外部記憶装置５０６に記憶させることができる。また、以上に述べた内視鏡装置５０１の構成によれば、狭帯域光観察モードが選択された場合には、生体組織６０１に含まれる表層付近の血管が強調された画像（狭帯域光画像）を表示装置５０５に表示させ、さらに、外部記憶装置５０６に記憶させることができる。
　図３２に示すように医療用画像処理装置を構成する演算部５４１ｂは、画像データ生成部５４１ａから、ＣＣＤ５２３により生体粘膜を撮像して得られる医用画像情報としての生体粘膜画像（の画像データ）が入力される画像入力部（単に入力部と略記）５４３ａと、入力部５４３ａに入力された前記生体粘膜画像に対する前処理を行う前処理部５４３ｃと、前処理された粘膜微細構造に対応する粘膜微細構造領域を抽出する領域抽出部５４３ｃと、前記粘膜微細構造領域によって包囲されるとみなされる少なくとも１つの閉領域（又は包囲領域）を識別する閉領域識別部（又は概略閉領域識別部）５４３ｄと、を有する。
　この演算部５４１ｂは、更に前記領域抽出部５４３ｃにより抽出された前記粘膜微細構造領域及び前記閉領域識別部５４３ｄにより識別された前記閉領域に基づき単位領域を１つ以上設定する単位領域設定部５４３ｅと、該単位領域設定部５４３ｅによって設定された前記単位領域から第１の特徴量等を含む特徴量を算出する特徴量算出部５４３ｆと、を有する。
　この演算部５４１ｂは、更に前記特徴量算出部５４３ｆによって算出された特徴量（具体的には第２の特徴量）に基づいて複数の単位領域から判別対象領域を設定する判別対象領域設定部５４３ｇと、前記特徴量算出部５４３ｆにより算出された第１の特徴量に基づいて、前記判別対象領域の粘膜の状態を判別する判別部５４３ｈと、前記該単位領域設定部５４３ｅによって単位領域が複数設定された場合、複数の単位領域から、所定の条件に該当し、術者等のユーザが注目する１つの単位領域としての注目単位領域を設定する注目単位領域設定部５４３ｉと、を有する。なお、注目単位領域設定部５４３ｉを演算部５４１ｂの内部に設ける場合に限定されるものでなく、その外部に設けるようにしても良い。
　上記特徴量算出部５４３ｆは、判別部５４３ｈが、判別対象領域を有する粘膜の状態を判別するために用いられる特徴量としての第１の特徴量を算出する第１の特徴量算出部５４４ａと、判別対象領域を設定するために用いられる特徴量としての第２の特徴量を算出する第２の特徴量算出部５４４ｂと、注目単位領域の周囲の単位領域に対して注目単位領域との関連性に関する第３の特徴量を算出する第３の特徴量算出部５４４ｃと、を有する。
　なお、演算部５４１ｂが入力部５４３ａを備えた構成に限らず、演算部５４１ｂを除く画像処理部５４１（例えば画像データ生成部５４１ａ）が入力部５４３ａを備えた構成にしても良い。
　このように本実施形態の医療用画像処理装置としてのプロセッサ５０４は、上記入力部５４３ａ、領域抽出部５４３ｃ、閉領域識別部５４３ｄ、単位領域設定部５４３ｅ、特徴量算出部５４３ｆ（の第１の特徴量算出部５４４ａ）及び判別部５４３ｈとを備えた演算部５４１ｂを有することを特徴とし、特徴となる構成要素以外の構成要素に関しては必要に応じて設けるようにしても良い。なお、前処理を行うことなく、領域抽出部５４３ｃは、入力部５４３ａに入力された前記生体粘膜画像から粘膜微細構造に対応する粘膜微細構造領域を抽出する構成にしても良い。
　また、図３２に示す単位領域設定部５４３ｅは、粘膜微細構造領域又は閉領域から単位領域の範囲設定に用いられる特徴量としての帯（ベルト）形状の粘膜微細構造領域の幅を算出する特徴量算出部としての幅算出部５４５ａと、前記幅の特徴量に基づいて前記単位領域の範囲を設定する範囲設定部５４５ｂと、を備える。
　単位領域設定部５４３ｅにより複数の単位領域が設定される場合、判別対象領域設定部５４３ｇは、第２の特徴量に基づき、前記複数の単位領域から判別対象領域を設定し、第１の特徴量算出部５４４ａは、判別対象領域設定部５４３ｇにおいて設定された判別対象領域において第１の特徴量の算出を行う。
　上記判別対象領域設定部５４３ｇは、第２の特徴量に基づき判別対象領域を設定する際に用いられる閾値を設定する閾値設定部５４６ａを有し、閾値設定部５４６ａにより設定された閾値と第３の特徴量に基づき、注目単位領域及びその周囲の複数の単位領域から判別対象領域を設定するようにしても良い。また、上記閾値設定部５４６ａに、図３２において点線で示すように閾値選択部５４６ｂを設け、閾値選択部５４６ｂにより、複数種類の閾値としての距離の閾値、面積の閾値、次数の閾値から実際に用いる１つの閾値を選択し、選択した閾値を用いて判別対象領域を設定するようにしても良い。
　また、判別部５４３ｈは、第１の特徴量算出部５４４ａにより算出された第１の特徴量に基づいて粘膜の状態を判別するために用いる判別用閾値を設定する判別用閾値設定部５４７ａを有する。
　なお、演算部５４１ｂを構成する入力部５４３ａは演算部５４１ｂへの画像データの入力端で構成しても良い。また、領域抽出部５４３ｃ、閉領域識別部５４３ｄ、単位領域設定部５４３ｅ、特徴量算出部５４３ｆ、判別対象領域設定部５４３ｇ、判別部５４３ｈ、注目単位領域設定部５４３ｉ等を、演算部５４１ｂ内に設けた構成を示しているが、本実施形態はこのような場合に限定されるものでないし、それぞれの処理を行う専用のハードウェアを用いて構成しても良い。
　次に、医療用画像処理装置としてのプロセッサ５０４を備えた内視鏡装置５０１の作用について説明する。
　まず、術者は、内視鏡装置５０１の各部の電源を投入した後、観察モード切替スイッチ５２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５０５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡５０２を体腔内に挿入してゆくことにより、観察対象の生体組織６０１が存在する部位に先端部５２１ｂを近接させる。
　観察モード切替スイッチ５２４により通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置５０３から生体組織６０１へ順次出射され、内視鏡５０２において該各色の光に応じた画像がそれぞれ取得される。
　画像処理部５４１の画像データ生成部５４１ａは、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が入力されると、各画像に対応する色成分の画像データをそれぞれ生成する。
　次に、画像処理部５４１の演算部５４１ｂに含まれる、単位領域を設定する単位領域設定処理を行う動作の詳細について説明を行う。図３３ＡにおけるステップＳ５０１からＳ５０５までは単位領域設定処理を行うための主要な処理を示す。
　以下、本実施形態では、生体組織６０１上における上皮模様（上皮構造）を形成する胃の幽門腺を狭帯域光観察モードで撮像した画像データの例において、この画像データに含まれる粘膜微細構造を腺窩辺縁上皮（Ｍａｒｇｉｎａｌ　Ｃｒｙｐｔ　Ｅｐｉｔｈｅｌｉｕｍ：ＭＣＥ）とした場合に対して、単位領域設定処理を説明する。
　図３４は胃の幽門腺を狭帯域光観察モードで撮像した画像を模式的に示す。狭帯域光観察モードで撮像することにより、広帯域光観察モードの場合よりも表層付近における構造等をより鮮明に表示させるメリットを有する。また、図３４の一部又は図３４の一部に類似した画像の一部を局所的に切り出した画像を図３５に示す。図３４～図３５においては、複数の帯形状のＭＣＥ５５１が重なって存在し、ＭＣＥ５５１に囲まれた内側の（通常は閉領域となる）領域に窩間部５５２が存在する。また、窩間部５５２の中に血管５５３が走行している。
　さらに、内視鏡５０２によって撮像される画像データは、距離や角度等の撮像条件や粘膜自体の状態に依存するため、１つのＭＣＥ５５１の境界が明瞭な場合もあれば、隣接するＭＣＥ５５１の境界が不明瞭な場合もある。図３５において、例えば符号Ｂ１で示すＭＣＥ５５１の境界は、明瞭であるが、符号Ｂ２で示すＭＣＥ５５１の境界は、不明瞭となっている。
　図３３ＡのステップＳ５０１に示すように、画像データ生成部５４１ａで生成された画像データは入力部５４３ａから演算部５４１ｂ内の前処理部５４３ｃ内に入力される。なお、本実施形態及び他の実施形態における画像データは、大きさ（横×縦の画素数）がＩＳＸ×ＩＳＹ、ＲＧＢの３（色成分）画像から構成され、Ｒ、Ｇ及びＢの各画像はそれぞれ０から２５５の値からなる８ビットの階調を備えるものとする。例えば、ＩＳＸ×ＩＳＹ＝６４０×４８０である。
　次のステップＳ５０２において、前処理部５４３ｃは入力された画像データに対して、ノイズ抑制、逆ガンマ補正等の前処理を行う。本実施形態においては、ノイズ抑制として公知のメディアンフィルタリング（注目画素を含むマスク内の画素値を大きさで並べ替え、中央値で注目画素の値を置き換える）を大きさ３×３のマスクサイズで適用する。
　なお、ガンマ補正は、画像をモニタ等に表示する際に視覚的に線形な階調を与えるために適用された非線形処理であり、逆ガンマ補正はこれを元の線形階調に戻すものである。このため、前処理部５４３ｃに入力される画像データにガンマ補正が施されていない場合には、逆ガンマ補正は不要となる。
　前処理を行った画像データは領域抽出部５４３ｃに出力される。ステップＳ５０３に示すように領域抽出部５４３ｃは、粘膜微細構造に対応する粘膜微細構造領域として帯形状のＭＣＥ領域ＭＢｉ（ｉ≧１）の抽出を行う。
　ＭＣＥ領域ＭＢｉの抽出方法は、例えば日本国特許第４４０９１６６号公報に記載のテンプレート・マッチングによる構造成分抽出手法を用いる。図３３Ｂはテンプレート・マッチングに用いる半楕円形状を示す。
　なお、テンプレートの作成に用いる半楕円形状の幅Ｔは、Ｔ＝３～９（１．０刻み）とし、深さＨをＭＣＥ領域ＭＢｉの深さに対応した値に設定しても良い。その他のパラメータは、日本国特許第４４０９１６６号公報の実施例に記載の値をそのまま用いればよい。
　また、日本国特許第４４０９１６６号公報の実施例と同様に、ＲＧＢの３画像のうちＧ画像を対象として処理を実施すればよい。このような抽出方法を図３４又は図３５の画像データに適用して、例えば図３６のようにＭＣＥ領域ＭＢ１を抽出する。抽出したＭＣＥ領域ＭＢ１は閉領域識別部５４３ｄに出力される。なお、図３６において抽出されたＭＣＥ領域ＭＢ１を斜線で示す。
　図３３Ａにおける次のステップＳ５０４において閉領域識別部５４３ｄは、粘膜微細構造領域として検出されたＭＣＥ領域ＭＢｉに概略包囲された（換言すると、ＭＣＥ領域ＭＢｉによって包囲される閉領域ないしは包囲されるとみなされる概略の閉領域としての）概略閉領域ＣＢｊ（ｊ≧１）を検出または識別する処理を行う。
　なお、第３の実施形態においては、概略閉領域ＣＢｊは、包囲された閉領域となるが、上記のように包囲されるとみなされる概略の閉領域の場合に適用しても良い。
　ステップＳ５０４の処理を行うために、ＭＣＥ領域ＭＢｉとして検出された領域以外の画素の領域について、公知のラベリングを実施する。図３６のＭＣＥ領域ＭＢ１の検出結果について適用した場合、ＭＣＥ領域ＭＢ１は図３７のように８つのラベルＬ１１～Ｌ１８に分割される。なお、図３７においてＭＣＥ領域ＭＢ１を斜線で示す。
　各ラベルＬ１１～Ｌ１８のうち、ラベル内の画素に画像データの最外周画素（Ｘ座標が０もしくは６３９の画素、およびＹ座標が０もしくは４７９の画素）を含むラベルＬ１８以外を概略閉領域ＣＢｊとする。図３７に適用した場合の例では、ラベルＬ１８を除くラベルＬ１１～Ｌ１７がそれぞれ概略閉領域ＣＢ１～ＣＢ７となる。図３７ではＣＢ１～ＣＢ７全てを符号で明示していないが、例えば図４０ではラベルＬ１２，Ｌ１３の閉領域をＣＢ２，ＣＢ３として示し、図３８においてはラベルＬ１３，Ｌ１４の閉領域をＣＢ３，ＣＢ４として明示している。閉領域識別部５４３ｄにより検出又は識別された概略閉領域ＣＢ１～ＣＢ７の情報は、単位領域設定部５４３ｅに出力される。
　次のステップＳ５０５において単位領域設定部５４３ｅの範囲設定部５４５ｂは、概略閉領域ＣＢｊを元にＭＣＥ領域ＭＢｉの特徴量としての幅を算出して、単位領域ＵＢｊの範囲を設定する処理を行う。
　単位領域設定部５４３ｅの幅算出部５４５ａは、まず、１つの概略閉領域ＣＢｊと隣接するＭＣＥ領域ＭＢｉの特徴量としての幅Ｔｋ（ｋ≧１）を算出する。幅算出部５４５ａは、例えば、概略閉領域ＣＢｊと隣接するＭＣＥ領域ＭＢｉとの（例えば概略閉領域ＣＢｊ側の）境界画素ＢＱｋから、ＭＣＥ領域ＭＢｉに隣接するこの概略閉領域ＣＢｊとは逆の方向に画素を走査し、ＭＣＥ領域ＭＢｉの画素数をカウントすることで、該境界画素ＢＱｋにおける幅Ｔｋを算出する。
　図３８は、（ｊ＝３の場合の）概略閉領域ＣＢ３を対象とした場合における例えば３つの代表的な方向での幅Ｔ１，Ｔ２，Ｔ３を算出する例と、境界画素ＢＱ２に着目して１つの方向での幅Ｔ２を算出する場合の拡大図を示す。なお、図３８においてＭＣＥ領域ＭＢ１を斜線で示す。
　図３８においては、概略閉領域ＣＢ３の外周に３つの境界画素ＢＱ１，ＢＱ２，ＢＱ３を設定した場合において、各境界画素ＢＱ１，ＢＱ２，ＢＱ３それぞれから概略閉領域ＣＢ３と隣接するＭＣＥ領域ＭＢ１の幅Ｔ１，Ｔ２，Ｔ３を算出する様子を示す。以下１つの境界画素ＢＱ２の場合に対して、この境界画素ＢＱ２を含む一部の拡大図を参照して幅Ｔ２を算出する説明を行う。
　図３８の拡大図のように、境界画素ＢＱ２に隣接する概略閉領域ＣＢ３は左下方向（図３８でＡで示す方向）に位置するため、境界画素ＢＱ２からこの左下方向の逆向きの方向となる右上方向に画素を走査する。右上方向（図３８では概略閉領域ＣＢ４側）に走査しながらＭＣＥ領域ＭＢ１の画素数をカウントすると８ｐｉｘｅｌｓとなり、これが幅Ｔ２の値となる。
　なお、境界画素ＢＱｋに隣接する概略閉領域ＣＢｊが複数画素ある場合、それぞれの方向に走査して画素数をカウントし、最も画素数が少ないものを幅Ｔｋの値とする。図３８では概略閉領域ＣＢ３における離散的に示した境界画素ＢＱ１、ＢＱ２，ＢＱ３の３画素のみ例示したが、この幅Ｔｋの算出を全境界画素ＢＱｋにおいて実施する。
　次に、全境界画素ＢＱｋで算出した幅Ｔｋの平均値を、概略閉領域ＣＢｊと隣接するＭＣＥ領域ＭＢｉの領域サイズＢＳｊとする。そして、幅算出部５４５ａによる幅の算出に基づいて、範囲設定部５４５ｂは、概略閉領域ＣＢｊと、概略閉領域ＣＢｊから領域サイズＢＳｊの範囲に位置するＭＣＥ領域ＭＢｉを合わせた領域を単位領域ＵＢｊの範囲として設定又は決定する。
　図３９は、図３８で説明した概略閉領域ＣＢ３を対象とした場合に設定される単位領域ＵＢ３の例と、概略閉領域ＣＢ３に隣接するＭＣＥ領域ＭＢ１の領域サイズＢＳ３を示す。なお、図３９において設定された単位領域ＵＢ３を斜線で示す。図３９では単位領域ＵＢ３は、概略閉領域ＣＢ３と、この概略閉領域ＣＢ３を囲むように該概略閉領域ＣＢ３の外周境界から上記の幅の平均値で決定される領域サイズＢＳ３の範囲に位置する帯形状のＭＣＥ領域ＭＢ１を合わせた領域となる。
　上記の説明においては（ｊ＝３の）概略閉領域ＣＢｊを対象として、概略閉領域ＣＢｊから該概略閉領域ＣＢｊを包囲する帯形状のＭＣＥ領域ＭＢｉの特徴量としての幅Ｔｋを算出して単位領域ＵＢｊの範囲を設定する処理ないしは方法を例示したが、実際には全ての概略閉領域ＣＢｊについて実施する。
　その際、図４０に示すように、ある単位領域ＵＢ３の範囲が他の単位領域ＵＢ２の範囲と重複することを許容する。
　図４０によれば、図３９において説明した概略閉領域ＣＢ３から設定した単位領域ＵＢ３が斜線で示されている。また、図４０によれば、概略閉領域ＣＢ３の場合と同様の処理により、概略閉領域ＣＢ２から設定した単位領域ＵＢ２が斜線で示されている。
　そして、図４０によれば、単位領域ＵＢ２と単位領域ＵＢ３とがクロスハッチングで示す領域が重複することになるが、単位領域を設定する場合、このようにある単位領域の一部が他の単位領域の一部（具体的には帯形状のＭＣＥ領域）と重複することを許容する。換言すると、単位領域設定部５４３ｅは、単位領域の設定を複数の閉領域を囲むようにＭＣＥ領域を設定して行う場合、前記複数の閉領域各々に対して独立して前記単位領域の設定を行い、その結果、図４０に示すように単位領域の一部のＭＣＥ領域が互いに重複することを許容する。
　以上により、画像データから生体組織学的に一単位となる領域を単位領域ＵＢｊとして設定することができる。換言すると、画像データから血管５５３を含む窩間部５５２のような１つの閉領域ないしは閉領域と見なされる概略閉領域ＣＢｊと、該概略閉領域ＣＢｊを囲む帯形状の閉ループ形状となる１つのＭＣＥ領域ＭＢｉを単位領域ＵＢｊとして設定することができる。なお、生体組織を撮像した画像における処理対象の領域に対して単位領域の設定処理を適用することにより、処理対象（又はその一部）の領域を単位領域を単位とした単位領域群（又は単位領域集合領域）として識別できるようになる。このため、上述した単位領域設定部５４３ｅを、処理対象の領域に対して単位領域を単位とした単位領域の集まりとして識別する単位領域識別部と見なすこともできる。
　このようにして図３３ＡにおけるステップＳ５０５の単位領域ＵＢｊの設定の処理が終了すると、以下に説明するように単位領域ＵＢｊの特徴量を算出することにより、単位領域ＵＢｊを含む判別対象領域Ａｄを設定して、設定した判別対象領域Ａｄを有する粘膜の状態を判別する処理を行うことが可能になる。
　このため、ステップＳ５０５の後のステップＳ５０６において注目単位領域設定部５４３ｉは、画像の中心に最も近い距離に存在する１つの単位領域を注目単位領域ＵＢｉｎを設定する。図４１Ａは、この条件Ｃ１（つまり、画像の中心に最も近い距離に存在する１つの単位領域）に該当して設定された注目単位領域ＵＢｉｎの一例を示す。
図４１Ａに示す例では、図４０に示した単位領域ＵＢ３が注目単位領域ＵＢｉｎとして設定された場合を示す。　
　図３３Ａに示すように次のステップＳ５０７において第２の特徴量算出部５４４ｂは、注目単位領域ＵＢｉｎの領域サイズの大きさ又は領域の形状に関する第２の特徴量として、この注目単位領域ＵＢｉｎの外形（輪郭）の幅の最大値を算出する。第２の特徴量算出部５４４ｂは、算出した幅の最大値を判別対象領域設定部５４３ｇに出力する。なお、第２の特徴量算出部５４４ｂが算出する特徴量は、注目単位領域ＵＢｉｎの幅の最大値に限定されるものでなく、幅の平均値でも良いし、後述するように面積を算出するようにしても良い。また、面積でなく、注目単位領域ＵＢｉｎの周囲長を算出しても良い。
　次のステップＳ５０８において判別対象領域設定部５４３ｇは、閾値設定部５４６ａにより設定された距離の閾値として、算出された幅の最大値Ｔｍａｘの例えば３倍を直径とする円形領域Ａｃを設定し、この円形領域Ａｃの内側を判別対象領域Ａｄとして設定する。つまり、閾値設定部５４６ａは、第２の特徴量としての幅の最大値から距離の閾値を設定する。
　図４１Ｂにおいて、ステップＳ５０８により設定された円形領域Ａｃの内側（つまり、距離の閾値以下）を判別対象領域Ａｄに設定した設定例を示す（図４１ＢではＡｃ＝Ａｄで略記しているが、Ａｃの内側がＡｄである）。図４１Ｂに示す例では、注目単位領域ＵＢｉｎ（の重心位置）を中心として、算出された幅の最大値Ｔｍａｘの１／２の３倍を半径とした円形領域Ａｃを判別対象領域Ａｄに設定している。そして、円形領域Ａｃの内側に含まれる単位領域が判別対象領域Ａｄの単位領域群として設定されている。図４１Ｂにおいては、図４１Ａで示した領域の外側における判別対象領域Ａｄに含まれる領域も図示している。
　なお、円形領域Ａｃの内側を判別対象領域Ａｄにする場合に限定されるものでなく、例えば円形領域Ａｃ内に少なくとも一部が含まれる単位領域を判別対象領域Ａｄの単位領域として設定したり、円形領域Ａｃ内に少なくとも半分以上の領域が含まれる単位領域を判別対象領域Ａｄの単位領域に設定しても良い。また、円形領域Ａｃ内に殆ど全体が含まれる単位領域を判別対象領域Ａｄの単位領域に設定しても良い。
　判別対象領域設定部５４３ｇは、判別対象領域Ａｄを設定（決定）後、その設定（決定）の情報を特徴量算出部５４３ｆの第１の特徴量算出部５４４ａに出力する。　
　図３３ＡにおけるステップＳ５０９に示すように第１の特徴量算出部５４４ａは、判別対象領域Ａｄの第１の特徴量として、例えば判別対象領域Ａｄに含まれる各単位領域の円形度を算出し、それらの平均の円形度を算出する。
　図４２は、図３３ＡにおけるステップＳ５０９の第１の特徴量算出として円形度算出の処理と、円形度算出の処理結果に基づくステップＳ５１０の粘膜状態判別の処理の詳細を示す。なお、図４２においては、第１の特徴量の統計量として、平均の円形度を算出し、ステップＳ５１０は、平均の円形度の算出結果により粘膜状態の判別を行うが、平均の円形度に限定されるものでない。
　図４２に示す処理が開始すると、ステップＳ５２１に示すように第１の特徴量算出部５４４ａ（を構成する円形度算出部）は、判別対象領域Ａｄに含まれる単位領域を注目単位領域ＵＢｉｎから番号パラメータＪで番号付け（ラベル付け）し、さらに判別対象領域Ａｄに含まれる単位領域の総数Ｎを設定する。
　次のステップＳ５２２において円形度算出部は、パラメータＪ＝１の単位領域の輪郭追跡により、（単位領域の）輪郭の周囲長Ｌ（Ｊ）を算出すると共に、輪郭内の面積Ｓ（Ｊ）を算出する。
　次のステップＳ５２３において円形度算出部は、パラメータＪの単位領域の円形度Ｃ（Ｊ）を算出する。円形度Ｃ（Ｊ）は、例えばＣ（Ｊ）＝４πＳ（Ｊ）／Ｌ（Ｊ）２により表される。次のステップＳ５２４において円形度算出部は、パラメータＪが総数Ｎに等しいか否かの判定を行い、総数Ｎに等しくない場合には、ステップＳ５２５においてＪを１つ増大させた後、ステップＳ５２２の処理に戻る。
　このようにして、判別対象領域Ａｄに含まれる全ての単位領域に対する円形度の算出が終了すると、ステップＳ５２６において円形度算出部は、第１の特徴量の統計量として、平均の円形度Ｃａｖを算出する。
　平均の円形度Ｃａｖは、パラメータＪが１からＮまでの円形度Ｃを加算し、総数Ｎで除算して算出される、平均の円形度Ｃａｖを算出することにより、図３３ＡのステップＳ５０９の処理は終了し、ステップＳ５１０に相当する処理に移る。
　ステップＳ５２７において判別部５４３ｈは、平均の円形度Ｃａｖと判別用閾値設定部５４７ａにより設定される判別用閾値とを比較して、平均の円形度Ｃａｖが判別用閾値以上か否かにより、判別対象領域Ａｄの粘膜状態を判別する。判別用閾値設定部５４７ａは、第１の特徴量として平均の円形度を用いた場合には、判別用閾値を例えば０．６程度に設定する。ステップＳ５２７の判定処理において、平均の円形度Ｃａｖが判別用閾値以上の判定結果の場合には、ステップＳ５２８において判別部５４３ｈは、粘膜が規則的構造を有する（状態である）と判別する。
　これに対して、平均の円形度Ｃａｖが判別用閾値未満の判定結果の場合には、ステップＳ５２９において判別部５４３ｈは、粘膜が不規則的構造を有する（状態である）と判別する。粘膜が不規則的構造を有すると判別された場合には、正常な粘膜が、構造の破壊によりその形状が異常な状態になっている可能性が高いと考えられる。
　これに対して、平均の円形度Ｃａｖが判別用閾値以上の場合には、正常な粘膜の構造からその形状が変化していない状態である可能性が高いと考えられる。
　ステップＳ５２８，Ｓ５２９の後、ステップＳ３０において判別部５４３ｈは判別結果を演算部５４１ｂの外部の映像信号生成部５４１ｃに出力し、表示装置５０５に判別結果を表示して、図４２又は図３３Ａの処理を終了する。
　術者は、判別部５４３ｈにより判別された粘膜の状態から、判別対象領域の粘膜が病変部である可能性が高いか否かの情報を得ることができ、判別部５４３ｈによる判別結果を参考にすることにより、効率良く診断を行うことができる。
　従って、本実施形態によれば、単位領域を単位としたサイズで判別対象領域を適切に設定し、判別対象領域の生体粘膜の状態を判別することができる。
　なお、上述においては、判別対象領域設定部５４３ｇは、注目単位領域ＵＢｉｎの第２の特徴量として算出された注目単位領域ＵＢｉｎの外形（輪郭）の幅の最大値の所定倍（具体例では１．５倍）を半径とした円形領域Ａｃを判別対象領域Ａｄとして設定する場合を説明した。このように円形領域Ａｃを判別対象領域Ａｄとして設定する場合に限定されるものでなく、例えば図４１Ｂにおいて点線で示すように矩形領域Ａｒを判別対象領域Ａｄとして設定しても良い。なお、図４１Ｂに示す矩形領域Ａｒは、注目単位領域ＵＢｉｎの外形（輪郭）の幅の最大値の３倍を１辺の長さとした場合で示しているが、このサイズに限定されるものでない。
　図４１Ｂで示した例のように単位領域設定部５４３ｅが、第２の特徴量に基づき注目単位領域ＵＢｉｎを中心とする円形領域Ａｃ又は矩形領域Ａｒを設定する（図３２において点線で示す）円形／矩形領域設定部５４５ｃを有し、円形／矩形領域設定部５４５ｃにおいて設定された円形領域Ａｃ又は矩形領域Ａｒに含まれる単位領域（群）を判別対象領域Ａｄとして設定するようにしても良い。
　上述した判別対象領域Ａｄの設定方法は、図４１Ｂに示すように単位領域が連結した画像の場合に適用できる他に、図４３Ａに示すように単位領域群が例えば上側の領域Ａ１と下側の領域Ａ２とに分離した構造の画像の場合にも適用できる。この場合には、図４３Ｂに示すように、例えば画像の中心に最も近い距離に存在する単位領域を注目単位領域ＵＢｉｎに設定し、図４３Ｃに示すように注目単位領域ＵＢｉｎをほぼ中心にして例えば矩形領域Ａｒを設定し、図４３Ｄに示すようにこの矩形領域Ａｒを判別対象領域Ａｄ′に設定することができる。そして、図４３Ｄに示す判別対象領域Ａｄ′内に含まれる単位領域に基づいて上述した第１の特徴量に基づいて判別対象領域Ａｄ′の粘膜状態を判別することができる。
　尤も、図４１Ｂに示す画像の場合においては各単位領域が隣り合う単位領域と共通の粘膜微細構造としてのＭＣＥにより連結ないしは隣接している構造になっているのに対して、図４３Ａの画像の場合においては粘膜微細構造としての帯形状のＭＣＥが連結又は隣接していないで２つの領域Ａ１，Ａ２に分離している構造になっている。
　図４３Ａのように２つの領域Ａ１，Ａ２に分離しているような場合には、注目単位領域ＵＢｉｎとは分離している領域Ａ１側を除外して判別対象領域を設定した方がより適切に粘膜状態を判別することができると考えられる。
　このため、注目単位領域ＵＢｉｎとの関係性をより重視した第３の特徴量として注目単位領域ＵＢｉｎに隣接する次数に基づいて判別対象領域を設定するようにしても良い。この場合、次数を以下のように定義しても良い。
　注目単位領域ＵＢｉｎを０次の単位領域として設定し、注目単位領域ＵＢｉｎの周囲に存在する複数の単位領域において、前記０次の単位領域に隣接する単位領域を１次の単位領域、該１次の単位領域に隣接し、前記０次の単位領域に隣接しない単位領域を２次の単位領域、該２次の単位領域に隣接し、前記１次の単位領域に隣接しない単位領域を３次の単位領域に設定、…と言う具合、換言するとＮを自然数として前記複数の単位領域のうちＮ次の単位領域に隣接しＮ－１次の単位領域に隣接しない単位領域をＮ＋１次の単位領域として設定する。具体例に関しては、後述する。
　そして、上記第３の特徴量算出部５４４ｃは、注目単位領域ＵＢｉｎを０次の単位領域、前記０次の単位領域に隣接する１次の単位領域、前記１次の単位領域に隣接する２次の単位領域、…における次数を第３の特徴量として算出する。また、この次数に関連して、演算部５４１ｂは、注目単位領域ＵＢｉｎ及びその周囲に存在する複数の単位領域において、共通の粘膜微細構造を有している単位領域を互いに隣接する単位領域であると認識する認識部５４３ｊを有する（図３２参照）。そして、第３の特徴量算出部５４４ｃは、認識部５４３ｊによる認識結果に基づき、注目単位領域ＵＢｉｎの周囲に存在する複数の単位領域に対して注目単位領域ＵＢｉｎに隣接する次数を算出する。このため、第３の特徴量算出部５４４ｃは、第３の特徴量としての次数を算出する次数算出部の機能を備える。
　また、上述の説明においては、注目単位領域設定部５４３ｉは、条件Ｃ１（つまり、画像の中心に最も近い距離に存在する１つの単位領域）を用いて注目単位領域ＵＢｉｎを設定した場合を説明したが、この条件Ｃ１に限らず、単位領域が接続（連結）する次数の情報に基づいて以下のような条件Ｃ２－Ｃ５により注目単位領域ＵＢｉｎを設定しても良い。
　注目単位領域設定部５４３ｉは、以下の条件Ｃ２－Ｃ５
Ｃ２：連結する単位領域の次数（後述する明細書中のＵ－１，Ｕ－２等）が最も高次まで取れる単位領域、
Ｃ３：連結する単位領域群の全体の中心（又は重心）に最も近い単位領域、
Ｃ４：画像においてランダムに設定される単位領域、
Ｃ５：手動設定される単位領域、により注目単位領域ＵＢｉｎを設定しても良い。
　なお、注目単位領域ＵＢｉｎは１つに限らず、複数設定しても良い。さらに言えば、注目単位領域ＵＢｉｎは１つに限らず、全ての単位領域について、判別対象領域Ａｄの設定及び粘膜状態の判別を行っても構わない。その際の順序として、上記の条件（Ｃ１－Ｃ５）に合致する単位領域から順に実施しても良いし、ランダムでも良いし、単純に画像の右上から順番に実施しても良い。
　また、上述の説明においては、第１の特徴量算出部５４４ａは、第１の特徴量として平均の円形度を算出する場合について説明したが、円形度に限らず、面積、色調（輝度値、画素値）、周囲長などを判別対象領域Ａｄに含まれる単位領域から算出するようにしても良い。また、第１の特徴量算出部５４４ａは、第１の特徴量として平均の統計量の他に、分散（変動係数）の統計量を算出しても良い。
　また、図３３Ａの処理を行う場合、ステップＳ５０７において第２の特徴量算出部５４４ｂが第２の特徴量として（上述した幅でなく）以下に説明するように注目単位領域ＵＢｉｎの面積を算出し、ステップＳ５０８において判別対象領域設定部５４３ｇは、算出された面積に基づいて、面積の閾値を用いた比較結果に基づき次数を用いて判別対象領域を設定するようにしても良い。
　判別対象領域設定部５４３ｇは、第２の特徴量として算出された注目単位領域ＵＢｉｎの面積が閾値（より具体的には面積の閾値）以上であるか否かにより、判別対象領域Ａｄの範囲を設定する。このように判別対象領域設定部５４３ｇは、算出された第２の特徴量に基づき判別対象領域Ａｄ（の範囲）を単位領域を単位として設定する。つまり、判別対象領域設定部５４３ｇは、算出された第２の特徴量に基づいて判別対象領域Ａｄを注目単位領域ＵＢｉｎを含む単位領域群として設定する。
　また、判別対象領域設定部５４３ｇは、判別対象領域Ａｄを設定する場合、以下に説明するように注目単位領域ＵＢｉｎとその周囲の単位領域ＵＢｊとの構造的な関係性を表す第３の特徴量に基づいて設定（決定）しても良い。
　図４４は判別対象領域設定部５４３ｇが第３の特徴量としての面積に基づいて判別対象領域Ａｄを設定（決定）する処理を示す。
　ステップＳ５１１に示すように判別対象領域設定部５４３ｇには、第２の特徴量算出部５４４ｂが算出した面積が入力される。ステップＳ５１２に示すように判別対象領域設定部５４３ｇは、第２の特徴量算出部５４４ｂによって算出された面積が、閾値設定部５４６ａにより設定された面積の閾値以上であるか否かの判定を行う。なお、閾値設定部５４６ａは、面積の閾値を例えば５０００程度、より具体的には５０００画素数に設定する。
　ステップＳ５１２の判定処理において、面積が面積の閾値以上となる判定結果の場合には、ステップＳ５１３に示すように判別対象領域設定部５４３ｇは、注目単位領域ＵＢｉｎと、この注目単位領域ＵＢｉｎの周囲に直接接している単位領域ＵＢｊまでを判別対象領域Ａｄに設定する。換言すると、判別対象領域設定部５４３ｇは、注目単位領域ＵＢｉｎを０次の単位領域とした０次の単位領域と、この０次の単位領域に直接、接する１次の単位領域までの（単位領域または単位領域群の）領域を判別対象領域Ａｄに設定する。
　例えば図４１Ａに示す注目単位領域ＵＢｉｎの面積が面積の閾値以上である場合には、判別対象領域設定部５４３ｇは、図４５Ａに示すように注目単位領域ＵＢｉｎと、その周囲に斜線で示す１次の単位領域（群）Ｕ－１までを判別対象領域Ａｄに設定する。これに対して、図４４におけるステップＳ５１２の判定において、注目単位領域ＵＢｉｎの面積が面積の閾値未満である場合には、ステップＳ５１４に示すように判別対象領域設定部５４３ｇは、注目単位領域ＵＢｉｎと、この注目単位領域ＵＢｉｎに直接接している１次の単位領域（群）Ｕ－１と、さらに１次の単位領域（群）Ｕ－１に直接接する２次の単位領域（群）Ｕ－２までを判別対象領域Ａｄに設定する。換言すると、判別対象領域設定部５４３ｇは、０次の単位領域と、１次の単位領域と、２次の単位領域までの（単位領域群の）領域を判別対象領域Ａｄとして設定する。この場合の判別対象領域Ａｄは図４５Ｂのようになる。そして、図４４に示した判別対象領域Ａｄの設定処理を終了、つまり、図３３ＡにおけるステップＳ５０８の処理を終了する。
　このように、第２の特徴量としての例えば面積値が閾値未満の場合には、閾値以上の場合よりも判別対象領域Ａｄに含める単位領域の範囲を拡大することにより、判別対象領域Ａｄから粘膜の状態を判別するために利用する情報が不足することなく、適切に判別を行うことができるようにする。
　判別対象領域設定部５４３ｇは、判別対象領域Ａｄを設定（決定）後、その設定（決定）の情報を特徴量算出部５４３ｆの第１の特徴量算出部５４４ａに出力する。そして、上述したように図３３ＡにおけるステップＳ５０９以降の処理を行う。
　なお、判別対象領域Ａｄの設定が、図４４に示したように注目単位領域ＵＢｉｎの面積に応じて１次の単位領域（群）Ｕ－１又は２次の単位領域（群）Ｕ－２に設定する場合に限定されるものでない。３次の単位領域（群）Ｕ－３を用いるように設定しても良い。例えば、図４４のステップＳ５１２の判定において注目単位領域ＵＢｉｎの面積が閾値（具体的には５０００）未満の場合には、さらに図４６のステップＳ５１５に示すように注目単位領域ＵＢｉｎの面積が（上記閾値より小さい値の）第２の閾値（例えば３０００）以上か否かを判定するようにしても良い。
　そして、注目単位領域ＵＢｉｎの面積値が第２の閾値以上の場合には、図４２のステップＳ５１４に示すように２次の単位領域（群）Ｕ－２までを判別対象領域Ａｄに含める。
　これに対して、注目単位領域ＵＢｉｎの面積の値が第２の閾値未満の場合には、ステップＳ５１６に示すように２次の単位領域（群）Ｕ－２の周囲に接する３次の単位領域（群）Ｕ－３までを判別対象領域Ａｄに含めるようにしても良い。このように、２段階の閾値を設定して、閾値との比較結果に応じて判別対象領域Ａｄに含める単位領域（群）の次数を設定しても良いし、３段階以上の閾値を設定して、閾値との比較結果に応じて判別対象領域Ａｄに含める単位領域（群）の次数を設定しても良い。
　または、例えば以下の式（２）のような演算処理によって、判別対象領域Ａｄに含める単位領域（群）の次数（この次数を接続次数と定義）Ｎを設定しても良い。
接続次数Ｐ＝１００００／（注目単位領域ＵＢｉｎの面積）　　（２）
　ここで、（２）式の演算結果における小数点以下は切り捨てる。また、演算結果が１未満の場合（つまり、注目単位領域ＵＢｉｎの面積が１００００を超える場合）には、Ｎ＝１とする。
　次に図４３Ａのような画像の場合において判別対象領域の範囲設定に有効となる次数を利用した判別対象領域設定手段及び判別対象領域設定方法を以下に説明する。図４３Ａの画像に対して、図４７のステップＳ５４１に示すように単位領域の設定を行った後、ステップＳ５４２に示すように注目単位領域の設定の処理を行う。
　この場合、認識部５４３ｊは、共通の粘膜微細構造を有している単位領域を互いに隣接する単位領域（又は単位領域群）であると認識する。そして、第３の特徴量算出部５４４ｃは、認識部５４３ｊによる認識結果に基づき注目単位領域ＵＢｉｎに隣接する単位領域の次数を第３の特徴量として算出する。
　上述したように図４３Ａに示す画像においては、例えば図４３Ｂに示すように例えば画像の中心に最も近い距離に存在する単位領域として注目単位領域ＵＢｉｎが設定される。なお上述したようにＣ１の条件以外の例えばＣ２又はＣ３の条件に該当するように注目単位領域ＵＢｉｎを設定しても良い。
　図４７のステップＳ５４３に示すように第２の特徴量算出部５４４ｂは注目単位領域ＵＢｉｎの面積、幅などの第２の特徴量の算出を行う。第２の特徴量の算出結果に基づき、ステップＳ５４４に示すように判別対象領域設定部５４３ｇは、次数の閾値以下となる次数の単位領域を識別して判別対象領域Ａｄとして設定する。例えば、図４４の処理により判別対象領域Ａｄを設定する場合、注目単位領域ＵＢｉｎの面積が閾値以下の場合には、次数が２以下の単位領域を判別対象領域Ａｄとして設定する。
　図４８は、図４３Ａの画像の場合に対して注目単位領域ＵＢｉｎの面積が閾値以下の場合に設定される判別対象領域Ａｄの例を示す。この場合には、注目単位領域ＵＢｉｎを０次の単位領域として、その外側に共通のＭＣＥ５５１を介して接する４つの単位領域からなる１次の単位領域（群）Ｕ－１と１次の単位領域（群）Ｕ－１の外側に共通のＭＣＥを介して接する７つの単位領域からなる２次の単位領域（群）Ｕ－２により判別対象領域Ａｄが設定される。なお、図４９は、注目単位領域ＵＢｉｎの周囲の単位領域が共通のＭＣＥ５５１を介して接していることの説明図を示す。図４９に示すように注目単位領域ＵＢｉｎは、この注目単位領域ＵＢｉｎを構成する帯状のＭＣＥ５５１の下側部分が単位領域ＵＢ１とＵＢ２のＭＣＥ５５１と共通している。他の単位領域に関しても同様に共通のＭＣＥ５５１を介して接している。認識部５４３ｊは、注目単位領域ＵＢｉｎの周囲の複数の単位領域のうち、共通の粘膜微細構造としてのＭＣＥ５５１を有している単位領域を互いに隣接する単位領域であると認識する。
　このように注目単位領域ＵＢｉｎに対する次数を利用して判別対象領域Ａｄを設定した場合には、注目単位領域ＵＢｉｎに関連性が高い領域を判別対象領域Ａｄに設定することができる。図４７に示すようにステップＳ５４４の次のステップＳ５４５において判別部５４３ｈは、判別対象領域Ａｄに対する第１の特徴量算出部５４４ａによる第１の特徴量の算出結果を用いて粘膜状態の判別を行う。更に次のステップＳ５４６において、判別部５４３ｈは、判別結果を映像信号生成部５４１ｃに出力し、表示装置５０５には判別結果が表示される。そして、図４７の処理が終了する。
　図４７に示すように次数を利用して判別対象領域Ａｄを設定した場合には、図４１Ｂのように単位領域が連結している場合はもとより、図４３Ａに示すように領域Ａ１及びＡ２のように単位領域が連結していないような画像の場合にも、注目単位領域ＵＢｉｎとの関連性が高い単位領域を含むように判別対象領域Ａｄを設定できるので、精度の高い粘膜状態の判別を行うことができる。
　なお、図４２においては、平均の円形度Ｃａｖと判別用閾値とを用いて判別を行っているが、円形度、面積、周囲長の変動係数ＣＶを算出し、変動係数の閾値（例えば０．３）以上の場合には粘膜状態が不規則な構造、閾値未満の場合には粘膜状態が規則的な構造と判別するようにしても良い。
　また、注目単位領域ＵＢｉｎの円形度、面積、周囲長と、判別対象領域Ａｄ内の平均値とを比較し、前者と後者の比が１．３の閾値以上の場合には粘膜状態が不規則な構造、閾値未満の場合には粘膜状態が規則的な構造と判別するようにしても良い。
　また、上述の説明においては、判別対象領域Ａｄに含まれる各単位領域全体で各種の特徴量を算出した場合を説明したが、各単位領域に含まれる血管、ＭＣＥ、窩間部それぞれから上述した各種の特徴量を算出するようにしても良い。また、血管、ＭＣＥ、窩間部それぞれに対応した閾値を用いて粘膜状態を判別するようにしても良い。
　また、上述における単位領域を設定（算出）するための説明において、ＭＣＥ領域ＭＢｉの幅Ｔｋを算出する場合、概略閉領域ＣＢｊの境界画素ＢＱｋを用いて算出する場合を説明したが、ＭＣＥ領域ＭＢｉから算出しても良い。換言すると、幅算出部５４５ａのような特徴量算出部は、粘膜微細構造領域としてのＭＣＥ領域ＭＢｉから単位領域の範囲設定に用いられる特徴量を算出しても良いし、又は閉領域としての概略閉領域ＣＢｊから単位領域の範囲設定に用いられる特徴量を算出するようにしても良い。
　なお、図３３ＡにおけるステップＳ５０２における前処理の内容は、ノイズ抑制と逆ガンマ補正に限定されるものではなく、明るさや色調の補正等を加えても良い。また、前処理の各手法についても、手法を限定するものではなく、対象とする画像や機器の特性に応じて変更してよい。例えば本実施形態ではノイズ抑制の手法としてメディアンフィルタリングを用いたが、平滑化フィルタなどの他の手法を用いてもよい。
　ステップＳ５０３におけるＭＣＥ領域ＭＢｉの検出又は抽出方法は、前述の構造成分抽出手法に限定されるものではなく、他の手法を用いてもよい。例えば、輝度値や色調などの画素値に対する閾値処理、ガボールフィルタ等の各種周波数フィルタを用いた手法、公知技術であるヘッセ行列やベクトル集中度を用いた線分検出処理でもよい。
　ステップＳ５０４における概略閉領域ＣＢｊの検出又は識別手法は、前述のラベリングを用いた手法に限定されるものではなく、他の手法を用いてもよい。例えば、検出されたＭＣＥ領域ＭＢｉの境界画素ＢＱｋを走査することによって閉領域を探索し、概略閉領域ＣＢｊを検出してもよい。
　ステップＳ５０５において、幅Ｔｋは境界画素ＢＱｋから画素数をカウントすることで算出したが、この方法に限るものではなく、ステップＳ５０３のＭＣＥ領域ＭＢｉの抽出の際に用いたテンプレートやフィルタのサイズを幅Ｔｋとして用いるなど、他の方法を用いてもよい。
　また、幅Ｔｋの算出を全境界画素ＢＱｋにおいて実施したが、全境界画素ＢＱｋを用いる場合に限らず、例えば数画素おきにサンプリングした画素から幅Ｔｋを算出してもよい。　
　さらに、領域サイズＢＳｊの算出は、幅Ｔｋの平均値に限定されるものではなく、幅Ｔｋの最頻値・最小値・最大値等の他の統計量を用いてもよい。
　また、領域サイズＢＳｊの算出は、幅Ｔｋを用いた方法に限定されるものではなく、概略閉領域ＣＢｊのサイズ・形状等から算出しても良いし、ユーザが任意の値を設定してもよい。また、概略閉領域ＣＢｊの面積などから単位領域の範囲を規定する領域サイズＢＳｊを決定しても良い。
　さらに、本実施形態では単位領域ＵＢｊの範囲を、概略閉領域ＣＢｊの境界画素からの距離で設定したが、この方法に限定されるものではなく、例えば概略閉領域ＣＢｊの中心点（重心）などを基準に、単位領域ＵＢｊの範囲を設定してもよい。
　図４０では、それぞれの単位領域ＵＢｊが重複を許容する例を示したが、重複している部分がどちらの単位領域ＵＢｊに属するかを判定し、重複する領域を分割してもよい。
　単位領域ＵＢｊとして設定された各画素を画像データとして保持し、映像信号生成部５４１ｃによって映像信号を生成することで、表示装置５０５等に画像表示してもよい。
　本実施例形態によれば、粘膜微細構造を表す医用画像において、生体組織学的に一単位となる領域を単位領域として分離又は識別可能に設定する。そして、単位領域を単位として、注目する注目単位領域ＵＢｉｎを含むようにその周囲に適切なサイズの単位領域群からなる判別対象領域を設定し、判別対象領域の粘膜状態を判別することができる。
　このため、複雑な画像データにおいても診断しようとする判別対象領域を、生体組織学的な単位領域を単位として適切なサイズに設定することができ、判別対象領域の粘膜状態を適切に判別して、診断等を支援することができる。
　これに対して、生体組織学的な単位領域を設定できない従来例の場合には、生体組織学的に複数単位に連なった複雑な範囲に対して診断を行うことが必要となり、状態判別が行い難くなってしまう。
　なお、上述した第３の実施形態において、注目単位領域ＵＢｉｎを判別対象領域Ａｄに設定して、この注目単位領域ＵＢｉｎ単体（を判別対象領域Ａｄに設定して）第１の特徴量の算出を行い、算出された第１の特徴量に基づいて、注目単位領域ＵＢｉｎの粘膜状態の判別を行うようにしても良い。具体的には、例えば図４１Ａにおいて設定した注目単位領域ＵＢｉｎを判別対象領域Ａｄに設定する。また、図４３Ｂに示した注目単位領域ＵＢｉｎを判別対象領域Ａｄに設定しても良い。
　図５０はこの場合の処理を示す。図５０に示す処理は、ステップＳ５０１からＳ５０６までは図３３Ａにおいて説明した内容と同じであり、ステップＳ５０６の処理後に、図３３ＡのＳ５０７，Ｓ５０８を行うことなく、ステップＳ５０９とＳ５１０の処理を行う。
　なお、図３３Ａにおいては、注目単位領域ＵＢｉｎを含む複数の単位領域からなる判別対象領域Ａｄに対して、第１の特徴量の算出を行っていたが、図５０に示すステップＳ５０９においては、第１の特徴量算出部５４４ａは、注目単位領域ＵＢｉｎに対して第１の特徴量の算出を行う。第１の特徴量算出部５４４ａは、例えば、注目単位領域ＵＢｉｎの第１の特徴量として円形度を算出する。また、ステップＳ５１０において、判別部５４３ｈは、算出された円形度が例えば閾値としての０．６以上の場合には注目単位領域ＵＢｉｎの粘膜が規則的な構造、０．６未満の場合には、不規則的な構造と判定する。或いは、注目単位領域ＵＢｉｎに含まれるＭＣＥの太さ（幅）の変動係数が０．３未満の場合には、注目単位領域ＵＢｉｎの粘膜が規則的な構造、０．３以上の場合には不規則的な構造と判定するようにしても良い。
　なお、上述した実施形態等においては、粘膜状態を判別する例として、規則的な構造であるか不規則的な構造であるかと粘膜の「状態」を表すカテゴリの場合で説明した。このようなカテゴリの場合に限定されるものでなく、例えば第１の特徴量の統計量の算出結果を閾値と比較して、癌か、非癌かの判別を行うようにした「病状」又は「医学的な分類」に関するカテゴリの判別を行うようにしても良い。また、上述した実施形態においては、胃の場合で説明したが、その他の大腸、食道等の生体粘膜を撮像した医用画像に適用することもできる。
なお、判別部５４３ｈが、第１の特徴量を算出する第１の特徴量算出部５４４ａを備える構成にしても良い。また、判別部５４３ｈが、図３２の点線で示すように第１の特徴量の統計量を算出する統計量算出部５４７ｂを備える構成にしても良い。また、判別部５４３ｈが、前記統計量に基づいて粘膜状態を判別するようにしても良い。また、上述した実施形態等を部分的に組み合わせて構成される実施形態も本発明に属する。
　なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
　本出願は、２０１２年１１月７日に日本国に出願された特願２０１２－２４５６６７号、及び、２０１２年１２月５日に日本国に出願された特願２０１２－２６６４４５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (20)

  1. 　生体粘膜を撮像して得られる生体粘膜画像が入力される入力部と、
    　前記入力部に入力された前記生体粘膜画像から粘膜微細構造に対応する粘膜微細構造領域を抽出する領域抽出部と、
    　前記粘膜微細構造領域によって包囲されるとみなされる少なくとも1つの閉領域を識別する閉領域識別部と、
    　前記領域抽出部により抽出された前記粘膜微細構造領域及び前記閉領域識別部により識別された前記閉領域に基づき単位領域を設定する単位領域設定部と、
    　を有する医療用画像処理装置。
  2. 　前記領域抽出部は、前記生体粘膜画像における帯状の構造領域を前記粘膜微細構造領域として抽出することを特徴とする請求項1に記載の医療用画像処理装置。
  3. 　前記単位領域設定部は、前記単位領域の設定を複数の閉領域に対して行う場合、前記複数の閉領域各々に対して独立して前記単位領域の設定を行うことを特徴とする請求項１または請求項２に記載の医療用画像処理装置。
  4. 　さらに、前記粘膜微細構造領域から又は前記閉領域から前記単位領域の範囲設定に用いられる特徴量を算出する特徴量算出部と、
    　前記特徴量に基づいて前記単位領域の範囲を設定する範囲設定部と、
    　を備えることを特徴とする請求項１乃至請求項３に記載の医療用画像処理装置。
  5. 　前記粘膜微細構造は、生体粘膜上の血管、腺構造に基づく上皮模様またはｐｉｔ　ｐａｔｔｅｒｎであること、を特徴とする請求項１乃至請求項４に記載の医療用画像処理装置。
  6. 　さらに、前記生体粘膜画像に対して仮想的な粘膜微細構造領域を設定する仮想粘膜微細構造設定部を有し、
    　前記閉領域識別部は、前記領域抽出部により抽出された前記粘膜微細構造領域及び前記仮想粘膜微細構造設定部により設定された前記仮想的な粘膜微細構造領域により包囲される領域を前記閉領域として識別することを特徴とする請求項１乃至５に記載の医療用画像処理装置。
  7. 　前記仮想粘膜微細構造設定部は、前記領域抽出部により抽出された前記粘膜微細構造領域における閉じていない端点同士を接続して前記仮想的な粘膜微細構造領域を設定することを特徴とする請求項６に記載の医療用画像処理装置。
  8. 　前記仮想粘膜微細構造設定部は、前記領域抽出部により抽出された前記粘膜微細構造領域における前記閉じていない端点から前記粘膜微細構造領域の延伸方向に延出した仮想線により前記仮想的な粘膜微細構造領域を設定することを特徴とする請求項６に記載の医療用画像処理装置。
  9. 　前記特徴量算出部は、前記閉領域を囲む前記粘膜微細構造領域の幅のサイズを算出する幅算出部により構成されることを特徴とする請求項４に記載の医療用画像処理装置。
  10. 　前記生体粘膜が上皮模様の場合、前記単位領域設定部は、１つの前記閉領域としての窩間部の領域と、該窩間部の領域の周縁の外側に隣接し、前記窩間部を囲む閉じた帯形状の前記粘膜微細構造領域を構成する腺窩辺縁上皮の領域とを設定することを特徴とする請求項５に記載の医療用画像処理装置。
  11. 　前記単位領域設定部において設定された前記単位領域に基づいて設定される判別対象領域から第１の特徴量を算出する第１の特徴量算出部と、
    　前記第１の特徴量算出部によって算出された第１の特徴量に基づき、前記判別対象領域を有する粘膜の状態を判別する判別部と、
    　を備えることを特徴とする請求項１に記載の医療用画像処理装置。
  12. 　前記単位領域設定部において、複数の単位領域が設定される場合、
    　さらに、前記単位領域設定部において設定された複数の単位領域から注目する１つの単位領域としての注目単位領域を設定する注目単位領域設定部と、
    　前記注目単位領域から第２の特徴量を算出する第２の特徴量算出部と、
    　前記第２の特徴量に基づき、前記複数の単位領域から前記第１の特徴量の算出を行う前記判別対象領域を設定する判別対象領域設定部と、を有し、
    　前記第１の特徴量算出部は、前記判別対象領域設定部において設定された前記判別対象領域において前記第１の特徴量の算出を行うことを特徴とする請求項１１に記載の医療用画像処理装置。
  13. 　さらに、前記複数の単位領域に対して前記注目単位領域との関係性を表す第３の特徴量を算出する第３の特徴量算出部を有し、
    　前記判別対象領域設定部は、前記第２の特徴量に基づき前記判別対象領域を設定する際に用いられる閾値を設定する閾値設定部を有し、
    　前記閾値と前記第３の特徴量に基づき前記複数の単位領域から前記判別対象領域を設定することを特徴とする請求項１２に記載の医療用画像処理装置。
  14. 　前記第３の特徴量算出部は、前記第３の特徴量として、前記複数の単位領域に対して前記注目単位領域に隣接する次数を算出し、
    　前記判別対象領域設定部は、前記閾値以下の次数を有する前記複数の単位領域を前記判別対象領域として設定することを特徴とする請求項１３に記載の医療用画像処理装置。
  15. 　前記第３の特徴量算出部は、前記第３の特徴量として、前記複数の単位領域に対して前記注目単位領域からの距離を算出し、
    　前記判別対象領域設定部は、前記注目単位領域からの距離が前記閾値以下である前記複数の単位領域を前記判別対象領域として設定することを特徴とする請求項１３に記載の医療用画像処理装置。
  16. 　前記単位領域設定部は、前記第２の特徴量に基づき前記注目単位領域を中心とする矩形領域の大きさを設定する矩形領域設定部を有し、
    　前記矩形領域設定部において設定された矩形領域に含まれる前記複数の単位領域を前記判別対象領域として設定することを特徴とする請求項１２に記載の医療用画像処理装置。
  17. 　前記第３の特徴量算出部は、前記注目単位領域を０次の単位領域として設定し、前記複数の単位領域のうち前記０次の単位領域に隣接する単位領域を１次の単位領域と認識し、Ｎを自然数として前記複数の単位領域のうちＮ次の単位領域に隣接しＮ－１次の単位領域に隣接しない単位領域をＮ＋１次の単位領域として設定することにより算出される前記複数の単位領域の次数を前記第３の特徴量として算出することを特徴とする請求項１４に記載の医療用画像処理装置。
  18. 　さらに、前記複数の単位領域のうち、共通の粘膜微細構造を有している単位領域を互いに隣接する単位領域であると認識する認識部を有し、
    　前記第３の特徴量算出部は、前記認識部による認識結果に基づき前記複数の単位領域に対して前記注目単位領域に隣接する次数を算出することを特徴とする請求項１４に記載の医療用画像処理装置。
  19. 　前記領域抽出部は、前記生体粘膜画像において帯状の構造を前記粘膜微細構造領域として抽出することを特徴とする請求項１１乃至請求項１８に記載の医療用画像処理装置。
  20. 　前記判別部は、前記第１の特徴量の統計量を算出する統計量算出部を備え、
    　前記判別部は、前記統計量に基づいて前記粘膜状態を判別することを特徴とする請求項１１乃至請求項１９に記載の医療用画像処理装置。
PCT/JP2013/079884 2012-11-07 2013-11-05 医療用画像処理装置 WO2014073527A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13853195.9A EP2815692B1 (en) 2012-11-07 2013-11-05 Medical image processing device
CN201380018296.3A CN104203075B (zh) 2012-11-07 2013-11-05 医疗用图像处理装置
JP2014523526A JP5593009B1 (ja) 2012-11-07 2013-11-05 医療用画像処理装置
US14/300,406 US9129384B2 (en) 2012-11-07 2014-06-10 Medical image processing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-245667 2012-11-07
JP2012245667 2012-11-07
JP2012266445 2012-12-05
JP2012-266445 2012-12-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/300,406 Continuation US9129384B2 (en) 2012-11-07 2014-06-10 Medical image processing device

Publications (1)

Publication Number Publication Date
WO2014073527A1 true WO2014073527A1 (ja) 2014-05-15

Family

ID=50684630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/079884 WO2014073527A1 (ja) 2012-11-07 2013-11-05 医療用画像処理装置

Country Status (5)

Country Link
US (1) US9129384B2 (ja)
EP (1) EP2815692B1 (ja)
JP (1) JP5593009B1 (ja)
CN (1) CN104203075B (ja)
WO (1) WO2014073527A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JPWO2019012911A1 (ja) * 2017-07-14 2020-06-11 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034102B2 (ja) * 2016-06-30 2022-03-11 ギブン イメージング リミテッド 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法
CN111050628B (zh) * 2017-09-15 2022-09-06 富士胶片株式会社 医疗图像处理装置
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
JP2023005896A (ja) * 2021-06-29 2023-01-18 富士フイルム株式会社 内視鏡システム、医療画像処理装置及びその作動方法
CN114494247B (zh) * 2022-04-01 2022-06-21 武汉大学 齿状线分割方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP4409166B2 (ja) 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP4451460B2 (ja) 2007-03-16 2010-04-14 オリンパス株式会社 内視鏡診断支援装置
WO2012002012A1 (ja) * 2010-06-30 2012-01-05 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP2012045055A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69932037T2 (de) * 1998-12-21 2007-06-28 Koninklijke Philips Electronics N.V. Grössenbestimmung eines objektdetails
CN101404923B (zh) * 2006-03-16 2010-12-22 奥林巴斯医疗株式会社 医疗用图像处理装置
US8184888B2 (en) * 2007-09-19 2012-05-22 Siemens Medical Solutions Usa, Inc. Method and system for polyp segmentation for 3D computed tomography colonography
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5011452B2 (ja) * 2010-04-12 2012-08-29 オリンパスメディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の制御方法
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP4409166B2 (ja) 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP4451460B2 (ja) 2007-03-16 2010-04-14 オリンパス株式会社 内視鏡診断支援装置
WO2012002012A1 (ja) * 2010-06-30 2012-01-05 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP2012045055A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2815692A4
TAKESHI YAO, STOMACH MAGNIFYING ENDOSCOPE, 2009, pages 79 - 87

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP6234648B1 (ja) * 2016-01-15 2017-11-22 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
US10736499B2 (en) 2016-01-15 2020-08-11 Olympus Corporation Image analysis apparatus, image analysis system, and method for operating image analysis apparatus
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JPWO2017199635A1 (ja) * 2016-05-18 2018-05-31 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JPWO2019012911A1 (ja) * 2017-07-14 2020-06-11 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US10891737B2 (en) 2017-07-14 2021-01-12 Fujifilm Corporation Medical image processing device, endoscope system, diagnosis support device, and medical service support device

Also Published As

Publication number Publication date
EP2815692B1 (en) 2017-09-20
JPWO2014073527A1 (ja) 2016-09-08
EP2815692A1 (en) 2014-12-24
CN104203075B (zh) 2017-03-01
CN104203075A (zh) 2014-12-10
JP5593009B1 (ja) 2014-09-17
US20140334698A1 (en) 2014-11-13
EP2815692A4 (en) 2016-01-13
US9129384B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
JP5593009B1 (ja) 医療用画像処理装置
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5865606B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2013140667A1 (ja) 画像処理装置
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6132901B2 (ja) 内視鏡装置
WO2014168128A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JPWO2019198637A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
WO2020188682A1 (ja) 診断支援装置、診断支援方法及びプログラム
JPWO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP6112859B2 (ja) 医用画像処理装置
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
CN116322465A (zh) 图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序
Cui et al. Detection of lymphangiectasia disease from wireless capsule endoscopy images with adaptive threshold
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP2022163581A (ja) 制御装置、制御プログラムおよび制御方法
JP2023129277A (ja) 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014523526

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13853195

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013853195

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013853195

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE