WO2011129176A1 - 医用画像処理装置及び医用画像処理方法 - Google Patents

医用画像処理装置及び医用画像処理方法 Download PDF

Info

Publication number
WO2011129176A1
WO2011129176A1 PCT/JP2011/056425 JP2011056425W WO2011129176A1 WO 2011129176 A1 WO2011129176 A1 WO 2011129176A1 JP 2011056425 W JP2011056425 W JP 2011056425W WO 2011129176 A1 WO2011129176 A1 WO 2011129176A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
region
feature amount
category
parameter
Prior art date
Application number
PCT/JP2011/056425
Other languages
English (en)
French (fr)
Inventor
博一 西村
田中 健一
悠介 登本
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN201180007618.5A priority Critical patent/CN102724909B/zh
Priority to EP11768697.2A priority patent/EP2502546B1/en
Priority to JP2011532369A priority patent/JP5011452B2/ja
Priority to US13/197,458 priority patent/US20120076372A1/en
Publication of WO2011129176A1 publication Critical patent/WO2011129176A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method, and more particularly to a medical image processing apparatus and a medical image processing method for performing region division processing on a medical image obtained by imaging a biological tissue.
  • Non-Patent Document 1 Yasuhiro Yagi and Hideo Saito: “Computer Vision Cutting-Edge Guide ⁇ 1>”, pp. 1-28, Adcom Media Co., Ltd. (2009) (hereinafter referred to as Non-Patent Document 1), Tony F.A. Chan and Luminita A. Vese: “Active Contours Without Edges”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.
  • Non-Patent Document 2 Multiphase Evolution and VariAliSimAliSinAliSci.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2007-313119
  • the edge strength of a pixel of an image in a body cavity is calculated and preset based on the edge strength and the feature of the bubble image.
  • the morphology and distribution of the mucosal microstructure in living tissue is thought to be useful for the differentiation of normal tissue and tumor tissue, and for the diagnosis of lesions such as estimation of the depth of cancer.
  • a diagnosis is performed mainly based on a subjective viewpoint according to the experience and knowledge of a doctor. Therefore, realization of a differential diagnosis support method for mucosal microstructure observation using, for example, an image analysis method is desired as a diagnosis method that does not depend on the subjective viewpoint of a doctor.
  • Such a differential diagnosis support method has been studied as one of computer diagnosis support (Computer Aided Diagnosis, CAD).
  • the findings are various and complex, and imaging of the observation distance, direction, angle, illumination light quantity, etc. when acquiring the endoscopic image Since the conditions are indefinite, it is considered difficult to extract the mucosal microstructure corresponding to the findings from the endoscopic image.
  • the technique related to the region dividing method and the detection method described in Patent Document 1 has an effective processing result when applied to an image in which bubbles having a substantially large edge strength are captured.
  • the technique related to the region dividing method and the detection method described in Patent Document 1 is used for an image obtained by imaging a blood vessel, the blood vessel detection accuracy is lowered.
  • Non-Patent Document 1 discloses a method for segmenting an image by an active contour detection method called a Level-Set method. Specifically, in Non-Patent Document 1, it is possible to dynamically set a boundary line that defines a region in an image by performing an iterative process based on the size of an edge of a structural component in the image. Technology is disclosed.
  • Non-Patent Document 2 discloses a method for segmenting an image by an active contour detection method based on the Mumford-Shah model (hereinafter referred to as the MS method). It is disclosed.
  • the technique disclosed in Non-Patent Document 2 is the same as the above-described Level-Set method in that a boundary line that defines a region is dynamically set by performing an iterative process. There is a difference in that a boundary line can be set based on a value such as an average value of the feature amount of the region.
  • Non-Patent Document 2 when the boundary line that defines the region is dynamically set using an iterative process, the boundary line is set so that the feature amount is as uniform as possible inside and outside the region.
  • a technique is disclosed that can perform region division even on an image including a structure that does not have a clear edge.
  • Non-Patent Document 2 comparison is made such that an image with little overlap in distribution of feature amounts inside or outside the region, or a region with uniform brightness exists in isolation.
  • good results can be obtained, but complex mucous membrane microstructures can be included, and imaging conditions such as observation distance, direction, angle, and illumination intensity can always change.
  • good results cannot always be obtained.
  • Non-Patent Document 2 for example, in an endoscopic image obtained by imaging a plurality of microvessels, a subtle difference in the depth of travel under the mucosa, a position in the field of view
  • the feature amount is calculated in consideration of the change in the amount of light and the influence of secondary light reflected from the surrounding mucous membrane, the feature amount is distributed over a very wide range. The line cannot be set correctly.
  • Non-Patent Document 3 uses an algorithm that is substantially the same as that disclosed in Non-Patent Document 2, while using a normal distribution model for the distribution of feature values for each region inside and outside the boundary, By setting a certain mean value ⁇ and standard deviation ⁇ (or variance ⁇ 2, which is the square of the standard deviation) in advance, the boundary line is set so that the parameter of the feature value of each region approaches the set parameter. A method of setting is disclosed.
  • Non-Patent Documents 1 to 3 when any of the methods disclosed in Non-Patent Documents 1 to 3 is applied to region segmentation of an endoscopic image, at least the following (A) to (D) must be taken into consideration. However, Non-Patent Documents 1 to 3 do not conceive or specifically disclose (A) to (D) below.
  • the present invention has been made in view of the above-described circumstances.
  • a processing target By estimating the number of categories of regions to be divided for each image and appropriately setting the parameter of the feature quantity for each category, regions where mucous membrane microstructures such as blood vessels and pits exist, bleeding, and residues And a region where a substance such as white moss is present can be divided into different regions, and as a result, a medical image capable of improving the detection accuracy of a desired component present in the image
  • the medical image processing apparatus of the present invention is a medical image processing apparatus capable of performing region division processing on a medical image, the feature amount calculating unit calculating at least one feature amount from the medical image, and the feature amount
  • a category setting unit that sets a plurality of categories in the medical image based on the feature amount calculated by the calculation unit, and a category set by the category setting unit based on the feature amount calculated by the feature amount calculation unit.
  • An area dividing unit that performs an area dividing process on the medical image based on a distribution model defined accordingly.
  • the medical image processing apparatus of the present invention is a medical image processing apparatus capable of performing region division processing on a medical image, the feature amount calculating unit calculating at least one feature amount from the medical image, and the medical image
  • a structural component region setting unit that sets a plurality of structural component regions corresponding to the structural components included in the region, a region integration unit that integrates regions having similar feature quantities in each of the plurality of structural component regions, and A category setting unit that sets a category based on the integration result by the region integration unit, and a structural component obtained as the integration result based on the feature amount in each of the structural component regions obtained as an integration result by the region integration unit
  • a parameter setting unit for setting a parameter for each region, the number of categories set by the category setting unit, and a parameter set by the parameter setting unit The number, based on the distribution model defined in accordance with, and a, a region dividing unit which performs area division processing for the medical image.
  • the medical image processing method of the present invention is a medical image processing method for performing region division processing on a medical image, the feature amount calculating step for calculating at least one feature amount from the medical image, and the feature amount calculating step.
  • a category setting step for setting a plurality of categories in the medical image based on the feature amount calculated by the step, and a category set by the category setting step based on the feature amount calculated by the feature amount calculation step.
  • a parameter setting step for setting a parameter for each region of the medical image, a number of categories set by the category setting step, and a parameter set by the parameter setting step A region dividing step of performing region dividing processing on the medical image based on a prescribed distribution model; Eteiru.
  • the medical image processing method of the present invention is a medical image processing method for performing region division processing on a medical image, the feature amount calculating step for calculating at least one feature amount from the medical image, and the medical image includes A structural component region setting step for setting a plurality of structural component regions corresponding to a structural component to be generated, a region integration step for integrating regions having similar feature quantities to each other in each of the plurality of structural component regions, and the region A category setting step for setting a category based on the integration result of the integration step, and each structural component region obtained as the integration result based on the feature amount in each of the structural component regions obtained as the integration result of the region integration step.
  • the flowchart which shows an example of the process performed in 1st Example of this invention.
  • the schematic diagram which shows an example of the image data used as a process target.
  • the figure which shows the case where the several circle is set as an initial solution of the calculation which concerns on area division in the image data of FIG. The figure which shows an example of the middle progress of the calculation which concerns on an area
  • (First embodiment) 1 to 10 relate to a first embodiment of the present invention.
  • an endoscope apparatus 1 is inserted into a body cavity of a subject, and an endoscope 2 that outputs a signal of an image obtained by imaging a subject such as a living tissue 101 in the body cavity.
  • the light source device 3 that emits illumination light for illuminating the living tissue 101
  • the processor 4 that performs various processes on the output signal from the endoscope 2, and the image corresponding to the video signal from the processor 4 are displayed.
  • Display device 5 and an external storage device 6 for storing an output signal corresponding to a processing result in the processor 4.
  • the endoscope 2 includes an insertion portion 21a having a shape and a size that can be inserted into a body cavity of a subject, a distal end portion 21b provided on the distal end side of the insertion portion 21a, and a proximal end side of the insertion portion 21a. And an operating portion 21c provided. Further, a light guide 7 for transmitting illumination light emitted from the light source device 3 to the distal end portion 21b is inserted into the insertion portion 21a.
  • One end surface (light incident end surface) of the light guide 7 is detachably connected to the light source device 3.
  • the other end face (light emission end face) of the light guide 7 is disposed in the vicinity of an illumination optical system (not shown) provided at the distal end portion 21 b of the endoscope 2.
  • an illumination optical system not shown
  • the illumination light emitted from the light source device 3 passes through the light guide 7 in a state connected to the light source device 3 and the illumination optical system (not shown) provided at the distal end portion 21b. The light is emitted to the living tissue 101.
  • the distal end portion 21b of the endoscope 2 is provided with an objective optical system 22 that forms an optical image of the subject, and a CCD 23 that captures the optical image formed by the objective optical system 22 and acquires the image.
  • the operation unit 21c of the endoscope 2 is provided with an observation mode switching switch 24 capable of giving an instruction to switch the observation mode to either the normal light observation mode or the narrow band light observation mode. .
  • the light source device 3 includes a white light source 31 composed of a xenon lamp or the like, a rotary filter 32 that uses white light emitted from the white light source 31 as field sequential illumination light, a motor 33 that rotationally drives the rotary filter 32, and a rotary filter
  • the motor 34 moves the motor 32 and the motor 33 in a direction perpendicular to the emission light path of the white light source 31, the rotary filter drive unit 35 that drives the motors 33 and 34 based on the control of the processor 4, and the rotary filter 32.
  • a condensing optical system 36 that condenses the illumination light and supplies it to the incident end face of the light guide 7.
  • the rotary filter 32 is configured in a disc shape with the center as a rotation axis, and includes a first filter group including a plurality of filters provided along the circumferential direction on the inner peripheral side. 32A, and a second filter group 32B including a plurality of filters provided along the circumferential direction on the outer peripheral side. Then, when the driving force of the motor 33 is transmitted to the rotating shaft, the rotary filter 32 rotates.
  • the rotary filter 32 it shall be comprised with the light shielding member except the part by which each filter of 32 A of 1st filter groups and the 2nd filter group 32B is arrange
  • the first filter group 32A is provided along the circumferential direction on the inner peripheral side of the rotary filter 32, and transmits an R filter 32r that transmits light in the red wavelength band, and transmits light in the green wavelength band.
  • the G filter 32g and the B filter 32b that transmits light in the blue wavelength band are included.
  • the R filter 32r has a configuration that mainly transmits light (R light) from 600 nm to 700 nm, for example, as shown in FIG.
  • the G filter 32g has a configuration that mainly transmits light (G light) from 500 nm to 600 nm as shown in FIG. 3, for example.
  • the B filter 32 b has a configuration that mainly transmits light (B light) from 400 nm to 500 nm.
  • the second filter group 32B includes a Bn filter 321b that transmits blue and narrow band light, and a Gn that transmits green and narrow band light, which are provided along the circumferential direction on the outer peripheral side of the rotary filter 32. And a filter 321g.
  • the Bn filter 321b has a center wavelength set near 415 nm and is configured to transmit light in a narrow band (Bn light) compared to the B light.
  • the Gn filter 321g has a center wavelength set near 540 nm and is configured to transmit light in a narrow band (Gn light) compared to G light.
  • the white light emitted from the white light source 31 is discretized through the second filter group 32B, thereby generating a plurality of bands of narrowband light for the narrowband light observation mode.
  • the processor 4 has a function as an image processing apparatus. Specifically, the processor 4 includes an image processing unit 41 and a control unit 42.
  • the image processing unit 41 includes an image data generation unit 41a, a calculation unit 41b, and a video signal generation unit 41c.
  • the image data generation unit 41 a of the image processing unit 41 is obtained in the CCD 23 by performing processing such as noise removal and A / D conversion on the output signal from the endoscope 2 based on the control of the control unit 42. Image data corresponding to the obtained image is generated.
  • the calculation unit 41b of the image processing unit 41 performs a predetermined process using the image data generated by the image data generation unit 41a, thereby performing a region division process on the image data obtained by imaging the living tissue 101.
  • a region division process on the image data obtained by imaging the living tissue 101.
  • the video signal generation unit 41c of the image processing unit 41 generates and outputs a video signal by performing processing such as gamma conversion and D / A conversion on the image data generated by the image data generation unit 41a.
  • the control unit 42 is configured to cause the light source device 3 to emit broadband light for the normal light observation mode when it is detected that an instruction to switch to the normal light observation mode is performed based on the instruction of the observation mode switch 24. Control is performed on the rotary filter drive unit 35. Then, based on the control of the control unit 42, the rotary filter driving unit 35 inserts the first filter group 32A on the emission light path of the white light source 31, and the second filter from the emission light path of the white light source 31. The motor 34 is operated so as to retract the group 32B.
  • the control unit 42 has a plurality of bands of narrowband light for the narrowband light observation mode. Is controlled with respect to the rotary filter driving unit 35. Then, based on the control of the control unit 42, the rotary filter driving unit 35 inserts the second filter group 32B on the emission light path of the white light source 31, and the first filter from the emission light path of the white light source 31.
  • the motor 34 is operated so as to retract the group 32A.
  • an image having substantially the same color as when the object is viewed with the naked eye. Can be displayed on the display device 5 and / or stored in the external storage device 6. Further, according to the configuration of the endoscope apparatus 1 described above, when the narrowband light observation mode is selected, an image (narrowband light image) in which blood vessels included in the living tissue 101 are emphasized is displayed. It can be displayed on the device 5 and / or stored in the external storage device 6.
  • the operator turns on the power of each part of the endoscope apparatus 1 and then selects the normal light observation mode with the observation mode switch 24. Then, the operator looks at the endoscope 2 while viewing the image displayed on the display device 5 when the normal light observation mode is selected, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting into the body cavity, the distal end portion 21b is brought close to the site where the biological tissue 101 to be observed exists.
  • the observation mode changeover switch 24 When the normal light observation mode is selected by the observation mode changeover switch 24, light of each color of R light, G light, and B light is sequentially emitted from the light source device 3 to the living tissue 101, and the light of each color is emitted from the endoscope 2. Images corresponding to each are acquired.
  • the image data generation unit 41a of the image processing unit 41 generates image data corresponding to each image when an image corresponding to the R light, an image corresponding to the G light, and an image corresponding to the B light are input. (Step S1 in FIG. 5).
  • the pixel values of the jth pixel (1 ⁇ j ⁇ ISX ⁇ ISY) in the R, G, and B planes are rj, gj, and bj, respectively.
  • the calculation unit 41b of the image processing unit 41 calculates a predetermined tone characteristic amount used for subsequent processing for each pixel of the image data (step in FIG. 5). S2).
  • the calculation unit 41b uses the predetermined color tone feature value (the color tone feature value calculated based on image data generated when the normal light observation mode is selected) as R.
  • the value of gj / rj which is the ratio of the pixel value rj of the jth pixel of the plane and the pixel value gj of the jth pixel of the G plane, is set for each pixel (first to (ISX ⁇ ISY) th pixel). In all).
  • the calculation unit 41b of the image processing unit 41 uses the predetermined color tone feature amount calculated in step S2 of FIG. 5 to divide the region in which the blood vessel exists in the living tissue 101 from other regions. Process.
  • the region corresponding to the inside of the blood vessel (inside the blood vessel) as shown in FIG. 6 is a dot pattern, and the region corresponding to the background mucosa (outside the blood vessel) is white.
  • description will be given assuming that processing is performed on schematic image data in which the boundary line between these two regions is shown as a thin solid line.
  • FIG. 6 schematically shows a blood vessel having a complicated shape called an aggregate venule of the gastric mucosa, which is observed using a magnifying endoscope.
  • the blood vessel and the background mucosa are not limited to those including only the background mucosal region.
  • Image data that further includes these various structures is acquired.
  • a series of processes described below can be applied by regarding these various structures as belonging to another category different from both the blood vessel and the background mucosa region, and appropriately increasing the number of categories.
  • the calculation unit 41b is disclosed in Non-Patent Document 3 (Christophe Samson, Laure Blanc-Feraud, Gilles Albert, and Josiane Zerbia: “Multiphase Evolution and Variation AffinitySimilarImage”.
  • An operation for estimating the number of categories in the calculation of the contour detection method using the active contour model and the parameter for each category is performed (step S3 in FIG. 5).
  • a specific example of such a parameter estimation method will be described below.
  • the calculation unit 41b applies a convolution calculation using a known edge detection filter (for example, a filter of size 5 ⁇ 5 shown in FIG. 7) to the G plane of the schematic image data in FIG. A region having an edge (region having a large pixel value variation and a long edge) and a global background region (region having almost no edge) are extracted.
  • a known edge detection filter for example, a filter of size 5 ⁇ 5 shown in FIG. 7
  • the calculation unit 41b for example, After binarizing and extracting each pixel where
  • the hemoglobin absorbs the wavelength component contained in the G light.
  • the value becomes relatively small with respect to the pixel value of the peripheral mucous membrane.
  • the pixel value of pit becomes relatively larger than the pixel value of the peripheral mucous membrane.
  • the calculation unit 41b creates a large edge map L different from the edge map M in order to extract clear blood vessel edges.
  • the computing unit 41b creates the large edge map L described above by binarizing and extracting each pixel that is
  • > Th1 (for example, Th1 10).
  • Th1 is not limited to a fixed value, but is adaptively determined so as to include the upper 20% of pixel values in the histogram related to the pixel value gaj, for example. Also good.
  • the reason for creating the large edge map L is as follows.
  • the computing unit 41b refers to the edge map M and the large edge map L to determine that a large edge exists in the large edge map L among the connected components m1 to mC of the edge map M.
  • a process of selecting the connected component mc (one or more) that overlaps the existing pixel is performed. With such a process, it is possible to extract only one or a plurality of connected components having a high possibility that a blood vessel is imaged, corresponding to a region having a large edge, from among the connected components of the edge map M. .
  • the calculation unit 41b determines each closed region constituted by each connected component mc determined as a connected component having a large edge based on the processing result of the above-described processing, for example, in Japanese Patent Laid-Open No. 11-003428. Extraction is performed using the disclosed closed region detection technique.
  • the representative region Ad (1 ⁇ d ⁇ D) extracted in this way is a region including various structural components to be subjected to region division in the image, and is relatively clear among the various structural components. It is extracted as a region containing things.
  • the calculation unit 41b regards the pixel group that has not been extracted as an edge in the edge map M as a global background region and extracts the pixel group.
  • the calculation unit 41b repeats the process of integrating the regions having similar values of the color tone characteristic amounts gj / rj into one category in each extracted representative region Ad to form one category as illustrated in FIG.
  • the total number of categories K (1 ⁇ K) included in the correct image data is estimated.
  • a process related to clustering using a tone characteristic amount and its histogram as disclosed in Japanese Patent Application Laid-Open No. 2007-175432 can be applied.
  • the calculation unit 41b obtains the average value and standard deviation ⁇ GR i and ⁇ GR i (1 ⁇ i ⁇ ) of the tone characteristic amount gj / rj. K) is calculated.
  • the calculation unit 41b sets a region including a structural component such as a blood vessel and a background mucous membrane region based on an input operation performed on an input interface (not shown), and a category number i (1) for each set region.
  • ⁇ i ⁇ K, where K is the number of categories) a calculation result obtained by calculating the average value and standard deviation of the tone characteristic amount gj / rj for each region to which the category number is assigned may be acquired.
  • estimation accuracy can be improved.
  • pixels that are not suitable for calculation of the tone characteristic amount such as pixels that are not sufficiently bright and high-luminance pixels such as halation, may be excluded by threshold processing, and the parameter may be estimated.
  • the series of processes described above is not limited to the estimation of the parameter based on the image Ga in which the edge detection filter is applied to the G plane.
  • the tone characteristic amount gj / rj of each pixel is calculated.
  • the parameter may be estimated directly using the value.
  • the parameter is estimated by directly using the value of the color tone characteristic amount gj / rj, it is possible to reduce the influence of the magnitude of light quantity and shading, which can cause the pixel value to fluctuate in a multiplier manner. .
  • the value of gj / rj in a normal endoscopic image is substantially within the range of 0 ⁇ gj / rj ⁇ 1.
  • a series of threshold values may be appropriately determined.
  • the histological structure is the same depending on factors such as what kind of tissue properties are present in the mucosal microstructure such as blood vessels and pits, and how deep the submucosa exists.
  • the colors are different from each other despite belonging to the category.
  • the blood vessel 1 and the blood vessel 2 may be separated into a plurality of categories, and the parameters may be estimated for each of the plurality of categories. Specifically, after the integration criteria for integrating the representative regions Ad or the separation criteria for each region after the integration of the representative regions Ad is appropriately determined and the final number of categories is estimated, each category This can be realized by estimating the parameter every time.
  • the value of gj / rj is not limited to the color tone feature value, and for example, one of the value of gj / rj or the value of bj / gj is set as an extraction target. It may be used while being appropriately selected as the color tone feature amount according to the category.
  • the estimation method described above it is possible to obtain an estimation result that the total number of K categories is included in the schematic image data of FIG. Further, according to the estimation method described above, the average value ⁇ GR i and the standard deviation ⁇ GR i of the values of the predetermined tone characteristic amount gj / rj in the i-th category among all K categories are calculated using the above-mentioned mother. It can be obtained as an estimation result of the number.
  • the calculation unit 41b applies the category number and parameter estimation results obtained in step S3 of FIG. 5 to the contour detection formula of the MS method, thereby performing calculation related to region division (FIG. 5). Step S4).
  • the above-described contour detection formula the above-mentioned non-patent document 3 (Christophe Samson, Laure Blanc-Feraud, Gilles Albert, and Josiane Zerubia: “Multiphase EvolutionAlipariSation”. The following mathematical formula (1) is used.
  • ⁇ i (1 ⁇ i ⁇ K) in the above formula (1) is called a distance function.
  • F ⁇ ( ⁇ 1 ,..., ⁇ K ) in Equation (1) indicates an evaluation value when the entire region ⁇ including all K categories is divided into regions. That is, by obtaining a boundary that minimizes the value of F ⁇ ( ⁇ 1 ,..., ⁇ K ) through an iterative process (for example, which will be described later), it is possible to realize image segmentation.
  • the three terms on the right side in the formula (1) are, in order, the terms that become smaller as the parameters of the feature values in the divided regions become closer to ⁇ i and ⁇ i , and the length of the boundary line is shorter. This means a term that becomes smaller (less complicated) and a term that controls overlapping of regions.
  • the distance function ⁇ i that minimizes the evaluation value F ⁇ ( ⁇ 1 ,..., ⁇ K ) is obtained through the iterative process of the following formula (2). be able to.
  • the calculation unit 41b calculates the evaluation value F ⁇ calculated using the distance function ⁇ i obtained when the t-th and (t + 1) -th iterations are reached in the iteration process using the mathematical formula (2).
  • the processing result when this is detected is acquired as the region division result converged to the final boundary.
  • the processing result (distance function ⁇ i and evaluation value F ⁇ ( ⁇ 1 ,..., ⁇ K )) when the predetermined number of repetitions is reached is divided into regions in order to reduce the calculation time. It shall be acquired as a result.
  • e i and ⁇ i in the above formulas (1) and (2) indicate the weighting factors of the first term and the second term on the right side of each category, respectively.
  • by changing the values of these weighting factors as appropriate the importance for each term on the right side or each category is changed, that is, the convergence result (region division result) of the region boundary is controlled. can do.
  • ⁇ ⁇ and H ⁇ in the above formulas (1) and (2) indicate functions that approximate the Dirac delta function and the Heaviside distribution, respectively.
  • step S4 in FIG. 5 the calculation unit 41b sets a predetermined tone characteristic amount gj / rj (for each pixel) obtained as a processing result in step S2 in FIG. 5 to u 0 in the above equation (2).
  • the distance function ⁇ i is updated by substituting and calculating.
  • the calculation unit 41b determines whether or not the number of calculations in step S4 in FIG. 5 has reached a predetermined number of calculations (for example, 2000) (step S5 in FIG. 5). When the calculation unit 41b detects that the number of calculations in step S4 in FIG. 5 has not reached the predetermined number of calculations, the calculation unit 41b returns to step S4 in FIG. 5 to calculate the distance function ⁇ i at the next number of iterations. .
  • a predetermined number of calculations for example, 2000
  • step S4 in FIG. 5 repeats the process of step S4 in FIG. 5 until the determination result that the number of calculations in step S4 in FIG. 5 has reached the predetermined number of calculations is obtained in step S5 in FIG. . Then, in step S5 in FIG. 5, the calculation unit 41b obtains a result of determination that the number of calculations in step S4 in FIG. End the process.
  • FIG. 8 is a diagram showing a case where a plurality of circles drawn using thick solid lines in the schematic image data of FIG.
  • the present embodiment by performing the region division processing as described above using the image data generated by the image data generation unit 41a, the region where the blood vessel exists in the living tissue 101 and other regions The area can be clearly distinguished. As a result, according to the present embodiment, the detection accuracy of blood vessels existing in the living tissue 101 can be improved as compared with the conventional case.
  • the area division processing according to the present embodiment is not limited to an image obtained when the normal light observation mode is selected, and for example, an image obtained when the narrowband light observation mode is selected. Even if (an image corresponding to Bn light and an image corresponding to Gn light) are used, it can be performed in substantially the same manner.
  • the region division processing of the present embodiment is performed using a value obtained by dividing the pixel value of the image data corresponding to the R light from the pixel value of the image data corresponding to the G light as the predetermined tone characteristic amount. For example, it may be performed using a value obtained by dividing the pixel value of the image data corresponding to the G light from the pixel value of the image data corresponding to the B light. Further, the region division processing of the present embodiment is performed using a pixel value of any one of the image data among the image data corresponding to the R light, the G light, and the B light as the predetermined tone characteristic amount. It may be a thing.
  • the area division processing of the present embodiment is a post-conversion that is obtained by converting the RGB color system pixel values into the HSI color system or the L * a * b * color system as the predetermined tone characteristic amount. It may be performed using a value.
  • the predetermined color tone feature amount is not limited to using only one feature amount whose occurrence frequency follows a normal distribution, and a plurality of features whose occurrence frequencies follow a multivariate normal distribution, respectively.
  • the amounts may be used simultaneously.
  • the variance-covariance matrix ⁇ may be used as the parameter of the above equation (1).
  • the region division is not limited to the two categories of the region where the blood vessel exists and the region corresponding to the background mucous membrane. Area division may be performed based on each category corresponding to an element that can be included in an endoscopic image, such as a pit, MCE (Marginal Crypto Epithelium), white moss, and mucus.
  • the color feature occurrence frequency is not limited to the case where the region division process is performed on the assumption that the occurrence frequency of the color feature amount follows a normal distribution (multivariate normal distribution).
  • a normal distribution multivariate normal distribution
  • the color feature in each region to be divided Depending on the distribution state of the quantity, any one of a normal distribution and another probability distribution (other than the normal distribution) may be appropriately selected and set to perform the region division processing.
  • clustering may be performed directly using feature values of all pixels including the background region.
  • processing is performed using the endoscope apparatus 1 having the same configuration as that of the first embodiment. For this reason, in the present embodiment, detailed description regarding the configuration of the endoscope apparatus is omitted.
  • the number of categories used for the calculation of the above formula (1) and the estimation method of the parameter for each category are mainly different.
  • the description will be made mainly on the parts different from those in the first embodiment, and the parts similar to those in the first embodiment will be omitted as appropriate.
  • the operator turns on the power of each part of the endoscope apparatus 1 and then selects the normal light observation mode with the observation mode switch 24. Then, the operator looks at the endoscope 2 while viewing the image displayed on the display device 5 when the normal light observation mode is selected, that is, an image having substantially the same color as when the object is viewed with the naked eye. By inserting into the body cavity, the distal end portion 21b is brought close to the site where the biological tissue 101 to be observed exists.
  • the observation mode changeover switch 24 When the normal light observation mode is selected by the observation mode changeover switch 24, light of each color of R light, G light, and B light is sequentially emitted from the light source device 3 to the living tissue 101, and the light of each color is emitted from the endoscope 2. Images corresponding to each are acquired.
  • the image data generation unit 41a When an image corresponding to the R light, an image corresponding to the G light, and an image corresponding to the B light are input, the image data generation unit 41a generates image data corresponding to each image (FIG. 11). Step S11).
  • the calculation unit 41b calculates a value of a predetermined tone characteristic amount gj / rj used for subsequent processing for each pixel of the image data (step in FIG. 11). S12).
  • the calculation unit 41b has a class number in each region that does not satisfy a predetermined condition described later among all the regions (the entire image in the case of the first processing) existing in the schematic image data of FIG.
  • the parameters average values ⁇ i and variances ⁇ i 2 of predetermined tone characteristics
  • Step S14 the parameters (average values ⁇ i and variances ⁇ i 2 of predetermined tone characteristics) in each of the two classes are estimated (FIG. 11).
  • the EM algorithm is a known technique that can estimate a plurality of parameters in a mixed normal distribution. Therefore, detailed description regarding the EM algorithm is omitted.
  • the classification in the two classes is repeated a sufficient number of times, and the results obtained are integrated to estimate the number of categories present in the image and to estimate the population of each category.
  • a description will be given assuming that the EM algorithm is applied.
  • a predetermined color tone feature amount in each pixel of the image data generated by the image data generation unit 41a (for example, a value obtained by dividing the pixel value of the image data corresponding to the R light from the pixel value of the image data corresponding to the G light).
  • a mixed normal distribution in which two classes of normal distributions are combined is shown, for example, as shown in FIG.
  • the calculating part 41b performs the calculation which concerns on E step and M step of EM algorithm, when calculation stop conditions (For example, when the likelihood improvement of two classes becomes below a threshold value.
  • a threshold value is set to 0.01.
  • the parameters defining the first normal distribution in which the frequency peak has a relatively low value the average value and variance of the predetermined tone feature amount
  • the frequency peak Are estimated (step S13 and step S14 in FIG. 11), respectively, which are parameters (average value and variance of predetermined color tone feature values) that define the second normal distribution having a relatively high value.
  • the first normal distribution and the second normal distribution described above are shown as shown in FIG. 13, for example.
  • the calculation unit 41b uses the normal distribution based on the parameters obtained as the calculation result of step S14 in FIG. 11, and the value of the tone characteristic amount gj / rj of each pixel in the schematic image data in FIG.
  • the first normal distribution and the second normal distribution are determined, and a label 1 or 2 representing a class (category) is assigned to each pixel (step S15 in FIG. 11).
  • each pixel in the schematic image data of FIG. 6 is classified into either class (category) 1 or 2 based on the value of the predetermined color tone feature quantity gj / rj.
  • the calculation unit 41b applies the series of processes in steps S13 to S15 again to the pixel groups classified as classes (categories) 1 and 2 obtained as a result of the process in step S15 in FIG. It is determined whether or not to perform (step S16 in FIG. 11).
  • the pixels included in the image are basically classified into two classes (categories) by the first classification process in step S15 of FIG.
  • the number of classes (categories) corresponding to the structural components actually included in the image, or the optimum number of classes (categories) when performing the area division processing is unknown unless otherwise specified. Therefore, in the classification result obtained by the first classification process of step S15 in FIG. 11, two classes (categories) are included while including pixel groups that should be classified into different classes (categories). May be classified.
  • the calculation unit 41b further selects a pixel group (region) to which labels representing classes (categories) 1 and 2 are assigned according to whether or not a predetermined condition is satisfied in step S16 of FIG. Processing for determining whether or not to divide into a plurality of classes (categories) is performed. Specifically, the calculation unit 41b determines that the difference between the average values ⁇ p between two pixel groups (regions) to which labels representing classes (categories) 1 and 2 are assigned is a threshold value (for example, the threshold value is 0.1).
  • a threshold for example, the threshold is set to 0.1 ⁇ ISX ⁇ ISY
  • a predetermined condition it is determined that a predetermined condition is satisfied.
  • the arithmetic unit 41b satisfies the predetermined condition when at least one of the pixel groups (regions) to which the labels indicating the classes (categories) 1 and 2 are assigned does not satisfy the predetermined condition.
  • the process of classifying each pixel group (region) into two classes (categories) is repeated by applying the series of processing of steps S13 to S15 again to each non-pixel group (region).
  • the calculation unit 41b includes a predetermined color feature (gj / rj) of the entire region. ) Are integrated with each other, or by excluding each region with a predetermined overlap in the distribution of predetermined tone characteristics (gj / rj).
  • the number of all categories used for the calculation of 1) is estimated (step S17 in FIG. 11).
  • the calculation unit 41b estimates a calculation result obtained by calculating an average value and a variance of a predetermined tone characteristic amount (gj / rj) for each category as a parameter used for the calculation of the formula (1) (FIG. 11). Step S17).
  • step S17 only the two categories of the region corresponding to the inside of the blood vessel (inside of the blood vessel) and the region corresponding to the background mucosa (outside of the blood vessel) such as the interstitial part are obtained by the process of step S17 in FIG. It is assumed that an estimation result that the image data is included in the schematic image data in FIG. 6 is obtained.
  • the calculation unit 41b performs the same processing as the processing in steps S4 and S5 in FIG. 5 described in the description of the first embodiment, and the processing in steps S18 and S19 in FIG. As shown in FIG.
  • the present embodiment by performing the region division processing as described above using the image data generated by the image data generation unit 41a, the region where the blood vessel exists in the living tissue 101 and other regions The area can be clearly distinguished. As a result, according to the present embodiment, the detection accuracy of blood vessels existing in the living tissue 101 can be improved as compared with the conventional case.
  • step S16 in FIG. 11 After a series of processes in steps S13 to S15 in FIG. 11 are repeatedly performed, if it is determined in step S16 in FIG. There may be a case where a processing result is obtained in which a pixel group that should have been excessively divided is obtained. In such a case, before performing the process of step S17 of FIG. 11, for example, by applying a process related to clustering as disclosed in Japanese Patent Application Laid-Open No. 2007-175432 to the process result. The regions having similar parameter values may be reintegrated.
  • the calculation is performed using the average value of the predetermined tone characteristic amount and the estimation result of the variance as the parameters of the above formula (1). It is also possible to perform processing. Specifically, for example, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 10, NO. According to the contour detection method disclosed in “Active Contours Without Edges” of No. 2 (February 2001), the calculation is performed by using only the estimation result of the average value of a predetermined tone characteristic amount as a parameter. The result of area division processing substantially the same as in each of the embodiments described above can be obtained.
  • the processing using the color tone feature amount as the feature amount has been described as an example.
  • other feature amounts other than the color tone feature amount are used.
  • the processing may be performed by appropriately selecting or using the color feature amount and the other feature amount in combination.
  • a structural feature amount such as a Gabor feature obtained by applying a known Gabor filter to an image may be used.
  • the processing may be performed using the color tone feature amount calculated for each pixel, or a small area composed of a plurality of pixels (for example, 4 ⁇ 4 pixels). Processing may be performed using the tone characteristic amount calculated for each.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

 本発明の医用画像処理装置は、医用画像に対する領域分割処理を行うことが可能な医用画像処理装置であって、前記医用画像から少なくとも1つの特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された特徴量に基づき、前記医用画像において複数のカテゴリを設定するカテゴリ設定部と、前記特徴量算出部により算出された特徴量に基づき、前記カテゴリ設定部により設定されたカテゴリにそれぞれ分類される前記医用画像の各領域毎に母数を設定する母数設定部と、前記カテゴリ設定部により設定されたカテゴリの数と、前記母数設定部により設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割部と、を備える。

Description

医用画像処理装置及び医用画像処理方法
 本発明は、医用画像処理装置及び医用画像処理方法に関し、特に、生体組織を撮像して得た医用画像に対して領域分割処理を行う医用画像処理装置及び医用画像処理方法に関するものである。 
 生体組織を撮像して得た画像の特徴量の算出結果に基づき、該画像において所定の対象物が存在する領域を検出する技術が従来利用されている。また、Level-Set法等の、位相変化が可能な動的輪郭検出手法により画像を領域分割するための手法が八木 康史、斉藤英雄編:「コンピュータビジョン最先端ガイド<1>」、pp.1-28、アドコム・メディア株式会社(2009)(以降、非特許文献1と呼ぶ)、Tony F. Chan and Luminita A. Vese:「Active Contours Without Edges」,IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.10, NO.2,FEBRUARY 2001,pp.266-277(以降、非特許文献2と呼ぶ)、及び、Christophe Samson,Laure Blanc-Feraud, Gilles Aubert, and Josiane Zerubia:「Multiphase Evolution and Variational Image Classification」, INRIA Sophia Antipolis(1999)(以降、非特許文献3と呼ぶ)に開示されている。
 さらに、例えば日本国特開2007-313119号公報(以降、特許文献1と呼ぶ)には、体腔内画像の画素のエッジ強度を算出し、該エッジ強度と泡画像の特徴に基づいて予め設定された泡モデルとの相関値を算出し、該体腔内画像のエッジに基づいて該体腔内画像を領域分割し、該相関値及び領域分割結果に基づいて該体腔内画像における泡領域を検出する技術が開示されている。
 ところで、近年、内視鏡(カプセル型内視鏡も含む)システムの高解像度化、拡大内視鏡の普及、及び、狭帯域光観察の普及により、微細血管像及びpit(腺口)構造等の粘膜微細構造の観察の重要性が高まってきている。
 生体組織における粘膜微細構造の形態及び分布状況は、正常組織と腫瘍組織との分別、さらには癌の深達度の推定等の病変の診断に有用であると考えられている。但し、このような診断は、殆どの場合において、主に医師の経験及び知識に応じた主観的見地に基づいて行われる。そのため、医師の主観的見地によらない診断手法としての、例えば、画像解析手法を用いた粘膜微細構造所見の鑑別診断支援手法の実現が望まれている。そして、このような鑑別診断支援手法が、コンピュータ診断支援(Computer Aided Diagnosis、CAD)の一つとして研究されている。
 一方、内視鏡画像における粘膜微細構造の所見の解析においては、所見が多種多様かつ複雑であるとともに、内視鏡画像を取得する際の観察距離、方向、角度、及び、照明光量等の撮像条件が不定であるため、所見に応じた粘膜微細構造を内視鏡画像から抽出することが困難であると考えられている。
 例えば、特許文献1に記載された領域分割方法及び検出方法に係る技術は、略一様に大きなエッジ強度を有するような泡が撮像された画像に対して適用した場合には有効な処理結果が得られる反面、大小様々な強度のエッジを有し得る血管が撮像された画像に対して適用した場合には有効な処理結果を得ることが困難である、という課題を有している。その結果、例えば、血管を撮像して得た画像に対し、特許文献1に記載された領域分割方法及び検出方法に係る技術を用いた場合、血管の検出精度の低下を招いてしまう。
 また、Level-Set法と呼ばれる動的輪郭検出手法により画像を領域分割するための手法が非特許文献1に開示されている。具体的には、非特許文献1には、画像内の構造成分のエッジの大きさに基づく繰り返し処理を行うことにより、該画像における領域を規定する境界線を動的に設定することが可能な技術が開示されている。
 しかし、内視鏡画像においては、画像内の構造成分として、形状輪郭及び透見可能な血管等の明確なエッジを有するものの他に、微細血管、pit(腺口)、及び、粘膜微細模様等の明確なエッジを有しないものも多種多様に含まれ得る。そのため、非特許文献1に開示された手法により内視鏡画像を領域分割したとしても、該内視鏡画像から粘膜微細構造を抽出するという用途においては、必ずしも良好な結果を得ることができない。
 これに対し、Level-Set法と類似の手法として、Mumford-Shahモデルに基づく動的輪郭検出手法(以下、M-S法と称する)により画像を領域分割するための手法が非特許文献2に開示されている。非特許文献2に開示された手法は、繰り返し処理を行うことにより領域を規定する境界線を動的に設定するという点においては前述のLevel-Set法と同様である一方、境界の内外における各領域の特徴量の平均値等の値に基づいて境界線を設定可能である点において相違点を有している。具体的には、非特許文献2には、領域を規定する境界線について繰り返し処理を用いて動的に設定する際に、領域の内外において特徴量がなるべく一様になるように境界線を設定することにより、明瞭なエッジを有しない構造が含まれている画像に対しても領域分割を行うことが可能な技術が開示されている。
 しかし、非特許文献2に開示された手法によれば、例えば、領域の内外における特徴量の分布の重複が少ない画像、または、明るさが均一な領域が孤立して存在している等の比較的単純な画像に適用した場合には良好な結果を得られる反面、複雑な粘膜微細構造が含まれ得るとともに、観察距離、方向、角度、及び、照明光量等の撮像条件が常に変化し得る内視鏡画像に適用した場合においては、必ずしも良好な結果が得ることができない。具体的には、非特許文献2に開示された手法によれば、例えば、複数の微細血管が撮像された内視鏡画像において、粘膜下を走行する深さの微妙な違い、視野内の位置における光量の変化、及び、周辺の粘膜から反射した二次光等の影響を考慮して特徴量を算出した場合に、該特徴量が非常に広い範囲に分布してしまうため、微細血管の境界線を正確に設定することができない。
 また、非特許文献3には、非特許文献2に開示されたものと略同様のアルゴリズムを用いる一方で、境界の内外における領域毎の特徴量の分布を正規分布モデルとし、さらに、母数である平均値μ及び標準偏差σ(または標準偏差の二乗である分散σ)を予め設定しておくことにより、各領域の特徴量の母数が設定された母数に近付くように境界線を設定する手法が開示されている。
 一方、非特許文献1~3に開示された手法のいずれかを内視鏡画像の領域分割に適用する場合においては、少なくとも下記の(A)~(D)を勘案する必要がある。しかし、非特許文献1~3には、下記の(A)~(D)について着想されておらず、具体的な開示もされていない。
 (A)分割される各カテゴリ毎に母数を予め設定する必要がある。
 (B)内視鏡画像においては、分割される領域のカテゴリ数が未知であるため、動的に輪郭を設定するための関数をいくつ用意するかが不明である。
 (C)(B)に加え、非特許文献3に開示された手法を用いる場合には、カテゴリ数に対応する母数をいくつ用意するかが不明であるとともに、それらの母数の値をどのように設定するかが問題となる。領域分割結果の精度が設定された母数に依存することを考慮した場合、画像毎に適切な母数を設定する必要がある。
 (D)内視鏡画像においては、例えば血管を例に挙げると、組織学的には血管という1つのカテゴリに属するものとして扱われる一方で、構造成分の特徴量の違いに応じた相互に異なるカテゴリに属するものとして扱いながら画像の領域分割を行う必要が生じる場合がある。
 本発明は、前述した事情に鑑みてなされたものであり、例えば生体粘膜表面を撮像して得た画像(内視鏡またはカプセル型内視鏡を用いて得たものを含む)において、処理対象となる画像毎に分割すべき領域のカテゴリ数を推定して各カテゴリ毎の特徴量の母数を適切に設定することにより、血管及びpit等の粘膜微細構造が存在する領域と、出血、残渣及び白苔等の物質が存在する領域と、を各々異なる領域として良好に分割することができるため、結果的に、画像内に存在する所望の成分の検出精度を向上させることが可能な医用画像処理装置及び医用画像処理方法を提供することを目的としている。
 本発明の医用画像処理装置は、医用画像に対する領域分割処理を行うことが可能な医用画像処理装置であって、前記医用画像から少なくとも1つの特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された特徴量に基づき、前記医用画像において複数のカテゴリを設定するカテゴリ設定部と、前記特徴量算出部により算出された特徴量に基づき、前記カテゴリ設定部により設定されたカテゴリにそれぞれ分類される前記医用画像の各領域毎に母数を設定する母数設定部と、前記カテゴリ設定部により設定されたカテゴリの数と、前記母数設定部により設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割部と、を備えている。
 本発明の医用画像処理装置は、医用画像に対する領域分割処理を行うことが可能な医用画像処理装置であって、前記医用画像から少なくとも1つの特徴量を算出する特徴量算出部と、前記医用画像に含まれる構造成分に対応する複数の構造成分領域を設定する構造成分領域設定部と、前記複数の構造成分領域各々において、前記特徴量が相互に類似する領域同士を統合する領域統合部と、前記領域統合部による統合結果に基づいてカテゴリを設定するカテゴリ設定部と、前記領域統合部による統合結果として得られた構造成分領域各々における前記特徴量に基づき、該統合結果として得られた構造成分領域毎にそれぞれ母数を設定する母数設定部と、前記カテゴリ設定部により設定されたカテゴリの数と、前記母数設定部により設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割部と、を備えている。
 本発明の医用画像処理方法は、医用画像に対する領域分割処理を行うための医用画像処理方法であって、前記医用画像から少なくとも1つの特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにより算出された特徴量に基づき、前記医用画像において複数のカテゴリを設定するカテゴリ設定ステップと、前記特徴量算出ステップにより算出された特徴量に基づき、前記カテゴリ設定ステップにより設定されたカテゴリにそれぞれ分類される前記医用画像の各領域毎に母数を設定する母数設定ステップと、前記カテゴリ設定ステップにより設定されたカテゴリの数と、前記母数設定ステップにより設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割ステップと、を備えている。
 本発明の医用画像処理方法は、医用画像に対する領域分割処理を行うための医用画像処理方法であって、前記医用画像から少なくとも1つの特徴量を算出する特徴量算出ステップと、前記医用画像に含まれる構造成分に対応する複数の構造成分領域を設定する構造成分領域設定ステップと、前記複数の構造成分領域各々において、前記特徴量が相互に類似する領域同士を統合する領域統合ステップと、前記領域統合ステップによる統合結果に基づいてカテゴリを設定するカテゴリ設定ステップと、前記領域統合ステップによる統合結果として得られた構造成分領域各々における前記特徴量に基づき、該統合結果として得られた構造成分領域毎にそれぞれ母数を設定する母数設定ステップと、前記カテゴリ設定ステップにより設定されたカテゴリの数と、前記母数設定ステップにより設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割ステップと、を備えている。
本発明の実施例に係る医用画像処理装置を有する内視鏡装置の要部の構成の一例を示す図。 図1の光源装置が有する回転フィルタの構成の一例を示す図。 図2の第1のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図2の第2のフィルタ群が有する各フィルタの透過特性の一例を示す図。 本発明の第1の実施例において行われる処理の一例を示すフローチャート。 処理対象となる画像データの一例を示す模式図。 エッジ検出フィルタの一例を示す図。 図6の画像データにおいて、複数の円を領域分割に係る演算の初期解として設定した場合を示す図。 領域分割処理に係る演算の途中経過の一例を示す図。 領域分割処理に係る演算により得られる処理結果の一例を示す図。 本発明の第2の実施例において行われる処理の一例を示すフローチャート。 画像データの各画素における所定の色調特徴量の生起頻度に係る混合正規分布の一例を示す図。 図12の混合正規分布に基づいて推定される2つの正規分布の一例を示す図。
 以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
(第1の実施例)
 図1から図10は、本発明の第1の実施例に係るものである。
 内視鏡装置1は、図1に示すように、被検者の体腔内に挿入され、該体腔内の生体組織101等の被写体を撮像して得た画像を信号出力する内視鏡2と、生体組織101を照明するための照明光を発する光源装置3と、内視鏡2からの出力信号に対して種々の処理を施すプロセッサ4と、プロセッサ4からの映像信号に応じた画像を表示する表示装置5と、プロセッサ4における処理結果に応じた出力信号を記憶する外部記憶装置6と、を有して構成されている。
 内視鏡2は、被検者の体腔内に挿入可能な形状及び寸法を備えた挿入部21aと、挿入部21aの先端側に設けられた先端部21bと、挿入部21aの基端側に設けられた操作部21cと、を有して構成されている。また、挿入部21aの内部には、光源装置3において発せられた照明光を先端部21bへ伝送するためのライトガイド7が挿通されている。
 ライトガイド7の一方の端面(光入射端面)は、光源装置3に着脱自在に接続される。また、ライトガイド7の他方の端面(光出射端面)は、内視鏡2の先端部21bに設けられた図示しない照明光学系の近傍に配置されている。このような構成によれば、光源装置3において発せられた照明光は、光源装置3に接続された状態のライトガイド7、及び、先端部21bに設けられた図示しない照明光学系を経た後、生体組織101に対して出射される。
 内視鏡2の先端部21bには、被写体の光学像を結像する対物光学系22と、対物光学系22により結像された光学像を撮像して画像を取得するCCD23と、が設けられている。また、内視鏡2の操作部21cには、観察モードを通常光観察モードまたは狭帯域光観察モードのいずれかに切り替えるための指示を行うことが可能な観察モード切替スイッチ24が設けられている。
 光源装置3は、キセノンランプ等からなる白色光源31と、白色光源31から発せられた白色光を面順次な照明光とする回転フィルタ32と、回転フィルタ32を回転駆動させるモータ33と、回転フィルタ32及びモータ33を白色光源31の出射光路に垂直な方向に移動させるモータ34と、プロセッサ4の制御に基づいてモータ33及び34を駆動させる回転フィルタ駆動部35と、回転フィルタ32を通過した照明光を集光してライトガイド7の入射端面に供給する集光光学系36と、を有している。
 回転フィルタ32は、図2に示すように、中心を回転軸とした円板状に構成されており、内周側の周方向に沿って設けられた複数のフィルタを具備する第1のフィルタ群32Aと、外周側の周方向に沿って設けられた複数のフィルタを具備する第2のフィルタ群32Bと、を有している。そして、モータ33の駆動力が前記回転軸に伝達されることにより、回転フィルタ32が回転する。なお、回転フィルタ32において、第1のフィルタ群32A及び第2のフィルタ群32Bの各フィルタが配置されている部分以外は、遮光部材により構成されているものとする。
 第1のフィルタ群32Aは、各々が回転フィルタ32の内周側の周方向に沿って設けられた、赤色の波長帯域の光を透過させるRフィルタ32rと、緑色の波長帯域の光を透過させるGフィルタ32gと、青色の波長帯域の光を透過させるBフィルタ32bとを有して構成されている。
 Rフィルタ32rは、例えば図3に示すように、主に600nmから700nmまでの光(R光)を透過させるような構成を有している。また、Gフィルタ32gは、例えば図3に示すように、主に500nmから600nmまでの光(G光)を透過させるような構成を有している。さらに、Bフィルタ32bは、例えば図3に示すように、主に400nmから500nmまでの光(B光)を透過させるような構成を有している。
 すなわち、白色光源31において発せられた白色光が第1のフィルタ群32Aを経ることにより、通常光観察モード用の広帯域光が生成される。
 第2のフィルタ群32Bは、各々が回転フィルタ32の外周側の周方向に沿って設けられた、青色かつ狭帯域な光を透過させるBnフィルタ321bと、緑色かつ狭帯域な光を透過させるGnフィルタ321gと、を有して構成されている。
 Bnフィルタ321bは、例えば図4に示すように、中心波長が415nm付近に設定され、かつ、B光に比べて狭い帯域の光(Bn光)を透過させるように構成されている。
 また、Gnフィルタ321gは、例えば図4に示すように、中心波長が540nm付近に設定され、かつ、G光に比べて狭い帯域の光(Gn光)を透過させるように構成されている。
 すなわち、白色光源31において発せられた白色光が第2のフィルタ群32Bを経て離散化されることにより、狭帯域光観察モード用の複数の帯域の狭帯域光が生成される。
 プロセッサ4は、画像処理装置としての機能を備えて構成されている。具体的には、プロセッサ4は、画像処理部41と、制御部42と、を有して構成されている。また、画像処理部41は、画像データ生成部41aと、演算部41bと、映像信号生成部41cと、を有して構成されている。
 画像処理部41の画像データ生成部41aは、制御部42の制御に基づき、内視鏡2からの出力信号に対してノイズ除去及びA/D変換等の処理を施すことにより、CCD23において得られた画像に応じた画像データを生成する。
 画像処理部41の演算部41bは、画像データ生成部41aにより生成された画像データを用いた所定の処理を行うことにより、生体組織101を撮像して得た画像データに対する領域分割処理を行う。なお、本実施例においては、前記画像データに血管が含まれているものとし、さらに、前記画像データにおいて血管が存在する領域とそれ以外の領域とを区別するような領域分割処理を行うものとする。このような領域分割処理の詳細については、後程詳述するものとする。
 画像処理部41の映像信号生成部41cは、画像データ生成部41aにより生成された画像データに対してガンマ変換及びD/A変換等の処理を施すことにより、映像信号を生成して出力する。
 制御部42は、観察モード切替スイッチ24の指示に基づき、通常光観察モードに切り替える指示が行われたことが検出された場合、通常光観察モード用の広帯域光を光源装置3から出射させるための制御を回転フィルタ駆動部35に対して行う。そして、回転フィルタ駆動部35は、制御部42の制御に基づき、白色光源31の出射光路上に第1のフィルタ群32Aを介挿させ、かつ、白色光源31の出射光路上から第2のフィルタ群32Bを退避させるように、モータ34を動作させる。
 また、制御部42は、観察モード切替スイッチ24の指示に基づき、狭帯域光観察モードに切り替える指示が行われたことが検出された場合、狭帯域光観察モード用の複数の帯域の狭帯域光を光源装置3から出射させるための制御を回転フィルタ駆動部35に対して行う。そして、回転フィルタ駆動部35は、制御部42の制御に基づき、白色光源31の出射光路上に第2のフィルタ群32Bを介挿させ、かつ、白色光源31の出射光路上から第1のフィルタ群32Aを退避させるように、モータ34を動作させる。
 すなわち、以上に述べた内視鏡装置1の構成によれば、通常光観察モードが選択された場合には、対象物を肉眼で見た場合と略同様の色合いを有する画像(通常光画像)を表示装置5に表示させ、かつ(または)、外部記憶装置6に記憶させることができる。また、以上に述べた内視鏡装置1の構成によれば、狭帯域光観察モードが選択された場合には、生体組織101に含まれる血管が強調された画像(狭帯域光画像)を表示装置5に表示表示させ、かつ(または)、外部記憶装置6に記憶させることができる。
 次に、本実施例の作用について説明を行う。
 まず、術者は、内視鏡装置1の各部の電源を投入した後、観察モード切替スイッチ24において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置5に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡2を体腔内に挿入してゆくことにより、観察対象の生体組織101が存在する部位に先端部21bを近接させる。
 観察モード切替スイッチ24において通常光観察モードが選択されると、R光、G光及びB光の各色の光が光源装置3から生体組織101へ順次出射され、内視鏡2において該各色の光に応じた画像がそれぞれ取得される。
 画像処理部41の画像データ生成部41aは、R光に応じた画像、G光に応じた画像、及び、B光に応じた画像が入力されると、各画像に対応する画像データをそれぞれ生成する(図5のステップS1)。
 なお、本実施例においては、R、G及びBの3つのプレーンからなり、水平方向ISX及び垂直方向ISYの画像サイズを備え、さらに、各画素の階調が0~255の8bitであるような画像データが画像データ生成部41aにより生成されるものとする。また、以降においては、R、G及びBの各プレーンにおけるj番目(1≦j<ISX×ISY)の画素の画素値をそれぞれrj、gj及びbjとして説明を進めるものとする。
 画像処理部41の演算部41bは、画像データ生成部41aにおいて生成された画像データに基づき、以降の処理に用いる所定の色調特徴量を該画像データの各画素毎に算出する(図5のステップS2)。
 より具体的には、本実施例の演算部41bは、前述の所定の色調特徴量(通常光観察モードが選択された際に生成される画像データに基づいて算出する色調特徴量)として、Rプレーンのj番目の画素の画素値rjとGプレーンのj番目の画素の画素値gjとの比である、gj/rjの値を各画素毎に(1番目~(ISX×ISY)番目の画素全てにおいて)算出する。
 なお、本実施例においては、画素値rj≠0が常に成り立つものと仮定し、さらに、前述の所定の色調特徴量の生起頻度が正規分布(多変量正規分布)に従うものと仮定して以降の説明を行う。
 その後、画像処理部41の演算部41bは、図5のステップS2において算出した所定の色調特徴量を用い、生体組織101において血管が存在する領域とそれ以外の領域とを区別するような領域分割処理を行う。
 ここで、本実施例の領域分割処理の詳細について述べる。なお、以降においては、説明の簡単のため、例えば図6のような、血管の内部(血管の内側)に相当する領域をドット模様とし、背景粘膜(血管の外側)に相当する領域を白とし、かつ、これら2つの領域の境界線を細い実線として示した、模式的な画像データに対して処理を行うものとして説明を進める。
 なお、図6は、拡大内視鏡を用いて観察される、胃粘膜の集合細静脈と呼ばれる複雑な形状を示す血管を模式的に示したものである。実際の内視鏡画像によれば、血管及び背景粘膜領域のみを含むものに限らず、例えば、集合細静脈から分岐して表層粘膜に向かって走行する微細血管及び胃底腺(腺口)等の各種構造をさらに含むような画像データが取得される。そして、これらの各種構造を、血管及び背景粘膜領域のいずれとも異なる他のカテゴリに属するものとみなして適宜カテゴリ数を増やすことにより、以下に説明する一連の処理を適用することができる。
 演算部41bは、前述の非特許文献3(Christophe Samson,Laure Blanc-Feraud, Gilles Aubert, and Josiane Zerubia:「Multiphase Evolution and Variational Image Classification」, INRIA Sophia Antipolis)に開示されたMumford-Shahモデルに類する動的輪郭モデルを用いた輪郭検出法の演算におけるカテゴリ数、及び、各カテゴリ毎の母数を推定するための演算を行う(図5のステップS3)。このような母数の推定方法の具体例を以下に述べる。
 はじめに、明瞭な各種構造成分を有する領域と間質部等の背景領域とを画像から抽出し、カテゴリ数、及び、これらの領域の特徴量に基づくカテゴリ毎の母数を求めるための処理について説明する。
 演算部41bは、図6の模式的な画像データのGプレーンに対して公知のエッジ検出フィルタ(例えば、図7に示すサイズ5×5のフィルタ)を用いた畳み込み演算を適用することにより、大きなエッジを有する領域(画素値の変動が大きく、長いエッジを有する領域)、及び、大域的な背景領域(エッジがほとんどない領域)を抽出する。具体的には、エッジ検出フィルタリング適用後の画像をGaとし、さらに、画像Gaにおけるj番目(1≦j<ISX×ISY)の画素の画素値をgajとした場合、演算部41bは、例えば、|gaj|>0(||は絶対値を表す)である各画素を二値化して抽出した後、連結成分ごとに公知のラベリングを適用することによりエッジマップMを作成する。なお、このようにして作成されたエッジマップMにおいて、ラベリングされたC個(1≦C)の連結成分が存在するものとし、さらに、各連結成分をmc(1≦c≦C)として以降の説明を続ける。
 染色剤等を用いていない場合の、通常の内視鏡画像における粘膜表面の微細構造に基づいて得られた画像Gaにおいては、G光に含まれる波長成分をヘモグロビンが吸収するため、血管の画素値が周辺粘膜の画素値に対して相対的に小さくなる。また、前述の画像Gaにおいては、G光に含まれる波長成分を反射することから、pitの画素値が周辺粘膜の画素値に対して相対的に大きくなる。そして、このような特性を利用することにより、種々のカテゴリを抽出することができる。
 一方、演算部41bは、明瞭な血管のエッジを抽出するために、エッジマップMとは異なる大エッジマップLを作成する。具体的には、演算部41bは、|gaj|>Th1(例えばTh1=10)である各画素を二値化して抽出することにより、前述の大エッジマップLを作成する。なお、前述の閾値Th1は、固定値として設定されるものに限らず、例えば、画素値gajに係るヒストグラムのうち、上位20%の画素値を含むように適応的に決定されるものであってもよい。
 なお、大エッジマップLを作成する理由は、以下の通りである。
 図6の模式的な画像データによれば、画像中には血管及び背景領域のみが存在しているが、実際の内視鏡画像によれば、様々な血管及びその他の構造成分、さらにはノイズ成分も含まれ得る。そのため、エッジマップMの作成時に、それらのエッジも|gaj|>0であるとして抽出される。このような事情を鑑み、エッジマップMとは異なる大エッジマップLを作成することにより、閉領域を構成する、または、閉領域の少なくとも一部分を構成する大きなエッジが特定される。そして、後述する処理を行うことにより、値が小のエッジのみで構成される構造成分及びノイズ成分を除外でき、すなわち、比較的明瞭な構造成分のみを特定することができる。
 続いて、演算部41bは、エッジマップM及び大エッジマップLを相互に参照することにより、エッジマップMの各連結成分m1~mCのうち、大エッジマップLにおいて大きなエッジが存在すると判定されている画素と重複する(1または複数の)連結成分mcを選択する処理を行う。このような処理により、エッジマップMの各連結成分のうち、大きなエッジを有する領域に相当する、血管が撮像されている可能性が高い(1または複数の)連結成分のみを抽出することができる。
 さらに、演算部41bは、前述の処理の処理結果に基づき、大きなエッジを有する連結成分と判定された各連結成分mcにより構成される各々の閉領域を、例えば、特開平11-003428号公報に開示されている閉領域検出手法を用いて抽出する。このようにして抽出された代表領域Ad(1≦d≦D)は、画像における領域分割の対象となる各種の構造成分を含む領域であるとともに、該各種の構造成分のうちの比較的明瞭なものを含む領域として抽出される。
 また、演算部41bは、エッジマップMにおいてエッジとして抽出されていない画素群を、大域的な背景領域とみなして抽出する。
 その後、演算部41bは、抽出した各代表領域Adにおいて、色調特徴量gj/rjの値が相互に類似する領域同士を統合して1つのカテゴリとする処理を繰り返すことにより、図6の模式的な画像データに含まれる全カテゴリ数K(1≦K)を推定する。なお、このような処理としては、例えば特開2007-175432号公報に開示されているような、色調特徴量及びそのヒストグラムを用いたクラスタリングに係る処理を適用することができる。
 続いて、演算部41bは、以上に述べた処理により得られたK個のカテゴリ各々において、色調特徴量gj/rjの値の平均値及び標準偏差であるμGRi及びσGRi(1≦i≦K)を算出する。
 なお、前述のカテゴリ数及び母数の算出については、術者等による手動操作に応じたものとして処理対象の領域を設定することもできる。このような場合、演算部41bは、図示しない入力インターフェースにおいてなされた入力操作に基づいて血管等の構造成分を含む領域及び背景粘膜領域を設定し、設定した各領域に対してカテゴリ番号i(1≦i≦K、Kはカテゴリ数)を付与し、さらに、カテゴリ番号が付与された各領域毎に色調特徴量gj/rjの平均値及び標準偏差を算出した算出結果を取得すればよい。
 なお、以上に列挙した推定方法においては、母数を推定する事前に、複数のカテゴリに重複して生起し得るような色調特徴量の値を有する画素を除外しておくことにより、母数の推定精度を向上させることができる。
 また、十分な明るさでない画素及びハレーション等の高輝度画素等の、色調特徴量の算出に適さない画素については、閾値処理により除外した上で母数の推定を行うようにしてもよい。
 さらに、以上に述べた一連の処理においては、Gプレーンに対してエッジ検出フィルタを適用した画像Gaに基づいて母数の推定を行うもの限らず、例えば、各画素の色調特徴量gj/rjの値を直接用いて母数の推定を行うものであってもよい。そして、色調特徴量gj/rjの値を直接用いて母数の推定を行う場合においては、画素値を乗数的に変動させる要因となり得る、光量の大小及びシェーディング等による影響を軽減することができる。また、色調特徴量gj/rjの値を直接用いて母数の推定を行う場合には、通常の内視鏡画像におけるgj/rjの値が0<gj/rj<1の範囲内に略収まることを考慮した上で、一連の閾値を適宜決定すればよい。
 なお、血管及びpit等の粘膜微細構造においては、どのような組織性状を有しているか、及び、粘膜下のどの程度深い位置に存在するか等の要因により、組織学的な構造として同一のカテゴリに属するにもかかわらず相互に色調が異なる、といった場合が多々発生し得る。このような場合においては、例えば、血管1及び血管2等の複数のカテゴリに分離し、該複数のカテゴリ毎にそれぞれ母数を推定すればよい。具体的には、代表領域Adの統合を行う際の統合基準、または、代表領域Adの統合を行った後の各領域に対する分離基準を適宜定めて最終的なカテゴリ数を推定した後、各カテゴリ毎に母数を推定することにより実現できる。
 また、以上に述べた一連の処理においては、gj/rjの値を色調特徴量として用いるものに限らず、例えば、gj/rjの値またはbj/gjの値のうちの一方を、抽出対象となるカテゴリに応じた色調特徴量として適宜選択しつつ用いるものであってもよい。
 すなわち、以上に述べた推定方法によれば、図6の模式的な画像データに全部でK個のカテゴリ数が含まれているという推定結果を得ることができる。さらに、以上に述べた推定方法によれば、全K個のカテゴリのうちのi番目のカテゴリにおける所定の色調特徴量gj/rjの値の平均値μGRi及び標準偏差σGRiを、前述の母数の推定結果として得ることができる。
 なお、以降においては、説明の簡単のため、血管の内部(血管の内側)に相当する領域と、間質部等の背景粘膜(血管の外側)に相当する領域と、の2つのカテゴリのみが図6の模式的な画像データに含まれる(K=2であるとともに、i=1または2のいずれかである)ものとして説明を進める。
 一方、演算部41bは、図5のステップS3において得られたカテゴリ数及び母数の推定結果をM-S法の輪郭検出式に適用することにより、領域分割に係る演算を行う(図5のステップS4)。なお、本実施例においては、前述の輪郭検出式として、前述の非特許文献3(Christophe Samson,Laure Blanc-Feraud, Gilles Aubert, and Josiane Zerubia:「Multiphase Evolution and Variational Image Classification」, INRIA Sophia Antipolis)に開示された、下記数式(1)を用いるものとする。

Figure JPOXMLDOC01-appb-I000001

 上記数式(1)におけるΦi(1≦i≦K)は、距離関数と呼ばれるものであり、Φi=0となる画素が領域の境界となり、その他の画素におけるΦiの値については境界からの距離に応じて設定される。具体的には、Φiの値は、前記境界の内部(領域の内側)に存在する画素については前記境界からの距離に応じた正の値をとり、前記境界の外部(領域の外側)に存在する画素については前記境界からの距離に応じた負の値をとる。
 また、上記数式(1)におけるFα(Φ1,・・・,ΦK)は、全K個のカテゴリを含む全領域Ωを領域分割した際の評価値を示すものである。すなわち、Fα(Φ1,・・・,ΦK)の値を最小化する境界を(例えば後述の)繰り返し処理を経て求めることにより、画像の領域分割を実現することができる。
 なお、上記数式(1)における右辺の3つの項は、それぞれ順に、分割された領域内の特徴量の母数がμi及びσiに近いほど小となる項、境界線の長さが短いほど(複雑でないほど)小となる項、及び、領域の重複等を制御する項、をそれぞれ意味している。
 一方、M-S法を用いた領域分割においては、評価値Fα(Φ1,・・・,ΦK)を最小化する距離関数Φiを、下記数式(2)の繰り返し処理を経て求めることができる。

Figure JPOXMLDOC01-appb-I000002

 上記数式(2)におけるtは、繰り返し処理における繰り返し回数(0≦t)を示す添え字である。なお、上記数式(2)におけるt=0は、境界が初期解であることを意味する。
 そして、演算部41bは、上記数式(2)を用いた繰り返し処理において、t回目及び(t+1)回目の繰り返し回数に達した際にそれぞれ得られる距離関数Φiを用いて算出した評価値Fα(Φ1,・・・,ΦK)の値が0(あるいは0.01等の微小な変化)となったことを検出した場合、または、所定の繰り返し回数(t=所定値)に達したことを検出した場合の処理結果を、最終的な境界に収束した領域分割結果として取得する。なお、本実施例においては、演算時間削減のため、所定の繰り返し回数に達した場合の処理結果(距離関数Φi及び評価値Fα(Φ1,・・・,ΦK))を領域分割結果として取得するものとする。
 なお、上記数式(1)及び(2)におけるλは、所定の定数(正の実数)を示す。具体的には、本実施例においては、λ=1.0として定められる。
 また、上記数式(1)及び(2)におけるei及びγiは、それぞれ各カテゴリの右辺第一項及び第二項の重み係数を示す。具体的には、本実施例においては、e1=e2=…=eK=1.0、かつ、γ1=γ2=…=γK=1.0として定められる。さらに、本実施例によれば、これらの重み係数の値を適宜変更することにより、右辺各項または各カテゴリ毎の重要度が変更され、すなわち、領域境界の収束結果(領域分割結果)を制御することができる。
 また、上記の数式(1)及び(2)におけるδα及びHαは、Diracのデルタ関数及びHeaviside分布をそれぞれ近似した関数を示す。
 一方、演算部41bは、図5のステップS4において、図5のステップS2の処理結果として得られた(各画素毎の)所定の色調特徴量gj/rjを上記数式(2)のu0に代入して演算を行うことにより、距離関数Φiを更新する。また、演算部41bは、図5のステップS4において、図5のステップS3の処理により推定した全カテゴリ数(=2)、及び、推定した母数(平均値μGRi及び標準偏差σGRi(分散(σGRi2))を上記の数式(2)に代入して演算を行う。
 その後、演算部41bは、図5のステップS4の演算回数が所定の演算回数(例えば2000回)に達したか否かの判定を行う(図5のステップS5)。そして、演算部41bは、図5のステップS4の演算回数が所定の演算回数に達していないことを検出した場合、図5のステップS4に戻り、次の繰り返し回数における距離関数Φiを算出する。
 また、演算部41bは、図5のステップS5において、図5のステップS4の演算回数が所定の演算回数に達したとの判定結果が得られるまでの間、図5のステップS4の処理を繰り返す。そして、演算部41bは、図5のステップS5において、図5のステップS4の演算回数が所定の演算回数に達したとの判定結果が得られた場合に、領域分割に係る演算を含む一連の処理を終了する。
 ここで、図8は、図6の模式的な画像データにおいて、太い実線を用いて描かれた複数の円を領域分割に係る演算の初期解として設定した場合を示す図である。このような初期解が設定された場合において、図5のステップS4における演算回数が100回に達した際には、例えば図9に示すような演算結果を得ることができる。そして、前述のような初期解が設定された場合において、図5のステップS4における演算回数が所定の演算回数に達した際には、例えば図10に示すような、血管の内部(血管の内側)に相当する領域と、背景粘膜(血管の外側)に相当する領域と、の2つの領域が太い実線により示される境界線を境に完全に分割された、(最終的な)領域分割結果を得ることができる。
 すなわち、本実施例によれば、画像データ生成部41aにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、生体組織101において血管が存在する領域とそれ以外の領域とを明確に区別することができる。その結果、本実施例によれば、生体組織101に存在する血管の検出精度を従来に比べて向上させることができる。
 なお、本実施例の領域分割処理は、通常光観察モードが選択された場合に得られる画像を用いて行われるものに限らず、例えば、狭帯域光観察モードが選択された場合に得られる画像(Bn光に応じた画像及びGn光に応じた画像)を用いても略同様に行うことができる。
 また、本実施例の領域分割処理は、所定の色調特徴量として、G光に応じた画像データの画素値からR光に応じた画像データの画素値を除して得た値を用いて行われるものに限らず、例えば、B光に応じた画像データの画素値からG光に応じた画像データの画素値を除して得た値を用いて行われるものであっても良い。また、本実施例の領域分割処理は、所定の色調特徴量として、R光、G光、及び、B光に応じた画像データのうち、いずれか一の画像データの画素値を用いて行われるものであっても良い。さらに、本実施例の領域分割処理は、所定の色調特徴量として、RGB表色系の画素値をHSI表色系またはL*a*b*表色系に変換することにより得られる変換後の値を用いて行われるものであっても良い。
 また、本実施例の領域分割処理においては、所定の色調特徴量として、生起頻度が正規分布に従う1つの特徴量のみを用いるものに限らず、生起頻度が多変量正規分布にそれぞれ従う複数の特徴量を同時に用いてもよい。(なお、この場合においては、分散σi 2の代わりに、分散共分散行列Σを上記数式(1)の母数として用いればよい。)
 また、本実施例の領域分割処理によれば、血管が存在する領域と、背景粘膜に相当する領域と、の2つのカテゴリのみに基づいて領域分割が行われるものに限らず、例えば、大腸のピット、MCE(Marginal Crypt Epithelium)、白苔及び粘液等の、内視鏡画像に含まれ得る要素に相当する各カテゴリに基づいて領域分割が行われるものであっても良い。
 また、本実施例においては、色調特徴量の生起頻度が正規分布(多変量正規分布)に従うものと仮定して領域分割処理を行うものに限らず、例えば、分割対象となる各領域における色調特徴量の分布状態に応じ、正規分布と(正規分布以外の)他の確率分布とのうちのいずれか1つを適宜選択及び設定して領域分割処理を行うものであってもよい。
 また、本実施例においては、代表的な構造成分に基づいて母数を推定するために、大きなエッジを有する領域の各画素に対してクラスタリングを行う処理を例に挙げて説明したが、これに限らず、背景領域も含めた全画素の特徴量を用いて直接クラスタリングを行うものであってもよい。
(第2の実施例)
 次に、本発明の第2の実施例の説明を行う。図11から図13は、本発明の第2の実施例に係るものである。本実施例においては、第1の実施例とは異なり、明瞭なエッジをともなう構造成分が少ない画像、すなわち、エッジに基づいて構造成分を代表する領域を決定することが困難な画像においても、良好にカテゴリ数及び各カテゴリの母数を推定することが可能な医用画像処理装置について説明する。
 なお、本実施例においては、第1の実施例と同様の構成の内視鏡装置1を用いて処理を行う。そのため、本実施例においては、内視鏡装置の構成に関しての詳細な説明を省略する。
 また、本実施例と第1の実施例との間においては、上記数式(1)の演算に用いるカテゴリ数、及び、各カテゴリ毎の母数の推定方法が主に異なっている。そのため、本実施例においては、第1の実施例と異なる部分についての説明を主に行うとともに、第1の実施例と同様の部分については適宜省略しつつ説明を行う。
 ここで、本実施例の作用について説明を行う。
 まず、術者は、内視鏡装置1の各部の電源を投入した後、観察モード切替スイッチ24において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置5に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡2を体腔内に挿入してゆくことにより、観察対象の生体組織101が存在する部位に先端部21bを近接させる。
 観察モード切替スイッチ24において通常光観察モードが選択されると、R光、G光及びB光の各色の光が光源装置3から生体組織101へ順次出射され、内視鏡2において該各色の光に応じた画像がそれぞれ取得される。
 画像データ生成部41aは、R光に応じた画像、G光に応じた画像、及び、B光に応じた画像が入力されると、各画像に対応する画像データをそれぞれ生成する(図11のステップS11)。
 演算部41bは、画像データ生成部41aにおいて生成された画像データに基づき、以降の処理に用いる所定の色調特徴量gj/rjの値を該画像データの各画素毎に算出する(図11のステップS12)。
 その後、演算部41bは、図6の模式的な画像データ内に存在する全領域(1回目の処理の場合は画像全域)のうち、後述の所定の条件を満たさない各領域において、クラス数が2に設定されたEMアルゴリズムを適用する(図11のステップS13)ことにより、2つのクラス各々における母数(所定の色調特徴量の平均値μi及び分散σi 2)を推定する(図11のステップS14)。
 なお、EMアルゴリズムは、混合正規分布における複数の母数を推定することが可能な公知の手法である。そのため、EMアルゴリズムに関する詳細な説明は省略する。
 また、EMアルゴリズムの適用においては、クラス数(カテゴリ数と同義)が既知であることが前提条件となる。そのため、本実施例においては、2つのクラスでの分類を十分な回数分繰り返し、得られた結果を統合することにより画像中に存在するカテゴリ数の推定及び各カテゴリの母数を推定する処理にEMアルゴリズムを適用するものとして説明を行う。
 ところで、画像データ生成部41aにより生成された画像データの各画素における所定の色調特徴量(例えばG光に応じた画像データの画素値からR光に応じた画像データの画素値を除した値)の生起頻度が正規分布に従うことを前提とした場合、2つのクラスの正規分布が合成された混合正規分布は、例えば図12のようなものとして示される。
 そして、演算部41bは、EMアルゴリズムのEステップ及びMステップに係る演算を、演算停止条件(例えば2つのクラスの尤度改善が閾値以下となった場合。具体的には閾値を0.01とすればよい)を満たすまで繰り返し行うことにより、頻度のピークが相対的に低い値となる第1の正規分布を規定する母数(所定の色調特徴量の平均値及び分散)と、頻度のピークが相対的に高い値となる第2の正規分布を規定する母数(所定の色調特徴量の平均値及び分散)と、をそれぞれ推定する(図11のステップS13及びステップS14)。なお、前述の第1の正規分布及び第2の正規分布は、例えば図13のようなものとして示される。
 次に、演算部41bは、図11のステップS14の演算結果として得られた母数による正規分布を用い、図6の模式的な画像データにおける各画素の色調特徴量gj/rjの値が前述の第1及び第2の正規分布のいずれに近いものであるかを判別し、各画素にクラス(カテゴリ)を表すラベル1または2を付与する(図11のステップS15)。具体的には、演算部41bは、例えば、公知のユークリッド距離またはマハラノビス距離(多次元特徴量を用いる場合)を用い、各画素の色調特徴量gj/rjの値が前述の第1及び第2の正規分布における各平均値μp(p=1または2)のいずれに近いかを判定する。
 以上の処理により、図6の模式的な画像データにおける各画素は、所定の色調特徴量gj/rjの値に基づき、クラス(カテゴリ)1または2のいずれかに分類される。
 続いて、演算部41bは、図11のステップS15の処理結果として得られた、クラス(カテゴリ)1及び2の各々に分類された画素群に対し、再度ステップS13乃至S15の一連の処理を適用するか否かの判定を行う(図11のステップS16)。
 1回目の図11のステップS15の分類処理により、画像に含まれる各画素は、基本的に2つのクラス(カテゴリ)に分類される。しかし、実際に画像に含まれる構造成分に応じたクラス(カテゴリ)数、または、領域分割処理を行う際に最適なクラス(カテゴリ)数については、別途指定しない限りは不明である。そのため、1回目の図11のステップS15の分類処理により得られた分類結果においては、本来であれば異なるクラス(カテゴリ)に分類されるはずの画素群を含んだまま、2つのクラス(カテゴリ)に分類されている可能性がある。
 そこで、本実施例の演算部41bは、図11のステップS16において、所定の条件を満たしたか否かに応じ、クラス(カテゴリ)1及び2を表すラベルが付与された画素群(領域)をさらに複数のクラス(カテゴリ)に分割するべきか否かを判定する処理を行っている。具体的には、演算部41bは、クラス(カテゴリ)1及び2を表すラベルが付与された2つの画素群(領域)間における平均値μpの差が閾値(例えば閾値を0.1とする)以下となった場合、分類結果として得られたいずれかの画素群(領域)に含まれる画素数が閾値(例えば閾値を0.1×ISX×ISYとする)以下となった場合、または、ステップS13乃至S15の一連の処理の繰り返し回数が所定の回数に達した場合等に、所定の条件を満たしたものと判定する。そして、演算部41bは、クラス(カテゴリ)1及び2を表すラベルが付与された画素群(領域)のうちの少なくともいずれか一方が所定の条件を満たさない場合には、該所定の条件を満たさない各画素群(領域)に対して再度ステップS13乃至S15の一連の処理を適用することにより、該各画素群(領域)をさらに2つのクラス(カテゴリ)に分類する、という処理を繰り返し行う。
 一方、演算部41bは、図11のステップS15の処理結果として得られた全領域(全画素群)が所定の条件を満たした場合、該全領域のうち、所定の色調特徴量(gj/rj)の分布状態が相互に一部重複する領域同士を統合する、または、所定の色調特徴量(gj/rj)の分布状態が相互に一部重複する各領域を除外することにより、上記数式(1)の演算に用いる全カテゴリ数を推定する(図11のステップS17)。また、演算部41bは、各カテゴリ毎に所定の色調特徴量(gj/rj)の平均値及び分散を算出した算出結果を、上記数式(1)の演算に用いる母数として推定する(図11のステップS17)。
 ここで、図11のステップS17の処理により、血管の内部(血管の内側)に相当する領域と、間質部等の背景粘膜(血管の外側)に相当する領域と、の2つのカテゴリのみが図6の模式的な画像データに含まれるという推定結果が得られたものとする。このような推定結果が得られた場合、演算部41bは、第1の実施例の説明において述べた、図5のステップS4及びS5の処理と同じ処理を、図11のステップS18及びS19の処理として行うことにより、例えば図10に示すような、血管の内部(血管の内側)に相当する領域と、背景粘膜(血管の外側)に相当する領域と、の2つの領域が太い実線により示される境界線を境に完全に分割された、(最終的な)領域分割結果を得ることができる。
 すなわち、本実施例によれば、画像データ生成部41aにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、生体組織101において血管が存在する領域とそれ以外の領域とを明確に区別することができる。その結果、本実施例によれば、生体組織101に存在する血管の検出精度を従来に比べて向上させることができる。
 なお、図11のステップS13乃至S15の一連の処理が繰り返し行われた後、図11のステップS16において所定の条件を満たしたものと判定された場合に、本来であれば同一のカテゴリに分類されるはずの画素群が過度に分割されてしまっているような処理結果を得る場合があり得る。このような場合においては、図11のステップS17の処理を行う事前に、例えば、特開2007-175432号公報に開示されているようなクラスタリングに係る処理を前記処理結果に対して適用することにより、母数の値が近い領域同士を再統合するものであってもよい。
 なお、以上に述べた各実施例においては、所定の色調特徴量の平均値及び分散の推定結果を上記数式(1)の母数として用いて演算を行ったが、これ以外の方法により領域分割処理を行うことも可能である。具体的には、例えば、IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.10, NO.2(2001年2月)の「Active Contours Without Edges」に開示された輪郭検出法によれば、所定の色調特徴量の平均値の推定結果のみを母数として用いて演算を行うことにより、以上に述べた各実施例と略同様の領域分割処理結果を得ることができる。
 また、以上の各実施例において述べた一連の処理は、内視鏡画像に対して適用されるものに限らず、例えば、カプセル内視鏡により得られた画像に対して適用されるものであってもよく、または、モノクロ画像等の各種の医用画像に対して適用されるものであってもよい。
 また、以上に述べた各実施例においては、特徴量として色調特徴量を用いた処理を例に挙げて説明したが、分割対象となる構造成分に応じ、色調特徴量以外の他の特徴量を適宜選択して、または、色調特徴量と該他の特徴量とを適宜組み合わせて用いて処理を行うものであってもよい。具体的には、前記他の特徴量として、例えば、公知のGaborフィルタを画像に適用して得られるGabor特徴のような構造特徴量等を用いてもよい。
 また、以上に述べた各実施例においては、1画素毎に算出された色調特徴量を用いて処理を行うものであってもよく、または、複数画素(例えば4×4画素)からなる小領域毎に算出された色調特徴量を用いて処理を行うものであってもよい。
 本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
 本出願は、2010年4月12日に日本国に出願された特願2010-91671号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (18)

  1.  医用画像に対する領域分割処理を行うことが可能な医用画像処理装置であって、
     前記医用画像から少なくとも1つの特徴量を算出する特徴量算出部と、
     前記特徴量算出部により算出された特徴量に基づき、前記医用画像において複数のカテゴリを設定するカテゴリ設定部と、
     前記特徴量算出部により算出された特徴量に基づき、前記カテゴリ設定部により設定されたカテゴリにそれぞれ分類される前記医用画像の各領域毎に母数を設定する母数設定部と、
     前記カテゴリ設定部により設定されたカテゴリの数と、前記母数設定部により設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割部と、
     を備えたことを特徴とする医用画像処理装置。
  2.  前記医用画像に含まれる構造成分に対応する領域を抽出する構造成分領域抽出部をさらに有し、
     前記特徴量算出部は、前記構造成分領域抽出部により抽出された各領域から少なくとも1つの特徴量を算出し、
     前記カテゴリ設定部は、前記特徴量算出部により算出された特徴量に基づき、前記構造成分領域抽出部により抽出された各領域に対応する複数のカテゴリを設定する
     ことを特徴とする請求項1に記載の医用画像処理装置。
  3.  前記カテゴリ設定部は、前記特徴量算出部により算出された特徴量の分布状態に基づき、前記複数のカテゴリに対してクラスタリング処理を施し、
     前記母数設定部は、前記特徴量算出部により算出された特徴量に基づき、前記クラスタリング処理の処理結果により設定されたカテゴリにそれぞれ分類される各領域毎に母数を設定し、
     前記領域分割部は、前記クラスタリング処理の処理結果により設定されたカテゴリの数と、前記母数設定部により設定された母数と、に応じて規定される分布モデルに基づいて領域分割処理を行う
     ことを特徴とする請求項1に記載の医用画像処理装置。
  4.  前記領域分割部は、前記医用画像を前記カテゴリ設定部により設定された各カテゴリに対応する複数の領域に分割するとともに、前記複数の領域各々において前記特徴量に基づいて算出される母数が、前記母数設定部により設定された母数に近付くように領域分割処理を行うことを特徴とする請求項1に記載の医用画像処理装置。
  5.  前記医用画像は、内視鏡画像であることを特徴とする請求項1に記載の医用画像処理装置。
  6.  前記カテゴリ設定部により設定されるカテゴリには、血管及び腺構造のうちの少なくとも1つが含まれることを特徴とする請求項1に記載の医用画像処理装置。
  7.  医用画像に対する領域分割処理を行うことが可能な医用画像処理装置であって、
     前記医用画像から少なくとも1つの特徴量を算出する特徴量算出部と、
     前記医用画像に含まれる構造成分に対応する複数の構造成分領域を設定する構造成分領域設定部と、
     前記複数の構造成分領域各々において、前記特徴量が相互に類似する領域同士を統合する領域統合部と、
     前記領域統合部による統合結果に基づいてカテゴリを設定するカテゴリ設定部と、
     前記領域統合部による統合結果として得られた構造成分領域各々における前記特徴量に基づき、該統合結果として得られた構造成分領域毎にそれぞれ母数を設定する母数設定部と、
     前記カテゴリ設定部により設定されたカテゴリの数と、前記母数設定部により設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割部と、
     を備えたことを特徴とする医用画像処理装置。
  8.  前記医用画像は、内視鏡画像であることを特徴とする請求項7に記載の医用画像処理装置。
  9.  前記カテゴリ設定部により設定されるカテゴリには、血管及び腺構造のうちの少なくとも1つが含まれることを特徴とする請求項7に記載の医用画像処理装置。
  10.  医用画像に対する領域分割処理を行うための医用画像処理方法であって、
     前記医用画像から少なくとも1つの特徴量を算出する特徴量算出ステップと、
     前記特徴量算出ステップにより算出された特徴量に基づき、前記医用画像において複数のカテゴリを設定するカテゴリ設定ステップと、
     前記特徴量算出ステップにより算出された特徴量に基づき、前記カテゴリ設定ステップにより設定されたカテゴリにそれぞれ分類される前記医用画像の各領域毎に母数を設定する母数設定ステップと、
     前記カテゴリ設定ステップにより設定されたカテゴリの数と、前記母数設定ステップにより設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割ステップと、
     を備えたことを特徴とする医用画像処理方法。
  11.  前記医用画像に含まれる構造成分に対応する領域を抽出する構造成分領域抽出ステップをさらに有し、
     前記特徴量算出ステップは、前記構造成分領域抽出ステップにより抽出された各領域から少なくとも1つの特徴量を算出し、
     前記カテゴリ設定ステップは、前記特徴量算出ステップにより算出された特徴量に基づき、前記構造成分領域抽出ステップにより抽出された各領域に対応する複数のカテゴリを設定する
     ことを特徴とする請求項10に記載の医用画像処理方法。
  12.  前記カテゴリ設定ステップは、前記特徴量算出ステップにより算出された特徴量の分布状態に基づき、前記複数のカテゴリに対してクラスタリング処理を施し、
     前記母数設定ステップは、前記特徴量算出ステップにより算出された特徴量に基づき、前記クラスタリング処理の処理結果により設定されたカテゴリにそれぞれ分類される各領域毎に母数を設定し、
     前記領域分割ステップは、前記クラスタリング処理の処理結果により設定されたカテゴリの数と、前記母数設定ステップにより設定された母数と、に応じて規定される分布モデルに基づいて領域分割処理を行う
     ことを特徴とする請求項10に記載の医用画像処理方法。
  13.  前記領域分割ステップは、前記医用画像を前記カテゴリ設定ステップにより設定された各カテゴリに対応する複数の領域に分割するとともに、前記複数の領域各々において前記特徴量に基づいて算出される母数が、前記母数設定ステップにより設定された母数に近付くように領域分割処理を行うことを特徴とする請求項10に記載の医用画像処理方法。
  14.  前記医用画像は、内視鏡画像であることを特徴とする請求項10に記載の医用画像処理方法。
  15.  前記カテゴリ設定ステップにより設定されるカテゴリには、血管及び腺構造のうちの少なくとも1つが含まれることを特徴とする請求項10に記載の医用画像処理方法。
  16.  医用画像に対する領域分割処理を行うための医用画像処理方法であって、
     前記医用画像から少なくとも1つの特徴量を算出する特徴量算出ステップと、
     前記医用画像に含まれる構造成分に対応する複数の構造成分領域を設定する構造成分領域設定ステップと、
     前記複数の構造成分領域各々において、前記特徴量が相互に類似する領域同士を統合する領域統合ステップと、
     前記領域統合ステップによる統合結果に基づいてカテゴリを設定するカテゴリ設定ステップと、
     前記領域統合ステップによる統合結果として得られた構造成分領域各々における前記特徴量に基づき、該統合結果として得られた構造成分領域毎にそれぞれ母数を設定する母数設定ステップと、
     前記カテゴリ設定ステップにより設定されたカテゴリの数と、前記母数設定ステップにより設定された母数と、に応じて規定される分布モデルに基づき、前記医用画像に対する領域分割処理を行う領域分割ステップと、
     を備えたことを特徴とする医用画像処理方法。
  17.  前記医用画像は、内視鏡画像であることを特徴とする請求項16に記載の医用画像処理方法。
  18.  前記カテゴリ設定ステップにより設定されるカテゴリには、血管及び腺構造のうちの少なくとも1つが含まれることを特徴とする請求項16に記載の医用画像処理方法。
PCT/JP2011/056425 2010-04-12 2011-03-17 医用画像処理装置及び医用画像処理方法 WO2011129176A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180007618.5A CN102724909B (zh) 2010-04-12 2011-03-17 医用图像处理装置和医用图像处理方法
EP11768697.2A EP2502546B1 (en) 2010-04-12 2011-03-17 Medical image processing apparatus and medical image processing method
JP2011532369A JP5011452B2 (ja) 2010-04-12 2011-03-17 医用画像処理装置および医用画像処理装置の制御方法
US13/197,458 US20120076372A1 (en) 2010-04-12 2011-08-03 Medical image processing apparatus and medical image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010091671 2010-04-12
JP2010-091671 2010-04-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/197,458 Continuation US20120076372A1 (en) 2010-04-12 2011-08-03 Medical image processing apparatus and medical image processing method

Publications (1)

Publication Number Publication Date
WO2011129176A1 true WO2011129176A1 (ja) 2011-10-20

Family

ID=44798555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/056425 WO2011129176A1 (ja) 2010-04-12 2011-03-17 医用画像処理装置及び医用画像処理方法

Country Status (5)

Country Link
US (1) US20120076372A1 (ja)
EP (1) EP2502546B1 (ja)
JP (1) JP5011452B2 (ja)
CN (1) CN102724909B (ja)
WO (1) WO2011129176A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013187206A1 (ja) * 2012-06-12 2013-12-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018044806A (ja) * 2016-09-13 2018-03-22 株式会社日立ハイテクノロジーズ 画像診断支援装置、画像診断支援方法及び試料分析システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5591570B2 (ja) * 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5855358B2 (ja) 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
CN104203075B (zh) * 2012-11-07 2017-03-01 奥林巴斯株式会社 医疗用图像处理装置
JP5749864B2 (ja) * 2012-12-19 2015-07-15 オリンパス株式会社 画像処理装置
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9854958B1 (en) * 2013-03-23 2018-01-02 Garini Technologies Corporation System and method for automatic processing of images from an autonomous endoscopic capsule
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
IT202100014342A1 (it) 2021-06-01 2022-12-01 Martini Paolo Tinazzi Software per la caratterizzazione di un’immagine bidimensionale ottenuta mediante un esame tramite immagini

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH113428A (ja) 1997-06-11 1999-01-06 Ricoh Co Ltd 画像処理装置
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
JP2007175432A (ja) 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2007313119A (ja) 2006-05-26 2007-12-06 Olympus Corp 画像処理装置及び画像処理プログラム
JP2009502354A (ja) * 2005-07-28 2009-01-29 ベラソン インコーポレイテッド 心臓の画像化のシステムと方法
JP2009291415A (ja) * 2008-06-05 2009-12-17 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009297450A (ja) * 2008-06-17 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010091671A (ja) 2008-10-06 2010-04-22 Seiko Precision Inc 駆動機構、羽根駆動装置及び光学機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP4767591B2 (ja) * 2005-06-01 2011-09-07 オリンパスメディカルシステムズ株式会社 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
GB0520566D0 (en) * 2005-10-10 2005-11-16 Ccbr As A method of segmenting an image
JP5106928B2 (ja) * 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
US8506478B2 (en) * 2008-06-04 2013-08-13 Fujifilm Corporation Illumination device for use in endoscope
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH113428A (ja) 1997-06-11 1999-01-06 Ricoh Co Ltd 画像処理装置
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
JP2009502354A (ja) * 2005-07-28 2009-01-29 ベラソン インコーポレイテッド 心臓の画像化のシステムと方法
JP2007175432A (ja) 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2007313119A (ja) 2006-05-26 2007-12-06 Olympus Corp 画像処理装置及び画像処理プログラム
JP2009291415A (ja) * 2008-06-05 2009-12-17 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009297450A (ja) * 2008-06-17 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010091671A (ja) 2008-10-06 2010-04-22 Seiko Precision Inc 駆動機構、羽根駆動装置及び光学機器

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Active Contours Without Edges", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 10, no. 2, February 2001 (2001-02-01)
"Computer Vision Forefront Guide <1>", 2009, ADVANCED COMMUNICATION MEDIA CO., LTD., pages: 1 - 28
CHRISTOPHE SAMSON; LAURE BLANC-FERAUD; GILLES AUBERT; JOSIANE ZERUBIA: "Multiphase Evolution and Variational Image Classification", INRIA SOPHIA ANTIPOLIS, 1999
See also references of EP2502546A4
TONY F. CHAN; LUMINITA A. VESE: "Active Contours Without Edges", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 10, no. 2, February 2001 (2001-02-01), pages 266 - 277, XP011025732

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013187206A1 (ja) * 2012-06-12 2013-12-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013255656A (ja) * 2012-06-12 2013-12-26 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
US9916666B2 (en) 2012-06-12 2018-03-13 Olympus Corporation Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
JP2018044806A (ja) * 2016-09-13 2018-03-22 株式会社日立ハイテクノロジーズ 画像診断支援装置、画像診断支援方法及び試料分析システム
WO2018051777A1 (ja) * 2016-09-13 2018-03-22 株式会社日立ハイテクノロジーズ 画像診断支援装置、画像診断支援方法及び試料分析システム
US11176668B2 (en) 2016-09-13 2021-11-16 Hitachi High-Tech Corporation Image diagnosis assisting apparatus, image diagnosis assisting method and sample analyzing system

Also Published As

Publication number Publication date
EP2502546A4 (en) 2012-10-31
JP5011452B2 (ja) 2012-08-29
EP2502546B1 (en) 2015-07-01
CN102724909A (zh) 2012-10-10
EP2502546A1 (en) 2012-09-26
US20120076372A1 (en) 2012-03-29
CN102724909B (zh) 2015-03-18
JPWO2011129176A1 (ja) 2013-07-11

Similar Documents

Publication Publication Date Title
JP5011452B2 (ja) 医用画像処理装置および医用画像処理装置の制御方法
JP4855868B2 (ja) 医療用画像処理装置
Herrera et al. Development of a Multispectral Gastroendoscope to Improve the Detection of Precancerous Lesions in Digestive Gastroendoscopy
US8483454B2 (en) Methods for tissue classification in cervical imagery
WO2023103467A1 (zh) 图像处理方法、装置及设备
WO2012114600A1 (ja) 医用画像処理装置及び医用画像処理方法
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP5749864B2 (ja) 画像処理装置
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
EP3821790A1 (en) Medical image processing device, medical image processing system, medical image processing method, and program
JP2007044485A (ja) 脳内出血部位セグメンテーション方法および装置
JP5011453B2 (ja) 画像処理装置及び画像処理装置の制御方法
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP6112859B2 (ja) 医用画像処理装置
JP6371613B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
Salamh Investigation the effect of using gray level and rgb channels on brain tumor image
Yang et al. Automatic Segmentation of Fluorescence Endoscopic Images Based on the Weighted Otsu Method
JP7478245B2 (ja) 医療画像装置及びその作動方法
JP2023143318A (ja) 画像処理装置、医療診断装置、内視鏡装置、及び画像処理方法
CN117746031A (zh) 一种用于内窥镜图像荧光亮度区域的实时分析方法及系统
CN116205814A (zh) 医用内窥镜图像增强方法、系统及计算机设备
Barbalata et al. Laryngeal Tumor Classification in Endoscopic Video
Imtiaz Color Image Enhancement Techniques for Endoscopic images

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180007618.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011532369

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11768697

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011768697

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE