WO2016136698A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2016136698A1
WO2016136698A1 PCT/JP2016/055144 JP2016055144W WO2016136698A1 WO 2016136698 A1 WO2016136698 A1 WO 2016136698A1 JP 2016055144 W JP2016055144 W JP 2016055144W WO 2016136698 A1 WO2016136698 A1 WO 2016136698A1
Authority
WO
WIPO (PCT)
Prior art keywords
score
image
reliability
color
pixel
Prior art date
Application number
PCT/JP2016/055144
Other languages
English (en)
French (fr)
Inventor
洋祐 池本
水口　直志
敦 小師
俊雄 橘
太田　紀子
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to CN201680000516.3A priority Critical patent/CN106102557B/zh
Priority to US15/106,955 priority patent/US10521901B2/en
Priority to EP16727926.4A priority patent/EP3269295B1/en
Publication of WO2016136698A1 publication Critical patent/WO2016136698A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing apparatus for processing an image of a living tissue.
  • Endoscope apparatuses that analyze color information of endoscopic images and obtain information on the state of a living tissue that is a subject (hereinafter referred to as “biological information”).
  • Patent Document 1 Japanese Patent No. 5302984 describes an endoscope system that generates an oxygen saturation image in which information on oxygen saturation of blood hemoglobin is imaged.
  • the endoscope system disclosed in Patent Document 1 is a relationship between two frames of color signals continuously captured by alternately using two types of illumination light (white light and narrow-band oxygen saturation measurement light) having different wavelength spectra. Then, an oxygen saturation is obtained for each pixel, and an oxygen saturation image represented by a color difference signal (pseudo color) associated with the oxygen saturation is generated.
  • the endoscope system of Patent Document 1 calculates the reliability of oxygen saturation for each pixel from the relationship between the color signals of the two frames, and determines the saturation of the pseudo color according to the reliability.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus capable of performing image processing according to the reliability of biological information in the entire image.
  • image data acquisition means for acquiring color moving image data composed of a plurality of image data obtained by imaging a biological tissue, and a living body imaged on an image represented by the image data based on the image data
  • the score is a score calculation means for calculating a score indicating the severity of the lesion of the tissue for each pixel, a reliability evaluation means for evaluating the reliability of the score based on the image data
  • An image processing apparatus comprising: score reliability calculation means for calculating score reliability indicating the proportion of pixels having predetermined reliability.
  • the reliability evaluation unit includes a halation determination unit that determines whether the pixel is a halation pixel based on a pixel value, and the score of the pixel determined to be a halation pixel has a predetermined reliability. It is good also as a structure excluded from a pixel.
  • the reliability evaluation unit includes a dark part determination unit that determines whether or not the pixel is a dark part pixel based on the pixel value, and the score of the pixel determined to be the dark part pixel has a predetermined reliability. It is good also as a structure excluded from a pixel.
  • Pixels with excessively high or low luminance have low score information reliability due to low accuracy of color information.
  • Appropriate reliability can be evaluated by providing a means for determining a pixel in a halation generation part or a dark part and classifying a pixel determined to be a halation generation part or a dark part as a pixel having poor score reliability. .
  • the image processing apparatus includes a color space conversion unit that converts a pixel value of image data into a pixel value of an HSI (Heu-Saturation-Intensity) space, and the reliability evaluation unit outputs the pixel output from the color space conversion unit. It is good also as a structure which evaluates the reliability of a score based on the brightness
  • luminance It is good also as a structure which evaluates the reliability of a score based on the brightness
  • the reliability evaluation unit includes a saturation determination unit that determines whether or not any color channel is saturated based on the pixel value, and the score of the pixel determined to be a saturated pixel is determined. It is good also as a structure excluded from the pixel which has predetermined
  • the saturation determination unit includes a saturation channel number counting unit that counts the number of saturated color channels based on a pixel value, and determines that a pixel having a predetermined number or more of saturated color channels is a saturated pixel. It is good.
  • the image processing apparatus may include a marking unit that adds a mark indicating a score distribution on the image, and the marking unit may change the mode of the mark according to the score reliability.
  • This configuration makes it possible to display a score distribution suitable for score reliability.
  • the marking unit may perform a first color mapping in which the color of the pixel in the lesioned part is changed to a color corresponding to the score.
  • the marking unit may be configured to exclude an image region where pixels having low reliability of the score are localized from the region where the first color mapping is performed.
  • This configuration reduces the amount of calculation required for the first color mapping.
  • the marking unit may be configured to perform the first color mapping by using different colors for pixels having a predetermined score and non-reliable pixels.
  • a color map image can be obtained in which the presence or absence of reliability and the score can be intuitively grasped.
  • the marking means may perform a first type simple marking process in which a mark is added on an area where the score is a predetermined value or more in the image.
  • the mark may be a code or a figure
  • the marking unit may change at least one of the size, color, and type of the mark according to the score.
  • the first type simple marking process may be configured such that a single mark is attached on the center of gravity of an area having a score equal to or higher than a predetermined value or on a pixel having a maximum score.
  • the first type simple marking process may have a configuration in which a plurality of marks are attached to an area where the score is a predetermined value or more.
  • the first type simple marking process may be configured to attach a plurality of marks so as not to overlap each other.
  • the first type simple marking process may be configured such that a mark having a size corresponding to the score is attached on a pixel having a score of a predetermined value or more.
  • the marking means may perform a second type simple marking process in which a mark is attached so as to surround a region having a high score in the image.
  • the mark may be a ring surrounding a region having a high score, or a plurality of codes or figures arranged so as to surround a region having a high score.
  • the image processing apparatus may include a reliability display unit that displays a score reliability evaluation result.
  • the reliability display means may include a score reliability display means for displaying the score reliability.
  • the reliability display unit may include a dark part information display unit that displays information regarding the number of pixels in the dark part.
  • the reliability display unit may include a halation information display unit that displays information on the number of pixels of halation.
  • the reliability display means may include a saturation information display means for displaying information on the number of saturated color channels.
  • the saturation information display unit may perform second color mapping in which the color of the pixel is changed to a color corresponding to the number of saturated color channels.
  • the saturation information display means may perform the second color mapping using a color different from the first color mapping.
  • the marking unit may perform the first color mapping using a chromatic color
  • the saturation information display unit may perform the second color mapping using an achromatic color
  • the above image processing apparatus may be configured to determine whether the shooting conditions are good or not based on the color balance of the image.
  • the image may be an image taken using a single broadband illumination light.
  • FIG. 1 is a block diagram showing a schematic configuration of an electronic endoscope apparatus according to an embodiment of the present invention. It is the block diagram which showed schematic structure of the circuit regarding the image processing of the electronic endoscope apparatus which concerns on embodiment of this invention. It is a figure which shows schematic structure of the storage area of an image memory. It is a flowchart which shows the procedure of the process which an image processing circuit performs. It is an example of the gain curve used for TE processing. It is a flowchart which shows the procedure of an effective pixel determination process. It is a flowchart which shows the procedure of a lesion determination process. It is the scatter diagram which plotted the pixel value of the biological tissue image in HS coordinate space. It is a flowchart which shows the procedure of a score calculation process.
  • FIG. 1 is a block diagram showing a configuration of an electronic endoscope apparatus 1 according to the present invention.
  • the electronic endoscope apparatus 1 includes an electronic scope 100, a processor 200, and a monitor 900.
  • the processor 200 includes a system controller 202 and a timing controller 204.
  • the system controller 202 executes various programs stored in the memory 212 and controls the entire electronic endoscope apparatus 1 in an integrated manner.
  • the system controller 202 is connected to the operation panel 214.
  • the system controller 202 changes each operation of the electronic endoscope apparatus 1 and parameters for each operation in accordance with an instruction from the operator input from the operation panel 214.
  • the timing controller 204 outputs a synchronization signal for adjusting the operation timing of each unit to each circuit in the electronic endoscope apparatus 1.
  • the lamp 208 emits the irradiation light L after being started by the lamp power igniter 206.
  • the lamp 208 is, for example, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp, or an LED (Light-Emitting-Diode).
  • the irradiation light L is broadband light (or white light including at least the visible light region) having a spectrum that mainly extends from the visible light region to the invisible infrared light region.
  • the irradiation light L emitted from the lamp 208 is condensed on the incident end face of the LCB (Light Carrying Bundle) 102 by the condenser lens 210 and is incident on the LCB 102.
  • LCB Light Carrying Bundle
  • the irradiation light L incident on the LCB 102 propagates through the LCB 102, is emitted from the exit end face of the LCB 102 disposed at the tip of the electronic scope 100, and is irradiated onto the subject via the light distribution lens 104.
  • the return light from the subject irradiated with the irradiation light L forms an optical image on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.
  • the solid-state image sensor 108 is a single color CCD (Charge Coupled Device) image sensor of a complementary color checkered color difference line sequential method.
  • the solid-state image sensor 108 images an optical image of a subject formed on the light receiving surface and outputs an analog image signal. Specifically, the solid-state image sensor 108 accumulates an optical image formed by each pixel on the light receiving surface as a charge corresponding to the amount of light, and generates yellow Ye, cyan Cy, green G, and magenta Mg color signals. Then, the generated scanning lines are sequentially output by adding and mixing the color signals of two adjacent pixels in the vertical direction.
  • CCD Charge Coupled Device
  • the solid-state imaging element 108 is not limited to a CCD image sensor, and may be replaced with a CMOS (Complementary Metal Oxide Semiconductor) image sensor or other types of imaging devices.
  • the solid-state image sensor 108 may also be one equipped with a primary color filter (Bayer array filter).
  • a driver signal processing circuit 110 receives an analog imaging signal composed of the above-described scanning lines from the solid-state imaging device 108 in a field cycle.
  • field may be replaced with “frame”.
  • the field period and the frame period are 1/60 seconds and 1/30 seconds, respectively.
  • the driver signal processing circuit 110 performs predetermined processing on the analog imaging signal input from the solid-state imaging device 108 and outputs the processed signal to the image processing circuit 220 of the processor 200.
  • the driver signal processing circuit 110 also accesses the memory 120 and reads the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory 120 includes, for example, the number and sensitivity of the solid-state image sensor 108, the operable field rate, the model number, and the like.
  • the driver signal processing circuit 110 outputs the unique information read from the memory 120 to the system controller 202.
  • the system controller 202 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal.
  • the system controller 202 controls the operation and timing of various circuits in the processor 200 using the generated control signal so that processing suitable for the electronic scope connected to the processor 200 is performed.
  • the timing controller 204 generates a synchronization signal according to the timing control by the system controller 202.
  • the driver signal processing circuit 110 drives and controls the solid-state imaging device 108 at a timing synchronized with the field rate of the video signal generated by the processor 200 in accordance with the synchronization signal supplied from the timing controller 204.
  • the image processing circuit 220 generates image data based on the imaging signal output from the electronic scope 100 under the control of the system controller 202.
  • the image processing circuit 220 generates screen data for monitor display using the generated image data, converts the screen data into a video signal of a predetermined video format, and outputs the video signal.
  • the video signal is input to the monitor 900, and a color image of the subject is displayed on the display screen of the monitor 900.
  • FIG. 2 is a block diagram showing a schematic configuration of a circuit related to image processing of the electronic endoscope apparatus 1.
  • the driver signal processing circuit 110 includes a drive circuit 112 and an AFE (Analog Front End) 114.
  • the drive circuit 112 generates a drive signal for the solid-state image sensor 108 based on the synchronization signal.
  • the AFE 114 performs noise removal, signal amplification / gain correction, and A / D conversion on the analog imaging signal output from the solid-state imaging device 108, and outputs a digital imaging signal. Note that the solid-state imaging device 108 or the image processing circuit 220 may perform all or part of the processing performed by the AFE 114 in the present embodiment.
  • the image processing circuit 220 includes a basic processing unit 220a, an output circuit 220b, a TE (Tone enhancement) processing unit 221, an effective pixel determination unit 222, a color space conversion unit 223, a lesion determination unit 224, a score calculation unit 225, a marking A processing unit 226, an image memory 227, a display screen generation unit 228, a memory 229, and a reliability evaluation unit 230 are provided. Processing performed by each unit of the image processing circuit 220 will be described later.
  • FIG. 3 is a diagram illustrating a schematic configuration of a storage area included in the image memory 227.
  • the storage area P n is an area for storing normal observation image data N (image data representing the normal observation image NP) generated by the basic processing unit 220a. Note that two or more normal observation image data N generated in succession can be stored in the storage area P n .
  • writing / reading of data to / from the storage area Pn is performed by a first-in first-out method (FIFO).
  • FIFO first-in first-out method
  • the storage area Pe is an area for storing TE image data E (image data representing the TE image EP) generated by the TE processing unit 221.
  • the storage area P m is an area in which marking image data M (image data representing the marking image MP) generated by the marking processing unit 226 is stored.
  • the storage area Pc is an area for storing composite image data C (image data representing the composite image CP) obtained by combining the normal observation image data N (or TE image data E) and the marking image data M.
  • the memory 229 stores a flag table FT, a score table ST, a hue correlation value table HCT, a saturation correlation value table SCT, a reliability information table CT, and a display color table DCT.
  • the flag table FT and the score table ST are numerical tables composed of a flag F (x, y) and a score Sc (x, y) indicating the analysis result for each pixel (x, y) of the normal observation image data N, respectively. is there.
  • the flag F (x, y) is a parameter indicating the presence or absence of a lesion in the tissue imaged on the corresponding pixel (x, y)
  • the score Sc (x, y) indicates the severity of the lesion. Is the parameter shown.
  • the display color table DCT is a numerical value table that defines the correspondence between the score Sc (x, y) and the display color (color code) of a color map image (one form of the marking image MP) described later.
  • the hue correlation value table HCT and the saturation correlation value table SCT will be described later.
  • FIG. 4 is a flowchart showing a procedure of processing performed by the image processing circuit 220.
  • the digital signal output from the AFE 114 is first subjected to general signal processing (basic processing S1) by the basic processing unit 220a, and normal observation image data N is generated.
  • the digital image pickup signal output from the AFE 114 is converted into the luminance signal Y and the color difference signals Cb and Cr, and the primary colors for separating the primary color signals R, G and B from the luminance signal Y and the color difference signals Cb and Cr.
  • Separation processing Separation processing, clamping processing for removing offset components, defect correction processing for correcting pixel values of defective pixels using pixel values of surrounding pixels, and imaging data (RAW data) consisting of single-color pixel values from full-color pixel values
  • RAW data imaging data
  • Compensates for demosaic processing (interpolation processing) that converts to image data, linear matrix processing that corrects the spectral characteristics of the image sensor using a color matrix, white balance processing that corrects the spectral characteristics of illumination light, and degradation of spatial frequency characteristics Contour correction etc. are included.
  • driver signal processing circuit 110 or the solid-state image sensor 108 performs all or one part of the process which the basic process part 220a performs in this embodiment.
  • the normal observation image data N generated by the basic processing unit 220 a is input to the TE processing unit 221 and the reliability evaluation unit 230 and is stored in the storage area P n of the image memory 227.
  • the electronic endoscope apparatus 1 of the present embodiment is configured to operate in two operation modes: an image analysis mode and a normal observation mode.
  • the operation mode is switched by a user operation on the operation unit 130 of the electronic scope 100 or the operation panel 214 of the processor 200. If the normal observation mode is set (S2: No), the process proceeds to S12.
  • TE (tone enhancement) processing S3 When the image analysis mode is selected (S2: Yes), the TE processing S221 by the TE processing unit 221 is performed next.
  • the TE process S3 performs gain adjustment that gives a non-linear gain (gain) to each primary color signal R, G, B of the normal observation image data N in order to increase the lesion determination accuracy, and is specific to the lesion to be determined.
  • gain gain
  • the primary color signals R ′, G ′, B ′ (TE image data E) are given to each primary color signal R, G, B by applying a non-linear gain as shown in FIG.
  • the process of acquiring is performed.
  • the gain curve in FIG. 5 from the boundary region R A characteristic gamut ulcers, inflammation over the boundary area R B of the characteristic color gamut, the slope is steeper.
  • the TE treatment S3 changes the color of the inflamed part to red, the ulcer part to white, and the normal part to green. Therefore, when the TE image data E generated by the TE process S3 is displayed on the monitor 900, the lesioned part (the inflamed part or the ulcer part) can be visually recognized more easily than when the normal observation image data N before the TE process S3 is displayed. can do.
  • the TE process S3 is an example of a color enhancement process applicable to the present invention. Instead of the TE process S3, the color quality, specifically, hue or saturation (or chromaticity) contrast is set. Other types of enhanced color enhancement processing may be used.
  • Effective pixel determination processing S4 When the TE process S3 is completed, an effective pixel determination process S4 by the effective pixel determination unit 222 is then performed on the TE image data E. Note that the TE process S3 may be omitted, and the effective pixel determination process S4 may be performed on the normal observation image data N.
  • FIG. 6 is a flowchart showing the procedure of the effective pixel determination process S4.
  • the effective pixel determination process S4 is a process for determining whether or not the pixel value is suitable for image analysis, and is sequentially performed for all the pixels (x, y) constituting the image data.
  • the corrected luminance int (x, y) is calculated by using Equation 1 (S41).
  • the corrected luminance int (x, y) is not a simple average of the primary color signals R ′ (x, y), G ′ (x, y), B ′ (x, y), It is obtained as a weighted average based on the specific visual sensitivity characteristics of a human (operator).
  • an appropriate exposure determination process S42 for determining whether the exposure level is suitable for image analysis is performed.
  • the appropriate exposure determination process S42 it is determined that the exposure is appropriate (S42: Yes) when at least one (or both) of the following two conditions (Equation 2 and Equation 3) is satisfied.
  • the upper limit value of the corrected luminance int (x, y) (total light amount) is defined by Equation 2, and each primary color signal R ′ (x, y), G ′ (x, y), B ′ ( A lower limit value of x, y) is defined.
  • the effective pixel determination unit 222 is stored in the memory 229.
  • the value of the flag F (x, y) corresponding to the pixel (x, y) in the flag table FT is rewritten to “1” (S43).
  • flag F (x, y) takes one of the flag values 0 to 2.
  • the definition of each flag value is as follows. 0: Invalid pixel data 1: Normal or not determined (Pixel data valid) 2: Lesions (inflammation)
  • the effective pixel determination unit 222 is determined. Rewrites the value of the flag F (x, y) to “0” (S44).
  • process S45 it is determined whether or not the process has been completed for all the pixels (x, y). The above processes S41 to S45 are repeated until the processing of all the pixels (x, y) is completed.
  • the color space conversion unit 223 performs the color space conversion process S5 on the TE image data E.
  • the color space conversion process S5 is an HSI (Heu-Saturation-Intensity) defined by the three elements of hue (Hew), saturation (Saturation), and luminance (Intensity). This is a process of converting into a pixel value in space.
  • the data of pixel (x, y) that is underexposed or excessively exposed is low in accuracy, and the reliability of the analysis result is lowered. Therefore, in the color space conversion process S5, the pixel (x, y) in which the value of the flag F (x, y) is set to “1” (that is, determined to be proper exposure in the above-described effective pixel determination process S4). Only done about.
  • Determination image data J ⁇ H comprising the hue H (x, y), saturation S (x, y) and luminance I (x, y) of each pixel (x, y) generated by the color space conversion unit 223 (X, y), S (x, y), I (x, y) ⁇ are input to the lesion determination unit 224.
  • a lesion determination process S6 using the determination image data J is then performed by the lesion determination unit 224.
  • the determination image data J is placed in any one of regions ⁇ and ⁇ (FIG. 8) described later on the HS space (hue-saturation space).
  • This is a process of determining the state of the biological tissue (whether or not it is an inflamed part) copied to the pixel depending on whether it is plotted.
  • the HS space is a space representing color quality (color elements excluding brightness and luminance) in the same manner as the chromaticity space.
  • the lesion determination unit 224 is performed on the chromaticity space (for example, a * b * space).
  • FIG. 7 is a flowchart showing the procedure of the lesion determination process S6.
  • the lesion determination process S6 is sequentially performed for all the pixels (x, y) constituting the image data.
  • the lesion determination processing S6 first, it is determined whether or not the data of each pixel (x, y) is valid with reference to the flag table FT (S61). If the value of the flag F (x, y) is “1” (pixel data valid), the inflammation determination process S62 is performed next. If the value of the flag F (x, y) is “0” (pixel data invalid), the process proceeds to the process S64 without performing the inflammation determination process S62.
  • FIG. 8 is a scatter diagram in which determination image data J acquired from endoscopic image data of a plurality of inflammatory bowel disease patients is plotted on the HS space.
  • the inflammation determination process S62 whether or not the determination image data J ⁇ (H (x, y), S (x, y) ⁇ ) of each pixel (x, y) is plotted in the region ⁇ in FIG. Specifically, the image data for determination J ⁇ (H (x, y), S (x, y) ⁇ ) is included in the region ⁇ when both of the following expressions 4 and 5 are satisfied.
  • the image data for determination J ⁇ (H (x, y), S (x, y) ⁇ ) satisfies at least one of Expression 4 and Expression 5.
  • ⁇ S1 , ⁇ H1 and ⁇ H2 are correction values that can be set by the operator, and these corrections The severity of judgment (sensitivity) and the like can be appropriately adjusted by setting the value.
  • process S64 it is determined whether or not the process has been completed for all the pixels (x, y). The above processes S61 to S64 are repeated until the processing of all the pixels (x, y) is completed.
  • the score calculation process S7 is a process for calculating a score Sc (x, y), which is an evaluation value of the severity of a lesion, based on the pixel value of the determination image data J.
  • the score calculation process S7 is sequentially performed for all the pixels (x, y). Note that the score calculation algorithm described below is an example, and the present invention can be applied to the screen display of scores calculated by various algorithms.
  • FIG. 9 is a flowchart showing the procedure of the score calculation process S7.
  • the flag table FT is read, and it is determined whether or not the value of the flag F (x, y) corresponding to the pixel (x, y) is “2” (inflammation) ( S71).
  • I corr. (X, y): luminance after correction of judgment image data J S corr. (X, y): saturation after correction of judgment image data J I ref : blood sample data as a reference value Luminance S ref : Saturation of blood sample data as reference value ⁇ : Angle giving correlation coefficient (cos ⁇ ) between luminance value and saturation value of blood sample data Note that correlation coefficient between saturation and luminance of blood sample (Measured value) is ⁇ 0.86, and ⁇ 149.32 (deg) is applied.
  • the hue distance D HUE (x, y) is calculated by Equation 7 (S73).
  • the hue distance D HUE is a relative value of the hue of the determination image data J (x, y) with reference to the hue H ref of the blood sample data.
  • the hue correlation value HCV (x, y) is determined from the hue distance D HUE (x, y) (S74).
  • the hue correlation value HCV (x, y) is a parameter having a strong correlation with the severity of the inflamed area.
  • FIG. 10A is a graph illustrating the relationship between the hue distance D HUE and the hue correlation value HCV.
  • the hue distance D HUE has a strong correlation with the severity of the inflamed area in a range within ⁇ 30 ° (hereinafter referred to as “hue approximate range R 11 ”), and other ranges (hereinafter referred to as “hue approximate outside range R”). 12 ”)) has little correlation.
  • the hue correlation value HCV (x, y) of the present embodiment is set to 0.0, which is the minimum value in the hue approximation outside range R 12 , and the hue distance D HUE (x, y) in the hue approximation range R 11 . ) Is set to increase linearly as it approaches 0 °.
  • the hue correlation value HCV (x, y) is standardized so that the minimum value is 0.0 and the maximum value is 1.0.
  • the relationship between the hue distance D HUE and the hue correlation value HCV shown in FIG. 10A is stored in the memory 229 as the hue correlation value table HCT.
  • the hue correlation value table HCT By referring to the hue correlation value table HCT, the hue correlation value HCV (x, y) corresponding to the hue distance D HUE (x, y) is acquired.
  • the saturation distance D SAT (x, y) is calculated by Equation 8 (S75).
  • the saturation distance D SAT (x, y) is a relative value of the saturation of the determination image data J (x, y) with reference to the saturation S ref of the blood sample data.
  • FIG. 10B is a graph illustrating the relationship between the saturation distance DSAT and the saturation correlation value SCV.
  • the saturation distance D SAT has a strong correlation with the severity of the inflamed area in a negative range (hereinafter referred to as “saturation approximate range R 22 ”) that is equal to or greater than a predetermined value, and a range that is less than or equal to a negative predetermined value ( (Hereinafter referred to as “saturation approximation outside range R 23 ”) has little correlation. Further, in a range where the saturation distance D SAT is zero or more, that is, a range where the saturation of the lesion pixel is not less than the saturation S ref of the blood sample data (hereinafter referred to as “saturation matching range R 21 ”), it is severe. The degree is considered extremely high.
  • the saturation correlation value SCV of the present embodiment (x, y) is set to 1.0 of the maximum value in the saturation range match R 21, to 0.0 of the minimum value in the saturation approximation out of range R 23 is set, it is set to increase linearly in saturation approximation range R 22.
  • the saturation correlation value SCV (x, y) is also a value that is standardized so that the minimum value is 0.0 and the maximum value is 1.0.
  • the relationship between the saturation distance DSAT and the saturation correlation value SCV shown in FIG. 10B is stored in the memory 229 as the saturation correlation value table SCT.
  • the saturation correlation value table SCT By referring to the saturation correlation value table SCT, the saturation correlation value SCV (x, y) corresponding to the saturation distance D SAT (x, y) is acquired.
  • a correlation value CV (x, y) between the color of the lesion pixel (x, y) and the blood color is obtained by multiplying the hue correlation value HCV (x, y) and the saturation correlation value SCV (x, y).
  • the correlation value CV (x, y) is also a standardized value so that the minimum value is 0.0 and the maximum value is 1.0. Further, the correlation value CV (x, y) is divided into 11 stages in increments of 0.1 points.
  • process S80 it is determined whether or not the process has been completed for all pixels (x, y). The above processes S71 to S80 are repeated until the processing of all the pixels (x, y) is completed.
  • the score Sc (x, y) is calculated based on the color information of the TE image EP. Therefore, the accuracy of the score Sc (x, y) depends on the accuracy of the color information of the TE image EP, and the score Sc (x, y) calculated from the pixel value having a low accuracy of the color information is assumed to be low in accuracy. Become.
  • the color of a color image is most vivid when the luminance is medium (a lot of color information), and the lower the luminance and the higher the luminance, the lower the saturation (decreasing the color information). That is, the accuracy of the color information of the color image is affected by the luminance.
  • the saturation of the color image is significantly reduced, and the color information of the subject in the color image The accuracy is also significantly reduced.
  • the accuracy of the color information also decreases due to saturation of the color channel (color component) (when the value of the color component takes a maximum value or a substantially maximum value).
  • a color channel refers to each color component of a pixel value of a color image (for example, R (x, y), G (x, y), B (x, y) in an RGB color image), or , A grayscale image composed of one of the color components.
  • the score Sc (x, y) with low accuracy (reliability) can interfere with diagnosis, it is desirable not to present it to the user (medical worker) or to present it to the user together with reliability information.
  • FIG. 11 is a flowchart for explaining the procedure of the reliability evaluation process S8.
  • the reliability evaluation process S8 is sequentially performed for all the pixels (x, y).
  • a low luminance determination process S81 for determining whether or not the luminance is low is performed. Specifically, it is determined whether or not the value of the luminance I (x, y) is below a predetermined low luminance reference value (for example, 0.3). When the value of the luminance I (x, y) is lower than the low luminance reference value (S81: Yes), there is a possibility that the accuracy of the color information is excessively low, so the hue determination processing S82 is subsequently performed. Is called. If the value of the luminance I (x, y) is equal to or higher than the low luminance reference value (S81: No), the high luminance determination process S84 is performed next.
  • a predetermined low luminance reference value for example, 0.3
  • hue determination process S82 it is determined whether or not the value of the hue H (x, y) is within a predetermined normal range (for example, 60 to 270 °).
  • This normal range is a hue distribution range of a normal endoscopic image having a red hue.
  • the value of the hue H (x, y) is not within the normal range (that is, when the hue is out of red), it is considered that the accuracy of the hue H (x, y) is significantly lowered due to low luminance. .
  • the pixel (x, y) is determined as a “dark part” pixel, and the reliability information table CT The dark part registration for registering the determination result of “dark part” is performed (S83).
  • the high luminance determination process S84 is performed next.
  • the pixel (x, y) is a “dark part” pixel through the low luminance determination process S81 and the hue determination process S82.
  • High brightness determination: S84 In the high luminance determination process S84, it is determined whether or not the pixel is a high luminance. Specifically, it is determined whether or not the value of the luminance I (x, y) exceeds a predetermined high luminance reference value (for example, 0.8). When the value of the luminance I (x, y) exceeds the high luminance reference value (S84: Yes), there is a possibility that the accuracy of the color information is excessively low, and the saturation determination processing S85 is subsequently performed. Is done. On the other hand, when the value of the luminance I (x, y) is equal to or lower than the high luminance reference value (S84: No), the process S86 is performed next.
  • a predetermined high luminance reference value for example, 0.8
  • saturation determination process S85 it is determined whether or not the value of the saturation S (x, y) is within a predetermined normal range (for example, 0.3 to 0.7). This normal range is a distribution range of saturation of a normal endoscopic image. If the value of the saturation S (x, y) is not within the normal range, it is considered that the accuracy of the saturation S (x, y) is significantly reduced due to high luminance.
  • a predetermined normal range for example, 0.3 to 0.7.
  • the TE image data E is saturated.
  • the number of color channels is recorded in the reliability information table CT (S88).
  • FIG. 12 is a flowchart showing the procedure of the marking process S9.
  • the score reliability calculation process S91 of the present embodiment described below is performed based on the TE image data E, but the score reliability calculation process S91 may be performed based on the normal observation image data N.
  • the score reliability calculation process S91 is performed based on the normal observation image data N.
  • the score reliability SR is calculated by Equation 9 as a ratio of pixels (x, y) having a score Sc (x, y) where a certain reliability is recognized. That is, the score reliability SR is calculated as a ratio of the number of pixels that have not undergone dark part registration S83 or halation registration S87 in the reliability evaluation process S8 to the total number of pixels of the TE image EP.
  • N EP Total number of pixels in TE image
  • N dark Number of pixels registered in dark part of TE image
  • N halation Number of pixels registered in halation registration of TE image
  • FIG. 13 is a flowchart showing the procedure of the marking image generation process S92.
  • FIG. 14 shows a marking image MP generated in the marking image generation processing S92 (more precisely, a composite image CP obtained by overlaying the marking image MP on the TE image EP).
  • marking image generation process S92 five types of marking images MP are generated according to the score reliability SR of the TE image EP (S921 to S928). Further, a composite image CP is generated by overlaying the generated marking image MP on the TE image EP (S929).
  • the marking image MP is overlay combined with the TE image EP.
  • the marking image MP may be overlay combined with the normal observation image NP.
  • Pixels (x, y) whose score Sc (x, y) is excessively low that is, pixels where constant reliability is not recognized) occupy most of the pixels of the TE image EP, and the score reliability SR is extremely high.
  • the score reliability SR is less than 25% (S921: Yes)
  • the marking image MP is not generated because the sufficiently useful marking image MP cannot be generated.
  • an empty marking image MP is subjected to overlay synthesis processing on the TE image EP. That is, as shown in FIG. 14A, the TE image EP without the mark is stored as it is in the storage area Pc as the composite image CP.
  • a predetermined code character, number, symbol
  • the mark is placed so that the center of gravity of the mark coincides with the pixel having the maximum score Sc (or the center of gravity of the image area having the maximum score Sc).
  • the color, size, and type of the mark may be changed according to the value of the maximum score Sc.
  • FIG. 14 (b-2) is a modified example of the marking image MP generated by the first type simple marking process S923.
  • a plurality of predetermined marks ( ⁇ marks) having a size corresponding to the score Sc (x, y) on a pixel (x, y) having a score Sc (x, y) equal to or greater than a predetermined threshold. ) Is attached. Further, the marks are attached so as not to overlap each other so that the marks can be identified. According to this configuration, it is possible to easily grasp the position and distribution (shape) of a highly severe area.
  • FIGS. 14 (c-1) and (c-2) As described above, the second type simple marking process S925 for generating a marking image MP with a mark surrounding a region having a high score Sc (x, y) is performed.
  • FIG. 14 (c-1) is an example in which a mark composed of a plurality of symbols and figures (for example, arrows) arranged so as to surround an area having a high score Sc (x, y) is attached.
  • c-2) is an example in which an annular mark surrounding a region having a high score Sc (x, y) is added.
  • the display color table DCT stored in the memory 229 is referred to, and the display color Col (x, y) applied to each pixel (x, y) based on the score Sc (x, y). ) Is determined.
  • color map image data M marking image MP having the display color Col (x, y) as a pixel value is generated and stored in the storage area P m of the image memory 227.
  • the display color table DCT is a numerical value table that defines the correspondence between the score Sc (x, y) and the color code that defines the display color Col (x, y) of the color map image.
  • An example of the display color table DCT is shown in Table 1.
  • As the display color a different color is set for each of the 11-level scores Sc (x, y). It should be noted that an empty value (null value) indicating colorless and transparent is given to a pixel (x, y) whose score Sc (x, y) is zero (normal tissue). It is not colored by the color mapping process S928.
  • the designation of the color to be assigned to each pixel (x, y) is not limited to designation by RGB, but may be designated by other color expressions (for example, hue and / or saturation).
  • FIG. 14E shows a modification of the color map image.
  • This modification is a grayscale color map image composed of achromatic colors having only luminance information.
  • the color map image of this modification may be displayed instead of the marking image MP of FIGS. 14 (a) to (c-2).
  • the user can intuitively grasp that the score reliability SR is low, and can obtain detailed information on the severity.
  • color mapping process S9208 for example, two types of display color tables DCT (a chromatic color table and an achromatic color table) are used depending on whether or not the score Sc (x, y) is reliable.
  • Color mapping with a chromatic color is performed on a pixel (x, y) where x, y) has a certain reliability, and a score Sc (x, y) becomes a pixel (x, y) where the score Sc (x, y) does not have a certain reliability.
  • it may be configured to perform color mapping with an achromatic color.
  • Display screen generation: S10 When the marking process S9 is completed, a display screen generation process S10 is performed next.
  • the display screen generation process S10 is a process of generating display screen data to be displayed on the monitor 900 using various image data stored in the image memory 227.
  • the display screen generation process S10 is performed by the display screen generation unit 228 of the image processing circuit 220. Done.
  • the display screen generation unit 228 can generate a plurality of types of display screen data under the control of the system controller 202.
  • FIG. 15 is an example of a display screen generated by the display screen generation processing S10, and is an analysis mode observation screen 320 displayed during endoscopic observation in the image analysis mode.
  • the analysis mode observation screen 320 has a date and time display area 321 in which the imaging date and time are displayed, and a basic information display area in which basic information related to the examination (for example, patient identification number, age, sex, and name of doctor in charge) is displayed.
  • a basic information display area for displaying the marking image MP and / or TE image EP (or the normal observation image NP)
  • an analysis accuracy information display area for displaying information relating to the analysis accuracy (evaluation result by the reliability evaluation process S8).
  • the score reliability SR display 324a In the analysis accuracy information display area 324, the score reliability SR display 324a, the ratio (dark part ratio display) 324b of the pixel (x, y) registered in the dark part registration S83, and the pixel (x, y) registered in the halation registration S87.
  • Display 324c reflection portion ratio display
  • a saturated color channel display saturated channel display
  • the score reliability SR display 324a is displayed in three stages of “high”, “medium”, and “low” according to the value of the score reliability SR. For example, “high” is displayed when the score reliability SR is 75% or more, “medium” is displayed when the score reliability is 25% or more and less than 75%, and “low” is displayed when the score reliability is less than 25%. .
  • the color (one or more of hue, saturation, and luminance) and the size of the display 324a of the score reliability SR may be changed according to the value of the score reliability SR. Further, the score reliability SR may be displayed by color according to the background color of the analysis mode observation screen 320 (or the analysis accuracy information display area 324).
  • the dark portion ratio display 324b is displayed in three stages of “many”, “medium”, and “small” in accordance with the ratio of the number of dark pixels registered S83 to the total number of pixels N EP of the TE image EP. For example, “many” is displayed when the ratio of the number N dark of pixels registered in the dark portion S83 is 50% or more, “medium” is displayed when it is 10% to less than 50%, and when it is less than 10%. “Low” is displayed.
  • the reflection portion ratio display 324c is also “many”, “medium”, “small” depending on the ratio of the number of pixels N halation registered in the halation registration S87 to the total number of pixels N EP of the TE image EP. "Is displayed in three stages. For example, “many” is displayed when the ratio of the number of pixels N halation registered S87 to the total number of pixels N EP of the TE image EP is 50% or more, and “medium” when the ratio is 10% or more and less than 50%. Is displayed, and “less” is displayed when it is less than 10%.
  • the color (one or more of hue, saturation, and luminance) and the size of the dark portion ratio display 324b (or the reflection portion ratio display 324c) and the size change according to the ratio of the pixels that have undergone dark portion registration S83 (or halation registration S87). You may let them.
  • a saturated color channel for example, a saturated channel having a predetermined number of pixels
  • a symbol indicating a saturated color channel for example, letters “R”, “G”, “B” or a figure has the same hue as the color channel (for example, red for the R channel), and saturation.
  • it is displayed in a color with high brightness.
  • a symbol for example, the letter “B” indicating a color channel that is not saturated (for example, the letter “B”) is not displayed, or is displayed so as to be inconspicuous with an achromatic color (for example, gray) having a low luminance.
  • simple symbols may be displayed without using symbols or the like.
  • the display screen generation section 228 reads out the marking image data M from the storage area group P m of the image memory 227, and / or the storage area group P e from the TE image data E (or storage area Normal observation image data N) is read from the group P n and displayed in the image display area 323.
  • Information provided from the system controller 202 is displayed in the date / time display area 321 and the basic information display area 322.
  • Output processing: S11 The display screen data generated by the display screen generation processing S10 is subjected to processing such as gamma correction by the output circuit 220b, then converted into a video signal of a predetermined video format, and output to the monitor 900 (output) Process S11).
  • the surgeon observes the endoscope while looking at the analysis mode observation screen 320. Specifically, endoscopic observation is performed while viewing the marking image MP displayed in the image display area 323. By observing the marked part in the marking image MP with particular care, an accurate diagnosis can be performed without overlooking the lesion.
  • FIG. 16 is a marking image MP2 (color map image) of the second embodiment.
  • the color mapping process with reference to the reliability information table CT, for the pixel in which the color channel is saturated, coloring based on the display color table DCT shown in Table 1 is not performed, and the saturated color It is colored in an achromatic color (that is, gray scale) having luminance information corresponding to the number of channels.
  • the higher the number of saturated color channels the higher the luminance is given.
  • the region MP21 is a region where saturation occurs in one color channel
  • the region MP22 is a region where saturation occurs in two color channels
  • the region MP23 includes three color channels. This is a region where saturation occurs.
  • color mapping corresponding to the severity is performed according to Table 1 for pixels in which the color channel is not saturated and the dark part registration S83 and the halation registration S87 are not performed. Since the color map indicating the severity is composed of colors with high saturation, both can be easily identified even when mixed with an achromatic color map indicating the saturation number of the color channel.
  • the pixel registered for halation registration S87 may be colored with the same color as the region MP23 (or an achromatic color brighter than the region MP23). Moreover, it is good also as a structure which colors the pixel registered dark part S83 by the achromatic color darker than area
  • the present invention can be applied to a video reproduction device that reproduces an endoscopic observation video imaged by an electronic endoscope device.
  • the present invention can also be applied to analysis of observation images other than endoscopic images (for example, observation images of the body surface taken by a normal video camera or observation images of the body during surgery).
  • Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention.
  • the embodiment of the present invention also includes contents appropriately combined with embodiments or the like clearly shown in the specification or obvious embodiments.

Abstract

　画像処理装置は、生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、画像データに基づいて、スコアの信頼性を評価する信頼性評価手段と、画像データの全画素数のうち、スコアが所定の信頼性を有する画素の割合を示すスコア信頼度を計算するスコア信頼度計算手段と、を備える。

Description

画像処理装置
　本発明は、生体組織の画像を処理する画像処理装置に関する。
　内視鏡画像の色情報を解析して、被写体である生体組織の状態に関する情報（以下、「生体情報」という。）を得る内視鏡装置が知られている。
　特許第５３０２９８４号公報（以下、「特許文献１」と記す。）には、血中ヘモグロビンの酸素飽和度に関する情報を画像化した酸素飽和度画像を生成する内視鏡システムが記載されている。特許文献１の内視鏡システムは、波長スペクトルが異なる２種類の照明光（白色光と狭帯域である酸素飽和度測定光）を交互に用いて連続して撮影した２フレームの色信号の関係から画素毎に酸素飽和度を求め、酸素飽和度と関連付けられた色差信号（疑似カラー）で表された酸素飽和度画像を生成する。また、特許文献１の内視鏡システムは、上記２フレームの色信号の関係から、画素毎に酸素飽和度の信頼度を計算し、疑似カラーの彩度を信頼度に応じて決定する。
　特許文献１の内視鏡システムでは、画素毎に生体情報の信頼性が評価・表示されるに過ぎず、画像全体での信頼性（すなわち、撮影条件の良否）に適した画像処理を行うことができなかった。
　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像全体での生体情報の信頼性に応じた画像処理が可能な画像処理装置を提供することである。
　本発明の一実施形態によれば、生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、画像データに基づいて、スコアの信頼性を評価する信頼性評価手段と、画像データの全画素数のうち、スコアが所定の信頼性を有する画素の割合を示すスコア信頼度を計算するスコア信頼度計算手段と、を備えた、画像処理装置が提供される。
　上記の画像処理装置において、信頼性評価手段が、画素値に基づきハレーションの画素か否かを判定するハレーション判定手段を備え、ハレーションの画素と判定された画素を、スコアが所定の信頼性を有する画素から除外する構成としてもよい。
　上記の画像処理装置において、信頼性評価手段が、画素値に基づき暗部の画素か否かを判定する暗部判定手段を備え、暗部の画素と判定された画素を、スコアが所定の信頼性を有する画素から除外する構成としてもよい。
　輝度が過度に高い又は過度に低い画素は、色情報の精度が低いため、スコアの信頼性も低いものとなる。ハレーションの発生部や暗部の画素を判定する手段を設け、ハレーションの発生部又は暗部と判定された画素をスコアの信頼性に乏しい画素と分類することにより、適切な信頼性の評価が可能になる。
　上記の画像処理装置において、画像データの画素値をＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する色空間変換手段を備え、信頼性評価手段が、色空間変換手段から出力された画素の輝度に基づいてスコアの信頼性を評価する構成としてもよい。
　スコアの信頼性の計算には輝度情報が必要となるため、ＨＳＩ空間上で表現された画像データを使用することで、スコアの信頼性の計算が容易になる。
　上記の画像処理装置において、信頼性評価手段が、画素値に基づきいずれかのカラーチャンネルが飽和した飽和画素か否かを判定する飽和判定手段を備え、飽和画素と判定された画素を、スコアが所定の信頼性を有する画素から除外する構成としてもよい。
　この構成によれば、従来考慮されていなかったカラーチャンネルの飽和に基づいてスコアの信頼性が評価されるため、より精密で適切な信頼性の評価が可能になる。
　上記の画像処理装置において、飽和判定手段が、画素値に基づき飽和したカラーチャンネル数を計数する飽和チャンネル数計数手段を備え、飽和したカラーチャンネル数が所定数以上の画素を飽和画素と判定する構成としてもよい。
　上記の画像処理装置において、スコアの分布を示す印を画像上に付すマーキング手段を備え、マーキング手段が、スコア信頼度に応じて印の態様を変更する構成としてもよい。
　この構成によれば、スコア信頼度に適したスコア分布の表示が可能になる。
　上記の画像処理装置において、マーキング手段が、病変部の画素の色をスコアに応じた色に変更する第１カラーマッピングを行う構成としてもよい。
　上記の画像処理装置において、マーキング手段が、スコアの信頼性が低い画素が局在する画像の領域を、第１カラーマッピングを行う領域から除外する構成としてもよい。
　この構成によれば、第１カラーマッピングに必要な計算量が削減される。
　上記の画像処理装置において、マーキング手段が、スコアが所定の信頼性を有する画素と、信頼性を有しない画素とで、それぞれ異なる色を使用して第１カラーマッピングを行う構成としてもよい。
　この構成によれば、信頼性の有無とスコアを直感的に把握可能なカラーマップ画像が得られる。
　上記の画像処理装置において、マーキング手段が、画像においてスコアが所定値以上の領域の上に印を付す第１種簡易マーキング処理を行う構成としてもよい。
　この構成によれば、少ない計算量で、信頼性の有無やスコアの分布を容易に把握できるマーキングが可能になる。
　上記の画像処理装置において、印が符号又は図形であり、マーキング手段が、スコアに応じて、印の大きさ、色及び種類の少なくとも一つを変更する構成としてもよい。
　上記の画像処理装置において、第１種簡易マーキング処理が、スコアが所定値以上の領域の重心、又は、スコアが最大となる画素の上に単一の印を付す構成としてもよい。
　上記の画像処理装置において、第１種簡易マーキング処理が、スコアが所定値以上の領域に複数の印を付す構成としてもよい。
　上記の画像処理装置において、第１種簡易マーキング処理が、複数の印を互いに重なり合わないように付す構成としてもよい。
　上記の画像処理装置において、第１種簡易マーキング処理が、スコアが所定値以上の画素の上に、スコアに応じた大きさの印を付す構成としてもよい。
　上記の画像処理装置において、マーキング手段が、画像においてスコアが高い領域を囲むように印を付す第２種簡易マーキング処理を行う構成としてもよい。
　上記の画像処理装置において、印が、スコアが高い領域を囲む環、又は、スコアが高い領域を囲むように配列された複数の符号又は図形である構成としてもよい。
　上記の画像処理装置において、スコアの信頼性の評価結果を表示する信頼性表示手段を備えた構成としてもよい。
　上記の画像処理装置において、信頼性表示手段が、スコア信頼度を表示するスコア信頼度表示手段を備えた構成としてもよい。
　上記の画像処理装置において、信頼性表示手段が、暗部の画素の数に関する情報を表示する暗部情報表示手段を備えた構成としてもよい。
　上記の画像処理装置において、信頼性表示手段が、ハレーションの画素の数に関する情報を表示するハレーション情報表示手段を備えた構成としてもよい。
　上記の画像処理装置において、信頼性表示手段が、飽和したカラーチャンネルの数に関する情報を表示する飽和情報表示手段を備えた構成としてもよい。
　上記の画像処理装置において、飽和情報表示手段が、画素の色を飽和したカラーチャンネルの数に応じた色に変更する第２カラーマッピングを行う構成としてもよい。
　上記の画像処理装置において、飽和情報表示手段が、第１カラーマッピングとは異なる色を使用して第２カラーマッピングを行う構成としてもよい。
　上記の画像処理装置において、マーキング手段が、有彩色を使用して第１カラーマッピングを行い、飽和情報表示手段が、無彩色を使用して第２カラーマッピングを行う構成としてもよい。
　上記の画像処理装置において、画像のカラーバランスに基づいて、撮影条件の良否を判定する構成としてもよい。
　上記の画像処理装置において、画像が、単一の広帯域照明光を用いて撮影された画像である構成としてもよい。
　本発明の一実施形態によれば、画像全体での生体情報の信頼性に応じた画像処理が可能になる。
本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る電子内視鏡装置の画像処理に関する回路の概略構成を示したブロック図である。 画像メモリの記憶領域の概略構成を示す図である。 画像処理回路が行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 病変判定処理の手順を示すフローチャートである。 生体組織像の画素値をＨＳ座標空間にプロットした散布図である。 スコア計算処理の手順を示すフローチャートである。 色相距離、彩度距離と相関値との関係を示すグラフである。 信頼性評価処理の手順を説明するフローチャートである。 マーキング処理Ｓ９の手順を示すフローチャートである。 マーキング画像生成処理の手順を示すフローチャートである。 マーキング画像生成処理で生成される合成画像ＣＰである。 表示画面生成処理によって生成される解析モード観察画面である。 第２実施形態のマーキング画像ＭＰ２（カラーマップ画像）である。
　以下、本発明の画像処理装置の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
［電子内視鏡装置１全体の構成］
　図１は、本発明の電子内視鏡装置１の構成を示すブロック図である。図１に示されるように、電子内視鏡装置１は、電子スコープ１００、プロセッサ２００及びモニタ９００を備えている。
　プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡装置１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡装置１の各動作及び各動作のためのパラメーターを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整する同期信号を電子内視鏡装置１内の各回路に出力する。
　ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ広帯域光（又は少なくとも可視光領域を含む白色光）である。
　ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。
　ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
　固体撮像素子１０８は、補色市松色差線順次方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上で結像した被写体の光学像を撮像して、アナログ撮像信号を出力する。具体的には、固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの色信号を生成し、生成された垂直方向に隣接する２つの画素の色信号を加算し混合して得た走査線を順次出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。
　電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、上述の走査線からなるアナログ撮像信号がフィールド周期で固体撮像素子１０８より入力される。なお、以降の説明において「フィールド」は「フレーム」に置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力されるアナログ撮像信号に対して所定の処理を施してプロセッサ２００の画像処理回路２２０に出力する。
　ドライバ信号処理回路１１０はまた、メモリ１２０にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１２０に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１２０より読み出された固有情報をシステムコントローラ２０２に出力する。
　システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
　タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、同期信号を生成する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給される同期信号に従って、プロセッサ２００が生成するビデオ信号のフィールドレートに同期したタイミングで固体撮像素子１０８を駆動制御する。
　画像処理回路２２０は、システムコントローラ２０２による制御の下、電子スコープ１００から出力される撮像信号に基づいて画像データを生成する。また、画像処理回路２２０は、生成された画像データを使用してモニタ表示用の画面データを生成し、この画面データを所定のビデオ・フォーマットのビデオ信号に変換して出力する。ビデオ信号はモニタ９００に入力され、被写体のカラー画像がモニタ９００の表示画面に表示される。
　図２は、電子内視鏡装置１の画像処理に関する回路の概略構成を示したブロック図である。
　ドライバ信号処理回路１１０は、駆動回路１１２とＡＦＥ（Analog Front End）１１４を備えている。駆動回路１１２は、同期信号に基づいて固体撮像素子１０８の駆動信号を生成する。ＡＦＥ１１４は、固体撮像素子１０８から出力されるアナログ撮像信号に対して、ノイズ除去、信号増幅・ゲイン補正及びＡ／Ｄ変換を行い、デジタル撮像信号を出力する。なお、本実施形態においてＡＦＥ１１４が行う処理の全部又は一部を固体撮像素子１０８又は画像処理回路２２０が行う構成としてもよい。
　画像処理回路２２０は、基本処理部２２０ａ、出力回路２２０ｂ、ＴＥ（Tone Enhancement：トーン強調）処理部２２１、有効画素判定部２２２、色空間変換部２２３、病変判定部２２４、スコア計算部２２５、マーキング処理部２２６、画像メモリ２２７、表示画面生成部２２８、メモリ２２９及び信頼性評価部２３０を備えている。画像処理回路２２０の各部が行う処理については後述する。
　図３は、画像メモリ２２７が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２７には、４つの記憶領域Ｐｎ、Ｐｅ、Ｐｃ、Ｐｍが設けられている。記憶領域Ｐｎは、基本処理部２２０ａが生成する通常観察画像データＮ（通常観察画像ＮＰを表す画像データ）を記憶する領域である。なお、記憶領域Ｐｎには連続して生成された二以上の通常観察画像データＮを記憶させることができる。また、記憶領域Ｐｎへのデータの書き込み／読み出しは、先入れ先出し方式（FIFO）により行われる。記憶領域Ｐｅは、ＴＥ処理部２２１が生成するＴＥ画像データＥ（ＴＥ画像ＥＰを表す画像データ）を記憶する領域である。記憶領域Ｐｍは、マーキング処理部２２６が生成するマーキング画像データＭ（マーキング画像ＭＰを表す画像データ）を記憶する領域である。記憶領域Ｐｃは、通常観察画像データＮ（又はＴＥ画像データＥ）とマーキング画像データＭとを合成した合成画像データＣ（合成画像ＣＰを表す画像データ）を記憶する領域である。
　また、図２に示されるように、メモリ２２９には、フラグテーブルＦＴ、スコアテーブルＳＴ、色相相関値テーブルＨＣＴ、彩度相関値テーブルＳＣＴ、信頼性情報テーブルＣＴ及び表示色テーブルＤＣＴが格納される。フラグテーブルＦＴ及びスコアテーブルＳＴは、それぞれ通常観察画像データＮの各画素（ｘ，ｙ）に関する解析結果を示すフラグＦ（ｘ，ｙ）、スコアＳｃ（ｘ，ｙ）から構成された数値テーブルである。具体的には、フラグＦ（ｘ，ｙ）は対応する画素（ｘ，ｙ）に写された組織の病変の有無を示すパラメーターであり、スコアＳｃ（ｘ，ｙ）はその病変の重症度を示すパラメーターである。表示色テーブルＤＣＴは、スコアＳｃ（ｘ，ｙ）と後述するカラーマップ画像（マーキング画像ＭＰの一形態）の表示色（カラーコード）との対応関係を規定する数値テーブルである。色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴについては後述する。
［基本処理Ｓ１］
　次に、画像処理回路２２０が行う処理について説明する。
　図４は、画像処理回路２２０が行う処理の手順を示すフローチャートである。ＡＦＥ１１４から出力されたデジタル信号は、先ず基本処理部２２０ａによって一般的な信号処理（基本処理Ｓ１）が行われて、通常観察画像データＮが生成される。
　基本処理Ｓ１には、ＡＦＥ１１４から出力されたデジタル撮像信号を輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換する処理、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから原色信号Ｒ、Ｇ、Ｂを分離する原色分離処理、オフセット成分を除去するクランプ処理、欠陥画素の画素値を周囲の画素の画素値を用いて補正する欠陥補正処理、単色の画素値からなる撮像データ（ＲＡＷデータ）をフルカラーの画素値からなる画像データに変換するデモザイク処理（補間処理）、カラーマトリクスを用いて撮像素子の分光特性を補正するリニアマトリクス処理、照明光のスペクトル特性を補正するホワイトバランス処理、空間周波数特性の劣化を補償する輪郭補正等が含まれる。
　なお、本実施形態において基本処理部２２０ａが行う処理の全部又は一部をドライバ信号処理回路１１０又は固体撮像素子１０８が行う構成としてもよい。
　基本処理部２２０ａによって生成された通常観察画像データＮは、ＴＥ処理部２２１及び信頼性評価部２３０に入力されると共に、画像メモリ２２７の記憶領域Ｐｎに記憶される。
［動作モード判定処理Ｓ２］
　次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報を解析し、色情報の解析結果から所定の判定基準に基づいて病変部が写された画素（以下「病変画素」という。）であるか否かを判定して、病変画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である炎症（浮腫や易出血性を含む赤変病変）の観察像に特有な色域の画素を抽出して、識別表示するものである。
　なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１３０やプロセッサ２００の操作パネル２１４に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ１２へ進む。
［ＴＥ（トーン強調）処理Ｓ３］
　画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にＴＥ処理部２２１によるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、通常観察画像データＮの各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定対象の病変に特有の色域（特にその境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図５に示すような非線形のゲインを与えて原色信号Ｒ´，Ｇ´，Ｂ´（ＴＥ画像データＥ）を取得する処理が行われる。例えば、図５のゲイン曲線は、潰瘍に特徴的な色域の境界領域ＲＡから、炎症に特徴的な色域の境界領域ＲＢにかけて、傾きが急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域ＲＡから境界領域ＲＢにかけて原色信号Ｒ´（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。
　なお、ＴＥ処理Ｓ３により、炎症部は赤く、潰瘍部は白く、正常部は緑色に色味が変化する。そのため、ＴＥ処理Ｓ３によって生成されたＴＥ画像データＥをモニタ９００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮを表示した場合よりも病変部（炎症部や潰瘍部）を容易に視認することができる。なお、上記のＴＥ処理Ｓ３は、本発明に適用可能な色彩強調処理の一例であり、ＴＥ処理Ｓ３に替えて、色の質、具体的には色相又は彩度（あるいは色度）のコントラストを高める他の種類の色彩強調処理を使用してもよい。
［有効画素判定処理Ｓ４］
　ＴＥ処理Ｓ３が完了すると、次にＴＥ画像データＥに対して有効画素判定部２２２による有効画素判定処理Ｓ４が行われる。なお、ＴＥ処理Ｓ３を省略して、通常観察画像データＮに対して有効画素判定処理Ｓ４を行うこともできる。
　図６は、有効画素判定処理Ｓ４の手順を示すフローチャートである。有効画素判定処理Ｓ４は、画素値が画像解析に適したものであるか否かを判定する処理であり、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、ＴＥ画像データＥの原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。
Figure JPOXMLDOC01-appb-M000001
　なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、次の適正露出判定処理Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。
　次に、各画素（ｘ，ｙ）について、処理Ｓ４１において計算したＴＥ画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）に基づいて、画像解析に適した露出レベルであるか否かを判定する適正露出判定処理Ｓ４２が行われる。適正露出判定処理Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは、両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定され、数式３により各原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の下限値が規定されている。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　画素（ｘ，ｙ）について、数式２又は数式３（或いは、数式２及び数式３）を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２は、メモリ２２９に格納されているフラグテーブルＦＴの画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。
　なお、フラグＦ（ｘ，ｙ）は、０～２のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
　０：画素データ無効
　１：正常又は未判定（画素データ有効）
　２：病変（炎症）
　また、適正露出判定処理Ｓ４２において、数式２、数式３のいずれの条件も（或いは、いずれかの条件を）満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２は、フラグＦ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。
　次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１～Ｓ４５が繰り返される。
［色空間変換処理Ｓ５］
　有効画素判定処理Ｓ４が完了すると、次にＴＥ画像データＥに対して色空間変換部２２３により色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間の画素値を、色相（Hew）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する処理である。具体的には、色空間変換処理Ｓ５において、ＴＥ画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。
　また、露出が不足又は過剰な画素（ｘ，ｙ）のデータは精度が低く、解析結果の信頼性を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグＦ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。
　色空間変換部２２３によって生成された各画素（ｘ，ｙ）の色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）及び輝度Ｉ（ｘ，ｙ）からなる判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝は、病変判定部２２４に入力される。
［病変判定処理Ｓ６］
　色空間変換処理Ｓ５が完了すると、次に病変判定部２２４により判定用画像データＪを用いた病変判定処理Ｓ６が行われる。病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、判定用画像データＪがＨＳ空間（色相－彩度空間）上の後述する領域α、β（図８）のいずれにプロットされるかによって、その画素に写された生体組織の状態（炎症部であるか否か）を判定する処理である。なお、ＨＳ空間は、色度空間と同様に、色の質（明るさ・輝度を除いた色の要素）を表す空間である。例えば、CIE 1976 L*a*b*色空間等の他の色空間上で画像解析を行う場合には、病変判定部２２４は色度空間（例えばa*b*空間）上で行われる。
　図７は、病変判定処理Ｓ６の手順を示すフローチャートである。病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦＴを参照して、各画素（ｘ，ｙ）のデータが有効であるか否かを判断する（Ｓ６１）。フラグＦ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグＦ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６４へ進む。
　ここで、炎症判定処理Ｓ６２について説明する。図８は、複数の炎症性腸疾患患者の内視鏡画像データから取得した判定用画像データＪをＨＳ空間上にプロットした散布図である。
　図８の散布図は、右側下方の破線で囲まれた領域βと、それ以外の領域αとに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって炎症部と判断された部位の画素の大半が領域βにプロットされ、非炎症部と判断された部位の画素の大半が領域αにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察画像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（炎症の有無）を十分な確度で判別できることを意味している。
　炎症判定処理Ｓ６２においては、各画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が、図８の領域βにプロットされるか否かが判定される。具体的には、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、以下の数式４及び数式５の両方を満たす場合に、領域βにプロットされる（すなわち炎症部の画素と判定される）。また、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、数式４及び数式５の少なくとも一方を満たさない場合に、領域αにプロットされる（すなわち炎症部の画素ではないと判定される）。なお、δＳ１、δＨ１及びδＨ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６４に進む。また、判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされない場合は（Ｓ６２：Ｎｏ）、フラグＦ（ｘ，ｙ）は書き換えられずに、処理Ｓ６４に進む。
　処理Ｓ６４では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１～Ｓ６４が繰り返される。
［スコア計算：Ｓ７］
　病変判定処理Ｓ６が完了すると、次にスコア計算処理Ｓ７が行われる。スコア計算処理Ｓ７は、判定用画像データＪの画素値に基づいて、病変部の重症度の評価値であるスコアＳｃ（ｘ，ｙ）を計算する処理である。スコア計算処理Ｓ７は、全ての画素（ｘ，ｙ）について順次行われる。なお、以下に説明するスコア計算のアルゴリズムは一例であり、本発明は様々なアルゴリズムにより算出したスコアの画面表示に適用することができる。
［スコア計算の原理］
　ここで、本実施形態のスコア計算の原理について簡単に説明する。炎症部は、血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど、表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。そのため、炎症部の色と血液の色との相関の程度（後述する相関値ＣＶ）が、炎症部の重症度を示す良い指標となる。本実施形態では、各画素（ｘ，ｙ）の判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝と血液の色（色相、彩度）との相関値ＣＶ（ｘ，ｙ）を計算して、これを炎症部の重症度を示すスコアＳｃ（ｘ，ｙ）として使用する。
［病変部の判定：Ｓ７１］
　図９は、スコア計算処理Ｓ７の手順を示すフローチャートである。スコア計算処理Ｓ７では、まずフラグテーブルＦＴが読み出され、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）であるか否かが判断される（Ｓ７１）。
　フラグＦ（ｘ，ｙ）の値が「２」（炎症）である場合、すなわち画素（ｘ，ｙ）が病変画素である場合は（Ｓ７１：Ｙｅｓ）、処理はＳ７２へ進む。また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、処理はＳ７９へ進む。
［彩度の補正：Ｓ７２］
　血液や血液を含有する生体組織の画像の彩度は、輝度に依存することが知られている。具体的には、輝度と彩度は負の相関を有し、明るいほど彩度が低下する。Ｓ７２では、本発明者が開発した以下の補正式（数式６）を使用して、判定用画像データＪ（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）による彩度Ｓ（ｘ，ｙ）の変動が補正される。この補正により、スコア計算の精度を高めることができる。
Figure JPOXMLDOC01-appb-M000006
 　但し、
　　Icorr.(x,y)：判定用画像データJの補正後の輝度
　　Scorr.(x,y)：判定用画像データJの補正後の彩度
　　Iref：基準値となる血液サンプルデータの輝度
　　Sref：基準値となる血液サンプルデータの彩度
　　θ：血液サンプルデータの輝度値と彩度値との相関係数（cosθ）を与える角度
　なお、血液サンプルの彩度と輝度の相関係数（実測値）は－０．８６であり、θ＝１４９．３２（ｄｅｇ）が適用される。
［色相距離ＤＨＵＥの計算：Ｓ７３］
　次に、数式７により、色相距離ＤＨＵＥ（ｘ，ｙ）が計算される（Ｓ７３）。色相距離ＤＨＵＥは、血液サンプルデータの色相Ｈrefを基準とした、判定用画像データＪ（ｘ，ｙ）の色相の相対値である。
Figure JPOXMLDOC01-appb-M000007
［色相相関値ＨＣＶの決定：Ｓ７４］
　次に、色相距離ＤＨＵＥ（ｘ，ｙ）から色相相関値ＨＣＶ（ｘ，ｙ）が決定される（Ｓ７４）。色相相関値ＨＣＶ（ｘ，ｙ）は、炎症部の重症度と強い相関を有するパラメーターである。図１０（ａ）は、色相距離ＤＨＵＥと色相相関値ＨＣＶとの関係を図示したグラフである。色相距離ＤＨＵＥは、±３０°以内の範囲（以下「色相近似範囲Ｒ１１」という。）において、炎症部の重症度と強い相関を有し、それ以外の範囲（以下「色相近似外範囲Ｒ１２」という。）においては殆ど相関を有しない。そのため、本実施形態の色相相関値ＨＣＶ（ｘ，ｙ）は、色相近似外範囲Ｒ１２においては最小値の０．０に設定され、色相近似範囲Ｒ１１においては色相距離ＤＨＵＥ（ｘ，ｙ）が０°に近づくほど線形的に増加するように設定されている。また、色相相関値ＨＣＶ（ｘ，ｙ）は、最小値が０．０、最大値が１．０となるように規格化されている。
　図１０（ａ）に示す色相距離ＤＨＵＥと色相相関値ＨＣＶとの関係は、色相相関値テーブルＨＣＴとしてメモリ２２９に格納されている。色相相関値テーブルＨＣＴを参照することにより、色相距離ＤＨＵＥ（ｘ，ｙ）に対応する色相相関値ＨＣＶ（ｘ，ｙ）が取得される。
［彩度距離ＤＳＡＴの計算：Ｓ７５］
　次に、数式８により、彩度距離ＤＳＡＴ（ｘ，ｙ）が計算される（Ｓ７５）。彩度距離ＤＳＡＴ（ｘ，ｙ）は、血液サンプルデータの彩度Ｓrefを基準とする、判定用画像データＪ（ｘ，ｙ）の彩度の相対値である。
Figure JPOXMLDOC01-appb-M000008
［彩度相関値ＳＣＶの決定：Ｓ７６］
　次に、彩度距離ＤＳＡＴ（ｘ，ｙ）から彩度相関値ＳＣＶ（ｘ，ｙ）が決定される（Ｓ７６）。彩度相関値ＳＣＶ（ｘ，ｙ）も、炎症部の重症度と強い相関を有するパラメーターである。図１０（ｂ）は、彩度距離ＤＳＡＴと彩度相関値ＳＣＶとの関係を図示したグラフである。彩度距離ＤＳＡＴは、所定値以上の負の範囲（以下、「彩度近似範囲Ｒ２２」という。）において、炎症部の重症度と強い相関を有し、負の所定値以下の範囲（以下「彩度近似外範囲Ｒ２３」という。）においては殆ど相関を有しない。また、彩度距離ＤＳＡＴがゼロ以上の範囲、すなわち、病変画素の彩度が血液サンプルデータの彩度Ｓref以上となる範囲（以下「彩度一致範囲Ｒ２１」という。）においては、重症度が極めて高いと考えられる。そのため、本実施形態の彩度相関値ＳＣＶ（ｘ，ｙ）は、彩度一致範囲Ｒ２１において最大値の１．０に設定され、彩度近似外範囲Ｒ２３において最小値の０．０に設定され、彩度近似範囲Ｒ２２において線形的に増加するように設定されている。また、彩度相関値ＳＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値である。
　図１０（ｂ）に示す彩度距離ＤＳＡＴと彩度相関値ＳＣＶとの関係は、彩度相関値テーブルＳＣＴとしてメモリ２２９に格納されている。彩度相関値テーブルＳＣＴを参照することにより、彩度距離ＤＳＡＴ（ｘ，ｙ）に対応する彩度相関値ＳＣＶ（ｘ，ｙ）が取得される。
［相関値ＣＶの計算：Ｓ７７］
　次に、色相相関値ＨＣＶ（ｘ，ｙ）と彩度相関値ＳＣＶ（ｘ，ｙ）との乗算により、病変画素（ｘ，ｙ）の色と血液の色との相関値ＣＶ（ｘ，ｙ）を得る。なお、相関値ＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値となる。また、相関値ＣＶ（ｘ，ｙ）は、０．１ポイント刻みで１１段階に区分される。
［スコアＳｃ更新：Ｓ７８］
　また、相関値ＣＶ（ｘ，ｙ）は炎症の重症度の良い指標となるため、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が相関値ＣＶ（ｘ，ｙ）によって書き換えられる（Ｓ７８）。
［スコアＳｃ更新：Ｓ７９］
　また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、上述した相関値ＣＶ（ｘ，ｙ）の計算を行わずに、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が「０」に書き換えられる（Ｓ７９）。これにより、少ない計算量で全ての画素（ｘ，ｙ）に対してスコアＳｃ（ｘ，ｙ）を与えることができる。
　処理Ｓ８０では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１～Ｓ８０が繰り返される。
［信頼性評価：Ｓ８］
　スコア計算処理Ｓ７の後、信頼性評価部２３０による信頼性評価処理Ｓ８が行われる。
　ここで、本発明の実施形態に係る信頼性評価処理Ｓ８の概要について説明する。上述のように、スコアＳｃ（ｘ，ｙ）は、ＴＥ画像ＥＰの色情報に基づいて計算される。そのため、スコアＳｃ（ｘ，ｙ）の精度は、ＴＥ画像ＥＰの色情報の精度に依存し、色情報の精度が低い画素値から算出されたスコアＳｃ（ｘ，ｙ）は精度の低いものとなる。
　一般に、カラー画像の色は、輝度が中程度の時に最も鮮やかに（色情報が多く）なり、輝度が低くなるほど、また輝度が高くなるほど、彩度が低下（色情報が減少）する。すなわち、カラー画像の色情報の精度は、輝度の影響を受ける。輝度が高過ぎる場合（典型的には、ハレーションが発生した場合）や、逆に輝度が低過ぎる場合には、カラー画像の彩度が著しく低下し、カラー画像に写された被写体の色情報の精度も顕著に低下する。また、色情報の精度は、カラーチャンネル（色成分）の飽和（色成分の値が最大値又は略最大値を取ること）によっても低下する。
　なお、本明細書において、カラーチャンネルとは、カラー画像の画素値の各色成分（例えば、ＲＧＢカラー画像におけるＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ））、又は、色成分の一つから構成されるグレースケール画像をいう。
　精度（信頼性）の低いスコアＳｃ（ｘ，ｙ）は、診断の妨げとなり得るため、ユーザ（医療従事者）に提示しないか、或いは信頼性の情報と共にユーザに提示することが望ましい。
　そこで、本実施形態の信頼性評価処理Ｓ８では、スコアＳｃ（ｘ，ｙ）の計算に使用された判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝及びＴＥ画像データＥ｛Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）｝に基づいて、各画素のスコアＳｃ（ｘ，ｙ）の信頼性を評価する（すなわち、内視鏡画像のカラーバランスに基づいて、撮影条件の良否を判定する）。
　図１１は、信頼性評価処理Ｓ８の手順を説明するフローチャートである。信頼性評価処理Ｓ８は、全ての画素（ｘ，ｙ）について順次行われる。
［低輝度判定：Ｓ８１］
　信頼性評価処理Ｓ８では、まず、低輝度であるか否かを判定する低輝度判定処理Ｓ８１が行われる。具体的には、輝度Ｉ（ｘ，ｙ）の値が所定の低輝度基準値（例えば０．３）を下回るか否かが判定される。輝度Ｉ（ｘ，ｙ）の値が低輝度基準値を下回る場合には（Ｓ８１：Ｙｅｓ）、色情報の精度が過度に低い暗部である可能性があるため、続いて色相判定処理Ｓ８２が行われる。また、輝度Ｉ（ｘ，ｙ）の値が低輝度基準値以上である場合には（Ｓ８１：Ｎｏ）、次に高輝度判定処理Ｓ８４が行われる。
［色相判定：Ｓ８２・暗部登録：Ｓ８３］
　色相判定処理Ｓ８２では、色相Ｈ（ｘ，ｙ）の値が所定の正常範囲内（例えば６０～２７０°）であるか否かが判定される。この正常範囲は、赤い色合いの通常の内視鏡画像の色相の分布範囲である。色相Ｈ（ｘ，ｙ）の値が正常範囲内に無い場合（すなわち、色合いが赤色から外れる場合）、低輝度のために色相Ｈ（ｘ，ｙ）の精度が著しく低下していると考えられる。そのため、色相Ｈ（ｘ，ｙ）の値が６０°未満又は２７０°を超える場合は（Ｓ８２：Ｎｏ）、その画素（ｘ，ｙ）を「暗部」の画素と判定し、信頼性情報テーブルＣＴに「暗部」の判定結果を登録する暗部登録が行われる（Ｓ８３）。
　また、色相Ｈ（ｘ，ｙ）の値が６０°以上かつ２７０°以下の正常範囲内であれば（Ｓ８２：Ｙｅｓ）、次に高輝度判定処理Ｓ８４が行われる。
　以上のように、低輝度判定処理Ｓ８１及び色相判定処理Ｓ８２を通じて、その画素（ｘ，ｙ）が「暗部」の画素であるか否かが判定される。
［高輝度判定：Ｓ８４］
　高輝度判定処理Ｓ８４では、高輝度の画素であるか否かが判定される。具体的には、輝度Ｉ（ｘ，ｙ）の値が所定の高輝度基準値（例えば０．８）を上回るか否かが判定される。輝度Ｉ（ｘ，ｙ）の値が高輝度基準値を上回る場合には（Ｓ８４：Ｙｅｓ）、色情報の精度が過度に低いハレーション部である可能性があるため、続いて彩度判定処理Ｓ８５が行われる。また、輝度Ｉ（ｘ，ｙ）の値が高輝度基準値以下である場合には（Ｓ８４：Ｎｏ）、次に処理Ｓ８６が行われる。
［彩度判定：Ｓ８５・ハレーション登録：Ｓ８７］
　彩度判定処理Ｓ８５では、彩度Ｓ（ｘ，ｙ）の値が所定の正常範囲内（例えば０．３～０．７）であるか否かが判定される。この正常範囲は、通常の内視鏡画像の彩度の分布範囲である。彩度Ｓ（ｘ，ｙ）の値が正常範囲内に無ければ、高輝度のために彩度Ｓ（ｘ，ｙ）の精度が著しく低下していると考えられる。そのため、彩度Ｓ（ｘ，ｙ）の値が０．３未満又は０．７を超える場合には（Ｓ８５：Ｎｏ）、その画素（ｘ，ｙ）を「ハレーション」の画素（すなわち、ハレーションが生じている部分の画素）と判定し、信頼性情報テーブルＣＴに「ハレーション」の判定結果を登録するハレーション登録が行われる（Ｓ８７）。
　また、彩度Ｓ（ｘ，ｙ）の値が０．３以上かつ０．７以下の正常範囲内であれば（Ｓ８５：Ｙｅｓ）、次に処理Ｓ８６が行われる。
［カラーチャンネル飽和判定：Ｓ８６・飽和カラーチャンネル数登録：Ｓ８８］
　処理Ｓ８６では、ＴＥ画像データＥにおける飽和しているカラーチャンネルの数を検出し、全てのカラーチャンネルが飽和しているか否かが判定される。具体的には、ＴＥ画像データＥの要素Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の全てが、飽和基準値（例えば２２０）を上回るか否かが判定される。全ての要素Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が飽和基準値を上回る場合には（Ｓ８６：Ｙｅｓ）、その画素（ｘ，ｙ）を「ハレーション」の画素と判定し、信頼性情報テーブルＣＴに判定結果を登録する（Ｓ８７）。
　また、ＴＥ画像データＥの要素Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の少なくとも一つが飽和基準値以下であれば（Ｓ８６：Ｎｏ）、飽和したカラーチャンネルの数を信頼性情報テーブルＣＴに記録する（Ｓ８８）。
　全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ８１～Ｓ８８が繰り返される（Ｓ８９）。
［マーキング：Ｓ９］
　次に、スコアＳｃ（ｘ，ｙ）に基づいて、ＴＥ画像データＥ（又は通常観察画像ＮＰ）上に病変部の位置や重症度を示す印を付すマーキング処理Ｓ９が行われる。
　図１２は、マーキング処理Ｓ９の手順を示すフローチャートである。
［スコア信頼度計算：Ｓ９１］
　マーキング処理Ｓ９では、まず、スコア信頼度ＳＲを計算するスコア信頼度計算処理Ｓ９１が行われる。
　なお、以下に説明する本実施形態のスコア信頼度計算処理Ｓ９１はＴＥ画像データＥに基づいて行われるが、通常観察画像データＮに基づいてスコア信頼度計算処理Ｓ９１を行う構成としてもよい。例えば、スコア計算処理Ｓ７が通常観察画像データＮの色空間変換処理Ｓ５によって得られた判定用画像データＪに基づく場合に、スコア信頼度計算処理Ｓ９１が通常観察画像データＮに基づいて行われる。
　スコア信頼度ＳＲは、一定の信頼性が認められるスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）の割合として、数式９により計算される。すなわち、スコア信頼度ＳＲは、ＴＥ画像ＥＰの全画素数に対する、信頼性評価処理Ｓ８において暗部登録Ｓ８３もハレーション登録Ｓ８７もされていない画素の数の割合として計算される。
Figure JPOXMLDOC01-appb-M000009
 但し、
　　NEP：ＴＥ画像ＥＰの全画素数
　　Ndark：ＴＥ画像ＥＰの暗部登録Ｓ８３された画素数
　　Nhalation：ＴＥ画像ＥＰのハレーション登録Ｓ８７された画素数
［マーキング画像生成：Ｓ９２］
　スコア信頼度計算処理Ｓ９１に続いて、マーキング画像ＭＰを生成するマーキング画像生成処理Ｓ９２が行われる。
　図１３は、マーキング画像生成処理Ｓ９２の手順を示すフローチャートである。
　図１４は、マーキング画像生成処理Ｓ９２で生成されるマーキング画像ＭＰ（正確には、ＴＥ画像ＥＰ上にマーキング画像ＭＰがオーバーレイ合成処理された合成画像ＣＰ）である。
　マーキング画像生成処理Ｓ９２では、ＴＥ画像ＥＰのスコア信頼度ＳＲに応じて、５種類のマーキング画像ＭＰが生成される（Ｓ９２１～Ｓ９２８）。更に、生成されたマーキング画像ＭＰをＴＥ画像ＥＰ上にオーバーレイ合成処理した合成画像ＣＰが生成される（Ｓ９２９）。
　なお、本実施形態のマーキング画像生成処理Ｓ９２では、ＴＥ画像ＥＰ上にマーキング画像ＭＰがオーバーレイ合成処理されるが、通常観察画像ＮＰ上にマーキング画像ＭＰをオーバーレイ合成処理する構成としてもよい。
　スコアＳｃ（ｘ，ｙ）の信頼性が過度に低い画素（ｘ，ｙ）（すなわち、一定の信頼性が認められない画素）がＴＥ画像ＥＰの画素のほとんどを占め、スコア信頼度ＳＲが極めて低い（例えば、スコア信頼度ＳＲが２５％未満である）場合には（Ｓ９２１：Ｙｅｓ）、十分に有用なマーキング画像ＭＰを生成することができないため、マーキング画像ＭＰは生成されない。
　このとき、画像生成処理Ｓ９２９では、空のマーキング画像ＭＰがＴＥ画像ＥＰ上にオーバーレイ合成処理される。すなわち、図１４（ａ）に示されるように、印が付されていないＴＥ画像ＥＰがそのまま合成画像ＣＰとして記憶領域Ｐｃに記憶される。
［第１種簡易マーキング処理：Ｓ９２３］
　また、信頼度が比較的に低い（例えば、スコア信頼度ＳＲが２５％以上～５０％未満）場合には（Ｓ９２２：Ｙｅｓ）、図１４（ｂ－１）に示されるように、最大スコアＳｃの画素上に所定の印（例えば▲記号）を付したマーキング画像ＭＰを生成して記憶領域Ｐｍに記憶させる第１種簡易マーキング処理Ｓ９２３が行われる。この構成によれば、ユーザは、最も重症度の高い箇所（病変部の中心付近である場合が多い）を確実に把握することができる。
　第１種簡易マーキング処理Ｓ９２３では、予め定められた符号（文字、数字、記号）や図形が印として付される。また、印の重心が、最大スコアＳｃの画素（又は、最大スコアＳｃの画像領域の重心）と一致するように印が付される。なお、最大スコアＳｃの値に応じて、印の色や大きさや種類を変更する構成としてもよい。この構成により、ユーザは、重症度も直観的に把握することができる。
　図１４（ｂ－２）は、第１種簡易マーキング処理Ｓ９２３が生成するマーキング画像ＭＰの変形例である。この変形例では、所定の閾値以上のスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）上に、スコアＳｃ（ｘ，ｙ）に応じた大きさを有する複数の所定の印（×印）が付される。また、印が識別できるように、印は互いに重なり合わないように付される。この構成によれば、重症度の高い領域の位置及び分布（形状）を容易に把握することができる。
［第２種簡易マーキング処理：Ｓ９２５］
　また、信頼度が比較的に高い（例えば、スコア信頼度ＳＲが５０％以上～７５％未満）場合には（Ｓ９２４：Ｙｅｓ）、図１４（ｃ－１）、（ｃ－２）に示されるように、スコアＳｃ（ｘ，ｙ）の高い領域を囲むような印を付したマーキング画像ＭＰを生成する、第２種簡易マーキング処理Ｓ９２５が行われる。なお、図１４（ｃ－１）は、スコアＳｃ（ｘ，ｙ）が高い領域を囲むように配列された複数の符号や図形（例えば矢印）からなる印を付した例であり、図１４（ｃ－２）は、スコアＳｃ（ｘ，ｙ）が高い領域を囲む環状の印を付した例である。
［カラーマッピング処理：Ｓ９２８］
　また、信頼度が極めて高く（例えば、スコア信頼度ＳＲが７５％以上）（Ｓ９２４：Ｎｏ）、スコアＳｃ（ｘ，ｙ）の信頼性が過度に低い画素（ｘ，ｙ）が局在していない場合には（Ｓ９２６：Ｎｏ）、カラーマッピング処理Ｓ９２８（全体カラーマッピング処理）が行われる。カラーマッピング処理Ｓ９２８では、図１４（ｄ）に示されるように、病変部の画素をスコアＳｃ（ｘ，ｙ）に応じた色で着色したカラーマップ画像がマーキング画像ＭＰとして生成される。
　カラーマッピング処理Ｓ９２８では、先ず、メモリ２２９に格納された表示色テーブルＤＣＴが参照され、スコアＳｃ（ｘ，ｙ）に基づいて各画素（ｘ，ｙ）に適用される表示色Ｃｏｌ（ｘ，ｙ）が決定される。次いで、表示色Ｃｏｌ（ｘ，ｙ）を画素値とするカラーマップ画像データＭ（マーキング画像ＭＰ）が生成され、画像メモリ２２７の記憶領域Ｐｍに記憶される。
　なお、表示色テーブルＤＣＴは、スコアＳｃ（ｘ，ｙ）とカラーマップ画像の表示色Ｃｏｌ（ｘ，ｙ）を定義するカラーコードとの対応関係を規定する数値テーブルである。表示色テーブルＤＣＴの一例を表１に示す。表示色は、１１段階のスコアＳｃ（ｘ，ｙ）毎に異なる色が設定される。なお、スコアＳｃ（ｘ，ｙ）の値がゼロ（正常組織）の画素（ｘ，ｙ）に対しては、無色透明を示す空の値（null値）が与えられるため、正常組織の画素はカラーマッピング処理Ｓ９２８によって着色されない。また、各画素（ｘ，ｙ）に付すべき色の指定は、ＲＧＢによる指定に限らず、他の色表現（例えば、色相及び／又は彩度）によって指定することもできる。
Figure JPOXMLDOC01-appb-T000010
　図１４（ｅ）は、カラーマップ画像の変形例である。この変形例は、輝度情報のみを有する無彩色で構成されたグレースケールのカラーマップ画像である。例えば、スコア信頼度ＳＲが低い場合に、図１４（ａ）～（ｃ－２）のマーキング画像ＭＰに替えて、本変形例のカラーマップ画像を表示してもよい。無彩色とすることで、ユーザはスコア信頼度ＳＲが低いことを直感的に把握することができ、尚且つ、重症度に関する詳細な情報を得ることができる。
　また、カラーマッピング処理Ｓ９２８において、例えばスコアＳｃ（ｘ，ｙ）の信頼性の有無に応じて２種類の表示色テーブルＤＣＴ（有彩色カラーテーブルと無彩色カラーテーブル）を使用して、スコアＳｃ（ｘ，ｙ）が一定の信頼性を有する画素（ｘ，ｙ）に対して有彩色によるカラーマッピングを行い、スコアＳｃ（ｘ，ｙ）が一定の信頼性を有しない画素（ｘ，ｙ）に対して無彩色によるカラーマッピングを行う構成としてもよい。
［部分カラーマッピング処理：Ｓ９２７］
　また、スコア信頼度ＳＲが極めて高く（Ｓ９２４：Ｎｏ）、スコアＳｃ（ｘ，ｙ）の信頼性の過度に低い画素（ｘ，ｙ）が局在している場合には（Ｓ９２６：Ｙｅｓ）、図１４（ｆ）に示されるように、スコアＳｃ（ｘ，ｙ）の信頼性が過度に低い画素（ｘ，ｙ）が局在する領域ＬＣを除いた領域に対してカラーマッピングを行う、部分カラーマッピング処理Ｓ９２７が行われる。領域ＬＣには、信頼性の高いスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）も含まれるが、そのような画素の数が少ないため有用なマッピング画像は形成されない。部分カラーマッピング処理Ｓ９２８では、信頼性の高いスコアＳｃ（ｘ，ｙ）を有する画素（ｘ，ｙ）も含めて、領域ＬＣを一括してカラーマッピングの対象外とすることにより、カラーマッピングに必要な計算量を大幅に軽減させることができる。また、領域ＬＣを一括してカラーマッピングの対象外とすることにより、ユーザはスコアＳｃ（ｘ，ｙ）の信頼性の低い領域ＬＣを容易に把握することができる。
［表示画面生成：Ｓ１０］
　マーキング処理Ｓ９が完了すると、次に表示画面生成処理Ｓ１０が行われる。表示画面生成処理Ｓ１０は、画像メモリ２２７に記憶された各種画像データを使用して、モニタ９００に表示するための表示画面データを生成する処理であり、画像処理回路２２０の表示画面生成部２２８によって行われる。表示画面生成部２２８は、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。
　図１５は、表示画面生成処理Ｓ１０によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮影日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、患者の識別番号、年齢、性別や担当医師名）を表示する基本情報表示領域３２２と、マーキング画像ＭＰ及び／又はＴＥ画像ＥＰ（若しくは通常観察画像ＮＰ）を表示する画像表示領域３２３と、解析精度（信頼性評価処理Ｓ８による評価結果）に関する情報を表示する解析精度情報表示領域３２４を備えている。
　解析精度情報表示領域３２４には、スコア信頼度ＳＲの表示３２４ａ、暗部登録Ｓ８３された画素（ｘ，ｙ）の割合の表示（暗部割合表示）３２４ｂ、ハレーション登録Ｓ８７された画素（ｘ，ｙ）の割合の表示（反射部割合表示）３２４ｃ及び飽和したカラーチャンネルの表示（飽和チャンネル表示）３２４ｄが含まれている。
　スコア信頼度ＳＲの表示３２４ａは、スコア信頼度ＳＲの値に応じて、「高」、「中」、「低」の３段階で表示される。例えば、スコア信頼度ＳＲが７５％以上の場合に「高」が表示され、２５％以上～７５％未満の場合に「中」が表示され、２５％未満の場合に「低」が表示される。
　また、スコア信頼度ＳＲの表示３２４ａの色（色相、彩度、輝度の一つ以上）や大きさをスコア信頼度ＳＲの値に応じて変化させてもよい。また、解析モード観察画面３２０（或いは解析精度情報表示領域３２４）の背景色によりスコア信頼度ＳＲを色別表示してもよい。
　暗部割合表示３２４ｂは、ＴＥ画像ＥＰの全画素数ＮＥＰに対する暗部登録Ｓ８３された画素数Ｎdarkの割合に応じて、「多」、「中」、「少」の３段階で表示される。例えば、暗部登録Ｓ８３された画素数Ｎdarkの割合が５０％以上の場合に「多」が表示され、１０％以上～５０％未満の場合に「中」が表示され、１０％未満の場合に「少」が表示される。
　反射部割合表示３２４ｃも、暗部割合表示３２４ｂと同様に、ＴＥ画像ＥＰの全画素数ＮＥＰに対するハレーション登録Ｓ８７された画素数Ｎhalationの割合に応じて、「多」、「中」、「少」の３段階で表示される。例えば、ＴＥ画像ＥＰの全画素数ＮＥＰに対するハレーション登録Ｓ８７された画素数Ｎhalationの割合が５０％以上の場合に「多」が表示され、１０％以上～５０％未満の場合に「中」が表示され、１０％未満の場合に「少」が表示される。
　なお、暗部割合表示３２４ｂ（又は反射部割合表示３２４ｃ）の色（色相、彩度、輝度の一つ以上）や大きさを暗部登録Ｓ８３（又はハレーション登録Ｓ８７）された画素の割合に応じて変化させてもよい。
　飽和チャンネル表示３２４ｄには、飽和しているカラーチャンネル（例えば、所定数を超える画素で飽和が生じているもの）が表示される。例えば、飽和しているカラーチャンネルを示す記号（例えば、文字「Ｒ」、「Ｇ」、「Ｂ」）又は図形が、当該カラーチャンネルと同じ色相（例えば、Ｒチャンネルならば赤色）で、彩度及び輝度が高い色で表示される。また、飽和していないカラーチャンネル（例えばＢチャンネル）を示す記号（例えば文字「Ｂ」）は、表示されないか、或いは、例えば輝度の低い無彩色（例えばグレー）で目立たないように表示される。また、飽和している（又は、飽和していない）カラーチャンネルの表示には、記号等を使用せず、単なる色別表示を行ってもよい。
　表示画面生成処理Ｓ１２において、表示画面生成部２２８は、画像メモリ２２７の記憶領域群Ｐｍからマーキング画像データＭを読み出し、及び／又は、記憶領域群ＰｅからＴＥ画像データＥ（若しくは、記憶領域群Ｐｎから通常観察画像データＮ）を読み出し、画像表示領域３２３に表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。
［出力処理：Ｓ１１］
　表示画面生成処理Ｓ１０により生成された表示画面データは、出力回路２２０ｂにより、ガンマ補正等の処理が行われた後、所定のビデオ・フォーマットのビデオ信号に変換され、モニタ９００に出力される（出力処理Ｓ１１）。
　術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、画像表示領域３２３に表示されるマーキング画像ＭＰを見ながら内視鏡観察を行う。マーキング画像ＭＰにおいてマーキングされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。
　表示画面生成処理Ｓ１０及び出力処理Ｓ１１が完了すると、次に、内視鏡観察を継続するか否かが判断される（Ｓ１２）。プロセッサ２００の操作パネル２１４に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１２：Ｎｏ）まで、上記の処理Ｓ１～Ｓ１１が繰り返される。
［第２実施形態］
　次に、本発明の第２実施形態について説明する。
　図１６は、第２実施形態のマーキング画像ＭＰ２（カラーマップ画像）である。
　本実施形態のカラーマッピング処理では、信頼性情報テーブルＣＴを参照して、カラーチャンネルの飽和が生じている画素については、表１に示される表示色テーブルＤＣＴに基づく着色は行われず、飽和したカラーチャンネル数に応じた輝度情報を有する無彩色（すなわちグレースケール）に着色される。本実施形態では、飽和したカラーチャンネル数が多いほど高い輝度が与えられる。図１６のマーキング画像ＭＰ２において、領域ＭＰ２１は１つのカラーチャンネルで飽和が生じている領域であり、領域ＭＰ２２は２つのカラーチャンネルで飽和が生じている領域であり、領域ＭＰ２３は３つのカラーチャンネルで飽和が生じている領域である。
　なお、カラーチャンネルの飽和が生じておらず、且つ、暗部登録Ｓ８３もハレーション登録Ｓ８７も成されていない画素については、表１に従って重症度に応じたカラーマッピングが行われる。重症度を示すカラーマップは彩度が大きい色から構成されるため、カラーチャンネルの飽和数を示す無彩色のカラーマップと混在しても、両者を容易に識別することができる。
　また、ハレーション登録Ｓ８７された画素を、領域ＭＰ２３と同じ色（又は、領域ＭＰ２３よりも明るい無彩色）で着色する構成としてもよい。また、暗部登録Ｓ８３された画素を、領域ＭＰ２１よりも暗い無彩色で着色する構成としてもよい。
　なお、上記の実施形態は、本発明を電子内視鏡装置に適用した例であるが、本発明はこの構成に限定されない。例えば、電子内視鏡装置によって撮影された内視鏡観察映像を再生する映像再生装置に本発明を適用することができる。また、内視鏡画像以外の観察画像（例えば、通常のビデオカメラにより撮影した体表の観察画像や、手術中の体内の観察画像）の解析にも本発明を適用することができる。
　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

Claims (15)

  1. 　生体組織を撮影した画像データを取得する画像データ取得手段と、
    　前記画像データに基づき、該画像データが表す画像に写された前記生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、
    　前記画像データに基づき、前記スコアの信頼性を評価する信頼性評価手段と、
    　前記画像データの全画素のうち前記スコアが所定の信頼性を有する画素の割合を示すスコア信頼度を計算するスコア信頼度計算手段と、
    を備えた、画像処理装置。
  2. 　前記信頼性評価手段が、
    　　画素値に基づきハレーションの画素か否かを判定するハレーション判定手段を備え、
    　　ハレーションの画素と判定された画素を、前記スコアが所定の信頼性を有する画素から除外する、
    請求項１に記載の画像処理装置。
  3. 　前記信頼性評価手段が、
    　　画素値に基づき暗部の画素か否かを判定する暗部判定手段を備え、
    　　暗部の画素と判定された画素を、前記スコアが所定の信頼性を有する画素から除外する、
    請求項１又は請求項２に記載の画像処理装置。
  4. 　前記画像データの画素値をＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する色空間変換手段を備え、
    　前記信頼性評価手段が、前記色空間変換手段から出力された画素の輝度に基づいて前記スコアの信頼性を評価する、
    請求項１から請求項３のいずれか一項に記載の画像処理装置。
  5. 　前記信頼性評価手段が、
    　　画素値に基づきいずれかのカラーチャンネルが飽和した飽和画素か否かを判定する飽和判定手段を備え、
    　　前記飽和画素と判定された画素を、前記スコアが所定の信頼性を有する画素から除外する、
    請求項１から請求項４のいずれか一項に記載の画像処理装置。
  6. 　前記飽和判定手段が、
    　　画素値に基づき飽和したカラーチャンネル数を計数する飽和チャンネル数計数手段を備え、
    　　飽和したカラーチャンネル数が所定数以上の画素を前記飽和画素と判定する、
    請求項５に記載の画像処理装置。
  7. 　前記スコアの分布を示す印を前記画像上に付すマーキング手段を備え、
    　前記マーキング手段が、
    　　前記スコア信頼度に応じて前記印の態様を変更する、
    請求項１から請求項６のいずれか一項に記載の画像処理装置。
  8. 　前記マーキング手段が、
    　　病変部の画素の色を前記スコアに応じた色に変更する第１カラーマッピングを行う、
    請求項７に記載の画像処理装置。
  9. 　前記マーキング手段が、
    　　前記スコアの信頼性が低い画素が局在する前記画像の領域を、前記第１カラーマッピングを行う領域から除外する、
    請求項８に記載の画像処理装置。
  10. 　前記マーキング手段が、
    　　前記スコアが所定の信頼性を有する画素と、該信頼性を有しない画素とで、それぞれ異なる色を使用して前記第１カラーマッピングを行う、
    請求項８に記載の画像処理装置。
  11. 　前記マーキング手段が、
    　　前記画像において前記スコアが所定値以上の領域の上に印を付す第１種簡易マーキング処理を行う、
    請求項７に記載の画像処理装置。
  12. 　前記マーキング手段が、
    　　前記画像において前記スコアが高い領域を囲むように印を付す第２種簡易マーキング処理を行う、
    請求項７に記載の画像処理装置。
  13. 　前記スコアの信頼性の評価結果を表示する信頼性表示手段を備えた、
    請求項１から請求項１２のいずれか一項に記載の画像処理装置。
  14. 　前記画像のカラーバランスに基づいて、撮影条件の良否を判定する、
    請求項１から請求項１３のいずれか一項に記載の画像処理装置。
  15. 　前記画像が、単一の広帯域照明光を用いて撮影された画像である、
    請求項１から請求項１４のいずれか一項に記載の画像処理装置。
PCT/JP2016/055144 2015-02-27 2016-02-23 画像処理装置 WO2016136698A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680000516.3A CN106102557B (zh) 2015-02-27 2016-02-23 图像处理装置
US15/106,955 US10521901B2 (en) 2015-02-27 2016-02-23 Image processing apparatus
EP16727926.4A EP3269295B1 (en) 2015-02-27 2016-02-23 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015037539A JP6346576B2 (ja) 2015-02-27 2015-02-27 画像処理装置
JP2015-037539 2015-02-27

Publications (1)

Publication Number Publication Date
WO2016136698A1 true WO2016136698A1 (ja) 2016-09-01

Family

ID=56788836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055144 WO2016136698A1 (ja) 2015-02-27 2016-02-23 画像処理装置

Country Status (5)

Country Link
US (1) US10521901B2 (ja)
EP (1) EP3269295B1 (ja)
JP (1) JP6346576B2 (ja)
CN (1) CN106102557B (ja)
WO (1) WO2016136698A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043727A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 内視鏡システム
WO2018070474A1 (ja) * 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
WO2019155816A1 (ja) * 2018-02-09 2019-08-15 富士フイルム株式会社 内視鏡システム
JP2020156789A (ja) * 2019-03-27 2020-10-01 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
US11436728B2 (en) * 2018-02-13 2022-09-06 Hoya Corporation Endoscope system

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
CN106769891B (zh) * 2015-11-19 2019-09-27 光宝电子(广州)有限公司 生化检测装置及方法
DE102016125524A1 (de) * 2016-12-22 2018-06-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop
WO2018229831A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018230098A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
CN112236067A (zh) 2018-06-05 2021-01-15 奥林巴斯株式会社 内窥镜系统
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
WO2020054541A1 (ja) 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020054604A1 (ja) 2018-09-11 2020-03-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
EP3861921A4 (en) 2018-10-04 2021-12-01 NEC Corporation INFORMATION PROCESSING DEVICE, CONTROL METHOD AND PROGRAM
WO2020170791A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置及び方法
WO2020184522A1 (ja) * 2019-03-08 2020-09-17 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
EP3719746A1 (en) * 2019-04-04 2020-10-07 Koninklijke Philips N.V. Identifying boundaries of lesions within image data
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
JP2021173665A (ja) * 2020-04-27 2021-11-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び画像処理システム
US20220375604A1 (en) * 2021-04-18 2022-11-24 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
JP2023039392A (ja) * 2021-09-08 2023-03-20 株式会社エビデント 検査支援方法、検査支援装置、検査支援システム、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007108280A1 (ja) * 2006-03-15 2007-09-27 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
WO2007119295A1 (ja) * 2006-03-14 2007-10-25 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
JP5302984B2 (ja) 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS532984A (en) 1976-06-30 1978-01-12 Shimadzu Corp Blood pressure measuring system
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US20030165263A1 (en) * 2002-02-19 2003-09-04 Hamer Michael J. Histological assessment
US6956967B2 (en) * 2002-05-20 2005-10-18 Eastman Kodak Company Color transformation for processing digital images
US8374682B2 (en) * 2005-04-04 2013-02-12 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
EP1693782B1 (en) * 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection
JP4710426B2 (ja) * 2005-06-14 2011-06-29 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20070081699A1 (en) * 2005-09-29 2007-04-12 General Electric Company Systems, methods and apparatus for diagnosis of disease from categorical indices
US20070081700A1 (en) * 2005-09-29 2007-04-12 General Electric Company Systems, methods and apparatus for creation of a database of images from categorical indices
EP2126841A2 (en) * 2007-01-16 2009-12-02 Optasia Medical, Limited Image processing systems and methods
CN101854855B (zh) * 2007-09-25 2012-11-14 国立大学法人岐阜大学 磁共振成像装置及其工作方法、图像诊断系统
US7995798B2 (en) * 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
US8358846B2 (en) * 2007-11-13 2013-01-22 Symantec Corporation Scanning images for pornography
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5800468B2 (ja) * 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20120052063A1 (en) * 2010-08-31 2012-03-01 The Board Of Trustees Of The University Of Illinois Automated detection of breast cancer lesions in tissue
US8351676B2 (en) * 2010-10-12 2013-01-08 Sony Corporation Digital image analysis using multi-step analysis
JP5670695B2 (ja) * 2010-10-18 2015-02-18 ソニー株式会社 情報処理装置及び方法、並びにプログラム
US8913807B1 (en) * 2010-12-30 2014-12-16 Given Imaging Ltd. System and method for detecting anomalies in a tissue imaged in-vivo
US9678007B2 (en) * 2011-10-14 2017-06-13 Northwestern University Biological tissue analysis by inverse spectroscopic optical coherence tomography
WO2013065220A1 (ja) * 2011-11-02 2013-05-10 パナソニック株式会社 画像認識装置、画像認識方法、及び集積回路
US9245334B2 (en) * 2012-02-28 2016-01-26 Albert Einstein College Of Medicine, Inc. Methods for quantitative assessment of volumetric image from a subject and uses therof
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
WO2014031086A1 (en) * 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
JP5946800B2 (ja) * 2013-07-22 2016-07-06 株式会社日立製作所 磁気共鳴イメージング装置、画像処理装置、画像処理方法、及び画像処理プログラム
AU2015212984A1 (en) * 2014-01-28 2016-06-23 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
JP6393106B2 (ja) * 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6570460B2 (ja) * 2016-02-25 2019-09-04 富士フイルム株式会社 評価装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119295A1 (ja) * 2006-03-14 2007-10-25 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
WO2007108280A1 (ja) * 2006-03-15 2007-09-27 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
JP5302984B2 (ja) 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3269295A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043727A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 内視鏡システム
JP6467562B2 (ja) * 2016-09-02 2019-02-13 Hoya株式会社 内視鏡システム
US10575718B2 (en) 2016-09-02 2020-03-03 Hoya Corporation Endoscope system
WO2018070474A1 (ja) * 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
US10905318B2 (en) 2016-10-14 2021-02-02 Hoya Corporation Endoscope system
WO2019155816A1 (ja) * 2018-02-09 2019-08-15 富士フイルム株式会社 内視鏡システム
JPWO2019155816A1 (ja) * 2018-02-09 2021-01-07 富士フイルム株式会社 内視鏡システム
US11375928B2 (en) 2018-02-09 2022-07-05 Fujifilm Corporation Endoscope system
US11436728B2 (en) * 2018-02-13 2022-09-06 Hoya Corporation Endoscope system
JP2020156789A (ja) * 2019-03-27 2020-10-01 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
JP6999597B2 (ja) 2019-03-27 2022-01-18 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム

Also Published As

Publication number Publication date
EP3269295B1 (en) 2020-01-08
EP3269295A4 (en) 2018-08-01
US10521901B2 (en) 2019-12-31
JP2016158681A (ja) 2016-09-05
CN106102557B (zh) 2018-05-01
JP6346576B2 (ja) 2018-06-20
CN106102557A (zh) 2016-11-09
US20170098301A1 (en) 2017-04-06
EP3269295A1 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
JP6346576B2 (ja) 画像処理装置
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
JP6584090B2 (ja) 画像処理装置
CN110325100B (zh) 内窥镜系统及其操作方法
WO2016136700A1 (ja) 画像処理装置
US9468356B2 (en) Lesion evaluation information generator, and method and computer readable medium therefor
US20210259515A1 (en) Electronic endoscope system
US10512433B2 (en) Correction data generation method and correction data generation apparatus
JP6531202B2 (ja) 画像処理装置
CN112469324B (zh) 内窥镜系统
CN112351723A (zh) 电子内窥镜系统与数据处理装置
JP2016015995A (ja) 電子内視鏡システム及び電子内視鏡用プロセッサ
CN109310303B (zh) 电子内窥镜处理器以及电子内窥镜系统
US10646102B2 (en) Processor for electronic endoscope, and electronic endoscope system
US11559186B2 (en) Evaluation value calculation device and electronic endoscope system
CN113747825A (zh) 电子内窥镜系统

Legal Events

Date Code Title Description
REEP Request for entry into the european phase

Ref document number: 2016727926

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2016727926

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15106955

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16727926

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE