WO2021210331A1 - 画像処理装置及びその作動方法 - Google Patents

画像処理装置及びその作動方法 Download PDF

Info

Publication number
WO2021210331A1
WO2021210331A1 PCT/JP2021/010862 JP2021010862W WO2021210331A1 WO 2021210331 A1 WO2021210331 A1 WO 2021210331A1 JP 2021010862 W JP2021010862 W JP 2021010862W WO 2021210331 A1 WO2021210331 A1 WO 2021210331A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference value
value
display
region
Prior art date
Application number
PCT/JP2021/010862
Other languages
English (en)
French (fr)
Inventor
典雅 繁田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21787780.2A priority Critical patent/EP4137035A4/en
Priority to JP2022515257A priority patent/JP7397176B2/ja
Publication of WO2021210331A1 publication Critical patent/WO2021210331A1/ja
Priority to US18/046,793 priority patent/US11998165B2/en
Priority to JP2023202445A priority patent/JP2024015112A/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Definitions

  • the present invention relates to an image processing device that performs image processing using a medical image such as an endoscopic image and a method of operating the same.
  • the endoscope system is, for example, an endoscope (so-called scope) inserted into a subject, a light source device that generates illumination light for illuminating the subject, and a processor device that acquires an endoscope image of the subject using the endoscope. , And a display or the like for displaying an endoscopic image or the like.
  • an endoscopic system that calculates and displays biological information of a subject using an endoscopic image has been known. At that time, it is known that biological information is calculated and displayed as a relative value.
  • an electronic endoscopy system that calculates the reference value of blood vessel information based on the image data of the set reference value region and displays the blood vessel information of the endoscopic image as a relative value using the reference value in pseudo color is known.
  • Patent Document 1 an electronic endoscopy system that calculates the reference value of blood vessel information based on the image data of the set reference value region and displays the blood vessel information of the endoscopic image as a relative value using the reference value in pseudo color is known.
  • an endoscope that calculates the reliability of biological information based on an image, sets a reference value that serves as a reference for biological information using the reliability, and generates a difference image based on the difference between the measured value and the reference value. The system is known (Patent Document 2). Further, there is known an endoscopic system that displays a region having a particularly low oxygen saturation in
  • a problem may occur when grasping a region in which the oxygen saturation is specific.
  • the reference value of the oxygen saturation is set particularly low and the hypoxic region below the reference value is displayed by an image. Then, if the oxygen saturation of another part or the same part after a lapse of time is inspected without changing the reference value, the hypoxic region may not exist in the subject. In this case, the hypoxic region is not displayed.
  • hypoxic region Even if the hypoxic region is not indicated, there may actually be a quasi-hypoxic region that is slightly higher than the reference value but is generally regarded as the hypoxic region. Both the hypoxic region and the quasi-hypoxic region are regions in which the oxygen saturation is specific, and there is a possibility that a lesion or an anastomotic insufficiency of the intestinal tract or the like may occur. It may be a problem that doctors and the like may not be aware of the existence of a region having a specific oxygen saturation.
  • An object of the present invention is to provide an image processing device capable of preventing oversight of a portion where biometric information is specific and a method of operating the image processing device.
  • the image processing device of the present invention includes an image processor.
  • the image processor acquires an endoscopic image obtained by imaging a subject with an endoscope, calculates biometric information based on the endoscopic image, sets a reference value for biometric information, and is less than or equal to the reference value.
  • a biometric information image that images biometric information so that the low value region and the rest can be distinguished is generated, and a display image in which the biometric information image is superimposed on the endoscopic image is generated.
  • the biometric information is higher than the reference value and there is a semi-low value region which is less than or equal to the preset value, it is determined that the reference value is not appropriate, and when it is determined that the reference value is not appropriate, the reference is made. Notify about the value.
  • the image processor generates reference value color correspondence information corresponding to a specific color in a region where the biometric information is equal to or less than the reference value, and generates a biometric information image based on the reference value color correspondence information.
  • the image processor When a reference value is set, the image processor preferably generates color correspondence information for the reference value based on the set reference value.
  • the image processor generates a display image by using a reference value color bar that images the reference value color correspondence information and a reference value index indicating the reference value.
  • the image processor When a reference value is set, the image processor preferably generates a display image using a reference value index indicating the set reference value.
  • the image processor calculates the average value of biometric information in the endoscopic image and It is preferable to generate a display image using the reference value color bar and the average value index indicating the average value.
  • the image processor controls the display of thumbnails of the display image saved in the display image storage unit. Is preferable.
  • the image processor When a reference value is set, the image processor preferably controls the display image to be displayed as a thumbnail on the display after being changed based on the reference value.
  • the image processor determines that the reference value is not appropriate when the semi-low value region exists in a preset ratio or more in the biometric information image.
  • the image processor determines that the reference value is not appropriate when the semi-low value region continuously exists for a preset time or longer.
  • the image processor does not determine that the reference value is not appropriate, it is preferable to notify that the reference value is appropriate.
  • the image processor recognizes the part of the subject based on the endoscopic image and It is preferable to set a reference value based on the site.
  • the image processor determines that the reference value is not appropriate, it is preferable to switch the reference value to a higher value and set it.
  • the image processor sets the reference value to a value that is higher than the reference value before the change and does not exceed the set value, and is set to a preset value. It is preferable to change and set.
  • the biological information is preferably the oxygen saturation of the subject.
  • the present invention is a method of operating an image processing device including an image processor, in which the image processor acquires an endoscopic image obtained by imaging a subject with an endoscope and is based on the endoscopic image.
  • the biometric information is calculated, the reference value of the biometric information is set, and the biometric information image that images the biometric information so that the low value region below the standard value can be distinguished from the rest is generated, and the endoscope A display image in which a biometric information image is superimposed on an image is generated, and when the biometric information image has a semi-low value region in which the biometric information is higher than the reference value and is equal to or less than a preset set value, the reference value is obtained. Determines that it is not appropriate, and if it determines that the reference value is not appropriate, it notifies the reference value.
  • the endoscope system 10 includes an endoscope 12 (scope), a light source device 14, a processor device 16, a display 18, and a keyboard 19.
  • the endoscope 12 photographs a subject.
  • the light source device 14 generates illumination light.
  • the processor device 16 controls the system of the endoscope system 10. Further, the processor device 16 generates an endoscopic image and performs image processing on the endoscopic image as needed. That is, the processor device 16 functions as an image processing device.
  • the display 18 is a display unit that displays an endoscopic image or the like.
  • the keyboard 19 is an input device for inputting settings to the processor device 16 and the like.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the base end portion of the insertion portion 12a, a curved portion 12c provided on the tip end side of the insertion portion 12a, and a tip portion 12d. have.
  • the angle knob 12e see FIG. 2
  • the operation unit 12b is provided with an angle knob 12e, a treatment tool insertion port 12f, a scope button 12g, and a zoom operation unit 13.
  • the treatment tool insertion port 12f is an entrance for inserting a treatment tool such as a biopsy forceps, a snare, or an electric knife.
  • the treatment tool inserted into the treatment tool insertion port 12f protrudes from the tip portion 12d.
  • Various operations can be assigned to the scope button 12g, and in the present embodiment, it is used for an operation of setting a reference value. By operating the zoom operation unit 13, the subject can be enlarged or reduced for shooting.
  • the light source device 14 includes a light source unit 20 that emits illumination light and a light source control unit 22 that controls the operation of the light source unit 20.
  • the light source unit 20 emits illumination light that illuminates the subject.
  • the emission of the illumination light includes emission of excitation light or the like used for emitting the illumination light.
  • the light source unit 20 includes, for example, a light source of a laser diode, an LED (Light Emitting Diode), a xenon lamp, or a halogen lamp, and is excited to be used to emit at least white illumination light or white illumination light. It emits light.
  • White includes so-called pseudo-white, which is substantially equivalent to white in photographing a subject using the endoscope 12.
  • the light source unit 20 includes, if necessary, a phosphor that emits light by being irradiated with excitation light, an optical filter that adjusts the wavelength band, spectral spectrum, light amount, etc. of the illumination light or excitation light.
  • the light source unit 20 can emit light having a specific wavelength band necessary for capturing an image used for calculating biological information such as oxygen saturation of hemoglobin contained in the subject.
  • the light source unit 20 has four-color LEDs of V-LED20a, B-LED20b, G-LED20c, and R-LED20d.
  • the V-LED 20a emits purple light VL having a center wavelength of 405 nm and a wavelength band of 380 to 420 nm.
  • the B-LED 20b emits blue light BL having a center wavelength of 460 nm and a wavelength band of 420 to 500 nm.
  • the G-LED 20c emits green light GL having a wavelength band of 480 to 600 nm.
  • the R-LED20d emits red light RL having a center wavelength of 620 to 630 nm and a wavelength band of 600 to 650 nm.
  • the center wavelengths of the V-LED 20a and the B-LED 20b have a width of about ⁇ 20 nm, preferably about ⁇ 5 nm to about ⁇ 10 nm.
  • the light source control unit 22 controls the timing of turning on, off, or shielding each light source constituting the light source unit 20, the amount of light emitted, and the like.
  • the light source unit 20 can emit a plurality of types of illumination light having different spectral spectra.
  • the light source control unit 22 disperses the illumination light by inputting independent control signals for turning on / off the LEDs 20a to 20d, the amount of light emitted at the time of lighting, the insertion / removal of the optical filter, and the like. Adjust the spectrum.
  • the light source unit 20 emits white light.
  • the light source unit 20 can emit illumination light composed of at least narrow band light (hereinafter referred to as narrow band light).
  • the “narrow band” means a substantially single wavelength band in relation to the characteristics of the subject and / or the spectral characteristics of the color filter of the image sensor 48.
  • the wavelength band is, for example, about ⁇ 20 nm or less (preferably about ⁇ 10 nm or less)
  • this light is a narrow band.
  • the wide band means having a relatively wide wavelength band as compared with a narrow band light in relation to the characteristics of the subject and / or the spectral characteristics of the color filter of the image sensor 48. Therefore, when the wavelength band is, for example, ⁇ 20 nm or more, the light is wideband light.
  • the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and a photographing optical system 30b.
  • the illumination optical system 30a has an illumination lens 45, and the illumination light is emitted toward the subject through the illumination lens 45.
  • the photographing optical system 30b includes an objective lens 46, a zoom lens 47, and an image sensor 48.
  • the image sensor 48 is caused by reflected light of the illumination light returning from the subject via the objective lens 46 and the zoom lens 47 (in addition to the reflected light, scattered light, fluorescence emitted by the subject, or a drug administered to the subject).
  • the subject is photographed using (including fluorescent light).
  • the zoom lens 47 moves by operating the zoom operation unit 13, and enlarges or reduces the subject image.
  • the image sensor 48 has a color filter of one of a plurality of color filters for each pixel.
  • the image sensor 48 is a color sensor having a primary color system color filter.
  • the image sensor 48 includes an R pixel having a red color filter (R filter), a G pixel having a green color filter (G filter), and a B pixel having a blue color filter (B filter).
  • R filter red color filter
  • G filter green color filter
  • B filter blue color filter
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 48 of the present embodiment is a primary color sensor
  • a complementary color sensor can also be used.
  • Complementary color sensors include, for example, a cyan pixel provided with a cyan color filter, a magenta pixel provided with a magenta color filter, a yellow pixel provided with a yellow color filter, and a green pixel provided with a green color filter.
  • the complementary color sensor is used, the image obtained from the pixels of each of the above colors can be converted into an image similar to the image obtained by the primary color sensor by performing complementary color-primary color conversion.
  • the primary color system or complementary color system sensor has one or a plurality of types of pixels having characteristics other than the above, such as W pixels (white pixels that receive light in almost all wavelength bands).
  • W pixels white pixels that receive light in almost all wavelength bands.
  • the image sensor 48 of the present embodiment is a color sensor, a monochrome sensor having no color filter may be used.
  • the processor device 16 incorporates a program (not shown) related to processing performed by the control unit 52, the image acquisition unit 54, the image processing unit 61, the display control unit 66, the notification control unit 67, and the like, which will be described later. It has been.
  • the program is operated by the control unit 52 composed of the processor (image processor) included in the processor device 16 which is an image processing device, so that the control unit 52, the image acquisition unit 54, the image processing unit 61, and the display control unit 66 , And the function of the notification control unit 67 is realized.
  • the control unit 52 comprehensively controls the endoscope system 10 such as synchronous control of the irradiation timing of the illumination light and the shooting timing.
  • the control unit 52 sets the settings in each part of the endoscope system 10 such as the light source control unit 22, the image sensor 48, or the image processing unit 61. Enter in.
  • the image acquisition unit 54 acquires an endoscope image obtained by imaging a subject with an endoscope. More specifically, the image acquisition unit 54 acquires an image of a subject photographed using pixels of each color, that is, a RAW image, from the image sensor 48.
  • the RAW image is an image (endoscopic image) before the demosaic process is performed. If the image is an image before the demosaic processing is performed, the RAW image also includes an image obtained by performing arbitrary processing such as noise reduction processing on the image acquired from the image sensor 48.
  • the image acquisition unit 54 includes a DSP (Digital Signal Processor) 56, a noise reduction unit 58, and a conversion unit 59 in order to perform various processing on the acquired RAW image as necessary to generate an endoscopic image. To be equipped.
  • DSP Digital Signal Processor
  • the DSP 56 includes, for example, an offset processing unit, a defect correction processing unit, a demosaic processing unit, a linear matrix processing unit, a YC conversion processing unit, and the like (none of which are shown).
  • the DSP 56 performs various processing on a RAW image or an image generated by using the RAW image using these.
  • the offset processing unit performs offset processing on the RAW image.
  • the offset process is a process of reducing the dark current component from the RAW image and setting an accurate zero level.
  • the offset process may be referred to as a clamp process.
  • the defect correction processing unit performs defect correction processing on the RAW image.
  • the defect correction process is a process of correcting or generating a pixel value of a RAW pixel corresponding to a defective pixel of the image sensor 48 when the image sensor 48 includes a pixel (defective pixel) having a defect due to a manufacturing process or a change with time. Is.
  • the demosaic processing unit performs demosaic processing on the RAW image of each color corresponding to the color filter of each color.
  • the demosaic process is a process of generating pixel values that are missing due to the arrangement of color filters in a RAW image by interpolation.
  • the linear matrix processing unit performs linear matrix processing on the endoscopic image generated by assigning one or a plurality of RAW images to the channels of each RGB color.
  • the linear matrix processing is a processing for enhancing the color reproducibility of an endoscopic image.
  • an endoscope image generated by assigning one or a plurality of RAW images to each RGB color channel is an endoscope having a brightness channel Y, a color difference channel Cb, and a color difference channel Cr. This is the process of converting to an image.
  • the noise reduction unit 58 performs noise reduction processing on an endoscopic image having a brightness channel Y, a color difference channel Cb, and a color difference channel Cr by using, for example, a moving average method or a median filter method.
  • the conversion unit 59 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into an endoscopic image having channels of each color of BGR.
  • the image processing unit 61 performs necessary image processing on the endoscopic image output by the image acquisition unit 54. In addition, the image processing unit 61 performs calculations using the endoscopic image output by the image acquisition unit 54. Specifically, as shown in FIG. 4, the image processing unit 61 includes a display image generation unit 71, a biometric information calculation unit 72, a reference value setting unit 73, a biometric information image generation unit 74, an appropriateness determination unit 75, and an appropriateness determination unit 75. A part recognition unit 76 and the like are provided.
  • the display image generation unit 71 acquires an endoscope image from the image acquisition unit 54 and generates an endoscope image (hereinafter, referred to as a display image) to be used for display on a display 18 or the like.
  • the display image generation unit 71 captures a subject using the image acquisition unit 54, a B image in which the subject is photographed using the B pixel, a G image in which the subject is photographed using the G pixel, and an R pixel.
  • the R image and the obtained R image are acquired, and a display image is generated by using all or a part of them.
  • a plurality of endoscopic images are used to obtain an endoscopic image different from these, and an image acquisition is performed. This includes performing and outputting the necessary image processing on one endoscopic image acquired from the image acquisition unit 54, and outputting the one endoscopic image acquired from the image acquisition unit 54 as it is. ..
  • the display image generation unit 71 performs necessary image processing on the endoscopic image acquired from the image acquisition unit 54 when generating the display image.
  • the image processing performed by the display image generation unit 71 is, for example, an enhancement process for emphasizing the subject or a part of the subject. Emphasis means making it possible to obtain information on a specific part by distinguishing it from other organizations or structures. For example, a process of enclosing a part having a specific feature with a frame to show an outline, or changing the color or brightness relative to another part (for example, normal mucous membrane) is an emphasis process. ..
  • the display image generation unit 71 acquires the biometric information image from the biometric information image generation unit 74 and generates a display image in which the biometric information image is superimposed on the endoscopic image. Therefore, the image processing performed by the display image generation unit 71 is, for example, a superimposition processing for generating a display image in which the biological information image generated by the biological information image generation unit 74 is superimposed on the endoscopic image. Further, the display image generation unit 71 generates a display image using a color bar, a reference value index, an average value index, or the like.
  • the color bar is an image of color correspondence information used when generating a biological information image.
  • the reference value index indicates a reference value in the color bar.
  • the average value index indicates the average value of biological information in the endoscopic image in the color bar. The generation of the biological information image and the like will be described later.
  • “superimposing" a biological information image on an endoscopic image means that at least when a display image or the like is displayed on a display 18 or the like, the living body can be recognized separately from the subject reflected in the display image or the like. It means to superimpose an information image on a display image, etc., and in addition to superimposing a biometric information image on the display image, etc. so that it can be separated, the biometric information image is combined (integrated) with the display image, etc. Including doing.
  • the display image generation unit 71 superimposes the display image generation unit 71 on the display image or the like in a separable manner.
  • the biological information calculation unit 72 calculates biological information related to the subject based on the endoscopic image acquired from the image acquisition unit 54.
  • the biological information is a numerical value or the like representing the whole or partial characteristics of the subject, for example, oxygen saturation, blood concentration, blood vessel density, or a lesion or a candidate for a lesion (including a subject of biological tissue examination) and the like. The certainty of having a specific form of.
  • the biological information calculation unit 72 calculates the oxygen saturation of the subject for each pixel using the endoscopic image acquired from the image acquisition unit 54.
  • oxygen saturation for example, a B image in which the subject is photographed using narrow-band light having a wavelength of about 470 nm, a G image in which the subject is photographed using wideband green light, and a wideband red light are used. It can be calculated using the R image obtained by capturing the subject. More specifically, the ratio of the B image to the G image (hereinafter referred to as B / G) and the ratio of the R image to the G image (hereinafter referred to as R / G) are obtained for each pixel.
  • B / G the ratio of the B image to the G image
  • R / G the ratio of the R image to the G image
  • a table or the like for associating B / G and R / G with the oxygen saturation value by an experiment or simulation is prepared in advance. Then, from the calculated B / G and R / G values, the oxygen saturation is calculated using the above table.
  • the biological information calculation unit 72 calculates the oxygen saturation
  • the image acquisition unit 54 acquires each of these images and provides them to the biological information calculation unit 72.
  • the reference value setting unit 73 sets a reference value for biometric information.
  • the reference value is a threshold value for distinguishing a region having biometric information equal to or less than this value from a region other than this value.
  • the color correspondence information for the reference value is generated.
  • a biological information image which is an image of the biological information is generated.
  • the means for setting the reference value does not matter as long as the value of the reference value can be specified.
  • the reference value may be arbitrarily specified by the user, or may be automatically specified depending on conditions or the like.
  • the reference value is the reference value of oxygen saturation, specifically, the reference value is specified so as to be an arbitrary value within the range of 0% or more and 100% or less. For example, it is arbitrarily specified in 1% increments within this range.
  • the reference value As a means for the user to arbitrarily specify the reference value, specifically, for example, it can be set by inputting a numerical key using a keyboard 19 or the like. Similarly, the arrow keys on the keyboard 19 may be used to raise or lower the numerical value. Further, the numerical value may be set up or down by operating the scope button 12g of the endoscope or the foot switch (not shown). At that time, the scope button 12g or the like may be changed by 1% each time it is pressed once, and may be continuously changed by pressing and holding it for a long time.
  • a part recognition unit 76 (see FIG. 4) that recognizes a part of the subject based on the endoscopic image may be provided. Then, the reference value setting unit 73 may set the reference value based on the portion recognized by the portion recognition unit 76. For example, when the biological information is oxygen saturation, the average value of oxygen saturation and the like may differ depending on the site. In that case, it is not necessary to manually reset the reference value, and the reference value can be easily changed and set, which is preferable.
  • the site recognition unit 76 recognizes the site based on the endoscopic image.
  • the site to be recognized is, for example, the type of organ such as the esophagus, stomach, or duodenum in the case of imaging of the upper gastrointestinal tract.
  • the type of part such as the cardia, fundus, gastric corpus, large bay, vestibule, pylorus, duodenum, or small bay.
  • the recognition method a method by image processing can be used, and an image recognition method using a trained model by machine learning may be used.
  • the reference value setting unit 73 determines the site and the reference value. Set the reference value to B% according to the corresponding information.
  • the reference value setting unit 73 is provided with this correspondence information in advance. Then, as the examination progresses and the site recognition unit 76 recognizes the site as the duodenum based on the endoscopic image, the reference value setting unit 73 sets the reference value to C% according to the reference value set for each site. Set.
  • the biometric information image generation unit 74 generates an imaged biometric information image so that a region in which the biometric information is below the reference value (hereinafter referred to as a low value region) and a region in which the biometric information is higher than the reference value can be distinguished.
  • a method for imaging the biometric information so as to be distinguishable between the low value region and the other region any method may be used as long as the low value region and the higher region can be imaged so as to be distinguishable. For example, a method of displaying different colors, patterns, or shapes in the low value region and other regions based on the biological information calculated for each pixel of the endoscopic image, or displaying colors and the like only in the low value region. However, there is a method of not displaying the color or the like in other areas.
  • the biometric information image generation unit 74 sets the biometric information below the reference value in a specific color. It is preferable to generate the reference value color correspondence information corresponding to the above and to generate the biological information image based on the reference value color correspondence information.
  • the reference value color correspondence information is color correspondence information in which a specific color, for example, blue is associated with biological information below the reference value. As a result, blue is displayed in the pixel portion where the biological information is equal to or less than the reference value based on the reference value color correspondence information, and the color is not displayed in the region higher than the reference value. Therefore, in the generated biometric information image, the low value region is displayed in blue, and the region higher than the reference value is a colorless image, so that the low value region and the rest can be distinguished.
  • the biological information image generation unit 74 corresponds to the measured value of oxygen saturation for each pixel by the measured value of oxygen saturation calculated for each pixel in the endoscopic image and the color correspondence information for the reference value. Generates a biometric image to which the desired color is applied. Therefore, a biometric image in which an absolute value such as a measured value of oxygen saturation and a color correspond to each other is generated.
  • the biometric information above the preset value and the specific color different from the case below the reference value are combined. It may be the corresponding one.
  • the biological information is oxygen saturation
  • the oxygen saturation is sufficiently high, and for example, an oxygen saturation of 95% or more is associated with, for example, red.
  • the reference value color correspondence information is colored blue in the low oxygen saturation region, colorless in the region higher than the reference value and lower than 95%, and red in the region of 95% or more (hereinafter referred to as the high value region). Correspondence information to be done.
  • the generated biometric information image is sent to the display image generation unit 71.
  • the display image generation unit 71 performs a superimposition process of generating a display image in which a biological information image is superposed on the endoscopic image.
  • the superimposition process may include a process necessary for superimposing the endoscopic image and the biological information image.
  • the superimposition processing may include processing such as alignment of the endoscopic image and the biological information image, and correction of the light amount ratio of each image.
  • the display image generation unit 71 specifically superimposes the endoscopic image 82 and the oxygen saturation image (biological information image) 83 in the present embodiment to display an image.
  • 81 is generated.
  • the low oxygen saturation region 84 is colored with a specific color so that the low oxygen saturation region 84 and the oxygen saturation region higher than the reference value can be distinguished. It is imaged. Therefore, in the oxygen saturation image 83, the low value region 84 is shown colored by, for example, blue.
  • the intermediate region 86 whose oxygen saturation is higher than the reference value and lower than 95%, is colorless, and the high region 85 is colored, for example, red.
  • the low value region 84 is blue, the high value region 85 is red, and the intermediate region 86 remains the endoscopic image 82, for example, the natural color of the subject. Is displayed.
  • the low price region 84 is shown by diagonal lines, the high price region 85 is shaded, and the intermediate region 86 is shown without any attachment.
  • the display image 81 which is an image obtained by superimposing the endoscopic image 82 and the oxygen saturation image (biological information image) 83, is displayed on the display 18.
  • the biological information image generation unit 74 generates a reference value color bar that images the reference value color correspondence information.
  • the reference value color bar 87 is an image of the measured value color correspondence information. Since the reference value color bar 87 is a color bar for the reference value of oxygen saturation, the scale 91 has an oxygen saturation of 100%, the scale 93 has an oxygen saturation of 40%, and the scale 94 has an oxygen. The saturation shows 0%. Further, the scale 92 is a high value region 85 and shows an oxygen saturation of 95%.
  • the scale 93 indicating the reference value is attached with the reference value index 95 in the shape of a filled triangular arrow, for example, and the scale 92 indicating the high value region 85 is in the shape of a white triangular arrow, for example.
  • the high price index 96 is attached.
  • the display image 81 including the reference value color bar 87 allows the user to grasp at a glance the level of oxygen saturation to be colored based on the biological information image 83.
  • the display image generation unit 71 may generate a display image using the reference value color bar 87. Further, it is preferable that the display image generation unit 71 generates the display image 81 by using the reference value color bar 87 and the reference value index 95.
  • the reference value index 95 may be any as long as the reference value can be recognized by the user. Therefore, the reference value index 95 is, for example, in the shape of an arrow or a line.
  • a combination of the reference value color bar 87 and the reference value index 95 is close to an image in which the endoscope image 82 and the biological information image 83 are superimposed (hereinafter referred to as a superimposed image), and the superimposed image is visually recognized. It is preferable to display it in a place where there is no problem. By displaying it close to each other, it is easy to recognize the color and the reference value in the biological information image in the superimposed image.
  • the display image 81 is generated by arranging the reference value color bar 87 to which the reference value index 95 is attached at the lower left of the superimposed image 97 on the screen of the display. do.
  • the user can recognize at a glance how much the current reference value is.
  • the biological information image generation unit 74 When the reference value setting unit 73 sets the reference value, the biological information image generation unit 74 preferably generates the reference value color correspondence information based on the set reference value. That is, each time the reference value setting unit 73 sets the reference value, the reference value color correspondence information may be generated.
  • the reference value setting unit 73 changes the reference value according to an instruction from the user or the like.
  • the biological information image generation unit 74 automatically changes the reference value color correspondence information and generates a biological information image based on the changed reference value color correspondence information.
  • the display image generation unit 71 when the reference value setting unit 73 sets the reference value, the display image generation unit 71 preferably generates a display image using the reference value index 95 indicating the set reference value.
  • the reference value setting unit 73 changes the reference value according to an instruction from the user or the like.
  • the biological information image generation unit 74 generates reference value color correspondence information based on the set reference value, and generates reference value color bar 87 based on the reference value color correspondence information.
  • the display image generation unit 71 generates a display image 81 including the generated reference value color bar 87.
  • the reference value setting unit 73 refers to a value having a higher oxygen saturation, which is biological information, with respect to the reference value of 30% of the oxygen saturation before changing the reference value.
  • FIG. 9B by setting the reference value again, the biometric information image is changed, and if there is an area equal to or less than the reference value, it is displayed.
  • the reference value since the reference value was set to 40%, the region where the oxygen saturation was higher than 30% and 40% or less, which was not displayed before the reference value was changed, is displayed.
  • NS the reference value color bar 87 and the reference value index 95 constituting the display image 81 are changed.
  • the color correspondence information for the reference value is generated, so that each time the reference value is set, the low value region 84 and the region higher than the reference value are distinguished from each other.
  • a biological information image 83 imaged so as to be possible, and a reference value color bar 87 imaged with reference value color correspondence information are generated.
  • the display image generation unit 71 uses the generated reference value color bar 87 and the reference value index 95 indicating the set reference value to display the display image 81. To generate.
  • the reference value color bar 87 to which the reference value index 95 is attached can be changed and displayed.
  • the reference value color bar 87 and the reference value index 95 constituting the display image 81 are changed, so that the user has changed the reference value and the reference value after the change is changed. You can immediately recognize how much it is.
  • the biological information calculation unit 72 calculates the average value of the biological information in the endoscopic image 82, and the display image generation unit 71 generates the display image 81 using the average value index indicating the average value.
  • the average value of the biological information in the endoscopic image 82 may be, for example, an average value obtained by adding the biological information calculated based on the endoscopic image 82, or an average value based on the median value. Further, for example, in the endoscopic image 82, the value may be averaged after excluding the portion where the contrast and the like are extremely different.
  • the average value index may be any as long as the average value can be recognized by the user. Therefore, the average value index is, for example, the shape of an arrow or a line, as in the reference value index 95.
  • both the reference value index 95 and the average value index are displayed, they can be distinguished by, for example, different shapes or colors. It is preferable that the combination of the reference value color bar 87 and the average value index is displayed near the superimposed image 97 and at a place where there is no problem in visually recognizing the superimposed image 97. By displaying the images close to each other, it is easy to recognize the color and the average value in the biological information image 83 in the superimposed image 97.
  • the reference value color bar 87 and the average value index 98 are combined.
  • the display image generation unit 71 generates a display image 81 by arranging a reference value color bar 87 with an average value index 98 attached to the lower left of the superimposed image 97.
  • the average value index 98 By displaying the average value index 98 on the display image 81, the user can immediately recognize what the current average value is. Further, by combining with the reference value index 95, the difference between the average value and the reference value of the biological information in the endoscopic image 82 can be recognized at a glance.
  • the semi-low value region when the reference value and the average value are close to each other, it is not the low value region 84, but the region where the biological information is higher than the reference value and the low value region needs attention (hereinafter, the semi-low value region). It is expected that the area will be large to some extent. On the other hand, when the reference value and the average value are distant values, it can be expected that the semi-low value region does not exist, or even if it exists, the area is small.
  • the appropriateness determination unit 75 determines whether or not the reference value of the biological information is appropriate.
  • the low value region 84 is emphasized by the color or the like in the display image 81, so that the region of interest is less likely to be overlooked. This is because the display image 81 includes the biometric information image 83 in which the biometric information below the reference value and the biometric information higher than the other reference values are imaged so as to be distinguishable between the low value region 84 and the rest. be.
  • the reference value is not appropriate when the reference value is too low. Since the reference value is too low, the low value region 84 does not exist in the display image 81 including the biometric information image 83, and it seems that there is no region having a remarkable biometric information value in the biometric information image 83. However, in some cases, it may have a semi-low value region.
  • the quasi-low value region is a region where the biological information is higher than the reference value but the possibility of lesion is low to some extent. Therefore, if the reference value is not appropriate, the semi-low value region may be overlooked.
  • the semi-low value region is used as a judgment material for determining whether or not the reference value is appropriate.
  • the semi-low value region is determined by a preset value and a reference value.
  • the appropriateness determination unit 75 receives the biometric information in the endoscopic image 82 by the biometric information calculation unit 72, sets the set value, and receives the reference value information from the reference value setting unit 73, so that the value is semi-low. It can be determined whether or not the region exists.
  • the set value is set by the appropriateness determination unit 75, and is set according to the part, the purpose of observation, and the like.
  • the set value is higher than the reference value, and may be set according to the value of the reference value, the type and site of the subject of the biological information image 83, the purpose of observation, and the like. For example, if the reference value is set low, the difference between the reference value and the set value is set large, and if the reference value is set high, the difference between the reference value and the set value is set small. .. As a result, the semi-low value region can be determined so as not to overlook the semi-low value region, which is a notable region.
  • the set reference value and the set value may be displayed on the display image 81, for example.
  • the reference value setting menu When setting the reference value and the set value, the reference value setting menu may be displayed on the display.
  • the reference value setting menu for example, when the reference value setting operation is received by the operation of the keyboard 19, the reference value setting unit displays the reference value setting menu as shown in FIG. 12 on the display 18.
  • the reference value can be changed from 0% to 100%, for example, and is assigned on the slide bar 101a.
  • the set value can also be changed from 0% to 100%, for example, and is assigned on the slide bar 101b.
  • the reference value is changed by operating the keyboard 19 or the like and aligning the slider 102a with the position on the slide bar 101a indicating the reference value to be changed.
  • the set value is also changed by operating the keyboard 19 and aligning the slider 102b with the position on the slide bar 101b indicating the set value to be changed.
  • the reference value is assigned 40% oxygen saturation by the slide bar 101a
  • the set value is assigned 80% oxygen saturation by the slide bar 101b.
  • the reference value setting unit 73 sets the reference value higher than the reference value before the change and does not exceed the set value in advance. It is preferable to change to the set value and set it.
  • the reference value is too low, by simply switching the reference value to an appropriate value and setting it, the reference value can be changed appropriately without any trouble, and the low value region 84 can be displayed appropriately. Is.
  • the quasi-low value region can be included in the low value region 84 by switching the reference value to an appropriate value and setting, so that the quasi-low value region is included in the biological information image 83. It is possible to display the region including the only region, and by displaying the region specific to the biological information including the region that was the semi-low value region and the low value region 84, it is possible to prevent them from being overlooked.
  • the details of the preset conditions and the preset values are appropriately set according to, for example, the site or the purpose of observation.
  • the reference value setting unit 73 switches the reference value to 70% and sets the reference value. It is preferable to switch the reference value, for example, when a preset time has elapsed, or when the part recognition unit 76 or the like recognizes that the subject has changed.
  • the reference value when moving from a site where detailed observation was performed by lowering the reference value to another site and performing screening for observing the presence or absence of a lesion, the reference value is too low and the biological information image 83 is displayed. It is considered that the low value area 84 is rarely displayed, but by switching the reference value by the reference value setting unit 73, the low value area 84 is appropriately displayed even if the part to be observed is moved. be able to.
  • the appropriateness determination unit 75 determines that the reference value is not appropriate when the biometric information image 83 has a semi-low value region in which the biometric information is higher than the reference value and is equal to or less than the preset set value. .. As shown in FIG. 14, when the semi-low value region 105 exists in the biological information image 83, the appropriateness determination unit 75 determines that the reference value is not appropriate. Although the semi-low value region 105 is included in the biological information image 83, it is visually identified by the reference value color bar 87 because it is displayed in transparent or colorless like other regions in some cases. I can't.
  • the endoscopic image 82 shows the reference value. Although it is higher, it is possible to speculate that there are many parts where the oxygen saturation is low to the extent that it is close to the reference value.
  • the appropriateness determination unit 75 may determine that the reference value is not appropriate when the semi-low value region 105 exists in the biometric information image 83 at or above a preset ratio.
  • the biological information image 83 when the area of the quasi-low value region 105 exists in a preset ratio or more with respect to the total area of the biological information image 83, the user confirms the location or distribution of the quasi-low value region 105. Is preferable.
  • the area of the biometric information image 83 is the same as the area of the endoscopic image 82 because the biometric information is calculated for the entire endoscopic image 82.
  • the appropriateness determination unit 75 can prompt the user to confirm the quasi-low value area 105 even in a situation where the quasi-low value area 105 is not displayed, and the determination can be made. Can be notified appropriately.
  • the reference value is 40%, and the set value is 50%, the oxygen saturation is higher than 40% and 50% or less in a semi-low value region.
  • the area of 105 is 10% or more of the oxygen saturation image 83, which is a preset value, it is determined that the reference value is not appropriate.
  • the appropriateness determination unit 75 determines that the reference value is not appropriate. No.
  • the area of the oxygen saturation image 83 is the same as the area of the endoscope image 82 because the oxygen saturation is calculated for the entire endoscope image 82.
  • the appropriateness determination unit 75 determines that the reference value is not appropriate.
  • the appropriateness determination unit 75 determines the reference value based on the area ratio of the semi-low value region 105 to the endoscopic image 82, so that the determination of the reference value can be set in more detail, and the reference value can be set. It is preferable because the notification can be appropriately performed while preventing frequent determination of improperness.
  • the appropriateness determination unit 75 may determine in the biological information image 83 that the reference value is not appropriate when the semi-low value region 105 continues to exist for a predetermined time or longer.
  • the user confirms the location or distribution of the quasi-low value region 105.
  • the appropriateness determination unit 75 can prompt the user to confirm the quasi-low value region 105 by determining that the reference value is not appropriate. It is possible to appropriately notify the judgment.
  • the reference value is 40%
  • the set value is 50%
  • the oxygen saturation is higher than 40% and 50% or less in a semi-low value region.
  • the area of 105 exists for 30 seconds or more, which is a preset time, it is determined that the reference value is not appropriate.
  • FIG. 16 in the case of FIG. 16 (A) in which the quasi-low value region 105 starts to exist from the time t1 second and the quasi-low value region 105 does not continuously exist at the time t1 + 30 seconds, it is appropriate.
  • the determination unit 75 determines that the reference value is appropriate.
  • FIG. 16 (A) in which the quasi-low value region 105 starts to exist from the time t1 second and the quasi-low value region 105 does not continuously exist at the time t1 + 30 seconds
  • the appropriateness determination unit 75 determines that the reference value is not appropriate. Even if there is a semi-low value region 105 at time t1 + 30 seconds, if it does not continue for 30 seconds or more, the appropriateness determination unit 75 determines that the reference value is not appropriate. That is, in the case of FIG. 16B, there is a quasi-low value region 105 at time t1 + 30 seconds, but since the time when this quasi-low value region 105 occurs is time t2, it is quasi until the time t2 + 30 seconds.
  • each diagonal line indicates the existence of the semi-low value region 105.
  • the appropriateness determination unit 75 determines the reference value based on the duration of existence of the quasi-low value region 105, so that the determination of the reference value can be set in more detail, and the reference value is not appropriate. This is preferable because it is possible to prevent the determination of the above from being performed frequently and to appropriately perform the notification.
  • both the ratio of the quasi-low value region 105 and the duration of the quasi-low value region 105 in the biometric information image 83 are satisfied, it may be determined that the reference value is not appropriate.
  • the reference value is 40% and the set value is 50% in the oxygen saturation
  • the area where the oxygen saturation in the semi-low value region 105 is higher than 40% and 50% or less is 10 in the oxygen saturation image.
  • the time that exists for% or more is 30 seconds or more continuously, it is determined that the reference value is not appropriate. Judgment conditions are appropriately set according to the situation of the part or the subject.
  • the appropriateness determination unit 75 determines the reference value using both the area ratio of the quasi-low value region 105 and the duration of existence of the quasi-low value region 105, thereby setting the determination of the reference value in more detail. In addition, it is preferable because the notification can be appropriately performed while preventing frequent determination that the reference value is not appropriate.
  • the reference value setting unit 73 preferably switches the reference value to a higher value and sets the reference value. Details such as the width of change when switching the reference value are appropriately set depending on, for example, the site or the purpose of observation.
  • the reference value setting unit 73 determines the appropriateness. By feeding back the determination of the unit 75, the width is increased by 10%, which is a preset width from 40%, and the reference value is switched to 50% for setting.
  • the reference value setting unit 73 feeds back the determination of the appropriateness determination unit 75 and switches the reference value to a higher value to set the reference value, so that even if the reference value is too low, it is appropriate without any trouble. It is preferable because it is set by switching to a standard value.
  • the notification control unit 67 notifies the reference value when it is determined by the appropriateness determination unit 75 that the reference value is not appropriate.
  • the notification regarding the reference value is a notification for making the user recognize that the semi-low value region 105 exists. Therefore, the notification method or notification content may be any method or content that the user can recognize to that effect. Specifically, for example, the notification is performed by displaying the notification content on the display 18. In this case, the notification control unit 67 sends information regarding the notification by display to the display control unit 66.
  • the display control unit 66 controls the display.
  • the content of the notification is sufficient if the user can recognize that the semi-low value region 105 exists.
  • the notification is given by displaying the warning display 107 at any position on the display 18.
  • the notification is given by displaying the average value index 98 in the shape of an arrow on the reference value color bar 87.
  • the average value index 98 is close to the reference value index 95, there is a high possibility that the quasi-low value region 105 exists. Therefore, by displaying the average value index 98 together with the reference value color bar 87, the quasi-low value region 105 is likely to exist. The existence of the low value region 105 can be notified to the user.
  • the reference value index 95 and the high value index 96 are also displayed on the reference value color bar 87.
  • the notification control unit 67 may notify that the reference value is appropriate when the appropriateness determination unit 75 does not determine that the reference value is not appropriate.
  • the notification for example, when it is determined that the reference value is not appropriate, there is no notification, so that the notification is appropriate.
  • the display 18 may be displayed to that effect whenever the reference value is appropriate, and may be changed to a display that warns the display when the reference value is no longer appropriate.
  • the reference value color bar 87 is displayed on the display 18, the arrow-shaped average value index 98 shown on the reference value color bar 87 is an arrow-shaped average value index 98 when the reference value becomes inappropriate. You may want to get the user's attention by changing the color or size of the.
  • the arrow-shaped average value index 98 when the arrow-shaped average value index 98 is displayed on the reference value color bar 87, if the reference value is appropriate, the arrow-shaped average value index 98 has a normal size. If the reference value is no longer appropriate, the arrow-shaped average value index 98 is enlarged and displayed.
  • the processor device 16 which is the above-mentioned image processing device, when observing the biological information by imaging the biological information, it is easy to see both the endoscopic image 82 and the biological information image 83 by setting a reference value. If this is the case, when there is a quasi-low value region 105 that is higher than the reference value and less than or equal to the set value, a notification regarding the reference value is given. be able to. Therefore, with the image processing device, for example, in observation with an endoscope, not only the low value region 84 in which the biological information is below the reference value but also the semi-low value region 105 where there is a possibility of a lesion or the like is overlooked. Can be prevented. If the biometric information is lower than the reference value, conventionally, the image of the biometric information does not indicate that the biometric information is lower than the reference value. It may be estimated that there is no area.
  • the reference value is set low in order to observe a region where the oxygen saturation is particularly low, or the reference value is changed due to a change in the observation site or the passage of time.
  • the hypoxia region (low value region) 84 lower than the value disappears, the hypoxia region 84 is not displayed in the oxygen saturation image which is the biological information image 83.
  • the processor device 16 if there is a quasi-hypoxia region (quasi-low value region) 105 that is higher than the reference value but has a low oxygen saturation, a notification is given, so that the oxygen saturation is specific. It is possible to prevent the user from not being aware of both the hypoxic region 84 and the semi-hypoxic region 105, which are the regions.
  • the user when notified about the reference value, the user can change the reference value immediately.
  • the reference value can be easily changed, for example, in 1% increments with a keyboard 19, a scope button 12 g, a foot switch (not shown), or the like. Therefore, when changing the reference value, it can be changed quickly and flexibly without burdening the user. Further, when the reference value is changed, the reference value correspondence information based on the reference value or various correspondence information such as the reference value color bar 87 is automatically changed. Therefore, the user can perform the observation with an appropriate setting or display without any trouble, and it is possible to prevent the biometric information from being overlooked in a specific region.
  • the processor device 16 is connected to the display 18 for displaying the display image 81, and controls the display image storage unit 109 for storing the display image 81 and the control for displaying the saved display image 81 as thumbnails on the display 18. It is preferable to include a display control unit 66 to perform the operation. As shown in FIG. 21, the processor device further includes a display image storage unit 109. The display image 81 generated by the display image generation unit 71 is stored by the display image storage unit 109.
  • the display control unit 66 controls the display 18 to display one or a plurality of display images 81 stored by the display image storage unit 109 as thumbnails according to preset conditions.
  • the preset conditions are, for example, selected from all of the display images 81 displayed from the past to the present for a predetermined period based on the preset criteria.
  • the display image 81 is created for each frame, for example, one display image 81 is selected every 30 seconds, and the display image 81 selected from the past 30 seconds to the past 2 minutes is selected.
  • the four are displayed as thumbnails.
  • a new display image 81 is generated, the oldest display image 81 among the display images 81 thumbnail-displayed on the display 18 is deleted, and the new display image 81 is displayed in its place for 30 seconds. Repeat this every time. In this case, changes in biological information can be displayed in chronological order during observation with an endoscope.
  • thumbnail images 111 selected from the past 30 seconds to the past 2 minutes are selected.
  • the thumbnail images 111 30 seconds ago, 1 minute ago, 1 minute 30 seconds ago, and 2 minutes ago are displayed on the right side of the display image 81 currently being observed, in order from the top. ..
  • FIG. 22 only a part of the reference numerals is given in order to avoid the complexity of the drawings.
  • the preset condition is, for example, a past display image 81 at the same site of the same patient.
  • the display image 81 selected from the display image storage unit 109 at regular time intervals may be displayed as a thumbnail by using the acquisition time information included in the endoscope image 82.
  • the display image 81 may be a biological information image 83 in which the biological information is shown in pseudo color.
  • Pseudo-color is one of the methods for imaging biological information, and displays different colors according to the biological information based on the biological information calculated for each pixel of the endoscopic image 82.
  • This method is called pseudocolor because it uses a pseudocolor that is different from the color shown by natural observation in the endoscopic image.
  • a method of using color correspondence information (color table) a method of applying different gains to the spectroscopic image of the endoscopic image according to the biological information, and the like can be mentioned.
  • the color correspondence information is correspondence information in which different colors are associated with each other according to the biological information.
  • the color correspondence information is pseudo-color correspondence information in which different colors are associated according to the oxygen saturation, and the range of the oxygen saturation is set to, for example, blue. It is correspondence information for pseudo color corresponding to each color from to red.
  • Pseudo-color correspondence information can be set according to the type of subject in the biological information image, the purpose of observation, and the like. For example, 1% of oxygen saturation from 0% to 100% is used as pseudo-color correspondence information corresponding to each color of each stage with 101 stages from blue to red. Therefore, the pseudo-color correspondence information is correspondence information in which the measured value of oxygen saturation and the color are associated with each other, and the value of the oxygen saturation and the color are associated with each other on a one-to-one basis.
  • the oxygen saturation image which is a biological information image
  • the color corresponding to the measured value of the oxygen saturation can be displayed for each pixel. Therefore, in the thumbnail image, the color corresponding to the absolute measurement value of the oxygen saturation is displayed, so that the oxygen saturation can be compared between the images, and it is easy to grasp the absolute change in the oxygen saturation. ..
  • the display control unit 66 preferably controls the display image 81 to be displayed as a thumbnail on the display after being changed based on the reference value.
  • the display image generation unit 71 generates reference value color correspondence information when the reference value setting unit 73 sets the reference value. Then, when the reference value color correspondence information is generated for the biological information image 83 included in the display image 81 displayed as a thumbnail, the biological information image 83 based on the reference value color correspondence information is generated. ..
  • the display image generation unit 71 may save the biological information image 83 included in the display image 81 to be displayed as a thumbnail, or may acquire the display image 81 stored in the display image storage unit 109. good.
  • the display image generation unit 71 regenerates the biological information image 83 included in the display image 81 displayed as a thumbnail, and also generates the display image 81 again.
  • the biological information image 83 is changed in response to the change in the reference value.
  • the thumbnail is displayed on the display again.
  • the display image 81 including the same acquisition time in the endoscope image 82 included in the display image 81 is saved. If so, the past display image 81 is updated and saved.
  • the display image 81 displayed as a thumbnail is also changed according to the changed reference value and displayed again.
  • the display 18 is displayed on the display 18 by changing the reference value so that the display image displayed as a thumbnail is also displayed based on the changed reference value.
  • the display images 81 it is preferable because the display images 81 can be compared between the images by a single reference value and the change in oxygen saturation can be easily grasped.
  • the biological information is preferably the oxygen saturation of the subject. Since the biological information is oxygen saturation, it is possible to efficiently observe the oxygen saturation in the subject using the reference value. It is known that a region having a low oxygen saturation in a subject may be a lesion or an anastomotic insufficiency of the intestinal tract or the like. Therefore, since the biological information is oxygen saturation, it is effective for observation, examination, or diagnosis with an endoscope.
  • the low value region 84 and the quasi-low value region 105 below the reference value of the biological information have been described above, the same applies to the high price region and the quasi-high price region above the reference value of the biological information.
  • the endoscopic image 82 is acquired (step ST110), and the biological information is calculated based on the acquired endoscopic image 82 (step ST120).
  • the reference value setting unit 73 sets the reference value (step ST130).
  • a biological information image is generated based on the reference value (step ST140).
  • a display image is generated based on the biological information image (step ST150).
  • the determination unit determines the reference value (step ST160), and if the determination result indicates that the reference value is not appropriate (YES in step ST170), a notification is given (step ST180). If it is not the determination result that the reference value is not appropriate (NO in step ST170), the notification is not performed.
  • the series of flows is completed.
  • the process returns to the acquisition of the endoscopic image 82.
  • the present invention is applied to an endoscopic system that processes an endoscopic image 82, but a medical image processing system that processes a medical image other than the endoscopic image 82.
  • the present invention can be applied when storing a still image.
  • the processor device 16 functions as an image processing device, but as shown in FIG. 24, the image processing unit 61 is a display image generation unit 71 and a living body, in addition to the processor device 16.
  • An image processing device 201 including an information calculation unit 72, a reference value setting unit 73, a biological information image generation unit 74, an appropriateness determination unit 75, and a site recognition unit 76 can be provided.
  • the display image generation unit 71, the biological information calculation unit 72, the reference value setting unit 73, the biological information image generation unit 74, the appropriateness determination unit 75, and the site recognition unit 76 are included, for example. It can be provided in the diagnostic support device 911 that acquires a RAW image taken by the endoscope 12 directly from the endoscope system 10 or indirectly from the PACS (Picture Archiving and Communication Systems) 910. Further, as shown in FIG. 26, various inspection devices such as the first inspection device 921, the second inspection device 922, ..., The K inspection device 923, and the like, including the endoscope system 10, are connected via the network 926.
  • the medical service support device 930 may be provided with a display image generation unit 71, a biometric information calculation unit 72, a reference value setting unit 73, a biometric information image generation unit 74, an appropriateness determination unit 75, and a site recognition unit 76.
  • the endoscope 12 uses a so-called flexible endoscope having a flexible insertion portion 12a, but is a capsule-type endoscope used by the subject swallowing.
  • the present invention is also suitable when a rigid endoscope (laparoscope) used for surgery or the like is used.
  • the above-described embodiment and modification are methods of operating an image processing device including an image processor, in which the image processor acquires an endoscopic image obtained by imaging a subject with an endoscope and performs endoscopy.
  • Biometric information is calculated based on the mirror image, the reference value of the biometric information is set, and the biometric information image that images the biometric information so that the low value region below the standard value can be distinguished from the rest is generated.
  • a display image in which a biological information image is superimposed on an endoscopic image is generated, and in the biological information image, there is a semi-low value region in which the biological information is higher than the reference value and equal to or lower than a preset set value.
  • the method of operating the image processing device for notifying the reference value when it is determined that the reference value is not appropriate and the reference value is not appropriate is included.
  • various processes such as a control unit 52, an image acquisition unit 54, a DSP 56, a noise reduction unit 58, a conversion unit 59, an image processing unit 61, a display control unit 66, and a notification control unit 67 included in the processor device 16.
  • the hardware structure of the processing unit that executes the above is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • the present invention is a system or device for acquiring medical images (including moving images) other than endoscopic images. It can also be used in such cases.
  • the present invention can be applied to an ultrasonic inspection device, an X-ray imaging device (including a CT (Computed Tomography) inspection device, a mammography device, etc.), an MRI (magnetic resonance imaging) device, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

生体情報が特異的である部分の見逃しを防ぐことができる画像処理装置及びその作動方法を提供する。　画像用プロセッサを備える画像処理装置（１６）であって、内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、生体情報画像において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行い、基準値に関する通知を行う。

Description

画像処理装置及びその作動方法
　本発明は、内視鏡画像等の医療用画像を用いて画像処理をする画像処理装置及びその作動方法に関する。
　医療分野においては、内視鏡システムを用いた検査等が普及している。内視鏡システムは、例えば、被写体に挿入する内視鏡（いわゆるスコープ）と、被写体を照明する照明光を発生する光源装置、内視鏡を用いて被写体の内視鏡画像を取得するプロセッサ装置、及び、内視鏡画像等を表示するディスプレイ等を備える。
　また、近年においては、内視鏡画像を用いて被写体の生体情報を算出及び表示する内視鏡システムが知られている。その際に、生体情報を相対値として算出及び表示することが知られている。例えば、設定した基準値領域の画像データに基づいて血管情報の基準値を算出し、内視鏡画像の血管情報を基準値を用いた相対値として疑似カラーで表示する電子内視鏡システムが知られている（特許文献１）。また、画像に基づいて生体情報に関する信頼度を算出し、信頼度を用いて生体情報の基準となる基準値を設定し、測定値と基準値との差分値により差分画像を生成する内視鏡システムが知られている（特許文献２）。また、酸素飽和度が特に低い領域を、内視鏡画像の画像処理により通常と異なる色で表示する内視鏡システムが知られている（特許文献３）。
特開２０１１－１９４０２８号公報 国際公開第２０１９／１７２２３１号 特開２０１２－１３９４８２号公報
　酸素飽和度等の生体情報を表示する場合に、生体情報の基準値を設定し、生体情報を相対値として算出及び表示することにより、生体情報が特異的な部分を容易に把握することができる。このように、生体情報において基準値を用いることによる利点はあるが、一方で、複数の部位を観察する場合、又は同じ部位でも経時的に生体情報が変化するような状況では、同じ基準値を継続して用いることにより不都合が生じる場合があり得る。
　同じ基準値を継続して用いることにより、例えば、酸素飽和度を画像化して表示する酸素飽和度の検査において、酸素飽和度が特異的である領域を把握する場合に問題となることがある。酸素飽和度が特に低い低酸素領域を認識しやすくするため、酸素飽和度の基準値を特に低く設定した上で、基準値以下の低酸素領域を画像により表示させるとする。そして、基準値を変えずに、他の部位又は時間が経過した後の同じ部位等の酸素飽和度の検査を行うと、被写体に低酸素領域が存在しなくなることがある。この場合は低酸素領域の表示がされなくなる。しかしながら、低酸素領域の表示がなくても、実際には、基準値より少し高いが一般的には低酸素領域であるとされる準低酸素領域が存在する場合がある。低酸素領域も準低酸素領域も、酸素飽和度が特異的な領域であり、病変又は腸管等の縫合不全等である可能性がある。医師等が酸素飽和度が特異的な領域の存在に気が付かない場合が生じるのは問題となるおそれがある。
　本発明は、生体情報が特異的である部分の見逃しを防ぐことができる画像処理装置及びその作動方法を提供することを目的とする。
　本発明の画像処理装置は、画像用プロセッサを備える。画像用プロセッサは、内視鏡により被写体を撮像して得られる内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、内視鏡画像に生体情報画像を重畳した表示用画像を生成し、生体情報画像において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行い、基準値は適切でないと判定した場合、基準値に関する通知を行う。
　画像用プロセッサは、生体情報が基準値以下である領域を特定の色に対応させた基準値用カラー対応情報を生成し、基準値用カラー対応情報に基づき生体情報画像を生成することが好ましい。
　画像用プロセッサは、基準値を設定した場合、設定した基準値に基づき基準値用カラー対応情報を生成することが好ましい。
　画像用プロセッサは、基準値用カラー対応情報を画像化した基準値用カラーバーと、基準値を示す基準値指標とを用いて表示用画像を生成することが好ましい。
　画像用プロセッサは、基準値を設定した場合、設定した基準値を示す基準値指標を用いて表示用画像を生成することが好ましい。
　画像用プロセッサは、内視鏡画像における生体情報の平均値を算出し、
　基準値用カラーバーと平均値を示す平均値指標とを用いて表示用画像を生成することが好ましい。
　表示用画像を表示するディスプレイと、表示用画像を保存する表示用画像保存部とに接続され、画像用プロセッサは、表示用画像保存部に保存した表示用画像をディスプレイにサムネイル表示する制御を行うことが好ましい。
　画像用プロセッサは、基準値を設定した場合、ディスプレイにサムネイル表示する表示用画像を基準値に基づいて変更した上で表示する制御を行うことが好ましい。
　画像用プロセッサは、生体情報画像において、準低値領域が予め設定した割合以上存在する場合に、基準値は適切でないとの判定を行うことが好ましい。
　画像用プロセッサは、準低値領域が予め設定した時間以上継続して存在する場合に、基準値は適切でないとの判定を行うことが好ましい。
　画像用プロセッサは、基準値は適切でないとの判定を行わない場合、基準値が適切であることを通知することが好ましい。
　画像用プロセッサは、内視鏡画像に基づいて、被写体の部位を認識し、
　部位に基づき基準値を設定することが好ましい。
　画像用プロセッサは、基準値は適切でないとの判定を行った場合に、基準値をより高い値に切り替えて設定することが好ましい。
　画像用プロセッサは、基準値と設定値とが予め設定した条件を満たす場合に、基準値を、変更前の基準値より高く、かつ、設定値を超えない値であって、予め設定した値に変更して設定することが好ましい。
　生体情報は、被写体の酸素飽和度であることが好ましい。
　また、本発明は画像用プロセッサを備える画像処理装置の作動方法であって、画像用プロセッサは、内視鏡により被写体を撮像して得られる内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、内視鏡画像に生体情報画像を重畳した表示用画像を生成し、生体情報画像において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行い、基準値は適切でないと判定した場合、基準値に関する通知を行う。
　本発明によれば、生体情報が特異的である部分の見逃しを防ぐことができる。
内視鏡システムの外観図である。 内視鏡の操作部の外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 部位に基づいて基準値設定部が設定する基準値を説明する説明図である。 表示用画像の生成を説明する説明図である。 基準値用カラーバーである。 基準値用カラーバーを含む表示用画像の画像図である。 基準値の変更と表示用画像とを説明する説明図である。 平均値指標を組み合わせた基準値用カラーバーである。 平均値指標を組み合わせた基準値用カラーバーを含む表示用画像の画像図である。 基準値設定メニューの説明図である。 基準値と設定値とに基づいて基準値設定部が設定する基準値を説明する説明図である。 適正判定部が行う判定の一例を説明する説明図である。 適正判定部が行う判定の別の例を説明する説明図である。 適正判定部が行う判定のさらに別の例を説明する説明図である。 適正判定部が基準値は適切でないとの判定を行った場合、基準値設定部が基準値を切り替えて設定することを説明した説明図である。 警告表示の画像図である。 平均値指標を組み合わせた基準値用カラーバーによる通知を説明する説明図である。 矢印を組み合わせた基準値用カラーバーによる通知を説明する説明図である。 表示用画像保存部と接続する画像処理部のブロック図である。 表示用画像のサムネイル表示を説明する説明図である。 画像処理装置が行う処理の一連の流れを説明するためのフローチャートである。 プロセッサ装置とは別体の画像処理装置のブロック図である。 診断支援装置を示す説明図である。 医療業務支援装置を示す説明図である。
　図１に示すように、内視鏡システム１０（内視鏡装置）は、内視鏡１２（スコープ）と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、キーボード１９と、を備える。内視鏡１２は、被写体を撮影する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御を行う。また、プロセッサ装置１６は、内視鏡画像を生成し、かつ、必要に応じて内視鏡画像に画像処理を施す。すなわち、プロセッサ装置１６は画像処理装置として機能する。ディスプレイ１８は、内視鏡画像等を表示する表示部である。キーボード１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。
　内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅ（図２参照）を操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、図２に示すように、操作部１２ｂには、アングルノブ１２ｅの他、処置具挿入口１２ｆ、スコープボタン１２ｇ、及び、ズーム操作部１３が設けられている。処置具挿入口１２ｆは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口１２ｆに挿入した処置具は、先端部１２ｄから突出する。スコープボタン１２ｇには各種の操作を割り当てることができ、本実施形態では基準値の値を設定する操作に使用する。ズーム操作部１３を操作することによって、被写体を拡大または縮小して撮影できる。
　図３に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の動作を制御する光源制御部２２とを備える。
　光源部２０は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡１２を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
　本実施形態においては、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光ＶＬを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光ＢＬを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光ＧＬを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光ＲＬを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。
　光源制御部２２は、光源部２０を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した
制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部２０は白色光を発光する。また、光源部２０は、少なくとも狭帯域な光（以下、狭帯域光という）からなる照明光を発光できる。「狭帯域」とは、被写体の特性及び／またはイメージセンサ４８が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。また、広帯域とは、被写体の特性及び／またはイメージセンサ４８が有するカラーフィルタの分光特性との関係において、狭帯域な光と比較して相対的に広い波長帯域を有することをいう。したがって、波長帯域が例えば±２０ｎｍ以上である場合、その光は広帯域な光である。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。
　撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有する。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮影する。ズームレンズ４７は、ズーム操作部１３の操作をすることで移動し、被写体像を拡大または縮小する。
　イメージセンサ４８は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４８は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４８は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素と、を有する。
　なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４８はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。
　プロセッサ装置１６には、後述するような制御部５２、画像取得部５４、画像処理部６１、表示制御部６６、及び通知制御部６７等が行う処理等に関するプログラムがメモリ（図示せず）に組み込まれている。画像処理装置であるプロセッサ装置１６が備えるプロセッサ（画像用プロセッサ）によって構成される制御部５２によってそのプログラムが動作することで、制御部５２、画像取得部５４、画像処理部６１、表示制御部６６、及び通知制御部６７の機能が実現する。
　制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。キーボード１９等を用いて、各種設定の入力等をした場合には、制御部５２は、その設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。
　画像取得部５４は、内視鏡により被写体を撮像して得られる内視鏡画像を取得する。より具体的には、画像取得部５４は、イメージセンサ４８から、各色の画素を用いて被写体を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像（内視鏡画像）である。デモザイク処理を実施する前の画像であれば、イメージセンサ４８から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。
　画像取得部５４は、取得したＲＡＷ画像に必要に応じて各種処理を施して内視鏡画像を生成するために、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を備える。
　ＤＳＰ５６は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示しない）を備える。ＤＳＰ５６は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。
　オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４８が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４８の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部が行うＹＣ変換処理は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。
　ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。
　画像処理部６１は、画像取得部５４が出力する内視鏡画像に、必要な画像処理を施す。また、画像処理部６１は、画像取得部５４が出力する内視鏡画像を用いて演算をする。具体的には、図４に示すように、画像処理部６１は、表示用画像生成部７１、生体情報算出部７２、基準値設定部７３、生体情報画像生成部７４、適正判定部７５、及び部位認識部７６等を備える。
　表示用画像生成部７１は、画像取得部５４から内視鏡画像を取得して、ディスプレイ１８等への表示に使用する内視鏡画像（以下、表示用画像という）を生成する。例えば、表示用画像生成部７１は、画像取得部５４から、Ｂ画素を用いて被写体を撮影したＢ画像と、Ｇ画素を用いて被写体を撮影したＧ画像と、Ｒ画素を用いて被写体を撮影したＲ画像と、を取得し、これらの全部または一部を用いて表示用画像を生成する。また、表示用画像生成部７１が行う表示用画像の生成には、上記のように、複数の内視鏡画像を用いて、これらとは別の内視鏡画像を得ることの他、画像取得部５４から取得する１枚の内視鏡画像に必要な画像処理を施し出力すること、及び、画像取得部５４から取得する１枚の内視鏡画像をそのままの形態で出力すること、を含む。
　また、表示用画像生成部７１は、表示用画像を生成する際に、画像取得部５４から取得する内視鏡画像に対して必要な画像処理を施す。表示用画像生成部７１が行う画像処理は、例えば、被写体または被写体の一部を強調する強調処理である。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を枠で囲み、輪郭を示し、または、他の部分（例えば正常な粘膜等）に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。
　また、表示用画像生成部７１は、生体情報画像生成部７４から生体情報画像を取得して、内視鏡画像に生体情報画像を重畳した表示用画像を生成する。したがって、表示用画像生成部７１が行う画像処理は、例えば、内視鏡画像に生体情報画像生成部７４が生成する生体情報画像を重畳した表示用画像を生成する重畳処理である。さらに、表示用画像生成部７１は、カラーバー、基準値指標、又は平均値指標等を用いて表示用画像を生成する。カラーバーは、生体情報画像を生成する際に用いるカラー対応情報を画像化したものである。また、基準値指標は、カラーバーにおいて、基準値を示すものである。また、平均値指標は、カラーバーにおいて、内視鏡画像における生体情報の平均値を示すものである。生体情報画像の生成等については、後述する。
　なお、内視鏡画像に生体情報画像を「重畳する」とは、少なくとも表示用画像等をディスプレイ１８等に表示する場合に、表示用画像等に写る被写体と区別して認識し得る態様で、生体情報画像を表示用画像等に重ねて表示することをいい、表示用画像等に分離可能に生体情報画像を重ねて表示することの他、表示用画像等に生体情報画像を合成（一体化）することを含む。本実施形態においては、表示用画像生成部７１は、表示用画像等に対して分離可能に表示用画像生成部７１を重ねる。
　生体情報算出部７２は、画像取得部５４から取得する内視鏡画像に基づいて、被写体に係る生体情報を算出する。生体情報とは、被写体の全体的または部分的な特性を表す数値等であり、例えば、酸素飽和度、血液濃度、血管密度、または、病変もしくは病変の候補（生体組織検査の対象を含む）等の特定の形態を有する確からしさ、等である。
　本実施形態においては、生体情報算出部７２は、画像取得部５４から取得する内視鏡画像を用いて、被写体の酸素飽和度を画素ごとに算出する。酸素飽和度の算出には、例えば、波長が約４７０ｎｍの狭帯域光を用いて被写体を撮影したＢ画像と、広帯域な緑色光を用いて被写体を撮影したＧ画像と、広帯域な赤色光を用いて被写体を撮影したＲ画像と、を用いて算出することができる。より具体的には、画素ごとに、上記のＢ画像とＧ画像の比（以下、Ｂ／Ｇという）、及び、上記のＲ画像とＧ画像の比（以下、Ｒ／Ｇという）を求める。また、Ｂ／Ｇ及びＲ／Ｇと、酸素飽和度の値と、を実験またはシミュレーション等により対応付けるテーブル等を予め用意しておく。そして、算出したＢ／Ｇ及びＲ／Ｇの値から、上記テーブルを用いて酸素飽和度を算出する。なお、生体情報算出部７２が酸素飽和度を算出する場合、画像取得部５４は、これらの各画像を取得し、生体情報算出部７２に提供する。
　基準値設定部７３は、生体情報の基準値を設定する。基準値は、この値以下の生体情報を有する領域とそれ以外の領域とを区別する閾値である。基準値を設定することにより、基準値用カラー対応情報が生成される。生体情報算出部７２が算出した生体情報と基準値用カラー対応情報とを用いることにより生体情報を画像化した生体情報画像を生成する。
　基準値を設定する手段は、基準値の値を指定できるのであれば問わない。基準値の指定は、ユーザが任意に行ってもよいし、条件等により自動的に行われるようにしてもよい。本実施形態においては、基準値は酸素飽和度の基準値であるため、具体的には、０％以上１００％以下の範囲内の任意の値となるように基準値を指定する。例えば、この範囲内で１％刻みで任意に指定する。
　ユーザーが任意に基準値の指定を行う手段として、具体的には、例えば、キーボード１９等を用いて数値キーの入力により設定することができる。また、同様にキーボード１９の矢印キーにより、数値を上下させる等により設定してもよい。また、内視鏡のスコープボタン１２ｇ又はフットスイッチ（図示せず）の操作により、数値を上下させる等により設定してもよい。その際、スコープボタン１２ｇ等を一回単押しするごとに１％ずつ変化し、長押しすることにより連続的に変化する等としてもよい。
　なお、内視鏡画像に基づいて被写体の部位を認識する部位認識部７６（図４参照）を備えても良い。そして、基準値設定部７３は、部位認識部７６が認識した部位に基づき基準値を設定しても良い。例えば、生体情報が酸素飽和度である場合、酸素飽和度の平均値等は部位により異なることがある。その場合に手動により基準値を設定し直す必要がなく、簡便に基準値を変更して設定できるため好ましい。
　部位認識部７６は、内視鏡画像に基づいて部位を認識する。認識する部位としては、例えば、上部消化管の撮影であれば、食道、胃、又は十二指腸等の臓器の種類である。また、同じ臓器内で、例えば、胃のなかでは、噴門部、胃底部、胃体部、大湾部、前庭部、幽門部、十二指腸部、または小湾部等の部位の部分の種類を認識する。認識方法は、画像処理による方法を用いることができ、機械学習による学習済みモデルを用いた画像認識方法を用いても良い。
　図５に示すように、例えば、内視鏡による検査において、部位認識部７６が、内視鏡画像に基づいて、部位が胃であると認識すると、基準値設定部７３は、部位と基準値とが対応する対応情報に従い、基準値をＢ％と設定する。基準値設定部７３は、この対応情報を予め備える。そして、検査が進み、部位認識部７６が、内視鏡画像に基づいて部位を十二指腸であると認識すると、基準値設定部７３は、部位ごとに設定された基準値に従い基準値をＣ％と設定する。部位認識部７６が認識した部位の種類に基づいて基準値を設定することにより、部位により生体情報のレベルが異なる場合であっても簡便に適切な基準値を設定することができるため好ましい。
　生体情報画像生成部７４は、生体情報が基準値以下である領域（以下、低値領域という）と基準値より高い領域とが区別可能であるように画像化した生体情報画像を生成する。生体情報を低値領域とそれ以外の領域とに区別可能に画像化する方法としては、低値領域とそれより高い領域とが区別可能であるように画像化できればよく、方法を問わない。例えば、内視鏡画像の画素ごとに算出した生体情報に基づき、低値領域とそれ以外の領域とで異なる色、模様、又は形状を表示する方法、又は、低値領域のみに色等を表示し、それ以外の領域では色等を表示しない方法等が挙げられる。
　低値領域と基準値より高い領域とが区別可能であるように生体情報を画像化した生体情報画像を生成する方法として、生体情報画像生成部７４は、基準値以下の生体情報を特定の色に対応させた基準値用カラー対応情報を生成し、基準値用カラー対応情報に基づき生体情報画像を生成することが好ましい。基準値用カラー対応情報は、基準値以下の生体情報に、特定の色、例えば青を対応させたカラー対応情報である。これにより、生体情報が基準値以下の画素部分は、基準値用カラー対応情報に基づいて、青が表示され、基準値より高い領域は、色が表示されない。したがって、生成された生体情報画像は、低値領域が青く表示され、基準値より高い領域は無色の画像となるため、低値領域とそれ以外とが区別可能となる。
　なお、特定の色には無色又は透明を含む。本実施形態では、生体情報画像生成部７４は、内視鏡画像において画素ごとに算出した酸素飽和度の測定値と基準値用カラー対応情報とにより、画素毎に酸素飽和度の測定値と対応する色を適用した生体情報画像を生成する。したがって、酸素飽和度の測定値といった絶対値と色とが対応する生体情報画像が生成される。
　また、基準値用カラー対応情報は、基準値以下の生体情報と特定の色とを対応させることに加え、予め設定した値以上の生体情報と、基準値以下の場合と異なる特定の色とを対応させたものであってもよい。本実施形態では、生体情報が酸素飽和度であるため、酸素飽和度が十分に高く、例えば、９５％以上の酸素飽和度と例えば赤を対応させる。この場合の基準値用カラー対応情報は、酸素飽和度の低値領域は青、基準値より高く９５％より低い領域は無色、及び９５％以上の領域（以下、高値領域という）は赤に色付けされる対応情報である。
　生成した生体情報画像は、表示用画像生成部７１に送られる。表示用画像生成部７１は、内視鏡画像に生体情報画像を重畳した表示用画像を生成する重畳処理を行う。重畳処理には、内視鏡画像と生体情報画像とを重畳するために必要な処理を含んでもよい。例えば、重畳処理には、内視鏡画像と生体情報画像とにおいて、位置合わせ、及び各画像の光量比補正等の処理が含まれてもよい。
　図６に示すように、表示用画像生成部７１は、具体的には、内視鏡画像８２と、本実施形態では酸素飽和度画像（生体情報画像）８３とを重畳して、表示用画像８１を生成する。酸素飽和度画像８３は、酸素飽和度の低値領域８４と基準値より高い酸素飽和度の領域とが区別可能であるように、酸素飽和度の低値領域８４が特定の色により色付けされて画像化される。したがって、酸素飽和度画像８３は、低値領域８４が、例えば青により色付けして示される。酸素飽和度が基準値より高く９５％より低い中間領域８６は無色、及び高値領域８５は、例えば赤に色付けされる。内視鏡画像８２と重畳した表示用画像８１では、低値領域８４は青で、高値領域８５は赤で、また、中間領域８６は内視鏡画像８２のまま、例えば、被写体の自然な色で表示される。なお、図６において、低値領域８４は斜線で、高値領域８５は網掛けで、また、中間領域８６は何も付さずに示す。内視鏡画像８２と酸素飽和度画像（生体情報画像）８３とを重畳した画像である表示用画像８１は、ディスプレイ１８に表示される。
　生体情報画像生成部７４は、基準値用カラー対応情報を画像化した基準値用カラーバーを生成することが好ましい。図７に示すように、例えば、基準値用カラーバー８７は測定値用カラー対応情報を画像化したものである。基準値用カラーバー８７は、酸素飽和度の基準値用のカラーバーであるため、目盛り９１は酸素飽和度が１００％、目盛り９３は酸素飽和度が４０％であり基準値、目盛り９４は酸素飽和度が０％を示す。また、目盛り９２は、高値領域８５であり酸素飽和度が９５％を示す。なお、基準値を示す目盛り９３には、例えば塗りつぶしの三角形の矢印の形状で、基準値指標９５が付され、高値領域８５を示す目盛り９２には、例えば白抜きの三角形の矢印の形状で、高値指標９６が付される。基準値用カラーバー８７を含む表示用画像８１により、ユーザが、生体情報画像８３に基づき色付けされる酸素飽和度のレベルをひと目で把握することができる。
　表示用画像生成部７１は、基準値用カラーバー８７を用いて表示用画像を生成してもよい。また、表示用画像生成部７１は、基準値用カラーバー８７と、基準値指標９５とを用いて表示用画像８１を生成することが好ましい。基準値指標９５は、基準値をユーザが認識できるものであればよい。したがって、基準値指標９５は、例えば、矢印または線の形状とする。基準値用カラーバー８７と基準値指標９５とを組み合わせたものを、内視鏡画像８２と生体情報画像８３とを重畳した画像（以下、重畳画像という）の近くであって、重畳画像の視認に問題がない箇所に表示することが好ましい。近くに表示することにより、生体情報画像における色と基準値とを重畳画像において認識しやすい。
　具体的には、図８に示すように、例えば、基準値指標９５が付された基準値用カラーバー８７をディスプレイの画面内の重畳画像９７の左下に配置することにより表示用画像８１を生成する。基準値指標９５が付された基準値用カラーバー８７を表示することにより、ユーザが現在の基準値がどの程度であるのかをひと目で認識することができる。
　なお、生体情報画像生成部７４は、基準値設定部７３が基準値を設定した場合、設定した基準値に基づき基準値用カラー対応情報を生成することが好ましい。すなわち、基準値設定部７３が基準値を設定する毎に、基準値用カラー対応情報を生成してもよい。基準値設定部７３は、ユーザからの指示等により基準値を変更する。生体情報画像生成部７４は、基準値が変更された場合、自動的に基準値用カラー対応情報を変更し、変更された基準値用カラー対応情報に基づき生体情報画像を生成する。
　また、表示用画像生成部７１は、基準値設定部７３が基準値を設定した場合、設定した基準値を示す基準値指標９５を用いて表示用画像を生成することが好ましい。基準値設定部７３は、ユーザからの指示等により基準値を変更する。生体情報画像生成部７４は、設定した基準値に基づき基準値用カラー対応情報を生成し、基準値用カラー対応情報に基づき基準値用カラーバー８７を生成する。表示用画像生成部７１は、生成された基準値用カラーバー８７を含む表示用画像８１を生成する。
　図９（Ａ）に示すように、例えば、基準値を変更する前の酸素飽和度の基準値３０％に対し、基準値設定部７３は、生体情報である酸素飽和度がより高い値に基準値を再度設定する。図９（Ｂ）に示すように、基準値を再度設定することにより、生体情報画像が変更され、基準値以下の領域があれば表示されるようになる。図９（Ｂ）では、基準値を４０％に設定したことから、基準値を変更する前には表示されていなかった酸素飽和度が３０％より高く４０％以下の範囲内の領域が表示される。また、基準値が設定される毎に、表示用画像８１を構成する基準値用カラーバー８７及び基準値指標９５が変更される。
　基準値設定部７３が基準値を設定する毎に、基準値用カラー対応情報を生成することにより、基準値を設定する毎に、生体情報について低値領域８４と基準値より高い領域とが区別可能であるように画像化した生体情報画像８３、及び基準値用カラー対応情報を画像化した基準値用カラーバー８７が生成される。生体情報画像８３及び基準値用カラーバー８７が生成されることにより、生体情報画像８３等を用いた表示用画像８１も生成される。また、表示用画像生成部７１は、基準値設定部７３が基準値を設定した場合、生成された基準値用カラーバー８７及び設定した基準値を示す基準値指標９５を用いて表示用画像８１を生成する。したがって、基準値がユーザーにより又は自動で変更された場合に、自動的かつ即座に表示用画像８１を変更された基準値に基づいたものに変更させることが可能である。また、変更した表示用画像８１では、基準値指標９５を付した基準値用カラーバー８７を変更して表示させることが可能である。基準値が設定される毎に、表示用画像８１を構成する基準値用カラーバー８７及び基準値指標９５が変更されるため、ユーザが、基準値を変更したこと及び変更した後の基準値がどの程度であるのかをすぐに認識することができる。
　なお、生体情報算出部７２は、内視鏡画像８２における生体情報の平均値を算出し、表示用画像生成部７１は、平均値を示す平均値指標を用いて表示用画像８１を生成することが好ましい。内視鏡画像８２における生体情報の平均値は、例えば、内視鏡画像８２に基づいて算出した生体情報を加算して得る平均値でもよいし、中央値による平均値でもよい。また、例えば、内視鏡画像８２においてコントラスト等が極端に異なる部分等を除いた上で平均した値としてもよい。平均値指標は、平均値をユーザが認識できるものであればよい。したがって、平均値指標は、基準値指標９５と同様に、例えば、矢印または線の形状とする。ただし、基準値指標９５と平均値指標との両者を表示する場合は、例えば、形状、又は色等を異ならせることにより、これらの区別が可能となるようにする。基準値用カラーバー８７と平均値指標とを組み合わせたものを、重畳画像９７の近くであって、重畳画像９７の視認に問題がない箇所に表示することが好ましい。近くに表示することにより、生体情報画像８３における色と平均値とを重畳画像９７において認識しやすい。
　具体的には、図１０に示すように、例えば、基準値用カラーバー８７と平均値指標９８とを組み合わせる。図１１に示すように、表示用画像生成部７１は、基準値用カラーバー８７に平均値指標９８を付したものを、重畳画像９７の左下に配置することにより表示用画像８１を生成する。表示用画像８１に平均値指標９８が表示されることにより、ユーザが現在の平均値がどの程度であるのかをすぐに認識することができる。また、基準値指標９５と組み合わせることにより、内視鏡画像８２における生体情報の平均値と基準値との差をひと目で認識することができる。例えば、基準値と平均値とが近い値である場合は、低値領域８４ではないが、生体情報が基準値より高い領域であって注目が必要な低い値の領域（以下、準低値領域という）が存在し、その面積もある程度大きいことが予想される。一方、基準値と平均値とが遠い値である場合は、準低値領域が存在しないか、存在しても少ない面積であると予想できる。
　適正判定部７５は、生体情報の基準値が適切であるか否かの判定を行う。基準値が適切であることにより、表示用画像８１において低値領域８４が色等により強調されるため、注目すべき領域が見逃されにくくなる。表示用画像８１が、基準値以下の生体情報と、それ以外の基準値より高い生体情報とが、低値領域８４とそれ以外とに区別可能に画像化された生体情報画像８３を含むためである。
　基準値が適切でない場合としては、基準値が低すぎる場合が挙げられる。基準値が低すぎるために、生体情報画像８３を含む表示用画像８１において低値領域８４が存在せず、生体情報画像８３において注目すべき生体情報の値を有する領域がないように見える。しかしながら、場合によって、準低値領域を有することがありえる。準低値領域は、生体情報が基準値より高いが病変の可能性がある程度に低い値の領域である。したがって、基準値が適切でない場合は、準低値領域を見逃す可能性がある。準低値領域を、基準値が適切であるか否かを判定する判定材料とする。
　準低値領域は、予め設定する設定値と基準値とにより決定される。適正判定部７５は、生体情報算出部７２により内視鏡画像８２における生体情報の情報を受け取り、設定値を設定し、また、基準値設定部７３から基準値の情報を受け取るため、準低値領域が存在するか否かを判定できる。
　設定値は、適正判定部７５が設定し、部位、又は観察の目的等に応じて設定する。設定値は、基準値より高く、基準値の値、生体情報画像８３の被写体の種類、部位、又は観察の目的等に応じて設定してもよい。例えば、基準値を低めに設定した場合は、基準値と設定値との値の差を多く設定し、基準値を高めに設定した場合は、基準値と設定値と値の差を少なく設定する。これにより、注目すべき領域である準低値領域を見逃さないように準低値領域を決定できる。設定した基準値及び設定値は、例えば、表示用画像８１に表示してもよい。
　また、基準値及び設定値を設定する場合は、ディスプレイに基準値設定メニューを表示してもよい。基準値設定メニューについては、例えば、キーボード１９の操作により基準値の設定操作を受け付けると、基準値設定部は、図１２に示すような基準値設定メニューをディスプレイ１８上に表示する。基準値は、例えば、０％から１００％の間で変更可能であり、スライドバー１０１ａ上に割り当てられている。設定値も、例えば、０％から１００％の間で変更可能であり、スライドバー１０１ｂ上に割り当てられている。基準値を変更する場合には、キーボード１９等を操作して、スライドバー１０１ａ上の変更したい基準値を示す位置にスライダ１０２ａを合わせることで、基準値が変更される。設定値についても、キーボード１９を操作して、スライドバー１０１ｂ上の変更したい設定値を示す位置にスライダ１０２ｂを合わせることで、設定値が変更される。本実施形態では、基準値は、スライドバー１０１ａにより４０％の酸素飽和度が割り当てられ、設定値は、スライドバー１０１ｂにより８０％の酸素飽和度が割り当てられる。
　なお、基準値設定部７３は、基準値と設定値とが予め設定した条件を満たす場合に、基準値を、変更前の基準値より高く、かつ、設定値を超えない値であって、予め設定した値に変更して設定することが好ましい。基準値が低すぎる場合に、簡便に基準値を適切な値に切り替えて設定することにより、手間をかけることなく適切に基準値を変更し、低値領域８４が適度に表示できるようになるためである。
　また、準低値領域が存在する場合、基準値を適切な値に切り替えて設定することにより、準低値領域を低値領域８４に含めることができるため、生体情報画像８３に準低値領域だった領域をも含めて表示することができ、準低値領域だった領域、及び低値領域８４を含む、生体情報が特異的な部分を表示することにより、これらを見逃すことを防止する。なお、予め設定した条件、及び予め設定した値等の詳細は、例えば、部位、又は観察の目的等により適宜設定する。
　具体的には、図１３に示すように、例えば、基準値を４０％、かつ、設定値８０％に設定して病変の可能性がある部位の詳細観察を行っていた場合、予め設定した条件が、「基準値が設定値よりも２０％以上低い場合、基準値が設定値よりも１０％低い値に基準値を変更する」である際は、基準値が設定値より３０％低く、「基準値が設定値よりも２０％以上低い」との条件を満たすため、基準値設定部７３は基準値を７０％に切り替えて設定する。基準値の切り替えは、例えば、予め設定した時間が経過した際、又は、部位認識部７６等により、被写体が変化したと認識された際等に行うことが好ましい。例えば、基準値を低くして詳細観察を行っていた部位から別の部位に移動し、病変がないかを観察するスクリーニングを行う際等には、基準値が低すぎることにより生体情報画像８３に低値領域８４が表示される場合が少ないことが考えられるが、基準値設定部７３が基準値を切り替えて設定することにより、観察する部位を移動しても低値領域８４を適度に表示することができる。
　適正判定部７５は、生体情報画像８３において、生体情報が基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、基準値は適切でないとの判定を行う。図１４に示すように、生体情報画像８３において、準低値領域１０５が存在する場合、適正判定部７５は、基準値は適切でないとの判定を行う。なお、準低値領域１０５は、生体情報画像８３に含まれるが、基準値用カラーバー８７により、場合によってはその他の領域と同様に透明又は無色にて表示されるため、目視により識別することができない。また、基準値用カラーバー８７、基準値指標９５、及び平均値指標９８を見ることにより、平均値指標９８が基準値指標９５の近くにあることから、内視鏡画像８２には、基準値より高いが、基準値に近い程度に酸素飽和度が低い部分が多くあることの推測は可能である。
　なお、適正判定部７５は、生体情報画像８３において、準低値領域１０５が予め設定した割合以上存在する場合に、基準値は適切でないとの判定を行ってもよい。生体情報画像８３において、生体情報画像８３の全体の面積に対し、準低値領域１０５の面積が予め設定した割合以上存在する場合は、ユーザは準低値領域１０５の場所又は分布等を確認することが好ましい。なお、生体情報画像８３の面積は、内視鏡画像８２全体について生体情報の算出をおこなっているため、内視鏡画像８２の面積と同一である。適正判定部７５が基準値を適切でないと判定することにより、準低値領域１０５が表示されない状況であっても、ユーザが準低値領域１０５を確認するように促すことができ、また、判定の通知を適度に行うことができる。
　具体的には、例えば、生体情報が酸素飽和度であって、基準値が４０％であり、設定値が５０％である場合、酸素飽和度が４０％より高く５０％以下の準低値領域１０５の面積が、予め設定した値である酸素飽和度画像８３の１０％以上ある際に、基準値が適正でないとの判定を行う。図１５に示すように、図１５（Ａ）では、準低値領域１０５が、酸素飽和度画像８３の面積の１０％より少ないため、適正判定部７５は基準値が適正でないとの判定を行わない。なお、酸素飽和度画像８３の面積は、内視鏡画像８２全体について酸素飽和度の算出をおこなっているため、内視鏡画像８２の面積と同一である。一方、図１５（Ｂ）では、準低値領域１０５が酸素飽和度画像８３の面積の１０％以上であったため、適正判定部７５は基準値が適正でないとの判定を行なう。
　適正判定部７５が、準低値領域１０５が内視鏡画像８２に占める面積割合により基準値の判定を行うことにより、基準値の判定についてより詳細に設定することができ、また、基準値が適正でないとの判定を頻繁に行うことを防いで通知を適切に行うことができるため好ましい。
　なお、適正判定部７５は、生体情報画像８３において、準低値領域１０５が予め設定した時間以上継続して存在する場合に、基準値は適切でないとの判定を行ってもよい。生体情報画像８３において、準低値領域１０５が継続して存在する場合は、ユーザは、準低値領域１０５の場所又は分布等を確認することが好ましい。適正判定部７５が、準低値領域１０５が表示されない状況であっても、基準値が適切でないと判定することにより、ユーザが準低値領域１０５を確認するように促すことができ、また、判定の通知を適度に行うことができる。
　具体的には、例えば、生体情報が酸素飽和度であって、基準値が４０％であり、設定値が５０％である場合、酸素飽和度が４０％より高く５０％以下の準低値領域１０５の面積が、予め設定した時間である３０秒以上存在する際に、基準値が適正でないとの判定を行う。図１６に示すように、時刻ｔ１秒から準低値領域１０５が存在し始め、時刻ｔ１＋３０秒の時点で準低値領域１０５が継続して存在していない図１６（Ａ）の場合は、適正判定部７５は基準値が適切であると判定する。一方、時刻ｔ１＋３０秒の時点で準低値領域１０５が継続して存在する図１６（Ｃ）の場合は、適正判定部７５は基準値は適切でないと判定する。時刻ｔ１＋３０秒の時点で準低値領域１０５があっても、３０秒以上継続しない場合は、適正判定部７５は基準値は適切でないと判定する。すなわち、図１６（Ｂ）の場合は、時刻ｔ１＋３０秒の時点で準低値領域１０５があるが、この準低値領域１０５が生じた時刻が時刻ｔ２であるため、時刻ｔ２＋３０秒の時点まで準低値領域１０５が継続して存在していれば、適正判定部７５は基準値は適切でないと判定するが、時刻ｔ２＋３０秒の時点まで準低値領域１０５が継続して存在しない図１６（Ｂ）の場合は、適正判定部７５は基準値は適切でないと判定しない。なお、図１６において、各斜線は準低値領域１０５の存在を示す。
　適正判定部７５が、準低値領域１０５の存在の継続時間に基づいて基準値の判定を行うことにより、基準値の判定についてより詳細に設定することができ、また、基準値が適正でないとの判定を頻繁に行うことを防いで通知を適切に行うことができるため好ましい。
　なお、上記した生体情報画像８３における準低値領域１０５の割合と準低値領域１０５の継続時間との両方を満たす場合に、基準値が適正でないとの判定を行ってもよい。例えば、酸素飽和度において基準値が４０％であり設定値が５０％である場合、準低値領域１０５である酸素飽和度が４０％より高く５０％以下の面積が、酸素飽和度画像の１０％以上存在した時間が、継続して３０秒以上であった場合に、基準値が適正でないとの判定を行う。判定の条件は、部位、又は被写体の状況等に応じて適宜設定する。適正判定部７５が、準低値領域１０５の面積割合と準低値領域１０５の存在の継続時間の両方を用いて基準値の判定を行うことにより、基準値の判定についてより詳細に設定することができ、また、基準値が適正でないとの判定を頻繁に行うことを防いで通知を適切に行うことができるため好ましい。
　なお、適正判定部７５が基準値は適切でないとの判定を行った場合、基準値設定部７３は、基準値をより高い値に切り替えて設定することが好ましい。基準値を切り替える場合の変更の幅等の詳細は、例えば、部位、又は観察の目的等により適宜設定する。
　具体的には、図１７に示すように、例えば、基準値が４０％であり、適正判定部７５が、基準値が適切でないとの判定を行った場合、基準値設定部７３は、適正判定部７５の判定をフィードバックすることにより、４０％から予め設定していた幅である１０％高くし、５０％の基準値に切り替えて設定する。
　基準値設定部７３が、適正判定部７５の判定をフィードバックして、基準値をより高い値に切り替えて設定することにより、基準値が低すぎる場合であっても、手間をかけることなく、適切な基準値に切り替えて設定されるため好ましい。
　通知制御部６７は、基準値が適正判定部７５により適切でないと判定された場合、基準値に関する通知を行う。基準値に関する通知は、準低値領域１０５が存在することをユーザに認識させるための通知である。したがって、通知方法又は通知内容は、ユーザがその旨を認識できる方法又は内容であればよい。具体的には、例えば、ディスプレイ１８に通知内容を表示することにより通知を行う。この場合、通知制御部６７は、表示による通知に関する情報を表示制御部６６に送る。表示に関する制御は、表示制御部６６が行う。
　通知内容は、ユーザが準低値領域１０５が存在することを認識できればよい。図１８に示すように、例えば、ディスプレイ１８上のいずれかの箇所に警告表示１０７を表示することで通知を行う。または、例えば、基準値用カラーバー８７をディスプレイ１８に表示する場合に、基準値用カラーバー８７上に矢印の形状である平均値指標９８を表示することで通知を行う。平均値指標９８が基準値指標９５と近接する場合は、準低値領域１０５が存在する可能性が高いことから、平均値指標９８を基準値用カラーバー８７と合わせて表示することにより、準低値領域１０５の存在をユーザに通知することができる。なお、基準値用カラーバー８７には、基準値指標９５及び高値指標９６も表示する。または、図１９に示すように、矢印の形状である平均値指標９８を見逃しにくくするために、矢印の色を変えた平均値指標９８を、例えば１秒毎に順に表示するような点滅表示等により表示してもよい。
　なお、通知制御部６７は、適正判定部７５が基準値は適切でないとの判定を行わない場合、基準値が適切であることを通知してもよい。通知については、例えば、基準値が適切でないとの判定の場合の通知がないことによって、適切であることを通知する。また、例えば、ディスプレイ１８に、基準値が適切である場合は常にその旨を表示しておき、基準値が適切でなくなった場合にその表示を警告する表示に変更するようにしてもよい。また、基準値用カラーバー８７をディスプレイ１８に表示する場合、基準値用カラーバー８７上に示す矢印形状の平均値指標９８について、基準値が適切でなくなった場合に矢印形状の平均値指標９８の色を変更する、又は大きさを変更することにより、ユーザの注意を引くようにしてもよい。
　図２０に示すように、例えば、基準値用カラーバー８７上に矢印形状の平均値指標９８を表示する場合、基準値が適切である場合は、矢印形状の平均値指標９８を通常の大きさで表示し、基準値が適切でなくなった場合は、矢印形状の平均値指標９８を大きくして表示する。
　以上の画像処理装置であるプロセッサ装置１６によれば、生体情報を画像化することにより生体情報を観察するにあたり、基準値を設定して内視鏡画像８２と生体情報画像８３との両者を見やすくした場合、基準値より高く設定値以下である準低値領域１０５が存在する際に、基準値に関する通知がされるため、準低値領域１０５を見逃さず、準低値領域１０５に注意を払うことができる。したがって、画像処理装置により、例えば、内視鏡による観察において、生体情報が基準値以下の領域である低値領域８４のみならず、病変等の可能性がある準低値領域１０５の部分の見逃しを防ぐことができる。生体情報が基準値より低い場合は、従来であれば、生体情報の画像化により基準値より低いとの表示がされないため、ユーザーは、例えば生体情報が酸素飽和度の場合、酸素飽和度が低い領域がないと推定する可能性がある。
　特に、例えば、被写体の酸素飽和度が全体的に低めのケースにおいて、酸素飽和度が特に低い領域を観察するために基準値を低めに設定した場合、又は、観察部位の変更又は時間経過によって基準値より低い低酸素領域（低値領域）８４がなくなった場合は、生体情報画像８３である酸素飽和度画像において、低酸素領域８４の表示がされない。しかしながら、プロセッサ装置１６によれば、基準値より高いが酸素飽和度が低い領域とされる準低酸素領域（準低値領域）１０５がある場合は通知がなされるため、酸素飽和度に関して特定的な領域である低酸素領域８４と準低酸素領域１０５との両方に、ユーザが気が付かないことを防止することができる。
　また、基準値に関する通知がされた場合に、ユーザは基準値をすぐに変更することができる。基準値は、例えば、１％刻みで、キーボード１９、スコープボタン１２ｇ又はフットスイッチ（図示せず）等で容易に変更可能である。したがって、基準値を変更する場合は、素早くしかもユーザの負担にならずに、柔軟に変更することができる。また、基準値を変更すると、基準値に基づく基準値用対応情報、又は基準値用カラーバー８７等の各種の対応情報等が自動的に変更される。したがって、ユーザは手間をかけずに適切な設定又は表示にて観察を行うことができ、生体情報が特異的な領域の見逃しも防止される。
　なお、プロセッサ装置１６は、表示用画像８１を表示するディスプレイ１８と接続され、表示用画像８１を保存する表示用画像保存部１０９と、保存した表示用画像８１をディスプレイ１８にサムネイル表示する制御を行う表示制御部６６とを備えることが好ましい。図２１に示すように、プロセッサ装置は、さらに、表示用画像保存部１０９を備える。表示用画像生成部７１が生成した表示用画像８１は、表示用画像保存部１０９が保存する。
　表示制御部６６は、予め設定する条件に従い、表示用画像保存部１０９が保存する１つ又は複数の表示用画像８１を、ディスプレイ１８にサムネイル表示する制御を行う。予め設定する条件は、例えば、所定期間過去から現在まで表示した表示用画像８１のすべてから予め設定した基準に基づいて選択したものとする。表示用画像８１がフレーム毎に作成される場合は、例えば、３０秒毎に１つの表示用画像８１を選択して、３０秒過去から２分過去までのうちで選択された表示用画像８１の４つをサムネイルとしてサムネイル表示する。新しい表示用画像８１が生成された場合は、ディスプレイ１８にサムネイル表示されている表示用画像８１のうち最も古い表示用画像８１を削除して、代わりに新しい表示用画像８１を表示し、３０秒毎にこれを繰り返す。この場合は、内視鏡での観察中において、生体情報の変化を時系列で表示することができる。
　図２２に示すように、具体的には、例えば、３０秒毎に１つの表示用画像８１を４つ分選択して、３０秒過去から２分過去までのうちで選択されたサムネイル画像１１１を表示する場合は、現在観察している表示用画像８１の右横に、上から新しい順に、３０秒前、１分前、１分３０秒前、及び２分前前のサムネイル画像１１１を表示する。なお、図２２において、図の煩雑さを避けるために、符号は一部のみ付す。
　また、予め設定する条件を、例えば、同じ患者の同じ部位における過去の表示用画像８１とする。この場合は、同じ部位等における生体情報の比較が容易に行うことができる。例えば、同じ患者において、胃の吻合前と吻合後とにおける酸素飽和度の変化を同じディスプレイ１８上に表示することができる。また、例えば、内視鏡画像８２が含む取得時間の情報を用いて、表示用画像保存部１０９から一定の時間間隔で選択した表示用画像８１をサムネイル表示するようにしてもよい。
　また、サムネイル表示する過去の複数の表示用画像８１においては、生体情報を疑似カラーで示した生体情報画像８３とした表示用画像８１としてもよい。疑似カラーは、生体情報を画像化する方法の一つであり、内視鏡画像８２の画素ごとに算出した生体情報に基づき、生体情報に応じて異なる色を表示するものである。この方法は、内視鏡画像における自然な観察で示される色とは異なる疑似色を使用するため、疑似カラーと呼ばれる。生体情報を擬似カラーで表示するために、例えば、カラー対応情報（カラーテーブル）を用いる方法、又は、生体情報に応じて、内視鏡画像の分光画像に異なるゲインをかける方法等が挙げられる。カラー対応情報は、生体情報に応じて異なる色を対応させた対応情報である。本実施形態において、生体情報は酸素飽和度であるため、カラー対応情報は、酸素飽和度に応じて異なる色を対応させた疑似カラー用対応情報であり、酸素飽和度の範囲を、例えば、青から赤までの各色に対応させた疑似カラー用対応情報である。
　疑似カラー用対応情報は、生体情報画像の被写体の種類、又は観察の目的等に応じて設定することができる。例えば、酸素飽和度の０％から１００％までの１％ずつを、青から赤を１０１段階とした各段階の各色に対応させた疑似カラー用対応情報とする。したがって、疑似カラー用対応情報は、酸素飽和度の測定値と色とを対応させた対応情報であり、酸素飽和度の値と色とを一対一で対応させている。これにより、生体情報画像である酸素飽和度画像において、酸素飽和度の測定値に応じた色が画素毎に表示できる。したがって、サムネイル画像において、酸素飽和度の絶対的な測定値に応じた色が表示されるため、画像間での酸素飽和度の比較可能であり、酸素飽和度の絶対的な変化を把握しやすい。
　なお、表示制御部６６は、基準値設定部７３が基準値を設定した場合、ディスプレイにサムネイル表示する表示用画像８１を基準値に基づいて変更した上で表示する制御を行うことが好ましい。表示用画像生成部７１は、基準値設定部７３が基準値を設定した場合に基準値用カラー対応情報を生成する。そして、サムネイル表示されている表示用画像８１が含む生体情報画像８３についても、基準値用カラー対応情報が生成された場合に、この基準値用カラー対応情報に基づいた生体情報画像８３を生成する。表示用画像生成部７１は、サムネイル表示される表示用画像８１が含む生体情報画像８３を保存してもよいし、表示用画像保存部１０９に保存されている表示用画像８１を取得してもよい。表示用画像生成部７１により、サムネイル表示されている表示用画像８１が含む生体情報画像８３が改めて生成され、表示用画像８１も改めて生成される。生成された表示用画像８１は、基準値の変更に対応して、生体情報画像８３が変更されている。表示用画像８１が生成され次第、再びディスプレイにサムネイル表示する。また、生成された表示用画像８１は、例えば、表示用画像保存部１０９に保存される際に、表示用画像８１が含む内視鏡画像８２において同じ取得時間を含む表示用画像８１が保存されている場合は、この過去の表示用画像８１を更新して保存される。このようにして、基準値が変更された場合は、サムネイル表示されている表示用画像８１においても変更した基準値に伴い変更がされて再び表示される。
　過去の表示用画像８１をサムネイル表示する場合、基準値を変更したことにより、サムネイル表示されている表示用画像においても変更した基準値に基づいた表示が行われることにより、ディスプレイ１８に表示される表示用画像８１のすべてにおいて、画像間で単一の基準値により表示用画像８１を比較可能であり、酸素飽和度の変化を把握しやすいため好ましい。
　なお、本実施形態のように、生体情報は、被写体の酸素飽和度であることが好ましい。生体情報が酸素飽和度であることにより、被写体において基準値を用いて酸素飽和度を効率的に観察することができる。被写体において、酸素飽和度が低い領域は、病変又は腸管等の縫合不全等である可能性があることが知られている。したがって、生体情報が酸素飽和度であることにより、内視鏡により観察、検査、又は診断に有効である。
　また、上記では生体情報の基準値以下の低値領域８４、及び準低値領域１０５について記載したが、生体情報の基準値以上の高値領域、及び準高値領域についても同様に適用可能である。
　次に、画像処理装置が行う処理の一連の流れについて、図２３に示すフローチャートに沿って説明を行う。観察を開始すると内視鏡画像８２が取得され（ステップＳＴ１１０）、取得した内視鏡画像８２に基づ生体情報を算出する（ステップＳＴ１２０）。基準値設定部７３は基準値を設定する（ステップＳＴ１３０）。基準値に基づき生体情報画像を生成する（ステップＳＴ１４０）。生体情報画像に基づき表示用画像を生成する（ステップＳＴ１５０）。判定部が基準値を判定し（ステップＳＴ１６０）、判定結果が基準値が適切でないとの場合は（ステップＳＴ１７０でＹＥＳ）、通知を行う（ステップＳＴ１８０）。基準値が適切でないとの判定結果でない場合は（ステップＳＴ１７０でＮＯ）通知は行わない。観察が終了されると（ステップＳＴ１９０でＹＥＳ）、一連の流れが終了する。観察を継続する場合は（ステップＳＴ１９０でＮＯ）、内視鏡画像８２の取得に戻る。
　なお、上記実施形態では、内視鏡画像８２の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像８２以外の医療画像を処理する医療画像処理システムに対しても、静止画を保存する際に本発明の適用は可能である。
　上記実施形態及び変形例等においては、プロセッサ装置１６が画像処理装置として機能するが、図２４に示すように、プロセッサ装置１６とは別に、画像処理部６１は、表示用画像生成部７１、生体情報算出部７２、基準値設定部７３、生体情報画像生成部７４、適正判定部７５、及び部位認識部７６を備える画像処理装置２０１を設けることができる。
　この他、図２５に示すように、表示用画像生成部７１、生体情報算出部７２、基準値設定部７３、生体情報画像生成部７４、適正判定部７５、及び部位認識部７６は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）９１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図２６に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、表示用画像生成部７１、生体情報算出部７２、基準値設定部７３、生体情報画像生成部７４、適正判定部７５、及び部位認識部７６を設けることができる。
　上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡１２は可撓性の挿入部１２ａを有するいわゆる軟性内視鏡を用いているが、被写体が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡（腹腔鏡）を用いる場合も本発明は好適である。
　上記実施形態及び変形例等は、画像用プロセッサを備える画像処理装置の作動方法であって、画像用プロセッサは、内視鏡により被写体を撮像して得られる内視鏡画像を取得し、内視鏡画像に基づいて生体情報を算出し、生体情報の基準値を設定し、基準値以下の低値領域とそれ以外とが区別可能であるように生体情報を画像化した生体情報画像を生成し、内視鏡画像に生体情報画像を重畳した表示用画像を生成し、生体情報画像において、生体情報が前記基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、前記基準値は適切でないとの判定を行い、基準値は適切でないと判定した場合、基準値に関する通知を行う画像処理装置の作動方法を含む。
　上記実施形態において、プロセッサ装置１６に含まれる制御部５２、画像取得部５４、ＤＳＰ５６、ノイズ低減部５８、変換部５９、画像処理部６１、表示制御部６６、及び通知制御部６７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
　なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。
　１０　内視鏡システム
　１２　内視鏡
　１２ａ　挿入部
　１２ｂ　操作部
　１２ｃ　湾曲部
　１２ｄ　先端部
　１２ｅ　アングルノブ
　１２ｆ　処置具挿入口
　１２ｇ　スコープボタン
　１３　ズーム操作部
　１４　光源装置
　１６　プロセッサ装置
　１８　ディスプレイ
　１９　キーボード
　２０　光源部
　２０ａ　Ｖ－ＬＥＤ
　２０ｂ　Ｂ－ＬＥＤ
　２０ｃ　Ｇ－ＬＥＤ
　２０ｄ　Ｒ－ＬＥＤ
　２２　光源制御部
　３０ａ　照明光学系
　３０ｂ　撮影光学系
　４５　照明レンズ
　４６　対物レンズ
　４７　ズームレンズ
　４８　イメージセンサ
　５２　制御部
　５４　画像取得部
　５６　ＤＳＰ
　５８　ノイズ低減部
　５９　変換部
　６１　画像処理部
　６６　表示制御部
　６７　通知制御部
　７１　表示用画像生成部
　７２　生体情報算出部
　７３　基準値設定部
　７４　生体情報画像生成部
　７５　適正判定部
　７６　部位認識部
　８１　表示用画像
　８２　内視鏡画像
　８３　生体情報画像（酸素飽和度画像）
　８４　低値領域（低酸素領域）
　８５　高値領域
　８６　中間領域
　８７　基準値用カラーバー
　９１～９４　目盛り
　９５　基準値指標
　９６　高値指標
　９７　重畳画像
　９８　平均値指標
　１０１ａ、１０１ｂ　スライドバー
　１０２ａ、１０２ｂ　スライダ
　１０５　準低値領域（準低酸素領域）
　１０７　警告表示
　１０９　表示用画像保存部
　１１１　サムネイル画像
　２０１　画像処理装置
　９１０　ＰＡＣＳ
　９１１　診断支援装置
　９２１　第１検査装置
　９２２　第２検査装置
　９２３　第Ｋ検査装置
　９２６　ネットワーク
　９３０　医療業務支援装置
　ＳＴ１１０～ＳＴ１９０　ステップ
 

Claims (16)

  1. 　画像用プロセッサを備え、
    　前記画像用プロセッサは、
    　内視鏡により被写体を撮像して得られる内視鏡画像を取得し、
    　前記内視鏡画像に基づいて生体情報を算出し、
    　前記生体情報の基準値を設定し、
    　前記基準値以下の低値領域とそれ以外とが区別可能であるように前記生体情報を画像化した生体情報画像を生成し、
    　前記内視鏡画像に前記生体情報画像を重畳した表示用画像を生成し、
    　前記生体情報画像において、前記生体情報が前記基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、前記基準値は適切でないとの判定を行い、
    　前記基準値は適切でないと判定した場合、前記基準値に関する通知を行う画像処理装置。
  2. 　前記画像用プロセッサは、前記生体情報が前記基準値以下である領域を特定の色に対応させた基準値用カラー対応情報を生成し、前記基準値用カラー対応情報に基づき前記生体情報画像を生成する請求項１に記載の画像処理装置。
  3. 　前記画像用プロセッサは、前記基準値を設定した場合、設定した前記基準値に基づき前記基準値用カラー対応情報を生成する請求項１又は２に記載の画像処理装置。
  4. 　前記画像用プロセッサは、前記基準値用カラー対応情報を画像化した基準値用カラーバーと、前記基準値を示す基準値指標とを用いて表示用画像を生成する請求項２又は３に記載の画像処理装置。
  5. 　前記画像用プロセッサは、前記基準値を設定した場合、設定した前記基準値を示す前記基準値指標を用いて前記表示用画像を生成する請求項４に記載の画像処理装置。
  6. 　前記画像用プロセッサは、前記内視鏡画像における前記生体情報の平均値を算出し、
    　前記基準値用カラーバーと前記平均値を示す平均値指標とを用いて前記表示用画像を生成する請求項４又は５に記載の画像処理装置。
  7. 　前記表示用画像を表示するディスプレイと、前記表示用画像を保存する表示用画像保存部とに接続され、
    　前記画像用プロセッサは、前記表示用画像保存部に保存した前記表示用画像を前記ディスプレイにサムネイル表示する制御を行う請求項１ないし６のいずれか１項に記載の画像処理装置。
  8. 　前記画像用プロセッサは、前記基準値を設定した場合、前記ディスプレイにサムネイル表示する前記表示用画像を前記基準値に基づいて変更した上で表示する制御を行う請求項７に記載の画像処理装置。
  9. 　前記画像用プロセッサは、前記生体情報画像において、前記準低値領域が予め設定した割合以上存在する場合に、前記基準値は適切でないとの判定を行う請求項１ないし８のいずれか１項に記載の画像処理装置。
  10. 　前記画像用プロセッサは、前記準低値領域が予め設定した時間以上継続して存在する場合に、前記基準値は適切でないとの判定を行う請求項１ないし９のいずれか１項に記載の画像処理装置。
  11. 　前記画像用プロセッサは、前記基準値は適切でないとの判定を行わない場合、前記基準値が適切であることを通知する請求項１ないし１０のいずれか１項に記載の画像処理装置。
  12. 　前記画像用プロセッサは、前記内視鏡画像に基づいて、前記被写体の部位を認識し、
    　前記部位に基づき前記基準値を設定する請求項１ないし１１のいずれか１項に記載の画像処理装置。
  13. 　前記画像用プロセッサは、前記基準値は適切でないとの判定を行った場合に、前記基準値をより高い値に切り替えて設定する請求項１ないし１２のいずれか１項に記載の画像処理装置。
  14. 　前記画像用プロセッサは、前記基準値と前記設定値とが予め設定した条件を満たす場合に、前記基準値を、変更前の前記基準値より高く、かつ、前記設定値を超えない値であって、予め設定した値に変更して設定する請求項１ないし１３のいずれか１項に記載の画像処理装置。
  15. 　前記生体情報は、前記被写体の酸素飽和度である請求項１ないし１４のいずれか１項に記載の画像処理装置。
  16. 　画像用プロセッサを備える画像処理装置の作動方法であって、
    　前記画像用プロセッサは、
    　内視鏡により被写体を撮像して得られる内視鏡画像を取得し、
    　前記内視鏡画像に基づいて生体情報を算出し、
    　前記生体情報の基準値を設定し、
    　前記基準値以下の低値領域とそれ以外とが区別可能であるように前記生体情報を画像化した生体情報画像を生成し、
    　前記内視鏡画像に前記生体情報画像を重畳した表示用画像を生成し、
    　前記生体情報画像において、前記生体情報が前記基準値より高く、かつ、予め設定した設定値以下である準低値領域が存在する場合に、前記基準値は適切でないとの判定を行い、
    　前記基準値は適切でないと判定した場合、前記基準値に関する通知を行う画像処理装置の作動方法。
     
PCT/JP2021/010862 2020-04-17 2021-03-17 画像処理装置及びその作動方法 WO2021210331A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21787780.2A EP4137035A4 (en) 2020-04-17 2021-03-17 IMAGE PROCESSING DEVICE AND ITS OPERATING METHOD
JP2022515257A JP7397176B2 (ja) 2020-04-17 2021-03-17 画像処理装置及びその作動方法
US18/046,793 US11998165B2 (en) 2020-04-17 2022-10-14 Image processing device and method of operating same
JP2023202445A JP2024015112A (ja) 2020-04-17 2023-11-30 画像処理装置及びその作動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-074231 2020-04-17
JP2020074231 2020-04-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/046,793 Continuation US11998165B2 (en) 2020-04-17 2022-10-14 Image processing device and method of operating same

Publications (1)

Publication Number Publication Date
WO2021210331A1 true WO2021210331A1 (ja) 2021-10-21

Family

ID=78084113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010862 WO2021210331A1 (ja) 2020-04-17 2021-03-17 画像処理装置及びその作動方法

Country Status (4)

Country Link
US (1) US11998165B2 (ja)
EP (1) EP4137035A4 (ja)
JP (2) JP7397176B2 (ja)
WO (1) WO2021210331A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215927A (ja) * 2006-02-20 2007-08-30 Pentax Corp 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム
JP2011194028A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、および血管情報取得方法
JP2012139482A (ja) 2010-12-15 2012-07-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置及び画像生成方法
WO2013035738A1 (ja) * 2011-09-07 2013-03-14 オリンパス株式会社 蛍光観察装置
JP2015136397A (ja) * 2014-01-20 2015-07-30 富士フイルム株式会社 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
WO2019172231A1 (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5426620B2 (ja) * 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5992936B2 (ja) * 2014-02-27 2016-09-14 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215927A (ja) * 2006-02-20 2007-08-30 Pentax Corp 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム
JP2011194028A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、および血管情報取得方法
JP2012139482A (ja) 2010-12-15 2012-07-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置及び画像生成方法
WO2013035738A1 (ja) * 2011-09-07 2013-03-14 オリンパス株式会社 蛍光観察装置
JP2015136397A (ja) * 2014-01-20 2015-07-30 富士フイルム株式会社 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
WO2019172231A1 (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4137035A4

Also Published As

Publication number Publication date
US20230063128A1 (en) 2023-03-02
JP2024015112A (ja) 2024-02-01
US11998165B2 (en) 2024-06-04
EP4137035A1 (en) 2023-02-22
JPWO2021210331A1 (ja) 2021-10-21
JP7397176B2 (ja) 2023-12-12
EP4137035A4 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜系统及其操作方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US11969148B2 (en) Medical image processing device
US20210153730A1 (en) Endoscope system
JP7190597B2 (ja) 内視鏡システム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112512398B (zh) 医疗图像处理装置
CN112584742B (zh) 医疗图像处理系统
US12020420B2 (en) Endoscope system, method for activating endoscope system, and image processing apparatus
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
US20230141302A1 (en) Image analysis processing apparatus, endoscope system, operation method of image analysis processing apparatus, and non-transitory computer readable medium
US12020350B2 (en) Image processing apparatus
WO2021210331A1 (ja) 画像処理装置及びその作動方法
JP2020182738A (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
WO2021006121A1 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7508559B2 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2021095446A1 (ja) 情報表示システムおよび情報表示方法
JP6866497B2 (ja) 医療画像処理装置、及び、内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022515257

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021787780

Country of ref document: EP

Effective date: 20221117

NENP Non-entry into the national phase

Ref country code: DE