WO2024079785A1 - 内視鏡システム、画像生成装置および画像生成方法 - Google Patents

内視鏡システム、画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2024079785A1
WO2024079785A1 PCT/JP2022/037862 JP2022037862W WO2024079785A1 WO 2024079785 A1 WO2024079785 A1 WO 2024079785A1 JP 2022037862 W JP2022037862 W JP 2022037862W WO 2024079785 A1 WO2024079785 A1 WO 2024079785A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
captured
light
imaging
Prior art date
Application number
PCT/JP2022/037862
Other languages
English (en)
French (fr)
Inventor
延好 浅岡
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2022/037862 priority Critical patent/WO2024079785A1/ja
Publication of WO2024079785A1 publication Critical patent/WO2024079785A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements

Definitions

  • the present invention relates to an endoscope system, an image generating device, and an image generating method.
  • the endoscope system is provided with an illumination unit and an imaging unit at the tip, and the illumination unit irradiates the subject with illumination light, and the imaging unit captures the subject. It is desirable that the captured image be bright enough to allow the subject to be visually recognized in detail.
  • an upper limit on the amount of illumination light is set so that the temperature of the tip does not exceed an acceptable range.
  • image signal processing such as gain adjustment
  • noise resulting from the image signal processing will exceed an acceptable range.
  • Patent Document 1 describes an endoscope system that suppresses the amount of illumination light emitted to an upper limit value except when capturing still images, thereby suppressing temperature increases at the tip of the endoscope.
  • the temperature of the tip of the endoscope may still exceed the allowable range when capturing still images.
  • the present invention aims to provide an endoscope system, an image generating device, and an image generating method that can provide sufficiently bright captured images while suppressing temperature rise at the tip of the endoscope, even when capturing still images.
  • An endoscopic system comprises an endoscope having an illumination unit that irradiates illumination light onto a subject and an imaging unit that images the subject, a control device that performs imaging signal processing based on imaging parameters on an imaging signal acquired from the imaging unit to generate an image, and an image generating device, wherein the control device generates a first captured image, which is an image captured of the subject illuminated with an amount of light equal to or less than an upper limit value, and a second captured image, which is an image captured of the subject illuminated with an amount of light equal to or less than the upper limit value and is brighter than the first captured image, and the image generating device generates an estimated image by estimating an image captured of the subject illuminated with an amount of light greater than the upper limit value from the first captured image and the second captured image.
  • the image generating device is an image generating device that acquires an imaged image by performing image signal processing based on imaging parameters on an imaging signal acquired from an imaging unit that images a subject, and acquires a first captured image in which the subject is captured while illuminated with an amount of light equal to or less than an upper limit, and a second captured image in which the subject is captured while illuminated with an amount of light equal to or less than the upper limit and is brighter than the first captured image, and generates an estimated image by estimating an image of the subject captured while illuminated with an amount of light greater than the upper limit from the first captured image and the second captured image.
  • the image generating method obtains a first captured image generated by performing image signal processing on an image signal obtained by capturing an image of a subject illuminated with an amount of light equal to or less than an upper limit, and a second captured image generated by performing image signal processing on an image signal obtained by capturing an image of the subject illuminated with an amount of light equal to or less than the upper limit, the second captured image being brighter than the first captured image, and generates an estimated image by estimating an image captured of the subject illuminated with an amount of light greater than the upper limit from the first captured image and the second captured image.
  • the endoscope system, image generating device, and image generating method of the present invention can provide sufficiently bright captured images while suppressing temperature rise at the tip of the endoscope, even when capturing still images.
  • FIG. 1 is a diagram showing an endoscope system according to a first embodiment.
  • FIG. 2 is a functional block diagram of the endoscope system.
  • FIG. 2 is a function block diagram of an imaging control unit 21 of the endoscope system.
  • FIG. 2 is a diagram illustrating a hardware configuration of an image generating device of the endoscope system.
  • FIG. 2 is a functional block diagram of the image generating device.
  • 4A and 4B are diagrams illustrating a relationship between a first captured image and a second captured image.
  • FIG. 13 is a diagram illustrating the generation of a trained model of the endoscope system.
  • FIG. 13 is a diagram showing training data used to generate the trained model.
  • 3 is a control flowchart of the endoscope system.
  • FIG. 1 is a diagram showing an endoscope system according to a first embodiment.
  • FIG. 2 is a functional block diagram of the endoscope system.
  • FIG. 2 is a function block diagram of an imaging control unit 21
  • FIG. 13 is a diagram showing a modified example of the trained model.
  • FIG. 13 is a diagram showing another modified example of the trained model.
  • 3A to 3C are diagrams showing moving images generated by the image generating unit of FIG. 13A to 13C are diagrams showing an image generated by an imaging control unit and a still image generated by an image generating unit in an endoscope system according to a second embodiment.
  • 3 is a control flowchart of the endoscope system.
  • FIG. 11 is a functional block diagram of an endoscope system according to a third embodiment.
  • FIG. 2 is a diagram showing an image generating unit of the endoscope system.
  • 13A and 13B are diagrams illustrating a relationship between an image captured with a first special light and an image captured with a second special light.
  • FIG. 13 is a diagram showing a modified example of the trained model of the endoscope system.
  • FIG. 13 is a diagram illustrating the generation of the trained model.
  • FIG. 13 is a diagram showing training data used to generate the trained model.
  • FIG. 13 is a diagram showing an image generating unit of an endoscope system according to a fourth embodiment.
  • FIG. 13 is a diagram illustrating the generation of a trained model of the endoscope system.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 9.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 9.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 9.
  • FIG. 1 An endoscope system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 9.
  • FIG. 1 is a diagram showing an endoscope system 100 .
  • the endoscope system (image generating system) 100 includes an endoscope 1, a control device 2, an image generating device 3, and a display device 4.
  • the control device 2 and the image generating device 3 may be an integrated device (image control device).
  • the display device 4 is a device that displays images generated by the control device 2 and the image generating device 3, various information related to the endoscope system 100, and the like.
  • the endoscope 1 is a device for observing and treating the inside of the body of a patient lying on, for example, an operating table T.
  • the endoscope 1 includes an elongated insertion section 10 that is inserted into the body of the patient, an operating section 18 that is connected to the base end of the insertion section 10, and a universal cord 19 that extends from the operating section 18.
  • the insertion section 10 has a tip section 11, a freely bendable bending section 12, and a long, flexible flexible tube section 13.
  • the tip section 11, the bending section 12, and the flexible tube section 13 are connected in that order from the tip side.
  • the flexible tube section 13 is connected to the operation section 18.
  • FIG. 2 is a functional block diagram of the endoscope system 100.
  • the tip portion 11 has an imaging unit 14 , an illumination unit 15 , and a temperature sensor 17 .
  • the imaging unit 14 has an optical system 141 and an imaging element 142 such as a CCD image sensor or a CMOS image sensor (see FIG. 3).
  • the imaging unit 14 captures an image of a subject based on imaging parameters P transmitted from the imaging control unit 21 via an imaging control cable 143, and generates an imaging signal.
  • the imaging signal is transmitted to the control device 2 via an imaging signal cable 144.
  • the illumination unit (white light illumination unit) 15 irradiates the subject with illumination light (white light) transmitted by the light guide 151.
  • the light guide 151 is connected to the control device 2 by inserting the insertion unit 10, the operation unit 18, and the universal cord 19.
  • the illumination unit 15 may have a light source such as an LED, or an optical element such as a phosphor with a wavelength conversion function.
  • the temperature sensor 17 is a sensor that detects the temperature of the lighting unit 15.
  • the temperature sensor 17 includes, for example, a thermocouple, a thermistor, a temperature resistor, a thermal ferrite, a thermal expansion thermometer, etc.
  • the detected temperature of the lighting unit 15 is acquired by the control device 2.
  • the operation unit 18 accepts operations for the endoscope 1.
  • the operation unit 18 has an ankle knob 181 that controls the bending portion 12, an air/water supply button 182, a suction button 183, a release button 184, and an observation mode switching button 185.
  • Operations input to the air/water supply button 182, the suction button 183, the release button 184, and the observation mode switching button 185 are acquired by the control device 2.
  • the release button 184 is a push button that inputs an operation to save the captured image acquired from the imaging unit 14.
  • the universal cord 19 connects the endoscope 1 and the control device 2.
  • the universal cord 19 is a cable through which the imaging control cable 143, the imaging signal cable 144, the light guide 151, etc. are inserted.
  • the control device 2 is a device that controls the entire endoscope system 100.
  • the control device 2 includes an imaging control unit 21, an illumination control unit 22, a control unit 24, and a recording unit 25.
  • FIG. 3 is a functional block diagram of the imaging control unit 21. As shown in FIG. The imaging control unit 21 performs imaging signal processing based on imaging parameters P on the imaging signal acquired from the imaging unit 14 to generate an imaged image (imaged video) DW .
  • the imaging control unit 21 has an imaging drive unit 211, an analog signal processing unit 212, an AD conversion unit 213, and a digital signal processing unit 214.
  • the imaging driver 211 drives the imaging element 142 of the imaging unit 14 based on the imaging parameter P from the control unit 24.
  • the imaging driver 211 controls the exposure of the imaging element 142.
  • the analog signal processing unit 212 performs analog signal processing, including noise removal and amplification, on the imaging signal acquired from the imaging element of the imaging unit 14 based on the imaging parameters P (analog gain, ISO sensitivity, etc.) from the control unit 24.
  • the AD conversion unit 213 converts the image signal that has been subjected to analog signal processing by the analog signal processing unit 212 into a digital signal (e.g., RAW data) based on instructions from the control unit 24.
  • the digital signal processing unit 214 performs digital signal processing on the digital signal (e.g., RAW data) converted by the AD conversion unit 213 based on the imaging parameter P from the control unit 24 to generate a captured image.
  • the digital signal processing unit 214 performs digital signal processing on the captured image to adjust brightness, contrast, etc. as necessary.
  • the lighting control unit 22 has a light source such as an LED, and controls the light source based on the imaging parameters P (such as light intensity) from the control unit 24 to control the amount of illumination light transmitted to the lighting unit 15 via the light guide 151.
  • a light source such as an LED
  • the imaging parameters P such as light intensity
  • the control unit 24 is a programmable processing circuit (computer) that has a processor and a memory into which a program can be read.
  • the control unit 24 controls the endoscope system 100 by executing an endoscope control program.
  • the control unit 24 may include a dedicated circuit.
  • the dedicated circuit is a processor separate from the processor in the control unit 24, a logic circuit implemented in an ASIC or FPGA, or a combination of these.
  • the control unit 24 controls the imaging control unit 21 and the illumination control unit 22 by specifying operation parameters including the imaging parameter P to the imaging control unit 21 and the illumination control unit 22 to generate the captured image DW .
  • the control unit 24 also instructs the image generation device 3 to generate an image and instructs the display device 4 to display the image.
  • the recording unit 25 is a non-volatile recording medium that stores the above-mentioned programs and necessary data.
  • the recording unit 25 is composed of, for example, a flexible disk, a magneto-optical disk, a writable non-volatile memory such as a ROM or a flash memory, a portable medium such as a CD-ROM, or a storage device such as a hard disk built into a computer system.
  • the recording unit 25 may also be a storage device provided on a cloud server connected to the control device 2 via the Internet.
  • the image generating device 3 is a device that generates a new estimated image EW based on the captured image (captured video) DW output by the imaging control unit 21 of the control device 2, and displays the generated estimated image EW on the display device 4. When there is no need to generate a new estimated image EW , the image generating device 3 displays the captured image output by the imaging control unit 21 of the control device 2 on the display device 4.
  • FIG. 4 is a diagram showing the hardware configuration of the image generating device 3.
  • the image generating device 3 includes a processor 301, a memory 302 capable of reading programs, a storage unit 303, and an input/output control unit 304.
  • the image generating device 3 is a computer capable of executing programs.
  • the functions of the image generating device 3 are realized by the processor 301 executing the programs. At least a part of the functions of the image generating device 3 may be realized by a dedicated logic circuit implemented in an ASIC or an FPGA.
  • the storage unit 303 is a non-volatile recording medium that stores the above-mentioned programs and necessary data.
  • the storage unit 303 is composed of, for example, a ROM or a hard disk.
  • the programs recorded in the storage unit 303 are read into the memory 302 and executed by the processor 301.
  • the input/output control unit 304 is connected to the control device 2, the display device 4, an input device (not shown), and a network device (not shown). Based on the control of the processor 301, the input/output control unit 304 transmits and receives data and control signals to and from the connected devices.
  • the image generating device 3 is not limited to being an integrated hardware device.
  • the image generating device 3 may be configured by separating a portion of it into a separate hardware device and connecting the separated hardware device via a communication line.
  • the image generating device 3 may be a cloud system in which the separated storage unit 303 is connected via a communication line.
  • the image generating device 3 may further include components other than the processor 301, the memory 302, the storage unit 303, and the input/output control unit 304.
  • the image generating device 3 may further include an image calculation unit that performs part or all of the image processing and image recognition processing. By further including the image calculation unit, the image generating device 3 can execute specific image processing and image recognition processing at high speed.
  • the image generating device 3 may further include an inference calculation unit that performs part or all of the inference processing of the estimated image EW described below. By further including the inference calculation unit, the image generating device 3 can execute the inference processing of the estimated image EW at high speed.
  • the image calculation unit and the inference calculation unit may be mounted on separate hardware devices connected via a communication line.
  • FIG. 5 is a functional block diagram of the image generating device 3.
  • the image generating device 3 includes, as functional blocks, an image generating unit 31 , an image display unit 32 , and an image storage unit 33 .
  • the image generation unit 31 generates an estimated image (white light estimated image) EW from the first captured image (first white light captured image) DW1 and the second captured image (second white light captured image) DW2 input from the control device 2 based on the trained model M.
  • FIG. 6 is a diagram showing the relationship between the first captured image DW1 and the second captured image DW2 .
  • the first captured image DW1 is an image of an object illuminated with a light amount equal to or less than the upper limit value U.
  • the second captured image DW2 is an image of an object illuminated with a light amount equal to or less than the upper limit value U, and is an image with increased brightness compared to the first captured image DW1 , although it is accompanied by increased noise due to imaging signal processing based on the imaging parameter P (analog signal processing by the analog signal processing unit 212 and/or digital signal processing by the digital signal processing unit 214).
  • the "brightness of the captured image” refers to, for example, “brightness", “luminance”, and “luminosity”.
  • the brightness of the first captured image DW1 is also referred to as "first brightness B1”
  • the brightness of the second captured image DW2 is also referred to as "second brightness B2”.
  • the first captured image DW1 and the second captured image DW2 are captured images of a subject illuminated with approximately the same amount of light. Note that the first captured image DW1 and the second captured image DW2 do not necessarily have to be captured images of a subject illuminated with approximately the same amount of light.
  • the first captured image DW1 and the second captured image DW2 are captured images of a subject illuminated with an amount of light that is equal to or less than the upper limit value U and as close as possible to the upper limit value U.
  • the first captured image DW1 and the second captured image DW2 become brighter and have less noise.
  • the estimation accuracy of the estimated image EW can be improved.
  • the estimation accuracy of the estimated image EW can be efficiently improved.
  • the second captured image DW2 is captured after a period T1 has elapsed since the first captured image DW1 was captured. Since the period T1 is very short, the first captured image DW1 and the second captured image DW2 capture substantially the same subject. The order in which the first captured image DW1 and the second captured image DW2 are captured does not matter.
  • the first captured image DW1 and the second captured image DW2 are input to the trained model M.
  • the difference between the information included in the first captured image DW1 and the information included in the second captured image DW2 is large. Therefore, it is desirable that the imaging parameters P for generating the first captured image DW1 and the imaging parameters P for generating the second captured image DW2 are more different from each other.
  • the image signal processing includes, for example, amplification of an analog signal or amplification of a digital signal.
  • the gain of the image capturing parameters P for generating the second captured image DW2 is greater than the gain of the image capturing parameters P for generating the first captured image DW1 .
  • amplification of an analog signal is more suitable than amplification of a digital signal. This is because amplification of a digital signal is performed after AD conversion, in which part of the information of the imaging signal is lost, and is therefore disadvantageous in terms of increasing the difference between the information contained in the first captured image DW1 and the information contained in the second captured image DW2 .
  • amplification of a digital signal is more suitable than amplification of an analog signal in order to perform diverse and flexible imaging signal processing.
  • imaging signal processing based on gains of two types of imaging parameters P can be performed on one type of imaging signal acquired from the imaging unit 14 to generate the first captured image DW1 and the second captured image DW2 .
  • the estimated image EW is an image generated based on the trained model M from the first captured image DW1 and the second captured image DW2 , and is an estimate of an image captured of a subject illuminated with an amount of light greater than the upper limit value U.
  • the image display unit 32 outputs the estimated image EW generated by the image generating unit 31 to the display device 4 and displays it on the display device 4 .
  • the image storage unit 33 records the estimated image EW generated by the image generation unit 31. If there is no need to record the estimated image EW , the image storage unit 33 is not necessary.
  • the trained model M is a machine learning model that learns the relationship between an input image and an output image, and is a machine learning model suitable for image generation, such as a neural network, a simple perceptron, or a multilayer perceptron.
  • the trained model M is generated by prior supervised learning based on teacher data.
  • the trained model M may be generated by the image generation device 3, or may be generated by using another computer with a higher computing power than the image generation device 3.
  • FIG. 7 is a diagram illustrating the generation of the trained model M.
  • the teacher data is a set of images including a first learning image DTW1 , a second learning image DTW2 , and a third learning image DTW3 . It is desirable for the teacher data to include as many images as possible captured under a variety of conditions.
  • the trained model M generates an estimated image EW based on the input first captured image for learning DTW1 and second captured image for learning DTW2 .
  • the trained model M trains parameters of the trained model M so that the difference between the estimated image EW to be output and the third captured image for learning DTW3 becomes small.
  • FIG. 8 is a diagram showing training data used to generate the trained model M.
  • the learning first captured image DTW1 is a first captured image DW1 prepared for learning
  • the learning second captured image DTW2 is a second captured image DW2 prepared for learning.
  • the third learning image DTW3 is an image obtained by actually capturing an image of a subject illuminated with a light amount greater than the upper limit value U.
  • the third learning image DTW3 is an image in which noise generated by imaging signal processing based on imaging parameters P (analog signal processing by the analog signal processing unit 212 and/or digital signal processing by the digital signal processing unit 214) is comparable to noise generated by imaging signal processing in the first learning image DTW1 .
  • the third learning image DTW3 is an image in which the imaging parameters P other than the light amount are substantially the same as the imaging parameters P of the first learning image DTW1 .
  • the third learning image DTW3 is an image captured after a period T2 has elapsed since the first learning image DTW1 and the second learning image DTW2 were captured. Since the period T2 is very short, the subjects captured in the first learning image DTW1 , the second learning image DTW2 , and the third learning image DTW3 are in substantially the same state. The order in which the first learning image DTW1 , the second learning image DTW2 , and the third learning image DTW3 are captured does not matter.
  • the first learning image DTW1 , the second learning image DTW2 , and the third learning image DTW3 may be images of a stationary subject. In this case, the subjects captured in the first learning image DTW1 , the second learning image DTW2 , and the third learning image DTW3 are in the same state.
  • the brightness of the first captured image DTW1 for learning and the brightness of the second captured image DTW2 for learning are substantially equal to the first brightness B1 and the second brightness B2, because this allows the trained model M to easily and efficiently learn the relationship between the first captured image DW1 and the second captured image DW2 .
  • the second captured image for learning DTW2 is an image captured approximately a period T1 after the first captured image for learning DTW1 is captured, because this allows the trained model M to easily and efficiently learn the relationship between the first captured image DW1 and the second captured image DW2 .
  • a trained model M is generated by previously learning by machine learning the relationship between the first captured image DW1 and the second captured image DW2 and the estimated image EW through supervised learning using the above-mentioned teacher data.
  • the noise contained in the estimated image EW output by the trained model M to which the first captured image DW1 and the second captured image DW2 are input is about the same as the noise generated in the first captured image DW1 by image signal processing.
  • Step S110 Imaging parameter adjustment process>
  • the control unit 24 of the control device 2 calculates optimal imaging parameters P (including light amount and analog gain) for imaging the subject based on the captured image captured by the imaging control unit.
  • a known imaging adjustment technique is used to calculate the optimal imaging parameters P.
  • the endoscope system 100 then executes step S120.
  • Step S120 Light amount determination process>
  • the control unit 24 of the control device 2 determines whether the calculated light amount exceeds the upper limit value U. If the calculated light amount exceeds the upper limit value U, the control unit 24 of the control device 2 next executes step S130. If the calculated light amount is equal to or less than the upper limit value U, the endoscope system 100 next executes step S160.
  • the upper limit value U is not a fixed value, but may be a value that varies based on the temperature of the illumination unit 15 acquired by the temperature sensor 17 of the endoscope 1. For example, if the temperature of the illumination unit 15 is lower than a predetermined temperature, the control unit 24 may increase the upper limit value U. Also, if the temperature of the illumination unit 15 is higher than the predetermined temperature, the control unit 24 may decrease the upper limit value U. Note that, if the endoscope 1 does not have a temperature sensor 17, the control unit 24 may use a temperature estimated from the accumulated light amount obtained by multiplying the light amount and the light emission time.
  • Step S130 First captured image generating process>
  • the control unit 24 of the control device 2 sets the light amount of the imaging parameter P to be equal to or less than the upper limit value U, and generates the first captured image DW1 .
  • the endoscope system 100 then executes step S140.
  • Step S140 Second captured image generating process>
  • the control unit 24 of the control device 2 changes the imaging parameters P other than the light amount to generate a second captured image DW2 that is brighter but has increased noise compared to the first captured image DW1 .
  • the control unit 24 increases the analog gain of the imaging parameter P to generate the second captured image DW2 .
  • the control unit 24 of the control device 2 generates the second captured image DW2 after a period T1 has elapsed since capturing the first captured image DW1 .
  • the endoscope system 100 then executes step S150.
  • Step S150 Estimated image generation process>
  • the image generating unit 31 of the image generating device 3 generates an estimated image EW from the first captured image DW1 and the second captured image DW2 input from the imaging control unit 21 of the control device 2 based on the trained model M.
  • the image storage unit 33 records the estimated image EW as necessary.
  • the endoscope system 100 then executes step S170.
  • Step S160 First captured image generating process>
  • the control unit 24 and the imaging control unit 21 of the control device 2 generate a first captured image DW1 . Since the light amount calculated in step S110 is equal to or less than the upper limit value U, the control unit 24 of the control device 2 sets the light amount to the calculated light amount and generates the first captured image DW1 .
  • the endoscope system 100 then executes step S170.
  • Step S170 Image display process>
  • the image display unit 32 of the image generating device 3 displays the estimated image EW generated in step S150 or the first captured image DW1 captured in step S160 on the display device 4.
  • the endoscope system 100 then executes step S180.
  • step S180 the control unit 24 of the control device 2 determines whether or not the release button 184 has been pressed by the surgeon or the like. If the release button 184 has been pressed, the control unit 24 of the control device 2 performs step S110 again.
  • the endoscope system 100 of this embodiment even when a still image is acquired, a sufficiently bright captured image can be provided while suppressing a temperature rise of the tip 11 of the endoscope 1.
  • the endoscope system 100 uses only the first captured image DW1 and the second captured image DW2 captured of an object illuminated with a light amount equal to or less than the upper limit U, the amount of illumination light irradiated from the illumination unit 15 can be suppressed to the upper limit U or less, and the temperature of the tip 11 of the endoscope 1 can be suppressed to a predetermined temperature or less.
  • the image generating device 3 of the endoscope system 100 can infer an estimated image EW that estimates an image captured of an object illuminated with a light amount greater than the upper limit U from the first captured image DW1 and the second captured image DW2 captured of an object illuminated with a light amount equal to or less than the upper limit U. That is, the endoscope system 100 can present to the user an estimated image EW that is brighter than the first captured image DW1 and contains noise equivalent to that generated by image signal processing in the first captured image DW1 while suppressing the amount of illumination light irradiated from the illumination unit 15 to the upper limit U or less.
  • FIG. 10 is a diagram showing a trained model M1, which is a modified example of the trained model M.
  • the trained model M1 uses at least a part of the imaging parameters P (e.g., analog gain) as input data.
  • the trained model M1 further has, as inputs, a first imaging parameter PW1 which is the imaging parameter P when the first captured image DW1 is captured, and a second imaging parameter PW2 which is the imaging parameter P when the second captured image DW2 is captured.
  • the imaging parameters P are also added as inputs to teacher data used for training the trained model M1.
  • FIG. 11 is a diagram showing a trained model M2, which is another modified example of the trained model M.
  • the trained model M2 uses the additional auxiliary captured image as input data.
  • the trained model M2 further has as inputs a first auxiliary captured image S W1 captured immediately after capturing the first captured image D W1 with the amount of light set to zero without changing the imaging parameters P other than the amount of light, and a second auxiliary captured image S W2 captured immediately after capturing the second captured image D W2 with the amount of light set to zero without changing the imaging parameters P other than the amount of light.
  • an estimated image E W that is less susceptible to the pattern noise of the imaging element 142 of the imaging unit 14 can be generated.
  • the estimated image E W can be generated with higher accuracy by adding the auxiliary captured image captured with the amount of light set to zero as an input.
  • the auxiliary captured image is also added as an input to the teacher data used for learning the trained model M2.
  • FIG. 12 is a diagram showing a moving image (continuous estimated images EW ) generated by the image generating unit 31.
  • the endoscope system 100 generates one estimated image EW by executing a series of steps from step S110 to step S170, and generates a moving image (continuous estimated images EW ) by repeatedly executing the series of steps. It is desirable that the endoscope system 100 has a processing performance for generating the estimated images EW at, for example, 30 FPS in order to generate a smooth moving image.
  • the endoscope system 100 adjusts the amount of light in step S110 every time an estimated image EW is generated. Therefore, the amount of light fluctuates during generation of a moving image. It is desirable that the amount of light is equal to or less than the upper limit value U and close to the upper limit value U, but it may be set to a value lower than the upper limit value U based on the adjustment result in step S110. Note that the generation sequence of a moving image shown in FIG. 12 is a generation sequence of a moving image when the amount of light calculated in step S120 exceeds the upper limit value U.
  • the endoscope system 100 When the amount of light calculated during generation of a moving image is equal to or less than the upper limit value U, the endoscope system 100 generates a first captured image DW1 in step S160, and the generated first captured image DW1 is set as one frame of the moving image.
  • the endoscopic system 100 can present to the user a moving image including a series of estimated images EW, which are brighter than the first captured image DW1 and contain noise equivalent to that generated by image signal processing in the first captured image DW1 , while keeping the amount of illumination light irradiated from the illumination unit 15 below an upper limit value U.
  • the illumination unit irradiates the subject with white light, but the illumination light irradiated by the illumination unit is not limited to this.
  • the illumination unit may irradiate the subject with special light, which will be described later.
  • FIG. 13 A second embodiment of the present invention will be described with reference to Fig. 13 and Fig. 14.
  • An endoscope system 100B according to the second embodiment differs from the endoscope system 100 according to the first embodiment only in the control flow.
  • components common to those already described will be denoted by the same reference numerals, and duplicated description will be omitted.
  • the endoscope system 100B displays captured video (moving images) on the display device 4, and generates a captured image (still image) when the control unit 24 of the control device 2 detects the operator pressing (ON) the release button 184.
  • Fig. 13 is a diagram showing a captured image generated by the imaging control unit 21 and a still image (estimated image E W ) generated by the image generation unit 31. The description will be given along with the control flowchart of the endoscope system 100B shown in Fig. 14. When the endoscope system 100B is started up, the endoscope system 100B executes step S210.
  • Step S210 Video Generation Process>
  • the control unit 24 of the control device 2 calculates optimal imaging parameters P (including light amount and analog gain) for imaging the subject, and continuously generates second captured images DW2 .
  • the control unit 24 of the control device 2 generates second captured images DW2 at 30 FPS.
  • the control unit 24 of the control device 2 adjusts the light amount within a range equal to or less than an upper limit value U.
  • the control unit 24 of the control device 2 causes the display device 4 to display the continuously generated second captured images DW2 as captured video (moving image).
  • Step S220 Release Detection Process>
  • the control unit 24 of the control device 2 detects a pressing operation of the release button 184.
  • the control unit 24 of the control device 2 continues step S210 unless a pressing operation of the release button 184 is detected.
  • the endoscope system 100B next executes step S230.
  • Step S230 First captured image generating process>
  • the control unit 24 of the control device 2 sets the light amount of the imaging parameter P to be equal to or less than the upper limit value U, as in step S130 of the first embodiment, and generates a first captured image DW1 .
  • the control unit 24 temporarily reduces the analog gain of the imaging parameter P to generate the first captured image DW1 .
  • control unit 24 After generating one first captured image DW1 , the control unit 24 causes the imaging control unit 21 to continuously generate second captured images DW2 , and causes the display device 4 to display the continuously generated second captured images DW2 as captured video (moving images).
  • the endoscope system 100B then executes step S240.
  • Step S240 Estimated image generation process>
  • the image generating unit 31 of the image generating device 3 generates an estimated image EW from the first captured image DW1 generated in step S230 and the second captured image DW2 generated before and after the generation of the first captured image DW1 , based on the trained model M.
  • the image storage unit 33 records the estimated image EW as necessary.
  • the endoscope system 100B then executes step S250.
  • Step S250 Image display process>
  • the image display unit 32 of the image generating device 3 displays the estimated image EW generated in step S240 on the display device 4.
  • the image display unit 32 of the image generating device 3 may simultaneously display the second captured image DW2 displayed as a moving image and the estimated image EW on the display device 4. Furthermore, the image display unit 32 of the image generating device 3 may display the estimated image EW on the display device 4 only for a predetermined period of time, replacing the second captured image DW2 displayed as a moving image.
  • the endoscope system 100 then executes step S260.
  • Step S260 End Determination Process> The control unit 24 of the control device 2 determines whether to end the moving image display in step S180. If the moving image display is not to be ended, the control unit 24 of the control device 2 executes step S210 again.
  • the endoscope system 100B may generate the estimated images EW successively, as in the third modification, and generate a moving image having the successive estimated images EW as frames.
  • the endoscope system 100B can provide a sufficiently bright captured image (still image) while suppressing the temperature rise of the tip 11 of the endoscope 1, even when a still image is captured in the middle of acquiring a captured video (moving image).
  • the endoscope system 100B generates an estimated image EW as a captured image (still image) using the continuously generated second captured image DW2 as a captured video (moving image) and one first captured image DW1 generated in response to a pressing operation of the release button 184.
  • the manner of generating the captured video (moving image) and the still image is not limited to this.
  • the endoscope system 100B may generate an estimated image EW as a captured image (still image) using the continuously generated first captured image DW1 as a captured video (moving image) and one second captured image DW2 generated in response to a pressing operation of the release button 184.
  • the endoscope system 100C according to the third embodiment can use two types of observation modes.
  • components common to those already described will be denoted by the same reference numerals, and duplicated description will be omitted.
  • FIG. 15 is a functional block diagram of an endoscope system 100C.
  • the endoscope system 100C includes an endoscope 1C, a control device 2C, an image generating device 3C, and a display device 4.
  • the endoscope 1C is the same as the endoscope 1 of the first embodiment except for the tip portion 11C.
  • the tip portion 11C of the endoscope 1C has an imaging section 14, an illumination section 15, a special light illumination section 16, and a temperature sensor 17.
  • the special light illumination unit 16 illuminates the subject with special light used in NBI (registered trademark, Narrow Band Imaging) and RDI (registered trademark, Red Dichromatic Imaging).
  • NBI registered trademark, Narrow Band Imaging
  • RDI registered trademark, Red Dichromatic Imaging
  • the special light illuminated by the special light illumination unit 16 is light with a different wavelength range from white light.
  • the special light used in NBI is light with two narrow wavelength ranges: blue (wavelengths of 390 to 445 nm) and green (wavelengths of 530 to 550 nm).
  • the special light used in RDI is light with three narrow wavelength ranges: red, amber, and green.
  • the control device 2C is a device that controls the entire endoscope system 100C.
  • the control device 2C includes an imaging control unit 21C, an illumination control unit 22, a special light illumination control unit 23, a control unit 24C, and a recording unit 25.
  • the imaging control unit 21C has the same functions as the imaging control unit 21 of the first embodiment, and can further perform imaging signal processing based on imaging parameters P on an imaging signal obtained by imaging a subject illuminated with special light, to generate a special light imaging image (special light imaging video) D S.
  • the special light illumination control unit 23 controls the light source of the special light based on the imaging parameters P (such as the amount of special light) from the control unit 24, and controls the amount of special light transmitted to the special light illumination unit 16.
  • the control unit 24C has the same functions as the control unit 24 in the first embodiment, and can further switch between two types of observation modes (white light observation mode and special light observation mode) based on an operation input to the observation mode switching button 185, etc.
  • the control unit 24C In the white light observation mode, the control unit 24C generates an image (white light captured image) DW from an imaging signal obtained by capturing an image of a subject illuminated with white light from the illumination unit 15.
  • the control unit 24C In the special light observation mode, the control unit 24C generates a special light captured image DS from an imaging signal obtained by capturing an image of a subject illuminated with special light from the special light illumination unit 16.
  • the image generating device 3C has the following functional blocks: an image generating unit 31C, an image display unit 32, and an image storage unit 33.
  • FIG. 16 is a diagram showing the image generating unit 31C.
  • the image generator 31C generates an estimated image EW from the first captured image DW1 , the second captured image DW2 , the first special light captured image DS1 and the second special light captured image DS2 input from the control device 2C based on the trained model MC .
  • the first special light captured image D S1 is a special light captured image captured of a subject illuminated with special light with an amount of special light not greater than the upper limit U.
  • the second special light captured image D S2 is a special light captured image captured of a subject illuminated with special light with an amount of special light not greater than the upper limit U, and is a special light captured image that, compared to the first special light captured image D S1 , is brighter but with increased noise due to imaging signal processing based on the imaging parameter P (analog signal processing by the analog signal processing unit 212 and/or digital signal processing by the digital signal processing unit 214).
  • the first special light captured image D S1 and the second special light captured image D S2 are captured images of a subject illuminated with an amount of light that is equal to or less than the upper limit U and as close as possible to the upper limit U.
  • the first special light captured image D S1 and the second special light captured image D S2 become brighter and have less noise.
  • the estimation accuracy of the estimated image E W can be improved.
  • the estimation accuracy of the estimated image E W can be efficiently improved.
  • the first special light captured image DS1 is a special light captured image captured a period T3 after the first captured image DW1 . Because the period T3 is very short, the subject captured in the first special light captured image DW1 and the first special light captured image DS1 are in substantially the same state. The order in which the first special light captured image DW1 and the first special light captured image DS1 are captured does not matter.
  • the second special light captured image D S2 is a special light captured image captured a period T4 after the second special light captured image D W2 was captured. Because the period T4 is very short, the subject captured in the second special light captured image D W2 and the second special light captured image D S2 are in substantially the same state. The order in which the second special light captured image D W2 and the second special light captured image D S2 are captured does not matter.
  • the trained model MC further has, as inputs, a first special light captured image D S1 and a second special light captured image D S2 .
  • the special light captured images are also added as inputs to the teacher data used for training the trained model MC.
  • the endoscopic system 100C When the control unit 24C of the control device 2C detects the surgeon pressing the release button 184, the endoscopic system 100C generates a first captured image DW1 , a second captured image DW2 , a first special light captured image DS1 and a second special light captured image DS2 , and generates an estimated image EW from these four captured images.
  • the endoscope system 100C may continuously generate estimated images EW and generate a moving image having the continuous estimated images EW as frames. Also, as in the second embodiment, the endoscope system 100C may use the continuously generated second captured image DW2 as a captured video (moving image) and generate an estimated image EW as a captured image (still image) using the first captured image DW1 , the first special light captured image DS1 and the second special light captured image DS2 generated in response to the pressing operation of the release button 184 .
  • the endoscope system 100C of this embodiment while keeping the amount of illumination light irradiated from the illumination unit 15 and the special light illumination unit 16 below the upper limit value U, it is possible to present to the user an estimated image EW that is brighter than the first captured image DW1 and contains noise that is comparable to the noise generated in the first captured image DW1 by image signal processing.
  • a special light captured image obtained from an imaging signal capturing an image of a subject illuminated with special light is added as an input to the trained model MC. Since the two types of captured images captured by capturing an image of a subject illuminated with two types of illumination light (white light and special light) have different characteristics, the estimation accuracy of the estimated image EW by the image generator 31C can be suitably improved.
  • FIG. 18 is a diagram showing a trained model MC1, which is a modified example of the trained model MC.
  • the trained model MC1 outputs a special light estimated image E S.
  • the special light estimated image E S is an image that is brighter than the first special light captured image D S1 and contains noise that is comparable to the noise generated by image signal processing in the first special light captured image D S1 .
  • the trained model MC1 may output both the estimated image E W and the special light estimated image E S.
  • FIG. 19 is a diagram illustrating the generation of the trained model MC1.
  • the teacher data is a group of images including a first learning image DTW1 , a first special light learning image DTS1 , a second learning image DTW2 , a second special light learning image DTS2 , and a third special light learning image DTS3 .
  • FIG. 20 is a diagram showing training data used to generate the trained model MC1.
  • the first special light captured image for learning DTS1 is the first special light captured image DTS1 prepared for learning purposes
  • the second special light captured image for learning DTS2 is the second special light captured image DTS2 prepared for learning purposes.
  • the third special light learning image DTS3 is an image actually captured of a subject illuminated with special light with an amount of special light greater than the upper limit U.
  • the third special light learning image DTS3 is an image in which noise generated by imaging signal processing based on imaging parameter P (analog signal processing by the analog signal processing unit 212 and/or digital signal processing by the digital signal processing unit 214) is comparable to the noise generated by imaging signal processing in the first special light learning image DTS1 .
  • the third special light learning image DTS3 is an image in which the imaging parameters P other than the amount of light are substantially the same as the imaging parameters P of the first special light learning image DTS1 .
  • the endoscope 1C has two types of observation modes. If the endoscope 1C has three or more types of observation modes, the trained model MC may be capable of inputting three or more types of captured images.
  • FIG. 21 A fourth embodiment of the present invention will be described with reference to Fig. 21 and Fig. 22.
  • the endoscope system 100D according to the fourth embodiment can use two types of observation modes, similar to the endoscope system 100C according to the third embodiment.
  • components common to those already described will be denoted by the same reference numerals, and duplicated description will be omitted.
  • the endoscope system 100D has an image generating unit 31D instead of the image generating unit 31C.
  • FIG. 21 is a diagram showing the image generating unit 31D.
  • the image generator 31D generates a special light estimated image E S from the first special light captured image D S1 and the second special light captured image D W2 input from the control device 2C based on the trained model MD.
  • FIG. 22 is a diagram illustrating the generation of the trained model MD.
  • the training data is a set of images including a first special light image for learning DTS1 , a second special light image for learning DTW2 , and a third special light image for learning DTS3 . It is desirable for the training data to include as many images as possible captured under a variety of conditions.
  • the trained model MD generates a special light estimated image E S based on the input first special light captured image D TS1 and second special light captured image D TW2 for training.
  • the trained model MD trains parameters of the trained model MD so that the difference between the output special light estimated image E S and the output third special light captured image D TS3 for training is small.
  • the third special light learning image DTS3 is an image captured a period T5 after the first special light learning image DTS1 and the second special light learning image DTW2 are captured. Because the period T5 is very short, the first special light learning image DTS1 , the second special light learning image DTW2 , and the third special light learning image DTS3 capture subjects in substantially the same state. The order in which the first special light learning image DTS1 , the second special light learning image DTW2 , and the third special light learning image DTS3 are captured does not matter.
  • the endoscope system 100D When the control unit 24C of the control device 2C detects the operator pressing the release button 184, the endoscope system 100D generates a first special light captured image D S1 and a second captured image D W2 , and generates a special light estimated image E S from these two captured images.
  • the endoscope system 100D may generate special light estimated images E S continuously and generate a moving image having the continuous special light estimated images E S as frames, as in Modification 3.
  • the endoscope system 100D may also generate special light estimated images E S as captured images (moving images) using the continuously generated second captured images DW2 , as in the second embodiment, and generate special light estimated images E S as captured images (still images) using the first special light captured images D S1 generated in response to the pressing operation of the release button 184.
  • the endoscope system 100D can present to a user a special light estimated image E S that is brighter than the first special light captured image D S1 and contains noise comparable to that generated by image signal processing in the first special light captured image D S1 , while keeping the amount of illumination light irradiated from the illumination unit 15 and the special light illumination unit 16 below the upper limit U.
  • the endoscope system 100D requires fewer captured images to generate an estimated image compared to the endoscope system 100C of the third embodiment. This allows for a higher frame rate when generating a moving image using estimated images as frames, as in Modification 3.
  • the special light captured image may be darker than the white light captured image depending on the type of special light.
  • the special light captured image acquired by NBI is darker than the white light captured image.
  • the special light used in NBI is more easily absorbed by the subject, that is, human tissue, than white light, and is less likely to be reflected by the human tissue. Therefore, when the irradiated light intensity is the same, the light intensity received by the image sensor 142 is weaker when the subject is irradiated with special light than when the subject is irradiated with white light.
  • the endoscope system 100D can generate and provide a special light estimated image E S brighter than the first special light captured image D S1 from the first special light captured image D S1 and the second captured image D W2 .
  • the imaging section 14 that generates an imaging signal is provided in the endoscope 1, and the image generating device 3, 3C generates an estimated image E based on an image acquired from the imaging section 14 of the endoscope 1.
  • the source of the imaging signal of the image generating device is not limited to the endoscope 1.
  • the image generating device may generate an estimated image E based on an image acquired from another imaging device, such as a camera, a video camera, an industrial endoscope, a microscope, a robot having an image recognition function, or a mobile device such as a smartphone, a mobile phone, a smartwatch, a tablet terminal, or a notebook PC.
  • LEDs are exemplified as light sources provided in the illumination unit 15 and the illumination control unit 22, but the light source is not limited to LEDs.
  • the light source may be a laser light source including a laser diode, an organic electroluminescence (EL), a light bulb such as a xenon or halogen bulb, a combination of these, or a combination of these with an optical element such as a phosphor having a wavelength conversion function.
  • EL organic electroluminescence
  • a light bulb such as a xenon or halogen bulb
  • an optical element such as a phosphor having a wavelength conversion function.
  • the imaging parameter P is the amount of light and the gain, but the imaging parameter P is not limited to these.
  • the imaging parameter P may be a spectral distribution, an aperture value (F value), a shutter speed, a frame rate of a moving image, an optical magnification, a digital magnification, a gradation, a pixel size, a resolution (DPI), etc., in a process in which an imaged image (imaged video) is generated in the imaging control unit 21 from an imaging signal captured by the imaging element 142.
  • the imaging parameter P may also include an organ type (esophagus, stomach, duodenum, etc.) of the subject. Note that the organ type may be determined from the captured image by a model such as a machine learning model, may be determined from the insertion distance of the tip portion 11 of the endoscope 1 into the body, or may be input to the image generating device 3 by the surgeon.
  • the programs in each embodiment and each modified example thereof may be recorded on a computer-readable recording medium, and the programs recorded on the recording medium may be read into a computer system and executed.
  • the term "computer system” includes hardware such as an OS and peripheral devices.
  • the term "computer-readable recording medium” refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into a computer system.
  • the term "computer-readable recording medium” may also include devices that dynamically hold a program for a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, or devices that hold a program for a certain period of time, such as a volatile memory inside a computer system that is a server or client in such a case.
  • the above-mentioned program may be for realizing part of the above-mentioned functions, or may be capable of realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • Endoscope system image generating system
  • Endoscope 14 Imaging unit 15 Illumination unit (white light illumination unit)
  • Special light illumination unit 17 Temperature sensor 2
  • Image generating device 4 Display device P Imaging parameter U Upper limit value D W1 First captured image (first white light captured image)
  • D W2 second captured image second white light captured image
  • EW estimated image white light estimated image
  • D S1 First captured image first special light captured image
  • D S2 Second captured image second special light captured image
  • ES estimated image special light estimated image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システムは、被写体に照明光を照射する照明部と前記被写体を撮像する撮像部とを有する内視鏡と、前記撮像部から取得した撮像信号に対して撮像パラメータに基づいた撮像信号処理を実施して撮像画像を生成する制御装置と、画像生成装置と、を備え、前記制御装置は、上限値以下の光量で照明した前記被写体を撮像した前記撮像画像である第一撮像画像と、前記上限値以下の光量で照明した前記被写体を撮像した前記撮像画像であって、前記第一撮像画像よりも明るい第二撮像画像と、を生成し、前記画像生成装置は、前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する。

Description

内視鏡システム、画像生成装置および画像生成方法
　本発明は、内視鏡システム、画像生成装置および画像生成方法に関する。
　内視鏡システムは、先端部において照明部と撮像部とが設けられており、照明部から被写体に照明光を照射して撮像部により被写体を撮像する。撮像された撮像画像は、被写体を詳細に視認できるように十分に明るいことが望ましい。
　照明部から照射する照明光の光量を増やして撮像画像を十分に明るくする場合、先端部の温度が許容範囲を超えないように、照明光の光量の上限値が定められる。一方、ゲイン調整などの撮像信号処理により撮像画像を十分に明るくする場合、撮像信号処理に起因するノイズが許容範囲を超えて発生する可能性がある。
　特許文献１には、静止画取得時を除き照明光の発光量を上限値に抑え、内視鏡先端部の温度上昇を抑える内視鏡システムが記載されている。
日本国特開２０２０－１１６１４７号公報
　しかしながら、特許文献１に記載の内視鏡システムは、静止画取得時においては依然として内視鏡先端部の温度が許容範囲を超えてしまう可能性がある。
　上記事情を踏まえ、本発明は、静止画取得時であっても、内視鏡先端部の温度上昇を抑えつつ、十分に明るい撮像画像を提供できる内視鏡システム、画像生成装置および画像生成方法を提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係る内視鏡システムは、被写体に照明光を照射する照明部と前記被写体を撮像する撮像部とを有する内視鏡と、前記撮像部から取得した撮像信号に対して撮像パラメータに基づいた撮像信号処理を実施して撮像画像を生成する制御装置と、画像生成装置と、を備え、前記制御装置は、上限値以下の光量で照明した前記被写体を撮像した前記撮像画像である第一撮像画像と、前記上限値以下の光量で照明した前記被写体を撮像した前記撮像画像であって、前記第一撮像画像よりも明るい第二撮像画像と、を生成し、前記画像生成装置は、前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する。
　本発明の第二の態様に係る画像生成装置は、被写体を撮像する撮像部から取得した撮像信号に対して撮像パラメータに基づいた撮像信号処理を実施して生成した撮像画像を取得する画像生成装置であって、上限値以下の光量で照明した前記被写体を撮像された第一撮像画像と、前記上限値以下の光量で照明した前記被写体を撮像され、前記第一撮像画像よりも明るい第二撮像画像と、を取得して前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する。
　本発明の第三の態様に係る画像生成方法は、上限値以下の光量で照明した被写体を撮像した撮像信号に対して撮像信号処理を実施して生成した第一撮像画像と、前記上限値以下の光量で照明した前記被写体を撮像した撮像信号に対して撮像信号処理を実施して生成した画像であって、前記第一撮像画像よりも明るい第二撮像画像と、を取得し、前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する。
　本発明の内視鏡システム、画像生成装置および画像生成方法によれば、静止画取得時であっても、内視鏡先端部の温度上昇を抑えつつ、十分に明るい撮像画像を提供できる。
第一実施形態に係る内視鏡システムを示す図である。 同内視鏡システムの機能ブロック図である。 同内視鏡システムの撮像制御部２１の機能ブック図である。 同内視鏡システムの画像生成装置のハードウェア構成を示す図である。 同画像生成装置の機能ブロック図である。 第一撮像画像と第二撮像画像との関係を示す図である。 同内視鏡システムの学習済みモデルの生成を説明する図である。 同学習済みモデルの生成に用いる教師データを示す図である。 同内視鏡システムの制御フローチャートである。 同学習済みモデルの変形例を示す図である。 同学習済みモデルの他の変形例を示す図である。 同画像生成部が生成する動画像を示す図である。 第二実施形態に係る内視鏡システムにおける撮像制御部が生成する撮像画像と画像生成部が生成する静止画とを示す図である。 同内視鏡システムの制御フローチャートである。 第三実施形態に係る内視鏡システムの機能ブロック図である。 同内視鏡システムの画像生成部を示す図である。 第一特殊光撮像画像と第二特殊光撮像画像との関係を示す図である。 同内視鏡システムの学習済みモデルの変形例を示す図である。 同学習済みモデルの生成を説明する図である。 同学習済みモデルの生成に用いる教師データを示す図である。 第四実施形態に係る内視鏡システムの画像生成部を示す図である。 同内視鏡システムの学習済みモデルの生成を説明する図である。
（第一実施形態）
　本発明の第一実施形態に係る内視鏡システム１００について、図１から図９を参照して説明する。
[内視鏡システム１００]
　図１は、内視鏡システム１００を示す図である。
　内視鏡システム（画像生成システム）１００は、内視鏡１と、制御装置２と、画像生成装置３と、表示装置４と、を備える。制御装置２と画像生成装置３とは、一体の装置（画像制御装置）であってもよい。表示装置４は、制御装置２や画像生成装置３により生成された画像や、内視鏡システム１００に関する各種情報等を表示する装置である。
［内視鏡１］
　内視鏡１は、例えば手術台Ｔに横たわる患者の体内を観察および処置する装置である。内視鏡１は、患者の体内に挿入される細長い挿入部１０と、挿入部１０の基端に接続された操作部１８と、操作部１８から延出するユニバーサルコード１９と、を備える。
　挿入部１０は、先端部１１と、湾曲自在な湾曲部１２と、長尺で可撓性を有する可撓管部１３と、を有する。先端部１１と、湾曲部１２と、可撓管部１３と、は先端側から順に接続されている。可撓管部１３は、操作部１８に接続されている。
　図２は、内視鏡システム１００の機能ブロック図である。
　先端部１１は、撮像部１４と、照明部１５と、温度センサ１７と、を有する。
　撮像部１４は、光学系１４１と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１４２と、を有する（図３参照）。撮像部１４は、撮像制御ケーブル１４３を経由して撮像制御部２１から伝送された撮像パラメータＰに基づいて被写体を撮像して撮像信号を生成する。撮像信号は、撮像信号ケーブル１４４を経由して制御装置２に送信される。
　照明部（白色光照明部）１５は、ライドガイド１５１によって伝送された照明光（白色光）を被写体に照射する。ライドガイド１５１は、挿入部１０、操作部１８およびユニバーサルコード１９を挿通して、制御装置２と接続される。なお、照明部１５はＬＥＤなどの光源や波長変換機能を有する蛍光体等の光学素子等を有していてもよい。
　温度センサ１７は、照明部１５の温度を検出するセンサである。温度センサ１７は、例えば、熱電対、サーミスタ、温度抵抗体、温感フェライト、熱膨張型温度計等を含む。検出された照明部１５の温度は、制御装置２によって取得される。
　操作部１８は、内視鏡１に対する操作を受け付ける。操作部１８は、湾曲部１２を制御するアンクルノブ１８１と、送気送水ボタン１８２と、吸引ボタン１８３と、レリーズボタン１８４と、観察モード切替ボタン１８５と、を有する。送気送水ボタン１８２、吸引ボタン１８３、レリーズボタン１８４、および観察モード切替ボタン１８５に入力された操作は、制御装置２によって取得される。レリーズボタン１８４は、撮像部１４から取得した撮像画像を保存する操作が入力される押しボタンである。
　ユニバーサルコード１９は、内視鏡１と制御装置２とを接続する。ユニバーサルコード１９は、撮像制御ケーブル１４３、撮像信号ケーブル１４４およびライドガイド１５１等が挿通するケーブルである。
［制御装置２］
　制御装置２は、内視鏡システム１００全体を制御する装置である。制御装置２は、撮像制御部２１と、照明制御部２２と、制御部２４と、記録部２５と、を備える。
　図３は、撮像制御部２１の機能ブック図である。
　撮像制御部２１は、撮像部１４から取得した撮像信号に対して撮像パラメータＰに基づいた撮像信号処理を実施して撮像画像（撮像映像）ＤＷを生成する。撮像制御部２１は、撮像駆動部２１１と、アナログ信号処理部２１２と、ＡＤ変換部２１３と、デジタル信号処理部２１４と、を有する。
　撮像駆動部２１１は、制御部２４からの撮像パラメータＰに基づいて、撮像部１４の撮像素子１４２を駆動する。撮像駆動部２１１は、撮像素子１４２の露光・露出（Ｅｘｐｏｓｕｒｅ）を制御する。
　アナログ信号処理部２１２は、制御部２４からの撮像パラメータＰ（アナログゲイン、ＩＳＯ感度など）に基づいて、撮像部１４の撮像素子から取得した撮像信号に対して、ノイズ除去および増幅等を含むアナログ信号処理を実施する。
　ＡＤ変換部２１３は、制御部２４からの指示に基づいて、アナログ信号処理部２１２によるアナログ信号処理が行われた撮像信号をデジタル信号（例えばＲＡＷデータ）に変換する。
　デジタル信号処理部２１４は、制御部２４からの撮像パラメータＰに基づいて、ＡＤ変換部２１３により変換されたデジタル信号（例えばＲＡＷデータ）をデジタル信号処理して撮像画像を生成する。デジタル信号処理部２１４は、必要に応じてブライトネスやコントラストなどを調整するデジタル信号処理を撮像画像に対して実施する。
　照明制御部２２は、ＬＥＤなどの光源を有し、制御部２４からの撮像パラメータＰ（光量など）に基づいて、光源を制御して、ライドガイド１５１を経由して照明部１５に伝送する照明光の光量を制御する。
　制御部２４は、プロセッサとプログラムを読み込み可能なメモリ等を有するプログラム実行可能な処理回路（コンピュータ）である。制御部２４は、内視鏡制御プログラムを実行することにより内視鏡システム１００の制御を実施する。制御部２４は、専用回路を含んでもよい。専用回路とは、制御部２４が有するプロセッサとは別体のプロセッサ、ＡＳＩＣやＦＰＧＡに実装された論理回路、またはそれらの組み合わせである。
　制御部２４は、撮像制御部２１および照明制御部２２に対して撮像パラメータＰを含む動作パラメータを指定することにより、撮像制御部２１および照明制御部２２を制御して撮像画像ＤＷを生成する。また、制御部２４は、画像生成装置３に対する画像生成の指示や表示装置４への表示の指示を実施する。
　記録部２５は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記録部２５は、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置等で構成される。また、記録部２５は、インターネットを経由して制御装置２と接続されるクラウドサーバ上に設けられた記憶装置等であってもよい。
［画像生成装置３］
　画像生成装置３は、制御装置２の撮像制御部２１が出力する撮像画像（撮像映像）ＤＷに基づいて新たな推定画像ＥＷを生成し、生成した推定画像ＥＷを表示装置４に表示する装置である。新たな推定画像ＥＷを生成する必要がない場合、画像生成装置３は、制御装置２の撮像制御部２１が出力する撮像画像を表示装置４に表示する。
　図４は、画像生成装置３のハードウェア構成を示す図である。
　画像生成装置３は、プロセッサ３０１と、プログラムを読み込み可能なメモリ３０２と、記憶部３０３と、入出力制御部３０４と、を有する。画像生成装置３は、プログラム実行可能なコンピュータである。画像生成装置３の機能はプログラムをプロセッサ３０１が実行することにより実現される。画像生成装置３の少なくとも一部の機能は、ＡＳＩＣやＦＰＧＡに実装された専用の論理回路によって実現されていてもよい。
　記憶部３０３は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部３０３は、例えばＲＯＭやハードディスク等で構成される。記憶部３０３に記録されたプログラムは、メモリ３０２に読み込まれ、プロセッサ３０１によって実行される。
　入出力制御部３０４は、制御装置２、表示装置４、入力装置（不図示）、およびネットワーク機器（不図示）と接続されている。入出力制御部３０４は、プロセッサ３０１の制御に基づき、接続される機器に対するデータの送受信や制御信号の送受信を実施する。
　画像生成装置３は、一体となったハードウェア装置に限られない。例えば、画像生成装置３は、一部が別体のハードウェア装置として分離した上で、分離したハードウェア装置を通信回線で接続することで構成してもよい。例えば、画像生成装置３は、分離された記憶部３０３を通信回線で接続するクラウドシステムであってもよい。
　画像生成装置３は、プロセッサ３０１、メモリ３０２、記憶部３０３および入出力制御部３０４以外の構成をさらに有してもよい。例えば、画像生成装置３は、画像処理や画像認識処理の一部または全部を行う画像演算部をさらに有してもよい。画像演算部をさらに有することで、画像生成装置３は、特定の画像処理や画像認識処理を高速に実行できる。例えば、画像生成装置３は、後述する推定画像ＥＷの推論処理の一部または全部を行う推論演算部をさらに有してもよい。推論演算部をさらに有することで、画像生成装置３は、推定画像ＥＷの推論処理を高速に実行できる。画像演算部や推論演算部は、通信回線で接続される別体のハードウェア装置に搭載されていてもよい。
　図５は、画像生成装置３の機能ブロック図である。
　画像生成装置３は、機能ブロックとして、画像生成部３１と、画像表示部３２と、画像記憶部３３と、を備える。
　画像生成部３１は、学習済みモデルＭに基づいて、制御装置２から入力される第一撮像画像（第一白色光撮像画像）ＤＷ１および第二撮像画像（第二白色光撮像画像）ＤＷ２から推定画像（白色光推定画像）ＥＷを生成する。
　図６は、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２との関係を示す図である。
　第一撮像画像ＤＷ１は、上限値Ｕ以下の光量で照明した被写体を撮像した撮像画像である。第二撮像画像ＤＷ２は、上限値Ｕ以下の光量で照明した被写体を撮像した撮像画像であり、第一撮像画像ＤＷ１と比較して、撮像パラメータＰに基づいた撮像信号処理（アナログ信号処理部２１２によるアナログ信号処理および／またはデジタル信号処理部２１４によるデジタル信号処理）によりノイズの増加を伴うものの明るさが増した撮像画像である。「撮像画像の明るさ」とは、例えば『明度』と『輝度』と『光度』などである。以降の説明において、第一撮像画像ＤＷ１の明るさを「第一明度Ｂ１」、第二撮像画像ＤＷ２の明るさを「第二明度Ｂ２」ともいう。
　第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とは、略同じ光量で照明した被写体を撮像した撮像画像である。なお、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とは、必ずしも略同じ光量で照明した被写体を撮像した撮像画像でなくてもよい。
　第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とは、上限値Ｕ以下であって上限値Ｕにより近い光量で照明した被写体を撮像した撮像画像であることが望ましい。光量を上限値Ｕにより近付けることで、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とは、より明るく、よりノイズが少ない撮像画像となる。その結果、推定画像ＥＷの推定精度を高めることができる。特に、第二撮像画像ＤＷ２のノイズが少なくなることで、推定画像ＥＷの推定精度を効率的に高めることができる。
　第二撮像画像ＤＷ２は、第一撮像画像ＤＷ１を撮像してから期間Ｔ１経過後に撮像された撮像画像である。期間Ｔ１は非常に短い期間であるため、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とが撮像する被写体は略同じ状態である。なお、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２を撮像する順序は問わない。
　第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とは、学習済みモデルＭの入力となる。学習済みモデルＭが出力する推定画像ＥＷの推定精度を高めるために、第一撮像画像ＤＷ１に含まれる情報と第二撮像画像ＤＷ２に含まれる情報との差分が大きい方が望ましい。そのため、第一撮像画像ＤＷ１を生成する撮像パラメータＰと第二撮像画像ＤＷ２を生成する撮像パラメータＰとは、より異なっていることが望ましい。
　撮像信号処理は、例えば、アナログ信号の増幅処理やデジタル信号の増幅処理を含む。この場合、第二撮像画像ＤＷ２を生成する撮像パラメータＰのゲインは、第一撮像画像ＤＷ１を生成する撮像パラメータＰのゲインより大きい。
　推定画像ＥＷの推定精度を高めるためには、デジタル信号の増幅処理よりアナログ信号の増幅処理が適している。デジタル信号の増幅処理は、撮像信号の一部の情報が失われるＡＤ変換後に実行されるため、第一撮像画像ＤＷ１に含まれる情報と第二撮像画像ＤＷ２に含まれる情報との差分を大きくする観点において不利であるからである。一方、多様で柔軟な撮像信号処理を実施するためには、アナログ信号の増幅処理よりデジタル信号の増幅処理が適している。デジタル信号の増幅処理は、例えば、撮像部１４から取得した１種類の撮像信号に対して２種類の撮像パラメータＰのゲインに基づいた撮像信号処理を実施して第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とを生成できる。
　推定画像ＥＷは、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とから学習済みモデルＭに基づいて生成される画像であり、上限値Ｕより大きい光量で照明した被写体を撮像した画像を推定したものである。
　画像表示部３２は、画像生成部３１により生成された推定画像ＥＷを表示装置４に出力して表示装置４に表示する。
　画像記憶部３３は、画像生成部３１により生成された推定画像ＥＷを記録する。なお、推定画像ＥＷを記録する必要がない場合、画像記憶部３３は不要である。
［学習済みモデルＭ］
　学習済みモデルＭは、入力画像と出力画像との関係を学習する機械学習モデルであり、例えばニューラルネットワークや単純パーセプトロンや多層パーセプトロンなど画像生成に適した機械学習モデルである。学習済みモデルＭは、教師データに基づいて、事前の教師あり学習により生成する。学習済みモデルＭの生成は、画像生成装置３により実施してもよいし、画像生成装置３より演算能力が高い他のコンピュータを用いて実施してもよい。
　図７は、学習済みモデルＭの生成を説明する図である。
　教師データは、学習用第一撮像画像ＤＴＷ１、学習用第二撮像画像ＤＴＷ２、および学習用第三撮像画像ＤＴＷ３を一組の画像とした画像群である。教師データは、多様な条件により撮像された画像をできるだけ多く含んでいることが望ましい。
　学習済みモデルＭは、入力される学習用第一撮像画像ＤＴＷ１と学習用第二撮像画像ＤＴＷ２に基づいて推定画像ＥＷを生成する。学習済みモデルＭは、出力する推定画像ＥＷと学習用第三撮像画像ＤＴＷ３との差分が小さくなるように学習済みモデルＭのパラメータを学習する。
　図８は、学習済みモデルＭの生成に用いる教師データを示す図である。
　学習用第一撮像画像ＤＴＷ１は、学習用に用意された第一撮像画像ＤＷ１である。学習用第二撮像画像ＤＴＷ２は、学習用に用意された第二撮像画像ＤＷ２である。
　学習用第三撮像画像ＤＴＷ３は、上限値Ｕより大きい光量で照明した被写体を実際に撮像した撮像画像である。また、学習用第三撮像画像ＤＴＷ３は、撮像パラメータＰに基づいた撮像信号処理（アナログ信号処理部２１２によるアナログ信号処理および／またはデジタル信号処理部２１４によるデジタル信号処理）により発生するノイズが、学習用第一撮像画像ＤＴＷ１において撮像信号処理により発生するノイズと同程度である画像である。例えば、学習用第三撮像画像ＤＴＷ３は、光量以外の撮像パラメータＰが学習用第一撮像画像ＤＴＷ１の撮像パラメータＰと略同じ画像である。
　学習用第三撮像画像ＤＴＷ３は、学習用第一撮像画像ＤＴＷ１および学習用第二撮像画像ＤＴＷ２を撮像してから期間Ｔ２経過後に撮像された撮像画像である。期間Ｔ２は非常に短い期間であるため、学習用第一撮像画像ＤＴＷ１と学習用第二撮像画像ＤＴＷ２と学習用第三撮像画像ＤＴＷ３が撮像する被写体は略同じ状態である。なお、学習用第一撮像画像ＤＴＷ１と学習用第二撮像画像ＤＴＷ２と学習用第三撮像画像ＤＴＷ３を撮像する順序は問わない。なお、学習用第一撮像画像ＤＴＷ１、学習用第二撮像画像ＤＴＷ２および学習用第三撮像画像ＤＴＷ３は、動かない被写体を撮像した画像であってもよい。この場合、学習用第一撮像画像ＤＴＷ１と学習用第二撮像画像ＤＴＷ２と学習用第三撮像画像ＤＴＷ３とが撮像する被写体は同じ状態となる。
　学習用第一撮像画像ＤＴＷ１の明るさと学習用第二撮像画像ＤＴＷ２の明るさは、第一明度Ｂ１と第二明度Ｂ２に略一致していることが望ましい。学習済みモデルＭが、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２との関係を効率的に学習しやすいからである。
　学習用第二撮像画像ＤＴＷ２は、学習用第一撮像画像ＤＴＷ１を撮像してからおよそ期間Ｔ１経過後に撮像された撮像画像であることが望ましい。学習済みモデルＭが、第一撮像画像ＤＷ１と第二撮像画像ＤＷ２との関係を効率的に学習しやすいからである。
　上述の教師データを用いた教師あり学習より、第一撮像画像ＤＷ１および第二撮像画像ＤＷ２と、推定画像ＥＷと、の関係を事前に機械学習した学習済みモデルＭが生成される。第一撮像画像ＤＷ１および第二撮像画像ＤＷ２が入力された学習済みモデルＭが出力する推定画像ＥＷに含まれるノイズは、第一撮像画像ＤＷ１において撮像信号処理により発生するノイズと同程度となる。
[内視鏡システム１００の動作]
　次に内視鏡システム１００の動作（画像生成方法）について説明する。図９に示す内視鏡システム１００の制御フローチャートに沿って説明を行う。術者によるレリーズボタン１８４に対する押下操作を制御装置２の制御部２４が検出すると、内視鏡システム１００はステップＳ１１０を実行する。
＜ステップＳ１１０：撮像パラメータ調整工程＞
　制御装置２の制御部２４は、ステップＳ１１０において、撮像制御部が撮像した撮像画像に基づいて、被写体を撮像するために最適な撮像パラメータＰ（光量とアナログゲインを含む）を算出する。最適な撮像パラメータＰの算出には公知の撮像調整技術が用いられる。内視鏡システム１００は、次にステップＳ１２０を実行する。
＜ステップＳ１２０：光量判定工程＞
　制御装置２の制御部２４は、ステップＳ１２０において、算出された光量が上限値Ｕを越えているかを判定する。算出された光量が上限値Ｕを越えている場合、制御装置２の制御部２４は、次にステップＳ１３０を実行する。算出された光量が上限値Ｕ以下である場合、内視鏡システム１００は、次にステップＳ１６０を実行する。
　なお、上限値Ｕは一定の値ではなく、内視鏡１の温度センサ１７により取得した照明部１５の温度に基づいて変動する値であってもよい。例えば、照明部１５の温度が所定温度より低い場合、制御部２４は上限値Ｕを上げてもよい。また、照明部１５の温度が所定温度より高い場合、制御部２４は上限値Ｕを下げてもよい。なお、内視鏡１が温度センサ１７を有さない場合、制御部２４は光量と発光時間とを乗算した積算光量から推定した温度を用いてもよい。
＜ステップＳ１３０：第一撮像画像生成工程＞
　制御装置２の制御部２４は、ステップＳ１３０において、撮像パラメータＰの光量を上限値Ｕ以下に設定し、第一撮像画像ＤＷ１を生成する。内視鏡システム１００は、次にステップＳ１４０を実行する。
＜ステップＳ１４０：第二撮像画像生成工程＞
　制御装置２の制御部２４は、ステップＳ１４０において、光量以外の撮像パラメータＰを変更して、第一撮像画像ＤＷ１と比較してノイズの増加を伴うものの明るさが増した第二撮像画像ＤＷ２を生成する。例えば、制御部２４は、撮像パラメータＰのアナログゲインを大きくして第二撮像画像ＤＷ２を生成する。制御装置２の制御部２４は、第一撮像画像ＤＷ１を撮像してから期間Ｔ１経過後に第二撮像画像ＤＷ２を生成する。内視鏡システム１００は、次にステップＳ１５０を実行する。
＜ステップＳ１５０：推定画像生成工程＞
　画像生成装置３の画像生成部３１は、ステップＳ１５０において、学習済みモデルＭに基づいて、制御装置２の撮像制御部２１から入力される第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とから推定画像ＥＷを生成する。画像記憶部３３は、必要に応じて推定画像ＥＷを記録する。内視鏡システム１００は、次にステップＳ１７０を実行する。
＜ステップＳ１６０：第一撮像画像生成工程＞
　制御装置２の制御部２４および撮像制御部２１は、ステップＳ１６０において、第一撮像画像ＤＷ１を生成する。ステップＳ１１０において算出された光量は上限値Ｕ以下であるため、制御装置２の制御部２４は光量を算出された光量に設定して第一撮像画像ＤＷ１を生成する。内視鏡システム１００は、次にステップＳ１７０を実行する。
＜ステップＳ１７０：画像表示工程＞
　画像生成装置３の画像表示部３２は、ステップＳ１５０において生成された推定画像ＥＷまたはステップＳ１６０において撮像された第一撮像画像ＤＷ１を表示装置４に表示する。内視鏡システム１００は、次にステップＳ１８０を実行する。
＜ステップＳ１８０：終了判定工程＞
　制御装置２の制御部２４は、ステップＳ１８０において、レリーズボタン１８４に対する押下操作が術者等により入力されているかを判定する。レリーズボタン１８４に対する押下操作されている場合、制御装置２の制御部２４は、ステップＳ１１０を再度実施する。
　本実施形態に係る内視鏡システム１００によれば、静止画取得時であっても、内視鏡１の先端部１１の温度上昇を抑えつつ、十分に明るい撮像画像を提供できる。具体的には、内視鏡システム１００は、上限値Ｕ以下の光量で照明した被写体を撮像した第一撮像画像ＤＷ１および第二撮像画像ＤＷ２のみを使用するため、照明部１５から照射される照明光の光量を上限値Ｕ以下に抑えることができ、内視鏡１の先端部１１の温度を所定温度以下に抑えることができる。一方、内視鏡システム１００の画像生成装置３は、上限値Ｕ以下の光量で照明した被写体を撮像した第一撮像画像ＤＷ１と第二撮像画像ＤＷ２とから、上限値Ｕより大きい光量で照明した被写体を撮像した画像を推定した推定画像ＥＷを推論できる。すなわち、内視鏡システム１００は、照明部１５から照射される照明光の光量を上限値Ｕ以下に抑えつつ、第一撮像画像ＤＷ１よりも明るい画像であって、画像に含まれるノイズが第一撮像画像ＤＷ１において撮像信号処理により発生するノイズと同程度である推定画像ＥＷを使用者に提示できる。
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
　図１０は、学習済みモデルＭの変形例である学習済みモデルＭ１を示す図である。
　学習済みモデルＭ１は、撮像パラメータＰの少なくとも一部（例えばアナログゲイン）を入力データとして使用する。例えば、学習済みモデルＭ１は、第一撮像画像ＤＷ１を撮像した際の撮像パラメータＰである第一撮像パラメータＰＷ１と、第二撮像画像ＤＷ２を撮像した際の撮像パラメータＰである第二撮像パラメータＰＷ２とをさらに入力として有する。撮像パラメータＰの少なくとも一部を学習済みモデルＭ１の入力として追加することで、画像生成部３１による推定画像ＥＷの推定精度を高めることができる。学習済みモデルＭ１の学習に用いられる教師データにも、入力として撮像パラメータＰが追加される。
（変形例２）
　図１１は、学習済みモデルＭの他の変形例である学習済みモデルＭ２を示す図である。
　学習済みモデルＭ２は、追加の補助撮像画像を入力データとして使用する。例えば、学習済みモデルＭ２は、第一撮像画像ＤＷ１を撮像した直後に光量以外の撮像パラメータＰを変更せずに光量をゼロとして撮像した第一補助撮像画像ＳＷ１と、第二撮像画像ＤＷ２を撮像した直後に光量以外の撮像パラメータＰを変更せずに光量をゼロとして撮像した第二補助撮像画像ＳＷ２とをさらに入力として有する。光量をゼロとして撮像した補助撮像画像を学習済みモデルＭ２の入力として追加することで、撮像部１４の撮像素子１４２のパターンノイズ等に影響を受けにくい推定画像ＥＷを生成することができる。特に、相関２重サンプリングによるノイズ除去が比較的困難であるＣＭＯＳイメージセンサを撮像素子１４２として用いる場合、光量をゼロとして撮像した補助撮像画像を入力として追加することにより推定画像ＥＷをより精度高く生成することができる。学習済みモデルＭ２の学習に用いられる教師データにも、入力として補助撮像画像が追加される。
（変形例３）
　上記実施形態において、内視鏡システム１００はレリーズボタン１８４に対する押下操作を検出することで、一枚の推定画像ＥＷを推論する。しかしながら、内視鏡システム１００は、レリーズボタン１８４に対する押下操作（ＯＮ）の有無に関わらず、推定画像ＥＷを連続して生成し、連続する推定画像ＥＷをフレームとする動画像を生成してもよい。図１２は、画像生成部３１が生成する動画像（連続する推定画像ＥＷ）を示す図である。内視鏡システム１００は、ステップＳ１１０からステップＳ１７０までの一連のステップを実行することで一枚の推定画像ＥＷを生成し、一連のステップを繰り返して実行することで動画像（連続する推定画像ＥＷ）を生成する。内視鏡システム１００は、スムーズな動画像を生成するために、例えば３０ＦＰＳで推定画像ＥＷを生成する処理性能を有することが望ましい。
　内視鏡システム１００は、一枚の推定画像ＥＷを生成するたびにステップＳ１１０において光量を調整する。そのため、動画像生成中において光量は変動する。光量は、上限値Ｕ以下であって上限値Ｕにより近い値であることが望ましいが、ステップＳ１１０の調整結果に基づいて上限値Ｕより低い値に設定され得る。なお、図１２に示す動画像の生成シーケンスは、ステップＳ１２０において算出された光量が上限値Ｕを越えている場合における動画像の生成シーケンスである。動画像生成中において算出された光量が上限値Ｕ以下である場合、内視鏡システム１００はステップＳ１６０において第一撮像画像ＤＷ１を生成して、生成した第一撮像画像ＤＷ１を動画像の１フレームとする。
　内視鏡システム１００は、照明部１５から照射される照明光の光量を上限値Ｕ以下に抑えつつ、第一撮像画像ＤＷ１よりも明るい画像であって、画像に含まれるノイズが第一撮像画像ＤＷ１において撮像信号処理により発生するノイズと同程度である推定画像ＥＷが連続する動画像を使用者に提示できる。
（変形例４）
　上記実施形態において、照明部は白色光を被写体に照射する、しかしながら、照明部は照射する照明光はこれに限定されない。照明部は、例えば後述する特殊光を被写体に照射してもよい。
（第二実施形態）
　本発明の第二実施形態について、図１３から図１４を参照して説明する。第二実施形態に係る内視鏡システム１００Ｂは、第一実施形態に係る内視鏡システム１００と比較して、制御フローのみが異なる。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　内視鏡システム１００Ｂは、撮像映像（動画像）を表示装置４に表示しており、術者によるレリーズボタン１８４に対する押下操作（ＯＮ）を制御装置２の制御部２４が検出すると、撮像画像（静止画）を生成する。図１３は、撮像制御部２１が生成する撮像画像と画像生成部３１が生成する静止画（推定画像ＥＷ）とを示す図である。図１４に示す内視鏡システム１００Ｂの制御フローチャートに沿って説明を行う。内視鏡システム１００Ｂが起動されると、内視鏡システム１００ＢはステップＳ２１０を実行する。
＜ステップＳ２１０：動画像生成工程＞
　制御装置２の制御部２４は、ステップＳ２１０において、被写体を撮像するために最適な撮像パラメータＰ（光量とアナログゲインを含む）を算出して、第二撮像画像ＤＷ２を連続で生成する。例えば、制御装置２の制御部２４は、３０ＦＰＳで第二撮像画像ＤＷ２を生成する。図１３に示すように、制御装置２の制御部２４は、上限値Ｕ以下の範囲内において光量を調整する。制御装置２の制御部２４は、連続して生成した第二撮像画像ＤＷ２を撮像映像（動画像）として表示装置４に表示させる。
＜ステップＳ２２０：レリーズ検出工程＞
　制御装置２の制御部２４は、ステップＳ２２０において、レリーズボタン１８４に対する押下操作を検出する。レリーズボタン１８４に対する押下操作を検出しない限り、制御装置２の制御部２４はステップＳ２１０を継続する。レリーズボタン１８４に対する押下操作を検出した場合、内視鏡システム１００Ｂは、次にステップＳ２３０を実行する。
＜ステップＳ２３０：第一撮像画像生成工程＞
　制御装置２の制御部２４は、第一実施形態のステップＳ１３０と同様に、撮像パラメータＰの光量を上限値Ｕ以下に設定し、第一撮像画像ＤＷ１を生成する。例えば、制御部２４は、撮像パラメータＰのアナログゲインを一時的に小さくして第一撮像画像ＤＷ１を生成する。制御部２４は、一枚の第一撮像画像ＤＷ１を生成するとき、光量を上限値Ｕ以下であって上限値Ｕにより近い値に設定することが望ましい。制御部２４は、一枚の第一撮像画像ＤＷ１を生成した後、撮像制御部２１に第二撮像画像ＤＷ２を連続で生成させて、連続して生成した第二撮像画像ＤＷ２を撮像映像（動画像）として表示装置４に表示させる。内視鏡システム１００Ｂは、次にステップＳ２４０を実行する。
＜ステップＳ２４０：推定画像生成工程＞
　画像生成装置３の画像生成部３１は、ステップＳ２３０にて生成した第一撮像画像ＤＷ１と、第一撮像画像ＤＷ１の生成の前後に生成された第二撮像画像ＤＷ２と、から学習済みモデルＭに基づいて推定画像ＥＷを生成する。画像記憶部３３は、必要に応じて推定画像ＥＷを記録する。内視鏡システム１００Ｂは、次にステップＳ２５０を実行する。
＜ステップＳ２５０：画像表示工程＞
　画像生成装置３の画像表示部３２は、ステップＳ２４０において生成された推定画像ＥＷを表示装置４に表示する。画像生成装置３の画像表示部３２は、動画像として表示される第二撮像画像ＤＷ２と推定画像ＥＷとを同時に表示装置４に表示してもよい。また、画像生成装置３の画像表示部３２は、動画像として表示される第二撮像画像ＤＷ２と置き換えて推定画像ＥＷを所定期間のみ表示装置４に表示してもよい。内視鏡システム１００は、次にステップＳ２６０を実行する。
＜ステップＳ２６０：終了判定工程＞
　制御装置２の制御部２４は、ステップＳ１８０において、動画像表示を終了するかを判定する。動画像表示を終了しない場合、制御装置２の制御部２４は、ステップＳ２１０を再度実施する。
　内視鏡システム１００Ｂは、変形例３のように、推定画像ＥＷを連続して生成し、連続する推定画像ＥＷをフレームとする動画像を生成してもよい。
　本実施形態に係る内視鏡システム１００Ｂによれば、撮像映像（動画像）を取得している途中において静止画を取得する場合であっても、内視鏡１の先端部１１の温度上昇を抑えつつ、十分に明るい撮像画像（静止画）を提供できる。
　以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。
（変形例５）
　上記実施形態において、内視鏡システム１００Ｂは、連続して生成した第二撮像画像ＤＷ２を撮像映像（動画像）とし、レリーズボタン１８４に対する押下操作に対応して生成した一枚の第一撮像画像ＤＷ１を用いて推定画像ＥＷを撮像画像（静止画）として生成する。しかしながら、撮像映像（動画像）および静止画の生成態様はこれに限定されない。内視鏡システム１００Ｂは、連続して生成した第一撮像画像ＤＷ１を撮像映像（動画像）とし、レリーズボタン１８４に対する押下操作に対応して生成した一枚の第二撮像画像ＤＷ２を用いて推定画像ＥＷを撮像画像（静止画）として生成してもよい。
（第三実施形態）
　本発明の第三実施形態について、図１５から図１７を参照して説明する。第三実施形態に係る内視鏡システム１００Ｃは、第一実施形態に係る内視鏡システム１００と比較して、二種類の観察モードを使用することができる。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　図１５に、内視鏡システム１００Ｃの機能ブロック図である。
　内視鏡システム１００Ｃは、内視鏡１Ｃと、制御装置２Ｃと、画像生成装置３Ｃと、表示装置４と、を備える。
　内視鏡１Ｃは、先端部１１Ｃを除いて第一実施形態の内視鏡１と同じである。内視鏡１Ｃの先端部１１Ｃは、撮像部１４と、照明部１５と、特殊光照明部１６と、温度センサ１７と、を有する。
　特殊光照明部１６は、ＮＢＩ（登録商標。狭帯域光観察、Narrow Band Imaging）やＲＤＩ（登録商標。赤色光観察、Red Dichromatic Imaging）などで使用される特殊光を被写体に照射する。ここで、特殊光照明部１６が照射する特殊光は、白色光と波長域が異なる光である。ＮＢＩで使用される特殊光は、狭帯域化された青(３９０～４４５ｎｍの波長)と緑(５３０～５５０ｎｍの波長)の２つの波長域の光である。ＲＤＩで使用される特殊光は、狭帯域化された赤とアンバーと緑の３つの波長域の光である。
　制御装置２Ｃは、内視鏡システム１００Ｃ全体を制御する装置である。制御装置２Ｃは、撮像制御部２１Ｃと、照明制御部２２と、特殊光照明制御部２３と、制御部２４Ｃと、記録部２５と、を備える。
　撮像制御部２１Ｃは、第一実施形態の撮像制御部２１と同様の機能を有しており、さらに特殊光を照射した被写体を撮像した撮像信号に対して撮像パラメータＰに基づいた撮像信号処理を実施して特殊光撮像画像（特殊光撮像映像）ＤＳを生成できる。
　特殊光照明制御部２３は、制御部２４からの撮像パラメータＰ（特殊光の光量など）に基づいて、特殊光の光源を制御して、特殊光照明部１６に伝送する特殊光の光量を制御する。
　制御部２４Ｃは、第一実施形態の制御部２４と同様の機能を有しており、さらに観察モード切替ボタン１８５に対する操作入力等に基づいて二種類の観察モード（白色光観察モード、特殊光観察モード）を切り替えることができる。制御部２４Ｃは、白色光観察モードにおいて、照明部１５から白色光を照射した被写体を撮像した撮像信号から撮像画像（白色光撮像画像）ＤＷを生成する。制御部２４Ｃは、特殊光観察モードにおいて、特殊光照明部１６から特殊光を照射した被写体を撮像した撮像信号から特殊光撮像画像ＤＳを生成する。
　画像生成装置３Ｃは、機能ブロックとして、画像生成部３１Ｃと、画像表示部３２と、画像記憶部３３と、を備える。
　図１６は、画像生成部３１Ｃを示す図である。
　画像生成部３１Ｃは、学習済みモデルＭＣに基づいて、制御装置２Ｃから入力される第一撮像画像ＤＷ１、第二撮像画像ＤＷ２、第一特殊光撮像画像ＤＳ１および第二特殊光撮像画像ＤＳ２から推定画像ＥＷを生成する。
　図１７は、第一特殊光撮像画像ＤＳ１と第二特殊光撮像画像ＤＳ２との関係を示す図である。第一特殊光撮像画像ＤＳ１は、上限値Ｕ以下の光量の特殊光で照明した被写体を撮像した特殊光撮像画像である。第二特殊光撮像画像ＤＳ２は、上限値Ｕ以下の光量の特殊光で照明した被写体を撮像した特殊光撮像画像であり、第一特殊光撮像画像ＤＳ１と比較して、撮像パラメータＰに基づいた撮像信号処理（アナログ信号処理部２１２によるアナログ信号処理および／またはデジタル信号処理部２１４によるデジタル信号処理）によりノイズの増加を伴うものの明るさが増した特殊光撮像画像である。
　第一特殊光撮像画像ＤＳ１と第二特殊光撮像画像ＤＳ２とは、上限値Ｕ以下であって上限値Ｕにより近い光量で照明した被写体を撮像した撮像画像であることが望ましい。光量を上限値Ｕにより近付けることで、第一特殊光撮像画像ＤＳ１と第二特殊光撮像画像ＤＳ２とは、より明るく、よりノイズが少ない撮像画像となる。その結果、推定画像ＥＷの推定精度を高めることができる。特に、第二特殊光撮像画像ＤＳ２のノイズが少なくなることで、推定画像ＥＷの推定精度を効率的に高めることができる。
　第一特殊光撮像画像ＤＳ１は、第一撮像画像ＤＷ１を撮像してから期間Ｔ３経過後に撮像された特殊光撮像画像である。期間Ｔ３は非常に短い期間であるため、第一撮像画像ＤＷ１と第一特殊光撮像画像ＤＳ１とが撮像する被写体は略同じ状態である。なお、第一撮像画像ＤＷ１と第一特殊光撮像画像ＤＳ１を撮像する順序は問わない。
　第二特殊光撮像画像ＤＳ２は、第二撮像画像ＤＷ２を撮像してから期間Ｔ４経過後に撮像された特殊光撮像画像である。期間Ｔ４は非常に短い期間であるため、第二撮像画像ＤＷ２と第二特殊光撮像画像ＤＳ２とが撮像する被写体は略同じ状態である。なお、第二撮像画像ＤＷ２と第二特殊光撮像画像ＤＳ２を撮像する順序は問わない。
　学習済みモデルＭＣは、第一実施形態の学習済みモデルＭと比較して、第一特殊光撮像画像ＤＳ１および第二特殊光撮像画像ＤＳ２をさらに入力として有する。学習済みモデルＭＣの学習に用いられる教師データにも、入力として特殊光撮像画像が追加される。
　内視鏡システム１００Ｃは、術者によるレリーズボタン１８４に対する押下操作を制御装置２Ｃの制御部２４Ｃが検出すると、第一撮像画像ＤＷ１、第二撮像画像ＤＷ２、第一特殊光撮像画像ＤＳ１および第二特殊光撮像画像ＤＳ２を生成し、これら４枚の撮像画像から推定画像ＥＷを生成する。
　内視鏡システム１００Ｃは、変形例３のように、推定画像ＥＷを連続して生成し、連続する推定画像ＥＷをフレームとする動画像を生成してもよい。また、内視鏡システム１００Ｃは、第二実施形態のように、連続して生成した第二撮像画像ＤＷ２を撮像映像（動画像）とし、レリーズボタン１８４に対する押下操作に対応して生成した第一撮像画像ＤＷ１、第一特殊光撮像画像ＤＳ１および第二特殊光撮像画像ＤＳ２を用いて推定画像ＥＷを撮像画像（静止画）として生成してもよい。
　本実施形態に係る内視鏡システム１００Ｃによれば、照明部１５および特殊光照明部１６から照射される照明光の光量を上限値Ｕ以下に抑えつつ、第一撮像画像ＤＷ１よりも明るい画像であって、画像に含まれるノイズが第一撮像画像ＤＷ１において撮像信号処理により発生するノイズと同程度である推定画像ＥＷを使用者に提示できる。
　特殊光を照射した被写体を撮像した撮像信号から取得した特殊光撮像画像が学習済みモデルＭＣの入力として追加される。二種類の照明光（白色光と特殊光）で照射した被写体を撮像して取得した二種類の撮像画像は異なる特性を有しているため、画像生成部３１Ｃによる推定画像ＥＷの推定精度を好適に高めることができる。
　以上、本発明の第三実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。
（変形例６）
　図１８は、学習済みモデルＭＣの変形例である学習済みモデルＭＣ１を示す図である。
　学習済みモデルＭＣ１は、特殊光推定画像ＥＳを出力する。特殊光推定画像ＥＳは、図１７に示すように、第一特殊光撮像画像ＤＳ１よりも明るい画像であって、画像に含まれるノイズが第一特殊光撮像画像ＤＳ１において撮像信号処理により発生するノイズと同程度である画像である。なお、学習済みモデルＭＣ１は、推定画像ＥＷと特殊光推定画像ＥＳの両方を出力してもよい。
　図１９は、学習済みモデルＭＣ１の生成を説明する図である。
　教師データは、学習用第一撮像画像ＤＴＷ１、学習用第一特殊光撮像画像ＤＴＳ１、学習用第二撮像画像ＤＴＷ２、学習用第二特殊光撮像画像ＤＴＳ２、および学習用第三特殊光撮像画像ＤＴＳ３を一組の画像とした画像群である。
　図２０は、学習済みモデルＭＣ１の生成に用いる教師データを示す図である。
　学習用第一特殊光撮像画像ＤＴＳ１は、学習用に用意された第一特殊光撮像画像ＤＳ１である。学習用第二特殊光撮像画像ＤＴＳ２は、学習用に用意された第二撮像特殊光画像ＤＳ２である。
　学習用第三特殊光撮像画像ＤＴＳ３は、上限値Ｕより大きい光量の特殊光で照明した被写体を実際に撮像した撮像画像である。また、学習用第三特殊光撮像画像ＤＴＳ３は、撮像パラメータＰに基づいた撮像信号処理（アナログ信号処理部２１２によるアナログ信号処理および／またはデジタル信号処理部２１４によるデジタル信号処理）により発生するノイズが、学習用第一特殊光撮像画像ＤＴＳ１において撮像信号処理により発生するノイズと同程度である画像である。例えば、学習用第三特殊光撮像画像ＤＴＳ３は、光量以外の撮像パラメータＰが学習用第一特殊光撮像画像ＤＴＳ１の撮像パラメータＰと略同じ画像である。
（変形例７）
　上記実施形態において、内視鏡１Ｃは二種類の観察モードを有する。内視鏡１Ｃが三種類以上の観察モードを有する場合、学習済みモデルＭＣは三種類以上の撮像画像を入力可能であってもよい。
（第四実施形態）
　本発明の第四実施形態について、図２１から図２２を参照して説明する。第四実施形態に係る内視鏡システム１００Ｄは、第三実施形態に係る内視鏡システム１００Ｃと同様に二種類の観察モードを使用することができる。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　内視鏡システム１００Ｄは、第三実施形態に係る内視鏡システム１００Ｃと比較して画像生成部３１Ｃの代わりに画像生成部３１Ｄを備える。
　図２１は、画像生成部３１Ｄを示す図である。
　画像生成部３１Ｄは、学習済みモデルＭＤに基づいて、制御装置２Ｃから入力される第一特殊光撮像画像ＤＳ１および第二撮像画像ＤＷ２から特殊光推定画像ＥＳを生成する。
　図２２は、学習済みモデルＭＤの生成を説明する図である。
　教師データは、学習用第一特殊光撮像画像ＤＴＳ１、学習用第二撮像画像ＤＴＷ２、および学習用第三特殊光撮像画像ＤＴＳ３を一組の画像とした画像群である。教師データは、多様な条件により撮像された画像をできるだけ多く含んでいることが望ましい。
　学習済みモデルＭＤは、入力される学習用第一特殊光撮像画像ＤＴＳ１と学習用第二撮像画像ＤＴＷ２に基づいて特殊光推定画像ＥＳを生成する。学習済みモデルＭＤは、出力する特殊光推定画像ＥＳと学習用第三特殊光撮像画像ＤＴＳ３との差分が小さくなるように学習済みモデルＭＤのパラメータを学習する。
　学習用第三特殊光撮像画像ＤＴＳ３は、学習用第一特殊光撮像画像ＤＴＳ１および学習用第二撮像画像ＤＴＷ２を撮像してから期間Ｔ５経過後に撮像された撮像画像である。期間Ｔ５は非常に短い期間であるため、学習用第一特殊光撮像画像ＤＴＳ１と学習用第二撮像画像ＤＴＷ２と学習用第三特殊光撮像画像ＤＴＳ３が撮像する被写体は略同じ状態である。なお、学習用第一特殊光撮像画像ＤＴＳ１と学習用第二撮像画像ＤＴＷ２と学習用第三特殊光撮像画像ＤＴＳ３を撮像する順序は問わない。
　内視鏡システム１００Ｄは、術者によるレリーズボタン１８４に対する押下操作を制御装置２Ｃの制御部２４Ｃが検出すると、第一特殊光撮像画像ＤＳ１および第二撮像画像ＤＷ２を生成し、これら２枚の撮像画像から特殊光推定画像ＥＳを生成する。
　内視鏡システム１００Ｄは、変形例３のように、特殊光推定画像ＥＳを連続して生成し、連続する特殊光推定画像ＥＳをフレームとする動画像を生成してもよい。また、内視鏡システム１００Ｄは、第二実施形態のように、連続して生成した第二撮像画像ＤＷ２を撮像映像（動画像）とし、レリーズボタン１８４に対する押下操作に対応して生成した第一特殊光撮像画像ＤＳ１を用いて特殊光推定画像ＥＳを撮像画像（静止画）として生成してもよい。
　本実施形態に係る内視鏡システム１００Ｄによれば、照明部１５および特殊光照明部１６から照射される照明光の光量を上限値Ｕ以下に抑えつつ、第一特殊光撮像画像ＤＳ１よりも明るい画像であって、画像に含まれるノイズが第一特殊光撮像画像ＤＳ１において撮像信号処理により発生するノイズと同程度である特殊光推定画像ＥＳを使用者に提示できる。内視鏡システム１００Ｄは、第三実施形態の内視鏡システム１００Ｃと比較して、推定画像を生成するために必要な撮像画像が少ない。そのため、変形例３のように推定画像をフレームとする動画像を生成する場合においてフレームレートをより高くできる。
　特殊光撮像画像は、特殊光の種類によって白色光撮像画像よりも暗くなる場合がある。例えば、ＮＢＩにより取得した特殊光撮像画像は、白色光撮像画像よりも暗くなる。ＮＢＩで用いられる特殊光は、白色光よりも被写体である人体組織に吸収されやすく、人体組織で反射されにくい。そのため、撮像素子１４２で受光される光強度は、照射する光強度が同じである場合、白色光を被写体に照射したときより特殊光を被写体に照射したときの方が弱くなる。そのため、ＮＢＩにより特殊光撮像画像を取得する場合、白色光撮像画像と特殊光撮像画像とを組み合わせて使用する使用用途（例えば、白色光撮像画像と特殊光撮像画像の並列表示）において、十分に明るい特殊光撮像画像を提供しにくい。しかしながら、内視鏡システム１００Ｄは、第一特殊光撮像画像ＤＳ１と第二撮像画像ＤＷ２から第一特殊光撮像画像ＤＳ１よりも明るい特殊光推定画像ＥＳを生成して提供できる。
　以上、本発明の第四実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。
（変形例８）
　上記実施形態において、撮像信号を生成する撮像部１４は内視鏡１に設けられており、画像生成装置３，３Ｃは内視鏡１の撮像部１４から取得した撮像画像に基づいて推定画像Ｅを生成する。しかしながら、画像生成装置の撮像信号の取得元は内視鏡１に限定されない。画像生成装置は、カメラやビデオカメラや工業用内視鏡や顕微鏡や画像認識機能を有するロボットやスマートフォン、携帯電話、スマートウオッチ、タブレット端末、ノート型ＰＣ等のモバイル機器などの他の撮像装置から取得した撮像画像に基づいて推定画像Ｅを生成してもよい。
（変形例９）
　上記実施形態において、照明部１５および照明制御部２２等が備える光源としてＬＥＤを例示したが、光源はＬＥＤに限定されない。例えば、光源は、レーザダイオード等を含むレーザ光源、有機ＥＬ、キセノンやハロゲン等の電球、これらの組み合わせ、またはこれらと波長変換機能を有する蛍光体等の光学素子の組み合わせでもよい。
（変形例１０）
　上記実施形態において、撮像パラメータＰは光量やゲインであるが、撮像パラメータＰはこれらに限定されない。撮像パラメータＰは、分光分布、絞り値（Ｆ値）、シャッタスピード、動画像のフレームレート、光学倍率、デジタル倍率、撮像素子１４２が撮像した撮像信号から撮像制御部２１において撮像画像（撮像映像）が生成される工程における階調・ピクセルサイズ・解像度（ＤＰＩ）などであってもよい。また、撮像パラメータＰは、被写体の臓器種類（食道、胃、十二指腸等）を含んでもよい。なお、臓器種類は、機械学習モデル等のモデルが撮像画像から判定してもよいし、内視鏡１の先端部１１の体内への挿入距離から判定してもよいし、術者により画像生成装置３に入力されてもよい。
　各実施形態及びそれらの各変形例におけるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
１００　内視鏡システム（画像生成システム）
１　内視鏡
１４　撮像部
１５　照明部（白色光照明部）
１６　特殊光照明部
１７　温度センサ
２　制御装置
３　画像生成装置
４　表示装置
Ｐ　撮像パラメータ
Ｕ　上限値
ＤＷ１　第一撮像画像（第一白色光撮像画像）
ＤＷ２　第二撮像画像（第二白色光撮像画像）
ＥＷ　　推定画像（白色光推定画像）
ＤＳ１　第一撮像画像（第一特殊光撮像画像）
ＤＳ２　第二撮像画像（第二特殊光撮像画像）
ＥＳ　　推定画像（特殊光推定画像）

Claims (25)

  1. 　被写体に照明光を照射する照明部と前記被写体を撮像する撮像部とを有する内視鏡と、
    　前記撮像部から取得した撮像信号に対して撮像パラメータに基づいた撮像信号処理を実施して撮像画像を生成する制御装置と、
    　画像生成装置と、
    　を備え、
    　前記制御装置は、
    　　上限値以下の光量で照明した前記被写体を撮像した前記撮像画像である第一撮像画像と、
    　　前記上限値以下の光量で照明した前記被写体を撮像した前記撮像画像であって、前記第一撮像画像よりも明るい第二撮像画像と、
    　を生成し、
    　前記画像生成装置は、前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する、
    　内視鏡システム。
  2. 　前記撮像画像を表示する表示装置をさらに備え、
    　前記制御装置は、前記第二撮像画像を連続して生成して動画像として前記表示装置に表示させ、前記第一撮像画像を静止画として生成し、
    　前記画像生成装置は、前記第一撮像画像と、前記第一撮像画像の生成の前後に生成された前記第二撮像画像と、から前記推定画像を生成する、
    　請求項１に記載の内視鏡システム。
  3. 　前記画像生成装置は、前記第一撮像画像および前記第二撮像画像と、前記推定画像と、の関係を事前に機械学習した学習済みモデルに基づいて、前記推定画像を生成する、
    　請求項１または請求項２に記載の内視鏡システム。
  4. 　前記学習済みモデルは、学習用に用意された前記第一撮像画像と、学習用に用意された前記第二撮像画像と、第三撮像画像と、を教師データとして機械学習したモデルであり、
    　前記第三撮像画像は、前記上限値より大きい光量で照明した前記被写体を撮像した前記撮像画像であり、前記撮像信号処理により発生するノイズが前記第一撮像画像において前記撮像信号処理により発生するノイズと同程度である画像である、
    　請求項３に記載の内視鏡システム。
  5. 　前記学習済みモデルは、前記撮像パラメータの少なくとも一部を入力データとして使用する、
    　請求項３に記載の内視鏡システム。
  6. 　前記推定画像に含まれるノイズは、前記第一撮像画像において前記撮像信号処理により発生するノイズと同程度である、
    　請求項１に記載の内視鏡システム。
  7. 　前記第二撮像画像において前記撮像信号処理により発生するノイズは、前記第一撮像画像において前記撮像信号処理により発生するノイズが多い、
    　請求項１に記載の内視鏡システム。
  8. 　前記撮像信号処理は、前記撮像信号に対する増幅処理を含み、
    　前記第二撮像画像を生成する前記撮像パラメータのゲインは、前記第一撮像画像を生成する前記撮像パラメータのゲインより大きい、
    　請求項７に記載の内視鏡システム。
  9. 　前記制御装置は、前記照明部の温度を取得し、前記温度が所定温度以下になるように前記光量の前記上限値を決定する、
    　請求項１に記載の内視鏡システム。
  10. 　前記内視鏡は、前記照明部が照射する前記照明光と波長域が異なる特殊光を照射する特殊光照明部をさらに有し、
    　前記制御装置は、前記特殊光を照射した前記被写体を撮像した撮像信号に対して前記撮像パラメータに基づいた撮像信号処理を実施して特殊光撮像画像を生成でき、
    　前記制御装置は、
    　　前記上限値以下の光量の前記特殊光で照明した前記被写体を撮像した前記特殊光撮像画像である第一特殊光撮像画像と、
    　　前記上限値以下の光量の前記特殊光で照明した前記被写体を撮像した前記特殊光撮像画像であって、前記第一特殊光撮像画像よりも明るい第二特殊光撮像画像と、
    　を生成し、
    　前記画像生成装置は、前記第一撮像画像と前記第二撮像画像と前記第一特殊光撮像画像と前記第二特殊光撮像画像とから、前記推定画像を生成する、
    　請求項１に記載の内視鏡システム。
  11. 　前記画像生成装置は、前記第一撮像画像、前記第二撮像画像、前記第一特殊光撮像画像および前記第二特殊光撮像画像と、前記推定画像と、の関係を事前に機械学習した学習済みモデルに基づいて、前記推定画像を生成する、
    　請求項１０に記載の内視鏡システム。
  12. 　前記内視鏡は、前記照明部が照射する前記照明光と波長域が異なる特殊光を照射する特殊光照明部をさらに有し、
    　前記第一撮像画像は、前記特殊光照明部が前記特殊光を照射した前記被写体を撮像した撮像信号に対して撮像信号処理を実施して生成した画像であり、
    　前記第二撮像画像は、前記照明部が前記照明光を照射した前記被写体を撮像した撮像信号に対して撮像信号処理を実施して生成した画像であり、
    　前記推定画像は、前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量の前記特殊光で照明した前記被写体を撮像した画像を推定した画像である、
    　請求項１に記載の内視鏡システム。
  13. 　前記画像生成装置は、前記第一撮像画像および前記第二撮像画像と、前記推定画像と、の関係を事前に機械学習した学習済みモデルに基づいて、前記推定画像を生成する、
    　請求項１２に記載の内視鏡システム。
  14. 　前記学習済みモデルは、学習用に用意された前記第一撮像画像と、学習用に用意された前記第二撮像画像と、第三撮像画像と、を教師データとして機械学習したモデルであり、
    　前記第三撮像画像は、前記上限値より大きい光量の前記特殊光で照明した前記被写体を撮像した前記撮像画像であり、前記撮像信号処理により発生するノイズが前記第一撮像画像において前記撮像信号処理により発生するノイズと同程度である画像である、
    　請求項１３に記載の内視鏡システム。
  15. 　前記画像生成装置は、前記推定画像を連続して生成し、連続する前記推定画像をフレームと動画像とする動画像を生成する、
    　請求項１、請求項１０または請求項１２に記載の内視鏡システム。

  16. 　被写体を撮像する撮像部から取得した撮像信号に対して撮像パラメータに基づいた撮像信号処理を実施して生成した撮像画像を取得する画像生成装置であって、
    　上限値以下の光量で照明した前記被写体を撮像された第一撮像画像と、前記上限値以下の光量で照明した前記被写体を撮像され、前記第一撮像画像よりも明るい第二撮像画像と、を取得して
    　前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する、
    　画像生成装置。
  17. 　前記第一撮像画像および前記第二撮像画像と、前記推定画像と、の関係を事前に機械学習した学習済みモデルに基づいて、前記推定画像を生成する、
    　請求項１６に記載の画像生成装置。
  18. 　前記学習済みモデルは、学習用に用意された前記第一撮像画像と、学習用に用意された前記第二撮像画像と、第三撮像画像と、を教師データとして機械学習したモデルであり、
    　前記第三撮像画像は、前記上限値より大きい光量で照明した前記被写体を撮像した前記撮像画像であり、前記撮像信号処理により発生するノイズが前記第一撮像画像において前記撮像信号処理により発生するノイズと同程度である画像である、
    　請求項１７に記載の画像生成装置。
  19. 　前記学習済みモデルは、前記撮像パラメータの少なくとも一部を入力データとして使用する、
    　請求項１７に記載の画像生成装置。
  20. 　前記推定画像に含まれるノイズは、前記第一撮像画像において前記撮像信号処理により発生するノイズと同程度である、
    　請求項１６に記載の画像生成装置。
  21. 　前記第二撮像画像において前記撮像信号処理により発生するノイズは、前記第一撮像画像において前記撮像信号処理により発生するノイズが多い、
    　請求項１６に記載の画像生成装置。
  22. 　前記撮像信号処理は、前記撮像信号に対する増幅処理を含み、
    　前記第二撮像画像を生成する前記撮像パラメータのゲインは、前記第一撮像画像を生成する前記撮像パラメータのゲインより大きい、
    　請求項２１に記載の画像生成装置。
  23. 　上限値以下の光量で照明した被写体を撮像した撮像信号に対して撮像信号処理を実施して生成した第一撮像画像と、前記上限値以下の光量で照明した前記被写体を撮像した撮像信号に対して撮像信号処理を実施して生成した画像であって、前記第一撮像画像よりも明るい第二撮像画像と、を取得し、
    　前記第一撮像画像と前記第二撮像画像とから、前記上限値より大きい光量で照明した前記被写体を撮像した画像を推定した推定画像を生成する、
    　画像生成方法。
  24. 　前記第一撮像画像および前記第二撮像画像と、前記推定画像と、の関係を事前に機械学習した学習済みモデルに基づいて、前記推定画像を生成する、
    　請求項２３に記載の画像生成方法。
  25. 　前記学習済みモデルは、学習用に用意された前記第一撮像画像と、学習用に用意された前記第二撮像画像と、第三撮像画像と、を教師データとして機械学習したモデルであり、
    　前記第三撮像画像は、前記上限値より大きい光量で照明した前記被写体を撮像した画像であり、前記撮像信号処理により発生するノイズが前記第一撮像画像において前記撮像信号処理により発生するノイズと同程度である画像である、
    　請求項２４に記載の画像生成方法。
PCT/JP2022/037862 2022-10-11 2022-10-11 内視鏡システム、画像生成装置および画像生成方法 WO2024079785A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037862 WO2024079785A1 (ja) 2022-10-11 2022-10-11 内視鏡システム、画像生成装置および画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037862 WO2024079785A1 (ja) 2022-10-11 2022-10-11 内視鏡システム、画像生成装置および画像生成方法

Publications (1)

Publication Number Publication Date
WO2024079785A1 true WO2024079785A1 (ja) 2024-04-18

Family

ID=90668986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037862 WO2024079785A1 (ja) 2022-10-11 2022-10-11 内視鏡システム、画像生成装置および画像生成方法

Country Status (1)

Country Link
WO (1) WO2024079785A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564628A (ja) * 1991-09-09 1993-03-19 Olympus Optical Co Ltd 内視鏡用写真撮影装置
JP2010004319A (ja) * 2008-06-20 2010-01-07 Hoya Corp 撮像装置
WO2010131620A1 (ja) * 2009-05-14 2010-11-18 オリンパスメディカルシステムズ株式会社 撮像装置
WO2014156253A1 (ja) * 2013-03-25 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564628A (ja) * 1991-09-09 1993-03-19 Olympus Optical Co Ltd 内視鏡用写真撮影装置
JP2010004319A (ja) * 2008-06-20 2010-01-07 Hoya Corp 撮像装置
WO2010131620A1 (ja) * 2009-05-14 2010-11-18 オリンパスメディカルシステムズ株式会社 撮像装置
WO2014156253A1 (ja) * 2013-03-25 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡装置

Similar Documents

Publication Publication Date Title
JP5452785B1 (ja) 撮像システム
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5271062B2 (ja) 内視鏡装置およびその作動方法
JP2012030004A (ja) 電子内視鏡システム
JP2015195845A (ja) 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
JP6049945B2 (ja) 撮像装置および処理装置
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
JP2009201685A (ja) 蛍光内視鏡装置及び蛍光内視鏡画像生成方法
JP5747362B2 (ja) 内視鏡装置
JP5422180B2 (ja) 内視鏡装置およびその作動方法
JPWO2018142658A1 (ja) 内視鏡システム
JP2012239757A (ja) 医療機器及び医療用プロセッサ
US9838610B2 (en) Imaging system
JP2016192986A (ja) 内視鏡システム、及び、内視鏡システムの作動方法
WO2024079785A1 (ja) 内視鏡システム、画像生成装置および画像生成方法
US20190052854A1 (en) Image processing apparatus
JP2010075513A (ja) 狭帯域画像取得方法および狭帯域画像取得システム
JP5483522B2 (ja) 画像取得装置
JP6396717B2 (ja) 感度調整方法および撮像装置
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
US12035052B2 (en) Image processing apparatus and image processing method
JP6120758B2 (ja) 医用システム
US20230042498A1 (en) Image processing apparatus and image processing method
JP2010279521A (ja) 内視鏡装置および内視鏡画像取得方法
WO2021199566A1 (ja) 内視鏡システム、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962006

Country of ref document: EP

Kind code of ref document: A1