WO2019167298A1 - 被検体観察システム、被検体観察システムの作動方法 - Google Patents

被検体観察システム、被検体観察システムの作動方法 Download PDF

Info

Publication number
WO2019167298A1
WO2019167298A1 PCT/JP2018/025888 JP2018025888W WO2019167298A1 WO 2019167298 A1 WO2019167298 A1 WO 2019167298A1 JP 2018025888 W JP2018025888 W JP 2018025888W WO 2019167298 A1 WO2019167298 A1 WO 2019167298A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
luminance
light
light source
value
Prior art date
Application number
PCT/JP2018/025888
Other languages
English (en)
French (fr)
Inventor
雄亮 矢部
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020502784A priority Critical patent/JP6982677B2/ja
Publication of WO2019167298A1 publication Critical patent/WO2019167298A1/ja
Priority to US16/930,859 priority patent/US11744436B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the present invention relates to an object observation system that generates a high dynamic range image by alternately performing low-intensity illumination and high-intensity illumination, and a method for operating the object observation system.
  • the dynamic range is larger than that of one captured image.
  • a technique (HDR technique) for generating a wide high dynamic range (HDR) image has been conventionally proposed.
  • the illumination light is irradiated to the subject to be observed when performing observation. At this time, even if the same amount of illumination light is irradiated, a close subject appears bright and a distant subject appears dark, so that an endoscopic image may be halated, blacked out, or the like.
  • the image portion corresponding to the low luminance image is used for the halation portion of the high luminance image, and the image portion corresponding to the high luminance image is used for the black portion of the low luminance image. Crushing can be suppressed. Therefore, attention has been focused on applying the HDR technology to the field of endoscope.
  • WO2016 / 104386 discloses dimming that sets an exposure amount for generating composite image data by combining a plurality of image data obtained by a plurality of exposure processes having different exposure amounts.
  • a brightness detection unit that acquires image data or composite image data and detects the brightness of an image, and a reference exposure amount calculation that calculates a reference exposure amount based on a detection result by the brightness detection unit
  • a light control device is described that includes an exposure amount setting unit that sets an exposure amount according to the timing of exposure processing based on the reference exposure amount calculated by the reference exposure amount calculation unit.
  • this publication uses a white LED (Light Emitting Diode) or a red LED, a green LED, and a blue LED as a light source, and dimming is performed by combining current dimming and PWM (Pulse Width Modulation) dimming. It describes what to do.
  • semiconductor light-emitting elements such as LEDs tend to have lower light emission efficiency as the temperature rises, and the intensity of emitted light tends to decrease even when the same current value is applied.
  • the temperature of the semiconductor light emitting element increases when the light emission amount is increased (for example, when the distance to the subject is long), and when the light emission amount is decreased (for example, when the distance to the subject is short). Will be low. For this reason, the luminous efficiency of the semiconductor light emitting element varies depending on, for example, the distance at which the subject is observed.
  • the temperature dependency of the light emission efficiency varies depending on which color of the semiconductor light emitting element generates the light.
  • the present invention has been made in view of the above circumstances, and maintains a light quantity ratio between high-intensity illumination and low-intensity illumination with high accuracy, and an object observation system capable of obtaining a high dynamic range image with high accuracy,
  • An object of the present invention is to provide a method of operating a subject observation system.
  • An object observation system generates a sensor value by detecting a light source unit that generates light having an intensity corresponding to a current value of an applied drive current as illumination light, and the intensity of the illumination light. Applying a drive current to the light sensor, an imaging unit that sequentially captures the return light from the subject irradiated with the illumination light and generating an imaging signal for each frame, The light source unit alternately performs low-intensity illumination in a luminance frame and high-intensity illumination in a high-intensity frame, and the intensity of illumination light in the low-intensity frame is equal to the intensity of illumination light in the high-intensity frame.
  • a light source control unit for controlling the current value of the drive current applied to the light source unit to be constant in the high luminance frame so as to be a value multiplied by a smaller luminance ratio RI (L / H).
  • RI luminance ratio
  • An image generation unit that generates one high dynamic range image, and the light source control unit temporally selects one of the high luminance frame and the low luminance frame related to the one high dynamic range image.
  • the target sensor value S (n) is set for the n frame, and a driving current is generated in the n frame so that the target sensor value S (n) is generated by the photosensor.
  • the target sensor value S (n) is expressed by the following formula 2.
  • [Formula 2] S (n) S (n-1) / RI (L / H) Set to the value shown in.
  • the light source unit generates light having an intensity corresponding to the current value of the applied drive current as illumination light
  • the optical sensor has an intensity of the illumination light.
  • the image sensor generates a sensor value
  • the imaging unit sequentially captures the return light from the subject irradiated with the illumination light to generate an imaging signal for each frame
  • the light source control unit A driving current is applied to the light source unit to cause the light source unit to alternately perform low luminance illumination in a low luminance frame and high luminance illumination in a high luminance frame, and the intensity of illumination light in the low luminance frame is
  • the current value of the drive current applied to the light source unit in the high luminance frame so as to be a value obtained by multiplying the intensity of the illumination light in the high luminance frame by a luminance ratio RI (L / H) smaller than 1.
  • the image generation unit is generated in the low-luminance frame and the high-luminance imaging signal generated in the high-luminance frame of the two consecutive high-luminance frames and the low-luminance frame.
  • the object observation system for generating one high dynamic range image by combining the low luminance imaging signal with the high luminance frame related to the one high dynamic range image. And the low-luminance frame, the sensor generated by the photosensor in the (n ⁇ 1) frame in the temporally previous frame, the n frame in the temporally subsequent frame, and the (n ⁇ 1) frame
  • the value is S (n ⁇ 1)
  • a target sensor value S (n) is set for the n frame
  • the target sensor value S (n) is set by the optical sensor.
  • FIG. 3 is a diagram showing a state where PWM control is performed on high-intensity illumination and low-intensity illumination based on a light source control signal in the first embodiment.
  • 5 is a flowchart showing the operation of the subject observation system according to the first embodiment.
  • 4 is a timing chart showing an example of light control in the subject observation system of the first embodiment.
  • 7 is a flowchart showing non-reference color processing in the subject observation system of the second embodiment.
  • 6 is a timing chart illustrating an example of light control of a reference color in the subject observation system according to the second embodiment.
  • FIG. 1 is a diagram showing a configuration of a subject observation system.
  • This embodiment uses, for example, white LEDs (LEDs: Light Emitting Diode) when performing high-luminance range (HDR) images by alternately performing low-intensity illumination and high-intensity illumination for each frame.
  • white LEDs LEDs: Light Emitting Diode
  • HDR high-luminance range
  • a monochromatic LED may be used as an example for performing monochromatic light observation.
  • the subject observation system of this embodiment is configured as an endoscope system that observes a subject using the endoscope 10.
  • the endoscope system includes an endoscope 10, a video processor 20, a monitor 30, and an endoscope light source device 40 (hereinafter abbreviated as a light source device 40 in the drawings and hereinafter). Yes.
  • the endoscope 10 has an elongated insertion portion 11 that can be inserted into a subject on the distal end side.
  • the subject is an object to be examined, for example, inside a body cavity of a human body, a living body other than a human body, or an object other than a living body such as an engine plant.
  • An imaging unit 13 including an objective optical system and an imaging element is provided at the distal end of the insertion unit 11.
  • the objective optical system forms an optical image of the return light from the subject irradiated with the illumination light, and has, for example, one or more optical lenses and an optical diaphragm.
  • the imaging device sequentially performs every frame to capture an optical image formed by the objective optical system and generate an imaging signal.
  • the imaging device includes a sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
  • an illumination lens 14 for irradiating the subject with illumination light transmitted from the light source device 40 via the light guide 15 is disposed at the distal end of the insertion portion 11.
  • the exit end face which is the tip face of the light guide 15 is disposed at a position where the illumination lens 14 is irradiated with illumination light.
  • the light guide 15 is disposed in the insertion portion 11 along the longitudinal direction of the insertion portion 11, and further extends into the connector 12 provided on the proximal end side of the endoscope 10.
  • the signal line 16 is connected to the imaging unit 13 described above.
  • the signal line 16 is disposed in the insertion portion 11 along the longitudinal direction of the insertion portion 11.
  • a cable 17 extends from the endoscope 10 and is detachably connected to the video processor 20 by a connector 18 provided at the distal end portion of the cable 17.
  • the signal line 16 extends in the cable 17 and is connected to the connector 18.
  • the imaging unit 13 is electrically connected to the video processor 20 via the signal line 16 and the connector 18.
  • the video processor 20 is an image processing device that drives the imaging unit 13 and processes an imaging signal obtained from the imaging unit 13 by a video processing circuit.
  • the video processor 20 generates a drive signal including a synchronization signal, supplies the drive signal to the imaging unit 13, and drives the imaging unit 13 while controlling the operation.
  • the imaging unit 13 performs imaging, for example, in units of frames, generates a moving image, and outputs it as an imaging signal.
  • the imaging signal output from the imaging unit 13 in this way is transmitted to the video processor 20.
  • the video processor 20 performs signal processing on the image pickup signal to generate an image signal that can be displayed on the monitor 30.
  • the video processor 20 outputs the generated image signal to the monitor 30 via the cable 21 that connects the video processor 20 and the monitor 30. Thereby, an endoscopic image is displayed on the display screen of the monitor 30.
  • the object observation system of the present embodiment is configured to generate a one-frame observation image from an imaging signal acquired by one-frame imaging, an imaging signal acquired under low-luminance illumination, and high-luminance illumination.
  • An HDR observation mode for generating an HDR image from the acquired image pickup signal can be set. In the following, description regarding the normal observation mode is omitted, and description regarding the HDR observation mode is made.
  • the light source device 40 alternately performs low-intensity illumination and high-intensity illumination for each frame.
  • the video processor 20 outputs a high-intensity imaging signal generated in the high-intensity frame and a low-intensity imaging signal generated in the low-intensity frame out of two consecutive high-intensity frames and low-intensity frames. It is designed to function as an image generation unit that combines and generates one high dynamic range image. Therefore, this embodiment employs a so-called time division HDR system.
  • the video processor 20 detects the brightness of the image based on the imaging signal obtained from the imaging unit 13. Then, the video processor 20 generates a light source control signal for controlling the light source device 40 so that the detected brightness of the image becomes the target brightness.
  • an example of the light source control signal is information on the ratio of the target brightness of the high-brightness image of the current frame to be acquired next to the brightness of the high-brightness image of the latest acquired frame (however, it is not limited to this). Instead, for example, information such as a difference may be used instead of the ratio information, and the light source control signal may be generated based on the low luminance image instead of the high luminance image).
  • the light source control signal is output from the video processor 20 and transmitted to the light source device 40 via the communication cable 22 that connects the video processor 20 and the light source device 40.
  • the light source device 40 includes a control unit 41, an LED driving unit 42, an LED 43, an optical sensor 44, a lens 45, a lens 46, and an operation panel 49.
  • the control unit 41 is connected to the LED driving unit 42, the optical sensor 44, and the operation panel 49. Further, the control unit 41 receives a light source control signal from the video processor 20. Then, the control unit 41 supplies dimming information to the LED drive unit 42 based on the operation input from the operation panel 49, the sensor value S generated by the optical sensor 44, and the light source control signal from the video processor 20. It outputs and controls the inside of the light source device 40.
  • the control unit 41 includes, for example, a nonvolatile storage unit 41a inside (however, the storage unit 41a may be provided outside the control unit 41).
  • Information on the luminance ratio RI (L / H) is stored as an internal setting value in the storage unit 41a.
  • the LED drive part 42 applies a pulse-shaped drive current with respect to LED43 so that it may mention later. Therefore, the storage unit 41a of the present embodiment further stores information on duty / duty ratio (hereinafter referred to as DD ratio) RD (L / H) as an internal set value.
  • the high luminance sensor value generated by the optical sensor 44 in the high luminance frame of the pair of the high luminance frame and the low luminance frame for acquiring the high luminance image and the low luminance image for constituting the HDR image.
  • the luminance ratio RI (L / H) is the ratio RI (L / L) of the low luminance sensor value SL to the high luminance sensor value SH.
  • H) SL / SH It is.
  • the luminance ratio RI (L / H) is a fixed value that is greater than 0 and less than 1 that does not change even when the brightness of the image is changed.
  • the DD ratio RD (L / H) is a duty ratio DL of the pulsed drive current applied to the LED 43 in the low luminance frame with respect to the duty ratio DH of the pulsed drive current applied to the LED 43 in the high luminance frame.
  • Ratio RD (L / H) DL / DH It is.
  • the luminance ratio RI (L / H) and the luminance ratio RI (L / H) are the values of the low-luminance frame with respect to the value of the high-luminance frame here.
  • the value of the luminance frame may be used.
  • the luminance ratio RI (H / L) and the luminance ratio RI (H / L) may be used, which are reciprocals of the luminance ratio RI (L / H) and the luminance ratio RI (L / H), respectively. For this reason, no matter which is stored in the storage unit 41a, the substantially same operational effect can be obtained.
  • the amount of illumination light in one frame is proportional to the product of the sensor value S and the duty ratio D, and the proportionality constant is k.
  • Light emission amount of high brightness frame k ⁇ SH ⁇ DH
  • Light intensity of low-luminance frame k x SL x DL It becomes.
  • the light amount ratio r (L / H) which is the ratio of the light amount of the illumination light in the low luminance frame to the light amount of the illumination light in the high luminance frame, is as follows.
  • the control unit 41 outputs a current value and a pulse width of a driving current applied as a pulse to the LED 43 which is a semiconductor light emitting element, as dimming information to the LED driving unit 42.
  • the control (dimming) of the light emission amount of the LED 43 by the LED driving unit 42 basically applies a current in a pulse form within one frame and controls the pulse width to be applied (so-called PWM (Pulse Width). Modulation)) is performed by pulse width dimming.
  • PWM Pulse Width
  • Modulation is performed by pulse width dimming.
  • a unit representing the pulse width for example, a duty ratio is used.
  • the control of the light emission intensity by controlling the current value of the drive current is used only for the change in the light emission efficiency of the LED 43 due to a temperature change or the like, and details thereof will be described later.
  • the LED drive unit 42 generates a pulsed drive current in which a current value and a pulse width are set based on the dimming information of the control unit 41, applies the generated drive current to the LED 43, and causes the LED 43 to emit light. .
  • the control unit 41 and the LED drive unit 42 are light source control units that apply a drive current to the LED 43 to cause the LED 43 to alternately perform low-luminance illumination in the low-luminance frame and high-luminance illumination in the high-luminance frame.
  • the LED 43 emits light for the light emission period corresponding to the duty ratio of the PWM pulse with the light emission intensity corresponding to the current value of the drive current applied from the LED drive unit 42 in the imaging period of one frame.
  • the LED 43 is a light source unit that generates, as illumination light, light having an intensity corresponding to the current value of the applied drive current.
  • an LED is taken as an example of the semiconductor light emitting element, but the present invention is not limited to this, and a laser diode (LD) or other semiconductor light emitting elements may be used.
  • LD laser diode
  • the LED 43 in the present embodiment is configured as a white LED that emits white light, for example, as described above. Assuming that the current value of the drive current applied to the LED 43 is I, the intensity of the illumination light emitted by the LED 43 within the rated current range (Imin ⁇ I ⁇ Imax) from the minimum current value Imin to the maximum current value Imax is A monotonically increasing function of value I.
  • the optical sensor 44 detects the intensity of the illumination light emitted from the LED 43 and generates a sensor value S.
  • the sensor value S is a monotonically increasing function of the intensity of illumination light (for example, when the sensor value S is proportional to the intensity of illumination light)
  • the sensor value S of the optical sensor 44 increases monotonously with the current value I.
  • the current value I is also a monotonically increasing function of the sensor value S. Therefore, in order to obtain the desired sensor value S, the current value I of the drive current applied to the LED 43 may be controlled (specifically, if the sensor value S is to be increased, the current value I is increased and the sensor value S is increased). If the value S is to be reduced, the current value I may be reduced).
  • the optical sensor 44 in the present embodiment is a non-integrating type that converts received light into an electrical signal in real time (that is, an integrating type that detects the amount of light emitted in one frame by time-integrating the light emission intensity in one frame).
  • an integrating type that detects the amount of light emitted in one frame by time-integrating the light emission intensity in one frame.
  • the lens 45 is disposed on the optical path of the emitted light from the LED 43, converts the light emitted from the LED 43 into substantially parallel light, and emits the light.
  • the lens 46 is disposed on the optical axis of the lens 45 and irradiates the light from the lens 45 to the incident end face of the light guide 15 as parallel light.
  • the operation panel 49 includes, for example, a touch panel, an operation switch, and the like, and is an operation unit that performs settings for the light source device 40 when operated by a user.
  • a signal generated by operating the operation panel 49 is input to the control unit 41.
  • the operation panel 49 can display the current setting value of the light source device 40 and the like.
  • FIG. 2 is a diagram showing a state in which high-intensity illumination and low-intensity illumination are PWM-controlled based on a light source control signal.
  • the control of the light emission amount of the LED 43 by the LED drive unit 42 is basically performed by pulse width dimming that changes the duty ratio. That is, both the duty ratio DH of the current applied to the LED 43 during high-luminance illumination and the duty ratio DL of the current applied to the LED 43 during low-luminance illumination are both increased or decreased in proportion to the light amount command value.
  • the light quantity command value is a target value of the light quantity of the high-luminance frame indicated by the light source control signal.
  • control unit 41 controls the LED drive unit 42 so that the DD ratio RD (L / H) stored in the storage unit 41a is equal to whatever value the light amount command value is. Thereby, the ratio between the duty ratio DH and the duty ratio DL is always maintained at the DD ratio RD (L / H).
  • the DD ratio RD (L / H) is a value greater than 0 and less than or equal to 1.
  • control unit 41 and the LED drive unit 42 that are light source control units adjust the first pulse width of the drive current applied to the LED 43 in the high-luminance frame based on the light source control signal, and also the LED 43 in the low-luminance frame.
  • the second pulse width of the drive current applied to is controlled so as to be a constant DD ratio RD (L / H) with respect to the first pulse width.
  • FIG. 3 is a flowchart showing the operation of the subject observation system
  • FIG. 4 is a timing chart showing an example of light control in the subject observation system.
  • the frame period of one frame is 1/120 second (corresponding frequency is 120 Hz), and the exposure period Exp of 1/240 second (corresponding frequency is 240 Hz) is 1/240.
  • An example is given of a case where the reading period Rd is divided into two (frequency 240 Hz).
  • the maximum value of the duty ratio DH is set to 50 (%).
  • the half of one frame period is not limited to the exposure period Exp, and the maximum value of the duty ratio DH is not limited to 50 (%).
  • the high-luminance image of the high-luminance image and the low-luminance image for constituting the HDR image is acquired first, the low-luminance image is acquired later, and the high-luminance frame is used as a reference.
  • An example in which the low luminance frame is controlled will be mainly described.
  • the low-luminance image may be acquired first, the high-luminance image may be acquired later, and the high-luminance frame may be controlled based on the low-luminance frame.
  • control unit 41 acquires the luminance ratio RI (L / H) and the DD ratio RD (L / H) from the storage unit 41a (step S1).
  • the control unit 41 sets the current value IH of the drive current to be applied to the LED 43 during the high brightness illumination (Step S2).
  • the current value IH is set to, for example, the maximum current value Imax in the range of the rated current (however, as shown in the second embodiment to be described later, this is not a limitation).
  • the control part 41 is controlled so that the electric current value IH of the drive current applied to LED43 in a high-intensity flame
  • frame becomes fixed. Thereby, the current value IH Imax at the time of high-intensity illumination set here is maintained until HDR imaging is completed.
  • nth frame according to the imaging order is described as an n frame or the like. Further, the amount that varies from frame to frame, for example, image brightness B, duty ratio D, sensor value S, current value IL in low-luminance illumination, and the like are described with frame numbers as necessary. I will do it. Then, it is assumed that the next high-brightness image of (n ⁇ 1) frames is acquired.
  • the video processor 20 transmits the generated light source control signal to the control unit 41.
  • the control unit 41 Based on the brightness ratio RB (n ⁇ 1) included in the light source control signal and the duty ratio DH (n ⁇ 3) of the high-luminance frame two frames before, the control unit 41 applies the (n ⁇ 1) frame.
  • Duty ratio DH (n-1) DH (n-1) RB (n-1) ⁇ DH (n-3) (Step S4).
  • the current value IH of the drive current in the high-luminance frame is fixed at the maximum current value Imax. Since the duty ratio DH (n ⁇ 1) is set in step S4, the control is performed based on these settings.
  • the unit 41 controls the LED driving unit 42 to cause the LED 43 to perform high-intensity illumination of (n ⁇ 1) frames (step S5).
  • the light sensor 44 detects the intensity of light, and generates and outputs a high brightness sensor value SH (n-1) during high brightness illumination. Even if the current value is fixed at the maximum current value Imax, as described above, the light emission efficiency of the LED 43 may change due to a temperature change or the like, and thus the high brightness sensor value SH may also change. Then, at the end of the (n-1) frame exposure period Exp, the readout signal R enters the readout period Rd, and the video processor 20 generates a high-intensity image based on the readout imaging signal (step S6).
  • the subsequent n frames are frames that generate a low-luminance image that is paired with a high-luminance image in order to generate an HDR image.
  • control unit 41 multiplies the duty ratio DH (n ⁇ 1) of the (n ⁇ 1) frame by the DD ratio RD (L / H) read out in step S1, thereby obtaining n frames that are low-luminance frames.
  • the duty ratio DL (n) of DL (n) RD (L / H) ⁇ DH (n ⁇ 1) (Step S7).
  • the target low luminance sensor value SL (n) SH (n ⁇ 1) ⁇ RI (L / H) (Step S8).
  • the low-luminance sensor value SL (n ⁇ 1) acquired in the (n ⁇ 1) frame is read out in step S1.
  • the target high luminance sensor value SH (n) SH (n) SL (n-1) / RI (L / H)
  • the method of calculating the next drive current value based on the drive current value of the immediately preceding frame in which the types of low luminance / high luminance are the same is adopted if two frames ago, This is because the change in the luminous efficiency of the LED 43 due to a temperature change or the like may be considered small.
  • the target high-luminance sensor value SH (n) the high-luminance sensor value SH (n-2) two frames before, and the current value of the high-luminance frame two frames before
  • the control unit 41 sets the current value IL (n) and the duty ratio DL (n) thus calculated in the LED driving unit 42.
  • the LED drive unit 42 performs low-luminance illumination for n frames by applying a pulsed drive current based on the set value to the LED 43 (step S10).
  • control unit 41 and the LED driving unit 42 which are light source control units set the target sensor value S (n) for n frames, and the target sensor value S (n) is generated by the optical sensor 44.
  • a drive current is applied to the LED 43 in n frames.
  • the optical sensor 44 detects the intensity of light, and generates and outputs a sensor value SL (n) during low-luminance illumination. Then, when the exposure period Exp for n frames ends, the readout signal R enters the readout period Rd, and the video processor 20 generates a low luminance image based on the readout imaging signal (step S11).
  • the video processor 20 synthesizes the (n ⁇ 1) frame high luminance image and the n frame low luminance image to generate an HDR image (step S12).
  • the HDR image generated here is output from the video processor 20 to the monitor 30, for example, and the HDR endoscope image is displayed on the display screen of the monitor 30.
  • step S13 it is determined whether or not the HDR shooting is to be ended. If it is determined that the HDR shooting is not to be ended, the process returns to step S3 to obtain the next HDR image, and the above-described processing is performed. If it is determined, the process returns from this process to a main process (not shown).
  • the current value IH is kept constant with reference to the high-intensity illumination, and instead of changing the current value IL of the low-intensity illumination in accordance with the change in the light emission efficiency of the LED 43, a low
  • the current value IL may be maintained constant with the luminance illumination as a reference, and the current value IL of the high luminance illumination may be changed.
  • the luminance signal of the low luminance image is output from the video processor 20 so as to output the luminance signal of the low luminance image. Dimming control may be performed with reference to the above.
  • control may be performed based on the duty ratio DL during low-luminance illumination.
  • the dimming is basically performed by the pulse width control.
  • the response is faster than the case where the dimming is performed by current control.
  • the current value is changed over a plurality of frames, and the brightness is adjusted to the target brightness by feeding back from the brightness of the acquired image. Therefore, although the response is slow, according to the present embodiment, high light responsiveness can be realized because the PWM dimming is adopted.
  • the target sensor value S (n) is set to the sensor value S (n ⁇ 1) actually measured in the previous (n ⁇ 1) frame and the predetermined luminance ratio RI (L / H). Since the setting is made based on this, it is possible to synthesize a high-accuracy HDR image while maintaining the brightness ratio between the high-luminance image and the low-luminance image with high accuracy.
  • the current value I (n) of the drive current applied to the LED 43 in the n frame that is not the reference frame is the target sensor value S (n), the sensor value S (n ⁇ 2) two frames before, and two frames. Since the current value I (n ⁇ 2) and the value ⁇ I (n ⁇ 2) ⁇ S (n) / S (n ⁇ 2) ⁇ based on the previous current value I (n ⁇ 2) ⁇ are set, the luminous efficiency of the LED 43 due to temperature change or the like The amount of light emission of the target sensor value S (n) can be obtained accurately without being substantially affected by the change in In this way, the brightness ratio between the high brightness image and the low brightness image can be maintained with higher accuracy.
  • the second pulse width of the drive current in the low-luminance frame has a constant DD ratio RD (L / H) with respect to the first pulse width of the drive current in the high-luminance frame. Accordingly, the DD ratio RD (L / H) can be set to a value less than 1. For this reason, the dynamic range of a high-intensity image and a low-intensity image can be made wider. In addition, even when the light source is deteriorated, the light quantity ratio between the low luminance illumination and the high luminance illumination can be maintained with high accuracy.
  • the current value IH applied to the LED 43 during high brightness illumination is maintained at a constant value, if the light emission efficiency of the LED 43 changes, the light intensity (that is, high brightness) in the high brightness frame changes according to the change in the light emission efficiency.
  • the sensor value SH also changes, the current value IL applied to the LED 43 during the low-luminance illumination is finely adjusted to cope with the intensity change according to the change in the light emission efficiency. For this reason, the light quantity ratio r (L / H) between the high-luminance frame and the low-luminance frame can be maintained constant, and the brightness balance between the high-luminance image and the low-luminance image can be maintained with high accuracy. .
  • FIG. 5 is a diagram showing the configuration of the subject observation system.
  • Embodiment 1 described above is an example of an object observation system that performs illumination using a white LED (or a single color LED). However, in the present embodiment, illumination is performed using a plurality of LEDs that emit light of a plurality of colors. It is a subject observation system that performs
  • the light source device 40 of the present embodiment shown in FIG. 5 is obtained by deleting the LED 43, the optical sensor 44, and the lens 45 from the light source device 40 of the first embodiment shown in FIG. 1, and R-LED 43r (R: red), G -LED 43g (G: green), B-LED 43b (B: blue), V-LED 43v (V: violet color), optical sensors 44r, 44g, 44b, 44v, lenses 45r, 45g, 45b, 45v, dichroic filter 47a, 47b and 47c are added.
  • R-LED 43r red
  • G -LED 43g G: green
  • B-LED 43b blue
  • V-LED 43v V: violet color
  • optical sensors 44r, 44g, 44b, 44v, lenses 45r, 45g, 45b, 45v, dichroic filter 47a, 47b and 47c are added.
  • the R-LED 43r receives a drive current having a current value Ir and a duty ratio Dr from the LED drive unit 42, and emits red light (R light) for a light emission period corresponding to the duty ratio Dr with a light emission intensity corresponding to the current value Ir. Emits light.
  • the G-LED 43g receives a drive current having a current value Ig and a duty ratio Dg from the LED drive unit 42, and emits green light (G light) with a light emission intensity corresponding to the current value Ig and a light emission period corresponding to the duty ratio Dg. To do.
  • the B-LED 43b receives the drive current having the current value Ib and the duty ratio Db from the LED driving unit 42, and emits blue light (B light) with the light emission intensity according to the current value Ib and the light emission period according to the duty ratio Db. To do.
  • V-LED 43v receives a drive current with current value Iv and duty ratio Dv from LED drive unit 42, and emits violet color light (V light) with a light emission intensity according to current value Iv and for a light emission period according to duty ratio Dv. To do.
  • R-LED 43r G-LED 43g, B-LED 43b, and V-LED 43v are light source sections.
  • the control unit 41 uses one color as a reference color (first color C1), and controls the amount of light of a non-reference color (second color C2) other than the reference color based on the reference color. It is like that.
  • first color C1 a reference color
  • second color C2 a non-reference color
  • the reference color is G and R, B, and V are non-reference colors.
  • the present invention is not limited to using G as a reference color, and light of a color other than G may be used as a reference.
  • the G-LED 43g is a first semiconductor light emitting element that generates light of the first color C1.
  • the R-LED 43r, the B-LED 43b, and the V-LED 43v are second semiconductor light emitting elements that generate light of a second color C2 that is different from the first color C1.
  • the optical sensors 44r, 44g, 44b, and 44v detect the intensity of light emitted by the R-LED 43r, G-LED 43g, B-LED 43b, and V-LED 43v, respectively, and respectively detect the sensor values SR, SG, SB, and SV. Generate and output.
  • the optical sensor 44g is a first optical sensor that detects the intensity of light of the first color C1 (here, G) and generates a sensor value SC1 (here, sensor value SG).
  • the optical sensors 44r, 44b, and 44v detect the intensity of the light of the second color C2 (here, R, B, and V) to generate the sensor value SC2 (here, the sensor values SR, SB, and SV). It is a 2nd optical sensor.
  • the sensor values SR, SG, SB, and SV output from the optical sensors 44r, 44g, 44b, and 44v are input to the control unit 41.
  • the lenses 45r, 45g, 45b, and 45v are arranged on the optical path of the emitted light from the R-LED 43r, G-LED 43g, B-LED 43b, and V-LED 43v, respectively, and convert the light emitted from each LED into substantially parallel light. And exit.
  • the dichroic filter 47a is disposed at a position where the optical axis of the lens 45r and the optical axis of the lens 45g intersect.
  • the dichroic filter 47a transmits the R light from the R-LED 43r and reflects the G light from the G-LED 43g. In this way, the R light and the G light are combined by the dichroic filter 47a.
  • the dichroic filter 47b is disposed at a position where the optical axis of the lens 45r and the optical axis of the lens 45b intersect.
  • the dichroic filter 47b transmits the R light from the R-LED 43r and the G light from the G-LED 43g, and reflects the B light from the B-LED 43b. In this way, R light, G light, and B light are combined by the dichroic filter 47b.
  • the dichroic filter 47c is disposed at a position where the optical axis of the lens 45r and the optical axis of the lens 45v intersect.
  • the dichroic filter 47b transmits the R light from the R-LED 43r, the G light from the G-LED 43g, and the B light from the B-LED 43b, and reflects the V light from the V-LED 43v.
  • the R light, G light, B light, and V light are combined by the dichroic filter 47b to become white light.
  • white light is generated by combining R light, G light, B light, and V light (however, R light, G light, and B light are combined). Thus, white light may be generated).
  • the luminance ratio RI (L / H) stored in the storage unit 41a is the luminance ratio related to G, which is the reference color, in the present embodiment.
  • the storage unit 41a of the present embodiment stores information of the color ratio RC (C2 / C1) indicating the light amount of the second color C2 with respect to the light amount of the first color C1 as an internal setting value. Yes.
  • the storage unit 41a stores information on color ratios RC (R / G), RC (B / G), and RC (V / G).
  • the color ratios RC (R / G), RC (B / G), and RC (V / G) are second non-reference colors with respect to the intensity of the light (G light) of the first color C1 that is the reference color.
  • the ratio of the light intensity of each of the light of color C2 (R light, B light, V light) is shown.
  • the color ratio RC (R / G) is the ratio SR / SG of the sensor value SR to the sensor value SG
  • the color ratio RC (B / G) is the ratio SB / SG of the sensor value SB to the sensor value SG.
  • the ratio RC (V / G) is the ratio SV / SG of the sensor value SV with respect to the sensor value SG.
  • the color ratio stored in the storage unit 41a is also information indicating the ratio of the light intensity to the set reference color.
  • the DD ratio RD (L / H) is set to 1 (see FIG. 7). Therefore, storing the DD ratio RD (L / H) in the storage unit 41a may be omitted.
  • the DD ratio RD (L / H) may be set to a value less than 1 as in the first embodiment.
  • FIG. 6 is a flowchart showing non-reference color processing in the subject observation system
  • FIG. 7 is a timing chart showing an example of dimming of the reference color in the subject observation system.
  • the dimming control of the reference color G is substantially the same as the dimming control of white light (or monochromatic light) in the first embodiment.
  • control unit 41 and the LED driving unit 42 that are light source control units perform the same control as the above-described first embodiment on the current value Ig of the driving current applied to the G-LED 43g based on the sensor value SG. .
  • the light source control unit adjusts the first pulse width of the drive current applied to the G-LED 43g in the high luminance frame based on the light source control signal, and the drive current applied to the G-LED 43g in the low luminance frame. Control is performed so that the second pulse width is a constant ratio (DD ratio RD (L / H)) with respect to the first pulse width.
  • the current value Ig of the drive current applied to the G-LED 43g in the high-luminance frame is a predetermined current value smaller than the maximum current value Imax, which is different from the above-described first embodiment. ing.
  • the present embodiment is different from the above-described first embodiment in that the DD ratio RD (L / H) is set to 1.
  • the control unit 41 and the LED drive unit 42 which are light source control units, further drive the second pulse width of the drive current applied to the G-LED 43g in the low luminance frame to be applied to the G-LED 43g in the high luminance frame. Control is made to be the same as the first pulse width of the current.
  • control unit 41 sets the duty ratio D of the non-reference color to be the same as the duty ratio D of the reference color (step S21).
  • the duty ratios Dr, Db, Dv of the non-reference colors R, B, V in the high luminance frame are set to be the same as the duty ratio Dg of the reference color G in the same high luminance frame. Accordingly, the pulse width of the drive current applied to the R-LED 43r, the B-LED 43b, and the V-LED 43v in the high luminance frame is set to the first pulse width of the drive current applied to the G-LED 43g in the high luminance frame. .
  • the duty ratios Dr, Db, Dv of the non-reference colors R, B, V in the low luminance frame are set to be the same as the duty ratio Dg of the reference color G in the same low luminance frame. Accordingly, the pulse width of the drive current applied to the R-LED 43r, B-LED 43b, and V-LED 43v in the low-luminance frame is set to the second pulse width of the drive current applied to the G-LED 43g in the low-luminance frame. .
  • the duty ratio D of the non-reference color is set to be the same as the duty ratio D of the reference color even when the DD ratio RD (L / H) is set to less than 1.
  • SC2 (n) that is, SR (n) for R and SR (n) for B
  • C2 R, B, V
  • SB (n) and V SV (n) and so on are set.
  • the target sensor value SC2 (n) is the sensor value SC1 (n-2) (here, sensor value SG (n-2)) of the first color C1 (here, the reference color G) two frames before.
  • RC (C2 / C1) specifically, RC (R / G), RC (B / G), RC (V / G)
  • Step S22 the color ratio RC (C2 / C1) (specifically, RC (R / G), RC (B / G), RC (V / G)), which is an internal setting value, is calculated as follows: (Step S22).
  • the current value IC2 (n) of the current frame is calculated as follows from the sensor value SC2 (n-2) and the current value IC2 (n-2) of the previous frame (note that the next frame is (When is a high-intensity illumination, the sensor value and current value in the previous high-intensity illumination are referred to. If the next is a low-intensity illumination, the sensor value and current value in the previous low-intensity illumination are referred to.) (Step S23).
  • IC2 (n) ⁇ IC2 (n-2) ⁇ SC2 (n) / SC2 (n-2) ⁇
  • the current value IC2 (n) calculated in step S23 and the drive current having the duty ratio D of the non-reference color set in step S21 are applied to the LED of the second color C2 that is the non-reference color. Apply and return to main processing.
  • the luminance ratio RI (L / H), DD ratio RD (L / H), and color ratio RC (C2 / C1) are fixed values that do not change even when the brightness of the image is changed, as described above. However, depending on the configuration of the light source (for example, LED manufacturer, model number, etc.) or depending on the subject (for example, depending on whether the subject is a living body or an engine plant), and the subject is a living body. Of course, the fixed value to be applied may be different depending on which part is observed).
  • the same effect as that of the first embodiment described above can be obtained, and the sensor value SC1 (n-2) of the first color C1 two frames before and the color ratio RC (C2 / C2 / Since the target sensor value SC2 (n) is calculated based on C1), a high-luminance image is obtained while accurately maintaining the color balance between the first color C1 and the second color C2, and thus the white balance. It is possible to synthesize a high-accuracy HDR image while maintaining the brightness ratio between the low-brightness image and the low-luminance image with high accuracy.
  • the storage unit 41a for storing the luminance ratio RI (L / H) and the color ratio RC (C2 / C1) in a nonvolatile manner is further provided, a plurality of fixed values are prepared and stored in advance for each of them.
  • a fixed value suitable for the observation target can be selected by operating the operation panel 49, and an HDR image that is easier to observe can be synthesized.
  • the pulse width of the drive current applied to the R-LED 43r, the B-LED 43b, and the V-LED 43v is the same as the pulse width of the drive current applied to the G-LED 43g in both the high-luminance frame and the low-luminance frame. Therefore, the white balance can be accurately maintained with simple control.
  • the control is further simplified. Can do.
  • time-division HDR images can be captured while switching between high-intensity illumination and low-intensity illumination while maintaining white balance. Is possible.
  • each unit may be a processor configured as an electronic circuit, or may be each circuit unit in a processor configured by an integrated circuit such as an FPGA (Field Programmable Gate Gate Array).
  • a processor constituted by one or more CPUs may execute the functions of each unit by reading and executing a processing program recorded on a recording medium.
  • an operation method for operating the subject observation system as described above may be used, or a process for causing a computer to perform the same process as the subject observation system. It may be a program, a non-temporary recording medium readable by a computer for recording the processing program, or the like.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

ＬＥＤ（４３）と、光センサ（４４）と、撮像部（１３）と、高輝度時の電流値を一定にしながら、輝度比率ＲＩ（Ｌ／Ｈ）の低輝度照明と高輝度照明とを交互にＬＥＤ（４３）に行わせる光源制御部（４１，４２）と、ＨＤＲ画像を生成するビデオプロセッサ（２０）と、を有し、時間的に先の（ｎ－１）フレームのセンサ値Ｓ（ｎ－１）と、輝度比率ＲＩ（Ｌ／Ｈ）とに基づいて、時間的に後のｎフレームの目標センサ値Ｓ（ｎ）を設定する被検体観察システム。

Description

被検体観察システム、被検体観察システムの作動方法
　本発明は、低輝度照明と高輝度照明とを交互に行ってハイダイナミックレンジ画像を生成する被検体観察システム、被検体観察システムの作動方法に関する。
　露光量が小さい低輝度画像と、低輝度画像よりも露光量が大きい高輝度画像とを取得して、低輝度画像と高輝度画像と合成することにより、１枚の撮像画像よりもダイナミックレンジが広いハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）画像を生成する技術（ＨＤＲ技術）が従来より提案されている。
　ところで、内視鏡の適用分野では、環境照明光がないことが基本であるために、観察を行う際に照明光を観察対象となる被検体に照射する。このとき、同一の照明光量を照射しても、近接した被検体は明るく写り、遠方にある被検体は暗く写るために、内視鏡画像にハレーション、黒つぶれなどが生じることがある。
　上述したＨＤＲ技術を用いると、高輝度画像のハレーション部分に低輝度画像の対応する画像部分を用い、低輝度画像の黒つぶれ部分に高輝度画像の対応する画像部分を用いることで、ハレーションおよび黒つぶれを抑制することができる。従って、ＨＤＲ技術を内視鏡の分野に適用することが注目されている。
　そして、内視鏡において、低輝度画像と高輝度画像とを取得する際には、上述したように環境照明光がないために、照射する照明光の光量を異ならせることになる。具体的に、低輝度画像を取得する際に低輝度照明を行い、高輝度画像を取得する際に低輝度照明よりも光量が大きい高輝度照明を行うことになる。
　こうした技術として、例えば国際公開公報ＷＯ２０１６／１０４３８６号には、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための露光量を設定する調光装置であって、画像データまたは合成画像データを取得して画像の明るさを検出する明るさ検出部と、明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、基準露光量算出部が算出した基準露光量をもとに、露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を備える調光装置が記載されている。さらに該公報には、光源として、白色ＬＥＤ（Light Emitting Diode）、あるいは赤色ＬＥＤ、緑色ＬＥＤ、および青色ＬＥＤを用いること、調光を電流調光とＰＷＭ（Pulse Width Modulation）調光との組み合わせにより行うこと、などが記載されている。
　ところで、ＬＥＤなどの半導体発光素子は、温度が高くなると発光効率が低下して、同一の電流値を与えても発光する光の強度が低くなる傾向がある。そして、半導体発光素子の温度は、発光量を大きくするとき（例えば、被検体までの距離が遠いとき）には高くなり、発光量を小さくするとき（例えば、被検体までの距離が近いとき）には低くなる。このために、半導体発光素子の発光効率は、例えば、どの距離にある被検体を観察するかに応じて変化する。
　さらに、複数色の光を発生する複数の半導体発光素子がある場合には、どの色の光を発生する半導体発光素子であるかに応じて、発光効率の温度依存性が異なる。
　ＨＤＲ画像を合成するための高輝度画像および低輝度画像を撮像する際には、高輝度照明と低輝度照明との光量比を高精度に維持すること求められる。このために、半導体発光素子の発光効率が変化する場合に対応する技術が求められている。
　本発明は上記事情に鑑みてなされたものであり、高輝度照明と低輝度照明との光量比を高精度に維持して、精度の高いハイダイナミックレンジ画像を得ることができる被検体観察システム、被検体観察システムの作動方法を提供することを目的としている。
　本発明の一態様による被検体観察システムは、印加される駆動電流の電流値に応じた強度の光を照明光として発生する光源部と、前記照明光の強度を検出してセンサ値を生成する光センサと、前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行う撮像部と、前記光源部に駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に１よりも小さい輝度比率ＲＩ（Ｌ／Ｈ）を乗算した値となるように、かつ、前記高輝度フレームにおいて前記光源部に印加する駆動電流の電流値が一定となるように制御する光源制御部と、２つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、１つのハイダイナミックレンジ画像を生成する画像生成部と、を有し、前記光源制御部は、前記１つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを（ｎ－１）フレーム、時間的に後のフレームをｎフレーム、前記（ｎ－１）フレームにおいて前記光センサにより生成されたセンサ値をＳ（ｎ－１）としたときに、前記ｎフレームに対して目標センサ値Ｓ（ｎ）を設定し、前記目標センサ値Ｓ（ｎ）が前記光センサにより生成されるような駆動電流を前記ｎフレームにおいて前記光源部に印加するものであり、前記（ｎ－１）フレームが前記高輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式１
［数式１］
　　Ｓ（ｎ）＝Ｓ（ｎ－１）×ＲＩ（Ｌ／Ｈ）
に示す値となるように設定し、前記（ｎ－１）フレームが前記低輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式２
［数式２］
　　Ｓ（ｎ）＝Ｓ（ｎ－１）／ＲＩ（Ｌ／Ｈ）
に示す値となるように設定する。
　本発明の他の態様による被検体観察システムの作動方法は、光源部が、印加される駆動電流の電流値に応じた強度の光を照明光として発生し、光センサが、前記照明光の強度を検出してセンサ値を生成し、撮像部が、前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行い、光源制御部が、前記光源部に駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に１よりも小さい輝度比率ＲＩ（Ｌ／Ｈ）を乗算した値となるように、かつ、前記高輝度フレームにおいて前記光源部に印加する駆動電流の電流値が一定となるように制御し、画像生成部が、２つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、１つのハイダイナミックレンジ画像を生成する被検体観察システムの作動方法であって、前記光源制御部は、前記１つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを（ｎ－１）フレーム、時間的に後のフレームをｎフレーム、前記（ｎ－１）フレームにおいて前記光センサにより生成されたセンサ値をＳ（ｎ－１）としたときに、前記ｎフレームに対して目標センサ値Ｓ（ｎ）を設定し、前記目標センサ値Ｓ（ｎ）が前記光センサにより生成されるような駆動電流を前記ｎフレームにおいて前記光源部に印加するものであり、前記（ｎ－１）フレームが前記高輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式１
［数式１］
　　Ｓ（ｎ）＝Ｓ（ｎ－１）×ＲＩ（Ｌ／Ｈ）
に示す値となるように設定し、前記（ｎ－１）フレームが前記低輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式２
［数式２］
　　Ｓ（ｎ）＝Ｓ（ｎ－１）／ＲＩ（Ｌ／Ｈ）
に示す値となるように設定する。
本発明の実施形態１における被検体観察システムの構成を示す図。 上記実施形態１において、光源制御信号に基づいて、高輝度照明および低輝度照明をＰＷＭ制御する様子を示す線図。 上記実施形態１の被検体観察システムの作用を示すフローチャート。 上記実施形態１の被検体観察システムにおける調光の例を示すタイミングチャート。 本発明の実施形態２における被検体観察システムの構成を示す図。 上記実施形態２の被検体観察システムにおける非基準色処理を示すフローチャート。 上記実施形態２の被検体観察システムにおける、基準色の調光の例を示すタイミングチャート。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図４は本発明の実施形態１を示したものであり、図１は被検体観察システムの構成を示す図である。
　本実施形態は、低輝度照明と高輝度照明とをフレーム毎に交互に行ってハイダイナミックレンジ（ＨＤＲ）画像を生成し観察を行う際に、例えば白色ＬＥＤ（ＬＥＤ：Light Emitting Diode）を用いることで白色光観察を行う例となっている。ただし、単色ＬＥＤを用いることで単色光観察を行う例としても構わない。
　本実施形態の被検体観察システムは、内視鏡１０を用いて被検体を観察する内視鏡システムとして構成されたものとなっている。
　すなわち、内視鏡システムは、内視鏡１０と、ビデオプロセッサ２０と、モニタ３０と、内視鏡用光源装置４０（図面、および以降においては、光源装置４０と略称する）と、を備えている。
　内視鏡１０は、先端側に、被検体に挿入可能な細長の挿入部１１を有している。ここに、被検体は、検査対象の物体であり、例えば人体の体腔内でもよいし、人体以外の生体でも構わないし、エンジンプラントなどの生体以外の物体でもよい。
　挿入部１１の先端部には、対物光学系および撮像素子を含む撮像部１３が設けられている。対物光学系は、照明光が照射された被検体からの戻り光を光学像として結像するものであり、例えば、１枚以上の光学レンズおよび光学絞りを有して構成されている。撮像素子は、対物光学系により結像された光学像を撮像して撮像信号を生成することを、フレーム毎に順次行う。具体的に、撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサを有して構成されている。
　さらに、挿入部１１の先端部には、光源装置４０からライトガイド１５を経由して伝送された照明光を、被検体へ照射するための照明用レンズ１４が配設されている。
　すなわち、照明用レンズ１４へ照明光を照射する位置に、ライトガイド１５の先端面である出射端面が配置されている。ライトガイド１５は、挿入部１１の長手方向に沿って挿入部１１内に配置され、さらに内視鏡１０の基端側に設けられたコネクタ１２内へ延設されている。
　上述した撮像部１３には信号線１６が接続されている。信号線１６は、挿入部１１の長手方向に沿って挿入部１１内に配置されている。内視鏡１０からはケーブル１７が延設され、ケーブル１７の先端部に設けられたコネクタ１８によりビデオプロセッサ２０に着脱自在に接続されるようになっている。信号線１６は、ケーブル１７内に延設されて、コネクタ１８に接続されている。
　このような構成により、撮像部１３は、信号線１６およびコネクタ１８を経由して、ビデオプロセッサ２０に電気的に接続される。
　ビデオプロセッサ２０は、撮像部１３を駆動すると共に、撮像部１３から得られた撮像信号を映像処理回路により処理する画像処理装置である。
　すなわち、ビデオプロセッサ２０は、同期信号を含む駆動信号を生成して、撮像部１３へ供給し、動作を制御しながら撮像部１３を駆動する。これにより撮像部１３は、例えばフレーム単位で撮像を行って動画像を生成し、撮像信号として出力する。こうして撮像部１３から出力された撮像信号は、ビデオプロセッサ２０へ送信される。
　ビデオプロセッサ２０は、撮像信号に信号処理を行って、モニタ３０に表示可能な画像信号を生成する。ビデオプロセッサ２０は、生成した画像信号を、ビデオプロセッサ２０とモニタ３０とを接続するケーブル２１により、モニタ３０へ出力する。これにより、モニタ３０の表示画面に、内視鏡画像が表示される。
　ところで、本実施形態の被検体観察システムは、１フレームの撮像で取得した撮像信号から１フレームの観察画像を生成する通常観察モードと、低輝度照明下で取得した撮像信号と高輝度照明下で取得した撮像信号とからＨＤＲ画像を生成するＨＤＲ観察モードと、に設定することができるようになっている。そして以下では、通常観察モードに関する説明は省略して、ＨＤＲ観察モードに関する説明を行う。
　被検体観察システムがＨＤＲ観察モードに設定されている場合に、光源装置４０は、低輝度照明と高輝度照明とをフレーム毎に交互に行うようになっている。
　この場合にビデオプロセッサ２０は、２つの連続する高輝度フレームと低輝度フレームとの内の、高輝度フレームにおいて生成された高輝度撮像信号と、低輝度フレームにおいて生成された低輝度撮像信号とを合成して、１つのハイダイナミックレンジ画像を生成する画像生成部として機能するようになっている。従って、本実施形態は、いわゆる時分割ＨＤＲ方式を採用している。
　また、ビデオプロセッサ２０は、撮像部１３から得られた撮像信号に基づいて、画像の明るさを検出する。そして、ビデオプロセッサ２０は、検出した画像の明るさが、目標の明るさとなるように、光源装置４０を制御するための光源制御信号を生成する。
　ここに、光源制御信号の一例は、取得済みの最新フレームの高輝度画像の明るさに対する、次に取得する現フレームの高輝度画像の目標明るさの比率の情報である（ただしこれに限るものではなく、例えば、比率の情報に代えて差分等の情報としても構わないし、高輝度画像に代えて低輝度画像に基づき光源制御信号を生成してもよい）。
　この光源制御信号は、ビデオプロセッサ２０から出力され、ビデオプロセッサ２０と光源装置４０とを接続する通信ケーブル２２により、光源装置４０へ伝送される。
　光源装置４０は、制御部４１と、ＬＥＤ駆動部４２と、ＬＥＤ４３と、光センサ４４と、レンズ４５と、レンズ４６と、操作パネル４９と、を備えている。
　制御部４１は、ＬＥＤ駆動部４２と、光センサ４４と、操作パネル４９と、に接続されている。また、制御部４１には、ビデオプロセッサ２０からの光源制御信号が入力されるようになっている。そして、制御部４１は、操作パネル４９からの操作入力と、光センサ４４により生成されたセンサ値Ｓと、ビデオプロセッサ２０からの光源制御信号とに基づいて、ＬＥＤ駆動部４２に調光情報を出力し、光源装置４０内を制御するものである。
　制御部４１は、例えば内部に、不揮発性の記憶部４１ａを備えている（ただし、記憶部４１ａを制御部４１の外部に設けても構わない）。この記憶部４１ａには、輝度比率ＲＩ（Ｌ／Ｈ）の情報が内部設定値として記憶されている。また、ＬＥＤ駆動部４２は、後述するように、ＬＥＤ４３に対してパルス状の駆動電流を印加するようになっている。そこで本実施形態の記憶部４１ａには、さらに、デューティー／デューティー比率（以下、ＤＤ比率という）ＲＤ（Ｌ／Ｈ）の情報が内部設定値として記憶されている。
　ここに、ＨＤＲ画像を構成するための高輝度画像と低輝度画像とを取得する一対の高輝度フレームと低輝度フレームとの内の、高輝度フレームにおいて光センサ４４により生成される高輝度センサ値をＳＨ、低輝度フレームにおいて光センサ４４により生成される低輝度センサ値をＳＬとすると、輝度比率ＲＩ（Ｌ／Ｈ）は、高輝度センサ値ＳＨに対する低輝度センサ値ＳＬの比率
　　ＲＩ（Ｌ／Ｈ）＝ＳＬ／ＳＨ
である。この輝度比率ＲＩ（Ｌ／Ｈ）は、画像の明るさを変化させるときでも変化しない、０よりも大きく１未満の固定値である。
　また、ＤＤ比率ＲＤ（Ｌ／Ｈ）は、高輝度フレームにおいてＬＥＤ４３に印加されるパルス状の駆動電流のデューティー比ＤＨに対する、低輝度フレームにおいてＬＥＤ４３に印加されるパルス状の駆動電流のデューティー比ＤＬの比率
　　ＲＤ（Ｌ／Ｈ）＝ＤＬ／ＤＨ
である。このＤＤ比率ＲＤ（Ｌ／Ｈ）は、画像の明るさを変化させるときでも変化しない、０よりも大きく１以下の固定値である。従って、例えば、ＲＤ（Ｌ／Ｈ）＝１として、ＤＤ比率ＲＤ（Ｌ／Ｈ）の記憶や取得を省略するようにしても構わない（後述する実施形態２参照）。
　なお、輝度比率ＲＩ（Ｌ／Ｈ）および輝度比率ＲＩ（Ｌ／Ｈ）を、ここでは高輝度フレームの値に対する低輝度フレームの値としたが、これに変えて、低輝度フレームの値に対する高輝度フレームの値としても構わない。この場合には、輝度比率ＲＩ（Ｈ／Ｌ）および輝度比率ＲＩ（Ｈ／Ｌ）とすればよいが、それぞれ輝度比率ＲＩ（Ｌ／Ｈ）および輝度比率ＲＩ（Ｌ／Ｈ）の逆数となるために、何れを記憶部４１ａに記憶したとしても実体的に同一の作用効果を得ることができる。
　そして、１フレームにおける照明光の光量は、センサ値Ｓとデューティー比Ｄの積に比例し、比例定数をｋとすると、
　　高輝度フレームの発光量＝ｋ×ＳＨ×ＤＨ
　　低輝度フレームの発光量＝ｋ×ＳＬ×ＤＬ
となる。
　従って、高輝度フレームにおける照明光の光量に対する、低輝度フレームにおける照明光の光量の比率である光量比率ｒ（Ｌ／Ｈ）は、以下となる。
　　ｒ（Ｌ／Ｈ）＝ＳＬ×ＤＬ／（ＳＨ×ＤＨ）
　上式の右辺は、輝度比率ＲＩ（Ｌ／Ｈ）とＤＤ比率ＲＤ（Ｌ／Ｈ）とを乗算した値であるために、光量比率ｒ（Ｌ／Ｈ）は、
　　ｒ（Ｌ／Ｈ）＝ＲＩ（Ｌ／Ｈ）×ＲＤ（Ｌ／Ｈ）
とも書ける。従って、光量比率ｒ（Ｌ／Ｈ）は、０よりも大きく１よりも小さい値となる。
　制御部４１は、半導体発光素子であるＬＥＤ４３に対してパルスとして印加する駆動電流の電流値、およびパルス幅を、ＬＥＤ駆動部４２への調光情報として出力するようになっている。
　このとき、ＬＥＤ駆動部４２によるＬＥＤ４３の発光量の制御（調光）は、基本的に、１フレーム内で電流をパルス状に印加して、印加するパルス幅を制御する（いわゆるＰＷＭ（Pulse Width Modulation）による）パルス幅調光により行われるようになっている。なお、パルス幅を表す単位としては、例えばデューティー比が用いられる。一方、駆動電流の電流値を制御することによる発光強度の制御は、温度変化等によるＬＥＤ４３の発光効率の変化に対してのみ用いられるようになっているが、その詳細については後述する。
　ＬＥＤ駆動部４２は、制御部４１の調光情報に基づいて電流値およびパルス幅を設定したパルス状の駆動電流を生成し、生成した駆動電流をＬＥＤ４３に印加して、ＬＥＤ４３に発光を行わせる。
　制御部４１およびＬＥＤ駆動部４２は、ＬＥＤ４３に駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互にＬＥＤ４３に行わせる光源制御部となっている。
　こうしてＬＥＤ４３は、１フレームの撮像期間において、ＬＥＤ駆動部４２から印加される駆動電流の、電流値に応じた発光強度で、ＰＷＭパルスのデューティー比に応じた発光期間だけ発光するようになっている。
　ＬＥＤ４３は、印加される駆動電流の電流値に応じた強度の光を照明光として発生する光源部である。なお、本実施形態では半導体発光素子としてＬＥＤを例に挙げるが、これに限定されるものではなく、レーザダイオード（ＬＤ）や、その他の半導体発光素子を用いても構わない。
　本実施形態におけるＬＥＤ４３は、上述したように、例えば白色光を発光する白色ＬＥＤとして構成されている。ＬＥＤ４３に印加される駆動電流の電流値をＩとすると、最小電流値Ｉｍｉｎから最大電流値Ｉｍａｘまでの定格電流の範囲（Ｉｍｉｎ≦Ｉ≦Ｉｍａｘ）内においてＬＥＤ４３が発光する照明光の強度は、電流値Ｉの単調増加関数である。
　光センサ４４は、ＬＥＤ４３から発光される照明光の強度を検出してセンサ値Ｓを生成する。センサ値Ｓが照明光の強度の単調増加関数である場合（例えば、センサ値Ｓが照明光の強度に比例する場合など）には、光センサ４４のセンサ値Ｓは、電流値Ｉの単調増加関数となる（同様に、電流値Ｉもセンサ値Ｓの単調増加関数となる）。従って、所望のセンサ値Ｓを取得するためには、ＬＥＤ４３に印加する駆動電流の電流値Ｉを制御すればよい（具体的に、センサ値Ｓを大きくしたければ電流値Ｉを大きくし、センサ値Ｓを小さくしたければ電流値Ｉを小さくすればよい）。
　なお、本実施形態における光センサ４４は、受光した光をリアルタイムに電気信号に変換する非積分タイプ（すなわち、１フレーム内の発光強度を時間積分して１フレームの発光量を検出する積分タイプとは異なるタイプ）を想定している。従って、パルス幅制御を行うと、発光時にはゼロ以外のセンサ値Ｓが出力されるが、非発光時にはセンサ値Ｓがゼロとなる。このために、本実施形態で述べるセンサ値Ｓは、発光時のセンサ値であるものとする。
　レンズ４５は、ＬＥＤ４３の出射光の光路上に配置され、ＬＥＤ４３から発光された光を略平行光に変換して出射する。
　レンズ４６は、レンズ４５の光軸上に配置され、レンズ４５からの光を、平行光としてライトガイド１５の入射端面へ照射する。
　操作パネル４９は、例えばタッチパネルや操作スイッチ等を備え、ユーザが操作することで、光源装置４０に対して設定を行う操作部である。操作パネル４９を操作することで発生した信号は、制御部４１へ入力される。また、操作パネル４９には、光源装置４０の現在の設定値等を表示することができるようになっている。
　図２は、光源制御信号に基づいて、高輝度照明および低輝度照明をＰＷＭ制御する様子を示す線図である。
　上述したように、ＬＥＤ駆動部４２によるＬＥＤ４３の発光量の制御は、基本的に、デューティー比を変化させるパルス幅調光により行われる。すなわち、高輝度照明時にＬＥＤ４３に印加される電流のデューティー比ＤＨと、低輝度照明時にＬＥＤ４３に印加される電流のデューティー比ＤＬとは、何れも、光量指令値に比例して増減される。ここに、光量指令値は、光源制御信号により示される、高輝度フレームの光量の目標値である。
　また、制御部４１は、光量指令値がどの値であっても、記憶部４１ａに記憶しているＤＤ比率ＲＤ（Ｌ／Ｈ）となるようにＬＥＤ駆動部４２を制御する。これにより、デューティー比ＤＨとデューティー比ＤＬとの比率は常にＤＤ比率ＲＤ（Ｌ／Ｈ）に維持される。ここに、ＤＤ比率ＲＤ（Ｌ／Ｈ）は０よりも大きく１以下の値である。
　こうして、光源制御部である制御部４１およびＬＥＤ駆動部４２は、光源制御信号に基づいて、高輝度フレームにおいてＬＥＤ４３に印加する駆動電流の第１のパルス幅を調整すると共に、低輝度フレームにおいてＬＥＤ４３に印加する駆動電流の第２のパルス幅が、第１のパルス幅に対して一定のＤＤ比率ＲＤ（Ｌ／Ｈ）となるように制御している。
　図３は被検体観察システムの作用を示すフローチャート、図４は被検体観察システムにおける調光の例を示すタイミングチャートである。
　なお、図４には１フレームのフレーム期間が１／１２０秒（対応する周波数は１２０Ｈｚ）で、１フレーム期間が、１／２４０秒（対応する周波数は２４０Ｈｚ）の露光期間Ｅｘｐと、１／２４０秒（周波数２４０Ｈｚ）の読出期間Ｒｄとに２分される場合を一例に挙げている。このために、図２においては、デューティー比ＤＨの最大値を５０（％）としている。ただし、１フレーム期間の半分を露光期間Ｅｘｐとするに限定されるものではなく、デューティー比ＤＨの最大値も５０（％）に限定されるものではない。
　また、本実施形態においては、ＨＤＲ画像を構成するための高輝度画像と低輝度画像との内の、高輝度画像を先に取得して低輝度画像を後に取得し、高輝度フレームを基準として低輝度フレームの制御を行う例を主に説明する。ただし、これとは逆に、低輝度画像を先に取得して高輝度画像を後に取得し、低輝度フレームを基準として高輝度フレームの制御を行うようにしても構わない。
　図３に示す処理を開始すると、制御部４１は、記憶部４１ａから輝度比率ＲＩ（Ｌ／Ｈ）およびＤＤ比率ＲＤ（Ｌ／Ｈ）を取得する（ステップＳ１）。
　次に、制御部４１は、高輝度照明時にＬＥＤ４３に印加する駆動電流の電流値ＩＨを設定する（ステップＳ２）。本実施形態においては、電流値ＩＨを、例えば、定格電流の範囲における最大電流値Ｉｍａｘに設定する（ただし、後述する実施形態２に示すように、これに限るものではない）。そして、制御部４１は、高輝度フレームにおいてＬＥＤ４３に印加する駆動電流の電流値ＩＨが一定となるように制御する。これにより、ここで設定された高輝度照明時の電流値ＩＨ＝Ｉｍａｘは、ＨＤＲ撮影が終了するまで維持される。
　なお、以下の説明では、撮像順序に従ったｎ番目のフレームをｎフレームなどと記載することとする。また、フレーム毎に変動する量、例えば、画像の明るさＢ、デューティー比Ｄ、センサ値Ｓ、低輝度照明時の電流値ＩＬなどについては、必要に応じて、フレーム番号を付して記載することとする。そして、次に取得するのが（ｎ－１）フレームの高輝度画像であるものとする。
　すると、ビデオプロセッサ２０が、（ｎ－１）フレームの２フレーム前に取得した高輝度画像の輝度信号に基づいて明るさＢ（ｎ－３）を求め、明るさＢ（ｎ－３）に対する、次に取得する（ｎ－１）フレームの高輝度照明時の目標明るさＢ（ｎ－１）の明るさ比率ＲＢ（ｎ－１）、つまり、
　　ＲＢ（ｎ－１）＝Ｂ（ｎ－１）／Ｂ（ｎ－３）
を光源制御信号が含むように、光源制御信号を生成する。（ステップＳ３）。ビデオプロセッサ２０は、生成した光源制御信号を、制御部４１へ送信する。
　制御部４１は、光源制御信号に含まれる明るさ比率ＲＢ（ｎ－１）と、２フレーム前の高輝度フレームのデューティー比ＤＨ（ｎ－３）とに基づいて、（ｎ－１）フレームに対するデューティー比ＤＨ（ｎ－１）を、
　　ＤＨ（ｎ－１）＝ＲＢ（ｎ－１）×ＤＨ（ｎ－３）
として設定する（ステップＳ４）。
　高輝度フレームの駆動電流の電流値ＩＨは上述したように最大電流値Ｉｍａｘで固定されており、ステップＳ４においてデューティー比ＤＨ（ｎ－１）が設定されたために、これらの設定に基づいて、制御部４１がＬＥＤ駆動部４２を制御し、ＬＥＤ４３に（ｎ－１）フレームの高輝度照明を行わせる（ステップＳ５）。
　ＬＥＤ４３が発光している間は、光センサ４４が光の強度を検出して、高輝度照明時の高輝度センサ値ＳＨ（ｎ－１）を生成し出力する。なお、電流値が最大電流値Ｉｍａｘに固定されていても、上述したように、温度変化等によりＬＥＤ４３の発光効率が変化することがあるために、高輝度センサ値ＳＨも変化することがある。そして、（ｎ－１）フレームの露光期間Ｅｘｐが終わったところで読出期間Ｒｄに入って撮像信号を読み出し、読み出した撮像信号に基づきビデオプロセッサ２０が高輝度画像を生成する（ステップＳ６）。
　続くｎフレームは、ＨＤＲ画像を生成するために、高輝度画像と対をなす低輝度画像を生成するフレームである。
　そこで、制御部４１は、ステップＳ１で読み出したＤＤ比率ＲＤ（Ｌ／Ｈ）を、（ｎ－１）フレームのデューティー比ＤＨ（ｎ－１）に乗算することで、低輝度フレームであるｎフレームのデューティー比ＤＬ（ｎ）を、
　　ＤＬ（ｎ）＝ＲＤ（Ｌ／Ｈ）×ＤＨ（ｎ－１）
として算出する（ステップＳ７）。
　なお、上述したようにＤＤ比率ＲＤ（Ｌ／Ｈ）＝１として高輝度フレームのデューティー比ＤＨと低輝度フレームのデューティー比ＤＬとを同一とする場合（後述する実施形態２参照）には、このステップＳ７の処理を省略しても構わない。
　さらに、（ｎ－１）フレームで取得した高輝度センサ値ＳＨ（ｎ－１）と、ステップＳ１で読み出した輝度比率ＲＩ（Ｌ／Ｈ）とに基づき、目標低輝度センサ値ＳＬ（ｎ）を、
　　ＳＬ（ｎ）＝ＳＨ（ｎ－１）×ＲＩ（Ｌ／Ｈ）
として算出する（ステップＳ８）。
　なお、高輝度フレームを基準とするのに代えて低輝度フレームを基準とする場合には、（ｎ－１）フレームで取得した低輝度センサ値ＳＬ（ｎ－１）と、ステップＳ１で読み出した輝度比率ＲＩ（Ｌ／Ｈ）とに基づき、目標高輝度センサ値ＳＨ（ｎ）を、
　　ＳＨ（ｎ）＝ＳＬ（ｎ－１）／ＲＩ（Ｌ／Ｈ）
として算出すればよい。
　さらに、目標低輝度センサ値ＳＬ（ｎ）と、２フレーム前の低輝度センサ値ＳＬ（ｎ－２）と、２フレーム前の低輝度フレームの電流値ＩＬ（ｎ－２）とに基づいて、ｎフレームでＬＥＤ４３に印加する駆動電流の電流値ＩＬ（ｎ）を、
　　ＩＬ（ｎ）＝｛ＩＬ（ｎ－２）×ＳＬ（ｎ）／ＳＬ（ｎ－２）｝
として算出する（ステップＳ９）。このような、低輝度／高輝度の種別が同一となる直前のフレームの駆動電流値に基づいて、次の駆動電流値を算出する方法を採用しているのは、２フレーム前であれば、温度変化等によるＬＥＤ４３の発光効率の変化は小さいと考えてよいためである。
　なお、低輝度フレームを基準とする場合には、目標高輝度センサ値ＳＨ（ｎ）と、２フレーム前の高輝度センサ値ＳＨ（ｎ－２）と、２フレーム前の高輝度フレームの電流値ＩＨ（ｎ－２）とに基づいて、ｎフレームでＬＥＤ４３に印加する駆動電流の電流値ＩＨ（ｎ）を、
　　ＩＨ（ｎ）＝｛ＩＨ（ｎ－２）×ＳＨ（ｎ）／ＳＨ（ｎ－２）｝
として算出すればよい。
　制御部４１は、こうして算出した電流値ＩＬ（ｎ）およびデューティー比ＤＬ（ｎ）を、ＬＥＤ駆動部４２に設定する。ＬＥＤ駆動部４２は、設定値に基づいたパルス状の駆動電流をＬＥＤ４３に印加することで、ｎフレームの低輝度照明を行う（ステップＳ１０）。
　こうして、光源制御部である制御部４１およびＬＥＤ駆動部４２は、ｎフレームに対して目標センサ値Ｓ（ｎ）を設定し、目標センサ値Ｓ（ｎ）が光センサ４４により生成されるような駆動電流をｎフレームにおいてＬＥＤ４３に印加するようになっている。
　ＬＥＤ４３が発光している間は、光センサ４４が光の強度を検出して、低輝度照明時のセンサ値ＳＬ（ｎ）を生成し出力する。そして、ｎフレームの露光期間Ｅｘｐが終わったところで読出期間Ｒｄに入って撮像信号を読み出し、読み出した撮像信号に基づきビデオプロセッサ２０が低輝度画像を生成する（ステップＳ１１）。
　ビデオプロセッサ２０は、（ｎ－１）フレームの高輝度画像と、ｎフレームの低輝度画像とを合成して、ＨＤＲ画像を生成する（ステップＳ１２）。ここで生成されたＨＤＲ画像は、例えば、ビデオプロセッサ２０からモニタ３０へ出力され、モニタ３０の表示画面に、ＨＤＲ内視鏡画像が表示される。
　その後、ＨＤＲ撮影を終了するか否かを判定して（ステップＳ１３）、終了しないと判定された場合には次のＨＤＲ画像を取得するためにステップＳ３へ戻って上述した処理を行い、終了すると判定された場合にはこの処理から図示しないメイン処理等へリターンする。
　なお、上述したように、高輝度照明を基準として電流値ＩＨを一定に維持し、低輝度照明の電流値ＩＬをＬＥＤ４３の発光効率の変化に合わせて変化させるようにするのに代えて、低輝度照明を基準として電流値ＩＬを一定に維持し、高輝度照明の電流値ＩＬを変化させるようにしても構わない。
　また、ビデオプロセッサ２０から出力される高輝度画像の輝度信号を基準として調光制御するのに代えて、ビデオプロセッサ２０から低輝度画像の輝度信号を出力するようにして、低輝度画像の輝度信号を基準として調光制御するようにしても構わない。
　さらに、高輝度照明時のデューティー比ＤＨを基準として制御を行うのに代えて、低輝度照明時のデューティー比ＤＬを基準として制御を行うようにしてもよい。
　このような実施形態１によれば、高輝度フレームにおいてＬＥＤ４３に印加する駆動電流の電流値ＩＨが一定となるように制御して、調光については基本的にパルス幅制御で行うようにしたために、調光を電流制御で行う場合に比べて応答が速くなる利点がある。すなわち、画像の明るさの制御をもし電流調光により行うと、複数フレームに渡って電流値を変化させ、取得した画像の明るさからフィードバックして目標の明るさとなるように調整することになるために応答が遅いが、本実施形態によれば、ＰＷＭ調光を採用したために高い応答性を実現することができる。
　そして、目標センサ値Ｓ（ｎ）を、１つ前の（ｎ－１）フレームにおいて実測されたセンサ値Ｓ（ｎ－１）と、予め定められた輝度比率ＲＩ（Ｌ／Ｈ）と、に基づいて設定するようにしたために、高輝度画像と低輝度画像との明るさの比率を高精度に維持して、精度の高いＨＤＲ画像を合成することが可能となる。
　また、基準となるフレームでないｎフレームにおいてＬＥＤ４３に印加する駆動電流の電流値Ｉ（ｎ）が、目標センサ値Ｓ（ｎ）と、２フレーム前のセンサ値Ｓ（ｎ－２）と、２フレーム前の電流値Ｉ（ｎ－２）と、に基づく値｛Ｉ（ｎ－２）×Ｓ（ｎ）／Ｓ（ｎ－２）｝になるようにしたために、温度変化等によるＬＥＤ４３の発光効率の変化の影響をほぼ受けることなく、目標センサ値Ｓ（ｎ）の発光量を正確に得ることができる。こうして、高輝度画像と低輝度画像との明るさの比率をより高精度に維持することができる。
　さらに、低輝度フレームにおける駆動電流の第２のパルス幅が、高輝度フレームにおける駆動電流の第１のパルス幅に対して一定のＤＤ比率ＲＤ（Ｌ／Ｈ）となるようにしたために、必要に応じて、ＤＤ比率ＲＤ（Ｌ／Ｈ）を１未満の値に設定することができる。このために、高輝度画像と低輝度画像とのダイナミックレンジをより広くすることができる。また、光源に劣化が生じた場合でも、低輝度照明と高輝度照明との光量比率を高精度に維持することが可能となる。
　そして、高輝度照明時にＬＥＤ４３へ印加する電流値ＩＨを一定値に維持していても、ＬＥＤ４３の発光効率が変化すると、発光効率が変化に応じて高輝度フレームにおける光の強度（つまり、高輝度センサ値ＳＨ）も変化することになるが、低輝度照明時にＬＥＤ４３へ印加する電流値ＩＬを微調整することで発光効率の変化に応じた強度変化に対応するようにしている。このために、高輝度フレームと低輝度フレームとの光量比率ｒ（Ｌ／Ｈ）を一定に維持することができ、高輝度画像と低輝度画像との明るさバランスを高精度に保つことができる。
［実施形態２］
　図５から図７は本発明の実施形態２を示したものであり、図５は被検体観察システムの構成を示す図である。
　この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　上述した実施形態１は、白色ＬＥＤ（あるいは単色ＬＥＤ）を用いて照明を行う被検体観察システムの例であったが、本実施形態は、複数色の光を発光する複数のＬＥＤを用いて照明を行う被検体観察システムとなっている。
　図５に示す本実施形態の光源装置４０は、図１に示した実施形態１の光源装置４０からＬＥＤ４３、光センサ４４、およびレンズ４５を削除して、Ｒ－ＬＥＤ４３ｒ（Ｒ：赤色）、Ｇ－ＬＥＤ４３ｇ（Ｇ：緑色）、Ｂ－ＬＥＤ４３ｂ（Ｂ：青色）、Ｖ－ＬＥＤ４３ｖ（Ｖ：バイオレット色）、光センサ４４ｒ，４４ｇ，４４ｂ，４４ｖ、レンズ４５ｒ，４５ｇ，４５ｂ，４５ｖ、ダイクロイックフィルタ４７ａ，４７ｂ，４７ｃを追加したものとなっている。
　Ｒ－ＬＥＤ４３ｒは、ＬＥＤ駆動部４２から電流値Ｉｒ、デューティー比Ｄｒの駆動電流を受けて、電流値Ｉｒに応じた発光強度で、デューティー比Ｄｒに応じた発光期間だけ赤色光（Ｒ光）を発光する。
　Ｇ－ＬＥＤ４３ｇ、ＬＥＤ駆動部４２から電流値Ｉｇ、デューティー比Ｄｇの駆動電流を受けて、電流値Ｉｇに応じた発光強度で、デューティー比Ｄｇに応じた発光期間だけ緑色光（Ｇ光）を発光する。
　Ｂ－ＬＥＤ４３ｂ、ＬＥＤ駆動部４２から電流値Ｉｂ、デューティー比Ｄｂの駆動電流を受けて、電流値Ｉｂに応じた発光強度で、デューティー比Ｄｂに応じた発光期間だけ青色光（Ｂ光）を発光する。
　Ｖ－ＬＥＤ４３ｖ、ＬＥＤ駆動部４２から電流値Ｉｖ、デューティー比Ｄｖの駆動電流を受けて、電流値Ｉｖに応じた発光強度で、デューティー比Ｄｖに応じた発光期間だけバイオレット色光（Ｖ光）を発光する。
　これらのＲ－ＬＥＤ４３ｒ、Ｇ－ＬＥＤ４３ｇ、Ｂ－ＬＥＤ４３ｂ、およびＶ－ＬＥＤ４３ｖは、光源部である。
　本実施形態の制御部４１は、１つの色を基準色（第１の色Ｃ１）として、基準色に基づき、基準色以外の非基準色（第２の色Ｃ２）の光の光量を制御するようになっている。具体的に、本実施形態においては、基準色をＧとして、Ｒ，Ｂ，Ｖを非基準色とする例を説明する。ただし、Ｇを基準色にするに限るものではなく、Ｇ以外の色の光を基準としても構わない。
　Ｇ－ＬＥＤ４３ｇは、第１の色Ｃ１の光を発生する第１の半導体発光素子である。また、Ｒ－ＬＥＤ４３ｒ、Ｂ－ＬＥＤ４３ｂ、およびＶ－ＬＥＤ４３ｖは、第１の色Ｃ１とは異なる第２の色Ｃ２の光を発生する第２の半導体発光素子である。
　光センサ４４ｒ，４４ｇ，４４ｂ，４４ｖは、Ｒ－ＬＥＤ４３ｒ，Ｇ－ＬＥＤ４３ｇ，Ｂ－ＬＥＤ４３ｂ，Ｖ－ＬＥＤ４３ｖにより発光された光の強度をそれぞれ検出して、センサ値ＳＲ，ＳＧ，ＳＢ，ＳＶをそれぞれ生成し出力する。
　ここに、光センサ４４ｇは、第１の色Ｃ１（ここではＧ）の光の強度を検出してセンサ値ＳＣ１（ここではセンサ値ＳＧ）を生成する第１の光センサである。また、光センサ４４ｒ，４４ｂ，４４ｖは、第２の色Ｃ２（ここではＲ，Ｂ，Ｖ）の光の強度を検出してセンサ値ＳＣ２（ここではセンサ値ＳＲ，ＳＢ，ＳＶ）を生成する第２の光センサである。
　そして、光センサ４４ｒ，４４ｇ，４４ｂ，４４ｖからそれぞれ出力されたセンサ値ＳＲ，ＳＧ，ＳＢ，ＳＶは、制御部４１へ入力される。
　レンズ４５ｒ，４５ｇ，４５ｂ，４５ｖは、Ｒ－ＬＥＤ４３ｒ，Ｇ－ＬＥＤ４３ｇ，Ｂ－ＬＥＤ４３ｂ，Ｖ－ＬＥＤ４３ｖの出射光の光路上にそれぞれ配置され、各ＬＥＤから発光された光を略平行光に変換して出射する。
　ダイクロイックフィルタ４７ａは、レンズ４５ｒの光軸とレンズ４５ｇの光軸とが交差する位置に配置されている。ダイクロイックフィルタ４７ａは、Ｒ－ＬＥＤ４３ｒからのＲ光を透過し、Ｇ－ＬＥＤ４３ｇからのＧ光を反射する。こうして、ダイクロイックフィルタ４７ａにより、Ｒ光およびＧ光が合成される。
　ダイクロイックフィルタ４７ｂは、レンズ４５ｒの光軸とレンズ４５ｂの光軸とが交差する位置に配置されている。ダイクロイックフィルタ４７ｂは、Ｒ－ＬＥＤ４３ｒからのＲ光、およびＧ－ＬＥＤ４３ｇからのＧ光を透過し、Ｂ－ＬＥＤ４３ｂからのＢ光を反射する。こうして、ダイクロイックフィルタ４７ｂにより、Ｒ光、Ｇ光、およびＢ光が合成される。
　ダイクロイックフィルタ４７ｃは、レンズ４５ｒの光軸とレンズ４５ｖの光軸とが交差する位置に配置されている。ダイクロイックフィルタ４７ｂは、Ｒ－ＬＥＤ４３ｒからのＲ光、Ｇ－ＬＥＤ４３ｇからのＧ光、およびＢ－ＬＥＤ４３ｂからのＢ光を透過し、Ｖ－ＬＥＤ４３ｖからのＶ光を反射する。こうして、ダイクロイックフィルタ４７ｂにより、Ｒ光、Ｇ光、Ｂ光、およびＶ光が合成され白色光となる。
　すなわち、本実施形態においては、Ｒ光、Ｇ光、Ｂ光、およびＶ光を合成することで、白色光を生成するようになっている（ただし、Ｒ光、Ｇ光、およびＢ光を合成することで、白色光を生成するようにしても構わない）。
　なお、本実施形態においては同時式で白色光照明を行う場合を想定して説明するが、面順次式で白色光照明を行っても構わない。
　また、記憶部４１ａが記憶する輝度比率ＲＩ（Ｌ／Ｈ）は、本実施形態においては基準色であるＧに関する輝度比率となっている。さらに、本実施形態の記憶部４１ａは、第１の色Ｃ１の光の光量に対する第２の色Ｃ２の光の光量を示す色比率ＲＣ（Ｃ２／Ｃ１）の情報を内部設定値として記憶している。具体的に、記憶部４１ａは、色比率ＲＣ（Ｒ／Ｇ），ＲＣ（Ｂ／Ｇ），ＲＣ（Ｖ／Ｇ）の情報を記憶している。
　色比率ＲＣ（Ｒ／Ｇ），ＲＣ（Ｂ／Ｇ），ＲＣ（Ｖ／Ｇ）は、基準色である第１の色Ｃ１の光（Ｇ光）の強度に対する、非基準色である第２の色Ｃ２の光（Ｒ光，Ｂ光，Ｖ光）それぞれの光強度の比率を示す。
　上述したように、光の強度は、光センサ４４ｒ，４４ｇ，４４ｂ，４４ｖにより検出される。従って具体的に、色比率ＲＣ（Ｒ／Ｇ）はセンサ値ＳＧに対するセンサ値ＳＲの比率ＳＲ／ＳＧ、色比率ＲＣ（Ｂ／Ｇ）はセンサ値ＳＧに対するセンサ値ＳＢの比率ＳＢ／ＳＧ、色比率ＲＣ（Ｖ／Ｇ）はセンサ値ＳＧに対するセンサ値ＳＶの比率ＳＶ／ＳＧとなる。
　これらの色比率ＲＣ（Ｒ／Ｇ），ＲＣ（Ｂ／Ｇ），ＲＣ（Ｖ／Ｇ）は、ホワイトバランスを保つために、画像の明るさを変化させるときでも変化しない固定値となっている。
　なお、Ｇ以外の色を基準色とする場合には、記憶部４１ａに記憶させる色比率も、設定された基準色に対する光の強度の比率を示す情報とすることになる。
　また、本実施形態においては、ＤＤ比率ＲＤ（Ｌ／Ｈ）を１に設定している（図７参照）。従って、記憶部４１ａにＤＤ比率ＲＤ（Ｌ／Ｈ）を記憶するのを省略しても構わない。ただし、本実施形態の構成においても、上述した実施形態１と同様に、ＤＤ比率ＲＤ（Ｌ／Ｈ）を１未満の値に設定してもよいことは勿論である。
　次に、図６は被検体観察システムにおける非基準色処理を示すフローチャート、図７は被検体観察システムにおける基準色の調光の例を示すタイミングチャートである。
　図７に示すように、基準色であるＧの調光制御については、上述した実施形態１の白色光（あるいは単色光）の調光制御とほぼ同様となっている。
　すなわち、光源制御部である制御部４１およびＬＥＤ駆動部４２は、センサ値ＳＧに基づき、Ｇ－ＬＥＤ４３ｇに印加する駆動電流の電流値Ｉｇに対して、上述した実施形態１と同様の制御を行う。そして、光源制御部は、光源制御信号に基づいて、高輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の第１のパルス幅を調整すると共に、低輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の第２のパルス幅が、第１のパルス幅に対して一定の比率（ＤＤ比率ＲＤ（Ｌ／Ｈ））となるように制御する。
　ただし、本実施形態では、高輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の電流値Ｉｇが、最大電流値Ｉｍａｘよりも小さい所定の電流値となっている点が上述した実施形態１とは異なっている。
　さらに、本実施形態では、ＤＤ比率ＲＤ（Ｌ／Ｈ）を１に設定している点が上述した実施形態１とは異なっている。こうして、光源制御部である制御部４１およびＬＥＤ駆動部４２は、さらに、低輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の第２のパルス幅が、高輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の第１のパルス幅と同一となるように制御している。
　一方、非基準色に対しては、図６に示すような処理を行うようになっている。
　図６に示す処理を開始すると、制御部４１は、非基準色のデューティー比Ｄを、基準色のデューティー比Ｄと同一に設定する（ステップＳ２１）。
　具体的に、高輝度フレームにおける非基準色Ｒ，Ｂ，Ｖのデューティー比Ｄｒ，Ｄｂ，Ｄｖは、同一の高輝度フレームにおける基準色Ｇのデューティー比Ｄｇと同一に設定される。従って、高輝度フレームにおいてＲ－ＬＥＤ４３ｒ、Ｂ－ＬＥＤ４３ｂ、およびＶ－ＬＥＤ４３ｖに印加する駆動電流のパルス幅は、高輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の第１のパルス幅に設定される。
　また、低輝度フレームにおける非基準色Ｒ，Ｂ，Ｖのデューティー比Ｄｒ，Ｄｂ，Ｄｖも、同一の低輝度フレームにおける基準色Ｇのデューティー比Ｄｇと同一に設定される。従って、低輝度フレームにおいてＲ－ＬＥＤ４３ｒ、Ｂ－ＬＥＤ４３ｂ、およびＶ－ＬＥＤ４３ｖに印加する駆動電流のパルス幅は、低輝度フレームにおいてＧ－ＬＥＤ４３ｇに印加する駆動電流の第２のパルス幅に設定される。
　なお、非基準色のデューティー比Ｄを、基準色のデューティー比Ｄと同一に設定するのは、ＤＤ比率ＲＤ（Ｌ／Ｈ）を１未満に設定した場合でも同様である。
　次に、制御部４１は、非基準色である第２の色Ｃ２（Ｃ２＝Ｒ，Ｂ，Ｖ）について、目標センサ値ＳＣ２（ｎ）（つまり、ＲについてはＳＲ（ｎ）、ＢについてはＳＢ（ｎ）、ＶについてはＳＶ（ｎ）、以下同様）を設定する。
　ここに、目標センサ値ＳＣ２（ｎ）は、２フレーム前の第１の色Ｃ１（ここでは基準色Ｇ）のセンサ値ＳＣ１（ｎ－２）（ここではセンサ値ＳＧ（ｎ－２））と、内部設定値である色比率ＲＣ（Ｃ２／Ｃ１）（具体的には、ＲＣ（Ｒ／Ｇ）、ＲＣ（Ｂ／Ｇ）、ＲＣ（Ｖ／Ｇ））とに基づき、次のように算出される（ステップＳ２２）。
　　ＳＣ２（ｎ）＝ＳＣ１（ｎ－２）×ＲＣ（Ｃ２／Ｃ１）
　そして、２フレーム前のセンサ値ＳＣ２（ｎ－２）および電流値ＩＣ２（ｎ－２）から、現フレームの電流値ＩＣ２（ｎ）を次のように算出する（なお、２フレーム前なので、次が高輝度照明であるときには前回の高輝度照明時のセンサ値および電流値を参照し、次が低輝度照明であるときには前回の低輝度照明時のセンサ値および電流値を参照することになる）（ステップＳ２３）。
　　ＩＣ２（ｎ）＝｛ＩＣ２（ｎ－２）×ＳＣ２（ｎ）／ＳＣ２（ｎ－２）｝
　こうして、フレームｎにおいて、ステップＳ２３で算出した電流値ＩＣ２（ｎ）およびステップＳ２１で設定した非基準色のデューティー比Ｄの駆動電流を、非基準色である第２の色Ｃ２のＬＥＤに対して印加して、メイン処理にリターンする。
　なお、輝度比率ＲＩ（Ｌ／Ｈ）、ＤＤ比率ＲＤ（Ｌ／Ｈ）、色比率ＲＣ（Ｃ２／Ｃ１）は、上述したように、画像の明るさを変化させるときでも変化しない固定値であるが、光源の構成（例えば、ＬＥＤの製造メーカー、型番など）に応じて、あるいは被検体に応じて（例えば、被検体が生体であるかエンジンプラントであるかに応じて、また被検体が生体である場合でも、どの部位を観察するかに応じて）、適用する固定値を異ならせてもよいことは勿論である。
　このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、２フレーム前の第１の色Ｃ１のセンサ値ＳＣ１（ｎ－２）と、色比率ＲＣ（Ｃ２／Ｃ１）とに基づき、目標センサ値ＳＣ２（ｎ）を算出するようにしたために、第１の色Ｃ１と第２の色Ｃ２とのカラーバランス、ひいてはホワイトバランスを正確に維持しながら、高輝度画像と低輝度画像との明るさの比率を高精度に維持して、精度の高いＨＤＲ画像を合成することが可能となる。
　また、輝度比率ＲＩ（Ｌ／Ｈ）および色比率ＲＣ（Ｃ２／Ｃ１）を不揮発に記憶する記憶部４１ａをさらに有したために、それぞれに対して予め複数の固定値を用意して記憶しておくことで、例えば観察対象に適した固定値を操作パネル４９の操作により選択する等が可能となり、より観察し易いＨＤＲ画像を合成することができる。
　さらに、Ｒ－ＬＥＤ４３ｒ、Ｂ－ＬＥＤ４３ｂ、およびＶ－ＬＥＤ４３ｖに印加する駆動電流のパルス幅を、高輝度フレームと低輝度フレームとの何れにおいてもＧ－ＬＥＤ４３ｇに印加する駆動電流のパルス幅と同一にしたために、簡単な制御で、ホワイトバランスを正確に維持することができる。
　加えて、高輝度フレームに光源部に印加する駆動電流のパルス幅と、低輝度フレームに光源部に印加する駆動電流のパルス幅と、を同一にした場合には、さらに制御を簡単にすることができる。
　こうして、複数色の半導体発光素子を搭載する光源装置を備える被検体観察システムにおいても、ホワイトバランスを維持しながら、高輝度照明と低輝度照明とを切り替える時分割方式のＨＤＲ画像の撮影を行うことが可能となる。
　なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。
　また、上述では主として被検体観察システムについて説明したが、被検体観察システムを上述したように作動させる作動方法であってもよいし、コンピュータに被検体観察システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１８年２月２８日に日本国に出願された特願２０１８－３５２６９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (8)

  1. 　印加される駆動電流の電流値に応じた強度の光を照明光として発生する光源部と、
    　前記照明光の強度を検出してセンサ値Ｓを生成する光センサと、
    　前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行う撮像部と、
    　前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に１よりも小さい輝度比率ＲＩ（Ｌ／Ｈ）を乗算した値となるように、かつ、前記高輝度フレームにおいて前記光源部に印加する前記駆動電流の電流値が一定となるように制御する光源制御部と、
    　２つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、１つのハイダイナミックレンジ画像を生成する画像生成部と、
    　を有し、
    　前記光源制御部は、前記１つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを（ｎ－１）フレーム、時間的に後のフレームをｎフレーム、前記（ｎ－１）フレームにおいて前記光センサにより生成されたセンサ値ＳをＳ（ｎ－１）としたときに、前記ｎフレームに対して目標センサ値Ｓ（ｎ）を設定し、前記目標センサ値Ｓ（ｎ）が前記光センサにより生成されるような前記駆動電流を前記ｎフレームにおいて前記光源部に印加するものであり、前記（ｎ－１）フレームが前記高輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式１
    ［数式１］
    　　Ｓ（ｎ）＝Ｓ（ｎ－１）×ＲＩ（Ｌ／Ｈ）
    に示す値となるように設定し、前記（ｎ－１）フレームが前記低輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式２
    ［数式２］
    　　Ｓ（ｎ）＝Ｓ（ｎ－１）／ＲＩ（Ｌ／Ｈ）
    に示す値となるように設定することを特徴とする被検体観察システム。
  2. 　前記ｎフレームの２フレーム前のフレームを（ｎ－２）フレーム、前記（ｎ－２）フレームにおいて前記光センサにより生成されたセンサ値ＳをＳ（ｎ－２）、前記（ｎ－２）フレームにおいて前記光源部に印加された前記駆動電流の電流値をＩ（ｎ－２）、前記ｎフレームにおいて前記光源部に印加する前記駆動電流の電流値をＩ（ｎ）としたときに、
    　前記光源制御部は、前記電流値Ｉ（ｎ）が、次の数式３
    ［数式３］
    　　Ｉ（ｎ）＝｛Ｉ（ｎ－２）×Ｓ（ｎ）／Ｓ（ｎ－２）｝
    に示す値となるように制御するものであることを特徴とする請求項１に記載の被検体観察システム。
  3. 　前記光源部は、第１の色Ｃ１の光を発生する第１の半導体発光素子と、前記第１の色Ｃ１とは異なる第２の色Ｃ２の光を発生する第２の半導体発光素子とを有し、
    　前記光センサは、前記第１の色Ｃ１の光の強度を検出して前記センサ値Ｓとしてのセンサ値ＳＣ１を生成する第１の光センサと、前記第２の色Ｃ２の光の強度を検出して前記センサ値Ｓとしてのセンサ値ＳＣ２を生成する第２の光センサとを有し、
    　前記光源制御部は、
    　　前記第１の半導体発光素子に印加する前記駆動電流の電流値に対して、前記数式１～３に示した制御を、前記センサ値Ｓを前記センサ値ＳＣ１に読み替えて行うと共に、
    　　前記第２の半導体発光素子に印加する前記駆動電流の電流値に対して、前記数式３に示した制御を、前記センサ値Ｓを前記センサ値ＳＣ２に読み替えて行うものであり、
    　　かつ、前記第１の色Ｃ１の光の光量に対する前記第２の色Ｃ２の光の光量の比率を色比率ＲＣ（Ｃ２／Ｃ１）としたときに、前記第２の半導体発光素子に対しては、目標センサ値ＳＣ２（ｎ）を、２フレーム前の前記第１の色Ｃ１のセンサ値ＳＣ１（ｎ－２）と、前記色比率ＲＣ（Ｃ２／Ｃ１）とに基づき、次の数式４
    ［数式４］
    　　ＳＣ２（ｎ）＝ＳＣ１（ｎ－２）×ＲＣ（Ｃ２／Ｃ１）
    を用いて設定することを特徴とする請求項２に記載の被検体観察システム。
  4. 　前記輝度比率ＲＩ（Ｌ／Ｈ）および前記色比率ＲＣ（Ｃ２／Ｃ１）を不揮発に記憶する記憶部をさらに有し、
    　前記光源制御部は、前記記憶部から前記輝度比率ＲＩ（Ｌ／Ｈ）および前記色比率ＲＣ（Ｃ２／Ｃ１）を読み出して制御を行うことを特徴とする請求項３に記載の被検体観察システム。
  5. 　前記画像生成部は、前記撮像信号に係る画像の明るさを検出すると共に、前記明るさが目標の明るさとなるようにするための光源制御信号を生成し、
    　前記光源制御部は、前記光源制御信号に基づいて前記高輝度フレームにおいて前記光源部に印加する前記駆動電流の第１のパルス幅を調整すると共に、前記低輝度フレームにおいて前記光源部に印加する前記駆動電流の第２のパルス幅が、前記第１のパルス幅に対して一定の比率となるように制御することを特徴とする請求項１に記載の被検体観察システム。
  6. 　前記画像生成部は、前記撮像信号に係る画像の明るさを検出すると共に、前記明るさが目標の明るさとなるようにするための光源制御信号を生成し、
    　前記光源制御部は、前記光源制御信号に基づいて前記高輝度フレームにおいて前記第１の半導体発光素子に印加する前記駆動電流の第１のパルス幅を調整すると共に、前記低輝度フレームにおいて前記第１の半導体発光素子に印加する前記駆動電流の第２のパルス幅が、前記第１のパルス幅に対して一定の比率となるように制御し、さらに、前記高輝度フレームにおいて前記第２の半導体発光素子に印加する前記駆動電流のパルス幅を前記第１のパルス幅に設定すると共に、前記低輝度フレームにおいて前記第２の半導体発光素子に印加する前記駆動電流のパルス幅を前記第２のパルス幅に設定することを特徴とする請求項３に記載の被検体観察システム。
  7. 　前記光源制御部は、さらに、前記第２のパルス幅が、前記第１のパルス幅と同一となるように制御することを特徴とする請求項５または請求項６に記載の被検体観察システム。
  8. 　光源部が、印加される駆動電流の電流値に応じた強度の光を照明光として発生し、
    　光センサが、前記照明光の強度を検出してセンサ値Ｓを生成し、
    　撮像部が、前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行い、
    　光源制御部が、前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に１よりも小さい輝度比率ＲＩ（Ｌ／Ｈ）を乗算した値となるように、かつ、前記高輝度フレームにおいて前記光源部に印加する前記駆動電流の電流値が一定となるように制御し、
    　画像生成部が、２つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、１つのハイダイナミックレンジ画像を生成する被検体観察システムの作動方法であって、
    　前記光源制御部は、前記１つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを（ｎ－１）フレーム、時間的に後のフレームをｎフレーム、前記（ｎ－１）フレームにおいて前記光センサにより生成されたセンサ値ＳをＳ（ｎ－１）としたときに、前記ｎフレームに対して目標センサ値Ｓ（ｎ）を設定し、前記目標センサ値Ｓ（ｎ）が前記光センサにより生成されるような前記駆動電流を前記ｎフレームにおいて前記光源部に印加するものであり、前記（ｎ－１）フレームが前記高輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式１
    ［数式１］
    　　Ｓ（ｎ）＝Ｓ（ｎ－１）×ＲＩ（Ｌ／Ｈ）
    に示す値となるように設定し、前記（ｎ－１）フレームが前記低輝度フレームである場合には、前記目標センサ値Ｓ（ｎ）が次の数式２
    ［数式２］
    　　Ｓ（ｎ）＝Ｓ（ｎ－１）／ＲＩ（Ｌ／Ｈ）
    に示す値となるように設定する。
PCT/JP2018/025888 2018-02-28 2018-07-09 被検体観察システム、被検体観察システムの作動方法 WO2019167298A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020502784A JP6982677B2 (ja) 2018-02-28 2018-07-09 被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム
US16/930,859 US11744436B2 (en) 2018-02-28 2020-07-16 Subject observation system, light source apparatus for endoscope, method of operating subject observation system, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-035269 2018-02-28
JP2018035269 2018-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/930,859 Continuation US11744436B2 (en) 2018-02-28 2020-07-16 Subject observation system, light source apparatus for endoscope, method of operating subject observation system, and recording medium

Publications (1)

Publication Number Publication Date
WO2019167298A1 true WO2019167298A1 (ja) 2019-09-06

Family

ID=67805685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025888 WO2019167298A1 (ja) 2018-02-28 2018-07-09 被検体観察システム、被検体観察システムの作動方法

Country Status (3)

Country Link
US (1) US11744436B2 (ja)
JP (1) JP6982677B2 (ja)
WO (1) WO2019167298A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230708A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 内視鏡
JP2015073772A (ja) * 2013-10-10 2015-04-20 パナソニックＩｐマネジメント株式会社 体腔内照明装置および内視鏡システム
JP2015530893A (ja) * 2012-07-26 2015-10-29 オリーブ・メディカル・コーポレーション 光が不十分な環境での連続的なビデオ
WO2016056459A1 (ja) * 2014-10-10 2016-04-14 オリンパス株式会社 光源装置及び光源装置の制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545703B1 (en) * 1998-06-26 2003-04-08 Pentax Corporation Electronic endoscope
JP3590533B2 (ja) * 1998-10-29 2004-11-17 ペンタックス株式会社 内視鏡装置
JP5361546B2 (ja) * 2009-06-03 2013-12-04 キヤノン株式会社 レンズ装置、及びその制御方法
JP2013252185A (ja) * 2012-06-05 2013-12-19 Canon Inc 内視鏡及び内視鏡装置
US9509917B2 (en) * 2012-07-26 2016-11-29 DePuy Synthes Products, Inc. Wide dynamic range using monochromatic sensor
CN104619237B (zh) 2012-07-26 2018-03-30 德普伊辛迪斯制品公司 光不足环境中的ycbcr脉冲调制的照明方案
JP5735479B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡及装置びその作動方法
KR102587513B1 (ko) * 2014-03-17 2023-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
JP6257475B2 (ja) * 2014-08-28 2018-01-10 オリンパス株式会社 走査型内視鏡装置
JPWO2016104386A1 (ja) 2014-12-26 2017-04-27 オリンパス株式会社 内視鏡システム
WO2017149586A1 (ja) * 2016-02-29 2017-09-08 オリンパス株式会社 光走査型撮影投影装置および内視鏡システム
EP3870027A1 (en) * 2018-10-25 2021-09-01 University College Dublin, National University of Ireland, Dublin Process for visual determination of tissue biology
US11754500B2 (en) * 2019-06-20 2023-09-12 Cilag Gmbh International Minimizing image sensor input/output in a pulsed fluorescence imaging system
EP4103035A4 (en) * 2020-02-14 2024-06-12 Activ Surgical, Inc. SYSTEMS AND METHODS FOR PROCESSING LASER GRANULAR SIGNALS
WO2022056362A1 (en) * 2020-09-11 2022-03-17 Verily Life Sciences Llc Image processing to compensate for scene lighting during surgical procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530893A (ja) * 2012-07-26 2015-10-29 オリーブ・メディカル・コーポレーション 光が不十分な環境での連続的なビデオ
JP2014230708A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 内視鏡
JP2015073772A (ja) * 2013-10-10 2015-04-20 パナソニックＩｐマネジメント株式会社 体腔内照明装置および内視鏡システム
WO2016056459A1 (ja) * 2014-10-10 2016-04-14 オリンパス株式会社 光源装置及び光源装置の制御方法

Also Published As

Publication number Publication date
JPWO2019167298A1 (ja) 2020-12-10
US20200345221A1 (en) 2020-11-05
US11744436B2 (en) 2023-09-05
JP6982677B2 (ja) 2021-12-17

Similar Documents

Publication Publication Date Title
JP6138203B2 (ja) 内視鏡装置
US9029755B2 (en) Imaging system with illumination controller to variably control illumination light
JP5379932B1 (ja) 撮像システム、撮像方法
WO2019123796A1 (ja) 内視鏡システム
JP5427316B2 (ja) 撮像装置
WO2015016172A1 (ja) 内視鏡システム、内視鏡システムの作動方法
US20130307951A1 (en) Imaging apparatus
JP6150944B2 (ja) 撮像システム
US20160360948A1 (en) Endoscope system
WO2017158906A1 (ja) 内視鏡装置及びビデオプロセッサ
WO2019225074A1 (ja) 内視鏡システム
JP5747362B2 (ja) 内視鏡装置
JP2012223376A (ja) 照明用発光ダイオードの制御回路、制御方法及びそれを用いた電子内視鏡装置
WO2022091649A1 (ja) 光源装置、および内視鏡システム
JP2007029746A (ja) 内視鏡装置
JP7394547B2 (ja) 制御装置、医療用観察システム、制御方法およびプログラム
JP6945660B2 (ja) 撮像システムおよび処理装置
JP2011024885A (ja) 内視鏡用光源システム、および内視鏡ユニット
WO2019167298A1 (ja) 被検体観察システム、被検体観察システムの作動方法
JP2020151402A (ja) 医療用制御装置及び内視鏡システム
JP2020151090A (ja) 医療用光源装置及び医療用観察システム
JPH11305144A (ja) 内視鏡装置
JP6564538B1 (ja) 内視鏡用光源装置
JP4681740B2 (ja) ストロボ画像同時取り込み電子内視鏡装置
WO2019167315A1 (ja) 内視鏡用光源装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907560

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502784

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907560

Country of ref document: EP

Kind code of ref document: A1