WO2016104386A1 - 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム - Google Patents

調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム Download PDF

Info

Publication number
WO2016104386A1
WO2016104386A1 PCT/JP2015/085594 JP2015085594W WO2016104386A1 WO 2016104386 A1 WO2016104386 A1 WO 2016104386A1 JP 2015085594 W JP2015085594 W JP 2015085594W WO 2016104386 A1 WO2016104386 A1 WO 2016104386A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure amount
exposure
unit
image data
image
Prior art date
Application number
PCT/JP2015/085594
Other languages
English (en)
French (fr)
Inventor
朋也 佐藤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2016532642A priority Critical patent/JPWO2016104386A1/ja
Publication of WO2016104386A1 publication Critical patent/WO2016104386A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a light control device for adjusting an exposure amount, an imaging system including the light control device, a method for operating the light control device, and an operation program for the light control device.
  • an endoscope system is used to observe an organ of a subject such as a patient.
  • An endoscope system is provided with an imaging device, for example, provided with an imaging device at a distal end and having an insertion portion inserted into a subject and a proximal end side of the insertion portion via a cable.
  • a processing device that performs in-vivo image processing according to the imaging signal and displays the in-vivo image on a display unit or the like.
  • an HDR (High Dynamic Range) image that is an image with an expanded dynamic range.
  • the HDR image is generated by combining a plurality of images having different exposure amounts. Since an HDR image has a wider dynamic range than a normal image (an image captured with a certain exposure amount), a clear image with suppressed halation and blackout can be obtained.
  • an endoscope (capsule endoscope apparatus) for acquiring the HDR image a technique for acquiring an image with different exposure amounts by switching a plurality of light emission amounts and generating an HDR image is disclosed (for example, a patent). Reference 1).
  • a bright image and a dark image for generating an HDR image are acquired by switching the intensity of illumination light for each frame and performing imaging.
  • Patent Document 1 only switches the light emission amount of the light source to one of a plurality of set light emission amounts, and performs real-time dimming control according to the brightness of the subject. It wasn't.
  • the present invention has been made in view of the above, and it is possible to perform dimming control in real time when images with different exposure amounts are acquired, an imaging system, an operation method of the dimming device, and dimming.
  • An object of the present invention is to provide an operation program for an optical device.
  • the light control device generates a composite image data by combining a plurality of image data obtained by a plurality of exposure processes with different exposure amounts.
  • a dimming device for setting the exposure amount, a brightness detection unit that acquires the image data or the composite image data and detects brightness of the image, and a detection result by the brightness detection unit
  • a reference exposure amount calculation unit for calculating a reference exposure amount, and an exposure amount setting for setting an exposure amount according to the timing of the exposure process based on the reference exposure amount calculated by the reference exposure amount calculation unit. And a section.
  • an imaging system includes an imaging device that acquires a plurality of image data by a plurality of exposure processes with different exposure amounts, and a composite image generation unit that generates a composite image data by combining the plurality of image data.
  • a brightness detection unit that acquires the image data or the composite image data and detects the brightness of the image, and a reference exposure amount calculation unit that calculates a reference exposure amount based on a detection result by the brightness detection unit
  • a dimming device comprising: an exposure amount setting unit that sets an exposure amount according to the timing of the exposure process based on the reference exposure amount calculated by the reference exposure amount calculation unit;
  • the light source device includes: an illumination unit that emits light; and a light source control unit that causes the illumination unit to emit illumination light based on an exposure amount set by the exposure amount setting unit.
  • the composite image generation unit generates an HDR image data by combining a plurality of image data having different exposure amounts with high dynamic range, and the HDR A tone mapping image generation unit that performs tone mapping processing on the HDR image generated by the image generation unit to generate tone mapping image data for display.
  • the image data input to the brightness detection unit is the HDR image data or the tone mapping image data generated by the composite image generation unit
  • the exposure amount setting unit determines which of the plurality of exposure processes the exposure process to be set is based on the frame number of the image data to be detected by the brightness detection unit, and the reference exposure The exposure amount is set by multiplying the amount by a coefficient set according to the determined exposure process.
  • the image data input to the brightness detection unit is any one of two image data obtained by two exposure processes having different exposure amounts.
  • the reference exposure amount calculation unit calculates, as the reference exposure amount, an exposure amount corresponding to one of the exposure processes based on the brightness detection result of the input image data.
  • the amount setting unit sets the exposure amount by multiplying the reference exposure amount calculated by the reference exposure amount calculation unit by a coefficient set according to the other exposure process.
  • the exposure amount is an integral value of the light amount of the illumination light.
  • the method of operating the light control device includes a light control for setting the exposure amount for generating a composite image data by combining a plurality of image data obtained by a plurality of exposure processes having different exposure amounts.
  • An operation method of the apparatus wherein the brightness detection unit acquires the image data or the composite image data and detects the brightness of the image, and a reference exposure amount calculation unit includes the brightness detection. Based on the detection result of the step, a reference exposure amount calculation step for calculating a reference exposure amount, and an exposure amount setting unit performs the exposure process based on the reference exposure amount calculated in the reference exposure amount calculation step. And an exposure amount setting step for setting an exposure amount according to timing.
  • the operation program of the light control device is a light control for setting the exposure amount for generating a composite image data by combining a plurality of image data obtained by a plurality of exposure processes having different exposure amounts.
  • An operation program of the apparatus wherein the brightness detection unit acquires the image data or the composite image data and detects the brightness of the image, and a reference exposure amount calculation unit includes the brightness detection Based on the detection result of the procedure, a reference exposure amount calculation procedure for calculating a reference exposure amount, and an exposure amount setting unit based on the reference exposure amount calculated in the reference exposure amount calculation procedure, An exposure amount setting procedure for setting an exposure amount according to timing is executed by the light control device.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining image generation by the endoscope system according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the second embodiment of the present invention.
  • FIG. 6 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the modification of the second embodiment of the present invention.
  • FIG. 7 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the third embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment.
  • An endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of a subject by inserting a tip portion into the subject, and illumination light emitted from the tip of the endoscope 2. , A processing device 4 that performs predetermined signal processing on the image signal captured by the endoscope 2, and controls the overall operation of the endoscope system 1, and signals from the processing device 4 And a display device 5 that displays an in-vivo image generated by the processing.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that includes various cables that extend in a direction different from the direction in which 21 extends and connect to the light source device 3 and the processing device 4.
  • the insertion unit 21 includes a distal end portion 24 including an imaging element 244 (imaging device) in which pixels that generate signals by receiving light and performing photoelectric conversion are arranged in a two-dimensional manner, and a plurality of bending pieces.
  • the bendable bending portion 25 is connected to the proximal end side of the bending portion 25 and has a long flexible tube portion 26 having flexibility.
  • the insertion unit 21 uses the image sensor 244 to image a subject such as a living tissue that is inserted into the body cavity of the subject and is not reachable by external light.
  • the distal end portion 24 is configured using a glass fiber or the like, and forms a light guide path for light emitted from the light source device 3.
  • An illumination lens 242 provided at the distal end of the light guide 241.
  • an image sensor 244 that is provided at an image forming position of the optical system 243, receives light collected by the optical system 243, photoelectrically converts the light into an electrical signal, and performs predetermined signal processing.
  • the optical system 243 is configured by using one or a plurality of lenses, and has an optical zoom function for changing the angle of view and a focus function for changing the focus.
  • the image sensor 244 photoelectrically converts light from the optical system 243 to generate an electrical signal (imaging signal).
  • imaging element 244 a plurality of pixels each having a photodiode that accumulates electric charge according to the amount of light, a capacitor that converts electric charge transferred from the photodiode into a voltage level, and the like are arranged in a matrix, A light receiving unit 244a in which each pixel photoelectrically converts light from the optical system 243 to generate an electric signal, and an electric signal generated by a pixel arbitrarily set as a reading target among a plurality of pixels of the light receiving unit 244a is sequentially read out And a reading unit 244b for outputting as an imaging signal.
  • the image sensor 244 controls various operations of the distal end portion 24 in accordance with the drive signal received from the processing device 4.
  • the image sensor 244 is realized using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. In the present embodiment, description will be made assuming that the image sensor 244 outputs an image signal corresponding to a high definition television (HDTV) video signal.
  • HDMI high definition television
  • the operation section 22 includes a bending knob 221 that bends the bending section 25 in the vertical direction and the left-right direction, a treatment instrument insertion section 222 that inserts a treatment instrument such as a biological forceps, an electric knife, and a test probe into the body cavity of the subject.
  • a treatment instrument such as a biological forceps, an electric knife, and a test probe into the body cavity of the subject.
  • it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and screen display control.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
  • the universal cord 23 includes at least a light guide 241 and a collective cable 245 in which one or a plurality of signal lines are collected.
  • the collective cable 245 is a signal line for transmitting an image signal, a signal line for transmitting a drive signal for driving the image sensor 244, information including unique information regarding the endoscope 2 (image sensor 244), and the like. Including a signal line for transmitting and receiving.
  • the light source device 3 includes an illumination unit 31 and an illumination control unit 32. Under the control of the illumination control unit 32, the illumination unit 31 sequentially switches and emits illumination light with different exposure amounts to the subject (subject).
  • the illumination unit 31 includes a light source 31a and a light source driver 31b.
  • the light source 31a is configured using an LED light source that emits white light, one or a plurality of lenses, and the like, and emits light (illumination light) by driving the LED light source.
  • the illumination light generated by the light source 31a is emitted from the tip of the tip portion 24 toward the subject via the light guide 241.
  • the light source 31a is configured by using a red LED light source, a green LED light source, and a blue LED light source, and emits light from any one of the light sources, so that any wavelength of red light, green light, and blue light is emitted. Light having a band may be emitted as illumination light.
  • the light source driver 31b supplies illumination light to the light source 31a by supplying current to the light source 31a under the control of the illumination control unit 32.
  • the illumination control unit 32 controls the amount of power supplied to the light source 31a and the drive timing of the light source 31a based on a control signal from an exposure amount setting unit 434 described later. Under the control of the illumination control unit 32, the illumination unit 31 performs the subject by a first exposure process that exposes with a first exposure amount and a second exposure process that exposes with a second exposure amount different from the first exposure amount. To expose.
  • the processing device 4 includes a signal processing unit 41, an image processing unit 42, a light control unit 43 (light control device), an input unit 44, a storage unit 45, and a control unit 46.
  • the signal processing unit 41 performs noise removal and A / D conversion on the image signal output from the image sensor 244.
  • the image processing unit 42 generates an image signal for display displayed on the display device 5 based on the imaging signal input from the signal processing unit 41.
  • the image processing unit 42 generates an HDR image by combining images with different exposure amounts, and generates a tone mapping image for display by reducing the dynamic range to a size that can be displayed on the display device 5.
  • the image processing unit 42 performs a synchronization process (for example, performed when an imaging signal for each color component is obtained using a color filter or the like), an optical black subtraction process, a white mapping process on the generated HDR image or tone mapping image.
  • Balance adjustment processing, color matrix calculation processing, gamma correction processing, color reproduction processing, edge enhancement processing, format conversion processing, and the like are performed.
  • the image processing unit 42 outputs an image signal including the generated tone mapping image to the display device 5.
  • the image processing unit 42 includes an HDR image generation unit 421 and a tone mapping image generation unit 422.
  • the HDR image generation unit 421 acquires an imaging signal including images with different exposure amounts generated by the imaging element 244 and combines the images with different exposure amounts to generate an HDR image with an expanded dynamic range.
  • the tone mapping image generation unit 422 generates a tone mapping image for display by reducing the dynamic range of the HDR image generated by the HDR image generation unit 421 to a size that can be displayed on the display device 5.
  • the light control unit 43 detects the brightness based on the acquired image, sets the exposure amount, and the light source 31a emits light with the light emission amount (including intensity and time) according to the set exposure amount. A control signal is generated, and the generated control signal is output to the illumination control unit 32.
  • the light control unit 43 includes a brightness detection unit 431, a determination unit 432, a reference exposure amount calculation unit 433, and an exposure amount setting unit 434.
  • the brightness detection unit 431 acquires an image (a tone mapping image in the first embodiment) stored in the storage unit 45, detects a brightness level corresponding to each pixel, and uses the detected brightness level as a reference exposure.
  • the data is output to the amount calculation unit 433.
  • the determination unit 432 determines whether the frame number attached to the tone mapping image input to the brightness detection unit 431 is an even number or an odd number.
  • the determination unit 432 outputs the determination result (even number frame or odd number frame) to the exposure amount setting unit 434.
  • the reference exposure amount calculation unit 433 calculates a reference exposure amount based on the brightness level detected by the brightness detection unit 431. Specifically, the reference exposure amount is calculated based on a function stored in the storage unit 45 and related to the brightness level and the reference exposure amount. The reference exposure amount calculation unit 433 outputs the calculated reference exposure amount to the exposure amount setting unit 434. The exposure amount is calculated as an integrated value of the light amount. The reference exposure amount calculation unit 433 may output the reference exposure amount based on a relationship table between the brightness level and the reference exposure amount stored in the storage unit 45.
  • the exposure amount setting unit 434 sets the exposure amount based on the determination result of the determination unit 432 and the reference exposure amount calculated by the reference exposure amount calculation unit 433, and performs illumination control on the light amount control information corresponding to the exposure amount. To the unit 32. Specifically, the exposure amount setting unit 434 determines which of the two exposure processes (long exposure process and short exposure process) the exposure process to be set is based on the determination result. Then, referring to the storage unit 45, a coefficient corresponding to the determined exposure process is acquired, and the exposure amount is obtained by multiplying the reference exposure amount by the acquired coefficient.
  • the light amount control information is a value obtained by converting a current value, a PWM (Pulse Width Modulation) width, or a combination of a current value and a PWM width according to the light amount.
  • the input unit 44 receives input of various signals such as an operation instruction signal for instructing the operation of the endoscope system 1.
  • the storage unit 45 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
  • the storage unit 45 stores various programs for operating the endoscope system 1 including the operation program for the light control device according to the present invention, and data including various parameters necessary for the operation of the endoscope system 1. .
  • the storage unit 45 stores identification information of the processing device 4.
  • the identification information includes unique information (ID) of the processing device 4, model year, specification information, and the like.
  • the storage unit 45 includes an exposure coefficient storage unit 451 and an image information storage unit 452.
  • the exposure coefficient storage unit 451 stores an exposure coefficient corresponding to the exposure process described above.
  • the image information storage unit 452 is an image corresponding to the imaging signal subjected to signal processing by the signal processing unit 41, and is a long exposure image captured by the long exposure process and a short exposure image captured by the short exposure process. And a tone mapping image corresponding to the image signals sequentially generated by the tone mapping image generation unit 422 are stored.
  • the image information storage unit 452 may be realized using, for example, a ring buffer, and may store a certain amount (a predetermined number of frames) of tone mapping images generated by the tone mapping image generation unit 422. In this case, when the capacity is insufficient (when a predetermined number of frames of tone mapping images are stored), the image information storage unit 452 overwrites the oldest tone mapping image with the latest tone mapping image, thereby obtaining the latest tone mapping image. Are stored in a predetermined number of frames in time series.
  • the control unit 46 is configured using a CPU or the like, and performs drive control of each component including the image sensor 244 and the light source device 3, input / output control of information with respect to each component, and the like.
  • the control unit 46 refers to control information data (for example, readout timing) for image capturing control stored in the storage unit 45 and transmits it to the image sensor 244 via a predetermined signal line included in the collective cable 245. To do.
  • the display device 5 receives and displays a tone mapping image corresponding to the image signal generated by the processing device 4 via the video cable.
  • the display device 5 is configured using a monitor such as a liquid crystal or an organic EL (Electro Luminescence).
  • FIG. 3 is a schematic diagram for explaining image generation by the endoscope system according to the first embodiment.
  • the HDR image generation unit 421 combines the imaging signal (for example, long exposure image) input from the signal processing unit and the image signal (for example, short exposure image) stored in the image information storage unit 452 to increase the dynamic range.
  • An expanded HDR image is generated.
  • the HDR image generation unit 421 includes a short exposure image P S 1 of frame number 2 input from the signal processing unit 41 and a frame stored in the image information storage unit 452.
  • the HDR image P H 1 is generated by combining the long-exposure image P L 1 of number 1.
  • the HDR image generation unit 421 obtains the long exposure image P L 2 of the next frame (frame number 3) and the short exposure image P S 1 of frame number 2 stored in the image information storage unit 452.
  • the HDR image P H 2 is generated by synthesizing.
  • the long-exposure image P L 2, the short-exposure image P S 2, and the long-exposure image P L 3 (input image) are also combined with the image (stored image) of the previous frame to combine the HDR image (in FIG. Images P H 3 and P H 4) are generated respectively.
  • the tone mapping image generation unit 422 can display the HDR image P H 1 to P H 4 on the display device 5 in a size that can be displayed.
  • the tone mapping images P T 1 to P T 4 for display are generated by lowering the dynamic range to the above.
  • FIG. 4 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the first embodiment.
  • the light control unit 43 performs an exposure amount setting process when an instruction signal related to the light amount control is input from the control unit 46.
  • the instruction signal from the control unit 46 may be output in accordance with the imaging timing by the imaging element 244, or may be output by instruction information input to the input unit 44. .
  • the brightness detection unit 431 acquires a tone mapping image stored in the image information storage unit 452 of the storage unit 45 (step S101).
  • the tone mapping image acquired here is the tone mapping image of the latest frame number.
  • the brightness detection unit 431 performs brightness detection processing using the acquired tone mapping image (step S102: brightness detection step).
  • the brightness detection unit 431 detects the brightness level corresponding to each pixel of the tone mapping image, and outputs the detected brightness level to the reference exposure amount calculation unit 433.
  • the reference exposure amount calculation unit 433 acquires the brightness level from the brightness detection unit 431
  • the reference exposure amount calculation unit 433 calculates the reference exposure amount based on the acquired brightness level (step S103: reference exposure amount calculation step).
  • the reference exposure amount calculation unit 433 outputs the calculated reference exposure amount to the exposure amount setting unit 434.
  • the determination unit 432 determines whether the frame number of the acquired tone mapping image is an even number or an odd number (step S104). In other words, the determination unit 432 determines whether the frame of the imaging signal acquired by the illumination light irradiated according to the current exposure amount setting is an odd frame or an even frame. The determination unit 432 outputs the determination result to the exposure amount setting unit 434. In the following, according to FIG. 3, it is assumed that short exposure with a small exposure amount is performed when the frame number is an even number, and that long exposure with a large exposure amount is performed when the frame number is an odd number.
  • step S104 when it is determined that the frame number of the acquired tone mapping image is an even number (step S104: Yes), the process proceeds to step S105, and the exposure amount setting unit 434 sets the exposure amount. Specifically, when the frame number of the tone mapping image is an even number, the exposure amount setting unit 434 determines that the exposure amount calculated this time is a long exposure because the frame number of the next captured image is an odd number. Judgment is made, and an exposure coefficient ⁇ 1 (> 1) corresponding to the long exposure is acquired with reference to the exposure coefficient storage unit 451. Exposure amount setting unit 434, by multiplying the exposure factor alpha 1 to the reference exposure amount, calculates the amount of exposure (step S105).
  • step S104 when it is determined that the frame number of the acquired tone mapping image is an odd number (step S104: No), the process proceeds to step S106, and the exposure amount setting unit 434 sets the exposure amount. Specifically, the exposure amount setting unit 434 determines that the current exposure amount is short exposure, and acquires the exposure coefficient ⁇ 1 (> 1) corresponding to the short exposure with reference to the exposure coefficient storage unit 451. To do. The exposure amount setting unit 434 calculates the exposure amount by dividing the reference exposure amount by the exposure coefficient ⁇ 1 (in other words, multiplying by the exposure coefficient 1 / ⁇ 1 ) (step S106).
  • the exposure amount setting unit 434 calculates the exposure amount corresponding to the determined exposure process
  • the exposure amount setting unit 434 proceeds to step S107, sets the calculated exposure amount, and sets the light amount control information corresponding to the exposure amount to the illumination control unit 32. (Exposure amount setting step).
  • the illumination unit 31 By controlling the illumination unit 31 according to the exposure amount set in this way, real-time dimming control can be performed so that the light emission amount corresponds to the brightness of the subject.
  • the display frame rate (fps) of the display device 5 and the imaging frame rate (fps) of the imaging element 244 are assumed to be the same, but the display frame rate is higher than the display frame rate.
  • the imaging frame rate is large, it is preferable to perform dimming control in accordance with the imaging frame rate. For example, when a long exposure image and a short exposure image are acquired simultaneously to generate an HDR image, and the imaging frame rate is twice the display frame rate, exposure is performed during one display frame rate.
  • Images of two frames (long exposure image and short exposure image) illuminated by switching the amount are acquired.
  • the imaging frame rate is 6 times the display frame rate.
  • images for six frames (long exposure image and short exposure image of each color component) illuminated by switching the exposure amount are acquired during one display frame rate.
  • narrow-band illumination light composed of light in a narrow band (for example, 400 nm to 445 nm) included in the blue wavelength band and light in a narrow band (for example, 530 nm to 550 nm) included in the green wavelength band is sequentially displayed.
  • the exposure amount is switched between one display frame rate. 4 frames of illuminated images (long exposure image and short exposure image of each narrow band component) are respectively acquired.
  • the frame rate (the imaging period of one frame) is used as the imaging timing, and the exposure amount is switched according to the imaging timing.
  • the brightness detection unit 431 detects the brightness of the image using the tone mapping image of the previous frame, and the reference exposure amount calculation unit 433 determines the reference exposure amount based on the detection result. Since the exposure amount setting unit 434 calculates the exposure amount according to the calculation result and the determination result of the frame number (long exposure or short exposure) by the determination unit 432, it is real time when acquiring images with different exposure amounts. Dimming control can be performed.
  • the brightness detection unit 431 has been described as detecting the brightness of the image using the tone mapping image of the previous frame.
  • the HDR image is acquired as the composite image data, The brightness may be detected using the acquired HDR image.
  • the HDR image generated by the HDR image generation unit 421 is stored in the image information storage unit 452.
  • the reference exposure amount is calculated based on the brightness of the image detected by the brightness detection unit 431.
  • the reference exposure amount is calculated by providing a threshold value.
  • the threshold value may be output as the reference exposure amount.
  • the exposure amount is switched every frame according to the frame number.
  • the exposure amount may be switched every several frames, and depending on the exposure amount.
  • the number of frames to be switched may be different.
  • FIG. 5 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the second embodiment.
  • symbol is attached
  • the exposure coefficient has been described as having the values ⁇ 1 and ⁇ 1 set in accordance with the long exposure and the short exposure, respectively, but in the second embodiment, the reference exposure amount calculation unit 433 is used. but to calculate the exposure amount corresponding to the long exposure, namely be described as the exposure factor alpha 1 is 1.
  • the determination unit 432 determines whether the frame number of an image (scheduled to be captured) captured by illumination by the exposure amount setting process is an odd number or an even number. (Step S201).
  • step S201: Yes when it is determined that the frame number to be imaged is an odd number, that is, a long exposure is performed (step S201: Yes), the process proceeds to step S202, and the brightness detection unit 431 stores the image information in the storage unit 45.
  • the long exposure image stored in the unit 452 is acquired.
  • the long exposure image acquired here is a long exposure image having the latest frame number stored in the image information storage unit 452.
  • the brightness detection unit 431 performs brightness detection processing using the acquired long exposure image (step S203).
  • the brightness detection unit 431 detects the brightness level corresponding to each pixel of the long exposure image, and outputs the detected brightness level to the reference exposure amount calculation unit 433.
  • the reference exposure amount calculation unit 433 acquires the brightness level from the brightness detection unit 431, the reference exposure amount calculation unit 433 calculates the reference exposure amount based on the acquired brightness level (step S204). In the second embodiment, the reference exposure amount calculation unit 433 calculates the exposure amount according to the long exposure process as the reference exposure amount. The calculated reference exposure amount is output to the exposure amount setting unit 434 and stored in the storage unit 45. For example, when a new reference exposure amount is input, the storage unit 45 sequentially updates and stores the latest reference exposure amount.
  • step S201: No when it is determined that the frame number to be imaged is an even number, that is, it is determined that short exposure processing is performed (step S201: No), the process proceeds to step S205, and the exposure amount setting unit 434 refers to the storage unit 45. A reference exposure amount is acquired. Thereafter, the exposure amount setting unit 434 refers to the exposure coefficient storage unit 451 and acquires an exposure coefficient ⁇ 2 (> 1) corresponding to the short exposure. The exposure amount setting unit 434 calculates the exposure amount for the short exposure process by dividing the reference exposure amount by the exposure coefficient ⁇ 2 (step S206).
  • the exposure amount setting unit 434 calculates the exposure amount in step S204 or step S206
  • the exposure amount setting unit 434 moves to step S207, sets the calculated exposure amount, and supplies light control information corresponding to the exposure amount to the illumination control unit 32. Output.
  • the brightness detection unit 431 detects the brightness of the image using the long exposure image of the previous frame, and the reference exposure amount calculation unit 433 determines the reference exposure amount based on the detection result. Since the exposure amount setting unit 434 calculates the exposure amount according to the calculation result and the determination result of the frame number (long exposure or short exposure) by the determination unit 432, it is real time when acquiring images with different exposure amounts. Dimming control can be performed.
  • the reference exposure amount calculation unit 433 calculates the reference exposure amount according to the long exposure, and when performing the short exposure based on the determination result, the reference exposure amount is not calculated. Since the exposure amount is calculated again, the processing amount of the exposure amount calculation process can be reduced.
  • FIG. 6 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the modification of the second embodiment.
  • the reference exposure amount calculating section 433 calculates the exposure amount corresponding to the long exposure, i.e. has been described as an exposure factor alpha 1 is 1, in this modification, the reference exposure amount The description will be made assuming that the calculation unit 433 calculates the exposure amount corresponding to the short exposure, that is, the exposure coefficient ⁇ 1 in the first embodiment is 1.
  • the determination unit 432 determines whether the frame number of an image (scheduled to be captured) captured by illumination by the exposure amount setting process is an odd number or an even number ( Step S301).
  • step S301: Yes If it is determined that the frame number to be imaged is an even number, that is, it is determined that short exposure is to be performed (step S301: Yes), the process proceeds to step S302, and the brightness detection unit 431 stores the image information in the storage unit 45.
  • the short exposure image stored in the unit 452 is acquired.
  • the short exposure image acquired here is a short exposure image having the latest frame number stored in the image information storage unit 452.
  • the brightness detection unit 431 performs brightness detection processing using the acquired short exposure image (step S303).
  • the brightness detection unit 431 detects the brightness level corresponding to each pixel of the short exposure image, and outputs the detected brightness level to the reference exposure amount calculation unit 433.
  • the reference exposure amount calculation unit 433 acquires the brightness level from the brightness detection unit 431
  • the reference exposure amount calculation unit 433 calculates the reference exposure amount based on the acquired brightness level (step S304).
  • the reference exposure amount calculation unit 433 calculates an exposure amount corresponding to the short exposure process as the reference exposure amount.
  • the calculated reference exposure amount is output to the exposure amount setting unit 434 and stored in the storage unit 45.
  • step S301: No when it is determined that the frame number to be imaged is an odd number, that is, it is determined that the long exposure process is performed (step S301: No), the process proceeds to step S305, and the exposure amount setting unit 434 refers to the storage unit 45. A reference exposure amount is acquired. Thereafter, the exposure amount setting unit 434 refers to the exposure coefficient storage unit 451 and acquires an exposure coefficient ⁇ 2 (> 1) corresponding to the long exposure. Exposure amount setting section 434, by the reference exposure amount multiplied by the exposure factor alpha 2, to calculate the exposure amount according to the long exposure process (step S306).
  • the exposure amount setting unit 434 calculates the exposure amount in step S304 or step S306, the exposure amount setting unit 434 moves to step S307, sets the calculated exposure amount, and supplies light control information corresponding to the exposure amount to the illumination control unit 32. Output.
  • the brightness detection unit 431 detects the brightness of the image using the short exposure image of the previous frame, and the reference exposure amount calculation unit 433 uses the reference result based on the detection result. Since the exposure amount is calculated and the exposure amount setting unit 434 calculates the exposure amount according to the determination result of the frame number (long exposure or short exposure) by the determination unit 432, images with different exposure amounts are acquired.
  • the dimming control can be performed in real time.
  • the reference exposure amount calculation unit 433 calculates the reference exposure amount corresponding to the short exposure, and calculates the exposure amount only when the long exposure is performed based on the determination result. Since the correction is made, the amount of exposure calculation processing can be reduced.
  • FIG. 7 is a flowchart for explaining exposure amount setting processing by the endoscope system according to the third embodiment.
  • symbol is attached
  • the exposure amount is automatically set by the frame number.
  • the exposure amount is set according to an input from an operator or the like.
  • the light control unit 43 includes at least the determination unit 432 and the exposure amount setting unit 434, and the storage unit 45 includes at least the exposure coefficient storage unit 451.
  • the control unit 46 determines whether or not a reference exposure amount for the exposure amount setting process is input by the operator or the like via the input unit 44 (Ste S401). When the reference exposure amount is not input (step 401: No), the control unit 46 repeats the input determination process.
  • step S401: Yes the process proceeds to step S402, where the determination unit 432 determines the frame number of the exposure process target.
  • the determination unit 432 determines whether the frame number of an image (scheduled to be captured) captured by illumination by the exposure amount setting process is an odd number or an even number.
  • the exposure amount setting unit 434 sets the exposure amount (step S403). Specifically, the exposure amount setting unit 434, the current exposure is determined that a long exposure, to obtain an exposure factor alpha 1 corresponding to the reference to the long exposure exposure coefficient storage unit 451. Exposure amount setting unit 434, by multiplying the exposure factor alpha 1 to the reference exposure amount, and calculates the amount of exposure.
  • the exposure amount setting unit 434 sets the exposure amount (step S404). Specifically, the exposure amount setting unit 434 determines that the current exposure amount is short exposure, and acquires the exposure coefficient ⁇ 1 (> 1) corresponding to the short exposure with reference to the exposure coefficient storage unit 451. To do. Exposure amount setting section 434, by dividing the reference exposure amount in exposure factor beta 1, and calculates the amount of exposure.
  • step S405 the exposure amount setting unit 434 sets the calculated exposure amount and sets the light amount control information according to the exposure amount to the illumination control unit 32. Output to.
  • the exposure amount setting is performed according to the determination result of the frame number (long exposure or short exposure) by the determination unit 432. Since the unit 434 calculates the exposure amount, dimming control can be performed in real time when images with different exposure amounts are acquired.
  • a threshold value may be set for the input reference exposure amount, and the threshold value may be set as the reference exposure amount when a reference exposure amount equal to or greater than the threshold value is input.
  • a reference exposure amount calculation unit is provided, and the reference exposure amount calculation unit compares the input reference exposure amount with a threshold value, and uses the input reference exposure amount or threshold value as a reference exposure amount as an exposure amount setting unit. Output to 434.
  • the input reference exposure amount may be an exposure amount corresponding to the long exposure or an exposure amount corresponding to the short exposure.
  • the short exposure amount is set by multiplying the exposure coefficient (for example, 1 / ⁇ 2 ) only when performing the short exposure.
  • the light source device 3 has been described as a separate body from the processing device 4. However, the light source device 3 and the processing device 4 are integrated.
  • the illumination unit 31 and the illumination control unit 32 may be provided inside.
  • the exposure amount is set according to two exposure processes. However, three or more exposure processes are performed, and the three exposure processes are performed.
  • the exposure amount may be set. In this case, for example, in Embodiment 1, three coefficients corresponding to the exposure process are set.
  • each exposure amount setting process according to the first to third embodiments described above is set as a processing mode, and one of the exposure amount setting processes is performed according to the setting of the processing mode.
  • the processing device 4 is provided with a switching unit that switches the processing mode by an instruction signal received by the input unit 44 or the like.
  • the light control device according to the present invention is used as the light control unit of the endoscope system 1 using the endoscope 2 whose observation target is a living tissue or the like in the subject.
  • an industrial endoscope for observing material characteristics can be applied as long as the illumination light emitted from the light source is controlled to have a different exposure amount.
  • the light control device according to the present invention can be applied to both inside and outside the body.
  • the light control device, the imaging system, the method of operating the light control device, and the operation program of the light control device according to the present invention perform the light control in real time when acquiring images of different exposure amounts. Useful.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　本発明にかかる調光装置は、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための露光量を設定する調光装置であって、画像データまたは合成画像データを取得して画像の明るさを検出する明るさ検出部と、明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、基準露光量算出部が算出した基準露光量をもとに、露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を備えた。

Description

調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
　本発明は、露光量の調整を行う調光装置、この調光装置を備えた撮像システム、調光装置の作動方法および調光装置の作動プログラムに関する。
　従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、被検体内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が生成した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置とを備える。
　近年、ダイナミックレンジを拡大した画像であるＨＤＲ（High　Dynamic　Range）画像を生成する技術が知られている。ＨＤＲ画像は、露光量の異なる複数の画像を合成することにより生成される。ＨＤＲ画像は、通常の画像（ある露光量で撮像した画像）と比してダイナミックレンジが広いため、ハレーションや黒つぶれを抑制した明瞭な画像を得ることができる。このＨＤＲ画像を取得する内視鏡（カプセル型内視鏡装置）として、複数の発光量を切り替えて露光量の異なる画像を取得し、ＨＤＲ画像を生成する技術が開示されている（例えば、特許文献１を参照）。特許文献１では、照明光の強度を１フレームごとに切り替えて撮像を行うことでＨＤＲ画像を生成するための明るい画像と暗い画像とを取得している。
特開２００４－３２１６０５号公報
　しかしながら、特許文献１が開示する内視鏡は、光源の発光量を設定された複数の発光量のいずれかに切り替えているのみであり、被写体の明るさに応じたリアルタイムの調光制御は行われていなかった。
　本発明は、上記に鑑みてなされたものであって、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる調光装置は、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置であって、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を備えたことを特徴とする。
　また、本発明にかかる撮像システムは、露光量が異なる複数の露光処理により複数の画像データを取得する撮像装置と、前記複数の画像データを合成して合成画像データを生成する合成画像生成部と、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を有する調光装置と、照明光を出射する照明部と、前記露光量設定部が設定した露光量に基づく照明光を前記照明部に出射させる光源制御部と、を有する光源装置と、を備えたことを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、前記合成画像生成部は、露光量が異なる複数の画像データをハイダイナミックレンジ合成してＨＤＲ画像データを生成するＨＤＲ画像生成部と、該ＨＤＲ画像生成部により生成されたＨＤＲ画像に対し、トーンマッピング処理を施して表示用のトーンマッピング画像データを生成するトーンマッピング画像生成部と、を有することを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、前記明るさ検出部に入力される画像データは、前記合成画像生成部で生成された前記ＨＤＲ画像データまたは前記トーンマッピング画像データであり、前記露光量設定部は、前記明るさ検出部の検出対象の画像データのフレーム番号に基づいて設定対象の露光処理が複数の露光処理のうちのいずれの露光処理であるかを判断し、前記基準露光量に対して、該判断した露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、前記明るさ検出部に入力される画像データは、互いに露光量の異なる二つの露光処理により得られた二つの画像データのうちのいずれか一方の画像データであり、前記基準露光量算出部は、入力された一方の画像データの明るさ検出結果をもとに一方の露光処理に応じた露光量を前記基準露光量として算出し、前記露光量設定部は、前記基準露光量算出部が算出した前記基準露光量に対し、他方の露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、前記露光量は、前記照明光の光量の積分値であることを特徴とする。
　また、本発明にかかる調光装置の作動方法は、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動方法であって、明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出ステップと、基準露光量算出部が、前記明るさ検出ステップの検出結果をもとに、基準露光量を算出する基準露光量算出ステップと、露光量設定部が、前記基準露光量算出ステップで算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定ステップと、を含むことを特徴とする。
　また、本発明にかかる調光装置の作動プログラムは、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動プログラムであって、明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出手順と、基準露光量算出部が、前記明るさ検出手順の検出結果をもとに、基準露光量を算出する基準露光量算出手順と、露光量設定部が、前記基準露光量算出手順で算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定手順と、を前記調光装置に実行させることを特徴とする。
　本発明によれば、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができるという効果を奏する。
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の実施の形態１にかかる内視鏡システムによる画像生成を説明する模式図である。 図４は、本発明の実施の形態１にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。 図５は、本発明の実施の形態２にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。 図６は、本発明の実施の形態２の変形例にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。 図７は、本発明の実施の形態３にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる調光装置を含む撮像システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４と、処理装置４の信号処理により生成された体内画像を表示する表示装置５と、を備える。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４（撮像装置）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。
　先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。
　光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
　撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。撮像素子２４４は、処理装置４から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。本実施の形態では、撮像素子２４４が、高精細度テレビジョン（High　definition　television：ＨＤＴＶ）映像信号に応じた撮像信号を出力するものとして説明する。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。
　つぎに、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。照明部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、を有する。
　光源３１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源３１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、いずれかの光源から光を出射することにより、赤色光、緑色光および青色光のうちのいずれかの波長帯域を有する光を照明光として出射するものであってもよい。
　光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに照明光を出射させる。
　照明制御部３２は、後述する露光量設定部４３４からの制御信号に基づいて、光源３１ａに供給する電力量を制御するとともに、光源３１ａの駆動タイミングを制御する。照明制御部３２の制御により、照明部３１は、第１の露光量で露光する第１露光処理、および第１の露光量とは異なる第２の露光量で露光する第２露光処理によりそれぞれ被写体を露光する。
　次に、処理装置４の構成について説明する。処理装置４は、信号処理部４１と、画像処理部４２と、調光部４３（調光装置）と、入力部４４と、記憶部４５と、制御部４６と、を備える。
　信号処理部４１は、撮像素子２４４が出力した撮像信号に対してノイズ除去やＡ／Ｄ変換を行う。
　画像処理部４２は、信号処理部４１から入力された撮像信号をもとに、表示装置５が表示する表示用の画像信号を生成する。画像処理部４２は、異なる露光量の画像を合成してＨＤＲ画像を生成し、該生成したＨＤＲ画像を表示装置５に表示可能なサイズまでダイナミックレンジを下げることによって表示用のトーンマッピング画像を生成する合成画像生成部として機能する。画像処理部４２は、生成したＨＤＲ画像またはトーンマッピング画像に対し、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）、オプティカルブラック減算処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等を施す。画像処理部４２は、生成したトーンマッピング画像を含む画像信号を表示装置５に出力する。
　画像処理部４２は、ＨＤＲ画像生成部４２１と、トーンマッピング画像生成部４２２と、を有する。ＨＤＲ画像生成部４２１は、撮像素子２４４が生成した異なる露光量の画像を含む撮像信号を取得して、該露光量の異なる画像を合成することによって、ダイナミックレンジを広げたＨＤＲ画像を生成する。トーンマッピング画像生成部４２２は、ＨＤＲ画像生成部４２１が生成したＨＤＲ画像に対し、表示装置５に表示可能なサイズまでダイナミックレンジを下げることによって表示用のトーンマッピング画像を生成する。
　調光部４３は、取得した画像をもとに明るさを検出して露光量を設定し、該設定した露光量に応じた発光量（強度および時間を含む）で光源３１ａが発光するような制御信号を生成し、生成した制御信号を照明制御部３２に出力する。調光部４３は、明るさ検波部４３１と、判定部４３２と、基準露光量算出部４３３と、露光量設定部４３４と、を有する。
　明るさ検波部４３１は、記憶部４５に記憶された画像（本実施の形態１ではトーンマッピング画像）を取得して各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。
　判定部４３２は、明るさ検波部４３１に入力されたトーンマッピング画像に付されたフレーム番号が、偶数であるか奇数であるかを判定する。判定部４３２は、判定結果（偶数フレームまたは奇数フレーム）を露光量設定部４３４に出力する。
　基準露光量算出部４３３は、明るさ検波部４３１が検出した明るさレベルをもとに、基準露光量を算出する。具体的には、記憶部４５に記憶されている関数であって、明るさレベルと基準露光量とに関する関数をもとに、基準露光量を算出する。基準露光量算出部４３３は、算出した基準露光量を露光量設定部４３４に出力する。露光量は、光量の積分値として算出される。なお、基準露光量算出部４３３は、記憶部４５に記憶されている、明るさレベルと基準露光量との関係テーブルをもとに基準露光量を出力するものであってもよい。
　露光量設定部４３４は、判定部４３２の判定結果と、基準露光量算出部４３３が算出した基準露光量とをもとに露光量を設定し、該露光量に応じた光量制御情報を照明制御部３２に出力する。具体的には、露光量設定部４３４は、判定結果に基づいて、設定対象の露光処理が、二つの露光処理（長露光処理および短露光処理）のうちのどちらの露光処理であるかを判断し、記憶部４５を参照して、判断した露光処理に応じた係数を取得し、基準露光量に取得した係数を乗じることで露光量を求める。光量制御情報は、例えば、ＬＥＤ光源を用いる場合、電流値、ＰＷＭ（Pulse　Width　Modulation：パルス幅変調）の幅、または電流値およびＰＷＭの幅の組み合わせを光量に応じて変換した値である。
　入力部４４は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
　記憶部４５は、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）等の半導体メモリを用いて実現される。記憶部４５は、本発明にかかる調光装置の作動プログラムを含む内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部４５は、処理装置４の識別情報を記憶する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。
　記憶部４５は、露光係数記憶部４５１と、画像情報記憶部４５２と、を有する。露光係数記憶部４５１は、上述した露光処理に応じた露光係数を記憶する。
　画像情報記憶部４５２は、信号処理部４１により信号処理が施された撮像信号に応じた画像であって、長露光処理により撮像された長露光画像、および短露光処理により撮像された短露光画像と、トーンマッピング画像生成部４２２が順次生成する画像信号に応じたトーンマッピング画像とを記憶する。画像情報記憶部４５２は、例えばリングバッファを用いて実現され、トーンマッピング画像生成部４２２により生成された一定量（所定フレーム数）のトーンマッピング画像を記憶するものであってもよい。この場合、画像情報記憶部４５２は、容量が不足すると（所定のフレーム数のトーンマッピング画像を記憶すると）、最も古いトーンマッピング画像を最新のトーンマッピング画像で上書きすることで、最新のトーンマッピング画像を時系列順に所定フレーム数記憶する。
　制御部４６は、ＣＰＵ等を用いて構成され、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４６は、記憶部４５に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して撮像素子２４４へ送信する。
　次に、表示装置５について説明する。表示装置５は、映像ケーブルを介して処理装置４が生成した画像信号に対応するトーンマッピング画像を受信して表示する。表示装置５は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。
　続いて、内視鏡システム１による画像生成を、図３を参照して説明する。図３は、本実施の形態１にかかる内視鏡システムによる画像生成を説明する模式図である。ＨＤＲ画像生成部４２１は、信号処理部から入力された撮像信号（例えば長露光画像）と、画像情報記憶部４５２に記憶されている画像信号（例えば短露光画像）とを合成してダイナミックレンジを広げたＨＤＲ画像を生成する。具体的には、ＨＤＲ画像生成部４２１は、図３に示すように、信号処理部４１から入力されたフレーム番号２の短露光画像ＰＳ１と、画像情報記憶部４５２に記憶されているフレーム番号１の長露光画像ＰＬ１と、を合成して、ＨＤＲ画像ＰＨ１を生成する。続いて、ＨＤＲ画像生成部４２１は、次のフレーム（フレーム番号３）の長露光画像ＰＬ２と、画像情報記憶部４５２に記憶されているフレーム番号２の短露光画像ＰＳ１と、を合成してＨＤＲ画像ＰＨ２を生成する。同様にして、長露光画像ＰＬ２、短露光画像ＰＳ２および長露光画像ＰＬ３（入力画像）についても前フレームの画像（記憶画像）と合成することによりＨＤＲ画像（図３ではＨＤＲ画像ＰＨ３，ＰＨ４）をそれぞれ生成する。
　ＨＤＲ画像生成部４２１によりＨＤＲ画像ＰＨ１～ＰＨ４が生成されると、トーンマッピング画像生成部４２２が、ＨＤＲ画像ＰＨ１～ＰＨ４に対して、表示装置５に表示可能なサイズまでダイナミックレンジを下げることによって表示用のトーンマッピング画像ＰＴ１～ＰＴ４を生成する。
　続いて、本実施の形態１にかかる内視鏡システム１の調光部４３による露光量設定処理について、図４を参照して説明する。図４は、本実施の形態１にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。調光部４３は、制御部４６から光量制御にかかる指示信号が入力されると、露光量設定処理を行う。なお、制御部４６からの指示信号は、撮像素子２４４による撮像タイミングに合わせて出力されるものであってもよいし、入力部４４に入力された指示情報により出力されるものであってもよい。
　まず、明るさ検波部４３１が、記憶部４５の画像情報記憶部４５２に記憶されているトーンマッピング画像を取得する（ステップＳ１０１）。ここで取得されるトーンマッピング画像は、最新のフレーム番号のトーンマッピング画像である。なお、本実施の形態１では、合成画像データとしてのトーンマッピング画像が明るさ検波部４３１に入力されるものとして説明する。
　明るさ検波部４３１は、取得したトーンマッピング画像を用いて明るさ検波処理を行う（ステップＳ１０２：明るさ検出ステップ）。明るさ検波部４３１は、トーンマッピング画像の各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。
　基準露光量算出部４３３は、明るさ検波部４３１から明るさレベルを取得すると、取得した明るさレベルに基づいて基準露光量を算出する（ステップＳ１０３：基準露光量算出ステップ）。基準露光量算出部４３３は、算出した基準露光量を露光量設定部４３４に出力する。
　その後、判定部４３２が、取得したトーンマッピング画像のフレーム番号が、偶数であるか奇数であるかを判定する（ステップＳ１０４）。換言すれば、判定部４３２は、今回の露光量の設定によって照射される照明光により取得する撮像信号のフレームが、奇数フレームであるか偶数フレームであるかを判定する。判定部４３２は、判定結果を露光量設定部４３４に出力する。以下、図３に準じて、フレーム番号が偶数の場合は露光量の小さい短露光を行うものとし、フレーム番号が奇数の場合は露光量の大きい長露光であるものとして説明する。
　ここで、取得したトーンマッピング画像のフレーム番号が、偶数であると判定された場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行して、露光量設定部４３４が、露光量の設定を行う。具体的には、露光量設定部４３４は、トーンマッピング画像のフレーム番号が偶数であると、次に撮像される画像のフレーム番号は奇数となるため今回算出する露光量は長露光であるものと判断し、露光係数記憶部４５１を参照して長露光に対応する露光係数α１（＞１）を取得する。露光量設定部４３４は、基準露光量に露光係数α１を乗じることにより、露光量を算出する（ステップＳ１０５）。
　一方、取得したトーンマッピング画像のフレーム番号が、奇数であると判定された場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０６に移行して、露光量設定部４３４が、露光量の設定を行う。具体的には、露光量設定部４３４は、今回の露光量は短露光であるものと判断し、露光係数記憶部４５１を参照して短露光に対応する露光係数β１（＞１）を取得する。露光量設定部４３４は、基準露光量を露光係数β１で除する（換言すれば、露光係数１／β１を乗ずる）ことにより、露光量を算出する（ステップＳ１０６）。
　露光量設定部４３４は、判断した露光処理に応じた露光量を算出すると、ステップＳ１０７に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する（露光量設定ステップ）。
　このようにして設定された露光量に応じて照明部３１が制御されることにより、被写体の明るさに応じた発光量となるようにリアルタイムの調光制御を行うことができる。なお、上述した実施の形態１では、表示装置５の表示フレームレート（fps）と、撮像素子２４４による撮像フレームレート（fps）とが同じであることを前提に説明したが、表示フレームレートよりも撮像フレームレートが大きい場合は、撮像フレームレートに合わせて調光制御を行うことが好ましい。例えば、同時式で長露光画像および短露光画像を取得してＨＤＲ画像を生成する場合であって、撮像フレームレートが表示フレームレートの２倍である場合、１つの表示フレームレートの間に、露光量を切り替えて照明した２フレーム分の画像（長露光画像および短露光画像）をそれぞれ取得する。また、面順次式（ＲＧＢの各色成分の照明光を順次照明）により長露光画像および短露光画像を取得してＨＤＲ画像を生成する場合であって、撮像フレームレートが表示フレームレートの６倍である場合、１つの表示フレームレートの間に、露光量を切り替えて照明した６フレーム分の画像（各色成分の長露光画像および短露光画像）をそれぞれ取得する。さらに、青色の波長帯域に含まれる狭帯域（例えば、４００ｎｍ～４４５ｎｍ）の光と、緑色の波長帯域に含まれる狭帯域（例えば、５３０ｎｍ～５５０ｎｍ）の光とからなる狭帯域照明光を面順次式により長露光画像および短露光画像を取得してＨＤＲ画像を生成する場合であって、撮像フレームレートが表示フレームレートの４倍である場合、１つの表示フレームレートの間に、露光量を切り替えて照明した４フレーム分の画像（各狭帯域成分の長露光画像および短露光画像）をそれぞれ取得する。本実施の形態１では、フレームレート（１フレームの撮像期間）を撮像タイミングとして、該撮像タイミングに応じて露光量を切り替える。
　上述した本実施の形態１によれば、明るさ検波部４３１が前フレームのトーンマッピング画像を用いて画像の明るさを検波し、基準露光量算出部４３３が該検波結果に基づく基準露光量を算出し、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。
　なお、上述した本実施の形態１では、明るさ検波部４３１が前フレームのトーンマッピング画像を用いて画像の明るさを検波するものとして説明したが、合成画像データとしてＨＤＲ画像を取得して、該取得したＨＤＲ画像を用いて明るさを検波するものであってもよい。この場合、画像情報記憶部４５２には、ＨＤＲ画像生成部４２１により生成されたＨＤＲ画像が記憶される。
　また、上述した本実施の形態１では、明るさ検波部４３１が検波した画像の明るさに基づいて基準露光量を算出するものとして説明したが、基準露光量に閾値を設けて、算出された基準露光量が閾値以上となる場合は、該閾値を基準露光量として出力するようにしてもよい。
　また、上述した本実施の形態１では、フレーム番号に応じて、１フレームごとに露光量を切り替えるものとして説明したが、数フレームごとに露光量を切り替えるものであってもよいし、露光量により切り替えるフレーム数が異なるものとしてもよい。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図５は、本実施の形態２にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、露光係数が長露光および短露光に応じてそれぞれ設定された値α１およびβ１を有するものとして説明したが、本実施の形態２では、基準露光量算出部４３３が、長露光に応じた露光量を算出する、すなわち露光係数α１が１であるものとして説明する。
　本実施の形態２にかかる露光量設定処理では、まず、判定部４３２が、露光量設定処理による照明により撮像される画像（撮像予定）のフレーム番号が、奇数であるか偶数であるかを判定する（ステップＳ２０１）。
　ここで、撮像予定のフレーム番号が奇数、すなわち長露光を行うものと判定された場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行して、明るさ検波部４３１が、記憶部４５の画像情報記憶部４５２に記憶されている長露光画像を取得する。ここで取得される長露光画像は、画像情報記憶部４５２に記憶されている最新のフレーム番号の長露光画像である。
　明るさ検波部４３１は、取得した長露光画像を用いて明るさ検波処理を行う（ステップＳ２０３）。明るさ検波部４３１は、長露光画像の各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。
　基準露光量算出部４３３は、明るさ検波部４３１から明るさレベルを取得すると、取得した明るさレベルに基づいて基準露光量を算出する（ステップＳ２０４）。本実施の形態２では、基準露光量算出部４３３は、長露光処理に応じた露光量を基準露光量として算出する。算出した基準露光量を露光量設定部４３４に出力するとともに、記憶部４５に記憶させる。記憶部４５は、例えば、新たな基準露光量が入力されると、順次更新して最新の基準露光量を記憶する。
　一方、撮像予定のフレーム番号が偶数、すなわち短露光処理を行うものと判定された場合（ステップＳ２０１：Ｎｏ）、ステップＳ２０５に移行して、露光量設定部４３４が、記憶部４５を参照して基準露光量を取得する。その後、露光量設定部４３４は、露光係数記憶部４５１を参照して短露光に対応する露光係数β２（＞１）を取得する。露光量設定部４３４は、基準露光量を露光係数β２で除することにより、短露光処理にかかる露光量を算出する（ステップＳ２０６）。
　露光量設定部４３４は、ステップＳ２０４またはステップＳ２０６において露光量を算出すると、ステップＳ２０７に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する。
　このようにして設定された露光量に応じて照明部３１が制御されることにより、基準露光量算出部４３３が一方の露光量を算出する場合であっても、被写体の明るさに応じた発光量となるようにリアルタイムの調光制御を行うことができる。
　上述した本実施の形態２によれば、明るさ検波部４３１が前フレームの長露光画像を用いて画像の明るさを検波し、基準露光量算出部４３３が該検波結果に基づく基準露光量を算出し、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。
　また、上述した本実施の形態２によれば、基準露光量算出部４３３が長露光に応じた基準露光量を算出し、判定結果により短露光を行う場合は、基準露光量を算出せずに、露光量を算出し直すようにしたので、露光量算出処理の処理量を低減することができる。
（実施の形態２の変形例）
　続いて、本発明の実施の形態２の変形例について説明する。図６は、本実施の形態２の変形例にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。上述した実施の形態２では、基準露光量算出部４３３が、長露光に応じた露光量を算出する、すなわち露光係数α１が１であるものとして説明したが、本変形例では、基準露光量算出部４３３が、短露光に応じた露光量を算出する、すなわち実施の形態１における露光係数β１が１であるものとして説明する。
　本変形例にかかる露光量設定処理では、まず、判定部４３２が、露光量設定処理による照明により撮像される画像（撮像予定）のフレーム番号が、奇数であるか偶数であるかを判定する（ステップＳ３０１）。
　ここで、撮像予定のフレーム番号が偶数、すなわち短露光を行うものと判定された場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行して、明るさ検波部４３１が、記憶部４５の画像情報記憶部４５２に記憶されている短露光画像を取得する。ここで取得される短露光画像は、画像情報記憶部４５２に記憶されている最新のフレーム番号の短露光画像である。
　明るさ検波部４３１は、取得した短露光画像を用いて明るさ検波処理を行う（ステップＳ３０３）。明るさ検波部４３１は、短露光画像の各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。
　基準露光量算出部４３３は、明るさ検波部４３１から明るさレベルを取得すると、取得した明るさレベルに基づいて基準露光量を算出する（ステップＳ３０４）。本変形例では、基準露光量算出部４３３は、短露光処理に応じた露光量を基準露光量として算出する。算出した基準露光量を露光量設定部４３４に出力するとともに、記憶部４５に記憶させる。
　一方、撮像予定のフレーム番号が奇数、すなわち長露光処理を行うものと判定された場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０５に移行して、露光量設定部４３４が、記憶部４５を参照して基準露光量を取得する。その後、露光量設定部４３４は、露光係数記憶部４５１を参照して長露光に対応する露光係数α２（＞１）を取得する。露光量設定部４３４は、基準露光量に露光係数α２を乗ずることにより、長露光処理にかかる露光量を算出する（ステップＳ３０６）。
　露光量設定部４３４は、ステップＳ３０４またはステップＳ３０６において露光量を算出すると、ステップＳ３０７に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する。
　このようにして設定された露光量に応じて照明部３１が制御されることにより、基準露光量算出部４３３が一方の露光量を算出する場合であっても、被写体の明るさに応じた発光量となるようにリアルタイムの調光制御を行うことができる。
　上述した本実施の形態２の変形例によれば、明るさ検波部４３１が前フレームの短露光画像を用いて画像の明るさを検波し、基準露光量算出部４３３が該検波結果に基づく基準露光量を算出し、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。
　また、上述した本実施の形態２の変形例によれば、基準露光量算出部４３３が短露光に応じた基準露光量を算出し、判定結果により長露光を行う場合にのみ露光量を算出し直すようにしたので、露光量算出処理の処理量を低減することができる。
　なお、上述した本実施の形態２および変形例において、基準露光量算出部４３３が算出した基準露光量に対し、対象の露光処理である場合（例えば実施の形態２であれば長露光）、係数を１として（長露光の係数をα２としてα２＝１）、基準露光量に該係数を乗じるようにしてもよい。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図７は、本実施の形態３にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、フレーム番号により自動的に露光量の設定を行うものとして説明したが、本実施の形態３では、術者などからの入力に応じて露光量の設定を行う。なお、本実施の形態３では、調光部４３が少なくとも判定部４３２および露光量設定部４３４を有するとともに、記憶部４５が少なくとも露光係数記憶部４５１を有していればよい。
　本実施の形態３にかかる露光量設定処理では、まず、制御部４６が、術者などにより入力部４４を介して露光量設定処理のための基準露光量が入力されたか否かを判断する（ステップＳ４０１）。制御部４６は、基準露光量の入力がない場合（ステップ４０１：Ｎｏ）、入力の判断処理を繰り返す。
　基準露光量が入力された場合（ステップＳ４０１：Ｙｅｓ）、ステップＳ４０２に移行して、判定部４３２による露光処理対象のフレーム番号の判定を行う。ステップＳ４０２では、判定部４３２が、露光量設定処理による照明により撮像される画像（撮像予定）のフレーム番号が、奇数であるか偶数であるかを判定する。
　ここで、撮像予定のフレーム番号が奇数、すなわち長露光を行うものと判定された場合（ステップＳ４０２：Ｙｅｓ）、露光量設定部４３４が、露光量の設定を行う（ステップＳ４０３）。具体的には、露光量設定部４３４は、今回の露光量は長露光であるものと判断し、露光係数記憶部４５１を参照して長露光に対応する露光係数α１を取得する。露光量設定部４３４は、基準露光量に露光係数α１を乗じることにより、露光量を算出する。
　一方、撮像予定のフレーム番号が偶数、すなわち短露光処理を行うものと判定された場合（ステップＳ４０２：Ｎｏ）、露光量設定部４３４が、露光量の設定を行う（ステップＳ４０４）。具体的には、露光量設定部４３４は、今回の露光量は短露光であるものと判断し、露光係数記憶部４５１を参照して短露光に対応する露光係数β１（＞１）を取得する。露光量設定部４３４は、基準露光量を露光係数β１で除することにより、露光量を算出する。
　露光量設定部４３４は、判断した露光処理に応じた露光量を算出すると、ステップＳ４０５に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する。
　このようにして設定された露光量に応じて照明部３１が制御されることにより、基準露光量算出部４３３が一方の露光量を算出する場合であっても、被写体の明るさに応じた発光量となるようにリアルタイムの調光制御を行うことができる。
　上述した本実施の形態３によれば、入力部４４を介して基準露光量が入力された場合に、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。
　上述した本実施の形態３において、入力される基準露光量に対して閾値を設定し、該閾値以上の基準露光量が入力された場合には閾値を基準露光量とするようにしてもよい。この場合は基準露光量算出部を設け、該基準露光量算出部が、入力された基準露光量と閾値との比較を行い、入力された基準露光量または閾値を基準露光量として露光量設定部４３４に出力する。
　また、上述した本実施の形態３において、入力される基準露光量は、長露光に応じた露光量であってもよいし、短露光に応じた露光量であってもよい。例えば、基準露光量が長露光に応じたものである場合、短露光を行う場合にのみ露光係数（例えば１／β２）を乗じて短露光の露光量を設定する。
　なお、上述した実施の形態１～３では、光源装置３が、処理装置４とは別体であるものとして説明したが、光源装置３および処理装置４が一体であって、例えば処理装置４の内部に照明部３１および照明制御部３２が設けられているものであってもよい。
　また、上述した実施の形態１～３では、二つの露光処理に応じて露光量を設定するものとして説明したが、三つ以上の露光処理を行うものであって、該三つの露光処理に応じて露光量を設定するものであってもよい。この場合、例えば実施の形態１では、露光処理に応じた三つの係数が設定される。
　また、上述した実施の形態１～３にかかる各露光量設定処理を処理モードとして設定し、該処理モードの設定によりいずれかの露光量設定処理を行うようなモード切り替え可能な構成としてもよい。この場合、処理装置４には、入力部４４が受け付けた指示信号などにより処理モードの切り替えを行う切替部が設けられる。
　また、上述した実施の形態１～３では、本発明にかかる調光装置が、観察対象が被検体内の生体組織などである内視鏡２を用いた内視鏡システム１の調光部として機能するものとして説明したが、光源が出射する照明光を異なる露光量に制御するものであれば、材料の特性を観測する工業用の内視鏡であっても適用できる。本発明にかかる調光装置は、体内、体外を問わず適用可能である。
　以上のように、本発明にかかる調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラムは、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うのに有用である。
　１　内視鏡システム
　２　内視鏡
　３　光源装置
　４　処理装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　３１　照明部
　３２　照明制御部
　４１　信号処理部
　４２　画像処理部（合成画像生成部）
　４３　調光部（調光装置）
　４４　入力部
　４５　記憶部
　４６　制御部
　４２１　ＨＤＲ画像生成部
　４２２　トーンマッピング画像生成部
　４３１　明るさ検波部
　４３２　判定部
　４３３　基準露光量算出部
　４３４　露光量設定部
　４５１　露光係数記憶部
　４５２　画像情報記憶部

Claims (8)

  1. 　露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置であって、
    　前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、
    　前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、
    　前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、
    　を備えたことを特徴とする調光装置。
  2. 　露光量が異なる複数の露光処理により複数の画像データを取得する撮像装置と、
    　前記複数の画像データを合成して合成画像データを生成する合成画像生成部と、
    　前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を有する調光装置と、
    　照明光を出射する照明部と、前記露光量設定部が設定した露光量に基づく照明光を前記照明部に出射させる光源制御部と、を有する光源装置と、
    　を備えたことを特徴とする撮像システム。
  3. 　前記合成画像生成部は、
    　露光量が異なる複数の画像データをハイダイナミックレンジ合成してＨＤＲ画像データを生成するＨＤＲ画像生成部と、
    　該ＨＤＲ画像生成部により生成されたＨＤＲ画像に対し、トーンマッピング処理を施して表示用のトーンマッピング画像データを生成するトーンマッピング画像生成部と、
    　を有することを特徴とする請求項２に記載の撮像システム。
  4. 　前記明るさ検出部に入力される画像データは、前記合成画像生成部で生成された前記ＨＤＲ画像データまたは前記トーンマッピング画像データであり、
    　前記露光量設定部は、前記明るさ検出部の検出対象の画像データのフレーム番号に基づいて設定対象の露光処理が複数の露光処理のうちのいずれの露光処理であるかを判断し、前記基準露光量に対して、該判断した露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする請求項３に記載の撮像システム。
  5. 　前記明るさ検出部に入力される画像データは、互いに露光量の異なる二つの露光処理により得られた二つの画像データのうちのいずれか一方の画像データであり、
    　前記基準露光量算出部は、入力された一方の画像データの明るさ検出結果をもとに一方の露光処理に応じた露光量を前記基準露光量として算出し、
    　前記露光量設定部は、前記基準露光量算出部が算出した前記基準露光量に対し、他方の露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする請求項３に記載の撮像システム。
  6. 　前記露光量は、前記照明光の光量の積分値であることを特徴とする請求項２～５のいずれか一つに記載の撮像システム。
  7. 　露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動方法であって、
    　明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出ステップと、
    　基準露光量算出部が、前記明るさ検出ステップの検出結果をもとに、基準露光量を算出する基準露光量算出ステップと、
    　露光量設定部が、前記基準露光量算出ステップで算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定ステップと、
    　を含むことを特徴とする調光装置の作動方法。
  8. 　露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動プログラムであって、
    　明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出手順と、
    　基準露光量算出部が、前記明るさ検出手順の検出結果をもとに、基準露光量を算出する基準露光量算出手順と、
    　露光量設定部が、前記基準露光量算出手順で算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定手順と、
    　を前記調光装置に実行させることを特徴とする調光装置の作動プログラム。
PCT/JP2015/085594 2014-12-26 2015-12-18 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム WO2016104386A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016532642A JPWO2016104386A1 (ja) 2014-12-26 2015-12-18 内視鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014265834 2014-12-26
JP2014-265834 2014-12-26

Publications (1)

Publication Number Publication Date
WO2016104386A1 true WO2016104386A1 (ja) 2016-06-30

Family

ID=56150405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085594 WO2016104386A1 (ja) 2014-12-26 2015-12-18 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム

Country Status (2)

Country Link
JP (1) JPWO2016104386A1 (ja)
WO (1) WO2016104386A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012630A1 (ja) * 2018-07-13 2020-01-16 オリンパス株式会社 撮像装置
WO2020039716A1 (ja) * 2018-08-21 2020-02-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
WO2021086040A1 (en) * 2019-11-01 2021-05-06 Samsung Electronics Co., Ltd. Method for providing preview and electronic device for displaying preview
US11265450B2 (en) 2018-08-07 2022-03-01 Sony Corporation Imaging system and control device for determining high-luminance region and reduction light amount to illuminate region
US11744436B2 (en) 2018-02-28 2023-09-05 Olympus Corporation Subject observation system, light source apparatus for endoscope, method of operating subject observation system, and recording medium
CN117412032A (zh) * 2023-12-13 2024-01-16 山东艾琳智能科技有限公司 一种基于大数据的智能图像采集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201985A (ja) * 2006-01-30 2007-08-09 Matsushita Electric Ind Co Ltd 広ダイナミックレンジ撮像装置
JP2008228058A (ja) * 2007-03-14 2008-09-25 Sony Corp 撮像装置、撮像方法、露光制御方法、プログラム
JP2012109849A (ja) * 2010-11-18 2012-06-07 Canon Inc 撮像装置
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
JP2014230708A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 内視鏡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201985A (ja) * 2006-01-30 2007-08-09 Matsushita Electric Ind Co Ltd 広ダイナミックレンジ撮像装置
JP2008228058A (ja) * 2007-03-14 2008-09-25 Sony Corp 撮像装置、撮像方法、露光制御方法、プログラム
JP2012109849A (ja) * 2010-11-18 2012-06-07 Canon Inc 撮像装置
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
JP2014230708A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 内視鏡

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11744436B2 (en) 2018-02-28 2023-09-05 Olympus Corporation Subject observation system, light source apparatus for endoscope, method of operating subject observation system, and recording medium
US11202016B2 (en) 2018-07-13 2021-12-14 Olympus Corporation Imaging device
CN112313804B (zh) * 2018-07-13 2024-05-28 奥林巴斯株式会社 摄像装置
CN112313804A (zh) * 2018-07-13 2021-02-02 奥林巴斯株式会社 摄像装置
JPWO2020012630A1 (ja) * 2018-07-13 2021-08-05 オリンパス株式会社 撮像装置
WO2020012630A1 (ja) * 2018-07-13 2020-01-16 オリンパス株式会社 撮像装置
US11265450B2 (en) 2018-08-07 2022-03-01 Sony Corporation Imaging system and control device for determining high-luminance region and reduction light amount to illuminate region
JPWO2020039716A1 (ja) * 2018-08-21 2021-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
JP7315560B2 (ja) 2018-08-21 2023-07-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
CN112566539A (zh) * 2018-08-21 2021-03-26 索尼奥林巴斯医疗解决方案公司 医学控制装置和医学观察装置
WO2020039716A1 (ja) * 2018-08-21 2020-02-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
WO2021086040A1 (en) * 2019-11-01 2021-05-06 Samsung Electronics Co., Ltd. Method for providing preview and electronic device for displaying preview
US11477383B2 (en) 2019-11-01 2022-10-18 Samsung Electronics Co., Ltd. Method for providing preview and electronic device for displaying preview
CN117412032A (zh) * 2023-12-13 2024-01-16 山东艾琳智能科技有限公司 一种基于大数据的智能图像采集系统
CN117412032B (zh) * 2023-12-13 2024-03-26 山东科技职业学院 一种基于大数据的智能图像采集系统

Also Published As

Publication number Publication date
JPWO2016104386A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP5452785B1 (ja) 撮像システム
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
WO2015093295A1 (ja) 内視鏡装置
JP6109456B1 (ja) 画像処理装置および撮像システム
JP6049945B2 (ja) 撮像装置および処理装置
US8878921B2 (en) Imaging system
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
JPWO2017022324A1 (ja) 内視鏡システムの信号処理方法および内視鏡システム
WO2015114906A1 (ja) 撮像システムおよび撮像装置
JP5926980B2 (ja) 撮像装置および撮像システム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6137892B2 (ja) 撮像システム
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP6242552B1 (ja) 画像処理装置
JP6937902B2 (ja) 内視鏡システム
JP5932191B1 (ja) 伝送システムおよび処理装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP5815162B2 (ja) 撮像装置
JP2017123997A (ja) 撮像システムおよび処理装置
WO2019130834A1 (ja) 画像処理装置および画像処理方法
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2016025509A (ja) 撮像システムおよび内視鏡

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016532642

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15872954

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15872954

Country of ref document: EP

Kind code of ref document: A1