WO2019082278A1 - 内視鏡装置及び内視鏡装置の作動方法 - Google Patents

内視鏡装置及び内視鏡装置の作動方法

Info

Publication number
WO2019082278A1
WO2019082278A1 PCT/JP2017/038385 JP2017038385W WO2019082278A1 WO 2019082278 A1 WO2019082278 A1 WO 2019082278A1 JP 2017038385 W JP2017038385 W JP 2017038385W WO 2019082278 A1 WO2019082278 A1 WO 2019082278A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light emission
focus position
frame
unit
Prior art date
Application number
PCT/JP2017/038385
Other languages
English (en)
French (fr)
Inventor
浩一郎 吉野
直也 栗山
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2019549720A priority Critical patent/JP6841932B2/ja
Priority to PCT/JP2017/038385 priority patent/WO2019082278A1/ja
Publication of WO2019082278A1 publication Critical patent/WO2019082278A1/ja
Priority to US16/843,013 priority patent/US11304597B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G02B23/243—Objectives for endoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Definitions

  • the present invention relates to an endoscope apparatus, an operation method of the endoscope apparatus, and the like.
  • the deepest possible depth of field is required so as not to affect the diagnosis and treatment performed by the user.
  • an imaging device with a large number of pixels is used in an endoscope apparatus, and the depth of field is becoming shallow accordingly.
  • Patent Document 1 discloses an EDOF technology in machine vision.
  • the focus position is changed sinusoidally, and an image is captured at each of a plurality of peak positions. Then, the depth of field is expanded by synthesizing an area in focus from the plurality of images.
  • the brightness of the image is adjusted as needed in order to present the user with an image of brightness suitable for diagnosis and treatment.
  • the endoscope apparatus has a function of adjusting the amount of illumination light to be applied to the subject as needed (hereinafter referred to as light control).
  • light control a function of adjusting the amount of illumination light to be applied to the subject as needed.
  • EDOF the image in which the brightness of the image has been adjusted as described above is synthesized by EDOF, and a difference in brightness level may exist between the synthesized images. There is sex. In that case, an artifact (for example, uneven brightness) that does not exist in an actual subject may be generated in the combined image.
  • an endoscope apparatus an operating method of the endoscope apparatus, and the like that can reduce the occurrence of artifacts in the EDOF while presenting an image of appropriate brightness to the user.
  • a focus control section for controlling a focus position of an objective optical system for forming an image on a light reflected from an object irradiated with illumination light, and an image sequentially taken by the image pickup device.
  • the focus control unit includes: an image acquisition unit to acquire; and an image synthesis unit to synthesize an image of N frames (N is an integer of 2 or more) acquired by the image acquisition unit into a depth-enlarged image of one frame. And controlling the focus position such that the focus position is different at timing when each image of the N frame images is captured, and the image combining unit controls the light emission amount of the illumination light to be constant.
  • the present invention relates to an endoscope apparatus that combines an image of a frame or an image of the N frame corrected to have a constant brightness of the image to the depth-enlarged image.
  • an image of N frames in which the light emission amount of illumination light is controlled to be constant, or an image of N frames corrected to have a constant brightness of the image has a depth of one frame It is combined with the enlarged image.
  • a focus control unit for controlling a focus position of an objective optical system for forming an image on a light reflected from an object irradiated with illumination light, and an image sequentially captured by the image pickup device.
  • a control unit wherein the focus control unit controls the focus position such that the focus position is different at timing when each image of the N frame images is captured; Combining the N frame images of the first frame into the first depth-expanded image, and combining the second N-frame image captured after the first N frame image into the second depth-expanded image,
  • the other aspect of this invention controls the said focus position so that the focus position of an objective optical system may differ in the timing by which each image of the image of N frame (N is an integer greater than or equal to 2) is imaged,
  • N is an integer greater than or equal to 2
  • the image of the N frames captured by the image processing apparatus is acquired, and the light emission amount of the illumination light is controlled to be constant or the image of the N frames corrected to have a constant brightness of the image is one frame
  • the present invention relates to an operating method of an endoscope apparatus which is synthesized into a depth-expanded image.
  • FIG. 6 is a view for explaining the operation of the endoscope apparatus of the present embodiment.
  • FIG. 7 is a view for explaining the operation when the center of the light emission period and the timing at which the focus position stops do not match.
  • FIG. 7 is a diagram for explaining synchronous control of a focus position and light emission timing when pulse light emission is performed.
  • combination part The detailed structural example of the synthetic
  • FIG. 1 is a view for explaining the occurrence of an artifact in the case of combining the light adjustment control and the EDOF.
  • images are captured at the focus positions PA, PB, PA, and PB, respectively.
  • the focus positions PA and PB are focus positions different from each other.
  • the inside of the circle shown by the dotted line is in focus
  • the outside of the circle is in focus.
  • the inside of the circle of the image captured at the focus position PA and the outside of the circle of the image captured at the focus position PB are combined to generate a depth-enlarged image.
  • the dotted lines are shown for convenience and do not actually exist.
  • FIG. 2 is a configuration example of the endoscope apparatus of the present embodiment.
  • the endoscope apparatus includes an imaging unit 200 (imaging device) and a processing unit 300 (control device).
  • the imaging unit 200 includes an objective optical system (optical device) that images reflected light from a subject irradiated with illumination light on an imaging device, and an imaging device.
  • the processing unit 300 includes a focus control unit 350 that controls the focus position of the objective optical system, an image acquisition unit 390 that acquires images sequentially captured by the imaging device, and N frames acquired by the image acquisition unit 390 (N And an image combining unit 330 that combines an image of an integer of 2 or more) into a depth-enlarged image of one frame. Then, the focus control unit 350 controls the focus position so that the focus position is different at the timing when each image of the N frame images is captured.
  • the image combining unit 330 combines the N frame image in which the light emission amount of the illumination light is controlled to be constant, or the N frame image corrected and processed so that the brightness of the image is constant, to the depth-enlarged image.
  • the light emission amount of the illumination light at the time of capturing each image of the N frame images (for example, IA1 and IA2) is controlled to be the same light emission amount.
  • the light emission amount when capturing an image of a certain N frame (for example, IA1, IA2) and the light emission amount when capturing an image of another N frame (for example, IB1, IB2) may be different.
  • the brightness of the image may be corrected by image processing so that the brightness of each image of the N frame images is the same.
  • the brightness of the image is represented by, for example, a luminance value or a G pixel value, and is represented by, for example, a pixel value of an image obtained by filter processing (smoothing processing) of a luminance image or a G image. That is, in each local region (for example, each pixel) of the image, correction processing is performed such that the brightness of the local region is the same in each image of the N frame image.
  • an image of N frames in which the light emission amount of illumination light is controlled to be constant, or an image of N frames in which correction processing is performed such that the brightness of the image is constant is synthesized with the depth-enlarged image. Therefore, it is possible to suppress the occurrence of an artifact in the depth-expanded image.
  • the light emission amount of illumination light or the brightness of the image is the same.
  • the light emission amount of illumination light or the brightness of the image is the same.
  • a difference in brightness does not occur inside or outside the circle (dotted line) that is the boundary of composition, and brightness unevenness does not occur in the depth-expanded image.
  • the focus position is the position at which the subject is in focus (the position of the in-focus surface or the position of the intersection of the in-focus surface and the optical axis). Specifically, it is represented by the distance from the reference position of the imaging unit (for example, the position of the imaging device or the tip of the objective lens) to the position where the object is in focus (the position of the focusing surface).
  • the focus position is adjusted by moving the focus lens (lens for performing focus adjustment) in the objective lens system. That is, the focus position and the position of the focus lens are associated with each other.
  • the depth-expanded image is an image in which the depth of field is pseudo-expanded based on a plurality of images having different focus positions. For example, in each local region (for example, each pixel) of the image, an image having the highest degree of focusing in the local region is selected from the N frame image, and the depth-enlarged image is selected with the image of each selected local region Configure
  • the N-frame image to be synthesized into one frame of the depth-expanded image is an image captured sequentially (in consecutive N-frames) by the imaging device.
  • the light emission amount of the illumination light is the total light emission amount in one exposure period of the imaging device.
  • the total light emission amount corresponds to a value obtained by integrating time change of the light emission amount over time in the exposure period.
  • the total light emission amount is controlled by the light emission period or the light emission amount per unit time. Alternatively, in the case of pulsed light emission, the total light emission amount is controlled by the number of pulses and the light emission amount of each pulse.
  • the endoscope apparatus when the image combining unit 330 combines the N-frame image in which the light emission amount of the illumination light is controlled to be constant into the depth-enlarged image, the endoscope apparatus performs the illumination control unit (the illumination of FIG. Control unit 360).
  • the illumination control unit controls illumination light for adjusting the brightness of the depth-expanded image, and makes the amount of light emission constant while an image of N frames is captured.
  • the illumination control unit controls the illumination light (amount of light emission) such that the brightness of the depth-expanded image is appropriate.
  • the illumination light is controlled such that the brightness of the depth-expanded image is maintained constant, or the change in the brightness of the depth-expanded image is reduced (compared to the case without dimming).
  • the illumination control unit maintains (does not change) the light emission amount of the illumination light while the N frame image is captured, and after capturing of the N frame image ends, capturing of the next N frame image is performed. Before it starts, the amount of light of the illumination light is changed. In this way, the amount of light emission is fixed while the N frame image is captured.
  • the imaging device performs imaging at a frame rate N times the frame rate of the depth-expanded image.
  • the N frame image to be combined with the depth-expanded image and the N frame image to be combined with the next depth-expanded image do not overlap.
  • the present invention is not limited to this, and the emission amount of the illumination light may not be constant for each of the images of some N frames. That is, an image of N frames in which the light emission amount of the illumination light is controlled to be constant may be present.
  • the brightness of the image may be fixed by a correction process described later.
  • the frame rate at which the imaging device captures an image may not be N times the frame rate of the depth-expanded image.
  • the illumination control unit keeps the light emission amount constant while the N frame image is captured, and the image combining unit 330 controls the light emission amount of the illumination light to be constant. Can be combined with the depth-expanded image. This makes it possible to suppress the occurrence of artifacts in the depth-expanded image.
  • the illumination control unit performs control to emit illumination light in the emission period including the timing at which the focus position is stopped.
  • the timing at which the focus position is stopped coincides with the center of the light emission period (TLA1).
  • the center of the light emission period is the timing at which 1/2 of the length of the light emission period has elapsed since the start of the light emission period.
  • the change of the focus position in the light emission period can be reduced by emitting the illumination light in the light emission period including the timing at which the focus position stops.
  • the light emission period is a substantial imaging period. If the focus position changes in the light emission period, the image quality may be degraded, but according to the present embodiment, it is possible to suppress the image quality degradation.
  • the focus control unit 350 reciprocates the focus position between the first focus position and the second focus position different from the first focus position.
  • the illumination control unit emits illumination light in a first light emission period including a timing at which the focus position becomes a first focus position and a second light emission period including a timing at which the focus position becomes a second focus position.
  • Control to The image combining unit 330 combines an image of N frames including the image captured in the first light emission period and the image captured in the second light emission period into the depth-enlarged image.
  • the first focus position is PA
  • the first light emission period is TLA1
  • the second focus position is PB
  • the second light emission period is TLA2.
  • the image IA1 captured in the first light emission period TLA1 and the image IA2 captured in the second light emission period TLA2 are combined into the depth-expanded image EIA.
  • An image may be captured at a different focus position, and an image of three or more frames including the image may be combined with the depth-enlarged image.
  • the timing at which the focus positions become the first and second focus positions is the timing at which the focus position stops.
  • the first and second light emission periods become light emission periods including timing when the focus position is stopped.
  • the subject depth at the first focus position and the subject depth at the second focus position are continuous. Since the two object depths are continuous, when images taken at the first and second focus positions are combined, the depth can be expanded more efficiently.
  • the imaging device may capture an image by a rolling shutter method.
  • the illumination control unit performs control to emit illumination light in an all-pixel exposure period in which all lines (all scan lines, all pixels) of the effective pixel area of the imaging device are in an exposure state.
  • the center of the all-pixel exposure period coincides with the center of the light emission period.
  • the center of the all-pixel exposure period is the timing at which 1/2 of the length of the all-pixel exposure period has elapsed since the all-pixel exposure period has started.
  • the subject can be imaged in the all-pixel exposure period in which all the lines of the effective pixel area of the imaging device are in the exposure state. This makes it possible to avoid rolling shutter distortion (distortion of an image generated when a moving subject is imaged by a rolling shutter method).
  • the effective pixel area is an area of pixels used as image data (or displayed as a display image) in the pixel array of the imaging device.
  • the effective pixel area may be the whole or a part of the pixel array of the imaging device.
  • dummy pixels that are not used as image data (or not displayed as a display image) may be provided in the pixel array of the imaging device.
  • the effective pixel area is an area of effective pixels obtained by removing dummy pixels from the pixel array.
  • the illumination control unit controls the total emission amount when an image is captured by controlling the length of the emission period of the illumination light.
  • the total light emission amount is controlled by changing the length of the light emission period (the length of the light emission period in one exposure period) without changing the light emission amount per unit time.
  • the length of the light emission period (TLA) at the time of imaging N frame images (for example, IA1, IA2) to be synthesized into one frame of the depth-expanded image is constant.
  • the total light emitting amount may be controlled by controlling both the length of the light emitting period and the light emitting amount per unit time.
  • the length of the light emission period of the illumination light it is possible to control the total light emission amount when an image is captured. That is, the total light emission amount can be increased as the light emission period of the illumination light is extended.
  • the length of the light emission period of the illumination light it is possible to control the total light emission amount at the time of capturing an N frame image to be combined with the one frame depth enlarged image.
  • the illumination control unit may control the total light emission amount when an image is captured by controlling the light emission amount per unit time of the illumination light.
  • the total light emission amount is controlled by changing the light emission amount per unit time without changing the length of the light emission period.
  • the light emission amount (LAA) per unit time at the time of imaging the N frame images (for example, IA1, IA2) to be synthesized into one frame of the depth enlarged image is constant.
  • the present embodiment by controlling the light emission amount per unit time of the illumination light, it is possible to control the total light emission amount when an image is captured. That is, the total light emission amount can be increased as the light emission amount per unit time is increased. Further, by controlling the amount of light emission per unit time, it is possible to control the total amount of light emission at the time of capturing an image of N frames to be synthesized into the one frame depth enlarged image.
  • the illumination control unit performs control to emit illumination light in a light emission period in which the center of the exposure period of the imaging device coincides with the center of the light emission period.
  • the exposure period is repeated in a given cycle.
  • the center of the exposure period coincides with the center of the light emission period.
  • a given phase of the focus position change for example, the timing when the focus position stops
  • an image at a given phase of the focus position change can be captured. For example, when changing the length of the light emission period, if the center of the exposure period and the center of the light emission period coincide with each other, the relationship between the phase of the focus position change and the center of the light emission period does not change.
  • the exposure period is a period in which the pixels of the imaging device are in a state (exposure state) in which charge can be accumulated.
  • all pixels (all lines of the effective pixel area) of the imaging device simultaneously start exposure and simultaneously stop exposure.
  • the period from the start of the exposure to the stop of the exposure is the exposure period.
  • the center of the exposure period is the timing at which half of the length of the exposure period has elapsed since the exposure period started.
  • the illumination control unit causes the illumination light to emit a pulse light a plurality of times in the exposure period of the imaging device. At this time, the center of gravity of the total light emission amount of the pulse light emission coincides with the timing at which the focus position is stopped.
  • the total emission amount of pulse emission in a period before the focus position stop timing in the exposure period, and the total emission amount of pulse emission in a period after the focus position stop timing in the exposure period May match. That is, it is sufficient that the integrated value of the light emission amount of the pulse before the timing at which the focus position stops and the integrated value of the light emission amount of the pulse after the timing at which the focus position stops.
  • the number of pulses (two times) before the timing at which the focus position stops (for example, ta1)
  • the number of pulses (twice) after the timing at which the focus position stops is the same.
  • an image at the timing when the focus position stops can be acquired. That is, if the period from the start of pulse emission to the stop is considered as the imaging period, it is possible to acquire an image in the imaging period including the timing at which the focus position stops.
  • the image combining unit 330 combines the first N frame image with the first depth-expanded image, and the second N frame image captured after the first N frame image is used. Synthesize to the second depth-expanded image.
  • the illumination control unit changes the light emission amount of the illumination light between a period in which the first N frame image is captured and a period in which the second N frame image is captured.
  • the first N frame images are the images IA1 and IA2
  • the first depth-enlarged image is EIA
  • the second N frame images are the images IB1 and IB2
  • the depth-expanded image of 2 is EIB.
  • the present embodiment it is possible to change the light emission amount of the illumination light between the period in which the first N frame image is captured and the period in which the second N frame image is captured.
  • the light emission amount can be maintained at the first light emission amount while the N frame image is captured, and the light emission amount can be maintained at the second light emission amount while the second N frame image is captured.
  • the amount of light emission of the illumination light can be made constant.
  • the endoscope apparatus captures an image by the imaging device And an illumination control unit that controls illumination light for adjusting the brightness of the image. Then, the image combining unit performs correction processing so that the brightness of each image of the N frame images is constant, and combines the corrected N frame image with the depth-enlarged image.
  • the brightness of the image of N frames to be combined with the depth-enlarged image of one frame may be different.
  • by performing correction processing so that the brightness of each image of N frame images is constant it is possible to make the brightness of the N frame images to be combined with the depth-enlarged image of one frame constant. As a result, it is possible to suppress the occurrence of an artifact (brightness unevenness) in the depth-expanded image.
  • N the frame rate
  • the imaging device may perform imaging at the same frame rate as the frame rate of the depth-expanded image.
  • the N frame images to be combined with the depth-expanded image overlap.
  • the N frame images to be combined with the depth-expanded image overlap.
  • a first depth-expanded image is synthesized from the images IA1 and IA2
  • a second depth-expanded image is synthesized from the images IA2 and IB1
  • a third depth-expanded image is synthesized from the images IB1 and IB2. Synthesize.
  • a depth-expanded image with the same frame rate as the imaging frame rate (120 fps) is obtained. For example, when light control is performed between the images IA2 and IB1, images with different brightness are combined in the second enlarged depth image. At this time, the brightness of the images IA2 and IB1 may be equalized by correcting the brightness of the image by the above-described image processing, and the second enlarged depth image may be synthesized.
  • the endoscope apparatus of the present embodiment may be configured as follows. That is, the endoscope apparatus of the present embodiment includes a memory for storing information (for example, a program and various data), and a processor (processor including hardware) that operates based on the information stored in the memory. .
  • the processor performs focus control processing for controlling the focus position of the objective optical system, image acquisition processing for acquiring an image sequentially captured by the imaging device, and image synthesis for synthesizing an N-frame image into one frame of a depth-enlarged image Process and execute. Then, the focus control process controls the focus position so that the focus position is different at the timing when each image of the N frame images is captured.
  • the image combining process an image of N frames in which the light emission amount of the illumination light is controlled to be constant or an image of N frames in which the brightness of the image is corrected to be constant is combined with the depth-enlarged image.
  • the function of each unit may be realized by separate hardware, or the function of each unit may be realized by integral hardware.
  • the processor may include hardware, which may include at least one of circuitry for processing digital signals and circuitry for processing analog signals.
  • the processor can be configured by one or more circuit devices (for example, an IC or the like) or one or more circuit elements (for example, a resistor, a capacitor or the like) mounted on a circuit board.
  • the processor may be, for example, a CPU (Central Processing Unit).
  • the processor is not limited to the CPU, and various processors such as a graphics processing unit (GPU) or a digital signal processor (DSP) can be used.
  • the processor may also be a hardware circuit based on an ASIC.
  • the processor may also include an amplifier circuit or a filter circuit that processes an analog signal.
  • the memory may be a semiconductor memory such as SRAM or DRAM, may be a register, may be a magnetic storage device such as a hard disk drive, or is an optical storage device such as an optical disk drive. May be For example, the memory stores an instruction readable by a computer, and the instruction is executed by the processor to implement the function of each part of the endoscope apparatus as a process.
  • the instruction here may be an instruction of an instruction set that configures a program, or may be an instruction that instructs a hardware circuit of a processor to operate.
  • Each unit of the endoscope apparatus is, for example, each unit (image acquisition unit 390, image combination unit 330, focus control unit 350) of the processing unit 300 in FIG. Alternatively, they are each unit (image combining unit 330, focus control unit 350, preprocessing unit 310, control unit 340, illumination control unit 360) of the processing unit 300 in FIG.
  • each part of the endoscope apparatus of the present embodiment may be realized as a module of a program operating on a processor.
  • the focus control unit 350 is realized as a focus control module that controls the focus position of the objective optical system.
  • the image acquisition unit 390 is implemented as an image acquisition module that acquires images sequentially captured by the imaging device.
  • the image combining unit 330 is realized as an image combining module that combines an image of N frames into a depth-enlarged image of one frame. Then, the focus control module controls the focus position so that the focus position is different at the timing when each image of the N frame images is captured.
  • the image combining module combines an image of N frames in which the light emission amount of the illumination light is controlled to be constant, or an image of N frames corrected and processed so that the brightness of the image is constant, into the depth-enlarged image.
  • a program for realizing the processing performed by each unit of the endoscope apparatus of the present embodiment can be stored in, for example, an information storage medium which is a computer-readable medium.
  • the information storage medium can be realized by, for example, an optical disc, a memory card, an HDD, or a semiconductor memory (ROM).
  • the endoscope apparatus (processing unit 300) performs various processes of the present embodiment based on a program (data) stored in the information storage medium. That is, the information storage medium causes a computer to execute the processing of each unit (an apparatus including an input device, a processing unit, a storage unit, and an output unit) as each unit of the endoscope apparatus of the present embodiment.
  • the program for) is stored.
  • FIG. 4 is a detailed configuration example of the endoscope apparatus.
  • the endoscope apparatus includes an insertion unit 100 (scope), a processing unit 300 (control device, processing device), a display unit 400 (display device), an external I / F unit 500 (interface, operation unit, operation device) and an illumination unit. And 600 (illuminator, light source).
  • a flexible scope used for a digestive tract and the like, and a rigid scope used for a laparoscope and the like can be assumed.
  • the insertion portion 100 is a portion to be inserted into the body.
  • the insertion unit 100 includes a light guide unit 110 (light guide) and an imaging unit 200 (imaging device).
  • the light guide unit 110 guides the light emitted from the illumination unit 600 to the tip of the insertion unit 100.
  • the illumination unit 600 includes, for example, a white light source 610 (for example, an LED or a xenon lamp), and emits illumination light of white light.
  • illumination light is not limited to white light, The illumination light of the various zone
  • the imaging unit 200 forms an image of reflected light from a subject and captures an image of the subject.
  • the imaging unit 200 includes an objective lens system 210 (objective lens), an imaging device 220 (image sensor), and an A / D conversion unit 230 (A / D conversion circuit).
  • the objective lens system 210 forms an image of the light reflected from the subject irradiated with the light emitted from the light guide unit 110 as a subject image.
  • the focus position of the objective lens system 210 can be changed, and is controlled by a focus control unit 350 described later.
  • the imaging element 220 photoelectrically converts an object image formed by the objective lens system 210 to capture (generate) an image.
  • the A / D conversion unit 230 converts an analog signal sequentially output from the imaging device 220 into a digital image, and sequentially outputs the digital image to the preprocessing unit 310.
  • a moving image of a subject is captured by the imaging element 220.
  • the image of each frame of the moving image is A / D converted and output to the preprocessing unit 310 as a digital image.
  • the processing unit 300 performs signal processing including image processing and control of the endoscope apparatus.
  • the processing unit 300 includes a preprocessing unit 310 (preprocessing circuit), a frame memory unit 320 (memory), an image combining unit 330 (image combining circuit), a control unit 340 (control circuit and controller), and a focus control unit. 350 (focus position control unit, focus control circuit, focus controller), and illumination control unit 360 (illumination control circuit, illumination controller).
  • the pre-processing unit 310 performs image processing such as white balance processing and interpolation processing (demosaicing processing) on the images sequentially output from the A / D conversion unit 230, and the image after the processing is stored in the frame memory unit 320. And the image combining unit 330 sequentially.
  • image processing such as white balance processing and interpolation processing (demosaicing processing)
  • the preprocessing unit 310 corresponds to the image acquisition unit 390 in FIG. 2.
  • the frame memory unit 320 stores at least one frame (one or a plurality of frames) of the image output from the preprocessing unit 310.
  • the stored image is output to the image combining unit 330.
  • the number of frames of the image stored in the frame memory unit 320 is N ⁇ 1, where N is the number of frames of the image to be combined with the depth-expanded image.
  • the image combining unit 330 combines the image of one or more frames stored in the frame memory unit 320 and the image output from the pre-processing unit 310 into a depth-enlarged image of one frame, and outputs the depth-enlarged image. . That is, for each local region of the depth-expanded image, the local region of the image that is most in focus among the N frame images is selected, and a depth-expanded image of one frame is generated. By combining the depth-enlarged image sequentially from the frame of the moving image captured by the imaging element 220, a moving image in which the depth-enlarged image is a frame image can be obtained.
  • the control unit 340 is bidirectionally connected to the image sensor 220, the preprocessing unit 310, the frame memory unit 320, the image combining unit 330, the focus control unit 350, and the illumination control unit 360, and controls them.
  • the control unit 340 controls synchronization of the exposure period and the focus position (the focus control signal output from the focus control unit 350) of the imaging element 220 and the light emission period (the illumination control signal output from the illumination control unit 360). Details of synchronization control will be described later.
  • the focus control unit 350 outputs a focus control signal for controlling the focus position of the objective lens system 210. Specifically, the focus position of the objective lens system 210 is moved so as to reciprocate a predetermined focus position range at a predetermined cycle. Details of control of the focus position will be described later. Images are captured at a plurality of timings (N frames) different in focus position from one another, and by combining the images of these N frames into one frame by the image combining unit 330, a depth-expanded image in which the depth of field is expanded can be obtained. .
  • the illumination control unit 360 outputs an illumination control signal for controlling the amount of light emitted by the illumination unit 600. Specifically, the light emission period and the light emission amount per unit time are controlled, and the total light emission amount in one exposure period of the imaging device 220 is controlled. In the present embodiment, the light emission amount in each exposure period is not changed (the light emission amount in each exposure period is made the same) while capturing an image of N frames to be combined with the depth-expanded image. Details of the control of the light emission amount will be described later.
  • the display unit 400 sequentially displays the enlarged depth image output from the image combining unit 330. That is, a moving image having a depth-expanded image as a frame image is displayed.
  • the display unit 400 is, for example, a liquid crystal display or an EL display.
  • the external I / F unit 500 is an interface for performing input from the user to the endoscope apparatus. That is, it is an interface for operating the endoscope apparatus, or an interface for performing operation setting of the endoscope apparatus. For example, an adjustment button for adjusting image processing parameters is included.
  • FIG. 5 is a diagram for explaining the operation of the endoscope apparatus in the detailed configuration example.
  • the imaging element 220 performs imaging at 120 fps (fps: frame per second).
  • the exposure period is a period in which the imaging element 220 is in an exposure state (a state in which a pixel stores a charge by photoelectric conversion).
  • the readout period is a period in which the charge accumulated in the pixels of the imaging element 220 is read out as a signal (image).
  • the illumination control unit 360 causes the illumination unit 600 to emit light during the exposure period. That is, the light emission period is included in the exposure period, and the illumination control unit 360 causes the illumination unit 600 to emit light in the light emission period.
  • the focus control unit 350 stops the focus position as much as possible during the light emission period, and changes the focus position except during the light emission period.
  • the focus control unit 350 reciprocates the focus position between the focus position PA (for example, the focus position on the far point side) and the focus position PB (for example, the focus position on the near point side).
  • the focus position PA for example, the focus position on the far point side
  • the focus position PB for example, the focus position on the near point side
  • the light emission period is a period including the timing. Note that the light emission period is not limited to the period including the timing at which the focus position stops.
  • the change in the focus position in the light emission period may be relatively smaller than the change in the focus position in the period other than the light emission period.
  • the image IA1 at the focus position PA, the image IA2 at the focus position PB, the image IB1 at the focus position PA, and the image IB2 at the focus position PB are sequentially captured.
  • the depth of field at the focus position PA and the depth of field at the focus position PB are continuous.
  • the near point end of the depth of field at the focus position PA matches the end at the far point of the depth of field at the focus position PB. It is desirable to do.
  • the depth of field at the focus position PA and the depth of field at the focus position PB may partially overlap. For example, overlapping may be performed in an area of 1/2 or less of the depth of field at the focus positions PA and PB. Desirably, overlapping may be performed in an area of 1/4 or less of the depth of field at the focus positions PA and PB.
  • the image combining unit 330 combines the images IA1 and IA2 and outputs it as a depth-expanded image EIA, combines the images IB1 and IB2 and outputs it as a depth-expanded image EIB.
  • the total light emission amount when capturing the images IA1 and IB1 may be different because the brightness of the depth-expanded image is appropriately adjusted so as to be optimal for observation.
  • the total light emission amount at the time of imaging images IA1 and IA2 is maintained constant, and the total light emission amount at the time of imaging images IB1 and IB2 is maintained constant. By doing this, it is possible to suppress the occurrence of artifacts at the time of image composition.
  • FIG. 6 shows a first example of the change pattern of the focus position.
  • the focus position is changed into a trapezoidal shape, and the focus position is stopped during the exposure period.
  • the focus position PA is stopped during the first exposure period, and the focus position PB is stopped during the next second exposure period.
  • the focus position is moved (for example, moved linearly at a constant speed) in a period other than the exposure period. This operation is performed for 1/60 seconds, and thereafter, the same operation is repeated every 1/60 seconds.
  • FIG. 7 shows a second example of the change pattern of the focus position.
  • the focus position is sinusoidally changed, and the exposure period includes the timing at which the focus position stops.
  • the focus position is changed by a sine wave having the focus positions PA and PB as apexes (extreme points).
  • the first exposure period includes the vertex of the focus position PA, and during the next second exposure period includes the vertex of the focus position PB.
  • the period of the sine wave is 1/60 seconds.
  • FIG. 8 is a third example of the change pattern of the focus position.
  • the focus position is changed in a 1/30 second cycle, and moved in order of the focus positions PB, PA, PA, and PB in 1/30 seconds.
  • the focus position is reciprocated in a 1/30 second cycle between the focus position PC on the far point side of the focus position PA and the focus position PD on the near point side of the focus position PB.
  • the first exposure period includes the timing at which the focus position is PB
  • the next second exposure period includes the timing at which the focus position is PA
  • the focus time is PA at the next third exposure period.
  • the next fourth exposure period includes the timing at which the focus position becomes PB.
  • the center of the first and fourth exposure periods is the timing when the focus position is PB
  • the center of the second and third exposure periods is the timing when the focus position is PA.
  • the images captured in the first and second exposure periods are combined with the depth-expanded image, and the images captured in the third and fourth exposure periods are combined with the depth-expanded image.
  • the focus position is moved linearly in FIG. 5, the present invention is not limited to this.
  • the focus position may be moved by a sine wave with a 1/30 second cycle.
  • the maximum speed required for the actuator can be reduced. Thereby, the aged deterioration of the actuator can be suppressed. Further, by moving the focus position in order of PB, PA, PA, and PB, two images captured at the focus positions PA and PB can be acquired every 1/60 seconds.
  • FIG. 9 is a fourth example of the change pattern of the focus position.
  • the timing at which the focus position stops is three times in 1/60 seconds, and imaging is performed in the exposure period including the stop timing. That is, imaging is performed at 180 fps.
  • the focus position is reciprocated in a cycle of 1/60 seconds between the focus position PE on the far point side and the focus position PG on the near point side. While moving from the focus position PE to the PG, stop at the focus position PF (the inclination of the focus position change at the focus position PF is zero).
  • the focus position PF is a focus position between the focus positions PE and PG, and is, for example, the center of the focus positions PE and PG.
  • the focus position is changed in a smooth waveform.
  • the first exposure period includes the timing at which the focus position is PE
  • the next second exposure period includes the timing at which the focus position is PF
  • the next third exposure period is the PG position.
  • the center of the first exposure period is the timing when the focus position is PE
  • the center of the second exposure period is the timing when the focus position is PF
  • the center of the third exposure period is the focus It is the timing when the position becomes PG.
  • the timing at which the focus position stops is three times in 1/60 seconds, three images with different focus positions can be acquired every 1/60 second (that is, a 60 fps depth-expanded image can be obtained). Thereby, the depth of field can be tripled as compared with the image before composition. In addition, deterioration of the actuator can be suppressed by changing the focus position with a smooth waveform.
  • FIGS. 5 to 9 although the case of acquiring images of two frames or three frames different in focus position and combining them into one frame of the depth-expanded image has been described as an example, the present invention is not limited thereto. That is, two or more frames (N frames) different in focus position may be acquired, and they may be combined into one frame of the depth-expanded image. Further, in FIGS. 5 to 9, the case of capturing an image of N frames in 1/60 seconds (captured at N ⁇ 60 fps) and generating a 60 fps depth-expanded image has been described as an example, but it is not limited thereto. For example, an image of N frames may be captured in 1/30 seconds (or 1/120 seconds) to generate a 30 fps (or 120 fps) depth-enlarged image.
  • FIG. 10 is a first example of a control method of the light emission amount.
  • the light emission amount per unit time is constant, and the total light emission amount is controlled by the length of the light emission period.
  • the total light emission amount is the light emission amount in one exposure period, and is obtained by integrating the time change of the light emission amount in the exposure period.
  • the total light emission amount is the light emission amount per unit time multiplied by the length of the light emission period.
  • the images IA1 and IA2 are combined to generate a depth-expanded image EIA
  • the images IB1 and IB2 are combined to generate a depth-expanded image EIB.
  • the light emission period when imaging the images IA1 and IA2 is the same light emission period TLA
  • the light emission period when imaging the images IB1 and IB2 is the same light emission period TLB.
  • FIG. 11 shows a second example of the method of controlling the light emission amount.
  • the length of the light emission period is constant, and the total light emission amount is controlled by the light emission amount per unit time.
  • the light emission amount per unit time when imaging images IA1 and IA2 is the same light emission amount LAA
  • the light emission amount per unit time when imaging images IB1 and IB2 is the same light emission
  • the quantity is LAB.
  • an artifact such as uneven brightness may occur in the depth-expanded image, which lowers the quality as an endoscopic image.
  • FIGS. 10 and 11 when capturing an N-frame image to be synthesized into one frame of a magnified image of depth, the above-described image quality degradation is achieved by maintaining the total light emission amount in each frame constant. It can be suppressed.
  • the control method of the total light emission amount is not limited to this. That is, the total light emission amount obtained by integrating the time change of the light emission amount in one exposure period in the exposure period may be the same in each exposure period. For example, in the case of using a light source emitting light in pulses, the total amount of light emission may be controlled by controlling the number of times of light emission in the exposure period.
  • FIG. 12 is a diagram for explaining synchronous control of the focus position and the light emission timing.
  • the focus position is indicated by a thick solid line
  • the light emission amount is indicated by a thin solid line.
  • the illumination light is emitted in synchronization with the timing when the focus position is stopped.
  • the light emission period TLA1 is set such that the center timing thereof coincides with ta1
  • the light emission period TLA2 is set such that the center timing thereof coincides with ta2.
  • the total amount of light emission in the light emission periods TLA1 and TLA2 is the same.
  • the light emission period TLB1 is set such that the center timing thereof matches tb1
  • the light emission period TLB2 is set such that the center timing thereof matches tb2.
  • the total light emission amount in the light emission periods TLB1 and TLB2 is the same.
  • the illumination light generated by the illumination unit 600 is the illumination light generated by the illumination unit 600, and the subject image is acquired by emitting the illumination light during the exposure period of the imaging device 220 .
  • the change of the focus position in the light emission period is reduced by emitting the illumination light in synchronization with the timing (ta1, ta2, tb1, tb2) at which the focus position stops. Thereby, it is possible to suppress the image quality deterioration due to the focus position change during imaging.
  • FIG. 13 is a diagram for explaining synchronous control of light exposure of the imaging device and light emission of the illumination unit.
  • the imaging device 220 performs exposure by a rolling shutter method, and sets a light emission period within the all pixel exposure period.
  • scanning lines scanning lines of the effective pixel area
  • the number of scanning lines is not limited to this.
  • the rolling shutter method exposure of the first scanning line of the imaging device 220 is started, and then exposure of the second scanning line is started. This is sequentially performed up to the 480th scanning line.
  • the exposure of the 480th scanning line is started, the exposure of the first scanning line is ended, the pixel value of the first scanning line is read out, and then the exposure of the second scanning line is ended, and the second Read out the pixel value of the scanning line of This is sequentially performed up to the 480th scanning line.
  • the period from the end of the exposure of the first scanning line is a state in which all of the first to 480th scanning lines are exposed. This period is called an all pixel exposure period.
  • the light emission period is set to be included in the all pixel exposure period. That is, the length of the light emission period is shorter than the length of the all pixel exposure period, the light emission period starts after the start of the all pixel exposure period, and the light emission period ends before the end of the all pixel exposure period. It is desirable to set the light emission period so that the center of the entire pixel exposure period coincides with the center of the light emission period. As described in FIG. 12, the focus position is synchronized such that the timing at which the focus position stops is included in the light emission period.
  • rolling shutter distortion a phenomenon in which the image of the subject is distorted (so-called rolling shutter distortion) occurs as the subject moves.
  • rolling shutter distortion occurs when light is emitted at the timing when the scanning line in the exposure period and the scanning line not exposed exist. As shown in FIG. 13, it is possible to avoid the occurrence of rolling shutter distortion by emitting illumination light in the entire pixel exposure period.
  • the timing at which the focus position stops may not be included in the light emission period.
  • the total light emission amount is controlled by the length of the light emission period, such a situation may occur.
  • the phase of change of the focus position according to the length of the light emission period, it is possible to include the timing at which the focus position stops in the light emission period, but control of the focus position becomes complicated.
  • the center of the all-pixel exposure period and the center of the light emission period are made to coincide.
  • the timing at which the focus position stops can be included in the light emission period.
  • the center of the all-pixel exposure period and the center of the light emission period coincide with the timing at which the focus position is stopped.
  • the waveform of the change of the focus position in each period can be made the same.
  • the maximum length of the light emission period Is shorter than the length of the whole pixel exposure period.
  • the maximum length of the light emission period is the same as the length of the all pixel exposure period. This can maximize the maximum total light emission.
  • FIG. 15 is a diagram for explaining synchronous control of the focus position and the light emission timing when the pulse light emission is performed.
  • the focus position is indicated by a thick solid line
  • the light emission amount is indicated by a thin solid line.
  • the timing at which the focus position stops and the center of gravity of the total light emission amount of pulse light match.
  • the light emission amount of one pulse is HR (HR may be different for each pulse), and the light emission timing of the pulse is t.
  • HR HR may be different for each pulse
  • the timing at which the value obtained by integrating HR for all pulses at t ⁇ tgc in the exposure period becomes equal to the value obtained by integrating HR for all pulses at t> tgc in the exposure period is the center of gravity of the total light emission amount. It is a corresponding timing. This timing may be matched with the timing at which the focus position stops.
  • the timing of the focus position and the pulse light can be appropriately synchronized. That is, an image at a desired focus position (a position at which the focus position is stopped) can be acquired regardless of the number of times of light emission and the amount of light emission of each pulse.
  • the control to make the brightness of the N frame image to be combined with the depth-expanded image constant is realized by the control of the illumination light, but it is not limited thereto.
  • the brightness of the N frame image to be combined with the depth-expanded image may be made constant.
  • the method of controlling the illumination light and the method of correcting the brightness of the image by image processing may be combined to make the brightness of the N frame image to be combined with the depth-expanded image constant. A method of correcting the brightness of the image by image processing will be described later.
  • FIG. 16 is a detailed configuration example of the image combining unit 330.
  • the image combining unit 330 includes a first focusing degree calculating unit 331, a second focusing degree calculating unit 332, a combining map generating unit 333 and a combining output unit 334.
  • the first focusing degree calculation unit 331 calculates the focusing degree of the image output from the preprocessing unit 310 for each pixel. Specifically, filter processing (for example, high pass filter processing, band pass filter processing, and the like) is performed on the image, and the processing result is output as the degree of focusing. The first focusing degree calculation unit 331 outputs the calculated focusing degree as the first focusing degree to the composite map generation unit 333.
  • filter processing for example, high pass filter processing, band pass filter processing, and the like
  • the second focusing degree calculation unit 332 calculates the focusing degree of the image stored in the frame memory unit 320 for each pixel. For example, high-pass filter processing or band pass filter processing is performed on the image, and the processing result is output as the degree of focusing.
  • the second focusing degree calculation unit 332 outputs the calculated focusing degree as a second focusing degree to the composite map generation unit 333.
  • the composite map generation unit 333 compares the first focus degree and the second focus degree for each pixel, and generates a composite map of the same size as the image based on the comparison result.
  • the composite map is a map in which "1" or "0" is stored in each pixel. For example, if the first degree of focusing of a pixel is greater than the second degree of focusing, "1" is stored in that pixel, and if the first degree of focusing of that pixel is less than or equal to the second degree of focusing, Store "0" in the pixel.
  • the composition output unit 334 selects one of the image output from the pre-processing unit 310 and the image stored in the frame memory unit 320 for each pixel based on the value of the composition map, and selects the selected pixel. Output the constructed image as a depth-expanded image.
  • the pixel value of the composite map is “1”
  • the pixel value of the image output from the pre-processing unit 310 is selected
  • the pixel value of the composite map is “0”
  • the frame memory unit The pixel value of the image stored in 320 is selected.
  • the method of synthesizing the depth-expanded image is not limited to this.
  • the composite map is multi-valued (the blend rate is stored in each pixel), and the image output from the preprocessing unit 310 and the frame memory unit 320
  • the pixel values of the images stored in may be blended to output a depth-enlarged image.
  • the image combining unit 330 includes an alignment unit (not shown), and the alignment unit is configured to set the image stored in the frame memory unit 320 on the basis of the image output from the preprocessing unit 310 pixel by pixel. Align to Then, the synthesis output unit 334 synthesizes the depth-expanded image from the image output from the preprocessing unit 310 and the aligned image.
  • FIG. 17 is a detailed configuration example of the composite output unit 334 when brightness correction is performed by image processing.
  • the combining output unit 334 includes a first illumination degree calculating unit 3341, a second illumination degree calculating unit 3342, and a combining unit 3343.
  • the first degree-of-illumination calculation unit 3341 calculates the degree of illumination of the image output from the preprocessing unit 310 for each pixel.
  • the degree of illumination is an index that represents the local brightness of the image. For example, low-pass filter processing or band-pass filter processing is performed on the image, and the processing result is output as the degree of illumination.
  • the first degree-of-illumination calculation unit 3341 outputs the calculated degree of illumination as the first degree of illumination to the combining unit 3343.
  • the second degree-of-illumination calculation unit 3342 calculates the degree of illumination of the image stored in the frame memory unit 320 for each pixel. For example, low-pass filter processing or band-pass filter processing is performed on the image, and the processing result is output as the degree of illumination.
  • the second degree-of-illumination calculation unit 3342 outputs the calculated degree of illumination as the second degree of illumination to the combining unit 3343.
  • the combining unit 3343 selects one of the image output from the pre-processing unit 310 and the image stored in the frame memory unit 320 for each pixel based on the value of the combining map, and an image configured by the selected pixels Is output as a depth-expanded image.
  • the pixel value I of the image stored in the frame memory unit 320 is corrected based on the first illumination degree B1 and the second illumination degree B2, and the pixel value I ′ after the correction is selected.
  • the pixel value is corrected by the following equation (1) or the following equation (2).
  • FIG. 18 is a detailed configuration example of the control unit 340.
  • Control unit 340 includes a light adjustment detection unit 341 and a light adjustment correction unit 342.
  • the dimming detection unit 341 calculates a dimming detection value from the pixel value of the image output from the pre-processing unit 310. For example, a value obtained by averaging the luminance signal of each pixel in all the pixels is output as a dimming detection value.
  • the dimming detection unit 341 outputs the dimming detection value to the dimming correction unit 342.
  • the average value of the luminance signal may be calculated by limiting to the central portion of the image. Alternatively, the luminance signal may be sampled at an interval of an appropriate number of pixels to reduce the calculation load, and the average value of the luminance signal may be calculated.
  • the light adjustment correction unit 342 calculates the illumination correction coefficient C based on the light adjustment detection value D output from the light adjustment detection unit 341 and the predetermined light adjustment reference value S.
  • the illumination correction coefficient is calculated by the following equation (3).
  • the dimming correction unit 342 outputs the illumination correction coefficient to the illumination control unit 360.
  • the illumination control unit 360 controls the light emission amount E 1 of the illumination light at the next timing as shown in the following formula (4) with respect to the light emission amount E 0 of the illumination light at the current time.
  • the light emission amount E 0 are 10, 11, corresponding to the (total light emission amount of the exposure period) emission amount when capturing an image IA1 and IA2 in FIG. 15, the light emission amount E 1 is 10, 11, This corresponds to the light emission amount (total light emission amount in the exposure period) when imaging the images IB1 and IB2 in FIG.
  • Lighting correction coefficient for controlling the light emission amount E 1 C is calculated based on at least one of the image IA1, IA2.
  • the dimming detection unit 341 calculates the dimming detection value from the pixel value of the image output from the pre-processing unit 310, the depth-of-depth extension output from the image combining unit 330 A dimming detection value may be calculated from an image. Specifically, the dimming detection unit 341 calculates a dimming detection value from the depth-expanded image EIA in FIGS. 10, 11, and 15, the dimming correction unit 342 obtains an illumination correction coefficient, and the illumination control unit 360 The light emission amount at the time of imaging the images IB1 and IB2 is controlled.
  • the images IA1 and IA2, the images IA2 and IB1, and the images IB1 and IB2 may be sequentially depth synthesized.
  • the light emission amount at the time of imaging the image IB1 is obtained from the depth-expanded image obtained by combining the images IA1 and IA2, and the light emission amount at the time of imaging the image IB2 from the depth-expanded image obtained by synthesizing the images IA2 and IB1 Good.
  • brightness correction is performed by the above-described image processing, and the depth enlarged image is combined.
  • an insertion part (scope) is connected to a control apparatus (processing part) as shown, for example in FIG. 4, and a user operates the scope.
  • the type of imaging the body is assumed.
  • the present invention is not limited to this, and as an endoscope apparatus to which the present invention is applied, for example, a surgery support system using a robot can be assumed.
  • FIG. 19 is a configuration example of a surgery support system.
  • the surgery support system 900 includes a control device 910 (processing unit), a robot 920 (robot main body), and a scope 930 (for example, a rigid scope).
  • the control device 910 is a device that controls the robot 920. That is, the user operates the operation unit of the control device 910 to operate the robot and perform surgery on the patient via the robot. Further, by operating the operation unit of the control device 910, the scope 930 can be operated via the robot 920, and the operation area can be photographed.
  • the control device 910 includes the processing unit 300 of FIG. 1 or 4. The user operates the robot while looking at the image displayed on the display device (not shown) by the processing unit 300.
  • the present invention is applicable to the control device 910 in such a surgery support system 900.
  • the control device 910 may be configured integrally with the robot 920 (built in the robot 920), or may be provided as a separate device outside the robot 920.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡装置は、対物光学系のフォーカス位置を制御するフォーカス制御部３５０と、撮像素子により順次に撮像された画像を取得する画像取得部３９０と、画像取得部３９０により取得されたＮフレームの画像を１フレームの深度拡大画像に合成する画像合成部３３０と、を含む。そして、フォーカス制御部３５０は、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成部３３０は、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。

Description

内視鏡装置及び内視鏡装置の作動方法
　本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。
　内視鏡装置（内視鏡システム）においては、ユーザが行う診断や処置に支障をきたさないように、可能な限り深い被写界深度が要求される。しかし近年では、内視鏡装置において多画素数の撮像素子が使用され、それに伴って被写界深度が浅くなってきている。
　撮像装置において浅い被写界深度を補う技術として、被写界深度を拡大するＥＤＯＦ（Extended Depth Of Field）技術の導入が提案されている。例えば特許文献１には、マシンビジョンにおけるＥＤＯＦ技術が開示されている。特許文献１では、正弦波的にフォーカス位置を変化させ、複数のピーク位置の各々で画像を撮影する。そして、その複数の画像からフォーカスが合った領域を合成することにより、被写界深度を拡大する。
特開２０１７－４９２４９号公報
　内視鏡装置では、診断や処置に適した明るさの画像をユーザに提示するため、画像の明るさを随時に調整する。例えば、内視鏡装置は、被写体に照射する照明光の光量を随時に調整する（以下、調光と呼ぶ）機能を有している。内視鏡装置にＥＤＯＦを採用した場合、上記のような画像の明るさの調整を行った画像をＥＤＯＦにより合成することになり、合成される画像の間に明るさのレベル差が存在する可能性がある。その場合、合成後の画像において実際の被写体には存在しないアーティファクト（例えば明るさムラ）を発生させる場合がある。
　本発明の幾つかの態様によれば、適切な明るさの画像をユーザに提示しながらＥＤＯＦにおけるアーティファクトの発生を低減できる内視鏡装置及び内視鏡装置の作動方法等を提供できる。
　本発明の一態様は、照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、前記撮像素子により順次に撮像された画像を取得する画像取得部と、前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、を含み、前記フォーカス制御部は、前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、前記画像合成部は、前記照明光の発光量が一定に制御された前記Ｎフレームの画像、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を前記深度拡大画像に合成する内視鏡装置に関係する。
　本発明の一態様によれば、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像が、１フレームの深度拡大画像に合成される。これにより、合成後の画像において実際の被写体には存在しないアーティファクトの発生を抑制できる。即ち、適切な明るさの画像をユーザに提示しながらＥＤＯＦにおけるアーティファクトの発生を低減できる。
　また本発明の一態様は、照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、前記撮像素子により順次に撮像された画像を取得する画像取得部と、前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、前記照明光を制御する照明制御部と、を含み、前記フォーカス制御部は、前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、前記画像合成部は、第１のＮフレームの画像を第１の深度拡大画像に合成し、前記第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成し、前記照明制御部は、前記第１のＮフレームの画像が撮像される期間と前記第２のＮフレームの画像が撮像される期間との間に、前記照明光の発光量を変化させる内視鏡装置に関係する。
　また本発明の他の態様は、Ｎフレーム（Ｎは２以上の整数）の画像の各画像が撮像されるタイミングにおいて対物光学系のフォーカス位置が異なるように、前記フォーカス位置を制御し、撮像素子により撮像された前記Ｎフレームの画像を取得し、照明光の発光量が一定に制御された、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を、１フレームの深度拡大画像に合成する内視鏡装置の作動方法に関係する。
調光制御とＥＤＯＦを組み合わせた場合のアーティファクトの発生を説明する図。 本実施形態の内視鏡装置の構成例。 本実施形態の内視鏡装置の動作を説明する図。 内視鏡装置の詳細な構成例。 詳細な構成例の内視鏡装置の動作を説明する図。 フォーカス位置の変化パターンの第１の例。 フォーカス位置の変化パターンの第２の例。 フォーカス位置の変化パターンの第３の例。 フォーカス位置の変化パターンの第４の例。 発光量の制御手法の第１の例。 発光量の制御手法の第２の例。 フォーカス位置と発光タイミングの同期制御を説明する図。 撮像素子の露光と照明部の発光の同期制御を説明する図。 発光期間の中央とフォーカス位置が停止するタイミングが一致しない場合の動作を説明する図。 パルス発光を行う際の、フォーカス位置と発光タイミングの同期制御を説明する図。 画像合成部の詳細な構成例。 画像処理による明るさ補正を行う場合の合成出力部の詳細な構成例。 制御部の詳細な構成例。 手術支援システムの構成例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．内視鏡装置
　図１は、調光制御とＥＤＯＦを組み合わせた場合のアーティファクトの発生を説明する図である。
　図１に示すように、フレームＦ１、Ｆ２、Ｆ３、Ｆ４において、それぞれフォーカス位置ＰＡ、ＰＢ、ＰＡ、ＰＢで画像が撮像される。フォーカス位置ＰＡ、ＰＢは互いに異なるフォーカス位置である。フォーカス位置ＰＡでは、点線で示す円の内側が合焦しており、フォーカス位置ＰＢでは、円の外側が合焦しているとする。この場合、フォーカス位置ＰＡで撮像された画像の円の内側と、フォーカス位置ＰＢで撮像された画像の円の外側とが合成され、深度拡大画像が生成される。なお、点線は便宜的に示すものであり、実際には存在しない。
　フレームＦ１、Ｆ２において照明光の発光量（画像の明るさ）が変化しなかった場合、合成の境界である円の内外で明るさの差がないので、深度拡大画像に明るさムラが発生しにくい。一方、フレームＦ３、Ｆ４において調光により照明光の発光量が変化した場合、合成の境界である円の内外で明るさの差が発生し、明るさムラが深度拡大画像に発生する。この明るさムラは、実際の被写体には存在しないものであり、アーティファクトとして見えるおそれがある。
　図２は、本実施形態の内視鏡装置の構成例である。内視鏡装置は、撮像部２００（撮像装置）と処理部３００（制御装置）とを含む。
　撮像部２００は、照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系（光学装置）と、撮像素子と、を含む。処理部３００は、対物光学系のフォーカス位置を制御するフォーカス制御部３５０と、撮像素子により順次に撮像された画像を取得する画像取得部３９０と、画像取得部３９０により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部３３０と、を含む。そして、フォーカス制御部３５０は、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成部３３０は、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。
　例えば、図５等で後述するように、フォーカス制御部３５０が、画像ＩＡ１、ＩＡ２を撮像するタイミングにおいて、互い異なるフォーカス位置ＰＡ、ＰＢにフォーカス位置を設定する。そして画像合成部３３０が、２フレーム（Ｎ＝２）の画像ＩＡ１、ＩＡ２を１フレームの深度拡大画像ＥＩＡに合成する。或いは、図９で後述するように、フォーカス制御部３５０が、互い異なるフォーカス位置ＰＥ、ＰＦ、ＰＧにフォーカス位置を設定する。画像合成部３３０は、フォーカス位置ＰＥ、ＰＦ、ＰＧで撮像された３フレーム（Ｎ＝３）の画像を１フレームの深度拡大画像に合成する。なお、Ｎは２又は３に限定されない。
　図１０等で後述するように、Ｎフレームの画像（例えばＩＡ１、ＩＡ２）の各画像を撮像する際の照明光の発光量は、同一の発光量となるように制御される。あるＮフレームの画像（例えばＩＡ１、ＩＡ２）を撮像する際の発光量と、別のＮフレームの画像（例えばＩＢ１、ＩＢ２）を撮像する際の発光量とは、異なっていてもよい。或いは、図１７で後述するように、Ｎフレームの画像の各画像の明るさが同一となるように、画像処理により画像の明るさが補正処理されてもよい。画像の明るさは、例えば輝度値やＧ画素値で表され、例えば輝度画像やＧ画像をフィルタ処理（平滑化処理）した画像の画素値で表される。即ち、画像の各局所領域（例えば各画素）において、その局所領域の明るさがＮフレームの画像の各画像で同一となるように補正処理される。
　本実施形態によれば、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像が深度拡大画像に合成されるので、深度拡大画像におけるアーティファクトの発生を抑制できる。例えば、図３に示すように、１フレームの深度拡大画像として合成されるフレームＦ１、Ｆ２の画像では、照明光の発光量又は画像の明るさが同一である。同様に、１フレームの深度拡大画像として合成されるフレームＦ３、Ｆ４の画像では、照明光の発光量又は画像の明るさが同一である。これにより、合成の境界である円（点線）の内外で明るさの差が発生せず、明るさムラが深度拡大画像に発生しない。
　ここで、フォーカス位置とは、被写体側においてフォーカスが合う位置（合焦面の位置、或いは合焦面と光軸の交点の位置）である。具体的には、撮像部の基準位置（例えば撮像素子又は対物レンズ先端の位置）から、被写体側においてフォーカスが合う位置（合焦面の位置）までの距離で表される。対物レンズ系においてフォーカスレンズ（フォーカス調整を行うレンズ）を動かすことでフォーカス位置が調整される。即ち、フォーカス位置とフォーカスレンズの位置は、互いに対応付けられている。
　また、深度拡大画像とは、互いにフォーカス位置が異なる複数の画像に基づいて被写界深度が疑似的に拡大された画像である。例えば、画像の各局所領域（例えば各画素）において、Ｎフレームの画像の中から、その局所領域での合焦度合いが最も高い画像を選択し、その選択した各局所領域の画像で深度拡大画像を構成する。１フレームの深度拡大画像に合成されるＮフレームの画像は、撮像素子により順次に（連続したＮフレームで）撮像された画像である。
　また、照明光の発光量とは、撮像素子の１回の露光期間における総発光量である。総発光量は、発光量の時間変化を露光期間において時間で積分した値に相当する。総発光量は、発光期間や単位時間あたりの発光量で制御される。或いは、パルス発光の場合には、パルス数や、各パルスの発光量で総発光量が制御される。
　また本実施形態では、画像合成部３３０が、照明光の発光量が一定に制御されたＮフレームの画像を深度拡大画像に合成する場合において、内視鏡装置が照明制御部（図４の照明制御部３６０）を含む。照明制御部は、深度拡大画像の明るさ調整のための照明光の制御を行うと共に、Ｎフレームの画像が撮像される間は発光量を一定にする。
　具体的には、照明制御部は、深度拡大画像の明るさが適正になるように照明光（発光量）を制御する。例えば、深度拡大画像の明るさが一定に維持されるように、或いは深度拡大画像の明るさの変化が（調光しない場合に比べて）低減されるように、照明光を制御する。また、照明制御部は、Ｎフレームの画像が撮像される間は照明光の発光量を維持し（変化させず）、Ｎフレームの画像の撮像が終了した後、次のＮフレームの画像の撮像が開始される前に、照明光の発光量を変化させる。このようにして、Ｎフレームの画像が撮像される間の発光量を一定にする。
　例えば、図５等で後述するように、撮像素子は、深度拡大画像のフレームレートのＮ倍のフレームレートで撮像を行う。この場合、深度拡大画像に合成されるＮフレームの画像と、次の深度拡大画像に合成されるＮフレームの画像とが重複しない。例えば、全てのＮフレームの画像の各々について、照明光の発光量を一定にすることが可能である。なお、これに限定されず、一部のＮフレームの画像の各々について、照明光の発光量が一定になっていなくてもよい。即ち、照明光の発光量が一定に制御されたＮフレームの画像が存在していればよい。例えば、照明光の発光量が一定になっていないＮフレームの画像では、後述する補正処理により画像の明るさを一定にしてもよい。また、撮像素子が撮像するフレームレートが、深度拡大画像のフレームレートのＮ倍でなくてもよい。
　本実施形態によれば、照明制御部が、Ｎフレームの画像が撮像される間は発光量を一定にすることで、画像合成部３３０が、照明光の発光量が一定に制御されたＮフレームの画像を深度拡大画像に合成できる。これにより、深度拡大画像におけるアーティファクトの発生を抑制できる。
　また本実施形態では、照明制御部は、フォーカス位置が停止するタイミングを含む発光期間において照明光を発光する制御を行う。
　例えば、図１２で後述するように、フォーカス位置が停止するタイミング（例えばｔａ１）と発光期間（ＴＬＡ１）の中央とが一致する。発光期間の中央は、発光期間が開始してから、発光期間の長さの１／２が経過したタイミングである。
　本実施形態によれば、フォーカス位置が停止するタイミングを含む発光期間において照明光を発光させることで、発光期間におけるフォーカス位置の変化を小さくできる。内視鏡装置において、発光期間は実質的な撮像期間である。発光期間においてフォーカス位置が変化すると画質が低下するおそれがあるが、本実施形態によれば画質低下を抑制できる。
　また本実施形態では、フォーカス制御部３５０は、第１のフォーカス位置と、第１のフォーカス位置とは異なる第２のフォーカス位置との間でフォーカス位置を往復させる。照明制御部は、フォーカス位置が第１のフォーカス位置となるタイミングを含む第１の発光期間と、フォーカス位置が第２のフォーカス位置となるタイミングを含む第２の発光期間とにおいて、照明光を照射する制御を行う。画像合成部３３０は、第１の発光期間で撮像された画像と第２の発光期間で撮像された画像とを含むＮフレームの画像を深度拡大画像に合成する。
　例えば、図１２の例では、第１のフォーカス位置はＰＡであり、第１の発光期間はＴＬＡ１であり、第２のフォーカス位置はＰＢであり、第２の発光期間はＴＬＡ２である。そして、第１の発光期間ＴＬＡ１で撮像された画像ＩＡ１と第２の発光期間ＴＬＡ２で撮像された画像ＩＡ２が深度拡大画像ＥＩＡに合成される。なお、更に異なるフォーカス位置で画像が撮像され、その画像を含む３フレーム以上の画像が深度拡大画像に合成されてもよい。
　本実施形態によれば、第１、第２のフォーカス位置は往復の折り返し位置となるので、フォーカス位置が第１、第２のフォーカス位置となるタイミングは、フォーカス位置が停止するタイミングである。これにより、第１、第２の発光期間は、フォーカス位置が停止するタイミングを含む発光期間となる。また、フォーカス位置を第１、第２のフォーカス位置の間で往復させることで、第１、第２のフォーカス位置で撮像された画像が順次に得られ、動画として撮像できる。そして、順次に深度拡大画像を合成することで、深度拡大画像による動画をユーザに提示できる。また、往復の折り返し点である第１、第２のフォーカス位置で撮像することで、最もフォーカス位置が離れた２つのフォーカス位置で撮像でき、効率的に深度を拡大できる。また、図５で後述するように、第１のフォーカス位置における被写体深度と第２のフォーカス位置における被写体深度とが連続していることが、より好適である。２つの被写体深度が連続していることで、第１、第２のフォーカス位置で撮像した画像を合成した際に、更に効率的に深度を拡大できる。
　また本実施形態では、撮像素子は、ローリングシャッタ方式で画像を撮像してもよい。照明制御部は、撮像素子の有効画素領域の全ライン（全走査線、全画素）が露光状態となっている全画素露光期間において照明光を発光する制御を行う。
　例えば、図１３で後述するように、全画素露光期間の中央と発光期間の中央とが一致する。全画素露光期間の中央は、全画素露光期間が開始してから、全画素露光期間の長さの１／２が経過したタイミングである。
　本実施形態によれば、撮像素子の有効画素領域の全ラインが露光状態となっている全画素露光期間において被写体を撮像できる。これにより、ローリングシャッタ歪み（動く被写体をローリングシャッタ方式で撮像したときに生じる画像の歪み）を回避できる。
　ここで、有効画素領域とは、撮像素子の画素アレイのうち、画像データとして用いられる（又は表示画像として表示される）画素の領域である。有効画素領域は、撮像素子の画素アレイの全体であってもよいし、一部であってもよい。例えば、撮像素子の画素アレイには、画像データとして用いられない（又は表示画像として表示されない）ダミー画素が設けられる場合がある。この場合、有効画素領域は、画素アレイからダミー画素を除いた有効画素の領域である。
　また本実施形態では、照明制御部は、照明光の発光期間の長さを制御することで、画像が撮像される際の総発光量を制御する。
　例えば、図１０で後述するように、単位時間あたりの発光量を変化させず、発光期間の長さ（１つの露光期間における発光期間の長さ）を変化させることで、総発光量を制御する。このとき、１フレームの深度拡大画像に合成されるＮフレームの画像（例えばＩＡ１、ＩＡ２）が撮像される際の発光期間の長さ（ＴＬＡ）は一定である。なお、発光期間の長さ及び単位時間あたりの発光量の両方を制御して、総発光量を制御してもよい。
　本実施形態によれば、照明光の発光期間の長さを制御することで、画像が撮像される際の総発光量を制御できる。即ち、照明光の発光期間を長くするほど総発光量を大きくできる。また、照明光の発光期間の長さを制御することで、１フレームの深度拡大画像に合成されるＮフレームの画像が撮像される際の総発光量を一定に制御できる。
　また本実施形態では、照明制御部は、照明光の単位時間当たりの発光量を制御することで、画像が撮像される際の総発光量を制御してもよい。
　例えば、図１１で後述するように、発光期間の長さを変化させず、単位時間あたりの発光量を変化させることで、総発光量を制御する。このとき、１フレームの深度拡大画像に合成されるＮフレームの画像（例えばＩＡ１、ＩＡ２）が撮像される際の単位時間あたりの発光量（ＬＡＡ）は一定である。
　本実施形態によれば、照明光の単位時間あたりの発光量を制御することで、画像が撮像される際の総発光量を制御できる。即ち、単位時間あたりの発光量を大きくするほど総発光量を大きくできる。また、単位時間あたりの発光量を制御することで、１フレームの深度拡大画像に合成されるＮフレームの画像が撮像される際の総発光量を一定に制御できる。
　また本実施形態では、照明制御部は、撮像素子の露光期間の中央と発光期間の中央とが一致する発光期間において、照明光を発光させる制御を行う。
　動画撮影において露光期間は所与の周期で繰り返される。この露光期間の中央と発光期間の中央を一致させることで、周期的に変化するフォーカス位置と発光期間の同期制御を簡素化できる。例えば露光期間の周期とフォーカス位置変化の周期を整数比に設定することで、フォーカス位置変化の所与の位相（例えばフォーカス位置が停止するタイミング）と露光期間の中央とを一致させることができる。そして、露光期間の中央と発光期間の中央を一致させることで、フォーカス位置変化の所与の位相での画像を撮像できる。例えば、発光期間の長さを変化させる場合、露光期間の中央と発光期間の中央を一致させておけば、フォーカス位置変化の位相と発光期間の中央の関係が変化しない。
　ここで、露光期間とは、撮像素子の画素が電荷を蓄積可能な状態（露光状態）となっている期間である。図５で後述するようなグローバルシャッタ方式では、撮像素子の全画素（有効画素領域の全ライン）が同時に露光を開始し、同時に露光を停止する。この場合、その露光開始から露光停止までの期間が露光期間である。露光期間の中央とは、露光期間が開始してから、露光期間の長さの１／２が経過したタイミングである。
　また本実施形態では、照明制御部は、撮像素子の露光期間において照明光を複数回パルス発光させる。このとき、パルス発光の総発光量の重心と、フォーカス位置が停止するタイミングとが一致する。
　具体的には、露光期間のうちフォーカス位置が停止するタイミングより前の期間におけるパルス発光の総発光量と、露光期間のうちフォーカス位置が停止するタイミングより後の期間におけるパルス発光の総発光量とが一致してもよい。即ち、フォーカス位置が停止するタイミングより前のパルスの発光量の積算値と、フォーカス位置が停止するタイミングより後のパルスの発光量の積算値とが、一致していればよい。
　例えば、図１５で後述するように、各パルスの発光量が同一であり、パルスの発光間隔が一定である場合、フォーカス位置が停止するタイミング（例えばｔａ１）より前のパルス数（２回）と、フォーカス位置が停止するタイミングより後のパルス数（２回）とが同一である。
　本実施形態によれば、照明光がパルス発光である場合においても、フォーカス位置が停止するタイミングでの画像を取得できる。即ち、パルス発光開始から停止するまでの期間を撮影期間と考えれば、フォーカス位置が停止するタイミングを含む撮影期間での画像を取得できる。
　また本実施形態では、画像合成部３３０は、第１のＮフレームの画像を第１の深度拡大画像に合成し、第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成する。照明制御部は、第１のＮフレームの画像が撮像される期間と第２のＮフレームの画像が撮像される期間との間に、照明光の発光量を変化させる。
　例えば、図１０の例では、第１のＮフレームの画像は画像ＩＡ１、ＩＡ２であり、第１の深度拡大画像はＥＩＡであり、第２のＮフレームの画像は画像ＩＢ１、ＩＢ２であり、第２の深度拡大画像はＥＩＢである。そして、画像ＩＡ２の露光期間（又は発光期間）が終了した後、画像ＩＢ２の露光期間（又は発光期間）が開始する前に、照明光の発光量を変化させる。図１０の例では、発光期間をＴＬＡからＴＬＢに変化させている。なお、図１１のように単位時間あたりの発光量をＬＡＡからＬＡＢに変化させてもよい。
　本実施形態によれば、第１のＮフレームの画像が撮像される期間と第２のＮフレームの画像が撮像される期間との間に、照明光の発光量を変化させることで、第１のＮフレームの画像が撮像される間では発光量を第１の発光量に維持し、第２のＮフレームの画像が撮像される間では発光量を第２の発光量に維持できる。これにより、１フレームの深度拡大画像に合成されるＮフレームの画像が撮像される間は照明光の発光量を一定にできる。
　また本実施形態では、画像合成部３３０が、画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する場合において、内視鏡装置が、撮像素子により撮像される画像の明るさ調整のための照明光の制御を行う照明制御部を含む。そして、画像合成部が、Ｎフレームの画像の各画像の明るさが一定となるように補正処理を行い、その補正処理されたＮフレームの画像を深度拡大画像に合成する。
　照明制御部により照明光が制御された場合、１フレームの深度拡大画像に合成されるＮフレームの画像の明るさが異なる場合がある。本実施形態では、Ｎフレームの画像の各画像の明るさが一定となるように補正処理を行うことで、１フレームの深度拡大画像に合成されるＮフレームの画像の明るさを一定にできる。これにより、深度拡大画像におけるアーティファクト（明るさムラ）の発生を抑制できる。
　なお、図５等では、深度拡大画像のフレームレート（例えば６０ｆｐｓ）のＮ倍のフレームレート（例えばＮ＝２の場合、１２０ｆｐｓ）で撮像素子が撮像する場合を例に説明しているが、これに限定されない。例えば、深度拡大画像のフレームレートと同じフレームレートで撮像素子が撮像を行ってもよい。この場合、深度拡大画像に合成されるＮフレームの画像は重複する。例えば、図５の例では、画像ＩＡ１、ＩＡ２から第１の深度拡大画像を合成し、画像ＩＡ２、ＩＢ１から第２の深度拡大画像を合成し、画像ＩＢ１、ＩＢ２から第３の深度拡大画像を合成する。そうすると、撮像のフレームレート（１２０ｆｐｓ）と同じフレームレートの深度拡大画像が得られる。例えば、画像ＩＡ２とＩＢ１の間で調光を行うと、第２の深度拡大画像では明るさが異なる画像が合成されることになる。このとき、上述した画像処理により画像の明るさを補正処理することで、画像ＩＡ２とＩＢ１の明るさを揃え、第２の深度拡大画像を合成すればよい。
　なお、本実施形態の内視鏡装置は以下のように構成されてもよい。即ち、本実施形態の内視鏡装置は、情報（例えばプログラムや各種のデータ）を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサ（ハードウェアを含むプロセッサ）と、を含む。プロセッサは、対物光学系のフォーカス位置を制御するフォーカス制御処理と、撮像素子により順次に撮像された画像を取得する画像取得処理と、Ｎフレームの画像を１フレームの深度拡大画像に合成する画像合成処理と、を実行する。そして、フォーカス制御処理は、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成処理は、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。
　プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することができる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、内視鏡装置の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。内視鏡装置の各部は、例えば図２の処理部３００の各部（画像取得部３９０、画像合成部３３０、フォーカス制御部３５０）である。或いは、図４の処理部３００の各部（画像合成部３３０、フォーカス制御部３５０、前処理部３１０、制御部３４０、照明制御部３６０）である。
　また、本実施形態の内視鏡装置の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、フォーカス制御部３５０は、対物光学系のフォーカス位置を制御するフォーカス制御モジュールとじて実現される。同様に、画像取得部３９０は、撮像素子により順次に撮像された画像を取得する画像取得モジュールとじて実現される。画像合成部３３０は、Ｎフレームの画像を１フレームの深度拡大画像に合成する画像合成モジュールとじて実現される。そして、フォーカス制御モジュールは、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成モジュールは、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。
　また、本実施形態の内視鏡装置の各部が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリー（ＲＯＭ）などにより実現できる。内視鏡装置（処理部３００）は、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
　２．詳細な構成例
　図４は、内視鏡装置の詳細な構成例である。内視鏡装置は、挿入部１００（スコープ）と処理部３００（制御装置、処理装置）と表示部４００（表示装置）と外部Ｉ／Ｆ部５００（インターフェース、操作部、操作装置）と照明部６００（照明装置、光源）とを含む。内視鏡装置としては、例えば消化管等に用いられる軟性鏡や、腹腔鏡等に用いられる硬性鏡を想定できる。
　挿入部１００は、体内へ挿入される部分である。挿入部１００は、ライトガイド部１１０（ライトガイド）と撮像部２００（撮像装置）とを含む。
　ライトガイド部１１０は、照明部６００からの出射光を、挿入部１００の先端まで導光する。照明部６００は、例えば白色光源６１０（例えばＬＥＤや、キセノンランプ）を含み、白色光の照明光を出射する。なお、照明光は白色光に限定されず、内視鏡装置に用いられる種々の帯域の照明光を採用できる。
　撮像部２００は、被写体からの反射光を結像し、被写体の画像を撮像する。撮像部２００は、対物レンズ系２１０（対物レンズ）と撮像素子２２０（イメージセンサ）とＡ／Ｄ変換部２３０（Ａ／Ｄ変換回路）とを含む。
　対物レンズ系２１０は、ライトガイド部１１０からの出射光が照射された被写体から反射した反射光を、被写体像として結像する。対物レンズ系２１０のフォーカス位置は変更可能であり、後述するフォーカス制御部３５０によって制御されている。
　撮像素子２２０は、対物レンズ系２１０により結像された被写体像を光電変換して画像を撮像（生成）する。Ａ／Ｄ変換部２３０は、撮像素子２２０から順次出力されるアナログ信号をデジタルの画像に変換し、そのデジタルの画像を前処理部３１０に順次出力する。具体的には、撮像素子２２０により被写体の動画が撮像される。その動画の各フレームの画像がＡ／Ｄ変換され、デジタルの画像として前処理部３１０に出力される。
　処理部３００は、画像処理を含む信号処理や、内視鏡装置の制御を行う。処理部３００は、前処理部３１０（前処理回路）と、フレームメモリ部３２０（メモリ）と、画像合成部３３０（画像合成回路）と、制御部３４０（制御回路、コントローラ）と、フォーカス制御部３５０（フォーカス位置制御部、フォーカス制御回路、フォーカスコントローラ）と、照明制御部３６０（照明制御回路、照明コントローラ）と、を含む。
　前処理部３１０は、Ａ／Ｄ変換部２３０から順次出力された画像に対して、ホワイトバランス処理や補間処理（デモザイキング処理）等の画像処理を施し、その処理後の画像をフレームメモリ部３２０と画像合成部３３０に順次出力する。なお、図４では前処理部３１０が図２の画像取得部３９０に相当する。
　フレームメモリ部３２０は、前処理部３１０から出力された画像を少なくとも１フレーム（１又は複数のフレーム）格納する。格納された画像は、画像合成部３３０に出力される。深度拡大画像に合成される画像のフレーム数をＮとして、フレームメモリ部３２０に格納される画像のフレーム数はＮ－１である。
　画像合成部３３０は、フレームメモリ部３２０に格納された１フレーム以上の画像と、前処理部３１０から出力される画像とを、１フレームの深度拡大画像に合成し、その深度拡大画像を出力する。即ち、深度拡大画像の各局所領域について、Ｎフレームの画像のうち最もフォーカスが合っている画像の局所領域を選択し、１フレームの深度拡大画像を生成する。撮像素子２２０により撮像される動画のフレームから順次に深度拡大画像を合成することで、深度拡大画像をフレーム画像とする動画が得られる。
　制御部３４０は、撮像素子２２０、前処理部３１０、フレームメモリ部３２０、画像合成部３３０、フォーカス制御部３５０及び照明制御部３６０と双方向に接続しており、これらを制御する。例えば、制御部３４０は、撮像素子２２０の露光期間とフォーカス位置（フォーカス制御部３５０から出力するフォーカス制御信号）と発光期間（照明制御部３６０から出力する照明制御信号）の同期を制御する。同期制御の詳細は後述する。
　フォーカス制御部３５０は、対物レンズ系２１０のフォーカス位置を制御するフォーカス制御信号を出力する。具体的には、所定のフォーカス位置の範囲を所定の周期で往復するように対物レンズ系２１０のフォーカス位置を動かす。フォーカス位置の制御の詳細は後述する。互いにフォーカス位置が異なる複数のタイミング（Ｎフレーム）で画像が撮像され、これらＮフレームの画像を画像合成部３３０で１フレームに合成することで、被写界深度を拡大した深度拡大画像が得られる。
　照明制御部３６０は、照明部６００が発光する発光量を制御する照明制御信号を出力する。具体的には、発光期間及び単位時間あたりの発光量を制御し、撮像素子２２０の１回の露光期間における総発光量を制御する。本実施形態では、深度拡大画像に合成されるＮフレームの画像を撮像している間は、各露光期間での発光量を変化させない（各露光期間での発光量を同一にする）。発光量の制御の詳細は後述する。
　表示部４００は、画像合成部３３０から出力される深度拡大画像を順次表示する。即ち、深度拡大画像をフレーム画像とする動画を表示する。表示部４００は、例えば液晶ディスプレイやＥＬディスプレイ等である。
　外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。即ち、内視鏡装置を操作するためのインターフェース、或いは内視鏡装置の動作設定を行うためのインターフェース等である。例えば、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
　以下、本実施形態の内視鏡装置の動作について説明する。図５は、詳細な構成例の内視鏡装置の動作を説明する図である。
　図５に示すように、撮像素子２２０は１２０ｆｐｓ（fps: frame per second）で撮像を行う。露光期間は、撮像素子２２０が露光状態（画素が光電変換による電荷を蓄積している状態）となっている期間である。読み出し期間は、撮像素子２２０の画素に蓄積された電荷が信号（画像）として読み出される期間である。照明制御部３６０は、露光期間中に照明部６００を発光させる。即ち、発光期間が露光期間に含まれ、その発光期間において照明制御部３６０が照明部６００を発光させる。フォーカス制御部３５０は、発光期間中にフォーカス位置をなるべく停止させ、発光期間中以外にフォーカス位置を変化させる。即ち、フォーカス制御部３５０はフォーカス位置ＰＡ（例えば遠点側のフォーカス位置）とフォーカス位置ＰＢ（例えば近点側のフォーカス位置）の間でフォーカス位置を往復させる。フォーカス位置ＰＡ、ＰＢの各々においてフォーカス位置が停止するタイミングがあり、発光期間は、そのタイミングを含む期間となっている。なお、発光期間は、フォーカス位置が停止するタイミングを含む期間である場合に限定されない。発光期間におけるフォーカス位置の変化が、発光期間以外の期間におけるフォーカス位置の変化よりも相対的に小さくなっていればよい。
　以上の動作により、フォーカス位置ＰＡでの画像ＩＡ１、フォーカス位置ＰＢでの画像ＩＡ２、フォーカス位置ＰＡでの画像ＩＢ１、フォーカス位置ＰＢでの画像ＩＢ２が順次に撮像される。
　なお、フォーカス位置ＰＡにおける被写界深度と、フォーカス位置ＰＢにおける被写界深度とが、連続していることが望ましい。例えばフォーカス位置ＰＡがフォーカス位置ＰＢより遠点側である場合、フォーカス位置ＰＡにおける被写界深度の近点側の端と、フォーカス位置ＰＢにおける被写界深度の遠点側の端とが、一致することが望ましい。なお、フォーカス位置ＰＡにおける被写界深度と、フォーカス位置ＰＢにおける被写界深度とが、その一部において重複してもよい。例えば、フォーカス位置ＰＡ、ＰＢにおける被写界深度の１／２以下の領域で重複してもよい。望ましくは、フォーカス位置ＰＡ、ＰＢにおける被写界深度の１／４以下の領域で重複してもよい。
　画像合成部３３０は、画像ＩＡ１とＩＡ２を合成して深度拡大画像ＥＩＡとして出力し、画像ＩＢ１とＩＢ２を合成して深度拡大画像ＥＩＢとして出力する。画像ＩＡ１とＩＢ１を撮像する際の総発光量は、深度拡大画像の明るさが観察に最適になるよう適宜調整されるため異なる場合がある。一方、画像ＩＡ１とＩＡ２を撮像する際の総発光量は一定に維持され、画像ＩＢ１とＩＢ２を撮像する際の総発光量は一定に維持される。このようにすることで、画像合成時のアーティファクト発生を抑制できる。
　３．フォーカス位置の制御
　図６は、フォーカス位置の変化パターンの第１の例である。この例では、フォーカス位置を台形状に変化させ、露光期間の間はフォーカス位置を停止させる。
　具体的には、第１の露光期間の間はフォーカス位置ＰＡに停止させ、次の第２の露光期間の間はフォーカス位置ＰＢに停止させる。露光期間以外の期間においてフォーカス位置を移動（例えば直線的に一定の速度で移動）させる。この動作を１／６０秒間に行い、以降は１／６０秒毎に同様の動作を繰り返す。
　フォーカス位置が停止した第１、第２の露光期間において撮像を行うことで、撮像中のフォーカス位置変化に伴う画質低下を抑制できる。また、１／６０秒周期でフォーカス位置を変化させることで、フォーカス位置が異なる２つの画像を１／６０秒毎に取得できる（即ち、６０ｆｐｓの深度拡大画像が得られる）。
　図７は、フォーカス位置の変化パターンの第２の例である。この例では、フォーカス位置を正弦波状に変化させ、露光期間は、フォーカス位置が停止するタイミングを含んでいる。
　具体的には、フォーカス位置ＰＡ、ＰＢを頂点（極値点）とする正弦波でフォーカス位置を変化させる。第１の露光期間はフォーカス位置ＰＡの頂点を含み、次の第２の露光期間の間はフォーカス位置ＰＢの頂点を含む。正弦波の周期は１／６０秒である。
　アクチュエータによる駆動の加速度が大きい（加減速が急である）と、アクチュエータの寿命（耐用年数）が短くなることが知られている。正弦波のような滑らかな波形でフォーカス位置を変化させることで、アクチュエータによる駆動の加速度を小さく（加減速を緩やかに）でき、アクチュエータの経年劣化を抑制できる。また、１／６０秒周期の正弦波でフォーカス位置を変化させることで、フォーカス位置が異なる２つの画像を１／６０秒毎に取得できる。
　図８は、フォーカス位置の変化パターンの第３の例である。この例では、フォーカス位置を１／３０秒周期で変化させ、１／３０秒間にフォーカス位置ＰＢ、ＰＡ、ＰＡ、ＰＢの順に移動させる。
　具体的には、フォーカス位置ＰＡより遠点側のフォーカス位置ＰＣと、フォーカス位置ＰＢより近点側のフォーカス位置ＰＤとの間で、１／３０秒周期でフォーカス位置を往復させる。第１の露光期間は、フォーカス位置がＰＢとなるタイミングを含み、次の第２の露光期間は、フォーカス位置がＰＡとなるタイミングを含み、次の第３の露光期間は、フォーカス位置がＰＡとなるタイミングを含み、次の第４の露光期間は、フォーカス位置がＰＢとなるタイミングを含む。例えば、第１、第４の露光期間の中央は、フォーカス位置がＰＢとなるタイミングであり、第２、第３の露光期間の中央は、フォーカス位置がＰＡとなるタイミングである。第１、第２の露光期間で撮像された画像を深度拡大画像に合成し、第３、第４の露光期間で撮像された画像を深度拡大画像に合成する。なお、図５ではフォーカス位置を直線的に移動させているが、これに限定されず、例えば１／３０秒周期の正弦波でフォーカス位置を移動させてもよい。
　フォーカス位置を１／３０秒周期で変化させることで、アクチュエータに要求される最大速度を遅くできる。これにより、アクチュエータの経年劣化を抑制できる。また、にフォーカス位置をＰＢ、ＰＡ、ＰＡ、ＰＢの順に移動させることで、フォーカス位置ＰＡ、ＰＢで撮像された２つの画像を１／６０秒毎に取得できる。
　図９は、フォーカス位置の変化パターンの第４の例である。この例では、フォーカス位置が停止するタイミングが１／６０秒間に３回あり、その停止タイミングを含む露光期間で撮像を行う。即ち、１８０ｆｐｓで撮像を行う。
　具体的には、遠点側のフォーカス位置ＰＥと近点側のフォーカス位置ＰＧとの間で、１／６０秒周期でフォーカス位置を往復させる。フォーカス位置ＰＥからＰＧに移動する途中に、フォーカス位置ＰＦで停止させる（フォーカス位置ＰＦでのフォーカス位置変化の傾きはゼロである）。フォーカス位置ＰＦは、フォーカス位置ＰＥとＰＧの間のフォーカス位置であり、例えばフォーカス位置ＰＥとＰＧの中央である。フォーカス位置は、滑らかな波形で変化させる。第１の露光期間は、フォーカス位置がＰＥとなるタイミングを含み、次の第２の露光期間は、フォーカス位置がＰＦとなるタイミングを含み、次の第３の露光期間は、フォーカス位置がＰＧとなるタイミングを含む。例えば、第１の露光期間の中央は、フォーカス位置がＰＥとなるタイミングであり、第２の露光期間の中央は、フォーカス位置がＰＦとなるタイミングであり、第３の露光期間の中央は、フォーカス位置がＰＧとなるタイミングである。第１～第３の露光期間で撮像された３つの画像を深度拡大画像に合成する。
　フォーカス位置が停止するタイミングが１／６０秒間に３回あるため、フォーカス位置が互いに異なる３つの画像を１／６０秒毎に取得できる（即ち、６０ｆｐｓの深度拡大画像が得られる）。これにより、合成前の画像に比べて被写界深度を３倍に拡大できる。また、滑らかな波形でフォーカス位置を変化させることで、アクチュエータの劣化を抑制できる。
　なお、図５～図９ではフォーカス位置が違いに異なる２フレーム又は３フレームの画像を取得し、それを１フレームの深度拡大画像に合成する場合を例に説明したが、これに限定されない。即ち、フォーカス位置が違いに異なる２以上のフレーム（Ｎフレーム）を取得し、それを１フレームの深度拡大画像に合成すればよい。また、図５～図９では１／６０秒間にＮフレームの画像を撮像し（Ｎ×６０ｆｐｓで撮像し）、６０ｆｐｓの深度拡大画像を生成する場合を例に説明したが、これに限定されない。例えば、１／３０秒（又は１／１２０秒）間にＮフレームの画像を撮像し、３０ｆｐｓ（又は１２０ｆｐｓ）の深度拡大画像を生成してもよい。
　４．発光量の制御
　図１０は、発光量の制御手法の第１の例である。この例では、単位時間あたりの発光量は一定であり、発光期間の長さで総発光量を制御する。総発光量は、１回の露光期間における発光量であり、発光量の時間変化を露光期間で積分したものである。単位時間あたりの発光量が一定の場合、総発光量は、単位時間あたりの発光量と発光期間の長さを乗算したものである。
　具体的には、画像ＩＡ１、ＩＡ２を合成して深度拡大画像ＥＩＡを生成し、画像ＩＢ１、ＩＢ２を合成して深度拡大画像ＥＩＢを生成する。このとき、画像ＩＡ１、ＩＡ２を撮像する際の発光期間は、同一の発光期間ＴＬＡであり、画像ＩＢ１、ＩＢ２を撮像する際の発光期間は、同一の発光期間ＴＬＢである。
　図１１は、発光量の制御手法の第２の例である。この例では、発光期間の長さは一定であり、単位時間あたりの発光量で総発光量を制御する。
　具体的には、画像ＩＡ１、ＩＡ２を撮像する際の単位時間あたりの発光量は、同一の発光量ＬＡＡであり、画像ＩＢ１、ＩＢ２を撮像する際の単位時間あたりの発光量は、同一の発光量ＬＡＢである。
　合成される画像間（例えば画像ＩＡ１とＩＡ２）に明るさの違いがあると、深度拡大画像に輝度ムラなどのアーティファクトが発生するおそれがあり、内視鏡画像としての品質を低下させる。図１０、図１１のように１フレームの深度拡大画像に合成されるＮフレームの画像を撮像する際に、各フレームでの総発光量を一定に維持することで、上記のような画質低下を抑制できる。
　なお、以上では単位時間あたりの発光量又は発光期間を制御する場合を例に説明したが、総発光量の制御手法はこれに限定されない。即ち、１回の露光期間における発光量の時間変化を露光期間で積分した総発光量が、各露光期間で同一になっていればよい。例えばパルス発光する光源を用いた場合に、露光期間での発光回数を制御することで総発光量を制御してもよい。
　５．同期制御
　図１２は、フォーカス位置と発光タイミングの同期制御を説明する図である。図１２において、フォーカス位置を太実線で示し、発光量を細実線で示す。図１２に示すように、フォーカス位置が停止するタイミングに同期させて照明光を発光させる。
　具体的には、タイミング（時間）ｔａ１、ｔｂ１においてフォーカス位置がＰＡに停止し、タイミングｔａ２、ｔｂ２においてフォーカス位置がＰＢに停止する。発光期間ＴＬＡ１は、その中央のタイミングがｔａ１に一致するように設定され、発光期間ＴＬＡ２は、その中央のタイミングがｔａ２に一致するように設定される。発光期間ＴＬＡ１、ＴＬＡ２における総発光量は同じである。同様に、発光期間ＴＬＢ１は、その中央のタイミングがｔｂ１に一致するように設定され、発光期間ＴＬＢ２は、その中央のタイミングがｔｂ２に一致するように設定される。発光期間ＴＬＢ１、ＴＬＢ２における総発光量は同じである。
　内視鏡画像においては、被写体に照射される光の大部分は照明部６００が発生する照明光であり、撮像素子２２０の露光期間中に照明光を発光させることで、被写体画像が取得される。図１２のように、フォーカス位置が停止するタイミング（ｔａ１、ｔａ２、ｔｂ１、ｔｂ２）と同期させて照明光を発光することで、発光期間におけるフォーカス位置の変化が小さくなる。これにより、撮像中のフォーカス位置変化による画質低下を抑制できる。
　図１３は、撮像素子の露光と照明部の発光の同期制御を説明する図である。図１３では、撮像素子２２０がローリングシャッタ方式で露光を行い、全画素露光期間内に発光期間を設定する。なお、ここでは撮像素子２２０の走査線（有効画素領域の走査線）が４８０本である場合を例に説明するが、走査線数はこれに限定されない。
　ローリングシャッタ方式では、撮像素子２２０の第１の走査線の露光を開始し、次に第２の走査線の露光を開始する。これを第４８０の走査線まで順次に行う。第４８０の走査線の露光が開始された後、第１の走査線の露光を終了し、第１の走査線の画素値を読み出し、次に第２の走査線の露光を終了し、第２の走査線の画素値を読み出す。これを第４８０の走査線まで順次に行う。第４８０の走査線の露光が開始された後、第１の走査線の露光を終了するまでの期間は、第１～第４８０の走査線が全て露光している状態である。この期間を全画素露光期間と呼ぶ。
　発光期間は、全画素露光期間に含まれるように設定される。即ち、発光期間の長さは全画素露光期間の長さより短く、全画素露光期間の開始以降に発光期間が開始し、全画素露光期間の終了以前に発光期間が終了する。全画素露光期間の中央と発光期間の中央が一致するように発光期間を設定することが望ましい。なお、図１２で説明したように、フォーカス位置が停止するタイミングが発光期間に含まれるように、フォーカス位置を同期させる。
　ローリングシャッタ方式では走査線を順次に露光していくため、被写体の動きに伴って被写体の画像が歪む現象（いわゆるローリングシャッタ歪み）が発生する。内視鏡装置では、照明光が照射された被写体が撮像されるので、露光期間中の走査線と露光していない走査線が存在するタイミングで発光させた場合にローリングシャッタ歪みが発生する。図１３のように、全画素露光期間において照明光を発光させることで、ローリングシャッタ歪みの発生を回避できる。
　図１４に示すように、発光期間の中央とフォーカス位置が停止するタイミングが一致しない場合、フォーカス位置が停止するタイミングが発光期間に含まれなくなる場合がある。例えば、総発光量を発光期間の長さで制御した場合に、このような状況が生じる可能性がある。フォーカス位置の変化の位相を発光期間の長さに応じて調整することで、フォーカス位置が停止するタイミングを発光期間に含ませることが可能であるが、フォーカス位置の制御が複雑になってしまう。図１３では、全画素露光期間の中央と発光期間の中央を一致させる。これにより、発光期間の長さが変わる場合であっても、フォーカス位置が停止するタイミングを発光期間に含むようにできる。例えば、全画素露光期間の中央と発光期間の中央とフォーカス位置が停止するタイミングを一致させる。また、発光期間の長さに関わらず、各周期におけるフォーカス位置の変化の波形を同一にできる。
　また、発光期間の中央とフォーカス位置が停止するタイミングを一致させた場合に、全画素露光期間の中央とフォーカス位置が停止するタイミングが一致（同期）していないと、発光期間の最大の長さが全画素露光期間の長さより短くなる。図１３では、全画素露光期間の中央と発光期間の中央とフォーカス位置が停止するタイミングを一致させているので、発光期間の最大の長さが全画素露光期間の長さと同一になる。これにより、最大総発光量を最大化できる。
　図１５は、パルス発光を行う際の、フォーカス位置と発光タイミングの同期制御を説明する図である。図１５において、フォーカス位置を太実線で示し、発光量を細実線で示す。図１５に示すように、フォーカス位置が停止するタイミングとパルス発光の総発光量の重心とを一致させる。
　具体的には、１つのパルスの発光量をＨＲ（ＨＲはパルス毎に異なってもよい）とし、そのパルスの発光タイミングをｔとする。このとき、露光期間内のｔ＜ｔｇｃにおける全パルスについてＨＲを積算した値と、露光期間内のｔ＞ｔｇｃにおける全パルスについてＨＲを積算した値とが等しくなるタイミングが、総発光量の重心に対応するタイミングである。このタイミングとフォーカス位置が停止するタイミングとを一致させればよい。
　例えば、画像ＩＡ１の露光期間において、フォーカス位置がＰＡとなるタイミングｔａ１を基準として対称なタイミングで４回の同一発光量のパルス発光を行う場合、タイミングｔａ１の前に２回のパルス発光を行い、タイミングｔａ１の後に２回のパルス発光を行う。画像ＩＡ２、ＩＢ１、ＩＢ２の露光期間におけるパルス発光についても、フォーカス位置が停止するタイミングの前後でパルス発光の回数が同じである。
　このように、フォーカス位置が停止するタイミングとパルス発光の総発光量の重心（又は中央）とを一致させることで、フォーカス位置とパルス発光のタイミングを適切に同期できる。即ち、発光回数や各パルスの発光量に関わらず、所望のフォーカス位置（フォーカス位置が停止する位置）での画像を取得できる。
　なお、図５～図１５では、深度拡大画像に合成されるＮフレームの画像の明るさを一定にする制御を、照明光の制御により実現しているが、これに限定されない。例えば、撮像された画像の明るさを画像処理で補正することで、深度拡大画像に合成されるＮフレームの画像の明るさを一定にしてもよい。或いは、照明光を制御する手法と、画像の明るさを画像処理で補正する手法とを組み合わせて、深度拡大画像に合成されるＮフレームの画像の明るさを一定にしてもよい。なお、画像の明るさを画像処理で補正する手法については後述する。
　６．深度拡大画像の合成手法
　図１６は、画像合成部３３０の詳細な構成例である。画像合成部３３０は、第１合焦度算出部３３１と第２合焦度算出部３３２と合成マップ生成部３３３と合成出力部３３４とを含む。
　第１合焦度算出部３３１は、前処理部３１０から出力される画像の合焦度を画素毎に算出する。具体的には、画像に対してフィルタ処理（例えばハイパスフィルタ処理や、バンドパスフィルタ処理等）を行い、その処理結果を合焦度として出力する。第１合焦度算出部３３１は、算出した合焦度を第１合焦度として合成マップ生成部３３３に出力する。
　第２合焦度算出部３３２は、フレームメモリ部３２０に格納された画像の合焦度を画素毎に算出する。例えば、画像に対してハイパスフィルタ処理又はバンドパスフィルタ処理を行い、その処理結果を合焦度として出力する。第２合焦度算出部３３２は、算出した合焦度を第２合焦度として合成マップ生成部３３３に出力する。
　合成マップ生成部３３３は、画素毎に第１合焦度と第２合焦度とを比較し、その比較結果に基づき画像と同サイズの合成マップを生成する。合成マップは、各画素に「１」又は「０」が格納されたマップである。例えば、ある画素の第１合焦度が第２合焦度より大きければ、その画素に「１」を格納し、その画素の第１合焦度が第２合焦度以下であれば、その画素に「０」を格納する。
　合成出力部３３４は、前処理部３１０から出力される画像と、フレームメモリ部３２０に格納された画像とから、合成マップの値に基づき画素毎にいずれかを選択し、その選択された画素で構成した画像を深度拡大画像として出力する。ここで、合成マップの画素の値が「１」であれば、前処理部３１０から出力される画像の画素値を選択し、合成マップの画素の値が「０」であれば、フレームメモリ部３２０に格納された画像の画素値を選択する。
　なお、上記では、Ｎフレームの画像の中からいずれかの画像の画素値を選択する場合を例に説明したが、深度拡大画像の合成手法はこれに限定されない。例えば、第１合焦度と第２合焦度との大小関係に基づき合成マップを多値化し（ブレンド率を各画素に格納し）、前処理部３１０から出力される画像とフレームメモリ部３２０に格納された画像の画素値をブレンドして深度拡大画像を出力しても構わない。
　また、より望ましくは、画像合成部３３０が不図示の位置合わせ部を含み、位置合わせ部が、前処理部３１０から出力される画像を基準にしてフレームメモリ部３２０に格納された画像を画素毎に位置合わせする。そして、合成出力部３３４が、前処理部３１０から出力される画像と、位置合わせされた画像とから、深度拡大画像を合成する。
　７．画像処理による明るさ補正の手法
　図１７は、画像処理による明るさ補正を行う場合の合成出力部３３４の詳細な構成例である。合成出力部３３４は、第１照明度算出部３３４１と第２照明度算出部３３４２と合成部３３４３とを含む。
　第１照明度算出部３３４１は、前処理部３１０から出力される画像の照明度を画素毎に算出する。照明度は、画像の局所的な明るさを表す指標である。例えば、画像に対してローパスフィルタ処理又はバンドパスフィルタ処理を行い、その処理結果を照明度として出力する。第１照明度算出部３３４１は、算出した照明度を第１照明度として合成部３３４３に出力する。
　第２照明度算出部３３４２は、フレームメモリ部３２０に格納された画像の照明度を画素毎に算出する。例えば、画像に対してローパスフィルタ処理又はバンドパスフィルタ処理を行い、その処理結果を照明度として出力する。第２照明度算出部３３４２は、算出した照明度を第２照明度として合成部３３４３に出力する。
　合成部３３４３は、前処理部３１０から出力される画像と、フレームメモリ部３２０に格納された画像とから、合成マップの値に基づき画素毎にいずれかを選択し、選択した画素で構成した画像を深度拡大画像として出力する。ここで、フレームメモリ部３２０に格納された画像の画素値Ｉを第１照明度Ｂ１および第２照明度Ｂ２に基づき補正し、その補正後の画素値Ｉ’を選択する。例えば下式（１）又は下式（２）により画素値を補正する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　８．調光制御の手法
　以下、調光制御の手法について説明する。図１８は、制御部３４０の詳細な構成例である。制御部３４０は、調光検波部３４１と調光補正部３４２とを含む。
　調光検波部３４１は、前処理部３１０から出力される画像の画素値から、調光検波値を算出する。例えば、各画素の輝度信号を全画素で平均した値を調光検波値として出力する。調光検波部３４１は、調光検波値を調光補正部３４２に出力する。なお、画像の中央部に限定して輝度信号の平均値を算出してもよい。或いは、計算負荷低減のため適当な画素数の間隔で輝度信号をサンプリングして輝度信号の平均値を算出してもよい。
　調光補正部３４２は、調光検波部３４１から出力される調光検波値Ｄと所定の調光基準値Ｓに基づき、照明補正係数Ｃを算出する。例えば下式（３）により照明補正係数を算出する。調光補正部３４２は照明補正係数を照明制御部３６０に出力する。
Figure JPOXMLDOC01-appb-M000003
　照明制御部３６０は、現時点の照明光の発光量Ｅ０に対して、次のタイミングの照明光の発光量Ｅ１を下式（４）のように制御する。
Figure JPOXMLDOC01-appb-M000004
　例えば、発光量Ｅ０は図１０、図１１、図１５の画像ＩＡ１とＩＡ２を撮像する際の発光量（露光期間における総発光量）に対応し、発光量Ｅ１は図１０、図１１、図１５の画像ＩＢ１とＩＢ２を撮像する際の発光量（露光期間における総発光量）に対応する。発光量Ｅ１を制御する照明補正係数Ｃは、画像ＩＡ１、ＩＡ２の少なくとも一方に基づいて算出される。
　なお、上記では調光検波部３４１が、前処理部３１０から出力される画像の画素値から調光検波値を算出したが、調光検波部３４１が、画像合成部３３０から出力される深度拡大画像から調光検波値を算出してもよい。具体的には、調光検波部３４１が図１０、図１１、図１５の深度拡大画像ＥＩＡから調光検波値を算出し、調光補正部３４２が照明補正係数を求め、照明制御部３６０が画像ＩＢ１とＩＢ２を撮像する際の発光量を制御する。
　また、図１０、図１１、図１５において、画像ＩＡ１とＩＡ２、画像ＩＡ２とＩＢ１、画像ＩＢ１とＩＢ２を、順次深度合成してもよい。この場合、画像ＩＡ１とＩＡ２を合成した深度拡大画像から画像ＩＢ１を撮像する際の発光量を求め、画像ＩＡ２とＩＢ１を合成した深度拡大画像から画像ＩＢ２を撮像する際の発光量をもとめてもよい。合成される２の画像を撮像する際の発光量が異なる場合には、上述した画像処理による明るさ補正を行って深度拡大画像を合成する。
　９．手術支援システム
　本実施形態の内視鏡装置（内視鏡システム）としては、例えば図４のように制御装置（処理部）に挿入部（スコープ）が接続され、そのスコープをユーザが操作して体内を撮影するタイプのものが想定される。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。
　図１９は、手術支援システムの構成例である。手術支援システム９００は、制御装置９１０（処理部）、ロボット９２０（ロボット本体）、スコープ９３０（例えば硬性鏡）を含む。制御装置９１０は、ロボット９２０を制御する装置である。即ち、ユーザが制御装置９１０の操作部を操作することでロボットを動作させ、ロボットを介して患者に対する手術を行うようになっている。また制御装置９１０の操作部を操作することでロボット９２０を介してスコープ９３０を操作し、手術領域を撮影できるようになっている。制御装置９１０は、図１又は図４の処理部３００を含んでいる。ユーザは、処理部３００が表示装置（不図示）に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システム９００における制御装置９１０に適用することが可能である。なお、制御装置９１０はロボット９２０と一体に構成（ロボット９２０に内蔵）されてもよいし、ロボット９２０の外部に別個の装置として設けられてもよい。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１００　挿入部、１１０　ライトガイド部、２００　撮像部、
２１０　対物レンズ系、２２０　撮像素子、２３０　Ａ／Ｄ変換部、
３００　処理部、３１０　前処理部、３２０　フレームメモリ部、
３３０　画像合成部、３３１　第１合焦度算出部、
３３２　第２合焦度算出部、３３３　合成マップ生成部、
３３４　合成出力部、３４０　制御部、３４１　調光検波部、
３４２　調光補正部、３５０　フォーカス制御部、３６０　照明制御部、
３９０　画像取得部、４００　表示部、５００　外部Ｉ／Ｆ部、
６００　照明部、６１０　白色光源、９００　手術支援システム、
９１０　制御装置、９２０　ロボット、９３０　スコープ、
３３４１　第１照明度算出部、３３４２　第２照明度算出部、
３３４３　合成部、
ＥＩＡ，ＥＩＢ　深度拡大画像、Ｆ１～Ｆ４　フレーム、
ＩＡ１，ＩＡ２　画像（Ｎフレームの画像）、
ＩＢ１，ＩＢ２　画像（Ｎフレームの画像）、
ＬＡＡ，ＬＡＢ　発光量、ＰＡ～ＰＧ　フォーカス位置、
ＴＬＡ，ＴＬＢ　発光期間

Claims (14)

  1. 　照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、
    　前記撮像素子により順次に撮像された画像を取得する画像取得部と、
    　前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、
    　を含み、
    　前記フォーカス制御部は、
    　前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、
    　前記画像合成部は、
    　前記照明光の発光量が一定に制御された前記Ｎフレームの画像、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を前記深度拡大画像に合成することを特徴とする内視鏡装置。
  2. 　請求項１において、
    　前記深度拡大画像の明るさ調整のための前記照明光の制御を行うと共に、前記Ｎフレームの画像が撮像される間は前記発光量を一定にする照明制御部を含むことを特徴とする内視鏡装置。
  3. 　請求項２において、
    　前記照明制御部は、
    　前記フォーカス位置が停止するタイミングを含む発光期間において前記照明光を発光する制御を行うことを特徴とする内視鏡装置。
  4. 　請求項２において、
    　前記フォーカス制御部は、
    　第１のフォーカス位置と、前記第１のフォーカス位置とは異なる第２のフォーカス位置との間で前記フォーカス位置を往復させ、
    　前記照明制御部は、
    　前記フォーカス位置が前記第１のフォーカス位置となるタイミングを含む第１の発光期間と、前記フォーカス位置が前記第２のフォーカス位置となるタイミングを含む第２の発光期間とにおいて、前記照明光を照射する制御を行い、
    　前記画像合成部は、
    　前記第１の発光期間で撮像された前記画像と前記第２の発光期間で撮像された前記画像とを含む前記Ｎフレームの画像を前記深度拡大画像に合成することを特徴とする内視鏡装置。
  5. 　請求項２において、
    　前記撮像素子は、
    　ローリングシャッタ方式で前記画像を撮像し、
    　前記照明制御部は、
    　前記撮像素子の有効画素領域の全ラインが露光状態となっている全画素露光期間において前記照明光を発光する制御を行うことを特徴とする内視鏡装置。
  6. 　請求項２において、
    　前記照明制御部は、
    　前記照明光の発光期間の長さを制御することで、前記画像が撮像される際の総発光量を制御することを特徴とする内視鏡装置。
  7. 　請求項２において、
    　前記照明制御部は、
    　前記照明光の単位時間当たりの発光量を制御することで、前記画像が撮像される際の総発光量を制御することを特徴とする内視鏡装置。
  8. 　請求項２において、
    　前記照明制御部は、
    　前記撮像素子の露光期間の中央と発光期間の中央とが一致する前記発光期間において、前記照明光を発光させる制御を行うことを特徴とする内視鏡装置。
  9. 　請求項２において、
    　前記照明制御部は、
    　前記撮像素子の露光期間において前記照明光を複数回パルス発光させ、
    　前記パルス発光の総発光量の重心と、前記フォーカス位置が停止するタイミングとが一致し、
    　前記重心は、前記フォーカス位置が停止するタイミング以前の前記パルス発光の総発光量と、前記フォーカス位置が停止するタイミング以後の前記パルス発光の総発光量とが一致するタイミングであることを特徴とする内視鏡装置。
  10. 　請求項２において、
    　前記画像合成部は、
    　第１のＮフレームの画像を第１の深度拡大画像に合成し、前記第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成し、
    　前記照明制御部は、
    　前記第１のＮフレームの画像が撮像される期間と前記第２のＮフレームの画像が撮像される期間との間に、前記照明光の発光量を変化させることを特徴とする内視鏡装置。
  11. 　請求項１において、
    　前記撮像素子により撮像される画像の明るさ調整のための前記照明光の制御を行う照明制御部を含み、
    　前記画像合成部は、
    　前記Ｎフレームの画像の各画像の明るさが一定となるように前記補正処理を行い、前記補正処理された前記Ｎフレームの画像を前記深度拡大画像に合成することを特徴とする内視鏡装置。
  12. 　請求項１において、
    　前記照明光を前記被写体に照射する照明部と、
    　前記対物光学系と前記撮像素子とを有する撮像部と、
    　を含むことを特徴とする内視鏡装置。
  13. 　照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、
    　前記撮像素子により順次に撮像された画像を取得する画像取得部と、
    　前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、
    　前記照明光を制御する照明制御部と、
    　を含み、
    　前記フォーカス制御部は、
    　前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、
    　前記画像合成部は、
    　第１のＮフレームの画像を第１の深度拡大画像に合成し、前記第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成し、
    　前記照明制御部は、
    　前記第１のＮフレームの画像が撮像される期間と前記第２のＮフレームの画像が撮像される期間との間に、前記照明光の発光量を変化させることを特徴とする内視鏡装置。
  14. 　Ｎフレーム（Ｎは２以上の整数）の画像の各画像が撮像されるタイミングにおいて対物光学系のフォーカス位置が異なるように、前記フォーカス位置を制御し、
    　撮像素子により撮像された前記Ｎフレームの画像を取得し、
    　照明光の発光量が一定に制御された、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を、１フレームの深度拡大画像に合成することを特徴とする内視鏡装置の作動方法。
PCT/JP2017/038385 2017-10-24 2017-10-24 内視鏡装置及び内視鏡装置の作動方法 WO2019082278A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019549720A JP6841932B2 (ja) 2017-10-24 2017-10-24 内視鏡装置及び内視鏡装置の作動方法
PCT/JP2017/038385 WO2019082278A1 (ja) 2017-10-24 2017-10-24 内視鏡装置及び内視鏡装置の作動方法
US16/843,013 US11304597B2 (en) 2017-10-24 2020-04-08 Endoscope apparatus and operating method of endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038385 WO2019082278A1 (ja) 2017-10-24 2017-10-24 内視鏡装置及び内視鏡装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/843,013 Continuation US11304597B2 (en) 2017-10-24 2020-04-08 Endoscope apparatus and operating method of endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2019082278A1 true WO2019082278A1 (ja) 2019-05-02

Family

ID=66247343

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038385 WO2019082278A1 (ja) 2017-10-24 2017-10-24 内視鏡装置及び内視鏡装置の作動方法

Country Status (3)

Country Link
US (1) US11304597B2 (ja)
JP (1) JP6841932B2 (ja)
WO (1) WO2019082278A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843756B2 (en) * 2020-09-11 2023-12-12 Verily Life Sciences Llc Image signal processing to compensate for scene changes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043107A1 (ja) * 2014-09-18 2016-03-24 オリンパス株式会社 内視鏡システム
JP2017049249A (ja) * 2015-08-31 2017-03-09 株式会社ミツトヨ マシンビジョン検査システムにおける調節可能レンズを用いた多焦点画像
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656168B2 (ja) * 2008-03-05 2011-03-23 カシオ計算機株式会社 画像合成装置
JP5856733B2 (ja) * 2010-11-02 2016-02-10 オリンパス株式会社 撮像装置
DE102017123511A1 (de) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043107A1 (ja) * 2014-09-18 2016-03-24 オリンパス株式会社 内視鏡システム
JP2017049249A (ja) * 2015-08-31 2017-03-09 株式会社ミツトヨ マシンビジョン検査システムにおける調節可能レンズを用いた多焦点画像
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Also Published As

Publication number Publication date
US11304597B2 (en) 2022-04-19
JPWO2019082278A1 (ja) 2020-11-19
JP6841932B2 (ja) 2021-03-10
US20200229688A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
WO2019123796A1 (ja) 内視鏡システム
US10194789B2 (en) Rolling shutter imaging device and endoscope apparatus including the same
US10397489B2 (en) Light source control device, method of controlling light source, and image capture system
JP5562808B2 (ja) 内視鏡装置及びプログラム
US20130201315A1 (en) Medical instrument
US20130307951A1 (en) Imaging apparatus
US20210282630A1 (en) Image processing device and method, endoscope system, and program
US11272092B2 (en) Imaging device, endoscope apparatus, and operating method of imaging device
JP2010162123A (ja) 画像処理システム、画像処理方法、及びプログラム
US9826885B2 (en) Endoscope system
US10602916B2 (en) Endoscope system that adjusts luminance of frame image including images of a pluraliry of regions and actuating method for endoscope system
JP2014230708A (ja) 内視鏡
US11304597B2 (en) Endoscope apparatus and operating method of endoscope apparatus
JP6377171B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
JP2018175871A (ja) 撮像装置及び撮像装置の制御プログラム
JP2007275243A (ja) 面順次方式電子内視鏡装置
JP2020151090A (ja) 医療用光源装置及び医療用観察システム
US20180267291A1 (en) Endoscope system
JP6257475B2 (ja) 走査型内視鏡装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6937902B2 (ja) 内視鏡システム
JPWO2019244247A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US10918269B2 (en) Medical light source apparatus and medical observation system
US20210290037A1 (en) Medical image processing apparatus and medical observation system
JP2020137614A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17929872

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549720

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17929872

Country of ref document: EP

Kind code of ref document: A1