WO2021140597A1 - 制御装置、内視鏡システム、および制御方法 - Google Patents
制御装置、内視鏡システム、および制御方法 Download PDFInfo
- Publication number
- WO2021140597A1 WO2021140597A1 PCT/JP2020/000353 JP2020000353W WO2021140597A1 WO 2021140597 A1 WO2021140597 A1 WO 2021140597A1 JP 2020000353 W JP2020000353 W JP 2020000353W WO 2021140597 A1 WO2021140597 A1 WO 2021140597A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- distance measurement
- wavelength band
- unit
- pixel
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
Definitions
- the present disclosure relates to a control device, an endoscope system, and a control method to which an endoscope that captures an in-vivo image in the subject by being inserted into the subject is connected.
- an imaging unit including phase difference pixels for phase difference detection and an optical system designed to have a high aperture value so as to have a deep depth of field are provided at the tip of the insertion unit. AF control and distance measurement are performed by this.
- the optical system used for the endoscope is designed to have a higher aperture value than the optical system used for the image pickup apparatus of Patent Document 1 described above, the angle of light rays incident on the image pickup surface of the parallax pixel is large. By narrowing down, it is difficult to obtain parallax in a pair of phase difference pixels, the parallax component becomes small, the accuracy of the AF evaluation value is poor, and as a result, the accuracy of the distance measurement calculation deteriorates and the measurement error becomes large. There was a problem.
- the present disclosure has been made in view of the above, and an object of the present disclosure is to provide a control device, an endoscopic system, and a control method capable of improving the accuracy of distance measurement calculation.
- control device includes a processor consisting of at least one hardware, and the processor is an optical system that forms a subject image of a subject.
- the optical system is the first focal position.
- the first image signal generated by the phase difference pixel in the above state and the second image signal generated by the phase difference pixel in the state where the optical system is in the second focal position are acquired, and further, the said The first distance measurement information is calculated based on the first image signal, the second distance measurement information is calculated based on the second image signal, and the distance between the subject and the imaging unit is further calculated.
- a calculation is performed based on the information indicating the focal position of the optical system, the reference information indicating the correspondence between the distance measurement information, the first distance measurement information, and the second distance measurement information, and the calculation result is obtained. Is output.
- control device is based on the reference information, the first distance measurement information, and the second distance measurement information as the calculation.
- the calculation for determining the reliability of the distance measurement information of 1 is performed.
- the control device is based on the first distance measurement information, the information indicating the first focal position, and the reference information as the calculation.
- the first subject distance corresponding to the first distance measurement information is estimated, and further, based on the estimated first subject distance, the information indicating the second focal position, and the reference information.
- the distance measurement information corresponding to the second focal position is estimated, and further, the distance measurement information corresponding to the estimated second focal position and the second distance measurement information are used as the basis for the first measurement. Performs an operation to determine the reliability of distance information.
- control device is based on, as the calculation, at least the first distance measurement information, the second distance measurement information, and the reference information. An operation is performed to estimate the distance between the subject and the imaging unit.
- control device further moves the optical system along the optical axis to move the focal position of the optical system from the first focal position to the second focal position. Change to the focal position.
- control device further switches the illumination light irradiating the subject from the first wavelength band to the second wavelength band to change the focal position of the optical system.
- the first focal position is changed to the second focal position.
- the processor further emits light from a light source device capable of emitting narrow band light having different wavelength bands as the first wavelength band and the second wavelength band. Control is performed to switch the light to be generated from the first wavelength band to the second wavelength band.
- the control device can irradiate the light of the red wavelength band, the light of the green wavelength band, and the light of the blue wavelength band, and the processor is the above-mentioned.
- the phase difference pixel is arranged at the position of the pixel where the green filter that transmits light in the green wavelength band is stacked and the distance measurement signal instructing the distance measurement is input, the green color is supplied to the light source device. Is irradiated with light in the wavelength band of.
- the control device can irradiate the light of the red wavelength band, the light of the green wavelength band, the light of the blue wavelength band, and the light of the orange wavelength band.
- the retardation pixel has a pixel in which a red filter that transmits light in a red wavelength band is laminated, a pixel in which a green filter that transmits light in a green wavelength band is laminated, and a pixel in a blue wavelength band.
- the control device can irradiate the light of the red wavelength band, the light of the green wavelength band, the light of the blue wavelength band, and the light of the purple wavelength band.
- the processor directs distance measurement when the phase difference pixel is arranged at the position of a pixel in which a cyan filter that transmits light in a green wavelength band and light in a blue wavelength band is laminated.
- the light source device is alternately irradiated with one of the light in the blue wavelength band and the light in the purple wavelength band, and the light in the green wavelength band.
- control device causes the processor to output the image signal from the image pickup unit when a distance measurement signal instructing distance measurement is input.
- control device alternately outputs the image signal and an image signal generated from pixels other than the phase difference pixels of the imaging unit to the imaging unit. Let me.
- the retardation pixel has a plurality of light receiving units for receiving light
- the imaging unit includes a blue filter, a red filter, and two green filters.
- the light source has a color filter in which the filter units configured to be used are arranged so as to correspond to predetermined pixels in a plurality of pixels, and the phase difference pixels are arranged in a two-dimensional matrix.
- the apparatus can irradiate light in the red wavelength band, light in the green wavelength band, light in the blue wavelength band, and light in the orange wavelength band, and the processor uses the light in the blue wavelength band as the light source.
- the image signal is output to the imaging unit only from the horizontal line of the imaging unit in which the blue filter and the green filter are arranged, while light in the red wavelength band is emitted from the light source.
- the image signal is output to the imaging unit only from the horizontal line of the imaging unit in which the red filter and the green filter are arranged.
- control device adds the image signals of the upper and lower retardation pixels located in the vertical direction and outputs them to the imaging unit, or is located in the horizontal direction.
- the image signals of the left and right phase difference pixels are added and output to the imaging unit.
- control device determines whether or not the motion vector is equal to or higher than the threshold value from the image signal, and the motion vector among the retardation pixels is equal to or higher than the threshold value.
- the reliability is determined by excluding a certain pixel.
- the endoscopic system is an endoscopic system including an endoscopic device and a control device to which the endoscopic device is connected and having a processor composed of at least one or more hardware.
- the endoscopic device is an imaging unit having an optical system that forms an image of a subject and a phase difference pixel that generates an image signal for generating ranging information that correlates with the distance from the subject.
- the processor comprises a first image signal generated by the phase difference pixel in a state where the optical system is in the first focal position, and the processor is in a state where the optical system is in the second focal position.
- the second image signal generated by the phase difference pixel is acquired, the first distance measurement information is calculated based on the first image signal, and the second measurement is performed based on the second image signal.
- the distance information is calculated, and further, the distance between the subject and the imaging unit, the information indicating the focal position of the optical system, the reference information indicating the correspondence between the distance measurement information, and the first distance measurement information. And the second distance measurement information, the calculation is performed, and the calculation result is output.
- control method is a control method executed by a processor including at least one or more hardware, and is a measurement that correlates with an optical system that forms a subject image of a subject and a distance from the subject.
- a processor including at least one or more hardware
- the phase difference pixel is generated in a state where the optical system is in the first focal position.
- the image signal of 1 and the second image signal generated by the phase difference pixel in a state where the optical system is in the second focal position are acquired, and further, the first measurement is performed based on the first image signal.
- the distance information is calculated, the second distance measurement information is calculated based on the second image signal, and the information indicating the distance between the subject and the imaging unit and the focal position of the optical system and the above.
- a calculation is performed based on the reference information indicating the correspondence relationship with the distance measurement information, the first distance measurement information, and the second distance measurement information, and the calculation result is output.
- the effect is that the accuracy of the distance measurement calculation can be improved.
- FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
- FIG. 3 is a cross-sectional view of the right aperture pixel in the retardation pixel.
- FIG. 4 is a top view of the right aperture pixel in the retardation pixel.
- FIG. 5 is a cross-sectional view of the left aperture pixel in the retardation pixel.
- FIG. 6 is a top view of the left aperture pixel in the retardation pixel.
- FIG. 7 is a diagram schematically showing an array of color filters.
- FIG. 8 is a diagram schematically showing the sensitivity and wavelength band of each filter.
- FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
- FIG. 3 is
- FIG. 9 is a diagram schematically showing an arrangement of imaging units having retardation pixels.
- FIG. 10 is a diagram showing the spectral characteristics of each light emitted by the light source unit.
- FIG. 11 is a diagram showing an example of reference information recorded by the reference information recording unit.
- FIG. 12 is a flowchart showing an outline of the processing executed by the endoscope system.
- FIG. 13 is a flowchart showing an outline of the distance measuring process.
- FIG. 14 is a timing chart in the distance measuring process.
- FIG. 15 is a diagram schematically showing a ranging region in the imaging unit.
- FIG. 16 is a diagram schematically showing the focal position direction at each AF point.
- FIG. 17 is a diagram schematically showing a moving direction and a moving amount of the focus lens.
- FIG. 18 is a diagram schematically showing an outline of a determination method determined by the first determination unit.
- FIG. 19 is a block diagram showing a functional configuration of a main part of the endoscope system according to the second embodiment.
- FIG. 20 is a diagram showing an example of reference information recorded by the reference information recording unit.
- FIG. 21 is a flowchart showing an outline of the distance measuring process executed by the endoscope system.
- FIG. 22 is a timing chart in the distance measuring process.
- FIG. 23 is a diagram schematically showing an outline of a determination method determined by the first determination unit.
- FIG. 24 is a timing chart in the distance measuring process.
- FIG. 25 is a timing chart in the distance measuring process.
- FIG. 26 is a diagram schematically showing a pixel arrangement of the imaging unit according to the third embodiment.
- FIG. 27 is a timing chart in the distance measuring process executed by the endoscope system according to the third embodiment.
- FIG. 28 is a timing chart in the distance measuring process according to the first modification of the third embodiment.
- FIG. 29 is a timing chart in the distance measuring process according to the second modification of the third embodiment.
- FIG. 30 is a diagram schematically showing a read-out area of the imaging unit according to the third modification of the third embodiment.
- FIG. 31 is a timing chart in the distance measuring process according to the third modification of the third embodiment.
- FIG. 32 is a cross-sectional view of the retardation pixel according to the fourth embodiment.
- FIG. 33 is a top view of the retardation pixel according to the fourth embodiment.
- FIG. 34 is a diagram schematically showing the arrangement of the imaging unit according to the fourth embodiment.
- FIG. 35 is a diagram schematically showing a method of reading out an imaging unit when the light source device irradiates light in a wavelength band of a short wavelength.
- FIG. 36 is a diagram schematically showing a method of reading out an imaging unit when the light source device irradiates light in a wavelength band of a long wavelength.
- FIG. 37 is a diagram schematically showing another arrangement of the imaging unit according to the fourth embodiment.
- FIG. 38 is a diagram schematically showing another arrangement of the imaging unit according to the fourth embodiment.
- FIG. 39 is a diagram schematically showing the configuration of the color filter according to the fifth embodiment.
- FIG. 40 is a diagram schematically showing the sensitivity and wavelength band of each filter.
- FIG. 41 is a diagram schematically showing an arrangement of imaging units.
- FIG. 42 is a diagram schematically showing the arrangement of the imaging unit according to the first modification of the fifth embodiment.
- FIG. 43 is a diagram schematically showing another arrangement of the imaging unit according to the first modification of the fifth embodiment.
- FIG. 44 is a diagram schematically showing another arrangement of the imaging unit according to the first modification of the fifth embodiment.
- FIG. 45 is a diagram schematically showing another arrangement of the imaging unit according to the first modification of the fifth embodiment.
- FIG. 46 is a flowchart showing an outline of the distance measuring process according to the sixth embodiment.
- FIG. 47 is a diagram schematically showing an outline of a determination method determined by the determination unit according to the sixth embodiment.
- FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
- the endoscope system 1 shown in FIGS. 1 and 2 images the inside of the subject by inserting it into the body of the subject by inserting it into a patient or the like, and displays a display image based on the captured image data.
- a user such as a doctor inspects the presence or absence of a bleeding site, a tumor site, and an abnormal site by observing the displayed image, and measures the size.
- the endoscope system 1 includes an endoscope device 2, a light source device 3, a display device 4, and a control device 5.
- the endoscope device 2 generates image data (RAW data) that images the inside of the subject, and outputs the generated image data to the control device 5.
- the endoscope device 2 includes an insertion unit 21, an operation unit 22, and a universal cord 23.
- the insertion portion 21 has an elongated shape with flexibility.
- the insertion portion 21 is connected to a tip portion 24 incorporating an imaging unit 244, which will be described later, a bendable bending portion 25 composed of a plurality of bending pieces, and a base end side of the bending portion 25, and has flexibility. It has a long flexible tube portion 26 and.
- the tip portion 24 is configured by using glass fiber or the like.
- the tip portion 24 includes a light guide 241 forming a light guide path for light supplied from the light source device 3, an illumination lens 242 provided at the tip of the light guide 241 and an optical system 243 that collects the reflected light from the subject. And an imaging unit 244 arranged at the imaging position of the optical system 243, and a driving unit 245 for moving the optical system 243 along the optical axis L1.
- the illumination lens 242 is configured by using one or a plurality of lenses, and emits the light supplied from the light guide 241 to the outside.
- the optical system 243 is configured by using a plurality of lenses, collects the reflected light reflected by the subject, and forms a subject image on the imaging surface of the imaging unit 244. Further, the optical system 243 has a focus lens 243a.
- the focus lens 243a is configured by using one or more lenses.
- the focus lens 243a is provided so as to be movable along the optical axis L1 and changes the focal position (focus position) of the optical system 243 by moving along the optical axis L1 under the drive of the drive unit 245 described later. Let me.
- the optical system 243 may be provided with a zoom lens group whose focal length can be changed.
- the image pickup unit 244 is configured by using an image sensor such as CMOS (Complementary Metal Oxide Semiconductor), and outputs image data (RAW data) to the control device 5 by taking an image at a predetermined frame rate.
- the imaging unit 244 includes a pixel unit 60 arranged in a two-dimensional matrix, a color filter 61 stacked on each light receiving surface of the pixel unit 60, and a micro arranged on the upper surface of the color filter 61. It has a lens 62, a reading unit 63, an endoscope recording unit 64 that records various information about the imaging unit 244, and an imaging control unit 65 that controls the reading unit 63.
- the pixel unit 60 has a plurality of imaging pixels 70 arranged in a two-dimensional matrix, and a plurality of retardation pixels 71 arranged in place of the imaging pixels 70 at predetermined intervals.
- Each of the plurality of imaging pixels 70 generates an image signal according to the amount of received light by performing photoelectric conversion, and outputs this image signal.
- Each of the plurality of retardation pixels 71 is one of a right aperture pixel and a left aperture image, and generates a pair of left and right image signals (phase difference signals) for adjusting the focal position and measuring the distance, and the pair of left and right images. Output the image signal.
- each of the plurality of phase difference pixels 71 generates an image signal for generating distance measurement information that correlates with the distance from the subject.
- the image data includes an image signal and an image signal (phase difference signal).
- FIG. 3 is a cross-sectional view of the right aperture pixel in the retardation pixel 71.
- FIG. 4 is a top view of the right aperture pixel in the phase difference pixel 71.
- FIG. 5 is a cross-sectional view of the left aperture pixel in the retardation pixel 71.
- FIG. 6 is a top view of the left aperture pixel in the phase difference pixel 71.
- the right-side aperture pixel 71L shown in FIGS. 3 and 4 will be described.
- the right-side opening pixel 71L is composed of a photodiode or the like, and has a light receiving portion 711 that functions as a photoelectric conversion element and light that is incident on the surface side of the light receiving portion 711 and is incident on the left region of the light receiving surface.
- the light-shielding portion 711L which will be described later, the color filter 61, and the microlens 62 are laminated in this order.
- the right opening pixel 71L is formed by stacking a reading unit 63 that reads an electric signal from the light receiving unit 711 on the back surface side of the light receiving unit 711.
- the left opening pixel 71R shown in FIGS. 5 and 6 will be described.
- the left-side opening pixel 71R is composed of a photodiode or the like, and has a light receiving portion 711 that functions as a photoelectric conversion element and light that is incident on the surface side of the light receiving portion 711 and is incident on the right region of the light receiving surface.
- the light-shielding portion 711R which will be described later, the color filter 61, and the microlens 62 are laminated in this order.
- the left side opening pixel 71R is formed by stacking the reading portion 63 on the back surface side of the light receiving surface.
- the right-side aperture pixel 71L and the left-side aperture pixel 71R configured in this way generate a pair of left and right image signals for adjusting the focal position and measuring the distance.
- FIG. 7 is a diagram schematically showing the arrangement of the color filters 61.
- the color filter 61 shown in FIG. 7 is composed of 2 ⁇ 2 as one filter unit U1.
- any one of the plurality of filters is arranged on the light receiving surface of the light receiving portion 711 of the imaging pixel 70, the right opening pixel 71L and the left opening pixel 71R.
- the filter unit U1 is composed of a Bayer arrangement, and has a red filter R that transmits light in the red wavelength band, two green filters G that transmit light in the green wavelength band, and light in the blue wavelength band. It is configured by using a transparent blue filter B.
- FIG. 8 is a diagram schematically showing the sensitivity and wavelength band of each filter.
- the horizontal axis represents the wavelength (nm) and the vertical axis represents the sensitivity.
- the curve L B represents the sensitivity of the blue filter B
- the curve L G represents the sensitivity of the green filter G
- the curve L R represents the sensitivity of the red filter R.
- the blue filter B transmits light in the blue wavelength band.
- the green filter G transmits light in the green wavelength band.
- the red filter R transmits light in the red wavelength band.
- the image pickup pixel 70 in which the red filter R is arranged on the light receiving surface is R pixel
- the image pickup pixel 70 in which the green filter G is arranged on the light receiving surface is G pixel
- the blue filter B is arranged on the light receiving surface.
- the image pickup pixel 70 is described as a B pixel.
- the right opening pixel 71L of the retardation pixel 71 will be referred to as a zR pixel
- the left opening pixel 71R of the retardation pixel 71 will be referred to as a zL pixel.
- FIG. 9 is a diagram schematically showing an arrangement of an imaging unit 244 having a retardation pixel 71.
- the right-side aperture pixel 71L and the left-side aperture pixel 71R are arranged in place of one of the two G pixels in the filter unit U1 and are 2 in the horizontal direction of the imaging unit 244. One is arranged for each one filter unit U1. Further, the right-side aperture pixel 71L and the left-side aperture pixel 71R are alternately arranged for each of the two filter units U1 in the vertical direction of the imaging unit 244. The arrangement of the right-side opening pixel 71L and the left-side opening pixel 71R can be changed as appropriate.
- the image pickup unit 244 configured in this way is composed of image pickup data composed of a plurality of electric signals generated by the image pickup pixel 70, and a plurality of left and right pair of image signals generated by the right side aperture pixel 71L and the left side aperture pixel 71R.
- the generated phase difference data and the image data including the generated phase difference data are output to the control device 5.
- the reading unit 63 reads out each of the electric signal from the image pickup pixel 70 and the image signal from the phase difference pixel 71 from the pixel unit 60 and outputs the image data to the control device 5.
- the reading unit 63 is configured by using a vertical scanning circuit, a horizontal scanning circuit, and the like.
- the reading unit 63 may be provided with an A / D conversion circuit or the like to output digital image data to the control device 5.
- the endoscope recording unit 64 records various information about the endoscope device 2.
- the endoscope recording unit 64 records identification information for identifying the endoscope device 2, identification information for the imaging unit 244, reference information indicating a measurement result measured in advance for each individual of the endoscope device 2, and the like. ..
- the reference information is information indicating the correspondence between the distance between the subject and the imaging unit 244, the information indicating the focal position of the optical system 243, and the distance measurement information correlating with the distance from the subject. The details of the reference information will be described later.
- the endoscope recording unit 64 records individual data including manufacturing variations in which the optical system 243 (lens) acquired in the manufacturing process and the imaging unit 244 are combined.
- the endoscope recording unit 64 is configured by using a non-volatile memory or the like.
- the image pickup control unit 65 controls the operation of the image pickup unit 244 based on the instruction signal and the control signal input from the control device 5. Specifically, the image pickup control unit 65 controls the frame rate and the shooting timing of the image pickup unit 244 based on the clock signal input from the control device 5.
- the image pickup control unit 65 is configured by using a timing generator or the like.
- the operation unit 22 includes a curved knob 221 that curves the curved portion 25 in the vertical and horizontal directions, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser scalpel, and an inspection probe into the body cavity, and a light source device 3.
- a treatment tool such as a biological forceps, a laser scalpel, and an inspection probe into the body cavity
- a light source device 3 In addition to the control device 5, an operation instruction signal for peripheral devices such as an air supply means, a water supply means, and a gas supply means, a prefreeze signal for instructing the imaging unit 244 to take a still image, or a tip 24 of the endoscope device 2 It has a plurality of switches 223 that receive input of a distance measurement signal instructing distance measurement of a distance to a subject.
- the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the tip portion 24.
- the universal cord 23 has at least a built-in light guide 241 and a condensing cable that bundles one or a plurality of cables.
- the collective cable is a signal line for transmitting and receiving signals between the endoscope device 2 and the light source device 3 and the control device 5, and is a signal line for transmitting and receiving setting data and a signal line for transmitting and receiving image data. , A signal line for transmitting and receiving a driving clock signal for driving the image pickup unit 244, and the like.
- the universal cord 23 has a connector portion 27 that can be attached to and detached from the light source device 3.
- the connector portion 27 has a coil-shaped coil cable 27a extending from the connector portion 27, and has a connector portion 28 detachable from the control device 5 at the extending end of the coil cable 27a.
- the light source device 3 supplies illumination light for irradiating the subject from the tip portion 24 of the endoscope device 2.
- the light source device 3 includes a light source unit 31, a light source driver 32, and a lighting control unit 33.
- the light source unit 31 irradiates the subject with at least one of white light including light in the red wavelength band, light in the green wavelength band, and light in the blue wavelength band, and special light.
- the light source unit 31 includes a condenser lens 311, a first light source 312, a second light source 313, a third light source 314, a fourth light source 315, and a fifth light source 316.
- the condenser lens 311 is configured by using one or more lenses.
- the condensing lens 311 condenses the light emitted by each of the first light source 312, the second light source 313, the third light source 314, the fourth light source 315, and the fifth light source 316 to the light guide 241. Exit.
- the first light source 312 is configured by using a red LED (Light Emitting Diode) lamp.
- the first light source 312 emits light in the red wavelength band (610 nm to 750 nm) (hereinafter, simply referred to as “R light”) based on the current supplied from the light source driver 32.
- the second light source 313 is configured by using a green LED lamp.
- the second light source 313 emits light in the green wavelength band (500 nm to 560 nm) (hereinafter, simply referred to as “G light”) based on the current supplied from the light source driver 32.
- the third light source 314 is configured by using a blue LED lamp.
- the third light source 314 emits light in the blue wavelength band (435 nm to 480 nm) (hereinafter, simply referred to as “B light”) based on the current supplied from the light source driver 32.
- the fourth light source 315 is configured by using a purple LED lamp.
- the fourth light source 315 emits light in a purple wavelength band (for example, 400 nm to 435 nm) (hereinafter, simply referred to as “V light”) based on the current supplied from the light source driver 32.
- V light a purple wavelength band
- the fifth light source 316 is configured by using an orange LED lamp.
- the fifth light source 316 emits light in an orange (Umber) wavelength band (595 nm to 610 nm) (hereinafter, simply referred to as “A light”) based on the current supplied from the light source driver 32.
- FIG. 10 is a diagram showing the spectral characteristics of each light emitted by the light source unit 31.
- the horizontal axis represents the wavelength (nm) and the vertical axis represents the output value.
- FIG. 10 illustrates the wavelength band of the curve L V purple, curve L B represents a wavelength band of blue, curve L G represents a green wavelength band, the curve L A represents the wavelength band of orange, curve L R represents the wavelength band of red.
- the light source unit 31 combines R light, G light, B light, V light, and A light to produce white light (R light + G light + B light) or special light (V light + G light or G light). + A light) is irradiated.
- the description of the configuration of the light source device 3 will be continued.
- the light source driver 32 applies current to the first light source 312, the second light source 313, the third light source 314, the fourth light source 315, and the fifth light source 316.
- the light source corresponding to the observation mode set in the endoscope system 1 is emitted.
- the light source driver 32 has a first light source 312 and a second light source 313 when the observation mode set in the endoscope system 1 is the normal observation mode under the control of the illumination control unit 33.
- white light hereinafter, simply referred to as “W light” is emitted by causing the third light source 314 to emit light.
- the light source driver 32 emits light from the second light source 313 and the fourth light source 315 when the observation mode set in the endoscope system 1 is the special light observation mode under the control of the illumination control unit 33. By making it emit special light (hereinafter, simply referred to as "S light").
- the lighting control unit 33 controls the lighting timing of the light source device 3 based on the instruction signal received from the control device 5. Specifically, the illumination control unit 33 emits light to the first light source 312, the second light source 313, and the third light source 314 at a predetermined cycle.
- the lighting control unit 33 is configured by using a CPU (Central Processing Unit) or the like. Further, when the observation mode of the endoscope system 1 is the normal observation mode, the illumination control unit 33 controls the light source driver 32 to control the first light source 312, the second light source 313, and the third light source 314. Is emitted to emit W light.
- CPU Central Processing Unit
- the illumination control unit 33 controls the light source driver 32 to combine the second light source 313 and the fourth light source 315. Light is emitted.
- the illumination control unit 33 controls the light source driver 32 according to the observation mode of the endoscope system 1, thereby controlling the first light source 312, the second light source 313, the third light source 314, and the fourth light source. Any two or more of the light source 315 and the fifth light source 316 may be emitted in combination.
- the display device 4 displays a display image based on the image data generated by the endoscope device 2 received from the control device 5.
- the display device 4 displays various information about the endoscope system 1.
- the display device 4 is configured by using a display panel such as a liquid crystal or an organic EL (Electro Luminescence).
- the control device 5 receives the image data generated by the endoscope device 2, performs predetermined image processing on the received image data, and outputs the received image data to the display device 4. Further, the control device 5 comprehensively controls the operation of the entire endoscope system 1.
- the control device 5 includes an image processing unit 51, an input unit 52, a recording unit 53, and a processing control unit 54.
- the image processing unit 51 receives the image data generated by the endoscope device 2, performs predetermined image processing on the received image data, and outputs the received image data to the display device 4. ..
- the image processing unit 51 is configured by using a memory and a processor having hardware such as GPU (Graphics Processing Unit), DSP (Digital Signal Processing) or FPGA (Field Programmable Gate Array).
- the input unit 52 receives an input of an instruction signal instructing the operation of the endoscope system 1 or a distance measurement signal instructing the distance measurement of the distance from the tip portion 24 of the endoscope device 2 to the subject, and accepts the input.
- the instruction signal or the distance measuring signal is output to the processing control unit 54.
- the input unit 52 receives the input of the distance measurement signal instructing the distance measurement, and outputs the received distance measurement signal to the processing control unit 54.
- the input unit 52 is configured by using a switch, a button, a touch panel, and the like.
- the recording unit 53 records various programs executed by the endoscope system 1, data being executed by the endoscope system 1, and image data generated by the endoscope device 2.
- the recording unit 53 is configured by using a volatile memory, a non-volatile memory, a memory card, or the like.
- the recording unit 53 includes a program recording unit 531 for recording various programs executed by the endoscope system 1 and a reference information recording unit 532.
- the reference information recording unit 532 internally inspects a plurality of reference information indicating the correspondence between the distance between the subject and the imaging unit 244, the information indicating the focal position of the optical system 243, and the distance measurement information correlating with the distance from the subject. Record for each mirror device 2.
- the plurality of reference information is associated with each identification information of the endoscope device 2 and recorded in the reference information recording unit 532.
- the processing control unit 54 which will be described later, transmits the plurality of reference information recorded by the reference information recording unit 532 from the endoscope recording unit 64 of the endoscope device 2.
- the identification information of the endoscope device 2 and the reference information associated with the identification information are acquired, and the acquired identification information and the reference information are recorded (stored) in association with each other.
- the plurality of reference information recorded by the reference information recording unit 532 is recorded by the processing control unit 54, which will be described later, when the endoscope device 2 is connected to the control device 5.
- the identification information of the endoscope device 2 may be acquired from 64, and the reference information corresponding to the acquired identification information may be acquired from a server (not shown) via a network and recorded.
- FIG. 11 is a diagram showing an example of reference information recorded by the reference information recording unit 532.
- the horizontal axis indicates the lens position of the focus lens 243a of the optical system 243
- the vertical axis indicates the amount of image shift (AF evaluation value).
- the object distance between the straight line L 3 is the imaging unit 5 and the object (subject) is 3 mm
- the image deviation characteristic from the focal position of is shown.
- the straight line L 5 shows a subject distance of 5 mm between the imaging unit 5 and the subject, and shows an image shift characteristic of an image shift amount and a focal position showing distance measurement information correlating with the distance from the subject.
- the straight line L 10 shows a subject distance of 10 mm between the imaging unit 5 and the subject, and shows an image shift characteristic between the amount of image shift and the focal position of the optical system 243 that correlates with the distance from the subject.
- the reference information if the optical system 243 is stopped at the focus position A, when the image shift amount is D 5 away from the focus position (0), the subject distance is 5 mm, the image shift amount of focus position (0) when you are D 3 away from the can the subject distance is determined to 3 mm.
- the subject distance was three for the sake of simplification of the explanation, but the reference information includes the measurement that correlates with the focal position of the optical system 243 and the distance from the subject for each subject distance.
- the image shift amount (AF evaluation value) indicating the distance information is recorded in association with each other.
- the processing control unit 54 includes a memory and a processor including at least one or more hardware such as an FPGA or a CPU.
- the processing control unit 54 controls each unit constituting the endoscope system 1.
- the processing control unit 54 includes an acquisition unit 541, a calculation unit 542, a calculation unit 542, a determination unit 543, a determination unit 543, a drive control unit 544, and a display control unit 545.
- the acquisition unit 541 acquires image data (image signal and image signal) generated by the image pickup unit 244 at each of a plurality of different focal positions from the endoscope device 2. Specifically, the acquisition unit 541 acquires image data (image signal and image signal) generated by the image pickup unit 244 when the optical system 243 is stopped at a plurality of different focal positions. For example, in the acquisition unit 541, the first image signal generated by the phase difference pixel 71 in the state where the optical system 243 is in the first focal position and the phase difference pixel 71 in the state where the optical system 243 is in the second focal position. Acquires the second image signal generated by the image pickup unit 244.
- the first focal position is the focal position of the optical system 243 at the time when the ranging signal is input.
- the second focal position is the position of the focal position of the optical system 243 when the optical system 243 moves from the focal position of the optical system 243 when the distance measurement signal is input.
- the calculation unit 542 calculates the first distance measurement information based on the first image signal acquired by the acquisition unit 541, and further calculates the second distance measurement information based on the second image signal acquired by the acquisition unit 541. Calculate. Furthermore, the calculation unit 542 first, as a calculation, based on the first distance measurement information, the information indicating the first focal position of the optical system 243, and the reference information recorded by the reference information recording unit 532. The first subject distance corresponding to the distance measurement information of is estimated. Further, the calculation unit 542 corresponds to the second focal position based on the estimated first subject distance, the second focal position of the optical system 243, and the reference information recorded by the reference information recording unit 532. Estimate distance measurement information.
- the calculation unit 542 calculates a plurality of distance measurement information corresponding to each of the plurality of focal positions. For example, the calculation unit 542 calculates the distance from the tip portion 24 or the imaging unit 244 of the endoscope device 2 to the subject as distance measurement information based on the image signal (phase difference signal) included in the image data. Then, the calculation unit 542 sets the first distance measurement information calculated based on the first image signal of the focal position of the optical system 243 at the time when the distance measurement signal is input, and the time when the distance measurement signal is input. The difference or inclination of the calculation connection with the distance measurement information calculated based on the second image signal when the focal position of the optical system 243 changes from the focal position of is calculated as the amount of change.
- the determination unit 543 has information indicating the distance between the subject and the image pickup unit 244, the focal position of the optical system 243, and the distance measurement information (image shift amount) that correlates with the distance from the subject recorded by the reference information recording unit 532.
- a calculation is performed based on the reference information indicating the correspondence between the above, the first distance measurement information calculated by the calculation unit 542, and the second distance measurement information, and the calculation result is output.
- the determination unit 543 is calculated based on the reference information recorded by the reference information recording unit 532, the first distance measurement information calculated by the calculation unit 542, and the second distance measurement information calculated by the calculation unit 542. , Performs an operation for determining the reliability of the first ranging information.
- the determination unit 543 performs the first measurement based on the distance measurement information corresponding to the second focal position of the optical system 243 and the second distance measurement information calculated by the calculation unit 542. Performs an operation to determine the reliability of distance information. For example, the determination unit 543 determines the reliability of any one or more of the plurality of distance measurement information based on the reference information recorded by the reference information recording unit 532 and the distance measurement calculation result calculated by the calculation unit 542. To do. Specifically, the determination unit 543 calculates the distance measurement information (first distance measurement information) calculated by the calculation unit 542 immediately after the distance measurement signal instructing the distance measurement is input from the operation unit 22 or the input unit 52. Judge the reliability of.
- the determination unit 543 determines whether or not the motion vector is equal to or greater than the threshold value for each of the plurality of image data acquired by the acquisition unit 541. Specifically, the determination unit 543 calculates a motion vector from the image signal acquired by the acquisition unit 541, and determines whether or not the calculated motion vector is equal to or greater than the threshold value.
- the drive control unit 544 adjusts the focal position of the optical system 243 by driving the drive unit 245 to move the optical system 243 along the optical axis L1 based on the distance measurement information calculated by the calculation unit 542.
- the display control unit 545 controls the display mode of the display device 4 by controlling the image processing unit 51. Specifically, the display control unit 545 causes the display device 4 to display a display image based on the image data subjected to image processing by the image processing unit 51.
- FIG. 12 is a flowchart showing an outline of the processing executed by the endoscope system 1.
- the processing control unit 54 causes the light source device 3 to irradiate the illumination light (step S101). Specifically, the processing control unit 54 controls each of the first light source 312, the second light source 313, and the third light source 314 of the light source device 3 by controlling the illumination control unit 33 to emit W light. Is irradiated from the tip 24 of the endoscope device 2 toward the subject.
- the processing control unit 54 outputs the image data generated by the imaging unit 244 receiving (exposing) the reflected light from the subject to the control device 5 (step S102).
- the processing control unit 54 causes the display device 4 to display a display image based on the display image data obtained by performing predetermined image processing on the image data input from the image pickup unit 244 (step S103). ..
- step S104 when a distance measuring signal instructing the measurement of the distance from the tip portion 24 of the endoscope device 2 to the subject is input from the operation unit 22 or the input unit 52 (step S104: Yes), the endoscope system 1 executes a distance measuring process for measuring the distance from the tip 24 of the endoscope device 2 to the subject (step S105). The details of the distance measurement process will be described later. After step S105, the endoscope system 1 shifts to step S106, which will be described later.
- step S104 when a distance measuring signal instructing the measurement of the distance from the tip portion 24 of the endoscope device 2 to the subject is not input from the operation unit 22 or the input unit 52 (step S104: No), endoscopy is performed.
- the mirror system 1 proceeds to step S106, which will be described later.
- step S106: Yes when the end signal for terminating the examination of the subject is input from the operation unit 22 or the input unit 52 (step S106: Yes), the endoscope system 1 ends this process. On the other hand, when the end signal for ending the examination of the subject is not input from the operation unit 22 or the input unit 52 (step S106: No), the endoscope system 1 returns to the above-mentioned step S101.
- FIG. 13 is a flowchart showing an outline of the distance measuring process.
- FIG. 14 is a timing chart in the distance measuring process. In FIG. 14, from the top, (a) shows the rising timing of the ranging trigger in the ranging signal, (b) shows the vertical synchronization timing, and (c) shows the imaging scan (exposure period) of the imaging unit 244. , (D) indicate the video output timing at which the image data is output from the imaging unit 244, (e) indicates the distance measurement calculation timing, (f) indicates the focal position of the optical system 243, and (g) displays. Indicates the timing.
- the drive control unit 544 irradiates the light source device 3 with the illumination light of W light (step S201), and the image pickup unit 244 receives the reflected light from the subject (subject) (exposure).
- the image data generated by the above is output to the control device 5 (step S202).
- the display control unit 545 displays the display device 4 when the distance measurement trigger is activated by inputting a distance measurement signal from the operation unit 22 or the input unit 52.
- the display of the display image f1 is maintained so that the display image f1 is continuously displayed.
- the drive control unit 544 causes the image pickup unit 244 to receive the reflected light from the subject (exposure period exp2) in a state where the optical system 243 is stopped at the focal position fc2, and the image pickup unit 244 takes an image based on the image data.
- the image f2 is output.
- the calculation unit 542 receives a subject from the tip 24 of the endoscope device 2 or the image pickup unit 244 based on the pair of left and right image signals of the phase difference pixels 71 included in the image pickup image f2 input from the image pickup unit 244.
- a distance measuring operation for calculating the distance to (subject) is performed (step S203), and the calculation result is recorded in the recording unit 53 (step S204).
- the calculation unit 542 performs endoscopy based on a pair of left and right image signals of the phase difference pixels 71 included in the captured image f2 based on the image data input from the imaging unit 244.
- a distance measurement calculation is performed to calculate the distance from the tip portion 24 or the imaging unit 244 of the mirror device 2 to the subject, and the calculation result c2 is recorded in the recording unit 53.
- the drive control unit 544 drives the drive unit 245 based on the calculation result c2 calculated by the calculation unit 542 to move the focus lens 243a along the optical axis L1 (step S205).
- the drive control unit 544 moves the focus lens 243a along the optical axis L1 during the reading period for reading the image data from the imaging unit 244.
- FIG. 15 is a diagram schematically showing a distance measuring region in the imaging unit 244.
- FIG. 16 is a diagram schematically showing the focal position direction at each AF point.
- FIG. 17 is a diagram schematically showing a moving direction and a moving amount of the focus lens 243a.
- 15 and 16 show an example in which the imaging unit 244 is divided into 5 ⁇ 5 ranging regions (a1 to a25). Further, in FIG. 16, the closest direction in the distance measuring region is referred to as “N”, and the infinite direction is indicated as “F”.
- the focus lens 243a is on the closest side, and the number in the closest direction (19 points) in the focal position direction in each distance measuring region is compared with the number in the infinite direction (6 points).
- the drive control unit 544 drives the drive unit 245 to move the focus lens 243a along the optical axis L1 in the direction of the infinite end.
- the drive control unit 544 drives the drive unit 245 to move the focus lens 243a to the focal position fc3 along the optical axis L1.
- step S206 the processing control unit 54 determines whether or not the distance measurement calculation has been completed a predetermined number of times, for example, three times. When it is determined that the distance measurement calculation has been completed a predetermined number of times (step S206: Yes), the endoscope system 1 proceeds to step S207, which will be described later.
- step S206 when it is determined that the distance measurement calculation has not been completed a predetermined number of times (step S206: No), the endoscope system 1 returns to step S201 described above.
- the drive control unit 544 receives the reflected light from the subject on the image pickup unit 244 while the optical system 243 is stopped at the focal position fc3. (Exposure period exp3), the image pickup unit 244 outputs the captured image f3 based on the image data.
- the calculation unit 542 performs a distance measurement calculation based on the pair of left and right image signals of the phase difference pixels 71 included in the captured image f3 input from the imaging unit 244, and records the calculation result c3 in the recording unit 53.
- the processing control unit 54 drives the drive unit 245 to move the focus lens 243a to the focal position fc4 along the optical axis L1.
- the processing control unit 54 causes the image pickup unit 244 to receive the reflected light from the subject while the focus lens 243a is stopped at the focal position fc4. (Exposure period exp4), the image pickup unit 244 outputs the captured image f4 based on the image data. Then, the calculation unit 542 performs a distance measurement calculation based on the pair of left and right image signals of the phase difference pixels 71 included in the captured image f4 input from the imaging unit 244, and records the calculation result c4 in the recording unit 53. To do.
- the drive control unit 544 drives the drive unit 245 to move the focus lens 243a to the focal position fc2 along the optical axis L1 and return it to the focal position before the start of distance measurement.
- the distance measurement calculation is performed three times in FIG. 14, the number of distance measurement calculations can be changed as appropriate.
- the distance measurement is performed according to a non-low illuminance environment or the observation position of the endoscope device 2. The number of operations can be changed.
- step S207 the determination unit 543 determines whether or not the motion vector is equal to or greater than the threshold value from the plurality of image signals generated by the image pickup unit 244 in the distance measurement calculation.
- the determination unit 543 determines from a plurality of image signals that the motion vector is equal to or greater than the threshold value (step S207: Yes)
- the endoscope system 1 proceeds to step S208, which will be described later.
- the determination unit 543 determines from the plurality of image signals that the motion vector does not exceed the threshold value (step S207: No)
- the endoscope system 1 shifts to step S209 described later.
- step S208 the calculation unit 542 deletes the distance measurement calculation result based on the captured image for which the motion vector is determined by the determination unit 543 to be equal to or higher than the threshold value from the recording unit 53.
- the calculation unit 542 uses the reference information recorded by the reference information recording unit 532 and a plurality of distance measurement calculation results recorded by the recording unit 53 (for example, the first distance measurement information and the second distance measurement information). And, the calculation is performed based on (step S209). Specifically, the calculation unit 542 measures the distance by changing the focal position of the optical system 243 based on the reference information recorded by the reference information recording unit 532 and the calculation results c2 to the calculation result c4 recorded by the recording unit 53. Calculate the amount of change in information.
- the calculation unit 542 the calculation result c2 (first distance measurement information) recorded by the recording unit 53, the information indicating the first focus position (focus position fc3), and the reference information recording unit 542 are calculated by the calculation unit 542. Based on the reference information to be recorded, the first subject distance corresponding to the calculation result c2 (first distance measurement information) is estimated. Further, the calculation unit 542 determines the distance measurement information (distance measuring information corresponding to the second focal position) based on the estimated first subject distance, the information indicating the second focal position (focus position c4), and the reference information. Image shift amount) is estimated.
- the determination unit 543 determines the reliability of any one of the plurality of focal positions (step S210). Specifically, the determination unit 543 determines the reliability of the calculation result c2 calculated for distance measurement immediately after the distance measurement trigger is input.
- FIG. 18 is a diagram schematically showing an outline of a determination method determined by the determination unit 543.
- the horizontal axis represents the lens position of the focus lens 243a
- the vertical axis represents the AF evaluation value (image shift amount).
- the straight line L 11 shows an image shift characteristic based on the amount of change calculated by the calculation unit 542.
- the determination unit 543 includes a straight line L 11 showing a distance measurement calculation result due to a change in the focal position of the optical system 243 based on the calculation result c2 to the calculation result c4 calculated by the calculation unit 542.
- the degree of coincidence of the straight line L 3 , the straight line L 5 and the straight line L 10 is determined, and the image shift characteristic having the highest degree of coincidence is determined.
- the determination unit 543 determines that the straight line L 11 and the straight line L 10 have the highest degree of coincidence. Then, the determination unit 543 determines (calculates) the degree of coincidence between the straight line L 11 and the straight line L 10 as the reliability, and determines the subject distance as 10 mm.
- step S211 the determination unit 543 determines whether or not the reliability is within a predetermined value.
- the determination unit 543 determines that the reliability is within a predetermined value (step S211: Yes)
- the endoscope system 1 proceeds to step S212, which will be described later.
- step S211: No the endoscope system 1 shifts to step S214, which will be described later.
- step S212 the determination unit 543 records the reliability and the distance measurement calculation result in the recording unit 53 in association with each other.
- the display control unit 545 causes the display device 4 to display the reliability determined by the determination unit 543 and the distance measurement calculation result calculated by the calculation unit 542 (step S213).
- the endoscope system 1 returns to the main routine of FIG.
- step S214 the display control unit 545 causes the display device 4 to display a warning indicating that the reliability of the distance measurement calculation result is abnormal. For example, the display control unit 545 gives a warning by displaying the distance measurement calculation result in red on the display device 4, or gives a warning by outputting a buzzer sound or the like to the display device 4.
- step S214 the endoscope system 1 returns to the main routine of FIG.
- the reference information recorded by the determination unit 543 by the reference information recording unit 532, the first distance measurement information calculated by the calculation unit 542, and the second distance measurement information Since the calculation is performed based on and the calculation result is output, the accuracy of the distance measurement calculation can be improved.
- the drive control unit 544 is a drive unit 245 provided in the endoscope device 2 based on the image signals generated by the plurality of phase difference pixels 71, and is an optical system 243. Since the focus lens 243a of the above is moved along the optical axis L1 to change the focal position of the optical system 243, the calculation unit 542 can calculate the amount of change due to the change of a plurality of different focal positions.
- the determination unit 543 determines the reliability of the distance measurement information calculated by the calculation unit 542 immediately after the distance measurement signal is input from the input unit 52 or the operation unit 22, so that the user Can obtain the reliability of the distance measurement information at the desired timing.
- the calculation unit 542 calculates by excluding the distance measurement information of the image data whose motion vector is equal to or larger than the threshold value by the determination unit 543, the movement amount of the endoscope device 2 is large. Since the distance information can be excluded, the reliability of the distance measurement information can be improved.
- FIG. 19 is a block diagram showing a functional configuration of a main part of the endoscope system according to the second embodiment.
- the endoscope system 1A shown in FIG. 19 includes a light source device 3A and a control device 5A in place of the light source device 3 and the control device 5 according to the first embodiment described above.
- the light source device 3A includes a light source device 31A instead of the light source unit 31 according to the first embodiment described above. Further, the light source device 31A includes a fifth light source unit 316A instead of the fifth light source 316 described above.
- the fifth light source unit 316A is configured by using an infrared LED lamp, and based on the current supplied from the light source driver 32, the light in the infrared wavelength band (for example, 780 nm to 1000 nm) (hereinafter, simply "IR light”). ”) Is emitted.
- the control device 5A includes a recording unit 53A instead of the recording unit 53 according to the first embodiment described above.
- the recording unit 53A records various programs executed by the endoscope system 1A, data being executed by the endoscope system 1A, and image data generated by the endoscope device 2.
- the recording unit 53A is configured by using a volatile memory, a non-volatile memory, a memory card, and the like.
- the recording unit 53A includes a program recording unit 531 and a reference information recording unit 532A.
- FIG. 20 is a diagram showing an example of reference information recorded by the reference information recording unit 532A.
- the horizontal axis indicates the lens position of the focus lens of the optical system 243
- the vertical axis indicates the amount of image shift (AF evaluation value).
- an image showing distance measurement information in which the subject distance between the imaging unit 244 and the subject when the straight line LB5 irradiates light in the blue wavelength band is 5 mm and correlates with the distance from the subject. The image shift characteristics between the amount of shift and the focal position are shown.
- the subject distance between the imaging unit 244 and the subject when the straight line LG5 irradiates light in the green wavelength band is 5 mm, and the image shift amount and the focal position indicating distance measurement information correlating with the distance from the subject. Shows the image shift characteristics of.
- the subject distance between the imaging unit 244 and the subject when the straight line LR5 irradiates light in the red wavelength band is 5 mm, and the image shift amount and the focal position indicating distance measurement information correlating with the distance from the subject. Shows the image shift characteristics of.
- the image shift characteristic between the shift amount and the focal position is shown.
- the distance measurement information to be correlated with the distance from the subject The amount of image shift is recorded in association with each other.
- the reference information is such that when the focus lens 243a of the optical system 243 stops at the focus position A and R light is emitted from the light source device 3A, the amount of image shift is the focus position (0). when away D R from can subject distance is determined to 5 mm.
- the subject distance was one for the sake of simplification of the description, but the reference information includes the amount of image shift of each of the plurality of subject distances for each wavelength band and the focal position of the optical system 243.
- the image shift characteristic with is recorded.
- FIG. 21 is a flowchart showing an outline of the distance measuring process executed by the endoscope system 1A.
- FIG. 22 is a timing chart in the distance measuring process. In FIG. 22, from the top, (a) shows the rising timing of the distance measuring trigger in the distance measuring signal, (b) shows the vertical synchronization timing, and (c) shows the imaging scan (exposure period) and the light source of the imaging unit 244. The light in the wavelength band irradiated by the device 3 is shown, (d) shows the video output timing at which the image data is output from the image pickup unit 244, (e) shows the distance measurement calculation timing, and (f) shows the display timing. Shown. In FIG.
- the frame in which the light source device 3A irradiates W light and the imaging unit 244 exposes W light is referred to as “W”
- the frame in which 244 is exposed to B light is referred to as "B”.
- the drive control unit 544 irradiates the light source device 3A with illumination light in a predetermined wavelength band (step S301), and the image pickup unit 244 receives the reflected light from the subject (subject) (step S301).
- the image data generated by the exposure) is output to the control device 5 (step S302).
- the display control unit 545 displays the display device 4 when the distance measurement trigger is activated by inputting a distance measurement signal from the operation unit 22 or the input unit 52.
- the display of the display image f1 is maintained so that the display image f1 is continuously displayed.
- the drive control unit 544 irradiates the B light by causing the third light source 314 of the light source device 3A to emit light while the focal position of the optical system 243 is stopped. After that, the drive control unit 544 causes the image pickup unit 244 to receive the reflected light of the B light from the subject (exposure period exp2), and causes the image pickup unit 244 to output the captured image f2 based on the image data.
- the calculation unit 542 determines the distance from the tip portion 24 of the endoscope device 2 or the imaging unit 244 to the subject (subject) based on the image signal included in the captured image f2 input from the imaging unit 244.
- the distance measurement calculation to be calculated is performed (step S303), and the calculation result is recorded in the recording unit 53 (step S304).
- the calculation unit 542 performs a distance measurement calculation based on the image signal included in the imaged image f2 input from the image pickup unit 244, and records the calculation result c2 in the recording unit 53. Record in.
- the processing control unit 54 determines whether or not the distance measurement calculation has been completed a predetermined number of times, for example, once.
- the endoscope system 1 proceeds to step S306, which will be described later.
- the endoscope system 1 returns to step S301 described above.
- Steps S306 to S308 correspond to each of steps S207 to S209 in FIG. 15 described above.
- step S309 the determination unit 543 determines the reliability of the focal position based on the calculation result calculated by the calculation unit 542 and the basic information recorded by the reference information recording unit 532A (step S210). Specifically, the determination unit 543 performs the distance measurement calculation immediately after the distance measurement trigger is input, based on the calculation result calculated by the calculation unit 542 and the basic information recorded by the reference information recording unit 532A. The reliability of the calculation result c2 is determined.
- FIG. 23 is a diagram schematically showing an outline of a determination method determined by the determination unit 543.
- the horizontal axis represents the lens position of the focus lens of the optical system 243
- the vertical axis represents the AF evaluation value (image shift amount).
- the straight line L 12 shows an image shift characteristic based on the amount of change calculated by the calculation unit 542.
- the determination unit 543 has a straight line L 12 (for example, a change amount or a difference) based on the distance measurement calculation result calculated by the calculation unit 542, and a straight line LB5, a straight line LR5, and a straight line LG5.
- the degree of coincidence is determined, and the image shift characteristic having the highest degree of coincidence is determined.
- the determination unit 543 determines that the straight line L 12 and the straight line LB 5 have the highest degree of coincidence. Then, the determination unit 543 determines (calculates) the degree of coincidence between the straight line L 12 and the straight line LB 5 as the reliability, and determines the subject distance as 5 mm.
- Steps S310 to S313 correspond to each of the above-mentioned steps S211 to S214. After step S312 or step S313, the endoscope system 1A returns to the main routine of FIG. 12 described above.
- the calculation unit 542 calculates the distance measurement calculation result due to the change in the focal position due to the switching of the wavelength band of the light emitted by the light source device 3, the accuracy of the distance measurement calculation is improved. Can be made to.
- FIG. 24 is a timing chart in the distance measuring process.
- (a) indicates the rising timing of the ranging trigger in the ranging signal
- (b) indicates the vertical synchronization timing
- (c) shows the imaging scan (exposure period) and the light source of the imaging unit 244.
- the light in the wavelength band irradiated by the device 3 is shown
- (d) shows the video output timing at which the image data is output from the image pickup unit 244,
- (e) shows the distance measurement calculation timing
- (f) shows the display timing. Shown.
- FIG. 24 shows the rising timing of the ranging trigger in the ranging signal
- (b) indicates the vertical synchronization timing
- (c) shows the imaging scan (exposure period) and the light source of the imaging unit 244.
- the light in the wavelength band irradiated by the device 3 is shown
- (d) shows the video output timing at which the image data is output from the image pickup unit 244,
- (e) shows the distance measurement calculation timing
- (f) shows the display timing
- the frame in which the light source device 3A irradiates W light and the imaging unit 244 exposes W light is referred to as “W”
- the frame in which 244 is exposed to B light is referred to as "B”
- the frame in which the light source device 3A is irradiated with R light and the imaging unit 244 is exposed to R light is referred to as "R”.
- the display control unit 545 causes the display device 4 to continue displaying the display image f1 when the distance measurement trigger is activated by the distance measurement signal being input from the operation unit 22 or the input unit 52.
- the display of the display image f1 is maintained.
- the drive control unit 544 irradiates the B light by causing the third light source 314 of the light source device 3A to emit light while the focal position of the optical system 243 is stopped.
- the drive control unit 544 causes the image pickup unit 244 to receive the reflected light of the B light from the subject (exposure period exp2), and causes the image pickup unit 244 to output the captured image f2 based on the image data.
- the calculation unit 542 calculates the distance from the tip portion 24 of the endoscope device 2 or the image pickup unit 244 to the subject based on the image signal included in the image pickup image f2 input from the image pickup unit 244. The calculation is performed, and the calculation result c2 is recorded in the recording unit 53A.
- the drive control unit 544 irradiates R light by causing the first light source 312 of the light source device 3A to emit light while the focal position of the optical system 243 is stopped.
- the drive control unit 544 causes the image pickup unit 244 to receive the reflected light of the R light from the subject (exposure period exp3), and causes the image pickup unit 244 to output the captured image f3 based on the image data.
- the calculation unit 542 calculates the distance from the tip portion 24 of the endoscope device 2 or the image pickup unit 244 to the subject based on the image signal included in the image pickup image f3 input from the image pickup unit 244. The calculation is performed, and the calculation result c3 is recorded in the recording unit 53A.
- the determination unit 543 records the calculation result c1 of the distance measurement calculation during normal observation (W light) recorded by the recording unit 53A, the calculation result c2 of the B light, the calculation result c3 of the R light, and the reference information recording unit 532A.
- the reliability of the focal position is determined based on the basic information to be used.
- the display control unit 545 updates the display frame of the display image displayed by the display device 4 (f4 to f7).
- the determination unit 543 is calculated by the calculation unit 542 and the reference information associated with each wavelength band of the narrow band light recorded by the reference information recording unit 532A. Since the reliability of the distance measurement information at the time when the distance measurement trigger is input is determined based on the distance measurement calculation result, the accuracy of the distance measurement calculation can be improved.
- the light source device 3 is irradiated with the W light, the B light, and the R light in this order, but the phase difference pixels 71 are arranged at the positions of the R pixel, the G pixel, and the B pixel.
- the drive control unit 544 controls the illumination control unit 33 to light source the first frame in the order of B light and G light, and the second frame in the order of G light and IR light (A light). 3 may be irradiated.
- the drive control unit 544 may irradiate the light source device 3 with G light by controlling the illumination control unit 33.
- FIG. 25 is a timing chart in the distance measuring process.
- (a) shows the rising timing of the distance measuring trigger in the distance measuring signal
- (b) shows the vertical synchronization timing
- (c) shows the imaging scan (exposure period) and the light source of the imaging unit 244.
- the light in the wavelength band irradiated by the device 3 is shown
- (d) shows the video output timing at which the image data is output from the image pickup unit 244,
- (e) shows the distance measurement calculation timing
- (f) shows the display timing. Shown.
- FIG. 25 shows the rising timing of the distance measuring trigger in the distance measuring signal
- (b) shows the vertical synchronization timing
- (c) shows the imaging scan (exposure period) and the light source of the imaging unit 244.
- the light in the wavelength band irradiated by the device 3 is shown
- (d) shows the video output timing at which the image data is output from the image pickup unit 244,
- (e) shows the distance measurement calculation timing
- (f) shows the display timing
- the frame in which the light source device 3A irradiates W light and the imaging unit 244 exposes white light is referred to as “W”
- the frame in which 244 is exposed to B light is referred to as "B”
- the frame in which the light source device 3A is irradiated with R light and the imaging unit 244 is exposed to R light is referred to as "R”.
- the display control unit 545 displays the display image f1 when the distance measurement trigger is activated by the distance measurement signal being input from the operation unit 22 or the input unit 52.
- the display of the display image f1 is maintained so as to continue.
- the drive control unit 544 irradiates B light by controlling the illumination control unit 33 to cause the third light source 314 of the light source device 3A to emit light while the focal position of the optical system 243 is stopped. Let me.
- the drive control unit 544 controls the image pickup control unit 65 to cause the image pickup unit 244 to receive the reflected light of the B light from the subject (exposure period exp2), and the image signal is transmitted only from the phase difference pixels in the image pickup unit 244.
- the captured image f2 based on the above is output. Further, the calculation unit 542 performs a distance measurement calculation for calculating the distance from the tip portion 24 of the endoscope device 2 or the imaging unit 244 to the subject based on the captured image f2 input from the imaging unit 244. The calculation result c2 is recorded in the recording unit 53A.
- the drive control unit 544 controls the illumination control unit 33 to cause the first light source 312 of the light source device 3A to emit R light while the focal position of the optical system 243 is stopped. Irradiate.
- the drive control unit 544 causes the image pickup unit 244 to receive the reflected light of the R light from the subject by controlling the image pickup control unit 65 (exposure period exp3), and only from the phase difference pixel 71 in the image pickup unit 244.
- the captured image f3 based on the image signal is output.
- the calculation unit 542 calculates the distance from the tip 24 of the endoscope device 2 or the image pickup unit 244 to the subject based on the image signal included in the image pickup image f3 input from the image pickup unit 244. Is performed, and the calculation result c3 is recorded in the recording unit 53A.
- the determination unit 543 records the calculation result c1 of the distance measurement calculation during normal observation (W light) recorded by the recording unit 53A, the calculation result c2 of the B light, the calculation result c3 of the R light, and the reference information recording unit 532A.
- the reliability of the focal position is determined based on the reference information to be used.
- the display control unit 545 updates the display frame of the display image displayed by the display device 4 (f4 to f7).
- the light emission time difference of different light sources and the frame can be obtained by speeding up the reading from the imaging unit 244. Since the reading time difference is reduced, the effects of image blur and camera shake can be reduced, so that the accuracy of the distance measurement calculation can be improved.
- the third embodiment will be described.
- the image signal is read from all the pixels of the imaging unit 244, but in the third embodiment, the image signal is read out only from the phase difference pixels to speed up the imaging.
- the endoscope system according to the third embodiment has the same configuration as the endoscope system 1 according to the first embodiment described above, and is a method of reading a pixel signal and an image signal from an imaging unit in distance measurement processing. Is different.
- an outline of a reading method for reading out an image signal and an image signal from an imaging unit in the distance measuring process executed by the endoscope system according to the third embodiment will be described.
- the same components as those of the endoscope system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 26 is a diagram schematically showing a pixel arrangement of the imaging unit 244 according to the third embodiment.
- FIG. 27 is a timing chart in the distance measuring process executed by the endoscope system 1 according to the third embodiment.
- the upper row shows the rising timing of the ranging trigger in the ranging signal
- (b) shows the vertical synchronization timing
- (c) shows the horizontal synchronization timing
- (d) shows the output line signal.
- (E) indicates the extension of the horizontal synchronization timing period of (c)
- (f) indicates the horizontal output pixel number and the horizontal output pixel.
- the drive control unit 544 controls the image pickup control unit 65 when the distance measurement trigger is raised by inputting a distance measurement signal from the operation unit 22 or the input unit 52.
- the image signal is read from the phase difference pixel 71 and the image signal is read from the image pickup pixel 70 from the horizontal line on which the phase difference pixel 71 is arranged.
- the imaging unit 244 arranges the phase difference pixels 71 in a four-row cycle. Therefore, the drive control unit 544 controls the image pickup control unit 65 to read the image signal from all the images of the image pickup unit 244, and the image signal is only from the horizontal line in which the phase difference pixels 71 are arranged. And the time for reading out the image signal can be reduced to 1/4.
- the drive control unit 544 controls the image pickup control unit 65 so that when all the pixels of the image pickup unit 244 are scanned at 120 Hz (8.3 ms), only the horizontal line in which the phase difference pixels 71 are arranged is available.
- the image signal and the image signal can be read out from the image signal by scanning at 480 Hz (2 ms).
- the drive control unit 544 is subjected to the same processing as in the above-described first or second embodiment, distance measurement by a plurality of focal positions by moving the optical system 243, or irradiation of narrow band light emitted by the light source device 3. The reliability of the distance measurement distance is determined by the distance measurement.
- the image pickup unit reads out the image signal from the phase difference pixel 71 of the horizontal line in which the phase difference pixel 71 is arranged by the drive control unit 544 and the image signal from the image pickup pixel 70. Since the reading from 244 can be increased in speed, the effects of image blurring and camera shake can be reduced by reducing the emission time difference and frame reading time difference of different light sources.
- the distance measurement calculation is performed by reading out the image signal from the phase difference pixel 71 of the horizontal line in which the phase difference pixel 71 is arranged by the drive control unit 544 and the image signal from the image pickup pixel 70. It is possible to shorten the frame stop period.
- FIG. 28 is a timing chart in the distance measuring process according to the first modification of the third embodiment.
- (a) indicates the rising timing of the ranging trigger
- (b) indicates the vertical synchronization timing
- (c) indicates the timing of the imaging scan of the imaging unit 244
- (d) indicates the imaging unit.
- the display frame read from 244 is shown.
- the drive control unit 544 controls the illumination control unit 33 at the time when the distance measurement trigger is raised by inputting the distance measurement signal from the operation unit 22 or the input unit 52, thereby controlling 120 Hz.
- the light source device 3 is irradiated with B light, R light, and W light in this order at intervals. Further, the drive control unit 544 changes the image pickup timing of the image pickup unit 244 from 60 Hz to 120 Hz by controlling the image pickup control unit 65.
- the determination unit 543 determines the reliability of the distance measurement distance by measuring the distance by irradiating the narrow band light emitted by the light source device 3, which is the same process as in the second embodiment described above.
- the reading from the image pickup unit 244 can be speeded up. Therefore, by reducing the light emission time difference and the frame reading time difference of different light sources, image blurring and camera shake are caused. The influence of can be reduced.
- the light source device alternately irradiates W light and narrow band light, and alternately reads out the image signal of the imaging pixel and the image signal of the phase difference pixel.
- the same components as those of the endoscope system 1A according to the second embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 29 is a timing chart in the distance measuring process according to the second modification of the third embodiment.
- (a) indicates the rising timing of the ranging trigger
- (b) indicates the vertical synchronization timing
- (c) indicates the timing of the imaging scan of the imaging unit 244
- (d) indicates the imaging unit.
- the display frame read from 244 is shown.
- the drive control unit 544 controls the illumination control unit 33 at the time when the distance measurement trigger is raised by inputting the distance measurement signal from the operation unit 22 or the input unit 52, thereby controlling 120 Hz.
- the light source device 3 is alternately irradiated with the narrow band light B light and W light at intervals.
- the drive control unit 544 changes the image pickup timing of the image pickup unit 244 from 60 Hz to 120 Hz by controlling the image pickup control unit 65, and alternately alternates the image signal of the phase difference pixel 71 and the image signal of the image pickup pixel 70. Output.
- the reading from the image pickup unit 244 can be speeded up. Therefore, by reducing the light emission time difference and the frame reading time difference of different light sources, image blurring and camera shake are caused. The influence of can be reduced.
- FIG. 30 is a diagram schematically showing a read area of the imaging unit 244 according to the third modification of the third embodiment.
- FIG. 31 is a timing chart in the distance measuring process according to the third modification of the third embodiment.
- (a) shows the rising timing of the ranging trigger
- (b) shows the vertical synchronization timing
- (c) shows the timing of the imaging scan of the imaging unit 244, and (d) shows the imaging unit.
- the display frame read from 244 is shown.
- the drive control unit 544 raises the distance measurement trigger when the designated signal to be displayed in the display area is input from the operation unit 22 or the input unit 52 and the distance measurement signal is input. At that time, by controlling the illumination control unit 33, the light source device 3 is alternately irradiated with W light and B light a predetermined number of times in the order of W light and B light at 120 Hz intervals. Further, the drive control unit 544 changes the image pickup timing of the image pickup unit 244 from 60 Hz to 120 Hz by controlling the image pickup control unit 65.
- the determination unit 543 determines the reliability of the distance measurement distance by measuring the distance by irradiating the narrow band light emitted by the light source device 3, which is the same process as in the second embodiment described above.
- the reading from the image pickup unit 244 can be speeded up. Therefore, by reducing the light emission time difference and the frame reading time difference of different light sources, image blurring and camera shake are caused. The influence of can be reduced.
- a pair of left and right phase difference pixels 71 having light-shielding portions 711L and 711R provided on either the left or right side of the light receiving region of the pixels are provided, but in the fourth embodiment, the pixels are provided.
- a divided pixel obtained by dividing the light receiving portion in the above into a plurality of divided pixels is provided as a phase difference pixel.
- the configuration of the phase difference pixels of the imaging unit according to the fourth embodiment will be described, and then the distance measuring process executed by the endoscope system according to the fourth embodiment will be described.
- the same components as those of the endoscope system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 32 is a cross-sectional view of the retardation pixel according to the fourth embodiment.
- FIG. 33 is a top view of the retardation pixel according to the fourth embodiment.
- the phase difference pixel 72 shown in FIGS. 32 and 33 is formed by laminating four light receiving units 721 to 724, which are composed of a photodiode or the like and function as photoelectric conversion elements, in the order of a color filter 61 and a microlens 62. There is. Further, the reading unit 63 is laminated and formed on the back surface side of the four light receiving units 721 to 724.
- the phase difference pixel 72 configured in this way generates an image signal (electrical signal) as a set of four for adjusting the focal position and measuring the distance, and outputs it as this image signal.
- FIG. 34 is a diagram schematically showing the arrangement of the imaging unit according to the fourth embodiment.
- the four light receiving units 721 to 724 are configured as one unit pixel, and the four unit pixels are regarded as one unit U2, and the Bayer arrangement is performed on each light receiving surface of the four unit pixels. Any one of the filters is laminated.
- the pixel in which the red filter R is arranged is described as “R_zLT”, “R_zRT”, “R_zRB” and “R_zLB” clockwise with respect to the upper left pixel, and the green filter G is arranged.
- the pixels are described as "G_zLT”, “G_zRT”, “G_zRB” and “G_zLB” clockwise with respect to the upper left pixel, and the pixel on which the blue filter B is arranged is clockwise with respect to the upper left pixel. Is written as “B_zLT”, “B_zRT”, “B_zRB” and “B_zLB”.
- FIG. 35 is a diagram schematically showing a method of reading out an imaging unit when the light source device 3 irradiates light in a wavelength band with a short wavelength.
- FIG. 36 is a diagram schematically showing a method of reading out an imaging unit when the light source device 3 irradiates light in a wavelength band with a long wavelength.
- the drive control unit 544 controls the lighting control unit 33 at the time when the distance measurement trigger is activated by the distance measurement signal input from the operation unit 22 or the input unit 52, and the light source device 3
- the image is irradiated with B light having a short wavelength
- the image pickup control unit 65 controls the odd-numbered lines of the read lines in the image pickup unit 244B are added by the pixel signal of the left pixel, and the pixel signal of the right pixel is added. ..
- the drive control unit 544 adds the even-numbered rows of the read rows in the image pickup unit 244B with the pixel signals of the upper pixels and adds the pixel signals of the lower pixels by controlling the image pickup control unit 65.
- the drive control unit 544 adds the pixel signals of the left pixel (G_zLT + G_zLB or B_zLT + B_zLB) in the odd-numbered rows of the read rows in the image pickup unit 244B by controlling the image pickup control unit 65, and the right pixel. Pixel signals are added (G_zRT + G_zRB or B_zRT + B_zRB). Further, the drive control unit 544 adds the pixel signals of the upper pixels (G_zLT + G_zRT or B_zLT + B_zRT) in the even-numbered rows of the read rows in the image pickup unit 244B by controlling the image pickup control unit 65, and the pixel signals of the lower pixels. Is added (G_zLB + G_zRB or B_zLB + B_zRB). As a result, the calculation unit 542 performs cross distance measurement.
- the drive control unit 544 when the distance measurement trigger is activated by the distance measurement signal input from the operation unit 22 or the input unit 52, the light source device 3 emits long-wavelength R light.
- the image pickup control unit 65 By controlling the image pickup control unit 65, the odd-numbered rows of the read rows are added by the pixel signals of the left pixel, and the pixel signals of the right pixel are added.
- the drive control unit 544 adds the even-numbered rows of the read rows with the pixel signals of the upper pixels and adds the pixel signals of the lower pixels by controlling the image pickup control unit 65.
- the drive control unit 544 adds the pixel signals of the left pixel (R_zLT + R_zLB or G_zLT + G_zLB) in the odd-numbered rows of the read rows in the image pickup unit 244B by controlling the image pickup control unit 65, and the right pixel. Pixel signals are added (G_zRT + G_zRB or G_zRT + G_zRB). Further, the drive control unit 544 adds the pixel signals of the upper pixels (R_zLT + R_zRT or G_zLT + G_zRT) in the even-numbered rows of the read rows in the image pickup unit 244B by controlling the image pickup control unit 65, and the pixel signals of the lower pixels. Is added (R_zLB + R_zRB or G_zLB + G_zRB). As a result, the calculation unit 542 performs cross distance measurement.
- the image pickup unit 244 In order for the drive control unit 544 to add the image signals of the left and right phase difference pixels 71 or to add and output the image signals of the upper and lower phase difference pixels 71, the image pickup unit 244 The read speed can be increased.
- the four light receiving units 721 to 724 are used as one unit pixel, but as in the imaging unit 244C shown in FIG. 37, a pair of left and right light receiving units is used as one unit pixel. It may be present, or it may have a configuration in which a pair of upper and lower light receiving units is used as one unit pixel, as in the imaging unit 244D shown in FIG. 38.
- the color filters have a Bayer array, but in the fifth embodiment, a cyan filter is used as a part of the color filters.
- the same components as those of the endoscope system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 39 is a diagram schematically showing the configuration of the color filter according to the fifth embodiment.
- the color filter 61E shown in FIG. 39 is configured by using at least one of a blue filter B and a red filter R, a green filter G, and two Cy filters.
- the cyan filter Cy transmits at least two or more of light in the blue wavelength band and light in the green wavelength band.
- FIG. 40 is a diagram schematically showing the sensitivity and wavelength band of each filter.
- the horizontal axis represents the wavelength (nm) and the vertical axis represents the sensitivity.
- the curve L B represents a wavelength band of blue
- curve L G represents a green wavelength band
- the curve L R represents the wavelength band of red
- curve L Cy indicates the wavelength band of cyan.
- the cyan filter Cy transmits light in the blue wavelength band and light in the green wavelength band.
- FIG. 41 is a diagram schematically showing the arrangement of the imaging unit 244E.
- the above-mentioned imaging pixels 70 are arranged in a two-dimensional matrix, and phase difference pixels 71 are arranged in place of the imaging pixels 70 at predetermined intervals.
- the right-side aperture pixel 71L and the left-side aperture pixel 71R are arranged in place of one of the two Cy pixels in the filter unit U2, and the image pickup unit 244 is horizontal.
- One is arranged for every two filter units U2 in the direction.
- the right-side aperture pixel 71L and the left-side aperture pixel 71R are alternately arranged for each of the two filter units U2 in the vertical direction of the image pickup unit 244.
- the arrangement of the right-side opening pixel 71L and the left-side opening pixel 71R can be changed as appropriate.
- the imaging unit 244E configured in this way performs the same distance measuring process as in the above-described first to third embodiments.
- the accuracy of the distance measurement calculation can be improved as in the first to third embodiments described above.
- FIG. 42 is a diagram schematically showing the arrangement of the imaging unit according to the first modification of the fifth embodiment.
- the phase difference pixels 72 according to the fourth embodiment described above are arranged in a two-dimensional matrix, and the four light receiving units 721 to 724 are configured as one unit pixel.
- One of the above-mentioned color filters 61E is laminated on the light receiving surface of each of the four unit pixels.
- the pixels in which the cyan filter Cy is arranged are referred to as “Cy_zLT”, “Cy_zRT”, “Cy_zRB”, and “Cy_zLB” clockwise with respect to the upper left pixel.
- FIG. 43 is a diagram schematically showing a method of reading out an imaging unit when the light source device 3 irradiates light in a wavelength band of a short wavelength.
- the drive control unit 544 controls the lighting control unit 33 at the time when the distance measurement trigger is activated by the distance measurement signal input from the operation unit 22 or the input unit 52, and the light source device 3
- the image is irradiated with B light having a short wavelength
- the image pickup control unit 65 controls the odd-numbered lines of the read lines in the image pickup unit 244F are added by the pixel signals of the left pixel, and the pixel signals of the right pixel are added. ..
- the drive control unit 544 adds the even-numbered rows of the read rows in the image pickup unit 244F with the pixel signals of the upper pixels and adds the pixel signals of the lower pixels by controlling the image pickup control unit 65.
- the drive control unit 544 adds the pixel signal of the left pixel (Cy_zLT + Cy_zLB or B_zLT + B_zLB) in the odd-numbered rows of the read rows in the image pickup unit 244F by controlling the image pickup control unit 65, and the right pixel. Pixel signals are added (Cy_zRT + Cy_zRB or R_zRT + R_zRB). Further, the drive control unit 544 adds the pixel signals of the upper pixels (Cy_zLT + Cy_zRT or B_zLT + B_zRT) in the even-numbered rows of the read rows in the image pickup unit 244F by controlling the image pickup control unit 65, and the pixel signals of the lower pixels. Is added (Cy_zLB + G_zRB or Cy_zLB + B_zRB). As a result, the calculation unit 542 performs cross distance measurement.
- the accuracy of the distance measurement calculation can be improved.
- the four light receiving units 721 to 724 are used as one unit pixel, but as in the imaging unit 244G shown in FIG. 44, a pair of left and right light receiving units is used as one unit pixel. Or, as in the imaging unit 244H shown in FIG. 45, a pair of upper and lower light receiving units may be used as one unit pixel.
- the sixth embodiment has the same configuration as the endoscope system 1 according to the first embodiment described above, and the distance measuring process to be executed is different. Specifically, in the first embodiment described above, the reliability of the distance measurement information is determined, but in the sixth embodiment, an approximate straight line is calculated based on a plurality of distance measurement information, and the approximate straight line and the reference information are calculated. The subject distance is estimated using the distance measurement calculation result corresponding to the distance having a high degree of agreement with.
- the distance measuring process executed by the endoscope system according to the sixth embodiment will be described.
- the same components as those of the endoscope system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 46 is a flowchart showing an outline of the distance measuring process executed by the endoscope system according to the sixth embodiment.
- FIG. 47 is a diagram schematically showing an outline of a determination method determined by the determination unit 543.
- the horizontal axis indicates the lens position of the focus lens 243a
- the vertical axis indicates the amount of image shift (AF evaluation value).
- the straight line L 20 shows an approximate straight line based on the distance measurement calculation result calculated by the calculation unit 542.
- each of the straight line L3, the straight line L5, and the straight line L10 is the same as in FIG.
- steps S401 to S408 correspond to each of steps S201 to S208 of FIG. 13 described above.
- step S409 the calculation unit 542 uses the reference information recorded by the reference information recording unit 532 and a plurality of distance measurement calculation results (for example, the first distance measurement information and the second distance measurement information) recorded by the recording unit 53. ), And the approximate straight line is calculated based on.
- the determination unit 543 estimates the subject distance using the distance measurement calculation result corresponding to the distance in which the approximate straight line calculated by the calculation unit 542 and the reference information recorded by the reference information recording unit 532 have a high degree of agreement ().
- Step S410 the determination unit 543 and the approximate straight line L 11 showing the distance measurement calculation result due to the change in the focal position of the optical system 243 based on the calculation result c2 to the calculation result c5 calculated by the calculation unit 542.
- straight L 3 to determine the degree of matching straight line L 5 and the straight line L 10, and estimates the subject distance by using the image shift characteristics among the best match degree corresponding to the high range. In the case shown in FIG.
- the determination unit 543 determines the straight line L 10 as having the highest degree of coincidence with the straight line L 20. Then, since the subject distance of the straight line L 10 is 10 mm, the determination unit 543 estimates the subject distance to be 10 mm. After step S410, the process returns to the main routine of FIG.
- the determination unit 543 obtains the distance measurement calculation result corresponding to the distance in which the approximate straight line calculated by the calculation unit 542 and the reference information recorded by the reference information recording unit 532 have a high degree of coincidence. Since the subject distance is estimated using this, the accuracy of the distance measurement calculation can be improved.
- Various forms can be formed by appropriately combining a plurality of components disclosed in the endoscope system according to the above-described embodiments 1 to 6 of the present disclosure. For example, some components may be deleted from all the components described in the endoscopic system according to the first to sixth embodiments of the present disclosure described above. Further, the components described in the endoscopic system according to the embodiment of the present disclosure described above may be appropriately combined.
- the above-mentioned "part” can be read as “means” or "circuit".
- the control unit can be read as a control means or a control circuit.
- the program to be executed by the endoscopic system is a CD-ROM, a flexible disk (FD), a CD-R, in an installable format or an executable format file data. It is provided by being recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.
- a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.
- the program to be executed by the endoscope system according to the first to sixth embodiments of the present disclosure is configured to be stored on a computer connected to a network such as the Internet and provided by downloading via the network. You may.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
測距演算の精度を向上させることができる制御装置、内視鏡システム、制御方法およびプログラムを提供する。制御装置5は、プロセッサを有し、プロセッサは、光学系243が第1の焦点位置となる状態で位相差画素71が生成した第1の像信号に基づき第1の測距情報を算出し、さらに、光学系243が第2の焦点位置となる状態で位相差画素71が生成した第2の像信号に基づき第2の測距情報を算出し、さらに、被写体と撮像部244との間の距離、光学系243の焦点位置を示す情報および被写体からの距離と相関する測距情報の対応関係を示す基準情報と、第1の測距情報と、第2の測距情報と、に基づき演算を行い、演算結果を出力する。
Description
本開示は、被検体に挿入されることによって被検体内の体内画像を撮像する内視鏡が接続される制御装置、内視鏡システム、および制御方法に関する。
撮像位相差検出方式を用いたAF制御において、時系列的に連続した複数のフレーム分のAF制御に係る情報の合成が必要な条件下であっても、AF制御の精度を維持しつつ、高速化を実現する技術が知られている(例えば特許文献1参照)。この技術では、撮像位相差検出用の一対の像信号から、像ずれ量に基づくデフォーカス量と、この像ずれ量がどれだけ信頼できるのかを表す信頼性と、を算出し、この信頼性が所定の閾値以上である場合、デフォーカス量を使用してAF処理を行い、信頼性が所定の閾値以上でない場合、デフォーカス量に依らずAF処理を行うことによって、AF制御の制御を維持しつつ、高速化を実現する。
ところで、近年の内視鏡では、位相差検出用の位相差画素を含む撮像部と、被写界深度が深くなるように絞り値を高く設計した光学系と、を挿入部の先端部に設けることによってAF制御および測距を行っている。
しかしながら、上述した特許文献1の撮像装置に用いられる光学系と比べて内視鏡に用いられる光学系は、絞り値を高く設計しているため、位相差画素の撮像面に入射する光線角が絞られることで、一対の位相差画素における視差が付きにくく、視差成分が小さくなってしまい、AF評価値の精度が悪く、結果として測距演算の精度が悪化し、計測誤差が大きくなってしまうという問題点があった。
本開示は、上記に鑑みてなされたものであって、測距演算の精度を向上させることができる制御装置、内視鏡システム、および制御方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、少なくとも一つ以上のハードウェアからなるプロセッサを有し、前記プロセッサは、被写体の被写体像を結像する光学系と、前記被写体からの距離と相関する測距情報を生成するための像信号を生成する位相差画素を有する撮像部と、を備える内視鏡装置において、前記光学系が第1の焦点位置となる状態で前記位相差画素が生成した第1の像信号と、前記光学系が第2の焦点位置となる状態で前記位相差画素が生成した第2の像信号とを取得し、さらに、前記第1の像信号に基づき第1の測距情報を算出し、さらに、前記第2の像信号に基づき第2の測距情報を算出し、さらに、前記被写体と前記撮像部との間の距離、前記光学系の焦点位置を示す情報および前記測距情報の対応関係を示す基準情報と、前記第1の測距情報と、前記第2の測距情報と、に基づき演算を行い、演算結果を出力する。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記演算として、前記基準情報と、前記第1の測距情報と、前記第2の測距情報と、に基づき、前記第1の測距情報の信頼度を判定する演算を行う。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記演算として、前記第1の測距情報と、前記第1の焦点位置を示す情報と、前記基準情報と、に基づき、前記第1の測距情報に対応する第1の被写体距離を推定し、さらに、推定した前記第1の被写体距離と、前記第2の焦点位置を示す情報と、前記基準情報と、に基づき、前記第2の焦点位置に対応する測距情報を推定し、さらに、推定した前記第2の焦点位置に対応する測距情報と、前記第2の測距情報と、に基づき前記第1の測距情報の信頼度を判定する演算を行う。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記演算として、少なくとも、前記第1の測距情報と、前記第2の測距情報と、前記基準情報と、に基づき、前記被写体と前記撮像部との間の距離を推定する演算を行う。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、さらに、前記光学系を光軸に沿って移動させて前記光学系の焦点位置を前記第1の焦点位置から前記第2の焦点位置へ変更する。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、さらに、前記被写体に照射する照明光を第1の波長帯域から第2の波長帯域に切り替えて前記光学系の焦点位置を前記第1の焦点位置から前記第2の焦点位置へ変更する。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、さらに、前記第1の波長帯域および前記第2の波長帯域として互いに異なる波長帯域の狭帯域光を発光可能な光源装置が発光する光を前記第1の波長帯域から前記第2の波長帯域へ切り替える制御を行う。
また、本開示に係る制御装置は、上記開示において、前記光源装置は、赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光を照射可能であり、前記プロセッサは、前記位相差画素が緑色の波長帯域の光を透過する緑色フィルタが積層された画素の位置に配置されている場合において、測距を指示する測距信号が入力されたとき、前記光源装置に前記緑色の波長帯域の光を照射させる。
また、本開示に係る制御装置は、上記開示において、前記光源装置は、赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および橙色の波長帯域の光を照射可能であり、前記プロセッサは、前記位相差画素が赤色の波長帯域の光を透過する赤色フィルタが積層された画素、緑色の波長帯域の光を透過する緑色フィルタが積層された画素および青色の波長帯域の光を透過する青色フィルタが積層された画素のいずれかの位置に配置されている場合において、測距を指示する測距信号が入力されたとき、前記光源装置に前記青色の波長帯域の光と前記緑色の波長帯域の光とを同時に照射させる、または前記光源装置に前記緑色の波長帯域の光と前記橙色の波長帯域の光とを同時に照射させる。
また、本開示に係る制御装置は、上記開示において、前記光源装置は、赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および紫色の波長帯域の光を照射可能であり、前記プロセッサは、前記位相差画素が緑色の波長帯域の光および青色の波長帯域の光を透過するシアンフィルタが積層された画素の位置に配置されている場合において、測距を指示する測距信号が入力されたとき、前記光源装置に前記青色の波長帯域の光および前記紫色の波長帯域の光の一方、および前記緑色の波長帯域の光を交互に照射させる。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、測距を指示する測距信号が入力された場合、前記撮像部から前記像信号を出力させる。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記像信号と、前記撮像部のうち前記位相差画素以外の画素から生成される画像信号とを交互に前記撮像部に出力させる。
また、本開示に係る制御装置は、上記開示において、前記位相差画素は、光を受光する複数の受光部を有し、前記撮像部は、青色フィルタ、赤色フィルタおよび2つの緑色フィルタと、を用いて構成されるフィルタユニットを、複数の画素における所定の画素毎に対応させて配置してなるカラーフィルタを有し、かつ、前記位相差画素が2次元マトリクス状に配置されてなり、前記光源装置は、赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および橙色の波長帯域の光を照射可能であり、前記プロセッサは、前記青色の波長帯域の光を前記光源装置に照射させた場合、前記青色のフィルタおよび前記緑色のフィルタが配置された前記撮像部の水平ラインからのみ前記像信号を前記撮像部に出力させる一方、前記赤色の波長帯域の光を前記光源装置に照射させた場合、前記赤色のフィルタおよび前記緑色のフィルタが配置された前記撮像部の水平ラインからのみ前記像信号を前記撮像部に出力させる。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、垂直方向に位置する上下の前記位相差画素の前記像信号を加算させて前記撮像部に出力させる、または水平方向に位置する左右の前記位相差画素の前記像信号を加算させて前記撮像部に出力させる。
また、本開示に係る制御装置は、上記開示において、記プロセッサは、前記像信号から動きベクトルが閾値以上であるか否かを判定し、前記位相差画素のうち前記動きベクトルが前記閾値以上である画素を除外して前記信頼度を判定する。
また、本開示に係る内視鏡システムは、内視鏡装置と、前記内視鏡装置が接続され、少なくとも一つ以上のハードウェアからなるプロセッサを有する制御装置と、を備える内視鏡システムであって、前記内視鏡装置は、被写体の被写体像を結像する光学系と、前記被写体からの距離と相関する測距情報を生成するための像信号を生成する位相差画素を有する撮像部と、を備え、前記プロセッサは、前記光学系が第1の焦点位置となる状態で前記位相差画素が生成した第1の像信号と、前記光学系が第2の焦点位置となる状態で前記位相差画素が生成した第2の像信号とを取得し、さらに、前記第1の像信号に基づき第1の測距情報を算出し、さらに、前記第2の像信号に基づき第2の測距情報を算出し、さらに、前記被写体と前記撮像部との間の距離、前記光学系の焦点位置を示す情報および前記測距情報の対応関係を示す基準情報と、前記第1の測距情報と、前記第2の測距情報と、に基づき演算を行い、演算結果を出力する。
また、本開示に係る制御方法は、少なくとも一つ以上のハードウェアからなるプロセッサが実行する制御方法であって、被写体の被写体像を結像する光学系と、前記被写体からの距離と相関する測距情報を生成するための像信号を生成する位相差画素を有する撮像部と、を備える内視鏡装置において、前記光学系が第1の焦点位置となる状態で前記位相差画素が生成した第1の像信号と、前記光学系が第2の焦点位置となる状態で前記位相差画素が生成した第2の像信号とを取得し、さらに、前記第1の像信号に基づき第1の測距情報を算出し、さらに前記第2の像信号に基づき第2の測距情報を算出し、さらに、前記被写体と前記撮像部との間の距離および前記光学系の焦点位置を示す情報および前記測距情報との対応関係を示す基準情報と、前記第1の測距情報と、前記第2の測距情報とに基づき演算を行い、演算結果を出力する。
本開示によれば、測距演算の精度を向上させることができるという効果を奏する。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。
(実施の形態1)
〔内視鏡システムの構成〕
図1は、実施の形態1に係る内視鏡システムの概略構成図である。図2は、実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。
〔内視鏡システムの構成〕
図1は、実施の形態1に係る内視鏡システムの概略構成図である。図2は、実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。
図1および図2に示す内視鏡システム1は、患者等に被検体の体内に挿入することによって被検体の体内を撮像し、この撮像した画像データに基づく表示画像を表示する。医者等の使用者は、表示画像の観察を行うことによって出血部位、腫瘍部位および異常部位の有無を検査したり、サイズの測定を行ったりする。内視鏡システム1は、内視鏡装置2と、光源装置3と、表示装置4と、制御装置5と、を備える。
〔内視鏡の構成〕
まず、内視鏡装置2の構成について説明する。
内視鏡装置2は、被検体の体内を撮像した画像データ(RAWデータ)を生成し、この生成した画像データを制御装置5へ出力する。内視鏡装置2は、挿入部21と、操作部22と、ユニバーサルコード23と、を備える。
まず、内視鏡装置2の構成について説明する。
内視鏡装置2は、被検体の体内を撮像した画像データ(RAWデータ)を生成し、この生成した画像データを制御装置5へ出力する。内視鏡装置2は、挿入部21と、操作部22と、ユニバーサルコード23と、を備える。
挿入部21は、可撓性を有する細長形状をなす。挿入部21は、後述する撮像部244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
先端部24は、グラスファイバ等を用いて構成される。先端部24は、光源装置3から供給された光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、被検体からの反射光を集光する光学系243と、光学系243の結像位置に配置されている撮像部244と、光学系243を光軸L1に沿って移動させる駆動部245と、を有する。
照明レンズ242は、一または複数のレンズを用いて構成され、ライトガイド241から供給された光を外部に出射する。
光学系243は、複数のレンズを用いて構成され、被検体で反射された反射光を集光して被写体像を撮像部244の撮像面に結像する。また、光学系243は、フォーカスレンズ243aを有する。フォーカスレンズ243aは、一または複数のレンズを用いて構成される。フォーカスレンズ243aは、光軸L1に沿って移動可能に設けられ、後述する駆動部245の駆動のもと、光軸L1に沿って移動することによって光学系243の焦点位置(ピント位置)を変化させる。なお、光学系243に、焦点距離を変更可能なズームレンズ群を設けてもよい。
撮像部244は、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて構成され、所定のフレームレートで撮像することによって画像データ(RAWデータ)を制御装置5へ出力する。撮像部244は、2次元マトリクス状に配置されてなる画素部60と、画素部60の各受光面に積層されて配置されているカラーフィルタ61と、カラーフィルタ61の上面に配置されているマイクロレンズ62と、読み出し部63と、撮像部244に関する各種情報を記録する内視鏡記録部64と、読み出し部63を制御する撮像制御部65と、を有する。
画素部60は、2次元マトリクス状に配置されてなる複数の撮像画素70と、所定の間隔で撮像画素70に代えて配置されてなる複数の位相差画素71と、を有する。複数の撮像画素70の各々は、光電変換を行うことによって受光量に応じた画像信号を生成し、この画像信号を出力する。複数の位相差画素71の各々は、右開口画素および左開口画像の一方であり、焦点位置の調整および測距のための左右一対の像信号(位相差信号)を生成し、この左右一対の像信号を出力する。具体的には、複数の位相差画素71の各々は、被写体からの距離と相関する測距情報を生成するための像信号を生成する。なお、画像データには、画像信号および像信号(位相差信号)が含まれる。
〔位相差画素の構成〕
ここで、位相差画素71の構成について説明する。図3は、位相差画素71における右開口画素の断面図である。図4は、位相差画素71における右開口画素の上面図である。図5は、位相差画素71における左開口画素の断面図である。図6は、位相差画素71における左開口画素の上面図である。
ここで、位相差画素71の構成について説明する。図3は、位相差画素71における右開口画素の断面図である。図4は、位相差画素71における右開口画素の上面図である。図5は、位相差画素71における左開口画素の断面図である。図6は、位相差画素71における左開口画素の上面図である。
まず、図3および図4に示す右側開口画素71Lについて説明する。
図3および図4に示すように右側開口画素71Lは、フォトダイオード等で構成され、光電変換素子として機能する受光部711と、受光部711の表面側に、受光面の左側領域に入射する光を遮光する遮光部711L、後述するカラーフィルタ61、マイクロレンズ62の順に積層されて形成されている。さらに、右側開口画素71Lは、受光部711の裏面側に、受光部711から電気信号を読み出す読み出し部63が積層されて形成されている。
図3および図4に示すように右側開口画素71Lは、フォトダイオード等で構成され、光電変換素子として機能する受光部711と、受光部711の表面側に、受光面の左側領域に入射する光を遮光する遮光部711L、後述するカラーフィルタ61、マイクロレンズ62の順に積層されて形成されている。さらに、右側開口画素71Lは、受光部711の裏面側に、受光部711から電気信号を読み出す読み出し部63が積層されて形成されている。
次に、図5および図6に示す左側開口画素71Rについて説明する。
図5および図6に示すように左側開口画素71Rは、フォトダイオード等で構成され、光電変換素子として機能する受光部711と、受光部711の表面側に、受光面の右側領域に入射する光を遮光する遮光部711R、後述するカラーフィルタ61、マイクロレンズ62の順に積層されて形成されている。さらに、左側開口画素71Rは、受光面の裏面側に、読み出し部63が積層されて形成されている。
図5および図6に示すように左側開口画素71Rは、フォトダイオード等で構成され、光電変換素子として機能する受光部711と、受光部711の表面側に、受光面の右側領域に入射する光を遮光する遮光部711R、後述するカラーフィルタ61、マイクロレンズ62の順に積層されて形成されている。さらに、左側開口画素71Rは、受光面の裏面側に、読み出し部63が積層されて形成されている。
このように構成された右側開口画素71Lおよび左側開口画素71Rは、焦点位置の調整および測距のための左右一対の像信号を生成する。
〔カラーフィルタの構成〕
次に、カラーフィルタ61の構成について説明する。図7は、カラーフィルタ61の配列を模式的に示す図である。
次に、カラーフィルタ61の構成について説明する。図7は、カラーフィルタ61の配列を模式的に示す図である。
図7に示すカラーフィルタ61は、2×2を1つのフィルタユニットU1として構成される。カラーフィルタ61は、複数のフィルタのいずれか一つが撮像画素70、右側開口画素71Lおよび左側開口画素71Rの受光部711の受光面に配置されている。フィルタユニットU1は、ベイヤー配列で構成されており、赤色の波長帯域の光を透過する赤色フィルタRと、緑色の波長帯域の光を透過する2つの緑色フィルタGと、青色の波長帯域の光を透過する青色フィルタBと、を用いて構成される。
図8は、各フィルタの感度と波長帯域を模式的に示す図である。図8において、横軸が波長(nm)を示し、縦軸が感度を示す。また、図8において、曲線LBが青色フィルタBの感度を示し、曲線LGが緑色フィルタGの感度を示し、曲線LRが赤色フィルタRの感度を示す。
図8に示すように、青色フィルタBは、青色の波長帯域の光を透過する。緑色フィルタGは、緑色の波長帯域の光を透過する。赤色フィルタRは、赤色の波長帯域の光を透過する。なお、以下においては、赤色フィルタRが受光面に配置されてなる撮像画素70をR画素、緑色フィルタGが受光面に配置されてなる撮像画素70をG画素、青色フィルタBが受光面に配置されてなる撮像画素70をB画素として表記して説明する。さらに、位相差画素71の右側開口画素71LをzR画素、位相差画素71の左側開口画素71RをzL画素として表記して説明する。
ここで、位相差画素71を有する撮像部244の配列について説明する。図9は、位相差画素71を有する撮像部244の配列を模式的に示す図である。
図9に示すように、右側開口画素71Lおよび左側開口画素71Rは、フィルタユニットU1における2つあるG画素のうち、一方のG画素に代えて配置され、かつ、撮像部244の水平方向における2つのフィルタユニットU1毎に1つ配置されている。さらに、右側開口画素71Lおよび左側開口画素71Rは、撮像部244の垂直方向における2つのフィルタユニットU1毎に交互に配置される。なお、右側開口画素71Lおよび左側開口画素71Rの配置は、適宜変更することができる。
このように構成された撮像部244は、撮像画素70が生成した複数の電気信号で構成された撮像データと、右側開口画素71Lおよび左側開口画素71Rが生成した複数の左右一対の像信号で構成された位相差データと、を含む画像データを制御装置5へ出力する。
図1および図2に戻り、内視鏡装置2の構成の説明を続ける。
読み出し部63は、撮像制御部65の制御のもと、画素部60から撮像画素70から電気信号と位相差画素71から像信号の各々を読み出して画像データとして制御装置5へ出力する。読み出し部63は、垂直走査回路および水平走査回路等を用いて構成される。なお、読み出し部63にA/D変換回路等を設け、デジタルの画像データを制御装置5へ出力してもよい。
読み出し部63は、撮像制御部65の制御のもと、画素部60から撮像画素70から電気信号と位相差画素71から像信号の各々を読み出して画像データとして制御装置5へ出力する。読み出し部63は、垂直走査回路および水平走査回路等を用いて構成される。なお、読み出し部63にA/D変換回路等を設け、デジタルの画像データを制御装置5へ出力してもよい。
内視鏡記録部64は、内視鏡装置2に関する各種情報を記録する。例えば、内視鏡記録部64は、内視鏡装置2を識別する識別情報、撮像部244の識別情報および内視鏡装置2の個体毎の予め計測した計測結果を示す基準情報等を記録する。ここで、基準情報とは、被写体と撮像部244との間の距離、光学系243の焦点位置を示す情報および被写体からの距離と相関する測距情報の対応関係を示す情報である。なお、基準情報の詳細は、後述する。このように内視鏡記録部64は、製造工程上で取得した光学系243(レンズ)と撮像部244とのを組み合わせた製造ばらつきを含めた個体別データを記録する。この基準情報は、内視鏡装置2が後述する制御装置5に接続された際に、処理制御部54の制御のもと、後述する制御装置5の記録部53における基準情報記録部532に展開されて記録される。内視鏡記録部64は、不揮発性メモリ等を用いて構成される。
撮像制御部65は、制御装置5から入力される指示信号や制御信号に基づいて、撮像部244の動作を制御する。具体的には、撮像制御部65は、制御装置5から入力されるクロック信号に基づいて、撮像部244のフレームレートおよび撮影タイミングを制御する。撮像制御部65は、タイミングジェネレータ等を用いて構成される。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、光源装置3、制御装置5に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や撮像部244に静止画撮影を指示するプリフリーズ信号または内視鏡装置2の先端部24から被検体までの距離の測距を指示する測距信号の入力を受け付ける複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、1または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡装置2および光源装置3と制御装置5との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像データを送受信するための信号線、撮像部244を駆動するための駆動用のクロック信号を送受信するための信号線等を含む。ユニバーサルコード23は、光源装置3に着脱自在なコネクタ部27を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に制御装置5に着脱自在なコネクタ部28を有する。
〔光源装置の構成〕
次に、光源装置3の構成について説明する。
光源装置3は、内視鏡装置2の先端部24から被検体を照射するための照明光を供給する。光源装置3は、光源部31と、光源ドライバ32と、照明制御部33と、を備える。
次に、光源装置3の構成について説明する。
光源装置3は、内視鏡装置2の先端部24から被検体を照射するための照明光を供給する。光源装置3は、光源部31と、光源ドライバ32と、照明制御部33と、を備える。
光源部31は、赤色の波長帯域の光と、緑色の波長帯域の光と、青色の波長帯域の光と、を含む白色光、および特殊光の少なくとも一方を被検体へ照射する。光源部31は、集光レンズ311と、第1の光源312と、第2の光源313と、第3の光源314と、第4の光源315と、第5の光源316と、を有する。
集光レンズ311は、1または複数のレンズを用いて構成される。集光レンズ311は、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316の各々が発光した光を集光してライトガイド241へ出射する。
第1の光源312は、赤色LED(Light Emitting Diode)ランプを用いて構成される。第1の光源312は、光源ドライバ32から供給される電流に基づいて、赤色の波長帯域(610nm~750nm)の光(以下、単に「R光」という)を出射する。
第2の光源313は、緑色LEDランプを用いて構成される。第2の光源313は、光源ドライバ32から供給される電流に基づいて、緑色の波長帯域(500nm~560nm)の光(以下、単に「G光」という)を出射する。
第3の光源314は、青色LEDランプを用いて構成される。第3の光源314は、光源ドライバ32から供給される電流に基づいて、青色の波長帯域(435nm~480nm)の光(以下、単に「B光」という)を出射する。
第4の光源315は、紫色LEDランプを用いて構成される。第4の光源315は、光源ドライバ32から供給される電流に基づいて、紫色の波長帯域(例えば400nm~435nm)の光(以下、単に「V光」という)を出射する。
第5の光源316は、橙色LEDランプを用いて構成される。第5の光源316は、光源ドライバ32から供給される電流に基づいて、橙色(Umber)の波長帯域(595nm~610nm)の光(以下、単に「A光」という)を出射する。
図10は、光源部31が出射する各光の分光特性を示す図である。図10において、横軸が波長(nm)を示し、縦軸が出力値を示す。また、図10において、曲線LVが紫色の波長帯域を示し、曲線LBが青色の波長帯域を示し、曲線LGが緑色の波長帯域を示し、曲線LAが橙色の波長帯域を示し、曲線LRが赤色の波長帯域を示す。
図10に示すように、光源部31は、R光、G光、B光、V光およびA光を組み合わせて白色光(R光+G光+B光)または特殊光(V光+G光またはG光+A光)を照射する。
図2に戻り、光源装置3の構成の説明を続ける。
光源ドライバ32は、照明制御部33の制御のもと、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316に対して、電流を供給することによって、内視鏡システム1に設定された観察モードに応じた光を出射させる。具体的には、光源ドライバ32は、照明制御部33の制御のもと、内視鏡システム1に設定された観察モードが通常観察モードである場合、第1の光源312、第2の光源313および第3の光源314を発光させることによって白色光(以下、単に「W光」という)を出射させる。また、光源ドライバ32は、照明制御部33の制御のもと、内視鏡システム1に設定された観察モードが特殊光観察モードである場合、第2の光源313および第4の光源315を発光させることによって特殊光(以下、単に「S光」という)を出射させる。
光源ドライバ32は、照明制御部33の制御のもと、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316に対して、電流を供給することによって、内視鏡システム1に設定された観察モードに応じた光を出射させる。具体的には、光源ドライバ32は、照明制御部33の制御のもと、内視鏡システム1に設定された観察モードが通常観察モードである場合、第1の光源312、第2の光源313および第3の光源314を発光させることによって白色光(以下、単に「W光」という)を出射させる。また、光源ドライバ32は、照明制御部33の制御のもと、内視鏡システム1に設定された観察モードが特殊光観察モードである場合、第2の光源313および第4の光源315を発光させることによって特殊光(以下、単に「S光」という)を出射させる。
照明制御部33は、制御装置5から受信した指示信号に基づいて、光源装置3の点灯タイミングを制御する。具体的には、照明制御部33は、所定の周期で第1の光源312、第2の光源313および第3の光源314に出射させる。照明制御部33は、CPU(Central Processing Unit)等を用いて構成される。また、照明制御部33は、内視鏡システム1の観察モードが通常観察モードである場合、光源ドライバ32を制御することによって、第1の光源312、第2の光源313および第3の光源314を発光させてW光を出射させる。また、照明制御部33は、内視鏡システム1の観察モードが特殊光観察モードである場合、光源ドライバ32を制御することによって、第2の光源313および第4の光源315を組み合わせることによってS光を出射させる。なお、照明制御部33は、内視鏡システム1の観察モードに応じて、光源ドライバ32を制御することによって、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316のいずれか2つ以上を組み合わせで出射させてもよい。
〔表示装置の構成〕
次に、表示装置4の構成について説明する。
表示装置4は、制御装置5から受信した内視鏡装置2によって生成された画像データに基づく表示画像を表示する。表示装置4は、内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
次に、表示装置4の構成について説明する。
表示装置4は、制御装置5から受信した内視鏡装置2によって生成された画像データに基づく表示画像を表示する。表示装置4は、内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
〔制御装置の構成〕
次に、制御装置5の構成について説明する。
制御装置5は、内視鏡装置2が生成した画像データを受信し、この受信した画像データに対して所定の画像処理を施して表示装置4へ出力する。また、制御装置5は、内視鏡システム1全体の動作を統括的に制御する。制御装置5は、画像処理部51と、入力部52と、記録部53と、処理制御部54と、を備える。
次に、制御装置5の構成について説明する。
制御装置5は、内視鏡装置2が生成した画像データを受信し、この受信した画像データに対して所定の画像処理を施して表示装置4へ出力する。また、制御装置5は、内視鏡システム1全体の動作を統括的に制御する。制御装置5は、画像処理部51と、入力部52と、記録部53と、処理制御部54と、を備える。
画像処理部51は、処理制御部54の制御のもと、内視鏡装置2が生成した画像データを受信し、受信した画像データに対して所定の画像処理を施して表示装置4へ出力する。画像処理部51は、メモリと、GPU(Graphics Processing Unit)、DSP(Digital Signal Processing)またはFPGA(Field Programmable Gate Array)等のハードウェアを有するプロセッサを用いて構成される。
入力部52は、内視鏡システム1の動作を指示する指示信号または内視鏡装置2の先端部24から被検体までの距離の測距を指示する測距信号の入力を受け付け、この受け付けた指示信号または測距信号を処理制御部54へ出力する。例えば、入力部52は、測距を指示する測距信号の入力を受け付け、この受け付けた測距信号を処理制御部54へ出力する。入力部52は、スイッチ、ボタンおよびタッチパネル等を用いて構成される。
記録部53は、内視鏡システム1が実行する各種プログラム、内視鏡システム1が実行中のデータおよび内視鏡装置2が生成した画像データを記録する。記録部53は、揮発性メモリ、不揮発性メモリおよびメモリカード等を用いて構成される。記録部53は、内視鏡システム1が実行する各種プログラムを記録するプログラム記録部531と、基準情報記録部532と、を有する。
基準情報記録部532は、被写体と撮像部244との間の距離、光学系243の焦点位置を示す情報および被写体からの距離と相関する測距情報の対応関係を示す複数の基準情報を内視鏡装置2毎に記録する。複数の基準情報は、内視鏡装置2の識別情報毎に対応付けられて基準情報記録部532に記録されている。基準情報記録部532が記録する複数の基準情報は、内視鏡装置2が制御装置5に接続された際に、後述する処理制御部54が内視鏡装置2の内視鏡記録部64から内視鏡装置2の識別情報と、この識別情報に対応付けられた基準情報とを取得し、取得した識別情報と基準情報とを対応付けて記録(格納)される。なお、基準情報記録部532が記録する複数の基準情報は、内視鏡装置2が制御装置5に接続された際に、後述する処理制御部54が内視鏡装置2の内視鏡記録部64から内視鏡装置2の識別情報を取得し、取得した識別情報に対応する基準情報を、ネットワークを経由して図示しないサーバから取得して記録してもよい。
図11は、基準情報記録部532が記録する基準情報の一例を示す図である。図11において、横軸が光学系243のフォーカスレンズ243aのレンズ位置を示し、縦軸が像ずれ量(AF評価値)を示す。また、図11において、直線L3が撮像部5と被写体(被検体)との間の被写体距離が3mmであり、この被写体からの距離と相関する測距情報を示す像ずれ量と光学系243の焦点位置との像ずれ特性を示す。また、直線L5が撮像部5と被写体との間の被写体距離が5mmであり、この被写体からの距離に相関する測距情報を示す像ずれ量と焦点位置との像ずれ特性を示す。さらに、直線L10が撮像部5と被写体との間の被写体距離が10mmであり、この被写体からの距離と相関する像ずれ量と光学系243の焦点位置との像ずれ特性を示す。
図11の直線L3、直線L5および直線L10の各々に示すように、基準情報記録部532には、撮像部5と被写体との間の被写体距離と、光学系243の焦点位置と、被写体からの距離に相関する測距情報を示す像ずれ量(AF評価値)と、が対応関係を示す基本情報が記録されている。例えば、図11に示すように、基準情報には、光学系243のフォーカスレンズ243aがピント位置Aに停止している場合、像ずれ量がピント位置(0)からD10離れているとき、被写体距離が10mmと判定することができる。同様に、基準情報には、光学系243がピント位置Aに停止している場合、像ずれ量がピント位置(0)からD5離れているとき、被写体距離が5mm、像ずれ量がピント位置(0)からD3離れているとき、被写体距離が3mmと判定することができる。なお、図11においては、説明を簡略化するため、被写体距離が3つであったが、基準情報には、被写体距離毎に、光学系243の焦点位置と、被写体からの距離に相関する測距情報を示す像ずれ量(AF評価値)と、が対応付けて記録されている。
処理制御部54は、メモリと、少なくともFPGAまたはCPU等の1つ以上のハードウェアからなるプロセッサを有する。処理制御部54は、内視鏡システム1を構成する各部を制御する。処理制御部54は、取得部541と、演算部542と、演算部542と、判定部543と、判定部543と、駆動制御部544と、表示制御部545と、を有する。
取得部541は、内視鏡装置2から互いに異なる複数の焦点位置の各々において撮像部244が生成した画像データ(画像信号および像信号)を取得する。具体的には、取得部541は、光学系243が互いに異なる複数の焦点位置において停止している際に撮像部244が生成した画像データ(画像信号および像信号)を取得する。例えば、取得部541は、光学系243が第1の焦点位置となる状態で位相差画素71が生成した第1の像信号および光学系243が第2の焦点位置となる状態で位相差画素71が生成した第2の像信号を撮像部244から取得する。ここで、第1の焦点位置とは、測距信号が入力された時点における光学系243の焦点位置である。また、第2の焦点位置とは、測距信号が入力された時点における光学系243の焦点位置から光学系243が移動した時点の光学系243の焦点位置の位置である。
演算部542は、取得部541が取得した第1の像信号に基づき第1の測距情報を演算し、さらに、取得部541が取得した第2の像信号に基づき第2の測距情報を演算する。さらにまた、演算部542は、演算として、第1の測距情報と、光学系243の第1の焦点位置を示す情報と、基準情報記録部532が記録する基準情報と、に基づき、第1の測距情報に対応する第1の被写体距離を推定する。さらに、演算部542は、推定した第1の被写体距離と、光学系243の第2の焦点位置と、基準情報記録部532が記録する基準情報と、に基づき、第2の焦点位置に対応する測距情報を推定する。具体的には、演算部542は、複数の焦点位置の各々に対応する複数の測距情報を演算する。例えば、演算部542は、画像データに含まれる像信号(位相差信号)に基づいて、内視鏡装置2の先端部24または撮像部244から被検体までの距離を測距情報として演算する。そして、演算部542は、測距信号が入力された時点における光学系243の焦点位置の第1の像信号に基づいて演算された第1の測距情報と、測距信号が入力された時点の焦点位置から光学系243の焦点位置が変化した際の第2の像信号に基づいて演算された測距情報との演算結、の差または傾きを変化量として演算する。
判定部543は、被写体と撮像部244との間の距離、光学系243の焦点位置を示す情報および、基準情報記録部532が記録する被写体からの距離と相関する測距情報(像ずれ量)の対応関係を示す基準情報と、演算部542が演算した第1の測距情報と、第2の測距情報と、に基づき演算を行い、演算結果を出力する。判定部543は、演算として、基準情報記録部532が記録する基準情報と、演算部542が演算した第1の測距情報と、演算部542が演算した第2の測距情報と、に基づき、第1の測距情報の信頼度を判定する演算を行う。具体的には、判定部543は、演算として、光学系243の第2の焦点位置に対応する測距情報と、演算部542が演算した第2の測距情報と、に基づき第1の測距情報の信頼度を判定する演算を行う。例えば、判定部543は、基準情報記録部532が記録する基準情報と、演算部542が演算した測距演算結果と、に基づき、複数の測距情報のいずれか一つ以上の信頼度を判定する。具体的には、判定部543は、操作部22または入力部52から測距を指示する測距信号が入力された直後に、演算部542が演算した測距情報(第1の測距情報)の信頼度を判定する。また、判定部543は、取得部541が取得した複数の画像データの各々に対して、動きベクトルが閾値以上であるか否かを判定する。具体的には、判定部543は、取得部541が取得した像信号から動きベクトルを演算し、この演算した動きベクトルが閾値以上であるか否かを判定する。
駆動制御部544は、演算部542が演算した測距情報に基づいて、駆動部245を駆動することによって光学系243を光軸L1に沿って移動させて光学系243の焦点位置を調整する。
表示制御部545は、画像処理部51を制御することによって、表示装置4の表示態様を制御する。具体的には、表示制御部545は、画像処理部51が画像処理を施した画像データに基づく表示画像を表示装置4に表示させる。
〔内視鏡システムの処理〕
次に、内視鏡システム1が実行する処理について説明する。図12は、内視鏡システム1が実行する処理の概要を示すフローチャートである。
次に、内視鏡システム1が実行する処理について説明する。図12は、内視鏡システム1が実行する処理の概要を示すフローチャートである。
図12に示すように、まず、処理制御部54は、光源装置3に照明光を照射させる(ステップS101)。具体的には、処理制御部54は、照明制御部33を制御することによって、光源装置3の第1の光源312、第2の光源313および第3の光源314の各々を発光させてW光を内視鏡装置2の先端部24から被検体に向けて照射させる。
続いて、処理制御部54は、撮像部244が被検体からの反射光を受光(露光)することによって生成した画像データを制御装置5へ出力させる(ステップS102)。
その後、処理制御部54は、撮像部244から入力された画像データに対して画像処理部51が所定の画像処理を行った表示画像データに基づく表示画像を表示装置4に表示させる(ステップS103)。
続いて、操作部22または入力部52から内視鏡装置2の先端部24から被検体までの距離の測定を指示する測距信号が入力された場合(ステップS104:Yes)、内視鏡システム1は、内視鏡装置2の先端部24から被検体までの距離を測距する測距処理を実行する(ステップS105)。なお、測距処理の詳細は、後述する。ステップS105の後、内視鏡システム1は、後述するステップS106へ移行する。
ステップS104において、操作部22または入力部52から内視鏡装置2の先端部24から被検体までの距離の測定を指示する測距信号が入力されていない場合(ステップS104:No)、内視鏡システム1は、後述するステップS106へ移行する。
続いて、操作部22または入力部52から被検体の検査を終了する終了信号が入力された場合(ステップS106:Yes)、内視鏡システム1は、本処理を終了する。これに対して、操作部22または入力部52から被検体の検査を終了する終了信号が入力されていない場合(ステップS106:No)、内視鏡システム1は、上述したステップS101へ戻る。
〔測距処理〕
次に、上述した図12のステップS105における測距処理の詳細について説明する。図13は、測距処理の概要を示すフローチャートである。図14は、測距処理におけるタイミングチャートである。図14において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が光学系243の焦点位置を示し、(g)が表示タイミングを示す。
次に、上述した図12のステップS105における測距処理の詳細について説明する。図13は、測距処理の概要を示すフローチャートである。図14は、測距処理におけるタイミングチャートである。図14において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が光学系243の焦点位置を示し、(g)が表示タイミングを示す。
図13に示すように、まず、駆動制御部544は、光源装置3にW光の照明光を照射させ(ステップS201)、撮像部244が被写体(被検体)からの反射光を受光(露光)することによって生成した画像データを制御装置5へ出力させる(ステップS202)。具体的には、図14に示すように、まず、表示制御部545は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、表示装置4が表示画像f1を表示続けるように表示画像f1の表示を維持する。そして、駆動制御部544は、光学系243が焦点位置fc2で停止している状態で、撮像部244に被写体からの反射光を受光させ(露光期間exp2)、撮像部244から画像データに基づく撮像画像f2を出力させる。
続いて、演算部542は、撮像部244から入力された撮像画像f2に含まれる位相差画素71の左右一対の像信号に基づいて、内視鏡装置2の先端部24または撮像部244から被写体(被検体)までの距離を演算する測距演算を行い(ステップS203)、この演算結果を記録部53に記録する(ステップS204)。具体的には、図14に示すように、演算部542は、撮像部244から入力された画像データに基づく撮像画像f2に含まれる位相差画素71の左右一対の像信号に基づいて、内視鏡装置2の先端部24または撮像部244から被写体までの距離を演算する測距演算を行い、この演算結果c2を記録部53に記録する。
続いて、駆動制御部544は、演算部542が演算した演算結果c2に基づいて、駆動部245を駆動させて、フォーカスレンズ243aを光軸L1に沿って移動させる(ステップS205)。この場合、駆動制御部544は、図14に示すように、画像データを撮像部244から読み出す読み出し期間中にフォーカスレンズ243aを光軸L1に沿って移動させる。これにより、露光期間中に光学系243が移動する移動期間中の像変化が生じることによって発生する測距情報の誤差を防止することができる。
図15は、撮像部244における測距領域を模式的に示す図である。図16は、各測距点における焦点位置方向を模式的に示す図である。図17は、フォーカスレンズ243aの移動方向および移動量を模式的に示す図である。図15および図16では、撮像部244を5×5の測距領域(a1~a25)に分割した一例を示す。また、図16において、測距領域における至近方向を「N」、無限方向を「F」として表記する。
図15~図17に示すように、フォーカスレンズ243aが至近側にあり、かつ、各測距領域における焦点位置方向の至近方向の数(19箇所)が無限方向の数(6箇所)と比べて多い場合(N>F)、駆動制御部544は、駆動部245を駆動させて、フォーカスレンズ243aを光軸L1に沿って無限端の方向へ移動させる。例えば、図17に示すように、駆動制御部544は、駆動部245を駆動させて、フォーカスレンズ243aを光軸L1に沿って焦点位置fc3へ移動させる。
図13に戻り、ステップS206以降の説明を続ける。
ステップS206において、処理制御部54は、測距演算が所定回数、例えば3回終了したか否かを判定する。測距演算が所定回数終了していると判定された場合(ステップS206:Yes)、内視鏡システム1は、後述するステップS207へ移行する。
ステップS206において、処理制御部54は、測距演算が所定回数、例えば3回終了したか否かを判定する。測距演算が所定回数終了していると判定された場合(ステップS206:Yes)、内視鏡システム1は、後述するステップS207へ移行する。
これに対して、測距演算が所定回数終了していないと判定された場合(ステップS206:No)、内視鏡システム1は、上述したステップS201へ戻る。この場合、図14に示すように、2回目の測距演算において、駆動制御部544は、光学系243が焦点位置fc3で停止している状態で、撮像部244に被写体からの反射光を受光させ(露光期間exp3)、撮像部244から画像データに基づく撮像画像f3を出力させる。そして、演算部542は、撮像部244から入力された撮像画像f3に含まれる位相差画素71の左右一対の像信号に基づいて、測距演算を行い、この演算結果c3を記録部53に記録する。その後、処理制御部54は、駆動部245を駆動させて、フォーカスレンズ243aを光軸L1に沿って焦点位置fc4へ移動させる。
さらに、図14に示すように、3回目の測距演算において、処理制御部54は、フォーカスレンズ243aが焦点位置fc4で停止している状態で、撮像部244に被写体からの反射光を受光させ(露光期間exp4)、撮像部244から画像データに基づく撮像画像f4を出力させる。そして、演算部542は、撮像部244から入力された撮像画像f4に含まれる位相差画素71の左右一対の像信号に基づいて、測距演算を行い、この演算結果c4を記録部53に記録する。その後、駆動制御部544は、駆動部245を駆動させて、フォーカスレンズ243aを光軸L1に沿って焦点位置fc2へ移動させて測距開始前の焦点位置へ帰還させる。なお、図14では、3回の測距演算を行っているが、測距演算の回数を適宜変更することができ、例えば非低照度環境や内視鏡装置2の観察位置に応じて測距演算の回数を変更することができる。
図13に戻り、ステップS207以降の説明を続ける。
ステップS207において、判定部543は、測距演算において撮像部244が生成した複数の像信号から動きベクトルが閾値以上のものがあるか否かを判定する。判定部543によって複数の像信号から動きベクトルが閾値以上のものがあると判定された場合(ステップS207:Yes)、内視鏡システム1は、後述するステップS208へ移行する。これに対して、判定部543によって複数の像信号から動きベクトルが閾値以上のものがないと判定された場合(ステップS207:No)、内視鏡システム1は、後述するステップS209へ移行する。
ステップS207において、判定部543は、測距演算において撮像部244が生成した複数の像信号から動きベクトルが閾値以上のものがあるか否かを判定する。判定部543によって複数の像信号から動きベクトルが閾値以上のものがあると判定された場合(ステップS207:Yes)、内視鏡システム1は、後述するステップS208へ移行する。これに対して、判定部543によって複数の像信号から動きベクトルが閾値以上のものがないと判定された場合(ステップS207:No)、内視鏡システム1は、後述するステップS209へ移行する。
ステップS208において、演算部542は、判定部543によって動きベクトルが閾値以上であると判定された撮像画像に基づく測距演算結果を記録部53から削除する。
続いて、演算部542は、基準情報記録部532が記録する基準情報と、記録部53が記録する複数の測距演算結果(例えば、第1の測距情報と、第2の測距情報)と、に基づき演算する(ステップS209)。具体的には、演算部542は、基準情報記録部532が記録する基準情報と、記録部53が記録する演算結果c2~演算結果c4に基づいて、光学系243の焦点位置の変化による測距情報の変化量を演算する。例えば、演算部542は、演算として、記録部53が記録する演算結果c2(第1の測距情報)と、第1の焦点位置を示す情報(フォーカス位置fc3)と、基準情報記録部542が記録する基準情報と、に基づき、演算結果c2(第1の測距情報)に対応する第1の被写体距離を推定する。さらに、演算部542は、推定した第1の被写体距離と、第2の焦点位置を示す情報(フォーカス位置c4)と、基準情報と、に基づき、第2の焦点位置に対応する測距情報(像ずれ量)を推定する。
その後、判定部543は、複数の焦点位置のいずれか一つの信頼度を判定する(ステップS210)。具体的には、判定部543は、測距トリガーが入力された直後に測距演算された演算結果c2の信頼度を判定する。
図18は、判定部543が判定する判定方法の概要を模式的に示す図である。図18において、横軸がフォーカスレンズ243aのレンズ位置を示し、縦軸がAF評価値(像ずれ量)を示す。また、図18において、直線L11が演算部542によって演算された変化量に基づく像ずれ特性を示す。
図18に示すように、まず、判定部543は、演算部542によって演算された演算結果c2~演算結果c4に基づく光学系243の焦点位置の変化による測距演算結果を示す直線L11と、直線L3、直線L5および直線L10の一致度を判定し、このうち最も一致度が高い像ずれ特性を判定する。図18に示す場合、判定部543は、直線L11と、直線L10を一致度が最も高いものとして判定する。そして、判定部543は、直線L11と直線L10との一致度を信頼度として判定(演算)するとともに、被写体距離を10mmとして判定する。
図13に戻り、ステップS211以降の説明を続ける。
ステップS211において、判定部543は、信頼度が所定値以内であるか否かを判定する。判定部543によって信頼度が所定値以内であると判定された場合(ステップS211:Yes)、内視鏡システム1は、後述するステップS212へ移行する。これに対して、判定部543によって信頼度が所定値以内でないと判定された場合(ステップS211:No)、内視鏡システム1は、後述するステップS214へ移行する。
ステップS211において、判定部543は、信頼度が所定値以内であるか否かを判定する。判定部543によって信頼度が所定値以内であると判定された場合(ステップS211:Yes)、内視鏡システム1は、後述するステップS212へ移行する。これに対して、判定部543によって信頼度が所定値以内でないと判定された場合(ステップS211:No)、内視鏡システム1は、後述するステップS214へ移行する。
ステップS212において、判定部543は、信頼度と測距演算結果とを対応付けて記録部53に記録する。
続いて、表示制御部545は、判定部543が判定した信頼度および演算部542が演算した測距演算結果を表示装置4に表示させる(ステップS213)。ステップS213の後、内視鏡システム1は、図12のメインルーチンへ戻る。
ステップS214において、表示制御部545は、測距演算結果の信頼度が異常であることを示す警告を表示装置4に表示させる。例えば、表示制御部545は、測距演算結果を赤色で表示装置4に表示させることによって警告したり、ブザー音等を表示装置4に出力させることによって警告したりする。ステップS214の後、内視鏡システム1は、図12のメインルーチンへ戻る。
以上説明した実施の形態1によれば、判定部543が基準情報記録部532によって記録された基準情報と、演算部542によって演算された第1の測距情報と、第2の測距情報と、に基づき演算を行い、演算結果を出力するため、測距演算の精度を向上させることができる。
また、実施の形態1によれば、駆動制御部544が複数の位相差画素71によって生成された像信号に基づいて、内視鏡装置2に設けられた駆動部245であって、光学系243のフォーカスレンズ243aを光軸L1に沿って移動させて光学系243の焦点位置を変更するため、演算部542が互いに異なる複数の焦点位置の変化による変化量を演算することができる。
また、実施の形態1によれば、判定部543が入力部52または操作部22から測距信号が入力された直後に、演算部542が演算した測距情報の信頼度を判定するので、ユーザが所望するタイミングの測距情報の信頼度を得ることができる。
また、実施の形態1によれば、演算部542が判定部543によって動きベクトルが閾値以上である画像データの測距情報を除外して演算するので、内視鏡装置2の移動量が大きい測距情報を除外することができるため、測距情報の信頼度を高めることができる。
(実施の形態2)
次に、実施の形態2について説明する。上述した実施の形態1では、測距信号が入力された場合、フォーカスレンズ243aを光軸L1に沿って移動させることによって光学系243の焦点位置を変更していたが、実施の形態2では、測距信号が入力された場合、光源装置が照射する照明光の波長帯域を変更することによって位相差画素への視差成分を生じさせることで光学系の焦点位置を第1の焦点位置から第2の焦点位置へ変更する。以下においては、実施の形態2に係る内視鏡システムの構成を説明後、実施の形態2に係る内視鏡システムが実行する測距処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態2について説明する。上述した実施の形態1では、測距信号が入力された場合、フォーカスレンズ243aを光軸L1に沿って移動させることによって光学系243の焦点位置を変更していたが、実施の形態2では、測距信号が入力された場合、光源装置が照射する照明光の波長帯域を変更することによって位相差画素への視差成分を生じさせることで光学系の焦点位置を第1の焦点位置から第2の焦点位置へ変更する。以下においては、実施の形態2に係る内視鏡システムの構成を説明後、実施の形態2に係る内視鏡システムが実行する測距処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
〔内視鏡システムの構成〕
図19は、実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。図19に示す内視鏡システム1Aは、上述した実施の形態1に係る光源装置3および制御装置5に代えて、光源装置3Aおよび制御装置5Aを備える。
図19は、実施の形態2に係る内視鏡システムの要部の機能構成を示すブロック図である。図19に示す内視鏡システム1Aは、上述した実施の形態1に係る光源装置3および制御装置5に代えて、光源装置3Aおよび制御装置5Aを備える。
光源装置3Aは、上述した実施の形態1に係る光源部31に代えて、光源装置31Aを備える。さらに、光源装置31Aは、上述した第5の光源316に代えて、第5の光源部316Aを備える。第5の光源部316Aは、赤外LEDランプを用いて構成され、光源ドライバ32から供給される電流に基づいて、赤外の波長帯域(例えば780nm~1000nm)の光(以下、単に「IR光」という)を出射する。
制御装置5Aは、上述した実施の形態1に係る記録部53に代えて、記録部53Aを備える。記録部53Aは、内視鏡システム1Aが実行する各種プログラム、内視鏡システム1Aが実行中のデータおよび内視鏡装置2が生成した画像データを記録する。記録部53Aは、揮発性メモリ、不揮発性メモリおよびメモリカード等を用いて構成される。記録部53Aは、プログラム記録部531と、基準情報記録部532Aと、を有する。
図20は、基準情報記録部532Aが記録する基準情報の一例を示す図である。図20において、横軸が光学系243のフォーカスレンズのレンズ位置を示し、縦軸が像ずれ量(AF評価値)を示す。また、図20において、直線LB5が青色の波長帯域の光を照射時における撮像部244と被写体との間の被写体距離が5mmであり、この被写体からの距離と相関する測距情報を示す像ずれ量と焦点位置との像ずれ特性を示す。直線LG5が緑色の波長帯域の光を照射時における撮像部244と被写体との間の被写体距離が5mmであり、この被写体からの距離と相関する測距情報を示す像ずれ量と焦点位置との像ずれ特性を示す。直線LR5が赤色の波長帯域の光を照射時における撮像部244と被写体との間の被写体距離が5mmであり、この被写体からの距離と相関する測距情報を示す像ずれ量と焦点位置との像ずれ特性を示す。直線LIR5が特殊光(近赤外)の波長帯域の光を照射時における撮像部244と被写体との間の被写体距離が5mmであり、この被写体からの距離と相関する測距情報を示す像ずれ量と焦点位置との像ずれ特性を示す。
図20の直線LB5、直線LG5および直線LR5の各々に示すように、波長帯域毎に、被写体距離と、光学系243の焦点位置と、被写体からの距離と相関する測距情報を示す像ずれ量と、が対応付けられて記録されている。例えば、図20に示すように、基準情報は、光学系243のフォーカスレンズ243aがピント位置Aに停止し、光源装置3AからR光が照射された場合において、像ずれ量がピント位置(0)からDR離れているとき、被写体距離が5mmと判定することができる。なお、図20においては、説明を簡略化するため、被写体距離が1つであったが、基準情報には、波長帯域毎に複数の被写体距離の各々の像ずれ量と光学系243の焦点位置との像ずれ特性が記録されている。
〔測距処理〕
次に、内視鏡システム1Aが実行する測距処理について説明する。図21は、内視鏡システム1Aが実行する測距処理の概要を示すフローチャートである。図22は、測距処理におけるタイミングチャートである。図22において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)および光源装置3が照射する波長帯域の光を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が表示タイミングを示す。なお、図24の(c)において、光源装置3AがW光を照射し、撮像部244がW光を露光したフレームを「W」と表記し、光源装置3AがB光を照射し、撮像部244がB光を露光したフレームを「B」と表記する。
次に、内視鏡システム1Aが実行する測距処理について説明する。図21は、内視鏡システム1Aが実行する測距処理の概要を示すフローチャートである。図22は、測距処理におけるタイミングチャートである。図22において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)および光源装置3が照射する波長帯域の光を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が表示タイミングを示す。なお、図24の(c)において、光源装置3AがW光を照射し、撮像部244がW光を露光したフレームを「W」と表記し、光源装置3AがB光を照射し、撮像部244がB光を露光したフレームを「B」と表記する。
図21に示すように、まず、駆動制御部544は、光源装置3Aに所定の波長帯域の照明光を照射させ(ステップS301)、撮像部244が被写体(被検体)からの反射光を受光(露光)することによって生成した画像データを制御装置5へ出力させる(ステップS302)。具体的には、図22に示すように、まず、表示制御部545は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、表示装置4が表示画像f1を表示続けるように表示画像f1の表示を維持する。そして、駆動制御部544は、光学系243の焦点位置が停止している状態で、光源装置3Aの第3の光源314に発光させることによってB光を照射させる。その後、駆動制御部544は、撮像部244に被検体からのB光の反射光を受光させ(露光期間exp2)、撮像部244から画像データに基づく撮像画像f2を出力させる。
続いて、演算部542は、撮像部244から入力された撮像画像f2に含まれる像信号に基づいて、内視鏡装置2の先端部24または撮像部244から被写体(被検体)までの距離を演算する測距演算を行い(ステップS303)、演算結果を記録部53に記録する(ステップS304)。具体的には、図22に示すように、演算部542は、撮像部244から入力された撮像画像f2に含まれる像信号に基づいて、測距演算を行い、この演算結果c2を記録部53に記録する。
続いて、処理制御部54は、測距演算が所定回数、例えば1回終了したか否かを判定する。測距演算が所定回数終了していると判定された場合(ステップS305:Yes)、内視鏡システム1は、後述するステップS306へ移行する。これに対して、測距演算が所定回数終了していないと判定された場合(ステップS305:No)、内視鏡システム1は、上述したステップS301へ戻る。
ステップS306~ステップS308は、上述した図15のステップS207~ステップS209それぞれに対応する。
ステップS309において、判定部543は、演算部542が演算した演算結果と、基準情報記録部532Aが記録する基本情報と、に基づいて、焦点位置の信頼度を判定する(ステップS210)。具体的には、判定部543は、演算部542が演算した演算結果と、基準情報記録部532Aが記録する基本情報と、に基づいて、測距トリガーが入力された直後に測距演算された演算結果c2の信頼度を判定する。
図23は、判定部543が判定する判定方法の概要を模式的に示す図である。図23において、横軸が光学系243のフォーカスレンズのレンズ位置を示し、縦軸がAF評価値(像ずれ量)を示す。また、図23において、直線L12が演算部542によって演算された変化量に基づく像ずれ特性を示す。
図23に示すように、まず、判定部543は、演算部542によって演算された測距演算結果に基づく直線L12(例えば変化量や差分)と、直線LB5、直線LR5、直線LG5の一致度を判定し、このうち最も一致度が高い像ずれ特性を判定する。図23に示す場合、判定部543は、直線L12と、直線LB5を一致度が最も高いものとして判定する。そして、判定部543は、直線L12と直線LB5との一致度を信頼度として判定(演算)するとともに、被写体距離を5mmとして判定する。
ステップS310~ステップS313は、上述したステップS211~ステップS214それぞれに対応する。ステップS312またはステップS313の後、内視鏡システム1Aは、上述した図12のメインルーチンへ戻る。
以上説明した実施の形態2によれば、演算部542が光源装置3によって照射された光の波長帯域の切り替えによる焦点位置の変化による測距演算結果を演算するので、測距演算の精度を向上させることができる。
(実施の形態2の変形例1)
次に、実施の形態2の変形例1について説明する。上述した実施の形態2では、測距時にB光を照射していたが、実施の形態2の変形例1では、測距時に異なる波長帯域の光を順次照射する。また、実施の形態2の変形例1に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと同一の構成を有し、測距処理における測距の演算方法が異なるのみであり、他の処理が上述した処理と同様である。以下においては、実施の形態2の変形例1に係る内視鏡システムが実行する測距処理における測距の演算方法の要部について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明は省略する。
次に、実施の形態2の変形例1について説明する。上述した実施の形態2では、測距時にB光を照射していたが、実施の形態2の変形例1では、測距時に異なる波長帯域の光を順次照射する。また、実施の形態2の変形例1に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと同一の構成を有し、測距処理における測距の演算方法が異なるのみであり、他の処理が上述した処理と同様である。以下においては、実施の形態2の変形例1に係る内視鏡システムが実行する測距処理における測距の演算方法の要部について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明は省略する。
〔測距処理〕
図24は、測距処理におけるタイミングチャートである。図24において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)および光源装置3が照射する波長帯域の光を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が表示タイミングを示す。なお、図24の(c)において、光源装置3AがW光を照射し、撮像部244がW光を露光したフレームを「W」と表記し、光源装置3AがB光を照射し、撮像部244がB光を露光したフレームを「B」と表記し、光源装置3AがR光を照射し、撮像部244がR光を露光したフレームを「R」と表記する。
図24は、測距処理におけるタイミングチャートである。図24において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)および光源装置3が照射する波長帯域の光を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が表示タイミングを示す。なお、図24の(c)において、光源装置3AがW光を照射し、撮像部244がW光を露光したフレームを「W」と表記し、光源装置3AがB光を照射し、撮像部244がB光を露光したフレームを「B」と表記し、光源装置3AがR光を照射し、撮像部244がR光を露光したフレームを「R」と表記する。
図24に示すように、表示制御部545は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、表示装置4が表示画像f1を表示続けるように表示画像f1の表示を維持する。そして、駆動制御部544は、光学系243の焦点位置が停止している状態で、光源装置3Aの第3の光源314に発光させることによってB光を照射させる。その後、駆動制御部544は、撮像部244に被検体からのB光の反射光を受光させ(露光期間exp2)、撮像部244から画像データに基づく撮像画像f2を出力させる。さらに、演算部542は、撮像部244から入力された撮像画像f2に含まれる像信号に基づいて、内視鏡装置2の先端部24または撮像部244から被検体までの距離を演算する測距演算を行い、この演算結果c2を記録部53Aに記録する。
続いて、駆動制御部544は、光学系243の焦点位置が停止している状態で、光源装置3Aの第1の光源312に発光させることによってR光を照射させる。その後、駆動制御部544は、撮像部244に被検体からのR光の反射光を受光させ(露光期間exp3)、撮像部244から画像データに基づく撮像画像f3を出力させる。その後、演算部542は、撮像部244から入力された撮像画像f3に含まれる像信号に基づいて、内視鏡装置2の先端部24または撮像部244から被検体までの距離を演算する測距演算を行い、この演算結果c3を記録部53Aに記録する。
その後、判定部543は、記録部53Aが記録する通常観察(W光)時に測距演算した演算結果c1、B光の演算結果c2およびR光の演算結果c3と、基準情報記録部532Aが記録する基本情報と、に基づいて、焦点位置の信頼度を判定する。
続いて、表示制御部545は、表示装置4が表示する表示画像の表示フレームを更新する(f4~f7)。
以上説明した実施の形態2の変形例1によれば、判定部543が基準情報記録部532Aによって記録された狭帯域光の波長帯域毎に対応付けられた基準情報と、演算部542によって演算された測距演算結果と、に基づいて、測距トリガーが入力された時点の測距情報の信頼度を判定するので、測距演算の精度を向上させることができる。
なお、実施の形態2の変形例1では、W光、B光およびR光の順で光源装置3に照射させていたが、位相差画素71がR画素、G画素およびB画素の位置に配置されている場合、駆動制御部544は、照明制御部33を制御することによって、1フレーム目を、B光およびG光、2フレーム目をG光およびIR光(A光)の順で光源装置3に照射させてもよい。もちろん、位相差画素71がG画素の位置のみに配置されている場合、駆動制御部544は、照明制御部33を制御することによって、G光を光源装置3に照射させてもよい。
(実施の形態2の変形例2)
次に、実施の形態2の変形例2について説明する。上述した実施の形態2では、撮像部244の全画素から画像信号を読み出していたが、実施の形態2の変形例2では、位相差画素71のみから像信号を読み出すことによって撮像の高速化を図る。また、実施の形態2の変形例2に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと同一の構成を有し、測距処理におけるタイミングが異なる。以下においては、実施の形態2の変形例2に係る内視鏡システムが実行する測距処理の要部について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明は省略する。
次に、実施の形態2の変形例2について説明する。上述した実施の形態2では、撮像部244の全画素から画像信号を読み出していたが、実施の形態2の変形例2では、位相差画素71のみから像信号を読み出すことによって撮像の高速化を図る。また、実施の形態2の変形例2に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと同一の構成を有し、測距処理におけるタイミングが異なる。以下においては、実施の形態2の変形例2に係る内視鏡システムが実行する測距処理の要部について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明は省略する。
〔測距処理〕
図25は、測距処理におけるタイミングチャートである。図25において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)および光源装置3が照射する波長帯域の光を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が表示タイミングを示す。なお、図25の(c)において、光源装置3AがW光を照射し、撮像部244が白色光を露光したフレームを「W」と表記し、光源装置3AがB光を照射し、撮像部244がB光を露光したフレームを「B」と表記し、光源装置3AがR光を照射し、撮像部244がR光を露光したフレームを「R」と表記する。
図25は、測距処理におけるタイミングチャートである。図25において、上段から、(a)が測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査(露光期間)および光源装置3が照射する波長帯域の光を示し、(d)が撮像部244から画像データが出力される映像出力タイミングを示し、(e)が測距演算タイミングを示し、(f)が表示タイミングを示す。なお、図25の(c)において、光源装置3AがW光を照射し、撮像部244が白色光を露光したフレームを「W」と表記し、光源装置3AがB光を照射し、撮像部244がB光を露光したフレームを「B」と表記し、光源装置3AがR光を照射し、撮像部244がR光を露光したフレームを「R」と表記する。
図25に示すように、まず、表示制御部545は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、表示装置4が表示画像f1を表示続けるように表示画像f1の表示を維持する。そして、駆動制御部544は、光学系243の焦点位置が停止している状態で、照明制御部33を制御することによって、光源装置3Aの第3の光源314に発光させることによってB光を照射させる。その後、駆動制御部544は、撮像制御部65を制御することによって、撮像部244に被写体からのB光の反射光を受光させ(露光期間exp2)、撮像部244における位相差画素のみから像信号に基づく撮像画像f2を出力させる。さらに、演算部542は、撮像部244から入力された撮像画像f2に基づいて、内視鏡装置2の先端部24または撮像部244から被被写体までの距離を演算する測距演算を行い、この演算結果c2を記録部53Aに記録する。
続いて、駆動制御部544は、照明制御部33を制御することによって、光学系243の焦点位置が停止している状態で、光源装置3Aの第1の光源312に発光させることによってR光を照射させる。その後、駆動制御部544は、撮像制御部65を制御することによって、撮像部244に被検体からのR光の反射光を受光させ(露光期間exp3)、撮像部244における位相差画素71のみから像信号に基づく撮像画像f3を出力させる。その後、演算部542は、撮像部244から入力された撮像画像f3に含まれる像信号に基づいて、内視鏡装置2の先端部24または撮像部244から被写体までの距離を演算する測距演算を行い、この演算結果c3を記録部53Aに記録する。
その後、判定部543は、記録部53Aが記録する通常観察(W光)時に測距演算した演算結果c1、B光の演算結果c2およびR光の演算結果c3と、基準情報記録部532Aが記録する基準情報と、に基づいて、焦点位置の信頼度を判定する。
続いて、表示制御部545は、表示装置4が表示する表示画像の表示フレームを更新する(f4~f7)。
以上説明した実施の形態2の変形例2によれば、位相差画素71から位相差データのみを読み出しているため、撮像部244からの読み出しを高速化することによって、異なる光源の発光時間差、フレーム読み出し時間差を小さくなるため、像ぶれ、および手ぶれの影響を低減することができるので、測距演算の精度を向上させることができる。
(実施の形態3)
次に、実施の形態3について説明する。上述した実施の形態1では、撮像部244の全画素から画像信号を読み出していたが、実施の形態3では、位相差画素のみから像信号を読み出すことによって撮像の高速化を図る。また、実施の形態3に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と同一の構成を有し、測距処理における撮像部から画素信号および像信号を読み出す方法が異なる。以下においては、実施の形態3に係る内視鏡システムが実行する測距処理における撮像部から画像信号および像信号を読み出す読み出し方法の概要について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
次に、実施の形態3について説明する。上述した実施の形態1では、撮像部244の全画素から画像信号を読み出していたが、実施の形態3では、位相差画素のみから像信号を読み出すことによって撮像の高速化を図る。また、実施の形態3に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と同一の構成を有し、測距処理における撮像部から画素信号および像信号を読み出す方法が異なる。以下においては、実施の形態3に係る内視鏡システムが実行する測距処理における撮像部から画像信号および像信号を読み出す読み出し方法の概要について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
〔測距処理〕
図26は、実施の形態3に係る撮像部244の画素配列を模式的に示す図である。図27は、実施の形態3に係る内視鏡システム1が実行する測距処理におけるタイミングチャートである。図27において、上段からが測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が水平同期タイミングを示し、(d)が出力行信号を示し、(e)が(c)の水平同期タイミング期間の拡大を示し、(f)が水平出力画素番号および水平出力画素を示す。
図26は、実施の形態3に係る撮像部244の画素配列を模式的に示す図である。図27は、実施の形態3に係る内視鏡システム1が実行する測距処理におけるタイミングチャートである。図27において、上段からが測距信号における測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が水平同期タイミングを示し、(d)が出力行信号を示し、(e)が(c)の水平同期タイミング期間の拡大を示し、(f)が水平出力画素番号および水平出力画素を示す。
図26および図27に示すように、駆動制御部544は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、撮像制御部65を制御することによって、位相差画素71が配置された水平ラインから位相差画素71から像信号および撮像画素70から画像信号の読み出しを行う。例えば、図27に示すように、撮像部244は、位相差画素71を4行周期で配列している。このため、駆動制御部544は、撮像制御部65を制御することによって、撮像部244の全画像から画像信号を読み出す時間に比して、位相差画素71が配列された水平ラインのみから画像信号および像信号の読み出しを行う時間を1/4に短縮することができる。具体的には、駆動制御部544は、撮像制御部65を制御することによって、撮像部244の全画素読み出しが120Hz走査(8.3ms)の場合、位相差画素71が配列された水平ラインのみから画像信号および像信号の読み出しが480Hz走査(2ms)で行うことができる。なお、駆動制御部544は、は、上述した実施の形態1または2と同様の処理、光学系243の移動による複数の焦点位置による測距、または光源装置3が出射する狭帯域光の照射による測距によって、測距距離の信頼度を判定する。
以上説明した実施の形態3によれば、駆動制御部544によって位相差画素71が配置された水平ラインの位相差画素71から像信号および撮像画素70から画像信号の読み出しを行うことによって、撮像部244からの読み出しを高速化することができため、異なる光源の発光時間差、フレーム読み出し時間差を小さくなることで、像ぶれ、および手ぶれの影響を低減することができる。
さらに、実施の形態3によれば、駆動制御部544によって位相差画素71が配置された水平ラインの位相差画素71から像信号および撮像画素70から画像信号の読み出しを行うことによって、測距演算フレームの停止期間の短縮化を行うことができる。
(実施の形態3の変形例1)
次に、実施の形態3の変形例1について説明する。上述した実施の形態3では、位相差画素が配列された水平ラインのみから画像信号の読み出しを行っていたが、光源装置3が照射する光の発光周期を変更する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態3の変形例1について説明する。上述した実施の形態3では、位相差画素が配列された水平ラインのみから画像信号の読み出しを行っていたが、光源装置3が照射する光の発光周期を変更する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
〔測距処理〕
図28は、実施の形態3の変形例1に係る測距処理におけるタイミングチャートである。図28において、上段から(a)が測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査のタイミングを示し、(d)が撮像部244から読み出された表示フレームを示す。
図28は、実施の形態3の変形例1に係る測距処理におけるタイミングチャートである。図28において、上段から(a)が測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査のタイミングを示し、(d)が撮像部244から読み出された表示フレームを示す。
図28に示すように、駆動制御部544は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、照明制御部33を制御することによって、120Hz間隔で光源装置3にB光、R光およびW光の順で照射させる。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244の撮像タイミングを60Hzから120Hzに変更する。なお、判定部543は、上述した実施の形態2と同様の処理である光源装置3が出射する狭帯域光の照射による測距によって、測距距離の信頼度を判定する。
以上説明した実施の形態3の変形例1によれば、撮像部244からの読み出しを高速化することができため、異なる光源の発光時間差、フレーム読み出し時間差を小さくなることで、像ぶれ、および手ぶれの影響を低減することができる。
(実施の形態3の変形例2)
次に、実施の形態3の変形例2について説明する。実施の形態3の変形例2では、光源装置がW光と狭帯域光とを交互に照射させ、かつ、撮像画素の画像信号と位相差画素の像信号とを交互に読み出す。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態3の変形例2について説明する。実施の形態3の変形例2では、光源装置がW光と狭帯域光とを交互に照射させ、かつ、撮像画素の画像信号と位相差画素の像信号とを交互に読み出す。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
〔測距処理〕
図29は、実施の形態3の変形例2に係る測距処理におけるタイミングチャートである。図29において、上段から(a)が測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査のタイミングを示し、(d)が撮像部244から読み出された表示フレームを示す。
図29は、実施の形態3の変形例2に係る測距処理におけるタイミングチャートである。図29において、上段から(a)が測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査のタイミングを示し、(d)が撮像部244から読み出された表示フレームを示す。
図29に示すように、駆動制御部544は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、照明制御部33を制御することによって、120Hz間隔で光源装置3に狭帯域光のB光とW光とを交互に照射させる。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244の撮像タイミングを60Hzから120Hzに変更し、位相差画素71の像信号と撮像画素70の画像信号とを交互に出力させる。
以上説明した実施の形態3の変形例2によれば、撮像部244からの読み出しを高速化することができため、異なる光源の発光時間差、フレーム読み出し時間差を小さくなることで、像ぶれ、および手ぶれの影響を低減することができる。
(実施の形態3の変形例3)
次に、実施の形態3の変形例3について説明する。実施の形態3の変形例3では、撮像部244から画像信号を読み出す読み出し範囲を設定し、この設定した読み出し範囲から画像信号を読み出す。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態3の変形例3について説明する。実施の形態3の変形例3では、撮像部244から画像信号を読み出す読み出し範囲を設定し、この設定した読み出し範囲から画像信号を読み出す。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
〔測距処理〕
図30は、実施の形態3の変形例3に係る撮像部244の読み出し領域を模式的に示す図である。図31は、実施の形態3の変形例3に係る測距処理におけるタイミングチャートである。図31において、上段から(a)が測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査のタイミングを示し、(d)が撮像部244から読み出された表示フレームを示す。
図30は、実施の形態3の変形例3に係る撮像部244の読み出し領域を模式的に示す図である。図31は、実施の形態3の変形例3に係る測距処理におけるタイミングチャートである。図31において、上段から(a)が測距トリガーの立ち上がりタイミングを示し、(b)が垂直同期タイミングを示し、(c)が撮像部244の撮像走査のタイミングを示し、(d)が撮像部244から読み出された表示フレームを示す。
図30および図31に示すように、駆動制御部544は、操作部22または入力部52から表示領域がする指定信号が入力され、かつ、測距信号が入力されることによって測距トリガーが立ち上がった時点で、照明制御部33を制御することによって、120Hz間隔で光源装置3にW光およびB光の順で交互に所定回数照射させる。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244の撮像タイミングを60Hzから120Hzに変更する。なお、判定部543は、上述した実施の形態2と同様の処理である光源装置3が出射する狭帯域光の照射による測距によって、測距距離の信頼度を判定する。
以上説明した実施の形態3の変形例3によれば、撮像部244からの読み出しを高速化することができため、異なる光源の発光時間差、フレーム読み出し時間差を小さくなることで、像ぶれ、および手ぶれの影響を低減することができる。
(実施の形態4)
次に、実施の形態4について説明する。上述した実施の形態1~3では、画素の受光領域上における左右のどちらか一方に遮光部711L,711Rを設けた左右一対の位相差画素71を設けていたが、実施の形態4では、画素における受光部を複数に分割した分割画素を位相差画素として設けている。以下においては、実施の形態4に係る撮像部の位相差画素の構成を説明後、実施の形態4に係る内視鏡システムが実行する測距処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
次に、実施の形態4について説明する。上述した実施の形態1~3では、画素の受光領域上における左右のどちらか一方に遮光部711L,711Rを設けた左右一対の位相差画素71を設けていたが、実施の形態4では、画素における受光部を複数に分割した分割画素を位相差画素として設けている。以下においては、実施の形態4に係る撮像部の位相差画素の構成を説明後、実施の形態4に係る内視鏡システムが実行する測距処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
〔位相差画素の構成〕
図32は、実施の形態4に係る位相差画素の断面図である。図33は、実施の形態4に係る位相差画素の上面図である。
図32は、実施の形態4に係る位相差画素の断面図である。図33は、実施の形態4に係る位相差画素の上面図である。
図32および図33に示す位相差画素72は、フォトダイオード等で構成され、光電変換素子として機能する4つの受光部721~724と、カラーフィルタ61、マイクロレンズ62の順に積層されて形成されている。さらに、4つの受光部721~724の裏面側に、読み出し部63が積層されて形成されている。
このように構成された位相差画素72は、焦点位置の調整および測距のための4つを一組とする像信号(電気信号)を生成し、この像信号として出力する。
〔撮像部の構成〕
図34は、実施の形態4に係る撮像部の配列を模式的に示す図である。図34に示す撮像部244Bは、4つの受光部721~724を1つの単位画素として構成し、かつ、4つの単位画素を一つのユニットU2とし、4つの単位画素の各々の受光面にベイヤー配列のいずれか一つのフィルタが積層されて構成されている。なお、図34では、赤色フィルタRが配置された画素を、左上の画素を基準に右回りに「R_zLT」、「R_zRT」、「R_zRB」および「R_zLB」と表記し、緑色フィルタGが配置された画素を、左上の画素を基準に右回りに「G_zLT」、「G_zRT」、「G_zRB」および「G_zLB」と表記し、青色フィルタBが配置された画素を、左上の画素を基準に右回りに「B_zLT」、「B_zRT」、「B_zRB」および「B_zLB」と表記する。
図34は、実施の形態4に係る撮像部の配列を模式的に示す図である。図34に示す撮像部244Bは、4つの受光部721~724を1つの単位画素として構成し、かつ、4つの単位画素を一つのユニットU2とし、4つの単位画素の各々の受光面にベイヤー配列のいずれか一つのフィルタが積層されて構成されている。なお、図34では、赤色フィルタRが配置された画素を、左上の画素を基準に右回りに「R_zLT」、「R_zRT」、「R_zRB」および「R_zLB」と表記し、緑色フィルタGが配置された画素を、左上の画素を基準に右回りに「G_zLT」、「G_zRT」、「G_zRB」および「G_zLB」と表記し、青色フィルタBが配置された画素を、左上の画素を基準に右回りに「B_zLT」、「B_zRT」、「B_zRB」および「B_zLB」と表記する。
〔測距処理〕
次に、実施の形態4に係る内視鏡システム1が実行する測距処理における撮像部からの読み出し方法について説明する。図35は、光源装置3が短波長の波長帯域の光を照射した際の撮像部の読み出し方法を模式的に示す図である。図36は、光源装置3が長波長の波長帯域の光を照射した際の撮像部の読み出し方法を模式的に示す図である。
次に、実施の形態4に係る内視鏡システム1が実行する測距処理における撮像部からの読み出し方法について説明する。図35は、光源装置3が短波長の波長帯域の光を照射した際の撮像部の読み出し方法を模式的に示す図である。図36は、光源装置3が長波長の波長帯域の光を照射した際の撮像部の読み出し方法を模式的に示す図である。
図35に示すように、駆動制御部544は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、照明制御部33を制御し、光源装置3が短波長のB光を照射した場合、撮像制御部65を制御することによって、撮像部244Bにおける読み出し行の奇数行を左側画素の画素信号で加算し、かつ、右側画素の画素信号を加算する。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Bにおける読み出し行の偶数行を上側画素の画素信号で加算し、かつ、下側画素の画素信号を加算する。具体的には、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Bにおける読み出し行の奇数行において、左側画素の画素信号を加算(G_zLT+G_zLBまたはB_zLT+B_zLB)、かつ、右側画素の画素信号を加算(G_zRT+G_zRBまたはB_zRT+B_zRB)する。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Bにおける読み出し行の偶数行において、上側画素の画素信号を加算(G_zLT+G_zRTまたはB_zLT+B_zRT)、かつ、下側画素の画素信号を加算(G_zLB+G_zRBまたはB_zLB+B_zRB)する。これにより、演算部542は、クロス測距を行う。
また、図36に示すように、駆動制御部544は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、光源装置3が長波長のR光を照射した場合、撮像制御部65を制御することによって、読み出し行の奇数行を左側画素の画素信号で加算し、かつ、右側画素の画素信号を加算する。さらに、駆動制御部544は、撮像制御部65を制御することによって、読み出し行の偶数行を上側画素の画素信号で加算し、かつ、下側画素の画素信号を加算する。具体的には、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Bにおける読み出し行の奇数行において、左側画素の画素信号を加算(R_zLT+R_zLBまたはG_zLT+G_zLB)、かつ、右側画素の画素信号を加算(G_zRT+G_zRBまたはG_zRT+G_zRB)する。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Bにおける読み出し行の偶数行において、上側画素の画素信号を加算(R_zLT+R_zRTまたはG_zLT+G_zRT)、かつ、下側画素の画素信号を加算(R_zLB+R_zRBまたはG_zLB+G_zRB)する。これにより、演算部542は、クロス測距を行う。
以上説明した実施の形態4によれば、駆動制御部544が左右の位相差画素71の像信号を加算、または上下の位相差画素71の像信号を加算して出力させるため、撮像部244の読み出し速度を高速化することができる。
なお、実施の形態4では、4つの受光部721~724を1つの単位画素としていたが、図37に示す撮像部244Cのように、左右一組の受光部を1つの単位画素とする構成であってもよいし、図38に示す撮像部244Dのように、上下一組の受光部を一つの単位画素とする構成であってもよい。
(実施の形態5)
次に、実施の形態5について説明する。上述した実施の形態1~4では、カラーフィルタがベイヤー配列であったが、実施の形態5では、カラーフィルタの一部にシアンフィルタを用いて構成する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態5について説明する。上述した実施の形態1~4では、カラーフィルタがベイヤー配列であったが、実施の形態5では、カラーフィルタの一部にシアンフィルタを用いて構成する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
〔カラーフィルタの構成〕
図39は、実施の形態5に係るカラーフィルタの構成を模式的に示す図である。図39に示すカラーフィルタ61Eは、青色フィルタBおよび赤色フィルタRの少なくとも一方と、緑色フィルタGと、2つのCyフィルタと、を用いて構成される。シアンフィルタCyは、青色の波長帯域の光および緑色の波長帯域の光の少なくとも2つ以上を透過する。
図39は、実施の形態5に係るカラーフィルタの構成を模式的に示す図である。図39に示すカラーフィルタ61Eは、青色フィルタBおよび赤色フィルタRの少なくとも一方と、緑色フィルタGと、2つのCyフィルタと、を用いて構成される。シアンフィルタCyは、青色の波長帯域の光および緑色の波長帯域の光の少なくとも2つ以上を透過する。
図40は、各フィルタの感度と波長帯域を模式的に示す図である。図40において、横軸が波長(nm)を示し、縦軸が感度を示す。また、図40において、曲線LBが青色の波長帯域を示し、曲線LGが緑色の波長帯域を示し、曲線LRが赤色の波長帯域を示し、曲線LCyがシアンの波長帯域を示す。
図40に示す曲線LCyに示すように、シアンフィルタCyは、青色の波長帯域の光および緑色の波長帯域の光を透過する。
〔撮像部の構成〕
次に、上述したカラーフィルタ61Eが受光面に形成された撮像部の構成について説明する。図41は、撮像部244Eの配列を模式的に示す図である。
次に、上述したカラーフィルタ61Eが受光面に形成された撮像部の構成について説明する。図41は、撮像部244Eの配列を模式的に示す図である。
図41に示す撮像部244Eは、上述した撮像画素70が2次元マトリクス状に配置され、所定の間隔で撮像画素70に代えて位相差画素71が配置されている。具体的には、撮像部244Eは、右側開口画素71Lおよび左側開口画素71Rは、フィルタユニットU2における2つあるCy画素のうち、一方のCy画素に代えて配置され、かつ、撮像部244の水平方向における2つのフィルタユニットU2毎に1つ配置されている。さらに、右側開口画素71Lおよび左側開口画素71Rは、撮像部244の垂直方向における2つのフィルタユニットU2毎に交互に配置される。なお、右側開口画素71Lおよび左側開口画素71Rの配置は、適宜変更することができる。
このように構成された撮像部244Eは、上述した実施の形態1~3と同様の測距処理を行う。
以上説明した実施の形態5によれば、上述した実施の形態1~3と同様に、測距演算の精度を向上させることができる。
(実施の形態5の変形例1)
〔撮像部の構成〕
次に、実施の形態5の変形例1について説明する。図42は、実施の形態5の変形例1に係る撮像部の配列を模式的に示す図である。
〔撮像部の構成〕
次に、実施の形態5の変形例1について説明する。図42は、実施の形態5の変形例1に係る撮像部の配列を模式的に示す図である。
図42に示す撮像部244Fは、上述した実施の形態4に係る位相差画素72が2次元マトリクス状に配置され、かつ、4つの受光部721~724を1つの単位画素として構成し、かつ、4つの単位画素の各々の受光面に上述したカラーフィルタ61Eのいずれか一つのフィルタが積層されて構成されている。なお、図42では、シアンフィルタCyが配置された画素を、左上の画素を基準に右回りに「Cy_zLT」、「Cy_zRT」、「Cy_zRB」および「Cy_zLB」と表記する。
〔測距処理〕
次に、上述した撮像部244Fを備える内視鏡システム1が実行する測距処理時における撮像部244Fからの読み出し方法について説明する。図43は、光源装置3が短波長の波長帯域の光を照射した際の撮像部の読み出し方法を模式的に示す図である。
次に、上述した撮像部244Fを備える内視鏡システム1が実行する測距処理時における撮像部244Fからの読み出し方法について説明する。図43は、光源装置3が短波長の波長帯域の光を照射した際の撮像部の読み出し方法を模式的に示す図である。
図43に示すように、駆動制御部544は、操作部22または入力部52から測距信号が入力されることによって測距トリガーが立ち上がった時点で、照明制御部33を制御し、光源装置3が短波長のB光を照射した場合、撮像制御部65を制御することによって、撮像部244Fにおける読み出し行の奇数行を左側画素の画素信号で加算し、かつ、右側画素の画素信号を加算する。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Fにおける読み出し行の偶数行を上側画素の画素信号で加算し、かつ、下側画素の画素信号を加算する。具体的には、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Fにおける読み出し行の奇数行において、左側画素の画素信号を加算(Cy_zLT+Cy_zLBまたはB_zLT+B_zLB)、かつ、右側画素の画素信号を加算(Cy_zRT+Cy_zRBまたはR_zRT+R_zRB)する。さらに、駆動制御部544は、撮像制御部65を制御することによって、撮像部244Fにおける読み出し行の偶数行において、上側画素の画素信号を加算(Cy_zLT+Cy_zRTまたはB_zLT+B_zRT)、かつ、下側画素の画素信号を加算(Cy_zLB+G_zRBまたはCy_zLB+B_zRB)する。これにより、演算部542は、クロス測距を行う。
以上説明した実施の形態5の変形例1によれば、測距演算の精度を向上させることができる。
なお、実施の形態5の変形例1では、4つの受光部721~724を1つの単位画素としていたが、図44に示す撮像部244Gのように、左右一組の受光部を1つの単位画素とする構成であってもよいし、図45に示す撮像部244Hのように、上下一組の受光部を一つの単位画素とする構成であってもよい。
(実施の形態6)
次に、実施の形態6について説明する。実施の形態6は、上述した実施の形態1に係る内視鏡システム1と同一の構成を有し、実行する測距処理が異なる。具体的には、上述した実施の形態1では、測距情報の信頼度を判定したが、実施の形態6では、複数の測距情報に基づいて近似直線を演算し、この近似直線と基準情報との一致度が高い距離に対応する測距演算結果を用いて被写体距離を推定する。以下においては、実施の形態6に係る内視鏡システムが実行する測距処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態6について説明する。実施の形態6は、上述した実施の形態1に係る内視鏡システム1と同一の構成を有し、実行する測距処理が異なる。具体的には、上述した実施の形態1では、測距情報の信頼度を判定したが、実施の形態6では、複数の測距情報に基づいて近似直線を演算し、この近似直線と基準情報との一致度が高い距離に対応する測距演算結果を用いて被写体距離を推定する。以下においては、実施の形態6に係る内視鏡システムが実行する測距処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
〔測距処理〕
図46は、実施の形態6に係る内視鏡システムが実行する測距処理の概要を示すフローチャートである。図47は、判定部543が判定する判定方法の概要を模式的に示す図である。図47において、横軸がフォーカスレンズ243aのレンズ位置を示し、縦軸が像ずれ量(AF評価値)を示す。また、図47において、直線L20が演算部542によって演算された測距演算結果に基づく近似直線を示す。また、直線L3、直線L5、直線L10の各々は、上述した図11と同様であり、被写体(被検体)との間の被写体距離と、被写体からの距離と相関する測距情報を示す像ずれ量と、光学系243の焦点位置と、対応関係の像ずれ特性を示す。図46において、ステップS401~ステップS408は、上述した図13のステップS201~ステップS208それぞれに対応する。
図46は、実施の形態6に係る内視鏡システムが実行する測距処理の概要を示すフローチャートである。図47は、判定部543が判定する判定方法の概要を模式的に示す図である。図47において、横軸がフォーカスレンズ243aのレンズ位置を示し、縦軸が像ずれ量(AF評価値)を示す。また、図47において、直線L20が演算部542によって演算された測距演算結果に基づく近似直線を示す。また、直線L3、直線L5、直線L10の各々は、上述した図11と同様であり、被写体(被検体)との間の被写体距離と、被写体からの距離と相関する測距情報を示す像ずれ量と、光学系243の焦点位置と、対応関係の像ずれ特性を示す。図46において、ステップS401~ステップS408は、上述した図13のステップS201~ステップS208それぞれに対応する。
ステップS409において、演算部542は、基準情報記録部532が記録する基準情報と、記録部53が記録する複数の測距演算結果(例えば、第1の測距情報と、第2の測距情報)と、に基づき近似直線を演算する。
続いて、判定部543は、演算部542が演算した近似直線と基準情報記録部532が記録する基準情報との一致度が高い距離に対応する測距演算結果を用いて被写体距離を推定する(ステップS410)。図47に示すように、まず、判定部543は、演算部542によって演算された演算結果c2~演算結果c5に基づく光学系243の焦点位置の変化による測距演算結果を示す近似直線L11と、直線L3、直線L5および直線L10の一致度を判定し、このうち最も一致度が高い距離に対応する像ずれ特性を用いて被写体距離を推定する。図47に示す場合、判定部543は、直線L20の一致度が最も高いものとして直線L10を判定する。そして、判定部543は、直線L10の被写体距離が10mmのため、被写体距離を10mmと推定する。ステップS410の後、図12のメインルーチンへ戻る。
以上説明した実施の形態6によれば、判定部543は、演算部542が演算した近似直線と基準情報記録部532が記録する基準情報との一致度が高い距離に対応する測距演算結果を用いて被写体距離を推定するので、測距演算の精度を向上させることができる。
(その他の実施の形態)
上述した本開示の実施の形態1~6に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した本開示の実施の形態1~6に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
上述した本開示の実施の形態1~6に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した本開示の実施の形態1~6に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態1~6に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の実施の形態1~6に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の実施の形態1~6に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1,1A 内視鏡システム
2 内視鏡装置
3,3A 光源装置
4 表示装置
5,5A 制御装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27,28 コネクタ部
27a コイルケーブル
31,31A 光源部
32 光源ドライバ
33 照明制御部
51 画像処理部
52 入力部
53,53A 記録部
54 処理制御部
60 画素部
61,61E カラーフィルタ
62 マイクロレンズ
63 読み出し部
64 内視鏡記録部
65 撮像制御部
70 撮像画素
71,72 位相差画素
71L 右側開口画素
71R 左側開口画素
221 湾曲ノブ
222 処置具挿入部
223 スイッチ
241 ライトガイド
242 照明レンズ
243 光学系
243a フォーカスレンズ
244,244B,244C,244D,244E,244F,244G,244H 撮像部
245 駆動部
311 集光レンズ
312 第1の光源
313 第2の光源
314 第3の光源
315 第4の光源
316,316A 第5の光源
531 プログラム記録部
532,532A 基準情報記録部
541 取得部
542 演算部
543 判定部
544 駆動制御部
545 表示制御部
711,721,722,723,724 受光部
711L,711R 遮光部
2 内視鏡装置
3,3A 光源装置
4 表示装置
5,5A 制御装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27,28 コネクタ部
27a コイルケーブル
31,31A 光源部
32 光源ドライバ
33 照明制御部
51 画像処理部
52 入力部
53,53A 記録部
54 処理制御部
60 画素部
61,61E カラーフィルタ
62 マイクロレンズ
63 読み出し部
64 内視鏡記録部
65 撮像制御部
70 撮像画素
71,72 位相差画素
71L 右側開口画素
71R 左側開口画素
221 湾曲ノブ
222 処置具挿入部
223 スイッチ
241 ライトガイド
242 照明レンズ
243 光学系
243a フォーカスレンズ
244,244B,244C,244D,244E,244F,244G,244H 撮像部
245 駆動部
311 集光レンズ
312 第1の光源
313 第2の光源
314 第3の光源
315 第4の光源
316,316A 第5の光源
531 プログラム記録部
532,532A 基準情報記録部
541 取得部
542 演算部
543 判定部
544 駆動制御部
545 表示制御部
711,721,722,723,724 受光部
711L,711R 遮光部
Claims (17)
- 少なくとも一つ以上のハードウェアからなるプロセッサを有し、
前記プロセッサは、
被写体の被写体像を結像する光学系と、前記被写体からの距離と相関する測距情報を生成するための像信号を生成する位相差画素を有する撮像部と、を備える内視鏡装置において、前記光学系が第1の焦点位置となる状態で前記位相差画素が生成した第1の像信号と、前記光学系が第2の焦点位置となる状態で前記位相差画素が生成した第2の像信号とを取得し、
さらに、前記第1の像信号に基づき第1の測距情報を算出し、さらに、前記第2の像信号に基づき第2の測距情報を算出し、
さらに、前記被写体と前記撮像部との間の距離、前記光学系の焦点位置を示す情報および前記測距情報の対応関係を示す基準情報と、前記第1の測距情報と、前記第2の測距情報と、に基づき演算を行い、演算結果を出力する、
制御装置。 - 前記プロセッサは、
前記演算として、前記基準情報と、前記第1の測距情報と、前記第2の測距情報と、に基づき、前記第1の測距情報の信頼度を判定する演算を行う、
請求項1に記載の制御装置。 - 前記プロセッサは、
前記演算として、前記第1の測距情報と、前記第1の焦点位置を示す情報と、前記基準情報と、に基づき、前記第1の測距情報に対応する第1の被写体距離を推定し、
さらに、推定した前記第1の被写体距離と、前記第2の焦点位置を示す情報と、前記基準情報と、に基づき、前記第2の焦点位置に対応する測距情報を推定し、
さらに、推定した前記第2の焦点位置に対応する測距情報と、前記第2の測距情報と、に基づき前記第1の測距情報の信頼度を判定する演算を行う、
請求項2に記載の制御装置。 - 前記プロセッサは、
前記演算として、少なくとも、前記第1の測距情報と、前記第2の測距情報と、前記基準情報と、に基づき、前記被写体と前記撮像部との間の距離を推定する演算を行う、
請求項1に記載の制御装置。 - 前記プロセッサは、
さらに、前記光学系を光軸に沿って移動させて前記光学系の焦点位置を前記第1の焦点位置から前記第2の焦点位置へ変更する、
請求項1~4のいずれか一つに記載の制御装置。 - 前記プロセッサは、
さらに、前記被写体に照射する照明光を第1の波長帯域から第2の波長帯域に切り替えて前記光学系の焦点位置を前記第1の焦点位置から前記第2の焦点位置へ変更する、
請求項1~4のいずれか一つに記載の制御装置。 - 前記プロセッサは、
さらに、前記第1の波長帯域および前記第2の波長帯域として互いに異なる波長帯域の狭帯域光を発光可能な光源装置が発光する光を前記第1の波長帯域から前記第2の波長帯域へ切り替える制御を行う
請求項6に記載の制御装置。 - 前記光源装置は、
赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光を照射可能であり、
前記プロセッサは、
前記位相差画素が緑色の波長帯域の光を透過する緑色フィルタが積層された画素の位置に配置されている場合において、測距を指示する測距信号が入力されたとき、前記光源装置に前記緑色の波長帯域の光を照射させる、
請求項7に記載の制御装置。 - 前記光源装置は、
赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および橙色の波長帯域の光を照射可能であり、
前記プロセッサは、
前記位相差画素が赤色の波長帯域の光を透過する赤色フィルタが積層された画素、緑色の波長帯域の光を透過する緑色フィルタが積層された画素および青色の波長帯域の光を透過する青色フィルタが積層された画素のいずれかの位置に配置されている場合において、測距を指示する測距信号が入力されたとき、前記光源装置に前記青色の波長帯域の光と前記緑色の波長帯域の光とを同時に照射させる、または前記光源装置に前記緑色の波長帯域の光と前記橙色の波長帯域の光とを同時に照射させる、
請求項7に記載の制御装置。 - 前記光源装置は、
赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および紫色の波長帯域の光を照射可能であり、
前記プロセッサは、
前記位相差画素が緑色の波長帯域の光および青色の波長帯域の光を透過するシアンフィルタが積層された画素の位置に配置されている場合において、測距を指示する測距信号が入力されたとき、前記光源装置に前記青色の波長帯域の光および前記紫色の波長帯域の光の一方、および前記緑色の波長帯域の光を交互に照射させる、
請求項7に記載の制御装置。 - 前記プロセッサは、
測距を指示する測距信号が入力された場合、前記撮像部から前記像信号を出力させる、
請求項1に記載の制御装置。 - 前記プロセッサは、
前記像信号と、前記撮像部のうち前記位相差画素以外の画素から生成される画像信号とを交互に前記撮像部に出力させる、
請求項11に記載の制御装置。 - 前記位相差画素は、
光を受光する複数の受光部を有し、
前記撮像部は、
青色フィルタ、赤色フィルタおよび2つの緑色フィルタと、を用いて構成されるフィルタユニットを、複数の画素における所定の画素毎に対応させて配置してなるカラーフィルタを有し、かつ、
前記位相差画素が2次元マトリクス状に配置されてなり、
前記光源装置は、
赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および橙色の波長帯域の光を照射可能であり、
前記プロセッサは、
前記青色の波長帯域の光を前記光源装置に照射させた場合、前記青色のフィルタおよび前記緑色のフィルタが配置された前記撮像部の水平ラインからのみ前記像信号を前記撮像部に出力させる一方、前記赤色の波長帯域の光を前記光源装置に照射させた場合、前記赤色のフィルタおよび前記緑色のフィルタが配置された前記撮像部の水平ラインからのみ前記像信号を前記撮像部に出力させる、
請求項7に記載の制御装置。 - 前記プロセッサは、
垂直方向に位置する上下の前記位相差画素の前記像信号を加算させて前記撮像部に出力させる、または水平方向に位置する左右の前記位相差画素の前記像信号を加算させて前記撮像部に出力させる、
請求項12に記載の制御装置。 - 前記プロセッサは、
前記像信号から動きベクトルが閾値以上であるか否かを判定し、
前記位相差画素のうち前記動きベクトルが前記閾値以上である画素を除外して前記信頼度を判定する、
請求項2に記載の制御装置。 - 内視鏡装置と、
前記内視鏡装置が接続され、少なくとも一つ以上のハードウェアからなるプロセッサを有する制御装置と、
を備える内視鏡システムであって、
前記内視鏡装置は、
被写体の被写体像を結像する光学系と、前記被写体からの距離と相関する測距情報を生成するための像信号を生成する位相差画素を有する撮像部と、
を備え、
前記プロセッサは、
前記光学系が第1の焦点位置となる状態で前記位相差画素が生成した第1の像信号と、前記光学系が第2の焦点位置となる状態で前記位相差画素が生成した第2の像信号とを取得し、
さらに、前記第1の像信号に基づき第1の測距情報を算出し、さらに、前記第2の像信号に基づき第2の測距情報を算出し、
さらに、前記被写体と前記撮像部との間の距離、前記光学系の焦点位置を示す情報および前記測距情報の対応関係を示す基準情報と、前記第1の測距情報と、前記第2の測距情報と、に基づき演算を行い、演算結果を出力する、
内視鏡システム。 - 少なくとも一つ以上のハードウェアからなるプロセッサが実行する制御方法であって、
被写体の被写体像を結像する光学系と、前記被写体からの距離と相関する測距情報を生成するための像信号を生成する位相差画素を有する撮像部と、を備える内視鏡装置において、前記光学系が第1の焦点位置となる状態で前記位相差画素が生成した第1の像信号と、前記光学系が第2の焦点位置となる状態で前記位相差画素が生成した第2の像信号とを取得し、
さらに、前記第1の像信号に基づき第1の測距情報を算出し、さらに前記第2の像信号に基づき第2の測距情報を算出し、
さらに、前記被写体と前記撮像部との間の距離および前記光学系の焦点位置を示す情報および前記測距情報との対応関係を示す基準情報と、前記第1の測距情報と、前記第2の測距情報とに基づき演算を行い、演算結果を出力する、
制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/000353 WO2021140597A1 (ja) | 2020-01-08 | 2020-01-08 | 制御装置、内視鏡システム、および制御方法 |
US17/859,439 US12064092B2 (en) | 2020-01-08 | 2022-07-07 | Control device, endoscope system, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/000353 WO2021140597A1 (ja) | 2020-01-08 | 2020-01-08 | 制御装置、内視鏡システム、および制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/859,439 Continuation US12064092B2 (en) | 2020-01-08 | 2022-07-07 | Control device, endoscope system, and control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021140597A1 true WO2021140597A1 (ja) | 2021-07-15 |
Family
ID=76788165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/000353 WO2021140597A1 (ja) | 2020-01-08 | 2020-01-08 | 制御装置、内視鏡システム、および制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US12064092B2 (ja) |
WO (1) | WO2021140597A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006311505A (ja) * | 2005-03-29 | 2006-11-09 | Fuji Photo Film Co Ltd | 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 |
JP2014123070A (ja) * | 2012-12-21 | 2014-07-03 | Canon Inc | 撮像装置及びその制御方法 |
JP2018128542A (ja) * | 2017-02-08 | 2018-08-16 | 日本放送協会 | 合焦位置検出器及び撮像装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016142999A (ja) | 2015-02-04 | 2016-08-08 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6645682B2 (ja) * | 2015-03-17 | 2020-02-14 | キヤノン株式会社 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
JP6218991B2 (ja) * | 2015-11-13 | 2017-10-25 | オリンパス株式会社 | 内視鏡の状態推定装置の作動方法および内視鏡システム |
US10359618B2 (en) * | 2016-01-11 | 2019-07-23 | Nikon Corporation | Multispectral stereoscopic endoscope system and use of same |
US11004229B2 (en) * | 2017-09-28 | 2021-05-11 | Canon Kabushiki Kaisha | Image measurement device, image measurement method, imaging device |
-
2020
- 2020-01-08 WO PCT/JP2020/000353 patent/WO2021140597A1/ja active Application Filing
-
2022
- 2022-07-07 US US17/859,439 patent/US12064092B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006311505A (ja) * | 2005-03-29 | 2006-11-09 | Fuji Photo Film Co Ltd | 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 |
JP2014123070A (ja) * | 2012-12-21 | 2014-07-03 | Canon Inc | 撮像装置及びその制御方法 |
JP2018128542A (ja) * | 2017-02-08 | 2018-08-16 | 日本放送協会 | 合焦位置検出器及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220345608A1 (en) | 2022-10-27 |
US12064092B2 (en) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8643710B2 (en) | Image pickup apparatus | |
US10362930B2 (en) | Endoscope apparatus | |
US10867367B2 (en) | Image processing apparatus, image processing method, computer-readable recording medium, and endoscope apparatus | |
JP5925169B2 (ja) | 内視鏡システム及びその作動方法並びに内視鏡用光源装置 | |
JP6401800B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 | |
US20190246875A1 (en) | Endoscope system and endoscope | |
US20170251915A1 (en) | Endoscope apparatus | |
JP6008812B2 (ja) | 内視鏡システム及びその作動方法 | |
EP3085299A1 (en) | Endoscopic device | |
JP2022027501A (ja) | 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム | |
JP6137892B2 (ja) | 撮像システム | |
JP2019162371A (ja) | 医療用撮像装置及び内視鏡装置 | |
WO2021140597A1 (ja) | 制御装置、内視鏡システム、および制御方法 | |
JP6346501B2 (ja) | 内視鏡装置 | |
US11774772B2 (en) | Medical image processing device, medical observation system, and image processing method | |
US11399700B2 (en) | Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel | |
KR102167341B1 (ko) | 분할 이미징을 기반으로 다중 의료 이미지를 동기화시키는 내시경용 촬상 모듈 및 의료용 내시경 | |
JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
JP4448320B2 (ja) | 電子内視鏡装置 | |
WO2024166306A1 (ja) | 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置 | |
JP2019165855A (ja) | 内視鏡装置及び医療用撮像装置 | |
WO2022064659A1 (ja) | オートフォーカスシステム、内視鏡システムおよび制御方法 | |
US20220277432A1 (en) | Medical image processing device and medical observation system | |
WO2021161394A1 (ja) | 画像処理装置、撮像システム、画像処理方法およびプログラム | |
JP2021126153A (ja) | 医療用画像処理装置および医療用観察システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20911914 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20911914 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |