WO2020016922A1 - 撮像システム、処理装置および内視鏡 - Google Patents

撮像システム、処理装置および内視鏡 Download PDF

Info

Publication number
WO2020016922A1
WO2020016922A1 PCT/JP2018/026692 JP2018026692W WO2020016922A1 WO 2020016922 A1 WO2020016922 A1 WO 2020016922A1 JP 2018026692 W JP2018026692 W JP 2018026692W WO 2020016922 A1 WO2020016922 A1 WO 2020016922A1
Authority
WO
WIPO (PCT)
Prior art keywords
ipsf
image
unit
drive
image sensor
Prior art date
Application number
PCT/JP2018/026692
Other languages
English (en)
French (fr)
Inventor
圭悟 松尾
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020530755A priority Critical patent/JP7036923B2/ja
Priority to PCT/JP2018/026692 priority patent/WO2020016922A1/ja
Publication of WO2020016922A1 publication Critical patent/WO2020016922A1/ja
Priority to US17/150,568 priority patent/US11258941B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an imaging system, a processing device, and an endoscope.
  • the depth of field is one of the characteristics of the lens system in the imaging system, and refers to a range in which the front and rear of the in-focus portion appear as if in focus.
  • the depth of field is determined by (i) the aperture value (F value), (ii) the focal length of the lens, and (iii) the distance from the camera to the subject (photographing distance).
  • the aperture value of the lens the smaller the aperture value, the shallower the depth of field (the smaller the range that appears to be in focus), and the larger the aperture value, the deeper the depth of field ( The range that appears to be in focus is larger).
  • An image with a deep depth of field is also called a pan focus image.
  • Deeper depth of field is often preferred for observation with microscopes and endoscope images. Further, for example, when a person and a landscape are photographed by an imaging device, there is a need to focus on both of them.
  • Non-Patent Document 1 discloses a technique related to focal sweep imaging in which an image sensor is shifted along an optical axis during an exposure period. The image obtained by the focal sweep photographing is obtained by integrating the images at each position during the shift.
  • Non-Patent Document 1 the relationship between the amount of increase in the depth of field and the resolving power is fixed, and the resolving power cannot be adjusted according to the shooting distance. Conventionally, sufficient consideration has not been given to restoring an image captured by focal sweep using illumination.
  • an exemplary object of one embodiment of the present invention is to provide a technique for acquiring a suitable focal sweep image.
  • an imaging system includes an imaging optical system, an imaging element having a two-dimensional pixel array, a driving unit that drives at least one of a focus lens and an imaging element, An IPSF selector that selects an integrated point spread function to be used for image generation from the integrated point spread function, and an image generator that generates an image using the selected integrated point spread function.
  • the apparatus includes an IPSF selection unit that selects an integration point spread function to be used for image generation from a plurality of integration point spread functions, and an image generation unit that generates an image using the selected integration point spread function.
  • the endoscope includes an imaging optical system, an imaging device having a two-dimensional pixel array, and a driving unit that can drive at least one of a focus lens and an imaging device during an exposure period of the imaging device.
  • a technique for acquiring a suitable focal sweep image can be provided.
  • FIG. 4 is a diagram illustrating an example of a driving pattern of an image sensor. It is a figure showing an example of a depth of field.
  • FIG. 1 is a diagram illustrating a configuration of an imaging system according to an embodiment.
  • FIG. 3 is a diagram illustrating a driving pattern of the image sensor according to the first embodiment. It is a figure showing an example of a depth of field.
  • FIG. 9 is a diagram illustrating a driving pattern of an image sensor according to a second embodiment. It is a figure showing an example of a depth of field.
  • FIG. 1 is a diagram illustrating a configuration of an imaging system according to an embodiment.
  • FIG. 3 is a diagram illustrating a driving pattern of the image sensor according to the first embodiment. It is a figure showing an example of a depth of field.
  • FIG. 9 is a diagram illustrating a driving pattern of an image sensor according to a second embodiment. It is a figure showing an example of a depth of field.
  • FIG. 9 is a diagram illustrating a driving pattern of an image sensor according to a third embodiment. It is a figure showing an example of a depth of field.
  • FIG. 14 is a diagram illustrating a driving pattern of an image sensor according to a fourth embodiment. It is a figure showing an example of a depth of field.
  • PSF point spread function
  • FIG. 1 is a diagram for explaining focal sweep photography.
  • the focal sweep imaging system moves a focal sweep image on which multiple focal points are superimposed by moving at least one of the focus lens 10 and the image sensor 12 included in the imaging optical system along the optical axis (Z axis) during the exposure period.
  • FIG. 1 shows a state in which the image sensor 12 is moved in the optical axis direction to perform a focal sweep image capturing of an object point M which is a point light source.
  • the distance (photographing distance) from the lens system to the object point M is Zobj.
  • FIG. 2A shows an example of a PSF when the image sensor 12 is at the position z1
  • FIG. 2B shows a PSF when the image sensor 12 is at the position z2
  • FIG. PSF when the image sensor 12 is at the position z3.
  • the PSF is represented in one dimension for easy understanding, but is actually a two-dimensional function.
  • the object point M is in focus, and thus the PSF of FIG. 2B has a high peak intensity.
  • the image captured by the focal sweep shooting is restored using an integrated point spread function (hereinafter, also referred to as “IPSF”) obtained by integrating the PSF at each position to which the image sensor 12 has moved during the exposure period.
  • the restored image is an image in which the depth of field is enlarged.
  • FIG. 2D shows an example of an IPSF obtained by integrating a plurality of PSFs.
  • the IPSF is obtained by calculation or by actually performing a focal sweep image of a point light source.
  • IPIt is known that IPSF does not depend on the object position if the shooting conditions are the same.
  • the photographing conditions include a driving speed of at least one of the focus lens 10 and the image sensor 12.
  • the imaging system can obtain an image with an increased depth of field by using the IPSF by shooting the subject under the same shooting conditions as the shooting conditions at the time of acquiring the IPSF.
  • FIG. 3 shows a drive pattern DP1 of the image sensor 12.
  • the horizontal axis in FIG. 3 indicates time, and the vertical axis indicates the position of the image sensor 12.
  • the image sensor 12 is moved at a constant speed along the optical axis between a near point (near end) position and a far point (far end) position of the depth of field.
  • the near point position is the position of the image sensor 12 at which the near end subject at the enlarged depth of field is in focus
  • the far point position is the imaging position at which the far end object at the enlarged depth of field is in focus. This is the position of the element 12.
  • the focal sweep image is also taken by moving the focus lens 10 in the optical axis direction.
  • an “exposure” period for exposing the image sensor 12 to generate an image signal and a “read” period for reading an image signal from the image sensor 12 are shown.
  • an “exposure” period for exposing the image sensor 12 to generate an image signal and a “read” period for reading an image signal from the image sensor 12 are shown.
  • FIG. 4 shows the depth of field when the image pickup device 12 is driven by the driving pattern DP1 to restore the image.
  • the horizontal axis in FIG. 4 indicates the distance (imaging distance) from the imaging device to the object point, and the vertical axis indicates the resolving power.
  • the threshold value TH is the resolution at which a person determines that the subject is in focus, and the range of the shooting distance exceeding the threshold value TH is the depth of field (focusing range).
  • the resolving power characteristic F indicates the relationship between the resolving power and the shooting distance in normal focused imaging.
  • the resolving power characteristic ED1 indicates the relationship between resolving power and shooting distance in focal sweep shooting using the drive pattern DP1 shown in FIG. Comparing the resolving power characteristics F with the resolving power characteristics ED1, it is shown that the depth of field is expanded with a uniform resolving power by focal sweep shooting.
  • the enlargement of the depth of field is particularly suitable for an image for observation purpose.
  • an image with an increased depth of field can be provided to a doctor, and observation of an in-vivo image can be supported.
  • FIG. 5 shows the configuration of the imaging system 1 of the embodiment.
  • the imaging system 1 includes an endoscope 30, which is an imaging device, a processing device 60, and a display device 70.
  • the connecting portion 32 of the endoscope 30 is connected to the processing device 60.
  • the processing device 60 restores, using the IPSF, the in-vivo image captured by the endoscope 30 in a predetermined cycle using the IPSF and causes the display device 70 to display the restored image.
  • the doctor observes the in-vivo image displayed on the display device 70 and checks for the presence or absence of a lesion.
  • the endoscope 30 includes an imaging optical system including the focus lens 10, the imaging element 12, the readout circuit 14, the driving unit 16, and the illumination lens 18.
  • the focus lens 10 and the illumination lens 18 are provided at the tip of the endoscope 30.
  • the illumination lens 18 emits illumination light guided by an optical fiber from an illumination unit 44 provided in the processing device 60 into a patient.
  • the image sensor 12 is a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, or the like, and has a two-dimensional pixel array in which a plurality of pixels are arranged in a matrix.
  • the focus lens 10 forms an imaging optical system that forms an image of a subject on an imaging surface of the imaging element 12 together with another imaging lens (not shown).
  • the read circuit 14 reads an image signal from the image sensor 12 at a predetermined cycle.
  • the drive unit 16 has an actuator that can drive at least one of the focus lens 10 and the image sensor 12 during the exposure period of the image sensor 12. By driving at least one of the focus lens 10 and the image sensor 12 during the exposure period, focal sweep imaging by the endoscope 30 is realized.
  • the driving unit 16 drives the image sensor 12, but the drive unit 16 may drive the focus lens 10, or may drive both the focus lens 10 and the image sensor 12.
  • the driving unit 16 drives the imaging element 12 to realize focal sweep imaging. I do.
  • the processing device 60 includes an image generation unit 40, a drive pattern selection unit 42, an illumination unit 44, an illumination light selection unit 46, a selection operation reception unit 48, an IPSF selection unit 50, a drive pattern storage unit 52, and an IPSF storage unit 54.
  • the illumination unit 44 has a light source that emits light of at least one wavelength to illuminate a subject. In normal endoscopy, white light is used as illumination light, but in special endoscopy, light of a specific wavelength is used as illumination light.
  • the illumination light selection unit 46 selects the wavelength of the light emitted from the illumination unit 44 according to the observation mode of the endoscope inspection, and the illumination unit 44 emits the illumination light having the selected wavelength into the body.
  • the selection operation receiving unit 48 receives a selection operation by a doctor. During the examination, the doctor selects an observation mode by operating an operation unit such as a switch or a button provided on the endoscope 30 as necessary. The operation unit may be provided in the processing device 60, and the nurse may select the observation mode according to an instruction from a doctor.
  • the selection operation reception unit 48 supplies the observation light to the illumination light selection unit 46, and the illumination light selection unit 46 selects the wavelength of the light emitted from the illumination unit 44 according to the observation mode.
  • the doctor operates the operation unit provided on the endoscope 30 to select the depth of field expansion mode.
  • the selection operation reception unit 48 supplies the drive pattern selection unit 42.
  • the drive pattern storage unit 52 stores a plurality of drive patterns of the image sensor 12.
  • the drive pattern is a periodic waveform that defines the speed at which the image sensor 12 is driven along the optical axis within the movement range between the near point position and the far point position, according to the position in the movement range.
  • the cycle of the drive pattern may be an integral multiple of the field cycle including the exposure period and the readout period.
  • a driving pattern in which the imaging element 12 moves to the near point position and the far point position during the reading period of the imaging element 12 is employed, but the present invention is not limited to this.
  • Each of the plurality of drive patterns changes the drive speed at least once during the exposure period of the image sensor 12.
  • the IPSF storage unit 54 stores the IPSF corresponding to the driving pattern stored in the driving pattern storage unit 52.
  • the IPSF is obtained for each drive pattern by calculation or by actually performing point-and-shoot imaging of a point light source, and is stored in the IPSF storage unit 54.
  • the IPSF selection unit 50 selects an IPSF to be used for image generation from a plurality of IPSFs stored in the IPSF storage unit 54.
  • the image generation unit 40 generates an image with an enlarged depth of field using the IPSF selected by the IPSF selection unit 50.
  • the drive speed of the image sensor 12 during the exposure period is changed according to the drive pattern, and the amount of image information acquired at each position in the movement section of the image sensor 12 is biased, so that a specific Improves the resolving power of the subject at the shooting distance. Specifically, by reducing the driving speed at the position corresponding to the shooting distance at which the resolution is desired to be increased, the amount of image information acquired by the image sensor 12 is increased, and the resolution of the subject at the shooting distance is increased.
  • FIG. 6 illustrates a drive pattern DP2 of the image sensor 12 according to the first embodiment.
  • the horizontal axis indicates time
  • the vertical axis indicates the position of the image sensor 12.
  • the drive pattern DP2 slows down the drive speed of the image sensor 12 at positions near and far from the depth of field, and at a position near the center of the depth of field. Is set fast. Therefore, during the exposure period, the imaging element 12 moves slowly at the near point side and the far point side as compared with the center position, and acquires more image information at the near point side and the far point side.
  • the drive pattern DP2 may include the same speed change pattern on the near point side and the far point side.
  • the drive pattern DP2 may be typically represented by a sinusoidal waveform, but may be represented by another waveform. Since the driving unit 16 switches the driving direction of the imaging element 12 between the near point and the far point, the driving pattern DP2 having the slow driving speed at the near point and the far point has an advantage that the driving load at the time of switching can be reduced.
  • the doctor When the doctor wants to observe the images near both ends of the depth of field in detail, he operates the operation unit of the endoscope 30 and selects the depth of field expansion mode using the drive pattern DP2.
  • the selection operation receiving unit 48 supplies selection operation information to the drive pattern selection unit 42.
  • the drive pattern selection unit 42 selects a drive pattern DP2 from a plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP2 to the drive unit 16.
  • the drive unit 16 drives the image sensor 12 with the drive pattern DP2.
  • the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP2 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
  • the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
  • FIG. 7 shows the depth of field when the image pickup device 12 is driven by the driving pattern DP2 to restore the image.
  • the horizontal axis in FIG. 7 indicates the shooting distance, and the vertical axis indicates the resolving power.
  • the resolving power characteristic ED2 indicates the relationship between resolving power and shooting distance in focal sweep shooting using the drive pattern DP2 shown in FIG. Compared with the resolution characteristic ED1 based on the driving pattern DP1, the resolution characteristic ED2 shows that the resolution is improved at the near and far points on the depth of field.
  • the resolution near the both ends of the depth of field can be improved by using the drive pattern DP2 that lowers the drive speed on the near point side and the far point side of the depth of field.
  • the cost of increasing the near-point and far-point resolution is reduced by the central resolution.
  • the doctor selects the depth-of-field expansion mode using the drive pattern DP2 when wishing to simultaneously observe both the near part and the far part in the digestive tract in detail.
  • FIG. 8 illustrates a drive pattern DP3 of the image sensor 12 according to the second embodiment.
  • the horizontal axis indicates time
  • the vertical axis indicates the position of the image sensor 12.
  • the drive pattern DP3 increases the drive speed of the image sensor 12 at positions near and far from the depth of field, and at a position near the center of the depth of field. Is set late. Therefore, during the exposure period, the imaging element 12 moves slowly near the center position and acquires more image information near the center position than at the near point side and the far point side.
  • the drive pattern DP3 may include a pattern of the same speed change on the near point side and the far point side.
  • the drive pattern selection unit 42 selects the drive pattern DP3 from the plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP3 to the drive unit 16.
  • the drive unit 16 drives the image sensor 12 with the drive pattern DP3.
  • the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP3 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
  • the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
  • FIG. 9 shows the depth of field when the image sensor 12 is driven by the driving pattern DP3 to restore the image.
  • the horizontal axis in FIG. 9 indicates the shooting distance, and the vertical axis indicates the resolving power.
  • the resolving power characteristic ED3 indicates the relationship between the resolving power and the shooting distance in focal sweep shooting using the drive pattern DP3 shown in FIG. Compared with the resolution characteristic ED1 based on the driving pattern DP1, the resolution characteristic ED3 shows that the resolution is improved at a position on the center side of the depth of field.
  • the resolution near the center of the depth of field can be improved by using the drive pattern DP3 that lowers the drive speed at the center of the depth of field.
  • the resolution at both ends is reduced.
  • the doctor selects the depth-of-field expansion mode using the drive pattern DP3 when he / she wants to observe a part near the center of the depth of field in the digestive tract in detail.
  • FIG. 10 illustrates a drive pattern DP4 of the image sensor 12 according to the third embodiment.
  • the horizontal axis in FIG. 10 indicates time, and the vertical axis indicates the position of the image sensor 12.
  • the drive pattern DP4 sets the drive speed of the image sensor 12 faster at a position farther from the depth of field and slower at a position closer to the depth of field. are doing. Therefore, during the exposure period, the imaging element 12 moves slowly at the near point side as compared with the far point side, and acquires more image information at the near point side.
  • the drive pattern DP4 may be represented by a curve instead of a polygonal line.
  • the drive pattern selection unit 42 selects the drive pattern DP4 from the plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP4 to the drive unit 16.
  • the drive unit 16 drives the image sensor 12 with the drive pattern DP4.
  • the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP4 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
  • the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
  • FIG. 11 shows the depth of field when the image pickup device 12 is driven by the driving pattern DP4 to restore the image.
  • the horizontal axis in FIG. 11 indicates the shooting distance, and the vertical axis indicates the resolving power.
  • the resolving power characteristic ED4 indicates the relationship between the resolving power and the photographing distance in focal sweep photographing using the drive pattern DP4 shown in FIG. Compared with the resolution characteristic ED1 based on the drive pattern DP1, the resolution characteristic ED4 shows that the resolution is improved at a position near the depth of field at the near point.
  • the resolution at the near point side of the depth of field can be improved by using the drive pattern DP4 that lowers the drive speed on the near point side of the depth of field.
  • the far-point resolution is reduced.
  • the doctor selects the depth-of-field expansion mode using the drive pattern DP4 when wishing to observe in detail the part near the depth of field in the digestive tract.
  • FIG. 12 illustrates a drive pattern DP5 of the image sensor 12 according to the fourth embodiment. 12, the horizontal axis indicates time, and the vertical axis indicates the position of the image sensor 12.
  • the drive pattern DP5 sets the drive speed of the image sensor 12 faster at a position closer to the depth of field and slower at a position farther from the depth of field. are doing. For this reason, during the exposure period, the imaging element 12 moves slowly at the far-point side position compared to the near-point side position, and acquires more image information at the far-point side.
  • the drive pattern DP5 may be represented by a curve instead of a polygonal line.
  • the drive pattern selection unit 42 selects the drive pattern DP5 from the plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP5 to the drive unit 16.
  • the drive unit 16 drives the image sensor 12 with the drive pattern DP5.
  • the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP5 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
  • the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
  • FIG. 13 shows the depth of field when the image sensor 12 is driven by the driving pattern DP5 to restore the image.
  • the horizontal axis in FIG. 13 indicates the shooting distance, and the vertical axis indicates the resolving power.
  • the resolution characteristic ED5 indicates the relationship between the resolution and the shooting distance in focal sweep shooting using the drive pattern DP5 shown in FIG. Compared with the resolution characteristic ED1 based on the driving pattern DP1, the resolution characteristic ED5 shows that the resolution is improved at a position farther from the depth of field.
  • the resolution at the far point side of the depth of field can be improved.
  • the resolving power on the near point side decreases.
  • the doctor selects the depth-of-field expansion mode using the drive pattern DP5 when wishing to observe in detail the region on the far point side of the depth of field in the digestive tract.
  • the IPSF selection unit 50 selects the IPSF corresponding to the drive pattern selected by the drive pattern selection unit 42, and the image generation unit 40 generates a restored image using the selected IPSF.
  • the image generation unit 40 generates a restored image in which the depth of field is enlarged for each color filter by using the IPSF taking into account the characteristics of the color filters in the image sensor 12.
  • the selection operation receiving unit 48 receives the selection operation of the observation mode and supplies the observation mode selection operation to the illumination light selection unit 46.
  • the illumination light selection unit 46 selects the wavelength of light emitted from the illumination unit 44 according to the observation mode.
  • the IPSF storage unit 54 stores the IPSF corresponding to the wavelength of the light emitted from the illumination unit 44 for each color filter of the image sensor 12.
  • the IPSF is obtained for each color filter by calculation for each irradiation light emitted from the illumination unit 44 or by actually performing a sweep sweep photographing of a point light source, and is stored in the IPSF storage unit 54.
  • IPSF when white light having red, green and blue wavelengths is emitted, and ISPF when special light having green and blue wavelengths are emitted, Each is acquired for each color filter and stored in the IPSF storage unit 54. If there is special light used in another observation mode, the IPSF corresponding to the wavelength of the special light is also stored in the IPSF storage unit 54.
  • the IPSF selector 50 selects an IPSF corresponding to the wavelength of light emitted from the illumination unit 44 for each color filter from the plurality of IPSFs stored in the IPSF storage unit 54.
  • the image generation unit 40 generates an image with an enlarged depth of field using the IPSF selected by the IPSF selection unit 50.
  • the illumination unit 44 illuminates the subject by emitting light of two or more wavelengths.
  • the IPSF selection unit 50 selects an IPSF corresponding to two or more wavelengths of the light emitted from the illumination unit 44.
  • the fifth embodiment by preparing the IPSF corresponding to the wavelength of the illumination light from the illumination unit 44, it is possible to generate an image in which the depth of field is appropriately enlarged according to the observation mode of the endoscope inspection. It becomes possible.
  • the drive unit 16 drives the image sensor 12 in order to realize focal sweep shooting.
  • the focus lens 10 may be driven, or both the focus lens 10 and the image sensor 12 may be driven. It may be driven.
  • the endoscope 30 is described as an example of the imaging device.
  • the imaging device is not limited to the endoscope 30 and may be a microscope.
  • the imaging device may be a digital camera or a digital video camera, or may be an electronic device having an imaging function, such as a smartphone, a tablet terminal, or a laptop computer. Note that the imaging optical system of the imaging device need not include the focus lens 10.
  • the present invention can be used in the technical field of focal sweep photography.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮像システム１は、撮像光学系と、２次元画素アレイを有する撮像素子１２と、フォーカスレンズ１０および撮像素子１２の少なくとも一方を駆動する駆動部１６と、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、画像生成に使用するＩＰＳＦを選択するＩＰＳＦ選択部５０と、選択したＩＰＳＦを用いて画像を生成する画像生成部４０とを備える。

Description

撮像システム、処理装置および内視鏡
　本発明は、撮像システム、処理装置および内視鏡に関する。
　被写界深度は、撮像システムにおけるレンズ系の特性のひとつであり、合焦部分の前後のピントが合っているかのように見える範囲をいう。被写界深度は、（i）絞り値（Ｆ値）、（ii）レンズの焦点距離、（iii）カメラから被写体までの距離（撮影距離）で定まる。レンズの絞り値に関して言えば、絞り値が小さくなるほど、被写界深度は浅くなり（ピントが合っているように見える範囲が小さくなり）、絞り値が大きくなるほど、被写界深度は深くなる（ピントが合っているように見える範囲が大きくなる）。被写界深度の深い画像は、パンフォーカス画像とも呼ばれる。
　顕微鏡や内視鏡の画像では、観察のために深い被写界深度が好まれることが多い。また、たとえば人物と風景を撮像装置で撮影する際に、それらの両方にピントを合わせたいといったニーズもある。
　撮像システムにおいて、被写界深度を拡大する技術がいくつか提案されている。非特許文献１は、露光期間中に撮像素子を光軸に沿ってシフトするフォーカルスイープ撮影に関する技術を開示する。フォーカルスイープ撮影により得られる画像は、シフト中の各位置での像を積算したものとなる。
Sujit Kuthirummal, Hajime Nagahara, Changyin Zhou, and Shree K. Nayar, ""Flexible Depth of Field Photography", IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.33, No.1, pp.58 - 71, 2011.01
　非特許文献１に開示される技術によると、被写界深度の拡大量と解像力の関係は固定され、撮影距離に応じて解像力を調整することはできない。また従来は、照明を利用してフォーカルスイープ撮影した画像の復元について十分な検討がされていない。
　本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、好適なフォーカルスイープ画像を取得するための技術を提供することにある。
　上記課題を解決するために、本発明のある態様の撮像システムは、撮像光学系と、２次元画素アレイを有する撮像素子と、フォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動部と、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。
　本発明の別の態様は、処理装置である。この装置は、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。
　本発明のさらに別の態様は、内視鏡である。この内視鏡は、撮像光学系と、２次元画素アレイを有する撮像素子と、撮像素子の露光期間中に、フォーカスレンズおよび撮像素子の少なくとも一方を駆動可能な駆動部とを備える。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
　本発明のある態様によれば、好適なフォーカルスイープ画像を取得するための技術を提供できる。
フォーカルスイープ撮影を説明するための図である。 （ａ）～（ｃ）はＰＳＦの例を示し、（ｄ）はＩＳＰＦの例を示す図である。 撮像素子の駆動パターンの例を示す図である。 被写界深度の例を示す図である。 実施形態の撮像システムの構成を示す図である。 実施例１における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。 実施例２における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。 実施例３における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。 実施例４における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。
　はじめに、実施形態の前提となる技術を説明する。
　点広がり関数（Point Spread Function、以下「ＰＳＦ」とも呼ぶ）を利用して、ぼけた画像にデコンボリューションによる逆フィルタをかけ、画像を復元する技術が知られている。ＰＳＦは光学系の点光源に対する応答を表す関数であり、撮像装置の光学系に応じて決定される。
　図１は、フォーカルスイープ撮影を説明するための図である。フォーカルスイープ撮像システムは、露光期間中に、撮像光学系に含まれるフォーカスレンズ１０および撮像素子１２の少なくとも一方を光軸（Ｚ軸）に沿って動かすことで、多重焦点を重畳したフォーカルスイープ画像を撮影する。図１は、撮像素子１２を光軸方向に動かして、点光源である物点Ｍをフォーカルスイープ撮影する様子を示す。レンズ系から物点Ｍまでの距離（撮影距離）はＺobjであり、撮像素子１２がＺ軸上の位置ｚ２にあるとき、物点Ｍがフォーカスレンズ１０を通過して、撮像素子１２の撮像面で結像している。
　図２（ａ）は、撮像素子１２が位置ｚ１にあるときのＰＳＦの例を示し、図２（ｂ）は、撮像素子１２が位置ｚ２にあるときのＰＳＦを示し、図２（ｃ）は、撮像素子１２が位置ｚ３にあるときのＰＳＦを示す。図２（ａ）～（ｃ）では理解の容易のため、ＰＳＦを１次元で表現しているが、実際には２次元の関数となる。図１の例では、撮像素子１２が位置ｚ２にあるとき、物点Ｍにピントが合っているため、図２（ｂ）のＰＳＦは高いピーク強度をもつ。
　フォーカルスイープ撮影された画像は、露光期間中に撮像素子１２が移動した各位置におけるＰＳＦを積算した積算点広がり関数（Integrated Point Spread Function、以下「ＩＰＳＦ」とも呼ぶ）を利用して復元される。復元画像は、被写界深度を拡大された画像となる。図２（ｄ）は、複数のＰＳＦを積算したＩＰＳＦの一例を示す。ＩＰＳＦは計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得される。
　撮影条件が同一であれば、ＩＰＳＦは、物点位置に依存しないことが知られている。撮影条件は、フォーカスレンズ１０および撮像素子１２の少なくとも一方の駆動速度を含む。撮像システムは、ＩＰＳＦ取得時の撮影条件と同じ撮影条件で被写体を撮影することで、当該ＩＰＳＦを用いて被写界深度を拡大した画像を得ることができる。
　図３は、撮像素子１２の駆動パターンＤＰ１を示す。図３の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。駆動パターンＤＰ１によると、撮像素子１２は、被写界深度の近点（近端）位置と遠点（遠端）位置との間で光軸に沿って等速で動かされる。ここで近点位置は、拡大した被写界深度の近端の被写体が合焦する撮像素子１２の位置を、遠点位置は、拡大した被写界深度の遠端の被写体が合焦する撮像素子１２の位置である。なお上記したように、フォーカスレンズ１０を光軸方向に動かすことでも、フォーカルスイープ画像は撮影される。
　時間軸上に、撮像素子１２を露光して画像信号を生成する「露光」期間と、撮像素子１２から画像信号を読み出す「読出」期間とを示す。撮像素子１２が連続的に等速で動かされることで、撮像素子１２の移動区間の各位置における画像情報量は一様に積算される。
　図４は、駆動パターンＤＰ１で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図４の横軸は、撮像装置から物点までの距離（撮影距離）を示し、縦軸は、解像力を示す。閾値ＴＨは、ピントが合っていると人が判断する解像力であり、閾値ＴＨを超えている撮影距離の範囲が被写界深度（合焦範囲）である。
　解像力特性Ｆは、通常のピントを合わせた撮影における解像力と撮影距離との関係を示す。解像力特性ＥＤ１は、図３に示す駆動パターンＤＰ１を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。解像力特性Ｆと解像力特性ＥＤ１を比較すると、フォーカルスイープ撮影により、一様の解像力で被写界深度が拡大することが示される。
　被写界深度の拡大は、特に観察目的の画像に好適である。たとえば内視鏡にフォーカルスイープ撮影機能をもたせることで、被写界深度が拡大した画像を医師に提供し、体内画像の観察を支援できる。
　内視鏡検査における観察対象は、患者の消化管内部である。そのため内視鏡検査では、検査の種類や目的に応じて、特定の撮影距離にある部位をより詳細に観察したいというニーズが存在する。そこで、特定の撮影距離の解像力を他の撮影距離の解像力よりも高めた体内画像の提供が望まれている。
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。また本明細書において参照するグラフの縦軸および横軸は、理解を容易とするために適宜拡大、縮小したものであり、また示されるグラフ、波形も、理解の容易のために簡略化され、あるいは誇張もしくは強調されている。
　図５は、実施形態の撮像システム１の構成を示す。撮像システム１は、撮像装置である内視鏡３０、処理装置６０および表示装置７０を備える。内視鏡検査の開始前、内視鏡３０の連結部３２が、処理装置６０に連結される。検査中、内視鏡３０は患者の体内に挿入され、処理装置６０は、内視鏡３０により所定の周期でフォーカルスイープ撮影された体内画像をＩＰＳＦを用いて復元し、表示装置７０に表示させる。医師は、表示装置７０に表示された体内画像を観察し、病変の有無を調べる。
　内視鏡３０は、フォーカスレンズ１０を含む撮像光学系、撮像素子１２、読出回路１４、駆動部１６および照明レンズ１８を備える。フォーカスレンズ１０および照明レンズ１８は、内視鏡３０の先端に設けられる。照明レンズ１８は、処理装置６０に設けられた照明部４４から光ファイバで導光される照明光を患者体内に出射する。
　撮像素子１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、マトリクス状に複数の画素を配置した２次元画素アレイを有する。フォーカスレンズ１０は、他の撮影レンズ（図示せず）とともに、被写体の像を撮像素子１２の撮像面に結像する撮像光学系を構成する。読出回路１４は、所定の周期で撮像素子１２から画像信号を読み出す。
　駆動部１６は、撮像素子１２の露光期間中に、フォーカスレンズ１０および撮像素子１２の少なくとも一方を駆動可能なアクチュエータを有する。露光期間中に、フォーカスレンズ１０および撮像素子１２の少なくとも一方を駆動することで、内視鏡３０におけるフォーカルスイープ撮影が実現される。実施形態では、駆動部１６が撮像素子１２を駆動するが、フォーカスレンズ１０を駆動してもよく、またフォーカスレンズ１０および撮像素子１２の双方を駆動してもよい。なお実施形態では、内視鏡３０の撮像光学系がフォーカスレンズ１０を含むが、撮像光学系がフォーカスレンズ１０を含まない場合、駆動部１６は撮像素子１２を駆動して、フォーカルスイープ撮影を実現する。
　処理装置６０は、画像生成部４０、駆動パターン選択部４２、照明部４４、照明光選択部４６、選択操作受付部４８、ＩＰＳＦ選択部５０、駆動パターン記憶部５２およびＩＰＳＦ記憶部５４を備える。照明部４４は、少なくとも１つの波長の光を出射して被写体を照明する光源を有する。通常の内視鏡検査では、照明光として白色光が用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。照明光選択部４６は、内視鏡検査の観察モードに応じて、照明部４４から出射する光の波長を選択し、照明部４４は、選択された波長の照明光を体内に出射する。
　選択操作受付部４８は、医師による選択操作を受け付ける。検査中、医師は、必要に応じて内視鏡３０に設けられたスイッチやボタンなどの操作部を操作して、観察モードを選択する。なお操作部は処理装置６０に設けられて、看護師が医師からの指示にしたがって観察モードを選択してもよい。選択操作受付部４８は、観察モードの選択操作を受け付けると、照明光選択部４６に供給し、照明光選択部４６は、観察モードに応じて照明部４４から出射する光の波長を選択する。
　また検査中、医師は、内視鏡３０に設けられた操作部を操作して、被写界深度拡大モードを選択する。選択操作受付部４８は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部４２に供給する。
　駆動パターン記憶部５２は、撮像素子１２の複数の駆動パターンを記憶する。駆動パターンは、近点位置と遠点位置との間の移動範囲内で撮像素子１２を光軸に沿って駆動する速度を、移動範囲における位置に応じて定義した周期波形である。駆動パターンの周期は、露光期間および読出期間を含むフィールド周期の整数倍であってよい。実施形態では、撮像素子１２の読出期間中に、撮像素子１２が近点位置および遠点位置に移動する駆動パターンを採用するが、これに限るものではない。複数の駆動パターンのそれぞれは、撮像素子１２の露光期間中に、少なくとも１回は駆動速度を変化させる。
　ＩＰＳＦ記憶部５４は、駆動パターン記憶部５２に記憶された駆動パターンに対応するＩＰＳＦを記憶する。ＩＰＳＦは駆動パターンごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得され、ＩＰＳＦ記憶部５４に記憶される。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、画像生成に使用するＩＰＳＦを選択する。画像生成部４０は、ＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、被写界深度を拡大した画像を生成する。
　実施形態の撮像システム１では、駆動パターンにより露光期間中の撮像素子１２の駆動速度を変化させ、撮像素子１２の移動区間の各位置で取得する画像情報量に偏りを生じさせることで、特定の撮影距離にある被写体の解像力を高める。具体的には、解像力を高めたい撮影距離に対応する位置における駆動速度を遅くすることで、撮像素子１２が取得する画像情報量を多くし、当該撮影距離にある被写体の解像力を高める。
＜実施例１＞
　図６は、実施例１における撮像素子１２の駆動パターンＤＰ２を示す。図６の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ２は、撮像素子１２の駆動速度を、被写界深度の近点側および遠点側の位置で遅く、被写界深度の中央付近の位置で速く設定している。このため撮像素子１２は露光期間中、中央位置と比べて、近点側および遠点側の位置でゆっくり移動し、近点側および遠点側でより多くの画像情報を取得する。駆動パターンＤＰ２は、近点側と遠点側で同じ速度変化のパターンを含んでよい。駆動パターンＤＰ２は、典型的には正弦波形で表現されてよいが、別の波形で表現されてもよい。駆動部１６は、近点および遠点で撮像素子１２の駆動方向を切り替えるため、近点および遠点での駆動速度が遅い駆動パターンＤＰ２によると、切り替え時の駆動負荷を低減できる利点がある。
　医師は、被写界深度の両端近傍の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ２を用いる被写界深度拡大モードを選択する。選択操作受付部４８は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部４２に選択操作情報を供給する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ２を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ２で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ２に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。
　図７は、駆動パターンＤＰ２で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図７の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ２は、図６に示す駆動パターンＤＰ２を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ２では、被写界深度の近点側および遠点側の位置で、解像力が向上している様子が示される。
　実施例１では、被写界深度の近点側および遠点側の駆動速度を遅くする駆動パターンＤＰ２を用いることで、被写界深度の両端付近の解像力を向上できる。なお近点側および遠点側の解像力を上げた代償として、中央側の解像力は下がっている。医師は、消化管内の近い部位と遠い部位の両方を同時に詳細に観察したい場合に、駆動パターンＤＰ２を用いる被写界深度拡大モードを選択する。
＜実施例２＞
　図８は、実施例２における撮像素子１２の駆動パターンＤＰ３を示す。図８の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ３は、撮像素子１２の駆動速度を、被写界深度の近点側および遠点側の位置で速く、被写界深度の中央付近の位置で遅く設定している。このため撮像素子１２は露光期間中、近点側および遠点側の位置と比べて、中央位置付近でゆっくり移動し、中央位置付近でより多くの画像情報を取得する。駆動パターンＤＰ３は、近点側と遠点側で同じ速度変化のパターンを含んでよい。
　医師は、被写界深度の中央近傍の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ３を用いる被写界深度拡大モードを選択する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ３を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ３で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ３に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。
　図９は、駆動パターンＤＰ３で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図９の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ３は、図８に示す駆動パターンＤＰ３を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ３では、被写界深度の中央側の位置で、解像力が向上している様子が示される。
　実施例２では、被写界深度の中央の駆動速度を遅くする駆動パターンＤＰ３を用いることで、被写界深度の中央付近の解像力を向上できる。なお中央付近の解像力を上げた代償として、両端側の解像力は下がっている。医師は、消化管内の被写界深度中央付近の部位を詳細に観察したい場合に、駆動パターンＤＰ３を用いる被写界深度拡大モードを選択する。
＜実施例３＞
　図１０は、実施例３における撮像素子１２の駆動パターンＤＰ４を示す。図１０の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ４は、撮像素子１２の駆動速度を、被写界深度の遠点側の位置で速く、被写界深度の近点側の位置で遅く設定している。このため撮像素子１２は露光期間中、遠点側の位置と比べて、近点側の位置でゆっくり移動し、近点側でより多くの画像情報を取得する。駆動パターンＤＰ４は、折れ線ではなく、曲線で表現されてもよい。
　医師は、被写界深度の近点側の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ４を用いる被写界深度拡大モードを選択する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ４を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ４で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ４に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。
　図１１は、駆動パターンＤＰ４で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図１１の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ４は、図１０に示す駆動パターンＤＰ４を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ４では、被写界深度の近点側の位置で、解像力が向上している様子が示される。
　実施例３では、被写界深度の近点側の駆動速度を遅くする駆動パターンＤＰ４を用いることで、被写界深度の近点側の解像力を向上できる。なお近点側の解像力を上げた代償として、遠点側の解像力は下がっている。医師は、消化管内の被写界深度の近点側の部位を詳細に観察したい場合に、駆動パターンＤＰ４を用いる被写界深度拡大モードを選択する。
＜実施例４＞
　図１２は、実施例４における撮像素子１２の駆動パターンＤＰ５を示す。図１２の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ５は、撮像素子１２の駆動速度を、被写界深度の近点側の位置で速く、被写界深度の遠点側の位置で遅く設定している。このため撮像素子１２は露光期間中、近点側の位置と比べて、遠点側の位置でゆっくり移動し、遠点側でより多くの画像情報を取得する。駆動パターンＤＰ５は、折れ線ではなく、曲線で表現されてもよい。
　医師は、被写界深度の遠点側の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ５を用いる被写界深度拡大モードを選択する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ５を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ５で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ５に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。
　図１３は、駆動パターンＤＰ５で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図１３の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ５は、図１２に示す駆動パターンＤＰ５を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ５では、被写界深度の遠点側の位置で、解像力が向上している様子が示される。
　実施例４では、被写界深度の遠点側の駆動速度を遅くする駆動パターンＤＰ５を用いることで、被写界深度の遠点側の解像力を向上できる。なお遠点側の解像力を上げた代償として、近点側の解像力は下がっている。医師は、消化管内の被写界深度の遠点側の部位を詳細に観察したい場合に、駆動パターンＤＰ５を用いる被写界深度拡大モードを選択する。
＜実施例５＞
　実施例１～４では、ＩＰＳＦ選択部５０が、駆動パターン選択部４２により選択された駆動パターンに対応するＩＰＳＦを選択し、画像生成部４０が、選択されたＩＰＳＦを用いて復元画像を生成した。実施例５では、画像生成部４０が、撮像素子１２におけるカラーフィルタの特性を加味したＩＰＳＦを用いて、カラーフィルタごとに被写界深度を拡大した復元画像を生成する。
　上記したように、通常の内視鏡検査では、白色光が照明光として用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。たとえばＮＧＩ（Narrow Band Imaging：狭帯域光観察）では、粘膜内の血管などをより鮮明に観察しやすくするために、血液中のヘモグロビンが吸収しやすい特殊な照明光（緑色の波長と青色の波長）が用いられる。検査中、医師が、内視鏡３０に設けられた操作部を操作して観察モードを選択すると、選択操作受付部４８は、観察モードの選択操作を受け付け、照明光選択部４６に供給する。照明光選択部４６は、観察モードに応じて照明部４４から出射する光の波長を選択する。
　ＩＰＳＦ記憶部５４は、照明部４４から出射される光の波長に対応するＩＰＳＦを、撮像素子１２のカラーフィルタごとに記憶する。ＩＰＳＦは、照明部４４から出射される照射光ごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって、カラーフィルタごとに取得され、ＩＰＳＦ記憶部５４に記憶される。白色光、特殊光の例でいえば、赤色、緑色、青色の波長をもつ白色光が出射されるときのＩＰＳＦと、緑色、青色の波長をもつ特殊光が出射されるときのＩＳＰＦとが、それぞれカラーフィルタごとに取得され、ＩＰＳＦ記憶部５４に記憶される。さらに別の観察モードにおいて使用される特殊光があれば、その特殊光の波長に対応するＩＰＳＦも、ＩＰＳＦ記憶部５４に記憶される。
　ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、照明部４４から出射される光の波長に対応するＩＰＳＦを、カラーフィルタごとに選択する。画像生成部４０は、ＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、被写界深度を拡大した画像を生成する。
　内視鏡検査において、照明部４４は、２つ以上の波長の光を出射して被写体を照明する。ＩＰＳＦ選択部５０は、照明部４４から出射された光の２つ以上の波長に対応するＩＰＳＦを選択する。実施例５では、照明部４４からの照明光の波長に対応したＩＰＳＦを用意することで、内視鏡検査の観察モードに応じて、被写界深度を好適に拡大した画像を生成することが可能となる。
　以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　実施形態では、フォーカルスイープ撮影を実現するために、駆動部１６が撮像素子１２を駆動することを説明したが、フォーカスレンズ１０を駆動してもよく、またフォーカスレンズ１０および撮像素子１２の双方を駆動してもよい。
　また実施形態では、内視鏡３０を撮像装置の例として示したが、撮像装置は、内視鏡３０に限定されず、顕微鏡であってもよい。また撮像装置は、デジタルカメラやデジタルビデオカメラであってもよく、スマートフォンやタブレット端末、ラップトップコンピュータなど、撮像機能を備える電子機器であってもよい。なお撮像装置の撮像光学系は、フォーカスレンズ１０を有しなくてもよい。
１・・・撮像システム、１０・・・フォーカスレンズ、１２・・・撮像素子、１６・・・駆動部、３０・・・内視鏡、４０・・・画像生成部、４２・・・駆動パターン選択部、４４・・・照明部、４６・・・照明光選択部、５０・・・ＩＰＳＦ選択部、６０・・・処理装置。
　本発明は、フォーカルスイープ撮影の技術分野に利用できる。

Claims (13)

  1. 　撮像光学系と、
    　２次元画素アレイを有する撮像素子と、
    　前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動する駆動部と、
    　複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、
    　選択した積算点広がり関数を用いて画像を生成する画像生成部と、
    　を備えることを特徴とする撮像システム。
  2. 　前記撮像素子の露光期間中の前記駆動部による駆動パターンを、複数の駆動パターンの中から選択する駆動パターン選択部をさらに備え、
    　前記ＩＰＳＦ選択部は、選択された駆動パターンに対応する積算点広がり関数を選択する、
    　ことを特徴とする請求項１に記載の撮像システム。
  3. 　選択された駆動パターンは、前記撮像素子の露光期間中に、駆動速度を変化させる、
    　ことを特徴とする請求項２に記載の撮像システム。
  4. 　少なくとも１つの波長の光を出射して被写体を照明する照明部をさらに備え、
    　前記ＩＰＳＦ選択部は、前記照明部から出射される光の波長に対応する積算点広がり関数を選択する、
    　ことを特徴とする請求項１に記載の撮像システム。
  5. 　前記照明部から出射する光の波長を選択する照明光選択部をさらに備え、
    　前記ＩＰＳＦ選択部は、選択された光の波長に対応する積算点広がり関数を選択する、
    　ことを特徴とする請求項４に記載の撮像システム。
  6. 　前記照明部は、２つ以上の波長の光を出射して被写体を照明し、
    　前記ＩＰＳＦ選択部は、前記照明部から出射される光の２つ以上の波長に対応する積算点広がり関数を選択する、
    　ことを特徴とする請求項４または５に記載の撮像システム。
  7. 　複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、
    　選択した積算点広がり関数を用いて画像を生成する画像生成部と、
    　を備えることを特徴とする処理装置。
  8. 　前記ＩＰＳＦ選択部は、露光期間中のフォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動パターンに対応する積算点広がり関数を選択する、
    　ことを特徴とする請求項７に記載の処理装置。
  9. 　駆動パターンは、露光期間中に、駆動速度を変化させる、
    　ことを特徴とする請求項８に記載の処理装置。
  10. 　前記ＩＰＳＦ選択部は、被写体を照明する照明部から出射される光の波長に対応する積算点広がり関数を選択する、
    　ことを特徴とする請求項７に記載の処理装置。
  11. 　前記画像生成部は、内視鏡で撮影された内視鏡画像を、積算点広がり関数により復元した画像を生成する、
    　ことを特徴とする請求項７から１０のいずれかに記載の処理装置。
  12. 　撮像光学系と、
    　２次元画素アレイを有する撮像素子と、
    　前記撮像素子の露光期間中に、前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能な駆動部と、
    　を備えることを特徴とする内視鏡。
  13. 　前記駆動部は、前記撮像素子の露光期間中に駆動速度を変化させる駆動パターンで、前記フォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能である、
    　ことを特徴とする請求項１２に記載の内視鏡。
PCT/JP2018/026692 2018-07-17 2018-07-17 撮像システム、処理装置および内視鏡 WO2020016922A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020530755A JP7036923B2 (ja) 2018-07-17 2018-07-17 撮像システム、処理装置および内視鏡
PCT/JP2018/026692 WO2020016922A1 (ja) 2018-07-17 2018-07-17 撮像システム、処理装置および内視鏡
US17/150,568 US11258941B2 (en) 2018-07-17 2021-01-15 Imaging system adapted to perform focal sweep imaging, processing apparatus, and endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026692 WO2020016922A1 (ja) 2018-07-17 2018-07-17 撮像システム、処理装置および内視鏡

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/150,568 Continuation US11258941B2 (en) 2018-07-17 2021-01-15 Imaging system adapted to perform focal sweep imaging, processing apparatus, and endoscope

Publications (1)

Publication Number Publication Date
WO2020016922A1 true WO2020016922A1 (ja) 2020-01-23

Family

ID=69165042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026692 WO2020016922A1 (ja) 2018-07-17 2018-07-17 撮像システム、処理装置および内視鏡

Country Status (3)

Country Link
US (1) US11258941B2 (ja)
JP (1) JP7036923B2 (ja)
WO (1) WO2020016922A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105222A1 (ja) * 2011-01-31 2012-08-09 パナソニック株式会社 画像復元装置、撮像装置及び画像復元方法
WO2013171954A1 (ja) * 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
JP2014511590A (ja) * 2011-02-04 2014-05-15 コーニンクレッカ フィリップス エヌ ヴェ 画像を記録する方法、画像から３ｄ情報を得る方法、カメラシステム
JP2018510320A (ja) * 2014-12-09 2018-04-12 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026844A (ja) 2011-07-21 2013-02-04 Nikon Corp 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105222A1 (ja) * 2011-01-31 2012-08-09 パナソニック株式会社 画像復元装置、撮像装置及び画像復元方法
JP2014511590A (ja) * 2011-02-04 2014-05-15 コーニンクレッカ フィリップス エヌ ヴェ 画像を記録する方法、画像から３ｄ情報を得る方法、カメラシステム
WO2013171954A1 (ja) * 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
JP2018510320A (ja) * 2014-12-09 2018-04-12 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器

Also Published As

Publication number Publication date
JP7036923B2 (ja) 2022-03-15
US20210297599A1 (en) 2021-09-23
JPWO2020016922A1 (ja) 2021-08-26
US11258941B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
JP3771344B2 (ja) 蛍光電子内視鏡
JP5346856B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP4317297B2 (ja) 電子内視鏡装置
JP5415973B2 (ja) 撮像装置、内視鏡システム及び撮像装置の作動方法
JP5864880B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US20120105612A1 (en) Imaging apparatus, endoscope apparatus, and image generation method
JP4464858B2 (ja) 電子内視鏡
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
WO2012033200A1 (ja) 撮像装置
JP2007043637A (ja) 撮像装置、撮像プログラムおよび画像処理プログラム
JP2012125293A (ja) 制御装置、内視鏡装置及びフォーカス制御方法
JPWO2017038774A1 (ja) 撮像システム
US11607111B2 (en) Medical signal processing apparatus and medical observation system
US20230308628A1 (en) Medical imaging system, medical imaging device, and operation method
US11272092B2 (en) Imaging device, endoscope apparatus, and operating method of imaging device
JPWO2018163500A1 (ja) 内視鏡装置
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP2014228851A (ja) 内視鏡装置、画像取得方法および画像取得プログラム
WO2020016922A1 (ja) 撮像システム、処理装置および内視鏡
JP2000197604A (ja) 内視鏡装置
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
JP6841932B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2017217056A (ja) 内視鏡システム
WO2022172574A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP2018202006A (ja) 撮像システム、撮像方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18926883

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530755

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18926883

Country of ref document: EP

Kind code of ref document: A1