WO2018235565A1 - 撮像装置及び移動撮像装置 - Google Patents

撮像装置及び移動撮像装置 Download PDF

Info

Publication number
WO2018235565A1
WO2018235565A1 PCT/JP2018/021186 JP2018021186W WO2018235565A1 WO 2018235565 A1 WO2018235565 A1 WO 2018235565A1 JP 2018021186 W JP2018021186 W JP 2018021186W WO 2018235565 A1 WO2018235565 A1 WO 2018235565A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
image
annular
annular optical
imaging device
Prior art date
Application number
PCT/JP2018/021186
Other languages
English (en)
French (fr)
Inventor
小野 修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019525314A priority Critical patent/JP6723452B2/ja
Priority to CN201880039740.2A priority patent/CN110770622B/zh
Publication of WO2018235565A1 publication Critical patent/WO2018235565A1/ja
Priority to US16/716,498 priority patent/US11226470B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/04Reversed telephoto objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0804Catadioptric systems using two curved mirrors
    • G02B17/0808Catadioptric systems using two curved mirrors on-axis systems with at least one of the mirrors having a central aperture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0856Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/02Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
    • G02B23/06Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors having a focussing action, e.g. parabolic mirror
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/108Beam splitting or combining systems for sampling a portion of a beam or combining a small beam in a larger one, e.g. wherein the area ratio or power ratio of the divided beams significantly differs from unity, without spectral selectivity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions

Definitions

  • the present invention relates to an imaging device and a moving imaging device, and in particular, using an imaging lens in which two optical systems are arranged concentrically and an image sensor having directivity, coaxially two images
  • the present invention relates to an imaging device and a mobile imaging device that simultaneously capture images.
  • Patent Document 1 There is known an imaging apparatus which simultaneously captures two images having different imaging characteristics by using an imaging lens in which two optical systems having different imaging characteristics are arranged concentrically.
  • Patent Document 1 two images of wide angle and telephoto are simultaneously coaxially using an imaging lens in which optical systems of wide angle and telephoto are arranged concentrically and an image sensor having directivity.
  • An imaging device for imaging is described.
  • Patent Document 2 two wide-angle and telephoto images are coaxially arranged by arranging the wide-angle and telephoto optical systems concentrically and separately receiving the light from each optical system with two image sensors. An imaging device that simultaneously captures images is described.
  • Patent Document 1 by providing a focusing mechanism for each optical system, focusing can be performed for each optical system. Further, in Patent Document 2, the focal point of each optical system can be adjusted individually by moving each image sensor relative to each optical system. Further, Patent Document 1 also proposes that a focusing mechanism is provided only for a telephoto optical system, and that a pan focus (also referred to as deep focus) of a fixed focus is provided for a wide-angle optical system.
  • the configuration in which the focusing mechanism is provided only for the telephoto optical system can simplify the entire configuration as compared with the configuration in which the focusing mechanism is individually provided, but there are problems in terms of downsizing and weight reduction. That is, although the telephoto optical system is constituted by the outer optical system of the two optical systems arranged concentrically, the outer optical system is large and heavy as compared with the inner optical system. Such a large and heavy optical system also makes the focusing mechanism large and heavy. For this reason, there is a disadvantage that the imaging device becomes large and heavy. In addition, in order to operate at higher speed, a larger actuator is required, and there is also a drawback that the speedup is limited. Furthermore, large and heavy optical systems have the disadvantage that vibrations are apt to occur during focusing operations.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to provide an imaging device and a moving imaging device capable of reducing the size and weight of a configuration relating to focusing.
  • the means for solving the above problems are as follows.
  • a central optical system set for imaging with pan focus an annular optical system disposed concentrically with the central optical system, a pixel selectively receiving light passing through the central optical system, and an annular optical system
  • an annular optical system focusing mechanism configured to move the central optical system and the image sensor integrally along the optical axis with respect to the optical system to adjust the focus of the annular optical system.
  • two concentrically arranged optical systems and an image sensor having directivity are provided as imaging devices that simultaneously image two images coaxially.
  • the two optical systems are composed of an inner central optical system and an outer annular optical system.
  • the central optical system is set to perform imaging with pan focus. Therefore, for the central optical system, no focusing is required.
  • the annular optical system is focused by the annular optical system focusing mechanism.
  • the annular optical system focusing mechanism adjusts the focus of the annular optical system by integrally moving the central optical system and the image sensor along the optical axis. Since the inner central optical system is smaller and lighter than the outer annular optical system, the configuration required for its movement can be made lighter and more compact.
  • the “annular optical system” in the present invention includes not only a perfect annular optical system but also an arc-shaped optical system. That is, the optical system disposed concentrically with the outer peripheral portion of the central optical system is an annular optical system.
  • the term "concentric" includes cases in which the optical axes coincide with each other in addition to the case in which the optical axes completely coincide. That is, it includes a range that can be regarded as substantially concentric.
  • the annular optical system is configured of an optical system having a longer focal length than the central optical system.
  • two images with different focal lengths can be simultaneously captured coaxially.
  • pan focusing can be easily realized by configuring the central optical system with a short focus optical system.
  • the central optical system is configured by the wide-angle optical system
  • the annular optical system is configured by the telephoto optical system.
  • the wide-angle optical system refers to an optical system having a wide angle of view (approximately 60 ° or more) as compared with a standard optical system (angle of view is approximately 50 °) and capable of imaging a wide range.
  • the telescopic optical system is an optical system which has an optical system having a focal length longer than that of a standard optical system and can magnify an object at a long distance.
  • the annular optical system is configured of the catadioptric optical system.
  • the catadioptric optical system is an optical system in which a lens and a mirror are combined.
  • the central optical system is configured of the optical system of the setting for imaging a long distance
  • the annular optical system is configured of the optical system of the setting for imaging the short distance.
  • long distance and short distance are relationships defined between the central optical system and the annular optical system. That is, the central optical system is set to image an object at a short distance to the annular optical system, and the annular optical system is set to image an object at a long distance to the central optical system. However, the central optical system is set to a distance at which imaging is possible with pan focus, because imaging is performed with pan focus. For example, in the case of wide angle to a standard angle of view (approximately 50 ° or more), the central optical system is set to image from 3 m to infinity.
  • An imaging control unit that causes an image sensor to capture a moving image or a still image continuously, and an annular optical system focusing control unit that controls an annular optical system focusing mechanism, and the annular optical system focus
  • the adjustment control unit periodically displaces the central optical system and the image sensor during imaging, and periodically changes the distance of an object focused by the annular optical system.
  • a moving image is captured while periodically changing the distance of the subject to be focused by the annular optical system.
  • a still image is continuously captured while periodically changing the distance of the subject to be focused by the ring optical system.
  • the central optical system and the image sensor are periodically displaced between a position where the object at the closest distance (MOD: Minimum Object Distance) is in focus and a position where the object at infinity is in focus, and the annular optical system Periodically change the distance of the subject in focus.
  • MOD Minimum Object Distance
  • the central optical system and the image sensor are sinusoidally displaced to capture a moving image.
  • the central optical system and the image sensor are sinusoidally displaced, and a still image is continuously captured.
  • moving images are captured by displacing the central optical system and the image sensor in a sawtooth shape.
  • the center optical system and the image sensor are displaced in a sawtooth shape, and a still image is continuously captured.
  • a moving image or still image group captured through an annular optical system is analyzed for each period of displacement of the central optical system and the image sensor, and an image of the highest sharpness frame or a still image of the highest sharpness is obtained.
  • the imaging device according to any one of (6) to (8), further including an annular optical system in-focus image extracting unit which extracts an annular optical system in-focus image for each period of displacement.
  • the moving image captured through the annular optical system is analyzed for each period of displacement of the central optical system and the image sensor, and the image of the frame with the highest sharpness is the annular optical system focused image. It is extracted for each period of displacement.
  • a still image group captured through an annular optical system is analyzed for each period of displacement of the central optical system and the image sensor, and the still image with the highest sharpness is the period of displacement as an annular optical system focused image. It is extracted every time.
  • a central optical system for extracting an image or a still image of a frame taken at the same timing as the annular optical system focused image from a moving image or still image group imaged through the central optical system as a central optical system focused image The imaging apparatus according to (9), further including a focused image extraction unit.
  • an image or a still image of a frame captured at the same timing as the annular optical system in-focus image is extracted as a central optical system in-focus image.
  • the "same timing" here includes substantially the same timing.
  • a mobile imaging apparatus comprising: the imaging device according to any one of (1) to (10); and a movable body on which the imaging device is mounted.
  • the imaging device is mounted on the mobile body, and the mobile imaging device is configured.
  • the mobile body can be configured by, for example, an unmanned aerial vehicle (so-called drone), an autonomous vehicle, or the like.
  • the present invention it is possible to reduce the size and weight of the configuration related to focusing. Also, this makes it possible to speed up focusing. Furthermore, vibration during operation can also be prevented.
  • FIG. 1 is a cross-sectional view showing a schematic configuration of an embodiment of an imaging device to which the present invention is applied.
  • 2 is a cross-sectional view taken along the line 2-2 in FIG. 1
  • FIG. 3 is a cross-sectional view taken along the line 3-3 in FIG.
  • the imaging device 1 of the present embodiment is an imaging device that simultaneously images two images of wide angle and telephoto on the same axis, and an image having directivity and an imaging lens 10 provided with two optical systems of wide angle and telephoto. And a sensor 20.
  • coaxial includes a range that can be regarded as substantially coaxial, and at the same time includes a range that is substantially simultaneous.
  • the imaging lens 10 includes a central optical system 12 constituting a wide-angle optical system, an annular optical system 14 constituting an optical system for telephoto, and an annular optical system focusing mechanism 30 for adjusting the focal point of the annular optical system 14. Prepare.
  • FIG. 4 is a diagram showing the lens configuration of the central optical system.
  • the central optical system 12 is composed of eight lenses 12a to 12h as a fixed focus optical system. Each lens 12a to 12h is disposed along the optical axis L. The light incident on the central optical system 12 is incident on the image sensor 20 through the respective lenses 12a to 12h.
  • the central optical system 12 is set to perform imaging with pan focus.
  • the central optical system 12 has a stop (not shown) in its light path.
  • pan focus is realized by setting the aperture.
  • the aperture is set so as to achieve pan focus.
  • annular optical system 14 is disposed concentrically with the central optical system 12. Therefore, the annular optical system 14 is an optical system having the same optical axis L as that of the central optical system 12 and can be imaged coaxially with the central optical system 12.
  • FIG. 5 is a diagram showing the lens configuration of the annular optical system.
  • the annular optical system 14 is configured by a catadioptric optical system, and is configured by combining three lenses 14a, 14b, 14c and two mirrors 14d, 14e.
  • the three lenses 14a, 14b, 14c have an annular shape and are disposed along the optical axis L.
  • the three lenses 14a, 14b and 14c are referred to as a first lens 14a, a second lens 14b and a third lens 14c in this order from the object side.
  • the two mirrors 14d and 14e are composed of a primary mirror 14d and a secondary mirror 14e.
  • the main mirror 14d is provided on the surface on the image plane side of the third lens 14c.
  • the main mirror 14d is provided on the entire surface of the third lens 14c on the image surface side, for example, by mirror processing the entire surface of the third lens 14c on the image surface side.
  • the sub mirror 14e is provided on the surface on the image plane side of the second lens 14b.
  • the sub mirror 14e is provided, for example, in a ring shape in an inner portion of the image surface side surface of the second lens 14b by mirror processing the inner portion of the image surface side surface of the second lens 14b into a ring shape.
  • the light having entered the annular optical system 14 passes through the first lens 14a, the second lens 14b, and the third lens 14c in this order, and is reflected by the main mirror 14d.
  • the light reflected by the main mirror 14 d enters the sub mirror 14 e through the third lens 14 c, is reflected by the sub mirror 14 e, and enters the image sensor 20.
  • the annular optical system 14 has a stop (not shown) in its light path.
  • the diaphragm adjusts the amount of light passing through the annular optical system 14 by expanding and contracting the outer diameter thereof.
  • Annular optical system focusing mechanism 30 moves the central optical system 12 and the image sensor 20 integrally along the optical axis L to adjust the focus of the annular optical system 14.
  • the annular optical system focusing mechanism 30 includes a fixed barrel 32, a movable barrel 34, an image sensor holder 36, a linear guide mechanism, an actuator 50, and a position detection unit 60. Is configured.
  • the fixed cylinder 32 is fixed to the main body frame (not shown) of the imaging device 1 and arranged.
  • the fixed barrel 32 holds the annular optical system 14.
  • annular optical system 14 is positioned and attached to the inside of the fixed cylinder 32, respectively.
  • the movable cylinder 34 is disposed inside the fixed cylinder 32 and coaxially with the fixed cylinder 32.
  • the movable barrel 34 holds the central optical system 12.
  • the lenses 12a to 12h constituting the central optical system 12 are positioned and attached to the inside of the movable barrel 34, respectively.
  • the image sensor holder 36 holds the image sensor holder 36.
  • the image sensor holder 36 has a disk shape and holds the image sensor 20 at its center.
  • the image sensor holder 36 is disposed inside the fixed cylinder 32 and coaxially with the fixed cylinder 32.
  • the image sensor 20 is held by the image sensor holder 36 and disposed on the optical axis L.
  • the linear motion guide mechanism linearly guides the central optical system 12 and the image sensor 20 to move integrally along the optical axis L.
  • the linear guide mechanism includes two linear bushes 38A, 38B and two linear shafts 40A, 40B linearly guided by the two linear bushes 38A, 38B.
  • Each linear bush 38A is disposed on the outer peripheral surface of the fixed barrel 32 and disposed symmetrically with respect to the optical axis L. Each linear bush 38A is disposed parallel to the optical axis L, respectively.
  • each linear shaft 40A, 40B is disposed parallel to the optical axis L and slides in parallel to the optical axis L.
  • each linear shaft 40A, 40B is connected to the movable cylinder support arm 42A, 42B, respectively.
  • each of the movable cylinder support arms 42A and 42B has a rod shape, and the base end thereof is fixed to the outer periphery of the distal end of the movable cylinder 34.
  • the fixed barrel 32 is provided with front slits 44A, 44B through which the movable barrel support arms 42A, 42B are inserted.
  • the front slits 44A and 44B are provided in parallel with the optical axis L, respectively.
  • each holder support arm 46A, 46B has a bar shape, and the base end thereof is fixed to the outer periphery of the image sensor holder 36.
  • the fixed cylinder 32 is provided with rear slits 48A, 48B through which the holder support arms 46A, 46B are inserted.
  • Each rear slit 48A, 48B is provided in parallel with the optical axis L, respectively.
  • the actuator 50 is configured by a linear motor.
  • the linear motor includes a coil 50A constituting a mover and a magnet 50B constituting a stator.
  • the coil 50A is attached to the linear shaft 40A, and the magnet 50B is attached to the fixed cylinder 32.
  • a current By passing a current through the coil 50A, a magnetic field is generated, and the coil 50A linearly moves.
  • the linear shaft 40A moves back and forth along the optical axis L.
  • the moving cylinder 34 and the image sensor holder 36 coupled to the linear shaft 40A integrally move back and forth along the optical axis L .
  • the central optical system 12 and the image sensor 20 integrally move back and forth along the optical axis L with respect to the fixed annular optical system 14.
  • FIG. 6 is a view showing the movement state of the central optical system and the image sensor.
  • the figure (A) shows the state which moved the central optical system and the image sensor to the image side
  • the figure (B) shows the state which moved the central optical system and the image sensor to the object side. ing.
  • the annular optical system focusing mechanism 30 can move the central optical system 12 and the image sensor 20 along the optical axis L with respect to the fixed annular optical system 14. Thereby, the focus of the annular optical system 14 can be adjusted. That is, since the image sensor 20 can be moved with respect to the fixed annular optical system 14, the focus of the annular optical system 14 can be adjusted. Further, in relation to the central optical system 12, the central optical system 12 and the image sensor 20 move integrally, so that the pan focus state set by the central optical system 12 can be maintained.
  • the annular optical system 14 moves the central optical system 12 and the image sensor 20 to the object side to focus on a long distance object and moves it to the image plane side to focus on a short distance object.
  • the position detection unit 60 includes a photo interrupter 62 and an MR sensor (MR sensor: Magneto Resistive Sensor).
  • the photo interrupter 62 detects that the image sensor 20 is positioned at the origin with respect to the annular optical system 14. The position of the origin is set in advance.
  • the MR sensor 64 detects the amount of displacement of the image sensor 20.
  • the photo interrupter 62 detects that the image sensor 20 is positioned at the origin, and the displacement amount from the origin is detected by the MR sensor 64. Thereby, the position of the image sensor 20 with respect to the origin can be detected.
  • Image sensor The image sensor 20 is configured by an image sensor having directivity, which has pixels for selectively receiving the light passing through the central optical system 12 and pixels for selectively receiving the light passing through the annular optical system 14. And simultaneously image the image formed by the central optical system 12 and the image formed by the annular optical system 14.
  • FIG. 7 is a view showing a schematic configuration of an image sensor.
  • the image sensor 20 includes a central optical system light receiving pixel 22a that selectively receives light that has passed through the central optical system 12, and an annular optical that selectively receives light that has passed through the annular optical system 14. And a system light receiving pixel 22b.
  • the annular optical system light receiving pixels 22 b and the central optical system light receiving pixels 22 a are regularly arranged on the same plane. In the example shown in FIG. 7, the central optical system light receiving pixels 22a and the annular optical system light receiving pixels 22b are alternately arranged.
  • FIG. 8 is a conceptual view of a configuration in which each pixel of the image sensor selectively receives light from the corresponding optical system.
  • each pixel is configured to include a photodiode 24, a microlens 26, and a light shielding mask 28.
  • the microlens 26 is disposed in front of the photodiode 24.
  • the microlens 26 focuses the pupil images of the annular optical system 14 and the central optical system 12 on the photodiode 24.
  • the light shielding mask 28 is disposed between the microlens 26 and the photodiode 24.
  • the light shielding mask 28 shields part of the light passing through the microlens 26.
  • the light shielding mask 28 of the central optical system light receiving pixel 22a has a shape that shields the light Lb that has passed through the annular optical system 14, and has a ring shape.
  • the light shielding mask 28 of the annular optical system light receiving pixel 22 b has a shape that shields the light La that has passed through the central optical system 12 and has a circular shape.
  • the central optical system light receiving pixel 22a selectively receives the light La that has passed through the central optical system 12, and the annular optical system light receiving pixel 22b selectively receives the light Lb that has passed through the annular optical system 14. Receive light. Therefore, by acquiring the image signal of the central optical system light receiving pixel 22a, the image signal of the image ImW obtained through the central optical system 12 can be acquired, and by acquiring the image signal of the annular optical system light receiving pixel 22b, An image signal of the image ImT obtained through the annular optical system 14 can be obtained.
  • the central optical system 12 is formed of a wide-angle optical system
  • the annular optical system 14 is formed of a telephoto optical system. Therefore, the image ImW captured by the central optical system 12 is a wide-angle image, and the image ImT captured by the annular optical system 14 is a telephoto image.
  • the image of each optical system is coaxially imaged. Therefore, the image ImT of the annular optical system 14 is an image obtained by enlarging the central portion of the image ImW of the central optical system 12, and is an image without parallax.
  • the annular optical system light receiving pixel 22b and the central optical system light receiving pixel 22a are provided with a color filter.
  • the color filters are arranged in a defined array. For example, color filters consisting of three colors of red (R: RED), green (G: GREEN), and blue (B: BLUE) are arranged in a Bayer arrangement. Thereby, a color image can be acquired.
  • FIG. 9 is a block diagram showing an electrical configuration of the imaging apparatus.
  • the imaging device 1 includes an analog signal processing unit 110, a computer 120, a recording unit 130, an operation unit 140, and the like.
  • the analog signal processing unit 110 takes in an analog image signal for each pixel output from the image sensor 20, and performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, etc.).
  • the analog signal processing unit 110 includes an AD converter (Analog to Digital Converter), converts an analog image signal after predetermined signal processing into a digital image signal, and outputs the digital image signal.
  • AD converter Analog to Digital Converter
  • the computer 120 is a CPU (Central Processing Unit), a RAM, (Random Access Memory) and ROM (Read Only Memory) are provided, and a predetermined program is executed to execute various processes.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • FIG. 10 is a block diagram of main functions implemented by a computer.
  • an imaging control unit 120b As a digital signal processing unit 120a, an imaging control unit 120b, an annular optical system focusing control unit 120c, a position detection unit 120d, an image output control unit 120e, a recording control unit 120f, and the like by executing a predetermined program, the computer 120 Function.
  • the digital signal processing unit 120a takes in the digital image signal output from the analog signal processing unit 110, and performs predetermined signal processing (for example, gradation conversion processing, white balance correction processing, gamma correction processing, synchronization processing, YC conversion Process etc. to generate image data.
  • the digital signal processing unit 120a generates first image data based on the image signal of the central optical system light receiving pixel 22a of the image sensor 20, and generates the first image data based on the image signal of the annular optical system light receiving pixel 22b.
  • Generate 2 image data The first image data is image data of an image captured by the central optical system 12, and is wide-angle image data.
  • the second image data is image data of an image captured by the annular optical system 14 and is a telephoto image.
  • the digital signal processing unit 120a detects the brightness of the subject necessary for the exposure control based on the captured image signal.
  • the digital signal processing unit 120a detects an evaluation value necessary for focusing of the annular optical system 14 based on the captured image signal. For example, the contrast in a predetermined focus area is detected as an evaluation value of the focus of the annular optical system 14.
  • the imaging control unit 120 b controls imaging by the image sensor 20.
  • the imaging control unit 120 b controls driving of the image sensor 20 via the image sensor driver 20 a and controls imaging by the image sensor 20.
  • imaging can capture moving images and still images.
  • the operation unit 140 sets which of the images is to be imaged.
  • the drive of the image sensor 20 is controlled so that the moving image is imaged at a predetermined frame rate.
  • the drive of the image sensor 20 is controlled such that the still image is captured with a proper exposure.
  • Annular optical system focusing control unit 120 c controls focusing of the annular optical system 14.
  • the annular optical system focusing control unit 120 c controls the drive of the actuator 50 via the linear motor driver 50 a and controls the focusing of the annular optical system 14. That is, by controlling the drive of the actuator 50, the position of the image sensor 20 with respect to the annular optical system 14 is controlled, and the focusing of the annular optical system 14 is controlled.
  • the focusing control of the annular optical system 14 is performed according to the imaging mode. This point will be described in detail later.
  • the position detection unit 120 d detects the position of the image sensor 20 based on the outputs of the photo interrupter 62 and the MR sensor 64.
  • the image output control unit 120e controls the output of an image obtained by imaging.
  • the image output control unit 120e converts the image data of the central optical system 12 generated by the digital signal processing unit 120a into an output format for display, and outputs the image data from the central optical system image output terminal 150a. Further, the image data of the annular optical system 14 is converted into an output format for display and output from the annular optical system image output terminal 150 b.
  • a monitor is connected to the central optical system image output terminal 150a and the annular optical system image output terminal 150b, and an image obtained by imaging is displayed on the monitor.
  • the recording control unit 120 f controls recording of an image obtained by imaging.
  • the recording control unit 120 f converts the image data of the central optical system 12 generated by the digital signal processing unit 120 a and the image data of the annular optical system 14 into a data format for recording, and records the data in the recording unit 130.
  • the recording unit 130 is configured of, for example, a non-volatile memory such as an EEPROM (Electrically Erasable Programmable Read Only Memory).
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • the operation unit 140 includes various operation means such as a power switch, a release button, and a mode dial, and outputs a signal corresponding to the operation to the computer 120.
  • the imaging device 1 can capture a moving image and a still image.
  • the operation unit 140 sets which of the images is to be imaged.
  • two imaging modes a normal mode and a focus scan mode, are prepared, and focus adjustment control corresponding to each mode is performed.
  • the annular optical system focusing control unit 120c drives the actuator 50 so that the image sensor 20 is directed from one end of the movable range to the other end. Move it.
  • Information of the evaluation value of the focus of the annular optical system 14 is acquired in the moving process, and the position of the image sensor 20 at which the acquired evaluation value becomes maximum is detected.
  • the detected position of the image sensor 20 is set as the in-focus position of the annular optical system 14, and the image sensor 20 is moved to the in-focus position. Thereby, the annular optical system 14 can be focused.
  • the AF instruction is performed, for example, by half pressing the release button.
  • imaging for recording is instructed.
  • the imaging control unit 120b performs an imaging process for recording in response to an instruction for imaging for recording. An image obtained by imaging is recorded in the recording unit 130.
  • contrast type focusing control is performed on the annular optical system 14.
  • Continuous shooting mode A In the continuous shooting mode A, a still image is continuously taken while moving the image sensor 20.
  • the image sensor 20 is moved at a constant pitch from one end of the movable range to the other end. That is, in the continuous shooting mode A, the image sensor 20 is moved in a predetermined range to continuously shoot a still image.
  • FIG. 11 is a flowchart illustrating the procedure of the imaging process in the continuous shooting mode A.
  • the annular optical system focusing control unit 120c moves the image sensor 20 to the position (MOD position) of the shortest imaging distance (Minimum Object Distance: MOD) (step S1).
  • step S2 imaging for recording is performed (step S2).
  • An image obtained by imaging is recorded in the recording unit 130 (step S3).
  • the annular optical system focus adjustment control unit 120c determines whether or not the image sensor 20 has reached a position (INF position) at which the object at infinity (INF) is in focus (Step S4).
  • the annular optical system focusing control unit 120c drives the actuator 50 to move the image sensor 20 by one step (step S5). After the movement, an imaging process is performed (step S2).
  • the image sensor 20 is moved step by step, and imaging is performed each time. The process ends when the image sensor 20 reaches the INF position and imaging at the INF position is finished.
  • the still image group obtained by imaging is recorded in the recording unit 130 in a state distinguishable from the images obtained by other imaging.
  • the folder is changed and recorded every imaging.
  • the same identification tag or the like is attached to a series of images and recorded.
  • At least one focused image can be captured by the annular optical system 14.
  • an arbitrary subject can be selected to obtain a focused image.
  • the central optical system 12 acquires an image captured at the same timing as the image focused by the annular optical system 14 as a focused image of the central optical system 12 (central optical system focused image).
  • Continuous shooting mode B In the continuous shooting mode B, a still image is continuously captured while imaging is instructed. At this time, the image sensor 20 is moved periodically. That is, in the continuous shooting mode B, the still image is continuously shot continuously while moving the image sensor periodically.
  • FIG. 12 is a flowchart of the imaging process in the continuous shooting mode B.
  • step S11 the presence or absence of an imaging start instruction is determined.
  • the start of imaging is instructed, for example, by fully pressing the release button.
  • the annular optical system focusing control unit 120c moves the image sensor 20 to the MOD position (step S12).
  • imaging for recording is performed (step S13).
  • An image obtained by imaging is recorded in the recording unit 130 (step S14).
  • step S15 it is determined whether or not there is an imaging end instruction.
  • the end of imaging is instructed, for example, by fully pressing the release button. That is, the start of imaging is instructed by fully pressing the first release button, and the end of imaging is instructed by fully pressing the second release button. Besides, for example, while the release button is fully pressed, the imaging may be instructed, and when released, the end of the imaging may be instructed.
  • the annular optical system focusing control unit 120c drives the actuator 50 to move the image sensor 20 by one step (step S16). After the movement, an imaging process is performed (step S13).
  • the image sensor 20 is periodically moved, and the still image is continuously captured while periodically changing the distance of the object to be focused.
  • FIG. 13 is a diagram showing an example of how to change the distance of the object focused by the annular optical system.
  • the image sensor 20 is sinusoidally displaced between the MOD position and the INF position. Thereby, the distance of the subject to be focused between MOD and INF can be periodically changed.
  • the still image group obtained by imaging is recorded in the recording unit 130 as a moving section from the MOD to the INF (forward path) and a moving section from the INF to the MOD (return path) as one scanning section.
  • the annular optical system 14 if there is a main subject between MOD and INF, at least one in-focus image can be obtained for each scanning interval.
  • the in-focus image of the central optical system 12 (central optical system in-focus image) can be obtained by extracting an image captured at the same timing as the in-focus image of the annular optical system 14.
  • FIG. 14 is a diagram showing another example of how to change the distance of the object focused by the annular optical system.
  • the image sensor 20 is displaced in a sawtooth shape between the MOD position and the INF position. Thereby, the distance of the subject to be focused between MOD and INF can be periodically changed.
  • the moving section (forward path) from MOD to INF is recorded in the recording unit 130 as one scanning section.
  • the annular optical system 14 if there is a main subject between MOD and INF, at least one in-focus image can be obtained for each scanning interval.
  • ⁇ Focus scan mode In the focus scan mode, the image sensor 20 periodically moves during imaging, and the distance of the subject focused by the annular optical system 14 periodically changes. For example, it changes periodically between MOD and INF.
  • the annular optical system focusing control unit 120 c drives the actuator 50 to move the image sensor 20 periodically.
  • the distance of the subject focused by the annular optical system 14 changes periodically.
  • the image sensor 20 is displaced in a sine wave (see FIG. 13) or a sawtooth (see FIG. 14).
  • the distance of the subject to be focused by the annular optical system 14 is periodically changed to capture a moving image.
  • the moving image captured in the focus scan mode is used to acquire a still image focused in a later process. That is, in the focus scan mode, since the distance of the subject to be focused changes periodically, if there is a main subject within the range of the focusable distance, at least one frame is focused on the main subject in each cycle. Do. Therefore, when the obtained moving image is analyzed for each cycle of displacement of the image sensor 20 with respect to the annular optical system 14, at least one focused image can be obtained for each cycle. That is, if an image of a frame with the highest sharpness in each cycle is extracted, it is possible to acquire a still image focused in each cycle.
  • an image of a frame taken at the same timing as the image of the frame extracted as the in-focus image by the annular optical system 14 is taken as the in-focus image of the central optical system 12 (central optical system in-focus image) Do.
  • the central optical system 12 is a pan focus of fixed focus, and the focusing function is provided only for the annular optical system 14. Thereby, the configuration can be simplified, and the entire device can be made lightweight and compact.
  • the central optical system 12 is moved integrally with the image sensor 20 when focusing the annular optical system 14, the central optical system 12 can be imaged while maintaining the state of pan focus at all times.
  • the mechanism can be made lightweight and compact even when it is moved integrally with the image sensor 20.
  • the actuator 50 can also be small and light. As a result, the entire device can be reduced in size and weight.
  • the configuration is lightweight and compact, it can be operated at high speed. In addition, generation of vibration, noise and the like can be suppressed.
  • the imaging lens 10 includes the central optical system 12 as a wide-angle optical system and the annular optical system 14 as a telephoto optical system, but the configuration of the imaging lens 10 is limited to this. It is not something to be done.
  • the central optical system 12 is pan-focused, it is preferable that the configuration be such that pan-focusing can be realized relatively easily.
  • the central optical system may be configured by a wide-angle optical system
  • the annular optical system 14 may be configured by a standard optical system.
  • a standard optical system means an optical system with an angle of view of around 50 °.
  • the wide-angle optical system refers to an optical system having a wide angle of view (approximately 60 ° or more) as compared with a standard and capable of imaging a wide range.
  • the telescopic optical system means an optical system having an optical system having a focal length longer than that of a standard optical system, and capable of magnifying and imaging an object at a long distance.
  • the central optical system can be set to capture a long distance
  • the annular optical system can be set to capture a short distance.
  • the depth of field becomes deeper as the distance to the subject increases. Therefore, an object at a long distance can be imaged with pan focus. On the other hand, it is difficult to take an image of an object at a short distance with pan focus. Therefore, far-distance subjects are imaged by the central optical system of pan focus, and close-distance subjects are focused by both the long distance and near distance by imaging with the annular optical system provided with the focusing function. Images can be taken simultaneously.
  • long distance and short distance are relationships defined between the central optical system and the annular optical system. That is, the central optical system is set to image an object at a short distance to the annular optical system, and the annular optical system is set to image an object at a long distance to the central optical system.
  • the central optical system is set to a distance at which imaging is possible with pan focus, because imaging is performed with pan focus.
  • the central optical system is set to image from 3 m to infinity.
  • the long distance may be imaged by a telephoto optical system
  • the short distance may be imaged by a wide angle optical system.
  • each optical system in the imaging device shown in FIG. 1 is an example, and other lens configurations can be adopted.
  • the annular optical system is configured of a catadioptric optical system in the above embodiment, the annular optical system may be configured not to use reflection.
  • the whole structure can be made compact by comprising with a catadioptric optical system.
  • the annular optical system 14 is comprised by one optical system in the said embodiment, it can also be comprised with a several optical system.
  • the annular optical system can be divided into two and configured with optical systems of different focal lengths.
  • the image sensor is configured to be able to selectively receive light from each optical system of the annular optical system.
  • the annular optical system is configured by a plurality of optical systems, it may be divided in the circumferential direction, or may be divided in plural concentrically.
  • the central optical system 12 and the image sensor 20 are connected by a linear shaft that linearly moves, and the linear shaft is linearly moved by a linear motor.
  • the central optical system 12 and the image sensor 20 are integrated.
  • the configuration to be moved to is not limited to this.
  • the central optical system 12 and the image sensor 20 can be integrally moved by a drive mechanism in which a feed screw and a motor are combined.
  • the central optical system 12 and the image sensor 20 can be integrally moved by a drive mechanism in which the cam cylinder and the motor are combined.
  • the central optical system 12 and the image sensor 20 can be configured to be moved manually. Even in the case of manual movement, since the central optical system 12 and the image sensor 20 are lightweight, they can be moved by light force.
  • the imaging apparatus may be provided with a function of extracting an annular optical system in-focus image and a central optical system in-focus image from still images taken in the continuous shooting mode A and the continuous shooting mode B.
  • the imaging apparatus may be provided with a function of extracting an annular optical system focused image and a central optical system focused image from a moving image captured in the focus scan mode.
  • a still image of the central optical system captured at the same timing as the still image extracted as the annular optical system in-focus image is set as a central optical system in-focus image.
  • This process is performed by, for example, the computer 120. That is, when the computer 120 executes a predetermined program, the computer 120 functions as an annular optical system focused image extracting unit and a central optical system focused image extracting unit.
  • the annular optical system in-focus image extraction unit and the central optical system in-focus image extraction unit read out the image data recorded in the recording unit 130 and execute the extraction process.
  • only the extracted image may be recorded in the recording unit 130.
  • ⁇ Function to extract annular optical system in-focus image and central optical system in-focus image from still images taken in continuous shooting mode B The process of extracting the annular optical system in-focus image from the still image group captured in the continuous shooting mode B is performed as follows. That is, a still image group of the annular optical system obtained by imaging is analyzed for each period of displacement of the central optical system and the image sensor, and an image with the highest sharpness is extracted for each period of displacement as an annular optical system focused image. Do.
  • a still image of the central optical system captured at the same timing as the still image extracted as the annular optical system in-focus image is set as a central optical system in-focus image.
  • This process is performed by, for example, the computer 120. That is, when the computer 120 executes a predetermined program, the computer 120 functions as an annular optical system focused image extracting unit and a central optical system focused image extracting unit.
  • the annular optical system in-focus image extraction unit and the central optical system in-focus image extraction unit read out the image data recorded in the recording unit 130 and execute the extraction process. Alternatively, the extraction process is performed in real time in each cycle.
  • only the extracted image may be recorded in the recording unit 130.
  • ⁇ Function to extract annular optical system in-focus image and central optical system in-focus image from moving image captured in focus scan mode The process of extracting the annular optical system in-focus image from the moving image captured in the focus scan mode is performed as follows. That is, the moving image of the annular optical system obtained by imaging is analyzed for each period of displacement of the central optical system and the image sensor, and the image of the frame with the highest sharpness is extracted for each period of displacement as the annular optical system focused image. Do.
  • an image of the frame of the central optical system taken at the same timing as the image of the frame extracted as the annular optical system in-focus image is taken as a central optical system in-focus image.
  • This process is performed by, for example, the computer 120. That is, when the computer 120 executes a predetermined program, the computer 120 functions as an annular optical system focused image extracting unit and a central optical system focused image extracting unit.
  • the annular optical system in-focus image extraction unit and the central optical system in-focus image extraction unit read out the image data recorded in the recording unit 130 and execute the extraction process. Alternatively, the extraction process is performed in real time in each cycle.
  • only the extracted image may be recorded in the recording unit 130.
  • the mobile imaging apparatus is an apparatus configured such that two images can be simultaneously imaged coaxially while moving by mounting the imaging apparatus to which the present invention is applied to a mobile body.
  • FIG. 15 is a diagram showing a schematic configuration of an embodiment of a mobile imaging device.
  • the mobile imaging device 200 includes an imaging device 210, an unmanned aerial vehicle 220 equipped with the imaging device 210, and a controller 230 for remotely operating the imaging device 210 and the unmanned aerial vehicle 220. .
  • the configuration of the imaging device 210 is basically the same as the configuration of the imaging device 1 described in the above embodiment. That is, a wide-angle central optical system, a telephoto annular optical system, and an image sensor having directivity are provided, and the central optical system and the image sensor are moved integrally to adjust the focus of the annular optical system.
  • the imaging device 210 of the present embodiment is remotely operated by the controller 230, the imaging device 210 is provided with a wireless communication means for wireless communication with the controller 230.
  • the unmanned aerial vehicle 220 is an example of a moving body.
  • the unmanned aerial vehicle 220 is a so-called drone, and flies in the atmosphere based on the operation by the controller 230.
  • the configuration of this type of unmanned aerial vehicle is known, and thus the detailed description thereof is omitted.
  • the unmanned aerial vehicle 220 flies in the atmosphere based on the operation of the controller 230. Further, based on the operation of the controller 230, the imaging device 210 captures a still image or a moving image.
  • the imaging apparatus described in the above embodiment has a normal mode, a continuous shooting mode A, and a continuous shooting mode B as imaging modes for still images, and a normal mode and a focus scan mode as imaging modes for moving images. Same as 1.
  • the moving imaging apparatus 200 is suitable for the following applications because it can simultaneously capture telescopic and wide-angle images coaxially. That is, it is suitable for the application which images the ground surface continuously from the sky, joins the obtained image group, and produces
  • This kind of composite image is generally generated by extracting corresponding feature points between adjacent images, aligning and combining the corresponding feature points so that they overlap. Since the mobile imaging device 200 of the present embodiment can simultaneously capture telescopic and wide-angle images coaxially, it can be said that feature point extraction processing is performed on a wide-angle image and synthesis processing is performed on a telescopic image. By performing feature point extraction processing on a wide-angle image, more feature points can be extracted and alignment can be performed with higher accuracy. Also, the image composition can generate a higher definition composite image by using a telephoto image.
  • a method of generating a composite image a series of still image groups obtained by imaging are analyzed to estimate the relative position and orientation of the imaging device when each image is imaged, and the estimation result is On the basis of this, it is possible to adopt a method of arranging each image to generate a composite image.
  • the wide-angle image group obtained by imaging is analyzed, the relative position and attitude of the imaging device at the time of imaging each image are estimated, and each image of telephoto is arranged based on the estimation result.
  • a high-definition composite image can be generated with high accuracy.
  • a method of SfM Structure from Motion
  • a still image is captured in the continuous shooting mode B. That is, a still image is continuously taken while periodically changing the distance of the subject to be focused.
  • the moving image is captured in the focus scan mode. That is, the moving image is captured while periodically changing the distance of the subject to be focused.
  • FIG. 16 is a conceptual diagram of flight control of an unmanned aerial vehicle for the purpose of generating a composite image.
  • the central optical system captures a range of the angle of view ⁇ A
  • the telephoto optical system captures a range of the angle of view ⁇ B.
  • the width of the imaging range of the central optical system in the movement direction of the unmanned aerial vehicle 220 is XA, and the width of the imaging range of the annular optical system is XB.
  • the unmanned aerial vehicle 220 is set to a velocity scanned at least once while moving the distance XB.
  • scanning refers to changing the distance of an object to be focused from MOD to INF or INF to MOD.
  • the functions realized by the computer can be realized by various processors.
  • the various processors include a CPU that is a general-purpose processor that functions as a processing unit that executes programs and performs various processes, and a PLD that is a processor that can change the circuit configuration after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • the processor includes a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed to execute a specific process such as (Programmable Logic Device) or ASIC (Application Specific Integrated Circuit).
  • One function may be realized by two or more processors of the same or different types.
  • the configuration may be realized by a plurality of FPGAs, or may be realized by a combination of a CPU and an FPGA.
  • a plurality of functions may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software as represented by computers such as clients and servers. There is a form that makes this processor realize a plurality of functions.
  • SoC System On Chip
  • IC Integrated Circuit
  • the hardware-like structure of these various processors is, more specifically, an electric circuit combining circuit elements such as semiconductor elements.
  • FIG. 17 is a table showing the relationship between the position of the image sensor in the image pickup apparatus shown in FIG. 1 and the in-focus object distance of the annular optical system.
  • the distance from the second principal point (also referred to as an image-side principal point or a back-side principal point) of the annular optical system 14 to the surface of the image sensor 20 is referred to as an “image sensor position”.
  • the distance from the subject (also referred to as the front principal point) to the subject is taken as the “focused subject distance”.
  • FIG. 18 is a graph showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system.
  • FIGS. 19-1 and 19-2 are tables showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system when the image sensor is displaced in a sawtooth shape.
  • FIG. 20 is a graph showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system when the image sensor is displaced in a sawtooth shape.
  • the focusing object distance of the annular optical system 14 also changes in a sawtooth shape.
  • FIGS. 21A and 21B are tables showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system when the image sensor is displaced in a sinusoidal manner.
  • FIG. 22 is a graph showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system when the image sensor is sinusoidally displaced.
  • the in-focus object distance of the ring optical system 14 also changes in a sine wave.
  • FIG. 23 is a table showing the relationship between the position of the image sensor in the imaging apparatus shown in FIG. 1 and the in-focus object distance of the annular optical system.
  • the focal length of the annular optical system is 84 mm. Further, in the same figure, the in-focus object distance as a reference is 5000 [mm], and the relationship within a certain range before and after that is shown.
  • FIG. 24 is a graph showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system.
  • FIGS. 25-1 and 25-2 are tables showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system when the image sensor is displaced in a sinusoidal manner.
  • FIG. 26 is a graph showing the relationship between the position of the image sensor and the in-focus object distance of the annular optical system when the image sensor is sinusoidally displaced.
  • the in-focus object distance of the ring optical system 14 also changes in a sine wave.
  • Imaging device 10 imaging lens 12 central optical system 12a lens 12b lens 12c lens 12d lens 12e lens 12f lens 12g lens 14 annular optical system 14a first lens 14b second lens 14c third lens 14c main mirror 14e minor mirror 20 image Sensor 20a image sensor driver 22a central optical system light receiving pixel 22b annular optical system light receiving pixel 24 photodiode 26 micro lens 28 light shielding mask 30 annular optical system focusing mechanism 32 fixed cylinder 34 moving cylinder 36 image sensor holder 38A linear bush 38B linear bush 40A Linear shaft 40B Linear shaft 42A Moving cylinder support arm 42B Moving cylinder support arm 44A Front slit 44B Front slit 46A Holder support arm 46B Holder support arm 48 Rear slit 48B Rear slit 50 Actuator 50A Coil 50B Magnet 50a Linear motor driver 60 Position detection unit 62 Photo interrupter 64 MR sensor 110 Analog signal processing unit 120 Computer 120a Digital signal processing unit 120b Imaging control unit 120c Ring optical system focusing control Unit 120d Position detection unit 120e Image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)
  • Lenses (AREA)

Abstract

焦点調節に係わる構成を小型化及び軽量化できる撮像装置及び移動撮像装置を提供する。パンフォーカスで撮像する中央光学系12と、中央光学系12と同心状に配置される環状光学系14と、中央光学系12で結像される像と環状光学系14で結像される像とを同時に撮像するイメージセンサ20と、を備えた撮像装置1において、中央光学系12及びイメージセンサ20を光軸Lに沿って一体的に移動させて、環状光学系14の焦点を調節する。

Description

撮像装置及び移動撮像装置
 本発明は、撮像装置及び移動撮像装置に係り、特に、2つの光学系が同心状に配置された撮像レンズと、指向性を有するイメージセンサと、を使用して、2つの画像を同軸上で同時に撮像する撮像装置及び移動撮像装置に関する。
 撮像特性の異なる2つの光学系が同心状に配置された撮像レンズを使用して、撮像特性の異なる2つの画像を同時に撮像する撮像装置が知られている。たとえば、特許文献1には、広角及び望遠の光学系が同心状に配置された撮像レンズと、指向性を有するイメージセンサと、を使用して、広角及び望遠の2つの画像を同軸上で同時に撮像する撮像装置が記載されている。また、特許文献2には、広角及び望遠の光学系を同心状に配置し、各光学系からの光を2つのイメージセンサで別々に受光することにより、広角及び望遠の2つの画像を同軸上で同時に撮像する撮像装置が記載されている。
 ところで、このように実質的に2つの光学系を備えた撮像装置では、光学系ごとに焦点調節する必要がある。特許文献1では、光学系ごとに焦点調節機構を備えることにより、光学系ごとに焦点調節できるようにしている。また、特許文献2では、各イメージセンサを各光学系に対して相対的に移動させることにより、各光学系の焦点を個別に調整できるようにしている。また、特許文献1では、望遠の光学系についてのみ焦点調節機構を備え、広角の光学系については、固定焦点のパンフォーカス(ディープフォーカスともいう)とすることも提案されている。
特開2016-12786号公報 特表2011-505022号公報
 しかしながら、光学系ごとに焦点調節機構を備えると、撮像装置の構成が複雑かつ大型化するという欠点がある。
 一方、望遠の光学系についてのみ焦点調節機構を備える構成は、個別に焦点調節機構を備える構成よりも全体の構成を簡素化できるが、小型化及び軽量化の観点では課題がある。すなわち、望遠の光学系は、同心状に配置される2つの光学系のうち外側の光学系で構成されるが、外側の光学系は、内側の光学系に比して大きく重い。このように大きく重い光学系は、焦点調節機構も大きく重いものとなる。このため、撮像装置が大きく重くなるという欠点がある。また、より高速に動作させるためには、より大きなアクチュエータが必要になり、高速化に限界があるという欠点もある。更に、大きく重い光学系は、焦点調節の動作時に振動が発生しやすいという欠点もある。
 本発明は、このような事情に鑑みてなされたもので、焦点調節に係わる構成を小型化及び軽量化できる撮像装置及び移動撮像装置を提供することを目的とする。
 上記課題を解決するための手段は、次のとおりである。
 (1)パンフォーカスで撮像する設定の中央光学系と、中央光学系と同心状に配置される環状光学系と、中央光学系を通過した光を選択的に受光する画素と環状光学系を通過した光を選択的に受光する画素とが同一面上に規則的に配列され、中央光学系で結像される像と環状光学系で結像される像とを同時に撮像するイメージセンサと、環状光学系に対して、中央光学系及びイメージセンサを光軸に沿って一体的に移動させて、環状光学系の焦点を調節する環状光学系焦点調節機構と、を備えた撮像装置。
 本態様によれば、2つの画像を同軸上で同時に撮像する撮像装置として、同心状に配置された2つの光学系と、指向性を有するイメージセンサと、が備えられる。2つの光学系は、内側の中央光学系と、外側の環状光学系とで構成される。中央光学系は、パンフォーカスで撮像する設定とされる。したがって、中央光学系については、焦点調節が不要とされる。一方、環状光学系は、環状光学系焦点調節機構によって焦点調節される。環状光学系焦点調節機構は、中央光学系とイメージセンサとを光軸に沿って一体的に移動させることにより、環状光学系の焦点を調節する。内側の中央光学系は、外側の環状光学系に比して、小型かつ軽量であるため、その移動に必要な構成を軽量かつコンパクトにできる。また、中央光学系は、小型かつ軽量であるため、高速に動作させることができる。これにより、環状光学系の焦点調節動作を高速化できる。更に、中央光学系は、小型かつ軽量であるため、振動を発生させずに動作させることができる。また、イメージセンサと一体的に移動させるので、中央光学系の焦点が変動することもない。なお、本発明の「環状光学系」には、完全な環状の光学系の他、円弧状の光学系も含まれる。すなわち、中央光学系の外周部同心状に配置される光学系を環状光学系とする。また、「同心状」には、光軸が完全に一致する場合の他、ほぼ一致する場合を含むものである。すなわち、ほぼ同心状とみなせる範囲を含むものである。
 (2)環状光学系が中央光学系よりも長い焦点距離を有する、上記(1)の撮像装置。
 本態様によれば、環状光学系が、中央光学系よりも長い焦点距離を有する光学系で構成される。これにより、焦点距離の異なる2つの画像を同軸上で同時に撮像できる。特に、中央光学系を短焦点の光学系で構成することにより、パンフォーカスを容易に実現できる。
 (3)中央光学系が広角の光学系で構成され、環状光学系が望遠の光学系で構成される、上記(2)の撮像装置。
 本態様によれば、中央光学系が広角の光学系で構成され、環状光学系が望遠の光学系で構成される。これにより、広角及び望遠の2つの画像を同軸上で同時に撮像できる。ここで、広角の光学系とは、標準の光学系(画角が50°前後)に比べて広い画角(おおよそ60°以上)を有し、広範囲を撮像できる光学系をいう。一方、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系を有し、遠距離の被写体を拡大撮像できる光学系をいう。
 (4)環状光学系が、反射屈折光学系で構成される、上記(3)の撮像装置。
 本態様によれば、環状光学系が、反射屈折光学系で構成される。反射屈折光学系とは、レンズと鏡とを組み合わせた光学系のことである。反射屈折光学系で構成することにより、環状光学系を小型化及び軽量化できる。また、これにより、全体の構成も小型化及び軽量化できる。
 (5)中央光学系が遠距離を撮像する設定であり、環状光学系が近距離を撮像する設定である、上記(1)の撮像装置。
 本態様によれば、中央光学系が遠距離を撮像する設定の光学系で構成され、環状光学系が近距離を撮像する設定の光学系で構成される。これにより、近距離及び遠距離の2つの画像を同軸上で同時に撮像できる。被写界深度は、被写体までの距離が遠くなるほど深くなる。したがって、遠距離の被写体はパンフォーカスで撮像できる。一方、近距離の被写体をパンフォーカスで撮像することは難しい。そこで、遠距離の被写体は、パンフォーカスの中央光学系で撮像し、近距離の被写体は、焦点調節機能を備えた環状光学系で撮像する。これにより、近距離及び遠距離の双方で合焦した画像を同時に撮像できる。なお、ここでの「遠距離」及び「近距離」とは、中央光学系と環状光学系との間で定まる関係である。すなわち、中央光学系は、環状光学系に対して近距離の被写体を撮像する設定とされ、環状光学系は、中央光学系に対して遠距離の被写体を撮像する設定とされる。ただし、中央光学系については、パンフォーカスで撮像する関係上、パンフォーカスで撮像可能な距離に設定される。たとえば、広角から標準の画角(おおよそ50°以上)の場合、中央光学系は、3mから無限遠を撮像する設定とされる。
 (6)イメージセンサに動画を撮像させる又は静止画を連続的に撮像させる撮像制御部と、環状光学系焦点調節機構を制御する環状光学系焦点調節制御部と、を更に備え、環状光学系焦点調節制御部は、撮像中、中央光学系及びイメージセンサを周期的に変位させ、環状光学系で合焦する被写体の距離を周期的に変化させる、上記(1)から(5)のいずれか一の撮像装置。
 本態様によれば、環状光学系で合焦する被写体の距離を周期的に変化させながら、動画が撮像される。又は、環状光学系で合焦する被写体の距離を周期的に変化させながら、静止画が連続的に撮像される。たとえば、最至近距離(MOD:Minimum Object Distance)の被写体に合焦する位置と無限遠の被写体に合焦する位置との間で中央光学系及びイメージセンサを周期的に変位させて、環状光学系で合焦する被写体の距離を周期的に変化させる。環状光学系で合焦する画像を容易に撮像できる。
 (7)環状光学系焦点調節制御部は、中央光学系及びイメージセンサを正弦波状に変位させる、上記(6)の撮像装置。
 本態様によれば、中央光学系及びイメージセンサを正弦波状に変位させて、動画が撮像される。又は、中央光学系及びイメージセンサを正弦波状に変位させて、静止画が連続的に撮像される。
 (8)環状光学系焦点調節制御部は、中央光学系及びイメージセンサをノコギリ波状に変位させる、上記(6)の撮像装置。
 本態様によれば、中央光学系及びイメージセンサをノコギリ波状に変位させて、動画が撮像される。又は、中央光学系及びイメージセンサをノコギリ波状に変位させて、静止画が連続的に撮像される。
 (9)環状光学系を介して撮像された動画又は静止画像群を中央光学系及びイメージセンサの変位の周期ごとに解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を環状光学系合焦画像として変位の周期ごとに抽出する環状光学系合焦画像抽出部を更に備えた、上記(6)から(8)のいずれか一の撮像装置。
 本態様によれば、環状光学系を介して撮像された動画が、中央光学系及びイメージセンサの変位の周期ごとに解析され、最も鮮鋭度の高いフレームの画像が、環状光学系合焦画像として変位の周期ごとに抽出される。又は、環状光学系を介して撮像された静止画像群が、中央光学系及びイメージセンサの変位の周期ごとに解析され、最も鮮鋭度の高い静止画像が、環状光学系合焦画像として変位の周期ごとに抽出される。
 (10)中央光学系を介して撮像された動画又は静止画像群から環状光学系合焦画像と同じタイミングで撮像されたフレームの画像又は静止画像を中央光学系合焦画像として抽出する中央光学系合焦画像抽出部を更に備えた、上記(9)の撮像装置。
 本態様によれば、環状光学系合焦画像と同じタイミングで撮像されたフレームの画像又は静止画像が、中央光学系合焦画像として抽出される。なお、ここでの「同じタイミング」には、ほぼ同じタイミングを含むものである。
 (11)上記(1)から(10)のいずれか一の撮像装置と、撮像装置が搭載された移動体と、を備えた移動撮像装置。
 本態様によれば、上記(1)から(10)のいずれか一の撮像装置が移動体に搭載されて、移動撮像装置が構成される。移動体は、たとえば、無人航空機(いわゆるドローン)、自動運転車等で構成できる。
 本発明によれば、焦点調節に係わる構成を小型化及び軽量化できる。また、これにより焦点調節を高速化できる。更に、動作時の振動も防止できる。
本発明が適用された撮像装置の一実施形態の概略構成を示す断面図 図1の2-2断面図 図1の3-3断面図 中央光学系のレンズ構成を示す図 環状光学系のレンズ構成を示す図 中央光学系及びイメージセンサの移動状態を示す図 イメージセンサの概略構成を示す図 イメージセンサの各画素が対応する光学系からの光を選択的に受光する構成の概念図 撮像装置の電気的構成を示すブロック図 コンピュータが実現する主な機能のブロック図 連写モードAでの撮像処理の手順を示すフローチャート 連写モードBでの撮像処理の手順を示すフローチャート 環状光学系で合焦する被写体の距離の変化のさせ方の一例を示す図 環状光学系で合焦する被写体の距離の変化のさせ方の他の一例を示す図 移動撮像装置の一実施形態の概略構成を示す図 合成画像の生成を目的とした無人航空機の飛行制御の概念図 図1に示す撮像装置におけるイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表 イメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフ 及び イメージセンサをノコギリ波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表 イメージセンサをノコギリ波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフ 及び イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表 イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフ 図1に示す撮像装置におけるイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表 イメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフ 及び イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表 イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフ
 以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
 ◆◆撮像装置◆◆
 [撮像装置の構成]
 図1は、本発明が適用された撮像装置の一実施形態の概略構成を示す断面図である。また、図2は、図1の2-2断面図、図3は、図1の3-3断面図である。
 本実施の形態の撮像装置1は、広角及び望遠の2つの画像を同軸上で同時に撮像する撮像装置であり、広角及び望遠の2つの光学系を備えた撮像レンズ10と、指向性を有するイメージセンサ20と、を備えて構成される。なお、同軸には、ほぼ同軸とみなせる範囲を含むものであり、同時には、ほぼ同時の範囲を含むものである。
 《撮像レンズ》
 撮像レンズ10は、広角の光学系を構成する中央光学系12と、望遠の光学系を構成する環状光学系14と、環状光学系14の焦点を調節する環状光学系焦点調節機構30と、を備える。
 〈中央光学系〉
 図4は、中央光学系のレンズ構成を示す図である。
 中央光学系12は、固定焦点の光学系として、8枚のレンズ12a~12hで構成される。各レンズ12a~12hは、光軸Lに沿って配置される。中央光学系12に入射した光は、各レンズ12a~12hを通ってイメージセンサ20に入射する。
 中央光学系12は、パンフォーカスで撮像する設定とされる。中央光学系12は、その光路中に図示しない絞りを備える。中央光学系12は、絞りの設定によってパンフォーカスが実現される。換言すると、中央光学系12は、パンフォーカスとなるように、絞りが設定される。
 〈環状光学系〉
 環状光学系14は、中央光学系12と同心状に配置される。したがって、環状光学系14は、中央光学系12と同じ光軸Lを有する光学系であり、中央光学系12と同軸上で撮像できる光学系である。
 図5は、環状光学系のレンズ構成を示す図である。
 環状光学系14は、反射屈折光学系で構成され、3枚のレンズ14a、14b、14cと、2枚の鏡14d、14eと、を組み合わせて構成される。
 3枚のレンズ14a、14b、14cは、円環形状を有し、光軸Lに沿って配置される。3枚のレンズ14a、14b、14cを被写体側から順に第1レンズ14a、第2レンズ14b、第3レンズ14cとする。
 2枚の鏡14d、14eは、主鏡14d及び副鏡14eで構成される。主鏡14dは、第3レンズ14cの像面側の面に備えられる。主鏡14dは、たとえば、第3レンズ14cの像面側の面の全面をミラー加工することにより、第3レンズ14cの像面側の面の全面に備えられる。副鏡14eは、第2レンズ14bの像面側の面に備えられる。副鏡14eは、たとえば、第2レンズ14bの像面側の面の内側の部分をリング状にミラー加工することにより、第2レンズ14bの像面側の面の内側の部分にリング状に備えられる。
 環状光学系14に入射した光は、第1レンズ14a、第2レンズ14b、第3レンズ14cの順に通過し、主鏡14dで反射される。主鏡14dで反射された光は、第3レンズ14cを通って副鏡14eに入射し、副鏡14eで反射されてイメージセンサ20に入射する。
 環状光学系14は、その光路中に図示しない絞りを備える。絞りは、その外径を拡縮させることにより、環状光学系14を通過する光の光量を調整する。
 《環状光学系焦点調節機構》
 環状光学系焦点調節機構30は、中央光学系12及びイメージセンサ20を光軸Lに沿って一体的に移動させて、環状光学系14の焦点を調節する。
 図1に示すように、環状光学系焦点調節機構30は、固定筒32と、移動筒34と、イメージセンサホルダ36と、直動ガイド機構と、アクチュエータ50と、位置検出ユニット60と、を備えて構成される。
 〈固定筒〉
 固定筒32は、撮像装置1の図示しない本体フレームに固定して配置される。固定筒32は、環状光学系14を保持する。環状光学系14を構成する各レンズ14a、14b、14cは、それぞれ固定筒32の内部に位置決めされて取り付けられる。
 〈移動筒〉
 移動筒34は、固定筒32の内部に配置され、かつ、固定筒32と同軸上に配置される。移動筒34は、中央光学系12を保持する。中央光学系12を構成する各レンズ12a~12hは、それぞれ移動筒34の内部に位置決めされて取り付けられる。
 〈イメージセンサホルダ〉
 イメージセンサホルダ36は、イメージセンサホルダ36を保持する。イメージセンサホルダ36は、円盤形状を有し、その中央にイメージセンサ20を保持する。イメージセンサホルダ36は、固定筒32の内部に配置され、かつ、固定筒32と同軸上に配置される。イメージセンサ20は、イメージセンサホルダ36に保持されて、光軸L上に配置される。
 〈直動ガイド機構〉
 直動ガイド機構は、中央光学系12及びイメージセンサ20が光軸Lに沿って一体的に移動するように直動ガイドする。
 直動ガイド機構は、2つのリニアブッシュ38A、38B、その2つのリニアブッシュ
38A、38Bに直動ガイドされる2つのリニアシャフト40A、40Bと、を備えて構成される。
 2つのリニアブッシュ38Aは、固定筒32に備えられる。各リニアブッシュ38Aは、固定筒32の外周面上に配置され、光軸Lに対して対象に配置される。各リニアブッシュ38Aは、それぞれ光軸Lと平行に配置される。
 2つのリニアシャフト40A、40Bは、それぞれ対応するリニアブッシュ38Aにスライド自在に支持される。したがって、各リニアシャフト40A、40Bは、光軸Lと平行に配置され、かつ、光軸Lと平行にスライドする。
 各リニアシャフト40A、40Bの先端は、それぞれ移動筒支持アーム42A、42Bに連結される。図1及び図2に示すように、各移動筒支持アーム42A、42Bは、それぞれ棒形状を有し、その基端部が移動筒34の先端部外周に固定される。固定筒32には、この移動筒支持アーム42A、42Bが挿通される前側スリット44A、44Bが備えられる。各前側スリット44A、44Bは、それぞれ光軸Lと平行に設けられる。
 各リニアシャフト40A、40Bの後端は、それぞれホルダ支持アーム46A、46Bに連結される。図1及び図3に示すように、各ホルダ支持アーム46A、46Bは、それぞれ棒形状を有し、その基端部がイメージセンサホルダ36の外周に固定される。固定筒32には、このホルダ支持アーム46A、46Bが挿通される後側スリット48A、48Bが備えられる。各後側スリット48A、48Bは、それぞれ光軸Lと平行に設けられる。
 以上のように構成される直動ガイド機構は、リニアシャフト40A、40Bをスライドさせると、移動筒34及びイメージセンサホルダ36が、光軸Lに沿って一体的に移動する。これにより、移動筒34に保持された中央光学系12及びイメージセンサホルダ36に保持されたイメージセンサ20が光軸Lに沿って一体的に移動する。
 〈アクチュエータ〉
 アクチュエータ50は、リニアモータで構成される。リニアモータは、可動子を構成するコイル50Aと、固定子を構成するマグネット50Bと、を備える。コイル50Aは、リニアシャフト40Aに取り付けられ、マグネット50Bは、固定筒32に取り付けられる。コイル50Aに電流を流すことで磁界が発生し、コイル50Aが直線移動する。これにより、リニアシャフト40Aが、光軸Lに沿って前後移動する。
 アクチュエータ50を駆動して、リニアシャフト40Aを光軸Lに沿って前後移動させると、リニアシャフト40Aに連結された移動筒34及びイメージセンサホルダ36が光軸Lに沿って一体的に前後移動する。これにより、固定された環状光学系14に対して、中央光学系12及びイメージセンサ20が光軸Lに沿って一体的に前後移動する。
 図6は、中央光学系及びイメージセンサの移動状態を示す図である。同図(A)は、中央光学系及びイメージセンサを像面側に移動させた状態を示しており、同図(B)は、中央光学系及びイメージセンサを被写体側に移動させた状態を示している。
 同図に示すように、環状光学系焦点調節機構30は、固定された環状光学系14に対して、中央光学系12及びイメージセンサ20を光軸Lに沿って移動させることができる。これにより、環状光学系14の焦点を調節できる。すなわち、固定された環状光学系14に対して、イメージセンサ20を移動させることができるので、環状光学系14の焦点を調節できる。また、中央光学系12との関係では、中央光学系12とイメージセンサ20とが一体的に移動するので、中央光学系12で設定されたパンフォーカスの状態を維持できる。
 環状光学系14は、中央光学系12及びイメージセンサ20を被写体側に移動させることにより、遠距離の被写体に合焦し、像面側に移動させることにより、近距離の被写体に合焦する。
 〈位置検出ユニット〉
 位置検出ユニット60は、フォトインタラプタ62及びMRセンサ(MRセンサ:Magneto Resistive Sensor/磁気抵抗効果素子)64を備える。フォトインタラプタ62は、環状光学系14に対してイメージセンサ20が原点に位置したことを検出する。原点の位置は、あらかじめ設定される。MRセンサ64は、イメージセンサ20の変位量を検出する。フォトインタラプタ62によってイメージセンサ20が原点に位置したことを検出し、原点からの変位量をMRセンサ64で検出する。これにより、原点に対するイメージセンサ20の位置を検出できる。
 《イメージセンサ》
 イメージセンサ20は、中央光学系12を通過した光を選択的に受光する画素と、環状光学系14を通過した光を選択的に受光する画素と、を備えた指向性を有するイメージセンサで構成され、中央光学系12で結像される像と環状光学系14で結像される像とを同時に撮像する。
 図7は、イメージセンサの概略構成を示す図である。
 同図に示すように、イメージセンサ20は、中央光学系12を通過した光を選択的に受光する中央光学系受光画素22aと、環状光学系14を通過した光を選択的に受光する環状光学系受光画素22bと、を有する。環状光学系受光画素22b及び中央光学系受光画素22aは、同一面上に規則的に配列される。図7に示す例では、中央光学系受光画素22aと環状光学系受光画素22bとが交互に配列されている。
 図8は、イメージセンサの各画素が対応する光学系からの光を選択的に受光する構成の概念図である。
 同図に示すように、各画素は、フォトダイオード24と、マイクロレンズ26と、遮光マスク28と、を備えて構成される。
 マイクロレンズ26は、フォトダイオード24の前方に配置される。マイクロレンズ26は、環状光学系14及び中央光学系12の瞳像をフォトダイオード24に結像させる。
 遮光マスク28は、マイクロレンズ26とフォトダイオード24との間に配置される。遮光マスク28は、マイクロレンズ26を通過した光の一部を遮光する。中央光学系受光画素22aの遮光マスク28は、環状光学系14を通過した光Lbを遮光する形状を有し、リング形状を有する。環状光学系受光画素22bの遮光マスク28は、中央光学系12を通過した光Laを遮光する形状を有し、円形状を有する。
 以上の構成により、中央光学系受光画素22aは、中央光学系12を通過した光Laを選択的に受光し、環状光学系受光画素22bは、環状光学系14を通過した光Lbを選択的に受光する。したがって、中央光学系受光画素22aの画像信号を取得することにより、中央光学系12を介して得られる画像ImWの画像信号を取得でき、環状光学系受光画素22bの画像信号を取得することにより、環状光学系14を介して得られる画像ImTの画像信号を取得できる。
 本実施の形態の撮像レンズ10は、中央光学系12が広角の光学系で構成され、環状光学系14が望遠の光学系で構成される。したがって、中央光学系12で撮像される画像ImWは広角の画像となり、環状光学系14で撮像される画像ImTは望遠の画像となる。各光学系の画像は同軸上で撮像される。したがって、環状光学系14の画像ImTは、中央光学系12の画像ImWの中央部分を拡大した画像となり、視差のない画像となる。
 なお、カラー画像を取得する場合には、環状光学系受光画素22b及び中央光学系受光画素22aにカラーフィルタが備えられる。カラーフィルタは規定の配列で配置される。たとえば、赤(R:RED)、緑(G:GREEN)、青(B:BLUE)の3色からなるカラーフィルタがベイヤー配列で配置される。これにより、カラー画像を取得できる。
 [撮像装置の電気的構成]
 図9は、撮像装置の電気的構成を示すブロック図である。
 同図に示すように、撮像装置1は、アナログ信号処理部110、コンピュータ120、記録部130、操作部140等を備える。
 《アナログ信号処理部》
 アナログ信号処理部110は、イメージセンサ20から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理(たとえば、相関二重サンプリング処理、増幅処理等)を施す。アナログ信号処理部110は、ADコンバータ(Analog to Digital Converter)を含み、所定の信号処理を終えた後のアナログの画像信号をデジタルの画像信号に変換して出力する。
 《コンピュータ》
 コンピュータ120は、CPU(Central Processing Unit/中央処理装置)、RAM
(Random Access Memory)及びROM(Read Only Memory)を備え、所定のプログラムを実行して、各種処理を実行する。
 図10は、コンピュータが実現する主な機能のブロック図である。
 コンピュータ120は、所定のプログラムを実行することにより、デジタル信号処理部120a、撮像制御部120b、環状光学系焦点調節制御部120c、位置検出部120d、画像出力制御部120e、記録制御部120f等として機能する。
 〈デジタル信号処理部〉
 デジタル信号処理部120aは、アナログ信号処理部110から出力されるデジタルの画像信号を取り込み、所定の信号処理(たとえば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、YC変換処理等)を施して、画像データを生成する。この際、デジタル信号処理部120aは、イメージセンサ20の中央光学系受光画素22aの画像信号に基づいて、第1の画像データを生成し、環状光学系受光画素22bの画像信号に基づいて、第2の画像データを生成する。第1の画像データは、中央光学系12で撮像される画像の画像データであり、広角の画像データである。第2の画像データは、環状光学系14で撮像される画像の画像データであり、望遠の画像である。
 また、デジタル信号処理部120aは、取り込んだ画像信号に基づいて、露出制御に必要な被写体の明るさを検出する。
 更に、デジタル信号処理部120aは、取り込んだ画像信号に基づいて、環状光学系14の焦点調節に必要な評価値を検出する。たとえば、所定のフォーカスエリアにおけるコントラストを環状光学系14の焦点の評価値として検出する。
 〈撮像制御部〉
 撮像制御部120bは、イメージセンサ20による撮像を制御する。撮像制御部120bは、イメージセンサドライバ20aを介してイメージセンサ20の駆動を制御し、イメージセンサ20による撮像を制御する。
 なお、撮像は、動画及び静止画の撮像が可能である。いずれを撮像するかは、操作部140で設定される。
 動画を撮像する場合は、所定のフレームレートで動画が撮像されるように、イメージセンサ20の駆動が制御される。
 静止画を撮像する場合は、適正露出で静止画が撮像されるように、イメージセンサ20の駆動が制御される。
 〈環状光学系焦点調節制御部〉
 環状光学系焦点調節制御部120cは、環状光学系14の焦点調節を制御する。環状光学系焦点調節制御部120cは、リニアモータドライバ50aを介してアクチュエータ50の駆動を制御し、環状光学系14の焦点調節を制御する。すなわち、アクチュエータ50の駆動を制御することにより、環状光学系14に対するイメージセンサ20の位置を制御して、環状光学系14の焦点調節を制御する。
 なお、環状光学系14の焦点調節制御は、撮像のモードに応じた処理が行われる。この点については、後に詳述する。
 〈位置検出部〉
 位置検出部120dは、フォトインタラプタ62及びMRセンサ64の出力に基づいて、イメージセンサ20の位置を検出する。
 〈画像出力制御部〉
 画像出力制御部120eは、撮像により得られた画像の出力を制御する。画像出力制御部120eは、デジタル信号処理部120aで生成された中央光学系12の画像データを表示用の出力形式に変換して中央光学系画像出力端子150aから出力する。また、環状光学系14の画像データを表示用の出力形式に変換して環状光学系画像出力端子150bから出力する。中央光学系画像出力端子150a及び環状光学系画像出力端子150bには、たとえば、モニタが接続され、このモニタに撮像により得られた画像が表示される。
 〈記録制御部〉
 記録制御部120fは、撮像により得られた画像の記録を制御する。記録制御部120fは、デジタル信号処理部120aで生成された中央光学系12の画像データ及び環状光学系14の画像データを記録用のデータ形式に変換して、記録部130に記録する。
 《記録部》
 記録部130は、たとえば、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性メモリで構成される。
 《操作部》
 操作部140は、電源スイッチ、レリーズボタン、モードダイヤル等の各種操作手段を含み、操作に応じた信号をコンピュータ120に出力する。
 [撮像装置の作用]
 本実施の形態の撮像装置1では、動画及び静止画を撮像できる。いずれを撮像するかは、操作部140で設定される。
 なお、静止画の撮像には、ノーマルモード、連写モードA及び連写モードBの3つの撮像モードが用意され、各モードに応じた焦点調節制御が行われる。
 また、動画の撮像には、ノーマルモード及びフォーカススキャンモードの2つの撮像モードが用意され、各モードに応じた焦点調節制御が行われる。
 以下、撮像モードごとに、その処理の内容を説明する。
 《静止画の撮像》
 〈ノーマルモード〉
 ノーマルモードでは、環状光学系14に関して、いわゆるコントラスト方式の焦点調節制御を行う。
 環状光学系焦点調節制御部120cは、操作部140を介してAF(autofocus:自動焦点合わせ)が指示されると、アクチュエータ50を駆動し、イメージセンサ20を可動範囲の一端から他端に向けて移動させる。その移動過程で環状光学系14の焦点の評価値の情報を取得し、取得した評価値が極大となるイメージセンサ20の位置を検出する。検出したイメージセンサ20の位置を環状光学系14の合焦位置とし、合焦位置にイメージセンサ20を移動させる。これにより、環状光学系14の焦点を合わせることができる。
 AFの指示は、たとえば、レリーズボタンの半押しで行う。レリーズボタンの半押し後、全押しすると、記録用の撮像が指示される。撮像制御部120bは、記録用の撮像の指示に応じて、記録用の撮像処理を実施する。撮像により得られた画像は、記録部130に記録される。
 このように、ノーマルモードでは、環状光学系14に関して、コントラスト方式の焦点調節制御が行われる。
 〈連写モードA〉
 連写モードAでは、イメージセンサ20を移動させながら連続的に静止画を撮像する。イメージセンサ20は、可動範囲の一端から他端に向けて一定ピッチで移動させる。すなわち、連写モードAでは、イメージセンサ20を一定の範囲で移動させて、静止画を連写する。
 図11は、連写モードAでの撮像処理の手順を示すフローチャートである。
 撮像が指示されると、環状光学系焦点調節制御部120cは、イメージセンサ20を最短撮影距離(Minimum Object Distance:MOD)の位置(MOD位置)に移動させる(ステップS1)。
 次に、記録用の撮像を行う(ステップS2)。撮像により得られた画像は、記録部130に記録される(ステップS3)。
 次に、環状光学系焦点調節制御部120cは、イメージセンサ20が無限遠(infinity:INF)の被写体に合焦する位置(INF位置)に到達したか否かを判定する(ステップS4)。
 INF位置に到達していないと判定すると、環状光学系焦点調節制御部120cは、アクチュエータ50を駆動し、イメージセンサ20を1ステップ分移動させる(ステップS5)。移動後、撮像処理を実施する(ステップS2)。
 このように、連写モードAでは、イメージセンサ20を1ステップずつ移動させ、その都度、撮像を実施する。イメージセンサ20が、INF位置に到達し、INF位置での撮像が終了した段階で処理を終了する。
 撮像により得られた静止画像群は、他の撮像により得られた画像と区別可能な状態で記録部130に記録される。たとえば、撮像ごとにフォルダを変えて記録される。あるいは、一連の画像に同じ識別用タグ等が付されて記録される。
 MODからINFの間に主要被写体が存在すれば、連写モードAで撮像することにより、環状光学系14で少なくとも1枚の合焦画像(環状光学系合焦画像)を撮像できる。また、MODからINFの間に複数の被写体が存在する場合は、任意の被写体を選択して、合焦画像を得られる。中央光学系12については、環状光学系14で合焦画像とされた画像と同じタイミングで撮像された画像を中央光学系12の合焦画像(中央光学系合焦画像)として取得する。
 〈連写モードB〉
 連写モードBでは、撮像が指示されている間、連続的に静止画を撮像する。その際、イメージセンサ20を周期的に移動させる。すなわち、連写モードBでは、イメージセンサを周期的に移動させながら、継続的に静止画を連写する。
 図12は、連写モードBでの撮像処理の手順を示すフローチャートである。
 まず、撮像の開始指示の有無が判定される(ステップS11)。撮像の開始は、たとえば、レリーズボタンの全押しで指示される。
 撮像の開始が指示されたと判定すると、環状光学系焦点調節制御部120cは、イメージセンサ20をMOD位置に移動させる(ステップS12)。
 移動後、記録用の撮像を行う(ステップS13)。撮像により得られた画像は、記録部130に記録される(ステップS14)。
 この後、撮像の終了指示の有無が判定される(ステップS15)。撮像の終了は、たとえば、レリーズボタンの全押しで指示される。すなわち、1回目のレリーズボタンの全押しで撮像の開始が指示され、2回目のレリーズボタンの全押しで撮像の終了が指示される。この他、たとえば、レリーズボタンを全押ししている間、撮像が指示され、離されると、撮像の終了が指示される形態とすることもできる。
 撮像の終了が指示されていないと判定すると、環状光学系焦点調節制御部120cは、アクチュエータ50を駆動し、イメージセンサ20を1ステップ分移動させる(ステップS16)。移動後、撮像処理を実施する(ステップS13)。
 このように、連写モードBでは、イメージセンサ20を周期的に移動させて、合焦する被写体の距離を周期的に変化させながら、静止画が連続的に撮像される。
 図13は、環状光学系で合焦する被写体の距離の変化のさせ方の一例を示す図である。
 同図に示すように、MOD及びINFの間で合焦する被写体の距離(合焦被写体距離)を正弦波状に変化させることができる。この場合、MOD位置及びINF位置の間でイメージセンサ20を正弦波状に変位させる。これにより、MOD及びINFの間で合焦する被写体の距離を周期的に変化させることができる。
 撮像により得られた静止画像群は、MODからINFへの移動区間(往路)、及び、INFからMODへの移動区間(復路)を1走査区間として、記録部130に記録される。環状光学系14に関して、MODからINFの間に主要被写体が存在すれば、走査区間ごとに少なくとも1枚の合焦画像が得られる。
 環状光学系14の合焦画像(環状光学系合焦画像)は、撮像により得られた環状光学系14の静止画像群を走査区間ごとに解析(変位の周期ごとに解析)し、最も鮮鋭度の高い静止画像(=最も焦点評価値の高い画像=最もコントラストの高い画像)を抽出することにより取得できる。
 中央光学系12の合焦画像(中央光学系合焦画像)は、環状光学系14の合焦画像と同じタイミングで撮像された画像を抽出することで取得できる。
 図14は、環状光学系で合焦する被写体の距離の変化のさせ方の他の一例を示す図である。
 同図に示すように、MOD及びINFの間で合焦する被写体の距離(合焦被写体距離)をノコギリ波状に変化させることができる。この場合、MOD位置及びINF位置の間でイメージセンサ20をノコギリ波状に変位させる。これにより、MOD及びINFの間で合焦する被写体の距離を周期的に変化させることができる。
 ノコギリ波状に変位させる場合、MODからINFへの移動区間(往路)を1走査区間として、記録部130に記録される。環状光学系14に関して、MODからINFの間に主要被写体が存在すれば、走査区間ごとに少なくとも1枚の合焦画像が得られる。
 《動画の撮像》
 〈ノーマルモード〉
 ノーマルモードでは、環状光学系14に関して、いわゆるコントラスト方式の焦点調節制御が連続的に行われ、主要被写体に連続的に合焦するよう制御される。
 〈フォーカススキャンモード〉
 フォーカススキャンモードでは、撮像中、イメージセンサ20が周期的に移動し、環状光学系14で合焦する被写体の距離が周期的に変化する。たとえば、MODからINFの間で周期的に変化する。
 環状光学系焦点調節制御部120cは、撮像が開始されると、アクチュエータ50を駆動し、イメージセンサ20を周期的に移動させる。これにより、環状光学系14で合焦する被写体の距離が周期的に変化する。イメージセンサ20は、正弦波状(図13参照)又はノコギリ波状(図14参照)に変位させる。
 このように、フォーカススキャンモードでは、イメージセンサ20を周期的に移動させることにより、環状光学系14で合焦する被写体の距離を周期的に変化させて、動画を撮像する。
 フォーカススキャンモードで撮像された動画は、後の処理で合焦した静止画を取得するのに用いられる。すなわち、フォーカススキャンモードでは、合焦する被写体の距離が周期的に変化するので、合焦可能な距離の範囲内に主要被写体が存在すれば、各周期で少なくとも1フレームは、主要被写体に合焦する。したがって、環状光学系14に関して、得られた動画をイメージセンサ20の変位の周期ごとに解析すれば、周期ごとに少なくとも1枚の合焦画像が得られる。すなわち、各周期で最も鮮鋭度の高いフレームの画像を抽出すれば、周期ごとに合焦した静止画を取得できる。
 中央光学系12に関しては、環状光学系14で合焦画像として抽出されたフレームの画像と同じタイミングで撮像されたフレームの画像を中央光学系12の合焦画像(中央光学系合焦画像)とする。
 [撮像装置の効果]
 以上説明したように、本実施の形態の撮像装置1では、中央光学系12は固定焦点のパンフォーカスとし、環状光学系14についてのみ焦点調節機能が備えられる。これにより、構成を簡素化でき、装置全体を軽量かつコンパクトにできる。
 また、環状光学系14を焦点調節する際、中央光学系12をイメージセンサ20と一体的に移動させるので、中央光学系12については、常にパンフォーカスの状態を維持して撮像できる。
 また、中央光学系12は、環状光学系14に比して小型かつ軽量であるため、イメージセンサ20と一体的に移動させる場合であっても、その機構を軽量かつコンパクトにできる。また、アクチュエータ50も小型軽量のものを使用できる。これにより、装置全体を小型かつ軽量化できる。
 また、中央光学系12及びイメージセンサ20を一体的に移動させる場合であっても、その構成が軽量かつコンパクトであるため、高速に動作させることができる。また、振動、騒音等の発生も抑制できる。
 [撮像装置の変形例]
 《撮像レンズの変形例》
 上記実施の形態では、撮像レンズ10が、中央光学系12が広角の光学系で構成され、環状光学系14が望遠の光学系で構成されているが、撮像レンズ10の構成は、これに限定されるものではない。
 ただし、中央光学系12に関しては、パンフォーカスとすることから、比較的容易にパンフォーカスを実現できる構成であることが好ましい。
 一般に、パンフォーカスは、焦点距離が短いほど実現しやすくなる。したがって、中央光学系を短焦点の光学系で構成し、環状光学系を中央光学系よりも長い焦点距離の光学系で構成することが考えられる。これにより、焦点距離の異なる画像を同軸上で同時に撮像できる。したがって、たとえば、中央光学系を広角の光学系で構成し、環状光学系14を標準の光学系で構成することもできる。
 なお、一般に標準の光学系とは、画角が50°前後の光学系をいう。広角の光学系とは、標準に比べて広い画角(おおよそ60°以上)を有し、広範囲を撮像できる光学系をいう。また、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系を有し、遠距離の被写体を拡大撮像できる光学系をいう。
 また、一般にパンフォーカスは、遠距離の撮像になるほど実現しやすくなる。したがって、中央光学系が遠距離、環状光学系が近距離を撮像する設定とすることもできる。これにより、遠距離及び近距離の2つの画像を同軸上で同時に撮像できる。
 なお、一般に被写界深度は、被写体までの距離が遠くなるほど深くなる。したがって、遠距離の被写体はパンフォーカスで撮像できる。一方、近距離の被写体をパンフォーカスで撮像することは難しい。したがって、遠距離の被写体は、パンフォーカスの中央光学系で撮像し、近距離の被写体は、焦点調節機能を備えた環状光学系で撮像することにより、遠距離及び近距離の双方で合焦した画像を同時に撮像できる。
 なお、ここでの「遠距離」及び「近距離」とは、中央光学系と環状光学系との間で定まる関係である。すなわち、中央光学系は、環状光学系に対して近距離の被写体を撮像する設定とされ、環状光学系は、中央光学系に対して遠距離の被写体を撮像する設定とされる。
 ただし、中央光学系については、パンフォーカスで撮像する関係上、パンフォーカスで撮像可能な距離に設定される。たとえば、広角から標準の画角(おおよそ50°以上)の場合、中央光学系は、3mから無限遠を撮像する設定とされる。
 なお、遠距離及び近距離を撮像する場合、遠距離を望遠の光学系で撮像し、近距離を広角の光学系で撮像する構成とすることもできる。
 また、図1に示した撮像装置における各光学系のレンズ構成は一例であり、他のレンズ構成を採用することもできる。特に、上記実施の形態では、環状光学系を反射屈折光学系で構成しているが、環状光学系は、反射を利用しない構成とすることもできる。なお、環状光学系については、反射屈折光学系で構成することにより、全体の構成をコンパクトにできる。
 また、上記実施の形態では、環状光学系14を1つの光学系で構成しているが、複数の光学系で構成することもできる。たとえば、環状光学系を二分割し、異なる焦点距離の光学系で構成することもできる。この場合、イメージセンサは、環状光学系の各光学系からの光を選択的に受光できる構成とする。環状光学系を複数の光学系で構成する場合は、周方向に分割する態様としてもよいし、また、同心状に複数分割する態様としてもよい。
 《環状光学系焦点調節機構の変形例》
 上記実施の形態では、中央光学系12及びイメージセンサ20を直動するリニアシャフトで連結し、そのリニアシャフトをリニアモータで直動させる構成としているが、中央光学系12及びイメージセンサ20を一体的に移動させる構成は、これに限定されるものではない。この他、たとえば、送りネジとモータとを組み合わせた駆動機構によって、中央光学系12及びイメージセンサ20を一体的に移動させる構成とすることもできる。また、カム筒とモータとを組み合わせた駆動機構によって、中央光学系12及びイメージセンサ20を一体的に移動させる構成とすることもできる。
 また、中央光学系12及びイメージセンサ20は、手動で動かす構成とすることもできる。手動で動かす場合も、中央光学系12及びイメージセンサ20は軽量であるため、軽い力で動かすことができる。
 《環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部》
 連写モードA及び連写モードBで撮像された静止画像群から環状光学系合焦画像及び中央光学系合焦画像を抽出する機能を撮像装置に備えてもよい。同様にフォーカススキャンモードで撮像された動画から環状光学系合焦画像及び中央光学系合焦画像を抽出する機能を撮像装置に備えてもよい。
 〈連写モードAで撮像された静止画像群から環状光学系合焦画像及び中央光学系合焦画像を抽出する機能〉
 連写モードAで撮像された静止画像群から環状光学系合焦画像を抽出する処理は、次のように行われる。すなわち、撮像により得られた環状光学系の静止画像群を解析し、最も鮮鋭度の高い画像を環状光学系合焦画像として抽出する。
 中央光学系合焦画像については、環状光学系合焦画像として抽出された静止画と同じタイミングで撮像された中央光学系の静止画を中央光学系合焦画像とする。
 この処理は、たとえば、コンピュータ120で行う。すなわち、コンピュータ120が所定のプログラムを実行することにより、環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部として機能する。環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部は、記録部130に記録された画像データを読み出して、抽出処理を実行する。
 なお、本抽出処理を行った場合は、抽出された画像のみを記録部130に記録するようにしてもよい。
 〈連写モードBで撮像された静止画像群から環状光学系合焦画像及び中央光学系合焦画像を抽出する機能〉
 連写モードBで撮像された静止画像群から環状光学系合焦画像を抽出する処理は、次のように行われる。すなわち、撮像により得られた環状光学系の静止画像群を中央光学系及びイメージセンサの変位の周期ごとに解析し、最も鮮鋭度の高い画像を環状光学系合焦画像として変位の周期ごとに抽出する。
 中央光学系合焦画像については、環状光学系合焦画像として抽出された静止画と同じタイミングで撮像された中央光学系の静止画を中央光学系合焦画像とする。
 この処理は、たとえば、コンピュータ120で行う。すなわち、コンピュータ120が所定のプログラムを実行することにより、環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部として機能する。環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部は、記録部130に記録された画像データを読み出して、抽出処理を実行する。あるいは、周期ごとにリアルタイムに抽出処理を実施する。
 なお、本抽出処理を行った場合は、抽出された画像のみを記録部130に記録するようにしてもよい。
 〈フォーカススキャンモードで撮像された動画から環状光学系合焦画像及び中央光学系合焦画像を抽出する機能〉
 フォーカススキャンモードで撮像された動画から環状光学系合焦画像を抽出する処理は、次のように行われる。すなわち、撮像により得られた環状光学系の動画を中央光学系及びイメージセンサの変位の周期ごとに解析し、最も鮮鋭度の高いフレームの画像を環状光学系合焦画像として変位の周期ごとに抽出する。
 中央光学系合焦画像については、環状光学系合焦画像として抽出されたフレームの画像と同じタイミングで撮像された中央光学系のフレームの画像を中央光学系合焦画像とする。
 この処理は、たとえば、コンピュータ120で行う。すなわち、コンピュータ120が所定のプログラムを実行することにより、環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部として機能する。環状光学系合焦画像抽出部及び中央光学系合焦画像抽出部は、記録部130に記録された画像データを読み出して、抽出処理を実行する。あるいは、周期ごとにリアルタイムに抽出処理を実施する。
 なお、本抽出処理を行った場合は、抽出された画像のみを記録部130に記録するようにしてもよい。
 ◆◆移動撮像装置◆◆
 [移動撮像装置の構成]
 移動撮像装置は、本発明が適用された撮像装置を移動体に搭載することにより、移動しながら2つの画像を同軸上で同時に撮像できるように構成した装置である。
 図15は、移動撮像装置の一実施形態の概略構成を示す図である。
 本実施の形態の移動撮像装置200は、撮像装置210と、その撮像装置210が搭載された無人航空機220と、撮像装置210及び無人航空機220を遠隔操作するコントローラ230と、を備えて構成される。
 《撮像装置》
 撮像装置210の構成は、上記実施の形態で説明した撮像装置1の構成と基本的には同じである。すなわち、広角の中央光学系と、望遠の環状光学系と、指向性を有するイメージセンサと、を備え、中央光学系及びイメージセンサを一体的に移動させて、環状光学系の焦点を調節する。
 なお、本実施の形態の撮像装置210は、コントローラ230で遠隔操作されることから、コントローラ230との間で無線通信するための無線通信手段が備えられる。
 《無人航空機》
 無人航空機220は、移動体の一例である。無人航空機220は、いわゆるドローンであり、コントローラ230による操作に基づき大気中を飛行する。この種の無人航空機の構成は公知であるので、その詳細な説明は省略する。
 [移動撮像装置による撮像]
 移動撮像装置200は、コントローラ230の操作に基づいて、無人航空機220が大気中を飛行する。また、コントローラ230の操作に基づいて、撮像装置210が、静止画又は動画を撮像する。
 静止画の撮像モードとして、ノーマルモード、連写モードA及び連写モードBを備え、動画の撮像モードとして、ノーマルモード及びフォーカススキャンモードを備えている点は、上記実施の形態で説明した撮像装置1と同じである。
 本実施の形態の移動撮像装置200は、望遠及び広角の画像を同軸上で同時に撮像できることから、次のような用途に適している。すなわち、上空から地表を連続的に撮像し、得られた画像群を繋ぎ合わせて、広域を写した一枚の合成画像を生成する用途に適している。この種の合成画像は、一般に隣接する画像間で対応する特徴点を抽出し、対応する特徴点同士が重なるように位置合わせして結合することにより生成される。本実施の形態の移動撮像装置200は、望遠及び広角の画像を同軸上で同時に撮像できることから、広角の画像で特徴点の抽出処理を行い、望遠の画像で合成処理を行うということができる。広角の画像で特徴点の抽出処理を行うことにより、より多くの特徴点を抽出できるようになり、より高精度に位置合わせできるようになる。また、画像の合成は、望遠の画像を使用することにより、より高精細な合成画像を生成できる。
 合成画像の生成手法としては、この他、撮像により得られた一連の静止画像群を解析して、各画像を撮像した際の撮像装置の相対的な位置及び姿勢を推定し、その推定結果に基づいて、各画像を配置して合成画像を生成する手法を採用できる。この際、撮像により得られた広角の画像群を解析して、各画像を撮像した際の撮像装置の相対的な位置及び姿勢を推定し、その推定結果に基づいて、望遠の各画像を配置して合成画像を生成する。これにより、高精細な合成画像を高精度に生成できる。なお、各画像を撮像した際の撮像装置の相対的な位置及び姿勢を推定する手法には、たとえば、SfM(Structure from Motion)の手法を採用できる。
 合成画像の生成を目的とする場合は、連写モードBで静止画を撮像する。すなわち、合焦する被写体の距離を周期的に変化させながら連続的に静止画を撮像する。又は、フォーカススキャンモードで動画を撮像する。すなわち、合焦する被写体の距離を周期的に変化させながら動画を撮像する。
 また、合成画像の生成を目的とする場合は、次のように、無人航空機220の飛行を制御することが好ましい。
 図16は、合成画像の生成を目的とした無人航空機の飛行制御の概念図である。
 いま、一定の高度から真下に向けて撮像装置210で画像を撮像する場合を考える。この場合、中央光学系によって画角θAの範囲が撮像され、望遠光学系によって画角θBの範囲が撮像される。
 無人航空機220の移動方向における中央光学系の撮像範囲の幅をXA、環状光学系の撮像範囲の幅をXBとする。
 この場合、無人航空機220は、距離XB移動する間に少なくとも一回走査される速度に設定される。
 なお、ここでの走査とは、合焦する被写体の距離をMODからINF又はINFからMODに変化させることをいう。
 このように無人航空機220の飛行を制御することにより、合成対象である環状光学系の合焦画像を隙間なく撮像できる。
 ◆◆その他の実施の形態◆◆
 上記の実施の形態において、コンピュータに実現させている機能は、各種のプロセッサに実現させることができる。各種のプロセッサには、プログラムを実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 一つの機能は、同種又は異種の二つ以上のプロセッサに実現させてもよい。たとえば、複数のFPGAで実現させる構成としてもよいし、CPU及びFPGAの組み合わせで実現させる構成としてもよい。
 また、複数の機能を一つのプロセッサで構成してもよい。複数の機能を一つのプロセッサで実現する構成の例としては、第1に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のCPUとソフトウェアとの組合せで一つのプロセッサを構成し、このプロセッサに複数の機能を実現させる形態がある。第2に、システムオンチップ(SoC:System On Chip)などに代表されるように、複数の機能を一つのICチップ(IC:Integrated Circuit)で実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
 [実施例1]
 図17は、図1に示す撮像装置におけるイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表である。
 なお、環状光学系の焦点距離は44mmとしている。また、同図は、基準とする合焦被写体距離を1000[mm]とし、その前後一定範囲内での関係を示している。
 また、環状光学系14の第2主点(像側主点又は後側主点ともいう)からイメージセンサ20の表面までの距離を「イメージセンサ位置」とし、環状光学系14の第1種点(前側主点ともいう)から被写体までの距離を「合焦被写体距離」としている。
 図18は、イメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフである。
 同図に示すように、固定された環状光学系14に対してイメージセンサ20を変位させることにより、環状光学系14の合焦被写体距離が変化する。
 図19-1及び図19-2は、イメージセンサをノコギリ波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表である。また、図20は、イメージセンサをノコギリ波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフである。
 同図に示すように、固定された環状光学系14に対してイメージセンサ20をノコギリ波状に変位させることにより、環状光学系14の合焦被写体距離もノコギリ波状に変化する。
 図21-1及び図21-2は、イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表である。また、図22は、イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフである。
 同図に示すように、固定された環状光学系14に対してイメージセンサ20を正弦波状に変位させることにより、環状光学系14の合焦被写体距離も正弦波状に変化する。
 [実施例2]
 図23は、図1に示す撮像装置におけるイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表である。
 なお、環状光学系の焦点距離は84mmとしている。また、同図は、基準とする合焦被写体距離を5000[mm]とし、その前後一定範囲内での関係を示している。
 図24は、イメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフである。
 同図に示すように、固定された環状光学系14に対してイメージセンサ20を変位させることにより、環状光学系14の合焦被写体距離が変化する。
 図25-1及び図25-2は、イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示す表である。また、図26は、イメージセンサを正弦波状に変位させた場合のイメージセンサの位置と環状光学系の合焦被写体距離との関係を示すグラフである。
 同図に示すように、固定された環状光学系14に対してイメージセンサ20を正弦波状に変位させることにより、環状光学系14の合焦被写体距離も正弦波状に変化する。
1 撮像装置
10 撮像レンズ
12 中央光学系
12a レンズ
12b レンズ
12c レンズ
12d レンズ
12e レンズ
12f レンズ
12g レンズ
12h レンズ
14 環状光学系
14a 第1レンズ
14b 第2レンズ
14c 第3レンズ
14d 主鏡
14e 副鏡
20 イメージセンサ
20a イメージセンサドライバ
22a 中央光学系受光画素
22b 環状光学系受光画素
24 フォトダイオード
26 マイクロレンズ
28 遮光マスク
30 環状光学系焦点調節機構
32 固定筒
34 移動筒
36 イメージセンサホルダ
38A リニアブッシュ
38B リニアブッシュ
40A リニアシャフト
40B リニアシャフト
42A 移動筒支持アーム
42B 移動筒支持アーム
44A 前側スリット
44B 前側スリット
46A ホルダ支持アーム
46B ホルダ支持アーム
48A 後側スリット
48B 後側スリット
50 アクチュエータ
50A コイル
50B マグネット
50a リニアモータドライバ
60 位置検出ユニット
62 フォトインタラプタ
64 MRセンサ
110 アナログ信号処理部
120 コンピュータ
120a デジタル信号処理部
120b 撮像制御部
120c 環状光学系焦点調節制御部
120d 位置検出部
120e 画像出力制御部
120f 記録制御部
130 記録部
140 操作部
150a 中央光学系画像出力端子
150b 環状光学系画像出力端子
200 移動撮像装置
210 撮像装置
220 無人航空機
230 コントローラ
ImT 環状光学系で撮像される画像(望遠の画像)
ImW 中央光学系で撮像される画像(広角の画像)
L 光軸
La 中央光学系を通過する光
Lb 環状光学系を通過する光
S1~S5 連写モードAでの撮像処理の手順
S11~S16 連写モードBでの撮像処理の手順
XA 無人航空機の移動方向における中央光学系の撮像範囲の幅
XB 無人航空機の移動方向における環状光学系の撮像範囲の幅
θA 中央光学系の画角
θB 環状光学系の画角

Claims (11)

  1.  パンフォーカスで撮像する設定の中央光学系と、
     前記中央光学系と同心状に配置される環状光学系と、
     前記中央光学系を通過した光を選択的に受光する画素と前記環状光学系を通過した光を選択的に受光する画素とが同一面上に規則的に配列され、前記中央光学系で結像される像と前記環状光学系で結像される像とを同時に撮像するイメージセンサと、
     前記環状光学系に対して、前記中央光学系及び前記イメージセンサを光軸に沿って一体的に移動させて、前記環状光学系の焦点を調節する環状光学系焦点調節機構と、
     を備えた撮像装置。
  2.  前記環状光学系が前記中央光学系よりも長い焦点距離を有する、
     請求項1に記載の撮像装置。
  3.  前記中央光学系が広角の光学系で構成され、
     前記環状光学系が望遠の光学系で構成される、
     請求項2に記載の撮像装置。
  4.  前記環状光学系が、反射屈折光学系で構成される、
     請求項3に記載の撮像装置。
  5.  前記中央光学系が遠距離を撮像する設定であり、
     前記環状光学系が近距離を撮像する設定である、
     請求項1に記載の撮像装置。
  6.  前記イメージセンサに動画を撮像させる又は静止画を連続的に撮像させる撮像制御部と、
     前記環状光学系焦点調節機構を制御する環状光学系焦点調節制御部と、
     を更に備え、
     前記環状光学系焦点調節制御部は、撮像中、前記中央光学系及び前記イメージセンサを周期的に変位させ、前記環状光学系で合焦する被写体の距離を周期的に変化させる、
     請求項1から5のいずれか1項に記載の撮像装置。
  7.  前記環状光学系焦点調節制御部は、前記中央光学系及び前記イメージセンサを正弦波状に変位させる、
     請求項6に記載の撮像装置。
  8.  前記環状光学系焦点調節制御部は、前記中央光学系及び前記イメージセンサをノコギリ波状に変位させる、
     請求項6に記載の撮像装置。
  9.  前記環状光学系を介して撮像された動画又は静止画像群を前記中央光学系及び前記イメージセンサの変位の周期ごとに解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を環状光学系合焦画像として変位の周期ごとに抽出する環状光学系合焦画像抽出部を更に備えた、
     請求項6から8のいずれか1項に記載の撮像装置。
  10.  前記中央光学系を介して撮像された動画又は静止画像群から前記環状光学系合焦画像と同じタイミングで撮像されたフレームの画像又は静止画像を中央光学系合焦画像として抽出する中央光学系合焦画像抽出部を更に備えた、
     請求項9に記載の撮像装置。
  11.  請求項1から10のいずれか1項に記載の撮像装置と、
     前記撮像装置が搭載された移動体と、
     を備えた移動撮像装置。
PCT/JP2018/021186 2017-06-21 2018-06-01 撮像装置及び移動撮像装置 WO2018235565A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019525314A JP6723452B2 (ja) 2017-06-21 2018-06-01 撮像装置及び移動撮像装置
CN201880039740.2A CN110770622B (zh) 2017-06-21 2018-06-01 摄像装置及移动摄像装置
US16/716,498 US11226470B2 (en) 2017-06-21 2019-12-17 Imaging apparatus and mobile imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017121362 2017-06-21
JP2017-121362 2017-06-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/716,498 Continuation US11226470B2 (en) 2017-06-21 2019-12-17 Imaging apparatus and mobile imaging apparatus

Publications (1)

Publication Number Publication Date
WO2018235565A1 true WO2018235565A1 (ja) 2018-12-27

Family

ID=64737721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021186 WO2018235565A1 (ja) 2017-06-21 2018-06-01 撮像装置及び移動撮像装置

Country Status (4)

Country Link
US (1) US11226470B2 (ja)
JP (1) JP6723452B2 (ja)
CN (1) CN110770622B (ja)
WO (1) WO2018235565A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020153355A1 (ja) * 2019-01-23 2020-07-30 株式会社ニコン 光学系、光学機器、撮像装置、並びに、光学系及び撮像装置の製造方法
US11115579B2 (en) * 2019-01-29 2021-09-07 Itshak Marom Method for switching optical fields of view
CN113905167B (zh) * 2021-10-15 2024-02-27 维沃移动通信有限公司 摄像头模组及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245046A1 (en) * 2005-04-28 2006-11-02 Institut National D'optique High-resolution optical imaging systems
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2016051011A (ja) * 2014-08-29 2016-04-11 富士フイルム株式会社 撮像装置及び撮像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461130B2 (ja) * 1998-11-10 2003-10-27 日本ビクター株式会社 オートアイリス適応小型ズームレンズ
JP2003116029A (ja) * 2001-10-04 2003-04-18 Minolta Co Ltd 撮像装置及びこの撮像装置を用いた画像記録装置
JP2003098420A (ja) * 2002-07-26 2003-04-03 Olympus Optical Co Ltd 光学素子駆動装置
TWI268397B (en) * 2002-08-23 2006-12-11 Pentax Corp Digital camera
CA2505533C (en) * 2005-04-28 2013-02-12 Institut National D'optique High-resolution optical imaging systems
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
CN101115140B (zh) * 2006-07-25 2010-09-29 富士胶片株式会社 图像摄取系统
US7764440B2 (en) 2007-11-27 2010-07-27 Eastman Kodak Company Dual focal length lens system
CN102016685B (zh) * 2008-04-30 2013-07-31 奥林巴斯株式会社 成像光学系统以及具有该成像光学系统的电子摄像装置
US8284276B2 (en) * 2009-01-08 2012-10-09 Panasonic Corporation Zoom lens system, imaging device and camera
US8767319B2 (en) * 2010-03-02 2014-07-01 Konica Minolta Advanced Layers, Inc. Inner-focus large-aperture medium-telephoto lens system, imaging optical device, and digital appliance
JP5460406B2 (ja) * 2010-03-24 2014-04-02 富士フイルム株式会社 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール
JP5572024B2 (ja) * 2010-07-27 2014-08-13 キヤノン株式会社 レンズ装置
JP2014238425A (ja) * 2011-09-28 2014-12-18 富士フイルム株式会社 デジタルカメラ
WO2014129216A1 (ja) * 2013-02-21 2014-08-28 富士フイルム株式会社 撮像装置
JP6045443B2 (ja) * 2013-06-13 2016-12-14 富士フイルム株式会社 ズームレンズおよび撮像装置
JP6077967B2 (ja) * 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
JP6214481B2 (ja) * 2014-06-27 2017-10-18 富士フイルム株式会社 撮像装置
CN112425148B (zh) * 2018-06-21 2022-04-08 富士胶片株式会社 摄像装置、无人移动体、摄像方法、系统及记录介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245046A1 (en) * 2005-04-28 2006-11-02 Institut National D'optique High-resolution optical imaging systems
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2016051011A (ja) * 2014-08-29 2016-04-11 富士フイルム株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US20200124824A1 (en) 2020-04-23
US11226470B2 (en) 2022-01-18
CN110770622A (zh) 2020-02-07
JPWO2018235565A1 (ja) 2020-03-19
JP6723452B2 (ja) 2020-07-15
CN110770622B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
JP6341736B2 (ja) 撮像装置、制御方法、プログラム、記憶媒体
JP6584149B2 (ja) 撮像装置
JP2016114946A (ja) カメラモジュール
US11226470B2 (en) Imaging apparatus and mobile imaging apparatus
JP5943785B2 (ja) 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
WO2007024709A3 (en) Cellular phone camera with three-dimensional imaging function
JP2015041884A (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
CN111095066B (zh) 摄像装置及摄像装置的对焦控制方法
JP6045225B2 (ja) レンズ鏡筒及び撮像装置
JP2013072771A (ja) スペクトル画像取得装置
CN111133356A (zh) 摄像装置、摄像装置主体及摄像装置的对焦控制方法
JP7314204B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6271911B2 (ja) 撮像装置及びその制御方法、デフォーカス量算出方法
WO2019188934A1 (ja) 撮像装置、撮像方法、及びプログラム
JP2013178387A (ja) レンズ鏡筒およびカメラシステム
JP5796388B2 (ja) 焦点検出装置および撮像装置
EP4191332A1 (en) Systems and methods for obtaining a super macro image
CN116648666A (zh) 透镜装置、摄像装置、透镜装置的动作方法、摄像装置的动作方法及程序
WO2016031470A1 (ja) 撮像装置及び撮像方法
JP2011107571A (ja) レンズ鏡筒及び撮像装置
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
JP2016046774A (ja) 撮像装置
JP2001016493A (ja) 多画角カメラ装置
JP2012078556A (ja) 光量調節装置及びこの光量調節装置を用いた光学機器
JP6781556B2 (ja) レンズユニット及びそれを備えた撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18820089

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525314

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18820089

Country of ref document: EP

Kind code of ref document: A1