WO2015198691A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2015198691A1
WO2015198691A1 PCT/JP2015/061506 JP2015061506W WO2015198691A1 WO 2015198691 A1 WO2015198691 A1 WO 2015198691A1 JP 2015061506 W JP2015061506 W JP 2015061506W WO 2015198691 A1 WO2015198691 A1 WO 2015198691A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
image
angle
telephoto
wide
Prior art date
Application number
PCT/JP2015/061506
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP15812828.0A priority Critical patent/EP3163349B1/en
Priority to CN201580030391.4A priority patent/CN106464788B/zh
Publication of WO2015198691A1 publication Critical patent/WO2015198691A1/ja
Priority to US15/368,709 priority patent/US10244165B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/04—Vertical adjustment of lens; Rising fronts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that can simultaneously acquire a wide-angle image and a telephoto image.
  • Patent Document 1 discloses a wide-angle lens, a telephoto lens, an image sensor that captures a wide-angle image through the wide-angle lens (first image sensor), and an image sensor that captures a telephoto image through the telephoto lens (second image). Sensor).
  • Patent Document 2 discloses that an imaging surface of an imaging element (image sensor) is divided into two, a wide-angle image is captured in one region of the imaging surface through a wide-angle lens, and a telephoto image is captured through the telephoto lens on the other side of the imaging surface. An imaging apparatus that captures an image in the area is described.
  • the imaging apparatus described in Patent Document 1 two image sensors are required to capture a wide-angle image and a telephoto image with separate image sensors.
  • the imaging device described in Patent Document 1 deflects the optical axis of the telephoto lens in order to correct parallax between the optical image captured by the wide-angle lens and the telephoto image captured by the telephoto lens. Since the wide-angle lens and the telephoto lens are arranged at different positions, there is a problem that the image pickup apparatus cannot be reduced in size and cost.
  • the imaging device described in Patent Document 2 divides the imaging surface of the image sensor into two to capture a wide-angle image and a telephoto image, it is necessary to enlarge the image sensor. Imaging is performed with an image sensor. As a result, the imaging apparatus described in Patent Document 2 also has a problem that it cannot be reduced in size and cost.
  • Patent Document 3 a photographing lens having a plurality of regions (for example, a far focus distance and a close focus distance) having different focal lengths or focus distances, and a light beam that has passed through the far focus distance and the close focus distance, respectively.
  • An imaging device has been proposed that includes an imaging element (directional sensor) that selectively divides a pupil and receives light to pick up an image.
  • the photographic lens is composed of a central optical system (wide-angle lens) disposed on the same optical axis and an annular optical system (telephoto lens) at the periphery of the central optical system (see paragraph 0038 of Patent Document 3). ).
  • Such an imaging apparatus of Patent Document 3 divides a light beam passing through different regions of a photographing lens into pupils, and generates a plurality of images (wide-angle images and telephoto images) corresponding to the pupil-divided beams as one image sensor (directivity). Since the image can be simultaneously taken by the sensor), the image pickup apparatus can be reduced in size and cost.
  • the photographing optical axis of the wide-angle lens and the telephoto lens are fixed to each other, if the telephoto lens is moved for tracking an object by the imaging device described in Patent Document 3, a wide-angle lens (wide-angle image) is also obtained.
  • the position of the telephoto image (the position of the object) is obtained based on the wide-angle image, correction calculation for the imaging region variation of the wide-angle image is necessary, and there is a problem that the calculation becomes complicated.
  • the object may be lost depending on the moving speed of the object.
  • the present invention has been made in view of such circumstances, and is a small and inexpensive image pickup that can simultaneously pick up a wide-angle image and a telephoto image of an arbitrary region of the wide-angle image without providing a plurality of image sensors.
  • An object is to provide an apparatus.
  • an imaging apparatus includes a photographing optical system in which a wide-angle optical system and a telephoto optical system are arranged in different regions, and a photoelectric conversion element arranged in a two-dimensional manner.
  • a directional sensor having a plurality of pixels composed of a directional sensor that selectively receives light by splitting each of light beams incident through a wide-angle optical system and a telephoto optical system, and imaging of the wide-angle optical system
  • a pan / tilt mechanism that moves the direction of the photographic optical axis of the telephoto optical system relative to the direction of the optical axis, and a wide-angle image received from the directivity sensor via the wide-angle optical system and a telephoto image received via the telephoto optical system
  • an image acquisition unit that respectively acquires.
  • a wide-angle image and a telephoto image can be simultaneously acquired by an imaging unit (single imaging unit) including the imaging optical system having the above-described configuration and a directivity sensor. Since the direction of the photographing optical axis of the telephoto optical system can be moved with respect to the wide-angle optical system by the tilt mechanism, a telephoto image of an arbitrary region of the wide-angle image can be acquired (captured).
  • an object detection unit that detects an object to be tracked based on at least a wide-angle image of a wide-angle image and a telephoto image acquired by an image acquisition unit, and an object detection unit It is preferable that a pan / tilt control unit that controls the pan / tilt mechanism based on position information of the object in the image is provided.
  • a target object is detected by detecting a tracking target object based on a wide-angle image and controlling a pan / tilt mechanism based on position information in the detected object image.
  • Tracking can be performed (automatic tracking), and even if the object moves at high speed, the object can be captured by the wide-angle image, so that no tracking deviation occurs. Furthermore, since the wide-angle image is fixed, it is possible to easily detect the position of the object necessary for controlling the pan / tilt mechanism.
  • the object detection unit detects a moving object based on wide-angle images continuously acquired by the image acquisition unit, and sets the detected moving object as an object to be tracked. . Since the tracking target object moves, a desired object can be detected by detecting a moving object.
  • the object detection unit may recognize a specific object based on the wide-angle image acquired by the image acquisition unit, and set the recognized specific object as a tracking target object.
  • the specific object is a person
  • the tracking target object can be detected by recognizing the person or the face of the person.
  • the pan / tilt control unit controls the pan / tilt mechanism based on position information in the image of the object detected by the object detection unit, and at least the telephoto object is detected. Put in the angle of view of the image.
  • the pan / tilt mechanism may be controlled so that the detected object comes to the center of the telephoto image, or the pan / tilt mechanism so that the detected object falls within a certain range near the center of the telephoto image. May be controlled.
  • the imaging apparatus it is preferable to include a recording unit that records at least a telephoto image of the wide-angle image and the telephoto image acquired by the image acquisition unit.
  • the recorded telephoto image can be confirmed at a later date.
  • a wide-angle image may be recorded together with the telephoto image in the recording unit, and in this case, the situation around the telephoto image can be confirmed.
  • one of the wide-angle optical system and the telephoto optical system of the photographing optical system is a circular central optical system, and the other optical system is a central optical system.
  • the annular optical system is preferably concentrically arranged. Since the circular central optical system and the annular optical system have rotationally symmetric shapes, they are preferable as the photographing optical system.
  • the annular optical system is a telephoto optical system of a photographing optical system, and preferably includes a reflection optical system that reflects a light beam twice or more.
  • the dimension of the optical axis direction of an annular optical system can be shortened, and an imaging part can be made compact.
  • the telescopic optical system includes a main reflection optical system that reflects at least a light beam, and a sub-reflection optical system that further reflects the light beam reflected by the main reflection optical system.
  • the pan / tilt mechanism tilts the main reflection optical system around the two orthogonal axes with respect to the light receiving surface of the directivity sensor and divides the tilt angle of the tilted main reflection optical system by two. It is preferable to tilt the sub-reflection optical system by one.
  • the main reflection optical system and the sub-reflection optical system By tilting the main reflection optical system and the sub-reflection optical system in this way, even if the direction of the photographing optical axis of the telephoto optical system changes, the telephoto image is incident so as to be orthogonal to the light receiving surface of the directional sensor. be able to.
  • the wide-angle optical system may be provided with a focus adjustment unit, or the wide-angle optical system may be provided with no focus adjustment unit, and the wide-angle optical system may be pan-focused.
  • the directivity sensor may have a microlens array or a light shielding mask that functions as a pupil division unit.
  • the apparatus can be reduced in size and cost, and Since the direction of the photographing optical axis of the telephoto optical system can be moved independently, a telephoto image of an arbitrary region of a wide-angle image can be captured.
  • FIG. 1 is an external perspective view of an imaging apparatus according to the present invention.
  • 1 is a perspective view illustrating a first embodiment of an imaging unit of an imaging apparatus, and particularly a diagram illustrating a structure of a pan / tilt mechanism. Longitudinal sectional view of each optical member of the photographic optical system constituting the imaging unit
  • the block diagram which shows embodiment of the internal structure of an imaging device The figure which shows an example of the imaged wide-angle image and a telephoto image
  • the figure used for explaining an example of a moving object detection method for detecting a moving object as an object to be tracked 6 is a flowchart showing an example of an automatic tracking control method by the imaging apparatus according to the present invention.
  • the flowchart which shows the other example of the automatic tracking control method by the imaging device which concerns on this invention Side view showing another embodiment of a directional sensor Sectional drawing which shows other embodiment of the imaging part applicable to an imaging device External view of a smartphone which is another embodiment of the imaging device
  • FIG. 1 is an external perspective view of an imaging apparatus according to the present invention.
  • the imaging apparatus 10 shown in FIG. 1 is an in-vehicle camera mounted in a car or a surveillance camera installed in a specific place.
  • a photographing optical system 12 is disposed on the front surface of the imaging device 10, a recording switch 38-1 and a power switch 38-2 are provided on the top surface, and a fixing stage 8 is attached to the bottom surface.
  • L1 represents a photographing optical axis (hereinafter, simply referred to as “optical axis”) of a wide-angle optical system 13 described later in the photographing optical system 12.
  • FIG. 2 is a perspective view showing a first embodiment of the image pickup unit 11 of the image pickup apparatus 10 and shows a main part structure of a pan / tilt mechanism 32 (FIG. 11) described later.
  • the imaging unit 11 includes a photographing optical system 12 and a directivity sensor 17.
  • FIG. 3 is a longitudinal sectional view of an optical member of the photographing optical system 12.
  • the photographing optical system 12 includes a wide-angle optical system 13 that is a circular central optical system, and an annular optical system that is concentrically arranged with respect to the central optical system (wide-angle optical system 13). And a telephoto optical system 14.
  • the wide-angle optical system 13 is a wide-angle lens composed of a first lens 13 a, a second lens 13 b, a third lens 13 c, a fourth lens 13 d, and a common lens 15, and forms a wide-angle image on the directivity sensor 17.
  • the telephoto optical system 14 is a reflective telephoto lens composed of a first lens 14a, a first reflective mirror 14b as a main reflective optical system, a second reflective mirror 14c as a secondary reflective optical system, and a common lens 15.
  • a telephoto image is formed on the directional sensor 17.
  • 4 and 5 are diagrams showing the wide-angle optical system 13 and the telephoto optical system 14 in the photographing optical system 12 shown in FIG. 2 separately.
  • the wide-angle optical system 13 is supported by a lens support unit 102 that is fixed to the base unit 100 in the imaging apparatus 10.
  • the directivity sensor 17 is also supported by a sensor support portion 104 fixed to the base portion 100.
  • the telephoto optical system 14 shown in FIG. 5 is supported via the first gimbal mechanism 120 and the second gimbal mechanism 130.
  • the first gimbal mechanism 120 and the second gimbal mechanism 130 are respectively movable units 110 that are movable with respect to the base unit 100 in the direction of the optical axis L1 of the wide-angle optical system 13 (the direction of arrow AB in FIG. 5). It is arranged. Therefore, the focal point of the telephoto optical system 14 can be adjusted by moving the movable part 110 (that is, the telephoto optical system 14) in the direction of arrow AB with respect to the base 100.
  • the first gimbal mechanism 120 is a cantilevered biaxial gimbal mechanism, and the first gimbal 122 that rotates about the first shaft 122A and the second gimbal that rotates about the second shaft 124A. 124, and a lens support frame 126 is fixed to the second gimbal 124.
  • the first axis 122A and the second axis 124A of the first gimbal mechanism 120 are two orthogonal axes whose axial directions are orthogonal to each other, and preferably intersect on the optical axis of the wide-angle optical system 13.
  • the lens support frame 126 is attached with a first lens 14a and a first reflection mirror 14b.
  • the second gimbal mechanism 130 is a cantilevered biaxial gimbal mechanism similar to the first gimbal mechanism 120.
  • the first gimbal mechanism 130 rotates about the first axis 132A, and the second axis 134A is the center.
  • the second gimbal 134 is rotated, and a mirror support frame 136 is fixed to the second gimbal 134.
  • the first axis 132A and the second axis 134A of the second gimbal mechanism 130 are two orthogonal axes whose axial directions are orthogonal to each other, and preferably intersect on the optical axis L1 of the wide-angle optical system 13.
  • a second reflection mirror 14 c is attached to the mirror support frame 136.
  • FIG. 6 is a diagram showing an optical path of the photographing optical system 12 having the above-described configuration.
  • the subject image incident through the first lens 13a of the wide-angle optical system 13 is on the directivity sensor 17 through the second lens 13b, the third lens 13c, the fourth lens 13d, and the common lens 15 (see FIG. 3). To form an image.
  • the subject image incident through the first lens 14 a of the telephoto optical system 14 is reflected twice by the first reflecting mirror 14 b and the second reflecting mirror 14 c, and then on the directivity sensor 17 through the common lens 15.
  • the object image (light beam) is folded back by the first reflecting mirror 14b and the second reflecting mirror 14c, thereby shortening the length in the optical axis direction of the telephoto optical system having a long focal length.
  • At least one of the first reflecting mirror 14b and the second reflecting mirror 14c may be a concave or convex spherical mirror, an aspherical mirror, or a flat mirror.
  • ⁇ Pan / tilt mechanism The pan / tilt mechanism 32 of the imaging device 10 rotates the telephoto optical system 14 in the horizontal direction (pan direction) and the vertical direction (tilt direction) to move the direction of the optical axis L2 of the telephoto optical system 14. 2 and the like, the first gimbal mechanism 120 and the second gimbal mechanism 130 are included.
  • the first gimbal mechanism 120 rotates the first gimbal 122 about the first axis 122A, thereby moving the first lens 14a and the first reflecting mirror 14b around the first axis 122A (pan direction). And the second gimbal 124 is rotated about the second axis 124A of the first gimbal mechanism 120, whereby the first lens 14a and the first reflection mirror 14b are rotated in the direction around the axis of the second axis 124A (see FIG. Tilt direction).
  • the second gimbal mechanism 130 rotates the first gimbal 132 about the first axis 132A, thereby rotating the second reflecting mirror 14c in the pan direction, and the second axis 134A of the second gimbal mechanism 130 is moved. By rotating the second gimbal 134 around the center, the second reflecting mirror 14c is rotated in the tilt direction.
  • FIG. 7 is a longitudinal sectional view of each optical member of the telephoto optical system 14 when the optical axis L1 of the wide-angle optical system and the optical axis L2 of the telephoto optical system 14 coincide with each other.
  • FIG. 8 is a longitudinal sectional view of each optical member of the telephoto optical system 14 in a state where the optical axis L2 of the telephoto optical system 14 is tilted by a predetermined tilt angle ⁇ .
  • the direction of the optical axis L2 of the telephoto optical system 14 is downward by the tilt angle ⁇ with respect to the direction of the optical axis L1 of the wide-angle optical system 13 (the direction orthogonal to the light receiving surface of the directivity sensor 17).
  • the second gimbal mechanism When the second gimbal mechanism is tilted (tilted), the second gimbal 124 of the first gimbal mechanism 120 is rotated by the tilt angle ⁇ , and the first lens 14a and the first reflecting mirror 14b are tilted by the tilt angle ⁇ , and the second gimbal mechanism
  • the second gimbal 134 of 130 is rotated by an angle ⁇ / 2 that is a half of the tilt angle ⁇ , and the second reflecting mirror 14c is inclined by an angle ⁇ / 2.
  • the first lens 14a and the first reflection mirror 14b (that is, the optical member including the first reflection mirror 14b and reflected by the first reflection mirror 14b) are tilted (tilt angle ⁇ ).
  • the direction of the optical axis L2 of the telephoto optical system 14 is changed by tilting the second reflecting mirror 14c by an angle (angle ⁇ / 2) that is a half of the tilt angle (tilt angle ⁇ ).
  • the telephoto image can be incident so as to be orthogonal to the light receiving surface of the directivity sensor 17.
  • the telephoto optical system 14 is tilted by the tilt angle ⁇ (not shown) in the horizontal direction.
  • the wide-angle optical system 14 is tilted.
  • the first gimbal 122 of the first gimbal mechanism 120 is rotated by the pan angle ⁇ with respect to the direction of the optical axis L1 of the system 13, and the first lens 14a and the first reflecting mirror 14b are inclined by the pan angle ⁇ .
  • the first gimbal 132 of the second gimbal mechanism 130 is rotated by an angle ⁇ / 2 that is a half of the pan angle ⁇ , and the second reflecting mirror 14c is tilted by an angle ⁇ / 2.
  • the telephoto optical system 14 is panned / tilted and the direction of the optical axis of the telephoto optical system 14 is moved to obtain (capture) a telephoto image of an arbitrary region of the wide-angle image.
  • the directivity sensor 17 includes a microlens array 16 corresponding to a pupil division unit and an image sensor 18 (see FIG. 11).
  • FIG. 9 is an enlarged view of main parts of the microlens array 16 and the image sensor 18 constituting the directivity sensor 17 shown in FIG.
  • the microlens array 16 includes a plurality of microlenses (pupil imaging lenses) 16 a arranged in a two-dimensional manner, and the horizontal and vertical intervals between the microlenses are the photoelectric conversion elements of the image sensor 18. This corresponds to the interval of three light receiving cells 18a. That is, each microlens of the microlens array 16 is formed corresponding to the position of every two light receiving cells in each of the horizontal direction and the vertical direction.
  • Each microlens 16a of the microlens array 16 has a circular central pupil image (first pupil image) 17a and an annular pupil image (first pupil image) corresponding to the wide-angle optical system 13 and the telephoto optical system 14 of the photographing optical system 12. 2b) 17b is formed on the light receiving cell 18a in the corresponding light receiving region of the image sensor 18.
  • 3 ⁇ 3 light receiving cells 18 a having a lattice shape (square lattice shape) are allocated per one microlens 16 a of the microlens array 16.
  • one microlens 16a and a light receiving cell group (3 ⁇ 3 light receiving cells 18a) corresponding to one microlens 16a are referred to as a unit block.
  • the central pupil image 17a is formed only on the light receiving cell 18a at the center of the unit block, and the annular pupil image 17b is formed on eight light receiving cells 18a around the unit block.
  • a wide-angle image corresponding to the wide-angle optical system 13 and a telephoto image corresponding to the telephoto optical system 14 can be simultaneously captured as described later.
  • FIG. 10 is a diagram showing a color filter array and the like disposed in the image sensor 18.
  • the microlens array 16 is omitted, but the area indicated by a circle is a 3 ⁇ 3 light receiving cell on which a pupil image is formed by each microlens 16 a of the microlens array 16.
  • the unit block to be included is shown.
  • a color filter array composed of color filters arranged on each light receiving cell is provided.
  • This color filter array is constituted by three primary color filters (hereinafter referred to as R filter, G filter, and B filter) that transmit light in each wavelength band of red (R), green (G), and blue (B).
  • R filter three primary color filters
  • G filter three primary color filters
  • B filter blue filter
  • One of the RGB filters is disposed on each light receiving cell.
  • the light receiving cell in which the R filter is disposed is referred to as “R light receiving cell”
  • the light receiving cell in which the G filter is disposed is referred to as “G light receiving cell”
  • B light receiving cell the light receiving cell in which the B filter is disposed
  • 6 ⁇ 6 light receiving cells are defined as basic blocks B (see the blocks indicated by thick frames in FIG. 10A and FIG. 10B). Are repeatedly arranged in the horizontal direction and the vertical direction.
  • the basic block B is composed of four unit blocks B1 to B4.
  • FIGS. 10 (c1) and 10 (c2) show a group of light receiving cells (light receiving cells into which a light beam that has passed through the wide-angle optical system 13 shown in FIG. 9) is located in the center of four unit blocks B1 to B4, and the surroundings. And a group of eight light receiving cells (light receiving cells on which the speed of light that has passed through the telephoto optical system 14 shown in FIG. 9 is incident).
  • the image of the center light receiving cell group is a Bayer array mosaic image. Accordingly, a color image can be obtained by demosaicing the mosaic image of the Bayer array.
  • the group of eight light receiving cells around the light receiving cells at the center of the unit blocks B1 to B4 includes all the light receiving cells of RGB (R RGB light receiving cells are arranged in the same pattern regardless of the unit blocks B1 to B4.
  • the G light receiving cells are arranged in the four light receiving cells at the four corners of each of the unit blocks B1 to B4, and the R light receiving cells are arranged in the two upper and lower light receiving cells across the center light receiving cell.
  • the B light receiving cells are arranged in the two left and right light receiving cells with the central light receiving cell interposed therebetween.
  • the R light receiving cell, the G light receiving cell, and the B light receiving cell are respectively arranged at symmetrical positions with respect to the center light receiving cell (center) of the unit block.
  • the pixel value of the G pixel at the center position of the unit block (1 microlens) can be obtained.
  • Pixel values can be acquired.
  • the demosaic process is performed using the pixel values of the RGB light receiving cells in the unit block. It is possible to reduce the resolution (substantial number of pixels) of the output image without having to generate pixel values of pixels in a specific wavelength range by interpolating the pixel values of the light receiving cells of the surrounding unit blocks. There is no.
  • FIG. 11 is a block diagram illustrating an embodiment of the internal configuration of the imaging apparatus 10.
  • the imaging apparatus 10 includes a photographing optical system 12 having the wide-angle optical system 13 and the telephoto optical system 14 described in FIG. 2 and the like, and the microlens array 16 and the image sensor 18 described in FIGS.
  • the imaging unit 11 preferably includes a focus adjustment unit 19 that adjusts the focus of the telephoto optical system 14.
  • the focus adjustment unit 19 is a voice coil motor or the like that moves the movable unit 110 (that is, the entire or part of the telephoto optical system 14) shown in FIG. 2 or the like in the arrow AB direction (the direction of the optical axis L1). Can be configured.
  • the focus of the telephoto image can be determined based on the contrast of the focus detection area of the telephoto image, but the focus adjustment method is not limited to this.
  • the wide-angle optical system 13 may be provided with a separate focus adjustment unit or pan focus.
  • the pan / tilt device 30 is a pan / tilt mechanism 32 (that is, the first gimbal mechanism 120 and the second gimbal mechanism) that rotates (tilts) the telephoto optical system 14 in the pan direction and the tilt direction as shown in FIG. 130, a pan drive unit 34, a tilt drive unit 36, and the like.
  • the pan / tilt mechanism 32 includes an angle detector that detects a rotation angle in the pan direction (pan angle ⁇ ) and a tilt angle in the tilt direction (tilt angle ⁇ ).
  • the pan angle ⁇ and tilt angle ⁇ detected by the angle detector can be used as feedback information when the pan / tilt device 30 is pan / tilt controlled.
  • the pan driving unit 34 and the tilt driving unit 36 each have a servo motor or a stepping motor and a motor driver, and output a driving force to the pan / tilt mechanism 32 to drive the pan / tilt mechanism 32.
  • the imaging unit 11 captures time-series wide-angle images and telephoto images via the photographing optical system 12 and the directivity sensor 17, and each of the directivity sensors 17 (image sensors 18) via the photographing optical system 12.
  • the subject image formed on the light receiving surface of the light receiving cell is converted into a signal voltage (or charge) in an amount corresponding to the amount of incident light.
  • the signal voltage (or charge) accumulated in the image sensor 18 is accumulated in the light receiving cell itself or an attached capacitor.
  • the stored signal voltage (or charge) is read out together with the selection of the light receiving cell position by using a method of a MOS type image pickup device (so-called CMOS sensor) using the XY address method.
  • CMOS sensor MOS type image pickup device
  • Signal can be read out.
  • pixel signals indicating a wide-angle image and a telephoto image are continuously read from the image sensor 18 at a predetermined frame rate (for example, the number of frames per second is 24p, 30p, or 60p).
  • the pixel signal (voltage signal) read from the image sensor 18 is converted into an output signal for each light receiving cell for the purpose of reducing correlated double sampling processing (noise (particularly thermal noise) included in the sensor output signal).
  • the pixel signal for each light-receiving cell is sampled and held by a process of obtaining accurate pixel data by taking the difference between the included feedthrough component level and the signal component level, and is amplified and applied to the A / D converter 20 .
  • the A / D converter 20 converts sequentially input pixel signals into digital signals and outputs them to the image acquisition unit 22. Note that some MOS type sensors include an A / D converter. In this case, a digital signal is directly output from the image sensor 18.
  • the image acquisition unit 22 can acquire the pixel signal indicating the wide-angle image and the pixel signal indicating the telephoto image simultaneously or selectively by selecting the light receiving cell position of the image sensor 18 and reading out the pixel signal. .
  • a pixel signal indicating an image (a pixel signal indicating a mosaic image of a Bayer array) can be acquired.
  • a pixel signal indicating a telephoto image of eight light receiving cells (light receiving cells around a 3 ⁇ 3 light receiving cell) per microlens can be acquired.
  • the pixel signals indicating the wide-angle image and the telephoto image acquired by the image acquisition unit 22 are output to the digital signal processing unit 40 and the object detection unit 50, respectively.
  • the digital signal processing unit 40 performs offset processing, gamma correction processing, and demosaic processing on RGB mosaic image signals for input digital pixel signals (RGB dot-sequential R signals, G signals, and B signals).
  • the predetermined signal processing is performed.
  • the demosaic process is a process of calculating all color information for each pixel from the RGB mosaic image corresponding to the color filter array of the single-plate image sensor 18, and is also referred to as a synchronization process.
  • this is a process of calculating color information of all RGB for each pixel from a mosaic image composed of RGB.
  • the demosaic processing unit included in the digital signal processing unit 40 has no R light receiving cell and B light receiving cell at the position of the G light receiving cell in the wide-angle image (Bayer array mosaic image).
  • R signal and B signal of the R light receiving cell and B light receiving cell are respectively interpolated to generate R signal and B signal at the position of the G light receiving cell.
  • the G light receiving cell around the R light receiving cell, the G signal of the B light receiving cell, and the B signal are respectively interpolated.
  • G signal and B signal are generated at the position of the R light receiving cell, and since there are no G light receiving cell and R light receiving cell at the position of the B light receiving cell of the mosaic image, the G light receiving cells around the B light receiving cell, The G signal and R signal at the position of the B light receiving cell are generated by interpolating the G signal and R signal of the R light receiving cell, respectively.
  • the telephoto image is composed of eight mosaic images per microlens 16a (eight around the 3 ⁇ 3 unit block), and in the eight light receiving cells. Since all the RGB color information (R light receiving cell, G light receiving cell, B light receiving cell) is included, the demosaic processing unit uses the output signals of the eight light receiving cells in the unit block. It is possible to generate one pixel (RGB pixel value) constituting an image, demosaiced every time.
  • the demosaic processing unit that performs demosaic processing of the mosaic image of the telephoto image obtains the average value of the pixel values of the four G light receiving cells in the unit block, thereby obtaining the center position of the unit block (1 microlens).
  • the demosaic processing unit that performs demosaic processing of the mosaic image of the telephoto image obtains the average value of the pixel values of the four G light receiving cells in the unit block, thereby obtaining the center position of the unit block (1 microlens).
  • the R pixel value and B pixel value of the pixel at the center position of the block are calculated.
  • the demosaic image of the telephoto image of the two demosaic images of the wide-angle image and the telephoto image generated by the demosaic processing unit is demosaiced using the output signals of the eight light receiving cells in the unit block.
  • the resolution is substantially higher than the demosaic image of the wide-angle image in which the demosaic process is performed using (interpolating) the output signals of the light receiving cells of the surrounding unit blocks.
  • the digital signal processing unit 40 performs RGB / YC conversion for generating the luminance signal Y and the color difference signals Cb, Cr from the RGB color information (R signal, G signal, B signal) demosaiced by the demosaic processing unit. And generating image signals for recording and displaying moving images indicating wide-angle images and telephoto images at a predetermined frame rate.
  • Image signals indicating a wide-angle image and a telephoto image processed by the digital signal processing unit 40 are output to the recording unit 42 and the display unit 44, respectively.
  • the recording unit 42 records an image signal for moving image recording indicating the wide-angle image and the telephoto image processed by the digital signal processing unit 40 on a recording medium (hard disk, memory card, etc.). Note that the recording unit 42 may record only the telephoto image.
  • the display unit 44 displays the wide-angle image and the telephoto image by the moving image display image signal indicating the wide-angle image and the telephoto image processed by the digital signal processing unit 40.
  • the display unit 44 can also reproduce a wide-angle image and a telephoto image based on the image signal recorded in the recording unit 42.
  • the object detection unit 50 detects the tracking target object based on the pixel signal indicating the wide-angle image and the telephoto image acquired by the image acquisition unit 22, and the position information of the detected object in the pan / tilt control unit
  • a first object detection unit 52 that detects an object based on a telephoto image and detects position information of the object in a wide-angle image; detects an object based on the telephoto image;
  • a second object detection unit 54 that detects position information in the image.
  • a method for detecting an object in the first object detection unit 52 and the second object detection unit 54 a method for detecting a specific object by an object recognition technique represented by a technique for performing human face recognition, or tracking a moving object
  • a moving object detection method for detecting a target object is a moving object detection method for detecting a target object.
  • the object detection method based on object recognition is a method of registering the appearance characteristics of a specific object in advance as an object dictionary, and comparing the image extracted from the captured image while changing its position and size with the object dictionary. It is a method of recognizing an object.
  • FIGS. 12A and 12B are diagrams showing examples of a wide-angle image and a telephoto image, respectively, taken.
  • the area surrounded by a solid line in the wide-angle image indicates the imaging range of the current telephoto image, and the area surrounded by the two-dot chain line indicates past and future telephoto images.
  • the imaging range is shown.
  • the first The object detection unit 52 can detect the position of the minivan in the wide-angle image as long as the minivan is captured within the angle of view of the wide-angle image.
  • the second object detection unit 54 can detect the position of the minivan in the telephoto image as long as the minivan is sufficiently captured within the angle of view of the telephoto image. If the minivan is not captured at all or only partially within the angle of view of the telephoto image due to the tracking performance and the speed of the object (minivan), the minivan cannot be recognized, and the position of the minivan in the telephoto image May not be detected.
  • the object detection unit 50 detects the tracking target object based on at least the wide-angle image of the wide-angle image and the telephoto image. Even if the object moves, the object can be captured by the wide-angle image, and tracking deviation does not occur.
  • Position information indicating the position of the object detected by the first object detection unit 52 in the wide-angle image and position information indicating the position of the object detected by the second object detection unit 54 in the telephoto image are pan- It is added to the tilt control unit 60.
  • a mode selection unit 56 for selecting the first tracking mode or the second tracking mode is provided.
  • the first tracking mode only the position information indicating the position of the object detected by the first object detection unit 52 in the wide-angle image is output to the pan / tilt control unit 60, and the position information of the object in the wide-angle image is output.
  • the pan / tilt device 30 is controlled.
  • the second tracking mode the first object detection unit 52 and the second object detection unit 54 are used in combination, and position information indicating the position of the object detected by the second object detection unit 54 in the telephoto image.
  • the pan / tilt control unit 30 is controlled based on the position information indicating the position of the object in the wide-angle image and the position information indicating the position of the object in the telephoto image.
  • the pan / tilt control unit 60 controls the pan / tilt device 30 based on position information indicating the position of an object in an image (in a wide-angle image or a telephoto image) input from the object detection unit 50 as described above.
  • the position of the object in the image (for example, the position of the center of gravity of the object to be tracked or the position of the characteristic part of the object) is moved to the center position of the telephoto image (position on the optical axis L2 of the telephoto optical system 14).
  • the pan / tilt mechanism 32 that is, the direction of the optical axis L2 of the telephoto optical system 14
  • the pan drive unit 34 and the tilt drive unit 36 is controlled via the pan drive unit 34 and the tilt drive unit 36.
  • the object can be automatically tracked and imaged so that the object to be tracked is at the center of the telephoto image.
  • tracking control is not limited so that the position of the object in the image (center of gravity position) is at the center of the telephoto image, but the position of the object in the image (center of gravity position) is at least the angle of view of the telephoto image (preferably The pan / tilt mechanism 32 may be controlled so as to fall within a certain range in the vicinity of the center of the telephoto image (for example, within the focus detection area).
  • the first object detection unit 52 includes two time-series wide-angle images (a wide-angle image acquired previously (FIG. 13A) and a wide-angle image acquired this time (FIG. 13B )) Is obtained as a difference image (FIG. 13C).
  • the difference images A 1 and A 2 are images generated by the movement of the object A.
  • the barycentric positions of the difference images A 1 and A 2 are calculated to be positions P 1 and P 2 , respectively, and the midpoint of the line segment connecting these positions P 1 and P 2 is defined as a position G.
  • the position G is set as a position in the wide-angle image of the moving object (object A).
  • the pan / tilt mechanism 32 (that is, the light of the telephoto optical system 14) so that the position G of the object A in the wide-angle image calculated in this way moves to the center position (position on the optical axis L2) of the telephoto image.
  • the object A moves (converges) to the center position of the telephoto image.
  • the second object detection unit 54 can also detect the tracking target object (moving object) based on the telephoto image and detect the position of the object in the wide-angle image. .
  • the imaging unit 11 moves (moves by mounting the imaging device 10 on the vehicle)
  • the background between time-series images also moves. In this case, the background between the time-series images matches.
  • FIG. 14 is a flowchart illustrating an example of an automatic tracking control method by the imaging apparatus according to the present invention, and illustrates a case where the first tracking mode is selected by the mode selection unit 56.
  • the first object detection unit 52 acquires a wide-angle image from the image acquisition unit 22 (step S10), and detects a tracking target object from the acquired wide-angle image (step S12).
  • the first object detection unit 52 calculates position information indicating the position of the detected object in the wide-angle image (step S14).
  • the pan / tilt control unit 60 receives position information indicating the position of the object in the wide-angle image from the first object detection unit 52, and the object is positioned at the center of the telephoto image based on the input position information. Then, the pan / tilt device 30 is controlled (step S16).
  • the position of the image is proportional to the tangent function (tan) of the light incident angle.
  • the object can be captured at the center of the optical axis of the optical system by rotating (panning) by the pan angle ⁇ shown in FIG.
  • A is a constant corresponding to the focal length.
  • the optical system may be rotated by an angle including the deviation.
  • the tilt angle ⁇ of the optical system for capturing the object at the center of the optical axis of the optical system can be obtained in the same manner as described above. If the optical system is rotated (tilted) by the pan angle ⁇ , the object can be captured at the optical axis center of the optical system.
  • step S18 it is determined whether or not the automatic tracking imaging has been completed. If it is determined that the automatic tracking imaging has not been completed, the process proceeds to step S10. Thereby, the processing from step S10 to step S18 is repeated, and imaging with automatic tracking of the object is performed. On the other hand, when it is determined that the automatic tracking imaging is finished, the automatic tracking imaging is finished. Whether or not the automatic tracking imaging has been completed may be determined by turning on / off the power, or by a switch input indicating whether or not the automatic tracking imaging is performed.
  • FIG. 15 is a flowchart showing another example of the automatic tracking control method by the imaging apparatus according to the present invention, and shows a case where the second tracking mode is selected by the mode selection unit 56.
  • steps S10, S12, and S14 perform the same processing as steps S10, S12, and S14 shown in FIG.
  • the second object detection unit 54 acquires a telephoto image from the image acquisition unit 22 (step S20), and detects a tracking target object from the acquired telephoto image (step S22).
  • the second object detection unit 54 determines whether or not an object is detected in step S22 (step S24). When an object is detected (in the case of “Yes”), the second object detection unit 54 calculates position information indicating the position of the detected object in the telephoto image (step S26). On the other hand, when an object is not detected (in the case of “No”), the process proceeds to step S34.
  • the pan / tilt control unit 60 detects the position information of the object in the wide-angle image detected in step S14, the position information of the object in the telephoto image detected in step S22, and the pan detected by the angle detector.
  • the current pan angle ⁇ and tilt angle ⁇ of the tilt mechanism 32 are input, and the pan / tilt device 30 is controlled based on the input position information and angle information so that the object comes to the center position of the telephoto image (step S34). ).
  • the pan / tilt control unit 60 is based on the position information of the object in the wide-angle image detected in step S14.
  • the pan / tilt device 30 is controlled so that the object comes to the center position of the telephoto image.
  • the pan angle ⁇ and tilt angle ⁇ at the time of acquiring the telephoto image and the object in the telephoto image detected in step S26.
  • the pan / tilt device 30 is controlled based on the position information so that the object comes to the center position of the telephoto image.
  • step S36 it is determined whether or not the automatic tracking imaging has been completed. If it is determined that the automatic tracking imaging has not been completed, the process proceeds to step S10. Thereby, the processing from step S10 to step S36 is repeated, and imaging with automatic tracking of the object is performed. On the other hand, when it is determined that the automatic tracking imaging is finished, the automatic tracking imaging is finished.
  • FIG. 16 is a side view showing another embodiment of the directivity sensor.
  • the directivity sensor 170 includes a microlens array 160 corresponding to a pupil division unit, a light shielding member 150 that functions as a light shielding mask, and an image sensor 180 in which a part of the light receiving cells 180a and 180b is shielded by the light shielding member 150.
  • the light receiving cells 180a and the light receiving cells 180b partially shielded by the light shielding member 150 are provided alternately (checker flag shape) in the horizontal direction and the vertical direction of the image sensor 180.
  • the microlens array 160 has microlenses 160a that correspond one-to-one with the light receiving cells 180a and 180b of the image sensor 180.
  • the light shielding member 150 regulates the opening of the light receiving cells 180a and 180b of the image sensor 180, and has an opening shape corresponding to the wide-angle optical system 13 and the telephoto optical system 14 of the photographing optical system 12 shown in FIG. is doing.
  • a red (R), green (G), and blue (B) color filter is disposed below each lens of the microlens array 160.
  • the periphery of the opening is shielded by the light shielding portion 150a of the light shielding member 150, while in the light receiving cell 180b, the center of the opening is shielded by the light shielding portion 150b of the light shielding member 150.
  • the light beam that has passed through the wide-angle optical system 13 of the photographing optical system 12 is split into pupils by the microlens array 160 and the light shielding portion 150a of the light shielding member 150 and enters the light receiving cell 180a.
  • the light beam that has passed through the optical system 14 is divided into pupils by the microlens array 160 and the light shielding portion 150b of the light shielding member 150, and enters the light receiving cell 180b.
  • a pixel signal of a wide-angle image can be read from each light receiving cell 180a of the image sensor 180, and a pixel signal of a telephoto image can be read from each light receiving cell 180b of the image sensor 180.
  • FIG. 17 is a cross-sectional view showing another embodiment of an imaging unit applicable to the imaging device 10.
  • the image pickup unit is composed of a photographing optical system 212 and a directivity sensor 17. Since the directivity sensor 17 is the same as that shown in FIG. 3, the photographing optical system 212 will be described below.
  • the photographing optical system 212 is a wide-angle optical system that is an annular optical system concentrically arranged with respect to a telephoto optical system 214 that is a circular central optical system and a central optical system (telephoto optical system 214) in the periphery thereof.
  • the system 213 is configured.
  • the telephoto optical system 214 is a telephoto optical system including a first lens 214a, a second lens 214b, and a common lens 215, and has an angle of view ⁇ .
  • the wide-angle optical system 213 is a wide-angle optical system including a lens 213a and a common lens 215, has a field angle ⁇ ( ⁇ > ⁇ ), and is wider than the telephoto optical system 214.
  • the photographing optical system 212 does not use a reflecting mirror, and the circular central optical system is the telephoto optical system 214.
  • the annular optical systems arranged concentrically are different in that they are wide-angle optical systems 213.
  • the telephoto optical system 214 as the central optical system can move the optical axis direction of the telephoto optical system 214 relative to the optical axis direction of the wide-angle optical system 213.
  • imaging device 10 includes, for example, a mobile phone or smartphone having a camera function, a PDA (Personal Digital Assistant), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 18 shows an appearance of a smartphone 500 that is another embodiment of the imaging apparatus 10.
  • a smartphone 500 illustrated in FIG. 18 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
  • the configuration of the housing 502 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure and a slide mechanism can be employed.
  • FIG. 19 is a block diagram showing a configuration of the smartphone 500 shown in FIG.
  • the main components of the smartphone 500 include a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output.
  • Unit 560 GPS (Global Positioning System) reception unit 570, motion sensor unit 580, power supply unit 590, and main control unit 501.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 500.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by the control of the main control unit 501, and visually transmits information to the user, and detects user operations on the displayed information.
  • This is a so-called touch panel, and includes a display panel 521 and an operation panel 522.
  • the display panel 521 is preferably a 3D display panel.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 501.
  • the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the size of the display area and the size of the display panel 521 may be completely matched, but it is not always necessary to match the two.
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 and the microphone 532 can be mounted on the same surface as the surface on which the display input unit 520 is provided.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on a lower portion and a lower side of the display unit of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off when a finger is released with a restoring force such as a spring. It is a button type switch.
  • the storage unit 550 includes control programs and control data of the main control unit 501, address data in which names and telephone numbers of communication partners are associated, transmitted and received e-mail data, Web data downloaded by Web browsing, and downloaded contents Data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wide Band) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of the external device connected to the smartphone 500 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 500, A position consisting of longitude and altitude is detected.
  • the GPS receiving unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS receiving unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating in accordance with application software stored in the storage unit 550.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the above-described imaging device 10 can be applied to the camera unit 541.
  • a wide-angle image and a telephoto image can be taken without requiring a mechanical switching mechanism or the like, which is suitable as a camera unit incorporated in a thin portable terminal like the smartphone 500.
  • the camera unit 541 converts image data obtained by shooting into compressed image data such as JPEG (JointoPhotographic coding Experts Group) under the control of the main control unit 501, and records the data in the storage unit 550.
  • the data can be output through the external input / output unit 560 and the wireless communication unit 510.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this and may be mounted on the back surface of the display input unit 520. Alternatively, a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to shoot alone, or a plurality of camera units 541 can be used simultaneously for shooting.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the imaging apparatus according to the present invention can be used as, for example, an in-vehicle camera or a surveillance camera, but its application is not limited to this.
  • pan / tilt mechanism that moves the optical axis direction of the telephoto optical system with respect to the optical axis direction of the wide angle optical system is not limited to the one using the gimbal mechanism, and is basically independent of the wide angle optical system. Any device that can move the direction of the optical axis of the telephoto optical system may be used.
  • the number of reflection mirrors is not limited to two, and three or more may be provided.
  • the tracking target object may be initially set by the operator using a touch panel or the like from the wide-angle image displayed on the display unit 44.
  • one of the wide-angle optical system and the telephoto optical system arranged in different regions is a circular central optical system, and the other optical system is a central optical system.
  • the annular optical system is arranged concentrically, the shapes of the wide-angle optical system and the telephoto optical system are not limited to the present embodiment, and various shapes are conceivable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)

Abstract

本発明は、イメージセンサを複数設けることなく、広角画像と、広角画像の任意の領域の望遠画像とを同時に撮像することができる小型で安価な撮像装置を提供する。本発明の一態様に係る撮像装置は、広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系（１２）と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサ（１７）であって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサ（１７）と、広角光学系の撮影光軸の方向に対して望遠光学系の撮影光軸の方向を移動させるパン・チルト機構（３２）と、指向性センサ（１７）から広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部（２２）と、を備えている。

Description

撮像装置
　本発明は撮像装置に関し、特に広角画像と望遠画像とを同時に取得することができる撮像装置に関する。
　近年、広角画像と望遠画像とを同時に取得可能な撮像装置が知られている。例えば、特許文献１には、広角レンズと、望遠レンズと、広角レンズを通して広角画像を撮像する撮像素子（第１のイメージセンサ）と、望遠レンズを通して望遠画像を撮像する撮像素子（第２のイメージセンサ）と、を備える撮像装置が記載されている。また、特許文献２には、撮像素子（イメージセンサ）の撮像面を２分割して、広角レンズを通して広角画像を撮像面の一方の領域で撮像し、且つ望遠レンズを通して望遠画像を撮像面の他方の領域で撮像する撮像装置が記載されている。
　特許文献１に記載の撮像装置では、広角画像及び望遠画像を別々のイメージセンサで撮像するため、イメージセンサが２個必要となる。また、特許文献１に記載の撮像装置は、広角レンズにより撮像される光学画像と望遠レンズにより撮像される望遠画像とのパララックスを補正するために、望遠レンズの光軸を偏向させており、広角レンズと望遠レンズとが別々の位置に配置されていることから、撮像装置の小型化及び低コスト化を図ることができないという問題がある。また、特許文献２に記載の撮像装置は、イメージセンサの撮像面を２分割して広角画像と望遠画像とを撮像するため、イメージセンサを大型化する必要があり、実質的には２個のイメージセンサで撮像を行っている。その結果、特許文献２に記載の撮像装置においても小型化及び低コスト化を図ることができないという問題が発生する。
　そこで、特許文献３では、焦点距離又は合焦距離が異なる複数の領域（例えば遠合焦距離、近合焦距離）を有する撮影レンズと、遠合焦距離及び近合焦距離をそれぞれ通過した光束を瞳分割して選択的に受光して撮像する撮像素子（指向性センサ）と、を有する撮像装置が提案されている。撮影レンズは、同一の光軸上に配置された中央光学系（広角レンズ）と、中央光学系の周辺部の環状光学系（望遠レンズ）とにより構成されている（特許文献３の段落００３８参照）。このような特許文献３の撮像装置は、撮影レンズの異なる領域を通過する光束を瞳分割し、瞳分割した光束に対応する複数の画像（広角画像、望遠画像）を１つのイメージセンサ（指向性センサ）により同時に撮像することができるので、撮像装置の小型化及び低コスト化を図ることができる。
特開平１０－４８７０１号公報 特開２００３－１１６０２９号公報 特開２０１３－２０５７８１号公報
　しかしながら、上記特許文献３の撮像装置では、同一光軸上に中央光学系（広角レンズ）と環状光学系（望遠レンズ）とが配置されているため、広角画像の中心と望遠画像の中心とは常に一致しており、広角画像の中心部の望遠画像しか得られないという問題がある。
　また、広角レンズと望遠レンズとは互いに撮影光軸が固定されているため、仮に特許文献３に記載の撮像装置により物体の追尾のために望遠レンズを動かすと、広角系レンズ（広角画像）も動いてしまい、広角画像を基準にして望遠画像の位置（物体の位置）を求める場合には、広角画像の撮像領域変動分の補正計算が必要になり、計算が煩雑になるという問題がある。尚、望遠画像のみから物体の位置を検出し、物体を追尾する場合には、物体の移動速度によっては物体を見失う可能性がある。
　本発明はこのような事情に鑑みてなされたものであり、イメージセンサを複数設けることなく、広角画像と、広角画像の任意の領域の望遠画像とを同時に撮像することができる小型で安価な撮像装置を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る撮像装置は、広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、広角光学系の撮影光軸の方向に対して望遠光学系の撮影光軸の方向を移動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備えている。
　本発明の一の態様によれば、上記構成の撮影光学系及び指向性センサを含む撮像部（単一の撮像部）により、広角画像と望遠画像とを同時に取得することができ、特にパン・チルト機構により望遠光学系の撮影光軸の方向を、広角光学系に対して移動できるようにしたため、広角画像の任意の領域の望遠画像を取得（撮像）することができる。
　本発明の他の態様に係る撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、物体検出部により検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御するパン・チルト制御部と、を備えることが好ましい。
　本発明の他の態様によれば、広角画像に基づいて追尾対象の物体を検出し、検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御することにより、物体を望遠画像内に入れること（自動追尾すること）ができ、また、物体が高速で移動しても広角画像により物体を捉えることができるため、トラッキング逸脱が発生しない。更に、広角画像は固定されているため、パン・チルト機構を制御する際に必要な物体の位置の検出を容易に行うことができる。
　本発明の更に他の態様に係る撮像装置において、物体検出部は、画像取得部が連続して取得した広角画像に基づいて動体を検出し、検出した動体を追尾対象の物体とすることが好ましい。追尾対象の物体は、移動するものであるため、動体の検出により所望の物体を検出することができる。
　本発明の更に他の態様に係る撮像装置において、物体検出部は、画像取得部が取得した広角画像に基づいて特定の物体を認識し、認識した特定の物体を追尾対象の物体とすることが好ましい。例えば、特定の物体が人物である場合には、人物又は人物の顔を認識することで、追尾対象の物体を検出することができる。
　本発明の更に他の態様に係る撮像装置において、パン・チルト制御部は、物体検出部により検出した物体の画像中における位置情報に基づいてパン・チルト機構を制御し、検出した物体を少なくとも望遠画像の画角に入れる。この場合、検出した物体が望遠画像の中心にくるようにパン・チルト機構を制御するようにしてもよいし、検出した物体が望遠画像の中心近傍の一定範囲内に入るようにパン・チルト機構を制御するようにしてもよい。
　本発明の更に他の態様に係る撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する記録部を備えることが好ましい。これにより、記録された望遠画像を後日、確認することができる。また、望遠画像とともに広角画像も記録部に記録してもよく、この場合には、望遠画像の周囲の状況を確認することができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。円形の中央光学系と環状光学系とは、それぞれ回転対称の形状であるため、撮影光学系として好ましい。
　本発明の更に他の態様に係る撮像装置において、環状光学系は、撮影光学系の望遠光学系であり、光束を２回以上反射させる反射光学系を含むことが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、撮像部をコンパクトにすることができる。
　本発明の更に他の態様に係る撮像装置において、望遠光学系の反射光学系は、少なくとも光束を反射させる主反射光学系と、主反射光学系により反射した光束を更に反射させる副反射光学系とを有し、パン・チルト機構は、指向性センサの受光面に対して主反射光学系を直交２軸の各軸回り方向に傾動させるとともに、傾動させた主反射光学系の傾斜角の２分の１だけ副反射光学系を傾動させることが好ましい。このように主反射光学系と副反射光学系とを傾動させることにより、望遠光学系の撮影光軸の方向が変化しても、望遠像を指向性センサの受光面に直交するように入射させることができる。
　本発明の更に他の態様に係る撮像装置において、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。
　本発明の更に他の態様に係る撮像装置において、指向性センサは、瞳分割部として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。
　本発明によれば、単一の撮像部により機械的な切替機構なしで広角画像と望遠画像とを同時に取得することができるため、装置の小型化及び低コスト化を図ることができ、かつ、望遠光学系の撮影光軸の方向を独立して移動させることができるため、広角画像の任意の領域の望遠画像を撮像することができる。
本発明に係る撮像装置の外観斜視図 撮像装置の撮像部の第１の実施形態を示す斜視図であり、特にパン・チルト機構の構造を示す図 撮像部を構成する撮影光学系の各光学部材の縦断面図 図２に示した撮影光学系のうちの広角光学系を示す斜視図 図２に示した撮影光学系のうちの望遠光学系を示す斜視図 図２に示した撮影光学系に光路を付加した図 広角光学系の光軸と望遠光学系の光軸とが一致している場合の、望遠光学系の各光学部材の縦断面図 望遠光学系の光軸が、所定のチルト角度θだけ傾いた状態の望遠光学系の各光学部材の縦断面図 指向性センサを構成するマイクロレンズアレイ及びイメージセンサの要部拡大図 イメージセンサに配設されたカラーフィルタ配列等を示す図 撮像装置の内部構成の実施形態を示すブロック図 撮像された広角画像及び望遠画像の一例を示す図 動体を追尾対象の物体として検出する動体検出方法の一例について説明するために用いた図 本発明に係る撮像装置による自動追尾制御方法の一例を示すフローチャート 本発明に係る撮像装置による自動追尾制御方法の他の例を示すフローチャート 指向性センサの他の実施形態を示す側面図 撮像装置に適用可能な撮像部の他の実施形態を示す断面図 撮像装置の他の実施形態であるスマートフォンの外観図 スマートフォンの要部構成を示すブロック図
　以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
　＜撮像装置の外観＞
　図１は本発明に係る撮像装置の外観斜視図である。
　図１に示す撮像装置１０は、自動車の車内に搭載される車載カメラ、あるいは特定の場所に設置される監視カメラである。撮像装置１０の前面には、撮影光学系１２が配置され、上面には記録スイッチ３８－１及び電源スイッチ３８－２などが設けられ、底面には固定用のステージ８が取り付けられている。尚、Ｌ１は撮影光学系１２のうちの後述する広角光学系１３の撮影光軸（以下、単に「光軸」という）を表す。
　［撮像部の構成］
　図２は、撮像装置１０の撮像部１１の第１の実施形態を示す斜視図であり、後述するパン・チルト機構３２（図１１）の要部構造を示している。
　図２に示すように撮像部１１は、撮影光学系１２と指向性センサ１７とから構成されている。
　＜撮影光学系＞
　図３は、撮影光学系１２の光学部材の縦断面図である。
　図２及び図３に示すように撮影光学系１２は、円形の中央光学系である広角光学系１３と、中央光学系（広角光学系１３）に対して同心円状に配設された環状光学系である望遠光学系１４とから構成されている。
　広角光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角レンズであり、指向性センサ１７上に広角画像を結像させる。
　望遠光学系１４は、第１レンズ１４ａ、主反射光学系としての第１反射ミラー１４ｂ、副反射光学系としての第２反射ミラー１４ｃ、及び共通レンズ１５から構成された反射式望遠レンズであり、指向性センサ１７上に望遠画像を結像させる。
　図４及び図５は、それぞれ図２に示した撮影光学系１２のうちの広角光学系１３と望遠光学系１４とを分離して示した図である。
　図４に示すように広角光学系１３は、撮像装置１０内の基台部１００に固定されたレンズ支持部１０２により支持されている。尚、指向性センサ１７も基台部１００に固定されたセンサ支持部１０４により支持されている。
　一方、図５に示す望遠光学系１４は、第１ジンバル機構１２０及び第２ジンバル機構１３０を介して支持されている。これらの第１ジンバル機構１２０及び第２ジンバル機構１３０は、それぞれ基台部１００に対して広角光学系１３の光軸Ｌ１の方向（図５中の矢印ＡＢの方向）に移動自在な可動部１１０に配設されている。従って、基台部１００に対して可動部１１０（即ち、望遠光学系１４）を矢印ＡＢの方向に移動させることにより、望遠光学系１４の焦点調整を行うことができる。
　第１ジンバル機構１２０は、片持ち式の２軸のジンバル機構であり、第１軸１２２Ａを中心にして回動する第１ジンバル１２２と、第２軸１２４Ａを中心にして回動する第２ジンバル１２４とを有し、第２ジンバル１２４にはレンズ支持枠１２６が固定されている。
　第１ジンバル機構１２０の第１軸１２２Ａと第２軸１２４Ａとは、互いに軸方向が直交する直交２軸であり、広角光学系１３の光軸上で交差することが好ましい。また、レンズ支持枠１２６には、第１レンズ１４ａと第１反射ミラー１４ｂとが取り付けられている。
　第２ジンバル機構１３０は、第１ジンバル機構１２０と同様に片持ち式の２軸のジンバル機構であり、第１軸１３２Ａを中心にして回動する第１ジンバル１３２と、第２軸１３４Ａを中心にして回動する第２ジンバル１３４とを有し、第２ジンバル１３４にはミラー支持枠１３６が固定されている。
　第２ジンバル機構１３０の第１軸１３２Ａと第２軸１３４Ａとは、互いに軸方向が直交する直交２軸であり、広角光学系１３の光軸Ｌ１上で交差することが好ましい。また、ミラー支持枠１３６には、第２反射ミラー１４ｃが取り付けられている。
　図６は、上記構成の撮影光学系１２の光路を示す図である。
　広角光学系１３の第１レンズ１３ａを介して入射する被写体像は、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５（図３参照）を介して指向性センサ１７上に結像する。
　また、望遠光学系１４の第１レンズ１４ａを介して入射した被写体像は、第１反射ミラー１４ｂ及び第２反射ミラー１４ｃにより２回反射された後、共通レンズ１５を介して指向性センサ１７上に結像する。第１反射ミラー１４ｂ及び第２反射ミラー１４ｃにより被写体像（光束）が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。尚、第１反射ミラー１４ｂ及び第２反射ミラー１４ｃの少なくとも一方は、凹面又は凸面の球面ミラー、あるいは非球面ミラーであってもよいし、平面ミラーであってもよい。
　＜パン・チルト機構＞
　撮像装置１０のパン・チルト機構３２は、望遠光学系１４を水平方向（パン方向）及び垂直方向（チルト方向）に回動させ、望遠光学系１４の光軸Ｌ２の方向を移動させるものであり、図２等に示したように第１ジンバル機構１２０及び第２ジンバル機構１３０を含んでいる。
　第１ジンバル機構１２０は、第１軸１２２Ａを中心にして第１ジンバル１２２を回動させることにより、第１レンズ１４ａ及び第１反射ミラー１４ｂを、第１軸１２２Ａの軸回り方向（パン方向）に回動させ、第１ジンバル機構１２０の第２軸１２４Ａを中心にして第２ジンバル１２４を回動させることにより、第１レンズ１４ａ及び第１反射ミラー１４ｂを第２軸１２４Ａの軸回り方向（チルト方向）に回動させる。
　第２ジンバル機構１３０は、第１軸１３２Ａを中心にして第１ジンバル１３２を回動させることにより、第２反射ミラー１４ｃをパン方向に回動させ、第２ジンバル機構１３０の第２軸１３４Ａを中心にして第２ジンバル１３４を回動させることにより、第２反射ミラー１４ｃをチルト方向に回動させる。
　図７は、広角光学系の光軸Ｌ１と望遠光学系１４の光軸Ｌ２とが一致している場合の、望遠光学系１４の各光学部材の縦断面図である。
　即ち、図７に示す望遠光学系１４の光軸Ｌ２は、パン方向の角度（パン角度φ）及びチルト方向の角度（チルト角度θ）がともにゼロ（θ＝０，φ＝０）になっている。
　図８は、望遠光学系１４の光軸Ｌ２が、所定のチルト角度θだけ傾いた状態の望遠光学系１４の各光学部材の縦断面図である。
　図８に示すように、広角光学系１３の光軸Ｌ１の方向（指向性センサ１７の受光面に直交する方向）に対して、望遠光学系１４の光軸Ｌ２の方向をチルト角度θだけ下向きに傾ける（チルトさせる）場合、第１ジンバル機構１２０の第２ジンバル１２４をチルト角度θだけ回動させ、第１レンズ１４ａ及び第１反射ミラー１４ｂをチルト角度θだけ傾斜させるとともに、第２ジンバル機構１３０の第２ジンバル１３４をチルト角度θの２分の１の角度θ／２だけ回動させ、第２反射ミラー１４ｃを角度θ／２だけ傾斜させる。
　このように、第１レンズ１４ａ及び第１反射ミラー１４ｂ（即ち、第１反射ミラー１４ｂを含み、第１反射ミラー１４ｂにより反射するまでの光学部材）を傾動させた傾斜角（チルト角度θ）に対して、その傾斜角（チルト角度θ）の２分の１の角度（角度θ／２）だけ第２反射ミラー１４ｃを傾動させることにより、望遠光学系１４の光軸Ｌ２の方向を変化させても、望遠像を指向性センサ１７の受光面に直交するように入射させることができる。
　図８に示す例では、望遠光学系１４をチルト角度θだけ傾斜させた場合に関して説明したが、望遠光学系１４を水平方向にパン角度φ（図示せず）だけ傾斜させる場合には、広角光学系１３の光軸Ｌ１の方向に対して、第１ジンバル機構１２０の第１ジンバル１２２をパン角度φだけ回動させ、第１レンズ１４ａ及び第１反射ミラー１４ｂをパン角度φだけ傾斜させるとともに、第２ジンバル機構１３０の第１ジンバル１３２をパン角度φの２分の１の角度φ／２だけ回動させ、第２反射ミラー１４ｃを角度φ／２だけ傾斜させる。
　上記のように望遠光学系１４をパン・チルト動作させ、望遠光学系１４の光軸の方向を移動させることにより、広角画像の任意の領域の望遠画像を取得（撮像）することができる。
　＜指向性センサ＞
　指向性センサ１７は、瞳分割部に相当するマイクロレンズアレイ１６と、イメージセンサ１８とから構成されている（図１１参照）。
　図９は、図１１に示した指向性センサ１７を構成するマイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。
　マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。
　また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の広角光学系１３及び望遠光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。
　図９に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。
　中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。
　上記構成の撮像部１１によれば、後述するように広角光学系１３に対応する広角画像と、望遠光学系１４に対応する望遠画像とを同時に撮像することができる。
　［イメージセンサの実施形態］
　図１０は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図１０上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。
　図１０（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。
　このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。
　図１０（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図１０（ａ）の太枠で示したブロック、及び図１０（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。
　図１０（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１～Ｂ４により構成されている。
　図１０（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１～Ｂ４の中央の受光セル（図９に示した広角光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図９に示した望遠光学系１４を通過した光速が入射する受光セル）のグループとを示す。
　図１０（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。
　一方、図１０（ｃ２）に示すように、単位ブロックＢ１～Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１～Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。
　具体的には、各単位ブロックＢ１～Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。
　また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
　即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。
　これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、望遠光学系１４に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。
　＜撮像装置の内部構成＞
　図１１は、撮像装置１０の内部構成の実施形態を示すブロック図である。
　図１１に示すように撮像装置１０は、図２等で説明した広角光学系１３及び望遠光学系１４を有する撮影光学系１２と、図９及び図１０で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。
　この撮像部１１は、望遠光学系１４の焦点調整を行う焦点調整部１９を備えることが好ましい。
　焦点調整部１９は、図２等に示した可動部１１０（即ち、望遠光学系１４の全体又は一部の光学系）を、矢印ＡＢ方向（光軸Ｌ１の方向）に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系１３については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。
　パン・チルト装置３０は、図２等に示したように望遠光学系１４をパン方向及びチルト方向に回動（傾動）させるパン・チルト機構３２（即ち、第１ジンバル機構１２０及び第２ジンバル機構１３０を含む機構）、パン駆動部３４及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角度φ）、及びチルト方向の傾き角（チルト角度θ）をそれぞれ検出する角度検出器を有している。角度検出器により検出されるパン角度φ及びチルト角度θは、パン・チルト装置３０をパン・チルト制御する際のフィードバック情報として使用することができる。
　パン駆動部３４及びチルト駆動部３６は、それぞれサーボモータあるいはステッピングモータ、及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。
　撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
　イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ－Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。
　これにより、イメージセンサ１８から広角光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、望遠光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。
　イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
　画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。
　即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。
　尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。
　画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び物体検出部５０に出力される。
　デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。
　即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。
　一方、望遠画像は、図１０（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
　具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。
　上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。
　また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。
　デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示部４４に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、望遠画像のみを記録するようにしてもよい。
　表示部４４は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。
　一方、物体検出部５０は、画像取得部２２が取得した広角画像及び望遠画像を示す画素信号に基づいて追尾対象の物体を検出し、検出した物体の画像中における位置情報をパン・チルト制御部６０に出力するもので、望遠画像に基づいて物体を検出し、物体の広角画像中における位置情報を検出する第１の物体検出部５２と、望遠画像に基づいて物体を検出し、物体の望遠画像中における位置情報を検出する第２の物体検出部５４とを有している。
　第１の物体検出部５２及び第２の物体検出部５４における物体の検出方法としては、人物の顔認識を行う技術に代表される物体認識技術により特定の物体を検出する方法、又は動体を追尾対象の物体として検出する動体検出方法がある。
　物体認識による物体の検出方法は、特定の物体の見え方の特徴を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。
　図１２（ａ）及び（ｂ）は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の実線で示した枠で囲まれた領域は、現在の望遠画像の撮像範囲を示しており、二点鎖線で示した枠で囲まれた領域は、過去及び未来の望遠画像の撮像範囲を示している。
　いま、図１２（ａ）及び（ｂ）に示す広角画像及び望遠画像が撮像され、かつ特定の物体（図１２に示す例では、特定の自動車（ミニバン））を追尾対象とする場合、第１の物体検出部５２は、広角画像の画角内にミニバンが捉えられている限り、ミニバンの広角画像内の位置を検出することができる。
　一方、第２の物体検出部５４は、望遠画像の画角内にミニバンが十分に捉えられている限り、ミニバンの望遠画像内の位置を検出することができるが、パン・チルト装置３０による自動追尾の性能や物体（ミニバン）の速度により、望遠画像の画角内にミニバンが全く又は一部しか捉えられていない場合には、ミニバンを認識することができず、ミニバンの望遠画像内の位置を検出することができない場合もある。
　物体検出部５０（第１の物体検出部５２、第２の物体検出部５４）は、広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出するため、物体が高速で移動しても広角画像により物体を捉えることができ、トラッキング逸脱が発生しない。
　第１の物体検出部５２により検出された物体の広角画像中の位置を示す位置情報、及び第２の物体検出部５４により検出された物体の望遠画像中の位置を示す位置情報は、パン・チルト制御部６０に加えられる。
　また、本例では、第１の追尾モード又は第２の追尾モードを選択するモード選択部５６が設けられている。第１の追尾モードは、第１の物体検出部５２により検出された物体の広角画像中の位置を示す位置情報のみをパン・チルト制御部６０に出力し、広角画像中の物体の位置情報に基づいてパン・チルト装置３０を制御するモードである。一方、第２の追尾モードは、第１の物体検出部５２及び第２の物体検出部５４を併用し、第２の物体検出部５４により検出された物体の望遠画像中の位置を示す位置情報もパン・チルト制御部６０に出力し、広角画像中の物体の位置情報及び望遠画像中の物体の位置を示す位置情報に基づいてパン・チルト装置３０を制御するモードである。
　パン・チルト制御部６０は、上記のように物体検出部５０から入力する画像中（広角画像中、望遠画像中）の物体の位置を示す位置情報に基づいてパン・チルト装置３０を制御する部分であり、画像中の物体の位置（例えば、追尾対象の物体の重心位置、又は物体の特徴部分の位置）が、望遠画像の中心位置（望遠光学系１４の光軸Ｌ２上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパン・チルト機構３２（即ち、望遠光学系１４の光軸Ｌ２の方向）を制御する。
　上記のパン・チルト機構３２の制御により、追尾対象の物体が望遠画像の中心にくるように、物体を自動追尾して撮像することができる。尚、画像中の物体の位置（重心位置）が、望遠画像の中心にくるように追尾制御する場合に限らず、画像中の物体の位置（重心位置）が、少なくとも望遠画像の画角（好ましくは、望遠画像の中心近傍の一定範囲（例えば、焦点検出領域内））に入るようにパン・チルト機構３２を制御するようにしてもよい。
　次に、第１の物体検出部５２及び第２の物体検出部５４における物体の検出方法として、動体を追尾対象の物体として検出する動体検出方法の一例について説明する。
　この場合、第１の物体検出部５２は、図１３に示すように時系列の２枚の広角画像（前回取得した広角画像（図１３（ａ）と、今回取得した広角画像（図１３（ｂ））の差分をとった差分画像（図１３（ｃ））を検出する。
　図１３（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。
　従って、図１３（ｃ）に示すように差分画像Ａ１，Ａ２は、物体Ａの移動により生じた画像である。
　ここで、差分画像Ａ１，Ａ２の重心位置を算出し、それぞれ位置Ｐ１，Ｐ２とし、これらの位置Ｐ１，Ｐ２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の広角画像中の位置とする。
　このようして算出した広角画像中の物体Ａの位置Ｇが、望遠画像の中心位置（光軸Ｌ２上の位置）に移動するように、パン・チルト機構３２（即ち、望遠光学系１４の光軸Ｌ２の方向）を繰り返し制御することにより、物体Ａが望遠画像の中心位置に移動（収束）する。
　尚、第２の物体検出部５４も第１の物体検出部５２と同様に、望遠画像に基づいて追尾対象の物体（動体）を検出し、広角画像中の物体の位置を検出することができる。また、撮像部１１が移動（撮像装置１０を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。
　＜自動追尾制御方法＞
　図１４は、本発明に係る撮像装置による自動追尾制御方法の一例を示すフローチャートであり、モード選択部５６により第１の追尾モードが選択された場合に関して示している。
　図１４において、第１の物体検出部５２は、画像取得部２２から広角画像を取得し（ステップＳ１０）、取得した広角画像から追尾対象の物体を検出する（ステップＳ１２）。
　続いて、第１の物体検出部５２は、検出した物体の広角画像中の位置を示す位置情報を算出する（ステップＳ１４）。
　次に、パン・チルト制御部６０は、第１の物体検出部５２から広角画像中の物体の位置を示す位置情報を入力し、入力した位置情報に基づいて物体が望遠画像の中心にくるようにパン・チルト装置３０を制御する（ステップＳ１６）。
　一般的な写真レンズでは像の位置は光入射角の正接関数（tan)に比例するので、例えば、画像中心からのパン方向の物体の位置がｘであった場合、光学系を次式、
　［数１］
　φ＝arctan（ｘ／Ａ）
に示すパン角度φだけ回転（パン）させれば、物体を光学系の光軸中心にて捉えることができる。
　尚、上記［数１］式において、Ａは、焦点距離に対応する定数である。また、レンズの収差や意図的な設計によって［数１］式に示した関数からパン角度φがずれる場合には、そのずれ分を含む角度だけ光学系を回転させればよいことは言うまでもない。更に、画像中心からチルト方向に物体が移動（変位）している場合も、上記と同様に物体を光学系の光軸中心にて捉えるための光学系のチルト角θを求めることができ、求めたパン角度θだけ光学系を回転（チルト）させれば、物体を光学系の光軸中心にて捉えることができる。
　次に、自動追尾撮像が終了したか否かを判別し（ステップＳ１８）、終了していないと判別すると、ステップＳ１０に遷移させる。これにより、上記ステップＳ１０からステップＳ１８の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。尚、自動追尾撮像が終了したか否かを判別は、電源のオン／オフにより行ってもよいし、自動追尾撮像を行うか否かを示すスイッチ入力等により行ってもよい。
　図１５は、本発明に係る撮像装置による自動追尾制御方法の他の例を示すフローチャートであり、モード選択部５６により第２の追尾モードが選択された場合に関して示している。
　図１５において、ステップＳ１０、Ｓ１２及びＳ１４は、図１４に示したステップＳ１０、Ｓ１２及びＳ１４と同様の処理を行う。
　続いて、第２の物体検出部５４は、画像取得部２２から望遠画像を取得し（ステップＳ２０）、取得した望遠画像から追尾対象の物体を検出する（ステップＳ２２）。
　次に、第２の物体検出部５４は、ステップＳ２２において、物体が検出されたか否かを判別する（ステップＳ２４）。物体が検出された場合（「Yes」の場合）には、第２の物体検出部５４は、検出した物体の望遠画像中の位置を示す位置情報を算出する（ステップＳ２６）。一方、物体が検出されなかった場合（「No」の場合）には、ステップＳ３４に遷移させる。
　次に、パン・チルト制御部６０は、ステップＳ１４により検出された広角画像中の物体の位置情報、ステップＳ２２により検出された望遠画像中の物体の位置情報、及び角度検出器により検出されるパン・チルト機構３２の現在のパン角度φ及びチルト角度θを入力し、入力した位置情報及び角度情報に基づいて物体が望遠画像の中心位置にくるようにパン・チルト装置３０を制御する（ステップＳ３４）。
　ここで、パン・チルト制御部６０は、ステップＳ２４において、望遠画像から物体が検出されていないと判別されている場合には、ステップＳ１４により検出された広角画像中の物体の位置情報に基づいて、物体が望遠画像の中心位置にくるようにパン・チルト装置３０を制御する。一方、ステップＳ２４において、望遠画像から物体が検出されていると判別されている場合には、望遠画像の取得時におけるパン角度φ及びチルト角度θと、ステップＳ２６により検出された望遠画像中の物体の位置情報とに基づいて、物体が望遠画像の中心位置にくるようにパン・チルト装置３０を制御する。望遠画像中の物体の位置情報を使用することにより、より精度の高い物体の自動追尾を行うことができる。
　次に、自動追尾撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ１０に遷移させる。これにより、上記ステップＳ１０からステップＳ３６の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。
　＜指向性センサの他の実施形態＞
　図１６は、指向性センサの他の実施形態を示す側面図である。
　この指向性センサ１７０は、瞳分割部に相当するマイクロレンズアレイ１６０及び遮光マスクとして機能する遮光部材１５０と、遮光部材１５０により受光セル１８０ａ、１８０ｂの一部が遮光されたイメージセンサ１８０とから構成されている。尚、遮光部材１５０により一部が遮光された受光セル１８０ａと受光セル１８０ｂとは、イメージセンサ１８０の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。
　マイクロレンズアレイ１６０は、イメージセンサ１８０の受光セル１８０ａ、１８０ｂと一対一に対応するマイクロレンズ１６０ａを有している。
　遮光部材１５０は、イメージセンサ１８０の受光セル１８０ａ、１８０ｂの開口を規制するものであり、図２等に示した撮影光学系１２の広角光学系１３及び望遠光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１６０の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。
　受光セル１８０ａは、遮光部材１５０の遮光部１５０ａによりその開口の周辺部が遮光され、一方、受光セル１８０ｂは、遮光部材１５０の遮光部１５０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の広角光学系１３を通過した光束は、マイクロレンズアレイ１６０及び遮光部材１５０の遮光部１５０ａにより瞳分割されて受光セル１８０ａに入射し、一方、撮影光学系１２の望遠光学系１４を通過した光束は、マイクロレンズアレイ１６０及び遮光部材１５０の遮光部１５０ｂにより瞳分割されて受光セル１８０ｂに入射する。
　これにより、イメージセンサ１８０の各受光セル１８０ａから広角画像の画素信号を読み出すことができ、イメージセンサ１８０の各受光セル１８０ｂから望遠画像の画素信号を読み出すことができる。
　＜撮像部の他の実施形態＞
　次に、本発明に係る撮像装置に適用される撮像部の他の実施形態について説明する。
　図１７は、撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。
　この撮像部は、撮影光学系２１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図３に示したものと同一であるため、以下、撮影光学系２１２について説明する。
　この撮影光学系２１２は、それぞれ円形の中央光学系である望遠光学系２１４とその周辺部の中央光学系（望遠光学系２１４）に対して同心円状に配設された環状光学系である広角光学系２１３とから構成されている。
　望遠光学系２１４は、第１レンズ２１４ａ、第２レンズ２１４ｂ、及び共通レンズ２１５から構成された望遠光学系であり、画角αを有している。
　広角光学系２１３は、レンズ２１３ａ及び共通レンズ２１５から構成された広角光学系であり、画角β（β＞α）を有し、望遠光学系２１４よりも広角である。
　この撮影光学系２１２は、図２等に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、円形の中央光学系が望遠光学系２１４であり、中央光学系に対して同心円状に配設された環状光学系が広角光学系２１３である点で相違する。
　尚、中央光学系である望遠光学系２１４は、広角光学系２１３の光軸の方向に対して、望遠光学系２１４の光軸の方向を相対的に移動できるものであることは言うまでもない。
　撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　＜スマートフォンの構成＞
　図１８は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１９は、図１８に示したスマートフォン５００の構成を示すブロック図である。図１９に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
　表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
　操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１８に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきらない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０を適用することができる。メカ的な切り替え機構等を必要とせずに、広角画像と望遠画像とを撮影することができ、スマートフォン５００のように薄型の携帯端末に組み込むカメラ部として好適である。
　また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１８に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　［その他］
　本発明に係る撮像装置は、例えば、車載カメラ、監視カメラとして使用することができるが、その用途はこれに限定されるものではない。
　また、広角光学系の光軸の方向に対して望遠光学系の光軸の方向を移動させるパン・チルト機構は、ジンバル機構を使用したものに限らず、要は広角光学系とは独立して望遠光学系の光軸の方向を移動させることができるものであれば、如何なるものでもよい。
　更に、望遠光学系を反射式望遠レンズにより構成した場合、反射ミラーの枚数は２枚に限らず、３枚以上設けるようにしてもよい。また、追尾対象の物体は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。
　更にまた、本実施形態の撮影光学系は、それぞれ異なる領域に配置された広角光学系及び望遠光学系のうちの一方の光学系を円形の中央光学系とし、他方の光学系を中央光学系に対して同心円状に配設された環状光学系としたが、広角光学系と望遠光学系の形状は、本実施形態に限定されず、種々の形状のものが考えられる。
　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

Claims (11)

  1. 　広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系と、
    　２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
    　前記広角光学系の撮影光軸の方向に対して前記望遠光学系の撮影光軸の方向を移動させるパン・チルト機構と、
    　前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、
    　を備えた撮像装置。
  2. 　前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、
    　前記物体検出部により検出された物体の画像中における位置情報に基づいて前記パン・チルト機構を制御するパン・チルト制御部と、
    　を備えた請求項１に記載の撮像装置。
  3. 　前記物体検出部は、前記画像取得部が連続して取得した広角画像に基づいて動体を検出し、前記検出した動体を追尾対象の物体とする請求項２に記載の撮像装置。
  4. 　前記物体検出部は、前記画像取得部が取得した広角画像に基づいて特定の物体を認識し、前記認識した特定の物体を追尾対象の物体とする請求項２に記載の撮像装置。
  5. 　前記パン・チルト制御部は、前記物体検出部により検出した物体の画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記検出した物体を少なくとも前記望遠画像の画角に入れる請求項２から４のいずれか１項に記載の撮像装置。
  6. 　前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する記録部を備えた請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記撮影光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記環状光学系は、前記撮影光学系の望遠光学系であり、光束を２回以上反射させる反射光学系を含む請求項７に記載の撮像装置。
  9. 　前記望遠光学系の反射光学系は、少なくとも光束を反射させる主反射光学系と、該主反射光学系により反射した光束を更に反射させる副反射光学系とを有し、
    　前記パン・チルト機構は、前記指向性センサの受光面に対して前記主反射光学系を直交２軸の各軸回り方向に傾動させるとともに、前記傾動させた前記主反射光学系の傾斜角の２分の１だけ前記副反射光学系を傾動させる請求項８に記載の撮像装置。
  10. 　前記望遠光学系の焦点調整を行う焦点調整部を有する請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記指向性センサは、瞳分割部として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から１０のいずれか１項に記載の撮像装置。
PCT/JP2015/061506 2014-06-27 2015-04-14 撮像装置 WO2015198691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15812828.0A EP3163349B1 (en) 2014-06-27 2015-04-14 Imaging device
CN201580030391.4A CN106464788B (zh) 2014-06-27 2015-04-14 摄像装置
US15/368,709 US10244165B2 (en) 2014-06-27 2016-12-05 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014132702A JP6214481B2 (ja) 2014-06-27 2014-06-27 撮像装置
JP2014-132702 2014-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/368,709 Continuation US10244165B2 (en) 2014-06-27 2016-12-05 Imaging device

Publications (1)

Publication Number Publication Date
WO2015198691A1 true WO2015198691A1 (ja) 2015-12-30

Family

ID=54937790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061506 WO2015198691A1 (ja) 2014-06-27 2015-04-14 撮像装置

Country Status (5)

Country Link
US (1) US10244165B2 (ja)
EP (1) EP3163349B1 (ja)
JP (1) JP6214481B2 (ja)
CN (1) CN106464788B (ja)
WO (1) WO2015198691A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104241262B (zh) 2013-06-14 2020-11-06 惠州科锐半导体照明有限公司 发光装置以及显示装置
JP6077967B2 (ja) * 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
CN109889708B (zh) * 2015-12-29 2021-07-06 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
JP6619513B2 (ja) * 2016-05-17 2019-12-11 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
JP6742818B2 (ja) * 2016-05-27 2020-08-19 キヤノン株式会社 撮像装置
US10514483B2 (en) * 2016-10-13 2019-12-24 Massachusetts Institute Of Technology Time-of-flight camera for imaging through optical cavity
US10531187B2 (en) * 2016-12-21 2020-01-07 Nortek Security & Control Llc Systems and methods for audio detection using audio beams
JP6988409B2 (ja) * 2017-04-03 2022-01-05 株式会社デンソー カメラモジュール
US10317651B2 (en) 2017-04-03 2019-06-11 Denso Corporation Camera module
KR101899318B1 (ko) * 2017-04-24 2018-10-29 주식회사 이엠따블유 계층적 얼굴객체 탐색 방법과 이를 이용한 얼굴 인식 방법 및 계층적 얼굴객체 탐색 시스템과 이를 이용한 얼굴 인식 시스템
JP6723452B2 (ja) * 2017-06-21 2020-07-15 富士フイルム株式会社 撮像装置及び移動撮像装置
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
CN110753168B (zh) * 2018-07-23 2021-10-22 杭州海康微影传感科技有限公司 光学系统及监控设备
JP7091199B2 (ja) 2018-09-12 2022-06-27 株式会社東芝 画像処理装置、方法及びプログラム
WO2020153355A1 (ja) * 2019-01-23 2020-07-30 株式会社ニコン 光学系、光学機器、撮像装置、並びに、光学系及び撮像装置の製造方法
CN110266921A (zh) * 2019-06-20 2019-09-20 浙江大华技术股份有限公司 摄像头及使用该摄像头的监控系统
KR102603192B1 (ko) * 2021-06-01 2023-11-17 한국기계연구원 틸트 구조를 갖는 가압 장치 및 이의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2011505022A (ja) * 2007-11-27 2011-02-17 イーストマン コダック カンパニー 二重の焦点距離のレンズシステム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59127028A (ja) * 1983-01-11 1984-07-21 Fuji Photo Film Co Ltd カメラのレンズ切替装置
JPH1048701A (ja) 1996-08-07 1998-02-20 Canon Inc 撮影装置
EP0878965A3 (en) 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JPH1169342A (ja) 1997-08-22 1999-03-09 Hitachi Denshi Ltd 侵入物体追尾画像処理システム
JP2000341574A (ja) 1999-05-28 2000-12-08 Canon Inc カメラ装置及びカメラ制御システム
US6734911B1 (en) 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
JP2003116029A (ja) 2001-10-04 2003-04-18 Minolta Co Ltd 撮像装置及びこの撮像装置を用いた画像記録装置
US7408703B2 (en) 2001-11-13 2008-08-05 Matsushita Electric Industrial Co., Ltd. Wide-angle imaging optical system and wide-angle imaging apparatus surveillance imaging apparatus vehicle-mounted imaging apparatus and projection apparatus using the wide-angle imaging optical system
JP4140567B2 (ja) 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
JP2006333120A (ja) 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
JP4188394B2 (ja) * 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
JP5074747B2 (ja) 2006-11-22 2012-11-14 キヤノン株式会社 光学装置、撮像装置、制御方法、及びプログラム
JP2008269735A (ja) * 2007-04-24 2008-11-06 Sanyo Electric Co Ltd 光ピックアップ装置
JP2010141671A (ja) 2008-12-12 2010-06-24 Canon Inc 撮像装置
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
JP5466766B2 (ja) 2010-10-01 2014-04-09 富士フイルム株式会社 撮像装置
US9063352B2 (en) 2010-10-11 2015-06-23 The Regents Of The University Of California Telescopic contact lens
JP5693379B2 (ja) 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
JP5634946B2 (ja) 2011-06-06 2014-12-03 富士フイルム株式会社 撮像装置
WO2013027498A1 (ja) * 2011-08-23 2013-02-28 日本電気株式会社 歪補償増幅装置及び歪補償増幅方法
EP2750374B1 (en) * 2011-08-24 2018-03-28 FUJIFILM Corporation Imaging device
JP5832353B2 (ja) 2012-03-29 2015-12-16 富士フイルム株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2011505022A (ja) * 2007-11-27 2011-02-17 イーストマン コダック カンパニー 二重の焦点距離のレンズシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3163349A4 *

Also Published As

Publication number Publication date
CN106464788B (zh) 2019-05-03
EP3163349A1 (en) 2017-05-03
JP2016012786A (ja) 2016-01-21
US10244165B2 (en) 2019-03-26
US20170104929A1 (en) 2017-04-13
JP6214481B2 (ja) 2017-10-18
EP3163349B1 (en) 2018-09-19
EP3163349A4 (en) 2017-05-03
CN106464788A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
JP6214481B2 (ja) 撮像装置
US10244166B2 (en) Imaging device
US9179059B2 (en) Image capture device and image display method
JP5690974B2 (ja) 撮像装置及び合焦制御方法
US9470875B2 (en) Image pickup device
JP5799178B2 (ja) 撮像装置及び合焦制御方法
US10165181B2 (en) Imaging device
JP6307526B2 (ja) 撮像装置及び合焦制御方法
JPWO2014141561A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
JP5542248B2 (ja) 撮像素子及び撮像装置
JP6367360B2 (ja) 撮像装置、撮像方法及び画像処理プログラム
JP2014176056A (ja) 撮像装置
JP6397048B2 (ja) 撮像装置、撮像方法及び画像処理プログラム
JP6326149B2 (ja) 撮像装置、撮像方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15812828

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015812828

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015812828

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE