WO2016068057A1 - 撮像装置及び対象物認識方法 - Google Patents

撮像装置及び対象物認識方法 Download PDF

Info

Publication number
WO2016068057A1
WO2016068057A1 PCT/JP2015/080051 JP2015080051W WO2016068057A1 WO 2016068057 A1 WO2016068057 A1 WO 2016068057A1 JP 2015080051 W JP2015080051 W JP 2015080051W WO 2016068057 A1 WO2016068057 A1 WO 2016068057A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
optical system
angle
telephoto
Prior art date
Application number
PCT/JP2015/080051
Other languages
English (en)
French (fr)
Inventor
野中　俊一郎
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP15854282.9A priority Critical patent/EP3214832B1/en
Priority to JP2016556549A priority patent/JP6302085B2/ja
Priority to CN201580058258.XA priority patent/CN107079087B/zh
Publication of WO2016068057A1 publication Critical patent/WO2016068057A1/ja
Priority to US15/487,441 priority patent/US10091408B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/04—Combinations of cameras with non-electronic flash apparatus; Non-electronic flash units
    • G03B15/041—Separatable flash apparatus; Means for mounting the flash apparatus on the photographic apparatus
    • G03B15/0431—Rotatable mounting means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/04—Combinations of cameras with non-electronic flash apparatus; Non-electronic flash units
    • G03B15/041—Separatable flash apparatus; Means for mounting the flash apparatus on the photographic apparatus
    • G03B15/0436—Mounting means for sequential translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus and an object recognition method, and more particularly to an imaging apparatus and an object recognition method that can simultaneously capture a wide-angle image and a telephoto image.
  • Patent Documents 1 and 2 Conventionally, there are devices described in Patent Documents 1 and 2 as imaging devices that can simultaneously capture a wide-angle image and a telephoto image.
  • Patent Documents 1 and 2 each include a wide-angle camera that captures a wide-angle image and a telephoto camera that captures a telephoto image mounted on an electric pan head (pan / tilt device). Then, the tracking target is detected from the wide-angle image captured by the wide-angle camera, the electric pan head is controlled to rotate based on the position information of the detected target in the wide-angle image, and the target is automatically tracked by the telephoto camera.
  • Telephoto imaging is the basic configuration.
  • a narrow-angle image is formed by the optical system in which the narrow-angle lens portion in the circular central portion and the wide-angle lens portion in the annular portion surrounding the circular central portion are arranged coaxially, and the narrow-angle lens portion.
  • a camera equipped with an image sensor having a central area and a peripheral area where a wide-angle image is formed by a wide-angle lens unit is mounted on a pan / tilt base, and the object to be tracked is captured at the center of the camera's field of view.
  • Patent Document 3 proposes a tracking system for controlling the pan / tilt base.
  • the object can be captured by the wide-angle lens part, so that tracking deviation (tracking dropout) does not occur.
  • Non-Patent Document 1 a contact lens capable of observing a wide-angle image and a telephoto image has been proposed by Joseph Ford of the University of California, San Diego (UCSD) (Non-Patent Document 1).
  • Patent Documents 1 and 2 are basically provided with two independent wide-angle cameras and a telephoto camera, there is a problem that the system becomes expensive and increases in size.
  • the optical axes of the wide-angle camera and the telephoto camera are not the same, and parallax occurs between the wide-angle image and the telephoto image that are captured, so if the parallax correction is not performed using the distance information of the object, the telephoto camera will ensure I can't catch the object.
  • the wide-angle camera is fixed, there is a problem that when the object moves beyond the angle of view of the wide-angle image, the object cannot be captured by the telephoto camera.
  • the tracking system described in Patent Document 3 has a narrow-angle image captured by a narrow-angle lens portion in a circular central portion and a wide-angle image (distortion aberration is corrected) captured by a wide-angle lens portion in an annular portion. It is difficult to design an optical system that smoothly connects a non-fisheye image). Therefore, there is a problem that it is difficult to track the object at the boundary between the narrow-angle image and the wide-angle image.
  • the narrow-angle image and the wide-angle image overlap (batt) on the image sensor. If an optical shielding and / or separation mechanism is provided to avoid this, the wide-angle image has a donut shape, and the middle part of the wide-angle image is lost and cannot be captured.
  • Non-Patent Document 1 can solve the problem of parallax between a wide-angle image and a telephoto image, a switching shutter is necessary to separately acquire two images of a wide-angle image and a telephoto image. Therefore, the system is complicated. Furthermore, since both images cannot be acquired at the same timing, information on a wide-angle image cannot be acquired while a telephoto image is acquired, and there is a drawback that tracking accuracy is reduced.
  • An object of the present invention is to provide an imaging device and a target object recognition method.
  • an imaging apparatus includes an imaging optical system including a wide-angle optical system and a telephoto optical system having a common optical axis, and photoelectric conversion elements arranged in a two-dimensional manner.
  • a directional sensor having a plurality of pixels, each of which receives a light beam incident through a wide-angle optical system and a telephoto optical system and selectively receives the light by dividing the pupil, an imaging optical system, and a directional sensor
  • a pan / tilt mechanism that rotates the imaging unit including the directional sensor in the horizontal and vertical directions, and a wide-angle image received from the directional sensor via the wide-angle optical system and a telephoto image received via the telephoto optical system, respectively.
  • An image acquisition unit to acquire, a wide-angle image acquired by the image acquisition unit, a target detection unit that detects a first target from the wide-angle image, and a first target detected by the target detection unit
  • the pan / tilt mechanism is controlled by the pan / tilt control unit that controls the pan / tilt mechanism based on the position information and the pan / tilt control unit that positions the first object at the center of the wide-angle image.
  • the telephoto image acquired by the image acquisition unit when the target object is located at the center of the wide-angle image is recognized, and the first target object or the second target object in the vicinity of the first target object is recognized.
  • a wide-angle image and a telephoto image having a common optical axis can be simultaneously acquired by an imaging unit (single imaging unit) including the imaging optical system and the directional sensor having the above-described configuration. it can.
  • the first object is detected based on the acquired wide-angle image, and the pan / tilt mechanism is controlled based on the detected position information of the first object in the wide-angle image.
  • the wide-angle optical system and the telephoto optical system When positioned at the center, have a common optical axis, so that the first object or the second object in the vicinity of the first object can also be included in the telephoto image. it can.
  • the second object in the vicinity of the first object or the first object is obtained.
  • the object can be easily captured by the telephoto optical system.
  • the first object or the second object is recognized by performing image recognition based on a telephoto image obtained by enlarging the first object or the second object in the vicinity of the first object. Can be recognized well.
  • the image recognition unit recognizes the first object closest to the imaging apparatus with priority when there are a plurality of first objects.
  • the object detection unit detects the object closest to the imaging apparatus as the first object when detecting a plurality of objects from the wide-angle image.
  • the object detection unit recognizes a moving object based on wide-angle images continuously acquired by the image acquisition unit, and uses the recognized moving object as the first object.
  • a moving object detection unit is provided, and the image recognition unit recognizes the detected moving object with priority when a plurality of objects are detected by the object detection unit and the moving object detection unit detects the moving object. preferable. When a plurality of objects are detected and one of the plurality of objects is detected as a moving object, the moving object is recognized with priority.
  • the image recognition unit extracts a human face image from the telephoto image, and performs face recognition (face authentication) for identifying an individual based on the extracted face image. ing. Since the face image magnified by the telephoto image can be acquired, the accuracy of face authentication can be improved.
  • the image recognition unit extracts an image of the vehicle license plate from the telephoto image, and performs image recognition for specifying the vehicle number based on the extracted license plate image. I am doing so. Since the license plate image enlarged by the telephoto image can be acquired, the accuracy of image recognition (character recognition) for identifying the vehicle number can be improved.
  • an output unit that outputs recognition information of the first object or the second object recognized by the image recognition unit.
  • the object detection unit recognizes a moving object based on wide-angle images continuously acquired by the image acquisition unit, and uses the recognized moving object as the first object.
  • a moving object detection unit is provided and the recognition information of the first object or the second object is output
  • the moving object detection unit detects that the first object is a moving object
  • a telephoto image is predetermined.
  • an image holding unit for holding time.
  • image blurring increases. Therefore, when outputting the recognition information of the first object or the second object, the telephoto image is held for a predetermined time, thereby holding the telephoto image. By doing so, image blurring is prevented.
  • the image recognition unit extracts a human face image from a telephoto image or a vehicle license plate image from the telephoto image
  • the output unit uses the image recognition unit to perform telephoto.
  • the face image of a person is extracted from the image or the license plate image of the vehicle is extracted from the telephoto image
  • the face image or license plate image extracted from the telephoto image is trimmed, and only the trimmed image is displayed. Is preferably output.
  • image blurring increases, so that when outputting recognition information of the first object or the second object, only the image trimmed from the telephoto image is displayed on the display unit. This prevents image blurring.
  • the output unit outputs the recognition information to at least one of an information recording unit that records the recognition information and a display unit that displays the recognition information.
  • the recognition information of a 1st target object or a 2nd target object can be displayed on a display part, or can be recorded on an information recording part.
  • an image recording unit that records at least a telephoto image out of the wide-angle image and the telephoto image acquired by the image acquisition unit.
  • the object detection unit may recognize the first object based on the wide-angle image acquired by the image acquisition unit and detect the first object. It can. For example, when the first object is a person, the first object can be detected by recognizing the person or the face of the person.
  • the object detection unit performs real-time image processing on the wide-angle image continuously acquired by the image acquisition unit, and continuously detects the first object from the wide-angle image.
  • the pan / tilt control unit continuously controls the pan / tilt mechanism based on the position information in the wide-angle image of the first object continuously detected by the object detection unit. It is preferable to hold the object in the center of the wide-angle image. Accordingly, the first object can be tracked, and by acquiring a plurality of telephoto images being tracked, image recognition can be performed more appropriately.
  • the wide-angle optical system is preferably a circular central optical system
  • the telephoto optical system is preferably an annular optical system disposed concentrically with respect to the central optical system.
  • the annular optical system has a reflection optical system that reflects the light beam twice or more.
  • the dimension of the optical axis direction of an annular optical system can be shortened, and an imaging part can be made compact.
  • the telephoto optical system can be a circular central optical system
  • the wide-angle optical system can be an annular optical system disposed concentrically with respect to the central optical system.
  • the wide-angle optical system may be provided with a focus adjustment unit, or the wide-angle optical system may be provided with no focus adjustment unit, and the wide-angle optical system may be pan-focused.
  • the directivity sensor may have a microlens array or a light shielding mask that functions as pupil dividing means.
  • An object recognition method includes an imaging optical system including a wide-angle optical system and a telephoto optical system having a common optical axis, and photoelectric conversion elements arranged two-dimensionally.
  • a directional sensor having a plurality of pixels, including a directional sensor that selectively splits a light beam incident via a wide-angle optical system and a telephoto optical system, and an imaging optical system and a directional sensor.
  • Pan / tilt mechanism for rotating the imaging unit in the horizontal and vertical directions, and image acquisition for acquiring a wide-angle image received from the directional sensor via the wide-angle optical system and a telephoto image received via the telephoto optical system, respectively.
  • the optical axis direction of the wide-angle image and the telephoto image captured through the imaging optical system having the common optical axis and the telephoto optical system and the directional sensor coincide with each other. Therefore, by detecting a desired object based on a wide-angle image with a wide viewing angle and controlling the pan / tilt mechanism so that the detected object is positioned at the center of the wide-angle image, the object has a narrow viewing angle. Can be placed in the telephoto image. By thus recognizing the telephoto image captured by controlling the pan / tilt mechanism, it is possible to recognize the image of the object captured in an enlarged manner.
  • FIG. 1 is an external perspective view of an imaging apparatus and an object recognition method according to the present invention.
  • Sectional drawing which shows 1st Embodiment of the imaging part of an imaging device and a target object recognition method
  • FIG. 2 is an enlarged view of a main part of the microlens array and the image sensor shown in FIG.
  • the figure which shows the color filter arrangement etc. which are arranged in the image sensor The block diagram which shows embodiment of the internal structure of an imaging device
  • the figure which shows an example of the wide-angle image and telephoto image imaged simultaneously
  • the flowchart which shows embodiment of the target object recognition method which concerns on this invention.
  • Flowchart showing the first embodiment of image recognition in the image recognition unit
  • the flowchart which shows 2nd Embodiment of the image recognition in an image recognition part.
  • the figure which shows the other example of the wide-angle image and telephoto image imaged simultaneously The figure which shows the further another example of the wide-angle image and telephoto image imaged simultaneously.
  • the figure which shows the target recognized preferentially when a plurality of targets are detected The figure which shows the example of the wide-angle image and telephoto image containing the target object detected as a 1st target object when a several target object is detected.
  • the figure which shows the target recognized preferentially when the several target object of a moving body and a static body is detected Side view showing another embodiment of a directional sensor Sectional drawing which shows other embodiment of the imaging optical system applicable to an imaging device
  • FIG. 1 is an external perspective view of an imaging apparatus according to the present invention.
  • the imaging apparatus 10 mainly includes an apparatus main body 2, an imaging unit 11, a pan / tilt device 30 (FIG. 5), and a dome cover 6 that covers the imaging unit 11.
  • the pan / tilt device 30 includes a pedestal 4 and a holding unit 8 that is fixed to the pedestal 4 and holds the imaging unit 11 in a rotatable manner.
  • the pedestal 4 is disposed so as to be rotatable about the axis in the vertical direction Z of the apparatus main body 2, and is rotated about the axis in the vertical direction Z by the pan driving unit 34 (FIG. 5).
  • the holding unit 8 includes a gear 8A provided coaxially with the axis in the horizontal direction X, and the driving force is transmitted from the tilt driving unit 36 (FIG. 5) via the gear 8A, thereby causing the imaging unit 11 to move. Rotate vertically (tilt operation).
  • the dome cover 6 is a dust-proof and drip-proof cover, so that the optical performance of the image pickup unit 11 does not change regardless of the direction of the optical axis L of the image pickup unit 11. It is preferable that the spherical shell has a constant thickness with the intersection with the axis as the center of curvature.
  • a tripod mounting portion (such as a tripod screw hole) (not shown) on the back surface of the apparatus body 2.
  • FIG. 2 is a cross-sectional view illustrating the first embodiment of the imaging unit 11 of the imaging device 10.
  • the imaging unit 11 includes an imaging optical system 12 and a directivity sensor 17.
  • the imaging optical system 12 includes a wide-angle optical system 13 and a telephoto optical system 14 having a common optical axis L.
  • the wide-angle optical system 13 is a circular central optical system centered on the optical axis L.
  • the telephoto optical system 14 is an annular optical system centered on the optical axis L, and is provided concentrically around the periphery of the central optical system (wide-angle optical system 13).
  • the wide-angle optical system 13 is a wide-angle lens including a first lens 13 a, a second lens 13 b, a third lens 13 c, a fourth lens 13 d, and a common lens 15, and a microlens array 16 that constitutes a directivity sensor 17.
  • a wide-angle image is formed on the top.
  • the telephoto optical system 14 is a telephoto lens including a first lens 14a, a second lens 14b, a first reflective mirror 14c as a reflective optical system, a second reflective mirror 14d, and a common lens 15, and a microlens array 16 A telephoto image is formed on the top.
  • the light beam incident through the first lens 14a and the second lens 14b is reflected twice by the first reflection mirror 14c and the second reflection mirror 14d, and then passes through the common lens 15.
  • the length of the telephoto optical system 14 having a long focal length in the optical axis direction is shortened by folding the light flux by the first reflecting mirror 14c and the second reflecting mirror 14d.
  • the telephoto optical system 14 of this embodiment has two first reflection mirrors 14c and second reflection mirror 14d, but is not limited to this, and has three or more reflection mirrors (reflection optical systems). But you can.
  • the directivity sensor 17 includes a microlens array 16 and an image sensor 18.
  • FIG. 3 is an enlarged view of a main part of the microlens array 16 and the image sensor 18.
  • the microlens array 16 is configured by a plurality of microlenses (pupil imaging lenses) 16a arranged two-dimensionally.
  • the horizontal and vertical intervals of the microlenses 16a are determined by photoelectric conversion of the image sensor 18. This corresponds to an interval of three light receiving cells 18a as elements. That is, the microlenses 16a of the microlens array 16 are formed corresponding to the positions of every two light receiving cells in the horizontal and vertical directions.
  • Each microlens 16a of the microlens array 16 has a circular central pupil image (first pupil image) 17a and an annular pupil image (first pupil image) corresponding to the wide-angle optical system 13 and the telephoto optical system 14 of the imaging optical system 12. 2b) 17b is formed on the light receiving cell 18a in the corresponding light receiving region of the image sensor 18.
  • 3 ⁇ 3 light receiving cells 18 a having a lattice shape (square lattice shape) are allocated per microlens 16 a of the microlens array 16.
  • one microlens 16a and a light receiving cell group (3 ⁇ 3 light receiving cells 18a) corresponding to one microlens 16a are referred to as a unit block.
  • the central pupil image 17a is formed only on the light receiving cell 18a at the center of the unit block, and the annular pupil image 17b is formed on eight light receiving cells 18a around the unit block.
  • the imaging unit 11 having the above-described configuration, it is possible to simultaneously acquire a wide-angle image and a telephoto image in which the optical axis directions match as described later.
  • FIG. 4 is a diagram showing a color filter array and the like disposed in the image sensor 18.
  • the microlens array 16 is omitted, but the area indicated by a circle includes 3 ⁇ 3 light receiving cells on which pupil images are formed by the microlenses 16 a of the microlens array 16.
  • the unit block to be included is shown.
  • a color filter array composed of color filters disposed on each light receiving cell is provided.
  • This color filter array is constituted by three primary color filters (hereinafter referred to as R filter, G filter, and B filter) that transmit light in each wavelength band of red (R), green (G), and blue (B).
  • R filter three primary color filters
  • G filter three primary color filters
  • B filter blue filter
  • One of the RGB filters is disposed on each light receiving cell.
  • the light receiving cell in which the R filter is disposed is referred to as “R light receiving cell”
  • the light receiving cell in which the G filter is disposed is referred to as “G light receiving cell”
  • B light receiving cell the light receiving cell in which the B filter is disposed
  • the color filter array shown in FIG. 4A has 6 ⁇ 6 light receiving cells as basic blocks BL (see the blocks indicated by the thick frame in FIG. 4A and FIG. 4B), and the basic block BL. Are repeatedly arranged in the horizontal direction and the vertical direction.
  • the basic block BL is composed of four unit blocks BL1 to B4.
  • 4 (c1) and 4 (c2) respectively show a group of light receiving cells (light receiving cells into which a light beam having passed through the wide-angle optical system 13 shown in FIG. 3) enters and the surroundings of the four unit blocks BL1 to BL4. And a group of eight light receiving cells (light receiving cells on which the speed of light having passed through the telephoto optical system 14 shown in FIG. 3 is incident).
  • the image of the center light receiving cell group is a Bayer array mosaic image. Accordingly, a color image can be obtained by demosaicing the mosaic image of the Bayer array.
  • the group of eight light receiving cells around the light receiving cells at the center of the unit blocks BL1 to B4 includes all the light receiving cells of R, G, and B within the eight light receiving cells.
  • RGB light receiving cells are arranged in the same pattern regardless of the unit blocks BL1 to B4.
  • the G light receiving cells are arranged in the four light receiving cells at the four corners of each of the unit blocks BL1 to B4, and the R light receiving cells are arranged in the two upper and lower light receiving cells across the center light receiving cell.
  • the B light receiving cells are arranged in the two left and right light receiving cells with the central light receiving cell interposed therebetween.
  • the R light receiving cell, the G light receiving cell, and the B light receiving cell are respectively arranged at symmetrical positions with respect to the center light receiving cell (center) of the unit block.
  • the pixel value of the G pixel at the center position of the unit block (1 microlens) can be obtained.
  • Pixel values can be acquired.
  • the pixel values of the RGB light receiving cells in the unit block are used. Therefore, it is not necessary to generate pixel values of pixels in a specific wavelength range by interpolating the pixel values of the light receiving cells of the surrounding unit blocks, and the resolution of the output image (substantial number of pixels) ) Is not reduced.
  • FIG. 5 is a block diagram illustrating an embodiment of the internal configuration of the imaging apparatus 10.
  • the imaging apparatus 10 includes the imaging optical system 12 having the wide-angle optical system 13 and the telephoto optical system 14 described in FIG. 2, and the microlens array 16 and the image sensor 18 described in FIGS. 3 and 4.
  • An imaging unit 11 including a directional sensor 17 is provided.
  • the imaging unit 11 preferably includes a focus adjustment unit 19 that performs focus adjustment of the telephoto optical system 14 (annular optical system).
  • the focus adjustment unit 19 can be configured by, for example, a voice coil motor that moves the entire telescopic optical system 14 or a part of the optical system in the optical axis direction.
  • the focus of the telephoto image can be determined based on the contrast of the focus detection area of the telephoto image, but the focus adjustment method is not limited to this.
  • the wide-angle optical system 13 central optical system
  • the wide-angle optical system 13 is configured to be deep focus (pan focus) without providing the focus adjustment unit. May be.
  • the pan / tilt device (electric head) 30 rotates the imaging unit 11 in the horizontal direction (pan direction) with respect to the apparatus body 2 and rotates in the vertical direction (tilt direction).
  • a tilt mechanism (hereinafter, referred to as “pan / tilt mechanism”) 32 to be moved, a pan driving unit 34, a tilt driving unit 36, and the like are provided.
  • the pan / tilt mechanism 32 includes a home position sensor that detects a reference position of a rotation angle (pan angle) in the pan direction and a home position sensor that detects a reference position of a tilt angle (tilt angle) in the tilt direction.
  • the pan driving unit 34 and the tilt driving unit 36 each have a stepping motor and a motor driver, and output a driving force to the pan / tilt mechanism 32 to drive the pan / tilt mechanism 32.
  • the imaging unit 11 captures time-series wide-angle images and telephoto images via the imaging optical system 12 and the directivity sensor 17, and each of the directivity sensors 17 (image sensors 18) via the imaging optical system 12.
  • the subject image formed on the light receiving surface of the light receiving cell (photoelectric conversion element) is converted into a signal voltage (or charge) in an amount corresponding to the amount of incident light.
  • the signal voltage (or charge) accumulated in the image sensor 18 is accumulated in the light receiving cell itself or an attached capacitor.
  • the stored signal voltage (or charge) is read out together with the selection of the light receiving cell position by using a CMOS (Complementary / Metal / Oxide / Semiconductor) type image sensor (so-called CMOS sensor) method using an XY address method.
  • CMOS Complementary / Metal / Oxide / Semiconductor
  • the image sensor 18 is not limited to a CMOS image sensor, and may be a CCD (Charge-Coupled Device) -type image sensor.
  • Signal can be read out.
  • the image sensor 18 continuously reads out pixel signals indicating a wide-angle image and a telephoto image at a predetermined frame rate (for example, 24 fps (frame per second), 30 fps, or 60 fps).
  • the pixel signal (voltage signal) read from the image sensor 18 is converted into an output signal for each light receiving cell for the purpose of reducing correlated double sampling processing (noise (particularly thermal noise) included in the sensor output signal).
  • the pixel signal for each light-receiving cell is sampled and held by A / D (Analog / Digital) conversion after processing to obtain accurate pixel data by taking the difference between the included feedthrough component level and the signal component level.
  • a / D converter 20 converts sequentially input pixel signals into digital signals and outputs them to the image acquisition unit 22. Note that some MOS type sensors include an A / D converter. In this case, a digital signal is directly output from the image sensor 18.
  • the image acquisition unit 22 can acquire the pixel signal indicating the wide-angle image and the pixel signal indicating the telephoto image simultaneously or selectively by selecting the light receiving cell position of the image sensor 18 and reading out the pixel signal. .
  • a pixel signal indicating an image (a pixel signal indicating a mosaic image of a Bayer array) can be acquired.
  • a pixel signal indicating a telephoto image of eight light receiving cells (light receiving cells around a 3 ⁇ 3 light receiving cell) per microlens can be acquired.
  • the pixel signals indicating the wide-angle image acquired by the image acquisition unit 22 are output to the digital signal processing unit 40 and the object detection unit 50, respectively, and the pixel signals indicating the telephoto image acquired by the image acquisition unit 22 are respectively digital.
  • the data is output to the signal processing unit 40 and the image recognition unit 52.
  • the image acquisition unit 22, the digital signal processing unit 40, the object detection unit 50, the image recognition unit 52, and the pan / tilt control unit 60 are configured by one or a plurality of CPUs (Central processing units). It operates by loading a program stored in a recording unit (not shown) provided in the imaging apparatus 10.
  • the digital signal processing unit 40 performs offset processing, gamma correction processing, and demosaic processing on RGB mosaic image signals for input digital pixel signals (RGB dot-sequential R signals, G signals, and B signals).
  • the predetermined signal processing is performed.
  • the demosaic process is a process of calculating all color information for each pixel from the RGB mosaic image corresponding to the color filter array of the single-plate image sensor 18, and is also referred to as a synchronization process.
  • this is a process of calculating color information of all RGB for each pixel from a mosaic image composed of RGB.
  • the demosaic processing unit included in the digital signal processing unit 40 has no R light receiving cell and B light receiving cell at the position of the G light receiving cell in the wide-angle image (Bayer array mosaic image).
  • R signal and B signal of the R light receiving cell and B light receiving cell are respectively interpolated to generate R signal and B signal at the position of the G light receiving cell.
  • the G light receiving cell around the R light receiving cell, the G signal of the B light receiving cell, and the B signal are respectively interpolated.
  • G signal and B signal are generated at the position of the R light receiving cell, and since there are no G light receiving cell and R light receiving cell at the position of the B light receiving cell of the mosaic image, the G light receiving cells around the B light receiving cell, The G signal and R signal at the position of the B light receiving cell are generated by interpolating the G signal and R signal of the R light receiving cell, respectively.
  • the telephoto image is composed of 8 mosaic images per microlens 16a (eight around the 3 ⁇ 3 unit block), and in the 8 light receiving cells. Since all the RGB color information (R light receiving cell, G light receiving cell, B light receiving cell) is included, the demosaic processing unit uses the output signals of the eight light receiving cells in the unit block. It is possible to generate one pixel (RGB pixel value) constituting an image, demosaiced every time.
  • the demosaic processing unit that performs demosaic processing of the mosaic image of the telephoto image obtains the average value of the pixel values of the four G light receiving cells in the unit block, thereby obtaining the center position of the unit block (1 microlens).
  • the demosaic processing unit that performs demosaic processing of the mosaic image of the telephoto image obtains the average value of the pixel values of the four G light receiving cells in the unit block, thereby obtaining the center position of the unit block (1 microlens).
  • the R pixel value and B pixel value of the pixel at the center position of the block are calculated.
  • the demosaic image of the telephoto image of the two demosaic images of the wide-angle image and the telephoto image generated by the demosaic processing unit is demosaiced using the output signals of the eight light receiving cells in the unit block.
  • the resolution is substantially higher than the demosaic image of the wide-angle image in which the demosaic process is performed using (interpolating) the output signals of the light receiving cells of the surrounding unit blocks.
  • the digital signal processing unit 40 performs RGB / YC conversion for generating the luminance signal Y and the color difference signals Cb, Cr from the RGB color information (R signal, G signal, B signal) demosaiced by the demosaic processing unit. And generating image signals for recording and displaying moving images indicating wide-angle images and telephoto images at a predetermined frame rate.
  • the image signals indicating the wide-angle image and the telephoto image processed by the digital signal processing unit 40 are output to the recording unit 42 and the display unit 44 corresponding to the image recording unit, respectively.
  • the recording unit 42 records an image signal for moving image recording indicating the wide-angle image and the telephoto image processed by the digital signal processing unit 40 on a recording medium (hard disk, memory card, etc.). Note that the recording unit 42 may record only the telephoto image.
  • the display unit 44 is configured by a liquid crystal display or the like, and displays a wide-angle image and a telephoto image by an image signal for displaying a moving image indicating a wide-angle image and a telephoto image processed by the digital signal processing unit 40. Further, instead of the display unit 44, an image may be displayed on a monitor or the like connected to the imaging device 10. The display unit 44 can also reproduce a wide-angle image and a telephoto image based on the image signal recorded in the recording unit 42.
  • the object detection unit 50 performs real-time image processing on the wide-angle images continuously acquired by the image acquisition unit 22, detects a desired object (first object) in the wide-angle image, and detects the detected first object.
  • Position information in a wide-angle image of one object is output to the pan / tilt control unit 60.
  • a specific object is detected by an object recognition technique typified by a moving object detection method for detecting a moving object as a first object and a technique for performing human face recognition.
  • an object recognition technique typified by a moving object detection method for detecting a moving object as a first object and a technique for performing human face recognition.
  • There are a method for detecting an object a pattern recognition method for detecting only a specific shape (for example, a human shape, a vehicle shape) by using a pattern recognition technique.
  • the moving object detection method uses a difference image such as a difference (interframe difference) between two previous and next wide-angle images of the time-series wide-angle images acquired by the image acquisition unit 22.
  • the difference image is an image generated by the movement of the moving object (object), and the object detection unit 50 can set the position of the center of gravity of the difference image as the position in the wide-angle image of the moving object (object).
  • An object detection method based on object recognition is performed by previously registering the appearance characteristics of a specific object as an object dictionary (or a face dictionary when the object is a face), and then detecting the position from the captured image. This is a method for recognizing an object while comparing an image cut out while changing the size and the object dictionary.
  • the object instruction unit 56 is a part for setting an object to be detected by the object detection unit 50 or designating a detection method of the object.
  • the object detection unit 50 is set by the object instruction unit 56.
  • An object (first object) is detected.
  • the object instruction unit 56 is configured by a touch panel, and may receive an input of an object from a user, or an object instruction from a computer or the like connected to the imaging apparatus 10 may be input.
  • the object instruction unit 56 is not necessary.
  • the position information in the wide-angle image of the object (first object) detected by the object detection unit 50 is output to the pan / tilt control unit 60.
  • the pan / tilt control unit 60 is a part that controls the pan / tilt device 30 based on the position information of the first object in the wide-angle image input from the object detection unit 50, and the wide-angle of the first object.
  • the pan / tilt mechanism 32 i.e., imaging
  • the pan drive unit 34 and the tilt drive unit 36 so that the position of the first object in the image moves to the center position (position on the optical axis) of the wide-angle image.
  • the imaging direction by the unit 11 is controlled.
  • the object By controlling the pan / tilt mechanism 32, the object can be automatically tracked and imaged so that the first object (for example, a person or a face) is at the center of the wide-angle image.
  • the first object for example, a person or a face
  • FIG. 6 is a diagram showing a wide-angle image and a telephoto image captured simultaneously.
  • FIGS. 6A1 and 6B1 show a wide-angle image and a telephoto image before the start of pan / tilt control, respectively.
  • And (B2) respectively show a wide-angle image and a telephoto image after pan / tilt control (during automatic tracking).
  • the first object detected from the wide-angle image by the object detection unit 50 is the person P
  • the pan / tilt control unit 60 is the person P detected by the object detection unit 50.
  • the pan / tilt device 30 is controlled so as to be at the center of the wide-angle image.
  • pan / tilt control is performed as shown in FIGS. 6A2 and 6B2 and the person P is positioned at the center of the wide-angle image W2, the person P can be captured by the telephoto image T2. This is because the wide-angle optical system 13 and the telephoto optical system 14 of the imaging optical system 12 shown in FIG. 2 have a common optical axis L.
  • the image recognition unit 52 recognizes the telephoto image acquired by the image acquisition unit 22 when the first object is located at the center of the wide-angle image, and recognizes the first object or the first object. A second object in the vicinity of one object is recognized.
  • the image recognition unit 52 determines whether or not the first object is located at the center of the wide-angle image based on position information in the wide-angle image of the first object detected by the object detection unit 50. can do.
  • the first object is positioned at the center of the wide-angle image includes the case where the first object is positioned at the approximate center of the wide-angle image, and the first object is captured to the extent that the first object is captured by the telephoto image.
  • the object is located at the center of the wide-angle image.
  • the image recognition unit 52 is added with an object to be image-recognized from the object instruction unit 56 or information indicating the recognition content, and the image recognition unit 52 has the first object as the center of the wide-angle image.
  • the second object in the vicinity of the first object refers to a part of the first object or an object adjacent to the first object.
  • the first object is “ In the case of “person”, the second object corresponds to the “face” of “person”.
  • image recognition when the information indicating the recognition content input from the object detection unit 50 is “face authentication”, the image recognition unit 52 uses the telephoto image acquired by the image acquisition unit 22 as a facial image. , And face recognition is performed to identify an individual based on the extracted face image.
  • the image recognition unit 52 performs only specific image recognition (one type of image recognition)
  • the object instruction unit 56 is not necessary, and the face image recognized by the image recognition unit 52 is the recognition result.
  • a known algorithm such as a unique face using a principal component analysis or linear discriminant analysis may be used.
  • the recognition result (recognition information of the first object or the second object) recognized by the image recognition unit 52 is output from the output unit 54 to the recording unit 42 in the imaging apparatus 10 or an external information recording unit (not shown). And is recorded in the recording unit 42 or the like.
  • the recognition result recognized by the image recognition unit 52 is output from the output unit 54 to the display unit 44 in the imaging apparatus 10 or an external display unit (not shown) and displayed on the display unit 44 or the like.
  • FIG. 7 is a flowchart showing an embodiment of the object recognition method according to the present invention.
  • the image acquisition unit 22 acquires a wide-angle image among a wide-angle image and a telephoto image that are simultaneously captured by the imaging unit 11 (step S10).
  • the object detection unit 50 detects the first object from the wide-angle image acquired by the image acquisition unit 22 (step S12).
  • the first object may be an object specified by the object instruction unit 56 or a specific object set in advance.
  • the first object is detected by a moving object detection method using a difference image such as inter-frame difference, and the first object is a person's “face”.
  • detection is performed by an object recognition technique typified by a technique for performing face recognition of a person, and when the first object has a specific shape, it can be detected using a pattern recognition technique. .
  • the object detection unit 50 calculates position information in the wide-angle image of the detected first object (step S14).
  • the pan / tilt control unit 60 inputs position information in the wide-angle image of the first object from the object detection unit 50 so that the object comes to the center of the wide-angle image based on the input position information. Then, the pan / tilt device 30 is controlled (step S16).
  • the image recognition unit 52 determines whether or not the first object is located at the center of the wide-angle image (step S18). When the first object is not located at the center of the wide-angle image (in the case of “No”), the process returns to step S10 and the processes from step S10 to step S18 are repeated.
  • the image recognition unit 52 selects the telephoto image of the wide-angle image and the telephoto image simultaneously captured by the imaging unit 11.
  • the image is acquired via the image acquisition unit 22 (step S20), and the first object or the second object in the vicinity of the first object is image-recognized based on the acquired telephoto image (step S22).
  • image recognition in step S22 will be described later.
  • the output unit 54 outputs the recognition information of the first object or the second object recognized by the image recognition unit 52 to the recording unit 42, the display unit 44, or the like (step S24). Thereby, the recognition information of a 1st target object or a 2nd target object can be recorded or displayed.
  • FIG. 8 is a flowchart showing the first embodiment of image recognition in the image recognition unit 52, and is a diagram showing the processing content in step S22 shown in FIG.
  • the first embodiment shown in FIG. 8 shows a case where the first object is a “person” and the second object in the vicinity of the first object is a “face” of “person”. .
  • the image recognition unit 52 extracts the image of the face F of the person P from the telephoto image T2 shown in FIG. 6 (B2) (step S222).
  • Face image extraction is performed by calculating a face evaluation value by comparing a face dictionary indicating a facial feature amount registered in advance with an image cut out from a telephoto image while changing its position and size.
  • a method of extracting an image cut out when obtained as a face image can be used, but the method of extracting a face image is not limited to this.
  • face recognition for specifying an individual based on the extracted face image is performed (step S224).
  • Face authentication is performed by collating the extracted face image with a plurality of face images (face images in which individuals are specified) registered in advance in the face authentication database 52A. That is, the face authentication obtains a plurality of data such as the position in the face region of the feature points of the facial parts such as eyes, nose, mouth, the distance between the eyes, the distance between the eyes and the nose, and the ratio thereof from the face image, This is performed based on the degree of coincidence with the face authentication data of a plurality of persons registered in the face authentication database 52A.
  • the face authentication database 52 ⁇ / b> A may be provided as the image recognition unit 52 or the internal recording unit of the imaging device 10, or may be provided as the external storage unit of the imaging device 10.
  • the image recognition unit 52 uses the identification information (image recognition result) of the personal identification information and face image registered in the face authentication database 52A in association with the face. ) Can be obtained as.
  • FIG. 9 is a flowchart showing a second embodiment of image recognition in the image recognition unit 52, and is a diagram showing other processing contents in step S22 shown in FIG.
  • the first object detected by the wide-angle image is “vehicle V”, and the vicinity of the first object (vehicle V) is near.
  • the second object is a “number plate N” attached to the vehicle V.
  • the vehicle V is detected from the wide-angle image, and the pan / tilt device 30 is controlled so that the vehicle V is positioned at the center of the wide-angle image (steps S10 to S18 in FIG. 7).
  • the image recognition unit 52 extracts the image of the license plate N of the vehicle V from the telephoto image (see FIG. 10B) when the vehicle V is located at the center of the wide-angle image (step S226).
  • Extraction of the image of the license plate N can be performed by pattern recognition or color based on the shape of the license plate N, but the extraction method of the license plate N is not limited to this.
  • image recognition for specifying the number of the vehicle V based on the extracted image of the license plate N is performed (step S228).
  • the character recognition of the number can be performed by optical character recognition (OCR) software that identifies the character by collating the extracted image of the license plate N with a prestored character pattern and converts it into text.
  • OCR optical character recognition
  • the character information of the license plate N read in this way, the image of the license plate N, and the like can be used as recognition information (image recognition result).
  • the object of image recognition and the content of image recognition are not restricted to said embodiment, A various aspect can be considered.
  • the first object detected by the wide-angle image is “face F”, and the object recognized by the telephoto image is the first object.
  • the same “face F” can be obtained.
  • the image of “Face F” detected by the wide-angle image may be of an image quality that can determine whether or not the image of the first object (face F) exists in the wide-angle image.
  • the image of “Face F” is required to have an image quality that allows face authentication.
  • the object detected by the wide-angle image and the object recognized by the telephoto image may be the same object.
  • FIG. 12 is a diagram illustrating objects that are recognized with priority when a plurality of objects are detected.
  • the pan / tilt control unit 60 controls the pan / tilt device 30 so that the two persons (the center of gravity of the two persons) detected by the object detection unit 50 are at the center of the telephoto image.
  • the image recognition unit 52 recognizes the telephoto image acquired by the image acquisition unit 22 when the two persons are positioned at the center of the wide-angle image, but is closest to the imaging device 10 of the two persons. Recognize people with priority. When the plurality of objects is a person, the face of each person can be recognized, and the person with the largest face size can be the person closest to the imaging device 10.
  • the person on the right side in FIG. 12 is an object whose image is preferentially recognized, and the face of that person is the second object.
  • FIG. 13 is a diagram illustrating an example of a wide-angle image and a telephoto image including an object detected as a first object when a plurality of objects are detected.
  • FIGS. 13A1 and 13B1 FIGS. 13A2 and 13B respectively show a wide-angle image and a telephoto image before the start of pan / tilt control
  • FIGS. 13A2 and 13B show a wide-angle image and a telephoto image after pan-tilt control (during automatic tracking), respectively.
  • the object detection unit 50 uses the object closest to the imaging device 10 as the first object. To detect.
  • the closest object (first object) from the imaging device 10 is the person P.
  • the pan / tilt control unit 60 controls the pan / tilt device 30 so that the person P detected by the object detection unit 50 comes to the center of the wide-angle image.
  • pan / tilt control is performed as shown in FIGS. 13A2 and 13B and the person P is positioned at the center of the wide-angle image W2, the person P can be captured by the telephoto image T2.
  • the image recognition unit 52 recognizes the telephoto image acquired by the image acquisition unit 22 when the first object (person P) is positioned at the center of the wide-angle image, and recognizes the first object or the first object.
  • a second object (face F) in the vicinity of one object is recognized.
  • FIG. 14 is a diagram showing objects that are recognized with priority when a plurality of moving objects and stationary objects are detected.
  • the object detection unit 50 that also functions as a moving object detection unit can detect a moving object from a plurality of objects when a plurality of objects are detected.
  • the object detection unit 50 can separately detect a moving person and a stationary person.
  • the image recognition unit 52 preferentially recognizes the detected moving object when a plurality of objects are detected by the object detecting unit 50 and a moving object is detected. That is, the image recognition unit 52 gives priority to the left person recognized as a moving object among the plurality of objects (two persons in FIG. 14), and the person or the face of the person (second object). ).
  • the object detection unit 50 functions as a moving object detection unit, and can detect whether the detected object is a moving object or a stationary object.
  • image blurring increases when a telephoto image of the moving object is displayed on the display unit 44 as it is.
  • the output unit 54 functioning as an image holding unit holds a telephoto image for a predetermined time when the moving object detection unit detects that the object is a moving object. Accordingly, it is possible to prevent image blurring of the telephoto image displayed on the display unit 44 by holding the telephoto image.
  • the predetermined time may be a time set in advance as a time required for viewing the telephoto image, or may be a time set by the user as appropriate.
  • the output unit 54 extracts the face image or license plate extracted from the telephoto image. These images may be trimmed, and only the trimmed images may be output to the display unit 44.
  • the image blur increases. Therefore, by displaying only the face image or license plate image trimmed from the telephoto image on the display unit 44, it is possible to prevent image blurring of the telephoto image displayed on the display unit 44.
  • FIG. 15 is a side view showing another embodiment of the directivity sensor.
  • the directivity sensor 117 includes a microlens array 118 serving as a pupil dividing unit, a light shielding member 120 functioning as a light shielding mask, and an image sensor 116 in which light receiving cells 116a and 116b are partially shielded by the light shielding member 120. ing.
  • the light receiving cells 116a and the light receiving cells 116b partially shielded by the light shielding member 120 are provided alternately (checker flag shape) in the horizontal direction and the vertical direction of the image sensor 116.
  • the microlens array 118 has microlenses 118 a that correspond one-to-one with the light receiving cells 116 a and 116 b of the image sensor 116.
  • the light shielding member 120 regulates the opening of the light receiving cells 116a and 116b of the image sensor 116, and has an opening shape corresponding to the wide-angle optical system 13 and the telephoto optical system 14 of the imaging optical system 12 shown in FIG. ing. Note that red (R), green (G), and blue (B) color filters are disposed below each lens of the microlens array 118.
  • the periphery of the opening is shielded by the light shielding portion 120a of the light shielding member 120, while in the light receiving cell 116b, the center of the opening is shielded by the light shielding portion 120b of the light shielding member 120.
  • the light beam that has passed through the wide-angle optical system 13 of the imaging optical system 12 is pupil-divided by the microlens array 118 and the light shielding portion 120a of the light shielding member 120 and enters the light receiving cell 116a.
  • the light beam that has passed through the optical system 14 is divided into pupils by the microlens array 118 and the light shielding portion 120b of the light shielding member 120, and enters the light receiving cell 116b.
  • the pixel signal of the wide-angle image can be read from each light receiving cell 116a of the image sensor 116, and the pixel signal of the telephoto image can be read from each light receiving cell 116b of the image sensor 116.
  • FIG. 16 is a cross-sectional view showing another embodiment of an imaging optical system applicable to the imaging apparatus 10.
  • the imaging optical system 112 includes a wide-angle optical system 113 and a telephoto optical system 114 each having a common optical axis L.
  • the directivity sensor 17 is the same as that shown in FIG. 2 and FIG.
  • the wide-angle optical system 113 is a wide-angle lens composed of a lens 113a and a common lens 115, and has an angle of view ⁇ .
  • the telephoto optical system 114 (central optical system) is a telephoto lens composed of a first lens 114a, a second lens 114b, and a common lens 115, has an angle of view ⁇ ( ⁇ ⁇ ), and has a wide angle optical system 113.
  • the angle of view is narrower than.
  • the imaging optical system 112 does not use a reflecting mirror
  • the annular optical system is a wide-angle optical system 113
  • the central optical system is a telephoto optical system 114. It is different in that.
  • FIG. 17 is a cross-sectional view showing still another embodiment of an imaging optical system applicable to the imaging apparatus 10.
  • the imaging optical system 212 includes an upper wide-angle optical system 213 having a common optical axis L and a lower telephoto optical system 214.
  • the wide-angle optical system 213 includes a front lens FL, a variable magnification system lens VL1, a correction system lens CL1, and an imaging system lens ML.
  • the telephoto optical system 214 includes a front lens FL, a variable magnification system lens VL2, and a correction system lens. CL2 and an imaging system lens ML are included.
  • the front lens FL and the imaging lens ML are lenses that are common to the wide-angle optical system 213 and the telephoto optical system 214, respectively.
  • the variable magnification lenses VL1 and VL2 and the correction lenses CL1 and CL2 are each divided into two vertically. Are arranged at different positions in the optical axis direction (a position at which wide-angle imaging is possible and a position at which telephoto imaging is possible).
  • the half area above the optical axis L in FIG. 17 is the wide-angle optical system 213, and the half area below the optical axis L is the telephoto optical system 214.
  • the directional sensor applied to the imaging optical system 212 includes a light beam that passes through the upper half area (wide-angle optical system 213) of the imaging optical system 212 and a lower half area (telephoto optical system) of the imaging optical system 212. 214) needs to be divided into pupils and selectively receive light.
  • the wide-angle optical system and the telephoto optical system of the imaging optical system applied to the imaging apparatus according to the present invention are not limited to the concentric circular optical system and the annular optical system, and are divided into two parts vertically (or left and right). It may be configured by a semicircular wide-angle optical system and a telephoto optical system.
  • a pan / tilt mechanism 32 that rotates the imaging unit 11 in the pan direction and the tilt direction is provided in the apparatus main body 2. It may be mounted on (pan / tilt device).
  • the imaging apparatus 10 can hold (automatically track) the first object at the center of the wide-angle image based on the position information of the first object detected by the object detection unit 50.
  • the imaging apparatus 10 can hold (automatically track) the first object at the center of the wide-angle image based on the position information of the first object detected by the object detection unit 50.
  • the first object may be initially set by the operator from the wide-angle image displayed on the display unit 44 using a touch panel or the like.
  • 2 is not limited to a concave mirror or a convex mirror, and may be a plane mirror, and the number of reflection mirrors is not limited to two. You may make it provide more sheets.
  • the focus adjustment unit may move the common lens of the central optical system and the annular optical system, or the image sensor in the optical axis direction.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Focusing (AREA)
  • Lenses (AREA)

Abstract

所望の対象物を容易に望遠光学系で捉え、望遠光学系で捉えた対象物を含む望遠画像により対象物を画像認識することができる撮像装置及び対象物認識方法を提供する。共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、指向性センサと、撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備え、画像取得部が取得した広角画Ｗ１から第１の対象物（人物Ｐ）を検出し、検出した第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物が広角画像の中心に位置しているときに画像取得部が取得した望遠画像Ｔ２を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物（顔Ｆ）を認識する。

Description

撮像装置及び対象物認識方法
　本発明は撮像装置及び対象物認識方法に関し、特に広角画像と望遠画像とを同時に撮像することができる撮像装置及び対象物認識方法に関する。
　従来、広角画像と望遠画像とを同時に撮像することができる撮像装置として、特許文献１、２に記載のものがある。
　特許文献１、及び２に記載のシステムは、いずれも広角画像を撮像する広角カメラと、電動雲台（パン・チルト装置）に搭載された望遠画像を撮像する望遠カメラとを備える。そして、広角カメラにより撮像された広角画像から追尾の対象物を検出し、検出した対象物の広角画像における位置情報に基づいて電動雲台を回動制御し、望遠カメラにより対象物を自動追尾して望遠撮像することを基本的な構成としている。
　また、円形中央部分の狭角のレンズ部とこの円形中央部分を囲む環状部分の広角のレンズ部とが同軸に配置された光学系と、狭角のレンズ部により狭角画像が結像される中央区域と広角のレンズ部により広角画像が結像される周辺区域とを有する画像センサとを備えたカメラを、パン・チルト基台に装着し、トラッキングする対象物をカメラの視野の中心において捉えるようにパン・チルト基台を制御するトラッキングシステムが提案されている（特許文献３）。
　これにより、対象物が狭角のレンズ部の視野角から逸脱しても、広角のレンズ部により対象物を捉えることができるため、トラッキング逸脱（tracking dropout）が生じないようにしている。
　また、広角像と望遠像とを観察可能なコンタクトレンズが、カリフォルニア大学サンディエゴ校(UCSD) の Joseph Ford により提案されている（非特許文献１）。
　このコンタクトレンズの構成をカメラに利用すれば、広角像と望遠像とを得ることができる可能性がある。
特開平１１－６９３４２号公報 特開２００６－３３２２４号公報 特表２００３－５１０６６６号公報
"Photonic Systems Integration Laboratory",インターネット〈URL：http://psilab.ucsd.edu/research/Telescopic Contact Lens/main.html〉
　特許文献１、及び２に記載のシステムは、いずれも２台の独立した広角カメラと望遠カメラとを備えることを基本構成としているため、システムが高価になるとともに、大型化するという問題がある。また、広角カメラと望遠カメラの光軸は共通ではなく、それぞれ撮像される広角画像と望遠画像とに視差が生じるため、対象物の距離情報を使って視差補正をしなければ、望遠カメラによって確実に対象物を捉えることができない。更に、広角カメラは固定されているため、広角画像の画角を越えて対象物が移動すると、望遠カメラにより対象物を捉えることができないという問題がある。
　一方、特許文献３に記載のトラッキングシステムは、円形中央部分の狭角のレンズ部により撮像される狭角画像と、環状部分の広角のレンズ部により撮像される広角画像（歪曲収差が補正されていない魚眼画像）とを滑らかにつなぐような光学系の設計が困難である。そのため、狭角画像と広角画像との境界部分の対象物のトラッキングが難しいという問題がある。
　その上、画像センサ上においては、狭角画像と広角画像とが重複（バッティング）してしまう。それを避けるために光学的な遮蔽及び/又は分離機構を設けると、広角画像はドーナツ状になり、広角画像の真ん中部分は欠落して撮像できない。
　また、円形中央部分を望遠レンズとし、環状部分を広角レンズとした場合、これらのレンズにより撮像される望遠画像と広角画像とを滑らかにつなぐような光学系の設計は困難である上に、望遠画像と広角画像との境界には撮像されない領域が発生する。
　非特許文献１に記載のコンタクトレンズは、広角像と望遠像の視差の問題を解決することができるものの、広角像と望遠像の二つの像を分離獲得するために、切替えシャッタが必要であり、そのためシステムが複雑になっている。更に、両像を同じタイミングにより取得することができないので、望遠像を取得している間は広角像の情報を取得することができず、トラッキングの精度が低下するという欠点がある。
　本発明はこのような事情に鑑みてなされたもので、所望の対象物を容易に望遠光学系により捉えることができ、望遠光学系により捉えた対象物を含む望遠画像により対象物を画像認識することができる撮像装置及び対象物認識方法を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る撮像装置は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、画像取得部が取得した広角画像を画像処理し、広角画像から第１の対象物を検出する対象物検出部と、対象物検出部により検出された第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物を広角画像の中心に位置させるパン・チルト制御部と、パン・チルト制御部によりパン・チルト機構が制御され、第１の対象物が広角画像の中心に位置しているときに画像取得部が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物を認識する画像認識部と、を備えている。
　本発明の一の態様によれば、上記構成の撮像光学系及び指向性センサを含む撮像部（単一の撮像部）により、光軸が共通の広角画像と望遠画像とを同時に取得することができる。取得した広角画像に基づいて第１の対象物を検出し、検出した第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物を広角画像の中心に位置させると、広角光学系と望遠光学系とは共通する光軸を有するため、第１の対象物又は第１の対象物の近傍の第２の対象物も望遠画像内に入れることができる。即ち、広角画像を使用して第１の対象物が広角画像の中心に位置するようにパン・チルト機構を制御することにより、第１の対象物又は第１の対象物の近傍の第２の対象物を容易に望遠光学系により捉えることができる。そして、第１の対象物又は第１の対象物の近傍の第２の対象物が拡大して撮像された望遠画像に基づいて画像認識することにより、第１の対象物又は第２の対象物を良好に画像認識できるようにしている。
　本発明の他の態様に係る撮像装置において、画像認識部は、第１の対象物が複数の場合、撮像装置から最も近い第１の対象物を優先して認識することが好ましい。
　本発明の更に他の態様に係る撮像装置において、対象物検出部は、広角画像から複数の対象物を検出すると、撮像装置から最も近い対象物を第１の対象物として検出することが好ましい。
　本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が連続して取得した広角画像に基づいて動体を画像認識し、画像認識した動体を第１の対象物として検出する動体検出部を備え、画像認識部は、対象物検出部により複数の対象物が検出され、かつ動体検出部により動体が検出されると、検出された動体を優先して認識することが好ましい。複数の対象物が検出され、かつ複数の対象物の一つが動体として検出されている場合には、動体を優先して認識する。
　本発明の更に他の態様に係る撮像装置において、画像認識部は、望遠画像から人物の顔画像を抽出し、抽出した顔画像に基づいて個人を特定する顔認識（顔認証）を行うようにしている。望遠画像により拡大された顔画像を取得することができるため、顔認証の精度を上げることができる。
　本発明の更に他の態様に係る撮像装置において、画像認識部は、望遠画像から車両のナンバープレートの画像を抽出し、抽出したナンバープレートの画像に基づいて車両のナンバーを特定する画像認識を行うようにしている。望遠画像により拡大されたナンバープレートの画像を取得することができるため、車両のナンバーを特定する画像認識（文字認識）の精度を上げることができる。
　本発明の更に他の態様に係る撮像装置において、画像認識部により認識した第１の対象物又は第２の対象物の認識情報を出力する出力部を備えることが好ましい。
　本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が連続して取得した広角画像に基づいて動体を画像認識し、画像認識した動体を第１の対象物として検出する動体検出部を備え、第１の対象物又は第２の対象物の認識情報を出力するとき、動体検出部により第１の対象物が動体であると検出されると、望遠画像を所定時間保持する画像保持部と、を備えることが好ましい。動体を望遠画像により表示すると、像ブレが大きくなるため、第１の対象物又は第２の対象物の認識情報を出力する場合には、望遠画像を所定時間保持し、これにより望遠画像をホールドすることにより像ブレを防止するようにしている。
　本発明の更に他の態様に係るにおいて、画像認識部は、望遠画像から人物の顔画像を抽出し、又は望遠画像から車両のナンバープレートの画像を抽出し、出力部は、画像認識部により望遠画像から人物の顔画像が抽出され、又は望遠画像から車両のナンバープレートの画像が抽出されると、望遠画像から抽出された顔画像又はナンバープレートの画像をトリミングし、トリミングした画像のみを表示部に出力することが好ましい。動体を望遠画像により表示すると、像ブレが大きくなるため、第１の対象物又は第２の対象物の認識情報を出力する場合には、望遠画像からトリミングした画像のみを表示部に表示することにより像ブレを防止するようにしている。
　本発明の更に他の態様に係る撮像装置において、出力部は、認識情報を記録する情報記録部及び認識情報を表示する表示部のうちの少なくとも１つに認識情報を出力することが好ましい。これにより、第１の対象物又は第２の対象物の認識情報を表示部に表示し、又は情報記録部に記録することができる。
　本発明の更に他の態様に係る撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する画像記録部を備えることが好ましい。これにより、画像記録部により記録された望遠画像により所望の第１の対象物又は第２の対象物を事後的に確認することができる。
　本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が取得した広角画像に基づいて第１の対象物を画像認識し、第１の対象物を検出することができる。例えば、第１の対象物が人物である場合には、人物又は人物の顔を認識することにより、第１の対象物を検出することができる。
　本発明の更に他の態様に係る撮像装置において、対象物検出部は、画像取得部が連続して取得した広角画像をリアルタイムに画像処理し、広角画像から第１の対象物を連続して検出し、パン・チルト制御部は、対象物検出部により連続して検出された第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を連続して制御し、第１の対象物を広角画像の中心に保持させることが好ましい。これにより、第１の対象物を追尾することができ、追尾中の望遠画像を複数取得することにより、画像認識をより適切に行うことができる。
　本発明の更に他の態様に係る撮像装置において、広角光学系は円形の中央光学系であり、望遠光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。回転対称の広角光学系及び望遠光学系にすることにより、広角画像と望遠画像との間に視差が発生せず、かつ回転対称でない光学系に比べて画質のよい広角画像及び望遠画像を取得することができる。
　本発明の更に他の態様に係る撮像装置において、環状光学系は、光束を２回以上反射させる反射光学系を有することが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、撮像部をコンパクトにすることができる。
　本発明の更に他の態様に係る撮像装置において、望遠光学系は円形の中央光学系であり、広角光学系は中央光学系に対して同心円状に配設された環状光学系にすることができる。
　本発明の更に他の態様に係る撮像装置において、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。
　本発明の更に他の態様に係る撮像装置及び対象物認識方法において、指向性センサは、瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。
　本発明の更に他の態様に係る対象物認識方法は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備えた撮像装置を使用し、画像取得部が取得した広角画像を画像処理し、広角画像から第１の対象物を検出するステップと、検出された第１の対象物の広角画像中における位置情報に基づいてパン・チルト機構を制御し、第１の対象物を広角画像の中心に位置させるステップと、第１の対象物が広角画像の中心に位置しているときに画像取得部が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物を認識するステップと、を含んでいる。
　本発明によれば、共通する光軸を有する広角光学系と望遠光学系とを有する撮像光学系及び指向性センサを介して撮像された広角画像と望遠画像とは光軸方向が一致しているため、視野角の広い広角画像に基づいて所望の対象物を検出し、検出した対象物が広角画像の中心に位置するようにパン・チルト機構を制御することにより、対象物を視野角の狭い望遠画像内に入れることができる。このようにパン・チルト機構を制御して撮像した望遠画像を画像認識することにより、拡大して撮像された対象物を良好に画像認識することができる。
本発明に係る撮像装置及び対象物認識方法の外観斜視図 撮像装置及び対象物認識方法の撮像部の第１の実施形態を示す断面図 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図 イメージセンサに配設されたカラーフィルタ配列等を示す図 撮像装置の内部構成の実施形態を示すブロック図 同時に撮像された広角画像及び望遠画像の一例を示す図 本発明に係る対象物認識方法の実施形態を示すフローチャート 画像認識部における画像認識の第１の実施形態を示すフローチャート 画像認識部における画像認識の第２の実施形態を示すフローチャート 同時に撮像された広角画像及び望遠画像の他の例を示す図 同時に撮像された広角画像及び望遠画像の更に他の例を示す図 複数の対象物が検出された場合に優先して認識される対象物を示す図 複数の対象物が検出された場合に第１の対象物として検出される対象物を含む広角画像及び望遠画像の例を示す図 動体と静体の複数の対象物が検出された場合に優先して認識される対象物を示す図 指向性センサの他の実施形態を示す側面図 撮像装置に適用可能な撮像光学系の他の実施形態を示す断面図 撮像装置に適用可能な撮像光学系の更に他の実施形態を示す断面図
　以下、添付図面に従って本発明に係る撮像装置及び対象物認識方法の実施の形態について説明する。
　＜撮像装置の外観＞
　図１は本発明に係る撮像装置の外観斜視図である。
　図１に示すように撮像装置１０は、主として装置本体２と、撮像部１１と、パン・チルト装置３０（図５）と、撮像部１１を覆うドームカバー６とを有している。
　パン・チルト装置３０は、台座４と、台座４に固定されるとともに、撮像部１１を回動自在に保持する保持部８とを有している。
　台座４は、装置本体２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図５）により垂直方向Ｚの軸を中心にして回転する。
　保持部８は、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図５）からギア８Ａを介して駆動力が伝達されることにより、撮像部１１を上下方向に回動（チルト動作）させる。
　ドームカバー６は、防塵及び防滴用のカバーであり、撮像部１１の光軸Ｌの方向にかかわらず、撮像部１１の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。
　また、装置本体２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。
　［撮像部の構成］
　図２は、撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。
　図２に示すように、撮像部１１は、撮像光学系１２と指向性センサ１７とから構成されている。
　＜撮像光学系＞
　撮像光学系１２は、共通する光軸Ｌを有する広角光学系１３と望遠光学系１４とから構成されており、広角光学系１３は、光軸Ｌを中心とする円形の中央光学系であり、望遠光学系１４は、光軸Ｌを中心とする環状光学系であり、中央光学系（広角光学系１３）の周辺部の同心円状に設けられている。
　広角光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角レンズであり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。
　望遠光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠レンズであり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系１４の光軸方向の長さを短くしている。尚、この実施形態の望遠光学系１４は、２つの第１反射ミラー１４ｃ、第２反射ミラー１４ｄを有しているが、これに限らず、３以上の反射ミラー（反射光学系）を有するものでもよい。
　＜指向性センサ＞
　指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。
　図３は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。
　マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズ１６ａの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。
　また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮像光学系１２の広角光学系１３及び望遠光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。
　図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。
　中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。
　上記構成の撮像部１１によれば、後述するように光軸方向が一致する広角画像と望遠画像とを同時に取得することができる。
　［イメージセンサの実施形態］
　図４は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図４上で、マイクロレンズアレイ１６は省略されているが、円形により示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。
　図４（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。
　このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。
　図４（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢＬ（図４（ａ）の太枠で示したブロック、及び図４（ｂ）参照）とし、基本ブロックＢＬが水平方向及び垂直方向に繰り返し配置されて構成されている。
　図４（ｂ）に示すように基本ブロックＢＬは、４個の単位ブロックＢＬ１～Ｂ４により構成されている。
　図４（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢＬ１～Ｂ４の中央の受光セル（図３に示した広角光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した望遠光学系１４を通過した光速が入射する受光セル）のグループとを示す。
　図４（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。
　一方、図４（ｃ２）に示すように、単位ブロックＢＬ１～Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢＬ１～Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。
　具体的には、各単位ブロックＢＬ１～Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。
　また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
　即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。
　これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、望遠光学系１４（環状光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。
　＜撮像装置の内部構成＞
　図５は、撮像装置１０の内部構成の実施形態を示すブロック図である。
　図５に示すように撮像装置１０は、図２において説明した広角光学系１３及び望遠光学系１４を有する撮像光学系１２と、図３及び図４において説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７と、からなる撮像部１１を備えている。
　この撮像部１１は、望遠光学系１４（環状光学系）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、望遠光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系１３（中央光学系）については、別途、焦点調整部を設けるようにしてよいし、焦点調整部を設けずに広角光学系１３をディープフォーカス（パンフォーカス）となるように構成してもよい。
　パン・チルト装置（電動雲台）３０は、図１に示したように撮像部１１を装置本体２に対して水平方向（パン方向）に回転させるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。
　パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。
　撮像部１１は、撮像光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮像光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
　イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ－Ｙアドレス方式を用いたＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。尚、イメージセンサ１８は、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Charge Coupled Device）型イメージセンサでもよい。
　このイメージセンサ１８からは、広角光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、望遠光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。また、イメージセンサ１８からは、所定のフレームレート（例えば、２４fps(frame per second)、３０fps，又は６０fps）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。
　イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ（Analog/Digital)変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
　画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。
　即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。
　尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。
　画像取得部２２により取得された広角画像を示す画素信号は、それぞれデジタル信号処理部４０及び対象物検出部５０に出力され、画像取得部２２により取得された望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び画像認識部５２に出力される。例えば、画像取得部２２、デジタル信号処理部４０、対象物検出部５０、画像認識部５２、パン・チルト制御部６０は、一つ又は複数のＣＰＵ（Central processing unit）により構成され、当該ＣＰＵに撮像装置１０内に供えられた図示しない記録部に保存されているプログラムをロードされることにより動作する。
　デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。
　即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。
　一方、望遠画像は、図４（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
　具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。
　上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。
　また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。
　デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ画像記録部に相当する記録部４２及び表示部４４に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、望遠画像のみを記録するようにしてもよい。
　表示部４４は液晶ディスプレイ等により構成され、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。また、表示部４４の代わりに、撮像装置１０に接続されたモニタ等に画像を表示させても良い。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。
　一方、対象物検出部５０は、画像取得部２２が連続して取得した広角画像をリアルタイムに画像処理し、広角画像内の所望の対象物（第１の対象物）を検出し、検出した第１の対象物の広角画像中における位置情報（広角画像の中心位置を原点とするＸＹ座標系上の第１の対象物の位置を示す位置情報）を、パン・チルト制御部６０に出力する。
　対象物検出部５０における第１の対象物の検出方法としては、動体を第１の対象物として検出する動体検出方法、人物の顔認識を行う技術に代表される対象物認識技術により特定の対象物を検出する方法、パターン認識技術を使い特定の形状（例えば、人物形状、車両形状）だけを検出するパターン認識方法などがある。
　動体検出方法は、画像取得部２２により取得された時系列の広角画像のうちの前後の２枚の広角画像の差分（フレーム間差分）などの差分画像を利用する方法である。尚、差分画像は、動体（対象物）の移動により生じた画像であり、対象物検出部５０は、差分画像の重心位置を動体（対象物）の広角画像中の位置とすることができる。
　対象物認識による対象物の検出方法は、特定の対象物の見え方の特徴を対象物辞書（対象物が顔の場合には、顔辞書）として予め登録しておき、撮像された画像から位置や大きさを変えながら切り出した画像と、対象物辞書とを比較しながら対象物を認識する方法である。
　対象物指示部５６は、対象物検出部５０で検出する対象物を設定し、又は対象物の検出方法を指定する部分であり、対象物検出部５０は、対象物指示部５６により設定された対象物（第１の対象物）を検出する。対象物指示部５６はタッチパネルにより構成され、ユーザから対象物の入力を受け付けても良いし、撮像装置１０に接続されたコンピュータ等からの対象物指示が入力されても良い。尚、対象物検出部５０により検出される第１の対象物が、特定の対象物（１種類の対象物）の場合には、対象物指示部５６は不要である。
　対象物検出部５０により検出された対象物（第１の対象物）の、広角画像中の位置情報は、パン・チルト制御部６０に出力される。
　パン・チルト制御部６０は、対象物検出部５０から入力する広角画像中の第１の対象物の位置情報に基づいてパン・チルト装置３０を制御する部分であり、第１の対象物の広角画像中の第１の対象物の位置が広角画像の中心位置（光軸上の位置）に移動するように、パン駆動部３４及びチルト駆動部３６を介してパン・チルト機構３２（即ち、撮像部１１による撮像方向）を制御する。
　上記のパン・チルト機構３２の制御により、第１の対象物（例えば、人物又は顔等）が広角画像の中心にくるように、対象物を自動追尾して撮像することができる。
　図６は、同時に撮像された広角画像及び望遠画像を示す図であり、図６（Ａ１）及び（Ｂ１）は、それぞれパン・チルト制御開始前の広角画像及び望遠画像を示し、図６（Ａ２）及び（Ｂ２）は、それぞれパン・チルト制御後（自動追尾中）の広角画像及び望遠画像を示している。
　図６に示す例では、対象物検出部５０により広角画像の中から検出する第１の対象物は人物Ｐであり、パン・チルト制御部６０は、対象物検出部５０により検出された人物Ｐが、広角画像の中心にくるようにパン・チルト装置３０を制御する。
　図６（Ａ１）及び（Ｂ１）に示すパン・チルト制御開始前の時点では、人物Ｐは広角画像Ｗ１の中に入っているが、望遠画像Ｔ１の中には入っていない。
　図６（Ａ２）及び（Ｂ２）に示すようにパン・チルト制御が行われ、人物Ｐが広角画像Ｗ２の中心に位置するようになると、人物Ｐは望遠画像Ｔ２により捉えることができる。これは、図２に示した撮像光学系１２の広角光学系１３と望遠光学系１４とは共通する光軸Ｌを有するためである。
　図５に戻って、画像認識部５２は、第１の対象物が広角画像の中心に位置しているときに画像取得部２２が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物を認識する。
　画像認識部５２は、対象物検出部５０により検出された第１の対象物の広角画像中における位置情報に基づいて、第１の対象物が広角画像の中心に位置しているか否かを判別することができる。尚、第１の対象物が広角画像の中心に位置しているとは、広角画像の略中心に位置している場合を含み、第１の対象物が望遠画像により捉えられる程度に、第１の対象物が広角画像の中心に位置している場合をいう。
　また、画像認識部５２には、対象物指示部５６から画像認識すべき対象物、又は認識内容を示す情報が加えられており、画像認識部５２は、第１の対象物が広角画像の中心に位置しているとき（即ち、第１の対象物が望遠画像により捉えられているとき）、画像取得部２２が取得した望遠画像を画像認識し、対象物指示部５６から入力する情報に基づいて望遠画像内の第１の対象物又は第１の対象物の近傍の第２の対象物の画像認識を行う。
　ここで、第１の対象物の近傍の第２の対象物とは、第１の対象物の一部又は第１の対象物に隣接する対象物をいい、例えば、第１の対象物が「人物」の場合、第２の対象物は、「人物」の「顔」が該当する。また、画像認識の一例としては、対象物検出部５０から入力する認識内容を示す情報が「顔認証」の場合には、画像認識部５２は、画像取得部２２が取得した望遠画像から顔画像を抽出し、抽出した顔画像に基づいて個人を特定する顔認識を行う。尚、画像認識部５２が特定の画像認識（１種類の画像認識）のみを行う場合には、対象物指示部５６は不要であり、画像認識部５２により認識された顔画像等が認識結果となる。また、顔画像の抽出においては主成分分析を使った固有顔や線形判別分析等の公知のアルゴリズムが用いられて良い。
　画像認識部５２により画像認識された認識結果（第１の対象物又は第２の対象物の認識情報）は、出力部５４から撮像装置１０内の記録部４２又は外部の情報記録部（図示せず）に出力され、記録部４２等に記録される。また、画像認識部５２により画像認識された認識結果は、出力部５４から撮像装置１０内の表示部４４又は外部の表示部（図示せず）に出力され、表示部４４等に表示される。
　＜対象物認識方法＞
　図７は、本発明に係る対象物認識方法の実施形態を示すフローチャートである。
　図７において、画像取得部２２は、撮像部１１により同時に撮像される広角画像と望遠画像のうちの広角画像を取得する（ステップＳ１０）。対象物検出部５０は、画像取得部２２により取得された広角画像から第１の対象物を検出する（ステップＳ１２）。尚、第１の対象物は、対象物指示部５６により指定された対象物でもよいし、予め設定された特定の対象物でもよい。また、第１の対象物は、第１の対象物が動体の場合には、フレーム間差分などの差分画像を使用した動体検出方法により検出し、第１の対象物が人物の「顔」の場合には、人物の顔認識を行う技術に代表される対象物認識技術により検出し、第１の対象物が特定の形状を有する場合には、パターン認識技術を使用して検出することができる。
　対象物検出部５０は、検出した第１の対象物の広角画像中の位置情報を算出する（ステップＳ１４）。
　続いて、パン・チルト制御部６０は、対象物検出部５０から第１の対象物の広角画像中の位置情報を入力し、入力した位置情報に基づいて対象物が広角画像の中心にくるようにパン・チルト装置３０を制御する（ステップＳ１６）。
　次に、画像認識部５２は、第１の対象物が広角画像の中心に位置しているか否かを判別する（ステップＳ１８）。第１の対象物が広角画像の中心に位置していない場合（「No」の場合）には、ステップＳ１０に戻り、ステップＳ１０からステップＳ１８の処理を繰り返す。
　第１の対象物が広角画像の中心に位置している場合（「Yes」の場合）、画像認識部５２は、撮像部１１により同時に撮像される広角画像と望遠画像のうちの望遠画像を、画像取得部２２を介して取得し（ステップＳ２０）、取得した望遠画像に基づいて第１の対象物又は第１の対象物の近傍の第２の対象物を画像認識する（ステップＳ２２）。尚、ステップＳ２２における画像認識の具体例については、後述する。
　出力部５４は、画像認識部５２により画像認識された第１の対象物又は第２の対象物の認識情報を、記録部４２又は表示部４４等に出力する（ステップＳ２４）。これにより、第１の対象物又は第２の対象物の認識情報を記録し、又は表示することができる。
　［画像認識の第１の実施形態］
　図８は、画像認識部５２における画像認識の第１の実施形態を示すフローチャートであり、図７に示したステップＳ２２での処理内容を示す図である。
　図８に示す第１の実施形態は、第１の対象物が「人物」であり、第１の対象物の近傍の第２の対象物が「人物」の「顔」の場合に関して示している。
　図８において、画像認識部５２は、図６（Ｂ２）に示した望遠画像Ｔ２から人物Ｐの顔Ｆの画像を抽出する（ステップＳ２２２）。顔画像の抽出は、予め登録された顔の特徴量を示す顔辞書と、望遠画像から位置や大きさを変えながら切り出した画像とを比較しながら顔評価値を求め、一定以上の評価値が得られたときに切り出した画像を顔画像として抽出する方法を使用することができるが、顔画像の抽出方法はこれに限定されない。
　続いて、抽出した顔画像に基づいて個人を特定する顔認識（顔認証）を行う（ステップＳ２２４）。顔認証は、抽出した顔画像と、予め顔認証データベース５２Ａに登録されている複数人の顔画像（個人が特定されている顔画像）とを照合することにより行う。即ち、顔認証は、顔画像から目、鼻、口等の顔パーツの特徴点の顔領域内の位置、両目の距離、目と鼻の距離や、これらの比率などの複数のデータを求め、顔認証データベース５２Ａに登録されている複数人の顔認証データとの一致度に基づいて行う。尚、顔認証データベース５２Ａは、画像認識部５２又は撮像装置１０の内部記録部として設けられたものでもよいし、撮像装置１０の外部記憶部として設けられたものでもよい。
　画像認識部５２は、顔認証データベース５２Ａ内に一致する顔が存在する場合、その顔に関連付けて顔認証データベース５２Ａに登録されている個人の識別情報や顔画像等を、認識情報（画像認識結果）として取得することができる。
　［画像認識の第２の実施形態］
　図９は、画像認識部５２における画像認識の第２の実施形態を示すフローチャートであり、図７に示したステップＳ２２での他の処理内容を示す図である。
　画像認識の第２の実施形態は、図１０（Ａ）に示すように広角画像により検出される第１の対象物が「車両Ｖ」であり、第１の対象物（車両Ｖ）の近傍の第２の対象物が車両Ｖに付されている「ナンバープレートＮ」の場合に関して示している。
　図１０（Ａ）に示すように広角画像から車両Ｖが検出され、車両Ｖが広角画像の中心に位置するようにパン・チルト装置３０が制御される（図７のステップＳ１０～Ｓ１８）。
　図９において、画像認識部５２は、広角画像の中心に車両Ｖが位置しているときの望遠画像（図１０（Ｂ）参照）から車両ＶのナンバープレートＮの画像を抽出する（ステップＳ２２６）。ナンバープレートＮの画像の抽出は、ナンバープレートＮの形状に基づくパターン認識や色等により行うことができるが、ナンバープレートＮの抽出方法はこれに限定されない。
　続いて、抽出したナンバープレートＮの画像に基づいて車両Ｖのナンバーを特定する画像認識（文字認識）を行う（ステップＳ２２８）。ナンバーの文字認識は、抽出したナンバープレートＮの画像と予め記憶された文字パターンとの照合により文字を特定し、テキストにする光学文字認識（ＯＣＲ: optical character recognition）ソフトウエアにより行うことができる。このようにして読み取ったナンバープレートＮの文字情報やナンバープレートＮの画像等を、認識情報（画像認識結果）とすることができる。
　尚、画像認識の対象物や画像認識の内容は、上記の実施形態に限らず、種々の態様が考えられる。本例においては拡大して撮像された望遠画像により画像認識を行うことにより、より精度の高い画像認識を行うことができる。
　また、図１１（Ａ）及び（Ｂ）に示すように、広角画像により検出される第１の対象物を「顔Ｆ」とし、望遠画像により画像認識される対象物を、第１の対象物と同じ「顔Ｆ」とすることができる。
　広角画像により検出される「顔Ｆ」の画像は、広角画像の中に第１の対象物（顔Ｆ）の画像が存在するか否かを判別できる画質のものでよく、望遠画像により画像認識される「顔Ｆ」の画像は、顔認証ができる画質が要求される。
　このように広角画像により検出される対象物と望遠画像により画像認識される対象物とは、同じ対象物であってもよい。
　＜複数の対象物が検出された場合＞
　図１２は、複数の対象物が検出された場合に優先して認識される対象物を示す図である。
　対象物検出部５０により複数の対象物（図１２に示す例では、２人の人物）が検出されると、２人の人物が第１の対象物となる。パン・チルト制御部６０は、対象物検出部５０により検出された２人の人物（２人の人物の重心位置）が、望遠画像の中心にくるようにパン・チルト装置３０を制御する。
　画像認識部５２は、２人の人物が広角画像の中心に位置しているときに画像取得部２２が取得した望遠画像を画像認識するが、２人の人物のうちの撮像装置１０から最も近い人物を優先して認識する。複数の対象物が人物の場合、各人物の顔を認識し、顔の大きさが最も大きい人物が撮像装置１０から最も近い人物とすることができる。
　図１２に示す例では、図１２上で右側の人物が優先して画像認識される対象物となり、その人物の顔は第２の対象物となる。
　図１３は、複数の対象物が検出された場合に第１の対象物として検出される対象物を含む広角画像及び望遠画像の例を示す図であり、図１３（Ａ１）及び（Ｂ１）は、それぞれパン・チルト制御開始前の広角画像及び望遠画像を示し、図１３（Ａ２）及び（Ｂ２）は、それぞれパン・チルト制御後（自動追尾中）の広角画像及び望遠画像を示している。
　図１３に示す例では、対象物検出部５０により広角画像の中から複数の対象物が検出される場合、対象物検出部５０は、撮像装置１０から最も近い対象物を第１の対象物として検出する。図１３に示す例では、撮像装置１０から最も近い対象物（第１の対象物）は、人物Ｐである。この場合、パン・チルト制御部６０は、対象物検出部５０により検出された人物Ｐが、広角画像の中心にくるようにパン・チルト装置３０を制御する。
　図１３（Ａ１）及び（Ｂ１）に示すパン・チルト制御開始前の時点では、人物Ｐは広角画像Ｗ１の中に入っているが、望遠画像Ｔ１の中には入っていない。
　図１３（Ａ２）及び（Ｂ２）に示すようにパン・チルト制御が行われ、人物Ｐが広角画像Ｗ２の中心に位置するようになると、人物Ｐは望遠画像Ｔ２により捉えることができる。そして、画像認識部５２は、第１の対象物（人物Ｐ）が広角画像の中心に位置しているときに画像取得部２２が取得した望遠画像を画像認識し、第１の対象物又は第１の対象物の近傍の第２の対象物（顔Ｆ）を認識する。
　図１４は、動体と静体の複数の対象物が検出された場合に優先して認識される対象物を示す図である。
　動体検出部としても機能する対象物検出部５０は、複数の対象物を検出した場合、更に複数の対象物から動体の対象物を検出することができる。図１４に示す例では、対象物検出部５０は、移動している人物と静止している人物とを別々に検出することができる。
　画像認識部５２は、対象物検出部５０により複数の対象物が検出され、かつ動体が検出されると、検出された動体を優先して認識する。即ち、画像認識部５２は、複数の対象物（図１４上の２人の人物）のうちの動体として認識された左側の人物を優先して、その人物又はその人物の顔（第２の対象物）を認識する。
　＜対象物が動体の場合の表示例＞
　前述したように対象物検出部５０は、動体検出部として機能し、検出された対象物が動体か静体かを検出することができる。対象物検出部５０により検出された対象物が動体の場合、動体の望遠画像を表示部４４にそのまま表示すると、像ブレが大きくなる。
　そこで、画像保持部として機能する出力部５４は、対象物の認識情報を出力するとき、その対象物が動体検出部により動体であると検出されると、望遠画像を所定時間保持する。これにより、望遠画像をホールドすることにより表示部４４に表示される望遠画像の像ブレを防止することができる。所定時間は、望遠画像の視認に必要な時間として予め設定された時間でもよいし、ユーザが適宜設定した時間でもよい。
　また、画像認識部５２が、望遠画像から人物の顔画像を抽出し、又は望遠画像から車両のナンバープレートの画像を抽出した場合、出力部５４は、望遠画像から抽出された顔画像又はナンバープレートの画像をトリミングし、トリミングした画像のみを表示部４４に出力するようにしてもよい。
　移動する対象物（人物又は車両）を望遠画像により表示すると、像ブレが大きくなる。そこで、望遠画像からトリミングした顔画像又はナンバープレートの画像のみを表示部４４に表示することにより表示部４４に表示される望遠画像の像ブレを防止することができる。
　＜指向性センサの他の実施形態＞
　図１５は、指向性センサの他の実施形態を示す側面図である。
　この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。
　マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。
　遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮像光学系１２の広角光学系１３及び望遠光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。
　受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮像光学系１２の広角光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮像光学系１２の望遠光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。
　これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。
　＜撮像光学系の他の実施形態＞
　図１６は、撮像装置１０に適用可能な撮像光学系の他の実施形態を示す断面図である。
　この撮像光学系１１２は、それぞれ共通の光軸Ｌを有する広角光学系１１３と望遠光学系１１４とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、その説明は省略する。
　広角光学系１１３（環状光学系）は、レンズ１１３ａ及び共通レンズ１１５から構成された広角レンズであり、画角αを有している。
　望遠光学系１１４（中央光学系）は、第１レンズ１１４ａ、第２レンズ１１４ｂ、及び共通レンズ１１５から構成された望遠レンズであり、画角β（β＜α）を有し、広角光学系１１３よりも画角が狭い。
　この撮像光学系１１２は、図２に示した撮像光学系１２と比較すると、反射ミラーを使用しておらず、また、環状光学系が広角光学系１１３であり、中央光学系が望遠光学系１１４である点において相違する。
　＜撮像光学系の更に他の実施形態＞
　図１７は、撮像装置１０に適用可能な撮像光学系の更に他の実施形態を示す断面図である。
　この撮像光学系２１２は、それぞれ共通の光軸Ｌを有する上側の広角光学系２１３と、下側の望遠光学系２１４とから構成されている。
　広角光学系２１３は、フロントレンズＦＬ、変倍系レンズＶＬ１、補正系レンズＣＬ１、及び結像系レンズＭＬを有し、望遠光学系２１４は、フロントレンズＦＬ、変倍系レンズＶＬ２、補正系レンズＣＬ２、及び結像系レンズＭＬを有している。
　フロントレンズＦＬ及び結像系レンズＭＬは、それぞれ広角光学系２１３及び望遠光学系２１４に共通するレンズであり、変倍系レンズＶＬ１、ＶＬ２と補正系レンズＣＬ１、ＣＬ２とは、それぞれ上下に２分割され、光軸方向のそれぞれ異なる位置（広角撮像が可能な位置及び望遠撮像が可能な位置）に配置されている。
　上記構成の撮像光学系２１２は、図１７上において光軸Ｌよりも上の半分の領域が広角光学系２１３であり、光軸Ｌよりも下の半分の領域が望遠光学系２１４である。尚、この撮像光学系２１２に適用される指向性センサは、撮像光学系２１２の上半分の領域（広角光学系２１３）を通過する光束と、撮像光学系２１２の下半分の領域（望遠光学系２１４）を通過する光束とを瞳分割し、それぞれ選択的に受光するものにする必要がある。
　このように本発明に係る撮像装置に適用される撮像光学系の広角光学系と望遠光学系とは、同心円状の円形光学系と環状光学系とに限らず、上下（又は左右）に２分割された半円状の広角光学系と望遠光学系とにより構成されたものでもよい。
　［その他］
　本実施形態の撮像装置１０は、撮像部１１をパン方向及びチルト方向に回動させるパン・チルト機構３２が装置本体２に設けられているが、これに限らず、撮像装置全体を電動雲台（パン・チルト装置）に搭載したものでもよい。
　また、本実施形態の撮像装置１０は、対象物検出部５０が検出した第１の対象物の位置情報に基づいて第１の対象物を広角画像の中心に保持（自動追尾）させることができ、望遠画像による画像認識が終了すると、他の第１の対象物の検出に切り替えることができる。
　尚、第１の対象物は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。
　また、図２に示した撮像光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。
　更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。
　更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０…撮像装置、１１…撮像部、１２、１１２、２１２…撮像光学系、１３、１１３、２１３…広角光学系、１４、１１４、２１４…望遠光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、４４…表示部、５０…対象物検出部、５２…画像認識部、５２Ａ…顔認証データベース、５４…出力部、５６…対象物指示部、６０…パン・チルト制御部、１２０…遮光部材

Claims (19)

  1. 　共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、
    　２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
    　前記撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、
    　前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、
    　前記画像取得部が取得した広角画像を画像処理し、前記広角画像から第１の対象物を検出する対象物検出部と、
    　前記対象物検出部により検出された前記第１の対象物の前記広角画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記第１の対象物を前記広角画像の中心に位置させるパン・チルト制御部と、
    　前記パン・チルト制御部により前記パン・チルト機構が制御され、前記第１の対象物が前記広角画像の中心に位置しているときに前記画像取得部が取得した前記望遠画像を画像認識し、前記第１の対象物又は前記第１の対象物の近傍の第２の対象物を認識する画像認識部と、
    　を備えた撮像装置。
  2. 　前記画像認識部は、前記第１の対象物が複数の場合、前記撮像装置から最も近い前記第１の対象物を優先して認識する請求項１に記載の撮像装置。
  3. 　前記対象物検出部は、前記広角画像から複数の対象物を検出すると、前記撮像装置から最も近い対象物を前記第１の対象物として検出する請求項１に記載の撮像装置。
  4. 　前記対象物検出部は、前記画像取得部が連続して取得した前記広角画像に基づいて動体を画像認識し、前記画像認識した動体を前記第１の対象物として検出する動体検出部を備え、
    　前記画像認識部は、前記対象物検出部により複数の対象物が検出され、かつ前記動体検出部により動体が検出されると、前記検出された動体を優先して認識する請求項１に記載の撮像装置。
  5. 　前記画像認識部は、前記望遠画像から人物の顔画像を抽出し、前記抽出した顔画像に基づいて個人を特定する顔認識を行う請求項１から４のいずれか１項に記載の撮像装置。
  6. 　前記画像認識部は、前記望遠画像から車両のナンバープレートの画像を抽出し、前記抽出したナンバープレートの画像に基づいて前記車両のナンバーを特定する画像認識を行う請求項１から４のいずれか１項に記載の撮像装置。
  7. 　前記画像認識部により認識した前記第１の対象物又は前記第２の対象物の認識情報を出力する出力部を備えた請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記対象物検出部は、前記画像取得部が連続して取得した前記広角画像に基づいて動体を画像認識し、前記画像認識した動体を前記第１の対象物として検出する動体検出部を備え、
    　前記第１の対象物又は前記第２の対象物の認識情報を出力するとき、前記動体検出部により前記第１の対象物が動体であると検出されると、前記望遠画像を所定時間保持する画像保持部と、を備えた請求項７に記載の撮像装置。
  9. 　前記画像認識部は、前記望遠画像から人物の顔画像を抽出し、又は前記望遠画像から車両のナンバープレートの画像を抽出し、
    　前記出力部は、前記画像認識部により前記望遠画像から人物の顔画像が抽出され、又は前記望遠画像から車両のナンバープレートの画像が抽出されると、前記望遠画像から前記抽出された前記顔画像又はナンバープレートの画像をトリミングし、前記トリミングした画像のみを表示部に出力する請求項７に記載の撮像装置。
  10. 　前記出力部は、前記認識情報を記録する情報記録部及び前記認識情報を表示する表示部のうちの少なくとも１つに前記認識情報を出力する請求項７に記載の撮像装置。
  11. 　前記画像取得部が取得した前記広角画像及び前記望遠画像のうちの少なくとも前記望遠画像を記録する画像記録部を備えた請求項１から１０のいずれか１項に記載の撮像装置。
  12. 　前記対象物検出部は、前記画像取得部が取得した前記広角画像に基づいて前記第１の対象物を画像認識し、前記第１の対象物を検出する請求項１から１１のいずれか１項に記載の撮像装置。
  13. 　前記対象物検出部は、前記画像取得部が連続して取得した前記広角画像をリアルタイムに画像処理し、前記広角画像から前記第１の対象物を連続して検出し、
    　前記パン・チルト制御部は、前記対象物検出部により連続して検出された前記第１の対象物の前記広角画像中における位置情報に基づいて前記パン・チルト機構を連続して制御し、前記第１の対象物を前記広角画像の中心に保持させる請求項１から１２のいずれか１項に記載の撮像装置。
  14. 　前記広角光学系は円形の中央光学系であり、前記望遠光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から１３のいずれか１項に記載の撮像装置。
  15. 　前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項１４に記載の撮像装置。
  16. 　前記望遠光学系は円形の中央光学系であり、前記広角光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から１３のいずれか１項に記載の撮像装置。
  17. 　前記望遠光学系の焦点調整を行う焦点調整部を有する請求項１から１６のいずれか１項に記載の撮像装置。
  18. 　前記指向性センサは、瞳分割手段として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から１７のいずれか１項に記載の撮像装置。
  19. 　共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、前記撮像光学系及び指向性センサを含む撮像部を水平方向及び垂直方向に回動させるパン・チルト機構と、前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備えた撮像装置を使用し、
    　前記画像取得部が取得した広角画像を画像処理し、前記広角画像から第１の対象物を検出するステップと、
    　前記検出された前記第１の対象物の前記広角画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記第１の対象物を前記広角画像の中心に位置させるステップと、
    　前記第１の対象物が前記広角画像の中心に位置しているときに前記画像取得部が取得した前記望遠画像を画像認識し、前記第１の対象物又は前記第１の対象物の近傍の第２の対象物を認識するステップと、
    　を含む対象物認識方法。
PCT/JP2015/080051 2014-10-31 2015-10-26 撮像装置及び対象物認識方法 WO2016068057A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15854282.9A EP3214832B1 (en) 2014-10-31 2015-10-26 Imaging device and method for recognizing target object
JP2016556549A JP6302085B2 (ja) 2014-10-31 2015-10-26 撮像装置及び対象物認識方法
CN201580058258.XA CN107079087B (zh) 2014-10-31 2015-10-26 摄像装置及对象物识别方法
US15/487,441 US10091408B2 (en) 2014-10-31 2017-04-14 Imaging apparatus and method of recognizing target object

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-222378 2014-10-31
JP2014222378 2014-10-31
JP2015-204749 2015-10-16
JP2015204749 2015-10-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/487,441 Continuation US10091408B2 (en) 2014-10-31 2017-04-14 Imaging apparatus and method of recognizing target object

Publications (1)

Publication Number Publication Date
WO2016068057A1 true WO2016068057A1 (ja) 2016-05-06

Family

ID=55857396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080051 WO2016068057A1 (ja) 2014-10-31 2015-10-26 撮像装置及び対象物認識方法

Country Status (5)

Country Link
US (1) US10091408B2 (ja)
EP (1) EP3214832B1 (ja)
JP (1) JP6302085B2 (ja)
CN (1) CN107079087B (ja)
WO (1) WO2016068057A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212495A (ja) * 2016-05-23 2017-11-30 富士通株式会社 撮影制御装置、プログラム及び方法
CN109286757A (zh) * 2017-07-19 2019-01-29 富士施乐株式会社 图像处理装置和图像处理方法
CN110622499A (zh) * 2017-05-16 2019-12-27 富士胶片株式会社 图像生成装置、图像生成系统、图像生成方法及图像生成程序
JP2021052231A (ja) * 2019-09-20 2021-04-01 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体
JP2021179890A (ja) * 2020-05-15 2021-11-18 国立大学法人広島大学 画像認識装置、認証システム、画像認識方法及びプログラム
JP7243478B2 (ja) 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017199559A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
CN107396067A (zh) * 2017-08-29 2017-11-24 浙江大华技术股份有限公司 一种双镜头摄像机
JP6748143B2 (ja) * 2018-04-27 2020-08-26 シャープ株式会社 光センサおよび電子機器
WO2019231861A1 (en) * 2018-05-28 2019-12-05 Greenwave Systems PTE Ltd. Area monitoring and communication
JP6769475B2 (ja) 2018-12-04 2020-10-14 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
JP7222683B2 (ja) * 2018-12-06 2023-02-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7262997B2 (ja) * 2018-12-27 2023-04-24 キヤノン株式会社 制御装置、撮像装置、および、プログラム
CN110505411B (zh) * 2019-09-03 2021-05-07 RealMe重庆移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
JP7212175B2 (ja) 2019-10-29 2023-01-24 富士フイルム株式会社 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム
CN110830713A (zh) * 2019-10-30 2020-02-21 维沃移动通信有限公司 一种变焦方法及电子设备
CN112887615B (zh) * 2021-01-27 2022-11-11 维沃移动通信有限公司 拍摄的方法及装置
US20220345633A1 (en) * 2021-04-21 2022-10-27 Canon Kabushiki Kaisha Image pickup apparatus, control method, and memory medium
KR20220152862A (ko) * 2021-05-10 2022-11-17 삼성전자주식회사 카메라 모듈 및 이를 포함하는 촬상 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341574A (ja) * 1999-05-28 2000-12-08 Canon Inc カメラ装置及びカメラ制御システム
JP2005189532A (ja) * 2003-12-25 2005-07-14 Konica Minolta Photo Imaging Inc 撮像装置
JP2007116666A (ja) * 2005-09-20 2007-05-10 Fujinon Corp 監視カメラ装置及び監視カメラシステム
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2009244369A (ja) * 2008-03-28 2009-10-22 Sony Corp 撮像装置及び撮像方法
WO2014129216A1 (ja) * 2013-02-21 2014-08-28 富士フイルム株式会社 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169342A (ja) 1997-08-22 1999-03-09 Hitachi Denshi Ltd 侵入物体追尾画像処理システム
US6977676B1 (en) 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
US6734911B1 (en) 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
JP2002122899A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2004072240A (ja) * 2002-08-02 2004-03-04 Minolta Co Ltd 撮像装置とそれを用いた追尾システムおよびスキャナ
JP4140567B2 (ja) 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机系统
US8259157B2 (en) * 2008-01-11 2012-09-04 Sony Corporation Teleconference terminal apparatus and image transmitting method
CN101543409A (zh) * 2008-10-24 2009-09-30 南京大学 远距离虹膜识别装置
JP5538823B2 (ja) * 2009-11-06 2014-07-02 キヤノン株式会社 撮像装置
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
EP3267677B1 (en) * 2011-08-24 2019-08-28 Fujifilm Corporation Imaging device
CN102509309B (zh) * 2011-11-04 2013-12-18 大连海事大学 一种基于图像匹配的目标点定位系统
CN202748587U (zh) * 2012-08-30 2013-02-20 苏州翔合智能科技有限公司 广角与长焦双模式自动追踪录播设备
CN102868875B (zh) * 2012-09-24 2015-11-18 天津市亚安科技股份有限公司 多方向监控区域预警定位自动跟踪监控装置
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341574A (ja) * 1999-05-28 2000-12-08 Canon Inc カメラ装置及びカメラ制御システム
JP2005189532A (ja) * 2003-12-25 2005-07-14 Konica Minolta Photo Imaging Inc 撮像装置
JP2007116666A (ja) * 2005-09-20 2007-05-10 Fujinon Corp 監視カメラ装置及び監視カメラシステム
JP2009128527A (ja) * 2007-11-21 2009-06-11 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP2009244369A (ja) * 2008-03-28 2009-10-22 Sony Corp 撮像装置及び撮像方法
WO2014129216A1 (ja) * 2013-02-21 2014-08-28 富士フイルム株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3214832A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212495A (ja) * 2016-05-23 2017-11-30 富士通株式会社 撮影制御装置、プログラム及び方法
US10841501B2 (en) 2016-05-23 2020-11-17 Fujitsu Limited Photographing control apparatus and photographing control method
CN110622499A (zh) * 2017-05-16 2019-12-27 富士胶片株式会社 图像生成装置、图像生成系统、图像生成方法及图像生成程序
CN110622499B (zh) * 2017-05-16 2021-02-05 富士胶片株式会社 图像生成装置、图像生成系统、图像生成方法及记录介质
CN109286757A (zh) * 2017-07-19 2019-01-29 富士施乐株式会社 图像处理装置和图像处理方法
CN109286757B (zh) * 2017-07-19 2021-12-21 富士胶片商业创新有限公司 图像处理装置和图像处理方法
US11533444B2 (en) 2017-07-19 2022-12-20 Fujifilm Business Innovation Corp. Image processing device
JP7243478B2 (ja) 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
JP2021052231A (ja) * 2019-09-20 2021-04-01 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体
JP7433820B2 (ja) 2019-09-20 2024-02-20 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体
JP2021179890A (ja) * 2020-05-15 2021-11-18 国立大学法人広島大学 画像認識装置、認証システム、画像認識方法及びプログラム

Also Published As

Publication number Publication date
EP3214832A1 (en) 2017-09-06
JPWO2016068057A1 (ja) 2017-09-07
CN107079087A (zh) 2017-08-18
US10091408B2 (en) 2018-10-02
EP3214832A4 (en) 2017-09-06
EP3214832B1 (en) 2019-11-27
CN107079087B (zh) 2021-01-26
US20170280045A1 (en) 2017-09-28
JP6302085B2 (ja) 2018-03-28

Similar Documents

Publication Publication Date Title
JP6302085B2 (ja) 撮像装置及び対象物認識方法
JP6027560B2 (ja) 自動追尾撮像装置
JP6641470B2 (ja) ステレオカメラ及びステレオカメラの制御方法
US10244165B2 (en) Imaging device
TWI419551B (zh) 固態全景影像擷取裝置
JP5147474B2 (ja) 撮像装置及びその制御方法
JP2016046772A (ja) 車載カメラ
US10552963B2 (en) Imaging device, imaging method, and non-transitory recording medium
JP2016048824A (ja) 追尾装置、追尾システム、及び表示装置
JP2016046774A (ja) 撮像装置
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
JP2016048282A (ja) 撮像装置
JP6195371B2 (ja) 撮像装置、制御方法およびプログラム
JP2016046773A (ja) 撮像装置
JP5769534B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2004086401A (ja) 対象物認識装置および方法
JP2018101081A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15854282

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016556549

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015854282

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE