WO2015029688A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2015029688A1
WO2015029688A1 PCT/JP2014/070179 JP2014070179W WO2015029688A1 WO 2015029688 A1 WO2015029688 A1 WO 2015029688A1 JP 2014070179 W JP2014070179 W JP 2014070179W WO 2015029688 A1 WO2015029688 A1 WO 2015029688A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
image
annular
central
pixels
Prior art date
Application number
PCT/JP2014/070179
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201480045827.2A priority Critical patent/CN105474626B/zh
Priority to EP14839265.7A priority patent/EP3041222B1/en
Publication of WO2015029688A1 publication Critical patent/WO2015029688A1/ja
Priority to US15/015,650 priority patent/US10165181B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0804—Catadioptric systems using two curved mirrors
    • G02B17/0808—Catadioptric systems using two curved mirrors on-axis systems with at least one of the mirrors having a central aperture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0896—Catadioptric systems with variable magnification or multiple imaging planes, including multispectral systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/123—The splitting element being a lens or a system of lenses, including arrays and surfaces with refractive power
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses

Definitions

  • the present invention relates to an imaging device, and more particularly to an imaging device capable of simultaneously capturing a plurality of images having different characteristics.
  • a central optical system (wide-angle lens) 1a disposed on the same optical axis and an annular optical system (telephoto lens) 1b disposed in the periphery of the central optical system 1a are provided.
  • An imaging optical system 1 composed of an annular optical system 1b having different characteristics, an image sensor 3, and an array composed of a plurality of microlenses (pupil imaging lenses) disposed on the incident surface side of the image sensor 3.
  • an imaging apparatus that includes a lens 2 and an array lens 2 that forms a pupil image of a photographing optical system on an image sensor 3 using each microlens (Patent Document 1).
  • the image plane of the photographing optical system 1 is on the array lens 2
  • the array lens 2 connects the pupil image of the photographing optical system 1 on the image sensor 3. Let me image.
  • FIG. 16 shows one light receiving cell 3 a on the image sensor 3 and a pupil image of the photographing optical system 1 that is imaged on the image sensor 3 by one microlens of the array lens 2.
  • This pupil image has a central pupil image (wide-angle lens component) corresponding to the central optical system 1a and an annular pupil image (telephoto lens component) corresponding to the annular optical system 1b.
  • FIG. 17A shows an example in which 5 ⁇ 5 light receiving cells 3a of the image sensor 3 are assigned to one microlens.
  • the central pupil image (wide-angle lens component) is received by the light receiving cell at the center, and the light receiving cells at the periphery are annular.
  • the pupil image (telephoto lens component) receives light.
  • an image signal for one pixel of the wide-angle image is generated from the light-receiving cell that receives the wide-angle lens component, and similarly, an image for one pixel of the telephoto image from the light-receiving cell that receives the telephoto lens component.
  • a wide-angle image corresponding to the wide-angle lens and a telephoto image corresponding to the telephoto lens are obtained, as shown in FIGS. 17B and 17C.
  • the simplest method for suppressing the decrease in the number of pixels of images with different characteristics obtained from the image sensor 3 is to reduce the number of light receiving cells (number of allocation) allocated to one microlens.
  • the number of pixels of images with different characteristics that can be extracted can be increased by the amount corresponding to the reduced number of allocation.
  • the photographing optical system 1 including the central optical system 1a and the annular optical system 1b in the center (in the case of the photographing optical system divided concentrically), for example, the photographing optical system is divided into two in the upper and lower directions, and different characteristics are obtained.
  • the lens performance is superior to that of the upper and lower divided photographing optical system, there is a problem that the number of pixels of the image that can be taken out cannot be increased sufficiently.
  • FIGS. 18A and 18B show an example in which 5 ⁇ 5 light receiving cells 3a of the image sensor 3 are assigned to one microlens and an example in which 3 ⁇ 3 light receiving cells 3a are assigned. Yes.
  • the number of light receiving cells that can be assigned per microlens of the array lens is limited to 3 ⁇ 3.
  • the light receiving cells of the image sensor 3 are limited.
  • the present invention has been made in view of such circumstances, and significantly reduces the number of light receiving cells allocated per microlens of an array lens and simultaneously increases the number of pixels of images with different characteristics to be imaged.
  • An object of the present invention is to provide an imaging apparatus capable of
  • an imaging apparatus in a first optical system and a peripheral portion of the first optical system, and has a second characteristic different from that of the first optical system.
  • An optical lens an image sensor composed of a plurality of light receiving elements arranged two-dimensionally, and an array lens composed of microlenses arranged two-dimensionally, And an array lens that is arranged on the incident surface side of the sensor and forms a pupil image of the photographing optical system on the image sensor by each microlens.
  • the array lens forms an image on the image sensor by each microlens.
  • a part of the second pupil images corresponding to the second optical systems adjacent to each other are overlapped on the image sensor.
  • the pupil image corresponding to the second optical system does not overlap. That is, even if a part of the second pupil image corresponding to the second optical system adjacent to each other overlaps on the image sensor, only the image in the vicinity of the pupil image formed by the second optical system overlaps. Although there is some characteristic change, it does not fail as an image.
  • the array lens is substantially assigned to one microlens of the array lens because a part of the second pupil images corresponding to the second optical systems adjacent to each other overlap on the image sensor.
  • the number of light receiving cells assigned to the image sensor can be reduced to less than 3 ⁇ 3. As a result, the number of pixels of images with different characteristics that are simultaneously captured can be increased.
  • the first pupil image corresponding to the first optical system and the second pupil image corresponding to the second optical system are read from the image sensor, and the first pupil is read out. It is preferable to include an image generation unit that generates a first image composed of an image and a second image composed of a second pupil image. From one first pupil image and one second pupil image, one pixel of the pixel group constituting the first image and the second image is respectively created. The second pupil image corresponds to at least two pixels on the image sensor, but these pixels are appropriately added to form one pixel.
  • the first optical system of the photographing optical system is a circular central optical system
  • the second optical system is disposed concentrically with respect to the central optical system.
  • the array lens is an annular optical system, and among the pupil images formed on the image sensor by the respective microlenses, a part of the annular pupil images corresponding to the adjacent annular optical systems is overlapped on the image sensor. It is preferable.
  • the first optical system is a circular central optical system and the second optical system is an annular optical system disposed concentrically with respect to the central optical system, the first optical system and the second optical system Each system has a point-symmetric shape with respect to the optical axis of the photographing optical system. Thereby, although it is a divided photographing optical system, good optical performance can be obtained.
  • the pupil image formed on the image sensor by each microlens of the array lens has an image size of 3 ⁇ 3 pixels, and corresponds to the central optical system.
  • the pupil image is incident on the light receiving element corresponding to the central pixel of 3 ⁇ 3 pixels
  • the annular pupil image corresponding to the annular optical system is incident on the light receiving elements corresponding to 8 pixels around the central pixel of 3 ⁇ 3 pixels.
  • the first optical system of the photographing optical system is a circular central optical system
  • the second optical system is disposed concentrically with respect to the central optical system.
  • the array lens is an annular optical system, and among the pupil images formed on the image sensor by the respective microlenses, a part of the annular pupil images corresponding to the adjacent annular optical systems is overlapped on the image sensor.
  • the central pupil image corresponding to the adjacent central optical system overlaps with a part of the annular pupil image corresponding to the annular optical system
  • the annular optical system overlaps with the central pupil image corresponding to the central optical system. It is preferable that a part corresponding to a part of the pupil image is shielded from light, or a part corresponding to a part of the annular pupil image overlapping with the central pupil image corresponding to the central optical system is omitted.
  • the annular optical system is formed such that part of the optical system is shielded from light or part of it is missing, so that the central pupil image and the annular pupil image do not overlap on the image sensor. Yes. Thereby, it becomes possible to further reduce the number of allocated pixels on the image sensor per microlens of the array lens.
  • the pupil image formed on the image sensor by each microlens of the array lens has an image size of 3 ⁇ 3 pixels and corresponds to the central optical system.
  • the central pupil image is incident on the light receiving element corresponding to the central pixel of 3 ⁇ 3 pixels, and the annular pupil image corresponding to the annular optical system is applied to the light receiving elements corresponding to 8 pixels around the central pixel of 3 ⁇ 3 pixels.
  • one of the first optical system and the second optical system is a wide-angle optical system and the other is a telephoto optical system. .
  • a wide-angle image and a telephoto image can be simultaneously acquired by one imaging.
  • the first optical system of the photographing optical system is a circular central optical system
  • the second optical system is disposed concentrically with respect to the central optical system. It is a ring optical system, and the central optical system is preferably wider than the ring optical system.
  • the first optical system of the photographing optical system is a circular central optical system
  • the second optical system is disposed concentrically with respect to the central optical system.
  • the first annular pupil images corresponding to the third optical systems of the annular optical systems adjacent to each other are overlapped on the image sensor, and the fourth optical system of the annular optical system adjacent to each other is used.
  • the corresponding second annular pupil images are preferably overlapped on the image sensor.
  • a photographing optical system can be configured by three types of optical systems (first, third, and fourth optical systems) having different characteristics, and three types can be obtained by one imaging. Images having different characteristics can be acquired simultaneously, and the number of allocated pixels on the image sensor per microlens of the array lens can be reduced.
  • the image sensor includes a plurality of light receiving elements arranged in a hexagonal lattice shape, and a pupil image formed on each image sensor by each microlens of the array lens is a center image.
  • the central pupil image corresponding to the central optical system has an image size of 7 pixels, that is, 6 pixels around the pixel and the central pixel, and is incident on the light receiving element corresponding to the central pixel of the 7 pixels.
  • the first annular pupil image corresponding to this optical system is incident on the light receiving elements corresponding to three pixels in the direction of 120 degrees 3 from the central pixel among the six pixels around the central pixel, and the fourth optical system of the annular optical system
  • the second annular pupil image corresponding to the optical system is incident on the light receiving elements corresponding to the other three pixels at 120 degrees and three directions from the central pixel among the six pixels around the central pixel, and the number of pixels of the image sensor is determined.
  • M the first image consisting of the central pupil image
  • the photographing optical system has a central optical system that is a wide-angle optical system, and the third optical system and the fourth optical system of the annular optical system have different focal lengths.
  • An optical system is preferable. Thereby, it is possible to simultaneously acquire a wide-angle image and two telephoto images having different shooting magnifications by one imaging.
  • the central optical system of the photographing optical system is a wide-angle optical system
  • the third optical system and the fourth optical system of the annular optical system are different telephoto optics having different photographing distances.
  • a system is preferred. Accordingly, it is possible to simultaneously acquire a wide-angle image and two telephoto images focused on subjects having different shooting distances by one imaging.
  • the annular optical system has a reflection optical system that reflects the light beam twice or more.
  • the dimension of the annular optical system in the optical axis direction can be shortened, and the apparatus can be made compact.
  • the image sensor is located on the objective side with respect to the reflection optical system that first reflects the light beam.
  • an image sensor can be arrange
  • the central optical system and the annular optical system use some optical systems in common. Thereby, an apparatus can be made compact and cost reduction can be aimed at.
  • the array lens in the photographing optical system including the first optical system and the second optical system in the periphery thereof, has a second pupil image corresponding to the second optical system adjacent to each other. Since some of them overlap each other on the image sensor, it is possible to reduce the number of light receiving cells assigned to the image sensor substantially per microlens of the array lens. The number of pixels of the image can be increased.
  • FIG. 1 is an external perspective view of an imaging apparatus according to the present invention.
  • 1 is a block diagram showing an embodiment of an internal configuration of the imaging apparatus shown in FIG. Sectional drawing which shows 1st Embodiment of the imaging optical system applied to the imaging device shown in FIG. The principal part enlarged view of the array lens used in order to demonstrate 1st Embodiment of the imaging device which concerns on this invention, and an image sensor
  • the figure used in order to demonstrate 2nd Embodiment of the imaging device which concerns on this invention Sectional drawing which shows 2nd Embodiment of the imaging optical system applicable to the imaging device shown in FIG.
  • the figure which shows the relationship between one light receiving cell and a pupil image The figure which shows an example of each pupil image imaged on the conventional image sensor
  • FIG. 1 is an external perspective view of an imaging apparatus according to the present invention. As shown in FIG. 1, a photographing optical system 12, a flash light emitting unit 19, and the like are disposed on the front surface of the imaging apparatus 10, and a shutter button 38-1 is disposed on the upper surface. L1 represents the optical axis of the photographing optical system 12.
  • FIG. 2 is a block diagram showing an embodiment of the internal configuration of the imaging apparatus 10.
  • the imaging apparatus 10 records the captured image on the memory card 54, and is mainly characterized by the imaging optical system 12, the array lens 16, and the image sensor 18.
  • FIG. 3 is a cross-sectional view showing a first embodiment of the photographing optical system applied to the image pickup apparatus 10.
  • the photographic optical system 12 includes a central optical system (first optical system) 13 and an annular optical system (second optical system) in the periphery thereof, which are arranged on the same optical axis. 14).
  • the central optical system 13 is a wide-angle optical system (wide-angle lens) including a first lens 13 a, a second lens 13 b, a third lens 13 c, a fourth lens 13 d, and a common lens 15. An image is formed.
  • the annular optical system 14 includes a first lens 14a, a second lens 14b, a first reflection mirror 14c (reflection optical system), a second reflection mirror 14d (reflection optical system), and a telephoto optical system (common lens 15).
  • a telephoto lens), and a telephoto image is formed on the array lens 16.
  • the light beam incident through the first lens 14a and the second lens 14b is reflected twice by the first reflection mirror 14c and the second reflection mirror 14d, and then passes through the common lens 15.
  • the light beam is folded back by the first reflecting mirror 14c and the second reflecting mirror 14d, so that the length in the optical axis direction of the telephoto optical system (telephoto lens) having a long focal length is shortened.
  • FIG. 4 is an enlarged view of a main part of the array lens 16 and the image sensor 18 shown in FIGS.
  • the array lens 16 is configured by a plurality of microlenses (pupil imaging lenses) 16a arranged two-dimensionally.
  • the horizontal and vertical intervals between the microlenses are determined by the light receiving cells 18a of the image sensor 18. Corresponds to two intervals. That is, each microlens of the array lens 16 is formed corresponding to the position of every other light receiving cell in each of the horizontal direction and the vertical direction.
  • Each microlens 16a of the array lens 16 has a circular central pupil image (first pupil image) 17a and an annular pupil image (second pupil) corresponding to the central optical system 13 and the annular optical system 14 of the photographing optical system 12.
  • Image) 17b is formed on the image sensor 18.
  • the annular pupil images 17b adjacent to each other partially overlap each other on the image sensor 18. That is, the array lens 16 is disposed at an appropriate position on the incident surface side of the image sensor 18, and among the central pupil image 17a and the annular pupil image 17b formed on the image sensor 18 by each microlens 16a, A part of the annular pupil images 17 b adjacent to each other is configured to overlap on the image sensor 18.
  • the central pupil image 17 a is imaged only on one light receiving cell 18 a (3 ⁇ 3 pixel central pixel) on the image sensor 18.
  • the annular pupil image 17b is formed on the eight light receiving cells 18a around the light receiving cell 18a on which the central pupil image 17a is formed.
  • the central pupil image 17a formed on the eight light receiving cells 18a overlaps with the central pupil image 17a adjacent in the horizontal direction and the vertical direction (up and down, left and right directions) in a range corresponding to one light receiving cell.
  • the imaging apparatus 10 since the imaging apparatus 10 according to the present invention only needs to be able to capture a wide-angle image corresponding to the central optical system 13 and a telephoto image corresponding to the annular optical system 14 as described later, the central pupil image 17a and the annular pupil are required. It is sufficient that the image 17b does not overlap. That is, even if a part of the annular pupil images 17b adjacent to each other overlap on the image sensor 18, the image does not fail.
  • 5A and 5B are diagrams showing a case where adjacent pupil images (annular pupil images) do not overlap on the image sensor and a case where they overlap as in the first embodiment.
  • an annular pupil image is per one microlens within a range where the image does not overlap on the image sensor.
  • the light receiving cells of the image sensor 18 can be assigned to the light receiving cells.
  • the imaging apparatus 10 includes the imaging optical system 12 having the central optical system 13 and the annular optical system 14 described with reference to FIG. 3, the array lens 16 and the image sensor of the first embodiment described with reference to FIG. 4. 18 is provided.
  • the overall operation of the apparatus is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the imaging device 10 is provided with an operation unit 38 such as a shutter button 38-1, a mode dial (mode switching device), a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal. For example, photographing operation control, image processing control, image data recording / reproduction control, liquid crystal monitor The display control of the (LCD) 30 is performed.
  • the shutter button 38-1 (FIG. 1) is an operation button for inputting an instruction to start shooting, and is composed of a two-stroke switch having an S1 switch that is turned ON when half-pressed and an S2 switch that is turned ON when fully pressed. Has been.
  • the mode dial is a selection means for switching between an auto shooting mode for shooting a still image, a manual shooting mode, a scene position such as a person, a landscape, a night view, and a moving image mode for shooting a moving image.
  • the mode dial is a first imaging mode for obtaining a wide-angle image (first image) formed through the central optical system 13 and a telephoto image formed through the annular optical system 14 in the imaging mode. It functions as a selection unit that switches between a second shooting mode for acquiring an image (second image), a hybrid shooting mode for simultaneously acquiring a wide-angle image and a telephoto image, and the like.
  • the playback button is a button for switching to a playback mode in which a captured still image or moving image is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the subject light is imaged on the light receiving surface of the image sensor 18 via the photographing optical system 12 and the array lens 16.
  • each light receiving cell (light receiving element) of the image sensor 18 is converted into a signal voltage (or charge) of an amount corresponding to the amount of incident light.
  • the signal voltage (or charge) accumulated in the image sensor 18 is accumulated in the light receiving cell itself or an attached capacitor.
  • the stored signal voltage (or charge) is read out together with the selection of the pixel position by the sensor control unit 32 using a technique of a MOS type image pickup device (so-called CMOS sensor) using the XY address method.
  • CMOS sensor MOS type image pickup device
  • an image signal indicating a wide-angle image composed of a pixel group corresponding to the central optical system 13 and an image signal indicating a telephoto image composed of a pixel group corresponding to the annular optical system 14 can be read from the image sensor 18.
  • the image signal (voltage signal) read from the image sensor 18 is output for each pixel of the sensor for the purpose of reducing correlated double sampling processing (noise (particularly thermal noise) included in the sensor output signal).
  • the image signal for each pixel is sampled and held by the process of obtaining accurate pixel data by taking the difference between the feedthrough component level and the pixel signal component level included in the signal, and then amplified and sent to the A / D converter 20 Added.
  • the A / D converter 20 converts sequentially input image signals into digital signals and outputs them to the image input controller 22. Note that some MOS type sensors include an A / D converter. In this case, a digital signal is directly output from the image sensor 18.
  • an image signal indicating a wide-angle image can be obtained, while the annular pupil image 17b of the image sensor 18 is obtained.
  • the pixel signals of the incident light receiving cells are selectively read out, and the pixel signals of the eight light receiving cells on which the same annular pupil image 17b is incident are added to generate a pixel signal of one pixel of the telephoto image.
  • the image signal of a telephoto image can be acquired by performing for every image 17b.
  • all pixel signals are read from the image sensor 18 and temporarily stored in the memory (SDRAM) 48, and the same as described above based on the pixel signals stored in the memory 48 by the digital signal processing unit (image generation unit) 24.
  • image generation unit image generation unit
  • two image signals of a wide-angle image and a telephoto image may be generated.
  • the digital signal processing unit 24 performs predetermined signal processing such as offset processing and gamma correction processing on the digital image signal input via the image input controller 22. Further, as described later, when acquiring red (R), green (G), and blue (B) color image signals as the image signals of the wide-angle image and the telephoto image, the digital signal processing unit 24 uses the RGB signal. Perform demosaic processing on the image signal.
  • the demosaic process is a process of calculating all color information for each pixel from an RGB mosaic image corresponding to the color filter array of a single-plate color image sensor, and is also called a synchronization process.
  • RGB RGB / YC conversion for generating the luminance signal Y and the color difference signals Cb and Cr from the demosaic processed RGB image signal.
  • the image data processed by the digital signal processing unit 24 is input to a VRAM (Video Random Access Memory) 50.
  • VRAM Video Random Access Memory
  • the image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30 provided on the back of the camera, whereby the subject image is displayed on the display screen of the liquid crystal monitor 30.
  • the CPU 40 starts the AE operation, and the image data output from the A / D converter 20 is the AE detection unit 44. Is taken in.
  • the AE detection unit 44 integrates the image signals of the entire screen, or integrates the image signals with different weights at the center and the periphery of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE detection unit 44, and based on this shooting Ev value, the aperture value of an aperture (not shown) and the electronic shutter ( (Shutter speed) is determined according to a predetermined program diagram, the aperture is controlled based on the determined aperture value, and the charge accumulation time in the image sensor 18 is determined via the sensor control unit 32 based on the determined shutter speed. Control.
  • image data output from the A / D converter 20 in response to the depression is stored from the image input controller 22 into the memory.
  • SDRAM “Synchronous Dynamic” RAM
  • the image signal temporarily stored in the memory 48 is appropriately read out by the digital signal processing unit 24, where predetermined signal processing is performed and stored in the memory 48 again.
  • the image signals stored in the memory 48 are respectively output to the compression / decompression processing unit 26, and after predetermined compression processing such as JPEG (Joint Photographic Experts Group) is performed, the image signal is sent to the memory card 54 via the media controller 52. To be recorded.
  • predetermined compression processing such as JPEG (Joint Photographic Experts Group)
  • a wide-angle image or a telephoto image can be selectively acquired.
  • the hybrid shooting mode is selected with the mode dial, the wide-angle image is selected. Images and telephoto images can be acquired simultaneously. Accordingly, it is possible to acquire a wide-angle image and a telephoto image without mechanical switching between the wide-angle optical system and the telephoto optical system and without a zoom operation of the zoom lens.
  • the pixel signals of the eight light receiving cells on which the same annular pupil image 17b is incident are added to generate the pixel signal of one pixel of the telephoto image.
  • red (R), green (G), and blue (B) color filters on each light receiving cell of the image sensor 18 are arranged.
  • the digital signal processing unit 24 adds pixel signals of four light receiving cells in which four G filters at four corners are arranged among eight light receiving cells on which the same annular pupil image 17b is incident. A signal is generated, pixel signals of two light receiving cells in which two right and left R filters are arranged are added to generate one R signal, and pixel signals of two light receiving cells in which two upper and lower B filters are arranged are obtained. Addition to generate one B signal.
  • the pixel signal of one light receiving cell in which the G filter is arranged is used to generate G signals of four G pixels (four pixels centered on the light receiving cell) of the telephoto image, and the R filter is arranged.
  • the pixel signal of one light receiving cell is used to generate the R signal of two R pixels (two pixels on the left and right across the light receiving cell) of the telephoto image, and the pixel of one light receiving cell in which the B filter is arranged
  • the signal is used to generate a B signal of two B pixels (two pixels above and below the light receiving cell) of the telephoto image.
  • the R, G, and B signals (color image signals of the telephoto image) that have been subjected to the synchronization processing (demosaic processing) can be acquired.
  • a color filter of a predetermined filter arrangement (Bayer arrangement, G stripe R / G complete checkered, X-Trans (registered trademark) arrangement, etc.) on each light receiving cell on which the central pupil image 17a is incident.
  • a color image signal of a wide-angle image can be acquired. It is necessary to perform demosaic processing by the digital signal processing unit 24 on the RGB image signal of the wide-angle image.
  • the central pupil image 117a and the annular pupil shown in FIG. 7A is used as the photographing optical system.
  • the imaging optical system for obtaining the central pupil image 117a and the annular pupil image 117b shown in FIG. 7B is configured by shielding a part of the annular optical system 14 in the imaging optical system 12 shown in FIG. can do.
  • the annular optical system corresponding to the annular pupil image 117b can be configured by forming partial openings only in the upper, lower, left and right directions and shielding the other portions. Thus, a partially missing annular pupil image 117b is obtained.
  • the ring is formed only in the upper, lower, left and right peripheral portions (positions corresponding to the partial opening of the ring optical system)
  • Four optical systems having the same characteristics as the optical system may be arranged.
  • the microlenses of the array lens are staggered with respect to the light receiving cells 18a arranged in a square lattice pattern of the image sensor 18 as shown in FIG.
  • the pupil image formed on the image sensor by each microlens of the array lens is set to a 3 ⁇ 3 image size.
  • the annular pupil image 117b lacks a portion overlapping the adjacent central pupil image 117a, the central pupil image 117a and the annular pupil image 117b do not overlap on the image sensor 18.
  • FIGS. 8A to 8C are views showing modifications of the photographing optical system (annular optical system) of the second embodiment, respectively, and in particular, an opening and a light shielding portion for the annular optical system are different.
  • the annular optical system shown in FIG. 8A is an upper, left and right three-way instead of the annular optical system of the second embodiment (an annular optical system in which partial openings are formed only in the upper, lower, left and right sides). And a partial opening is formed.
  • annular optical system shown in FIG. 8 (b) has partial openings in the upper and left sides, and the annular optical system shown in FIG. 8 (c) is partially in the upper and lower sides. An opening is formed.
  • each microlens of the array lens is the same as that of the second embodiment shown in FIG. 7C.
  • a staggered arrangement for each light receiving cell can be used.
  • the horizontal microlens of the array lens corresponds to each light receiving cell 18a of the image sensor 18 as shown in FIG.
  • the formed vertical microlenses those formed corresponding to every other light receiving cell 18a can be used.
  • the number of pixels of the image sensor is M
  • the number of pixels of the wide-angle image and the telephoto image obtained from the image sensor is N, respectively.
  • the photographing optical system 12 that obtains the central pupil image 17a and the annular pupil image 17b shown in FIG. 10A as the photographing optical system
  • the central pupil image 217a and the annular pupil image 217b shown in FIG. 217c is used.
  • the annular optical system of the photographing optical system including the central optical system and the annular optical system that are divided concentrically has a hexagonal direction different from each other by 60 degrees around the central optical system corresponding to the central pupil image 217a.
  • two sets of optical systems third optical system and fourth optical system that are formed in the openings corresponding to the 120 ° three-way annular pupil image 217b and the annular pupil image 217c. System).
  • the central optical system corresponding to the central pupil image 217a is a wide-angle optical system
  • the third optical system and the fourth optical system corresponding to the annular pupil image 217b and the annular pupil image 217c are respectively These are two types of telephoto optical systems having different focal lengths.
  • the light receiving cells 218a are arranged in a hexagonal lattice pattern as shown in FIG.
  • the microlenses of the array lens are arranged in a staggered manner with respect to the respective light receiving cells 218a arranged in a hexagonal lattice pattern of the image sensor 218 as shown in FIG. It is assumed that every other unit is arranged, and every other unit is arranged in the vertical direction.
  • the central pupil image 217a formed on the image sensor 218 by each microlens of the array lens is incident on one light receiving cell corresponding to the center position of each microlens, and the annular pupil image 217b (the first pupil image 217b)
  • the annular pupil image) and the annular pupil image 217c (second annular pupil image) are each composed of six light-receiving cells (one located in three directions of 120 degrees) around one light-receiving cell corresponding to the center position of each microlens. X2 light receiving cell).
  • the annular pupil image 217b and the annular pupil image 217c overlap with the adjacent annular pupil image 217b and annular pupil image 217c on the image sensor 218, respectively, but the annular pupil image 217b and the annular pupil image 217c. And do not overlap.
  • the third optical system and the fourth optical system corresponding to the annular pupil image 217b and the annular pupil image 217c are two types of telephoto optical systems having different focal lengths.
  • two telephoto optical systems having different shooting distances (focus positions) may be used.
  • FIG. 11 is a cross-sectional view showing a second embodiment of the photographing optical system applicable to the imaging apparatus 10.
  • the photographing optical system 112 is composed of a central optical system 113 at the center and an annular optical system 114 at the periphery thereof arranged on the same optical axis.
  • the central optical system 113 is a wide-angle optical system including a first lens 113a, a second lens 113b, a third lens 113c, a common lens 115a, and a cover glass 115b.
  • the cover glass 115b is disposed on the front surface of the array lens 16 (see FIG. 3).
  • the annular optical system 114 is a telephoto optical system including a first lens 114a, a first reflection mirror 114b, a second reflection mirror 114c, a second lens 114d, a common lens 115a, and a cover glass 115b.
  • the light beam incident on the first lens 114a is reflected twice by the first reflection mirror 114b and the second reflection mirror 114c, and then passes through the second lens 114d, the common lens 115a, and the cover glass 115b.
  • the light beam is folded back by the first reflecting mirror 114b and the second reflecting mirror 114c, thereby shortening the length in the optical axis direction of the telephoto optical system having a long focal length.
  • the array lens 16 and the image sensor 18 can be arranged inside the photographic optical system 112 (on the objective side with respect to the first reflecting mirror 114b), and the light of the apparatus
  • the axial dimension can be shortened.
  • FIG. 12 is a cross-sectional view showing a third embodiment of the photographing optical system applicable to the imaging apparatus 10.
  • the photographing optical system 212 includes a central optical system 213 at the center and an annular optical system 214 at the periphery thereof, which are arranged on the same optical axis.
  • the central optical system 213 is a telephoto optical system including a first lens 213a, a second lens 213b, and a common lens 215, and has an angle of view ⁇ .
  • the annular optical system 214 is a wide-angle optical system including a lens 214 a and a common lens 215, has an angle of view ⁇ ( ⁇ > ⁇ ), and is wider than the central optical system 213.
  • the photographing optical system 212 does not use a reflecting mirror
  • the central optical system 213 is a telephoto optical system
  • the annular optical system 214 is a wide-angle optical system. It is different in that.
  • imaging device 10 includes, for example, a mobile phone or smartphone having a camera function, a PDA (Personal Digital Assistant), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 13 shows an appearance of a smartphone 500 that is another embodiment of the imaging apparatus 10.
  • a smartphone 500 illustrated in FIG. 13 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
  • the configuration of the housing 502 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure and a slide mechanism can be employed.
  • FIG. 14 is a block diagram showing a configuration of the smartphone 500 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output unit. 560, a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 500.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by the control of the main control unit 501, and visually transmits information to the user, and detects user operations on the displayed information.
  • This is a so-called touch panel, and includes a display panel 521 and an operation panel 522.
  • the display panel 521 is preferably a 3D display panel.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 501.
  • the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the size of the display area and the size of the display panel 521 may be completely matched, but it is not always necessary to match the two.
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 can be mounted on the same surface as the display input unit 520 and the microphone 532 can be mounted on the side surface of the housing 502.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on a lower portion and a lower side of the display unit of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off when a finger is released with a restoring force such as a spring. It is a button type switch.
  • the storage unit 550 includes control programs and control data of the main control unit 501, address data in which names and telephone numbers of communication partners are associated, transmitted and received e-mail data, Web data downloaded by Web browsing, and downloaded contents Data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wide Band) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of the external device connected to the smartphone 500 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 500, A position consisting of longitude and altitude is detected.
  • the GPS receiving unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS receiving unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating in accordance with application software stored in the storage unit 550.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the above-described imaging device 10 can be applied to the camera unit 541.
  • a wide-angle image and a telephoto image can be taken without requiring a mechanical switching mechanism or the like, which is suitable as a camera unit incorporated in a thin portable terminal like the smartphone 500.
  • the camera unit 541 converts image data obtained by shooting into compressed image data such as JPEG (JointoPhotographic coding Experts Group) under the control of the main control unit 501, and records the data in the storage unit 550.
  • the data can be output through the external input / output unit 560 and the wireless communication unit 510.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this and may be mounted on the back surface of the display input unit 520. Alternatively, a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to shoot alone, or a plurality of camera units 541 can be used simultaneously for shooting.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the reflecting mirror is not limited to a concave mirror or a convex mirror, and may be a plane mirror.
  • the number of reflecting mirrors is not limited to two, but three or more. You may make it provide.
  • one of the central optical system and the ring optical system is a wide-angle optical system, and the other is a telephoto optical system.
  • the present invention is not limited to this.
  • Various optical systems such as two optical systems having different spatial frequency characteristics (bokeh) can be considered.
  • a common lens for the central optical system and the annular optical system, or a moving mechanism for moving the image sensor in the optical axis direction may be provided, and thereby focus adjustment may be performed.

Abstract

　本発明は、アレイレンズの１マイクロレンズ当たりに割り付ける受光セルの割付数を大幅に低減し、同時に撮像される特性の異なる画像の画素数を増加させることができる撮像装置を提供する。本発明の一態様は、光軸を共通にする中央光学系（広角レンズ）と、環状光学系（望遠レンズ）とからなる撮影光学系と、イメージセンサ（１８）と、イメージセンサ（１８）の入射面側に配設され、マイクロレンズ（瞳結像レンズ）（１６ａ）から構成されたアレイレンズ（１６）とを備えた撮像装置である。アレイレンズ（１６）は、各マイクロレンズ（１６ａ）によりイメージセンサ（１８）上にそれぞれ結像させる中央瞳像（１７ａ），環状瞳像（１７ｂ）のうち、互いに隣り合う環状光学系に対応する環状瞳像（１７ｂ）の一部同士をイメージセンサ（１７）上で重複させる。

Description

撮像装置
　本発明は撮像装置に関し、特に特性の異なる複数の画像を同時に撮像することができる撮像装置に関する。
　従来、図１５に示すように同一の光軸上に配置された中央部の中央光学系（広角レンズ）１ａと、その周辺部の環状光学系（望遠レンズ）１ｂであって、中央光学系１ａとは特性の異なる環状光学系１ｂとからなる撮影光学系１と、イメージセンサ３と、イメージセンサ３の入射面側に配設された複数のマイクロレンズ（瞳結像レンズ）から構成されたアレイレンズ２であって、各マイクロレンズにより撮影光学系の瞳像をイメージセンサ３上に結像させるアレイレンズ２と、を備えた撮像装置が提案されている（特許文献１）。
　上記撮影光学系１及びアレイレンズ２からなる撮影光学系１において、撮影光学系１の像面はアレイレンズ２上にあり、アレイレンズ２が撮影光学系１の瞳像をイメージセンサ３上に結像させる。
　図１６は、イメージセンサ３上の１つの受光セル３ａと、アレイレンズ２の１つのマイクロレンズがイメージセンサ３上に結像させる撮影光学系１の瞳像とを示している。この瞳像は、中央光学系１ａに対応する中央瞳像（広角レンズ成分）と、環状光学系１ｂに対応する環状瞳像（望遠レンズ成分）とを有している。
　図１７（ａ）は、１つのマイクロレンズ当たりに、イメージセンサ３の５×５の受光セル３ａを割り付けた一例を示す。
　図１７（ａ）に示すように、５×５の２５個の受光セル群毎に、その中央部の受光セルに中央瞳像（広角レンズ成分）が受光し、その周辺部の受光セルに環状瞳像（望遠レンズ成分）が受光する。
　２５個の受光セル群毎に、広角レンズ成分を受光する受光セルから広角画像の１画素分の画像信号が生成され、同様に望遠レンズ成分を受光する受光セルから望遠画像の１画素分の画像信号が生成され、これにより図１７（ｂ）及び（ｃ）に示すように広角レンズに対応する広角画像と、望遠レンズに対応する望遠画像とが得られる。
　図１７に示す例では、イメージセンサ３の受光セル数と、イメージセンサ３から得られる広角画像及び望遠画像の画素数との関係は、受光セル数：画素数（×画像数）＝２５：１（×２）となる。
特開２０１２－２５３６７０号公報
　図１７に示すように１つのマイクロレンズ当たりにイメージセンサ３の５×５の受光セル３ａを割り付けると、イメージセンサ３の画素数に比べてイメージセンサ３から得られる特性の異なる画像（上記の例では、広角画像と望遠画像）の画素数が大幅に低下するという問題がある。
　イメージセンサ３から得られる特性の異なる画像の画素数の低下を抑える最もシンプルな方法は、１つのマイクロレンズ当たりに割り付ける受光セルの数（割付数）を減らすことである。割付数を減らした分だけ、取り出すことができる特性の異なる画像の画素数を増やすことができる。
　しかしながら、中央部の中央光学系１ａと環状光学系１ｂとからなる撮影光学系１の場合（同心円状に分割した撮影光学系の場合）、例えば撮影光学系を上下に２分割し、それぞれ異なる特性の光学系にする上下分割の撮影光学系に比べてレンズ性能が優れているものの、取り出すことができる画像の画素数を十分に増やすことができないという問題がある。
　図１８（ａ）及び（ｂ）は、それぞれ１つのマイクロレンズ当たりにイメージセンサ３の５×５の受光セル３ａを割り付けた例と、３×３の受光セル３ａを割り付けた例とを示している。
　即ち、撮影光学系を同心円分割にした場合、アレイレンズの１マイクロレンズ当たりに割り付けることができる受光セルの割付数は、３×３が限界となっており、この場合のイメージセンサ３の受光セル数と、イメージセンサ３から得られる広角画像又は望遠画像の画素数との関係は、受光セル数：画素数＝９：１となる。
　本発明はこのような事情に鑑みてなされたもので、アレイレンズの１マイクロレンズ当たりに割り付ける受光セルの割付数を大幅に低減し、同時に撮像される特性の異なる画像の画素数を増加させることができる撮像装置を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る撮像装置は、第１の光学系と、第１の光学系の周辺部に設けられ、第１の光学系とは特性が異なる第２の光学系とからなる撮影光学系と、２次元状に配列された複数の受光素子から構成されたイメージセンサと、２次元状に配列されたマイクロレンズから構成されたアレイレンズであって、イメージセンサの入射面側に配設され、各マイクロレンズにより撮影光学系の瞳像をイメージセンサ上に結像させるアレイレンズと、を備え、アレイレンズは、各マイクロレンズによりイメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う第２の光学系に対応する第２の瞳像の一部同士をイメージセンサ上で重複させる。
　アレイレンズの１マイクロレンズ当たりに割り付けるイメージセンサの受光セルの割付数を、３×３よりも少ない割り付けにすると、隣接するマイクロレンズの瞳像同士が重なり始める（クロストークが発生する）。一般にクロストークが発生している画素からは、光線空間（ライトフィールド）を取り出すことができず、瞳像から１画素ずつ取り出し、画像を再構成する場合には、正しい画像が生成できなくなる。
　しかしながら、本発明の場合、第１の光学系に対応する画像と、第２の光学系に対応する画像とを取得することができればよいため、少なくとも第１の光学系に対応する瞳像と、第２の光学系に対応する瞳像とが重ならなければよい。即ち、互いに隣り合う第２の光学系に対応する第２の瞳像の一部同士がイメージセンサ上で重複しても、第２の光学系が作る瞳像の近傍の像が重なるだけであり、多少の特性変化はあるが、画像として破綻することはない。
　このように、アレイレンズは、互いに隣り合う第２の光学系に対応する第２の瞳像の一部同士がイメージセンサ上で重複させるため、アレイレンズの１マイクロレンズ当たりに実質的に割り付けられるイメージセンサの受光セルの割付数を３×３よりも少なくすることができ、その結果、同時に撮像される特性の異なる画像の画素数を増加させることができる。
　本発明の他の態様に係る撮像装置において、イメージセンサから第１の光学系に対応する第１の瞳像と第２の光学系に対応する第２の瞳像とを読み出し、第１の瞳像からなる第１の画像と第２の瞳像からなる第２の画像とを生成する画像生成部を備えることが好ましい。１つの第１の瞳像及び第２の瞳像からは、それぞれ第１の画像及び第２の画像を構成する画素群のうちの１画素がそれぞれ作成される。また、第２の瞳像は、少なくともイメージセンサ上で２画素以上の画素に対応するが、これらの画素が適宜加算されて１画素とされる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系の第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であり、アレイレンズは、各マイクロレンズによりイメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う環状光学系に対応する環状瞳像の一部同士をイメージセンサ上で重複させることが好ましい。
　第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であるため、第１の光学系及び第２の光学系は、それぞれ撮影光学系の光軸に対して点対称の形状となる。これにより、分割された撮影光学系ではあるが、良好な光学性能が得られる。
　本発明の更に他の態様に係る撮像装置において、アレイレンズの各マイクロレンズによりイメージセンサ上にそれぞれ結像される瞳像は３×３画素の画像サイズを有し、中央光学系に対応する中央瞳像は、３×３画素の中央画素に対応する受光素子に入射し、環状光学系に対応する環状瞳像は、３×３画素の中央画素の周囲の８画素に対応する受光素子に入射し、イメージセンサの画素数をＭ、中央瞳像からなる第１の画像及び環状瞳像からなる第２の画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝４：１である。即ち、アレイレンズの１マイクロレンズ当たりの実質的なイメージセンサ上の画素数の割当数を４画素にすることができ、撮影光学系を同心円分割とし、隣接する瞳像同士を重複させない場合に考えられる最小の割当数である９画素に比べて大幅に割当数を少なくすることができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系の第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であり、アレイレンズは、各マイクロレンズによりイメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う環状光学系に対応する環状瞳像の一部同士をイメージセンサ上で重複させるとともに、互いに隣り合う中央光学系に対応する中央瞳像と環状光学系に対応する環状瞳像の一部とを重複させ、環状光学系は、中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が遮光され、又は中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が欠落して形成されていることが好ましい。
　本発明の更に他の態様によれば、環状光学系は、一部が遮光され、又は一部が欠落して形成され、中央瞳像と環状瞳像とがイメージセンサ上で重複しないようにしている。これにより、アレイレンズの１マイクロレンズ当たりの実質的なイメージセンサ上の画素数の割当数を更に減少させることが可能になる。
　本発明の更に他の態様に係る撮像装置において、アレイレンズの各マイクロレンズによりイメージセンサ上にそれぞれ結像される瞳像は、３×３画素の画像サイズを有し、中央光学系に対応する中央瞳像は、３×３画素の中央画素に対応する受光素子に入射し、環状光学系に対応する環状瞳像は、３×３画素の中央画素の周囲の８画素に対応する受光素子に入射し、イメージセンサの画素数をＭ、中央瞳像からなる第１の画像及び環状瞳像からなる第２の画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝２：１である。即ち、アレイレンズの１マイクロレンズ当たりの実質的なイメージセンサ上の画素数の割当数を２画素にすることができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系は、第１の光学系及び第２の光学系のうちの一方が広角光学系であり、他方が望遠光学系であることが好ましい。これにより、１回の撮像により広角画像と望遠画像とを同時に取得することができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系の第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であり、中央光学系は環状光学系より広角であることが好ましい。
　本発明の更に他の態様に係る撮像装置において、撮影光学系の第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であって、特性が異なる第３の光学系と第４の光学系とが交互に配置されてなる環状光学系であり、アレイレンズは、各マイクロレンズによりイメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う環状光学系の第３の光学系に対応する第１の環状瞳像同士をイメージセンサ上で重複させるとともに、互いに隣り合う環状光学系の第４の光学系に対応する第２の環状瞳像同士をイメージセンサ上で重複させることが好ましい。
　本発明の更に他の態様によれば、特性の異なる３種類の光学系（第１、第３、第４の光学系）により撮影光学系を構成することができ、１回の撮像により３種類の特性の異なる画像を同時に取得することができ、かつアレイレンズの１マイクロレンズ当たりの実質的なイメージセンサ上の画素数の割当数も低減することができる。
　本発明の更に他の態様に係る撮像装置において、イメージセンサは、複数の受光素子が六方格子状に配列され、アレイレンズの各マイクロレンズによりイメージセンサ上にそれぞれ結像される瞳像は、中央画素と中央画素の周囲の６画素の７画素の画像サイズを有し、中央光学系に対応する中央瞳像は、７画素の中央画素に対応する受光素子に入射し、環状光学系の第３の光学系に対応する第１の環状瞳像は、中央画素の周囲の６画素のうちの中央画素から１２０度３方向の３画素に対応する受光素子に入射し、環状光学系の第４の光学系に対応する第２の環状瞳像は、中央画素の周囲の６画素のうちの中央画素から１２０度３方向の他の３画素に対応する受光素子に入射し、イメージセンサの画素数をＭ、中央瞳像からなる第１の画像、第１の環状瞳像からなる第２の画像、及び第２の環状瞳像からなる第３の画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝３：１である。即ち、アレイレンズの１マイクロレンズ当たりの実質的なイメージセンサ上の画素数の割当数を３画素にすることができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系は、中央光学系が広角光学系であり、環状光学系の第３の光学系及び第４の光学系がそれぞれ焦点距離が異なる望遠光学系であることが好ましい。これにより、１回の撮像により広角画像と、それぞれ撮影倍率の異なる２枚の望遠画像とを同時に取得することができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系の中央光学系は広角光学系であり、環状光学系の第３の光学系及び第４の光学系はそれぞれ撮影距離の異なる望遠光学系であることが好ましい。これにより、１回の撮像により広角画像と、撮影距離の異なる被写体に対して合焦した２枚の望遠画像とを同時に取得することができる。
　本発明の更に他の態様に係る撮像装置において、環状光学系は、光束を２回以上反射させる反射光学系を有することが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、装置をコンパクトにすることができる。
　本発明の更に他の態様に係る撮像装置において、イメージセンサは、光束を最初に反射させる反射光学系よりも対物側に位置することが好ましい。これにより、撮影光学系の内側にイメージセンサを配置することができ、装置の光軸方向の寸法を短くすることができる。
　本発明の更に他の態様に係る撮像装置において、中央光学系と環状光学系とは、一部の光学系を共通に使用することが好ましい。これにより、装置をコンパクトにし、かつコストダウンを図ることができる。
　本発明によれば、第１の光学系とその周辺部の第２の光学系とからなる撮影光学系において、アレイレンズは、互いに隣り合う第２の光学系に対応する第２の瞳像の一部同士がイメージセンサ上で重複させるため、アレイレンズの１マイクロレンズ当たりに実質的に割り付けられるイメージセンサの受光セルの割付数を少なくすることができ、その結果、同時に撮像可能な特性の異なる画像の画素数を増加させることができる。
本発明に係る撮像装置の外観斜視図 図１に示した撮像装置の内部構成の実施形態を示すブロック図 図１に示した撮像装置に適用された撮影光学系の第１の実施形態を示す断面図 本発明に係る撮像装置の第１の実施形態を説明するために用いたアレイレンズ及びイメージセンサの要部拡大図 隣接する瞳像（環状瞳像）がイメージセンサ上で重ならない場合と重なる場合とを示す図 イメージセンサの各受光セル上の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタの配列を示す図 本発明に係る撮像装置の第２の実施形態を説明するために用いた図 第２の実施形態の撮影光学系（環状光学系）の変形例を示す図 図８（ｃ）に示す環状光学系を有する撮影光学系に適用可能な他のアレイレンズを説明するために用いた図 本発明に係る撮像装置の第２の実施形態を説明するために用いた図 図１に示した撮像装置に適用可能な撮影光学系の第２の実施形態を示す断面図 図１に示した撮像装置に適用可能な撮影光学系の第３の実施形態を示す断面図 撮像装置の他の実施形態であるスマートフォンの外観図 スマートフォンの要部構成を示すブロック図 中央光学系及び環状光学系を有する撮影光学系、アレイレンズ及びイメージセンサを備えた従来の撮像装置を示す図 １つの受光セルと瞳像との関係を示す図 従来のイメージセンサ上に結像される各瞳像の一例を示す図 従来のイメージセンサ上に結像される各瞳像の他の例を示す図
　以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
　＜撮像装置の外観＞
　図１は本発明に係る撮像装置の外観斜視図である。図１に示すように、撮像装置１０の前面には、撮影光学系１２、フラッシュ発光部１９等が配置され、上面にはシャッタボタン３８－１が設けられている。Ｌ１は撮影光学系１２の光軸を表す。
　図２は撮像装置１０の内部構成の実施形態を示すブロック図である。
　この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、主として撮影光学系１２、アレイレンズ１６、及びイメージセンサ１８に特徴がある。
　［撮影光学系］
　図３は、撮像装置１０に適用された撮影光学系の第１の実施形態を示す断面図である。
　図３に示すように撮影光学系１２は、それぞれ同一の光軸上に配置された中央部の中央光学系（第１の光学系）１３とその周辺部の環状光学系（第２の光学系）１４とから構成されている。
　中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、アレイレンズ１６上に広角画像を結像させる。
　環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、第１反射ミラー１４ｃ（反射光学系）、第２反射ミラー１４ｄ（反射光学系）、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、アレイレンズ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。
　［本発明に係る撮像装置の第１の実施形態］
　次に、本発明に係る撮像装置の第１の実施形態について説明する。
　図４は、図２及び図３に示したアレイレンズ１６及びイメージセンサ１８の要部拡大図である。
　アレイレンズ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の受光セル１８ａの２つ分の間隔に対応している。即ち、アレイレンズ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、１つ置きの受光セルの位置に対応して形成されたものが使用される。
　また、アレイレンズ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂをイメージセンサ１８上に結像させる。
　ここで、互いに隣り合う環状瞳像１７ｂは、その一部同士がイメージセンサ１８上で重なっている。即ち、アレイレンズ１６は、イメージセンサ１８の入射面側の適宜の位置に配置されており、各マイクロレンズ１６ａによりイメージセンサ１８上にそれぞれ結像させる中央瞳像１７ａ及び環状瞳像１７ｂのうち、互いに隣り合う環状瞳像１７ｂの一部同士がイメージセンサ１８上で重複するように構成されている。
　図４に示す第１の実施形態のアレイレンズ１６及びイメージセンサ１８によれば、中央瞳像１７ａは、イメージセンサ１８上の１つの受光セル１８ａ（３×３画素の中央画素）のみに結像し、環状瞳像１７ｂは、中央瞳像１７ａが結像する受光セル１８ａの周囲の８つの受光セル１８ａに結像する。そして、８つの受光セル１８ａに結像する中央瞳像１７ａは、水平方向及び垂直方向（上下左右方向）に隣接する中央瞳像１７ａと１つの受光セル分の範囲で重複している。
　本発明に係る撮像装置１０は、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを撮像することができればよいため、中央瞳像１７ａと環状瞳像１７ｂとが重ならなければよい。即ち、互いに隣り合う環状瞳像１７ｂの一部同士がイメージセンサ１８上で重複しても画像として破綻することはない。
　図５（ａ）及び（ｂ）はそれぞれ隣接する瞳像（環状瞳像）がイメージセンサ上で重ならない場合と、上記の第１の実施形態のように重なる場合とを示す図である。
　撮影光学系を中央光学系と環状光学系とに同心円状に分割にした場合、図５（ａ）に示すように環状瞳像がイメージセンサ上で重ならない範囲で、アレイレンズの１マイクロレンズ当たりに割り付けることができる受光セルの割付数は、３×３が限界となっているが、本発明の第１の実施形態によれば、図５（ｂ）に示すようにイメージセンサ１８の受光セル数（画素数）をＭとし、イメージセンサから得られる広角画像及び望遠画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝４：１となる。
　図２に戻って、撮像装置１０は、図３で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図４で説明した第１の実施形態のアレイレンズ１６及びイメージセンサ１８を備えている。装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　撮像装置１０には、シャッタボタン３８－１、モードダイヤル（モード切替装置）、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ）３０の表示制御などを行う。
　シャッタボタン３８－１（図１）は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
　モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードを切り替える選択手段である。また、モードダイヤルは、撮影モード時に、中央光学系１３を介して結像される広角画像（第１の画像）を取得する第１の撮影モード、環状光学系１４を介して結像される望遠画像（第２の画像）を取得する第２の撮影モード、広角画像及び望遠画像を同時に取得するハイブリッド撮影モード等を切り替える選択手段として機能する。
　再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
　撮影モード時において、被写体光は、撮影光学系１２及びアレイレンズ１６を介してイメージセンサ１８の受光面に結像される。
　イメージセンサ１８の各受光セル（受光素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
　イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ－Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、画素位置の選択とともに読み出される。
　これにより、イメージセンサ１８から中央光学系１３に対応する画素群からなる広角画像を示す画像信号と、環状光学系１４に対応する画素群からなる望遠画像を示す画像信号とを読み出すことができる。
　イメージセンサ１８から読み出された画像信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、センサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎の画像信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画像信号をデジタル信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
　イメージセンサ１８の画素位置を選択して画素信号を読み出すことにより、広角画像を示す画像信号と望遠画像を示す画像信号とを選択的に読み出すことができる。
　即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、広角画像を示す画像信号を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する、受光セルの画素信号を選択的に読み出し、かつ同じ環状瞳像１７ｂが入射する８つの受光セルの画素信号を加算して望遠画像の１画素の画素信号を生成し、これを環状瞳像１７ｂ毎に行うことで望遠画像の画像信号を取得することができる。
　尚、イメージセンサ１８から全ての画素信号を読み出してメモリ(SDRAM)４８に一時的に記憶させ、デジタル信号処理部（画像生成部）２４がメモリ４８に記憶させた画素信号に基づいて上記と同様に広角画像と望遠画像の２つの画像信号を生成してもよい。
　また、デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ガンマ補正処理等の所定の信号処理を行う。また、後述するように広角画像及び望遠画像の画像信号として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラー画像信号を取得する場合には、デジタル信号処理部２４は、ＲＧＢの画像信号に対するデモザイク処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。更に、デジタル信号処理部２４は、デモザイク処理されたＲＧＢの画像信号から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行う。
　デジタル信号処理部２４で処理され画像データは、ＶＲＡＭ(Video Random Access Memory)５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。
　操作部３８のシャッタボタン３８－１の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＥ動作を開始させ、Ａ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体の画像信号を積算し、又は画面中央部と周辺部とで異なる重みづけをした画像信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値及びイメージセンサ１８の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部３２を介してイメージセンサ１８での電荷蓄積時間を制御する。
　ＡＥ動作が終了し、シャッタボタン３８－１の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM: Synchronous Dynamic RAM)４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像信号は、デジタル信号処理部２４により適宜読み出され、ここで所定の信号処理が行われて再びメモリ４８に記憶される。
　メモリ４８に記憶された画像信号は、それぞれ圧縮伸張処理部２６に出力され、JPEG(Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。
　そして、モードダイヤルにより第１の撮影モード又は第２の撮影モードが選択されると、広角画像又は望遠画像を選択的に取得することができ、モードダイヤルによりハイブリッド撮影モードが選択されると、広角画像と望遠画像とを同時に取得することができる。これにより、広角光学系と望遠光学系のメカ的な切り替えや、ズームレンズのズーム操作なしに、広角画像と望遠画像とを取得することができる。
　上記の実施形態では、同じ環状瞳像１７ｂが入射する８つの受光セルの画素信号を加算して望遠画像の１画素の画素信号を生成するようにしたが、これに限らず、まず、図６に示すようにイメージセンサ１８の各受光セル上の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを配列する。そして、デジタル信号処理部２４は、同じ環状瞳像１７ｂが入射する８つの受光セルのうちの、４隅の４つのＧフィルタが配置された４つの受光セルの画素信号を加算して１つのＧ信号を生成し、左右２つのＲフィルタが配置された２つの受光セルの画素信号を加算して１つのＲ信号を生成し、上下２つのＢフィルタが配置された２つの受光セルの画素信号を加算して１つのＢ信号を生成する。
　換言すると、Ｇフィルタが配置された１つの受光セルの画素信号は、望遠画像の４つのＧ画素（その受光セルを中心とする４画素）のＧ信号の生成に使用され、Ｒフィルタが配置された１つの受光セルの画素信号は、望遠画像の２つのＲ画素（その受光セルを挟んだ左右の２画素）のＲ信号の生成に使用され、Ｂフィルタが配置された１つの受光セルの画素信号は、望遠画像の２つのＢ画素（その受光セルを挟んだ上下の２画素）のＢ信号の生成に使用されることになる。
　このようにして、同時化処理（デモザイク処理）されたＲ、Ｇ、Ｂ信号（望遠画像のカラー画像信号）を取得することができる。
　一方、中央瞳像１７ａが入射する各受光セル上には、所定のフィルタ配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、X-Trans（登録商標）配列等）のカラーフィルタを配置することにより、広角画像のカラー画像信号を取得することができる。この広角画像のＲＧＢの画像信号に対しては、デジタル信号処理部２４によりデモザイク処理を行う必要がある。
　［本発明に係る撮像装置の第２の実施形態］
　次に、本発明に係る撮像装置の第２の実施形態について説明する。尚、第１の実施形態の撮像装置とは、主として撮影光学系及びアレイレンズが相違するため、以下、その相違点について説明する。
　まず、撮影光学系として、図７（ａ）に示す中央瞳像１７ａ及び環状瞳像１７ｂが得られる前述した撮影光学系１２の代わりに、図７（ｂ）に示す中央瞳像１１７ａ及び環状瞳像１１７ｂが得られるものを使用する。図７（ｂ）に示す中央瞳像１１７ａ及び環状瞳像１１７ｂが得られる撮影光学系としては、図３に示した撮影光学系１２のうちの環状光学系１４の一部を遮光することにより構成することができる。
　即ち、環状瞳像１１７ｂに対応する環状光学系は、上下左右の四方のみに部分的な開口部を形成し、他の部分を遮光することにより構成することができる。これにより、部分的に欠落した環状瞳像１１７ｂが得られるようにする。
　尚、環状光学系に対して部分的な開口部及び遮光部を形成する代わりに、中央光学系の上下左右の周辺部（環状光学系の部分的な開口部に対応する位置）のみに、環状光学系と同じ特性の４つの光学系を配置してもよい。
　一方、アレイレンズの各マイクロレンズは、図７（ｃ）に示すようにイメージセンサ１８の正方格子状に配列された各受光セル１８ａに対して、千鳥配置されたものとする。また、このアレイレンズの各マイクロレンズによりイメージセンサ上に結像される瞳像は、３×３の画像サイズとなるようにする。
　この環状瞳像１１７ｂは、隣接する中央瞳像１１７ａと重なる部分が欠落しているため、中央瞳像１１７ａと環状瞳像１１７ｂとがイメージセンサ１８上で重なることがない。
　その一方、アレイレンズの各マイクロレンズは、千鳥状に密に配置することができ、アレイレンズの１マイクロレンズ当たりに割り付けるイメージセンサの受光セルの割付数を、第１の実施形態よりも少なくすることができる。即ち、イメージセンサの画素数をＭとし、イメージセンサから得られる広角画像及び望遠画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝２：１となる。
　［本発明に係る撮像装置の第２の実施形態の変形例］
　図８（ａ）から（ｃ）は、それぞれ第２の実施形態の撮影光学系（環状光学系）の変形例を示す図であり、特に環状光学系に対する開口部及び遮光部が相違する。
　図８（ａ）に示す環状光学系は、第２の実施形態の環状光学系（上下左右の四方のみに部分的な開口部が形成された環状光学系）の代わりに、上と左右の三方に部分的な開口部が形成されて構成されている。
　また、図８（ｂ）に示す環状光学系は、上と左の二方に部分的な開口部が形成され、図８（ｃ）に示す環状光学系は、上と下の二方に部分的な開口部が形成されている。
　図８（ａ）から（ｃ）に示す環状光学系を有する撮影光学系の場合、アレイレンズの各マイクロレンズは、図７（ｃ）に示した第２の実施形態と同様に、イメージセンサの各受光セルに対して千鳥配置されたものを使用することができる。
　また、図８（ｃ）に示す環状光学系を有する撮影光学系の場合には、図９に示すようにアレイレンズの水平方向のマイクロレンズは、イメージセンサ１８の受光セル１８ａ毎に対応して形成され、垂直方向のマイクロレンズは、１つ置きの受光セル１８ａに対応して形成されたものを使用することができる。
　図８（ａ）から（ｃ）に示した第２の実施形態の変形例の場合も、イメージセンサの画素数をＭとし、イメージセンサから得られる広角画像及び望遠画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝２：１となる。
　［本発明に係る撮像装置の第３の実施形態］
　次に、本発明に係る撮像装置の第３の実施形態について説明する。尚、第１の実施形態の撮像装置とは、主として撮影光学系及びアレイレンズが相違するため、以下、その相違点について説明する。
　まず、撮影光学系として、図１０（ａ）に示す中央瞳像１７ａ及び環状瞳像１７ｂが得られる撮影光学系１２の代わりに、図１０（ｂ）に示す中央瞳像２１７ａ及び環状瞳像２１７ｂ、２１７ｃが得られるものを使用する。
　この場合、同心円状に分割された中央光学系及び環状光学系からなる撮影光学系のうちの環状光学系は、中央瞳像２１７ａに対応する中央光学系を中心に、６０度ずつ方向が異なる六方のみに部分的な開口部が形成され、かつ１２０度三方の環状瞳像２１７ｂ及び環状瞳像２１７ｃに対応する開口部に配置された２組の光学系（第３の光学系、第４の光学系）により構成されている。
　第３の実施形態では、中央瞳像２１７ａに対応する中央光学系は広角光学系であり、環状瞳像２１７ｂ及び環状瞳像２１７ｃに対応する第３の光学系及び第４の光学系は、それぞれ焦点距離が異なる２種類の望遠光学系である。
　また、イメージセンサ２１８は、図１０（ｃ）に示すように受光セル２１８ａが六方格子状に配列されている。
　一方、アレイレンズの各マイクロレンズは、図１０（ｃ）に示すようにイメージセンサ２１８の六方格子状に配列された各受光セル２１８ａに対して、千鳥配置されたものであり、水平方向に１つ置きに配置され、垂直方向に２つ置きに配置されているものとする。
　そして、アレイレンズの各マイクロレンズによりイメージセンサ２１８上にそれぞれ結像される中央瞳像２１７ａは、各マイクロレンズの中心位置に対応する１つの受光セルに入射し、環状瞳像２１７ｂ（第１の環状瞳像）及び環状瞳像２１７ｃ（第２の環状瞳像）は、それぞれ各マイクロレンズの中心位置に対応する１つの受光セルの周囲の６個の受光セル（１２０度三方に位置する３個×２の受光セル）に入射する。
　図１０（ｃ）に示すように環状瞳像２１７ｂ及び環状瞳像２１７ｃは、それぞれ隣接する環状瞳像２１７ｂ及び環状瞳像２１７ｃとイメージセンサ２１８上で重なるが、環状瞳像２１７ｂと環状瞳像２１７ｃとが重なることはない。
　イメージセンサ２１８の画素数をＭとし、イメージセンサ２１８から得られる広角画像、焦点距離が異なる２つの望遠画像の画素数をそれぞれＮとすると、画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝３：１となる。
　尚、第３の実施形態では、環状瞳像２１７ｂ及び環状瞳像２１７ｃに対応する第３の光学系及び第４の光学系は、それぞれ焦点距離が異なる２種類の望遠光学系であるが、これに限らず、例えば、撮影距離（ピント位置）が異なる２つの望遠光学系であってもよい。
　［撮影光学系の第２の実施形態］
　図１１は、撮像装置１０に適用可能な撮影光学系の第２の実施形態を示す断面図である。
　この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。
　中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、第３レンズ１１３ｃ、共通レンズ１１５ａ、及びカバーガラス１１５ｂから構成された広角光学系である。尚、カバーガラス１１５ｂは、アレイレンズ１６（図３参照）の前面に配設されたものである。
　環状光学系１１４は、第１レンズ１１４ａ、第１反射ミラー１１４ｂ，第２反射ミラー１１４ｃ、第２レンズ１１４ｄ、共通レンズ１１５ａ、及びカバーガラス１１５ｂから構成された望遠光学系である。第１レンズ１１４ａに入射した光束は、第１反射ミラー１１４ｂ及び第２反射ミラー１１４ｃにより２回反射された後、第２レンズ１１４ｄ、共通レンズ１１５ａ、及びカバーガラス１１５ｂを通過する。第１反射ミラー１１４ｂ及び第２反射ミラー１１４ｃにより光束が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。
　この第２の実施形態の撮影光学系１１２によれば、撮影光学系１１２の内側（第１反射ミラー１１４ｂよりも対物側）にアレイレンズ１６及びイメージセンサ１８を配置することができ、装置の光軸方向の寸法を短くすることができる。
　［撮影光学系の第３の実施形態］
　図１２は、撮像装置１０に適用可能な撮影光学系の第３の実施形態を示す断面図である。
　この撮影光学系２１２は、それぞれ同一の光軸上に配置された中央部の中央光学系２１３とその周辺部の環状光学系２１４とから構成されている。
　中央光学系２１３は、第１レンズ２１３ａ、第２レンズ２１３ｂ、及び共通レンズ２１５から構成された望遠光学系であり、画角αを有している。
　環状光学系２１４は、レンズ２１４ａ及び共通レンズ２１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系２１３よりも広角である。
　この撮影光学系２１２は、図３に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、中央光学系２１３が望遠光学系であり、環状光学系２１４が広角光学系である点で相違する。
　撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　＜スマートフォンの構成＞
　図１３は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１３に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１４は、図１３に示すスマートフォン５００の構成を示すブロック図である。図１４に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
　表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
　操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１３に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１３に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０を適用することができる。メカ的な切り替え機構等を必要とせずに、広角画像と望遠画像とを撮影することができ、スマートフォン５００のように薄型の携帯端末に組み込むカメラ部として好適である。
　また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１３に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　［その他］
　図３に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。
　また、本実施形態の撮影光学系は、中央光学系及び環状光学系のうちの一方を広角光学系、他方を望遠光学系としたが、これに限らず、例えば、合焦距離が異なる２種類の光学系、空間周波数特性（ボケ味）が異なる２種類の光学系等、種々の光学系の適用が考えられる。
　また、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させる移動機構を設け、これにより焦点調節を行うようにしてもよい。
　更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０…撮像装置、１２、１１２、２１２…撮影光学系、１３、１１３、２１３…中央光学系、１４、１１４、２１４…環状光学系、１６…アレイレンズ、１６ａ…マイクロレンズ、１８…イメージセンサ、１８ａ…受光セル、２４…デジタル信号処理部、４０…中央処理装置（ＣＰＵ）

Claims (15)

  1. 　第１の光学系と、前記第１の光学系の周辺部に設けられ、該第１の光学系とは特性が異なる第２の光学系とからなる撮影光学系と、
    　２次元状に配列された複数の受光素子から構成されたイメージセンサと、
    　２次元状に配列されたマイクロレンズから構成されたアレイレンズであって、前記イメージセンサの入射面側に配設され、各マイクロレンズにより前記撮影光学系の瞳像を前記イメージセンサ上に結像させるアレイレンズと、を備え、
    　前記アレイレンズは、各マイクロレンズにより前記イメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う前記第２の光学系に対応する第２の瞳像の一部同士を前記イメージセンサ上で重複させる撮像装置。
  2. 　前記イメージセンサから前記第１の光学系に対応する第１の瞳像と前記第２の光学系に対応する第２の瞳像とを読み出し、前記第１の瞳像からなる第１の画像と前記第２の瞳像からなる第２の画像とを生成する画像生成部を備える請求項１に記載の撮像装置。
  3. 　前記撮影光学系の第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であり、
    　前記アレイレンズは、各マイクロレンズにより前記イメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う前記環状光学系に対応する環状瞳像の一部同士を前記イメージセンサ上で重複させる請求項２に記載の撮像装置。
  4. 　前記アレイレンズの各マイクロレンズにより前記イメージセンサ上にそれぞれ結像される瞳像は３×３画素の画像サイズを有し、
    　前記中央光学系に対応する中央瞳像は、前記３×３画素の中央画素に対応する受光素子に入射し、
    　前記環状光学系に対応する環状瞳像は、前記３×３画素の中央画素の周囲の８画素に対応する受光素子に入射し、
    　前記イメージセンサの画素数をＭ、前記中央瞳像からなる第１の画像及び前記環状瞳像からなる第２の画像の画素数をそれぞれＮとすると、前記画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝４：１である請求項３に記載の撮像装置。
  5. 　前記撮影光学系の第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であり、
    　前記アレイレンズは、各マイクロレンズにより前記イメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う前記環状光学系に対応する環状瞳像の一部同士を前記イメージセンサ上で重複させるとともに、互いに隣り合う前記中央光学系に対応する中央瞳像と前記環状光学系に対応する環状瞳像の一部とを重複させ、
    　前記環状光学系は、前記中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が遮光され、又は前記中央光学系に対応する中央瞳像と重複する環状瞳像の一部に対応する部分が欠落して形成されている請求項２に記載の撮像装置。
  6. 　前記アレイレンズの各マイクロレンズにより前記イメージセンサ上にそれぞれ結像される瞳像は、３×３画素の画像サイズを有し、前記中央光学系に対応する中央瞳像は、前記３×３画素の中央画素に対応する受光素子に入射し、前記環状光学系に対応する環状瞳像は、前記３×３画素の中央画素の周囲の８画素に対応する受光素子に入射し、
    　前記イメージセンサの画素数をＭ、前記中央瞳像からなる第１の画像及び前記環状瞳像からなる第２の画像の画素数をそれぞれＮとすると、前記画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝２：１である請求項５に記載の撮像装置。
  7. 　前記撮影光学系は、前記第１の光学系及び第２の光学系のうちの一方が広角光学系であり、他方が望遠光学系である請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記撮影光学系の第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であり、
    　前記中央光学系は前記環状光学系より広角である請求項１から６のいずれか１項に記載の撮像装置。
  9. 　前記撮影光学系の第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系であって、特性が異なる第３の光学系と第４の光学系とが交互に配置されてなる環状光学系であり、
    　前記アレイレンズは、各マイクロレンズにより前記イメージセンサ上にそれぞれ結像させる瞳像のうち、互いに隣り合う前記環状光学系の第３の光学系に対応する第１の環状瞳像同士を前記イメージセンサ上で重複させるとともに、互いに隣り合う前記環状光学系の第４の光学系に対応する第２の環状瞳像同士を前記イメージセンサ上で重複させる請求項２に記載の撮像装置。
  10. 　前記イメージセンサは、前記複数の受光素子が六方格子状に配列され、
    　前記アレイレンズの各マイクロレンズにより前記イメージセンサ上にそれぞれ結像される瞳像は、中央画素と該中央画素の周囲の６画素の７画素の画像サイズを有し、前記中央光学系に対応する中央瞳像は、前記７画素の中央画素に対応する受光素子に入射し、前記環状光学系の第３の光学系に対応する第１の環状瞳像は、前記中央画素の周囲の６画素のうちの前記中央画素から１２０度３方向の３画素に対応する受光素子に入射し、前記環状光学系の第４の光学系に対応する第２の環状瞳像は、前記中央画素の周囲の６画素のうちの前記中央画素から１２０度３方向の他の３画素に対応する受光素子に入射し、
    　前記イメージセンサの画素数をＭ、前記中央瞳像からなる第１の画像、前記第１の環状瞳像からなる第２の画像、及び前記第２の環状瞳像からなる第３の画像の画素数をそれぞれＮとすると、前記画素数Ｍと画素数Ｎの比は、Ｍ：Ｎ＝３：１である請求項９に記載の撮像装置。
  11. 　前記撮影光学系の中央光学系は広角光学系であり、前記環状光学系の第３の光学系及び第４の光学系はそれぞれ焦点距離の異なる望遠光学系である請求項９又は１０に記載の撮像装置。
  12. 　前記撮影光学系の中央光学系は広角光学系であり、前記環状光学系の第３の光学系及び第４の光学系はそれぞれ撮影距離の異なる望遠光学系である請求項９又は１０に記載の撮像装置。
  13. 　前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項１２に記載の撮像装置。
  14. 　前記イメージセンサは、光束を最初に反射させる反射光学系よりも対物側に位置する請求項１３に記載の撮像装置。
  15. 　前記中央光学系と前記環状光学系とは、一部の光学系を共通に使用する請求項１２から１４のいずれか１項に記載の撮像装置。
PCT/JP2014/070179 2013-08-27 2014-07-31 撮像装置 WO2015029688A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480045827.2A CN105474626B (zh) 2013-08-27 2014-07-31 摄像装置
EP14839265.7A EP3041222B1 (en) 2013-08-27 2014-07-31 Imaging device
US15/015,650 US10165181B2 (en) 2013-08-27 2016-02-04 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013175718A JP6077967B2 (ja) 2013-08-27 2013-08-27 撮像装置
JP2013-175718 2013-08-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/015,650 Continuation US10165181B2 (en) 2013-08-27 2016-02-04 Imaging device

Publications (1)

Publication Number Publication Date
WO2015029688A1 true WO2015029688A1 (ja) 2015-03-05

Family

ID=52586262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/070179 WO2015029688A1 (ja) 2013-08-27 2014-07-31 撮像装置

Country Status (5)

Country Link
US (1) US10165181B2 (ja)
EP (1) EP3041222B1 (ja)
JP (1) JP6077967B2 (ja)
CN (1) CN105474626B (ja)
WO (1) WO2015029688A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924107A (zh) * 2015-08-19 2018-04-17 富士胶片株式会社 摄像装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3017079B2 (ja) * 1996-02-23 2000-03-06 東洋鋼鈑株式会社 熱可塑性樹脂被覆アルミニウム合金板、その製造法及び製造装置
WO2017126242A1 (ja) * 2016-01-18 2017-07-27 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
WO2017199556A1 (ja) 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
KR101844004B1 (ko) * 2016-05-24 2018-03-30 주식회사 이엠텍 거리 정보를 포함하는 영상 생성 장치
JP6708790B2 (ja) * 2017-05-16 2020-06-10 富士フイルム株式会社 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP6723452B2 (ja) * 2017-06-21 2020-07-15 富士フイルム株式会社 撮像装置及び移動撮像装置
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
CN110749975A (zh) * 2019-10-31 2020-02-04 Oppo广东移动通信有限公司 镜头模组和电子装置
USD980302S1 (en) * 2020-03-07 2023-03-07 Shenzhen Fuxin Electronics Co., Ltd. Action camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105059A (ja) * 2010-11-10 2012-05-31 Panasonic Corp 撮像装置
JP2012244243A (ja) * 2011-05-16 2012-12-10 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP2012253670A (ja) 2011-06-06 2012-12-20 Fujifilm Corp 撮像装置
JP2013004635A (ja) * 2011-06-14 2013-01-07 Canon Inc 撮像素子、撮像装置、及び、形成方法
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2214656B (en) * 1987-11-27 1991-08-21 Marconi Gec Ltd Optical systems
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
DE50300098D1 (de) * 2002-06-19 2004-11-11 Bodenseewerk Geraetetech Optisches System mit umschaltbaren Gesichtsfeldern
US7898749B2 (en) * 2005-06-03 2011-03-01 The Regents Of The University Of California Multiple reflective lenses and lens systems
JP5300414B2 (ja) * 2008-10-30 2013-09-25 キヤノン株式会社 カメラ及びカメラシステム
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US9270948B2 (en) * 2011-04-27 2016-02-23 Panasonic Intellectual Property Management Co., Ltd. Image pick-up device, method, and system utilizing a lens having plural regions each with different focal characteristics
JP5693379B2 (ja) * 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
EP2961153B1 (en) * 2013-02-21 2020-05-06 Fujifilm Corporation Image pickup device
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
JP6214481B2 (ja) * 2014-06-27 2017-10-18 富士フイルム株式会社 撮像装置
US20160241797A1 (en) * 2015-02-17 2016-08-18 Canon Kabushiki Kaisha Devices, systems, and methods for single-shot high-resolution multispectral image acquisition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105059A (ja) * 2010-11-10 2012-05-31 Panasonic Corp 撮像装置
JP2012244243A (ja) * 2011-05-16 2012-12-10 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP2012253670A (ja) 2011-06-06 2012-12-20 Fujifilm Corp 撮像装置
JP2013004635A (ja) * 2011-06-14 2013-01-07 Canon Inc 撮像素子、撮像装置、及び、形成方法
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3041222A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924107A (zh) * 2015-08-19 2018-04-17 富士胶片株式会社 摄像装置
CN107924107B (zh) * 2015-08-19 2020-09-18 富士胶片株式会社 摄像装置

Also Published As

Publication number Publication date
CN105474626B (zh) 2018-12-07
US20160227112A1 (en) 2016-08-04
JP2015046691A (ja) 2015-03-12
EP3041222A1 (en) 2016-07-06
CN105474626A (zh) 2016-04-06
EP3041222A4 (en) 2016-09-28
JP6077967B2 (ja) 2017-02-08
US10165181B2 (en) 2018-12-25
EP3041222B1 (en) 2020-01-22

Similar Documents

Publication Publication Date Title
JP6077967B2 (ja) 撮像装置
JP6151632B2 (ja) 撮像モジュール及び撮像装置
JP5959714B2 (ja) 撮像装置
JP6214481B2 (ja) 撮像装置
JP6165680B2 (ja) 撮像装置
JP5542249B2 (ja) 撮像素子及びこれを用いた撮像装置及び撮像方法
JP5946970B2 (ja) 撮像装置及び撮像方法
JP5690977B2 (ja) 撮像素子及び撮像装置
WO2014050699A1 (ja) 画像処理装置及び方法並びに撮像装置
JP5542248B2 (ja) 撮像素子及び撮像装置
JP5749409B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2014176056A (ja) 撮像装置
JP5677628B2 (ja) 撮像装置及び撮像方法
JP6326149B2 (ja) 撮像装置、撮像方法及び画像処理プログラム
JP2014066897A (ja) 領域分割レンズ及びプレノプティックカメラ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480045827.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14839265

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014839265

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014839265

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE