WO2011108592A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2011108592A1
WO2011108592A1 PCT/JP2011/054774 JP2011054774W WO2011108592A1 WO 2011108592 A1 WO2011108592 A1 WO 2011108592A1 JP 2011054774 W JP2011054774 W JP 2011054774W WO 2011108592 A1 WO2011108592 A1 WO 2011108592A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
image data
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/054774
Other languages
English (en)
French (fr)
Inventor
宗樹 浜島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to US13/520,873 priority Critical patent/US9341935B2/en
Priority to CN201180012101.5A priority patent/CN102783162B/zh
Publication of WO2011108592A1 publication Critical patent/WO2011108592A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays

Definitions

  • the present invention relates to an imaging device that generates a multi-viewpoint image.
  • a stereo imaging device that captures a stereo image including a right-eye image and a left-eye image using two imaging optical systems is known (for example, Patent Document 1).
  • Such a stereo imaging device causes parallax to occur in two images obtained by imaging the same subject by arranging two imaging optical systems at a predetermined interval.
  • Patent Document 2 An imaging device that synthesizes image data of an image on an arbitrary image plane is known (for example, Patent Document 2).
  • This imaging apparatus is focused on a subject located at an arbitrary shooting distance by taking out an output of a predetermined photoelectric conversion element from a pixel array arranged behind each microlens constituting the microlens array. It has a function to synthesize image data.
  • an imaging apparatus includes a plurality of microlenses arranged two-dimensionally in the vicinity of a focal plane of a photographing optical system, and a microlens that emits a light beam from a subject that has passed through the photographing optical system.
  • a plurality of element groups including a plurality of photoelectric conversion elements that receive light and output an image signal are included in the two-dimensionally arranged image pickup elements corresponding to the microlenses and the plurality of element groups, respectively.
  • a plurality of region image signals corresponding to each of a plurality of different partial regions on the pupil plane of the photographing optical system are extracted from the image signals output from the plurality of photoelectric conversion elements, and each of the partial regions is based on the region image signal.
  • a generating unit that generates a plurality of pieces of image data corresponding to a plurality of viewpoint image data having different viewpoint positions, and a receiving unit that receives a viewpoint number selection operation for selecting the number of viewpoints. Extracts the same number of area image signals and the number of viewpoints selected by the number of viewpoints selection operation, generates viewpoint image data.
  • the generation unit extracts region images extracted from different element groups among the plurality of region image signals extracted from each of the plurality of element groups. It is preferable to generate one viewpoint image data by combining region image signals corresponding to the same partial region.
  • the imaging device according to the first or second aspect further includes a setting unit that sets an extraction region for extracting the region image signal, and the setting unit includes the number of selected viewpoints. It is preferable that the same number of extraction regions are set at different positions in the element group, and the generation unit extracts a region image signal for each extraction region set by the setting unit.
  • the reception unit receives a parallax selection operation for selecting a parallax indicating the amount of change in viewpoint between the plurality of viewpoint image data
  • the setting unit includes Preferably, the preceding area is set at a position interval corresponding to the parallax selected by the parallax selection operation, and the generation unit extracts the area image signal from the extraction area for each position interval to generate viewpoint image data.
  • the reception unit receives a depth selection operation for selecting the depth of field of the image, and the setting unit performs the depth selection operation.
  • the generation unit synthesizes a plurality of image signals and extracts them as one region image signal according to the set size of the extraction region.
  • viewpoint image data it is preferable to generate viewpoint image data.
  • the reception unit further receives a viewpoint position selection operation for changing the viewpoint position in a two-dimensional direction, and the setting unit Sets the direction to extract the same number of extraction regions as the number of viewpoints according to the viewpoint position selection operation, and the generation unit extracts viewpoint image data along the direction set by the setting unit to generate viewpoint image data It is preferable to do.
  • the generation unit is configured so that the extraction region set by the setting unit is a part of one photoelectric conversion element. In the case of overlapping, it is preferable that the image signals output from the overlapping photoelectric conversion elements are subjected to weighting determined according to the overlapping ratio and extracted as area image signals.
  • the posture detection unit that detects the posture of the imaging device is provided, and the setting unit is detected by the posture detection unit.
  • the direction for extracting the same number of extraction regions as the number of viewpoints is set so that the positions of the viewpoints differ according to the posture, and the generation unit extracts region image signals along the direction set by the setting unit, and generates viewpoint image data. Is preferably generated.
  • display image data is generated based on the plurality of viewpoint image data generated by the generation unit, and the display image data is displayed. It is preferable to further include a display control unit that displays an image corresponding to the image data on the display as a stereoscopic image.
  • the same number of viewpoint image data as the number of viewpoints selected by the viewpoint number selection operation can be generated.
  • FIG. 2A is a diagram illustrating an example of the arrangement of microlenses and image pickup devices
  • FIG. 2A shows the arrangement of microlenses in the xy plane
  • FIG. 2B is a photographic lens, microlens, and image pickup device in the optical axis direction
  • FIG. 2C is a diagram showing the arrangement of the imaging pixels on one pixel array.
  • FIG. 3A is a diagram for explaining the relationship between the size of a block and the number of viewpoints.
  • FIG. 3A shows the arrangement of imaging pixels on one pixel array
  • FIG. 3B shows the image data of five viewpoints to be generated. It is a figure which shows an example.
  • FIG. 4A is a diagram for explaining the relationship between the size of a block and the number of viewpoints.
  • FIG. 4A shows the arrangement relationship between imaging pixels and blocks in one pixel array
  • FIG. 4B shows the generated four viewpoints. It is a figure which shows an example of image data.
  • FIG. 5A is a diagram for explaining the principle when no parallax occurs between multi-viewpoint images.
  • FIG. 5A shows a light beam when generating five viewpoint images
  • FIG. Is an enlarged view in the vicinity of the focal plane
  • FIG. 5C is an enlarged view of FIG. 5B in the vicinity of the microlens array and the image sensor.
  • FIGS. 6A and 6B are views for explaining the principle when no parallax occurs between multi-viewpoint images, FIG.
  • FIGS. 7A and 7B are diagrams for explaining the principle when parallax occurs between multi-viewpoint images.
  • FIG. 7A shows a viewpoint image corresponding to viewpoint image data
  • FIG. 7B shows a state of a light beam incident on an image sensor.
  • FIG. 8A is a diagram illustrating an example of a variable parameter and a fixed parameter.
  • FIG. 8A illustrates a variable parameter and characteristics that can be controlled by the variable parameter
  • FIG. 8B illustrates an example of a fixed parameter.
  • FIGS. 9A and 9B are diagrams illustrating calculation processing when generating a multi-viewpoint image.
  • FIG. 9A and 9B are diagrams illustrating calculation processing when generating a multi-viewpoint image.
  • FIG. 9A illustrates a coordinate system of a microlens in the xy plane
  • FIG. 9B illustrates a coordinate system of an image sensor in the xy plane. It is a flowchart explaining the process of the digital camera in 1st Embodiment.
  • FIG. 11A is a diagram illustrating an example of a configuration of a display of a digital camera in the embodiment
  • FIG. 11A illustrates an example of a lenticular lens
  • FIG. 11B illustrates a relationship between the display and a light beam in the xz plane.
  • FIG. 13 (a) shows arrangement
  • FIG.13 (b) is shown.
  • FIG. 13C schematically shows the movement of the block according to the calculation result.
  • FIG. 13C shows the arrangement of the microlens and the image sensor on the xy plane when the block is generalized. It is a flowchart explaining the process of the digital camera in 2nd Embodiment. It is a figure explaining the structure of the digital camera in 3rd Embodiment.
  • the digital camera according to the present embodiment is configured to be able to generate images of a plurality of viewpoints (parallax) numbers for one object scene.
  • This digital camera can create a multi-viewpoint image according to the user's selection by selecting the number of viewpoints desired by the user, parallax, viewpoint change direction, depth of field, and the like. Details will be described below.
  • FIG. 1 is a diagram showing a configuration of a digital camera according to the first embodiment.
  • the digital camera 1 is configured so that an interchangeable lens 2 having a photographing lens L1 can be attached and detached.
  • the digital camera 1 includes an imaging unit 100, a control circuit 101, an A / D conversion circuit 102, a memory 103, a drive unit 104, a memory card interface 107, an operation unit 108, a display 109, and an LCD drive circuit 110.
  • the imaging unit 100 includes a microlens array 12 and an imaging element 13 in which a large number of microlenses 120 are arranged two-dimensionally.
  • the z-axis is set to be parallel to the optical axis of the photographic lens L1
  • the x-axis and the y-axis are set to be orthogonal to each other in a plane orthogonal to the z-axis.
  • the photographing lens L1 is composed of a plurality of optical lens groups, and forms an image of a light flux from the object field in the vicinity of the focal plane.
  • the taking lens L1 is represented by a single lens for convenience of explanation.
  • the microlens array 12 and the image sensor 13 are arranged in order.
  • the image sensor 13 is configured by a CCD or CMOS image sensor including a plurality of photoelectric conversion elements.
  • the imaging element 13 captures a subject image formed on the imaging surface, and outputs a photoelectric conversion signal (image signal) corresponding to the subject image to the A / D conversion circuit 102 under the control of the driving unit 104.
  • the details of the imaging unit 100 will be described later.
  • the drive unit 104 outputs a timing signal to the image sensor 13 in accordance with a command from the control circuit 101, and controls the drive timing of the image sensor 13.
  • the A / D conversion circuit 102 is a circuit that performs analog processing on the image signal output from the image sensor 13 and then converts it to a digital image signal. Based on the control program, the control circuit 101 performs a predetermined calculation using signals input from each unit constituting the digital camera 1 and sends a control signal to each unit of the digital camera 1 to control the photographing operation. .
  • the control circuit 101 functionally includes an image processing unit 105 and a calculation unit 106.
  • the image processing 105 performs various image processing on the image signal digitally converted by the A / D conversion circuit 102 to generate image data. Then, the image processing unit 105 performs JPEG compression processing on the generated image data and records it in the memory card 107a in a format such as EXIF.
  • the calculation unit 106 performs calculation processing for various image processing performed by the image processing unit 105 described above.
  • the memory 103 is used to temporarily store the image signal digitally converted by the A / D conversion circuit 102, and data during or after the image processing, image compression processing, and display image data creation processing. It is a volatile storage medium.
  • the memory card interface 107 is an interface to which the memory card 107a can be attached and detached.
  • the memory card interface 107 is an interface circuit that writes image data to the memory card 107a and reads image data recorded on the memory card 107a under the control of the control circuit 101.
  • the memory card 107a is a semiconductor memory card such as a compact flash (registered trademark) or an SD card.
  • the LCD drive circuit 110 is a circuit that drives the display 109 based on a command from the control circuit 101.
  • the display 109 is composed of, for example, a liquid crystal or the like, and displays display data created by the control circuit 101 based on image data recorded on the memory card 107a in the reproduction mode.
  • the display 109 displays a menu screen for setting various operations of the digital camera 1. Details of the LCD drive circuit 110 and the display 109 will be described later.
  • the operation unit 108 receives a user operation and outputs various operation signals corresponding to the operation content to the control circuit 101.
  • the operation unit 108 includes a power button, a release button, a mode selection button, other setting menu display switching buttons, a setting menu determination button, and the like.
  • the mode selection button is used when an operation for switching the operation of the digital camera 1 between the photographing mode and the reproduction mode is performed.
  • the digital camera 1 also includes a multi-viewpoint image generation mode for shooting images with a plurality of viewpoints (multi-viewpoint images) as a shooting mode.
  • the multi-viewpoint image generation mode is configured to allow the user to select viewpoint conditions such as the number of viewpoints, parallax, viewpoint change direction, depth of field, and the like of an image captured by the user. Selection of viewpoint conditions in the multi-viewpoint image generation mode is performed by operating the operation unit 108 from the above-described menu screen.
  • the imaging unit 100 includes the microlens array 12 and the imaging element 13 as described above.
  • the microlens array 12 includes a plurality of microlenses 120 arranged in a two-dimensional manner.
  • a pixel array 130 that receives light that has passed through each of the microlenses 120 is arranged in an arrangement pattern corresponding to the microlens 120.
  • Each pixel array 130 includes a plurality of photoelectric conversion elements 131 (hereinafter referred to as imaging pixels 131) arranged in a two-dimensional manner.
  • FIG. 2 shows an example of the arrangement of the microlens 120 and the image sensor 13.
  • FIG. 2A is a diagram illustrating an example of the arrangement of the microlens 120 and the imaging pixels 131 of the imaging element 13 in a direction (xy plane) orthogonal to the optical axis direction of the photographing lens L1.
  • the microlens array 12 shown in FIG. 2A six microlenses 120 in the x-axis direction and six microlenses 120 in the y-axis direction, that is, 6 ⁇ 6 microlenses 120 are arranged.
  • One microlens 120 is provided with one pixel array 130 correspondingly.
  • Each pixel array 130 includes, for example, five imaging pixels 131 in the x-axis direction and five imaging pixels 131 in the y-axis direction, that is, 5 ⁇ 5 imaging pixels 131. That is, 5 ⁇ 5 imaging pixels 131 are arranged for one microlens 120. As a result, in the present embodiment, the imaging element 13 has 30 ⁇ 30 imaging pixels 131.
  • FIG. 2B is a diagram for explaining the positional relationship among the photographing lens L1, the microlens 120, and the imaging element 13 in the optical axis direction (z-axis direction) of the photographing lens L1.
  • the microlens 120 is arranged at a focal position (imaging plane) of the photographing lens L1 that captures an image of the subject (object plane), that is, a position conjugate with the object plane.
  • the image sensor 13 is disposed at a position separated by the focal length of the microlens 120.
  • the imaging surface of the imaging element 13 is conjugate with the photographing lens L1.
  • FIG. 2B shows a case where the photographing lens L1 is focused on the object plane, that is, a case where a light beam from the photographing lens L1 is imaged on the microlens 120.
  • the region occupied by the projection image on the pupil plane of the photographing lens L1 by the microlens 120 corresponding to the imaging pixel 131ai is a partial region P1 on the pupil of the photographing lens L1.
  • the partial areas P2, P3,... correspond to the imaging pixels 131bi, 131ci,.
  • On the pupil of the photographing lens L1 are transmitted through the microlenses and are incident on the imaging pixels 131ai, 131bi, 131ci,. .
  • FIG. 1 the region occupied by the projection image on the pupil plane of the photographing lens L1 by the microlens 120 corresponding to the imaging pixel 131ai.
  • the light beams r1 to r5 incident on the microlens 120 disposed on the optical axis of the photographing lens L1 are shown as representatives, but the microbeams provided at positions away from the optical axis are shown.
  • the light beams r 1 to r 5 are incident on the lens 120 and guided to the corresponding imaging pixel 131.
  • the partial areas P1, P2, P3,... Actually exist two-dimensionally, that is, in the y-axis direction, but only the arrangement in the x-axis direction is considered here for the sake of simplicity.
  • FIG. 2C shows the positional relationship of the imaging pixels 131ai to 131di on one pixel array 130i.
  • the partial regions P1 to P5 of the photographing lens L1 in the x-axis direction are taken as an example, so that the light beams r1 to r5 are respectively incident on the imaging pixels 131ai to 131di arranged side by side in the x-axis direction.
  • each imaging pixel 131ai, 131bi, 131ci, ... outputs the image signal ai, bi, ci, ..., respectively.
  • the image processing unit 105 of the digital camera 1 performs processing for generating a multi-viewpoint (multi-parallax) image using the image signal output from the imaging unit 100 configured as described above. Further, the LCD drive circuit 110 and the display device 109 of the digital camera 1 according to the present embodiment are configured to be able to display the generated multi-viewpoint (multi-parallax) image as a stereoscopic image (3D image).
  • a multi-viewpoint (multi-parallax) image generation principle (B) a multi-viewpoint image generation principle, (C) a multi-viewpoint image generation process, and (D) stereoscopic display will be described.
  • A Generation Principle of Multi-viewpoint (Multi-Parallax) Image
  • the position and direction of the light beam from the subject are detected independently.
  • the direction of the viewpoint is detected according to the number of imaging pixels 131 provided corresponding to one microlens 120.
  • the image processing unit 105 generates image data for each image signal corresponding to the light beam r that has passed through each partial region P.
  • the image processing unit 105 generates the same number of image data as the number of partial regions P having different viewpoints for the same subject, that is, the same number as the number of imaging pixels 131 included in one pixel array 130.
  • FIG. 2A when 5 ⁇ 5 imaging pixels 131 are arranged for one microlens 120, 5 ⁇ 5 viewpoints can be detected.
  • the unit 105 generates 5 ⁇ 5 image data with different viewpoints.
  • the image processing unit 105 divides an area defined by one pixel array 130 into a plurality of extraction areas (for example, rectangular areas), and uses pixel signals output from the plurality of imaging pixels 131 included in the extraction area. To generate image data.
  • the image processing unit 105 generates image data with the same number of viewpoints as the number of extraction regions.
  • the same number of partial areas P as the number of extraction areas are divided by the pupil plane of the photographic lens L1, and the image processing unit 105 performs image signal corresponding to the luminous flux r that has passed through each partial area P.
  • the extraction area is called a block.
  • the block size is configured to be set by performing selection and setting processing by the user using the operation unit 108 on the menu screen. Details of the setting process will be described later.
  • FIG. 3 shows a case where the size of the block Blo is set to 1 by the user, that is, a case where one imaging pixel 131 is included in one block Blo.
  • FIG. 3A shows one pixel array 130 i of the plurality of pixel arrays 130 included in the image sensor 13 as an example.
  • the image processing unit 15 extracts the image signal ai output from the imaging pixel 131ai included in the pixel array 130i illustrated in FIG. 3A from the image signal output from the imaging element 13. Further, the image processing unit 105 extracts the image signal a output from each imaging pixel 131 a of all the pixel arrays 130 included in the imaging element 13. Then, the image processing unit 105 generates one image data Im_a using all the extracted image signals a. Similarly, the image processing unit 105 uses the image signals b,..., E output from the respective imaging pixels 131b,. , Im_e. As a result, as shown in FIG. 3B, the image processing unit 105 generates five (5 viewpoints) image data Im_a, Im_b,... Im_e.
  • FIG. 4 also shows only the number of viewpoints in the x-axis direction for convenience of explanation, as in FIG. FIG. 4A illustrates one pixel array 130 i of the plurality of pixel arrays 130 included in the image sensor 13 as an example.
  • the block Blo_bi vertical line area in FIG. 4A
  • Blo_ci dot area in FIG. 4A
  • Blo_di horizontal line area in FIG. 4A
  • FIG. 4A FIG. 4A
  • the image processing unit 15 adds the image signals output from 6 (2 ⁇ 3) imaging pixels 131 included in the block Blo_ai of the pixel array 130 i from the image signals output from the imaging element 13. Then, one image signal ai is extracted. Further, the image processing unit 105 extracts the image signal a output from the imaging pixels 131 in each block Blo_a of all the pixel arrays 130 included in the imaging element 13. Then, the image processing unit 105 generates one image data Im_a using all the extracted image signals a. Similarly, the image processing unit 105 performs the same processing on the output from the imaging pixels 131 in each block Blo_b,..., Blo_di included in each pixel array 130 to perform image data Im_b,. Im_d is generated. As a result, as shown in FIG. 4B, the image processing unit 105 generates four (four viewpoints) image data Im_a, Im_b,... Im_d.
  • each pixel of the image sensor 13 (that is, the size of the block Blo) defines the size of the partial region P of the photographing lens L1 that is conjugate with the image sensor 13, that is, the size (diameter) of the light beam. become. Therefore, the size of the set block Blo corresponds to the F value of the photographic lens L1, and the F value increases as the size of the block Blo decreases.
  • the image processing unit 105 is output from one imaging pixel 131 to one microlens 120.
  • Five image data Im_a to Im_e are generated based on the image signal. Therefore, when the size of the block Blo is set to 1, the F value increases, so that the depth of field of the image corresponding to each of the generated image data Im_a to Im_e becomes deep.
  • the image processing unit 105 uses six imaging pixels 131 for one microlens 120. Image data is generated based on the output image signal. Since the partial area P of the photographing lens L1 in this case has a size six times larger than the partial area P of the photographing lens L1 in the case of FIG. 3, the luminous flux incident on the imaging pixel 131 in the block Blo is 6 Double the size (diameter). Therefore, when the size of the block Blo is set to 2 ⁇ 3, the F value becomes small, so that the depth of field of the image corresponding to each of the generated image data Im_a to Im_d becomes shallow.
  • the viewpoint movement direction has been described as the x-axis direction.
  • the viewpoint may move in the y-axis direction or in the two-dimensional direction on the xy plane.
  • the shape of the block Blo is not limited to a rectangle.
  • FIG. 5A is a diagram illustrating the light beams r1 to r5 when five viewpoint images are generated on the imaging side.
  • FIG. 5B is an enlarged view of the light beams r1 to r5 in the vicinity of the photographing lens L1 and the focal plane (imaging plane) among the light beams r1 to r5 shown in FIG.
  • FIG. 5C is an enlarged view of the light beams in the vicinity of the microlens array 12 and the imaging element 13 among the light beams r1 to r5 illustrated in FIG.
  • the positions of the five viewpoints are the same as those of the imaging pixels 131ai to 131ei shown in FIGS.
  • the light rays incident on each of the imaging pixels 131ai to 131ei provided corresponding to one microlens 120 intersect at the same point on the object plane Q1. Therefore, no parallax occurs on the image corresponding to each of the viewpoint image data Im_a to Im_e for the subject existing on the object plane Q1.
  • the light beams r1 to r5 that intersect at the surface Q2 deviated from the object surface Q1 are guided to different microlenses 120.
  • parallax occurs on the images corresponding to the viewpoint image data Im_a to Im_e.
  • a case where parallax occurs and a case where parallax does not occur will be described in detail.
  • FIG. 6A shows viewpoint images Ai to Ei corresponding to five viewpoint image data Im_a to Im_e generated by photographing an image of the subject “A” formed on the focal plane. That is, the viewpoint images Ai to Ei correspond to the image signals output from the imaging pixels 131ai to 131ei, respectively.
  • Light beam r1 ⁇ r5 forming the formed image to the position of X5, respectively incident on the imaging pixel 131a5 ⁇ 131e5 through the microlens 120 5. Further, the light beam r1 ⁇ r5 forming the image formed at the position of X6, respectively incident on the imaging pixel 131a6 ⁇ 131e6 through the microlens 120 6. That is, the imaging pixels 131a1, 131a2, 131a3,... On the imaging element 13 receive the light beam r1 and output an image signal. As a result, the imaging pixels 131a1, 131a2,... Capture images of the positions X1, X2,.
  • the imaging pixels 131b1, 131b2,... Receive the light beam r2, the imaging pixels 131c1, 131c2,... Receive the light beam r3, and the imaging pixels 131d1, 131d2,.
  • the imaging pixels 131e1, 131e2,... Receive the light beam r5.
  • images captured by the imaging pixels 131a1, 131a2,..., Images captured by the imaging pixels 131b1, 131b2,..., Images captured by the imaging pixels 131c1, 131c2,. ,... And the images captured by the imaging pixels 131e1, 131e2,... Are images at positions X1, X2,. Therefore, as shown in FIG. 6 (a), the five viewpoint images Ai to Ei generated based on the respective image signals output from the imaging pixels 131ai to 131ei are the same image, so that no parallax occurs. .
  • FIG. 7A shows five viewpoint images Ai to Ei generated by photographing an image of the subject “A” formed on a plane different from the focal plane.
  • the viewpoint images Ai to Ei correspond to the image signals output from the imaging pixels 131ai to 131ei, respectively.
  • the light beam r1 is directed to the imaging pixel 131a4
  • the light beam r2 is directed to the imaging pixel 131b5
  • the light flux r3 is directed to the imaging pixel 131c6, and the light beam r4 is captured to the imaging pixel.
  • the light beam r5 enters the imaging pixel 131e8 to 131d7.
  • each of the light beams r1 to r5 that form images formed at different positions enters the image sensor 13 via different microlenses 120.
  • the imaging pixels 131a1, 131a2, 131a3,... On the imaging element 13 receive the light beam r1 and output an image signal. That is, the imaging pixels 131a1, 131a2, 131a3,... Capture images of positions X3, X4, X5,. Further, since the imaging pixels 131b1, 131b2, 131b3,... On the imaging element 13 receive the light beam r2, the images at the positions X2, X3, X4,. Similarly, the imaging pixels 131c1, 131c2, 131c3,... Receive the light beam r3 and capture images at positions X1, X2, X3,..., And the imaging pixels 131d1, 131d2, 131d3,. , And images of positions X0 (not shown), X1, X2... Are taken, and the imaging pixels 131e1, 131e2, 131e3,. ), X0 (not shown), X1,...
  • the multi-viewpoint (multi-parallax) image generation processing by the digital camera 1 in the first embodiment that is, the operation of the digital camera 1 when the multi-viewpoint image generation mode is set.
  • the multi-viewpoint image generation mode is set by the control circuit 101 when the multi-viewpoint image generation mode is selected according to the operation of the mode selection button by the user and an operation signal is input from the operation unit 108.
  • the characteristics of the viewpoint image that is, the three-dimensional image
  • the selectable characteristics include the direction of viewpoint change, the number of viewpoints, the amount of viewpoint change, and the number of pixels for viewpoint generation (the size of block Bl). These characteristics are set when the user performs a selection operation using the operation unit 108 on the menu screen displayed on the display 109 described above.
  • the calculation unit 106 uses a parameter corresponding to the above characteristic as a variable parameter for calculation processing when generating viewpoint image data.
  • Fig. 8 (a) shows various variable parameters and the characteristics that can be controlled by the variable parameters.
  • “Number of pixels (imaging pixels 131) u, v” in the block shown in FIG. 8A is a variable parameter for determining the size of the block Blo, and depends on the number of pixels in the set block Blo. As described above, the depth of field of the viewpoint image is determined. Note that u represents the number of pixels in the x-axis direction in the block Blo, and v represents the number of pixels in the y-axis direction in the block Blo.
  • the number of times the block moves Kx, Ky is a variable parameter for determining the number of viewpoints of the multi-viewpoint image.
  • the image processing unit 105 sets the same number of different blocks Blo as the set number of times Kx and Ky on the pixel array 130, and extracts an image signal from the imaging pixels 131 included in each block Blo. As shown in FIGS. 3 and 4, if the block Bl moves 5 times, an image of 5 viewpoints is generated, and if the block Bl moves 4 times, an image of 4 viewpoints is generated.
  • Block movement amounts Sx, Sy are variable parameters for determining the amount of change in viewpoint between a plurality of viewpoint images. The larger the amount that the block Blo moves, the greater the parallax that occurs between the viewpoint images.
  • the image processing unit 105 extracts an image signal from the blocks Bl arranged on the pixel array 130 at position intervals corresponding to the set movement amounts Sx and Sy.
  • “Block movement direction Arctan (Sy / Sx)” is a variable parameter for determining the direction of the viewpoint change of the viewpoint image.
  • the image processing unit 105 extracts an image signal from the block Blo set on the pixel array 130 along the selected moving direction. In the example described with reference to FIGS. 3 and 4, the case where the x-axis direction is set as the movement direction is shown.
  • “Block initial positions U0, V0” are variable parameters for determining the initial position of the viewpoint of the viewpoint image.
  • the resolutions M and N are set as fixed parameters. These fixed parameters are values determined depending on the structure of the microlens 120 and the image sensor 13.
  • the values of the variable parameter and the fixed parameter are as follows.
  • Number of arrangement of microlenses 120 in the x-axis direction M 6
  • Number of arrangement of microlenses 120 in the y-axis direction N 6
  • Cx 30
  • Cy 30
  • the values of the variable parameter and the fixed parameter are as follows.
  • Number of arrangement of microlenses 120 in the x-axis direction M 6
  • Number of arrangement of microlenses 120 in the y-axis direction N 6
  • Cx 30
  • Cy 30
  • the image processing unit 105 When the various parameters described above are set, the image processing unit 105 generates a plurality of viewpoint image data using an image signal acquired by photographing one subject and stored in the memory 103. As described above, the image processing unit 105 is output from the imaging pixels 131 included in the set block Bl among the image signals output from the imaging pixels 131 in the pixel array 130 corresponding to one microlens 120. The extracted pixel signal is extracted. Then, the image processing unit 105 extracts pixel signals in the same manner for all the pixel arrays 130, and generates one viewpoint image data Im using the plurality of extracted pixel signals.
  • the image processing unit 105 generates a plurality of viewpoint image data Im by performing the above-described processing by the number of movements Kx and Ky of the set block Blo while moving the set block Blo by the movement amounts Sx and Sy. To do. At this time, the image processing unit 105 extracts an image signal based on the calculation result by the calculation unit 106. That is, the calculation unit 106 determines an image signal that the image processing unit 105 extracts to generate the viewpoint image data Im.
  • FIG. 9A shows a coordinate system (m, n) of the microlens array 12 in the xy plane.
  • FIG. 9A 0 ⁇ m ⁇ 6, 0 ⁇ n ⁇ 6.
  • FIG. 9B shows a coordinate system (i, j) of the image sensor 13 in the xy plane.
  • a pixel value from the image pickup pixel 131 arranged at (i, j), that is, an image signal is represented by I (i, j).
  • the coefficient p is a fixed parameter indicating the arrangement pitch of the microlenses 120 in the x-axis direction as described above
  • the coefficient q is a fixed parameter indicating the arrangement pitch of the microlenses 120 in the y-axis direction.
  • the calculation unit 106 calculates the initial position (lower left corner) (X, Y) of the block in the microlens 120 using the following equation (2).
  • the coefficient s is a fixed parameter indicating the arrangement pitch of the imaging pixels 131 in the x-axis direction
  • the coefficient t is a fixed parameter indicating the arrangement pitch of the imaging pixels 131 in the y-axis direction.
  • the coefficient Nx is a parameter indicating the number of viewpoint image data Im generated in the x-axis direction, and 0 ⁇ Nx ⁇ Kx.
  • the coefficient Ny is a parameter indicating the number of viewpoint image data Im generated in the y-axis direction, and 0 ⁇ Ny ⁇ Ky.
  • the initial position (X, Y) of the block Blo is expressed by the following equation (2) ′.
  • the coefficient v is the number of imaging pixels 131 in the y-axis direction included in the block Blo as described above.
  • the image processing unit 105 extracts the image signal I using the initial position of the block Blo calculated by the above equation (3). That is, the image processing unit 105 uses the image signal corresponding to the initial position (i, j) calculated by Expression (3) as a reference, and the sum of the image signals included in the block Blo (block signal Ib (i, j )) Is calculated. In this case, the image processing unit 105 calculates the block signal Ib (i, j) using the following equation (4).
  • the block signal Ib (i, j) has a value represented by the following expression (4) ′.
  • the block signal Ib (i, j) has a value represented by the following expression (4) ′′.
  • the image processing unit 105 generates one viewpoint image data Im using the block signal Ib (i, j) generated by performing the above processing on all the microlenses 120. That is, the image processing unit 105 adds each block signal Ib so that the block signal Ib (i, j) represents one pixel value in the viewpoint image data Im. Thereafter, the calculation unit 106 newly sets the initial position (i, j) of the block Bl when the block Bl is moved by the set movement direction (the movement amounts Sx and Sy set in Arctan (Sy / Sx)).
  • the image processing unit 105 newly calculates a block signal Ib (i, j) using Expression (4) based on the newly calculated initial position (i, j) of the block Blo, One different viewpoint image data Im is generated, and the image processing unit 105 repeats the above process for the set number of movements Kx and Ky to generate a plurality of viewpoint image data Im.
  • the image processing unit 105 generates a multi-viewpoint image file using the plurality of viewpoint image data Im generated as described above, and records it in the memory card 107a. Note that the image processing unit 105 may associate the generated viewpoint image data Im with each of the generated viewpoint image data Im and record them in the memory card 107a.
  • step S101 the number of viewpoint images to be generated (Nx, Ny) is set to 0, which is an initial value, and the process proceeds to step S102.
  • step S102 the values of m and n are set to 0 as the initial position of the microlens 120, and the process proceeds to step S103.
  • step S103 the center position of the target microlens 120 is calculated using equation (1), and the process proceeds to step S104.
  • step S104 using Equation (2), the initial position of the block Blo in the coordinate system of the microlens 120, that is, the coordinates of the lower left end is calculated, and the process proceeds to step S105.
  • step S105 the coordinate value calculated in step S104 is converted into the coordinate system (i, j) of the image sensor 13 using equation (3), and the process proceeds to step S106.
  • Step S106 the image signal output from the photoelectric conversion signal 131 included in the block is added using Expression (4) to generate the block signal Ib, and the process proceeds to Step S107.
  • step S109 the block signals Ib generated for each pixel array 130 are combined to generate one viewpoint image data Im, and the process proceeds to step S110.
  • step S111 it is determined whether viewpoint image data Im for the set number of viewpoints (Kx, Ky) has been generated.
  • an affirmative determination is made in step S111 and the process proceeds to step S112.
  • viewpoint image data Im having the set number of viewpoints has not been generated, a negative determination is made in step S1111 and the process returns to step S102.
  • step S112 a multi-viewpoint image file is generated using the generated Kx ⁇ Ky viewpoint image data Im, recorded in the memory card 107a, and the process ends.
  • the display device 109 includes a lenticular lens 150 having a plurality of convex lenses 151 having a shape obtained by cutting a cylindrical shape in the axial direction on the surface thereof. That is, the display 109 displays a plurality of viewpoint images as a stereoscopic image by a known lenticular method.
  • the long sides of the individual convex lenses 151 of the lenticular lens 150 are arranged in the y-axis direction. In the following description, processing in the x-axis direction is mainly performed as a representative.
  • FIG. 11B shows a cross-sectional view of the display 109 on the xz plane.
  • Each convex lens 151 of the lenticular lens 150 condenses light from a plurality of pixel rows Co that constitutes the display unit 109 along the y-axis direction and guides it to the user.
  • one convex lens 151a condenses the light emitted from the pixel columns Co1_1 to Co1_5 of the display 109.
  • light from the pixel columns Co1_1, Co2_1, Co3_1,... formss an image at a point W1.
  • light from the pixel columns Co1_2, Co2_2, Co3_2,... Is at the point W2, and light from the pixel columns Co1_3, Co2_3, Co3_3,.
  • the right eye observes the image of the point W1, that is, the light from the pixel columns Co1_1, Co2_1, Co3_1,.
  • the left eye observes the image of the point W2, that is, the light from the pixel columns Co1_2, Co2_2, Co3_2,.
  • the right eye observes the image of the point W4 (light from the pixel columns Co1_4, Co2_4, Co3_4,...), And the left eye observes the image of the point W5 (pixel column). (Light from Co1_5, Co2_5, Co3_5,).
  • the display device 109 may display a plurality of viewpoint images as a stereoscopic image by a parallax barrier method.
  • a mask (barrier) having a plurality of elongated openings with long sides aligned in the y-axis direction may be disposed at a position where the lenticular lens 150 of FIG. 11 is disposed.
  • FIG. Im5 A process for generating display data to be output to the display 109 capable of displaying a stereoscopic image as described above will be described using the conceptual diagram shown in FIG. Im5, Im2,..., Im5 are viewpoint image data corresponding to multi-viewpoint images with parallax (for example, five viewpoints) obtained by photographing the same object scene.
  • the image processing unit 105 extracts the image data corresponding to the same pixel column Co1 from Im1, Im2,... create. Further, the image processing unit 105 extracts image data corresponding to the pixel column Co2 from each of the viewpoint image data Im1, Im2,... Im5, and creates one display image data Id2. Similarly, the image processing unit 105 generates display image data Id3 to Id5.
  • the image processing unit 105 When each of the display image data Id1 to Id5 is created, the image processing unit 105 outputs the display image data Id1 to the LCD drive control unit 110, and corresponds to the display image data Id1 in Co1 of the display 109. Display an image. Similarly, the image processing unit 105 outputs display image data Id2 to Id5 to the LCD drive control unit 110, and displays images corresponding to the display image data Id2 to Id5 on Co2 to Co5 of the display unit 109, respectively. .
  • an image corresponding to the viewpoint image data Im1 is observed at the point W1.
  • the image corresponding to the viewpoint image data Im2 is observed at the point W2
  • the image corresponding to the viewpoint image data Id3 is observed at the point W3
  • the image corresponding to the viewpoint image data Im4 is observed at the point W4.
  • An image corresponding to the data Im5 is observed at a point W5.
  • the user located at H1 observes the point W1 with the right eye and observes the point W2 with the left eye.
  • the user of H1 observes the image corresponding to the viewpoint image data Im1 with the right eye, and observes the image corresponding to the viewpoint image data Im2 with the left eye.
  • There is parallax between the viewpoint image data Im1 and Im2 and the user observes images corresponding to the viewpoint image data Im1 and Im2 with different eyes.
  • an image obtained by photographing the same scene is observed as a stereoscopic image by the user.
  • the user When the user is located at H1, the user observes an image corresponding to the viewpoint image data Im4 with the right eye, and observes an image corresponding to the viewpoint image data Im5 with the left eye, thereby photographing the same scene. Observe the image as a stereoscopic image.
  • a plurality of microlenses 120 are two-dimensionally arranged near the focal plane of the taking lens L1.
  • the imaging device 13 includes a plurality of pixel arrays 130 arranged in a two-dimensional manner having a plurality of photoelectric conversion elements (imaging pixels) 131 for each of the plurality of microlenses 120.
  • the imaging pixel 131 receives the light beam from the subject that has passed through the photographing lens L1 through the microlens 120 and outputs an image signal.
  • the image processing unit 105 outputs a plurality of block signals Ib corresponding to each of a plurality of different partial regions P of the photographing lens L1 from the image signals output from the plurality of imaging pixels 131 included in each of the plurality of pixel arrays 130. Based on the extracted block signal Ib, a plurality of image data Im corresponding to each of the partial areas P is generated as viewpoint image data Im having different viewpoint positions. That is, the image processing unit 105 is a block signal Ib extracted from a different pixel array 130 among a plurality of block signals Ib extracted from each of the plurality of pixel arrays 130, and blocks corresponding to the same partial region P. The signal Ib is synthesized to generate one viewpoint image data Im.
  • the operation unit 108 accepts an operation for selecting the number of viewpoints by the user.
  • the image processing unit 105 extracts the block signal Ib of the number of viewpoints selected by the user's operation, and generates viewpoint image data Im.
  • the digital camera 1 Since the digital camera 1 according to the present embodiment has the above-described configuration, it is possible to acquire viewpoint image data of the number of viewpoints desired by the user using one camera according to the characteristics of the display. Convenience is improved. Furthermore, as with normal single-lens reflex photography, the lens can be freely exchanged, and the focus adjustment function can be used to focus on an arbitrary position of the subject. In this case, the convergence and the focal position are always the same for changes in focal length such as lens replacement and zoom lens, and changes in the focal position of the subject. Images can be taken. In other words, it is possible to create a stereoscopic image with the subject focused on the front and back from an image captured by adjusting the focus in the same way as a normal camera, so the user can shoot using a normal camera. 3D images can be taken without feeling uncomfortable.
  • the computing unit 106 calculates the same number of blocks Blo as the number of viewpoints selected by the user as an extraction region for extracting the block signal Ib, and sets each block on the pixel array 130. Then, the image processing unit 105 adds the image signal I output from the imaging pixel 131 included in the block Bl for each set block Bl and extracts the block signal Ib. Accordingly, since the viewpoint image data Im having the number of viewpoints desired by the user can be generated, stereoscopic image shooting according to characteristics of a monitor or the like for displaying a stereoscopic image can be performed with one camera.
  • the operation unit 108 receives an operation by the user for selecting a parallax indicating the amount of change in viewpoint between the plurality of viewpoint image data Im.
  • the calculation unit 106 sets the blocks Blo on the pixel array 130 at position intervals corresponding to the parallax selected by the user. That is, the calculation unit 106 calculates the movement amount of the block Bl.
  • the image processing unit 105 extracts the block signal Ib for each block Blo at a plurality of positions, and generates the viewpoint image data Im. Therefore, since a stereoscopic image having a parallax desired by the user can be performed with one camera, convenience is improved.
  • the operation unit 108 receives an operation by the user for selecting the depth of field of the image.
  • the calculation 106 calculates and sets the size of the block Blo according to the depth of field selected by the user.
  • the image processing unit 105 synthesizes a plurality of image signals I from the imaging pixels 131 included in the block Bl in accordance with the calculated size of the block Blo, and extracts them as one block signal Ib. Im was generated. Therefore, the depth of field desired by the user can be obtained as a stereoscopic image with a simple operation.
  • the operation unit 108 receives an operation by the user for changing the viewpoint position in the two-dimensional direction.
  • the calculation unit 106 calculates and sets directions for extracting the block Bl for the number of viewpoints according to the operation by the user.
  • the image processing unit 105 generates the viewpoint image data Im by extracting the block signal Ib from the block Blo along the calculated direction. Accordingly, the viewpoint image data Im having different viewpoints in the direction desired by the user can be generated, so that one camera can shoot a three-dimensional image according to the characteristics of a monitor or the like that displays a three-dimensional image.
  • the image processing unit 105 generates display image data Id based on the generated plurality of viewpoint image data Im, and causes the display 109 to display an image corresponding to the display image data Id as a stereoscopic image. did. Therefore, the user can immediately observe an image corresponding to the captured viewpoint image data as a stereoscopic image.
  • Embodiment- A digital camera according to a second embodiment of the present invention will be described with reference to the drawings.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and differences will mainly be described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment in that the size of one microlens 120 is not an integral multiple of the size of the imaging pixel 131.
  • the calculation processing by the calculation unit 106 and the calculation processing of the block signal Ib by the image processing unit 105 are different from the case of the first embodiment.
  • FIG. 13 shows the size relationship between the microlens 120 and the imaging pixel 131 in the coordinate system (i, j) of the imaging device 13 on the xy plane.
  • the diameter of the microlens 120 of the second embodiment in the direction parallel to the x-axis or y-axis direction is an integral multiple of the size of the imaging pixel 131. It is not. That is, in the x-axis direction, the x-axis direction of the microlens 120 includes a part of the imaging pixels 131u and 131v. Note that the cross-shaped index in FIG. 13 indicates the center position of the microlens 120.
  • the block Blo has a size in which the area includes a part of each of the four imaging pixels 131a to 131d.
  • the calculation unit 106 calculates a ratio (hereinafter referred to as occupancy ratio) that the area where the imaging pixel 131a and the block Bl overlap is occupied with respect to the entire area of the imaging pixel 131a.
  • the image processing unit 105 adds the occupancy calculated by the calculation unit 106 to the image signal output from the imaging pixel 131a.
  • the above processing is performed on the imaging pixels 131b to 131d included in the block Bl, and the image processing unit 105 adds the calculated image signals to calculate the block signal Ib of the block Bl.
  • FIG. 13B shows a case where the size of the block Blo is generalized as u ⁇ v.
  • the block Blo includes a part of each of the 14 imaging pixels 131a to 131n and the entire area of the 6 imaging pixels 131o to 131t.
  • the image processing unit 105 interpolates the occupancy calculated by the calculation unit 106 by adding it to the image signals from the corresponding imaging pixels 131a to 131n. Calculate as a signal. Then, the image processing unit 105 calculates the block signal Ib by adding the calculated interpolation signals of the imaging pixels 131a to 131n and the image signals output from the imaging pixels 131o to 131t. That is, the image processing unit 105 calculates the block signal Ib by weighting the image signal according to the occupation ratio. Details will be described below.
  • the coefficient p is a fixed parameter indicating the arrangement pitch of the microlenses 120 in the x-axis direction as described above
  • the coefficient q is a fixed parameter indicating the arrangement pitch of the microlenses 120 in the y-axis direction.
  • the calculation unit 106 calculates the initial position (lower left corner) (X, Y) of the block Bl in the microlens 120 using the following equation (6).
  • the coefficient s is a fixed parameter indicating the arrangement pitch of the imaging pixels 131 in the x-axis direction
  • the coefficient t is a fixed parameter indicating the arrangement pitch of the imaging pixels 131 in the y-axis direction.
  • the coefficient Nx is a parameter indicating the number of viewpoint image data Im generated in the x-axis direction, and 0 ⁇ Nx ⁇ Kx.
  • the coefficient Ny is a parameter indicating the number of viewpoint image data Im generated in the y-axis direction, and 0 ⁇ Ny ⁇ Ky.
  • the values of a and b shown in Expression (7) are the amounts by which the lower left corner of the block Bl shown in FIG. 13B is shifted from the lower left corner of the imaging pixel 131s in the x-axis direction and the y-axis direction, respectively. Show. In other words, the values of a and b indicate the above-described occupation ratio.
  • the image processing unit 105 extracts the image signal I using the initial position of the block Blo calculated by the above equation (7). That is, the image processing unit 105 uses the image signal corresponding to the initial position (i, j) calculated by Expression (7) as a reference, and the sum of the image signals included in the block Blo (block signal Ib (i, j )) Is calculated. In this case, the image processing unit 105 calculates the block signal Ib (i, j) using the following equation (8).
  • Ib (i, j) (1-a) * (1-b) * I (i, j) + (1-a) * b * I (i + u, j) + a * b * I (i + u, j + v) + (1-a) ⁇ ⁇ I (i, j + 1) +... + I (i, j + v ⁇ 1) ⁇ + A ⁇ ⁇ I (i + u, j + 1) +... I (i + u, j + v ⁇ 1) ⁇ + (1-b) ⁇ ⁇ I (i + 1, j) +... + I (i + u ⁇ 1, j) ⁇ + B ⁇ ⁇ I (i + 1, j) +...
  • the block signal Ib (i, j) of the block Blo shown in FIG. 13A has a value represented by the following equation (8) ′.
  • Ib (i, j) (1-a) * (1-b) * I (i, j) + (1-a) * b * I (i, j + 1) + A ⁇ (1 ⁇ b) ⁇ I (i + 1, j) + a ⁇ b ⁇ I (i + 1, j + 1) (8) ′
  • the image processing unit 105 blocks the block Blo at a position moved by the set movement amounts Sx and Sy.
  • the signal Ib is calculated.
  • FIG. 13C shows how the block Blo moves according to the calculation result of the calculation unit 106.
  • the image processing unit 105 can calculate the block signal Ib even when the diameter of the microlens 120 is not an integral multiple of the size of the imaging pixel 131. Therefore, even when the movement amounts Sx and Sy of the block Blo are not integer multiples, the image processing unit 105 can calculate the block signal Ib at the position of the block Blo after movement. In other words, the movement amount of the block Blo can be set to an arbitrary real value desired by the user.
  • step S201 the number of viewpoint images to be generated (Nx, Ny) is set to 0, which is an initial value, and the process proceeds to step S202.
  • step S202 the values of m and n are set to 0 as the initial position of the microlens 120, and the process proceeds to step S203.
  • step S203 the center position of the target microlens 120 is calculated using equation (5), and the process proceeds to step S204.
  • step S204 using Equation (6), the initial position of the block Blo in the coordinate system of the microlens 120, that is, the coordinates of the lower left end is calculated, and the process proceeds to step S205.
  • step S205 the coordinate value calculated in step S204 is converted into the coordinate system (i, j) of the image sensor 13 using equation (7), and the process proceeds to step S206.
  • step S206 using the equation (8), the image signals output from the imaging pixels 131 included in the block Blo are added to generate the block signal Ib, and the process proceeds to step S207.
  • step S207 movement to the next microlens
  • step S212 generation and recording of a multi-viewpoint image file
  • step S107 moving to the next microlens shown in FIG. 14
  • step S112 multi-viewpoint image
  • the image processing unit 105 determines the degree of overlapping with respect to the image signals output from the overlapping imaging pixels 131.
  • the block signal Ib is extracted by performing weighting determined according to the above. Therefore, even if the installation accuracy of the imaging pixel 131 and the microlens 120 is low, a stereoscopic image desired by the user can be generated. Furthermore, since the size and movement amount of the block Bl are not restricted by the imaging pixel 131, it is possible to realize the viewpoint condition desired by the user.
  • a digital camera according to a third embodiment of the present invention will be described with reference to the drawings.
  • the same components as those in the first and second embodiments are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first or second embodiment.
  • the first and second points are configured in such a way that a multi-viewpoint (multi-parallax) image can be generated even when the user takes an image while holding the digital camera in a vertical position. Different from the embodiment.
  • FIG. 15 shows a block diagram of a control system of the digital camera 1 according to the third embodiment.
  • the posture sensor 300 is constituted by, for example, an inclination sensor or a gyro sensor, detects the direction of gravity of the digital camera 1, and outputs a detection signal to the control circuit 101.
  • the control circuit 101 determines the attitude of the digital camera 1, that is, the horizontal position or vertical position of the digital camera 1 based on the input detection signal.
  • the posture of the digital camera 1 determined by the detection signal from the posture sensor 300 when acquiring the image data is stored in the memory 103 in association with the image data as posture information.
  • the control circuit 101 refers to the posture information stored in the memory 103 in association with the target image data.
  • the calculation unit 106 sets fixed parameters (M, Cx, p, s) and variable parameters (U0, Kx, Sx, u) in the x-axis direction in the y-axis direction.
  • the first and second implementations are regarded as set values, and the fixed parameters (N, Cy, q, t) and variable parameters (V0, Ky, Sy, v) in the y-axis direction are regarded as set values in the x-axis direction.
  • the arithmetic processing described in the form is performed.
  • the image processing unit 105 generates viewpoint image data Im having a different number of viewpoints in the y-axis direction.
  • the attitude sensor 300 detects the attitude of the digital camera 1.
  • the calculation unit 106 blocks so that the viewpoint position is in the y-axis direction on the image sensor 13, that is, different from horizontal position shooting. Set the movement direction of Blo.
  • the image processing unit 105 generates the viewpoint image data Im by extracting the block signal Ib along the set direction, that is, the y-axis direction. Accordingly, since a stereoscopic image can be generated with either one of the vertical position shooting and the horizontal position shooting with one camera, convenience is improved.
  • the digital camera 1 according to the first to third embodiments described above can be modified as follows.
  • An external display device different from the digital camera 1 is used instead of the one that causes the display 109 to display the image corresponding to the display image data Id generated by the image processing unit 105 using the multi-viewpoint image data.
  • You may display on the monitor with which (for example, a personal computer, television, etc.) is provided.
  • the external display device reads the multi-viewpoint image file generated by the digital camera 1 and recorded on the memory card 107a. Then, the display device performs the same processing as the image processing unit 105 using the viewpoint image data Im in the read multi-viewpoint image file, generates display image data Id, and outputs it to the monitor.
  • the monitor included in the display device needs to be configured to display a stereoscopic image by a lenticular method, a parallax barrier method, or the like, similarly to the display device 109 of the embodiment.
  • the display device reads the multi-viewpoint image file from the digital camera 1, for example, an interface such as a LAN cable or wireless communication may be used.
  • the image data generated by the digital camera 1 may be read by an external display device, and the display device may perform the same processing as the image processing unit 105 to generate the viewpoint image data Im.
  • viewpoint image data Im having a predetermined number of viewpoints is generated in advance. May be.
  • the image processing unit 105 uses the image signal stored in the memory 103 to generate 100 viewpoint image data Im so as to obtain 100 viewpoint images, for example, and stores the generated viewpoint image data Im in the memory 103. Then, the image processing unit 105 selects the same number of viewpoint image data Im as the number of viewpoints selected by the user according to the variable parameter set in the memory 103 and set from among the 100 viewpoint image data Im.
  • a viewpoint image file is generated and recorded in the memory card 107a.
  • the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included.
  • the embodiments and modifications used in the description may be configured by appropriately combining them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　撮像装置は、撮影光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、被写体からの光束をマイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、マイクロレンズにそれぞれ対応して二次元状に配置された撮像素子と、複数の光電変換素子から出力された画像信号から、撮影光学系の瞳面上の複数の異なる部分領域のそれぞれに対応する複数の領域画像信号を抽出し、部分領域のそれぞれに対応する複数の画像データを、視点位置がそれぞれ異なる複数の視点画像データとして生成する生成部と、視点数を選択する視点数選択操作を受け付ける受付部とを備え、生成部は、選択された視点数と同数の領域画像信号を抽出して、視点画像データを生成する。

Description

撮像装置
　本発明は、多視点画像を生成する撮像装置に関する。
　従来から、２つの撮像光学系を用いて、右目用の画像と、左目用の画像と、から成るステレオ画像を撮像するステレオ撮像装置が知られている（例えば、特許文献１）。このようなステレオ撮像装置は、２つの撮像光学系を所定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
　また、任意の像面における像の画像データを合成する撮像装置が知られている（たとえば特許文献２）。この撮像装置は、マイクロレンズアレイを構成する各々のマイクロレンズの後方に配置された画素配列から、所定の光電変換素子の出力を取り出すことにより、任意の撮影距離に位置する被写体に焦点が合った画像データを合成する機能を有する。
特開平８－４７００１号公報 特開２００７－４４７１号公報
　しかしながら、単一の撮影光学系を用いて、任意の数の視差を有する画像を生成することができないという問題がある。
　本発明の第１の態様によれば、撮像装置は、撮影光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、撮影光学系を通過した被写体からの光束をマイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、マイクロレンズにそれぞれ対応して二次元状に配置された撮像素子と、複数の素子群のそれぞれに含まれる複数の光電変換素子から出力された画像信号から、撮影光学系の瞳面上の複数の異なる部分領域のそれぞれに対応する複数の領域画像信号を抽出し、領域画像信号に基づいて部分領域のそれぞれに対応する複数の画像データを、視点位置がそれぞれ異なる複数の視点画像データとして生成する生成部と、視点数を選択する視点数選択操作を受け付ける受付部とを備え、生成部は、視点数選択操作によって選択された視点数と同数の領域画像信号を抽出して、視点画像データを生成する。
　本発明の第２の態様によれば、第１の態様による撮像装置において、生成部は、複数の素子群のそれぞれから抽出した複数の領域画像信号のうち、異なる素子群から抽出された領域画像信号であって、同一の部分領域に対応する領域画像信号を合成して１つの視点画像データを生成することが好ましい。
　本発明の第３の態様によれば、第１または第２の態様による撮像装置において、領域画像信号を抽出するための抽出領域を設定する設定部を備え、設定部は、選択された視点数と同数の抽出領域を、素子群の異なる位置に設定し、生成部は、設定部により設定された抽出領域ごとに領域画像信号を抽出することが好ましい。
　本発明の第４の態様によれば、第３の態様による撮像装置において、受付部は、複数の視点画像データ間における視点の変化量を示す視差を選択する視差選択操作を受け付け、設定部は、視差選択操作によって選択された視差に応じた位置間隔で前出領域を設定し、生成部は、位置間隔ごとに抽出領域から領域画像信号を抽出して、視点画像データを生成することが好ましい。
　本発明の第５の態様によれば、第３または第４の態様による撮像装置において、受付部は、画像の被写界深度を選択する深度選択操作を受け付け、設定部は、深度選択操作によって選択された被写界深度に応じて抽出領域の大きさを設定し、生成部は、設定された抽出領域の大きさに応じて、複数の画像信号を合成して１つの領域画像信号として抽出し、視点画像データを生成することが好ましい。
　本発明の第６の態様によれば、第３乃至第５のいずれかの態様による撮像装置において、受付部は、視点の位置を二次元方向に異ならせる視点位置選択操作をさらに受け付け、設定部は、視点位置選択操作に応じて視点数と同数の抽出領域を抽出する方向を設定し、生成部は、設定部により設定された方向に沿って領域画像信号を抽出して視点画像データを生成することが好ましい。
　本発明の第７の態様によれば、第３乃至第６のいずれかの態様による撮像装置において、生成部は、設定部により設定された抽出領域が１つの光電変換素子のうちの一部と重複する場合には、重複する光電変換素子から出力された画像信号に対して重複する割合に応じて決まる重み付けを行って領域画像信号として抽出することが好ましい。
　本発明の第８の態様によれば、第３乃至第７のいずれかの態様による撮像装置において、撮像装置の姿勢を検出する姿勢検出部を備え、設定部は、姿勢検出部により検出された姿勢に応じて視点の位置が異なるように視点数と同数の抽出領域を抽出する方向を設定し、生成部は、設定部により設定された方向に沿って領域画像信号を抽出して視点画像データを生成することが好ましい。
　本発明の第９の態様によれば、第１乃至第８のいずれかの態様による撮像装置において、生成部により生成された複数の視点画像データに基づいて表示用画像データを生成し、表示用画像データに対応する画像を立体画像として表示器に表示させる表示制御部をさらに備えることが好ましい。
　本発明によれば、視点数選択操作によって選択された視点数と同数の視点画像データを生成することができる。
本発明の実施の形態によるデジタルカメラの構成を説明する図である。 マイクロレンズと撮像素子との配置の一例を示す図であり、図２（ａ）はｘｙ平面におけるマイクロレンズの配置を示し、図２（ｂ）は光軸方向における撮影レンズとマイクロレンズと撮像素子との位置関係を示し、図２（ｃ）は１つの画素配列上における撮像画素の配置を示す図である。 ブロックの大きさと視点数との関係を説明する図であり、図３（ａ）は１つの画素配列上における撮像画素の配置を示し、図３（ｂ）は生成される５視点の画像データの一例を示す図である。 ブロックの大きさと視点数との関係を説明する図であり、図４（ａ）は１つの画素配列における撮像画素とブロックとの配置関係を示し、図４（ｂ）は生成される４視点の画像データの一例を示す図である。 多視点画像間で視差が生じない場合の原理を説明する図であり、図５（ａ）は、５つの視点画像を生成する場合の光束を示し、図５（ｂ）は図５（ａ）を焦点面付近で拡大した図であり、図５（ｃ）は図５（ｂ）をマイクロレンズアレイおよび撮像素子の近傍で拡大した図である。 多視点画像間で視差が生じない場合の原理を説明する図であり、図６（ａ）は視点画像データに対応する視点画像を示し、図６（ｂ）は撮像素子に入射する光束の様子を示す。 多視点画像間で視差が生じる場合の原理を説明する図であり、図７（ａ）は視点画像データに対応する視点画像を示し、図７（ｂ）は撮像素子に入射する光束の様子を示す。 可変パラメータと固定パラメータとの一例を示す図であり、図８（ａ）は可変パラメータと可変パラメータにより制御可能な特性とを示し、図８（ｂ）は固定パラメータの一例を示す。 多視点画像生成時の演算処理を説明する図であり、図９（ａ）はｘｙ平面におけるマイクロレンズの座標系を示し、図９（ｂ）はｘｙ平面における撮像素子の座標系を示す。 第１の実施の形態におけるデジタルカメラの処理を説明するフローチャートである。 実施の形態におけるデジタルカメラの表示器の構成の一例を示す図であり、図１１（ａ）はレンチキュラーレンズの一例を示し、図１１（ｂ）はｘｚ平面における表示器と光束との関係を示す。 表示用画像データの生成処理を説明する概念図である。 第２の実施の形態におけるマイクロレンズと撮像素子との配置の一例を説明する図であり、図１３（ａ）はｘｙ平面におけるマイクロレンズと撮像素子との配置を示し、図１３（ｂ）はブロックを一般化した場合のｘｙ平面におけるマイクロレンズと撮像素子との配置を示し、図１３（ｃ）は演算結果に応じてブロックが移動する様子を模式的に示す。 第２の実施の形態におけるデジタルカメラの処理を説明するフローチャートである。 第３の実施の形態におけるデジタルカメラの構成を説明する図である。
－第１の実施の形態－
　本実施の形態のデジタルカメラは、１つの被写界について複数の視点（視差）数の画像が生成可能に構成されている。このデジタルカメラは、ユーザが所望する視点数、視差、視点変化の方向、被写界深度等を選択すると、ユーザの選択に応じた多視点の画像を作成することができる。以下、詳細に説明する。
　図１は、第１の実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ１は、撮影レンズＬ１を有する交換レンズ２が着脱可能に構成されている。デジタルカメラ１は、撮像ユニット１００，制御回路１０１，Ａ／Ｄ変換回路１０２、メモリ１０３，駆動部１０４、メモリカードインタフェース１０７、操作部１０８、表示器１０９およびＬＣＤ駆動回路１１０を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、図１においては、ｚ軸を撮影レンズＬ１の光軸に平行となるように設定され、ｚ軸と直交する平面内でｘ軸とｙ軸とが互いに直交する方向に設定されている。
　撮影レンズＬ１は、複数の光学レンズ群から構成され、被写界からの光束をその焦点面近傍に結像する。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、駆動部１０４により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。駆動部１０４は、制御回路１０１からの命令に応じて、撮像素子１３にタイミング信号を出力し、撮像素子１３の駆動タイミングを制御する。
　Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、制御プログラムに基づいて、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。制御回路１０１は、画像処理部１０５および演算部１０６を機能的に備える。画像処理１０５は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号に対して種々の画像処理を施して画像データを生成する。そして、画像処理部１０５は生成した画像データに対してＪＰＥＧ圧縮処理を施し、ＥＸＩＦなどの形式でメモリカード１０７ａへ記録する。演算部１０６は、上記の画像処理部１０５により行われる各種の画像処理のための演算処理を行う。
　メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース１０７は、メモリカード１０７ａが着脱可能なインタフェースである。メモリカードインタフェース１０７は、制御回路１０１の制御に応じて、画像データをメモリカード１０７ａに書き込んだり、メモリカード１０７ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１０７ａはコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。
　ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は、たとえば液晶等により構成され、再生モードにおいてメモリカード１０７ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。ＬＣＤ駆動回路１１０および表示器１０９の詳細については説明を後述する。
　操作部１０８は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１０８は、電源ボタン、レリーズボタン、モード選択ボタン、その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。モード選択ボタンは、デジタルカメラ１の動作を撮影モードと再生モードとの間で切り替えるための操作をする際に用いられる。また、デジタルカメラ１は、撮影モードとして、複数の視点数の画像（多視点画像）を撮影するための多視点画像生成モードを含む。多視点画像生成モードでは、ユーザにより撮影する画像の視点数、視差、視点変化の方向、被写界深度等の視点条件を選択可能に構成されている。多視点画像生成モードにおける視点条件の選択は、上述したメニュー画面上から操作部１０８を操作することにより行われる。
　次に、撮像ユニット１００の構成について詳細に説明する。撮像ユニット１００は、上述したようにマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、二次元状に配列された複数のマイクロレンズ１２０により構成される。撮像素子１３には、上記の各マイクロレンズ１２０を通過した光を受光する画素配列１３０が、マイクロレンズ１２０に対応した配置パターンで配置されている。各々の画素配列１３０は、二次元状に配列された複数の光電変換素子１３１（以下、撮像画素１３１と呼ぶ）により構成される。
　図２にマイクロレンズ１２０と撮像素子１３の配置の一例を示す。図２（ａ）は、撮影レンズＬ１の光軸方向と直交する方向（ｘｙ平面）における、マイクロレンズ１２０および撮像素子１３の撮像画素１３１の配置の一例を説明する図である。図２（ａ）に示すマイクロレンズアレイ１２には、ｘ軸方向に６個のマイクロレンズ１２０とｙ軸方向に６個のマイクロレンズ１２０、すなわち６×６個のマイクロレンズ１２０が配列されている。１つのマイクロレンズ１２０には、１つの画素配列１３０が対応して設けられる。個々の画素配列１３０は、たとえばｘ軸方向に５個の撮像画素１３１とｙ軸方向に５個の撮像画素１３１、すなわち５×５個の撮像画素１３１を備える。すなわち、１つのマイクロレンズ１２０に対して、５×５個の撮像画素１３１が配置されている。その結果、本実施の形態においては、撮像素子１３は３０×３０個の撮像画素１３１を有している。
　図２（ｂ）は、撮影レンズＬ１の光軸方向（ｚ軸方向）における、撮影レンズＬ１とマイクロレンズ１２０と撮像素子１３との位置関係を説明する図である。図２（ｂ）に示すように、マイクロレンズ１２０は、被写体（物体面）の像を捕らえる撮影レンズＬ１の焦点位置（結像面）、すなわち物体面と共役な位置に配置される。撮像素子１３はマイクロレンズ１２０の焦点距離だけ離れた位置に配置される。その結果、撮像素子１３の撮像面が撮影レンズＬ１と共役となっている。なお、図２（ｂ）においては、物体面に撮影レンズＬ１の焦点が合っている場合、すなわち撮影レンズＬ１からの光束がマイクロレンズ１２０上で結像している場合を示している。
　図２（ｂ）において、撮像画素１３１ａｉに対応するマイクロレンズ１２０による、撮影レンズＬ１の瞳面への投影像が占める領域が、撮影レンズＬ１の瞳上の部分領域Ｐ１である。部分領域Ｐ１と同様に、部分領域Ｐ２，Ｐ３，…は、撮像画素１３１ｂｉ，１３１ｃｉ，…に対応する。撮影レンズＬ１の瞳上の部分領域Ｐ１，Ｐ２，Ｐ３，…を透過した光束ｒ１，ｒ２，ｒ３，・・・はそれぞれ、マイクロレンズを透過して撮像画素１３１ａｉ，１３１ｂｉ，１３１ｃｉ，…に入射する。なお、図２（ｂ）では、撮影レンズＬ１の光軸上に配置されたマイクロレンズ１２０へ入射する光束ｒ１～ｒ５を代表して示しているが、光軸から離れた位置に設けられたマイクロレンズ１２０についても同様に各光束ｒ１～ｒ５が入射し、対応する撮像画素１３１に導かれる。また、部分領域Ｐ１，Ｐ２，Ｐ３，・・・は実際には二次元状に、すなわちｙ軸方向にも存在するが、ここでは説明を簡単にするためｘ軸方向の配列のみを考える。
　図２（ｃ）は、１つの画素配列１３０ｉ上における撮像画素１３１ａｉ～１３１ｄｉの位置関係を示す。なお、図２（ｂ）ではｘ軸方における撮影レンズＬ１の部分領域Ｐ１～Ｐ５を例としているので、各光束ｒ１～ｒ５はｘ軸方向に並んで配置された撮像画素１３１ａｉ～１３１ｄｉにそれぞれ入射する。そして、各撮像画素１３１ａｉ，１３１ｂｉ，１３１ｃｉ，・・・は、それぞれ画像信号ａｉ，ｂｉ，ｃｉ，・・・を出力する。
　上記のように構成された撮像ユニット１００から出力された画像信号を用いて、デジタルカメラ１の画像処理部１０５により多視点（多視差）画像を生成するための処理が行われる。また、本実施の形態のデジタルカメラ１のＬＣＤ駆動回路１１０および表示器１０９は、生成された多視点（多視差）画像を立体画像（３Ｄ画像）として表示可能に構成されている。以下、（Ａ）多視点（多視差）画像の生成原理、（Ｂ）多視点画像間で視差が発生する原理、（Ｃ）多視点画像の生成処理、（Ｄ）立体表示について説明する。
（Ａ）多視点（多視差）画像の生成原理
　撮像ユニット１００に含まれる各撮像画素１３１から出力される画像信号を用いて、被写体からの光束の位置と方向とがそれぞれ独立に検出される。被写体からの光束の位置はマイクロレンズ１２０の数に応じて検出できる。そのため、画像信号に基づいて生成される画像データの画素数、すなわち解像度はマイクロレンズ１２０の数によって制限されることになる。図２（ａ）に示すように、マイクロレンズアレイ１２が６×６個のマイクロレンズ１２０を有している場合には、画像データの解像度は３６（＝６×６）となる。
　視点の方向は１つのマイクロレンズ１２０に対応して設けられた撮像画素１３１の数に応じて検出される。上述したように、撮影レンズＬ１の瞳面と撮像素子１３の撮像面とは共役なので、１つの画素配列１３０に含まれる撮像画素１３１の数と同数の部分領域Ｐが撮影レンズＬ１の瞳面で分割されることになる。画像処理部１０５は、この各部分領域Ｐを通過した光束ｒに対応する画像信号ごとに画像データを生成する。その結果、画像処理部１０５は、同一の被写体に対して視点の異なる部分領域Ｐの数と同数、すなわち、１つの画素配列１３０に含まれる撮像画素１３１の数と同数の画像データを生成する。図２（ａ）に示す場合のように、１つのマイクロレンズ１２０に対して５×５個の撮像画素１３１が配置されている場合には、５×５個の視点を検出できるので、画像処理部１０５は５×５個の視点が異なる画像データを生成する。
　さらに、画像処理部１０５は、１つの画素配列１３０で規定される領域を複数の抽出領域（たとえば矩形領域）に分割し、抽出領域に含まれる複数の撮像画素１３１から出力される画素信号を用いて画像データを生成する。この場合には、画像処理部１０５は抽出領域の数と同数の視点数の画像データを生成する。換言すると、抽出領域の数と同数の部分領域Ｐが撮影レンズＬ１の瞳面で分割されることになり、画像処理部１０５は、この各部分領域Ｐを通過した光束ｒに対応する画像信号ごとに画像データを生成する。なお、以後の説明では、抽出領域をブロックと呼ぶ。また、ブロックの大きさは、メニュー画面上でユーザによる操作部１０８を用いた選択、設定処理を行うことにより設定可能に構成されているものとする。設定処理の詳細については、説明を後述する。
　図３を用いてブロックの大きさと視点数との関係について説明する。図３では、ユーザによりブロックＢｌｏの大きさが１に設定された場合、すなわち１つのブロックＢｌｏに１つの撮像画素１３１が含まれる場合を示す。なお、図３では、説明の都合上、ｘ軸方向の視点数についてのみ示す。図３（ａ）は、撮像素子１３に含まれる複数の画素配列１３０のうちの１つの画素配列１３０ｉを一例として示す。
　この場合、画像処理部１５は、撮像素子１３から出力された画像信号の中から、図３（ａ）に示す画素配列１３０ｉに含まれる撮像画素１３１ａｉから出力された画像信号ａｉを抽出する。さらに、画像処理部１０５は、撮像素子１３に含まれる全ての画素配列１３０のそれぞれの撮像画素１３１ａから出力された画像信号ａを抽出する。そして、画像処理部１０５は、抽出した全ての画像信号ａを用いて１つの画像データＩｍ_ａを生成する。同様に、画像処理部１０５は、各画素配列１３０に含まれるそれぞれの撮像画素１３１ｂ，・・・，１３１ｅから出力された画像信号ｂ，・・・，ｅを用いて画像データＩｍ_ｂ，・・・，Ｉｍ_ｅを生成する。その結果、図３（ｂ）に示すように、画像処理部１０５は５つ（５視点）の画像データＩｍ_ａ，Ｉｍ_ｂ，・・・，Ｉｍ_ｅを生成する。
　図４を用いてブロックＢｌｏの大きさと視点数との関係について説明する。図４（ａ）は、ユーザによりブロックＢｌｏの大きさが２×３に設定された場合、すなわち１つのブロックＢｌｏに６（＝２×３）個の撮像画素１３１が含まれる場合を示す。なお、図４についても図３と同様に、説明の都合上、ｘ軸方向の視点数についてのみ示す。図４（ａ）は、撮像素子１３に含まれる複数の画素配列１３０のうちの１つの画素配列１３０ｉを一例として示す。また、ブロックＢｌｏ_ｂｉ（図４（ａ）の縦線領域），Ｂｌｏ_ｃｉ（図４（ａ）のドット領域），Ｂｌｏ_ｄｉ（図４（ａ）の横線領域）は、ブロックＢｌｏ_ａｉ（図４（ａ）の斜線領域）を１画素ずつ順次、ｘ軸方向に移動させたものである。
　この場合、画像処理部１５は、撮像素子１３から出力された画像信号の中から、画素配列１３０ｉのブロックＢｌｏ_ａｉに含まれる６（２×３）個の撮像画素１３１から出力される画像信号を加算して、１つの画像信号ａｉを抽出する。さらに、画像処理部１０５は、撮像素子１３に含まれる全ての画素配列１３０のそれぞれのブロックＢｌｏ_ａ内の撮像画素１３１から出力された画像信号ａを抽出する。そして、画像処理部１０５は、抽出した全ての画像信号ａを用いて１つの画像データＩｍ_ａを生成する。同様に、画像処理部１０５は、各画素配列１３０に含まれるそれぞれのブロックＢｌｏ_ｂ，・・・，Ｂｌｏ_ｄｉ内の撮像画素１３１からの出力についても同様の処理を行って画像データＩｍ_ｂ，・・・，Ｉｍ_ｄを生成する。その結果、図４（ｂ）に示すように、画像処理部１０５は４つ（４視点）の画像データＩｍ_ａ，Ｉｍ_ｂ，・・・，Ｉｍ_ｄを生成する。
　上述したようにブロックＢｌｏの数と同数の部分領域Ｐが撮影レンズＬ１の瞳面で分割されるので、撮影レンズＬ１の部分領域Ｐの大きさは設定されたブロックＢｌｏの大きさに応じて決まる。このため、撮像素子１３の各画素（すなわちブロックＢｌｏの大きさ）は、撮像素子１３と共役関係にある撮影レンズＬ１の部分領域Ｐの大きさ、すなわち光束の大きさ（径）を規定することになる。したがって、設定されたブロックＢｌｏの大きさは撮影レンズＬ１のＦ値に相当することになり、ブロックＢｌｏの大きさが小さいほどＦ値が大きくなる。
　図３を用いて説明した場合のように、ブロックＢｌｏの大きさが１に設定されている場合は、画像処理部１０５は、１つのマイクロレンズ１２０に対して１つの撮像画素１３１から出力された画像信号に基づいて、５つの画像データＩｍ_ａ～Ｉｍ_ｅを生成している。したがって、ブロックＢｌｏの大きさが１に設定された場合はＦ値が大きくなるので、生成された画像データＩｍ_ａ～Ｉｍ_ｅのそれぞれに対応する画像の被写界深度が深くなる。
　図４を用いて説明した場合のように、ブロックＢｌｏの大きさが２×３に設定されている場合は、画像処理部１０５は、１つのマイクロレンズ１２０に対して６個の撮像画素１３１から出力された画像信号に基づいて画像データを生成している。この場合の撮影レンズＬ１の部分領域Ｐは、図３の場合における撮影レンズＬ１の部分領域Ｐの大きさよりも６倍の大きさを有するので、ブロックＢｌｏ内の撮像画素１３１に入射する光束は６倍の大きさ（径）となる。したがって、ブロックＢｌｏの大きさが２×３に設定された場合はＦ値が小さくなるので、生成された画像データＩｍ_ａ～Ｉｍ_ｄのそれぞれに対応する画像の被写界深度が浅くなる。この結果、ブロックＢｌｏの大きさを大きく設定することにより、通常の一眼レフカメラ等を用いて撮影した、主要被写体にのみピントを合わせ背景や前景をぼかした写真と同様の画像が本実施の形態のデジタルカメラ１によって生成される。
　なお、上述の説明では視点の移動方向をｘ軸方向として説明したが、視点はｙ軸方向に移動するものでも、ｘｙ平面上を二次元方向に移動するものでもよい。また、ブロックＢｌｏの形状についても矩形に限定されるものではない。
（Ｂ）多視点画像間で視差が発生する原理
　上記のようにして生成された複数の視点画像のそれぞれについて視差が生じる場合と生じない場合について説明する。まず、図５を用いて、複数の視点画像のそれぞれについて視差が生じない場合について説明する。図５（ａ）は撮像側で５つの視点画像を生成する場合の光束ｒ１～ｒ５を説明する図である。図５（ｂ）は、図５（ａ）に示す光束ｒ１～ｒ５のうち、撮影レンズＬ１と焦点面（結像面）付近での光束ｒ１～ｒ５を拡大して示す図である。さらに、図５（ｃ）は、図５（ｂ）に示す光束ｒ１～ｒ５のうち、マイクロレンズアレイ１２および撮像素子１３付近での光束を拡大して示す図である。
　図５において、５つの視点の位置は図２～図４に示す撮像画素１３１ａｉ～１３１ｅｉと同様である。図５（ａ）に示すように、１つのマイクロレンズ１２０に対応して設けられた撮像画素１３１ａｉ～１３１ｅｉのそれぞれに入射する光線は、物体面Ｑ１上で同じ点で交わっている。したがって、物体面Ｑ１に存在する被写体については、視点画像データＩｍ_ａ～Ｉｍ_ｅのそれぞれに対応する画像上で視差が生じない。これに対して、物体面Ｑ１から外れた面Ｑ２で交わる光束ｒ１～ｒ５は、異なるマイクロレンズ１２０に導かれる。したがって、物体面Ｑ１から外れた面Ｑ２に存在する被写体については、視点画像データＩｍ_ａ～Ｉｍ_ｅのそれぞれに対応する画像上で視差が生じる。以下、視差が生じる場合と生じない場合とについて、詳細に説明する。
－視差が生じない場合－
　図６を参照しながら、複数の視点画像のそれぞれについて視差が生じない場合について説明する。図６（ａ）は、焦点面に結像した被写体「Ａ」の像を撮影して生成された５つの視点画像データＩｍ_ａ～Ｉｍ_ｅに対応する視点画像Ａｉ～Ｅｉを示す。すなわち、視点画像Ａｉ～Ｅｉは、撮像画素１３１ａｉ～１３１ｅｉから出力された画像信号にそれぞれ対応している。図６（ｂ）は撮像素子１３に入射する光束の様子を示す。図６（ｂ）では、紙面の上下方向をｚ軸方向とし、ｚ＝０をマイクロレンズ１２０の面、すなわち焦点面に設定している。焦点面（ｚ＝０）に結像した被写体「Ａ」の像の位置をＸ１～Ｘ９として表す。
　Ｘ５の位置に結像した像を形成する光束ｒ１～ｒ５は、マイクロレンズ１２０５を介して撮像画素１３１ａ５～１３１ｅ５にそれぞれ入射する。また、Ｘ６の位置に結像した像を形成する光束ｒ１～ｒ５は、マイクロレンズ１２０６を介して撮像画素１３１ａ６～１３１ｅ６にそれぞれ入射する。すなわち、撮像素子１３上の撮像画素１３１ａ１，１３１ａ２，１３１ａ３，・・・は、光束ｒ１を受光して画像信号を出力している。その結果、撮像画素１３１ａ１，１３１ａ２，・・・は位置Ｘ１，Ｘ２，・・・の像を撮像していることになる。
　同様に、撮像画素１３１ｂ１，１３１ｂ２，・・・は光束ｒ２を受光し、撮像画素１３１ｃ１，１３１ｃ２，・・・は光束ｒ３を受光し、撮像画素１３１ｄ１，１３１ｄ２，・・・は光束ｒ４を受光し、撮像画素１３１ｅ１，１３１ｅ２，・・・は光束ｒ５を受光する。その結果、撮像画素１３１ａ１，１３１ａ２，・・・が撮像する像、撮像画素１３１ｂ１，１３１ｂ２，・・・が撮像する像、撮像画素１３１ｃ１，１３１ｃ２，・・・が撮像する像、撮像画素１３１ｄ１，１３１ｄ２，・・・が撮像する像、撮像画素１３１ｅ１，１３１ｅ２，・・・が撮像する像は、いずれも位置Ｘ１，Ｘ２，・・・の像となる。したがって、図６（ａ）に示すように、撮像画素１３１ａｉ～１３１ｅｉから出力されたそれぞれの画像信号に基づいて生成される５つの視点画像Ａｉ～Ｅｉは、同一の画像となるため視差が生じない。
－視差が生じる場合－
　図７を参照しながら、複数の視点画像のそれぞれについて視差が生じない場合について説明する。図７（ａ）は、焦点面とは異なる面に結像した被写体「Ａ」の像を撮影して生成された５つの視点画像Ａｉ～Ｅｉを示す。図６（ａ）の場合と同様に、視点画像Ａｉ～Ｅｉは、撮像画素１３１ａｉ～１３１ｅｉから出力された画像信号にそれぞれ対応している。図７（ｂ）は撮像素子１３に入射する光束の様子を示す。図７（ｂ）においても、紙面の上下方向をｚ軸方向とし、ｚ＝０をマイクロレンズ１２０の面、すなわち焦点面に設定している。焦点面とは異なる面（ｚ＝ｈ１）に結像した被写体「Ａ」の像の位置をＸ１～Ｘ９として表す。
　Ｘ５の位置に結像した像を形成する光束ｒ１～ｒ５のうち光束ｒ１は、マイクロレンズ１２０３を介して撮像画素１３１ａ３へ入射する。また、光束ｒ２はマイクロレンズ１２０４を介して撮像画素１３１ｂ４へ、光束ｒ３はマイクロレンズ１２０５を介して撮像画素１３１ｃ５へ、光束ｒ４はマイクロレンズ１２０６を介して撮像画素１３１ｄ６へ、光束ｒ５はマイクロレンズ１２０７を介して撮像画素１３１ｅ７へ入射する。同様に、Ｘ６の位置に結像した像を形成する光束ｒ１～ｒ５のうち光束ｒ１は、撮像画素１３１ａ４へ、光束ｒ２は撮像画素１３１ｂ５へ、光束ｒ３は撮像画素１３１ｃ６へ、光束ｒ４は撮像画素１３１ｄ７へ、光束ｒ５は撮像画素１３１ｅ８へ入射する。その結果、異なる位置に結像した像を形成する光束ｒ１～ｒ５のそれぞれは、異なるマイクロレンズ１２０を介して撮像素子１３に入射する。
　したがって、撮像素子１３上の撮像画素１３１ａ１，１３１ａ２，１３１ａ３，・・・は、光束ｒ１を受光して画像信号を出力している。すなわち、撮像画素１３１ａ１，１３１ａ２，１３１ａ３・・・は位置Ｘ３、Ｘ４、Ｘ５・・・の像を撮像していることになる。また、撮像素子１３上の撮像画素１３１ｂ１，１３１ｂ２，１３１ｂ３，・・・は光束ｒ２を受光するので、位置Ｘ２，Ｘ３，Ｘ４・・・の像を撮像していることになる。同様に、撮像画素１３１ｃ１，１３１ｃ２，１３１ｃ３，・・・は光束ｒ３を受光して位置Ｘ１，Ｘ２，Ｘ３・・・の像を撮像し、撮像画素１３１ｄ１，１３１ｄ２，１３１ｄ３，・・・は光束ｒ４を受光して位置Ｘ０（不図示），Ｘ１，Ｘ２・・・の像を撮像し、撮像画素１３１ｅ１，１３１ｅ２，１３１ｅ３，・・・は光束ｒ５を受光して位置Ｘ（－１）（不図示），Ｘ０（不図示），Ｘ１，・・・の像を撮像している。
　その結果、撮像画素１３１ａ１，１３１ａ２，・・・が撮像する像、撮像画素１３１ｂ１，１３１ｂ２，・・・が撮像する像、撮像画素１３１ｃ１，１３１ｃ２，・・・が撮像する像、撮像画素１３１ｄ１，１３１ｄ２，・・・が撮像する像、撮像画素１３１ｅ１，１３１ｅ２，・・・が撮像する像は、その位置がｘ軸方向に少しずつずれたものとなる。したがって、図７（ａ）に示すように、撮像画素１３１ａｉ～１３１ｅｉから出力されたそれぞれの画像信号に基づいて生成される５つの視点画像Ａｉ～Ｅｉは、同一の画像とはならないので視差が生じることになる。このようにして、デジタルカメラ１に対する物体面の奥行き、すなわち距離情報が取得された複数の視点画像間において視差となって現れる。後述するように、この視差は３次元表示可能な表示素子上においては立体情報として扱うことができる。
（Ｃ）多視点画像の生成処理
　以下、第１の実施の形態におけるデジタルカメラ１による多視点（多視差）画像の生成処理、すなわち多視点画像生成モードが設定された場合のデジタルカメラ１の動作について説明する。なお、多視点画像生成モードは、ユーザによるモード選択ボタンの操作に応じて多視点画像生成モードが選択され、操作部１０８から操作信号が入力されると、制御回路１０１により設定される。
　多視点画像生成モードでは、上述したように、ユーザにより視点画像（すなわち３次元画像）の特性、すなわち視点条件が選択可能となるように構成されている。選択可能な特性として、視点変化の方向、視点数、視点の変化量、視点生成の画素数（ブロックＢｌｏの大きさ）がある。これらの特性は、上述した表示器１０９に表示されるメニュー画面上から、ユーザが操作部１０８を用いて選択操作することにより設定される。演算部１０６は、上記の特性に対応するパラメータを可変パラメータとして、視点画像データを生成する際の演算処理に用いる。
　図８（ａ）に各種可変パラメータと、可変パラメータにより制御可能となる特性を示す。図８（ａ）に示す「ブロック内の画素（撮像画素１３１）数ｕ、ｖ」はブロックＢｌｏの大きさを決定するための可変パラメータであり、設定されたブロックＢｌｏ内の画素数に応じて、上述したように視点画像の被写界深度が決定される。なお、ｕはブロックＢｌｏ内のｘ軸方向の画素数、ｖはブロックＢｌｏ内のｙ軸方向の画素数を示す。
　「ブロックの移動する回数Ｋｘ、Ｋｙ」は多視点画像の視点数を決定するための可変パラメータである。画像処理部１０５は、設定された回数Ｋｘ、Ｋｙと同数の異なるブロックＢｌｏを画素配列１３０上に設定して、それぞれのブロックＢｌｏに含まれる撮像画素１３１から画像信号を抽出する。図３、図４で示したようにブロックＢｌｏが５回移動すれば５視点の画像が生成され、ブロックＢｌｏが４回移動すれば４視点の画像が生成される。
　「ブロックの移動量Ｓｘ、Ｓｙ」は複数の視点画像間の視点の変化量を決定するための可変パラメータである。ブロックＢｌｏが移動する量が大きくなるほど、視点画像間で生じる視差が大きくなる。画像処理部１０５は、設定された移動量Ｓｘ、Ｓｙに応じた位置間隔で画素配列１３０上に配列されたブロックＢｌｏから画像信号を抽出する。「ブロックの移動方向Arctan（Sy/Sx）」は視点画像の視点変化の方向を決定するための可変パラメータである。画像処理部１０５は、選択された移動方向に沿って画素配列１３０上に設定されたブロックＢｌｏから画像信号を抽出する。図３、図４で説明した例においては移動方向としてｘ軸方向が設定された場合を示した。「ブロックの初期位置Ｕ０、Ｖ０」は視点画像の視点の初期位置を決定するための可変パラメータである。
　また、図８（ｂ）に示すように、マイクロレンズ１２０の配列数Ｍ、Ｎおよびピッチｐ、ｑ、撮像素子１３の画素（撮像画素１３１）数Ｃｘ、Ｃｙおよびピッチｓ、ｔ、生成画像の解像度Ｍ、Ｎが固定パラメータとして設定されている。これらの固定パラメータはマイクロレンズ１２０および撮像素子１３の構造に依存して決定される値である。
　図３に示す５つの視点（ｘ軸方向に５視点）画像を生成する場合には、上記の可変パラメータおよび固定パラメータの値は以下のようになる。
マイクロレンズ１２０のｘ軸方向の配列数Ｍ＝６
マイクロレンズ１２０のｙ軸方向の配列数Ｎ＝６
撮像素子１３のｘ軸方向の画素数Ｃｘ＝３０
撮像素子１３のｙ軸方向の画素数Ｃｙ＝３０
ブロックの初期位置Ｕ０＝０、Ｖ０＝０
ブロックの移動する回数Ｋｘ＝５、Ｋｙ＝１
ブロックの移動量Ｓｘ＝１、Ｓｙ＝０
ブロック内の画素数ｕ＝１、ｖ＝１
なお、この場合の視点画像の解像度は３６（＝６×６＝Ｍ×Ｎ）である。
　図４に示す４つの多視点（水平方向に４視点）画像を生成する場合には、上記の可変パラメータおよび固定パラメータの値は以下のようになる。
マイクロレンズ１２０のｘ軸方向の配列数Ｍ＝６
マイクロレンズ１２０のｙ軸方向の配列数Ｎ＝６
撮像素子１３のｘ軸方向の画素数Ｃｘ＝３０
撮像素子１３のｙ軸方向の画素数Ｃｙ＝３０
ブロックの初期位置Ｕ０＝０、Ｖ０＝０
ブロックの移動する回数Ｋｘ＝４、Ｋｙ＝１
ブロックの移動量Ｓｘ＝１、Ｓｙ＝０
ブロック内の画素数ｕ＝２、ｖ＝３
なお、この場合の視点画像の解像度は３６（＝６×６＝Ｍ×Ｎ）である。
　上記の各種のパラメータが設定されると、画像処理部１０５は、１つの被写体を撮影して取得され、メモリ１０３に格納された画像信号を用いて、複数の視点画像データを生成する。上述したように、画像処理部１０５は、１つのマイクロレンズ１２０に対応する画素配列１３０内の撮像画素１３１から出力された画像信号のうち、設定されたブロックＢｌｏに含まれる撮像画素１３１から出力された画素信号を抽出する。そして、画像処理部１０５は、全ての画素配列１３０内に対しても同様に画素信号を抽出し、抽出された複数の画素信号を用いて１つの視点画像データＩｍを生成する。画像処理部１０５は、上記の処理を設定されたブロックＢｌｏの移動量Ｓｘ、Ｓｙだけ移動させながら、設定されたブロックＢｌｏの移動回数Ｋｘ、Ｋｙだけ行うことにより、複数の視点画像データＩｍを生成する。このとき、画像処理部１０５は、演算部１０６による演算結果に基づいて画像信号を抽出する。すなわち、演算部１０６は、画像処理部１０５が視点画像データＩｍを生成するために抽出する画像信号を決定する。
　まず、演算部１０６が行う演算処理について説明する。
　図９（ａ）にｘｙ平面におけるマイクロレンズアレイ１２の座標系（ｍ，ｎ）を示す。この座標系では、図の左下端のマイクロレンズ１２０の位置を（ｍ，ｎ）＝（０，０）として示す。なお、図９（ａ）においては、０≦ｍ＜６，０≦ｎ＜６である。さらに、図９（ｂ）にｘｙ平面における撮像素子１３の座標系（ｉ，ｊ）を示す。図９（ｂ）の撮像素子１３の座標系において、（ｉ，ｊ）に配置された撮像画素１３１からの画素値、すなわち画像信号をＩ（ｉ，ｊ）で表す。
　演算部１０６は、まず（ｍ，ｎ）＝（０，０）の位置に設けられたマイクロレンズ１２０の中心位置（Ｘ０，Ｙ０）を以下の式（１）を用いて算出する。なお、係数ｐは上述したようにマイクロレンズ１２０のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｑはマイクロレンズ１２０のｙ軸方向の配列ピッチを示す固定パラメータである。
　Ｘ０＝ｍｐ＋ｐ／２
　Ｙ０＝ｎｑ＋ｑ／２　・・・（１）
　次に、演算部１０６は、マイクロレンズ１２０におけるブロックの初期位置（左下端）（Ｘ，Ｙ）を、以下の式（２）を用いて算出する。係数ｓは上述したように撮像画素１３１のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｔは撮像画素１３１のｙ軸方向の配列ピッチを示す固定パラメータである。係数Ｎｘは、ｘ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｘ＜Ｋｘである。係数Ｎｙは、ｙ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｙ＜Ｋｙである。
　Ｘ＝Ｘ０＋Ｕ０＋ｓ・Ｎｘ・Ｓｘ
　Ｙ＝Ｙ０＋Ｖ０＋ｔ・Ｎｙ・Ｓｙ　・・・（２）
　図３に示す５視点画像データおよび図４に示す４視点画像データを生成する場合には、ブロックＢｌｏの初期位置（Ｘ，Ｙ）は以下の式（２）’のように表される。なお、係数ｖは、上述したように、ブロックＢｌｏ内に含まれるｙ軸方向の撮像画素１３１の数である。
　Ｘ＝ｍｐ＋ｓ・Ｎｘ
　Ｙ＝（ｎ＋１／２）ｑ－ｔｖ／２　・・・（２）’
　演算部１０６は、式（２）を用いて算出したブロックＢｌｏの初期位置（Ｘ，Ｙ）を撮像素子１３の座標系（ｉ，ｊ）に換算する。このとき、演算部１０６は、以下の式（３）を用いる。
　ｉ＝Ｘ／ｓ
　ｊ＝Ｙ／ｔ　・・・（３）
　図３に示す５視点画像データＩｍを生成する場合には、ブロックＢｌｏの初期位置（Ｘ，Ｙ）は以下の式（３）’に示す位置に換算される。なお、以下の換算は、図３においては各パラメータがＵ０＝－ｐ／２、Ｖ０＝－ｔｖ／２、ｐ＝５ｓ、ｑ＝５ｔ、ｕ＝１、ｖ＝１のように表すことができることに基づいている。
　ｉ＝Ｘ／ｓ＝ｍｐ／ｓ＋Ｎｘ＝５ｍ＋Ｎｘ
　ｊ＝Ｙ／ｔ＝（ｎ＋１／２）ｑ／ｔ－ｖ／２＝５ｎ＋２　・・・（３）’
　図４に示す４視点画像データＩｍを生成する場合には、ブロックＢｌｏの初期位置（Ｘ，Ｙ）は以下の式（３）”に示す位置に換算される。なお、以下の換算は、図４においては各パラメータがＵ０＝－ｐ／２、Ｖ０＝－ｔｖ／２、ｐ＝５ｓ、ｑ＝５ｔ、ｕ＝２、ｖ＝３のように表すことができることに基づいている。
　ｉ＝Ｘ／ｓ＝ｍｐ／ｓ＋Ｎｘ＝５ｍ＋Ｎｘ
　ｊ＝Ｙ／ｔ＝（ｎ＋１／２）ｑ／ｔ－ｖ／２＝５ｎ＋１　・・・（３）”
　画像処理部１０５は、上記の式（３）にて算出されたブロックＢｌｏの初期位置を用いて、画像信号Ｉを抽出する。すなわち、画像処理部１０５は、式（３）で算出された初期位置（ｉ，ｊ）に対応する画像信号を基準として、ブロックＢｌｏ内に含まれる画像信号の和（ブロック信号Ｉｂ（ｉ，ｊ））を算出する。この場合、画像処理部１０５は、以下の式（４）を用いてブロック信号Ｉｂ（ｉ，ｊ）を算出する。
　Ｉｂ（ｉ，ｊ）＝ΣＩ（ｉ＋ｋ－１，ｊ＋ｌ－１）
　　　＝Ｉ（ｉ，ｊ）＋Ｉ（ｉ，ｊ＋１）＋・・・＋Ｉ（ｉ，ｊ＋ｖ－１）
　　　　＋Ｉ（ｉ＋１，ｊ）＋Ｉ（ｉ＋１，ｊ＋１）＋・・・＋Ｉ（ｉ＋１，ｊ＋ｖ－１）
　　　　＋Ｉ（ｉ＋２，ｊ）＋Ｉ（ｉ＋２，ｊ＋１）＋・・・＋Ｉ（ｉ＋２，ｊ＋ｖ－１）
　　　　＋　・・・・
　　　　＋Ｉ（ｉ＋ｕ－１，ｊ）＋Ｉ（ｉ＋ｕ－１，ｊ＋１）＋・・・＋Ｉ（ｉ＋ｕ－１，ｊ＋ｖ－１）　・・・（４）
　図３に示す５視点画像データＩｍを生成する場合には、ブロック信号Ｉｂ（ｉ，ｊ）は以下の式（４）’で示す値となる。また、図４に示す４視点画像データを生成する場合には、ブロック信号Ｉｂ（ｉ，ｊ）は以下の式（４）”で示す値となる。
　Ｉｂ（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＝Ｉ（５ｍ＋Ｎｘ，５ｎ＋２）　・・・（４）’
　Ｉｂ（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋Ｉ（ｉ，ｊ＋１）＋Ｉ（ｉ，ｊ＋２）＋Ｉ（ｉ＋１，ｊ）＋Ｉ（ｉ＋１，ｊ＋１）＋Ｉ（ｉ＋１，ｊ＋２）　・・・（４）”
　以上の処理を全てのマイクロレンズ１２０に対して行って生成されたブロック信号Ｉｂ（ｉ，ｊ）を用いて、画像処理部１０５は１つの視点画像データＩｍを生成する。すなわち、画像処理部１０５は、ブロック信号Ｉｂ（ｉ，ｊ）が視点画像データＩｍ内で１つの画素値を表すように、各ブロック信号Ｉｂを加算する。その後、演算部１０６は、ブロックＢｌｏを設定された移動方向(Arctan（Sy／Sx）に設定された移動量Ｓｘ、Ｓｙずつ移動させた場合のブロックＢｌｏの初期位置（ｉ，ｊ）を新たに算出する。そして、画像処理部１０５は、新たに算出されたブロックＢｌｏの初期位置（ｉ，ｊ）に基づいて式（４）を用いて新たにブロック信号Ｉｂ（ｉ，ｊ）を算出し、異なる１つの視点画像データＩｍを生成する。画像処理部１０５は、上記の処理を設定された移動回数Ｋｘ、Ｋｙ分繰り返して、複数の視点画像データＩｍを生成する。
　画像処理部１０５は、上述のようにして生成した複数の視点画像データＩｍを用いて多視点画像ファイルを生成してメモリカード１０７ａに記録する。なお、画像処理部１０５は、生成した視点画像データＩｍのそれぞれに関連付けを行ってメモリカード１０７ａに記録するようにしてもよい。
　図１０のフローチャートを用いて、以上で説明した多視点画像生成処理について説明する。図１０に示す各処理は、制御回路１０１内の図示しないメモリに記録され、多視点画像生成モードが設定された状態で撮影処理により取得された画像信号がメモリ１０３内に格納されると、制御回路１０１により起動され、実行される。
　ステップＳ１０１では、視点画像を生成する個数（Ｎｘ，Ｎｙ）の値を初期値である０に設定してステップＳ１０２へ進む。ステップＳ１０２では、マイクロレンズ１２０の初期位置としてｍ，ｎの値を０に設定してステップＳ１０３へ進む。
　ステップＳ１０３では、式（１）を用いて対象となるマイクロレンズ１２０の中心位置を算出してステップＳ１０４へ進む。ステップＳ１０４では、式（２）を用いて、マイクロレンズ１２０の座標系におけるブロックＢｌｏの初期位置、すなわち左下端部の座標を算出してステップＳ１０５へ進む。ステップＳ１０５では、ステップＳ１０４で算出した座標値を、式（３）を用いて撮像素子１３の座標系（ｉ，ｊ）に換算してステップＳ１０６へ進む。
　ステップＳ１０６では、式（４）を用いて、ブロックに含まれる光電変換信号１３１から出力された画像信号を加算し、ブロック信号Ｉｂを生成してステップＳ１０７へ進む。ステップＳ１０７では、次のマイクロレンズ１２０へ移動（ｍ＝ｍ＋１またはｎ＝ｎ＋１）してステップＳ１０８へ進む。ステップＳ１０８では、全てのマイクロレンズ１２０に対応する画素配列１３０に対して処理が終了したか否かを判定する。全ての画素配列１３０に対して処理が終了した場合、すなわちｍ＝Ｍかつｎ＝Ｎの場合には、ステップＳ１０９へ進む。全ての画素配列１３０に対して処理が終了していない場合には、ステップＳ１０９が否定判定されてステップＳ１０３へ戻る。
　ステップＳ１０９では、各画素配列１３０ごとに生成されたブロック信号Ｉｂを合成して１つの視点画像データＩｍを生成してステップＳ１１０へ進む。ステップＳ１１０では、ブロックの位置を設定された移動量であるＳｘ，Ｓｙだけ移動させる。そして、視点画像の個数をＮｘ＝Ｎｘ＋１またはＮｙ＝Ｎｙ＋１に設定してステップＳ１１１へ進む。
　ステップＳ１１１では、設定された視点数（Ｋｘ，Ｋｙ）分の視点画像データＩｍが生成されたか否かを判定する。設定された視点数の視点画像データＩｍが生成された場合、すなわちＮｘ＝ＫｘかつＮｙ＝Ｋｙの場合には、ステップＳ１１１が肯定判定されてステップＳ１１２へ進む。設定された視点数の視点画像データＩｍが生成されていない場合には、ステップＳ１1１が否定判定されてステップＳ１０２へ戻る。ステップＳ１１２では、生成されたＫｘ×Ｋｙ個の視点画像データＩｍを用いて多視点画像ファイルを生成し、メモリカード１０７ａに記録させて処理を終了する。
（Ｄ）立体表示
　上述のようにして生成された複数の視点画像データＩｍのそれぞれに対応する視点画像を表示器１０９に立体画像として表示させるための処理について説明する。
　図１１に示すように表示器１０９は、その表面に、円筒形を軸方向に切断したような形状を有する凸レンズ１５１を複数有するレンチキュラーレンズ１５０を備える。すなわち表示器１０９は、公知のレンチキュラー方式により複数の視点画像を立体画像として表示する。図１１（ａ）に示すように、本実施の形態においては、レンチキュラーレンズ１５０の個々の凸レンズ１５１の長辺方向をｙ軸方向に揃えて配置されている。なお、以下の説明においても、代表してｘ軸方向の処理を中心に行う。
　図１１（ｂ）には、表示器１０９のｘｚ平面における断面図を示す。レンチキュラーレンズ１５０の個々の凸レンズ１５１は、表示器１０９を構成する、ｙ軸方向に沿った複数の画素列Ｃｏからの光を集光してユーザへ導く。図１１（ｂ）では、１つの凸レンズ１５１ａが表示器１０９の画素列Ｃｏ１_１～Ｃｏ１_５から発せられた光を集光している。そして、複数の凸レンズ１５１から導かれる光のうち、画素列Ｃｏ１_１，Ｃｏ２_１，Ｃｏ３_１，・・・からの光は、点Ｗ１で結像する。同様に、画素列Ｃｏ１_２，Ｃｏ２_２，Ｃｏ３_２，・・・からの光は点Ｗ２で、画素列Ｃｏ１_３，Ｃｏ２_３，Ｃｏ３_３，・・・からの光は点Ｗ３で、画素列Ｃｏ１_４，Ｃｏ２_４，Ｃｏ３_４，・・・からの光は点Ｗ４で、画素列Ｃｏ１_５，Ｃｏ２_５，Ｃｏ３_５，・・・からの光は点Ｗ５で結像する。
　したがって、ユーザ（閲覧者）がＨ１の位置から表示器１０９に表示された画像を観察する場合、右目で点Ｗ１の像、すなわち画素列Ｃｏ１_１，Ｃｏ２_１，Ｃｏ３_１，・・・からの光を観察し、左目で点Ｗ２の像、すなわち画素列Ｃｏ１_２，Ｃｏ２_２，Ｃｏ３_２，・・・からの光を観察する。また、ユーザがＨ２の位置から画像を観察する場合は、右目で点Ｗ４の像（画素列Ｃｏ１_４，Ｃｏ２_４，Ｃｏ３_４，・・・からの光）を観察し、左目で点Ｗ５の像（画素列Ｃｏ１_５，Ｃｏ２_５，Ｃｏ３_５，・・・からの光）を観察する。
　なお、表示器１０９は、パララックスバリア方式により複数の視点画像を立体画像として表示させてもよい。この場合、図１１のレンチキュラーレンズ１５０が配置されている位置に、ｙ軸方向に長辺をそろえた複数の細長い開口を有するマスク(バリア)を配置すればよい。
　図１２に示す概念図を用いて、上記のように立体画像が表示可能な表示器１０９へ出力する表示用データを生成する処理を説明する。同一の被写界を撮影した、視差のある多視点画像（たとえば５つの視点）に対応する視点画像データをＩｍ１，Ｉｍ２，・・・，Ｉｍ５とする。この場合、画像処理部１０５は、視点画像データをＩｍ１，Ｉｍ２，・・・，Ｉｍ５からそれぞれ同一の画素列Ｃｏ１に対応する画像データを抽出して合成することにより１つの表示用画像データＩｄ１を作成する。さらに、画像処理部１０５は、視点画像データＩｍ１，Ｉｍ２，・・・，Ｉｍ５のそれぞれから画素列Ｃｏ２に対応する画像データを抽出して、１つの表示用画像データＩｄ２を作成する。以下同様にして画像処理部１０５は表示用画像データＩｄ３～Ｉｄ５を作成する。
　各表示用画像データＩｄ１～Ｉｄ５が作成されると、画像処理部１０５は、ＬＣＤ駆動制御部１１０に表示用画像データＩｄ１を出力して、表示器１０９のＣｏ１に表示用画像データＩｄ１に対応する画像を表示させる。同様に、画像処理部１０５は、ＬＣＤ駆動制御部１１０に表示用画像データＩｄ２～Ｉｄ５を出力して、表示器１０９のＣｏ２～Ｃｏ５にそれぞれ表示用画像データＩｄ２～Ｉｄ５に対応する画像を表示させる。
　上述したように、画素列Ｃｏ１_１，Ｃｏ２_１，Ｃｏ３_１，・・・からの光は、点Ｗ１で結像するので、視点画像データＩｍ１に対応する画像は点Ｗ１で観察される。同様に、視点画像データＩｍ２に対応する画像は点Ｗ２で観察され、視点画像データＩｄ３に対応する画像は点Ｗ３で観察され、視点画像データＩｍ４に対応する画像は点Ｗ４で観察され、視点画像データＩｍ５に対応する画像は点Ｗ５で観察される。上述したように、Ｈ１に位置するユーザは、右目で点Ｗ１を観察し左目で点Ｗ２を観察する。すなわち、Ｈ１のユーザは右目で視点画像データＩｍ１に対応する画像を観察し、左目で視点画像データＩｍ２に対応する画像を観察することになる。視点画像データＩｍ１とＩｍ２との間には視差があり、ユーザは視点画像データＩｍ１とＩｍ２のそれぞれに対応する画像を異なる目で観察する。その結果、同一の被写界を撮影した画像が立体画像としてユーザによって観察される。なお、ユーザがＨ１に位置する場合は、ユーザは右目で視点画像データＩｍ４に対応する画像を観察し、左目で視点画像データＩｍ５に対応する画像を観察することで、同一被写界を撮影した画像を立体画像として観察する。
　以上で説明した第１の実施の形態によれば、以下の作用効果が得られる。
（１）マイクロレンズ１２０は、撮影レンズＬ１の焦点面近傍に二次元状に複数個配置される。撮像素子１３は複数のマイクロレンズ１２０のそれぞれに対して、複数の光電変換素子（撮像画素）１３１を有する二次元状に配置された複数の画素配列１３０を備える。この撮像画素１３１は撮影レンズＬ１を通過した被写体からの光束をマイクロレンズ１２０を介して受光して画像信号を出力する。画像処理部１０５は、複数の画素配列１３０のそれぞれに含まれる複数の撮像画素１３１から出力された画像信号から、撮影レンズＬ１の複数の異なる部分領域Ｐのそれぞれに対応する複数のブロック信号Ｉｂを抽出し、抽出したブロック信号Ｉｂに基づいて部分領域Ｐのそれぞれに対応する複数の画像データＩｍを、視点位置がそれぞれ異なる視点画像データＩｍとして生成する。すなわち、画像処理部１０５は、複数の画素配列１３０のそれぞれから抽出した複数のブロック信号Ｉｂのうち、異なる画素配列１３０から抽出されたブロック信号Ｉｂであって、同一の部分領域Ｐに対応するブロック信号Ｉｂを合成して１つの視点画像データＩｍを生成する。操作部１０８はユーザによる視点数を選択する操作を受け付ける。そして、画像処理部１０５は、ユーザによる操作によって選択された視点数のブロック信号Ｉｂを抽出して、視点画像データＩｍを生成するようにした。
　立体画像を表示させるには、視点が動くと逆視が発生したり、方向によってはボケやモアレが発生しやすい、すなわち見にくく目が疲れやすい２眼方式の立体表示ディスプレイに対し、逆視が起きにくい多数の視点を有するディスプレイ（多眼方式裸眼ディスプレイ）を用いるのが好ましい。従来では、この多眼方式裸眼ディスプレイに表示させる画像を取得するために、位置を変えながら複数回の撮影を行うか、多数のカメラを並べて撮影を行う等煩雑な手順が必要となった。また、立体画像表示では、輻輳（両眼視点の交差）と焦点との一致は、疲れや異常な見えを引き起こさないために重要な要素である。しかしながら、一般に、ステレオ方式で撮像した画像では、2台のカメラが平行に置かれ無限遠に焦点を合わせた（いわゆる平行ステレオ）構成が多く、この条件を満足させることは困難である。
　本実施の形態のデジタルカメラ１は、上述した構成を有することにより、ディスプレイの特性に応じて、ユーザが所望する視点数の視点画像データを１台のカメラを用いて取得することができるので、利便性が向上する。さらには、通常の一眼レフの撮影と同様に、自由にレンズ交換し、焦点調節機能を使って被写体の任意の位置に焦点を合わせて撮影することができる。この場合、レンズ交換やズームレンズなどの焦点距離の変化に対しても、また、被写体の焦点位置の変化に対しても、輻輳と焦点位置が常に同じなので目を疲れさせない自然な立体表示用の画像が撮影できる。すなわち、通常のカメラと同様にして焦点調節を行って撮影した画像から、被写体のピントを合わせた位置を前後に立体感のある映像を作ることができるので、ユーザは通常のカメラを用いた撮影との違和感を覚えることなく立体画像を撮影できる。
（２）演算部１０６は、ユーザにより選択された視点数と同数のブロックＢｌｏを、ブロック信号Ｉｂを抽出するための抽出領域として算出して画素配列１３０上のそれぞれに設定する。そして、画像処理部１０５は、設定されたブロックＢｌｏごとに、ブロックＢｌｏに含まれる撮像画素１３１から出力された画像信号Ｉを加算してブロック信号Ｉｂとして抽出するようにした。したがって、ユーザが所望する視点数の視点画像データＩｍを生成することができるので、立体画像を表示させるモニタ等の特性に応じた立体画像撮影が１台のカメラで行うことができる。
（３）操作部１０８は、複数の視点画像データＩｍ間における視点の変化量を示す視差を選択するためのユーザによる操作を受け付ける。演算部１０６は、ユーザによって選択された視差に応じた位置間隔でブロックＢｌｏを画素配列１３０上に設定する。すなわち演算部１０６はブロックＢｌｏの移動量を算出する。そして、画像処理部１０５は、複数の位置のブロックＢｌｏごとにブロック信号Ｉｂを抽出して、視点画像データＩｍを生成するようにした。したがって、ユーザが所望する視差を有する立体画像を１台のカメラで行うことができるので、利便性が向上する。
（４）操作部１０８は、画像の被写界深度を選択するためのユーザによる操作を受け付ける。演算１０６は、ユーザによって選択された被写界深度に応じてブロックＢｌｏの大きさを算出して設定する。画像処理部１０５は、算出されたブロックＢｌｏの大きさに応じて、ブロックＢｌｏ内に含まれる撮像画素１３１からの複数の画像信号Ｉを合成して１つのブロック信号Ｉｂとして抽出し、視点画像データＩｍを生成するようにした。したがって、簡易な操作でユーザが所望する被写界深度を立体画像で得ることができる。
（５）操作部１０８は、視点の位置を二次元方向に異ならせるためのユーザによる操作を受け付ける。演算部１０６は、ユーザによる操作に応じて視点数分のブロックＢｌｏを抽出するための方向を算出して設定する。そして、画像処理部１０５は、算出された方向に沿ってブロックＢｌｏからブロック信号Ｉｂを抽出して視点画像データＩｍを生成するようにした。したがって、ユーザが所望する方向に視点が異なる視点画像データＩｍを生成することができるので、立体画像を表示させるモニタ等の特性に応じた立体画像撮影が１台のカメラで可能になる。
（６）画像処理部１０５は、生成した複数の視点画像データＩｍに基づいて表示用画像データＩｄを生成し、表示用画像データＩｄに対応する画像を立体画像として表示器１０９に表示させるようにした。したがって、ユーザは、撮影した視点画像データに対応する画像を即座に立体画像として観察することができる。
－第２の実施の形態－
　図面を参照して、本発明による第２の実施の形態におけるデジタルカメラを説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、１つのマイクロレンズ１２０の大きさが撮像画素１３１の大きさの整数倍ではない点で、第１の実施の形態と異なる。この場合、演算部１０６による演算処理と、画像処理部１０５によるブロック信号Ｉｂの算出処理とが第１の実施の形態の場合とは異なることになる。
　図１３に、ｘｙ平面における撮像素子１３での座標系（ｉ，ｊ）におけるマイクロレンズ１２０と撮像画素１３１との大きさの関係を示す。図１３（ａ）、図１３（ｂ）に示すように、第２の実施の形態のマイクロレンズ１２０のｘ軸またはｙ軸方向に平行な方向の直径は、撮像画素１３１の大きさの整数倍とはなっていない。すなわち、ｘ軸方向において、マイクロレンズ１２０のｘ軸方向には、撮像画素１３１ｕおよび１３１ｖの一部の領域が含まれる。なお、図１３における十字形状の指標は、マイクロレンズ１２０の中心位置を示すものとする。
　図１３（ａ）には、ブロックＢｌｏの大きさとして１×１、すなわちｕ＝ｖ＝１が設定された場合を示している。ブロックＢｌｏはその領域が４個の撮像画素１３１ａ～ｄのそれぞれを一部分ずつ含む大きさを有している。この場合に、演算部１０６は、撮像画素１３１ａとブロックＢｌｏとが重複する領域が、撮像画素１３１ａの全領域に対して占有する割合（以下、占有率）を計算する。画像処理部１０５は、演算部１０６により算出された占有率を撮像画素１３１ａから出力された画像信号に積算する。以上の処理をブロックＢｌｏに含まれる撮像画素１３１b～１３１ｄについて行い、画像処理部１０５は、算出されたそれぞれの画像信号を加算してブロックＢｌｏのブロック信号Ｉｂとして算出する。
　図１３（ｂ）には、ブロックＢｌｏの大きさをｕ×ｖとして一般化した場合を示す。ブロックＢｌｏには、１４個の撮像画素１３１ａ～１３１ｎのそれぞれを一部ずつと、６個の撮像画素１３１ｏ～１３１ｔの全領域とが含まれる。この場合、図１３（ａ）の場合と同様にして、画像処理部１０５は、演算部１０６により算出された占有率を、対応する撮像画素１３１ａ～１３１ｎのそれぞれからの画像信号に積算して補間信号として算出する。そして、画像処理部１０５は、算出した撮像画素１３１ａ～１３１ｎのそれぞれの補間信号と、撮像画素１３１ｏ～１３１ｔのそれぞれから出力された画像信号とを加算して、ブロック信号Ｉｂを算出する。すなわち、画像処理部１０５は、画像信号に対して占有率に応じた重み付けを行ってブロック信号Ｉｂを算出する。以下、詳細に説明する。
　演算部１０６は、まず（ｍ，ｎ）＝（０，０）の位置に設けられたマイクロレンズ１２０の中心位置（Ｘ０，Ｙ０）を以下の式（５）を用いて算出する。なお、係数ｐは上述したようにマイクロレンズ１２０のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｑはマイクロレンズ１２０のｙ軸方向の配列ピッチを示す固定パラメータである。
　Ｘ０＝ｍｐ＋ｐ／２
　Ｙ０＝ｎｑ＋ｑ／２　・・・（５）
　次に、演算部１０６は、マイクロレンズ１２０におけるブロックＢｌｏの初期位置（左下端）（Ｘ，Ｙ）を、以下の式（６）を用いて算出する。係数ｓは上述したように撮像画素１３１のｘ軸方向の配列ピッチを示す固定パラメータであり、係数ｔは撮像画素１３１のｙ軸方向の配列ピッチを示す固定パラメータである。係数Ｎｘは、ｘ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｘ＜Ｋｘである。係数Ｎｙは、ｙ軸方向に生成する視点画像データＩｍの個数を示すパラメータであり、０≦Ｎｙ＜Ｋｙである。
　Ｘ＝Ｘ０＋Ｕ０－ｕ／２＋ｓ・Ｎｘ・Ｓｘ
　Ｙ＝Ｙ０＋Ｖ０－ｖ／２＋ｔ・Ｎｙ・Ｓｙ　・・・（６）
　演算部１０６は、式（６）を用いて算出したブロックＢｌｏの初期位置（Ｘ，Ｙ）を撮像素子１３の座標系（ｉ，ｊ）に換算する。すなわちブロックＢｌｏの初期位置を撮像素子１３の座標系（ｉ，ｊ）における整数部分と端数で生じた小数部分とを用いて表記する。このとき、演算部１０６は、以下の式（７）を用いる。
　ｉ＋ａ＝Ｘ／ｓ
　ｊ＋ｂ＝Ｙ／ｔ　・・・（７）
　式（７）で示すａ、ｂの値は、図１３（ｂ）に示すブロックＢｌｏの左下端部が撮像画素１３１ｓの左下端部から、それぞれｘ軸方向およびｙ軸方向にずれている量を示している。換言すると、このａ、ｂの値が上述した占有率を示す。
　画像処理部１０５は、上記の式（７）にて算出されたブロックＢｌｏの初期位置を用いて、画像信号Ｉを抽出する。すなわち、画像処理部１０５は、式（７）で算出された初期位置（ｉ，ｊ）に対応する画像信号を基準として、ブロックＢｌｏ内に含まれる画像信号の和（ブロック信号Ｉｂ（ｉ，ｊ））を算出する。この場合、画像処理部１０５は、以下の式（８）を用いてブロック信号Ｉｂ（ｉ，ｊ）を算出する。
　Ｉｂ（ｉ，ｊ）＝
（１－ａ）・（１－ｂ）・Ｉ（ｉ，ｊ）＋（１－ａ）・ｂ・Ｉ（ｉ＋ｕ，ｊ）＋ａ・ｂ・Ｉ（ｉ＋ｕ，ｊ＋ｖ）
＋（１－ａ）・｛Ｉ（ｉ，ｊ＋１）＋・・・＋Ｉ（ｉ，ｊ＋ｖ－１）｝
＋ａ・｛Ｉ（ｉ＋ｕ，ｊ＋１）＋・・・Ｉ（ｉ＋ｕ，ｊ＋ｖ－１）｝
＋（１－ｂ）・｛Ｉ（ｉ＋１，ｊ）＋・・・＋Ｉ（ｉ＋ｕ－１，ｊ）｝
＋ｂ・｛Ｉ（ｉ＋１，ｊ）＋・・・＋Ｉ（ｉ＋ｕ－１，ｊ）｝
＋Ｉ（ｉ＋１，ｊ＋１）＋・・・＋Ｉ（ｉ＋ｕ－１，ｊ＋１）
＋Ｉ（ｉ＋１，ｊ＋ｖ－１）＋・・・＋Ｉ（ｉ＋ｕ－１，ｊ＋ｖ－１）　・・・（８）
　図１３（ａ）に示すブロックＢｌｏのブロック信号Ｉｂ（ｉ，ｊ）は以下の式（８）’で示す値となる。
　Ｉｂ（ｉ，ｊ）＝
（１－ａ）・（１－ｂ）・Ｉ（ｉ，ｊ）＋（１－ａ）・ｂ・Ｉ（ｉ，ｊ＋１）
＋ａ・（１－ｂ）・Ｉ（ｉ＋１，ｊ）＋ａ・ｂ・Ｉ（ｉ＋１，ｊ＋１）　・・・（８）’
　以上のようにしてブロック信号Ｉｂが算出されると、第１の実施の形態の場合と同様にして、画像処理部１０５は、ブロックＢｌｏを設定された移動量Ｓｘ、Ｓｙだけ移動した位置でブロック信号Ｉｂを算出する。図１３（ｃ）には、演算部１０６の演算結果に応じてブロックＢｌｏが移動する様子を示している。なお、第２の実施の形態においてはマイクロレンズ１２０の直径が撮像画素１３１の大きさの整数倍ではない場合であっても画像処理部１０５がブロック信号Ｉｂを算出可能な構成としている。したがって、ブロックＢｌｏの移動量Ｓｘ，Ｓｙが整数倍ではない場合であっても、画像処理部１０５は移動後のブロックＢｌｏの位置でブロック信号Ｉｂを算出できる。換言すると、ブロックＢｌｏの移動量をユーザが所望する任意の実数値に設定することができる。
　図１４のフローチャートを用いて、以上で説明した第２の実施の形態によるデジタルカメラ１の多視点画像生成処理について説明する。図１４に示す各処理は、制御回路１０１内の図示しないメモリに記録され、多視点画像生成モードが設定された状態で撮影処理により取得された画像信号がメモリ１０３内に格納されると、制御回路１０１により起動され、実行される。
　ステップＳ２０１では、視点画像を生成する個数（Ｎｘ，Ｎｙ）の値を初期値である０に設定してステップＳ２０２へ進む。ステップＳ２０２では、マイクロレンズ１２０の初期位置としてｍ，ｎの値を０に設定してステップＳ２０３へ進む。
　ステップＳ２０３では、式（５）を用いて対象となるマイクロレンズ１２０の中心位置を算出してステップＳ２０４へ進む。ステップＳ２０４では、式（６）を用いて、マイクロレンズ１２０の座標系におけるブロックＢｌｏの初期位置、すなわち左下端部の座標を算出してステップＳ２０５へ進む。ステップＳ２０５では、ステップＳ２０４で算出した座標値を、式（７）を用いて撮像素子１３の座標系（ｉ，ｊ）に換算してステップＳ２０６へ進む。
　ステップＳ２０６では、式（８）を用いて、ブロックＢｌｏに含まれる撮像画素１３１から出力された画像信号を加算し、ブロック信号Ｉｂを生成してステップＳ２０７へ進む。ステップＳ２０７（次のマイクロレンズへ移動）からステップＳ２１２（多視点画像ファイルの生成、記録）までの各処理は、図１４に示すステップＳ１０７（次のマイクロレンズへ移動）からステップＳ１１２（多視点画像ファイルの生成、記録）までの各処理と同様である。
　以上で説明した第２の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、以下の作用効果が得られる。
　画像処理部１０５は、演算部１０６により算出されたブロックＢｌｏが１つの撮像画素１３１のうちの一部と重複する場合には、重複する撮像画素１３１から出力された画像信号に対して重複する度合に応じて決まる重み付けを行ってブロック信号Ｉｂを抽出するようにした。したがって、撮像画素１３１とマイクロレンズ１２０との据付精度が低い場合であってもユーザが所望する立体画像を生成することができる。さらには、ブロックＢｌｏの大きさや移動量等が撮像画素１３１によって規制されることがなくなるので、ユーザが所望する視点条件を実現することができる。
－第３の実施の形態－
　図面を参照して、本発明による第３の実施の形態におけるデジタルカメラを説明する。以下の説明では、第１および第２の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１または第２の実施の形態と同じである。本実施の形態では、ユーザがデジタルカメラを縦位置に構えて画像撮影を行った場合であっても多視点（多視差）画像を生成可能に構成されている点で、第１および第２の実施の形態と異なる。
　図１５に第３の実施の形態によれるデジタルカメラ１の制御系のブロック図を示す。姿勢センサ３００はたとえば傾斜センサやジャイロセンサ等により構成され、デジタルカメラ１の重力方向を検出し、検出信号を制御回路１０１へ出力する。制御回路１０１は、入力した検出信号に基づいて、デジタルカメラ１の姿勢、すなわちデジタルカメラ１の横位置姿勢または縦位置姿勢を判定する。画像データ取得時に姿勢センサ３００からの検出信号により判定されたデジタルカメラ１の姿勢は、姿勢情報として画像データと関連付けされてメモリ１０３に格納される。
　多視点画像生成モードが設定された場合、制御回路１０１は対象となる画像データと関連付けされメモリ１０３に格納された姿勢情報を参照する。姿勢情報が縦位置姿勢を示している場合は、演算部１０６は、ｘ軸方向の固定パラメータ（Ｍ，Ｃｘ，ｐ，ｓ）および可変パラメータ（Ｕ０，Ｋｘ，Ｓｘ，ｕ）をｙ軸方向の設定値と見なし、ｙ軸方向の固定パラメータ（Ｎ，Ｃｙ，ｑ，ｔ）および可変パラメータ（Ｖ０，Ｋｙ，Ｓｙ，ｖ）をｘ軸方向の設定値とみなして、第１および第２の実施の形態にて説明した演算処理を行う。そして、画像処理部１０５はｙ軸方向に視点数が異なる視点画像データＩｍを生成する。
　以上で説明した第３の実施の形態によれば、第１の実施の形態または第２の実施の形態により得られる作用効果に加えて、以下の作用効果が得られる。
　姿勢センサ３００はデジタルカメラ１の姿勢を検出するようにした。演算部１０６は、姿勢センサ３００により検出された姿勢が縦位置撮影である場合には、視点の位置が撮像素子１３上でｙ軸方向となるように、すなわち横位置撮影とは異なるようにブロックＢｌｏの移動方向を設定する。そして、画像処理部１０５は、設定された方向、すなわちｙ軸方向に沿ってブロック信号Ｉｂを抽出して視点画像データＩｍを生成するようにした。したがって、１台のカメラで縦位置撮影および横位置撮影のいずれの場合であっても立体画像を生成できるので、利便性が向上する。
　以上で説明した第１～第３の実施の形態のデジタルカメラ１を以下のように変形できる。
（１）多視点画像データを用いて画像処理部１０５により生成された表示用画像データＩｄに対応する画像を表示器１０９に立体表示させるものに代えて、デジタルカメラ１とは異なる外部の表示装置（たとえばパーソナルコンピュータ、テレビ等）が備えるモニタに表示させてもよい。この場合、外部の表示装置は、デジタルカメラ１で生成され、メモリカード１０７ａに記録された多視点画像ファイルを読み込む。そして、表示装置は、読み込んだ多視点画像ファイル内の視点画像データＩｍを用いて、画像処理部１０５と同様の処理を行って表示用画像データＩｄを生成し、モニタに出力する。
　なお、表示装置が備えるモニタも、実施の形態の表示器１０９と同様に、レンチキュラー方式やパララックスバリア方式等により立体画像が表示可能に構成されている必要がある。また、表示装置がデジタルカメラ１から多視点画像ファイルを読み込む際には、たとえばＬＡＮケーブルや無線通信等のインタフェースを用いるものでもよい。さらには、デジタルカメラ１で生成した画像データを外部の表示装置が読み込んで、表示装置が画像処理部１０５と同様の処理を行って、視点画像データＩｍを生成するようにしてもよい。
（２）メモリ１０３に格納された画像信号から固定パラメータおよび可変パラメータを用いて複数の視点画像データＩｍを生成するものに代えて、予め所定の視点数の視点画像データＩｍを生成するものであってもよい。この場合、画像処理部１０５は、メモリ１０３に格納された画像信号を用いて、たとえば１００視点の視点画像が得られるように１００個の視点画像データＩｍを生成し、メモリ１０３に格納する。そして、画像処理部１０５は、メモリ１０３に格納されて１００個の視点画像データＩｍの中から設定された可変パラメータに従って、ユーザにより選択された視点数と同数の視点画像データＩｍを選択し、多視点画像ファイルを生成してメモリカード１０７ａに記録する。
　また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１０年第０４６７３３号（２０１０年３月３日出願）

Claims (9)

  1. 　撮像装置であって、
    　撮影光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、
    　前記撮影光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む複数の素子群が、前記マイクロレンズにそれぞれ対応して二次元状に配置された撮像素子と、
    　前記複数の素子群のそれぞれに含まれる前記複数の光電変換素子から出力された前記画像信号から、前記撮影光学系の瞳面上の複数の異なる部分領域のそれぞれに対応する複数の領域画像信号を抽出し、前記領域画像信号に基づいて前記部分領域のそれぞれに対応する複数の画像データを、視点位置がそれぞれ異なる複数の視点画像データとして生成する生成部と、
    　視点数を選択する視点数選択操作を受け付ける受付部とを備え、
    　前記生成部は、前記視点数選択操作によって選択された前記視点数と同数の前記領域画像信号を抽出して、前記視点画像データを生成する撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記生成部は、前記複数の素子群のそれぞれから抽出した複数の前記領域画像信号のうち、異なる前記素子群から抽出された前記領域画像信号であって、同一の前記部分領域に対応する前記領域画像信号を合成して１つの前記視点画像データを生成する撮像装置。
  3. 　請求項１または２に記載の撮像装置において、
    　前記領域画像信号を抽出するための抽出領域を設定する設定部を備え、
    　前記設定部は、前記選択された前記視点数と同数の前記抽出領域を、前記素子群の異なる位置に設定し、
    　前記生成部は、前記設定部により設定された前記抽出領域ごとに前記領域画像信号を抽出する撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記受付部は、前記複数の視点画像データ間における視点の変化量を示す視差を選択する視差選択操作を受け付け、
    　前記設定部は、前記視差選択操作によって選択された前記視差に応じた位置間隔で前記抽出領域を設定し、
    　前記生成部は、前記位置間隔ごとに前記抽出領域から前記領域画像信号を抽出して、前記視点画像データを生成する撮像装置。
  5. 　請求項３または４に記載の撮像装置において、
    　前記受付部は、画像の被写界深度を選択する深度選択操作を受け付け、
    　前記設定部は、前記深度選択操作によって選択された前記被写界深度に応じて前記抽出領域の大きさを設定し、
    　前記生成部は、前記設定された前記抽出領域の大きさに応じて、複数の前記画像信号を合成して１つの領域画像信号として抽出し、前記視点画像データを生成する撮像装置。
  6. 　請求項３乃至５のいずれか一項に記載の撮像装置において、
    　前記受付部は、前記視点の位置を二次元方向に異ならせる視点位置選択操作をさらに受け付け、
    　前記設定部は、前記視点位置選択操作に応じて前記視点数と同数の前記抽出領域を抽出する方向を設定し、
    　前記生成部は、前記設定部により設定された方向に沿って前記領域画像信号を抽出して前記視点画像データを生成する撮像装置。
  7. 　請求項３乃至６のいずれか一項に記載の撮像装置において、
    　前記生成部は、前記設定部により設定された前記抽出領域が１つの前記光電変換素子のうちの一部と重複する場合には、前記重複する光電変換素子から出力された画像信号に対して重複する割合に応じて決まる重み付けを行って前記領域画像信号として抽出する撮像装置。
  8. 　請求項３乃至７のいずれか一項に記載の撮像装置において、
    　前記撮像装置の姿勢を検出する姿勢検出部を備え、
    　前記設定部は、前記姿勢検出部により検出された姿勢に応じて前記視点の位置が異なるように前記視点数と同数の前記抽出領域を抽出する方向を設定し、
    　前記生成部は、前記設定部により設定された方向に沿って前記領域画像信号を抽出して前記視点画像データを生成する撮像装置。
  9. 　請求項１乃至８のいずれか一項に記載の撮像装置において、
    　前記生成部により生成された複数の前記視点画像データに基づいて表示用画像データを生成し、前記表示用画像データに対応する画像を立体画像として表示器に表示させる表示制御部をさらに備える撮像装置。
     
PCT/JP2011/054774 2010-03-03 2011-03-02 撮像装置 Ceased WO2011108592A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/520,873 US9341935B2 (en) 2010-03-03 2011-03-02 Image capturing device
CN201180012101.5A CN102783162B (zh) 2010-03-03 2011-03-02 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010046733A JP5499778B2 (ja) 2010-03-03 2010-03-03 撮像装置
JP2010-046733 2010-03-03

Publications (1)

Publication Number Publication Date
WO2011108592A1 true WO2011108592A1 (ja) 2011-09-09

Family

ID=44542239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/054774 Ceased WO2011108592A1 (ja) 2010-03-03 2011-03-02 撮像装置

Country Status (4)

Country Link
US (1) US9341935B2 (ja)
JP (1) JP5499778B2 (ja)
CN (1) CN102783162B (ja)
WO (1) WO2011108592A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134654A (ja) * 2011-12-27 2013-07-08 Casio Comput Co Ltd 画像処理装置、画像処理方法およびプログラム
CN103797415A (zh) * 2011-09-13 2014-05-14 佳能株式会社 摄像设备及其控制方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
US20120056987A1 (en) * 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
CN102959939A (zh) * 2011-06-27 2013-03-06 松下电器产业株式会社 摄像装置
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5871535B2 (ja) * 2011-09-22 2016-03-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5874334B2 (ja) * 2011-11-15 2016-03-02 株式会社ニコン 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
WO2013080551A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
JP5911291B2 (ja) * 2011-12-19 2016-04-27 キヤノン株式会社 撮像装置およびその制御方法
JP5991461B2 (ja) * 2012-02-06 2016-09-14 株式会社ニコン 撮像装置およびその撮像プログラム
JP5984422B2 (ja) * 2012-02-23 2016-09-06 キヤノン株式会社 撮像装置及び撮像制御方法
CN104185983B (zh) * 2012-03-16 2016-10-26 株式会社尼康 摄像元件、摄像装置以及摄像系统
US9838618B2 (en) * 2012-07-12 2017-12-05 Nikon Corporation Image processing device configured to correct output data based upon a point spread function
EP4093019B1 (en) * 2013-01-17 2025-06-18 Canon Kabushiki Kaisha Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
JP6253380B2 (ja) * 2013-12-11 2017-12-27 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
JP6263024B2 (ja) * 2013-12-25 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
JP6486149B2 (ja) 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10070118B2 (en) 2015-09-17 2018-09-04 Lumii, Inc. Multi-view displays and associated systems and methods
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
JP6289515B2 (ja) * 2016-01-12 2018-03-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6263221B2 (ja) * 2016-04-06 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
EP3665013B1 (en) 2017-08-09 2021-12-29 Fathom Optics Inc. Manufacturing light field prints
CN108323208A (zh) * 2018-02-12 2018-07-24 深圳市汇顶科技股份有限公司 图像获取方法和装置
CN113557711B (zh) * 2019-03-18 2024-09-24 索尼集团公司 图像拍摄装置、信息处理方法和程序产品
KR20240045876A (ko) * 2022-09-30 2024-04-08 삼성전자주식회사 오토 포커싱을 위한 이미징 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026332A (ja) * 2008-07-22 2010-02-04 National Institute Of Information & Communication Technology 撮影カメラ、画像表示装置及び画像表示システム
EP2157801A2 (en) * 2008-08-21 2010-02-24 Sony Corporation Image pickup apparatus, display and image processing apparatus
JP2010263572A (ja) * 2009-05-11 2010-11-18 Sony Corp 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687307A (en) * 1993-09-21 1997-11-11 Canon Kabushiki Kaisha Computer graphic animation in which texture animation is independently performed on a plurality of objects in three-dimensional space
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3647376B2 (ja) * 2001-01-31 2005-05-11 キヤノン株式会社 視点位置検出装置、視点位置検出方法及び立体画像表示システム
CA2364601A1 (en) * 2001-12-03 2003-06-03 Utar Scientific Inc. Computer-assisted hologram forming method and apparatus
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
US7742087B2 (en) * 2004-12-16 2010-06-22 Panasonic Corporation Image pickup device
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP4745077B2 (ja) * 2006-02-14 2011-08-10 オリンパスイメージング株式会社 撮像装置
JP4791852B2 (ja) * 2006-02-27 2011-10-12 任天堂株式会社 ゲーム装置、ゲームプログラムおよびゲーム制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026332A (ja) * 2008-07-22 2010-02-04 National Institute Of Information & Communication Technology 撮影カメラ、画像表示装置及び画像表示システム
EP2157801A2 (en) * 2008-08-21 2010-02-24 Sony Corporation Image pickup apparatus, display and image processing apparatus
JP2010263572A (ja) * 2009-05-11 2010-11-18 Sony Corp 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797415A (zh) * 2011-09-13 2014-05-14 佳能株式会社 摄像设备及其控制方法
CN103797415B (zh) * 2011-09-13 2017-03-15 佳能株式会社 摄像设备及其控制方法
JP2013134654A (ja) * 2011-12-27 2013-07-08 Casio Comput Co Ltd 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US9341935B2 (en) 2016-05-17
CN102783162A (zh) 2012-11-14
JP2011182317A (ja) 2011-09-15
US20120300041A1 (en) 2012-11-29
JP5499778B2 (ja) 2014-05-21
CN102783162B (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
JP5499778B2 (ja) 撮像装置
JP5456020B2 (ja) 情報処理装置および方法
JP5425554B2 (ja) 立体撮像装置及び立体撮像方法
CN101636747B (zh) 二维/三维数字信息获取和显示设备
CN103444192B (zh) 立体成像装置和立体成像方法
CN101883215A (zh) 成像设备
WO2011136191A1 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP2013009274A (ja) 画像処理装置および画像処理方法、プログラム
US10587860B2 (en) Imaging apparatus and method for controlling same
JP2008310696A (ja) 撮像装置、立体画像再生装置及び立体画像再生プログラム
RU2567438C1 (ru) Устройство формирования изображений и способ управления им
WO2013065543A1 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JPWO2014064946A1 (ja) 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
JP2012175194A (ja) 撮像装置及び画像信号処理装置
JPWO2012043003A1 (ja) 立体画像表示装置および立体画像表示方法
JP6004741B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP5924943B2 (ja) 撮像装置および撮像装置の制御方法
JP2014022888A (ja) 撮像装置および撮像装置の制御方法
KR20220116183A (ko) 촬상 장치, 정보 처리 방법, 및 프로그램
WO2015163350A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6172949B2 (ja) 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法
WO2013136832A1 (ja) 立体画像表示制御装置および立体画像表示制御方法
JP2016001854A (ja) 情報処理装置、撮像装置、制御方法及びプログラム
JP2014204299A (ja) 撮像装置および撮像装置の制御方法
JP2012060512A (ja) 多眼撮像装置およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180012101.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11750701

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13520873

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11750701

Country of ref document: EP

Kind code of ref document: A1