WO2019078032A1 - 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ - Google Patents

情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ Download PDF

Info

Publication number
WO2019078032A1
WO2019078032A1 PCT/JP2018/037327 JP2018037327W WO2019078032A1 WO 2019078032 A1 WO2019078032 A1 WO 2019078032A1 JP 2018037327 W JP2018037327 W JP 2018037327W WO 2019078032 A1 WO2019078032 A1 WO 2019078032A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lens
reference position
eye
light
Prior art date
Application number
PCT/JP2018/037327
Other languages
English (en)
French (fr)
Inventor
功久 井藤
健吾 早坂
真備 中村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/755,757 priority Critical patent/US11175568B2/en
Priority to KR1020207009924A priority patent/KR102512247B1/ko
Priority to CN201880066686.0A priority patent/CN111213361B/zh
Priority to JP2019549203A priority patent/JP7180608B2/ja
Priority to EP18867655.5A priority patent/EP3678361A4/en
Publication of WO2019078032A1 publication Critical patent/WO2019078032A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, a program, and an interchangeable lens, and in particular, an information processing apparatus, an information processing method, and the like that allow images of multiple viewpoints to be easily obtained, for example. , Programs, and interchangeable lenses.
  • Non-Patent Document 1 describes a method of refocusing using a camera array consisting of 100 cameras.
  • the present technology has been made in view of such a situation, and makes it possible to easily obtain images of a plurality of viewpoints.
  • An information processing apparatus or program according to an embodiment of the present disclosure is configured such that when the interchangeable lens having an eyepiece lens, which is a plurality of lenses disposed so as not to overlap in the optical axis direction, is attached to a camera body having an image sensor.
  • a known reference which is a position corresponding to a predetermined light ray on a single-eye image corresponding to an image formed by the light beam collected by the single-eye lens on a captured image on which a predetermined subject captured by an image sensor appears
  • the information processing method is performed when the interchangeable lens having an eyepiece lens, which is a plurality of lenses arranged so as not to overlap in the optical axis direction, is mounted on a camera body having an image sensor.
  • a position corresponding to a predetermined light ray on the monocular image corresponding to the image formed by the light beam collected by the single lens on the captured image on which the predetermined subject photographed by the image sensors appears Receiving a known reference position, and based on the known reference position, a position corresponding to the predetermined light beam on the single-eye image with respect to the single-eye lens on another captured image captured by the image sensor And determining the unknown reference position.
  • an interchangeable lens having an individual lens that is a plurality of lenses disposed so as not to overlap in the optical axis direction is mounted on a camera body having an image sensor
  • To a predetermined ray on a single-eye image corresponding to an image formed by the light beam collected by the single-eye lens on a captured image on which a predetermined subject taken by one image sensor appears A known reference position, which is the corresponding position, is received. Then, based on the known reference position, an unknown reference position which is a position corresponding to the predetermined light beam on the single-eye image with respect to the single-eye lens on another single-lens lens captured by the image sensor is determined. .
  • the interchangeable lens of the present technology is an image taken by one image sensor when mounted on a camera body having an image sensor and an individual lens that is a plurality of lenses disposed so as not to overlap in the optical axis direction.
  • a storage unit that stores a known reference position, which is a position corresponding to a predetermined light beam on a monocular image corresponding to an image formed by the light beam collected by the individual lens, on a captured image on which a predetermined subject appears
  • a communication unit that transmits the known reference position to the outside.
  • the plurality of individual lenses are arranged so as not to overlap in the optical axis direction.
  • a known reference position which is a position corresponding to a predetermined ray on the corresponding single-eye image, is stored, and the known reference position is transmitted to the outside.
  • the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the program can be provided by transmitting via a transmission medium or recording on a recording medium.
  • FIG. 2 is a rear view showing a configuration example of a rear surface of the camera body 10; It is a block diagram showing an example of electric composition of a camera system.
  • FIG. 2 is a diagram for describing an outline of imaging of a captured image performed using the multi-lens interchangeable lens 20.
  • the arrangement of the single-eye lens 31 0 to 31 4 and the light source 32L and 32R in the multiview interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20.
  • FIG. It is a figure explaining the attachment error at the time of attaching (mounting) the multi-lens interchangeable lens 20 to the camera main body 10.
  • FIG. It is a figure explaining the 1st calculation method which calculates
  • FIG. 15 is a flowchart explaining the example of the unknown reference position calculation process which calculates
  • 15 is a flowchart illustrating an example of area identification processing for identifying an area of each single-eye image E # i on the unknown captured image, performed by the area identification unit 52; It is a perspective view showing an example of composition of a 2nd embodiment of a camera system to which this art is applied. It is a block diagram showing an example of electric composition of a camera system.
  • FIG. 2 is a diagram for describing an outline of imaging of a captured image performed using the multi-lens interchangeable lens 20.
  • the arrangement of the single-eye lens 31 0 to 31 4 in the multi-eye interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20. It is a figure explaining the 2nd calculation method which calculates
  • FIG. 18 is a block diagram illustrating an example of a functional configuration of a portion of the image processing unit 53 that performs refocusing.
  • 5 is a flowchart illustrating an example of image processing performed by the image processing unit 53.
  • FIG. 7 is a rear view showing another configuration example of the multi-lens interchangeable lens 20.
  • FIG. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a perspective view showing a configuration example of a first embodiment of a camera system to which the present technology is applied.
  • the camera system comprises a camera body 10 and a multi-lens interchangeable lens 20.
  • the camera body 10 is configured such that the multi-lens interchangeable lens 20 can be attached and detached. That is, the camera body 10 has a camera mount 11, and (the lens mount 22 of) the multi-lens interchangeable lens 20 is attached to the camera mount 11, whereby the multi-lens interchangeable lens 20 is mounted on the camera body 10. It is attached.
  • a general interchangeable lens other than the multi-lens interchangeable lens 20 can also be attached to and detached from the camera body 10.
  • the camera body 10 incorporates an image sensor 51.
  • the image sensor 51 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and receives light beams collected by the multi-lens interchangeable lens 20 mounted on (the camera mount 11 of) the camera body 10 and the like.
  • the image is captured by performing photoelectric conversion.
  • an image obtained by imaging by the image sensor 51 is also referred to as a captured image.
  • the multi-lens interchangeable lens 20 has a lens barrel 21 and a lens mount 22.
  • the lens barrel 21 five single lenses 31 0 31 1 31 2 31 3 and 31 4 which are a plurality of lenses are disposed so as not to overlap in the optical axis direction (viewed).
  • Ommatidium lens 31 0 to 31 4 when the multiview interchangeable lens 20 is attached to the camera body 10, to focus the light beam from the object to the image sensor 51 of the camera body 10.
  • the camera body 10 is a so-called single-plate camera having one image sensor 51.
  • a plurality of image sensors that is, RGB (Red, Green, Blue, for example)
  • RGB Red, Green, Blue, for example
  • a so-called three-plate camera having three image sensors for each can be employed.
  • the barrel 21, other 5 ommatidium lens 31 0 to 31 4, the two light sources 32L and 32R are provided a plurality.
  • the light sources 32L and 32R are respectively provided at the right end and the left end of the lens barrel 21 when the multi-lens interchangeable lens 20 is viewed from the front.
  • the light sources 32L and 32R are configured by, for example, LEDs (Light Emitting Diodes), lasers, etc., and emit spot light from the front side to the back side of the multi-lens interchangeable lens 20.
  • LEDs Light Emitting Diodes
  • lasers etc.
  • the spot light emitted by the light sources 32L and 32R is received by the image sensor 51 of the camera body 10.
  • the lens mount 22 is attached to the camera mount 11 of the camera body 10 when the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the multiview interchangeable lens 20 although 5 ommatidium lens 31 0 to 31 4 are provided, the number of ommatidia lens provided in the multiview interchangeable lens 20 is limited to five It is possible to adopt two, three, five or more arbitrary plural numbers.
  • the plurality of individual lenses provided in the multi-lens interchangeable lens 20 can be disposed at arbitrary positions on a two-dimensional plane in addition to being disposed at the positions of the center and apex of the square.
  • the plurality of single lenses provided in the multi-lens interchangeable lens 20 a plurality of lenses having different focal lengths, f-numbers, and other specifications can be employed. However, here, in order to simplify the explanation, it is assumed that a plurality of lenses having the same specifications are adopted.
  • the two light sources 32L and 32R are provided in the multi-lens interchangeable lens 20, but the number of light sources provided in the multi-lens interchangeable lens 20 is not limited to two. Any number of or more may be employed.
  • the light source 32L and 32R are multiview interchangeable lens 20, 5 ommatidium lens 31 0 to 31 4 on arranged plane, i.e., in FIG. 1, it is at the bottom surface of the substantially cylindrical barrel 21 It can be arranged on the line connecting the two farthest points on the circle.
  • the light sources 32L and 32R are disposed on a line passing through the center of a circle which is the bottom of the lens barrel 21. As described later, it is desirable to arrange the light sources 32L and 32R as far apart as possible.
  • the light sources 32L and 32R are arranged most distantly by arranging the light sources 32L and 32R on the line passing through the center of the circle which is the bottom surface of the lens barrel 21. Can.
  • multiview interchangeable lens 20 the five single-eye lenses 31 0 to 31 4, respectively as a plurality, when multiview interchangeable lens 20 is attached to the camera body 10, the optical axis and the light-receiving surface of the image sensor 51 It is arranged to be orthogonal.
  • the single captured image captured by the image sensor 51 is condensed by 5 ommatidium lens 31 0 to 31 4 5 ommatidium image for each (single-eye lenses 31 0 to 31 4, respectively Image) corresponding to the image formed by the light beam.
  • Ommatidium image for single-eye lens 31 i is an image to viewpoint position ommatidium lens 31 i, thus, ommatidium lens 31 0 to 31 4 5 ommatidium image for each different viewpoint images It is.
  • the captured image includes a spot light image which is an image corresponding to the spot light emitted by each of the two light sources 32L and 32R.
  • FIG. 2 is a rear view showing a configuration example of the rear surface of the camera body 10.
  • the surface on which the multi-lens interchangeable lens 20 is mounted that is, the surface on which the camera mount 11 is located, is taken as the front.
  • a display unit 54 configured of, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel is provided.
  • the display unit 54 displays information such as a so-called through image, a menu, and settings of the camera body 10.
  • FIG. 3 is a block diagram showing an example of the electrical configuration of the camera system of FIG.
  • the multi-lens interchangeable lens 20 includes a storage unit 41 and a communication unit 42.
  • the storage unit 41 stores lens information which is information on the multi-lens interchangeable lens 20.
  • the lens information includes a known reference position.
  • the known reference position is an individual eye on a known captured image on which a predetermined subject at a known distance captured by the (one) image sensor 51 when the multi-lens interchangeable lens 20 is mounted on the camera body 10 lens 31 is a position corresponding to a predetermined light on the ommatidium image with respect to i.
  • the ommatidium image for single-eye lenses 31 i the position where the image of the light beam is formed passing through the optical axis of the single-eye lenses 31 i and that the optical axis center position.
  • the ommatidium image for single-eye lenses 31 i as a predetermined light, for example, when adopting a light beam passing through the optical axis of the single-eye lenses 31 i, a known reference ommatidium image with respect to single-eye lenses 31 i
  • the position is the optical axis center position of the single-lens image.
  • the predetermined light is not limited to the light passing through the optical axis of the single-eye lens 31 i. That is, the predetermined light, for example, pieces from the eye lens 31 i of the optical axis through the position spaced apart a predetermined distance, it is possible to employ other light rays parallel to the optical axis.
  • the lens information on known captured image number other known reference position of the ommatidium image to the eye lens 31 i, the light source 32L and 32R position of the spot light image of each spot light on the known captured image, i.e., the spot
  • the known light position that is the light irradiation position is included.
  • a unique lens ID (Identification) is assigned to the multi-lens interchangeable lens 20, and the lens ID of the multi-lens interchangeable lens 20 can be adopted as lens information to be stored in the storage unit 41. Furthermore, in this case, a database is prepared in which the lens ID as lens information and the known reference position or known light position as lens information other than the lens ID of the multi-lens interchangeable lens 20 specified by the lens ID are associated. can do. In this case, it is possible to acquire the known reference position and the known light position of the multi-lens interchangeable lens 20 associated with the lens ID by searching the database using the lens ID as a keyword.
  • the communication unit 42 performs wired or wireless communication with a communication unit 56 described later of the camera body 10.
  • the communication unit 42 may be connected to a server on the Internet, a PC (Personal Computer) on a wired or wireless LAN (Local Area Network), or another external device by an arbitrary communication method, as needed. Communication can be made between them.
  • the communication unit 42 communicates with the communication unit 56 of the camera body 10, for example, when the multi-lens interchangeable lens 20 is mounted on the camera body 10, thereby communicating the lens information stored in the storage unit 41 with the communication unit 56. Send to
  • the camera body 10 includes an image sensor 51, an area specifying unit 52, an image processing unit 53, a display unit 54, a storage unit 55, a communication unit 56, and a reference position calculation unit 57.
  • the image sensor 51 is, for example, as described in FIG. 1, a CMOS image sensor, the light receiving surface of the image sensor 51, to no ommatidium lens 31 0 multiview interchangeable lens 20 which is attached to the camera body 10 31 A light beam collected by each of 4 and a light beam as a spot light irradiated by the light sources 32L and 32R are emitted.
  • the image sensor 51 light is focused by 2-31 4 each ommatidium lenses 31 0, and, by performing photoelectric conversion by receiving light as a spot light source 32L and 32R is irradiated, ommatidia lenses 31 0 to 31 4 pieces for each eye image (single-eye lenses 31 0 to 31 4 ommatidium images corresponding to the image formed by light rays focused by each), as well as light sources 32L and 32R spots each spot beam
  • a captured image including an optical image is captured and output.
  • the captured image (another captured image) output from the image sensor 51 is supplied to the area specifying unit 52 and the reference position calculating unit 57.
  • the area specifying unit 52 is supplied with the captured image output from the image sensor 51, and from the reference position calculation unit 57, the unknown reference position on the monocular image included in the captured image output from the image sensor 51 is supplied. Ru.
  • the known reference position is the center position of the optical axis on the single-lens image included in the known captured image when the captured image is a known captured image obtained by capturing an object at a known distance, but the unknown reference
  • the captured image is an image (another captured image) obtained by capturing an arbitrary subject (regardless of whether the distance to the subject is known)
  • the light on the single-eye image included in the captured image It is an axial center position.
  • Area specifying unit 52 based on the unknown reference position from the reference position calculation unit 57, on the captured image from the image sensor 51, to ommatidium lens 31 0 identify areas ommatidium image with respect to 31 4, respectively, the Area identification result information representing the result of area identification is output.
  • the area specifying unit 52 specifies, for example, a rectangular area of a predetermined size centered on the unknown reference position of the captured image in the captured image from the image sensor 51 as the area of the monocular image. .
  • the area specifying unit 52 can output, for example, a set of a captured image and area information indicating the area of each single-eye image on the captured image as the area identification result information. Further, the area specifying unit 52 can extract (cut out) each single-eye image from the captured image, and can output each single-eye image as the area specifying result information.
  • the area specifying unit 52 (here, to ommatidium lens 31 0 31 4 ommatidium images for each) ommatidium image extracted from the captured image, the area specifying result information It will be output as
  • No ommatidium lens 31 0 output by the region specifying unit 52 to 31 4 pieces for each eye image are supplied to the image processing unit 53.
  • the image processing unit 53 is a single-eye image for each of the single-eye lenses 31 0 to 31 4 from the area specifying unit 52, that is, a single-eye image of different viewpoints that uses the respective positions of the single-eye lenses 31 0 to 31 4 as viewpoints. Is used to perform image processing such as generation of parallax information and refocusing to generate (reconstruct) an image focused on an arbitrary subject, and display a processing result image obtained as a result of the image processing.
  • the data is supplied to the unit 54 and the storage unit 55.
  • the display unit 54 displays, for example, a processing result image supplied from the image processing unit 53 as a through image as described in FIG.
  • the storage unit 55 is configured by a memory card (not shown) or the like, and stores, for example, a processing result image supplied from the image processing unit 53 in accordance with a user operation or the like.
  • the communication unit 56 performs wired or wireless communication with the communication unit 42 or the like of the multi-lens interchangeable lens 20.
  • the communication unit 56 can communicate with a server on the Internet, a PC on a wired or wireless LAN, and other external devices according to an arbitrary communication method, as needed.
  • the communication unit 56 communicates with the communication unit 42 of the multi-lens interchangeable lens 20 to exchange the multi-lens exchange transmitted from the communication unit 42.
  • the lens information of the lens 20 is received and supplied to the reference position calculation unit 57.
  • the reference position calculation unit 57 sets the center of the optical axis on the single eye image for the single lens 31 i included in the captured image supplied from the image sensor 51 based on the known reference position included in the lens information from the communication unit 56. An unknown reference position which is a position is determined and supplied to the area specifying unit 52.
  • the reference position calculation unit 57 obtains an unknown reference position which is a center position of the optical axis on the monocular image included in the captured image supplied from the image sensor 51, the known reference included in the lens information In addition to the position, a known light position is used.
  • FIG. 4 is a view for explaining an outline of imaging of a captured image performed using the multi-lens interchangeable lens 20. As shown in FIG.
  • the single-eye image corresponding to the image formed by condensing the light beam in each single-eye lens 31 i and the light sources 32L and 32R A captured image including the spot light image of the spot light is picked up.
  • the left and right of an object appearing in the image along with match the left and right of an object in the real space, and left and right position of the ommatidium lens 31 i, and the right and left on the captured image of the ommatidium image with respect to the single-eye lens 31 i
  • the position on the captured image or the position on the captured image with respect to the z direction that is, the direction facing the imaging direction in which the subject to be imaged is present from the back side of the camera body 10 Describes the position of the single lens 31i, the right and left of the subject, and the like.
  • a straight line or a line segment connecting the optical axes of one individual lens 31i and the other one individual lens 31 j is also referred to as a base line, and the distance between the optical axes is a base line. It is also called a long.
  • an angle representing the direction of the base line is also referred to as a base line angle.
  • the base line angle for example, the angle formed by the x axis and the base line (the angle of the epipolar line) is adopted.
  • FIG 5 shows the arrangement of the single-eye lens 31 0 to 31 4 and the light source 32L and 32R in the multiview interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20.
  • a of FIG. 5 is a rear view showing an example of the arrangement of the single-eye lens 31 0 to 31 4 and the light source 32L and 32R in the multiview interchangeable lens 20.
  • the ommatidium lens 31 0 to 31 4 as described in FIG. 1, in the two-dimensional plane parallel to the light receiving surface of the image sensor 51, around the ommatidia lens 31 0, the other 4 Individual lenses 31 1 to 31 4 are arranged to constitute the apex of a square.
  • the ommatidium lens 31 1 is disposed in the upper right of the ommatidium lens 31
  • ommatidium lens 31 2 is disposed on the upper left of the ommatidium lens 31 0.
  • ommatidia lens 31 3 is disposed on the lower left of the ommatidium lens 31
  • ommatidium lens 31 4 is disposed on the lower right of the ommatidium lens 31 0.
  • the light source 32L is disposed at the left end of the multi-lens interchangeable lens 20 having a substantially circular flat surface, and the light source 32R is positioned at the center (central) of the multi-lens interchangeable lens 20 having a substantially circular flat. On the other hand, it is disposed at the position of the right end opposite to the light source 32L.
  • the light sources 32L and 32R can be arranged at arbitrary different positions of (the barrel 21 of) the multi-lens interchangeable lens 20.
  • the light sources 32L and 32R are outside the region of the monocular image in which the spot light images PL and PR of the spot lights irradiated by the light sources 32L and 32R on the captured image captured by the image sensor 51 are included. It can be arranged to be located (outside the range to which the light passing through the single-lens lens 31i is irradiated). In this case, it is possible to suppress that the image quality of the monocular image is degraded because the spot light images PL and PR appear to overlap with the monocular image.
  • imaging ommatidia lens 310 to 31 4 and multiview interchangeable lens 20 to the light source 32L and 32R are arranged as shown in A of FIG. 5 is captured by the image sensor 51 of the camera body 10 mounted It is a figure which shows the example of an image.
  • Images captured by the image sensor 51 of the camera body 10 on which the multi-lens interchangeable lens 20 having the single-lens lenses 31 0 to 31 4 and the light sources 32 L and 32 R are mounted are divided by the single-lens lenses 31 0 to 31 4, respectively.
  • the monocular images E0, E1, E2, E3, E4 corresponding to the images formed by the light beams collected and the spot light images PL and PR of the spot lights of the light sources 32L and 32R are included.
  • Region specifying unit 52 (FIG. 3), based on the optical axis center position is unknown reference position of the ommatidium image E # i obtained by the reference position calculating section 57, the ommatidium lens 31 i, the ommatidium lens 31 i
  • the rectangular region of a predetermined size centered on the optical axis center position which is the unknown reference position of the single image E # i among the regions on the captured image to which the light beam that has passed is irradiated is Identify as the area of #i.
  • ommatidium image E # i for single-eye lens 31 i from the position of the ommatidium lens 31 i captured image obtained by performing imaging using a separate camera, i.e., single-eye lenses 31 i
  • the image is similar to the image obtained by imaging with the position as the viewpoint.
  • parallax may occur between any two ommatidium image E # i and E # j of of from ommatidium images E0 for 2-31 4 each ommatidium lenses 31 0 E4. That is, the same subject appearing in the single-eye images E # i and E # j appears at a position shifted according to the parallax.
  • FIG. 6 is a view for explaining an attachment error when the multi-lens interchangeable lens 20 is attached (mounted) to the camera body 10.
  • FIG. 6 shows an example of a captured image captured by a camera system in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the attachment position of the multi-lens interchangeable lens 20 to the light receiving surface of the image sensor 51 of the camera body 10 is mainly in the horizontal direction (x direction) and the vertical direction (y direction) And, among the rotational directions, in particular, can be offset in the rotational direction. That is, the attachment position of the multi-lens interchangeable lens 20 changes when attaching the multi-lens interchangeable lens 20 to the camera body 10 or when an impact is applied to a camera system having the multi-lens interchangeable lens 20 attached to the camera body 10 .
  • an error in the actual mounting position relative to the designed mounting position of the multi-lens interchangeable lens 20 is referred to as a mounting error.
  • the mounting error is similar to the mounting position of the multi-lens interchangeable lens 20, when the multi-lens interchangeable lens 20 is attached to the camera body 10 or when an impact is applied to the camera system having the multi-lens interchangeable lens 20 attached to the camera body 10. Change to etc.
  • the single-eye image E # i is an image similar to an image obtained by imaging with the position of the single-eye lens 31 i as a viewpoint, and accordingly, the single-eye images E0 to E4 are viewpoints Are different images of
  • Not ommatidium images E0 is different images viewpoints with E4, for example, the case of obtaining the disparity information, the ommatidium lens 31 0 to 31 4, it is necessary to base line length and the baseline angle described in FIG.
  • Ommatidium lens 31 0 to 31 4 are fixed to the multiview interchangeable lens 20, the base length is a fixed value that does not vary by installation error, it can be previously measured.
  • the baseline angle changes due to the mounting error of the multi-lens interchangeable lens 20 in the rotational direction. Therefore, in order to obtain accurate parallax information using the single-eye images E0 to E4, it is necessary to cope with the mounting error in the rotational direction.
  • the lateral and longitudinal mounting errors do not matter and can be ignored if the image distortion caused by the lens aberration of the single-lens 31 i is small.
  • the center position of the optical axis of the single-eye image E # i should be accurately determined in order to perform appropriate distortion correction. You need to know. In order to accurately grasp the optical axis center position of the single-eye image E # i, it is necessary to grasp lateral and longitudinal installation errors.
  • pieces of the eye lens 31 0 to 31 4 the ommatidium images E0 for the ommatidium lens 31 0 located in the center (center), also called the central image E0, 2-31 1 ommatidium lens located around 31
  • the single-eye images E1 to E4 for 4 are also referred to as peripheral images E1 to E4.
  • the relative optical axis center position of each of the peripheral images E1 to E4 (hereinafter referred to also as the relative optical axis central position) with reference to one of the single-eye images of the single-eye images E0 to E4, that is, for example, the central image E0 (Dx1, dy1), (dx2, dy2), (dx3, dy3), and (dx4, dy4) can be obtained according to equation (1).
  • Relative optical axis center positions (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4) are obtained by setting the optical axis center position (x0, y0) of the central image E0 as the origin of the xy coordinate system It is equal to the optical axis center position (x1, y1), (x2, y2), (x3, y3), (x4, y4) of the peripheral images E1 to E4 in the case.
  • the relative optical axis center position (dx # i, dy # i) can be determined, the base line angle representing the direction of the base line L0 # i at that time can be determined, and using the base line angle It is possible to obtain accurate disparity information that is not affected by the mounting error of.
  • optical axis center positions (x0, y0) to (x4, y4) of single-eye images E0 to E4 on a known captured image on which a predetermined subject captured at a known distance captured by the image sensor 51 appears That is, when the optical axis center position (x0, y0) of the central image E0 is set as the origin, the relative optical axis central positions (dx1, dy1) to (dx4, dy4) of the singlet images E1 to E4 are known. Calculated as a reference position.
  • the optical axis center position (x0 ', y0') to (x4 ', y4') of the single-eye images E0 to E4 on the image that is, the optical axis center position (x0 ', y0') of the central image E0
  • the relative optical axis center positions (dx1 ', dy1') to (dx4 ', dy4') of the single-eye images E1 to E4 are obtained as unknown reference positions.
  • the baseline angle at the time of capturing the captured image can be used to determine accurate disparity information that is not affected by the mounting error in the rotational direction.
  • the reference position calculation unit 57 in FIG. 3 uses the relative optical axis center positions (dx1, dy1) to (dx4, dy4) as known reference positions, and uses the first calculation method as an unknown reference position on the captured image.
  • the relative optical axis center positions (dx1 ', dy1') to (dx4 ', dy4') of the single-eye images E1 to E4 are determined.
  • FIG. 7 is a view for explaining a first calculation method for obtaining relative optical axis center positions (dx1 ', dy1') to (dx4 ', dy4') as unknown reference positions.
  • an xy coordinate system having an optical axis center position (x0, y0) of the central image E0 as an origin is adopted.
  • the relative optical axis center positions (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4) and the optical axis center positions (x1, y1), (x2 , Y2), (x3, y3), (x4, y4) are equal.
  • a of FIG. 7 illustrates an example of a known captured image obtained by capturing a predetermined subject in a camera system in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the subject shown in the known captured image is, for example, a chart image on which a predetermined chart such as a circle divided into four equal segments by a line passing through the center of the circle is drawn.
  • the parallax between the peripheral image E # i and the central image E0 is determined by the known distance and the single lens 31 i when the known captured image is captured. it can be obtained from the baseline length and the baseline angle between the ommatidium lens 31 0.
  • imaging of a known captured image can be performed, for example, before shipping the multi-lens interchangeable lens 20 from a factory. Therefore, the baseline angle at the time of imaging of the known captured image can be measured at the time of imaging of the known captured image. Alternatively, at the time of imaging a known captured image, the attachment of the multiview interchangeable lens 20 can be adjusted such that the baseline angle becomes a predetermined value such as a design value.
  • the optical axis center position (x # i, y # i) of the peripheral image E # i is moved from the center of the circle as a chart in the peripheral image E # i according to the parallax with the central image E0 Since the position is obtained, it can be obtained from the position of the center of the circle as a chart in the peripheral image E # i and the parallax between the central image E0.
  • the optical axis center position (x0, y0) can be obtained by detecting the position of the center of the circle as a chart from the central image E0.
  • the relative optical axis center position (dx # i, dy # i) as the relative known reference position is stored in the storage unit 41 of FIG. 3 as lens information.
  • the relative known reference position (dx # i, dy # i) can be obtained from the known reference position (x # i, y # i) according to equation (1), and the known reference position (x # i, y # i) And (approximately) equivalent information.
  • the relative known reference position (dx # i, dy # i) (Or known reference position (x # i, y # i))
  • the known light position (X L , Y) which is the position of the spot light images PL and PR of the spot lights of the light sources 32L and 32R respectively on the known captured image L ) and (X R , Y R ) are determined respectively.
  • the position of the center of gravity of the spot light image PL on the known captured image can be adopted as the known light position (X L , Y L ) of the spot light image PL.
  • the position of the center of gravity of the spot light image PR on the known captured image can be adopted as the known light position (X R , Y R ) of the spot light image PR.
  • a known light position (X L, Y L) and (X R, Y R) from its known light position (X L, Y L) and (X R, Y R) in the The points (X C , Y C ) are determined, and the known light positions (X L , Y L ) and (X R , Y R ) and the midpoint (X C , Y C ) are stored as lens information in FIG. It is stored in the unit 41.
  • the midpoints (X C , Y C ) of the known light positions (X L , Y L ) and (X R , Y R ) can be excluded from the lens information.
  • the known light position (X L , Y L ) and the middle point (X C , Y C ) of (X R , Y R ) are derived from their known light positions (X L , Y L ) and (X R , Y R ) It is because it can ask.
  • a relative optical axis center position (hereinafter, also simply referred to as an optical axis center position) as a relative known reference position (hereinafter, also simply referred to as a known reference position) (dx # i, dy # i) and a known optical position (X L, Y L) and (X R, Y R) on the basis of, (relative) the optical axis center position of the unknown reference position on the unknown captured image (dx1 ', dy1') to free (dx4 ', dy 4') is required.
  • FIG. 7 shows an example of an unknown captured image captured in a camera system in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the unknown captured image is captured in the camera system in which the multi-lens interchangeable lens 20 is attached to the camera body 10, without any restriction (such as the distance of the subject being known) as when capturing a known captured image. It is an image.
  • a mounting error in a rotational direction different from that at the time of imaging of the known captured image may occur.
  • Equal to the central position of the optical axis (dx # i ', dy # i') (x # i ', y # i')-(x0 ', y0').
  • the unknown light positions which are the positions of the spot light images PL and PR of the spot lights of the light sources 32L and 32R respectively on the unknown captured image, are (X L ′, Y L ′) and (X R ′, Y It is expressed as R ').
  • the unknown light positions (X L ', Y L ') and (X R ', Y R ') are known light positions (X L , Y L ) and (X X) from the spot light images PL and PR on the unknown captured image. It can be calculated in the same manner as R and Y R ).
  • a relative rotation error which is a mounting error of the rotational direction at the time of imaging of an unknown captured image with reference to a mounting error of the rotational direction at the time of imaging of a known captured image
  • the error ⁇ Error includes known light positions (X L , Y L ) and (X R , Y R ) included in lens information, and unknown light positions (X L ′, Y L ′) obtained from an unknown captured image and It can be obtained according to equation (2) using (X R ', Y R ').
  • the relative rotation error ⁇ Error is unknown based on an angle representing the direction of a straight line connecting the known light positions (X L , Y L ) and (X R , Y R ). It is an angle that represents the direction of a straight line connecting the light position (X L ', Y L ') and (X R ', Y R '), and the known light position (X L , Y L ) and (X R , Y R) As the distance between the unknown light position (X L ', Y L ') and (X R ', Y R ') increases, the accuracy improves. Therefore, by arranging the light sources 32L and 32R as far apart as possible, the relative rotation error ⁇ Error can be determined with high accuracy.
  • the rotation error ⁇ is calculated according to the equation (2) for each of the two light source pairs obtained from the three or more light sources.
  • An Error can be obtained, and an average value or the like of the rotation error ⁇ Error obtained for each pair can be adopted as a final rotation error ⁇ Error .
  • the relative rotation error ⁇ Error is the unknown light position (X L ', Y L ') (or (X R ', Y R ')) and the known light position (X L , Y L ) (or (X R , A rotation angle between Y R ) and the optical axis center position (dx # i, dy # i) as a known reference position is rotated according to the relative rotation error ⁇ Error according to the equation (3) By doing this, it is possible to obtain the relative optical axis center position (dx # i ′, dy # i ′) as an unknown reference position on the unknown captured image in which the relative rotation error ⁇ Error occurs.
  • the lateral mounting error X Error and the vertical mounting error Y Error can be determined, for example, according to the equation (4).
  • FIG. 8 finds the optical axis center positions (dx1 ′, dy1 ′) to (dx4 ′, dy4 ′) of the single-eye images E1 to E4 on the unknown captured image as the unknown reference position by the first calculation method It is a flowchart explaining the example of acquisition processing of known standard position etc. in the case.
  • the known reference position etc. acquisition process can be performed by the camera body 10 or a computer described later.
  • An apparatus that performs known reference position etc. acquisition processing will be referred to as an acquisition processing apparatus for convenience.
  • step S11 acquisition processing apparatus, the position of a known distance on the optical axis of the single-eye lens 31 0, at a chart image as a predetermined subject, the chart image, the multiview interchangeable lens 20 camera body A known captured image captured by the camera system attached to 10 is acquired, and the process proceeds to step S12.
  • step S12 the acquisition processing device obtains a predetermined point of a chart image as a predetermined subject shown in each single-eye image E # i included in the known captured image, for example, the position of the center of a circle as a chart. , And proceeds to step S13.
  • step S13 the acquisition processing device uses the distance to the chart image as the subject, and the base length and base angle of the multi-lens interchangeable lens 20 to separate the individual images (peripheral images) E1 to E4. Between the center of the circle as the predetermined point of the chart image as the subject shown in the image E # i and the center of the circle as the predetermined point of the chart image as the subject shown in the monocular image (center image) E0 Find the disparity.
  • the acquisition processing device determines the position of the center of the circle according to the parallax of the center of the circle as the predetermined point of the chart image as the subject in the single-eye image E # i.
  • the optical center position (the position on the known captured image) (x # i, y # i) of the single-lens image E # i at the position moved from the point is set to the known reference position (x # i) of the single-eye image E # i. , Y # i).
  • the acquisition processing device determines the optical axis center position (x0, y0) that is the position of the center of the circle of the chart image as the subject shown in the single-eye image E0 with the known reference position (x0, y0) The process proceeds from step S13 to step S14.
  • step S14 the acquisition processing device uses the known reference position (x # i, y # i) obtained in step S13, and generates the single-eye image E0 for each of the single-eye images E1 to E4 according to equation (1).
  • the (relative) known reference position (dx # i, dy # i) of the single-eye image E # i based on the known reference position (x0, y0) is determined, and the process proceeds to step S15.
  • step S15 the acquisition processing device determines the positions of the centers of gravity of the spot light images PL and PR of the spot lights of the light sources 32L and 32R on the known captured image at known light positions (X L , Y L ) and (X R , (X R , Y R ) is determined, and the known reference position etc. acquisition process ends.
  • the (relative) known reference position (dx # i, dy # i) obtained in step S14, and the known light positions (X L , Y L ) and (X R , Y R ) obtained in step S15 are It is stored in the storage unit 41 of FIG. 3 as a part of lens information.
  • FIG. 9 is a first calculation method of relative optical axis center positions (dx1 ′, dy1 ′) to (dx4 ′, dy4 ′) etc. of the single-eye images E1 to E4 on the unknown captured image as the unknown reference position. It is a flowchart explaining the example of the unknown standard position calculation processing which asks by this.
  • step S21 the reference position calculation unit 57 (FIG. 3) acquires lens information supplied from the communication unit 56, and the process proceeds to step S22.
  • the communication unit 56 communicates with the communication unit 42 of the multi-lens interchangeable lens 20, and the multi-lens exchange transmitted from the communication unit 42
  • the lens information of the lens 20 is received and supplied to the reference position calculation unit 57.
  • the reference position calculation unit 57 acquires the lens information supplied from the communication unit 56 as described above.
  • step S22 the reference position calculation unit 57 acquires an unknown captured image which is a captured image obtained by capturing an arbitrary subject, and the process proceeds to step S23. That is, in the camera system in which the multi-lens interchangeable lens 20 is attached to the camera body 10, the reference position calculation unit 57 acquires a captured image captured by the image sensor 51 as an unknown captured image.
  • step S23 the reference position calculation unit 57 sets the positions of the centers of gravity of the spot light images PL and PR of the spot lights of the light sources 32L and 32R included in the unknown captured image to the unknown light positions (X L ′, Y L ′). And (X R ', Y R '), and the process proceeds to step S24.
  • step S24 the reference position calculation unit 57 determines the known light position (X L , Y L ) (or (X R , Y R )) included in the lens information and the unknown light position (X L ′ obtained in step S23.
  • the rotation angle between Y, Y L ′) (or (X R ′, Y R ′)) is determined as the (relative) rotation error as ⁇ Error , and the process proceeds to step S 25.
  • the reference position calculation unit 57 sets the direction of the line connecting the known light positions (X L , Y L ) and (X R , Y R ) included in the lens information as a reference according to, for example, Equation (2). Then, a relative angle representing the direction of a line connecting the unknown light position (X L ′, Y L ′) and (X R ′, Y R ′) is determined as the rotation error as ⁇ Error .
  • step S25 the reference position calculation unit 57 calculates the relative optical axis center position (dx #) as the relative known reference position included in the lens information according to the rotation error ⁇ Error obtained in step S24 according to the equation (3).
  • the (relative) optical axis center position (dx # i) is determined, and the process proceeds to step S26.
  • the reference position calculation unit 57 determines the known light position (X L , Y L ) or (X R , Y R ) included in the lens information and the spot light image PL of the light sources 32L and 32R on the unknown captured image. And translational distance between the unknown light position (X L ', Y L ') or (X R ', Y R ') as the horizontal mounting error X Error and the vertical mounting error Y Error The unknown reference position calculation process ends.
  • the reference position calculation unit 57 determines, for example, the unknown light position with respect to the midpoint (X C , Y C ) of the known light positions (X L , Y L ) and (X R , Y R ) according to the equation (4).
  • the amount of translation of the middle point (X C ', Y C ') of (X L ', Y L ') and (X R ', Y R '), the lateral mounting error X Error and the vertical mounting error Calculated as Y Error .
  • step S26 When the lateral mounting error X Error and the vertical mounting error Y Error are not required, the process of step S26 can be omitted.
  • FIG. 10 is a flowchart illustrating an example of the area specifying process performed by the area specifying unit 52 in FIG. 3 for specifying the area of each single-eye image E # i on the unknown captured image.
  • step S31 the area specifying unit 52 detects the relative optical axis center position (dx # i ', dy) as the unknown reference position of the single-eye images E1 to E4 included in the unknown captured image supplied from the reference position calculation unit 57. The process proceeds to step S32 to obtain #i ').
  • the area specifying unit 52 specifies a rectangular area of a predetermined size centered on the origin on the unknown captured image as the area of the single-eye image E0, and the process proceeds from step S32 to step S33.
  • step S33 the area specifying unit 52 extracts each of the single-eye images E0 to E4 from the captured image, outputs the single-eye images E0 to E4 as area specifying result information, and ends the processing.
  • the area specifying unit 52 is a set of a captured image and area information representing the area of each single-eye image E # i on the captured image, instead of the single-eye images E0 to E4. Can be output as area identification result information.
  • a multiple lens interchangeable lens 20 the optical axis direction (as viewed) do not overlap so arranged ommatidium lens 31 0 to have a 31 4, known imaging reflected the chart image in the predetermined distance Lens information including, for example, the optical axis center position (dx # i, dy # i) (or (x # i, y # i)) as a (relative) known reference position of the single-eye image E # i on the image Are transmitted to the camera body 10 as an external device, for example.
  • the camera body 10 receives the lens information, and based on the known reference position (dx # i, dy # i) included in the lens information, the single eye image of the single eye image E # i on the unknown captured image
  • the optical axis center position (dx # i ', dy # i') as an unknown reference position on the image E # i is obtained.
  • a base line angle (tan -1 (dy # i / dx # i) representing the direction of the base line L0 # i (FIG. 6) from the optical axis center position (dx # i ', dy # i') as the unknown reference position. )can be determined, and accurate parallax information that is not affected by the mounting error in the rotational direction of the multi-lens interchangeable lens 20 can be determined using the base line angle.
  • an xy coordinate system having an optical axis center position (x0, y0) of a single-eye image E0 on a known captured image as an origin is adopted, and a mounting error X Error in the horizontal direction and a mounting error in the vertical direction Assume that Y Error is 0.
  • the optical axis center position which is the unknown reference position (x0 ′, y0 ′) of the single-eye image E0, is the origin, and the area of the single-eye image E0 is an area centered on the origin Become.
  • the optical axis center position of the single eye image E0 is the horizontal mounting error X Error and the vertical mounting It deviates from the origin by the amount of the error Y Error .
  • each rectangular region of a predetermined size centered on the origin is
  • the center position of the optical axis which is the actual unknown reference position (x0 ', y0') deviates from the origin, so the actual light of the monocular image E0 on the unknown captured image
  • a rectangular area of a predetermined size centered on a position shifted from the axial center position is specified as the area of the monocular image E0.
  • the baseline angle (tan -1 (dy # i / dx # i) at that time is the center position of the optical axis (dx # i ', dy #) as a relative unknown reference position based on the position of the single-eye image E0. It is obtained from i ').
  • the baseline angle obtained for the monocular image E # i centered on the position shifted by the same amount of parallel displacement from the optical axis center position (x # i ', y # i') is the optical axis on the unknown captured image It is the same as the baseline angle obtained for the single-eye image E # i centered on the center position (x # i ′, y # i ′).
  • the same baseline angle as in the case where the lateral mounting error X Error and the vertical mounting error Y Error are 0 is obtained. be able to. Then, using the baseline angle, accurate parallax information that is not affected by the mounting error of the multi-lens interchangeable lens 20 can be obtained from the single-eye image E # i in which the region on the unknown captured image is specified.
  • the horizontal direction can be described in the following in order to simplify the description.
  • the mounting error X Error and the vertical mounting error Y Error are assumed to be 0 (the lateral mounting error X Error and the vertical mounting error Y Error are not mentioned).
  • the optical axis center position of the single-eye image E0 included in the unknown captured image is the optical axis center position of the single-eye image E0 included in the known captured image, that is, in the present embodiment, the known reference position (dx # It corresponds to the origin of the xy coordinate system when obtaining i, dy # i).
  • FIG. 11 is a perspective view showing a configuration example of a second embodiment of a camera system to which the present technology is applied.
  • the camera system is configured of a camera body 10 and a multi-lens interchangeable lens 20.
  • the camera system of FIG. 11 is configured similarly to the case of FIG.
  • the multi-lens interchangeable lens 20 is not provided with the light sources 32L and 32R. Therefore, the camera system of FIG. 11 is different from the case of FIG. 1 in which the multi-lens interchangeable lens 20 has the light sources 32L and 32R in that the multi-lens interchangeable lens 20 does not have the light sources 32L and 32R.
  • FIG. 12 is a block diagram showing an example of an electrical configuration of the camera system of FIG.
  • the multi-lens interchangeable lens 20 includes a storage unit 41 and a communication unit 42.
  • the multi-lens interchangeable lens 20 differs from the case of FIG. 1 in that the multi-lens interchangeable lens 20 does not have the light sources 32L and 32R as described in FIG.
  • the optical axis center position (dx # i, dy) as the known reference position of the single eye image E # i on the known captured image It is common to the case of FIG. 3 in that #i) is included.
  • the known light positions (X L , Y L ) and (X R ,) of the spot light images PL and PR of the light sources 32L and 32R are added to the lens information stored in the storage unit 41. It differs from the case of FIG. 3 in that Y R ) is not included.
  • the multi-lens interchangeable lens 20 of FIG. 12 is different from the case of FIG. 3 in that the lens information stored in the storage unit 41 includes a reference angle.
  • the reference angle is an angle representing the direction of the base line L0 # i at the time of imaging of the known captured image, that is, the known reference position (x0, y0) of the single eye image E0 on the known captured image and the other single eye image E #.
  • the camera body 10 includes an image sensor 51, an area specifying unit 52, an image processing unit 53, a display unit 54, a storage unit 55, a communication unit 56, and a reference position calculation unit 71.
  • the camera body 10 of FIG. 12 is common to the case of FIG. 3 in that it has the image sensor 51 to the communication unit 56.
  • the camera body 10 of FIG. 12 is different from the case of FIG. 3 in that a reference position calculation unit 71 is provided instead of the reference position calculation unit 57.
  • the reference position calculation unit 71 is an individual included in the unknown captured image supplied from the image sensor 51 based on the known reference position (dx # i, dy # i) and the reference angle included in the lens information from the communication unit 56.
  • FIG. 13 is a view for explaining an outline of imaging of a captured image performed using the multi-lens interchangeable lens 20 of FIG.
  • the multi-lens interchangeable lens 20 of FIG. 11 does not have the light sources 32L and 32R.
  • the image sensor 51 of the camera body 10 multiview interchangeable lens 20 of Figure 11 is mounted, it is captured image including the ommatidium images corresponding to the image formed by the light beam in the ommatidium lens 31 i is condensed
  • the imaged image does not include the spot light images PL and PR of the spot lights irradiated by the light sources 32L and 32R.
  • Figure 14 is a diagram illustrating an example of a captured image captured using the arrangement of the single-eye lens 31 0 to 31 4 in the multi-eye interchangeable lens 20 in FIG. 11, the multiview interchangeable lens 20.
  • a of FIG. 14 is a rear view showing an example of the arrangement of the single-eye lens 31 0 to 31 4 in the multi-eye interchangeable lens 20.
  • FIG. 14 an example of a captured image multiview interchangeable lens 20 ommatidia lens 31 0 to 31 4 are disposed is captured by the image sensor 51 of the camera body 10 mounted as shown in A in FIG. 14 FIG.
  • the captured image of B of FIG. 14 is the same as the case of B of FIG. 5 except that there are no spot light images PL and PR, so the description will be omitted.
  • the reference position calculation unit 71 of FIG. 12 uses the optical axis center positions (dx1, dy1) to (dx4, dy4) as known reference positions and the reference angle, and uses the reference angle as the unknown reference position according to the second calculation method.
  • the optical axis center position (dx # i ', dy # i') as the unknown reference position of the single-eye image E # i on the unknown captured image is determined.
  • the optical axis center position (dx # i ', dy # i') can be obtained, the single-eye image E on the unknown captured image using the optical axis center position (dx # i ', dy # i') The area of #i can be identified. Furthermore, a baseline angle at the time of imaging of an unknown captured image can be obtained, and accurate parallax information that is not affected by an attachment error in the rotational direction of the multi-lens interchangeable lens 20 can be obtained using the baseline angle.
  • FIG. 15 is a diagram for explaining a second calculation method for obtaining (relative) optical axis center positions (dx1 ', dy1') to (dx4 ', dy4') as unknown reference positions.
  • a of FIG. 15 illustrates an example of a known captured image obtained by capturing a chart image as a predetermined subject in the camera system in which the multi-lens interchangeable lens 20 of FIG. 11 is attached to the camera body 10.
  • the optical axis center position (dx # i ', dy # i') as the unknown reference position is determined using the known captured image.
  • the parallax between the peripheral image E # i and the central image E0 is determined by the known distance and the single lens 31 i when the known captured image is captured. it can be obtained from the baseline length and the baseline angle between the ommatidium lens 31 0.
  • the baseline angle at the time of imaging of the known captured image can be measured at the time of imaging of the known captured image.
  • the attachment of the multiview interchangeable lens 20 can be adjusted such that the baseline angle becomes a predetermined value such as a design value.
  • An angle ⁇ # i formed by the baseline L0 # i and the x axis is adopted as a baseline angle representing the direction of the baseline L0 # i. .
  • the baseline angle ⁇ # i of the baseline L0 # i of the known captured image is the reference angle ⁇ # i.
  • the optical axis center position (x # i, y # i) (dx # i, dy # i) of the peripheral image E # i is the central image E0 from the center of the circle as the chart reflected in the peripheral image E # i. And the position between the center image E0 and the center position of the circle as a chart in the peripheral image E # i.
  • the center image E0 is The optical axis center position (x0, y0) can be obtained from the central image E0 by detecting the position of the center of the circle as a chart, but in the present embodiment, the optical axis central position of the central image E0 ( x0, y0) is the origin.
  • the reference angle ⁇ # i is further stored in the storage unit 41 of FIG. 12 as lens information.
  • the optical axis center position (dx #) as the unknown reference position on the unknown captured image i ', dy # i') are obtained.
  • FIG. 15 shows an example of an unknown captured image captured in a camera system in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the baseline angle ⁇ # i ′ at the time of imaging of the unknown captured image deviates from the reference angle ⁇ # i at the time of imaging of the known captured image due to the mounting error of the rotational direction of the multi-lens interchangeable lens 20.
  • the deviation of the baseline angle is represented by ⁇ # i′ ⁇ # i.
  • Center position of the optical axis as an unknown reference position of the peripheral image E # i on the unknown captured image in which the baseline angle becomes ⁇ # i 'due to the mounting error in the rotational direction of the multi-lens interchangeable lens 20 (dx # i', dy #
  • the optical center position (dx # i, dy # i) as the known reference position is moved to a position where the optical center position (dx # i, dy # i) is rotated by the deviation of the base angle ⁇ # i'- ⁇ # i.
  • the optical axis center position (dx # i ', dy # i') as the unknown reference position of the peripheral image E # i on the unknown captured image is the optical center position (dx # i, dy #) as the known reference position.
  • i) can be obtained according to equation (5) rotated by the deviation of the base angle ⁇ # i′ ⁇ # i.
  • the optical axis center positions (dx1 ′, dy1 ′) to (dx4 ′, dy4 ′) of the single-eye images E1 to E4 on the captured image as the unknown reference position are obtained by the second calculation method, that is, In the case of obtaining according to (5), the deviation of the baseline angle ⁇ # i'- ⁇ # i is necessary, and in order to obtain the deviation of the baseline angle ⁇ # i'- ⁇ # i, the periphery on the unknown captured image The baseline angle ⁇ # i ′ of the image E # i is required.
  • a feature point having the following equation can be extracted and obtained from the feature point.
  • FIG. 16 is a diagram for explaining an example of extraction of feature points from a single-eye image E # i on an unknown captured image.
  • candidates for feature points are detected, for example, by detecting a corner of Harris from the single-eye image E0 which is one of the single-eye images E0 to E4 on the unknown captured image.
  • One or more candidate points are detected.
  • a point having a high correlation with the candidate point on the central image E0 is detected by block matching or the like, and the correlation is detected from all the peripheral images E1 to E4.
  • the candidate points for which the high points are detected are determined as feature points of the central image E0, and the points of the peripheral images E1 to E4 having high correlation with the feature points are determined as feature points.
  • one point or a plurality of points are extracted as feature points from each single-eye image E # i on the unknown captured image.
  • the coordinates of the feature point a on the single-eye image E # i are represented as (Xa # i, Ya # i).
  • the coordinates of the feature point b on the single-eye image E # i are represented as (Xb # i, Yb # i)
  • the coordinates of the feature point c on the single-eye image E # i are (Xc # i, It is expressed as Yc # i).
  • the baseline angle ⁇ # i ′ of the peripheral image E # i on the unknown captured image is, for example, a feature point of the central image E0 which is a single-eye image and a feature point of the peripheral image E # i which is another single-eye image.
  • Equation (6) is an average value of three angles representing directions of lines connecting the feature points of the center image E0 and the feature points of the peripheral image E # i, which are obtained for the three feature points a to c. ing.
  • the baseline angle ⁇ # i ′ in equation (6) can improve accuracy as the number of angles to be averaged increases, that is, as the number of feature points extracted from each single-eye image E # i increases. .
  • the deviation of the baseline angle ⁇ # i′- ⁇ # i obtained using the baseline angle ⁇ # i ′ obtained by the equation (6) is the feature point of the central image E0 which is a single-eye image and the other individual eyes It can be a rotation angle between an angle representing the direction of a line connecting the feature points of the peripheral image E # i that is an image, and the reference angle ⁇ # i.
  • the baseline angle ⁇ # i ′ is determined according to the equation (6), and the deviation of the baseline angle ⁇ # i′- ⁇ # determined using the baseline angle ⁇ # i ′ according to the equation (5)
  • the optical center position (dx # i, dy # i) is rotated as the known reference position by i
  • the optical axis center position (dx # i as the unknown reference position of the peripheral image E # i on the unknown captured image) ', Dy # i') is required.
  • FIG. 17 calculates the optical axis center positions (dx1 ′, dy1 ′) to (dx4 ′, dy4 ′) of the single-eye images E1 to E4 on the unknown captured image as the unknown reference position by the second calculation method. It is a flowchart explaining the example of acquisition processing of known standard position etc. in the case.
  • the known reference position etc. acquisition process of FIG. 17 can be performed by the camera body 10 as an acquisition processing device, a computer or the like, as in the case of FIG. 8.
  • step S54 the acquisition processing device determines the (relative) known reference position (dx # i, dy # i) of the single-eye image E # i based on the known reference position (x0, y0) of the single-eye image E0. ), And the process proceeds to step S55.
  • the known reference position (dx # i, dy # i) obtained in step S54 and the reference angle ⁇ # i obtained in step S55 are stored in the storage unit 41 of FIG. 12 as a part of lens information. Ru.
  • FIG. 18 shows relative optical axis center positions (dx1 ′, dy1 ′) to (dx4 ′, dy4 ′) of the single-eye images E1 to E4 on the unknown captured image as the unknown reference position according to the second calculation method It is a flowchart explaining the example of the unknown standard position calculation processing to ask for.
  • the reference position calculation unit 71 (FIG. 12) performs the same process as that in steps S21 and S22 of FIG. 9, and the process proceeds to step S63.
  • the reference position calculation unit 71 acquires the lens information of the multi-lens interchangeable lens 20 and the unknown captured image captured by the image sensor 51 by the processes of steps S61 and S62.
  • step S63 the reference position calculation unit 71 determines that the single-eye images E0 to E4 (estimated areas included in the unknown captured image (for example, a rectangular area having a predetermined size around the origin, and lens information) From the optical axis center position (dx # i, dy # i) as a known reference position and a rectangular area of a predetermined size)) , Ya # i), and the process proceeds to step S64.
  • the single-eye images E0 to E4 estimated areas included in the unknown captured image (for example, a rectangular area having a predetermined size around the origin, and lens information) From the optical axis center position (dx # i, dy # i) as a known reference position and a rectangular area of a predetermined size)) , Ya # i), and the process proceeds to step S64.
  • the accuracy can be improved as the baseline angle ⁇ # i ′ in the equation (6) increases as the number of feature points extracted from each monocular image E # i increases.
  • one feature point is extracted from each single-eye image E # i included in the unknown captured image.
  • the reference position calculation unit 71 is the peripheral image and the feature points (Xa0, Ya0) of the single-eye image E0, which is the center image, for the single-eye images E1 to E4 that are peripheral images on the unknown captured image.
  • An angle representing the direction of a feature point connection line, which is a line connecting a feature point (Xa # i, Ya # i) of the single-lens image E # i, is determined as a base line angle ⁇ # i ′ of the single-eye image E # i .
  • the reference position calculation unit 71 rotates, for each of the single-eye images E1 to E4 that are peripheral images on the unknown captured image, between the base angle ⁇ # i ′ and the reference angle ⁇ # i included in the lens information. For example, a relative angle ⁇ # i′ ⁇ # i representing the direction of the feature point connection direction line with respect to the reference angle ⁇ # i is taken as an attachment error in the rotational direction of the multiview interchangeable lens 20. The resulting deviation of the base line angle is obtained as ⁇ # i′ ⁇ # i, and the process proceeds from step S64 to step S65.
  • step S65 the reference position calculation unit 71 uses the reference angle as the known reference position included in the lens information according to the deviation .theta. # I '-. Theta. # I of the base angle obtained in step S64 according to the equation (5). (Relative) as an unknown reference position on the unknown captured image in which the deviation of the baseline angle ⁇ # i'- ⁇ # i occurs by rotating the relative optical axis center position (dx # i, dy # i) The optical axis center position (dx # i ', dy # i') is determined, and the unknown reference position calculation process ends.
  • the multi-lens interchangeable lens 20 is the light source 32L.
  • 32R FIG. 1
  • the single eye on the unknown captured image based on the known reference position (dx # i, dy # i) included in the lens information and the reference angle .theta. # I.
  • the optical axis center position (dx # i ', dy # i') as an unknown reference position on the single-eye image E # i can be obtained.
  • a base line angle (tan -1 (dy # i '/ dx # i') representing the direction of the base line L0 # i from the optical axis center position (dx # i ', dy # i') as the unknown reference position
  • the base line angle can be used to obtain accurate parallax information that is not affected by the mounting error in the rotational direction of the multi-lens interchangeable lens 20.
  • the multi-lens interchangeable lens 20 is attached to a camera body different from the camera body 10 attached when calculating the known reference position (dx # i, dy # i), individual variation or the like may occur.
  • the mounting position of the image sensor in another camera body may be offset from the mounting position of the image sensor 51 in the camera body 10.
  • the multi-lens interchangeable lens 20 is the camera body 10 in the unknown reference position calculation process. It is possible to calculate the optical axis center position (dx # i ', dy # i') of the single-eye image E # i on the unknown captured image as the unknown reference position similar to the case where it is attached to.
  • the reference angle ⁇ # i is obtained from the known reference positions (dx # i, dy # i), it is not necessary to include the reference angle ⁇ # i in the lens information.
  • FIG. 19 is a block diagram showing an example of a functional configuration of a part that performs refocusing in the image processing unit 53 of FIG. 3 and FIG. 12.
  • multiview interchangeable lens 20 for example, as shown in FIG. 5 or the like, if it has a single-eye lens 31 0 to 31 4, to not ommatidium images E0 for the single-eye lens 31 0 to 31 4
  • the area specifying unit 52 supplies E4 to the image processing unit 53. Supplied from the area specifying unit 52 to the image processing unit 53, to not ommatidium image E1 against the ommatidium lens 31 0 to 31 4 E4 from each position of the ommatidium lens 31 0 to 31 4, using an independent camera similar to the captured image obtained by performing image pickup, an image obtained by imaging the viewpoint of each position of the ommatidium lens 31 0 to 31 4, which is an image of different viewpoints.
  • the image processing unit 53 includes a parallax information generation unit 81, an interpolation unit 82, a light collection processing unit 83, and a parameter setting unit 84.
  • the image processing unit 53 is supplied from the area specifying unit 52 with single-eye images E # i of a plurality of viewpoints that are images of a plurality of viewpoints.
  • the viewpoint of the single-eye image E # i is the position of the single-eye lens 31i .
  • the single-eye image E # i is supplied to the disparity information generating unit 81 and the interpolating unit 82.
  • the parallax information generation unit 81 obtains parallax information using the single-eye images E # i of the plurality of viewpoints supplied from the area specifying unit 52, and supplies the parallax information to the interpolation unit 82 and the light collection processing unit 83.
  • the parallax information generation unit 81 obtains the parallax information of the single-eye image E # i supplied from the area specifying unit 52 with the other single-eye image E # j, for example It is performed as image processing of the eye image E # i. Then, for example, the parallax information generation unit 81 generates a map in which parallax information is registered for each pixel (position thereof) of the monocular image, and supplies the map to the interpolation unit 82 and the light collection processing unit 83.
  • disparity information it is possible to adopt any information that can be converted into disparity, such as disparity representing disparity by the number of pixels, distance in the depth direction corresponding to disparity, and the like.
  • disparity is adopted as disparity information, and in disparity information generation unit 81, a disparity map in which the disparity is registered is generated as a map in which disparity information is registered. To be.
  • the interpolation unit 82 uses the plurality of single-eye images E # i from the area specifying unit 52 and the disparity map from the parallax information generation unit 81 to select a viewpoint of the single-eye image E # i, that is, a single-eye lens 31 i generates an image by interpolation which will be obtained if imaging is performed from a viewpoint other than the position of i .
  • the interpolation unit 82 is, for example, a region where the viewpoint of the ommatidium image E # i is distributed, i.e., the region ommatidium lens 31 i are distributed (e.g., a straight line position of ommatidium lens 31 1 to 31 4 1 A plurality of approximately equally spaced points in the region enclosed by the connection as an interpolation viewpoint, an image of the interpolation viewpoint (an image that would be obtained when imaging is performed from the interpolation viewpoint) Are generated by interpolation.
  • the interpolation unit 82 can generate an image of a viewpoint for interpolation as a viewpoint for interpolation also at a point outside the area where the single lenses 31 i are distributed.
  • the interpolation unit 82 After generating the image of the viewpoint for interpolation, the interpolation unit 82 supplies the monocular image E # i and the image of the viewpoint for interpolation to the light collection processing unit 83.
  • an image generated by interpolation using a monocular image in the interpolation unit 82 is also referred to as an interpolated image.
  • the monocular image E # i supplied from the interpolation unit 82 to the light collection processing unit 83 and the interpolation image of the viewpoint for interpolation are collectively referred to as a viewpoint image.
  • the interpolation performed by the interpolation unit 82 can be considered to be processing of generating viewpoint images of more viewpoints from single-eye images E # i of a plurality of viewpoints.
  • This process of generating viewpoint images of a large number of viewpoints can be regarded as a process of reproducing light rays incident from real space points in real space.
  • the condensing processing unit 83 condenses the light beam from the subject, which has passed through the optical system such as a lens, on the image sensor or film in a real camera using the viewpoint images of the plurality of viewpoints from the interpolation unit 82
  • Light collecting processing which is image processing equivalent to forming an image of a subject.
  • refocusing can be performed to generate (reconfigure) an image in which an arbitrary subject is in focus. Refocusing is performed using the disparity map from the disparity information generating unit 81 and the focusing parameter from the parameter setting unit 84.
  • An image obtained by the light collection process of the light collection processing unit 83 is output as a processing result image (to the display unit 54 or the storage unit 55 (FIG. 3)).
  • the parameter setting unit 84 sets the pixels of one single-eye image E # i (for example, the single-eye image E0) at a position designated by the operation of the operation unit (not shown) by the user, a predetermined application, or the like. It is set as a focusing target pixel for focusing (a subject is shown), and is supplied to the focusing processing unit 83 as a focusing parameter.
  • FIG. 20 is a flowchart for explaining an example of image processing performed by the image processing unit 53 of FIG.
  • single-eye images E # i of a plurality of viewpoints that are images of a plurality of viewpoints supplied from the area specifying unit 52 are supplied to the parallax information generation unit 81 and the interpolation unit 82.
  • step S81 the parallax information generation unit 81 obtains parallax information using the single-eye images E # i of the plurality of viewpoints from the area specifying unit 52, and the parallax information is registered. Disparity information generation processing for generating a parity map is performed.
  • the disparity information generating unit 81 supplies the disparity map obtained by the disparity information generating process to the interpolating unit 82 and the light collecting processing unit 83, and the process proceeds from step S81 to step S82.
  • step S 82 the interpolation unit 82 uses the single-eye images E # i of the plurality of viewpoints from the area specifying unit 52 and the disparity map from the parallax information generation unit 81 to obtain the single-eye image E # i Interpolation processing is performed to generate interpolation images of a plurality of interpolation viewpoints other than the above.
  • the interpolation unit 82 sets the single-eye images E # i of the plurality of viewpoints from the area specifying unit 52 and the interpolation images of the plurality of interpolation viewpoints obtained by the interpolation processing as the viewpoint images of the plurality of viewpoints. , And the processing proceeds from step S82 to step S83.
  • step S83 the parameter setting unit 84 sets a pixel of one viewpoint image (for example, the single-eye image E0) at a position designated by a user operation or the like as a focusing target pixel to be focused. Do the processing.
  • the parameter setting unit 84 supplies (the information of) the focusing target pixel obtained by the setting process as a light collection parameter to the light collection processing unit 83, and the process proceeds from step S83 to step S84.
  • the focusing target pixel can be set in accordance with the user's designation, or can be set in accordance with, for example, designation from an application, designation by a predetermined rule, or the like.
  • step S84 the light collection processing unit 83 selects the viewpoint images of the plurality of viewpoints from the interpolation unit 82, the disparity map from the parallax information generation unit 81, and the focusing target as the light collection parameter from the parameter setting unit 84.
  • Condensing processing equivalent to condensing a light beam from a subject on a virtual sensor (not shown) is performed using pixels, and the image processing of the image processing unit 53 ends.
  • the light collection processing unit 83 supplies the processing result image obtained as a result of the light collection processing to the display unit 54.
  • the entity of the virtual sensor to which the light beam is collected is, for example, a memory (not shown).
  • pixel values of viewpoint images of a plurality of viewpoints are integrated in (a storage value of) a memory as a virtual sensor as luminance of the light beam focused on the virtual sensor. The pixel values of the resulting image are determined.
  • a reference shift amount BV described later which is a pixel shift amount for shifting pixels of viewpoint images of a plurality of viewpoints, is set, and a plurality of viewpoints are set according to the reference shift amount BV.
  • the in-focus point is a real space point in real space where the in-focus is achieved, and in the focusing process of the focusing processor 83, the in-focus plane, which is a set of in-focus points, is a parameter setting unit. It is set using a focusing target pixel as a focusing parameter from 84.
  • the image processing unit 53 (FIG. 19) can be configured with only the light collection processing unit 83.
  • the interpolation unit 82 is not provided.
  • the image processing unit 53 can be configured. However, when the light collecting process is performed using the interpolation image as well as the single-eye image E # i, it is possible to suppress the occurrence of ringing on an unfocused subject in the processing result image. .
  • the parallax information generation unit 53 can be configured without providing 81.
  • the image processing unit 53 can be configured without providing the parameter setting unit 84.
  • the camera body 10 can be configured without the image processing unit 53.
  • FIG. 21 is a rear view showing another configuration example of the multi-lens interchangeable lens 20.
  • FIG. 21 is a rear view showing another configuration example of the multi-lens interchangeable lens 20.
  • the multiview interchangeable lens 20 has seven ommatidium lens 31 0 to 31 6, to its seven ommatidium lens 31 0 31 6, so as not to overlap in the optical axis direction, 2 It is arranged on the dimensional plane.
  • ommatidium lens 31 0 to 31 6 is one of them, for example, pieces around the eye lens 31 0, to 31 1 other six ommatidium lens 31 6, the periphery of the ommatidium lens 31 0, are arranged to form a regular hexagon vertex.
  • FIG. 21 a multiple lens interchangeable lens 20, as shown in FIG. 21 will be described as an example a case having seven ommatidium lens 31 0 to 31 6.
  • Multiview interchangeable lens 20 as shown in FIG. 21, seven cases with ommatidium lens 31 0 to 31 6, the parallax information generating unit 81 of the image processing unit 53 from the area specifying unit 52 (FIG. 3) and a plurality of viewpoints of ommatidium image E # i to be supplied to the interpolation section 82, to seven pieces of the eye lens 31 0 to 31 6 for 7 viewpoint ommatidium images E0 not is E6.
  • FIG. 22 is a diagram for explaining an example of generation of an interpolation image in the interpolation unit 82 of FIG.
  • the interpolation unit 82 When generating an interpolation image of a certain viewpoint, the interpolation unit 82 sequentially selects pixels of the interpolation image as interpolation target pixels to be interpolated. Furthermore, the interpolation unit 82 is a pixel of the interpolation target pixel for all of the seven-view monocular images E0 to E6 or for the single-eye image E # i of some (multiple) viewpoints close to the viewpoints of the interpolation image. It is selected as a pixel value calculation image used for calculation of a value.
  • the interpolation unit 82 uses the disparity map from the disparity information generation unit 81 and the viewpoints of the interpolation image to set interpolation target pixels from each of the single-eye images E # i of the plurality of viewpoints selected for the pixel value calculation image.
  • a corresponding corresponding pixel (a pixel in which the same spatial point as the spatial point that would be captured in the interpolation target pixel if imaging is performed from the viewpoint of the interpolated image) is obtained.
  • the interpolation unit 82 performs weighted addition of the pixel values of the corresponding pixels of the monocular image E # i of the plurality of viewpoints, and obtains the weighted addition value obtained as a result of the calculation as the pixel value of the pixel to be interpolated.
  • the weight used for weighted addition of the pixel values of the corresponding pixels is inversely proportional to the distance between the viewpoint of the monocular image E # i as the pixel value calculation image having the corresponding pixels and the viewpoint of the interpolation image having the interpolation target pixel
  • the following values can be adopted.
  • FIG. 23 is a diagram for explaining an example of generation of a disparity map in the disparity information generating unit 81 in FIG.
  • FIG. 23 to no ommatidium images E0 for the ommatidium lens 31 0 to 31 6 of the area specifying unit 52 shows an example of E6.
  • the predetermined object obj as the foreground is shown on the near side of the predetermined background.
  • the position of the object obj (the position on the single-eye image) shown in each of the single-eye images E1 to E6 is the position of the object obj shown in the single-eye image E0. From the point of view, they are off by a different amount.
  • the disparity information generating unit 81 when generating a disparity map of the viewpoint vp0 of the single-eye image E0, sets the single-eye image E0 as a target image E0 of interest. Furthermore, the parallax information generation unit 81 sequentially selects each pixel of the image of interest E0 as a pixel of interest to be focused, and the corresponding pixels (corresponding points) corresponding to the pixel of interest are selected from the other monocular images E1 to E6. Detect from each.
  • a vector representing positional deviation of the corresponding pixel of the monocular image E # i with respect to the target pixel of the target image E0 is referred to as a disparity vector v # i, 0.
  • the disparity information generating unit 81 obtains disparity vectors v1, 0 to v6, 0 for the single-eye images E1 to E6. Then, the disparity information generating unit 81 performs, for example, a majority decision on the magnitudes of the disparity vectors v1,0 to v6,0, and the magnitude of the disparity vector v # i, 0 that has won the majority decision is It is calculated as the magnitude of the disparity of (the position of) the pixel of interest.
  • the area specifying unit 52 as described with reference to FIG. 21, the target image E0 and ommatidium lens 31 0 obtained is, to E6 was ommatidium lens 31 1 which is obtained to not ommatidium image E1 31 6 respectively
  • the real space points in the pixel of interest of the image of interest E0 are also included in the single-eye images E1 to E6, if the distances between them are the same distance B, the disparity vectors v1, 0 to v6 , 0, vectors having different directions but equal sizes are obtained.
  • the disparity vectors v1,0 to v6,0 are vectors having the same size in the direction opposite to the directions of the viewpoints vp1 to vp6 of the other single-eye images E1 to E6 with respect to the viewpoint vp0 of the noted image E0.
  • the single-eye images E1 to E6 there may be an image in which an occlusion has occurred, that is, an image in which a real space point shown in a target pixel of the target image E0 is not shown behind the foreground.
  • an occlusion image For a monocular image (hereinafter also referred to as an occlusion image) E # i in which a real space point appearing in a target pixel of the target image E0 is not visible, it is difficult to detect a correct pixel as a corresponding pixel corresponding to the target pixel is there.
  • the disparity information generating unit 81 makes a majority decision on the magnitudes of the disparity vectors v1,0 to v6,0, and the magnitude of the disparity vector v # i, 0 that has won the majority decision. Is determined as the size of the disparity of the pixel of interest.
  • disparity vectors v1,0 to v6,0 three disparity vectors v1,0, v2,0, v6,0 are vectors of equal size. Further, for each of the disparity vectors v3, 0, v4, 0, v5, 0, there is no disparity vector having the same size.
  • the magnitudes of the three disparity vectors v1, 0, v2, 0, v6, 0 are determined as the magnitude of the disparity of the pixel of interest.
  • ommatidium image E # i can be recognized from the viewpoint vp # i positional relationship between (ommatidium lens 31 i position) (such as the direction from the viewpoint vp0 to viewpoint vp # i).
  • the disparity information generating unit 81 sequentially selects each pixel of the image of interest E0 as the pixel of interest, and obtains the magnitude of the disparity. Then, the disparity information generating unit 81 generates, as a disparity map, a map in which the magnitude of the disparity of the pixel is registered with respect to the position (xy coordinates) of each pixel of the image of interest E0. Therefore, the disparity map is a map (table) in which the position of a pixel is associated with the magnitude of the disparity of the pixel.
  • the disparity map of the viewpoint vp # i of another single-eye image E # i can also be generated in the same manner as the disparity map of the viewpoint vp0.
  • the majority of the disparity vector is determined by using the viewpoint vp # i of the single-eye image E # i and an individual other than the single-eye image E # i based on the positional relationship between the viewpoint vp # j of the eye image E # j (positional relationship between the ommatidium lens 31 i and 31 j) (the distance between the viewpoint vp # i and the viewpoint vp # j), the disparity vector magnitude The adjustment is done.
  • the disparity vector obtained between the target image E4 and the single-eye image E1 is the disparity vector between the target image E4 and the single-eye image E0. It is twice as large as the disparity vector obtained between them.
  • the distance B is a base length of the other single-eye lenses 31 i, and that the reference base length as a reference for determining the disparity.
  • the majority of the disparity vector is adjusted by adjusting the magnitude of the disparity vector so that the baseline length is converted to the reference baseline length B.
  • the ommatidium lens 31 4 of the target image E4 is obtained, number base length B of eye images E0 is obtained ommatidium lens 31 0 is equal to the reference base length B, the image of interest E4 and ommatidia image
  • the disparity vector obtained between E0 and E0 is adjusted to one time its size.
  • the ommatidium lens 31 4 of the target image E4 is obtained
  • the base line length 2B ommatidium lens 31 1 ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the image of interest E4 disparity vector obtained between the ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the image of interest E4 disparity vector obtained between the ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the image of interest E4 disparity vector obtained between the ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the image of interest E4 disparity vector obtained between the ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the image of interest E4 disparity vector obtained between the ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the image of interest E4 disparity vector obtained between the ommatidium image E1 is obtained is equal to twice the reference baseline length B
  • the magnitude of the disparity vector obtained between the image of interest E4 and the other single-eye image E # i is adjusted to be a value that is the value of the ratio to the reference baseline length B.
  • the majority of the disparity vector is determined using the adjusted disparity vector.
  • the disparity of (the respective pixels of) the single-eye image E # i can be determined, for example, with the accuracy of the pixels of the single-eye image.
  • the disparity of the single-eye image E # i may be obtained, for example, with an accuracy below the pixel (for example, the accuracy of a sub-pixel such as 1 ⁇ 4 pixel) that is finer than the pixels of the single-eye image E # i. it can.
  • the disparity with the sub-pixel accuracy can be used as it is, or the decimal part of the disparity with sub-pixel accuracy is discarded, rounded up, or It can also be rounded and used as an integer.
  • the magnitude of the disparity registered in the disparity map is hereinafter also referred to as registration disparity.
  • the registered disparity is the monocular image E0 Disparity between each pixel of each pixel and the single-eye image E4 of the viewpoint next to the left of the single-eye image E0 (pixel deviation from the pixel of the single-eye image E0 to the corresponding pixel of the single-eye image E4 corresponding to that pixel Equal to the x component of
  • FIG. 24 is a diagram for explaining an outline of refocusing by the light collecting process performed by the light collecting processing unit 83 in FIG.
  • the single-eye image E0, the single-eye image E1 of the right-side viewpoint of the single-eye image E0, and the single-eye image Three images of the single-eye image E4 of the viewpoint next to the left of the image E0 are used.
  • two objects obj1 and obj2 appear in the single-eye images E0, E1 and E4.
  • the object obj1 is located on the near side
  • the object obj2 is located on the far side.
  • refocusing is performed to bring the object obj1 into focus (focus on), and an image viewed from the viewpoint of the single-eye image E0 is obtained as a processing result image after the refocus.
  • the disparity of the viewpoint of the processing result image (here, the viewpoint of the single-eye image E0) with respect to the pixel on which the object obj1 of the single-eye image E0 appears is denoted as DP0.
  • the disparity of the viewpoint of the processing result image between the pixel in which the object obj1 of the monocular image E1 appears and the disparity in the viewpoint of the processing result image is denoted DP1
  • the processing result image between the pixel where the object obj1 in the single eye image E4 appears The disparity of the viewpoint of is denoted by DP4.
  • the viewpoint of the processing result image is equal to the viewpoint of the monocular image E0, so the disparity DP0 of the viewpoint of the processing result image with the pixel on which the object obj1 of the monocular image E0 appears is It becomes 0, 0).
  • the single-eye images E0, E1, and E4 are pixel-shifted according to the disparity DP0, DP1, and DP4, respectively, and the single-eye images after the pixel shift
  • the images E0, E1 and E4 it is possible to obtain a processing result image focused on the object obj1.
  • the single-eye images E0, E1, and E4 are pixel-shifted by canceling the disparities DP0, DP1, and DP4 (in the reverse directions of the disparities DP0, DP1, and DP4).
  • the positions of the pixels on which the object obj1 appears are the same.
  • the positions of the pixels on which the object obj2 appears at the position in the depth direction different from the object obj1 do not match. Therefore, the object obj2 that appears in the processing result image is blurred.
  • the viewpoint of the processing result image is the viewpoint of the monocular image E0, and the disparity DP0 is (0, 0). Therefore, for the monocular image E0, There is no need to perform pixel shift.
  • the viewpoint of the processing result image between the pixels of the viewpoint image of the plurality of viewpoints and the focusing target pixel where the focusing target appears By performing pixel shift and integration so as to cancel the disparity of the monocular image E0), an image in which refocusing has been performed on the focusing target is obtained as a processing result image.
  • FIG. 25 is a diagram for explaining an example of disparity conversion.
  • the registered disparity registered in the disparity map corresponds to each pixel of the single-eye image E4 of the viewpoint next to the left of the single-eye image E0 in a portion other than the region where the occlusion occurs. Between them, which is equal to the x component of the disparity of the pixel of the single-eye image E0.
  • the disparity of the focusing target pixel of the processing result image with the viewpoint image of the focused viewpoint is required.
  • the disparity of the in-focus pixel of the single-eye image E0 between the viewpoint image of the point of interest and the in-focus image of the single-eye image E0 (the single-eye image E0 corresponding to the in-focus pixel of the processing result image) From the viewpoint of the processing result image, the direction of the target viewpoint can be obtained from the registration disparity of the corresponding pixel).
  • ommatidium lens 31 1 the processing result there from the viewpoint of a ommatidium images E0 a viewpoint of an image at a position separated only + x direction reference base length B, which is the perspective of the processing result image ommatidium images E0 From the viewpoint
  • the direction of the viewpoint of the single- eye image E1 with respect to the single- lens lens 311 is 0 [radian].
  • the disparity DP1 (as a vector) of the focusing target pixel of the monocular image E0 between the single- eye image E1 (viewpoint image) for the single- lens lens 311 is the registration disparity of the focusing target pixel.
  • single-eye lens 312 is located from the point of view of a perspective of the processing result image ommatidium images E0 to reference base length B by [pi / 3 position apart in the direction of a viewpoint of the processing result image number direction of the viewpoint of the ommatidium images E3 from a viewpoint for the single-eye lens 31 and second eye image E0 is ⁇ / 3 [radian].
  • the interpolation image obtained by the interpolation unit 82 can be regarded as an image captured by a virtual lens located at the viewpoint vp of the interpolation image. It is assumed that the viewpoint vp of the image captured by this virtual lens is a distance L in the direction of the angle ⁇ (radian) from the viewpoint of the monocular image E0 that is the viewpoint of the processing result image. In this case, the disparity DP of the in-focus pixel of the single-eye image E0 between the viewpoint image of the viewpoint vp (the image captured by the virtual lens) is the registered disparity RD of the in-focus pixel.
  • the angle ⁇ which is the direction of the viewpoint vp can be taken into consideration to obtain ( ⁇ (L / B) ⁇ RD ⁇ cos ⁇ , ⁇ (L / B) ⁇ RD ⁇ sin ⁇ ).
  • the disparity of the pixels of the single-eye image E0 between the viewpoint image of the point of interest and the registration disparity RD is also called disparity conversion.
  • the disparity of the focusing target pixel of the single-eye image E0 with respect to the viewpoint image of each viewpoint is obtained by the disparity conversion, and the focusing target
  • the viewpoint image of each viewpoint is pixel shifted so as to cancel the pixel disparity.
  • the viewpoint image is pixel shifted so as to cancel the disparity of the focusing target pixel with the viewpoint image.
  • the shift amount of this pixel shift is also referred to as the focusing shift amount.
  • the viewpoint of the i-th viewpoint image is also described as a viewpoint vp # i.
  • the focusing shift amount of the viewpoint image of the viewpoint vp # i is also described as the focusing shift amount SV # i.
  • the focusing shift amount SV # i of the viewpoint image of the viewpoint vp # i adds the direction of the viewpoint vp # i from the viewpoint of the monocular image E0 which is the viewpoint of the processing result image from the registered disparity RD of the focusing target pixel. It can be uniquely determined by the disparity conversion.
  • the disparity (vector as) (-(L / B) ⁇ RD ⁇ cos ⁇ , ⁇ (L / B) ⁇ RD ⁇ sin ⁇ ) Desired.
  • the disparity conversion is performed, for example, by multiplying the registration disparity RD by each of-(L / B) ⁇ cos ⁇ and-(L / B) ⁇ sin ⁇ , or -1 of the registration disparity RD. It can be understood as an operation or the like which multiplies each of (L / B) ⁇ cos ⁇ and (L / B) ⁇ sin ⁇ with respect to the multiplication.
  • the disparity conversion is regarded as an operation of multiplying each of (L / B) ⁇ cos ⁇ and (L / B) ⁇ sin ⁇ by ⁇ 1 time of the registered disparity RD.
  • a value to be subjected to disparity conversion that is, ⁇ 1 times the registered disparity RD here is a value serving as a reference for determining the focusing shift amount of the viewpoint image of each viewpoint. Also called quantity BV.
  • the focusing shift amount is uniquely determined by the disparity conversion of the reference shift amount BV. Therefore, according to the setting of the reference shift amount BV, the setting substantially reduces the pixels of the viewpoint image of each viewpoint in refocusing.
  • the pixel shift amount for pixel shift is set.
  • the reference shift amount BV for focusing the focusing target pixel that is, the focusing target pixel
  • the ⁇ 1 time of the registered disparity RD is equal to the x component of the disparity of the focus target pixel between the single-lens image E1.
  • FIG. 26 is a flowchart for explaining an example of the light collecting process for performing refocusing.
  • step S91 the light collection processing unit 83 acquires (information of) the focusing target pixel as a light collection parameter from the parameter setting unit 84, and the process proceeds to step S92.
  • the parameter setting unit 84 sets a pixel at a position designated by the user as a focusing target pixel, and supplies (the information representing) the focusing target pixel to the focusing processing unit 83 as a focusing parameter.
  • step S91 the light collection processing unit 83 acquires the focusing target pixel supplied from the parameter setting unit 84 as described above.
  • step S 92 the light collection processing unit 83 acquires the registered disparity RD of the focusing target pixel registered in the disparity map from the disparity information generating unit 81. Then, the light collection processing unit 83 sets the reference shift amount BV according to the registration disparity RD of the focusing target pixel, that is, for example, ⁇ 1 time of the registration disparity RD of the focusing target pixel is a reference The shift amount BV is set, and the process proceeds from step S92 to step S93.
  • the light collection processing unit 83 is an image corresponding to the single-eye image E0, which is one of the viewpoint images of the plurality of viewpoints from the interpolation unit 82, that is, the viewpoint of the single-eye image E0.
  • the image having the same size as the single-eye image E0 and having an initial pixel value of 0 is set as the processing result image.
  • the light collection processing unit 83 determines one pixel among the pixels not determined as the target pixel among the pixels of the processing result image as the target pixel, and the process proceeds from step S93 to step S94. Go to
  • step S94 the condensing processing unit 83 selects one viewpoint vp # i of the viewpoint images of the viewpoint image from the interpolation unit 82 (for the target pixel) that has not yet been determined as the target viewpoint vp # i. i is determined, and the process proceeds to step S95.
  • step S95 the light collection processing unit 83 uses the reference shift amount BV to focus the focusing target pixel (focus on the subject shown in the focusing target pixel), the viewpoint of the focus viewpoint vp # i The focusing shift amount SV # i of each pixel of the image is obtained.
  • the light collection processing unit 83 performs disparity conversion on the reference shift amount BV, taking into account the direction of the target viewpoint vp # i from the viewpoint of the monocular image E0 that is the viewpoint of the processing result image, and the disparity conversion
  • the value (vector) obtained as a result of is acquired as the in-focus shift amount SV # i of each pixel of the viewpoint image of the attention viewpoint vp # i.
  • step S95 the process proceeds from step S95 to step S96, and the light collection processing unit 83 performs pixel shift of each pixel of the viewpoint image of the focused viewpoint vp # i according to the focusing shift amount SV # i, and after pixel shift
  • the pixel value of the pixel at the position of the target pixel in the viewpoint image is integrated with the pixel value of the target pixel.
  • the light collection processing unit 83 generates a vector corresponding to the focusing shift amount SV # i from the position of the pixel of interest among the pixels of the viewpoint image of the watching point vp # i (here, for example, the focusing shift amount SV
  • the pixel values of pixels separated by ⁇ 1) times #i are integrated with the pixel value of the target pixel.
  • step S96 the process proceeds from step S96 to step S97, and the light collection processing unit 83 determines whether all the viewpoints of the viewpoint image from the interpolation unit 82 have been set as the attention viewpoint.
  • step S97 If it is determined in step S97 that all the viewpoints of the viewpoint image from the interpolation unit 82 have not been set as the target viewpoint, the process returns to step S94, and the same process is repeated thereafter.
  • step S97 When it is determined in step S97 that all the viewpoints of the viewpoint image from the interpolation unit 82 are the focus viewpoint, the process proceeds to step S98.
  • step S98 the light collection processing unit 83 determines whether all the pixels of the processing result image have been set as the target pixel.
  • step S98 If it is determined in step S98 that not all the pixels of the processing result image have been set as the pixel of interest, the processing returns to step S93, and the light condensing processing unit 83 determines the pixels of the processing result image as described above. Among the pixels, one of the pixels not determined as the target pixel is newly determined as the target pixel, and the same processing is repeated thereafter.
  • step S98 when it is determined in step S98 that all the pixels of the processing result image have been set as the pixel of interest, the light collection processing unit 83 outputs the processing result image, and the light collection processing ends.
  • a focused processing result image is generated using viewpoint images of a plurality of viewpoints.
  • the reference shift amount BV is set according to the registration disparity RD of the focusing target pixel, and does not change depending on the target pixel or the target viewpoint vp # i. Therefore, in the light collection process of FIG. 26, the reference shift amount BV is set regardless of the target pixel or the target viewpoint vp # i.
  • the focusing shift amount SV # i changes depending on the focused viewpoint vp # i and the reference shift amount BV.
  • the reference shift amount BV corresponds to the focused pixel or the focused viewpoint. It does not change depending on vp # i. Therefore, the focusing shift amount SV # i changes depending on the focused viewpoint vp # i, but does not change depending on the focused pixel. That is, the focusing shift amount SV # i has the same value for each pixel of the viewpoint image of one viewpoint regardless of the pixel of interest.
  • step S95 for obtaining the in-focus shift amount SV # i is a loop for repeatedly calculating the in-focus shift amount SV # i for the same viewpoint vp # i for different target pixels (steps S93 to S98).
  • the focusing shift amount SV # i has the same value for each pixel of the viewpoint image of one viewpoint regardless of the pixel of interest.
  • step S95 for obtaining the focusing shift amount SV # i may be performed only once for one viewpoint.
  • FIG. 27 is a diagram for explaining an example of processing for acquiring an unknown reference position (dx # i ′, dy # i ′) of an unknown captured image using a server.
  • the lens ID of the multi-lens interchangeable lens 20 is stored as lens information in the storage unit 41 of the multi-lens interchangeable lens 20, and the multi-lens interchangeable lens 20 identified by the lens ID and the lens ID It is assumed that a database in which other lens information (known reference positions (dx # i, dy # i, etc.)) are associated with each other is prepared.
  • the communication unit 42 of the multi-lens interchangeable lens 20 (FIG. 3) (FIG. 12) stores the lens information stored in the storage unit 41.
  • the lens ID is transmitted to the camera body 10 as
  • the communication unit 56 of the camera body 10 receives the lens ID from the multi-lens interchangeable lens 20.
  • the communication unit 56 of the camera body 10 For example, the lens ID from the eye interchangeable lens 20 and the unknown captured image are transmitted to the server 90 on the cloud.
  • the server 90 receives the lens ID and the unknown captured image from the camera body 10. Furthermore, in step S131, the server 90 searches a database (DB) using the lens ID from the camera body 10 as a keyword, and performs known imaging as other lens information of the multi-lens interchangeable lens 20 specified by the lens ID known reference position of the image (dx # i, dy # i ) and the known light position (X L, Y L) and (X R, Y R), or, to obtain a reference angle theta # i.
  • DB database
  • step S132 the server 90 determines the known reference position (dx # i, dy # i) of the known captured image as lens information of the multi-lens interchangeable lens 20 retrieved from the database and the known light position (X L , Y). L ) and (X R , Y R ) or the reference angle ⁇ # i, the unknown reference position (dx #i ′,) of the single-eye image E # i included in the unknown captured image from the camera body 10 Find dy # i ').
  • the server 90 transmits the unknown reference position (dx # i ', dy # i') to the camera proper 10 in step S133.
  • the communication unit 56 receives the unknown reference position (dx # i ′, dy # i ′) from the server 90, and supplies it to the area specifying unit 52.
  • the area specifying unit 52 specifies the area of the monocular image E # i on the unknown captured image using the unknown reference position (dx # i ′, dy # i ′) from the server 90.
  • the unknown reference position (dx # i ', dy # i') can be obtained by the server 90 different from the camera body 10.
  • the camera body 10 can be configured without providing the reference position calculation unit 57 (FIG. 3) or the reference position calculation unit 71 (FIG. 12).
  • the unknown reference position (dx # i ', dy # i') of the single-eye image E # i included in the unknown captured image is determined, and then the unknown reference position (dx # i ', dy # Using i ′), the area of the single-eye image E # i on the unknown captured image can be specified, and area specification result information representing the result of specifying the area can be transmitted to the camera body 10.
  • the camera body 10 can be configured without providing the reference position calculation unit 57 or 71 and the area specifying unit 52.
  • the camera body 10 can be configured without the image processing unit 53, and can transmit an unknown captured image or a single-eye image E # i specified from the unknown captured image to the server 90.
  • the single-eye image E # i is specified from the unknown captured image in the server 90 as necessary, and the single-eye image E # i specified from the unknown captured image is transmitted from the camera body 10
  • the same image processing as the image processing unit 53 can be performed using the single-eye image E # i.
  • the server 90 can transmit the processing result image obtained by the image processing to the camera body 10.
  • a series of processes such as the area specifying unit 52, the image processing unit 53, the communication unit 56, and the reference position calculation units 57 and 71 can be performed by hardware or software.
  • a program constituting the software is installed in a general-purpose computer or the like.
  • FIG. 28 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 205 or a ROM 203 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 211.
  • Such removable recording medium 211 can be provided as so-called package software.
  • examples of the removable recording medium 211 include a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical disc (MO), a digital versatile disc (DVD), a magnetic disc, a semiconductor memory, and the like.
  • the program may be installed on the computer from the removable recording medium 211 as described above, or may be downloaded to the computer via a communication network or a broadcast network and installed on the built-in hard disk 205. That is, for example, the program is wirelessly transferred from the download site to the computer via an artificial satellite for digital satellite broadcasting, or transferred to the computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 202, and an input / output interface 210 is connected to the CPU 202 via a bus 201.
  • CPU Central Processing Unit
  • the CPU 202 executes a program stored in a ROM (Read Only Memory) 203 accordingly. .
  • the CPU 202 loads a program stored in the hard disk 205 into a random access memory (RAM) 204 and executes the program.
  • RAM random access memory
  • the CPU 202 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 202 outputs the processing result from the output unit 206 or transmits it from the communication unit 208 through the input / output interface 210, for example, and records the processing result on the hard disk 205, as necessary.
  • the input unit 207 is configured of a keyboard, a mouse, a microphone, and the like. Further, the output unit 206 is configured of an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed chronologically in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or separately (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed and processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer for execution.
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • ⁇ 1> When an interchangeable lens having single lenses, which is a plurality of lenses arranged so as not to overlap in the optical axis direction, is mounted on a camera body having an image sensor, a predetermined subject imaged by one image sensor is A communication unit that receives a known reference position, which is a position corresponding to a predetermined light beam on the single-eye image corresponding to an image formed by the light beam collected by the individual lens on the captured image to be displayed; Reference position calculation for obtaining an unknown reference position which is a position corresponding to the predetermined light beam on the single-eye image with respect to the single-eye lens on the other single-lens lens on the other captured image captured by the image sensor based on the known reference position
  • An information processing apparatus comprising: ⁇ 2> The information processing apparatus according to ⁇ 1>, wherein the captured image is an image on which the predetermined subject at a known distance is captured.
  • the information processing apparatus according to ⁇ 1> or ⁇ 2>, further comprising: an area specifying unit for specifying an area of each of a plurality of single-eye images for the plurality of single-eye lenses on the other captured image based on the unknown reference position.
  • the interchangeable lens includes a plurality of light sources for emitting light.
  • the communication unit receives the known reference position and a known light position which is an irradiation position of light of each of the plurality of light sources on the captured image,
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 3>, wherein the reference position calculation unit obtains the unknown reference position based on the known reference position and the known light position.
  • the reference position calculation unit Determining a rotation angle between the irradiation position of the light of each of the plurality of light sources on the other captured image and the known light position; The information processing apparatus according to ⁇ 4>, wherein the unknown reference position is obtained by rotating the known reference position according to the rotation angle.
  • the reference position calculation unit Feature points having the same features are extracted from each of the plurality of single-eye images for the plurality of single-eye lenses on the other captured image, An angle representing the direction of a line connecting the feature point of one monocular image of the plurality of single-eye images and the feature point of another single-eye image, and the known reference position of the one single-eye image Obtaining a rotation angle between a reference angle which is an angle representing the direction of a line connecting the image and the known reference position of the other single-lens image,
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 3>, wherein the unknown reference position is obtained by rotating the known reference position according to the rotation angle.
  • ⁇ 8> The information processing apparatus according to ⁇ 7>, wherein the communication unit receives the known reference position and the reference angle.
  • ⁇ 9> Processing in which the distance in the depth direction is in focus at a predetermined distance by shifting and integrating the pixels of the viewpoint images of the plurality of viewpoints including the plurality of single-lens images specified from the other captured images
  • the information processing apparatus according to ⁇ 3> further including a light collection processing unit that performs light collection processing for generating a result image.
  • the light collection processing unit sets a shift amount for shifting a pixel of the viewpoint image according to parallax information of the viewpoint images of the plurality of viewpoints.
  • the viewpoint images of the plurality of viewpoints include the plurality of monocular images and a plurality of interpolated images generated by interpolation using the plurality of monocular images.
  • ⁇ 12> A disparity information generating unit that generates disparity information of the plurality of single-eye images;
  • the information processing apparatus When an interchangeable lens having single lenses, which is a plurality of lenses arranged so as not to overlap in the optical axis direction, is mounted on a camera body having an image sensor, a predetermined subject imaged by one image sensor is Receiving a known reference position, which is a position corresponding to a predetermined light ray on the monocular image corresponding to an image formed by the light beam collected by the individual lens on the captured image to be displayed; Determining an unknown reference position which is a position corresponding to the predetermined light beam on the single-eye image with respect to the single-eye lens on the other single-lens lens on the other captured image captured by the image sensor based on the known reference position.
  • Information processing method including.
  • a predetermined subject imaged by one image sensor is A communication unit that receives a known reference position, which is a position corresponding to a predetermined light beam on the single-eye image corresponding to an image formed by the light beam collected by the individual lens on the captured image to be displayed; Reference position calculation for obtaining an unknown reference position which is a position corresponding to the predetermined light beam on the single-eye image with respect to the single-eye lens on the other single-lens lens on the other captured image captured by the image sensor based on the known reference position A program to make a computer function as a unit.
  • An individual lens which is a plurality of lenses disposed so as not to overlap in the optical axis direction, Corresponding to an image formed by light rays collected by the single lens on a captured image on which a predetermined subject captured by one image sensor is mounted when mounted on a camera body having an image sensor
  • a storage unit for storing a known reference position which is a position corresponding to a predetermined ray on the single-eye image;
  • a communication unit that transmits the known reference position to the outside;
  • the image sensor further comprises a plurality of light sources for emitting light,
  • the storage unit stores the known reference position and a known light position which is an irradiation position of light of each of the plurality of light sources on the captured image;
  • the interchangeable lens according to ⁇ 15>, wherein the communication unit transmits the known reference position and the known light position.
  • the storage unit connects the known reference position, the known reference position of a single-eye image of one of a plurality of single-eye images for the plurality of single-eye lenses, and the known reference position of another single-eye image.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lens Barrels (AREA)
  • Cameras In General (AREA)

Abstract

本技術は、複数の視点の画像を、容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。 通信部は、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個のイメージセンサで撮像された所定の被写体が映る撮像画像上の、個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する。基準位置算出部は、既知基準位置に基づいて、イメージセンサで撮影される他の撮像画像上の個眼レンズに対する個眼画像上の所定の光線に対応する位置である未知基準位置を求める。本技術は、例えば、画像を撮像するカメラシステム等に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
　本技術は、情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関し、特に、例えば、複数の視点の画像を容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。
　複数の視点の画像から、例えば、リフォーカスを行った画像、すなわち、光学系のフォーカスを変更して撮像を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば、非特許文献１を参照）。
　例えば、非特許文献１には、100台のカメラからなるカメラアレイを用いたリフォーカスの方法が記載されている。
　リフォーカス等の特定の画像処理を行うにあたっては、複数の視点の画像が必要となる。
　本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像を容易に得ることができるようにするものである。
　本技術の情報処理装置又はプログラムは、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、前記既知基準位置に基づいて、前記イメージセンサで撮像される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部とを備える情報処理装置又はそのような情報処理装置としてコンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、情報処理装置が、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信することと、前記既知基準位置に基づいて、前記イメージセンサで撮像される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求めることとを含む情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置が受信される。そして、前記既知基準位置に基づいて、前記イメージセンサで撮像される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置が求められる。
　本技術の交換レンズは、光軸方向に重ならないように配置された複数のレンズである個眼レンズと、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を記憶する記憶部と、前記既知基準位置を外部に送信する通信部とを備える交換レンズである。
　本技術の交換レンズにおいては、複数の個眼レンズが、光軸方向に重ならないように配置されている。また、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置が記憶され、前記既知基準位置が外部に送信される。
　なお、情報処理装置は、独立した装置であっても良いし、1個の装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、複数の視点の画像を容易に得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したカメラシステムの第１実施の形態の構成例を示す斜視図である。 カメラ本体１０の背面の構成例を示す背面図である。 カメラシステムの電気的構成例を示すブロック図である。 多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。 多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。 多眼交換レンズ２０をカメラ本体１０に取り付ける（装着する）ときの取り付け誤差を説明する図である。 未知基準位置としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第１の算出方法を説明する図である。 未知基準位置(dx1', dy1')ないし(dx4', dy4')を、第１の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。 未知基準位置(dx1', dy1')ないし(dx4', dy4')等を、第１の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。 領域特定部５２が行う、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。 本技術を適用したカメラシステムの第２実施の形態の構成例を示す斜視図である。 カメラシステムの電気的構成例を示すブロック図である。 多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。 多眼交換レンズ２０における個眼レンズ３１0ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。 未知基準位置としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第２の算出方法を説明する図である。 未知撮像画像上の個眼画像E#iからの特徴点の抽出の例を説明する図である。 未知基準位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。 未知基準位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。 画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。 画像処理部５３が行う画像処理の例を説明するフローチャートである。 多眼交換レンズ２０の他の構成例を示す背面図である。 補間部８２での補間画像の生成の例を説明する図である。 視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。 集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。 ディスパリティ変換の例を説明する図である。 リフォーカスを行う集光処理の例を説明するフローチャートである。 サーバを利用して、未知撮像画像の未知基準位置(dx#i', dy#i')を取得する処理の例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したカメラシステムの第１実施の形態＞
　図１は、本技術を適用したカメラシステムの第１実施の形態の構成例を示す斜視図である。
　カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。
　カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が取り付けられることで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。
　カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。
　多眼交換レンズ２０は、鏡筒２１及びレンズマウント２２を有する。
　鏡筒２１には、光軸方向に（見て）重ならないように、複数のレンズである5個の個眼レンズ３１0，３１1，３１2，３１3、及び、３１4が配置されている。図１では、鏡筒２１において、5個の個眼レンズ３１0ないし３１4が、光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼レンズ３１0を中心（重心）として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置されている。
　個眼レンズ３１0ないし３１4は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。
　なお、ここでは、カメラ本体１０は、1個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１0ないし３１4は、３つのイメージセンサのそれぞれに、光線を集光させる。
　鏡筒２１には、5個の個眼レンズ３１0ないし３１4の他、複数である2個の光源３２Ｌ及び３２Ｒが設けられている。光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０を正面から見たときに、鏡筒２１の右端及び左端の位置に、それぞれ設けられている。
　光源３２Ｌ及び３２Ｒは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、多眼交換レンズ２０の正面側から背面側に向かってスポット光を照射する。
　したがって、多眼交換レンズ２０がカメラ本体１０に装着された場合、光源３２Ｌ及び３２Ｒが照射するスポット光は、カメラ本体１０のイメージセンサ５１で受光される。
　レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に取り付けられる。
　なお、図１では、多眼交換レンズ２０に、5個の個眼レンズ３１0ないし３１4が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、5個に限定されるものではなく、2個や3個、5個以上の任意の複数の数を採用することができる。
　さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、正方形の中心と頂点の位置に配置する他、２次元平面上の任意の位置に配置することができる。
　また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
　さらに、図１では、多眼交換レンズ２０に、2個の光源３２Ｌ及び３２Ｒが設けられているが、多眼交換レンズ２０に設ける光源の数は、2個に限定されるものではなく、3個以上の任意の数を採用することができる。
　また、光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０の、5個の個眼レンズ３１0ないし３１4が配置された平面上、すなわち、図１では、略円柱形の鏡筒２１の底面である円上の最も遠い２点を結ぶ線上に配置することができる。この場合、光源３２Ｌ及び３２Ｒは、鏡筒２１の底面である円の中心を通る線上に配置される。後述するように、光源３２Ｌ及び３２Ｒは、なるべく離して配置することが望ましい。鏡筒２１の底面が円形状である場合には、光源３２Ｌ及び３２Ｒを、鏡筒２１の底面である円の中心を通る線上に配置することにより、光源３２Ｌ及び３２Ｒを最も離して配置することができる。
　多眼交換レンズ２０において、複数としての5個の個眼レンズ３１0ないし３１4それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、光軸がイメージセンサ５１の受光面と直交するように配置されている。
　かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステムでは、イメージセンサ５１において、5個の個眼レンズ３１0ないし３１4それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像が撮像される。
　いま、1個の個眼レンズ３１i（ここでは、i=0,1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ５１で撮像される撮像画像には、5個の個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
　個眼レンズ３１iに対する個眼画像は、個眼レンズ３１iの位置を視点とする画像であり、したがって、個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像は、異なる視点の画像である。
　さらに、撮像画像には、2個の光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光に対応する画像であるスポット光像が含まれる。
　図２は、カメラ本体１０の背面の構成例を示す背面図である。
　ここで、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。
　カメラ本体１０の背面には、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される表示部５４が設けられている。表示部５４には、いわゆるスルー画や、メニュー、カメラ本体１０の設定等の情報が表示される。
　図３は、図１のカメラシステムの電気的構成例を示すブロック図である。
　カメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。
　記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、既知基準位置が含まれる。
　既知基準位置とは、多眼交換レンズ２０がカメラ本体１０に装着されたときに（1個の）イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置である。
　ここで、個眼レンズ３１iに対する個眼画像において、個眼レンズ３１iの光軸を通る光線の像が形成される位置を光軸中心位置ということとする。
　いま、個眼レンズ３１iに対する個眼画像について、所定の光線として、例えば、個眼レンズ３１iの光軸を通る光線を採用することとすると、個眼レンズ３１iに対する個眼画像の既知基準位置は、その個眼画像の光軸中心位置である。
　なお、所定の光線は、個眼レンズ３１iの光軸を通る光線に限定されるものではない。すなわち、所定の光線としては、例えば、個眼レンズ３１iの光軸から所定の距離だけ離れた位置を通り、光軸に平行な光線その他を採用することができる。
　レンズ情報には、既知撮像画像上の、個眼レンズ３１iに対する個眼画像の既知基準位置の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像の位置、すなわち、スポット光の照射位置である既知光位置が含まれる。
　ここで、多眼交換レンズ２０に対しては、ユニークなレンズID(Identification)を割り当て、記憶部４１に記憶させるレンズ情報としては、多眼交換レンズ２０のレンズIDを採用することができる。さらに、この場合、レンズ情報としてのレンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の、レンズID以外のレンズ情報としての既知基準位置や既知光位置とを対応付けたデータベースを用意することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の既知基準位置や既知光位置を取得することができる。
　通信部４２は、カメラ本体１０の後述する通信部５６との間で、有線又は無線による通信を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
　通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、カメラ本体１０の通信部５６と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５６に送信する。
　カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、通信部５６、及び、基準位置算出部５７を有する。
　イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線が照射される。
　イメージセンサ５１は、個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線を受光して光電変換を行うことにより、個眼レンズ３１0ないし３１4それぞれに対する個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像）、並びに、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像を含む撮像画像を撮像して出力する。イメージセンサ５１が出力する撮像画像（他の撮像画像）は、領域特定部５２及び基準位置算出部５７に供給される。
　領域特定部５２には、イメージセンサ５１が出力する撮像画像が供給される他、基準位置算出部５７から、イメージセンサ５１が出力する撮像画像に含まれる個眼画像上の未知基準位置が供給される。
　ここで、既知基準位置は、撮像画像が既知の距離にある被写体を撮像した既知撮像画像である場合の、その既知撮像画像に含まれる個眼画像上の光軸中心位置であるが、未知基準位置は、撮像画像が任意の被写体（被写体までの距離が既知であるどうかは問わない）を撮像した画像（他の撮像画像）である場合の、その撮像画像に含まれる個眼画像上の光軸中心位置である。
　領域特定部５２は、基準位置算出部５７からの未知基準位置に基づいて、イメージセンサ５１からの撮像画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
　すなわち、領域特定部５２は、イメージセンサ５１からの撮像画像の、例えば、撮像画像の未知基準位置を中心（重心）とする所定のサイズの長方形状の領域を、個眼画像の領域に特定する。
　ここで、領域特定部５２は、例えば、撮像画像と、その撮像画像上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５２は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。
　以下では、説明を簡単にするため、例えば、領域特定部５２は、撮像画像から抽出した各個眼画像（ここでは、個眼レンズ３１0ないし３１4それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。
　領域特定部５２が出力する個眼レンズ３１0ないし３１4それぞれに対する個眼画像は、画像処理部５３に供給される。
　画像処理部５３は、領域特定部５２からの個眼レンズ３１0ないし３１4それぞれに対する個眼画像、すなわち、個眼レンズ３１0ないし３１4それぞれの位置を視点とする、異なる視点の個眼画像を用いて、例えば、視差情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５４及び記憶部５５に供給する。
　表示部５４は、例えば、画像処理部５３から供給される処理結果画像等を、図２で説明したようにスルー画として表示する。
　記憶部５５は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５３から供給される処理結果画像を記憶する。
　通信部５６は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５６は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
　通信部５６は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、基準位置算出部５７に供給する。
　基準位置算出部５７は、通信部５６からのレンズ情報に含まれる既知基準位置に基づいて、イメージセンサ５１から供給される撮像画像に含まれる個眼レンズ３１iに対する個眼画像上の光軸中心位置である未知基準位置を求め、領域特定部５２に供給する。
　なお、図３において、基準位置算出部５７は、イメージセンサ５１から供給される撮像画像に含まれる個眼画像上の光軸中心位置である未知基準位置を求めるにあたり、レンズ情報に含まれる既知基準位置の他、既知光位置を用いる。
　＜多眼交換レンズ２０を用いて行われる撮像の概要＞
　図４は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
　多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像と、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像とを含む撮像画像が撮像される。
　ここで、本明細書では、個眼レンズ３１iの光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
　さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１iの位置の左右と、その個眼レンズ３１iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１iの位置、被写体等の左右を記述する。
　なお、１の個眼レンズ３１iと他の１の個眼レンズ３１j（ｉ≠ｊ）との光軸どうしを結ぶ直線又は線分を、基線ともいい、その光軸どうしの距離を、基線長ともいう。また、基線の方向を表す角度を、基線角ともいう。ここでは、基線角として、例えば、x軸と基線とがなす角度（エピポーラ線の角度）を採用することとする。
　図５は、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
　図５のＡは、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置の例を示す背面図である。
　図５のＡでは、個眼レンズ３１0ないし３１4は、図１で説明したように、イメージセンサ５１の受光面に平行な２次元平面において、個眼レンズ３１0を中心として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置されている。
　すなわち、個眼レンズ３１0ないし３１4のうちの、例えば、個眼レンズ３１0を基準とすると、図５では、個眼レンズ３１1は、個眼レンズ３１0の右上に配置され、個眼レンズ３１2は、個眼レンズ３１0の左上に配置されている。さらに、個眼レンズ３１3は、個眼レンズ３１0の左下に配置され、個眼レンズ３１4は、個眼レンズ３１0の右下に配置されている。
　また、図５のＡにおいて、光源３２Ｌは、平面が略円形の多眼交換レンズ２０の左端の位置に配置され、光源３２Ｒは、平面が略円形の多眼交換レンズ２０の中心（中央）に対して、光源３２Ｌの反対側の右端の位置に配置されている。
　なお、光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０（の鏡筒２１）の任意の異なる位置に配置することができる。
　但し、光源３２Ｌ及び３２Ｒは、イメージセンサ５１で撮像される撮像画像上の、光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光のスポット光像PL及びPRが、撮像画像に含まれる個眼画像の領域外（個眼レンズ３１iを通過した光が照射される範囲外）に位置するように配置することができる。この場合、スポット光像PLやPRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
　図５のＢは、図５のＡのように個眼レンズ３１０ないし３１4並びに光源３２Ｌ及び３２Ｒが配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
　個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒを有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像E0,E1,E2,E3,E4と、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRとが含まれる。
　領域特定部５２（図３）は、基準位置算出部５７で求められる各個眼画像E#iの未知基準位置である光軸中心位置に基づき、各個眼レンズ３１iについて、その個眼レンズ３１iを通過した光線が照射される撮像画像上の領域のうちの、個眼画像E#iの未知基準位置である光軸中心位置を中心とする所定サイズの長方形状の領域を、個眼画像E#iの領域として特定する。
　これにより、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iの位置から、独立のカメラを用いた撮像を行うことにより得られる撮像画像、すなわち、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像になる。
　そのため、個眼レンズ３１0ないし３１4それぞれに対する個眼画像E0ないしE4のうちの任意の2個の個眼画像E#iとE#jとの間には、視差が生じる。すなわち、個眼画像E#iとE#jに映る同一の被写体は、視差に応じてずれた位置に映る。
　＜多眼交換レンズ２０の取り付け誤差＞
　図６は、多眼交換レンズ２０をカメラ本体１０に取り付ける（装着する）ときの取り付け誤差を説明する図である。
　すなわち、図６は、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムで撮像される撮像画像の例を示している。
　多眼交換レンズ２０をカメラ本体１０に取り付けた場合、カメラ本体１０のイメージセンサ５１の受光面に対する多眼交換レンズ２０の取り付け位置は、主として、横方向（x方向）、縦方向（y方向）、及び、回転方向のうちの、特に、回転方向にずれ得る。すなわち、多眼交換レンズ２０の取り付け位置は、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムに衝撃が加わったとき等に変化する。
　いま、例えば、多眼交換レンズ２０の設計上の取り付け位置に対する実際の取り付け位置の誤差を、取り付け誤差ということとする。取り付け誤差は、多眼交換レンズ２０の取り付け位置と同様に、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムに衝撃が加わったとき等に変化する。
　図５で説明したように、個眼画像E#iは、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0ないしE4は、視点の異なる画像である。
　視点の異なる画像である個眼画像E0ないしE4を用いて、例えば、視差情報を求める場合、個眼レンズ３１0ないし３１4について、図４で説明した基線長と基線角が必要となる。
　個眼レンズ３１0ないし３１4は、多眼交換レンズ２０に固定されているので、基線長は、取り付け誤差によって変化しない固定の値であり、あらかじめ計測しておくことができる。
　一方、基線角は、多眼交換レンズ２０の回転方向の取り付け誤差によって変化する。したがって、個眼画像E0ないしE4を用いて、正確な視差情報を求めるためには、回転方向の取り付け誤差に対処する必要がある。
　ここで、横方向及び縦方向の取り付け誤差は、個眼レンズ３１iのレンズ収差に起因する画像歪みが小さい場合には、問題とならず、無視することができる。但し、レンズ収差に起因する画像歪みが大きく、その画像歪みの歪み補正を行う必要がある場合には、適切な歪み補正を行うために、個眼画像E#iの光軸中心位置を正確に把握する必要がある。個眼画像E#iの光軸中心位置を正確に把握するには、横方向及び縦方向の取り付け誤差を把握する必要がある。
　いま、図６に示すように、あるxy座標系（2次元座標系）において、個眼画像E0ないしE4の光軸中心位置（の座標）を、(x0, y0), (x1, y1), (x2, y2), (x3, y3), (x4, y4)と表すこととする。
　また、個眼レンズ３１0ないし３１4のうちの、中央（中心）に位置する個眼レンズ３１0に対する個眼画像E0を、中央画像E0ともいい、周辺に位置する個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4を、周辺画像E1ないしE4ともいうこととする。
　個眼画像E0ないしE4のうちの１の個眼画像、すなわち、例えば、中央画像E0を基準とする、周辺画像E1ないしE4それぞれの相対的な光軸中心位置（以下、相対光軸中心位置ともいう）(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、式（１）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、中央画像E0の光軸中心位置(x0, y0)をxy座標系の原点とした場合の周辺画像E1ないしE4の光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)に等しい。
　相対光軸中心位置(dx#i, dy#i)（ここでは、i=1,2,3,4）は、中央画像E0の光軸中心位置(x0, y0)と、周辺画像E#iの光学中心位置(x#i, y#i)とを結ぶ基線の方向のベクトルであるとみなすことができ、相対光軸中心位置(dx#i, dy#i)によれば、中央画像E0の光軸中心位置(x0, y0)と周辺画像E#iの光学中心位置(x#i, y#i)とを結ぶ基線L0#iの方向を表す基線角（tan-1((y#i-y0)/(x#i-x0))=tan-1(dy#i/dx#i)）を求めることができる。
　したがって、相対光軸中心位置(dx#i, dy#i)を求めることができれば、そのときの基線L0#iの方向を表す基線角を求めることができ、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　本技術では、イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0, y0)ないし(x4, y4)、すなわち、中央画像E0の光軸中心位置(x0, y0)を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を、既知基準位置として求めておく。さらに、本技術では、既知基準位置（(x0, y0)ないし(x4, y4)又は(dx1, dy1)ないし(dx4, dy4)）と撮像画像とを用いて、その撮像画像の撮像時の撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0', y0')ないし(x4', y4')、すなわち、中央画像E0の光軸中心位置(x0', y0')を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、未知基準位置として求める。
　未知基準位置としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')が得られれば、撮像画像の撮像時の基線角を求め、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　図３の基準位置算出部５７は、既知基準位置としての相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を用い、第１の算出方法によって、未知基準位置としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める。
　＜未知基準位置としての撮像画像上の個眼画像E#iの相対光軸中心位置(dx#i', dy#i')を求める第１の算出方法＞
　図７は、未知基準位置としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第１の算出方法を説明する図である。
　ここで、以下では、説明を簡単にするため、中央画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとする。この場合、上述したように、相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)と、光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)とは等しい。
　図７のＡは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、所定の被写体を撮像した既知撮像画像の例を示している。
　既知撮像画像に映る被写体は、例えば、円の中心を通る線分で4等分された円等の所定のチャートが描かれたチャート画像である。既知撮像画像は、例えば、中央画像E0上の所定の点、すなわち、例えば、中央画像E0の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ３１0の光軸上の既知の距離の位置に配置して撮像される。したがって、既知撮像画像は、所定のチャートが描かれたチャート画像を、既知の距離において撮像した画像である。
　既知撮像画像は、以上のように撮像されるため、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
　したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)から、中央画像E0との間の視差に応じてずれる。
　チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ３１iと個眼レンズ３１0との間の基線長及び基線角とから求めることができる。
　ここで、既知撮像画像の撮像は、例えば、多眼交換レンズ２０を工場から出荷する前等に行うことができる。したがって、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時には、基線角が設計値等の所定値になるように、多眼交換レンズ２０の取り付けを調整することができる。
　周辺画像E#iの光軸中心位置(x#i, y#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置になるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
　また、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができる。
　以上のように、既知撮像画像から、その既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)、及び、周辺画像E1ないしE4の光軸中心位置(x1, y1)ないし(x4, y4)を求めることができる。
　既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)である既知基準位置、及び、周辺画像E#iの光軸中心位置(x#i, y#i)である既知基準位置によれば、中央画像E0の既知基準位置(x0, y0)を基準とする、周辺画像E#iの相対的な既知基準位置である相対既知基準位置としての相対光軸中心位置(dx#i, dy#i)を求められることができ、その相対既知基準位置としての相対光軸中心位置(dx#i, dy#i)が、レンズ情報として、図３の記憶部４１に記憶される。
　なお、レンズ情報としては、相対既知基準位置（相対光軸中心位置）(dx#i, dy#i)(i=1,2,3,4)を採用する他、既知基準位置（光軸中心位置）(x#i, y#i)(i=0,1,2,3,4)を採用することができる。相対既知基準位置(dx#i, dy#i)は、既知基準位置(x#i, y#i)から式（１）に従って求めることができ、既知基準位置(x#i, y#i)と（ほぼ）等価な情報であるからである。
　未知基準位置としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を第１の算出方法により求める場合には、相対既知基準位置(dx#i, dy#i)（又は既知基準位置(x#i, y#i)）の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置である既知光位置(XL, YL)及び(XR, YR)がそれぞれ求められる。
　例えば、既知撮像画像上のスポット光像PLの重心の位置を、そのスポット光像PLの既知光位置(XL, YL)として採用することができる。同様に、既知撮像画像上のスポット光像PRの重心の位置を、そのスポット光像PRの既知光位置(XR, YR)として採用することができる。
　第１の算出方法では、さらに、既知光位置(XL, YL)及び(XR, YR)から、その既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)が求められ、既知光位置(XL, YL)及び(XR, YR)並びに中点(XC, YC)が、レンズ情報として、図３の記憶部４１に記憶される。
　なお、第１の算出方法では、既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)は、レンズ情報から除外することができる。既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)は、その既知光位置(XL, YL)及び(XR, YR)から求めることができるからである。
　第１の算出方法では、相対既知基準位置（以下、単に、既知基準位置ともいう）としての相対光軸中心位置（以下、単に、光軸中心位置ともいう）(dx#i, dy#i)並びに既知光位置(XL, YL)及び(XR, YR)に基づいて、未知撮像画像上の未知基準位置としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')が求められる。
　図７のＢは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて撮像される未知撮像画像の例を示している。
　未知撮像画像は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、既知撮像画像を撮像するときのような制約（被写体の距離が既知である等の制約）なしで撮像される画像である。
　未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差が生じ得る。
　未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系において、未知撮像画像上の周辺画像E#iの光軸中心位置(x#i', y#i')(i=1,2,3,4)は、中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの相対的な光軸中心位置(dx#i', dy#i')=(x#i', y#i')-(x0', y0')に等しい。
　ここで、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置である未知光位置を、それぞれ、(XL', YL')及び(XR', YR')と表す。
　未知光位置(XL', YL')及び(XR', YR')は、未知撮像画像上のスポット光像PL及びPRから、既知光位置(XL, YL)及び(XR, YR)と同様に求めることができる。
　また、未知光位置(XL', YL')及び(XR', YR')の中点を、(XC', YC')と表すこととする。
　いま、既知撮像画像の撮像時の回転方向の取り付け誤差を基準とする未知撮像画像の撮像時の回転方向の取り付け誤差である相対的な回転誤差をθErrorと表すこととすると、相対的な回転誤差θErrorは、レンズ情報に含まれる既知光位置(XL, YL)及び(XR, YR)、並びに、未知撮像画像から得られる未知光位置(XL', YL')及び(XR', YR')を用い、式（２）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　式（２）によれば、相対的な回転誤差θErrorは、既知光位置(XL, YL)と(XR, YR)とを結ぶ直線の方向を表す角度を基準とする、未知光位置(XL', YL')と(XR', YR')とを結ぶ直線の方向を表す角度であり、既知光位置(XL, YL)と(XR, YR)とが離れているほど（未知光位置(XL', YL')と(XR', YR')とが離れているほど）、精度が良くなる。したがって、光源３２Ｌと３２Ｒとをなるべく離して配置することで、相対的な回転誤差θErrorを精度良く求めることができる。
　なお、多眼交換レンズ２０に3個以上の光源が設けられている場合には、その3個以上の光源から得られる2個の光源のペアそれぞれに対して、式（２）に従って回転誤差θErrorを求め、各ペアに対して求められた回転誤差θErrorの平均値等を、最終的な回転誤差θErrorとして採用することができる。
　相対的な回転誤差θErrorは、未知光位置(XL', YL')（又は(XR', YR')）と既知光位置(XL, YL)（又は(XR, YR)）との間の回転角であり、既知基準位置としての光軸中心位置(dx#i, dy#i)を、式（３）に従い、相対的な回転誤差θErrorに応じて回転させることにより、その相対的な回転誤差θErrorが生じた未知撮像画像上の未知基準位置としての相対光軸中心位置(dx#i', dy#i')を求めることができる。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第１の算出方法によって求める場合、すなわち、式（２）及び式（３）に従って求める場合には、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの未知光位置(XL', YL')及び(XR', YR')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの既知光位置(XL, YL)及び(XR, YR)との間の平行移動量を求めることで、横方向及び縦方向の取り付け誤差を求めることができる。
　すなわち、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorは、例えば、式（４）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　なお、式（４）では、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの未知光位置(XL', YL')及び(XR', YR')の中点(XC', YC')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)との間の平行移動量が、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求められるが、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとしては、その他、例えば、未知光位置(XL', YL')と既知光位置(XL, YL)との平行移動量や、未知光位置(XR', YR')と既知光位置(XR, YR)との間の平行移動量を求めることができる。
　図８は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第１の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。
　図８の既知基準位置等取得処理では、未知基準位置としての光軸中心位置(dx#i', dy#i')を第１の算出方法で求める場合に必要となる既知基準位置としての光軸中心位置(dx#i, dy#i)等が取得される。
　既知基準位置等取得処理は、カメラ本体１０や後述するコンピュータ等で行うことができる。既知基準位置等取得処理を行う装置を、便宜上、取得処理装置と呼ぶこととする。
　ステップＳ１１において、取得処理装置は、個眼レンズ３１0の光軸上の既知の距離の位置に、所定の被写体としてのチャート画像をおいて、そのチャート画像を、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムによって撮像した既知撮像画像を取得し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、取得処理装置は、既知撮像画像に含まれる各個眼画像E#iに映る所定の被写体としてのチャート画像の所定の点、例えば、チャートとしての円の中心の位置を求め、処理は、ステップＳ１３に進む。
　ステップＳ１３では、取得処理装置は、被写体としてのチャート画像までの距離、並びに、多眼交換レンズ２０の基線長及び基線角を用いて、個眼画像（周辺画像）E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の、個眼画像（中央画像）E0に映る被写体としてのチャート画像の所定の点としての円の中心との間の視差を求める。
　さらに、取得処理装置は、個眼画像E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の視差に応じて、その円の中心の位置から移動した位置にある個眼画像E#iの光学中心位置（既知撮像画像上の位置）(x#i, y#i)を、その個眼画像E#iの既知基準位置(x#i, y#i)として求める。また、取得処理装置は、個眼画像E0に映る被写体としてのチャート画像の円の中心の位置である光軸中心位置(x0, y0)を、個眼画像E0の既知基準位置(x0, y0)として求め、処理は、ステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、取得処理装置は、ステップＳ１３で求められた既知基準位置(x#i, y#i)を用い、個眼画像E1ないしE4それぞれについて、式（１）に従って、個眼画像E0の既知基準位置(x0, y0)を基準とする個眼画像E#iの（相対）既知基準位置(dx#i, dy#i)を求め、処理は、ステップＳ１５に進む。
　ステップＳ１５では、取得処理装置は、既知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、既知光位置(XL, YL)及び(XR, YR)として求め、既知基準位置等取得処理は終了する。
　ステップＳ１４で求められた（相対）既知基準位置(dx#i, dy#i)、並びに、ステップＳ１５で求められた既知光位置(XL, YL)及び(XR, YR)は、レンズ情報の一部として、図３の記憶部４１に記憶される。
　図９は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を、第１の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。
　ステップＳ２１において、基準位置算出部５７（図３）は、通信部５６から供給されるレンズ情報を取得し、処理は、ステップＳ２２に進む。
　すなわち、多眼交換レンズ２０がカメラ本体１０に装着されると、通信部５６は、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、基準位置算出部５７に供給する。基準位置算出部５７は、以上のようにして通信部５６から供給されるレンズ情報を取得する。
　ステップＳ２２では、基準位置算出部５７は、任意の被写体を撮像した撮像画像である未知撮像画像を取得し、処理は、ステップＳ２３に進む。すなわち、基準位置算出部５７は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、イメージセンサ５１が撮像した撮像画像を、未知撮像画像として取得する。
　ステップＳ２３では、基準位置算出部５７は、未知撮像画像に含まれる光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、未知光位置(XL', YL')及び(XR', YR')として求め、処理は、ステップＳ２４に進む。
　ステップＳ２４では、基準位置算出部５７は、レンズ情報に含まれる既知光位置(XL, YL)（又は(XR, YR)）と、ステップＳ２３で求めた未知光位置(XL', YL')（又は(XR', YR')）との間の回転角を、（相対的な）回転誤差をθErrorとして求め、処理は、ステップＳ２５に進む。
　すなわち、基準位置算出部５７は、例えば、式（２）に従って、レンズ情報に含まれる既知光位置(XL, YL)と(XR, YR)とを結ぶ線分の方向を基準とする、未知光位置(XL', YL')と(XR', YR')とを結ぶ線分の方向を表す相対的な角度を、回転誤差をθErrorとして求める。
　ステップＳ２５では、基準位置算出部５７は、式（３）に従い、ステップＳ２４で求められた回転誤差θErrorに応じて、レンズ情報に含まれる相対既知基準位置としての相対光軸中心位置(dx#i, dy#i)を回転させることにより、回転誤差θErrorが生じている未知撮像画像に含まれる個眼画像E1ないしE4それぞれの未知基準位置としての（相対）光軸中心位置(dx#i', dy#i')を求め、処理は、ステップＳ２６に進む。
　ステップＳ２６では、基準位置算出部５７は、レンズ情報に含まれる既知光位置(XL, YL)又は(XR, YR)と、未知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光像PL及びPRの未知光位置(XL', YL')又は(XR', YR')との間の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求め、未知基準位置算出処理は終了する。
　すなわち、基準位置算出部５７は、例えば、式（４）に従い、既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)に対する、未知光位置(XL', YL')及び(XR', YR')の中点(XC', YC')の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
　なお、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが必要ない場合には、ステップＳ２６の処理は省略することができる。
　＜個眼画像の領域特定処理＞
　図１０は、図３の領域特定部５２が行う、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。
　ステップＳ３１において、領域特定部５２は、基準位置算出部５７から供給される、未知撮像画像に含まれる個眼画像E1ないしE4の未知基準位置としての相対光軸中心位置(dx#i', dy#i')を取得し、処理は、ステップＳ３２に進む。
　ステップＳ３２では、領域特定部５２は、未知基準位置としての光軸中心位置(dx#i', dy#i')に基づいて、未知撮像画像上の個眼画像E1ないしE4の領域を特定する。すなわち、領域特定部５２は、例えば、既知基準位置(dx#i, dy#i)を求めるときのxy座標系において、未知撮像画像上の未知基準位置(dx#i', dy#i')を中心とする所定のサイズの長方形状の領域を、個眼画像E#i(i=1,2,3,4)の領域として特定する。
　さらに、領域特定部５２は、未知撮像画像上の原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定し、処理は、ステップＳ３２からステップＳ３３に進む。
　ステップＳ３３では、領域特定部５２は、撮像画像から、個眼画像E0ないしE4それぞれを抽出し、領域特定結果情報として出力して、処理を終了する。
　なお、領域特定部５２は、図３で説明したように、個眼画像E0ないしE4に代えて、撮像画像と、その撮像画像上の各個眼画像E#iの領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。
　以上のように、多眼交換レンズ２０は、光軸方向に（見て）重ならないように配置された個眼レンズ３１0ないし３１4を有し、所定の距離にあるチャート画像が映る既知撮像画像上の個眼画像E#iの（相対）既知基準位置としての、例えば、光軸中心位置(dx#i, dy#i)（又は(x#i, y#i)）を含むレンズ情報を、外部としての、例えば、カメラ本体１０に送信する。また、カメラ本体１０は、レンズ情報を受信し、そのレンズ情報に含まれる既知基準位置(dx#i, dy#i)に基づいて、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の未知基準位置としての光軸中心位置(dx#i', dy#i')を求める。
　したがって、未知基準位置としての光軸中心位置(dx#i', dy#i')に基づき、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ３１iの位置を視点とする個眼画像E#iを容易に得ることができる。
　さらに、未知基準位置としての光軸中心位置(dx#i', dy#i')から、基線L0#i（図６）の方向を表す基線角（tan-1(dy#i/dx#i)）を求めることができ、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　ここで、例えば、既知撮像画像上の個眼画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとし、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０であることとする。この場合、未知撮像画像において、個眼画像E0の未知基準位置(x0', y0')である光軸中心位置は、原点になり、個眼画像E0の領域は、原点を中心とする領域になる。
　一方、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、未知撮像画像において、個眼画像E0の光軸中心位置は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorの分だけ、原点からずれる。
　この場合、個眼画像E0の未知基準位置(x0', y0')である光軸中心位置が、原点であることを前提として、原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定すると、実際の未知基準位置(x0', y0')である光軸中心位置は、原点からずれているため、未知撮像画像上の、個眼画像E0の実際の光軸中心位置からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E0の領域として特定される。
　その結果、他の個眼画像E1ないしE4それぞれについても、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
　すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、個眼画像E0ないしE4それぞれについて、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
　但し、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合も、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合も、未知撮像画像の撮像時の基線角（tan-1(dy#i/dx#i)）は、個眼画像E0の位置を基準とする相対的な未知基準位置としての光軸中心位置(dx#i', dy#i')から求められる。
　したがって、光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする個眼画像E#iについて得られる基線角は、未知撮像画像上の光軸中心位置(x#i', y#i')を中心とする個眼画像E#iについて得られる基線角と同一になる。
　すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合でも、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合と同一の基線角を得ることができる。そして、その基線角を用いて、未知撮像画像上の領域が特定された個眼画像E#iから、多眼交換レンズ２０の取り付け誤差に影響されない正確な視差情報を求めることができる。
　以上のように、基線角は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorによらず、同一の値を求めることができるので、以下では、説明を簡単にするため、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０であることとする（横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorには言及しない）。
　この場合、未知撮像画像に含まれる個眼画像E0の光軸中心位置は、既知撮像画像に含まれる個眼画像E0の光軸中心位置、すなわち、本実施の形態では、既知基準位置(dx#i, dy#i)を求めるときのxy座標系の原点に一致する。
　＜本技術を適用したカメラシステムの第２実施の形態＞
　図１１は、本技術を適用したカメラシステムの第２実施の形態の構成例を示す斜視図である。
　なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１１において、カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。
　したがって、図１１のカメラシステムは、図１の場合と同様に構成される。
　但し、図１１のカメラシステムにおいて、多眼交換レンズ２０には、光源３２Ｌ及び３２Ｒが設けられていない。したがって、図１１のカメラシステムは、多眼交換レンズ２０が光源３２Ｌ及び３２Ｒを有しない点で、多眼交換レンズ２０が光源３２Ｌ及び３２Ｒを有する図１の場合と相違する。
　図１２は、図１１のカメラシステムの電気的構成例を示すブロック図である。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１２のカメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。
　なお、図１２において、多眼交換レンズ２０は、図１１で説明したように、光源３２Ｌ及び３２Ｒを有していない点で、図１の場合と異なる。
　また、図１２の多眼交換レンズ２０は、記憶部４１に記憶されるレンズ情報に、既知撮像画像上の個眼画像E#iの既知基準位置としての光軸中心位置(dx#i, dy#i)が含まれる点で、図３の場合と共通する。
　但し、図１２の多眼交換レンズ２０は、記憶部４１に記憶されるレンズ情報に、光源３２Ｌ及び３２Ｒのスポット光像PL及びPRの既知光位置(XL, YL)及び(XR, YR)が含まれていない点で、図３の場合と相違する。
　さらに、図１２の多眼交換レンズ２０は、記憶部４１に記憶されるレンズ情報に、基準角が含まれる点で、図３の場合と相違する。
　基準角とは、既知撮像画像の撮像時の基線L0#iの方向を表す角度、すなわち、既知撮像画像上の個眼画像E0の既知基準位置(x0, y0)と他の個眼画像E#i(i=1,2,3,4)の既知基準位置(x#i, y#i)とを結ぶ線の方向を表す角度、つまり、原点から既知基準位置(dx#i, dy#i)に向かう方向の角度である。
　図１２のカメラシステムにおいて、カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、通信部５６、及び、基準位置算出部７１を有する。
　したがって、図１２のカメラ本体１０は、イメージセンサ５１ないし通信部５６を有する点で、図３の場合と共通する。但し、図１２のカメラ本体１０は、基準位置算出部５７に代えて、基準位置算出部７１が設けられている点で、図３の場合と相違する。
　基準位置算出部７１は、通信部５６からのレンズ情報に含まれる既知基準位置(dx#i, dy#i)及び基準角に基づいて、イメージセンサ５１から供給される未知撮像画像に含まれる個眼画像E#i上の光軸中心位置である未知基準位置(dx#i', dy#i')を求め、領域特定部５２に供給する。
　＜多眼交換レンズ２０を用いて行われる撮像の概要＞
　図１３は、図１１の多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
　上述したように、図１１の多眼交換レンズ２０は、光源３２Ｌ及び３２Ｒを有しない。図１１の多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像を含む撮像画像が撮像されるが、その撮像画像には、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像PL及びPRは含まれない。
　図１４は、図１１の多眼交換レンズ２０における個眼レンズ３１0ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
　図１４のＡは、多眼交換レンズ２０における個眼レンズ３１0ないし３１4の配置の例を示す背面図である。
　図１４のＡの個眼レンズ３１0ないし３１4の配置は、図５のＡの場合と同様であるので、説明を省略する。
　図１４のＢは、図１４のＡのように個眼レンズ３１0ないし３１4が配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
　図１４のＢの撮像画像は、スポット光像PL及びPRがないことを除き、図５のＢの場合と同様であるので、説明を省略する。
　図１２の基準位置算出部７１は、既知基準位置としての光軸中心位置(dx1, dy1)ないし(dx4, dy4)、及び、基準角を用い、第２の算出方法によって、未知基準位置としての未知撮像画像上の個眼画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')を求める。
　光軸中心位置(dx#i', dy#i')を求めることができれば、その光軸中心位置(dx#i', dy#i')を用いて、未知撮像画像上の個眼画像E#iの領域を特定することができる。さらに、未知撮像画像の撮像時の基線角を求め、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　＜未知基準位置としての撮像画像上の個眼画像E#iの光軸中心位置(dx#i', dy#i')を求める第２の算出方法＞
　図１５は、未知基準位置としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第２の算出方法を説明する図である。
　図１５のＡは、図１１の多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、所定の被写体としてのチャート画像を撮像した既知撮像画像の例を示している。
　未知基準位置としての光軸中心位置(dx#i', dy#i')を求める方法として、第２の算出方法が採用される場合、第１の算出方法が採用される場合と同様に、既知撮像画像を用いて、既知基準位置としての光軸中心位置(dx#i, dy#i)が求められる。
　図１５のＡの既知撮像画像は、スポット光像PL及びPRがないことを除いて、図７のＡの既知撮像画像と同一の画像になっている。したがって、図１５のＡの既知撮像画像は、中央画像E0上の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ３１0の光軸上の既知の距離の位置に配置して撮像された画像である。
　図１５のＡの既知撮像画像では、図７のＡの場合と同様に、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
　したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)=(dx#i, dy#i)から、中央画像E0との間の視差に応じてずれる。
　チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ３１iと個眼レンズ３１0との間の基線長及び基線角とから求めることができる。
　なお、図７で説明したように、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時には、基線角が設計値等の所定値になるように、多眼交換レンズ２０の取り付けを調整することができる。
　ここで、図１５のＡに示すように、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)=(0, 0)と周辺画像E#iの光学中心位置(x#i, y#i)=(dx#i, dy#i)とを結ぶ基線L0#iの方向を表す基線角として、基線L0#iとx軸とがなす角θ#iを採用することとする。既知撮像画像の基線L0#iの基線角θ#iが、基準角θ#iである。
　周辺画像E#iの光軸中心位置(x#i, y#i)=(dx#i, dy#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置であるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
　なお、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができるが、本実施の形態では、中央画像E0の光軸中心位置(x0, y0)は原点である。
　以上のように、既知撮像画像から、既知基準位置としての、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)=(0, 0)、及び、周辺画像E#iの光軸中心位置(x#i, y#i)が求められた後、中央画像E0の既知基準位置(x0, y0)=(0, 0)を基準とする周辺画像E#iの既知基準位置(dx#i, dy#i)=(x#i, y#i)-(x0, y0)=(x#i, y#i)-(0, 0)=(x#i, y#i)が求められ、レンズ情報として、図１２の記憶部４１に記憶される。
　第２の算出方法が採用される場合、既知基準位置(dx#i, dy#i)の他、基準角θ#iが、さらに、レンズ情報として、図１２の記憶部４１に記憶される。
　そして、第２の算出方法では、既知基準位置(dx#i, dy#i)、及び、基準角θ#iに基づいて、未知撮像画像上の未知基準位置としての光軸中心位置(dx#i', dy#i')が求められる。
　図１５のＢは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて撮像される未知撮像画像の例を示している。
　上述したように、未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差が生じ得る。
　ここで、未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの（相対）光軸中心位置(dx#i', dy#i')(i=1,2,3,4)は、未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系上の周辺画像E#iの光軸中心位置(x#i', y#i')に等しい。
　未知撮像画像の撮像時における、未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')=(0, 0)と周辺画像E#iの光学中心位置(x#i', y#i')=(dx#i', dy#i')とを結ぶ基線L0#i'の方向を表す基線角を、図１５のＢに示すように、θ#i'と表すこととする。
　未知撮像画像の撮像時の基線角θ#i'は、多眼交換レンズ２０の回転方向の取り付け誤差によって、既知撮像画像の撮像時の基準角θ#iからずれる。かかる基線角のずれは、θ#i'-θ#iで表される。
　多眼交換レンズ２０の回転方向の取り付け誤差により基線角がθ#i'となった未知撮像画像上の周辺画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')は、既知基準位置としての光学中心位置(dx#i, dy#i)が、基線角のずれθ#i'-θ#iだけ回転した位置に移動する。したがって、未知撮像画像上の周辺画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')は、既知基準位置としての光学中心位置(dx#i, dy#i)を、基線角のずれθ#i'-θ#iだけ回転する式（５）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　未知基準位置としての撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める場合、すなわち、式（５）に従って求める場合には、基線角のずれθ#i'-θ#iが必要であり、その基線角のずれθ#i'-θ#iを求めるには、未知撮像画像上の周辺画像E#iの基線角θ#i'が必要となる。
　未知撮像画像上の周辺画像E#iの基線角θ#i'は、例えば、未知撮像画像上の個眼画像E#i(i=0,1,2,3,4)それぞれから同一の特徴を有する特徴点を抽出し、その特徴点から求めることができる。
　図１６は、未知撮像画像上の個眼画像E#iからの特徴点の抽出の例を説明する図である。
　特徴点の抽出では、未知撮像画像上の個眼画像E0ないしE4のうちの１つである、例えば、中央画像である個眼画像E0から、例えば、ハリスのコーナー検出等によって、特徴点の候補となる候補点が１点以上検出される。さらに、残りの個眼画像である周辺画像E1ないしE4それぞれを対象に、中央画像E0上の候補点と相関が高い点が、ブロックマッチング等によって検出され、周辺画像E1ないしE4すべてから、相関が高い点が検出された候補点が、中央画像E0の特徴点に決定されるとともに、その特徴点と相関が高い周辺画像E1ないしE4それぞれの点が特徴点に決定される。
　以上のようにして、未知撮像画像上の各個眼画像E#iから、１点又は複数の点が、特徴点として抽出される。
　図１６では、各個眼画像E#iから、３点の特徴点a, b, cが抽出されている。
　ここで、個眼画像E#i上の特徴点aの座標を、(Xa#i, Ya#i)と表す。同様に、個眼画像E#i上の特徴点bの座標を、(Xb#i, Yb#i)と表し、個眼画像E#i上の特徴点cの座標を、(Xc#i, Yc#i)と表す。
　未知撮像画像上の周辺画像E#iの基線角θ#i'は、例えば、１の個眼画像である中央画像E0の特徴点と他の個眼画像である周辺画像E#iの特徴点とを結ぶ線の方向を表す角度の平均値として、式（６）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　式（６）は、3個の特徴点aないしcについて得られる、中央画像E0の特徴点と周辺画像E#iの特徴点とを結ぶ線の方向を表す3個の角度の平均値になっている。式（６）の基線角θ#i'は、平均をとる角度の数が多いほど、すなわち、各個眼画像E#iから抽出される特徴点の数が多いほど、精度を向上させることができる。
　式（６）により得られる基線角θ#i'を用いて求められる基線角のずれθ#i'-θ#iは、１の個眼画像である中央画像E0の特徴点と他の個眼画像である周辺画像E#iの特徴点とを結ぶ線の方向を表す角度と、基準角θ#iとの間の回転角であることができる。
　第２の算出方法では、式（６）に従って、基線角θ#i'を求め、式（５）に従って、基線角θ#i'を用いて求められる基線角のずれθ#i'-θ#iだけ、既知基準位置としての光学中心位置(dx#i, dy#i)を回転させることにより、未知撮像画像上の周辺画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')が求められる。
　図１７は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。
　図１７の既知基準位置等取得処理では、未知基準位置としての光軸中心位置(dx#i', dy#i')を第２の算出方法で求める場合に必要となる既知基準位置としての光軸中心位置(dx#i, dy#i)等が取得される。
　図１７の既知基準位置等取得処理は、図８の場合と同様に、取得処理装置としてのカメラ本体１０やコンピュータ等で行うことができる。
　図１７の既知基準位置当取得処理では、取得処理装置は、ステップＳ５１ないし５４において、図８のステップＳ１１ないしＳ１４とそれぞれ同様の処理を行う。これにより、取得処理装置は、ステップＳ５４において、個眼画像E0の既知基準位置(x0, y0)を基準とする個眼画像E#iの（相対）既知基準位置(dx#i, dy#i)を求め、処理は、ステップＳ５５に進む。
　ステップＳ５５では、取得処理装置は、既知撮像画像上の中央画像である個眼画像E0の既知基準位置(x0, y0)=(0, 0)と周辺画像である他の個眼画像E#i(i=1,2,3,4)の既知基準位置(x#i, y#i)=(dx#i, dy#i)とを結ぶ基線L0#iの方向を表す基線角θ#i=tan-1(dy#i/dx#i)を、個眼画像E#iの基準角θ#iとして求め、既知基準位置等取得処理は終了する。
　ステップＳ５４で求められた既知基準位置(dx#i, dy#i)、並びに、ステップＳ５５で求められた基準角θ#iは、レンズ情報の一部として、図１２の記憶部４１に記憶される。
　図１８は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。
　ステップＳ６１及びＳ６２において、基準位置算出部７１（図１２）は、図９のステップＳ２１及びＳ２２とそれぞれ同様の処理を行い、処理は、ステップＳ６３に進む。ステップＳ６１及びＳ６２の処理により、基準位置算出部７１は、多眼交換レンズ２０のレンズ情報、及び、イメージセンサ５１で撮像された未知撮像画像を取得する。
　ステップＳ６３では、基準位置算出部７１は、未知撮像画像に含まれる個眼画像E0ないしE4（と推定される領域（例えば、原点を中心とする所定のサイズの長方形状の領域、及び、レンズ情報に含まれる既知基準位置としての光軸中心位置(dx#i, dy#i)を中心とする所定のサイズの長方形状の領域））それぞれから、同一の特徴量を有する特徴点(Xa#i, Ya#i)を抽出し、処理は、ステップＳ６４に進む。
　なお、式（６）で説明したように、式（６）の基線角θ#i'は、各個眼画像E#iから抽出される特徴点の数が多いほど、精度を向上させることができるが、ここでは、説明を簡単にするため、未知撮像画像に含まれる各個眼画像E#iからは、1個の特徴点を抽出することとする。
　ステップＳ６４では、基準位置算出部７１は、未知撮像画像上の周辺画像である個眼画像E1ないしE4それぞれについて、中央画像である個眼画像E0の特徴点(Xa0, Ya0)と周辺画像である個眼画像E#iの特徴点(Xa#i, Ya#i)とを結ぶ線である特徴点接続線の方向を表す角度を、個眼画像E#iの基線角θ#i'として求める。
　さらに、基準位置算出部７１は、未知撮像画像上の周辺画像である個眼画像E1ないしE4それぞれについて、基線角θ#i'と、レンズ情報に含まれる基準角θ#iとの間の回転角、すなわち、例えば、基準角θ#iを基準とする特徴点接続方向線の方向を表す相対的な角度θ#i'-θ#iを、多眼交換レンズ２０の回転方向の取り付け誤差に起因する基線角のずれθ#i'-θ#iとして求め、処理は、ステップＳ６４からステップＳ６５に進む。
　ステップＳ６５では、基準位置算出部７１は、式（５）に従い、ステップＳ６４で求められた基線角のずれθ#i'-θ#iに応じて、レンズ情報に含まれる既知基準位置としての（相対）光軸中心位置(dx#i, dy#i)を回転させることにより、基線角のずれθ#i'-θ#iが生じている未知撮像画像上の未知基準位置としての（相対）光軸中心位置(dx#i', dy#i')を求め、未知基準位置算出処理は終了する。
　以上のように、レンズ情報に、既知基準位置としての光軸中心位置(dx#i, dy#i)、及び、基準角θ#iが含まれる場合には、多眼交換レンズ２０が光源３２Ｌ及び３２Ｒ（図１）を有していなくても、レンズ情報に含まれる既知基準位置(dx#i, dy#i)、及び、基準角θ#iに基づいて、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の未知基準位置としての光軸中心位置(dx#i', dy#i')を求めることができる。
　したがって、未知基準位置としての光軸中心位置(dx#i', dy#i')に基づき、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ３１iの位置を視点とする個眼画像E#iを容易に得ることができる。
　さらに、未知基準位置としての光軸中心位置(dx#i', dy#i')から、基線L0#iの方向を表す基線角（tan-1(dy#i'/dx#i')）を求めることができ、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　なお、多眼交換レンズ２０が、既知基準位置(dx#i, dy#i)を算出するときに取り付けられたカメラ本体１０とは別のカメラ本体に取り付けられる場合には、個体のばらつき等に起因して、カメラ本体１０におけるイメージセンサ５１の取り付け位置に対して、別のカメラ本体におけるイメージセンサの取り付け位置がずれていることがあり得る。
　但し、このような、別のカメラ本体におけるイメージセンサの取り付け位置のずれは、その取り付け位置がずれた状態のイメージセンサを基準とすれば、多眼交換レンズ２０の取り付け誤差として把握することができる。したがって、多眼交換レンズ２０が取り付けられる別のカメラ本体におけるイメージセンサの取り付け位置に、例えば、回転方向のずれがあったとしても、未知基準位置算出処理では、多眼交換レンズ２０がカメラ本体１０に取り付けられる場合と同様の未知基準位置としての未知撮像画像上の個眼画像E#iの光軸中心位置(dx#i', dy#i')を算出することができる。
　また、基準位置算出部７１では、既知基準位置(dx#i, dy#i)から基準角θ#i=tan-1(dy#i/dx#i)を求めることができる。基準角θ#iを既知基準位置(dx#i, dy#i)から求める場合には、基準角θ#iをレンズ情報に含める必要はない。
　＜画像処理部５３の構成例＞
　図１９は、図３及び図１２の画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。
　ここで、多眼交換レンズ２０が、例えば、図５等に示したように、個眼レンズ３１0ないし３１4を有する場合には、その個眼レンズ３１0ないし３１4に対する個眼画像E0ないしE4が、領域特定部５２から画像処理部５３に供給される。領域特定部５２から画像処理部５３に供給される、個眼レンズ３１0ないし３１4に対する個眼画像E1ないしE4は、個眼レンズ３１0ないし３１4の位置それぞれから、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１0ないし３１4の位置それぞれを視点とする撮像により得られる画像であり、異なる視点の画像である。
　図１９において、画像処理部５３は、視差情報生成部８１、補間部８２、集光処理部８３、及び、パラメータ設定部８４を有する。
　画像処理部５３には、領域特定部５２から、複数の視点の画像である複数の視点の個眼画像E#iが供給される。
　なお、ここでは、個眼画像E#iの視点とは、個眼レンズ３１iの位置である。
　画像処理部５３において、個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
　視差情報生成部８１は、領域特定部５２から供給される複数の視点の個眼画像E#iを用いて、視差情報を求め、補間部８２、及び、集光処理部８３に供給する。
　すなわち、視差情報生成部８１は、例えば、領域特定部５２から供給される個眼画像E#iそれぞれの、他の個眼画像E#jとの視差情報を求める処理を、複数の視点の個眼画像E#iの画像処理として行う。そして、視差情報生成部８１は、例えば、個眼画像の画素（の位置）ごとに、視差情報が登録されたマップを生成し、補間部８２、及び、集光処理部８３に供給する。
　ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えば、ディスパリティを採用することとし、視差情報生成部８１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。
　補間部８２は、領域特定部５２からの複数の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点、すなわち、個眼レンズ３１iの位置以外の視点から撮像を行ったならば得られるであろう画像を、補間により生成する。
　補間部８２は、例えば、個眼画像E#iの視点が分布する領域、すなわち、個眼レンズ３１iが分布する領域（例えば、図１の個眼レンズ３１1ないし３１4の位置を直線で結ぶことにより囲まれる領域）内のほぼ等間隔の複数の点を、補間用の視点として、その補間用の視点の画像（補間用の視点から撮像を行った場合に得られるであろう画像）を、補間により生成する。
　なお、補間部８２では、個眼レンズ３１iが分布する領域の外側の点についても、補間用の視点として、その補間用の視点の画像を生成することができる。
　補間部８２は、補間用の視点の画像を生成した後、個眼画像E#iと、補間用の視点の画像とを、集光処理部８３に供給する。
　ここで、補間部８２において、個眼画像を用いた補間により生成された画像を、補間画像ともいう。
　また、補間部８２から集光処理部８３に供給される個眼画像E#iと補間用の視点の補間画像とを、まとめて、視点画像ともいう。
　補間部８２での補間は、複数の視点の個眼画像E#iから、より多く数の視点の視点画像を生成する処理であると考えることができる。この、多く数の視点の視点画像を生成する処理は、実空間内の実空間点から入射する光線を再現する処理であると捉えることができる。
　集光処理部８３は、補間部８２からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線を、イメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。
　集光処理部８３の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスを行うことができる。リフォーカスは、視差情報生成部８１からのディスパリティマップや、パラメータ設定部８４からの集光パラメータを用いて行われる。
　集光処理部８３の集光処理によって得られる画像は、処理結果画像として（表示部５４や記憶部５５（図３））に出力される。
　パラメータ設定部８４は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、1個の個眼画像E#i（例えば、個眼画像E0）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータとして、集光処理部８３に供給する。
　＜画像処理部５３の画像処理＞
　図２０は、図１９の画像処理部５３が行う画像処理の例を説明するフローチャートである。
　画像処理部５３において、領域特定部５２から供給される複数の視点の画像である複数の視点の個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
　画像処理部５３では、ステップＳ８１において、視差情報生成部８１が、領域特定部５２からの複数の視点の個眼画像E#iを用いて、視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。
　視差情報生成部８１は、視差情報生成処理により得られるディスパリティマップを、補間部８２、及び、集光処理部８３に供給し、処理は、ステップＳ８１からステップＳ８２に進む。
　ステップＳ８２では、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点以外の複数の補間用の視点の補間画像を生成する補間処理を行う。
　さらに、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、補間処理により得られた複数の補間用の視点の補間画像とを、複数の視点の視点画像として、集光処理部８３に供給し、処理は、ステップＳ８２からステップＳ８３に進む。
　ステップＳ８３では、パラメータ設定部８４は、ユーザの操作等によって指定された位置にある、1個の視点画像（例えば、個眼画像E0）の画素を、合焦させる合焦対象画素に設定する設定処理を行う。
　パラメータ設定部８４は、設定処理により得られた合焦対象画素（の情報）を、集光パラメータとして、集光処理部８３に供給し、処理は、ステップＳ８３からステップＳ８４に進む。
　ここで、合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えば、アプリケーションからの指定や、あらかじめ決められたルールによる指定等に従って設定することができる。例えば、所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を、合焦対象画素に設定することができる。
　ステップＳ８４では、集光処理部８３は、補間部８２からの複数の視点の視点画像、視差情報生成部８１からのディスパリティマップ、及び、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて、被写体からの光線を、図示せぬ仮想センサ上に集光させることに相当する集光処理を行い、画像処理部５３の画像処理は終了する。
　集光処理部８３は、集光処理の結果得られる処理結果画像を、表示部５４に供給する。
　なお、集光処理において、光線が集光される仮想センサの実体は、例えば、図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、光線の集光により得られる画像の画素値が求められる。
　集光処理部８３の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素（の画素値）を画素シフトして積算することにより、実空間内の合焦点に合焦した処理結果画像の各画素値が求められ、処理結果画像が生成される。
　ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部８３の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて設定される。
　なお、画像処理部５３（図１９）は、集光処理部８３だけで構成することができる。
　例えば、集光処理部８３の集光処理を、補間画像を用いずに、領域特定部５２で撮像された個眼画像E#iを用いて行う場合には、補間部８２を設けずに、画像処理部５３を構成することができる。但し、集光処理を、個眼画像E#iの他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。
　また、例えば、個眼画像E#iの視差情報を、距離センサ等を用いて、外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部８１を設けずに、画像処理部５３を構成することができる。
　さらに、例えば、集光処理部８３において、あらかじめ決められたルールに従って、合焦面を設定する場合には、パラメータ設定部８４を設けずに、画像処理部５３を構成することができる。
　また、カメラ本体１０は、画像処理部５３を設けずに構成することができる。
　＜多眼交換レンズの他の構成例＞
　図２１は、多眼交換レンズ２０の他の構成例を示す背面図である。
　図２１では、多眼交換レンズ２０は、7個の個眼レンズ３１0ないし３１6を有し、その7個の個眼レンズ３１0ないし３１6は、光軸方向に重ならないように、２次元平面上に配置されている。
　さらに、図２１では、7個の個眼レンズ３１0ないし３１6は、それらのうちの1個である、例えば、個眼レンズ３１0を中心として、他の６個の個眼レンズ３１1ないし３１6が、個眼レンズ３１0の周辺に、正６角形の頂点を構成するように配置されている。
　したがって、図２１では、7個の個眼レンズ３１0ないし３１6のうちの、任意の1個の個眼レンズ３１i(i=0,2,...,6)と、その個眼レンズ３１iに最も近い他の1個の個眼レンズ３１j(i=0,2,...,6)との（光軸どうしの）距離は、同一の距離Bになっている。
　以下、多眼交換レンズ２０が、図２１に示したように、7個の個眼レンズ３１0ないし３１6を有する場合を例に説明を行う。
　多眼交換レンズ２０が、図２１に示したように、7個の個眼レンズ３１0ないし３１6を有する場合、領域特定部５２（図３）から画像処理部５３の視差情報生成部８１及び補間部８２に供給される複数の視点の個眼画像E#iは、7個の個眼レンズ３１0ないし３１6に対する7視点の個眼画像E0ないしE6である。
　＜補間画像の生成＞
　図２２は、図１９の補間部８２での補間画像の生成の例を説明する図である。
　ある視点の補間画像を生成する場合、補間部８２は、補間画像の画素を、順次、補間の対象の補間対象画素に選択する。さらに、補間部８２は、7視点の個眼画像E0ないしE6のうちの全部、又は、補間画像の視点に近い一部（複数）の視点の個眼画像E#iを、補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部８２は、視差情報生成部８１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の個眼画像E#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮像を行ったならば、補間対象画素に映るであろう空間点と同一の空間点が映っている画素）を求める。
　そして、補間部８２は、複数の視点の個眼画像E#iの対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を、補間対象画素の画素値として求める。
　対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての個眼画像E#iの視点と、補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。
　＜ディスパリティマップの生成＞
　図２３は、図１９の視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。
　すなわち、図２３は、領域特定部５２の個眼レンズ３１0ないし３１6に対する個眼画像E0ないしE6の例を示している。
　図２３では、個眼画像E0ないしE6には、所定の背景の手前側に、前景としての所定の物体objが映っている。個眼画像E0ないしE6それぞれについては、視点が異なるため、例えば、個眼画像E1ないしE6それぞれに映る物体objの位置（個眼画像上の位置）は、個眼画像E0に映る物体objの位置から、視点が異なる分だけずれている。
　いま、個眼レンズ３１iの視点（位置）、すなわち、個眼レンズ３１iに対する個眼画像E#iの視点を、vp#iと表すこととする。
　例えば、個眼画像E0の視点vp0のディスパリティマップを生成する場合には、視差情報生成部８１は、個眼画像E0を、注目する注目画像E0とする。さらに、視差情報生成部８１は、注目画像E0の各画素を、順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の個眼画像E1ないしE6のそれぞれから検出する。
　個眼画像E1ないしE6それぞれから、注目画像E0の注目画素に対応する対応画素を検出する方法としては、例えば、ステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。
　ここで、注目画像E0の注目画素に対する、個眼画像E#iの対応画素の位置ずれを表すベクトルを、ディスパリティベクトルv#i,0ということとする。
　視差情報生成部８１は、個眼画像E1ないしE6のそれぞれについてディスパリティベクトルv1,0ないしv6,0を求める。そして、視差情報生成部８１は、例えば、ディスパリティベクトルv1,0ないしv6,0の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,0の大きさを、注目画素（の位置）のディスパリティの大きさとして求める。
　ここで、領域特定部５２において、図２１で説明したように、注目画像E0が得られた個眼レンズ３１0と、個眼画像E1ないしE6が得られた個眼レンズ３１1ないし３１6それぞれとの距離が、同一の距離Bになっている場合に、注目画像E0の注目画素に映る実空間点が、個眼画像E1ないしE6にも映っているときには、ディスパリティベクトルv1,0ないしv6,0として、向きが異なるが、大きさが等しいベクトルが求められる。
　すなわち、この場合、ディスパリティベクトルv1,0ないしv6,0は、注目画像E0の視点vp0に対する他の個眼画像E1ないしE6の視点vp1ないしvp6の方向と逆方向の、大きさが等しいベクトルになる。
　但し、個眼画像E1ないしE6の中には、オクルージョンが生じている画像、すなわち、注目画像E0の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。
　注目画像E0の注目画素に映る実空間点が映っていない個眼画像（以下、オクルージョン画像ともいう）E#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
　そのため、オクルージョン画像E#iについては、注目画像E0の注目画素に映る実空間点が映っている個眼画像E#jのディスパリティベクトルv#j,0とは、大きさが異なるディスパリティベクトルv#i,0が求められる可能性が極めて高い。
　個眼画像E1ないしE6の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部８１は、上述のように、ディスパリティベクトルv1,0ないしv6,0の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,0の大きさを、注目画素のディスパリティの大きさとして求める。
　図２３では、ディスパリティベクトルv1,0ないしv6,0の中で、３つのディスパリティベクトルv1,0，v2,0，v6,0が大きさが等しいベクトルになっている。また、ディスパリティベクトルv3,0，v4,0，v5,0それぞれについては、大きさが等しいディスパリティベクトルが存在しない。
　そのため、３つのディスパリティベクトルv1,0，v2,0，v6,0が大きさが、注目画素のディスパリティの大きさとして求められる。
　なお、注目画像E0の注目画素の、任意の個眼画像E#iとの間のディスパリティの方向は、注目画像E0の視点vp0（個眼レンズ３１0の位置）と、個眼画像E#iの視点vp#i（個眼レンズ３１iの位置）との位置関係（視点vp0から視点vp#iへの方向等）から認識することができる。
　視差情報生成部８１は、注目画像E0の各画素を、順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部８１は、注目画像E0の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップを、ディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置と、その画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。
　他の個眼画像E#iの視点vp#iのディスパリティマップも、視点vp0のディスパリティマップと同様に生成することができる。
　但し、視点vp#0以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、個眼画像E#iの視点vp#iと、その個眼画像E#i以外の個眼画像E#jの視点vp#jとの位置関係（個眼レンズ３１iと３１jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。
　すなわち、例えば、個眼画像E4を注目画像として、ディスパリティマップを生成する場合、注目画像E4と個眼画像E1との間で得られるディスパリティベクトルは、注目画像E4と個眼画像E0との間で得られるディスパリティベクトルの２倍の大きさになる。
　これは、注目画像E4が得られる個眼レンズ３１4と、個眼画像E0が得られる個眼レンズ３１0との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像E4が得られる個眼レンズ３１4と、個眼画像E1が得られる個眼レンズ３１1との基線長が、距離2Bになっているためである。
　そこで、いま、例えば、個眼レンズ３１0と、他の個眼レンズ３１iとの基線長である距離Bを、ディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。
　すなわち、例えば、注目画像E4が得られる個眼レンズ３１4と、個眼画像E0が得られる個眼レンズ３１0の基線長Bは、基準基線長Bに等しいので、注目画像E4と個眼画像E0との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。
　また、例えば、注目画像E4が得られる個眼レンズ３１4と、個眼画像E1が得られる個眼レンズ３１1の基線長2Bは、基準基線長Bの２倍に等しいので、注目画像E4と個眼画像E1との間で得られるディスパリティベクトルは、その大きさが、基準基線長Bと、個眼レンズ３１4と個眼レンズ３１1との基線長2Bとの比の値倍である1/2倍に調整される。
　注目画像E4と他の個眼画像E#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。
　そして、大きさの調整後のディスパリティベクトルを用いて、ディスパリティベクトルの多数決が行われる。
　なお、視差情報生成部８１において、個眼画像E#i（の各画素）のディスパリティは、例えば、個眼画像の画素の精度で求めることができる。また、個眼画像E#iのディスパリティは、例えば、その個眼画像E#iの画素より細かい精度である画素以下精度（例えば、1/4画素等のサブピクセルの精度）で求めることができる。
　ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティを、そのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
　ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば、左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、個眼画像E0の各画素の、個眼画像E0の左隣の視点の個眼画像E4との間のディスパリティ（個眼画像E0の画素から、その画素に対応する個眼画像E4の対応画素までの画素ずれを表すベクトル）のx成分に等しい。
　＜集光処理によるリフォーカス＞
　図２４は、図１９の集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。
　なお、図２４では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、個眼画像E0、個眼画像E0の右隣の視点の個眼画像E1、及び、個眼画像E0の左隣の視点の個眼画像E4の3個の画像を用いることとする。
　図２４において、個眼画像E0，E1、及び、E4には、２つの物体obj1及びobj2が映っている。例えば、物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。
　いま、例えば、物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、個眼画像E0の視点から見た画像を得ることとする。
　ここで、個眼画像E0の物体obj1が映る画素との間の、処理結果画像の視点（ここでは、個眼画像E0の視点）のディスパリティを、DP0と表す。また、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP1と表すとともに、個眼画像E4の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP4と表すこととする。
　なお、図２４では、処理結果画像の視点は、個眼画像E0の視点に等しいので、個眼画像E0の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP0は、(0,0)になる。
　個眼画像E0，E1、及び、E4については、個眼画像E0，E1、及び、E4を、ディスパリティDP0，DP1、及び、DP4に応じて、それぞれ画素シフトし、その画素シフト後の個眼画像E0，E1、及び、E4を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
　すなわち、個眼画像E0，E1、及び、E4を、ディスパリティDP0，DP1、及び、DP4をキャンセルするように（ディスパリティDP0，DP1、及び、DP4の逆方向に）、それぞれ画素シフトすることで、画素シフト後の個眼画像E0，E1、及び、E4では、物体obj1が映る画素の位置が一致する。
　したがって、画素シフト後の個眼画像E0，E1、及び、E4を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
　なお、画素シフト後の個眼画像E0，E1、及び、E4においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。
　また、ここでは、上述したように、処理結果画像の視点は、個眼画像E0の視点であり、ディスパリティDP0は(0,0)であるため、個眼画像E0については、実質的に、画素シフトを行う必要はない。
　集光処理部８３の集光処理では、例えば、以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理結果画像の視点（ここでは、個眼画像E0の視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像が、処理結果画像として求められる。
　＜ディスパリティ変換＞
　図２５は、ディスパリティ変換の例を説明する図である。
　図２３で説明したように、ディスパリティマップに登録される登録ディスパリティは、オクルージョンが生じている領域以外の部分において、個眼画像E0の左隣の視点の個眼画像E4の各画素との間の、個眼画像E0の画素のディスパリティのx成分に等しい。
　リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。
　いま、ある視点を、注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば、個眼画像E0の合焦対象画素のディスパリティが必要となる。
　注目視点の視点画像との間の、個眼画像E0の合焦対象画素のディスパリティは、個眼画像E0の合焦対象画素（処理結果画像の合焦対象画素に対応する個眼画像E0の対応画素）の登録ディスパリティから、処理結果画像の視点から注目視点の方向を加味して求めることができる。
　いま、処理結果画像の視点である個眼画像E0の視点から注目視点の方向を、x軸を0[radian]とする反時計回りの角度で表すこととする。
　例えば、個眼レンズ３１1は、処理結果画像の視点である個眼画像E0の視点から基準基線長Bだけ+x方向に離れた位置にあり、処理結果画像の視点である個眼画像E0の視点から個眼レンズ３１1に対する個眼画像E1の視点の方向は、0[radian]である。この場合、個眼レンズ３１1に対する個眼画像E1（視点画像）との間の、個眼画像E0の合焦対象画素のディスパリティDP1（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１1に対する個眼画像E1の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。
　また、例えば、個眼レンズ３１2は、処理結果画像の視点である個眼画像E0の視点から基準基線長Bだけπ/3の方向に離れた位置にあり、処理結果画像の視点である個眼画像E0の視点から個眼レンズ３１2に対する個眼画像E3の視点の方向は、π/3[radian]である。この場合、個眼レンズ３１2に対する個眼画像E3との間の、個眼画像E0の合焦対象画素のディスパリティDP2は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１2の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。
　ここで、補間部８２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なレンズで撮像された画像であるとみなすことができる。この仮想的なレンズで撮像された画像の視点vpが、処理結果画像の視点である個眼画像E0の視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なレンズで撮像された画像）との間の、個眼画像E0の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。
　以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、個眼画像E0の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、個眼画像E0の画素（処理結果画像の画素）のディスパリティに変換することを、ディスパリティ変換ともいう。
　リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、個眼画像E0の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。
　リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を、合焦シフト量ともいう。
　ここで、以下、補間部８２で得られる複数の視点の視点画像のうちの、i番目の視点画像の視点を、視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を、合焦シフト量SV#iとも記載する。
　視点vp#iの視点画像の合焦シフト量SV#iは、合焦対象画素の登録ディスパリティRDから、処理結果画像の視点である個眼画像E0の視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。
　ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。
　したがって、ディスパリティ変換は、例えば、登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。
　ここでは、例えば、ディスパリティ変換を、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。
　この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。
　合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。
　なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、個眼画像E1との間の、合焦対象画素のディスパリティのx成分に等しい。
　＜リフォーカスを行う集光処理＞
　図２６は、リフォーカスを行う集光処理の例を説明するフローチャートである。
　ステップＳ９１において、集光処理部８３は、パラメータ設定部８４から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理は、ステップＳ９２に進む。
　すなわち、例えば、個眼レンズ３１０ないし３１６に対する個眼画像E0ないしE6のうちの、個眼画像E0等が、表示部５４に表示され、ユーザが、その個眼画像E0上の１つの位置を指定すると、パラメータ設定部８４は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を、集光パラメータとして、集光処理部８３に供給する。
　ステップＳ９１では、集光処理部８３は、以上のようにして、パラメータ設定部８４から供給される合焦対象画素を取得する。
　ステップＳ９２では、集光処理部８３は、視差情報生成部８１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部８３は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば、合焦対象画素の登録ディスパリティRDの-1倍を、基準シフト量BVに設定し、処理は、ステップＳ９２からステップＳ９３に進む。
　ステップＳ９３では、集光処理部８３は、補間部８２からの複数の視点の視点画像のうちの１つの画像である、例えば、個眼画像E0に対応する画像、すなわち、個眼画像E0の視点から見た、個眼画像E0と同一サイズの画像であって、画素値が初期値としての0の画像を、処理結果画像に設定する。さらに、集光処理部８３は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に決定し、処理は、ステップＳ９３からステップＳ９４に進む。
　ステップＳ９４では、集光処理部８３は、補間部８２からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理は、ステップＳ９５に進む。
　ステップＳ９５では、集光処理部８３は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iを求める。
　すなわち、集光処理部８３は、基準シフト量BVを、処理結果画像の視点である個眼画像E0の視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iとして取得する。
　その後、処理は、ステップＳ９５からステップＳ９６に進み、集光処理部８３は、注目視点vp#iの視点画像の各画素を、合焦シフト量SV#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を、注目画素の画素値に積算する。
　すなわち、集光処理部８３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量SV#iに対応するベクトル（ここでは、例えば、合焦シフト量SV#iの-1倍）だけ離れた画素の画素値を、注目画素の画素値に積算する。
　そして、処理は、ステップＳ９６からステップＳ９７に進み、集光処理部８３は、補間部８２からの視点画像のすべての視点を、注目視点としたかどうかを判定する。
　ステップＳ９７において、まだ、補間部８２からの視点画像のすべての視点を、注目視点としていないと判定された場合、処理は、ステップＳ９４に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ９７において、補間部８２からの視点画像のすべての視点を、注目視点としたと判定された場合、処理は、ステップＳ９８に進む。
　ステップＳ９８では、集光処理部８３は、処理結果画像の画素のすべてを、注目画素としたかどうかを判定する。
　ステップＳ９８において、まだ、処理結果画像の画素のすべてを、注目画素としていないと判定された場合、処理は、ステップＳ９３に戻り、集光処理部８３は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に新たに決定し、以下、同様の処理を繰り返す。
　また、ステップＳ９８において、処理結果画像の画素のすべてを、注目画素としたと判定された場合、集光処理部８３は、処理結果画像を出力して、集光処理を終了する。
　なお、図２６の集光処理では、実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成される。
　かかる図２６の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、図２６の集光処理では、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。
　また、合焦シフト量SV#iは、注目視点vp#i及び基準シフト量BVによって変化するが、図２６の集光処理では、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量SV#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
　図２６において、合焦シフト量SV#iを求めるステップＳ９５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量SV#iを繰り返し算出するループ（ステップＳ９３ないしステップＳ９８のループ）を構成しているが、上述のように、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
　したがって、図２６において、合焦シフト量SV#iを求めるステップＳ９５の処理は、１視点に対して１回だけ行えば良い。
　＜サーバを利用した未知基準位置(dx#i, dy#i)の取得＞
　図２７は、サーバを利用して、未知撮像画像の未知基準位置(dx#i', dy#i')を取得する処理の例を説明する図である。
　なお、図２７では、多眼交換レンズ２０の記憶部４１に、その多眼交換レンズ２０のレンズIDがレンズ情報として記憶され、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の他のレンズ情報（既知基準位置(dx#i, dy#i)等）とが対応付けられたデータベースが用意されていることとする。
　例えば、多眼交換レンズ２０が、カメラ本体１０に装着されると、ステップＳ１１１１において、多眼交換レンズ２０（図３）（図１２）の通信部４２が、記憶部４１に記憶されたレンズ情報としてレンズIDを、カメラ本体１０に送信する。
　カメラ本体１０（図３）（図１２）の通信部５６は、多眼交換レンズ２０からのレンズIDを受信する。
　そして、多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステム（図１）（図１１）では、未知撮像画像が撮像されると、ステップＳ１２１において、カメラ本体１０の通信部５６は、多眼交換レンズ２０からのレンズIDと、未知撮像画像とを、例えば、クラウド上のサーバ９０に送信する。
　サーバ９０は、カメラ本体１０からのレンズID及び未知撮像画像を受信する。さらに、サーバ９０は、ステップＳ１３１において、カメラ本体１０からのレンズIDをキーワードとして、データベース(DB)を検索し、そのレンズIDによって特定される多眼交換レンズ２０の他のレンズ情報としての既知撮像画像の既知基準位置(dx#i, dy#i)と、既知光位置(XL, YL)及び(XR, YR)、又は、基準角θ#iとを取得する。
　そして、サーバ９０は、ステップＳ１３２において、データベースから検索した多眼交換レンズ２０のレンズ情報としての既知撮像画像の既知基準位置(dx#i, dy#i)と、既知光位置(XL, YL)及び(XR, YR)、又は、基準角θ#iとを用いて、カメラ本体１０からの未知撮像画像に含まれる個眼画像E#iの未知基準位置(dx#i', dy#i')を求める。
　さらに、サーバ９０は、ステップＳ１３３において、未知基準位置(dx#i', dy#i')を、カメラ本体１０に送信する。
　カメラ本体１０（図３）では、通信部５６が、サーバ９０からの未知基準位置(dx#i', dy#i')を受信し、領域特定部５２に供給する。領域特定部５２は、サーバ９０からの未知基準位置(dx#i', dy#i')を用いて、未知撮像画像上の個眼画像E#iの領域を特定する。
　以上のように、未知基準位置(dx#i', dy#i')は、カメラ本体１０とは別のサーバ９０で求めることができる。この場合、カメラ本体１０は、基準位置算出部５７（図３）又は基準位置算出部７１（図１２）を設けずに構成することができる。
　なお、サーバ９０では、未知撮像画像に含まれる個眼画像E#iの未知基準位置(dx#i', dy#i')を求めた後、その未知基準位置(dx#i', dy#i')を用いて、未知撮像画像上の個眼画像E#iの領域を特定し、その領域の特定の結果を表す領域特定結果情報を、カメラ本体１０に送信することができる。
　この場合、カメラ本体１０は、基準位置算出部５７又は７１、及び、領域特定部５２を設けずに構成することができる。
　さらに、カメラ本体１０は、画像処理部５３を設けずに構成し、未知撮像画像、又は、未知撮像画像から特定された個眼画像E#iを、サーバ９０に送信することができる。この場合、サーバ９０において、必要に応じて、未知撮像画像から個眼画像E#iを特定し、その未知撮像画像から特定された個眼画像E#i、又は、カメラ本体１０から送信されてきた個眼画像E#iを用いて、画像処理部５３と同様の画像処理を行うことができる。そして、サーバ９０は、その画像処理により得られる処理結果画像を、カメラ本体１０に送信することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した領域特定部５２や、画像処理部５３、通信部５６、基準位置算出部５７及び７１等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
　CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
　これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
　なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
　前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
　を備える情報処理装置。
　＜２＞
　前記撮像画像は、既知の距離にある前記所定の被写体が映る画像である
　＜１＞に記載の情報処理装置。
　＜３＞
　前記未知基準位置に基づいて、前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれの領域を特定する領域特定部をさらに備える
　＜１＞又は＜２＞に記載の情報処理装置。
　＜４＞
　前記交換レンズは、光を照射する複数の光源を備え、
　前記通信部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを受信し、
　前記基準位置算出部は、前記既知基準位置と前記既知光位置とに基づいて、前記未知基準位置を求める
　＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
　＜５＞
　前記基準位置算出部は、
　前記他の撮像画像上の前記複数の光源それぞれの光の照射位置と、前記既知光位置との間の回転角を求め、
　前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
　＜４＞に記載の情報処理装置。
　＜６＞
　前記基準位置算出部は、前記他の撮像画像上の前記光源の光の照射位置と、前記既知光位置との間の平行移動量をさらに求める
　＜４＞又は＜５＞に記載の情報処理装置。
　＜７＞
　前記基準位置算出部は、
　前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれから、同一の特徴を有する特徴点を抽出し、
　前記複数の個眼画像のうちの１の個眼画像の前記特徴点と他の個眼画像の前記特徴点とを結ぶ線の方向を表す角度と、前記１の個眼画像の前記既知基準位置と前記他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角との間の回転角を求め、
　前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
　＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
　＜８＞
　前記通信部は、前記既知基準位置と前記基準角とを受信する
　＜７＞に記載の情報処理装置。
　＜９＞
　前記他の撮像画像から特定された前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
　＜３＞に記載の情報処理装置。
　＜１０＞
　前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
　＜９＞に記載の情報処理装置。
　＜１１＞
　前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
　＜９＞又は＜１０＞に記載の情報処理装置。
　＜１２＞
　前記複数の個眼画像の視差情報を生成する視差情報生成部と、
　前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
　をさらに備える＜１１＞に記載の情報処理装置。
　＜１３＞
　情報処理装置が、
　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信することと、
　前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求めることと
　を含む情報処理方法。
　＜１４＞
　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
　前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
　して、コンピュータを機能させるためのプログラム。
　＜１５＞
　光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
　イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を記憶する記憶部と、
　前記既知基準位置を外部に送信する通信部と
　を備える交換レンズ。
　＜１６＞
　前記イメージセンサに、光を照射する複数の光源をさらに備え、
　前記記憶部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを記憶し、
　前記通信部は、前記既知基準位置と前記既知光位置とを送信する
　＜１５＞に記載の交換レンズ。
　＜１７＞
　2個の前記光源が、前記交換レンズの、前記複数の個眼レンズが配置された平面上の最も遠い２点を結ぶ線上に配置されている
　＜１６＞に記載の交換レンズ。
　＜１８＞
　前記イメージセンサで撮像される他の撮像画像上の前記複数の光源それぞれの光の照射位置が、前記他の撮像画像に含まれる前記個眼画像の領域外に位置するように、前記複数の光源が設けられている
　＜１６＞又は＜１７＞に記載の交換レンズ。
　＜１９＞
　前記記憶部は、前記既知基準位置と、前記複数の個眼レンズに対する複数の個眼画像のうちの１の個眼画像の前記既知基準位置と他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角とを記憶し、
　前記通信部は、前記既知基準位置と前記基準角とを送信する
　＜１５＞に記載の交換レンズ。
　１０　カメラ本体，　１１　カメラマウント，　２０　多眼交換レンズ，　２１　鏡筒，　２２　レンズマウント，　２３　レンズフード，　３１0ないし３１6　個眼レンズ，　３２Ｌ，３２Ｒ　光源，　４１　記憶部，　４２　通信部，　５１　イメージセンサ，　５２　領域特定部，　５３　画像処理部，　５４　表示部，　５５　記憶部，　５６　通信部，　５７，７１　基準位置算出部，　８１　視差情報生成部，　８２　補間部，　８３　集光処理部，　８４　パラメータ設定部，　９０　サーバ，　２０１　バス，　２０２　CPU，　２０３　ROM，　２０４　RAM，　２０５　ハードディスク，　２０６　出力部，　２０７　入力部，　２０８　通信部，　２０９　ドライブ，　２１０　入出力インタフェース，　２１１　リムーバブル記録媒体

Claims (19)

  1. 　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
    　前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
    　を備える情報処理装置。
  2. 　前記撮像画像は、既知の距離にある前記所定の被写体が映る画像である
    　請求項１に記載の情報処理装置。
  3. 　前記未知基準位置に基づいて、前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれの領域を特定する領域特定部をさらに備える
    　請求項１に記載の情報処理装置。
  4. 　前記交換レンズは、光を照射する複数の光源を備え、
    　前記通信部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを受信し、
    　前記基準位置算出部は、前記既知基準位置と前記既知光位置とに基づいて、前記未知基準位置を求める
    　請求項１に記載の情報処理装置。
  5. 　前記基準位置算出部は、
    　前記他の撮像画像上の前記複数の光源それぞれの光の照射位置と、前記既知光位置との間の回転角を求め、
    　前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
    　請求項４に記載の情報処理装置。
  6. 　前記基準位置算出部は、前記他の撮像画像上の前記光源の光の照射位置と、前記既知光位置との間の平行移動量をさらに求める
    　請求項４に記載の情報処理装置。
  7. 　前記基準位置算出部は、
    　前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれから、同一の特徴を有する特徴点を抽出し、
    　前記複数の個眼画像のうちの１の個眼画像の前記特徴点と他の個眼画像の前記特徴点とを結ぶ線の方向を表す角度と、前記１の個眼画像の前記既知基準位置と前記他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角との間の回転角を求め、
    　前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
    　請求項１に記載の情報処理装置。
  8. 　前記通信部は、前記既知基準位置と前記基準角とを受信する
    　請求項７に記載の情報処理装置。
  9. 　前記他の撮像画像から特定された前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
    　請求項３に記載の情報処理装置。
  10. 　前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
    　請求項９に記載の情報処理装置。
  11. 　前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
    　請求項９に記載の情報処理装置。
  12. 　前記複数の個眼画像の視差情報を生成する視差情報生成部と、
    　前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
    　をさらに備える請求項１１に記載の情報処理装置。
  13. 　情報処理装置が、
    　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信することと、
    　前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求めることと
    　を含む情報処理方法。
  14. 　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
    　前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
    　して、コンピュータを機能させるためのプログラム。
  15. 　光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
    　イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を記憶する記憶部と、
    　前記既知基準位置を外部に送信する通信部と
    　を備える交換レンズ。
  16. 　前記イメージセンサに、光を照射する複数の光源をさらに備え、
    　前記記憶部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを記憶し、
    　前記通信部は、前記既知基準位置と前記既知光位置とを送信する
    　請求項１５に記載の交換レンズ。
  17. 　2個の前記光源が、前記交換レンズの、前記複数の個眼レンズが配置された平面上の最も遠い２点を結ぶ線上に配置されている
    　請求項１６に記載の交換レンズ。
  18. 　前記イメージセンサで撮像される他の撮像画像上の前記複数の光源それぞれの光の照射位置が、前記他の撮像画像に含まれる前記個眼画像の領域外に位置するように、前記複数の光源が設けられている
    　請求項１６に記載の交換レンズ。
  19. 　前記記憶部は、前記既知基準位置と、前記複数の個眼レンズに対する複数の個眼画像のうちの１の個眼画像の前記既知基準位置と他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角とを記憶し、
    　前記通信部は、前記既知基準位置と前記基準角とを送信する
    　請求項１５に記載の交換レンズ。
PCT/JP2018/037327 2017-10-20 2018-10-05 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ WO2019078032A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/755,757 US11175568B2 (en) 2017-10-20 2018-10-05 Information processing apparatus, information processing method, and program as well as in interchangeable lens
KR1020207009924A KR102512247B1 (ko) 2017-10-20 2018-10-05 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈
CN201880066686.0A CN111213361B (zh) 2017-10-20 2018-10-05 信息处理装置、信息处理方法、程序以及可互换透镜
JP2019549203A JP7180608B2 (ja) 2017-10-20 2018-10-05 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
EP18867655.5A EP3678361A4 (en) 2017-10-20 2018-10-05 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND INTERCHANGEABLE LENS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-203243 2017-10-20
JP2017203243 2017-10-20

Publications (1)

Publication Number Publication Date
WO2019078032A1 true WO2019078032A1 (ja) 2019-04-25

Family

ID=66173733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037327 WO2019078032A1 (ja) 2017-10-20 2018-10-05 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ

Country Status (6)

Country Link
US (1) US11175568B2 (ja)
EP (1) EP3678361A4 (ja)
JP (1) JP7180608B2 (ja)
KR (1) KR102512247B1 (ja)
CN (1) CN111213361B (ja)
WO (1) WO2019078032A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188929A1 (ja) * 2019-03-18 2020-09-24 ソニー株式会社 撮像装置、情報処理方法、およびプログラム
WO2021182130A1 (ja) 2020-03-12 2021-09-16 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113758499B (zh) * 2021-03-18 2024-05-17 北京京东乾石科技有限公司 确定定位传感器装配偏差补偿参数的方法、装置和设备
TWI779842B (zh) * 2021-09-22 2022-10-01 宏碁股份有限公司 立體顯示裝置及其顯示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140273A (ja) * 2005-11-21 2007-06-07 Fujifilm Corp 多焦点カメラの筐体
JP2009003190A (ja) * 2007-06-21 2009-01-08 Olympus Corp 撮像装置
JP2012129714A (ja) * 2010-12-14 2012-07-05 Samsung Yokohama Research Institute Co Ltd 光学システム及びこれを備える撮像装置
WO2014203676A1 (ja) * 2013-06-17 2014-12-24 コニカミノルタ株式会社 位置決め装置、位置決め方法及び複眼カメラモジュール
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム
JP2017184143A (ja) * 2016-03-31 2017-10-05 株式会社ニコン レンズ鏡筒、およびカメラボディ

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702229B2 (en) * 2006-10-18 2010-04-20 Eastman Kodak Company Lens array assisted focus detection
JP5776173B2 (ja) * 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置
WO2011142086A1 (ja) * 2010-05-14 2011-11-17 パナソニック株式会社 カメラ本体、交換レンズユニット、撮像装置、カメラ本体の制御方法、交換レンズユニットの制御方法、プログラムおよびプログラムを記録した記録媒体
US8526802B1 (en) * 2011-02-23 2013-09-03 Google Inc. Collapsible image capture system
JP5896680B2 (ja) * 2011-10-12 2016-03-30 キヤノン株式会社 撮像装置、画像処理装置、及び画像処理方法
EP2582128A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
JP5911307B2 (ja) * 2012-01-11 2016-04-27 キヤノン株式会社 撮像装置
EP2992507B1 (en) * 2013-05-02 2018-07-25 Qualcomm Incorporated Methods for facilitating computer vision application initialization
DE102013013536A1 (de) * 2013-08-14 2015-02-19 Colin Breithaupt Wechselobiektiv
CN105519105B (zh) * 2013-09-11 2019-03-08 索尼公司 图像处理设备及方法
US10455138B2 (en) * 2015-04-20 2019-10-22 Ian Schillebeeckx Camera calibration with lenticular arrays
CN108572497B (zh) * 2017-03-14 2019-12-17 深圳光峰科技股份有限公司 光源装置及投影系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140273A (ja) * 2005-11-21 2007-06-07 Fujifilm Corp 多焦点カメラの筐体
JP2009003190A (ja) * 2007-06-21 2009-01-08 Olympus Corp 撮像装置
JP2012129714A (ja) * 2010-12-14 2012-07-05 Samsung Yokohama Research Institute Co Ltd 光学システム及びこれを備える撮像装置
WO2014203676A1 (ja) * 2013-06-17 2014-12-24 コニカミノルタ株式会社 位置決め装置、位置決め方法及び複眼カメラモジュール
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム
JP2017184143A (ja) * 2016-03-31 2017-10-05 株式会社ニコン レンズ鏡筒、およびカメラボディ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENNETT WILBURN ET AL., HIGH PERFORMANCE IMAGING USING LARGE CAMERA ARRAYS
See also references of EP3678361A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188929A1 (ja) * 2019-03-18 2020-09-24 ソニー株式会社 撮像装置、情報処理方法、およびプログラム
US11765336B2 (en) 2019-03-18 2023-09-19 Sony Group Corporation Image-capturing apparatus, information processing method, and program
WO2021182130A1 (ja) 2020-03-12 2021-09-16 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
EP3678361A1 (en) 2020-07-08
US20200257183A1 (en) 2020-08-13
JP7180608B2 (ja) 2022-11-30
CN111213361B (zh) 2022-04-26
KR102512247B1 (ko) 2023-03-22
KR20200064999A (ko) 2020-06-08
JPWO2019078032A1 (ja) 2020-11-19
CN111213361A (zh) 2020-05-29
EP3678361A4 (en) 2020-10-28
US11175568B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
JP7043085B2 (ja) 視点から距離情報を取得するための装置及び方法
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2009529824A (ja) ３次元映像獲得用ｃｍｏｓステレオカメラ
US20150288945A1 (en) Generarting 3d images using multiresolution camera clusters
JP2017208606A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
WO2019220722A1 (ja) 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法
US10783646B2 (en) Method for detecting motion in a video sequence
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
WO2020213595A1 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
CN111292380A (zh) 图像处理方法及装置
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
TWI792381B (zh) 影像擷取裝置及其深度資訊計算方法
TW482939B (en) Single lens 3D real-time image capturing device and the method thereof
Kumar et al. Non-frontal camera calibration using focal stack imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867655

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549203

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018867655

Country of ref document: EP

Effective date: 20200331

NENP Non-entry into the national phase

Ref country code: DE