WO2020213594A1 - 交換レンズ、情報処理装置、情報処理方法、及び、プログラム - Google Patents

交換レンズ、情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2020213594A1
WO2020213594A1 PCT/JP2020/016387 JP2020016387W WO2020213594A1 WO 2020213594 A1 WO2020213594 A1 WO 2020213594A1 JP 2020016387 W JP2020016387 W JP 2020016387W WO 2020213594 A1 WO2020213594 A1 WO 2020213594A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lens
information
unit
individual eye
Prior art date
Application number
PCT/JP2020/016387
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
櫛田　英功
功久 井藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020217032525A priority Critical patent/KR20210151815A/ko
Priority to CN202080027818.6A priority patent/CN113678060A/zh
Priority to JP2021514164A priority patent/JP7363892B2/ja
Priority to EP20791227.0A priority patent/EP3958055A4/en
Priority to US17/602,861 priority patent/US11868029B2/en
Publication of WO2020213594A1 publication Critical patent/WO2020213594A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G03B2206/004—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing using markings on the photographic material, e.g. to indicate pseudo-panoramic exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser

Definitions

  • the present technology relates to interchangeable lenses, information processing devices, information processing methods, and programs, and more particularly to, for example, interchangeable lenses, information processing devices, information processing methods, and programs that enable appropriate processing. ..
  • Patent Document 1 A technique for improving the convenience of a service using a multi-viewpoint image composed of a plurality of images having different viewpoints has been proposed (see, for example, Patent Document 1).
  • the multi-viewpoint image can be captured by, for example, a camera system having individual eye lenses, which are a plurality of lenses arranged so as not to overlap in the optical axis direction.
  • the individual lenses on the captured image captured by the image sensor collect light before and after the extension.
  • the area of the individual eye image corresponding to the image formed by the resulting light beam may change.
  • This technology was made in view of such a situation, and makes it possible to perform appropriate processing.
  • the interchangeable lens of the present technology includes a lens barrel, a movable portion that is movable along the optical axis with respect to the lens barrel, and a movable portion that is integrally movable with the movable portion.
  • a plurality of individual eye lenses arranged so that the emission positions of the imaging light emitted through the lens do not overlap each other, and the movable portion and the plurality of individual eye lenses can be integrally moved along the optical axis.
  • One or a plurality of light sources configured so that the emission position of the parallel light irradiating the image sensor provided in the camera body does not overlap with the emission position of the imaging light of each of the plurality of individual eye lenses. It is an interchangeable lens equipped with.
  • the movable portion is configured to be movable with respect to the lens barrel along the optical axis
  • a plurality of individual eye lenses are configured to be movable integrally with the movable portion.
  • the emission positions of the imaging light emitted through each individual lens are arranged so as not to overlap each other.
  • one or a plurality of light sources are configured to be movable along the optical axis together with the movable portion and the plurality of individual eye lenses, and irradiate an image sensor provided on the camera body with parallel light. Is arranged so that the emission position of the light source does not overlap with the emission position of the imaging light of each of the plurality of individual eye lenses.
  • the information processing device or program of the present technology is configured to be movable integrally with the lens barrel, the movable portion that is movable along the optical axis with respect to the lens barrel, and the movable portion.
  • a plurality of individual lenses arranged so that the emission positions of the imaging light emitted through each individual lens do not overlap each other, and the movable portion and the plurality of individual lenses are integrated on the optical axis. 1 or 1 or one that is configured to be movable along the camera body and is arranged so that the emission position of the parallel light irradiating the image sensor provided in the camera body does not overlap with the emission position of the imaging light of each of the plurality of individual lenses.
  • An information processing device including a processing unit that performs processing, or a program for operating a computer as such an information processing device.
  • the information processing method of the present technology includes a lens barrel, a movable portion that is movable along the optical axis with respect to the lens barrel, and a movable portion that is integrally movable with the movable portion, and each individual eye lens.
  • a plurality of individual eye lenses arranged so that the emission positions of the imaging light emitted via the light source do not overlap each other, and the movable portion and the plurality of individual eye lenses can be integrally moved along the optical axis.
  • One or a plurality of light sources arranged so that the emission position of the parallel light irradiating the image sensor provided in the camera body does not overlap with the emission position of the imaging light of each of the plurality of individual eye lenses. Processing is performed according to the detection step of detecting the light image on the captured image captured by the image sensor of the parallel light emitted from the light source of the lens unit including the above, and the detection result of the detection step. It is an information processing method including a processing step.
  • the lens barrel, the movable portion configured to be movable along the optical axis with respect to the lens barrel, and the movable portion are integrated.
  • a plurality of individual eye lenses configured to be movable and arranged so that the emission positions of the imaging light emitted through each individual eye lens do not overlap each other, and the movable portion and the plurality of individual eye lenses are integrated.
  • the parallel light emission position that is configured to be movable along the optical axis and irradiates the image sensor provided in the camera body does not overlap with the emission position of the imaging light of each of the plurality of individual eye lenses.
  • An optical image of the parallel light emitted from the light source of the lens unit including one or a plurality of arranged light sources on the captured image captured by the image sensor is detected, and depending on the detection result, the light image is detected. Processing is done.
  • the information processing device may be an independent device or an internal block constituting one device.
  • the program can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • the arrangement of the single-eye lens 31 0 to 31 4 and the light source 32L and 32R in the multiview interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20. It is a figure explaining the attachment error when the multi-lens interchangeable lens 20 is attached (attached) to a camera body 10.
  • the condensing point at which the non-parallel light as the spot light is focused is located on one of the front side and the back side including the image sensor 51. It is a figure explaining the state. It is a figure explaining the 4th detection method which detects the feeding amount of the feeding part 23. It is a figure which shows the irradiation position of the spot light when the feeding part 23 is a minimum feeding state, and the irradiation position of the spot light when the feeding part 23 is a maximum feeding state.
  • FIG. 1 is a perspective view showing a configuration example of an embodiment of a camera system (imaging device) to which the present technology is applied.
  • the camera system 1 is composed of a camera body 10 and a multi-lens interchangeable lens 20 (lens unit).
  • the camera body 10 has a removable multi-lens interchangeable lens 20. That is, the camera body 10 has a camera mount 11, and the multi-lens interchangeable lens 20 (lens mount 22) is fixed (attached) to the camera mount 11 so that the camera body 10 is attached to the camera body 10.
  • the interchangeable eye lens 20 is attached.
  • a general interchangeable lens other than the multi-lens interchangeable lens 20 can be attached to and detached from the camera body 10.
  • the camera body 10 has a built-in image sensor 51.
  • the image sensor 51 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor that receives light collected by a multi-lens interchangeable lens 20 or other interchangeable lenses mounted on the camera body 10 (camera mount 11). The image is taken by performing photoelectric conversion.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image obtained by imaging the image sensor 51 is also referred to as an captured image.
  • the multi-lens interchangeable lens 20 has a lens barrel 21, a lens mount 22, and a feeding portion 23.
  • the feeding portion 23 is a movable portion configured to be movable with respect to the lens barrel 21 along the optical axis of the lens barrel 21.
  • Feeding unit 23 includes five single-eye lens as a plurality 31 0, 31 1, 31 2, 31 3, and 31 4.
  • the plurality of individual eye lenses 31 i are configured to be movable together with the feeding portion 23, and are arranged so that the emission positions of the imaging light emitted through each individual eye lens 31 i do not overlap with each other. Further, the feeding portion 23 has light sources 32L and 32R.
  • Light source 32L and 32R are movable along the optical axis of the feeding portion 23 and a plurality of single-eye lenses 31 i and the lens barrel 21 together, is irradiated to the image sensor 51 provided on the camera body 10 emitting position of the irradiation light is arranged so as not to overlap with the exit position of the respective imaging light of a plurality of single-eye lenses 31 i.
  • the lens mount 22 is fixed (attached) to the camera mount 11 of the camera body 10 when the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the feeding portion 23 has a substantially cylindrical shape, and is housed in a cylindrical lens barrel 21.
  • the feeding section 23, the barrel 21 across the optical axis in the optical axis direction (the lens barrel optical axis) (when viewed) is a five lenses as a plurality disposed so as not to overlap ommatidium lens 31 0, 31 1 , 31 2 , 31 3 and 31 4 are provided.
  • five single-eye lenses 31 0 to 31 4 the barrel perpendicular to the optical axis (parallel to the light receiving surface of the image sensor 51 (imaging surface)) on a two-dimensional plane, ommatidium lens 31 0 as center (centroid) to 1 other four ommatidium lens 31 31 4, in the form which is arranged to form the vertices of a square, it is provided in the feeding portion 23.
  • Ommatidium lens 31 0 to 31 4 when the multiview interchangeable lens 20 is attached to the camera body 10, to focus the light beam from the object to the image sensor 51 of the camera body 10.
  • the camera body 10 is a so-called single-plate camera having one image sensor 51, but the camera body 10 includes a plurality of image sensors, that is, for example, RGB (Red, Green, Blue). )
  • a so-called three-plate camera having three image sensors for each can be adopted.
  • the three-plate type camera, ommatidia lens 31 0 to 31 4 rays emitted utilizes an optical system such as a prism, it is focused on each of the three image sensors.
  • the number of image sensors such as a two-plate type is not limited to the three-plate type, and may be other than three.
  • each image sensor is not limited to one for each of RGB, and may be all monochrome, or all may be provided with a color filter such as a Bayer array.
  • the feeding section 23, the other five ommatidium lens 31 0 to 31 4, the two light sources 32L and 32R are provided a plurality.
  • the light sources 32L and 32R are provided at the right end and the left end positions of the extension portion 23 when the multi-lens interchangeable lens 20 is viewed from the front, respectively.
  • the light sources 32L and 32R are composed of, for example, an LED (Light Emitting Diode), a laser, or the like, and irradiate spot light from the front side (the side where the light beam is incident) to the back side of the multi-lens interchangeable lens 20.
  • LED Light Emitting Diode
  • laser or the like
  • the spot light emitted by the light sources 32L and 32R is received by the image sensor 51 of the camera body 10.
  • the feeding unit 23 as described above, the single-eye lens 31 0 to 31 4, the light source 32L and 32R are provided.
  • the feeding portion 23 is configured so that the inside of the cylindrical lens barrel 21 can be moved (sliding) in the optical axis direction of the lens barrel optical axis, whereby the inside of the lens barrel 21 is extended to the front side ( Can be retracted to the back side).
  • the multiview interchangeable lens 20 to ommatidium lens 31 0 no provided feeding section 23 and 31 4 and the light source 32L and 32R has a configuration for feeding integrally.
  • a spot light image which is an image of the spot light emitted by the light sources 32L and 32R, is reflected in the captured image captured by the image sensor 51, and the spot light image is the attachment of the multi-eye interchangeable lens 20 as described later. It can be used to find the error.
  • ommatidium lens 31 0 to 31 4 by being provided in the feeding section 23, feeding with feeding section 23, thereby, for example, focus adjustment for performing telephoto photography or macro photography, etc. It can be performed.
  • the light source 32L and 32R are, when provided in a portion other than the delivery portion 23 of the multi-ocular interchangeable lens 20, even when feeding ommatidium lens 31 0 to 31 4, the light source 32L and 32R are not fed. Then, such a light source 32L and 32R is to use a spot light image of the spot light to be irradiated, to ommatidia lens 31 0 it is difficult to accurately calculate the installation error that varies 31 4 feeding.
  • number region of the eye lens 31 0 to 31 4 ommatidium images corresponding to the image formed by light rays focused by each, to ommatidium lens 31 0 changes due to feeding of 31 4
  • the multiview interchangeable lens 20 although 5 ommatidium lens 31 0 to 31 4 are provided, the number of ommatidia lens provided in the multiview interchangeable lens 20 is limited to five It is not a thing, and any plurality of numbers of 2, 3, 6 or more can be adopted.
  • the plurality of individual lenses provided in the multi-lens interchangeable lens 20 can be arranged at the positions of the center and the apex of the square, and can be arranged at any position on the two-dimensional plane.
  • the plurality of individual lenses provided in the multi-lens interchangeable lens 20 a plurality of lenses having different focal lengths, F-numbers, and other specifications can be adopted. However, here, for the sake of simplicity, a plurality of lenses having the same specifications will be adopted.
  • the multi-lens interchangeable lens 20 is provided with two light sources 32L and 32R, but the number of light sources provided in the multi-lens interchangeable lens 20 is not limited to two and is necessary. Depending on the situation, any number of 1 or 3 or more can be adopted.
  • the two light sources 32L and 32R are the five individual eyes of the multi-lens interchangeable lens 20.
  • the light sources 32L and 32R are arranged on a line passing through the center of the circle when the feeding portion 23 is viewed from the front.
  • it is desirable that the light sources 32L and 32R are arranged as far apart as possible.
  • the five single-eye lenses 31 0 to 31 4, respectively as a plurality when multiview interchangeable lens 20 is attached to the camera body 10, ommatidium lens 31 i of the optical axis (number The optical axis) is arranged so as to be orthogonal to the light receiving surface of the image sensor 51.
  • the camera system 1 according multiview interchangeable lens 20 is attached to the camera body 10, in the image sensor 51, 31 0 5 ommatidium lens to 31 4 on the light receiving surface of the image sensor 51 by the light beam is focused by the respective The image corresponding to the image formed in is imaged.
  • the single captured image captured by the image sensor 51 is condensed by 5 ommatidium lens 31 0 to 31 4 5 ommatidium image for each (single-eye lenses 31 0 to 31 4, respectively
  • the image corresponding to the image formed by the light beam) is included.
  • Ommatidium image for single-eye lens 31 i is an image to viewpoint position ommatidium lens 31 i, thus, ommatidium lens 31 0 to 31 4 5 ommatidium image for each different viewpoint images Is.
  • the captured image includes a spot light image (an image formed by the spot light) which is an image corresponding to the spot light emitted by each of the two light sources 32L and 32R.
  • the camera system 1 of FIG. 1 is composed of a camera body 10 and a multi-lens interchangeable lens 20 that can be attached to and detached from the camera body 10.
  • the multi-lens interchangeable lens 20 is fixed to the camera body 10. It can also be applied to a camera system with a built-in lens, so to speak. That is, the present technology can be applied to, for example, a camera with an integrated lens.
  • one individual eye lens 31 i may be composed of one lens or a plurality of lenses arranged in the optical axis direction of the lens barrel optical axis.
  • a part or all of the processing of the area identification unit 52, the image processing unit 53, the position calculation unit 57, the spot light image detection unit 62, and the extension amount detection unit 64, which will be described later, of the camera body 10 is other than the camera body 10.
  • it can be performed on a server on the cloud, a playback-only device, or the like.
  • the focus can be adjusted and the zoom magnification can be adjusted.
  • the focus will be adjusted by the extension of the extension unit 23.
  • the surface on which the multi-lens interchangeable lens 20 is mounted that is, the surface on which the camera mount 11 is located is the front surface.
  • FIG. 2 is a block diagram showing an example of an electrical configuration of the camera system 1 of FIG.
  • the multi-lens interchangeable lens 20 has a storage unit 41, a communication unit 42, and a control unit 43.
  • the storage unit 41 stores lens information which is information about the multi-lens interchangeable lens 20.
  • the lens information includes individual difference reflection position information (known reference position).
  • the individual difference reflection position information is, for example, a known captured image in which a predetermined subject at a known distance captured by the (one) image sensor 51 when the multi-eye interchangeable lens 20 is attached to the camera body 10 is projected. This is position information regarding a position corresponding to a predetermined light beam on the individual eye image with respect to the upper individual lens 31 i .
  • the individual difference reflection position information is deviated by a different amount (from the design position) for each individual of the multi-lens interchangeable lens 20 due to a manufacturing error (manufacturing variation) at the time of manufacturing the multi-lens interchangeable lens 20.
  • the individual difference reflection position information includes, for example, an individual lens on a known captured image in which a predetermined subject at a known distance captured by the image sensor 51 is projected when the multi-eye interchangeable lens 20 is attached to the camera body 10. The position itself corresponding to a predetermined light beam on the individual eye image with respect to 31 i can be adopted.
  • the ommatidium image for single-eye lenses 31 i and that the position where the image of the light beam is formed through ommatidium lens 31 i of the optical axis (number eye axis) of the optical axis center position.
  • the optical axis of the individual eye should be parallel to the optical axis of the entire lens barrel 21 (optical axis of the lens barrel), or should be arranged at a constant distance, but there is a deviation.
  • the ommatidium image for single-eye lenses 31 i as a predetermined light, for example, units
  • a predetermined light for example, units
  • the individual ommatidium image with respect to single-eye lenses 31 i The difference reflection position information is the center position of the optical axis of the individual eye image.
  • the predetermined light beam is not limited to the light ray passing through the individual eye optical axis of the individual eye lens 31 i . That is, the predetermined light, for example, pieces from the eye lens 31 i of the individual eye axis through the position spaced apart a predetermined distance, it is possible to employ other light rays parallel to the individual eye axis.
  • the lens information includes individual difference reflection position information of the individual eye image with respect to the individual eye lens 31 i on the known captured image, and an individual relating to the position of the spot light image of each of the light sources 32L and 32R on the known captured image.
  • Difference spot light position information (known light position) is included.
  • the individual difference spot light position information the position itself of the spot light image of each of the light sources 32L and 32R on the known captured image can be adopted.
  • the individual difference spot light position information is position information including a manufacturing error different for each individual at the time of manufacturing the multi-lens interchangeable lens 20, similar to the individual difference reflecting position information.
  • a unique lens ID (Identification) is assigned to the multi-lens interchangeable lens 20, and the lens ID of the multi-lens interchangeable lens 20 can be adopted as the lens information stored in the storage unit 41. Further, in this case, the lens ID as the lens information and the individual difference reflection position information, the individual difference spot light position information, and the like as the lens information other than the lens ID of the multi-lens interchangeable lens 20 specified by the lens ID are obtained.
  • An associated database can be prepared. In this case, by searching the database using the lens ID as a keyword, it is possible to acquire individual difference reflection position information, individual difference spot light position information, and the like of the multi-lens interchangeable lens 20 associated with the lens ID.
  • the communication unit 42 communicates by wire or wirelessly with the communication unit 56 described later of the camera body 10.
  • the communication unit 42 can be used with a server on the Internet, a PC (Personal Computer) on a wired or wireless LAN (Local Area Network), or other external device by any communication method, if necessary. It is possible to communicate between them.
  • the communication unit 42 communicates with the camera body 10 when, for example, the multi-lens interchangeable lens 20 is attached to the camera body 10 or the power is turned on with the multi-lens interchangeable lens 20 attached to the camera body 10.
  • the lens information stored in the storage unit 41 is transmitted to the communication unit 56.
  • the communication unit 42 receives commands and other information transmitted from the communication unit 56 and supplies them to the control unit 43.
  • the control unit 43 controls the multi-lens interchangeable lens 20 such as adjusting the focus by extending (moving) the extension unit 23 according to the information from the communication unit 42.
  • the camera body 10 includes an image sensor 51, an area identification unit 52, an image processing unit 53, a display unit 54, a storage unit 55, a communication unit 56, a position calculation unit 57, a control unit 61, a spot light image detection unit 62, and a feeding amount information. It has a storage unit 63 and a feeding amount detecting unit 64.
  • the image sensor 51 is, for example, as described in FIG. 1, a CMOS image sensor, the light receiving surface of the image sensor 51, to no ommatidium lens 31 0 multiview interchangeable lens 20 which is attached to the camera body 10 31 4 A light beam focused by each of the light sources and a light beam as spot light emitted by the light sources 32L and 32R are irradiated.
  • the image sensor 51 light is focused by 2-31 4 each ommatidium lenses 31 0, and, by performing photoelectric conversion by receiving light as a spot light source 32L and 32R is irradiated, ommatidia lenses 31 0 to 31 4 pieces for each eye image (single-eye lenses 31 0 to 31 4 ommatidium images corresponding to the image formed by light rays focused by each), as well as light sources 32L and 32R spots each spot beam
  • An captured image including an optical image is captured and output.
  • the captured image (other captured image) output by the image sensor 51 is supplied to the region identification unit 52, the position calculation unit 57, and the spot light image detection unit 62.
  • the position calculation unit 57 In addition to supplying the captured image output by the image sensor 51 to the area specifying unit 52, the position calculation unit 57 reflects the mounting error as position information on the individual eye image included in the captured image output by the image sensor 51. Position information (unknown reference position) is supplied.
  • the mounting error represents a deviation in the mounting position (mounting position) of the multi-lens interchangeable lens 20 caused by the multi-lens interchangeable lens 20 being detachable from the camera body 10.
  • the mounting error may change each time the multi-lens interchangeable lens 20 is mounted, for example. Further, the mounting error may change, for example, when an impact is applied to the camera system 1 in which the multi-lens interchangeable lens 20 is mounted on the camera body 10.
  • Mounting error reflecting position information in addition to the mounting error, a positional information including a manufacturing error (positional information including a deviation of the emission position of the imaging beam emitted from due to a manufacturing error and mounting error ommatidium lens 31 i).
  • the optical axis center position on the individual eye image included in the known captured image is adopted.
  • the mounting error reflection position information is the light on the individual eye image included in the captured image (other captured image) obtained by capturing an arbitrary subject (whether or not the distance to the subject is known).
  • the axis center position can be adopted.
  • Area specifying unit 52 in response to mounting error reflecting position information from the position calculation unit 57, on the captured image from the image sensor 51, to ommatidium lens 31 0 identify areas ommatidium image with respect to 31 4 respectively, Outputs area-specific result information that represents a specific result for that area.
  • the region specifying unit 52 sets a rectangular region of a predetermined size centered (center of gravity) of the image captured from the image sensor 51, for example, the mounting error reflection position information of the captured image, as the region of the individual eye image. Identify.
  • the area identification unit 52 can output, for example, a set of the entire captured image and the area information representing the area of each individual eye image on the entire captured image as the area identification result information. Further, the area specifying unit 52 can extract (cut out) each individual eye image from the captured image and output each individual eye image as the area identification result information. Each individual eye image can be output as a set with the area information.
  • No ommatidium lens 31 0 output by the region specifying unit 52 to 31 4 pieces for each eye image are supplied to the image processing unit 53.
  • the image processing unit 53 can perform general image processing such as defect correction and noise reduction. Further, in the image processing unit 53, both the image stored (stored) in the storage unit 55 and the image only displayed as a so-called through image on the display unit 54 can be targeted for image processing.
  • the display unit 54 is composed of, for example, a liquid crystal panel, an organic EL (Electro Luminescence) panel, or the like, and is provided on the back surface of the camera body 10.
  • the display unit 54 displays, for example, a processing result image supplied from the image processing unit 53 as a through image.
  • a processing result image supplied from the image processing unit 53 as a through image.
  • the through image in addition to the processing result image, all or a part of the captured image captured by the image sensor 51 or an individual eye image extracted from the captured image can be displayed.
  • the display unit 54 can display information such as menus and settings of the camera body 10.
  • the storage unit 55 is composed of a memory card or the like (not shown), and stores, for example, a processing result image supplied from the image processing unit 53 in response to a user operation or the like.
  • the communication unit 56 communicates with the communication unit 42 of the multi-lens interchangeable lens 20 by wire or wirelessly.
  • the communication unit 56 can communicate with a server on the Internet, a PC on a wired or wireless LAN, or other external device by any other communication method, if necessary.
  • the communication unit 56 communicates with the communication unit 42 of the multi-lens interchangeable lens 20 to transmit the multi-lens exchange from the communication unit 42.
  • the lens information of the lens 20 is received and supplied to the position calculation unit 57 and the spot light image detection unit 62.
  • the communication unit 56 transmits, for example, information for designating the focus (position) from the control unit 61 to the communication unit 42.
  • the position calculation unit 57 has an optical axis on the individual eye image with respect to the individual eye lens 31 i included in the captured image supplied from the image sensor 51 according to the individual difference reflection position information included in the lens information from the communication unit 56.
  • the mounting error reflection position information which is the center position, is obtained and supplied to the area specifying unit 52.
  • the position calculation unit 57 obtains the mounting error reflection position information, which is the center position of the optical axis on the individual eye image included in the captured image supplied from the image sensor 51, and is included in the lens information. In addition to the difference reflection position information, the individual difference spot optical position information is used.
  • the control unit 61 controls the focus and the like according to the user's operation and the like for adjusting the focus. For example, the control unit 61 supplies information for designating the focus to the communication unit 56 in response to a user operation.
  • the spot light image detection unit 62 detects the incident range of the spot light emitted from the light sources 32L and 32R to the image sensor 51, and supplies the detection result to the feeding amount detection unit 64.
  • the spot light image detection unit 62 detects the spot light image on the captured image from the image sensor 51 according to the individual difference spot light position information included in the lens information from the communication unit 56. Further, the spot light image detection unit 62 detects (generates) spot light image information related to the spot light image such as the (spot) size and position (detection light image position) of the spot light image, and obtains the spot light image detection result. Output.
  • the spot light image information output by the spot light image detection unit 62 is supplied to the feeding amount detection unit 64, which is another part of the processing unit that performs processing according to the detection result of the spot light image detection unit 62.
  • the spot light image information includes information that directly represents the size and position of the spot light image on the captured image (for example, the size and position itself) and indirectly the size and position of the spot light image on the captured image.
  • the information to be represented for example, an image in which the spot light image is projected while maintaining the size and position of the spot light image on the captured image.
  • the payout amount information storage unit 63 stores the payout amount information.
  • the feeding amount information is information in which the feeding amount of the feeding unit 23 is associated with the spot light image information regarding the spot light image when the feeding unit 23 is fed by the feeding amount.
  • the payout amount information can be generated in advance and stored in the payout amount information storage unit 63. Further, the feeding amount information can be generated in advance, for example, before shipping from the multi-lens interchangeable lens 20 and the factory, and stored in the storage unit 41 as a part of the lens information.
  • the communication unit 56 acquires the lens information stored in the storage unit 41 by communicating with the communication unit 42. Then, the feeding amount information included in the lens information is supplied to the feeding amount information storage unit 63 and stored.
  • the feeding amount detection unit 64 detects the feeding amount of the feeding unit 23 associated with the spot light image information from the spot light image detecting unit 62 in the feeding amount information stored in the feeding amount information storage unit 63. It is supplied to the image processing unit 53.
  • FIG. 3 is a diagram illustrating an outline of imaging of a captured image performed by using the multi-lens interchangeable lens 20.
  • the individual eye image corresponding to the image formed by condensing the light rays in each individual eye lens 31 i and the light sources 32L and 32R are irradiated.
  • An captured image including a spot light image of the spot light is captured.
  • the direction from the back side to the front side of the camera body 10 is defined as the z direction (axis), and the z direction is defined as the z direction.
  • the x direction is from left to right when facing, and the y direction is from bottom to top.
  • the left and right of an object appearing in the image along with match the left and right of an object in the real space, and left and right position of the ommatidium lens 31 i, and the right and left on the captured image of the ommatidium image with respect to the single-eye lens 31 i
  • the position on the captured image and the position on the captured image are based on the z direction, that is, the state in which the subject to be imaged is facing the imaging direction from the back surface side of the camera body 10. , The position of the individual lens 31 i , the left and right of the subject, etc. are described.
  • the straight line or line segment connecting the individual eye optical axes of one individual lens 31 i and the other one individual lens 31 j (i ⁇ j) is also called a baseline, and the distance between the individual eye optical axes is defined as a baseline. , Also called the baseline length. Further, the angle representing the direction of the baseline is also referred to as a baseline angle.
  • the baseline angle for example, the angle formed by the x-axis and the baseline (the angle of the epipolar line) is adopted.
  • the feeding portion 23 is broadly meant to move the feeding portion 23 in the optical axis direction of the lens barrel optical axis. Therefore, the feeding of the feeding portion 23 includes both moving the feeding portion to the front side and moving to the back side.
  • the arrangement of the single-eye lens 31 0 to 31 4 and the light source 32L and 32R in the multiview interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20.
  • a in FIG. 4 is a rear view showing an example of arrangement of ommatidia lens 31 0 to 31 4 and the light source 32L and 32R in the multiview interchangeable lens 20.
  • ommatidia lens 31 0 to 31 4 as described in FIG. 1, in the two-dimensional plane parallel to the light receiving surface of the image sensor 51, around the ommatidia lens 31 0, the other 4 number of ommatidia lens 31 1 to 31 4 are arranged to form the vertices of a square.
  • ommatidium lens 31 1 is disposed in the upper right of the ommatidium lens 31
  • ommatidium lens 31 2 is disposed on the upper left of the ommatidium lens 31 0.
  • ommatidia lens 31 3 is disposed on the lower left of the ommatidium lens 31
  • ommatidium lens 31 4 is disposed on the lower right of the ommatidium lens 31 0.
  • the light source 32L is arranged at the left end position of the multi-lens interchangeable lens 20 having a substantially circular plane, and the light source 32R is located at the center (center) of the multi-lens interchangeable lens 20 having a substantially circular plane. On the other hand, it is arranged at the right end position on the opposite side of the light source 32L.
  • the light sources 32L and 32R can be arranged at arbitrary different positions of the multi-lens interchangeable lens 20 (feeding portion 23).
  • the spot light images PL and PR of the spot light irradiated by the light sources 32L and 32R on the captured image captured by the image sensor 51 are outside the region of the individual eye image included in the captured image. It can be arranged so as to be located (outside the range where the light passing through the individual lens 31 i is irradiated). In this case, it is possible to prevent the spot light images PL and PR from appearing overlapping on the individual eye image and deteriorating the image quality of the individual eye image.
  • FIG. 4 is imaged by the image sensor 51 of the camera body 10 ommatidia lens 31 0 to 31 4 and the light source 32L and the multiview interchangeable lens 20 32R are arranged as shown in A in FIG. 4 is attached It is a figure which shows the example of the captured image.
  • the captured image captured by the image sensor 51 of the single-eye lens 31 0 to 31 4 and the camera body 10 to the multiview interchangeable lens 20 having a light source 32L and 32R are mounted, to ommatidium lens 31 0 31 4 by the respective
  • the individual eye images E0, E1, E2, E3, E4 corresponding to the images formed by the focused light rays, and the spot light images PL and PR of the spot lights of the light sources 32L and 32R, respectively, are included.
  • the region specifying unit 52 refers to the individual eye lens 31 for each individual eye lens 31 i based on the optical axis center position which is the mounting error reflection position information of each individual eye image E # i obtained by the position calculation unit 57.
  • a rectangular region of a predetermined size centered on the optical axis center position which is the mounting error reflection position information of the individual eye image E # i, is individually inserted. Specify as the area of the eye image E # i.
  • the individual eye image E # i with respect to the individual eye lens 31 i is an image obtained by taking an image from the position of the individual eye lens 31 i using an independent camera or an independent image sensor, that is, an individual.
  • the image is similar to the image obtained by imaging with the position of the eye lens 31 i as the viewpoint.
  • parallax may occur between any two ommatidium image E # i and E # j of of from ommatidium images E0 for 2-31 4 each ommatidium lenses 31 0 E4. That is, the same subject reflected in the individual eye images E # i and E # j is projected at a position shifted according to the parallax.
  • FIG. 5 is a diagram for explaining an attachment error when the multi-lens interchangeable lens 20 is attached (attached) to the camera body 10.
  • FIG. 5 shows an example of an captured image captured by the camera system 1 in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the attachment positions of the multi-lens interchangeable lens 20 with respect to the light receiving surface of the image sensor 51 of the camera body 10 are mainly in the horizontal direction (x direction) and the vertical direction (y direction). , And, in particular, in the direction of rotation.
  • the mounting position of the multi-lens interchangeable lens 20 shifts by an amount different for each individual due to a manufacturing error.
  • the mounting position of the multi-lens interchangeable lens 20 is when the multi-lens interchangeable lens 20 is used, when the multi-lens interchangeable lens 20 is attached to the camera body 10, or when the multi-lens interchangeable lens 20 is attached to the camera body 10. It changes when a shock is applied to the lens.
  • the error of the actual mounting position with respect to a predetermined mounting position such as the design mounting position of the multi-lens interchangeable lens 20 is referred to as a mounting error.
  • the mounting error based on the design mounting position is caused by manufacturing variations and the like, and impacts when the multi-lens interchangeable lens 20 is attached to the camera body 10 or the camera system 1 in which the multi-lens interchangeable lens 20 is attached to the camera body 10. It changes when is added.
  • the mounting error is an error in the actual mounting position of the multi-lens interchangeable lens 20, and appropriately includes a manufacturing error and a mounting error.
  • the mounting error includes both a manufacturing error and a mounting error.
  • the mounting error does not include the manufacturing error but includes the mounting error.
  • the individual eye image E # i is an image similar to the image obtained by imaging with the position of the individual eye lens 31 i as the viewpoint, and therefore, the individual eye images E0 to E4 are the viewpoints. It is a different image of.
  • ommatidium images E0 is different images viewpoints with E4, for example, the case of obtaining the disparity information, the ommatidium lens 31 0 to 31 4, it is necessary to base line length and the baseline angle explained in Fig.
  • Ommatidium lens 31 0 to 31 4 are fixed to the multiview interchangeable lens 20, the base length is a fixed value that does not vary by the mounting error, advance measured after preparation of the multiview interchangeable lens 20 be able to.
  • the baseline angle changes due to the mounting error (mounting error) in the rotation direction of the multi-lens interchangeable lens 20. Therefore, in order to obtain accurate parallax information using the individual eye images E0 to E4, it is necessary to deal with the mounting error in the rotation direction.
  • the attachment error in the horizontal direction and the vertical direction does not pose a problem when the image distortion caused by the lens aberration of the individual eye lens 31 i is small, and may be ignored in some cases.
  • the optical axis center position of the individual eye image E # i should be accurately corrected in order to perform appropriate distortion correction. You need to figure it out. In order to accurately grasp the optical axis center position of the individual eye image E # i, it is necessary to grasp the mounting error (mounting error) in the horizontal and vertical directions.
  • the optical axis center positions (coordinates) of the individual eye images E0 to E4 are set to (x0, y0), (x1, y1), It shall be expressed as (x2, y2), (x3, y3), (x4, y4).
  • pieces of the eye lens 31 0 to 31 4 the ommatidium images E0 for the ommatidium lens 31 0 located in the center (center), also called the central image E0, 2-31 1 ommatidium lens located around 31
  • the individual eye images E1 to E4 with respect to 4 are also referred to as peripheral images E1 to E4.
  • One individual eye image of the individual image E0 to E4 that is, the relative optical axis center position of each of the peripheral images E1 to E4 with reference to, for example, the central image E0 (hereinafter, also referred to as the relative optical axis center position).
  • (Dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4) can be obtained according to equation (1).
  • Relative optical axis center positions (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4) use the optical axis center position (x0, y0) of the central image E0 as the origin of the xy coordinate system. It is equal to the optical axis center position (x1, y1), (x2, y2), (x3, y3), (x4, y4) of the peripheral images E1 to E4.
  • the baseline angle (tan -1 (((()) that represents the direction of the baseline L0 # i that connects the optical axis center position (x0, y0) of E0 and the optical axis center position (x # i, y # i) of the peripheral image E # i. y # i-y0) / (x # i-x0)) tan -1 (dy # i / dx # i)) can be obtained.
  • the relative optical axis center position (dx # i, dy # i) can be obtained, the baseline angle representing the direction of the baseline L0 # i at that time can be obtained, and the rotation direction can be obtained using the baseline angle. It is possible to obtain accurate parallax information that is not affected by the mounting error of.
  • the optical axis center positions (x0, y0) to (x4, y4) of the individual eye images E0 to E4 on the known captured image showing a predetermined subject at a known distance captured by the image sensor 51 That is, when the origin is the optical axis center position (x0, y0) of the central image E0, the relative optical axis center positions (dx1, dy1) to (dx4, dy4) of the individual eye images E1 to E4 are individually set. Obtain it as the difference reflection position information.
  • the captured image is captured by using the individual difference reflection position information ((x0, y0) to (x4, y4) or (dx1, dy1) to (dx4, dy4)) and the captured image.
  • the optical axis center position (x0', y0') to (x4', y4') of each of the individual eye images E0 to E4 on the captured image that is, the optical axis center position (x0', y0') of the central image E0.
  • the relative optical axis center positions (dx1', dy1') or (dx4', dy4') of each of the individual eye images E1 to E4 are obtained as the mounting error reflection position information.
  • the captured image can be captured.
  • the baseline angle can be obtained, and the baseline angle can be used to obtain accurate parallax information that is not affected by the mounting error in the rotation direction.
  • the position calculation unit 57 in FIG. 2 uses the relative optical axis center positions (dx1, dy1) to (dx4, dy4) as the individual difference reflection position information, and the individual eye image E1 on the captured image as the mounting error reflection position information. Or E4 Find the relative optical axis center position (dx1', dy1') or (dx4', dy4') for each.
  • FIG. 6 is a diagram for explaining a calculation method for obtaining the relative optical axis center position (dx1', dy1') to (dx4', dy4') as mounting error reflection position information.
  • the xy coordinate system whose origin is the optical axis center position (x0, y0) of the central image E0 will be adopted.
  • the relative optical axis center positions (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4) and the optical axis center positions (x1, y1), (x2) , Y2), (x3, y3), (x4, y4) are equal.
  • a of FIG. 6 shows an example of a known captured image in which a predetermined subject is captured in the camera system 1 in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the subject reflected in the known captured image is, for example, a chart image on which a predetermined chart such as a circle divided into four equal parts by a line segment passing through the center of the circle is drawn.
  • the chart image is captured by placing the position of the known distance on the number eye axis ommatidium lens 31 0. Therefore, the known captured image is an image obtained by capturing a chart image on which a predetermined chart is drawn at a known distance.
  • the chart image is displayed.
  • a chart image is displayed on the peripheral image E # i as in the central image E0.
  • the position of the circle as a chart deviates from the position of the circle as a chart reflected in the central image E0 according to the parallax with the central image E0.
  • the parallax between the peripheral image E # i and the central image E0 is the known distance and the individual lens 31 i when the known captured image is captured. it can be obtained from the baseline length and the baseline angle between the ommatidium lens 31 0.
  • the optical axis center position (x # i, y # i) of the peripheral image E # i has moved from the center of the circle as a chart reflected in the peripheral image E # i according to the parallax with the central image E0. Since it is a position, it can be obtained from the position of the center of the circle as a chart reflected in the peripheral image E # i and the parallax between the central image E0.
  • the optical axis center position (x0, y0) can be obtained by detecting the position of the center of the circle as a chart from the central image E0.
  • the optical axis center position (x0, y0) of the central image E0 on the known captured image and the optical axis center position (x1, y1) to (x4) of the peripheral images E1 to E4. , Y4) can be obtained.
  • Individual difference reflection position information which is the optical axis center position (x0, y0) of the central image E0 on the known captured image, and the individual which is the optical axis center position (x # i, y # i) of the peripheral image E # i.
  • the individual difference reflection relative position information which is the relative individual difference reflection position information of the peripheral image E # i based on the individual difference reflection position information (x0, y0) of the central image E0.
  • the relative optical axis center position (dx # i, dy # i) can be obtained, and the relative optical axis center position (dx # i, dy # i) as the individual difference reflection relative position information can be used as the lens information.
  • the individual difference reflection position information (x # i, y # i) is also referred to as the individual difference reflection absolute position information.
  • individual difference reflection relative position information relative optical axis center position
  • individual difference reflection absolute position Information optical axis center position
  • the individual difference reflection relative position information (dx # i, dy # i) can be obtained from the individual difference reflection absolute position information (x # i, y # i) according to equation (1), and the individual difference reflection absolute position information (dx # i, y # i) can be obtained. This is because the information is (almost) equivalent to x # i, y # i).
  • the individual difference reflection relative position information (dx # i, dy # i) (or individual)
  • individual difference spot light position information (X) which is the position of the spot light images PL and PR of the light sources 32L and 32R on the known captured image, respectively.
  • L , Y L ) and (X R , Y R ) are calculated in advance.
  • the position of the center of gravity of the spot light image PL on the known captured image can be adopted as the individual difference spot light position information (X L , Y L ) of the spot light image PL.
  • the position of the center of gravity of the spot light image PR on the known captured image can be adopted as the individual difference spot light position information (X R , Y R ) of the spot light image PR.
  • Individual differences spot light position information (X L, Y L) and (X R, Y R) for its individual difference spot light position information (X L, Y L) and (X R, Y R) midpoint of ( X C , Y C ) is obtained, and the individual difference spot light position information (X L , Y L ) and (X R , Y R ) and the midpoint (X C , Y C ) are used as lens information in FIG. It is stored in the storage unit 41.
  • the individual difference spot light position information (X L , Y L ) and the midpoint (X C , Y C ) of (X R , Y R ) can be excluded from the lens information.
  • the midpoints (X C , Y C ) of the individual difference spot light position information (X L , Y L ) and (X R , Y R ) are the individual difference spot light position information (X L , Y L ) and (X L , Y L ). This is because it can be obtained from R , Y R ).
  • the relative optical axis center position (hereinafter, also simply referred to as the optical axis center position) as the individual difference reflection relative position information (hereinafter, also simply referred to as individual difference reflection position information) (dx # i, dy).
  • (Relative) optical axis center position (dx1) as mounting error reflection position information on unknown captured image according to #i) and individual difference spot optical position information (X L , Y L ) and (X R , Y R ) ', dy1') or (dx4', dy4') is required.
  • FIG. 6 shows an example of an unknown captured image captured by the camera system 1 in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the unknown captured image is captured by the camera system 1 in which the multi-lens interchangeable lens 20 is attached to the camera body 10 without restrictions (constraints such as the distance of the subject being known) as in the case of capturing a known captured image. It is an image.
  • a mounting error (mounting error) in the rotation direction different from that when capturing a known captured image may occur.
  • Optical axis center position (dx # i', dy # i') (x # i', y # i')-(x0', y0').
  • the mounting error spot light position information is position information including a manufacturing error and a mounting error of the multi-lens interchangeable lens 20 as well as the mounting error reflecting position information.
  • the mounting error spot light position information the positions of the spot light images PL and PR of the spot lights of the light sources 32L and 32R on the unknown captured image can be adopted.
  • the positions of the spot light images PL and PR of the light sources 32L and 32R on the unknown captured image are expressed as (X L ', Y L ') and (X R ', Y R '), respectively. And.
  • the mounting error spot light position information (X L ', Y L ') and (X R ', Y R ') are the individual difference spot light position information (X L ,) from the spot light images PL and PR on the unknown captured image. It can be calculated in the same way as Y L ) and (X R , Y R ).
  • the midpoint of the mounting error spot light position information (X L ', Y L ') and (X R ', Y R ') is expressed as (X C ', Y C ').
  • the relative rotation error which is the installation error in the rotation direction when the unknown captured image is imaged
  • ⁇ Error based on the installation error in the rotation direction when the known image is imaged
  • the error ⁇ Error is the individual difference spot light position information (X L , Y L ) and (X R , Y R ) included in the lens information, and the mounting error spot light position information (X L ') obtained from the unknown captured image. , Y L ') and (X R ', Y R '), and can be obtained according to Eq. (2).
  • the rotation error ⁇ is for each of the two light source pairs obtained from the three or more light sources according to the equation (2).
  • the error can be obtained, and the average value of the rotation error ⁇ Error obtained for each pair can be adopted as the final rotation error ⁇ Error .
  • Relative rotation error ⁇ Error is the mounting error spot light position information (X L ', Y L ') (or (X R ', Y R ')) and individual difference spot light position information (X L , Y L ).
  • the rotation angle between (or (X R , Y R )), and the optical axis center position (dx # i, dy # i) as the relative position information reflecting individual differences, is relative according to equation (3).
  • the optical axis center positions (dx1', dy1') to (dx4', dy4') of the individual eye images E1 to E4 on the unknown captured image as the mounting error reflection position information are expressed by equations (2) and (3).
  • the mounting error of the spot light images PL and PR of the light sources 32L and 32R on the unknown captured image, and the spot light position information (X L ', Y L ') and (X R ', Y R ') Individual difference of spot light images PL and PR of light sources 32L and 32R on known captured images Find the amount of parallel movement between spot light position information (X L , Y L ) and (X R , Y R ). Therefore, the mounting error in the horizontal direction and the vertical direction can be obtained.
  • the horizontal mounting error X Error and the vertical mounting error Y Error can be obtained, for example, according to the equation (4).
  • the amount of parallel movement between the, Y R and the midpoint (X C , Y C ) is calculated as the horizontal mounting error X Error and the vertical mounting error Y Error , but the horizontal mounting error X Error.
  • the vertical mounting error Y Error includes, for example, the parallel movement between the mounting error spot light position information (X L ', Y L ') and the individual difference spot light position information (X L , Y L ). It is possible to obtain the amount and the amount of parallel movement between the mounting error spot light position information (X R ', Y R ') and the individual difference spot light position information (X R , Y R ).
  • the individual difference reflection position information acquisition process can be performed by the camera body 10 or a computer described later.
  • a device that performs acquisition processing such as individual difference reflection position information will be referred to as an acquisition processing device.
  • the chart image as predetermined subject placed at a position a known distance on the number eye axis ommatidium lens 31 0, the camera system 1 fitted with a multi-ocular interchangeable lens 20 to the camera body 10 Acquire the captured known captured image.
  • the acquisition processing device obtains a predetermined point of the chart image as a predetermined subject reflected in each individual eye image E # i included in the known captured image, for example, the position of the center of the circle as the chart.
  • the acquisition processing device uses the distance to the chart image as the subject and the baseline length and baseline angle of the multi-lens interchangeable lens 20 for each of the individual eye images (peripheral images) E1 to E4.
  • the difference between the center of the circle as a predetermined point of the chart image as the subject reflected in the image and the center of the circle as the predetermined point of the chart image as the subject reflected in the individual eye image (center image) E0 is obtained.
  • the acquisition processing device sets the position of the center of the circle for each of the individual eye images E1 to E4 according to the difference in the center of the circle as a predetermined point of the chart image as the subject reflected in the individual eye image E # i.
  • the optical axis center position (position on the known captured image) (x # i, y # i) of the individual eye image E # i at the position moved from is the absolute position information reflecting the individual difference of the individual eye image E # i. Calculate as (x # i, y # i).
  • the acquisition processing device uses the individual difference reflection absolute position information (x # i, y # i), and for each of the individual eye images E1 to E4, the individual difference reflection absolute position of the individual eye image E0 according to the equation (1).
  • the acquisition processing device sets the positions of the centers of gravity of the spot lights PL and PR of the spot lights of the light sources 32L and 32R on the known captured image by the individual difference spot light position information (X L , Y L ) and (X R ). , Y R ).
  • the individual difference reflection relative position information (dx # i, dy # i) and the individual difference spot light position information (X) are used in the camera body 10.
  • L , Y L ) and (X R , Y R ) the relative optical axis center positions (dx1', dy1') or E4 of the individual eye images E1 to E4 on the unknown captured image as the mounting error reflection position information
  • the mounting error reflection position information calculation process for obtaining (dx4', dy4'), etc. is performed.
  • the communication unit 56 communicates with the communication unit 42 of the multi-lens interchangeable lens 20 and is transmitted from the communication unit 42.
  • the lens information of the incoming multi-lens interchangeable lens 20 is received and supplied to the position calculation unit 57.
  • the position calculation unit 57 acquires the lens information supplied from the communication unit 56 as described above.
  • the position calculation unit 57 waits for an unknown captured image, which is an captured image showing an arbitrary subject, to be captured, and acquires the unknown captured image. That is, the position calculation unit 57 acquires the captured image captured by the image sensor 51 as an unknown captured image in the camera system 1 in which the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the position calculation unit 57 detects the spot light images PL and PR of the spot lights of the light sources 32L and 32R included in the unknown captured image, and further, the positions of the spot light images PL and PR (detection light image positions), for example.
  • the position of the center of gravity is detected as mounting error spot light position information (X L ', Y L ') and (X R ', Y R ').
  • the position calculation unit 57 is a part of the processing unit that performs processing according to the detection results of the spot light images PL and PR, and the mounting error spot light position information (X L) as the detection result of the spot light images PL and PR.
  • the position of the captured individual eye image which is the position of the individual eye image in the unknown captured image, is specified according to', Y L ') and (X R ', Y R ').
  • the position calculation unit 57 includes mounting error spot light position information (X L ', Y L ') (or (X R ', Y R ')) (detection light image position) and individual differences included in the lens information.
  • Spot light position information (X L , Y L ) (or (X R , Y R )) spot light image of spot light of light sources 32L and 32R irradiated to the image sensor 51
  • Memory light image showing the positions of PL and PR The position of the captured individual eye image is specified (calculated) based on the (position) relationship with the (position).
  • the position calculation unit 57 includes mounting error spot light position information (X L ', Y L ') (or (X R ', Y R ')) (detection light image position) and individual differences included in the lens information. Based on the (position) relationship with the spot light position information (X L , Y L ) (or (X R , Y R )) (memory light image position), as the individual difference reflection relative position information included in the lens information. By correcting the relative optical axis center position (dx # i, dy # i) (memory individual eye image position indicating the emission position of each imaging light emitted from the plurality of individual eye lenses 31 i in the image sensor 51).
  • the position of the captured individual eye image that is, the (relative) optical axis center position (dx # i', dy # i') as the mounting error reflection position information of each of the individual eye images E1 to E4 included in the unknown captured image is specified. To do.
  • the position calculation unit 57 includes mounting error spot light position information (X L ', Y L ') (or (X R ', Y R ')) and individual difference spots included in the lens information.
  • the rotation angle between the optical position information (X L , Y L ) (or (X R , Y R )) is calculated, and the (relative) rotation error is calculated as ⁇ Error .
  • the position calculation unit 57 uses the direction of the line segment connecting the individual difference spot light position information (X L , Y L ) and (X R , Y R ) included in the lens information as a reference according to the equation (2).
  • the relative angle representing the direction of the line segment connecting the mounting error spot light position information (X L ', Y L ') and (X R ', Y R ') is calculated as the rotation error as ⁇ Error .
  • the position calculation unit 57 determines the relative optical axis center position (dx # i) as the individual difference reflection relative position information included in the lens information according to the rotation error ⁇ Error obtained according to the equation (2) according to the equation (3). , dy # i) causes a rotation error ⁇ Error. (Relative) optical axis center position (dx #) as mounting error reflection position information for each of the individual eye images E1 to E4 included in the unknown captured image. Find i', dy # i').
  • the position calculation unit 57 includes individual difference spot light position information (X L , Y L ) or (X R , Y R ) included in the lens information, and light sources 32 L and 32 R on the unknown captured image, if necessary.
  • Spot light image PL and PR mounting error The amount of translation between the spot light position information (X L ', Y L ') or (X R ', Y R ') is the lateral mounting error X Error and Obtained as the vertical mounting error Y Error .
  • the position calculation unit 57 is attached to the midpoints (X C , Y C ) of the individual difference spot light position information (X L , Y L ) and (X R , Y R ) according to, for example, the equation (4).
  • the amount of translation of the midpoint (X C ', Y C ') of the spot light position information (X L ', Y L ') and (X R ', Y R ') is determined by the lateral mounting error X Error and Obtained as the vertical mounting error Y Error .
  • the area specifying unit 52 is relative to each of the individual eye images E1 to E4 on the unknown captured image as the mounting error reflecting position information obtained by the mounting error reflecting position information calculation process as described above.
  • the optical axis center position (dx1', dy1') to (dx4', dy4'), etc. it is possible to perform region identification processing for identifying the region of each individual eye image E # i on the unknown captured image.
  • the area identification unit 52 uses the relative optical axis center position (dx # i') as the mounting error reflection position information of the individual eye images E1 to E4 included in the unknown captured image supplied from the position calculation unit 57. , Dy # i') get.
  • the region specifying unit 52 identifies the regions of the individual eye images E1 to E4 on the unknown captured image according to the optical axis center position (dx # i', dy # i') as the mounting error reflection position information. .. That is, the area specifying unit 52, for example, in the xy coordinate system when obtaining the individual difference reflection relative position information (dx # i, dy # i), the mounting error reflection position information (dx # i',) on the unknown captured image.
  • the region specifying unit 52 identifies a rectangular region having a predetermined size centered on the origin on the unknown captured image as a region of the individual eye image E0.
  • the area identification unit 52 extracts each of the individual eye images E0 to E4 from the captured image and outputs the area identification result information.
  • the optical axis center position (dx # i',) of the individual eye image E # i on the unknown captured image as the mounting error reflection position information on the individual eye image E # i, dy # i') is required.
  • an image of a plurality of viewpoints that is, an individual eye image E # i with the position of the individual eye lens 31 i as a viewpoint can be easily obtained from the unknown photographed image.
  • the baseline angle (tan -1 (dy # i / dx) indicating the direction of the baseline L0 # i (Fig. 5) from the optical axis center position (dx # i', dy # i') as mounting error reflection position information # i)) can be obtained, and the baseline angle can be used to obtain accurate parallax information that is not affected by the mounting error in the rotation direction of the multi-lens interchangeable lens 20.
  • the xy coordinate system with the optical axis center position (x0, y0) of the individual eye image E0 on the known captured image as the origin is adopted, and the horizontal mounting error X Error and the vertical mounting error are adopted. It is assumed that Y Error is 0.
  • the optical axis center position which is the mounting error reflection position information (x0', y0') of the individual eye image E0, is the origin, and the region of the individual eye image E0 is centered on the origin. Become an area.
  • the optical axis center position of the individual eye image E0 is the horizontal mounting error X Error and the vertical mounting in the unknown image. It deviates from the origin by the amount of error Y Error .
  • the center position of the optical axis which is the mounting error reflection position information (x0', y0') of the individual image E0
  • the optical axis center position which is the actual mounting error reflection position information (x0', y0')
  • the optical axis center position which is the actual mounting error reflection position information (x0', y0')
  • the optical axis center position is deviated from the origin, so the individual eye image E0 on the unknown captured image
  • a rectangular region of a predetermined size centered on a position deviated from the actual center position of the optical axis of is specified as a region of the individual eye image E0.
  • each of the other individual eye images E1 to E4 is also centered on a position deviated from the optical axis center position (x # i', y # i') of the individual eye image E # i on the unknown captured image.
  • a rectangular area of a predetermined size is specified as an area of the individual eye image E # i.
  • the optical axis center position (x #) of the individual image E # i on the unknown captured image is obtained for each of the individual images E0 to E4.
  • a rectangular region of a predetermined size centered on a position deviated from i', y # i') by the same translation amount is specified as the region of the individual eye image E # i.
  • the base angle of time (tan -1 (dy # i / dx # i)) is the center position of the optical axis (dx # i',) as relative mounting error reflection position information based on the position of the individual eye image E0. Obtained from dy # i').
  • the same baseline angle as when the horizontal mounting error X Error and the vertical mounting error Y Error are 0 is obtained. be able to. Then, using the baseline angle, accurate parallax information that is not affected by the mounting error of the multi-lens interchangeable lens 20 can be obtained from the individual eye image E # i in which the region on the unknown captured image is specified.
  • the individual difference reflection position information and the individual difference spot light position information are obtained for each of the multi-eye interchangeable lenses 20 and stored in the lens information, but the individual difference reflection position information is stored.
  • the individual difference spot light position information a common value can be adopted for each model of the multi-lens interchangeable lens 20.
  • individual difference reflection relative position information (dx # i, dy # i) and individual difference for each model are adopted.
  • the camera body 10 can be a model of the multi-lens interchangeable lens 20. If it can be recognized, the rotation error ⁇ Error in Eq. (2) and the optical axis center position (dx # i', dy # i') as the mounting error reflection position information in Eq. (3) can be obtained. ..
  • FIG. 7 is a block diagram showing a configuration example of the image processing unit 53 of FIG.
  • FIG. 7 shows a configuration example of a portion of the image processing unit 53 that performs image processing for obtaining parallax information, for example.
  • the image processing unit 53 includes a calibration data generation unit 101, a calibration data storage unit 102, an interpolation unit 103, and a parallax information generation unit 104.
  • Disparity information determined using the ommatidium image is affected by such a position and lens distortion ommatidium lens 31 i. Therefore, in order to remove the influence of the position of the individual eye lens 31 i and the lens distortion, the image processing unit 53 performs calibration to generate parameters related to the position of the individual eye lens 31 i and the lens distortion as calibration data. ..
  • calibration data is obtained from a calibration image which is an individual eye image on an captured image obtained by imaging a plane chart for calibration which is a known subject (hereinafter, also referred to as a calibration chart). Will be generated.
  • the focus position of the camera system 1 is controlled to a predetermined distance (position), and the calibration chart installed at the focus position is imaged. Then, using the calibration image which is an individual eye image obtained by imaging the calibration chart, the calibration data for the focus position of the camera system 1 whose focus position is controlled to a predetermined distance is generated.
  • the calibration data generated as described above is the calibration data for the focus position of the camera system 1 when the calibration chart is imaged. Therefore, for example, when the focus position when an image of a general subject is different from the focus position when an image of a calibration chart is different, the parallax information using an individual eye image reflected in the image taken by an image of a general subject is used. If the calculation is performed using the calibration data for the focus position of the camera system 1 when the calibration chart is imaged, the accuracy of the disparity information is lowered.
  • the image processing unit 53 can obtain highly accurate parallax information by interpolating the calibration data.
  • the calibration data generation unit 101 uses the individual eye image supplied from the area identification unit 52 to generate calibration data for each of the plurality of extension amounts from the extension amount detection unit 64, and supplies the calibration data to the calibration data storage unit 102. To do.
  • the calibration data generation unit 101 serves as a calibration image of the plurality of focus positions obtained by imaging the calibration charts of the plurality of focus positions corresponding to the plurality of extension amounts of the extension unit 23.
  • Calibration data for a plurality of feeding amounts corresponding to a plurality of focus positions is generated from the individual eye image and supplied to the calibration data storage unit 102.
  • the calibration data storage unit 102 stores calibration data for a plurality of feeding amounts supplied from the calibration data generation unit 101.
  • the interpolation unit 103 refers to the extension amount of the extension amount supplied from the extension amount detection unit 64 when imaging a general subject (subject other than the calibration chart) (hereinafter, also referred to as general imaging).
  • the calibration data is generated by interpolation or the like using the calibration data for the plurality of feeding amounts stored in the calibration data storage unit 102, and is supplied to the parallax information generation unit 104.
  • the parallax information generation unit 104 combines the calibration data from the interpolation unit 103 and the individual eye image on the image captured by general imaging (hereinafter, also referred to as general image) supplied from the area identification unit 52. Is used to generate parallax information.
  • the general captured image is equivalent to the unknown captured image.
  • the camera system 1 having the image processing unit 53 as described above for example, it is possible to simultaneously acquire an RGB image as an individual eye image and parallax information as Depth information having the same image quality as that of a general single-lens camera. It becomes.
  • the parallax information includes, for example, refocusing that generates (reconstructs) an image that focuses on an arbitrary subject, generation of an obstacle removal image that removes obstacles for a desired subject desired by the user, and arbitrary characteristics. It can be used for image processing such as lens emulation that emulates a lens, and composition that considers depth for CG and live-action photography.
  • the operation mode of the camera system 1 is set to the calibration mode for calibration, and the calibration is performed at the manufacturing factory of the camera system 1.
  • the focus of the multi-lens interchangeable lens 20 is controlled to a focus position (hereinafter, also referred to as a reference focus position) for generating calibration data, and a calibration chart is installed at the reference focus position for imaging. Will be done.
  • the calibration data generation unit 101 draws out the extension unit 23 corresponding to the reference focus position from the calibration image obtained by imaging the calibration chart (hereinafter, also referred to as the reference extension amount).
  • the calibration data for the above is generated and stored in the calibration data storage unit 102.
  • the calibration is performed on a plurality of reference focus positions, whereby calibration data for a plurality of reference feed amounts corresponding to the plurality of reference focus positions is generated.
  • the operation mode of the camera system 1 is set to the general imaging mode for performing general imaging.
  • the extension amount (hereinafter, also referred to as the imaging extension amount) of the extension unit 23 corresponding to the focus position (hereinafter, also referred to as the imaging focus position) when the general image is captured is the extension amount detection unit 64. Is supplied to the interpolation unit 103.
  • the interpolation unit 103 uses the calibration data for the plurality of reference extension amounts stored in the calibration data storage unit 102 corresponding to the plurality of reference focus positions to obtain the calibration data for the imaging extension amount corresponding to the imaging focus position. It is generated by interpolation and supplied to the parallax information generation unit 104. If there is calibration data for all positions, no interpolation is required.
  • the parallax information generation unit 104 uses the calibration data for the imaging extension amount from the interpolation unit 103, and the parallax information is obtained from the individual eye image on the general captured image captured in a state where the extension unit 23 is extended by the imaging extension amount. To generate. As a result, accurate parallax information in which the influence of lens distortion and the like is suppressed is generated.
  • FIG. 8 is a diagram illustrating calibration performed by the camera system 1.
  • the position P at a predetermined distance Z mm from the camera system 1 is set as the reference focus position P
  • the calibration chart is set at the reference focus position P
  • the calibration chart is imaged by the camera system 1.
  • the calibration chart shown in FIG. 8 is, for example, a subject on which a grid pattern is drawn, but as the calibration chart, any subject whose positional relationship and the like are known can be adopted.
  • the calibration data for the extension amount P corresponding to the reference focus position P is generated from the calibration image obtained by imaging the calibration chart of the reference focus position P.
  • ommatidium lens 31 i i.e., true position to the subject is reflected in the calibration image (lens distortion, etc.
  • the position where the subject should be projected in the absence of the lens) and the position where the subject is actually projected in the calibration image are displaced.
  • the calibration image is an individual eye image on the captured image obtained by placing the calibration chart, which is a known subject, at the focus position P, which is a known position, and performing imaging
  • the calibration image is described in the calibration image.
  • the true position where the subject should be projected that is, the true position where each part (for example, a grid point) of the calibration chart should be projected can be obtained in advance by calculation.
  • the actual position where the subject is reflected can be obtained from the calibration image.
  • the calibration data generation unit 101 the actual position where the subject (for example, the grid points of the calibration chart) is reflected can be obtained from the calibration image. Then, the calibration data generation unit 101 generates information regarding the positional deviation between the actual position where the subject is projected and the true position where the subject should be projected, which can be obtained in advance by calculation, as calibration data.
  • FIG. 9 is a diagram illustrating the generation of calibration data for a plurality of feeding amounts corresponding to a plurality of reference focus positions.
  • the position P1 at a predetermined distance Z1 mm from the camera system 1 is set as the reference focus position P1 and calibrated to the reference focus position P1.
  • the chart is installed, and the calibration chart is imaged by the camera system 1.
  • the position P2 at a distance Z2 mm different from the distance Z1 mm from the camera system 1 is set as the reference focus position P2
  • a calibration chart is set at the reference focus position P2
  • the calibration chart is imaged by the camera system 1. ..
  • the position P3 at a distance Z1 mm and a distance Z3 mm different from Z2 mm from the camera system 1 is set as the reference focus position P3, and a calibration chart is installed at the reference focus position P3, so that the camera system 1 can capture the calibration chart. Will be done.
  • the distances Z1 mm, Z2 mm, and Z3 mm are represented by the formula Z1 mm ⁇ Z2 mm ⁇ Z3 mm.
  • the camera system 1 controls the focus position to the position P1 and images the calibration chart installed at the position P1.
  • a calibration image of the reference focus position P1 that is, a calibration image with the position P1 as the reference focus position is obtained.
  • the camera system 1 controls the focus position at positions P2 and P3, respectively, and images the calibration charts installed at positions P2 and P3, respectively.
  • the calibration image of each of the reference focus positions P2 and P3, that is, the calibration image in which the positions P2 and P3 are the reference focus positions can be obtained.
  • the order in which the calibration charts installed at the reference focus positions P1, P2, and P3 are imaged is not particularly limited.
  • three different positions P1, P2, and P3 are adopted as reference focus positions, but as reference focus positions, in addition to the three different positions, two different positions and four or more different positions are used.
  • the position can be adopted.
  • the calibration image obtained by capturing the calibration chart with the camera system 1 whose focus position is controlled to a plurality of positions (reference focus positions P1, P2, and P3). Therefore, calibration data is generated for a plurality of feeding amounts corresponding to a plurality of reference focus positions (reference focus positions P1, P2, and P3).
  • FIG. 10 is a diagram illustrating general imaging performed by the camera system 1.
  • a position P4 at an arbitrary distance Z4 mm from the camera system 1 is set as an imaging focus position P4, and a general subject existing at the imaging focus position P4 is imaged.
  • position P4 does not coincide with any of positions P1, P2, and P3, and is farther than position P1 and closer to position P2.
  • image processing is performed on a general captured image obtained by imaging a subject with the camera system 1 whose focus position is controlled to the imaging focus position P4.
  • the image pickup focus position at the time of general imaging does not match any of the plurality of reference focus positions at the time of calibration, among the plurality of reference extension amounts corresponding to the plurality of reference focus positions. If image processing is performed on a general captured image using the calibration data for any of the reference feed amounts as it is, improper image processing may be performed.
  • the reference extension amounts P1, P2, and P3 corresponding to the reference focus positions P1, P2, and P3 are used.
  • the camera system 1 in which the focus position is controlled to the image pickup focus position P4 that is, the image extension amount corresponds to the image pickup focus position P4. If image processing is performed on a general captured image captured by the camera system 1, improper image processing may be performed.
  • the interpolation unit 153 (FIG. 7) has the reference focus positions P1, P2, and the reference extension amounts P1, P2, and P3 corresponding to P3.
  • the calibration data for the imaging extension amount P4 corresponding to the imaging focus position P4 is generated by interpolation using the calibration data for P3.
  • the lens condition (lens state) of the camera system 1 is different, so that the extension unit 23 is extended even if the pixels are the same in the general captured image.
  • the misalignment (amount) differs depending on whether the amount is the amount of extension corresponding to a certain focus position or the amount of extension corresponding to another focus position.
  • the camera system 1 captures a plurality of (different) reference focus position calibration charts in order to perform appropriate image processing on the general captured image, that is, for example, to obtain accurate disparity information, and obtains the calibration chart.
  • Calibration data for a plurality of reference feed amounts corresponding to a plurality of reference focus positions is generated from calibration images of a plurality of reference focus positions.
  • the camera system 1 uses the calibration data for a plurality of reference extension amounts corresponding to the plurality of reference focus positions to generate calibration data for the imaging extension amount corresponding to the imaging focus position by interpolation, and the imaging thereof.
  • Image processing such as generation of parallax information is performed using the calibration data for the feeding amount.
  • FIG. 11 is a diagram illustrating generation by interpolation of calibration data with respect to the imaging extension amount corresponding to the imaging focus position P4.
  • the vertical direction (vertical axis) represents the calibration data
  • the horizontal direction (horizontal axis) represents the feeding amount of the feeding portion 23.
  • the interpolation unit 103 performs linear interpolation or other interpolation by using the calibration data for at least two or more reference feeding amounts among the calibration data for each of the reference feeding amounts P1, P2, and P3. , Generates calibration data (the part indicated by a triangle in the figure) for the imaging extension amount P4 corresponding to the imaging focus position P4.
  • the camera system 1 generates calibration data for the imaging extension amount P4 by interpolation using the calibration data for the plurality of extension amounts P1, P2, and P3.
  • Image processing using the calibration data in the image processing unit 53 is useful, for example, when the individual eye image extracted from the captured image has non-linear distortion (on the subject). According to the image processing using the calibration data in the image processing unit 53, it is possible to perform the image processing in which the distortion of the individual eye image is corrected.
  • the information regarding the position deviation from the true position where the subject should be projected as the calibration data is generated for each pixel of the individual eye image and also for some pixels. , It can be generated by performing spatial interpolation for other pixels at the time of general imaging.
  • FIG. 12 is a cross-sectional view showing a configuration example of the light sources 32L and 32R.
  • the light source 32 is described below.
  • the light source 32 is composed of a housing 121, an LED 122, and a lens 123.
  • the housing 121 is, for example, an elongated cylindrical housing in which the LED 122 and the lens 123 are housed.
  • the LED 122 emits light as spot light.
  • the lens 123 collects the spot light emitted by the LED 122.
  • the spot light emitted by the LED 122 is collected by the lens 123.
  • the spot light emitted by the light source 32 in FIG. 12 is (ideally) non-parallel light (light that is not parallel light) because it is focused on a certain point and then spreads.
  • the point at which the non-parallel light as the spot light emitted by the light source 32 in FIG. 12 is focused is also referred to as a focusing point.
  • FIG. 13 is a cross-sectional view showing a configuration example of the multi-lens interchangeable lens 20.
  • the extension portion 23 is provided with an individual eye lens 31 i and a light source 32.
  • the extension portion 23 is configured so that the inside of the cylindrical lens barrel 21 can be moved in the optical axis direction (vertical direction in the drawing) of the lens barrel optical axis, and is the frontmost side (image sensor 51 side). It is possible to extend from to the back side.
  • the individual lens 31 i moves and the focus is adjusted.
  • FIG. 14 is a diagram illustrating a first detection method for detecting the feeding amount of the feeding unit 23.
  • FIG. 14 represents a cross section of the multi-lens interchangeable lens 20 when the extension portion 23 is in the minimum extension state (wide end) where it is not extended most (on the front side).
  • FIG. 14B shows a cross section of the multi-lens interchangeable lens 20 when the extension portion is in the maximum extension state (tele end) in which the extension portion is most extended (at the innermost side).
  • the image sensor 51 has a condensing point at which the non-parallel light as spot light is focused when the feeding portion 23 is in the minimum feeding state, and the feeding portion 23. Is configured to be located between the focusing point where the non-parallel light as the spot light is focused when is in the maximum feeding state.
  • the light source 32 irradiates non-parallel light as spot light in the same direction as the lens barrel optical axis.
  • the image sensor 51 collects the focusing point at which the spot light is focused when the feeding portion 23 is in the minimum feeding state and the spot light is focused when the feeding portion 23 is in the maximum feeding state.
  • the spot size for example, the diameter of the spot light image
  • Minimize the difference between the size of the spot light image in the minimum extension state (hereinafter, also referred to as the spot size) (for example, the diameter of the spot light image) and the spot size in the maximum extension state.
  • the spot size changes depending on the amount of feeding of the feeding portion 23. Therefore, the amount of feeding of the feeding portion 23 can be detected according to the spot size.
  • FIG. 15 is a (cross-sectional) view showing an example of a change in spot size of non-parallel light as spot light.
  • the spot size becomes the minimum at the condensing point, and the spot size increases as the distance from the condensing point in the lens barrel optical axis direction increases.
  • the image sensor 51 is located between a focusing point where the spot light is focused when the feeding portion 23 is in the minimum feeding state and a focusing point where the spot light is focused when the feeding portion 23 is in the maximum feeding state. When located in, there may be two payout amounts with the same spot size.
  • the spot size is the same for the two positions that are offset by the same distance from the focusing point in the optical axis direction of the lens barrel, although the amount of extension is different.
  • the true feeding amount that is, the feeding amount in the state where the spot light image of the spot size is obtained is specified from the two feeding amounts.
  • FIG. 16 is a flowchart illustrating an example of a process of detecting the feeding amount by the first detection method.
  • the process according to the flowchart of FIG. 16 is designed to eliminate binary indefiniteness by performing template matching of spot light images.
  • step S111 the spot light image detection unit 62 acquires lens information from the multi-lens interchangeable lens 20 via the communication unit 56, and the process proceeds to step S112.
  • step S112 the control unit 61 waits for the user to perform an operation to adjust the focus, and in response to the operation, the multi-eye interchangeable lens 20 transmits information for designating the focus via the communication unit 56. Send to.
  • the control unit 43 moves (feeds) the payout unit 23 according to the information that specifies the focus transmitted via the communication unit 56, and the process proceeds to step S113.
  • the focus adjustment can be automatically performed by the control unit 61 by the autofocus function or the like without any user operation.
  • step S113 the image sensor 51 captures the captured image and supplies it to the area identification unit 52, the position calculation unit 57, and the spot light image detection unit 62, and the process proceeds to step S114.
  • step S114 the spot light image detection unit 62 receives the image captured from the image sensor 51 (individual difference spot light position information) according to the individual difference spot light position information included in the lens information acquired from the multi-lens interchangeable lens 20.
  • the spot light image is detected from the periphery of the lens, and the image as the spot light image is supplied to the feeding amount detection unit 64, and the process proceeds to step S115.
  • the camera body 10 stores the individual difference spot light position information for each model in advance. In the main body 10, it is not necessary to acquire individual difference spot light position information (including lens information) from the multi-lens interchangeable lens 20. The same applies to the embodiments described later.
  • step S115 the feeding amount detection unit 64 is still subject to matching with the spot light image from the spot light image information associated with the feeding amount in the feeding amount information stored in the feeding amount information storage unit 63.
  • the spot light image information that is not present is acquired, and the process proceeds to step S116.
  • the feeding amount information storage unit 63 feeds out an image as a spot light image as spot light image information, each of a plurality of feeding amounts, and the feeding amount.
  • the feeding amount information associated with the spot light image information when the unit 23 is feeding is stored.
  • step S116 the feeding amount detection unit 64 combines the spot light image detected from the captured image in step S114 (hereinafter, also referred to as the detected spot light image) and the spot light image information acquired in the immediately preceding step S115. Template) matching is performed, and the process proceeds to step S117.
  • step S117 the feeding amount detection unit 64 matches the detected spot light image with all the spot light image information associated with the feeding amount in the feeding amount information stored in the feeding amount information storage unit 63. To determine if
  • step S117 If it is determined in step S117 that all of the spot light image information associated with the feed amount in the feed amount information stored in the feed amount information storage unit 63 is not targeted, the process returns to step S115.
  • step S115 from the spot light image information associated with the payout amount in the payout amount information stored in the payout amount information storage unit 63, the spot light image information that has not yet been matched with the spot light image is obtained. Is acquired, and the same process is repeated thereafter.
  • step S117 If it is determined in step S117 that all of the spot light image information associated with the feed amount in the feed amount information stored in the feed amount information storage unit 63 is targeted, the process proceeds to step S118. move on.
  • step S118 the spot light image information that best matches the detected spot light image is selected from the spot light image information associated with the payout amount in the feed amount information stored in the feed amount information storage unit 63, and the spot is selected.
  • the feeding amount associated with the optical image information is detected as the feeding amount of the feeding unit 23, supplied to the image processing unit 53, and the processing is completed.
  • the current focus position which is the focus position after adjusting the focus in step S112
  • the current focus position and step S118 The focus position when the feed amount information having the detected feed amount is generated does not completely match, and the accuracy of the feed amount detected in step S118 may decrease.
  • step S112 when the current focus position does not match any of the focus positions of the extension amount information, the current focus position is set to the current focus position among the focus positions of the extension amount information. It can be pulled (readjusted) to a closer focus position. As a result, in step S118, an accurate feed amount can be detected.
  • the image as the spot light image is used as the spot light image information, and the feeding amount is detected by matching the images.
  • the one-dimensional intensity of the spot light image can be detected by using the distribution or the two-dimensional intensity distribution as the spot light image information and matching the one-dimensional intensity distribution or the two-dimensional intensity distribution.
  • the first detection method can be adopted when one or more light sources 32 are provided.
  • FIG. 17 is a diagram illustrating a second detection method for detecting the feeding amount of the feeding unit 23.
  • the second detection method similarly to the first detection method, in the camera system 1, when the image sensor 51 is in the minimum extension state, the non-parallel light as spot light is condensed. It is configured to be located between the condensing point to be focused and the condensing point where the non-parallel light as spot light is focused when the feeding portion 23 is in the maximum feeding state.
  • the light sources 32L and 32R irradiate non-parallel light as spot light in the same direction as the lens barrel optical axis, as in the first detection method.
  • the focusing point of the spot light irradiated by the light source 32L at each feeding amount and the focusing point of the spot light irradiated by the light source 32R are the distances from the image sensor 51.
  • the camera system 1 is configured so that is located at a different point.
  • the distance from the image sensor 51 of the focusing point of the spot light irradiated by the light source 32L at a certain feeding amount is different from the distance of the focusing point of the spot light irradiated by the light source 32R from the image sensor 51. ing. That is, in FIG. 17, the image sensor 51 exists on the lower side in the drawing, and the focusing point of the spot light emitted by the light source 32L is closer to the image sensor 51 than the focusing point of the spot light irradiated by the light source 32R. It is in position.
  • the binary indefiniteness cannot be eliminated only by the spot size of the spot light emitted by one of the light sources 32L and 32R, but the combination of the spot sizes of the spot light emitted by the light sources 32L and 32R can be used. Binary indefiniteness can be eliminated.
  • FIG. 18 is a flowchart illustrating an example of a process of detecting the payout amount by the second detection method.
  • the process according to the flowchart of FIG. 18 is designed to eliminate binary indefiniteness by using a combination of spot sizes of spot light emitted by the light sources 32L and 32R.
  • steps S121 to S123 the same processing as in steps S111 to S113 of FIG. 16 is performed.
  • step S124 the spot light image detection unit 62 irradiates the light source 32L from the image captured by the image sensor 51 according to the individual difference spot light position information included in the lens information acquired from the multi-lens interchangeable lens 20.
  • the spot light image PL (image as) of the spot light to be used and the spot light image PR of the spot light irradiated by the light source 32R are detected, and the process proceeds to step S125.
  • step S125 the spot light image detection unit 62 detects the spot sizes of the spot light images PL and PR and supplies them to the feeding amount detection unit 64, and the process proceeds to step S126.
  • the feeding amount detection unit 64 has the spot light image PL detected in step S125 and the spot light image PL detected in step S125 from the spot light image information associated with the feeding amount in the feeding amount information stored in the feeding amount information storage unit 63. Select spot light image information that matches the combination of PR spot sizes (hereinafter, also referred to as the combination of detected spot sizes). Further, in step S126, the feeding amount detection unit 64 detects the feeding amount associated with the spot light image information matching the combination of the detected spot sizes as the feeding amount of the feeding unit 23, and causes the image processing unit 53 to detect the feeding amount. Supply and finish the process.
  • the feeding amount information storage unit 63 receives a combination of spot sizes of the spot light image PL and PR as spot light image information, and each of the plurality of feeding amounts.
  • the feeding amount information associated with the spot light image information when the feeding unit 23 is feeding by the feeding amount is stored.
  • each of the plurality of feeding amounts is associated with a combination of spot sizes of the spot light images PL and PR as spot light image information when the feeding unit 23 is fed by the feeding amount.
  • the feeding amount information the feeding amount associated with the spot size combination of the spot light image PL and PR that matches the combination of the detected spot sizes is detected as the feeding amount of the feeding unit 23.
  • the binary indefiniteness can be eliminated, and the feeding amount of the feeding unit 23 can be detected according to (combination of) the detected spot sizes.
  • the second detection method can be adopted when two or more light sources 32 are provided.
  • FIG. 19 is a diagram illustrating a third detection method for detecting the feeding amount of the feeding unit 23.
  • FIG. 19 represents a cross section of the multi-lens interchangeable lens 20 when the extension portion 23 is in the minimum extension state where it is not extended most (it is on the front side).
  • FIG. 19B represents a cross section of the multi-lens interchangeable lens 20 when the extension portion is in the maximum extension state (at the innermost side).
  • the focusing point at which the non-parallel light as the spot light is focused is set. It is configured to be located on one of the front side and the back side including the image sensor 51.
  • the light source 32 irradiates non-parallel light as spot light in the same direction as the lens barrel optical axis.
  • the focusing points at which the non-parallel light as spot light is focused are the front side and the back side including the image sensor 51.
  • the difference between the spot size of the spot light image in the minimum extension state and the spot size in the maximum extension state is maximized.
  • the spot size when the feeding portion 23 is moved from the minimum feeding state to the maximum feeding state is monotonically decreased or monotonically increased. Therefore, binary indefiniteness does not occur.
  • the focusing point at which the non-parallel light as the spot light is focused is on the front side including the image sensor 51. It shows a state of being located on the side opposite to the side where the individual lens 31 i is provided).
  • the focusing point at which the non-parallel light as the spot light is focused is the back side (pieces) including the image sensor 51. It shows a state of being located on the side where the eye lens 31 i is provided).
  • the feeding amount information storage unit 63 uses the spot size of the spot light image as spot light image information, and the feeding unit 23 receives each of the plurality of feeding amounts and the feeding amount.
  • the feeding amount information associated with the spot light image information at the time of feeding is stored.
  • the spot light image detection unit 62 detects the spot size of the spot light image in the same manner as in the second detection method.
  • the feeding amount detecting unit 64 the feeding amount information in which each of the plurality of feeding amounts and the spot size of the spot light image as the spot light image information when the feeding unit 23 is fed by the feeding amount is associated with each other.
  • the feeding amount associated with the spot size as the spot light image information matching the spot size detected by the spot light image detecting unit 62 is detected as the feeding amount of the feeding unit 23.
  • the feeding amount of the feeding portion 23 can be detected according to the spot size.
  • the third detection method can be adopted when one or more light sources 32 are provided.
  • FIG. 21 is a diagram illustrating a fourth detection method for detecting the feeding amount of the feeding unit 23.
  • the fourth detection method can be applied not only when the spot light is non-parallel light but also when the spot light is parallel light as described later.
  • FIG. 21 shows a cross section of the multi-lens interchangeable lens 20.
  • the camera system 1 is configured such that the light source 32 irradiates spot light in an oblique direction inclined from the optical axis direction of the lens barrel.
  • the light source 32 irradiates spot light in the direction from the peripheral portion to the central portion of the image sensor 51.
  • FIG. 22 is a diagram showing a spot light irradiation position when the feeding portion 23 is in the minimum feeding state and a spot light irradiation position when the feeding portion 23 is in the maximum feeding state.
  • FIG. 22A shows the spot light irradiation position when the feeding portion 23 is in the minimum feeding state
  • FIG. 22B shows the spot light irradiation position when the feeding portion 23 is in the maximum feeding state. Shown.
  • the spot light irradiation position when the feeding portion 23 is in the minimum feeding state that is, the positions of the spot light images PL'and PR'of the spot light irradiated by the light sources 32L and 32R are the spot light of the spot light.
  • the position is closest to the peripheral side of the image sensor 51 (the image captured by the image sensor 51).
  • the spot light images PL and PR move toward the center of the image sensor 51.
  • the spot light irradiation position when the feeding portion 23 is in the maximum feeding state that is, the positions of the spot light images PL'' and PR'' of the spot light irradiated by the light sources 32L and 32R are the spot light of the spot light. It is the position closest to the center side of the image sensor 51 in the movable range of the image PL and PR.
  • FIG. 23 shows an image in which the spot light images PL'and PR'when the feeding portion 23 is in the minimum feeding state are projected, and the spot light images PL'' and PR'' when the feeding portion 23 is in the maximum feeding state. It is a figure which shows the example with the captured image which is reflected.
  • the spot light images PL'and PR'when the feeding portion 23 is in the minimum feeding state are located on the outermost peripheral side of the captured image.
  • the spot light images PL and PR move toward the center of the captured image.
  • the positions of the spot light images PL and PR change depending on the feeding amount of the feeding portion 23.
  • the spot light images PL and PR depend on the feeding amount of the feeding portion 23.
  • the distance between the spot light images PL and PR position
  • the distance between the spot light images PL'and PR'when the feeding portion 23 is in the minimum feeding state is the maximum value of the distance between the spot light images PL and PR.
  • the distance between the spot light images PL'' and PR'' when the feeding portion 23 is in the maximum feeding state is the minimum value of the distance between the spot light images PL and PR.
  • the feeding amount of the feeding portion 23 is determined according to the positions of the spot light images PL and PR (one or both of them) and the distance between the spot light images PL and PR obtained from the positions. Is detected.
  • FIG. 24 is a flowchart illustrating an example of a process of detecting the feeding amount by the fourth detection method.
  • steps S131 to S134 the same processing as in steps S121 to S124 of FIG. 18 is performed.
  • step S135 the spot light image detection unit 62 detects the positions of the spot light images PL and PR (detected light image positions), and detects the distance between the light images, which is the distance between these positions.
  • the spot light image detection unit 62 supplies the distance between the light images to the extension amount detection unit 64, and the process proceeds from step S135 to step S136.
  • step S136 the feeding amount detection unit 64 determines the distance between the optical images detected in step S135 from the spot light image information associated with the feeding amount in the feeding amount information stored in the feeding amount information storage unit 63. Hereinafter, spot light image information that matches the distance between detected light images) is selected. Further, in step S136, the feeding amount detection unit 64 detects the feeding amount associated with the spot light image information matching the distance between the detected light images as the feeding amount of the feeding unit 23, and causes the image processing unit 53 to detect the feeding amount. Supply and finish the process.
  • the detection light is detected.
  • the amount of extension associated with the distance between optical images that matches the distance between images is detected as the amount of extension of the extension unit 23.
  • the amount of extension of the extension unit 23 can be detected according to the distance between the detected optical images without causing binary indefiniteness.
  • the position of the spot light image (detected light image position) can be adopted as the spot light image information instead of the distance between the light images.
  • the feeding amount information storage unit 63 has each of the plurality of feeding amounts and the spot light image information when the feeding unit 23 is feeding by the feeding amount.
  • the feeding amount information associated with the position of the spot light image of is stored. Further, in this case, the spot light image detection unit 62 detects the position of the spot light image.
  • the feeding amount detecting unit 64 associates the feeding amount information stored in the feeding amount information storage unit 63 with the position of the spot light image that matches the position of the spot light image detected by the spot light image detecting unit 62.
  • the feeding amount being fed is detected as the feeding amount of the feeding unit 23.
  • the image as the spot light image is adopted as the spot light image information as in the first detection method, and the spot size is used as in the second and third detection methods. Can be adopted as spot light image information.
  • the fourth detection method when the distance between light images is adopted as spot light image information, it is necessary that two or more light sources 32 are provided. However, it is not necessary for all of the two or more light sources 32 to irradiate the spot light in the oblique direction, and at least one light source 32 may be a light source that irradiates the spot light in the oblique direction. ..
  • the fourth detection method when the position of the spot light image is adopted as the spot light image information, it is necessary that one or more light sources 32 are provided.
  • FIG. 25 is a diagram showing another configuration example of the multi-lens interchangeable lens 20.
  • the multi-lens interchangeable lens 20 of FIG. 25 is configured in the same manner as in FIGS. 4 and 13, except that the light sources 32U and 32D which are configured in the same manner as the light sources 32L and 32R are newly provided.
  • the multi-lens interchangeable lens 20 of FIG. 25 has a configuration in which two light sources 32U and 32D are provided as a plurality on a straight line that is not parallel to the straight line connecting the light sources 32L and 32R, for example, an orthogonal straight line in a plan view. It has become.
  • the multi-lens interchangeable lens 20 When the multi-lens interchangeable lens 20 provided with the two light sources 32U and 32D on the straight line orthogonal to the straight line connecting the light sources 32L and 32R as described above is attached to the camera body 10, the multi-lens interchangeable lens When there is a lens tilt around the x-axis of 20 or a lens tilt around the y-axis, the spot light emitted by the light sources 32L, 32R, 32U, 32D is different from that when there is no lens tilt, as shown in FIG. The spot size and position of the spot light image change.
  • FIG. 26 is a cross-sectional view showing another configuration example of the light sources 32L and 32R.
  • the light source 32 is composed of a housing 121, an LED 122, a lens 123 and 124.
  • the light source 32 of FIG. 26 is common to the case of FIG. 12 in that it has the housing 121 to the lens 123, and is different from the case of FIG. 12 in that the lens 124 is newly provided.
  • the lens 124 is provided on the image sensor 51 side of the lens 123, and converts the spot light collected by the lens 123 into parallel light and emits it.
  • the spot light emitted by the light source 32 in FIG. 26 is parallel light.
  • the light source 32 that irradiates parallel light as spot light is also hereinafter referred to as a parallel light light source 32.
  • a parallel light light source 32 can be provided in the extension portion 23 of the multi-lens interchangeable lens 20.
  • the spot size is a constant size regardless of the feeding portion 23. Therefore, by reducing the spot size, a calculation error when obtaining the center of gravity of the spot light image as the position of the spot light image is compared with the case where non-parallel light whose spot size changes is adopted as the spot light. And the amount of calculation is reduced. Therefore, the mounting error and the feeding amount can be obtained with higher accuracy, and the calculation load when obtaining the mounting error and the feeding amount can be reduced.
  • the parallel light light source 32 can be provided in the feeding portion 23 so that the spot light is parallel to the optical axis of the lens barrel.
  • the mounting error can be obtained by using the spot light (spot light image)
  • the feeding amount cannot be detected.
  • the parallel light light source 32 is provided in the feeding portion 23 so that the spot light is irradiated in an oblique direction inclined from the optical axis direction of the lens barrel, and is fed by the fourth detection method described with reference to FIGS. 21 to 24. The amount can be detected.
  • a plurality of straight lines connecting the parallel light light sources 32L and 32R are not parallel to the straight line, for example, a straight line orthogonal to each other.
  • two parallel light light sources 32U and 32D can be provided.
  • the parallel light light sources 32L, 32R depending on the lens tilt around the x-axis and the lens tilt around the y-axis of the multi-lens interchangeable lens 20.
  • the position of the spot light image of the spot light emitted by the 32U and 32D changes.
  • FIG. 27 is a diagram showing a state in which the position of the spot light image of the parallel light emitted by the parallel light light source 32 changes according to the tilting of the lens.
  • the multi-lens exchange is performed.
  • the position of the spot light image of the parallel light emitted by the parallel light light source 32 changes according to the lens tilt around the x-axis of the lens 20 and the lens tilt around the y-axis.
  • the user when an amount of lens tilt exceeding the allowable amount is detected, the user can be urged to reattach the multi-lens interchangeable lens 20. Further, it is possible to detect the amount of lens tilt, obtain parallax information so that the influence of the lens tilt amount is canceled, specify the region of the individual eye image, and the like.
  • FIG. 28 is a block diagram showing another electrical configuration example of the camera system 1 of FIG.
  • the camera system 1 (or a camera system with an integrated lens) to which the present technology is applied has individual eye image position information that specifies the position of each individual eye image on the entire image (captured image) captured by the image sensor 51. , i.e., it holds the ommatidium image position information indicating the output position of each imaging light emitted from a plurality of single-eye lenses 31 i in the image sensor 51. Further, the camera system 1 holds spot light image position information for specifying the position of the spot light image of the spot light of the light source 32.
  • the whole image is a part or all of the captured image captured by the image sensor 51, or a part or all of the captured image outside the individual eye image included in the captured image. Means an image.
  • individual eye image position information and the spot light image position information may be information calculated for each camera system 1 or information calculated for each model.
  • the individual eye image position information may be information on the absolute position of each individual eye image, or the absolute position of the individual eye image with respect to the reference lens with one predetermined individual eye lens 31 i as the reference lens.
  • the information on the relative position of the other individual eye image may be the information on the relative position of the other individual eye image based on the position of the individual eye image with respect to the reference lens.
  • the individual eye image position information and the spot light image position information held by the camera system 1 correspond to, for example, the individual difference reflection position information (known reference position) and the individual difference spot light position information (known light position), respectively.
  • the value is not limited to this.
  • the camera system 1 uses the position of the spot light image (detected spot light image position information) detected from the entire image at the time of actual imaging (when the general image (unknown image) is imaged) to obtain individual eye image position information. To fix.
  • each individual eye lens 31 i and the light source 32 are integrally extended. Therefore, even if the individual eye lens 31 i is extended by adjusting the focus (or zoom), the individual eye lens 31
  • the individual eye image position information can be accurately corrected (corrected) by using the detection spot light image position information of the light source 32 that is integrally delivered with i .
  • the individual eye image and the light source 32 are The positional relationship, that is, the positional relationship between the individual eye image and the spot light image does not change. Therefore, by detecting the position of the spot light image (detected spot light image position information) on the entire image at the time of actual imaging and grasping the deviation from the spot light image position information held by the camera system 1, it is possible to grasp the deviation.
  • the individual eye image position information of each individual eye image can be accurately corrected.
  • the corrected individual eye image position information (corrected individual eye image position information) is used.
  • a predetermined range centered on the center position of the optical axis is accurately extracted (cut out) as an individual eye image from the entire image, and processing for suppressing the influence of lens distortion (generation of parallax information, etc.). )It can be performed.
  • the detection spot light image position information detected from the entire image at the time of actual imaging may be, for example, a value corresponding to the mounting error spot light position information (unknown light position), but is not limited to this.
  • the modified individual eye image position information obtained by modifying the individual eye image position information using the detected spot optical image position information may be, for example, a value corresponding to the mounting error reflection position information (unknown reference position). However, it is not limited to this.
  • the area identification unit 52 has an individual eye image position information correction unit 211 and an individual eye image extraction unit 212.
  • the individual eye image position information correction unit 211 is supplied with the individual eye image position information and the spot light image position information stored as (a part of) the lens information of the storage unit 41 of the multi-eye interchangeable lens 20 from the communication unit 56. Will be done. Further, the individual eye image position information correction unit 211 is supplied with the detected spot light image position information detected from the entire image (captured image) captured by the image sensor 51 from the spot light image detection unit 62.
  • the individual eye image position information correction unit 211 uses the spot light image position information from the communication unit 56 and the detected spot light image position information from the spot light image detection unit 62, and uses the individual eye image position from the communication unit 56. The information is corrected, and the corrected individual eye image position information obtained as a result is supplied to the individual eye image extraction unit 212 and the association unit 221. In the individual eye image position information correction unit 211, the correction of the individual eye image position information is performed in the same manner as the process of obtaining the mounting error reflection position information in the position calculation unit 57 (FIG. 2).
  • the individual eye image extraction unit 212 is supplied with the corrected individual eye image position information from the individual eye image position information correction unit 211, and is also supplied with the entire image (captured image) from the image sensor 51.
  • Ommatidium image extracting unit 212 using a modified ommatidium image position information from the ommatidium image position information correcting unit 211, on the entire image from the image sensor 51, ommatidium lens 31 0 to 31 4 pieces for each eye Find the area information that represents the area of the image.
  • the individual eye image extraction unit 212 obtains information representing a rectangular area centered on the modified individual eye image position information as area information.
  • the individual eye image extraction unit 212 extracts the area represented by the area information from the entire image from the image sensor 51 as an individual eye image, and supplies it to the display unit 54 and the association unit 221 as needed.
  • the individual eye image extraction unit 212 supplies the entire image from the image sensor 51 to the display unit 54 and the association unit 221 as needed.
  • the display unit 54 displays the entire image or the individual eye image from the individual eye image extraction unit 212.
  • the association unit 221 associates the modified individual eye image position information from the individual eye image position information correction unit 211 with the individual eye image or the entire image from the individual eye image extraction unit 212.
  • the association unit 221 associates each individual eye image extracted from the same overall image from, for example, the individual eye image extraction unit 212. Further, the association unit 221 associates, for example, each individual eye image extracted from the same overall image from the individual eye image extraction unit 212, and the modified individual eye image position information used for extracting each individual eye image. Do. Further, the association unit 221 collects, for example, the entire image (captured image) from the individual eye image extraction unit 212 and the detection spot light image position information detected from the entire image from the individual eye image position information correction unit 211. It is used to associate with the modified individual eye image position information (captured individual eye image position) in which the individual eye image position information is modified.
  • the association can be performed, for example, by recording the target of the association on the same recording medium, or by assigning the same ID (Identification) to the target of the association. Further, the association can be performed using, for example, the metadata of the target of association (metadata of the individual eye image of the target to be associated with the modified individual eye image position information or the metadata of the entire image).
  • the association unit 221 can collectively record and transmit the information (association information) associated by the association.
  • the spot light image position information (included in the lens information) can be associated with the detected spot light image position information detected from the entire image.
  • association information obtained by the association unit 221 can be subject to post processing by the camera system 1 or an external device.
  • post processing for example, an individual eye image is extracted from the entire image included in the association information in which the entire image and the modified individual eye image position information are associated with each other, using the modified individual eye image position information included in the association information. be able to.
  • the whole image (captured image), the detected spot light image position information (detected light image position) detected from the whole image, the spot light image position information (memory light image position), and the individual eye Image position information (memory individual eye image position) can be associated.
  • the detected spot light image position information, the spot light image position information, and the association information associated with the individual eye image position information, the detected spot light image position information and the spot light image position The individual eye image position information can be modified by using the information, and the individual eye image can be extracted from the whole image by using the modified individual eye image position information obtained as a result.
  • the spot light image position information (memory light image position), the difference between the spot light image position information and the detected spot light image position information (difference between the stored light image position and the detected light image position).
  • Individual eye image position information (memory individual eye image position), and the whole image (captured image) can be associated.
  • association unit 221 can adopt an arbitrary association that can specify the position of the individual eye image on the captured image.
  • each individual eye image extracted from the whole image in addition to the whole image and each individual eye image extracted from the whole image, one composite image in which each individual eye image extracted from the whole image is arranged can be adopted.
  • target information to be associated with the target image in addition to the modified individual eye image position information, arbitrary information capable of specifying the position of the individual eye image on the captured image can be adopted.
  • target information for example, a set of individual eye image position information, spot light image position information, and detected spot light image position information can be adopted.
  • the target image and the target information can be associated with each other and stored in a storage medium or transmitted via a transmission medium to form a single file.
  • association means, for example, to make the other data available (linkable) when processing one data.
  • the form of the target image and the target information as data (file) is arbitrary.
  • the target image and the target information may be combined as one data (file), or may be regarded as individual data (file).
  • the target information associated with the target image may be transmitted on a transmission path different from that of the target image.
  • the target information associated with the target image may be recorded in a recording medium different from the target image or in a different recording area of the same recording medium.
  • the target image and the target information can be combined into one stream data or one file.
  • the target image may be a still image or a moving image.
  • the target image of each frame can be associated with the target information.
  • the "Association" can be performed on a part of the data (file) instead of the entire data of the target image.
  • the target information can be associated with any unit of the target image, such as a plurality of frames, one frame, or a part within the frame.
  • the target image and the target information are individual data (files)
  • the target image and the target information can be associated with each other by assigning the same ID (identification number) to both the target image and the target information.
  • the target information may be added to the header of the file or the like.
  • FIG. 29 is a block diagram showing a configuration example of a post processing device that performs post processing for association information.
  • the post processing device 230 has an area identification unit 231, an image processing unit 232, a display unit 233, a recording unit 234, and a transmission unit 235.
  • the area identification unit 231 includes an individual eye image position information correction unit 241 and an individual eye image extraction unit 242.
  • the post processing device 230 is supplied with the entire image, the detected spot light image position information, the spot light image position information, and the association information associated with the individual eye image position information from a recording medium or a transmission medium (not shown).
  • the spot light image position shift information indicating the spot light image position shift is calculated in advance from the detected spot light image position information and the spot light image position information, and the whole or individual eye image is associated with the spot light image position shift information. If this is done, it is not necessary to associate the detected spot light image position information and the spot light image position information with the entire image or the like.
  • the individual eye image position information may be modified in advance and associated with the modified individual eye image position information and the whole image or the individual eye image. In this case, the individual eye image position information may be modified by post processing. It becomes unnecessary.
  • the detected spot light image position information for example, in addition to the position of the spot light image itself on the entire image, information on the image portion of the entire image in the region where the spot light image is projected can be adopted. For example, when the information of the image portion of the region where the spot light image is projected is adopted as the detection spot light image position information, the position of the spot light image on the whole image can be obtained from the information.
  • the detected spot light image position information, spot light image position information, and individual eye image position information included in the association information are supplied to the individual eye image position information correction unit 241.
  • the whole image included in the association information is supplied to the individual eye image extraction unit 242.
  • the individual eye image position information correction unit 241 corrects the individual eye image position information included in the association information by using the detected spot light image position information included in the association information and the spot light image position information, and obtains the result.
  • the modified individual eye image position information is supplied to the individual eye image extraction unit 242.
  • the individual eye image position information correction unit 241 the correction of the individual eye image position information is performed in the same manner as in the individual eye image position information correction unit 211 (FIG. 28).
  • Ommatidium image extracting unit 242 using a modified ommatidium image position information from the ommatidium image position information correcting unit 241, on the whole contained in the association information image, the ommatidium lens 31 0 to 31 4 pieces for each eye Find the area information that represents the area of the image.
  • the individual eye image extraction unit 242 extracts the area represented by the area information as an individual eye image from the entire image, and if necessary, the image processing unit 232, the display unit 233, the recording unit 234, and the transmission unit. Supply to 235.
  • the individual eye image extraction unit 242 provides the image processing unit 232, the display unit 233, the recording unit 234, and the transmission unit 235 with the whole image and the corrected individual eye image position information in addition to the individual eye image. It can be supplied as needed.
  • the image processing unit 232 performs image processing of the individual eye image from the individual eye image extraction unit 242, and supplies the result of the image processing to the display unit 233, the recording unit 234, and the transmission unit 235, if necessary. To do.
  • the image processing unit 232 for example, the individual eye image from the individual eye image extraction unit 242 and the modified individual eye image position information are used to generate disparity information, and the disparity information and the individual eye image are used. You can focus.
  • the display unit 233 displays the entire image from the individual eye image extraction unit 242, the individual eye image, the modified individual eye image position information, and the image processing result of the image processing unit 232 as needed.
  • the recording unit 234 prints the entire image from the individual eye image extraction unit 242, the individual eye image, the corrected individual eye image position information, and the image processing result of the image processing unit 232 on a recording medium (not shown), if necessary. Record.
  • the transmission unit 235 uses a transmission medium (not shown) for displaying the entire image from the individual eye image extraction unit 242, the individual eye image, the corrected individual eye image position information, and the image processing result of the image processing unit 232, if necessary. Transmit via.
  • the detected spot light image position information and the spot light image position information are used to correct the individual eye image position information, and the corrected individual eye image position obtained by correcting the individual eye image position information.
  • the process of extracting the individual eye image from the entire image using the information can be performed as a post process.
  • the post processing device 230 as described above can be provided in a device that reproduces, displays, and processes an individual eye image.
  • FIG. 30 is a block diagram showing another configuration example of the post processing device that performs post processing for the association information.
  • the post processing device 250 has an area specifying unit 231 to a transmission unit 235.
  • the area identification unit 231 has an individual eye image position information correction unit 241.
  • the post processing device 250 is common to the post processing device 230 of FIG. 29 in that it has an area specifying unit 231 to a transmission unit 235. However, the post processing device 250 is different from the post processing device 230 in that the area specifying unit 231 does not have the individual eye image extraction unit 242.
  • the post processing device 250 contains a plurality of individual eye images, detected spot light image position information, spot light image position information, and association information in which a plurality of individual eye image position information corresponding to each of the plurality of individual eye images is associated with each other. , It is supplied from a recording medium or a transmission medium (not shown).
  • the detected spot light image position information, spot light image position information, and individual eye image position information included in the association information are supplied to the individual eye image position information correction unit 241.
  • the individual eye image included in the association information is supplied to the image processing unit 232, the display unit 233, the recording unit 234, and the transmission unit 235, if necessary.
  • the individual eye image position information correction unit 241 uses the detected spot light image position information included in the association information and the spot light image position information, and the individual eye image position included in the association information. Correct the information.
  • the individual eye image position information correction unit 241 transfers the corrected individual eye image position information obtained by correcting the individual eye image position information to the image processing unit 232, the display unit 233, the recording unit 234, and the transmission unit, if necessary. Supply to 235.
  • the image processing unit 232 performs image processing of the individual eye image, and supplies the result of the image processing to the display unit 233, the recording unit 234, and the transmission unit 235, if necessary.
  • the parallax information is generated by using the individual eye image and the modified individual eye image position information, and the parallax information and the individual eye image are used to generate the parallax information. You can focus.
  • Individual eye image position information is displayed as needed.
  • the recording unit 234 the individual eye image, the corrected individual eye image position information, and the corrected individual eye image position information obtained by the individual eye image position information correction unit 241 as a result of the image processing of the image processing unit 232 are recorded as necessary. Will be done.
  • a process of correcting the individual eye image position information by using the detected spot light image position information and the spot light image position information can be performed as post processing.
  • the whole image can be included in the association information. The entire image can be supplied to the image processing unit 232 to the transmission unit 235 and targeted for processing.
  • the post processing device 250 as described above can be provided in a device that reproduces, displays, and processes an individual eye image. As described above, the post processing device 230 and the post processing device 250 may be provided as a post processing function in the camera system 1.
  • FIG. 31 is a block diagram showing an example of an electrical configuration of a first other embodiment of a camera system to which the present technology is applied.
  • the camera system 300 is a lens-integrated camera system.
  • the camera system 300 includes a lens unit 320, an image sensor 351, a RAW signal processing unit 352, an area extraction unit 353, a camera signal processing unit 354, a through image generation unit 355, an area identification unit 356, an image reconstruction processing unit 357, and a bus 360.
  • the lens unit 320 has a feeding unit 23.
  • Feeding unit 23, as described in FIGS. 1 and 2 have, ommatidium lens 31 0 to 31 4, and the light source 32L and 32R.
  • the feeding portion 23 moves inside the lens barrel 21 (FIG. 1), which is not shown in FIG. 31, in the direction of the optical axis of the lens barrel optical axis.
  • the movement of the feeding unit 23, ommatidium lens 31 0 to 31 4 to the supply portion 23 has, as well, the light source 32L and 32R also move integrally.
  • the individual lens 31 i is configured so that the optical paths of light passing through the individual lens 31 i are independent of each other. That is, the light that has passed through each individual lens 31 i irradiates the light receiving surface (for example, the effective pixel region) of the image sensor 351 at different positions without incident on the other individual lens 31 j . At least, the optical axes of each individual lens 31 i are located at different positions on the light receiving surface of the image sensor 351, and at least a part of the light passing through each individual lens 31 i is on the light receiving surface of the image sensor 351. Irradiate different positions.
  • the captured image generated by the image sensor 351 output the entire image to the image sensor 351), an image of a subject formed through the ommatidium lens 31 i are formed at different positions.
  • an image (individual eye image) with the position of each individual eye lens 31 i as a viewpoint can be obtained.
  • the image sensor 351 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor similar to the image sensor 51, and images a subject to generate an captured image.
  • the image sensor 351 may be a monochromatic (so-called monochrome) image sensor, or may be a color image sensor in which, for example, a Bayer array color filter is arranged in a pixel group. That is, the captured image output by the image sensor 351 may be a monochrome image or a color image.
  • the image sensor 351 will be described as a color image sensor that generates and outputs a captured image in RAW format.
  • the RAW format means an image in which the positional relationship of the arrangement of the color filters of the image sensor 351 is maintained, and the image size conversion process for the image output from the image sensor 351 is performed. It is also possible to include an image that has undergone signal processing such as noise reduction processing and defect correction processing of the image sensor 351 and compression coding.
  • the image sensor 351 can output a RAW format captured image (whole image) generated by photoelectric conversion of the irradiation light.
  • the image sensor 351 supplies the captured image (whole image) in the RAW format to at least one of the bus 360, the RAW signal processing unit 352, the area extraction unit 353, and the area identification unit 356. can do.
  • the image sensor 351 can supply a RAW format captured image (whole image) to the storage unit 362 via the bus 360 and store it in the storage medium 363. Further, the image sensor 351 can supply the captured image (whole image) in the RAW format to the communication unit 364 via the bus 360 and transmit it to the outside of the camera system 300. Further, the image sensor 351 can supply the captured image (whole image) in the RAW format to the file conversion unit 365 via the bus 360 and convert it into a file. Further, the image sensor 351 can supply the captured image (whole image) in the RAW format to the image reconstruction processing unit 357 via the bus 360 to perform the image reconstruction processing.
  • the image sensor 351 may be a single plate type image sensor, or may be a set of image sensors (also referred to as a plurality of plate type image sensor) composed of a plurality of image sensors such as a three-plate type image sensor. Good.
  • each image sensor is not limited to one for each of RGB, and may be all monochrome, or all may be equipped with a color filter such as a Bayer array.
  • a color filter such as a Bayer array
  • noise reduction can be performed by making all arrays the same and matching the positional relationship of the pixels with each other, and the positional relationship of each RGB image sensor. It is also possible to improve the image quality by using the effect of the spatial pixel shift.
  • a plurality of individual eye images and a plurality of viewpoint images are included in each image sensor, that is, the captured image output from one image sensor.
  • the RAW signal processing unit 352 performs processing related to signal processing for an image in RAW format.
  • the RAW signal processing unit 352 can acquire a RAW format captured image (whole image) supplied from the image sensor 351.
  • the RAW signal processing unit 352 can perform predetermined signal processing on the acquired captured image.
  • the content of this signal processing is arbitrary. For example, defect correction, noise reduction, compression (encoding), or the like may be used, or signal processing other than these may be performed.
  • the RAW signal processing unit 352 can also perform a plurality of signal processing on the captured image.
  • the signal processing that can be performed on the RAW format image is an image in which the image after the signal processing maintains the positional relationship of the arrangement of the color filters of the image sensor 351 as described above (multi-plate image pickup device). In the case of, it is limited to those that are in the state of R image, G image, and B image).
  • the RAW signal processing unit 352 supplies a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the storage unit 362 via the bus 360, and supplies the storage medium. It can be stored in 363. Further, the RAW signal processing unit 352 supplies a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the communication unit 364 via the bus 360. Can be sent. Further, the RAW signal processing unit 352 supplies the signal-processed RAW format captured image (RAW') or the compressed (encoded) captured image (compressed RAW) to the file file section 365 via the bus 360. , Can be filed.
  • RAW' signal-processed RAW format image
  • compressed RAW compressed (encoded)
  • the RAW signal processing unit 352 transmits a signal-processed RAW format image (RAW') or a compressed (encoded) image (compressed RAW) to the image reconstruction processing unit 357 via the bus 360. It can be supplied and image reconstruction processing can be performed. When it is not necessary to distinguish between RAW, RAW', and compressed RAW, they are referred to as RAW images.
  • RAW images When it is not necessary to distinguish between RAW, RAW', and compressed RAW, they are referred to as RAW images.
  • the area extraction unit 353 performs processing related to extraction of a part of the area (cutting out a partial image) from the captured image in the RAW format.
  • the region extraction unit 353 can acquire an captured image (whole image) in RAW format from the image sensor 351. Further, the region extraction unit 353 can acquire information (also referred to as extraction region information) indicating a region to be extracted from the captured image, which is supplied from the region identification unit 356. Then, the region extraction unit 353 can extract a part of the region (cut out a partial image) from the captured image based on the extraction region information.
  • the region extraction unit 353 can cut out an individual eye image with the position of each individual eye lens 31 i as a viewpoint from the captured image (overall image). Further, in the captured image, the region in which the individual eye image is cut out (the region corresponding to the individual eye image) is also referred to as the individual eye image region.
  • the region extraction unit 353 acquires viewpoint-related information, which is information used for specifying the individual eye image region, supplied from the region identification unit 356 as extraction region information, and obtains the viewpoint-related information from the captured image. It is possible to extract each individual eye image region indicated in the information, that is, to cut out each individual eye image. Then, the area extraction unit 353 can supply the cut out individual eye image (RAW format) to the camera signal processing unit 354.
  • viewpoint-related information which is information used for specifying the individual eye image region
  • the viewpoint-related information may be, for example, a value corresponding to the above-mentioned individual difference reflection position information or mounting error reflection position information, but is not limited to this, and distinction such as individual difference and mounting error and them can be defined. It is not necessary to set it with the intention of correcting it, and even if it is information indicating the relationship between the area of the individual eye image on the captured image and the position of the spot light, there are various errors and other factors as described above. It is possible to make corrections that take into account errors.
  • the region extraction unit 353 can synthesize each individual eye image cut out from the captured image (whole image) to generate a composite image.
  • the composite image is one in which each individual eye image is combined into one data or one image.
  • the region extraction unit 353 can generate a single image in which each individual eye image is arranged in a plane as a composite image.
  • the region extraction unit 353 can supply the generated composite image (RAW format) to the camera signal processing unit 354.
  • the area extraction unit 353 can supply the entire image to the camera signal processing unit 354.
  • the region extraction unit 353 extracts a part of the region including all the individual eye images from the acquired captured image (that is, cuts out the partial image including all the individual eye images), and the cut out partial image (that is, the partial image including all the individual eye images is cut out). That is, an image in which a part or all of the region outside the individual eye image included in the captured image is deleted) can be supplied to the camera signal processing unit 354 as an entire image in the RAW format.
  • the location (range) of the region to be extracted in this case may be predetermined in the region extraction unit 353, or may be specified by the viewpoint-related information supplied from the region identification unit 356.
  • the region extraction unit 353 supplies the acquired captured image (that is, the entire captured image, not the partial image including all the cut out individual eye images) to the camera signal processing unit 354 as the entire image in the RAW format. You can also do it.
  • the region extraction unit 353 uses the bus 360 to capture a partial image (whole image, individual eye image, or composite image) in RAW format cut out from the captured image as described above via the bus 360, as in the case of the image sensor 351. It can be supplied to the storage unit 362, the communication unit 364, the file conversion unit 365, the image reconstruction processing unit 357, and the like.
  • the area extraction unit 353 supplies a RAW format partial image (whole image, individual eye image, or composite image) to the RAW signal processing unit 352 to perform predetermined signal processing or compress (encode) it. ) Can also be done.
  • the RAW signal processing unit 352 communicates the signal-processed RAW format image (RAW') or the compressed (encoded) image (compressed RAW) with the storage unit 362 via the bus 360. It can be supplied to the unit 364, the file conversion unit 365, the image reconstruction processing unit 357, and the like.
  • At least one of the whole image, the individual eye image, and the composite image may be a RAW image.
  • the camera signal processing unit 354 performs processing related to camera signal processing for the image.
  • the camera signal processing unit 354 can acquire an image (whole image, individual eye image, or composite image) supplied from the area extraction unit 353.
  • the camera signal processing unit 354 can perform camera signal processing (camera process) on the acquired image.
  • the camera signal processing unit 354 separates each RGB color from the image to be processed and generates an R image, a G image, and a B image having the same number of pixels as the image to be processed. (Demosaic processing when a mosaic color filter such as a bayer arrangement is used) and YC conversion processing for converting the color space of the image after color separation from RGB to YC (brightness / color difference) can be performed.
  • the camera signal processing unit 354 can perform processing such as defect correction, noise reduction, AWB (Automatic White Balance), or gamma correction on the image to be processed. Further, the camera signal processing unit 354 can also compress (encode) the image to be processed. Of course, the camera signal processing unit 354 can perform a plurality of camera signal processing on the image to be processed, and can also perform camera signal processing other than the above-described example.
  • the camera signal processing unit 354 acquires an image in RAW format, performs color separation processing and YC conversion on the image, and outputs an image (YC) in YC format.
  • This image may be a whole image, an individual eye image, or a composite image.
  • the image (YC) in this YC format may or may not be encoded. That is, the data output from the camera signal processing unit 354 may be encoded data or unencoded image data.
  • At least one of the whole image, the individual eye image, and the composite image may be an image in the YC format (also referred to as a YC image).
  • the image output by the camera signal processing unit 354 is not completely developed, and is related to lossy image quality adjustment (color adjustment) such as gamma correction and color matrix as an image (YC) in YC format. It may not have been partially or completely treated. In this case, the YC format image (YC) can be returned to the RAW format image with almost no deterioration in the latter stage or during playback.
  • lossy image quality adjustment color adjustment
  • YC format image (YC) can be returned to the RAW format image with almost no deterioration in the latter stage or during playback.
  • the camera signal processing unit 354 can supply the YC format image (YC) subjected to the camera signal processing to the storage unit 362 via the bus 360 and store it in the storage medium 363. Further, the camera signal processing unit 354 can supply the YC format image (YC) subjected to the camera signal processing to the communication unit 364 via the bus 360 and transmit it to the outside. Further, the camera signal processing unit 354 can supply the YC format image (YC) subjected to the camera signal processing to the file conversion unit 365 via the bus 360 and file the image. Further, the camera signal processing unit 354 can supply the YC format image (YC) subjected to the camera signal processing to the image reconstruction processing unit 357 via the bus 360 to perform the image reconstruction processing.
  • the camera signal processing unit 354 can also supply a YC format image (YC) to the through image generation unit 355.
  • YC YC format image
  • the camera signal processing unit 354 When a RAW format image (whole image, individual eye image, or composite image) is stored in the storage medium 363, the camera signal processing unit 354 reads the RAW format image from the storage medium 363 and signals it. It may be possible to apply the treatment. In this case as well, the camera signal processing unit 354 displays the YC format image (YC) subjected to the camera signal processing via the bus 360 via the display unit 361, the storage unit 362, the communication unit 364, the file conversion unit 365, or the image. It can be supplied to the reconstruction processing unit 357 and the like.
  • YC YC format image
  • the camera signal processing unit 354 performs camera signal processing on the RAW format captured image (whole image) output from the image sensor 351, and the area extraction unit is used from the captured image (whole image) after the camera signal processing. 353 may be made to extract a part of the region.
  • the through image generation unit 355 performs processing related to generation of a through image (image).
  • the through image is an image displayed for the user to confirm the image being prepared for shooting at the time of shooting or preparation for shooting (during non-recording).
  • Through images are also called live view images or EE (Electronic to Electronic) images.
  • EE Electronic to Electronic
  • the through image generation unit 355 can acquire an image (whole image, individual eye image, or composite image) supplied from the camera signal processing unit 354. Further, the through image generation unit 355 uses the acquired image to perform image size (resolution) conversion for converting to an image size according to the resolution of the display unit 361, thereby producing a through image which is a display image. Can be generated. The through image generation unit 355 can supply the generated through image to the display unit 361 via the bus 360 and display it.
  • the area identification unit 356 performs processing related to identification (setting) of the area extracted from the captured image by the area extraction unit 353. For example, the area identification unit 356 acquires the viewpoint-related information VI that specifies the area to be extracted from the captured image, and supplies the area extraction unit 353 as the extraction area information.
  • the viewpoint-related information VI may be, for example, a value corresponding to the above-mentioned individual difference reflection position information, but is not limited to this.
  • the viewpoint-related information VI represents, for example, a design position of an individual eye image in a captured image, a position at the time of capturing a known captured image, and the like.
  • the viewpoint-related information VI includes, for example, individual eye area information indicating an individual eye image area in a captured image.
  • the individual eye area information may represent the individual eye image area in any way.
  • the coordinates also referred to as the center coordinates of the individual eye image area
  • the individual eye image region may be represented by the number). That is, the individual eye region information may include the center coordinates of the individual eye image region in the captured image and the resolution of the individual eye image region.
  • the location of the individual eye image area in the entire image can be specified from the center coordinates of the individual eye image area and the resolution (number of pixels) of the individual eye image area.
  • the individual eye area information is set for each individual eye image area. That is, when the captured image includes a plurality of individual eye images, the viewpoint related information VI is the viewpoint identification information (for example, ID) for identifying the individual eye image (region) for each individual eye image (each individual eye image region). And individual eye area information may be included.
  • the viewpoint related information VI is the viewpoint identification information (for example, ID) for identifying the individual eye image (region) for each individual eye image (each individual eye image region).
  • individual eye area information may be included.
  • the viewpoint-related information VI may include any other information.
  • the viewpoint-related information VI may include viewpoint time information indicating the time when the captured image from which the individual eye image is extracted is captured.
  • the area identification unit 356 can supply the viewpoint-related information VI to the bus 360.
  • the area identification unit 356 can supply the viewpoint-related information VI to the storage unit 362 via the bus 360 and store it in the storage medium 363.
  • the area identification unit 356 can supply the viewpoint-related information VI to the communication unit 364 via the bus 360 and transmit it.
  • the area identification unit 356 can supply the viewpoint-related information VI to the file conversion unit 365 via the bus 360 and file it.
  • the area specifying unit 356 can supply the viewpoint-related information VI to the image reconstruction processing unit 357 via the bus 360 and use it for the image reconstruction processing.
  • the area identification unit 356 may acquire the viewpoint-related information VI from the control unit 381 and supply it to the area extraction unit 353 or the bus 360.
  • the control unit 381 reads out the viewpoint-related information VI stored in the storage medium 383 via the storage unit 382 and supplies it to the area identification unit 356.
  • the area identification unit 356 supplies the viewpoint-related information VI to the area extraction unit 353 and the bus 360.
  • the viewpoint-related information VI supplied to the storage unit 362, the communication unit 364, or the file conversion unit 365 via the bus 360 in this way is associated with an image (whole image, individual eye image, or composite image) there. ..
  • the storage unit 362 can associate the supplied viewpoint-related information VI with an image (whole image, individual eye image, or composite image) and store it in the storage medium 363.
  • the communication unit 364 can associate the supplied viewpoint-related information VI with an image (whole image, individual eye image, or composite image) and transmit it to the outside.
  • the file forming unit 365 can associate the supplied viewpoint-related information VI with an image (whole image, individual eye image, or composite image) and generate one file containing them.
  • the area identification unit 356 acquires a RAW format captured image supplied from the image sensor 351, generates a viewpoint-related information VI'based on the captured image, and extracts the generated viewpoint-related information VI'as an area. It may be supplied to the section 353 or the bus 360.
  • the area specifying unit 356 identifies each individual eye image area from the captured image and indicates the individual eye image area (for example, the center coordinates of the individual eye image area in the captured image and the resolution of the individual eye image area). Generates viewpoint-related information VI'(indicating the ocular image area). Then, the area identification unit 356 supplies the generated viewpoint-related information VI'to the area extraction unit 353 and the bus 360.
  • the spot light information SI' generated by the region identification unit 356 based on the captured image may be supplied.
  • the spot light information is information related to the spot light image, and may be, for example, a value corresponding to the above-mentioned individual difference spot light position information or mounting error spot light position information, but is not limited to this.
  • the area identification unit 356 acquires the viewpoint-related information VI from the control unit 381, acquires the captured image in the RAW format supplied from the image sensor 351 and generates the spot light information SI'based on the captured image to generate the viewpoint.
  • the spot light information SI' may be added to the related information VI and supplied to the area extraction unit 353 or the bus 360.
  • the control unit 381 reads out the viewpoint-related information VI stored in the storage medium 383 via the storage unit 382 and supplies it to the area identification unit 356.
  • the area specifying unit 356 corrects the viewpoint-related information VI using the spot light information SI', and generates the corrected viewpoint-related information VI'.
  • the area identification unit 356 supplies the viewpoint-related information VI'to the area extraction unit 353 and the bus 360.
  • the area identification unit 356 acquires the viewpoint-related information VI from the control unit 381, acquires a RAW format captured image supplied from the image sensor 351 and generates spot light information SI'based on the captured image.
  • the viewpoint-related information VI' may be corrected using the spot light information SI', and the corrected viewpoint-related information VI' may be supplied to the area extraction unit 353 or the bus 360.
  • the control unit 381 reads out the viewpoint-related information VI stored in the storage medium 383 via the storage unit 382 and supplies it to the area identification unit 356.
  • the area identification unit 356 corrects the viewpoint-related information VI by using the spot light information SI'to generate the viewpoint-related information VI'.
  • the area identification unit 356 supplies the viewpoint-related information VI'to the area extraction unit 353 and the bus 360.
  • the spot light information SI' may have, for example, a value corresponding to the above-mentioned mounting error spot light position information or spot light image information, but is not limited to this.
  • the spot light information SI' represents, for example, the position and / or spot size of the spot light image reflected in the captured image.
  • the feeding portion 23 due to the movement of the feeding portion 23 such as the deviation between the direction perpendicular to the light receiving surface of the image sensor 351 and the moving direction of the feeding portion 23 and the rotation deviation of the individual eye lens 31 i due to the movement of the feeding portion 23. Due to various deviations, the position of the individual eye image in the captured image may shift as the feeding portion 23 moves.
  • the image is cut out (extracted) from the position represented by the viewpoint-related information VI of the captured image, and the (original) individual eye image is displayed.
  • An image of a region deviated from the individual eye image region is cut out as an individual eye image.
  • the region identification unit 356 detects the positional deviation (amount) of the individual eye image in the captured image by using the position and / or spot size of the spot light image represented by the spot light information SI'generated from the captured image. be able to.
  • the area specifying unit 356 can obtain information for correcting the position for cutting out the individual eye image from the captured image according to the positional deviation of the individual eye image and supply it to the area extraction unit 353.
  • the area specifying unit 356 corrects the viewpoint-related information VI so as to represent the position of the individual eye image after the position shift according to the position shift of the individual eye image, and the viewpoint-related information VI obtained by the correction. 'Is supplied to the region extraction unit 353.
  • the storage medium 383 stores, for example, the viewpoint-related information VI and the spot light information SI.
  • the spot light information SI may be, for example, a value corresponding to the above-mentioned individual difference spot light position information, but is not limited to this.
  • the spot light information SI represents, for example, a design position and / or spot size of a spot light image in a captured image, a position and / or spot size of a known captured image at the time of imaging, and the like.
  • the difference between the spot light information SI and the spot light information SI'generated from the captured image can be detected as the positional deviation of the individual eye image in the captured image.
  • the region identification unit 356 corrects the viewpoint-related information VI by using the positional deviation of the individual eye image in the captured image, that is, the difference between the spot light information SI and the spot light information SI'generated from the captured image.
  • the viewpoint-related information VI'that corrects (corrects) the misalignment of the individual eye image in the captured image can be generated.
  • the image reconstruction processing unit 357 performs processing related to image reconstruction.
  • the image reconstruction processing unit 357 can acquire an image in YC format (whole image, individual eye image, or composite image) from the camera signal processing unit 354 and the storage unit 362 via the bus 360. Further, the image reconstruction processing unit 357 can acquire viewpoint-related information from the area identification unit 356 and the storage unit 362 via the bus 360.
  • YC format whole image, individual eye image, or composite image
  • the image reconstruction processing unit 357 uses the acquired image and the viewpoint-related information associated with the acquired image to generate, for example, depth information or an image focused on an arbitrary subject (Image processing such as refocusing (reconstruction) can be performed.
  • Image processing such as refocusing (reconstruction) can be performed.
  • the image reconstruction processing unit 357 performs processing such as generation of depth information and refocusing using each individual eye image.
  • the image reconstruction processing unit 357 extracts each individual eye image from the captured image or the composite image, and uses the extracted individual eye image to generate depth information. Performs processing such as focusing.
  • the image reconstruction processing unit 357 can supply the generated depth information and the refocused image as the processing result to the storage unit 362 via the bus 360 and store them in the storage medium 363. Further, the image reconstruction processing unit 357 can supply the generated depth information and the refocused image as the processing result to the communication unit 364 via the bus 360 and transmit them to the outside. Further, the image reconstruction processing unit 357 can supply the generated depth information and the refocused image as the processing result to the file conversion unit 365 via the bus 360 to create a file.
  • the bus 360 includes an image sensor 351, a RAW signal processing unit 352, an area extraction unit 353, a camera signal processing unit 354, a through image generation unit 355, an area identification unit 356, an image reconstruction processing unit 357, a display unit 361, and a storage unit. 362, the communication unit 364, and the file conversion unit 365 are connected.
  • the bus 360 functions as a transmission medium (transmission path) for various data exchanged between these blocks.
  • the bus 360 may be realized by wire or wirelessly.
  • the display unit 361 is composed of, for example, a liquid crystal panel, an organic EL (Electro Luminescence) panel, or the like, and is provided integrally with or separately from the housing of the camera system 300.
  • the display unit 361 may be provided on the back surface of the housing of the camera system 300 (the surface opposite to the surface on which the lens unit 320 is provided).
  • the display unit 361 performs processing related to image display. For example, the display unit 361 can acquire a through image in the YC format supplied from the through image generation unit 355, convert it to an RGB format, and display it. In addition, the display unit 361 can also display information such as menus and settings of the camera system 300.
  • the display unit 361 can acquire and display a YC format image (whole image, individual eye image, or composite image) supplied from the storage unit 362.
  • the display unit 361 can acquire and display a thumbnail image in the YC format supplied from the storage unit 362.
  • the display unit 361 can acquire and display a YC format image (whole image, individual eye image, or composite image) supplied from the camera signal processing unit 354.
  • the storage unit 362 controls the storage of the storage medium 363 made of, for example, a semiconductor memory or the like.
  • the storage medium 363 may be a removable storage medium or a storage medium built in the camera system 300.
  • the storage unit 362 may store an image (whole image, individual eye image, or composite image) supplied via the bus 360 in the storage medium 363 in response to an operation of the control unit 381 or the user. it can.
  • the storage unit 362 can acquire a RAW format image (whole image, individual eye image, or composite image) supplied from the image sensor 351 or the area extraction unit 353 and store it in the storage medium 363.
  • the storage unit 362 is a signal-processed RAW format image (whole image, individual eye image, or composite image) supplied from the RAW signal processing unit 352 or a compressed (encoded) RAW format image (encoded).
  • An entire image, an individual image, or a composite image) can be acquired and stored in the storage medium 363.
  • the storage unit 362 can acquire a YC format image (whole image, individual eye image, or composite image) supplied from the camera signal processing unit 354 and store it in the storage medium 363.
  • the storage unit 362 can acquire the viewpoint-related information supplied from the area identification unit 356 and associate it with the above-mentioned image (whole image, individual eye image, or composite image). That is, the storage unit 362 can store the image (whole image, individual eye image, or composite image) and the viewpoint-related information in the storage medium 363 in association with each other. That is, the storage unit 362 functions as an association unit that associates at least one of the whole image, the individual eye image, and the composite image with the viewpoint-related information.
  • the storage unit 362 can acquire the depth information and the refocused image supplied from the image reconstruction processing unit 357 and store them in the storage medium 363. Further, the storage unit 362 can acquire the file supplied from the file conversion unit 365 and store it in the storage medium 363.
  • This file contains, for example, an image (whole image, individual eye image, or composite image) and viewpoint-related information. That is, in this file, the image (whole image, individual eye image, or composite image) and the viewpoint-related information are associated with each other.
  • the storage unit 362 reads data, files, etc. stored in the storage medium 363 in response to operations of the control unit 381 and the user, and the camera signal processing unit 354 and the display unit via the bus 360. It can be supplied to 361, the communication unit 364, the file conversion unit 365, the image reconstruction processing unit 357, and the like.
  • the storage unit 362 can read an image in YC format (whole image, individual eye image, or composite image) from the storage medium 363, supply it to the display unit 361, and display it.
  • the storage unit 362 can read an image in RAW format (whole image, individual eye image, or composite image) from the storage medium 363 and supply it to the camera signal processing unit 354 to perform camera signal processing.
  • the storage unit 362 reads out the image (whole image, individual eye image, or composite image) associated with each other and stored in the storage medium 363, and the data or file of the viewpoint-related information, and causes the other processing unit. Can be supplied.
  • the storage unit 362 reads images (whole image, individual eye image, or composite image) associated with each other from the storage medium 363 and viewpoint-related information, and supplies them to the image reconstruction processing unit 357. Processing such as generation of depth information and refocusing can be performed.
  • the storage unit 362 reads out the images (whole image, individual eye image, or composite image) associated with each other from the storage medium 363 and the viewpoint-related information, and supplies them to the communication unit 364 for transmission. Can be done.
  • the storage unit 362 reads the images (whole image, individual eye image, or composite image) associated with each other from the storage medium 363 and the viewpoint-related information, supplies them to the file conversion unit 365, and files them. Can be made to.
  • the communication unit 364 communicates with a server on the Internet, a PC on a wired or wireless LAN, another external device, or the like by an arbitrary communication method.
  • the communication unit 364 receives data or files such as an image (whole image, individual eye image, or composite image) or viewpoint-related information by the communication in response to the control of the control unit 381 or the operation of the user. It can be transmitted to a communication partner (external device) by a streaming method, an upload method, or the like.
  • the communication unit 364 can acquire and transmit a RAW format image (whole image, individual eye image, or composite image) supplied from the image sensor 351 and the area extraction unit 353.
  • the communication unit 364 is a signal-processed RAW format image (whole image, individual eye image, or composite image) supplied from the RAW signal processing unit 352 or a compressed (encoded) image (whole image,).
  • An individual image or a composite image can be acquired and transmitted.
  • the communication unit 364 can acquire and transmit a YC format image (whole image, individual eye image, or composite image) supplied from the camera signal processing unit 354.
  • the file conversion unit 365 performs processing related to file generation.
  • the file creation unit 365 can acquire a RAW format image (whole image, individual eye image, or composite image) supplied from the image sensor 351 or the area extraction unit 353.
  • the file conversion unit 365 is a signal-processed RAW format image (whole image, individual eye image, or composite image) supplied from the RAW signal processing unit 352 or a compressed (encoded) RAW format image. (Whole image, individual eye image, or composite image) can be acquired.
  • the file conversion unit 365 can acquire a YC format image (whole image, individual eye image, or composite image) supplied from the camera signal processing unit 354. Further, for example, the file conversion unit 365 can acquire the viewpoint-related information supplied from the area identification unit 356.
  • the file conversion unit 365 can acquire the depth information and the refocused image supplied from the image reconstruction processing unit 357 and file them. Further, the file forming unit 365 can generate one file from the images (whole image, individual eye image, or composite image) associated with each other and the viewpoint-related information supplied from the storage unit 362.
  • the file conversion unit 365 can generate a thumbnail image of an image to be filed (for example, an individual eye image) and include it in the generated file. That is, the file conversion unit 365 can associate this thumbnail image with an image (whole image, individual eye image, or composite image) or viewpoint-related information by creating a file.
  • the file conversion unit 365 can supply the generated files (images associated with each other and viewpoint-related information) to the storage unit 362 via, for example, the bus 360, and store the generated files in the storage medium 363.
  • the file conversion unit 365 can supply the generated files (images associated with each other and viewpoint-related information) to the communication unit 364 via, for example, the bus 360, and cause the communication unit 364 to transmit the generated files.
  • the control unit 381 performs control processing related to the camera system 300. That is, the control unit 381 can control each unit of the camera system 300 and execute the process. For example, the control unit 381 is able to controls the lens unit 320 via an optical system control unit 384 (ommatidium lens 31 i), to perform the setting of the optical system to an imaging such as aperture and a focus position. Further, the control unit 381 can control the image sensor 351 and cause the image sensor 351 to perform imaging (photoelectric conversion) to generate an captured image.
  • an optical system control unit 384 optical system control unit 384
  • imaging photoelectric conversion
  • control unit 381 can supply the viewpoint-related information VI and the spot light information SI to the area identification unit 356 to specify the area to be extracted from the captured image.
  • the control unit 381 can read out the viewpoint-related information VI and the spot light information SI stored in the storage medium 383 via the storage unit 382 and supply them to the area identification unit 356.
  • control unit 381 can acquire an image via the bus 360 and control the aperture via the optical system control unit 384 based on the brightness of the image. Further, the control unit 381 can control the focus via the optical system control unit 384 based on the sharpness of the image. Further, the control unit 381 can control the camera signal processing unit 354 based on the RGB ratio of the image to control the white balance gain.
  • the storage unit 382 controls the storage of the storage medium 383 made of, for example, a semiconductor memory or the like.
  • the storage medium 383 may be a removable storage medium or a built-in memory.
  • the viewpoint-related information VI is stored in the storage medium 383.
  • the viewpoint-related information VI is information corresponding to the lens unit 320 (each individual lens 31) and the image sensor 351. That is, the viewpoint-related information VI is information about an individual eye image with the position of each individual eye lens 31 of the lens unit 320 as a viewpoint, and is information used to specify the individual eye image region.
  • the spot light information SI can be further stored in the storage medium 383.
  • the storage unit 382 can read out the viewpoint-related information VI and the spot light information SI stored in the storage medium 383 and supply them to the control unit 381 in response to the operation of the control unit 381 or the user.
  • the storage medium 383 may be a ROM or a rewritable memory such as a RAM or a flash memory. In the case of a rewritable memory, the storage medium 383 can store arbitrary information.
  • the storage unit 382 and the storage medium 383 may be replaced by the storage unit 362 and the storage medium 363. That is, the information to be stored in the storage medium 383 described above (viewpoint-related information VI, etc.) may be stored in the storage medium 363. In that case, the storage unit 382 and the storage medium 383 may be omitted.
  • the optical system control unit 384 controls the lens unit 320 (the extension unit 23, each individual eye lens 31 i, etc.) according to the control of the control unit 381.
  • the optical system control unit 384 can control the individual eye lens 31 i and the aperture, and can control the focal length and / or F value of each individual eye lens 31 i .
  • the optical system control unit 384 can control the focus (focal length) of the lens unit 320 (of each individual lens 31 i ).
  • the optical system control unit 384 may be able to control the aperture of each individual eye lens 31 i (F value).
  • the camera system 300 is provided with a mechanism (physical configuration) for controlling the focal length by manually operating the focus ring provided on the lens barrel. You may. In that case, the optical system control unit 384 can be omitted.
  • the subject is imaged by the image sensor 351 via the lens unit 320 (plurality of individual eye lenses 31 i ), and the individual eye image which is an image corresponding to each individual eye lens 31 i is obtained.
  • a captured image including the image is generated.
  • an individual eye image with the position of the individual eye lens 31 i as a viewpoint is generated. Since the plurality of individual eye images extracted from one captured image are images of different viewpoints, these individual eye images are used, for example, for depth estimation by multi-eye matching and suppression of multi-lens mounting error. It is possible to perform processing such as correction of. However, in order to perform these processes, information such as the relative position between each individual eye image is required.
  • the camera system 300 the captured image whose optical path is produced by imaging by the image sensor 351 as a single image sensor of an object through a plurality of single-eye lenses 31 i which are independent of each other, extracted from the captured image Areas of a plurality of individual eye images in the captured image with respect to a plurality of individual eye images with each of the positions of the plurality of individual eye lenses 31 i as a viewpoint, or a composite image obtained by synthesizing the plurality of individual eye images.
  • Associate viewpoint-related information which is information used to identify.
  • the association unit 70 acquires viewpoint-related information corresponding to an image (whole image, individual eye image, or composite image) from the area identification unit 356, and associates the image with the viewpoint-related information.
  • the storage unit 362 stores at least one of the whole image, the individual eye image, and the composite image in the storage medium 363 in association with the viewpoint-related information.
  • the communication unit 364 transmits at least one of the whole image, the individual eye image, and the composite image in association with the viewpoint-related information.
  • the file forming unit 365 associates them by generating one file from at least one of the whole image, the individual eye image, and the composite image and the viewpoint-related information.
  • the camera system 300 not only the camera system 300 but also other than the camera system 300 can perform high-precision image processing on individual eye images and the like by using the viewpoint-related information.
  • the individual eye image etc. can be associated with the viewpoint-related information VI. Further, in the association, the individual eye image or the like can be associated with the corrected viewpoint-related information VI'corrected from the viewpoint-related information VI. Further, in the association, the individual eye image or the like can be associated with the viewpoint-related information VI, the spot light information SI, and the spot light information SI'. Further, in the association, the individual eye image or the like can be associated with the viewpoint-related information VI and the difference between the spot light information SI and the spot light information SI'.
  • the mounting position of the lens unit 320 may shift due to a manufacturing error. Further, the mounting position of the lens portion 320 may shift with the movement of the feeding portion 23. If the mounting position of the lens unit 320 shifts and a mounting error occurs at the mounting position, the accuracy of cutting out the individual eye image from the captured image and calculating the parallax information using the individual eye image is lowered.
  • the region identification unit 356 detects the incident range of the spot light emitted from the light sources 32L and 32R to the image sensor 351 from the captured image, that is, the spot light image reflected in the captured image, and the spot related to the spot light image.
  • the area identification unit 356 determines the difference between the spot light information SI'and the spot light information SI', for example, the position of the spot light image represented by the spot light information SI'and the position of the spot light image represented by the spot light information SI'.
  • the difference can be detected as a mounting error.
  • the area extraction unit 353 can accurately cut out the individual eye image by cutting out the individual eye image from the captured image using the viewpoint-related information VI'. Further, the viewpoint-related information VI'can be used to accurately identify the position of the viewpoint of the individual eye image, and the position of the viewpoint and the individual eye image can be used to accurately obtain the parallax information.
  • the area specifying unit 356 that generates the viewpoint-related information VI'by correcting the viewpoint-related information VI by using the difference between the spot light information SI'and the spot light information SI' as the mounting error is the detection unit. It can also be said that it is a processing unit that performs a process of correcting the viewpoint-related information VI according to the detection result, that is, the optical image on the captured image.
  • FIG. 31 is a block diagram showing an example of an electrical configuration of a second other embodiment of a camera system to which the present technology is applied.
  • the camera system 400 is a camera system with interchangeable lenses.
  • the camera system 400 is composed of a camera body 410 and a multi-lens interchangeable lens 420 (lens unit).
  • the camera system 400 In a state where the multi-lens interchangeable lens 420 is attached to the camera body 410, the camera system 400 has almost the same configuration as the camera system 300, and basically performs the same processing. That is, the camera system 400 functions as an imaging device similar to the camera system 300, which images a subject and generates image data of the captured image.
  • the camera body 410 has a configuration in which the multi-lens interchangeable lens 420 and other general interchangeable lenses can be attached and detached in the same way that the camera body 10 can attach and detach the multi-lens interchangeable lens 20 and the like.
  • the multi-lens interchangeable lens 420 has a feeding portion 23.
  • Feeding unit 23, as described in FIGS. 1 and 2 have, ommatidium lens 31 0 to 31 4, and the light source 32L and 32R.
  • the individual eye lenses 31 i are configured so that the optical paths of light passing through them are independent of each other, as in the case of the camera system 300. That is, the light passing through the ommatidium lens 31 i is irradiated on different positions of the light receiving surface of the image sensor 351 without entering the other ommatidium lens 31 i (e.g. effective pixel region). At least, the optical axes of each individual lens 31 i are located at different positions on the light receiving surface of the image sensor 351, and at least a part of the light passing through each individual lens 31 i is on the light receiving surface of the image sensor 351. Irradiate different positions.
  • the camera system 400 as in the case of the camera system 300, the captured image generated by the image sensor 351 (output the entire image to the image sensor 351), was formed through the ommatidium lens 31 i
  • the images of the subject are formed at different positions.
  • the ommatidium images having viewpoints the position of the ommatidium lens 31 i is obtained. That is, a plurality of individual eye images can be obtained by attaching the multi-eye interchangeable lens 420 to the camera body 410 and photographing the subject.
  • the camera body 410 includes an image sensor 351, a RAW signal processing unit 352, an area extraction unit 353, a camera signal processing unit 354, a through image generation unit 355, an area identification unit 356, an image reconstruction processing unit 357, and a bus. It has 360, a display unit 361, a storage unit 362, a communication unit 364, a file conversion unit 365, a control unit 381, and a storage unit 382. That is, the camera body 410 has a configuration other than the lens unit 320 and the optical system control unit 384 of the camera system 300.
  • the camera body 410 has a communication unit 441 in addition to the above configuration.
  • the communication unit 441 communicates with the multi-lens interchangeable lens 420 (communication unit 451) correctly mounted on the camera body 410, and exchanges information.
  • the communication unit 441 can communicate with the multi-lens interchangeable lens 420 by any communication method.
  • the communication may be wired communication or wireless communication.
  • the communication unit 441 is controlled by the control unit 381, communicates with the multi-lens interchangeable lens 420 (communication unit 451), and acquires information supplied from the multi-lens interchangeable lens 420. Further, for example, the communication unit 441 supplies the information supplied from the control unit 381 to the multi-lens interchangeable lens 420 by communicating with the multi-lens interchangeable lens 420 (communication unit 451).
  • the information exchanged with the multi-lens interchangeable lens 420 by the communication unit 441 is arbitrary. For example, it may be data or control information such as commands and control parameters.
  • the multi-lens interchangeable lens 420 further includes an optical system control unit 384, a communication unit 451 and a storage unit 452.
  • the communication unit 451 communicates with the communication unit 441 in the multi-lens interchangeable lens 420 correctly mounted on the camera body 410. Through this communication, information is exchanged between the camera body 410 and the multi-lens interchangeable lens 420.
  • the communication method of the communication unit 451 is arbitrary and may be wired communication or wireless communication. Further, the information exchanged by this communication may be data or control information such as commands and control parameters.
  • the communication unit 451 acquires control information and various other information transmitted from the camera body 410 via the communication unit 441.
  • the communication unit 451 the information acquired in this way, if necessary, fed to the optical system control unit 384, can be used to control 31 i such feeding unit 23 and the ommatidium lenses.
  • the communication unit 451 can supply the acquired information to the storage unit 452 and store it in the storage medium 453. Further, the communication unit 451 can read the information stored in the storage medium 453 via the storage unit 452 and transmit it to the camera body 410 (communication unit 441).
  • the storage location of the viewpoint-related information VI and the spot light information SI corresponding to the multi-lens interchangeable lens 420 is arbitrary.
  • the viewpoint-related information VI and the spot light information SI may be stored in the storage medium 453 of the multi-lens interchangeable lens 420.
  • the control unit 381 of the camera body 410 accesses the storage unit 452 via the communication unit 451 and the communication unit 441, and causes the viewpoint-related information VI and the spot light information SI to be read from the storage medium 453. You may.
  • the control unit 381 may supply the viewpoint-related information VI and the spot light information SI to the area identification unit 356 and set them.
  • the multi-lens interchangeable lens 420 when the multi-lens interchangeable lens 420 is correctly attached to the camera body 410, when the power is turned on to the camera system 400, or when the drive mode of the camera system 400 shifts to an imaging mode capable of imaging a subject, etc. Such processing may be performed at an arbitrary timing or trigger before the imaging.
  • the camera body 410 can perform image processing on the captured image and the individual eye image by using the viewpoint-related information VI and the spot light information SI corresponding to the multi-lens interchangeable lens 420. ..
  • control unit 381 supplies and stores the viewpoint-related information VI and the spot light information SI of the multi-eye interchangeable lens 420 acquired from the multi-lens interchangeable lens 420 to the storage unit 382 together with the ID of the multi-eye interchangeable lens 420.
  • the storage unit 382 stores the supplied ID in the storage medium 383 in association with the viewpoint-related information VI and the spot light information SI. That is, the camera body 410 can manage the viewpoint-related information VI and the spot light information SI and ID of the multi-lens interchangeable lens 420. The camera body 410 can manage the viewpoint-related information VI and the spot light information SI of the plurality of multi-lens interchangeable lenses 420.
  • the control unit 381 acquires the ID of the multi-lens interchangeable lens 420 from the storage unit 382 (storage medium 383) to obtain the viewpoint-related information VI and the spot light information corresponding to the ID. SI can be read. That is, the control unit 381 can easily acquire the viewpoint-related information VI and the spot light information SI corresponding to the multi-lens interchangeable lens 420.
  • the storage medium 383 may store the viewpoint-related information VI and the spot light information SI in advance for each of the plurality of multi-eye interchangeable lenses 420 in association with the ID of the multi-eye interchangeable lens 420. That is, in this case, the camera body 410 manages the viewpoint-related information VI and the spot light information SI of the plurality of multi-eye interchangeable lenses 420 in advance.
  • control unit 381 uses the ID of the multi-lens interchangeable lens 420 correctly mounted on the camera body 410, and the viewpoint-related information VI and the viewpoint-related information VI corresponding to the ID are transmitted from the storage unit 382 (storage medium 383).
  • the spot light information SI can be easily read out.
  • the mounting position of the multi-lens interchangeable lens 420 may shift due to manufacturing errors or movement of the extension unit 23. Further, in the camera system 400 with interchangeable lenses, the mounting position of the multi-lens interchangeable lens 420 may shift due to a mounting error. If the mounting position of the multi-lens interchangeable lens 420 shifts and a mounting error occurs at the mounting position, the accuracy of cutting out the individual eye image from the captured image and calculating the parallax information using the individual eye image decreases. ..
  • the mounting error as the deviation (amount) of the mounting position of the multi-lens interchangeable lens 420 can be detected by using the spot light image reflected in the captured image.
  • the area identification unit 356 generates spot light information SI'related to the spot light image reflected in the captured image from the captured image, and detects the difference between the spot light information SI'and the spot light information SI'as an attachment error. can do.
  • the area specifying unit 356 corrects the viewpoint-related information VI by using the mounting error, and generates the viewpoint-related information VI'as information for identifying the position of the individual eye image shifted according to the mounting error. be able to.
  • the region extraction unit 353 can accurately cut out the individual eye image from the captured image by using the viewpoint-related information VI'. Further, the viewpoint-related information VI'can be used to accurately identify the position of the viewpoint of the individual eye image, and the position of the viewpoint and the individual eye image can be used to accurately obtain the parallax information.
  • FIG. 33 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906, transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a movable part configured to be movable along the optical axis with respect to the lens barrel
  • a plurality of individual eye lenses that are integrally movable with the movable portion and are arranged so that the emission positions of the imaging light emitted through each individual eye lens do not overlap with each other.
  • the movable portion and the plurality of individual lenses are integrally configured to be movable along the optical axis, and the emission position of the parallel light irradiating the image sensor provided on the camera body is the position of the plurality of individual lenses.
  • An interchangeable lens comprising one or more light sources arranged so as not to overlap the emission position of each imaging light of the lens.
  • ⁇ 2> The interchangeable lens according to ⁇ 1>, wherein the light source irradiates the parallel light in an oblique direction inclined from the optical axis.
  • ⁇ 3> The interchangeable lens according to ⁇ 2>, wherein the light source is arranged at a position different from the center of the optical axis of the movable portion, and emits the parallel light in an oblique direction inclined toward the center of the optical axis.
  • ⁇ 4> The interchangeable lens according to any one of ⁇ 1> to ⁇ 3>, which comprises a plurality of the light sources.
  • ⁇ 5> It stores spot light position information indicating the position of the light source irradiated to the image sensor, and individual eye image position information indicating the emission position of each imaging light emitted from the plurality of individual eye lenses in the image sensor.
  • the interchangeable lens according to any one of ⁇ 1> to ⁇ 4>, further comprising a storage unit.
  • ⁇ 6> With the lens barrel, A movable part configured to be movable along the optical axis with respect to the lens barrel, A plurality of individual eye lenses that are integrally movable with the movable portion and are arranged so that the emission positions of the imaging light emitted through each individual eye lens do not overlap with each other.
  • the movable portion and the plurality of individual lenses are integrally configured to be movable along the optical axis, and the emission position of the parallel light irradiating the image sensor provided on the camera body is the position of the plurality of individual lenses.
  • the emission position of the parallel light irradiating the image sensor provided on the camera body is the position of the plurality of individual lenses.
  • An information processing device including a processing unit that performs processing according to the detection result of the detection unit. ⁇ 7> The information processing apparatus according to ⁇ 6>, wherein the detection unit detects a detected light image position, which is a position of the light image in the captured image.
  • the processing unit specifies the position of the captured individual eye image, which is the position of the individual eye image with the position of the individual eye lens as a viewpoint in the captured image, according to the detected light image position.
  • Information processing device ⁇ 9>
  • the memory light image position indicating the position of the light source irradiated to the image sensor and the storage individual eye image position indicating the emission position of each imaging light emitted from the plurality of individual eye lenses in the image sensor are stored. With more storage
  • the information processing apparatus specifies the captured individual eye image position based on the relationship between the stored light image position and the detected light image position.
  • the processing unit identifies the imaged individual eye image position by correcting the stored individual eye image position based on the relationship between the stored light image position and the detected light image position.
  • Information processing device ⁇ 11> The information processing apparatus according to any one of ⁇ 8> to ⁇ 10>, further comprising an association unit that associates the captured image with the position of the captured individual eye image.
  • ⁇ 13> ⁇ 9> or ⁇ 10> further includes the stored light image position, the difference between the stored light image position and the detected light image position, and an association portion that associates the stored individual eye image position with the captured image.
  • the information processing device described. ⁇ 14> The information processing apparatus according to any one of ⁇ 8> to ⁇ 13>, further comprising an extraction unit that extracts the individual eye image from the captured image according to the position of the captured individual eye image.
  • ⁇ 15> The information processing device according to any one of ⁇ 7> to ⁇ 14>, wherein the processing unit detects the amount of extension of the movable unit according to the detected light image position.
  • ⁇ 16> The information processing apparatus according to any one of ⁇ 6> to ⁇ 15>, wherein the detection unit detects a plurality of the light images corresponding to the plurality of parallel lights emitted from the plurality of light sources.
  • the detection unit detects a plurality of the light images corresponding to the plurality of parallel lights emitted from the plurality of light sources.
  • the lens unit is an imaging device that can be attached as an interchangeable lens.
  • a movable part configured to be movable along the optical axis with respect to the lens barrel
  • a plurality of individual eye lenses that are integrally movable with the movable portion and are arranged so that the emission positions of the imaging light emitted through each individual eye lens do not overlap with each other.
  • the movable portion and the plurality of individual lenses are integrally configured to be movable along the optical axis, and the emission position of the parallel light irradiating the image sensor provided on the camera body is the position of the plurality of individual lenses.
  • the movable portion and the plurality of individual lenses are integrally configured to be movable along the optical axis, and the emission position of the parallel light irradiating the image sensor provided on the camera body is the position of the plurality of individual lenses.
  • the emission position of the parallel light irradiating the image sensor provided on the camera body is the position of the plurality of individual lenses.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、適切な処理を行うことができるようにする交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関する。 多眼交換レンズは、鏡筒と、可動部と、複数の個眼レンズと、光源とを備える。可動部は、鏡筒に対し、光軸に沿って移動可能に構成される。複数の個眼レンズは、可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置される。１又は複数個の光源は、可動部及び複数の個眼レンズと一体となって光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置される。本技術は、例えば、複数の個眼レンズが繰り出す交換レンズやカメラシステム等に適用することができる。

Description

交換レンズ、情報処理装置、情報処理方法、及び、プログラム
　本技術は、交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、適切な処理を行うことができるようにする交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関する。
　視点が互いに異なる複数の画像からなる多視点画像を用いたサービスの利便性を向上させる技術が提案されている（例えば、特許文献１を参照）。
国際公開第2015/037472号
　多視点画像は、例えば、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有するカメラシステムで撮像することができる。
　しかしながら、カメラシステムにおいて、複数の個眼レンズが、光軸方向に繰り出され、フォーカス等が調整される場合、繰り出しの前後で、イメージセンサで撮像された撮像画像上の、個眼レンズにより集光される光線により形成される像に対応する個眼画像の領域が変化することがある。
　個眼画像の領域が変化すると、カメラシステムにおいて処理を適切に行うことが困難になることがある。
　本技術は、このような状況に鑑みてなされたものであり、適切な処理を行うことができるようにするものである。
　本技術の交換レンズは、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源とを備える交換レンズである。
　本技術の交換レンズにおいては、可動部が、前記鏡筒に対し、光軸に沿って移動可能に構成され、複数の個眼レンズが、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置される。さらに、１又は複数個の光源は、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置される。
　本技術の情報処理装置、又は、プログラムは、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源とを備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、前記検出部の検出結果に応じて、処理を行う処理部とを備える情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源とを備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、前記検出ステップの検出結果に応じて、処理を行う処理ステップとを含む情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源とを備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像が検出され、その検出結果に応じて、処理が行われる。
　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。 カメラシステム１の電気的構成例を示すブロック図である。 多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。 多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。 多眼交換レンズ２０をカメラ本体１０に取り付けた（装着した）ときの取り付け誤差を説明する図である。 装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める算出方法を説明する図である。 画像処理部５３の構成例を示すブロック図である。 カメラシステム１で行われるキャリブレーションを説明する図である。 複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成を説明する図である。 カメラシステム１で行われる一般撮像を説明する図である。 撮像フォーカス位置P4に対応する撮像繰り出し量に対するキャリブレーションデータの補間による生成について説明する図である。 光源３２Ｌ及び３２Ｒの構成例を示す断面図である。 多眼交換レンズ２０の構成例を示す断面図である。 繰り出し部２３の繰り出し量を検出する第１の検出方法を説明する図である。 スポット光としての非平行光のスポットサイズの変化の例を示す図である。 第１の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。 繰り出し部２３の繰り出し量を検出する第２の検出方法を説明する図である。 第２の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。 繰り出し部２３の繰り出し量を検出する第３の検出方法を説明する図である。 繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む手前側及び奥側の一方に位置する状態を説明する図である。 繰り出し部２３の繰り出し量を検出する第４の検出方法を説明する図である。 繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置と、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置とを示す図である。 繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'が映る撮像画像と、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''が映る撮像画像との例を示す図である。 第４の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。 多眼交換レンズ２０の他の構成例を示す図である。 光源３２Ｌ及び３２Ｒの他の構成例を示す断面図である。 レンズ倒れに応じて、スポット光像の位置が変化している状態を示す図である。 カメラシステム１の他の電気的構成例を示すブロック図である。 関連付け情報を対象としてポスト処理を行うポスト処理装置の構成例を示すブロック図である。 関連付け情報を対象としてポスト処理を行うポスト処理装置の他の構成例を示すブロック図である。 本技術を適用したカメラシステムの第１の他の実施の形態の電気的構成例を示すブロック図である。 本技術を適用したカメラシステムの第２の他の実施の形態の電気的構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したカメラシステムの一実施の形態＞
　図１は、本技術を適用したカメラシステム（撮像装置）の一実施の形態の構成例を示す斜視図である。
　カメラシステム１は、カメラ本体１０と多眼交換レンズ２０（レンズ部）とで構成される。
　カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が固定される（取り付けられる）ことで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。
　カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。
　多眼交換レンズ２０は、鏡筒２１、レンズマウント２２、及び、繰り出し部２３を有する。繰り出し部２３は、鏡筒２１に対し、鏡筒２１の光軸に沿って移動可能に構成された可動部である。繰り出し部２３は、複数としての５個の個眼レンズ３１0，３１1，３１2，３１3、及び、３１4を有する。複数の個眼レンズ３１ｉは、繰り出し部２３と一体となって移動可能に構成され、各個眼レンズ３１ｉを介して出射される撮像光の出射位置が互いに重ならないように配置される。さらに、繰り出し部２３は、光源３２Ｌ及び３２Ｒを有する。光源３２Ｌ及び３２Ｒは、繰り出し部２３及び複数の個眼レンズ３１ｉと一体となって鏡筒２１の光軸に沿って移動可能に構成され、カメラ本体１０に設けられたイメージセンサ５１に照射する照射光の出射位置が、複数の個眼レンズ３１ｉのそれぞれの撮像光の出射位置と重ならないように配置される。
　鏡筒２１は、略円筒状をしており、その円筒状の１つの底面側に、レンズマウント２２が形成されている。
　レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に固定される（取り付けられる）。
　繰り出し部２３は、略円柱形状をしており、円筒状の鏡筒２１内に収納されている。
　繰り出し部２３には、鏡筒２１全体の光軸（鏡筒光軸）の光軸方向に（見て）重ならないように配置された複数としての5個のレンズである個眼レンズ３１0，３１1，３１2，３１3、及び、３１4が設けられている。図１では、5個の個眼レンズ３１0ないし３１4が、鏡筒光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼レンズ３１0を中心（重心）として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置される形で、繰り出し部２３に設けられている。
　個眼レンズ３１0ないし３１4は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。
　なお、ここでは、カメラ本体１０は、1個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１0ないし３１4が出射する光線は、プリズム等の光学系を利用して、３つのイメージセンサのそれぞれに集光される。なお、３板式に限らず２板式等イメージセンサの数は３つ以外でも良い。また、各イメージセンサはRGBそれぞれ用のものに限らず全てモノクロであっても良いし、全てがベイヤー配列などのカラーフィルタを備えたものであっても良い。
　繰り出し部２３には、5個の個眼レンズ３１0ないし３１4の他、複数である2個の光源３２Ｌ及び３２Ｒが設けられている。光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０を正面から見たときに、繰り出し部２３の右端及び左端の位置に、それぞれ設けられている。
　光源３２Ｌ及び３２Ｒは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、多眼交換レンズ２０の正面側（光線が入射する側）から背面側に向かってスポット光を照射する。
　したがって、多眼交換レンズ２０がカメラ本体１０に装着された場合、光源３２Ｌ及び３２Ｒが照射するスポット光は、カメラ本体１０のイメージセンサ５１で受光される。
　繰り出し部２３には、以上のように、個眼レンズ３１０ないし３１４とともに、光源３２Ｌ及び３２Ｒが設けられている。
　繰り出し部２３は、円筒状の鏡筒２１の内部を、鏡筒光軸の光軸方向に移動（スライド）可能なように構成され、これにより、鏡筒２１内を、正面側に繰り出すこと（奥側に引っ込むこと）ができる。
　したがって、多眼交換レンズ２０は、繰り出し部２３に設けられた個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出す構成になっている。
　以上のように、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出すので、カメラシステム１では、適切な処理を行うことができる。
　すなわち、イメージセンサ５１が撮像する撮像画像には、光源３２Ｌ及び３２Ｒが照射するスポット光の像であるスポット光像が映り、そのスポット光像は、後述するように、多眼交換レンズ２０の取り付け誤差を求めることに用いることができる。
　多眼交換レンズ２０において、個眼レンズ３１０ないし３１４は、繰り出し部２３に設けられることにより、繰り出し部２３とともに繰り出し、これにより、例えば、望遠撮影やマクロ撮影等を行うためのフォーカスの調整を行うことができる。
　この場合、光源３２Ｌ及び３２Ｒが、多眼交換レンズ２０の繰り出し部２３以外の部分に設けられていると、個眼レンズ３１０ないし３１４が繰り出しても、光源３２Ｌ及び３２Ｒは繰り出さない。そして、そのような光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像を用いるのでは、個眼レンズ３１０ないし３１４の繰り出しによって変化する取り付け誤差を精度良く求めることが困難となる。
　これに対して、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出す場合には、スポット光像を用いて、個眼レンズ３１０ないし３１４の繰り出しによって変化する取り付け誤差を精度良く求める適切な処理を行うことができる。
　さらに、撮像画像上の、個眼レンズ３１０ないし３１４それぞれにより集光される光線により形成される像に対応する個眼画像の領域が、個眼レンズ３１０ないし３１４の繰り出しにより変化しても、個眼画像の領域を精度良く特定する適切な処理を行うことができる。
　また、個眼レンズ３１０ないし３１４の繰り出しによって変化するレンズ歪みの影響を抑制するキャリブレーションデータを求め、さらには、そのようなキャリブレーションデータを用いて、レンズ歪みの影響を抑制した視差情報を求める等の適切な処理を行うことができる。
　なお、図１では、多眼交換レンズ２０に、5個の個眼レンズ３１0ないし３１4が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、5個に限定されるものではなく、2個や3個、６個以上の任意の複数の数を採用することができる。
　さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、正方形の中心と頂点の位置に配置する他、２次元平面上の任意の位置に配置することができる。
　また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
　さらに、図１では、多眼交換レンズ２０に、2個の光源３２Ｌ及び３２Ｒが設けられているが、多眼交換レンズ２０に設ける光源の数は、2個に限定されるものではなく、必要に応じて、1個や、3個以上の任意の数を採用することができる。
　また、多眼交換レンズ２０に、複数としての、例えば、2個の光源３２Ｌ及び３２Ｒを設ける場合には、その2個の光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０の、5個の個眼レンズ３１0ないし３１4が配置された平面上、すなわち、図１では、略円柱形の繰り出し部２３を正面から見た円上の最も遠い２点を結ぶ線上に配置することができる。この場合、光源３２Ｌ及び３２Ｒは、繰り出し部２３を正面から見た円の中心を通る線上に配置される。後述するように、光源３２Ｌ及び３２Ｒは、なるべく離して配置することが望ましい。光源３２Ｌ及び３２Ｒを、繰り出し部２３を正面から見た円の中心を通る線上に配置することにより、光源３２Ｌ及び３２Ｒを最も離して配置することができる。
　多眼交換レンズ２０において、複数としての5個の個眼レンズ３１0ないし３１4それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、個眼レンズ３１ｉの光軸（個眼光軸）がイメージセンサ５１の受光面と直交するように配置されている。
　かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステム１では、イメージセンサ５１において、5個の個眼レンズ３１0ないし３１4それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像が撮像される。
　いま、1個の個眼レンズ３１i（ここでは、i=0,1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ５１で撮像される撮像画像には、5個の個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
　個眼レンズ３１iに対する個眼画像は、個眼レンズ３１iの位置を視点とする画像であり、したがって、個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像は、異なる視点の画像である。
　さらに、撮像画像には、2個の光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光に対応する画像であるスポット光像（スポット光により形成される像）が含まれる。
　ここで、図１のカメラシステム１は、カメラ本体１０と、カメラ本体１０に着脱可能な多眼交換レンズ２０とで構成されるが、本技術は、多眼交換レンズ２０がカメラ本体１０に固定された、いわばレンズ一体型のカメラシステムにも適用することができる。すなわち、本技術は、例えば、レンズ一体型のカメラに適用することができる。
　また、１つの個眼レンズ３１iは、１枚のレンズで構成する他、複数枚のレンズを鏡筒光軸の光軸方向に並べて構成することができる。
　さらに、カメラ本体１０の後述する領域特定部５２、画像処理部５３、位置算出部５７、スポット光像検出部６２、及び、繰り出し量検出部６４の処理の一部又は全部は、カメラ本体１０以外、例えば、クラウド上のサーバや再生専用機器等で行うことができる。
　また、多眼交換レンズ２０の繰り出し部２３の繰り出しによれば、フォーカスを調整する他、ズーム倍率を調整することができる。以下では、説明を簡単にするため、繰り出し部２３の繰り出しにより、フォーカスが調整されることとする。
　なお、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。
　＜カメラシステム１の電気的構成例＞
　図２は、図１のカメラシステム１の電気的構成例を示すブロック図である。
　カメラシステム１において、多眼交換レンズ２０は、記憶部４１、通信部４２、及び、制御部４３を有する。
　記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、個体差反映位置情報（既知基準位置）が含まれる。
　個体差反映位置情報とは、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに（1個の）イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置に関する位置情報である。個体差反映位置情報は、多眼交換レンズ２０の製造時の製造誤差（製造バラツキ）に起因して、多眼交換レンズ２０の個体ごとに異なる量だけ（設計上の位置から）ずれる、所定の光線の、イメージセンサ５１への入射位置に関する位置情報であるということができ、多眼交換レンズ２０の製造時の個体ごとに異なる製造誤差（による個眼レンズ３１ｉから出射される撮像光の出射位置のずれ）を含む位置情報である。個体差反映位置情報としては、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときにイメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置そのものを採用することができる。
　ここで、個眼レンズ３１iに対する個眼画像において、個眼レンズ３１iの光軸（個眼光軸）を通る光線の像が形成される位置を光軸中心位置ということとする。なお、個眼光軸は、鏡筒２１全体の光軸（鏡筒光軸）と平行であったり、距離が一定に定められて配置されているはずだがずれが生じる。
　いま、個眼レンズ３１iに対する個眼画像について、所定の光線として、例えば、個眼レンズ３１iの個眼光軸を通る光線を採用することとすると、個眼レンズ３１iに対する個眼画像の個体差反映位置情報は、その個眼画像の光軸中心位置である。
　なお、所定の光線は、個眼レンズ３１iの個眼光軸を通る光線に限定されるものではない。すなわち、所定の光線としては、例えば、個眼レンズ３１iの個眼光軸から所定の距離だけ離れた位置を通り、個眼光軸に平行な光線その他を採用することができる。
　レンズ情報には、既知撮像画像上の、個眼レンズ３１iに対する個眼画像の個体差反映位置情報の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像の位置に関する個体差スポット光位置情報（既知光位置）が含まれる。個体差スポット光位置情報としては、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像の位置そのものを採用することができる。個体差スポット光位置情報は、個体差反映位置情報と同様に、多眼交換レンズ２０の製造時の個体ごとに異なる製造誤差を含む位置情報である。
　ここで、多眼交換レンズ２０に対しては、ユニークなレンズID(Identification)を割り当て、記憶部４１に記憶させるレンズ情報としては、多眼交換レンズ２０のレンズIDを採用することができる。さらに、この場合、レンズ情報としてのレンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の、レンズID以外のレンズ情報としての個体差反映位置情報や個体差スポット光位置情報等とを対応付けたデータベースを用意することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の個体差反映位置情報や個体差スポット光位置情報等を取得することができる。
　通信部４２は、カメラ本体１０の後述する通信部５６との間で、有線又は無線による通信を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
　通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着された場合や多眼交換レンズ２０がカメラ本体１０に装着された状態で電源が入れられた場合に、カメラ本体１０の通信部５６と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５６に送信する。
　また、通信部４２は、通信部５６から送信されてくるコマンドその他の情報を受信し、制御部４３に供給する。制御部４３は、通信部４２からの情報に応じて、繰り出し部２３を繰り出す（移動する）ことによるフォーカスの調整等の多眼交換レンズ２０の制御を行う。
　カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、通信部５６、位置算出部５７、制御部６１、スポット光像検出部６２、繰り出し量情報記憶部６３、繰り出し量検出部６４を有する。
　イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線が照射される。
　イメージセンサ５１は、個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線を受光して光電変換を行うことにより、個眼レンズ３１0ないし３１4それぞれに対する個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像）、並びに、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像を含む撮像画像を撮像して出力する。イメージセンサ５１が出力する撮像画像（他の撮像画像）は、領域特定部５２、位置算出部５７、スポット光像検出部６２に供給される。
　領域特定部５２には、イメージセンサ５１が出力する撮像画像が供給される他、位置算出部５７から、イメージセンサ５１が出力する撮像画像に含まれる個眼画像上の位置情報としての装着誤差反映位置情報（未知基準位置）が供給される。
　装着誤差反映位置情報とは、例えば、多眼交換レンズ２０をカメラ本体１０に装着した状態の（1個の）イメージセンサ５１で任意の被写体（被写体までの距離が既知であるどうかは問わない）を撮像して得られる撮像画像（他の撮像画像）上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置に関する位置情報である。装着誤差反映位置情報は、多眼交換レンズ２０の装着時に、その多眼交換レンズ２０の装着誤差に起因してずれる、所定の光線の、イメージセンサ５１への入射位置に関する位置情報であるということができ、多眼交換レンズ２０の使用時の装着誤差（による個眼レンズ３１ｉから出射される撮像光の出射位置のずれ）を含む位置情報である。
　装着誤差とは、多眼交換レンズ２０がカメラ本体１０に着脱可能になっていることに起因して生じる多眼交換レンズ２０の取り付け位置（装着位置）のずれを表す。装着誤差は、例えば、多眼交換レンズ２０を装着するごとに変化し得る。また、装着誤差は、例えば、多眼交換レンズ２０をカメラ本体１０に装着したカメラシステム１に衝撃が加わったときに変化することがある。
　装着誤差反映位置情報は、装着誤差の他、製造誤差をも含む位置情報（製造誤差及び装着誤差による個眼レンズ３１ｉから出射される撮像光の出射位置のずれを含む位置情報）である。
　ここで、個体差反映位置情報として、例えば、撮像画像が既知の距離にある被写体を撮像した既知撮像画像である場合の、その既知撮像画像に含まれる個眼画像上の光軸中心位置を採用する場合には、装着誤差反映位置情報としては、任意の被写体（被写体までの距離が既知であるどうかは問わない）を撮像した撮像画像（他の撮像画像）に含まれる個眼画像上の光軸中心位置を採用することができる。
　領域特定部５２は、位置算出部５７からの装着誤差反映位置情報に応じて、イメージセンサ５１からの撮像画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
　すなわち、領域特定部５２は、イメージセンサ５１からの撮像画像の、例えば、撮像画像の装着誤差反映位置情報を中心（重心）とする所定のサイズの長方形状の領域を、個眼画像の領域に特定する。
　ここで、領域特定部５２は、例えば、撮像画像全体と、その撮像画像全体上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５２は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。なお、各個眼画像は、領域情報とセットにして出力することができる。
　以下では、説明を簡単にするため、例えば、領域特定部５２は、撮像画像から抽出した各個眼画像（個眼レンズ３１0ないし３１4それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。
　領域特定部５２が出力する個眼レンズ３１0ないし３１4それぞれに対する個眼画像は、画像処理部５３に供給される。
　画像処理部５３は、後述するスポット光像検出部６２の検出結果に応じて、処理を行う処理部の一部である。画像処理部５３は、領域特定部５２からの個眼レンズ３１0ないし３１4それぞれに対する個眼画像、すなわち、個眼レンズ３１0ないし３１4それぞれの位置を視点とする、異なる視点の個眼画像や、繰り出し量検出部６４から供給される繰り出し部２３の繰り出し量を用いて、例えば、視差情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５４及び記憶部５５に供給する。
　なお、画像処理部５３では、その他、欠陥補正や、ノイズリダクション等の一般的な画像処理を行うことができる。また、画像処理部５３では、記憶部５５に保存する（記憶させる）画像と、表示部５４にいわゆるスルー画として表示するだけの画像とのいずれをも、画像処理の対象とすることができる。
　表示部５４は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラ本体１０の背面に設けられている。表示部５４は、例えば、画像処理部５３から供給される処理結果画像等を、スルー画として表示する。スルー画としては、処理結果画像の他、イメージセンサ５１で撮像された撮像画像の全部又は一部や、撮像画像から抽出された個眼画像を表示することができる。その他、表示部５４は、例えば、メニュー、カメラ本体１０の設定等の情報を表示することができる。
　記憶部５５は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５３から供給される処理結果画像を記憶する。
　通信部５６は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５６は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
　通信部５６は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、位置算出部５７及びスポット光像検出部６２に供給する。
　また、通信部５６は、例えば、制御部６１からのフォーカス（位置）を指定する情報等を、通信部４２に送信する。
　位置算出部５７は、通信部５６からのレンズ情報に含まれる個体差反映位置情報に応じて、イメージセンサ５１から供給される撮像画像に含まれる個眼レンズ３１iに対する個眼画像上の光軸中心位置である装着誤差反映位置情報を求め、領域特定部５２に供給する。
　なお、図２において、位置算出部５７は、イメージセンサ５１から供給される撮像画像に含まれる個眼画像上の光軸中心位置である装着誤差反映位置情報を求めるにあたり、レンズ情報に含まれる個体差反映位置情報の他、個体差スポット光位置情報を用いる。
　制御部６１は、フォーカスを調整するユーザの操作等に応じて、フォーカス等を制御する。例えば、制御部６１は、ユーザの操作に応じて、フォーカスを指定する情報を、通信部５６に供給する。
　スポット光像検出部６２は、光源３２Ｌ及び３２Ｒから照射されるスポット光のイメージセンサ５１への入射範囲を検出し、検出結果を、繰り出し量検出部６４に供給する。
　すなわち、スポット光像検出部６２は、通信部５６からのレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ５１からの撮像画像上のスポット光像を検出する。さらに、スポット光像検出部６２は、スポット光像の（スポット）サイズや位置（検出光像位置）等のスポット光像に関するスポット光像情報を検出（生成）し、スポット光像の検出結果として出力する。スポット光像検出部６２が出力するスポット光像情報は、スポット光像検出部６２の検出結果に応じて処理を行う処理部の他の一部である繰り出し量検出部６４に供給される。スポット光像情報としては、撮像画像上のスポット光像のサイズや位置を直接的に表す情報（例えば、サイズや位置そのもの）の他、撮像画像上のスポット光像のサイズや位置を間接的に表す情報（例えば、撮像画像上のスポット光像のサイズ及び位置を維持した状態で、スポット光像が映る画像等）を採用することができる。
　繰り出し量情報記憶部６３は、繰り出し量情報を記憶する。繰り出し量情報とは、繰り出し部２３の繰り出し量と、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像に関するスポット光像情報とを対応付けた情報である。繰り出し量情報は、あらかじめ生成し、繰り出し量情報記憶部６３に記憶させておくことができる。また、繰り出し量情報は、例えば、多眼交換レンズ２０と工場から出荷する前等に、あらかじめ生成し、レンズ情報の一部として、記憶部４１に記憶させておくことができる。繰り出し量情報を、レンズ情報の一部として、記憶部４１に記憶させておく場合には、通信部５６が、通信部４２と通信を行うことで、記憶部４１に記憶されたレンズ情報を取得し、そのレンズ情報に含まれる繰り出し量情報を、繰り出し量情報記憶部６３に供給して記憶させる。
　繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において、スポット光像検出部６２からのスポット光像情報に対応付けられている繰り出し部２３の繰り出し量を検出し、画像処理部５３に供給する。
　＜多眼交換レンズ２０を用いて行われる撮像の概要＞
　図３は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
　多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像と、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像とを含む撮像画像が撮像される。
　ここで、本明細書では、個眼レンズ３１iの個眼光軸の光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
　さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１iの位置の左右と、その個眼レンズ３１iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１iの位置、被写体等の左右を記述する。
　なお、１の個眼レンズ３１iと他の１の個眼レンズ３１j（ｉ≠ｊ）との個眼光軸どうしを結ぶ直線又は線分を、基線ともいい、その個眼光軸どうしの距離を、基線長ともいう。また、基線の方向を表す角度を、基線角ともいう。ここでは、基線角として、例えば、x軸と基線とがなす角度（エピポーラ線の角度）を採用することとする。
　また、本明細書（及び請求の範囲）において、繰り出し部２３の繰り出しとは、広く、繰り出し部２３が鏡筒光軸の光軸方向に移動することを意味する。したがって、繰り出し部２３の繰り出しとは、繰り出し部が、手前側に移動すること、及び、奥側に移動することのいずれをも含む。
　図４は、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
　図４のＡは、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置の例を示す背面図である。
　図４のＡでは、個眼レンズ３１0ないし３１4は、図１で説明したように、イメージセンサ５１の受光面に平行な２次元平面において、個眼レンズ３１0を中心として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置されている。
　すなわち、個眼レンズ３１0ないし３１4のうちの、例えば、個眼レンズ３１0を基準とすると、図４では、個眼レンズ３１1は、個眼レンズ３１0の右上に配置され、個眼レンズ３１2は、個眼レンズ３１0の左上に配置されている。さらに、個眼レンズ３１3は、個眼レンズ３１0の左下に配置され、個眼レンズ３１4は、個眼レンズ３１0の右下に配置されている。
　また、図４のＡにおいて、光源３２Ｌは、平面が略円形の多眼交換レンズ２０の左端の位置に配置され、光源３２Ｒは、平面が略円形の多眼交換レンズ２０の中心（中央）に対して、光源３２Ｌの反対側の右端の位置に配置されている。
　なお、光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０（の繰り出し部２３）の任意の異なる位置に配置することができる。
　但し、光源３２Ｌ及び３２Ｒは、イメージセンサ５１で撮像される撮像画像上の、光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光のスポット光像PL及びPRが、撮像画像に含まれる個眼画像の領域外（個眼レンズ３１iを通過した光が照射される範囲外）に位置するように配置することができる。この場合、スポット光像PLやPRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
　図４のＢは、図４のＡのように個眼レンズ３１０ないし３１4並びに光源３２Ｌ及び３２Ｒが配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
　個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒを有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像E0,E1,E2,E3,E4と、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRとが含まれる。
　領域特定部５２（図２）は、位置算出部５７で求められる各個眼画像E#iの装着誤差反映位置情報である光軸中心位置に基づき、各個眼レンズ３１iについて、その個眼レンズ３１iを通過した光線が照射される撮像画像上の領域のうちの、個眼画像E#iの装着誤差反映位置情報である光軸中心位置を中心とする所定サイズの長方形状の領域を、個眼画像E#iの領域として特定する。
　これにより、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iの位置から、独立のカメラや独立のイメージセンサを用いた撮像を行うことにより得られる撮像画像、すなわち、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像になる。
　そのため、個眼レンズ３１0ないし３１4それぞれに対する個眼画像E0ないしE4のうちの任意の2個の個眼画像E#iとE#jとの間には、視差が生じる。すなわち、個眼画像E#iとE#jに映る同一の被写体は、視差に応じてずれた位置に映る。
　＜多眼交換レンズ２０の取り付け誤差＞
　図５は、多眼交換レンズ２０をカメラ本体１０に取り付けた（装着した）ときの取り付け誤差を説明する図である。
　すなわち、図５は、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１で撮像される撮像画像の例を示している。
　多眼交換レンズ２０をカメラ本体１０に取り付けた場合、カメラ本体１０のイメージセンサ５１の受光面に対する多眼交換レンズ２０の取り付け位置は、主として、横方向（x方向）、縦方向（y方向）、及び、回転方向のうちの、特に、回転方向にずれ得る。まず、多眼交換レンズ２０の取り付け位置は、製造誤差により個体ごとに異なる量だけずれる。さらに、多眼交換レンズ２０の取り付け位置は、多眼交換レンズ２０の使用時に、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１に衝撃が加わったとき等に変化する。
　いま、例えば、多眼交換レンズ２０の設計上の取り付け位置等の所定の位置に対する実際の取り付け位置の誤差を、取り付け誤差ということとする。設計上の取り付け位置を基準とする取り付け誤差は、製造バラツキ等により生じ、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１に衝撃が加わったとき等に変化する。
　取り付け誤差は、多眼交換レンズ２０の実際の取り付け位置の誤差であり、製造誤差及び装着誤差を適宜含む。例えば、多眼交換レンズ２０の設計上の取り付け位置を基準とする場合、取り付け誤差は、製造誤差及び装着誤差の両方を含む。また、例えば、多眼交換レンズ２０の設計上の取り付け位置から製造誤差だけすれた位置を基準とする場合、取り付け誤差は、製造誤差を含まず、装着誤差を含む。
　図４で説明したように、個眼画像E#iは、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0ないしE4は、視点の異なる画像である。
　視点の異なる画像である個眼画像E0ないしE4を用いて、例えば、視差情報を求める場合、個眼レンズ３１0ないし３１4について、図３で説明した基線長と基線角が必要となる。
　個眼レンズ３１0ないし３１4は、多眼交換レンズ２０に固定されているので、基線長は、装着誤差によって変化しない固定の値であり、多眼交換レンズ２０の製造後にあらかじめ計測しておくことができる。
　一方、基線角は、多眼交換レンズ２０の回転方向の取り付け誤差（装着誤差）によって変化する。したがって、個眼画像E0ないしE4を用いて、正確な視差情報を求めるためには、回転方向の取り付け誤差に対処する必要がある。
　ここで、横方向及び縦方向の取り付け誤差は、個眼レンズ３１iのレンズ収差に起因する画像歪みが小さい場合には、問題とならず、無視することができるときもある。但し、レンズ収差に起因する画像歪みが大きく、その画像歪みの歪み補正を行う必要がある場合には、適切な歪み補正を行うために、個眼画像E#iの光軸中心位置を正確に把握する必要がある。個眼画像E#iの光軸中心位置を正確に把握するには、横方向及び縦方向の取り付け誤差（装着誤差）を把握する必要がある。
　いま、図５に示すように、あるxy座標系（2次元座標系）において、個眼画像E0ないしE4の光軸中心位置（の座標）を、(x0, y0), (x1, y1), (x2, y2), (x3, y3), (x4, y4)と表すこととする。
　また、個眼レンズ３１0ないし３１4のうちの、中央（中心）に位置する個眼レンズ３１0に対する個眼画像E0を、中央画像E0ともいい、周辺に位置する個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4を、周辺画像E1ないしE4ともいうこととする。
　個眼画像E0ないしE4のうちの１の個眼画像、すなわち、例えば、中央画像E0を基準とする、周辺画像E1ないしE4それぞれの相対的な光軸中心位置（以下、相対光軸中心位置ともいう） (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、式（１）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、中央画像E0の光軸中心位置(x0, y0)をxy座標系の原点とした場合の周辺画像E1ないしE4の光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)に等しい。
　相対光軸中心位置(dx#i, dy#i)（ここでは、i=1,2,3,4）は、中央画像E0の光軸中心位置(x0, y0)と、周辺画像E#iの光軸中心位置(x#i, y#i)とを結ぶ基線の方向のベクトルであるとみなすことができ、相対光軸中心位置(dx#i, dy#i)によれば、中央画像E0の光軸中心位置(x0, y0)と周辺画像E#iの光軸中心位置(x#i, y#i)とを結ぶ基線L0#iの方向を表す基線角（tan-1((y#i-y0)/(x#i-x0))=tan-1(dy#i/dx#i)）を求めることができる。
　したがって、相対光軸中心位置(dx#i, dy#i)を求めることができれば、そのときの基線L0#iの方向を表す基線角を求めることができ、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　本技術では、イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0, y0)ないし(x4, y4)、すなわち、中央画像E0の光軸中心位置(x0, y0)を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を、個体差反映位置情報として求めておく。さらに、本技術では、個体差反映位置情報（(x0, y0)ないし(x4, y4)又は(dx1, dy1)ないし(dx4, dy4)）と撮像画像とを用いて、その撮像画像の撮像時の撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0', y0')ないし(x4', y4')、すなわち、中央画像E0の光軸中心位置(x0', y0')を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、装着誤差反映位置情報として求める。
　装着誤差反映位置情報としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')が得られれば、撮像画像の撮像時の基線角を求め、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　図２の位置算出部５７は、個体差反映位置情報としての相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を用い、装着誤差反映位置情報としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める。
　＜装着誤差反映位置情報としての撮像画像上の個眼画像E#iの相対光軸中心位置(dx#i', dy#i')を求める算出方法＞
　図６は、装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める算出方法を説明する図である。
　ここで、以下では、説明を簡単にするため、中央画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとする。この場合、上述したように、相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)と、光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)とは等しい。
　図６のＡは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において、所定の被写体を撮像した既知撮像画像の例を示している。
　既知撮像画像に映る被写体は、例えば、円の中心を通る線分で4等分された円等の所定のチャートが描かれたチャート画像である。既知撮像画像は、例えば、中央画像E0上の所定の点、すなわち、例えば、中央画像E0の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ３１0の個眼光軸上の既知の距離の位置に配置して撮像される。したがって、既知撮像画像は、所定のチャートが描かれたチャート画像を、既知の距離において撮像した画像である。
　既知撮像画像は、以上のように撮像されるため、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
　したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)から、中央画像E0との間の視差に応じてずれる。
　チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ３１iと個眼レンズ３１0との間の基線長及び基線角とから求めることができる。
　ここで、既知撮像画像の撮像は、例えば、多眼交換レンズ２０を工場から出荷する前等に行うことができる。したがって、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時に、基線角が設計値等の所定値になるように、鏡筒２１への個眼レンズ３１ｉの取り付け（固定）を調整することができる。
　周辺画像E#iの光軸中心位置(x#i, y#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置になるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
　また、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができる。
　以上のように、既知撮像画像から、その既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)、及び、周辺画像E1ないしE4の光軸中心位置(x1, y1)ないし(x4, y4)を求めることができる。
　既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)である個体差反映位置情報、及び、周辺画像E#iの光軸中心位置(x#i, y#i)である個体差反映位置情報によれば、中央画像E0の個体差反映位置情報(x0, y0)を基準とする、周辺画像E#iの相対的な個体差反映位置情報である個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を求めることができ、その個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)が、レンズ情報として、図２の記憶部４１に記憶される。ここで、個体差反映相対位置情報(dx#i, dy#i)に対して、個体差反映位置情報(x#i, y#i)を、個体差反映絶対位置情報ともいう。
　なお、レンズ情報としては、個体差反映相対位置情報（相対光軸中心位置）(dx#i, dy#i)(i=1,2,3,4)を採用する他、個体差反映絶対位置情報（光軸中心位置）(x#i, y#i)(i=0,1,2,3,4)を採用することができる。個体差反映相対位置情報(dx#i, dy#i)は、個体差反映絶対位置情報(x#i, y#i)から式（１）に従って求めることができ、個体差反映絶対位置情報(x#i, y#i)と（ほぼ）等価な情報であるからである。
　装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求めるにあたっては、個体差反映相対位置情報(dx#i, dy#i)（又は個体差反映絶対位置情報(x#i, y#i)）の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置である個体差スポット光位置情報(XL, YL)及び(XR, YR)があらかじめ求められる。
　例えば、既知撮像画像上のスポット光像PLの重心の位置を、そのスポット光像PLの個体差スポット光位置情報(XL, YL)として採用することができる。同様に、既知撮像画像上のスポット光像PRの重心の位置を、そのスポット光像PRの個体差スポット光位置情報(XR, YR)として採用することができる。
　個体差スポット光位置情報(XL, YL)及び(XR, YR)については、その個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)が求められ、個体差スポット光位置情報(XL, YL)及び(XR, YR)並びに中点(XC, YC)が、レンズ情報として、図２の記憶部４１に記憶される。
　なお、個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)は、レンズ情報から除外することができる。個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)は、その個体差スポット光位置情報(XL, YL)及び(XR, YR)から求めることができるからである。
　位置算出部５７では、個体差反映相対位置情報（以下、単に、個体差反映位置情報ともいう）としての相対光軸中心位置（以下、単に、光軸中心位置ともいう）(dx#i, dy#i)並びに個体差スポット光位置情報(XL, YL)及び(XR, YR)に応じて、未知撮像画像上の装着誤差反映位置情報としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')が求められる。
　図６のＢは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において撮像される未知撮像画像の例を示している。
　未知撮像画像は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において、既知撮像画像を撮像するときのような制約（被写体の距離が既知である等の制約）なしで撮像される画像である。
　未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差（装着誤差）が生じ得る。
　未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系において、未知撮像画像上の周辺画像E#iの光軸中心位置(x#i', y#i')(i=1,2,3,4)は、中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの相対的な光軸中心位置(dx#i', dy#i')=(x#i', y#i')-(x0', y0')に等しい。
　ここで、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置に関する位置情報を、装着誤差スポット光位置情報（未知光位置）ともいう。装着誤差スポット光位置情報は、装着誤差反映位置情報と同様に、多眼交換レンズ２０の製造誤差及び装着誤差を含む位置情報である。装着誤差スポット光位置情報としては、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置そのものを採用することができる。なお、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置を、それぞれ、(XL', YL')及び(XR', YR')と表すこととする。
　装着誤差スポット光位置情報(XL', YL')及び(XR', YR')は、未知撮像画像上のスポット光像PL及びPRから、個体差スポット光位置情報(XL, YL)及び(XR, YR)と同様に求めることができる。
　また、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点を、(XC', YC')と表すこととする。
　いま、既知撮像画像の撮像時の回転方向の取り付け誤差を基準とする未知撮像画像の撮像時の回転方向の取り付け誤差である相対的な回転誤差をθErrorと表すこととすると、相対的な回転誤差θErrorは、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)及び(XR, YR)、並びに、未知撮像画像から得られる装着誤差スポット光位置情報(XL', YL')及び(XR', YR')を用い、式（２）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　式（２）によれば、相対的な回転誤差θErrorは、個体差スポット光位置情報(XL, YL)と(XR, YR)とを結ぶ直線の方向を表す角度を基準とする、装着誤差スポット光位置情報(XL', YL')と(XR', YR')とを結ぶ直線の方向を表す角度であり、個体差スポット光位置情報(XL, YL)と(XR, YR)とが離れているほど（装着誤差スポット光位置情報(XL', YL')と(XR', YR')とが離れているほど）、精度が良くなる。したがって、光源３２Ｌと３２Ｒとをなるべく離して配置することで、相対的な回転誤差θErrorを精度良く求めることができる。
　なお、多眼交換レンズ２０に3個以上の光源が設けられている場合には、その3個以上の光源から得られる2個の光源のペアそれぞれに対して、式（２）に従って回転誤差θErrorを求め、各ペアに対して求められた回転誤差θErrorの平均値等を、最終的な回転誤差θErrorとして採用することができる。
　相対的な回転誤差θErrorは、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）と個体差スポット光位置情報(XL, YL)（又は(XR, YR)）との間の回転角であり、個体差反映相対位置情報としての光軸中心位置(dx#i, dy#i)を、式（３）に従い、相対的な回転誤差θErrorに応じて回転させることにより、その相対的な回転誤差θErrorが生じた未知撮像画像上の装着誤差反映位置情報としての相対光軸中心位置(dx#i', dy#i')を求めることができる。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、式（２）及び式（３）に従って求める場合には、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')及び(XR', YR')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの個体差スポット光位置情報(XL, YL)及び(XR, YR)との間の平行移動量を求めることで、横方向及び縦方向の取り付け誤差を求めることができる。
　すなわち、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorは、例えば、式（４）に従って求めることができる。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　なお、式（４）では、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点(XC', YC')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)との間の平行移動量が、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求められるが、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとしては、その他、例えば、装着誤差スポット光位置情報(XL', YL')と個体差スポット光位置情報(XL, YL)との間の平行移動量や、装着誤差スポット光位置情報(XR', YR')と個体差スポット光位置情報(XR, YR)との間の平行移動量を求めることができる。
　カメラシステム１において、装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求めるにあたっては、まず、その光軸中心位置(dx#i', dy#i')を求める場合に必要となる個体差反映相対位置情報としての光軸中心位置(dx#i, dy#i)等を取得する個体差反映位置情報等取得処理が行われる。
　個体差反映位置情報等取得処理は、カメラ本体１０や後述するコンピュータ等で行うことができる。個体差反映位置情報等取得処理を行う装置を、便宜上、取得処理装置と呼ぶこととする。
　取得処理装置は、個眼レンズ３１0の個眼光軸上の既知の距離の位置におかれた所定の被写体としてのチャート画像を、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１によって撮像した既知撮像画像を取得する。
　取得処理装置は、既知撮像画像に含まれる各個眼画像E#iに映る所定の被写体としてのチャート画像の所定の点、例えば、チャートとしての円の中心の位置を求める。
　取得処理装置は、被写体としてのチャート画像までの距離、並びに、多眼交換レンズ２０の基線長及び基線角を用いて、個眼画像（周辺画像）E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の、個眼画像（中央画像）E0に映る被写体としてのチャート画像の所定の点としての円の中心との間の視差を求める。
　さらに、取得処理装置は、個眼画像E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の視差に応じて、その円の中心の位置から移動した位置にある個眼画像E#iの光軸中心位置（既知撮像画像上の位置）(x#i, y#i)を、その個眼画像E#iの個体差反映絶対位置情報(x#i, y#i)として求める。また、取得処理装置は、個眼画像E0に映る被写体としてのチャート画像の円の中心の位置である光軸中心位置(x0, y0)を、個眼画像E0の個体差反映絶対位置情報(x0, y0)として求める。
　そして、取得処理装置は、個体差反映絶対位置情報(x#i, y#i)を用い、個眼画像E1ないしE4それぞれについて、式（１）に従って、個眼画像E0の個体差反映絶対位置情報(x0, y0)を基準とする個眼画像E#iの個体差反映相対位置情報(dx#i, dy#i)を求める。
　さらに、取得処理装置は、既知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、個体差スポット光位置情報(XL, YL)及び(XR, YR)として求める。
　以上の個体差反映位置情報等取得処理で求められた個体差反映相対位置情報(dx#i, dy#i)、並びに、個体差スポット光位置情報(XL, YL)及び(XR, YR)は、レンズ情報の一部として、図２の記憶部４１に記憶される。
　多眼交換レンズ２０がカメラ本体に装着されたカメラシステム１の使用時には、カメラ本体１０において、個体差反映相対位置情報(dx#i, dy#i)、並びに、個体差スポット光位置情報(XL, YL)及び(XR, YR)を用いて、装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を求める装着誤差反映位置情報算出処理が行われる。
　すなわち、カメラ本体１０（図２）では、多眼交換レンズ２０が装着されると、通信部５６が、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信して、位置算出部５７に供給する。位置算出部５７は、以上のようにして通信部５６から供給されるレンズ情報を取得する。
　位置算出部５７は、任意の被写体が映る撮像画像である未知撮像画像が撮像されるのを待って、その未知撮像画像を取得する。すなわち、位置算出部５７は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において、イメージセンサ５１が撮像した撮像画像を、未知撮像画像として取得する。
　位置算出部５７は、未知撮像画像に含まれる光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRを検出し、さらに、スポット光像PL及びPRそれぞれの位置（検出光像位置）、例えば、重心の位置を、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')として検出する。位置算出部５７は、スポット光像PL及びPRの検出結果に応じて、処理を行う処理部の一部であり、スポット光像PL及びPRの検出結果としての装着誤差スポット光位置情報(XL', YL')及び(XR', YR')に応じて、未知撮像画像における個眼画像の位置である撮像個眼画像位置を特定する。
　すなわち、位置算出部５７は、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）（検出光像位置）と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)（又は(XR, YR)）（イメージセンサ５１に照射される光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRの位置を示す記憶光像位置）との（位置）関係に基づいて、撮像個眼画像位置を特定（算出）する。
　例えば、位置算出部５７は、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）（検出光像位置）と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)（又は(XR, YR)）（記憶光像位置）との（位置）関係に基づいて、レンズ情報に含まれる個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を（イメージセンサ５１における複数の個眼レンズ３１ｉから出射される各撮像光の出射位置を示す記憶個眼画像位置）を補正することで、撮像個眼画像位置、すなわち、未知撮像画像に含まれる個眼画像E1ないしE4それぞれの装着誤差反映位置情報としての（相対）光軸中心位置(dx#i', dy#i')を特定する。
　具体的には、まず、位置算出部５７は、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)（又は(XR, YR)）との間の回転角を、（相対的な）回転誤差をθErrorとして求める。
　例えば、位置算出部５７は、式（２）に従って、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)と(XR, YR)とを結ぶ線分の方向を基準とする、装着誤差スポット光位置情報(XL', YL')と(XR', YR')とを結ぶ線分の方向を表す相対的な角度を、回転誤差をθErrorとして求める。
　位置算出部５７は、式（３）に従い、式（２）に従って求められた回転誤差θErrorに応じて、レンズ情報に含まれる個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を回転させることにより、回転誤差θErrorが生じている未知撮像画像に含まれる個眼画像E1ないしE4それぞれの装着誤差反映位置情報としての（相対）光軸中心位置(dx#i', dy#i')を求める。
　さらに、位置算出部５７は、必要に応じて、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)又は(XR, YR)と、未知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')又は(XR', YR')との間の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
　すなわち、位置算出部５７は、例えば、式（４）に従い、個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)に対する、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点(XC', YC')の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
　カメラ本体（図２）において、領域特定部５２は、以上のような装着誤差反映位置情報算出処理で求められた装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を用いて、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理を行うことができる。
　領域特定処理では、領域特定部５２は、位置算出部５７から供給される、未知撮像画像に含まれる個眼画像E1ないしE4の装着誤差反映位置情報としての相対光軸中心位置(dx#i', dy#i')を取得する。
　そして、領域特定部５２は、装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')に応じて、未知撮像画像上の個眼画像E1ないしE4の領域を特定する。すなわち、領域特定部５２は、例えば、個体差反映相対位置情報(dx#i, dy#i)を求めるときのxy座標系において、未知撮像画像上の装着誤差反映位置情報(dx#i', dy#i')を中心とする所定のサイズの長方形状の領域を、個眼画像E#i(i=1,2,3,4)の領域として特定する。さらに、領域特定部５２は、未知撮像画像上の原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定する。
　その後、領域特定部５２は、撮像画像から、個眼画像E0ないしE4それぞれを抽出し、領域特定結果情報として出力する。
　以上のように、鏡筒光軸の光軸方向に（見て）重ならないように配置された個眼レンズ３１0ないし３１4とともに、光源３２Ｌ及び３２Ｒが設けられた繰り出し部２３を有する多眼交換レンズ２０が装着されたカメラシステム１において、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')が求められる。
　したがって、繰り出し部２３の繰り出し状態にかかわらず、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ３１iの位置を視点とする個眼画像E#iを容易に得ることができる。
　さらに、装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')から、基線L0#i（図５）の方向を表す基線角（tan-1(dy#i/dx#i)）を求めることができ、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
　ここで、例えば、既知撮像画像上の個眼画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとし、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０であることとする。この場合、未知撮像画像において、個眼画像E0の装着誤差反映位置情報(x0', y0')である光軸中心位置は、原点になり、個眼画像E0の領域は、原点を中心とする領域になる。
　一方、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、未知撮像画像において、個眼画像E0の光軸中心位置は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorの分だけ、原点からずれる。
　この場合、個眼画像E0の装着誤差反映位置情報(x0', y0')である光軸中心位置が、原点であることを前提として、原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定すると、実際の装着誤差反映位置情報(x0', y0')である光軸中心位置は、原点からずれているため、未知撮像画像上の、個眼画像E0の実際の光軸中心位置からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E0の領域として特定される。
　その結果、他の個眼画像E1ないしE4それぞれについても、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
　すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、個眼画像E0ないしE4それぞれについて、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
　但し、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合も、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合も、未知撮像画像の撮像時の基線角（tan-1(dy#i/dx#i)）は、個眼画像E0の位置を基準とする相対的な装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')から求められる。
　したがって、光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする個眼画像E#iについて得られる基線角は、未知撮像画像上の光軸中心位置(x#i', y#i')を中心とする個眼画像E#iについて得られる基線角と同一になる。
　すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合でも、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合と同一の基線角を得ることができる。そして、その基線角を用いて、未知撮像画像上の領域が特定された個眼画像E#iから、多眼交換レンズ２０の取り付け誤差に影響されない正確な視差情報を求めることができる。
　なお、本実施の形態では、多眼交換レンズ２０ごとに、個体差反映位置情報及び個体差スポット光位置情報を求め、レンズ情報に含めて記憶しておくこととしたが、個体差反映位置情報及び個体差スポット光位置情報としては、多眼交換レンズ２０の機種ごとに共通の値を採用することができる。機種ごとの多眼交換レンズ２０について、共通の個体差反映位置情報及び個体差スポット光位置情報を採用する場合、機種ごとの個体差反映相対位置情報(dx#i, dy#i)並びに個体差スポット光位置情報(XL, YL)及び(XR, YR)を、式（２）及び式（３）に組み込んでおくことで、カメラ本体１０は、多眼交換レンズ２０の機種を認識することができれば、式（２）の回転誤差θError、ひいては、式（３）の装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')を求めることができる。
　＜画像処理部５３の構成例＞
　図７は、図２の画像処理部５３の構成例を示すブロック図である。
　図７は、画像処理部５３のうちの、例えば、視差情報を求める画像処理を行う部分の構成例を示している。
　図７において、画像処理部５３は、キャリブレーションデータ生成部１０１、キャリブレーションデータ記憶部１０２、補間部１０３、及び、視差情報生成部１０４を有する。
　画像処理部５３は、領域特定部５２から供給される個眼画像を用いて、視差に関する視差情報を生成する。ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等がある。
　個眼画像を用いて求められる視差情報は、個眼レンズ３１ｉの位置やレンズ歪み等の影響を受ける。そこで、画像処理部５３は、個眼レンズ３１ｉの位置やレンズ歪み等の影響を取り除くため、個眼レンズ３１ｉの位置やレンズ歪み等に関するパラメータを、キャリブレーションデータとして生成するキャリブレーションを行う。
　キャリブレーションでは、例えば、既知の被写体であるキャリブレーション用の平面チャート（以下、キャリブレーションチャートともいう）を撮像することにより得られる撮像画像上の各個眼画像であるキャリブレーション画像からキャリブレーションデータが生成される。
　すなわち、キャリブレーションでは、カメラシステム１のフォーカス位置がある所定の距離（の位置）に制御され、そのフォーカス位置に設置されたキャリブレーションチャートが撮像される。そして、キャリブレーションチャートの撮像により得られる個眼画像であるキャリブレーション画像を用いて、フォーカス位置がある所定の距離に制御されたカメラシステム１の、そのフォーカス位置に対するキャリブレーションデータが生成される。
　以上のように生成されるキャリブレーションデータは、キャリブレーションチャートが撮像されたときのカメラシステム１のフォーカス位置に対するキャリブレーションデータである。そのため、例えば、一般の被写体を撮像する場合のフォーカス位置と、キャリブレーションチャートを撮像した場合のフォーカス位置とが異なる場合に、一般の被写体を撮像した撮像画像に映る個眼画像を用いた視差情報の算出を、キャリブレーションチャートが撮像されたときのカメラシステム１のフォーカス位置に対するキャリブレーションデータを用いて行うと、視差情報の精度が低下する。
　そこで、画像処理部５３では、キャリブレーションデータを補間することで、高精度の視差情報を求めることができる。
　キャリブレーションデータ生成部１０１は、領域特定部５２から供給される個眼画像を用いて、繰り出し量検出部６４から複数の繰り出し量それぞれに対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部１０２に供給する。
　すなわち、キャリブレーションデータ生成部１０１では、キャリブレーションにおいて、繰り出し部２３の複数の繰り出し量に対応する複数のフォーカス位置のキャリブレーションチャートを撮像することにより得られる複数のフォーカス位置のキャリブレーション画像としての個眼画像から複数のフォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部１０２に供給する。
　キャリブレーションデータ記憶部１０２は、キャリブレーションデータ生成部１０１から供給される複数の繰り出し量に対するキャリブレーションデータを記憶する。
　補間部１０３は、繰り出し量検出部６４から供給される繰り出し量のうちの、一般の被写体（キャリブレーションチャート以外の被写体）の撮像（以下、一般撮像ともいう）が行われたときの繰り出し量に対するキャリブレーションデータを、キャリブレーションデータ記憶部１０２に記憶された複数の繰り出し量に対するキャリブレーションデータを用いた補間等により生成し、視差情報生成部１０４に供給する。
　視差情報生成部１０４は、補間部１０３からのキャリブレーションデータと、領域特定部５２から供給される、一般撮像により撮像された撮像画像（以下、一般撮像画像ともいう）上の個眼画像とを用いて、視差情報を生成する。一般撮像画像は、未知撮像画像と等価である。
　以上のような画像処理部５３を有するカメラシステム１によれば、例えば、一般の一眼カメラの場合と同様の画質の個眼画像としてのRGB画像とDepth情報としての視差情報との同時取得が可能となる。視差情報は、例えば、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスや、ユーザが所望する所望被写体にとっての障害物を取り除いた障害物除去画像の生成、任意の特性のレンズをエミュレートするレンズエミュレーション、CGや実写を対象とする奥行を考慮した合成等の画像処理に用いることができる。
　カメラシステム１については、例えば、カメラシステム１の製造後に、カメラシステム１の動作モードがキャリブレーションを行うキャリブレーションモードに設定され、カメラシステム１の製造工場等において、キャリブレーションが行われる。
　すなわち、カメラシステム１では、多眼交換レンズ２０のフォーカスが、キャリブレーションデータを生成するフォーカス位置（以下、基準フォーカス位置ともいう）に制御され、その基準フォーカス位置にキャリブレーションチャートが設置されて撮像される。そして、カメラシステム１では、キャリブレーションデータ生成部１０１が、そのキャリブレーションチャートの撮像により得られるキャリブレーション画像から、基準フォーカス位置に対応する繰り出し部２３の繰り出し量（以下、基準繰り出し量ともいう）に対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部１０２に記憶させる。キャリブレーションは、複数の基準フォーカス位置に対して行われ、これにより、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータが生成される。
　キャリブレーションが行われ、カメラシステム１が製造工場から出荷されるときには、カメラシステム１の動作モードは、一般撮像を行う一般撮像モードに設定される。一般撮像モードでは、一般撮像画像が撮像されたときのフォーカス位置（以下、撮像フォーカス位置ともいう）に対応する繰り出し部２３の繰り出し量（以下、撮像繰り出し量ともいう）が、繰り出し量検出部６４から補間部１０３に供給される。
　補間部１０３は、キャリブレーションデータ記憶部１０２に記憶された複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを用いて、撮像フォーカス位置に対応する撮像繰り出し量に対するキャリブレーションデータを補間により生成し、視差情報生成部１０４に供給する。なお、全ての位置のキャリブレーションデータがあれば補間不要である。
　視差情報生成部１０４は、補間部１０３からの撮像繰り出し量に対するキャリブレーションデータを用いて、その撮像繰り出し量だけ繰り出し部２３が繰り出した状態で撮像された一般撮像画像上の個眼画像から視差情報を生成する。これにより、レンズ歪み等の影響が抑制された、精度のよい視差情報が生成される。
　図８は、カメラシステム１で行われるキャリブレーションを説明する図である。
　キャリブレーションでは、カメラシステム１から所定の距離Zmmの位置Pを、基準フォーカス位置Pとして、その基準フォーカス位置Pにキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
　図８に示されるキャリブレーションチャートは、例えば、格子状の模様が描かれた被写体であるが、キャリブレーションチャートとしては、位置関係等が既知の任意の被写体を採用することができる。
　キャリブレーションでは、基準フォーカス位置Pのキャリブレーションチャートの撮像により得られるキャリブレーション画像から、基準フォーカス位置Pに対応する繰り出し量Pに対するキャリブレーションデータが生成される。
　カメラシステム１でキャリブレーションチャートを撮像したキャリブレーション画像では、例えば、個眼レンズ３１ｉのレンズ歪み等による位置ずれ（歪み）、すなわち、キャリブレーション画像に被写体が映るべき真の位置（レンズ歪み等がない場合に被写体が本来映るべき位置）と、キャリブレーション画像に被写体が実際に映る位置との位置ずれが生じる。
　キャリブレーション画像は、既知の被写体であるキャリブレーションチャートを、既知の位置であるフォーカス位置Pに設置して撮像を行うことにより得られる撮像画像上の個眼画像であるから、キャリブレーション画像において、被写体が映るべき真の位置、すなわち、キャリブレーションチャートの各部（例えば、格子点）が映るべき真の位置は、計算によってあらかじめ求めることができる。
　また、キャリブレーション画像において、被写体が映る実際の位置は、キャリブレーション画像から求めることができる。
　キャリブレーションデータ生成部１０１では、キャリブレーション画像から、被写体（例えば、キャリブレーションチャートの格子点）が映る実際の位置が求められる。そして、キャリブレーションデータ生成部１０１は、被写体が映る実際の位置と、計算によってあらかじめ求めることができる、その被写体が映るべき真の位置との位置ずれに関する情報を、キャリブレーションデータとして生成する。
　なお、キャリブレーションデータとしては、カメラシステム１のいわゆる内部パラメータ及び外部パラメータを生成することができるが、ここでは、説明を簡単にするため、カメラシステム１でキャリブレーションチャートを撮像することにより得られるキャリブレーション画像における被写体の位置ずれに関する情報がキャリブレーションデータとして生成されることとする。
　図９は、複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成を説明する図である。
　複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成では、初めに、カメラシステム１から所定の距離Z1mmの位置P1を、基準フォーカス位置P1として、その基準フォーカス位置P1にキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
　そして、カメラシステム１から距離Z1mmとは異なる距離Z2mmの位置P2を、基準フォーカス位置P2として、その基準フォーカス位置P2にキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
　さらに、カメラシステム１から距離Z1mm及びZ2mmとは異なる距離Z3mmの位置P3を、基準フォーカス位置P3として、その基準フォーカス位置P3にキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
　なお、図９では、距離Z1mm、Z2mm、及び、Z3mmは、式Z1mm＜Z2mm＜Z3mmで表される関係になっている。
　カメラシステム１は、フォーカス位置を、位置P1に制御し、位置P1に設置されたキャリブレーションチャートを撮像する。この撮像により、基準フォーカス位置P1のキャリブレーション画像、すなわち、位置P1を基準フォーカス位置とするキャリブレーション画像が得られる。
　同様に、カメラシステム１は、フォーカス位置を、位置P2及びP3にそれぞれ制御し、位置P2及びP3に設置されたキャリブレーションチャートをそれぞれ撮像する。これらの撮像により、基準フォーカス位置P2及びP3それぞれのキャリブレーション画像、すなわち、位置P2及びP3をそれぞれ基準フォーカス位置とするキャリブレーション画像が得られる。
　なお、基準フォーカス位置P1、P2、及び、P3に設置されたキャリブレーションチャートを撮像する順番は、特に限定されない。
　また、ここでは、異なる３つの位置P1、P2、及び、P3を、基準フォーカス位置として採用したが、基準フォーカス位置としては、異なる３つの位置の他、異なる２つの位置や、異なる４つ以上の位置を採用することができる。
　カメラシステム１では、以上のように、フォーカス位置が複数の位置（基準フォーカス位置P1、P2、及び、P3）に制御されたカメラシステム１でキャリブレーションチャートをそれぞれ撮像することにより得られるキャリブレーション画像から、複数の基準フォーカス位置（基準フォーカス位置P1、P2、及び、P3）に対応する複数の繰り出し量に対するキャリブレーションデータの生成が行われる。
　図１０は、カメラシステム１で行われる一般撮像を説明する図である。
　一般撮像では、カメラシステム１において、カメラシステム１から任意の距離Z4mmの位置P4を、撮像フォーカス位置P4として、その撮像フォーカス位置P4に存在する一般の被写体の撮像が行われる。
　なお、図１０では、位置P4は、位置P1、P2、及び、P3のいずれとも一致しておらず、位置P1より遠く、かつ、位置P2より近い位置になっている。
　カメラシステム１では、フォーカス位置が撮像フォーカス位置P4に制御されたカメラシステム１で被写体を撮像することにより得られる一般撮像画像に画像処理が行われる。
　ここで、カメラシステム１において、一般撮像時の撮像フォーカス位置が、キャリブレーション時の複数の基準フォーカス位置のいずれとも一致しない場合、その複数の基準フォーカス位置に対応する複数の基準繰り出し量のうちのいずれかの基準繰り出し量に対するキャリブレーションデータをそのまま用いて、一般撮像画像に画像処理を行うと、不適切な画像処理が行われる可能性がある。
　図１０では、撮像フォーカス位置P4が基準フォーカス位置P1、P2、及び、P3のいずれとも一致していないので、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3のうちのいずれかの基準繰り出し量に対するキャリブレーションデータをそのまま用いて、フォーカス位置が撮像フォーカス位置P4に制御されたカメラシステム１、つまり、撮像繰り出し量が撮像フォーカス位置P4に対応する繰り出し量になっているカメラシステム１で撮像された一般撮像画像に画像処理を行うと、不適切な画像処理が行われる可能性がある。
　そこで、カメラシステム１において、一般撮像画像に適切な画像処理を行うために、補間部１５３（図７）は、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3に対するキャリブレーションデータを用いて、撮像フォーカス位置P4に対応する撮像繰り出し量P4に対するキャリブレーションデータを補間により生成する。
　すなわち、フォーカス位置、つまり、繰り出し部２３の繰り出し量が異なる場合には、カメラシステム１のレンズ条件（レンズ状態）が異なるので、一般撮像画像の同一の画素であっても、繰り出し部２３の繰り出し量が、あるフォーカス位置に対応する繰り出し量の場合と他のフォーカス位置に対応する繰り出し量の場合とでは、位置ずれ（量）が異なる。
　そのため、撮像繰り出し量と一致しない基準繰り出し量に対するキャリブレーションデータを用い、一般撮像画像を対象とした視差情報の生成を行うと、上述の位置ずれに起因する視差情報の誤差が適切に補正されず、正確な視差情報を求めることができないことがある。
　カメラシステム１は、一般撮像画像に適切な画像処理を行うため、すなわち、例えば、正確な視差情報を求めるため、複数の（異なる）基準フォーカス位置のキャリブレーションチャートを撮像し、その撮像により得られる複数の基準フォーカス位置のキャリブレーション画像から、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを生成する。
　さらに、カメラシステム１は、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを用いて、撮像フォーカス位置に対応する撮像繰り出し量に対するキャリブレーションデータを、補間により生成し、その撮像繰り出し量に対するキャリブレーションデータを用いて、視差情報の生成等の画像処理を行う。
　図１１は、撮像フォーカス位置P4に対応する撮像繰り出し量に対するキャリブレーションデータの補間による生成について説明する図である。
　図１１において、垂直方向（縦軸）は、キャリブレーションデータを表し、水平方向（横軸）は、繰り出し部２３の繰り出し量を表す。
　図１１では、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3それぞれに対するキャリブレーションデータが、丸印で示されている。
　補間部１０３は、基準繰り出し量P1、P2、及び、P3それぞれに対するキャリブレーションデータのうちの、少なくとも２つ以上の基準繰り出し量に対するキャリブレーションデータを用いて、線形補間やその他の補間を行うことにより、撮像フォーカス位置P4に対応する撮像繰り出し量P4に対するキャリブレーションデータ（図中、三角形で示す部分）を生成する。
　以上のように、カメラシステム１は、撮像繰り出し量P4に対するキャリブレーションデータを、複数の繰り出し量P1、P2、及び、P3に対するキャリブレーションデータを用いて、補間により生成する。
　したがって、撮像繰り出し量P4に対するキャリブレーションデータを用いて、繰り出し部２３の繰り出し量が撮像繰り出し量P4である場合の撮像フォーカス位置P4の一般撮像画像に適切な画像処理を行うことができる。
　画像処理部５３でのキャリブレーションデータを用いた画像処理は、例えば、撮像画像から抽出された個眼画像に（映る被写体に）非線形の歪みがある場合に有用である。画像処理部５３でのキャリブレーションデータを用いた画像処理によれば、個眼画像の歪みを是正した画像処理を行うことができる。なお、キャリブレーションにおいて、キャリブレーションデータとしての被写体が映るべき真の位置からの位置ずれに関する情報は、個眼画像の各画素に対して生成する他、一部の画素に対して生成しておき、一般撮像時に、他の画素に対して空間方向の補間を行って生成することができる。
　＜光源３２Ｌ及び３２Ｒの構成例＞
　図１２は、光源３２Ｌ及び３２Ｒの構成例を示す断面図である。
　ここで、以下では、光源３２Ｌ及び３２Ｒを区別する必要がない限り、光源３２と記述する。
　図１２において、光源３２は、筐体１２１、LED１２２、及び、レンズ１２３で構成される。
　筐体１２１は、例えば、細長い円筒状の筐体で、LED１２２、及び、レンズ１２３を内部に収納する。
　LED１２２は、スポット光としての光を発光する。
　レンズ１２３は、LED１２２が発光するスポット光を集光する。
　以上のように構成される光源３２では、LED１２２が発光するスポット光が、レンズ１２３によって集光される。
　したがって、図１２の光源３２が照射するスポット光は、（理想的には）ある１点に集光され、その後拡がっていくので、非平行光（平行光でない光）である。
　ここで、図１２の光源３２が照射するスポット光としての非平行光が集光する点を、集光点ともいう。
　以下では、光源３２が、非平行光を、スポット光として照射することとして、繰り出し部２３の繰り出し量を検出する検出方法について説明する。
　＜多眼交換レンズ２０の構成例＞
　図１３は、多眼交換レンズ２０の構成例を示す断面図である。
　図１で説明したように、繰り出し部２３には、個眼レンズ３１ｉ及び光源３２が設けられている。そして、繰り出し部２３は、円筒状の鏡筒２１の内部を、鏡筒光軸の光軸方向（図中、上下方向）に移動可能なように構成され、最も手前側（イメージセンサ５１側）から奥側に繰り出すことができるようになっている。繰り出し部２３の繰り出しにより、個眼レンズ３１ｉが移動し、フォーカスが調整される。
　＜繰り出し量の第１の検出方法＞
　図１４は、繰り出し部２３の繰り出し量を検出する第１の検出方法を説明する図である。
　図１４のＡは、繰り出し部２３が最も繰り出してない（最も手前側にある）最小繰り出し状態（ワイド端）である場合の多眼交換レンズ２０の断面を表している。図１４のＢは、繰り出し部が最も繰り出している（最も奥側にある）最大繰り出し状態（テレ端）である場合の多眼交換レンズ２０の断面を表している。
　第１の検出方法を採用する場合、カメラシステム１は、イメージセンサ５１が、繰り出し部２３が最小繰り出し状態であるときにスポット光としての非平行光が集光する集光点と、繰り出し部２３が最大繰り出し状態であるときにスポット光としての非平行光が集光する集光点との間に位置するように構成される。
　さらに、光源３２は、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
　上述のように、イメージセンサ５１が、繰り出し部２３が最小繰り出し状態であるときにスポット光が集光する集光点と、繰り出し部２３が最大繰り出し状態であるときにスポット光が集光する集光点との間に位置する場合、最小繰り出し状態のスポット光像のサイズ（以下、スポットサイズともいう）（例えば、スポット光像の径等）と、最大繰り出し状態のスポットサイズとの違いは、最小限になる。
　光源３２が、スポット光として、非平行光を照射する場合、繰り出し部２３の繰り出し量によって、スポットサイズが変化する。したがって、スポットサイズに応じて、繰り出し部２３の繰り出し量を検出することができる。
　図１５は、スポット光としての非平行光のスポットサイズの変化の例を示す（断面）図である。
　図１５に示すように、集光点において、スポットサイズは最小になり、集光点から鏡筒光軸方向に離れるほど、スポットサイズは大になる。
　イメージセンサ５１が、繰り出し部２３が最小繰り出し状態である場合にスポット光が集光する集光点と、繰り出し部２３が最大繰り出し状態である場合にスポット光が集光する集光点との間に位置する場合、スポットサイズが同一になる繰り出し量が２つ存在することがある。
　すなわち、例えば、図１５に示すように、集光点から鏡筒光軸方向に同一の距離だけすれた２つの位置については、繰り出し量は異なるが、スポットサイズは同一になる。
　以上のように、あるスポットサイズに対して、２つの繰り出し量が存在することを、２値不定性ともいう。
　あるスポットサイズに対して、２つの繰り出し量が存在する場合には、その２つの繰り出し量から、真の繰り出し量、すなわち、そのスポットサイズのスポット光像が得られている状態の繰り出し量を特定し、２値不定性を解消する必要がある。
　あるスポットサイズに対して、２つの繰り出し量が存在する場合に、その２つの繰り出し量から、真の繰り出し量を特定する方法としては、スポット光像のテンプレートマッチングを行う方法や、繰り出し量を大きく又は小さく変化させ、繰り出し量の変化の方向に応じて、スポットサイズが大きくなるか、又は、小さくなるかの変化の方向を検出する方法等がある。
　図１６は、第１の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
　図１６のフローチャートにしたがった処理は、スポット光像のテンプレートマッチングを行うことで、２値不定性を解消するようになっている。
　ステップＳ１１１において、スポット光像検出部６２は、通信部５６を介して、多眼交換レンズ２０からレンズ情報を取得し、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、制御部６１は、ユーザがフォーカスを調整するように操作を行うのを待って、その操作に応じて、フォーカスを指定する情報を、通信部５６を介して、多眼交換レンズ２０に送信する。多眼交換レンズ２０では、制御部４３が、通信部５６を介して送信されてくる、フォーカスを指定する情報に応じて、繰り出し部２３を移動し（繰り出し）、処理は、ステップＳ１１３に進む。なお、フォーカスの調整は、ユーザの操作によることなく、制御部６１が自動的に、オートフォーカスの機能等により行うことができる。
　ステップＳ１１３では、イメージセンサ５１が撮像画像を撮像し、領域特定部５２、位置算出部５７、及び、スポット光像検出部６２に供給して、処理は、ステップＳ１１４に進む。
　ステップＳ１１４では、スポット光像検出部６２は、多眼交換レンズ２０から取得したレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ５１からの撮像画像（の個体差スポット光位置情報の周辺）からスポット光像を検出し、そのスポット光像としての画像を、繰り出し量検出部６４に供給して、処理は、ステップＳ１１５に進む。
　ここで、図６で説明したように、個体差スポット光位置情報としては、機種ごとの多眼交換レンズ２０に共通の値を採用することができる。機種ごとの多眼交換レンズ２０について、共通の個体差スポット光位置情報を採用する場合には、その機種ごとの個体差スポット光位置情報を、カメラ本体１０にあらかじめ記憶させておくことにより、カメラ本体１０では、多眼交換レンズ２０から個体差スポット光位置情報（を含むレンズ情報）を取得する必要はない。後述する実施の形態でも同様である。
　ステップＳ１１５では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、まだ、スポット光像とのマッチングの対象としていないスポット光像情報を取得し、処理は、ステップＳ１１６に進む。
　ここで、第１の検出方法を採用する場合には、繰り出し量情報記憶部６３には、スポット光像としての画像を、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
　ステップＳ１１６では、繰り出し量検出部６４は、ステップＳ１１４で撮像画像から検出されたスポット光像（以下、検出スポット光像ともいう）と、直前のステップＳ１１５で取得されたスポット光像情報との（テンプレート）マッチングを行い、処理は、ステップＳ１１７に進む。
　ステップＳ１１７では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象として、検出スポット光像とのマッチングを行ったかどうかを判定する。
　ステップＳ１１７において、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象としていないと判定された場合、処理は、ステップＳ１１５に戻る。
　そして、ステップＳ１１５では、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、まだ、スポット光像とのマッチングの対象としていないスポット光像情報が取得され、以下、同様の処理が繰り返される。
　また、ステップＳ１１７において、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象としたと判定された場合、処理は、ステップＳ１１８に進む。
　ステップＳ１１８では、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、検出スポット光像と最もマッチするスポット光像情報を選択し、そのスポット光像情報に対応付けられている繰り出し量を、繰り出し部２３の繰り出し量として検出し、画像処理部５３に供給して、処理を終了する。ここで、例えば、ステップＳ１１２でのフォーカスの調整後のフォーカス位置である現在のフォーカス位置が、繰り出し量情報を生成するときのフォーカス位置として用いられていない場合、現在のフォーカス位置と、ステップＳ１１８で検出された繰り出し量を有する繰り出し量情報が生成されたときのフォーカス位置とが完全に一致せず、ステップＳ１１８で検出される繰り出し量の精度が落ちることがある。そこで、繰り出し量情報としては、繰り出し量及びスポット光像情報の他に、その繰り出し量だけ繰り出し部２３が繰り出しているときのフォーカス位置を対応付けた情報を採用することができる。この場合、ステップＳ１１２では、現在のフォーカス位置が、繰り出し量情報が有するフォーカス位置のいずれとも一致しないときには、現在のフォーカス位置を、繰り出し量情報が有するフォーカス位置のうちの、現在のフォーカス位置に最も近いフォーカス位置に引き込む（再調整する）ことができる。これにより、ステップＳ１１８において、正確な繰り出し量を検出することができる。
　なお、図１６では、スポット光像としての画像を、スポット光像情報として用い、画像のマッチングを行うことにより、繰り出し量を検出することとしたが、その他、例えば、スポット光像の１次元強度分布や２次元強度分布を、スポット光像情報として用い、その１次元強度分布や２次元強度分布のマッチングを行うことにより、繰り出し量を検出することができる。
　また、第１の検出方法は、光源３２が１個以上設けられている場合に採用することができる。
　＜繰り出し量の第２の検出方法＞
　図１７は、繰り出し部２３の繰り出し量を検出する第２の検出方法を説明する図である。
　第２の検出方法を採用する場合、第１の検出方法と同様に、カメラシステム１は、イメージセンサ５１が、繰り出し部２３が最小繰り出し状態である場合にスポット光としての非平行光が集光する集光点と、繰り出し部２３が最大繰り出し状態である場合にスポット光としての非平行光が集光する集光点との間に位置するように構成される。
　さらに、光源３２Ｌ及び３２Ｒは、第１の検出方法と同様に、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
　但し、第２の検出方法を採用する場合、各繰り出し量での光源３２Ｌが照射するスポット光の集光点と、光源３２Ｒが照射するスポット光の集光点とが、イメージセンサ５１からの距離が異なる点に位置するように、カメラシステム１が構成される。
　図１７では、ある繰り出し量での光源３２Ｌが照射するスポット光の集光点のイメージセンサ５１からの距離と、光源３２Ｒが照射するスポット光の集光点のイメージセンサ５１からの距離とが異なっている。すなわち、図１７では、図中下側にイメージセンサ５１が存在し、光源３２Ｌが照射するスポット光の集光点は、光源３２Ｒが照射するスポット光の集光点よりも、イメージセンサ５１に近い位置になっている。
　この場合、光源３２Ｌ及び３２Ｒのうちの一方が照射するスポット光のスポットサイズだけでは、２値不定性を解消することはできないが、光源３２Ｌ及び３２Ｒが照射するスポット光のスポットサイズの組み合わせにより、２値不定性を解消することができる。
　図１８は、第２の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
　図１８のフローチャートにしたがった処理は、光源３２Ｌ及び３２Ｒが照射するスポット光のスポットサイズの組み合わせを用いることで、２値不定性を解消するようになっている。
　ステップＳ１２１ないしＳ１２３において、図１６のステップＳ１１１ないしＳ１１３とそれぞれ同様の処理が行われる。
　そして、ステップＳ１２４において、スポット光像検出部６２は、多眼交換レンズ２０から取得したレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ５１からの撮像画像から、光源３２Ｌが照射するスポット光のスポット光像PL（としての画像）と、光源３２Ｒが照射するスポット光のスポット光像PRとを検出し、処理は、ステップＳ１２５に進む。
　ステップＳ１２５では、スポット光像検出部６２は、スポット光像PL及びPRのスポットサイズを検出し、繰り出し量検出部６４に供給して、処理は、ステップＳ１２６に進む。
　ステップＳ１２６では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、ステップＳ１２５で検出されたスポット光像PL及びPRのスポットサイズの組み合わせ（以下、検出スポットサイズの組み合わせともいう）に合致するスポット光像情報を選択する。さらに、ステップＳ１２６では、繰り出し量検出部６４は、検出スポットサイズの組み合わせに合致するスポット光像情報に対応付けられている繰り出し量を、繰り出し部２３の繰り出し量として検出し、画像処理部５３に供給して、処理を終了する。
　ここで、第２の検出方法を採用する場合には、繰り出し量情報記憶部６３には、スポット光像PL及びPRのスポットサイズの組み合わせを、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
　第２の検出方法では、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としてのスポット光像PL及びPRのスポットサイズの組み合わせとが対応付けられた繰り出し量情報において、検出スポットサイズの組み合わせに合致する、スポット光像PL及びPRのスポットサイズの組み合わせに対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
　第２の検出方法によれば、２値不定性を解消し、検出スポットサイズ（の組み合わせ）に応じて、繰り出し部２３の繰り出し量を検出することができる。
　なお、第２の検出方法は、光源３２が２個以上設けられている場合に採用することができる。
　＜繰り出し量の第３の検出方法＞
　図１９は、繰り出し部２３の繰り出し量を検出する第３の検出方法を説明する図である。
　図１９のＡは、繰り出し部２３が最も繰り出してない（最も手前側にある）最小繰り出し状態である場合の多眼交換レンズ２０の断面を表している。図１９のＢは、繰り出し部が最も繰り出している（最も奥側にある）最大繰り出し状態である場合の多眼交換レンズ２０の断面を表している。
　第３の検出方法を採用する場合、カメラシステム１は、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む手前側及び奥側の一方に位置するように構成される。
　さらに、光源３２は、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
　上述のように、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させた場合に、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む手前側及び奥側の一方に位置するとき、最小繰り出し状態のスポット光像のスポットサイズと、最大繰り出し状態のスポットサイズとの違いは、最大になる。さらに、繰り出し部２３を、最小繰り出し状態から最大繰り出し状態にまで移動させた場合のスポットサイズは、単調減少又は単調増加する。したがって、２値不定性は生じない。
　図２０は、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１上を含む手前側及び奥側の一方に位置する状態を説明する図である。
　図２０のＡは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１上を含む手前側（個眼レンズ３１ｉが設けられている側と反対側）に位置する状態を示している。
　図２０のＡでは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたとき、スポットサイズは、単調減少する。
　図２０のＢは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む奥側（個眼レンズ３１ｉが設けられている側）に位置する状態を示している。
　図２０のＢでは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたとき、スポットサイズは、単調増加する。
　第３の検出方法を採用する場合には、繰り出し量情報記憶部６３には、スポット光像のスポットサイズを、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
　そして、第３の検出方法では、スポット光像検出部６２において、第２の検出方法と同様に、スポット光像のスポットサイズが検出される。
　さらに、繰り出し量検出部６４において、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としてのスポット光像のスポットサイズとが対応付けられた繰り出し量情報において、スポット光像検出部６２で検出されたスポットサイズに合致するスポット光像情報としてのスポットサイズに対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
　第３の検出方法によれば、２値不定性が生じず、スポットサイズに応じて、繰り出し部２３の繰り出し量を検出することができる。
　なお、第３の検出方法は、光源３２が１個以上設けられている場合に採用することができる。
　＜繰り出し量の第４の検出方法＞
　図２１は、繰り出し部２３の繰り出し量を検出する第４の検出方法を説明する図である。なお、第４の検出方法は、スポット光が非平行光である場合の他、スポット光が後述するように平行光である場合であっても適用することができる。
　すなわち、図２１は、多眼交換レンズ２０の断面を表している。
　第４の検出方法を採用する場合、カメラシステム１は、光源３２が、鏡筒光軸方向から傾いた斜め方向に、スポット光を照射するように構成される。
　図２１では、光源３２は、イメージセンサ５１の周辺部から中心部に向かう方向に、スポット光を照射するようになっている。
　図２２は、繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置と、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置とを示す図である。
　図２２のＡは、繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置を示しており、図２２のＢは、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置を示している。
　図２２において、繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置、すなわち、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像PL'及びPR'の位置は、スポット光のスポット光像PL及びPRの可動範囲のうち、イメージセンサ５１（で撮像される撮像画像）の周辺側に最も近い位置になる。
　繰り出し部２３が最小繰り出し状態から最大繰り出し状態に移動していくと、スポット光像PL及びPRは、イメージセンサ５１の中心に向かって移動していく。
　そして、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置、すなわち、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像PL''及びPR''の位置は、スポット光のスポット光像PL及びPRの可動範囲のうち、イメージセンサ５１の中心側に最も近い位置になる。
　図２３は、繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'が映る撮像画像と、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''が映る撮像画像との例を示す図である。
　図２３において、繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'は、撮像画像の最も周辺側に位置する。
　繰り出し部２３が最小繰り出し状態から最大繰り出し状態に移動していくと、スポット光像PL及びPRは、撮像画像の中心に向かって移動していく。
　そして、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''は、撮像画像の最も中心側に位置する。
　以上のように、光源３２Ｌ及び３２Ｒが、斜め方向に、スポット光を照射する場合、繰り出し部２３の繰り出し量によって、スポット光像PL及びPRの位置が変化する。
　さらに、光源３２Ｌ及び３２Ｒが、斜め方向としての、例えば、イメージセンサ５１の周辺部から中心部に向かう方向に、スポット光を照射する場合、繰り出し部２３の繰り出し量によって、スポット光像PL及びPRの位置の他、スポット光像PL及びPR（の位置）の間の距離も変化する。図２３では、繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'の間の距離は、スポット光像PL及びPRの間の距離の最大値となる。また、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''の間の距離は、スポット光像PL及びPRの間の距離の最小値となる。
　第４の検出方法では、スポット光像PL及びPR（のうちの一方又は両方）の位置や、その位置から求められるスポット光像PL及びPRの間の距離に応じて、繰り出し部２３の繰り出し量が検出される。
　図２４は、第４の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
　ステップＳ１３１ないしＳ１３４において、図１８のステップＳ１２１ないしＳ１２４とそれぞれ同様の処理が行われる。
　そして、ステップＳ１３５において、スポット光像検出部６２は、スポット光像PL及びPRの位置（検出光像位置）を検出し、それらの位置どうしの間の距離である光像間距離を検出する。スポット光像検出部６２は、光像間距離を、繰り出し量検出部６４に供給して、処理は、ステップＳ１３５からステップＳ１３６に進む。
　ステップＳ１３６では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、ステップＳ１３５で検出された光像間距離（以下、検出光像間距離ともいう）に合致するスポット光像情報を選択する。さらに、ステップＳ１３６では、繰り出し量検出部６４は、検出光像間距離に合致するスポット光像情報に対応付けられている繰り出し量を、繰り出し部２３の繰り出し量として検出し、画像処理部５３に供給して、処理を終了する。
　ここで、第４の検出方法を採用する場合には、繰り出し量情報記憶部６３には、光像間距離を、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
　第４の検出方法では、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としての光像間距離とが対応付けられた繰り出し量情報において、検出光像間距離に合致する光像間距離に対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
　第４の検出方法によれば、２値不定性を生じさせることなく、検出光像間距離に応じて、繰り出し部２３の繰り出し量を検出することができる。
　なお、第４の検出方法では、光像間距離に代えて、スポット光像の位置（検出光像位置）を、スポット光像情報として採用することができる。スポット光像の位置を、スポット光像情報として採用する場合、繰り出し量情報記憶部６３には、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としてのスポット光像の位置とが対応付けられた繰り出し量情報が記憶される。さらに、この場合、スポット光像検出部６２において、スポット光像の位置が検出される。
　そして、繰り出し量検出部６４では、繰り出し量情報記憶部６３に記憶された繰り出し量情報において、スポット光像検出部６２で検出されたスポット光像の位置に合致するスポット光像の位置に対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
　その他、第４の検出方法では、第１の検出方法と同様に、スポット光像としての画像を、スポット光像情報として採用することや、第２及び第３の検出方法と同様に、スポットサイズを、スポット光像情報として採用することができる。
　ここで、第４の検出方法において、光像間距離を、スポット光像情報として採用する場合には、光源３２が２個以上設けられている必要がある。但し、２個以上の光源３２については、そのすべてが、斜め方向に、スポット光を照射する必要はなく、少なくとも１個の光源３２が、斜め方向に、スポット光を照射する光源であればよい。
　また、第４の検出方法において、スポット光像の位置を、スポット光像情報として採用する場合には、光源３２が１個以上設けられている必要がある。
　＜多眼交換レンズ２０の他の構成例＞
　図２５は、多眼交換レンズ２０の他の構成例を示す図である。
　なお、図中、図４や図１３等の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２５の多眼交換レンズ２０は、光源３２Ｌ及び３２Ｒと同様に構成される光源３２Ｕ及び３２Ｄが新たに設けられていることを除き、図４や図１３等の場合と同様に構成される。
　図２５の多眼交換レンズ２０は、平面視において、光源３２Ｌと３２Ｒとを結ぶ直線と平行でない直線、例えば、直交する直線上に、複数としての２個の光源３２Ｕ及び３２Ｄを設けた構成になっている。
　以上のような、光源３２Ｌと３２Ｒとを結ぶ直線と直交する直線上に、２個の光源３２Ｕ及び３２Ｄを設けた多眼交換レンズ２０が、カメラ本体１０に装着された場合、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れがあるときには、レンズ倒れがないときに対して、図２５に示すように、光源３２Ｌ，３２Ｒ，３２Ｕ，３２Ｄが照射するスポット光のスポット光像のスポットサイズや位置が変化する。
　したがって、スポット光像（のスポットサイズや位置）に応じて、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れを検出することができる。
　この場合、許容される量を超える量のレンズ倒れが検出されたときには、ユーザに、多眼交換レンズ２０の再取り付けを促すことができる。さらに、レンズ倒れの量を検出し、そのレンズ倒れ量の影響がキャンセルされるように、視差情報を求めることや、個眼画像の領域を特定すること等を行うことができる。
　＜光源３２Ｌ及び３２Ｒの他の構成例＞
　図２６は、光源３２Ｌ及び３２Ｒの他の構成例を示す断面図である。
　なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２６において、光源３２は、筐体１２１、LED１２２、レンズ１２３及び１２４で構成される。
　したがって、図２６の光源３２は、筐体１２１ないしレンズ１２３を有する点で、図１２の場合と共通し、レンズ１２４が新たに設けられている点で、図１２の場合と相違する。
　レンズ１２４は、レンズ１２３の、イメージセンサ５１側に設けられており、レンズ１２３が集光するスポット光を平行光に変換して出射する。
　したがって、図２６の光源３２が照射するスポット光は、平行光である。スポット光として、平行光を照射する光源３２を、以下、平行光光源３２ともいう。
　多眼交換レンズ２０の繰り出し部２３には、平行光光源３２を設けることができる。繰り出し部２３に、平行光光源３２を設ける場合、スポットサイズは、繰り出し部２３の繰り出しにかかわらず、一定のサイズとなる。そのため、スポットサイズを小さくすることにより、スポット光として、スポットサイズが変化する非平行光を採用する場合に比較して、スポット光像の重心を、スポット光像の位置として求める際の計算の誤差及び計算量が低減される。したがって、より高精度に、取り付け誤差及び繰り出し量を求めることができるとともに、取り付け誤差及び繰り出し量を求めるときの演算の負荷を軽減することができる。
　平行光光源３２は、スポット光が鏡筒光軸と平行になるように、繰り出し部２３に設けることができる。但し、この場合、スポット光（スポット光像）を用いて、取り付け誤差を求めることはできるが、繰り出し量を検出することはできない。
　平行光光源３２は、スポット光が鏡筒光軸方向から傾いた斜め方向に照射されるように、繰り出し部２３に設けることで、図２１ないし図２４で説明した第４の検出方法により、繰り出し量を検出することができる。
　また、平行光光源３２を採用する場合でも、図２５の場合と同様に、平面視において、平行光光源３２Ｌと３２Ｒとを結ぶ直線と平行でない直線、例えば、直交する直線上に、複数としての、例えば、２個の平行光光源３２Ｕ及び３２Ｄを設けることができる。
　この場合、多眼交換レンズ２０が、カメラ本体１０に装着されたとき、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れに応じて、平行光光源３２Ｌ，３２Ｒ，３２Ｕ，３２Ｄが照射するスポット光のスポット光像の位置が変化する。
　図２７は、レンズ倒れに応じて、平行光光源３２が照射する平行光のスポット光像の位置が変化する状態を示す図である。
　平行光光源３２Ｌと３２Ｒとを結ぶ直線と直交する直線上に、２個の平行光光源３２Ｕ及び３２Ｄを設けた多眼交換レンズ２０が、カメラ本体１０に装着された場合には、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れに応じて、平行光光源３２が照射する平行光のスポット光像の位置が変化する。
　したがって、スポット光像の位置に応じて、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れを検出することができる。
　この場合、許容される量を超える量のレンズ倒れが検出されたときには、ユーザに、多眼交換レンズ２０の再取り付けを促すことができる。さらに、レンズ倒れの量を検出し、そのレンズ倒れ量の影響がキャンセルされるように、視差情報を求めることや、個眼画像の領域を特定すること等を行うことができる。
　＜カメラシステム１の他の電気的構成例＞
　図２８は、図１のカメラシステム１の他の電気的構成例を示すブロック図である。
　なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　ここで、本技術を適用したカメラシステム１（又はレンズ一体型のカメラシステム）は、イメージセンサ５１で撮像される全体画像（撮像画像）上の各個眼画像の位置を特定する個眼画像位置情報、すなわち、イメージセンサ５１における複数の個眼レンズ３１ｉから出射される各撮像光の出射位置を示す個眼画像位置情報を保持している。さらに、カメラシステム１は、光源３２のスポット光のスポット光像の位置を特定するスポット光像位置情報を保持している。
　ここで、全体画像とは、イメージセンサ５１で撮像される撮像画像の全体、又は、その撮像画像の全体から、撮像画像に含まれるすべての個眼画像よりも外側の一部又は全部を削除した画像を意味する。　
　なお、個眼画像位置情報及びスポット光像位置情報は、カメラシステム１ごとに算出された情報であっても良いし、機種ごとに算出された情報であっても良い。
　また、個眼画像位置情報は、各個眼画像の絶対的な位置の情報であっても良いし、所定の１個の個眼レンズ３１ｉを基準レンズとして、その基準レンズに対する個眼画像の絶対的な位置の情報と、基準レンズに対する個眼画像の位置を基準とする、他の個眼画像の相対的な位置の情報とであってもよい。
　カメラシステム１が保持している個眼画像位置情報及びスポット光像位置情報は、例えば、それぞれ、個体差反映位置情報（既知基準位置）及び個体差スポット光位置情報（既知光位置）と対応するような値としていても良いが、これに限定されない。
　カメラシステム１は、実撮像時（一般撮像画像（未知撮像画像）の撮像時）の全体画像から検出されるスポット光像の位置（検出スポット光像位置情報）を用いて、個眼画像位置情報を修正する。
　カメラシステム１の多眼交換レンズ２０では、各個眼レンズ３１ｉと光源３２とが一体的に繰り出すので、フォーカス（やズーム）の調整により、個眼レンズ３１ｉが繰り出しても、個眼レンズ３１ｉと一体的に繰り出す光源３２の検出スポット光像位置情報を用いて、個眼画像位置情報を正確に修正（補正）することができる。
　すなわち、個眼レンズ３１ｉが繰り出すことにより、「様々な理由」で、繰り出し量に応じて異なる位置ずれ量が生じるが、個眼レンズ３１ｉが繰り出しても、個眼画像と光源３２との位置関係、すなわち、個眼画像とスポット光像との位置関係は変わらない。そのため、実撮像時の全体画像上のスポット光像の位置（検出スポット光像位置情報）を検出して、カメラシステム１が保持しているスポット光像位置情報とのずれを把握することで、各個眼画像の個眼画像位置情報を、正確に修正することができる。
　「様々な理由」とは、例えば、繰り出し時に一体となって動く個眼レンズ３１ｉ群（個眼レンズユニット）が傾く、繰り出し時に個眼レンズユニットが回転する、多眼交換レンズ２０については、取り付け誤差によって同じ繰り出し量の場合も取り付け時の回転誤差や傾きの誤差等がある、等である。
　カメラシステム１では、以上のように、個眼画像の個眼画像位置情報を、正確に修正することができるので、その修正後の個眼画像位置情報（修正個眼画像位置情報）を用いて、全体画像から、例えば、光軸中心位置を中心とする所定の範囲を、個眼画像として、正確に抽出する（切り出す）ことや、レンズ歪み等の影響を抑制する処理（視差情報の生成等）を行うことができる。
　なお、実撮像時の全体画像から検出される検出スポット光像位置情報は、例えば、装着誤差スポット光位置情報（未知光位置）と対応するような値としていても良いが、これに限定されない。また、検出スポット光像位置情報を用いて、個眼画像位置情報を修正した修正個眼画像位置情報は、例えば、装着誤差反映位置情報（未知基準位置）と対応するような値としていても良いが、これに限定されない。
　図２８において、領域特定部５２は、個眼画像位置情報修正部２１１及び個眼画像抽出部２１２を有する。
　個眼画像位置情報修正部２１１には、通信部５６から、多眼交換レンズ２０の記憶部４１のレンズ情報（の一部）として記憶された個眼画像位置情報及びスポット光像位置情報が供給される。さらに、個眼画像位置情報修正部２１１には、スポット光像検出部６２から、イメージセンサ５１で撮像された全体画像（撮像画像）から検出された検出スポット光像位置情報が供給される。
　個眼画像位置情報修正部２１１は、通信部５６からのスポット光像位置情報、及び、スポット光像検出部６２からの検出スポット光像位置情報を用いて、通信部５６からの個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を、個眼画像抽出部２１２及び関連付け部２２１に供給する。個眼画像位置情報修正部２１１において、個眼画像位置情報の修正は、位置算出部５７（図２）における装着誤差反映位置情報を求める処理と同様にして行われる。
　個眼画像抽出部２１２には、上述したように、個眼画像位置情報修正部２１１から修正個眼画像位置情報が供給される他、イメージセンサ５１から全体画像（撮像画像）が供給される。
　個眼画像抽出部２１２は、個眼画像位置情報修正部２１１からの修正個眼画像位置情報を用いて、イメージセンサ５１からの全体画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を表す領域情報を求める。例えば、個眼画像抽出部２１２は、修正個眼画像位置情報を中心とする矩形の領域を表す情報を、領域情報として求める。
　そして、個眼画像抽出部２１２は、イメージセンサ５１からの全体画像から、領域情報が表す領域を、個眼画像として抽出し、必要に応じて、表示部５４及び関連付け部２２１に供給する。
　また、個眼画像抽出部２１２は、イメージセンサ５１からの全体画像を、必要に応じて、表示部５４及び関連付け部２２１に供給する。
　表示部５４では、個眼画像抽出部２１２からの全体画像や個眼画像が表示される。
　関連付け部２２１は、個眼画像位置情報修正部２１１からの修正個眼画像位置情報、及び、個眼画像抽出部２１２からの個眼画像又は全体画像を対象とした関連付けを行う。
　関連付け部２２１は、例えば、個眼画像抽出部２１２からの、同一の全体画像から抽出された各個眼画像の関連付けを行う。また、関連付け部２２１は、例えば、個眼画像抽出部２１２からの、同一の全体画像から抽出された各個眼画像、及び、各個眼画像の抽出に用いられた修正個眼画像位置情報の関連付けを行う。さらに、関連付け部２２１は、例えば、個眼画像抽出部２１２からの全体画像（撮像画像）と、個眼画像位置情報修正部２１１からの、その全体画像から検出された検出スポット光像位置情報を用いて個眼画像位置情報を修正した修正個眼画像位置情報（撮像個眼画像位置）との関連付けを行う。
　関連付けは、例えば、関連付けの対象を同一の記録媒体に記録することや、関連付けの対象に、同一のID(Identification)を付与すること等により行うことができる。また、関連付けは、例えば、関連付けの対象のメタデータ（修正個眼画像位置情報を関連付ける対象の個眼画像又は全体画像のメタデータ）を用いて行うことができる。
　関連付け部２２１は、関連付けにより関連付けられた情報（関連付け情報）を、まとめて、記録することや伝送することができる。
　なお、関連付け部２２１では、その他、例えば、（レンズ情報に含まれる）スポット光像位置情報と、全体画像から検出された検出スポット光像位置情報とを関連付けることができる。
　また、関連付け部２２１で得られる関連付け情報は、カメラシステム１や外部機器でのポスト処理の対象とすることができる。ポスト処理では、例えば、全体画像と修正個眼画像位置情報とを関連付けた関連付け情報に含まれる全体画像から、その関連付け情報に含まれる修正個眼画像位置情報を用いて、個眼画像を抽出することができる。
　さらに、関連付け部２２１では、全体画像（撮像画像）、その全体画像から検出された検出スポット光像位置情報（検出光像位置）、スポット光像位置情報（記憶光像位置）、及び、個眼画像位置情報（記憶個眼画像位置）を関連付けることができる。この場合、全体画像、検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報を関連付けた関連付け情報を対象とするポスト処理では、検出スポット光像位置情報及びスポット光像位置情報を用いて、個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を用いて、全体画像から個眼画像を抽出することができる。
　その他、関連付け部２２１では、例えば、スポット光像位置情報（記憶光像位置）、スポット光像位置情報と検出スポット光像位置情報との差分（記憶光像位置と検出光像位置との差分）、個眼画像位置情報（記憶個眼画像位置）、及び、全体画像（撮像画像）を関連付けることができる。
　また、関連付け部２２１では、撮像画像上の個眼画像の位置を特定することができる任意の関連付けを採用することができる。
　関連付けの対象となる対象画像としては、全体画像や、全体画像から抽出された各個眼画像の他、全体画像から抽出された各個眼画像を並べた１枚の合成画像を採用することができる。
　また、対象画像と関連付ける対象の対象情報としては、修正個眼画像位置情報の他、撮像画像上の個眼画像の位置を特定することができる任意の情報を採用することができる。
　対象情報としては、例えば、個眼画像位置情報、スポット光像位置情報、及び、検出スポット光像位置情報のセットを採用することができる。
　対象画像と対象情報との関連付けでは、対象画像と対象情報とを関連付けて、記憶媒体に記憶させることや、伝送媒体を介して送信すること、１つのファイルにすることができる。
　ここでは、「関連付け」は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。対象画像及び対象情報のデータ（ファイル）としての形態は任意である。例えば、対象画像と対象情報とが、１つのデータ（ファイル）としてまとめられてもよいし、それぞれ個別のデータ（ファイル）とされてもよい。例えば、対象画像に関連付けられた対象情報は、その対象画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、対象画像に関連付けられた対象情報は、対象画像とは別の記録媒体、又は、同一の記録媒体の別の記録エリアに記録されるようにしてもよい。対象画像と対象情報とをまとめて、１つのストリームデータにすることや、１つのファイルにすることもできる。
　対象画像は、静止画でもよいし動画でもよい。動画の場合、各フレームの対象画像と対象情報とを関連付けることができる。
　「関連付け」は、対象画像のデータ全体でなく、データ（ファイル）の一部に対して行うことができる。例えば、対象画像が複数フレームからなる動画である場合、対象情報を、対象画像の、複数フレーム、１フレーム、又は、フレーム内の一部分などの任意の単位に対して関連付けることができる。
　なお、対象画像と対象情報とが個別のデータ（ファイル）とされる場合は、その対象画像と対象情報の双方に同じID（識別番号）を付与することなどで、両者を関連付けることができる。また、対象画像と対象情報とが１つのファイルにまとめられる場合、例えば、ファイルのヘッダ等に対象情報が付与されるようにしてもよい。
　＜ポスト処理装置＞
　図２９は、関連付け情報を対象としてポスト処理を行うポスト処理装置の構成例を示すブロック図である。
　図２９において、ポスト処理装置２３０は、領域特定部２３１、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５を有する。領域特定部２３１は、個眼画像位置情報修正部２４１及び個眼画像抽出部２４２を有する。
　ポスト処理装置２３０には、全体画像、検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報を関連付けた関連付け情報が、図示せぬ記録媒体や伝送媒体から供給される。
　なお、どのような情報を関連付けておき、どう修正するかは多様にあり得る。例えば、検出スポット光像位置情報とスポット光像位置情報からスポット光像位置のずれを示すスポット光像位置ずれ情報を事前に算出し、全体又は個眼画像と、スポット光像位置ずれ情報を関連付けておけば、検出スポット光像位置情報とスポット光像位置情報を全体画像等に関連付けておく必要はない。また、個眼画像位置情報を予め修正して修正個眼画像位置情報と、全体画像又は個眼画像と関連付けておいても良く、この場合はポスト処理での個眼画像位置情報の修正等が不要となる。さらに、検出スポット光像位置情報としては、例えば、全体画像上のスポット光像の位置そのものの他、例えば、全体画像の、スポット光像が映る領域の画像部分の情報を採用することができる。検出スポット光像位置情報として、例えば、全体画像の、スポット光像が映る領域の画像部分の情報を採用する場合には、その情報から、全体画像上のスポット光像の位置が求められる。
　関連付け情報に含まれる検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報は、個眼画像位置情報修正部２４１に供給される。関連付け情報に含まれる全体画像は、個眼画像抽出部２４２に供給される。
　個眼画像位置情報修正部２４１は、関連付け情報に含まれる検出スポット光像位置情報、及び、スポット光像位置情報を用いて、関連付け情報に含まれる個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を、個眼画像抽出部２４２に供給する。個眼画像位置情報修正部２４１において、個眼画像位置情報の修正は、個眼画像位置情報修正部２１１（図２８）と同様に行われる。
　個眼画像抽出部２４２は、個眼画像位置情報修正部２４１からの修正個眼画像位置情報を用いて、関連付け情報に含まれる全体画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を表す領域情報を求める。
　そして、個眼画像抽出部２４２は、全体画像から、領域情報が表す領域を、個眼画像として抽出し、必要に応じて、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。
　なお、個眼画像抽出部２４２は、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に対して、個眼画像の他、全体画像や、修正個眼画像位置情報を、必要に応じて供給することができる。
　画像処理部２３２は、個眼画像抽出部２４２からの個眼画像の画像処理を行い、その画像処理の結果を、必要に応じて、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。画像処理部２３２では、例えば、個眼画像抽出部２４２からの個眼画像、及び、修正個眼画像位置情報を用いて、視差情報を生成し、その視差情報及び個眼画像を用いて、リフォーカスを行うことができる。
　表示部２３３は、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果を、必要に応じて表示する。記録部２３４は、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果を、必要に応じて、図示せぬ記録媒体に記録する。伝送部２３５は、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果を、必要に応じて、図示せぬ伝送媒体を介して伝送する。
　ポスト処理装置２３０では、検出スポット光像位置情報、及び、スポット光像位置情報を用いて、個眼画像位置情報を修正する処理や、個眼画像位置情報の修正により得られる修正個眼画像位置情報を用いて、全体画像から個眼画像を抽出する処理を、ポスト処理として行うことができる。
　以上のようなポスト処理装置２３０は、個眼画像の再生、表示、画像処理を行う装置に設けることができる。
　図３０は、関連付け情報を対象としてポスト処理を行うポスト処理装置の他の構成例を示すブロック図である。
　なお、図中、図２９のポスト処理装置２３０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３０において、ポスト処理装置２５０は、領域特定部２３１ないし伝送部２３５を有する。領域特定部２３１は、個眼画像位置情報修正部２４１を有する。
　したがって、ポスト処理装置２５０は、領域特定部２３１ないし伝送部２３５を有する点で、図２９のポスト処理装置２３０と共通する。但し、ポスト処理装置２５０は、領域特定部２３１が個眼画像抽出部２４２を有していない点で、ポスト処理装置２３０と相違する。
　ポスト処理装置２５０には、複数の個眼画像、検出スポット光像位置情報、スポット光像位置情報、及び、それぞれ複数の個眼画像に対応する複数の個眼画像位置情報を関連付けた関連付け情報が、図示せぬ記録媒体や伝送媒体から供給される。
　関連付け情報に含まれる検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報は、個眼画像位置情報修正部２４１に供給される。関連付け情報に含まれる個眼画像は、必要に応じて、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に供給される。
　個眼画像位置情報修正部２４１は、図２９で説明したように、関連付け情報に含まれる検出スポット光像位置情報、及び、スポット光像位置情報を用いて、関連付け情報に含まれる個眼画像位置情報を修正する。個眼画像位置情報修正部２４１は、個眼画像位置情報の修正により得られる修正個眼画像位置情報を、必要に応じて、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。
　画像処理部２３２は、個眼画像の画像処理を行い、その画像処理の結果を、必要に応じて、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。画像処理部２３２では、例えば、図２９の場合と同様に、個眼画像、及び、修正個眼画像位置情報を用いて、視差情報を生成し、その視差情報及び個眼画像を用いて、リフォーカスを行うことができる。
　表示部２３３では、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果、個眼画像位置情報修正部２４１で得られる修正個眼画像位置情報が、必要に応じて表示される。記録部２３４では、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果、個眼画像位置情報修正部２４１で得られる修正個眼画像位置情報が、必要に応じて記録される。伝送部２３５では、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果、個眼画像位置情報修正部２４１で得られる修正個眼画像位置情報が、必要に応じて伝送される。
　ポスト処理装置２５０では、検出スポット光像位置情報、及び、スポット光像位置情報を用いて、個眼画像位置情報を修正する処理を、ポスト処理として行うことができる。なお、図３０において、関連付け情報には、全体画像を含めることができる。全体画像は、画像処理部２３２ないし伝送部２３５に供給し、処理の対象とすることができる。
　以上のようなポスト処理装置２５０は、個眼画像の再生、表示、画像処理を行う装置に設けることができる。なお、上述したようにポスト処理装置２３０及びポスト処理装置２５０は、カメラシステム１内にポスト処理機能として設けられていても良い。
　＜本技術を適用したカメラシステムの他の実施の形態＞
　＜カメラシステムの第１の他の実施の形態＞
　図３１は、本技術を適用したカメラシステムの第１の他の実施の形態の電気的構成例を示すブロック図である。
　なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３１において、カメラシステム３００は、レンズ一体型のカメラシステムである。カメラシステム３００は、レンズ部３２０、イメージセンサ３５１、RAW信号処理部３５２、領域抽出部３５３、カメラ信号処理部３５４、スルー画像生成部３５５、領域特定部３５６、画像再構成処理部３５７、バス３６０、表示部３６１、記憶部３６２、通信部３６４、ファイル化部３６５、制御部３８１、記憶部３８２、及び、光学系制御部３８４を有する。
　レンズ部３２０は、繰り出し部２３を有する。繰り出し部２３は、図１及び図２で説明したように、個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒを有する。
　繰り出し部２３は、図３１では図示していない鏡筒２１（図１）の内部を、鏡筒光軸の光軸方向に移動する。繰り出し部２３の移動とともに、その繰り出し部２３が有する個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒも一体的に移動する。
　個眼レンズ３１ｉは、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼レンズ３１ｉを通過した光は、他の個眼レンズ３１ｊに入射せずにイメージセンサ３５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼レンズ３１ｉの光軸は、イメージセンサ３５１の受光面の互いに異なる場所に位置しており、各個眼レンズ３１ｉを通過した光の少なくとも一部が、イメージセンサ３５１の受光面の互いに異なる位置に照射する。
　したがって、イメージセンサ３５１により生成される撮像画像（イメージセンサ３５１の出力する画像全体）には、各個眼レンズ３１ｉを介して結像された被写体の像が互いに異なる位置に形成される。換言するに、撮像画像から、各個眼レンズ３１ｉの位置を視点とする画像（個眼画像）が得られる。
　イメージセンサ３５１は、例えば、イメージセンサ５１と同様に、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ３５１の受光面には、個眼レンズ３１0ないし３１4それぞれにより集光される光線が照射される。イメージセンサ３５１は、個眼レンズ３１0ないし３１4それぞれからの光線（照射光）を受光して光電変換を行うことにより、各個眼レンズ３１ｉを視点とする個眼画像を含む撮像画像を生成する。
　イメージセンサ３５１は、イメージセンサ５１と同様に、単色（所謂モノクロ）のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ３５１が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ３５１が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。
　なお、本実施の形態においてRAWフォーマットとは、イメージセンサ３５１のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ３５１から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ３５１の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。
　イメージセンサ３５１は、照射光を光電変換して生成したRAWフォーマットの撮像画像（全体画像）を出力することができる。例えば、イメージセンサ３５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス３６０、RAW信号処理部３５２、領域抽出部３５３、及び、領域特定部３５６の内の、少なくともいずれか１つに供給することができる。
　例えば、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介して通信部３６４に供給し、カメラシステム３００の外部へ送信させることができる。さらに、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。また、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理を行わせることができる。
　なお、イメージセンサ３５１は、単板式のイメージセンサであってもよいし、例えば３板式のイメージセンサ等、複数のイメージセンサからなる１組のイメージセンサ（複数板式イメージセンサとも称する）であってもよい。
　なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。
　このような複数板式撮像装置の場合も各イメージセンサ、すなわち１つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。
　RAW信号処理部３５２は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部３５２は、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、RAW信号処理部３５２は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、又は、圧縮（符号化）等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部３５２は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して行うことができる信号処理は、信号処理後の画像が、上述したようにイメージセンサ３５１のカラーフィルタの配置の位置関係を維持した状態の画像（複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像）であるものに限定される。
　RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して通信部３６４に供給し、送信させることができる。さらに、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。また、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、及び、圧縮RAWを互いに区別して説明する必要が無い場合、RAW画像と称する。
　領域抽出部３５３は、RAWフォーマットの撮像画像からの一部の領域の抽出（部分画像の切り出し）に関する処理を行う。例えば、領域抽出部３５３は、イメージセンサ３５１からRAWフォーマットの撮像画像（全体画像）を取得することができる。また、領域抽出部３５３は、領域特定部３５６から供給される、撮像画像から抽出する領域を示す情報（抽出領域情報とも称する）を取得することができる。そして、領域抽出部３５３は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する（部分画像を切り出す）ことができる。
　例えば、領域抽出部３５３は、撮像画像（全体画像）から、各個眼レンズ３１ｉの位置を視点とする個眼画像を切り出すことができる。また、撮像画像において、個眼画像が切り出される領域（個眼画像に対応する領域）を個眼画像領域とも称する。例えば、領域抽出部３５３は、領域特定部３５６から供給される、個眼画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各個眼画像領域を抽出すること、すなわち、各個眼画像を切り出すことができる。そして、領域抽出部３５３は、その切り出した各個眼画像（RAWフォーマット）をカメラ信号処理部３５４に供給することができる。
　視点関連情報は、例えば、上述の個体差反映位置情報、又は、装着誤差反映位置情報に対応するような値としていても良いが、これに限定されず、個体差や装着誤差といった区別やそれらを補正することを意図して設定する必要はなく、単純に、撮像画像上の個眼画像の領域と、スポット光の位置との関係を示す情報であっても、上述したような誤差その他様々な誤差を加味した修正が可能である。
　領域抽出部３５３は、撮像画像（全体画像）から切り出した各個眼画像を合成し、合成画像を生成することができる。合成画像は、各個眼画像が合成されて、１データ化、又は、１枚の画像とされたものである。例えば、領域抽出部３５３は、各個眼画像を平面状に並べた１枚の画像を合成画像として生成することができる。領域抽出部３５３は、その生成した合成画像（RAWフォーマット）をカメラ信号処理部３５４に供給することができる。
　また、例えば、領域抽出部３５３は、全体画像をカメラ信号処理部３５４に供給することができる。例えば、領域抽出部３５３は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し（つまり、全ての個眼画像を含む部分画像を切り出し）、その切り出した部分画像（つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部又は全部を削除した画像）を、RAWフォーマットの全体画像としてカメラ信号処理部３５４に供給することができる。この場合の抽出する領域の場所（範囲）は、領域抽出部３５３において予め定められていてもよいし、領域特定部３５６から供給される視点関連情報により指定されるようにしてもよい。
　また、領域抽出部３５３は、取得した撮像画像を（すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を）、RAWフォーマットの全体画像としてカメラ信号処理部３５４に供給することもできる。
　なお、領域抽出部３５３は、上述のように撮像画像から切り出したRAWフォーマットの部分画像（全体画像、個眼画像、又は、合成画像）を、イメージセンサ３５１の場合と同様に、バス３６０を介して記憶部３６２、通信部３６４、ファイル化部３６５、又は画像再構成処理部３５７等に供給することができる。
　また、領域抽出部３５３は、RAWフォーマットの部分画像（全体画像、個眼画像、又は、合成画像）を、RAW信号処理部３５２に供給し、所定の信号処理を施させたり、圧縮（符号化）させたりすることもできる。この場合も、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して記憶部３６２、通信部３６４、ファイル化部３６５、又は画像再構成処理部３５７等に供給することができる。
　つまり、全体画像、個眼画像、及び、合成画像の内の少なくともいずれか１つは、RAW画像であるようにしてもよい。
　カメラ信号処理部３５４は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部３５４は、領域抽出部３５３から供給される画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、カメラ信号処理部３５４は、その取得した画像に対して、カメラ信号処理（カメラプロセス）を施すことができる。例えば、カメラ信号処理部３５４は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のＲ画像、Ｇ画像、及び、Ｂ画像を生成する色分離処理（ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理）や、その色分離後の画像の色空間をRGBからYC（輝度・色差）に変換するYC変換処理等を行うことができる。また、カメラ信号処理部３５４は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB（Automatic White Balance）、又は、ガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部３５４は、処理対象の画像を圧縮（符号化）することもできる。勿論、カメラ信号処理部３５４は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。
　なお、以下においては、カメラ信号処理部３５４が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像（YC）を出力するものとする。この画像は、全体画像であってもよいし、各個眼画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像（YC）は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部３５４から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。
　つまり、全体画像、個眼画像、及び、合成画像の内の少なくともいずれか１つは、そのYCフォーマットの画像（YC画像とも称する）であるようにしてもよい。
　また、カメラ信号処理部３５４が出力する画像は、完全な現像処理をしたものではなく、YCフォーマットの画像（YC）として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整（色調整）に関する処理の一部又は全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像（YC）をほぼ劣化なくRAWフォーマットの画像に戻すことができる。
　カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。さらに、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して通信部３６４に供給し、外部に送信させることができる。また、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。さらに、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理を行わせることができる。
　また、例えば、カメラ信号処理部３５４は、YCフォーマットの画像（YC）をスルー画像生成部３５５に供給することもできる。
　なお、RAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）が記憶媒体３６３に記憶されている場合、カメラ信号処理部３５４は、そのRAWフォーマットの画像を記憶媒体３６３から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して表示部３６１、記憶部３６２、通信部３６４、ファイル化部３６５、又は画像再構成処理部３５７等に供給することができる。
　また、イメージセンサ３５１から出力されるRAWフォーマットの撮像画像（全体画像）に対してカメラ信号処理部３５４がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像（全体画像）から、領域抽出部３５３が一部の領域を抽出するようにしてもよい。
　スルー画像生成部３５５は、スルー画（像）の生成に関する処理を行う。スルー画は、撮影時又は撮影準備時（非記録時）にユーザが撮影準備中の画像を確認するために表示される画像である。スルー画は、ライブビュー画像やEE（Electronic to Electronic）画とも称される。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影（記録）中の画像に対応するスルー画も表示される。
　例えば、スルー画像生成部３５５は、カメラ信号処理部３５４から供給される画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、スルー画像生成部３５５は、その取得した画像を用いて、例えば表示部３６１の解像度に応じた画サイズに変換する画サイズ（解像度）変換を行うことで、表示用画像であるスルー画を生成することができる。スルー画像生成部３５５は、生成したスルー画を、バス３６０を介して表示部３６１に供給し、表示させることができる。
　領域特定部３５６は、領域抽出部３５３が撮像画像から抽出する領域の特定（設定）に関する処理を行う。例えば、領域特定部３５６は、撮像画像から抽出する領域を特定する視点関連情報VIを取得し、抽出領域情報として、領域抽出部３５３に供給する。
　視点関連情報VIは、例えば、上述の個体差反映位置情報に対応するような値としていても良いが、これに限定されない。視点関連情報VIは、例えば、撮影画像における個眼画像の設計上の位置や、既知撮像画像の撮像時の位置等を表す。
　視点関連情報VIは、例えば、撮像画像における個眼画像領域を示す個眼領域情報を含む。個眼領域情報は、個眼画像領域をどのように表してもよい。例えば、撮像画像における個眼レンズ３１の光軸に対応する位置（光軸中心位置）を示す座標（個眼画像領域の中心座標とも称する）と個眼画像（個眼画像領域）の解像度（画素数）とにより、個眼画像領域が表されるようにしてもよい。つまり、個眼領域情報が、撮像画像における個眼画像領域の中心座標と個眼画像領域の解像度とを含むようにしてもよい。この場合、個眼画像領域の中心座標とその個眼画像領域の解像度（画素数）から、全体画像の内の個眼画像領域の場所の特定が可能になる。
　なお、個眼領域情報は、個眼画像領域ごとに設定される。つまり、撮像画像に複数の個眼画像が含まれる場合、視点関連情報VIは、各個眼画像（各個眼画像領域）について、個眼画像（領域）を識別するための視点識別情報（例えばID）と個眼領域情報とを含み得る。
　また、視点関連情報VIは、その他の任意の情報を含み得る。例えば、視点関連情報VIが、個眼画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。
　領域特定部３５６は、視点関連情報VIをバス３６０に供給することができる。例えば、領域特定部３５６は、視点関連情報VIを、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、領域特定部３５６は、視点関連情報VIを、バス３６０を介して通信部３６４に供給し、送信させることができる。さらに、領域特定部３５６は、視点関連情報VIを、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。また、領域特定部３５６は、視点関連情報VIを、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理に利用させることができる。
　例えば、領域特定部３５６は、視点関連情報VIを制御部３８１から取得し、領域抽出部３５３やバス３６０に供給してもよい。この場合、制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIを、記憶部３８２を介して読み出し、領域特定部３５６に供給する。領域特定部３５６は、その視点関連情報VIを領域抽出部３５３やバス３６０に供給する。
　このようにバス３６０を介して記憶部３６２、通信部３６４、又はファイル化部３６５に供給された視点関連情報VIは、そこにおいて画像（全体画像、個眼画像、又は、合成画像）と関連付けられる。例えば、記憶部３６２は、供給された視点関連情報VIを画像（全体画像、個眼画像、又は、合成画像）と関連付け、記憶媒体３６３に記憶させることができる。また、通信部３６４は、供給された視点関連情報VIを画像（全体画像、個眼画像、又は、合成画像）と関連付け、外部に送信することができる。さらに、ファイル化部３６５は、供給された視点関連情報VIを画像（全体画像、個眼画像、又は、合成画像）と関連付け、それらを含む１つのファイルを生成することができる。
　また、領域特定部３５６は、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報VI'を生成し、その生成した視点関連情報VI'を領域抽出部３５３やバス３６０に供給してもよい。この場合、領域特定部３５６は、撮像画像から各個眼画像領域を特定し、その個眼画像領域を示す（例えば、撮像画像における個眼画像領域の中心座標と個眼画像領域の解像度等により個眼画像領域を示す）視点関連情報VI'を生成する。そして、領域特定部３５６は、その生成した視点関連情報VI'を領域抽出部３５３やバス３６０に供給する。なお、この視点関連情報VI'とともに、領域特定部３５６が撮像画像に基づいて生成したスポット光情報SI'を供給してもよい。
　スポット光情報は、スポット光像に関する情報であり、例えば、上述の個体差スポット光位置情報又は装着誤差スポット光位置情報に対応するような値としていても良いが、これに限定されない。
　領域特定部３５６は、視点関連情報VIを制御部３８１から取得し、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報SI'を生成し、視点関連情報VIにそのスポット光情報SI'を付加し、領域抽出部３５３やバス３６０に供給してもよい。この場合、制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIを、記憶部３８２を介して読み出し、領域特定部３５６に供給する。領域特定部３５６は、視点関連情報VIを、スポット光情報SI'を用いて補正し、補正後の視点関連情報VI'を生成する。領域特定部３５６は、その視点関連情報VI'を領域抽出部３５３やバス３６０に供給する。
　また、領域特定部３５６は、視点関連情報VIを制御部３８１から取得し、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報SI'を生成し、そのスポット光情報SI'を用いて視点関連情報VIを補正し、補正後の視点関連情報VI'を領域抽出部３５３やバス３６０に供給してもよい。この場合、制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIを、記憶部３８２を介して読み出し、領域特定部３５６に供給する。領域特定部３５６は、その視点関連情報VIを、スポット光情報SI'を用いて補正し、視点関連情報VI'を生成する。領域特定部３５６は、その視点関連情報VI'を領域抽出部３５３やバス３６０に供給する。
　スポット光情報SI'は、例えば、上述の装着誤差スポット光位置情報、又は、スポット光像情報に対応するような値としていても良いが、これに限定されない。スポット光情報SI'は、例えば、撮像画像に映るスポット光像の位置及び／又はスポットサイズ等を表す。
　ここで、イメージセンサ３５１の受光面に垂直な方向と、繰り出し部２３の移動方向とのずれや、繰り出し部２３の移動に伴う個眼レンズ３１ｉの回転ずれ等の繰り出し部２３の移動に伴う各種のずれに起因して、繰り出し部２３の移動に伴い、撮像画像における個眼画像の位置がずれることがある。
　繰り出し部２３の移動に伴い、撮像画像における個眼画像の位置がずれた場合、撮像画像の、視点関連情報VIが表す位置から画像を切り出す（抽出する）と、（本来の）個眼画像の個眼画像領域からずれた領域の画像が、個眼画像として切り出される。
　そこで、領域特定部３５６は、撮像画像から生成されたスポット光情報SI'が表すスポット光像の位置及び／又はスポットサイズを用いて、撮像画像における個眼画像の位置ずれ（量）を検出することができる。
　そして、領域特定部３５６は、個眼画像の位置ずれに応じて、撮像画像から個眼画像を切り出す位置を修正するための情報を得て、領域抽出部３５３に供給することができる。
　すなわち、領域特定部３５６は、個眼画像の位置ずれに応じて、その位置ずれ後の個眼画像の位置を表すように、視点関連情報VIを補正し、その補正により得られる視点関連情報VI'を、領域抽出部３５３に供給する。
　ここで、記憶媒体３８３は、例えば、視点関連情報VI及びスポット光情報SIを記憶している。スポット光情報SIは、例えば、上述の個体差スポット光位置情報に対応するような値としていても良いが、これに限定されない。スポット光情報SIは、例えば、撮影画像におけるスポット光像の設計上の位置及び／又はスポットサイズや、既知撮像画像の撮像時の位置及び／又はスポットサイズ等を表す。
　視点関連情報VI及びスポット光情報SIは、同一のタイミングで得られる情報である。例えば、視点関連情報VIが、設計上の個眼画像の位置（視点）等を表す情報である場合、スポット光情報SIも、設計上のスポット光像の位置等を表す情報である。また、例えば、視点関連情報VIが、既知撮像画像の撮像時に検出された個眼画像の位置等を表す情報である場合、スポット光情報SIも、既知撮像画像の撮像時に検出されたスポット光像の位置等を表す情報である。
　領域特定部３５６では、例えば、スポット光情報SIと、撮像画像から生成されたスポット光情報SI'との差を、撮像画像における個眼画像の位置ずれとして検出することができる。そして、領域特定部３５６では、撮像画像における個眼画像の位置ずれ、すなわち、スポット光情報SIと、撮像画像から生成されたスポット光情報SI'との差を用いて、視点関連情報VIを補正し、撮像画像における個眼画像の位置ずれ分を補正（修正）した視点関連情報VI'を生成することができる。
　その他、領域特定部３５６は、撮像画像から生成されたスポット光情報SI'を用いて、繰り出し部２３の繰り出し量を検出することができる。
　画像再構成処理部３５７は、画像の再構成に関する処理を行う。例えば、画像再構成処理部３５７は、バス３６０を介してカメラ信号処理部３５４や記憶部３６２からYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、画像再構成処理部３５７は、バス３６０を介して領域特定部３５６や記憶部３６２から視点関連情報を取得することができる。
　さらに、画像再構成処理部３５７は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行うことができる。例えば、個眼画像を処理対象とする場合、画像再構成処理部３５７は、その各個眼画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部３５７は、その撮像画像や合成画像から各個眼画像を抽出し、抽出した個眼画像を用いて奥行情報の生成やリフォーカス等の処理を行う。
　画像再構成処理部３５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、画像再構成処理部３５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス３６０を介して通信部３６４に供給し、外部に送信させることができる。さらに、画像再構成処理部３５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。
　バス３６０には、イメージセンサ３５１、RAW信号処理部３５２、領域抽出部３５３、カメラ信号処理部３５４、スルー画像生成部３５５、領域特定部３５６、画像再構成処理部３５７、表示部３６１、記憶部３６２、通信部３６４、及び、ファイル化部３６５が接続される。バス３６０は、これらのブロック間で授受される各種データの伝送媒体（伝送路）として機能する。なお、このバス３６０は、有線により実現されてもよいし、無線により実現されてもよい。
　表示部３６１は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラシステム３００の筐体と一体、又は別体に設けられている。例えば、表示部３６１は、カメラシステム３００の筐体の背面（レンズ部３２０が設けられている面と反対側の面）に設けられていてもよい。
　表示部３６１は、画像の表示に関する処理を行う。例えば、表示部３６１は、スルー画像生成部３５５から供給されるYCフォーマットであるスルー画を取得し、RGBフォーマットに変換して表示することができる。その他、表示部３６１は、例えば、メニュー、カメラシステム３００の設定等の情報を表示することもできる。
　また、表示部３６１は、記憶部３６２から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、表示することができる。また、表示部３６１は、記憶部３６２から供給されるYCフォーマットのサムネイル画像を取得し、表示することができる。さらに、表示部３６１は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、表示することができる。
　記憶部３６２は、例えば、半導体メモリ等よりなる記憶媒体３６３の記憶を制御する。この記憶媒体３６３は、リムーバブルな記憶媒体であってもよいし、カメラシステム３００に内蔵される記憶媒体であってもよい。例えば、記憶部３６２は、制御部３８１やユーザの操作等に応じて、バス３６０を介して供給される画像（全体画像、個眼画像、又は、合成画像）を記憶媒体３６３に記憶させることができる。
　例えば、記憶部３６２は、イメージセンサ３５１又は領域抽出部３５３から供給されるRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、記憶媒体３６３に記憶させることができる。また、記憶部３６２は、RAW信号処理部３５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）又は圧縮（符号化）したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、記憶媒体３６３に記憶させることができる。さらに、記憶部３６２は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、記憶媒体３６３に記憶させることができる。
　その際、記憶部３６２は、領域特定部３５６から供給される視点関連情報を取得し、上述の画像（全体画像、個眼画像、又は、合成画像）に関連付けることができる。つまり、記憶部３６２は、画像（全体画像、個眼画像、又は、合成画像）と視点関連情報を互いに関連付けて、記憶媒体３６３に記憶させることができる。つまり、記憶部３６２は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
　また、例えば、記憶部３６２は、画像再構成処理部３５７から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体３６３に記憶させることができる。さらに、記憶部３６２は、ファイル化部３６５から供給されるファイルを取得し、記憶媒体３６３に記憶させることができる。このファイルは、例えば、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報が互いに関連付けられている。
　また、例えば、記憶部３６２は、制御部３８１やユーザの操作等に応じて、記憶媒体３６３に記憶されているデータやファイル等を読み出し、バス３６０を介して、カメラ信号処理部３５４、表示部３６１、通信部３６４、ファイル化部３６５、又は、画像再構成処理部３５７等に供給することができる。例えば、記憶部３６２は、記憶媒体３６３からYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を読み出し、表示部３６１に供給し、表示させることができる。また、記憶部３６２は、記憶媒体３６３からRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を読み出し、カメラ信号処理部３５４に供給し、カメラ信号処理を施させることができる。
　また、記憶部３６２は、互いに関連付けられて記憶媒体３６３に記憶されている画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報のデータ又はファイルを読み出し、他の処理部に供給することができる。例えば、記憶部３６２は、記憶媒体３６３から、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を読み出し、それらを画像再構成処理部３５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部３６２は、記憶媒体３６３から、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を読み出し、それらを通信部３６４に供給し、送信させることができる。さらに、記憶部３６２は、記憶媒体３６３から、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を読み出し、それらをファイル化部３６５に供給し、ファイル化させることができる。
　なお、記憶媒体３６３は、ROM（Read Only Memory）であってもよいし、RAM（Random Access Memory）やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体３６３は、任意の情報を記憶することができる。
　通信部３６４は、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。例えば、通信部３６４は、制御部３８１の制御やユーザの操作等に応じて、その通信により、画像（全体画像、個眼画像、又は、合成画像）や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手（外部のデバイス）に送信することができる。
　例えば、通信部３６４は、イメージセンサ３５１や領域抽出部３５３から供給されるRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、送信することができる。また、通信部３６４は、RAW信号処理部３５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）や圧縮（符号化）した画像（全体画像、個眼画像、又は、合成画像）を取得し、送信することができる。さらに、通信部３６４は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、送信することができる。
　その際、通信部３６４は、領域特定部３５６から供給される視点関連情報を取得し、上述の画像（全体画像、個眼画像、又は、合成画像）に関連付けることができる。つまり、通信部３６４は、画像（全体画像、個眼画像、又は、合成画像）と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部３６４は、送信する画像（全体画像、個眼画像、又は、合成画像）を、その画像を供給する処理部から取得し、その画像に領域特定部３５６から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部３６４は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
　また、例えば、通信部３６４は、画像再構成処理部３５７から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部３６４は、ファイル化部３６５から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報が互いに関連付けられている。
　ファイル化部３６５は、ファイルの生成に関する処理を行う。例えば、ファイル化部３６５は、イメージセンサ３５１又は領域抽出部３５３から供給されるRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、ファイル化部３６５は、RAW信号処理部３５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）又は圧縮（符号化）したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。さらに、ファイル化部３６５は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、例えば、ファイル化部３６５は、領域特定部３５６から供給される視点関連情報を取得することができる。
　ファイル化部３６５は、取得した複数のデータをファイル化して、その複数のデータを含む１つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部３６５は、上述の画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報から１つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部３６５は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
　また、例えば、ファイル化部３６５は、画像再構成処理部３５７から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部３６５は、記憶部３６２から供給される、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報から１つのファイルを生成することができる。
　なお、ファイル化部３６５は、ファイル化する画像（例えば個眼画像）のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部３６５は、ファイル化することにより、このサムネイル画像を、画像（全体画像、個眼画像、又は、合成画像）や視点関連情報に関連付けることができる。
　ファイル化部３６５は、生成したファイル（互いに関連付けられた画像、及び、視点関連情報）を、例えば、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、ファイル化部３６５は、生成したファイル（互いに関連付けられた画像、及び、視点関連情報）を、例えば、バス３６０を介して通信部３６４に供給し、送信させることができる。
　これらの記憶部３６２、通信部３６４、及び、ファイル化部３６５を関連付け部７０とも称する。関連付け部７０は、画像（全体画像、個眼画像、又は、合成画像）と、視点関連情報とを関連付ける。例えば、記憶部３６２は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体３６３に記憶させることができる。また、通信部３６４は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部３６５は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けることができる。
　関連付け部７０では、画像（全体画像、個眼画像、又は、合成画像）、及び、視点関連情報の他、スポット光情報も関連付けることができる。
　制御部３８１は、カメラシステム３００に関する制御処理を行う。つまり、制御部３８１は、カメラシステム３００の各部を制御し、処理を実行させることができる。例えば、制御部３８１は、光学系制御部３８４を介してレンズ部３２０（各個眼レンズ３１ｉ）を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部３８１は、イメージセンサ３５１を制御し、イメージセンサ３５１に撮像（光電変換）を行わせ、撮像画像を生成させることができる。
　さらに、制御部３８１は、視点関連情報VI、さらには、スポット光情報SIを領域特定部３５６に供給し、撮像画像から抽出する領域を特定させることができる。制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIやスポット光情報SIを、記憶部３８２を介して読み出し、領域特定部３５６に供給することができる。
　また、制御部３８１は、バス３６０を介して画像を取得し、その画像の明るさに基づいて、光学系制御部３８４を介して絞りを制御することができる。さらに、制御部３８１は、その画像の鮮鋭度に基づいて、光学系制御部３８４を介してフォーカスを制御することができる。また、制御部３８１は、その画像のRGB比率に基づいてカメラ信号処理部３５４を制御し、ホワイトバランスゲインを制御することができる。
　記憶部３８２は、例えば、半導体メモリ等よりなる記憶媒体３８３の記憶を制御する。記憶媒体３８３は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。記憶媒体３８３には、例えば、視点関連情報VIが記憶されている。視点関連情報VIは、レンズ部３２０（の各個眼レンズ３１）、及び、イメージセンサ３５１に対応する情報である。つまり、視点関連情報VIは、このレンズ部３２０の各個眼レンズ３１の位置を視点とする個眼画像に関する情報であり、その個眼画像領域を特定するために用いられる情報である。記憶媒体３８３には、スポット光情報SIをさらに記憶させておくことができる。
　例えば、記憶部３８２は、制御部３８１やユーザの操作等に応じて、記憶媒体３８３に記憶されている視点関連情報VIやスポット光情報SIを読み出し、制御部３８１に供給することができる。
　なお、記憶媒体３８３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体３８３は、任意の情報を記憶することができる。
　また、記憶部３８２及び記憶媒体３８３を記憶部３６２及び記憶媒体３６３により代用してもよい。つまり、上述した記憶媒体３８３に記憶させる情報（視点関連情報VI等）を記憶媒体３６３に記憶させてもよい。その場合、記憶部３８２及び記憶媒体３８３は、省略してもよい。
　光学系制御部３８４は、制御部３８１の制御に従って、レンズ部３２０（の繰り出し部２３や各個眼レンズ３１ｉ等）を制御する。例えば、光学系制御部３８４は、各個眼レンズ３１ｉや絞りを制御し、各個眼レンズ３１ｉの焦点距離若しくはF値、又は、その両方を制御することができる。なお、カメラシステム３００が電動フォーカス調整機能を有する場合、光学系制御部３８４は、レンズ部３２０（の各個眼レンズ３１ｉの）フォーカス（焦点距離）を制御することができる。また、光学系制御部３８４が、各個眼レンズ３１ｉの絞り（F値）を制御することができるようにしてもよい。
　なお、カメラシステム３００が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を制御する機構（物理的構成）を備えるようにしてもよい。その場合、この光学系制御部３８４は、省略することができる。
　　＜視点関連情報等の関連付け＞
　カメラシステム３００においては、上述のように、レンズ部３２０（複数の個眼レンズ３１ｉ）を介してイメージセンサ３５１において被写体が撮像され、各個眼レンズ３１ｉに対応する画像である個眼画像を含む撮像画像が生成される。カメラシステム３００では、撮像画像から、個眼画像の一部又は全部を抽出することにより、個眼レンズ３１ｉの位置を視点とする個眼画像が生成される。１枚の撮像画像から抽出された複数の個眼画像は互いに異なる視点の画像であるので、これらの個眼画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各個眼画像間の相対位置等の情報が必要である。
　そこで、カメラシステム３００は、光路が互いに独立している複数の個眼レンズ３１ｉを介して被写体を１つの撮像素子としてのイメージセンサ３５１で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼レンズ３１ｉの位置それぞれを視点とする複数の個眼画像、又は、その複数の個眼画像が合成された合成画像に対して、撮像画像における複数の個眼画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。
　例えば、関連付け部７０は、画像（全体画像、個眼画像、又は、合成画像）に対応する視点関連情報を領域特定部３５６から取得し、その画像、及び、視点関連情報を関連付ける。例えば、記憶部３６２が、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体３６３に記憶させる。また、通信部３６４が、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信する。さらに、ファイル化部３６５が、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付ける。
　以上のような関連付けにより、カメラシステム３００では勿論、カメラシステム３００以外でも、視点関連情報を用い、個眼画像等を対象として高精度の画像処理を行うことができる。
　関連付けでは、個眼画像等と、視点関連情報VIとを関連付けることができる。また、関連付けでは、個眼画像等と、視点関連情報VIを補正した補正後の視点関連情報VI'とを関連付けることができる。さらに、関連付けでは、個眼画像等と、視点関連情報VI、スポット光情報SI、及び、スポット光情報SI'とを関連付けることができる。また、関連付けでは、個眼画像等と、視点関連情報VI、及び、スポット光情報SIとスポット光情報SI'との差とを関連付けることができる。
　個眼画像等と視点関連情報VI'とを関連付ける場合、個眼画像等と、視点関連情報VI、スポット光情報SI、及び、スポット光情報SI'とを関連付ける場合、並びに、個眼画像等と、視点関連情報VI、及び、スポット光情報SIとスポット光情報SI'との差とを関連付ける場合、繰り出し部２３の移動に伴い、撮像画像における個眼画像の位置ずれが生じても、撮像画像における各個眼画像の位置（視点の位置）を正確に認識することができる。
　＜レンズ部３２０の取り付け位置のずれに対する対処＞
　レンズ一体型のカメラシステム３００では、レンズ部３２０の取り付け位置が、製造誤差によりずれ得る。さらに、レンズ部３２０の取り付け位置は、繰り出し部２３の移動に伴ってずれ得る。レンズ部３２０の取り付け位置がずれ、その取り付け位置に、取り付け誤差が生じると、撮像画像からの個眼画像の切り出しや、個眼画像を用いた視差情報の算出の処理の精度が低下する。
　そこで、領域特定部３５６では、撮像画像に映るスポット光像を用いて、レンズ部３２０の取り付け位置のずれ（量）としての取り付け誤差を検出することができる。
　例えば、領域特定部３５６は、撮像画像から、光源３２Ｌ及び３２Ｒから照射されるスポット光のイメージセンサ３５１への入射範囲、すなわち、撮像画像に映るスポット光像を検出し、そのスポット光像に関するスポット光情報SI'を生成（検出）することができる。
　さらに、領域特定部３５６は、スポット光情報SI'とスポット光情報SIとの差、例えば、スポット光情報SI'が表すスポット光像の位置とスポット光情報SIが表すスポット光像の位置との差を、取り付け誤差として検出することができる。
　そして、領域特定部３５６は、取り付け誤差を用いて、視点関連情報VIを補正し、視点関連情報VI'を生成することができる。例えば、領域特定部３５６は、視点関連情報VIが表す個眼画像の位置を、スポット光情報SI及びスポット光情報SI'に応じ、スポット光情報SI'が表すスポット光像の位置とスポット光情報SIが表すスポット光像の位置との差だけ補正し、取り付け誤差に応じてずれた個眼画像の位置を特定するための情報としての視点関連情報VI'を生成することができる。
　領域抽出部３５３では、視点関連情報VI'を用いて、撮像画像から個眼画像を切り出すことにより、個眼画像を精度良く切り出すことができる。さらに、視点関連情報VI'を用いて、個眼画像の視点の位置を正確に特定し、その視点の位置と個眼画像とを用いて、視差情報を精度良く求めることができる。
　ここで、撮像画像からスポット光情報SI'を生成する領域特定部３５６は、光源３２Ｌ及び３２Ｒから照射されるスポット光のイメージセンサ３５１への入射範囲を検出する検出部であるということができる。
　さらに、取り付け誤差としてのスポット光情報SI'とスポット光情報SIとの差を用いて、視点関連情報VIを補正することにより、視点関連情報VI'を生成する領域特定部３５６は、検出部の検出結果、すなわち、撮像画像上の光像に応じて、視点関連情報VIを補正する処理を行う処理部であるともいうことができる。
　＜カメラシステムの第２の他の実施の形態＞
　図３１は、本技術を適用したカメラシステムの第２の他の実施の形態の電気的構成例を示すブロック図である。
　なお、図中、図２及び図３１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３２において、カメラシステム４００は、レンズ交換可能なカメラシステムである。カメラシステム４００は、カメラ本体４１０と多眼交換レンズ４２０（レンズ部）とで構成される。多眼交換レンズ４２０がカメラ本体４１０に装着された状態においてカメラシステム４００は、カメラシステム３００とほぼ同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム４００は、カメラシステム３００と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。
　カメラ本体４１０は、カメラ本体１０が多眼交換レンズ２０等を着脱することができるのと同様に、多眼交換レンズ４２０その他一般的な交換レンズを着脱することができる構成になっている。
　多眼交換レンズ４２０は、繰り出し部２３を有する。繰り出し部２３は、図１及び図２で説明したように、個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒを有する。
　繰り出し部２３は、図３２では図示していない鏡筒２１（図１）の内部を、鏡筒光軸の光軸方向に移動する。繰り出し部２３の移動とともに、その繰り出し部２３が有する個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒも一体的に移動する。
　図３２において、個眼レンズ３１ｉは、カメラシステム３００の場合と同様に、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼レンズ３１ｉを通過した光は、他の個眼レンズ３１ｉに入射せずにイメージセンサ３５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼レンズ３１ｉの光軸は、イメージセンサ３５１の受光面の互いに異なる場所に位置しており、各個眼レンズ３１ｉを通過した光の少なくとも一部が、イメージセンサ３５１の受光面の互いに異なる位置に照射する。
　したがって、カメラシステム４００では、カメラシステム３００の場合と同様に、イメージセンサ３５１により生成される撮像画像（イメージセンサ３５１の出力する画像全体）には、各個眼レンズ３１ｉを介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼レンズ３１ｉの位置を視点とする個眼画像が得られる。つまり、多眼交換レンズ４２０をカメラ本体４１０に装着して被写体を撮像することにより、複数の個眼画像を得ることができる。
　カメラシステム４００において、カメラ本体４１０は、イメージセンサ３５１、RAW信号処理部３５２、領域抽出部３５３、カメラ信号処理部３５４、スルー画像生成部３５５、領域特定部３５６、画像再構成処理部３５７、バス３６０、表示部３６１、記憶部３６２、通信部３６４、ファイル化部３６５、制御部３８１、及び、記憶部３８２を有する。つまり、カメラ本体４１０は、カメラシステム３００のレンズ部３２０及び光学系制御部３８４以外の構成を有する。
　なお、カメラ本体４１０は、上述の構成に加え、通信部４４１を有する。通信部４４１は、カメラ本体４１０に正しく装着された状態の多眼交換レンズ４２０（の通信部４５１）と通信を行い、情報の授受等を行う。通信部４４１は、任意の通信方式で多眼交換レンズ４２０と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。
　例えば、通信部４４１は、制御部３８１により制御され、多眼交換レンズ４２０（の通信部４５１）との通信を行い、多眼交換レンズ４２０から供給される情報を取得する。また、例えば、通信部４４１は、多眼交換レンズ４２０（の通信部４５１）との通信により、制御部３８１から供給される情報を多眼交換レンズ４２０に供給する。通信部４４１が多眼交換レンズ４２０と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
　カメラシステム４００において、多眼交換レンズ４２０は、さらに、光学系制御部３８４、通信部４５１、及び、記憶部４５２を有する。通信部４５１は、カメラ本体４１０に正しく装着された状態の多眼交換レンズ４２０において、通信部４４１と通信を行う。この通信により、カメラ本体４１０と多眼交換レンズ４２０との間の情報の授受を実現する。通信部４５１の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
　例えば、通信部４５１は、通信部４４１を介してカメラ本体４１０から送信される制御情報その他各種の情報を取得する。通信部４５１は、このように取得した情報を、必要に応じて、光学系制御部３８４に供給し、繰り出し部２３や各個眼レンズ３１ｉ等の制御に利用させることができる。
　また、通信部４５１は、その取得した情報を記憶部４５２に供給し、記憶媒体４５３に記憶させることができる。また、通信部４５１は、記憶媒体４５３に記憶されている情報を、記憶部４５２を介して読み出し、それをカメラ本体４１０（通信部４４１）に送信することができる。
　カメラシステム４００において、多眼交換レンズ４２０に対応する視点関連情報VI及びスポット光情報SIの記憶場所は任意である。例えば、視点関連情報VI及びスポット光情報SIは、多眼交換レンズ４２０の記憶媒体４５３に記憶されていてもよい。そして、例えば、カメラ本体４１０の制御部３８１が、通信部４５１、及び、通信部４４１を介して記憶部４５２にアクセスし、その記憶媒体４５３から視点関連情報VI及びスポット光情報SIを読み出させてもよい。そして、制御部３８１が、視点関連情報VI及びスポット光情報SIを取得した後、領域特定部３５６に供給し、セットするようにしてもよい。
　例えば、多眼交換レンズ４２０をカメラ本体４１０に正しく装着した際、カメラシステム４００に電源を投入した際、又は、カメラシステム４００の駆動モードが、被写体の撮像を行い得る撮像モードに移行した際等の、撮像より時間的に前の任意のタイミング又はきっかけにおいて、このような処理が行われてもよい。
　このようにすることにより、カメラ本体４１０は、多眼交換レンズ４２０に対応する視点関連情報VI及びスポット光情報SIを用いて、撮像画像や個眼画像を対象とする画像処理を行うことができる。
　また、制御部３８１が、多眼交換レンズ４２０から取得したその多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIを、多眼交換レンズ４２０のIDとともに記憶部３８２に供給し、記憶させてもよい。その場合、記憶部３８２は、供給されたIDと視点関連情報VI及びスポット光情報SIとを対応付けて記憶媒体３８３に記憶させる。つまり、カメラ本体４１０において、多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIとIDとを管理することができる。カメラ本体４１０は、複数の多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIを管理することができる。
　このようにすることにより、制御部３８１は、次回からは多眼交換レンズ４２０のIDを取得することにより、記憶部３８２（記憶媒体３８３）からそのIDに対応する視点関連情報VI及びスポット光情報SIを読み出すことができる。つまり、制御部３８１は、多眼交換レンズ４２０に対応する視点関連情報VI及びスポット光情報SIを容易に取得することができる。
　また、記憶媒体３８３が、あらかじめ、複数の多眼交換レンズ４２０それぞれについて、視点関連情報VI及びスポット光情報SIを、多眼交換レンズ４２０のIDに関連付けて記憶していてもよい。つまり、この場合、カメラ本体４１０が、あらかじめ、複数の多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIを管理している。
　このようにすることにより、制御部３８１は、カメラ本体４１０に正しく装着された多眼交換レンズ４２０のIDを用いて、記憶部３８２（記憶媒体３８３）からそのIDに対応する視点関連情報VI及びスポット光情報SIを容易に読み出すことができる。
　＜多眼交換レンズ４２０の取り付け位置のずれに対する対処＞
　レンズ交換可能なカメラシステム４００では、レンズ一体型のカメラシステム３００と同様に、製造誤差や、繰り出し部２３の移動により、多眼交換レンズ４２０の取り付け位置がずれ得る。さらに、レンズ交換可能なカメラシステム４００では、装着誤差によっても、多眼交換レンズ４２０の取り付け位置がずれ得る。多眼交換レンズ４２０の取り付け位置がずれ、その取り付け位置に、取り付け誤差が生じると、撮像画像からの個眼画像の切り出しや、個眼画像を用いた視差情報の算出の処理の精度が低下する。
　そこで、領域特定部３５６では、撮像画像に映るスポット光像を用いて、多眼交換レンズ４２０の取り付け位置のずれ（量）としての取り付け誤差を検出することができる。
　例えば、領域特定部３５６は、撮像画像から、その撮像画像に映るスポット光像に関するスポット光情報SI'を生成し、そのスポット光情報SI'とスポット光情報SIとの差を、取り付け誤差として検出することができる。
　さらに、領域特定部３５６は、取り付け誤差を用いて、視点関連情報VIを補正し、取り付け誤差に応じてずれた個眼画像の位置を特定するための情報としての視点関連情報VI'を生成することができる。
　そして、領域抽出部３５３では、視点関連情報VI'を用いて、撮像画像から、個眼画像を精度良く切り出すことができる。さらに、視点関連情報VI'を用いて、個眼画像の視点の位置を正確に特定し、その視点の位置と個眼画像とを用いて、視差情報を精度良く求めることができる。
　以上のように、カメラシステム３００及び４００では、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出すので、適切な処理を行うことができる。すなわち、取り付け誤差と装着誤差やその他さまざまな誤差を合わせたものを個眼画像位置誤差ということとすると、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが繰り出し部２３と一体に動くことで、どの繰り出し位置でもどのような原因で生じた個眼画像位置誤差かを気にすることなく、視点関連情報と検出したスポット光の位置からの位置ずれを検出して、全体画像内の個眼画像の正確な位置を特定することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した領域特定部５２や、画像処理部５３、位置算出部５７、スポット光像検出部６２、繰り出し量検出部６４、領域抽出部３５３、及び、領域特定部３５６等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図３３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　鏡筒と、
　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源と
　を備える交換レンズ。
　＜２＞
　前記光源は、前記平行光を、前記光軸から傾いた斜め方向に照射する
　＜１＞に記載の交換レンズ。
　＜３＞
　前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
　＜２＞に記載の交換レンズ。
　＜４＞
　前記光源を複数個備える
　＜１＞ないし＜３＞のいずれかに記載の交換レンズ。
　＜５＞
　前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
　＜１＞ないし＜４＞のいずれかに記載の交換レンズ。
　＜６＞
　　鏡筒と、
　　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
　　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
　　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
　を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
　前記検出部の検出結果に応じて、処理を行う処理部と
　を備える情報処理装置。
　＜７＞
　前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
　＜６＞に記載の情報処理装置。
　＜８＞
　前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
　＜７＞に記載の情報処理装置。
　＜９＞
　前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
　前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
　＜８＞に記載の情報処理装置。
　＜１０＞
　前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
　＜９＞に記載の情報処理装置。
　＜１１＞
　前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
　＜８＞ないし＜１０＞のいずれかに記載の情報処理装置。
　＜１２＞
　前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
　＜９＞又は＜１０＞に記載の情報処理装置。
　＜１３＞
　前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
　＜９＞又は＜１０＞に記載の情報処理装置。
　＜１４＞
　前記撮像個眼画像位置に応じて、前記撮像画像から前記個眼画像を抽出する抽出部をさらに備える
　＜８＞ないし＜１３＞のいずれかに記載の情報処理装置。
　＜１５＞
　前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
　＜７＞ないし＜１４＞のいずれかに記載の情報処理装置。
　＜１６＞
　前記検出部は、複数の前記光源からそれぞれ照射される複数の前記平行光のそれぞれに対応した複数の前記光像を検出する
　＜６＞ないし＜１５＞のいずれかに記載の情報処理装置。
　＜１７＞
　前記レンズ部を備えるレンズ一体型の撮像装置である
　＜６＞ないし＜１６＞のいずれかに記載の情報処理装置。
　＜１８＞
　前記レンズ部が交換レンズとして装着可能な撮像装置である
　＜６＞ないし＜１６＞のいずれかに記載の情報処理装置。
　＜１９＞
　　鏡筒と、
　　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
　　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
　　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源と
　を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
　前記検出ステップの検出結果に応じて、処理を行う処理ステップと
　を含む情報処理方法。
　＜２０＞
　　鏡筒と、
　　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
　　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
　　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源と
　を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
　前記検出部の検出結果に応じて、処理を行う処理部と
　して、コンピュータを機能させるためのプログラム。
　１０　カメラ本体，　１１　カメラマウント，　２０　多眼交換レンズ，　２１　鏡筒，　２２　レンズマウント，　２３　繰り出し部，　３１0ないし３１４　個眼レンズ，　３２Ｌ，３２Ｒ，３２Ｕ，３２Ｄ　光源，　４１　記憶部，　４２　通信部，　４３　制御部，　５１　イメージセンサ，　５２　領域特定部，　５３　画像処理部，　５４　表示部，　５５　記憶部，　５６　通信部，　５７　位置算出部，　６１　制御部，　６２　スポット光像検出部，　６３　繰り出し量情報記憶部，　６４　繰り出し量検出部，　１０１　キャリブレーションデータ生成部，　１０２　キャリブレーションデータ記憶部，　１０３　補間部，　１０４　視差情報生成部，　１２１　筐体，　１２２　LED，　１２３，１２４　レンズ，　２１１　個眼画像位置情報修正部，　２１２　個眼画像抽出部，　２２１　関連付け部，　２３０　ポスト処理装置，　２３１　領域特定部，　２３２　画像処理部，　２３３　表示部，　２３４　記録部，　２３５　伝送部，　２４１　個眼画像位置情報修正部，　２４２　個眼画像抽出部，　２５０　ポスト処理装置，　３００　カメラシステム，　３２０　レンズ部，　３５１　イメージセンサ，　３５２　RAW信号処理部，　３５３　領域抽出部，　３５４　カメラ信号処理部，　３５５　スルー画像生成部，　３５６　領域特定部，　３５７　画像再構成処理部，　３６０　バス，　３６１　表示部，　３６２　記憶部，　３６３　記憶媒体，　３６４　通信部，　３６５　ファイル化部，　３７０　関連付け部，　３８１　制御部，　３８２　光学系制御部，　４００　カメラシステム，　４１０　カメラ本体，　４２０　多眼交換レンズ，　４４１，４５１　通信部，　４５２　記憶部，　４５３　記憶媒体，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (20)

  1. 　鏡筒と、
    　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源と
    　を備える交換レンズ。
  2. 　前記光源は、前記平行光を、前記光軸から傾いた斜め方向に照射する
    　請求項１に記載の交換レンズ。
  3. 　前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
    　請求項２に記載の交換レンズ。
  4. 　前記光源を複数個備える
    　請求項１に記載の交換レンズ。
  5. 　前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
    　請求項１に記載の交換レンズ。
  6. 　　鏡筒と、
    　　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    　　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    　　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
    　を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
    　前記検出部の検出結果に応じて、処理を行う処理部と
    　を備える情報処理装置。
  7. 　前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
    　請求項６に記載の情報処理装置。
  8. 　前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
    　請求項７に記載の情報処理装置。
  9. 　前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
    　前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
    　請求項８に記載の情報処理装置。
  10. 　前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
    　請求項９に記載の情報処理装置。
  11. 　前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
    　請求項８に記載の情報処理装置。
  12. 　前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
    　請求項９に記載の情報処理装置。
  13. 　前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
    　請求項９に記載の情報処理装置。
  14. 　前記撮像個眼画像位置に応じて、前記撮像画像から前記個眼画像を抽出する抽出部をさらに備える
    　請求項８に記載の情報処理装置。
  15. 　前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
    　請求項７に記載の情報処理装置。
  16. 　前記検出部は、複数の前記光源からそれぞれ照射される複数の前記平行光のそれぞれに対応した複数の前記光像を検出する
    　請求項６に記載の情報処理装置。
  17. 　前記レンズ部を備えるレンズ一体型の撮像装置である
    　請求項６に記載の情報処理装置。
  18. 　前記レンズ部が交換レンズとして装着可能な撮像装置である
    　請求項６に記載の情報処理装置。
  19. 　　鏡筒と、
    　　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    　　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    　　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源と
    　を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
    　前記検出ステップの検出結果に応じて、処理を行う処理ステップと
    　を含む情報処理方法。
  20. 　　鏡筒と、
    　　前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    　　前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    　　前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数個の光源と
    　を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
    　前記検出部の検出結果に応じて、処理を行う処理部と
    　して、コンピュータを機能させるためのプログラム。
PCT/JP2020/016387 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム WO2020213594A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020217032525A KR20210151815A (ko) 2019-04-18 2020-04-14 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN202080027818.6A CN113678060A (zh) 2019-04-18 2020-04-14 可互换透镜、信息处理装置、信息处理方法和程序
JP2021514164A JP7363892B2 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
EP20791227.0A EP3958055A4 (en) 2019-04-18 2020-04-14 INTERCHANGEABLE LENS, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US17/602,861 US11868029B2 (en) 2019-04-18 2020-04-14 Interchangeable lens, information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019079519 2019-04-18
JP2019-079519 2019-04-18

Publications (1)

Publication Number Publication Date
WO2020213594A1 true WO2020213594A1 (ja) 2020-10-22

Family

ID=72837811

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/016388 WO2020213595A1 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
PCT/JP2020/016387 WO2020213594A1 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016388 WO2020213595A1 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム

Country Status (6)

Country Link
US (2) US11868029B2 (ja)
EP (2) EP3958055A4 (ja)
JP (2) JP7363892B2 (ja)
KR (2) KR20210148172A (ja)
CN (2) CN113661442A (ja)
WO (2) WO2020213595A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268391A (ja) * 1997-03-25 1998-10-09 Konica Corp カメラ及び照明装置
JP2009003190A (ja) * 2007-06-21 2009-01-08 Olympus Corp 撮像装置
WO2015037472A1 (ja) 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236306B2 (en) * 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP4843344B2 (ja) * 2005-03-18 2011-12-21 株式会社リコー 照明装置及び画像読取装置
WO2007060847A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP4773841B2 (ja) * 2006-02-17 2011-09-14 キヤノン株式会社 撮像装置
JP2009003191A (ja) 2007-06-21 2009-01-08 Olympus Corp 撮像装置
KR101445185B1 (ko) * 2008-07-10 2014-09-30 삼성전자주식회사 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법
CN102131044B (zh) * 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
EP2571246A1 (en) * 2010-05-14 2013-03-20 Panasonic Corporation Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, method for controlling interchangeable lens unit, program, and recording medium on which program is recorded
JP2015037472A (ja) 2013-08-17 2015-02-26 セイコーエプソン株式会社 画像処理システム及び画像処理システムの制御方法
US10574911B2 (en) * 2015-06-15 2020-02-25 Agrowing Ltd. Multispectral imaging apparatus
US10151876B2 (en) * 2015-07-07 2018-12-11 Essilor International Light collecting device
EP3128750A1 (en) * 2015-08-04 2017-02-08 Thomson Licensing Plenoptic camera and method of controlling the same
JP6702796B2 (ja) * 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268391A (ja) * 1997-03-25 1998-10-09 Konica Corp カメラ及び照明装置
JP2009003190A (ja) * 2007-06-21 2009-01-08 Olympus Corp 撮像装置
WO2015037472A1 (ja) 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム

Also Published As

Publication number Publication date
US20220179291A1 (en) 2022-06-09
US11868029B2 (en) 2024-01-09
JP7363892B2 (ja) 2023-10-18
US20220179292A1 (en) 2022-06-09
EP3958055A4 (en) 2022-06-15
CN113661442A (zh) 2021-11-16
KR20210148172A (ko) 2021-12-07
JPWO2020213595A1 (ja) 2020-10-22
US11899342B2 (en) 2024-02-13
WO2020213595A1 (ja) 2020-10-22
EP3958055A1 (en) 2022-02-23
EP3958056A4 (en) 2022-06-15
CN113678060A (zh) 2021-11-19
EP3958056A1 (en) 2022-02-23
JP7416057B2 (ja) 2024-01-17
KR20210151815A (ko) 2021-12-14
JPWO2020213594A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
US11856291B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
CN1226864C (zh) 图象感测设备及黑斑校正方法
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
WO2020213594A1 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP2020191624A (ja) 電子機器およびその制御方法
JP7171331B2 (ja) 撮像装置
JP2014155071A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
WO2021124941A1 (ja) 撮像装置、情報処理方法、プログラム、および交換レンズ
WO2021124942A1 (ja) 撮像装置、情報処理方法、およびプログラム
KR20130019582A (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
WO2021124940A1 (ja) 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
US11765336B2 (en) Image-capturing apparatus, information processing method, and program
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
US20230171511A1 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2023132730A (ja) 画像処理装置及び画像処理方法
JP5679718B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20791227

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514164

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020791227

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020791227

Country of ref document: EP

Effective date: 20211118