JP7416057B2 - 交換レンズ、情報処理装置、情報処理方法、及び、プログラム - Google Patents

交換レンズ、情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP7416057B2
JP7416057B2 JP2021514165A JP2021514165A JP7416057B2 JP 7416057 B2 JP7416057 B2 JP 7416057B2 JP 2021514165 A JP2021514165 A JP 2021514165A JP 2021514165 A JP2021514165 A JP 2021514165A JP 7416057 B2 JP7416057 B2 JP 7416057B2
Authority
JP
Japan
Prior art keywords
image
ommatidia
information
lens
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021514165A
Other languages
English (en)
Other versions
JPWO2020213595A1 (ja
Inventor
健吾 早坂
英功 櫛田
功久 井藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020213595A1 publication Critical patent/JPWO2020213595A1/ja
Application granted granted Critical
Publication of JP7416057B2 publication Critical patent/JP7416057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G03B2206/004—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing using markings on the photographic material, e.g. to indicate pseudo-panoramic exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Devices (AREA)

Description

本技術は、交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、適切な処理を行うことができるようにする交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関する。
視点が互いに異なる複数の画像からなる多視点画像を用いたサービスの利便性を向上させる技術が提案されている（例えば、特許文献１を参照）。
国際公開第2015/037472号
多視点画像は、例えば、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有するカメラシステムで撮像することができる。
しかしながら、カメラシステムにおいて、複数の個眼レンズが、光軸方向に繰り出され、フォーカス等が調整される場合、繰り出しの前後で、イメージセンサで撮像された撮像画像上の、個眼レンズにより集光される光線により形成される像に対応する個眼画像の領域が変化することがある。
個眼画像の領域が変化すると、カメラシステムにおいて処理を適切に行うことが困難になることがある。
本技術は、このような状況に鑑みてなされたものであり、適切な処理を行うことができるようにするものである。
本技術の交換レンズは、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源とを備える交換レンズである。
本技術の交換レンズにおいては、可動部が、前記鏡筒に対し、光軸に沿って移動可能に構成され、複数の個眼レンズが、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置されている。１又は複数の光源は、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置されている。
本技術の情報処理装置、又は、プログラムは、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源とを備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、前記検出部の検出結果に応じて、処理を行う処理部とを備える情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
本技術の情報処理方法は、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源とを備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、前記検出ステップの検出結果に応じて、処理を行う処理ステップとを含む情報処理方法である。
本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源とを備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像が検出され、その検出結果に応じて、処理が行われる。
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。 カメラシステム１の電気的構成例を示すブロック図である。 多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。 多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。 多眼交換レンズ２０をカメラ本体１０に取り付けた（装着した）ときの取り付け誤差を説明する図である。 装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める算出方法を説明する図である。 画像処理部５３の構成例を示すブロック図である。 カメラシステム１で行われるキャリブレーションを説明する図である。 複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成を説明する図である。 カメラシステム１で行われる一般撮像を説明する図である。 撮像フォーカス位置P4に対応する撮像繰り出し量に対するキャリブレーションデータの補間による生成について説明する図である。 光源３２Ｌ及び３２Ｒの構成例を示す断面図である。 多眼交換レンズ２０の構成例を示す断面図である。 繰り出し部２３の繰り出し量を検出する第１の検出方法を説明する図である。 スポット光としての非平行光のスポットサイズの変化の例を示す図である。 第１の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。 繰り出し部２３の繰り出し量を検出する第２の検出方法を説明する図である。 第２の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。 繰り出し部２３の繰り出し量を検出する第３の検出方法を説明する図である。 繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む手前側及び奥側の一方に位置する状態を説明する図である。 繰り出し部２３の繰り出し量を検出する第４の検出方法を説明する図である。 繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置と、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置とを示す図である。 繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'が映る撮像画像と、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''が映る撮像画像との例を示す図である。 第４の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。 多眼交換レンズ２０の他の構成例を示す図である。 光源３２Ｌ及び３２Ｒの他の構成例を示す断面図である。 レンズ倒れに応じて、スポット光像の位置が変化している状態を示す図である。 カメラシステム１の他の電気的構成例を示すブロック図である。 関連付け情報を対象としてポスト処理を行うポスト処理装置の構成例を示すブロック図である。 関連付け情報を対象としてポスト処理を行うポスト処理装置の他の構成例を示すブロック図である。 本技術を適用したカメラシステムの第１の他の実施の形態の電気的構成例を示すブロック図である。 本技術を適用したカメラシステムの第２の他の実施の形態の電気的構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用したカメラシステムの一実施の形態＞
図１は、本技術を適用したカメラシステム（撮像装置）の一実施の形態の構成例を示す斜視図である。
カメラシステム１は、カメラ本体１０と多眼交換レンズ２０（レンズ部）とで構成される。
カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が固定される（取り付けられる）ことで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。
カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。
多眼交換レンズ２０は、鏡筒２１、レンズマウント２２、及び、繰り出し部２３を有する。繰り出し部２３は、鏡筒２１に対し、鏡筒２１の光軸に沿って移動可能に構成された可動部である。繰り出し部２３は、複数としての５個の個眼レンズ３１0，３１1，３１2，３１3、及び、３１4を有する。複数の個眼レンズ３１ｉは、繰り出し部２３と一体となって移動可能に構成され、各個眼レンズ３１ｉを介して出射される撮像光の出射位置が互いに重ならないように配置される。さらに、繰り出し部２３は、光源３２Ｌ及び３２Ｒを有する。光源３２Ｌ及び３２Ｒは、繰り出し部２３及び複数の個眼レンズ３１ｉと一体となって鏡筒２１の光軸に沿って移動可能に構成され、カメラ本体１０に設けられたイメージセンサ５１に照射する照射光の出射位置が、複数の個眼レンズ３１ｉのそれぞれの撮像光の出射位置と重ならないように配置される。
鏡筒２１は、略円筒状をしており、その円筒状の１つの底面側に、レンズマウント２２が形成されている。
レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に固定される（取り付けられる）。
繰り出し部２３は、略円柱形状をしており、円筒状の鏡筒２１内に収納されている。
繰り出し部２３には、鏡筒２１全体の光軸（鏡筒光軸）の光軸方向に（見て）重ならないように配置された複数としての5個のレンズである個眼レンズ３１0，３１1，３１2，３１3、及び、３１4が設けられている。図１では、5個の個眼レンズ３１0ないし３１4が、鏡筒光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼レンズ３１0を中心（重心）として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置される形で、繰り出し部２３に設けられている。
個眼レンズ３１0ないし３１4は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。
なお、ここでは、カメラ本体１０は、1個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１0ないし３１4が出射する光線は、プリズム等の光学系を利用して、３つのイメージセンサのそれぞれに集光される。なお、３板式に限らず２板式等イメージセンサの数は３つ以外でも良い。また、各イメージセンサはRGBそれぞれ用のものに限らず全てモノクロであっても良いし、全てがベイヤー配列などのカラーフィルタを備えたものであっても良い。
繰り出し部２３には、5個の個眼レンズ３１0ないし３１4の他、複数である2個の光源３２Ｌ及び３２Ｒが設けられている。光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０を正面から見たときに、繰り出し部２３の右端及び左端の位置に、それぞれ設けられている。
光源３２Ｌ及び３２Ｒは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、多眼交換レンズ２０の正面側（光線が入射する側）から背面側に向かってスポット光を照射する。
したがって、多眼交換レンズ２０がカメラ本体１０に装着された場合、光源３２Ｌ及び３２Ｒが照射するスポット光は、カメラ本体１０のイメージセンサ５１で受光される。
繰り出し部２３には、以上のように、個眼レンズ３１０ないし３１４とともに、光源３２Ｌ及び３２Ｒが設けられている。
繰り出し部２３は、円筒状の鏡筒２１の内部を、鏡筒光軸の光軸方向に移動（スライド）可能なように構成され、これにより、鏡筒２１内を、正面側に繰り出すこと（奥側に引っ込むこと）ができる。
したがって、多眼交換レンズ２０は、繰り出し部２３に設けられた個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出す構成になっている。
以上のように、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出すので、カメラシステム１では、適切な処理を行うことができる。
すなわち、イメージセンサ５１が撮像する撮像画像には、光源３２Ｌ及び３２Ｒが照射するスポット光の像であるスポット光像が映り、そのスポット光像は、後述するように、多眼交換レンズ２０の取り付け誤差を求めることに用いることができる。
多眼交換レンズ２０において、個眼レンズ３１０ないし３１４は、繰り出し部２３に設けられることにより、繰り出し部２３とともに繰り出し、これにより、例えば、望遠撮影やマクロ撮影等を行うためのフォーカスの調整を行うことができる。
この場合、光源３２Ｌ及び３２Ｒが、多眼交換レンズ２０の繰り出し部２３以外の部分に設けられていると、個眼レンズ３１０ないし３１４が繰り出しても、光源３２Ｌ及び３２Ｒは繰り出さない。そして、そのような光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像を用いるのでは、個眼レンズ３１０ないし３１４の繰り出しによって変化する取り付け誤差を精度良く求めることが困難となる。
これに対して、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出す場合には、スポット光像を用いて、個眼レンズ３１０ないし３１４の繰り出しによって変化する取り付け誤差を精度良く求める適切な処理を行うことができる。
さらに、撮像画像上の、個眼レンズ３１０ないし３１４それぞれにより集光される光線により形成される像に対応する個眼画像の領域が、個眼レンズ３１０ないし３１４の繰り出しにより変化しても、個眼画像の領域を精度良く特定する適切な処理を行うことができる。
また、個眼レンズ３１０ないし３１４の繰り出しによって変化するレンズ歪みの影響を抑制するキャリブレーションデータを求め、さらには、そのようなキャリブレーションデータを用いて、レンズ歪みの影響を抑制した視差情報を求める等の適切な処理を行うことができる。
なお、図１では、多眼交換レンズ２０に、5個の個眼レンズ３１0ないし３１4が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、5個に限定されるものではなく、2個や3個、６個以上の任意の複数の数を採用することができる。
さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、正方形の中心と頂点の位置に配置する他、２次元平面上の任意の位置に配置することができる。
また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
さらに、図１では、多眼交換レンズ２０に、2個の光源３２Ｌ及び３２Ｒが設けられているが、多眼交換レンズ２０に設ける光源の数は、2個に限定されるものではなく、必要に応じて、1個や、3個以上の任意の数を採用することができる。
また、多眼交換レンズ２０に、複数としての、例えば、2個の光源３２Ｌ及び３２Ｒを設ける場合には、その2個の光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０の、5個の個眼レンズ３１0ないし３１4が配置された平面上、すなわち、図１では、略円柱形の繰り出し部２３を正面から見た円上の最も遠い２点を結ぶ線上に配置することができる。この場合、光源３２Ｌ及び３２Ｒは、繰り出し部２３を正面から見た円の中心を通る線上に配置される。後述するように、光源３２Ｌ及び３２Ｒは、なるべく離して配置することが望ましい。光源３２Ｌ及び３２Ｒを、繰り出し部２３を正面から見た円の中心を通る線上に配置することにより、光源３２Ｌ及び３２Ｒを最も離して配置することができる。
多眼交換レンズ２０において、複数としての5個の個眼レンズ３１0ないし３１4それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、個眼レンズ３１ｉの光軸（個眼光軸）がイメージセンサ５１の受光面と直交するように配置されている。
かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステム１では、イメージセンサ５１において、5個の個眼レンズ３１0ないし３１4それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像が撮像される。
いま、1個の個眼レンズ３１i（ここでは、i=0,1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ５１で撮像される撮像画像には、5個の個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
個眼レンズ３１iに対する個眼画像は、個眼レンズ３１iの位置を視点とする画像であり、したがって、個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像は、異なる視点の画像である。
さらに、撮像画像には、2個の光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光に対応する画像であるスポット光像（スポット光により形成される像）が含まれる。
ここで、図１のカメラシステム１は、カメラ本体１０と、カメラ本体１０に着脱可能な多眼交換レンズ２０とで構成されるが、本技術は、多眼交換レンズ２０がカメラ本体１０に固定された、いわばレンズ一体型のカメラシステムにも適用することができる。すなわち、本技術は、例えば、レンズ一体型のカメラに適用することができる。
また、１つの個眼レンズ３１iは、１枚のレンズで構成する他、複数枚のレンズを鏡筒光軸の光軸方向に並べて構成することができる。
さらに、カメラ本体１０の後述する領域特定部５２、画像処理部５３、位置算出部５７、スポット光像検出部６２、及び、繰り出し量検出部６４の処理の一部又は全部は、カメラ本体１０以外、例えば、クラウド上のサーバや再生専用機器等で行うことができる。
また、多眼交換レンズ２０の繰り出し部２３の繰り出しによれば、フォーカスを調整する他、ズーム倍率を調整することができる。以下では、説明を簡単にするため、繰り出し部２３の繰り出しにより、フォーカスが調整されることとする。
なお、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。
＜カメラシステム１の電気的構成例＞
図２は、図１のカメラシステム１の電気的構成例を示すブロック図である。
カメラシステム１において、多眼交換レンズ２０は、記憶部４１、通信部４２、及び、制御部４３を有する。
記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、個体差反映位置情報（既知基準位置）が含まれる。
個体差反映位置情報とは、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに（1個の）イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置に関する位置情報である。個体差反映位置情報は、多眼交換レンズ２０の製造時の製造誤差（製造バラツキ）に起因して、多眼交換レンズ２０の個体ごとに異なる量だけ（設計上の位置から）ずれる、所定の光線の、イメージセンサ５１への入射位置に関する位置情報であるということができ、多眼交換レンズ２０の製造時の個体ごとに異なる製造誤差（による個眼レンズ３１ｉから出射される撮像光の出射位置のずれ）を含む位置情報である。個体差反映位置情報としては、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときにイメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置そのものを採用することができる。
ここで、個眼レンズ３１iに対する個眼画像において、個眼レンズ３１iの光軸（個眼光軸）を通る光線の像が形成される位置を光軸中心位置ということとする。なお、個眼光軸は、鏡筒２１全体の光軸（鏡筒光軸）と平行であったり、距離が一定に定められて配置されているはずだがずれが生じる。
いま、個眼レンズ３１iに対する個眼画像について、所定の光線として、例えば、個眼レンズ３１iの個眼光軸を通る光線を採用することとすると、個眼レンズ３１iに対する個眼画像の個体差反映位置情報は、その個眼画像の光軸中心位置である。
なお、所定の光線は、個眼レンズ３１iの個眼光軸を通る光線に限定されるものではない。すなわち、所定の光線としては、例えば、個眼レンズ３１iの個眼光軸から所定の距離だけ離れた位置を通り、個眼光軸に平行な光線その他を採用することができる。
レンズ情報には、既知撮像画像上の、個眼レンズ３１iに対する個眼画像の個体差反映位置情報の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像の位置に関する個体差スポット光位置情報（既知光位置）が含まれる。個体差スポット光位置情報としては、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像の位置そのものを採用することができる。個体差スポット光位置情報は、個体差反映位置情報と同様に、多眼交換レンズ２０の製造時の個体ごとに異なる製造誤差を含む位置情報である。
ここで、多眼交換レンズ２０に対しては、ユニークなレンズID(Identification)を割り当て、記憶部４１に記憶させるレンズ情報としては、多眼交換レンズ２０のレンズIDを採用することができる。さらに、この場合、レンズ情報としてのレンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の、レンズID以外のレンズ情報としての個体差反映位置情報や個体差スポット光位置情報等とを対応付けたデータベースを用意することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の個体差反映位置情報や個体差スポット光位置情報等を取得することができる。
通信部４２は、カメラ本体１０の後述する通信部５６との間で、有線又は無線による通信を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着された場合や多眼交換レンズ２０がカメラ本体１０に装着された状態で電源が入れられた場合に、カメラ本体１０の通信部５６と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５６に送信する。
また、通信部４２は、通信部５６から送信されてくるコマンドその他の情報を受信し、制御部４３に供給する。制御部４３は、通信部４２からの情報に応じて、繰り出し部２３を繰り出す（移動する）ことによるフォーカスの調整等の多眼交換レンズ２０の制御を行う。
カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、通信部５６、位置算出部５７、制御部６１、スポット光像検出部６２、繰り出し量情報記憶部６３、繰り出し量検出部６４を有する。
イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線が照射される。
イメージセンサ５１は、個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線を受光して光電変換を行うことにより、個眼レンズ３１0ないし３１4それぞれに対する個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像）、並びに、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像を含む撮像画像を撮像して出力する。イメージセンサ５１が出力する撮像画像（他の撮像画像）は、領域特定部５２、位置算出部５７、スポット光像検出部６２に供給される。
領域特定部５２には、イメージセンサ５１が出力する撮像画像が供給される他、位置算出部５７から、イメージセンサ５１が出力する撮像画像に含まれる個眼画像上の位置情報としての装着誤差反映位置情報（未知基準位置）が供給される。
装着誤差反映位置情報とは、例えば、多眼交換レンズ２０をカメラ本体１０に装着した状態の（1個の）イメージセンサ５１で任意の被写体（被写体までの距離が既知であるどうかは問わない）を撮像して得られる撮像画像（他の撮像画像）上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置に関する位置情報である。装着誤差反映位置情報は、多眼交換レンズ２０の装着時に、その多眼交換レンズ２０の装着誤差に起因してずれる、所定の光線の、イメージセンサ５１への入射位置に関する位置情報であるということができ、多眼交換レンズ２０の使用時の装着誤差（による個眼レンズ３１ｉから出射される撮像光の出射位置のずれ）を含む位置情報である。
装着誤差とは、多眼交換レンズ２０がカメラ本体１０に着脱可能になっていることに起因して生じる多眼交換レンズ２０の取り付け位置（装着位置）のずれを表す。装着誤差は、例えば、多眼交換レンズ２０を装着するごとに変化し得る。また、装着誤差は、例えば、多眼交換レンズ２０をカメラ本体１０に装着したカメラシステム１に衝撃が加わったときに変化することがある。
装着誤差反映位置情報は、装着誤差の他、製造誤差をも含む位置情報（製造誤差及び装着誤差による個眼レンズ３１ｉから出射される撮像光の出射位置のずれを含む位置情報）である。
ここで、個体差反映位置情報として、例えば、撮像画像が既知の距離にある被写体を撮像した既知撮像画像である場合の、その既知撮像画像に含まれる個眼画像上の光軸中心位置を採用する場合には、装着誤差反映位置情報としては、任意の被写体（被写体までの距離が既知であるどうかは問わない）を撮像した撮像画像（他の撮像画像）に含まれる個眼画像上の光軸中心位置を採用することができる。
領域特定部５２は、位置算出部５７からの装着誤差反映位置情報に応じて、イメージセンサ５１からの撮像画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
すなわち、領域特定部５２は、イメージセンサ５１からの撮像画像の、例えば、撮像画像の装着誤差反映位置情報を中心（重心）とする所定のサイズの長方形状の領域を、個眼画像の領域に特定する。
ここで、領域特定部５２は、例えば、撮像画像全体と、その撮像画像全体上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５２は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。なお、各個眼画像は、領域情報とセットにして出力することができる。
以下では、説明を簡単にするため、例えば、領域特定部５２は、撮像画像から抽出した各個眼画像（個眼レンズ３１0ないし３１4それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。
領域特定部５２が出力する個眼レンズ３１0ないし３１4それぞれに対する個眼画像は、画像処理部５３に供給される。
画像処理部５３は、後述するスポット光像検出部６２の検出結果に応じて、処理を行う処理部の一部である。画像処理部５３は、領域特定部５２からの個眼レンズ３１0ないし３１4それぞれに対する個眼画像、すなわち、個眼レンズ３１0ないし３１4それぞれの位置を視点とする、異なる視点の個眼画像や、繰り出し量検出部６４から供給される繰り出し部２３の繰り出し量を用いて、例えば、視差情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５４及び記憶部５５に供給する。
なお、画像処理部５３では、その他、欠陥補正や、ノイズリダクション等の一般的な画像処理を行うことができる。また、画像処理部５３では、記憶部５５に保存する（記憶させる）画像と、表示部５４にいわゆるスルー画として表示するだけの画像とのいずれをも、画像処理の対象とすることができる。
表示部５４は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラ本体１０の背面に設けられている。表示部５４は、例えば、画像処理部５３から供給される処理結果画像等を、スルー画として表示する。スルー画としては、処理結果画像の他、イメージセンサ５１で撮像された撮像画像の全部又は一部や、撮像画像から抽出された個眼画像を表示することができる。その他、表示部５４は、例えば、メニュー、カメラ本体１０の設定等の情報を表示することができる。
記憶部５５は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５３から供給される処理結果画像を記憶する。
通信部５６は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５６は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
通信部５６は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、位置算出部５７及びスポット光像検出部６２に供給する。
また、通信部５６は、例えば、制御部６１からのフォーカス（位置）を指定する情報等を、通信部４２に送信する。
位置算出部５７は、通信部５６からのレンズ情報に含まれる個体差反映位置情報に応じて、イメージセンサ５１から供給される撮像画像に含まれる個眼レンズ３１iに対する個眼画像上の光軸中心位置である装着誤差反映位置情報を求め、領域特定部５２に供給する。
なお、図２において、位置算出部５７は、イメージセンサ５１から供給される撮像画像に含まれる個眼画像上の光軸中心位置である装着誤差反映位置情報を求めるにあたり、レンズ情報に含まれる個体差反映位置情報の他、個体差スポット光位置情報を用いる。
制御部６１は、フォーカスを調整するユーザの操作等に応じて、フォーカス等を制御する。例えば、制御部６１は、ユーザの操作に応じて、フォーカスを指定する情報を、通信部５６に供給する。
スポット光像検出部６２は、光源３２Ｌ及び３２Ｒから照射されるスポット光のイメージセンサ５１への入射範囲を検出し、検出結果を、繰り出し量検出部６４に供給する。
すなわち、スポット光像検出部６２は、通信部５６からのレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ５１からの撮像画像上のスポット光像を検出する。さらに、スポット光像検出部６２は、スポット光像の（スポット）サイズや位置（検出光像位置）等のスポット光像に関するスポット光像情報を検出（生成）し、スポット光像の検出結果として出力する。スポット光像検出部６２が出力するスポット光像情報は、スポット光像検出部６２の検出結果に応じて処理を行う処理部の他の一部である繰り出し量検出部６４に供給される。スポット光像情報としては、撮像画像上のスポット光像のサイズや位置を直接的に表す情報（例えば、サイズや位置そのもの）の他、撮像画像上のスポット光像のサイズや位置を間接的に表す情報（例えば、撮像画像上のスポット光像のサイズ及び位置を維持した状態で、スポット光像が映る画像等）を採用することができる。
繰り出し量情報記憶部６３は、繰り出し量情報を記憶する。繰り出し量情報とは、繰り出し部２３の繰り出し量と、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像に関するスポット光像情報とを対応付けた情報である。繰り出し量情報は、あらかじめ生成し、繰り出し量情報記憶部６３に記憶させておくことができる。また、繰り出し量情報は、例えば、多眼交換レンズ２０と工場から出荷する前等に、あらかじめ生成し、レンズ情報の一部として、記憶部４１に記憶させておくことができる。繰り出し量情報を、レンズ情報の一部として、記憶部４１に記憶させておく場合には、通信部５６が、通信部４２と通信を行うことで、記憶部４１に記憶されたレンズ情報を取得し、そのレンズ情報に含まれる繰り出し量情報を、繰り出し量情報記憶部６３に供給して記憶させる。
繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において、スポット光像検出部６２からのスポット光像情報に対応付けられている繰り出し部２３の繰り出し量を検出し、画像処理部５３に供給する。
＜多眼交換レンズ２０を用いて行われる撮像の概要＞
図３は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像と、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像とを含む撮像画像が撮像される。
ここで、本明細書では、個眼レンズ３１iの個眼光軸の光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１iの位置の左右と、その個眼レンズ３１iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１iの位置、被写体等の左右を記述する。
なお、１の個眼レンズ３１iと他の１の個眼レンズ３１j（ｉ≠ｊ）との個眼光軸どうしを結ぶ直線又は線分を、基線ともいい、その個眼光軸どうしの距離を、基線長ともいう。また、基線の方向を表す角度を、基線角ともいう。ここでは、基線角として、例えば、x軸と基線とがなす角度（エピポーラ線の角度）を採用することとする。
また、本明細書（及び請求の範囲）において、繰り出し部２３の繰り出しとは、広く、繰り出し部２３が鏡筒光軸の光軸方向に移動することを意味する。したがって、繰り出し部２３の繰り出しとは、繰り出し部が、手前側に移動すること、及び、奥側に移動することのいずれをも含む。
図４は、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
図４のＡは、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置の例を示す背面図である。
図４のＡでは、個眼レンズ３１0ないし３１4は、図１で説明したように、イメージセンサ５１の受光面に平行な２次元平面において、個眼レンズ３１0を中心として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置されている。
すなわち、個眼レンズ３１0ないし３１4のうちの、例えば、個眼レンズ３１0を基準とすると、図４では、個眼レンズ３１1は、個眼レンズ３１0の右上に配置され、個眼レンズ３１2は、個眼レンズ３１0の左上に配置されている。さらに、個眼レンズ３１3は、個眼レンズ３１0の左下に配置され、個眼レンズ３１4は、個眼レンズ３１0の右下に配置されている。
また、図４のＡにおいて、光源３２Ｌは、平面が略円形の多眼交換レンズ２０の左端の位置に配置され、光源３２Ｒは、平面が略円形の多眼交換レンズ２０の中心（中央）に対して、光源３２Ｌの反対側の右端の位置に配置されている。
なお、光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０（の繰り出し部２３）の任意の異なる位置に配置することができる。
但し、光源３２Ｌ及び３２Ｒは、イメージセンサ５１で撮像される撮像画像上の、光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光のスポット光像PL及びPRが、撮像画像に含まれる個眼画像の領域外（個眼レンズ３１iを通過した光が照射される範囲外）に位置するように配置することができる。この場合、スポット光像PLやPRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
図４のＢは、図４のＡのように個眼レンズ３１０ないし３１4並びに光源３２Ｌ及び３２Ｒが配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒを有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像E0,E1,E2,E3,E4と、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRとが含まれる。
領域特定部５２（図２）は、位置算出部５７で求められる各個眼画像E#iの装着誤差反映位置情報である光軸中心位置に基づき、各個眼レンズ３１iについて、その個眼レンズ３１iを通過した光線が照射される撮像画像上の領域のうちの、個眼画像E#iの装着誤差反映位置情報である光軸中心位置を中心とする所定サイズの長方形状の領域を、個眼画像E#iの領域として特定する。
これにより、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iの位置から、独立のカメラや独立のイメージセンサを用いた撮像を行うことにより得られる撮像画像、すなわち、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像になる。
そのため、個眼レンズ３１0ないし３１4それぞれに対する個眼画像E0ないしE4のうちの任意の2個の個眼画像E#iとE#jとの間には、視差が生じる。すなわち、個眼画像E#iとE#jに映る同一の被写体は、視差に応じてずれた位置に映る。
＜多眼交換レンズ２０の取り付け誤差＞
図５は、多眼交換レンズ２０をカメラ本体１０に取り付けた（装着した）ときの取り付け誤差を説明する図である。
すなわち、図５は、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１で撮像される撮像画像の例を示している。
多眼交換レンズ２０をカメラ本体１０に取り付けた場合、カメラ本体１０のイメージセンサ５１の受光面に対する多眼交換レンズ２０の取り付け位置は、主として、横方向（x方向）、縦方向（y方向）、及び、回転方向のうちの、特に、回転方向にずれ得る。まず、多眼交換レンズ２０の取り付け位置は、製造誤差により個体ごとに異なる量だけずれる。さらに、多眼交換レンズ２０の取り付け位置は、多眼交換レンズ２０の使用時に、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１に衝撃が加わったとき等に変化する。
いま、例えば、多眼交換レンズ２０の設計上の取り付け位置等の所定の位置に対する実際の取り付け位置の誤差を、取り付け誤差ということとする。設計上の取り付け位置を基準とする取り付け誤差は、製造バラツキ等により生じ、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１に衝撃が加わったとき等に変化する。
取り付け誤差は、多眼交換レンズ２０の実際の取り付け位置の誤差であり、製造誤差及び装着誤差を適宜含む。例えば、多眼交換レンズ２０の設計上の取り付け位置を基準とする場合、取り付け誤差は、製造誤差及び装着誤差の両方を含む。また、例えば、多眼交換レンズ２０の設計上の取り付け位置から製造誤差だけすれた位置を基準とする場合、取り付け誤差は、製造誤差を含まず、装着誤差を含む。
図４で説明したように、個眼画像E#iは、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0ないしE4は、視点の異なる画像である。
視点の異なる画像である個眼画像E0ないしE4を用いて、例えば、視差情報を求める場合、個眼レンズ３１0ないし３１4について、図３で説明した基線長と基線角が必要となる。
個眼レンズ３１0ないし３１4は、多眼交換レンズ２０に固定されているので、基線長は、装着誤差によって変化しない固定の値であり、多眼交換レンズ２０の製造後にあらかじめ計測しておくことができる。
一方、基線角は、多眼交換レンズ２０の回転方向の取り付け誤差（装着誤差）によって変化する。したがって、個眼画像E0ないしE4を用いて、正確な視差情報を求めるためには、回転方向の取り付け誤差に対処する必要がある。
ここで、横方向及び縦方向の取り付け誤差は、個眼レンズ３１iのレンズ収差に起因する画像歪みが小さい場合には、問題とならず、無視することができるときもある。但し、レンズ収差に起因する画像歪みが大きく、その画像歪みの歪み補正を行う必要がある場合には、適切な歪み補正を行うために、個眼画像E#iの光軸中心位置を正確に把握する必要がある。個眼画像E#iの光軸中心位置を正確に把握するには、横方向及び縦方向の取り付け誤差（装着誤差）を把握する必要がある。
いま、図５に示すように、あるxy座標系（2次元座標系）において、個眼画像E0ないしE4の光軸中心位置（の座標）を、(x0, y0), (x1, y1), (x2, y2), (x3, y3), (x4, y4)と表すこととする。
また、個眼レンズ３１0ないし３１4のうちの、中央（中心）に位置する個眼レンズ３１0に対する個眼画像E0を、中央画像E0ともいい、周辺に位置する個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4を、周辺画像E1ないしE4ともいうこととする。
個眼画像E0ないしE4のうちの１の個眼画像、すなわち、例えば、中央画像E0を基準とする、周辺画像E1ないしE4それぞれの相対的な光軸中心位置（以下、相対光軸中心位置ともいう） (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、式（１）に従って求めることができる。
Figure 0007416057000001
 ・・・（１）
相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、中央画像E0の光軸中心位置(x0, y0)をxy座標系の原点とした場合の周辺画像E1ないしE4の光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)に等しい。
相対光軸中心位置(dx#i, dy#i)（ここでは、i=1,2,3,4）は、中央画像E0の光軸中心位置(x0, y0)と、周辺画像E#iの光軸中心位置(x#i, y#i)とを結ぶ基線の方向のベクトルであるとみなすことができ、相対光軸中心位置(dx#i, dy#i)によれば、中央画像E0の光軸中心位置(x0, y0)と周辺画像E#iの光軸中心位置(x#i, y#i)とを結ぶ基線L0#iの方向を表す基線角（tan-1((y#i-y0)/(x#i-x0))=tan-1(dy#i/dx#i)）を求めることができる。
したがって、相対光軸中心位置(dx#i, dy#i)を求めることができれば、そのときの基線L0#iの方向を表す基線角を求めることができ、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
本技術では、イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0, y0)ないし(x4, y4)、すなわち、中央画像E0の光軸中心位置(x0, y0)を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を、個体差反映位置情報として求めておく。さらに、本技術では、個体差反映位置情報（(x0, y0)ないし(x4, y4)又は(dx1, dy1)ないし(dx4, dy4)）と撮像画像とを用いて、その撮像画像の撮像時の撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0', y0')ないし(x4', y4')、すなわち、中央画像E0の光軸中心位置(x0', y0')を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、装着誤差反映位置情報として求める。
装着誤差反映位置情報としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')が得られれば、撮像画像の撮像時の基線角を求め、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
図２の位置算出部５７は、個体差反映位置情報としての相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を用い、装着誤差反映位置情報としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める。
＜装着誤差反映位置情報としての撮像画像上の個眼画像E#iの相対光軸中心位置(dx#i', dy#i')を求める算出方法＞
図６は、装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める算出方法を説明する図である。
ここで、以下では、説明を簡単にするため、中央画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとする。この場合、上述したように、相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)と、光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)とは等しい。
図６のＡは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において、所定の被写体を撮像した既知撮像画像の例を示している。
既知撮像画像に映る被写体は、例えば、円の中心を通る線分で4等分された円等の所定のチャートが描かれたチャート画像である。既知撮像画像は、例えば、中央画像E0上の所定の点、すなわち、例えば、中央画像E0の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ３１0の個眼光軸上の既知の距離の位置に配置して撮像される。したがって、既知撮像画像は、所定のチャートが描かれたチャート画像を、既知の距離において撮像した画像である。
既知撮像画像は、以上のように撮像されるため、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)から、中央画像E0との間の視差に応じてずれる。
チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ３１iと個眼レンズ３１0との間の基線長及び基線角とから求めることができる。
ここで、既知撮像画像の撮像は、例えば、多眼交換レンズ２０を工場から出荷する前等に行うことができる。したがって、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時に、基線角が設計値等の所定値になるように、鏡筒２１への個眼レンズ３１ｉの取り付け（固定）を調整することができる。
周辺画像E#iの光軸中心位置(x#i, y#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置になるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
また、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができる。
以上のように、既知撮像画像から、その既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)、及び、周辺画像E1ないしE4の光軸中心位置(x1, y1)ないし(x4, y4)を求めることができる。
既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)である個体差反映位置情報、及び、周辺画像E#iの光軸中心位置(x#i, y#i)である個体差反映位置情報によれば、中央画像E0の個体差反映位置情報(x0, y0)を基準とする、周辺画像E#iの相対的な個体差反映位置情報である個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を求めることができ、その個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)が、レンズ情報として、図２の記憶部４１に記憶される。ここで、個体差反映相対位置情報(dx#i, dy#i)に対して、個体差反映位置情報(x#i, y#i)を、個体差反映絶対位置情報ともいう。
なお、レンズ情報としては、個体差反映相対位置情報（相対光軸中心位置）(dx#i, dy#i)(i=1,2,3,4)を採用する他、個体差反映絶対位置情報（光軸中心位置）(x#i, y#i)(i=0,1,2,3,4)を採用することができる。個体差反映相対位置情報(dx#i, dy#i)は、個体差反映絶対位置情報(x#i, y#i)から式（１）に従って求めることができ、個体差反映絶対位置情報(x#i, y#i)と（ほぼ）等価な情報であるからである。
装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求めるにあたっては、個体差反映相対位置情報(dx#i, dy#i)（又は個体差反映絶対位置情報(x#i, y#i)）の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置である個体差スポット光位置情報(XL, YL)及び(XR, YR)があらかじめ求められる。
例えば、既知撮像画像上のスポット光像PLの重心の位置を、そのスポット光像PLの個体差スポット光位置情報(XL, YL)として採用することができる。同様に、既知撮像画像上のスポット光像PRの重心の位置を、そのスポット光像PRの個体差スポット光位置情報(XR, YR)として採用することができる。
個体差スポット光位置情報(XL, YL)及び(XR, YR)については、その個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)が求められ、個体差スポット光位置情報(XL, YL)及び(XR, YR)並びに中点(XC, YC)が、レンズ情報として、図２の記憶部４１に記憶される。
なお、個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)は、レンズ情報から除外することができる。個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)は、その個体差スポット光位置情報(XL, YL)及び(XR, YR)から求めることができるからである。
位置算出部５７では、個体差反映相対位置情報（以下、単に、個体差反映位置情報ともいう）としての相対光軸中心位置（以下、単に、光軸中心位置ともいう）(dx#i, dy#i)並びに個体差スポット光位置情報(XL, YL)及び(XR, YR)に応じて、未知撮像画像上の装着誤差反映位置情報としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')が求められる。
図６のＢは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において撮像される未知撮像画像の例を示している。
未知撮像画像は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において、既知撮像画像を撮像するときのような制約（被写体の距離が既知である等の制約）なしで撮像される画像である。
未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差（装着誤差）が生じ得る。
未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系において、未知撮像画像上の周辺画像E#iの光軸中心位置(x#i', y#i')(i=1,2,3,4)は、中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの相対的な光軸中心位置(dx#i', dy#i')=(x#i', y#i')-(x0', y0')に等しい。
ここで、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置に関する位置情報を、装着誤差スポット光位置情報（未知光位置）ともいう。装着誤差スポット光位置情報は、装着誤差反映位置情報と同様に、多眼交換レンズ２０の製造誤差及び装着誤差を含む位置情報である。装着誤差スポット光位置情報としては、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置そのものを採用することができる。なお、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置を、それぞれ、(XL', YL')及び(XR', YR')と表すこととする。
装着誤差スポット光位置情報(XL', YL')及び(XR', YR')は、未知撮像画像上のスポット光像PL及びPRから、個体差スポット光位置情報(XL, YL)及び(XR, YR)と同様に求めることができる。
また、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点を、(XC', YC')と表すこととする。
いま、既知撮像画像の撮像時の回転方向の取り付け誤差を基準とする未知撮像画像の撮像時の回転方向の取り付け誤差である相対的な回転誤差をθErrorと表すこととすると、相対的な回転誤差θErrorは、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)及び(XR, YR)、並びに、未知撮像画像から得られる装着誤差スポット光位置情報(XL', YL')及び(XR', YR')を用い、式（２）に従って求めることができる。
Figure 0007416057000002
 ・・・（２）
式（２）によれば、相対的な回転誤差θErrorは、個体差スポット光位置情報(XL, YL)と(XR, YR)とを結ぶ直線の方向を表す角度を基準とする、装着誤差スポット光位置情報(XL', YL')と(XR', YR')とを結ぶ直線の方向を表す角度であり、個体差スポット光位置情報(XL, YL)と(XR, YR)とが離れているほど（装着誤差スポット光位置情報(XL', YL')と(XR', YR')とが離れているほど）、精度が良くなる。したがって、光源３２Ｌと３２Ｒとをなるべく離して配置することで、相対的な回転誤差θErrorを精度良く求めることができる。
なお、多眼交換レンズ２０に3個以上の光源が設けられている場合には、その3個以上の光源から得られる2個の光源のペアそれぞれに対して、式（２）に従って回転誤差θErrorを求め、各ペアに対して求められた回転誤差θErrorの平均値等を、最終的な回転誤差θErrorとして採用することができる。
相対的な回転誤差θErrorは、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）と個体差スポット光位置情報(XL, YL)（又は(XR, YR)）との間の回転角であり、個体差反映相対位置情報としての光軸中心位置(dx#i, dy#i)を、式（３）に従い、相対的な回転誤差θErrorに応じて回転させることにより、その相対的な回転誤差θErrorが生じた未知撮像画像上の装着誤差反映位置情報としての相対光軸中心位置(dx#i', dy#i')を求めることができる。
Figure 0007416057000003
 ・・・（３）
装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、式（２）及び式（３）に従って求める場合には、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')及び(XR', YR')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの個体差スポット光位置情報(XL, YL)及び(XR, YR)との間の平行移動量を求めることで、横方向及び縦方向の取り付け誤差を求めることができる。
すなわち、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorは、例えば、式（４）に従って求めることができる。
Figure 0007416057000004
 ・・・（４）
なお、式（４）では、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点(XC', YC')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)との間の平行移動量が、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求められるが、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとしては、その他、例えば、装着誤差スポット光位置情報(XL', YL')と個体差スポット光位置情報(XL, YL)との間の平行移動量や、装着誤差スポット光位置情報(XR', YR')と個体差スポット光位置情報(XR, YR)との間の平行移動量を求めることができる。
カメラシステム１において、装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求めるにあたっては、まず、その光軸中心位置(dx#i', dy#i')を求める場合に必要となる個体差反映相対位置情報としての光軸中心位置(dx#i, dy#i)等を取得する個体差反映位置情報等取得処理が行われる。
個体差反映位置情報等取得処理は、カメラ本体１０や後述するコンピュータ等で行うことができる。個体差反映位置情報等取得処理を行う装置を、便宜上、取得処理装置と呼ぶこととする。
取得処理装置は、個眼レンズ３１0の個眼光軸上の既知の距離の位置におかれた所定の被写体としてのチャート画像を、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステム１によって撮像した既知撮像画像を取得する。
取得処理装置は、既知撮像画像に含まれる各個眼画像E#iに映る所定の被写体としてのチャート画像の所定の点、例えば、チャートとしての円の中心の位置を求める。
取得処理装置は、被写体としてのチャート画像までの距離、並びに、多眼交換レンズ２０の基線長及び基線角を用いて、個眼画像（周辺画像）E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の、個眼画像（中央画像）E0に映る被写体としてのチャート画像の所定の点としての円の中心との間の視差を求める。
さらに、取得処理装置は、個眼画像E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の視差に応じて、その円の中心の位置から移動した位置にある個眼画像E#iの光軸中心位置（既知撮像画像上の位置）(x#i, y#i)を、その個眼画像E#iの個体差反映絶対位置情報(x#i, y#i)として求める。また、取得処理装置は、個眼画像E0に映る被写体としてのチャート画像の円の中心の位置である光軸中心位置(x0, y0)を、個眼画像E0の個体差反映絶対位置情報(x0, y0)として求める。
そして、取得処理装置は、個体差反映絶対位置情報(x#i, y#i)を用い、個眼画像E1ないしE4それぞれについて、式（１）に従って、個眼画像E0の個体差反映絶対位置情報(x0, y0)を基準とする個眼画像E#iの個体差反映相対位置情報(dx#i, dy#i)を求める。
さらに、取得処理装置は、既知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、個体差スポット光位置情報(XL, YL)及び(XR, YR)として求める。
以上の個体差反映位置情報等取得処理で求められた個体差反映相対位置情報(dx#i, dy#i)、並びに、個体差スポット光位置情報(XL, YL)及び(XR, YR)は、レンズ情報の一部として、図２の記憶部４１に記憶される。
多眼交換レンズ２０がカメラ本体に装着されたカメラシステム１の使用時には、カメラ本体１０において、個体差反映相対位置情報(dx#i, dy#i)、並びに、個体差スポット光位置情報(XL, YL)及び(XR, YR)を用いて、装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を求める装着誤差反映位置情報算出処理が行われる。
すなわち、カメラ本体１０（図２）では、多眼交換レンズ２０が装着されると、通信部５６が、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信して、位置算出部５７に供給する。位置算出部５７は、以上のようにして通信部５６から供給されるレンズ情報を取得する。
位置算出部５７は、任意の被写体が映る撮像画像である未知撮像画像が撮像されるのを待って、その未知撮像画像を取得する。すなわち、位置算出部５７は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステム１において、イメージセンサ５１が撮像した撮像画像を、未知撮像画像として取得する。
位置算出部５７は、未知撮像画像に含まれる光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRを検出し、さらに、スポット光像PL及びPRそれぞれの位置（検出光像位置）、例えば、重心の位置を、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')として検出する。位置算出部５７は、スポット光像PL及びPRの検出結果に応じて、処理を行う処理部の一部であり、スポット光像PL及びPRの検出結果としての装着誤差スポット光位置情報(XL', YL')及び(XR', YR')に応じて、未知撮像画像における個眼画像の位置である撮像個眼画像位置を特定する。
すなわち、位置算出部５７は、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）（検出光像位置）と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)（又は(XR, YR)）（イメージセンサ５１に照射される光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRの位置を示す記憶光像位置）との（位置）関係に基づいて、撮像個眼画像位置を特定（算出）する。
例えば、位置算出部５７は、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）（検出光像位置）と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)（又は(XR, YR)）（記憶光像位置）との（位置）関係に基づいて、レンズ情報に含まれる個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を（イメージセンサ５１における複数の個眼レンズ３１ｉから出射される各撮像光の出射位置を示す記憶個眼画像位置）を補正することで、撮像個眼画像位置、すなわち、未知撮像画像に含まれる個眼画像E1ないしE4それぞれの装着誤差反映位置情報としての（相対）光軸中心位置(dx#i', dy#i')を特定する。
具体的には、まず、位置算出部５７は、装着誤差スポット光位置情報(XL', YL')（又は(XR', YR')）と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)（又は(XR, YR)）との間の回転角を、（相対的な）回転誤差をθErrorとして求める。
例えば、位置算出部５７は、式（２）に従って、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)と(XR, YR)とを結ぶ線分の方向を基準とする、装着誤差スポット光位置情報(XL', YL')と(XR', YR')とを結ぶ線分の方向を表す相対的な角度を、回転誤差をθErrorとして求める。
位置算出部５７は、式（３）に従い、式（２）に従って求められた回転誤差θErrorに応じて、レンズ情報に含まれる個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を回転させることにより、回転誤差θErrorが生じている未知撮像画像に含まれる個眼画像E1ないしE4それぞれの装着誤差反映位置情報としての（相対）光軸中心位置(dx#i', dy#i')を求める。
さらに、位置算出部５７は、必要に応じて、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)又は(XR, YR)と、未知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')又は(XR', YR')との間の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
すなわち、位置算出部５７は、例えば、式（４）に従い、個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)に対する、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点(XC', YC')の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
カメラ本体（図２）において、領域特定部５２は、以上のような装着誤差反映位置情報算出処理で求められた装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を用いて、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理を行うことができる。
領域特定処理では、領域特定部５２は、位置算出部５７から供給される、未知撮像画像に含まれる個眼画像E1ないしE4の装着誤差反映位置情報としての相対光軸中心位置(dx#i', dy#i')を取得する。
そして、領域特定部５２は、装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')に応じて、未知撮像画像上の個眼画像E1ないしE4の領域を特定する。すなわち、領域特定部５２は、例えば、個体差反映相対位置情報(dx#i, dy#i)を求めるときのxy座標系において、未知撮像画像上の装着誤差反映位置情報(dx#i', dy#i')を中心とする所定のサイズの長方形状の領域を、個眼画像E#i(i=1,2,3,4)の領域として特定する。さらに、領域特定部５２は、未知撮像画像上の原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定する。
その後、領域特定部５２は、撮像画像から、個眼画像E0ないしE4それぞれを抽出し、領域特定結果情報として出力する。
以上のように、鏡筒光軸の光軸方向に（見て）重ならないように配置された個眼レンズ３１0ないし３１4とともに、光源３２Ｌ及び３２Ｒが設けられた繰り出し部２３を有する多眼交換レンズ２０が装着されたカメラシステム１において、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')が求められる。
したがって、繰り出し部２３の繰り出し状態にかかわらず、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ３１iの位置を視点とする個眼画像E#iを容易に得ることができる。
さらに、装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')から、基線L0#i（図５）の方向を表す基線角（tan-1(dy#i/dx#i)）を求めることができ、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
ここで、例えば、既知撮像画像上の個眼画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとし、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０であることとする。この場合、未知撮像画像において、個眼画像E0の装着誤差反映位置情報(x0', y0')である光軸中心位置は、原点になり、個眼画像E0の領域は、原点を中心とする領域になる。
一方、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、未知撮像画像において、個眼画像E0の光軸中心位置は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorの分だけ、原点からずれる。
この場合、個眼画像E0の装着誤差反映位置情報(x0', y0')である光軸中心位置が、原点であることを前提として、原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定すると、実際の装着誤差反映位置情報(x0', y0')である光軸中心位置は、原点からずれているため、未知撮像画像上の、個眼画像E0の実際の光軸中心位置からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E0の領域として特定される。
その結果、他の個眼画像E1ないしE4それぞれについても、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、個眼画像E0ないしE4それぞれについて、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
但し、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合も、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合も、未知撮像画像の撮像時の基線角（tan-1(dy#i/dx#i)）は、個眼画像E0の位置を基準とする相対的な装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')から求められる。
したがって、光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする個眼画像E#iについて得られる基線角は、未知撮像画像上の光軸中心位置(x#i', y#i')を中心とする個眼画像E#iについて得られる基線角と同一になる。
すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合でも、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合と同一の基線角を得ることができる。そして、その基線角を用いて、未知撮像画像上の領域が特定された個眼画像E#iから、多眼交換レンズ２０の取り付け誤差に影響されない正確な視差情報を求めることができる。
なお、本実施の形態では、多眼交換レンズ２０ごとに、個体差反映位置情報及び個体差スポット光位置情報を求め、レンズ情報に含めて記憶しておくこととしたが、個体差反映位置情報及び個体差スポット光位置情報としては、多眼交換レンズ２０の機種ごとに共通の値を採用することができる。機種ごとの多眼交換レンズ２０について、共通の個体差反映位置情報及び個体差スポット光位置情報を採用する場合、機種ごとの個体差反映相対位置情報(dx#i, dy#i)並びに個体差スポット光位置情報(XL, YL)及び(XR, YR)を、式（２）及び式（３）に組み込んでおくことで、カメラ本体１０は、多眼交換レンズ２０の機種を認識することができれば、式（２）の回転誤差θError、ひいては、式（３）の装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')を求めることができる。
＜画像処理部５３の構成例＞
図７は、図２の画像処理部５３の構成例を示すブロック図である。
図７は、画像処理部５３のうちの、例えば、視差情報を求める画像処理を行う部分の構成例を示している。
図７において、画像処理部５３は、キャリブレーションデータ生成部１０１、キャリブレーションデータ記憶部１０２、補間部１０３、及び、視差情報生成部１０４を有する。
画像処理部５３は、領域特定部５２から供給される個眼画像を用いて、視差に関する視差情報を生成する。ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等がある。
個眼画像を用いて求められる視差情報は、個眼レンズ３１ｉの位置やレンズ歪み等の影響を受ける。そこで、画像処理部５３は、個眼レンズ３１ｉの位置やレンズ歪み等の影響を取り除くため、個眼レンズ３１ｉの位置やレンズ歪み等に関するパラメータを、キャリブレーションデータとして生成するキャリブレーションを行う。
キャリブレーションでは、例えば、既知の被写体であるキャリブレーション用の平面チャート（以下、キャリブレーションチャートともいう）を撮像することにより得られる撮像画像上の各個眼画像であるキャリブレーション画像からキャリブレーションデータが生成される。
すなわち、キャリブレーションでは、カメラシステム１のフォーカス位置がある所定の距離（の位置）に制御され、そのフォーカス位置に設置されたキャリブレーションチャートが撮像される。そして、キャリブレーションチャートの撮像により得られる個眼画像であるキャリブレーション画像を用いて、フォーカス位置がある所定の距離に制御されたカメラシステム１の、そのフォーカス位置に対するキャリブレーションデータが生成される。
以上のように生成されるキャリブレーションデータは、キャリブレーションチャートが撮像されたときのカメラシステム１のフォーカス位置に対するキャリブレーションデータである。そのため、例えば、一般の被写体を撮像する場合のフォーカス位置と、キャリブレーションチャートを撮像した場合のフォーカス位置とが異なる場合に、一般の被写体を撮像した撮像画像に映る個眼画像を用いた視差情報の算出を、キャリブレーションチャートが撮像されたときのカメラシステム１のフォーカス位置に対するキャリブレーションデータを用いて行うと、視差情報の精度が低下する。
そこで、画像処理部５３では、キャリブレーションデータを補間することで、高精度の視差情報を求めることができる。
キャリブレーションデータ生成部１０１は、領域特定部５２から供給される個眼画像を用いて、繰り出し量検出部６４から複数の繰り出し量それぞれに対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部１０２に供給する。
すなわち、キャリブレーションデータ生成部１０１では、キャリブレーションにおいて、繰り出し部２３の複数の繰り出し量に対応する複数のフォーカス位置のキャリブレーションチャートを撮像することにより得られる複数のフォーカス位置のキャリブレーション画像としての個眼画像から複数のフォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部１０２に供給する。
キャリブレーションデータ記憶部１０２は、キャリブレーションデータ生成部１０１から供給される複数の繰り出し量に対するキャリブレーションデータを記憶する。
補間部１０３は、繰り出し量検出部６４から供給される繰り出し量のうちの、一般の被写体（キャリブレーションチャート以外の被写体）の撮像（以下、一般撮像ともいう）が行われたときの繰り出し量に対するキャリブレーションデータを、キャリブレーションデータ記憶部１０２に記憶された複数の繰り出し量に対するキャリブレーションデータを用いた補間等により生成し、視差情報生成部１０４に供給する。
視差情報生成部１０４は、補間部１０３からのキャリブレーションデータと、領域特定部５２から供給される、一般撮像により撮像された撮像画像（以下、一般撮像画像ともいう）上の個眼画像とを用いて、視差情報を生成する。一般撮像画像は、未知撮像画像と等価である。
以上のような画像処理部５３を有するカメラシステム１によれば、例えば、一般の一眼カメラの場合と同様の画質の個眼画像としてのRGB画像とDepth情報としての視差情報との同時取得が可能となる。視差情報は、例えば、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスや、ユーザが所望する所望被写体にとっての障害物を取り除いた障害物除去画像の生成、任意の特性のレンズをエミュレートするレンズエミュレーション、CGや実写を対象とする奥行を考慮した合成等の画像処理に用いることができる。
カメラシステム１については、例えば、カメラシステム１の製造後に、カメラシステム１の動作モードがキャリブレーションを行うキャリブレーションモードに設定され、カメラシステム１の製造工場等において、キャリブレーションが行われる。
すなわち、カメラシステム１では、多眼交換レンズ２０のフォーカスが、キャリブレーションデータを生成するフォーカス位置（以下、基準フォーカス位置ともいう）に制御され、その基準フォーカス位置にキャリブレーションチャートが設置されて撮像される。そして、カメラシステム１では、キャリブレーションデータ生成部１０１が、そのキャリブレーションチャートの撮像により得られるキャリブレーション画像から、基準フォーカス位置に対応する繰り出し部２３の繰り出し量（以下、基準繰り出し量ともいう）に対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部１０２に記憶させる。キャリブレーションは、複数の基準フォーカス位置に対して行われ、これにより、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータが生成される。
キャリブレーションが行われ、カメラシステム１が製造工場から出荷されるときには、カメラシステム１の動作モードは、一般撮像を行う一般撮像モードに設定される。一般撮像モードでは、一般撮像画像が撮像されたときのフォーカス位置（以下、撮像フォーカス位置ともいう）に対応する繰り出し部２３の繰り出し量（以下、撮像繰り出し量ともいう）が、繰り出し量検出部６４から補間部１０３に供給される。
補間部１０３は、キャリブレーションデータ記憶部１０２に記憶された複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを用いて、撮像フォーカス位置に対応する撮像繰り出し量に対するキャリブレーションデータを補間により生成し、視差情報生成部１０４に供給する。なお、全ての位置のキャリブレーションデータがあれば補間不要である。
視差情報生成部１０４は、補間部１０３からの撮像繰り出し量に対するキャリブレーションデータを用いて、その撮像繰り出し量だけ繰り出し部２３が繰り出した状態で撮像された一般撮像画像上の個眼画像から視差情報を生成する。これにより、レンズ歪み等の影響が抑制された、精度のよい視差情報が生成される。
図８は、カメラシステム１で行われるキャリブレーションを説明する図である。
キャリブレーションでは、カメラシステム１から所定の距離Zmmの位置Pを、基準フォーカス位置Pとして、その基準フォーカス位置Pにキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
図８に示されるキャリブレーションチャートは、例えば、格子状の模様が描かれた被写体であるが、キャリブレーションチャートとしては、位置関係等が既知の任意の被写体を採用することができる。
キャリブレーションでは、基準フォーカス位置Pのキャリブレーションチャートの撮像により得られるキャリブレーション画像から、基準フォーカス位置Pに対応する繰り出し量Pに対するキャリブレーションデータが生成される。
カメラシステム１でキャリブレーションチャートを撮像したキャリブレーション画像では、例えば、個眼レンズ３１ｉのレンズ歪み等による位置ずれ（歪み）、すなわち、キャリブレーション画像に被写体が映るべき真の位置（レンズ歪み等がない場合に被写体が本来映るべき位置）と、キャリブレーション画像に被写体が実際に映る位置との位置ずれが生じる。
キャリブレーション画像は、既知の被写体であるキャリブレーションチャートを、既知の位置であるフォーカス位置Pに設置して撮像を行うことにより得られる撮像画像上の個眼画像であるから、キャリブレーション画像において、被写体が映るべき真の位置、すなわち、キャリブレーションチャートの各部（例えば、格子点）が映るべき真の位置は、計算によってあらかじめ求めることができる。
また、キャリブレーション画像において、被写体が映る実際の位置は、キャリブレーション画像から求めることができる。
キャリブレーションデータ生成部１０１では、キャリブレーション画像から、被写体（例えば、キャリブレーションチャートの格子点）が映る実際の位置が求められる。そして、キャリブレーションデータ生成部１０１は、被写体が映る実際の位置と、計算によってあらかじめ求めることができる、その被写体が映るべき真の位置との位置ずれに関する情報を、キャリブレーションデータとして生成する。
なお、キャリブレーションデータとしては、カメラシステム１のいわゆる内部パラメータ及び外部パラメータを生成することができるが、ここでは、説明を簡単にするため、カメラシステム１でキャリブレーションチャートを撮像することにより得られるキャリブレーション画像における被写体の位置ずれに関する情報がキャリブレーションデータとして生成されることとする。
図９は、複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成を説明する図である。
複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成では、初めに、カメラシステム１から所定の距離Z1mmの位置P1を、基準フォーカス位置P1として、その基準フォーカス位置P1にキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
そして、カメラシステム１から距離Z1mmとは異なる距離Z2mmの位置P2を、基準フォーカス位置P2として、その基準フォーカス位置P2にキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
さらに、カメラシステム１から距離Z1mm及びZ2mmとは異なる距離Z3mmの位置P3を、基準フォーカス位置P3として、その基準フォーカス位置P3にキャリブレーションチャートを設置して、カメラシステム１によるキャリブレーションチャートの撮像が行われる。
なお、図９では、距離Z1mm、Z2mm、及び、Z3mmは、式Z1mm＜Z2mm＜Z3mmで表される関係になっている。
カメラシステム１は、フォーカス位置を、位置P1に制御し、位置P1に設置されたキャリブレーションチャートを撮像する。この撮像により、基準フォーカス位置P1のキャリブレーション画像、すなわち、位置P1を基準フォーカス位置とするキャリブレーション画像が得られる。
同様に、カメラシステム１は、フォーカス位置を、位置P2及びP3にそれぞれ制御し、位置P2及びP3に設置されたキャリブレーションチャートをそれぞれ撮像する。これらの撮像により、基準フォーカス位置P2及びP3それぞれのキャリブレーション画像、すなわち、位置P2及びP3をそれぞれ基準フォーカス位置とするキャリブレーション画像が得られる。
なお、基準フォーカス位置P1、P2、及び、P3に設置されたキャリブレーションチャートを撮像する順番は、特に限定されない。
また、ここでは、異なる３つの位置P1、P2、及び、P3を、基準フォーカス位置として採用したが、基準フォーカス位置としては、異なる３つの位置の他、異なる２つの位置や、異なる４つ以上の位置を採用することができる。
カメラシステム１では、以上のように、フォーカス位置が複数の位置（基準フォーカス位置P1、P2、及び、P3）に制御されたカメラシステム１でキャリブレーションチャートをそれぞれ撮像することにより得られるキャリブレーション画像から、複数の基準フォーカス位置（基準フォーカス位置P1、P2、及び、P3）に対応する複数の繰り出し量に対するキャリブレーションデータの生成が行われる。
図１０は、カメラシステム１で行われる一般撮像を説明する図である。
一般撮像では、カメラシステム１において、カメラシステム１から任意の距離Z4mmの位置P4を、撮像フォーカス位置P4として、その撮像フォーカス位置P4に存在する一般の被写体の撮像が行われる。
なお、図１０では、位置P4は、位置P1、P2、及び、P3のいずれとも一致しておらず、位置P1より遠く、かつ、位置P2より近い位置になっている。
カメラシステム１では、フォーカス位置が撮像フォーカス位置P4に制御されたカメラシステム１で被写体を撮像することにより得られる一般撮像画像に画像処理が行われる。
ここで、カメラシステム１において、一般撮像時の撮像フォーカス位置が、キャリブレーション時の複数の基準フォーカス位置のいずれとも一致しない場合、その複数の基準フォーカス位置に対応する複数の基準繰り出し量のうちのいずれかの基準繰り出し量に対するキャリブレーションデータをそのまま用いて、一般撮像画像に画像処理を行うと、不適切な画像処理が行われる可能性がある。
図１０では、撮像フォーカス位置P4が基準フォーカス位置P1、P2、及び、P3のいずれとも一致していないので、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3のうちのいずれかの基準繰り出し量に対するキャリブレーションデータをそのまま用いて、フォーカス位置が撮像フォーカス位置P4に制御されたカメラシステム１、つまり、撮像繰り出し量が撮像フォーカス位置P4に対応する繰り出し量になっているカメラシステム１で撮像された一般撮像画像に画像処理を行うと、不適切な画像処理が行われる可能性がある。
そこで、カメラシステム１において、一般撮像画像に適切な画像処理を行うために、補間部１５３（図７）は、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3に対するキャリブレーションデータを用いて、撮像フォーカス位置P4に対応する撮像繰り出し量P4に対するキャリブレーションデータを補間により生成する。
すなわち、フォーカス位置、つまり、繰り出し部２３の繰り出し量が異なる場合には、カメラシステム１のレンズ条件（レンズ状態）が異なるので、一般撮像画像の同一の画素であっても、繰り出し部２３の繰り出し量が、あるフォーカス位置に対応する繰り出し量の場合と他のフォーカス位置に対応する繰り出し量の場合とでは、位置ずれ（量）が異なる。
そのため、撮像繰り出し量と一致しない基準繰り出し量に対するキャリブレーションデータを用い、一般撮像画像を対象とした視差情報の生成を行うと、上述の位置ずれに起因する視差情報の誤差が適切に補正されず、正確な視差情報を求めることができないことがある。
カメラシステム１は、一般撮像画像に適切な画像処理を行うため、すなわち、例えば、正確な視差情報を求めるため、複数の（異なる）基準フォーカス位置のキャリブレーションチャートを撮像し、その撮像により得られる複数の基準フォーカス位置のキャリブレーション画像から、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを生成する。
さらに、カメラシステム１は、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを用いて、撮像フォーカス位置に対応する撮像繰り出し量に対するキャリブレーションデータを、補間により生成し、その撮像繰り出し量に対するキャリブレーションデータを用いて、視差情報の生成等の画像処理を行う。
図１１は、撮像フォーカス位置P4に対応する撮像繰り出し量に対するキャリブレーションデータの補間による生成について説明する図である。
図１１において、垂直方向（縦軸）は、キャリブレーションデータを表し、水平方向（横軸）は、繰り出し部２３の繰り出し量を表す。
図１１では、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3それぞれに対するキャリブレーションデータが、丸印で示されている。
補間部１０３は、基準繰り出し量P1、P2、及び、P3それぞれに対するキャリブレーションデータのうちの、少なくとも２つ以上の基準繰り出し量に対するキャリブレーションデータを用いて、線形補間やその他の補間を行うことにより、撮像フォーカス位置P4に対応する撮像繰り出し量P4に対するキャリブレーションデータ（図中、三角形で示す部分）を生成する。
以上のように、カメラシステム１は、撮像繰り出し量P4に対するキャリブレーションデータを、複数の繰り出し量P1、P2、及び、P3に対するキャリブレーションデータを用いて、補間により生成する。
したがって、撮像繰り出し量P4に対するキャリブレーションデータを用いて、繰り出し部２３の繰り出し量が撮像繰り出し量P4である場合の撮像フォーカス位置P4の一般撮像画像に適切な画像処理を行うことができる。
画像処理部５３でのキャリブレーションデータを用いた画像処理は、例えば、撮像画像から抽出された個眼画像に（映る被写体に）非線形の歪みがある場合に有用である。画像処理部５３でのキャリブレーションデータを用いた画像処理によれば、個眼画像の歪みを是正した画像処理を行うことができる。なお、キャリブレーションにおいて、キャリブレーションデータとしての被写体が映るべき真の位置からの位置ずれに関する情報は、個眼画像の各画素に対して生成する他、一部の画素に対して生成しておき、一般撮像時に、他の画素に対して空間方向の補間を行って生成することができる。
＜光源３２Ｌ及び３２Ｒの構成例＞
図１２は、光源３２Ｌ及び３２Ｒの構成例を示す断面図である。
ここで、以下では、光源３２Ｌ及び３２Ｒを区別する必要がない限り、光源３２と記述する。
図１２において、光源３２は、筐体１２１、LED１２２、及び、レンズ１２３で構成される。
筐体１２１は、例えば、細長い円筒状の筐体で、LED１２２、及び、レンズ１２３を内部に収納する。
LED１２２は、スポット光としての光を発光する。
レンズ１２３は、LED１２２が発光するスポット光を集光する。
以上のように構成される光源３２では、LED１２２が発光するスポット光が、レンズ１２３によって集光される。
したがって、図１２の光源３２が照射するスポット光は、（理想的には）ある１点に集光され、その後拡がっていくので、非平行光（平行光でない光）である。
ここで、図１２の光源３２が照射するスポット光としての非平行光が集光する点を、集光点ともいう。
以下では、光源３２が、非平行光を、スポット光として照射することとして、繰り出し部２３の繰り出し量を検出する検出方法について説明する。
＜多眼交換レンズ２０の構成例＞
図１３は、多眼交換レンズ２０の構成例を示す断面図である。
図１で説明したように、繰り出し部２３には、個眼レンズ３１ｉ及び光源３２が設けられている。そして、繰り出し部２３は、円筒状の鏡筒２１の内部を、鏡筒光軸の光軸方向（図中、上下方向）に移動可能なように構成され、最も手前側（イメージセンサ５１側）から奥側に繰り出すことができるようになっている。繰り出し部２３の繰り出しにより、個眼レンズ３１ｉが移動し、フォーカスが調整される。
＜繰り出し量の第１の検出方法＞
図１４は、繰り出し部２３の繰り出し量を検出する第１の検出方法を説明する図である。
図１４のＡは、繰り出し部２３が最も繰り出してない（最も手前側にある）最小繰り出し状態（ワイド端）である場合の多眼交換レンズ２０の断面を表している。図１４のＢは、繰り出し部が最も繰り出している（最も奥側にある）最大繰り出し状態（テレ端）である場合の多眼交換レンズ２０の断面を表している。
第１の検出方法を採用する場合、カメラシステム１は、イメージセンサ５１が、繰り出し部２３が最小繰り出し状態であるときにスポット光としての非平行光が集光する集光点と、繰り出し部２３が最大繰り出し状態であるときにスポット光としての非平行光が集光する集光点との間に位置するように構成される。
さらに、光源３２は、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
上述のように、イメージセンサ５１が、繰り出し部２３が最小繰り出し状態であるときにスポット光が集光する集光点と、繰り出し部２３が最大繰り出し状態であるときにスポット光が集光する集光点との間に位置する場合、最小繰り出し状態のスポット光像のサイズ（以下、スポットサイズともいう）（例えば、スポット光像の径等）と、最大繰り出し状態のスポットサイズとの違いは、最小限になる。
光源３２が、スポット光として、非平行光を照射する場合、繰り出し部２３の繰り出し量によって、スポットサイズが変化する。したがって、スポットサイズに応じて、繰り出し部２３の繰り出し量を検出することができる。
図１５は、スポット光としての非平行光のスポットサイズの変化の例を示す（断面）図である。
図１５に示すように、集光点において、スポットサイズは最小になり、集光点から鏡筒光軸方向に離れるほど、スポットサイズは大になる。
イメージセンサ５１が、繰り出し部２３が最小繰り出し状態である場合にスポット光が集光する集光点と、繰り出し部２３が最大繰り出し状態である場合にスポット光が集光する集光点との間に位置する場合、スポットサイズが同一になる繰り出し量が２つ存在することがある。
すなわち、例えば、図１５に示すように、集光点から鏡筒光軸方向に同一の距離だけすれた２つの位置については、繰り出し量は異なるが、スポットサイズは同一になる。
以上のように、あるスポットサイズに対して、２つの繰り出し量が存在することを、２値不定性ともいう。
あるスポットサイズに対して、２つの繰り出し量が存在する場合には、その２つの繰り出し量から、真の繰り出し量、すなわち、そのスポットサイズのスポット光像が得られている状態の繰り出し量を特定し、２値不定性を解消する必要がある。
あるスポットサイズに対して、２つの繰り出し量が存在する場合に、その２つの繰り出し量から、真の繰り出し量を特定する方法としては、スポット光像のテンプレートマッチングを行う方法や、繰り出し量を大きく又は小さく変化させ、繰り出し量の変化の方向に応じて、スポットサイズが大きくなるか、又は、小さくなるかの変化の方向を検出する方法等がある。
図１６は、第１の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
図１６のフローチャートにしたがった処理は、スポット光像のテンプレートマッチングを行うことで、２値不定性を解消するようになっている。
ステップＳ１１１において、スポット光像検出部６２は、通信部５６を介して、多眼交換レンズ２０からレンズ情報を取得し、処理は、ステップＳ１１２に進む。
ステップＳ１１２では、制御部６１は、ユーザがフォーカスを調整するように操作を行うのを待って、その操作に応じて、フォーカスを指定する情報を、通信部５６を介して、多眼交換レンズ２０に送信する。多眼交換レンズ２０では、制御部４３が、通信部５６を介して送信されてくる、フォーカスを指定する情報に応じて、繰り出し部２３を移動し（繰り出し）、処理は、ステップＳ１１３に進む。なお、フォーカスの調整は、ユーザの操作によることなく、制御部６１が自動的に、オートフォーカスの機能等により行うことができる。
ステップＳ１１３では、イメージセンサ５１が撮像画像を撮像し、領域特定部５２、位置算出部５７、及び、スポット光像検出部６２に供給して、処理は、ステップＳ１１４に進む。
ステップＳ１１４では、スポット光像検出部６２は、多眼交換レンズ２０から取得したレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ５１からの撮像画像（の個体差スポット光位置情報の周辺）からスポット光像を検出し、そのスポット光像としての画像を、繰り出し量検出部６４に供給して、処理は、ステップＳ１１５に進む。
ここで、図６で説明したように、個体差スポット光位置情報としては、機種ごとの多眼交換レンズ２０に共通の値を採用することができる。機種ごとの多眼交換レンズ２０について、共通の個体差スポット光位置情報を採用する場合には、その機種ごとの個体差スポット光位置情報を、カメラ本体１０にあらかじめ記憶させておくことにより、カメラ本体１０では、多眼交換レンズ２０から個体差スポット光位置情報（を含むレンズ情報）を取得する必要はない。後述する実施の形態でも同様である。
ステップＳ１１５では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、まだ、スポット光像とのマッチングの対象としていないスポット光像情報を取得し、処理は、ステップＳ１１６に進む。
ここで、第１の検出方法を採用する場合には、繰り出し量情報記憶部６３には、スポット光像としての画像を、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
ステップＳ１１６では、繰り出し量検出部６４は、ステップＳ１１４で撮像画像から検出されたスポット光像（以下、検出スポット光像ともいう）と、直前のステップＳ１１５で取得されたスポット光像情報との（テンプレート）マッチングを行い、処理は、ステップＳ１１７に進む。
ステップＳ１１７では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象として、検出スポット光像とのマッチングを行ったかどうかを判定する。
ステップＳ１１７において、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象としていないと判定された場合、処理は、ステップＳ１１５に戻る。
そして、ステップＳ１１５では、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、まだ、スポット光像とのマッチングの対象としていないスポット光像情報が取得され、以下、同様の処理が繰り返される。
また、ステップＳ１１７において、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象としたと判定された場合、処理は、ステップＳ１１８に進む。
ステップＳ１１８では、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、検出スポット光像と最もマッチするスポット光像情報を選択し、そのスポット光像情報に対応付けられている繰り出し量を、繰り出し部２３の繰り出し量として検出し、画像処理部５３に供給して、処理を終了する。ここで、例えば、ステップＳ１１２でのフォーカスの調整後のフォーカス位置である現在のフォーカス位置が、繰り出し量情報を生成するときのフォーカス位置として用いられていない場合、現在のフォーカス位置と、ステップＳ１１８で検出された繰り出し量を有する繰り出し量情報が生成されたときのフォーカス位置とが完全に一致せず、ステップＳ１１８で検出される繰り出し量の精度が落ちることがある。そこで、繰り出し量情報としては、繰り出し量及びスポット光像情報の他に、その繰り出し量だけ繰り出し部２３が繰り出しているときのフォーカス位置を対応付けた情報を採用することができる。この場合、ステップＳ１１２では、現在のフォーカス位置が、繰り出し量情報が有するフォーカス位置のいずれとも一致しないときには、現在のフォーカス位置を、繰り出し量情報が有するフォーカス位置のうちの、現在のフォーカス位置に最も近いフォーカス位置に引き込む（再調整する）ことができる。これにより、ステップＳ１１８において、正確な繰り出し量を検出することができる。
なお、図１６では、スポット光像としての画像を、スポット光像情報として用い、画像のマッチングを行うことにより、繰り出し量を検出することとしたが、その他、例えば、スポット光像の１次元強度分布や２次元強度分布を、スポット光像情報として用い、その１次元強度分布や２次元強度分布のマッチングを行うことにより、繰り出し量を検出することができる。
また、第１の検出方法は、光源３２が１個以上設けられている場合に採用することができる。
＜繰り出し量の第２の検出方法＞
図１７は、繰り出し部２３の繰り出し量を検出する第２の検出方法を説明する図である。
第２の検出方法を採用する場合、第１の検出方法と同様に、カメラシステム１は、イメージセンサ５１が、繰り出し部２３が最小繰り出し状態である場合にスポット光としての非平行光が集光する集光点と、繰り出し部２３が最大繰り出し状態である場合にスポット光としての非平行光が集光する集光点との間に位置するように構成される。
さらに、光源３２Ｌ及び３２Ｒは、第１の検出方法と同様に、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
但し、第２の検出方法を採用する場合、各繰り出し量での光源３２Ｌが照射するスポット光の集光点と、光源３２Ｒが照射するスポット光の集光点とが、イメージセンサ５１からの距離が異なる点に位置するように、カメラシステム１が構成される。
図１７では、ある繰り出し量での光源３２Ｌが照射するスポット光の集光点のイメージセンサ５１からの距離と、光源３２Ｒが照射するスポット光の集光点のイメージセンサ５１からの距離とが異なっている。すなわち、図１７では、図中下側にイメージセンサ５１が存在し、光源３２Ｌが照射するスポット光の集光点は、光源３２Ｒが照射するスポット光の集光点よりも、イメージセンサ５１に近い位置になっている。
この場合、光源３２Ｌ及び３２Ｒのうちの一方が照射するスポット光のスポットサイズだけでは、２値不定性を解消することはできないが、光源３２Ｌ及び３２Ｒが照射するスポット光のスポットサイズの組み合わせにより、２値不定性を解消することができる。
図１８は、第２の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
図１８のフローチャートにしたがった処理は、光源３２Ｌ及び３２Ｒが照射するスポット光のスポットサイズの組み合わせを用いることで、２値不定性を解消するようになっている。
ステップＳ１２１ないしＳ１２３において、図１６のステップＳ１１１ないしＳ１１３とそれぞれ同様の処理が行われる。
そして、ステップＳ１２４において、スポット光像検出部６２は、多眼交換レンズ２０から取得したレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ５１からの撮像画像から、光源３２Ｌが照射するスポット光のスポット光像PL（としての画像）と、光源３２Ｒが照射するスポット光のスポット光像PRとを検出し、処理は、ステップＳ１２５に進む。
ステップＳ１２５では、スポット光像検出部６２は、スポット光像PL及びPRのスポットサイズを検出し、繰り出し量検出部６４に供給して、処理は、ステップＳ１２６に進む。
ステップＳ１２６では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、ステップＳ１２５で検出されたスポット光像PL及びPRのスポットサイズの組み合わせ（以下、検出スポットサイズの組み合わせともいう）に合致するスポット光像情報を選択する。さらに、ステップＳ１２６では、繰り出し量検出部６４は、検出スポットサイズの組み合わせに合致するスポット光像情報に対応付けられている繰り出し量を、繰り出し部２３の繰り出し量として検出し、画像処理部５３に供給して、処理を終了する。
ここで、第２の検出方法を採用する場合には、繰り出し量情報記憶部６３には、スポット光像PL及びPRのスポットサイズの組み合わせを、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
第２の検出方法では、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としてのスポット光像PL及びPRのスポットサイズの組み合わせとが対応付けられた繰り出し量情報において、検出スポットサイズの組み合わせに合致する、スポット光像PL及びPRのスポットサイズの組み合わせに対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
第２の検出方法によれば、２値不定性を解消し、検出スポットサイズ（の組み合わせ）に応じて、繰り出し部２３の繰り出し量を検出することができる。
なお、第２の検出方法は、光源３２が２個以上設けられている場合に採用することができる。
＜繰り出し量の第３の検出方法＞
図１９は、繰り出し部２３の繰り出し量を検出する第３の検出方法を説明する図である。
図１９のＡは、繰り出し部２３が最も繰り出してない（最も手前側にある）最小繰り出し状態である場合の多眼交換レンズ２０の断面を表している。図１９のＢは、繰り出し部が最も繰り出している（最も奥側にある）最大繰り出し状態である場合の多眼交換レンズ２０の断面を表している。
第３の検出方法を採用する場合、カメラシステム１は、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む手前側及び奥側の一方に位置するように構成される。
さらに、光源３２は、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
上述のように、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させた場合に、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む手前側及び奥側の一方に位置するとき、最小繰り出し状態のスポット光像のスポットサイズと、最大繰り出し状態のスポットサイズとの違いは、最大になる。さらに、繰り出し部２３を、最小繰り出し状態から最大繰り出し状態にまで移動させた場合のスポットサイズは、単調減少又は単調増加する。したがって、２値不定性は生じない。
図２０は、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１上を含む手前側及び奥側の一方に位置する状態を説明する図である。
図２０のＡは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１上を含む手前側（個眼レンズ３１ｉが設けられている側と反対側）に位置する状態を示している。
図２０のＡでは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたとき、スポットサイズは、単調減少する。
図２０のＢは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ５１を含む奥側（個眼レンズ３１ｉが設けられている側）に位置する状態を示している。
図２０のＢでは、繰り出し部２３を最小繰り出し状態から最大繰り出し状態にまで移動させたとき、スポットサイズは、単調増加する。
第３の検出方法を採用する場合には、繰り出し量情報記憶部６３には、スポット光像のスポットサイズを、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
そして、第３の検出方法では、スポット光像検出部６２において、第２の検出方法と同様に、スポット光像のスポットサイズが検出される。
さらに、繰り出し量検出部６４において、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としてのスポット光像のスポットサイズとが対応付けられた繰り出し量情報において、スポット光像検出部６２で検出されたスポットサイズに合致するスポット光像情報としてのスポットサイズに対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
第３の検出方法によれば、２値不定性が生じず、スポットサイズに応じて、繰り出し部２３の繰り出し量を検出することができる。
なお、第３の検出方法は、光源３２が１個以上設けられている場合に採用することができる。
＜繰り出し量の第４の検出方法＞
図２１は、繰り出し部２３の繰り出し量を検出する第４の検出方法を説明する図である。なお、第４の検出方法は、スポット光が非平行光である場合の他、スポット光が後述するように平行光である場合であっても適用することができる。
すなわち、図２１は、多眼交換レンズ２０の断面を表している。
第４の検出方法を採用する場合、カメラシステム１は、光源３２が、鏡筒光軸方向から傾いた斜め方向に、スポット光を照射するように構成される。
図２１では、光源３２は、イメージセンサ５１の周辺部から中心部に向かう方向に、スポット光を照射するようになっている。
図２２は、繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置と、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置とを示す図である。
図２２のＡは、繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置を示しており、図２２のＢは、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置を示している。
図２２において、繰り出し部２３が最小繰り出し状態である場合のスポット光の照射位置、すなわち、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像PL'及びPR'の位置は、スポット光のスポット光像PL及びPRの可動範囲のうち、イメージセンサ５１（で撮像される撮像画像）の周辺側に最も近い位置になる。
繰り出し部２３が最小繰り出し状態から最大繰り出し状態に移動していくと、スポット光像PL及びPRは、イメージセンサ５１の中心に向かって移動していく。
そして、繰り出し部２３が最大繰り出し状態である場合のスポット光の照射位置、すなわち、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像PL''及びPR''の位置は、スポット光のスポット光像PL及びPRの可動範囲のうち、イメージセンサ５１の中心側に最も近い位置になる。
図２３は、繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'が映る撮像画像と、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''が映る撮像画像との例を示す図である。
図２３において、繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'は、撮像画像の最も周辺側に位置する。
繰り出し部２３が最小繰り出し状態から最大繰り出し状態に移動していくと、スポット光像PL及びPRは、撮像画像の中心に向かって移動していく。
そして、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''は、撮像画像の最も中心側に位置する。
以上のように、光源３２Ｌ及び３２Ｒが、斜め方向に、スポット光を照射する場合、繰り出し部２３の繰り出し量によって、スポット光像PL及びPRの位置が変化する。
さらに、光源３２Ｌ及び３２Ｒが、斜め方向としての、例えば、イメージセンサ５１の周辺部から中心部に向かう方向に、スポット光を照射する場合、繰り出し部２３の繰り出し量によって、スポット光像PL及びPRの位置の他、スポット光像PL及びPR（の位置）の間の距離も変化する。図２３では、繰り出し部２３が最小繰り出し状態である場合のスポット光像PL'及びPR'の間の距離は、スポット光像PL及びPRの間の距離の最大値となる。また、繰り出し部２３が最大繰り出し状態である場合のスポット光像PL''及びPR''の間の距離は、スポット光像PL及びPRの間の距離の最小値となる。
第４の検出方法では、スポット光像PL及びPR（のうちの一方又は両方）の位置や、その位置から求められるスポット光像PL及びPRの間の距離に応じて、繰り出し部２３の繰り出し量が検出される。
図２４は、第４の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
ステップＳ１３１ないしＳ１３４において、図１８のステップＳ１２１ないしＳ１２４とそれぞれ同様の処理が行われる。
そして、ステップＳ１３５において、スポット光像検出部６２は、スポット光像PL及びPRの位置（検出光像位置）を検出し、それらの位置どうしの間の距離である光像間距離を検出する。スポット光像検出部６２は、光像間距離を、繰り出し量検出部６４に供給して、処理は、ステップＳ１３５からステップＳ１３６に進む。
ステップＳ１３６では、繰り出し量検出部６４は、繰り出し量情報記憶部６３に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、ステップＳ１３５で検出された光像間距離（以下、検出光像間距離ともいう）に合致するスポット光像情報を選択する。さらに、ステップＳ１３６では、繰り出し量検出部６４は、検出光像間距離に合致するスポット光像情報に対応付けられている繰り出し量を、繰り出し部２３の繰り出し量として検出し、画像処理部５３に供給して、処理を終了する。
ここで、第４の検出方法を採用する場合には、繰り出し量情報記憶部６３には、光像間距離を、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
第４の検出方法では、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としての光像間距離とが対応付けられた繰り出し量情報において、検出光像間距離に合致する光像間距離に対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
第４の検出方法によれば、２値不定性を生じさせることなく、検出光像間距離に応じて、繰り出し部２３の繰り出し量を検出することができる。
なお、第４の検出方法では、光像間距離に代えて、スポット光像の位置（検出光像位置）を、スポット光像情報として採用することができる。スポット光像の位置を、スポット光像情報として採用する場合、繰り出し量情報記憶部６３には、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部２３が繰り出しているときのスポット光像情報としてのスポット光像の位置とが対応付けられた繰り出し量情報が記憶される。さらに、この場合、スポット光像検出部６２において、スポット光像の位置が検出される。
そして、繰り出し量検出部６４では、繰り出し量情報記憶部６３に記憶された繰り出し量情報において、スポット光像検出部６２で検出されたスポット光像の位置に合致するスポット光像の位置に対応付けられている繰り出し量が、繰り出し部２３の繰り出し量として検出される。
その他、第４の検出方法では、第１の検出方法と同様に、スポット光像としての画像を、スポット光像情報として採用することや、第２及び第３の検出方法と同様に、スポットサイズを、スポット光像情報として採用することができる。
ここで、第４の検出方法において、光像間距離を、スポット光像情報として採用する場合には、光源３２が２個以上設けられている必要がある。但し、２個以上の光源３２については、そのすべてが、斜め方向に、スポット光を照射する必要はなく、少なくとも１個の光源３２が、斜め方向に、スポット光を照射する光源であればよい。
また、第４の検出方法において、スポット光像の位置を、スポット光像情報として採用する場合には、光源３２が１個以上設けられている必要がある。
＜多眼交換レンズ２０の他の構成例＞
図２５は、多眼交換レンズ２０の他の構成例を示す図である。
なお、図中、図４や図１３等の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２５の多眼交換レンズ２０は、光源３２Ｌ及び３２Ｒと同様に構成される光源３２Ｕ及び３２Ｄが新たに設けられていることを除き、図４や図１３等の場合と同様に構成される。
図２５の多眼交換レンズ２０は、平面視において、光源３２Ｌと３２Ｒとを結ぶ直線と平行でない直線、例えば、直交する直線上に、複数としての２個の光源３２Ｕ及び３２Ｄを設けた構成になっている。
以上のような、光源３２Ｌと３２Ｒとを結ぶ直線と直交する直線上に、２個の光源３２Ｕ及び３２Ｄを設けた多眼交換レンズ２０が、カメラ本体１０に装着された場合、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れがあるときには、レンズ倒れがないときに対して、図２５に示すように、光源３２Ｌ，３２Ｒ，３２Ｕ，３２Ｄが照射するスポット光のスポット光像のスポットサイズや位置が変化する。
したがって、スポット光像（のスポットサイズや位置）に応じて、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れを検出することができる。
この場合、許容される量を超える量のレンズ倒れが検出されたときには、ユーザに、多眼交換レンズ２０の再取り付けを促すことができる。さらに、レンズ倒れの量を検出し、そのレンズ倒れ量の影響がキャンセルされるように、視差情報を求めることや、個眼画像の領域を特定すること等を行うことができる。
＜光源３２Ｌ及び３２Ｒの他の構成例＞
図２６は、光源３２Ｌ及び３２Ｒの他の構成例を示す断面図である。
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２６において、光源３２は、筐体１２１、LED１２２、レンズ１２３及び１２４で構成される。
したがって、図２６の光源３２は、筐体１２１ないしレンズ１２３を有する点で、図１２の場合と共通し、レンズ１２４が新たに設けられている点で、図１２の場合と相違する。
レンズ１２４は、レンズ１２３の、イメージセンサ５１側に設けられており、レンズ１２３が集光するスポット光を平行光に変換して出射する。
したがって、図２６の光源３２が照射するスポット光は、平行光である。スポット光として、平行光を照射する光源３２を、以下、平行光光源３２ともいう。
多眼交換レンズ２０の繰り出し部２３には、平行光光源３２を設けることができる。繰り出し部２３に、平行光光源３２を設ける場合、スポットサイズは、繰り出し部２３の繰り出しにかかわらず、一定のサイズとなる。そのため、スポットサイズを小さくすることにより、スポット光として、スポットサイズが変化する非平行光を採用する場合に比較して、スポット光像の重心を、スポット光像の位置として求める際の計算の誤差及び計算量が低減される。したがって、より高精度に、取り付け誤差及び繰り出し量を求めることができるとともに、取り付け誤差及び繰り出し量を求めるときの演算の負荷を軽減することができる。
平行光光源３２は、スポット光が鏡筒光軸と平行になるように、繰り出し部２３に設けることができる。但し、この場合、スポット光（スポット光像）を用いて、取り付け誤差を求めることはできるが、繰り出し量を検出することはできない。
平行光光源３２は、スポット光が鏡筒光軸方向から傾いた斜め方向に照射されるように、繰り出し部２３に設けることで、図２１ないし図２４で説明した第４の検出方法により、繰り出し量を検出することができる。
また、平行光光源３２を採用する場合でも、図２５の場合と同様に、平面視において、平行光光源３２Ｌと３２Ｒとを結ぶ直線と平行でない直線、例えば、直交する直線上に、複数としての、例えば、２個の平行光光源３２Ｕ及び３２Ｄを設けることができる。
この場合、多眼交換レンズ２０が、カメラ本体１０に装着されたとき、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れに応じて、平行光光源３２Ｌ，３２Ｒ，３２Ｕ，３２Ｄが照射するスポット光のスポット光像の位置が変化する。
図２７は、レンズ倒れに応じて、平行光光源３２が照射する平行光のスポット光像の位置が変化する状態を示す図である。
平行光光源３２Ｌと３２Ｒとを結ぶ直線と直交する直線上に、２個の平行光光源３２Ｕ及び３２Ｄを設けた多眼交換レンズ２０が、カメラ本体１０に装着された場合には、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れに応じて、平行光光源３２が照射する平行光のスポット光像の位置が変化する。
したがって、スポット光像の位置に応じて、多眼交換レンズ２０のx軸回りのレンズ倒れや、y軸回りのレンズ倒れを検出することができる。
この場合、許容される量を超える量のレンズ倒れが検出されたときには、ユーザに、多眼交換レンズ２０の再取り付けを促すことができる。さらに、レンズ倒れの量を検出し、そのレンズ倒れ量の影響がキャンセルされるように、視差情報を求めることや、個眼画像の領域を特定すること等を行うことができる。
＜カメラシステム１の他の電気的構成例＞
図２８は、図１のカメラシステム１の他の電気的構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
ここで、本技術を適用したカメラシステム１（又はレンズ一体型のカメラシステム）は、イメージセンサ５１で撮像される全体画像（撮像画像）上の各個眼画像の位置を特定する個眼画像位置情報、すなわち、イメージセンサ５１における複数の個眼レンズ３１ｉから出射される各撮像光の出射位置を示す個眼画像位置情報を保持している。さらに、カメラシステム１は、光源３２のスポット光のスポット光像の位置を特定するスポット光像位置情報を保持している。
ここで、全体画像とは、イメージセンサ５１で撮像される撮像画像の全体、又は、その撮像画像の全体から、撮像画像に含まれるすべての個眼画像よりも外側の一部又は全部を削除した画像を意味する。
なお、個眼画像位置情報及びスポット光像位置情報は、カメラシステム１ごとに算出された情報であっても良いし、機種ごとに算出された情報であっても良い。
また、個眼画像位置情報は、各個眼画像の絶対的な位置の情報であっても良いし、所定の１個の個眼レンズ３１ｉを基準レンズとして、その基準レンズに対する個眼画像の絶対的な位置の情報と、基準レンズに対する個眼画像の位置を基準とする、他の個眼画像の相対的な位置の情報とであってもよい。
カメラシステム１が保持している個眼画像位置情報及びスポット光像位置情報は、例えば、それぞれ、個体差反映位置情報（既知基準位置）及び個体差スポット光位置情報（既知光位置）と対応するような値としていても良いが、これに限定されない。
カメラシステム１は、実撮像時（一般撮像画像（未知撮像画像）の撮像時）の全体画像から検出されるスポット光像の位置（検出スポット光像位置情報）を用いて、個眼画像位置情報を修正する。
カメラシステム１の多眼交換レンズ２０では、各個眼レンズ３１ｉと光源３２とが一体的に繰り出すので、フォーカス（やズーム）の調整により、個眼レンズ３１ｉが繰り出しても、個眼レンズ３１ｉと一体的に繰り出す光源３２の検出スポット光像位置情報を用いて、個眼画像位置情報を正確に修正（補正）することができる。
すなわち、個眼レンズ３１ｉが繰り出すことにより、「様々な理由」で、繰り出し量に応じて異なる位置ずれ量が生じるが、個眼レンズ３１ｉが繰り出しても、個眼画像と光源３２との位置関係、すなわち、個眼画像とスポット光像との位置関係は変わらない。そのため、実撮像時の全体画像上のスポット光像の位置（検出スポット光像位置情報）を検出して、カメラシステム１が保持しているスポット光像位置情報とのずれを把握することで、各個眼画像の個眼画像位置情報を、正確に修正することができる。
「様々な理由」とは、例えば、繰り出し時に一体となって動く個眼レンズ３１ｉ群（個眼レンズユニット）が傾く、繰り出し時に個眼レンズユニットが回転する、多眼交換レンズ２０については、取り付け誤差によって同じ繰り出し量の場合も取り付け時の回転誤差や傾きの誤差等がある、等である。
カメラシステム１では、以上のように、個眼画像の個眼画像位置情報を、正確に修正することができるので、その修正後の個眼画像位置情報（修正個眼画像位置情報）を用いて、全体画像から、例えば、光軸中心位置を中心とする所定の範囲を、個眼画像として、正確に抽出する（切り出す）ことや、レンズ歪み等の影響を抑制する処理（視差情報の生成等）を行うことができる。
なお、実撮像時の全体画像から検出される検出スポット光像位置情報は、例えば、装着誤差スポット光位置情報（未知光位置）と対応するような値としていても良いが、これに限定されない。また、検出スポット光像位置情報を用いて、個眼画像位置情報を修正した修正個眼画像位置情報は、例えば、装着誤差反映位置情報（未知基準位置）と対応するような値としていても良いが、これに限定されない。
図２８において、領域特定部５２は、個眼画像位置情報修正部２１１及び個眼画像抽出部２１２を有する。
個眼画像位置情報修正部２１１には、通信部５６から、多眼交換レンズ２０の記憶部４１のレンズ情報（の一部）として記憶された個眼画像位置情報及びスポット光像位置情報が供給される。さらに、個眼画像位置情報修正部２１１には、スポット光像検出部６２から、イメージセンサ５１で撮像された全体画像（撮像画像）から検出された検出スポット光像位置情報が供給される。
個眼画像位置情報修正部２１１は、通信部５６からのスポット光像位置情報、及び、スポット光像検出部６２からの検出スポット光像位置情報を用いて、通信部５６からの個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を、個眼画像抽出部２１２及び関連付け部２２１に供給する。個眼画像位置情報修正部２１１において、個眼画像位置情報の修正は、位置算出部５７（図２）における装着誤差反映位置情報を求める処理と同様にして行われる。
個眼画像抽出部２１２には、上述したように、個眼画像位置情報修正部２１１から修正個眼画像位置情報が供給される他、イメージセンサ５１から全体画像（撮像画像）が供給される。
個眼画像抽出部２１２は、個眼画像位置情報修正部２１１からの修正個眼画像位置情報を用いて、イメージセンサ５１からの全体画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を表す領域情報を求める。例えば、個眼画像抽出部２１２は、修正個眼画像位置情報を中心とする矩形の領域を表す情報を、領域情報として求める。
そして、個眼画像抽出部２１２は、イメージセンサ５１からの全体画像から、領域情報が表す領域を、個眼画像として抽出し、必要に応じて、表示部５４及び関連付け部２２１に供給する。
また、個眼画像抽出部２１２は、イメージセンサ５１からの全体画像を、必要に応じて、表示部５４及び関連付け部２２１に供給する。
表示部５４では、個眼画像抽出部２１２からの全体画像や個眼画像が表示される。
関連付け部２２１は、個眼画像位置情報修正部２１１からの修正個眼画像位置情報、及び、個眼画像抽出部２１２からの個眼画像又は全体画像を対象とした関連付けを行う。
関連付け部２２１は、例えば、個眼画像抽出部２１２からの、同一の全体画像から抽出された各個眼画像の関連付けを行う。また、関連付け部２２１は、例えば、個眼画像抽出部２１２からの、同一の全体画像から抽出された各個眼画像、及び、各個眼画像の抽出に用いられた修正個眼画像位置情報の関連付けを行う。さらに、関連付け部２２１は、例えば、個眼画像抽出部２１２からの全体画像（撮像画像）と、個眼画像位置情報修正部２１１からの、その全体画像から検出された検出スポット光像位置情報を用いて個眼画像位置情報を修正した修正個眼画像位置情報（撮像個眼画像位置）との関連付けを行う。
関連付けは、例えば、関連付けの対象を同一の記録媒体に記録することや、関連付けの対象に、同一のID(Identification)を付与すること等により行うことができる。また、関連付けは、例えば、関連付けの対象のメタデータ（修正個眼画像位置情報を関連付ける対象の個眼画像又は全体画像のメタデータ）を用いて行うことができる。
関連付け部２２１は、関連付けにより関連付けられた情報（関連付け情報）を、まとめて、記録することや伝送することができる。
なお、関連付け部２２１では、その他、例えば、（レンズ情報に含まれる）スポット光像位置情報と、全体画像から検出された検出スポット光像位置情報とを関連付けることができる。
また、関連付け部２２１で得られる関連付け情報は、カメラシステム１や外部機器でのポスト処理の対象とすることができる。ポスト処理では、例えば、全体画像と修正個眼画像位置情報とを関連付けた関連付け情報に含まれる全体画像から、その関連付け情報に含まれる修正個眼画像位置情報を用いて、個眼画像を抽出することができる。
さらに、関連付け部２２１では、全体画像（撮像画像）、その全体画像から検出された検出スポット光像位置情報（検出光像位置）、スポット光像位置情報（記憶光像位置）、及び、個眼画像位置情報（記憶個眼画像位置）を関連付けることができる。この場合、全体画像、検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報を関連付けた関連付け情報を対象とするポスト処理では、検出スポット光像位置情報及びスポット光像位置情報を用いて、個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を用いて、全体画像から個眼画像を抽出することができる。
その他、関連付け部２２１では、例えば、スポット光像位置情報（記憶光像位置）、スポット光像位置情報と検出スポット光像位置情報との差分（記憶光像位置と検出光像位置との差分）、個眼画像位置情報（記憶個眼画像位置）、及び、全体画像（撮像画像）を関連付けることができる。
また、関連付け部２２１では、撮像画像上の個眼画像の位置を特定することができる任意の関連付けを採用することができる。
関連付けの対象となる対象画像としては、全体画像や、全体画像から抽出された各個眼画像の他、全体画像から抽出された各個眼画像を並べた１枚の合成画像を採用することができる。
また、対象画像と関連付ける対象の対象情報としては、修正個眼画像位置情報の他、撮像画像上の個眼画像の位置を特定することができる任意の情報を採用することができる。
対象情報としては、例えば、個眼画像位置情報、スポット光像位置情報、及び、検出スポット光像位置情報のセットを採用することができる。
対象画像と対象情報との関連付けでは、対象画像と対象情報とを関連付けて、記憶媒体に記憶させることや、伝送媒体を介して送信すること、１つのファイルにすることができる。
ここでは、「関連付け」は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。対象画像及び対象情報のデータ（ファイル）としての形態は任意である。例えば、対象画像と対象情報とが、１つのデータ（ファイル）としてまとめられてもよいし、それぞれ個別のデータ（ファイル）とされてもよい。例えば、対象画像に関連付けられた対象情報は、その対象画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、対象画像に関連付けられた対象情報は、対象画像とは別の記録媒体、又は、同一の記録媒体の別の記録エリアに記録されるようにしてもよい。対象画像と対象情報とをまとめて、１つのストリームデータにすることや、１つのファイルにすることもできる。
対象画像は、静止画でもよいし動画でもよい。動画の場合、各フレームの対象画像と対象情報とを関連付けることができる。
「関連付け」は、対象画像のデータ全体でなく、データ（ファイル）の一部に対して行うことができる。例えば、対象画像が複数フレームからなる動画である場合、対象情報を、対象画像の、複数フレーム、１フレーム、又は、フレーム内の一部分などの任意の単位に対して関連付けることができる。
なお、対象画像と対象情報とが個別のデータ（ファイル）とされる場合は、その対象画像と対象情報の双方に同じID（識別番号）を付与することなどで、両者を関連付けることができる。また、対象画像と対象情報とが１つのファイルにまとめられる場合、例えば、ファイルのヘッダ等に対象情報が付与されるようにしてもよい。
＜ポスト処理装置＞
図２９は、関連付け情報を対象としてポスト処理を行うポスト処理装置の構成例を示すブロック図である。
図２９において、ポスト処理装置２３０は、領域特定部２３１、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５を有する。領域特定部２３１は、個眼画像位置情報修正部２４１及び個眼画像抽出部２４２を有する。
ポスト処理装置２３０には、全体画像、検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報を関連付けた関連付け情報が、図示せぬ記録媒体や伝送媒体から供給される。
なお、どのような情報を関連付けておき、どう修正するかは多様にあり得る。例えば、検出スポット光像位置情報とスポット光像位置情報からスポット光像位置のずれを示すスポット光像位置ずれ情報を事前に算出し、全体又は個眼画像と、スポット光像位置ずれ情報を関連付けておけば、検出スポット光像位置情報とスポット光像位置情報を全体画像等に関連付けておく必要はない。また、個眼画像位置情報を予め修正して修正個眼画像位置情報と、全体画像又は個眼画像と関連付けておいても良く、この場合はポスト処理での個眼画像位置情報の修正等が不要となる。さらに、検出スポット光像位置情報としては、例えば、全体画像上のスポット光像の位置そのものの他、例えば、全体画像の、スポット光像が映る領域の画像部分の情報を採用することができる。検出スポット光像位置情報として、例えば、全体画像の、スポット光像が映る領域の画像部分の情報を採用する場合には、その情報から、全体画像上のスポット光像の位置が求められる。
関連付け情報に含まれる検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報は、個眼画像位置情報修正部２４１に供給される。関連付け情報に含まれる全体画像は、個眼画像抽出部２４２に供給される。
個眼画像位置情報修正部２４１は、関連付け情報に含まれる検出スポット光像位置情報、及び、スポット光像位置情報を用いて、関連付け情報に含まれる個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を、個眼画像抽出部２４２に供給する。個眼画像位置情報修正部２４１において、個眼画像位置情報の修正は、個眼画像位置情報修正部２１１（図２８）と同様に行われる。
個眼画像抽出部２４２は、個眼画像位置情報修正部２４１からの修正個眼画像位置情報を用いて、関連付け情報に含まれる全体画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を表す領域情報を求める。
そして、個眼画像抽出部２４２は、全体画像から、領域情報が表す領域を、個眼画像として抽出し、必要に応じて、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。
なお、個眼画像抽出部２４２は、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に対して、個眼画像の他、全体画像や、修正個眼画像位置情報を、必要に応じて供給することができる。
画像処理部２３２は、個眼画像抽出部２４２からの個眼画像の画像処理を行い、その画像処理の結果を、必要に応じて、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。画像処理部２３２では、例えば、個眼画像抽出部２４２からの個眼画像、及び、修正個眼画像位置情報を用いて、視差情報を生成し、その視差情報及び個眼画像を用いて、リフォーカスを行うことができる。
表示部２３３は、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果を、必要に応じて表示する。記録部２３４は、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果を、必要に応じて、図示せぬ記録媒体に記録する。伝送部２３５は、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果を、必要に応じて、図示せぬ伝送媒体を介して伝送する。
ポスト処理装置２３０では、検出スポット光像位置情報、及び、スポット光像位置情報を用いて、個眼画像位置情報を修正する処理や、個眼画像位置情報の修正により得られる修正個眼画像位置情報を用いて、全体画像から個眼画像を抽出する処理を、ポスト処理として行うことができる。
以上のようなポスト処理装置２３０は、個眼画像の再生、表示、画像処理を行う装置に設けることができる。
図３０は、関連付け情報を対象としてポスト処理を行うポスト処理装置の他の構成例を示すブロック図である。
なお、図中、図２９のポスト処理装置２３０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３０において、ポスト処理装置２５０は、領域特定部２３１ないし伝送部２３５を有する。領域特定部２３１は、個眼画像位置情報修正部２４１を有する。
したがって、ポスト処理装置２５０は、領域特定部２３１ないし伝送部２３５を有する点で、図２９のポスト処理装置２３０と共通する。但し、ポスト処理装置２５０は、領域特定部２３１が個眼画像抽出部２４２を有していない点で、ポスト処理装置２３０と相違する。
ポスト処理装置２５０には、複数の個眼画像、検出スポット光像位置情報、スポット光像位置情報、及び、それぞれ複数の個眼画像に対応する複数の個眼画像位置情報を関連付けた関連付け情報が、図示せぬ記録媒体や伝送媒体から供給される。
関連付け情報に含まれる検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報は、個眼画像位置情報修正部２４１に供給される。関連付け情報に含まれる個眼画像は、必要に応じて、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に供給される。
個眼画像位置情報修正部２４１は、図２９で説明したように、関連付け情報に含まれる検出スポット光像位置情報、及び、スポット光像位置情報を用いて、関連付け情報に含まれる個眼画像位置情報を修正する。個眼画像位置情報修正部２４１は、個眼画像位置情報の修正により得られる修正個眼画像位置情報を、必要に応じて、画像処理部２３２、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。
画像処理部２３２は、個眼画像の画像処理を行い、その画像処理の結果を、必要に応じて、表示部２３３、記録部２３４、及び、伝送部２３５に供給する。画像処理部２３２では、例えば、図２９の場合と同様に、個眼画像、及び、修正個眼画像位置情報を用いて、視差情報を生成し、その視差情報及び個眼画像を用いて、リフォーカスを行うことができる。
表示部２３３では、個眼画像抽出部２４２からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果、個眼画像位置情報修正部２４１で得られる修正個眼画像位置情報が、必要に応じて表示される。記録部２３４では、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果、個眼画像位置情報修正部２４１で得られる修正個眼画像位置情報が、必要に応じて記録される。伝送部２３５では、個眼画像、修正個眼画像位置情報、画像処理部２３２の画像処理の結果、個眼画像位置情報修正部２４１で得られる修正個眼画像位置情報が、必要に応じて伝送される。
ポスト処理装置２５０では、検出スポット光像位置情報、及び、スポット光像位置情報を用いて、個眼画像位置情報を修正する処理を、ポスト処理として行うことができる。なお、図３０において、関連付け情報には、全体画像を含めることができる。全体画像は、画像処理部２３２ないし伝送部２３５に供給し、処理の対象とすることができる。
以上のようなポスト処理装置２５０は、個眼画像の再生、表示、画像処理を行う装置に設けることができる。なお、上述したようにポスト処理装置２３０及びポスト処理装置２５０は、カメラシステム１内にポスト処理機能として設けられていても良い。
＜本技術を適用したカメラシステムの他の実施の形態＞
＜カメラシステムの第１の他の実施の形態＞
図３１は、本技術を適用したカメラシステムの第１の他の実施の形態の電気的構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３１において、カメラシステム３００は、レンズ一体型のカメラシステムである。カメラシステム３００は、レンズ部３２０、イメージセンサ３５１、RAW信号処理部３５２、領域抽出部３５３、カメラ信号処理部３５４、スルー画像生成部３５５、領域特定部３５６、画像再構成処理部３５７、バス３６０、表示部３６１、記憶部３６２、通信部３６４、ファイル化部３６５、制御部３８１、記憶部３８２、及び、光学系制御部３８４を有する。
レンズ部３２０は、繰り出し部２３を有する。繰り出し部２３は、図１及び図２で説明したように、個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒを有する。
繰り出し部２３は、図３１では図示していない鏡筒２１（図１）の内部を、鏡筒光軸の光軸方向に移動する。繰り出し部２３の移動とともに、その繰り出し部２３が有する個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒも一体的に移動する。
個眼レンズ３１ｉは、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼レンズ３１ｉを通過した光は、他の個眼レンズ３１ｊに入射せずにイメージセンサ３５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼レンズ３１ｉの光軸は、イメージセンサ３５１の受光面の互いに異なる場所に位置しており、各個眼レンズ３１ｉを通過した光の少なくとも一部が、イメージセンサ３５１の受光面の互いに異なる位置に照射する。
したがって、イメージセンサ３５１により生成される撮像画像（イメージセンサ３５１の出力する画像全体）には、各個眼レンズ３１ｉを介して結像された被写体の像が互いに異なる位置に形成される。換言するに、撮像画像から、各個眼レンズ３１ｉの位置を視点とする画像（個眼画像）が得られる。
イメージセンサ３５１は、例えば、イメージセンサ５１と同様に、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ３５１の受光面には、個眼レンズ３１0ないし３１4それぞれにより集光される光線が照射される。イメージセンサ３５１は、個眼レンズ３１0ないし３１4それぞれからの光線（照射光）を受光して光電変換を行うことにより、各個眼レンズ３１ｉを視点とする個眼画像を含む撮像画像を生成する。
イメージセンサ３５１は、イメージセンサ５１と同様に、単色（所謂モノクロ）のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ３５１が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ３５１が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。
なお、本実施の形態においてRAWフォーマットとは、イメージセンサ３５１のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ３５１から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ３５１の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。
イメージセンサ３５１は、照射光を光電変換して生成したRAWフォーマットの撮像画像（全体画像）を出力することができる。例えば、イメージセンサ３５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス３６０、RAW信号処理部３５２、領域抽出部３５３、及び、領域特定部３５６の内の、少なくともいずれか１つに供給することができる。
例えば、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介して通信部３６４に供給し、カメラシステム３００の外部へ送信させることができる。さらに、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。また、イメージセンサ３５１は、RAWフォーマットの撮像画像（全体画像）を、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理を行わせることができる。
なお、イメージセンサ３５１は、単板式のイメージセンサであってもよいし、例えば３板式のイメージセンサ等、複数のイメージセンサからなる１組のイメージセンサ（複数板式イメージセンサとも称する）であってもよい。
なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。
このような複数板式撮像装置の場合も各イメージセンサ、すなわち１つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。
RAW信号処理部３５２は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部３５２は、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、RAW信号処理部３５２は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、又は、圧縮（符号化）等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部３５２は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して行うことができる信号処理は、信号処理後の画像が、上述したようにイメージセンサ３５１のカラーフィルタの配置の位置関係を維持した状態の画像（複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像）であるものに限定される。
RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して通信部３６４に供給し、送信させることができる。さらに、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。また、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、及び、圧縮RAWを互いに区別して説明する必要が無い場合、RAW画像と称する。
領域抽出部３５３は、RAWフォーマットの撮像画像からの一部の領域の抽出（部分画像の切り出し）に関する処理を行う。例えば、領域抽出部３５３は、イメージセンサ３５１からRAWフォーマットの撮像画像（全体画像）を取得することができる。また、領域抽出部３５３は、領域特定部３５６から供給される、撮像画像から抽出する領域を示す情報（抽出領域情報とも称する）を取得することができる。そして、領域抽出部３５３は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する（部分画像を切り出す）ことができる。
例えば、領域抽出部３５３は、撮像画像（全体画像）から、各個眼レンズ３１ｉの位置を視点とする個眼画像を切り出すことができる。また、撮像画像において、個眼画像が切り出される領域（個眼画像に対応する領域）を個眼画像領域とも称する。例えば、領域抽出部３５３は、領域特定部３５６から供給される、個眼画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各個眼画像領域を抽出すること、すなわち、各個眼画像を切り出すことができる。そして、領域抽出部３５３は、その切り出した各個眼画像（RAWフォーマット）をカメラ信号処理部３５４に供給することができる。
視点関連情報は、例えば、上述の個体差反映位置情報、又は、装着誤差反映位置情報に対応するような値としていても良いが、これに限定されず、個体差や装着誤差といった区別やそれらを補正することを意図して設定する必要はなく、単純に、撮像画像上の個眼画像の領域と、スポット光の位置との関係を示す情報であっても、上述したような誤差その他様々な誤差を加味した修正が可能である。
領域抽出部３５３は、撮像画像（全体画像）から切り出した各個眼画像を合成し、合成画像を生成することができる。合成画像は、各個眼画像が合成されて、１データ化、又は、１枚の画像とされたものである。例えば、領域抽出部３５３は、各個眼画像を平面状に並べた１枚の画像を合成画像として生成することができる。領域抽出部３５３は、その生成した合成画像（RAWフォーマット）をカメラ信号処理部３５４に供給することができる。
また、例えば、領域抽出部３５３は、全体画像をカメラ信号処理部３５４に供給することができる。例えば、領域抽出部３５３は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し（つまり、全ての個眼画像を含む部分画像を切り出し）、その切り出した部分画像（つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部又は全部を削除した画像）を、RAWフォーマットの全体画像としてカメラ信号処理部３５４に供給することができる。この場合の抽出する領域の場所（範囲）は、領域抽出部３５３において予め定められていてもよいし、領域特定部３５６から供給される視点関連情報により指定されるようにしてもよい。
また、領域抽出部３５３は、取得した撮像画像を（すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を）、RAWフォーマットの全体画像としてカメラ信号処理部３５４に供給することもできる。
なお、領域抽出部３５３は、上述のように撮像画像から切り出したRAWフォーマットの部分画像（全体画像、個眼画像、又は、合成画像）を、イメージセンサ３５１の場合と同様に、バス３６０を介して記憶部３６２、通信部３６４、ファイル化部３６５、又は画像再構成処理部３５７等に供給することができる。
また、領域抽出部３５３は、RAWフォーマットの部分画像（全体画像、個眼画像、又は、合成画像）を、RAW信号処理部３５２に供給し、所定の信号処理を施させたり、圧縮（符号化）させたりすることもできる。この場合も、RAW信号処理部３５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）又は圧縮（符号化）した撮像画像（圧縮RAW）を、バス３６０を介して記憶部３６２、通信部３６４、ファイル化部３６５、又は画像再構成処理部３５７等に供給することができる。
つまり、全体画像、個眼画像、及び、合成画像の内の少なくともいずれか１つは、RAW画像であるようにしてもよい。
カメラ信号処理部３５４は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部３５４は、領域抽出部３５３から供給される画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、カメラ信号処理部３５４は、その取得した画像に対して、カメラ信号処理（カメラプロセス）を施すことができる。例えば、カメラ信号処理部３５４は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のＲ画像、Ｇ画像、及び、Ｂ画像を生成する色分離処理（ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理）や、その色分離後の画像の色空間をRGBからYC（輝度・色差）に変換するYC変換処理等を行うことができる。また、カメラ信号処理部３５４は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB（Automatic White Balance）、又は、ガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部３５４は、処理対象の画像を圧縮（符号化）することもできる。勿論、カメラ信号処理部３５４は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。
なお、以下においては、カメラ信号処理部３５４が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像（YC）を出力するものとする。この画像は、全体画像であってもよいし、各個眼画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像（YC）は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部３５４から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。
つまり、全体画像、個眼画像、及び、合成画像の内の少なくともいずれか１つは、そのYCフォーマットの画像（YC画像とも称する）であるようにしてもよい。
また、カメラ信号処理部３５４が出力する画像は、完全な現像処理をしたものではなく、YCフォーマットの画像（YC）として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整（色調整）に関する処理の一部又は全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像（YC）をほぼ劣化なくRAWフォーマットの画像に戻すことができる。
カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。さらに、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して通信部３６４に供給し、外部に送信させることができる。また、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。さらに、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理を行わせることができる。
また、例えば、カメラ信号処理部３５４は、YCフォーマットの画像（YC）をスルー画像生成部３５５に供給することもできる。
なお、RAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）が記憶媒体３６３に記憶されている場合、カメラ信号処理部３５４は、そのRAWフォーマットの画像を記憶媒体３６３から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部３５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス３６０を介して表示部３６１、記憶部３６２、通信部３６４、ファイル化部３６５、又は画像再構成処理部３５７等に供給することができる。
また、イメージセンサ３５１から出力されるRAWフォーマットの撮像画像（全体画像）に対してカメラ信号処理部３５４がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像（全体画像）から、領域抽出部３５３が一部の領域を抽出するようにしてもよい。
スルー画像生成部３５５は、スルー画（像）の生成に関する処理を行う。スルー画は、撮影時又は撮影準備時（非記録時）にユーザが撮影準備中の画像を確認するために表示される画像である。スルー画は、ライブビュー画像やEE（Electronic to Electronic）画とも称される。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影（記録）中の画像に対応するスルー画も表示される。
例えば、スルー画像生成部３５５は、カメラ信号処理部３５４から供給される画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、スルー画像生成部３５５は、その取得した画像を用いて、例えば表示部３６１の解像度に応じた画サイズに変換する画サイズ（解像度）変換を行うことで、表示用画像であるスルー画を生成することができる。スルー画像生成部３５５は、生成したスルー画を、バス３６０を介して表示部３６１に供給し、表示させることができる。
領域特定部３５６は、領域抽出部３５３が撮像画像から抽出する領域の特定（設定）に関する処理を行う。例えば、領域特定部３５６は、撮像画像から抽出する領域を特定する視点関連情報VIを取得し、抽出領域情報として、領域抽出部３５３に供給する。
視点関連情報VIは、例えば、上述の個体差反映位置情報に対応するような値としていても良いが、これに限定されない。視点関連情報VIは、例えば、撮影画像における個眼画像の設計上の位置や、既知撮像画像の撮像時の位置等を表す。
視点関連情報VIは、例えば、撮像画像における個眼画像領域を示す個眼領域情報を含む。個眼領域情報は、個眼画像領域をどのように表してもよい。例えば、撮像画像における個眼レンズ３１の光軸に対応する位置（光軸中心位置）を示す座標（個眼画像領域の中心座標とも称する）と個眼画像（個眼画像領域）の解像度（画素数）とにより、個眼画像領域が表されるようにしてもよい。つまり、個眼領域情報が、撮像画像における個眼画像領域の中心座標と個眼画像領域の解像度とを含むようにしてもよい。この場合、個眼画像領域の中心座標とその個眼画像領域の解像度（画素数）から、全体画像の内の個眼画像領域の場所の特定が可能になる。
なお、個眼領域情報は、個眼画像領域ごとに設定される。つまり、撮像画像に複数の個眼画像が含まれる場合、視点関連情報VIは、各個眼画像（各個眼画像領域）について、個眼画像（領域）を識別するための視点識別情報（例えばID）と個眼領域情報とを含み得る。
また、視点関連情報VIは、その他の任意の情報を含み得る。例えば、視点関連情報VIが、個眼画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。
領域特定部３５６は、視点関連情報VIをバス３６０に供給することができる。例えば、領域特定部３５６は、視点関連情報VIを、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、領域特定部３５６は、視点関連情報VIを、バス３６０を介して通信部３６４に供給し、送信させることができる。さらに、領域特定部３５６は、視点関連情報VIを、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。また、領域特定部３５６は、視点関連情報VIを、バス３６０を介して画像再構成処理部３５７に供給し、画像再構成処理に利用させることができる。
例えば、領域特定部３５６は、視点関連情報VIを制御部３８１から取得し、領域抽出部３５３やバス３６０に供給してもよい。この場合、制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIを、記憶部３８２を介して読み出し、領域特定部３５６に供給する。領域特定部３５６は、その視点関連情報VIを領域抽出部３５３やバス３６０に供給する。
このようにバス３６０を介して記憶部３６２、通信部３６４、又はファイル化部３６５に供給された視点関連情報VIは、そこにおいて画像（全体画像、個眼画像、又は、合成画像）と関連付けられる。例えば、記憶部３６２は、供給された視点関連情報VIを画像（全体画像、個眼画像、又は、合成画像）と関連付け、記憶媒体３６３に記憶させることができる。また、通信部３６４は、供給された視点関連情報VIを画像（全体画像、個眼画像、又は、合成画像）と関連付け、外部に送信することができる。さらに、ファイル化部３６５は、供給された視点関連情報VIを画像（全体画像、個眼画像、又は、合成画像）と関連付け、それらを含む１つのファイルを生成することができる。
また、領域特定部３５６は、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報VI'を生成し、その生成した視点関連情報VI'を領域抽出部３５３やバス３６０に供給してもよい。この場合、領域特定部３５６は、撮像画像から各個眼画像領域を特定し、その個眼画像領域を示す（例えば、撮像画像における個眼画像領域の中心座標と個眼画像領域の解像度等により個眼画像領域を示す）視点関連情報VI'を生成する。そして、領域特定部３５６は、その生成した視点関連情報VI'を領域抽出部３５３やバス３６０に供給する。なお、この視点関連情報VI'とともに、領域特定部３５６が撮像画像に基づいて生成したスポット光情報SI'を供給してもよい。
スポット光情報は、スポット光像に関する情報であり、例えば、上述の個体差スポット光位置情報又は装着誤差スポット光位置情報に対応するような値としていても良いが、これに限定されない。
領域特定部３５６は、視点関連情報VIを制御部３８１から取得し、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報SI'を生成し、視点関連情報VIにそのスポット光情報SI'を付加し、領域抽出部３５３やバス３６０に供給してもよい。この場合、制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIを、記憶部３８２を介して読み出し、領域特定部３５６に供給する。領域特定部３５６は、視点関連情報VIを、スポット光情報SI'を用いて補正し、補正後の視点関連情報VI'を生成する。領域特定部３５６は、その視点関連情報VI'を領域抽出部３５３やバス３６０に供給する。
また、領域特定部３５６は、視点関連情報VIを制御部３８１から取得し、イメージセンサ３５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報SI'を生成し、そのスポット光情報SI'を用いて視点関連情報VIを補正し、補正後の視点関連情報VI'を領域抽出部３５３やバス３６０に供給してもよい。この場合、制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIを、記憶部３８２を介して読み出し、領域特定部３５６に供給する。領域特定部３５６は、その視点関連情報VIを、スポット光情報SI'を用いて補正し、視点関連情報VI'を生成する。領域特定部３５６は、その視点関連情報VI'を領域抽出部３５３やバス３６０に供給する。
スポット光情報SI'は、例えば、上述の装着誤差スポット光位置情報、又は、スポット光像情報に対応するような値としていても良いが、これに限定されない。スポット光情報SI'は、例えば、撮像画像に映るスポット光像の位置及び／又はスポットサイズ等を表す。
ここで、イメージセンサ３５１の受光面に垂直な方向と、繰り出し部２３の移動方向とのずれや、繰り出し部２３の移動に伴う個眼レンズ３１ｉの回転ずれ等の繰り出し部２３の移動に伴う各種のずれに起因して、繰り出し部２３の移動に伴い、撮像画像における個眼画像の位置がずれることがある。
繰り出し部２３の移動に伴い、撮像画像における個眼画像の位置がずれた場合、撮像画像の、視点関連情報VIが表す位置から画像を切り出す（抽出する）と、（本来の）個眼画像の個眼画像領域からずれた領域の画像が、個眼画像として切り出される。
そこで、領域特定部３５６は、撮像画像から生成されたスポット光情報SI'が表すスポット光像の位置及び／又はスポットサイズを用いて、撮像画像における個眼画像の位置ずれ（量）を検出することができる。
そして、領域特定部３５６は、個眼画像の位置ずれに応じて、撮像画像から個眼画像を切り出す位置を修正するための情報を得て、領域抽出部３５３に供給することができる。
すなわち、領域特定部３５６は、個眼画像の位置ずれに応じて、その位置ずれ後の個眼画像の位置を表すように、視点関連情報VIを補正し、その補正により得られる視点関連情報VI'を、領域抽出部３５３に供給する。
ここで、記憶媒体３８３は、例えば、視点関連情報VI及びスポット光情報SIを記憶している。スポット光情報SIは、例えば、上述の個体差スポット光位置情報に対応するような値としていても良いが、これに限定されない。スポット光情報SIは、例えば、撮影画像におけるスポット光像の設計上の位置及び／又はスポットサイズや、既知撮像画像の撮像時の位置及び／又はスポットサイズ等を表す。
視点関連情報VI及びスポット光情報SIは、同一のタイミングで得られる情報である。例えば、視点関連情報VIが、設計上の個眼画像の位置（視点）等を表す情報である場合、スポット光情報SIも、設計上のスポット光像の位置等を表す情報である。また、例えば、視点関連情報VIが、既知撮像画像の撮像時に検出された個眼画像の位置等を表す情報である場合、スポット光情報SIも、既知撮像画像の撮像時に検出されたスポット光像の位置等を表す情報である。
領域特定部３５６では、例えば、スポット光情報SIと、撮像画像から生成されたスポット光情報SI'との差を、撮像画像における個眼画像の位置ずれとして検出することができる。そして、領域特定部３５６では、撮像画像における個眼画像の位置ずれ、すなわち、スポット光情報SIと、撮像画像から生成されたスポット光情報SI'との差を用いて、視点関連情報VIを補正し、撮像画像における個眼画像の位置ずれ分を補正（修正）した視点関連情報VI'を生成することができる。
その他、領域特定部３５６は、撮像画像から生成されたスポット光情報SI'を用いて、繰り出し部２３の繰り出し量を検出することができる。
画像再構成処理部３５７は、画像の再構成に関する処理を行う。例えば、画像再構成処理部３５７は、バス３６０を介してカメラ信号処理部３５４や記憶部３６２からYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、画像再構成処理部３５７は、バス３６０を介して領域特定部３５６や記憶部３６２から視点関連情報を取得することができる。
さらに、画像再構成処理部３５７は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行うことができる。例えば、個眼画像を処理対象とする場合、画像再構成処理部３５７は、その各個眼画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部３５７は、その撮像画像や合成画像から各個眼画像を抽出し、抽出した個眼画像を用いて奥行情報の生成やリフォーカス等の処理を行う。
画像再構成処理部３５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、画像再構成処理部３５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス３６０を介して通信部３６４に供給し、外部に送信させることができる。さらに、画像再構成処理部３５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス３６０を介してファイル化部３６５に供給し、ファイル化させることができる。
バス３６０には、イメージセンサ３５１、RAW信号処理部３５２、領域抽出部３５３、カメラ信号処理部３５４、スルー画像生成部３５５、領域特定部３５６、画像再構成処理部３５７、表示部３６１、記憶部３６２、通信部３６４、及び、ファイル化部３６５が接続される。バス３６０は、これらのブロック間で授受される各種データの伝送媒体（伝送路）として機能する。なお、このバス３６０は、有線により実現されてもよいし、無線により実現されてもよい。
表示部３６１は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラシステム３００の筐体と一体、又は別体に設けられている。例えば、表示部３６１は、カメラシステム３００の筐体の背面（レンズ部３２０が設けられている面と反対側の面）に設けられていてもよい。
表示部３６１は、画像の表示に関する処理を行う。例えば、表示部３６１は、スルー画像生成部３５５から供給されるYCフォーマットであるスルー画を取得し、RGBフォーマットに変換して表示することができる。その他、表示部３６１は、例えば、メニュー、カメラシステム３００の設定等の情報を表示することもできる。
また、表示部３６１は、記憶部３６２から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、表示することができる。また、表示部３６１は、記憶部３６２から供給されるYCフォーマットのサムネイル画像を取得し、表示することができる。さらに、表示部３６１は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、表示することができる。
記憶部３６２は、例えば、半導体メモリ等よりなる記憶媒体３６３の記憶を制御する。この記憶媒体３６３は、リムーバブルな記憶媒体であってもよいし、カメラシステム３００に内蔵される記憶媒体であってもよい。例えば、記憶部３６２は、制御部３８１やユーザの操作等に応じて、バス３６０を介して供給される画像（全体画像、個眼画像、又は、合成画像）を記憶媒体３６３に記憶させることができる。
例えば、記憶部３６２は、イメージセンサ３５１又は領域抽出部３５３から供給されるRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、記憶媒体３６３に記憶させることができる。また、記憶部３６２は、RAW信号処理部３５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）又は圧縮（符号化）したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、記憶媒体３６３に記憶させることができる。さらに、記憶部３６２は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、記憶媒体３６３に記憶させることができる。
その際、記憶部３６２は、領域特定部３５６から供給される視点関連情報を取得し、上述の画像（全体画像、個眼画像、又は、合成画像）に関連付けることができる。つまり、記憶部３６２は、画像（全体画像、個眼画像、又は、合成画像）と視点関連情報を互いに関連付けて、記憶媒体３６３に記憶させることができる。つまり、記憶部３６２は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、記憶部３６２は、画像再構成処理部３５７から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体３６３に記憶させることができる。さらに、記憶部３６２は、ファイル化部３６５から供給されるファイルを取得し、記憶媒体３６３に記憶させることができる。このファイルは、例えば、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報が互いに関連付けられている。
また、例えば、記憶部３６２は、制御部３８１やユーザの操作等に応じて、記憶媒体３６３に記憶されているデータやファイル等を読み出し、バス３６０を介して、カメラ信号処理部３５４、表示部３６１、通信部３６４、ファイル化部３６５、又は、画像再構成処理部３５７等に供給することができる。例えば、記憶部３６２は、記憶媒体３６３からYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を読み出し、表示部３６１に供給し、表示させることができる。また、記憶部３６２は、記憶媒体３６３からRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を読み出し、カメラ信号処理部３５４に供給し、カメラ信号処理を施させることができる。
また、記憶部３６２は、互いに関連付けられて記憶媒体３６３に記憶されている画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報のデータ又はファイルを読み出し、他の処理部に供給することができる。例えば、記憶部３６２は、記憶媒体３６３から、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を読み出し、それらを画像再構成処理部３５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部３６２は、記憶媒体３６３から、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を読み出し、それらを通信部３６４に供給し、送信させることができる。さらに、記憶部３６２は、記憶媒体３６３から、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を読み出し、それらをファイル化部３６５に供給し、ファイル化させることができる。
なお、記憶媒体３６３は、ROM（Read Only Memory）であってもよいし、RAM（Random Access Memory）やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体３６３は、任意の情報を記憶することができる。
通信部３６４は、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。例えば、通信部３６４は、制御部３８１の制御やユーザの操作等に応じて、その通信により、画像（全体画像、個眼画像、又は、合成画像）や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手（外部のデバイス）に送信することができる。
例えば、通信部３６４は、イメージセンサ３５１や領域抽出部３５３から供給されるRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、送信することができる。また、通信部３６４は、RAW信号処理部３５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）や圧縮（符号化）した画像（全体画像、個眼画像、又は、合成画像）を取得し、送信することができる。さらに、通信部３６４は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得し、送信することができる。
その際、通信部３６４は、領域特定部３５６から供給される視点関連情報を取得し、上述の画像（全体画像、個眼画像、又は、合成画像）に関連付けることができる。つまり、通信部３６４は、画像（全体画像、個眼画像、又は、合成画像）と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部３６４は、送信する画像（全体画像、個眼画像、又は、合成画像）を、その画像を供給する処理部から取得し、その画像に領域特定部３５６から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部３６４は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、通信部３６４は、画像再構成処理部３５７から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部３６４は、ファイル化部３６５から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報が互いに関連付けられている。
ファイル化部３６５は、ファイルの生成に関する処理を行う。例えば、ファイル化部３６５は、イメージセンサ３５１又は領域抽出部３５３から供給されるRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、ファイル化部３６５は、RAW信号処理部３５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）又は圧縮（符号化）したRAWフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。さらに、ファイル化部３６５は、カメラ信号処理部３５４から供給されるYCフォーマットの画像（全体画像、個眼画像、又は、合成画像）を取得することができる。また、例えば、ファイル化部３６５は、領域特定部３５６から供給される視点関連情報を取得することができる。
ファイル化部３６５は、取得した複数のデータをファイル化して、その複数のデータを含む１つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部３６５は、上述の画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報から１つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部３６５は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、ファイル化部３６５は、画像再構成処理部３５７から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部３６５は、記憶部３６２から供給される、互いに関連付けられた画像（全体画像、個眼画像、又は、合成画像）及び、視点関連情報から１つのファイルを生成することができる。
なお、ファイル化部３６５は、ファイル化する画像（例えば個眼画像）のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部３６５は、ファイル化することにより、このサムネイル画像を、画像（全体画像、個眼画像、又は、合成画像）や視点関連情報に関連付けることができる。
ファイル化部３６５は、生成したファイル（互いに関連付けられた画像、及び、視点関連情報）を、例えば、バス３６０を介して記憶部３６２に供給し、記憶媒体３６３に記憶させることができる。また、ファイル化部３６５は、生成したファイル（互いに関連付けられた画像、及び、視点関連情報）を、例えば、バス３６０を介して通信部３６４に供給し、送信させることができる。
これらの記憶部３６２、通信部３６４、及び、ファイル化部３６５を関連付け部７０とも称する。関連付け部７０は、画像（全体画像、個眼画像、又は、合成画像）と、視点関連情報とを関連付ける。例えば、記憶部３６２は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体３６３に記憶させることができる。また、通信部３６４は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部３６５は、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けることができる。
関連付け部７０では、画像（全体画像、個眼画像、又は、合成画像）、及び、視点関連情報の他、スポット光情報も関連付けることができる。
制御部３８１は、カメラシステム３００に関する制御処理を行う。つまり、制御部３８１は、カメラシステム３００の各部を制御し、処理を実行させることができる。例えば、制御部３８１は、光学系制御部３８４を介してレンズ部３２０（各個眼レンズ３１ｉ）を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部３８１は、イメージセンサ３５１を制御し、イメージセンサ３５１に撮像（光電変換）を行わせ、撮像画像を生成させることができる。
さらに、制御部３８１は、視点関連情報VI、さらには、スポット光情報SIを領域特定部３５６に供給し、撮像画像から抽出する領域を特定させることができる。制御部３８１は、記憶媒体３８３に記憶されている視点関連情報VIやスポット光情報SIを、記憶部３８２を介して読み出し、領域特定部３５６に供給することができる。
また、制御部３８１は、バス３６０を介して画像を取得し、その画像の明るさに基づいて、光学系制御部３８４を介して絞りを制御することができる。さらに、制御部３８１は、その画像の鮮鋭度に基づいて、光学系制御部３８４を介してフォーカスを制御することができる。また、制御部３８１は、その画像のRGB比率に基づいてカメラ信号処理部３５４を制御し、ホワイトバランスゲインを制御することができる。
記憶部３８２は、例えば、半導体メモリ等よりなる記憶媒体３８３の記憶を制御する。記憶媒体３８３は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。記憶媒体３８３には、例えば、視点関連情報VIが記憶されている。視点関連情報VIは、レンズ部３２０（の各個眼レンズ３１）、及び、イメージセンサ３５１に対応する情報である。つまり、視点関連情報VIは、このレンズ部３２０の各個眼レンズ３１の位置を視点とする個眼画像に関する情報であり、その個眼画像領域を特定するために用いられる情報である。記憶媒体３８３には、スポット光情報SIをさらに記憶させておくことができる。
例えば、記憶部３８２は、制御部３８１やユーザの操作等に応じて、記憶媒体３８３に記憶されている視点関連情報VIやスポット光情報SIを読み出し、制御部３８１に供給することができる。
なお、記憶媒体３８３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体３８３は、任意の情報を記憶することができる。
また、記憶部３８２及び記憶媒体３８３を記憶部３６２及び記憶媒体３６３により代用してもよい。つまり、上述した記憶媒体３８３に記憶させる情報（視点関連情報VI等）を記憶媒体３６３に記憶させてもよい。その場合、記憶部３８２及び記憶媒体３８３は、省略してもよい。
光学系制御部３８４は、制御部３８１の制御に従って、レンズ部３２０（の繰り出し部２３や各個眼レンズ３１ｉ等）を制御する。例えば、光学系制御部３８４は、各個眼レンズ３１ｉや絞りを制御し、各個眼レンズ３１ｉの焦点距離若しくはF値、又は、その両方を制御することができる。なお、カメラシステム３００が電動フォーカス調整機能を有する場合、光学系制御部３８４は、レンズ部３２０（の各個眼レンズ３１ｉの）フォーカス（焦点距離）を制御することができる。また、光学系制御部３８４が、各個眼レンズ３１ｉの絞り（F値）を制御することができるようにしてもよい。
なお、カメラシステム３００が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を制御する機構（物理的構成）を備えるようにしてもよい。その場合、この光学系制御部３８４は、省略することができる。
＜視点関連情報等の関連付け＞
カメラシステム３００においては、上述のように、レンズ部３２０（複数の個眼レンズ３１ｉ）を介してイメージセンサ３５１において被写体が撮像され、各個眼レンズ３１ｉに対応する画像である個眼画像を含む撮像画像が生成される。カメラシステム３００では、撮像画像から、個眼画像の一部又は全部を抽出することにより、個眼レンズ３１ｉの位置を視点とする個眼画像が生成される。１枚の撮像画像から抽出された複数の個眼画像は互いに異なる視点の画像であるので、これらの個眼画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各個眼画像間の相対位置等の情報が必要である。
そこで、カメラシステム３００は、光路が互いに独立している複数の個眼レンズ３１ｉを介して被写体を１つの撮像素子としてのイメージセンサ３５１で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼レンズ３１ｉの位置それぞれを視点とする複数の個眼画像、又は、その複数の個眼画像が合成された合成画像に対して、撮像画像における複数の個眼画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。
例えば、関連付け部７０は、画像（全体画像、個眼画像、又は、合成画像）に対応する視点関連情報を領域特定部３５６から取得し、その画像、及び、視点関連情報を関連付ける。例えば、記憶部３６２が、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体３６３に記憶させる。また、通信部３６４が、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信する。さらに、ファイル化部３６５が、全体画像、個眼画像、及び、合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付ける。
以上のような関連付けにより、カメラシステム３００では勿論、カメラシステム３００以外でも、視点関連情報を用い、個眼画像等を対象として高精度の画像処理を行うことができる。
関連付けでは、個眼画像等と、視点関連情報VIとを関連付けることができる。また、関連付けでは、個眼画像等と、視点関連情報VIを補正した補正後の視点関連情報VI'とを関連付けることができる。さらに、関連付けでは、個眼画像等と、視点関連情報VI、スポット光情報SI、及び、スポット光情報SI'とを関連付けることができる。また、関連付けでは、個眼画像等と、視点関連情報VI、及び、スポット光情報SIとスポット光情報SI'との差とを関連付けることができる。
個眼画像等と視点関連情報VI'とを関連付ける場合、個眼画像等と、視点関連情報VI、スポット光情報SI、及び、スポット光情報SI'とを関連付ける場合、並びに、個眼画像等と、視点関連情報VI、及び、スポット光情報SIとスポット光情報SI'との差とを関連付ける場合、繰り出し部２３の移動に伴い、撮像画像における個眼画像の位置ずれが生じても、撮像画像における各個眼画像の位置（視点の位置）を正確に認識することができる。
＜レンズ部３２０の取り付け位置のずれに対する対処＞
レンズ一体型のカメラシステム３００では、レンズ部３２０の取り付け位置が、製造誤差によりずれ得る。さらに、レンズ部３２０の取り付け位置は、繰り出し部２３の移動に伴ってずれ得る。レンズ部３２０の取り付け位置がずれ、その取り付け位置に、取り付け誤差が生じると、撮像画像からの個眼画像の切り出しや、個眼画像を用いた視差情報の算出の処理の精度が低下する。
そこで、領域特定部３５６では、撮像画像に映るスポット光像を用いて、レンズ部３２０の取り付け位置のずれ（量）としての取り付け誤差を検出することができる。
例えば、領域特定部３５６は、撮像画像から、光源３２Ｌ及び３２Ｒから照射されるスポット光のイメージセンサ３５１への入射範囲、すなわち、撮像画像に映るスポット光像を検出し、そのスポット光像に関するスポット光情報SI'を生成（検出）することができる。
さらに、領域特定部３５６は、スポット光情報SI'とスポット光情報SIとの差、例えば、スポット光情報SI'が表すスポット光像の位置とスポット光情報SIが表すスポット光像の位置との差を、取り付け誤差として検出することができる。
そして、領域特定部３５６は、取り付け誤差を用いて、視点関連情報VIを補正し、視点関連情報VI'を生成することができる。例えば、領域特定部３５６は、視点関連情報VIが表す個眼画像の位置を、スポット光情報SI及びスポット光情報SI'に応じ、スポット光情報SI'が表すスポット光像の位置とスポット光情報SIが表すスポット光像の位置との差だけ補正し、取り付け誤差に応じてずれた個眼画像の位置を特定するための情報としての視点関連情報VI'を生成することができる。
領域抽出部３５３では、視点関連情報VI'を用いて、撮像画像から個眼画像を切り出すことにより、個眼画像を精度良く切り出すことができる。さらに、視点関連情報VI'を用いて、個眼画像の視点の位置を正確に特定し、その視点の位置と個眼画像とを用いて、視差情報を精度良く求めることができる。
ここで、撮像画像からスポット光情報SI'を生成する領域特定部３５６は、光源３２Ｌ及び３２Ｒから照射されるスポット光のイメージセンサ３５１への入射範囲を検出する検出部であるということができる。
さらに、取り付け誤差としてのスポット光情報SI'とスポット光情報SIとの差を用いて、視点関連情報VIを補正することにより、視点関連情報VI'を生成する領域特定部３５６は、検出部の検出結果、すなわち、撮像画像上の光像に応じて、視点関連情報VIを補正する処理を行う処理部であるともいうことができる。
＜カメラシステムの第２の他の実施の形態＞
図３１は、本技術を適用したカメラシステムの第２の他の実施の形態の電気的構成例を示すブロック図である。
なお、図中、図２及び図３１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３２において、カメラシステム４００は、レンズ交換可能なカメラシステムである。カメラシステム４００は、カメラ本体４１０と多眼交換レンズ４２０（レンズ部）とで構成される。多眼交換レンズ４２０がカメラ本体４１０に装着された状態においてカメラシステム４００は、カメラシステム３００とほぼ同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム４００は、カメラシステム３００と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。
カメラ本体４１０は、カメラ本体１０が多眼交換レンズ２０等を着脱することができるのと同様に、多眼交換レンズ４２０その他一般的な交換レンズを着脱することができる構成になっている。
多眼交換レンズ４２０は、繰り出し部２３を有する。繰り出し部２３は、図１及び図２で説明したように、個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒを有する。
繰り出し部２３は、図３２では図示していない鏡筒２１（図１）の内部を、鏡筒光軸の光軸方向に移動する。繰り出し部２３の移動とともに、その繰り出し部２３が有する個眼レンズ３１0ないし３１4、並びに、光源３２Ｌ及び３２Ｒも一体的に移動する。
図３２において、個眼レンズ３１ｉは、カメラシステム３００の場合と同様に、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼レンズ３１ｉを通過した光は、他の個眼レンズ３１ｉに入射せずにイメージセンサ３５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼レンズ３１ｉの光軸は、イメージセンサ３５１の受光面の互いに異なる場所に位置しており、各個眼レンズ３１ｉを通過した光の少なくとも一部が、イメージセンサ３５１の受光面の互いに異なる位置に照射する。
したがって、カメラシステム４００では、カメラシステム３００の場合と同様に、イメージセンサ３５１により生成される撮像画像（イメージセンサ３５１の出力する画像全体）には、各個眼レンズ３１ｉを介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼レンズ３１ｉの位置を視点とする個眼画像が得られる。つまり、多眼交換レンズ４２０をカメラ本体４１０に装着して被写体を撮像することにより、複数の個眼画像を得ることができる。
カメラシステム４００において、カメラ本体４１０は、イメージセンサ３５１、RAW信号処理部３５２、領域抽出部３５３、カメラ信号処理部３５４、スルー画像生成部３５５、領域特定部３５６、画像再構成処理部３５７、バス３６０、表示部３６１、記憶部３６２、通信部３６４、ファイル化部３６５、制御部３８１、及び、記憶部３８２を有する。つまり、カメラ本体４１０は、カメラシステム３００のレンズ部３２０及び光学系制御部３８４以外の構成を有する。
なお、カメラ本体４１０は、上述の構成に加え、通信部４４１を有する。通信部４４１は、カメラ本体４１０に正しく装着された状態の多眼交換レンズ４２０（の通信部４５１）と通信を行い、情報の授受等を行う。通信部４４１は、任意の通信方式で多眼交換レンズ４２０と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。
例えば、通信部４４１は、制御部３８１により制御され、多眼交換レンズ４２０（の通信部４５１）との通信を行い、多眼交換レンズ４２０から供給される情報を取得する。また、例えば、通信部４４１は、多眼交換レンズ４２０（の通信部４５１）との通信により、制御部３８１から供給される情報を多眼交換レンズ４２０に供給する。通信部４４１が多眼交換レンズ４２０と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
カメラシステム４００において、多眼交換レンズ４２０は、さらに、光学系制御部３８４、通信部４５１、及び、記憶部４５２を有する。通信部４５１は、カメラ本体４１０に正しく装着された状態の多眼交換レンズ４２０において、通信部４４１と通信を行う。この通信により、カメラ本体４１０と多眼交換レンズ４２０との間の情報の授受を実現する。通信部４５１の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
例えば、通信部４５１は、通信部４４１を介してカメラ本体４１０から送信される制御情報その他各種の情報を取得する。通信部４５１は、このように取得した情報を、必要に応じて、光学系制御部３８４に供給し、繰り出し部２３や各個眼レンズ３１ｉ等の制御に利用させることができる。
また、通信部４５１は、その取得した情報を記憶部４５２に供給し、記憶媒体４５３に記憶させることができる。また、通信部４５１は、記憶媒体４５３に記憶されている情報を、記憶部４５２を介して読み出し、それをカメラ本体４１０（通信部４４１）に送信することができる。
カメラシステム４００において、多眼交換レンズ４２０に対応する視点関連情報VI及びスポット光情報SIの記憶場所は任意である。例えば、視点関連情報VI及びスポット光情報SIは、多眼交換レンズ４２０の記憶媒体４５３に記憶されていてもよい。そして、例えば、カメラ本体４１０の制御部３８１が、通信部４５１、及び、通信部４４１を介して記憶部４５２にアクセスし、その記憶媒体４５３から視点関連情報VI及びスポット光情報SIを読み出させてもよい。そして、制御部３８１が、視点関連情報VI及びスポット光情報SIを取得した後、領域特定部３５６に供給し、セットするようにしてもよい。
例えば、多眼交換レンズ４２０をカメラ本体４１０に正しく装着した際、カメラシステム４００に電源を投入した際、又は、カメラシステム４００の駆動モードが、被写体の撮像を行い得る撮像モードに移行した際等の、撮像より時間的に前の任意のタイミング又はきっかけにおいて、このような処理が行われてもよい。
このようにすることにより、カメラ本体４１０は、多眼交換レンズ４２０に対応する視点関連情報VI及びスポット光情報SIを用いて、撮像画像や個眼画像を対象とする画像処理を行うことができる。
また、制御部３８１が、多眼交換レンズ４２０から取得したその多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIを、多眼交換レンズ４２０のIDとともに記憶部３８２に供給し、記憶させてもよい。その場合、記憶部３８２は、供給されたIDと視点関連情報VI及びスポット光情報SIとを対応付けて記憶媒体３８３に記憶させる。つまり、カメラ本体４１０において、多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIとIDとを管理することができる。カメラ本体４１０は、複数の多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIを管理することができる。
このようにすることにより、制御部３８１は、次回からは多眼交換レンズ４２０のIDを取得することにより、記憶部３８２（記憶媒体３８３）からそのIDに対応する視点関連情報VI及びスポット光情報SIを読み出すことができる。つまり、制御部３８１は、多眼交換レンズ４２０に対応する視点関連情報VI及びスポット光情報SIを容易に取得することができる。
また、記憶媒体３８３が、あらかじめ、複数の多眼交換レンズ４２０それぞれについて、視点関連情報VI及びスポット光情報SIを、多眼交換レンズ４２０のIDに関連付けて記憶していてもよい。つまり、この場合、カメラ本体４１０が、あらかじめ、複数の多眼交換レンズ４２０の視点関連情報VI及びスポット光情報SIを管理している。
このようにすることにより、制御部３８１は、カメラ本体４１０に正しく装着された多眼交換レンズ４２０のIDを用いて、記憶部３８２（記憶媒体３８３）からそのIDに対応する視点関連情報VI及びスポット光情報SIを容易に読み出すことができる。
＜多眼交換レンズ４２０の取り付け位置のずれに対する対処＞
レンズ交換可能なカメラシステム４００では、レンズ一体型のカメラシステム３００と同様に、製造誤差や、繰り出し部２３の移動により、多眼交換レンズ４２０の取り付け位置がずれ得る。さらに、レンズ交換可能なカメラシステム４００では、装着誤差によっても、多眼交換レンズ４２０の取り付け位置がずれ得る。多眼交換レンズ４２０の取り付け位置がずれ、その取り付け位置に、取り付け誤差が生じると、撮像画像からの個眼画像の切り出しや、個眼画像を用いた視差情報の算出の処理の精度が低下する。
そこで、領域特定部３５６では、撮像画像に映るスポット光像を用いて、多眼交換レンズ４２０の取り付け位置のずれ（量）としての取り付け誤差を検出することができる。
例えば、領域特定部３５６は、撮像画像から、その撮像画像に映るスポット光像に関するスポット光情報SI'を生成し、そのスポット光情報SI'とスポット光情報SIとの差を、取り付け誤差として検出することができる。
さらに、領域特定部３５６は、取り付け誤差を用いて、視点関連情報VIを補正し、取り付け誤差に応じてずれた個眼画像の位置を特定するための情報としての視点関連情報VI'を生成することができる。
そして、領域抽出部３５３では、視点関連情報VI'を用いて、撮像画像から、個眼画像を精度良く切り出すことができる。さらに、視点関連情報VI'を用いて、個眼画像の視点の位置を正確に特定し、その視点の位置と個眼画像とを用いて、視差情報を精度良く求めることができる。
以上のように、カメラシステム３００及び４００では、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが一体的に繰り出すので、適切な処理を行うことができる。すなわち、取り付け誤差と装着誤差やその他さまざまな誤差を合わせたものを個眼画像位置誤差ということとすると、個眼レンズ３１０ないし３１４と光源３２Ｌ及び３２Ｒとが繰り出し部２３と一体に動くことで、どの繰り出し位置でもどのような原因で生じた個眼画像位置誤差かを気にすることなく、視点関連情報と検出したスポット光の位置からの位置ずれを検出して、全体画像内の個眼画像の正確な位置を特定することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した領域特定部５２や、画像処理部５３、位置算出部５７、スポット光像検出部６２、繰り出し量検出部６４、領域抽出部３５３、及び、領域特定部３５６等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図３３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
を備える交換レンズ。
＜２＞
前記１又は複数の光源は、非平行光を照射する
＜１＞に記載の交換レンズ。
＜３＞
前記イメージセンサが、前記可動部が最も繰り出してない最小繰り出し状態である場合に前記非平行光が集光する集光点と、前記可動部が最も繰り出している最大繰り出し状態である場合に前記非平行光が集光する集光点との間に位置する
ように構成された＜２＞に記載の交換レンズ。
＜４＞
前記可動部が、最も繰り出している最大繰り出し状態である場合に、前記非平行光が集光する集光点が、前記イメージセンサを含む手前側及び奥側の一方に位置する
ように構成された＜２＞に記載の交換レンズ。
＜５＞
前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記非平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
＜２＞ないし＜４＞のいずれかに記載の交換レンズ。
＜６＞
複数の前記光源を複数個備える
＜１＞ないし＜５＞のいずれかに記載の交換レンズ。
＜７＞
前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
＜１＞ないし＜６＞のいずれかに記載の交換レンズ。
＜８＞
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
を備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
を備える情報処理装置。
＜９＞
前記検出部は、前記撮像画像における前記光像のサイズを検出する
＜８＞に記載の情報処理装置。
＜１０＞
前記処理部は、前記光像のサイズに応じて、前記可動部の繰り出し量を検出する
＜９＞に記載の情報処理装置。
＜１１＞
前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
＜８＞に記載の情報処理装置。
＜１２＞
前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
＜１１＞に記載の情報処理装置。
＜１３＞
前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
＜１１＞又は＜１２＞に記載の情報処理装置。
＜１４＞
前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
＜１３＞に記載の情報処理装置。
＜１５＞
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
＜１４＞に記載の情報処理装置。
＜１６＞
前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
＜１３＞ないし＜１５＞のいずれかに記載の情報処理装置。
＜１７＞
前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
＜１４＞又は＜１５＞に記載の情報処理装置。
＜１８＞
前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
＜１３＞ないし＜１５＞のいずれかに記載の情報処理装置。
＜１９＞
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
を備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
前記検出ステップの検出結果に応じて、処理を行う処理ステップと
を含む情報処理方法。
＜２０＞
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
を備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
して、コンピュータを機能させるためのプログラム。
１０ カメラ本体， １１ カメラマウント， ２０ 多眼交換レンズ， ２１ 鏡筒， ２２ レンズマウント， ２３ 繰り出し部， ３１0ないし３１４ 個眼レンズ， ３２Ｌ，３２Ｒ，３２Ｕ，３２Ｄ 光源， ４１ 記憶部， ４２ 通信部， ４３ 制御部， ５１ イメージセンサ， ５２ 領域特定部， ５３ 画像処理部， ５４ 表示部， ５５ 記憶部， ５６ 通信部， ５７ 位置算出部， ６１ 制御部， ６２ スポット光像検出部， ６３ 繰り出し量情報記憶部， ６４ 繰り出し量検出部， １０１ キャリブレーションデータ生成部， １０２ キャリブレーションデータ記憶部， １０３ 補間部， １０４ 視差情報生成部， １２１ 筐体， １２２ LED， １２３，１２４ レンズ， ２１１ 個眼画像位置情報修正部， ２１２ 個眼画像抽出部， ２２１ 関連付け部， ２３０ ポスト処理装置， ２３１ 領域特定部， ２３２ 画像処理部， ２３３ 表示部， ２３４ 記録部， ２３５ 伝送部， ２４１ 個眼画像位置情報修正部， ２４２ 個眼画像抽出部， ２５０ ポスト処理装置， ３００ カメラシステム， ３２０ レンズ部， ３５１ イメージセンサ， ３５２ RAW信号処理部， ３５３ 領域抽出部， ３５４ カメラ信号処理部， ３５５ スルー画像生成部， ３５６ 領域特定部， ３５７ 画像再構成処理部， ３６０ バス， ３６１ 表示部， ３６２ 記憶部， ３６３ 記憶媒体， ３６４ 通信部， ３６５ ファイル化部， ３７０ 関連付け部， ３８１ 制御部， ３８２ 光学系制御部， ４００ カメラシステム， ４１０ カメラ本体， ４２０ 多眼交換レンズ， ４４１，４５１ 通信部， ４５２ 記憶部， ４５３ 記憶媒体， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (20)

  1. 鏡筒と、
    前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
    を備える交換レンズ。
  2. 前記１又は複数の光源は、非平行光を照射する
    請求項１に記載の交換レンズ。
  3. 前記イメージセンサが、前記可動部が最も繰り出してない最小繰り出し状態である場合に前記非平行光が集光する集光点と、前記可動部が最も繰り出している最大繰り出し状態である場合に前記非平行光が集光する集光点との間に位置する
    ように構成された請求項２に記載の交換レンズ。
  4. 前記可動部が、最も繰り出している最大繰り出し状態である場合に、前記非平行光が集光する集光点が、前記イメージセンサを含む手前側及び奥側の一方に位置する
    ように構成された請求項２に記載の交換レンズ。
  5. 前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記非平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
    請求項２乃至４のいずれかに記載の交換レンズ。
  6. 複数の前記光源を複数個備える
    請求項１乃至５のいずれかに記載の交換レンズ。
  7. 前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
    請求項１乃至６のいずれかに記載の交換レンズ。
  8. 鏡筒と、
    前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
    を備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
    前記検出部の検出結果に応じて、処理を行う処理部と
    を備える情報処理装置。
  9. 前記検出部は、前記撮像画像における前記光像のサイズを検出する
    請求項８に記載の情報処理装置。
  10. 前記処理部は、前記光像のサイズに応じて、前記可動部の繰り出し量を検出する
    請求項９に記載の情報処理装置。
  11. 前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
    請求項８に記載の情報処理装置。
  12. 前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
    請求項１１に記載の情報処理装置。
  13. 前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
    請求項１１又は１２に記載の情報処理装置。
  14. 前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
    前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
    請求項１３に記載の情報処理装置。
  15. 前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
    請求項１４に記載の情報処理装置。
  16. 前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
    請求項１３乃至１５のいずれかに記載の情報処理装置。
  17. 前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
    請求項１４又は１５に記載の情報処理装置。
  18. 前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
    請求項１４又は１５に記載の情報処理装置。
  19. 鏡筒と、
    前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
    を備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
    前記検出ステップの検出結果に応じて、処理を行う処理ステップと
    を含む情報処理方法。
  20. 鏡筒と、
    前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
    前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
    前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する照射光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された１又は複数の光源と
    を備えるレンズ部の前記光源から照射される前記照射光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
    前記検出部の検出結果に応じて、処理を行う処理部と
    して、コンピュータを機能させるためのプログラム。
JP2021514165A 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム Active JP7416057B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019079519 2019-04-18
JP2019079519 2019-04-18
PCT/JP2020/016388 WO2020213595A1 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2020213595A1 JPWO2020213595A1 (ja) 2020-10-22
JP7416057B2 true JP7416057B2 (ja) 2024-01-17

Family

ID=72837811

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021514164A Active JP7363892B2 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP2021514165A Active JP7416057B2 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021514164A Active JP7363892B2 (ja) 2019-04-18 2020-04-14 交換レンズ、情報処理装置、情報処理方法、及び、プログラム

Country Status (6)

Country Link
US (2) US11868029B2 (ja)
EP (2) EP3958055A4 (ja)
JP (2) JP7363892B2 (ja)
KR (2) KR20210148172A (ja)
CN (2) CN113678060A (ja)
WO (2) WO2020213594A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
TWI819894B (zh) * 2022-11-14 2023-10-21 緯創資通股份有限公司 儲存多鏡頭錄製檔的方法以及多鏡頭錄製裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003190A (ja) 2007-06-21 2009-01-08 Olympus Corp 撮像装置
WO2015037472A1 (ja) 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2015148765A (ja) 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268391A (ja) * 1997-03-25 1998-10-09 Konica Corp カメラ及び照明装置
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP4843344B2 (ja) * 2005-03-18 2011-12-21 株式会社リコー 照明装置及び画像読取装置
US7999873B2 (en) * 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP4773841B2 (ja) 2006-02-17 2011-09-14 キヤノン株式会社 撮像装置
US8072486B2 (en) * 2006-08-01 2011-12-06 Panasonic Corporation Camera device, liquid lens, and image pickup method
JP2009003191A (ja) 2007-06-21 2009-01-08 Olympus Corp 撮像装置
KR101445185B1 (ko) * 2008-07-10 2014-09-30 삼성전자주식회사 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
CN102131044B (zh) * 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
WO2011142086A1 (ja) * 2010-05-14 2011-11-17 パナソニック株式会社 カメラ本体、交換レンズユニット、撮像装置、カメラ本体の制御方法、交換レンズユニットの制御方法、プログラムおよびプログラムを記録した記録媒体
JP2015037472A (ja) 2013-08-17 2015-02-26 セイコーエプソン株式会社 画像処理システム及び画像処理システムの制御方法
CN103870805B (zh) * 2014-02-17 2017-08-15 北京释码大华科技有限公司 一种移动终端生物特征成像方法和装置
EA034651B1 (ru) * 2015-06-15 2020-03-03 Эгроувинг Лтд Устройство формирования многоспектральных изображений
WO2017005756A1 (en) * 2015-07-07 2017-01-12 Essilor International (Compagnie Générale d'Optique) A light collecting device
EP3128750A1 (en) * 2015-08-04 2017-02-08 Thomson Licensing Plenoptic camera and method of controlling the same
JP6702796B2 (ja) * 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003190A (ja) 2007-06-21 2009-01-08 Olympus Corp 撮像装置
WO2015037472A1 (ja) 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
JP2015148765A (ja) 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム

Also Published As

Publication number Publication date
EP3958056A1 (en) 2022-02-23
KR20210148172A (ko) 2021-12-07
WO2020213594A1 (ja) 2020-10-22
US11899342B2 (en) 2024-02-13
JPWO2020213594A1 (ja) 2020-10-22
US20220179291A1 (en) 2022-06-09
EP3958055A4 (en) 2022-06-15
US20220179292A1 (en) 2022-06-09
EP3958056A4 (en) 2022-06-15
KR20210151815A (ko) 2021-12-14
WO2020213595A1 (ja) 2020-10-22
CN113661442A (zh) 2021-11-16
EP3958055A1 (en) 2022-02-23
CN113678060A (zh) 2021-11-19
JPWO2020213595A1 (ja) 2020-10-22
US11868029B2 (en) 2024-01-09
JP7363892B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
CN106412426B (zh) 全聚焦摄影装置及方法
JP6055332B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
CN1226864C (zh) 图象感测设备及黑斑校正方法
US11538193B2 (en) Methods and systems for calibrating a camera
JP7416057B2 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP2016015017A (ja) 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム
JP2014155071A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
WO2021124941A1 (ja) 撮像装置、情報処理方法、プログラム、および交換レンズ
WO2021124942A1 (ja) 撮像装置、情報処理方法、およびプログラム
JP2015080125A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20170102755A (ko) 라이트필드 카메라용 오토포커싱 장치 및 그 방법
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
JP2022025360A (ja) 撮影装置、方法及びプログラム
US11765336B2 (en) Image-capturing apparatus, information processing method, and program
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
WO2021124940A1 (ja) 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
JP2005216191A (ja) ステレオ画像処理装置およびステレオ画像処理方法
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2023132730A (ja) 画像処理装置及び画像処理方法
JP2020008955A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7416057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151