JP7363892B2 - 交換レンズ、情報処理装置、情報処理方法、及び、プログラム - Google Patents
交換レンズ、情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP7363892B2 JP7363892B2 JP2021514164A JP2021514164A JP7363892B2 JP 7363892 B2 JP7363892 B2 JP 7363892B2 JP 2021514164 A JP2021514164 A JP 2021514164A JP 2021514164 A JP2021514164 A JP 2021514164A JP 7363892 B2 JP7363892 B2 JP 7363892B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ommatidia
- lens
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 41
- 238000003672 processing method Methods 0.000 title claims description 8
- 210000000158 ommatidium Anatomy 0.000 claims description 654
- 238000012545 processing Methods 0.000 claims description 278
- 230000003287 optical effect Effects 0.000 claims description 215
- 238000003860 storage Methods 0.000 claims description 166
- 238000001514 detection method Methods 0.000 claims description 139
- 238000003384 imaging method Methods 0.000 claims description 107
- 238000000605 extraction Methods 0.000 claims description 52
- 239000000284 extract Substances 0.000 claims description 19
- 238000004891 communication Methods 0.000 description 111
- 239000002131 composite material Substances 0.000 description 66
- 238000000034 method Methods 0.000 description 58
- 238000009434 installation Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 47
- 238000004364 calculation method Methods 0.000 description 34
- 238000012937 correction Methods 0.000 description 34
- 238000012805 post-processing Methods 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 26
- 238000004519 manufacturing process Methods 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000013500 data storage Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007866 imination reaction Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
- G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
- G03B19/04—Roll-film cameras
- G03B19/07—Roll-film cameras having more than one objective
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
- G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
- G03B2206/004—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing using markings on the photographic material, e.g. to indicate pseudo-panoramic exposure
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
- G03B2215/0567—Solid-state light source, e.g. LED, laser
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Studio Devices (AREA)
Description
本技術は、交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、適切な処理を行うことができるようにする交換レンズ、情報処理装置、情報処理方法、及び、プログラムに関する。
視点が互いに異なる複数の画像からなる多視点画像を用いたサービスの利便性を向上させる技術が提案されている(例えば、特許文献1を参照)。
多視点画像は、例えば、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有するカメラシステムで撮像することができる。
しかしながら、カメラシステムにおいて、複数の個眼レンズが、光軸方向に繰り出され、フォーカス等が調整される場合、繰り出しの前後で、イメージセンサで撮像された撮像画像上の、個眼レンズにより集光される光線により形成される像に対応する個眼画像の領域が変化することがある。
個眼画像の領域が変化すると、カメラシステムにおいて処理を適切に行うことが困難になることがある。
本技術は、このような状況に鑑みてなされたものであり、適切な処理を行うことができるようにするものである。
本技術の交換レンズは、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源とを備える交換レンズである。
本技術の交換レンズにおいては、可動部が、前記鏡筒に対し、光軸に沿って移動可能に構成され、複数の個眼レンズが、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置される。さらに、1又は複数個の光源は、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置される。
本技術の情報処理装置、又は、プログラムは、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源とを備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、前記検出部の検出結果に応じて、処理を行う処理部とを備える情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
本技術の情報処理方法は、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源とを備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、前記検出ステップの検出結果に応じて、処理を行う処理ステップとを含む情報処理方法である。
本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、鏡筒と、前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源とを備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像が検出され、その検出結果に応じて、処理が行われる。
なお、情報処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
<本技術を適用したカメラシステムの一実施の形態>
図1は、本技術を適用したカメラシステム(撮像装置)の一実施の形態の構成例を示す斜視図である。
カメラシステム1は、カメラ本体10と多眼交換レンズ20(レンズ部)とで構成される。
カメラ本体10は、多眼交換レンズ20が着脱可能なようになっている。すなわち、カメラ本体10は、カメラマウント11を有し、そのカメラマウント11に対して、多眼交換レンズ20(のレンズマウント22)が固定される(取り付けられる)ことで、カメラ本体10に、多眼交換レンズ20が装着される。なお、カメラ本体10に対しては、多眼交換レンズ20以外の一般的な交換レンズも着脱することができる。
カメラ本体10は、イメージセンサ51を内蔵する。イメージセンサ51は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体10(のカメラマウント11)に装着された多眼交換レンズ20その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ51の撮像により得られる画像を、撮像画像ともいう。
多眼交換レンズ20は、鏡筒21、レンズマウント22、及び、繰り出し部23を有する。繰り出し部23は、鏡筒21に対し、鏡筒21の光軸に沿って移動可能に構成された可動部である。繰り出し部23は、複数としての5個の個眼レンズ310,311,312,313、及び、314を有する。複数の個眼レンズ31iは、繰り出し部23と一体となって移動可能に構成され、各個眼レンズ31iを介して出射される撮像光の出射位置が互いに重ならないように配置される。さらに、繰り出し部23は、光源32L及び32Rを有する。光源32L及び32Rは、繰り出し部23及び複数の個眼レンズ31iと一体となって鏡筒21の光軸に沿って移動可能に構成され、カメラ本体10に設けられたイメージセンサ51に照射する照射光の出射位置が、複数の個眼レンズ31iのそれぞれの撮像光の出射位置と重ならないように配置される。
鏡筒21は、略円筒状をしており、その円筒状の1つの底面側に、レンズマウント22が形成されている。
レンズマウント22は、多眼交換レンズ20がカメラ本体10に装着されるときに、カメラ本体10のカメラマウント11に固定される(取り付けられる)。
繰り出し部23は、略円柱形状をしており、円筒状の鏡筒21内に収納されている。
繰り出し部23には、鏡筒21全体の光軸(鏡筒光軸)の光軸方向に(見て)重ならないように配置された複数としての5個のレンズである個眼レンズ310,311,312,313、及び、314が設けられている。図1では、5個の個眼レンズ310ないし314が、鏡筒光軸に直交する(イメージセンサ51の受光面(撮像面)に平行な)2次元平面上において、個眼レンズ310を中心(重心)として、他の4個の個眼レンズ311ないし314が、正方形の頂点を構成するように配置される形で、繰り出し部23に設けられている。
個眼レンズ310ないし314は、多眼交換レンズ20がカメラ本体10に装着されたときに、被写体からの光線をカメラ本体10のイメージセンサ51に集光させる。
なお、ここでは、カメラ本体10は、1個のイメージセンサ51を有する、いわゆる単板式のカメラであるが、カメラ本体10としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の3つのイメージセンサを有する、いわゆる3板式のカメラを採用することができる。3板式のカメラでは、個眼レンズ310ないし314が出射する光線は、プリズム等の光学系を利用して、3つのイメージセンサのそれぞれに集光される。なお、3板式に限らず2板式等イメージセンサの数は3つ以外でも良い。また、各イメージセンサはRGBそれぞれ用のものに限らず全てモノクロであっても良いし、全てがベイヤー配列などのカラーフィルタを備えたものであっても良い。
繰り出し部23には、5個の個眼レンズ310ないし314の他、複数である2個の光源32L及び32Rが設けられている。光源32L及び32Rは、多眼交換レンズ20を正面から見たときに、繰り出し部23の右端及び左端の位置に、それぞれ設けられている。
光源32L及び32Rは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、多眼交換レンズ20の正面側(光線が入射する側)から背面側に向かってスポット光を照射する。
したがって、多眼交換レンズ20がカメラ本体10に装着された場合、光源32L及び32Rが照射するスポット光は、カメラ本体10のイメージセンサ51で受光される。
繰り出し部23には、以上のように、個眼レンズ310ないし314とともに、光源32L及び32Rが設けられている。
繰り出し部23は、円筒状の鏡筒21の内部を、鏡筒光軸の光軸方向に移動(スライド)可能なように構成され、これにより、鏡筒21内を、正面側に繰り出すこと(奥側に引っ込むこと)ができる。
したがって、多眼交換レンズ20は、繰り出し部23に設けられた個眼レンズ310ないし314と光源32L及び32Rとが一体的に繰り出す構成になっている。
以上のように、個眼レンズ310ないし314と光源32L及び32Rとが一体的に繰り出すので、カメラシステム1では、適切な処理を行うことができる。
すなわち、イメージセンサ51が撮像する撮像画像には、光源32L及び32Rが照射するスポット光の像であるスポット光像が映り、そのスポット光像は、後述するように、多眼交換レンズ20の取り付け誤差を求めることに用いることができる。
多眼交換レンズ20において、個眼レンズ310ないし314は、繰り出し部23に設けられることにより、繰り出し部23とともに繰り出し、これにより、例えば、望遠撮影やマクロ撮影等を行うためのフォーカスの調整を行うことができる。
この場合、光源32L及び32Rが、多眼交換レンズ20の繰り出し部23以外の部分に設けられていると、個眼レンズ310ないし314が繰り出しても、光源32L及び32Rは繰り出さない。そして、そのような光源32L及び32Rが照射するスポット光のスポット光像を用いるのでは、個眼レンズ310ないし314の繰り出しによって変化する取り付け誤差を精度良く求めることが困難となる。
これに対して、個眼レンズ310ないし314と光源32L及び32Rとが一体的に繰り出す場合には、スポット光像を用いて、個眼レンズ310ないし314の繰り出しによって変化する取り付け誤差を精度良く求める適切な処理を行うことができる。
さらに、撮像画像上の、個眼レンズ310ないし314それぞれにより集光される光線により形成される像に対応する個眼画像の領域が、個眼レンズ310ないし314の繰り出しにより変化しても、個眼画像の領域を精度良く特定する適切な処理を行うことができる。
また、個眼レンズ310ないし314の繰り出しによって変化するレンズ歪みの影響を抑制するキャリブレーションデータを求め、さらには、そのようなキャリブレーションデータを用いて、レンズ歪みの影響を抑制した視差情報を求める等の適切な処理を行うことができる。
なお、図1では、多眼交換レンズ20に、5個の個眼レンズ310ないし314が設けられているが、多眼交換レンズ20に設ける個眼レンズの数は、5個に限定されるものではなく、2個や3個、6個以上の任意の複数の数を採用することができる。
さらに、多眼交換レンズ20に設ける複数の個眼レンズは、正方形の中心と頂点の位置に配置する他、2次元平面上の任意の位置に配置することができる。
また、多眼交換レンズ20に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
さらに、図1では、多眼交換レンズ20に、2個の光源32L及び32Rが設けられているが、多眼交換レンズ20に設ける光源の数は、2個に限定されるものではなく、必要に応じて、1個や、3個以上の任意の数を採用することができる。
また、多眼交換レンズ20に、複数としての、例えば、2個の光源32L及び32Rを設ける場合には、その2個の光源32L及び32Rは、多眼交換レンズ20の、5個の個眼レンズ310ないし314が配置された平面上、すなわち、図1では、略円柱形の繰り出し部23を正面から見た円上の最も遠い2点を結ぶ線上に配置することができる。この場合、光源32L及び32Rは、繰り出し部23を正面から見た円の中心を通る線上に配置される。後述するように、光源32L及び32Rは、なるべく離して配置することが望ましい。光源32L及び32Rを、繰り出し部23を正面から見た円の中心を通る線上に配置することにより、光源32L及び32Rを最も離して配置することができる。
多眼交換レンズ20において、複数としての5個の個眼レンズ310ないし314それぞれは、多眼交換レンズ20がカメラ本体10に装着されたときに、個眼レンズ31iの光軸(個眼光軸)がイメージセンサ51の受光面と直交するように配置されている。
かかる多眼交換レンズ20がカメラ本体10に装着されたカメラシステム1では、イメージセンサ51において、5個の個眼レンズ310ないし314それぞれにより集光される光線によりイメージセンサ51の受光面上に形成される像に対応する画像が撮像される。
いま、1個の個眼レンズ31i(ここでは、i=0,1,2,3,4)により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ51で撮像される撮像画像には、5個の個眼レンズ310ないし314それぞれに対する5個の個眼画像(個眼レンズ310ないし314それぞれにより集光される光線により形成される像に対応する画像)が含まれる。
個眼レンズ31iに対する個眼画像は、個眼レンズ31iの位置を視点とする画像であり、したがって、個眼レンズ310ないし314それぞれに対する5個の個眼画像は、異なる視点の画像である。
さらに、撮像画像には、2個の光源32L及び32Rそれぞれが照射するスポット光に対応する画像であるスポット光像(スポット光により形成される像)が含まれる。
ここで、図1のカメラシステム1は、カメラ本体10と、カメラ本体10に着脱可能な多眼交換レンズ20とで構成されるが、本技術は、多眼交換レンズ20がカメラ本体10に固定された、いわばレンズ一体型のカメラシステムにも適用することができる。すなわち、本技術は、例えば、レンズ一体型のカメラに適用することができる。
また、1つの個眼レンズ31iは、1枚のレンズで構成する他、複数枚のレンズを鏡筒光軸の光軸方向に並べて構成することができる。
さらに、カメラ本体10の後述する領域特定部52、画像処理部53、位置算出部57、スポット光像検出部62、及び、繰り出し量検出部64の処理の一部又は全部は、カメラ本体10以外、例えば、クラウド上のサーバや再生専用機器等で行うことができる。
また、多眼交換レンズ20の繰り出し部23の繰り出しによれば、フォーカスを調整する他、ズーム倍率を調整することができる。以下では、説明を簡単にするため、繰り出し部23の繰り出しにより、フォーカスが調整されることとする。
なお、カメラ本体10については、多眼交換レンズ20が装着される側の面、すなわち、カメラマウント11がある面を、正面とする。
<カメラシステム1の電気的構成例>
図2は、図1のカメラシステム1の電気的構成例を示すブロック図である。
カメラシステム1において、多眼交換レンズ20は、記憶部41、通信部42、及び、制御部43を有する。
記憶部41は、多眼交換レンズ20に関する情報であるレンズ情報を記憶している。レンズ情報には、個体差反映位置情報(既知基準位置)が含まれる。
個体差反映位置情報とは、例えば、多眼交換レンズ20がカメラ本体10に装着されたときに(1個の)イメージセンサ51で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ31iに対する個眼画像上の所定の光線に対応する位置に関する位置情報である。個体差反映位置情報は、多眼交換レンズ20の製造時の製造誤差(製造バラツキ)に起因して、多眼交換レンズ20の個体ごとに異なる量だけ(設計上の位置から)ずれる、所定の光線の、イメージセンサ51への入射位置に関する位置情報であるということができ、多眼交換レンズ20の製造時の個体ごとに異なる製造誤差(による個眼レンズ31iから出射される撮像光の出射位置のずれ)を含む位置情報である。個体差反映位置情報としては、例えば、多眼交換レンズ20がカメラ本体10に装着されたときにイメージセンサ51で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ31iに対する個眼画像上の所定の光線に対応する位置そのものを採用することができる。
ここで、個眼レンズ31iに対する個眼画像において、個眼レンズ31iの光軸(個眼光軸)を通る光線の像が形成される位置を光軸中心位置ということとする。なお、個眼光軸は、鏡筒21全体の光軸(鏡筒光軸)と平行であったり、距離が一定に定められて配置されているはずだがずれが生じる。
いま、個眼レンズ31iに対する個眼画像について、所定の光線として、例えば、個眼レンズ31iの個眼光軸を通る光線を採用することとすると、個眼レンズ31iに対する個眼画像の個体差反映位置情報は、その個眼画像の光軸中心位置である。
なお、所定の光線は、個眼レンズ31iの個眼光軸を通る光線に限定されるものではない。すなわち、所定の光線としては、例えば、個眼レンズ31iの個眼光軸から所定の距離だけ離れた位置を通り、個眼光軸に平行な光線その他を採用することができる。
レンズ情報には、既知撮像画像上の、個眼レンズ31iに対する個眼画像の個体差反映位置情報の他、既知撮像画像上の光源32L及び32Rそれぞれのスポット光のスポット光像の位置に関する個体差スポット光位置情報(既知光位置)が含まれる。個体差スポット光位置情報としては、既知撮像画像上の光源32L及び32Rそれぞれのスポット光のスポット光像の位置そのものを採用することができる。個体差スポット光位置情報は、個体差反映位置情報と同様に、多眼交換レンズ20の製造時の個体ごとに異なる製造誤差を含む位置情報である。
ここで、多眼交換レンズ20に対しては、ユニークなレンズID(Identification)を割り当て、記憶部41に記憶させるレンズ情報としては、多眼交換レンズ20のレンズIDを採用することができる。さらに、この場合、レンズ情報としてのレンズIDと、そのレンズIDによって特定される多眼交換レンズ20の、レンズID以外のレンズ情報としての個体差反映位置情報や個体差スポット光位置情報等とを対応付けたデータベースを用意することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ20の個体差反映位置情報や個体差スポット光位置情報等を取得することができる。
通信部42は、カメラ本体10の後述する通信部56との間で、有線又は無線による通信を行う。なお、通信部42は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
通信部42は、例えば、多眼交換レンズ20がカメラ本体10に装着された場合や多眼交換レンズ20がカメラ本体10に装着された状態で電源が入れられた場合に、カメラ本体10の通信部56と通信することで、記憶部41に記憶されたレンズ情報を、通信部56に送信する。
また、通信部42は、通信部56から送信されてくるコマンドその他の情報を受信し、制御部43に供給する。制御部43は、通信部42からの情報に応じて、繰り出し部23を繰り出す(移動する)ことによるフォーカスの調整等の多眼交換レンズ20の制御を行う。
カメラ本体10は、イメージセンサ51、領域特定部52、画像処理部53、表示部54、記憶部55、通信部56、位置算出部57、制御部61、スポット光像検出部62、繰り出し量情報記憶部63、繰り出し量検出部64を有する。
イメージセンサ51は、例えば、図1で説明したように、CMOSイメージセンサであり、イメージセンサ51の受光面には、カメラ本体10に装着された多眼交換レンズ20の個眼レンズ310ないし314それぞれにより集光される光線、並びに、光源32L及び32Rが照射するスポット光としての光線が照射される。
イメージセンサ51は、個眼レンズ310ないし314それぞれにより集光される光線、並びに、光源32L及び32Rが照射するスポット光としての光線を受光して光電変換を行うことにより、個眼レンズ310ないし314それぞれに対する個眼画像(個眼レンズ310ないし314それぞれにより集光される光線により形成される像に対応する個眼画像)、並びに、光源32L及び32Rそれぞれのスポット光のスポット光像を含む撮像画像を撮像して出力する。イメージセンサ51が出力する撮像画像(他の撮像画像)は、領域特定部52、位置算出部57、スポット光像検出部62に供給される。
領域特定部52には、イメージセンサ51が出力する撮像画像が供給される他、位置算出部57から、イメージセンサ51が出力する撮像画像に含まれる個眼画像上の位置情報としての装着誤差反映位置情報(未知基準位置)が供給される。
装着誤差反映位置情報とは、例えば、多眼交換レンズ20をカメラ本体10に装着した状態の(1個の)イメージセンサ51で任意の被写体(被写体までの距離が既知であるどうかは問わない)を撮像して得られる撮像画像(他の撮像画像)上の個眼レンズ31iに対する個眼画像上の所定の光線に対応する位置に関する位置情報である。装着誤差反映位置情報は、多眼交換レンズ20の装着時に、その多眼交換レンズ20の装着誤差に起因してずれる、所定の光線の、イメージセンサ51への入射位置に関する位置情報であるということができ、多眼交換レンズ20の使用時の装着誤差(による個眼レンズ31iから出射される撮像光の出射位置のずれ)を含む位置情報である。
装着誤差とは、多眼交換レンズ20がカメラ本体10に着脱可能になっていることに起因して生じる多眼交換レンズ20の取り付け位置(装着位置)のずれを表す。装着誤差は、例えば、多眼交換レンズ20を装着するごとに変化し得る。また、装着誤差は、例えば、多眼交換レンズ20をカメラ本体10に装着したカメラシステム1に衝撃が加わったときに変化することがある。
装着誤差反映位置情報は、装着誤差の他、製造誤差をも含む位置情報(製造誤差及び装着誤差による個眼レンズ31iから出射される撮像光の出射位置のずれを含む位置情報)である。
ここで、個体差反映位置情報として、例えば、撮像画像が既知の距離にある被写体を撮像した既知撮像画像である場合の、その既知撮像画像に含まれる個眼画像上の光軸中心位置を採用する場合には、装着誤差反映位置情報としては、任意の被写体(被写体までの距離が既知であるどうかは問わない)を撮像した撮像画像(他の撮像画像)に含まれる個眼画像上の光軸中心位置を採用することができる。
領域特定部52は、位置算出部57からの装着誤差反映位置情報に応じて、イメージセンサ51からの撮像画像上の、個眼レンズ310ないし314それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
すなわち、領域特定部52は、イメージセンサ51からの撮像画像の、例えば、撮像画像の装着誤差反映位置情報を中心(重心)とする所定のサイズの長方形状の領域を、個眼画像の領域に特定する。
ここで、領域特定部52は、例えば、撮像画像全体と、その撮像画像全体上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部52は、撮像画像から、各個眼画像を抽出し(切り出し)、その各個眼画像を、領域特定結果情報として出力することができる。なお、各個眼画像は、領域情報とセットにして出力することができる。
以下では、説明を簡単にするため、例えば、領域特定部52は、撮像画像から抽出した各個眼画像(個眼レンズ310ないし314それぞれに対する個眼画像)を、領域特定結果情報として出力することとする。
領域特定部52が出力する個眼レンズ310ないし314それぞれに対する個眼画像は、画像処理部53に供給される。
画像処理部53は、後述するスポット光像検出部62の検出結果に応じて、処理を行う処理部の一部である。画像処理部53は、領域特定部52からの個眼レンズ310ないし314それぞれに対する個眼画像、すなわち、個眼レンズ310ないし314それぞれの位置を視点とする、異なる視点の個眼画像や、繰り出し量検出部64から供給される繰り出し部23の繰り出し量を用いて、例えば、視差情報の生成や、任意の被写体にフォーカスを合わせた画像を生成(再構成)するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部54及び記憶部55に供給する。
なお、画像処理部53では、その他、欠陥補正や、ノイズリダクション等の一般的な画像処理を行うことができる。また、画像処理部53では、記憶部55に保存する(記憶させる)画像と、表示部54にいわゆるスルー画として表示するだけの画像とのいずれをも、画像処理の対象とすることができる。
表示部54は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラ本体10の背面に設けられている。表示部54は、例えば、画像処理部53から供給される処理結果画像等を、スルー画として表示する。スルー画としては、処理結果画像の他、イメージセンサ51で撮像された撮像画像の全部又は一部や、撮像画像から抽出された個眼画像を表示することができる。その他、表示部54は、例えば、メニュー、カメラ本体10の設定等の情報を表示することができる。
記憶部55は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部53から供給される処理結果画像を記憶する。
通信部56は、多眼交換レンズ20の通信部42等との間で、有線又は無線による通信を行う。なお、通信部56は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
通信部56は、例えば、多眼交換レンズ20がカメラ本体10に装着されたときに、多眼交換レンズ20の通信部42と通信することで、その通信部42から送信されてくる多眼交換レンズ20のレンズ情報を受信し、位置算出部57及びスポット光像検出部62に供給する。
また、通信部56は、例えば、制御部61からのフォーカス(位置)を指定する情報等を、通信部42に送信する。
位置算出部57は、通信部56からのレンズ情報に含まれる個体差反映位置情報に応じて、イメージセンサ51から供給される撮像画像に含まれる個眼レンズ31iに対する個眼画像上の光軸中心位置である装着誤差反映位置情報を求め、領域特定部52に供給する。
なお、図2において、位置算出部57は、イメージセンサ51から供給される撮像画像に含まれる個眼画像上の光軸中心位置である装着誤差反映位置情報を求めるにあたり、レンズ情報に含まれる個体差反映位置情報の他、個体差スポット光位置情報を用いる。
制御部61は、フォーカスを調整するユーザの操作等に応じて、フォーカス等を制御する。例えば、制御部61は、ユーザの操作に応じて、フォーカスを指定する情報を、通信部56に供給する。
スポット光像検出部62は、光源32L及び32Rから照射されるスポット光のイメージセンサ51への入射範囲を検出し、検出結果を、繰り出し量検出部64に供給する。
すなわち、スポット光像検出部62は、通信部56からのレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ51からの撮像画像上のスポット光像を検出する。さらに、スポット光像検出部62は、スポット光像の(スポット)サイズや位置(検出光像位置)等のスポット光像に関するスポット光像情報を検出(生成)し、スポット光像の検出結果として出力する。スポット光像検出部62が出力するスポット光像情報は、スポット光像検出部62の検出結果に応じて処理を行う処理部の他の一部である繰り出し量検出部64に供給される。スポット光像情報としては、撮像画像上のスポット光像のサイズや位置を直接的に表す情報(例えば、サイズや位置そのもの)の他、撮像画像上のスポット光像のサイズや位置を間接的に表す情報(例えば、撮像画像上のスポット光像のサイズ及び位置を維持した状態で、スポット光像が映る画像等)を採用することができる。
繰り出し量情報記憶部63は、繰り出し量情報を記憶する。繰り出し量情報とは、繰り出し部23の繰り出し量と、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像に関するスポット光像情報とを対応付けた情報である。繰り出し量情報は、あらかじめ生成し、繰り出し量情報記憶部63に記憶させておくことができる。また、繰り出し量情報は、例えば、多眼交換レンズ20と工場から出荷する前等に、あらかじめ生成し、レンズ情報の一部として、記憶部41に記憶させておくことができる。繰り出し量情報を、レンズ情報の一部として、記憶部41に記憶させておく場合には、通信部56が、通信部42と通信を行うことで、記憶部41に記憶されたレンズ情報を取得し、そのレンズ情報に含まれる繰り出し量情報を、繰り出し量情報記憶部63に供給して記憶させる。
繰り出し量検出部64は、繰り出し量情報記憶部63に記憶された繰り出し量情報において、スポット光像検出部62からのスポット光像情報に対応付けられている繰り出し部23の繰り出し量を検出し、画像処理部53に供給する。
<多眼交換レンズ20を用いて行われる撮像の概要>
図3は、多眼交換レンズ20を用いて行われる撮像画像の撮像の概要を説明する図である。
多眼交換レンズ20が装着されたカメラ本体10のイメージセンサ51では、各個眼レンズ31iにおいて光線が集光されることにより形成される像に対応する個眼画像と、光源32L及び32Rが照射するスポット光のスポット光像とを含む撮像画像が撮像される。
ここで、本明細書では、個眼レンズ31iの個眼光軸の光軸方向のうちの、カメラ本体10の背面側から正面側に向かう方向をz方向(軸)とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ31iの位置の左右と、その個眼レンズ31iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体10の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ31iの位置、被写体等の左右を記述する。
なお、1の個眼レンズ31iと他の1の個眼レンズ31j(i≠j)との個眼光軸どうしを結ぶ直線又は線分を、基線ともいい、その個眼光軸どうしの距離を、基線長ともいう。また、基線の方向を表す角度を、基線角ともいう。ここでは、基線角として、例えば、x軸と基線とがなす角度(エピポーラ線の角度)を採用することとする。
また、本明細書(及び請求の範囲)において、繰り出し部23の繰り出しとは、広く、繰り出し部23が鏡筒光軸の光軸方向に移動することを意味する。したがって、繰り出し部23の繰り出しとは、繰り出し部が、手前側に移動すること、及び、奥側に移動することのいずれをも含む。
図4は、多眼交換レンズ20における個眼レンズ310ないし314並びに光源32L及び32Rの配置と、その多眼交換レンズ20を用いて撮像される撮像画像との例を示す図である。
図4のAは、多眼交換レンズ20における個眼レンズ310ないし314並びに光源32L及び32Rの配置の例を示す背面図である。
図4のAでは、個眼レンズ310ないし314は、図1で説明したように、イメージセンサ51の受光面に平行な2次元平面において、個眼レンズ310を中心として、他の4個の個眼レンズ311ないし314が、正方形の頂点を構成するように配置されている。
すなわち、個眼レンズ310ないし314のうちの、例えば、個眼レンズ310を基準とすると、図4では、個眼レンズ311は、個眼レンズ310の右上に配置され、個眼レンズ312は、個眼レンズ310の左上に配置されている。さらに、個眼レンズ313は、個眼レンズ310の左下に配置され、個眼レンズ314は、個眼レンズ310の右下に配置されている。
また、図4のAにおいて、光源32Lは、平面が略円形の多眼交換レンズ20の左端の位置に配置され、光源32Rは、平面が略円形の多眼交換レンズ20の中心(中央)に対して、光源32Lの反対側の右端の位置に配置されている。
なお、光源32L及び32Rは、多眼交換レンズ20(の繰り出し部23)の任意の異なる位置に配置することができる。
但し、光源32L及び32Rは、イメージセンサ51で撮像される撮像画像上の、光源32L及び32Rそれぞれが照射するスポット光のスポット光像PL及びPRが、撮像画像に含まれる個眼画像の領域外(個眼レンズ31iを通過した光が照射される範囲外)に位置するように配置することができる。この場合、スポット光像PLやPRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
図4のBは、図4のAのように個眼レンズ310ないし314並びに光源32L及び32Rが配置された多眼交換レンズ20が装着されたカメラ本体10のイメージセンサ51で撮像される撮像画像の例を示す図である。
個眼レンズ310ないし314並びに光源32L及び32Rを有する多眼交換レンズ20が装着されたカメラ本体10のイメージセンサ51で撮像される撮像画像には、個眼レンズ310ないし314それぞれにより集光される光線により形成される像に対応する個眼画像E0,E1,E2,E3,E4と、光源32L及び32Rそれぞれのスポット光のスポット光像PL及びPRとが含まれる。
領域特定部52(図2)は、位置算出部57で求められる各個眼画像E#iの装着誤差反映位置情報である光軸中心位置に基づき、各個眼レンズ31iについて、その個眼レンズ31iを通過した光線が照射される撮像画像上の領域のうちの、個眼画像E#iの装着誤差反映位置情報である光軸中心位置を中心とする所定サイズの長方形状の領域を、個眼画像E#iの領域として特定する。
これにより、個眼レンズ31iに対する個眼画像E#iは、個眼レンズ31iの位置から、独立のカメラや独立のイメージセンサを用いた撮像を行うことにより得られる撮像画像、すなわち、個眼レンズ31iの位置を視点とする撮像により得られる画像と同様の画像になる。
そのため、個眼レンズ310ないし314それぞれに対する個眼画像E0ないしE4のうちの任意の2個の個眼画像E#iとE#jとの間には、視差が生じる。すなわち、個眼画像E#iとE#jに映る同一の被写体は、視差に応じてずれた位置に映る。
<多眼交換レンズ20の取り付け誤差>
図5は、多眼交換レンズ20をカメラ本体10に取り付けた(装着した)ときの取り付け誤差を説明する図である。
すなわち、図5は、多眼交換レンズ20をカメラ本体10に取り付けたカメラシステム1で撮像される撮像画像の例を示している。
多眼交換レンズ20をカメラ本体10に取り付けた場合、カメラ本体10のイメージセンサ51の受光面に対する多眼交換レンズ20の取り付け位置は、主として、横方向(x方向)、縦方向(y方向)、及び、回転方向のうちの、特に、回転方向にずれ得る。まず、多眼交換レンズ20の取り付け位置は、製造誤差により個体ごとに異なる量だけずれる。さらに、多眼交換レンズ20の取り付け位置は、多眼交換レンズ20の使用時に、多眼交換レンズ20をカメラ本体10に取り付けるときや、多眼交換レンズ20をカメラ本体10に取り付けたカメラシステム1に衝撃が加わったとき等に変化する。
いま、例えば、多眼交換レンズ20の設計上の取り付け位置等の所定の位置に対する実際の取り付け位置の誤差を、取り付け誤差ということとする。設計上の取り付け位置を基準とする取り付け誤差は、製造バラツキ等により生じ、多眼交換レンズ20をカメラ本体10に取り付けるときや、多眼交換レンズ20をカメラ本体10に取り付けたカメラシステム1に衝撃が加わったとき等に変化する。
取り付け誤差は、多眼交換レンズ20の実際の取り付け位置の誤差であり、製造誤差及び装着誤差を適宜含む。例えば、多眼交換レンズ20の設計上の取り付け位置を基準とする場合、取り付け誤差は、製造誤差及び装着誤差の両方を含む。また、例えば、多眼交換レンズ20の設計上の取り付け位置から製造誤差だけすれた位置を基準とする場合、取り付け誤差は、製造誤差を含まず、装着誤差を含む。
図4で説明したように、個眼画像E#iは、個眼レンズ31iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0ないしE4は、視点の異なる画像である。
視点の異なる画像である個眼画像E0ないしE4を用いて、例えば、視差情報を求める場合、個眼レンズ310ないし314について、図3で説明した基線長と基線角が必要となる。
個眼レンズ310ないし314は、多眼交換レンズ20に固定されているので、基線長は、装着誤差によって変化しない固定の値であり、多眼交換レンズ20の製造後にあらかじめ計測しておくことができる。
一方、基線角は、多眼交換レンズ20の回転方向の取り付け誤差(装着誤差)によって変化する。したがって、個眼画像E0ないしE4を用いて、正確な視差情報を求めるためには、回転方向の取り付け誤差に対処する必要がある。
ここで、横方向及び縦方向の取り付け誤差は、個眼レンズ31iのレンズ収差に起因する画像歪みが小さい場合には、問題とならず、無視することができるときもある。但し、レンズ収差に起因する画像歪みが大きく、その画像歪みの歪み補正を行う必要がある場合には、適切な歪み補正を行うために、個眼画像E#iの光軸中心位置を正確に把握する必要がある。個眼画像E#iの光軸中心位置を正確に把握するには、横方向及び縦方向の取り付け誤差(装着誤差)を把握する必要がある。
いま、図5に示すように、あるxy座標系(2次元座標系)において、個眼画像E0ないしE4の光軸中心位置(の座標)を、(x0, y0), (x1, y1), (x2, y2), (x3, y3), (x4, y4)と表すこととする。
また、個眼レンズ310ないし314のうちの、中央(中心)に位置する個眼レンズ310に対する個眼画像E0を、中央画像E0ともいい、周辺に位置する個眼レンズ311ないし314に対する個眼画像E1ないしE4を、周辺画像E1ないしE4ともいうこととする。
個眼画像E0ないしE4のうちの1の個眼画像、すなわち、例えば、中央画像E0を基準とする、周辺画像E1ないしE4それぞれの相対的な光軸中心位置(以下、相対光軸中心位置ともいう) (dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、式(1)に従って求めることができる。
相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、中央画像E0の光軸中心位置(x0, y0)をxy座標系の原点とした場合の周辺画像E1ないしE4の光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)に等しい。
相対光軸中心位置(dx#i, dy#i)(ここでは、i=1,2,3,4)は、中央画像E0の光軸中心位置(x0, y0)と、周辺画像E#iの光軸中心位置(x#i, y#i)とを結ぶ基線の方向のベクトルであるとみなすことができ、相対光軸中心位置(dx#i, dy#i)によれば、中央画像E0の光軸中心位置(x0, y0)と周辺画像E#iの光軸中心位置(x#i, y#i)とを結ぶ基線L0#iの方向を表す基線角(tan-1((y#i-y0)/(x#i-x0))=tan-1(dy#i/dx#i))を求めることができる。
したがって、相対光軸中心位置(dx#i, dy#i)を求めることができれば、そのときの基線L0#iの方向を表す基線角を求めることができ、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
本技術では、イメージセンサ51で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0, y0)ないし(x4, y4)、すなわち、中央画像E0の光軸中心位置(x0, y0)を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を、個体差反映位置情報として求めておく。さらに、本技術では、個体差反映位置情報((x0, y0)ないし(x4, y4)又は(dx1, dy1)ないし(dx4, dy4))と撮像画像とを用いて、その撮像画像の撮像時の撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0', y0')ないし(x4', y4')、すなわち、中央画像E0の光軸中心位置(x0', y0')を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、装着誤差反映位置情報として求める。
装着誤差反映位置情報としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')が得られれば、撮像画像の撮像時の基線角を求め、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
図2の位置算出部57は、個体差反映位置情報としての相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を用い、装着誤差反映位置情報としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める。
<装着誤差反映位置情報としての撮像画像上の個眼画像E#iの相対光軸中心位置(dx#i', dy#i')を求める算出方法>
図6は、装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める算出方法を説明する図である。
ここで、以下では、説明を簡単にするため、中央画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとする。この場合、上述したように、相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)と、光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)とは等しい。
図6のAは、多眼交換レンズ20がカメラ本体10に取り付けられたカメラシステム1において、所定の被写体を撮像した既知撮像画像の例を示している。
既知撮像画像に映る被写体は、例えば、円の中心を通る線分で4等分された円等の所定のチャートが描かれたチャート画像である。既知撮像画像は、例えば、中央画像E0上の所定の点、すなわち、例えば、中央画像E0の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ310の個眼光軸上の既知の距離の位置に配置して撮像される。したがって、既知撮像画像は、所定のチャートが描かれたチャート画像を、既知の距離において撮像した画像である。
既知撮像画像は、以上のように撮像されるため、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)から、中央画像E0との間の視差に応じてずれる。
チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ31iと個眼レンズ310との間の基線長及び基線角とから求めることができる。
ここで、既知撮像画像の撮像は、例えば、多眼交換レンズ20を工場から出荷する前等に行うことができる。したがって、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時に、基線角が設計値等の所定値になるように、鏡筒21への個眼レンズ31iの取り付け(固定)を調整することができる。
周辺画像E#iの光軸中心位置(x#i, y#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置になるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
また、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができる。
以上のように、既知撮像画像から、その既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)、及び、周辺画像E1ないしE4の光軸中心位置(x1, y1)ないし(x4, y4)を求めることができる。
既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)である個体差反映位置情報、及び、周辺画像E#iの光軸中心位置(x#i, y#i)である個体差反映位置情報によれば、中央画像E0の個体差反映位置情報(x0, y0)を基準とする、周辺画像E#iの相対的な個体差反映位置情報である個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を求めることができ、その個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)が、レンズ情報として、図2の記憶部41に記憶される。ここで、個体差反映相対位置情報(dx#i, dy#i)に対して、個体差反映位置情報(x#i, y#i)を、個体差反映絶対位置情報ともいう。
なお、レンズ情報としては、個体差反映相対位置情報(相対光軸中心位置)(dx#i, dy#i)(i=1,2,3,4)を採用する他、個体差反映絶対位置情報(光軸中心位置)(x#i, y#i)(i=0,1,2,3,4)を採用することができる。個体差反映相対位置情報(dx#i, dy#i)は、個体差反映絶対位置情報(x#i, y#i)から式(1)に従って求めることができ、個体差反映絶対位置情報(x#i, y#i)と(ほぼ)等価な情報であるからである。
装着誤差反映位置情報としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求めるにあたっては、個体差反映相対位置情報(dx#i, dy#i)(又は個体差反映絶対位置情報(x#i, y#i))の他、既知撮像画像上の光源32L及び32Rそれぞれのスポット光のスポット光像PL及びPRの位置である個体差スポット光位置情報(XL, YL)及び(XR, YR)があらかじめ求められる。
例えば、既知撮像画像上のスポット光像PLの重心の位置を、そのスポット光像PLの個体差スポット光位置情報(XL, YL)として採用することができる。同様に、既知撮像画像上のスポット光像PRの重心の位置を、そのスポット光像PRの個体差スポット光位置情報(XR, YR)として採用することができる。
個体差スポット光位置情報(XL, YL)及び(XR, YR)については、その個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)が求められ、個体差スポット光位置情報(XL, YL)及び(XR, YR)並びに中点(XC, YC)が、レンズ情報として、図2の記憶部41に記憶される。
なお、個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)は、レンズ情報から除外することができる。個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)は、その個体差スポット光位置情報(XL, YL)及び(XR, YR)から求めることができるからである。
位置算出部57では、個体差反映相対位置情報(以下、単に、個体差反映位置情報ともいう)としての相対光軸中心位置(以下、単に、光軸中心位置ともいう)(dx#i, dy#i)並びに個体差スポット光位置情報(XL, YL)及び(XR, YR)に応じて、未知撮像画像上の装着誤差反映位置情報としての(相対)光軸中心位置(dx1', dy1')ないし(dx4', dy4')が求められる。
図6のBは、多眼交換レンズ20がカメラ本体10に取り付けられたカメラシステム1において撮像される未知撮像画像の例を示している。
未知撮像画像は、多眼交換レンズ20がカメラ本体10に取り付けられたカメラシステム1において、既知撮像画像を撮像するときのような制約(被写体の距離が既知である等の制約)なしで撮像される画像である。
未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差(装着誤差)が生じ得る。
未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系において、未知撮像画像上の周辺画像E#iの光軸中心位置(x#i', y#i')(i=1,2,3,4)は、中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの相対的な光軸中心位置(dx#i', dy#i')=(x#i', y#i')-(x0', y0')に等しい。
ここで、未知撮像画像上の光源32L及び32Rそれぞれのスポット光のスポット光像PL及びPRの位置に関する位置情報を、装着誤差スポット光位置情報(未知光位置)ともいう。装着誤差スポット光位置情報は、装着誤差反映位置情報と同様に、多眼交換レンズ20の製造誤差及び装着誤差を含む位置情報である。装着誤差スポット光位置情報としては、未知撮像画像上の光源32L及び32Rそれぞれのスポット光のスポット光像PL及びPRの位置そのものを採用することができる。なお、未知撮像画像上の光源32L及び32Rそれぞれのスポット光のスポット光像PL及びPRの位置を、それぞれ、(XL', YL')及び(XR', YR')と表すこととする。
装着誤差スポット光位置情報(XL', YL')及び(XR', YR')は、未知撮像画像上のスポット光像PL及びPRから、個体差スポット光位置情報(XL, YL)及び(XR, YR)と同様に求めることができる。
また、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点を、(XC', YC')と表すこととする。
いま、既知撮像画像の撮像時の回転方向の取り付け誤差を基準とする未知撮像画像の撮像時の回転方向の取り付け誤差である相対的な回転誤差をθErrorと表すこととすると、相対的な回転誤差θErrorは、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)及び(XR, YR)、並びに、未知撮像画像から得られる装着誤差スポット光位置情報(XL', YL')及び(XR', YR')を用い、式(2)に従って求めることができる。
式(2)によれば、相対的な回転誤差θErrorは、個体差スポット光位置情報(XL, YL)と(XR, YR)とを結ぶ直線の方向を表す角度を基準とする、装着誤差スポット光位置情報(XL', YL')と(XR', YR')とを結ぶ直線の方向を表す角度であり、個体差スポット光位置情報(XL, YL)と(XR, YR)とが離れているほど(装着誤差スポット光位置情報(XL', YL')と(XR', YR')とが離れているほど)、精度が良くなる。したがって、光源32Lと32Rとをなるべく離して配置することで、相対的な回転誤差θErrorを精度良く求めることができる。
なお、多眼交換レンズ20に3個以上の光源が設けられている場合には、その3個以上の光源から得られる2個の光源のペアそれぞれに対して、式(2)に従って回転誤差θErrorを求め、各ペアに対して求められた回転誤差θErrorの平均値等を、最終的な回転誤差θErrorとして採用することができる。
相対的な回転誤差θErrorは、装着誤差スポット光位置情報(XL', YL')(又は(XR', YR'))と個体差スポット光位置情報(XL, YL)(又は(XR, YR))との間の回転角であり、個体差反映相対位置情報としての光軸中心位置(dx#i, dy#i)を、式(3)に従い、相対的な回転誤差θErrorに応じて回転させることにより、その相対的な回転誤差θErrorが生じた未知撮像画像上の装着誤差反映位置情報としての相対光軸中心位置(dx#i', dy#i')を求めることができる。
装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、式(2)及び式(3)に従って求める場合には、未知撮像画像上の光源32L及び32Rそれぞれのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')及び(XR', YR')と、既知撮像画像上の光源32L及び32Rそれぞれのスポット光像PL及びPRの個体差スポット光位置情報(XL, YL)及び(XR, YR)との間の平行移動量を求めることで、横方向及び縦方向の取り付け誤差を求めることができる。
すなわち、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorは、例えば、式(4)に従って求めることができる。
なお、式(4)では、未知撮像画像上の光源32L及び32Rそれぞれのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点(XC', YC')と、既知撮像画像上の光源32L及び32Rそれぞれのスポット光像PL及びPRの個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)との間の平行移動量が、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求められるが、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとしては、その他、例えば、装着誤差スポット光位置情報(XL', YL')と個体差スポット光位置情報(XL, YL)との間の平行移動量や、装着誤差スポット光位置情報(XR', YR')と個体差スポット光位置情報(XR, YR)との間の平行移動量を求めることができる。
カメラシステム1において、装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求めるにあたっては、まず、その光軸中心位置(dx#i', dy#i')を求める場合に必要となる個体差反映相対位置情報としての光軸中心位置(dx#i, dy#i)等を取得する個体差反映位置情報等取得処理が行われる。
個体差反映位置情報等取得処理は、カメラ本体10や後述するコンピュータ等で行うことができる。個体差反映位置情報等取得処理を行う装置を、便宜上、取得処理装置と呼ぶこととする。
取得処理装置は、個眼レンズ310の個眼光軸上の既知の距離の位置におかれた所定の被写体としてのチャート画像を、多眼交換レンズ20をカメラ本体10に取り付けたカメラシステム1によって撮像した既知撮像画像を取得する。
取得処理装置は、既知撮像画像に含まれる各個眼画像E#iに映る所定の被写体としてのチャート画像の所定の点、例えば、チャートとしての円の中心の位置を求める。
取得処理装置は、被写体としてのチャート画像までの距離、並びに、多眼交換レンズ20の基線長及び基線角を用いて、個眼画像(周辺画像)E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の、個眼画像(中央画像)E0に映る被写体としてのチャート画像の所定の点としての円の中心との間の視差を求める。
さらに、取得処理装置は、個眼画像E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の視差に応じて、その円の中心の位置から移動した位置にある個眼画像E#iの光軸中心位置(既知撮像画像上の位置)(x#i, y#i)を、その個眼画像E#iの個体差反映絶対位置情報(x#i, y#i)として求める。また、取得処理装置は、個眼画像E0に映る被写体としてのチャート画像の円の中心の位置である光軸中心位置(x0, y0)を、個眼画像E0の個体差反映絶対位置情報(x0, y0)として求める。
そして、取得処理装置は、個体差反映絶対位置情報(x#i, y#i)を用い、個眼画像E1ないしE4それぞれについて、式(1)に従って、個眼画像E0の個体差反映絶対位置情報(x0, y0)を基準とする個眼画像E#iの個体差反映相対位置情報(dx#i, dy#i)を求める。
さらに、取得処理装置は、既知撮像画像上の光源32L及び32Rのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、個体差スポット光位置情報(XL, YL)及び(XR, YR)として求める。
以上の個体差反映位置情報等取得処理で求められた個体差反映相対位置情報(dx#i, dy#i)、並びに、個体差スポット光位置情報(XL, YL)及び(XR, YR)は、レンズ情報の一部として、図2の記憶部41に記憶される。
多眼交換レンズ20がカメラ本体に装着されたカメラシステム1の使用時には、カメラ本体10において、個体差反映相対位置情報(dx#i, dy#i)、並びに、個体差スポット光位置情報(XL, YL)及び(XR, YR)を用いて、装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を求める装着誤差反映位置情報算出処理が行われる。
すなわち、カメラ本体10(図2)では、多眼交換レンズ20が装着されると、通信部56が、多眼交換レンズ20の通信部42との間で通信を行い、通信部42から送信されてくる多眼交換レンズ20のレンズ情報を受信して、位置算出部57に供給する。位置算出部57は、以上のようにして通信部56から供給されるレンズ情報を取得する。
位置算出部57は、任意の被写体が映る撮像画像である未知撮像画像が撮像されるのを待って、その未知撮像画像を取得する。すなわち、位置算出部57は、多眼交換レンズ20がカメラ本体10に取り付けられたカメラシステム1において、イメージセンサ51が撮像した撮像画像を、未知撮像画像として取得する。
位置算出部57は、未知撮像画像に含まれる光源32L及び32Rのスポット光のスポット光像PL及びPRを検出し、さらに、スポット光像PL及びPRそれぞれの位置(検出光像位置)、例えば、重心の位置を、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')として検出する。位置算出部57は、スポット光像PL及びPRの検出結果に応じて、処理を行う処理部の一部であり、スポット光像PL及びPRの検出結果としての装着誤差スポット光位置情報(XL', YL')及び(XR', YR')に応じて、未知撮像画像における個眼画像の位置である撮像個眼画像位置を特定する。
すなわち、位置算出部57は、装着誤差スポット光位置情報(XL', YL')(又は(XR', YR'))(検出光像位置)と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)(又は(XR, YR))(イメージセンサ51に照射される光源32L及び32Rのスポット光のスポット光像PL及びPRの位置を示す記憶光像位置)との(位置)関係に基づいて、撮像個眼画像位置を特定(算出)する。
例えば、位置算出部57は、装着誤差スポット光位置情報(XL', YL')(又は(XR', YR'))(検出光像位置)と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)(又は(XR, YR))(記憶光像位置)との(位置)関係に基づいて、レンズ情報に含まれる個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を(イメージセンサ51における複数の個眼レンズ31iから出射される各撮像光の出射位置を示す記憶個眼画像位置)を補正することで、撮像個眼画像位置、すなわち、未知撮像画像に含まれる個眼画像E1ないしE4それぞれの装着誤差反映位置情報としての(相対)光軸中心位置(dx#i', dy#i')を特定する。
具体的には、まず、位置算出部57は、装着誤差スポット光位置情報(XL', YL')(又は(XR', YR'))と、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)(又は(XR, YR))との間の回転角を、(相対的な)回転誤差をθErrorとして求める。
例えば、位置算出部57は、式(2)に従って、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)と(XR, YR)とを結ぶ線分の方向を基準とする、装着誤差スポット光位置情報(XL', YL')と(XR', YR')とを結ぶ線分の方向を表す相対的な角度を、回転誤差をθErrorとして求める。
位置算出部57は、式(3)に従い、式(2)に従って求められた回転誤差θErrorに応じて、レンズ情報に含まれる個体差反映相対位置情報としての相対光軸中心位置(dx#i, dy#i)を回転させることにより、回転誤差θErrorが生じている未知撮像画像に含まれる個眼画像E1ないしE4それぞれの装着誤差反映位置情報としての(相対)光軸中心位置(dx#i', dy#i')を求める。
さらに、位置算出部57は、必要に応じて、レンズ情報に含まれる個体差スポット光位置情報(XL, YL)又は(XR, YR)と、未知撮像画像上の光源32L及び32Rのスポット光像PL及びPRの装着誤差スポット光位置情報(XL', YL')又は(XR', YR')との間の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
すなわち、位置算出部57は、例えば、式(4)に従い、個体差スポット光位置情報(XL, YL)及び(XR, YR)の中点(XC, YC)に対する、装着誤差スポット光位置情報(XL', YL')及び(XR', YR')の中点(XC', YC')の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
カメラ本体(図2)において、領域特定部52は、以上のような装着誤差反映位置情報算出処理で求められた装着誤差反映位置情報としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を用いて、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理を行うことができる。
領域特定処理では、領域特定部52は、位置算出部57から供給される、未知撮像画像に含まれる個眼画像E1ないしE4の装着誤差反映位置情報としての相対光軸中心位置(dx#i', dy#i')を取得する。
そして、領域特定部52は、装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')に応じて、未知撮像画像上の個眼画像E1ないしE4の領域を特定する。すなわち、領域特定部52は、例えば、個体差反映相対位置情報(dx#i, dy#i)を求めるときのxy座標系において、未知撮像画像上の装着誤差反映位置情報(dx#i', dy#i')を中心とする所定のサイズの長方形状の領域を、個眼画像E#i(i=1,2,3,4)の領域として特定する。さらに、領域特定部52は、未知撮像画像上の原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定する。
その後、領域特定部52は、撮像画像から、個眼画像E0ないしE4それぞれを抽出し、領域特定結果情報として出力する。
以上のように、鏡筒光軸の光軸方向に(見て)重ならないように配置された個眼レンズ310ないし314とともに、光源32L及び32Rが設けられた繰り出し部23を有する多眼交換レンズ20が装着されたカメラシステム1において、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')が求められる。
したがって、繰り出し部23の繰り出し状態にかかわらず、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ31iの位置を視点とする個眼画像E#iを容易に得ることができる。
さらに、装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')から、基線L0#i(図5)の方向を表す基線角(tan-1(dy#i/dx#i))を求めることができ、その基線角を用いて、多眼交換レンズ20の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
ここで、例えば、既知撮像画像上の個眼画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとし、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが0であることとする。この場合、未知撮像画像において、個眼画像E0の装着誤差反映位置情報(x0', y0')である光軸中心位置は、原点になり、個眼画像E0の領域は、原点を中心とする領域になる。
一方、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが0でない場合、未知撮像画像において、個眼画像E0の光軸中心位置は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorの分だけ、原点からずれる。
この場合、個眼画像E0の装着誤差反映位置情報(x0', y0')である光軸中心位置が、原点であることを前提として、原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定すると、実際の装着誤差反映位置情報(x0', y0')である光軸中心位置は、原点からずれているため、未知撮像画像上の、個眼画像E0の実際の光軸中心位置からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E0の領域として特定される。
その結果、他の個眼画像E1ないしE4それぞれについても、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが0でない場合、個眼画像E0ないしE4それぞれについて、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
但し、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが0でない場合も、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが0である場合も、未知撮像画像の撮像時の基線角(tan-1(dy#i/dx#i))は、個眼画像E0の位置を基準とする相対的な装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')から求められる。
したがって、光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする個眼画像E#iについて得られる基線角は、未知撮像画像上の光軸中心位置(x#i', y#i')を中心とする個眼画像E#iについて得られる基線角と同一になる。
すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが0でない場合でも、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが0である場合と同一の基線角を得ることができる。そして、その基線角を用いて、未知撮像画像上の領域が特定された個眼画像E#iから、多眼交換レンズ20の取り付け誤差に影響されない正確な視差情報を求めることができる。
なお、本実施の形態では、多眼交換レンズ20ごとに、個体差反映位置情報及び個体差スポット光位置情報を求め、レンズ情報に含めて記憶しておくこととしたが、個体差反映位置情報及び個体差スポット光位置情報としては、多眼交換レンズ20の機種ごとに共通の値を採用することができる。機種ごとの多眼交換レンズ20について、共通の個体差反映位置情報及び個体差スポット光位置情報を採用する場合、機種ごとの個体差反映相対位置情報(dx#i, dy#i)並びに個体差スポット光位置情報(XL, YL)及び(XR, YR)を、式(2)及び式(3)に組み込んでおくことで、カメラ本体10は、多眼交換レンズ20の機種を認識することができれば、式(2)の回転誤差θError、ひいては、式(3)の装着誤差反映位置情報としての光軸中心位置(dx#i', dy#i')を求めることができる。
<画像処理部53の構成例>
図7は、図2の画像処理部53の構成例を示すブロック図である。
図7は、画像処理部53のうちの、例えば、視差情報を求める画像処理を行う部分の構成例を示している。
図7において、画像処理部53は、キャリブレーションデータ生成部101、キャリブレーションデータ記憶部102、補間部103、及び、視差情報生成部104を有する。
画像処理部53は、領域特定部52から供給される個眼画像を用いて、視差に関する視差情報を生成する。ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等がある。
個眼画像を用いて求められる視差情報は、個眼レンズ31iの位置やレンズ歪み等の影響を受ける。そこで、画像処理部53は、個眼レンズ31iの位置やレンズ歪み等の影響を取り除くため、個眼レンズ31iの位置やレンズ歪み等に関するパラメータを、キャリブレーションデータとして生成するキャリブレーションを行う。
キャリブレーションでは、例えば、既知の被写体であるキャリブレーション用の平面チャート(以下、キャリブレーションチャートともいう)を撮像することにより得られる撮像画像上の各個眼画像であるキャリブレーション画像からキャリブレーションデータが生成される。
すなわち、キャリブレーションでは、カメラシステム1のフォーカス位置がある所定の距離(の位置)に制御され、そのフォーカス位置に設置されたキャリブレーションチャートが撮像される。そして、キャリブレーションチャートの撮像により得られる個眼画像であるキャリブレーション画像を用いて、フォーカス位置がある所定の距離に制御されたカメラシステム1の、そのフォーカス位置に対するキャリブレーションデータが生成される。
以上のように生成されるキャリブレーションデータは、キャリブレーションチャートが撮像されたときのカメラシステム1のフォーカス位置に対するキャリブレーションデータである。そのため、例えば、一般の被写体を撮像する場合のフォーカス位置と、キャリブレーションチャートを撮像した場合のフォーカス位置とが異なる場合に、一般の被写体を撮像した撮像画像に映る個眼画像を用いた視差情報の算出を、キャリブレーションチャートが撮像されたときのカメラシステム1のフォーカス位置に対するキャリブレーションデータを用いて行うと、視差情報の精度が低下する。
そこで、画像処理部53では、キャリブレーションデータを補間することで、高精度の視差情報を求めることができる。
キャリブレーションデータ生成部101は、領域特定部52から供給される個眼画像を用いて、繰り出し量検出部64から複数の繰り出し量それぞれに対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部102に供給する。
すなわち、キャリブレーションデータ生成部101では、キャリブレーションにおいて、繰り出し部23の複数の繰り出し量に対応する複数のフォーカス位置のキャリブレーションチャートを撮像することにより得られる複数のフォーカス位置のキャリブレーション画像としての個眼画像から複数のフォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部102に供給する。
キャリブレーションデータ記憶部102は、キャリブレーションデータ生成部101から供給される複数の繰り出し量に対するキャリブレーションデータを記憶する。
補間部103は、繰り出し量検出部64から供給される繰り出し量のうちの、一般の被写体(キャリブレーションチャート以外の被写体)の撮像(以下、一般撮像ともいう)が行われたときの繰り出し量に対するキャリブレーションデータを、キャリブレーションデータ記憶部102に記憶された複数の繰り出し量に対するキャリブレーションデータを用いた補間等により生成し、視差情報生成部104に供給する。
視差情報生成部104は、補間部103からのキャリブレーションデータと、領域特定部52から供給される、一般撮像により撮像された撮像画像(以下、一般撮像画像ともいう)上の個眼画像とを用いて、視差情報を生成する。一般撮像画像は、未知撮像画像と等価である。
以上のような画像処理部53を有するカメラシステム1によれば、例えば、一般の一眼カメラの場合と同様の画質の個眼画像としてのRGB画像とDepth情報としての視差情報との同時取得が可能となる。視差情報は、例えば、任意の被写体にフォーカスを合わせた画像を生成(再構成)するリフォーカスや、ユーザが所望する所望被写体にとっての障害物を取り除いた障害物除去画像の生成、任意の特性のレンズをエミュレートするレンズエミュレーション、CGや実写を対象とする奥行を考慮した合成等の画像処理に用いることができる。
カメラシステム1については、例えば、カメラシステム1の製造後に、カメラシステム1の動作モードがキャリブレーションを行うキャリブレーションモードに設定され、カメラシステム1の製造工場等において、キャリブレーションが行われる。
すなわち、カメラシステム1では、多眼交換レンズ20のフォーカスが、キャリブレーションデータを生成するフォーカス位置(以下、基準フォーカス位置ともいう)に制御され、その基準フォーカス位置にキャリブレーションチャートが設置されて撮像される。そして、カメラシステム1では、キャリブレーションデータ生成部101が、そのキャリブレーションチャートの撮像により得られるキャリブレーション画像から、基準フォーカス位置に対応する繰り出し部23の繰り出し量(以下、基準繰り出し量ともいう)に対するキャリブレーションデータを生成し、キャリブレーションデータ記憶部102に記憶させる。キャリブレーションは、複数の基準フォーカス位置に対して行われ、これにより、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータが生成される。
キャリブレーションが行われ、カメラシステム1が製造工場から出荷されるときには、カメラシステム1の動作モードは、一般撮像を行う一般撮像モードに設定される。一般撮像モードでは、一般撮像画像が撮像されたときのフォーカス位置(以下、撮像フォーカス位置ともいう)に対応する繰り出し部23の繰り出し量(以下、撮像繰り出し量ともいう)が、繰り出し量検出部64から補間部103に供給される。
補間部103は、キャリブレーションデータ記憶部102に記憶された複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを用いて、撮像フォーカス位置に対応する撮像繰り出し量に対するキャリブレーションデータを補間により生成し、視差情報生成部104に供給する。なお、全ての位置のキャリブレーションデータがあれば補間不要である。
視差情報生成部104は、補間部103からの撮像繰り出し量に対するキャリブレーションデータを用いて、その撮像繰り出し量だけ繰り出し部23が繰り出した状態で撮像された一般撮像画像上の個眼画像から視差情報を生成する。これにより、レンズ歪み等の影響が抑制された、精度のよい視差情報が生成される。
図8は、カメラシステム1で行われるキャリブレーションを説明する図である。
キャリブレーションでは、カメラシステム1から所定の距離Zmmの位置Pを、基準フォーカス位置Pとして、その基準フォーカス位置Pにキャリブレーションチャートを設置して、カメラシステム1によるキャリブレーションチャートの撮像が行われる。
図8に示されるキャリブレーションチャートは、例えば、格子状の模様が描かれた被写体であるが、キャリブレーションチャートとしては、位置関係等が既知の任意の被写体を採用することができる。
キャリブレーションでは、基準フォーカス位置Pのキャリブレーションチャートの撮像により得られるキャリブレーション画像から、基準フォーカス位置Pに対応する繰り出し量Pに対するキャリブレーションデータが生成される。
カメラシステム1でキャリブレーションチャートを撮像したキャリブレーション画像では、例えば、個眼レンズ31iのレンズ歪み等による位置ずれ(歪み)、すなわち、キャリブレーション画像に被写体が映るべき真の位置(レンズ歪み等がない場合に被写体が本来映るべき位置)と、キャリブレーション画像に被写体が実際に映る位置との位置ずれが生じる。
キャリブレーション画像は、既知の被写体であるキャリブレーションチャートを、既知の位置であるフォーカス位置Pに設置して撮像を行うことにより得られる撮像画像上の個眼画像であるから、キャリブレーション画像において、被写体が映るべき真の位置、すなわち、キャリブレーションチャートの各部(例えば、格子点)が映るべき真の位置は、計算によってあらかじめ求めることができる。
また、キャリブレーション画像において、被写体が映る実際の位置は、キャリブレーション画像から求めることができる。
キャリブレーションデータ生成部101では、キャリブレーション画像から、被写体(例えば、キャリブレーションチャートの格子点)が映る実際の位置が求められる。そして、キャリブレーションデータ生成部101は、被写体が映る実際の位置と、計算によってあらかじめ求めることができる、その被写体が映るべき真の位置との位置ずれに関する情報を、キャリブレーションデータとして生成する。
なお、キャリブレーションデータとしては、カメラシステム1のいわゆる内部パラメータ及び外部パラメータを生成することができるが、ここでは、説明を簡単にするため、カメラシステム1でキャリブレーションチャートを撮像することにより得られるキャリブレーション画像における被写体の位置ずれに関する情報がキャリブレーションデータとして生成されることとする。
図9は、複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成を説明する図である。
複数の基準フォーカス位置に対応する複数の繰り出し量に対するキャリブレーションデータの生成では、初めに、カメラシステム1から所定の距離Z1mmの位置P1を、基準フォーカス位置P1として、その基準フォーカス位置P1にキャリブレーションチャートを設置して、カメラシステム1によるキャリブレーションチャートの撮像が行われる。
そして、カメラシステム1から距離Z1mmとは異なる距離Z2mmの位置P2を、基準フォーカス位置P2として、その基準フォーカス位置P2にキャリブレーションチャートを設置して、カメラシステム1によるキャリブレーションチャートの撮像が行われる。
さらに、カメラシステム1から距離Z1mm及びZ2mmとは異なる距離Z3mmの位置P3を、基準フォーカス位置P3として、その基準フォーカス位置P3にキャリブレーションチャートを設置して、カメラシステム1によるキャリブレーションチャートの撮像が行われる。
なお、図9では、距離Z1mm、Z2mm、及び、Z3mmは、式Z1mm<Z2mm<Z3mmで表される関係になっている。
カメラシステム1は、フォーカス位置を、位置P1に制御し、位置P1に設置されたキャリブレーションチャートを撮像する。この撮像により、基準フォーカス位置P1のキャリブレーション画像、すなわち、位置P1を基準フォーカス位置とするキャリブレーション画像が得られる。
同様に、カメラシステム1は、フォーカス位置を、位置P2及びP3にそれぞれ制御し、位置P2及びP3に設置されたキャリブレーションチャートをそれぞれ撮像する。これらの撮像により、基準フォーカス位置P2及びP3それぞれのキャリブレーション画像、すなわち、位置P2及びP3をそれぞれ基準フォーカス位置とするキャリブレーション画像が得られる。
なお、基準フォーカス位置P1、P2、及び、P3に設置されたキャリブレーションチャートを撮像する順番は、特に限定されない。
また、ここでは、異なる3つの位置P1、P2、及び、P3を、基準フォーカス位置として採用したが、基準フォーカス位置としては、異なる3つの位置の他、異なる2つの位置や、異なる4つ以上の位置を採用することができる。
カメラシステム1では、以上のように、フォーカス位置が複数の位置(基準フォーカス位置P1、P2、及び、P3)に制御されたカメラシステム1でキャリブレーションチャートをそれぞれ撮像することにより得られるキャリブレーション画像から、複数の基準フォーカス位置(基準フォーカス位置P1、P2、及び、P3)に対応する複数の繰り出し量に対するキャリブレーションデータの生成が行われる。
図10は、カメラシステム1で行われる一般撮像を説明する図である。
一般撮像では、カメラシステム1において、カメラシステム1から任意の距離Z4mmの位置P4を、撮像フォーカス位置P4として、その撮像フォーカス位置P4に存在する一般の被写体の撮像が行われる。
なお、図10では、位置P4は、位置P1、P2、及び、P3のいずれとも一致しておらず、位置P1より遠く、かつ、位置P2より近い位置になっている。
カメラシステム1では、フォーカス位置が撮像フォーカス位置P4に制御されたカメラシステム1で被写体を撮像することにより得られる一般撮像画像に画像処理が行われる。
ここで、カメラシステム1において、一般撮像時の撮像フォーカス位置が、キャリブレーション時の複数の基準フォーカス位置のいずれとも一致しない場合、その複数の基準フォーカス位置に対応する複数の基準繰り出し量のうちのいずれかの基準繰り出し量に対するキャリブレーションデータをそのまま用いて、一般撮像画像に画像処理を行うと、不適切な画像処理が行われる可能性がある。
図10では、撮像フォーカス位置P4が基準フォーカス位置P1、P2、及び、P3のいずれとも一致していないので、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3のうちのいずれかの基準繰り出し量に対するキャリブレーションデータをそのまま用いて、フォーカス位置が撮像フォーカス位置P4に制御されたカメラシステム1、つまり、撮像繰り出し量が撮像フォーカス位置P4に対応する繰り出し量になっているカメラシステム1で撮像された一般撮像画像に画像処理を行うと、不適切な画像処理が行われる可能性がある。
そこで、カメラシステム1において、一般撮像画像に適切な画像処理を行うために、補間部153(図7)は、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3に対するキャリブレーションデータを用いて、撮像フォーカス位置P4に対応する撮像繰り出し量P4に対するキャリブレーションデータを補間により生成する。
すなわち、フォーカス位置、つまり、繰り出し部23の繰り出し量が異なる場合には、カメラシステム1のレンズ条件(レンズ状態)が異なるので、一般撮像画像の同一の画素であっても、繰り出し部23の繰り出し量が、あるフォーカス位置に対応する繰り出し量の場合と他のフォーカス位置に対応する繰り出し量の場合とでは、位置ずれ(量)が異なる。
そのため、撮像繰り出し量と一致しない基準繰り出し量に対するキャリブレーションデータを用い、一般撮像画像を対象とした視差情報の生成を行うと、上述の位置ずれに起因する視差情報の誤差が適切に補正されず、正確な視差情報を求めることができないことがある。
カメラシステム1は、一般撮像画像に適切な画像処理を行うため、すなわち、例えば、正確な視差情報を求めるため、複数の(異なる)基準フォーカス位置のキャリブレーションチャートを撮像し、その撮像により得られる複数の基準フォーカス位置のキャリブレーション画像から、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを生成する。
さらに、カメラシステム1は、複数の基準フォーカス位置に対応する複数の基準繰り出し量に対するキャリブレーションデータを用いて、撮像フォーカス位置に対応する撮像繰り出し量に対するキャリブレーションデータを、補間により生成し、その撮像繰り出し量に対するキャリブレーションデータを用いて、視差情報の生成等の画像処理を行う。
図11は、撮像フォーカス位置P4に対応する撮像繰り出し量に対するキャリブレーションデータの補間による生成について説明する図である。
図11において、垂直方向(縦軸)は、キャリブレーションデータを表し、水平方向(横軸)は、繰り出し部23の繰り出し量を表す。
図11では、基準フォーカス位置P1、P2、及び、P3に対応する基準繰り出し量P1、P2、及び、P3それぞれに対するキャリブレーションデータが、丸印で示されている。
補間部103は、基準繰り出し量P1、P2、及び、P3それぞれに対するキャリブレーションデータのうちの、少なくとも2つ以上の基準繰り出し量に対するキャリブレーションデータを用いて、線形補間やその他の補間を行うことにより、撮像フォーカス位置P4に対応する撮像繰り出し量P4に対するキャリブレーションデータ(図中、三角形で示す部分)を生成する。
以上のように、カメラシステム1は、撮像繰り出し量P4に対するキャリブレーションデータを、複数の繰り出し量P1、P2、及び、P3に対するキャリブレーションデータを用いて、補間により生成する。
したがって、撮像繰り出し量P4に対するキャリブレーションデータを用いて、繰り出し部23の繰り出し量が撮像繰り出し量P4である場合の撮像フォーカス位置P4の一般撮像画像に適切な画像処理を行うことができる。
画像処理部53でのキャリブレーションデータを用いた画像処理は、例えば、撮像画像から抽出された個眼画像に(映る被写体に)非線形の歪みがある場合に有用である。画像処理部53でのキャリブレーションデータを用いた画像処理によれば、個眼画像の歪みを是正した画像処理を行うことができる。なお、キャリブレーションにおいて、キャリブレーションデータとしての被写体が映るべき真の位置からの位置ずれに関する情報は、個眼画像の各画素に対して生成する他、一部の画素に対して生成しておき、一般撮像時に、他の画素に対して空間方向の補間を行って生成することができる。
<光源32L及び32Rの構成例>
図12は、光源32L及び32Rの構成例を示す断面図である。
ここで、以下では、光源32L及び32Rを区別する必要がない限り、光源32と記述する。
図12において、光源32は、筐体121、LED122、及び、レンズ123で構成される。
筐体121は、例えば、細長い円筒状の筐体で、LED122、及び、レンズ123を内部に収納する。
LED122は、スポット光としての光を発光する。
レンズ123は、LED122が発光するスポット光を集光する。
以上のように構成される光源32では、LED122が発光するスポット光が、レンズ123によって集光される。
したがって、図12の光源32が照射するスポット光は、(理想的には)ある1点に集光され、その後拡がっていくので、非平行光(平行光でない光)である。
ここで、図12の光源32が照射するスポット光としての非平行光が集光する点を、集光点ともいう。
以下では、光源32が、非平行光を、スポット光として照射することとして、繰り出し部23の繰り出し量を検出する検出方法について説明する。
<多眼交換レンズ20の構成例>
図13は、多眼交換レンズ20の構成例を示す断面図である。
図1で説明したように、繰り出し部23には、個眼レンズ31i及び光源32が設けられている。そして、繰り出し部23は、円筒状の鏡筒21の内部を、鏡筒光軸の光軸方向(図中、上下方向)に移動可能なように構成され、最も手前側(イメージセンサ51側)から奥側に繰り出すことができるようになっている。繰り出し部23の繰り出しにより、個眼レンズ31iが移動し、フォーカスが調整される。
<繰り出し量の第1の検出方法>
図14は、繰り出し部23の繰り出し量を検出する第1の検出方法を説明する図である。
図14のAは、繰り出し部23が最も繰り出してない(最も手前側にある)最小繰り出し状態(ワイド端)である場合の多眼交換レンズ20の断面を表している。図14のBは、繰り出し部が最も繰り出している(最も奥側にある)最大繰り出し状態(テレ端)である場合の多眼交換レンズ20の断面を表している。
第1の検出方法を採用する場合、カメラシステム1は、イメージセンサ51が、繰り出し部23が最小繰り出し状態であるときにスポット光としての非平行光が集光する集光点と、繰り出し部23が最大繰り出し状態であるときにスポット光としての非平行光が集光する集光点との間に位置するように構成される。
さらに、光源32は、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
上述のように、イメージセンサ51が、繰り出し部23が最小繰り出し状態であるときにスポット光が集光する集光点と、繰り出し部23が最大繰り出し状態であるときにスポット光が集光する集光点との間に位置する場合、最小繰り出し状態のスポット光像のサイズ(以下、スポットサイズともいう)(例えば、スポット光像の径等)と、最大繰り出し状態のスポットサイズとの違いは、最小限になる。
光源32が、スポット光として、非平行光を照射する場合、繰り出し部23の繰り出し量によって、スポットサイズが変化する。したがって、スポットサイズに応じて、繰り出し部23の繰り出し量を検出することができる。
図15は、スポット光としての非平行光のスポットサイズの変化の例を示す(断面)図である。
図15に示すように、集光点において、スポットサイズは最小になり、集光点から鏡筒光軸方向に離れるほど、スポットサイズは大になる。
イメージセンサ51が、繰り出し部23が最小繰り出し状態である場合にスポット光が集光する集光点と、繰り出し部23が最大繰り出し状態である場合にスポット光が集光する集光点との間に位置する場合、スポットサイズが同一になる繰り出し量が2つ存在することがある。
すなわち、例えば、図15に示すように、集光点から鏡筒光軸方向に同一の距離だけすれた2つの位置については、繰り出し量は異なるが、スポットサイズは同一になる。
以上のように、あるスポットサイズに対して、2つの繰り出し量が存在することを、2値不定性ともいう。
あるスポットサイズに対して、2つの繰り出し量が存在する場合には、その2つの繰り出し量から、真の繰り出し量、すなわち、そのスポットサイズのスポット光像が得られている状態の繰り出し量を特定し、2値不定性を解消する必要がある。
あるスポットサイズに対して、2つの繰り出し量が存在する場合に、その2つの繰り出し量から、真の繰り出し量を特定する方法としては、スポット光像のテンプレートマッチングを行う方法や、繰り出し量を大きく又は小さく変化させ、繰り出し量の変化の方向に応じて、スポットサイズが大きくなるか、又は、小さくなるかの変化の方向を検出する方法等がある。
図16は、第1の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
図16のフローチャートにしたがった処理は、スポット光像のテンプレートマッチングを行うことで、2値不定性を解消するようになっている。
ステップS111において、スポット光像検出部62は、通信部56を介して、多眼交換レンズ20からレンズ情報を取得し、処理は、ステップS112に進む。
ステップS112では、制御部61は、ユーザがフォーカスを調整するように操作を行うのを待って、その操作に応じて、フォーカスを指定する情報を、通信部56を介して、多眼交換レンズ20に送信する。多眼交換レンズ20では、制御部43が、通信部56を介して送信されてくる、フォーカスを指定する情報に応じて、繰り出し部23を移動し(繰り出し)、処理は、ステップS113に進む。なお、フォーカスの調整は、ユーザの操作によることなく、制御部61が自動的に、オートフォーカスの機能等により行うことができる。
ステップS113では、イメージセンサ51が撮像画像を撮像し、領域特定部52、位置算出部57、及び、スポット光像検出部62に供給して、処理は、ステップS114に進む。
ステップS114では、スポット光像検出部62は、多眼交換レンズ20から取得したレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ51からの撮像画像(の個体差スポット光位置情報の周辺)からスポット光像を検出し、そのスポット光像としての画像を、繰り出し量検出部64に供給して、処理は、ステップS115に進む。
ここで、図6で説明したように、個体差スポット光位置情報としては、機種ごとの多眼交換レンズ20に共通の値を採用することができる。機種ごとの多眼交換レンズ20について、共通の個体差スポット光位置情報を採用する場合には、その機種ごとの個体差スポット光位置情報を、カメラ本体10にあらかじめ記憶させておくことにより、カメラ本体10では、多眼交換レンズ20から個体差スポット光位置情報(を含むレンズ情報)を取得する必要はない。後述する実施の形態でも同様である。
ステップS115では、繰り出し量検出部64は、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、まだ、スポット光像とのマッチングの対象としていないスポット光像情報を取得し、処理は、ステップS116に進む。
ここで、第1の検出方法を採用する場合には、繰り出し量情報記憶部63には、スポット光像としての画像を、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
ステップS116では、繰り出し量検出部64は、ステップS114で撮像画像から検出されたスポット光像(以下、検出スポット光像ともいう)と、直前のステップS115で取得されたスポット光像情報との(テンプレート)マッチングを行い、処理は、ステップS117に進む。
ステップS117では、繰り出し量検出部64は、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象として、検出スポット光像とのマッチングを行ったかどうかを判定する。
ステップS117において、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象としていないと判定された場合、処理は、ステップS115に戻る。
そして、ステップS115では、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、まだ、スポット光像とのマッチングの対象としていないスポット光像情報が取得され、以下、同様の処理が繰り返される。
また、ステップS117において、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報のすべてを対象としたと判定された場合、処理は、ステップS118に進む。
ステップS118では、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、検出スポット光像と最もマッチするスポット光像情報を選択し、そのスポット光像情報に対応付けられている繰り出し量を、繰り出し部23の繰り出し量として検出し、画像処理部53に供給して、処理を終了する。ここで、例えば、ステップS112でのフォーカスの調整後のフォーカス位置である現在のフォーカス位置が、繰り出し量情報を生成するときのフォーカス位置として用いられていない場合、現在のフォーカス位置と、ステップS118で検出された繰り出し量を有する繰り出し量情報が生成されたときのフォーカス位置とが完全に一致せず、ステップS118で検出される繰り出し量の精度が落ちることがある。そこで、繰り出し量情報としては、繰り出し量及びスポット光像情報の他に、その繰り出し量だけ繰り出し部23が繰り出しているときのフォーカス位置を対応付けた情報を採用することができる。この場合、ステップS112では、現在のフォーカス位置が、繰り出し量情報が有するフォーカス位置のいずれとも一致しないときには、現在のフォーカス位置を、繰り出し量情報が有するフォーカス位置のうちの、現在のフォーカス位置に最も近いフォーカス位置に引き込む(再調整する)ことができる。これにより、ステップS118において、正確な繰り出し量を検出することができる。
なお、図16では、スポット光像としての画像を、スポット光像情報として用い、画像のマッチングを行うことにより、繰り出し量を検出することとしたが、その他、例えば、スポット光像の1次元強度分布や2次元強度分布を、スポット光像情報として用い、その1次元強度分布や2次元強度分布のマッチングを行うことにより、繰り出し量を検出することができる。
また、第1の検出方法は、光源32が1個以上設けられている場合に採用することができる。
<繰り出し量の第2の検出方法>
図17は、繰り出し部23の繰り出し量を検出する第2の検出方法を説明する図である。
第2の検出方法を採用する場合、第1の検出方法と同様に、カメラシステム1は、イメージセンサ51が、繰り出し部23が最小繰り出し状態である場合にスポット光としての非平行光が集光する集光点と、繰り出し部23が最大繰り出し状態である場合にスポット光としての非平行光が集光する集光点との間に位置するように構成される。
さらに、光源32L及び32Rは、第1の検出方法と同様に、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
但し、第2の検出方法を採用する場合、各繰り出し量での光源32Lが照射するスポット光の集光点と、光源32Rが照射するスポット光の集光点とが、イメージセンサ51からの距離が異なる点に位置するように、カメラシステム1が構成される。
図17では、ある繰り出し量での光源32Lが照射するスポット光の集光点のイメージセンサ51からの距離と、光源32Rが照射するスポット光の集光点のイメージセンサ51からの距離とが異なっている。すなわち、図17では、図中下側にイメージセンサ51が存在し、光源32Lが照射するスポット光の集光点は、光源32Rが照射するスポット光の集光点よりも、イメージセンサ51に近い位置になっている。
この場合、光源32L及び32Rのうちの一方が照射するスポット光のスポットサイズだけでは、2値不定性を解消することはできないが、光源32L及び32Rが照射するスポット光のスポットサイズの組み合わせにより、2値不定性を解消することができる。
図18は、第2の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
図18のフローチャートにしたがった処理は、光源32L及び32Rが照射するスポット光のスポットサイズの組み合わせを用いることで、2値不定性を解消するようになっている。
ステップS121ないしS123において、図16のステップS111ないしS113とそれぞれ同様の処理が行われる。
そして、ステップS124において、スポット光像検出部62は、多眼交換レンズ20から取得したレンズ情報に含まれる個体差スポット光位置情報に応じて、イメージセンサ51からの撮像画像から、光源32Lが照射するスポット光のスポット光像PL(としての画像)と、光源32Rが照射するスポット光のスポット光像PRとを検出し、処理は、ステップS125に進む。
ステップS125では、スポット光像検出部62は、スポット光像PL及びPRのスポットサイズを検出し、繰り出し量検出部64に供給して、処理は、ステップS126に進む。
ステップS126では、繰り出し量検出部64は、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、ステップS125で検出されたスポット光像PL及びPRのスポットサイズの組み合わせ(以下、検出スポットサイズの組み合わせともいう)に合致するスポット光像情報を選択する。さらに、ステップS126では、繰り出し量検出部64は、検出スポットサイズの組み合わせに合致するスポット光像情報に対応付けられている繰り出し量を、繰り出し部23の繰り出し量として検出し、画像処理部53に供給して、処理を終了する。
ここで、第2の検出方法を採用する場合には、繰り出し量情報記憶部63には、スポット光像PL及びPRのスポットサイズの組み合わせを、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
第2の検出方法では、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報としてのスポット光像PL及びPRのスポットサイズの組み合わせとが対応付けられた繰り出し量情報において、検出スポットサイズの組み合わせに合致する、スポット光像PL及びPRのスポットサイズの組み合わせに対応付けられている繰り出し量が、繰り出し部23の繰り出し量として検出される。
第2の検出方法によれば、2値不定性を解消し、検出スポットサイズ(の組み合わせ)に応じて、繰り出し部23の繰り出し量を検出することができる。
なお、第2の検出方法は、光源32が2個以上設けられている場合に採用することができる。
<繰り出し量の第3の検出方法>
図19は、繰り出し部23の繰り出し量を検出する第3の検出方法を説明する図である。
図19のAは、繰り出し部23が最も繰り出してない(最も手前側にある)最小繰り出し状態である場合の多眼交換レンズ20の断面を表している。図19のBは、繰り出し部が最も繰り出している(最も奥側にある)最大繰り出し状態である場合の多眼交換レンズ20の断面を表している。
第3の検出方法を採用する場合、カメラシステム1は、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ51を含む手前側及び奥側の一方に位置するように構成される。
さらに、光源32は、鏡筒光軸と同一方向に、スポット光としての非平行光を照射する。
上述のように、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させた場合に、スポット光としての非平行光が集光する集光点が、イメージセンサ51を含む手前側及び奥側の一方に位置するとき、最小繰り出し状態のスポット光像のスポットサイズと、最大繰り出し状態のスポットサイズとの違いは、最大になる。さらに、繰り出し部23を、最小繰り出し状態から最大繰り出し状態にまで移動させた場合のスポットサイズは、単調減少又は単調増加する。したがって、2値不定性は生じない。
図20は、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ51上を含む手前側及び奥側の一方に位置する状態を説明する図である。
図20のAは、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ51上を含む手前側(個眼レンズ31iが設けられている側と反対側)に位置する状態を示している。
図20のAでは、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させたとき、スポットサイズは、単調減少する。
図20のBは、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させたときに、スポット光としての非平行光が集光する集光点が、イメージセンサ51を含む奥側(個眼レンズ31iが設けられている側)に位置する状態を示している。
図20のBでは、繰り出し部23を最小繰り出し状態から最大繰り出し状態にまで移動させたとき、スポットサイズは、単調増加する。
第3の検出方法を採用する場合には、繰り出し量情報記憶部63には、スポット光像のスポットサイズを、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
そして、第3の検出方法では、スポット光像検出部62において、第2の検出方法と同様に、スポット光像のスポットサイズが検出される。
さらに、繰り出し量検出部64において、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報としてのスポット光像のスポットサイズとが対応付けられた繰り出し量情報において、スポット光像検出部62で検出されたスポットサイズに合致するスポット光像情報としてのスポットサイズに対応付けられている繰り出し量が、繰り出し部23の繰り出し量として検出される。
第3の検出方法によれば、2値不定性が生じず、スポットサイズに応じて、繰り出し部23の繰り出し量を検出することができる。
なお、第3の検出方法は、光源32が1個以上設けられている場合に採用することができる。
<繰り出し量の第4の検出方法>
図21は、繰り出し部23の繰り出し量を検出する第4の検出方法を説明する図である。なお、第4の検出方法は、スポット光が非平行光である場合の他、スポット光が後述するように平行光である場合であっても適用することができる。
すなわち、図21は、多眼交換レンズ20の断面を表している。
第4の検出方法を採用する場合、カメラシステム1は、光源32が、鏡筒光軸方向から傾いた斜め方向に、スポット光を照射するように構成される。
図21では、光源32は、イメージセンサ51の周辺部から中心部に向かう方向に、スポット光を照射するようになっている。
図22は、繰り出し部23が最小繰り出し状態である場合のスポット光の照射位置と、繰り出し部23が最大繰り出し状態である場合のスポット光の照射位置とを示す図である。
図22のAは、繰り出し部23が最小繰り出し状態である場合のスポット光の照射位置を示しており、図22のBは、繰り出し部23が最大繰り出し状態である場合のスポット光の照射位置を示している。
図22において、繰り出し部23が最小繰り出し状態である場合のスポット光の照射位置、すなわち、光源32L及び32Rが照射するスポット光のスポット光像PL'及びPR'の位置は、スポット光のスポット光像PL及びPRの可動範囲のうち、イメージセンサ51(で撮像される撮像画像)の周辺側に最も近い位置になる。
繰り出し部23が最小繰り出し状態から最大繰り出し状態に移動していくと、スポット光像PL及びPRは、イメージセンサ51の中心に向かって移動していく。
そして、繰り出し部23が最大繰り出し状態である場合のスポット光の照射位置、すなわち、光源32L及び32Rが照射するスポット光のスポット光像PL''及びPR''の位置は、スポット光のスポット光像PL及びPRの可動範囲のうち、イメージセンサ51の中心側に最も近い位置になる。
図23は、繰り出し部23が最小繰り出し状態である場合のスポット光像PL'及びPR'が映る撮像画像と、繰り出し部23が最大繰り出し状態である場合のスポット光像PL''及びPR''が映る撮像画像との例を示す図である。
図23において、繰り出し部23が最小繰り出し状態である場合のスポット光像PL'及びPR'は、撮像画像の最も周辺側に位置する。
繰り出し部23が最小繰り出し状態から最大繰り出し状態に移動していくと、スポット光像PL及びPRは、撮像画像の中心に向かって移動していく。
そして、繰り出し部23が最大繰り出し状態である場合のスポット光像PL''及びPR''は、撮像画像の最も中心側に位置する。
以上のように、光源32L及び32Rが、斜め方向に、スポット光を照射する場合、繰り出し部23の繰り出し量によって、スポット光像PL及びPRの位置が変化する。
さらに、光源32L及び32Rが、斜め方向としての、例えば、イメージセンサ51の周辺部から中心部に向かう方向に、スポット光を照射する場合、繰り出し部23の繰り出し量によって、スポット光像PL及びPRの位置の他、スポット光像PL及びPR(の位置)の間の距離も変化する。図23では、繰り出し部23が最小繰り出し状態である場合のスポット光像PL'及びPR'の間の距離は、スポット光像PL及びPRの間の距離の最大値となる。また、繰り出し部23が最大繰り出し状態である場合のスポット光像PL''及びPR''の間の距離は、スポット光像PL及びPRの間の距離の最小値となる。
第4の検出方法では、スポット光像PL及びPR(のうちの一方又は両方)の位置や、その位置から求められるスポット光像PL及びPRの間の距離に応じて、繰り出し部23の繰り出し量が検出される。
図24は、第4の検出方法により繰り出し量を検出する処理の例を説明するフローチャートである。
ステップS131ないしS134において、図18のステップS121ないしS124とそれぞれ同様の処理が行われる。
そして、ステップS135において、スポット光像検出部62は、スポット光像PL及びPRの位置(検出光像位置)を検出し、それらの位置どうしの間の距離である光像間距離を検出する。スポット光像検出部62は、光像間距離を、繰り出し量検出部64に供給して、処理は、ステップS135からステップS136に進む。
ステップS136では、繰り出し量検出部64は、繰り出し量情報記憶部63に記憶された繰り出し量情報において繰り出し量と対応付けられているスポット光像情報から、ステップS135で検出された光像間距離(以下、検出光像間距離ともいう)に合致するスポット光像情報を選択する。さらに、ステップS136では、繰り出し量検出部64は、検出光像間距離に合致するスポット光像情報に対応付けられている繰り出し量を、繰り出し部23の繰り出し量として検出し、画像処理部53に供給して、処理を終了する。
ここで、第4の検出方法を採用する場合には、繰り出し量情報記憶部63には、光像間距離を、スポット光像情報として、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報とが対応付けられた繰り出し量情報が記憶される。
第4の検出方法では、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報としての光像間距離とが対応付けられた繰り出し量情報において、検出光像間距離に合致する光像間距離に対応付けられている繰り出し量が、繰り出し部23の繰り出し量として検出される。
第4の検出方法によれば、2値不定性を生じさせることなく、検出光像間距離に応じて、繰り出し部23の繰り出し量を検出することができる。
なお、第4の検出方法では、光像間距離に代えて、スポット光像の位置(検出光像位置)を、スポット光像情報として採用することができる。スポット光像の位置を、スポット光像情報として採用する場合、繰り出し量情報記憶部63には、複数の繰り出し量それぞれと、その繰り出し量だけ繰り出し部23が繰り出しているときのスポット光像情報としてのスポット光像の位置とが対応付けられた繰り出し量情報が記憶される。さらに、この場合、スポット光像検出部62において、スポット光像の位置が検出される。
そして、繰り出し量検出部64では、繰り出し量情報記憶部63に記憶された繰り出し量情報において、スポット光像検出部62で検出されたスポット光像の位置に合致するスポット光像の位置に対応付けられている繰り出し量が、繰り出し部23の繰り出し量として検出される。
その他、第4の検出方法では、第1の検出方法と同様に、スポット光像としての画像を、スポット光像情報として採用することや、第2及び第3の検出方法と同様に、スポットサイズを、スポット光像情報として採用することができる。
ここで、第4の検出方法において、光像間距離を、スポット光像情報として採用する場合には、光源32が2個以上設けられている必要がある。但し、2個以上の光源32については、そのすべてが、斜め方向に、スポット光を照射する必要はなく、少なくとも1個の光源32が、斜め方向に、スポット光を照射する光源であればよい。
また、第4の検出方法において、スポット光像の位置を、スポット光像情報として採用する場合には、光源32が1個以上設けられている必要がある。
<多眼交換レンズ20の他の構成例>
図25は、多眼交換レンズ20の他の構成例を示す図である。
なお、図中、図4や図13等の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図25の多眼交換レンズ20は、光源32L及び32Rと同様に構成される光源32U及び32Dが新たに設けられていることを除き、図4や図13等の場合と同様に構成される。
図25の多眼交換レンズ20は、平面視において、光源32Lと32Rとを結ぶ直線と平行でない直線、例えば、直交する直線上に、複数としての2個の光源32U及び32Dを設けた構成になっている。
以上のような、光源32Lと32Rとを結ぶ直線と直交する直線上に、2個の光源32U及び32Dを設けた多眼交換レンズ20が、カメラ本体10に装着された場合、多眼交換レンズ20のx軸回りのレンズ倒れや、y軸回りのレンズ倒れがあるときには、レンズ倒れがないときに対して、図25に示すように、光源32L,32R,32U,32Dが照射するスポット光のスポット光像のスポットサイズや位置が変化する。
したがって、スポット光像(のスポットサイズや位置)に応じて、多眼交換レンズ20のx軸回りのレンズ倒れや、y軸回りのレンズ倒れを検出することができる。
この場合、許容される量を超える量のレンズ倒れが検出されたときには、ユーザに、多眼交換レンズ20の再取り付けを促すことができる。さらに、レンズ倒れの量を検出し、そのレンズ倒れ量の影響がキャンセルされるように、視差情報を求めることや、個眼画像の領域を特定すること等を行うことができる。
<光源32L及び32Rの他の構成例>
図26は、光源32L及び32Rの他の構成例を示す断面図である。
なお、図中、図12の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図26において、光源32は、筐体121、LED122、レンズ123及び124で構成される。
したがって、図26の光源32は、筐体121ないしレンズ123を有する点で、図12の場合と共通し、レンズ124が新たに設けられている点で、図12の場合と相違する。
レンズ124は、レンズ123の、イメージセンサ51側に設けられており、レンズ123が集光するスポット光を平行光に変換して出射する。
したがって、図26の光源32が照射するスポット光は、平行光である。スポット光として、平行光を照射する光源32を、以下、平行光光源32ともいう。
多眼交換レンズ20の繰り出し部23には、平行光光源32を設けることができる。繰り出し部23に、平行光光源32を設ける場合、スポットサイズは、繰り出し部23の繰り出しにかかわらず、一定のサイズとなる。そのため、スポットサイズを小さくすることにより、スポット光として、スポットサイズが変化する非平行光を採用する場合に比較して、スポット光像の重心を、スポット光像の位置として求める際の計算の誤差及び計算量が低減される。したがって、より高精度に、取り付け誤差及び繰り出し量を求めることができるとともに、取り付け誤差及び繰り出し量を求めるときの演算の負荷を軽減することができる。
平行光光源32は、スポット光が鏡筒光軸と平行になるように、繰り出し部23に設けることができる。但し、この場合、スポット光(スポット光像)を用いて、取り付け誤差を求めることはできるが、繰り出し量を検出することはできない。
平行光光源32は、スポット光が鏡筒光軸方向から傾いた斜め方向に照射されるように、繰り出し部23に設けることで、図21ないし図24で説明した第4の検出方法により、繰り出し量を検出することができる。
また、平行光光源32を採用する場合でも、図25の場合と同様に、平面視において、平行光光源32Lと32Rとを結ぶ直線と平行でない直線、例えば、直交する直線上に、複数としての、例えば、2個の平行光光源32U及び32Dを設けることができる。
この場合、多眼交換レンズ20が、カメラ本体10に装着されたとき、多眼交換レンズ20のx軸回りのレンズ倒れや、y軸回りのレンズ倒れに応じて、平行光光源32L,32R,32U,32Dが照射するスポット光のスポット光像の位置が変化する。
図27は、レンズ倒れに応じて、平行光光源32が照射する平行光のスポット光像の位置が変化する状態を示す図である。
平行光光源32Lと32Rとを結ぶ直線と直交する直線上に、2個の平行光光源32U及び32Dを設けた多眼交換レンズ20が、カメラ本体10に装着された場合には、多眼交換レンズ20のx軸回りのレンズ倒れや、y軸回りのレンズ倒れに応じて、平行光光源32が照射する平行光のスポット光像の位置が変化する。
したがって、スポット光像の位置に応じて、多眼交換レンズ20のx軸回りのレンズ倒れや、y軸回りのレンズ倒れを検出することができる。
この場合、許容される量を超える量のレンズ倒れが検出されたときには、ユーザに、多眼交換レンズ20の再取り付けを促すことができる。さらに、レンズ倒れの量を検出し、そのレンズ倒れ量の影響がキャンセルされるように、視差情報を求めることや、個眼画像の領域を特定すること等を行うことができる。
<カメラシステム1の他の電気的構成例>
図28は、図1のカメラシステム1の他の電気的構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
ここで、本技術を適用したカメラシステム1(又はレンズ一体型のカメラシステム)は、イメージセンサ51で撮像される全体画像(撮像画像)上の各個眼画像の位置を特定する個眼画像位置情報、すなわち、イメージセンサ51における複数の個眼レンズ31iから出射される各撮像光の出射位置を示す個眼画像位置情報を保持している。さらに、カメラシステム1は、光源32のスポット光のスポット光像の位置を特定するスポット光像位置情報を保持している。
ここで、全体画像とは、イメージセンサ51で撮像される撮像画像の全体、又は、その撮像画像の全体から、撮像画像に含まれるすべての個眼画像よりも外側の一部又は全部を削除した画像を意味する。
なお、個眼画像位置情報及びスポット光像位置情報は、カメラシステム1ごとに算出された情報であっても良いし、機種ごとに算出された情報であっても良い。
また、個眼画像位置情報は、各個眼画像の絶対的な位置の情報であっても良いし、所定の1個の個眼レンズ31iを基準レンズとして、その基準レンズに対する個眼画像の絶対的な位置の情報と、基準レンズに対する個眼画像の位置を基準とする、他の個眼画像の相対的な位置の情報とであってもよい。
カメラシステム1が保持している個眼画像位置情報及びスポット光像位置情報は、例えば、それぞれ、個体差反映位置情報(既知基準位置)及び個体差スポット光位置情報(既知光位置)と対応するような値としていても良いが、これに限定されない。
カメラシステム1は、実撮像時(一般撮像画像(未知撮像画像)の撮像時)の全体画像から検出されるスポット光像の位置(検出スポット光像位置情報)を用いて、個眼画像位置情報を修正する。
カメラシステム1の多眼交換レンズ20では、各個眼レンズ31iと光源32とが一体的に繰り出すので、フォーカス(やズーム)の調整により、個眼レンズ31iが繰り出しても、個眼レンズ31iと一体的に繰り出す光源32の検出スポット光像位置情報を用いて、個眼画像位置情報を正確に修正(補正)することができる。
すなわち、個眼レンズ31iが繰り出すことにより、「様々な理由」で、繰り出し量に応じて異なる位置ずれ量が生じるが、個眼レンズ31iが繰り出しても、個眼画像と光源32との位置関係、すなわち、個眼画像とスポット光像との位置関係は変わらない。そのため、実撮像時の全体画像上のスポット光像の位置(検出スポット光像位置情報)を検出して、カメラシステム1が保持しているスポット光像位置情報とのずれを把握することで、各個眼画像の個眼画像位置情報を、正確に修正することができる。
「様々な理由」とは、例えば、繰り出し時に一体となって動く個眼レンズ31i群(個眼レンズユニット)が傾く、繰り出し時に個眼レンズユニットが回転する、多眼交換レンズ20については、取り付け誤差によって同じ繰り出し量の場合も取り付け時の回転誤差や傾きの誤差等がある、等である。
カメラシステム1では、以上のように、個眼画像の個眼画像位置情報を、正確に修正することができるので、その修正後の個眼画像位置情報(修正個眼画像位置情報)を用いて、全体画像から、例えば、光軸中心位置を中心とする所定の範囲を、個眼画像として、正確に抽出する(切り出す)ことや、レンズ歪み等の影響を抑制する処理(視差情報の生成等)を行うことができる。
なお、実撮像時の全体画像から検出される検出スポット光像位置情報は、例えば、装着誤差スポット光位置情報(未知光位置)と対応するような値としていても良いが、これに限定されない。また、検出スポット光像位置情報を用いて、個眼画像位置情報を修正した修正個眼画像位置情報は、例えば、装着誤差反映位置情報(未知基準位置)と対応するような値としていても良いが、これに限定されない。
図28において、領域特定部52は、個眼画像位置情報修正部211及び個眼画像抽出部212を有する。
個眼画像位置情報修正部211には、通信部56から、多眼交換レンズ20の記憶部41のレンズ情報(の一部)として記憶された個眼画像位置情報及びスポット光像位置情報が供給される。さらに、個眼画像位置情報修正部211には、スポット光像検出部62から、イメージセンサ51で撮像された全体画像(撮像画像)から検出された検出スポット光像位置情報が供給される。
個眼画像位置情報修正部211は、通信部56からのスポット光像位置情報、及び、スポット光像検出部62からの検出スポット光像位置情報を用いて、通信部56からの個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を、個眼画像抽出部212及び関連付け部221に供給する。個眼画像位置情報修正部211において、個眼画像位置情報の修正は、位置算出部57(図2)における装着誤差反映位置情報を求める処理と同様にして行われる。
個眼画像抽出部212には、上述したように、個眼画像位置情報修正部211から修正個眼画像位置情報が供給される他、イメージセンサ51から全体画像(撮像画像)が供給される。
個眼画像抽出部212は、個眼画像位置情報修正部211からの修正個眼画像位置情報を用いて、イメージセンサ51からの全体画像上の、個眼レンズ310ないし314それぞれに対する個眼画像の領域を表す領域情報を求める。例えば、個眼画像抽出部212は、修正個眼画像位置情報を中心とする矩形の領域を表す情報を、領域情報として求める。
そして、個眼画像抽出部212は、イメージセンサ51からの全体画像から、領域情報が表す領域を、個眼画像として抽出し、必要に応じて、表示部54及び関連付け部221に供給する。
また、個眼画像抽出部212は、イメージセンサ51からの全体画像を、必要に応じて、表示部54及び関連付け部221に供給する。
表示部54では、個眼画像抽出部212からの全体画像や個眼画像が表示される。
関連付け部221は、個眼画像位置情報修正部211からの修正個眼画像位置情報、及び、個眼画像抽出部212からの個眼画像又は全体画像を対象とした関連付けを行う。
関連付け部221は、例えば、個眼画像抽出部212からの、同一の全体画像から抽出された各個眼画像の関連付けを行う。また、関連付け部221は、例えば、個眼画像抽出部212からの、同一の全体画像から抽出された各個眼画像、及び、各個眼画像の抽出に用いられた修正個眼画像位置情報の関連付けを行う。さらに、関連付け部221は、例えば、個眼画像抽出部212からの全体画像(撮像画像)と、個眼画像位置情報修正部211からの、その全体画像から検出された検出スポット光像位置情報を用いて個眼画像位置情報を修正した修正個眼画像位置情報(撮像個眼画像位置)との関連付けを行う。
関連付けは、例えば、関連付けの対象を同一の記録媒体に記録することや、関連付けの対象に、同一のID(Identification)を付与すること等により行うことができる。また、関連付けは、例えば、関連付けの対象のメタデータ(修正個眼画像位置情報を関連付ける対象の個眼画像又は全体画像のメタデータ)を用いて行うことができる。
関連付け部221は、関連付けにより関連付けられた情報(関連付け情報)を、まとめて、記録することや伝送することができる。
なお、関連付け部221では、その他、例えば、(レンズ情報に含まれる)スポット光像位置情報と、全体画像から検出された検出スポット光像位置情報とを関連付けることができる。
また、関連付け部221で得られる関連付け情報は、カメラシステム1や外部機器でのポスト処理の対象とすることができる。ポスト処理では、例えば、全体画像と修正個眼画像位置情報とを関連付けた関連付け情報に含まれる全体画像から、その関連付け情報に含まれる修正個眼画像位置情報を用いて、個眼画像を抽出することができる。
さらに、関連付け部221では、全体画像(撮像画像)、その全体画像から検出された検出スポット光像位置情報(検出光像位置)、スポット光像位置情報(記憶光像位置)、及び、個眼画像位置情報(記憶個眼画像位置)を関連付けることができる。この場合、全体画像、検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報を関連付けた関連付け情報を対象とするポスト処理では、検出スポット光像位置情報及びスポット光像位置情報を用いて、個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を用いて、全体画像から個眼画像を抽出することができる。
その他、関連付け部221では、例えば、スポット光像位置情報(記憶光像位置)、スポット光像位置情報と検出スポット光像位置情報との差分(記憶光像位置と検出光像位置との差分)、個眼画像位置情報(記憶個眼画像位置)、及び、全体画像(撮像画像)を関連付けることができる。
また、関連付け部221では、撮像画像上の個眼画像の位置を特定することができる任意の関連付けを採用することができる。
関連付けの対象となる対象画像としては、全体画像や、全体画像から抽出された各個眼画像の他、全体画像から抽出された各個眼画像を並べた1枚の合成画像を採用することができる。
また、対象画像と関連付ける対象の対象情報としては、修正個眼画像位置情報の他、撮像画像上の個眼画像の位置を特定することができる任意の情報を採用することができる。
対象情報としては、例えば、個眼画像位置情報、スポット光像位置情報、及び、検出スポット光像位置情報のセットを採用することができる。
対象画像と対象情報との関連付けでは、対象画像と対象情報とを関連付けて、記憶媒体に記憶させることや、伝送媒体を介して送信すること、1つのファイルにすることができる。
ここでは、「関連付け」は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。対象画像及び対象情報のデータ(ファイル)としての形態は任意である。例えば、対象画像と対象情報とが、1つのデータ(ファイル)としてまとめられてもよいし、それぞれ個別のデータ(ファイル)とされてもよい。例えば、対象画像に関連付けられた対象情報は、その対象画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、対象画像に関連付けられた対象情報は、対象画像とは別の記録媒体、又は、同一の記録媒体の別の記録エリアに記録されるようにしてもよい。対象画像と対象情報とをまとめて、1つのストリームデータにすることや、1つのファイルにすることもできる。
対象画像は、静止画でもよいし動画でもよい。動画の場合、各フレームの対象画像と対象情報とを関連付けることができる。
「関連付け」は、対象画像のデータ全体でなく、データ(ファイル)の一部に対して行うことができる。例えば、対象画像が複数フレームからなる動画である場合、対象情報を、対象画像の、複数フレーム、1フレーム、又は、フレーム内の一部分などの任意の単位に対して関連付けることができる。
なお、対象画像と対象情報とが個別のデータ(ファイル)とされる場合は、その対象画像と対象情報の双方に同じID(識別番号)を付与することなどで、両者を関連付けることができる。また、対象画像と対象情報とが1つのファイルにまとめられる場合、例えば、ファイルのヘッダ等に対象情報が付与されるようにしてもよい。
<ポスト処理装置>
図29は、関連付け情報を対象としてポスト処理を行うポスト処理装置の構成例を示すブロック図である。
図29において、ポスト処理装置230は、領域特定部231、画像処理部232、表示部233、記録部234、及び、伝送部235を有する。領域特定部231は、個眼画像位置情報修正部241及び個眼画像抽出部242を有する。
ポスト処理装置230には、全体画像、検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報を関連付けた関連付け情報が、図示せぬ記録媒体や伝送媒体から供給される。
なお、どのような情報を関連付けておき、どう修正するかは多様にあり得る。例えば、検出スポット光像位置情報とスポット光像位置情報からスポット光像位置のずれを示すスポット光像位置ずれ情報を事前に算出し、全体又は個眼画像と、スポット光像位置ずれ情報を関連付けておけば、検出スポット光像位置情報とスポット光像位置情報を全体画像等に関連付けておく必要はない。また、個眼画像位置情報を予め修正して修正個眼画像位置情報と、全体画像又は個眼画像と関連付けておいても良く、この場合はポスト処理での個眼画像位置情報の修正等が不要となる。さらに、検出スポット光像位置情報としては、例えば、全体画像上のスポット光像の位置そのものの他、例えば、全体画像の、スポット光像が映る領域の画像部分の情報を採用することができる。検出スポット光像位置情報として、例えば、全体画像の、スポット光像が映る領域の画像部分の情報を採用する場合には、その情報から、全体画像上のスポット光像の位置が求められる。
関連付け情報に含まれる検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報は、個眼画像位置情報修正部241に供給される。関連付け情報に含まれる全体画像は、個眼画像抽出部242に供給される。
個眼画像位置情報修正部241は、関連付け情報に含まれる検出スポット光像位置情報、及び、スポット光像位置情報を用いて、関連付け情報に含まれる個眼画像位置情報を修正し、その結果得られる修正個眼画像位置情報を、個眼画像抽出部242に供給する。個眼画像位置情報修正部241において、個眼画像位置情報の修正は、個眼画像位置情報修正部211(図28)と同様に行われる。
個眼画像抽出部242は、個眼画像位置情報修正部241からの修正個眼画像位置情報を用いて、関連付け情報に含まれる全体画像上の、個眼レンズ310ないし314それぞれに対する個眼画像の領域を表す領域情報を求める。
そして、個眼画像抽出部242は、全体画像から、領域情報が表す領域を、個眼画像として抽出し、必要に応じて、画像処理部232、表示部233、記録部234、及び、伝送部235に供給する。
なお、個眼画像抽出部242は、画像処理部232、表示部233、記録部234、及び、伝送部235に対して、個眼画像の他、全体画像や、修正個眼画像位置情報を、必要に応じて供給することができる。
画像処理部232は、個眼画像抽出部242からの個眼画像の画像処理を行い、その画像処理の結果を、必要に応じて、表示部233、記録部234、及び、伝送部235に供給する。画像処理部232では、例えば、個眼画像抽出部242からの個眼画像、及び、修正個眼画像位置情報を用いて、視差情報を生成し、その視差情報及び個眼画像を用いて、リフォーカスを行うことができる。
表示部233は、個眼画像抽出部242からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部232の画像処理の結果を、必要に応じて表示する。記録部234は、個眼画像抽出部242からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部232の画像処理の結果を、必要に応じて、図示せぬ記録媒体に記録する。伝送部235は、個眼画像抽出部242からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部232の画像処理の結果を、必要に応じて、図示せぬ伝送媒体を介して伝送する。
ポスト処理装置230では、検出スポット光像位置情報、及び、スポット光像位置情報を用いて、個眼画像位置情報を修正する処理や、個眼画像位置情報の修正により得られる修正個眼画像位置情報を用いて、全体画像から個眼画像を抽出する処理を、ポスト処理として行うことができる。
以上のようなポスト処理装置230は、個眼画像の再生、表示、画像処理を行う装置に設けることができる。
図30は、関連付け情報を対象としてポスト処理を行うポスト処理装置の他の構成例を示すブロック図である。
なお、図中、図29のポスト処理装置230と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図30において、ポスト処理装置250は、領域特定部231ないし伝送部235を有する。領域特定部231は、個眼画像位置情報修正部241を有する。
したがって、ポスト処理装置250は、領域特定部231ないし伝送部235を有する点で、図29のポスト処理装置230と共通する。但し、ポスト処理装置250は、領域特定部231が個眼画像抽出部242を有していない点で、ポスト処理装置230と相違する。
ポスト処理装置250には、複数の個眼画像、検出スポット光像位置情報、スポット光像位置情報、及び、それぞれ複数の個眼画像に対応する複数の個眼画像位置情報を関連付けた関連付け情報が、図示せぬ記録媒体や伝送媒体から供給される。
関連付け情報に含まれる検出スポット光像位置情報、スポット光像位置情報、及び、個眼画像位置情報は、個眼画像位置情報修正部241に供給される。関連付け情報に含まれる個眼画像は、必要に応じて、画像処理部232、表示部233、記録部234、及び、伝送部235に供給される。
個眼画像位置情報修正部241は、図29で説明したように、関連付け情報に含まれる検出スポット光像位置情報、及び、スポット光像位置情報を用いて、関連付け情報に含まれる個眼画像位置情報を修正する。個眼画像位置情報修正部241は、個眼画像位置情報の修正により得られる修正個眼画像位置情報を、必要に応じて、画像処理部232、表示部233、記録部234、及び、伝送部235に供給する。
画像処理部232は、個眼画像の画像処理を行い、その画像処理の結果を、必要に応じて、表示部233、記録部234、及び、伝送部235に供給する。画像処理部232では、例えば、図29の場合と同様に、個眼画像、及び、修正個眼画像位置情報を用いて、視差情報を生成し、その視差情報及び個眼画像を用いて、リフォーカスを行うことができる。
表示部233では、個眼画像抽出部242からの全体画像や、個眼画像、修正個眼画像位置情報、画像処理部232の画像処理の結果、個眼画像位置情報修正部241で得られる修正個眼画像位置情報が、必要に応じて表示される。記録部234では、個眼画像、修正個眼画像位置情報、画像処理部232の画像処理の結果、個眼画像位置情報修正部241で得られる修正個眼画像位置情報が、必要に応じて記録される。伝送部235では、個眼画像、修正個眼画像位置情報、画像処理部232の画像処理の結果、個眼画像位置情報修正部241で得られる修正個眼画像位置情報が、必要に応じて伝送される。
ポスト処理装置250では、検出スポット光像位置情報、及び、スポット光像位置情報を用いて、個眼画像位置情報を修正する処理を、ポスト処理として行うことができる。なお、図30において、関連付け情報には、全体画像を含めることができる。全体画像は、画像処理部232ないし伝送部235に供給し、処理の対象とすることができる。
以上のようなポスト処理装置250は、個眼画像の再生、表示、画像処理を行う装置に設けることができる。なお、上述したようにポスト処理装置230及びポスト処理装置250は、カメラシステム1内にポスト処理機能として設けられていても良い。
<本技術を適用したカメラシステムの他の実施の形態>
<カメラシステムの第1の他の実施の形態>
<カメラシステムの第1の他の実施の形態>
図31は、本技術を適用したカメラシステムの第1の他の実施の形態の電気的構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図31において、カメラシステム300は、レンズ一体型のカメラシステムである。カメラシステム300は、レンズ部320、イメージセンサ351、RAW信号処理部352、領域抽出部353、カメラ信号処理部354、スルー画像生成部355、領域特定部356、画像再構成処理部357、バス360、表示部361、記憶部362、通信部364、ファイル化部365、制御部381、記憶部382、及び、光学系制御部384を有する。
レンズ部320は、繰り出し部23を有する。繰り出し部23は、図1及び図2で説明したように、個眼レンズ310ないし314、並びに、光源32L及び32Rを有する。
繰り出し部23は、図31では図示していない鏡筒21(図1)の内部を、鏡筒光軸の光軸方向に移動する。繰り出し部23の移動とともに、その繰り出し部23が有する個眼レンズ310ないし314、並びに、光源32L及び32Rも一体的に移動する。
個眼レンズ31iは、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼レンズ31iを通過した光は、他の個眼レンズ31jに入射せずにイメージセンサ351の受光面(例えば有効画素領域)の互いに異なる位置に照射する。少なくとも、各個眼レンズ31iの光軸は、イメージセンサ351の受光面の互いに異なる場所に位置しており、各個眼レンズ31iを通過した光の少なくとも一部が、イメージセンサ351の受光面の互いに異なる位置に照射する。
したがって、イメージセンサ351により生成される撮像画像(イメージセンサ351の出力する画像全体)には、各個眼レンズ31iを介して結像された被写体の像が互いに異なる位置に形成される。換言するに、撮像画像から、各個眼レンズ31iの位置を視点とする画像(個眼画像)が得られる。
イメージセンサ351は、例えば、イメージセンサ51と同様に、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ351の受光面には、個眼レンズ310ないし314それぞれにより集光される光線が照射される。イメージセンサ351は、個眼レンズ310ないし314それぞれからの光線(照射光)を受光して光電変換を行うことにより、各個眼レンズ31iを視点とする個眼画像を含む撮像画像を生成する。
イメージセンサ351は、イメージセンサ51と同様に、単色(所謂モノクロ)のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ351が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ351が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。
なお、本実施の形態においてRAWフォーマットとは、イメージセンサ351のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ351から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ351の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。
イメージセンサ351は、照射光を光電変換して生成したRAWフォーマットの撮像画像(全体画像)を出力することができる。例えば、イメージセンサ351は、そのRAWフォーマットの撮像画像(全体画像)を、バス360、RAW信号処理部352、領域抽出部353、及び、領域特定部356の内の、少なくともいずれか1つに供給することができる。
例えば、イメージセンサ351は、RAWフォーマットの撮像画像(全体画像)を、バス360を介して記憶部362に供給し、記憶媒体363に記憶させることができる。また、イメージセンサ351は、RAWフォーマットの撮像画像(全体画像)を、バス360を介して通信部364に供給し、カメラシステム300の外部へ送信させることができる。さらに、イメージセンサ351は、RAWフォーマットの撮像画像(全体画像)を、バス360を介してファイル化部365に供給し、ファイル化させることができる。また、イメージセンサ351は、RAWフォーマットの撮像画像(全体画像)を、バス360を介して画像再構成処理部357に供給し、画像再構成処理を行わせることができる。
なお、イメージセンサ351は、単板式のイメージセンサであってもよいし、例えば3板式のイメージセンサ等、複数のイメージセンサからなる1組のイメージセンサ(複数板式イメージセンサとも称する)であってもよい。
なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。
このような複数板式撮像装置の場合も各イメージセンサ、すなわち1つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。
RAW信号処理部352は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部352は、イメージセンサ351から供給されるRAWフォーマットの撮像画像(全体画像)を取得することができる。また、RAW信号処理部352は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、又は、圧縮(符号化)等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部352は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して行うことができる信号処理は、信号処理後の画像が、上述したようにイメージセンサ351のカラーフィルタの配置の位置関係を維持した状態の画像(複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像)であるものに限定される。
RAW信号処理部352は、信号処理を施したRAWフォーマットの撮像画像(RAW')又は圧縮(符号化)した撮像画像(圧縮RAW)を、バス360を介して記憶部362に供給し、記憶媒体363に記憶させることができる。また、RAW信号処理部352は、信号処理を施したRAWフォーマットの撮像画像(RAW')又は圧縮(符号化)した撮像画像(圧縮RAW)を、バス360を介して通信部364に供給し、送信させることができる。さらに、RAW信号処理部352は、信号処理を施したRAWフォーマットの撮像画像(RAW')又は圧縮(符号化)した撮像画像(圧縮RAW)を、バス360を介してファイル化部365に供給し、ファイル化させることができる。また、RAW信号処理部352は、信号処理を施したRAWフォーマットの撮像画像(RAW')又は圧縮(符号化)した撮像画像(圧縮RAW)を、バス360を介して画像再構成処理部357に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、及び、圧縮RAWを互いに区別して説明する必要が無い場合、RAW画像と称する。
領域抽出部353は、RAWフォーマットの撮像画像からの一部の領域の抽出(部分画像の切り出し)に関する処理を行う。例えば、領域抽出部353は、イメージセンサ351からRAWフォーマットの撮像画像(全体画像)を取得することができる。また、領域抽出部353は、領域特定部356から供給される、撮像画像から抽出する領域を示す情報(抽出領域情報とも称する)を取得することができる。そして、領域抽出部353は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する(部分画像を切り出す)ことができる。
例えば、領域抽出部353は、撮像画像(全体画像)から、各個眼レンズ31iの位置を視点とする個眼画像を切り出すことができる。また、撮像画像において、個眼画像が切り出される領域(個眼画像に対応する領域)を個眼画像領域とも称する。例えば、領域抽出部353は、領域特定部356から供給される、個眼画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各個眼画像領域を抽出すること、すなわち、各個眼画像を切り出すことができる。そして、領域抽出部353は、その切り出した各個眼画像(RAWフォーマット)をカメラ信号処理部354に供給することができる。
視点関連情報は、例えば、上述の個体差反映位置情報、又は、装着誤差反映位置情報に対応するような値としていても良いが、これに限定されず、個体差や装着誤差といった区別やそれらを補正することを意図して設定する必要はなく、単純に、撮像画像上の個眼画像の領域と、スポット光の位置との関係を示す情報であっても、上述したような誤差その他様々な誤差を加味した修正が可能である。
領域抽出部353は、撮像画像(全体画像)から切り出した各個眼画像を合成し、合成画像を生成することができる。合成画像は、各個眼画像が合成されて、1データ化、又は、1枚の画像とされたものである。例えば、領域抽出部353は、各個眼画像を平面状に並べた1枚の画像を合成画像として生成することができる。領域抽出部353は、その生成した合成画像(RAWフォーマット)をカメラ信号処理部354に供給することができる。
また、例えば、領域抽出部353は、全体画像をカメラ信号処理部354に供給することができる。例えば、領域抽出部353は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し(つまり、全ての個眼画像を含む部分画像を切り出し)、その切り出した部分画像(つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部又は全部を削除した画像)を、RAWフォーマットの全体画像としてカメラ信号処理部354に供給することができる。この場合の抽出する領域の場所(範囲)は、領域抽出部353において予め定められていてもよいし、領域特定部356から供給される視点関連情報により指定されるようにしてもよい。
また、領域抽出部353は、取得した撮像画像を(すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を)、RAWフォーマットの全体画像としてカメラ信号処理部354に供給することもできる。
なお、領域抽出部353は、上述のように撮像画像から切り出したRAWフォーマットの部分画像(全体画像、個眼画像、又は、合成画像)を、イメージセンサ351の場合と同様に、バス360を介して記憶部362、通信部364、ファイル化部365、又は画像再構成処理部357等に供給することができる。
また、領域抽出部353は、RAWフォーマットの部分画像(全体画像、個眼画像、又は、合成画像)を、RAW信号処理部352に供給し、所定の信号処理を施させたり、圧縮(符号化)させたりすることもできる。この場合も、RAW信号処理部352は、信号処理を施したRAWフォーマットの撮像画像(RAW')又は圧縮(符号化)した撮像画像(圧縮RAW)を、バス360を介して記憶部362、通信部364、ファイル化部365、又は画像再構成処理部357等に供給することができる。
つまり、全体画像、個眼画像、及び、合成画像の内の少なくともいずれか1つは、RAW画像であるようにしてもよい。
カメラ信号処理部354は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部354は、領域抽出部353から供給される画像(全体画像、個眼画像、又は、合成画像)を取得することができる。また、カメラ信号処理部354は、その取得した画像に対して、カメラ信号処理(カメラプロセス)を施すことができる。例えば、カメラ信号処理部354は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のR画像、G画像、及び、B画像を生成する色分離処理(ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理)や、その色分離後の画像の色空間をRGBからYC(輝度・色差)に変換するYC変換処理等を行うことができる。また、カメラ信号処理部354は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB(Automatic White Balance)、又は、ガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部354は、処理対象の画像を圧縮(符号化)することもできる。勿論、カメラ信号処理部354は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。
なお、以下においては、カメラ信号処理部354が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像(YC)を出力するものとする。この画像は、全体画像であってもよいし、各個眼画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像(YC)は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部354から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。
つまり、全体画像、個眼画像、及び、合成画像の内の少なくともいずれか1つは、そのYCフォーマットの画像(YC画像とも称する)であるようにしてもよい。
また、カメラ信号処理部354が出力する画像は、完全な現像処理をしたものではなく、YCフォーマットの画像(YC)として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整(色調整)に関する処理の一部又は全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像(YC)をほぼ劣化なくRAWフォーマットの画像に戻すことができる。
カメラ信号処理部354は、カメラ信号処理を施したYCフォーマットの画像(YC)を、バス360を介して記憶部362に供給し、記憶媒体363に記憶させることができる。さらに、カメラ信号処理部354は、カメラ信号処理を施したYCフォーマットの画像(YC)を、バス360を介して通信部364に供給し、外部に送信させることができる。また、カメラ信号処理部354は、カメラ信号処理を施したYCフォーマットの画像(YC)を、バス360を介してファイル化部365に供給し、ファイル化させることができる。さらに、カメラ信号処理部354は、カメラ信号処理を施したYCフォーマットの画像(YC)を、バス360を介して画像再構成処理部357に供給し、画像再構成処理を行わせることができる。
また、例えば、カメラ信号処理部354は、YCフォーマットの画像(YC)をスルー画像生成部355に供給することもできる。
なお、RAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)が記憶媒体363に記憶されている場合、カメラ信号処理部354は、そのRAWフォーマットの画像を記憶媒体363から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部354は、カメラ信号処理を施したYCフォーマットの画像(YC)を、バス360を介して表示部361、記憶部362、通信部364、ファイル化部365、又は画像再構成処理部357等に供給することができる。
また、イメージセンサ351から出力されるRAWフォーマットの撮像画像(全体画像)に対してカメラ信号処理部354がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像(全体画像)から、領域抽出部353が一部の領域を抽出するようにしてもよい。
スルー画像生成部355は、スルー画(像)の生成に関する処理を行う。スルー画は、撮影時又は撮影準備時(非記録時)にユーザが撮影準備中の画像を確認するために表示される画像である。スルー画は、ライブビュー画像やEE(Electronic to Electronic)画とも称される。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影(記録)中の画像に対応するスルー画も表示される。
例えば、スルー画像生成部355は、カメラ信号処理部354から供給される画像(全体画像、個眼画像、又は、合成画像)を取得することができる。また、スルー画像生成部355は、その取得した画像を用いて、例えば表示部361の解像度に応じた画サイズに変換する画サイズ(解像度)変換を行うことで、表示用画像であるスルー画を生成することができる。スルー画像生成部355は、生成したスルー画を、バス360を介して表示部361に供給し、表示させることができる。
領域特定部356は、領域抽出部353が撮像画像から抽出する領域の特定(設定)に関する処理を行う。例えば、領域特定部356は、撮像画像から抽出する領域を特定する視点関連情報VIを取得し、抽出領域情報として、領域抽出部353に供給する。
視点関連情報VIは、例えば、上述の個体差反映位置情報に対応するような値としていても良いが、これに限定されない。視点関連情報VIは、例えば、撮影画像における個眼画像の設計上の位置や、既知撮像画像の撮像時の位置等を表す。
視点関連情報VIは、例えば、撮像画像における個眼画像領域を示す個眼領域情報を含む。個眼領域情報は、個眼画像領域をどのように表してもよい。例えば、撮像画像における個眼レンズ31の光軸に対応する位置(光軸中心位置)を示す座標(個眼画像領域の中心座標とも称する)と個眼画像(個眼画像領域)の解像度(画素数)とにより、個眼画像領域が表されるようにしてもよい。つまり、個眼領域情報が、撮像画像における個眼画像領域の中心座標と個眼画像領域の解像度とを含むようにしてもよい。この場合、個眼画像領域の中心座標とその個眼画像領域の解像度(画素数)から、全体画像の内の個眼画像領域の場所の特定が可能になる。
なお、個眼領域情報は、個眼画像領域ごとに設定される。つまり、撮像画像に複数の個眼画像が含まれる場合、視点関連情報VIは、各個眼画像(各個眼画像領域)について、個眼画像(領域)を識別するための視点識別情報(例えばID)と個眼領域情報とを含み得る。
また、視点関連情報VIは、その他の任意の情報を含み得る。例えば、視点関連情報VIが、個眼画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。
領域特定部356は、視点関連情報VIをバス360に供給することができる。例えば、領域特定部356は、視点関連情報VIを、バス360を介して記憶部362に供給し、記憶媒体363に記憶させることができる。また、領域特定部356は、視点関連情報VIを、バス360を介して通信部364に供給し、送信させることができる。さらに、領域特定部356は、視点関連情報VIを、バス360を介してファイル化部365に供給し、ファイル化させることができる。また、領域特定部356は、視点関連情報VIを、バス360を介して画像再構成処理部357に供給し、画像再構成処理に利用させることができる。
例えば、領域特定部356は、視点関連情報VIを制御部381から取得し、領域抽出部353やバス360に供給してもよい。この場合、制御部381は、記憶媒体383に記憶されている視点関連情報VIを、記憶部382を介して読み出し、領域特定部356に供給する。領域特定部356は、その視点関連情報VIを領域抽出部353やバス360に供給する。
このようにバス360を介して記憶部362、通信部364、又はファイル化部365に供給された視点関連情報VIは、そこにおいて画像(全体画像、個眼画像、又は、合成画像)と関連付けられる。例えば、記憶部362は、供給された視点関連情報VIを画像(全体画像、個眼画像、又は、合成画像)と関連付け、記憶媒体363に記憶させることができる。また、通信部364は、供給された視点関連情報VIを画像(全体画像、個眼画像、又は、合成画像)と関連付け、外部に送信することができる。さらに、ファイル化部365は、供給された視点関連情報VIを画像(全体画像、個眼画像、又は、合成画像)と関連付け、それらを含む1つのファイルを生成することができる。
また、領域特定部356は、イメージセンサ351から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報VI'を生成し、その生成した視点関連情報VI'を領域抽出部353やバス360に供給してもよい。この場合、領域特定部356は、撮像画像から各個眼画像領域を特定し、その個眼画像領域を示す(例えば、撮像画像における個眼画像領域の中心座標と個眼画像領域の解像度等により個眼画像領域を示す)視点関連情報VI'を生成する。そして、領域特定部356は、その生成した視点関連情報VI'を領域抽出部353やバス360に供給する。なお、この視点関連情報VI'とともに、領域特定部356が撮像画像に基づいて生成したスポット光情報SI'を供給してもよい。
スポット光情報は、スポット光像に関する情報であり、例えば、上述の個体差スポット光位置情報又は装着誤差スポット光位置情報に対応するような値としていても良いが、これに限定されない。
領域特定部356は、視点関連情報VIを制御部381から取得し、イメージセンサ351から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報SI'を生成し、視点関連情報VIにそのスポット光情報SI'を付加し、領域抽出部353やバス360に供給してもよい。この場合、制御部381は、記憶媒体383に記憶されている視点関連情報VIを、記憶部382を介して読み出し、領域特定部356に供給する。領域特定部356は、視点関連情報VIを、スポット光情報SI'を用いて補正し、補正後の視点関連情報VI'を生成する。領域特定部356は、その視点関連情報VI'を領域抽出部353やバス360に供給する。
また、領域特定部356は、視点関連情報VIを制御部381から取得し、イメージセンサ351から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報SI'を生成し、そのスポット光情報SI'を用いて視点関連情報VIを補正し、補正後の視点関連情報VI'を領域抽出部353やバス360に供給してもよい。この場合、制御部381は、記憶媒体383に記憶されている視点関連情報VIを、記憶部382を介して読み出し、領域特定部356に供給する。領域特定部356は、その視点関連情報VIを、スポット光情報SI'を用いて補正し、視点関連情報VI'を生成する。領域特定部356は、その視点関連情報VI'を領域抽出部353やバス360に供給する。
スポット光情報SI'は、例えば、上述の装着誤差スポット光位置情報、又は、スポット光像情報に対応するような値としていても良いが、これに限定されない。スポット光情報SI'は、例えば、撮像画像に映るスポット光像の位置及び/又はスポットサイズ等を表す。
ここで、イメージセンサ351の受光面に垂直な方向と、繰り出し部23の移動方向とのずれや、繰り出し部23の移動に伴う個眼レンズ31iの回転ずれ等の繰り出し部23の移動に伴う各種のずれに起因して、繰り出し部23の移動に伴い、撮像画像における個眼画像の位置がずれることがある。
繰り出し部23の移動に伴い、撮像画像における個眼画像の位置がずれた場合、撮像画像の、視点関連情報VIが表す位置から画像を切り出す(抽出する)と、(本来の)個眼画像の個眼画像領域からずれた領域の画像が、個眼画像として切り出される。
そこで、領域特定部356は、撮像画像から生成されたスポット光情報SI'が表すスポット光像の位置及び/又はスポットサイズを用いて、撮像画像における個眼画像の位置ずれ(量)を検出することができる。
そして、領域特定部356は、個眼画像の位置ずれに応じて、撮像画像から個眼画像を切り出す位置を修正するための情報を得て、領域抽出部353に供給することができる。
すなわち、領域特定部356は、個眼画像の位置ずれに応じて、その位置ずれ後の個眼画像の位置を表すように、視点関連情報VIを補正し、その補正により得られる視点関連情報VI'を、領域抽出部353に供給する。
ここで、記憶媒体383は、例えば、視点関連情報VI及びスポット光情報SIを記憶している。スポット光情報SIは、例えば、上述の個体差スポット光位置情報に対応するような値としていても良いが、これに限定されない。スポット光情報SIは、例えば、撮影画像におけるスポット光像の設計上の位置及び/又はスポットサイズや、既知撮像画像の撮像時の位置及び/又はスポットサイズ等を表す。
視点関連情報VI及びスポット光情報SIは、同一のタイミングで得られる情報である。例えば、視点関連情報VIが、設計上の個眼画像の位置(視点)等を表す情報である場合、スポット光情報SIも、設計上のスポット光像の位置等を表す情報である。また、例えば、視点関連情報VIが、既知撮像画像の撮像時に検出された個眼画像の位置等を表す情報である場合、スポット光情報SIも、既知撮像画像の撮像時に検出されたスポット光像の位置等を表す情報である。
領域特定部356では、例えば、スポット光情報SIと、撮像画像から生成されたスポット光情報SI'との差を、撮像画像における個眼画像の位置ずれとして検出することができる。そして、領域特定部356では、撮像画像における個眼画像の位置ずれ、すなわち、スポット光情報SIと、撮像画像から生成されたスポット光情報SI'との差を用いて、視点関連情報VIを補正し、撮像画像における個眼画像の位置ずれ分を補正(修正)した視点関連情報VI'を生成することができる。
その他、領域特定部356は、撮像画像から生成されたスポット光情報SI'を用いて、繰り出し部23の繰り出し量を検出することができる。
画像再構成処理部357は、画像の再構成に関する処理を行う。例えば、画像再構成処理部357は、バス360を介してカメラ信号処理部354や記憶部362からYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得することができる。また、画像再構成処理部357は、バス360を介して領域特定部356や記憶部362から視点関連情報を取得することができる。
さらに、画像再構成処理部357は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成(再構成)するリフォーカス等の画像処理を行うことができる。例えば、個眼画像を処理対象とする場合、画像再構成処理部357は、その各個眼画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部357は、その撮像画像や合成画像から各個眼画像を抽出し、抽出した個眼画像を用いて奥行情報の生成やリフォーカス等の処理を行う。
画像再構成処理部357は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス360を介して記憶部362に供給し、記憶媒体363に記憶させることができる。また、画像再構成処理部357は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス360を介して通信部364に供給し、外部に送信させることができる。さらに、画像再構成処理部357は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス360を介してファイル化部365に供給し、ファイル化させることができる。
バス360には、イメージセンサ351、RAW信号処理部352、領域抽出部353、カメラ信号処理部354、スルー画像生成部355、領域特定部356、画像再構成処理部357、表示部361、記憶部362、通信部364、及び、ファイル化部365が接続される。バス360は、これらのブロック間で授受される各種データの伝送媒体(伝送路)として機能する。なお、このバス360は、有線により実現されてもよいし、無線により実現されてもよい。
表示部361は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、カメラシステム300の筐体と一体、又は別体に設けられている。例えば、表示部361は、カメラシステム300の筐体の背面(レンズ部320が設けられている面と反対側の面)に設けられていてもよい。
表示部361は、画像の表示に関する処理を行う。例えば、表示部361は、スルー画像生成部355から供給されるYCフォーマットであるスルー画を取得し、RGBフォーマットに変換して表示することができる。その他、表示部361は、例えば、メニュー、カメラシステム300の設定等の情報を表示することもできる。
また、表示部361は、記憶部362から供給されるYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、表示することができる。また、表示部361は、記憶部362から供給されるYCフォーマットのサムネイル画像を取得し、表示することができる。さらに、表示部361は、カメラ信号処理部354から供給されるYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、表示することができる。
記憶部362は、例えば、半導体メモリ等よりなる記憶媒体363の記憶を制御する。この記憶媒体363は、リムーバブルな記憶媒体であってもよいし、カメラシステム300に内蔵される記憶媒体であってもよい。例えば、記憶部362は、制御部381やユーザの操作等に応じて、バス360を介して供給される画像(全体画像、個眼画像、又は、合成画像)を記憶媒体363に記憶させることができる。
例えば、記憶部362は、イメージセンサ351又は領域抽出部353から供給されるRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、記憶媒体363に記憶させることができる。また、記憶部362は、RAW信号処理部352から供給される信号処理を施したRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)又は圧縮(符号化)したRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、記憶媒体363に記憶させることができる。さらに、記憶部362は、カメラ信号処理部354から供給されるYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、記憶媒体363に記憶させることができる。
その際、記憶部362は、領域特定部356から供給される視点関連情報を取得し、上述の画像(全体画像、個眼画像、又は、合成画像)に関連付けることができる。つまり、記憶部362は、画像(全体画像、個眼画像、又は、合成画像)と視点関連情報を互いに関連付けて、記憶媒体363に記憶させることができる。つまり、記憶部362は、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、記憶部362は、画像再構成処理部357から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体363に記憶させることができる。さらに、記憶部362は、ファイル化部365から供給されるファイルを取得し、記憶媒体363に記憶させることができる。このファイルは、例えば、画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報を含む。つまり、このファイルにおいて、画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報が互いに関連付けられている。
また、例えば、記憶部362は、制御部381やユーザの操作等に応じて、記憶媒体363に記憶されているデータやファイル等を読み出し、バス360を介して、カメラ信号処理部354、表示部361、通信部364、ファイル化部365、又は、画像再構成処理部357等に供給することができる。例えば、記憶部362は、記憶媒体363からYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を読み出し、表示部361に供給し、表示させることができる。また、記憶部362は、記憶媒体363からRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)を読み出し、カメラ信号処理部354に供給し、カメラ信号処理を施させることができる。
また、記憶部362は、互いに関連付けられて記憶媒体363に記憶されている画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報のデータ又はファイルを読み出し、他の処理部に供給することができる。例えば、記憶部362は、記憶媒体363から、互いに関連付けられた画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報を読み出し、それらを画像再構成処理部357に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部362は、記憶媒体363から、互いに関連付けられた画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報を読み出し、それらを通信部364に供給し、送信させることができる。さらに、記憶部362は、記憶媒体363から、互いに関連付けられた画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報を読み出し、それらをファイル化部365に供給し、ファイル化させることができる。
なお、記憶媒体363は、ROM(Read Only Memory)であってもよいし、RAM(Random Access Memory)やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体363は、任意の情報を記憶することができる。
通信部364は、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。例えば、通信部364は、制御部381の制御やユーザの操作等に応じて、その通信により、画像(全体画像、個眼画像、又は、合成画像)や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手(外部のデバイス)に送信することができる。
例えば、通信部364は、イメージセンサ351や領域抽出部353から供給されるRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、送信することができる。また、通信部364は、RAW信号処理部352から供給される信号処理を施したRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)や圧縮(符号化)した画像(全体画像、個眼画像、又は、合成画像)を取得し、送信することができる。さらに、通信部364は、カメラ信号処理部354から供給されるYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得し、送信することができる。
その際、通信部364は、領域特定部356から供給される視点関連情報を取得し、上述の画像(全体画像、個眼画像、又は、合成画像)に関連付けることができる。つまり、通信部364は、画像(全体画像、個眼画像、又は、合成画像)と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部364は、送信する画像(全体画像、個眼画像、又は、合成画像)を、その画像を供給する処理部から取得し、その画像に領域特定部356から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部364は、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、通信部364は、画像再構成処理部357から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部364は、ファイル化部365から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報を含む。つまり、このファイルにおいて、画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報が互いに関連付けられている。
ファイル化部365は、ファイルの生成に関する処理を行う。例えば、ファイル化部365は、イメージセンサ351又は領域抽出部353から供給されるRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得することができる。また、ファイル化部365は、RAW信号処理部352から供給される信号処理を施したRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)又は圧縮(符号化)したRAWフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得することができる。さらに、ファイル化部365は、カメラ信号処理部354から供給されるYCフォーマットの画像(全体画像、個眼画像、又は、合成画像)を取得することができる。また、例えば、ファイル化部365は、領域特定部356から供給される視点関連情報を取得することができる。
ファイル化部365は、取得した複数のデータをファイル化して、その複数のデータを含む1つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部365は、上述の画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報から1つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部365は、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付ける関連付け部として機能することになる。
また、例えば、ファイル化部365は、画像再構成処理部357から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部365は、記憶部362から供給される、互いに関連付けられた画像(全体画像、個眼画像、又は、合成画像)及び、視点関連情報から1つのファイルを生成することができる。
なお、ファイル化部365は、ファイル化する画像(例えば個眼画像)のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部365は、ファイル化することにより、このサムネイル画像を、画像(全体画像、個眼画像、又は、合成画像)や視点関連情報に関連付けることができる。
ファイル化部365は、生成したファイル(互いに関連付けられた画像、及び、視点関連情報)を、例えば、バス360を介して記憶部362に供給し、記憶媒体363に記憶させることができる。また、ファイル化部365は、生成したファイル(互いに関連付けられた画像、及び、視点関連情報)を、例えば、バス360を介して通信部364に供給し、送信させることができる。
これらの記憶部362、通信部364、及び、ファイル化部365を関連付け部70とも称する。関連付け部70は、画像(全体画像、個眼画像、又は、合成画像)と、視点関連情報とを関連付ける。例えば、記憶部362は、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付けて記憶媒体363に記憶させることができる。また、通信部364は、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部365は、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とから1つのファイルを生成することにより、それらを関連付けることができる。
関連付け部70では、画像(全体画像、個眼画像、又は、合成画像)、及び、視点関連情報の他、スポット光情報も関連付けることができる。
制御部381は、カメラシステム300に関する制御処理を行う。つまり、制御部381は、カメラシステム300の各部を制御し、処理を実行させることができる。例えば、制御部381は、光学系制御部384を介してレンズ部320(各個眼レンズ31i)を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部381は、イメージセンサ351を制御し、イメージセンサ351に撮像(光電変換)を行わせ、撮像画像を生成させることができる。
さらに、制御部381は、視点関連情報VI、さらには、スポット光情報SIを領域特定部356に供給し、撮像画像から抽出する領域を特定させることができる。制御部381は、記憶媒体383に記憶されている視点関連情報VIやスポット光情報SIを、記憶部382を介して読み出し、領域特定部356に供給することができる。
また、制御部381は、バス360を介して画像を取得し、その画像の明るさに基づいて、光学系制御部384を介して絞りを制御することができる。さらに、制御部381は、その画像の鮮鋭度に基づいて、光学系制御部384を介してフォーカスを制御することができる。また、制御部381は、その画像のRGB比率に基づいてカメラ信号処理部354を制御し、ホワイトバランスゲインを制御することができる。
記憶部382は、例えば、半導体メモリ等よりなる記憶媒体383の記憶を制御する。記憶媒体383は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。記憶媒体383には、例えば、視点関連情報VIが記憶されている。視点関連情報VIは、レンズ部320(の各個眼レンズ31)、及び、イメージセンサ351に対応する情報である。つまり、視点関連情報VIは、このレンズ部320の各個眼レンズ31の位置を視点とする個眼画像に関する情報であり、その個眼画像領域を特定するために用いられる情報である。記憶媒体383には、スポット光情報SIをさらに記憶させておくことができる。
例えば、記憶部382は、制御部381やユーザの操作等に応じて、記憶媒体383に記憶されている視点関連情報VIやスポット光情報SIを読み出し、制御部381に供給することができる。
なお、記憶媒体383は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体383は、任意の情報を記憶することができる。
また、記憶部382及び記憶媒体383を記憶部362及び記憶媒体363により代用してもよい。つまり、上述した記憶媒体383に記憶させる情報(視点関連情報VI等)を記憶媒体363に記憶させてもよい。その場合、記憶部382及び記憶媒体383は、省略してもよい。
光学系制御部384は、制御部381の制御に従って、レンズ部320(の繰り出し部23や各個眼レンズ31i等)を制御する。例えば、光学系制御部384は、各個眼レンズ31iや絞りを制御し、各個眼レンズ31iの焦点距離若しくはF値、又は、その両方を制御することができる。なお、カメラシステム300が電動フォーカス調整機能を有する場合、光学系制御部384は、レンズ部320(の各個眼レンズ31iの)フォーカス(焦点距離)を制御することができる。また、光学系制御部384が、各個眼レンズ31iの絞り(F値)を制御することができるようにしてもよい。
なお、カメラシステム300が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を制御する機構(物理的構成)を備えるようにしてもよい。その場合、この光学系制御部384は、省略することができる。
<視点関連情報等の関連付け>
カメラシステム300においては、上述のように、レンズ部320(複数の個眼レンズ31i)を介してイメージセンサ351において被写体が撮像され、各個眼レンズ31iに対応する画像である個眼画像を含む撮像画像が生成される。カメラシステム300では、撮像画像から、個眼画像の一部又は全部を抽出することにより、個眼レンズ31iの位置を視点とする個眼画像が生成される。1枚の撮像画像から抽出された複数の個眼画像は互いに異なる視点の画像であるので、これらの個眼画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各個眼画像間の相対位置等の情報が必要である。
そこで、カメラシステム300は、光路が互いに独立している複数の個眼レンズ31iを介して被写体を1つの撮像素子としてのイメージセンサ351で撮像して生成された撮像画像、その撮像画像から抽出された複数の個眼レンズ31iの位置それぞれを視点とする複数の個眼画像、又は、その複数の個眼画像が合成された合成画像に対して、撮像画像における複数の個眼画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。
例えば、関連付け部70は、画像(全体画像、個眼画像、又は、合成画像)に対応する視点関連情報を領域特定部356から取得し、その画像、及び、視点関連情報を関連付ける。例えば、記憶部362が、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付けて記憶媒体363に記憶させる。また、通信部364が、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とを関連付けて送信する。さらに、ファイル化部365が、全体画像、個眼画像、及び、合成画像の内の少なくとも1つと視点関連情報とから1つのファイルを生成することにより、それらを関連付ける。
以上のような関連付けにより、カメラシステム300では勿論、カメラシステム300以外でも、視点関連情報を用い、個眼画像等を対象として高精度の画像処理を行うことができる。
関連付けでは、個眼画像等と、視点関連情報VIとを関連付けることができる。また、関連付けでは、個眼画像等と、視点関連情報VIを補正した補正後の視点関連情報VI'とを関連付けることができる。さらに、関連付けでは、個眼画像等と、視点関連情報VI、スポット光情報SI、及び、スポット光情報SI'とを関連付けることができる。また、関連付けでは、個眼画像等と、視点関連情報VI、及び、スポット光情報SIとスポット光情報SI'との差とを関連付けることができる。
個眼画像等と視点関連情報VI'とを関連付ける場合、個眼画像等と、視点関連情報VI、スポット光情報SI、及び、スポット光情報SI'とを関連付ける場合、並びに、個眼画像等と、視点関連情報VI、及び、スポット光情報SIとスポット光情報SI'との差とを関連付ける場合、繰り出し部23の移動に伴い、撮像画像における個眼画像の位置ずれが生じても、撮像画像における各個眼画像の位置(視点の位置)を正確に認識することができる。
<レンズ部320の取り付け位置のずれに対する対処>
レンズ一体型のカメラシステム300では、レンズ部320の取り付け位置が、製造誤差によりずれ得る。さらに、レンズ部320の取り付け位置は、繰り出し部23の移動に伴ってずれ得る。レンズ部320の取り付け位置がずれ、その取り付け位置に、取り付け誤差が生じると、撮像画像からの個眼画像の切り出しや、個眼画像を用いた視差情報の算出の処理の精度が低下する。
そこで、領域特定部356では、撮像画像に映るスポット光像を用いて、レンズ部320の取り付け位置のずれ(量)としての取り付け誤差を検出することができる。
例えば、領域特定部356は、撮像画像から、光源32L及び32Rから照射されるスポット光のイメージセンサ351への入射範囲、すなわち、撮像画像に映るスポット光像を検出し、そのスポット光像に関するスポット光情報SI'を生成(検出)することができる。
さらに、領域特定部356は、スポット光情報SI'とスポット光情報SIとの差、例えば、スポット光情報SI'が表すスポット光像の位置とスポット光情報SIが表すスポット光像の位置との差を、取り付け誤差として検出することができる。
そして、領域特定部356は、取り付け誤差を用いて、視点関連情報VIを補正し、視点関連情報VI'を生成することができる。例えば、領域特定部356は、視点関連情報VIが表す個眼画像の位置を、スポット光情報SI及びスポット光情報SI'に応じ、スポット光情報SI'が表すスポット光像の位置とスポット光情報SIが表すスポット光像の位置との差だけ補正し、取り付け誤差に応じてずれた個眼画像の位置を特定するための情報としての視点関連情報VI'を生成することができる。
領域抽出部353では、視点関連情報VI'を用いて、撮像画像から個眼画像を切り出すことにより、個眼画像を精度良く切り出すことができる。さらに、視点関連情報VI'を用いて、個眼画像の視点の位置を正確に特定し、その視点の位置と個眼画像とを用いて、視差情報を精度良く求めることができる。
ここで、撮像画像からスポット光情報SI'を生成する領域特定部356は、光源32L及び32Rから照射されるスポット光のイメージセンサ351への入射範囲を検出する検出部であるということができる。
さらに、取り付け誤差としてのスポット光情報SI'とスポット光情報SIとの差を用いて、視点関連情報VIを補正することにより、視点関連情報VI'を生成する領域特定部356は、検出部の検出結果、すなわち、撮像画像上の光像に応じて、視点関連情報VIを補正する処理を行う処理部であるともいうことができる。
<カメラシステムの第2の他の実施の形態>
図31は、本技術を適用したカメラシステムの第2の他の実施の形態の電気的構成例を示すブロック図である。
なお、図中、図2及び図31の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図32において、カメラシステム400は、レンズ交換可能なカメラシステムである。カメラシステム400は、カメラ本体410と多眼交換レンズ420(レンズ部)とで構成される。多眼交換レンズ420がカメラ本体410に装着された状態においてカメラシステム400は、カメラシステム300とほぼ同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム400は、カメラシステム300と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。
カメラ本体410は、カメラ本体10が多眼交換レンズ20等を着脱することができるのと同様に、多眼交換レンズ420その他一般的な交換レンズを着脱することができる構成になっている。
多眼交換レンズ420は、繰り出し部23を有する。繰り出し部23は、図1及び図2で説明したように、個眼レンズ310ないし314、並びに、光源32L及び32Rを有する。
繰り出し部23は、図32では図示していない鏡筒21(図1)の内部を、鏡筒光軸の光軸方向に移動する。繰り出し部23の移動とともに、その繰り出し部23が有する個眼レンズ310ないし314、並びに、光源32L及び32Rも一体的に移動する。
図32において、個眼レンズ31iは、カメラシステム300の場合と同様に、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼レンズ31iを通過した光は、他の個眼レンズ31iに入射せずにイメージセンサ351の受光面(例えば有効画素領域)の互いに異なる位置に照射する。少なくとも、各個眼レンズ31iの光軸は、イメージセンサ351の受光面の互いに異なる場所に位置しており、各個眼レンズ31iを通過した光の少なくとも一部が、イメージセンサ351の受光面の互いに異なる位置に照射する。
したがって、カメラシステム400では、カメラシステム300の場合と同様に、イメージセンサ351により生成される撮像画像(イメージセンサ351の出力する画像全体)には、各個眼レンズ31iを介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼レンズ31iの位置を視点とする個眼画像が得られる。つまり、多眼交換レンズ420をカメラ本体410に装着して被写体を撮像することにより、複数の個眼画像を得ることができる。
カメラシステム400において、カメラ本体410は、イメージセンサ351、RAW信号処理部352、領域抽出部353、カメラ信号処理部354、スルー画像生成部355、領域特定部356、画像再構成処理部357、バス360、表示部361、記憶部362、通信部364、ファイル化部365、制御部381、及び、記憶部382を有する。つまり、カメラ本体410は、カメラシステム300のレンズ部320及び光学系制御部384以外の構成を有する。
なお、カメラ本体410は、上述の構成に加え、通信部441を有する。通信部441は、カメラ本体410に正しく装着された状態の多眼交換レンズ420(の通信部451)と通信を行い、情報の授受等を行う。通信部441は、任意の通信方式で多眼交換レンズ420と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。
例えば、通信部441は、制御部381により制御され、多眼交換レンズ420(の通信部451)との通信を行い、多眼交換レンズ420から供給される情報を取得する。また、例えば、通信部441は、多眼交換レンズ420(の通信部451)との通信により、制御部381から供給される情報を多眼交換レンズ420に供給する。通信部441が多眼交換レンズ420と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
カメラシステム400において、多眼交換レンズ420は、さらに、光学系制御部384、通信部451、及び、記憶部452を有する。通信部451は、カメラ本体410に正しく装着された状態の多眼交換レンズ420において、通信部441と通信を行う。この通信により、カメラ本体410と多眼交換レンズ420との間の情報の授受を実現する。通信部451の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。
例えば、通信部451は、通信部441を介してカメラ本体410から送信される制御情報その他各種の情報を取得する。通信部451は、このように取得した情報を、必要に応じて、光学系制御部384に供給し、繰り出し部23や各個眼レンズ31i等の制御に利用させることができる。
また、通信部451は、その取得した情報を記憶部452に供給し、記憶媒体453に記憶させることができる。また、通信部451は、記憶媒体453に記憶されている情報を、記憶部452を介して読み出し、それをカメラ本体410(通信部441)に送信することができる。
カメラシステム400において、多眼交換レンズ420に対応する視点関連情報VI及びスポット光情報SIの記憶場所は任意である。例えば、視点関連情報VI及びスポット光情報SIは、多眼交換レンズ420の記憶媒体453に記憶されていてもよい。そして、例えば、カメラ本体410の制御部381が、通信部451、及び、通信部441を介して記憶部452にアクセスし、その記憶媒体453から視点関連情報VI及びスポット光情報SIを読み出させてもよい。そして、制御部381が、視点関連情報VI及びスポット光情報SIを取得した後、領域特定部356に供給し、セットするようにしてもよい。
例えば、多眼交換レンズ420をカメラ本体410に正しく装着した際、カメラシステム400に電源を投入した際、又は、カメラシステム400の駆動モードが、被写体の撮像を行い得る撮像モードに移行した際等の、撮像より時間的に前の任意のタイミング又はきっかけにおいて、このような処理が行われてもよい。
このようにすることにより、カメラ本体410は、多眼交換レンズ420に対応する視点関連情報VI及びスポット光情報SIを用いて、撮像画像や個眼画像を対象とする画像処理を行うことができる。
また、制御部381が、多眼交換レンズ420から取得したその多眼交換レンズ420の視点関連情報VI及びスポット光情報SIを、多眼交換レンズ420のIDとともに記憶部382に供給し、記憶させてもよい。その場合、記憶部382は、供給されたIDと視点関連情報VI及びスポット光情報SIとを対応付けて記憶媒体383に記憶させる。つまり、カメラ本体410において、多眼交換レンズ420の視点関連情報VI及びスポット光情報SIとIDとを管理することができる。カメラ本体410は、複数の多眼交換レンズ420の視点関連情報VI及びスポット光情報SIを管理することができる。
このようにすることにより、制御部381は、次回からは多眼交換レンズ420のIDを取得することにより、記憶部382(記憶媒体383)からそのIDに対応する視点関連情報VI及びスポット光情報SIを読み出すことができる。つまり、制御部381は、多眼交換レンズ420に対応する視点関連情報VI及びスポット光情報SIを容易に取得することができる。
また、記憶媒体383が、あらかじめ、複数の多眼交換レンズ420それぞれについて、視点関連情報VI及びスポット光情報SIを、多眼交換レンズ420のIDに関連付けて記憶していてもよい。つまり、この場合、カメラ本体410が、あらかじめ、複数の多眼交換レンズ420の視点関連情報VI及びスポット光情報SIを管理している。
このようにすることにより、制御部381は、カメラ本体410に正しく装着された多眼交換レンズ420のIDを用いて、記憶部382(記憶媒体383)からそのIDに対応する視点関連情報VI及びスポット光情報SIを容易に読み出すことができる。
<多眼交換レンズ420の取り付け位置のずれに対する対処>
レンズ交換可能なカメラシステム400では、レンズ一体型のカメラシステム300と同様に、製造誤差や、繰り出し部23の移動により、多眼交換レンズ420の取り付け位置がずれ得る。さらに、レンズ交換可能なカメラシステム400では、装着誤差によっても、多眼交換レンズ420の取り付け位置がずれ得る。多眼交換レンズ420の取り付け位置がずれ、その取り付け位置に、取り付け誤差が生じると、撮像画像からの個眼画像の切り出しや、個眼画像を用いた視差情報の算出の処理の精度が低下する。
そこで、領域特定部356では、撮像画像に映るスポット光像を用いて、多眼交換レンズ420の取り付け位置のずれ(量)としての取り付け誤差を検出することができる。
例えば、領域特定部356は、撮像画像から、その撮像画像に映るスポット光像に関するスポット光情報SI'を生成し、そのスポット光情報SI'とスポット光情報SIとの差を、取り付け誤差として検出することができる。
さらに、領域特定部356は、取り付け誤差を用いて、視点関連情報VIを補正し、取り付け誤差に応じてずれた個眼画像の位置を特定するための情報としての視点関連情報VI'を生成することができる。
そして、領域抽出部353では、視点関連情報VI'を用いて、撮像画像から、個眼画像を精度良く切り出すことができる。さらに、視点関連情報VI'を用いて、個眼画像の視点の位置を正確に特定し、その視点の位置と個眼画像とを用いて、視差情報を精度良く求めることができる。
以上のように、カメラシステム300及び400では、個眼レンズ310ないし314と光源32L及び32Rとが一体的に繰り出すので、適切な処理を行うことができる。すなわち、取り付け誤差と装着誤差やその他さまざまな誤差を合わせたものを個眼画像位置誤差ということとすると、個眼レンズ310ないし314と光源32L及び32Rとが繰り出し部23と一体に動くことで、どの繰り出し位置でもどのような原因で生じた個眼画像位置誤差かを気にすることなく、視点関連情報と検出したスポット光の位置からの位置ずれを検出して、全体画像内の個眼画像の正確な位置を特定することができる。
<本技術を適用したコンピュータの説明>
次に、上述した領域特定部52や、画像処理部53、位置算出部57、スポット光像検出部62、繰り出し量検出部64、領域抽出部353、及び、領域特定部356等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図33は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク905やROM903に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ909によって駆動されるリムーバブル記録媒体911に格納(記録)しておくことができる。このようなリムーバブル記録媒体911は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体911としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体911からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク905にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)902を内蔵しており、CPU902には、バス901を介して、入出力インタフェース910が接続されている。
CPU902は、入出力インタフェース910を介して、ユーザによって、入力部907が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)903に格納されているプログラムを実行する。あるいは、CPU902は、ハードディスク905に格納されたプログラムを、RAM(Random Access Memory)904にロードして実行する。
これにより、CPU902は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU902は、その処理結果を、必要に応じて、例えば、入出力インタフェース910を介して、出力部906から出力、あるいは、通信部908から送信、さらには、ハードディスク905に記録等させる。
なお、入力部907は、キーボードや、マウス、マイク等で構成される。また、出力部906は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
<1>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備える交換レンズ。
<2>
前記光源は、前記平行光を、前記光軸から傾いた斜め方向に照射する
<1>に記載の交換レンズ。
<3>
前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
<2>に記載の交換レンズ。
<4>
前記光源を複数個備える
<1>ないし<3>のいずれかに記載の交換レンズ。
<5>
前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
<1>ないし<4>のいずれかに記載の交換レンズ。
<6>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
を備える情報処理装置。
<7>
前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
<6>に記載の情報処理装置。
<8>
前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
<7>に記載の情報処理装置。
<9>
前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
<8>に記載の情報処理装置。
<10>
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
<9>に記載の情報処理装置。
<11>
前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
<8>ないし<10>のいずれかに記載の情報処理装置。
<12>
前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
<9>又は<10>に記載の情報処理装置。
<13>
前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
<9>又は<10>に記載の情報処理装置。
<14>
前記撮像個眼画像位置に応じて、前記撮像画像から前記個眼画像を抽出する抽出部をさらに備える
<8>ないし<13>のいずれかに記載の情報処理装置。
<15>
前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
<7>ないし<14>のいずれかに記載の情報処理装置。
<16>
前記検出部は、複数の前記光源からそれぞれ照射される複数の前記平行光のそれぞれに対応した複数の前記光像を検出する
<6>ないし<15>のいずれかに記載の情報処理装置。
<17>
前記レンズ部を備えるレンズ一体型の撮像装置である
<6>ないし<16>のいずれかに記載の情報処理装置。
<18>
前記レンズ部が交換レンズとして装着可能な撮像装置である
<6>ないし<16>のいずれかに記載の情報処理装置。
<19>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
前記検出ステップの検出結果に応じて、処理を行う処理ステップと
を含む情報処理方法。
<20>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
して、コンピュータを機能させるためのプログラム。
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備える交換レンズ。
<2>
前記光源は、前記平行光を、前記光軸から傾いた斜め方向に照射する
<1>に記載の交換レンズ。
<3>
前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
<2>に記載の交換レンズ。
<4>
前記光源を複数個備える
<1>ないし<3>のいずれかに記載の交換レンズ。
<5>
前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
<1>ないし<4>のいずれかに記載の交換レンズ。
<6>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
を備える情報処理装置。
<7>
前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
<6>に記載の情報処理装置。
<8>
前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
<7>に記載の情報処理装置。
<9>
前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
<8>に記載の情報処理装置。
<10>
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
<9>に記載の情報処理装置。
<11>
前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
<8>ないし<10>のいずれかに記載の情報処理装置。
<12>
前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
<9>又は<10>に記載の情報処理装置。
<13>
前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
<9>又は<10>に記載の情報処理装置。
<14>
前記撮像個眼画像位置に応じて、前記撮像画像から前記個眼画像を抽出する抽出部をさらに備える
<8>ないし<13>のいずれかに記載の情報処理装置。
<15>
前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
<7>ないし<14>のいずれかに記載の情報処理装置。
<16>
前記検出部は、複数の前記光源からそれぞれ照射される複数の前記平行光のそれぞれに対応した複数の前記光像を検出する
<6>ないし<15>のいずれかに記載の情報処理装置。
<17>
前記レンズ部を備えるレンズ一体型の撮像装置である
<6>ないし<16>のいずれかに記載の情報処理装置。
<18>
前記レンズ部が交換レンズとして装着可能な撮像装置である
<6>ないし<16>のいずれかに記載の情報処理装置。
<19>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
前記検出ステップの検出結果に応じて、処理を行う処理ステップと
を含む情報処理方法。
<20>
鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
して、コンピュータを機能させるためのプログラム。
10 カメラ本体, 11 カメラマウント, 20 多眼交換レンズ, 21 鏡筒, 22 レンズマウント, 23 繰り出し部, 310ないし314 個眼レンズ, 32L,32R,32U,32D 光源, 41 記憶部, 42 通信部, 43 制御部, 51 イメージセンサ, 52 領域特定部, 53 画像処理部, 54 表示部, 55 記憶部, 56 通信部, 57 位置算出部, 61 制御部, 62 スポット光像検出部, 63 繰り出し量情報記憶部, 64 繰り出し量検出部, 101 キャリブレーションデータ生成部, 102 キャリブレーションデータ記憶部, 103 補間部, 104 視差情報生成部, 121 筐体, 122 LED, 123,124 レンズ, 211 個眼画像位置情報修正部, 212 個眼画像抽出部, 221 関連付け部, 230 ポスト処理装置, 231 領域特定部, 232 画像処理部, 233 表示部, 234 記録部, 235 伝送部, 241 個眼画像位置情報修正部, 242 個眼画像抽出部, 250 ポスト処理装置, 300 カメラシステム, 320 レンズ部, 351 イメージセンサ, 352 RAW信号処理部, 353 領域抽出部, 354 カメラ信号処理部, 355 スルー画像生成部, 356 領域特定部, 357 画像再構成処理部, 360 バス, 361 表示部, 362 記憶部, 363 記憶媒体, 364 通信部, 365 ファイル化部, 370 関連付け部, 381 制御部, 382 光学系制御部, 400 カメラシステム, 410 カメラ本体, 420 多眼交換レンズ, 441,451 通信部, 452 記憶部, 453 記憶媒体, 901 バス, 902 CPU, 903 ROM, 904 RAM, 905 ハードディスク, 906 出力部, 907 入力部, 908 通信部, 909 ドライブ, 910 入出力インタフェース, 911 リムーバブル記録媒体
Claims (20)
- 鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備える交換レンズ。 - 前記光源は、前記平行光を、前記光軸から傾いた斜め方向に照射する
請求項1に記載の交換レンズ。 - 前記光源は、前記可動部の前記光軸中心と異なる位置に配置されており、前記平行光を前記光軸の中心に向かって傾いた斜め方向に照射する
請求項2に記載の交換レンズ。 - 前記光源を複数個備える
請求項1に記載の交換レンズ。 - 前記イメージセンサに照射される前記光源の位置を示すスポット光位置情報、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す個眼画像位置情報を記憶する記憶部をさらに備える
請求項1に記載の交換レンズ。 - 鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
を備える情報処理装置。 - 前記検出部は、前記撮像画像における前記光像の位置である検出光像位置を検出する
請求項6に記載の情報処理装置。 - 前記処理部は、前記検出光像位置に応じて、前記撮像画像における、前記個眼レンズの位置を視点とする個眼画像の位置である撮像個眼画像位置を特定する
請求項7に記載の情報処理装置。 - 前記イメージセンサに照射される前記光源の位置を示す記憶光像位置、及び、前記イメージセンサにおける前記複数の個眼レンズから出射される各撮像光の出射位置を示す記憶個眼画像位置を記憶する記憶部をさらに備え、
前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記撮像個眼画像位置を特定する
請求項8に記載の情報処理装置。 - 前記処理部は、前記記憶光像位置と前記検出光像位置との関係に基づいて、前記記憶個眼画像位置を補正することで、前記撮像個眼画像位置を特定する
請求項9に記載の情報処理装置。 - 前記撮像画像と前記撮像個眼画像位置とを関連付ける関連付け部をさらに備える
請求項8に記載の情報処理装置。 - 前記記憶光像位置、前記検出光像位置、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
請求項9に記載の情報処理装置。 - 前記記憶光像位置、前記記憶光像位置と前記検出光像位置との差分、及び、前記記憶個眼画像位置と、前記撮像画像とを関連付ける関連付け部をさらに備える
請求項9に記載の情報処理装置。 - 前記撮像個眼画像位置に応じて、前記撮像画像から前記個眼画像を抽出する抽出部をさらに備える
請求項8に記載の情報処理装置。 - 前記処理部は、前記検出光像位置に応じて、前記可動部の繰り出し量を検出する
請求項7に記載の情報処理装置。 - 前記検出部は、複数の前記光源からそれぞれ照射される複数の前記平行光のそれぞれに対応した複数の前記光像を検出する
請求項6に記載の情報処理装置。 - 前記レンズ部を備えるレンズ一体型の撮像装置である
請求項6に記載の情報処理装置。 - 前記レンズ部が交換レンズとして装着可能な撮像装置である
請求項6に記載の情報処理装置。 - 鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出ステップと、
前記検出ステップの検出結果に応じて、処理を行う処理ステップと
を含む情報処理方法。 - 鏡筒と、
前記鏡筒に対し、光軸に沿って移動可能に構成された可動部と、
前記可動部と一体となって移動可能に構成され、各個眼レンズを介して出射される撮像光の出射位置が互いに重ならないように配置された複数の個眼レンズと、
前記可動部及び前記複数の個眼レンズと一体となって前記光軸に沿って移動可能に構成され、カメラ本体に設けられたイメージセンサに照射する平行光の出射位置が、前記複数の個眼レンズのそれぞれの撮像光の出射位置と重ならないように配置された1又は複数個の光源と
を備えるレンズ部の前記光源から照射される前記平行光の、前記イメージセンサで撮像される撮像画像上の光像を検出する検出部と、
前記検出部の検出結果に応じて、処理を行う処理部と
して、コンピュータを機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019079519 | 2019-04-18 | ||
JP2019079519 | 2019-04-18 | ||
PCT/JP2020/016387 WO2020213594A1 (ja) | 2019-04-18 | 2020-04-14 | 交換レンズ、情報処理装置、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020213594A1 JPWO2020213594A1 (ja) | 2020-10-22 |
JP7363892B2 true JP7363892B2 (ja) | 2023-10-18 |
Family
ID=72837811
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021514164A Active JP7363892B2 (ja) | 2019-04-18 | 2020-04-14 | 交換レンズ、情報処理装置、情報処理方法、及び、プログラム |
JP2021514165A Active JP7416057B2 (ja) | 2019-04-18 | 2020-04-14 | 交換レンズ、情報処理装置、情報処理方法、及び、プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021514165A Active JP7416057B2 (ja) | 2019-04-18 | 2020-04-14 | 交換レンズ、情報処理装置、情報処理方法、及び、プログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11868029B2 (ja) |
EP (2) | EP3958056A4 (ja) |
JP (2) | JP7363892B2 (ja) |
KR (2) | KR20210151815A (ja) |
CN (2) | CN113661442A (ja) |
WO (2) | WO2020213595A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12008681B2 (en) * | 2022-04-07 | 2024-06-11 | Gm Technology Operations Llc | Systems and methods for testing vehicle systems |
TWI819894B (zh) * | 2022-11-14 | 2023-10-21 | 緯創資通股份有限公司 | 儲存多鏡頭錄製檔的方法以及多鏡頭錄製裝置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037472A1 (ja) | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
JP2015148765A (ja) | 2014-02-07 | 2015-08-20 | オリンパス株式会社 | 撮像装置、表示装置、光学装置、及び撮像システム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10268391A (ja) * | 1997-03-25 | 1998-10-09 | Konica Corp | カメラ及び照明装置 |
US7236306B2 (en) * | 2005-02-18 | 2007-06-26 | Eastman Kodak Company | Digital camera using an express zooming mode to provide expedited operation over an extended zoom range |
JP4843344B2 (ja) * | 2005-03-18 | 2011-12-21 | 株式会社リコー | 照明装置及び画像読取装置 |
US7999873B2 (en) | 2005-11-22 | 2011-08-16 | Panasonic Corporation | Imaging device with plural lenses and imaging regions |
JP4773841B2 (ja) | 2006-02-17 | 2011-09-14 | キヤノン株式会社 | 撮像装置 |
WO2008016035A1 (en) * | 2006-08-01 | 2008-02-07 | Panasonic Corporation | Camera device, liquid lens and image pickup method |
JP2009003191A (ja) | 2007-06-21 | 2009-01-08 | Olympus Corp | 撮像装置 |
JP2009003190A (ja) * | 2007-06-21 | 2009-01-08 | Olympus Corp | 撮像装置 |
KR101445185B1 (ko) | 2008-07-10 | 2014-09-30 | 삼성전자주식회사 | 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법 |
JP5161702B2 (ja) * | 2008-08-25 | 2013-03-13 | キヤノン株式会社 | 撮像装置、撮像システム、及び焦点検出方法 |
CN102131044B (zh) | 2010-01-20 | 2014-03-26 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
EP2571246A1 (en) * | 2010-05-14 | 2013-03-20 | Panasonic Corporation | Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, method for controlling interchangeable lens unit, program, and recording medium on which program is recorded |
JP2015037472A (ja) | 2013-08-17 | 2015-02-26 | セイコーエプソン株式会社 | 画像処理システム及び画像処理システムの制御方法 |
CN103870805B (zh) * | 2014-02-17 | 2017-08-15 | 北京释码大华科技有限公司 | 一种移动终端生物特征成像方法和装置 |
EA034651B1 (ru) * | 2015-06-15 | 2020-03-03 | Эгроувинг Лтд | Устройство формирования многоспектральных изображений |
EP3320398A1 (en) * | 2015-07-07 | 2018-05-16 | Essilor International | A light collecting device |
EP3128750A1 (en) * | 2015-08-04 | 2017-02-08 | Thomson Licensing | Plenoptic camera and method of controlling the same |
JP6702796B2 (ja) * | 2016-05-16 | 2020-06-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
-
2020
- 2020-04-14 US US17/602,861 patent/US11868029B2/en active Active
- 2020-04-14 KR KR1020217032525A patent/KR20210151815A/ko active Search and Examination
- 2020-04-14 CN CN202080027815.2A patent/CN113661442A/zh active Pending
- 2020-04-14 CN CN202080027818.6A patent/CN113678060A/zh active Pending
- 2020-04-14 JP JP2021514164A patent/JP7363892B2/ja active Active
- 2020-04-14 WO PCT/JP2020/016388 patent/WO2020213595A1/ja active Application Filing
- 2020-04-14 KR KR1020217032532A patent/KR20210148172A/ko active Search and Examination
- 2020-04-14 EP EP20792181.8A patent/EP3958056A4/en active Pending
- 2020-04-14 WO PCT/JP2020/016387 patent/WO2020213594A1/ja active Application Filing
- 2020-04-14 JP JP2021514165A patent/JP7416057B2/ja active Active
- 2020-04-14 US US17/602,862 patent/US11899342B2/en active Active
- 2020-04-14 EP EP20791227.0A patent/EP3958055A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037472A1 (ja) | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
JP2015148765A (ja) | 2014-02-07 | 2015-08-20 | オリンパス株式会社 | 撮像装置、表示装置、光学装置、及び撮像システム |
Also Published As
Publication number | Publication date |
---|---|
US20220179291A1 (en) | 2022-06-09 |
JPWO2020213594A1 (ja) | 2020-10-22 |
EP3958055A4 (en) | 2022-06-15 |
US11899342B2 (en) | 2024-02-13 |
CN113661442A (zh) | 2021-11-16 |
CN113678060A (zh) | 2021-11-19 |
EP3958056A4 (en) | 2022-06-15 |
JP7416057B2 (ja) | 2024-01-17 |
KR20210148172A (ko) | 2021-12-07 |
EP3958056A1 (en) | 2022-02-23 |
KR20210151815A (ko) | 2021-12-14 |
US20220179292A1 (en) | 2022-06-09 |
WO2020213595A1 (ja) | 2020-10-22 |
WO2020213594A1 (ja) | 2020-10-22 |
EP3958055A1 (en) | 2022-02-23 |
JPWO2020213595A1 (ja) | 2020-10-22 |
US11868029B2 (en) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106412426B (zh) | 全聚焦摄影装置及方法 | |
JP6055332B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
CN1226864C (zh) | 图象感测设备及黑斑校正方法 | |
JP7363892B2 (ja) | 交換レンズ、情報処理装置、情報処理方法、及び、プログラム | |
US11538193B2 (en) | Methods and systems for calibrating a camera | |
JP7180608B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ | |
JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
JP2016015017A (ja) | 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム | |
JP7118776B2 (ja) | 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP2014155071A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
WO2016052052A1 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
WO2021124941A1 (ja) | 撮像装置、情報処理方法、プログラム、および交換レンズ | |
WO2021124942A1 (ja) | 撮像装置、情報処理方法、およびプログラム | |
JP2015080125A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2018054413A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
KR20170102755A (ko) | 라이트필드 카메라용 오토포커싱 장치 및 그 방법 | |
JP2021127998A (ja) | 距離情報取得装置および距離情報取得方法 | |
KR20130019582A (ko) | 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법 | |
JP2022025360A (ja) | 撮影装置、方法及びプログラム | |
WO2021124940A1 (ja) | 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ | |
JP2005216191A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP2019066186A (ja) | 撮像装置及び撮像装置の距離算出方法 | |
WO2020188929A1 (ja) | 撮像装置、情報処理方法、およびプログラム | |
WO2019138925A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ | |
JP2023132730A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7363892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |