JPWO2019138925A1 - 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ - Google Patents

Abstract

本技術は、複数の視点の画像のシェーディングを適切に補正することができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。通信部は、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個のイメージセンサで撮像される撮像画像上の、複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信する。補正部は、シェーディング情報に基づいて、イメージセンサで撮像される撮像画像上の、複数の個眼レンズそれぞれに対応する複数の個眼画像それぞれのシェーディングの補正を行う。本技術は、例えば、画像を撮像するカメラシステム等に適用することができる。

Description

本技術は、情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関し、特に、例えば、複数の視点の画像のシェーディングを適切に補正することができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。

例えば、特許文献１には、シェーディングの影響を考慮して画像を合成する画像処理装置が記載されている。

特許第３５３９３９４号公報

リフォーカス等の特定の画像処理を行うにあたっては、複数の視点の画像を撮像することが必要となる。

一般に、画像の撮像においては、シェーディングが生じる。したがって、複数の視点の画像を撮像する場合にも、シェーディングが生じるので、複数の視点の画像のシェーディングを適切に補正する必要がある。

本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像のシェーディングを適切に補正することができるようにするものである。

本技術の情報処理装置又はプログラムは、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信する通信部と、前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行う補正部とを備える情報処理装置、又は、そのような情報処理装置としてコンピュータを機能させるためのプログラムである。

本技術の情報処理方法は、情報処理装置が、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信することと、前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行うこととを含む情報処理方法である。

本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報が受信される。そして、前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正が補正される。

本技術の交換レンズは、光軸方向に重ならないように配置された複数のレンズである個眼レンズと、イメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を記憶する記憶部と、前記シェーディング情報を外部に送信する通信部とを備える交換レンズである。

本技術の交換レンズにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズが設けられており、イメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報が記憶されている。前記シェーディング情報は外部に送信される。

なお、情報処理装置は、独立した装置であっても良いし、１個の装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、複数の視点の画像のシェーディングを適切に補正することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。 カメラ本体１０の背面の構成例を示す背面図である。 カメラシステムの電気的構成例を示すブロック図である。 多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。 多眼交換レンズ２０における個眼レンズ３１₁ないし３１₄の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。 レンズシェーディングについて説明する図である。 一般的な一眼の交換レンズがカメラ本体１０に装着された場合の撮像画像のレンズシェーディングのシェーディング特性の例を示す図である。 多眼交換レンズ２０がカメラ本体１０に装着された場合のレンズシェーディングの第１のシェーディング補正を説明する図である。 多眼交換レンズ２０がカメラ本体１０に装着された場合の第２のシェーディング補正を説明する図である。 カメラ本体１０のイメージセンサ５１の光線の受光の指向性を説明する図である。 一眼の交換レンズがカメラ本体１０に装着された場合の撮像画像のセンサシェーディングのシェーディング特性の例を示す図である。 射出瞳の位置と画素の出力ａとの関係の例を示す図である。 多眼交換レンズ２０がカメラ本体１０に装着された場合のセンサシェーディングのシェーディング特性を説明する図である。 多眼交換レンズ２０がカメラ本体１０に装着された場合の撮像画像のトータルシェーディングのシェーディング特性の例を示す図である。 図３の補正部５３が行うシェーディング補正を説明するフローチャートである。 領域特定部５４が行う、撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。 画像処理部５５のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。 画像処理部５５が行う画像処理の例を説明するフローチャートである。 多眼交換レンズ２０の他の構成例を示す背面図である。 補間部８２での補間画像の生成の例を説明する図である。 視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。 集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。 ディスパリティ変換の例を説明する図である。 リフォーカスを行う集光処理の例を説明するフローチャートである。 サーバを利用して、レンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報を取得する処理の例を説明する図である。 シェーディング補正をクラウド上で行う場合のシェーディング補正システムの構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用したカメラシステムの一実施の形態＞

図１は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。

カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。

カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が取り付けられることで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。

カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。

多眼交換レンズ２０は、鏡筒２１及びレンズマウント２２を有する。

鏡筒２１には、光軸方向に（見て）重ならないように、複数のレンズである４個の個眼レンズ３１₁，３１₂，３１₃、及び、３１₄が配置されている。図１では、鏡筒２１において、４個の個眼レンズ３１₁ないし３１₄が、光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上の菱形の頂点となる４つの位置に配置されている。

個眼レンズ３１₁ないし３１₄は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。

なお、ここでは、カメラ本体１０は、１個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１₁ないし３１₄により集光される光線は、図示せぬ光学系を介して、３つのイメージセンサのそれぞれに照射される。

レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に取り付けられる。

なお、図１では、多眼交換レンズ２０に、４個の個眼レンズ３１₁ないし３１₄が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、４個に限定されるものではなく、２個や３個、５個以上の任意の複数の数を採用することができる。

さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、菱形の頂点となる位置に配置する他、２次元平面上の任意の位置に配置することができる。

また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。

多眼交換レンズ２０において、複数としての４個の個眼レンズ３１₁ないし３１₄それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、光軸がイメージセンサ５１の受光面と直交するように配置されている。

かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステムでは、イメージセンサ５１において、４個の個眼レンズ３１₁ないし３１₄それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像（撮像画像）が撮像される。

いま、１個の個眼レンズ３１_i（ここでは、i=1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、１個のイメージセンサ５１で撮像される撮像画像には、４個の個眼レンズ３１₁ないし３１₄それぞれに対する４個の個眼画像（個眼レンズ３１₁ないし３１₄それぞれにより集光される光線により形成される像に対応する画像）が含まれる。

個眼レンズ３１_iに対する個眼画像は、個眼レンズ３１_iの位置を視点とする画像であり、したがって、個眼レンズ３１₁ないし３１₄それぞれに対する４個の個眼画像は、異なる視点の画像である。

図２は、カメラ本体１０の背面の構成例を示す背面図である。

ここで、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。

カメラ本体１０の背面には、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される表示部５６が設けられている。表示部５６には、いわゆるスルー画や、メニュー、カメラ本体１０の設定等の情報が表示される。

図３は、図１のカメラシステムの電気的構成例を示すブロック図である。

カメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。記憶部４１及び通信部４２は、例えば、マイクロコンピュータ（マイクロコントローラ）で構成することができる。

記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、多眼交換レンズ２０がカメラ本体１０に装着されたときに（１個の）イメージセンサ５１で撮像される撮像画像上の、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像それぞれのシェーディングに関するシェーディング情報が含まれる。

シェーディング情報は、例えば、レンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報を含む。

レンズ位置情報は、多眼交換レンズ２０が有する複数の個眼レンズ３１₁ないし３１₄それぞれの位置を表す情報であり、レンズシェーディング情報は、多眼交換レンズ２０が有する複数の個眼レンズ３１₁ないし３１₄それぞれによって生じるシェーディングであるレンズシェーディングに関する情報である。射出瞳位置情報は、多眼交換レンズ２０が有する複数の個眼レンズ３１₁ないし３１₄それぞれの射出瞳の位置を表す情報であり、射出瞳径情報は、多眼交換レンズ２０が有する複数の個眼レンズ３１₁ないし３１₄それぞれの射出瞳の径を表す情報である。

また、シェーディング情報としては、レンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報以外の、撮像画像上の各個眼画像のシェーディングに関する情報を採用することができる。例えば、多眼交換レンズ２０に対して、ユニークなレンズID(Identification)が割り当てられており、かつ、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報とが対応付けられたデータベースが用意されている場合には、シェーディング情報としては、多眼交換レンズ２０のレンズIDを採用することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報を取得することができる。

通信部４２は、カメラ本体１０の後述する通信部５２との間で、有線又は無線による通信（ボディレンズ交信）を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。

通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、カメラ本体１０の通信部５２と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５２に送信する。

カメラ本体１０は、イメージセンサ５１、通信部５２、補正部５３、領域特定部５４、画像処理部５５、表示部５６、及び、記憶部５７を有する。通信部５２、さらには、補正部５３や領域特定部５４は、例えば、マイクロコンピュータ（マイクロコントローラ）で構成することができる。

イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１₁ないし３１₄それぞれにより集光される光線が照射される。

イメージセンサ５１は、個眼レンズ３１₁ないし３１₄それぞれにより集光される光線を受光して光電変換を行うことにより、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像（個眼レンズ３１₁ないし３１₄それぞれにより集光される光線により形成される像に対応する個眼画像）を含む撮像画像を撮像し、補正部５３に供給する。

通信部５２は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。

通信部５２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、補正部５３に供給する。

補正部５３には、イメージセンサ５１から撮像画像が供給される他、通信部５２から、その通信部５２が、多眼交換レンズ２０から受信したレンズ情報が供給される。また、補正部５３は、カメラ本体１０が有するイメージセンサ５１によって生じるシェーディングであるセンサシェーディングに関するセンサシェーディング情報（画素ごとの受光指向特性）を記憶している。

ここで、イメージセンサ５１の各画素による光線の受光には、指向性がある。すなわち、画素において、同じ強度の光線を受光する場合、正面方向から入射する光線を受光したときの画素の出力と、斜め方向から入射する光線を受光したときの画素の出力とは、異なる。このようなイメージセンサ５１の受光の指向性を原因として生じる光量（輝度）落ちがセンサシェーディングであり、イメージセンサ５１の受光の指向性に関する情報が、イメージセンサ５１のセンサシェーディング情報である。

補正部５３は、通信部５２からのレンズ情報に含まれるシェーディング情報、及び、イメージセンサ５１のセンサシェーディング情報に基づいて、多眼交換レンズ２０及びイメージセンサ５１によって生じるシェーディングであるトータルシェーディング、すなわち、イメージセンサ５１が、多眼交換レンズ２０が集光する光を受光することにより撮像される撮像画像のトータルシェーディングに関するトータルシェーディング情報を求め、そのトータルシェーディング情報に基づいて、イメージセンサ５１からの撮像画像のシェーディング（トータルシェーディング）を補正するシェーディング補正を行う。シェーディング補正では、シェーディングにより低下した画素値（輝度等）が補正される。さらに、補正部５３は、シェーディング補正後の撮像画像を、レンズ位置情報とともに、領域特定部５４に供給する。

ここで、イメージセンサ５１のセンサシェーディング情報としては、輝度のシェーディングに関する情報を採用することができる。また、イメージセンサ５１のセンサシェーディングとしては、複数の色それぞれのシェーディングに関する情報を採用することができる。

イメージセンサ５１で生じるセンサシェーディングは、複数の色、例えば、R(Red)、G(Green)、及び、B(Blue)の色それぞれによって異なる場合がある。すなわち、イメージセンサ５１では、色によって異なる色シェーディング（色ムラ）が発生する場合がある。

そこで、補正部５３には、R、G、及び、Bの色それぞれの色シェーディングに関する色シェーディング情報を含むセンサシェーディング情報を記憶させることができる。この場合、補正部５３は、色シェーディングを補正することができる。

領域特定部５４は、補正部５３からのレンズ位置情報に基づいて、補正部５３からの撮像画像上の、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。

ここで、領域特定部５４は、例えば、撮像画像と、その撮像画像上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５４は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。

以下では、説明を簡単にするため、例えば、領域特定部５４は、撮像画像から抽出した各個眼画像（ここでは、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。

領域特定部５４が出力する個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像は、画像処理部５５に供給される。

画像処理部５５は、領域特定部５４からの個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像、すなわち、個眼レンズ３１₁ないし３１₄それぞれの位置を視点とする、異なる視点の個眼画像を用いて、例えば、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５６及び記憶部５７に供給する。

表示部５６は、例えば、画像処理部５５から供給される処理結果画像等を、図２で説明したようにスルー画として表示する。

記憶部５７は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５５から供給される処理結果画像を記憶する。

＜多眼交換レンズ２０を用いて行われる撮像の概要＞

図４は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。

多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１_iにおいて光線が集光されることにより形成される像に対応する個眼画像を含む撮像画像が撮像される。

ここで、本明細書では、個眼レンズ３１_iの光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。

さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１_iの位置の左右と、その個眼レンズ３１_iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１_iの位置、被写体等の左右を記述する。

図５は、多眼交換レンズ２０における個眼レンズ３１₁ないし３１₄の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。

図５のＡは、多眼交換レンズ２０における個眼レンズ３１₁ないし３１₄の配置の例を示す背面図である。

図１で説明したように、個眼レンズ３１₁ないし３１₄は、イメージセンサ５１の受光面に平行な２次元平面上の菱形の頂点となる４つの位置に配置されている。

個眼レンズ３１₁ないし３１₄のうちの、例えば、個眼レンズ３１₁を基準とすると、図５では、個眼レンズ３１₂は、個眼レンズ３１₁の右に配置されている。そして、個眼レンズ３１₃は、個眼レンズ３１₁の左下に配置され、個眼レンズ３１₄は、個眼レンズ３１₁の右下に配置されている。

図５のＢは、図５のＡのように個眼レンズ３１₁ないし３１₄が配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。

複数の個眼レンズ３１₁ないし３１₄を有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、複数の個眼レンズ３１₁ないし３１₄それぞれにより集光される光線により形成される像に対応する個眼画像E1，E2，E3，E4が含まれる。

領域特定部５４（図３）は、レンズ位置情報に基づき、各個眼レンズ３１_iについて、その個眼レンズ３１_iを通過した光線のみが照射される撮像画像上の領域のうちの、個眼レンズ３１_iの光軸（に対応する位置）を中心とする所定サイズの長方形状の領域を、個眼レンズ３１_iに対する個眼画像E#iの領域として特定する。

これにより、個眼レンズ３１_iに対する個眼画像E#iは、個眼レンズ３１_iの位置から、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１_iの位置を視点とする撮像により得られる画像になる。

＜シェーディング補正処理＞

図６は、レンズシェーディングについて説明する図である。

図６においては、左から右方向の軸をX軸とするとともに、下から上方向の軸をY軸とする２次元座標系が示されており、１個のレンズの光軸からの距離がrで表されている。

レンズでは、例えば、コサイン４乗則で表されるような、レンズの光軸から離れた位置に集光される光線ほど光量が低下するレンズシェーディングと呼ばれる光量落ちが発生する。

レンズシェーディングによる光量落ちの程度（光量の低下量）は、レンズの光軸に対して回転対称であり、光軸からの距離（像高）rの関数で表すことができる。

カメラ本体１０に、一般的な一眼の交換レンズが装着された場合、その一眼の交換レンズの光軸上には、その一眼の交換レンズが装着されたカメラ本体１０が有するイメージセンサ５１の中心が存在する。この場合、レンズシェーディングによる光量の低下量を表すレンズの光軸からの距離rの関数は、撮像画像上のレンズシェーディングによる光量の低下量を表す撮像画像の中心からの距離rの関数としてそのまま用いる（適用する）ことができる。したがって、カメラ本体１０は、その距離rの関数を用いて、撮像画像のレンズシェーディングによる光量落ちを補正することができる。

撮像画像のレンズシェーディングの補正（シェーディング補正）は、例えば、撮像画像の画素値に、レンズシェーディングを表す関数に応じたゲインをかけて、画素値を補正することにより行われる。但し、シェーディング補正では、撮像画像の全体の明るさが均一になるように画素値を補正するのではなく、シェーディングによる光量落ちが目立たない程度に自然な撮像画像となるように画素値の補正が行われる。すなわち、シェーディング補正において、シェーディングによる光量落ちをすべて回復するように、撮像画像の画素値を補正すると、撮像画像の全体の明るさが均一になり、シェーディング補正後の撮像画像が不自然な画像になることがある。そのため、シェーディング補正では、シェーディングによる光量落ちをすべて回復するように、撮像画像の画素値を補正するのではなく、光量落ちの一部を回復するように、画素値が補正される。このようなシェーディング補正を行うことで、シェーディング補正後の撮像画像が不自然な画像になることが防止される。

一般的な一眼の交換レンズは、カメラ本体１０に装着されたときに、カメラ本体１０と通信を行い、レンズシェーディング情報として、例えば、レンズの中心からの距離（像高）rに応じてどのように光量が変化するかの情報（例えば、上述の距離rの関数）をカメラ本体１０に送信する。カメラ本体１０では、一眼の交換レンズから送信されてくるレンズシェーディング情報に基づいて、一眼の交換レンズのレンズ周辺での光量落ちが目立たなくなるように、シェーディング補正が行われる。

なお、撮像画像のトータルシェーディング、すなわち、一眼の交換レンズとイメージセンサ５１とによるトータルシェーディングの補正には、一眼の交換レンズのレンズシェーディング、その一眼の交換レンズの射出瞳の位置及び径、並びに、イメージセンサ５１のセンサシェーディングから求められるトータルシェーディングから、そのトータルシェーディングのシェーディング補正を行う補正量としてのゲインを求める必要がある。

但し、シェーディング補正では、上述したように、シェーディングによる光量落ちをすべて回復するように、撮像画像の画素値を補正するわけではないため、レンズシェーディングから、トータルシェーディングのシェーディング補正を行う適切な補正量としてのゲインが求められても（推定されても）よい。

図７は、一眼の交換レンズがカメラ本体１０に装着された場合の撮像画像のレンズシェーディングのシェーディング特性の例を示す図である。

図７では、横軸は、イメージセンサ５１上の位置、すなわち、撮像画像上の位置を表し、縦軸は、レンズシェーディングによる光量落ちがない場合の撮像画像の画素値としての輝度に対する、レンズシェーディングによる光量落ちがある場合の撮像画像の画素値としての輝度（輝度比）を表す。また、中心0は、イメージセンサ５１の中心、すなわち、撮像画像の中心を表す。一眼の交換レンズがカメラ本体１０に装着された場合、撮像画像の中心0（イメージセンサ５１の中心0）は、一眼の交換レンズ（が有する１眼としてのレンズ）の光軸上に存在する。

図７のレンズシェーディングのシェーディング特性によれば、撮像画像において、撮像画像の中心Oから離れた位置ほど、輝度比が小さくなること、すなわち、レンズシェーディングによる光量落ちが大きくなることが分かる。なお、ここでは、説明を簡単にするため、レンズシェーディングだけを考え、センサシェーディングは考えないこととする。

一眼の交換レンズがカメラ本体１０に装着された場合のレンズシェーディングのシェーディング補正では、レンズシェーディングによる光量落ちをすべて回復するように、つまり、輝度比が撮像画像全体に亘って1.0になるように、画素値が補正されるのではなく、光量落ちの一部を回復するように画素値が補正される。

以上のように、撮像画像の中心Oから離れた位置ほど、輝度比が小さくなるレンズシェーディングを補正するシェーディング補正を、第１のシェーディング補正ともいう。

図８は、多眼交換レンズ２０がカメラ本体１０に装着された場合のレンズシェーディングの第１のシェーディング補正を説明する図である。

なお、図８では、説明を簡単にするため、多眼交換レンズ２０が、３個の個眼レンズ３１₁ないし３１₃を有し、その３個の個眼レンズ３１₁ないし３１₃が、光軸方向に重ならないように、水平方向に一列に並んで配置されていることとする。また、図８では、図７と同様に、レンズシェーディングだけを考え、センサシェーディングは考えないこととする。

また、図８では、横軸は、イメージセンサ５１上の位置、すなわち、撮像画像上の位置を表し、縦軸は、レンズシェーディングによる光量落ちがない場合の撮像画像の画素値としての輝度に対する、レンズシェーディングによる光量落ちがある場合の撮像画像の画素値としての輝度（輝度比）を表す。また、中心0は、イメージセンサ５１の中心、すなわち、撮像画像の中心を表す。さらに、イメージセンサ５１で撮像される撮像画像には、個眼レンズ３１₁ないし３１₃に対する個眼画像が含まれる。

図８のＡは、多眼交換レンズ２０がカメラ本体１０に装着された場合の撮像画像のレンズシェーディングのシェーディング特性の例を示している。

図８のＡの撮像画像上の個眼レンズ３１₁に対する個眼画像では、個眼レンズ３１₁の中心、すなわち、個眼画像の中心から離れるほど輝度比が下がっている。個眼レンズ３１₂に対する個眼画像と個眼レンズ３１₃に対する個眼画像とについても同様である。

図８のＢは、図８のＡに示すレンズシェーディングのシェーディング特性の撮像画像に、第１のシェーディング補正を行って得られるシェーディング補正後の撮像画像の輝度比を示している。

第１のシェーディング補正では、レンズの光軸と、撮像画像の中心Oとが一致すること（撮像画像の中心Oが光軸上にあること）を前提として、個眼画像の中心ではなく、撮像画像の中心Oから周辺の位置に向かって輝度比が低下する図７に示すようなレンズシェーディングのシェーディング特性に基づいて、撮像画像の画素値が補正される。

しかしながら、多眼交換レンズ２０が装着されたカメラ本体１０では、多眼交換レンズ２０が有する個眼レンズ３１_iの光軸と、イメージセンサ５１との中心O、すなわち、撮像画像の中心Oとは、必ずしも一致するとは限らない。そのため、多眼交換レンズ２０で撮像される撮像画像に対して、レンズの光軸と、撮像画像の中心Oとが一致することを前提とする第１のシェーディング補正を行った場合、撮像画像のシェーディング補正後の各個眼画像の輝度比は、図８のＢに示すように、各個眼レンズ３１_iのレンズシェーディングを補正するような輝度比にならず、各個眼画像に適切なシェーディング補正を行うことが困難となる。

その結果、多眼交換レンズ２０で撮像される撮像画像に対して第１のシェーディング補正を行うと、後段の画像処理部５５において、例えば、シェーディング補正後の撮像画像に含まれる個眼画像どうしの視差を、ステレオマッチング等によって求める場合に、そのステレオマッチングの対象とする２つの個眼画像の、同一の被写体が映る画素の輝度が異なるケースが生じ、正確な視差を求めることが困難となる。

なお、一眼の交換レンズがカメラ本体１０に装着された場合、その一眼の交換レンズ及びカメラ本体１０が有するイメージセンサ５１によるトータルシェーディングは、一眼の交換レンズのレンズシェーディング、一眼の交換レンズの射出瞳の位置（イメージセンサ５１からの距離）及び径、並びに、イメージセンサ５１のセンサシェーディングから求められる。この場合、トータルシェーディングは、射出瞳の中心と、撮像画像の中心O（イメージセンサ５１の中心O）とが一致することを前提として求められる。一方、多眼交換レンズ２０がカメラ本体１０に装着された場合は、個眼レンズ３１_iの射出瞳の中心と、撮像画像の中心Oとが一致するとは限らないため、レンズシェーディング、射出瞳の位置及び径、並びにセンサシェーディングだけから、トータルシェーディングを求めることは困難となる。すなわち、多眼交換レンズ２０がカメラ本体１０に装着された場合にトータルシェーディングを求めるためには、個眼レンズ３１_iの射出瞳の位置及び径、並びに、センサシェーディングの他、個眼レンズ３１_iの位置が必要になる。

図９は、多眼交換レンズ２０がカメラ本体１０に装着された場合の、その多眼交換レンズ２０用のレンズシェーディング補正である第２のシェーディング補正を説明する図である。

なお、図９では、図８と同様に、説明を簡単にするため、多眼交換レンズ２０が、３個の個眼レンズ３１₁ないし３１₃を有し、その３個の個眼レンズ３１₁ないし３１₃が、光軸方向に重ならないように、水平方向に一列に並んで配置されていることとする。また、図９では、図７及び図８と同様に、レンズシェーディングだけを考え、センサシェーディングは考えないこととする。

図９では、図８と同様に、横軸は、撮像画像上の位置を表し、縦軸は、輝度比を表す。

図９のＡは、多眼交換レンズ２０がカメラ本体１０に装着された場合の撮像画像のレンズシェーディングのシェーディング特性の例を示している。

図９のＡは、図８のＡと同一の図であるため、説明を省略する。

図９のＢは、図９のＡで示すレンズシェーディングのシェーディング特性の撮像画像に、第２のシェーディング補正を行って得られるシェーディング補正後の撮像画像の輝度比を示している。

第２のシェーディング補正では、通信部５２から供給されるシェーディング情報に含まれるレンズ位置情報から、イメージセンサ５１で撮像される撮像画像の、個眼レンズ３１_iに対応する個眼画像の位置（の中心）を把握し、撮像画像上の個眼画像のそれぞれの中心から周辺の位置に向かって輝度比が低下するレンズシェーディングのシェーディング特性に基づいて、撮像画像の画素値が補正される。すなわち、第２のシェーディング補正では、シェーディング情報に含まれる個眼レンズ３１_iのレンズ位置情報から個眼レンズ３１_iで撮像される個眼画像の中心の位置が把握され、各個眼画像に対して、レンズシェーディングの適切なシェーディング補正が行われる。

このように、適切なシェーディング補正が行われることで、後段の画像処理部５５において、例えば、シェーディング補正後の撮像画像に含まれる個眼画像どうしの視差を、ステレオマッチング等によって求める場合に、そのステレオマッチングの対象とする２つの個眼画像の、同一の被写体が映る画素の輝度が（ほぼ）同一になり、正確な視差が求められる。

図１０は、カメラ本体１０のイメージセンサ５１の光線の受光の指向性を説明する図である。

イメージセンサ５１は、一眼の（交換）レンズを介して入射する光線を受光して撮像を行うことを前提として、光線の受光について所定の指向性を有するように構成される。そして、かかるイメージセンサ５１の指向性を原因として、センサシェーディングと呼ばれる光量落ちが発生する。

すなわち、イメージセンサ５１は、レンズの光軸、つまり、射出瞳の中心がイメージセンサ５１の中心Oに存在することを前提として、イメージセンサ５１の中心O付近の画素については、正面方向からの光線RCの受光感度が、右端付近の画素については、左斜め方向からの光線RLの受光感度が、左端付近の画素については、右斜め方向からの光線の受光感度が、それぞれ最大となる指向性を有するように構成される。

かかる指向性は、イメージセンサ５１の各画素上に配置されるオンチップレンズの配置位置を調整することによりつけることができる。

イメージセンサ５１の中心Oの画素については、オンチップレンズの光軸が画素の中心を通るようにオンチップレンズを配置することで、正面方向からの光線RCの受光感度が最大となるような指向性をつけることができる。イメージセンサ５１の左端の画素については、オンチップレンズの光軸が画素の中心より右側を通るようにオンチップレンズを配置することで、右斜め方向からの光線RRの受光感度が最大となるような指向性をつけることができる。同様に、イメージセンサ５１の右端の画素については、オンチップレンズの光軸が画素の中心より左側を通るようにオンチップレンズを配置することで、左斜め方向からの光線RLの受光感度が最大となるような指向性をつけることができる。

図１１は、一眼の交換レンズがカメラ本体１０に装着された場合の撮像画像のセンサシェーディングのシェーディング特性の例を示す図である。

図１１では、横軸は、イメージセンサ５１上の画素の位置、すなわち、撮像画像上の位置を表し、縦軸は、センサシェーディングによる光量落ちがない場合の撮像画像の画素値としての輝度に対する、センサシェーディングによる光量落ちがある場合の撮像画像の画素値としての輝度（輝度比）を表す。また、中心0は、イメージセンサ５１の中心、すなわち、撮像画像の中心を表す。

図１１のセンサシェーディングのシェーディング特性によれば、撮像画像において、撮像画像の中心Oからの距離が離れた位置ほど、輝度比が小さくなること、すなわち、センサシェーディングによる光量落ちが大きくなることが分かる。

ここで、イメージセンサ５１の中心Oではない所定の位置の画素の出力（輝度比）をａとする。

イメージセンサ５１で発生するセンサシェーディングは、イメージセンサ５１の中心Oからの距離と、交換レンズの射出瞳の位置とに依存する。

イメージセンサ５１の（受光の）指向性は、射出瞳の位置が、イメージセンサ５１の中心Oを通り、イメージセンサの受光面に垂直な直線上の、イメージセンサ５１からの所定の距離の位置にあることを想定し、その位置（以下、想定位置ともいう）に、射出瞳があるときに、画素の出力ａが最大値になるようにつけられる。したがって、カメラ本体１０に取り付けられる交換レンズの射出瞳の位置が、想定位置から、イメージセンサ５１側にずれても、また、イメージセンサ５１と反対側にずれても、画素の出力ａは最大値より小さくなる。

図１２は、射出瞳の位置と画素の出力ａとの関係の例を示す図である。

図１２では、横軸は、射出瞳の位置のイメージセンサ５１からの距離を表し、縦軸は、イメージセンサ５１の画素の出力ａ、すなわち、センサシェーディングによる光量落ちがない場合の撮像画像の画素値としての輝度に対する、センサシェーディングによる光量落ちがある場合の撮像画像の画素値としての輝度（輝度比）を表す。

ここで、図１２では、想定位置が、イメージセンサ５１から、60mmの距離の位置になっており、射出瞳がイメージセンサ５１から想定距離である60mmの距離にあるとき、画素の出力ａが最大の0.8になっている。

そのため、カメラ本体１０に対して、射出瞳の位置が、イメージセンサ５１からの距離が60mmよりも長い距離の位置の交換レンズが装着された場合、画素の出力ａは小さくなる。

なお、ミラーレスカメラでは、射出瞳の想定位置は、例えば、イメージセンサから50mm程度の位置であり、ミラーレスでない一眼レフカメラでは、射出瞳の位置は、例えば、イメージセンサから100mm程度の位置であることが多い。

図１３は、多眼交換レンズ２０がカメラ本体１０に装着された場合のセンサシェーディングのシェーディング特性を説明する図である。

なお、図１３では、図８（及び図９）と同様に、説明を簡単にするため、多眼交換レンズ２０が、３個の個眼レンズ３１₁ないし３１₃を有し、その３個の個眼レンズ３１₁ないし３１₃が、光軸方向に重ならないように、水平方向に一列に並んで配置されていることとする。

また、図１３では、図８（及び図９）と同様に、横軸は、撮像画像上の位置を表し、縦軸は、輝度比を表す。

図１３は、多眼交換レンズ２０がカメラ本体１０に装着された場合の撮像画像のセンサシェーディングのシェーディング特性を示している。

図１３の撮像画像上の個眼レンズ３１₁に対する個眼画像では、個眼レンズ３１₁の左側から個眼レンズ３１₁の右側に向かうほど、すなわち、個眼画像の左側から右側（撮像画像の中心O）に向かうほど輝度比が下がっている。これは、個眼レンズ３１₁からの光線が入射するイメージセンサ５１の左端付近の画素には、右斜め方向からの光線の受光感度が最大となるように、指向性がつけられており、特に、正面方向や左斜め方向からの光線に対する感度が低いためである。

また、図１３の撮像画像上の個眼レンズ３１₂に対する個眼画像では、個眼レンズ３１₂の中心、すなわち、個眼画像の中心から離れるほど輝度比が下がっている。これは、個眼レンズ３１₂からの光線が入射するイメージセンサ５１の中心O付近の画素には、正面方向からの光線の受光感度が最大となるように、指向性がつけられており、左斜め方向や右斜め方向からの光線に対する感度が低いためである。

さらに、図１３の撮像画像上の個眼レンズ３１₃に対する個眼画像では、個眼レンズ３１₃の右側から個眼レンズ３１₃の左側に向かうほど、すなわち、個眼画像の右側から左側（撮像画像の中心O）に向かうほど輝度比が下がっている。これは、個眼レンズ３１₃からの光線が入射するイメージセンサ５１の右端付近の画素には、左斜め方向からの光線の受光感度が最大となるように、指向性がつけられており、特に、正面方向や右斜め方向からの光線に対する感度が低いためである。

多眼交換レンズ２０用の第２のシェーディング補正では、通信部５２から供給されるシェーディング情報に含まれる射出瞳位置情報等から、イメージセンサ５１で撮像される撮像画像の、個眼レンズ３１_iの射出瞳の位置等を把握し、その位置の射出瞳からイメージセンサ５１に入射する光線の方向と、補正部５３に記憶されているセンサシェーディング情報としてのイメージセンサ５１の指向性に関する情報とから得られる、図１３に示したようなセンサシェーディングのシェーディング特性に基づいて、撮像画像の画素値が補正される。

図１４は、多眼交換レンズ２０がカメラ本体１０に装着された場合の撮像画像のトータルシェーディングのシェーディング特性の例を示す図である。

なお、図１４では、図８（図９、及び、図１３）と同様に、説明を簡単にするため、多眼交換レンズ２０が、３個の個眼レンズ３１₁ないし３１₃を有し、その３個の個眼レンズ３１₁ないし３１₃が、光軸方向に重ならないように、水平方向に一列に並んで配置されていることとする。

また、図１４では、図８（図９、及び、図１３）と同様に、横軸は、撮像画像上の位置を表し、縦軸は、輝度比を表す。

図１４は、多眼交換レンズ２０がカメラ本体１０に装着された場合の撮像画像のトータルシェーディングのシェーディング特性の例を示している。ここで、図１４に示されるトータルシェーディングのシェーディング特性は、図８及び図９に示したレンズシェーディングのシェーディング特性と、図１３に示したセンサシェーディングのシェーディング特性が合成（乗算）されたシェーディング特性である。

図１４の撮像画像上の各個眼レンズ３１_iに対する個眼画像では、各個眼レンズ３１_iの中心、すなわち、個眼画像の中心から離れるほど輝度比が下がっている。

なお、撮像画像上の個眼レンズ３１₁に対する個眼画像では、センサシェーディングのシェーディング特性により、個眼レンズ３１₁から入射する光線を受光するイメージセンサ５１の画素のうちの右側の画素のセンサシェーディングが、左側の画素のセンサシェーディングより大きいため、個眼レンズ３１₁に対する個眼画像の右側のトータルシェーディングは、左側のトータルシェーディングより大きくなっている（輝度比が小さくなっている）。

同様に、撮像画像上の個眼レンズ３１₃に対する個眼画像では、センサシェーディングのシェーディング特性により、個眼レンズ３１₃から入射する光線を受光するイメージセンサ５１の画素のうちの左側の画素のセンサシェーディングが、右側の画素のセンサシェーディングより大きいため、個眼レンズ３１₃に対する個眼画像の左側のトータルシェーディングは、右側のトータルシェーディングより大きくなっている（輝度比が小さくなっている）。

カメラ本体１０に多眼交換レンズ２０が装着された場合、補正部５３では、図８のＡに示したレンズシェーディングと、図１３に示したセンサシェーディングとによって求められるトータルシェーディングによる光量落ちを補正する、多眼交換レンズ２０用の第２のシェーディング補正が行われる。

すなわち、補正部５３で行われる第２のシェーディング補正では、通信部５２から供給されるシェーディング情報と、補正部５３に記憶されているセンサシェーディング情報とから特定されるトータルシェーディングを補正するように、撮像画像の画素値が補正される。

図１５は、図３の補正部５３が行うシェーディング補正を説明するフローチャートである。

ステップＳ１１において、補正部５３は、通信部５２から供給されるレンズ情報を取得し、処理は、ステップＳ１１からステップＳ１２に進む。

すなわち、多眼交換レンズ２０がカメラ本体１０に装着されると、通信部５２は、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、補正部５３に供給する。補正部５３は、以上のようにして通信部５２から供給されるレンズ情報を取得する。

ステップＳ１２では、補正部５３は、記憶しているイメージセンサ５１のセンサシェーディング情報と、通信部５２から取得したレンズ情報に含まれるシェーディング情報とに基づいて、イメージセンサ５１から供給される撮像画像上の、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像E1，E2，E3，E4のトータルシェーディング（多眼交換レンズ２０とイメージセンサ５１とによるシェーディング）を算出する。さらに、補正部５３は、トータルシェーディングを補正するシェーディング補正量を算出し、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、補正部５３は、撮像画像の画素値を、ステップＳ１２で求められたシェーディング補正量に従って補正するシェーディング補正を行い、シェーディング補正後の撮像画像を出力して、処理を終了する。

以上のように、多眼交換レンズ２０は、光軸方向に（見て）重ならないように配置された個眼レンズ３１₁ないし３１₄を有し、個眼レンズ３１₁ないし３１₄に対応する個眼画像それぞれのシェーディングに関するシェーディング情報を含むレンズ情報を、外部としての、例えば、カメラ本体１０に送信する。また、カメラ本体１０は、レンズ情報を受信し、そのレンズ情報に含まれるシェーディング情報に基づいて、撮像画像上の、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像E1ないしE4のトータルシェーディングを補正する。したがって、個眼画像E1ないしE4のシェーディングを適切に補正することができる。

なお、シェーディング情報としては、個眼レンズ３１_iのレンズ位置情報を加味したトータルシェーディングに関するトータルシェーディング情報を含む情報を採用することができる。

この場合、トータルシェーディング情報としては、多眼交換レンズ２０が有する個眼レンズ３１₁ないし３１₄それぞれによって生じるレンズシェーディングと、一般的なイメージセンサによって生じるセンサシェーディングとによるシェーディングであるトータルシェーディングに関する情報を採用することができる。

ここで、センサシェーディングには個体差があり、センサシェーディングが変われば、トータルシェーディングも変わる。そのため、正確なトータルシェーディングを求めるためには、例えば、カメラ本体１０については、上述したように、カメラ本体１０（の補正部５３）に、そのカメラ本体１０が有するイメージセンサ５１のセンサシェーディング情報を記憶させておき、そのセンサシェーディング情報を用いて、トータルシェーディングを求める必要がある。

したがって、トータルシェーディング情報として、多眼交換レンズ２０が有する個眼レンズ３１₁ないし３１₄それぞれによって生じるレンズシェーディングと一般的な（代表的な）イメージセンサによって生じるセンサシェーディングとによるトータルシェーディングに関する情報を採用する場合には、センサシェーディングの個体差に起因するトータルシェーディングの違いを無視することになる。但し、センサシェーディングの個体差に起因するトータルシェーディングの違いは、それほど大きな違いではないので、トータルシェーディング情報として、多眼交換レンズ２０が有する個眼レンズ３１₁ないし３１₄それぞれによって生じるレンズシェーディングと一般的なイメージセンサによって生じるセンサシェーディングとによるトータルシェーディングに関する情報を採用することは、実用上有効である。ここでの一般的なイメージセンサとは、実在するあるイメージセンサでもよいし、実在する多数のイメージセンサを代表する仮想的なイメージセンサでもよい。

シェーディング情報にトータルシェーディング情報を含ませる場合、そのトータルシェーディング情報は、例えば、多眼交換レンズ２０のレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、並びに、一般的なイメージセンサのセンサシェーディング情報からあらかじめ求めることができる。

また、トータルシェーディング情報としては、カメラ本体１０や、その他のカメラ本体に装着された多眼交換レンズ２０で所定の被写体を撮像した画像を採用することができる。所定の被写体としては、無模様一色の被写体、例えば、均一な白色の紙を採用することができる。さらに、トータルシェーディング情報としては、多眼交換レンズ２０で所定の被写体を撮像した画像から得られるシェーディング特性を採用してもよい。

その他、例えば、多眼交換レンズ２０に対して、ユニークなレンズID(IDentification)が割り当てられており、かつ、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０についてのトータルシェーディング情報とが対応付けられたデータベースが用意されている場合には、シェーディング情報としては、多眼交換レンズ２０のレンズIDを採用することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０についてのトータルシェーディング情報を取得することができる。

＜個眼画像の領域特定処理＞

図１６は、図３の領域特定部５４が行う、撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。

ステップＳ２１において、領域特定部５４は、補正部５３から供給されるレンズ位置情報及び（シェーディング補正後の）撮像画像を取得し、処理は、ステップＳ２２に進む。

ステップＳ２２では、領域特定部５４は、補正部５３から取得したレンズ位置情報に基づいて、補正部５３から取得した撮像画像上の、個眼レンズ３１₁ないし３１₄それぞれに対する個眼画像E1，E2，E3，E4の領域を特定し、処理は、ステップＳ２３に進む。

ステップＳ２３では、領域特定部５４は、撮像画像から、個眼画像E1ないしE4それぞれを抽出し、領域特定結果情報として出力して、処理を終了する。

なお、領域特定部５４は、図３で説明したように、個眼画像E1ないしE4に代えて、撮像画像と、その撮像画像上の各個眼画像E#iの領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。

なお、図３のカメラ本体１０では、補正部５３において、撮像画像のシェーディング補正を行い、その後、領域特定部５４において、シェーディング補正後の撮像画像を対象とする領域特定処理を行うこととしたが、その他、例えば、先に、領域特定部５４において、イメージセンサ５１で撮像された撮像画像を対象とする領域特定処理を行い、その後、補正部５３において、領域特定処理後の撮像画像のシェーディング補正を行うことができる。

＜画像処理部５５の構成例＞

図１７は、図３の画像処理部５５のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。

ここで、多眼交換レンズ２０が、例えば、図５に示したように、個眼レンズ３１₁ないし３１₄を有する場合には、その個眼レンズ３１₁ないし３１₄に対する個眼画像E1ないしE4が、領域特定部５４から画像処理部５５に供給される。領域特定部５４から画像処理部５５に供給される、個眼レンズ３１₁ないし３１₄に対する個眼画像E1ないしE4は、個眼レンズ３１₁ないし３１₄の位置それぞれから、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１₁ないし３１₄の位置それぞれを視点とする撮像により得られる画像であり、異なる視点の画像である。

図１７において、画像処理部５５は、視差情報生成部８１、補間部８２、集光処理部８３、及び、パラメータ設定部８４を有する。

画像処理部５５には、領域特定部５４から、複数の視点の画像である複数の視点の個眼画像E#iが供給される。

なお、ここでは、個眼画像E#iの視点とは、個眼レンズ３１_iの位置である。

画像処理部５５において、個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。

視差情報生成部８１は、領域特定部５４から供給される複数の視点の個眼画像E#iを用いて、視差情報を求め、補間部８２、及び、集光処理部８３に供給する。

すなわち、視差情報生成部８１は、例えば、領域特定部５４から供給される個眼画像E#iそれぞれの、他の個眼画像E#jとの視差情報を求める処理を、複数の視点の個眼画像E#iの画像処理として行う。そして、視差情報生成部８１は、例えば、個眼画像の画素（の位置）ごとに、視差情報が登録されたマップを生成し、補間部８２、及び、集光処理部８３に供給する。

ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えば、ディスパリティを採用することとし、視差情報生成部８１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。

補間部８２は、領域特定部５４からの複数の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点、すなわち、個眼レンズ３１_iの位置以外の視点から撮像を行ったならば得られるであろう画像を、補間により生成する。

補間部８２は、例えば、個眼画像E#iの視点、すなわち、個眼レンズ３１_iの位置を直線で結ぶことにより囲まれる領域内のほぼ等間隔の複数の点を、補間用の視点として、その補間用の視点の画像（補間用の視点から撮像を行った場合に得られるであろう画像）を、補間により生成する。

なお、補間部８２では、個眼レンズ３１_iの位置を直線で結ぶことにより囲まれる領域の外側の点についても、補間用の視点として、その補間用の視点の画像を生成することができる。

補間部８２は、補間用の視点の画像を生成した後、個眼画像E#iと、補間用の視点の画像とを、集光処理部８３に供給する。

ここで、補間部８２において、個眼画像を用いた補間により生成された画像を、補間画像ともいう。

また、補間部８２から集光処理部８３に供給される個眼画像E#iと補間用の視点の補間画像とを、まとめて、視点画像ともいう。

補間部８２での補間は、複数の視点の個眼画像E#iから、より多く数の視点の視点画像を生成する処理であると考えることができる。この、多く数の視点の視点画像を生成する処理は、実空間内の実空間点から入射する光線を再現する処理であると捉えることができる。

集光処理部８３は、補間部８２からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線を、イメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。

集光処理部８３の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスが行われる。リフォーカスは、視差情報生成部８１からのディスパリティマップや、パラメータ設定部８４からの集光パラメータを用いて行われる。

集光処理部８３の集光処理によって得られる画像は、処理結果画像として（表示部５６や記憶部５７（図３））に出力される。

パラメータ設定部８４は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、１個の個眼画像E#i（例えば、個眼画像E1）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータとして、集光処理部８３に供給する。

＜画像処理部５５の画像処理＞

図１８は、図１７の画像処理部５５が行う画像処理の例を説明するフローチャートである。

画像処理部５５において、領域特定部５４から供給される複数の視点の画像である複数の視点の個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。

画像処理部５５では、ステップＳ３１において、視差情報生成部８１が、領域特定部５４からの複数の視点の個眼画像E#iを用いて、視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。

視差情報生成部８１は、視差情報生成処理により得られるディスパリティマップを、補間部８２、及び、集光処理部８３に供給し、処理は、ステップＳ３１からステップＳ３２に進む。

ステップＳ３２では、補間部８２は、領域特定部５４からの複数の視点の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点以外の複数の補間用の視点の補間画像を生成する補間処理を行う。

さらに、補間部８２は、領域特定部５４からの複数の視点の個眼画像E#iと、補間処理により得られた複数の補間用の視点の補間画像とを、複数の視点の視点画像として、集光処理部８３に供給し、処理は、ステップＳ３２からステップＳ３３に進む。

ステップＳ３３では、パラメータ設定部８４は、ユーザの操作等によって指定された位置にある、１個の視点画像（例えば、個眼画像E1）の画素を、合焦させる合焦対象画素に設定する設定処理を行う。

パラメータ設定部８４は、設定処理により得られた合焦対象画素（の情報）を、集光パラメータとして、集光処理部８３に供給し、処理は、ステップＳ３３からステップＳ３４に進む。

ここで、合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えば、アプリケーションからの指定や、あらかじめ決められたルールによる指定等に従って設定することができる。例えば、所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を、合焦対象画素に設定することができる。

ステップＳ３４では、集光処理部８３は、補間部８２からの複数の視点の視点画像、視差情報生成部８１からのディスパリティマップ、及び、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて、被写体からの光線を、図示せぬ仮想センサ上に集光させることに相当する集光処理を行い、画像処理部５５の画像処理は終了する。

集光処理部８３は、集光処理の結果得られる処理結果画像を、表示部５６に供給する。

なお、集光処理において、光線が集光される仮想センサの実体は、例えば、図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、光線の集光により得られる画像の画素値が求められる。

集光処理部８３の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素（の画素値）を画素シフトして積算することにより、実空間内の合焦点に合焦した処理結果画像の各画素値が求められ、処理結果画像が生成される。

ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部８３の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて設定される。

なお、画像処理部５５（図１７）は、集光処理部８３だけで構成することができる。

例えば、集光処理部８３の集光処理を、補間画像を用いずに、領域特定部５４で撮像された個眼画像E#iを用いて行う場合には、補間部８２を設けずに、画像処理部５５を構成することができる。但し、集光処理を、個眼画像E#iの他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。

また、例えば、個眼画像E#iの視差情報を、距離センサ等を用いて、外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部８１を設けずに、画像処理部５５を構成することができる。

さらに、例えば、集光処理部８３において、あらかじめ決められたルールに従って、合焦面を設定する場合には、パラメータ設定部８４を設けずに、画像処理部５５を構成することができる。

また、カメラ本体１０は、画像処理部５５を設けずに構成することができる。

＜多眼交換レンズの他の構成例＞

図１９は、多眼交換レンズ２０の他の構成例を示す背面図である。

図１９では、多眼交換レンズ２０は、7個の個眼レンズ３１₁ないし３１₇を有し、その7個の個眼レンズ３１₁ないし３１₇は、光軸方向に重ならないように、２次元平面上に配置されている。

さらに、図１９では、7個の個眼レンズ３１₁ないし３１₇は、それらのうちの１個である、例えば、個眼レンズ３１₁を中心として、他の６個の個眼レンズ３１₂ないし３１₇が、個眼レンズ３１₁の周辺に、正６角形の頂点を構成するように配置されている。

したがって、図１９では、7個の個眼レンズ３１₁ないし３１₇のうちの、任意の１個の個眼レンズ３１_i(i=1,2,...,7)と、その個眼レンズ３１_iに最も近い他の１個の個眼レンズ３１_j(ｊ=1,2,...,7)との（光軸どうしの）距離は、同一の距離Bになっている。

以下、多眼交換レンズ２０が、図１９に示したように、7個の個眼レンズ３１₁ないし３１₇を有する場合を例に説明を行う。

多眼交換レンズ２０が、図１９に示したように、7個の個眼レンズ３１₁ないし３１₇を有する場合、領域特定部５４（図３）から画像処理部５５の視差情報生成部８１及び補間部８２に供給される複数の視点の個眼画像E#iは、7個の個眼レンズ３１₁ないし３１₇に対する7視点の個眼画像E1ないしE7である。

＜補間画像の生成＞

図２０は、図１７の補間部８２での補間画像の生成の例を説明する図である。

ある視点の補間画像を生成する場合、補間部８２は、補間画像の画素を、順次、補間の対象の補間対象画素に選択する。さらに、補間部８２は、7視点の個眼画像E1ないしE7のうちの全部、又は、補間画像の視点に近い一部（複数）の視点の個眼画像E#iを、補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部８２は、視差情報生成部８１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の個眼画像E#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮像を行ったならば、補間対象画素に映るであろう空間点と同一の空間点が映っている画素）を求める。

そして、補間部８２は、複数の視点の個眼画像E#iの対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を、補間対象画素の画素値として求める。

対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての個眼画像E#iの視点と、補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。

＜ディスパリティマップの生成＞

図２１は、図１７の視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。

すなわち、図２１は、領域特定部５４の個眼レンズ３１₁ないし３１₇に対する個眼画像E1ないしE7の例を示している。

図２１では、個眼画像E1ないしE7には、所定の背景の手前側に、前景としての所定の物体objが映っている。個眼画像E1ないしE7それぞれについては、視点が異なるため、例えば、個眼画像E2ないしE7それぞれに映る物体objの位置（個眼画像上の位置）は、個眼画像E1に映る物体objの位置から、視点が異なる分だけずれている。

いま、個眼レンズ３１_iの視点（位置）、すなわち、個眼レンズ３１_iに対する個眼画像E#iの視点を、vp#iと表すこととする。

例えば、個眼画像E1の視点vp1のディスパリティマップを生成する場合には、視差情報生成部８１は、個眼画像E1を、注目する注目画像E1とする。さらに、視差情報生成部８１は、注目画像E1の各画素を、順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の個眼画像E2ないしE7のそれぞれから検出する。

個眼画像E2ないしE7それぞれから、注目画像E1の注目画素に対応する対応画素を検出する方法としては、例えば、ステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。

ここで、注目画像E1の注目画素に対する、個眼画像E#iの対応画素の位置ずれを表すベクトルを、ディスパリティベクトルv#i,1ということとする。

視差情報生成部８１は、個眼画像E2ないしE7のそれぞれについてディスパリティベクトルv2,1ないしv7,1を求める。そして、視差情報生成部８１は、例えば、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを、注目画素（の位置）のディスパリティの大きさとして求める。

ここで、領域特定部５４において、図１９で説明したように、注目画像E1が得られた個眼レンズ３１₁と、個眼画像E2ないしE7が得られた個眼レンズ３１₂ないし３１₇それぞれとの距離が、同一の距離Bになっている場合に、注目画像E1の注目画素に映る実空間点が、個眼画像E2ないしE7にも映っているときには、ディスパリティベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。

すなわち、この場合、ディスパリティベクトルv2,1ないしv7,1は、注目画像E1の視点vp1に対する他の個眼画像E2ないしE7の視点vp2ないしvp7の方向と逆方向の、大きさが等しいベクトルになる。

但し、個眼画像E2ないしE7の中には、オクルージョンが生じている画像、すなわち、注目画像E1の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。

注目画像E1の注目画素に映る実空間点が映っていない個眼画像（以下、オクルージョン画像ともいう）E#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。

そのため、オクルージョン画像E#iについては、注目画像E1の注目画素に映る実空間点が映っている個眼画像E#jのディスパリティベクトルv#j,1とは、大きさが異なるディスパリティベクトルv#i,1が求められる。

個眼画像E2ないしE7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部８１は、上述のように、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを、注目画素のディスパリティの大きさとして求める。

図２１では、ディスパリティベクトルv2,1ないしv7,1の中で、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、ディスパリティベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しいディスパリティベクトルが存在しない。

そのため、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが、注目画素のディスパリティの大きさとして求められる。

なお、注目画像E1の注目画素の、任意の個眼画像E#iとの間のディスパリティの方向は、注目画像E1の視点vp1（個眼レンズ３１₁の位置）と、個眼画像E#iの視点vp#i（個眼レンズ３１_iの位置）との位置関係（視点vp1から視点vp#iへの方向等）から認識することができる。

視差情報生成部８１は、注目画像E1の各画素を、順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部８１は、注目画像E1の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップを、ディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置と、その画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。

他の個眼画像E#iの視点vp#iのディスパリティマップも、視点vp1のディスパリティマップと同様に生成することができる。

但し、視点vp1以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、個眼画像E#iの視点vp#iと、その個眼画像E#i以外の個眼画像E#jの視点vp#jとの位置関係（個眼レンズ３１_iと３１_jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。

すなわち、例えば、個眼画像E5を注目画像として、ディスパリティマップを生成する場合、注目画像E5と個眼画像E2との間で得られるディスパリティベクトルは、注目画像E5と個眼画像E1との間で得られるディスパリティベクトルの２倍の大きさになる。

これは、注目画像E5が得られる個眼レンズ３１₅と、個眼画像E1が得られる個眼レンズ３１₁との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像E5が得られる個眼レンズ３１₅と、個眼画像E2が得られる個眼レンズ３１₂との基線長が、距離2Bになっているためである。

そこで、いま、例えば、個眼レンズ３１₁と、他の個眼レンズ３１_iとの基線長である距離Bを、ディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。

すなわち、例えば、注目画像E5が得られる個眼レンズ３１₅と、個眼画像E1が得られる個眼レンズ３１₁の基線長Bは、基準基線長Bに等しいので、注目画像E5と個眼画像E1との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。

また、例えば、注目画像E5が得られる個眼レンズ３１₅と、個眼画像E2が得られる個眼レンズ３１₂の基線長2Bは、基準基線長Bの２倍に等しいので、注目画像E5と個眼画像E2との間で得られるディスパリティベクトルは、その大きさが、基準基線長Bと、個眼レンズ３１₅と個眼レンズ３１₂との基線長2Bとの比の値倍である1/2倍に調整される。

注目画像E5と他の個眼画像E#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。

そして、大きさの調整後のディスパリティベクトルを用いて、ディスパリティベクトルの多数決が行われる。

なお、視差情報生成部８１において、個眼画像E#i（の各画素）のディスパリティは、例えば、個眼画像の画素の精度で求めることができる。また、個眼画像E#iのディスパリティは、例えば、その個眼画像E#iの画素より細かい精度である画素以下精度（例えば、1/4画素等のサブピクセルの精度）で求めることができる。

ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティを、そのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。

ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば、左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、個眼画像E1の各画素の、個眼画像E1の左隣の視点の個眼画像E5との間のディスパリティ（個眼画像E1の画素から、その画素に対応する個眼画像E5の対応画素までの画素ずれを表すベクトル）のx成分に等しい。

＜集光処理によるリフォーカス＞

図２２は、図１７の集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。

なお、図２２では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、個眼画像E1、個眼画像E1の右隣の視点の個眼画像E2、及び、個眼画像E1の左隣の視点の個眼画像E5の3個の画像を用いることとする。

図２２において、個眼画像E1，E2、及び、E5には、２つの物体obj1及びobj2が映っている。例えば、物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。

いま、例えば、物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、個眼画像E1の視点から見た画像を得ることとする。

ここで、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点（ここでは、個眼画像E1の視点）のディスパリティを、DP1と表す。また、個眼画像E2の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP2と表すとともに、個眼画像E5の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP5と表すこととする。

なお、図２２では、処理結果画像の視点は、個眼画像E1の視点に等しいので、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP1は、(0,0)になる。

個眼画像E1，E2、及び、E5については、個眼画像E1，E2、及び、E5を、ディスパリティDP1，DP2、及び、DP5に応じて、それぞれ画素シフトし、その画素シフト後の個眼画像E1，E2、及び、E5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。

すなわち、個眼画像E1，E2、及び、E5を、ディスパリティDP1，DP2、及び、DP5をキャンセルするように（ディスパリティDP1，DP2、及び、DP5の逆方向に）、それぞれ画素シフトすることで、画素シフト後の個眼画像E1，E2、及び、E5では、物体obj1が映る画素の位置が一致する。

したがって、画素シフト後の個眼画像E1，E2、及び、E5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。

なお、画素シフト後の個眼画像E1，E2、及び、E5においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。

また、ここでは、上述したように、処理結果画像の視点は、個眼画像E1の視点であり、ディスパリティDP1は(0,0)であるため、個眼画像E1については、実質的に、画素シフトを行う必要はない。

集光処理部８３の集光処理では、例えば、以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理結果画像の視点（ここでは、個眼画像E1の視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像を、処理結果画像として求める。

＜ディスパリティ変換＞

図２３は、ディスパリティ変換の例を説明する図である。

図２１で説明したように、ディスパリティマップに登録される登録ディスパリティは、オクルージョンが生じている領域以外の部分において、個眼画像E1の左隣の視点の個眼画像E5の各画素との間の、個眼画像E1の画素のディスパリティのx成分に等しい。

リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。

いま、ある視点を、注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば、個眼画像E1の合焦対象画素のディスパリティが必要となる。

注目視点の視点画像との間の、個眼画像E1の合焦対象画素のディスパリティは、個眼画像E1の合焦対象画素（処理結果画像の合焦対象画素に対応する個眼画像E1の対応画素）の登録ディスパリティから、処理結果画像の視点から注目視点の方向を加味して求めることができる。

いま、処理結果画像の視点である個眼画像E1の視点から注目視点の方向を、x軸を0[radian]とする反時計回りの角度で表すこととする。

例えば、個眼レンズ３１₂は、処理結果画像の視点である個眼画像E1の視点から基準基線長Bだけ+x方向に離れた位置にあり、処理結果画像の視点である個眼画像E1の視点から個眼レンズ３１₂に対する個眼画像E2の視点の方向は、0[radian]である。この場合、個眼レンズ３１₂に対する個眼画像E2（視点画像）との間の、個眼画像E1の合焦対象画素のディスパリティDP2（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１₂に対する個眼画像E2の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。

また、例えば、個眼レンズ３１₃は、処理結果画像の視点である個眼画像E1の視点から基準基線長Bだけπ/3の方向に離れた位置にあり、処理結果画像の視点である個眼画像E1の視点から個眼レンズ３１₃に対する個眼画像E3の視点の方向は、π/3[radian]である。この場合、個眼レンズ３１₃に対する個眼画像E3との間の、個眼画像E1の合焦対象画素のディスパリティDP3は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１₃の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。

ここで、補間部８２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なレンズで撮像された画像であるとみなすことができる。この仮想的なレンズで撮像された画像の視点vpが、処理結果画像の視点である個眼画像E1の視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なレンズで撮像された画像）との間の、個眼画像E1の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。

以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、個眼画像E1の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、個眼画像E1の画素（処理結果画像の画素）のディスパリティに変換することを、ディスパリティ変換ともいう。

リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、個眼画像E1の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。

リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を、合焦シフト量ともいう。

ここで、以下、補間部８２で得られる複数の視点の視点画像のうちの、i番目の視点画像の視点を、視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を、合焦シフト量SV#iとも記載する。

視点vp#iの視点画像の合焦シフト量SV#iは、合焦対象画素の登録ディスパリティRDから、処理結果画像の視点である個眼画像E1の視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。

ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。

したがって、ディスパリティ変換は、例えば、登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。

ここでは、例えば、ディスパリティ変換を、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。

この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。

合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。

なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、個眼画像E2との間の、合焦対象画素のディスパリティのx成分に等しい。

＜リフォーカスを行う集光処理＞

図２４は、リフォーカスを行う集光処理の例を説明するフローチャートである。

ステップＳ４１において、集光処理部８３は、パラメータ設定部８４から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理は、ステップＳ４２に進む。

すなわち、例えば、個眼レンズ３１₁ないし３１₇に対する個眼画像E1ないしE7のうちの、個眼画像E1等が、表示部５６に表示され、ユーザが、その個眼画像E1上の１つの位置を指定すると、パラメータ設定部８４は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を、集光パラメータとして、集光処理部８３に供給する。

ステップＳ４１では、集光処理部８３は、以上のようにして、パラメータ設定部８４から供給される合焦対象画素を取得する。

ステップＳ４２では、集光処理部８３は、視差情報生成部８１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部８３は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば、合焦対象画素の登録ディスパリティRDの-1倍を、基準シフト量BVに設定し、処理は、ステップＳ４２からステップＳ４３に進む。

ステップＳ４３では、集光処理部８３は、補間部８２からの複数の視点の視点画像のうちの１つの画像である、例えば、個眼画像E1に対応する画像、すなわち、個眼画像E1の視点から見た、個眼画像E1と同一サイズの画像であって、画素値が初期値としての0の画像を、処理結果画像に設定する。さらに、集光処理部８３は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に決定し、処理は、ステップＳ４３からステップＳ４４に進む。

ステップＳ４４では、集光処理部８３は、補間部８２からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理は、ステップＳ４５に進む。

ステップＳ４５では、集光処理部８３は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iを求める。

すなわち、集光処理部８３は、基準シフト量BVを、処理結果画像の視点である個眼画像E1の視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iとして取得する。

その後、処理は、ステップＳ４５からステップＳ４６に進み、集光処理部８３は、注目視点vp#iの視点画像の各画素を、合焦シフト量SV#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を、注目画素の画素値に積算する。

すなわち、集光処理部８３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量SV#iに対応するベクトル（ここでは、例えば、合焦シフト量SV#iの-1倍）だけ離れた画素の画素値を、注目画素の画素値に積算する。

そして、処理は、ステップＳ４６からステップＳ４７に進み、集光処理部８３は、補間部８２からの視点画像のすべての視点を、注目視点としたかどうかを判定する。

ステップＳ４７において、まだ、補間部８２からの視点画像のすべての視点を、注目視点としていないと判定された場合、処理は、ステップＳ４４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ４７において、補間部８２からの視点画像のすべての視点を、注目視点としたと判定された場合、処理は、ステップＳ４８に進む。

ステップＳ４８では、集光処理部８３は、処理結果画像の画素のすべてを、注目画素としたかどうかを判定する。

ステップＳ４８において、まだ、処理結果画像の画素のすべてを、注目画素としていないと判定された場合、処理は、ステップＳ４３に戻り、集光処理部８３は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に新たに決定し、以下、同様の処理を繰り返す。

また、ステップＳ４８において、処理結果画像の画素のすべてを、注目画素としたと判定された場合、集光処理部８３は、処理結果画像を出力して、集光処理を終了する。

なお、図２４の集光処理では、実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成される。

かかる図２４の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、図２４の集光処理では、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。

また、合焦シフト量SV#iは、注目視点vp#i及び基準シフト量BVによって変化するが、図２４の集光処理では、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量SV#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。

図２４において、合焦シフト量SV#iを求めるステップＳ４５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量SV#iを繰り返し算出するループ（ステップＳ４３ないしステップＳ４８のループ）を構成しているが、上述のように、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。

したがって、図２４において、合焦シフト量SV#iを求めるステップＳ４５の処理は、１視点に対して１回だけ行えば良い。

＜サーバを利用したレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報の取得＞

図２５は、サーバを利用して、レンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報を取得する処理の例を説明する図である。

なお、図２５では、シェーディング情報として、多眼交換レンズ２０のレンズIDを採用するとともに、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報とが対応付けられたデータベースが用意されていることとする。

例えば、多眼交換レンズ２０が、カメラ本体１０に装着されると、ステップＳ５１において、多眼交換レンズ２０（図３）の通信部４２が、記憶部４１に記憶されたシェーディング情報としてレンズIDを、カメラ本体１０に送信する。

カメラ本体１０（図３）の通信部５２は、多眼交換レンズ２０からのレンズIDを受信し、ステップＳ５２において、そのレンズIDを、例えば、クラウド上のサーバ９０に送信する。

サーバ９０は、カメラ本体１０からのレンズIDを受信し、ステップＳ５３において、そのレンズIDをキーワードとして、データベース(DB)を検索し、そのレンズIDによって特定される多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報を取得する。

そして、サーバ９０は、ステップＳ５４において、データベースから検索した多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報を、カメラ本体１０に送信する。

カメラ本体１０（図３）では、通信部５２が、サーバ９０からの多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報を受信し、補正部５３に供給する。補正部５３は、撮像画像上の、サーバ９０からの多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報に基づいて、イメージセンサ５１から出力される撮像画像のシェーディング補正を行う。

なお、図２５では、レンズIDを、多眼交換レンズ２０からカメラ本体１０を経由して、サーバ９０に送信することとしたが、レンズIDは、多眼交換レンズ２０から、カメラ本体１０を経由せずに、サーバ９０に（直接）送信することができる。

また、カメラ本体１０では、レンズIDとともに、撮像画像を、サーバ９０に送信することができる。この場合、サーバ９０では、レンズIDをキーワードとして検索を行うことにより得られた多眼交換レンズ２０の各個眼レンズ３１_iそれぞれのレンズ位置情報、レンズシェーディング情報、射出瞳位置情報、及び、射出瞳径情報、又は、トータルシェーディング情報に応じて、カメラ本体１０からの撮像画像にシェーディング補正を行い、シェーディング補正後の撮像画像を、カメラ本体１０に送信することができる。

さらに、カメラ本体１０は、領域特定部５４を設けずに構成し、撮像画像を、サーバ９０に送信することができる。この場合、サーバ９０において、必要に応じて、撮像画像から個眼画像を抽出し、カメラ本体１０に送信することができる。

その他、カメラ本体１０は、画像処理部５５を設けずに構成し、撮像画像又は個眼画像を、サーバ９０に送信することができる。この場合、サーバ９０において、必要に応じて、撮像画像から個眼画像を抽出し、その撮像画像から抽出された個眼画像、又は、カメラ本体１０から送信されてきた個眼画像を用いて、画像処理部５５と同様の画像処理を行うことができる。そして、サーバ９０は、その画像処理により得られる処理結果画像を、カメラ本体１０等に送信することができる。

＜クラウド上で行われるシェーディング補正＞

図２６は、シェーディング補正をクラウド上で行う場合のシェーディング補正システムの構成例を示すブロック図である。

図２６に示されるシェーディング補正システムは、カメラシステム１０１とクラウドサーバ１０２とで構成される。カメラシステム１０１は、多眼交換レンズ１１０がカメラ本体１２０に装着されて構成される。

多眼交換レンズは１１０は、個眼レンズ１３１₁、個眼レンズ１３１₂、個眼レンズ１３１₃、個眼レンズ１３１₄、及び、レンズマイクロコンピュータ１４１を有する。

ここで、多眼交換レンズ１１０の個眼レンズ１３１₁、個眼レンズ１３１₂、個眼レンズ１３１₃、個眼レンズ１３１₄は、図３に示される多眼交換レンズ２０の個眼レンズ３１₁、個眼レンズ３１₂、個眼レンズ３１₃、及び、個眼レンズ３１₄と同様に構成される。レンズマイクロコンピュータ１４１は、シェーディング情報としてのレンズIDを記憶している。

カメラ本体１２０は、イメージセンサ１５１、カメラ信号処理LSI（large-scale integrated circuit）１５２、ボディマイクロコンピュータ１５３、及び、記憶部１５４を有する。

イメージセンサ１５１は、図３に示されるカメラ本体１０のイメージセンサ５１と同様に構成される。

カメラ信号処理LSI１５２には、イメージセンサ１５１から撮像画像が供給される。カメラ信号処理LSI１５２は、イメージセンサ１５１からの撮像画像に、現像等の必要な信号処理を施し、ボディマイクロコンピュータ１５３に供給する。

ボディマイクロコンピュータ１５３は、多眼交換レンズ１１０がカメラ本体１２０に装着されたときに、レンズマイクロコンピュータ１４１との間で、有線又は無線による通信（ボディレンズ交信）を行うことで、レンズマイクロコンピュータ１４１からシェーディング情報としてのレンズIDを受信する。そして、ボディマイクロコンピュータ１５３は、カメラ信号処理LSI１５２からの撮像画像とともに、レンズマイクロコンピュータ１４１からのレンズIDを、インターネット等のネットワークを介して、クラウド上のクラウドサーバ１０２に送信する。

クラウドサーバ１０２は、クラウドCPU（Central Processing Unit）１７１、シェーディングデータベース１７２、補正部１７３、及び、記憶部１７４を有する。

クラウドCPU１７１は、ボディマイクロコンピュータ１５３から送信されてくるレンズID及び撮像画像を受信する。クラウドCPU１７１は、ボディマイクロコンピュータ１５３から受信したレンズIDをキーワードとして、シェーディングデータベース１７２から、トータルシェーディング情報（又は、シェーディング情報）を検索し、ボディマイクロコンピュータ１５３からの撮像画像とともに、補正部１７３に供給する。

すなわち、シェーディングデータベース１７２は、レンズIDと、そのレンズIDによって特定される多眼交換レンズのトータルシェーディング情報（又は、シェーディング情報）と対応付けて記憶している。クラウドCPU１７１は、ボディマイクロコンピュータ１５３からのレンズIDに対応付けられているトータルシェーディング情報を、シェーディングデータベース１７２から検索し、ボディマイクロコンピュータ１５３からの撮像画像とともに、補正部１７３に供給する。

補正部１７３は、クラウドCPU１７１からのトータルシェーディング情報に基づいて、同じくクラウドCPU１７１からの撮像画像のトータルシェーディングを補正するシェーディング補正を、図３の補正部５３と同様にして行う。補正部１７３は、シェーディング補正後の撮像画像を、クラウドCPU１７１に供給する。

クラウドCPU１７１は、補正部１７３からのシェーディング補正後の撮像画像を記憶部１７４に供給して記憶させる。

又は、クラウドCPU１７１は、シェーディング補正後の撮像画像を、インターネットを介して、カメラ本体１２０のボディマイクロコンピュータ１５３に送信する。

ボディマイクロコンピュータ１５３は、クラウドCPU１７１からのシェーディング補正後の撮像画像を受信し、例えば、SD（Secure Digital）カード等の、カメラ本体１２０に着脱可能な記憶部１５４に記憶させる。

＜本技術を適用したコンピュータの説明＞

次に、上述した通信部５２や、領域特定部５４、画像処理部５５等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。

CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。

これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。

なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信する通信部と、
前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行う補正部と
を備える情報処理装置。
＜２＞
前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報を含む
＜１＞に記載の情報処理装置。
＜３＞
前記トータルシェーディング情報は、前記交換レンズで所定の被写体を撮像した画像である
＜２＞に記載の情報処理装置。
＜４＞
前記画像の所定の被写体は、無模様一色の被写体である
＜３＞に記載の情報処理装置。
＜５＞
前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報を含む
＜１＞に記載の情報処理装置。
＜６＞
前記補正部は、
前記シェーディング情報、及び、前記イメージセンサによって生じるシェーディングであるセンサシェーディングに関するセンサシェーディング情報から、前記交換レンズ及び前記イメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報を求め、
前記トータルシェーディング情報に基づいて、前記撮像画像上の前記複数の個眼画像それぞれのトータルシェーディングを補正する
＜５＞に記載の情報処理装置。
＜７＞
前記センサシェーディング情報は、前記イメージセンサによって生じる複数の色それぞれのシェーディングに関する色シェーディング情報を含む
＜６＞に記載の情報処理装置。
＜８＞
前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
＜１＞に記載の情報処理装置。
＜９＞
前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
＜１＞に記載の情報処理装置。
＜１０＞
情報処理装置が、
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信することと、
前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行うことと
を含む情報処理方法。
＜１１＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信する通信部と、
前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行う補正部と
して、コンピュータを機能させるためのプログラム。
＜１２＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
イメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を記憶する記憶部と、
前記シェーディング情報を外部に送信する通信部と
を備える交換レンズ。
＜１３＞
前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報を含む
＜１２＞に記載の交換レンズ。
＜１４＞
前記トータルシェーディング情報は、前記交換レンズで所定の被写体を撮像した画像である
＜１３＞に記載の交換レンズ。
＜１５＞
前記画像の所定の被写体は、無模様一色の被写体である
＜１４＞に記載の交換レンズ。
＜１６＞
前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報を含む
＜１２＞に記載の交換レンズ。
＜１７＞
前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
＜１２＞に記載の交換レンズ。
＜１８＞
前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
＜１２＞に記載の交換レンズ。

１０ カメラ本体， １１ カメラマウント， ２０ 多眼交換レンズ， ２１ 鏡筒， ２２ レンズマウント， ３１₁ないし３１₇ 個眼レンズ， ４１ 記憶部， ４２ 通信部， ５１ イメージセンサ， ５２ 通信部， ５３ 補正部， ５４ 領域特定部， ５５ 画像処理部， ５６ 表示部， ５７ 記憶部， ８１ 視差情報生成部， ８２ 補間部， ８３ 集光処理部， ８４ パラメータ設定部， ９０ サーバ， １０１ カメラシステム， １０２ クラウドサーバ， １１０ 多眼交換レンズ， １２０ カメラ本体， １３１₁ないし１３１₄ 個眼レンズ， １４１ レンズマイクロコンピュータ， １５１ イメージセンサ， １５２ カメラ信号処理LSI， １５３ ボディマイクロコンピュータ， １５４ 記憶部， １７１ クラウドCPU， １７２ シェーディングデータベース， １７３ 補正部， １７４ 記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブルメディア

Claims (18)

1. 光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信する通信部と、
   前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行う補正部と
   を備える情報処理装置。
2. 前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報を含む
   請求項１に記載の情報処理装置。
3. 前記トータルシェーディング情報は、前記交換レンズで所定の被写体を撮像した画像である
   請求項２に記載の情報処理装置。
4. 前記画像の所定の被写体は、無模様一色の被写体である
   請求項３に記載の情報処理装置。
5. 前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報を含む
   請求項１に記載の情報処理装置。
6. 前記補正部は、
   前記シェーディング情報、及び、前記イメージセンサによって生じるシェーディングであるセンサシェーディングに関するセンサシェーディング情報から、前記交換レンズ及び前記イメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報を求め、
   前記トータルシェーディング情報に基づいて、前記撮像画像上の前記複数の個眼画像それぞれのトータルシェーディングを補正する
   請求項５に記載の情報処理装置。
7. 前記センサシェーディング情報は、前記イメージセンサによって生じる複数の色それぞれのシェーディングに関する色シェーディング情報を含む
   請求項６に記載の情報処理装置。
8. 前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
   請求項１に記載の情報処理装置。
9. 前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
   請求項１に記載の情報処理装置。
10. 情報処理装置が、
    光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信することと、
    前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行うことと
    を含む情報処理方法。
11. 光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を受信する通信部と、
    前記シェーディング情報に基づいて、前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれに対応する前記複数の個眼画像それぞれのシェーディングの補正を行う補正部と
    して、コンピュータを機能させるためのプログラム。
12. 光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
    イメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれのシェーディングに関するシェーディング情報を記憶する記憶部と、
    前記シェーディング情報を外部に送信する通信部と
    を備える交換レンズ。
13. 前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報を含む
    請求項１２に記載の交換レンズ。
14. 前記トータルシェーディング情報は、前記交換レンズで所定の被写体を撮像した画像である
    請求項１３に記載の交換レンズ。
15. 前記画像の所定の被写体は、無模様一色の被写体である
    請求項１４に記載の交換レンズ。
16. 前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報を含む
    請求項１２に記載の交換レンズ。
17. 前記シェーディング情報は、前記交換レンズ及び所定のイメージセンサによって生じるシェーディングであるトータルシェーディングに関するトータルシェーディング情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
    請求項１２に記載の交換レンズ。
18. 前記シェーディング情報は、前記複数の個眼レンズそれぞれの位置を表すレンズ位置情報、前記複数の個眼レンズそれぞれによって生じるシェーディングであるレンズシェーディングに関するレンズシェーディング情報、前記複数の個眼レンズそれぞれの射出瞳の位置を表す射出瞳位置情報、及び、前記複数の個眼レンズそれぞれの射出瞳の径を表す射出瞳径情報が対応付けられた、前記交換レンズのユニークなID(IDentification)を含む
    請求項１２に記載の交換レンズ。

Images