JP5982907B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像と右眼用画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。

撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像と、
のペア画像によって構成される。

左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

しかし、これらの２つの異なる視点からの画像を撮影するために、２つのカメラを用いて撮影する場合、２台のカメラの精密な同期制御を必要とし、非常に困難であるし、輻輳角の正確な制御もまた、非常に困難である。

立体撮影を行うためのレンズ系の調整を容易にするために、互いに直交関係となるように偏光させる偏光フィルタを組み合わせることによって、光学系を共通化させる立体撮影装置が、例えば特許文献１（特公平６−０５４９９１号公報）に開示されている。

また、２つのレンズと１つの撮像手段から構成された撮像装置で立体撮影を行う方式について、例えば、特許文献２（特開２００４−３０９８６８号公報）に開示がある。この特許文献２に開示された撮像装置は、ＣＣＤの撮像面に対して所定距離だけ離れた位置に、人間の視差に応じた間隔だけ離間して、（ａ）レンズと水平成分偏光フィルタの組み合わせ構成と、（ｂ）レンズと垂直成分偏光フィルタの組み合わせ構成をそれぞれ設定して、これら（ａ），（ｂ）の２つの組み合わせ構成の各々を利用して左眼画像と右眼画像を取得する構成である。

特公平６−０５４９９１号公報 特開２００４−３０９８６８号公報

ところで、上記の特許文献１（特公平６−０５４９９１号公報）に開示された技術にあっては、２つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。
しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。

また、上記の特許文献２（特開２００４−３０９８６８号公報）に開示された技術にあっては、レンズおよび偏光フィルタの組合せを２組、必要とし、装置の複雑化、大型化が免れない。

本開示は、例えば上記の問題に鑑みてなされたものであり、１台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
例えば、３次元画像表示に適用する画像の生成に利用される２次元画像の補間処理を実行する構成を有する画像処理装置、および画像処理方法、並びにプログラムを提供する。

本開示の第１の側面は、
左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正部を有し、
前記画像補正部は、
補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理を実行し、
高相関方向が片眼視点画素領域によって構成される水平方向である場合、
補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、
補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、
前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記高周波信号は、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の複数の画素信号各々に対するハイパスフィルタ適用結果に対するバイキュービック補間処理を行って算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置の処理対象画像はＲＧＢ画素から構成されるベイヤー配列を有する画像であり、前記画像補正部は、補正対象画素がＧ画素である場合、前記片眼視点画素領域のＧ画素を参照画素とした低周波信号と、前記片眼視点画素領域に隣接する前記中央視点画素領域のＧ画素を参照画素とした高周波信号を生成し、補正対象画素がＲ画素またはＢ画素である場合、前記片眼視点画素領域の補正対象画素と同一色のＲ画素またはＢ画素を参照画素とした低周波信号と、前記片眼視点画素領域に隣接する前記中央視点画素領域のＧ画素を参照画素とした高周波信号を生成し、さらに、Ｇ信号対応の高周波信号を適用してＲ信号またはＢ信号対応の高周波を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、Ｇ信号対応の高周波信号を適用したＲ信号またはＢ信号対応の高周波信号を算出する処理として、Ｇ信号対応高周波信号に対して、ＲとＧの低周波信号比ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）、またはＢとＧの低周波信号比ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ）を乗算する処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置の処理対象画像はＲＧＢ画素から構成されるベイヤー配列を有する画像であり、前記画像補正部は、前記高周波信号を、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の複数のＧ画素信号各々に対するハイパスフィルタ適用結果に対するバイキュービック補間処理を行って算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記高相関方向検出処理において、高相関方向が片眼視点画素領域によって構成される水平方向以外の方向である場合、高相関方向の画素を参照画素とした補間処理によって、前記補正対象画素の補正画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記片眼視点画素領域の画素の輝度を中央視点画素領域の輝度に合わせる輝度補正により輝度補正画像を生成し、生成した輝度補正画像に対する補正処理によって前記補正対象画素の補正画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記片眼視点画素単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成し、補間処理対象となる画素の反射情報が反射ありを示している場合、および、補間処理対象となる画素の反射情報が反射なしを示し、高相関方向が片眼視点画素領域によって構成される水平方向以外である場合には、高相関方向の前記中央視点画素領域の画素を参照画素として選択した補間処理を実行し、補間処理対象となる画素の反射情報が反射なしを示し、高相関方向が片眼視点画素領域によって構成される水平方向である場合には、補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、前記第２偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して前記２次元画像を生成する前記画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置の画像補正部が、左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、
前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正処理を実行し、
前記画像補正処理において、
補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理を実行し、
高相関方向が片眼視点画素領域によって構成される水平方向である場合、
補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、
補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、
前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置の画像補正部に、左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、
前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正処理を実行させ、
前記画像補正処理において、
補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理と、
高相関方向が片眼視点画素領域によって構成される水平方向である場合、
補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出する処理、
補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出する処理、
前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値として設定する処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、３次元画像表示に適用する画像の生成に利用する精度の高い２次元画像の生成が可能となる。
具体的には、左眼および右眼視点画像からなる片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を有する画像を入力し、片眼視点画素領域の画素値を中央視点画素領域と同等の輝度および視点位置の画素値に補正する。片眼視点画素の周囲画素を参照し、補正対象画素と相関の高い方向を検出し、高相関方向が片眼視点画素領域となる水平方向である場合、補正画素と同一色の水平方向画素と補正対象画素とに基づく低周波信号を算出し、補正対象画素の含まれる片眼視点画素領域に隣接する中央視点画素領域の画素信号を適用して高周波信号を算出し、低周波信号と高周波信号の加算結果を補正対象画素の補正画素値とする。
このように、相関の高い方向が、片眼視点画素領域からなる水平方向である場合、低周波信号を片眼視点画素領域の画素を参照して算出し、高周波信号を中央視点画素領域の画素を参照して算出し、これらを加算して補正画素値とすることで、品質の向上した補正画素値の設定が可能となる。

本開示の画像処理装置の全体構成について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 第２偏光部の構成例について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。 偏光画素補間処理部の処理例について説明する図である。 撮像装置における２Ｄモードと３Ｄモードとの切り替え構成について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。 本開示の画像処理装置の画像処理部の画像補正部の構成例について説明する図である。 画像補正部の実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 画像補正部１００の入力する画像（Ｒａｗ画像）の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。 画素属性を示すインデックスの構成について説明する図である。 Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］と、Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］の各インデックスの設定例を説明する図である。 輝度補正部の実行する輝度補正処理の具体例について説明する図である。 勾配検出部の実行する勾配検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 反射検出部の実行する反射検出処理の具体例について説明する図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 画像補正部の実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理の具体例について説明するフローチャートを示す図である。 補間処理部の実行する補間処理としての空間周波数対応の補間処理について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理の画素値算出式について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるＬＰＦ適用処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるＬＰＦ適用処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるＬＰＦ適用処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部１００の入力する画像（Ｒａｗ画像）の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。 画素属性を示すインデックスの構成について説明する図である。 補間処理部の実行する補間処理としての空間周波数対応の補間処理について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理の画素値算出式について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるＬＰＦ適用処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるＬＰＦ適用処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。 画像補正部の実行する補間処理としての空間周波数対応の補間処理におけるバイキュービック補間処理の一例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の基本構成と処理例について
２．補間処理の具体的処理例について
２−（１）．２Ｄ画像撮影モードでの撮影画像に対する補間処理例
２−（２）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例１
２−（３）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例２
３．その他の実施例
４．本開示の構成のまとめ

［１．本開示の画像処理装置の基本構成と処理例について］
まず、本開示の画像処理装置の基本構成と処理例について説明する。
図１は、画像処理装置の一例である撮像装置の構成を示している。

図１（Ａ）に示す撮像装置１０の撮影レンズ１１を介して撮影被写体に対応する入射光が入力する。
撮影レンズ１１を介した入射光は、第１偏光部１２、絞り１３、結像レンズ１４、第２偏光部１５を介して撮像素子１６に入力される。

なお、図１（Ａ）は、撮像装置（カメラ）１０を上から見た図、すなわち上面図である。図１（Ａ）の左下に撮像装置１０と撮影者２０の概略図と、ＸＹＺ座標軸を示しているように、図１（Ａ）の撮像装置の構成図は、撮像装置（カメラ）１０を上から見た図である。
図１（Ａ）の中央付近に示す点線縦ライン（Ｘ軸）に示すように、図１（Ａ）の上側が撮影者から見て右（Ｒ）側であり、図１（Ａ）の下側が撮影者から見て左（Ｌ）側となる。

撮像素子１６は、例えばＣＣＤ、ＣＭＯＳ等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部１７に出力する。
画像処理部１７では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部１８に格納する。
画像処理部１７の構成と処理の詳細については後述する。

図１（Ａ）に示す構成において、第１偏光部１２は、図１（Ｂ）に示す構成を有し、第２偏光部１５は、図１（Ｃ）に示す構成を有する。
第１偏光部１２は、図１（Ｂ）に示すように、左右に２分割されており、
左半分の領域に垂直偏光領域１２Ｖ、
右半分の領域に水平偏光領域１２Ｈ、
これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。

垂直偏光領域１２Ｖは、垂直方向の偏波光のみを通過させ、垂直偏光領域１２Ｖを通過した光は、垂直方向の偏波光となる。
水平偏光領域１２Ｈは、水平方向の偏波光のみを通過させ、水平偏光領域１２Ｈを通過した光は、水平方向の偏波光となる。

図１（Ｂ）に示す重心点３１は、垂直偏光領域１２Ｖの重心位置である。この垂直偏光領域１２Ｖの透過光は、重心点３１を視点として観察した画像に相当する。
同様に、図１（Ｂ）に示す重心点３２は、水平偏光領域１２Ｈの重心位置である。この水平偏光領域１２Ｈの透過光は、重心点３２を視点として観察した画像に相当する。
すなわち、
垂直偏光領域１２Ｖの重心位置である重心点３１を視点として観察した画像は、左眼からの観察画像である左眼視点画像（Ｌ画像）に対応し、
水平偏光領域１２Ｈの重心位置である重心点３２を視点として観察した画像は、右眼からの観察画像である右眼視点画像（Ｒ画像）に対応する。
このように、第１偏光部１２を透過する画像は、左右の２つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。

この２つの異なる視点画像、すなわち、
左眼用画像に相当するＬ画像（垂直偏波光）、
右眼用画像に相当するＲ画像（水平偏波光）、
これらの光は、結像レンズ１４を介して、第２偏光部１５に到達する。
なお、以下の説明において、「右眼用画像」は「右眼画像」、「左眼用画像」は「左眼画像」と簡略化して表記する。

第２偏光部１５は図１（Ｃ）に示す構成を持つ。
第２偏光部１５は、図１（Ｃ）に示すように、
水平偏光領域１５Ｈ、
垂直偏光領域１５Ｖ、
全透過（非偏光）領域１５Ａ、
これらの３種類の領域を上から順に繰り返し設定した構成を有する。

水平偏光領域１５Ｈは、水平方向の偏波光を選択的に透過して撮像素子１６に水平偏波光のみを結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光を選択的に透過して撮像素子１６に垂直偏波光のみを結像させる。
全透過（非偏光）領域１５Ａは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子１６に結像させる。

なお、第２偏光部１５に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ（例えばＡｌ（アルミ）線）を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。

図２に、第２偏光部１５と、第２偏光部１５の透過光を受光する撮像素子１６を重ねた図を示す。
撮像素子１６は、ＲＧＢ配列（ベイヤー配列）を有する撮像素子を例として示している。

図２に示す構成例は、
第２偏光部１５に設定される垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。すなわち、
（ａ）２ラインの垂直偏光領域１５Ｖ、
（ｂ）２ラインの水平偏光領域１５Ｈ、
（ｃ）１２ラインの全透過（非偏光）領域１５Ｖ、
これら（ａ）〜（ｃ）の３種類の領域が、撮像素子１６の縦方向（Ｙ方向）に繰り返し設定される。

水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。

このように、撮像素子１６の出力する画像は、左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像となる。

図２に示す構成例は、第２偏光部１５の一構成例であり、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。
第２偏光部１５の構成としては、この他にも様々な構成が可能である。
例えば図３に示すように、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。
図４は、図３に示す第２偏光部とＲＧＢ配列の撮像素子１６を重ねて示した図である。

図４に示す例は、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行の領域、
１４行の全透過（非偏光）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

本構成においては、
２×２の４画素からなる矩形領域からなる水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
２×２の４画素からなる矩形領域からなる垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点３３から観察した通常画像と同様の画像となる。

この画像も、左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像となる。

図５は、図１に示す画像処理部１７の詳細構成を説明する図である。
撮像素子１６は、図２〜図４を参照して説明したように、
（ａ）垂直偏光領域、
（ｂ）水平偏光領域、
（ｃ）全透過（非偏光）領域、
これらの３種類の領域に区分され、それぞれの領域対応の信号を画像処理部１７に入力する。
なお、以下の説明において、
撮像素子１６における（ａ）垂直偏光領域と（ｂ）水平偏光領域に対応する画素を、
ＰＬ（Ｐｏｌａｒｉｚｅｄ（＝偏光））画素と呼ぶ。
（ｃ）全透過（非偏光）領域に対応する画素を、
Ｎ（Ｎｏｎ−ｐｏｌａｒｉｚｅｄ（非偏光））画素と呼ぶ。

撮像素子１６の出力は、
ＰＬ画素出力（＝垂直偏光領域と水平偏光領域対応画素の出力）、
Ｎ画素出力（＝全透過（非偏光）領域対応画素の出力）
これらの出力によって構成される。

ここでは、図３、図４を参照して説明した第２偏光部１５と撮像素子１６の組み合わせ構成を持つ撮像素子１６からＰＬ画素出力とＮ画素出力を画像処理部１７に出力した場合の処理例について説明する。
すなわち、撮像素子１６は、図４を参照して説明したように、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、
これらが縦方向（Ｙ方向）に繰り返して配置された構成を持つ。

図５に示す撮像素子１６から出力される画素信号は、画像処理部１７の偏光画素分離部５１において、
偏光領域画素（ＰＬ画素）と、
非偏光領域画素（Ｎ画素）と、
これらの各領域の画素出力の分離処理が実行される。

偏光画素分離部５１の分離処理によって分離されたＮ画素信号（非偏光画素信号）６１は、画像補正部５２に入力される。
画像補正部５２は、Ｎ画素信号（非偏光画素信号）６１から欠落した画素領域、すなわち、ＰＬ画素領域の画素についての画素補間処理を実行する。具体的には、例えば、ＰＬ画素領域の画素値を、上下のＮ画素の画素値を参照して算出して設定する補間処理を実行する。

この画素補間処理によって、画素値の欠落している全てのＰＬ画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。補間画像（２Ｄ−Ｒａｗ画像）６２は各画素にＲＧＢのいずれかの画素値の設定された画像である。

画像補正部５２の生成する補間画像（２Ｄ−Ｒａｗ画像）６２は、撮像素子１６の構成画素の全ての画素にＮ画素信号（非偏光画素信号）が設定された画像となる。この画像は、図１（Ｂ）に示す第１偏光部１２の中心点３３から観察した画像に相当する１枚の２Ｄ（２次元）Ｒａｗ画像である。

画像補正部５２の生成した補間画像（２Ｄ−Ｒａｗ画像）６２は、デモザイク処理部５３に入力される。
デモザイク処理部５３は、補間画像（２Ｄ−Ｒａｗ画像）６２に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の２次元画像に変換する。
デモザイク処理は、全ての画素位置に全ての色信号、例えばＲＧＢの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。
デモザイク処理部５３の生成した２Ｄ−ＲＧＢ画像６３は、視差画像生成部５６に入力される。

一方、偏光画素分離部５１の分離処理によって生成されるもう１つの分離信号であるＰＬ画素信号（偏光画素信号）６５は、非偏光領域画素（Ｎ画素）の画素値を持たない、偏光領域画素（ＰＬ画素）の画素値のみからなる画像信号となる。
このＰＬ画素信号（偏光画素信号）６５は、偏光画素補間処理部５４に入力される。

ここで説明する処理例は、図４を参照して説明した２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、これらが縦方向（Ｙ方向）に繰り返して配置された構成である。
従って、偏光画素分離部５１の分離処理によって生成されるＰＬ画素信号（偏光画素信号）６５は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域が、縦方向に１４行おきに設定された画像となる。

偏光画素補間処理部５４は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域のみを処理対象として選択し、これらのＰＬ画素領域について図６に示す処理を実行する。

すなわち、偏光画素補間処理部５４は、
ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域について、
すべてを垂直偏光領域１５Ｖに対応する画素値を設定した左眼画像信号（垂直偏光画像信号）６６ａ、
すべてを水平偏光領域１５Ｈに対応する画素値を設定した右眼画像信号（水平偏光画像信号）６６ｂ、
これらの各画像を生成する。

なお、図６に示す左眼画像信号（垂直偏光画像信号）６６ａは、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域の水平偏光画素領域の画素値をリセット（取り除き）、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。
同様に、図６に示す右眼画像信号（水平偏光画像信号）６６ｂは、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域の垂直偏光画素領域の画素値をリセット（取り除き）、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。

この結果、左眼画像信号（垂直偏光画像信号）６６ａに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の左側の重心点３１から見た画像、すなわち左眼画像に対応する画像となる。
同様に、右眼画像信号（水平偏光画像信号）６６ｂに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の右側の重心点３２から見た画像、すなわち右眼画像に対応する画像となる。

このように、偏光画素補間処理部５４は、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
を生成する。
偏光画素補間処理部５４の生成したこれらの画像は、視差検出部５５に入力される。

視差検出部５５は、水平画素数が入力画像と同等の画素数を有する図６に示す、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの２つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。
すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。

視差検出部５５は、例えば各画素対応の被写体距離情報を持つデフスマップ６７を生成して出力する。
なお、デプスマップ６７は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。
具体的には、例えば、
被写体距離が小（カメラに近い）の領域は高輝度、
被写体距離が大（カメラから遠い）の領域は低輝度、
視差検出部５５は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部５６に出力する。

なお、偏光画素補間処理部５４の生成する、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの画像は、図６に示すように、入力画像中のＮ画素（非偏光画素）領域については、画像信号を有していないが、視差検出部５５は、これらの画素値を持たないＮ画素（非偏光画素）領域については、左眼画像信号（垂直偏光画像信号）６６ａに基づく補間画素値を設定した左眼画像と、右眼画像信号（水平偏光画像信号）６６ｂに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。
なお、画素値補間処理には、例えば線形補間処理等が利用可能である。

視差画像生成部５６は、デモザイク処理部５３から出力される２次元画像である２Ｄ−ＲＧＢ画像６３と、視差検出部５５から出力される視差情報としてのデプスマップ６７を用いて、左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２の２枚の画像を生成する。

すなわち、２Ｄ−ＲＧＢ画像６３に対して、視差情報としてのデプスマップ６７に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２を生成して出力する。
なお、この視差画像生成部５６において実行する画像変換処理は、１枚の２次元画像（２Ｄ画像）に基づく画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２を生成して出力する処理であり、一般的には例えば２Ｄ３Ｄ変換処理と呼ばれる処理である。

１枚の２次元画像（２Ｄ画像）に基づく対する画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）と、右眼画像（Ｒ画像）を生成する２Ｄ３Ｄ変換処理については、様々な処理が提案されており、視差画像生成部５６においては、既存の手法を適用した２Ｄ３Ｄ変換処理を行う。

具体的には、例えば、視差検出部５５から出力される視差情報としてのデプスマップ６７を用いて、２Ｄ−ＲＧＢ画像６３に対して視差に応じた画像シフト処理を実行して左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２の２枚の画像を生成する。
例えば本出願人の先の特許出願である特願２００９−２８３０８０号に記載した構成を適用した２Ｄ３Ｄ変換を実行する構成としてもよい。

このように、視差画像生成部５６は、デモザイク処理部５３から入力する２Ｄ−ＲＧＢ画像６３に対して、視差検出部５５から入力するデプスマップ６７を利用して被写体距離に応じた視差設定を実行する２Ｄ３Ｄ変換処理を実行して３Ｄ画像表示に適用する左眼図像（Ｌ画像）７１、右眼画像（Ｒ画像）７２を生成して画像出力部５７を介して出力する。

上述したように、図５に示す画像処理部１７は、撮像素子１６上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。
さらに、偏光子を配置しない画素によって通常の２次元画像を取得して、これらの情報から画像処理によって３Ｄ画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。

なお、上述の実施例では、図１他を参照して説明した第１偏光部１２が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。
また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる２つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。
なお、第２偏光部１５は、第１偏光部１２の偏光領域の設定に対応させて、第１偏光部１２に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。

［２．補間処理の具体的処理例について］
先に説明した図５に示す画像処理部１７の画像補正部５２は、偏光画素分離部５１から入力する全透過画素からなるＮ画素（非偏光画素）信号６１を入力し、Ｎ画素（非偏光画素）信号６１に含まれないＰＬ画素（偏光画素）領域の画素値を補間処理によって設定する処理を実行する。

図７に示すように撮像装置１０は、画像の撮影モードを、
２Ｄ画像を撮影する２Ｄモード、
３次元画像の表示に適用可能な左眼用画像と右眼用画像を撮影する３Ｄモード、
これらの各モードの切り替えが可能な構成を持つ。

図７に示すように、
（Ａ）３Ｄモードでは第１偏光部１２が光路上に設定される。
（Ｂ）２Ｄモードでは第１偏光部１２が光路上から除去される。
３Ｄモードで撮影された場合は、前述したように、ＰＬ画素（偏光画素）に以下の画像が撮影される。
垂直偏光画素に左眼用画像（図１（Ｂ）の重心点３１から見た画像）、
水平偏光画素に右眼用画像（図１（Ｂ）の重心点３２から見た画像）、
これらの画像が撮影され、全透過画素であるＮ画素（非偏光画素）には、レンズ中央から見た画像（図１（Ｂ）の中心点３３から見た画像）、
これらの画像が撮影される。

一方、図７（Ｂ）に示す２Ｄモードの設定では、
第１偏光部１２が光路上に存在しないので、第２偏光部１５によって撮像素子１６に対する入射光が制御されるのみとなる。
この場合、ＰＬ画素（偏光画素）としての垂直偏光画素、水平偏光画素、Ｎ画素（非偏光画素）としての全透過画素はいずれも、レンズ中央から見た画像（図１（Ｂ）の中心点３３から見た画像）が撮影される。
しかし、ＰＬ画素（偏光画素）としての垂直偏光画素、水平偏光画素の入射光量は、偏光処理によって、Ｎ画素（非偏光画素）の入射光より少なくなる。すなわち輝度の低下が発生することになる。これは３Ｄモードでの撮影処理においても同様である。

先に図５参照して説明した画像補正部５２は、偏光画素分離部５１から入力する全透過画素からなるＮ画素（非偏光画素）信号６１のみを入力し、Ｎ画素（非偏光画素）信号６１に含まれないＰＬ画素（偏光画素）領域の画素値を補間処理によって設定する処理を実行する処理例として説明した。
以下において説明する実施例では、図８に示すように、画像補正部１００は、偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。
図８に示す画像補正部１００は、このように撮像素子の生成信号をすべて入力して、補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

以下、この画像補正部５２の実行する複数の具体的な処理例について順次説明する。以下の各処理態様について、順次説明する。
（１）２Ｄ画像撮影モードでの撮影画像に対する補間処理例
（２）３Ｄ画像撮影モードでの撮影画像に対する補間処理例１
（３）３Ｄ画像撮影モードでの撮影画像に対する補間処理例２
（４）３Ｄ画像撮影モードでの撮影画像に対する補間処理例３

［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］
まず、撮像装置において２次元画像を撮影する２Ｄ画像撮影モードでの撮影画像に対する補間処理例について説明する。

図８に示す画像補正部１００の詳細構成を図９に示す。
図９に示すように画像補正部１００は、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、補間処理部１０４、これらの構成を有する。

画像補正部１００は、前述したように、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

画像補正部１００の輝度補正部１０１は、まず、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。
前述のように、ＰＬ画素（偏光画素）は第２偏光部１５による偏光処理によって入射光量が制限され全透過画素であるＮ画素（非偏光画素）に比較して画素値（輝度）が低下する。
さらに、ＰＬ画素に隣接するＮ画素も、周囲が全てＮ画素であるＮ画素に比較すると輝度が低下する傾向にある。これは、ＰＬ画素に隣接するＮ画素は、隣接画素（ＰＬ画素）からのもれ光が低下する影響と考えられる。
従って、輝度補正部１０１は、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。例えば、偏光領域画素（ＰＬ画素）と偏光領域画素隣接画素（ＰＬ画素隣接画素）の輝度を、全透過領域に対応する全透過領域画素（Ｎ画素）の輝度に合わせる輝度補正を実行する。
具体的な処理例については後述する。

輝度補正部１０１の生成した輝度補正画像１２１は、勾配検出部１０２、反射検出部１０３、補間処理部１０４に出力される。

勾配検出部１０２は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、補間対象画素であるＰＬ画素各々について、ＰＬ画素の周囲にあるＮ画素領域の画素値に基づいて画素値の勾配方向の検出を行う。
すなわち、偏光領域画素（ＰＬ画素）単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する。エッジ検出と同様の処理である。画素の変化率を以下の４方向の勾配係数として算出する。
横勾配係数：Ｈｇｒａｄ、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの勾配係数を算出する。
これらの勾配係数を含む勾配情報１２２は、補間処理部１０４に入力される。

反射検出部１０３は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、ＰＬ画素各々についてに反射光成分が含まれるか否かを判定する。
ＰＬ画素（偏光画素）は、特定の偏波光、本例では垂直偏光または水平偏光を選択的に入射している。
例えば水面やガラスの反射光は、特定方向の偏波光成分が強く表れる。このような反射光が撮影画像に含まれると、ＰＬ画素の水平偏光画素、あるいは垂直偏光画素の画素値の一方が高く他方が低くなるといった偏りが発生することがある。
反射検出部１０３は、このような反射光が撮影画像中に含まれるか否かを判定する。判定処理の具体例については後述する。
反射検出部１０３の検出した反射情報１２３は、補間処理部１０４に入力される。

補間処理部１０４は、
輝度補正部１０１の生成した輝度補正画像１２１、
勾配検出部１０２の生成した勾配情報１２２、
反射検出部１０３の検出した反射情報１２３、
これらの画像と各情報を入力する。
補間処理部１０４は、ＰＬ画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部１０２の生成した勾配情報１２２、反射検出部１０３の検出した反射情報１２３を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。
なお、具体的処理例については後述する。
この補間処理の結果として、図８に示す画像補正部１００の出力である２Ｄ−Ｒａｗ画像６２が生成される。

図１０に、画像補正部１００の実行する処理シーケンスを説明するフローチャートを示す。
各ステップの処理について説明する。
ステップＳ１０１において、２Ｄモード（第１偏光部非設定）として撮影した撮影画像Ｓ（Ｒａｗ画像）を入力する。
次に、ステップＳ１０２において、ＰＬ画素領域とＰＬ画素近接領域の輝度補正処理により、輝度補正画像Ｔを生成する。
この処理は、図９に示す輝度補正部１０１の実行する処理である。

次に、ステップＳ１０３において、輝度補正画像Ｔに基づいて、画像勾配（エッジ方向）を検出する。
この処理は、図９に示す勾配検出部１０２の実行する処理である。

次に、ステップＳ１０４において、輝度補正画像に基づいて、反射光の有無を検出する。
この処理は、図９に示す反射検出部１０３の実行する処理である。
ステップＳ１０５において、反射検出なしと判定された画素（ＰＬ画素）については、そのまますなわち輝度補正された画素値をそのまま出力する。
一方、ステップＳ１０５において、反射検出ありと判定された画素（ＰＬ画素）については、ステップＳ１０６において補正処理、具体的には、近傍のＮ画素を参照画素とした補間処理を行う。

ステップＳ１０６における補間処理は、勾配検出部１０２の生成した勾配情報中、縦方向と右上がり方向と右下がり方向の３方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のＮ画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。

図１１以下を参照して、画像補正部１００の実行する処理の具体例について説明する。
図１１は、画像補正部１００の入力する画像（Ｒａｗ画像）の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。

図１１に示す画像は、先に図４を参照して説明したと同様の構成である。すなわち、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行のＰＬ画素（偏光画素）領域、
１４行の全透過画素であるＮ画素（非偏光画素）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

なお、３Ｄモードの設定とした場合には、
垂直偏光領域１５Ｖには左側の視点からの画像である左眼用画像、
水平偏光領域１５Ｈには右側の視点からの画像である右眼用画像が撮影される。
２Ｄモードでは、いずれの偏光領域１５Ｖ，１５ＨにもＮ画素（非偏光画素）領域１５Ａと同様の視点、すなわちレンズ中心を視点とした画像が撮影される。ただし、光量は低下する。

図１１に示すように各画素にはＸ方向のインデックス（Ｘ座標属性）とＹ方向のインデックス（Ｙ座標属性）が設定される。
Ｘ方向インデックス［ｘｉｄｘ（ｘ）］は、０〜３のいずれかが各画素に対応して設定される。
Ｙ方向インデックス［ｙｉｄｘ（ｙ）］は、０〜５のいずれかが各画素に対応して設定される。

例えば、
ｙｉｄｘ（ｙ）＝０，５は、ＰＬ画素と隣接しないＮ画素、
ｙｉｄｘ（ｙ）＝１，４は、ＰＬ画素と隣接するＮ画素、
ｙｉｄｘ（ｙ）＝２，３は、ＰＬ画素、
このように、インデックスの値に基づいて画素の属性が判別される。

画素属性を示すインデックスの構成を図１２に示す。
図１２に示すように、画素属性を示すインデックスには以下の種類がある。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］

各属性（インデックス）の値と識別情報との対応関係は以下の通りである。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
ｘｉｄｘ（ｘ）＝０，１：左眼画素を含む列の左眼画素または非偏光（全透過）画素
ｘｉｎｄｘ（ｘ）＝２，３：右眼画素を含む列の右眼画素または非偏光（全透過）画素

（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
ｙｉｎｄｘ（ｙ）＝０，５：偏光画素（ＰＬ画素）から離間した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝１，４：偏光画素（ＰＬ画素）に隣接した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝２，３：偏光画素（ＰＬ画素）

（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
ｅｘ（ｘ，ｙ）＝０：全透過画素（非偏光画素）
ｅｘ（ｘ，ｙ）＝−１：左眼画素（縦偏光画素）
ｅｘ（ｘ，ｙ）＝＋１：右眼画素（横偏光画素）

（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］
ｃｏｌｏｒ（ｘ，ｙ）＝０：赤（Ｒ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝１：緑（Ｇ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝２：青（Ｂ）画素

画像補正部１００では、例えば、入力する処理対象画像の画素に対応してこれらのインデックスを設定し、このインデックス情報に基づく処理を実行する。
図１３は、
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
これらの各インデックスの設定例を説明する図である。
基準座標として、例えば画像の左上端の画素を（ｘｂａｓｅ，ｙｂａｓｅ）として設定し、この基準点からの相対位置に基づいて、上記の各インデックスの設定を行う例を示している。

画像補正部１００では、入力する処理対象画像の画素に対する処理を実行する際に、画素に設定されたインデックス（属性）を判定して処理態様を決定して、順次処理を実行する。

次に、図９に示す画像補正部１００の各構成部において実行する処理の具体例について図１４以下を参照して説明する。

（輝度補正部１０１の処理の具体例）
まず図１４を参照して、図９に示す輝度補正部１０１の実行する輝度補正処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０２の処理に対応する。

前述したように、輝度補正部１０１は、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

輝度補正部１０１は、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。前述のように、ＰＬ画素（偏光画素）は第２偏光部１５による偏光処理によって入射光量が制限され全透過画素であるＮ画素（非偏光画素）に比較して画素値（輝度）が低下する。
さらに、ＰＬ画素に隣接するＮ画素も、周囲が全てＮ画素であるＮ画素に比較すると輝度が低下する傾向にある。これは、ＰＬ画素に隣接するＮ画素は、隣接画素（ＰＬ画素）からのもれ光が低下する影響と考えられる。
従って、輝度補正部１０１は、全画素信号８１に含まれるＰＬ画素とＰＬ画素隣接画素の輝度補正を行う。

図１４には、輝度補正部１０１の実行する輝度補正のシーケンスを説明するフローと、輝度補正処理の具体例を説明する図を示している。

フローの各ステップの処理について説明する。
まず、ステップＳ１２１において、輝度補正対象となるＰＬ画素、またはＰＬ画素隣接画素を順次選択する。
図１４の下に示す（参考図）において、輝度補正対象となるＰＬ画素、またはＰＬ画素隣接画素は、
Ｙ座標インデックス：ｙｉｄｘ（ｙ）＝１〜４の各画素である。

ステップＳ１２２以下の処理は、ステップＳ１２１において選択された１つの画素ごとに順次、実行される。

ステップ１２２において、選択画素の同一列の上下にある同一色でかつＰＬ画素に隣接しない全透過（非偏光）画素を参照画素として選択して参照画素の画素値を取得する。
例えば、図１４の（参考図）において、
Ｙ座標インデックス：ｙｉｄｘ（ｙ）＝１〜２の各画素を補正対象画素とした場合、すなわち例えば図１４の補正対象領域１４１に含まれる画素が選択されている場合、参照画素は、図に示す参照画素領域１４２と参照画素領域１４３から選択される。
また、Ｙ座標インデックス：ｙｉｄｘ（ｙ）＝３〜４の各画素を補正対象画素とした場合、すなわち例えば図１４の補正対象領域１５１に含まれる画素が選択されている場合、参照画素は、図に示す参照画素領域１５２と参照画素領域１５３から選択される。
選択画素の同一列の上下にある同一色でかつＰＬ画素に隣接しない全透過（非偏光）画素を上下の参照領域から１つずつ選択して、それぞれの画素値を取得する。

次に、ステップＳ１２３において、上下２つの参照画素の画素値に基づいて、補正対象画素との距離に応じた重みを乗算した重み付き平均値［ＶＶＬｅｒｐ］を算出する。
さらに、ステップＳ１２４において、重み付き平均値［ＶＶＬｅｒｐ］と、補正対象画素の画素値［Ｓ（ｘ，ｙ）］、に基づいて、ゲインＧ（ｘ，ｙ）を算出する。
ゲインは以下の式に従って算出する。
Ｇ（ｘ，ｙ）＝（ＶＶＬｅｒｐ）／（Ｓ（ｘ，ｙ））

最後にステップＳ１２５において、補正対象画素の画素値［Ｓ（ｘ，ｙ）］に、ゲインＧ（ｘ，ｙ）を乗じて輝度補正画素値を算出する。
これらの処理をすべてのＰＬ画素とＰＬ画素隣接画素において実行して、輝度補正を行い、ＰＬ画素とＰＬ画素隣接画素の画素値として設定して、輝度補正画像Ｔを生成する。

（勾配検出部１０２の処理の具体例）
次に、図１５を参照して、図９に示す勾配検出部１０２の実行する勾配検出処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０３の処理に対応する。

前述したように、勾配検出部１０２は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、補間対象画素であるＰＬ画素各々について、ＰＬ画素の周囲にあるＮ画素領域の画素値に基づいて画素値の勾配方向の検出を行う。エッジ検出と同様の処理である。画素の変化率を以下の４方向の勾配係数として算出する。
横勾配係数：Ｈｇｒａｄ、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの勾配係数を算出する。

フローの各ステップの処理について説明する。
まず、ステップＳ１５１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ１５２の処理を順次実行する。

ステップＳ１５２では、選択画素近傍の上下にある同一色の全透過（非偏光）画素を参照画素として選択して、参照画素の画素値に基づく勾配検出処理を実行する。
具体的には、Ｎ画素領域の参照画素の画素値を利用して以下の各勾配係数を算出する。
横勾配係数：Ｈｇｒａｄ
縦勾配係数：Ｖｇｒａｄ
右上がり斜め勾配係数：Ａｇｒａｄ
右下がり勾配係数：Ｄｇｒａｄ
これらの４方向勾配係数を算出

図１５の下に示す（参考図）には、縦勾配係数：Ｖｇｒａｄの算出例を示している。
選択画素は、ＰＬ画素領域にあるＧ画素１６１であるとする。
ｘｉｄｘ（ｘ）＝３、ｙｉｄｘ（ｙ）＝２のＧ画素１６１である。
この選択画素、Ｇ画素１６１に対する縦勾配係数を算出する場合、例えば以下の処理を行う。
選択画素の左の隣接列であるｘｉｄｘ＝２のＮ画素領域の上下２つのＧ画素に基づいて輝度差を算出する。
選択画素と同じ列のｘｉｄｘ（ｘ）＝３のＮ画素領域の上下２つのＧ画素に基づいて輝度差を算出する。
選択画素の右の隣接列であるｘｉｄｘ＝０のＮ画素領域の上下２つのＧ画素に基づいて輝度差を算出する。
これらの３つの輝度差を算出し、これらを選択画素（Ｇ画素１６１）からの距離に応じた重みを設定して加算して縦方向の勾配係数Ｖｇｒａｄを算出する。

横勾配係数：Ｈｇｒａｄ
縦勾配係数：Ｖｇｒａｄ
右上がり斜め勾配係数：Ａｇｒａｄ
右下がり勾配係数：Ｄｇｒａｄ
これらの勾配係数は、参照画素の組み合わせを、それぞれの方向に応じて変更して求める。

このように、ステップＳ１５２では、選択画素近傍の上下にある同一色の全透過（非偏光）画素を参照画素として選択して、参照画素の画素値に基づく勾配検出処理を実行する。

（反射検出部１０３の処理の具体例）
次に、図１６以下を参照して、図９に示す反射検出部１０３の実行する反射検出処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０４の処理に対応する。

前述したように、反射検出部１０３は、輝度補正部１０１の生成した輝度補正画像１２１を入力して、ＰＬ画素各々についてに反射光が含まれるか否かを判定する。

フローの各ステップの処理について説明する。
まず、ステップＳ１６１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ１６２の処理を順次実行する。

ステップＳ１６２では、選択画素の行の横方向の近傍画素（ＰＬ画素）の画素値に基づく反射検出処理を実行する。具体的には、反射検出フィルタの適用処理を行う。

前述したように、ＰＬ画素（偏光画素）は、特定の偏波光、本例では垂直偏光または水平偏光を選択的に入射している。
例えば水面やガラスの反射光は、特定方向の偏波光成分が強く表れる。このような反射光が撮影画像に含まれると、ＰＬ画素の水平偏光画素、あるいは垂直偏光画素の画素値の一方が高く他方が低くなるといった偏りが発生することがある。
図１６（参考図）に示すように、垂直偏光領域と水平偏光領域において、明らかに偏光結果に起因する輝度差（画素値の差）が発生している場合には反射光が含まれると判定することができる。
このような偏光に基づく輝度の偏りの有無を反射検出フィルタを利用して検出する。

具体的な処理について、図１７〜図２０を参照して説明する。
反射検出フィルタを適用した反射検出処理は以下の処理手順に従って実行される。
ａ．パラメータ：Ｈｒｅｆ（ｘ，ｙ）の算出（図１７）
ｂ．パラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）の算出（図１８）
ｃ．パラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）の算出（図１９）
ｄ．反射有無判定結果ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）を決定（図２０）

まず、図１７を参照して
ａ．パラメータ：Ｈｒｅｆ（ｘ，ｙ）の算出処理について説明する。
反射検出フィルタとして、図１７に示すような設定の２つのフィルタを利用する。すなわち、ｘ方向にある７つの画素に乗算する係数として以下の係数の設定された２つのフィルタである。
フィルタ０：＋１，−２，−３，＋４，＋３，−２，−１
フィルタ１：−１，−２，＋３，＋４，−３，−２，＋１
このような係数の設定された２種類のフィルタを適用する。

図１７に示すように、パラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する場合、
反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝０，２の場合には、図１７（ａ１）に示すように、フィルタ１を適用してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。
図１７（ａ１）には選択画素が点線マルで示すＲ画素である場合のフィルタ適用処理を示している。
この場合、Ｒ画素と、左側３画素、右側３画素の各画素値にフィルタ１の各係数を乗算して加算してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。

また、反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝１，３の場合には、図１７（ａ２）に示すように、フィルタ０を適用してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。
図１７（ａ２）には選択画素が点線マルで示すＧ画素である場合のフィルタ適用処理を示している。
この場合、Ｇ画素と、左側３画素、右側３画素の各画素値にフィルタ０の各係数を乗算して加算してパラメータ：Ｈｒｅｆ（ｘ，ｙ）を算出する。

次に、図１８を参照して
ｂ．パラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）の算出処理について説明する。
反射検出フィルタは、図１７を参照して説明したフィルタと同じフィルタを適用する。すなわち、ｘ方向にある７つの画素に乗算する係数として以下の係数の設定された２つのフィルタである。
フィルタ０：＋１，−２，−３，＋４，＋３，−２，−１
フィルタ１：−１，−２，＋３，＋４，−３，−２，＋１
このような係数の設定された２種類のフィルタを適用する。
図１８に示すパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）の算出処理の場合は、図１７を参照して説明したパラメータ：Ｈｒｅｆ（ｘ，ｙ）の算出処理のフィルタ適用態様と逆のフィルタ適用処理を行う。

すなわち、図１８に示すように、パラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する場合、
反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝０，２の場合には、図１８（ｂ１）に示すように、フィルタ０を適用してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。
図１８（ｂ１）には選択画素が点線マルで示すＲ画素である場合のフィルタ適用処理を示している。
この場合、Ｒ画素と、左側３画素、右側３画素の各画素値にフィルタ０の各係数を乗算して加算してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。

また、反射検出処理対象として選択されるＰＬ画素の選択画素が、
ｘｉｄｘ（ｘ）＝１，３の場合には、図１８（ｂ２）に示すように、フィルタ１を適用してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。
図１８（ｂ２）には選択画素が点線マルで示すＧ画素である場合のフィルタ適用処理を示している。
この場合、Ｇ画素と、左側３画素、右側３画素の各画素値にフィルタ１の各係数を乗算して加算してパラメータ：Ｈｎｏｒｅｆ（ｘ，ｙ）を算出する。

次に、図１９を参照して
ｃ．パラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）の算出処理について説明する。

パラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）は以下の式によって算出する。
ｙｉｄｘ（ｙ）＝２の場合、
ｒｅｆ（ｘ，ｙ）＝Ｈｒｅｆ（ｘ，ｙ）＋Ｈ（ｒｅｆ（ｘ，ｙ＋１）
ｎｏｒｅｆ（ｘ，ｙ）＝Ｈｎｏｒｅｆ（ｘ，ｙ）＋Ｈｎｏｒｅｆ（ｘ，ｙ＋１）
ｙｉｄｘ（ｙ）＝３の場合、
ｒｅｆ（ｘ，ｙ）＝Ｈｒｅｆ（ｘ，ｙ−１）＋Ｈ（ｒｅｆ（ｘ，ｙ）
ｎｏｒｅｆ（ｘ，ｙ）＝Ｈｎｏｒｅｆ（ｘ，ｙ−１）＋Ｈｎｏｒｅｆ（ｘ，ｙ）

図１９（参考図）には、
ｙｉｄｘ（ｙ）＝２の場合の、
ｒｅｆ（ｘ，ｙ）＝Ｈｒｅｆ（ｘ，ｙ）＋Ｈ（ｒｅｆ（ｘ，ｙ＋１）
上記算出処理例を示している。
ＰＬ行の２つの行におけるＨｒｅｆの値の加算値を算出してｒｅｆ（ｘ，ｙ）を算出する。

次に、図２０を参照して
ｄ．反射有無判定結果：ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）を決定処理について説明する。
反射有無判定結果：ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）は、図１９を参照して説明したパラメータ：ｒｅｆ（ｘ，ｙ）とｎｏｒｅｆ（ｘ，ｙ）に基づく判定処理として実行される。

具体的には、図２０に示すように、
ｒｅｆ（ｘ，ｙ）≦ｎｏｒｅｆ（ｘ，ｙ）
ｒｅｆ（ｘ，ｙ）≦ｎｏｒｅｆ（ｘ，ｙ＋２）
ｒｅｆ（ｘ，ｙ）≦ｒｅｆ（ｘ，ｙ＋２）
ｒｅｆ（ｘ，ｙ）≦ｎｏｒｅｆ（ｘ，ｙ−２）
ｒｅｆ（ｘ，ｙ）≦ｒｅｆ（ｘ，ｙ−２）
これらのいずれかの条件式が成立する場合は、
ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）＝ｆａｌｓｅ、
すなわち反射なしの画素と判定する。

上記の条件式のいずれも成立しない場合は、
ｒｅｆＤｅｔｅｃｔ（ｘ，ｙ）＝ｔｒｕｅ、
すなわち反射ありの画素と判定する。

図９に示す反射検出部１０３は、図１７〜図２０を参照して説明した処理をＰＬ画素の各々について実行し、各ＰＬ画素が反射光を含むか否かを判定する。このＰＬ画素対応の反射光の有無情報を図９に示す反射情報１２３として生成して補間処理部１４に出力する。

（補間処理部１０４の処理の具体例）
次に、図２１、図２２を参照して、図９に示す補間処理部１０４の実行する補間処理の具体例について説明する。
この処理は、図１０のフローチャートにおけるステップＳ１０６の処理に対応する。

補間処理部１０４は、図９を参照して説明したように、
輝度補正部１０１の生成した輝度補正画像１２１、
勾配検出部１０２の生成した勾配情報１２２、
反射検出部１０３の検出した反射情報１２３、
これらの画像と各情報を入力する。
補間処理部１０４は、ＰＬ画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部１０２の生成した勾配情報１２２、反射検出部１０３の検出した反射情報１２３を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。
この補間処理の結果として、図８に示す画像補正部１００の出力である２Ｄ−Ｒａｗ画像６２が生成される。

図２１、図２２に、補間処理部１０４の実行する補間処理のシーケンスを説明するフローチャートを示す。
図２１、図２２に示すフローチャートの各ステップの処理について説明する。

補間処理部１０４は、まず、ステップＳ１７１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ１７２以下の処理を順次実行する。

ステップＳ１７２において、補間処理対象として選択した１つのＰＬ画素に対応する反射情報、すなわち、図９に示す反射検出部１０３の生成した反射情報１２３の解析処理を実行する。

具体的には、補間処理対象として選択した１つのＰＬ画素の画素値に反射光が含まれるか否かを判定する。
ステップＳ１７３において、選択画素に反射光が含まれると判定した場合は、ステップＳ１７４に進む。
ステップＳ１７３において、選択画素に反射光が含まれないと判定した場合は、補間処理を実行することなく処理を終了する。この場合は、この反射光の含まれないＰＬ画素については、輝度補正部１０１において輝度補正されたＰＬ画素が出力されることになる。
一方、ステップＳ１７３において、選択画素に反射光が含まれると判定した場合は、ステップＳ１７４に進み、Ｎ画素を参照画素として適用した補間処理を実行する。

ステップＳ１７４では、補間処理対象として選択した１つのＰＬ画素に対応する勾配情報、すなわち、勾配検出部１０２の生成した勾配情報１２２の解析処理を実行する。具体的には、勾配検出部１０２の生成した勾配情報１２２に含まれる以下の情報、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの３つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向（Ｄｉｒ）を選択する。
なお、勾配係数の高い方向は、画素値の変化率が高い方向である。

補間処理部１０４は、これら３つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向（Ｄｉｒ）として選択する。
相関の高い方向（Ｄｉｒ）は画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。

次に、ステップＳ１７５において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右上がり斜め勾配係数：Ａｇｒａｄが最小であり、右上斜め方向の相関が最も高いか否かを判定する。

ステップＳ１７５において、右上斜め方向の相関が最も高いと判定した場合は、ステップＳ１７７に進む。
それ以外の場合は、ステップＳ１７６に進む。

ステップＳ１７５において、右上斜め方向の相関が最も高いと判定し、ステップＳ１７７に進むと、ステップＳ１７７において、選択された補間対象画素（ＰＬ画素）について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右上斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

一方、ステップＳ１７５において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ１７６に進み、ステップＳ１７６において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右下がり斜め勾配係数：Ａｇｒａｄが最小であり、右下斜め方向の相関が最も高いか否かを判定する。

ステップＳ１７６において、右下斜め方向の相関が最も高いと判定した場合は、ステップＳ１７８に進む。
それ以外の場合は、ステップＳ１７９に進む。

ステップＳ１７６において、右上斜め方向の相関が最も高いと判定し、ステップＳ１７８に進むと、ステップＳ１７８において、選択された補間対象画素（ＰＬ画素）について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右下斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ１７６において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ１７９に進む。
ステップＳ１７９では、選択された補間対象画素（ＰＬ画素）について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の縦方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

以上、２Ｄ画像モードでの撮影画像に対する補間処理例について説明した。
この補間処理をまとめると、図８、図９に示す画像補正部１００の実行する処理は以下のようにまとめることができる。
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を行ったＰＬ画素を出力、
（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正を行ったＰＬ画素を出力、
画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

［２−（２）３Ｄ画像モードでの撮影画像に対する補間処理例１］
次に、３Ｄ画像撮影モードでの撮影画像に対する補間処理例１について説明する。

先に、図７を参照して説明したように、撮像装置１０は、画像の撮影モードを、
２Ｄ画像を撮影する２Ｄモード、
３次元画像の表示に適用可能な左眼用画像と右眼用画像を撮影する３Ｄモード、
これらの各モードの切り替えが可能な構成を持つ。

図７に示すように、
（Ａ）３Ｄモードでは第１偏光部１２が光路上に設定される。
（Ｂ）２Ｄモードでは第１偏光部１２が光路上から除去される。
３Ｄモードで撮影された場合は、前述したように、ＰＬ画素（偏光画素）に以下の画像が撮影される。
垂直偏光画素に左眼用画像（図１（Ｂ）の重心点３１から見た画像）、
水平偏光画素に右眼用画像（図１（Ｂ）の重心点３２から見た画像）、
これらの画像が撮影され、全透過画素であるＮ画素（非偏光画素）には、レンズ中央から見た画像（図１（Ｂ）の中心点３３から見た画像）、
これらの画像が撮影される。

以下に説明する補間処理例は、３Ｄモードで撮影された画像に対する画像補正部１００において実行する補間処理例である。
なお、本実施例においても、撮像装置の全体構成は、図１に示す構成と同様の構成であり、画像処理部１７の構成は図８に示す構成を持つ。
画像処理部１７の画像補正部１００の構成は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において説明した図９に示す構成と同様の構成である。

図９に示すように画像補正部１００は、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、補間処理部１０４、これらの構成を有する。
画像補正部１００は、前述したように、図８に示す偏光画素分離部５１から、全画素信号８１を入力する。
すなわち、
全透過画素からなるＮ画素（非偏光画素）信号
ＰＬ画素（偏光画素）信号、
これらの全信号を入力する。

本実施例において、画像補正部１００の、輝度補正部１０１、勾配検出部１０２、反射検出部１０３、これらの実行する処理は、［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において説明した処理と同様の処理となる。

すなわち、
（ａ）輝度補正部１０１が、ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正処理を実行する。
（ｂ）勾配検出部１０２が、補間処理対象となるＰＬ画素各々に対応する勾配情報の検出を実行する。
（ｃ）反射検出部１０３が、補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出を実行する。

ここまでの処理は、先に説明した［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において説明した処理と同様の処理となる。
補間処理部１０４における処理が先に説明した処理（図２０、図２１を参照して説明した処理）とは異なる処理となる。

図２３に、本実施例における画像補正部１００の実行する処理シーケンスを説明するフローチャートを示す。
ステップＳ２０１において、３Ｄモード（第１偏光部設定）として撮影した撮影画像Ｓ（Ｒａｗ画像）を入力する。

以下のステップＳ２０２〜Ｓ２０５の処理は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図１０を参照して説明したステップＳ１０２〜Ｓ１０５の処理と同様の処理となる。
すなわち、
ステップＳ２０２において、ＰＬ画素領域とＰＬ画素近接領域の輝度補正処理により、輝度補正画像Ｔを生成する。
この処理は、図９に示す輝度補正部１０１の実行する処理である。

次に、ステップＳ２０３において、輝度補正画像Ｔに基づいて、画像勾配（エッジ方向）を検出する。
この処理は、図９に示す勾配検出部１０２の実行する処理である。

次に、ステップＳ２０４において、輝度補正画像に基づいて、反射光の有無を検出する。
この処理は、図９に示す反射検出部１０３の実行する処理である。

ステップＳ２０５において、反射検出ありと判定された画素（ＰＬ画素）については、ステップＳ２０６において補正処理、具体的には、近傍のＮ画素を参照画素とした補間処理を行う。
ステップＳ２０６における補間処理は、勾配検出部１０２の生成した勾配情報中、縦方向と右上がり方向と右下がり方向の３方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のＮ画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。
この処理は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図１０を参照して説明したステップＳ１０６の処理と同様の処理となる。

一方、ステップＳ２０５において、反射検出なしと判定された画素（ＰＬ画素）については、ステップＳ２０７において補正処理、具体的には、近傍のＮ画素を参照画素とした補間処理を行う。
ステップＳ２０７における補間処理は、勾配検出部１０２の生成した勾配情報中、縦方向と右上がり方向と右下がり方向、さらに横方向の４方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のＮ画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。

先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図１０を参照して説明した処理では、反射光の検出されないＰＬ画素については補間処理を実行することなく、輝度補正された画素をそのまま出力画素としていた。
しかし、本実施例では、反射光の検出されないＰＬ画素についても勾配情報に従って参照画素を決定して参照画素の画素値を利用した補間処理を実行する。
この点が先の処理例とは異なっている。
すなわち、補間処理部１０４において実行する補間処理態様が異なる。

この補間処理部１０４の実行する補間処理について、図２４〜図２６に示すフローチャートを参照して説明する。
補間処理部１０４は、図９を参照して説明したように、
輝度補正部１０１の生成した輝度補正画像１２１、
勾配検出部１０２の生成した勾配情報１２２、
反射検出部１０３の検出した反射情報１２３、
これらの画像と各情報を入力する。
補間処理部１０４は、ＰＬ画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部１０２の生成した勾配情報１２２、反射検出部１０３の検出した反射情報１２３を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。
この補間処理の結果として、図８に示す画像補正部１００の出力である２Ｄ−Ｒａｗ画像６２が生成される。
図２４〜図２６に示すフローチャートの各ステップの処理について説明する。

補間処理部１０４は、まず、ステップＳ２２１において、補間処理の対象となるＰＬ画素から処理対象画素を順次選択する。
次に、選択画素について、ステップＳ２２２以下の処理を順次実行する。

ステップＳ２２２において、補間処理対象として選択した１つのＰＬ画素に対応する反射情報、すなわち、図９に示す反射検出部１０３の生成した反射情報１２３の解析処理を実行する。

具体的には、補間処理対象として選択した１つのＰＬ画素の画素値に反射光が含まれるか否かを判定する。
ステップＳ２２３において、選択画素に反射光が含まれると判定した場合は、ステップＳ２２４に進む。
ステップＳ２２３において、選択画素に反射光が含まれないと判定した場合は、ステップＳ２４１に進む。

ステップＳ２２４以下の選択画素に反射光が含まれると判定した場合の補間処理は、先の［２−（１）．２Ｄ画像モードでの撮影画像に対する補間処理例］において図２１、図２２を参照して説明した処理と同様の処理となる。
すなわち、ステップＳ２２３において、選択画素に反射光が含まれると判定した場合は、ステップＳ２２４に進み、補間処理対象として選択した１つのＰＬ画素に対応する勾配情報、すなわち、勾配検出部１０２の生成した勾配情報１２２の解析処理を実行する。具体的には、勾配検出部１０２の生成した勾配情報１２２に含まれる以下の情報、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これらの３つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向（Ｄｉｒ）を選択する。
なお、勾配係数の高い方向は、画素値の変化率が高い方向である。

補間処理部１０４は、これら３つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向（Ｄｉｒ）として選択する。
相関の高い方向（Ｄｉｒ）は画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。

次に、ステップＳ２２５において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右上がり斜め勾配係数：Ａｇｒａｄが最小であり、右上斜め方向の相関が最も高いか否かを判定する。

ステップＳ２２５において、右上斜め方向の相関が最も高いと判定した場合は、ステップＳ２２７に進む。
それ以外の場合は、ステップＳ２２６に進む。

ステップＳ２２５において、右上斜め方向の相関が最も高いと判定し、ステップＳ２２７に進むと、ステップＳ２２７において、選択された補間対象画素（ＰＬ画素）について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右上斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

一方、ステップＳ２２５において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２２６に進み、ステップＳ２２６において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
これら３つの勾配係数の比較に基づいて、
右下がり斜め勾配係数：Ａｇｒａｄが最小であり、右下斜め方向の相関が最も高いか否かを判定する。

ステップＳ２２６において、右下斜め方向の相関が最も高いと判定した場合は、ステップＳ２２８に進む。
それ以外の場合は、ステップＳ２２９に進む。

ステップＳ２２６において、右上斜め方向の相関が最も高いと判定し、ステップＳ２２８に進むと、ステップＳ２２８において、選択された補間対象画素（ＰＬ画素）について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右下斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ２２６において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２２９に進む。
ステップＳ２２９では、選択された補間対象画素（ＰＬ画素）について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の縦方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

次に、図２４に示すフローのステップＳ２２３において、補間対象画素としてのＰＬ画素に反射光が含まれないと判定し、ステップＳ２４１に進んだ場合の処理について説明する。
なお、この処理は、図２３に示すフローのステップＳ２０７の処理、すなわち、補間対象画素としてのＰＬ画素に反射光が含まれないと判定した場合の補間処理に対応する。

図２４に示すフローのステップＳ２４１では、
補間処理対象として選択した１つのＰＬ画素に対応する勾配情報、すなわち、勾配検出部１０２の生成した勾配情報１２２の解析処理を実行する。具体的には、勾配検出部１０２の生成した勾配情報１２２に含まれる以下の情報、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、さらに、
横勾配係数：Ｈｇｒａｄ、
これらの４つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向（Ｄｉｒ）を選択する。
なお、勾配係数の高い方向は、画素値の変化率が高い方向である。

補間処理部１０４は、これら４つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向（Ｄｉｒ）として選択する。
相関の高い方向（Ｄｉｒ）は画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。

次に、図２６に示すステップＳ２４２において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
横勾配係数：Ｈｇｒａｄ、
これら４つの勾配係数の比較に基づいて、
右上がり斜め勾配係数：Ａｇｒａｄが最小であり、右上斜め方向の相関が最も高いか否かを判定する。

ステップＳ２４２において、右上斜め方向の相関が最も高いと判定した場合は、ステップＳ２５１に進む。
それ以外の場合は、ステップＳ２４３に進む。

ステップＳ２４２において、右上斜め方向の相関が最も高いと判定し、ステップＳ２５１進むと、ステップＳ２５１において、選択された補間対象画素（ＰＬ画素）について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右上斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

一方、ステップＳ２４２において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２４３に進み、ステップＳ２４３において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
横勾配係数：Ｈｇｒａｄ、
これら４つの勾配係数の比較に基づいて、
右下がり斜め勾配係数：Ａｇｒａｄが最小であり、右下斜め方向の相関が最も高いか否かを判定する。

ステップＳ２４３において、右下斜め方向の相関が最も高いと判定した場合は、ステップＳ２５２に進む。
それ以外の場合は、ステップＳ２４４に進む。

ステップＳ２４３において、右上斜め方向の相関が最も高いと判定し、ステップＳ２５２に進むと、ステップＳ２５２において、選択された補間対象画素（ＰＬ画素）について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の右下斜め方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ２４３において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップＳ２４４に進む。ステップＳ２４４において、
縦勾配係数：Ｖｇｒａｄ、
右上がり斜め勾配係数：Ａｇｒａｄ、
右下がり斜め勾配係数：Ｄｇｒａｄ、
横勾配係数：Ｈｇｒａｄ、
これら４つの勾配係数の比較に基づいて、
縦勾配係数：Ｖｇｒａｄが最小であり、縦向の相関が最も高いか否かを判定する。

ステップＳ２４４において、縦方向の相関が最も高いと判定した場合は、ステップＳ２５３に進む。
それ以外の場合は、ステップＳ２５４に進む。

ステップＳ２４４において、縦方向の相関が最も高いと判定し、ステップＳ２５３に進むと、ステップＳ２５３において、選択された補間対象画素（ＰＬ画素）について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素（ＰＬ画素）と同一の色の画素であり、その補間対象画素（ＰＬ画素）の少なくとも最近接するＮ画素（非偏光画素）である。

具体的には、例えば選択された補間対象画素（ＰＬ画素）の縦方向のラインに沿ったＰＬ画素領域の上側のＮ画素領域と、下側のＮ画素領域の２つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。

ステップＳ２４４において、縦方向の相関が最も高いと判定されなかった場合は、ステップＳ２５４に進む。すなわち、横方向の相関が最も高いと判定された場合である。
この場合は、ステップＳ２５４において、選択された補間対象画素（ＰＬ画素）について、空間周波数に応じて参照画素を変更する空間周波数対応補間処理を実行する。具体的には、ＰＬ画素領域内にある補間対象画素の色と同一色画素をＰＬ画素領域の横方向から取得して、取得した画素の画素値に基づいて算出した低周波成分と、ＰＬ画素領域の周囲にあるＮ画素領域のＧ画素を利用して算出した高周波成分を適用した補間処理を実行する。

すなわち、ＰＬ画素領域内にある補間対象画素の横方向の画素を参照画素として低周波成分を算出し、高周波成分を補間対象画素（ＰＬ画素）の周囲のＮ画素領域にあるＧ画素に基づいて算出し、これらの算出した低周波成分と高周波成分を加算して最終的な補間画素値を算出する。

この空間周波数対応補間処理の具体例について図２７以下を参照して説明する。
図２７は、図９に示す補間処理部１０４の処理を説明する図であり、補間対象画素（ＰＬ画素）について横方向の相関が最も高いと判定された場合における補間画素値の設定処理を説明する図である。
入力は、輝度補正画像２００であり、これは、図９に示す輝度補正部１０１の生成した輝度補正画像１２１に相当する。

補間処理部１０４は、補間対象画素（ＰＬ画素）について横方向の相関が最も高いと判定された場合、図２７に示す構成に従った処理を実行する。
まず、図２７に示す処理の全体の流れについて概略を説明し、その後、各処理の具体例について順次、説明する。

補間処理部１０４は、図２７に示すように、輝度補正画像２００の、
（１）左眼Ｇ画素および右眼Ｇ画素２１１、
（２）両眼Ｇ画素２１２、
（３）左眼ＲＢ画素および右眼ＲＢ画素２１３、
これらの各画素の画素値を取得する。
なお、これらの画素値の取得範囲は、補間対象画素（ＰＬ画素）の周囲領域となる。具体的な例については後述する。

補間処理部１０４は、図２７に示すように、上記（１）〜（３）の各画素信号に対して以下の処理を実行する。
（１）左眼Ｇ画素および右眼Ｇ画素２１１に対しては横ＬＰＦ２０１適用処理、すなわち、横方向の画素値を用いたローパスフィルタ適用処理を行い、片眼（左眼および右眼）Ｇ低周波信号：ＬＰＦ（Ｇ）２１４を生成する。
（２）両眼Ｇ画素２１２に対しては横ＨＰＦ２０３適用処理、すなわち、横方向の画素値を用いたハイパスフィルタ適用処理を行い、両眼Ｇ高周波信号：ＨＰＦ（Ｇ）２１５を生成する。
（３）左眼ＲＢ画素および右眼ＲＢ画素２１３に対しては横ＬＰＦ２０２適用処理、すなわち、横方向の画素値を用いたローパスフィルタ適用処理を行い、片眼（左眼および右眼）ＲＢ低周波信号：ＬＰＦ（ＲＢ）２１６を生成する。

さらに、横ＨＰＦ２０３適用処理によって生成した両眼Ｇ高周波信号：ＨＰＦ（Ｇ）２１５に対して、バイキュービック補間部２０４において、補間対象画素の周囲の両眼Ｇ画素の高周波信号：ＨＰＦ（Ｇ）を適用したバイキュービック補間処理を実行し、バイキュービック補間信号：ＧＢＣＦ（Ｇ）２１７を生成する。

さらに、補間対象画素がＰＬ画素内のＧ画素である場合は、加算部２０６において、
横ＬＰＦ２０１の生成したＧ低周波信号：ＬＰＦ（Ｇ）２１４と、
バイキュービック補間部２０４の生成したバイキュービック補間信号：ＧＢＣＦ（Ｇ）２１７を、加算処理を実行して補間画素値Ｇを生成する。すなわち、
ＬＰＦ（Ｇ）＋ＧＢＣＦ（Ｇ）
上記式に従った加算処理を実行して、補間画素値Ｇを生成する。

一方、補間対象画素がＰＬ画素内のＲまたはＢ画素である場合は、バイキュービック補間部２０４の生成したバイキュービック補間信号：ＧＢＣＦ（Ｇ）２１７を、ＲＢ高周波成分生成部２０５に入力して、ＲＧ比またはＢＧ比を適用してＲ高周波成分またはＢ高周波成分を生成する。
具体的には、
Ｒ高周波成分＝ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）
Ｂ高周波成分＝ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ）
これらの式に従って、Ｒ高周波成分またはＢ高周波成分を生成する。
なお、ＬＰＦ（Ｒ）、ＬＰＦ（Ｂ）は、横ＬＰＦ２０２の生成する片眼Ｒ／Ｂ低周波信号であり、ＬＰＦ（Ｇ）は、横ＬＰＦ２０１の生成する片眼Ｇ低周波信号である。

ＲＢ高周波成分生成部２０５の生成したＲＢ高周波成分は、加算部２０７に出力される。

補間対象画素がＰＬ画素内のＲＢ画素である場合は、加算部２０７において、
横ＬＰＦ２０２の生成したＲ／Ｂ低周波信号：ＬＰＦ（ＲＢ）２１６と、
ＲＢ高周波成分生成部２０５の生成したＲＢ高周波成分を、加算処理を実行して補間画素値すまたはＢを生成する。すなわち、
補間画素値Ｒ＝ＬＰＦ（Ｒ）＋ＧＢＣＦ（Ｇ）（ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ））
補間画素値Ｂ＝ＬＰＦ（Ｂ）＋ＧＢＣＦ（Ｇ）（ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ））
上記式に従った加算処理を実行して、補間画素値ＲおよびＢを生成する。

これらの処理に従って補間結果画像２２０を生成する。この補間結果画像２２０は、図８に示す画像補正部１００の出力である補間画像６２に相当する。
図２８は、図２７に示す構成に従った補間画素値の生成処理を式で示した図である。
すなわち、図１１に示すような２行の偏光領域（ＰＬ領域）の画素位置（ｘ，ｙ）に設定する補間画素値ＩｎｔｅｒＯｕｔ_{２ｌｉｎｅ}（ｘ，ｙ）は、以下の（式１）によって算出する。

・・・・・（式１）

上記式において、
（１）ＩｎｔｅｒＯｕｔ_{２ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_１２（ｘ，ｙ）
この式は、図１１に示す画素構成において、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式である。
ＬＰＦ（ｘ，ｙ）は、図２７に示す横ＬＰＦ２０１が生成する片眼Ｇ低周波信号ＬＰＦ（Ｇ）に対応する。
ＧＢＣＦ_１２（ｘ，ｙ）は、図２７に示すバイキュービック補間部２０４の生成信号ＧＢＣＦ（Ｇ）に対応する。

なお、ＧＢＣＦ_１２（ｘ，ｙ）に設定された数値の先行数値は、図１１、図１２を参照して説明した色インデックスであり、Ｇの場合は１となる。Ｇ以外の色の場合は、１以外の値、例えば、０または２となる。後続数値は図１１、図１２を参照して説明したＹインデックスの値を示している。
この例では、ＧＢＣＦ_１２（ｘ，ｙ）に設定された数値１２の先行数値：１はＧであることを示し、後続数値２は、Ｙインデックス：ｙｉｄｘ（ｙ）＝２の位置であることを示している。すなわち、ＧＢＣＦ_１２（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝２のＰＬ画素位置にあるＧ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
具体的な処理例については後述する。

（２）ＩｎｔｅｒＯｕｔ_{２ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_０２（ｘ，ｙ）・（ＬＰＦ（ｘ，ｙ）／ＬＰＦ１（ｘ，ｙ））
この式は、図１１に示す画素構成において、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値ＲまたはＢの算出式である。
ＬＰＦ（ｘ，ｙ）は、図２７に示す横ＬＰＦ２０２が生成する片眼Ｒ低周波信号ＬＰＦ（Ｒ）、または片眼Ｂ低周波信号ＬＰＦ（Ｂ）に対応する。
ＬＰＦ１（ｘ，ｙ）は、図２７に示す横ＬＰＦ２０１が生成し、ＲＢ高周波成分生成部２０５に入力する片眼なＧ低周波信号ＬＰＦ（Ｇ）に対応する。
ＧＢＣＦ_０２（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝２のＰＬ画素位置にあるＲまたはＢ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
なお、式においては、ＧＢＣＦ_０２（ｘ，ｙ）の先行インデックスである色インデックス＝０、すなわち、図１２を参照して説明した例ではＲに対応する例を示しているが、この式は、色インデックス≠１、すなわち色インデックス＝０，２に対応するＲまたはＢである場合に共通に適用される。

（３）ＩｎｔｅｒＯｕｔ_{２ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_１３（ｘ，ｙ）
この式は、図１１に示す画素構成において、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値Ｇの算出式である。
ＧＢＣＦ_１３（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝３のＰＬ画素位置にあるＧ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。

（４）ＩｎｔｅｒＯｕｔ_{２ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_０３（ｘ，ｙ）・（ＬＰＦ（ｘ，ｙ）／ＬＰＦ１（ｘ，ｙ））
この式は、図１１に示す画素構成において、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値ＲまたはＢの算出式である。
ＧＢＣＦ_０３（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝３のＰＬ画素位置にあるＲまたはＢ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
なお、本式においても、ＧＢＣＦ_０３（ｘ，ｙ）の先行インデックスである色インデックス＝０、すなわち、図１２を参照して説明した例ではＲに対応する例を示しているが、この式は、色インデックス≠１、すなわち色インデックス＝０，２に対応するＲまたはＢである場合に共通に適用される。

上記（式１）において示される、
ＬＰＦ（ｘ，ｙ）、
ＬＰＦ１（ｘ，ｙ）、
これらの値は、図２７に示す横ＬＰＦ２０１、横ＬＰＦ２０２の生成するローパスフィルタ適用結果である。

具体的には、図２９に示すように、
ＬＰＦ（ｘ，ｙ）は以下の（式２）によって算出する。

・・・・・（式２）

また、ＬＰＦ１（ｘ，ｙ）は以下の（式３）によって算出する。

・・・・・（式３）

上記（式２）に従って算出する値は、ＲＧＢ各画素の補間値を算出する際に適用するＲＧＢ各画素の低周波成分である。Ｇ画素の低周波成分は、図２７に示す横ＬＰＦ２０１において算出し、ＲＢ画素の低周波成分は、図２７に示す横ＬＰＦ２０２において算出する。
また、上記（式３）に従って算出する値は、ＲＢ各画素の補間値を算出する際に適用するＧ画素の低周波成分であり、図２７に示す横ＬＰＦ２０１において算出し、ＲＢ高周波成分生成部２０５に入力される。

上記（式２）に従ったＬＰＦ（ｘ，ｙ）の算出処理例を図３０に示す。図３０は、Ｇ画素対応のＬＰＦ（Ｇ）の算出例を示している。
補間対象画素位置（ｘ，ｙ）がＧ画素２５１である場合、ＬＰＦ（ｘ，ｙ）は、このＧ画素２５１の画素値と、横方向の最近接Ｇ画素の２つの画素の画素値、これら３画素の画素値を１／４：２／４：１／４の配分比率で加算した値となる。なお、上記式に示す各画素に対する配分比率は一例であり、その他の比率を適用してもよい。

Ｒ，Ｂについても同様に、同一色画素の横方向の３画素を利用してＬＰＦ（ｘ，ｙ）を生成する。

また、上記（式３）に従ったＬＰＦ１（ｘ，ｙ）の算出処理例を図３１に示す。図３１は、補間画素＝Ｒの場合の処理例であり、補間対象画素位置（ｘ，ｙ）がＲ画素２５２である場合の例である。
ＬＰＦ１（ｘ，ｙ）は、このＲ画素２５２の横方向の近接Ｇ画素の４つの画素値を１／８：３／８：３／８：１／８の配分比率で加算した値となる。なお、上記式に示す各画素に対する配分比率は一例であり、その他の比率を適用してもよい。
Ｂについても同様に、補間対象画素Ｂの横方向に近接する４つのＧ画素を利用してＬＰＦ１（ｘ，ｙ）を生成する。

次に、上記（式１）に含まれるバイキュービック補間部２０４の生成信号であるＧＢＣＦ（ｘ，ｙ）の具体的算出処理について、図３２以下を参照して説明する。
図３２（１）には、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部２０４の生成信号であるＧＢＣＦ_１２（ｘ，ｙ）の算出式を示している。
また、図３２（２）には、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値ＲまたはＢの算出式に適用するバイキュービック補間部２０４の生成信号であるＧＢＣＦ_０２（ｘ，ｙ）の算出式を示している。

図３３（３）には、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部２０４の生成信号であるＧＢＣＦ_１３（ｘ，ｙ）の算出式を示している。
また、図３３（４）には、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値ＲまたはＢの算出式に適用するバイキュービック補間部２０４の生成信号であるＧＢＣＦ_０３（ｘ，ｙ）の算出式を示している。

すなわち、ＧＢＣＦ_１２（ｘ，ｙ）は、以下に示す（式４）に従って算出する。
ＧＢＣＦ_０２（ｘ，ｙ）は、以下に示す（式５）に従って算出する。
ＧＢＣＦ_１３（ｘ，ｙ）は、以下に示す（式６）に従って算出する。
ＧＢＣＦ_０３（ｘ，ｙ）は、以下に示す（式７）に従って算出する。

・・・・・（式４）

・・・・・（式５）

・・・・・（式６）

・・・・・（式７）

上記（式４）〜（式７）に従って算出されるバイキュービック補間部２０４の生成信号ＧＢＣＦ（ｘ，ｙ）は、補間対象画素となるＰＬ画素の周囲の両眼視に対応する全透過画素であるＮ画素（非偏光画素）領域の信号に基づいて生成する信号である。
ＧＢＣＦ（ｘ，ｙ）は、Ｎ画素（非偏光画素）領域のＧ画素のハイパスフィルタ適用結果、すなわち図２７に示す両眼Ｇ高周波ＨＰＦ（Ｇ）２１５を利用して生成する。

図２７に示す両眼Ｇ高周波ＨＰＦ（Ｇ）２１５は、以下に示す（式８）に従って算出する。すなわち、全透過画素であるＮ画素（非偏光画素）領域のＧ画素（ｘ，ｙ）を中心とした横方向の３つのＧ画素の画素値を、例えば−１／４：２／４：−１／４の配分比率で加算した値として算出する。

・・・・・（式８）

なお、上記式に示す各画素に対する配分比率は一例であり、その他の比率を適用してもよい。

図３２（１）に示す補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部２０４の生成信号であるＧＢＣＦ_１２（ｘ，ｙ）の算出式、すなわち上記（式４）に従ったＧＢＣＦ_１２（ｘ，ｙ）の算出に適用する参照Ｇ画素の位置を図３４に示す。

図３４に示す例は、補間対象画素をＧ画素（ｘ，ｙ）２５３とした場合の処理例を示している。図３４に示すように、画素位置（ｘ−４，ｙ−２）から画素位置（ｘ＋３，ｙ＋３）までの１６個のＮ画素領域のＧ画素の両眼Ｇ高周波信号ＨＰＦ（Ｇ）を用いて、図３２（１）に示す式、すなわち上記の（式４）に従って、バイキュービック補間部２０４の生成信号であるＧＢＣＦ_１２（ｘ，ｙ）を算出する。

次に、図３２（２）に示す補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部２０４の生成信号であるＧＢＣＦ_０２（ｘ，ｙ）の算出式、すなわち上記（式５）に従ったＧＢＣＦ_０２（ｘ，ｙ）の算出に適用する参照Ｇ画素の位置を図３５に示す。
図３５は、補間対象画素をＲ画素（ｘ，ｙ）２５４とした場合の処理例を示している。図３５に示すように、画素位置（ｘ−４，ｙ−１）から画素位置（ｘ＋３，ｙ＋２）までの１６個のＮ画素領域のＧ画素の両眼Ｇ高周波信号ＨＰＦ（Ｇ）を用いて、図３２（２）に示す式、すなわち上記の（式５）に従って、バイキュービック補間部２０４の生成信号であるＧＢＣＦ_０２（ｘ，ｙ）を算出する。

上記（式６）、（式７）に示す式に従ったバイキュービック補間部２０４の生成信号であるＧＢＣＦについてもやはり、補間対象画素の周囲の１６個のＮ画素領域のＧ画素の両眼Ｇ高周波信号ＨＰＦ（Ｇ）を用いて算出する。

このようにして、図２７に従った処理構成に従って、前記の（式１）、すなわち図２８に示す式に従ってＲＧＢの各補間画素値を算出する。
すなわち、図２６のフローに示すステップＳ２５４においては、横方向の相関が最も高いと判定されたＰＬ画素について、図２７に従った処理構成に従って、前記の（式１）、すなわち図２８に示す式に従ってＲＧＢの各補間画素値を算出する。

以上、３Ｄ画像モードでの撮影画像に対する補間処理例１について説明した。
この補間処理をまとめると、図８、図９に示す画像補正部１００の実行する処理は以下のようにまとめることができる。
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を実行する。

（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正を行い、縦方向、右上方向、右下方向、横方向の４方向から高い相関を持つ方向を選択する。選択した高相関方向が縦方向、右上方向、右下方向のいずれかである場合は、選択した相関の高い方向のＮ画素を参照画素とした補間処理を実行する。また、高相関方向が横方向である場合は、図２７に構成に従った処理、すなわち空間周波数対応の補間処理を行う。
すなわち、ＰＬ画素領域内にある補間対象の色と同一色の横方向画素に基づいて算出した低周波成分と、ＰＬ画素領域の周囲にあるＮ画素領域のＧ画素を利用して算出した高周波成分を適用した補間処理を実行する。

画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

［２−（３）．３Ｄ画像撮影モードでの撮影画像に対する補間処理例２］
次に、３Ｄ画像撮影モードでの撮影画像に対する補間処理例２について説明する。
上述した３Ｄ画像撮影モードでの撮影画像に対する補間処理例、すなわち、
３Ｄ画像モードでの撮影画像に対する補間処理例１では、
第２偏光部１５の設定を図１１を参照して説明した領域設定とした場合の撮影画像に対する処理として説明した。

すなわち、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行のＰＬ画素（偏光画素）領域、
１４行の全透過画素であるＮ画素（非偏光画素）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

本開示の画像処理装置では、このような設定の偏光領域の設定された画像のみならず、その他の偏光領域が設定された画像に対しても適用可能である。
例えば、偏光領域の設定として、図３６に示す構成としてもよい。

すなわち、
４×４の１６画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している４行のＰＬ画素（偏光画素）領域、
２８行の全透過画素であるＮ画素（非偏光画素）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

例えば図８、図９に示す画像補正部１００は、このような設定の偏光領域を持つ撮影画像に対しても、上述した処理例と同様の処理を適用してＰＬ画素の補間処理を実行することができる。

具体的には、
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理、
（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正を行い、縦方向、右上方向、右下方向、横方向の４方向から高い相関を持つ方向を選択する。選択した高相関方向が縦方向、右上方向、右下方向のいずれかである場合は、選択した相関の高い方向のＮ画素を参照画素とした補間処理を実行する。また、高相関方向が横方向である場合は、図２７に構成に従った処理、すなわち空間周波数対応の補間処理を行う。
画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。

ただし、図３６に示すように各画素の属性を判別するためのインデックス（ｘｉｎｄｘ（ｘ），ｙｉｎｄｘ（ｙ））は、偏光領域の設定変更に伴って変更される。
図３７に、画素属性を示すインデックスの設定例を示す。
図３７に示すように、画素属性を示すインデックスには以下の種類がある。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］

各属性（インデックス）の値と識別情報との対応関係は以下の通りである。
（１）Ｘ座標属性（Ｘインデックス）［ｘｉｄｘ（ｘ）］
ｘｉｄｘ（ｘ）＝０，１，２，３：左眼画素を含む列の左眼画素または非偏光（全透過）画素
ｘｉｎｄｘ（ｘ）＝４，５，６，７：右眼画素を含む列の右眼画素または非偏光（全透過）画素

（２）Ｙ座標属性（Ｙインデックス）［ｙｉｄｘ（ｙ）］
ｙｉｎｄｘ（ｙ）＝０，７：偏光画素（ＰＬ画素）から離間した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝１，６：偏光画素（ＰＬ画素）に隣接した非偏光（全透過）画素
ｙｉｎｄｘ（ｙ）＝２，３，４，５：偏光画素（ＰＬ画素）

（３）視点属性（視点インデックス）［ｅｐ（ｘ，ｙ）］
ｅｘ（ｘ，ｙ）＝０：全透過画素（非偏光画素）
ｅｘ（ｘ，ｙ）＝−１：左眼画素（縦偏光画素）
ｅｘ（ｘ，ｙ）＝＋１：右眼画素（横偏光画素）

（４）色属性（色インデックス）［ｃｏｌｏｒ（ｘ，ｙ）］
ｃｏｌｏｒ（ｘ，ｙ）＝０：赤（Ｒ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝１：緑（Ｇ）画素
ｃｏｌｏｒ（ｘ，ｙ）＝２：青（Ｂ）画素

画像補正部１００では、例えば、入力する処理対象画像の画素に対応してこれらのインデックスを設定し、このインデックス情報に基づく処理を実行する。

画像補正部１００は、偏光領域の設定に応じて設定されるインデックスに応じて画素属性を判別して、上記の（ａ）〜（ｅ）の各処理を実行することで、ＰＬ画素とＰＬ画素隣接画素の補間処理を行う。これらの処理は、偏光領域の設定態様を様々な形態に変更しても基本的な処理は同じである。ただし、参照画素の画素位置やフィルタ処理において適用するフィルタは画素配置に応じて適宜、変更することは必要である。

なお、図９に示す画像補正部１００における補間処理部１０４の実行する補間処理では、勾配情報と、反射光の有無に応じて、適用する参照画素の方向を選択する構成としている。

反射光がある場合は、先に図２５を参照して説明したフローに従った処理を行う。すなわち、横方向、すなわちＰＬ画素を参照画素として適用することを避け、その他の方向で最も相関の高い方向を参照画素方向として選択する。

反射光がない場合は、先に図２６を参照して説明したフローに従った処理を行う。
すなわち、補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正を行い、縦方向、右上方向、右下方向、横方向の４方向から高い相関を持つ方向を選択する。選択した高相関方向が縦方向、右上方向、右下方向のいずれかである場合は、選択した相関の高い方向のＮ画素を参照画素とした補間処理を実行する。また、高相関方向が横方向である場合は、ステップＳ２５４において空間周波数対応の補間処理、すなわち、ＰＬ画素領域内にある補間対象の色と同一色の横方向画素に基づいて算出した低周波成分と、ＰＬ画素領域の周囲にあるＮ画素領域のＧ画素を利用して算出した高周波成分を適用した補間処理を実行する。

この空間周波数対応補間処理の具体例について図３８以下を参照して説明する。
図３８は、図９に示す補間処理部１０４の処理を説明する図であり、補間対象画素（ＰＬ画素）について横方向の相関が最も高いと判定された場合における補間画素値の設定処理を説明する図である。
入力は、輝度補正画像３００であり、これは、図９に示す輝度補正部１０１の生成した輝度補正画像１２１に相当する。
ただし、本例で用いる画像は、図３６を参照して説明した４行のＰＬ画素領域を持つ構成である。

補間処理部１０４は、補間対象画素（ＰＬ画素）について横方向の相関が最も高いと判定された場合、図３８に示す構成に従った処理を実行する。
図３８に示す処理の全体的な流れは、先に図２７を参照して説明した処理と同様である。ただし、入力画像３００が、図３６に示す４行分のＰＬ画素領域を持つ画像の輝度補正画像となり、出力画像３２０が図３６に示す４行分のＰＬ画素領域に補間画素を設定した画像となる点が異なる。また、各信号を生成する場合に適用する参照画素の設定も異なる場合がある。

補間処理部１０４は、図３８に示すように、輝度補正画像３００の、
（１）左眼Ｇ画素および右眼Ｇ画素３１１、
（２）両眼Ｇ画素３１２、
（３）左眼ＲＢ画素および右眼ＲＢ画素３１３、
これらの各画素の画素値を取得する。
なお、これらの画素値の取得範囲は、補間対象画素（ＰＬ画素）の周囲領域となる。具体的な例については後述する。

補間処理部１０４は、図３８に示すように、上記（１）〜（３）の各画素信号に対して以下の処理を実行する。
（１）左眼Ｇ画素および右眼Ｇ画素３１１に対しては横ＬＰＦ３０１適用処理、すなわち、横方向の画素値を用いたローパスフィルタ適用処理を行い、片眼（左眼および右眼）Ｇ低周波信号：ＬＰＦ（Ｇ）３１４を生成する。
（２）両眼Ｇ画素３１２に対しては横ＨＰＦ３０３適用処理、すなわち、横方向の画素値を用いたハイパスフィルタ適用処理を行い、両眼Ｇ高周波信号：ＨＰＦ（Ｇ）３１５を生成する。
（３）左眼ＲＢ画素および右眼ＲＢ画素３１３に対しては横ＬＰＦ３０２適用処理、すなわち、横方向の画素値を用いたローパスフィルタ適用処理を行い、片眼（左眼および右眼）ＲＢ低周波信号：ＬＰＦ（ＲＢ）３１６を生成する。

さらに、横ＨＰＦ３０３適用処理によって生成した両眼Ｇ高周波信号：ＨＰＦ（Ｇ）３１５に対して、バイキュービック補間部３０４において、補間対象画素の周囲の両眼Ｇ画素の高周波信号：ＨＰＦ（Ｇ）を適用したバイキュービック補間処理を実行し、バイキュービック補間信号：ＧＢＣＦ（Ｇ）３１７を生成する。

さらに、補間対象画素がＰＬ画素内のＧ画素である場合は、加算部３０６において、
横ＬＰＦ３０１の生成したＧ低周波信号：ＬＰＦ（Ｇ）３１４と、
バイキュービック補間部３０４の生成したバイキュービック補間信号：ＧＢＣＦ（Ｇ）３１７を、加算処理を実行して補間画素値Ｇを生成する。すなわち、
ＬＰＦ（Ｇ）＋ＧＢＣＦ（Ｇ）
上記式に従った加算処理を実行して、補間画素値Ｇを生成する。

一方、補間対象画素がＰＬ画素内のＲまたはＢ画素である場合は、バイキュービック補間部３０４の生成したバイキュービック補間信号：ＧＢＣＦ（Ｇ）３１７を、ＲＢ高周波成分生成部３０５に入力して、ＲＧ比またはＢＧ比を適用してＲ高周波成分またはＢ高周波成分を生成する。
具体的には、
Ｒ高周波成分＝ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）
Ｂ高周波成分＝ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ）
これらの式に従って、Ｒ高周波成分またはＢ高周波成分を生成する。
なお、ＬＰＦ（Ｒ）、ＬＰＦ（Ｂ）は、横ＬＰＦ３０２の生成する片眼Ｒ／Ｂ低周波信号であり、ＬＰＦ（Ｇ）は、横ＬＰＦ３０１の生成する片眼Ｇ低周波信号である。

ＲＢ高周波成分生成部３０５の生成したＲＢ高周波成分は、加算部３０７に出力される。

補間対象画素がＰＬ画素内のＲＢ画素である場合は、加算部３０７において、
横ＬＰＦ３０２の生成したＲ／Ｂ低周波信号：ＬＰＦ（ＲＢ）３１６と、
ＲＢ高周波成分生成部３０５の生成したＲＢ高周波成分を、加算処理を実行して補間画素値すまたはＢを生成する。すなわち、
補間画素値Ｒ＝ＬＰＦ（Ｒ）＋ＧＢＣＦ（Ｇ）（ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ））
補間画素値Ｂ＝ＬＰＦ（Ｂ）＋ＧＢＣＦ（Ｇ）（ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ））
上記式に従った加算処理を実行して、補間画素値ＲおよびＢを生成する。

これらの処理に従って補間結果画像３２０を生成する。この補間結果画像３２０は、図８に示す画像補正部１００の出力である補間画像６２に相当する。
図３９は、図３８に示す構成に従った補間画素値の生成処理を式で示した図である。
すなわち、図３６に示すような４行の偏光領域（ＰＬ領域）の画素位置（ｘ，ｙ）に設定する補間画素値ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）は、以下の（式９）によって算出する。

・・・・・（式９）

上記式において、
（１）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_１２（ｘ，ｙ）
この式は、図３６に示す画素構成において、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式である。
ＬＰＦ（ｘ，ｙ）は、図３８に示す横ＬＰＦ３０１が生成する片眼Ｇ低周波信号ＬＰＦ（Ｇ）に対応する。
ＧＢＣＦ_１２（ｘ，ｙ）は、図３８に示すバイキュービック補間部３０４の生成信号ＧＢＣＦ（Ｇ）に対応する。

なお、ＧＢＣＦ_１２（ｘ，ｙ）に設定された数値の先行数値は、図３６、図３７を参照して説明した色インデックスであり、Ｇの場合は１となる。Ｇ以外の色の場合は、１以外の値、例えば、０または２となる。後続数値は図３６、図３７を参照して説明したＹインデックスの値を示している。
この例では、ＧＢＣＦ_１２（ｘ，ｙ）に設定された数値１２の先行数値：１はＧであることを示し、後続数値２は、Ｙインデックス：ｙｉｄｘ（ｙ）＝２の位置であることを示している。すなわち、ＧＢＣＦ_１２（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝２のＰＬ画素位置にあるＧ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
具体的な処理例については後述する。

（２）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_０２（ｘ，ｙ）・（ＬＰＦ（ｘ，ｙ）／ＬＰＦ１（ｘ，ｙ））
この式は、図３６に示す画素構成において、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値ＲまたはＢの算出式である。
ＬＰＦ（ｘ，ｙ）は、図３８に示す横ＬＰＦ３０２が生成する片眼Ｒ低周波信号ＬＰＦ（Ｒ）、または片眼Ｂ低周波信号ＬＰＦ（Ｂ）に対応する。
ＬＰＦ１（ｘ，ｙ）は、図３８に示す横ＬＰＦ３０１が生成し、ＲＢ高周波成分生成部３０５に入力する片眼なＧ低周波信号ＬＰＦ（Ｇ）に対応する。
ＧＢＣＦ_０２（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝２のＰＬ画素位置にあるＲまたはＢ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
なお、式においては、ＧＢＣＦ_０２（ｘ，ｙ）の先行インデックスである色インデックス＝０、すなわち、図３７を参照して説明した例ではＲに対応する例を示しているが、この式は、色インデックス≠１、すなわち色インデックス＝０，２に対応するＲまたはＢである場合に共通に適用される。

（３）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_１３（ｘ，ｙ）
この式は、図３６に示す画素構成において、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値Ｇの算出式である。
ＧＢＣＦ_１３（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝３のＰＬ画素位置にあるＧ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。

（４）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_０３（ｘ，ｙ）・（ＬＰＦ（ｘ，ｙ）／ＬＰＦ１（ｘ，ｙ））
この式は、図３６に示す画素構成において、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値ＲまたはＢの算出式である。
ＧＢＣＦ_０３（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝３のＰＬ画素位置にあるＲまたはＢ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
なお、本式においても、ＧＢＣＦ_０３（ｘ，ｙ）の先行インデックスである色インデックス＝０、すなわち、図３７を参照して説明した例ではＲに対応する例を示しているが、この式は、色インデックス≠１、すなわち色インデックス＝０，２に対応するＲまたはＢである場合に共通に適用される。

（５）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_１４（ｘ，ｙ）
この式は、図３６に示す画素構成において、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝４、
である場合の補間画素値Ｇの算出式である。
ＧＢＣＦ_１４（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝４のＰＬ画素位置にあるＧ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。

（６）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_０４（ｘ，ｙ）・（ＬＰＦ（ｘ，ｙ）／ＬＰＦ１（ｘ，ｙ））
この式は、図３６に示す画素構成において、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝４、
である場合の補間画素値ＲまたはＢの算出式である。
ＧＢＣＦ_０４（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝４のＰＬ画素位置にあるＲまたはＢ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
なお、本式においても、ＧＢＣＦ_０４（ｘ，ｙ）の先行インデックスである色インデックス＝０、すなわち、図３７を参照して説明した例ではＲに対応する例を示しているが、この式は、色インデックス≠１、すなわち色インデックス＝０，２に対応するＲまたはＢである場合に共通に適用される。

（７）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_１５（ｘ，ｙ）
この式は、図３６に示す画素構成において、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝５、
である場合の補間画素値Ｇの算出式である。
ＧＢＣＦ_１５（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝５のＰＬ画素位置にあるＧ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。

（８）ＩｎｔｅｒＯｕｔ_{４ｌｉｎｅ}（ｘ，ｙ）＝ＬＰＦ（ｘ，ｙ）＋ＧＢＣＦ_０５（ｘ，ｙ）・（ＬＰＦ（ｘ，ｙ）／ＬＰＦ１（ｘ，ｙ））
この式は、図３６に示す画素構成において、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝５、
である場合の補間画素値ＲまたはＢの算出式である。
ＧＢＣＦ_０５（ｘ，ｙ）は、ｙｉｄｘ（ｙ）＝５のＰＬ画素位置にあるＲまたはＢ画素（ｘ，ｙ）対応のバイキュービック補間処理結果であることを示している。
なお、本式においても、ＧＢＣＦ_０５（ｘ，ｙ）の先行インデックスである色インデックス＝０、すなわち、図３７を参照して説明した例ではＲに対応する例を示しているが、この式は、色インデックス≠１、すなわち色インデックス＝０，２に対応するＲまたはＢである場合に共通に適用される。

上記（式９）において示される、
ＬＰＦ（ｘ，ｙ）、
ＬＰＦ１（ｘ，ｙ）、
これらの値は、図３８に示す横ＬＰＦ３０１、横ＬＰＦ３０２の生成するローパスフィルタ適用結果である。

具体的には、ＬＰＦ（ｘ，ｙ）は、図４０に示すように以下の（式１０）によって算出する。

・・・・・（式１０）

また、ＬＰＦ１（ｘ，ｙ）は、図４１に示すように以下の（式１１）によって算出する。

・・・・・（式１１）

上記（式１０）に従って算出する値は、ＲＧＢ各画素の補間値を算出する際に適用するＲＧＢいずれかの画素の低周波成分である。Ｇ画素の低周波成分は、図３８に示す横ＬＰＦ３０１において算出し、ＲＢ画素の低周波成分は、図３８に示す横ＬＰＦ３０２において算出する。
また、上記（式１１）に従って算出する値は、ＲＢ各画素の補間値を算出する際に適用するＧ画素の低周波成分であり、図３８に示す横ＬＰＦ３０１において算出し、ＲＢ高周波成分生成部３０５に入力される。

上記（式１０）は、補間対象画素と横方向の２〜４つの同一色画素を適用してローパスフィルタ適用画素値：ＬＰＦ（ｘ，ｙ）を算出する式である。
上記（式１１）は、補間対象画素の横方向の近接Ｇ画素の６つの画素値を適用してローパスフィルタ適用画素値：ＬＰＦ１（ｘ，ｙ）を算出する式である。

次に、上記（式９）に含まれるバイキュービック補間部３０４の生成信号であるＧＢＣＦ（ｘ，ｙ）の具体的算出処理について、図４２以下を参照して説明する。
図４２（１）には、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_１２（ｘ，ｙ）の算出式を示している。
また、図４２（２）には、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値ＲまたはＢの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_０２（ｘ，ｙ）の算出式を示している。

図４３（３）には、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_１３（ｘ，ｙ）の算出式を示している。
また、図４３（４）には、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝３、
である場合の補間画素値ＲまたはＢの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_０３（ｘ，ｙ）の算出式を示している。

図４４（５）には、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝４、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_１４（ｘ，ｙ）の算出式を示している。
また、図４４（６）には、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝４、
である場合の補間画素値ＲまたはＢの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_０４（ｘ，ｙ）の算出式を示している。

図４５（７）には、
補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝５、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_１５（ｘ，ｙ）の算出式を示している。
また、図４５（８）には、
補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝５、
である場合の補間画素値ＲまたはＢの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_０５（ｘ，ｙ）の算出式を示している。

すなわち、
ＧＢＣＦ_１２（ｘ，ｙ）は、以下に示す（式１２）に従って算出する。
ＧＢＣＦ_０２（ｘ，ｙ）は、以下に示す（式１３）に従って算出する。
ＧＢＣＦ_１３（ｘ，ｙ）は、以下に示す（式１４）に従って算出する。
ＧＢＣＦ_０３（ｘ，ｙ）は、以下に示す（式１５）に従って算出する。
ＧＢＣＦ_１４（ｘ，ｙ）は、以下に示す（式１６）に従って算出する。
ＧＢＣＦ_０４（ｘ，ｙ）は、以下に示す（式１７）に従って算出する。
ＧＢＣＦ_１５（ｘ，ｙ）は、以下に示す（式１８）に従って算出する。
ＧＢＣＦ_０５（ｘ，ｙ）は、以下に示す（式１９）に従って算出する。

・・・・・（式１２）

・・・・・（式１３）

・・・・・（式１４）

・・・・・（式１５）

・・・・・（式１６）

・・・・・（式１７）

・・・・・（式１８）

・・・・・（式１９）

上記（式１２）〜（式１９）に従って算出されるバイキュービック補間部３０４の生成信号ＧＢＣＦ（ｘ，ｙ）は、補間対象画素となるＰＬ画素の周囲の両眼視に対応する全透過画素であるＮ画素（非偏光画素）領域の信号に基づいて生成する信号である。
ＧＢＣＦ（ｘ，ｙ）は、Ｎ画素（非偏光画素）領域のＧ画素のハイパスフィルタ適用結果、すなわち図３８に示す両眼Ｇ高周波ＨＰＦ（Ｇ）３１５を利用して生成する。

図３８に示す両眼Ｇ高周波ＨＰＦ（Ｇ）３１５は、以下に示す（式２０）に従って算出する。すなわち、全透過画素であるＮ画素（非偏光画素）領域のＧ画素（ｘ，ｙ）を中心とした横方向の３つのＧ画素の画素値を、例えば−１／４：２／４：−１／４の配分比率で加算した値として算出する。

・・・・・（式２０）

なお、上記式に示す各画素に対する配分比率は一例であり、その他の比率を適用してもよい。

図４２（１）に示す補間画素値がＧ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_１２（ｘ，ｙ）の算出式、すなわち上記（式１２）に従ったＧＢＣＦ_１２（ｘ，ｙ）の算出に適用する参照Ｇ画素の位置を図４６に示す。

図４６に示す例は、補間対象画素をＧ画素（ｘ，ｙ）３５３とした場合の処理例を示している。図４６に示すように、画素位置（ｘ−４，ｙ−２）から画素位置（ｘ＋３，ｙ＋５）までの１６個のＮ画素領域のＧ画素の両眼Ｇ高周波信号ＨＰＦ（Ｇ）を用いて、図４２（１）に示す式、すなわち上記の（式１２）に従って、バイキュービック補間部３０４の生成信号であるＧＢＣＦ_１２（ｘ，ｙ）を算出する。

次に、図４２（２）に示す補間画素値がＲまたはＢ、かつ、
Ｙインデックス（ｙｉｄｘ（ｙ））＝２、
である場合の補間画素値Ｇの算出式に適用するバイキュービック補間部３０４の生成信号であるＧＢＣＦ_０２（ｘ，ｙ）の算出式、すなわち上記（式１３）に従ったＧＢＣＦ_０２（ｘ，ｙ）の算出に適用する参照Ｇ画素の位置を図４７に示す。
図４７は、補間対象画素をＲ画素（ｘ，ｙ）３５４とした場合の処理例を示している。図４７に示すように、画素位置（ｘ−４，ｙ−１）から画素位置（ｘ＋４，ｙ＋５）までの１８個のＮ画素領域のＧ画素の両眼Ｇ高周波信号ＨＰＦ（Ｇ）を用いて、図４２（２）に示す式、すなわち上記の（式１３）に従って、バイキュービック補間部３０４の生成信号であるＧＢＣＦ_０２（ｘ，ｙ）を算出する。

その他の上記（式１４）〜（式１９）に示す式に従ったバイキュービック補間部３０４の生成信号であるＧＢＣＦについてもやはり、補間対象画素の周囲の１６〜１８個のＮ画素領域のＧ画素の両眼Ｇ高周波信号ＨＰＦ（Ｇ）を用いて算出する。

このようにして、図３８に従った処理構成に従って、前記の（式９）、すなわち図３９に示す式に従ってＲＧＢの各補間画素値を算出する。
すなわち、図２６のフローに示すステップＳ２５４においては、横方向の相関が最も高いと判定されたＰＬ画素について、図３８に従った処理構成に従って、前記の（式９）、すなわち図３９に示す式に従ってＲＧＢの各補間画素値を算出する。

以上、３Ｄ画像モードでの撮影画像に対する補間処理例２について説明した。
この補間処理をまとめると、図８、図９に示す画像補正部１００の実行する処理は以下のようにまとめることができる。
（ａ）ＰＬ画素とＰＬ画素隣接画素を、ＰＬ画素に隣接しないＮ画素と同様の輝度レベルに補正する輝度補正、
（ｂ）補間処理対象となるＰＬ画素各々に対応する勾配情報の検出、
（ｃ）補間処理対象となるＰＬ画素各々に反射光が含まれるか否かの反射情報の検出、
（ｄ）補間処理対象となるＰＬ画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の３方向から選択された相関の高い方向のＮ画素を参照画素とした補間処理を実行する。

（ｅ）補間処理対象となるＰＬ画素が、反射光を含まない場合は、輝度補正を行い、縦方向、右上方向、右下方向、横方向の４方向から高い相関を持つ方向を選択する。選択した高相関方向が縦方向、右上方向、右下方向のいずれかである場合は、選択した相関の高い方向のＮ画素を参照画素とした補間処理を実行する。また、高相関方向が横方向である場合は、図３８に構成に従った処理、すなわち空間周波数対応の補間処理を行う。
すなわち、ＰＬ画素領域内にある補間対象の色と同一色の横方向画素に基づいて算出した低周波成分と、ＰＬ画素領域の周囲にあるＮ画素領域のＧ画素を利用して算出した高周波成分を適用した補間処理を実行する。

画像補正部１００は、これらの処理によって補間画像、すなわち図８に示す補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。
なお、上記の実施例では、縦方向、横方向、右上がり方向、右下がり方向の４方向を勾配検出方向として設定したが、
例えば、縦方向と横方向のみを勾配検出方向として設定して、反射情報と勾配情報に基づいて、これらの２つの方向から参照方向を選択する構成としてもよい。

［３．その他の実施例］
上述の実施例では、例えば図１を参照して説明した撮像装置１０の構成中、第１偏光部１２や、第２偏光部１５を適用することで、撮像画像中に左眼視点からの画像と右眼視点からの各画像を生成する構成としていた。
第１偏光部１２や、第２偏光部１５は、垂直偏光領域、水平偏光領域を持つ構成である。

このような偏光フィルタの適用構成以外にも撮像画像中に左眼視点からの画像と右眼視点からの各画像を生成する構成を実現することが可能である。
例えば、撮像素子の前面にマイクロレンズを配置して、各画素単位で異なる視点画像を取得する構成が可能である。なおマイクロレンズを用いた撮像装置については、例えば特開２０１０−１２９７８３号公報、特開２００７−３２２８９８号公報、特許４７６４９８号等に記載があり、これらの構成の適用が可能である。
また、特開２００８−１５１５７号公報に記載の瞳分割偏光手段を用いて各画素単位で異なる視点画像を取得する構成も可能である。

［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正部を有し、
前記画像補正部は、
補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理を実行し、
高相関方向が片眼視点画素領域によって構成される水平方向である場合、
補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、
補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、
前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする画像処理装置。

（２）前記高周波信号は、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の複数の画素信号各々に対するハイパスフィルタ適用結果に対するバイキュービック補間処理を行って算出する全期（１）に記載の画像処理装置。

（３）前記画像処理装置の処理対象画像はＲＧＢ画素から構成されるベイヤー配列を有する画像であり、前記画像補正部は、補正対象画素がＧ画素である場合、前記片眼視点画素領域のＧ画素を参照画素とした低周波信号と、前記片眼視点画素領域に隣接する前記中央視点画素領域のＧ画素を参照画素とした高周波信号を生成し、補正対象画素がＲ画素またはＢ画素である場合、前記片眼視点画素領域の補正対象画素と同一色のＲ画素またはＢ画素を参照画素とした低周波信号と、前記片眼視点画素領域に隣接する前記中央視点画素領域のＧ画素を参照画素とした高周波信号を生成し、さらに、Ｇ信号対応の高周波信号を適用してＲ信号またはＢ信号対応の高周波を算出する全期（１）または（２）に記載の画像処理装置。
（４）前記画像補正部は、Ｇ信号対応の高周波信号を適用したＲ信号またはＢ信号対応の高周波信号を算出する処理として、Ｇ信号対応高周波信号に対して、ＲとＧの低周波信号比ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）、またはＢとＧの低周波信号比ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ）を乗算する処理を実行する前記（３）に記載の画像処理装置。

（５）前記画像処理装置の処理対象画像はＲＧＢ画素から構成されるベイヤー配列を有する画像であり、前記画像補正部は、前記高周波信号を、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の複数のＧ画素信号各々に対するハイパスフィルタ適用結果に対するバイキュービック補間処理を行って算出する全期（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像補正部は、前記高相関方向検出処理において、高相関方向が片眼視点画素領域によって構成される水平方向以外の方向である場合、高相関方向の画素を参照画素とした補間処理によって、前記補正対象画素の補正画素値を算出する全期（１）〜（５）いずれかに記載の画像処理装置。

（７）前記画像補正部は、前記片眼視点画素領域の画素の輝度を中央視点画素領域の輝度に合わせる輝度補正により輝度補正画像を生成し、生成した輝度補正画像に対する補正処理によって前記補正対象画素の補正画素値を算出する全期（１）〜（６）いずれかに記載の画像処理装置。

（８）前記画像補正部は、前記片眼視点画素単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成し、補間処理対象となる画素の反射情報が反射ありを示している場合、および、補間処理対象となる画素の反射情報が反射なしを示し、高相関方向が片眼視点画素領域によって構成される水平方向以外である場合には、高相関方向の前記中央視点画素領域の画素を参照画素として選択した補間処理を実行し、補間処理対象となる画素の反射情報が反射なしを示し、高相関方向が片眼視点画素領域によって構成される水平方向である場合には、補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする前記（１）〜（７）いずれかに記載の画像処理装置。

（９）前記画像処理装置は、異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、前記第２偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して前記２次元画像を生成する前記画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記（１）〜（８）いずれかに記載の画像処理装置。

（１０）前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む前記（１０）に記載の画像処理装置。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、３次元画像表示に適用する画像の生成に利用する精度の高い２次元画像の生成が可能となる。
具体的には、左眼および右眼視点画像からなる片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を有する画像を入力し、片眼視点画素領域の画素値を中央視点画素領域と同等の輝度および視点位置の画素値に補正する。片眼視点画素の周囲画素を参照し、補正対象画素と相関の高い方向を検出し、高相関方向が片眼視点画素領域となる水平方向である場合、補正画素と同一色の水平方向画素と補正対象画素とに基づく低周波信号を算出し、補正対象画素の含まれる片眼視点画素領域に隣接する中央視点画素領域の画素信号を適用して高周波信号を算出し、低周波信号と高周波信号の加算結果を補正対象画素の補正画素値とする。
このように、相関の高い方向が、片眼視点画素領域からなる水平方向である場合、低周波信号を片眼視点画素領域の画素を参照して算出し、高周波信号を中央視点画素領域の画素を参照して算出し、これらを加算して補正画素値とすることで、品質の向上した補正画素値の設定が可能となる。

１０ 撮像装置
１１ 撮影レンズ
１２ 第１偏光部
１３ 絞り
１４ 結像レンズ
１５ 第２偏光部
１６ 撮像素子
１７ 画像処理部
１８ 記憶部
５１ 偏光画素分離部
５２ 画像補正部
５３ デモザイク処理部
５４ 偏光画素補間処理部
５５ 視差検出部
５６ 視差画像生成部
５７ 画像出力部
６１ Ｎ画素信号（非偏光画素信号）
６２ 補間画像（２Ｄ−Ｒａｗ画像）
６３ ２Ｄ−ＲＧＢ画像
６５ ＰＬ画素信号（偏光画素信号）
６６ 左眼右眼画像信号
６７ デプスマップ
７１ 左眼画像（Ｌ画像）
７２ 右眼画像（Ｒ画像）
１００ 画像補正部
１０１ 輝度補正部
１０２ 勾配検出部
１０３ 反射検出部
１０４ 補間処理部
１２１ 輝度補正画像
１２２ 勾配情報
１２３ 反射情報
２０１ 横ＬＰＦ
２０２ 横ＬＰＦ
２０３ 横ＨＰＦ
２０４ バイキュービック補間部
２０５ ＲＢ高周波成分生成部
２０６，２０７ 加算部
３０１ 横ＬＰＦ
３０２ 横ＬＰＦ
３０３ 横ＨＰＦ
３０４ バイキュービック補間部
３０５ ＲＢ高周波成分生成部
３０６，３０７ 加算部

Claims (13)

1. 左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正部を有し、
   前記画像補正部は、
   補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理を実行し、
   高相関方向が片眼視点画素領域によって構成される水平方向である場合、
   補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、
   補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、
   前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする画像処理装置。
2. 前記高周波信号は、
   補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の複数の画素信号各々に対するハイパスフィルタ適用結果に対するバイキュービック補間処理を行って算出する請求項１に記載の画像処理装置。
3. 前記画像処理装置の処理対象画像はＲＧＢ画素から構成されるベイヤー配列を有する画像であり、
   前記画像補正部は、
   補正対象画素がＧ画素である場合、前記片眼視点画素領域のＧ画素を参照画素とした低周波信号と、前記片眼視点画素領域に隣接する前記中央視点画素領域のＧ画素を参照画素とした高周波信号を生成し、
   補正対象画素がＲ画素またはＢ画素である場合、前記片眼視点画素領域の補正対象画素と同一色のＲ画素またはＢ画素を参照画素とした低周波信号と、前記片眼視点画素領域に隣接する前記中央視点画素領域のＧ画素を参照画素とした高周波信号を生成し、さらに、Ｇ信号対応の高周波信号を適用してＲ信号またはＢ信号対応の高周波を算出する請求項１に記載の画像処理装置。
4. 前記画像補正部は、
   Ｇ信号対応の高周波信号を適用したＲ信号またはＢ信号対応の高周波信号を算出する処理として、Ｇ信号対応高周波信号に対して、ＲとＧの低周波信号比ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）、またはＢとＧの低周波信号比ＬＰＦ（Ｂ）／ＬＰＦ（Ｇ）を乗算する処理を実行する請求項３に記載の画像処理装置。
5. 前記画像処理装置の処理対象画像はＲＧＢ画素から構成されるベイヤー配列を有する画像であり、
   前記画像補正部は、
   前記高周波信号を、補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の複数のＧ画素信号各々に対するハイパスフィルタ適用結果に対するバイキュービック補間処理を行って算出する請求項１に記載の画像処理装置。
6. 前記画像補正部は、
   前記高相関方向検出処理において、高相関方向が片眼視点画素領域によって構成される水平方向以外の方向である場合、高相関方向の画素を参照画素とした補間処理によって、前記補正対象画素の補正画素値を算出する請求項１に記載の画像処理装置。
7. 前記画像補正部は、
   前記片眼視点画素領域の画素の輝度を中央視点画素領域の輝度に合わせる輝度補正により輝度補正画像を生成し、生成した輝度補正画像に対する補正処理によって前記補正対象画素の補正画素値を算出する請求項１に記載の画像処理装置。
8. 前記画像補正部は、
   前記片眼視点画素領域の画素単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成し、
   補間処理対象となる画素の反射情報が反射ありを示している場合、および、補間処理対象となる画素の反射情報が反射なしを示し、高相関方向が片眼視点画素領域によって構成される水平方向以外である場合には、高相関方向の前記中央視点画素領域の画素を参照画素として選択した補間処理を実行し、
   補間処理対象となる画素の反射情報が反射なしを示し、高相関方向が片眼視点画素領域によって構成される水平方向である場合には、
   補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、
   補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、
   前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする請求項１に記載の画像処理装置。
9. 前記画像処理装置は、
   異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
   前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
   前記第２偏光手段の透過光を入力する撮像素子と、
   前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
   前記画像処理部は、
   前記第２偏光手段の前記第３偏光領域の透過光に基づく画像と、前記第２偏光手段の前記第４偏光領域の透過光に基づく画像との２つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、
   前記撮像素子からの入力画像に対する補正処理を実行して前記２次元画像を生成する前記画像補正部と、
   前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した２次元画像の画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項１に記載の画像処理装置。
10. 前記画像補正部は、
    前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する請求項９に記載の画像処理装置。
11. 前記インデックスは、
    画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む請求項１０に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置の画像補正部が、左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、
    前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正処理を実行し、
    前記画像補正処理において、
    補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理を実行し、
    高相関方向が片眼視点画素領域によって構成される水平方向である場合、
    補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出し、
    補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出し、
    前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値とする画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置の画像補正部に、左眼視点画像と右眼視点画像から構成される片眼視点画素領域と、両目中央位置からの観察画像に相当する中央視点画素領域を垂直方向に交互に有する画像を入力し、
    前記片眼視点画素領域の画素値を前記中央視点画素領域と同等の輝度および視点位置の画素値に補正して２次元画像を生成する画像補正処理を実行させ、
    前記画像補正処理において、
    補正対象画素である前記片眼視点画素領域の画素の周囲画素を参照して、補正対象画素の画素値と相関の高い方向を検出する高相関方向検出処理と、
    高相関方向が片眼視点画素領域によって構成される水平方向である場合、
    補正対象画素と同一色の水平方向の画素を片眼視点画素領域から選択し、補正対象画素と選択画素の画素値に基づく低周波信号を算出する処理、
    補正対象画素の含まれる前記片眼視点画素領域に隣接する前記中央視点画素領域の画素信号を適用して高周波信号を算出する処理、
    前記低周波信号と高周波信号の加算結果を前記補正対象画素の補正画素値として設定する処理を実行させるプログラム。