JP5831024B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像と右眼用画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。

撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像と、
のペア画像によって構成される。

左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

しかし、これらの２つの異なる視点からの画像を撮影するために、２つのカメラを用いて撮影する場合、２台のカメラの精密な同期制御を必要とし、非常に困難であるし、輻輳角の正確な制御もまた、非常に困難である。

立体撮影を行うためのレンズ系の調整を容易にするために、互いに直交関係となるように偏光させる偏光フィルタを組み合わせることによって、光学系を共通化させる立体撮影装置が、例えば特許文献１（特公平６−０５４９９１号公報）に開示されている。

また、２つのレンズと１つの撮像手段から構成された撮像装置で立体撮影を行う方式について、例えば、特許文献２（特開２００４−３０９８６８号公報）に開示がある。この特許文献２に開示された撮像装置は、ＣＣＤの撮像面に対して所定距離だけ離れた位置に、人間の視差に応じた間隔だけ離間して、（ａ）レンズと水平成分偏光フィルタの組み合わせ構成と、（ｂ）レンズと垂直成分偏光フィルタの組み合わせ構成をそれぞれ設定して、これら（ａ），（ｂ）の２つの組み合わせ構成の各々を利用して左眼画像と右眼画像を取得する構成である。

特公平６−０５４９９１号公報 特開２００４−３０９８６８号公報

ところで、上記の特許文献１（特公平６−０５４９９１号公報）に開示された技術にあっては、２つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。
しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。

また、上記の特許文献２（特開２００４−３０９８６８号公報）に開示された技術にあっては、レンズおよび偏光フィルタの組合せを２組、必要とし、装置の複雑化、大型化が免れない。

本開示は、例えば上記の問題に鑑みてなされたものであり、１台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみを透過させる第３偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像と、前記第２偏光手段の前記第３偏光領域の透過光に基づく第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像は、前記第１偏光手段の中心位置を視点とした通常画像であり、前記第２偏光手段の前記第３偏光領域の透過光に基づく第２視点画像は、記第１偏光手段の前記第１偏光領域または前記第２偏光領域のいずれか一方の重心位置を視点とした右眼用画像または左眼用画像であり、前記画像処理部は、前記第１視点画像である前記通常画像と、前記第２視点画像である右眼用画像または左眼用画像のいずれかの視点画像を適用して、前記第２視点画像と異なる第３視点画像としての左眼用画像または右眼用画像を生成し、前記第２視点画像と前記第３視点画像を適用して前記視差情報を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記第１視点画像である前記通常画像の画素値から、前記第２視点画像である右眼用画像または左眼用画像の画素値を減算する処理により、前記第２視点画像と異なる第３視点画像としての左眼用画像または右眼用画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の生成する視差情報は、画像の被写体距離情報を反映したデプスマップであり、前記画像処理部は、デプスマップを適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記第２偏光手段の第３偏光領域と全透過領域は、撮像素子平面の一方向である第１方向に複数画素単位で繰り返し設定された構成である。

さらに、本開示の画像処理装置の一実施態様において、前記第２偏光手段の第３偏光領域は、ワイヤグリッド偏光子によって構成され、前記撮像素子の前記第１方向に直角な第２方向に延びるワイヤを有する構成である。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記第２偏光手段の前記第３偏光領域の透過光に基づく前記第２視点画像である右眼用画像または左眼用画像のいずれかの視点画像の輝度レベルを、前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像の輝度レベルに合わせる輝度調整を実行し、該輝度調整後の前記第２視点画像を適用して前記視差情報を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記第２偏光手段の前記全透過領域に対応する撮像素子の画素位置からの撮像素子出力に基づく画像に含まれない前記第３偏光領域対応画素位置の画素値を補間する補間処理部と、前記補間処理部の生成した補間画像のデモザイク処理により各画素位置に各色の画素値を設定して前記第１視点画像を生成するデモザイク処理部と、前記デモザイク処理部の生成した前記第１視点画像に対して、前記視差情報を適用した画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の実行する画像変換処理は、２次元（２Ｄ）画像である前記第１視点画像に対して前記視差情報を適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の実行する前記視差情報を適用した画像変換処理は、前記第１視点画像に対して被写体距離に応じた画像シフト処理を行うことで３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である。

さらに、本開示の第２の側面は、
撮像手段の撮影画像に対する画像処理を実行する画像処理装置であり、
前記撮像手段は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段の透過光に基づく画像を撮影する構成であり、
前記画像処理装置は、
前記第１偏光領域と前記第２偏光領域の全透過光からなる第１視点画像と、
前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみからなる第２視点画像を入力し、
前記第１視点画像と、前記第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。

さらに、本開示の第３の側面は、
各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記第２偏光手段の前記第３偏光領域の透過光に基づく視点画像と、前記第４偏光領域の透過光に基づく視点画像とを適用して被写体距離を反映した視差情報を生成し、該視差情報を適用して、前記第２偏光手段の前記全透過領域の透過光に基づく視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。

さらに、本開示の第４の側面は、
画像処理装置において、撮像手段の撮影画像に対する画像処理を実行する画像処理方法であり、
前記撮像手段は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段の透過光に基づく画像を撮影する構成であり、
前記画像処理方法は、
画像処理部において、
前記第１偏光領域と前記第２偏光領域の全透過光からなる第１視点画像と、
前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみからなる第２視点画像を入力し、
前記第１視点画像と、前記第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理方法にある。

さらに、本開示の第５の側面は、
画像処理装置において、撮像手段の撮影画像に対する画像処理を実行させるプログラムであり、
前記撮像手段は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段の透過光に基づく画像を撮影する構成であり、
前記プログラムは、
画像処理部に、
前記第１偏光領域と前記第２偏光領域の全透過光からなる第１視点画像と、
前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみからなる第２視点画像を入力し、
前記第１視点画像と、前記第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、偏光性能の低下を発生させることなく複数の視点画像を取得して３次元画像表示用の画像を生成することが可能となる。
具体的には、異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、第１偏光領域または第２偏光領域のいずれか一方の透過光のみを透過させる第３偏光領域と、第１偏光領域と第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、第２偏光手段の透過光を入力する撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。画像処理部は、第２偏光手段の全透過領域の透過光に基づく第１視点画像と、第２偏光手段の第３偏光領域の透過光に基づく第２視点画像を適用して被写体距離を反映した視差情報を生成し、視差情報を適用した第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する。

本開示の一実施例の画像処理装置によれば、光学系の絞り面上を左右に分光するための偏光フィルタを配置し、ワイヤグリッド偏光子をイメージセンサ撮像面に配置することで画素毎に左右画像を取得するカメラ装置において、垂直方向のワイヤグリッド偏光子を不要とし、水平方向のワイヤグリッド偏光子のみを配置することにより、画素サイズの小さいイメージセンサでも高い偏光分離特性を実現することが可能となり、左右画像の間の視差分解能を維持することが可能となる。

本開示の画像処理装置の全体構成について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 第２偏光部の構成例について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。 偏光画素補間処理部の処理例について説明する図である。 偏光画素補間処理部の処理例について説明する図である。 視差検出部の処理例について説明する図である。 視差画像生成部の構成例について説明する図である。 ゲイン制御部の一実施例の構成を示すブロック図である。 ゲイン係数算出部において実行する、ゲイン係数の決定方法の一例を示す図である。 ゲイン制御部における微分信号の振幅値を制御する処理の一例について説明する図である。 非線形変換部において実行する非線形変換処理の一例について説明する図である。 画像合成部において実行する画像合成処理について説明する図である。 画像合成部において実行する画像合成処理について説明する図である。 第２偏光部の構成例について説明する図である。 第２偏光部と撮像素子の構成例について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。 視差検出用右眼画像生成部の実行する処理について説明する図である。 視差検出用左眼画像生成部の実行する処理について説明する図である。 視差検出用右眼画像生成部の実行する処理について説明する図である。 視差検出用右眼画像生成部の実行する処理について説明する図である。 視差検出用右眼画像生成部の実行する処理について説明する図である。 本開示の画像処理装置の画像処理部の構成例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．画像処理装置の構成と処理例について（実施例１）
２．ワイヤグリッド偏光子の特性と問題点について
３．短いワイヤ長のワイヤグリッド偏光子を省略した実施例について（実施例２）
４．右眼画像と通常画像から視差検出を行い、デプスマップを生成する実施例について（実施例３）
５．本開示の構成のまとめ

［１．画像処理装置の構成と処理例について（実施例１）］
図１以下を参照して本開示の実施例１としての画像処理装置の構成と処理例について説明する。図１は、画像処理装置の一例である撮像装置の構成を示している。
図１（Ａ）に示す撮像装置１０において、撮影レンズ１１を介して撮影被写体に対応する入射光が入力する。
撮影レンズ１１を介した入射光は、第１偏光部１２、絞り１３、結像レンズ１４、第２偏光部１５を介して撮像素子１６に入力される。

なお、図１（Ａ）は、撮像装置（カメラ）１０を上から見た図、すなわち上面図である。図１（Ａ）の左下に撮像装置１０と撮影者２０の概略図と、ＸＹＺ座標軸を示しているように、図１（Ａ）の撮像装置の構成図は、撮像装置（カメラ）１０を上から見た図である。
図１（Ａ）の中央付近に示す点線縦ライン（Ｘ軸）に示すように、図１（Ａ）の上側が撮影者から見て右（Ｒ）側であり、図１（Ａ）の下側が撮影者から見て左（Ｌ）側となる。

撮像素子１６は、例えばＣＣＤ、ＣＭＯＳ等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部１７に出力する。
画像処理部１７では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部１８に格納する。
画像処理部１７の構成と処理の詳細については後述する。

図１（Ａ）に示す構成において、第１偏光部１２は、図１（Ｂ）に示す構成を有し、第２偏光部１５は、図１（Ｃ）に示す構成を有する。
第１偏光部１２は、図１（Ｂ）に示すように、左右に２分割されており、
左半分の領域に垂直偏光領域１２Ｖ、
右半分の領域に水平偏光領域１２Ｈ、
これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。

垂直偏光領域１２Ｖは、垂直方向の偏波光のみを通過させ、垂直偏光領域１２Ｖを通過した光は、垂直方向の偏波光となる。
水平偏光領域１２Ｈは、水平方向の偏波光のみを通過させ、水平偏光領域１２Ｈを通過した光は、水平方向の偏波光となる。

図１（Ｂ）に示す重心点３１は、垂直偏光領域１２Ｖの重心位置である。この垂直偏光領域１２Ｖの透過光は、重心点３１を視点として観察した画像に相当する。
同様に、図１（Ｂ）に示す重心点３２は、水平偏光領域１２Ｈの重心位置である。この水平偏光領域１２Ｈの透過光は、重心点３２を視点として観察した画像に相当する。
すなわち、
垂直偏光領域１２Ｖの重心位置である重心点３１を視点として観察した画像は、左眼からの観察画像である左眼視点画像（Ｌ画像）に対応し、
水平偏光領域１２Ｈの重心位置である重心点３２を視点として観察した画像は、右眼からの観察画像である右眼視点画像（Ｒ画像）に対応する。
このように、第１偏光部１２を透過する画像は、左右の２つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。

この２つの異なる視点画像、すなわち、
左眼用画像に相当するＬ画像（垂直偏波光）、
右眼用画像に相当するＲ画像（水平偏波光）、
これらの光は、結像レンズ１４を介して、第２偏光部１５に到達する。
なお、以下の説明において、「右眼用画像」は「右眼画像」、「左眼用画像」は「左眼画像」と簡略化して表記する。

第２偏光部１５は図１（Ｃ）に示す構成を持つ。
第２偏光部１５は、図１（Ｃ）に示すように、
水平偏光領域１５Ｈ、
垂直偏光領域１５Ｖ、
全透過（非偏光）領域１５Ａ、
これらの３種類の領域を上から順に繰り返し設定した構成を有する。

水平偏光領域１５Ｈは、水平方向の偏波光を選択的に透過して撮像素子１６に水平偏波光のみを結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光を選択的に透過して撮像素子１６に垂直偏波光のみを結像させる。
全透過（非偏光）領域１５Ａは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子１６に結像させる。

なお、第２偏光部１５に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ（例えばＡｌ（アルミ）線）を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。

図２に、第２偏光部１５と、第２偏光部１５の透過光を受光する撮像素子１６を重ねた図を示す。
撮像素子１６は、ＲＧＢ配列（ベイヤー配列）を有する撮像素子を例として示している。

図２に示す構成例は、
第２偏光部１５に設定される垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。すなわち、
（ａ）２ラインの垂直偏光領域１５Ｖ、
（ｂ）２ラインの水平偏光領域１５Ｈ、
（ｃ）１２ラインの全透過（非偏光）領域１５Ｖ、
これら（ａ）〜（ｃ）の３種類の領域が、撮像素子１６の縦方向（Ｙ方向）に繰り返し設定される。

水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。

図２に示す構成例は、第２偏光部１５の一構成例であり、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈは、撮像素子の２ライン単位で隣接して設定され、全透過（非偏光）領域１５Ａは１２ライン単位で設定した例である。
第２偏光部１５の構成としては、この他にも様々な構成が可能である。
例えば図３に示すように、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。
図４は、図３に示す第２偏光部とＲＧＢ配列の撮像素子１６を重ねて示した図である。

図４に示す例は、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈを設定し、これらを交互に配置している２行の領域、
１４行の全透過（非偏光）領域１５Ａ、
これらを縦方向（Ｙ方向）に繰り返して配置した構成である。

本構成においては、
２×２の４画素からなる矩形領域からなる水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
２×２の４画素からなる矩形領域からなる垂直偏光領域１５Ｖは、垂直方向の偏波光、すなわち、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）のみを選択的に透過して撮像素子１６に左眼画像（Ｌ画像）を結像させる。
全透過（非偏光）領域１５Ａは、（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点３３から観察した通常画像と同様の画像となる。

図５は、図１に示す画像処理部１７の詳細構成を説明する図である。
撮像素子１６は、図２〜図４を参照して説明したように、
（ａ）垂直偏光領域、
（ｂ）水平偏光領域、
（ｃ）全透過（非偏光）領域、
これらの３種類の領域に区分され、それぞれの領域対応の信号を画像処理部１７に入力する。
なお、以下の説明において、
撮像素子１６における（ａ）垂直偏光領域と（ｂ）水平偏光領域に対応する画素を、
ＰＬ（Ｐｏｌａｒｉｚｅｄ（＝偏光））画素と呼ぶ。
（ｃ）全透過（非偏光）領域に対応する画素を、
Ｎ（Ｎｏｎ−ｐｏｌａｒｉｚｅｄ（非偏光））画素と呼ぶ。

撮像素子１６の出力は、
ＰＬ画素出力（＝垂直偏光領域と水平偏光領域対応画素の出力）、
Ｎ画素出力（＝全透過（非偏光）領域対応画素の出力）
これらの出力によって構成される。

ここでは、図３、図４を参照して説明した第２偏光部１５と撮像素子１６の組み合わせ構成を持つ撮像素子１６からＰＬ画素出力とＮ画素出力を画像処理部１７に出力した場合の処理例について説明する。
すなわち、撮像素子１６は、図４を参照して説明したように、
２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、
これらが縦方向（Ｙ方向）に繰り返して配置された構成を持つ。

図５に示す撮像素子１６から出力される画素信号は、画像処理部１７の偏光画素分離部５１において、
偏光領域画素（ＰＬ画素）と、
非偏光領域画素（Ｎ画素）と、
これらの各領域の画素出力の分離処理が実行される。

偏光画素分離部５１の分離処理によって分離されたＮ画素信号（非偏光画素信号）６１は、非偏光画素補間処理部５２に入力される。
非偏光画素補間処理部５２は、Ｎ画素信号（非偏光画素信号）６１から欠落した画素領域、すなわち、ＰＬ画素領域の画素についての画素補間処理を実行する。具体的には、例えば、ＰＬ画素領域の画素値を、上下のＮ画素の画素値を参照して算出して設定する補間処理を実行する。

この画素補間処理によって、画素値の欠落している全てのＰＬ画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像（２Ｄ−Ｒａｗ画像）６２を生成する。補間画像（２Ｄ−Ｒａｗ画像）６２は各画素にＲＧＢのいずれかの画素値の設定された画像である。

非偏光画素補間処理部５２の生成する補間画像（２Ｄ−Ｒａｗ画像）６２は、撮像素子１６の構成画素の全ての画素にＮ画素信号（非偏光画素信号）が設定された画像となる。この画像は、図１（Ｂ）に示す第１偏光部１２の中心点３３から観察した画像に相当する１枚の２Ｄ（２次元）Ｒａｗ画像である。

非偏光画素補間処理部５２の生成した補間画像（２Ｄ−Ｒａｗ画像）６２は、デモザイク処理部５３に入力される。
デモザイク処理部５３は、補間画像（２Ｄ−Ｒａｗ画像）６２に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の２次元画像に変換する。
デモザイク処理は、全ての画素位置に全ての色信号、例えばＲＧＢの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。
デモザイク処理部５３の生成した２Ｄ−ＲＧＢ画像６３は、視差画像生成部５６に入力される。

一方、偏光画素分離部５１の分離処理によって生成されるもう１つの分離信号であるＰＬ画素信号（偏光画素信号）６５は、非偏光領域画素（Ｎ画素）の画素値を持たない、偏光領域画素（ＰＬ画素）の画素値のみからなる画像信号となる。
このＰＬ画素信号（偏光画素信号）６５は、偏光画素補間処理部５４に入力される。

ここで説明する処理例は、図４を参照して説明した２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域と、１４行の全透過（非偏光）領域１５Ａ、これらが縦方向（Ｙ方向）に繰り返して配置された構成である。
従って、偏光画素分離部５１の分離処理によって生成されるＰＬ画素信号（偏光画素信号）６５は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域が、縦方向に１４行おきに設定された画像となる。

偏光画素補間処理部５４は、２×２の４画素からなる矩形領域を単位として、垂直偏光領域１５Ｖと、水平偏光領域１５Ｈが交互に配置された２行の領域のみを処理対象として選択し、これらのＰＬ画素領域について図６に示す処理を実行する。

すなわち、偏光画素補間処理部５４は、
ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域について、
すべてを垂直偏光領域１５Ｖに対応する画素値を設定した左眼画像信号（垂直偏光画像信号）６６ａ、
すべてを水平偏光領域１５Ｈに対応する画素値を設定した右眼画像信号（水平偏光画像信号）６６ｂ、
これらの各画像を生成する。

なお、図６に示す左眼画像信号（垂直偏光画像信号）６６ａは、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域の水平偏光画素領域の画素値をリセット（取り除き）、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。
同様に、図６に示す右眼画像信号（水平偏光画像信号）６６ｂは、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域の垂直偏光画素領域の画素値をリセット（取り除き）、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。

この結果、左眼画像信号（垂直偏光画像信号）６６ａに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の左側の重心点３１から見た画像、すなわち左眼画像に対応する画像となる。
同様に、右眼画像信号（水平偏光画像信号）６６ｂに含まれる画素値の設定された画像は、図１（Ｂ）に示す第１偏光部１２の右側の重心点３２から見た画像、すなわち右眼画像に対応する画像となる。

このように、偏光画素補間処理部５４は、ＰＬ画素信号（偏光画素信号）６５に含まれるＰＬ画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
を生成する。
偏光画素補間処理部５４の生成したこれらの画像は、視差検出部５５に入力される。

視差検出部５５は、水平画素数が入力画像と同等の画素数を有する図６に示す、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの２つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。
すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。

視差検出部５５は、例えば各画素対応の被写体距離情報を持つデフスマップ６７を生成して出力する。
なお、デプスマップ６７は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。
具体的には、例えば、
被写体距離が小（カメラに近い）の領域は高輝度、
被写体距離が大（カメラから遠い）の領域は低輝度、
視差検出部５５は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部５６に出力する。

なお、偏光画素補間処理部５４の生成する、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの画像は、図６に示すように、入力画像中のＮ画素（非偏光画素）領域については、画像信号を有していないが、視差検出部５５は、これらの画素値を持たないＮ画素（非偏光画素）領域については、左眼画像信号（垂直偏光画像信号）６６ａに基づく補間画素値を設定した左眼画像と、右眼画像信号（水平偏光画像信号）６６ｂに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。
なお、画素値補間処理には、例えば線形補間処理等が利用可能である。

なお、偏光画素補間処理部５４の生成する視差画像（ＬＲ画像）は、次段の視差検出部５５においてデプスマップ６７を生成するために用いられるのみであり、ＰＬ画素領域の視差が得られればよい。
図６に示す各視点からの画像、すなわち、
左眼画像信号（垂直偏光画像信号）６６ａ、
右眼画像信号（水平偏光画像信号）６６ｂ、
これらの画像はＲＧＢの各信号を設定した画像となっているが、偏光画素分離部５１の出力するＰＬ画素信号（偏光画素信号）６５に含まれるＧ画素のみを用いて視差画像としてのＬ画像とＲ画像を生成してもよい。

このＧ画素のみを用いた視差画像の生成処理例について図７を参照して説明する。
Ｇ画素のみを用いた視差画像の生成処理は図７に示す以下の２つの補間処理ステップからなる。
（ａ）補間処理ステップ１＝偏光領域におけるＧ画素補間処理、
（ｂ）補間処理ステップ２＝水平方向のＧ画素ライン（行）の設定処理、

図７（ａ）は、
（ａ）補間処理ステップ１＝偏光領域におけるＧ画素補間処理
この処理を示している。
図７には、左眼画像信号（垂直偏光画像信号）を生成する処理例を示している。すなわち、偏光画素分離部５１の生成するＰＬ画素信号６５に含まれる左眼画像信号（垂直偏光画像信号）に基づいて、撮像素子１６の全画素領域に左眼画像信号に対応するＧ画素を設定する処理である。

先に図３、図４を参照して説明したように、
左眼用画像信号である垂直偏光領域１５Ｖと、右眼用画像信号である水平偏光領域１５Ｈは２×２の画素領域として繰り返し設定されている。
図７（ａ）には、偏光領域の２行のみを示しており、
２×２画素の左眼画像信号に対応する垂直偏光領域１５Ｖと、２×２画素の右眼画像信号に対応する水平偏光領域１５Ｈが交互に設定された画素領域を示している。
まず、右眼用画像に対応する水平偏光領域１５Ｈの画素値を削除して、ここに左眼画像信号に対応する垂直偏光領域１５ＶにあるＧ画素の画素値に基づく補間画素値を設定する。

例えば図７（ａ）に示す、Ｇ１４、Ｇ２３が補間処理によって生成されるＧ画素である。
例えば、Ｇ１４の画素値Ｇ１４は、同一行の２つの左右にある左眼画像信号に対応する垂直偏光領域１５Ｖにある最近接のＧ画素の画素値（Ｇ１２，Ｇ１６）を用いて以下の式で算出する。
Ｇ１４＝（１／２）（Ｇ１２＋Ｇ１６）
同様に、Ｇ２３の画素値Ｇ２３は、同一行の２つの左右にある垂直偏光領域１５Ｖにある最近接のＧ画素の画素値（Ｇ２１，Ｇ２５）を用いて以下の式で算出する。
Ｇ２３＝（１／２）（Ｇ２１＋Ｇ２５）

このように、左眼用画像の生成時には、右眼用画像に対応する水平偏光領域１５ＨのＧ画素設定位置に、左右の左眼用画像に対応する垂直偏光領域１５ＶのＧ画素値に基づく線形補間処理を行う。
この処理によって、２行の偏光画素領域の各列に左眼用画像に対応する１つのＧ画素の画素値が設定される。

この各列に１つ設定されたＧ画素を１行のラインに設定する処理が図７（ｂ）に示す処理である。すなわち、
（ｂ）補間処理ステップ２＝水平方向のＧ画素ライン（行）の設定処理、
この補間処理ステップ２である。
図７（ｂ）には、この補間処理ステップ２の処理例として、２つの手法（手法１、手法２）を示している。

（ｂ１）第１手法は、図７（ａ）に示すステップ１において設定した各列に１つあるＧ画素値を１つの行に並べる処理である。
なお、偏光領域は２行単位で設定されているが、垂直２行に対して１行のＧ画素ラインとして出力する。

（ｂ２）第２手法は、図７（ａ）に示すステップ１において設定した各列に１つあるＧ画素値の隣接する２つのＧ画素値を用いて１つの新たなＧ画素値を算出して１行のＧ画素ラインを設定する処理である。
例えば、図７（ｂ）に示すように、（ｂ２）に示す新たなＧ画素の画素値Ｇ１は、
Ｇ１＝（１／２）（Ｇ２１＋Ｇ１２）
上記式に従って算出する。
同様に、Ｇ２，Ｇ３，Ｇ４・・・を図７（ａ）に示すステップ１において設定した隣接する２つのＧ画素値を用いて算出する。
これら手法１または手法２のいずれかを行う補間処理ステップ２の実行により、偏光領域に対応する行の画素には、左眼視点画像に対応するＧ画素の設定が完了する。

なお、図７は、左眼画像信号（垂直偏光画像信号）を生成する処理例を示しているが、右眼画像信号（水平偏光画像信号）の生成処理は、右眼画像信号（水平偏光画像信号）を利用して、垂直偏光領域１５Ｖを補間対象領域とした補間処理を実行すればよい。この補間処理により、偏光領域の各行に右眼視点画像に対応するＧ画素の設定を行うことができる。

このように、偏光画素補間処理部５４は、
偏光領域に左眼画像のＧ画素値を設定した補間画像、
偏光領域に右眼画像のＧ画素値を設定した補間画像、
これらの２つの補間画像を生成して視差検出部５６に提供する構成としてもよい。

視差検出部５５は、このＧ画素のみからなる視差画像としての２つの補間画像を入力してデプスマップ６７を生成する。
この処理について、図８を参照して説明する。

図７を参照して説明した偏光画素補間処理部５４の実行する補間画像生成処理において生成される補間画像は、
偏光領域に左眼画像のＧ画素値を設定した補間画像、
偏光領域に右眼画像のＧ画素値を設定した補間画像、
これらの補間画像である。
視差検出部５５は、まず、これらの補間画像を適用して偏光領域の各画素に対応する視差を算出して、視差に対応する被写体距離（Ｄ：デプス）を算出する。

次に、この偏光領域のみのデプス情報を用いて、非偏光領域のデプスを推定するデ゜プス補間処理を実行する。図８は、このデプス情報補間処理例を示す図である。
図８に示すように、偏光領域に設定されたデプスＤ１，Ｄ２を用いて、非偏光領域の各に画素に対応するデプスを算出して設定する。
図８の例では、説明を簡単にするために偏光領域が１行、非偏光領域が７行に設定された例を示しており、Ｄ１，Ｄ２がそれぞれ任意の列に対する偏光領域の画素に対応するデプス情報である。
これらは、偏光画素補間処理部５４の生成した、
偏光領域に左眼画像のＧ画素値を設定した補間画像、
偏光領域に右眼画像のＧ画素値を設定した補間画像、
これらの補間画像によって算出されるデプス情報である。

視差検出部５５は、さらに、これらのデプス情報に基づいて、非偏光領域の各画素対応のデプスを推定して設定する。図８には、任意の列において偏光領域の２つの画素に対応するデプスＤ１，Ｄ２に基づいて算出する同じ列の９つのデプス情報（Ｄ'１〜Ｄ'９）の算出処理例を示している。具体的には、例えば、以下のような算出処理を実行する。
Ｄ'１＝Ｄ１
Ｄ'２＝（７／８）Ｄ１＋（１／８）Ｄ２
Ｄ'３＝（６／８）Ｄ１＋（２／８）Ｄ２
： ：
Ｄ'８＝（１／８）Ｄ１＋（７／８）Ｄ２
Ｄ'９＝Ｄ２
このように、Ｄ１，Ｄ２を用いた拡大処理を行い、Ｄ１，Ｄ２からの距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。
このようにして生成されたデプスマップ６７が視差画像生成部５６に提供される。
ここで、図８の例では簡単のために偏光領域が１行、非偏光領域が７行として拡大処理について説明したが、図６で説明するように偏光領域が２行である場合、図７を用いて上述したように、偏光領域に対して１行のデプスマップが生成される。このデプスマップは、偏光領域の２行に対して仮想的に中央の行のデプスマップとなっているため、偏光領域の２行、および非偏光領域のｋ行に対して、図８での説明と同様にして距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。

上述したように、偏光画素補間処理部５４における視差情報算出用の補間画像生成処理、および、視差検出部５５におけるデプスマップ６７の生成処理としては様々な処理が適用可能である。

次に、視差画像生成部５６において実行する処理について説明する。
視差画像生成部５６は、デモザイク処理部５３から出力される２次元画像である２Ｄ−ＲＧＢ画像６３と、視差検出部５５から出力される視差情報としてのデプスマップ６７を用いて、左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２の２枚の画像を生成する。

すなわち、２Ｄ−ＲＧＢ画像６３に対して、視差情報としてのデプスマップ６７に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２を生成して出力する。
なお、この視差画像生成部５６において実行する画像変換処理は、１枚の２次元画像（２Ｄ画像）に基づく画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）７１と、右眼画像（Ｒ画像）７２を生成して出力する処理であり、一般的には例えば２Ｄ３Ｄ変換処理と呼ばれる処理である。

視差画像生成部５６において実行する２Ｄ３Ｄ変換処理の一例について、以下説明する。なお、２Ｄ３Ｄ変換処理については、様々な処理が提案されており、視差画像生成部５６においては、以下に説明する処理に限らず、その他の既存の手法を適用した２Ｄ３Ｄ変換処理を行ってもよい。

視差画像生成部５６において実行する２Ｄ３Ｄ変換処理の１つの具体例について説明する。
視差画像生成部５６では、デプスマップ６７を用いた２Ｄ３Ｄ変換処理により、デモザイク処理部５３から入力した１つの画像、すなわち、２Ｄ−ＲＧＢ画像６３から、３次元画像表示に適用する右眼画像と左眼画像を生成する。
視差画像生成部５６は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差（シフト量）を設定した右眼画像と左眼画像を生成して画像出力部５７を介して出力する。

図９は、視差画像生成部５６の一実施例の構成を示すブロック図である。
視差画像生成部５６は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。視差画像生成部５６は、微分器８１、ゲイン制御部８２、非線形変換部８３、および画像合成部８４から構成される。

微分器８１は、視差画像生成部５６に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号（Ｈ）を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。

ゲイン制御部８２は、微分器８１から出力される微分信号（Ｈ）に、予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号（Ｈ'）を生成する。

非線形変換部８３は、ゲイン制御部８２から出力される補正微分信号（Ｈ'）を非線形的に変換し、視差強調信号（Ｅ'）として画像合成部８４に出力する。

画像合成部８４は、例えば処理対象画像としてのビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号（Ｈ'）、または、この補正微分信号を非線形変換して生成した視差強調信号（Ｅ'）を適用して新たな視点の画像を生成する処理を行う。

なお、図９に点線で示すように、非線形変換部８３の変換処理を省略し、ゲイン制御部８２で補正処理した補正微分信号（Ｈ'）を画像合成部８４に直接入力して、画像合成部８４が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。

次に、ゲイン制御部８２の実行する処理について説明する。
図１０は、ゲイン制御部８２の一実施例の構成を示すブロック図である。ゲイン制御部８２では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の１画素ごとに、１つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。視差検出部５５の生成するデプスマップ６７から取得される情報である。

ゲイン係数算出部９１は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。
乗算処理部９２は、入力された微分信号の各画素について、ゲイン係数算出部９１から出力された各画素に対するゲイン係数を、微分信号（Ｈ）の振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号（Ｈ'）を出力する。

図１１は、ゲイン係数算出部９１において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部９１におけるゲイン係数の出力を示している。
ゲイン係数算出部９１は、入力された奥行き情報（Ｉｎ）を、予め設定した関数ｆ（ｘ）により変換して、ゲイン係数（Ｏｕｔ）を出力する。
このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ
（ただしＡは定数）
上記式に示されるような線形一次関数を用いる。Ａは予め設定した定数であり、様々な値に設定可能である。

また、ゲイン係数算出部９１における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。
奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。

図１１は、ゲイン係数算出部の入力値（奥行き情報）と、出力値（ゲイン係数）の対応例を示す図である。図１１には３つの入力値（奥行き情報）とそれに対応する３つの出力値（ゲイン係数）の例を示している。
入力値（奥行き情報）の例は、Ｄ１、Ｄ２、Ｄ３であり、ある３つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者（ユーザ）あるいはカメラから被写体までの距離に対応する値である。
奥行き（＝被写体距離）はＤ１＜Ｄ２＜Ｄ３の順に、手前から奥へと深く（ユーザまたはカメラから遠く）なっていくものとする。ここで、図１１中、奥行き情報Ｉｎ＝０の位置は生成した画像を３次元表示装置に表示した場合に表示画面上に知覚される点である。
このとき出力値（ゲイン係数）の例は、Ｇ１、Ｇ２、Ｇ３であり、各々は図１１中の関数ｆ（ｘ）に、Ｄ１、Ｄ２、Ｄ３の値を入力することで得られる値である。
この例のように、ゲイン係数算出部９１は、微分信号の各画素に応じたゲイン係数を出力する。

図１２は、ゲイン制御部８２における微分信号の振幅値を制御する処理の一例を示している。
図１２には、
（ａ）入力信号
（ｂ）微分信号
（ｃ）奥行き情報
（ｄ）補正後の微分信号
これらの例を示している。

図１２（ａ）は、入力画像信号の一例である。
図１２（ｂ）は、図１２（ａ）の入力画像信号を微分処理した画像である。
図１２（ｃ）は、図１２（ａ）の入力画像信号に対応した奥行き情報であり、画像を３分割した各領域に奥行きの値を与えた簡易なものである。

ここで、図１２（ｃ）の奥行き情報を示す画像信号には、上部から順に図１１において定義した奥行き情報：Ｄ３、Ｄ２、Ｄ１（Ｄ１＜Ｄ２＜Ｄ３）の値が与えられているものとしている。

このとき、図１１において説明した奥行きとゲイン値の関係の通り、図１２（ｂ）の微分信号の各画素に乗じるゲイン値は、画像の上部から順に、
Ｇ３、Ｇ２、Ｇ１（Ｇ１＜Ｇ２＜Ｇ３）
となる。

図１２（ｄ）補正後の微分信号は、図１２（ｃ）の奥行き情報に基づいたゲイン値を、図１２（ｂ）の微分信号の各画素に乗じた処理結果の一例である。
図１２（ｄ）補正後の微分信号においては、画面上部ほど（遠い領域ほど）、大きなゲイン値が乗じられ、画面下部ほど（近い領域ほど）小さなゲイン値が乗じられる。
この結果、画面上部ほど（遠い領域ほど）微分信号の振幅値が大きくなり、画面下部ほど（近い領域ほど）微分信号の振幅は小さくなる。

２Ｄ３Ｄ変換処理を実行する視差画像生成部５６は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。

次に、非線形変換部８３の実行する処理について説明する。非線形変換部８３は、ゲイン制御部８２から出力される距離に応じてゲイン制御のなされた補正微分信号（Ｈ'）を非線形的に変換した視差強調信号（Ｅ'）を生成して画像合成部８４に出力する。

図１３は、非線形変換部８３において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部８２から出力される距離に応じてゲイン制御（補正）のなされた微分信号であり（輝度）補正微分信号である。縦軸が、非線形変換部８３における非線形変換処理後の出力を示している。非線形変換部８３は、入力された補正微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^γ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部８３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

画像合成部８４は、非線形変換部８３から出力される視差強調信号と、視差画像生成部５６に入力された２Ｄ画像とを合成して、新たな視点画像を生成する処理を行う。

なお、図９に点線で示すように、非線形変換部８３の変換処理を省略し、微分器８１の生成した微分信号に対してゲイン制御部８２が距離に応じたゲイン制御を行った補正微分信号（Ｈ'）を画像合成部８４に直接入力する構成としてもよい。この場合は、画像合成部８４は、奥行き（被写体距離）に応じてゲイン制御の施された補正微分信号（Ｈ'）を適用して新たな視点の画像を生成する処理を行う。

次に画像合成部８４の処理について説明する。
画像合成部８４は、処理対象画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。

図１４と図１５は、画像合成部８４において実行する画像合成処理の概念を示している。
図１４は、距離が大の画像領域（奥行きが大きい画像領域）
図１５は、距離が小の画像領域（奥行きが小さい画像領域）
これらの各画像領域について、上から順に、
（ａ）入力信号（Ｓ）
（ｂ）微分信号（Ｈ）
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）
（ｄ）右シフト画像信号
（ｅ）左シフト画像信号
これらの各信号を示している。

図１２の（ｃ）奥行き情報に対応付けて説明すると、例えば、図１４は図１２（ｃ）の画像上部の距離が大（＝Ｄ３）の画像領域（奥行きが大きい画像領域）に対応する処理例である。一方、図１５は図１２（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

まず、図１４に示す距離が大の画像領域（奥行きが大きい画像領域）における処理例について説明する。
（ａ）入力信号（Ｓ）は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号（Ｈ）は、（ａ）入力信号の微分結果である。この微分信号は、図９に示す視差画像生成部５６の微分器８１において生成される信号である。
微分器８１の生成する微分信号（Ｈ）は、図１４に示すとおり、（ａ）入力信号（Ｓ）の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の微分信号（Ｈ'）は、図９に示す視差画像生成部５６のゲイン制御部８２において生成する信号であり、図１４（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。なお、図１４に示す例は、距離が大（例えば図１１、図１２（ｃ）のＤ３）の画像領域（奥行きが大きい画像領域）における処理例であり、図１１、図１２を参照して説明したようにより大きなゲイン（Ｇ３）による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。

図１４（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号（Ｈ））であり、図１４（ｃ）に示す実線が距離に応じた補正後の補正微分信号（Ｈ'）である。このように、補正微分信号（Ｈ'）は距離に応じたゲイン制御により、振幅がより大きく補正される。

（ｄ）右シフト画像信号、（ｅ）左シフト画像信号は、図９に示す画像合成部８４が生成する信号である。

例えば図５に示す視差画像生成部５６にデモザイク処理部５３から入力する２Ｄ画像が、図１４（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。

具体的には、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部８３において非線形変換した結果（非線形変換部８３の出力）である視差強調信号（Ｅ'）とを合成することで、（ｄ）右眼画像信号、または、（ｅ）左眼画像信号を生成する。
図１４（ｄ）に示す通り、大きなゲイン（Ｇ３）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図１４（ｄ）では、左シフト量が大きい画像信号が生成される。

次に、図１５に示す距離が小の画像領域（奥行きが小さい画像領域）における処理例について説明する。図１５は図１２（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

（ａ）入力信号と、（ｂ）微分信号は、図１４に示す（ａ）入力信号と、（ｂ）微分信号と同様の信号である。（ｂ）微分信号（Ｈ）は、（ａ）入力信号（Ｓ）の微分結果である。この微分信号は、図９に示す微分器８１において生成される信号である。微分器８１の生成する微分信号は、図１５に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）は、図９に示すゲイン制御部８２において生成する信号であり、図１５（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。

図１５に示す例は、距離が小（例えば図１１、図１２（ｃ）のＤ１）の画像領域（奥行きが大きい画像領域）における処理例であり、図１１、図１２を参照して説明したように小さなゲイン（Ｇ１）により微分信号の振幅は小さな振幅に補正される。

図１５（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号）であり、図１５（ｃ）に示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。

（ｄ）右眼画像信号、（ｅ）左眼画像信号は、図９に示す画像合成部８４において生成する信号である。画像合成部８４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部８３において非線形変換した結果（非線形変換部８３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。

例えば図５に示す視差画像生成部５６にデモザイク処理部５３から入力する２Ｄ画像が、図１５（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。
また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。
図１５（ｄ）に示す通り、小さなゲイン（Ｇ１）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図１４（ｄ）では、左シフト量が小さい画像信号が生成される。

このように、視差画像生成部５６は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、
距離＝大の場合は、振幅の大きい補正微分信号
距離＝小の場合は、振幅の小さい補正微分信号、
これらの補正微分信号（図１４、図１５の（ｃ））を生成し、これらの補正微分信号（またはその非線形変換結果である視差強調信号）と（ａ）入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当する（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。

このような（ｄ）右眼画像信号と、（ｅ）左眼画像信号の生成処理の生成処理について、数式を用いて説明する。
図１４、図１５の（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図１４、図１５の（ｂ）に示す微分信号の信号レベルを（Ｈ）とする。
また、ゲイン制御部８２において行われる微分信号の補正結果としての補正微分信号の信号レベルを（Ｈ'）てとする。
なお、補正微分信号（Ｈ'）の生成の際、（ｂ）微分信号（Ｈ）に乗じるゲイン値（Ｇ）は、奥行き情報（Ｄ）をもとに予め設定された関数などから決定される。

図１４に示す距離が大の場合のゲイン値をＧ３、
図１５に示す距離が小の場合のゲイン値をＧ１、
とする。
図１４、図１５に示す例は、Ｇ３＞１＞Ｇ１の関係を想定している。

図１４、図１５の（ｃ）補正後の微分信号の信号レベルを（Ｈ'）で表現すると、（Ｈ'）は上記ゲイン値Ｇ３、Ｇ１を用いて補正された信号として、以下の式によって示すことができる。
図１４に示す距離が大の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ３×Ｈ
図１５に示す距離が小の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ１×Ｈ
これらの式によって算出された信号が、図１４、図１５の（ｃ）補正後の微分信号の信号レベル（Ｈ'）となる。

図１４（ｃ）に示す距離が大の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が大きくなっている。
一方、図１５（ｃ）に示す距離が小の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が小さくなっている。

これは、図１４（ｃ）、図１５（ｃ）に示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。
すなわち、視差検出部５５の出力するデプスマップにおける奥行き情報が大（カメラからの距離が遠い）画素については、（ｂ）微分信号に対して大きなゲイン値を乗じて補正されて図１４（ｃ）に示す補正後微分信号が生成される。
一方、視差検出部５５の出力するデプスマップにおける奥行き情報が小（カメラからの距離が近い）画素については、（ｂ）微分信号に対して小さなゲイン値を乗じて補正されて図１５（ｃ）に示す補正後微分信号が生成される。

図１４（ｃ）、図１５（ｃ）に示す補正後の微分信号は、非線形変換部８３において、例えば先に図１３を参照して説明した設定で非線形変換処理が施され、視差強調信号（Ｅ'）が生成される。

画像合成部８４は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｃ）補正後の微分信号（Ｈ'）を非線形変換した視差強調信号（Ｅ'）を入力して、例えば以下の式により右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
これにより得られる信号が、図１４（ｄ）、図１５（ｄ）に実線で示す右シフト画像信号、および、図１４（ｅ）、図１５（ｅ）に示す左シフト画像信号である。

一方、図１４（ｄ），（ｅ）と図１５（ｄ），（ｅ）に点線で示す信号は、（ｃ）補正後の微分信号ではなく、補正前の微分信号、すなわち（ｂ）微分信号（Ｈ）を適用して非線形変換した視差強調信号（Ｅ）を利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
である。

図１４、図１５の（ｄ）右シフト画像信号、および、（ｅ）左シフト画像信号に示す実線と点線を比較すると、
図１４に示す距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部（信号の変化部）が急峻になっており、（ａ）入力信号に比較して信号のシフトが大きくなっている。
一方、図１５に示す距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部が滑らかになっており、（ａ）入力信号に比較して信号のシフトが小さくなっている。

このように、視差画像生成部５６は、デモザイク処理部５３から入力する２Ｄ−ＲＧＢ画像６３に対して、視差検出部５５から入力するデプスマップ６７を利用して被写体距離に応じた視差設定を実行する２Ｄ３Ｄ変換処理を実行して３Ｄ画像表示に適用する左眼図像（Ｌ画像）７１、右眼画像（Ｒ画像）７２を生成して画像出力部５７を介して出力する。

上述したように、図５に示す画像処理部１７は、撮像素子１６上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。
さらに、偏光子を配置しない画素によって通常の２次元画像を取得して、これらの情報から画像処理によって３Ｄ画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。

なお、上述の実施例では、図１他を参照して説明した第１偏光部１２が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。
また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる２つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。
なお、第２偏光部１５は、第１偏光部１２の偏光領域の設定に対応させて、第１偏光部１２に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。

［２．ワイヤグリッド偏光子の特性と問題点について］
先に説明したように、図１に示す第２偏光部１５の偏光領域は、例えばワイヤグリッド偏光子を用いた構成とされる。ワイヤグリッド偏光子は、微細なワイヤ（例えばＡｌ（アルミ）線）を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。

このワイヤグリッド偏光子の偏光分離特性は、ワイヤの長さに影響し、ワイヤ長が短いと十分な偏光特性が発揮されない場合がある。従って、左眼用と右眼用の画像情報を視差検出可能な状態で取得するためには、図１に示す第２偏光部１５に設定するワイヤグリッド偏光子のワイヤ長を一定以上に保つ必要がある。

一方、コスト削減や小型化のためには固体撮像素子の光学サイズを小さくすることは必須であり、また、画素数を増やすためには１画素の大きさを小さくすることが求められる。

しかしながら、画素の大きさを小さくすると、例えば先に説明した図２や、図４に示す画素配置においては、垂直方向のワイヤグリッド偏光子のワイヤ長は、必然的に短くなる。
すなわち、例えば図２、図４に示す設定では、水平方向のワイヤグリッドのワイヤ長は、最大、撮像素子の横方向の長さまでに設定可能となるが、垂直方向のワイヤグリッド偏光子のワイヤ長は、必然的に最大２画素分の長さに制限されてしまう。
このような短いワイヤを利用すると、偏光分離特性が悪化するという問題が発生することがある。

偏光分離特性の低下を抑制するためにはワイヤ長を長くする必要があるが、例えば図２や図４に示すような２画素単位の垂直偏光領域１５Ｖを、さらに長く例えば３画素以上の垂直偏光領域として設定するといった処理が必要となる。

しかし、このような構成とすると、垂直方向の偏光領域画素（ＰＬ画素）の数が増加し、非偏光領域画素（Ｎ画素）の画素数が減少することになる。この結果、図５に示す非偏光画素補間処理部５２において実行する補間性能が悪化し、生成可能な２次元画像の画質が低下するという問題を引き起こす。

従って、
図１（Ｃ）、図２を参照して説明した偏光領域の設定構成、
図３、図４を参照して説明した偏光領域の設定構成、
このような偏光領域の設定構成を用いた場合、
（ａ）垂直方向の偏光領域画素（ＰＬ画素）における偏光分離特性の確保、
（ｂ）非偏光領域画素（Ｎ画素）の画素数の確保、
上記（ａ），（ｂ）を両立させることが困難となるという問題が発生する。

［３．短いワイヤ長のワイヤグリッド偏光子を省略した実施例について（実施例２）］
以下では、本開示の画像処理装置の第２実施例として、上記の問題点を解決した構成、すなわち、撮像素子に設定する第２偏光部の短いワイヤ長のワイヤグリッド偏光子を省略した構成例について説明する。

以下に説明する画像処理装置は、上述のワイヤグリッド偏光子の偏光分離特性を維持するという課題を解決するために、垂直方向のワイヤグリッド偏光子を不要とした構成を持つ。
具体的には、図１に示す撮像装置における第２偏光部１５に、垂直方向のワイヤグリッド偏光子を配置せず、水平方向のワイヤグリッド偏光子を配置した偏光領域（ＰＬ画素領域）と非偏光領域画素（Ｎ画素）のみを有する構成とする。このような構成とすることで偏光特性を悪化させることなく、また非偏光領域画素（Ｎ画素）の十分な画素数確保を実現する。

以下に説明する構成例では、第２偏光部が垂直方向のワイヤグリッド偏光子の設定領域を持たず、水平方向のワイヤグリッド偏光子からなる偏光領域のみの構成となるため、ワイヤグリッド偏光子の配置領域からは左眼あるいは右眼のいずれか一方の視点画像が得られない。しかし、以下に説明する画像処理部の処理によって視差情報を生成するための左眼画像と右眼画像を生成して、これらの生成画像に基づいてデプスマップを生成する。

さらに、十分な画素数を持つ非偏光領域画素（Ｎ画素）の画像の補間処理によって生成した高品質な２Ｄ画像に基づく２Ｄ３Ｄ変換処理を実行して、３Ｄ画像表示に適用する左眼画像（Ｌ画像）と右眼画像（Ｒ画像）を生成することを可能とする。

図１を参照して説明した構成では、
図１（Ｂ）に示す第１偏光部１２の垂直偏光領域１２Ｖを透過する垂直偏波光は、図１（Ｃ）に示す第２偏光部１５の垂直偏光領域１５Ｖを透過して、撮像素子の垂直偏光領域画素（垂直ＰＬ画素＝左眼画素（Ｌ画素））に到達する。
図１（Ｂ）に示す第１偏光部１２の水平偏光領域１２Ｈを透過する水平偏波光は、図１（Ｃ）に示す第２偏光部１５の水平偏光領域１５Ｈを透過して、撮像素子の水平偏光領域画素（水平ＰＬ画素＝右眼画素（Ｒ画素））に到達する。

この結果、
左眼用画素に撮り込まれる画像は、図１（Ｂ）に示す第１偏光部１２の左半分の半円領域の透過光からなり、光軸中心となる視点が左半円領域の重心点３１にある画像となる。
また、右眼用画素に撮り込まれる画像は、図１（Ｂ）に示す第１偏光部１２の右半分の半円領域の透過光からなり、光軸中心となる視点が右半円領域の重心点３２にある画像となる。
一方、図１（Ｃ）に示す第２偏光部１５のワイヤグリッド偏光子を配置していない非偏光領域画素（Ｎ画素）には、図１（Ｂ）に示す第１偏光部１２の全体の透過光からなり、光軸中心となる視点が円の中心点３３にある画像となる。
なお。いずれも第１偏光部１２の後段に設置された絞り１３によって制限された領域の光のみが透過することになる。

つまり、撮像素子１６の非偏光領域画素（Ｎ画素）は、
第１偏光部１２の左半分の半円領域、
第１偏光部１２の右半分の半円領域、
これらの２つの領域の透過光を加算した光を取得する。

すなわち、
撮像素子の水平偏光領域画素（水平ＰＬ画素＝右眼画素（Ｒ画素））の受光信号をＰＬ（Ｒ）、
撮像素子の垂直偏光領域画素（垂直ＰＬ画素＝左眼画素（Ｌ画素））の受光信号をＰＬ（Ｌ）、
撮像素子の非偏光領域画素（Ｎ画素）の受光信号をＮ、
とすると、以下の関係式が成り立つ。
Ｎ＝ＰＬ（Ｒ）＋ＰＬ（Ｌ）・・・・・（式１）

本実施例における第２偏光部１５の構成について、図１６、図１７を参照して説明する。
なお、本実施例においても、撮像装置の全体構成は、図１に示す構成となる。
ただし、第２偏光部１５の構成と、画像処理部１７の構成と処理が異なる。
図１６は、本実施例における撮像装置の第２偏光部１５の構成を示している。

第２偏光部１５は、図１６に示すように、
水平偏光領域１５Ｈ、
全透過（非偏光）領域１５Ａ、
これらの２つの領域を縦方向に繰り返し配置した構成を有する。

図１７は、第２偏光部１５と、第２偏光部１５の透過光を受光する撮像素子１６を重ねた図である。撮像素子１６は、ＲＧＢ配列（ベイヤー配列）を有する撮像素子を例として示している。

図１７に示す構成例は、
第２偏光部１５に設定される水平偏光領域１５Ｈは、撮像素子の２ライン単位で設定され、全透過（非偏光）領域１５Ａは１０ライン単位で設定した例である。すなわち、
（ａ）２ラインの水平偏光領域１５Ｈ、
（ｂ）１２ラインの全透過（非偏光）領域１５Ｖ、
これら（ａ）〜（ｂ）の２種類の領域が、撮像素子１６の縦方向（Ｙ方向）に繰り返し設定される。

水平偏光領域１５Ｈは、水平方向の偏波光、すなわち、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）のみを選択的に透過して撮像素子１６に右眼画像（Ｒ画像）を結像させる。
全透過（非偏光）領域１５Ａは、図１（Ｂ）に示す水平偏光領域１２Ｈを透過した右眼画像に相当するＲ画像（水平偏波光）と、図１（Ｂ）に示す垂直偏光領域１２Ｖを透過した左眼画像に相当するＬ画像（垂直偏波光）との両画像を透過させる。この画像は、図１（Ｂ）に示す重心点３１と重心点３２の中心位置である中心点３３から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常画像と同様の画像となる。

この構成では、図２や図４を参照して説明した構成にあった垂直偏光領域１５Ｖが設けられていない。
すなわち、図１７に示す例では、水平２ライン分の水平偏光領域１５Ｈにのみ水平方向のワイヤグリッド偏光子が配置されている。水平方向のワイヤグリッドの場合、ワイヤ長は最大でイメージセンサの水平サイズまで延長することが可能であり、偏光分離特性を向上させることが可能である。

図１に示す撮像装置１０において、図１６、図１７を参照して説明した偏光領域が設定された第２偏光部１５を利用して撮像した場合、撮像素子１６には以下のような画像が各領域に撮り込まれる。
水平偏光領域１５Ｈ＝図１（Ｂ）に示す水平偏光領域１２Ｈを透過した重心点３２を視点とした右眼画像に相当するＲ画像（水平偏波光）。
全透過（非偏光）領域１５Ａ＝図１（Ｂ）に示す水平偏光領域１２Ｈと垂直偏光領域１２Ｖを透過した中心点３３から見た画像。

すなわち、
撮像素子の水平偏光領域画素（水平ＰＬ画素＝右眼画素（Ｒ画素））の受光信号をＰＬ（Ｒ）、
撮像素子の非偏光領域画素（Ｎ画素）の受光信号をＮ、
とし、
撮像素子によって受光されていない、垂直偏光領域画素（垂直ＰＬ画素＝左眼画素（Ｌ画素））の受光信号をＰＬ（Ｌ）、
とすると、以下の関係式が成り立つ。
ＰＬ（Ｌ）＝Ｎ−ＰＬ（Ｒ）・・・・・（式２）

すなわち、上記（式２）のように、左眼画像信号は、非偏光領域画素（Ｎ画素）の画像信号と右眼画像信号（ＰＬ（Ｒ））から求めることができる。

本実施例の撮像装置では図１に示す撮像装置１００の画像処理部１７において、上記関係式に従って、左眼画像信号を、非偏光領域画素（Ｎ画素）の画像信号と右眼画像信号（ＰＬ（Ｒ））から算出して、この算出信号に基づいて視差情報としてのデプスマップを生成する。

本実施例に係る撮像装置の全体構成は図１（Ａ）に示すと同様の構成である。
ただし、第２偏光部１５の構成と画像処理部１７の構成と処理が異なる。
第２偏光部１５は、図１６、図１７を参照して説明したように、垂直方向のワイヤグリッド偏光子を有さず、
水平方向のワイヤグリッド偏光子を、ｓ行（図１７ではｓ＝２）を一単位として配置した偏光領域（ＰＬ画素領域）と、
非偏光領域画素（Ｎ画素）をｔ行（図１７ではｔ＝１０）を一単位として配置した非偏光領域（Ｎ画素領域）、
これらを撮像素子の縦方向に繰り返し配置した構成である。
このような構成とすることで偏光特性を悪化させることなく、また非偏光領域画素（Ｎ画素）の十分な画素数確保を実現している。

撮像素子１６には、以下の２つの画像が各領域で取得される。
ワイヤグリッド偏光子が配置された偏光領域（ＰＬ画素領域）画素では、図１（Ｂ）に示す第１偏光手段１２の右側の水平偏光領域１２Ｈを透過する重心点３２を視点とした右眼画像を取得する。
一方、ワイヤグリッド偏光子が配置されない画素である非偏光領域（Ｎ画素領域）画素では、図１（Ｂ）に示す第１偏光手段１２の左側の垂直偏光領域１２Ｖと右側の水平偏光領域１２Ｈの両方を透過する中心点３３を視点とした通常画像を取得する。

つまり、撮像素子１６において、第２偏光部１５のワイヤグリッド偏光子が配置された偏光領域（ＰＬ画素領域）画素は図１（Ｂ）に示す重心点３２を視点とした右眼画像を取得し、
ワイヤグリッド偏光子が配置されない非偏光領域（Ｎ画素領域）画素は、図１（Ｂ）に示す中心点３３を視点とした通常画像を取得する。

図１８は、本実施例の画像処理部１７の構成を示す図である。
撮像素子１６は、図１６〜図１７を参照して説明したように、
（ａ）水平偏光領域、
（ｂ）全透過（非偏光）領域、
これらの２種類の領域に区分され、それぞれの領域対応の信号を画像処理部１７に入力する。

水平偏光領域に対応する撮像素子１６の画素には、図１（Ｂ）の第１偏光部１２の重心点３２を視点とした右眼画像が撮り込まれる。
全透過（非偏光）領域に対応する撮像素子１６の画素には、図１（Ｂ）の第１偏光部１２の中心点３３を視点とした通常画像が撮り込まれる。
なお、水平偏光領域に対応する撮像素子１６の画素をＰＬ（Ｒ）画素と呼ぶ。
非偏光領域画素（Ｎ画素）に対応する撮像素子１６の画素をＮ画素と呼ぶ。

図１８に示す撮像素子１６から出力される画素信号は、画像処理部１７の偏光画素分離部１０１において、
偏光領域画素（ＰＬ（Ｒ）画素）と、非偏光領域画素（Ｎ画素）の各出力の分離処理が実行される。

偏光画素分離部１０１の分離処理によって分離されたＮ画素信号（非偏光画素信号）１２１は、非偏光画素補間処理部１０２に入力される。
非偏光画素補間処理部１０２は、Ｎ画素信号（非偏光画素信号）１２１から欠落した画素領域、すなわち、ＰＬ（Ｒ）画素領域の画素についての画素補間処理を実行する。具体的には、例えば、ＰＬ（Ｒ）画素領域の画素値を、上下のＮ画素の画素値を参照して算出して設定する補間処理を実行する。

この画素補間処理によって、画素値の欠落している全てのＰＬ（Ｒ）画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像（２Ｄ−Ｒａｗ画像）１２２を生成する。画素補間処理としては、色毎に線形補間処理を行う方法や、色信号から生成した輝度の勾配に応じて補間方向を選択する方向選択型の補間処理を行う方法などを用いることが可能である。
なお、Ｒａｗ画像は各画素にＲＧＢのいずれかの画素値の設定された画像である。

非偏光画素補間処理部１０２の生成する補間画像（２Ｄ−Ｒａｗ画像）１２２は、撮像素子１６の構成画素の全ての画素にＮ画素信号（非偏光画素信号）が設定された画像となる。この画像は、図１（Ｂ）に示す第１偏光部１２の中心点３３から観察した画像に相当する１枚の２Ｄ（２次元）Ｒａｗ画像である。

非偏光画素補間処理部１０２の生成した補間画像（２Ｄ−Ｒａｗ画像）１２２は、デモザイク処理部１０３に入力される。
デモザイク処理部１０３は、補間画像（２Ｄ−Ｒａｗ画像）１２２に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の２次元画像に変換する。
デモザイク処理は、全ての画素位置に全ての色信号、例えばＲＧＢの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。
デモザイク処理部１０３の生成した２Ｄ−ＲＧＢ画像１２３は、視差画像生成部１０７に入力される。

なお、Ｎ画素信号（非偏光画素信号）に基づいて生成される２Ｄ画像である２Ｄ−ＲＧＢ画像１２３を構成する画素のＲＧＢ画素値を（Ｒ０，Ｂ０，Ｇ０）と表記する。

一方、偏光画素分離部１０１の分離処理によって生成されるもう１つの分離信号であるＰＬ（Ｒ）画素信号（偏光画素信号）１２５は、非偏光領域画素（Ｎ画素）の画素値を持たない、偏光領域画素（ＰＬ（Ｒ）画素）の画素値のみからなる画像信号となる。
このＰＬ（Ｒ）画素信号（偏光画素信号）１２５は、視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５に入力される。

視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、さらに、偏光画素分離部１０１の生成したもう１つの分離信号であるＮ画素信号（非偏光画素信号）１２１も入力する。
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、ＰＬ（Ｒ）画素信号（偏光画素信号）１２５の輝度を調整し、Ｎ画素信号（非偏光画素信号）の輝度に合わせるゲイン調整処理を実行する。すなわち、ＰＬ（Ｒ）画素が、通常Ｎ画素とほぼ同一の平均および分布（標準偏差）となるように設定する。

図１９（Ａ）に示すように、撮像素子のＰＬ（Ｒ）画素は、図１（Ｂ）に示す第１偏光部１２の水平偏光領域１２Ｈの半円領域の透過信号であり、一方、撮像素子のＮ画素は、第１偏光部１２の全体（円領域）の透過信号である。
従って、図１９（Ｂ）に示すように、撮像素子のＰＬ（Ｒ）画素とＮ画素とでは平均的な輝度レベルが異なる画像となる。

視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、ワイヤグリッド偏光子が配置されたＰＬ（Ｒ）画素の輝度レベルを調整し、例えば通常Ｎ画素の輝度レベルとほぼ同一の平均輝度および分布（標準偏差）を持つ調整処理を行う。この調整結果としてゲイン調整右眼画像１２６を生成して視差検出部１０６と、視差検出用左眼画像生成部１０４に出力する。
ゲイン処理の詳細例については後段で説明する。
なお、ワイヤグリッド偏光子が配置されたＰＬ（Ｒ）画素のゲイン処理後のゲイン調整右眼画像１２６の画素値を（Ｒ１，Ｇ１，Ｂ１）と表記する。

視差検出用左眼画像生成部１０４は、
非偏光画素補間処理部１０２の生成した補間画像（２Ｄ−Ｒａｗ画像）１２２と、
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成したゲイン調整右眼画像１２６、
これらを入力する。
非偏光画素補間処理部１０２の生成した補間画像（２Ｄ−Ｒａｗ画像）１２２の画素値を（Ｒ０，Ｇ０，Ｂ０）、
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成したゲイン調整右眼画像１２６の画素値を（Ｒ１，Ｇ１，Ｂ１）、
とする。

視差検出用左眼画像生成部１０４は、先に説明した（式２）、すなわち、
ＰＬ（Ｌ）＝Ｎ−ＰＬ（Ｒ）・・・・・（式２）
ただし、
撮像素子の水平偏光領域画素（水平ＰＬ画素＝右眼画素（Ｒ画素））の受光信号をＰＬ（Ｒ）、
撮像素子の非偏光領域画素（Ｎ画素）の受光信号をＮ、
撮像素子によって受光されていない、垂直偏光領域画素（垂直ＰＬ画素＝左眼画素（Ｌ画素））の受光信号をＰＬ（Ｌ）、
である。

上記（式２）に従って、非偏光画素補間処理部１０２の生成した補間画像（２Ｄ−Ｒａｗ画像）１２２の画素値（Ｒ０，Ｇ０，Ｂ０）と、
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成したゲイン調整右眼画像１２６の画素値（Ｒ１，Ｇ１，Ｂ１）とから、
左眼画像の画素値（Ｒ２，Ｇ２，Ｂ２）を算出する。
例えば、左眼画像の画素値（Ｒ２）を以下の（式３）に従って算出する。
Ｒ２＝２×Ｒ０−Ｒ１・・・・・（式３）

なお、上記（式３）において、
２を乗算しているのは、
ゲイン調整右眼画像１２６の画素値（Ｒ１）は、ゲイン調整後の輝度であり、先に説明した図１９を参照して説明したゲイン調整により、半円領域からほぼ円領域の受光に相当する輝度レベルの調整が行われ、輝度レベルがほぼ２倍に調整されているためである。

非偏光画素補間処理部１０２の生成した補間画像（２Ｄ−Ｒａｗ画像）１２２の輝度（Ｒ０）を２倍して、ゲイン調整右眼画像１２６の画素値（Ｒ１）を減算することで、同様のゲイン調整された左眼画像の画素値（Ｒ２）を算出することが可能となる。

他の色成分についても同様の減算処理を行い、左眼画像の画素値（Ｒ２，Ｇ２，Ｂ２）を算出する。

図２０を参照して視差検出用左眼画像生成部１０４の実行する処理の具体例について説明する。
図２０には、
非偏光画素補間処理部１０２の生成する補間画像（２Ｄ−Ｒａｗ画像）１２２
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成するゲイン調整右眼画像１２６、
これらを示している。

視差検出用左眼画像生成部１０４は、これらの画像データを入力して、
対応する画素位置、すなわち、水平偏光領域１５Ｈに設定されたＲＧＢ画素値を用いて、上記（式３）に従って、左眼画像１２７の画素値（Ｒ２，Ｇ２，Ｂ２）を算出する。
なお、図から明らかなように、
左眼画像１２７の画素値（Ｒ２，Ｇ２，Ｂ２）の算出対象となる画素領域は、視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成するゲイン調整右眼画像１２６に含まれる画素領域であり、水平偏光領域１５Ｈの画素のみである。

視差検出用左眼画像生成部１０４は、上記（式３）等に従い、
補間画像（２Ｄ−Ｒａｗ画像）１２２の画素値（Ｒ０，Ｇ０，Ｂ０）から、対応位置のゲイン調整右眼画像１２６の画素値（Ｒ１，Ｇ１，Ｂ１）を減算して、左眼画像１２７の画素値（Ｒ２，Ｇ２，Ｂ２）を算出する。

視差検出用左眼画像生成部１０４の生成した左眼画像１２７は、視差検出部１０６に入力される。
視差検出部１０６は、
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成したゲイン調整右眼画像１２６と、
視差検出用左眼画像生成部１０４の生成した左眼画像１２７、
これらの２つの異なる視点画像を入力する。

視差検出部１０６は、
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成したゲイン調整右眼画像１２６と、
視差検出用左眼画像生成部１０４の生成した左眼画像１２７、
これらの２つの異なる視点画像に対して、例えばブロックマッチング処理等を用いて、対応する画素を求めることにより視差情報としての被写体距離を検出する。
すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。

視差検出部１０６は、例えば各画素対応の被写体距離情報を持つデフスマップ１２８を生成して出力する。
なお、デプスマップ１２８は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。
具体的には、例えば、
被写体距離が小（カメラに近い）の領域は高輝度、
被写体距離が大（カメラから遠い）の領域は低輝度、
視差検出部１０６は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部１０７に出力する。

なお、
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の生成したゲイン調整右眼画像１２６と、
視差検出用左眼画像生成部１０４の生成した左眼画像１２７、
これらの画像は、図２０に示すように、入力画像中のＮ画素（非偏光画素）領域については、画像信号を有していないが、視差検出部１０６は、ゲイン調整右眼画像１２６に基づいてＮ画素領域に右眼画像の補間画素値を設定した右眼画像と、視差検出用左眼画像生成部１０４の生成した左眼画像１２７に基づいてＮ画素領域に左眼画像の補間画素値を設定した左眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。
なお、画素値補間処理には、例えば線形補間処理等が利用可能である。
あるいは、本構成例においても、先に図７、図８を参照して説明した処理にしたがってデプスマップを生成してもよい。すなわち、視差検出部１０６は、先に図８を参照して説明したように偏光領域における距離情報（デプス情報）を非偏光領域に展開することで、全画素領域の距離情報（デプス情報）を持つデプスマップ１２８を生成する構成としてもよい。

このように、視差検出部１０６は、２つの画像（右眼画像と左眼画像）から、それぞれの画像の対応する位置の水平方向のずれ量を検出し、デプスマップ１２８を出力する。なお、画像の対応位置の検出は、当該画素を含むブロックの差分絶対値和を最小にするブロックマッチング法や、生成画像１と生成画像２の同一ライン間のマッチングを最適化する動的計画法などの方法を用いる。

視差画像生成部１０７は、デモザイク処理部１０３から出力される２次元画像である２Ｄ−ＲＧＢ画像１２３と、視差検出部１０６から出力される視差情報としてのデプスマップ１２８を用いて、左眼画像（Ｌ画像）１５１と、右眼画像（Ｒ画像）１５２の２枚の画像を生成する。

すなわち、２Ｄ−ＲＧＢ画像１２３に対して、視差情報としてのデプスマップ１２８に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像（Ｌ画像）１５１と、右眼画像（Ｒ画像）１５２を生成して出力する。
なお、この視差画像生成部１０７において実行する画像変換処理は、１枚の２次元画像（２Ｄ画像）に基づく画像変換により３次元画像表示に適用可能な左眼画像（Ｌ画像）１５１と、右眼画像（Ｒ画像）１５２を生成して出力する処理であり、先に図５を参照して説明した画像処理部１７における視差画像生成部５６と同様の２Ｄ３Ｄ変換処理を実行する。
例えば、図９〜図１５を参照して説明した２Ｄ３Ｄ変換処理が適用可能である。なお、その他の既存の２Ｄ３Ｄ変換処理を行ってもよい。

視差画像生成部１０７の生成した３Ｄ画像表示に適用可能な左眼画像（Ｌ画像）１５１と、右眼画像（Ｒ画像）１５２画像は画像出力部１０８を介して出力される。

このように、本実施例では、撮像素子１６上に配置されたワイヤグリッド偏光子によって取得される右眼用画像と、ワイヤグリッド偏光子が配置されない通常Ｎ画像との減算処理により生成される左眼用画像を用いて視差を検出することでデプスマップを生成する。

この実施例２の構成では、図１に示す撮像装置における第２偏光部１５に、垂直方向のワイヤグリッド偏光子を配置せず、水平方向のワイヤグリッド偏光子を配置した偏光領域（ＰＬ画素領域）と非偏光領域画素（Ｎ画素）のみを有する構成である。このような構成とすることで偏光特性を悪化させることなく、また非偏光領域画素（Ｎ画素）の十分な画素数確保が実現される。

なお、上述の実施例では、図１他を参照して説明した第１偏光部１２が、水平偏光領域を右側に設定し、垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。
また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる２つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。
なお、第２偏光部１５は、第１偏光部１２の偏光領域の設定に対応させて、第１偏光部１２に設定した偏光領域の１つの偏光部と同じ偏光領域を設定することが必要である。

次に、図１８に示す画像処理部１７の視差検出用右眼画像生成部１０５において実行するゲイン処理の詳細について図２１以下を参照して説明する。
前述したように、視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、ＰＬ（Ｒ）画素信号（偏光画素信号）１２５の輝度を、Ｎ画素信号（非偏光画素信号）の輝度レベルに合わせるゲイン調整処理を実行する。
撮像素子のＰＬ（Ｒ）画素は、図１（Ｂ）に示す第１偏光部１２の水平偏光領域１２Ｈの半円領域の透過信号であり、一方、撮像素子のＮ画素は、第１偏光部１２の全体（円領域）の透過信号である。
従って、図１９に示すように、撮像素子のＰＬ（Ｒ）画素はＮ画素に比較して輝度レベルが半分になるが、第１偏光部、および第２偏光部の特性などにより、必ずしも半分の輝度レベルになっていない。この輝度バラツキを補正するためにゲイン調整処理を実行する。

視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、ワイヤグリッド偏光子が配置されたＰＬ（Ｒ）画素の例えば平均輝度レベルを、通常Ｎ画素の平均輝度レベルとほぼ同一になるようにゲイン処理を行い、ゲイン調整右眼画像１２６を生成して視差検出部１０６と、視差検出用左眼画像生成部１０４に出力する。

図２１、図２２を参照して、視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の実行する調整処理の処理例１について説明する。
処理例１は、Ｎ画素とＰＬ画素に対して、色毎の画像全体の平均と標準偏差を求め、通常Ｎ画素の各色の平均、標準偏差と、ＰＬ画素の各色の平均、標準偏差が同じになるように正規化を行う。この処理によって、ワイヤグリッド偏光子が配置されたＰＬ（Ｒ）画素が、通常Ｎ画素とほぼ同一の平均および分布（標準偏差）となるように設定する。

具体的には、図２１に示すように、非偏光画素（Ｎ画素）と、偏光画素（ＰＬ画素）について、色ごと［Ｇ，Ｂ，Ｒ］の３種、または、Ｇ画素を、Ｒ画素の隣接、もしくは、Ｂ画素の隣接で区別した、［Ｇｒ，Ｇｂ，Ｂ，Ｒ］の４種、これらの各画素について、画像全体の平均と標準偏差を求める。

例えば、［Ｇｒ，Ｇｂ，Ｂ，Ｒ］の４種についての処理では、
まず、非偏光画素（Ｎ画素）の各色［Ｇｒ，Ｇｂ，Ｂ，Ｒ］、すなわち、
ＮＧｒ、ＮＧｂ、ＮＢ、ＮＲ
それぞれの平均と標準偏差を求める。
同様に、偏光画素（ＰＬ（Ｒ）画素）の各色［Ｇｒ，Ｇｂ，Ｂ，Ｒ］、すなわち、
ＰＬ（Ｒ）Ｇｒ、ＰＬ（Ｒ）Ｇｂ、ＰＬ（Ｒ）Ｂ、ＰＬ（Ｒ）Ｒ、
これらの平均と標準偏差を求める。

さらに、
ＰＬ（Ｒ）ＧｒとＮＧｒ、
ＰＬ（Ｒ）ＧｂとＮＧｂ、
ＰＬ（Ｒ）ＢとＮＢ、
ＰＬ（Ｒ）ＲとＮＲ、
これらの各対応間で、平均と標準偏差が同じになるように正規化する。

図２２は、各色の平均、標準偏差の正規化処理の具体例を示す図である。
図２２（ａ）は、例えば、
非偏光画素（Ｎ画素）の１つの色、例えば、ＮＧｒ画素の平均と標準偏差の非偏光画素（Ｎ画素）実測データ２０１、
偏光画素（ＰＬ（Ｒ）画素）の対応色であるＰＬ（Ｒ）Ｇｒ画素の平均と標準偏差の偏光画素実測データ２０２、
これらの対比データを示している。

視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、図２２（ａ）に示す偏光画素実測データ２０２の平均と標準偏差を、非偏光画素（Ｎ画素）実測データ２０１に合わせる処理を行う。すなわち、図２２（ｂ）に示すように、まず、ＰＬ（Ｒ）画素の輝度平均をオフセット１として、オフセット１を減算する処理を行う。オフセット１の大きさをＦ１とすると、オフセット１減算後のＰＬ画素の輝度Ｉ_ＰＬ１は、次式で表わされる。ここで、Ｉ_ＰＬはＰＬ画素の輝度値とする。
Ｉ_ＰＬ１＝Ｉ_ＰＬ−Ｆ１

次に、ＰＬ（Ｒ）画素の輝度の標準偏差とＮ画素の輝度の標準偏差を合わせるためにゲイン値による乗算を行う。ここで、ゲイン値をＥとすると、ゲイン調整後のＰＬ画素の輝度Ｉ_ＰＬ２は、次式で表わされる。
Ｉ_ＰＬ２＝Ｉ_ＰＬ１×Ｅ
続いて、ＰＬ（Ｒ）画素の輝度平均をＮ画素の輝度平均に合わせるために、Ｎ画素の輝度平均であるオフセット２を加算する処理を行う。オフセット２の大きさをＦ２とすると、オフセット２加算後のＰＬ画素の輝度Ｉ_ＰＬ３は、次式で表わされる。
Ｉ_ＰＬ３＝Ｉ_ＰＬ２＋Ｆ２

視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、例えばこの処理例１に従った処理を実行して、ワイヤグリッド偏光子が配置されたＰＬ（Ｒ）画素の輝度を、通常Ｎ画素の輝度とほぼ同一の平均および分布（標準偏差）となるように設定する。

次に、図２３を参照して視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５の実行する処理の別の処理例である処理例２について説明する。

処理例２は、以下の処理によって、ワイヤグリッド偏光子が配置されたＰＬ（Ｒ）画素の画素値（輝度）を調整する。
視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、偏光画素（ＰＬ（Ｒ）画素）から処理対象とする画素を１つずつ選択して処理を行う。
一例として、図２３に示す水平偏光領域１５Ｈ内の１つの画素（Ｒ２４）を処理対象とした場合の例について説明する。

まず、非偏光領域から、処理対象画素（Ｒ２４）の近接同色画素を選択する。すなわち、処理対象画素（Ｒ２４）に最も近い同じ色成分（Ｒ）に該当する非偏光領域画素（Ｎ画素）を選択する。
本例では、図２３に示すＲ０４、およびＲ４４が選択される。

次に、選択した近接同色画素Ｒ０４，Ｒ４４との輝度比率（Ｅ０４、およびＥ４４）を次式にて算出する。
Ｅ＝Ｉ_Ｎ／Ｉ_ＰＬ・・・・・（式４）
上記（式４）において、
Ｉ_ＮはＮ画素の輝度値、
Ｉ_ＰＬはＰＬ画素の輝度値、
を表わしている。

例えば、処理対象画素（Ｒ２４）の輝度値Ｒ２４、Ｒ０４の輝度値をＲ０４、Ｒ４４の輝度値をＲ４４とした場合、
Ｅ０４＝Ｒ０４／Ｒ２４
Ｅ４４＝Ｒ４４／Ｒ２４
これらの輝度比率を算出する。

以下、同様にして、周囲の隣接する同じ色成分同士の比率を計算する。例えば、
Ｒ２０とＲ００の比率Ｅ００、
Ｒ２０とＲ４０の比率Ｅ４０、
Ｒ２２とＲ０２の比率Ｅ０２、
Ｒ２２とＲ４２の比率Ｅ４２、
Ｒ２６とＲ０６の比率Ｅ０６、
Ｒ２６とＲ４６の比率Ｅ４６、
これらの６つの比率を算出する。これに加え前記の２つの比率Ｅ０４、Ｅ４４を加えた８つの比率に対して、中央値の計算を行う。
この中央値をゲイン値Ｅとして決定する。

この処理例２によるゲイン処理後のＰＬ画素の輝度Ｉ_ＰＬ３は、次式で表わされる。
Ｉ_ＰＬ３＝Ｉ_ＰＬ×Ｅ・・・・・（式５）
ただし、
Ｉ_ＰＬ：ゲイン処理前のＰＬ画素の輝度
Ｉ_ＰＬ３：ゲイン処理後のＰＬ画素の輝度
である。

視差検出用右眼画像生成部（偏光画素ゲイン調整部）１０５は、偏光画素（ＰＬ（Ｒ）画素）から処理対象とする画素を１つずつ選択して、上記（式５）に従って、すべての、偏光画素（ＰＬ（Ｒ）画素）の輝度を調整する。

なお、上述した処理例では、例えば処理対象画素Ｒ２４の輝度を調整するために参照する画素として、図２３に示すように７×５画素の参照領域３０１を設定した例を説明した。すなわち、参照領域３０１に含まれる４つのＰＬ画素と、８つのＮ画素との輝度比率を算出して、ゲインＥを求める処理例を説明したが、この参照領域の設定例は一例であり、さらに広い参照領域や狭い参照領域を設定する構成としてもよい。

このように、処理例２においては、偏光画素（ＰＬ（Ｒ）画素）から処理対象とする画素を１つずつ選択して、参照領域に含まれる同一色の偏光画素（ＰＬ（Ｒ）画素）と、非偏光画素（Ｎ画素）の画素間の輝度比率を算出し、その中間値をゲインＥとして、上記（式５）に従って、すべての、偏光画素（ＰＬ（Ｒ）画素）の輝度を調整する。
この処理結果を図１８に示すゲイン調整右眼画像１２６として視差検出部１０６に出力する。

［４．右眼画像と通常画像から視差検出を行い、デプスマップを生成する実施例について（実施例３）］
次に、上述した実施例２の画像処理装置の変形例として、右眼画像と通常画像から、左眼画像を生成せず、右眼画像と通常画像から視差検出を行い、デプスマップを生成する実施例について説明する。
本実施例３における全体構成は、図１（Ａ）に示す撮像装置と同様の構成であり、第２偏光部１５と撮像素子１６は、上述の実施例２で説明した図１６、図１７に示す構成であり、水平偏光領域画素（ＰＬ（Ｒ）画素）と、非偏光領域画素（Ｎ画素）の繰り返し構成を持つ。

上述の実施例２と異なる点は、画像処理部１７の構成である。図２４に本実施例に係る画像処理部１７の構成例を示す。
図２４に示す画像処理部１７と、先の実施例２において説明した図１８に示す画像処理部１７との差異は、図２４に示す画像処理部１７には、図１８に示す視差検出用左眼画像生成部１０４がないことである。
本実施例３においては、視差検出部１０６に、視差検出用右眼画像生成部１０５において生成したゲイン調整右眼画像１２６と、非偏光画素補間処理部１０２の生成した補間画像［２Ｄ−Ｒａｗ画像］１２２を入力してこれらの２つの画像に基づいて視差検出を実行してデプスマップ１２８を生成する。
その他の構成と処理は、前述の実施例２と同様である。

この第３の実施例における視差検出部１０６は、視差検出用右眼画像生成部１０５において生成したゲイン調整右眼画像１２６と、非偏光画素補間処理部１０２の生成した補間画像［２Ｄ−Ｒａｗ画像］１２２から、それぞれの画像の対応する画素位置の水平方向のずれ量を検出し、デプスマップとして出力する。画像の対応位置の検出は、当該画素を含むブロックの差分絶対値和を最小にするブロックマッチング法や、各画像の同一ライン間のマッチングを最適化する動的計画法などの方法を用いる。

この実施例３では、右眼画像であるゲイン調整右眼画像１２６と、通常画像である補間画像［２Ｄ−Ｒａｗ画像］１２２から、左眼画像を生成せずに直接的に視差検出を行いデプスマップを生成する。前述のとおり、通常画像は右眼画像と左眼画像を加算した画像であり、右眼画像と通常画像の間の視差は、右眼画像と左眼画像の視差の半分に相当する。
従って、視差検出部１０６は、右眼画像であるゲイン調整右眼画像１２６と、通常画像である補間画像［２Ｄ−Ｒａｗ画像］１２２から検出される視差の大きさを２倍に拡大してデプスマップ１２８として出力する。

この視差検出部１０６の処理以外の処理は、前述の実施例２と同様である。
この実施例３では、視差検出用の左眼画像の生成処理を省略可能であり、画像処理部の構成と処理が簡略化されるメリットがある。

［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみを透過させる第３偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
前記第２偏光手段の透過光を入力する撮像素子と、
前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像と、前記第２偏光手段の前記第３偏光領域の透過光に基づく第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。

（２）前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像は、前記第１偏光手段の中心位置を視点とした通常画像であり、前記第２偏光手段の前記第３偏光領域の透過光に基づく第２視点画像は、記第１偏光手段の前記第１偏光領域または前記第２偏光領域のいずれか一方の重心位置を視点とした右眼用画像または左眼用画像であり、前記画像処理部は、前記第１視点画像である前記通常画像と、前記第２視点画像である右眼用画像または左眼用画像のいずれかの視点画像を適用して、前記第２視点画像と異なる第３視点画像としての左眼用画像または右眼用画像を生成し、
前記第２視点画像と前記第３視点画像を適用して前記視差情報を生成する。

（３）前記画像処理部は、前記第１視点画像である前記通常画像の画素値から、前記第２視点画像である右眼用画像または左眼用画像の画素値を減算する処理により、前記第２視点画像と異なる第３視点画像としての左眼用画像または右眼用画像を生成する前記（１）または（２）に記載の画像処理装置。
（４）前記画像処理部の生成する視差情報は、画像の被写体距離情報を反映したデプスマップであり、前記画像処理部は、デプスマップを適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する前記（１）〜（３）いずれかに記載の画像処理装置。

（５）前記第２偏光手段の第３偏光領域と全透過領域は、撮像素子平面の一方向である第１方向に複数画素単位で繰り返し設定された構成である前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記第２偏光手段の第３偏光領域は、ワイヤグリッド偏光子によって構成され、前記撮像素子の前記第１方向に直角な第２方向に延びるワイヤを有する構成である前記（１）〜（５）いずれかに記載の画像処理装置。

（７）前記画像処理部は、前記第２偏光手段の前記第３偏光領域の透過光に基づく前記第２視点画像である右眼用画像または左眼用画像のいずれかの視点画像の輝度レベルを、前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像の輝度レベルに合わせる輝度調整を実行し、該輝度調整後の前記第２視点画像を適用して前記視差情報を生成する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画像処理部は、前記第２偏光手段の前記全透過領域に対応する撮像素子の画素位置からの撮像素子出力に基づく画像に含まれない前記第３偏光領域対応画素位置の画素値を補間する補間処理部と、前記補間処理部の生成した補間画像のデモザイク処理により各画素位置に各色の画素値を設定して前記第１視点画像を生成するデモザイク処理部と、前記デモザイク処理部の生成した前記第１視点画像に対して、前記視差情報を適用した画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する前記（１）〜（７）に記載の画像処理装置。

（９）前記画像処理部の実行する画像変換処理は、２次元（２Ｄ）画像である前記第１視点画像に対して前記視差情報を適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）前記画像処理部の実行する前記視差情報を適用した画像変換処理は、前記第１視点画像に対して被写体距離に応じた画像シフト処理を行うことで３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である前記（１）〜（９）いずれかに記載の画像処理装置。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、偏光性能の低下を発生させることなく複数の視点画像を取得して３次元画像表示用の画像を生成することが可能となる。
具体的には、異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、第１偏光領域または第２偏光領域のいずれか一方の透過光のみを透過させる第３偏光領域と、第１偏光領域と第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、第２偏光手段の透過光を入力する撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。画像処理部は、第２偏光手段の全透過領域の透過光に基づく第１視点画像と、第２偏光手段の第３偏光領域の透過光に基づく第２視点画像を適用して被写体距離を反映した視差情報を生成し、視差情報を適用した第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する。

本開示の一実施例の画像処理装置によれば、光学系の絞り面上を左右に分光するための偏光フィルタを配置し、ワイヤグリッド偏光子をイメージセンサ撮像面に配置することで画素毎に左右画像を取得するカメラ装置において、垂直方向のワイヤグリッド偏光子を不要とし、水平方向のワイヤグリッド偏光子のみを配置することにより、画素サイズの小さいイメージセンサでも高い偏光分離特性を実現することが可能となり、左右画像の間の視差分解能を維持することが可能となる。

１０ 撮像装置
１１ 撮影レンズ
１２ 第１偏光部
１３ 絞り
１４ 結像レンズ
１５ 第２偏光部
１６ 撮像素子
１７ 画像処理部
１８ 記憶部
５１ 偏光画素分離部
５２ 非偏光画素補間処理部
５３ デモザイク処理部
５４ 偏光画素補間処理部
５５ 視差検出部
５６ 視差画像生成部
５７ 画像出力部
６１ Ｎ画素信号（非偏光画素信号）
６２ 補間画像（２Ｄ−Ｒａｗ画像）
６３ ２Ｄ−ＲＧＢ画像
６５ ＰＬ画素信号（偏光画素信号）
６６ 左眼右眼画像信号
６７ デプスマップ
７１ 左眼画像（Ｌ画像）
７２ 右眼画像（Ｒ画像）
８１ 微分器
８２ ゲイン制御部
８３ 非線形変換部
８４ 画像合成部
９１ ゲイン係数算出部
９２ 乗算処理部
１０１ 偏光画素分離部
１０２ 非偏光画素補間処理部
１０３ デモザイク処理部
１０４ 視差検出用左眼画像生成部
１０５ 視差検出用右眼画像生成部
１０６ 視差検出部
１０７ 視差画像生成部
１０８ 画像出力部
１２１ Ｎ画素信号（非偏光画素信号）
１２２ 補間画像（２Ｄ−Ｒａｗ画像）
１２３ ２Ｄ−ＲＧＢ画像
１２５ ＰＬ（Ｒ）画素信号（偏光画素信号）
１２６ ゲイン調整右眼画像
１２７ 左眼画像
１２８ デプスマップ
１５１ 左眼画像（Ｌ画像）
１５２ 右眼画像（Ｒ画像）

Claims (14)

1. 各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
   前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみを透過させる第３偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
   前記第２偏光手段の透過光を入力する撮像素子と、
   前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
   前記画像処理部は、
   前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像と、前記第２偏光手段の前記第３偏光領域の透過光に基づく第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。
2. 前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像は、前記第１偏光手段の中心位置を視点とした通常画像であり、
   前記第２偏光手段の前記第３偏光領域の透過光に基づく第２視点画像は、記第１偏光手段の前記第１偏光領域または前記第２偏光領域のいずれか一方の重心位置を視点とした右眼用画像または左眼用画像であり、
   前記画像処理部は、
   前記第１視点画像である前記通常画像と、前記第２視点画像である右眼用画像または左眼用画像のいずれかの視点画像を適用して、前記第２視点画像と異なる第３視点画像としての左眼用画像または右眼用画像を生成し、
   前記第２視点画像と前記第３視点画像を適用して前記視差情報を生成する請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記第１視点画像である前記通常画像の画素値から、前記第２視点画像である右眼用画像または左眼用画像の画素値を減算する処理により、前記第２視点画像と異なる第３視点画像としての左眼用画像または右眼用画像を生成する請求項２に記載の画像処理装置。
4. 前記画像処理部の生成する視差情報は、画像の被写体距離情報を反映したデプスマップであり、
   前記画像処理部は、
   デプスマップを適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する請求項１に記載の画像処理装置。
5. 前記第２偏光手段の第３偏光領域と全透過領域は、撮像素子平面の一方向である第１方向に複数画素単位で繰り返し設定された構成である請求項１に記載の画像処理装置。
6. 前記第２偏光手段の第３偏光領域は、ワイヤグリッド偏光子によって構成され、前記撮像素子の前記第１方向に直角な第２方向に延びるワイヤを有する構成である請求項５に記載の画像処理装置。
7. 前記画像処理部は、
   前記第２偏光手段の前記第３偏光領域の透過光に基づく前記第２視点画像である右眼用画像または左眼用画像のいずれかの視点画像の輝度レベルを、
   前記第２偏光手段の前記全透過領域の透過光に基づく第１視点画像の輝度レベルに合わせる輝度調整を実行し、
   該輝度調整後の前記第２視点画像を適用して前記視差情報を生成する請求項１に記載の画像処理装置。
8. 前記画像処理部は、
   前記第２偏光手段の前記全透過領域に対応する撮像素子の画素位置からの撮像素子出力に基づく画像に含まれない前記第３偏光領域対応画素位置の画素値を補間する補間処理部と、
   前記補間処理部の生成した補間画像のデモザイク処理により各画素位置に各色の画素値を設定して前記第１視点画像を生成するデモザイク処理部と、
   前記デモザイク処理部の生成した前記第１視点画像に対して、前記視差情報を適用した画像変換処理を実行して３次元画像表示用の左眼用画像と右眼用画像を生成する請求項１に記載の画像処理装置。
9. 前記画像処理部の実行する画像変換処理は、
   ２次元（２Ｄ）画像である前記第１視点画像に対して前記視差情報を適用した画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である請求項１に記載の画像処理装置。
10. 前記画像処理部の実行する前記視差情報を適用した画像変換処理は、
    前記第１視点画像に対して被写体距離に応じた画像シフト処理を行うことで３次元画像表示用の左眼用画像と右眼用画像を生成する２Ｄ３Ｄ変換処理である請求項１に記載の画像処理装置。
11. 撮像手段の撮影画像に対する画像処理を実行する画像処理装置であり、
    前記撮像手段は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段の透過光に基づく画像を撮影する構成であり、
    前記画像処理装置は、
    前記第１偏光領域と前記第２偏光領域の全透過光からなる第１視点画像と、
    前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみからなる第２視点画像を入力し、
    前記第１視点画像と、前記第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。
12. 各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段と、
    前記第１偏光手段の透過光を入射する第２偏光手段であり、前記第１偏光領域の透過光のみを透過させる第３偏光領域と、前記第２偏光領域の透過光のみを透過させる第４偏光領域と、前記第１偏光領域と前記第２偏光領域の透過光を透過させる全透過領域からなる第２偏光手段と、
    前記第２偏光手段の透過光を入力する撮像素子と、
    前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、
    前記画像処理部は、
    前記第２偏光手段の前記第３偏光領域の透過光に基づく視点画像と、前記第４偏光領域の透過光に基づく視点画像とを適用して被写体距離を反映した視差情報を生成し、該視差情報を適用して、前記第２偏光手段の前記全透過領域の透過光に基づく視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。
13. 画像処理装置において、撮像手段の撮影画像に対する画像処理を実行する画像処理方法であり、
    前記撮像手段は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段の透過光に基づく画像を撮影する構成であり、
    前記画像処理方法は、
    画像処理部において、
    前記第１偏光領域と前記第２偏光領域の全透過光からなる第１視点画像と、
    前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみからなる第２視点画像を入力し、
    前記第１視点画像と、前記第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成する画像処理方法。
14. 画像処理装置において、撮像手段の撮影画像に対する画像処理を実行させるプログラムであり、
    前記撮像手段は、各々が異なる偏波光を透過させる第１偏光領域と第２偏光領域を有する第１偏光手段の透過光に基づく画像を撮影する構成であり、
    前記プログラムは、
    画像処理部に、
    前記第１偏光領域と前記第２偏光領域の全透過光からなる第１視点画像と、
    前記第１偏光領域または前記第２偏光領域のいずれか一方の透過光のみからなる第２視点画像を入力し、
    前記第１視点画像と、前記第２視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第１視点画像の画像変換処理により３次元画像表示用の左眼用画像と右眼用画像を生成させるプログラム。