JP5903670B2 - ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本願は、視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献１に開示されている。図１６は、この方式による撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。

以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルム２１に結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム２１上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色成分の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム２１上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。

特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１７は、この技術における光束制限板２２を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を、赤色光を検知するＲ画素、緑色光を検知するＧ画素、青色光を検知するＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。

また、特許文献３にも、図１７の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１８は、特許文献３に開示された光束制限板２３を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差を有する複数の画像を作ることができる。

特許文献４も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量を算出することができる。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。

特許文献５は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。

上記の特許文献１〜５に開示された技術によれば、光束制限板または絞りにＲＧＢ系統の色フィルタを配置することによって視差を有する複数の画像を生成することができる。しかしながら、ＲＧＢ系統の色フィルタを用いるため、入射光量は約１／３に減少する。また、取得する視差量を大きくするためには複数の色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、色フィルタの面積を小さくすると入射光量はさらに減少する。

以上の従来技術に対して、ＲＧＢの複数の色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献６に開示されている。この技術によれば、撮像素子は、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけを受け、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外れるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では複数視点画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。

特開平２−１７１７３７号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２０１０−３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３−１３４５３３号公報

森上雄太、高木健、石井抱：視点変換アイリスによる実時間単眼ステレオシステム、第２７回日本ロボット学会学術講演会講演論文集、３Ｒ２−０６、２００９．

特許文献１〜６に開示された技術によれば、光利用率の高い複数視点画像を得ることはできない。

本発明の実施形態は、従来よりも高い光利用率で複数視点画像を生成し得る３次元撮像技術を提供する。

上記課題を解決するために、本発明の一態様に係る３次元撮像装置は、光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタを有する光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置されたフィルタアレイを有し、前記光感知セルアレイおよび前記フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるＮ個の第２フィルタを含む撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、連続してＭ回（ＭはＮ以上の整数）の撮像を行うように前記光透過部を駆動する撮像駆動部であって、前記Ｎ種類の第１フィルタの各位置を、前記撮像素子に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように前記光透過部を駆動する撮像駆動部とを備える。

上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の一態様に係る３次元撮像装置によれば、従来よりも高い光利用率で複数視点画像を得ることができる。

例示的な実施形態１における全体構成を示すブロック図である。 例示的な実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図である。 例示的な実施形態１における透光板の色フィルタの配置を示す図である。 例示的な実施形態１における撮像素子の色フィルタの基本構成を示す図である。 例示的な実施形態１における透光板２に入射する光と透過する光とを説明するための模式図である。 例示的な実施形態１における透光板を回転させた例を示す図である。 例示的な実施形態１において透光板を回転させて撮影した３種類のカラー画像の例を示す図である。 例示的な実施形態１において撮影画像から求めた各透過領域を通過する成分の光による画像の例を示す図である。 例示的な実施形態１における透過領域に配置されたフィルタの位置および色成分と出力される信号との関係を示す表である。 例示的な実施形態１における方法で算出した視差を有する画像を示す図である。 例示的な実施形態２における透光板の例を示す図である。 例示的な実施形態２における撮像素子における色フィルタ配列の例を示す図である。 例示的な実施形態２における虹色パタンの透光板２の例を示す図である。 例示的な実施形態２におけるＮ＝７の場合の透光板２の例を示す図である。 例示的な他の実施形態におけるスライド板によって透過領域の分光透過率を変化させる構成の例を示す図である。 例示的な他の実施形態におけるスライド板によって透過領域の分光透過率を変化させる構成の他の例を示す図である。 例示的な他の実施形態における撮像からカラー複数視点画像生成までの手順を示すフロー図である。 特許文献１における撮像系の構成図である。 特許文献２における光束制限板の外観図である。 特許文献３における光束制限板の外観図である。

本発明の基礎となった知見は以下のとおりである。

特許文献１〜５に開示された技術によれば、複数視点画像を取得することはできるが、撮像素子における光の利用率を高くすることができない。その理由の１つは、原色（ＲＧＢ系統）の色フィルタが用いられることにある。一方、特許文献６に開示された技術によれば、機械的駆動によって色フィルタを光路から外す機構を用いることにより、光利用率の高い通常画像を取得することができる。しかし、この技術においても複数視点画像を取得する際には原色の色フィルタが用いられるため、光利用率の高い複数視点画像を得ることはできない。

また、有彩色の被写体を撮影する場合、被写体によって反射される光の波長域は偏りを持つため、全ての波長の光が等しく撮像装置に入射するわけではない。そのため、例えば、赤および青の色フィルタを用いて赤色の被写体を撮影する場合、被写体からの反射光は赤の色フィルタを通過するが、青の色フィルタを通過しないといった事態が生じる。その結果、従来の技術では、被写体が有彩色の場合に正しく複数視点画像が得られない可能性が生じる。

特許文献３には、有彩色の被写体を撮影する場合において、色の線型性を利用して距離情報を取得することにより、視差を有するカラー画像を生成する技術が開示されている。しかしながら、被写体が原色である場合や撮影シーンにテクスチャがない場合には、色線型性による距離情報の取得が困難である。

本願発明者らは、先行技術に関する以上の知見を見出し、本発明を完成させた。本発明の一態様によれば、従来よりも高い光利用率で複数視点画像を生成し得る。

本発明の実施形態の概要は以下のとおりである。

（１）本発明の一態様である３次元撮像装置は、光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタを有する光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置されたフィルタアレイを有し、前記光感知セルアレイおよび前記フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるＮ個の第２フィルタを含む撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、連続してＭ回（ＭはＮ以上の整数）の撮像を行うように前記光透過部を駆動する撮像駆動部であって、前記Ｎ種類の第１フィルタの各位置を、前記撮像素子に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように前記光透過部を駆動する撮像駆動部とを備えている。

（２）ある態様において、前記Ｎ種類の第１フィルタは、可視光に含まれる任意の波長の光が前記Ｎ種類の第１フィルタの少なくとも１種類を透過できるように設計されており、前記Ｎ種類の第１フィルタの少なくとも１種類は、原色の波長域よりも広い透過波長域を有している。

（３）項目（１）または（２）に記載の３次元撮像装置は、ある態様において、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する画像生成部を備えている。

（４）項目（３）に記載の３次元撮像装置のある態様において、前記画像生成部は、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する。

（５）項目（１）から（４）のいずれかに記載の３次元撮像装置のある態様において、前記Ｎ種類の第１フィルタのうちの３種類の透過波長域は、シアン、マゼンタ、黄、赤、青、緑のうちの３つの波長域にそれぞれ等しく設計されている。

（６）項目（１）から（５）のいずれかに記載の３次元撮像装置のある態様において、Ｎ＝３であり、前記Ｎ種類の第１フィルタの透過波長域は、シアン、マゼンタ、黄の波長域にそれぞれ等しく設計され、前記Ｎ個の第２フィルタの透過波長域は、赤、青、緑の波長域にそれぞれ等しく設計されている。

（７）項目（１）から（６）のいずれかに記載の３次元撮像装置のある態様において、前記光透過部における前記Ｎ種類の第１フィルタは、前記光透過部の中心からの距離が全て等しく、隣接する２つの第１フィルタ間の距離が等しくなるように配置されている。

（８）項目（１）から（７）のいずれかに記載の３次元撮像装置のある態様において、前記撮像駆動部は、前記光透過部の中心を軸として前記光透過部を回転させることにより、前記Ｎ種類の第１フィルタの各位置を、前記Ｎ個の位置上で、撮像ごとに変化させる。

（９）本発明の一態様である画像処理装置は、項目（１）から（８）のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理装置であって、前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する。

（１０）ある態様において、前記画像処理装置は、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する。

（１１）本発明の一態様である画像処理方法は、項目（１）から（８）のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理方法であって、前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを含む。

（１２）ある態様において、前記Ｎ個の複数視点画像を生成するステップは、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップとを含む。

（１３）本発明の一態様である画像処理プログラムは、本発明の実施形態による３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理プログラムであって、コンピュータに対し、前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを実行させる。

（１４）ある態様において、前記Ｎ個の複数視点画像を生成するステップは、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップとを含む。

以下、図面を参照しながら本発明の実施形態をより具体的に説明する。以下の説明において、共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。また、「上」、「左」、「右」等の位置を示す用語は、参照される図面に基づいて解釈されるものとする。実際の撮像装置の向きは常に変化し得るため、本明細書における位置を示す用語は、現実には撮像装置の向きに応じて様々な位置を意味し得る。

（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。なお、本実施形態における撮像装置は、静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。

撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板（光透過部）２と、撮像素子の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６と、透光板２を回転させる回転駆動部９とを備えている。本実施形態では、回転駆動部９が本発明における撮像駆動部の機能を有している。

撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。回転駆動部９は、透光板２を回転させるモータを有し、素子駆動部６と連動して透光板２を、その中心を軸として回転させる。

信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。

次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。

図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光の少なくとも一部を透過させる。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、本実施形態では、光は、透光板２の透過領域Ｃ１、Ｃ２、Ｃ３以外の領域は通過しないものとする。以下の説明においては、図２に示すｘｙ座標を用いる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３と透光板２とが一体となって構成されていてもよい。

図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、四角形や六角形等の他の形状であってもよい。領域Ｃ１には、シアン（Ｃｙ）の波長域（緑および青の波長域）の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域（赤および緑の波長域）の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。領域Ｃ３には、マゼンタ（Ｍｇ）の波長域（赤および青の波長域）の光を透過させる色フィルタ（Ｍｇフィルタ）が配置される。

なお、本実施形態における領域Ｃ１、Ｃ２、Ｃ３は、それぞれＣｙの波長域の光、Ｙｅの波長域の光、Ｍｇの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。例えば、特定の波長域の光を透過し、他の波長域の光を反射するダイクロイックミラー等で構成されていてもよい。ここで、領域Ｃ１、Ｃ２、Ｃ３は、透光板２の中心に対して回転対称になるように配置され、各々の中心が互いに距離Ｌだけ離れて配置されている。初期状態において、これらの領域間の距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ〜数ｃｍに設定され得る。

図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、後述するように複数の単位要素を有し、各単位要素は、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。

図４は、本実施形態における色フィルタアレイの一部を模式的に示す図である。図示されるように、撮像面１ａ上には多数の色フィルタ１１０が行列状に配列されている。近接する４つの色フィルタ１１０およびそれらに対向する４つの光感知セル１２０が１つの単位要素４０を構成している。各単位要素４０において、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青（Ｂ）の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。例えば、図４に示す画素配列を、紙面垂直方向を軸方向として４５度回転させた斜交型の配列であってもよい。また、１つの単位要素に含まれる光感知セル１２０の数は４つに限らず、透光板２の光透過部の数（本実施形態では３つ）以上であればよい。

以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタ１１０を通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて視差を有する複数のカラー画像を生成する。

図５は、透光板２に入射する光と透光板２を透過する光との関係を模式的に示す図である。３つの透過領域Ｃ１、Ｃ２、Ｃ３における各色フィルタ、および単位要素４０に含まれる各色フィルタ１１０が全て透明であると仮定したとき、１つの単位要素４０に含まれる個々の光感知セル１２０には、赤成分の光Ｒ１、Ｒ２、Ｒ３と、緑成分の光Ｇ１、Ｇ２、Ｇ３と、青成分の光Ｂ１、Ｂ２、Ｂ３とが入射するものと仮定する。ここで、Ｒ１、Ｇ１、Ｂ１は、領域Ｃ１に入射する光であり、Ｒ２、Ｇ２、Ｂ２は、領域Ｃ２に入射する光であり、Ｒ３、Ｇ３、Ｂ３は、領域Ｃ３に入射する光である。なお、赤成分、緑成分、青成分とは、可視光の波長域（約４００ｎｍ〜約７００ｎｍ）を３分割した場合における、長波長帯、中間波長帯、短波長帯をそれぞれ意味する。ここで、１つの単位要素４０のサイズは、撮像面１ａ全体のサイズに比べて十分に小さいため（例えば、１千万分の１以下の面積）、４つの光感知セル１２０の各々には、同一の分光分布の光が入射するものと仮定している。以下の説明では、記号Ｒ１、Ｇ１、Ｂ１、Ｒ２、Ｇ２、Ｂ２、Ｒ３、Ｇ３、Ｂ３を、光の量を表す記号として用いる場合がある。

実際には、領域Ｃ１、Ｃ２、Ｃ３には、Ｃｙ、Ｙｅ、Ｍｇフィルタがそれぞれ配置されている。そのため、領域Ｃ１を透過する光はＧ１およびＢ１であり、領域Ｃ２を透過する光はＲ２およびＧ２であり、領域Ｃ３を透過する光はＲ３およびＢ３である。さらに、各光感知セル１２０に対向して、Ｒ、Ｇ、Ｂフィルタのいずれかが配置されている。そのため、Ｒフィルタに対向する光感知セル（Ｒ画素）は、Ｒ２およびＲ３を受け、Ｇフィルタに対向する光感知セル（Ｇ画素）は、Ｇ１およびＧ２を受け、Ｂフィルタに対向する光感知セル（Ｂ画素）は、Ｂ１およびＢ３を受ける。

以上のように、各光感知セル１２０は、透過領域Ｃ１、Ｃ２、Ｃ３を透過した光のうち、対向する色フィルタを透過した色成分の光を受ける。各光感知セル１２０は、受けた光の量に応じた光電変換信号を出力する。これらの光電変換信号を用いた演算により、各透過領域Ｃ１、Ｃ２、Ｃ３の位置に対応する３つの複数視点画像を生成することができる。

以下、各光感知セルから出力される光電変換信号を用いた演算処理を説明する。

透過領域Ｃ１、Ｃ２、Ｃ３における３つの色フィルタ、および単位要素４０に含まれる４つの色フィルタ１１０の透過率の波長依存性（分光透過率）は、理想的な特性からずれていることがある。また、レンズ３や赤外カットフィルタ４等においても僅かながら入射光が減衰する。そこで、本実施形態における画像信号生成部７は、これらの特性のずれや減衰を考慮して以下の演算を行う。

まず、１つの単位要素４０に着目し、Ｃｙ、Ｍｇ、Ｙｅ、Ｒ、Ｇ、Ｂのいずれの色フィルタも存在しないと仮定した場合にその単位要素４０に入射する光のうち、透光板２の領域Ｃ１、Ｃ２、Ｃ３を透過する成分の光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３で表すこととする。すなわち、Ｃｉ１は、Ｂ１およびＧ１の光強度を表し、Ｃｉ２は、Ｒ２およびＧ２の光強度を表し、Ｃｉ３は、Ｒ３およびＢ３の光強度を表す。

また、レンズ３および赤外カットフィルタ４を合わせた分光透過率をＴｗとし、Ｃｙフィルタ、Ｙｅフィルタ、Ｍｇフィルタの分光透過率をそれぞれＴｃｙ、Ｔｙｅ、Ｔｍｇとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｍｇ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。そして、Ｒ、Ｇ、Ｂの色フィルタ１１０を透過して直下の光感知セル１２０で受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。

すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｍｇＴｒを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｍｇＴｇを合算した結果に比例する。Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｍｇＴｂを合算した結果に比例する。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１〜３で表すことができる。
（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｍｇＴｒ
（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｍｇＴｇ
（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｍｇＴｂ

式１〜３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｍｇＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｍｇＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｍｇＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。

ここで、式４における要素Ｍｘ１１〜Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１〜ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１に入射する光に含まれるＣｙ成分の光の強度を示す信号Ｃｉ１、領域Ｃ２に入射する光に含まれるＹｅ成分の光の強度を示す信号Ｃｉ２、および領域Ｃ３に入射する光に含まれるＭｇ成分の光の強度を示す信号Ｃｉ３を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓおよび既知の分光透過率に関する情報を用いて表すことができる。

画像信号生成部７は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位要素ごとに生成する。このようにして単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、それぞれ領域Ｃ１に入射するＣｙ成分の光による画像、領域Ｃ２に入射するＹｅ成分の光による画像、および領域Ｃ３に入射するＭｇ成分の光による画像を構成する。

以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、領域Ｃ１、Ｃ２、Ｃ３に入射する光のうち、各領域を透過する波長域の光の強度を示す濃淡画像に相当する。また、信号Ｃｉ１、Ｃｉ２、Ｃｉ３によって表される３つの画像は、領域Ｃ１、Ｃ２、Ｃ３の位置からそれぞれ被写体を見たときの画像に相当するため、複数視点画像である。

一般的なシーンを撮影する場合、有彩色の被写体が存在する。あるいは、光源から出射される光の分光分布が太陽のように均一であるとは限らない。被写体からの反射光量は、光源から出射される光の分光分布と被写体の分光反射率との積分演算で表される。そのため、被写体が無彩色であっても、光源から出射される光の分光分布に偏りがある場合は、被写体から反射される光の分光分布も偏りを持つ。もし光源から出射される光の分光分布が均一であり、無彩色の被写体を撮影する場合は、理想的には図５におけるＲ１、Ｇ１、Ｂ１は同じ値になる。同様に、Ｒ２、Ｇ２、Ｂ２も同じ値になり、Ｒ３、Ｇ３、Ｂ３も同じ値になる。したがって、Ｃｙフィルタを通過した光の強度Ｇ１＋Ｂ１と、Ｙｅフィルタを通過した光の強度Ｒ２＋Ｇ２とは等しい。

しかしながら、光源から出射される光の分光分布に偏りがある場合や、被写体が有彩色である場合には、３次元の実世界中で同じ被写体の点から反射される光であっても、Ｇ１＋Ｂ１、Ｒ２＋Ｇ２、およびＲ３＋Ｂ３は異なる値になる。例えば、赤い被写体であればＧ１＋Ｂ１＝０となり、Ｒ２＋Ｇ２＝Ｒ２となるが、Ｒ２≠０のため、Ｇ１＋Ｂ１≠Ｒ２＋Ｇ２となる。

ここで、（式５）に示す演算によって得られる信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、図３に示す透光板２の色フィルタの配置であれば、それぞれ被写体を図３における上（Ｃ３の位置）から見たＭｇ成分の画像、被写体を左（Ｃ１の位置）から見たＣｙ成分の画像、および被写体を右（Ｙｅの位置）から見たＹｅ成分の画像に対応する。したがって、信号Ｃｉ１、Ｃｉ２、Ｃｉ３はそれぞれ被写体の色を補色系に分離した画像であって、それぞれ視点が異なる画像を表すと考えることができる。

そこで、本実施形態では、図３の透光板２を図６（ａ）、（ｂ）、（ｃ）に示すように回転させて３枚の画像を撮影し、演算処理によって複数の異なる視点の画像の生成と合成処理とを行うことにより、視差を有する複数のカラー画像を生成する。透光板２の回転は、例えば非特許文献１に記載の方法のように、透光板２にベルトを付け、モータでベルトを回転させることによって実現できる。回転駆動部９は、このような機構により、透光板２を回転させ、撮像素子１は、図６（ａ）、（ｂ）、（ｃ）の各状態において画像信号を取得する。以下の説明では、図６（ｂ）および図６（ｃ）の各状態において、式５におけるＣｉ１、Ｃｉ２、Ｃｉ３に対応する信号を、それぞれＣｊ１、Ｃｊ２、Ｃｊ３、およびＣｋ１、Ｃｋ２、Ｃｋ３と表す。

まず、図６（ａ）に示す状態１において、式５に基づく演算により、画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３を算出する。次に、透光板２を１２０度回転させ、図６（ｂ）に示す状態２にした上で、同様に画像信号Ｃｊ１、Ｃｊ２、Ｃｊ３を算出する。最後に、透光板２をさらに１２０度回転させ、図６（ｃ）に示す状態３にした上で、画像信号Ｃｋ１、Ｃｋ２、Ｃｋ３を算出する。

以上のようにして算出された画像信号から各状態に対応する３つのカラー画像を生成した結果の例を図７に示す。図７（ａ）は、初期状態である状態１において取得された画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３をそれぞれＣｙ成分、Ｙｅ成分、Ｍｇ成分として撮影されたカラー画像を示している。図７（ｂ）は、初期状態から１２０度回転させた状態２において取得された画像信号Ｃｊ１、Ｃｊ２、Ｃｊ３をそれぞれＣｙ成分、Ｙｅ成分、Ｍｇ成分として撮影されたカラー画像を示している。図７（ｃ）は、初期状態から２４０度回転させた状態３において取得された画像信号Ｃｋ１、Ｃｋ２、Ｃｋ３をそれぞれＣｙ成分、Ｙｅ成分、Ｍｇ成分として撮影されたカラー画像を示している。図７に示す各画像において、左側の被写体の色は赤であり、中央付近の被写体の色は青であり、右上部の被写体の色は緑である。左側の被写体が最も手前にあり、右側の被写体が最も奥にある。なお、図７に示す３つの画像は、いずれも視差の情報を含んでいない。

図８は、図７に示す画像について、Ｒｓ、Ｇｓ、Ｂｓの信号からＣｉ１、Ｃｉ２、Ｃｉ３、Ｃｊ１、Ｃｊ２、Ｃｊ３、Ｃｋ１、Ｃｋ２、Ｃｋ３を演算によって算出した結果を画像として表示した例を示す図である。図８において、１列目、２列目、３列目は、それぞれ状態１（０度回転）、状態２（１２０度回転）、状態３（２４０度回転）における透光板２の各位置（左、上、右）を透過した光による濃淡画像を示している。また、図９は、透光板２における各位置と各色成分との組み合わせがどの画像信号に対応しているかを示す表である。図９に示す表の横方向に各透過領域に配置された色フィルタの色成分を示し、縦方向に色フィルタの透光板２における位置を示している。図８に示すように、透光板２を回転させて撮影した３枚の画像に基づいて演算で求められる画像成分は、３つの位置×３つの色成分の合計９個ある。ここで、透光板２の左側を透過する光のＣｙ成分、Ｙｅ成分、Ｍｇ成分は、それぞれＣｉ１、Ｃｊ２、Ｃｋ３に対応する。したがって、画像信号Ｃｉ１、Ｃｊ２、Ｃｋ３からカラー画像を合成すれば、被写体を左から見たときのカラー画像が得られる。同様に、Ｃｋ１、Ｃｉ２、Ｃｊ３を用いることにより、被写体を右から見たときのカラー画像を生成できる。また、Ｃｊ１、Ｃｋ２、Ｃｉ３を用いることにより、被写体を上から見たときのカラー画像を生成できる。

以下、視点の異なる各カラー画像を求める方法を説明する。被写体を左から見た場合のカラー画像は、（式４）を変形した以下の（式６）で求められる。ここで、当該カラー画像における赤成分、緑成分、青成分の信号を、それぞれＲｓ１、Ｇｓ１、Ｂｓ１と表す。

式６は、式４における領域Ｃ１、Ｃ２、Ｃ３を透過する光の強度を示す信号Ｃｉ１、Ｃｉ２、Ｃｉ３が、それぞれＣｉ１、Ｃｊ２、Ｃｋ３に置き換わったものである。ここで、Ｃｉ２とＣｊ２との違いは、フィルタの色の種類はいずれもＹｅフィルタで等しいが、被写体を見る視点が異なる。図９に示すように、Ｃｉ２は右から被写体を見た場合の画像を表しているが、Ｃｊ２は左から被写体を見た場合の画像を表している。また、Ｃｉ３とＣｋ３との違いも同様であり、Ｃｉ３は上から被写体を見た場合のＭｇ成分の画像を表し、Ｃｋ３は左から被写体を見た場合のＭｇ成分の画像を表している。

一方、（式６）において、Ｍｘ１１〜Ｍｘ３３は、光が入射する方向に関する情報を有していない。Ｍｘ１１〜Ｍｘ３３は、透光板２におけるＣｙ、Ｙｅ、Ｍｇの各色フィルタの分光透過率、撮像素子１におけるＲ、Ｇ、Ｂの各色フィルタの分光透過率、およびＩＲフィルタやレンズなどの分光透過率の情報を有している。すなわち、Ｍｘ１１は、Ｃｙフィルタの分光透過率とＲフィルタの分光透過率との積算値を表す。Ｍｘ１２は、Ｙｅフィルタの分光透過率とＲフィルタの分光透過率との積算値を表す。Ｍｘ１３は、Ｍｇフィルタの分光透過率とＲフィルタの分光透過率との積算値を表す。Ｍｘ１１〜Ｍｘ３３は、撮像装置の製造時に決定される既知の情報である。

（式６）によって得られるＲｓ１の値は、被写体を左から見た方向からＣｙフィルタを通過する光強度Ｃｉ１とＭｘ１１とを掛けたものと、Ｙｅフィルタを通過する光強度Ｃｊ２とＭｘ１２とを掛けたものと、Ｍｇフィルタを通過する光強度Ｃｋ３とＭｘ１３とを掛けたものとの合算により算出される。Ｇｓ１、Ｂｓ１の値も同様に求められる。これは、（式５）で表される、光が入射する方向が異なる場合の画素信号Ｒｓ、Ｇｓ、Ｂｓから視点位置が異なる補色系の信号を演算する処理の逆演算により、視点位置の等しい３種類の補色系の信号から、光の入射する方向が同一の画素信号Ｒｓ１、Ｇｓ１、Ｂｓ１が求められることを意味する。

同様に、被写体を右から見たときのカラー画像は、赤成分をＲｓ２、青成分をＧｓ２、青成分をＢｓ２と表すと、以下の（式７）によって算出できる。

また、被写体を上から見たときのカラー画像は、赤成分をＲｓ３、青成分をＧｓ３、青成分をＢｓ３と表すと、以下の（式８）によって算出できる。

以上のように、透光板２を３回回転させながら撮影を行い、撮影した個々の画像から演算によって透光板２の透過領域Ｃ１、Ｃ２、Ｃ３を透過する複数の光の強度を求めることにより視差を有するカラー画像を生成できる。本実施形態によれば、透光板２の光透過部に補色（Ｃｙ、Ｙｅ、Ｍｇ）の色フィルタを用いて、３回分の画像を合成するため、従来技術に比べ、光利用率を高くすることができ、撮像感度を向上させることができる。また、特許文献３に開示されている色線形性を利用したマッチング処理を行わないため、画像のボケ量や平坦度に依存せず、安定して複数視点画像を生成することができる。

以上の処理によって生成した画像の例を図１０に示す。図１０（ａ）、（ｂ）は、それぞれ左および右から被写体を見た場合のカラー画像を生成した結果を示している。なお、上から被写体を見た場合のカラー画像は図示していない。図１０に示す２つの点線（直線１、直線２）は、２枚の画像で同じｘ座標を示す。直線１は手前にある赤い被写体の輪郭に沿って描かれており、直線２は奥にある緑の被写体の輪郭に沿って描かれている。この例からわかるように手前にある被写体の輪郭のｘ座標はほぼ同じ値であるが、奥にある緑の被写体の輪郭のｘ座標が異なる。したがって距離により見え方の異なる画像、つまり複数視点画像が取得できたことがわかる。

なお、本実施形態における透光板２の透過領域の配置は上記の配置に限らず任意であるが、理想的には、透光板２の中心を原点として、そこから等距離の位置に配置することが望ましい。これにより、透光板２の中心を原点として視差がどの方向に現れるかを容易に知ることができる。さらには、隣接する透過領域間の距離が等しいことが望ましい。具体的には、領域Ｃ１および原点を通る直線と、領域Ｃ２および原点を通る直線とがなす角度が１２０度になることが望ましい。同様に、領域Ｃ２および原点を通る直線と、領域Ｃ３および原点を通る直線とがなす角度が１２０度になることが望ましい。また、領域Ｃ３および原点を通る直線と、領域Ｃ３および原点を通る直線とがなす角度が１２０度になることが望ましい。以上の構成により、透光板２を回転させる角度を一定にすることができるため、機構系の制御が容易になり、かつ安定する。

本実施形態では、透光板２の透過領域Ｃ１、Ｃ２、Ｃ３にはそれぞれＣｙフィルタ、Ｙｅフィルタ、Ｍｇフィルタを配置したが、このような構成に限られるものではない。透過領域Ｃ１、Ｃ２、Ｃ３に配置される色フィルタの種類は適宜選択してもよい。これらの色フィルタは、原色フィルタ（例えばＲ、Ｇ、Ｂフィルタ）であってもよいし、光利用率向上の観点から、少なくとも１つの透過領域に原色よりも広い波長域の光を透過させる透過フィルタが配置されていてもよい。例えば、３つの透過領域のうちの１つに補色系のフィルタが配置され、残りの２つに原色系のフィルタが配置されていてもよい。３つの透過領域における透過率の波長依存性が互いに異なっていれば、本実施形態と同様の処理を適用できる。また、可視光に含まれる任意の波長の光がいずれかの透過領域を透過できるように、各透過領域の分光透過率が設計されていれば、良好なカラー複数視点画像を生成できる。同様に、撮像素子１の１つの単位要素４０に含まれる色フィルタ１１０は、必ずしもＲ、Ｇ、Ｂの色フィルタである必要はなく、透過率の波長依存性が互いに異なっていれば、本実施形態と同様の処理を適用できる。

（実施形態２）
次に、本発明の第２の実施形態を説明する。本実施形態における撮像装置は、透光板２におけるフィルタの数が実施形態１の撮像装置とは異なっている。以下、実施形態１と異なる点を中心に説明し、重複する事項についての説明は省略する。

透光板２のフィルタの数は、３個に限らず、２個以上であれば何個であってもよい。以下、フィルタの種類の数をＮ（Ｎは２以上の整数）に一般化した場合に複数視点画像を生成する構成を説明する。前提条件として、透過率の波長依存性が互いに異なるＮ種類のフィルタを有する透光板２をＮ回以上回転させて撮影するものとする。また、撮像素子１の各単位要素４０は、互いに異なる分光透過率を有するＮ個の色フィルタおよびそれらに対向するＮ個の光感知セルを含んでいるものとする。

図１１Ａは、このように一般化した透光板２の例を示す図である。図示される透光板２は、光が並列的に入射するように配置された、透過率の波長依存性が互いに異なるＮ個のフィルタＣ１〜ＣＮを有している。フィルタＣ１〜ＣＮは、透光板２の中心からの距離がいずれも等しく、隣接する２つの透過領域間の距離は全て等しいものとする。

図１１Ｂは、撮像素子１における１つの単位要素４０に含まれるフィルタ配列の例を示す図である。１つの単位要素４０は、Ｎ個の光感知セルと、それらに対向するＮ個のフィルタＤ１〜ＤＮを有している。なお、１つの単位要素４０に含まれるフィルタの数はＮ個よりも多くてもよい。また、図示される透過フィルタの配列は一例であり、この例に限られるものではない。

以下、Ｎ＝７の場合を例に本実施形態の撮像装置をより具体的に説明する。透光板２として、例えば図１２Ａ、図１２Ｂに示すような虹色のパタンが利用できる。図１２Ａに示す例では、透光板２は、虹色パタンを有するフィルタ２ａと、７個の透過領域（開口）を有する遮光板２ｂとから構成される。図１２Ａにおけるフィルタ２ａは、互いに分光透過率が異なる７種類のフィルタがリング状に結合したものと考えることができる。フィルタ２ａを回転させることにより、各開口位置における分光透過率を変化させることができる。なお、虹色パタンのフィルタ２ａを設けずに、遮光板２ｂの７個の開口位置に異なる分光透過率のフィルタを張り付けたものを透光板２として用い、それを回転させてもよい。

図１２Ｂに示すように、各透過領域Ｃ１〜Ｃ７は、いずれも円形で、同一面積を有しているものとするが、必ずしもこのような形状、面積である必要はない。初期状態において、透過領域Ｃ１〜Ｃ７の位置には、それぞれ赤Ｒｅ、オレンジＯｒ、黄Ｙｅ、緑Ｇｒ、青Ｂｌ、藍Ｉｎ、紫Ｖｉの波長域の光を透過させるフィルタが配置されているものとする。また、撮像素子１においても同様に上記の７種類の分光透過率を有するフィルタが配置されているものと仮定する。

いずれのフィルタも配置されていないと仮定した場合に、１つの単位要素に含まれる各光感知セルに入射する光のうち、透過領域Ｃ１〜Ｃ７を透過する色成分の光の強度を示す信号を、それぞれＣｉ１〜Ｃｉ７とする。撮像素子１に配置された７種類の色フィルタに対向する光感知セルにおける受光量を示す信号を、Ｒｅｓ、Ｏｒｓ、Ｙｅｓ、Ｇｒｓ、Ｂｌｓ、Ｉｎｓ、Ｖｉｓとすると、各光感知セルで観測される信号量は、以下の（式９）〜（式１５）で表すことができる。
（式９）
Res = Ci1ΣTwTreT're + Ci2ΣTwTorT're + Ci3ΣTwTyeT're + Ci4ΣTwTgrT're+ Ci5ΣTwTblT're + Ci6ΣTwTInT're + Ci7ΣTwTviT're
（式１０）
Ors = CiTwTreT'or + Ci2ΣTwTorT'or + Ci3ΣTwTyeT'or + Ci4ΣTwTgrT'or+ Ci5ΣTwTblT'or + Ci6ΣTwTInT'or + Ci7ΣTwTviT'or
（式１１）
Yes = Ci1ΣTwTreT'ye + Ci2ΣTwTorT'ye + Ci3ΣTwTyeT'ye + Ci4ΣTwTgrT'ye+ Ci5ΣTwTblT'ye + Ci6ΣTwTInT'ye + Ci7ΣTwTviT'ye
（式１２）
Grs = Ci1ΣTwTreT'gr + Ci2ΣTwTorT'gr + Ci3ΣTwTyeT'gr + Ci4ΣTwTgrT'gr+ Ci5ΣTwTblT'gr + Ci6ΣTwTInT'gr + Ci7ΣTwTviT'gr
（式１３）
Bls = Ci1ΣTwTreT'bl + Ci2ΣTwTorT'bl + Ci3ΣTwTyeT'bl + Ci4ΣTwTgrT'bl+ Ci5ΣTwTblT'bl + Ci6ΣTwTInT'bl + Ci7ΣTwTviT'bl
（式１４）
Ins = Ci1ΣTwTreT'In + Ci2ΣTwTorT'In + Ci3ΣTwTyeT'In + Ci4ΣTwTgrT'In+ Ci5ΣTwTblT'In + Ci6ΣTwTInT'In + Ci7ΣTwTviT'In
（式１５）
Vis = Ci1ΣTwTreT'vi + Ci2ΣTwTorT'vi + Ci3ΣTwTyeT'vi + Ci4ΣTwTgrT'vi+ Ci5ΣTwTblT'vi + Ci6ΣTwTInT'vI + Ci7ΣTwTviT'vi

ここで、Ｔ’ｒｅ、Ｔ’ｏｒ、Ｔ’ｙｅ、Ｔ’ｇｒ、Ｔ’ｂｌ、Ｔ’Ｉｎ、Ｔ’ｖｉは、それぞれ撮像素子１に配置された赤、オレンジ、黄、緑、青、藍、紫のフィルタの分光透過率を表す。また、Ｔｒｅ、Ｔｏｒ、Ｔｙｅ、Ｔｇｒ、Ｔｂｌ、ＴＩｎ、Ｔｖｉは、それぞれ透光板２に配置された赤、オレンジ、黄、緑、青、藍、紫のフィルタの分光透過率を表す。Ｔｗは（式１）〜（式３）と同様にレンズ３、および赤外カットフィルタ４を合わせた分光透過率である。撮像素子１の受光信号Ｒｅｓ、Ｏｒｓ、Ｙｅｓ、Ｇｒｓ、Ｂｌｓ、Ｉｎｓ、Ｖｉｓと、透過領域Ｃ１〜Ｃ７を透過する光の強度を示す信号Ｃｉ１〜Ｃｉ７、および色フィルタの分光透過率との関係から、（式４）と同様、以下の（式１６）が得られる。

ここで、行列要素Ｍｘ１１〜Ｍｘ７７は、Ｔｗ、透光板１における透過領域の分光透過率、撮像素子１における色フィルタの分光透過率の積分によって得られる値である。すなわち、Ｍｘ１１、Ｍｘ１２、Ｍｘ１３、Ｍｘ１４、Ｍｘ１５、Ｍｘ１６、Ｍｘ１７は、それぞれΣＴｗＴｒｅＴ’ｒｅ、ΣＴｗＴｏｒＴ’ｒｅ、ΣＴｗＴｙｅＴ’ｒｅ、ΣＴｗＴｇｒＴ’ｒｅ、ΣＴｗＴｂｌＴ’ｒｅ、ΣＴｗＴＩｎＴ’ｒｅ、ΣＴｗＴｖｉＴ’ｒｅである。以下同様に、Ｍｘ２１〜Ｍｘ２７は、それぞれＭｘ１１〜Ｍｘ１７のＴ’ｒｅをＴ’ｏｒに、Ｍｘ３１〜Ｍｘ３７は、それぞれＭｘ１１〜Ｍｘ１７のＴ’ｒｅをＴ’ｙｅに、Ｍｘ４１〜Ｍｘ４７は、それぞれＭｘ１１〜Ｍｘ１７のＴ’ｒｅをＴ’ｇｒに、Ｍｘ５１〜Ｍｘ５７は、それぞれＭｘ１１〜Ｍｘ１７のＴ’ｒｅをＴ’ｂｌに、Ｍｘ６１〜Ｍｘ６７は、それぞれＭｘ１１〜Ｍｘ１７のＴ’ｒｅをＴ’Ｉｎに、Ｍｘ７１〜Ｍｘ７７は、それぞれＭｘ１１〜Ｍｘ１７のＴ’ｒｅをＴ’ｖｉに置き換えたものである。

式１６に示す演算の逆演算を行うことにより、１回の撮影で７方向からの光の強度を示す信号（Ｃｉ１〜Ｃｉ７）を求めることできる。これにより、例えば透過領域Ｃ１を通過する光の強度を示す信号（Ｃｉ１）から、被写体を上から見たときの画像を得ることができる。透光板２を（３６０／７）度ずつ回転させて最低７回撮影を行い、演算によって各透過領域を透過する光の強度を示す信号を求めることで、７つの方向から、７種類の分光透過率を有するフィルタを通過する色成分の光の強度（合計４９種類）が得られる。（式６）〜（式８）と同様に、取得した光の強度を示す信号のうち、同じ方向から被写体を見た場合に相当する信号を利用して、カラー画像を合成することができる。例えば、初期状態における領域Ｃ１の位置から被写体を見たときの画像の色情報は、以下の式１７によって表される。

ここで、Ｃｉ１、Ｃｊ２、Ｃｋ３、Ｃｌ４、Ｃｍ５、Ｃｎ６、Ｃｏ７は、それぞれ１回目〜７回目の撮影において当該位置を透過する色成分の光強度を示す信号である。Ｒｅｓ１、Ｏｒｓ１、Ｙｅｓ１、Ｇｒｓ１、Ｂｌｓ１、Ｉｎｓ１、Ｖｉｓ１は、それぞれ求めるカラー画像の赤、オレンジ、黄、緑、青、藍、紫の色成分の量を示す信号である。他の位置におけるカラー画像も同様の演算によって取得することができる。以上の処理により、７個の透過領域に対応して７個のカラー複数視点画像を得ることができる。

なお、本実施形態では、透光板２を７段階に回転させて７方向からの光を取得するが、８段階以上回転および撮影を行っても構わない。その場合、追加で撮影したときの光の強度の情報は既に算出しているが、それらを加算することで暗い環境でも明るい画像を得ることができるという効果がある。

上記の各実施形態では、透光板２を回転させることにより、各透過領域Ｃ１〜Ｃ７の分光透過率を変化させるが、回転ではなく、縦や横に色フィルタをずらすことにより、分光透過率を変化させてもよい。また、透光板２の複数の透過領域に透明フィルタまたは特定の色フィルタを設け、透光板２の外側から透過領域ごとに異なる他の色フィルタを被せることによって複数の透過領域の分光透過率を変化させるように構成してもよい。本発明の実施形態では、光透過部におけるＮ種類の色フィルタの各位置が、撮像素子１に対して予め設定されたＮ個の位置上で、撮像ごとに変化するように構成されていれば、どのように光透過部を駆動してもよい。

例えば、色フィルタを一方向にずらす構成として、図１３に示すような構成を採用してもよい。図１３は、２つの透過領域Ｃ１、Ｃ２を有する透光板２ｃの構成例を示す図である。透光板２ｃには、３つの色フィルタが配置されたスライド板２ｄが取り付けられ、スライド板２ｄをスライドさせることによって透過領域Ｃ１、Ｃ２の分光透過率を変化させることができる。図示される例では、スライド板２ｄには、中央にＣｙフィルタ、両端にＹｅフィルタが配置されている。図１３（ａ）に示すように、スライド板２ｄがない状態では透過領域Ｃ１、Ｃ２は透明である。図１３（ｂ）に示すように、透過領域Ｃ１の位置にＣｙフィルタが位置し、透過領域Ｃ２の位置にＹｅフィルタが位置する状態で１回目の撮像が行われる。続いて、図１３（ｃ）に示すように、透過領域Ｃ１の位置にＹｅフィルタが位置し、透過領域Ｃ２の位置にＣｙフィルタが位置する状態で２回目の撮像が行われる。この例では、撮像素子１の各単位要素に２つの光感知セルおよびそれらに対向する２つの分光透過率の異なる色フィルタが設けられていればよい。２つの光感知セルから撮像ごとに出力される光電変換信号を用いた演算によって透光板２ｃの各透過領域を透過する成分の光の強度を示す信号を求めることにより、複数視点画像を得ることができる。ただし、この例では、透過領域が２つしかないため、カラー画像ではなく濃淡画像が得られることになる。透過領域が３つ以上の場合も同様の機構によって複数視点画像を生成することができる。

なお、図１３の代わりに図１４に示す構成を採用してもよい。図１４に示す構成では、スライド板２ｄがない状態における透過領域Ｃ１、Ｃ２は、透明ではなく、Ｇフィルタで構成される。この場合、スライド板２ｄには、中央にＢフィルタ、両端にＲフィルタが配置される。図１４（ｂ）に示す状態では、領域Ｃ１はＣｙフィルタと同じ特性を有し、領域Ｃ２はＹｅフィルタと同じ特性を有する。図１４（ｃ）に示す状態では、領域Ｃ１はＹｅフィルタと同じ特性を有し、領域Ｃ２はＣｙフィルタと同じ特性を有する。そのため、図１３に示す構成と全く同じ効果が得られる。

上記の各実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても上記と同様の効果を得ることができる。

図１５は、このような撮像装置および他の装置による撮像から画像生成までの一連の動作の流れの例を示すフロー図である。撮像装置は、まずステップＳ１において、光透過部２における複数種類のフィルタの各位置を変化させながら、複数回の撮像を行う（連写撮像）。次に、画像処理装置は、ステップＳ２において、各撮像によって得られた複数の画素信号から、光透過部２の各透過領域を通過する成分の光による濃淡画像を生成する（濃淡複数視点画像生成）。続いて、画像処理装置は、ステップＳ３において、式１７と同様の演算を用いて濃淡複数視点画像を合成することにより、カラー複数視点画像を生成する（カラー複数視点画像生成）。以上の動作により、撮像機能と画像処理機能とを別々の装置が実行するように構成できる。

本発明の一態様に係る３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用できる。

１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２、２ａ、２ｂ、２ｃ 透光板（光透過部）
２ｄ スライド板
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像信号生成部
８ インターフェース部
９ 回転駆動部
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
３０ メモリ
４０ 単位要素
１００ 撮像部
１１０ 色フィルタ
１２０ 光感知セル
２００ 信号処理部

Claims (14)

1. 光が並列的に入射するように設けられた、透過率の波長依存性が互いに異なるＮ種類（Ｎは２以上の整数）の第１フィルタを有する光透過部と、
   前記光透過部を透過した光を受けるように配置された撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置されたフィルタアレイを有し、前記光感知セルアレイおよび前記フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるＮ個の第２フィルタを含む撮像素子と、
   前記撮像素子の撮像面に像を形成する結像部と、
   連続してＭ回（ＭはＮ以上の整数）の撮像を行うように前記光透過部を駆動する撮像駆動部であって、前記Ｎ種類の第１フィルタの各位置を、前記撮像素子に対して予め定められたＮ個の位置上で、撮像ごとに変化させるように前記光透過部を駆動する撮像駆動部と、
   を備え、
   前記Ｎ種類の前記第１フィルタの色の組み合わせは、前記Ｎ個の前記第２フィルタの色の組み合わせと異なっている、３次元撮像装置。
2. 前記Ｎ種類の第１フィルタは、可視光に含まれる任意の波長の光が前記Ｎ種類の第１フィルタの少なくとも１種類を透過できるように設計されており、前記Ｎ種類の第１フィルタの少なくとも１種類は、原色の波長域よりも広い透過波長域を有する、請求項１に記載の３次元撮像装置。
3. 各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する画像生成部を備えている、請求項１または２に記載の３次元撮像装置。
4. 前記画像生成部は、各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力される複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する、請求項３に記載の３次元撮像装置。
5. 前記Ｎ種類の第１フィルタのうちの３種類の透過波長域は、シアン、マゼンタ、黄、赤、青、緑のうちの３つの波長域にそれぞれ等しく設計されている、請求項１から４のいずれかに記載の３次元撮像装置。
6. Ｎ＝３であり、
   前記Ｎ種類の第１フィルタの透過波長域は、シアン、マゼンタ、黄の波長域にそれぞれ等しく設計され、
   前記Ｎ個の第２フィルタの透過波長域は、赤、青、緑の波長域にそれぞれ等しく設計されている、
   請求項１から５のいずれかに記載の３次元撮像装置。
7. 前記光透過部における前記Ｎ種類の第１フィルタは、前記光透過部の中心からの距離が全て等しく、隣接する２つの第１フィルタ間の距離が等しくなるように配置されている、請求項１から６のいずれかに記載の３次元撮像装置。
8. 前記撮像駆動部は、前記光透過部の中心を軸として前記光透過部を回転させることにより、前記Ｎ種類の第１フィルタの各位置を、前記Ｎ個の位置上で、撮像ごとに変化させる、請求項１から７のいずれかに記載の３次元撮像装置。
9. 請求項１から８のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理装置であって、
   前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成する、画像処理装置。
10. 各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成し、生成した前記Ｎ×Ｍ個の画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成する、請求項９に記載の画像処理装置。
11. 請求項１から８のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理方法であって、
    前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを含む画像処理方法。
12. 前記Ｎ個の複数視点画像を生成するステップは、
    各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、
    生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップと、
    を含む、請求項１１に記載の画像処理方法。
13. 請求項１から８のいずれかに記載の３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理プログラムであって、
    コンピュータに対し、
    前記撮像素子における各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置に対応するＮ個の複数視点画像を生成するステップを実行させる画像処理プログラム。
14. 前記Ｎ個の複数視点画像を生成するステップは、
    各単位要素に含まれる前記Ｎ個の光感知セルから前記Ｍ回の撮像ごとに出力された複数の光電変換信号に基づいて、前記Ｎ個の位置を通過する成分の光によるＭ×Ｎ個の画像信号を生成するステップと、
    生成した前記Ｎ×Ｍ個の前記画像信号を合成することにより、前記Ｎ個の位置に対応するＮ個のカラー複数視点画像を生成するステップと、
    を含む、請求項１３に記載の画像処理プログラム。