JP5406151B2 - ３次元撮像装置 - Google Patents

Description

本発明は視差を有する複数の画像を生成する単眼の３次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像を取得する方式が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する技術が特許文献１に開示されている。図８は、この技術を用いた撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。

以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれら２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って視差を有する画像を作ることができる。

特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図９は、この技術における光束制限板を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。

また、特許文献３にも、図９の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１０は、特許文献３に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。

上記の特許文献１〜３に示された技術によれば、光束制限板にＲ、Ｇ、Ｂの各色フィルタを配置することによって視差を有する画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲ、Ｇ、Ｂの各色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。

以上の技術に対して、Ｒ、Ｇ、Ｂの各色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献４に開示されている。この技術では、絞りを閉じた状態ではＲ、Ｇ、Ｂの各色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差を有する画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。

特開平２−１７１７３７号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２００３−１３４５３３号公報

"Color Lines: Image Specific Color Representation", Ido Omer and Michael Werman, In Proc. CVPR, vol. 2, 946-953.

従来技術によれば、視差を有する複数の画像を取得することができるが、光束制限板に色フィルタを用いるため、撮像素子の受光量は減少する。入射光量を十分に確保するためには、色フィルタを機械的駆動によって光路から外す機構を用いて光利用率の高い通常画像を取得する方法や、光束制限板に設けられる色フィルタの数を最小の２つにすることで光の減少を抑える方法がある。前者には、装置の大型化および高コスト化を招くという問題がある。後者の場合、２つの色フィルタを透過する光の波長域が異なるため、得られる２つの画像の濃淡が異なることになる。そのため、ブロックマッチングなどの、濃淡値の類似度を利用した対応点探索に基づく視差算出が困難であるという課題がある。

本発明は、機械的駆動を行うことなく、光利用率が高く、かつ視差を有する複数の画像の生成が可能な３次元撮像技術を提供する。

本発明の３次元撮像装置は、透過波長域が互いに異なる第１、第２、および第３の透過領域を有する光透過部と、光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部を備えている。前記第１、第２、および第３の透過領域の少なくとも１つは、シアン、黄、マゼンタのいずれかの波長域の光を透過させる部材、または透明部材で形成されている。前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、赤の波長域の光の量に応じた第１の光電変換信号を出力するＲ検知セル、緑の波長域の光の量に応じた第２の光電変換信号を出力するＧ検知セル、および青の波長域の光の量に応じた第３の光電変換信号を出力するＢ検知セルを含んでいる。前記信号処理部は、前記第１、第２、および第３の光電変換信号を用いた加減算を含む処理に基づいて前記第１、第２、および第３の透過領域の各々に入射する光の量に応じた３つの混色信号を生成することによって視差を有する３つの画像を生成する画像生成部、および前記３つの画像の間の視差を推定する視差推定部を有している。

ある実施形態において、前記信号処理部は、前記視差推定部によって推定した前記視差から被写体の距離を示す情報を生成する距離情報生成部をさらに有する。

ある実施形態において、前記視差推定部は、前記３つの画像の各画素について、視差量の推定値を複数の候補の中から設定し、前記推定値に基づいて前記３つの画像から画像上の位置が互いにずれた同一サイズの３つの画素ブロックをそれぞれ抽出する画素ブロック抽出部と、前記３つの画素ブロックの画素値の集合によって規定される３次元色空間上の点集合の分布が直線からどの程度ずれているかを判定するずれ判定部と、前記ずれ判定部によって判定された直線からのずれの程度が最小となる前記推定値を各画素における視差量として決定する視差量決定部とを含む。

ある実施形態において、前記第１の透過領域は、シアン、黄、およびマゼンタのうちの１つの波長域の光を透過させる部材で形成され、前記第２の透過領域は、シアン、黄、およびマゼンタのうちの他の１つの波長域の光を透過させる部材で形成され、前記第３の透過領域は、透明部材で形成される。

ある実施形態において、前記第１、第２、および第３の透過領域は、それぞれシアン、黄、およびマゼンタの波長域の光を透過させる部材で形成される。

ある実施形態において、前記光透過部は、第４の透過領域を有し、前記第４の透過領域は、赤、緑、および青のいずれかの波長域の光を透過させる部材、または透明部材で形成される。

本発明の信号処理方法は、透過波長域が互いに異なる第１、第２、および第３の透過領域を有する光透過部と、光感知セルアレイを有し前記光透過部を透過した光を受けるように配置された固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系とを備える撮像装置から出力される信号を処理する方法である。ここで、前記第１、第２、および第３の透過領域の少なくとも１つは、シアン、黄、マゼンタのいずれかの波長域の光を透過させる部材、または透明部材で形成されている。前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、赤の波長域の光の量に応じた第１の光電変換信号を出力するＲ検知セル、緑の波長域の光の量に応じた第２の光電変換信号を出力するＧ検知セル、および青の波長域の光の量に応じた第３の光電変換信号を出力するＢ検知セルを含む。本発明の信号処理方法は、前記第１、第２、および第３の光電変換信号を用いた加減算を含む処理に基づいて前記第１、第２、および第３の透過領域の各々に入射する光の量に応じた３つの混色信号を生成することによって視差を有する３つの画像を生成するステップと、前記３つの画像の間の視差を推定するステップとを含む。

本発明の信号処理方法は、推定した前記視差から被写体の距離を示す情報を生成するステップをさらに含んでいてもよい。

ある実施形態において、前記視差を推定するステップは、前記３つの画像の各画素について、視差量の推定値を複数の候補の中から設定し、前記推定値に基づいて前記３つの画像から画像上の位置が互いにずれた同一サイズの３つの画素ブロックをそれぞれ抽出するステップと、前記３つの画素ブロックの画素値の集合によって規定される３次元色空間上の点集合の分布が直線からどの程度ずれているかを判定するステップと、判定された直線からのずれの程度が最小となる前記推定値を各画素における視差量として決定するステップとを含む。

本発明によれば、光利用率が高く、かつ視差を有する複数の画像を生成できる。さらに、有彩色の被写体を撮影した場合であっても視差量を推定できるため、視差量の推定と光利用率の高い画像の取得の両立が可能である。

実施形態１における撮像装置の全体構成を示すブロック図である。 実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図である。 実施形態１における透光板の透過領域の配置を示す図である。 実施形態１における撮像素子の画素構成を示す図である。 実施形態１における視差量ｄと距離ｚとの関係を示す図である。 実施形態１におけるカラー画像、Ｃｉ１画像、Ｃｉ２画像の例を示す図である。 （ａ）はＲ、Ｇ、Ｂ色空間における直線の例を示す図であり、（ｂ）はＣｙ、Ｙｅ、Ｍｇ色空間における直線の例を示す図である。 実施形態１における信号処理手順を示すフロー図である。 実施形態１における画素ブロックを示す図である。 （ａ）は視差推定値が真の視差量に比較的近い場合の３次元色空間における点集合の分布の例を示す図であり、（ｂ）は視差推定値が真の視差量からずれている場合の３次元色空間における点集合の分布の例を示す図である。 実施形態１における視差推定部の構成を示すブロック図である。 実施形態１における視差量推定手順を示すフロー図である。 実施形態２における透光板の透過領域の配置を示す図である。 実施形態３における透光板の透過領域の配置を示す図である。 実施形態３における透光板の他の透過領域の配置を示す図である。 特許文献１における撮像系の模式図である。 特許文献２における光束制限板の模式図である。 特許文献３における光束制限板の模式図である。

以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。

（実施形態１）
図１は、本発明の第１の実施形態における３次元撮像装置（以下、「撮像装置」と呼ぶ。）の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。本実施形態の撮像装置は静止画のみならず動画を撮影する機能を備えていてもよい。

撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板（光透過部）２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００は、また、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。

信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。また、信号処理部２００は、画像生成部７によって生成した複数の画像の間の視差を推定する視差推定部４０と、推定した視差に基づいて被写体の距離情報を生成する距離情報生成部５０とを備えている。画像生成部７、視差推定部４０、距離情報生成部５０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、後述する画像信号生成処理、視差推定処理、距離情報生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。

図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光を透過させる。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、以下の説明において、撮像面１ａに平行な平面において、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、ｘ方向に垂直な方向をｙ方向とする。

図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３は、複数のレンズ群から構成されたレンズユニットであり、それらの間に透光板２が配置されていてもよい。また、レンズ３と透光板２とは独立した構成要素である必要はなく、者は一体化された１つの光学素子として構成されていてもよい。さらに、透光板２と撮像素子１の撮像面とは必ずしも平行に配置されている必要はない。例えば、両者の間にミラーやプリズムなどの、光を反射する光学素子を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することも可能である。

図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。領域Ｃ１には、シアン（Ｃｙ）の波長域（ＧおよびＢの波長域）の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域（ＲおよびＧの波長域）の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。

なお、本実施形態における領域Ｃ１およびＣ２は、それぞれＣｙおよびＹｅの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。例えば、一部の波長域の光を透過させ、他の波長域の光を反射するダイクロイックミラーなどの光学素子で構成されていてもよい。ここで、領域Ｃ１および領域Ｃ２は、ｘ方向に離れて配置される。領域Ｃ１と領域Ｃ２との間の距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ〜数ｃｍに設定され得る。また、透光板２における他の領域Ｃ３は、白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材で形成された透明領域である。透明部材は、光を高い透過率で透過させる部材であればどのようなものでもよい。本実施形態では、領域Ｃ１および領域Ｃ２の面積は等しく、領域Ｃ３の面積は領域Ｃ１、Ｃ２の面積よりも大きく設計されている。

図２に示される撮像素子１の撮像面１ａには、２次元状に複数の光感知セルが配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、複数の単位ブロックを有し、各単位ブロックは、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。

図４は、光感知セルアレイおよび色フィルタアレイの一部を模式的に示す図である。撮像面１ａ上には多数の光感知セル１２０およびそれらに１対１に対向する色フィルタ１１０が行列状に配列されている。本実施形態では、近接する４つの光感知セル１２０が１つの単位ブロックを構成している。各単位ブロックにおいて、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。

以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セル１２０は、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタを通った光を受け、受けた光の量（強度）に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像生成部７は、撮像部１００から送出された信号に基づいて右目用画像、左目用画像、およびカラー画像を生成する。

なお、本実施形態における撮像素子１は上記の色フィルタアレイによって色分離を行うが、本発明においては色フィルタアレイを用いない撮像素子を用いてもよい。例えば、特表２００２−５１３１４５に開示された三重ウエル構造を有する撮像素子を用いることができる。このように、各単位ブロックが赤の波長域の光を検知するＲ検知セル、緑の波長域の光を検知するＧ検知セル、および青の波長域の光を検知するＢ検知セルを含んでいればどのような撮像素子も利用可能である。

また、本実施形態では、１つの光感知セルが赤、緑、青のいずれかの波長域の光を検知するが、１つの光感知セルが検知する波長域をさらに細分化させてもよい。例えば、赤光の波長域λｒを３つの波長域λｒ１、λｒ２、λｒ３に分割し、各々がλｒ１、λｒ２、λｒ３に対応する３つの光感知セルを設けてもよい。この場合、３つの光感知セルの画素信号の合計を赤光に対応する信号であるとして処理することができる。

以下、各光感知セルから出力される光電変換信号を説明する。まず、透光板２の領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３と表すこととする。また、透光板２における透明領域Ｃ３、レンズ３、および赤外カットフィルタ４を合わせた分光透過率をＴｗ、Ｃｙフィルタの分光透過率をＴｃｙ、Ｙｅフィルタの分光透過率をＴｙｅとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。Ｒ、Ｇ、Ｂの色フィルタを透過して対向する光感知セルで受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｒを合算した結果に比例する。Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｇを合算した結果に比例する。Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｂを合算した結果に比例する。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１〜３で表すことができる。

（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｒ
（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｇ
（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｂ
式１〜３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。

ここで、式４における要素Ｍｘ１１〜Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１〜ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度を示す信号を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表すことができる。

画像生成部７（図１）は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位ブロックごとに生成する。このようにして単位ブロックごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、領域Ｃ１、Ｃ２、Ｃ３のそれぞれに入射する光によって形成される３つの画像を表す。特に、信号Ｃｉ１、Ｃｉ２によって表される画像は、ｘ方向に離れて位置する領域Ｃ１、Ｃ２からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。すなわち、信号Ｃｉ１、Ｃｉ２によって表される２つの画像は、領域Ｃ１、Ｃ２の距離に応じた視差を有する。したがって、これらの画像から被写体の奥行きを示す情報を得ることができる。

以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、濃淡画像（白黒画像）に相当する。濃淡画像ではなくカラー画像を得るには、上記の信号演算処理は行わず、得られた各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行えばよい。その際、透光板２に配置されたＣｙフィルタ、Ｙｅフィルタによって入射光の損失や色温度ずれが発生し得るが、これらの色フィルタの光透過率が高いため、入射光の損失を従来技術の場合よりも小さくできる。また、全体的な色のずれが発生しても白バランスの調整により対処できる。このように、本実施形態の撮像装置によれば、光利用率の高い良好なカラー画像を得ることができる。

なお、カラー画像を得る際に、各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行うのではなく、式４におけるＣｉ３の項だけを利用してカラー情報を得てもよい。すなわち、式５に基づいてＣｉ３を求めた後、Ｍｘ１３×Ｃｉ３をＲの光量、Ｍｘ２３×Ｃｉ３をＧの光量、Ｍｘ３３×Ｃｉ３をＢの光量とすることによってもカラー画像を得ることができる。

ここで得られた画像信号Ｃｉ１とＣｉ２とを用いて、視差信号を生成し、距離情報の算出を行うことが考えられる。距離情報の算出ができれば、カラー画像における視差信号の生成や、任意視点の画像生成、前景と背景の切り出しなど、様々な応用が可能となる。

一般に、距離情報を算出するためには、画像信号Ｃｉ１の各画素と画像信号Ｃｉ２の各画素との対応を求める必要がある。画素の対応を求めるとは、画像信号Ｃｉ１における特定の画素に写る被写体の３次元中の点ｐが、画像信号Ｃｉ２のどの画素に写っているかを探索することである。画像信号Ｃｉ１において座標（ｘ１，ｙ１）で表される画素に写る被写体が画像信号Ｃｉ２において座標（ｘ２，ｙ２）で表される画素に写っているとする。このとき、対応する画素間の距離（座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）との距離であり、ユークリッド距離や市街地距離など）が求められれば、カメラから被写体までの距離を計算することができる。この対応する画素間の距離を本実施形態では「視差量」と呼ぶ。

以下、図５を参照しながら、カメラから被写体までの距離計測の原理を説明する。図５は、透光板２、被写体９、および撮像素子１の配置関係を示す模式図である。なお、図５において、レンズ３（不図示）の中心は透光板２の中心の位置にあるものと仮定している。図５において、レンズ３の焦点距離をｆ、透光板２から被写体９までの距離をｚ、カメラが被写体９を撮影したときに生じる視差量をｄ、領域Ｃ１、Ｃ２の中心間の距離をＬとする。このとき、一般的な二眼ステレオの原理から、距離ｚは以下の式６によって求められる。
（式６） ｚ＝ｆＬ／ｄ
焦点距離ｆと領域Ｃ１、Ｃ２間の距離Ｌは事前に求められるので、視差量ｄがわかれば、距離ｚが求められる。これにより、被写体までの距離情報を求めることができる。

画像信号Ｃｉ１の特徴点と、その特徴点に対応する画像信号Ｃｉ２の特徴点との視差量を求めるための既存の方法として、濃淡値の類似度に基づいて対応点の座標を求める方法がある。例えば、画像を複数の小ブロックに分割し、ブロック同士のＳＡＤ（絶対誤差）やＳＳＤ（二乗誤差）を算出する方法がある。類似するブロックから算出された誤差は小さくなるため、誤差が最小となるブロックの組合せを決定することで信号Ｃｉ１と信号Ｃｉ２との間の対応点を求めることができる。これにより、視差量ｄを算出できる。

しかしながら、画像信号Ｃｉ１およびＣｉ２は、一般に対応点同士の濃淡値が異なるため、上記の方法で視差量ｄを求めると誤差が生じる。画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、それぞれ被写体から透過領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度を示す信号である。したがって、透過領域Ｃ１、Ｃ２を透過した光の強度を求めれば、各領域に入射するシアン光（緑光および青光）および黄光（赤光および緑光）の強度を求めることができる。透過領域Ｃ１、Ｃ２を透過した光の強度を示す信号は、それぞれＣｉ１ΣＴｗＴｃｙおよびＣｉ２ΣＴｗＴｙｅで表される。しかしながら、透過領域Ｃ１とＣ２とは透過波長域が異なるため、被写体が有彩色の場合、視差を有する信号Ｃｉ１ΣＴｗＴｃｙおよびＣｉ２ΣＴｗＴｙｅについても対応点同士の濃淡値は互いに異なる。

図６（ａ）、（ｂ）、（ｃ）は、それぞれ撮影画像（カラー画像）、Ｃｉ１ΣＴｗＴｃｙで表される画像、Ｃｉ２ΣＴｗＴｙｅで表される画像を示す図である。これらの画像の背景にはカラーチャート（色比較表）が置かれている。図６（ａ）の矢印は、カラーチャートの一部の区画が何色であるかを示している。例えば、被写体が青い場合、ＣｙフィルタＣ１を透過する光の強度を示す信号Ｃｉ１ΣＴｗＴｃｙの濃淡値は、ＹｅフィルタＣ２を透過する光の強度を示す信号Ｃｉ２ΣＴｗＴｙｅの濃淡値よりも大きくなる。したがって、図６（ｂ）における青い区画の部分は、図６（ｃ）における青い区画の部分よりも明るくなる。逆に、図６（ｂ）における黄色い区画の部分は、図６（ｃ）における黄色い区画の部分よりも暗くなる。このように、被写体が有彩色の場合にはＣｉ１ΣＴｗＴｃｙとＣｉ２ΣＴｗＴｙｅとで濃淡値が異なる。このため、濃淡値の類似度に基づく既存のマッチング方法を利用することができない。

特許文献３には、絞りにＲ、Ｇ、Ｂの色フィルタを配置し、各色フィルタを透過した光によって生成される視差を有する３枚の画像を用いて視差量を求める方法が開示されている。この方法では、Ｒ、Ｇ、Ｂの各成分の間に視差が生じていない通常の自然画像においては、局所的にＲ、Ｇ、Ｂの値の分布が（Ｒ，Ｇ，Ｂ）の３次元空間（３次元色空間）で線型になるという性質が利用される。すなわち、Ｒ画像、Ｇ画像、Ｂ画像との間に視差が生じていない場合、（Ｒ，Ｇ，Ｂ）の３次元空間における画素値の分布は直線状になり、視差が生じている場合、分布は直線状にはならない。したがって、視差量を仮にｄとし、ｄの値をある範囲内で変動させたときに、（Ｒ，Ｇ，Ｂ）の分布が直線からどの程度ずれているかを示す量が最小となるｄの値を求めることによって視差を推定することができる。このように、色成分によって視差が生じていない自然画像では局所的に３次元色空間上の分布が直線状になるモデルを「線型色モデル（color lines model）」と呼ぶ。線型色モデルについての詳細は、例えば非特許文献１に開示されている。

本実施形態における撮像装置は、上記の特許文献３の方法と同様、線型色モデルを利用して画像間の視差を求める。ただし、本実施形態では、特許文献３とは異なり、各画素信号Ｒｓ、Ｇｓ、Ｂｓは、特定の透過領域に直接対応しているわけではなく、複数の透過領域Ｃ１、Ｃ２、Ｃ３から入射する光によって生成される信号成分が重畳する。よって、Ｃ１、Ｃ２、Ｃ３に入射する光の強度に応じた３つの信号であり、かつ互いに異なる色成分を表す３つの信号を生成する必要がある。

本実施形態では、透光板２の透過領域における色フィルタとして、ＣｙおよびＹｅの２種類の補色フィルタが用いられる。そこで、まず、各色成分の間で視差が生じていない場合、補色系においてもＲ、Ｇ、Ｂを利用する既存の方法と同様、補色（Ｃｙ、マゼンタ（Ｍｇ）、Ｙｅ）の３次元空間上で各画像の画素値（Ｃｙ、Ｍｇ、Ｙｅ）の分布が直線状になることを示す。

原色系で線型な分布となる画素値の集合が、補色系でも線型な分布となるためには、原色と補色とが線型な関係にあればよい。ここで、原色Ｒ、Ｇ、Ｂと補色Ｃｙ、Ｍｇ、Ｙｅとの関係は次の式７で表される。

（式７） （Ｒ、Ｇ、Ｂ）＝（ｂｉｔ―Ｃｙ、ｂｉｔ−Ｍｇ、ｂｉｔ−Ｙｅ）
定数ｂｉｔは１画素の信号の最大値であり、例えば８ビット画像であれば２５５である。式７より、補色と原色とは線型変換が可能であるため、局所線型性の関係は補色の３次元空間でも成立することがわかる。図７は、原色系における直線が補色系でも直線になる例を示している。図７（ａ）は、Ｒ、Ｇ、Ｂの３次元色空間における直線を示し、図７（ｂ）は、Ｃｙ、Ｍｇ、Ｙｅの３次元色空間における対応する直線を示している。このように、線型色モデルを利用した視差の推定は補色系においても有効である。

以上の事から、補色系の視差を有する３枚の画像から視差量を推定することができる。以下、Ｃｙ領域、Ｙｅ領域、および透明領域からなる透光板２を用いた撮像によって得られるＲＧＢの画素信号から、視差を有するＣｙ、Ｍｇ、Ｙｅの３つの画像信号を生成する手順を説明する。続いて、これらの画像の間の視差量を推定し、被写体の距離情報を算出する手順を説明する。

図８は、信号処理部２００における処理の概略手順を示すフロー図である。撮影が完了すると、画像生成部７は、撮影によって得られた画素信号Ｒｓ、Ｇｓ、Ｂｓから視差を有する３つの補色画像（視差補色画像）を生成する（Ｓ１００）。次に、視差推定部４０は、３次元色空間における色線型性を利用して３つの視差補色画像間の視差量を推定する（Ｓ２００）。最後に、距離情報生成部５０は、推定された視差量に基づいて、式６により、各画素に写る被写体の距離情報を算出する（Ｓ３００）。

以下、各処理の詳細を説明する。

まず、Ｃｙ領域、Ｙｅ領域、透明領域を有する透光板２を用いた撮像によって得られる画素信号Ｒｓ、Ｇｓ、Ｂｓから、視差を有する３つの補色画像信号Ｃｓ、Ｙｓ、Ｍｓを生成する手順を説明する。画像生成部７は、式１、式２、式３のそれぞれをＴｗで除算することにより、以下の式８、式９、式１０でそれぞれ表される信号Ｒｔ、Ｇｔ、Ｂｔを得る。

（式８）Ｒｔ＝Ｒｓ／Ｔｗ＝Ｃｉ１ΣＴｃｙＴｒ＋Ｃｉ２ΣＴｙｅＴｒ＋Ｃｉ３ΣＴｒ
（式９）Ｇｔ＝Ｇｓ／Ｔｗ＝Ｃｉ１ΣＴｃｙＴｇ＋Ｃｉ２ΣＴｙｅＴｇ＋Ｃｉ３ΣＴｇ
（式１０）Ｂｔ＝Ｂｓ／Ｔｗ＝Ｃｉ１ΣＴｃｙＴｂ＋Ｃｉ２ΣＴｙｅＴｂ＋Ｃｉ３ΣＴｂ
Ｃｙは、ＧおよびＢの波長域を有するため、本実施形態では、以下の式１１で表されるＧｔ＋Ｂｔ−ＲｔをＣｙ成分の画像信号Ｃｓと定義する。

（式１１） Ｃｓ＝Ｇｔ＋Ｂｔ−Ｒｔ
＝ Ｃｉ１（ΣＴｃｙＴｇ＋ΣＴｃｙＴｂ−ΣＴｃｙＴｒ）
＋Ｃｉ２（ΣＴｙｅＴｇ＋ΣＴｙｅＴｂ−ΣＴｙｅＴｒ）
＋Ｃｉ３（ΣＴｇ＋ΣＴｂ−ΣＴｒ）
同様に、以下の式１２、１３で表される信号をそれぞれＭｇ、Ｙｅ成分の画像信号Ｍｓ、Ｙｓと定義する。

（式１２） Ｍｓ＝Ｒｔ＋Ｂｔ−Ｇｔ
＝ Ｃｉ１（ΣＴｃｙＴｒ＋ΣＴｃｙＴｂ−ΣＴｃｙＴｇ）
＋Ｃｉ２（ΣＴｙｅＴｒ＋ΣＴｙｅＴｂ−ΣＴｙｅＴｇ）
＋Ｃｉ３（ΣＴｒ＋ΣＴｂ−ΣＴｇ）
（式１３） Ｙｓ＝Ｒｔ＋Ｇｔ−Ｂｔ
＝ Ｃｉ１（ΣＴｃｙＴｒ＋ΣＴｃｙＴｇ−ΣＴｃｙＴｂ）
＋Ｃｉ２（ΣＴｙｅＴｒ＋ΣＴｙｅＴｇ−ΣＴｙｅＴｂ）
＋Ｃｉ３（ΣＴｒ＋ΣＴｇ−ΣＴｂ）
ここで、Ｃｙフィルタの透過波長域にはＲの波長域が殆ど含まれず、Ｙｅフィルタの透過波長域にはＢの波長域が殆ど含まれないため、ΣＴｃｙＴｒ≒ΣＴｙｅＴｂ≒０となる。また、Ｃｙフィルタの透過波長域はＧの波長域とＢの波長域とをほぼ等しく含み、Ｙｅフィルタの透過波長域はＧの波長域とＲの波長域とをほぼ等しく含むと仮定する。すると、ΣＴｃｙＴｇ≒ΣＴｃｙＴｂ、およびΣＴｙｅＴｇ≒ΣＴｙｅＴｒが成立する。さらに、撮像素子１の各画素に対向する色フィルタの分光透過率の積算値は全ての色成分について等しいと仮定する。すなわち、ΣＴｒ≒ΣＴｇ≒ΣＴｇが成立するものとする。以上の仮定により、式１１、１２、１３は、それぞれ以下の式１４、１５、１６に書き替えられる。

（式１４） Ｃｓ＝Ｇｔ＋Ｂｔ―Ｒｔ
＝Ｃｉ１（ΣＴｃｙＴｇ＋ΣＴｃｙＴｂ）＋Ｃｉ３ΣＴｇ
（式１５） Ｍｓ＝Ｒｔ＋Ｂｔ―Ｇｔ
＝Ｃｉ３ΣＴｒ
（式１６） Ｙｓ＝Ｒｔ＋Ｇｔ―Ｂｔ
＝Ｃｉ２（ΣＴｙｅＴｒ＋ΣＴｙｅＴｇ）＋Ｃｉ３ΣＴｇ
式１４は、式１１からＣｉ２の項が除去されている。式１４の第１項はＣｙ領域を透過する光の量を表しており、Ｃｉ１のみに依存している。第２項は透明領域Ｃｉ３を透過してＧフィルタを透過する光の量を表している。ここで、Ｇの波長域の光（Ｇ光）は、Ｃｙ領域、Ｙｅ領域、透明領域の全ての領域を透過する光である。したがって、第２項は、全ての透過領域を透過するＧ光の量に、透光板２の面積に対する領域Ｃ３の面積の割合を掛けた量を示すため、明るさに関するオフセットと考えることができる。オフセットがある場合でも、補色系の３次元空間の分布が全体的にシフトするだけであるため、線型性の算出には影響しない。

同様に、式１５は、式１２からＣｉ１およびＣｉ２の成分が除去されている。式１６は、式１３からＣｉ１の成分が除去されている。このようにして、ＲＧＢの画素信号から、式１４〜１６に示す演算を行うことにより、視差を有する３つの補色画像の濃淡値が得られる。

次に、視差量の推定方法を説明する。

まず、Ｍｇ画像に対するＣｙ画像およびＹｅ画像の視差量をｄ画素とする。すると、Ｃｙ画像の値（画素値）をＩｃｙ（ｘ―ｄ，ｙ）、Ｙｅ画像の値（画素値）をＩｙｅ（ｘ＋ｄ、ｙ）、Ｍｇ画像の値（画素値）をＩｍｇ（ｘ，ｙ）とし、それらが実世界上の同一の点を示していることを、局所領域における補色の線型性を利用して求めればよい。

ある画素（ｘ，ｙ）において局所領域における線型性を利用して視差量ｄを求めるためには、次のようにすればよい。局所的な画素値の分布が直線状に分布するか否かを判定することによって視差量ｄが求められる。画素（ｘ，ｙ）の近傍領域の画素値の集合を次の式１７で定義する。

（式１７） Ｐ＝｛Ｉｃｙ（ｓ−ｄ，ｔ），Ｉｍｇ（ｓ，ｔ），Ｉｙｅ（ｓ＋ｄ，ｔ）｜（ｓ，ｔ）は（ｘ，ｙ）周りの近傍画素｝
図９は、Ｃｙ画像、Ｍｇ画像、Ｙｅ画像の各々における対応点の近傍領域の画素ブロック６０ａ、６０ｂ、６０ｃを示す図である。ここで、Ｍｇ画像における対応点の座標を（ｘ、ｙ）としている。視差量がｄ画素であるため、Ｃｙ画像は、Ｍｇ画像に比べて水平方向にーｄ画素だけ対応点がずれる。同様に、Ｙｅ画像は、Ｍｇ画像に比べて水平方向に＋ｄ画素だけ対応点がずれる。したがって、Ｍｇ画像における点（ｘ、ｙ）の近傍の画素ブロック６０ｂは、Ｃｙ画像では点（ｘ−ｄ、ｙ）の近傍の画素ブロック６０ａに対応し、Ｙｅ画像では点（ｘ＋ｄ、ｙ）の近傍の画素ブロック６０ｃに対応する。

式１７によって得られる分布に直線を当てはめ、当てはめた直線からの二乗平均を線型色モデルからの誤差Ｅｒ（ｘ，ｙ，ｄ）とする。直線を求めるためには、補色の３次元空間の分布から、分布の広がり方向である主軸を算出すればよい。そのために、まずＰの共分散行列Ｓを求める。集合Ｐの主軸は、共分散行列の最大固有値λｍａｘに対する固有ベクトルである。分布が直線状であるとき、Ｃｙ、Ｙｅ、Ｍｇの各画像の局所領域内の分散の和とλｍａｘは等しい値となる。すなわち、誤差Ｅｒ（ｘ，ｙ，ｄ）は、次の式１８で表される。

（式１８） Ｅｒ（ｘ，ｙ，ｄ）＝Ｓ００＋Ｓ１１＋Ｓ２２―λｍａｘ
ここで、Ｓ００，Ｓ１１，Ｓ２２は、以下の式１９、式２０、式２１で表される値であり、それぞれＣｙ、Ｍｇ、Ｙｅの分散である。

（式１９）Ｓ００＝Σ（Ｉｃｙ（ｓ―ｄ，ｔ）−ａｖｇ（Ｉｃｙ））２／Ｎ
（式２０）Ｓ１１＝Σ（Ｉｍｇ（ｓ，ｔ）−ａｖｇ（Ｉｍｇ））２／Ｎ
（式２１）Ｓ２２＝Σ（Ｉｙｅ（ｓ＋ｄ，ｔ）−ａｖｇ（Ｉｙｅ））２／Ｎ
ここで、Ｎは集合Ｐに含まれる画素数、ａｖｇ（Ｉｃｙ）、ａｖｇ（Ｉｍｇ）、ａｖｇ（Ｉｙｅ）は各成分の平均値であり、次の式２２、式２３、式２４で表される。

（式２２）ａｖｇ（Ｉｃｙ）＝ΣＩｃｙ（ｓ―ｄ，ｔ）／Ｎ
（式２３）ａｖｇ（Ｉｍｇ）＝ΣＩｍｇ（ｓ，ｔ）／Ｎ
（式２４）ａｖｇ（Ｉｙｅ）＝ΣＩｙｅ（ｓ＋ｄ，ｔ）／Ｎ
式１８で表される誤差Ｅｒ（ｘ，ｙ，ｄ）が大きければ、視差量がｄであるという仮定が誤りである可能性が高いことを意味する。

図１０（ａ）は、誤差Ｅｒが比較的小さい場合の３次元色空間における点集合の分布の例を示している。一方、図１０（ｂ）は、誤差Ｅｒが比較的大きい場合の３次元色空間における点集合の分布の例を示している。この図の例では、図１０（ｂ）に示す分布よりも図１０（ａ）に示す分布の方が直線ｌに近いため、図１０（ａ）における視差量の推定値ｄがより正しい視差量であると判定される。

以上のことから、視差量の推定値ｄを一定の範囲で変化させ（例えば、ｄを−２０から２０まで１ずつ変化させ）、Ｅｒ（ｘ，ｙ，ｄ）が最小となるｄを座標（ｘ，ｙ）における視差量とすればよい。以上の処理を各画素について行うことにより、３つの視差補色画像間の視差の算出が可能となる。

以下、視差推定部４０の構成および処理の手順を具体的に説明する。

図１１は、視差推定部４０の構成を示すブロック図である。視差推定部４０は、画像生成部７によって生成された３つの視差補色画像から画素ごとに画素ブロックを抽出する画素ブロック抽出部４２と、各画素ブロックにおける画素値の集合から直線に対するずれの程度を判定するずれ判定部４４と、判定結果に基づいて視差量を決定する視差量決定部４６とを含んでいる。視差量決定部４６によって画素ごとに決定された視差量ｄは、距離情報生成部５０に出力される。

図１２は、視差推定部４０による処理の手順を示すフロー図である。画像生成部７によって３つの視差補色画像が生成されると、各画像について画素ごとに以下の手順で視差量を推定する。まずステップＳ２０２において、画素ブロック抽出部４２は、Ｃｙ画像およびＹｅ画像がＭｇ画像から何画素ずれているかを示す視差量の推定値ｄを複数の候補の中から設定する。次に、ステップＳ２０３において、推定した視差量ｄに応じて３つの画像の各々から画素ブロックを抽出する。続いて、ステップＳ２０４において、式１７に基づき、３つの画素ブロックの画素値の集合から３次元色空間上の点集合を求める。次に、ステップＳ２０５において、ずれ判定部４４は、３次元色空間上の点集合の分布が直線からどの程度ずれているかを式１８に基づいて判定する。視差量の推定値ｄの全候補について判定が完了していない場合は、ステップＳ２０７において、視差推定値ｄを他の候補値に変更してステップＳ２０３〜Ｓ２０５を繰り返す。視差量の推定値ｄの全候補について判定が完了した場合は、ステップＳ２０８において、視差量決定部４６は、式１８で示される誤差Ｅｒ（ｘ，ｙ，ｄ）が最小となるｄを座標（ｘ，ｙ）における真の視差量として決定する。視差推定部４０は、以上の処理を各画素について実行することにより、３つの視差補色画像間の視差を求める。

以上の処理により、画素ごとの視差量の分布（disparity map）が得られ、距離情報を算出することができる。距離情報生成部５０は、視差推定部４０によって得られた視差情報から、式６に基づいて被写体の距離を画素ごとに算出する。

以上のように、本実施形態の撮像装置によれば、Ｃｙの波長域の光を透過させるＣｙ領域、Ｙｅの波長域の光を透過させるＹｅ領域、および透明部材で形成される透明領域からなる透光板２を用いて撮像を行う。その結果、視差を有する複数の画像およびカラー画像を生成することができる。さらに、上述した信号処理を行えば、視差を有する３つの補色画像を生成することができる。生成した３つの補色画像から視差情報を求めることにより、被写体の距離情報を得ることができる。

なお、本実施形態の撮像装置は、３つの視差補色画像から視差情報および距離情報を生成するが、撮像装置は視差情報のみを生成するように構成されていてもよい。また、信号演算による画像の生成処理、視差情報生成処理、および距離情報生成処理の少なくとも一部を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても本実施形態と同様の効果を得ることができる。

また、本実施形態における画像生成部７は、視差を有する３つの視差補色画像、光利用率の高い白黒画像およびカラー画像を生成することができるが、これらの画像を全て生成することは必須ではない。画像生成部７は、少なくとも視差を有する３つの画像を生成するように構成されていればよい。

以上の説明では、透光板２の透過領域は、Ｃｙ領域、Ｙｅ領域、透明領域の組み合わせで構成されるが、本発明では、このような組み合わせに限られない。Ｃｙ、Ｙｅの組み合わせの代わりにＣｙ、Ｍｇの組合せ、またはＭｇ、Ｙｅの組合せを用いても同様の処理により、画素信号から視差を有する補色系の画像信号に変換することができる。

（実施形態２）
次に、図１３を参照しながら、本発明の第２の実施形態を説明する。本実施形態の撮像装置は、透光板２および３つの視差補色画像の生成方法が実施家形態１と異なるだけであり、それ以外は実施形態１と同じである。したがって、以下の説明では、実施形態１と異なる点のみを説明し、重複する点は説明を省略する。

図１３は、本実施形態における透光板２の構成を示す正面図である。本実施形態における透光板２は、Ｃｙ光を透過するＣｙ領域Ｃ１、Ｙｅ光を透過するＹｅ領域Ｃ２、Ｍｇ光を透過するＭｇ領域Ｃ３を含んでいる。領域Ｃ１、Ｃ２、Ｃ３は、それぞれＣｙフィルタ、Ｙｅフィルタ、Ｍｇフィルタで形成される。また、透光板２の領域Ｃ１〜Ｃ３以外の領域は遮光性部材で形成される。

なお、本実施形態において、透過領域Ｃ１、Ｃ２、Ｃ３の形状、面積、位置関係は、図１３に示す例に限らず、任意に設定可能である。

本実施形態でも各フィルタの分光透過率を実施形態１と同様に表現する。Ｍｇフィルタの分光透過率をＴｍｇとすると、式８、式９、式１０に対応する信号は、本実施形態では次の式２５、式２６、式２７でそれぞれ表される。

（式２５）Ｒｔ＝Ｒｓ／Ｔｗ＝Ｃｉ１ΣＴｃｙＴｒ＋Ｃｉ２ΣＴｙｅＴｒ＋Ｃｉ３ΣＴｍｇＴｒ
（式２６）Ｇｔ＝Ｇｓ／Ｔｗ＝Ｃｉ１ΣＴｃｙＴｇ＋Ｃｉ２ΣＴｙｅＴｇ＋Ｃｉ３ΣＴｍｇＴｇ
（式２７）Ｂｔ＝Ｂｓ／Ｔｗ＝Ｂｔ＝Ｃｉ１ΣＴｃｙＴｂ＋Ｃｉ２ΣＴｙｅＴｂ＋Ｃｉ３ΣＴｍｇＴｂ
本実施形態においても、以下の式２８で表されるＧｔ＋Ｂｔ−ＲｔをＣｙ成分の画像信号Ｃｓと定義する。

（式２８） Ｃｓ＝Ｇｔ＋Ｂｔ−Ｒｔ
＝ Ｃｉ１（ΣＴｃｙＴｇ＋ΣＴｃｙＴｂ−ΣＴｃｙＴｒ）
＋Ｃｉ２（ΣＴｙｅＴｇ＋ΣＴｙｅＴｂ−ΣＴｙｅＴｒ）
＋Ｃｉ３（ΣＴｍｇＴｇ＋ΣＴｍｇＴｂ−ΣＴｍｇＴｒ）
同様に、以下の式２９、３０で表される信号をそれぞれＭｇ、Ｙｅ成分の画像信号Ｍｓ、Ｙｓと定義する。

（式２９） Ｍｓ＝Ｒｔ＋Ｂｔ−Ｇｔ
＝ Ｃｉ１（ΣＴｃｙＴｒ＋ΣＴｃｙＴｂ−ΣＴｃｙＴｇ）
＋Ｃｉ２（ΣＴｙｅＴｒ＋ΣＴｙｅＴｂ−ΣＴｙｅＴｇ）
＋Ｃｉ３（ΣＴｍｇＴｒ＋ΣＴｍｇＴｂ−ΣＴｍｇＴｇ）
（式３０） Ｙｓ＝Ｒｔ＋Ｇｔ−Ｂｔ
＝ Ｃｉ１（ΣＴｃｙＴｒ＋ΣＴｃｙＴｇ−ΣＴｃｙＴｂ）
＋Ｃｉ２（ΣＴｙｅＴｒ＋ΣＴｙｅＴｇ−ΣＴｙｅＴｂ）
＋Ｃｉ３（ΣＴｍｇＴｒ＋ΣＴｍｇＴｇ−ΣＴｍｇＴｂ）
ここで、Ｃｙ、Ｙｅ、Ｍｇフィルタの透過波長域には、それぞれＲ、Ｂ、Ｇの波長域が殆ど含まれないため、ΣＴｃｙＴｒ≒ΣＴｙｅＴｂ≒ΣＴｍｇＴｇ≒０となる。また、Ｃｙフィルタの透過波長域はＧおよびＢの波長域をほぼ等しく含み、Ｙｅフィルタの透過波長域はＧおよびＲの波長域をほぼ等しく含み、Ｍｇフィルタの透過波長域はＲおよびＢの波長域をほぼ等しく含むと仮定する。すると、ΣＴｃｙＴｇ≒ΣＴｃｙＴｂ、ΣＴｙｅＴｇ≒ΣＴｙｅＴｒ、ΣＴｍｇＴｒ≒ΣＴｍｇＴｂが成立する。さらに、撮像素子１の各画素に対向する色フィルタの分光透過率の積算値は全ての色成分について等しいと仮定する。すなわち、ΣＴｒ≒ΣＴｇ≒ΣＴｇが成立するものとする。以上の仮定により、式２８、２９、３０は、それぞれ以下の式３１、３２、３３に書き替えられる。

（式３１） Ｃｓ＝Ｇｔ＋Ｂｔ―Ｒｔ
＝Ｃｉ１（ΣＴｃｙＴｇ＋ΣＴｃｙＴｂ）
（式３２） Ｍｓ＝Ｒｔ＋Ｂｔ―Ｇｔ
＝Ｃｉ３（ΣＴｍｇＴｒ＋ΣＴｃｙＴｂ）
（式３３） Ｙｓ＝Ｒｔ＋Ｇｔ―Ｂｔ
＝Ｃｉ２（ΣＴｙｅＴｒ＋ΣＴｙｅＴｇ）
以上より、本実施形態では、３つの視差補色画像を示す信号Ｃｓ、Ｙｓ、Ｍｓは、それぞれ領域Ｃｉ１、Ｃｉ２、Ｃｉ３に入射する光に対応する信号となる。各信号に他の領域からの光の成分が混入しないため、本実施形態の構成では、視差量の推定精度が実施形態１における構成よりも向上する。

（実施形態３）
次に、図１４を参照しながら、本発明の第３の実施形態を説明する。本実施形態の撮像装置は、透光板２および３つの視差補色画像の生成方法が実施形態１と異なるだけであり、それ以外は実施形態１と同じである。したがって、以下の説明では、実施形態１と異なる点のみを説明し、重複する点は説明を省略する。

図１４は、本実施形態における透光板２の構成を示す正面図である。本実施形態における透光板２は、Ｃｙ光を透過するＣｙ領域Ｃ１、Ｙｅ光を透過するＹｅ領域Ｃ２、Ｍｇ光を透過するＭｇ領域Ｃ３、および透明領域Ｃ４を含んでいる。領域Ｃ１、Ｃ２、Ｃ３、Ｃ４は、それぞれＣｙフィルタ、Ｙｅフィルタ、Ｍｇフィルタ、透明部材で形成される。

本実施形態では、透光板を４つの領域に分割し、各領域Ｃ１、Ｃ２、Ｃ３、Ｃ４を通過した光による信号成分Ｃｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４を利用する。各領域の配置については、例えば、図１４に示すように、透光板の上部にＣ１、左下にＣ２、右下にＣ３が配置され、それ以外の領域をＣ４として構成される。領域Ｃ１、Ｃ２、Ｃ３によって三方向の視差を得ることができる。

以上の構成により、式８、９、１０に対応する信号は、本実施形態では以下の式３４、３５、３６でそれぞれ表される。

（式３４）Ｒｔ＝Ｒｓ／Ｔｗ＝Ｒｔ＝Ｃｉ１ΣＴｃｙＴｒ＋Ｃｉ２ΣＴｙｅＴｒ＋Ｃｉ３ΣＴｍｇＴｒ＋Ｃｉ４
（式３５）Ｇｔ＝Ｇｓ／Ｔｗ＝Ｇｔ＝Ｃｉ１ΣＴｃｙＴｇ＋Ｃｉ２ΣＴｙｅＴｇ＋Ｃｉ３ΣＴｍｇＴｇ＋Ｃｉ４
（式３６）Ｂｔ＝Ｂｓ／Ｔｗ＝Ｂｔ＝Ｃｉ１ΣＴｃｙＴｂ＋Ｃｉ２ΣＴｙｅＴｂ＋Ｃｉ３ΣＴｍｇＴｂ＋Ｃｉ４
実施形態１、２と同様にして、式３４、３５、３６を、以下の式３７、式３８、式３９に変換することができる。

（式３７）Ｃｓ＝Ｇｔ＋Ｂｔ−Ｒｔ＝Ｃｉ１（ΣＴｃｙＴｇ＋ΣＴｃｙＴｂ）＋Ｃｉ４
（式３８）Ｍｓ＝Ｒｔ＋Ｂｔ−Ｇｔ＝Ｃｉ３（ΣＴｍｇＴｒ＋ΣＴｃｙＴｂ）―Ｃｉ４
（式３９）Ｙｓ＝Ｇｔ＋Ｒｔ＋Ｂｔ＝Ｃｉ２（ΣＴｙｅＴｇ＋ΣＴｙｅＴｒ）＋Ｃｉ４
以上の処理により、領域Ｃ１、Ｃ２、Ｃ３に入射する光に対応する信号Ｃｉ１、Ｃｉ２、Ｃｉ３に透明領域を通過する信号Ｃｉ４を加算または減算した信号を得ることができる。

本実施形態における透光板２によれば、３方向から入射する光による信号を算出できるため、図１４に示す横方向および縦方向の両方についての色ずれを考慮して色線型性に基づく視差情報を得ることができる。これにより、直線など、特徴を得にくい形状やテクスチャ領域における視差量推定の精度が向上する。また、透明領域を有する透光板であるため、高感度な二次元のカラー画像も同時に得られるという利点がある。

なお、本実施形態における領域Ｃ４には透明部材が設けられるが、領域Ｃ４に赤、緑、青のいずれかの色フィルタが配置されていてもよい。一例として、領域Ｃ４に緑フィルタが配置された透光板２を図１５に示す。このような透光板２を用いても、同様の処理により、視差情報および奥行情報を得ることができる。

以上の実施形態１〜３では、透光板（光透過部）２における透過領域の数は３または４であるが、本発明における光透過部の透過領域の数は５以上であってもよい。これらの透過領域の透過波長域が互いに異なっていれば、同様の処理により視差情報を得ることができる。また、各透過領域の位置関係に応じて視差の得られる方向を様々に変えることができる。撮影シーンのテクスチャや物体形状や色に応じて、最適な配置関係を決定し、視差を推定することにより、視差量推定の精度が向上する。

また、以上の実施形態１〜３では、透光板２の各透過領域には補色フィルタまたは透明部材が配置されるが、各透過領域の一部に原色フィルタが配置されていてもよい。本発明においては、透過領域の少なくとも１つがシアン、黄、マゼンタ、透明のいずれかの透過波長域を有するように構成されていればよい。原色フィルタと補色フィルタとを組合せることにより、フィルタのバリエーションを様々に変えて撮像することができる。

本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２ 透光板（光透過部）
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像生成部
８ インターフェース部
９ 被写体
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
３０ メモリ
４０ 視差推定部
４２ 画素ブロック抽出部
４４ ずれ判定部
４６ 視差量決定部
５０ 距離情報生成部
６０ａ、６０ｂ、６０ｃ 画素ブロック
１００ 撮像部
１１０ 色フィルタ
１２０ 光感知セル
２００ 信号処理部

Claims (9)

1. 透過波長域が互いに異なる第１、第２、および第３の透過領域を有し、前記第１、第２、および第３の透過領域の少なくとも１つは、シアン、黄、マゼンタのいずれかの波長域の光を透過させる部材、または透明部材で形成されている光透過部と、
   光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、赤の波長域の光の量に応じた第１の光電変換信号を出力するＲ検知セル、緑の波長域の光の量に応じた第２の光電変換信号を出力するＧ検知セル、および青の波長域の光の量に応じた第３の光電変換信号を出力するＢ検知セルを含む固体撮像素子と、
   前記固体撮像素子の撮像面に像を形成する光学系と、
   前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１、第２、および第３の光電変換信号を用いた加減算を含む処理に基づいて前記第１、第２、および第３の透過領域の各々に入射する光の量に応じた３つの混色信号を生成することによって視差を有する３つの画像を生成する画像生成部、および前記３つの画像の間の視差を推定する視差推定部を有する信号処理部と、
   を備える、３次元撮像装置。
2. 前記信号処理部は、前記視差推定部によって推定した前記視差から被写体の距離を示す情報を生成する距離情報生成部をさらに有する、請求項１に記載の３次元撮像装置。
3. 前記視差推定部は、
   前記３つの画像の各画素について、視差量の推定値を複数の候補の中から設定し、前記推定値に基づいて前記３つの画像から画像上の位置が互いにずれた同一サイズの３つの画素ブロックをそれぞれ抽出する画素ブロック抽出部と、
   前記３つの画素ブロックの画素値の集合によって規定される３次元色空間上の点集合の分布が直線からどの程度ずれているかを判定するずれ判定部と、
   前記ずれ判定部によって判定された直線からのずれの程度が最小となる前記推定値を各画素における視差量として決定する視差量決定部と、
   を含む、請求項１または２に記載の３次元撮像装置。
4. 前記第１の透過領域は、シアン、黄、およびマゼンタのうちの１つの波長域の光を透過させる部材で形成され、前記第２の透過領域は、シアン、黄、およびマゼンタのうちの他の１つの波長域の光を透過させる部材で形成され、前記第３の透過領域は、透明部材で形成されている、請求項１から３のいずれかに記載の３次元撮像装置。
5. 前記第１、第２、および第３の透過領域は、それぞれシアン、黄、およびマゼンタの波長域の光を透過させる部材で形成されている、請求項１から４のいずれかに記載の３次元撮像装置。
6. 前記光透過部は、第４の透過領域を有し、前記第４の透過領域は、赤、緑、および青のいずれかの波長域の光を透過させる部材、または透明部材で形成されている、請求項５に記載の３次元撮像装置。
7. 透過波長域が互いに異なる第１、第２、および第３の透過領域を有し、前記第１、第２、および第３の透過領域の少なくとも１つは、シアン、黄、マゼンタのいずれかの波長域の光を透過させる部材、または透明部材で形成されている光透過部と、
   光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、赤の波長域の光の量に応じた第１の光電変換信号を出力するＲ検知セル、緑の波長域の光の量に応じた第２の光電変換信号を出力するＧ検知セル、および青の波長域の光の量に応じた第３の光電変換信号を出力するＢ検知セルを含む固体撮像素子と、
   前記固体撮像素子の撮像面に像を形成する光学系と、
   を備える撮像装置から出力される信号を処理する信号処理方法であって、
   前記第１、第２、および第３の光電変換信号を用いた加減算を含む処理に基づいて前記第１、第２、および第３の透過領域の各々に入射する光の量に応じた３つの混色信号を生成することによって視差を有する３つの画像を生成するステップと、
   前記３つの画像の間の視差を推定するステップと、
   を含む信号処理方法。
8. 推定した前記視差から被写体の距離を示す情報を生成するステップをさらに含む、請求項７に記載の信号処理方法。
9. 前記視差を推定するステップは、
   前記３つの画像の各画素について、視差量の推定値を複数の候補の中から設定し、前記推定値に基づいて前記３つの画像から画像上の位置が互いにずれた同一サイズの３つの画素ブロックをそれぞれ抽出するステップと、
   前記３つの画素ブロックの画素値の集合によって規定される３次元色空間上の点集合の分布が直線からどの程度ずれているかを判定するステップと、
   判定された直線からのずれの程度が最小となる前記推定値を各画素における視差量として決定するステップと、
   を含む、請求項７または８に記載の信号処理方法。

Images