WO2013027320A1

WO2013027320A1 - 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム

Info

Publication number: WO2013027320A1
Application number: PCT/JP2012/004317
Authority: WO
Inventors: 育規石井; 平本　政夫
Original assignee: パナソニック株式会社
Priority date: 2011-08-25
Filing date: 2012-07-04
Publication date: 2013-02-28
Also published as: CN103098480B; JPWO2013027320A1; US9438890B2; US20150138319A1; JP6034197B2; CN103098480A

Abstract

　画像処理装置７は、視差を有する２つの画像の合焦領域を抽出する合焦領域抽出部７２と、前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求める色変換行列算出部７３と、前記色変換行列を用いて前記２つの画像の一方の色を変換する色変換部７４とを備える。

Description

画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム

　本願は１つの光学系と１つの撮像素子を用いて視差を有する複数の画像を生成する単眼の３次元撮像技術に関する。

　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。

　一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

　３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像：multi-viewpoint images」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。

　例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する技術が特許文献１に開示されている。図１０は、特許文献１に開示された撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。

　以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。

　特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１１は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。

　また、特許文献３にも、特許文献２と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１２は、特許文献３に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。

　特許文献４も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量が算出される。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。

　特許文献５は、口径サイズが互いに異なる２枚の色フィルタが取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。

　上記の特許文献１～５に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。

　以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献６に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。

特開平２－１７１７３７号公報特開２００２－３４４９９９号公報特開２００９－２７６２９４号公報特開２０１０－３８７８８号公報特開２０１０―７９２９８号公報特開２００３－１３４５３３号公報

"平滑化処理の繰返しによるグラフカットを用いた画像セグメンテーション"、永橋知行、　藤吉弘亘、　金出武雄、情報処理学会論文誌ＣＶＩＭ、　Ｖｏｌ．　１、　Ｎｏ．　２、　ｐｐ．　１０－２０、　２００８．

　従来技術によれば、視差を有する複数の画像を取得することができるが、原色（ＲＧＢ）の色フィルタが用いられるため、撮像素子の受光量は減少する。入射光量を十分に確保するためには、特許文献６に記載されているように、色フィルタを機械的駆動によって光路から外す機構を用いて光利用率の高い通常画像を取得する必要がある。しかしながら、そのような機構を設けた場合、装置の大型化および高コスト化を招くという課題がある。

　本発明の実施形態は、上記の課題に鑑み、機械的駆動を行うことなく、光利用率の高い複数視点画像を取得可能な撮像技術を提供する。

　本発明の一態様による画像処理装置は、視差を有する２つの画像の色を整合させる。前記画像処理装置は、前記２つの画像の合焦領域を抽出する合焦領域抽出部と、前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求める色変換行列算出部と、前記色変換行列を用いて前記２つの画像の一方の色を変換する色変換部とを備えている。

　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

　本発明の実施形態によれば、機械的駆動を行うことなく、光利用率の高い複数視点画像を取得することが可能となる。

実施形態における３次元撮像装置の全体構成を示すブロック図である。実施形態における透光板、光学系、および撮像素子の概略構成を示す模式図である。実施形態における透光板の透過領域の配置を示す図である。実施形態における撮像素子の透過フィルタの基本構成を示す図である。実施形態におけるカラー撮像素子の透過フィルタの基本構成を示す図である。実施形態における被写体の合焦状態の例を示す図である。実施形態における画像信号生成部の機能ブロックを示す図である。実施形態における画像信号生成部における色変換処理の流れを示す図である。（ａ）は、実施形態における複数視点画像の一方の例を示す図であり、（ｂ）は、高周波成分を抽出した結果の例を示す図であり、（ｃ）は、合焦領域を算出した結果の例を示す図である。色変換前のＬ画像の各画素の色を変換行列Ｍｃを用いて変換する処理のイメージを示す図である。特許文献における撮像系の構成図である。特許文献における光束制限板の外観図である。特許文献における光束制限板の外観図である。

　（１）上記課題を解決するために、本発明の一態様による画像処理装置は、視差を有する２つの画像の色を整合させる画像処理装置であって、前記２つの画像の合焦領域を抽出する合焦領域抽出部と、前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求める色変換行列算出部と、前記色変換行列を用いて前記２つの画像の一方の色を変換する色変換部とを備える。

　（２）項目（１）に記載の画像処理装置は、ある態様において、前記２つの画像の少なくとも一方の高周波成分を算出する高周波成分算出部をさらに備え、前記合焦領域抽出部は、算出された前記高周波成分に基づいて、前記合焦領域を抽出する。

　（３）項目（２）に記載の画像処理装置のある態様において、前記合焦領域抽出部は、前記高周波成分の量が予め決定された閾値よりも多い高周波画素の近傍を合焦領域として抽出する。

　（４）項目（３）に記載の画像処理装置のある態様において、前記合焦領域抽出部は、前記高周波画素を含むｎ画素×ｍ画素（ｎ、ｍは１以上の整数）の矩形領域を前記合焦領域として抽出する。

　（５）項目（３）または（４）に記載の画像処理装置のある態様において、前記合焦領域抽出部は、前記高周波画素を中心とするｎ画素×ｍ画素（ｎ、ｍは１以上の整数）の矩形領域を前記合焦領域として抽出する。

　（６）項目（１）から（５）のいずれかに記載の画像処理装置のある態様において、前記色変換行列算出部は、最小二乗法による線型演算、Ｍ推定法、およびＲＡＮＳＡＣ法のいずれかを用いて前記色変換行列を求める。

　（７）本発明の一態様による３次元撮像装置は、分光透過率特性の互いに異なる２つの透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された撮像素子であって、分光透過率特性の互いに異なる２種類の画素を有する撮像素子と、前記撮像素子から出力される画素信号に基づいて視差を有する２つの画像を生成する画像処理部とを備える。前記画像処理部は、前記２つの画像の合焦領域を抽出する合焦領域抽出部と、前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求める色変換行列算出部と、前記色変換行列を用いて前記２つの画像の一方の色を変換する色変換部とを有する。

　（８）本発明の一態様による画像処理方法は、視差を有する２つの画像の色を整合させる画像処理方法であって、前記２つの画像の合焦領域を抽出するステップと、前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求めるステップと、前記色変換行列を用いて前記２つの画像の一方の色を変換するステップとを含む。

　（９）本発明の一態様による画像処理プログラムは、視差を有する２つの画像の色を整合させる画像処理プログラムであって、コンピュータに対し、前記２つの画像の合焦領域を抽出するステップと、前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求めるステップと、前記色変換行列を用いて前記２つの画像の一方の色を変換するステップとを実行させる。

　以下、添付の図面を参照しながら本発明のより具体的な実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。

　（実施形態）
　図１は、本発明の実施形態による３次元撮像装置（以下、単位「撮像装置」と呼ぶ。）の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００から出力される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

　撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる２つの透過領域を有する透光板２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。

　信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

　なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、透光板２、撮像素子１、画像信号生成部７以外は公知の要素を適宜組み合わせて用いることができる。

　次に、図２～４を参照しながら撮像部１００の構成をより詳細に説明する。

　図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。

　透光板２は、光透過率の波長依存性（分光透過率）が互いに異なる２つの透過領域Ｃ１、Ｃ２を有している。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、本実施形態では、透光板２の透過領域Ｃ１、Ｃ２以外の領域は、遮光性部材で構成されている。

　図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。領域Ｃ１には、可視光の任意の波長域の光を透過させるフィルタＷ１が配置される。領域Ｃ２も同様に、可視光の任意の波長域の光を透過させるフィルタＷ２が配置される。フィルタＷ１とフィルタＷ２とは、透過率の波長依存性が異なっている。すなわち、同じ光がそれぞれのフィルタを通過した場合であっても、透過光の明るさ（輝度）は異なる。フィルタＷ１およびフィルタＷ２は、所望の透過率で光を透過させるものであれば、ガラスやプラスチック、セロファンなど、どのような部材で構成されていてもよい。なお、本実施形態におけるＷ１フィルタおよびＷ２フィルタは、可視光の任意の波長域の光を透過させるが、必ずしもそのような特性を有している必要はない。Ｗ１フィルタおよびＷ２フィルタの一方または両方が一部の波長域の可視光を透過させないように構成されていてもよい。

　ここで、領域Ｃ１および領域Ｃ２は、ｘ方向に離れて配置される。これらの領域の中心間の距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ～数ｃｍに設定され得る。また、領域Ｃ１、Ｃ２は、一般には光軸に対して左右対称で同一面積である。そのような構成により、領域Ｃ１、Ｃ２に入射する光の量を実質的に等しくすることができる。また、用途に応じて上下の視差をもつ複数視点画像を取得したい場合は、領域Ｃ１、Ｃ２を上下に（ｙ方向に沿って）配置してもよい。

　領域Ｃ１、Ｃ２にそれぞれ配置されるフィルタＷ１の透過率とフィルタＷ２の透過率との差が大きい場合には、後述する撮像素子１の各光感知セルによって観測される光電変換信号の値（画素値）の差が大きくなる。そこで、視差を有する２つの画像の全体的な明るさが近くなるように、領域Ｃ１、Ｃ２の面積を調整してもよい。あるいは、ＮＤフィルタなど、可視光域の全ての光の透過率を均等に低下させるフィルタを透光板２と併用することによって領域Ｃ１、Ｃ２を透過する光の量が同程度になるように調整してもよい。

　図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された透過フィルタアレイが形成されている。光感知セルアレイおよび透過フィルタアレイは、複数の単位要素から構成される。

　各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（光電変換信号、または画素信号）を出力する。また、各透過フィルタは、公知の顔料や誘電体多層膜などを用いて作製され、入射光の少なくとも一部を透過させるように設計されている。以下の説明では、まず、各単位要素が２種類の透過フィルタを含む場合を例に、本実施形態の基本的原理を説明する。

　図４は、本実施形態における透過フィルタアレイの一部を模式的に示す図である。図示されるように、撮像面１ａ上には多数の透過フィルタ１１０が行列状に配列されている。近接する２つの透過フィルタ１１０およびそれらに対向する２つの光感知セル１２０が１つの単位要素を構成している。各単位要素が有する２つの透過フィルタＤ１、Ｄ２は、いずれも可視光域の任意の光を透過させるが、分光透過率が互いに異なる。すなわち、透過フィルタＤ１、Ｄ２のいずれも、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長域の光を透過させるが、それらの透過率の波長依存性は異なっている。なお、図４に示される例では、１つの単位要素に含まれる２つの光感知セル１２０は、横（ｘ方向）に並べられているが、本発明はこのような例に限られない。撮像素子１における光感知セルの配列は、公知のどのような配列であってもよい。

　以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、透過フィルタ１１０を通って光感知セル１２０に入射する。各光感知セル１２０は、透光板２の領域Ｃ１、Ｃ２の各々を透過した光のうち、対向する透過フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて視差を有する画像を生成する。

　以下、各光感知セル１２０から出力される光電変換信号を説明する。まず、透光板２の領域Ｃ１、Ｃ２を透過した光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２で表すこととする。ここでは、入射する光のうち、可視光以外の成分はカットされていると仮定する。また、本実施形態では、この入射光は、可視光域のどの波長の光も等しい量だけ含んでいると仮定する。また、レンズ３、および赤外カットフィルタ４を合わせた分光透過率をＴｗ、領域Ｃ１のＷ１フィルタの分光透過率をＴＣ１、領域Ｃ２のＷ２フィルタの分光透過率をＴＣ２とする。フィルタＷ１とフィルタＷ２とは、どちらも可視光域の任意の光を透過させるが、波長毎の透過率が異なっている。すなわち、フィルタＷ１およびフィルタＷ２は、どちらもＲ、Ｇ、Ｂの光を透過させるが、各色成分の透過量は両フィルタで異なっている。同様に、撮像素子１における透過フィルタＤ１、Ｄ２の分光透過率をそれぞれＴＤ１、ＴＤ２と表す。ＴＤ１、ＴＤ２もＴＣ１、ＴＣ２と同様に波長毎の透過率が異なるが、Ｒ、Ｇ、Ｂの光を透過させる特性を有している。したがって、本実施形態において、入射光に含まれるＲ、Ｇ、Ｂの各成分の光の少なくとも一部は、フィルタＣ１、Ｃ２、Ｄ１、Ｄ２の全てを透過する。このため、撮像素子１の透過フィルタＤ１、Ｄ２に対向する２つの光感知セルのいずれも、Ｒ、Ｇ、Ｂの３つの色成分が重畳した信号を得ることができる。

　ここで、Ｔｗ、ＴＣ１、ＴＣ２、ＴＤ１、ＴＤ２は、入射する光の波長λに依存する関数である。透過フィルタＤ１、Ｄ２を透過してそれらに対向する光感知セルに入射する光の強度を示す信号を、それぞれｄ１、ｄ２と表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴＣ１ＴＤ１ｄλなどを、ΣＴｗＴＣ１ＴＤ１などと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、ｄ１は、Ｃｉ１ΣＴｗＴＣ１ＴＤ１と、Ｃｉ２ΣＴｗＴＣ２ＴＤ２とを合算した結果に比例する。同様に、ｄ２は、Ｃｉ１ΣＴｗＴＣ１ＴＤ２と、Ｃｉ２ΣＴｗＴＣ２ＴＤ２とを合算した結果に比例する。これらの関係における比例係数を１とすれば、ｄ１、ｄ２は、以下の式１～２で表すことができる。
　（式１）ｄ１＝Ｃｉ１ΣＴｗＴＣ１ＴＤ１＋Ｃｉ２ΣＴｗＴＣ２ＴＤ１
　（式２）ｄ２＝Ｃｉ１ΣＴｗＴＣ１ＴＤ２＋Ｃｉ２ΣＴｗＴＣ２ＴＤ２

　式１、２において、ΣＴｗＴＣ１ＴＤ１、ΣＴｗＴＣ２ＴＤ１、ΣＴｗＴＣ１ＴＤ２、ΣＴｗＴＣ２ＴＤ２をそれぞれ、Ｍｘ１１、Ｍｘ１２、Ｍｘ２１、Ｍｘ２２で表すこととする。すると、式１は行列を用いて以下の式３で表すことができる。

　ここで、式３における要素Ｍｘ１１～Ｍｘ２２からなる行列の逆行列の要素を、それぞれｉＭ１１～ｉＭ２２とすると、式３は以下の式４に変形できる。すなわち、領域Ｃ１、Ｃ２を透過した光の強度を示す信号を、光電変換信号ｄ１、ｄ２を用いて表すことができる。

　式４より、画像を撮影して得られる画素信号ｄ１、ｄ２を用いて領域Ｃ１、Ｃ２を透過した光の強度を示す信号を得ることができる。領域Ｃ１、Ｃ２はｘ方向に離れているため、領域Ｃ１に入射した光による像と領域Ｃ２に入射した光による像とは、視点が異なる２つの画像となる。上記の処理によって生成した異なる位置から入射する光の強度を示す信号は、複数視点画像を構成する。

　以上の方法で複数視点画像を生成するためには、単位要素ごとに２つの光感知セルからの画素信号を取得する必要がある。その２つの光感知セルからの画素信号に基づいて複数視点画像を算出するための条件は、透過フィルタＤ１、Ｄ２の可視光域における分光透過率が互いに異なっていることである。したがって、本実施形態では、図４に示す構成に限らず、図５に示すように、各単位要素が４つの光感知セルおよびそれらに対向して配置された透過フィルタＤ１、Ｒ、Ｇ、Ｂを有する構成を用いてもよい。そのような場合でも、上記と同様に複数視点画像を算出できることを以下に示す。

　図５に示す透過フィルタＲ、Ｇ、Ｂは、それぞれ入射光の赤成分、緑成分、青成分を透過させるように設計されている。ここで、赤成分とは、概ね６００ｎｍ～７００ｎｍの波長域の光であり、緑成分とは、概ね５００ｎｍ～６００ｎｍの波長域の光であり、青成分とは、概ね４００ｎｍ～５００ｎｍの波長域の光である。ただし、この定義は便宜上のものであり、どの色成分をどの波長域に対応させるかは、適宜定めてよい。図５に示す透過フィルタＤ１は、図４に示すフィルタＤ１と同じものである。フィルタＤ１は、例えば透明フィルタであり得る。そして、透過フィルタＲ、Ｇ、Ｂに対向する３つの光感知セルから出力される画素信号を加算した信号を、一つの画素信号ｄ２とみなす。すると、透過フィルタＤ１に対向する光感知セルの画素信号ｄ１と、画素信号ｄ２とは、ともにＲ、Ｇ、Ｂの色成分を含み、それらの成分比率は互いに異なる。これにより、図４を参照しながら上述した方法と同様に複数視点画像を算出することができる。

　さらに、図５に示す撮像素子１は、Ｒ光を検知する光感知セル（Ｒ画素）、Ｇ光を検知する光感知セル（Ｇ画素）、およびＢ光を検知する光感知セル（Ｂ画素）を含む。そのため、これらの画素から得られる色情報を利用してカラー画像を生成することが可能となる。上記の方法で得られる複数視点画像の輝度信号Ｃｉ１、Ｃｉ２に対して、Ｒ、Ｇ、Ｂ画素から得られる色情報を付加することにより、カラーの複数視点画像が得られる。複数視点画像の輝度信号をそれぞれＹ１（＝Ｃｉ１）、Ｙ２（＝Ｃｉ２）とし、Ｒ画素から得られる信号をＲｓ、Ｂ画素から得られる信号をＢｓ、輝度信号Ｙ１、Ｙ２を合算した輝度信号をＹＬ＝Ｙ１＋Ｙ２とすると、色差信号は（ＹＬ－Ｒｓ）、（ＹＬ－Ｂｓ）と表される。これらの色差信号を生成した後、バンドパスフィルタでこれらの色差信号を低帯域にして、それを２つの複数視点画像の信号Ｃｉ１、Ｃｉ２に重畳することにより、カラー化された複数視点画像を得ることができる。

　ここで、領域Ｃ１を透過した光による画像のＲ、Ｇ、Ｂ値を、それぞれＩＭＧ（Ｌ）ｒ、ＩＭＧ（Ｌ）ｇ、ＩＭＧ（Ｌ）ｂと表す。また、領域Ｃ２を透過した光による画像のＲ、Ｇ、Ｂ値を、それぞれＩＭＧ（Ｒ）ｒ、ＩＭＧ（Ｒ）ｇ、ＩＭＧ（Ｒ）ｂと表す。すると、これらの値は、以下の式５、６に示す演算によって算出することができる。ここで、式５、式６に示すＭは、輝度信号Ｙ１またはＹ２と、２つの色差信号ＹＬ－Ｒｓ、ＹＬ－Ｂｓとを、各画像のＲＧＢ値に変換するための３ｘ３の変換行列である。

　式５、式６で表される処理により、輝度信号と色差信号とからカラー化された画像信号が得られる。画像信号生成部７は、これらの画像信号を単位要素ごとに算出することにより、カラーの複数視点画像を生成することができる。

　このように、本方式においては、透光版２（または絞り）に設けられた透過領域Ｃ１、Ｃ２は、ともにＲ、Ｇ、Ｂの各波長域の光の少なくとも一部を透過させる。このため、撮像素子１のＲ画素、Ｇ画素、Ｂ画素から出力される信号は、領域Ｃ１を透過した光のＲＧＢ情報と、領域Ｃ２を透過した光のＲＧＢ情報とを含む。その結果、画素信号から色差信号を算出できる。

　しかしながら、透光板２に設けられた透過領域Ｃ１、Ｃ２の分光透過率は互いに異なるため、領域Ｃ１とＣ２とで、透過光のＲ、Ｇ、Ｂ成分の量は異なる。そのため、領域Ｃ１とＣ２とでは、透過した光の量に応じた信号である複数視点画像の輝度信号も異なり、結果としてカラー化された複数視点画像の色も異なる。そのような色のずれた２つの画像を左眼用および右眼用の画像として３Ｄ画像を作ると、違和感のある画像となる。

　そこで、本実施形態における画像信号生成部７は、カラー化された複数視点画像間の色の違いを表す変換行列を求め、複数視点画像の一方の色が他方の色に揃うように色の補正を行う。これにより、２つの画像間の色の差異を緩和させることができる。

　元来、視点が異なる２枚の画像において、一方の色から他方の色への変換行列を求めるためには、両画像間の画素の対応付けを行った後、対応する画素間で色の変換行列を求めなければならない。そのような課題に対し、本実施形態では、複数視点画像のうち、焦点の合っている画素では視差量が０であることに着目する。画像マッチングで画素間の対応付けを行う場合、エッジが存在しない画像領域などでは正しく対応が求まらない可能性が高い。これに対し、焦点が合っている画素を見つけることは容易である。例えば、一般的なデジタルカメラやデジタルムービーには、オートフォーカス機能が備わっており、画像中のどの範囲で焦点が合っているのか、という情報の取得が可能である。

　画素間の対応がわかれば、画像信号生成部７は、それらの画素のＲ、Ｇ、Ｂ値を取得する。そして、対応する画素のＲ、Ｇ、Ｂ値の差異に基づき、複数視点画像の一方の色から他方の色へと変換する行列を求める。その後、求めた変換行列を用いて複数視点画像の一方の画像全体の色の変換を行う。以下、この色変換処理を詳細に説明する。

　２枚の複数視点画像間の対応する画素とは、複数視点画像のうち基準となる一方の画像と他方の画像とで、３次元中の同一点を表す画素のことを示す。３次元中の同一点であれば、本来同じ色である。しかしながら、本実施形態では、透光板２の領域Ｃ１、Ｃ２の分光透過率が互いに異なるため、領域Ｃ１、Ｃ２を介して撮影された複数視点画像は、３次元中の同一点から入射する光であってもそれらの画素値が一般に異なる。そのため、従来のステレオ法で行われるブロックマッチング法などの一般的なマッチング方法の利用は難しい。

　ここで、入射する光が結像する様子の例を図６に示す。図６では、２つの領域Ｃ１、Ｃ２に分割された透光板２を通して、撮像素子１の画素（ｘ、ｙ）へ被写体６０からの光が入射する例を示している。ここで、（ｘ、ｙ）は、撮像面上の座標を表している。図６（ａ）は、被写体６０で合焦している場合の例であり、図６（ｂ）は、被写体６０よりも手前で合焦している場合の例を示している。図６（ｂ）に示す例では、被写体６０はぼやけて観測される。このとき、画素（ｘ、ｙ）において、演算によって得られる２つの画像信号Ｃｉ１、Ｃｉ２を算出すると、図６（ａ）の状態では、どちらの画像信号も、３次元中の同一の点Ｐ１から入射した光の輝度信号として算出できる。一方、図６（ｂ）の状態では、領域Ｃ１を通過した光は、３次元中の被写体６０の部分Ｐ３から入射した光であり、領域Ｃ２を通過した光は、被写体６０の部分Ｐ２から入射した光である。よって、図６（ｂ）に示す状況では、画素（ｘ、ｙ）において、２つの画像信号Ｃｉ１、Ｃｉ２は、３次元中の同一の点を表さない。このように、画像中で合焦している画素における画像信号Ｃｉ１、Ｃｉ２は、３次元中の同一点を表すため、そのような画素においては視差がないと言える。したがって、本実施形態による複数視点画像の算出方法においては、対応点を探索するという問題は、画像中から合焦している画素を見つけることと等しいことがわかる。

　以上のことから、本実施形態では、色の変換行列を求めるために、まず、複数視点画像から合焦している画素が求められる。次に、合焦している画素において２つの画像間の色の変換行列が求められ、当該変換行列を用いて基準となる一方の画像の色を変換することで色の補正が行われる。このように、本実施形態における方法では、合焦している限定された画素から色変換行列が求められる。一般に、画像内で重要な被写体には合焦している場合が多いため、本方法における対応点探索方法は有効に機能する。

　図７Ａは、以上に示した方法を実行するための画像信号生成部７の機能ブロック図である。図７Ａに示すように、画像信号生成部７は、高周波成分算出部７１と、合焦領域抽出部７２と、色変換行列算出部７３と、色変換処理部７４とを有している。また、図７Ｂは、画像信号生成部７が実行する上記の色変換処理のフローチャートである。以下、各処理の詳細を説明する。

　画像信号生成部７は、まず、複数視点画像から合焦している画素を求めるために、高周波成分算出部７１にて、画像中の高周波成分を算出する（ステップＳ１）。高周波成分の抽出例を図８に示す。図８（ａ）は複数視点画像のうちの１枚であり、図８（ｂ）は高周波成分の抽出結果である。図８（ｂ）において、明るい画素ほど高周波成分を多く含む画素であることを表している。高周波成分算出部７１は、高周波成分の量が所定の閾値以上の画素を「高周波画素」として決定する。

　高周波成分の抽出方法として、例えば公知のソーベルフィルタ、ラプラシアンフィルタに代表されるエッジ抽出フィルタを利用して画像空間での画素値の変化が大きい画素を抽出する方法がある。また、フーリエ変換を行いて周波数空間上で表された画像にハイパスフィルタ処理を行った後、逆フーリエ変換を行う方法などがある。本実施形態では、画像における高周波成分が算出できればいずれの方法を用いてもよい。

　次に、画像信号生成部７は、合焦領域抽出部７２にて、合焦領域の抽出を行う（ステップＳ２）。高周波成分算出部７１にて決定した高周波画素は、合焦している被写体の輪郭を表す。合焦領域は高周波画素の近傍に存在するため、本実施形態における合焦領域抽出部７２は、高周波画素を含むｎ画素×ｍ画素（ｎ、ｍは１以上の整数）の矩形領域を合焦領域として抽出する。例えば、高周波画素を中心とするｎ画素×ｍ画素の矩形領域を合焦領域として抽出すればよい。合焦領域に存在する被写体像が高周波成分を多く含む場合は、ｎ、ｍを小さく設定することで、ｎ、ｍが大きい場合に比べて、抽出された合焦領域の中に合焦していない部分（被合焦領域）が混入することを抑えることが可能となる。また、被写体の高周波成分が少ない場合、色変換行列を算出するための十分な数の対応点を得るため、ｎ、ｍを大きく設定することが望ましい。抽出された合焦領域への非合焦領域の混入を低減させるため、高周波画素の中心を矩形領域の中心とするのではなく、例えば、高周波画素から画像中心方向に向かってｎ画素×ｍ画素の矩形領域を合焦領域としてもよい。これは、合焦させたい被写体（撮影者が注目する被写体）は、画像中央に出現することが多いという先見知識を利用している。また、近年のデジタルカメラに搭載されている顔認識の技術を応用して、合焦している輪郭が顔領域であることが事前にわかれば、その顔領域を合焦領域としてもよい。

　図８（ｃ）に示す白枠は、合焦領域の例を示している。上述したように、合焦領域では視差量が０であるため、以上に示した合焦領域の算出処理は、複数視点画像のうちのいずれか１枚から算出すればよい。以上に示した合焦領域は、矩形領域に限らず、多角形や円、楕円など、どのような形態をとっても構わない。なお、図８（ｃ）に示す例では、６個の合焦領域を抽出しているが、抽出する合焦領域の数は任意に定めてよい。

　また、合焦領域抽出部７２は、高周波画素付近の画素値と高周波画素から遠く離れた位置の画素値との違いを利用して合焦領域の抽出を行ってもよい。例えば、非特許文献１に開示されている方法のように、画素値の類似性を用いたセグメンテーション処理によって合焦領域であるか否かを判断してもよい。この方法では、サンプリングした背景の色情報と、前景の色情報とから、各画素の前景らしさ、背景らしさの程度（類似度）を算出する。これらの類似度を用いたグラフカット法によって画像の領域分割を行い、各画素が前景であるか背景であるかを決定する。すなわち、分割された領域のうち、高周波画素付近の画素に類似すると判定された画素を、合焦領域とすることができる。

　なお、本実施形態では、画像の高周波成分に基づいて合焦領域を抽出するが、合焦している領域を他の方法で判別できる場合は、高周波成分の算出を行う必要はない。例えば、被写体と撮像装置との距離が予めわかっている特殊な状況下においては、当該距離と光学系の焦点距離とから合焦している領域を判別してもよい。

　次に、画像信号生成部７は、色変換行列算出部７３によって色変換行列を算出する（ステップＳ３）。合焦領域抽出部７２によって得られる合焦領域において、２枚の複数視点画像からそれぞれＲＧＢ値が取得され、一方の画像のＲＧＢ値から他方の画像のＲＧＢ値への色変換行列が算出される。ここで、２枚の複数視点画像をそれぞれＩＭＧ（Ｌ）、ＩＭＧ（Ｒ）と表す。一方の画像ＩＭＧ（Ｌ）の合焦領域におけるＲ、Ｇ、Ｂ値を、それぞれＩＭＧ（Ｌ）ｒ（ｉ、ｊ）、ＩＭＧ（Ｌ）ｇ（ｉ、ｊ）、ＩＭＧ（Ｌ）ｂ（ｉ、ｊ）と表す。また、他方の画像ＩＭＧ（Ｒ）のＲ、Ｇ、Ｂ値を、それぞれＩＭＧ（Ｒ）ｒ（ｉ、ｊ）、ＩＭＧ（Ｒ）ｇ（ｉ、ｊ）、ＩＭＧ（Ｒ）ｂ（ｉ、ｊ）と表す。なお、添字ｉ、ｊは、合焦領域抽出部７２によって得られる合焦領域の画素の座標を示す。これらのＲＧＢ値を用いて、以下の式７に基づいて、ＩＭＧ（Ｌ）の各色の値から、ＩＭＧ（Ｒ）の各色の値への色変換行列を求めることができる。

　式７における変換行列Ｍｃは、３×３の行列である。合焦領域の画素数をｎ’とすると、式７の左辺と右辺のＲＧＢ値の行列はｎ’×３の行列となる。ｎ’が３未満の場合は変換行列を求められないが、合焦領域が２画素しかない場合は稀であるため、通常は問題なく変換行列を求めることができる。ｎ’＞＝３のとき、変換行列Ｍｃは、単純には最小二乗法によって求められる。直感的に言えば、最小二乗法では、求めようとする変換行列Ｍｃの逆行列およびＩＭＧ（Ｒ）の色信号からなる行列の間の積と、ＩＭＧ（Ｌ）の色信号からなる行列との誤差の二乗和が最小になるように変換行列Ｍｃが求められる。この方法では、ＩＭＧ（Ｒ）の色やＩＭＧ（Ｌ）の色にノイズが含まれる場合、それらの誤差も小さくなるような変換行列を求めるため、正しく色変換を行えない場合がある。このようなノイズを見つけることは一般に容易ではないため、そのような問題に対して、例えば、Ｍ推定法のようなロバスト統計に基づく方法を用いてもよい。Ｍ推定法では、変換行列の確からしさを求める際に、誤差の二乗ではなく、所定の誤差関数の出力値が用いられる。以下に最小二乗法の評価式と、Ｍ推定法の評価式とを示す。
　・最小二乗法：ｍｉｎΣε²
　・Ｍ推定法：ｍｉｎΣρ（ε）

　Ｍ推定法で用いられる関数ρとしては、例えば、誤差εが小さいほど出力値が高く、誤差εが大きいほど出力値が小さくなる関数が一般的に用いられている。代表的な関数として、ＧｅｒｍａｎとＭｃＣｌｕｒｅのρ関数などがある。これにより、誤差が大きい要素の影響が小さくなるため、ノイズに対して頑健な変換行列の推定が可能となる。

　同様なロバスト統計に基づく方法としてＬＭｅｄＳ法がある。ＬＭｅｄＳ法は、最小中央値法とも呼ばれ、誤差の中央値が最小になるような変換行列を求める方法である。ＬＭｅｄＳ法では、上記と同様、変換行列が求められ、合焦領域内の誤差εが画素毎に求められる。求められた誤差をソートした後、中央値が取得される。例えば、合焦領域が１００画素からなる場合、合焦領域から誤差εを画素ごとに１００通り求められ、ソートされた後、５０番目の誤差値が取得される。この方法によれば、原理的に、ノイズが５０％未満であるとき、正しい変換行列から求められた中央値の誤差は、ノイズの影響のない画素から求められた誤差である。このため、ノイズの影響を受けにくい推定が可能となる。

　また、合焦領域に分布するＲＧＢ値の分布に偏りがある場合、最小二乗法では正しく変換行列が求まらない場合がある。そのような場合、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ　Ｓａｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）と呼ばれるロバスト統計法を用いて変換行列を推定してもよい。この方法では、まず複数視点画像の合焦領域における画素を３点以上サンプリングしてＩＭＧ（Ｌ）の色からＩＭＧ（Ｒ）の色への色変換行列を求める。得られる色変換行列が正しい色変換行列であれば、サンプリングしなかった画素に対して、色変換行列の逆行列を用いてＩＭＧ（Ｒ）の色からＩＭＧ（Ｌ）の色に色変換を行う。もともとのＩＭＧ（Ｌ）の色とＩＭＧ（Ｒ）から変換したＩＭＧ（Ｌ）の色とを比較したときの誤差量が最小となるとき、求められた色変換行列が正しいものとする。この方法では、最初に色変換行列を求めるサンプリング点にノイズが含まれていない場合や、色の分布に偏りがなければ、正しい色変換行列を求めることが可能となる。

　最後に、画像信号生成部７は、色変換処理部７４により、上記の方法で求めた色変換行列を用いて色変換処理を行う（ステップＳ４）。色変換は、複数視点画像のうちの左側画像の全画素におけるＲＧＢ値ＩＭＧ（Ｌ）ｒ、ＩＭＧ（Ｌ）ｇ、ＩＭＧ（Ｌ）ｂを、変換行列Ｍｃを用いて変換することによって行われる。

　図９は、色変換前の左側画像の各画素の色を変換行列Ｍｃを用いて変換する処理のイメージを示す図である。図示されるように、合焦領域における左側画像（Ｌ画像）と右側画像（Ｒ画像）との比較によって求められた変換行列Ｍｃを用いて、Ｌ画像の全体を変換することにより、色変換後のＬ画像が生成される。色変換後のＬ画像を新たに左側画像とすれば、右側画像の色と整合する左側画像が得られるため、より自然な３Ｄ画像を生成することが可能になる。

　以上のように、本実施形態の撮像装置によれば、分光透過率の互いに異なる２つの透過領域を有する透光板２と、分光透過率の互いに異なる２種類以上の透過フィルタを有する撮像素子１とを用いて、複数視点画像を生成することができる。特に、本実施形態における画像信号生成部７は、複数視点画像の合焦領域において色変換行列を求め、当該色変換行列を用いて一方の画像全体の色を補正する。これにより、比較的容易に複数視点画像間の色を整合させることが可能となる。

　なお、本実施形態では、透光板２の領域Ｃ１におけるフィルタＷ１、領域Ｃ２におけるフィルタＷ２、撮像素子１におけるフィルタＤ１、Ｄ２は、いずれもＲＧＢの全ての色成分の光について、少なくとも一部を透過させる特性を有している。しかし、本発明では必ずしもそのようなフィルタを用いる必要はない。一部の色成分の光をカットするフィルタが用いられている場合であっても、本実施形態の色変換処理を用いることができる。

　また、本実施形態では、透光板２は、２つの透過領域Ｃ１、Ｃ２のみを有しているが、３つ以上の透過領域を有していてもよい。３つ以上の透過領域を有している場合であっても、任意の２つの透過領域に対応する２つの画像間の色を合わせることができるため、本実施形態における画像処理は有効である。

　本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像信号を生成するが、信号演算による画像信号の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の画像信号生成部７が行う信号演算処理を規定するプログラムを当該他の装置（画像処理装置）のコンピュータに実行させることによっても上記と同様の効果を得ることができる。

　本発明の実施形態による３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用できる。また、本発明の画像処理装置は、合焦している部分の位置が２つの画像間でずれない撮像系によって取得された視差を有する２つの画像間の色を整合させることができる。そのため、例えば上記の撮像系によって取得され、３Ｄテレビ等の表示装置に入力される画像信号を処理する用途に利用できる。

　１　固体撮像素子
　１ａ　固体撮像素子の撮像面
　２　透光板
　２ａ　光透過部
　３　光学レンズ
　３ａ　透光板と光学レンズの機能が一体化された光学素子
　４　赤外カットフィルタ
　５　信号発生／受信部
　６　素子駆動部
　７　画像信号生成部
　８　インターフェース部
　１９　レンズ絞り
　２０、２２、２３　光束制限板
　２０ａ　赤系統の光を透過させる色フィルタ
　２０ｂ　青系統の光を透過させる色フィルタ
　２１　感光フィルム
　２２Ｒ、２３Ｒ　光束制限板のＲ光透過領域
　２２Ｇ、２３Ｇ　光束制限板のＧ光透過領域
　２２Ｂ、２３Ｂ　光束制限板のＢ光透過領域
　３０　メモリ
　６０　被写体
　７１　高周波成分算出部
　７２　合焦領域抽出部
　７３　色変換行列算出部
　７４　色変換処理部
　１００　撮像部
　１１０　透過フィルタ
　１２０　光感知セル
　２００　信号処理部

Claims

　視差を有する２つの画像の色を整合させる画像処理装置であって、
　前記２つの画像の合焦領域を抽出する合焦領域抽出部と、
　前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求める色変換行列算出部と、
　前記色変換行列を用いて前記２つの画像の一方の色を変換する色変換部と、
を備える画像処理装置。
　前記２つの画像の少なくとも一方の高周波成分を算出する高周波成分算出部をさらに備え、
　前記合焦領域抽出部は、算出された前記高周波成分に基づいて、前記合焦領域を抽出する、請求項１に記載の画像処理装置。
　前記合焦領域抽出部は、前記高周波成分の量が予め決定された閾値よりも多い高周波画素の近傍を合焦領域として抽出する、請求項２に記載の画像処理装置。
　前記合焦領域抽出部は、前記高周波画素を含むｎ画素×ｍ画素（ｎ、ｍは１以上の整数）の矩形領域を前記合焦領域として抽出する、請求項３に記載の画像処理装置。
　前記合焦領域抽出部は、前記高周波画素を中心とするｎ画素×ｍ画素（ｎ、ｍは１以上の整数）の矩形領域を前記合焦領域として抽出する、請求項３または４に記載の画像処理装置。
　前記色変換行列算出部は、最小二乗法による線型演算、Ｍ推定法、およびＲＡＮＳＡＣ法のいずれかを用いて前記色変換行列を求める、請求項１から５のいずれかに記載の画像処理装置。
　分光透過率特性の互いに異なる２つの透過領域を有する光透過部と、
　前記光透過部を透過した光を受けるように配置された撮像素子であって、分光透過率特性の互いに異なる２種類の画素を有する撮像素子と、
　前記撮像素子から出力される画素信号に基づいて視差を有する２つの画像を生成する画像処理部と、
を備え、
　前記画像処理部は、
　前記２つの画像の合焦領域を抽出する合焦領域抽出部と、
　前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求める色変換行列算出部と、
　前記色変換行列を用いて前記２つの画像の一方の色を変換する色変換部と、
を有している、３次元撮像装置。
　視差を有する２つの画像の色を整合させる画像処理方法であって、
　前記２つの画像の合焦領域を抽出するステップと、
　前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求めるステップと、
　前記色変換行列を用いて前記２つの画像の一方の色を変換するステップと、
を含む、画像処理方法。
　視差を有する２つの画像の色を整合させる画像処理プログラムであって、
　コンピュータに対し、
　前記２つの画像の合焦領域を抽出するステップと、
　前記２つの画像の合焦領域に含まれる画素の色情報に基づいて、前記２つの画像間の色変換行列を求めるステップと、
　前記色変換行列を用いて前記２つの画像の一方の色を変換するステップと、
を実行させる、画像処理プログラム。