JP5865555B2 - 混色率算出装置及び方法並びに撮像装置 - Google Patents

Description

本発明は混色率算出装置及び方法並びに撮像装置に係り、特に精度の高い混色率を算出する技術に関する。

デジタルカメラの撮像素子の画素の微細化が進むにつれ、特にＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子において隣接画素からのシリコン面入射後の混色が問題となりつつある。

図２６に示すように混色には入射角度依存性があり、厳密な混色補正のためには、カラー撮像素子１の撮像面内の位置や焦点距離によって変わるレンズ２からの入射角度θと、絞り値（Ｆ値）によって変わる入射角度範囲φによって異なるパラメータ（混色率）を持つ必要がある。更に、混色を起こした画素もまた隣接画素から混色されているなど複雑な現象で混色が発生しており、隣接画素からの混色量（混色率）の測定は困難であった。

更にこの混色には波長依存性もあり、特にシリコン面下に深く浸透する長波長光を主成分とする赤画素からの混色が問題となっている。

図２７（ａ）及び（ｂ）は、単板式のカラー撮像素子で最も広く用いられているカラーフィルタ配列（ＣＦ配列）である原色系ベイヤー配列のカラー撮像素子の平面図と、図２７（ａ）の２７ｂ−２７ｂ線に沿う要部断面図である。

図２７（ｂ）に示すようにベイヤー配列のカラー撮像素子は、緑（Ｇ）画素が市松状（チェッカーフラグ状）に、赤（Ｒ）、青（Ｂ）画素がライン毎に交互に配置しているため、Ｒ画素に入射する光は、上下左右に隣接するＧ画素にシリコン面下で浸透し、混色が発生する。

また、図２８（ａ）及び（ｂ）は、本出願人が近年提案している新型カラーフィルタ配列（新型ＣＦ配列）を有するカラー撮像素子の平面図と、図２８（ａ）の２８ｂ−２８ｂ線に沿う要部断面図である。

図２８（ａ）に示すように新型ＣＦ配列は、６×６画素を単位とする基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。

［従来技術１］
従来、ベイヤー配列のカラー撮像素子において、混色量を見積もるためには、特にシリコン面より下で最も深い位置まで到達するために混色しやすい赤色光を入射させ、赤画素の左右もしくは上下の位置にある画素の出力差を混色量とする手法がある。例えば、図２９（ａ）に示す撮像面内の左位置であれば、Ｒ画素の左右のＧ画素の出力をそれぞれG-LL、G-LRとすると、混色量は(G-LL)−(G-LR)となり、同様に図２９（ｃ）に示す撮像面内の右位置であれば、Ｒ画素の左右のＧ画素の出力をそれぞれG-RL、G-RRとすると、混色量は(G-RR)−(G-RL)となる。

しかし、図２９（ｂ）に示す撮像面内の中心部では、Ｒ画素の左右のＧ画素の出力をそれぞれG-CL、G-CRとすると、理想的にはG-CL＝G-CRとなってしまい、混色が計算上ゼロとみなされる。これは、図２６に示した入射角度θ±入射角度範囲φの入射角度範囲φを考慮していないためである。実際には、撮像面内の中心部でも(Ｆ2.0時で)、0±20°の入射角度範囲をもって光が入射しており、上下左右対称に混色が発生しているのだが、この方法ではそれを見積もることができない。

また、撮像面内の左位置では、Ｒ画素の右側のＧ画素の出力G-LRに対して、右から入射する混色を、中心部から逐次測定していくことによって除けたとしても、逆方向からの混色を無視することとなる。

入射角度θが大きい場合（テレセントリックでない広角レンズなど）は逆方向からの混色は十分小さく、従来方法でもそれほど問題は顕在化しないが、撮像面内全体に垂直入射するようなレンズの場合は弱補正となってしまう。

［従来技術２］
左右もしくは上下の隣接画素の出力差ではなく、純粋な赤色光を入射した時の隣接画素の出力を混色とみなすことにより撮像面中心部でも補正を行う方法が知られている。この方法では、混色方向を判別することができないため、左右もしくは上下両方の赤画素の出力を平均したものに混色率をかけて、左右もしくは上下の隣接画素からの混色を求めることになり、混色補正された画像に対して弱いローパス効果が作用して解像に悪影響を与えるという問題がある。

解像に悪影響を与えずに補正する方法として、撮像面の中心部については純粋な赤色光を入射した時の隣接画素の出力を混色とみなすことにより混色率を求め、周辺部は従来通り左右差をとって混色を求め、中心部と周辺部の間の領域を線形補間することで、従来技術の組み合わせによる補正方法も可能となるが、この方法も周辺部では逆方向からの混色をゼロとみなすことになるため不十分である。

特許文献１には、画像生成画素と他の特定画素（カラーフィルタを備えていない位相差検出画素やホワイト画素）とを有する撮像素子において、青色光のみ又は赤色光のみを照射して、混色起因光のみを画像生成画素に受光させ、混色補正係数（混色率）を算出する技術が記載されている。

特許文献２には、Ｒ単色光を照射した場合に、Ｇ画素とＢ画素に存在する応答量（信号量）を、隣接Ｒ画素からの混色量とし、Ｒ画素からＧ画素、Ｂ画素への混色率を算出する技術が記載されている。同様にＧ単色光、又はＢ単色光を照射することで、Ｇ画素からＲ画素、Ｂ画素への混色率を算出し、又はＢ画素からＲ画素、Ｇ画素への混色率を算出することが記載されている（特許文献２の段落［００８４］〜［００８７］）。

また、撮像素子の撮像面に対応させて複数に区分けした領域ごとに混色補正係数を保存し、混色補正時に保存した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う技術が記載されている。

特許文献３には、長波長側の赤色光の方が減衰しないため混色量が多いことが記載されている（特許文献３の段落［０００６］）。また、絞り値／ズーム位置による補正関数を記憶手段に保持し、混色補正係数に対して補正関数から算出される値を乗じることで混色補正を行なうことが記載されている（特許文献３の請求項３）。

特開２０１２−９５０６１号公報 特開２０１０−１６４１９号公報 特開２００９−１８８４６１号公報

しかしながら、特許文献１に記載の発明は、カラーフィルタを備えた画像生成画素と他の特定画素（カラーフィルタを備えていない位相差検出画素やホワイト画素）とを有する撮像素子を前提にしており、特定画素を有していないカラー撮像装置には適用できない。また、特許文献１に記載の特定画素は、撮像素子の左右方向に連続して配列されているため、この特定画素を使用して左右方向の混色率を算出することはできない。

特許文献２に記載の発明は、上記［従来技術２］に対応しており、上下又は左右の混色方向別に混色率を算出することができない。

また、特許文献３には、撮像素子の縦横方向や光学中心からの距離によって混色量が変化する記載があるが、撮像面上の左右もしくは上下方向の混色方向別に混色率をもつ記載はなく、また、具体的に混色率を算出する方法も記載されていない。

本発明はこのような事情に鑑みてなされたもので、隣接する赤画素からの混色率を混色方向別にそれぞれ算出することができ、これにより精度の高い混色補正を行うことができる混色率算出装置及び方法並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る発明は、少なくとも赤・緑・青の３色の色画素をもつ単板式のカラー撮像素子における混色率を算出する混色率算出装置であって、赤色光を撮影光学系を介してカラー撮像素子に入射させたときのカラー撮像素子から、混色補正前の各画素の出力を取得する取得部と、取得部により取得した各画素の出力のうちの、赤画素に隣接する画素の出力を赤画素からの混色成分とみなして混色率を算出する混色率算出部と、を備え、混色率算出部は、少なくともカラー撮像素子の撮像面中心部において、赤画素からの混色方向に依存しない混色率を算出し、カラー撮像素子の撮像面端部において、赤画素からの混色方向別の混色率をそれぞれ算出する出するようにしている。

本発明の一の態様によれば、カラー撮像素子の素子構造内に深く浸透する長波長光を主成分とする赤画素から他の色画素への混色率を算出するために、赤色光を撮影光学系を介してカラー撮像素子に入射させたときのカラー撮像素子から混色補正前の各画素の出力を取得する。取得した各画素の出力のうちの、赤画素に隣接する画素の出力を赤画素からの混色成分とみなし、カラー撮像素子の撮像面中心部では、赤色光の入射角度がゼロであるため、赤画素からの混色方向に依存しない混色率を算出し、カラー撮像素子の撮像面端部では、赤画素からの混色方向に応じて混色率が異なるため、混色方向別の混色率をそれぞれ算出するようにしている。

本発明の他の態様に係る混色率算出装置において、カラー撮像素子は、赤画素に隣接して混色方向に対称配置された緑画素を有し、混色率算出部は、撮像面中心部における赤画素の出力と、赤画素に隣接する緑画素の出力とに基づいて撮像面中心部における混色率を算出し、撮像面端部における赤画素の出力及び赤画素に隣接する緑画素の出力と、カラー撮像素子の赤画素に隣接するオプティカルブラック部の画素の出力、又はオプティカルブラック部に隣接する緑画素の出力とに基づいて撮像面端部における混色方向別の混色率を算出することが好ましい。

緑画素は、赤画素に隣接し混色方向に対称配置される。また、撮像面中心部では混色に方向性がないため、撮像面中心部における赤画素の出力と、赤画素に隣接する緑画素の出力とに基づいて撮像面中心部における混色率（混色方向に依存しない混色率）を算出することができる。また、カラー撮像素子の撮像面端部では、赤画素がオプティカルブラック部に隣接する場合には、オプティカルブラック部が設けられている方向と同方向の混色率は、撮像面端部における赤画素の出力とオプティカルブラック部の画素の出力とに基づいて算出することができ、オプティカルブラック部が設けられている方向と逆方向の混色率は、撮像面端部における赤画素の出力と、緑画素の出力からオプティカルブラック部の画素の出力を減算した値とに基づいて算出することができる。一方、緑画素がオプティカルブラック部に隣接する場合には、オプティカルブラック部が設けられている方向と同方向の混色率は、撮像面端部における赤画素の出力とオプティカルブラック部に隣接する緑画素の出力とに基づいて算出することができ、オプティカルブラック部が設けられている方向と逆方向の混色率は、撮像面端部における赤画素の出力と、赤画素を挟む２つの緑画素の出力差とに基づいて算出することができる。

本発明の更に他の態様に係る混色率算出装置において、カラー撮像素子は、赤画素に隣接して混色方向に対称配置された緑画素と、オプティカルブラック部に開口を有する混色率算出用の赤画素とを有し、混色率算出部は、撮像面中心部における赤画素の出力と、赤画素に隣接する緑画素の出力とに基づいて撮像面中心部における混色率を算出し、混色率算出用の赤画素の出力と、混色率算出用の赤画素に隣接するオプティカルブラック部の画素の出力とに基づいて撮像面端部における混色方向別の混色率を算出することが好ましい。

混色率算出用の赤画素にそれぞれ隣接するオプティカルブラック部の画素は、混色率算出用の赤画素のみから混色を受けるため、混色率算出用の赤画素の出力と、混色率算出用の赤画素にそれぞれ隣接するオプティカルブラック部の画素の出力とに基づいて、混色方向別の混色率を算出することができる。

本発明の更に他の態様に係る混色率算出装置において、混色率算出部は、算出した撮像面中心部における混色率と、撮像面端部における混色方向別の混色率とに基づいて、撮像面の画素位置毎又は分割領域毎の混色方向別の混色率を補間により算出する補間処理部を有することが好ましい。補間処理部は、撮像面中心部における混色率と、撮像面端部における混色方向別の混色率とを線形補間することにより、撮像面の画素位置毎又は分割領域毎の混色方向別の混色率を演算することができる。また、線形補間に限らず、撮像面中心部における混色率と、撮像面の両端部における混色率とに基づいて混色率を２次補間して、中間位置における混色率を算出するようにしてもよい。

本発明の更に他の態様に係る混色率算出装置において、カラー撮像素子は、赤画素に隣接する赤画素以外の他の色画素であって、複数の混色方向のうちのいずれか１方向のみに赤画素が隣接する他の色画素を有し、混色率算出部は、他の色画素の各画素位置において、画素位置の色画素の出力と色画素に隣接する１つの赤画素の出力とに基づいて赤画素が隣接する方向からの混色率を算出することが好ましい。

上記の他の色画素は、複数の混色方向のうちのいずれか１方向のみに赤画素が隣接するため、他の色画素の出力は、隣接する１つの赤画素からの混色成分とみなすことができる。従って、他の色画素の出力と隣接する１つの赤画素の出力とに基づいて赤画素が隣接する方向からの混色率を算出することができる。

本発明の更に他の態様に係る混色率算出装置において、カラー撮像素子は、赤画素に隣接する青画素であって、複数の混色方向のうちのいずれか１方向のみに赤画素が隣接する青画素を有することが好ましい。赤画素と青画素との分光透過率特性をもつ各波長帯域は、赤画素と緑画素との各波長帯域よりも離れているため、赤画素と青画素の各出力から混色率を精度よく算出することができる。

本発明の更に他の態様に係る混色率算出装置において、複数の混色方向は、カラー撮像素子上の各画素が最短距離で隣接する４方向であることが好ましい。カラー撮像素子の各画素が正方格子状に配列されている場合には、各画素が最短距離で隣接する４方向は、上下左右の方向であり、カラー撮像素子の各画素が斜め格子状に配列されている場合には、各画素が最短距離で隣接する４方向は、斜め右上方向、斜め右下方向、斜め左上方向及び斜め左下方向である。

本発明の更に他の態様に係る混色率算出装置において、撮影光学系の絞りのＦ値及び焦点距離のうちの少なくとも一方を変更させる撮影条件設定部を備え、取得部は、撮影条件設定部により撮影条件が変更される毎に、赤色光をカラー撮像素子に入射させたときのカラー撮像素子から、混色補正前の各画素の出力を取得し、混色率算出部は、撮影条件設定部により撮影条件が変更される毎に、取得部により取得した各画素の出力に基づいて混色率を算出することが好ましい。撮影条件（Ｆ値や焦点距離）により混色率が変化するため、撮影条件別に混色率を算出することが好ましい。

本発明の更に他の態様に係る撮像装置は、撮影光学系及びカラー撮像素子を含む撮像部と、上記の混色率算出装置により算出された混色率を記憶する記憶部と、撮影時にカラー撮像素子から取得した混色補正前の各画素の出力と記憶部に記憶された混色率とに基づいて混色成分を算出し、混色補正前の各画素の出力から算出した混色成分を除去する混色補正部と、を備えている。記憶部に記憶された混色方向別の混色率を使用して混色補正を行うため、精度の高い混色補正を行うことができる。

本発明の更に他の態様に係る撮像装置は、撮影光学系及びカラー撮像素子を含む撮像部と、上記の混色率算出装置により算出された混色率を、撮影条件設定部により設定された撮影条件に関連付けて記憶する記憶部と、撮影時の撮影条件に基づいて記憶部に記憶された混色率から対応する混色率を読み出し、撮影時にカラー撮像素子から取得した混色補正前の各画素の出力と読み出した混色率とに基づいて混色成分を算出し、混色補正前の各画素の出力から、算出した混色成分を除去する混色補正部と、を備えている。記憶部に記憶された混色方向別の混色率であって、撮影時の撮影条件に対応する混色率を使用して混色補正を行うため、精度の高い混色補正を行うことができる。

本発明の更に他の態様に係る撮像装置は、撮影光学系及びカラー撮像素子を含む撮像部と、上記の混色率算出装置と、混色率設定時に混色率算出装置により算出された混色率を記憶する記憶部と、撮影時にカラー撮像素子から取得した混色補正前の各画素の出力と記憶部に記憶された混色率とに基づいて混色成分を算出し、混色補正前の各画素の出力から算出した混色成分を除去する混色補正部と、を備えている。

本発明の更に他の態様に係る撮像装置は、撮影光学系及びカラー撮像素子を含む撮像部と、上記の混色率算出装置と、混色率設定時に混色率算出装置により算出された混色率を、撮影条件設定部により設定された撮影条件に関連付けて記憶する記憶部と、撮影時の撮影条件に基づいて記憶部に記憶された混色率から対応する混色率を読み出し、撮影時にカラー撮像素子から取得した混色補正前の各画素の出力と読み出した混色率とに基づいて混色成分を算出し、混色補正前の各画素の出力から、算出した混色成分を除去する混色補正部と、を備えている。

本発明の更に他の態様に係る撮像装置において、撮影光学系は、交換レンズであり、混色率算出装置は、少なくとも新たな交換レンズの装着時に混色率を算出することが好ましい。

本発明の更に他の態様に係る発明は、少なくとも赤・緑・青の３色の色画素をもつ単板式のカラー撮像素子における混色率を算出する混色率算出方法であって、赤色光を撮影光学系を介してカラー撮像素子に入射させる工程と、カラー撮像素子から、混色補正前の各画素の出力を取得する取得工程と、取得工程により取得した各画素の出力のうちの、赤画素に隣接する画素の出力を赤画素からの混色成分とみなして混色率を算出する混色率算出工程と、を含み、混色率算出工程は、少なくともカラー撮像素子の撮像面中心部において、赤画素からの混色方向に依存しない混色率を算出し、カラー撮像素子の撮像面端部において、赤画素からの混色方向別の混色率をそれぞれ算出するようにしている。

本発明の更に他の態様に係る混色率算出方法において、撮影光学系の絞りのＦ値及び焦点距離のうちの少なくとも一方を変更させる撮影条件設定工程を含み、取得工程は、撮影条件設定工程により撮影条件が変更される毎に、赤色光をカラー撮像素子に入射させたときのカラー撮像素子から、混色補正前の各画素の出力を取得し、混色率算出工程は、撮影条件設定工程により撮影条件が変更される毎に、取得工程により取得した各画素の出力に基づいて混色率を算出することが好ましい。

本発明によれば、隣接する赤画素からの混色率を混色方向別にそれぞれ算出することができる。また、混色補正時に混色方向別の混色率を使用して混色補正を行うことにより、精度の高い混色補正を行うことができる。

図１は、本発明に係る混色率算出装置の実施形態を示すブロック図である。 図２（ａ）、（ｂ）及び（ｃ）は、それぞれベイヤー配列のカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＧ画素への混色を示す概念図である。 図３（ａ）及び図３（ｂ）は、それぞれベイヤー配列のカラー撮像素子の中心部及び右端部の要部平面図である。 図４は、第１の実施形態の混色率算出方法による混色率の算出手順を示すフローチャートである。 図５（ａ）、（ｂ）及び（ｃ）は、それぞれベイヤー配列のカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＧ画素への混色を示す概念図である。 図６は、撮像面左端部側のＯＢ部にＲ画素が隣接していない場合の撮像面左端部側の要部平面図である。 図７は、第１の実施形態の第１の変形例の混色率算出方法による混色率の算出手順を示すフローチャートである。 図８（ａ）、（ｂ）及び（ｃ）は、それぞれ第２の実施形態に対応するカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＧ画素への混色を示す概念図である。 図９は、第２の実施形態に対応するカラー撮像素子の右端部の要部平面図である。 図１０は、第２の実施形態の混色率算出方法による混色率の算出手順を示すフローチャートである。 図１１（ａ）、（ｂ）及び（ｃ）は、それぞれ新型ＣＦ配列のカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＢ画素及びＧ画素への混色を示す概念図である。 図１２は、新型ＣＦ配列のカラー撮像素子の要部平面図である。 図１３は、第３の実施形態の混色率算出方法による混色率の算出手順を示すフローチャートである。 図１４（ａ）及び図１４（ｂ）は、それぞれ第３の実施形態による混色率算出方法を使用することができる、他のカラー撮像素子の要部平面図である。 図１５は、本発明に係る撮像装置の内部構成の実施形態を示すブロック図である。 図１６は、撮像装置の信号処理部内の混色補正部の処理内容を示すフローチャートである。 図１７は、撮像面の位置に応じて記憶される混色方向別の混色率と、撮像面の任意の位置の画素に対して使用される混色率との関係を示す図である。 図１８は、撮像面の分割領域の位置に応じて記憶される混色方向別の混色率と、撮像面の分割領域内の画素に対して使用される混色率との関係を示す図である。 図１９は、それぞれカラー撮像素子の面内に均一な赤色光が入射した場合の、左側のＲ画素から右側の画素に混入する混色量、右側のＲ画素から左側の画素に混入する混色量、新規補正方法１、２による混色補正可能量、及び従来技術による混色補正可能量を示すグラフである。 図２０は、図１９に示したグラフＡ〜Ｆの数値データを示す図表である。 図２１は、撮像面中心と撮像面両端部における左から右への混色率を２次補間した混色率から算出される混色量を示すグラフである。 図２２は、撮像面の中心と端部との入射角度θの変化量が大きい場合の混色量と、変化量が小さい場合の混色量とを示すグラフである。 図２３は、図２２に示したグラフＡ、Ｂの数値データを示す図表である。 図２４は、撮像装置の他の実施形態であるスマートフォンの外観図である。 図２５は、スマートフォンの要部構成を示すブロック図である。 図２６は、入射角度及び入射角度範囲により混色量が変化することを説明するために用いた図である。 図２７（ａ）は、原色系ベイヤー配列のカラー撮像素子の平面図であり、図２７（ｂ）は、図２７（ａ）の２７ｂ−２７ｂ線に沿う要部断面図である。 図２８（ａ）は、新型カラーフィルタ配列のカラー撮像素子の平面図であり、図２８（ｂ）は、図２８（ａ）の２８ｂ−２８ｂ線に沿う要部断面図である。 図２９は、ベイヤー配列のカラー撮像素子の左端部、中心部及び右端部における、赤画素から緑画素への混色量の従来の算出方法を説明するために用いた図である。

以下、添付図面に従って本発明に係る混色率算出装置及び方法並びに撮像装置の実施の形態について説明する。

［混色率算出装置］
図１は、本発明に係る混色率算出装置の実施形態を示すブロック図である。

図１に示すように混色率算出装置１０は、主としてＲＡＷデータ取得部１１、混色率算出部１２、記憶部１４、撮影条件設定部１５、及び中央処理装置（ＣＰＵ）１６から構成されている。

この混色率算出装置１０は、デジタルカメラ等の撮像装置５０の出荷前に、撮像装置５０毎に混色率を算出するもので、混色率算出装置１０により算出された混色率は、撮像装置５０内の記憶部に格納される。

撮像装置５０は、図２７（ａ）に示したベイヤー配列、又は図２８（ａ）に示した新型カラーフィルタ配列（新型ＣＦ配列）を有するカラー撮像素子を有する単板式のカラー撮像素子を備えており、カラー撮像素子は、撮影レンズ２００を介して撮像面に結像された被写体光を光電変換し、カラーフィルタ配列に対応するモザイク画像データを出力する。カラー撮像素子から出力された未処理のモザイク画像データ（ＲＡＷデータ）は、撮像装置内の信号処理部によりオフセット（暗電流）補正、混色補正、ホワイトバランス補正、ガンマ補正、モザイク画像から画素毎に全ての色情報を算出するデモザイク処理（同時化処理）、デモザイク処理されたＲＧＢの画像データを輝度データ（Ｙ）及び色差データ（Ｃｒ，Ｃｂ）に変換するＲＧＢ／ＹＣ変換処理等の信号処理が行われる。

混色率算出装置１０により混色率を算出する場合には、赤色発光部６０の発光面（発光面内で均一な赤色光を発光する発光面）を撮像装置５０により撮像させる。

混色率算出装置１０に設けられているＣＰＵ１６は、図示しない操作部からの混色率算出開始等の指令信号に基づいて、混色率の演算に必要なデータの取得、混色率の演算・記録等を行うために混色率算出装置１０の各部を統括的に制御する。

混色率算出装置１０のＲＡＷデータ取得部１１は、赤色発光部６０の発光面を撮像した時の撮像装置５０のカラー撮像素子の出力であるＲＡＷデータを取得する取得部であり、取得したＲＡＷデータを混色率算出部１２に出力する。ここで、ＲＡＷデータは、カラー撮像素子から出力された未処理のデータであり、本例では、カラー撮像素子の有効画素領域及び後述するオプティカルブラック部（ＯＢ部）のデータを含む。

混色率算出部１２は、ＲＡＷデータ取得部１１から入力したＲＡＷデータに基づいて、Ｒ画素から他の色画素に混色する場合の混色率を混色方向別に算出する。尚、混色率算出方法の詳細については後述する。

また、混色率算出部１２は、補間処理部１３を有している。補間処理部１３は、撮像装置５０のカラー撮像素子がベイヤー配列の場合に、カラー撮像素子の撮像面中心部及び撮像面端部において算出された混色率を補間し、撮像面中心部と撮像面端部との間の混色率を補間演算する。

記憶部１４は、混色率算出部１２により算出された混色率を、撮像装置５０に関連付けて一時的に記憶する部分である。記憶部１４に記憶された混色率は、混色率の算出終了後、混色率算出装置１０により、又は撮像装置５０にデータ記録を行う記録装置により撮像装置５０内のＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の不揮発性メモリ（記憶部）に記録される。

撮影条件設定部１５は、ＣＰＵ１６からの指示に基づいて撮像装置５０の絞りのＦ値、及び撮影レンズ２０のズーム倍率を設定・変更するものである。混色率は、Ｆ値及びズーム倍率により変化するため、撮影条件設定部１５は、複数段のＦ値及びズーム倍率の各組合せに対応する混色率を算出するために、Ｆ値及びズーム倍率を設定・変更する。また、Ｆ値及びズーム倍率を設定・変更する毎に、撮像装置５０による赤色発光部６０の発光面の撮像を実施させる。尚、撮像装置５０の撮影レンズ２０が単焦点レンズの場合には、撮影条件設定部１５は、Ｆ値のみを変更させる。

［第１の実施形態］
本発明の第１の実施形態は、ベイヤー配列のカラー撮像素子に適用される混色率算出方法の一実施形態である。

図２７（ａ）に示したようにベイヤー配列のカラー撮像素子は、赤（Ｒ）、緑（Ｇ）、
青（Ｂ）の色画素が、２×２画素を単位として水平方向及び垂直方向（左右方向及び上下方向）に繰り返し配置されて構成されている。従って、Ｒ画素からの混色を受ける画素は、Ｒ画素に最短距離で隣接する上下左右方向のＧ画素である。

図２（ａ）、（ｂ）及び（ｃ）は、それぞれベイヤー配列のカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＧ画素への混色を示す概念図である。尚、図２上で、矢印の方向（斜め方向）は混色方向を示し、矢印の太さは混色量の大きさを概念的に示している。

また、図３（ａ）及び（ｂ）は、それぞれベイヤー配列のカラー撮像素子の中心部及び右端部の要部平面図である。尚、図３（ａ）及び（ｂ）において、Ｇ画素のうち、左右方向の隣接画素がＲ画素のＧ画素をＧrとし、左右方向の隣接画素がＢ画素のＧ画素をＧbとして表記している。

撮像面中心部におけるＧ画素(Ｇr)の、左側のＲ画素からの混色量をMleft、右側のＲ画素からの混色量をMrightとすると、Ｇ画素(Ｇr)の出力Ｇroは、次式により表すことができる。

［数１］
Ｇro＝Ｇbase＋Mright＋Mleft
ここで、Ｇbaseは、Ｇ画素のＧフィルタの透過波長域が、赤色光の波長域と一部重なる結果、Ｇフィルタを透過した赤色光に対応する値であり、赤色光の強度、Ｇフィルタの赤色光の透過率、光電変換効率から論理的に算出することができる。

いま、カラー撮像素子の撮像面に単波長の赤色光を入射させた場合、図２（ｂ）に示すように撮像面中心部では、赤色光のＲ画素への入射角度θはゼロであり、Ｒ画素から隣接するＧ画素(Ｇr)への混色は、混色方向に依存しない。

従って、［数１］式において、Ｇ画素(Ｇr)の左右方向からの混色量（Mleft、Mright）は等しい（Mleft＝Mright）。また、Ｇbaseは既知であるため、撮像面中心部におけるＧ画素(Ｇr)の出力Ｇroから、左右方向からの混色量（Mleft、Mright）は、次式により算出することができる。

［数２］
Mleft＝Mright＝（Ｇro−Ｇbase）／２
撮像面中心部におけるＧ画素(Ｇr)の左右方向からの混色率を、MRleft、MRrightとすると、混色率MRleft、MRrightは、撮像面中心部におけるＲ画素の出力Ｒoと、上記算出した左右方向からの混色量（Mleft、Mright）とに基づいて、次式により算出することができる。

［数３］
MRleft ＝Mleft／Ｒo
MRright＝Mright／Ｒo
尚、前述したように撮像面中心部では、左右方向からの混色量（Mleft、Mright）は等しいため、［数３］式に示した左右方向からの混色率（MRleft、MRright）も等しい。

一方、撮像面端部における混色率の算出には、オプティカルブラック部（ＯＢ部）５を利用する。ＯＢ部５は、カラー撮像素子の有効画素領域の周囲（４辺）に設けられた、光学的に光を遮蔽する遮蔽部材により覆われた部分である。

以下、撮像面右端部における混色方向（左右方向）別の混色率を算出する方法について説明する。

図３（ｂ）に示すようにＲ画素の右側に隣接するＯＢ部５の画素(Ｇob)の出力をＧoboとすると、画素(Ｇob)の出力Ｇoboには、その左側のＲ画素からの混色量（Mleft）が、画素(Ｇob)の出力Ｇoboとして現れるため、画素(Ｇob)の出力Ｇoboは、そのまま混色量（Mleft）を示すことになる（Ｇobo＝Mleft）。

一方、上記Ｒ画素の左側に隣接するＧ画素(Ｇr)への、右側のＲ画素からの混色量の算出に先立って、Ｇ画素(Ｇr)のＧbaseを、以下のようにして算出する。

まず、ＯＢ部５に隣接するＧ画素(Ｇb)の出力をＧboとすると、出力Ｇboは、次式により表すことができる。

［数４］
Ｇbo＝Ｇbase＋Mtop＋Mbottom
Ｇbase＝Ｇbo−（Mtop＋Mbottom）
ここで、Mtop、Mbottomは、Ｇ画素(Ｇb)への上下方向のＲ画素からの混色量を示す。これらの混色量（Mtop、Mbottom）は、前述した撮像面中心部における左右方向からの混色量（Mleft、Mright）と同様に、撮像面中心部における上下方向からの混色量（Mtop、Mbottom）として求めることができ、これらの値を使用することができる。

従って、撮像面端部（右端部）のＧ画素(Ｇb)におけるＧbaseは、そのＧ画素(Ｇb)の出力Ｇboと、上記の混色量（Mtop、Mbottom）とに基づいて、［数４］式から算出すること
ができる。

また、撮像面端部（右端部）のＲ画素の左側に隣接するＧ画素(Ｇr)への、右側のＲ画素からの混色量をMrightとし、Ｇ画素(Ｇr)の出力をＧroとすると、Ｇ画素(Ｇr)の出力Ｇroは、次式で表すことができる。

［数５］
Ｇro＝Ｇbase＋Mright＋Mleft
Mright＝Ｇro−Ｇbase−Mleft
従って、Ｇ画素(Ｇr)の出力Ｇro、画素(Ｇob)の出力Ｇoboにより検出される混色量（Mleft）、及び前記［数４］式により算出されるＧbaseから、上記［数５］式に基づいて右側のＲ画素からの混色量Mrightを算出することができる。

そして、撮像面右端部におけるＧ画素(Ｇr)の左右方向からの混色率を、MRleft、MRrightとすると、混色率MRleft、MRrightは、撮像面右端部におけるＲ画素の出力Ｒoと、上記算出した左右方向からの混色量（Mleft、Mright）とに基づいて、前述した［数３］式により算出することができる。

また、撮像面左端部におけるＧ画素(Ｇr)の左右方向からの混色率（MRleft、MRright）、撮像面上端部におけるＧ画素(Ｇb)の上下方向からの混色率（MRtop、MRbottom）、撮像面下端部におけるＧ画素(Ｇb)の上下方向からの混色率（MRtop、MRbottom）も上記と同様にして算出することができる。

上記のように撮像面中心部と撮像面端部における混色方向別の混色率を算出することができるため、撮像面中心部と撮像面端部との間の混色方向別の混色率は、撮像面中心部における混色率と、撮像面端部における混色方向別の混色率とを直線補間し、又は２次補間することにより算出することができる。

図４は、上記第１の実施形態の混色率算出方法による混色率の算出手順を示すフローチャートであり、主として図１に示した混色率算出部１２の処理内容に関して示している。

混色率算出の対象である撮像装置５０は、ベイヤー配列のカラー撮像素子を有しており、赤色発光部６０から照射された赤色光のみを受光し、受光した光量に対応するＲＡＷデータを出力する。

混色率算出部１２は、ＲＡＷデータ取得部１１を介してＲＡＷデータを入力し、入力したＲＡＷデータに基づいて、図４に示す以下の処理を行う。

まず、カラー撮像素子の撮像面中心部におけるＲ画素からＧ画素(Ｇr)への混色方向別（左右方向別）の混色率を算出する（ステップＳ１０）。

撮像面中心部における混色率の算出は、まず、ＲＡＷデータから撮像面中心部に対応するＧ画素(Ｇr)のデータＧroを抽出し、このデータＧroに基づいてＧ画素(Ｇr)の左右方向からの混色量（Mleft、Mright）を算出する（ステップＳ１２）。混色量（Mleft、Mright）は、前述した［数１］式（［数２］式）により算出することができる。

続いて、ＲＡＷデータから撮像面中心部のＧ画素(Ｇr)の左方向、又は右方向に隣接するＲ画素のデータ(Ｒo)を抽出し、ステップＳ１２で算出した混色量（Mleft、Mright）を、それぞれＲ画素のデータＲoで除算することにより、撮像面中心部のＧ画素(Ｇr)の左右方向からの混色率(MRleft、MRright)を算出する（ステップＳ１４、［数３］式参照）。尚、上記Ｒ画素のデータＲoは、撮像面中心部のＧ画素(Ｇr)の左右方向に隣接する２つのＲ画素のデータを平均した値を使用してよい。

上記と同様にＲＡＷデータから撮像面中心部のＧ画素(Ｇb)のデータＧboと、このＧ画素(Ｇb)の上方向、又は下方向に隣接するＲ画素のデータ(Ｒo)とを抽出し、これらの画素のデータに基づいて、撮像面中心部におけるＧ画素(Ｇb)の上下方向からの混色率(MRtop、MRbottom)を算出する（ステップＳ２０）。

次に、カラー撮像素子の撮像面右端部におけるＲ画素からＧ画素(Ｇr)への混色方向別（左右方向別）の混色率を算出する（ステップＳ３０）。

撮像面右端部における混色率の算出は、まず、ＲＡＷデータから撮像面右端部のＲ画素に隣接する、ＯＢ部５の画素(Ｇob)のデータＧoboを抽出し（図３（ｂ）参照）、このデータＧoboに基づいて、撮像面右端部のＧ画素(Ｇr)の左方向からの混色量（Mleft＝Ｇobo）を求める（ステップＳ３２）。

続いて、撮像面右端部のＧ画素(Ｇr)のＧbaseを、ＯＢ部５に隣接するＧ画素(Ｇb)のデータＧbo、及びこのＧ画素(Ｇb)の上下方向のＲ画素からの混色量（Mtop、Mbottom）に基づいて算出する（ステップＳ３４、［数４］式参照）。そして、撮像面右端部のＧ画素(Ｇr)のデータＧroを、ＲＡＷデータから抽出し、このデータＧro、ステップＳ３２で算出した混色量(Mleft)、及びステップＳ３４で算出したＧbaseに基づいて、Ｇ画素(Ｇr)右側のＲ画素からの混色量Mrightを算出する（ステップＳ３６、［数５］式参照）。

次に、ＲＡＷデータから撮像面右端部のＲ画素のデータＲoを抽出し、ステップＳ３２、Ｓ３６で算出した混色量（Mleft、Mright）を、それぞれＲ画素のデータＲoで除算することにより、撮像面右端部のＧ画素(Ｇr)の左右方向からの混色率(MRleft、MRright)を算出する（ステップＳ３８）。

ステップＳ４０、Ｓ５０、Ｓ６０では、それぞれ撮像面左端部のＧ画素(Ｇr)の左右方向からの混色率（MRleft、MRright）、撮像面上端部のＧ画素(Ｇb)の上下方向からの混色率（MRtop、MRbottom）、撮像面下端部のＧ画素(Ｇb)の上下方向からの混色率（MRtop、MRbottom）を算出する。尚、これらのステップＳ４０、Ｓ５０、Ｓ６０での混色率の算出は、ステップＳ３０と同様に行うことができるため、その詳細な説明は省略する。

上記のようにしたカラー撮像素子の撮像面中心部における混色率（MRleft、MRright、MRtop、MRbottom）、及び撮像面の各端部における混色率（MRleft、MRright、MRtop、MRbottom）が算出されると、混色率算出部１２の補間処理部１３は、これらの混色率を線形補間し、撮像面中心部から各端部までの間の混色率を算出する。そして、混色率算出部１２は、撮像面中心部からの距離及び方向（撮像面上の位置）と、混色方向別の混色率とを関連付けて、記憶部１４に記憶させる（ステップＳ７０）。

上記ステップＳ１０からステップＳ７０の処理は、撮影条件設定部１５により撮像装置５０の撮影条件（Ｆ値又はズーム倍率）が変更され、変更された撮影条件下で撮像が行われると、その撮像毎に行われる。

［第１の実施形態の第１の変形例］
図５に示すカラー撮像素子は、撮像面右端部では、Ｒ画素がＯＢ部５に隣接しているが（図５（ｃ））、撮像面左端部では、Ｒ画素がＯＢ部５に隣接していない（図５（ａ））。

第１の実施形態の第１の変形例は、Ｒ画素がＯＢ部５に隣接していない場合の混色率算出方法の実施形態である。

図５（ａ）及び図６に示す例は、撮像面左端部側のＯＢ部５にＲ画素が隣接していない場合（Ｇ画素（Ｇr1)が隣接している場合）に関して示している。

この場合、ＯＢ部５の画素の出力から、Ｒ画素からの混色量を直接求めることができない。

しかし、Ｇ画素（Ｇr1)は、ＯＢ部５に隣接しているため、左方向（ＯＢ部５）からの混色はない。従って、Ｇ画素（Ｇr1)の右方向からの混色量Mrightは、Ｇ画素（Ｇr1)の出力Ｇr1oと、Ｇ画素（Ｇr1)のＧbase（［数４］式）とから、次式により算出することができる。

［数６］
Ｇr1o＝Ｇbase＋Mright
Mright＝Ｇr1o−Ｇbase
一方、撮像面左端部において、左右方向にそれぞれＲ画素が隣接するＧ画素（Ｇr2)への、左方向からの混色量をMleft、Ｇ画素（Ｇr2)の出力をＧr2oとすると、出力Ｇr2oは、次式により表すことができる。

［数７］
Ｇr2o＝Ｇbase＋Mright ＋Mleft
Mleft＝Ｇr2o−（Ｇbase＋Mright）
従って、左方向からの混色量（Mleft）は、Ｇ画素（Ｇr2)の出力Ｇr2oからＧ画素（Ｇr1)の出力Ｇr1o（［数６］式参照）を減算することにより算出することができる。

また、撮像面左端部におけるＧ画素の左右方向からの混色率を、MRleft、MRrightとすると、混色率MRleft、MRrightは、撮像面左端部のＲ画素の出力Ｒoと、上記算出した左右方向からの混色量（Mleft、Mright）とに基づいて前述した［数３］式により算出することができる。

尚、他の撮像面端部において、撮像面端部側のＯＢ部５にＲ画素が隣接していない場合には、その撮像面端部における混色方向別の混色率は、上記の第１の実施形態の変形例と同様に算出することができる。また、撮像面中心部における混色方向に依存しない混色率は、第１の実施形態と同様に算出することができる。

図７は、上記第１の実施形態の第１の変形例の混色率算出方法による混色率の算出手順を示すフローチャートである。尚、図４に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。

図７に示すように、第１の実施形態の第１の変形例は、ステップＳ４０Ａ及びステップＳ６０Ａの処理が、第１の実施形態のステップＳ４０及びステップＳ６０の処理と相違する。

ステップＳ４０Ａは、カラー撮像素子の撮像面左端部のＲ画素からＧ画素(Ｇr1,Ｇr2)への混色方向別（左右方向別）の混色率を算出する。図５（ａ）及び図６に示すように、撮像面左端部側のＯＢ部５には、Ｇ画素（Ｇr1)が隣接している。そこで、まず、Ｇ画素（Ｇr1)のＢbaseを算出するために、撮像面左端部のＧ画素（Ｇb)のＢbaseを算出し、これをＧ画素（Ｇr1)のＢbaseとする（ステップＳ４２Ａ）。尚、撮像面左端部のＧ画素（Ｇb)のＢbaseは、図４のステップＳ３４と同様にして算出することができる。

続いて、ＲＡＷデータから撮像面左端部のＧ画素（Ｇr1)のデータＧr1oを抽出し、このデータＧr1oと、ステップＳ４２で算出したＢbaseとに基づいてＲ画素からＧ画素（Ｇr1)への混色量(Mright）を算出する（ステップＳ４４Ａ、［数６］式）。

右方向から混色量(Mright）が算出されると、ＲＡＷデータから撮像面左端部のＧ画素（Ｇr2)のデータＧr2oを抽出し、このデータＧr2o、ステップＳ４２で算出したＢbase、及びステップＳ４４で算出した混色量(Mright）に基づいて左方向からの混色量(Mleft)を算出する（ステップＳ３６、［数７］式参照）。尚、左方向からの混色量(Mleft)は、Ｇ画素（Ｇr2)のデータＧr2oからＧ画素（Ｇr1)のデータＧr1oを減算しても算出することができる。

次に、ＲＡＷデータから撮像面左端部のＲ画素のデータＲoを抽出し、ステップＳ４４、Ｓ４６で算出した混色量（Mleft、Mright）を、それぞれＲ画素のデータＲoで除算することにより、撮像面左端部における混色方向別の混色率(MRleft、MRright)を算出する（ステップＳ４８Ａ）。

ステップＳ６０Ａは、カラー撮像素子の撮像面下端部のＲ画素からＧ画素(Ｇb)への混色方向別（上下方向別）の混色率を算出する。ここで、撮像面下端部のＯＢ部には、撮像面左端部と同様にＧ画素(Ｇb)が隣接しているものとする。従って、ステップＳ６０Ａでの混色率の算出は、ステップＳ４０Ａと同様に行うことができる。

［第１の実施形態の第２の変形例］
第１の実施形態の第２の変形例は、撮像面左右方向の両端部、もしくは撮像面上下方向の両端部のうちの一方の端部ではＲ画素がＯＢ部に隣接し、他方の端部ではＲ画素がＯＢ部に隣接していない場合の混色率算出方法の更に他の実施形態である。

第１の実施形態の第２の変形例は、Ｒ画素がＯＢ部に隣接する撮像面端部では、第１の実施形態と同様にその撮像面端部における混色方向別の混色率を算出し、Ｒ画素がＯＢ部に隣接していない撮像面端部では、算出された側の混色方向別の混色率を、反転させて使用する。

例えば、Ｒ画素がＯＢ部に隣接する撮像面右端部において、左方向からの混色率MRleftと、右方向からの混色率MRrightとが算出された場合、Ｒ画素がＯＢ部に隣接しない撮像面左端部における左方向からの混色率は、前記算出された右方向からの混色率MRrightを使用し、撮像面左端部における右方向からの混色率は、前記算出された左方向からの混色率MRleftを使用する。

［第２の実施形態］
本発明の第２の実施形態は、ベイヤー配列のカラー撮像素子に適用される混色率算出方法の他の実施形態であり、ベイヤー配列のカラー撮像素子のＯＢ部の構成が第１の実施形態と相違し、かつＯＢ部を使用した撮像面端部における混色率算出方向が第１の実施形態と相違する。

図８（ａ）、（ｂ）及び（ｃ）は、それぞれ第２の実施形態に対応するカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＧ画素への混色を示す概念図であり、図９は、第２の実施形態に対応するカラー撮像素子の右端部の要部平面図である。

第２の実施形態に対応するカラー撮像素子は、ＯＢ部５Ａに開口６を有する混色率算出用のＲ画素が設けられている点で、第１の実施形態のカラー撮像素子と相違する。

この混色率算出用のＲ画素は、有効画素領域から２画素以上離れているＲ画素であって、最も有効画素領域に近い画素が好ましい。

図９に示すように開口６を有する混色率算出用のＲ画素に隣接する４つのＧ画素を、それぞれＧob1,Ｇob2,Ｇob3,Ｇob4とすると、これらのＧ画素Ｇob1〜Ｇob4の出力Ｇob1o〜Ｇob4oは、それぞれ混色率算出用のＲ画素からの混色量を示す。

即ち、Ｇ画素Ｇob1の出力Ｇob1oは、右側に隣接するＲ画素（右方向）からの混色量Mrightを示し（Ｇob1o＝Mright）、Ｇ画素Ｇob2の出力Ｇob2oは、左側に隣接するＲ画素（左方向）からの混色量Mleftを示す（Ｇob2o＝Mleft）。

従って、混色率算出用のＲ画素の出力をＲoとすると、撮像面右端部における左右方向からの各混色率MRleft、MRrightは、Ｇ画素Ｇob1、Ｇob2により検出される左右方向の混色量Mleft、Mrightを、Ｒ画素の出力Ｒoで除算することにより算出することができる（［数３］式参照）。

また、撮像面左端部におけるＧ画素の左右方向からの混色率（MRleft、MRright）、撮像面上端部におけるＧ画素の上下方向からの混色率（MRtop、MRbottom）、撮像面下端部におけるＧ画素の上下方向からの混色率（MRtop、MRbottom）も上記と同様に、混色率算出用のＲ画素に隣接するＧ画素の出力を、端部のＯＢ部５Ａに設けた開口６を有する混色率算出用のＲ画素の出力で除算することにより算出することができる。

図１０は、上記第２の実施形態の混色率算出方法による混色率の算出手順を示すフローチャートである。尚、図４に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示すように、第２の実施形態は、ステップＳ３０Ｂ〜ステップＳＳ６０Ｂの処理が、第１の実施形態のステップＳ３０〜ステップＳ６０の処理と相違する。

ステップＳ３０Ｂは、カラー撮像素子の撮像面右端部におけるＲ画素から左右方向に隣接するＧ画素(Ｇr)への混色方向別（左右方向別）の混色率を算出する。図８（ｃ）及び図９に示すように、ＯＢ部５Ａに設けた開口６を有する混色率算出用のＲ画素の左右には、ＯＢ部５Ａにより遮光されているＧ画素Ｇob1、Ｇob2が隣接している。これらのＧ画素Ｇob1、Ｇob2の出力Ｇob1o、Ｇob2o1を、それぞれ混色率算出用のＲ画素からの混色量（Mleft、Mright）として、ＲＡＷデータから抽出（検出）する（ステップＳ３２Ｂ）。

次に、ＲＡＷデータから混色率算出用のＲ画素のデータＲoを抽出し、ステップＳ３２Ｂで検出した混色量（Mleft、Mright）を、それぞれＲ画素のデータＲoで除算することにより、撮像面右端部における混色方向別の混色率(MRleft、MRright)を算出する（ステップＳ３４Ｂ）。

ステップＳ４０Ｂ、Ｓ５０Ｂ及びＳ６０Ｂは、上記ステップＳ３０Ｂと同様に、撮像面左端部におけるＧ画素の左右方向からの混色率（MRleft、MRright）、撮像面上端部におけるＧ画素の上下方向からの混色率（MRtop、MRbottom）、撮像面下端部におけるＧ画素の上下方向からの混色率（MRtop、MRbottom）を、混色率算出用のＲ画素に隣接するＧ画素の出力を、端部のＯＢ部５Ａに設けた開口６を有する混色率算出用のＲ画素の出力で除算することにより算出する。

［第２の実施形態の変形例］
第２の実施形態では、撮像面中心部における混色率は、第１の実施形態として同様に算出するが、第２の実施形態の変形例では、混色率算出用のＲ画素の出力と混色率算出用のＲ画素に隣接するＧ画素の出力とに基づいて撮像面中心部における混色率を算出する点で、第２の実施形態と相違する。

図６に示した開口６を有する混色率算出用のＲ画素への赤色光の入射角度は、左右方向一定の角度を持っているが、上下方向の入射角度はゼロとみなすことができる。従って、混色率算出用のＲ画素に隣接する４つのＧ画素のうちの、上下方向のＧ画素Ｇob3,Ｇob4の出力Ｇob3o,Ｇob4oと、混色率算出用のＲ画素の出力Ｒoとに基づいて撮像面中心部における上下方向の混色率（MRtop、MRbottom）を算出することができる。

同様に、カラー撮像素子の有効画素領域の上側又は下側のＯＢ部に設けられた、混色率算出用のＲ画素の出力と、そのＲ画素に対して左右方向に隣接するＧ画素の出力とに基づいて、撮像面中心部における左右方向の混色率（MRleft、MRright）を算出することができる。尚、撮像面中心部では、混色方向に依存しない混色率を持つため、上下左右の方向別の混色率（MRtop、MRbottom、MRleft、MRright）を平均した混色率を、撮像面中心部における混色率としてもよい。

［第３の実施形態］
本発明の第３の実施形態は、新型カラーフィルタ配列（新型ＣＦ配列）を有するカラー撮像素子に適用される混色率算出方法の一実施形態である。

図２８（ａ）に示したように新型ＣＦ配列のカラー撮像素子は、６×６画素を単位（基本配列パターン）として水平方向及び垂直方向（左右方向及び上下方向）に繰り返し配置されて構成されており、２×２画素を単位とするベイヤー配列のカラー撮像素子に比べてＲＧＢの画素の配列の非周期性が高く、モアレを軽減し、かつ偽色の発生を抑制できるものである。

この新型ＣＦ配列のカラー撮像素子には、上下左右に隣接する４画素のうちの１画素のみが、Ｒ画素であるＧ画素及びＢ画素が存在する。

図１１（ａ）、（ｂ）及び（ｃ）は、それぞれ新型ＣＦ配列のカラー撮像素子の左端部、中心部及び右端部における、Ｒ画素から左右方向に隣接するＢ画素及びＧ画素への混色を示す概念図であり、図１２は、新型ＣＦ配列のカラー撮像素子の要部平面図である。

図１２に示すＢ画素Ｂ1〜Ｂ4は、それぞれ上下左右に隣接する４画素のうちの１画素のみがＲ画素Ｒ1〜Ｒ4であり、かつ隣接するＲ画素Ｒ1〜Ｒ4の方向がそれぞれ異なっている。

新型ＣＦ配列のカラー撮像素子の撮像面に単波長の赤色光を入射させた場合、Ｂ画素Ｂ1〜Ｂ4の出力Ｂright,Ｂleft,Ｂtop,Ｂbottomは、Ｒ画素Ｒ1〜Ｒ4からの混色量を、それぞれMright、Mleft、Mtop、Mbottomとすると、次式で表すことができる。

［数８］
Ｂright ＝Ｂbase＋Mright
Ｂleft ＝Ｂbase＋Mleft
Ｂtop ＝Ｂbase＋Mtop
Ｂbottom＝Ｂbase＋Mbottom
ここで、Ｂbaseは、Ｂ画素のＢフィルタの透過波長域が、赤色光の波長域と一部重なる結果、Ｂフィルタを透過した赤色光に対応する値であり、赤色光の強度、Ｂフィルタの赤色光の透過率、光電変換効率から論理的に算出することができるが、Ｂフィルタの赤色光の透過率は、Ｂフィルタの特性、赤色光の波長によっては非常に小さくなるため、ゼロとすることができる。

従って、カラー撮像素子の撮像面に単波長の赤色光を入射させたときの、Ｂ画素Ｂ1〜Ｂ4の出力Ｂright,Ｂleft,Ｂtop,Ｂbottomから、隣接するＲ1〜Ｒ4からの混色量（Mright,Mleft,Mtop,Mbottom)を求めることができる。

また、Ｂ画素Ｂ1〜Ｂ4の混色率を、それぞれMRright、MRleft、MRtop、MRbottomとすると、各混色率（MRright、MRleft、MRtop、MRbottom）は、Ｒ画素Ｒ1〜Ｒ4の出力Ｒ1oＲ4oと、上記のようにして求めた混色量（Mright,Mleft,Mtop,Mbottom)とに基づいて、次式により算出することができる。

［数９］
MRright ＝Mright／Ｒ1o
MRleft ＝Mleft／Ｒ2o
MRtop ＝Mtop／Ｒ3o
MRbottom＝Mbottom／Ｒ4o
新型ＣＦ配列は、６×６画素を基本配列パターンとして水平方向及び垂直方向（左右方向及び上下方向）に繰り返し配置されて構成されているため、上記の混色方向別の混色率（MRright、MRleft、MRtop、MRbottom）は、カラー撮像素子の全領域で算出することができる。

これにより、第１、第２の実施形態のように撮像面中心部における混色率と、撮像面端部における混色方向別の混色率とを特別に測定・計算し、撮像面中心部と撮像面端部の間の混色率を補間により算出する必要がない。また、撮像面中心部から端部に至る途中で、逆方向からの混色率がゼロになるような場合でも正確に混色率を算出することができる。

図１３は、上記第３の実施形態の混色率算出方法による混色率の算出手順を示すフローチャートであり、主として図１に示した混色率算出部１２の処理内容に関して示している。

混色率算出の対象である撮像装置５０は、新型ＣＦ配列のカラー撮像素子を有しており、赤色発光部６０から照射された赤色光のみを受光し、受光した光量に対応するＲＡＷデータを出力する。

混色率算出部１２は、ＲＡＷデータ取得部１１を介してＲＡＷデータを入力し、入力したＲＡＷデータに基づいて、図１３に示す以下の処理を行う。

図１２に示したように、Ｒ画素Ｒ1が右側に隣接するＢ画素Ｂ1の出力Ｂrightを、ＲＡ
Ｗデータから抽出し、この出力ＢrightとＢbaseとに基づいて、前述した［数８］式により、Ｒ画素Ｒ1からＢ画素Ｂ2への混色量Ｍright(右方向からの混色量）を算出する（ステップＳ１００）。尚、Ｂbaseは、論理計算により求められる既知の値を使用してもよいし、ゼロとしてもよい。

同様に、Ｒ画素Ｒ2が左側に隣接するＢ画素Ｂ2の出力Ｂleftを、ＲＡＷデータから抽出し、この出力ＢleftとＢbaseとに基づいて、混色量Ｍleft(左方向からの混色量）を算出し（ステップＳ１０２）、Ｒ画素Ｒ3が上側に隣接するＢ画素Ｂ3の出力Ｂtopを、ＲＡＷデータから抽出し、この出力ＢtopとＢbaseとに基づいて、混色量Ｍtop(上方向からの混色量）を算出し（ステップＳ１０４）、Ｒ画素Ｒ4が下側に隣接するＢ画素Ｂ4の出力Ｂbottomを、ＲＡＷデータから抽出し、この出力ＢbottomとＢbaseとに基づいて、混色量Ｍbottom(上方向からの混色量）を算出する（ステップＳ１０６）。

上記算出した混色方向別の混色量（Mright,Mleft,Mtop,Mbottom)を、それぞれ隣接するＲ画素Ｒ1〜Ｒ4の出力Ｒ1oＲ4oで除算することにより、混色方向別の混色率（MRright、MRleft、MRtop、MRbottom）を算出する（ステップＳ１０８、［数８］式）。

上記ステップＳ１００〜ステップＳ１０８の処理は、カラー撮像素子の撮像面内で、測定できる全ての点（全てのＢ画素）について行う。

混色率算出部１２は、カラー撮像素子の撮像面内の全てのＢ画素に関連して測定した混色方向別の混色率（MRright、MRleft、MRtop、MRbottom）を、Ｂ画素の位置、又は撮像面中心部からの距離及び方向に関連付けて、記憶部１４に記憶させる（ステップＳ１１０）。

尚、混色率の測定は、カラー撮像素子の撮像面内の全てのＢ画素に限らず、例えば、撮像面を１６分割した分割領域毎に、混色方向別の混色率を測定し、測定結果を線形補間又はスプライン補間することにより、撮像面内の全領域における混色方向別の混色率を演算し、演算した混色率を撮像面中心部からの距離及び方向に関連付けて、記憶部１４に記憶させるようにしてもよい。

また、上記第３の実施形態では、Ｂ画素とＲ画像との出力に基づいて混色率を算出するようにしたが、新型ＣＦ配列のカラー撮像素子内の２×２画素のＧ画素は、上下左右に隣接する４画素のうちの１画素のみがＲ画素であるため、これらのＧ画素の出力と、Ｇ画素に隣接するＲ画素の出力とに基づいて混色率を算出するようにしてもよい。

［第３の実施形態の変形例］
図１４（ａ）及び（ｂ）は、それぞれ第３の実施形態による混色率算出方法を使用することができる、他のカラー撮像素子の要部平面図である。

図１４（ａ）に示すカラー撮像素子は、６×６画素を単位（基本配列パターン）として左右方向及び上下方向に繰り返し配置されて構成されている点で、図２９（ａ）等に示した新型カラーフィル配列のカラー撮像素子と共通するが、基本配列パターン内のＲＧＢの色画素の配置が相違する。

図１４（ａ）に示したＲ画素Ｒ1には、４つのＧ画素Ｇ1〜Ｇ4が隣接しているが、これらのＧ画素Ｇ1〜Ｇ4は、上下左右に隣接する４画素のうちの１画素のみがＲ画素Ｒ1であるため、カラー撮像素子の撮像面に単波長の赤色光を入射させたときの、Ｇ画素Ｇ1〜Ｇ4の出力と、Ｒ画素Ｒ1の出力とに基づいて、第３の実施形態と同様にして上下左右の混色方向別の混色率を算出することができる。

図１４（ｂ）に示すカラー撮像素子は、３×３画素を単位（基本配列パターン）として左右方向及び上下方向に繰り返し配置されて構成されている。

図１４（ｂ）に示したＲ画素Ｒ1には、Ｇ画素Ｇ2,Ｇ4が隣接し、Ｒ画素Ｒ2には、Ｇ画素Ｇ1,Ｇ3が隣接しているが、これらのＧ画素Ｇ1〜Ｇ4は、上下左右に隣接する４画素のうちの１画素のみがＲ画素Ｒ1又はＲ画素Ｒ2であるため、カラー撮像素子の撮像面に単波長の赤色光を入射させたときの、Ｇ画素Ｇ1〜Ｇ4の出力と、Ｒ画素Ｒ1、Ｒ2の出力とに基づいて、第３の実施形態と同様にして上下左右の混色方向別の混色率を算出することができる。

尚、第３の実施形態による混色率算出方法を使用することができるカラー撮像素子は、図２８（ａ）に示した新型ＣＦ配列の撮像素子、及び図１４（ａ）及び（ｂ）に示したカラー撮像素子に限らず、種々のものが考えられ、要は、隣接する４画素のうちの１画素のみがＲ画素となる、Ｒ画素とは異なる色画素を有するカラー撮像素子であればよい。

［撮像装置］
図１５は、本発明に係る撮像装置の実施形態を示すブロック図であり、図１に示した撮像装置５０の内部構成を示している。

図１５において、撮像装置５０は、カメラ本体５２と、カメラ本体５２の前面に交換可能に取り付けられたレンズユニット（交換レンズ）５４とを備える。

レンズユニット５４は、ズームレンズ２１及びフォーカスレンズ２２を含む撮影レンズ（撮影光学系）２０、絞り２３などを備える。ズームレンズ２１及びフォーカスレンズ２２は、それぞれズーム機構２４及びフォーカス機構２５によって駆動され、撮影レンズ２０の光軸Ｏ１に沿って前後移動される。ズーム機構２４及びフォーカス機構２５は、ギアやモータなどで構成される。

絞り２３は、絞り駆動部（図示省略）によって駆動され、例えば、Ｆ値が、Ｆ1.4〜Ｆ16まで1/3ＡＶ刻みで22段階に絞り制御される。絞り２３、ズーム機構２４及びフォーカス機構２５は、レンズドライバ２６を介してＣＰＵ３０により駆動制御される。

カメラ本体５２に設けられるＣＰＵ３０は、操作部３６からの制御信号に基づき、メモリ（記憶部）３７から読み出した各種プログラムやデータを逐次実行し、撮像装置５０の各部を統括的に制御する。メモリ３７のＲＡＭ領域は、ＣＰＵ３０が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。また、メモリ３７のＲＯＭ領域には、各種プログラム、本発明に係る混色補正用の混色率を示すデータ等が保存される。

操作部３６は、ユーザによって操作されるボタン、キー、タッチパネル及びこれらに類するものを含む。例えば、カメラ本体５２に設けられユーザによって操作される電源スイッチ、シャッタボタン、フォーカスモード切替レバー、フォーカスリング、モード切替ボタン、十字選択キー、実行キー、バックボタン等が、操作部３６に含まれうる。

カラー撮像素子２７は、撮影レンズ２０とともに撮像部を構成し、撮影レンズ２０及び絞り２３を通過した被写体光を、電気的な出力信号に変換して出力する。このカラー撮像素子２７は、カラーフィルタがベイヤー配列、又は新型ＣＦのいずれでもあってもよいが、以下、ベイヤー配列のカラー撮像素子として説明する。また、カラー撮像素子２７は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor）、ＣＣＤ(Charge Coupled Device）等の任意の方式を採用可能である。

撮像素子ドライバ３１は、ＣＰＵ３０の制御下でカラー撮像素子２７を駆動制御し、カラー撮像素子２７の画素から信号処理部３２に撮像信号（ＲＡＷデータ）を出力させる。

信号処理部３２は、カラー撮像素子２７から出力されるＲＡＷデータに対して、オフセット（暗電流）補正、混色補正、ホワイトバランス補正、ガンマ補正、デモザイク処理（同時化処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を施して撮影画像データを生成する。特に本例の信号処理部３２は、詳細については後述するが、本発明に係る混色方向別の混色補正を行う。

圧縮伸長処理部３４は、シャッタボタンがユーザによって押し下げ操作されたときに、メモリ３７のＲＡＭ領域に格納された撮影画像データ（輝度データ（Ｙ）及び色差データ）に対し、圧縮処理を施す。また、圧縮伸長処理部３４は、メディアインターフェース３３を介してメモリカード３８から得られる圧縮画像データに対し、圧縮伸長処理を施す。メディアインターフェース３３は、メモリカード３８に対する撮影画像データの記録及び読み出しなどを行う。

表示制御部３５は、撮影モード時には、ＥＶＦ（エレクトリックビューファインダ）３９及び背面ＬＣＤ（背面液晶）４０のうち少なくとも一方に対し、信号処理部３２により生成されたスルー画像（ライブビュー画像）を表示させる制御を行う。また、表示制御部３５は、画像再生モード時には、圧縮伸長処理部３４で伸長された撮影画像データを背面ＬＣＤ４０（及び／又はＥＶＦ３９）へ出力する。

撮像装置５０（カメラ本体５２）には、上記以外の他の処理部等が設けられていてもよく、例えばオートフォーカス用のＡＦ検出部や自動露光調節用のＡＥ検出部が設けられる。ＣＰＵ３０は、ＡＦ検出部の検出結果に基づきレンズドライバ２６及びフォーカス機構２５を介してフォーカスレンズ２２を駆動することでＡＦ処理を実行し、またＡＥ検出部の検出結果に基づきレンズドライバ２６を介して絞り２３等を駆動することでＡＥ処理を実行する。

次に、本発明に係る混色補正について説明する。

図１６は、撮像装置５０の信号処理部３２内の混色補正部の処理内容を示すフローチャートである。

図１６において、信号処理部３２内の混色補正部は、カラー撮像素子２７から入力するＲＡＷデータから、混色補正の対象画素のデータ（画素値）を取得する（ステップＳ２００）。本例のカラー撮像素子２７は、ベイヤー配列の撮像素子であるため、Ｒ画素からの混色はＧ画素のみに生じる。従って、混色補正の対象画素は、Ｇ画素である。

続いて、対象画素に左から右への混色があるか否かを判別する（ステップＳ２１２）。ここで、Ｇ画素が、Ｇｒの場合には、左右方向にＲ画素が隣接するため、左方向からの混色があると判別され、一方、Ｇ画素が、Ｇbの場合には、左右方向にＲ画素が隣接しないため（上下方向にＲ画素が隣接するため）、左方向からの混色はないと判別される。

ステップＳ２１２において、左方向からの混色があると判別されると（「Yes」の場合）、対象画素の撮像面上の位置に対応する、左方向からの混色率MRleftを、メモリ３７から読み出す（ステップＳ２１４）。

メモリ３７には、図１７に示すように撮像面の位置に応じて混色率（MRleft、MRright、MRtop、MRbottom）が記憶されているものとする。尚、図１７上で、斜線で示す範囲は、撮像面中心と端部において測定した混色方向別の混色率を補間して算出した部分である。

いま、対象画素が撮像面上の位置P(i,j)にある場合、ステップＳ２１４では、左右方向の位置ｉに対応する混色率（MRleft、MRright)のうちの混色率MRleftが読み出されることになる。

続いて、ＲＡＷデータから対象画素の左側のＲ画素の画素値（Ｒo)を取得する（ステップＳ２１６）。

次に、ステップＳ２１４で読み出した混色率MRleftと、ステップＳ２１６で取得した画素値を乗算し、左から右への混色量Mleft（＝Ｒo×MRleft）を算出する（ステップＳ２１
８）。

ステップＳ２２０、Ｓ２３０、及びＳ２４０では、上記の左から右への混色量の算出を行うステップＳ２１０（ステップＳ２１２〜Ｓ２１８）と同様にして、右から左への混色量の算出、上から下への混色量の算出、及び下から上への混色量の算出が行われる。

尚、前述したように補正対象のＧ画素が、Ｇｒの場合には、ステップＳ２１０、Ｓ２２０にて、それぞれ左右方向からの混色量が算出され、一方、補正対象のＧ画素が、Ｇbの場合には、ステップＳ２３０、Ｓ２４０にて、それぞれ上下方向からの混色量が算出される。

ステップＳ２５０では、対象画素の画素値から、混色方向別に算出した混色量を減算することにより、対象画素の画素値から混色量を除去する混色補正を行う。

続いて、ＲＡＷデータの全ての対象画素の混色補正が終了したか否かを判別し（ステップＳ２６０）、終了していないと判別した場合（「No」の場合）には、ステップＳ２００に遷移させる。これにより、他の対象画素の画素値に対する混色補正が行われる。一方、全ての対象画素の混色補正が終了したと判別した場合（「Yes」の場合）には、本混色補正処理を終了させる。

尚、メモリ３７には、図１８に示すように撮像面を分割した分割領域に対応して、離散的に混色率（MRleft、MRright、MRtop、MRbottom）が記憶させておき、分割領域内の対象画素については、その分割領域に対応する同じ混色率を使用するようにしてもよい。例えば、分割領域Ａ(m,n)内において、左右方向からの混色を受けるＧ画素Ｇrは、その分割領域Ａ(m,n)の位置ｍに対応して記憶された左右方向の混色率（MRleft、MRright)が共通に使用され、上下方向からの混色を受けるＧ画素Ｇbは、その分割領域Ａ(m,n)の位置ｎに対応して記憶された上下方向の混色率（MRtop、MRbottom)が共通に使用される。

また、上記の実施形態では、ベイヤー配列のカラー撮像素子を例に説明したが、新型ＣＦ配列のカラー撮像素子の場合には、Ｒ画素からの混色はＢ画素とＧ画素に生じる。

混色補正の対象画素がＢ画素の場合には、Ｂ画素毎に算出した混色率を使用することができる。混色補正の対象画素がＧ画素の場合には、Ｂ画素毎に算出した混色率のうちで、最も近い、同じ混色方向の混色率を使用することができる。尚、新型ＣＦ配列のカラー撮像素子内の２×２画素のＧ画素は、上下左右に隣接する４画素のうちの１画素のみがＲ画素であるため、これらのＧ画素の出力と、Ｇ画素に隣接するＲ画素の出力とに基づいて算出した混色率を使用してもよい。

［本発明と従来技術との比較例］
図１９に示すグラフＡ、Ｂは、それぞれカラー撮像素子の面内に均一な赤色光が入射した場合の、左側のＲ画素から右側の画素に混入する混色量と、右側のＲ画素から左側の画素に混入する混色量とを、撮像面内の位置を変数として示している。尚、図１９上では、撮像面の中心位置を０とし、撮像面左右の端部の位置を±１０としている。

図１９に示すグラフＣは、左右方向からの合計混色量（Ａ＋Ｂ）を示しており、本発明による新規補正方法２（第３の実施形態）により補正される混色量を示している。

一方、グラフＤは、ベイヤー配列のカラー撮像素子において、Ｒ画素の左右の出力差の絶対値（｜Ａ−Ｂ｜）を混色量とする、従来の手法による混色量を示している。

グラフＣ、Ｄとの比較からも明らかなように、従来の手法では、撮像面内の中心部では、混色量が計算上ゼロとみなされ、図２６に示した入射角度範囲φによる混色が考慮されていないものとなる。

また、グラフＥは、撮像面の中心部については純粋な赤色光を入射した時のＧ画素の出力を混色とみなすことにより混色率を求め、撮像面端部は従来通り左右差をとって混色を求め、中心部と撮像面端部の間の領域を線形補間することで、従来技術の組み合わせによる補正方法による混色量を示している。この方法は、撮像面端部では逆方向からの混色をゼロとみなしているが、グラフＡ，Ｂに示すように撮像面端部でも逆方向からの混色が発生するため、正しい混色量にはならない。

グラフＦは、本発明による新規補正方法１（第１、第２の実施形態）により補正される混色量を示しており、特に撮像面の中心部及び撮像面の左右端部における混色量は、それぞれ左右方向からの合計混色量（Ａ＋Ｂ）となり、撮像面の中心部と撮像面の左右端部の間の混色量は、中心部における合計混色量と撮像面端部における合計混色量とを線形補間した混色量とした場合に関して示している。

グラフＣ，Ｆと、グラフＥとの比較からも明らかなように、撮像面端部における混色量に大きな違いが発生している。即ち、グラフＥは撮像面端部では逆方向からの混色をゼロとみなしているため、その分、本来の混色量に対して誤差が大きくなっている。

図２０は、図１９に示したグラフＡ〜Ｆの数値データを示す図表である。

また、グラフＦは、撮像面中心と撮像面端部における左右方向別の混色率を線形補間した混色率に基づいて算出した合計混色量を示すが、２次補間することにより、グラフＦは、グラフＣに近づく。

図２１は、撮像面中心と撮像面両端部における左から右への混色率を２次補間した混色率から算出される混色量を示すグラフであり、図１９に示したグラフＡに近似する。

図２２は、撮像面の中心と端部との入射角度θの変化量が大きい場合の混色量と、変化量が小さい場合の混色量とを示すグラフである。また、図２３は、図２２に示したグラフの数値データを示す図表である。

撮影レンズ２０のズーム倍率が小さい場合（広角の場合）には、撮像面の中心と端部との入射角度θの変化量が大きくなり、グラフＡに示すように混色量が撮像面の位置に応じて大きく変化する。一方、撮影レンズ２０のズーム倍率が大きい場合（望遠の場合）には、撮像面の中心と端部との入射角度θの変化量が小さくなり、グラフＢに示すように混色量が大きく変化しない。

例えば、グラフＡ、Ｂの撮像面の中心の混色量は同じ値４０を示しているが、グラフＡでは、左側の−５〜−１０の範囲の左から右への混色量がゼロになり、右端における左から右への混色量は３００になっている。

一方、グラフＢでは、撮像面の中心の混色量４０に対して、撮像面の左右端部における混色量は、±５程度しか変化しない。

このような混色量（混色率）の変化は、撮影レンズ２０のズーム倍率の他に、Ｆ値によっても変化する。混色率算出装置１０（図１）は、撮影条件設定部１５により撮影レンズ２０のズーム倍率及びＦ値を変更しながら撮影条件毎に混色率を算出し、撮影条件毎の混色率を撮像装置５０のメモリ３７に記憶させることにより、撮影条件に応じた適切な混色補正を行うことができる。

［撮像装置の他の実施形態］
上記の実施形態の撮像装置５０のメモリ３７のＲＯＭ領域に保存された、本発明に係る混色補正用の混色率を示すデータは、図１に示した混色率算出装置１０により算出されたものであるが、これに限らず、撮像装置５０に混色率算出装置１０と同じ機能を設け、撮像装置５０により混色率の算出を行い、その算出結果をメモリ３７のＲＯＭ領域に保存するようにしてもよい。

特に交換可能なレンズユニット５４として、混色率が保存されていない新たなレンズユニットがカメラ本体５２に装着された場合には、そのレンズユニットの装着時にカメラ本体５２に内蔵された混色率算出装置１０と同じ機能により混色率を算出し、算出結果をレンズユニットに関連付けてメモリ３７に記憶させることが好ましい。

また、上記実施形態では交換可能なレンズユニット５４を備えた撮像装置５０について説明したが、撮像装置の構成はこれに限定されず、レンズ一体型の撮像装置でもよい。更に、本発明を適用可能な他の撮像装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図２４は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示すものである。図２４に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２５は、図２４に示すスマートフォン１０１の構成を示すブロック図である。図２５に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ(Liquid Crystal Display）、ＯＥＬＤ(Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図２４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の二つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図２４に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２４に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD(登録商標）メモリ等）、ＲＡＭ(Random Access Memory）、ＲＯＭ(Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス(ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース(Bluetooth)(登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信(Infrared Data Association：ＩｒＤＡ)(登録商標）、ＵＷＢ(Ultra wideband)(登録商標）、ジグビー(ZigBee)(登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード(Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部１４１に前述した撮像装置５０を適用することができる。即ち、カメラ部１４１は、主制御部１００の制御により、撮像によって得たＲＡＷデータを、オフセット補正、混色補正、ホワイトバランス補正、ガンマ補正、デモザイク処理（同時化処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を行うが、混色補正時には内部記憶部１５１に記憶されている混色方向別の混色率を使用し、オフセット補正後のＲＡＷデータの混色補正を行う。

また、カメラ部１４１は、ＲＧＢ／ＹＣ変換処理により変換された輝度データ（Ｙ）、及び色差データ（Ｃｒ，Ｃｂ）を、例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２４に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の一つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

［その他］
上述の実施形態では、カラー撮像素子の各画素が正方格子状に配列されている場合について説明したが、本発明は、カラー撮像素子の各画素が斜め格子状に配列されている場合にも適用できる。カラー撮像素子の各画素が正方格子状に配列されている場合には、画素間で混色が発生する混色方向は、各画素が最短距離で隣接する上下左右方向の４方向であるが、カラー撮像素子の各画素が斜め格子状に配列されている場合には、その混色方向は、各画素が最短距離で隣接する斜め右上方向、斜め右下方向、斜め左上方向及び斜め左下方向の４方向である。従って、カラー撮像素子の各画素が斜め格子状に配列されている場合には、斜め方向の混色方向別に混色率を算出する必要がある。

また、本実施形態のカラー撮像素子は、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列を有するものについて説明したが、原色ＲＧＢにホワイト、エメラルド、イエロー等のいずれか１色以上の他のカラーフィルタが追加された４色以上のカラーフィルタで構成されるフィルタ配列を有するカラー撮像素子にも適用できる。

５、５Ａ…オプティカルブラック部（ＯＢ部）、６…開口、１０…混色率算出装置、１１…ＲＡＷデータ取得部、１２…混色率算出部、１３…補間処理部、１４…記憶部、１５…撮影条件設定部、１６、３０…ＣＰＵ、２０…撮影レンズ、２３…絞り、２７…カラー撮像素子、３２…信号処理部、３７…メモリ、５０…撮像装置、５２…カメラ本体、５４…レンズユニット（交換レンズ）、６０…赤色発光部、１０１…スマートフォン、１４１…カメラ部

Claims (15)

1. 少なくとも赤、緑及び青の３色の色画素をもつ単板式のカラー撮像素子における混色率を算出する混色率算出装置であって、
   赤色光を撮影光学系を介してカラー撮像素子に入射させたときの当該カラー撮像素子から、混色補正前の各画素の出力を取得する取得部と、
   前記取得部により取得した各画素の出力のうちの、赤画素に隣接する画素の出力を赤画素からの混色成分とみなして混色率を算出する混色率算出部と、を備え、
   前記混色率算出部は、少なくとも前記カラー撮像素子の撮像面中心部において、前記赤画素からの混色方向に非依存の混色率を算出し、前記カラー撮像素子の撮像面端部において、前記赤画素からの混色方向別の混色率をそれぞれ算出する混色率算出装置。
2. 前記カラー撮像素子は、赤画素に隣接して混色方向に対称配置された緑画素を有し、
   前記混色率算出部は、前記撮像面中心部における赤画素の出力と、該赤画素に隣接する緑画素の出力とに基づいて前記撮像面中心部における混色率を算出し、前記撮像面端部における前記赤画素の出力及び該赤画素に隣接する緑画素の出力と、前記カラー撮像素子の前記赤画素に隣接するオプティカルブラック部の画素の出力、又はオプティカルブラック部に隣接する緑画素の出力とに基づいて前記撮像面端部における混色方向別の混色率を算出する請求項１に記載の混色率算出装置。
3. 前記カラー撮像素子は、赤画素に隣接して混色方向に対称配置された緑画素と、オプティカルブラック部に開口を有する混色率算出用の赤画素とを有し、
   前記混色率算出部は、前記撮像面中心部における赤画素の出力と、該赤画素に隣接する緑画素の出力とに基づいて前記撮像面中心部における混色率を算出し、前記混色率算出用の赤画素の出力と、該混色率算出用の赤画素に隣接するオプティカルブラック部の画素の出力とに基づいて前記撮像面端部における混色方向別の混色率を算出する請求項１に記載の混色率算出装置。
4. 前記混色率算出部は、前記算出した撮像面中心部における混色率と、前記撮像面端部における混色方向別の混色率とに基づいて、前記撮像面の画素位置毎又は分割領域毎の混色方向別の混色率を補間により算出する補間処理部を有する請求項１から３のいずれか１項に記載の混色率算出装置。
5. 前記カラー撮像素子は、赤画素に隣接する赤画素以外の他の色画素であって、複数の混色方向のうちのいずれか１方向のみに赤画素が隣接する他の色画素を有し、
   前記混色率算出部は、前記他の色画素の各画素位置において、該画素位置の色画素の出力と該色画素に隣接する１つの赤画素の出力とに基づいて前記赤画素が隣接する方向からの混色率を算出する請求項１に記載の混色率算出装置。
6. 前記カラー撮像素子は、赤画素に隣接する青画素であって、複数の混色方向のうちのいずれか１方向のみに赤画素が隣接する青画素を有する請求項５に記載の混色率算出装置。
7. 前記複数の混色方向は、前記カラー撮像素子上の各画素が最短距離で隣接する４方向である請求項５又は６に記載の混色率算出装置。
8. 前記撮影光学系の絞りのＦ値及び焦点距離のうちの少なくとも一方を変更させる撮影条件設定部を備え、
   前記取得部は、前記撮影条件設定部により撮影条件が変更される毎に、赤色光を前記カラー撮像素子に入射させたときの当該カラー撮像素子から、混色補正前の各画素の出力を取得し、
   前記混色率算出部は、前記撮影条件設定部により撮影条件が変更される毎に、前記取得部により取得した各画素の出力に基づいて混色率を算出する請求項１から７のいずれか１項に記載の混色率算出装置。
9. 前記撮影光学系及びカラー撮像素子を含む撮像部と、
   請求項１から７のいずれか１項に記載の混色率算出装置により算出された混色率を記憶する記憶部と、
   撮影時に前記カラー撮像素子から取得した混色補正前の各画素の出力と前記記憶部に記憶された混色率とに基づいて混色成分を算出し、前記混色補正前の各画素の出力から前記算出した混色成分を除去する混色補正部と、
   を備えた撮像装置。
10. 前記撮影光学系及びカラー撮像素子を含む撮像部と、
    請求項８の混色率算出装置により算出された混色率を、前記撮影条件設定部により設定された撮影条件に関連付けて記憶する記憶部と、
    撮影時の撮影条件に基づいて前記記憶部に記憶された混色率から対応する混色率を読み出し、該撮影時に前記カラー撮像素子から取得した混色補正前の各画素の出力と前記読み出した混色率とに基づいて混色成分を算出し、前記混色補正前の各画素の出力から前記算出した混色成分を除去する混色補正部と、
    を備えた撮像装置。
11. 前記撮影光学系及びカラー撮像素子を含む撮像部と、
    請求項１から７のいずれか１項に記載の混色率算出装置と、
    混色率設定時に前記混色率算出装置により算出された混色率を記憶する記憶部と、
    撮影時に前記カラー撮像素子から取得した混色補正前の各画素の出力と前記記憶部に記憶された混色率とに基づいて混色成分を算出し、前記混色補正前の各画素の出力から前記算出した混色成分を除去する混色補正部と、
    を備えた撮像装置。
12. 前記撮影光学系及びカラー撮像素子を含む撮像部と、
    請求項８に記載の混色率算出装置と、
    混色率設定時に前記混色率算出装置により算出された混色率を、前記撮影条件設定部により設定された撮影条件に関連付けて記憶する記憶部と、
    撮影時の撮影条件に基づいて前記記憶部に記憶された混色率から対応する混色率を読み出し、該撮影時に前記カラー撮像素子から取得した混色補正前の各画素の出力と前記読み出した混色率とに基づいて混色成分を算出し、前記混色補正前の各画素の出力から前記算出した混色成分を除去する混色補正部と、
    を備えた撮像装置。
13. 前記撮影光学系は、交換レンズであり、
    前記混色率算出装置は、少なくとも新たな交換レンズの装着時に混色率を算出する請求項１１又は１２に記載の撮像装置。
14. 少なくとも赤、緑及び青の３色の色画素をもつ単板式のカラー撮像素子における混色率を算出する混色率算出方法であって、
    赤色光を撮影光学系を介してカラー撮像素子に入射させる工程と、
    前記カラー撮像素子から、混色補正前の各画素の出力を取得する取得工程と、
    前記取得工程により取得した各画素の出力のうちの、赤画素に隣接する画素の出力を赤画素からの混色成分とみなして混色率を算出する混色率算出工程と、を含み、
    前記混色率算出工程は、少なくとも前記カラー撮像素子の撮像面中心部において、前記赤画素からの混色方向に非依存の混色率を算出し、前記カラー撮像素子の撮像面端部において、前記赤画素からの混色方向別の混色率をそれぞれ算出する混色率算出方法。
15. 前記撮影光学系の絞りのＦ値及び焦点距離のうちの少なくとも一方を変更させる撮影条件設定工程を含み、
    前記取得工程は、前記撮影条件設定工程により撮影条件が変更される毎に、赤色光を前記カラー撮像素子に入射させたときの当該カラー撮像素子から、混色補正前の各画素の出力を取得し、
    前記混色率算出工程は、前記撮影条件設定工程により撮影条件が変更される毎に、前記取得工程により取得した各画素の出力に基づいて混色率を算出する請求項１４に記載の混色率算出方法。

Images