JPH11285012A - デジタル・カメラ用画像センサ - Google Patents

Abstract

(57)【要約】 【課題】デジタル・カメラ等に使用するカラー・センサ
・アレイにおいて、従来は、２つの緑のセンサ、１つの
赤のセンサ、および１つの青のセンサを含む繰返しの２
×２カーネル等が用いられている。カーネルの大きさに
比べて空間的な寸法が小さい画像の構成要素において、
色の変化と空間の変化とを見分けることができないとい
う問題がある。 【解決手段】本願発明のセンサ・ブロックは、複数の行
と列からなる２次元配列に配置されている。各ブロック
のセンサは、所定のセンサを通り抜けるあらゆる直線
が、スペクトル応答がすべて一次独立している少なくと
も３つの異なる色のセンサを通り抜けるように配置され
ている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

【産業上の利用分野】本発明は、デジタル・カメラに係
り、特に、デジタル・カメラ等に使用するカラー・セン
サ・アレイの改良した設計に関する。

【０００２】

【従来の技術】デジタル・カラー画像は、通常、正方格
子上の各点における画像の輝度を示すピクセル値の配列
によって構成されている。典型的には、画像を生成する
ために３つの色が使用されている。上記格子の各点にお
いて、これらの色各々の輝度が指定されており、これに
よって、その格子点における画像の輝度と色とが指定さ
れる。

【０００３】従来からのカラー・フォトグラフィでは、
スペクトルの異なる領域（通常、赤、緑、および青）に
おける感度を有する３つの重なっているカラー感知層を
使用することにより、適切な画像データが記憶される。
これに対して、デジタル・カメラでは、一般的に、単一
の「層」におけるセンサの１つの配列が使用されてい
る。

【０００４】カラー画像を検出するのに１つのセンサ・
アレイしか使用しない場合、所定のセンサ位置では１つ
の色しか検出することができない。その結果、これらの
センサでは、従来の意味でのカラー画像は生成されず、
むしろ個々のカラー標本の集合が生成される。これは、
カラー・フィルタを個々のセンサのどれに割り当てるか
によって決まる。この割当てを、カラー・フィルタ・ア
レイ（ＣＦＡ）又はカラー・モザイク・パターンと呼
ぶ。基本的に、アレイの各位置において単一の色しか感
知されなかったため、各サンプリング位置でカラー標本
のフルセット（通常、赤、緑、および青）を用いて総天
然色の画像を生成するためには、欠けている情報を推測
するために相当な量の計算が必要である。

【０００５】上記再構成の問題を解決するための方法に
はかなりの種類があるが、この問題はしばしばデモザイ
ク（demosaicing）タスクと呼ぶ。このようなアルゴリ
ズムの性能は全て、基礎となるＣＦＡパターンの種類に
よって決まる。こういったパターンの１つが、米国特許
第3,971,065号に教示されている。このパターンは、以
下に示すように、２つの緑のセンサ、１つの赤のセン
サ、および１つの青のセンサを含む繰返しの２×２カー
ネルによって生成されている。 CFA パターン ＧＢＧＢＧＢＧＢ ＲＧＲＧＲＧＲＧ ＧＢＧＢＧＢＧＢ ＲＧＲＧＲＧＲＧ ＧＢＧＢＧＢＧＢ ＲＧＲＧＲＧＲＧ カーネル ＧＢ ＢＲ

【０００６】

【発明が解決しようとする課題】ところで、上記パター
ンでは、スペクトルの緑の領域のセンサが、青又は赤の
領域のセンサの２倍設けられている。このパターンの提
案者は、そのように選んだ理由として、人間の視覚系
（ヒューマン・ビジュアル・システム：ＨＶＳ）が緑に対
してより感度が高いということを挙げている。更に、こ
の方式の提案者は、このようなパターンによってデモザ
イク・アルゴリズムを比較的簡単にすることができると
指摘している。特に、１つのカラー・チャネルを他のカ
ラー・チャネルより密にサンプリングすると、そのカラ
ー・チャネルをより容易に補間することができ、また、
それより密にサンプリングされないカラー・チャネルの
補間のガイドとなるように使用することができる。

【０００７】ＨＶＳがスペクトルの緑の領域に対してよ
り感度が高いという論拠は、それをデジタル・カメラ・シ
ステムに採用した場合、根本的に意味を持たなくなる。
人間の眼が、赤の錐状体より緑の錐状体を多く持ち、青
の錐状体が更に少ないと考えられるのは、眼の光学的諸
特性により、スペクトルの赤と青の部分が緑の部分より
厳密に低域がフィルタリングされるからである。このた
め、眼は、スペクトルの赤と青の領域において追加サン
プル（additional samples）を効果的に使用することが
できない。実質的に、眼はスペクトルの赤と青の領域に
おける画像の空間解像度が低い。

【０００８】これに対して、デジタル・カメラは、この
ような制限を受けることがない。このため、いかなる波
長においてもサンプリング密度を制限する論理的な理由
は無い。いずれかのカラー・チャネルにおいてサンプリ
ング密度が低くなっている場合、空間輝度の変化と原シ
ーンの色の混合との間が曖昧になる。このような曖昧さ
は避ける必要があり、そのためには各色におけるサンプ
リング密度は同じでなければならない。

【０００９】また、上述した小さな２×２カーネルを用
いた場合、カーネルの大きさに比べて空間的な寸法が小
さい画像の構成要素において、色の変化と空間の変化と
を見分けることができないという問題がある。画像の中
を垂直に伸びる細い赤の線（幅が１つのセンサより小さ
い）を考える。その線が、青と緑のセンサしかないセン
サ列の上を通るように位置している場合、そのシステム
ではその線を検出することが困難である。実際、青のセ
ンサも緑のセンサもスペクトルの赤の領域において全く
反応しない場合、そのラインは全く検出することができ
ない。言うまでもなく、この線の色を正確に決定するこ
とは困難である。

【００１０】また、カーネルが小さいことにより、テク
スチャを有するシーンをデモザイクする際に問題が起こ
りうる。カーネルの大きさとほぼ同じである画像の特徴
について考える。デモザイク・アルゴリズムによって、
結果として生ずるセンサ・パターンが、飽和色からなる
シーンにおける平滑な領域に対応しているか、あるいは
より中間的な色の輝度が急速に変化するテクスチャ領域
に対応するか決定することは困難である。

【００１１】このため、カーネルの大きさは、シーンの
テクスチャによって外観上色の変化が現れないように、
比較的大きくなければならない。しかしながら、カーネ
ルの大きさには制限がある。カーネルが大きくなるほ
ど、概してデモザイクのアルゴリズムを実現するための
コストが増大する。このため、一般に、コストと画質の
トレードオフが考慮されている。

【００１２】なお、人間が興味を持つ画像は、しばし
ば、線と同様に直線状のエッジ（輪郭部）を含んでい
る。そのため、センサ・パターンは、画像の直線状の特
徴が常に全ての色種のセンサを確実に通り抜けるように
設計しなければならない。更に、直線状の特徴に沿った
同じ種類のカラー・センサ同士の距離は、できる限り小
さくなければならない。こういった必要条件を満たさな
ければ、画像内のオブジェクトのエッジにおいて色が曖
昧になる。

【００１３】上述した２×２パターンを使用すること
は、これらの必要条件を考えると明らかに不適当であ
る。第1に、上記パターンのカーネルは非常に小さい。
第2に、カラー・チャネルのうちの２つのサンプリングが
不十分である。第3に、赤と青のセンサは、同じ色のセ
ンサに決して隣接しない。最後に、水平および垂直の直
線状の特徴は、全3種類のセンサ全てを通過することが
ない。

【００１４】上記問題に対する従来の解決手段の１つ
は、異なるセンサの色の疑似ランダム分散を含む大きい
カーネルを使用することにより、デモザイクされた画像
にテクスチャが色を発生させる可能性を最小化すること
である。しかしながら、このような疑似ランダム・パタ
ーンは、他の問題を引き起こす。画像をデモザイクする
計算にかかるコストを増大させるだけでなく、画像の１
つの領域において同じ色のカラー・センサ同士の距離が
大きすぎる領域が生じる。これにより、フルカラーの画
像を再構成しようとする時に、デモザイク・アルゴリズ
ムによって空間輝度の変化と色の変化を区別することが
困難となる。

【００１５】本発明の目的は、広くは、改良されたカラ
ー画像センサ・アレイを提供することにある。

【００１６】本発明の更なる目的は、上述した２×２カ
ーネルより大きいカーネルに基づく画像センサを提供す
ることにある。

【００１７】本発明の他の目的は、直線状の特徴が、ス
ペクトル応答が一次独立している少なくとも３つの異な
る色のセンサを通過する画像センサを提供することにあ
る。

【００１８】本発明の更に他の目的は、同じ色のカラー
・センサを互いに隣接するように配置することにより、
画像の中で輝度パターンが急激に変化することによって
引き起こる曖昧さを最小にする画像センサを提供するこ
とにある。

【００１９】本発明のこれらおよび他の目的は、この発
明の後述する詳細な説明と添付した図面とから当業者に
は明らかとなる。

【００２０】

【課題を解決するための手段】本発明は、画像を記録す
る装置である。本装置は、画像センサの2次元配列を有
している。各画像センサは、選択されたスペクトル領域
における光輝度の測定を行う。2次元配列は、複数の全
く同じ数のセンサ・ブロックから生成されており、それ
らブロックは並列に配置されて上記配列を形成してい
る。ブロックの各々は、各スペクトル領域について同じ
数のセンサを有しており、異なるスペクトル領域の数は
少なくとも３つである。ブロックのセンサは、複数の行
と列からなる2次元配列に配置されている。ブロックの
センサは、所定のセンサを通り抜けるあらゆる直線が、
スペクトル応答がすべて一次独立している少なくとも３
つの異なる色のセンサも通り抜けるように配置されてい
る。本発明の好ましい実施の形態では、そのような３つ
のセンサはすべて、第1のセンサを中心にして配置され
ており、かつ、半径がセンサ・アレイにおけるブロック
の中心から中心の間隔の５倍以下の円形内にある。本発
明の好ましい実施の形態では、ブロックにおける選択さ
れたスペクトル領域の１つに対応し、上記2次元配列の
端に隣接しない各センサは、同じスペクトル領域に対応
するセンサに隣接している。

【００２１】

【発明の実施の形態】図１は、４×３の繰返しのカーネ
ルに基づいた本発明によるカラー画像センサ１０の上面
図であり、カラー画像センサ１０は、１２に示す交互に
配置された赤、緑および青のセンサを水平にシフトさせ
た行からなる。

【００２２】センサ１０に使用しているＣＦＡパターン
は、ジグザグなパターンであり、赤、緑および青のチャ
ネルの各々を配列の上端から下端までジグザグの形で追
跡することができる。緑のセンサの1組について、ジグ
ザグ・パターンの一部を１３に示す。ジグザグという特
質により、直線状画像の特徴が、１つ又は複数のカラー
・チャネルを除外するような小さな一部のセンサを通過
することがない。

【００２３】なお、配列の端から離れたピクセルについ
て、ＣＦＡを通して、１つの色のセンサは、その色以外
の２つのセンサに隣接している。このパターンの特徴に
より、デモザイクのアルゴリズムが、特徴が急速に変化
したのが色の変化が原因であるのか輝度の変化が原因
（すなわち、テクスチャ）であるのかを容易に判断する
ことができる。

【００２４】同じ種類のジグザグ・パターンの他の構成
を、カーネルの列の大きさと配置を調整してジグザグの
特徴を変えることによって生成することができる。例え
ば、5列連続して右へシフトし、その後折り返して次の5
列左へシフトし、これを繰り返すパターンとしてもよ
い。このようなパターンのセンサを、図２において２０
で示す。センサ２０は、２２に示す３×８のカーネルか
ら構成されている。このジグザグ・パターンは、２３に
示すように、方向を変える前の5ピクセル分を延長する
線セグメントを有している。

【００２５】一般に、上記パターンはジグザグである必
要はなく、カラー・センサの数は３つに限定されない。
例えば、ＣＭＹＧ（シアン、マジェンタ、黄および緑）
カラー方式に基づく本発明によるセンサを、図３におい
て３０で示す。この場合のカーネルは、３２で示すよう
に３×４ピクセルの配列となっている。このパターン
は、連続する3列右へシフトし、左へ2列飛んで同じパタ
ーンを繰り返す。上記２つのジグザグ・パターンとこの
後者のパターンは、共通して、全カラー・センサの数が
等しい列を循環して（サイクリックに）置き換えること
によって生成されるという特性を有している。上述した
記載内容から、同じ方式が列にも適用できることは当業
者にとっては明らかである。

【００２６】これらのパターンは、４つの有益な特性を
有している。第１に、パターンが、比較的小さいカーネ
ルを繰り返すことによって生成されている。これによ
り、線形モデルに基づく、レンズや色反応などによって
起こるあらゆる歪みを考慮したデモザイク・アルゴリズ
ムに含まれる計算処理が簡略化される。

【００２７】第２に、画像内の直線状の境界線を横切る
時、その境界線が、その長さ方向の比較的短い距離に亙
って、一次独立した少なくとも３つの色のカラー・セン
サを繰返し通過する。これにより、境界線に沿ったテク
スチャの変化と色の変化とを区別するのに必要なデータ
が供給される。人間の目が直線状のエッジに対して特別
に敏感であるため、この特徴によって相当の利益を得る
ことができる。異なる色すべてのピクセルを超える前に
直線状の境界線に沿って横切らなければならない距離
は、直線状の境界線の方向と個々のカーネルによって決
定される。本発明の好ましい実施の形態では、半径が２
つの隣接するカーネルの中心間の距離の５倍である円形
の中心を通過する任意の線が、スペクトル応答が円形内
で一次独立している少なくとも３つの色を通過するよう
に、カーネルを選択する。

【００２８】第３に、パターンの本体内で、所定の色の
各ピクセルは他の色のピクセルと隣接している。これに
より、より一般的な画像において色の変化をテクスチャ
の変化と区別するのに必要なデータが得られる。

【００２９】第４に、カーネルは、各色について同じ数
のカラー・センサを有している。これにより、全ての色
が結果として得られるＣＦＡパターンにおいて同じ密度
でサンプリングされることが確かとなる。これによっ
て、自然の採光からスペクトルの青端にひどく偏った光
源まで、異なるシーンの照度の状態を広い範囲に亙っ
て、よい画像の質を保証することができる。

【００３０】以上、本発明の実施例について詳述した
が、以下、本発明の各実施態様の例を示す。

【００３１】（実施態様１） カラー画像センサの２次
元配列を備えた画像を記録する装置（１０，２０，３
０）であって、各カラー画像センサは選択されたスペク
トル領域の光輝度を測定し、前記２次元配列は、カラー
・センサの複数の同一のブロック（１２，２２，３２）
を含み、前記ブロック（１２，２２，３２）は並列に配
置されて前記配列を形成し、前記ブロック（１２，２
２，３２）の各々は前記スペクトル領域の各々について
同じ数のセンサを有し、異なるスペクトル領域の数は少
なくとも３であり、前記ブロック（１２，２２，３２）
の前記センサは、複数の行と列とからなる２次元配列に
配置されており、前記ブロック（１２，２２，３２）の
前記センサは、第１のセンサを通り抜ける任意の直線
が、スペクトル応答が一次独立している少なくとも３つ
の異なる色のセンサを通り抜けるように、配置されてい
ることを特徴とする装置（１０，２０，３０）。

【００３２】（実施態様２）前記直線は、第1のセンサ
を中心にして配置されており、かつ、半径がセンサの前
記２次元配列におけるセンサの前記ブロック（１２，２
２，３２）の中心から中心の間隔の５倍以下である円形
内の、少なくとも３つの異なる色の前記センサを通り抜
けることを特徴とする実施態様１記載の装置（１０，２
０，３０）。

【００３３】（実施態様３）ブロック（１２，２２，３
２）の前記選択されたスペクトル領域の１つに対応し、
前記2次元配列の端に隣接しない前記センサの各々は、
同じスペクトル領域に対応するセンサに隣接することを
特徴とする実施態様１記載の装置（１０，２０，３
０）。

【００３４】（実施態様４） 異なるスペクトル領域の
数は３であり、前記スペクトル領域はＲ、ＧおよびＢで
示され、前記ブロック（１２）の前記センサは、以下の
パターン、又は該パターンの行又は列の繰返し置換えを
含む配置で配置されていることを特徴とする実施態様１
記載の装置（１０，２０，３０）。 ＲＧＢ ＢＲＧ ＧＢＲ ＢＲＧ

【００３５】（実施態様５） 異なるスペクトル領域の
数は４であり、前記スペクトル領域はＣ、Ｍ、Ｙおよび
Ｇで示され、前記ブロック（３２）の前記センサは、以
下のパターン、又は該パターンの行又は列の繰返し置換
えを含む配置で配置されていることを特徴とする実施態
様１記載の装置（１０，２０，３０）。 ＣＭＹＧ ＧＣＭＹ ＹＧＣＭ

【００３６】（実施態様６） 前記直線は、第1のセンサ
を中心にして配置されており、かつ、半径がセンサの前
記２次元配列におけるセンサの中心から中心の間隔の５
倍以下である円形内の、少なくとも３つの異なる色の前
記センサを通り抜けることを特徴とする実施態様１記載
の装置（１０，２０，３０）。

【００３７】本発明の上記実施の形態は、スペクトルの
特定の部分についてのセンサに関して説明してきた。し
かしながら、上述した説明から、本発明の教示内容から
離脱しないでスペクトル領域の他の選択を利用すること
ができるということは当業者にとって明らかである。

【００３８】本発明のあらゆる変形例は、本技術分野の
当業者にとって、上述した説明および添付した図面から
明らかである。従って、本発明は、特許請求の範囲によ
ってのみ限定されるべきである。

【図面の簡単な説明】

【図１】本発明による画像センサを示す平面図である。

【図２】本発明による画像センサの他の実施の形態を示
す平面図である。

【図３】本発明による画像センサの第3の実施の形態を
示す平面図である。

【符号の説明】

１０、２０、３０：カラー画像センサ １２、２２、３２：カーネル １３、２３、３３：ジグザグ・パターン

Claims (1)

【特許請求の範囲】
1. 【請求項１】カラー画像センサの２次元配列を備えた画
   像を記録する装置であって、 各カラー画像センサは選択されたスペクトル領域の光輝
   度を測定し、前記２次元配列は、カラー・センサの複数
   の同一のブロックを含み、前記ブロックは並列に配置さ
   れて前記配列を形成し、前記ブロックの各々は前記スペ
   クトル領域の各々について同じ数のセンサを有し、異な
   るスペクトル領域の数は少なくとも３であり、前記ブロ
   ックの前記センサは、複数の行と列とからなる２次元配
   列に配置されており、前記ブロックの前記センサは、第
   １のセンサを通り抜ける任意の直線が、スペクトル応答
   が一次独立している少なくとも３つの異なる色のセンサ
   を通り抜けるように、配置されていることを特徴とする
   装置。