JP3816082B2 - 輝度勾配を用いたフルカラーイメージ適応的補間装置 - Google Patents

Description

本発明は電子画像形成、特にカラー画像の生成に関する。

単一（シングル）センサのカメラは、このセンサ上のピクセル位置の正規的パターン（レギュラ・パターン：regular pattern）に対応する画像位置における空間的に変化する光強度を検出する。カラー単一センサカメラでは、カラーフィルタのアレイがこのセンサを覆い、センサは通常３色のカラーフィルタアレイ（ＣＦＡ）正規パターンに従って、変化するピクセル位置における色の強度を検出する。通常、このＣＦＡは、各ピクセル位置それぞれにおいて唯だ１色のみを検出するためのカラーフィルタの正規的パターンである。したがって、単一センサカメラは、各ピクセルの３色すべてに対応するオリジナルデータを捕捉するのではなく、各ピクセルに対して１色のみを捕捉する。このため、各イメージに対する３色のフルカラーイメージプレーンを構成するためには補間が必要となる。

一般的なカメラシステムはレッド、グリーン、ブルーの色を生成する。カラーフィルタアレイ補間アルゴリズムは、散在的にサンプリングされた（sparsely sampled）カラーイメージ（ピクセルごとに１色）を、レッド、グリーン、ブルー（ＲＧＢ）のフルカラーイメージ（すなわち、ピクセルごとにＲＧＢ）の画像に変換するために用いられる。大抵のカラーフィルタアレイパターンには、他の色に比べてより規則的でより頻繁にサンプリングされる高周波（high-frequency）信号がある。ＲＧＢ画像では、この高周波信号はグリーンである。この信号は輝度信号とも呼ばれ、イメージ中により頻繁に存在し、肉眼に対して最も感度が高い。通常、フルグリーンイメージプレーンを生成するために、従来からのバイリニア（bilinear：双線形）補間が用いられる。例えば、レッドもしくはブルーのピクセルの「欠落したグリーン（missing green）」値を補間するために、レッドピクセルまたはブルーピクセル（つまり「グリーン欠落」ピクセル）の両方の側のグリーンピクセルのグリーンデータを用いる。次いで、色差信号、すなわちクロミナンス信号を従来のバイリニア補間で補間し、各ピクセルについてＣＦＡパターンの他の色の補間を行う。このような従来からの方法については、特許文献１に開示されている。

米国特許第４，６４２，６７８号明細書

このような従来の方法の問題点は、画像中に好ましくないカラーのエッジ・アーティファクト（artifact）が生じることである。この問題は、例えば米国特許第４，６３０，３０７号に開示されるようなより精巧な補間技術を用いることにより対処できる。この４，６３０，３０７号米国特許では、近隣領域（neiborhood）に存在する特徴（フィーチャ）についての事前知識を利用する。このイメージデータを用いて適切なアルゴリズムが決定され、この選択されたアルゴリズムを用いて欠落データが再構成される。例えば、この４，６３０，３０７号米国特許では、エッジ、ストライプ、コーナーに対してそれぞれ異なる補間ルーチンが用いられる。特定の特徴（フィーチャ）は、ピクセルデータをコンピュータに記憶されたテンプレートと比較することにより決定される。

すでに指摘したように、上記従来方法による主な欠点は、カラーエッジに好ましくないアーティファクトが発生することである。上記４，６３０，３０７号米国特許などの精巧な手順により、このアーティファクトを減少することはできるが、これにはかなりの費用がかかり、また、複雑な処理能力が要求される。

本発明の目的は、不当にコストを増大させることなく、また処理を過度に複雑にすることなく、従来の精巧なアルゴリズムを修正して、カラーエッジに存在するアーティファクトを低減し、画像の鮮明度を向上することである。

さらに、本発明の目的は、カラーエッジのアーティファクトを減少させ、画像のノイズを低減し、画像の鮮度を高めるために、簡単で適応的（アダプティブ）な方法により補間を行うことである。

本発明は、(a)少なくとも異なる３つの色を含んだカラーフィルタアレイにより覆われたフォトサイト群の二次元アレイであって各フォトサイトがそれぞれ１つのカラー値を生成するようにそれぞれ１つの特定の色のカラーフィルタで覆われた二次元アレイ、を有し、水平方向が支配的なシーン構造を持つ第１のイメージ領域、垂直方向が支配的なシーン構造を持つ第２のイメージ領域、及び水平方向にも垂直方向にも支配的なシーン構造を持たない第３のイメージ領域、のうちの少なくとも一つを含むシーンのイメージを取り込むイメージセンサと、(b)前記３つの色のうちの１つの色に対応する輝度値を受け取り、その他の各色に対応する近隣の各フォトサイトにおける付加的輝度値を補間により求める手段と、(c)水平方向及び垂直方向についての輝度値の差から複数の勾配値を生成する手段と、(d)前記複数の勾配値を少なくとも１つのしきい値と比較する手段と、(e)前記垂直方向が支配的なシーン構造を示す第１のイメージ領域を補間するための第１の補間器、前記水平方向が支配的なシーン構造を示す第２のイメージ領域を補間するための第２の補間器、及び水平方向にも垂直方向にも支配的なシーン構造を持たない第３のイメージ領域を補間するための第３の補間器を備え、前記勾配値と前記少なくとも１つのしきい値との比較に基づき、前記第１の補間器又は前記第２の補間器又は前記第３の補間器を選択して、補間値を生成する手段と、を備えるデジタルカメラを提供する。

本発明の主な効果は、処理プロセスを過度に複雑化することなく、好ましくないカラーアーティファクトを低減できることにある。

本発明によれば、カラーフィルタアレイで覆われたイメージセンサの各フォトサイトに対応する各ピクセルの色を補間してフルカラーイメージを生成する際に、カラーエッジにおけるアーティファクトの発生を抑え、画像の鮮明度を高めることができる。また、本発明によれば、このような補間処理を比較的簡単な演算で行うことができる。

カラーフィルタアレイを用いた単一センサの電子カメラは周知のものなので、ここでは、本発明に係る装置及び方法の一部を形成する要素、あるいは本発明に係る装置及び方法とより直接的に共働する要素のみを特に説明する。従って、ここに特定して示されない、つまり説明されない要素は、従来より周知の要素から選択してよい。

まず、図１及び図２について説明する。電子的スチル・カメラは通常入力部２と補間・記録部４に分けられる。入力部２は、物体（サブジェクト：subject）（図示せず）からのイメージ光をイメージセンサ１２に導くための露光部１０を含む。図示されていないが、この露光部１０は、絞り装置を通過するイメージ光を導くための従来の光学素子と、露光時間を調節するためのシャッタを含んでいる。絞り装置は光学アパーチャを調節するためのものである。画像の画素に対応するフォトサイトの２次元アレイを含むセンサ１２は、周知のインターライン移送（トランスファ）技術もしくはフレーム移送技術のいずれかを用いた従来の電荷結合素子（ＣＣＤ）である。センサ１２は、バイヤー・アレイ（Bayer array）として知られるカラーフィルタアレイ（ＣＦＡ）１３によって覆われている。このバイヤー・アレイについては、米国特許第３，９７１，０６５号において説明されている。このバイヤー・ジオメトリ（幾何学的配置）が図３に示される。図において、各色はセンサの１つのフォトサイト、すなわち画素をカバーしている。図に示すように、クロミナンス・カラー（レッド及びブルー）が、チェッカーボード模様に配置された輝度カラー（グリーン）の間に散在しているのが特徴的である。センサ１２がイメージ光を受光することにより、アナログイメージ電荷情報（チャージ・インフォメーション：charge information）が各々のフォトサイトにおいて生成される。この電荷情報は、出力ダイオード１４に供給され、出力ダイオード１４はこの電荷情報を各々の画素に対応するアナログイメージ信号に変換する。このアナログイメージ信号はＡ／Ｄコンバータ１６に供給され、ここで各画素に対するアナログ入力信号からディジタルイメージ信号が生成される。このディジタル信号は次いでイメージバッファ１８に供給される。イメージバッファ１８は、例えば、複数の静止イメージを記憶するのに必要な容量を有するランダムアクセスメモリ（ＲＡＭ）である。

プロセッサ２０は、（露光部１０の絞り装置及びシャッタ（図示せず）の操作により）露光を開始すると共に露光を制御し、センサ１２の駆動やセンサ１２からのイメージ情報のクロッキングのために必要な水平及び垂直クロックを生成し、さらに各画素に関する各信号セグメントに対し、イメージバッファ１８と連動してＡ／Ｄコンバータ１６を作動させることにより、カメラの入力部２を制御する（通常、制御プロセッサ２０は、システムのタイミング回路に結合したマイクロプロセッサを含んでいる）。特定数のディジタルイメージ信号がイメージバッファ１８に蓄積されると、蓄積された信号はディジタルシグナルプロセッサ２２に供給される。ディジタルシグナルプロセッサ２２は、カメラの補間・記録部４のスループット処理レートを制御する。プロセッサ２２はディジタルイメージ信号に対して補間アルゴリズムを与え、補間された信号をコネクタ２６を介して、従来の取り外し可能なメモリカード２４に送る。

補間、及びこれに関連する処理は通常複数のステップにわたって行われるため、この処理アルゴリズムの中間結果がプロセスバッファ２８に記憶される（このプロセスバッファ２８は、イメージバッファ１８のメモリ空間の一部として構成してもよい）。ディジタル処理を開始するためにイメージバッファ１８において必要となるイメージ信号の数は、その処理の種類に依存する。すなわち、近隣補間を開始するためには、ビデオフレームを構成するイメージ信号の少なくとも一部を含む信号のブロックが得られなければならない。従って、ほとんどの場合、バッファ１８に必要な画素のブロックが蓄積されると、補間は直ちに開始される。

入力部２は、通常のカメラのオペレーションにつり合うレート（速度）で作動する。一方、補間はより多くの時間を消費するため、この入力レートから全く分離されたものでよい。露光部１０は、露光要求に応じて、例えば１０００分の１秒から数秒間までの期間、センサ１２をイメージ光に露光する。次いで、このイメージ電荷は、センサ１２のフォトサイトから掃き出され、ディジタルフォーマットに変換されて、標準的なレートの間、イメージバッファ１８に書きこまれる。この標準レートは、例えば、標準のビデオフィールドレートもしくはビデオフレームレートでよい。制御プロセッサ２０からセンサ１２、Ａ／Ｄコンバータ１６、及びバッファ１８に供給される駆動信号の繰り返しレートは、上述のようなレートでのイメージの移送を達成するように決定される。補間・記録部４の処理スループットレートはディジタルシグナルプロセッサ２２の速度により決定する。

この構造による１つの望ましい結果としては、補間・記録部において用いられる処理アルゴリズムを、スループット速度のためよりも、むしろ画像品質の処理のために選択することができることがあげられる。もちろん、このために、連続するピクチャの間に遅延が起こり、これがフォトグラフィック・イベントの間の時間によってはユーザに影響を及ぼすこともある。周知のように静止ビデオ記録の分野においては、ディジタル・スチル・カメラは、連続する一連のイメージに対して連続的な撮影能力を供給すべきなので、この遅延は問題である。このため、図１に示されるイメージバッファ１８は、複数のイメージを蓄積する容量を有し、その結果、連続するイメージをビデオレートで「積み重ねる」ことができる。バッファの大きさは、大抵の撮影状況をカバーするために必要な連続イメージを保持できる十分な大きさに決定される。

操作表示器３０はプロセッサ２０に接続され、カメラの操作に有用な情報を表示する。このような情報には、シャッター速度、アパーチャ、露光バイアス、カラーバランス（オート、タングステン、蛍光、日光）、フィールド／フレーム、低バッテリ（バッテリ低下）、弱光（光量不足）、露光モード（アパーチャ優先あるいはシャッター優先）などの一般的な写真データが含まれる。さらに、このタイプのカメラに特有なその他の情報が表示される。例えば、メモリカード２４は、蓄積された各イメージの始まりと終わりを示すディレクトリを通常含んでおり、これが、蓄積されたイメージの数と、実際に残っているイメージ・スペース（空きスペース）または残っていると予測されるイメージ・スペースの数のうちのいずれか（または、それら双方）を示すものとして表示パネル３０に表示される。

ディジタルシグナルプロセッサ２２は、イメージバッファ１８に蓄積された各静止ビデオイメージを図２に示される補間技術に従って補間する。各ピクセル位置における欠落データ値（ミッシング・データ・バリュー：missing data values）の補間は図２に示されるシーケンスに従って次のように行われる。まず、「グリーン欠落（missing green）」のピクセル（つまり、レッド及びブルーのピクセル位置）に対する高周波情報（high frequency information）、すなわちグリーンの情報、が補間によって求められ、輝度の表現（レンディション：rendition）が改善される。次に、色差情報が高周波位置（すなわちグリーンの位置）において伝統的なバイリニア方法による補間により求められ、ＣＦＡパターンにおける他のカラーが生成される。図２に示される実施例では、水平及び垂直エッジを有するイメージに対するシステムの性能を最適化するために、輝度部３６において適応的（アダプティブ）補間技術が用いられる。「グリーン欠落」ピクセルは、そのピクセル周辺の、水平方向及び垂直方向の複数のグリーンピクセル位置により決定される勾配（グラディエント:gradient（階調））に基づき、水平方向にも、垂直方向にも、また２次元方向にも適応的に補間される。

このように、補間プロセスの第１のステップは、ブロック４０に示されるように、少なくとも２つのイメージ方向、例えば水平方向と垂直方向における勾配値（グラディエント・バリュー：gradient values）を得ることである。この各方向の勾配は、散在的に配置されたピクセル位置における輝度値の差を含んでいる。輝度（グリーン）ピクセルの水平及び垂直の勾配は、続いて評価ブロック４２においてしきい値に対して評価され、付加的輝度値の補間（内挿）に好適な方向が、前記２つの方向から選択される。この好適な方向に一致するように輝度値が選択され、ブロック４４において、しきい値以下の勾配（すなわち階調）のいずれかに沿った２つの輝度（グリーン）ピクセル位置から、欠落位置が平均化される（２つの方向の勾配が両方とも、選択されたしきい値以下、あるいは以上である場合は、４つのピクセルが平均化される）。すなわち、グリーンが欠落した位置の輝度値が、勾配がしきい値以下であるような方向に沿った２つの輝度（グリーン）ピクセルの平均により求められる。次に、各クロミナンス・ピクセル位置において、補間されたグリーン値を、その位置の実際のカラーピクセルから減算することにより（ブロック４６）、クロマ部３８において色差が算出される。最後に、ブロック４８において、２次元バイリニア補間を用いて各輝度ピクセル位置の色差データが補間により求められる。この時点におけるデータは、オリジナルコンポーネント（ＲＧＢ）に再構成してもよいし、または色差信号として保持しさらに処理を行ってもよい。

グリーンデータが欠落したピクセル位置（レッド及びブルー）に対してグリーンデータを補間する場合、水平及び垂直方向のイメージ勾配がしきいレベルと比較され、これにより処理をイージデータに適合するよう適応的に調節する。さらに、このしきいレベルそれ自体が、補間されるイメージの領域をカテゴリー化できるよう調節可能である。このように上記補間は、多様なノイズレベルを有するシステムや異なる変調伝達関数（ＭＴＦ）を有するセンサに応じて調節することができる。

これらの勾配度評価により決定されるイメージデータの４つのカテゴリーは以下の通りである。
Ａ．（水平勾配 ＞ しきい値）かつ（垂直勾配 ＞ しきい値）の場合、イメージ領域は、高いシーンの空間的ディテール（ハイ・シーン・スペイシアル・ディテール：high scene spatial detail）を表す。すなわち、細々としたディテール部分からなるシーンであることを表している。この場合、シーンにおいて際だった構造（ストラクチャ：structure）がないため、４つのピクセルが平均化される。
Ｂ．（水平勾配 ≦ しきい値）かつ（垂直勾配 ＞ しきい値）の場合、イメージ領域は、水平方向が支配的なシーン構造を表す。シーンの輪郭に追従し、シーンのエッジによって生じる誤差を最小化するために、水平方向に平均化することにより補間が行われる。さらに、シーンの輪郭情報が画像“から平均化された”ものでないので、画像の鮮明さ（シャープネス）が最大化される。
Ｃ．（水平勾配 ＞ しきい値）かつ（垂直勾配 ≦ しきい値）の場合、イメージ領域は、垂直方向の支配的なシーン構造を表す。シーンの輪郭に追従し、シーンのエッジにより生じる誤差を最小化するために、補間は垂直方向の平均化により行われる。さらに、シーンの輪郭情報は画像“から平均化された”ものでないので、画像の鮮明さが最大化される。
Ｄ．（水平勾配 ≦ しきい値）かつ（垂直勾配 ≦ しきい値）の場合、イメージ領域には、シーン構造がほとんどない。４つのピクセルが平均化され、それにより補間されたピクセル位置のノイズレベルが低減される。このため、画像のフラット・フィールド領域においていくらかの「ノイズ」低減が行われる。

特定のＣＦＡパターンに限定されるわけではないが、この補間技術はこれまで、図３に示されるようなＲＧＢバイヤー（Bayer）・カラーフィルタアレイに適用されている。このバイヤーアレイの１つの特徴は、ＲＧＢが下図に示すような特徴的なバイヤー・ブロック形式で繰り返されることである。

すなわち、２つの輝度（グリーン）が常に１つの対角線上にあり、２つのクロマ（レッドとブルー）が他方の対角線上にある。補間の目的は各々のピクセル位置に対してこれら３色全部を得ることにある。

図４（Ａ）〜（Ｄ）には、補間される１つのピクセル（丸で囲んである）に関する４つのフェーズ（点線で囲んだ部分）における特徴的なバイヤー・ブロックが示される。各ピクセルはその行と列における位置により識別される。各フェーズにおいて、Ｇ（Ｘ，Ｙ）、Ｒ（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）という表記は、補間された（丸で囲まれた）ピクセルからの水平方向変位（Ｘ）及び垂直方向変位（Ｙ）についてイメージセンサによって測定した値である。Adap G(X,Y)は、以下のアルゴリズムを用いて補間されたグリーン値である。

ただしここで、“Threshhold”は「しきい値」を、“Predetermined value”は「所定値」を表す。

このアルゴリズムでは、まず、Gdiff-horを、補間されるピクセルの水平方向の近隣ピクセルのグリーン値の差（の絶対値）と定義し、Gdiff-verを同じく垂直方向の近隣ピクセルのグリーン値の差（の絶対値）と定義している。そして、Gdiff-hor及びGdiff-verが共に所定のしきい値より大きい場合、または共にそのしきい値より小さい場合は、Adap G(X,Y)を４つのピクセルのグリーン値の平均とする。また、Gdiff-horがしきい値より小さく、Gdiff-verがしきい値より大きい場合は、Adap G(X,Y)を水平方向のグリーン値の平均としている。また、Gdiff-horがしきい値より大きく、Gdiff-verがしきい値より小さい場合は、Adap G(X,Y)を垂直方向のグリーン値の平均としている。

図４（Ａ）〜（Ｄ）の４つのフェーズに特定的に適用される処理アルゴリズムは以下の通りである。

以上の複数のフェーズから明らかなように、グリーンデータが欠落しているフェーズ（フェーズ０１及び１０）において、補間される（丸で囲んだ）ピクセルに対して、グリーン（輝度）が適応的に補間される。レッドまたはブルー（クロミナンス）は、センサからフェーズ０１及び１０に直接利用可能である。それ以外の場合には、レッドとブルー（クロミナンス）は、補間された（丸で囲んだ）ピクセルの近隣位置から求めた色差（Ｒ−Ｇ，Ｂ−Ｇ）を参照してバイリニアに補間される。次いで、この色差は補間された（丸で囲んだ）ピクセルの輝度と合成され、レッドとブルーが得られる。

本発明の補間技術は電子カメラにおいて用いる場合を説明してきたが、イメージセンサからのカラーデータを処理する他の装置の一部としてこの補間技術を組み込んでもよい。例えば、イメージセンサからの実際のデータをメモリカード２４に直接ダウンロードし、このカード２４をプレーヤー装置に挿入して補間処理を行ってもよい。この場合、図２に示される補間技術は、プレーヤー内で行われる。このような「プレーヤー」は実際にはデスクトップコンピュータでもよく、この場合、図２の補間技術はコンピュータのプログラムによって行われる。

ここでは、好適な実施例を特に参照して本発明を詳細に説明してきたが、本発明の範囲内で様々なバリエーションや修正が可能であることを理解されたい。

［補遺］
本発明についての参考的な構成とし、イメージセンサから供給されるディジタル化されたイメージ信号を処理する信号処理装置がある。このイメージセンサは複数のカラー・フォトサイト（photosite）を有し、これら複数のカラー・フォトサイトは複数のカラー値を生成するが、各フォトサイトの位置においては、ただ１つのカラー値のみを生成する。このような信号処理装置は、
ａ）ディジタル化されたイメージ信号を、輝度及びクロミナンスの画像的（イメージ・ワイズ：image-wise）パターン（ただし、このパターンにおいて、いくつかのフォトサイト位置が輝度値を持たない）として蓄積する信号蓄積手段と、
ｂ）前記信号蓄積手段と共に動作し、輝度値を欠くフォトサイト位置の付加的な輝度値を、そのフォトサイト位置の近隣のフォトサイト位置における輝度値から補間することによって生成するプロセッサと、
を含む。

さらに好適には、前記プロセッサは、
ａ）少なくとも２つのイメージ方向における輝度値間の差により勾配値（グラディエント・バリュー：gradient values）を生成する手段と、
ｂ）前記勾配度値を少なくとも１つのしきい値と比較する手段と、
ｃ）前記しきい値との比較に応じて、付加的な輝度値の補間のための好適な方向（オリエンテーション）として、前記少なくとも２つのイメージ方向のうち１つを選択する手段と、
ｄ）前記好適な方向に一致するよう選択された複数の輝度値を補間して、前記付加的輝度値を求める手段と、
を含む。

本発明による補間プロセスを用いた電子スチルカメラのブロック図である。 本発明に関連して用いられる補間処理技術のブロック図である。 カラーフィルタアレイのバイヤー・ジオメトリを示す図である。 補間技術を説明するためのバイヤー・ジオメトリの４つのフェーズを示す図である。

符号の説明

１０ 露光部、１２ イメージセンサ、１３ カラーフィルタアレイ（ＣＦＡ）、１６ Ａ／Ｄコンバータ、１８ イメージバッファ、２０ プロセッサ、２２ ディジタルシグナルプロセッサ、２４ メモリカード、２６ コネクタ、２８ プロセスバッファ、３０ 操作表示器。

Claims (1)

1. (a)少なくとも異なる３つの色を含んだカラーフィルタアレイにより覆われたフォトサイト群の二次元アレイであって各フォトサイトがそれぞれ１つのカラー値を生成するようにそれぞれ１つの特定の色のカラーフィルタで覆われた二次元アレイ、を有し、水平方向が支配的なシーン構造を持つ第１のイメージ領域、垂直方向が支配的なシーン構造を持つ第２のイメージ領域、及び水平方向にも垂直方向にも支配的なシーン構造を持たない第３のイメージ領域、のうちの少なくとも一つを含むシーンのイメージを取り込むイメージセンサと、
   (b)前記３つの色のうちの１つの色に対応する輝度値を受け取り、その他の各色に対応する近隣の各フォトサイトにおける付加的輝度値を補間により求める手段と、
   (c)水平方向及び垂直方向についての輝度値の差から複数の勾配値を生成する手段と、
   (d)前記複数の勾配値を少なくとも１つのしきい値と比較する手段と、
   (e)前記垂直方向が支配的なシーン構造を示す第１のイメージ領域を補間するための第１の補間器、前記水平方向が支配的なシーン構造を示す第２のイメージ領域を補間するための第２の補間器、及び水平方向にも垂直方向にも支配的なシーン構造を持たない第３のイメージ領域を補間するための第３の補間器を備え、前記勾配値と前記少なくとも１つのしきい値との比較に基づき、前記第１の補間器又は前記第２の補間器又は前記第３の補間器を選択して、補間値を生成する手段と、
   を備えるデジタルカメラ。

Images