JP5619825B2 - 照明に基づくピクセル分配および平均化 - Google Patents

Description

本発明は、概括的にはイメージ・センサーのピクセルのサブサンプリングの分野に関する。より詳細には、本発明は、シーンの照明体の変化に対応するためにピクセル感度を変えるイメージ・センサーのピクセル・サブサンプリングに関する。

空間解像度を下げるためにイメージ・センサーをサブサンプリングすることは、処理スピードを上げるなどの目的のために実行される。図１を参照すると、イメージ・センサー上でカラー画像を生成するためのベイヤー（Bayer）・カラー・フィルタ・アレイ（CFA: color filter array）が示されている。解像度を下げるために、従来技術のイメージ・センサーは図２に示すようにピクセル（Xで示される）をスキップすることによってサブサンプリングされる。あるいはまた、従来技術は、図３に示すようにピクセルを組み合わせることによって解像度を下げる。これに関し、個々の色は曲線によって示されるように縦横両方向に組み合わされる。図２および図３両方についての結果として得られるサブサンプリングされた画像は、サブサンプリングされた画像を表現するために最適でないサンプリング特性を有する。具体的には、サブサンプリングされた画像をなすピクセルが等間隔に離間されず、集群化されている。この結果、行われたサブサンプリングの程度から期待されるよりも知覚される解像度が低い画像につながる。

よって、画像のよりよいサブサンプリングが必要とされている。また、サブサンプリングはしばしば、ビデオのための画像シーケンスを生成する目的で、空間解像度を下げ、スピードを上げるために必要とされるので、シーンの照明体（illuminant）の変化、たとえばシーンがタングステン・ライトで照明される場合に対応するために、ある色の別の色に比した感度を改善することも必要とされている。したがって、シーンの照明体に合うよう特定の色の感度をも変えるような仕方でサブサンプリングを達成することもさらに必要とされている。

本発明は、上記の問題の一つまたは複数を克服することに向けられる。手短かにまとめると、本発明のある側面によれば、本発明は、二次元アレイについてのピクセル値を読み出す方法であって、該二次元アレイの第一の次元方向で同じ第一の色の少なくとも二つのピクセル値を周期的に組み合わせる段階と、前記第一の色の組み合わされたピクセル値を読み出す段階と、前記二次元アレイの第一の次元方向に第二の色のピクセルを読み出す段階とを有する方法に向けられる。
本発明のこれらのことを含むさまざまな側面、目的、特徴および利点は、好ましい実施形態の以下の詳細な記述および付属の請求項を付属の図面を参照して吟味することからより明確に理解され、認識されるであろう。

本発明は、結果として得られる低下した解像度の画像の空間的なサンプリング・パターンをも改善しつつ、イメージ・センサーの固有のホワイト・バランスまたは色感度を改善するための、照明条件に基づいた、色の選択的な組み合わせおよびサブサンプリングを許すという利点を有する。本発明はまた、ある種の組み合わせおよびサブサンプリング手法が使われるときの低下した解像度の画像における拡大されたダイナミックレンジを許すという利点をも含む。

ベイヤー・カラー・フィルタ・アレイ・パターンを示す図である。 ベイヤー・カラー・フィルタ・アレイ・パターンについての、ピクセルをスキップする従来技術の間引き構成を示す図である。 ピクセルを組み合わせる従来技術の間引き構成を示す図である。 ある種の色を優遇するために、垂直方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 ある種の色を優遇するために、垂直方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 ある種の色を優遇するために、水平方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 ある種の色を優遇するために、水平方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 ある種の色を優遇するために、垂直および水平の両方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 ある種の色を優遇するために、垂直および水平の両方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 図４ａに対して代替的な色を優遇するために、垂直方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる代替的な間引き構成を示す図である。 図４ｂに対して代替的な色を優遇するために、垂直方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる代替的な間引き構成を示す図である。 図５ａに対して代替的な色を優遇するために、水平方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる代替的な間引き構成を示す図である。 図５ｂに対して代替的な色を優遇するために、水平方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる代替的な間引き構成を示す図である。 図６ａに対して代替的な色を優遇するために、垂直および水平の両方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる代替的な間引き構成を示す図である。 図６ｂに対して代替的な色を優遇するために、垂直および水平の両方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる代替的な間引き構成を示す図である。 組み合わされた緑の結果および組み合わされない緑の結果の両方を提供するために、垂直および水平の両方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。 組み合わされた緑の結果および組み合わされない緑の結果の両方を提供するために、垂直および水平の両方向においていくつかのピクセルをスキップし、いくつかのピクセルを組み合わせる間引き構成を示す図である。

本発明について、一般に知られているバイヤー・カラー・フィルタ・アレイ・パターンのコンテキストで述べる。本発明がCCD（電荷結合素子［charge-coupled device］）およびアクティブ・ピクセル（CMOSとしても一般に知られている）の両方の型のイメージ・センサーに適用可能であることは理解しておくものとする。また、二次元アレイは、センサー上の画像でも電子メモリ中の画像でも、いかなる画像から取得されてもよいことを注意しておく。具体的には、本発明はまず、サブサンプリングされた青ピクセルの感度を改善もするy方向におけるサブサンプリングを記述し（図４ａおよび図４ｂ）、次いで青の感度における同様の改善をもつx方向のサブサンプリングを記述し（図５ａおよび図５ｂ）、次いで青の感度におけるさらなる改善をもつyおよびx方向のサブサンプリングを記載する（図６ａおよび図６ｂ）。

図４ａを参照すると、本発明の二次元イメージ・センサーの平面図が示されている。本センサーは、異なる色を含むピクセルを生成するためのカラー・フィルタ・アレイ、典型的にはベイヤー・カラー・フィルタによって覆われ、網羅されている。本発明は、イメージ・センサーをサブサンプリングして、非サブサンプリング画像や従来技術のサブサンプリング画像とは異なる色バランスを示す、より低解像度の画像を生成することに向けられる。たとえば、非サブサンプリング画像は昼光の中で画像を取り込むためにより好適であることがあり、サンプリング画像は白熱電球の光で画像を取り込むためにより好適であることがある。このことを達成するために、本発明のイメージ・センサーは、二次元アレイのy方向において、同じ第一の色、列２の青の色の少なくとも二つのピクセル値を周期的に組み合わせる。さらに、列１において緑が組み合わされていることが注目される。第一の色の組み合わされたピクセル値は、CCDイメージ・センサーでは水平方向のシフト・レジスタを介して、CMOSイメージ・センサーではアドレス指定可能な列回路によってセンサーから読み出される。組み合わされていないピクセルも二次元アレイのy方向に読み出される。組み合わされていない色は列１の赤および列２の緑である。

第二の色は周期的に、スキップされる、すなわち読み出しされない。第二の色は、列１の赤および列２の緑である。これは、CMOSイメージ・センサーではこれらのピクセルをアドレス指定しないことによって、CCDイメージ・センサーでは高速のダンプ・ゲート（dump gate）によって達成される。組み合わされる色の間の色をスキップすることによって周期性が形成される。スキップされた色は図４ａではＸで示されている。

図４ｂを参照すれば、上記の方法によるサブサンプリングは、一様な間隔の組み合わされた第一の色および第二の色を有する画像を生じる。

図５ａおよび図５ｂを参照すると、画像を代替的にx方向にサブサンプリングしてもよいことが見て取れる。それには、上記したプロセスを、列１を行１に類似したものとして、列２を行２に類似したものとして繰り返す。さらに、所望のサブサンプリング画像を生じるために、x方向およびy方向のサブサンプリングが別個に行われてもよいし、図６ａおよび図６ｂのように組み合わされてもよいことを注意しておく。図６ａおよび図６ｂは、青の感度におけるさらなる改善というさらなる利点を有する。というのも、元の画像からの追加的な青のピクセルが組み合わされるからである。

本発明は、青の光への感度を改善する仕方で記載してきた。図７ａおよび図７ｂを参照すると、図４ａおよび図４ｂに類似だが青の光ではなく赤の光に対する改善された感度をもつ代替的な実施形態が示されている。これに関し、本発明のイメージ・センサーは、二次元アレイのy方向において、同じ第一の色、列１の赤の少なくとも二つのピクセル値を周期的に組み合わせる。さらに、列２において緑が組み合わされていることが注目される。第一の色の組み合わされたピクセル値がセンサーに読み出される。組み合わされていないピクセルも二次元アレイのy方向に読み出される。組み合わされていない色は列２の青および列１の緑である。

第二の色は周期的にスキップされる、すなわち読み出しされない。第二の色は、列２の青および列１の緑である。組み合わされる色の間の色をスキップすることによって周期性が形成される。スキップされた色は図７ａではＸで示されている。

図４ａおよび図４ｂに対する図７ａおよび図７ｂの対応と同様に、対応する赤の光に対する改善された感度をもつサブサンプリング構成がある：図５ａおよび図５ｂには図８ａおよび図８ｂが対応し、図６ａおよび図６ｂには図９ａおよび図９ｂが対応する。青の光に対する改善された感度は白熱電球の光に照らされた画像を取り込むために好適であることがあり、一方で赤の光に対する改善された感度は蛍光灯の光に照らされた画像を取り込むために好適であることがある。他のサブサンプリング方式ではなくあるサブサンプリング方式を選ぶことは、センサー回路によって自動的に、あるいはセンサー・シーン・データのアルゴリズムによる検査によって実行されうる。この選択性は、単にユーザーが自動機能をオーバーライドして感知された照明条件に基づいて適切な光を選択することを許可することによって、手動で実行されてもよい。

図４ｂ、図５ｂ、図７ｂおよび図８ｂを参照すると、組み合わされた青または赤の色に加えて、組み合わされていない緑の結果および組み合わされた緑の結果の両方もあることが見て取れる。これら二つの緑の結果は、事実上、結果として得られる画像における二つの異なる緑の感度を与える。二つの緑の感度は、取り込まれた画像のダイナミックレンジを拡大するために使用できる。その際、組み合わされていない緑のピクセルは、画像の明るい領域を取り込み、再現するのに有効であり、組み合わされた緑のピクセルは画像の暗い領域を取り込み、再現するのに有効であり、明るい領域と暗い領域の間の画像領域は、組み合わされた緑のピクセルと組み合わされていない緑のピクセル両方によって有効に表現されうる。さらに、図１０ａおよび図１０ｂを参照すると、水平方向および垂直方向の両方において、緑のピクセルを選択的に組み合わせたり組み合わせなかったりすること（図６ａおよび図６ｂにおいて青のピクセルは組み合わせ、赤のピクセルは組み合わせないこと、あるいは図９ａおよび図９ｂにおいて赤のピクセルは組み合わせ、青のピクセルは組み合わせないことに類似）は、赤および青の組み合わされたピクセルの互いに対するスピードに影響することなく、緑のピクセルに基づくダイナミックレンジのさらなる増大を提供する。

いくつかの態様を記載しておく。
〔態様１〕
二次元アレイについてのピクセル値を読み出す方法であって：
（ａ）前記二次元アレイの第一の次元方向で同じ第一の色の少なくとも二つのピクセル値を周期的に組み合わせる段階と；
（ｂ）前記第一の色の組み合わされたピクセル値を読み出す段階と；
（ｃ）前記二次元アレイの第一の次元方向に第二の色のピクセルを読み出す段階とを有する方法。
〔態様２〕
前記第二の色の少なくとも一つのピクセルを周期的にスキップすることをさらに有する、態様１記載の方法。
〔態様３〕
段階（ａ）、（ｂ）および（ｃ）が、一様な間隔の、組み合わされた第一の色のピクセルおよび第二の色のピクセルを有するサブサンプリングされたアレイを生じる、態様２記載の方法。
〔態様４〕
前記の組み合わせることが、シーンの照明体に基づいて選択的である、態様１記載の方法。
〔態様５〕
（ｄ）前記二次元アレイの第二の次元方向に、前記第一の色の少なくとも二つのピクセル値を周期的に組み合わせる段階をさらに有する、態様１記載の方法。
〔態様６〕
前記二次元アレイの前記第二の次元方向に、前記第二の色の少なくとも一つのピクセルを周期的にスキップすることをさらに有する、態様５記載の方法。
〔態様７〕
段階（ａ）、（ｂ）、（ｃ）および（ｄ）が、一様な間隔の、組み合わされた第一の色のピクセルおよび第二の色のピクセルを有するサブサンプリングされたアレイを生じる、態様５記載の方法。
〔態様８〕
前記の組み合わせることが、シーンの照明体に基づいて選択的である、態様５記載の方法。
〔態様９〕
段階（ａ）、（ｂ）および（ｃ）が拡大されたダイナミックレンジを生じる、態様１記載の方法。
〔態様１０〕
前記の組み合わせることが、シーンの照明体に基づいて選択的である、態様９記載の方法。
〔態様１１〕
第一および第二の次元方向の両方において周期的に組み合わせることが、拡大されたダイナミックレンジを生じる、態様５記載の方法。
〔態様１２〕
前記の組み合わせることが、シーンの照明体に基づいて選択的である、態様１１記載の方法。
〔態様１３〕
前記の組み合わせることが、シーンのダイナミックレンジに基づいて選択的である、態様１１記載の方法。
〔態様１４〕
前記二次元アレイの第一の次元方向に同じ第三の色のピクセルを組み合わせることをさらに含む、態様１記載の方法。
〔態様１５〕
前記第一、第二および第三の色を生じるためにベイヤー・カラー・パターンを提供することをさらに含む、態様１４記載の方法。
〔態様１６〕
前記第一および第二の色を生じるためにベイヤー・カラー・パターンを提供することをさらに含む、態様１記載の方法。

Claims (1)

1. 二次元アレイの画像のピクセル値を読み出す方法であって：
   前記二次元アレイの第一の次元方向のピクセルの第一の複数のラインを選択する段階であって、該第一の複数のラインが前記画像の高さ又は前記画像の幅に等しい、段階と、
   前記二次元アレイの第一の次元方向の第一の複数のラインの各ラインにおいて、同じ第一の色のピクセル値のうち相続くちょうど二つのピクセル値ずつをすべての対について周期的に組み合わせつつ、他の色のいかなるピクセル値も他のいかなるピクセル値とも組み合わせない、段階と；
   前記第一の色の組み合わされたピクセル値を読み出す段階と；
   前記他の色の組み合わされていないピクセル値の少なくとも一部を読み出す段階と、
   読み出された前記第一の色の組み合わされたピクセル値と、読み出された前記他の色の組み合わされていないピクセル値の両方からサブサンプリングされた画像を生成する段階と、
   を有する方法。

Images