JP4072170B2 - デジタル撮像装置においてカラーバランスを制御する方法および装置 - Google Patents

Description

本発明は、包括的にはデジタル写真技術に関し、特に、デジタル撮像装置によって取り込まれるデジタル画像のカラーバランスを制御する技法に関する。

デジタルカメラ等のデジタル撮像装置は通常、電荷結合素子（ＣＣＤ）やＣＭＯＳセンサ等のエリアアレイ撮像センサを備える。このようなセンサは、各色成分のセット（通常、赤、緑、および青）の各色成分ごとに画素（「ピクセル」）を生成するカラーフィルタアレイを有する。各色成分の信号の量は、シーンのカラーバランスに依存する。カラーバランスは、シーン内の被写体の色のみならず、光源の色によっても決まる。たとえば、晴れた日に日陰で撮影された写真は、シーンを照らす青天により強い青みを帯びる。白熱灯照明の下で屋内にて撮影された写真は、赤みまたは黄色みを帯びる。

デジタル撮像装置は、生画像を取り込んだ後、センサからの生データを処理して最終画像を生成しなければならない。このプロセスの一部が、画像の色に対する光源の影響の大半またはすべてを取り除く「カラーバランス」工程である。このプロセスは、目で見た光源を脳が補償する方法に似ている。すなわち、人の目は、光源の色とは無関係に白を白として見る。同様に、デジタル撮像装置も画像を後処理して、光源とは無関係に白が白として再現されることを確保する。

不都合なことに、光源の色味が強いと、センサの３つの色成分のバランスが大きく偏ることになる。露光時間は、いずれの色のピクセルも飽和しないように、最も強い色成分に基づいて設定される。その結果として、その他の２つの色成分は優勢な色成分よりもはるかに小さくなる。弱い色は、アナログドメインからデジタルドメインへの変換前、変換中、または変換後に増幅されることができる。しかし、画像の弱い色成分を「ゲインアップ」すると、その色のノイズも同様に増幅されてしまう。

したがって、デジタル撮像装置においてカラーバランスを制御する改良された方法および装置が当該技術分野において必要であることは明らかである。

デジタル撮像装置によって取り込まれるデジタル画像のカラーバランスを制御する方法を提供する。この方法を実行する装置も提供する。

本発明の他の態様および利点が、本発明の原理を例として示す添付図面と併せて行う以下の詳細な説明から明らかになろう。

カラーバランスは、各色成分に異なる露光時間を提供する（強い色には短く、弱い色には長く）ことによって、デジタル画像の取り込み中に効率的に制御することができる。この技法は、シーンの色の偏りおよび光源に起因する色の偏りを直接的に補償する。その結果として、信号対雑音比（ＳＮＲ）および画質が向上する。個別の露光時間は、自動露光計算に通常使用されるもの等の前露光フレームから計算することができる。露光を最も強い色成分にのみ基づいて設定するのではなく、各色成分の露光時間を計算することができる。一実施形態においては、選択された露光時間が、色成分のバランスを十分にとり、ＳＮＲを最大化させるとともに画像の粒状性を最小化させることができる。別の実施形態においては、部分的な補償を実施して、一時的なカラーアーチファクトを低減することができる。

図１Ａは、本発明の例示的な実施形態によるデジタル撮像装置１００の機能ブロック図である。デジタル撮像装置１００は、デジタルカメラ、デジタルカムコーダ、または光学画像をデジタル画像に変換可能な他の任意の装置であってよい。図１Ａにおいては、コントローラ１０５がデータバス１１０を介して撮像モジュール１１５、メモリ１２０、ディスプレイ１２５、および入力コントロール１３０と通信する。光学系１３５が光学画像を生成し、この光学画像は撮像モジュール１１５によってデジタル画像に変換される。入力コントロール１３０は、画像の取り込みを開始するシャッタボタン、およびデジタル撮像装置１００の動作を制御する他の入力コントロールを含むことができる。

図１Ｂは、本発明の例示的な実施形態による撮像モジュール１１５の機能ブロック図である。撮像モジュール１１５は、行アドレス指定可能エリアアレイ撮像センサ（「センサ」）１４０、タイミング発生器／アナログフロントエンド（ＴＧ／ＡＦＥ）１４３、およびデジタル信号プロセッサ（ＤＳＰ）１４５を備えることができる。図１Ｂに示すように、データ信号および制御信号の両方により、センサ１４０をＴＧ／ＡＦＥ１４３に接続することができる。センサ１４０は、個々のピクセル１５０のランダムアクセス（行および列アクセス）をサポートする任意の種類のエリアアレイ撮像センサであってよい。すべての実施形態において求められるわけではないが、センサ１４０が非破壊読み出しをサポートする（すなわち、センサ１４０のピクセル１５０は読み出し時に放電されず、同じピクセル１５０を複数回読み出すことが可能である）ことも有利である。非破壊読み出しの関連については、本明細書において後に明らかになろう。図１Ｂの例においては、センサ１４０はＣＭＯＳセンサである。このような撮像センサは通常、今述べた特性（ピクセル１５０のランダムアクセスおよび非破壊読み出し）を有する。

図１Ｃは、本発明の例示的な実施形態による、ＣＭＯＳセンサ１４０の３トランジスタピクセル１５０の概略図である。図１Ｃは、ＣＭＯＳセンサの文脈の中でのピクセル回路図の単なる一例である。当業者が認めるように、他のピクセル実施態様も利用することが可能であり、本発明の原理を実施する際に使用することが可能である。図１Ｃにおいては、ピクセル１５０が光に曝されると、逆バイアスがかけられたフォトダイオード１５５が空乏領域を作り出す。リセット線１６０および読み出し線１６５が、ピクセル１５０の露光の開始および終了のそれぞれを区切る。リセット線１６０および読み出し線１６５は、ＦＥＴ１７０、１７５、および１８０の状態を制御することによって区切りを行う。読み出し線１６５がアサートされている場合、感知線１８５上の電圧を読み出すことができる。センサ１４０は行および列によってアドレス指定することが可能であるため、センサ１４０を行単位でリセットし、その後、行単位で読み出すことができる。

図１Ｄは、本発明の例示的な実施形態によるデジタル撮像装置１００におけるメモリ１２０の機能図である。メモリ１２０は、ランダムアクセスメモリ（ＲＡＭ）１８７および不揮発性メモリ１８９を両方とも備えることができ、後者は取り外し可能な種類のものであってもよい。メモリ１２０は、露光計算ロジック１９０および露光制御ロジック１９５も備えることができる。露光計算ロジック１９０は、前露光フレームを解析して、センサ１４０によって測定される色成分のセットの各色成分ごとに露光時間を求めることができる。露光計算ロジック１９０は、上記前露光フレームにおける、その色成分の、その他の色成分との相対強度（relative strength）と反比例する、各色成分の露光時間を求めるように構成することができる。たとえば、赤が優勢な色成分である白熱灯光源下での屋内シーンは、赤の露光時間を最も短くし、緑の露光時間を中間にし、青の露光時間を最も長くして取り込むことができる。同様に、青が優勢な色成分である晴れた日の日陰での屋外シーンは、青の露光時間を最も短くし、緑の露光時間を中間にし、赤の露光時間を最も長くして取り込むことができる。露光制御ロジック１９５は、ＴＧ／ＡＦＥ１４３と協働して、センサ１４０の各色成分のピクセル１５０を、露光計算ロジック１９０によって求められた露光時間にわたって露光させることができる。したがって、露光制御ロジック１９５は、露光計算ロジック１９０によって求められた適切な露光時間が過ぎた後に、センサ１４０からの各色成分のピクセル１５０の読み出しを制御することができる。当業者は、露光制御ロジック１９５は、たとえば、カウンタおよび状態機械をベースとする制御回路として実施することができることを認めよう。

一実施形態においては、露光計算ロジック１９０および露光制御ロジック１９５は、コントローラ１０５によって実行される、ファームウェアに記憶されたプログラム命令として実施される。一般に、露光計算ロジック１９０および露光制御ロジック１９５の機能は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの任意の組み合わせで実施することができる。さらに、露光計算ロジック１９０および露光制御ロジック１９５は、単機能ユニットの一部として実施することも可能である。露光計算ロジック１９０および露光制御ロジック１９５は、図１Ｄにおいて別個の機能ユニットとして示されるが、これは単にこの詳細な説明をより明確にするために過ぎない。

図２は、本発明の例示的な実施形態によるデジタル撮像装置１００の動作のフローチャートである。２０５において、デジタル撮像装置は前露光フレームを得ることができる。２１０において、露光計算ロジック１９０は前露光フレームを解析して、シーンにおける色成分の相対強度を求めることができる。色成分には、たとえば、赤、緑、および青を含めることができる。別法として、シアン、マゼンタ、およびイエローを採用するシステムを使用することが可能である。測定された色成分の相対強度に基づいて、露光計算ロジック１９０は、各色成分ごとに、シーンの色の偏りを補償する露光時間を求めることができる。すなわち、露光計算ロジック１９０は、その他の色成分との相対強度と反比例する露光時間を各色成分ごとに求めることができる。いくつかの実施形態においては、各色成分ごとに求められた露光時間は、その他の色成分との相対強度に反比例することができる。たとえば、緑の色成分が赤の半分の強度であり、青が赤の１／４の強度である状況を考える。露光計算ロジック１９０は、緑の露光時間を、赤の露光時間の２倍にし、青の露光時間を、赤の露光時間の４倍にすることによってこの偏りを補償することができる。２１５において、露光制御ロジック１９５は、センサ１４０をリセットして、各色成分の露光時間を開始させる。最後に、２２０において、露光制御ロジック１９５は、対応する露光時間が過ぎた後に各色成分のピクセル１５０を読み出す。次いで、プロセスは２２５において終了する。

センサ１４０は、上に説明したようにランダムアクセス可能であるが、通常、一度に全部リセットする、または一度に全部読み出すことはできない。したがって、リセットおよび読み出しは行単位（たとえば、一度に１行ずつ、上から下に）で行われる。センサ１４０の１行が読み出された後に、適切な列をアドレス指定することによって個々のピクセル１５０にアクセスすることができる。長い露光の場合、たとえば、センサ１４０を上から下に完全にリセットし、それから上から下に完全に読み出すことができる。こうして、このような露光においては、リセット動作および読み出し動作を順次行うことができる。短い露光の場合、リセットプロセスのすぐ後に読み出しプロセスを続けることができる。各ピクセルのリセットから読み出しまでの時間は一定（その色成分の露光時間）であるが、露光はセンサ１４０を下に「進む」。この構成を「ローリングシャッタ」と呼ぶことができる。これは、一眼レフ（ＳＬＲ）フィルムカメラにおけるフォーカルプレーンシャッタに似ている。このような露光中、リセットおよび読み出しは同時に行われるが、異なる色成分では開始時間が食い違う。これより、本発明の文脈の中でのローリングシャッタの実施態様について、より詳細に考察する。

まず、すべての色成分が同じ露光時間を有する従来技術によるローリングシャッタ実施態様を考える。図３Ａは、ＣＭＯＳセンサ３００を使用したこのようなローリングシャッタの典型的な従来技術による実施態様を示す。まず、リセットプロセスが開始される。まだリセットされていないセンサ１４０の部分が、図３Ａにおいては領域３０５として示される。３１０とラベルされたセンサ１４０の部分が、光にまだ曝されているピクセルを表す。リセットから露光時間に等しい間隔が過ぎた後、読み出し動作が続けられ、露光時間はこの従来技術による実施態様においてはすべてのピクセルに対して同じである。すでに読み出されたピクセルは、図３Ａにおいては領域３１５と示される。

本発明の文脈の中では、図３Ａに示すローリングシャッタ実施態様は、図３Ｂに示すように変更することができる。図３Ｂにおいては、赤が優勢な色成分である（たとえば、白熱灯照明下の屋内シーン）と想定する。図３Ｂにおいては、リセットプロセスがまず、センサ１４０の上から下に向かって行単位で開始される。まだリセットされていないピクセル１５０は領域３２０として示される。露光計算ロジック１９０によって求められた適切な、相対的に短い露光時間（第１の遅延）後、赤ピクセル１５０が読み出される（３２５）。より長い第２の遅延後、緑ピクセル１５０が読み出される（３３０）。最後に、最も長い第３の遅延後、青ピクセル１５０が読み出される（３３５）。すでに読み出されたピクセル１５０は、図３Ｂにおいては領域３４０として示される。このようにして、様々な色成分に個別の露光時間を用いるローリングシャッタを使用して、短い露光でカラーバランスを制御することができる。

図３Ｃは、青が優勢な色成分である場合の、図３Ｂに関連して説明したローリングシャッタの一例を示す。図３Ｂと併せて考察した原理と同じ原理が図３Ｃにも当てはまる。

当業者は、図３Ｂおよび図３Ｃに示すローリングシャッタの実施態様が、センサ１４０の設計に応じて、同じピクセル１５０を複数回読み出す必要がある場合があり、これには非破壊読み出しが必要であることを認めよう。この状況は、センサ１４０が、センサ１４０の同じ行において赤ピクセル１５０および青ピクセル１５０の間に緑ピクセル１５０が差し込まれた、図４Ａに示すようなベイヤーパターンを生み出すように構成されたカラーフィルタアレイを有する場合があるため発生する。緑ピクセル１５０に先立って青ピクセル１５０が読み出される（すなわち、青が優勢な色成分であり、最も短い露光時間を受ける）一例を考える。所与の行中の青ピクセル１５０を読み出すことには、その同じ行（少なくともアナログドメインにおいて）の緑ピクセル１５０を読み出すことが、その段階では緑ピクセル１５０を無視することができる場合であっても不可避的に伴う。当業者は、行中の不要な緑ピクセル１５０は、その時点でアナログドメインからデジタルドメインに変換する必要がないことを認めよう。センサ１４０が非破壊読み出しをサポートする場合、緑ピクセル１５０を読み出すべきときになったら、同じ行を再び読み出すことができる。

センサ１４０の非破壊読み出しの必要性は、カラーフィルタアレイが、図４Ｂに示すように、センサ１４０の各行が１つのみの色成分のピクセル１５０を含むように構成される場合に回避することができる。このような構成では、センサ１４０の各行は、リセットから、読み出し中の色成分に望ましい露光時間に等しい適切な遅延後に一度だけ読み出す必要があるだけである。

いずれの形態のローリングシャッタも、移動している被写体の写真に歪みをもたらし、歪みの量は、シャッタスピードおよび被写体のスピードに依存する。たとえば、移動中の車両の車輪は斜めの楕円形になる。色成分に個別の露光時間を持たせることにより、これらのすでに存在する一時的なアーチファクトにカラーアーチファクトが加えられる。したがって、いくつかの実施形態においては、露光計算ロジック１９０は意図的に、前露光フレームの色の偏りを部分的にのみ補償することができる。このような実施形態においては、デジタル画像が取り込まれた後に、追加のカラーバランス調整を、後処理工程として行うことができる。

本発明の上記説明は、図示および説明を目的として提示された。網羅的である、すなわち本発明を開示した厳密な形態に限定する意図はなく、他の変更形態および変形形態が上記教示に鑑みて可能であり得る。実施形態は、当業者が、意図する特定の用途に適した各種実施形態および各種変更形態で本発明を最もよく利用することができるように、本発明の原理および本発明の実際の応用を最もよく説明するために選択されかつ説明されたものである。添付の特許請求の範囲は、従来技術によって限定される範囲を除き、本発明の他の代替の実施形態を包含するものとして解釈されることを意図する。

本発明の例示的な実施形態によるデジタル撮像装置のブロック図である。 本発明の例示的な実施形態による、図１Ａに示すデジタル撮像装置の撮像モジュールの機能ブロック図である。 本発明の例示的な実施形態による３トランジスタＣＭＯＳセンサピクセルの回路図である。 本発明の例示的な実施形態による、図１Ａに示すデジタル撮像装置のメモリの機能図である。 本発明の例示的な実施形態による、図１Ａに示すデジタル撮像装置の動作方法のフローチャートである。 ＣＭＯＳセンサを使用してローリングシャッタを実施する従来技術による方法の図である。 本発明の例示的な実施形態により、どのようにして様々な色成分に個別の露光時間を使用してローリングシャッタを実施することができるかを示す図である。 本発明の例示的な実施形態により、どのようにして様々な色成分に個別の露光時間を使用してローリングシャッタを実施することができるかを示す図である。 本発明の例示的な実施形態による、エリアアレイ撮像センサのカラーフィルタアレイの図である。 本発明の別の例示的な実施形態による、エリアアレイ撮像センサのカラーフィルタアレイの図である。

符号の説明

１００：デジタル撮像装置
１０５：コントローラ
１１０：データバス
１１５：撮像モジュール
１２０：メモリ
１２５：ディスプレイ
１３０：入力コントロール
１３５：光学系

Claims (4)

1. デジタル撮像装置によって取り込まれるデジタル画像のカラーバランスを制御する方法であって、
   前露光フレームを得るステップと、
   前記前露光フレームを解析して、色成分のセットの各色成分ごとに露光時間を求めるステップであって、各色成分の露光時間は、その他の色成分との相対強度と反比例する、ステップと、
   行アドレス指定可能エリアアレイセンサをリセットして、前記露光時間を開始させるステップであって、前記行アドレス指定可能エリアアレイセンサは各色成分ごとにピクセルのセットを有している、ステップと、
   対応する露光時間が経過した後に各色成分の前記ピクセルを読み出すステップと、
   を含み、
   前記露光時間が、前記前露光フレームの色の偏りを部分的にのみ補償するように意図的に選択される、方法。
2. 前記行アドレス指定可能エリアアレイセンサがＣＭＯＳセンサを含む、請求項１に記載の方法。
3. 色成分のセットの各色成分ごとにピクセルのセットを有する行アドレス指定可能エリアアレイセンサと、
   前露光フレームを解析して、各色成分の露光時間を求めるように構成された露光計算ロジックであって、各色成分の露光時間は、その他の色成分との相対強度と反比例する、露光計算ロジックと、
   前記行アドレス指定可能エリアアレイセンサをリセットして、前記露光時間を開始させるとともに、対応する露光時間が経過した後に各色成分のピクセルを読み出すように構成された露光制御ロジックと、
   を備え、
   前記露光計算ロジックが、前記前露光フレームの色の偏りを部分的にのみ補償する露光時間を求めるように構成されている、デジタル撮像装置。
4. 前記行アドレス指定可能エリアアレイセンサがＣＭＯＳセンサを備えている、請求項３に記載のデジタル撮像装置。

Images