JP4270892B2

JP4270892B2 - 偽色低減装置

Info

Publication number: JP4270892B2
Application number: JP2003017782A
Authority: JP
Inventors: 康裕山元
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2003-01-27
Filing date: 2003-01-27
Publication date: 2009-06-03
Anticipated expiration: 2023-01-27
Also published as: US20040183919A1; JP2004229232A; US7324138B2

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラに設けられ、撮像素子を介して得られたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の画素データに基づいて、色差データであるＵデータとＶデータを求める装置に関し、特に、その色差データに基づいて再生される画像に生じる偽色を低減させるための装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、撮像素子の受光面にＲ、Ｇ、Ｂのカラーフィルタがベイヤー配列に従って設けられたものが知られている。すなわち撮像素子から読み出された静止画像の生データでは、Ｒ、Ｇ、Ｂ画素がベイヤー配列に従って市松模様に並んでおり、画像処理では、各画素に関して補間処理が実行され、Ｒ、Ｇ、Ｂの３枚のプレーンデータが作成される（例えば特許文献１）。
【０００３】
ところが、被写体像の一部が、ざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、生データにノイズが含まれているような場合、補間処理によって、本来の色成分からかけ離れた色成分の画素データが求められることがある。これは偽色の原因となり、画質が低下してしまう。そこで偽色の発生を緩和する目的で、Ｒ、Ｇ、Ｂのプレーンデータから生成したＵデータとＶデータに対して補間処理を施すことが知られている。
【０００４】
【特許文献１】
特開２００２−２１８４８２号公報
【０００５】
しかし従来技術では、偽色低減の目的で行なわれる補間処理は演算量が多く、処理時間が長くなるという問題を有している。
【０００６】
【発明が解決しようとする課題】
本発明は、偽色低減のための補間処理における演算量を減らし、処理時間を短縮することを目的としている。
【０００７】
【課題を解決するための手段】
本発明に係る偽色低減装置は、レッド（Ｒ）のデータを有する第１画素とグリーン（Ｇ）のデータを有する第２画素とが水平方向に交互に配置された第１の列と、第２画素とブルー（Ｂ）のデータを有する第３画素とが水平方向に交互に配置された第２の列とが、垂直方向に交互に配置されて成る生データを読み込む生データ読込手段と、生データに対して補間処理を施すことにより、全画素がＲのデータを有するＲプレーンデータと、全画素がＧのデータを有するＧプレーンデータと、全画素がＢのデータを有するＢプレーンデータとを生成する第１の補間手段と、Ｒプレーンデータ、ＧプレーンデータおよびＢプレーンデータを用いて、第１、第２および第３画素に関し、色差データであるＵデータとＶデータをそれぞれ算出する色差データ算出手段と、第１画素の斜め方向に隣接する４画素のＶデータの平均値を第１画素のＶデータとして置き換える第２の補間手段と、第３画素の斜め方向に隣接する４画素のＵデータの平均値を第３画素のＵデータとして置き換える第３の補間手段とを備えることを特徴としている。
【０００８】
また偽色低減装置は、第２画素の上下左右に隣接する４画素のＵデータとＶデータの平均値を、それぞれ第２画素のＵデータとＶデータとして置き換える第４の補間手段を備えていてもよい。第４の補間手段は例えば、第２および第３の補間手段により得られたＶデータおよびＵデータを用いて補間を実行する。第４の補間手段により、ＵデータとＶデータの全画素について修正が行なわれ、偽色がより効果的に低減される。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の一実施形態である偽色低減装置を備えたデジタルカメラの電気的および光学的な構成を概略的に示すブロック図である。このデジタルカメラは単一の撮像素子（ＣＣＤ）１０を備えている。撮像素子１０の受光面には、例えばベイヤー配列に従って配列されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられている。撮影レンズ１１の光軸上には、赤外カットフィルタ１２と光学ローパスフィルタ１３と撮像素子１０がこの順に配設されている。したがって撮影レンズ１１を通過した光線は、赤外線とノイズ成分を除去されて撮像素子１０に入射し、撮像素子１０ではアナログの電気信号である画像信号が発生する。
【００１０】
この画像信号は、相関二重サンプリング回路（ＣＤＳ）とＡＤ変換器（ＡＤＣ）を備えたアナログ信号処理回路１４において、ノイズ成分を除去されるとともにデジタルの画像データに変換される。デジタルの画像データは、デジタル信号処理回路１５において、後述する種々の画像処理を施される。
【００１１】
デジタル信号処理回路１５において処理された画像データはメモリ１６に格納される。画像データはメモリ１６から読み出され、圧縮処理を施されて、ＰＣカード１７に静止画像として記録される。静止画像の画像データは、ＬＣＤ表示回路１８において所定の処理を施され、液晶表示装置（ＬＣＤ）１９においてカラー画像として表示される。また、デジタル信号処理回路１５から出力された画像データはＬＣＤ表示回路１８に直接入力され、液晶表示装置１９ではモニタ画像が動画として表示される。
【００１２】
図２はデジタル信号処理回路１５において実行される画像処理の手順を示す図である。デジタル信号処理回路１５に入力された画像データ（生データ）は、ステップＳ１においてホワイトバランス調整される。ステップＳ２ではＧ補間が実行され、ＲとＢ画素に関して、Ｇの画素データが補間により求められる。ステップＳ３ではＲ補間とＢ補間が実行され、ＲとＢの画素データが欠落している画素について、ＲとＢの画素データがそれぞれ補間によって求められる。これにより、全ての画素について、Ｒ、Ｇ、Ｂの画素データが求められる。
【００１３】
ステップＳ４では、ステップＳ３の処理結果として得られた画素データに色補正マトリクスが施され、カラーフィルタの特性によって生じる誤差が除去される。ステップＳ５では色補正マトリクスが施された画素データに対してガンマ補正が施される。ステップＳ６では、ＲＧＢ／ＹＵＶ変換が実行される。すなわち、Ｒ、Ｇ、Ｂの画素データが公知の手法によって、輝度データ（Ｙ）と、色差データすなわちＵデータ（＝Ｂ−Ｙ）およびＶデータ（＝Ｒ−Ｙ）とに変換される。
【００１４】
次いでステップＳ７では、後述するように、ＵデータとＶデータに対して偽色低減処理が施される。ステップＳ８では、輝度データに対して輪郭強調が施される。ステップＳ９では、ＹＵＶ／ＲＧＢ変換が実行され、輝度データと色差データがＲ、Ｇ、Ｂの画素データに変換される。このようにして得られたＲＧＢカラー画像データは、上述したように、液晶表示装置１９に出力され、あるいは圧縮処理を施されてＰＣカード１７に記録される。
【００１５】
図３は撮像素子１０によって得られた画像データ（生データ）における画素の配置と色を示している。Ｒ、Ｇ、Ｂの文字はそれぞれレッド、グリーンおよびブルーの色を示す。したがって画像データにおいて、最上部から奇数番目に位置する第１の列Ｌ１ではＲのデータを有する第１画素とＧのデータを有する第２画素とが水平方向に交互に配置され、偶数番目に位置する第２の列Ｌ２では第２画素とＢのデータを有する第３画素とが水平方向に交互に配置されている。第１の列Ｌ１と第２の列Ｌ２は垂直方向に交互に配置されている。数字は座標を示し、座標の原点は左隅（すなわち「Ｇ００」）である。例えば上から３番目の列では、左から右へ向かってＧ２０、Ｒ２１、Ｇ２２、Ｒ２３・・・の順に並んでいる。なお図３において、Ｇのデータを有する第２画素は２重枠によって示されている。
【００１６】
図４は生データの例として、Ｒ、Ｇ、Ｂの画素データ「５０」が一様に分布している中に、ＢとＲの画素データ「４０」（符号Ａ１、Ａ２）がノイズとして含まれている場合を示している。本実施形態では、以下に述べるように、生データにノイズが含まれている場合であっても、図２に示す画像処理により得られる再生画像に発生する偽色を、従来よりも少ない演算量で低減させている。なお図４において、画素の配置は図３と共通であり、第２画素は２重枠によって示されている。
【００１７】
図５は、図２のステップＳ２において実行されるＧ補間の結果、すなわち全画素がＧデータを有するＧプレーンデータを示している。なお枠Ｗ１は、図３においてＧ１１とＢ１６とＲ６１とＧ６６を四隅とする領域を示している。Ｇプレーンデータは、第１および第３画素に関し、隣接する第２画素のＧデータを補間することによって得られる。第１および第３画素のＧデータは、隣接する４つの第２画素のＧデータの相加平均をとることによって得られ、例えばＧ１２は
Ｇ１２＝（Ｇ１１＋Ｇ１３＋Ｇ０２＋Ｇ２２）／４
である。
【００１８】
図６は、図２のステップＳ３において実行されるＲ補間の結果、すなわち全画素がＲデータを有するＲプレーンデータを示している。なお枠Ｗ２は、図５の枠Ｗ１と共通の領域を示している。Ｒプレーンデータの生成において、上下方向に第１画素が隣接する第２画素に関しては、上下方向の第１画素のＲデータが補間され、また左右方向に第１画素が隣接する第２画素に関しては、左右方向の第１画素のＲデータが補間される。例えばＲ１１とＲ２２は次の式により得られる。
Ｒ１１＝（Ｒ０１＋Ｒ２１）／２
Ｒ２２＝（Ｒ２１＋Ｒ２３）／２
一方、第３画素に関しては、斜め方向に隣接する４つの第１画素のＲデータが補間される。例えばＲ１２は次の式により得られる。
Ｒ１２＝（Ｒ０１＋Ｒ０３＋Ｒ２１＋Ｒ２３）／４
【００１９】
図７は、図２のステップＳ３において実行されるＢ補間の結果、すなわち全画素がＢデータを有するＢプレーンデータを示している。なお枠Ｗ３は、図５の枠Ｗ１と共通の領域を示している。Ｂプレーンデータの生成において、Ｒプレーンデータの生成と同様に、上下方向に第３画素が隣接する第２画素に関しては、上下方向の第３画素のＢデータが補間され、また左右方向に第３画素が隣接する第２画素に関しては、左右方向の第３画素のＢデータが補間される。一方、第１画素に関しては、斜め方向に隣接する４つの第３画素のＢデータが補間される。
【００２０】
図８と図９はＶデータとＵデータを示している。ＵデータとＶデータは、Ｒプレーンデータ、ＧプレーンデータおよびＢプレーンデータを用い、以下の式に従って、第１、第２および第３画素の全てに関して算出される。
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５Ｂ
Ｖ＝０．５Ｒ−０．４１８７Ｇ−０．０８１３Ｂ
なお図８と図９に示された枠Ｗ４、Ｗ５は、図５、６、７の枠Ｗ１、Ｗ２、Ｗ３内に対応している。
【００２１】
生データ（図４）にノイズが含まれているため、図６と図７に示されるようにＲプレーンデータとＢプレーンデータはそれぞれ一様ではなく、「５０」以外の画素データがいくつか含まれている。一方、ＵデータとＶデータは、もし生データが全て「５０」であれば「０」のみから構成されるはずであったが、生データにノイズが含まれているために、図８および図９に示されるように、「０」以外のデータを多数含んでいる。このため、これらのＵデータとＶデータをそのまま用いてカラー画像を再生すると、偽色が発生するおそれが大きいので、次に述べるように補間処理（偽色低減処理）が実行される。
【００２２】
図１０はＶデータにおける画素の座標を示している。座標の定義は図３と同じであり、原点は左隅（すなわち「Ｖ００」）である。ここでは図１０に示される枠Ｗ６内のＶデータ、すなわちＶ３３とＶ３４とＶ４３とＶ４４を例にとって補間処理の結果を説明する。なお枠Ｗ６は、図８において破線で示される枠Ｗ７に対応している。
【００２３】
本実施形態を用いない場合、すなわち比較例における補間処理では、補間の対象である注目画素を囲繞する８個の画素のＶデータの相加平均が演算される。例えばＶ３３は下記（１）式によって求められる。
Ｖ３３
＝（Ｖ２２＋Ｖ２３＋Ｖ２４＋Ｖ３４＋Ｖ４４＋Ｖ４３＋Ｖ４２＋Ｖ３２）／８・・・（１）
図１１は補間処理の結果を示している。すなわち図８の枠Ｗ７内のＶデータは、補間処理によって図１１の枠Ｗ８内のＶデータに置き換えられる。
【００２４】
（１）式から理解されるように、枠Ｗ８内の４つの画素に関する補間処理では、（８×４）回の加算を行なった後、除算（すなわちシフト演算）を４回行なうことが必要である。これに対して本実施形態では、次に述べるように、より少ない演算量によって補間処理を行なう。
【００２５】
生データがＲの画素である第１画素に関しては、その斜め方向に隣接する４つの画素のＶデータの平均値が第１画素のＶデータとして置き換えられる。例えばＶ４３は下記（２）式によって補間される。
Ｖ４３＝（Ｖ３２＋Ｖ３４＋Ｖ５２＋Ｖ５４）／４・・・（２）
図８の例では、図１２において符号Ａ３により示すように、Ｖ４３＝−０．８である。なお図１２において、丸で囲まれた数値は第１画素であり、斜め方向に隣接する４画素のＶデータの平均値が第１画素のＶデータとして置き換えられた結果である。斜め方向に隣接する４画素の各々は、図６を参照して説明したように、その斜め方向に隣接する４つの第１画素のＲデータを用いて求められたものである。したがって、（２）式による補間によれば、少ない演算量にも係わらず十分なフィルタ効果が得られる。
【００２６】
一方、生データがＧの画素である第２画素に関しては、上下左右に隣接する４つの画素のＶデータの平均値が第２画素のＶデータとして置き換えられる。例えばＶ３３は下記（３）式によって補間される。
Ｖ３３＝（Ｖ２３’＋Ｖ４３’＋Ｖ３２＋Ｖ３４）／４・・・（３）
ただし（３）式におけるＶ２３’とＶ４３’は、（２）式に従った補間により求められたＶデータであり、Ｖ３２とＶ３４は生データから直接求められたＶデータである。図１２の場合、Ｖ２３’＝−０．３、Ｖ４３’＝−０．８、Ｖ３２＝−０．２、Ｖ３４＝−１であり、したがって図１３において符号Ａ４により示すように、Ｖ３３＝−０．６である。なお（３）式による補間では、（２）式に従って得られた項（Ｖ２３’とＶ４３’）を含んでいるので、（２）式による補間と同様に十分なフィルタ効果が得られる。
【００２７】
また、Ｖ４４も（３）式と同様にして上下左右に隣接する４つの画素から求められ、図１３において符号Ａ５により示すように、Ｖ４４＝−０．８となる。このようにして枠Ｗ９内のＶデータが補間処理によって求められる。生データがＢの画素である第３画素に関しては、補間処理は行なわれず、Ｖ３４（＝−１）はそのまま維持される。なお図１３において、丸で囲まれた数値は第２画素であり、上下左右に隣接する４画素のＶデータの平均値が第２画素のＶデータとして置き換えられた結果である。
【００２８】
以上のように本実施形態では、（２）式あるいは（３）式から理解されるように、枠Ｗ９内の４つの画素に関する補間処理では、（４×４）回の加算を行なった後、除算（すなわちシフト演算）を４回行なうだけでよく、比較例に対して約半分の演算量ですむ。
【００２９】
また枠Ｗ８内および枠Ｗ９内のＶデータに関し、真の値（＝０）からのずれ量を計算すると、比較例では
｜−１．２｜＋｜−１．３｜＋｜−１．４｜＋｜−１．５｜＝５．４
であるのに対し、本実施形態では
｜−０．６｜＋｜−０．８｜＋｜−０．８｜＋｜−１｜＝３．２
である。すなわち、本実施形態のほうが真の値に近く、生データにノイズが含まれていても、フィルタ効果によってノイズの影響を低減させることができる。
【００３０】
Ｕデータの場合もＶデータの場合と同様にして演算される。すなわち、生データがＢの画素である第３画素に関して、その斜め方向に隣接する４つの画素のＵデータの平均値が第３画素のＵデータとして置き換えられる。また、生データがＧの画素である第２画素に関しては、上下左右に隣接する４つの画素のＵデータの平均値が第２画素のＵデータとして置き換えられる。
【００３１】
以上のように本実施形態によれば、被写体像の一部がざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、生データにノイズが含まれるような場合であっても、演算量の少ない、処理時間の短い補間処理によって、偽色発生を効果的に低減させることができる。
【００３２】
【発明の効果】
以上のように本発明によれば、偽色低減のための補間処理における演算量を減らし、処理時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である偽色低減装置を備えたデジタルカメラの電気的および光学的な構成を示すブロック図である。
【図２】デジタル信号処理回路において実行される画像処理の手順を示す図である。
【図３】撮像素子によって得られた画像データにおける画素の配置と色を示す図である。
【図４】生データの一例を示す図である。
【図５】Ｇ補間により得られるＧプレーンデータを示す図である。
【図６】Ｒ補間により得られるＲプレーンデータを示す図である。
【図７】Ｂ補間により得られるＢプレーンデータを示す図である。
【図８】Ｖデータを示す図である。
【図９】Ｕデータを示す図である。
【図１０】Ｖデータにおける画素の座標の定義を示す図である。
【図１１】比較例における補間処理の結果を示す図である。
【図１２】実施形態において、第１画素に関する補間処理を示す図である。
【図１３】実施形態において、第３画素に関する補間処理を示す図である。
【符号の説明】
１０撮像素子

Claims

レッド（Ｒ）のデータを有する第１画素とグリーン（Ｇ）のデータを有する第２画素とが水平方向に交互に配置された第１の列と、前記第２画素とブルー（Ｂ）のデータを有する第３画素とが水平方向に交互に配置された第２の列とが、垂直方向に交互に配置されて成る生データを読み込む生データ読込手段と、
前記生データに対して補間処理を施すことにより、全画素がＲのデータを有するＲプレーンデータと、全画素がＧのデータを有するＧプレーンデータと、全画素がＢのデータを有するＢプレーンデータとを生成する第１の補間手段と、
前記Ｒプレーンデータ、ＧプレーンデータおよびＢプレーンデータを用いて、前記第１、第２および第３画素に関し、色差データであるＵデータとＶデータをそれぞれ算出する色差データ算出手段と、
前記第１画素の斜め方向に隣接する４画素のＶデータの平均値を前記第１画素のＶデータとして置き換える第２の補間手段と、
前記第３画素の斜め方向に隣接する４画素のＵデータの平均値を前記第３画素のＵデータとして置き換える第３の補間手段とを備え、
前記第１の補間手段は、第３画素に関しては当該画素の斜め方向に隣接する４つの第１画素のＲのデータを用いて前記Ｒプレーンデータを生成し、第１画素に関しては当該画素の斜め方向に隣接する４つの第３画素のＢのデータを用いて前記Ｂプレーンデータを生成する
ことを特徴とする偽色低減装置。
前記第２画素の上下左右に隣接する４画素において、前記第２の補間手段または前記第３の補間手段によってデータが置き換えられた画素については置き換えられたＵデータとＶデータを用いて、また前記色差データ算出手段によってデータが算出された画素については算出されたＵデータとＶデータを用いて求めたＵデータとＶデータの平均値を、それぞれ前記第２画素のＵデータとＶデータとして置き換える第４の補間手段を備えることを特徴とする請求項１に記載の偽色低減装置。