JP4021306B2

JP4021306B2 - False color reduction device

Info

Publication number: JP4021306B2
Application number: JP2002323484A
Authority: JP
Inventors: 康裕山元
Original assignee: ペンタックス株式会社
Priority date: 2002-11-07
Filing date: 2002-11-07
Publication date: 2007-12-12
Anticipated expiration: 2022-11-07
Also published as: JP2004159134A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラに設けられ、再生されたカラー画像に生じる偽色の発生を低減させるための装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、撮像素子の受光面に、例えばベイヤー配列に従って配列されたカラーフィルタが設けられたものが知られている。このような撮像素子の受光面に設けられた各フォトダイオード（各画素）では、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のいずれかの画素データが生成される。撮像素子から読み出された画素データは補間処理され、これにより、各画素においてＲ、Ｇ、Ｂの画素データが求められる。
【０００３】
ところが、被写体像の一部が、ざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、被写体像にノイズが存在したりするような場合、補間処理によって、本来の色成分からかけ離れた色成分の画素データが求められることがある。これは偽色の原因となり、画質が低下してしまう。そこで従来、偽色の発生を抑制するための装置として種々のものが提案されている（例えば非特許文献１参照）。
【０００４】
【非特許文献１】
「映像情報メディア学会誌（ＰＳ−ＣＣＤにおける相関判別色分離方式）」，第５５巻，第１号，ｐ．１２０−１３２
【０００５】
【発明が解決しようとする課題】
ところが従来の偽色抑制装置によると、例えば日本の国旗（日の丸）のように、一様に赤い領域と一様に白い領域とが隣接するような画像では、その隣接部分における色差のエッジ（色差が大きく変化する部分）が不鮮明になって画質が低下するという問題があった。
【０００６】
本発明は、画像が不鮮明になることなく、偽色の発生を低減させることができる偽色低減装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明に係る第１の偽色低減装置は、第１および第２の原色の画素が交互に並んで構成される撮像素子から、第１および第２の原色の画素データを読み出す画素データ読出手段と、第２の原色の各画素に近接する第１の原色の画素の画素データに基づいて、前記各画素における第１の原色の画素データを生成する画素データ生成手段と、第２の原色の画素のうちの１つの注目画素と、この注目画素に近接した第２の原色の画素とについて、第１および第２の原色の画素データの差である色差成分を演算する色差成分生成手段と、前記近接した第２の原色の画素における色差成分が所定値よりも小さく、かつ注目画素における色差成分が前記近接した第２の原色の画素における色差成分よりも突出しているとき、前記近接した第２の原色の画素における色差成分を用いて、注目画素における第２の原色の画素データを修正する色修正手段とを備えることを特徴としている。
【０００８】
例えば、第１の原色はグリーンであり、第２の原色はレッドまたはブルーである。
【０００９】
色修正手段は例えば、注目画素の両側に近接した第２の原色の画素における色差成分の絶対値の和が所定値よりも小さく、かつ注目画素における色差成分が両側に近接した第２の原色の画素における色差成分よりも突出しているとき、両側に近接した第２の原色の画素における色差成分を用いて、注目画素における第２の原色の画素データを修正する。色修正手段は、注目画素における第１の原色の画素データから、両側に近接した第２の原色の画素における色差成分の平均値を引くことによって、注目画素における第２の原色の画素データを求めてもよい。
【００１０】
第１および第２の原色の画素が交互に並ぶ第１の列と、第３および第１の原色の画素が交互に並ぶ第２の列とが交互に並んで構成される撮像素子から、第１、第２および第３の原色の画素データを読み出す画素データ読出手段と、第２または第３の原色の各画素に近接する第１の原色の画素の画素データに基づいて、前記各画素における第１の原色の画素データを生成する画素データ生成手段と、第２または第３の原色の画素のうちの１つの注目画素と、この注目画素に近接した第２または第３の原色の画素とについて、第１および第２または第３の原色の画素データの差である色差成分を演算する色差成分生成手段と、前記近接した第２または第３の原色の画素における色差成分が所定値よりも小さく、かつ注目画素における色差成分が前記近接した第２または第３の原色の画素における色差成分よりも突出しているとき、前記近接した第２または第３の原色の画素における色差成分を用いて、注目画素における第２または第３の原色の画素データを修正する色修正手段とを備えることを特徴としている。
【００１１】
例えば、第１の原色はグリーンであり、第２の原色はレッドであり、第３の原色はブルーである。
【００１２】
色修正手段は例えば、注目画素の上下および左右に近接した第２または第３の原色の画素における色差成分の絶対値の和が所定値よりも小さく、かつ注目画素における色差成分が上下および左右に近接した第２または第３の原色の画素における色差成分よりも突出しているとき、上下および左右に近接した第２または第３の原色の画素における色差成分を用いて、注目画素における第２または第３の原色の画素データを修正する。
【００１３】
偽色低減装置は、注目画素の上下に隣接した第１の原色の画素の画素データの差の絶対値である縦相関と、注目画素の左右に隣接した第１の原色の画素の画素データの差の絶対値である横相関とを求める相関検出手段を備えてもよい。この場合、色修正手段は、縦相関が横相関よりも強いとき、上下に近接した第２または第３の原色の画素における色差成分を用い、横相関が縦相関よりも強いとき、左右に近接した第２または第３の原色の画素における色差成分を用いて、第２または第３の原色の画素データを修正する。また、この場合、修正手段は、縦相関が横相関よりも強いとき、注目画素における第１の原色の画素データから、上下に近接した第２または第３の原色の画素における色差成分の平均値を引くことによって、横相関が縦相関よりも強いとき、注目画素における第１の原色の画素データから、左右に近接した第２または第３の原色の画素における色差成分の平均値を引くことによって、注目画素における第２または第３の原色の画素データを求める。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の一実施形態であるデジタルカメラの電気的および光学的な構成を概略的に示すブロック図である。このデジタルカメラは単一の撮像素子（ＣＣＤ）１０を備えている。撮像素子１０の受光面にはベイヤー配列に従って配列されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられている。撮影レンズ１１の光軸上には、赤外カットフィルタ１２と光学ローパスフィルタ１３と撮像素子１０がこの順に配設されている。したがって撮影レンズ１１を通過した光線は、赤外線とノイズ成分を除去されて撮像素子１０に入射し、撮像素子１０ではアナログの電気信号である画像信号が発生する。
【００１５】
この画像信号は、相関二重サンプリング回路（ＣＤＳ）とＡＤ変換器（ＡＤＣ）を備えたアナログ信号処理回路１４において、ノイズ成分を除去されるとともにデジタルの画像データに変換される。デジタルの画像データは、デジタル信号処理回路１５において補間処理を施されるとともに、偽色低減処理を施される。これらの処理については後述する。
【００１６】
デジタル信号処理回路１５において処理された画像データはメモリ１６に格納される。画像データはメモリ１６から読み出され、圧縮処理を施されて、ＰＣカード１７に静止画像として記録される。静止画像の画像データは、ＬＣＤ表示回路１８において所定の処理を施され、液晶表示装置（ＬＣＤ）１９においてカラー画像として表示される。また、デジタル信号処理回路１５から出力された画像データはＬＣＤ表示回路１８に直接入力され、液晶表示装置１９ではモニタ画像が動画として表示される。
【００１７】
図２は本デジタルカメラによって実行される画像記録ルーチンのフローチャートである。画像記録ルーチンの実行に先立って、測光および測距動作が実行されており、絞りの大きさと露光時間（撮像素子１０の電荷蓄積時間）が決定されている。
【００１８】
ステップ１０１では、レリーズスイッチ（図示せず）がオン状態に定められたか否かが検出される。レリーズスイッチがオン状態に定められると、ステップ１０２において、撮像素子１０が露光され、電荷蓄積が開始される。所定の露光時間が経過することによって、ステップ１０３において電荷蓄積の終了が判定されると、ステップ１０４において読出動作が開始され、撮像素子１０から画素データが読み出される。そしてステップ１０５では、画素データがデジタル信号処理回路１５に取り込まれる。
【００１９】
前述したように、撮像素子１０の受光面に設けられたカラーフィルタはＲ、Ｇ、Ｂのフィルタ要素から成り、その配列はベイヤー配列となっている。すなわち撮像素子１０は、図３に示すように、ＧおよびＲの画素が交互に並ぶ第１の列Ｌ１と、ＢおよびＧの画素が交互に並ぶ第２の列Ｌ２とが交互に並んで構成される。すなわちステップ１０４、１０５では、Ｇ、ＲおよびＢの画素データが読み出され、デジタル信号処理回路１５に取り込まれる。
【００２０】
ステップ１０６では、ＲおよびＢの全ての画素におけるＧの画素データが補間によって生成される。この補間としては種々の方法が可能であり、例えば、補間の対象となっている画素の上下および左右に隣接する４つの画素におけるＧの画素データの相加平均が用いられる。すなわち、図３において、Ｂ₁₁の画素におけるＧ₁₁の画素データはＧ₁₀、Ｇ₁₂、Ｇ₀₁、Ｇ₂₁の画素データの相加平均である。
【００２１】
ステップ１０７では、ＲおよびＢの全ての画素について、後述する偽色低減処理が実行される。ステップ１０８では、ＲおよびＢの全ての画素について、ＢおよびＲの画素データが、周囲の画素データを用いて、補間により求められる。例えばＢ₁₁の画素におけるＲ₁₁の画素データは、Ｒ₀₀、Ｒ₀₂、Ｒ₂₀、Ｒ₂₂の画素データの相加平均である。
【００２２】
ステップ１０９では、上述した各処理によって求められた、全ての画素におけるＲ、Ｇ、Ｂの画素データがメモリ１６に格納され、画像記録ルーチンは終了する。
【００２３】
図４は画像記録ルーチンのステップ１０７において実行されるＲの画素における偽色低減処理ルーチンのフローチャートである。なお、ステップ１０７の偽色低減処理はＢの画素についても実行されるが、全く同様の処理であるので、ここではＲの画素における処理について説明し、Ｂの画素における偽色低減処理は説明を省略する。
【００２４】
ステップ２０１では、Ｒの画素のうちの１つが注目画素として設定される。１つの画像における画素データの配置が、図３に示すように定められている場合を想定する。初めてステップ２０１が実行されるとき、注目画素としてＲ₀₀が設定される。その次にステップ２０１が実行されるときはＲ₀₂が設定され、以後、図３の右方向に、Ｒ₀₄、Ｒ₀₆・・・Ｒ₂₀の順に設定される。その後は２段下の列へ移り、Ｒ₂₂、Ｒ₂₄・・・の順に設定される。以下、Ｒ₂₂が注目画素として設定されている場合を例にとって説明する。
【００２５】
ステップ２０２では、注目画素Ｒ₂₂と、注目画素Ｒ₂₂の上下および左右に近接するＲの画素とについて、色差成分、すなわちＲと補間処理により生成されたＧの画素データの差分である（Ｇ₀₂−Ｒ₀₂）、（Ｇ₂₀−Ｒ₂₀）、（Ｇ₂₂−Ｒ₂₂）、（Ｇ₂₄−Ｒ₂₄）、（Ｇ₄₂−Ｒ₄₂）が演算される。以下の説明では、これらの色差成分をそれぞれ(Ｇ−Ｒ)₀₂、(Ｇ−Ｒ)₂₀、(Ｇ−Ｒ)₂₂、(Ｇ−Ｒ)₂₄、(Ｇ−Ｒ)₄₂と記す。
【００２６】
ステップ２０３では、注目画素Ｒ₂₂の周囲、すなわち上下および左右に近接するＲの画素の色差成分（すなわちＲの彩度）が相対的に小さく、かつ注目画素Ｒ₂₂の色差成分が周囲のＲの画素の色差成分よりも比較的突出しているか否かが判定される。前者の条件は下記の（１）式が用いられ、後者の条件は下記の（２）式が用いられる。
【００２７】
【数１】

【数２】

【００２８】
（１）式のＡ１と（２）式のＡ２はそれぞれ既定値であり、例えば実験的あるいは経験的に求められる。（２）式において、右辺のＧ₂₂／Ａ２は注目画素Ｒ₂₂における輝度値に対応している。（１）式と（２）式が共に満たされるときはステップ２０４へ進んで注目画素Ｒ₂₂について偽色低減処理が実行される。これに対して、（１）式と（２）式が同時に満たされないときはステップ２０７へ進み、偽色低減処理は実行されない。換言すれば、注目画素Ｒ₂₂の周囲に位置する４つのＲの画素の彩度が高いとき、または注目画素Ｒ₂₂の彩度が周囲の４つの画素の彩度に近いとき、偽色低減処理は行われない。
【００２９】
ステップ２０４では、注目画素Ｒ₂₂において、縦相関が横相関よりも強いか否かが判定される。縦相関とは、注目画素Ｒ₂₂の周囲において、上下方向における輝度値の変化が相対的に小さいことをいい、横相関とは、注目画素Ｒ₂₂の周囲において、左右方向における輝度値の変化が相対的に小さいことをいう。例えば画面の右半分が一様に白く、左半分が一様に赤い画像を考えると、白と赤の領域の境界線の近傍では、縦相関が強く、横相関は弱い。ステップ２０４では、（３）式が成立するか否かが判定される。（３）式が成立するとき、縦相関が横相関よりも強いと見做されてステップ２０５が実行され、（３）式が成立しないとき、横相関が縦相関よりも強いと見做されてステップ２０６が実行される。
【００３０】
｜Ｇ₁₂−Ｇ₃₂｜＜｜Ｇ₂₁−Ｇ₂₃｜・・・（３）
【００３１】
ステップ２０５では、注目画素Ｒ₂₂の上下に近接するＲの画素の色差成分が用いられ、（４）式に従って偽色低減処理された画素データＲ'₂₂が求められる。
Ｒ'₂₂＝Ｇ₂₂−((Ｇ−Ｒ)₀₂＋(Ｇ−Ｒ)₄₂)/２・・・（４）
なお図２のステップ１０６では、Ｇ₂₂の画素データはＧ₁₂、Ｇ₂₁、Ｇ₂₃、Ｇ₃₂の画素データの相加平均として求められるが、ステップ２０５では、縦相関が強いので、上下に近接するＧ₁₂、Ｇ₃₂の画素データの相加平均、
Ｇ₂₂＝（Ｇ₁₂＋Ｇ₃₂）／２
により求められる。
【００３２】
ステップ２０６では、注目画素Ｒ₂₂の左右に近接するＲの画素の色差成分が用いられ、（５）式に従って偽色低減処理された画素データＲ'₂₂が求められる。
Ｒ'₂₂＝Ｇ₂₂−((Ｇ−Ｒ)₂₀＋(Ｇ−Ｒ)₂₄)/２・・・（５）
なおステップ２０６では横相関が強いので、Ｇ₂₂の画素データは、左右に近接するＧ₁₂、Ｇ₃₂の画素データの相加平均
Ｇ₂₂＝（Ｇ₂₁＋Ｇ₂₃）／２
により求められる。
【００３３】
ステップ２０５または２０６において偽色低減処理が実行された後、またステップ２０３において、偽色低減処理を実行しないと判定されたとき、ステップ２０７が実行され、全てのＲの画素について偽色低減処理ルーチンが実行されたか否かが判定される。全てのＲの画素について偽色低減処理ルーチンの実行が完了していれば、このルーチンは終了し、まだ実行が完了していなければ、ステップ２０１へ戻り、次のＲの画素が設定されて、ステップ２０２以下が実行される。
【００３４】
Ｂの画素についても図４の偽色低減処理ルーチンと全く同様にして偽色低減処理が行われる。
【００３５】
以上のように本実施形態では、注目画素の周囲の画素の色差成分が相対的に小さく、かつ注目画素の色差成分が周囲の画素の色差成分よりも比較的突出している場合、縦相関が強ければ上下に近接する画素の色差成分を用いて、また横相関が強ければ左右に近接する画素の色差成分を用いて、注目画素の画素データを修正している。したがって注目画素の画素データは、その色差成分が相関の強い周囲の画素の色差成分に近づくように修正され、この結果、色差の変化を保持しつつ、すなわち画質を保持しつつ、偽色の発生が抑えられる。
【００３６】
なお本実施形態は、偽色発生低減処理を２次元画像に対して行うものであり、上下および左右に近接した画素の色差成分を用いているが、偽色低減処理を１次元に行うこともできる。この場合、偽色低減処理では、注目画素の両側（上下または左右）に近接した画素における色差成分を用いて、注目画素の画素データを修正すればよい。すなわち（１）式、（２）式を、上下または左右に近接する画素のみを考慮するように変更し、また図４のステップ２０４を省略してステップ２０５およびステップ２０６の一方を実行するようにすればよい。
【００３７】
【発明の効果】
以上のように本発明によれば、画質を保持しつつ、偽色の発生を低減させることができる。
【図面の簡単な説明】
【図１】本発明の一の実施形態であるデジタルカメラの電気的および光学的な構成を示すブロック図である。
【図２】画像記録ルーチンのフローチャートである。
【図３】１つの画像を構成するＲ、Ｇ、Ｂの画素データの配置を示す図である。
【図４】Ｒの画素における偽色低減処理ルーチンのフローチャートである。
【符号の説明】
１０撮像素子[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for reducing the occurrence of false colors generated in a reproduced color image, for example, provided in a digital camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a digital camera is known in which a color filter arranged in accordance with, for example, a Bayer arrangement is provided on a light receiving surface of an image sensor. In each photodiode (each pixel) provided on the light receiving surface of such an image sensor, pixel data of any one of red (R), green (G), and blue (B) is generated. Pixel data read from the image sensor is subjected to interpolation processing, whereby R, G, and B pixel data are obtained for each pixel.
[0003]
However, when a part of the subject image is an image in which grains of different colors are scattered in a uniform color part, such as a rough wall, or when there is noise in the subject image, Pixel data of a color component far from the original color component may be obtained by the interpolation process. This causes a false color and the image quality is degraded. In view of this, various devices have been proposed for suppressing the occurrence of false colors (see Non-Patent Document 1, for example).
[0004]
[Non-Patent Document 1]
“Journal of the Institute of Image Information Media (Correlation Discrimination Color Separation Method in PS-CCD)”, Vol. 55, No. 1, p. 120-132
[0005]
[Problems to be solved by the invention]
However, according to a conventional false color suppression device, for example, an image in which a red area and a white area are adjacent to each other like a Japanese flag (Hinomaru), the edge of the color difference (color difference) There is a problem that the image quality deteriorates due to the unclearness of the part where the change is greatly.
[0006]
An object of the present invention is to provide a false color reduction device that can reduce the occurrence of false colors without blurring the image.
[0007]
[Means for Solving the Problems]
A first false color reduction device according to the present invention is a pixel data reading unit that reads pixel data of first and second primary colors from an image pickup device in which pixels of first and second primary colors are alternately arranged. And pixel data generating means for generating pixel data of the first primary color in each pixel based on pixel data of the pixel of the first primary color adjacent to each pixel of the second primary color; A color difference component generation means for calculating a color difference component that is a difference between pixel data of the first and second primary colors for one target pixel of the pixels and a pixel of the second primary color adjacent to the target pixel; When the color difference component in the adjacent second primary color pixel is smaller than a predetermined value and the color difference component in the target pixel protrudes from the color difference component in the adjacent second primary color pixel, the adjacent second color Primary color pixels With definitive color difference component, and further comprising a color correction means for correcting the pixel data of the second primary color in the pixel of interest.
[0008]
For example, the first primary color is green and the second primary color is red or blue.
[0009]
For example, the color correction means may include a second primary color of the second primary color in which the sum of the absolute values of the color difference components in the pixels of the second primary color adjacent to both sides of the target pixel is smaller than a predetermined value, When the color difference component protrudes from the pixel, the pixel data of the second primary color in the target pixel is corrected using the color difference component in the second primary color pixel close to both sides. The color correcting unit obtains pixel data of the second primary color in the target pixel by subtracting an average value of color difference components in the second primary color pixel adjacent to both sides from the pixel data of the first primary color in the target pixel. May be.
[0010]
From the imaging device in which the first column in which the first and second primary color pixels are alternately arranged and the second column in which the third and first primary color pixels are alternately arranged are alternately arranged. Based on pixel data reading means for reading out pixel data of the first, second and third primary colors, and pixel data of the first primary color pixels adjacent to the respective pixels of the second or third primary color, Pixel data generating means for generating pixel data of the first primary color, one target pixel of the second or third primary color pixel, and a second or third primary color pixel adjacent to the target pixel A color difference component generating means for calculating a color difference component, which is a difference between pixel data of the first and second or third primary colors, and a color difference component in the adjacent second or third primary color pixel being larger than a predetermined value. Small and the color difference component at the target pixel is The second or third primary color in the pixel of interest using the color difference component in the adjacent second or third primary color pixel when protruding beyond the color difference component in the adjacent second or third primary color pixel And a color correcting means for correcting the pixel data.
[0011]
For example, the first primary color is green, the second primary color is red, and the third primary color is blue.
[0012]
For example, the color correcting unit may be configured such that the sum of the absolute values of the color difference components in the second or third primary color pixels adjacent to the upper and lower sides and the left and right sides of the target pixel is smaller than a predetermined value, and the color difference components in the target pixel are When projecting more than the color difference component in the adjacent second or third primary color pixel, using the color difference component in the second or third primary color pixel close in the vertical and horizontal directions, the second or second color in the target pixel is used. The pixel data of the primary color 3 is corrected.
[0013]
The false color reduction device includes a vertical correlation that is an absolute value of a difference between pixel data of first primary color pixels adjacent to the top and bottom of the target pixel, and pixel data of a first primary color pixel adjacent to the left and right of the target pixel. You may provide the correlation detection means which calculates | requires the horizontal correlation which is an absolute value of a difference. In this case, the color correction means uses the color difference component in the pixels of the second or third primary colors that are close to each other when the vertical correlation is stronger than the horizontal correlation, and is close to the left and right when the horizontal correlation is stronger than the vertical correlation. The pixel data of the second or third primary color is corrected using the color difference component in the pixel of the second or third primary color. In this case, when the vertical correlation is stronger than the horizontal correlation, the correcting means calculates the average value of the color difference components in the second or third primary color pixel adjacent in the vertical direction from the pixel data of the first primary color in the target pixel. When the horizontal correlation is stronger than the vertical correlation, the average value of the color difference components in the second or third primary color pixels close to the left and right is subtracted from the pixel data of the first primary color in the target pixel. Then, pixel data of the second or third primary color in the target pixel is obtained.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram schematically showing an electrical and optical configuration of a digital camera according to an embodiment of the present invention. The digital camera includes a single image sensor (CCD) 10. Red (R), green (G), and blue (B) color filters arranged in accordance with the Bayer arrangement are provided on the light receiving surface of the image sensor 10. On the optical axis of the photographing lens 11, an infrared cut filter 12, an optical low-pass filter 13, and an image sensor 10 are arranged in this order. Therefore, the light beam that has passed through the photographic lens 11 is incident on the image sensor 10 with the infrared and noise components removed, and the image sensor 10 generates an image signal that is an analog electrical signal.
[0015]
This image signal is converted into digital image data while removing noise components in an analog signal processing circuit 14 having a correlated double sampling circuit (CDS) and an AD converter (ADC). Digital image data is subjected to interpolation processing and false color reduction processing in the digital signal processing circuit 15. These processes will be described later.
[0016]
The image data processed in the digital signal processing circuit 15 is stored in the memory 16. The image data is read from the memory 16, subjected to compression processing, and recorded as a still image on the PC card 17. The image data of the still image is subjected to predetermined processing in the LCD display circuit 18 and displayed as a color image on the liquid crystal display device (LCD) 19. The image data output from the digital signal processing circuit 15 is directly input to the LCD display circuit 18, and the monitor image is displayed as a moving image on the liquid crystal display device 19.
[0017]
FIG. 2 is a flowchart of an image recording routine executed by the digital camera. Prior to the execution of the image recording routine, photometry and distance measurement operations are performed, and the size of the aperture and the exposure time (charge accumulation time of the image sensor 10) are determined.
[0018]
In step 101, it is detected whether or not a release switch (not shown) is set to an on state. When the release switch is set to the on state, in step 102, the image sensor 10 is exposed and charge accumulation is started. When it is determined in step 103 that charge storage has ended due to the elapse of the predetermined exposure time, a read operation is started in step 104 and pixel data is read from the image sensor 10. In step 105, pixel data is taken into the digital signal processing circuit 15.
[0019]
As described above, the color filter provided on the light receiving surface of the image sensor 10 is composed of R, G, and B filter elements, and the arrangement thereof is a Bayer arrangement. That is, as shown in FIG. 3, the imaging device 10 is configured by alternately arranging first rows L1 in which G and R pixels are alternately arranged and second rows L2 in which B and G pixels are alternately arranged. Is done. That is, in steps 104 and 105, G, R and B pixel data are read out and taken into the digital signal processing circuit 15.
[0020]
In step 106, G pixel data for all R and B pixels is generated by interpolation. Various methods can be used for this interpolation. For example, an arithmetic average of G pixel data in four pixels adjacent to the top and bottom and the left and right of the pixel to be interpolated is used. That is, in FIG. 3, pixel data of G ₁₁ in the pixel of the B ₁₁ is the arithmetic mean of the pixel data of _{_{_{G 10, G 12, G 01}}} , G 21.
[0021]
In step 107, a false color reduction process described later is executed for all the R and B pixels. In step 108, for all R and B pixels, B and R pixel data is determined by interpolation using surrounding pixel data. For example, the pixel data of R ₁₁ in the pixel of B ₁₁ is an arithmetic average of the pixel data of R ₀₀ , R ₀₂ , R ₂₀ , R ₂₂ .
[0022]
In step 109, R, G, and B pixel data for all the pixels obtained by the above-described processes are stored in the memory 16, and the image recording routine ends.
[0023]
FIG. 4 is a flowchart of a false color reduction process routine for the R pixel executed in step 107 of the image recording routine. The false color reduction process in step 107 is also performed for the B pixel, but is the same process. Therefore, here, the process for the R pixel will be described, and the false color reduction process for the B pixel will be described. Omitted.
[0024]
In step 201, one of the R pixels is set as a target pixel. Assume that the arrangement of pixel data in one image is determined as shown in FIG. When step 201 is executed for the first time, R ₀₀ is set as the pixel of interest. Next, when step 201 is executed, R ₀₂ is set, and thereafter, R ₀₄ , R ₀₆ ... R ₂₀ are set in the right direction of FIG. After that, it moves to the lower row and is set in the order of R ₂₂ , R ₂₄ . Hereinafter, a case where R ₂₂ is set as a target pixel will be described as an example.
[0025]
In step 202, the target pixel R _22, for the R pixel adjacent vertically and horizontally of the target pixel R _22, the color difference component, that is, a difference G of the pixel data generated by the R and the interpolation process (G ₀₂ _{_{-R 02), (G 20 -R}} 20), (G 22 -R 22), (G 24 -R 24), are computed is (G _₄₂ -R _42). In the following description, these color difference components are denoted as (GR) ₀₂ , (GR) ₂₀ , (GR) ₂₂ , (GR) ₂₄ , and (GR) ₄₂ , respectively.
[0026]
In step 203, the color difference component (that is, the saturation of R) around the target pixel R ₂₂ , that is, the R pixel adjacent in the vertical and horizontal directions is relatively small, and the color difference component of the target pixel R ₂₂ is that of the surrounding R. It is determined whether or not the color difference component of the pixel protrudes relatively. The following condition (1) is used for the former condition, and the following expression (2) is used for the latter condition.
[0027]
[Expression 1]

[Expression 2]

[0028]
A1 in the formula (1) and A2 in the formula (2) are predetermined values, and are obtained experimentally or empirically, for example. In the equation (2), G ₂₂ / A2 on the right side corresponds to the luminance value in the target pixel R ₂₂ . (1) and (2) are both false color reduction processing for the target pixel R ₂₂ proceeds to step 204 when satisfied is executed. On the other hand, when the expressions (1) and (2) are not satisfied at the same time, the process proceeds to step 207, and the false color reduction process is not executed. In other words, when the saturation of the four R pixels positioned around the target pixel R ₂₂ is high, or when the saturation of the target pixel R ₂₂ is close to the saturation of the four surrounding pixels, the false color reduction process Is not done.
[0029]
In step 204, the target pixel R _22, whether vertical correlation is stronger than the horizontal correlation is determined. The vertical correlation, around the target pixel R _22, refers to changes in the luminance values in the vertical direction is relatively small, the horizontal correlation in the periphery of the target pixel R _22, the change in the luminance value in the left-right direction It is relatively small. For example, considering an image in which the right half of the screen is uniformly white and the left half is uniformly red, the vertical correlation is strong and the horizontal correlation is weak in the vicinity of the boundary between the white and red regions. In step 204, it is determined whether or not equation (3) holds. When equation (3) is satisfied, it is assumed that the vertical correlation is stronger than the horizontal correlation, and step 205 is executed. When equation (3) is not satisfied, it is assumed that the horizontal correlation is stronger than the vertical correlation. Step 206 is executed.
[0030]
_{_{| G 12 -G 32 | <|}} G 21 -G 23 | ··· (3)
[0031]
In step 205, target color difference components of the pixels of R adjacent to and below the pixel R ₂₂ is used, (4) pixel data R _'22, which are false color reduction processing according to equation obtained.
R ′ ₂₂ = G ₂₂ − ((G−R) ₀₂ + (G−R) ₄₂ ) / 2 (4)
In step 106 in FIG. 2, the pixel data of G ₂₂ is obtained as an arithmetic average of the pixel data of G ₁₂ , G ₂₁ , G ₂₃ , and G _32. However, in step 205, the vertical correlation is strong, so The arithmetic average of the pixel data of G ₁₂ and G ₃₂
G ₂₂ = (G ₁₂ + G ₃₂ ) / 2
Is required.
[0032]
In step 206, target color difference components of the pixels of R adjacent to the left and right of the pixel R ₂₂ is employed, (5) the pixel data R _'22, which are false color reduction processing is determined according to equation.
R ′ ₂₂ = G ₂₂ − ((G−R) ₂₀ + (G−R) ₂₄ ) / 2 (5)
Note Since step 206 the horizontal correlation is strong, the pixel data G ₂₂ is, G _12, arithmetic mean of the pixel data of the _{_{_{G 32 G 22 = (G 21}}} + G 23) close to the left / 2
Is required.
[0033]
After the false color reduction process is executed in

step

205 or 206, and when it is determined in step 203 that the false color reduction process is not executed, step 207 is executed, and the false color reduction process routine is performed for all R pixels. Whether or not is executed is determined. If the execution of the false color reduction processing routine has been completed for all the R pixels, the routine ends. If the execution has not yet been completed, the routine returns to step 201, where the next R pixel is set, Step 202 and subsequent steps are executed.
[0034]
For the B pixel, the false color reduction process is performed in exactly the same way as the false color reduction process routine of FIG.
[0035]
As described above, in this embodiment, when the color difference components of the pixels around the pixel of interest are relatively small and the color difference components of the pixel of interest protrude relatively more than the color difference components of the surrounding pixels, the vertical correlation is strong. For example, the pixel data of the pixel of interest is corrected using the color difference components of pixels adjacent in the vertical direction and using the color difference components of pixels adjacent in the horizontal direction if the lateral correlation is strong. Therefore, the pixel data of the pixel of interest is corrected so that its color difference component approaches the color difference component of surrounding pixels with strong correlation. As a result, false color generation occurs while maintaining the change in color difference, that is, maintaining the image quality. Is suppressed.
[0036]
In this embodiment, false color generation reduction processing is performed on a two-dimensional image, and color difference components of pixels close to the top and bottom and left and right are used. However, false color reduction processing may be performed one-dimensionally. it can. In this case, in the false color reduction process, the pixel data of the target pixel may be corrected using the color difference components in the pixels close to both sides (upper and lower or left and right) of the target pixel. That is, the expressions (1) and (2) are changed so that only the pixels close to the top and bottom or the left and right are considered, and step 204 in FIG. 4 is omitted and one of

steps

205 and 206 is executed. do it.
[0037]
【The invention's effect】
As described above, according to the present invention, it is possible to reduce the occurrence of false colors while maintaining image quality.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an electrical and optical configuration of a digital camera according to an embodiment of the present invention.
FIG. 2 is a flowchart of an image recording routine.
FIG. 3 is a diagram illustrating an arrangement of R, G, and B pixel data constituting one image.
FIG. 4 is a flowchart of a false color reduction process routine for an R pixel.
[Explanation of symbols]
10 Image sensor

Claims

Pixel data reading means for reading out pixel data of the first and second primary colors from an image sensor in which pixels of the first and second primary colors are alternately arranged;
Pixel data generating means for generating pixel data of the first primary color in each pixel based on pixel data of the pixel of the first primary color adjacent to each pixel of the second primary color;
A color difference for calculating a color difference component that is a difference between pixel data of the first and second primary colors for one target pixel of the second primary color pixels and a second primary color pixel adjacent to the target pixel Component computing means;
When the color difference component in the adjacent second primary color pixel is smaller than a predetermined value and the color difference component in the target pixel protrudes from the color difference component in the adjacent second primary color pixel, the adjacent first color A false color reduction device comprising: a color correcting unit that corrects pixel data of the second primary color in the pixel of interest using a color difference component in a pixel of two primary colors.

The false color reduction device according to claim 1, wherein the first primary color is green and the second primary color is red or blue.

The color correcting means has a second sum in which the sum of absolute values of the color difference components in the second primary color pixel adjacent to both sides of the target pixel is smaller than a predetermined value and the color difference component in the target pixel is close to the both sides. The pixel data of the second primary color in the target pixel is corrected by using the color difference component in the second primary color pixel adjacent to the both sides when protruding from the color difference component in the primary color pixel. The false color reduction device according to claim 1.

The color correction means subtracts an average value of color difference components in the second primary color pixel adjacent to the both sides from the first primary color pixel data in the target pixel, whereby the second primary color in the target pixel. 4. The false color reduction apparatus according to claim 3, wherein primary color pixel data is obtained.

From the imaging device in which the first column in which the first and second primary color pixels are alternately arranged and the second column in which the third and first primary color pixels are alternately arranged are alternately arranged. Pixel data reading means for reading pixel data of the first, second and third primary colors;
Pixel data generation means for generating pixel data of the first primary color in each pixel based on pixel data of a first primary color pixel adjacent to each pixel of the second or third primary color;
The pixel data of the first, second, or third primary color for one target pixel of the second or third primary color pixel and the second or third primary color pixel adjacent to the target pixel. A color difference component generating means for calculating a color difference component as a difference;
The color difference component in the adjacent second or third primary color pixel is smaller than a predetermined value, and the color difference component in the target pixel protrudes more than the color difference component in the adjacent second or third primary color pixel. And a color correcting means for correcting the pixel data of the second or third primary color in the target pixel using a color difference component in the adjacent second or third primary color pixel. False color reduction device.

6. The false color reduction device according to claim 5, wherein the first primary color is green, the second primary color is red, and the third primary color is blue.

The color correction means has a sum of absolute values of color difference components in pixels of the second or third primary color adjacent to the top and bottom and left and right of the target pixel being smaller than a predetermined value, and the color difference component in the target pixel is the top and bottom And the pixel of interest using the color difference component in the second or third primary color pixel close to the top and bottom and the left and right when protruding from the color difference component in the second or third primary color pixel close to the left and right 6. The false color reduction device according to claim 5, wherein the pixel data of the second or third primary color is corrected.

The vertical correlation, which is the absolute value of the difference between the pixel data of the first primary color pixels adjacent above and below the target pixel, and the absolute value of the difference between the pixel data of the first primary color pixels adjacent to the left and right of the target pixel The color correction means uses a color difference component in the pixels of the second or third primary color close to the top and bottom when the vertical correlation is stronger than the horizontal correlation. When the horizontal correlation is stronger than the vertical correlation, the second or third primary color pixel data is corrected using color difference components in the second or third primary color pixels adjacent to the left and right. The false color reduction device according to claim 7, wherein

When the vertical correlation is stronger than the horizontal correlation, the color correction unit determines, from the pixel data of the first primary color in the target pixel, the color difference component in the second or third primary color pixel close to the top and bottom When the horizontal correlation is larger than the vertical correlation, the pixel data of the first primary color in the target pixel is compared with the pixel of the second or third primary color adjacent to the left and right. 9. The false color reduction device according to claim 8, wherein pixel data of the second or third primary color in the target pixel is obtained by subtracting an average value of color difference components.