JPH11177996A - Image processing device and method and camera - Google Patents

Image processing device and method and camera

Info

Publication number
JPH11177996A
JPH11177996A JP9338389A JP33838997A JPH11177996A JP H11177996 A JPH11177996 A JP H11177996A JP 9338389 A JP9338389 A JP 9338389A JP 33838997 A JP33838997 A JP 33838997A JP H11177996 A JPH11177996 A JP H11177996A
Authority
JP
Japan
Prior art keywords
frequency
signal
image
interpolation
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9338389A
Other languages
Japanese (ja)
Other versions
JP4178571B2 (en
Inventor
Atsushi Kobayashi
篤 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP33838997A priority Critical patent/JP4178571B2/en
Publication of JPH11177996A publication Critical patent/JPH11177996A/en
Application granted granted Critical
Publication of JP4178571B2 publication Critical patent/JP4178571B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device and method which surely discriminates vertical or horizontal correlation that is more intensive than the other and which can reproduce an image with no breaking. SOLUTION: This device processes output signals of an ACCD area sensor which has a color filter of a primary color RGB Bayer array on its light receiving surface. At the same time, an fs/2 detection part 16 detects the presence of a frequency component that is multiplied by 1/2 of the spatial sampling frequency (fs) of an input image. When an fs/2 frequency component is detected, a multiplier 102 multiplies the R/G/B signals passed through an fs/2 tap circuit 101 by an interpolation coefficient G2Gain that is outputted from the part 16. Meanwhile, a multiplier 104 multiplies the interpolation outputs RIP/GIP/BIP by the inures of the coefficient G2Gain. These multiplication results are mixed together by an adder 103 and then outputted.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにカメラに関し、特にカラーフィ
ルタを受光面上に有する固体撮像素子の出力信号を処理
する画像処理装置およびその処理方法、並びにこれらを
用いたカメラに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, an image processing method, and a camera, and more particularly, to an image processing apparatus for processing an output signal of a solid-state imaging device having a color filter on a light receiving surface, and a processing method thereof. The present invention relates to a camera using these.

【0002】[0002]

【従来の技術】従来、固体撮像素子に画像情報が入る前
に、折り返しノイズを除くことを目的として空間サンプ
リング周波数fsの1/2の周波数を除去するために、
光学的なLPF(Low Pass Filter) を用いて帯域制限を
行っていた。このように、光学LPFを用いて帯域制限
を行うことで、固体撮像素子の出力信号には、空間サン
プリング周波数fsの1/2付近の周波数成分が含まれ
なくなり、その結果、撮像した画像の解像感が損なわれ
ることになる。これに対し、撮像した画像の解像感を損
なわないようにするために、上記のような特性の光学L
PFを用いるのではなく、空間サンプリング周波数fs
の1/2の周波数よりも高い点のレスポンスを0とすれ
ば良い。
2. Description of the Related Art Conventionally, to remove a half of the spatial sampling frequency fs for the purpose of removing aliasing noise before image information enters a solid-state imaging device,
Band limitation was performed using an optical LPF (Low Pass Filter). As described above, by performing the band limitation using the optical LPF, the output signal of the solid-state imaging device does not include a frequency component near 1/2 of the spatial sampling frequency fs. The sense of image will be impaired. On the other hand, in order not to impair the sense of resolution of the captured image, the optical L
Instead of using PF, the spatial sampling frequency fs
The response at a point higher than half the frequency of?

【0003】[0003]

【発明が解決しようとする課題】しかしながら、fs/
2の周波数よりも高い点のレスポンスを0とすると、偽
信号が発生するだけではなく、色配列が例えばR
(赤),G(緑),B(青)の原色ベイヤ配列のカラー
フィルタを有す固体撮像素子において、相関検出による
信号処理を行う場合には、Gによる相関を検出する際
に、fs/2の空間周波数があると縦の相関が強いか横
の相関が強いか判定できなくなり、画質劣化の要因とな
る。
However, fs /
If the response at a point higher than the frequency 2 is set to 0, not only a false signal is generated but also the color
When signal processing by correlation detection is performed in a solid-state imaging device having a color filter of a primary color Bayer array of (red), G (green), and B (blue), fs / fs If there is a spatial frequency of 2, it becomes impossible to determine whether the vertical correlation is strong or the horizontal correlation is strong, which causes image quality deterioration.

【0004】すなわち、図16において、原色RGBベ
イヤ配列(a)に対応した固体撮像素子の画素配列に対
して、水平fs/2の画像(b)の信号、または垂直f
s/2の画像(c)の信号が入ってきた場合には、Gの
画素にのみ着目した場合の出力信号(d)は、水平fs
/2(b)でも垂直fs/2(c)でも同じになる。こ
のため、Gの出力信号を見ただけでは縦の相関が強い
(水平fs/2)のか、横の相関が強い(垂直fs/
2)のかが判別できないことになる。
That is, in FIG. 16, a signal of a horizontal fs / 2 image (b) or a vertical fs / 2 signal is applied to a pixel array of a solid-state image sensor corresponding to a primary color RGB Bayer array (a).
When the signal of the image (c) of s / 2 is input, the output signal (d) in the case where attention is paid only to the pixel of G becomes the horizontal fs
The same holds true for / 2 (b) and vertical fs / 2 (c). Therefore, only by looking at the G output signal, the vertical correlation is strong (horizontal fs / 2) or the horizontal correlation is strong (vertical fs /
2) cannot be determined.

【0005】なお、図16(a)において、Gr/Gb
はそれぞれR行のG画素/B行のG画素を示している。
また、同図(d)には、R/Gの画素を黒で表示してあ
り、灰色(散点)の画素と白色の画素に着目されたい。
In FIG. 16A, Gr / Gb
Indicates G pixels in the R row / G pixels in the B row, respectively.
Also, in FIG. 3D, R / G pixels are displayed in black, and attention should be paid to gray (scattered) pixels and white pixels.

【0006】本発明は、上記課題に鑑みてなされたもの
であり、その目的とするところは、縦の相関が強いの
か、横の相関が強いのかを確実に判別し、破綻のない画
像の再現を可能とした画像処理装置および画像処理方法
を提供することにある。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to reliably determine whether a vertical correlation or a horizontal correlation is strong, and reproduce an image without failure. It is an object of the present invention to provide an image processing apparatus and an image processing method which enable the above.

【0007】[0007]

【課題を解決するための手段】本発明による画像処理装
置は、所定の色配列のカラーフィルタを受光面上に有す
る固体撮像素子の出力信号を処理する画像処理装置であ
って、入力画像の空間サンプリング周波数に対して1/
2倍した周波数成分の存在を検出する周波数検出回路
と、この周波数検出回路の検出結果に基づいて入力画像
に対する補正処理を行う補正処理回路とを備えている。
An image processing apparatus according to the present invention is an image processing apparatus for processing an output signal of a solid-state imaging device having a color filter having a predetermined color arrangement on a light receiving surface, and comprising: 1 / Sampling frequency
A frequency detection circuit for detecting the presence of the doubled frequency component and a correction processing circuit for performing a correction process on the input image based on the detection result of the frequency detection circuit are provided.

【0008】また、本発明による画像処理方法は、所定
の色配列のカラーフィルタを受光面上に有する固体撮像
素子の出力信号を処理する画像処理方法であって、入力
画像の空間サンプリング周波数に対して1/2倍した周
波数成分の存在を検出し、その検出結果に基づいて入力
画像に対する補正処理を行うようにしている。
Further, an image processing method according to the present invention is an image processing method for processing an output signal of a solid-state imaging device having a color filter having a predetermined color array on a light receiving surface. Then, the presence of a frequency component that is halved is detected, and correction processing for the input image is performed based on the detection result.

【0009】上記構成の画像処理装置およびその処理方
法において、例えば、相関検出による信号処理を行う場
合には、入力画像の空間サンプリング周波数に対する1
/2の周波数成分があると、縦の相関が強いか横の相関
が強いか判定できないことから、先ず、空間サンプリン
グ周波数の1/2の周波数成分の存在を検出する。そし
て、その周波数成分の有無に応じた補正処理を行う。具
体的には、空間サンプリング周波数の1/2の周波数成
分が存在する場合には、その周波数成分を含まないR/
G/Bの各信号を出力するようにする。
In the image processing apparatus and the processing method having the above-described configuration, for example, when signal processing by correlation detection is performed, one signal for the spatial sampling frequency of the input image is used.
If there is a frequency component of / 2, it cannot be determined whether the vertical correlation is strong or the horizontal correlation is strong. Therefore, first, the presence of a half frequency component of the spatial sampling frequency is detected. Then, a correction process according to the presence or absence of the frequency component is performed. Specifically, when a frequency component that is 1 / of the spatial sampling frequency exists, R /
G / B signals are output.

【0010】[0010]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図1は、本発明によ
る画像処理装置の基本構成を示すブロック図である。こ
こで、本画像処理装置の処理対象となるカラー固体撮像
素子は、色配列として例えば図2に示すR(赤)G
(緑)B(青)の原色ベイヤ配列のカラーフィルタ11
を受光面上に有する単板式固体撮像素子12である。
Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing a basic configuration of an image processing apparatus according to the present invention. Here, the color solid-state imaging device to be processed by the image processing apparatus has, for example, R (red) G shown in FIG.
(Green) B (blue) primary color Bayer array color filter 11
On the light-receiving surface.

【0011】なお、色配列は原色ベイヤ配列に限定され
るものではなく、さらにカラーフィルタもRGBの原色
の色配列に限られるものではなく、他の原色の色配列の
場合でも、補色を使用した色配列(例えば、Ye/Cy
/Mg/G)の場合でも同様に適応可能である。また、
固体撮像素子12としては、全画素の信号電荷を独立に
読み出すいわゆる全画素読み出し方式のCCD(Charge
Coupled Device) 固体撮像素子(以下、CCDエリアセ
ンサと称する)を用いるものとするが、全画素読み出し
方式ではないCCD固体撮像素子にも適応可能である。
The color arrangement is not limited to the primary color Bayer arrangement, and the color filters are not limited to the RGB primary color arrangement. Even in the case of other primary color arrangements, complementary colors are used. Color array (for example, Ye / Cy
/ Mg / G) is also applicable. Also,
As the solid-state imaging device 12, a so-called all-pixel readout type CCD (Charge) that independently reads out signal charges of all pixels is used.
Coupled Device) Although a solid-state image sensor (hereinafter, referred to as a CCD area sensor) is used, the present invention is also applicable to a CCD solid-state image sensor that is not an all-pixel readout method.

【0012】CCDエリアセンサ12から出力されるR
GB点順次データは、信号処理部13において黒レベル
クランプやホワイトバランスなどの信号処理が行われた
後、検出部14および補間部15に供給される。検出部
14は、入力されるRGB点順次データから最適な補間
方法を検出し、その補間情報を補間部15へ送る。補間
部15は、検出部14から入力される補間情報を基にR
GB点順次データに対して補間処理を行って出力する。
R output from the CCD area sensor 12
The GB point sequential data is supplied to the detection unit 14 and the interpolation unit 15 after signal processing such as black level clamping and white balance is performed in the signal processing unit 13. The detection unit 14 detects an optimal interpolation method from the input RGB point sequential data, and sends the interpolation information to the interpolation unit 15. The interpolation unit 15 calculates R based on the interpolation information input from the detection unit 14.
Interpolation processing is performed on the GB point sequential data, and the data is output.

【0013】検出部14は、図3に示すように、空間サ
ンプリング周波数fsの1/2の周波数成分を検出する
fs/2検出部16と、補間すべき画素(以下、補間画
素と称す)に関して上下および左右の互いに90°の整
数倍の角度をなす4方向、即ち垂直(V)方向の相反す
る2方向および水平(H)方向の相反する2方向の計4
方向の相関の程度を検出するVH相関検出部17と、補
間画素に関して右上、左上、左下、右下の斜め方向、即
ち上記4方向に対してそれぞれ45°の角度をなす4方
向の相関の程度を検出する斜め相関検出部18とを有す
る構成となっている。
As shown in FIG. 3, a detecting unit 14 detects an fs / 2 detecting unit 16 for detecting a half frequency component of the spatial sampling frequency fs and a pixel to be interpolated (hereinafter referred to as an interpolated pixel). A total of 4 directions, ie, four directions at an angle that is an integral multiple of 90 ° with respect to the top, bottom, left and right, ie, two opposite directions in the vertical (V) direction and two opposite directions in the horizontal (H) direction
VH correlation detector 17 for detecting the degree of correlation in the direction, and the degree of correlation in the four directions forming an oblique direction of the upper right, upper left, lower left, and lower right with respect to the interpolated pixel, that is, forming an angle of 45 ° with the above four directions And an oblique correlation detection unit 18 for detecting the correlation.

【0014】なお、本例では、上下左右4方向に加え、
斜め4方向の計8方向の相関の程度を検出する構成を例
に採っているが、上下左右の4方向だけの相関の程度を
検出する構成であっても良い。ただし、以下の説明で
は、8方向の場合を例に採って説明するものとする。
In this example, in addition to the four directions of up, down, left and right,
Although a configuration for detecting the degree of correlation in a total of eight directions of four diagonal directions is taken as an example, a configuration for detecting the degree of correlation only in four directions of up, down, left, and right may be used. However, in the following description, the case of eight directions will be described as an example.

【0015】一方、補間部15は、図4に示すように、
検出部14から与えられる補間情報に基づいて、Rの画
素情報に対して補間処理を行うR補間部19と、Gの画
素情報に対して補間処理を行うG補間部20と、Bの画
素情報に対して補間処理を行うB補間部21と、検出部
14の検出情報に基づいてfs/2でのハッチ上のノイ
ズが発生するのを抑止するための補正処理を行うfs/
2補正処理部22とを有する構成となっている。
On the other hand, as shown in FIG.
An R interpolation unit 19 that performs an interpolation process on R pixel information based on interpolation information given from the detection unit 14, a G interpolation unit 20 that performs an interpolation process on G pixel information, and a B pixel information A B interpolation unit 21 that performs interpolation processing on fs / fs / based on detection information of the detection unit 14 and performs a correction processing that suppresses generation of noise on a hatch at fs / 2.
And a two-correction processing unit 22.

【0016】以下に、検出部14におけるfs/2検出
部16、VH相関検出部17および斜め相関検出部18
の各構成例について説明する。
The fs / 2 detector 16, the VH correlation detector 17, and the oblique correlation detector 18 in the detector 14 will be described below.
Each configuration example will be described.

【0017】図5は、検出部14におけるfs/2検出
部16の具体的な構成の一例を示すブロック図である。
なお、図6に、fs/2検出部16における通過フィル
タの空間周波数‐レスポンスの特性を示す。
FIG. 5 is a block diagram showing an example of a specific configuration of the fs / 2 detector 16 in the detector 14.
FIG. 6 shows the spatial frequency-response characteristics of the pass filter in the fs / 2 detector 16.

【0018】このfs/2検出部16は、通過する周波
数のレスポンスの最大値が入力画像の空間サンプリング
周波数fsの1/2の空間周波数であるフィルタ特性、
即ち図6の特性Aを持つfs/2通過フィルタ23と、
通過する周波数のレスポンスの最大値が入力画像の空間
サンプリング周波数fsの1/4の空間周波数であるフ
ィルタ特性、即ち図6の特性Bを持つfs/4通過フィ
ルタ24と、これら通過フィルタ23,24の各通過周
波数成分に基づいてfs/2の周波数成分を検出するf
s/2検出回路25とを有する構成となっている。
The fs / 2 detector 16 has a filter characteristic in which the maximum value of the response of the passing frequency is a spatial frequency which is 1/2 of the spatial sampling frequency fs of the input image.
That is, the fs / 2 pass filter 23 having the characteristic A of FIG.
A filter characteristic in which the maximum value of the response of the passing frequency is a quarter frequency of the spatial sampling frequency fs of the input image, that is, an fs / 4 pass filter 24 having the characteristic B of FIG. 6, and these pass filters 23 and 24 Which detects a frequency component of fs / 2 based on each pass frequency component of f
An s / 2 detection circuit 25 is provided.

【0019】fs/2検出部16はさらに、輝度Y0の
レベルを所定の補正係数を掛けることによって補正する
輝度補正回路26を有している。そして、この輝度補正
回路26で補正された輝度レベルは、fs/2検出回路
25に供給される。fs/2検出回路25は、fs/
2,fs/4通過フィルタ23,24の各通過周波数成
分を比較し、その比較結果からfs/2の周波数成分の
存在の有無を検出する構成となっている。
The fs / 2 detector 16 further has a luminance correction circuit 26 for correcting the level of the luminance Y0 by multiplying the level by a predetermined correction coefficient. Then, the luminance level corrected by the luminance correction circuit 26 is supplied to the fs / 2 detection circuit 25. The fs / 2 detection circuit 25 outputs fs /
Each of the pass frequency components of the 2,2 and fs / 4 pass filters 23 and 24 is compared, and the presence or absence of the fs / 2 frequency component is detected from the comparison result.

【0020】具体的には、fs/2,fs/4通過フィ
ルタ23,24の各通過周波数成分の差分を求め、その
差分から輝度補正回路26で補正された輝度レベルを引
いた結果が正ならば、fs/2の周波数成分が存在する
ものとする。ここで、fs/2,fs/4通過フィルタ
23,24の各通過周波数成分の差分から輝度レベルを
引くのは、輝度によってスレッシュホールドが変動する
のを抑制するためである。図7は、輝度Y0の検出の概
念図である。
More specifically, if the difference between the pass frequency components of the fs / 2 and fs / 4 pass filters 23 and 24 is obtained, and the difference obtained by subtracting the brightness level corrected by the brightness correction circuit 26 from the difference is positive. For example, it is assumed that a frequency component of fs / 2 exists. Here, the reason why the luminance level is subtracted from the difference between the pass frequency components of the fs / 2 and fs / 4 pass filters 23 and 24 is to suppress the threshold from fluctuating due to the luminance. FIG. 7 is a conceptual diagram of the detection of the luminance Y0.

【0021】図8は、fs/2検出回路25におけるf
s/2検出の概念図である。図8において、fs/2通
過フィルタ23を通過した水平fs/2成分および垂直
fs/2成分は、絶対値化(ABS;absolute)回路2
7,28で絶対値化された後、加算器29で加算され
る。同様にして、fs/4通過フィルタ24を通過した
水平fs/4成分および垂直fs/4成分は、絶対値化
回路30,31で絶対値化された後、加算器32で加算
される。なお、輝度補正回路26においては、乗算器3
3で輝度Y0のレベルに所定の補正係数αを掛ける処理
が行われる。
FIG. 8 shows fs / 2 in the fs / 2 detection circuit 25.
It is a conceptual diagram of s / 2 detection. In FIG. 8, the horizontal fs / 2 component and the vertical fs / 2 component that have passed through the fs / 2 pass filter 23 are converted into an absolute value (ABS; absolute) circuit 2.
After being converted into absolute values by 7, 28, they are added by an adder 29. Similarly, the horizontal fs / 4 component and the vertical fs / 4 component that have passed through the fs / 4 pass filter 24 are converted into absolute values by the absolute value conversion circuits 30 and 31, and then added by the adder 32. In the brightness correction circuit 26, the multiplier 3
In step 3, a process of multiplying the level of the luminance Y0 by a predetermined correction coefficient α is performed.

【0022】加算器29の加算出力は、乗算器34で所
定の補正係数βが掛けられた後、減算器35の一方の入
力Aとなる。また、加算器32の加算出力は、加算器3
6で輝度Y0のレベルに所定の補正係数αを掛けたもの
が加算され、さらに加算器37で所定のオフセット値γ
が付与された後、減算器35の他方の入力Bとなる。こ
こで、補正係数βおよびオフセット値γは、スレッシュ
ホールドを決めるパラメータとなる。
The addition output of the adder 29 becomes one input A of a subtractor 35 after being multiplied by a predetermined correction coefficient β in a multiplier 34. The addition output of the adder 32 is
6, a value obtained by multiplying the level of the luminance Y0 by a predetermined correction coefficient α is added, and an adder 37 adds a predetermined offset value γ
, Is the other input B of the subtractor 35. Here, the correction coefficient β and the offset value γ are parameters for determining the threshold.

【0023】減算器35は一方の入力Aから他方の入力
Bを減算する。すなわち、減算器35において、fs/
2成分(A)とfs/4成分(B)とを比較し(A−
B)、その差分(A−B)が正、即ちfs/2成分>f
s/4成分であれば、fs/2の周波数成分が存在する
旨の判定結果を出す。そして、この差分(A−B)がル
ックアップテーブル(LUT)38を通して補間係数G
2Gainとして出力される。すなわち、検出されたf
s/2の周波数成分が多ければ多い程、ルックアップテ
ーブル38からは大きな値の補間係数G2Gainが出
力される。
The subtractor 35 subtracts one input A from the other input B. That is, in the subtractor 35, fs /
The two components (A) and the fs / 4 component (B) were compared (A-
B), the difference (A−B) is positive, that is, fs / 2 component> f
If the component is the s / 4 component, a determination result indicating that the frequency component of fs / 2 exists is issued. Then, the difference (A−B) is obtained through the look-up table (LUT) 38 to obtain the interpolation coefficient G.
Output as 2Gain. That is, the detected f
As the frequency component of s / 2 increases, the look-up table 38 outputs a larger value of the interpolation coefficient G2Gain.

【0024】図9は、VH相関検出部17および斜め相
関検出部18の具体的な構成の一例を示すブロック図で
ある。
FIG. 9 is a block diagram showing an example of a specific configuration of the VH correlation detecting section 17 and the oblique correlation detecting section 18. As shown in FIG.

【0025】VH相関検出部17は、補間画素の右側の
画素の画素情報に基づいて相関の程度を示す相関値を算
出する右側相関値算出回路41と、補間画素の左側の画
素の画素情報に基づいて相関値を算出する左側相関値算
出回路42と、補間画素の上側の画素の画素情報に基づ
いて相関値を算出する上側相関値算出回路43と、補間
画素の下側の画素の画素情報に基づいて相関値を算出す
る下側相関値算出回路44と、これら相関値算出回路4
1〜44で算出した各相関値を補間ゲインに変換して出
力する相関値→補間ゲイン変換回路45とから構成され
ている。
The VH correlation detector 17 calculates a correlation value indicating the degree of correlation based on the pixel information of the pixel on the right side of the interpolation pixel. A left correlation value calculation circuit 42 that calculates a correlation value based on the pixel information, an upper correlation value calculation circuit 43 that calculates a correlation value based on pixel information of a pixel above the interpolation pixel, and pixel information of a pixel below the interpolation pixel. A lower correlation value calculation circuit 44 for calculating a correlation value based on
It is composed of a correlation value → interpolation gain conversion circuit 45 which converts each correlation value calculated in 1 to 44 into an interpolation gain and outputs the result.

【0026】上記構成のVH相関検出部17において、
相関値→補間ゲイン変換回路45からは、水平垂直補間
用ゲインRGain,LGain,TGain,BGa
inおよび水平垂直RG補間用ゲインRGainD,L
GainD,TGainD,BGainDが補間係数と
して出力される。
In the VH correlation detector 17 having the above configuration,
From the correlation value → interpolation gain conversion circuit 45, gains for horizontal and vertical interpolation RGain, LGane, TGain, BGa
in and gain RGainD, L for horizontal / vertical RG interpolation
GainD, TGainD, and BGainD are output as interpolation coefficients.

【0027】斜め相関検出部18は、補間画素の右上側
の画素の画素情報に基づいて相関値を算出する右上側相
関値算出回路46と、補間画素の左上側の画素の画素情
報に基づいて相関値を算出する左上側相関値算出回路4
7と、補間画素の左下側の画素の画素情報に基づいて相
関値を算出する左下側相関値算出回路48と、補間画素
の右下側の画素の画素情報に基づいて相関値を算出する
右下側相関値算出回路49と、これら相関値算出回路4
6〜49で算出した各相関値を補間ゲインに変換し、補
間係数として斜め補間用ゲインD1Gain〜D4Ga
inを出力する相関値→補間ゲイン変換回路50とから
構成されている。
The oblique correlation detector 18 calculates an upper correlation value calculation circuit 46 for calculating a correlation value based on the pixel information of the pixel on the upper right side of the interpolation pixel, and calculates the correlation value on the basis of the pixel information of the upper left pixel of the interpolation pixel. Upper left correlation value calculation circuit 4 for calculating a correlation value
7, a lower left correlation value calculation circuit 48 for calculating a correlation value based on pixel information of a pixel on the lower left side of the interpolation pixel, and a right side for calculating a correlation value based on pixel information of a pixel on the lower right side of the interpolation pixel. Lower correlation value calculation circuit 49 and these correlation value calculation circuits 4
The respective correlation values calculated in 6 to 49 are converted into interpolation gains, and oblique interpolation gains D1Gain to D4Ga are used as interpolation coefficients.
It is composed of a correlation value → interpolation gain conversion circuit 50 that outputs in.

【0028】さらに、水平垂直4方向と斜め4方向は互
いに直交していないため、VH‐斜め比較回路40にお
いて、水平垂直の相関値と斜めの相関値を比較すること
により、斜め補間補正用ゲインVHGain,DGai
nを補間係数として算出するようにしている。
Further, since the four horizontal and vertical directions and the four diagonal directions are not orthogonal to each other, the VH-diagonal comparison circuit 40 compares the horizontal and vertical correlation values with the diagonal correlation values to obtain a diagonal interpolation correction gain. VHGAIN, DGai
n is calculated as an interpolation coefficient.

【0029】続いて、補間部15におけるR/G/Bの
各補間部およびfs補正処理部22の各構成例について
説明する。
Next, an example of the configuration of each of the R / G / B interpolation units and the fs correction processing unit 22 in the interpolation unit 15 will be described.

【0030】図10は、G補間部20の具体的な構成の
一例を示すブロック図である。図10において、色分離
後のGのデータは水平垂直4方向、即ち右側、左側、上
側、下側の各相関用処理回路51,52,53,54に
それぞれ供給され、これら相関用処理回路51,52,
53,54において4方向の補間データGr,Gl,G
t,Gbが生成される。これら補間データGr,Gl,
Gt,Gbは、補間する方向にLPFを通すことで生成
される。
FIG. 10 is a block diagram showing an example of a specific configuration of the G interpolation unit 20. In FIG. 10, the G data after color separation is supplied to four horizontal and vertical directions, that is, right, left, upper, and lower correlation processing circuits 51, 52, 53, and 54, respectively. , 52,
At 53 and 54, the interpolation data Gr, Gl, G in four directions
t and Gb are generated. These interpolation data Gr, Gl,
Gt and Gb are generated by passing the LPF in the direction of interpolation.

【0031】補間データGr,Gl,Gt,Gbは各
々、乗算器55,56,57,58において、図9に示
すVH相関検出部17で決定された補間係数、即ち水平
垂直補間用ゲインRGain,LGain,TGai
n,BGainがそれぞれ掛けられる。そして、加算器
59〜61で加算されることにより、Gの補間処理が行
われる。補間処理後のGの画像データは、(1)式で表
される。 G=Gr×RGain+Gl×LGain +Gt×TGain+Gb×BGain ……(1)
The interpolation data Gr, Gl, Gt, Gb are supplied to multipliers 55, 56, 57, 58, respectively, to obtain interpolation coefficients determined by the VH correlation detecting section 17 shown in FIG. LGane, TGai
n and BGain, respectively. Then, the addition is performed by the adders 59 to 61, whereby the G interpolation processing is performed. The G image data after the interpolation processing is expressed by equation (1). G = Gr × RGain + Gl × LGain + Gt × TGain + Gb × BGain (1)

【0032】斜め4方向についても同様に、右上側、左
上側、左下側、右下側の各相関用処理回路62,63,
64,65において、D1/D2/D3/D4の各方向
の補間データが生成され、乗算器66,67,68,6
9において、図9に示す斜め相関検出部18で決定され
た斜め補間用ゲインD1Gain,D2Gain,D3
Gain,D4Gainがそれぞれ掛けられた後、加算
器70〜72で足し合わされることによって補間処理が
行われる。
Similarly, for the four oblique directions, the upper right, upper left, lower left, and lower right correlation processing circuits 62, 63,
At 64 and 65, interpolation data in each direction of D1 / D2 / D3 / D4 is generated, and the multipliers 66, 67, 68, and 6 are generated.
9, the oblique interpolation gains D1Gain, D2Gain, D3 determined by the oblique correlation detector 18 shown in FIG.
After each of the gains is multiplied by Gain and D4Gain, the sum is added by adders 70 to 72 to perform an interpolation process.

【0033】また、水平垂直4方向相関検出/補間によ
るGの画像データGvhと、斜め4方向相関検出/補間
によるGの画像データGdを、状況に合わせて(2)式
に示すように混合比を変化させて加算する。混合比の調
整は、図9に示すVH‐斜め比較回路40で算出される
斜め補間補正用ゲインVHGain,DGainによっ
て行われる。 G=Gvh×VHGain+Gd×DGain ……(2)
Further, the G image data Gvh obtained by the horizontal / vertical four-direction correlation detection / interpolation and the G image data Gd obtained by the diagonal four-direction correlation detection / interpolation are mixed according to the situation as shown in equation (2) Is changed and added. The adjustment of the mixture ratio is performed by oblique interpolation correction gains VHGin and DGain calculated by the VH-oblique comparison circuit 40 shown in FIG. G = Gvh × VHGain + Gd × DGain (2)

【0034】図11は、R,B補間部19,21の具体
的な構成の一例を示すブロック図である。このR,B補
間部19,21の構成については、図10に示すG補間
部20の構成と基本的に同じである。したがって、図1
1中、図10と同等部分には同一符号を付して示してあ
る。ただし、右側、左側、上側、下側の各相関用処理回
路51′,52′,53′,54′における補間データ
の生成法については、Gの場合に比べて複雑である。そ
の理由として2つあり、RB補間用相関検出を行うこと
と、G/2成分をRBに加えるためである。
FIG. 11 is a block diagram showing an example of a specific configuration of the R and B interpolation units 19 and 21. The configurations of the R and B interpolation units 19 and 21 are basically the same as the configuration of the G interpolation unit 20 shown in FIG. Therefore, FIG.
1, the same parts as those in FIG. 10 are denoted by the same reference numerals. However, the method of generating the interpolation data in the right, left, upper and lower correlation processing circuits 51 ', 52', 53 'and 54' is more complicated than in the case of G. There are two reasons for this: to perform correlation detection for RB interpolation and to add a G / 2 component to RB.

【0035】そのため、RG補間用相関検出は、水平
(右、左)の補間データ用と垂直方向(上、下)の補間
データ用では別々に行う。具体的には、R画素およびB
画素の信号からR信号/B信号を補間する際に、先述し
た水平垂直RB補間用ゲインRGainD,LGain
D,TGainD,BGainDを、R/B専用の補間
係数として算出して用いる。これについては、本発明の
要旨ではないので、ここではその詳細な説明は省略す
る。
For this reason, the correlation detection for RG interpolation is performed separately for horizontal (right, left) interpolation data and vertical (up, down) interpolation data. Specifically, R pixel and B pixel
When interpolating the R signal / B signal from the pixel signal, the above-described horizontal and vertical RB interpolation gains RGainD and LGain are used.
D, TGainD, and BGainD are calculated and used as interpolation coefficients dedicated to R / B. Since this is not the gist of the present invention, its detailed description is omitted here.

【0036】図12は、fs/2補正処理部22の具体
的な構成の一例を示すブロック図である。
FIG. 12 is a block diagram showing an example of a specific configuration of the fs / 2 correction processing section 22.

【0037】図12において、RGB信号は、fs/2
トラップ回路101に入力される。このfs/2トラッ
プ回路101は、図13の特性図に示すように、入力画
像の空間サンプリング周波数fsの1/2の周波数成分
のレスポンスが0である特性を持つフィルタによって構
成されている。fs/2トラップ回路101のトラップ
出力は、乗算器102でfs/2検出部16からの補間
係数G2Gainが掛けられた後、加算器103の一方
の入力となる。
In FIG. 12, the RGB signal is fs / 2
The signal is input to the trap circuit 101. As shown in the characteristic diagram of FIG. 13, the fs / 2 trap circuit 101 is configured by a filter having a characteristic that a response of a frequency component of a half of a spatial sampling frequency fs of an input image is 0. The trap output of the fs / 2 trap circuit 101 is multiplied by the interpolation coefficient G2Gain from the fs / 2 detector 16 by the multiplier 102, and then becomes one input of the adder 103.

【0038】また、R/G/Bの各補間部19,20,
21から供給される各補間出力RIP/GIP/BIP
は、乗算器104でfs/2検出部16からの補間係数
G2Gainより算出される補間係数G2Gain′が
掛けられた後、加算器103の他方の入力となる。な
お、補間係数G2Gain′は、例えば、定数から補間
係数G2Gainを引くことにより算出される。図14
は、fs/2補正処理部22における補正処理の概念図
である。この概念図から明らかなように、補正処理はR
/G/Bの各信号ごとに行われる。
The R / G / B interpolation units 19, 20,
Each interpolation output RIP / GIP / BIP supplied from 21
Is multiplied by the interpolation coefficient G2Gain ′ calculated from the interpolation coefficient G2Gain from the fs / 2 detector 16 by the multiplier 104, and then becomes the other input of the adder 103. The interpolation coefficient G2Gain 'is calculated, for example, by subtracting the interpolation coefficient G2Gain from a constant. FIG.
5 is a conceptual diagram of a correction process in the fs / 2 correction processing unit 22. As is evident from this conceptual diagram, the correction process is R
/ G / B for each signal.

【0039】上記構成のfs/2補正処理部22におい
ては、fs/2トラップ回路101を経たR/G/Bの
各信号と、R/G/Bの各補間部19,20,21から
供給される各補間出力RIP/GIP/BIPとが加算
器103において混合される訳であるが、その混合比は
fs/2検出部16から与えられる補間係数G2Gai
nに基づいて決まるようになっている。
In the fs / 2 correction processing section 22 having the above configuration, the R / G / B signals passed through the fs / 2 trap circuit 101 and the R / G / B interpolation sections 19, 20, and 21 supply the signals. The respective interpolation outputs RIP / GIP / BIP are mixed in the adder 103, and the mixing ratio is determined by the interpolation coefficient G2Gai provided from the fs / 2 detector 16.
n.

【0040】具体的には、fs/2検出部16からは、
fs/2の周波数成分を検出したとき、その周波数成分
が多い程大きな値の補間係数G2Gainが出力され、
その補間係数G2Gainが乗算器102でfs/2ト
ラップ回路101を経たR/G/Bの各信号に掛けられ
るとともに、補間係数G2Gainから算出される補間
係数G2Gain′が乗算器104で補間出力RIP/
GIP/BIPに掛けられる。そして、乗算器102,
104の各乗算出力が加算器103で加算(混合)され
て出力される。
Specifically, the fs / 2 detector 16
When the frequency component of fs / 2 is detected, the interpolation coefficient G2Gain having a larger value is output as the frequency component increases,
The interpolation coefficient G2Gain is multiplied by the R / G / B signals passed through the fs / 2 trap circuit 101 by the multiplier 102, and the interpolation coefficient G2Gain 'calculated from the interpolation coefficient G2Gain is interpolated by the multiplier 104 to the interpolation output RIP /
Multiplied by GIP / BIP. Then, the multiplier 102,
Each of the multiplication outputs 104 is added (mixed) by the adder 103 and output.

【0041】換言すれば、fs/2補正処理部22で
は、fs/2検出部16がfs/2の周波数成分の存在
を検出したときには、R/G/Bの各信号からfs/2
の周波数成分を除去したものを主として出力し、fs/
2検出部16がfs/2の周波数成分の存在を検出しな
いときには、R/G/Bの各補間部19,20,21で
補間処理された補間出力RIP/GIP/BIPを出力
する。そして、補間係数G2Gainの値の増加に応じ
て、fs/2の周波数成分が除去されたR/G/Bの各
信号の補間出力RIP/GIP/BIPに対する混合比
が増加するようになっている。
In other words, in the fs / 2 correction processing unit 22, when the fs / 2 detection unit 16 detects the presence of the fs / 2 frequency component, the fs / 2 detection unit 16 extracts the fs / 2 signal from each of the R / G / B signals.
Is mainly output after removing the frequency component of fs /
When the 2 detector 16 does not detect the presence of the frequency component of fs / 2, the interpolation output RIP / GIP / BIP interpolated by the R / G / B interpolation units 19, 20, and 21 is output. Then, as the value of the interpolation coefficient G2Gain increases, the mixing ratio of the R / G / B signal from which the frequency component of fs / 2 has been removed to the interpolation output RIP / GIP / BIP increases. .

【0042】上述したように、fs/2の周波数成分の
存在を検出し、その存在を検出したときには、R/G/
Bの各補間部19,20,21で補間処理された補間出
力RIP/GIP/BIPを使用せずに、fs/2の周
波数成分が除去されたR/G/Bの各信号を使用するよ
うにしたことで、相関検出による信号処理を行う場合
に、fs/2の空間周波数があっても、fs/2付近の
相関検出の誤検出を防止できるため、破綻のない画像の
再現が可能となる。
As described above, the presence of the fs / 2 frequency component is detected, and when the presence is detected, the R / G /
Instead of using the interpolation output RIP / GIP / BIP interpolated by each of the B interpolation units 19, 20, and 21, the R / G / B signals from which the frequency component of fs / 2 has been removed are used. Accordingly, when signal processing by correlation detection is performed, even if there is a spatial frequency of fs / 2, erroneous detection of correlation detection near fs / 2 can be prevented, so that an image without failure can be reproduced. Become.

【0043】図15は、本発明に係るカメラの一例を示
す概略構成図である。図15において、被写体からの入
射光は、レンズ111等を含む光学系によってCCDエ
リアセンサ112の受光面(撮像面)上に結像される。
CCDエリアセンサ112の受光面上には、色配列が例
えば原色ベイヤ配列のカラーフィルタ113が設けられ
ている。CCDエリアセンサ112は、CCD駆動回路
114によって露光、信号電荷の読み出しおよび転送な
どの駆動制御が行われる。
FIG. 15 is a schematic configuration diagram showing an example of the camera according to the present invention. In FIG. 15, incident light from a subject is imaged on a light receiving surface (imaging surface) of the CCD area sensor 112 by an optical system including a lens 111 and the like.
On the light receiving surface of the CCD area sensor 112, a color filter 113 having a color array of, for example, a primary color Bayer array is provided. The CCD area sensor 112 is driven and controlled by the CCD driving circuit 114 such as exposure, reading out and transferring signal charges, and the like.

【0044】CCDエリアセンサ112の出力信号は画
像処理装置115に供給され、種々の信号処理が行われ
る。この画像処理装置115として、水平垂直および斜
めの8方向の相関を検出し、その検出結果に基づいて適
応型補間処理を行うとともに、fs/2の周波数成分を
検出したとき、その周波数成分を除いた信号を使う構成
の上記実施形態に係る画像処理装置が用いられる。
The output signal of the CCD area sensor 112 is supplied to an image processing device 115, where various signal processing is performed. The image processing device 115 detects correlations in eight directions, that is, horizontal, vertical, and diagonal directions, performs adaptive interpolation processing based on the detection results, and removes the frequency components when fs / 2 is detected. The image processing apparatus according to the above-described embodiment having a configuration using the signal is used.

【0045】このように、例えば原色ベイヤ配列のカラ
ーフィルタ113を持つCCDエリアセンサ112を撮
像デバイスとして用いたカメラにおいて、相関検出によ
る信号処理を行う際に、fs/2の空間周波数成分が存
在しても、fs/2付近の相関検出の誤検出を防止で
き、破綻のない画像の再現が可能になるとともに、光学
LPFを用いてfs/2付近のレスポンスを0とする必
要がなくなり、レスポンスが0となる空間周波数を高く
することが可能となるため、再現画像の解像度/解像感
を向上できる。
As described above, for example, in a camera using the CCD area sensor 112 having the color filters 113 of the primary color Bayer array as an imaging device, when performing signal processing by correlation detection, a spatial frequency component of fs / 2 exists. However, it is possible to prevent erroneous detection of the correlation detection near fs / 2, to enable reproduction of an image without failure, and to eliminate the need to set the response near fs / 2 to 0 using an optical LPF. Since the spatial frequency that becomes 0 can be increased, the resolution / resolution of the reproduced image can be improved.

【0046】[0046]

【発明の効果】以上説明したように、本発明によれば、
カラーフィルタを受光面上に有する固体撮像素子の出力
信号を処理する際に、fs/2の周波数成分の存在を検
出し、その存在を検出したときには、fs/2の周波数
成分が除去されたR/G/Bの各信号を使用するように
したことにより、fs/2付近の相関検出の誤検出を防
止できるため、破綻のない画像が再現可能となる。しか
も、光学LPFを用いて帯域制限を行う必要がないた
め、再現画像の解像度/解像感が損なわれることもな
い。
As described above, according to the present invention,
When processing an output signal of a solid-state imaging device having a color filter on a light receiving surface, the presence of a frequency component of fs / 2 is detected, and when the presence is detected, the frequency component of fs / 2 is removed. By using each signal of / G / B, erroneous detection of correlation detection near fs / 2 can be prevented, so that an image without failure can be reproduced. Moreover, since there is no need to limit the band using the optical LPF, the resolution / resolution of the reproduced image is not impaired.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による画像処理装置の基本構成を示すブ
ロック図である。
FIG. 1 is a block diagram illustrating a basic configuration of an image processing apparatus according to the present invention.

【図2】カラーフィルタの原色ベイヤ配列図である。FIG. 2 is a primary color Bayer array diagram of a color filter.

【図3】検出部の構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a configuration of a detection unit.

【図4】補間部の構成の一例を示すブロック図である。FIG. 4 is a block diagram illustrating an example of a configuration of an interpolation unit.

【図5】fs/2検出部の具体的な構成の一例を示すブ
ロック図である。
FIG. 5 is a block diagram illustrating an example of a specific configuration of an fs / 2 detection unit.

【図6】fs/2検出部における通過フィルタの空間周
波数‐レスポンスの特性図である。
FIG. 6 is a characteristic diagram of a spatial frequency-response of a pass filter in an fs / 2 detection unit.

【図7】輝度Y0の検出の概念図である。FIG. 7 is a conceptual diagram of detection of luminance Y0.

【図8】fs/2検出の概念図である。FIG. 8 is a conceptual diagram of fs / 2 detection.

【図9】VH相関検出部および斜め相関検出部の具体的
な構成の一例を示すブロック図である。
FIG. 9 is a block diagram illustrating an example of a specific configuration of a VH correlation detection unit and an oblique correlation detection unit.

【図10】G補間部の具体的な構成の一例を示すブロッ
ク図である。
FIG. 10 is a block diagram illustrating an example of a specific configuration of a G interpolation unit.

【図11】R,B補間部の具体的な構成の一例を示すブ
ロック図である。
FIG. 11 is a block diagram illustrating an example of a specific configuration of an R and B interpolation unit.

【図12】fs/2補正処理部の具体的な構成の一例を
示すブロック図である。
FIG. 12 is a block diagram illustrating an example of a specific configuration of an fs / 2 correction processing unit.

【図13】fs/2トラップ回路の特性図である。FIG. 13 is a characteristic diagram of the fs / 2 trap circuit.

【図14】fs/2補正処理の概念図である。FIG. 14 is a conceptual diagram of an fs / 2 correction process.

【図15】本発明に係るカメラの一例を示す概略構成図
である。
FIG. 15 is a schematic configuration diagram illustrating an example of a camera according to the present invention.

【図16】課題を説明するための図である。FIG. 16 is a diagram for explaining a problem.

【符号の説明】[Explanation of symbols]

11,113…カラーフィルタ、12,112…CCD
エリアセンサ、14…検出部、15…補間部、16…f
s/2検出部、17…VH相関検出部、18…斜め相関
検出部、19…R補間部、20…G補間部、21…B補
間部、22…fs/2補正処理部、23…fs/2通過
フィルタ、24…fs/4通過フィルタ、25…fs/
2検出回路、26…輝度補正回路
11, 113: color filter, 12, 112: CCD
Area sensor, 14 ... detector, 15 ... interpolator, 16 ... f
s / 2 detection section, 17 VH correlation detection section, 18 diagonal correlation detection section, 19 R interpolation section, 20 G interpolation section, 21 B interpolation section, 22 fs / 2 correction processing section, 23 fs / 2 pass filter, 24 ... fs / 4 pass filter, 25 ... fs /
2 detection circuit, 26: luminance correction circuit

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 所定の色配列のカラーフィルタを受光面
上に有する固体撮像素子の出力信号を処理する画像処理
装置であって、 入力画像の空間サンプリング周波数に対して1/2倍し
た周波数成分の存在を検出する周波数検出回路と、 前記周波数検出回路の検出結果に基づいて入力画像に対
する補正処理を行う補正処理回路とを備えたことを特徴
とする画像処理装置。
1. An image processing apparatus for processing an output signal of a solid-state imaging device having a color filter having a predetermined color array on a light receiving surface, comprising a frequency component that is 1 / times a spatial sampling frequency of an input image. An image processing apparatus, comprising: a frequency detection circuit that detects the presence of an image; and a correction processing circuit that performs a correction process on an input image based on a detection result of the frequency detection circuit.
【請求項2】 前記周波数検出回路は、通過する周波数
のレスポンスの最大値が入力画像の空間サンプリング周
波数の1/2の空間周波数である第1のフィルタと、通
過する周波数のレスポンスの最大値が入力画像の空間サ
ンプリング周波数の1/4の空間周波数である第2のフ
ィルタと、前記第1,第2のフィルタの各通過周波数成
分を比較することによって前記空間サンプリング周波数
の1/2の周波数成分を検出する検出部とを有すること
を特徴とする請求項1記載の画像処理装置。
2. The frequency detection circuit according to claim 1, wherein a maximum value of a response of a passing frequency is a first filter whose spatial frequency is a half of a spatial sampling frequency of the input image, and a maximum value of a response of a passing frequency is By comparing a second filter having a spatial frequency of 1/4 of the spatial sampling frequency of the input image with each pass frequency component of the first and second filters, a frequency component of 1/2 of the spatial sampling frequency is obtained. The image processing apparatus according to claim 1, further comprising: a detection unit configured to detect an image.
【請求項3】 前記周波数検出回路は、補間すべき画素
の近傍の画素の平均信号レベルを前記第1のフィルタの
通過周波数成分から減算する手段を有することを特徴と
する請求項2記載の画像処理装置。
3. The image according to claim 2, wherein said frequency detection circuit has means for subtracting an average signal level of a pixel near a pixel to be interpolated from a passing frequency component of said first filter. Processing equipment.
【請求項4】 前記補正処理回路は、少なくとも2系統
の第1,第2の信号処理系を経た第1,第2の信号を前
記周波数検出回路の検出出力に応じた混合比で加算する
ことを特徴とする請求項1記載の画像処理装置。
4. The correction processing circuit adds the first and second signals that have passed through at least two systems of the first and second signal processing systems at a mixing ratio according to a detection output of the frequency detection circuit. The image processing apparatus according to claim 1, wherein:
【請求項5】 前記第1の信号処理系は、入力画像の空
間サンプリング周波数の1/2の周波数成分のレスポン
スが0である第3のフィルタを有し、この第3のフィル
タの通過周波数成分を前記第1の信号として出力し、 前記第2の信号処理系は、入力画像に対して補間処理し
た結果を前記第2の信号として出力することを特徴とす
る請求項4記載の画像処理装置。
5. The signal processing system according to claim 1, wherein the first signal processing system includes a third filter having a response of a frequency component of a half of a spatial sampling frequency of the input image being 0, and a pass frequency component of the third filter. 5. The image processing apparatus according to claim 4, wherein the second signal processing system outputs, as the second signal, a result of performing an interpolation process on the input image. 6. .
【請求項6】 前記補正処理回路は、前記周波数検出回
路の検出出力の増加に応じて前記第1の信号の混合比を
増加させることを特徴とする請求項5記載の画像処理装
置。
6. The image processing apparatus according to claim 5, wherein the correction processing circuit increases a mixing ratio of the first signal in accordance with an increase in a detection output of the frequency detection circuit.
【請求項7】 所定の色配列のカラーフィルタを受光面
上に有する固体撮像素子の出力信号を処理する画像処理
方法であって、 入力画像の空間サンプリング周波数に対して1/2倍し
た周波数成分の存在を検出し、 その検出結果に基づいて入力画像に対する補間処理を行
うことを特徴とする画像処理方法。
7. An image processing method for processing an output signal of a solid-state imaging device having a color filter having a predetermined color array on a light receiving surface, comprising a frequency component that is 1 / times a spatial sampling frequency of an input image. An image processing method comprising: detecting the presence of an image; and performing an interpolation process on the input image based on the detection result.
【請求項8】 前記補正処理においては、少なくとも2
系統の第1,第2の信号処理系を経た第1,第2の信号
を前記空間サンプリング周波数に対する1/2の周波数
成分の検出結果に応じた混合比で加算することを特徴と
する請求項7記載の画像処理方法。
8. In the correction processing, at least two
The system according to claim 1, wherein the first and second signals passed through the first and second signal processing systems of the system are added at a mixing ratio according to a detection result of a frequency component that is 1/2 of the spatial sampling frequency. 7. The image processing method according to 7.
【請求項9】 前記第1の信号は、入力画像から前記空
間サンプリング周波数に対する1/2の周波数成分が除
かれた信号であり、 前記第2の信号は、入力画像に対して補間処理が行われ
た信号であることを特徴とする請求項8記載の画像処理
方法。
9. The first signal is a signal obtained by removing a half frequency component with respect to the spatial sampling frequency from an input image, and the second signal is obtained by performing an interpolation process on an input image. 9. The image processing method according to claim 8, wherein the signal is a processed signal.
【請求項10】 所定の色配列のカラーフィルタを受光
面上に有する固体撮像素子と、被写体からの入射光を前
記固体撮像素子の受光面上に結像させる光学系と、前記
固体撮像素子の出力信号を処理する画像処理装置とを具
備するカメラであって、 前記画像処理装置は、 入力画像の空間サンプリング周波数に対して1/2倍し
た周波数成分の存在を検出する周波数検出回路と、 前記周波数検出回路の検出結果に基づいて入力画像に対
する補正処理を行う補正処理回路とを有することを特徴
とするカメラ。
10. A solid-state imaging device having a color filter having a predetermined color arrangement on a light-receiving surface, an optical system for forming an incident light from a subject on a light-receiving surface of the solid-state imaging device, and a solid-state imaging device. A camera comprising: an image processing device that processes an output signal, wherein the image processing device detects the presence of a frequency component that is 倍 times the spatial sampling frequency of an input image; A correction processing circuit for performing correction processing on the input image based on a detection result of the frequency detection circuit.
【請求項11】 前記補正処理回路は、少なくとも2系
統の第1,第2の信号処理系を経た第1,第2の信号を
前記周波数検出回路の検出出力に応じた混合比で加算す
ることを特徴とする請求項10記載のカメラ。
11. The correction processing circuit adds a first signal and a second signal that have passed through at least two systems of first and second signal processing systems at a mixing ratio according to a detection output of the frequency detection circuit. The camera according to claim 10, wherein:
【請求項12】 前記第1の信号処理系は、入力画像の
空間サンプリング周波数の1/2の周波数成分のレスポ
ンスが0である第3のフィルタを有し、この第3のフィ
ルタの通過周波数成分を前記第1の信号として出力し、 前記第2の信号処理系は、入力画像に対して補間処理し
た結果を前記第2の信号として出力することを特徴とす
る請求項11記載のカメラ。
12. The first signal processing system includes a third filter having a response of a frequency component of の of a spatial sampling frequency of an input image being 0, and a pass frequency component of the third filter. 12. The camera according to claim 11, wherein the second signal processing system outputs a result obtained by performing an interpolation process on an input image as the second signal.
JP33838997A 1997-12-09 1997-12-09 Image processing apparatus, image processing method, and camera Expired - Fee Related JP4178571B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33838997A JP4178571B2 (en) 1997-12-09 1997-12-09 Image processing apparatus, image processing method, and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33838997A JP4178571B2 (en) 1997-12-09 1997-12-09 Image processing apparatus, image processing method, and camera

Publications (2)

Publication Number Publication Date
JPH11177996A true JPH11177996A (en) 1999-07-02
JP4178571B2 JP4178571B2 (en) 2008-11-12

Family

ID=18317706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33838997A Expired - Fee Related JP4178571B2 (en) 1997-12-09 1997-12-09 Image processing apparatus, image processing method, and camera

Country Status (1)

Country Link
JP (1) JP4178571B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100566270B1 (en) 2004-03-31 2006-03-29 삼성전자주식회사 Video interpolation method
SG124275A1 (en) * 1999-09-16 2006-08-30 Silverbrook Res Pty Ltd Method and apparatus for sampling bayer images
KR101014019B1 (en) 2006-06-12 2011-02-14 샤프 가부시키가이샤 Image sensor and display
US8139055B2 (en) 2006-06-12 2012-03-20 Sharp Kabushiki Kaisha Combined image sensor and display device
WO2013099792A1 (en) * 2011-12-28 2013-07-04 富士フイルム株式会社 Image processing device and method, and imaging device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG124275A1 (en) * 1999-09-16 2006-08-30 Silverbrook Res Pty Ltd Method and apparatus for sampling bayer images
KR100566270B1 (en) 2004-03-31 2006-03-29 삼성전자주식회사 Video interpolation method
KR101014019B1 (en) 2006-06-12 2011-02-14 샤프 가부시키가이샤 Image sensor and display
US8139055B2 (en) 2006-06-12 2012-03-20 Sharp Kabushiki Kaisha Combined image sensor and display device
US9123613B2 (en) 2006-06-12 2015-09-01 Sharp Kabushiki Kaisha Image sensor and display
WO2013099792A1 (en) * 2011-12-28 2013-07-04 富士フイルム株式会社 Image processing device and method, and imaging device
CN104025583A (en) * 2011-12-28 2014-09-03 富士胶片株式会社 Image processing device and method, and imaging device
JP5621053B2 (en) * 2011-12-28 2014-11-05 富士フイルム株式会社 Image processing apparatus, method and program, and imaging apparatus
US9325957B2 (en) 2011-12-28 2016-04-26 Fujifilm Corporation Image processing device, method, recording medium and imaging device

Also Published As

Publication number Publication date
JP4178571B2 (en) 2008-11-12

Similar Documents

Publication Publication Date Title
JP4066484B2 (en) Image processing apparatus, image processing method, and camera
JP3263924B2 (en) Color imaging device
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
KR100381496B1 (en) An image signal processing apparatus
US8384799B2 (en) Image processing apparatus and image processing method
JP4666681B2 (en) Image processing apparatus and image processing method
JP4135197B2 (en) Image processing apparatus, image processing method, and camera
JP4178571B2 (en) Image processing apparatus, image processing method, and camera
US6400403B1 (en) Solid-state imaging device having improved resolution without generating a pseudo signal
JP2006303774A (en) Imaging apparatus
JPS60254893A (en) Single plate type color camera
JP3968480B2 (en) Correlation value calculation circuit and calculation method thereof
JP2001186534A (en) Solid-state image pickup device
JP2008109468A (en) Color signal processing circuit and camera device
JPH10294892A (en) Solid-state image pickup device
JP2650062B2 (en) Color imaging device
JP3496884B2 (en) Video signal processing method
JP2698404B2 (en) Luminance signal processing device
JP2890573B2 (en) Imaging device
JP2007329976A (en) Image processing apparatus and image processing method, and camera
JPH11168643A (en) Video signal processing method and video signal processing unit
JP3591257B2 (en) Video signal processing method and video signal processing device
JPS63290480A (en) Image pickup device
JPH06125563A (en) Picture signal processor
JPH089395A (en) Color image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees