JP4687454B2 - Image processing apparatus and imaging apparatus - Google Patents

Image processing apparatus and imaging apparatus Download PDF

Info

Publication number
JP4687454B2
JP4687454B2 JP2005376806A JP2005376806A JP4687454B2 JP 4687454 B2 JP4687454 B2 JP 4687454B2 JP 2005376806 A JP2005376806 A JP 2005376806A JP 2005376806 A JP2005376806 A JP 2005376806A JP 4687454 B2 JP4687454 B2 JP 4687454B2
Authority
JP
Japan
Prior art keywords
frequency component
signal
band
component
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005376806A
Other languages
Japanese (ja)
Other versions
JP2007180893A (en
Inventor
豊 米田
啓 松井
卓也 千葉
良太 小坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005376806A priority Critical patent/JP4687454B2/en
Publication of JP2007180893A publication Critical patent/JP2007180893A/en
Application granted granted Critical
Publication of JP4687454B2 publication Critical patent/JP4687454B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、入力画像信号に対して色補正処理を施す画像処理装置、およびそのような機能を備えた撮像装置に関し、特に、リニアマトリクス演算機能を備えた画像処理装置および撮像装置に関する。   The present invention relates to an image processing apparatus that performs color correction processing on an input image signal, and an imaging apparatus having such a function, and more particularly to an image processing apparatus and an imaging apparatus having a linear matrix calculation function.

デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた撮像装置においては、画質を向上させるための様々な機能が組み込まれている。例えば、色を忠実に再現する機能としては、いわゆるホワイトバランス処理機能が一般的であるが、最近ではこれに加えて、リニアマトリクス演算を用いた色再現性向上機能が注目されている。この機能は、入力されたRGB(Red,Green,Blue)信号(R,G,B)に下記の式(1)のマトリクス演算を施すことにより、RGB各成分の分光特性を人間の視感度特性に近づけることで、色再現性を向上させるものである。   In an imaging apparatus using a solid-state imaging device such as a digital still camera or a digital video camera, various functions for improving image quality are incorporated. For example, a so-called white balance processing function is common as a function for faithfully reproducing colors, but recently, a function for improving color reproducibility using a linear matrix operation has attracted attention. This function performs the matrix operation of the following formula (1) on the input RGB (Red, Green, Blue) signals (R, G, B), thereby converting the spectral characteristics of each RGB component into human visibility characteristics. The color reproducibility is improved by approaching to.

Figure 0004687454
Figure 0004687454

図10は、リニアマトリクス演算機能を含む従来の撮像装置の要部構成を示すブロック図である。
図10において、光学ブロック101を通じて入射した光は、撮像素子102において光電変換される。撮像素子102からのアナログ画像信号は、A/D(アナログ/デジタル)変換回路103においてデジタル変換された後、前補正回路104において、黒レベルを合わせるデジタルクランプ処理、撮像素子102の欠陥画素の信号を補正する欠陥補正処理、レンズの周辺における光量落ちを補正するシェーディング補正処理など、撮像素子102や光学系に関する補正処理(前補正処理)を受ける。さらに、前補正回路104の出力信号には、画像補間処理回路105により、空間位相がずれたRGB信号から3枚のRGBプレーン信号(同じ空間位置のRGB信号)を生成する、いわゆるデモザイク処理が施される。
FIG. 10 is a block diagram showing a main configuration of a conventional imaging apparatus including a linear matrix calculation function.
In FIG. 10, light incident through the optical block 101 is photoelectrically converted by the image sensor 102. An analog image signal from the image sensor 102 is digitally converted by an A / D (analog / digital) conversion circuit 103, and then a digital clamp process for adjusting a black level in a pre-correction circuit 104, and a signal of a defective pixel of the image sensor 102. Correction processing (pre-correction processing) related to the image sensor 102 and the optical system, such as defect correction processing for correcting the image quality, and shading correction processing for correcting a light amount drop around the lens. Further, the output signal of the pre-correction circuit 104 is subjected to a so-called demosaicing process in which the image interpolation processing circuit 105 generates three RGB plane signals (RGB signals at the same spatial position) from RGB signals whose spatial phases are shifted. Is done.

画像補間処理回路105から出力されたRGB信号に対しては、リニアマトリクス(LM)演算回路106により、上述したリニアマトリクス演算が施される。リニアマトリクス演算回路106における演算に用いられるマトリクス係数は、マイクロコンピュータなどからなる演算処理部107により設定される。演算処理部107は、RGB信号に対して、撮像素子102の各成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数を設定する。   The RGB signal output from the image interpolation processing circuit 105 is subjected to the linear matrix calculation described above by the linear matrix (LM) calculation circuit 106. The matrix coefficient used for the calculation in the linear matrix calculation circuit 106 is set by the calculation processing unit 107 including a microcomputer. The arithmetic processing unit 107 sets a matrix coefficient for the RGB signal such that the spectral characteristics of each component of the image sensor 102 approach a color matching function that is substantially equal to the human visibility characteristic.

リニアマトリクス演算回路106から出力されるRGB信号に対しては、さらに、ホワイトバランス(WB)調整回路108により、RGB各成分のゲインが調整される。ホワイトバランス調整回路108への入力画像信号は、積分回路109にも入力されて検波が行われ、演算処理部107は、積分回路109によるRGB積分値に基づいて、入力画像上の白い被写体に対してRGB各成分の値が等しくなるように、ホワイトバランス調整回路108のゲインを制御する。   For the RGB signals output from the linear matrix arithmetic circuit 106, the gain of each RGB component is further adjusted by the white balance (WB) adjustment circuit 108. The input image signal to the white balance adjustment circuit 108 is also input to the integration circuit 109 to be detected, and the arithmetic processing unit 107 applies the white object on the input image to the white object on the basis of the RGB integration value by the integration circuit 109. Thus, the gain of the white balance adjustment circuit 108 is controlled so that the values of the RGB components are equal.

ホワイトバランス調整後のRGB信号には、さらにγ(ガンマ)補正回路110によりγ補正が施され、補正後の信号はY信号(輝度信号)処理回路111およびC信号(色差信号)処理回路112に入力されて、各回路での演算によりY信号、Cr(R−Y)信号およびCb(B−Y)信号に分離される。分離後の信号は、モニタへの表示画像を生成するグラフィック処理回路、あるいは記録媒体への記録信号を生成する圧縮符号化回路などに出力される。   The RGB signal after white balance adjustment is further subjected to γ correction by a γ (gamma) correction circuit 110, and the corrected signal is sent to a Y signal (luminance signal) processing circuit 111 and a C signal (color difference signal) processing circuit 112. The signals are inputted and separated into Y signal, Cr (R−Y) signal and Cb (B−Y) signal by calculation in each circuit. The separated signal is output to a graphic processing circuit that generates a display image on a monitor or a compression encoding circuit that generates a recording signal to a recording medium.

なお、このようなリニアマトリクス演算機能を備えた従来の撮像装置としては、マトリクス変換に必要な6個の変数を2個の制御パラメータから導く係数変換手段を設けて、パラメータ数を減らし、回路規模の拡大を防止するようにしたものがあった(例えば、特許文献1参照)。
特開2000−50299号公報(段落番号〔0013〕〜〔0021〕、図1)
In addition, as a conventional imaging device having such a linear matrix calculation function, a coefficient conversion means for deriving six variables necessary for matrix conversion from two control parameters is provided, the number of parameters is reduced, and the circuit scale is reduced. There was one that prevented the enlargement of the image (for example, see Patent Document 1).
JP 2000-50299 A (paragraph numbers [0013] to [0021], FIG. 1)

ところで、上記のような色再現性の向上を目的としたリニアマトリクス演算処理には、ノイズを増長させるという副作用がある。リニアマトリクス演算処理は、ノイズのない理想条件では有効な手段であるが、色再現性の向上を目的とした場合、上記の式(1)の係数a〜iのうち非対角成分(b,c,d,f,g,h)は負の値となることがあり、このような係数によりRGB信号の減算が行われると、信号レベル(S成分)は減少するが、ノイズ量(N成分)は減少しないため、信号とノイズの比率であるS/Nが低下してしまう。このように、リニアマトリクス演算処理を行った場合、色再現性の向上とS/N劣化とはトレードオフの関係にあることが多く、両者のバランスをとって十分な画質向上効果が得られるようにすることが問題となっていた。   By the way, the linear matrix calculation processing for the purpose of improving the color reproducibility as described above has a side effect of increasing noise. The linear matrix calculation process is an effective means under ideal conditions without noise, but for the purpose of improving color reproducibility, the off-diagonal components (b, c, d, f, g, h) may be a negative value, and when RGB signals are subtracted by such coefficients, the signal level (S component) decreases, but the noise amount (N component) ) Does not decrease, the signal / noise ratio S / N decreases. As described above, when the linear matrix calculation process is performed, the improvement in color reproducibility and the S / N deterioration are often in a trade-off relationship, and a sufficient image quality improvement effect can be obtained by balancing the two. It became a problem.

本発明はこのような点に鑑みてなされたものであり、色再現性が高く、かつS/Nの良好な高画質な画像を出力できる画像処理装置を提供することを目的とする。
また、本発明の他の目的は、色再現性が高く、かつS/Nの良好な高画質な画像を撮像できる撮像装置を提供することである。
SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus that can output a high-quality image with high color reproducibility and good S / N.
Another object of the present invention is to provide an imaging apparatus that can capture high-quality images with high color reproducibility and good S / N.

本発明では上記課題を解決するために、入力画像信号に対して色補正処理を施す画像処理装置において、前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段とを有することを特徴とする画像処理装置が提供される。   In the present invention, in order to solve the above problem, in an image processing apparatus that performs color correction processing on an input image signal, band separation means for separating the input image signal into a high frequency component and a low frequency component, and the band separation Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the means, the low frequency components matrix transformed by the linear matrix computing means, and the high frequency components separated by the band separating means There is provided an image processing apparatus characterized by comprising signal adding means for adding.

このような画像処理装置では、帯域分離手段により、入力画像信号が高周波成分と低周波成分とに分離され、その低周波成分に対してのみ、リニアマトリクス演算手段により色成分のマトリクス変換が施される。そして、マトリクス変換後の低周波成分と、分離された高周波成分とが、信号加算手段により加算される。   In such an image processing apparatus, the input image signal is separated into a high frequency component and a low frequency component by the band separation unit, and the matrix conversion of the color component is performed only on the low frequency component by the linear matrix calculation unit. The Then, the low frequency component after matrix conversion and the separated high frequency component are added by the signal adding means.

本発明の画像処理装置によれば、低周波成分については、マトリクス変換により色再現性が向上されるが、ノイズ成分を多く含む高周波成分に対しては、マトリクス変換が施されないので、S/Nの劣化が抑制される。従って、色再現性が高く、かつ、ノイズの目立たない、高画質な画像を出力できるようになる。   According to the image processing apparatus of the present invention, for low frequency components, color reproducibility is improved by matrix conversion, but matrix conversion is not performed for high frequency components containing a lot of noise components. Deterioration of is suppressed. Therefore, it is possible to output a high-quality image with high color reproducibility and inconspicuous noise.

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、本発明の第1の実施の形態に係る撮像装置の要部構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a main configuration of the imaging apparatus according to the first embodiment of the present invention.

図1に示す撮像装置は、光学ブロック1、撮像素子2、AFE(Analog Front End)回路3、カメラ信号処理回路4、システムコントローラ5、および入力部6を具備する。また、この撮像装置には、光学ブロック1内の種々の機構を駆動するためのドライバ11、および、撮像素子2を駆動するためのタイミングジェネレータ(TG)12などが設けられている。   The imaging apparatus shown in FIG. 1 includes an optical block 1, an imaging device 2, an AFE (Analog Front End) circuit 3, a camera signal processing circuit 4, a system controller 5, and an input unit 6. Further, the imaging apparatus is provided with a driver 11 for driving various mechanisms in the optical block 1, a timing generator (TG) 12 for driving the imaging device 2, and the like.

光学ブロック1は、被写体からの光を撮像素子2に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞りなどを具備している。ドライバ11は、システムコントローラ5からの制御信号に応じて、光学ブロック1内の機構の駆動を制御する。   The optical block 1 includes a lens for condensing light from a subject on the image sensor 2, a drive mechanism for moving the lens to perform focusing and zooming, a mechanical shutter, a diaphragm, and the like. The driver 11 controls driving of the mechanism in the optical block 1 in accordance with a control signal from the system controller 5.

撮像素子2は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型などの固体撮像素子であり、TG12から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。TG12は、システムコントローラ5の制御の下でタイミング信号を出力する。   The image pickup device 2 is a solid-state image pickup device such as a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal Oxide Semiconductor) type, and is driven based on a timing signal output from the TG 12 to receive incident light from a subject. Convert to electrical signal. The TG 12 outputs a timing signal under the control of the system controller 5.

AFE回路3は、撮像素子2から出力されたアナログ画像信号に対して、CDS(Correlated Double Sampling)処理によりS/Nを良好に保つようにサンプルホールドを行い、さらにシステムコントローラ5の制御の下でAGC(Auto Gain Control)処理により利得を制御し、A/D変換を行ってデジタル画像信号を出力する。   The AFE circuit 3 samples and holds the analog image signal output from the image sensor 2 by CDS (Correlated Double Sampling) processing so as to keep the S / N good, and further, under the control of the system controller 5. The gain is controlled by AGC (Auto Gain Control) processing, A / D conversion is performed, and a digital image signal is output.

カメラ信号処理回路4は、AFE回路3からの画像信号に対するAF(Auto Focus)、AE(Auto Exposure)、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では、カメラ信号処理回路4には、入力画像信号の各色成分に対してマトリクス演算を施すリニアマトリクス演算回路41と、各色成分に対するゲインを調整するホワイトバランス調整回路42とが設けられている。   The camera signal processing circuit 4 executes various types of camera signal processing such as AF (Auto Focus), AE (Auto Exposure), and white balance adjustment on the image signal from the AFE circuit 3, or a part of the processing. In the present embodiment, the camera signal processing circuit 4 is provided with a linear matrix operation circuit 41 that performs a matrix operation on each color component of the input image signal, and a white balance adjustment circuit 42 that adjusts the gain for each color component. ing.

システムコントローラ5は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などからなるマイクロコンピュータであり、ROMなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部6は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をシステムコントローラ5に出力する。   The system controller 5 is a microcomputer including, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and this imaging is performed by executing a program stored in the ROM or the like. Each part of the apparatus is comprehensively controlled, and various operations for the control are executed. The input unit 6 includes operation keys, dials, levers, and the like that receive user operation inputs, and outputs a control signal corresponding to the operation inputs to the system controller 5.

この撮像装置では、撮像素子2によって受光されて光電変換された信号が、順次AFE回路3に供給され、CDS処理やAGC処理が施された後、デジタル信号に変換される。カメラ信号処理回路4は、AFE回路3から供給されたデジタル画像信号を画質補正処理し、最終的にY信号とC信号とに変換して出力する。   In this image pickup apparatus, the signals received and photoelectrically converted by the image pickup device 2 are sequentially supplied to the AFE circuit 3, subjected to CDS processing and AGC processing, and then converted into digital signals. The camera signal processing circuit 4 performs image quality correction processing on the digital image signal supplied from the AFE circuit 3, and finally converts the digital image signal into a Y signal and a C signal for output.

カメラ信号処理回路4から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これによりLCD(Liquid Crystal Display)などの図示しないモニタにカメラスルー画像が表示される。また、入力部6からのユーザの入力操作などによりシステムコントローラ5に対して画像の記録が指示されると、カメラ信号処理回路4からの画像データは図示しないCODEC(enCOder,DECoder)に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路4からは1フレーム分の画像データがCODECに供給され、動画像の記録の際には、処理された画像データがCODECに連続的に供給される。   The image data output from the camera signal processing circuit 4 is supplied to a graphic interface circuit (not shown) and converted into a display image signal, whereby a camera-through image is displayed on a monitor (not shown) such as an LCD (Liquid Crystal Display). Is done. When the system controller 5 is instructed to record an image by a user input operation from the input unit 6, the image data from the camera signal processing circuit 4 is supplied to a CODEC (enCOder, DEcoder) (not shown), A predetermined compression encoding process is performed and recorded on a recording medium (not shown). When recording a still image, one frame of image data is supplied to the CODEC from the camera signal processing circuit 4, and when recording a moving image, the processed image data is continuously supplied to the CODEC. The

図2は、カメラ信号処理回路の要部構成を示すブロック図である。
カメラ信号処理回路4は、図2に示すように、リニアマトリクス演算回路41、ホワイトバランス調整回路42aおよび42b、前補正回路43、画像補間回路44、ローパスフィルタ(LPF)回路45、減算回路46、積分回路47aおよび47b、MIX(合成)回路48、γ補正回路49、Y信号処理回路50、およびC信号処理回路51を具備する。
FIG. 2 is a block diagram illustrating a configuration of a main part of the camera signal processing circuit.
As shown in FIG. 2, the camera signal processing circuit 4 includes a linear matrix calculation circuit 41, white balance adjustment circuits 42a and 42b, a pre-correction circuit 43, an image interpolation circuit 44, a low-pass filter (LPF) circuit 45, a subtraction circuit 46, Integration circuits 47a and 47b, a MIX (synthesis) circuit 48, a γ correction circuit 49, a Y signal processing circuit 50, and a C signal processing circuit 51 are provided.

前補正回路43は、AFE回路3からのデジタル画像信号に対して、黒レベルを合わせるデジタルクランプ処理、撮像素子2の欠陥画素の出力信号を補正する欠陥補正処理、レンズの周辺における光量落ちを補正するシェーディング補正処理など、撮像素子2や光学系に関する補正処理を施す。   The pre-correction circuit 43 corrects the black level of the digital image signal from the AFE circuit 3, the defect correction process for correcting the output signal of the defective pixel of the image sensor 2, and the light loss at the periphery of the lens. Correction processing related to the image sensor 2 and the optical system, such as shading correction processing to be performed.

画像補間回路44は、いわゆるデモザイク処理を行うブロックであり、前補正処理後の画像信号に対して、空間位相がずれたRGB信号から3枚のRGBプレーン信号(同じ空間位置のRGB信号)を生成する。   The image interpolation circuit 44 is a block that performs so-called demosaic processing, and generates three RGB plane signals (RGB signals at the same spatial position) from RGB signals that are out of spatial phase with respect to the image signal after the pre-correction processing. To do.

ローパスフィルタ回路45は、画像補間回路44からの出力画像信号の出力帯域を制限、色信号処理に適する低域成分のみ通過させる。
リニアマトリクス演算回路41は、ローパスフィルタ回路45からのRGB信号(RLPF,GLPF,BLPF)に対して、下記の式(2)のマトリクス演算を施す。
The low-pass filter circuit 45 limits the output band of the output image signal from the image interpolation circuit 44 and passes only a low-frequency component suitable for color signal processing.
The linear matrix calculation circuit 41 performs matrix calculation of the following expression (2) on the RGB signals (R LPF , G LPF , B LPF ) from the low-pass filter circuit 45.

Figure 0004687454
Figure 0004687454

このリニアマトリクス演算回路41は、入力画像信号に対して、色再現性が向上するような信号補正を行う。このために、リニアマトリクス演算回路41に対しては、撮像素子2のRGB各成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数が設定される。このとき、マトリクス係数の非対角成分(b,c,d,f,g,h)のうちの少なくとも1つが負の数になることもある。   The linear matrix calculation circuit 41 performs signal correction on the input image signal so that color reproducibility is improved. For this reason, a matrix coefficient is set for the linear matrix operation circuit 41 so that the spectral characteristics of the RGB components of the image sensor 2 approach a color matching function that is substantially equal to the human visual sensitivity characteristic. At this time, at least one of the off-diagonal components (b, c, d, f, g, h) of the matrix coefficient may be a negative number.

ホワイトバランス調整回路42aは、リニアマトリクス演算回路41からの出力画像信号を受けて、システムコントローラ5からのゲイン制御値に基づき、RGB各成分のゲインを調整する。   The white balance adjustment circuit 42 a receives the output image signal from the linear matrix calculation circuit 41 and adjusts the gain of each RGB component based on the gain control value from the system controller 5.

減算回路46は、画像補間回路44からの出力画像信号から、ローパスフィルタ回路45からの出力画像信号を、RGB成分ごとに減算する。すなわち、減算回路46からは、画像補間回路44からの出力画像信号から、ローパスフィルタ回路45を通過した低域成分の信号が除去された、高域成分のみ含む画像信号が出力される。   The subtraction circuit 46 subtracts the output image signal from the low-pass filter circuit 45 from the output image signal from the image interpolation circuit 44 for each RGB component. That is, the subtracting circuit 46 outputs an image signal including only a high-frequency component obtained by removing the low-frequency component signal that has passed through the low-pass filter circuit 45 from the output image signal from the image interpolation circuit 44.

ホワイトバランス調整回路42bは、減算回路46からの出力画像信号を受けて、システムコントローラ5からのゲイン制御値に基づき、RGB各成分のゲインを調整する。
積分回路47aおよび47bは、それぞれリニアマトリクス演算回路41、減算回路46からの出力信号から輝度信号を生成して積分し、積分値をシステムコントローラ5に出力する。ここで、システムコントローラ5は、積分回路47aおよび47bからの各積分値を基に、入力画像上の白い被写体に対してRGB各成分の値が等しくなるように、ホワイトバランス調整回路42aおよび42bのゲインをそれぞれ制御する。このゲイン制御値の演算では、例えば、画面内の高輝度部は白である可能性が高いといった経験的な予測を基に、その高輝度部のRGB各成分が等しくなるようなゲイン制御値を演算する。このような演算により、ホワイトバランス調整回路42aおよび42bには、それぞれ異なるゲイン制御値が設定されることになる。
The white balance adjustment circuit 42 b receives the output image signal from the subtraction circuit 46 and adjusts the gain of each RGB component based on the gain control value from the system controller 5.
The integration circuits 47 a and 47 b generate and integrate a luminance signal from the output signals from the linear matrix calculation circuit 41 and the subtraction circuit 46, respectively, and output the integration value to the system controller 5. Here, the system controller 5 uses the white balance adjustment circuits 42a and 42b so that the values of the RGB components are equal to the white subject on the input image based on the integration values from the integration circuits 47a and 47b. Control each gain. In the calculation of the gain control value, for example, on the basis of empirical prediction that the high luminance portion in the screen is likely to be white, the gain control value is set so that the RGB components of the high luminance portion are equal. Calculate. By such calculation, different gain control values are set in the white balance adjustment circuits 42a and 42b.

なお、上記のローパスフィルタ回路45、リニアマトリクス演算回路41、およびホワイトバランス調整回路42aは、画像補間回路44からの出力画像信号の低域成分に対する補正処理を行う低域処理部401を構成する。一方、減算回路46およびホワイトバランス調整回路42bは、画像補間回路44からの出力画像信号の高域成分に対する補正処理を行う高域処理部402を構成する。   The low-pass filter circuit 45, the linear matrix calculation circuit 41, and the white balance adjustment circuit 42a constitute a low-frequency processing unit 401 that performs a correction process on the low-frequency component of the output image signal from the image interpolation circuit 44. On the other hand, the subtraction circuit 46 and the white balance adjustment circuit 42 b constitute a high frequency processing unit 402 that performs correction processing on the high frequency component of the output image signal from the image interpolation circuit 44.

MIX回路48は、低域処理部401および高域処理部402からそれぞれ出力された画像信号を、RGB成分ごとに加算する。
γ補正回路49は、MIX回路48から出力される画像信号に対して、γ補正を施す。Y信号処理回路50およびC信号処理回路51は、γ補正後の画像信号に対してそれぞれY信号処理、C信号処理を施し、Y信号、Cr(R−Y)信号およびCb(B−Y)信号を生成する。例えば、SD(Standard Definition)動画信号を出力する場合には、γ処理後の画像信号を(Rγ,Gγ,Bγ)とすると、Y信号処理回路50は、次の式(3)に従ってY信号を生成し、C信号処理回路51は、次の式(4)および式(5)に従ってCr(R−Y)信号およびCb(B−Y)信号を生成する。
Y=0.3Rγ+0.6Gγ+0.1Bγ ……(3)
Cr(R−Y)=0.7Rγ−0.6Gγ−0.1Bγ ……(4)
Cb(B−Y)=−0.3Rγ−0.6Gγ+0.9Bγ ……(5)
以上のカメラ信号処理回路4においては、低域処理部401により、色信号の補正に適した低域成分のみの画像信号に対して、色再現性向上のためのリニアマトリクス演算が施され、処理後の低域成分と、リニアマトリクス演算が施されていない高域成分とが、MIX回路48によって加算されて出力されることが特徴である。
The MIX circuit 48 adds the image signals output from the low-frequency processing unit 401 and the high-frequency processing unit 402 for each RGB component.
The γ correction circuit 49 performs γ correction on the image signal output from the MIX circuit 48. The Y signal processing circuit 50 and the C signal processing circuit 51 perform Y signal processing and C signal processing on the image signal after γ correction, respectively, and Y signal, Cr (R−Y) signal, and Cb (BY). Generate a signal. For example, when outputting an SD (Standard Definition) video signal, assuming that the image signal after γ processing is (Rγ, Gγ, Bγ), the Y signal processing circuit 50 outputs the Y signal according to the following equation (3). The C signal processing circuit 51 generates a Cr (R−Y) signal and a Cb (B−Y) signal in accordance with the following equations (4) and (5).
Y = 0.3Rγ + 0.6Gγ + 0.1Bγ (3)
Cr (R−Y) = 0.7Rγ−0.6Gγ−0.1Bγ (4)
Cb (B−Y) = − 0.3Rγ−0.6Gγ + 0.9Bγ (5)
In the camera signal processing circuit 4 described above, the low-frequency processing unit 401 performs linear matrix calculation for improving color reproducibility on an image signal having only a low-frequency component suitable for color signal correction, and performs processing. The later low frequency component and the high frequency component not subjected to the linear matrix calculation are added by the MIX circuit 48 and output.

例えば、図10に挙げた従来の構成のように、画像補間回路44から出力されるRGB信号の全帯域に対して、負の係数を含むリニアマトリクス演算による色再現性向上のための処理を一律に施した場合には、最終的な色信号の帯域には不必要な高域成分を含んだ信号に対して、S/Nを劣化させてしまう減算処理を施すことになる。このため、高域信号に含まれるノイズの影響が、低域の色信号に影響を与え、色信号のS/Nをより顕著に劣化させてしまう。   For example, as in the conventional configuration shown in FIG. 10, processing for improving color reproducibility by linear matrix calculation including a negative coefficient is uniformly applied to the entire band of the RGB signal output from the image interpolation circuit 44. In this case, a subtraction process that degrades the S / N is performed on a signal that includes a high-frequency component that is unnecessary in the band of the final color signal. For this reason, the influence of noise included in the high-frequency signal affects the low-frequency color signal, and the S / N of the color signal is more significantly degraded.

これに対して、図2のような構成とすることにより、低域成分のみに対してリニアマトリクス演算を施すことにより、色再現性の向上効果を生みながらも、減算処理によるS/Nの劣化を抑圧することが可能となる。   On the other hand, by adopting the configuration as shown in FIG. 2, the linear matrix operation is performed only on the low frequency component, thereby producing the effect of improving the color reproducibility, but the S / N degradation due to the subtraction process. Can be suppressed.

図3は、第1の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。
図3では、図2のブロック図中のポイントA1,B1,C1およびD1における、G,B,Rの各成分の信号帯域を、概略的に示している。この図において、fsはサンプリング周波数を示す。
FIG. 3 is a diagram illustrating a signal band in each part of the camera signal processing circuit according to the first embodiment.
FIG. 3 schematically shows signal bands of components G, B, and R at points A1, B1, C1, and D1 in the block diagram of FIG. In this figure, fs indicates a sampling frequency.

まず、画像補間回路44の出力段(ポイントA1)において、図中のk、lは、l≧k>0を満たす実数であり、撮像素子2の画素配列(フィルタコーディング)や、画像補間回路44における信号処理方式などに基づいて決まる。なお、図3では例として、例えば斜め方向の画素信号で補間するなど、デモザイク処理を工夫することにより、l=kとなるような周波数特性を得た場合を想定して説明する。   First, in the output stage (point A1) of the image interpolation circuit 44, k and l in the figure are real numbers that satisfy l ≧ k> 0, and the pixel arrangement (filter coding) of the image sensor 2 and the image interpolation circuit 44 are the same. It is determined based on the signal processing method in In FIG. 3, as an example, a case will be described in which a frequency characteristic such that l = k is obtained by devising demosaic processing such as interpolation with pixel signals in an oblique direction.

このポイントA1における画像信号に対して、ローパスフィルタ回路45の出力段(ポイントB1)における画像信号は、ローパスフィルタ回路45により(1/m)fs以下に帯域制限された特性を持つ。また、減算回路46の出力段(ポイントC1)における画像信号は、ポイントA1の画像信号から、ポイントB1における画像信号の成分が除去された帯域特性を持つ。   With respect to the image signal at the point A1, the image signal at the output stage (point B1) of the low-pass filter circuit 45 has a characteristic in which the band is limited to (1 / m) fs or less by the low-pass filter circuit 45. Further, the image signal at the output stage (point C1) of the subtracting circuit 46 has a band characteristic obtained by removing the component of the image signal at point B1 from the image signal at point A1.

そして、MIX回路48の出力段(ポイントD1)における画像信号は、ポイントB1と同じ帯域特性を持ち、リニアマトリクス演算回路41およびホワイトバランス調整回路42aでの信号補正が施された低域成分と、ポイントC1と同じ帯域特性を持ち、ホワイトバランス調整回路42bでの信号補正が施された高域成分とが合成された信号である。   The image signal at the output stage (point D1) of the MIX circuit 48 has the same band characteristics as the point B1, and the low-frequency component subjected to signal correction in the linear matrix arithmetic circuit 41 and the white balance adjustment circuit 42a, This is a signal having the same band characteristic as that of the point C1 and a high frequency component subjected to signal correction in the white balance adjustment circuit 42b.

ここで、mは、m>k>0を満たす実数である。ローパスフィルタ回路45では、基本的に、色信号の生成に対する影響が極めて小さい(すなわち、細かい色の変化として人間がほとんど視認できない)高周波成分を除去するように、mが設定される。実際には、Y信号処理回路50およびC信号処理回路51による最終的な出力画像フォーマットや、ローパスフィルタ回路45以降の色信号処理(ホワイトバランス調整回路42bの処理も含む)などを考慮し、色ノイズや色ニジミなどの画質劣化と、色解像度の向上とのトレードオフにより、最適なmの値を設定する。   Here, m is a real number that satisfies m> k> 0. In the low-pass filter circuit 45, basically, m is set so as to remove a high-frequency component that has an extremely small influence on the generation of a color signal (that is, a human can hardly visually recognize as a fine color change). Actually, the final output image format by the Y signal processing circuit 50 and the C signal processing circuit 51, the color signal processing after the low-pass filter circuit 45 (including the processing of the white balance adjustment circuit 42b), and the like are taken into consideration. The optimum value of m is set by a trade-off between image quality degradation such as noise and color blur and improvement in color resolution.

以上の処理により、人間の視覚特性上、色の認識に必要となる低域成分に対してのみ、リニアマトリクス演算回路41による画質補正処理が施されるので、出力信号の色再現性が確実に向上する。一方で、リニアマトリクス演算回路41において負のリニアマトリクス係数を用いた演算が行われた場合でも、色信号の処理に不要で、かつノイズ成分を多く含む高域成分に対しては、このリニアマトリクス演算が施されないので、結果的にノイズ成分が増長されることがなく、S/Nの劣化が防止される。従って、色再現性が高く、かつ、ノイズの目立たない、高画質の画像を撮像することが可能になる。   With the above processing, the image quality correction processing by the linear matrix arithmetic circuit 41 is performed only on the low frequency components necessary for color recognition in terms of human visual characteristics, so that the color reproducibility of the output signal is ensured. improves. On the other hand, even when a calculation using a negative linear matrix coefficient is performed in the linear matrix calculation circuit 41, this linear matrix is not required for color signal processing and for a high frequency component containing a lot of noise components. Since no calculation is performed, the noise component is not increased as a result, and the deterioration of S / N is prevented. Therefore, it is possible to capture a high-quality image with high color reproducibility and inconspicuous noise.

次に、図4は、本発明の第2の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図4に示すカメラ信号処理回路4aは、第1の実施の形態におけるカメラ信号処理回路4に対応する機能ブロックであり、第1の実施の形態と比較して、高域処理部403の構成が異なる。高域処理部403は、画像補間回路44からの出力画像信号のうちのG成分から、ローパスフィルタ回路45の出力画像信号のうちのG成分を減算する減算回路46aを備える。また、減算回路46aの出力信号は、MIX回路48に対してRGBのそれぞれの信号成分として入力され、ホワイトバランス調整回路42aからの出力画像信号のRGBの各成分に加算される。
Next, FIG. 4 is a block diagram showing a main configuration of an imaging apparatus according to the second embodiment of the present invention.
The camera signal processing circuit 4a shown in FIG. 4 is a functional block corresponding to the camera signal processing circuit 4 in the first embodiment, and the configuration of the high frequency processing unit 403 is different from that in the first embodiment. Different. The high frequency processing unit 403 includes a subtracting circuit 46 a that subtracts the G component of the output image signal from the low-pass filter circuit 45 from the G component of the output image signal from the image interpolation circuit 44. The output signal of the subtraction circuit 46a is input to the MIX circuit 48 as RGB signal components and added to the RGB components of the output image signal from the white balance adjustment circuit 42a.

図5は、第2の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。
画像補間回路44の出力段(ポイントA2)において、図中のk、lは、第1の実施の形態と同様に、撮像素子2の画素配列(フィルタコーディング)と、画像補間回路44における信号処理方式とによって決まる。ただし、図5では図3と同様に、例として、l=kとなるような周波数特性を得た場合を想定して説明する。
FIG. 5 is a diagram showing signal bands in each part of the camera signal processing circuit according to the second embodiment.
In the output stage (point A2) of the image interpolation circuit 44, k and l in the figure are the pixel arrangement (filter coding) of the image sensor 2 and the signal processing in the image interpolation circuit 44, as in the first embodiment. It depends on the method. However, in FIG. 5, as in FIG. 3, as an example, a description will be given assuming that a frequency characteristic such that l = k is obtained.

このポイントA2における画像信号に対して、ローパスフィルタ回路45の出力段(ポイントB2)における画像信号は、ローパスフィルタ回路45により(1/m)fs以下に帯域制限された特性を持つ。また、減算回路46aの出力段(ポイントC2)における画像信号は、ポイントA2の画像信号のG成分から、ポイントB2における画像信号のG成分が除去された帯域特性を持つ。   In contrast to the image signal at the point A2, the image signal at the output stage (point B2) of the low-pass filter circuit 45 has a characteristic whose band is limited to (1 / m) fs or less by the low-pass filter circuit 45. The image signal at the output stage (point C2) of the subtracting circuit 46a has a band characteristic obtained by removing the G component of the image signal at the point B2 from the G component of the image signal at the point A2.

そして、MIX回路48の出力段(ポイントD2)における画像信号は、ポイントB2と同じ帯域特性を持ち、リニアマトリクス演算回路41およびホワイトバランス調整回路42aでの信号補正が施された低域成分に対して、ポイントC2における高域成分のみ風組むG成分が合成された信号である。   The image signal at the output stage (point D2) of the MIX circuit 48 has the same band characteristic as that of the point B2, and the low-frequency component subjected to signal correction in the linear matrix arithmetic circuit 41 and the white balance adjustment circuit 42a. Thus, the G component that combines only the high frequency components at the point C2 is a synthesized signal.

この第2の実施の形態に係るカメラ信号処理回路4aは、G成分の空間周波数特性がR成分およびB成分に対して極めて高く、色信号の生成に対してR成分およびB成分の影響が小さいシステムに適している。このようなシステムでは、上記のカメラ信号処理回路4aを適用することで、色再現性の向上とS/Nの劣化防止とを両立できるとともに、第1の実施の形態と比較して、回路構成が単純化され、処理負荷も軽減されるので、回路の小型化や製造コストの抑制、消費電力の低減といった効果が得られる。   In the camera signal processing circuit 4a according to the second embodiment, the spatial frequency characteristic of the G component is extremely high with respect to the R component and the B component, and the influence of the R component and the B component is small on the generation of the color signal. Suitable for the system. In such a system, by applying the above-described camera signal processing circuit 4a, it is possible to achieve both improvement in color reproducibility and prevention of S / N deterioration, and a circuit configuration as compared with the first embodiment. Is simplified and the processing load is reduced, so that effects such as circuit miniaturization, manufacturing cost reduction, and power consumption reduction can be obtained.

図6は、第2の実施の形態に適したフィルタコーディングの一例を示す図である。また、図7は、図6のフィルタコーディングを用いた場合の空間周波数特性を示す図である。
図6に示すカラーフィルタの配列は、ベイヤ配列のような正方格子状の配列を45°傾けた、いわゆる斜め画素配列の構成になっている。この画素配列では、1行目はGとRとを交互に配置したGRライン、2行目はGのみ配置したGライン、3行目はBとGとを交互に配置したGBライン、4行目はGのみ配置したGラインとされ、以降、この4行を単位として繰り返してカラーフィルタを配列した構成となっている。
FIG. 6 is a diagram illustrating an example of filter coding suitable for the second embodiment. FIG. 7 is a diagram showing the spatial frequency characteristics when the filter coding of FIG. 6 is used.
The color filter array shown in FIG. 6 has a so-called oblique pixel array configuration in which a square lattice-like array such as a Bayer array is inclined by 45 °. In this pixel arrangement, the first line is a GR line in which G and R are alternately arranged, the second line is a G line in which only G is arranged, the third line is a GB line in which B and G are alternately arranged, and 4 lines The eye is a G line in which only G is arranged, and thereafter, the color filter is arranged by repeating these four rows as a unit.

ここで、図6のように、水平・垂直方向のG成分のサンプリングレートをdとすると、サンプリング定理から、G成分は、水平・垂直方向について、(1/2)fs(ただし、fs=1/d)の周波数の信号まで捉えることができる。一方、R成分およびB成分については、水平・垂直方向のサンプリングレートは4dとなり、サンプリング定理から、(1/8)fsの周波数の信号まで捉えることができる。以上の空間周波数特性を表したものが、図7のグラフである。   Here, as shown in FIG. 6, when the sampling rate of the G component in the horizontal / vertical direction is d, the G component is (1/2) fs (where fs = 1) in the horizontal / vertical direction from the sampling theorem. / D) can be captured. On the other hand, with respect to the R component and the B component, the sampling rate in the horizontal and vertical directions is 4d, and from the sampling theorem, signals with a frequency of (1/8) fs can be captured. The graph of FIG. 7 represents the above spatial frequency characteristics.

一方、以下の図8および図9を用いて、比較のためにベイヤ配列の場合について説明する。図8は、ベイヤ配列のフィルタコーディングを示す図であり、また、図9は、ベイヤ配列を用いた場合の空間周波数特性を示す図である。   On the other hand, the case of the Bayer array will be described for comparison with reference to FIGS. 8 and 9 below. FIG. 8 is a diagram illustrating filter coding of the Bayer array, and FIG. 9 is a diagram illustrating spatial frequency characteristics when the Bayer array is used.

図8に示すように、ベイヤ配列の場合では、水平・垂直方向の画素ピッチに対応するサンプリングレートをdとすると、G成分は、水平・垂直方向について、(1/2)fsの周波数の信号まで捉えることができ、R成分およびB成分については、(1/4)fsの周波数の信号まで捉えることができる。以上の空間周波数特性を表したものが、図9のグラフである。   As shown in FIG. 8, in the case of the Bayer array, if the sampling rate corresponding to the pixel pitch in the horizontal / vertical direction is d, the G component is a signal having a frequency of (1/2) fs in the horizontal / vertical direction. As for the R component and the B component, a signal having a frequency of (1/4) fs can be captured. The graph of FIG. 9 represents the above spatial frequency characteristics.

ここで、図6のフィルタコーディングを用いた場合には、図9のベイヤ配列の場合と比較して、G成分とR成分およびB成分との間の周波数特性の差が大きいことがわかる。図6のフィルタコーディングの特徴は、人間の視覚特性上、R成分およびB成分と比較してG成分の方が感度が高いことから、R成分の解像度をより高くして、人間の解像感を高めている点である。   Here, it can be seen that when the filter coding of FIG. 6 is used, the difference in frequency characteristics between the G component, the R component, and the B component is larger than in the case of the Bayer array of FIG. The filter coding feature of FIG. 6 is that the G component is more sensitive than the R component and the B component in terms of human visual characteristics. It is the point which raises.

この図6のフィルタコーディングのように、R成分およびB成分の帯域と比較して、G成分の帯域が高周波方向に十分広い場合には、R成分およびB成分の各高域成分は、最終的な画像信号の生成には実質的にほとんど寄与しない。例えば、高域成分には、R成分およびB成分の信号がほとんど含まれない場合もあり得る。   When the G component band is sufficiently wide in the high frequency direction as compared with the R component and B component bands as in the filter coding of FIG. 6, the high frequency components of the R component and B component are finally Substantially does not contribute to the generation of a reliable image signal. For example, the high frequency component may contain almost no R component and B component signals.

このため、このような場合には、図4に示した構成のように、高域成分については、MIX回路48においてG成分を各色成分として加算しても、生成される画像の画質にほとんど影響しない。従って、図4のようなカメラ信号処理回路4aを用いることで、回路規模や処理負荷を抑制しながらも、色再現性の向上とS/Nの劣化とを両立することができる。   Therefore, in such a case, as in the configuration shown in FIG. 4, even if the G component is added as each color component in the MIX circuit 48, the image quality of the generated image is hardly affected. do not do. Therefore, by using the camera signal processing circuit 4a as shown in FIG. 4, it is possible to achieve both improved color reproducibility and S / N degradation while suppressing the circuit scale and processing load.

ただし、ベイヤ配列の撮像素子を用いた場合や、色成分ごとに個別の撮像素子を用いた場合などでも、人間の視覚特性上、G成分の感度が比較的高く、R成分およびB成分の高域成分が最終的な画像の画質に与える影響は小さいと言えることから、図4の構成を適用しても、色再現性の向上とS/Nの劣化とを両立する効果を得ることができる。   However, even when Bayer array image sensors are used, or when individual image sensors are used for each color component, the sensitivity of the G component is relatively high and the R component and B component are high due to human visual characteristics. Since it can be said that the influence of the band component on the final image quality is small, even if the configuration of FIG. 4 is applied, it is possible to obtain the effect of achieving both improved color reproducibility and S / N degradation. .

なお、上記の各実施の形態では、低域処理部や高域処理部、MIX回路、積分回路などの機能を、カメラ信号処理回路上にハードウェアとして組み込んだ場合について説明したが、これらのすべての機能またはその一部は、システムコントローラ5でのソフトウェア処理によって実現することもできる。この場合、その機能を実現するプログラムが、システムコントローラ5内のROMあるいは不揮発性メモリに格納される。   In each of the above embodiments, the case where functions such as a low-frequency processing unit, a high-frequency processing unit, a MIX circuit, and an integration circuit are incorporated as hardware on a camera signal processing circuit has been described. These functions or a part thereof can also be realized by software processing in the system controller 5. In this case, a program for realizing the function is stored in a ROM or a nonvolatile memory in the system controller 5.

また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた種々の撮像装置、および、このような撮像機能を具備する携帯電話機やPDA(Personal Digital Assistants)などの機器に対して適用することができる。さらに、PC(パーソナルコンピュータ)などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。また、画像信号の入力を受けて画質補正を行う画像処理装置にも、本発明を適用可能である。   The present invention also provides various imaging devices using solid-state imaging devices such as digital video cameras and digital still cameras, and devices such as mobile phones and PDAs (Personal Digital Assistants) having such imaging functions. Can be applied. Furthermore, the present invention can also be applied to a processing device and a recording device for an image signal by a small camera such as a videophone or game software connected to a PC (personal computer) or the like. The present invention can also be applied to an image processing apparatus that receives image signal input and corrects image quality.

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能(カメラ信号処理回路での画質補正機能、マイクロコントローラによる合成比設定機能など)の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。   Further, the above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the apparatus should have (image quality correction function in the camera signal processing circuit, composition ratio setting function by the microcontroller, etc.) is provided. And the said processing function is implement | achieved on a computer by running the program with a computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical disk, and a semiconductor memory.

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   In order to distribute the program, for example, portable recording media such as an optical disk and a semiconductor memory on which the program is recorded are sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

本発明の第1の実施の形態に係る撮像装置の要部構成を示すブロック図である。1 is a block diagram illustrating a main configuration of an imaging apparatus according to a first embodiment of the present invention. カメラ信号処理回路の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of a camera signal processing circuit. 第1の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。It is a figure which shows the signal band in each part of the camera signal processing circuit which concerns on 1st Embodiment. 本発明の第2の実施の形態に係る撮像装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the imaging device which concerns on the 2nd Embodiment of this invention. 第2の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。It is a figure which shows the signal band in each part of the camera signal processing circuit which concerns on 2nd Embodiment. 第2の実施の形態に適したフィルタコーディングの一例を示す図である。It is a figure which shows an example of the filter coding suitable for 2nd Embodiment. 図6のフィルタコーディングを用いた場合の空間周波数特性を示す図である。It is a figure which shows the spatial frequency characteristic at the time of using the filter coding of FIG. ベイヤ配列のフィルタコーディングを示す図である。It is a figure which shows the filter coding of a Bayer array. ベイヤ配列を用いた場合の空間周波数特性を示す図である。It is a figure which shows the spatial frequency characteristic at the time of using a Bayer arrangement | sequence. リニアマトリクス演算機能を含む従来の撮像装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the conventional imaging device containing a linear matrix calculation function.

符号の説明Explanation of symbols

1……光学ブロック、2……撮像素子、3……AFE(アナログフロントエンド)回路、4……カメラ信号処理回路、5……システムコントローラ、6……入力部、11……ドライバ、12……TG(タイミングジェネレータ)、41……リニアマトリクス演算回路、42,42a,42b……ホワイトバランス調整回路、43……前補正回路、44……画像補間回路、45……ローパスフィルタ回路、46……減算回路、47a,47b……積分回路、48……MIX回路、49……γ補正回路、50……Y信号処理回路、51……C信号処理回路、401……低域処理部、402……高域処理部   DESCRIPTION OF SYMBOLS 1 ... Optical block, 2 ... Image sensor, 3 ... AFE (analog front end) circuit, 4 ... Camera signal processing circuit, 5 ... System controller, 6 ... Input part, 11 ... Driver, 12 ... ... TG (timing generator), 41... Linear matrix arithmetic circuit, 42, 42 a, 42 b... White balance adjustment circuit, 43 ... pre-correction circuit, 44 ... image interpolation circuit, 45 ... low-pass filter circuit, 46. ... subtraction circuit, 47a, 47b ... integration circuit, 48 ... MIX circuit, 49 ... γ correction circuit, 50 ... Y signal processing circuit, 51 ... C signal processing circuit, 401 ... low-frequency processing unit, 402 ...... High frequency processing section

Claims (8)

入力画像信号に対して色補正処理を施す画像処理装置において、
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、
を有し、
前記帯域分離手段は、前記低周波成分として、前記入力画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記入力画像信号のG成分のみを帯域制限した信号を出力し、
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたG成分のみ含む同じ前記高周波成分を加算する、
ことを特徴とする画像処理装置。
In an image processing apparatus that performs color correction processing on an input image signal,
Band separation means for separating the input image signal into a high frequency component and a low frequency component;
Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the band separating means;
Signal adding means for adding the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
I have a,
The band separation means outputs a signal obtained by band-limiting each color component of the input image signal as the low-frequency component, and outputs a signal obtained by band-limiting only the G component of the input image signal as the high-frequency component,
The signal adding means adds the same high frequency component including only the G component output from the band separating means to each color component of the low frequency component subjected to matrix conversion by the linear matrix calculating means,
An image processing apparatus.
入力画像信号に対して色補正処理を施す画像処理装置において、  In an image processing apparatus that performs color correction processing on an input image signal,
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、  Band separation means for separating the input image signal into a high frequency component and a low frequency component;
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、  Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the band separating means;
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、  Signal adding means for adding the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
を有し、  Have
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする画像処理装置。  An image processing apparatus according to claim 1, wherein a frequency to be separated is set in the band separation unit so that the high frequency component does not affect generation of a color signal in a subsequent stage of the signal addition unit.
固体撮像素子を用いて画像を撮像する撮像装置において、  In an imaging device that captures an image using a solid-state imaging device,
撮像により得られた画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、  Band separation means for separating an image signal obtained by imaging into a high-frequency component and a low-frequency component;
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、  Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the band separating means;
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、  Signal adding means for adding the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
を有し、  Have
前記帯域分離手段は、前記低周波成分として、前記画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記画像信号のG成分のみを帯域制限した信号を出力し、  The band separation unit outputs a signal obtained by band-limiting each color component of the image signal as the low-frequency component, and outputs a signal obtained by band-limiting only the G component of the image signal as the high-frequency component,
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたG成分のみ含む同じ前記高周波成分を加算する、  The signal adding means adds the same high frequency component including only the G component output from the band separating means to each color component of the low frequency component subjected to matrix conversion by the linear matrix calculating means,
ことを特徴とする撮像装置。  An imaging apparatus characterized by that.
固体撮像素子を用いて画像を撮像する撮像装置において、  In an imaging device that captures an image using a solid-state imaging device,
撮像により得られた画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、  Band separation means for separating an image signal obtained by imaging into a high-frequency component and a low-frequency component;
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、  Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the band separating means;
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、  Signal adding means for adding the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
を有し、  Have
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする撮像装置。  The imaging apparatus according to claim 1, wherein a frequency to be separated is set in the band separation unit so that the high-frequency component does not affect generation of a color signal in a subsequent stage of the signal addition unit.
入力画像信号に対して色補正処理を施すための画像処理方法において、  In an image processing method for performing color correction processing on an input image signal,
帯域分離手段が、前記入力画像信号を高周波成分と低周波成分とに分離し、  Band separation means separates the input image signal into a high frequency component and a low frequency component,
リニアマトリクス演算手段が、前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換し、  A linear matrix computing means matrix-converts the color component of the low frequency component separated by the band separating means;
信号加算手段が、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する、  A signal adding means adds the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
処理を実行し、  Execute the process,
前記帯域分離手段は、前記低周波成分として、前記入力画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記入力画像信号のG成分のみを帯域制限した信号を出力し、  The band separation means outputs a signal obtained by band-limiting each color component of the input image signal as the low-frequency component, and outputs a signal obtained by band-limiting only the G component of the input image signal as the high-frequency component,
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたG成分のみ含む同じ前記高周波成分を加算する、  The signal adding means adds the same high frequency component including only the G component output from the band separating means to each color component of the low frequency component subjected to matrix conversion by the linear matrix calculating means,
ことを特徴とする画像処理方法。  An image processing method.
入力画像信号に対して色補正処理を施すための画像処理方法において、  In an image processing method for performing color correction processing on an input image signal,
帯域分離手段が、前記入力画像信号を高周波成分と低周波成分とに分離し、  Band separation means separates the input image signal into a high frequency component and a low frequency component,
リニアマトリクス演算手段が、前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換し、  A linear matrix computing means matrix-converts the color component of the low frequency component separated by the band separating means;
信号加算手段が、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する、  A signal adding means adds the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
処理を実行し、  Execute the process,
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする画像処理方法。  An image processing method according to claim 1, wherein a frequency to be separated is set in the band separation unit so that the high frequency component does not affect generation of a color signal in a subsequent stage of the signal addition unit.
入力画像信号に対する色補正処理をコンピュータに実行させる画像処理プログラムにおいて、  In an image processing program for causing a computer to execute color correction processing on an input image signal,
前記コンピュータを、  The computer,
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段、  Band separation means for separating the input image signal into a high frequency component and a low frequency component;
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段、  Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the band separating means;
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段、  A signal adding means for adding the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
として機能させ、  Function as
前記帯域分離手段は、前記低周波成分として、前記入力画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記入力画像信号のG成分のみを帯域制限した信号を出力し、  The band separation means outputs a signal obtained by band-limiting each color component of the input image signal as the low-frequency component, and outputs a signal obtained by band-limiting only the G component of the input image signal as the high-frequency component,
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたG成分のみ含む同じ前記高周波成分を加算する、  The signal adding means adds the same high frequency component including only the G component output from the band separating means to each color component of the low frequency component subjected to matrix conversion by the linear matrix calculating means,
ことを特徴とする画像処理プログラム。  An image processing program characterized by that.
入力画像信号に対する色補正処理をコンピュータに実行させる画像処理プログラムにおいて、  In an image processing program for causing a computer to execute color correction processing on an input image signal,
前記コンピュータを、  The computer,
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段、  Band separation means for separating the input image signal into a high frequency component and a low frequency component;
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段、  Linear matrix computing means for matrix-converting the color components of the low frequency components separated by the band separating means;
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段、  A signal adding means for adding the low frequency component subjected to matrix conversion by the linear matrix calculating means and the high frequency component separated by the band separating means;
として機能させ、  Function as
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする画像処理プログラム。  An image processing program characterized in that a frequency to be separated is set in the band separation unit so that the high-frequency component does not affect generation of a color signal in a subsequent stage of the signal addition unit.
JP2005376806A 2005-12-28 2005-12-28 Image processing apparatus and imaging apparatus Expired - Fee Related JP4687454B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005376806A JP4687454B2 (en) 2005-12-28 2005-12-28 Image processing apparatus and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005376806A JP4687454B2 (en) 2005-12-28 2005-12-28 Image processing apparatus and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2007180893A JP2007180893A (en) 2007-07-12
JP4687454B2 true JP4687454B2 (en) 2011-05-25

Family

ID=38305601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005376806A Expired - Fee Related JP4687454B2 (en) 2005-12-28 2005-12-28 Image processing apparatus and imaging apparatus

Country Status (1)

Country Link
JP (1) JP4687454B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4905279B2 (en) * 2007-07-20 2012-03-28 ソニー株式会社 Imaging circuit and imaging apparatus
JP2009111823A (en) * 2007-10-31 2009-05-21 Sharp Corp Video signal conversion apparatus, video display device, and video signal conversion method
JP5523802B2 (en) * 2009-11-25 2014-06-18 株式会社東芝 Image processing device
JP5882576B2 (en) 2010-12-01 2016-03-09 キヤノン株式会社 Image processing apparatus, image processing apparatus control method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511642U (en) * 1991-07-29 1993-02-12 大日本スクリーン製造株式会社 Color scanner with video plate making function
JPH09331543A (en) * 1996-04-11 1997-12-22 Sony Corp Color area detection circuit and image pickup device using the circuit
JP2001189941A (en) * 1999-12-28 2001-07-10 Fuji Photo Film Co Ltd Solid-state image pickup device and optical filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511642U (en) * 1991-07-29 1993-02-12 大日本スクリーン製造株式会社 Color scanner with video plate making function
JPH09331543A (en) * 1996-04-11 1997-12-22 Sony Corp Color area detection circuit and image pickup device using the circuit
JP2001189941A (en) * 1999-12-28 2001-07-10 Fuji Photo Film Co Ltd Solid-state image pickup device and optical filter

Also Published As

Publication number Publication date
JP2007180893A (en) 2007-07-12

Similar Documents

Publication Publication Date Title
JP5045421B2 (en) Imaging apparatus, color noise reduction method, and color noise reduction program
KR101099401B1 (en) Image processing apparatus and computer-readable medium
US20140049669A1 (en) Image processing apparatus and image processing method
US20110063480A1 (en) Image processing method and apparatus for bayer images
JP2007096583A (en) Image sensing device and image processor
JP2008011066A (en) Image processing apparatus and method
US20060092485A1 (en) Color signal correcting method, apparatus, and program
JP2004363853A (en) Method and device for reducing noise of image signal
JP4687454B2 (en) Image processing apparatus and imaging apparatus
TWI387353B (en) Pixel interpolation circuit, pixel interpolation method, and recording medium
JP4725520B2 (en) Image processing device, non-imaging color signal calculation device, and image processing method
JP5268321B2 (en) Image processing apparatus, image processing method, and image processing program
JP6032912B2 (en) Imaging apparatus, control method thereof, and program
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2003101815A (en) Signal processor and method for processing signal
JP2006166108A (en) Imaging apparatus and imaging control method
JP4596069B2 (en) Noise removal filter processing circuit, image processing circuit, imaging device, and noise removal program
JP5213604B2 (en) Imaging device
JP4702088B2 (en) Image signal noise reduction method, noise reduction apparatus, and imaging apparatus
JP2003348382A (en) Contour emphasizing circuit
JP2006135564A (en) Device and method for pixel interpolation
JP2006279389A (en) Solid-state imaging apparatus and signal processing method thereof
JP4973428B2 (en) Image processing apparatus, electronic camera, and image processing program
JP4133179B2 (en) Image signal processing device
US9013606B2 (en) Image processing apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees