JP4958926B2 - Signal processing apparatus and method - Google Patents
Signal processing apparatus and method Download PDFInfo
- Publication number
- JP4958926B2 JP4958926B2 JP2009027729A JP2009027729A JP4958926B2 JP 4958926 B2 JP4958926 B2 JP 4958926B2 JP 2009027729 A JP2009027729 A JP 2009027729A JP 2009027729 A JP2009027729 A JP 2009027729A JP 4958926 B2 JP4958926 B2 JP 4958926B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- image signal
- luminance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000001514 detection method Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 5
- 230000010365 information processing Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 238000011112 process operation Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は、信号処理装置、特に複数のカラーフィルタを有する撮像素子からの出力信号から輝度信号を作成する装置に関するものである。 The present invention relates to a signal processing device, and more particularly to a device that creates a luminance signal from an output signal from an image sensor having a plurality of color filters.
従来、固体撮像素子からの出力色信号をもとに輝度信号を作成する方法として、SwitchY方式やOutofGreen方式が知られている。以下、固体撮像素子が図12のような原色ベイヤー配列のカラーフィルタにより覆われている場合を例にして、これらの方式を説明する。 Conventionally, the SwitchY method and the OutofGreen method are known as methods for creating a luminance signal based on an output color signal from a solid-state imaging device. Hereinafter, these methods will be described by taking as an example a case where the solid-state imaging device is covered with a color filter having a primary color Bayer arrangement as shown in FIG.
SwitchY方式は、固体撮像素子からの出力信号をA/D変換した後、ホワイトバランス(以下、WB)処理した信号を、そのまま輝度信号Yとみなす方式である。図13は、得られた輝度信号Yの概念を示す図で、Yの後の数字は画素の位置を示す。また、通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数で出力0となるローパスフィルタ(以下、LPF)を水平垂直それぞれに適用した結果をベース信号とする。例えば、上記LPFのフィルタ係数を水平、垂直とも[1 2 1]とすると、Y22の画素のLPFからの出力Y22’は、
Y22' = (Y11 + 2 × Y12 + Y13 + 2 × Y21 + 4 × Y22 + 2 × Y23
+ Y31 + 2×Y32 + Y33) / 16 …(1)
The SwitchY method is a method in which a signal subjected to white balance (hereinafter referred to as WB) processing after A / D conversion of an output signal from a solid-state imaging device is regarded as a luminance signal Y as it is. FIG. 13 is a diagram showing the concept of the obtained luminance signal Y, and the number after Y indicates the position of the pixel. In general, in order to suppress generation of carriers due to sampling, a result obtained by applying a low-pass filter (hereinafter referred to as LPF) having an output of 0 at the Nyquist frequency in both horizontal and vertical directions is used as a base signal. For example, if the filter coefficient of the LPF is [1 2 1] both horizontally and vertically, the output Y22 ′ from the LPF of the Y22 pixel is
Y22 '= (Y11 + 2 × Y12 + Y13 + 2 × Y21 + 4 × Y22 + 2 × Y23
+ Y31 + 2 x Y32 + Y33) / 16… (1)
のように求めることができる。
さらに、ベース信号から高域強調信号を作り、元のベース信号を足しこむことにより、高域が補償された信号を得ることが可能である。
Can be obtained as follows.
Furthermore, it is possible to obtain a signal in which the high frequency is compensated by creating a high frequency emphasis signal from the base signal and adding the original base signal.
図14は、周波数空間におけるキャリアの位置と帯域を示す図で、(a)は白黒画像、(b)はカラー画像を撮影した場合をそれぞれ示す。図14(a)及び(b)において、fsはサンプリング周波数を示す。SwitchY方式は、被写体が白黒の場合には図14(a)の×で示した位置にキャリアが発生し、実線で囲んだエリアの帯域を活用できる方式であるため、有利である。しかしながら、被写体がカラーになった場合には、図14(b)の×で示した位置にキャリアが発生してしまうため、図14(b)の実線のように帯域が狭く、比較的低周波で折りかえしが発生してしまうため、好ましくない。 FIGS. 14A and 14B are diagrams showing the positions and bands of carriers in the frequency space, where FIG. 14A shows a case where a black and white image is taken, and FIG. 14B shows a case where a color image is taken. 14A and 14B, fs indicates a sampling frequency. The SwitchY method is advantageous because when a subject is black and white, a carrier is generated at the position indicated by x in FIG. 14A, and the band of the area surrounded by the solid line can be utilized. However, when the subject is colored, a carrier is generated at the position indicated by x in FIG. 14B, so the band is narrow as shown by the solid line in FIG. 14B, and the frequency is relatively low. This is not preferable because it causes folding.
一方、OutofGreen方式は、レッド、グリーン、ブルーの各信号を独立に処理し、特にグリーン信号を中心に輝度を作成する方式である。例えば、レッド信号を処理する場合には、レッド以外の画素に0挿入しておき、上記LPFを適用する。グリーン信号、ブルー信号に関しても同様に処理しておき、輝度Yを、例えば、次式(2)を用いて求める。
Y = 0.3R + 0.59G + 0.11B …(2)
On the other hand, the OutofGreen method is a method in which each signal of red, green, and blue is processed independently, and in particular, the luminance is created around the green signal. For example, when processing a red signal, 0 is inserted into pixels other than red and the LPF is applied. The green signal and the blue signal are processed in the same manner, and the luminance Y is obtained using the following equation (2), for example.
Y = 0.3R + 0.59G + 0.11B (2)
さらに、グリーン信号のみから高域強調信号を作成し、Yに足しこむ。
OutofGreen方式は、グリーン信号を中心に輝度信号を作成する方式であるため、サンプリングがオフセットサンプリングとなり、白黒画像の場合、図14(a)の○で示した位置にキャリアが発生する。したがって破線で示した領域の帯域が利用できる。また、カラー画像に対しても、図14(b)に示したように白黒の場合と同じ帯域を確保できる方式であるため、白黒、カラーを問わず安定して利用することが可能である。しかしながら白黒画像の場合、SwitchY方式の帯域に比べて斜め方向が狭く、斜め方向からの折りかえりによりジャギーが発生するという問題を持っている。
Further, a high frequency emphasis signal is created from only the green signal and added to Y.
Since the OutofGreen method is a method of creating a luminance signal centered on a green signal, sampling is offset sampling, and in the case of a monochrome image, a carrier is generated at a position indicated by a circle in FIG. Therefore, the band of the area indicated by the broken line can be used. Further, as shown in FIG. 14 (b), a color image can be used in a stable manner regardless of whether it is black and white or color because it is a method that can secure the same band as in the case of black and white. However, in the case of a black and white image, the diagonal direction is narrower than the band of the SwitchY system, and there is a problem that jaggies occur due to folding from the diagonal direction.
上記のように、例えばSwitchY方式のような、入力した3色の画像信号を各色の輝度信号とみなすことにより3色の画像信号の画素位置に対応する輝度信号を生成する方式では、白黒の被写体に対しては強いがカラーの被写体に対しては弱く、例えばOutofGreen方式のような、入力した3色の画像信号のうち1色の画像信号に大きな重み付けを行って隣接する3色の画像信号の加算処理を行うことにより3色の画像信号の画素位置に対応する輝度信号を生成する方式では、白黒、カラーを問わず一定の水準を持つがジャギーが発生するという問題があり、いずれの方式においても、画像に弊害が発生してしまう。 As described above, in a method of generating a luminance signal corresponding to a pixel position of a three-color image signal by regarding the input three-color image signal as a luminance signal of each color, such as the SwitchY method, a monochrome subject However, it is weak against a color subject. For example, as in the OutofGreen method, one of the input three-color image signals is subjected to a large weighting to the adjacent three-color image signals. In the method of generating a luminance signal corresponding to the pixel position of the image signal of three colors by performing the addition process, there is a problem that jaggy is generated although it has a certain level regardless of whether it is black and white or color. However, a bad effect occurs in the image.
本発明は上記問題点を鑑みてなされたものであり、複数の輝度信号生成方式のそれぞれの方式の利点を生かし、高品質の輝度信号を得ることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to obtain a high-quality luminance signal by taking advantage of each of the plurality of luminance signal generation methods.
上記目的を達成するため、ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する本発明の信号処理装置は、入力した3色の画像信号から各画素位置の各色の画像信号を生成し、1色の画像信号に他の2色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第1の輝度信号を生成する第1の輝度信号生成手段と、前記入力した3色の画像信号を各色の輝度信号とみなすことにより前記3色の画像信号の画素位置に対応する第2の輝度信号を生成する第2の輝度信号生成手段と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、前記判別手段による判別結果に応じて、前記第1の輝度信号及び前記第2の輝度信号を混合して出力する混合手段と、を有する。 In order to achieve the above object, a signal processing apparatus of the present invention for processing an image signal obtained by imaging with an image sensor having a color filter with a Bayer array is provided with a signal processing device for each color at each pixel position from input three color image signals. An image signal is generated, one image signal is weighted more than the other two colors, and the generated image signal of each color is added to correspond to the pixel position of the input image signal. First luminance signal generation means for generating a first luminance signal, and second luminance corresponding to the pixel position of the three-color image signal by regarding the input three-color image signal as the luminance signal of each color A second luminance signal generating means for generating a signal; a determining means for determining whether the image signal indicates a monochrome image or a color image based on the input image signal; and a determination by the determining means Depending on the fruit, having a mixing means for outputting a mixture of the first luminance signal and the second luminance signal.
上記の通り本発明によれば、複数の輝度信号生成方式のそれぞれの方式の利点を生かすことができるため、高品質の輝度信号を得ることができる。 As described above, according to the present invention, since the advantages of each of the plurality of luminance signal generation methods can be utilized, a high-quality luminance signal can be obtained.
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。 Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
(第1の実施形態)
本第1の実施形態では、図12に示したR(赤)、G(緑)、B(青)の3色からなる原色ベイヤー配列のカラーフィルタにより覆われた単板撮像素子からの信号を用いて、輝度信号を得る場合について説明する。
(First embodiment)
In the first embodiment, signals from a single-plate image sensor covered with a primary color Bayer array color filter composed of three colors of R (red), G (green), and B (blue) shown in FIG. A case where a luminance signal is obtained will be described.
図1は本発明の第1の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラ、デジタルカメラ、スキャナ、コピー機、ファクシミリを含むが、これに限るものではなく、入射する光学像を光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。 FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the first embodiment of the present invention. The imaging device includes, for example, a digital still camera, a digital camera, a scanner, a copier, and a facsimile, but is not limited thereto, and any device that acquires an incident optical image as an electrical image by photoelectric conversion, The present invention can be applied.
図1において、1は、入射する光を光電変換して、電気信号を出力するCCDなどの撮像素子(以下、CCD)、2はA/D変換回路、3はホワイトバランス(WB)回路、4は信号処理装置である。上記構成において、CCD1より出力される信号をA/D変換回路2によりデジタル信号に変換し、WB回路3により公知のホワイトバランス処理を施した信号を信号処理装置4に入力する。
In FIG. 1, 1 is an image sensor such as a CCD (hereinafter referred to as a CCD) that photoelectrically converts incident light and outputs an electrical signal, 2 is an A / D conversion circuit, 3 is a white balance (WB) circuit, 4 Is a signal processing device. In the above configuration, a signal output from the
信号処理装置4は、OutofGreen輝度回路5、SwitchY輝度回路6、白黒カラー判別回路7、斜め線検出回路8、輝度混合回路9を有する。OutofGreen輝度回路5は、例えば、従来技術で述べたOutofGreen方式を採用するが、画像に適応的に補間方法を切り替える方式を採用しても良い。また、SwitchY輝度回路6も、例えば、従来技術で述べたSwitchY方式を採用する。このSwitchY方式は、レッド(R)信号、グリーン(G)信号、ブルー(B)信号をそのまま輝度信号とみなす方式であり、本第1の実施形態で採用している原色ベイヤー配列の撮像素子の場合、輝度の色構成比は、R:G:B=1:2:1である。
The signal processing device 4 includes an OutofGreen luminance circuit 5, a
次に、図2〜図9を参照して、上記構成を有する信号処理装置4の動作について詳細に説明する。 Next, the operation of the signal processing device 4 having the above configuration will be described in detail with reference to FIGS.
図2は、信号処理装置4における処理の概略を示すフローチャートである。図2において、WB回路3からWB処理された信号を受け取った信号処理装置4は(ステップS11)、OutofGreen輝度回路5において、OutofGreen方式による輝度信号1を作成する(ステップS12)。また、SwitchY輝度回路6において、SwitchY方式による輝度信号2を作成する(ステップS12)。さらに、白黒カラー判別回路7において、被写体が白黒かカラーかを判別し、判別結果を示す白黒カラー判別信号を生成し(ステップS13)、斜め線検出回路8において、被写体画像中の斜め線を検出し、斜め線の有無を示す斜め線判定信号を生成する(ステップS14)。そして、これらの白黒カラー判別信号及び斜め線判定信号を基にして、輝度混合回路9は輝度信号1と輝度信号2を混合する(ステップS15)。なお、ステップS12〜S14の処理を行う順番は上記に限るものではなく、異なる順番で行っても、また、処理の一部又は全部を同時に行うようにしても良い。
FIG. 2 is a flowchart showing an outline of processing in the signal processing device 4. In FIG. 2, the signal processing device 4 that has received the WB-processed signal from the WB circuit 3 (step S11) creates a
ステップS13で行われる白黒カラー判別処理について、図3のフローチャートを参照しながら説明する。白黒カラー判別回路7では、まずステップS21において、ホワイトバランス後の信号から例えば次の式(3)に従って彩度信号Cを算出する。
The monochrome color determination process performed in step S13 will be described with reference to the flowchart of FIG. In the monochrome
次に、あるレベルの閾値Th1と比較して彩度信号Cが小さい時には(ステップS22でYES)、入力された信号が白黒画像を示すと判定し、白黒カラー判別信号DBCとして1を設定する(ステップS23)。彩度信号Cが閾値Th1以上である場合(ステップS22でNO)、ステップS24で閾値Th1よりも大きい閾値Th2と比較し、彩度信号Cが閾値Th2より大きい場合には(ステップS24でYES)カラー画像と判定し、判別信号DBCとして0を設定する(ステップS25)。彩度信号Cが閾値Th1と閾値Th2の間にある場合には(ステップS24でNO)、判別信号DBCは、閾値Th1およびTh2からの距離に応じて線形的に1から0の間の数値をとるように構成する(ステップS26)。上記処理における彩度信号Cと閾値Th1及びTh2、及び判別信号DBCとの関係を図示したものが図4である。 Next, when the saturation signal C is smaller than the threshold value Th1 of a certain level (YES in step S22), it is determined that the input signal indicates a monochrome image, and 1 is set as the monochrome color determination signal DCC. (Step S23). If the saturation signal C is greater than or equal to the threshold Th1 (NO in step S22), it is compared with a threshold Th2 greater than the threshold Th1 in step S24, and if the saturation signal C is greater than the threshold Th2 (YES in step S24). was determined to be a color image, 0 is set as the determination signal D BC (step S25). When the saturation signal C is between the threshold value Th1 and the threshold value Th2 (NO in step S24), the determination signal DBC is a numerical value between 1 and 0 linearly according to the distance from the threshold values Th1 and Th2. (Step S26). Those shown the relationship between the chroma signal C and the threshold Th1 and Th2, and the determination signal D BC in the above process is shown in FIG 4.
なお、白黒カラーの判別のエリアを調整するため、彩度信号Cに対して、例えば3×3の最大値フィルタを適用して判別領域を拡大したり、明るさで正規化するように構成して暗い部分も検出されるようにしてもよい。明るさでの正規化は、例えば、彩度を輝度Yで除算することで行うことができる。 In order to adjust the monochrome color discrimination area, for example, a 3 × 3 maximum value filter is applied to the saturation signal C to enlarge the discrimination area or normalize by brightness. Also, a dark part may be detected. Normalization by brightness can be performed by, for example, dividing saturation by luminance Y.
次に、図2のステップS14で行われる斜め線検出処理について、図5及び図6を参照しながら説明する。図5は斜め線検出回路8の内部構成例を示すブロック図であり、WB後のすべての色信号を用いて、バンドパスフィルタ(BPF)A回路10、BPFB回路11およびローパスフィルタ(LPF)A回路12、LPFB回路13によりジャギーが発生する領域を抽出する。
Next, the oblique line detection process performed in step S14 of FIG. 2 will be described with reference to FIGS. FIG. 5 is a block diagram showing an example of the internal configuration of the oblique
バンドパスフィルタとしては、例えば、フィルタ係数を垂直に[1 −4 6 −4 1]、水平に[−1 0 2 0 −1]のデジタルフィルタを適用するBPFA回路10と、水平に[1 −4 6 −4 1]、垂直に[−1 0 2 0 −1]のデジタルフィルタを適用するBPFB回路11を用いる。ローパスフィルタとしては、例えば、フィルタ係数を水平に[1 4 6 4 1]、垂直に[1 −2 2 −2 1]のデジタルフィルタを適用するLPFA回路12と、垂直に[1 4 6 4 1]、水平に[1 −2 2 −2 1]のデジタルフィルタを適用するLPFB回路13を用いる。
As the band-pass filter, for example, the filter coefficient is [1 −4 6 −4 1] in the vertical direction, the digital filter [-1 0 2 0 −1] in the horizontal direction, and the horizontal [1 − 4 6 -4 1] and a
BPFA回路10からの信号とBPFB回路11からの信号をそれぞれ絶対値化回路14により絶対値化し、加算器15で加算する(ステップS31)。その加算信号SBPFと閾値Th3とを比較し、加算信号SBPFの方が小さい時には(ステップS32でYES)斜め線でないと判別し、BPF検出信号DBPFとして0を設定する(ステップS33)。加算信号SBPFが閾値Th3以上の時には(ステップS32でNO)、閾値Th3よりも大きい閾値Th4と比較する。加算信号SBPFの方が大きい場合には(ステップS34でYES)斜め線と判別し、BPF検出信号DBPFとして1を設定する(ステップS35)。加算信号SBPFが閾値Th3と閾値Th4の間にある場合には(ステップS34でNO)、BPF検出信号DBPFは、閾値Th3およびTh4からの距離に応じて線形的に0から1の間の数値をとるように設定する(ステップS36)。上記処理における加算信号SBPFと閾値Th3及びTh4、及びBPF検出信号DBPFとの関係を図示したものが図7である。
The signal from the
一方、LPF回路の方は、BPF回路で斜め線として検出されたエリアから低周波のエリアを除外することが目的である。すなわち、BPF回路のみでは、余分な低域信号まで斜め線として検出してしまう場合があるので、その余分な部分を検出対象から外すようにLPF回路を構成する。 On the other hand, the purpose of the LPF circuit is to exclude the low frequency area from the area detected as an oblique line by the BPF circuit. That is, only the BPF circuit may detect an extra low-frequency signal as an oblique line, so the LPF circuit is configured so that the extra part is excluded from the detection target.
LPFA回路12からの信号とLPFB回路13からの信号をそれぞれ絶対値化回路14により絶対値化し、加算器15で加算する(ステップS37)。その加算信号SLPFと閾値Th5とを比較し、加算信号SLPFの方が小さい時には(ステップS38でYES)、斜め線検出対象から外さないようLPF検出信号DLPFとして1を設定する(ステップS39)。加算信号SLPFが閾値Th6以下の時には(ステップS38でNO)、閾値Th5よりも大きい閾値Th6と比較する。加算信号SLPFの方が大きい場合には(ステップS40でYES)、斜め線検出対象から外すためLPF検出信号DLPFとして0を設定する(ステップS41)。加算信号SLPFが閾値Th5と閾値Th6の間にある場合には、LPF検出信号DLPFは、閾値Th5およびTh6からの距離に応じて線形的に0から1の間の数値をとるように設定する(ステップS42)。上記処理における加算信号SLPFと閾値Th5及びTh6、及びLPF検出信号DLPFとの関係を図示したものが図8である。
The signal from the
なお、図5に示す例ではバンドパスフィルタ及びローパスフィルタを用いた構成を示したが、これに限るものではなく、例えばバンドパスフィルタの代わりにハイパスフィルタで構成したり、またローパスフィルタを用いずに、バンドパスフィルタ又はハイパスフィルタで構成してもよい。 In the example shown in FIG. 5, the configuration using the bandpass filter and the lowpass filter is shown. However, the configuration is not limited to this, and for example, a highpass filter is used instead of the bandpass filter, or no lowpass filter is used. Alternatively, a band pass filter or a high pass filter may be used.
次に、上記のBPF検出信号DBPFとLPF検出信号DLPFを用いて、乗算器17により積を取った結果を、最終的な斜め線検出信号DDとする(ステップS43)。
Next, using the above BPF detection signal D BPF and LPF detection signal D LPF, the result of taking the product by the
斜め線検出回路8において、より検出精度を増すため、BPF回路やLPF回路の数を増やしても良いし、検出領域を調整するため、最大値フィルタや明るさによる正規化などを行っても良い。
In the oblique
また、図6において、ステップS37〜S42の処理をステップS31〜S36の処理より先に行うようにしても、平行して行うようにしても良い。 In FIG. 6, the processes of steps S37 to S42 may be performed before the processes of steps S31 to S36 or may be performed in parallel.
次に、図2のステップS15で行われる輝度信号混合処理について、図9のフローチャートを参照しながら説明する。輝度混合回路9では、上述したようにして得た白黒カラー検出信号DBCと斜め線検出信号DDを用いて、輝度信号1および輝度信号2を混合する。
Next, the luminance signal mixing process performed in step S15 of FIG. 2 will be described with reference to the flowchart of FIG. The
ここでは、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分、すなわち白黒カラー判別信号DBCと斜め線検出信号DDが共に1である場合(ステップS51でYES)、輝度信号2(SwitchY方式)を選択し(ステップS52)、その他の部分である場合に(ステップS51でNO)輝度信号1(OutofGreen方式)を選択する(ステップS53)。すなわち、図14(a)、(b)における2の部分のみ、SwitchY方式の輝度信号を採用し、その他の部分1,3,4は、OutofGreen信号を採用するように構成する。このようにすることで、ジャギーを解消し、また、カラーの被写体に対しても低域における折り返しノイズを発生させず、良好な信号を得ることが可能となる。
Here, when the input signal indicates a monochrome image and is determined to be a diagonal line, that is, when the monochrome color determination signal DBC and the diagonal line detection signal DD are both 1 (YES in step S51), The luminance signal 2 (SwitchY method) is selected (step S52), and if it is the other part (NO in step S51), the luminance signal 1 (OutofGreen method) is selected (step S53). That is, only the
なお、ステップS51で行う判定方法の一例として、白黒カラー判別信号DBCと斜め線検出信号DDの積を取り、得られた積が1であるかどうかを判定するように構成することもできる。この場合、得られた積が1である場合に輝度信号2を選択し、それ以外の場合に輝度信号1を選択する。
As an example of a determination method executed in step S51, it takes the product of white color determination signal D BC and slanting line detecting signal D D, resulting product can also be configured to determine whether the 1 . In this case, the
また、デフォルトとして輝度信号1を選択するようにし、白黒カラー判別信号DBCと斜め線検出信号DDが共に1(又は積が1)である場合に、輝度信号2に置き換えるように構成しても良い。
Further, the
また、輝度信号1又は2のいずれか一方を選択するだけではなく、白黒カラー判別信号DBC及び/又は斜め線検出信号DDが0と1の中間値を示す場合に輝度信号1又は2を混合して、最終的な輝度信号としても良い。その場合の輝度信号混合処理を図10のフローチャートを参照して説明する。
Moreover, not only selecting one of the
上述したように積が1であるなど、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分であれば(ステップS61でYES)、輝度信号2を選択し(ステップS62)、積が0となる場合(ステップS63でYES)に輝度信号1を選択し(ステップS64)、また、0と1の間の値αになる場合には(ステップS63でNO)、切り替えを滑らかにするため、次の式(4)に示すようにして輝度信号1と2を混合する(ステップS65)。
[輝度] = α×[輝度信号2] +(1-α)×[輝度信号1] …(4)
If the input signal indicates a black and white image and is determined to be an oblique line (YES in step S61), such as the product is 1 as described above, the
[Luminance] = α × [luminance signal 2] + (1-α) × [luminance signal 1] (4)
なお、上記例では、信号処理装置4は白黒カラー判別回路7及び斜め線検出回路8の両方を有する構成について説明したが、いずれか一方のみを有する構成にしても良い。具体的には、白黒カラー判別回路7のみを有する場合、輝度混合回路9は、図9に示す処理のステップS51で白黒画像か否かのみの判別を行う以外は上記と同様の処理を行う。また、図10に示す処理ではステップS61で白黒カラー判別信号DBCが1どうかの判別を行い、ステップS63で白黒カラー判別信号DBCが0であるかどうかの判別を行い、ステップS65では白黒カラー判別信号DBCをαとして用いる。それ以外は上記と同様の処理を行う。
In the above example, the signal processing device 4 has been described as having both the black and white
一方、斜め線検出回路8のみを有する場合、輝度混合回路9は、図9に示す処理のステップS51で斜め線かどうかのみの判定を行う以外は上記と同様の処理を行う。また、図10に示す処理ではステップS61で斜め線検出信号DDが1かどうかの判別を行い、ステップS63で斜め線検出信号DDが0かどうかの判別を行い、ステップS65では斜め線検出信号DDをαとして用いる。それ以外は上記と同様の処理を行う。
On the other hand, when only the diagonal
上記の通り本第1の実施形態によれば、OutofGreen輝度回路及びSwitchY輝度回路を用いて、それぞれの利点のみを活用して輝度信号を得ることが可能であり、従来斜め線に発生した折り返し信号や、色信号の折りかえりによるノイズが発生することなく、良好な輝度信号を得ることが可能である。 As described above, according to the first embodiment, the OutofGreen luminance circuit and the SwitchY luminance circuit can be used to obtain the luminance signal by using only the advantages, and the folding signal generated in the conventional diagonal line can be obtained. In addition, it is possible to obtain a good luminance signal without generating noise due to color signal folding.
(第2の実施形態)
次に、第2の実施形態について説明する。図11は、第2の実施形態における撮像装置の構成を示すブロック図であり、図1と同様の構成には同じ参照番号を付して説明を省略する。図11において、24は信号処理装置、25はOutofGreen輝度回路、26はSwitchY輝度回路、27は白黒カラー判別回路、28は斜め線検出回路、29輝度混合回路は、30は高域強調回路である。高域強調回路30を除き、各回路は図1に示すものと同様な動作を行うため、ここでは詳細な説明を省略する。
(Second Embodiment)
Next, a second embodiment will be described. FIG. 11 is a block diagram illustrating a configuration of the imaging apparatus according to the second embodiment. The same reference numerals are given to the same configurations as those in FIG. 1 and the description thereof is omitted. In FIG. 11, 24 is a signal processing device, 25 is an OutofGreen luminance circuit, 26 is a SwitchY luminance circuit, 27 is a monochrome color discrimination circuit, 28 is a diagonal line detection circuit, 29 a luminance mixing circuit, and 30 is a high frequency enhancement circuit. . Except for the high
第1の実施形態におけるOutofGreen輝度回路5およびSwitchY輝度回路6には、通常、高域強調信号をベース信号に足しこむ回路(不図示)がそれぞれ含まれているが、本第2の実施形態では、OutofGreen輝度回路25およびSwitchY輝度回路26は通常それぞれ含まれる高域強調回路を含まず、その代わりに共通の高域強調回路30を設けた構成をしている。
The OutofGreen luminance circuit 5 and the
高域強調回路30は輝度混合回路29の後に設けられ、輝度混合回路29から出力される輝度信号にバンドパスフィルタを適用して高域信号を取り出し、元の輝度信号に足しこむ。
The high
このように構成することで、第1の実施形態に比べて、高域強調回路を一つに減らすことが可能である。 With this configuration, it is possible to reduce the number of high-frequency emphasis circuits to one as compared with the first embodiment.
(他の実施形態)
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、デジタルカメラ、複写機、ファクシミリ装置など)に適用してもよい。
(Other embodiments)
Note that the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a scanner, a video camera, etc.), or an apparatus (for example, a digital camera, a copier, a facsimile) composed of a single device. For example, an apparatus).
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。 Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or Needless to say, this can also be achieved by the MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. Examples of the storage medium for storing the program code include a flexible disk, hard disk, ROM, RAM, magnetic tape, nonvolatile memory card, CD-ROM, CD-R, DVD, optical disk, magneto-optical disk, MO, and the like. Can be considered.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図2、図3、図6、及び図9または図11に示すフローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the above storage medium, the storage medium stores program codes corresponding to the flowcharts shown in FIGS. 2, 3, 6, and 9 or 11 described above. Become.
1 撮像素子(CCD)
2 A/D変換回路
3 WB回路
4、24 信号処理装置
5、25 OutofGreen輝度回路
6、26 SwitchY輝度回路
7、27 白黒カラー判別回路
8、28 斜め線検出回路
9、29 輝度混合回路
10 バンドパスフィルタA回路
11 バンドパスフィルタB回路
12 ローパスフィルタA回路
13 ローパスフィルタB回路
14 絶対値化回路
15 加算器
16 判別信号生成回路
17 乗算器
30 高域強調回路
1 Image sensor (CCD)
2 A /
Claims (12)
入力した3色の画像信号から各画素位置の各色の画像信号を生成し、1色の画像信号に他の2色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第1の輝度信号を生成する第1の輝度信号生成手段と、
前記入力した3色の画像信号を各色の輝度信号とみなすことにより前記3色の画像信号の画素位置に対応する第2の輝度信号を生成する第2の輝度信号生成手段と、
前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、
前記判別手段による判別結果に応じて、前記第1の輝度信号及び前記第2の輝度信号を混合して出力する混合手段と、
を有することを特徴とする信号処理装置。 A signal processing device that processes an image signal obtained by imaging with an image sensor having a Bayer array color filter,
An image signal of each color at each pixel position is generated from the input three-color image signal, and the one-color image signal is weighted more than the other two colors, and the generated image signal of each color is added. A first luminance signal generating means for generating a first luminance signal corresponding to the pixel position of the input image signal;
Second luminance signal generation means for generating a second luminance signal corresponding to a pixel position of the three-color image signal by regarding the input three-color image signal as a luminance signal of each color;
Discrimination means for discriminating whether the image signal indicates a monochrome image or a color image based on the input image signal;
Mixing means for mixing and outputting the first luminance signal and the second luminance signal according to a determination result by the determination means;
A signal processing apparatus comprising:
前記混合手段は、前記判別手段による判別結果及び前記検出手段による検出結果に応じて、前記第1の輝度信号及び前記第2の輝度信号を混合することを特徴とする請求項1または2に記載の信号処理装置。 Based on the input image signal, further comprising a detecting means for detecting a portion showing an oblique line in the image indicated by the image signal;
3. The mixing device according to claim 1, wherein the mixing unit mixes the first luminance signal and the second luminance signal according to a determination result by the determination unit and a detection result by the detection unit. Signal processing equipment.
入力した3色の画像信号から各画素位置の各色の画像信号を生成し、1色の画像信号に他の2色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第1の輝度信号を生成する第1の輝度信号生成手段と、
前記入力した3色の画像信号を各色の輝度信号とみなすことにより前記3色の画像信号の画素位置に対応する第2の輝度信号を生成する第2の輝度信号生成手段と、
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段と、
前記検出手段による検出結果に応じて、前記第1の輝度信号及び前記第2の輝度信号を混合して出力する混合手段と、
を有することを特徴とする信号処理装置。 A signal processing device that processes an image signal obtained by imaging with an image sensor having a Bayer array color filter,
An image signal of each color at each pixel position is generated from the input three-color image signal, and the one-color image signal is weighted more than the other two colors, and the generated image signal of each color is added. A first luminance signal generating means for generating a first luminance signal corresponding to the pixel position of the input image signal;
Second luminance signal generation means for generating a second luminance signal corresponding to a pixel position of the three-color image signal by regarding the input three-color image signal as a luminance signal of each color;
Detecting means for detecting a portion indicating an oblique line in an image indicated by the image signal based on the input image signal;
Mixing means for mixing and outputting the first luminance signal and the second luminance signal according to a detection result by the detection means;
A signal processing apparatus comprising:
入力した3色の画像信号から各画素位置の各色の画像信号を生成し、1色の画像信号に他の2色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第1の輝度信号を生成する第1の輝度信号生成工程と、
前記入力した3色の画像信号を各色の輝度信号とみなすことにより前記3色の画像信号の画素位置に対応する第2の輝度信号を生成する第2の輝度信号生成工程と、
前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別工程と、
前記判別工程による判別結果に応じて、前記第1の輝度信号及び前記第2の輝度信号を混合して出力する混合工程と、
を有することを特徴とする信号処理方法。 A signal processing method for processing an image signal obtained by imaging with an image sensor having a Bayer array color filter,
An image signal of each color at each pixel position is generated from the input three-color image signal, and the one-color image signal is weighted more than the other two colors, and the generated image signal of each color is added. A first luminance signal generating step for generating a first luminance signal corresponding to a pixel position of the input image signal;
A second luminance signal generation step of generating a second luminance signal corresponding to a pixel position of the three-color image signal by regarding the input three-color image signal as a luminance signal of each color;
A determination step of determining whether the image signal indicates a black and white image or a color image based on the input image signal;
A mixing step of mixing and outputting the first luminance signal and the second luminance signal according to the determination result of the determination step;
A signal processing method characterized by comprising:
入力した3色の画像信号から各画素位置の各色の画像信号を生成し、1色の画像信号に他の2色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第1の輝度信号を生成する第1の輝度信号生成工程と、
前記入力した3色の画像信号を各色の輝度信号とみなすことにより前記3色の画像信号の画素位置に対応する第2の輝度信号を生成する第2の輝度信号生成工程と、
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出工程と、
前記検出工程による検出結果に応じて、前記第1の輝度信号及び前記第2の輝度信号を混合して出力する混合工程と、
を有することを特徴とする信号処理方法。 A signal processing method for processing an image signal obtained by imaging with an image sensor having a Bayer array color filter,
An image signal of each color at each pixel position is generated from the input three-color image signal, and the one-color image signal is weighted more than the other two colors, and the generated image signal of each color is added. A first luminance signal generating step for generating a first luminance signal corresponding to a pixel position of the input image signal;
A second luminance signal generation step of generating a second luminance signal corresponding to a pixel position of the three-color image signal by regarding the input three-color image signal as a luminance signal of each color;
A detection step of detecting a portion indicating an oblique line in an image indicated by the image signal based on the input image signal;
A mixing step of mixing and outputting the first luminance signal and the second luminance signal according to the detection result of the detection step;
A signal processing method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009027729A JP4958926B2 (en) | 2009-02-09 | 2009-02-09 | Signal processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009027729A JP4958926B2 (en) | 2009-02-09 | 2009-02-09 | Signal processing apparatus and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002156003A Division JP4280462B2 (en) | 2002-05-29 | 2002-05-29 | Signal processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009105977A JP2009105977A (en) | 2009-05-14 |
JP4958926B2 true JP4958926B2 (en) | 2012-06-20 |
Family
ID=40707155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009027729A Expired - Fee Related JP4958926B2 (en) | 2009-02-09 | 2009-02-09 | Signal processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4958926B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102640500B (en) * | 2009-12-04 | 2014-12-24 | 佳能株式会社 | Image processing device |
JP5868046B2 (en) | 2010-07-13 | 2016-02-24 | キヤノン株式会社 | Luminance signal creation device, imaging device, brightness signal creation method, program, and recording medium |
JP5709131B2 (en) * | 2011-05-11 | 2015-04-30 | 国立大学法人東京工業大学 | Image processing system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3450374B2 (en) * | 1993-05-28 | 2003-09-22 | キヤノン株式会社 | Color imaging device |
JP3699873B2 (en) * | 1999-10-27 | 2005-09-28 | オリンパス株式会社 | Image processing device |
JP3548504B2 (en) * | 2000-06-26 | 2004-07-28 | キヤノン株式会社 | Signal processing device, signal processing method, and imaging device |
-
2009
- 2009-02-09 JP JP2009027729A patent/JP4958926B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009105977A (en) | 2009-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7391903B2 (en) | Image processing method, image processing program and image processing processor for interpolating color components | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
JP4284628B2 (en) | IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMAGE PROCESSING METHOD | |
JP4054184B2 (en) | Defective pixel correction device | |
US8452127B2 (en) | Methods and apparatuses for reducing the effects of noise in image signals | |
CN101006731A (en) | Image processing device and method, imaging device, and computer program | |
US20100086202A1 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
JP2013017142A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5868046B2 (en) | Luminance signal creation device, imaging device, brightness signal creation method, program, and recording medium | |
US8441543B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP4280462B2 (en) | Signal processing apparatus and method | |
JP4958926B2 (en) | Signal processing apparatus and method | |
JP5291788B2 (en) | Imaging device | |
JP2010219683A (en) | Image processing device, image processing method, and program | |
JP2009200635A (en) | Image processor, and processing method and program | |
JP7065360B2 (en) | Image processing methods, image processing devices and programs | |
JP2012100215A (en) | Image processing device, imaging device, and image processing program | |
JP4155559B2 (en) | Signal processing apparatus and method | |
JP2014082782A (en) | Image processing device and image processing method | |
JP2008079301A (en) | Image capture device | |
JP2018107659A (en) | Luminance signal generating device, luminance signal generating method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120319 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4958926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |