KR101730968B1 - 멀티 센서 보간 장치 및 그 방법 - Google Patents

멀티 센서 보간 장치 및 그 방법 Download PDF

Info

Publication number
KR101730968B1
KR101730968B1 KR1020150181248A KR20150181248A KR101730968B1 KR 101730968 B1 KR101730968 B1 KR 101730968B1 KR 1020150181248 A KR1020150181248 A KR 1020150181248A KR 20150181248 A KR20150181248 A KR 20150181248A KR 101730968 B1 KR101730968 B1 KR 101730968B1
Authority
KR
South Korea
Prior art keywords
channel
green
value
weight
interpolation
Prior art date
Application number
KR1020150181248A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020150181248A priority Critical patent/KR101730968B1/ko
Application granted granted Critical
Publication of KR101730968B1 publication Critical patent/KR101730968B1/ko

Links

Images

Classifications

    • H04N5/3454—
    • H04N5/3458—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 멀티 센서 보간 장치 및 그 방법에 관한 것으로, 특히 보간을 수행하는데 있어 수직축의 성분과 수평축의 성분을 모두 고려한 멀티 센서 보간 장치 및 그 방법에 관한 것이다.
또한, 본 발명에 따르면, R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 평가치 생성부; R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 가중치 생성부; 및 R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 보간 생성부를 포함하는 멀티 센서 보간 장치 및 그 방법이 제공된다.

Description

멀티 센서 보간 장치 및 그 방법{Multi-Sensor Interpretation apparatus and method thereof}
본 발명은 멀티 센서 보간 장치 및 그 방법에 관한 것으로, 특히 보간을 수행하는데 있어 수직축의 성분과 수평축의 성분을 모두 고려한 멀티 센서 보간 장치 및 그 방법에 관한 것이다.
대부분의 디지털 카메라와 캠코더는 컬러 CCD 또는 CMOS를 통해 컬러 이미지들을 캡쳐한다.
획득한 이미지는 컬러 필터 어레이(color filter array, 이하 'CFA' 라 한다)의 패턴에 따라 모자이싱된 이미지이고, 모자이싱된 이미지는 각각의 픽셀에 대해 2개의 모르는 컬러 값들과 하나의 알고 있는 컬러 값을 가진다. 상기 컬러 필터 어레이 필터는 도 1의 (a)에 도시된 빔 스플리터를 대체한 것으로 그 구성이 도 1의 (b)에 도시되어 있다.
CFA 패턴은 레드(R), 그린(G) 및 블루(B) 채널들로 구성되며, 각각의 채널은 다른 팩터에 의해 데시메이트된다.
이와 같은 CFA 패턴은 도 2에 도시된 바와 같이 (a) Bayer 패턴, (b) Yamanaka 패턴, (c) Lukac 패턴, (d) vertical strip 패턴, (e) diagonal strip 패턴, (f) modified Bayers 패턴, (g) Cyan-Magenta-Yellow 패턴 그리고 (h) Kodak 패턴등이 있다.
데시메이트된 G 채널은 R/B 채널에 비해 2배의 픽셀들을 갖는다. R/B 컬러들은 줄 또는 열을 따라 G 컬러와 교번한다. 즉 G와 R 또는 G와 B로 번갈아 교번한다.
디모자이싱(demosaicing), 즉 CFA 보간법(interpolation)은 풀-컬러 이미지를 생성하기 위해 미지의 R,G 및 B 컴포넌트들을 재구성하는 프로세스이다. 각각의 픽셀의 2개의 미지의 컬러들은 다양한 디모자이싱 알고리즘에 의해 추정된다.
디모자이싱 알고리즘은 불완전한 데이터, 즉 각각의 픽셀에서 2개의 빠진 데이터로부터 풀-컬러 이미지를 재구성하는 것이다.
이러한 재구성 알고리즘은 RGB 채널들에서 이용 가능한 데이터의 채널간 및 채널내 상관을 사용한다.
종래의 적응적 디모자이싱 알고리즘은 컬러 상관과 이미지의 지역적 특성을 고려한다. 에지 방향 보간법(edgedirected interpolation) 및 다양한 적응적 가중합 보간법들은 미지의 픽셀 값들의 보간을 위해 적응적 가중치를 사용한다.
이와 관련하여 도 3에 도시된 바와 같이 (a) bilinear 보간법과 (b) bicubic 보간법을 사용하는 경우에 고주파수 부분에서 색흐림이 나타난다.
또한, 지퍼 효과(zipper effect), 잘못된 컬러(false color), 및 에일리어싱과 같은 아티팩트(artifacts)가 나타나는 고주파 영역에서, 채널들의 컬러 차이, 즉 R채널과 G채널, B채널과 G채널의 컬러 차이가 높은 상관성을 가짐으로 종래의 디모자이싱 알고리즘들은 이러한 특성들을 이용한다.
그러나, 종래의 보간 방법들에서는 아직도 왜곡이 충분히 보상되지 않는 문제점이 있다. 개선되어야 할 왜곡 현상으로는 경계에서의 지퍼(zipper) 효과인 엘리어싱(aliasing), 컬러 모아레(moire), 상세하게 표시하지 못하는(lost of detail) 번짐(blurring), 잘못된(false/pseudo) 컬러 효과 등이 있다.
국내공개번호 10-2010-0084458호 국내공개번호 10-2006-0068503호 국내공개번호 10-2008-0078262호
[1] J. Adams, K. Parulski, and K. Spaulding, "Color processing in digital cameras," IEEE micro, pp. 20-30, Nov. 1998. [2] B. E. Bayer, "Color Imaging Array," U.S. patent 3 971 065, 1976. [3] X. Li, B. K. Gunturk, L. Zhang, "Image demosaicing: a systematic survey," Proc. SPIE Conf. on Visual Communication and Image Processing, San Jose, CA, January 2008, vol. 6822, pp. 68 221J-68 221J-15. [4] D. Menon and G. Calvagno, "Color image demosaicking: an overview," Signal Process. Image Commun., vol. 26, no. 8-9, pp. 518-533, 2011. [5] D. R. Cok, "Signal Processing method and apparatus for producing interpolated chrominance values in a sampled color image signal," U.S. Patent 4 642 678, 1987. Eastman Kodak Company. [6] R. Lukac and K.N. Plataniotis, "A normalized model for color-ratio based demosaicking schemes," In Proc. ICIP, pages III: 1657-1660, 2004. [7] K.-H. Chung and Y.-H. Chan, "Color demosaicing using variance of color differences," IEEE Trans. Image Process., vol. 15, no. 10, pp. 2944-2955, Oct. 2006. [8] L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Process., vol. 14, no. 12, pp. 2167-2178, Dep. 2005. [9] D. Paliy, V. Katkovnik, R. Bilcu, S. Alenius, and K. Egiazarian, "Spatially adaptive color filter array interpolation for noiseless and noisy data," Int. J. Imag. Syst. Technol., vol. 17, no. 3, pp. 105-122, Oct. 2007. [10] D. Menon, S. Andriani, G. Calvagno, "Demosaicing with directional filtering and a posteriori decision," IEEE Trans. Image Process., vol. 16, no. 1, pp. 132-141, Jan. 2007. [11] J. Stoer and R. Bulirsch, Introduction to Numerical Analysis, 3rd ed., Springer-Verlag: New York, 2010. [12] L. Zhang, X. Wu, A. Buades, and X. Li, "Color Demosaicking by Local Directional Interpolation and Non-local Adaptive Thresholding," Journal of Electronic Imaging 20(2), 023016 (Apr-Jun 2011), DOI:10.1117/1.3600632. [13] X. Zhang and B. A.Wandell, "A spatial extension of CIELAB for digital color image reproduction," J. Soc. Inf. Display, vol. 5, no. 1, pp. 61-67, Mar. 1997. [14] Z. Dengwen, S. Wxialiu, and Weiming, "Colour demosaicking with directional filtering and weighting," IET Image Process., vol. 6, no. 8, pp. 1084-1092, Nov. 2012. [15] C.-Y. Su, and W.-C. Kao, "Effective demosaicking using subband correlation," IEEE Trans. Consumer Electron., vol. 55, no. 1, pp. 199-204, Feb. 2009. [16] I. Pekkucuksen and Y. Altunbasak, "Edge strength filter based color filter array interpolation," IEEE Trans. Image Process., vol. 21, no. 1, Jan. 2012. [17] I. Pekkucuksen and Y. Altunbasak, "Multiscale gradients-based color filter array interpolation," IEEE Trans. Image Processing, vol. 22, no. 1, pp. 157-165, Jan. 2013.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 보간을 수행하는데 있어 수직축의 성분과 수평축의 성분을 모두 고려한 멀티 센서 보간 장치 및 그 방법를 제공하는데 있다.
본 발명의 장치는 R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 평가치 생성부; R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 가중치 생성부; 및 R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 보간 생성부를 포함한다.
또한, 본 발명의 장치의 상기 평가치 생성부는 R 픽셀에서 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 R 채널 그린 수평 방향 평가치를 산출하는 수평 방향 평가치 생성기; R 픽셀에서 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 R채널 그린 수직 방향 평가치를 산출하는 수직 방향 평가치 생성기; 및 R 픽셀에서 상기 R채널 그린 수평 방향 평가치와 상기 R 채널 그린 수직 방향 평가치를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 평균 방향 평가치 생성기를 포함한다.
또한, 본 발명의 장치의 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 좌측 가중치를 구하는 좌측 가중치 생성기; 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 우측 가중치를 구하는 우측 가중치 생성기; 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 상측 가중치를 구하는 상측 가중치 생성기; 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 하측 가중치를 구하는 하측 가중치 생성기; R 채널 그린 수평 가중치를 R채널 그린 좌측 가중치와 R 채널 그린 우측 가중치를 이용하여 산출하는 수평 가중치 생성기; 및 R 채널 그린 수직 가중치를 R채널 그린 상측 가중치와 R 채널 그린 하측 가중치를 이용하여 산출하는 수직 가중치 생성기를 포함한다.
또한, 본 발명의 장치의 상기 보간 생성부는 R 채널 그린 수평 보간값을 생성하는 수평 보간 생성기; R 채널 그린 수직 보간값을 생성하는 수직 보간 생성기; 및 R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 최종 보간 생성기를 포함한다.
또한, 본 발명의 장치의 상기 평가치 생성부는 B 픽셀에서 B채널 그린 수평 방향 평가치와 B 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 B 채널 그린 평균 방향 평가치를 산출한다.
또한, 본 발명의 장치의 상기 평가치 생성부는 B 픽셀에서 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 블루값에서 좌우 양측의 인접한 블루값의 차이값의 평균을 가산하여 B 채널 그린 수평 방향 평가치를 산출하는 수평 방향 평가치 생성기; B 픽셀에서 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 블루값에서 상하 양측의 인접한 블루값의 차이값의 평균을 가산하여 B채널 그린 수직 방향 평가치를 산출하는 수직 방향 평가치 생성기; 및 B 픽셀에서 상기 B채널 그린 수평 방향 평가치와 상기 B 채널 그린 수직 방향 평가치를 평균하여 B 채널 그린 평균 방향 평가치를 산출하는 평균 방향 평가치 생성기를 포함한다.
한편, 본 발명의 방법은 (A) 평가치 생성부가 R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 단계; (B) 가중치 생성부가 R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 단계; 및 (C) 보간 생성부가 R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 단계를 포함한다.
또한, 본 발명의 방법의 상기(A) 단계는 (A-1) 상기 평가치 생성부가 R 픽셀에서 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 R 채널 그린 수평 방향 평가치를 산출하는 단계; (A-2) 상기 평가치 생성부가 R 픽셀에서 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 R채널 그린 수직 방향 평가치를 산출하는 단계; 및 (A-3) 상기 평가치 생성부가 R 픽셀에서 상기 R채널 그린 수평 방향 평가치와 상기 R 채널 그린 수직 방향 평가치를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 단계를 포함한다.
또한, 본 발명의 방법의 상기 (B) 단계는 (B-1) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 좌측 가중치를 구하는 단계; (B-2) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 우측 가중치를 구하는 단계; (B-3) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 상측 가중치를 구하는 단계; (B-4) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 하측 가중치를 구하는 단계; (B-5) 상기 가중치 생성부는 R 채널 그린 수평 가중치를 R채널 그린 좌측 가중치와 R 채널 그린 우측 가중치를 이용하여 산출하는 단계; 및 (B-6) 상기 가중치 생성부는 R 채널 그린 수직 가중치를 R채널 그린 상측 가중치와 R 채널 그린 하측 가중치를 이용하여 산출하는 단계를 포함한다.
또한, 본 발명의 방법의 상기 (C) 단계는 (C-1) 상기 보간 생성부는 R 채널 그린 수평 보간값을 생성하는 단계; (C-2) 상기 보간 생성부는 R 채널 그린 수직 보간값을 생성하는 단계; 및 (C-3) 상기 보간 생성부는 R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 단계를 포함한다.
상기와 같은 본 발명에 따르면, 종래의 보간 방법들에서 나타나는 아직도 왜곡이 충분히 보상되지 않는 문제점이나, 개선되어야 할 왜곡 현상으로 제시된 경계에서의 지퍼(zipper) 효과인 엘리어싱(aliasing), 컬러 모아레(moire), 상세하게 표시하지 못하는(lost of detail) 번짐(blurring), 잘못된(false/pseudo) 컬러 효과 등을 개선할 수 있다.
도 1은 종래 기술에 따른 이미지 처리 장치의 구성도이다.
도 2는 다양한 CFA 패턴을 나타내는 도면이다.
도 3은 종래 2가지 보간법의 효과를 비교한 도면이다.
도 4a, 4b, 4c는 5×5 베이어 CFA 패턴을 도시하고, 각각은 패턴의 센터에 각각 R, G, B 픽셀을 갖는다.
도 5는 본 발명의 바람직한 일 실시예에 따른 멀티 센서 보간 장치의 구성도이다.
도 6a는 본 발명의 바람직한 일 실시예에 따른 평가치 산출 과정의 흐름도이다.
도 6b는 본 발명의 바람직한 일 실시예에 따른 가중치 산출 과정의 흐름도이다.
도 6c는 본 발명의 바람직한 일 실시예에 따른 보간 산출 과정의 흐름도이다.
도 7은 McMaster 데이터 세트를 나타낸다.
도 8은 CPSNR 성능을 본 발명과 종래 기술을 비교하여 나타낸다.
도 9는 S-CIELAB △E*의 결과를 보여준다.
도 10 내지 12는 원본 영상(a), CDDFW(b), EDAEP(c), ESF(d), MSG(e) 그리고 본 발명에 따른 결과(f)를 보여준다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 4는 베이어 CFA 패턴을 도시하며, 전체 픽셀 수의 절반은 그린이고, 나머지 픽셀들은 레드 또는 블루로 동일하게 할당된다.
이러한 패턴의 각각의 픽셀은 하나의 컬러, 즉 R, G, 또는 B에만 민감하다. 따라서, 이러한 패턴을 사용해서 획득한 컬러 이미지들은 풀-컬러 이미지를 생성하기 위해 3개의 컬러 채널들에서 보간되며, 이를 CFA 디모자이싱 또는 보간(interpolation)이라 한다.
일반적인 적응적 가중합 알고리즘의 기본 개념은 모자이싱된 이미지로부터 국부적 분산을 추정하고 나서, 디모자이싱을 위해 국부적 분산을 이용하는 것이다. 대부분 종래의 알고리즘은 이웃하는 픽셀의 강도의 가중합을 이용해서 모자이싱된 이미지를 획득한다.
도 4a, 4b, 4c는 5×5 베이어 CFA 패턴을 도시하고, 각각은 패턴의 센터에 각각 R, G, B 픽셀을 갖는다. 도 4a의 CFA 패턴을 참조하면, 미지의 G 픽셀이 수평 및 수직 그래디언트들을 이용해서 보간의 방향성을 고려하여 먼저 추정된다.
도 5는 본 발명의 바람직한 일 실시예에 따른 멀티 센서 보간 장치의 구성도이다.
도 5를 참조하면, 본 발명의 바람직한 일 실시예에 따른 멀티 센서 보간 장치는 평가치 생성부(110)와, 가중치 생성부(120) 및 보간 생성부(140)를 포함한다.
상기 평가치 생성부(110)는 수평 방향 평가치 생성기(112), 수직 방향 평가치 생성기(114) 및 평균 방향 평가치 생성기(116)를 포함한다.
그리고, 가중치 생성부(120)는 좌측 가중치 생성기(122), 우측 가중치 생성기(124), 상측 가중치 생성기(126), 하측 가중치 생성기(128), 수평 가중치 생성기(130) 및 수직 가중치 생성기(132)를 포함한다.
다음으로, 보간 생성부(140)는 수평 보간 생성기(142), 수직 보간 생성기(144) 및 최종 보간 생성기(146)를 포함한다.
먼저, 평가치 생성부(110)의 수평 방향 평가치 생성기(112)가 R 채널 그린 수평 방향 평가치를 생성하는 과정에 대해서 상세히 설명한다.
도 4a에 도시된 바와 같이, (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수평 방향의 R 채널 그린 수평 방향 평가치 GHR(i,j)는 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 1과 같다.
(수학식 1)
GHR(i, j)= (G(i,j-1)+G(i, j+1))/2+(2R(i,j)-R(i,j-2)-R(i,j+2))/4
다음으로, 평가치 생성부(110)의 수직 방향 평가치 생성부(114)는 (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수직 방향의 R 채널 그린 수직 방향 평가치 GVR(i,j)를 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 2과 같다.
(수학식 2)
GVR(i, j)= (G(i-1,j)+G(i+1, j))/2+(2R(i,j)-R(i-2,j)-R(i+2,j))/4
다음으로, 평가치 생성부(110)에서 평균 방향 평가치 생성기(116)는 GAR(i, j)가 R 채널 그린 평균 방향 평가치를 의미할 때 (i, j)에 위치한 현재 픽셀인 R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 평균하여 다음 수학식 3과 같이 구한다.
(수학식 3)
GAR(i, j)=(GHR(i, j)+GVR(i,j))/2
다음으로, 평가치 생성부(110)의 수평 방향 평가치 생성기(112)가 B 채널 그린 수평 방향 평가치를 생성하는 과정에 대해서 상세히 설명한다.
도 4b에 도시된 바와 같이, (i,j)에 위치한 현재 픽셀인 B 픽셀에서 수평 방향의 B 채널 그린 수평 방향 평가치 GHB(i,j)는 수평 방향의 좌우 양측의 그린 값의 평균에서 해당 위치의 블루값에서 좌우 양측의 인접한 블루값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 4과 같다.
(수학식 4)
GHB(i, j)= (G(i,j-1)+G(i, j+1))/2+(2B(i,j)-B(i,j-2)-B(i,j+2))/4
다음으로, 평가치 생성부(110)의 수직 방향 평가치 생성부(114)가 (i,j)에 위치한 현재 픽셀인 B 픽셀에서 수직 방향의 B 채널 그린 수직 방향 평가치 GVB(i,j)를 수직 방향의 상하 양측의 그린 값의 평균에서 해당 위치의 블루값에서 상하 양측의 인접한 블루값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 5와 같다.
(수학식 5)
GVB(i, j)= (G(i-1,j)+G(i+1, j))/2+(2B(i,j)-B(i-2,j)-B(i+2,j))/4
다음으로, 평가치 생성부(110)에서 평균 방향 평가치 생성기(116)는 GAB(i, j)가 B 채널 그린 평균 방향 평가치를 의미할 때 (i, j)에 위치한 현재 픽셀인 B 픽셀에서 다음 수학식 6과 같이 구해진다.
(수학식 6)
GAB(i, j)=(GHB(i, j)+GVB(i,j))/2
한편, 가중치 생성부(120)는 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성한다.
상기 R 채널의 (i, j) 위치에 대한 좌측의 그린값의 위치의 레드 평균값을 RMGR(i, j-1)라고 할 때 RMGR(i, j-1)=(R(i, j-2)+R(i,j))/2로 정의된다.
동일하게, 상기 R 채널의 (i, j) 위치에 대한 우측의 그린값의 위치의 레드 평균값을 RMGR(i, j+1)이라고 할 때 RMGR(i, j+1)=(R(i, j+2)+R(i,j))/2로 정의된다.
동일하게, 상기 R 채널의 (i, j) 위치에 대한 상측의 그린값의 위치의 레드 평균값을 RMGR(i-1, j)이라고 할 때 RMGR(i-1, j)=(R(i-2, j)+R(i,j))/2로 정의된다.
동일하게, 상기 R 채널의 (i, j) 위치에 대한 하측의 그린값의 위치의 레드 평균값을 RMGR(i+1, j)이라고 할 때 RMGR(i+1, j)=(R(i+2, j)+R(i,j))/2로 정의된다.
이와 같은 상황에서 R 채널 그린 좌측 가중치를 ψGR(i, j-1)이라고 하면 좌측 가중치 생성기(122)는 다음 수학식 7과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 좌측 가중치를 구한다.
(수학식 7)
ψGR(i, j-1)=GR(i,j-1)-RMGR(i, j-1)=(2GR(i, j-1)-R(i, j-2)+R(i,j))/2
그리고, R 채널 그린 우측 가중치를 ψGR(i, j+1)이라고 하면 우측 가중치 생성기(124)는 다음 수학식 8과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 우측 가중치를 구한다.
(수학식 8)
ψGR(i, j+1)=GR(i,j+1)-RMGR(i, j+1)=(2GR(i, j+1)-R(i, j+2)+R(i,j))/2
이와 같은 상황에서 R 채널 그린 상측 가중치를 ψGR(i-1, j)이라고 하면 상측 가중치 생성기(126)는 다음 수학식 9과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 상측 가중치를 구한다.
(수학식 9)
ψGR(i-1, j)=GR(i-1,j)-RMGR(i-1, j)=(2GR(i-1, j)-R(i-2, j)+R(i,j))/2
그리고, R 채널 그린 하측 가중치를 ψGR(i+1, j)이라고 하면 하측 가중치 생성기(128)은 다음 수학식 10과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 하측 가중치를 구한다.
(수학식 10)
ψGR(i+1, j)=GR(i+1,j)-RMGR(i+1, j)=(2GR(i+1, j)-R(i+2, j)+R(i,j))/2
다음으로, 가중치 생성부(120)는 B 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성한다.
상기 B 채널의 (i, j) 위치에 대한 좌측의 그린값의 위치의 블루 평균값을 BMGB(i, j-1)이라고 할 때 BMGB(i, j-1)=(B(i, j-2)+B(i,j))/2로 정의된다.
동일하게, 상기 B 채널의 (i, j) 위치에 대한 우측의 그린값의 위치의 블루 평균값을 BMGB(i, j+1)이라고 할 때 BMGB(i, j+1)=(B(i, j+2)+B(i,j))/2로 정의된다.
동일하게, 상기 B 채널의 (i, j) 위치에 대한 상측의 그린값의 위치의 블루 평균값을 BMGB(i-1, j)이라고 할 때 BMGB(i-1, j)=(B(i-2, j)+B(i,j))/2로 정의된다.
동일하게, 상기 B 채널의 (i, j) 위치에 대한 하측의 그린값의 위치의 블루 평균값을 BMGB(i+1, j)이라고 할 때 BMGB(i+1, j)=(B(i+2, j)+B(i,j))/2로 정의된다.
이와 같은 상황에서 B 채널 그린 좌측 가중치를 ψBR(i, j-1)이라고 하면 좌측 가중치 생성기(122)는 다음 수학식 11과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 좌측 가중치를 구한다.
(수학식 11)
ψGB(i, j-1)=GR(i,j-1)-BMGB(i, j-1)=(2GR(i, j-1)-B(i, j-2)+B(i,j))/2
그리고, B 채널 그린 우측 가중치를 ψGB(i, j+1)이라고 하면 우측 가중치 생성기(124)는 다음 수학식 12과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 우측 가중치를 구한다.
(수학식 12)
ψGB(i, j+1)=GR(i,j+1)-BMGB(i, j+1)=(2GR(i, j+1)-B(i, j+2)+B(i,j))/2
이와 같은 상황에서 B 채널 그린 상측 가중치를 ψGB(i-1, j)이라고 하면 상측 가중치 생성기(126)는 다음 수학식 13과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 상측 가중치를 구한다.
(수학식 13)
ψGB(i-1, j)=GR(i-1,j)-BMGB(i-1, j)=(2GR(i-1, j)-B(i-2, j)+B(i,j))/2
그리고, B 채널 그린 하측 가중치를 ψGB(i+1, j)이라고 하면 하측 가중치 생성기(128)은 다음 수학식 14과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 하측 가중치를 구한다.
(수학식 14)
ψGB(i+1, j)=GR(i+1,j)-BMGB(i+1, j)=(2GR(i+1, j)-B(i+2, j)+B(i,j))/2
이와 같이 가중치가 생성되면 수평 가중치 생성기(130)는 R 채널 그린 수평 가중치 ωHGR를 R채널 그린 좌측 가중치와 R 채널 그린 우측 가중치를 이용하여 다음 수학식 15를 사용하여 산출한다.
(수학식 15)
ωHGR=ψGR(i, j-1)*ψGR(i, j+1)/(ψGR(i, j-1)+ψGR(i, j+1))
그리고, 이와 같이 가중치가 생성되면 수직 가중치 생성기(132)는 R 채널 그린 수직 가중치 ωVGR를 R채널 그린 상측 가중치와 R 채널 그린 하측 가중치를 이용하여 다음 수학식 16을 사용하여 산출한다.
(수학식 16)
ωVGR=ψGR(i-1, j)*ψGR(i+1, j)/(ψGR(i+1, j)+ψGR(i+1, j))
이와 같이 가중치가 생성되면 수평 가중치 생성기(130)는 B 채널 그린 수평 가중치 ωHGB를 B채널 그린 좌측 가중치와 B 채널 그린 우측 가중치를 이용하여 다음 수학식 17를 사용하여 산출한다.
(수학식 17)
ωHGB=ψGB(i, j-1)*ψGB(i, j+1)/(ψGB(i, j-1)+ψGB(i, j+1))
그리고, 이와 같이 가중치가 생성되면 수직 가중치 생성기(132)는 B 채널 그린 수직 가중치 ωVGB를 B채널 그린 상측 가중치와 B 채널 그린 하측 가중치를 이용하여 다음 수학식 18을 사용하여 산출한다.
(수학식 18)
ωVGB=ψGB(i-1, j)*ψGB(i+1, j)/(ψGB(i+1, j)+ψGB(i+1, j))
한편, 보간 생성부(140)의 수평 보간 생성기(142)는 수학식 1을 평균값을 고려하여 아래 (수학식 19)와 같이 변환한다.
(수학식 19)
GHR(i, j)= R(i, j)+(1/2){(G(i,j-1)-(R(i,j)+R(i,j-2))/2)+(G(i, j+1)-(R(i,j)+R(i,j-2))/2))}
= R(i, j)+(1/2){(G(i,j-1)-RMGR(i,j-1))+(G(i, j+1)-RMGR(i,j+1))}
다음으로, 수직 보간 생성기(144)는 수학식2를 평균값을 고려하여 아래 수학식 20과 같이 변환한다.
(수학식 20)
GVR(i, j)= R(i, j)+(1/2){(G(i-1,j)-(R(i,j)+R(i-2,j))/2)+(G(i+1, j)-(R(i,j)+R(i-2,j))/2))}
= R(i, j)+(1/2){(G(i-1,j)-RMGR(i-1,j))+(G(i+1, j)-RMGR(i+1,j))}
한편, 보간 생성부(140)의 수평 보간 생성기(142)는 수학식 3을 평균값을 고려하여 아래 (수학식 21)와 같이 변환한다.
(수학식 21)
GHB(i, j)= B(i, j)+(1/2){(G(i,j-1)-(B(i,j)+B(i,j-2))/2)+(G(i, j+1)-(B(i,j)+B(i,j-2))/2))}
= B(i, j)+(1/2){(G(i,j-1)-BMGB(i,j-1))+(G(i, j+1)-BMGB(i,j+1))}
다음으로, 수직 보간 생성기(144)는 수학식4를 평균값을 고려하여 아래 수학식 22과 같이 변환한다.
(수학식 22)
GVB(i, j)= B(i, j)+(1/2){(G(i-1,j)-(B(i,j)+B(i-2,j))/2)+(G(i+1, j)-(B(i,j)+B(i-2,j))/2))}
= B(i, j)+(1/2){(G(i-1,j)-BMGB(i-1,j))+(G(i+1, j)-BMGB(i+1,j))}
다음으로, 최종 보간 생성기(146)은 R 채널에 대하여 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값 GFR(i, j)을 구하는데 이때 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가한다. 이때 사용되는 수학식은 23에 나타난 바와 같이 수학식 19에 수학식 20을 더할 때 다음과 같이 가중치를 적용한다.
(수학식 23)
GFR(i, j)=R(i, j)+[ωHGR{(G(i-1,j)-RMGR(i-1,j))+(G(i+1, j)-RMGR(i+1,j))}+ωVGR(G(i,j-1)-RMGR(i,j-1))+(G(i, j+1)-RMGR(i,j+1))}]/4(ωHGR+ωVGR)
그리고, 최종 보간 생성기(146)는 B 채널에 대하여 B 채널 그린 수평 보간값과 B 채널 그린 수직 보간값을 평균하여 B채널 그린 최종 보간값 GFB(i, j)을 구하는데 이때 B 채널 그린 수평 가중치와 B 채널 그린 수직 가중치를 부가한다. 이때 사용되는 수학식은 24에 나타난 바와 같이 수학식 21에 수학식 22을 더할 때 다음과 같이 가중치를 적용한다.
(수학식 24)
GFB(i, j)=R(i, j)+[ωHGB{(G(i-1,j)-BMGB(i-1,j))+(G(i+1, j)-BMGB(i+1,j))}+ωVGB(G(i,j-1)-BMGB(i,j-1))+(G(i, j+1)-BMGB(i,j+1))}]/4(ωHGB+ωVGB)
한편, 최종 보간 생성기(146)는 이와 같이 R 채널에 대한 최종 보간값과 B 채널에 대한 최종 보간값이 얻어지면 도 4c의 G 채널에 대한 G채널 레드 최종 보간값 RFG(i,j)을 구한다.
이를 위해 도 4c에 도시된 바와 같이, (i,j-1)에 위치한 픽셀인 R 픽셀에서 수평 방향의 R 채널 그린 수평 방향 평가치 GHR(i,j-1)는 수평 방향의 좌우 양측의 그린 값의 평균에서 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 1과 같다.
(수학식 25)
GHR(i, j-1)= (G(i,j-2)+G(i, j))/2+(2R(i,j-1)-R(i,j-3)-R(i,j+1))/4
다음으로, 평가치 생성부(110)의 수직 방향 평가치 생성부(114)는 (i,j-1)에 위치한 현재 픽셀인 R 픽셀에서 수직 방향의 R 채널 그린 수직 방향 평가치 GVR(i,j-1)를 수직 방향의 상하 양측의 그린 값의 평균에서 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 26과 같다.
(수학식 26)
GVR(i, j-1)= (G(i-1,j-1)+G(i+1, j-1))/2+(2R(i,j-1)-R(i-2,j-1)-R(i+2,j-1))/4
다음으로, 평가치 생성부(110)에서 평균 방향 평가치 생성기(116)는 GAR(i, j-1)가 R 채널 그린 평균 방향 평가치를 의미할 때 (i, j-1)에 위치한 현재 픽셀인 R 픽셀에서 다음 수학식 27과 같이 구해진다.
(수학식 27)
GAR(i, j-1)=(GHR(i, j-1)+GVR(i,j-1))/2
이와 동일한 과정으로 (i, j+1)의 GAR(i, j+1)을 구한다.
그리고, 이에 따라 보간 생성부(140)의 최종 보간 생성기(146)는 G채널 레드 최종 보간값 RFG(i,j)을 아래 수학식 28를 사용하여 구한다.
(수학식 28)
RFG(i, j)=G(i, j)+(1/2)(R(i, j-1)-GAR(i, j-1)+R(i, j+1)-GAR(i, j+1))
이와 유사하게, 다음으로, 평가치 생성부(110)의 수평 방향 평가치 생성기(112)가 B 채널 그린 수평 방향 평가치를 생성하는 과정에 대해서 상세히 설명한다.
도 4b에 도시된 바와 같이, (i-1,j)에 위치한 현재 픽셀인 B 픽셀에서 수평 방향의 B 채널 그린 수평 방향 평가치 GHB(i-1,j)는 수평 방향의 좌우 양측의 그린 값의 평균에서 해당 위치의 블루값에서 좌우 양측의 인접한 블루값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 29과 같다.
(수학식 29)
GHB(i-1, j)= (G(i-1,j-1)+G(i-1, j+1))/2+(2B(i-1,j)-B(i-1,j-2)-B(i-1,j+2))/4
다음으로, 평가치 생성부(110)의 수직 방향 평가치 생성부(114)가 (i-1,j)에 위치한 현재 픽셀인 B 픽셀에서 수직 방향의 B 채널 그린 수직 방향 평가치 GVB(i-1,j)를 수직 방향의 상하 양측의 그린 값의 평균에서 해당 위치의 블루값에서 상하 양측의 인접한 블루값의 차이값의 평균을 가산하여 구한다.
이를 수학식으로 나타내면 아래 수학식 30과 같다.
(수학식 30)
GVB(i-1, j)= (G(i-2,j)+G(i, j))/2+(2B(i-1,j)-B(i-3,j)-B(i+1,j))/4
다음으로, 평가치 생성부(110)에서 평균 방향 평가치 생성기(116)는 GAB(i-1, j)가 B 채널 그린 평균 방향 평가치를 의미할 때 (i-1, j)에 위치한 현재 픽셀인 B 픽셀에서 다음 수학식 31과 같이 구해진다.
(수학식 31)
GAB(i-1, j)=(GHB(i-1, j)+GVB(i-1,j))/2
이와 동일한 과정으로 (i+1, j)의 GAB(i+1, j)을 구한다.
그리고, 이에 따라 보간 생성부(140)의 최종 보간 생성기(146)는 G채널 블루 최종 보간값 BFG(i,j)을 아래 수학식 32를 사용하여 구한다.
(수학식 32)
BFG(i, j)=G(i, j)+(1/2)(B(i-1, j)-GAB(i-1, j)+B(i+1, j)-GAB(i-1, j))
한편, 도 6a는 본 발명의 바람직한 일 실시예에 따른 평가치 산출 과정의 흐름도이다.
도 6a를 참조하면, 본 발명의 바람직한 일 실시 예에 따른 평가치 산출 과정은 평가치 생성부(110)의 수평 방향 평가치 생성기(112)가 R 채널 그린 수평 방향 평가치를 생성하는 과정에 대해서 상세히 설명한다.
먼저, 도 4a에 도시된 바와 같이, (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수평 방향의 R 채널 그린 수평 방향 평가치 GHR(i,j)는 수평 방향의 좌우 양측의 그린 값의 평균에서 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 구한다. 이때 위의 수학식 1이 사용된다(S10).
다음으로, 평가치 생성부의 수직 방향 평가치 생성부는 (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수직 방향의 R 채널 그린 수직 방향 평가치 GVR(i,j)를 수직 방향의 상하 양측의 그린 값의 평균에서 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 구한다. 이때 위의 수학식 2가 사용된다(S12).
다음으로, 평가치 생성부에서 평균 방향 평가치 생성기는 GAR(i, j)가 R 채널 그린 평균 방향 평가치를 의미할 때 (i, j)에 위치한 현재 픽셀인 R 픽셀에서 위의 수학식 3을 이용하여 구한다(S14).
다음으로, 평가치 생성부의 수평 방향 평가치 생성기가 B 채널 그린 수평 방향 평가치를 생성하는 과정에 대해서 상세히 설명한다.
도 4b에 도시된 바와 같이, (i,j)에 위치한 현재 픽셀인 B 픽셀에서 수평 방향의 B 채널 그린 수평 방향 평가치 GHB(i,j)는 수평 방향의 좌우 양측의 그린 값의 평균에서 해당 위치의 블루값에서 좌우 양측의 인접한 블루값의 차이값의 평균을 가산하여 구한다. 이때 위의 수학식 4가 사용된다(S16).
다음으로, 평가치 생성부의 수직 방향 평가치 생성부가 (i,j)에 위치한 현재 픽셀인 B 픽셀에서 수직 방향의 B 채널 그린 수직 방향 평가치 GVB(i,j)를 수직 방향의 상하 양측의 그린 값의 평균에서 해당 위치의 블루값에서 상하 양측의 인접한 블루값의 차이값의 평균을 가산하여 구한다. 이를 수학식으로 나타내면 위의 수학식 5와 같다(S18).
다음으로, 평가치 생성부에서 평균 방향 평가치 생성기는 GAB(i, j)가 B 채널 그린 평균 방향 평가치를 의미할 때 (i, j)에 위치한 현재 픽셀인 B 픽셀에서 위의 수학식 6과 같이 구해진다(S20).
도 6b는 본 발명의 바람직한 일 실시예에 따른 가중치 산출 과정의 흐름도이다.
도 6b를 참조하면, 본 발명의 바람직한 일실시예에 따른 가중치 산출 과정은 먼저 가중치 생성부는 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성한다.
이와 같은 상황에서 R 채널 그린 좌측 가중치를 ψGR(i, j-1)이라고 하면 좌측 가중치 생성기는 위의 수학식 7과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 좌측 가중치를 구한다(S30).
그리고, R 채널 그린 우측 가중치를 ψGR(i, j+1)이라고 하면 우측 가중치 생성기는 위의 수학식 8과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 우측 가중치를 구한다(S32).
이와 같은 상황에서 R 채널 그린 상측 가중치를 ψGR(i-1, j)이라고 하면 상측 가중치 생성기는 위의 수학식 9과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 상측 가중치를 구한다(S34).
그리고, R 채널 그린 하측 가중치를 ψGR(i+1, j)이라고 하면 하측 가중치 생성기는 위의 수학식 10과 같이 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 하측 가중치를 구한다(S36).
다음으로, 가중치 생성부는 B 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성한다.
이와 같은 상황에서 B 채널 그린 좌측 가중치를 ψBR(i, j-1)이라고 하면 좌측 가중치 생성기(122)는 위의 수학식 11과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 좌측 가중치를 구한다(S38).
그리고, B 채널 그린 우측 가중치를 ψGB(i, j+1)이라고 하면 우측 가중치 생성기는 위의 수학식 12과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 우측 가중치를 구한다(S40).
이와 같은 상황에서 B 채널 그린 상측 가중치를 ψGB(i-1, j)이라고 하면 상측 가중치 생성기는 위의 수학식 13과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 상측 가중치를 구한다(S42).
그리고, B 채널 그린 하측 가중치를 ψGB(i+1, j)이라고 하면 하측 가중치 생성기(128)은 위의 수학식 14과 같이 해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 하측 가중치를 구한다(S44).
이와 같이 가중치가 생성되면 수평 가중치 생성기는 R 채널 그린 수평 가중치 ωHGR를 R채널 그린 좌측 가중치와 R 채널 그린 우측 가중치를 이용하여 위의 수학식 15를 사용하여 산출한다(S46).
그리고, 이와 같이 가중치가 생성되면 수직 가중치 생성기는 R 채널 그린 수직 가중치 ωVGR를 R채널 그린 상측 가중치와 R 채널 그린 하측 가중치를 이용하여 위의 수학식 16을 사용하여 산출한다(S48).
이와 같이 가중치가 생성되면 수평 가중치 생성기는 B 채널 그린 수평 가중치 ωHGB를 B채널 그린 좌측 가중치와 B 채널 그린 우측 가중치를 이용하여 위의 수학식 17를 사용하여 산출한다(S50).
그리고, 이와 같이 가중치가 생성되면 수직 가중치 생성기는 B 채널 그린 수직 가중치 ωVGB를 B채널 그린 상측 가중치와 B 채널 그린 하측 가중치를 이용하여 위의 수학식 18을 사용하여 산출한다(S52).
도 6c는 본 발명의 바람직한 일 실시예에 따른 보간 생성 과정의 흐름도이다.
도 6c를 참조하면, 본 발명의 바람직한 일 실시예에 따른 보간 생성 과정은 보간 생성부의 수평 보간 생성기가 수학식 1을 평균값을 고려하여 (수학식 19)와 같이 변환한다(S50).
그리고, 수직 보간 생성기는 수학식2를 평균값을 고려하여 수학식 20과 같이 변환한다(S52).
다음으로, 최종 보간 생성기은 R 채널에 대하여 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값 GFR(i, j)을 구하는데 이때 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가한다. 이때 사용되는 수학식은 23에 나타난 바와 같이 수학식 19에 수학식 20을 더할 때 가중치를 적용한다(S54).
다음으로, 보간 생성부의 수평 보간 생성기는 수학식 3을 평균값을 고려하여 (수학식 21)와 같이 변환한다(S56).
다음으로, 수직 보간 생성기는 수학식4를 평균값을 고려하여 수학식 22과 같이 변환한다(S58).
그리고, 최종 보간 생성기는 B 채널에 대하여 B 채널 그린 수평 보간값과 B 채널 그린 수직 보간값을 평균하여 B채널 그린 최종 보간값 GFB(i, j)을 구하는데 이때 B 채널 그린 수평 가중치와 B 채널 그린 수직 가중치를 부가한다. 이때 사용되는 수학식은 24에 나타난 바와 같이 수학식 21에 수학식 22을 더하여 가중치를 적용한다(S60).
이와 관련하여 도 7은 McMaster 데이터 세트를 나타낸다. McMaster 데이터 세트는 18개의 칼라 이미지를 가지고 있으며 500*500 픽셀의 사이즈이다.
그리고, 도 8은 CPSNR 성능을 본 발명과 종래 기술을 비교하여 나타내며, 도 9는 S-CIELAB △E*의 결과를 보여준다.
도 10 내지 12는 원본 영상(a), CDDFW(b), EDAEP(c), ESF(d), MSG(e) 그리고 본 발명에 따른 결과(f)를 보여준다.
상기와 같은 본 발명에 따르면, 종래의 보간 방법들에서 나타나는 아직도 왜곡이 충분히 보상되지 않는 문제점이나, 개선되어야 할 왜곡 현상으로 제시된 경계에서의 지퍼(zipper) 효과인 엘리어싱(aliasing), 컬러 모아레(moire), 상세하게 표시하지 못하는(lost of detail) 번짐(blurring), 잘못된(false/pseudo) 컬러 효과 등을 개선할 수 있다.
110 : 평가치 생성부 112 : 수평 방향 평가치 생성기
114 : 수직 방향 평가치 생성기 116 : 평균 방향 평가치 생성기
120 : 가중치 생성부 122 : 좌측 가중치 생성기
124 : 우측 가중치 생성기 126 : 상측 가중치 생성기
128 : 하측 가중치 생성기 130 : 수평 가중치 생성기
132 : 수직 가중치 생성기 140 : 보간 생성부
142 : 수평 보간 생성기 144 : 수직 보간 생성기
146 : 최종 보간 생성기

Claims (19)

  1. R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 평가치 생성부;
    R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 가중치 생성부; 및
    R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 보간 생성부를 포함하며,
    상기 가중치 생성부는
    해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 좌측 가중치를 구하는 좌측 가중치 생성기;
    해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 우측 가중치를 구하는 우측 가중치 생성기;
    해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 상측 가중치를 구하는 상측 가중치 생성기;
    해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 하측 가중치를 구하는 하측 가중치 생성기;
    R 채널 그린 수평 가중치를 R채널 그린 좌측 가중치와 R 채널 그린 우측 가중치를 이용하여 산출하는 수평 가중치 생성기; 및
    R 채널 그린 수직 가중치를 R채널 그린 상측 가중치와 R 채널 그린 하측 가중치를 이용하여 산출하는 수직 가중치 생성기를 포함하는 멀티 센서 보간 장치.
  2. 청구항 1항에 있어서,
    상기 평가치 생성부는
    R 픽셀에서 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 R 채널 그린 수평 방향 평가치를 산출하는 수평 방향 평가치 생성기;
    R 픽셀에서 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 R채널 그린 수직 방향 평가치를 산출하는 수직 방향 평가치 생성기; 및
    R 픽셀에서 상기 R채널 그린 수평 방향 평가치와 상기 R 채널 그린 수직 방향 평가치를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 평균 방향 평가치 생성기를 포함하는 멀티 센서 보간 장치.
  3. 청구항 2항에 있어서,
    상기 수평 방향 평가치 생성기는 (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수평 방향의 R 채널 그린 수평 방향 평가치를 GHR(i,j)이라 하고, (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수직 방향의 R 채널 그린 수직 방향 평가치를 GVR(i,j)라 할 때 R 채널 그린 평균 방향 평가치인 GAR(i, j)는 아래 수학식 3으로 산출하는 멀티 센서 보간 장치.

    (수학식 3)
    GAR(i, j)=(GHR(i, j)+GVR(i,j))/2
  4. 삭제
  5. 청구항 1항에 있어서,
    상기 보간 생성부는
    R 채널 그린 수평 보간값을 생성하는 수평 보간 생성기;
    R 채널 그린 수직 보간값을 생성하는 수직 보간 생성기; 및
    R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 최종 보간 생성기를 포함하는 멀티 센서 보간 장치.
  6. 청구항 1항에서
    상기 평가치 생성부는 B 픽셀에서 B채널 그린 수평 방향 평가치와 B 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 B 채널 그린 평균 방향 평가치를 산출하는 멀티 센서 보간 장치.
  7. 청구항 6항에 있어서,
    상기 평가치 생성부는
    B 픽셀에서 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 블루값에서 좌우 양측의 인접한 블루값의 차이값의 평균을 가산하여 B 채널 그린 수평 방향 평가치를 산출하는 수평 방향 평가치 생성기;
    B 픽셀에서 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 블루값에서 상하 양측의 인접한 블루값의 차이값의 평균을 가산하여 B채널 그린 수직 방향 평가치를 산출하는 수직 방향 평가치 생성기; 및
    B 픽셀에서 상기 B채널 그린 수평 방향 평가치와 상기 B 채널 그린 수직 방향 평가치를 평균하여 B 채널 그린 평균 방향 평가치를 산출하는 평균 방향 평가치 생성기를 포함하는 멀티 센서 보간 장치.
  8. 청구항 7항에 있어서,
    상기 수평 방향 평가치 생성기는 (i,j)에 위치한 현재 픽셀인 B 픽셀에서 수평 방향의 B 채널 그린 수평 방향 평가치를 GHB(i,j)이라 하고, (i,j)에 위치한 현재 픽셀인 B 픽셀에서 수직 방향의 B 채널 그린 수직 방향 평가치를 GVB(i,j)라 할 때 B 채널 그린 평균 방향 평가치인 GAB(i, j)는 아래 수학식 6으로 산출하는 멀티 센서 보간 장치.
    (수학식 6)
    GAB(i, j)=(GHB(i, j)+GVB(i,j))/2
  9. R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 평가치 생성부;
    R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 가중치 생성부; 및
    R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 보간 생성부를 포함하며,
    상기 가중치 생성부는 B 픽셀에서 B 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 멀티 센서 보간 장치.
  10. 청구항 9항에 있어서,
    상기 가중치 생성부는
    해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 좌측 가중치를 구하는 좌측 가중치 생성기;
    해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 우측 가중치를 구하는 좌측 가중치 생성기;
    해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 상측 가중치를 구하는 상측 가중치 생성기;
    해당 위치의 그린값에서 블루 평균값을 감산하여 B 채널 그린 하측 가중치를 구하는 하측 가중치 생성기;
    B 채널 그린 수평 가중치를 B채널 그린 좌측 가중치와 B 채널 그린 우측 가중치를 이용하여 산출하는 수평 가중치 생성기; 및
    B 채널 그린 수직 가중치를 B채널 그린 상측 가중치와 B 채널 그린 하측 가중치를 이용하여 산출하는 수직 가중치 생성기를 포함하는 멀티 센서 보간 장치.
  11. 청구항 9항에 있어서,
    상기 보간 생성부는
    B 채널 그린 수평 보간값을 생성하고, B 채널 그린 수직 보간값을 생성하며, B 채널에 대하여 B 채널 그린 수평 가중치와 B 채널 그린 수직 가중치를 부가하면서 B 채널 그린 수평 보간값과 B 채널 그린 수직 보간값을 평균하여 B채널 그린 최종 보간값을 구하는 멀티 센서 보간 장치.
  12. 청구항 11항에 있어서,
    상기 보간 생성부는
    B 채널 그린 수평 보간값을 생성하는 수평 보간 생성기;
    B 채널 그린 수직 보간값을 생성하는 수직 보간 생성기; 및
    B 채널에 대하여 B 채널 그린 수평 가중치와 B 채널 그린 수직 가중치를 부가하면서 B 채널 그린 수평 보간값과 B 채널 그린 수직 보간값을 평균하여 B채널 그린 최종 보간값을 구하는 최종 보간 생성기를 포함하는 멀티 센서 보간 장치.
  13. (A) 평가치 생성부가 R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 단계;
    (B) 가중치 생성부가 R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 단계; 및
    (C) 보간 생성부가 R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 단계를 포함하며,
    상기 (B) 단계는
    (B-1) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 좌측 가중치를 구하는 단계;
    (B-2) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 우측 가중치를 구하는 단계;
    (B-3) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 상측 가중치를 구하는 단계;
    (B-4) 상기 가중치 생성부는 해당 위치의 그린값에서 레드 평균값을 감산하여 R 채널 그린 하측 가중치를 구하는 단계;
    (B-5) 상기 가중치 생성부는 R 채널 그린 수평 가중치를 R채널 그린 좌측 가중치와 R 채널 그린 우측 가중치를 이용하여 산출하는 단계; 및
    (B-6) 상기 가중치 생성부는 R 채널 그린 수직 가중치를 R채널 그린 상측 가중치와 R 채널 그린 하측 가중치를 이용하여 산출하는 단계를 포함하는 멀티 센서 보간 방법.
  14. 청구항 13항에 있어서,
    상기(A) 단계는
    (A-1) 상기 평가치 생성부가 R 픽셀에서 수평 방향의 좌우 양측의 그린 값의 평균에 해당 위치의 레드값에서 좌우 양측의 인접한 레드값의 차이값의 평균을 가산하여 R 채널 그린 수평 방향 평가치를 산출하는 단계;
    (A-2) 상기 평가치 생성부가 R 픽셀에서 수직 방향의 상하 양측의 그린 값의 평균에 해당 위치의 레드값에서 상하 양측의 인접한 레드값의 차이값의 평균을 가산하여 R채널 그린 수직 방향 평가치를 산출하는 단계; 및
    (A-3) 상기 평가치 생성부가 R 픽셀에서 상기 R채널 그린 수평 방향 평가치와 상기 R 채널 그린 수직 방향 평가치를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 단계를 포함하는 멀티 센서 보간 방법.
  15. 삭제
  16. 청구항 13항에 있어서,
    상기 (C) 단계는
    (C-1) 상기 보간 생성부는 R 채널 그린 수평 보간값을 생성하는 단계;
    (C-2) 상기 보간 생성부는 R 채널 그린 수직 보간값을 생성하는 단계; 및
    (C-3) 상기 보간 생성부는 R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 단계를 포함하는 멀티 센서 보간 방법.
  17. 청구항 13에서
    (D) 상기 평가치 생성부는 B 픽셀에서 B채널 그린 수평 방향 평가치와 B 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 B 채널 그린 평균 방향 평가치를 산출하는 단계를 더 포함하는 멀티 센서 보간 방법.
  18. (A) 평가치 생성부가 R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 단계;
    (B) 가중치 생성부가 R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 단계;
    (C) 보간 생성부가 R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 단계; 및
    (E) 상기 가중치 생성부가 B 픽셀에서 B 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 단계를 포함하는 멀티 센서 보간 방법.
  19. (A) 평가치 생성부가 R 픽셀에서 R채널 그린 수평 방향 평가치와 R 채널 그린 수직 방향 평가치를 산출하고 이를 평균하여 R 채널 그린 평균 방향 평가치를 산출하는 단계;
    (B) 가중치 생성부가 R 픽셀에서 R 채널에 대하여 상하좌우의 그린값에 대하여 가중치를 생성하고 이를 이용하여 수평 가중치와 수직 가중치를 산출하는 단계;
    (C) 보간 생성부가 R 채널 그린 수평 보간값을 생성하고, R 채널 그린 수직 보간값을 생성하며, R 채널에 대하여 R 채널 그린 수평 가중치와 R 채널 그린 수직 가중치를 부가하면서 R 채널 그린 수평 보간값과 R 채널 그린 수직 보간값을 평균하여 R채널 그린 최종 보간값을 구하는 단계; 및
    (F) 상기 보간 생성부가 B 채널 그린 수평 보간값을 생성하고, B 채널 그린 수직 보간값을 생성하며, B 채널에 대하여 B 채널 그린 수평 가중치와 B 채널 그린 수직 가중치를 부가하면서 B 채널 그린 수평 보간값과 B 채널 그린 수직 보간값을 평균하여 B채널 그린 최종 보간값을 구하는 단계를 포함하는 멀티 센서 보간 방법.
KR1020150181248A 2015-12-17 2015-12-17 멀티 센서 보간 장치 및 그 방법 KR101730968B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150181248A KR101730968B1 (ko) 2015-12-17 2015-12-17 멀티 센서 보간 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150181248A KR101730968B1 (ko) 2015-12-17 2015-12-17 멀티 센서 보간 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101730968B1 true KR101730968B1 (ko) 2017-04-28

Family

ID=58702151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150181248A KR101730968B1 (ko) 2015-12-17 2015-12-17 멀티 센서 보간 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101730968B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093336A (ja) * 2008-10-03 2010-04-22 Victor Co Of Japan Ltd 撮像装置および補間処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093336A (ja) * 2008-10-03 2010-04-22 Victor Co Of Japan Ltd 撮像装置および補間処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kim et al. Taylor series and adaptive fusion strategy for Bayer demosaicking. Digital Signal Processing, 2014, Vol. 35, pp. 53-63.*

Similar Documents

Publication Publication Date Title
Pekkucuksen et al. Gradient based threshold free color filter array interpolation
Zhang et al. Color demosaicking via directional linear minimum mean square-error estimation
JP4351825B2 (ja) カラーのディジタルイメージを収集する方法
KR100699831B1 (ko) 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
WO2011158572A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR100667803B1 (ko) 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치
JP2012060641A (ja) デジタルｒａｗ画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路
US10075640B2 (en) Motion compensation for image sensor with a block based analog-to-digital converter
JP2004343685A (ja) 重み付け勾配ベースの色補正された補間
JP5868046B2 (ja) 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体
JP2011041210A (ja) 信号処理装置、撮像装置及び信号処理方法
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP4912979B2 (ja) 画像処理装置、画像処理方法及びプログラム
Lee et al. Cost-efffective color filter array demosaicing using spatial correlation
JP2014158267A (ja) カラーフィルタ、撮像素子、画像処理装置および画像処理方法
KR101730968B1 (ko) 멀티 센서 보간 장치 및 그 방법
Wu et al. Improvement of color video demosaicking in temporal domain
US6795586B1 (en) Noise cleaning and interpolating sparsely populated color digital image
JP2009047734A (ja) 撮像装置及び画像処理プログラム
Wang et al. Demosaicing with improved edge direction detection
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
Song et al. Edge pattern based demosaicking algorithm of color filter array
Yuk et al. Color demosaicking using direction similarity in color difference spaces
Chang et al. Adaptive color filter array demosaicing with artifact suppression
Zapryanov et al. Comparative study of demosaicing algorithms for bayer and pseudo-random bayer color filter arrays

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant