KR101634548B1

KR101634548B1 - 보팅 기반 방향성 보간 방법 및 그의 스틸 컬러 이미지 디모자이킹 애플리케이션

Info

Publication number: KR101634548B1
Application number: KR1020150001963A
Authority: KR
Inventors: 전광길
Original assignee: 인천대학교 산학협력단
Priority date: 2015-01-07
Filing date: 2015-01-07
Publication date: 2016-07-08

Abstract

본 발명의 실시예에 따른 디지털 촬영장치에서 보팅 기반 방향성 보간 방법은, 컬러 필터 어레이(CFA) 상에서 에지 영역을 구분하는 단계와, 상기 에지 영역의 중앙 픽셀의 보간 방향을 결정하기 위해 레드 샘플링 요소 위치에서 수평 및 수직 그래디언트를 추정하는 단계와, 블루 샘플링 요소들에 이웃한 픽셀들의 엣지 방향을 추정하는 단계 및 상기 이웃 픽셀들 사이의 교차 채널 연관성을 이용하여, 검출된 방향에 따라 결여 그린 요소를 보간하는 단계를 포함한다.

Description

보팅 기반 방향성 보간 방법 및 그의 스틸 컬러 이미지 디모자이킹 애플리케이션{Voting Based Directional Interpolation Method and Its Application to Still Color Image Demosaicking}

본 발명은 보간 방법에 관한 것으로 특히, 보팅(voting) 기반 엣지 방향 검출 방법과 방향성이 있고 가중치가 있는 보간 방법을 이용한, 새로운 컬러 이미지 디모자이킹(color image Demosaicking) 알고리즘에 관한 것이다.

비용의 이유로, 현재 이용 가능한 디지털 스틸 칼라 카메라들이 칼라 이미지를 캡춰할 때, 각각의 픽셀에 대해, 세 개의 칼라 채널들의 칼라 정보 중, 단지 한 부분만이 하나의 CCD(charge-coupled device) 센서에 의해 캡쳐된다. 일반적으로, RGB의 양을 측정하는 단 하나의 8bit 숫자가 픽셀에서 캡춰된다. 이 센서는, 카메라에 있는 각각의 픽셀이 단지 하나의 칼라 채널로 캡춰되는, 컬러 필터 어레이(color filter array: CFA)에 포함된다. 이것은 각각의 픽셀에 대해 단지 하나의 칼라 요소가 이용가능하고, 두 개의 결여 컬러들은 인접 픽셀들로부터 추정되어야 하기 때문이다. 이 과정은 보간 방법[1]-[5] 또는 CFA 디모자이킹[6], [7]이라 불린다. 도 1은 가장 흔한 CFA 방식인, Bayer 패턴을 보여준다.

칼라 재생성 품질은 CFA 견본과 선택된 디모자이킹 알고리즘에 의존한다. Bayer 패턴을 기반으로, 다양한 디모자이킹 알고리즘들[8]-[12]이 제안되어 왔다. 이 방법들은, 공간 범위나 주파수 범위에서의 그린과 레드/블루 평면 사이의 색상 차이점을 이용하여 풀 칼라 이미지를 얻는 방식을 제안했다. 이들 방식들의 이점은 매끄러운 영역에서 효율적이라는 것이다. 하지만, 이 방식들은, 보간 방향이 정확히 추정되지 못한다면, 재생성된 고르지 못한 엣지와 텍스처 세부 표현들에서의 많고 적은 인공물에 의해 악화된다.

몇몇의 다른 연구들이 국부적 칼라 재생성 결과를 향상시키기 위해, 이미지의 비국부적 중복을 활용한다. 종래 기술에서, 선보간 픽셀들과 유사한 비국부적 픽셀들은, 국부적 추정을 향상시키기 위해, 검색된다.[13]-[16]

따라서, 복잡한 영역에서 보간 방향을 잘못 추정하지 않기 위한 새로운 보간 방법이 필요하다.

[1] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Designing of a type-2 fuzzy logic filter for improving edge-preserving restoration of interlaced-to-progressive conversion,"Inf. Sci., vol. 179, no. 13,pp. 2194-207, Jun. 2009. [2] G. Jeon, J. You, and J. Jeong, "Weighted fuzzy reasoning scheme for interlaced to progressive conversion,"IEEE Trans. Circuits Syst. Video Technol., vol. 19, no. 6, pp. 842-855, Jun. 2009. [3] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing," Image Vision Comput., vol. 27, no. 4, pp. 425-436, Mar. 2009. [4] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani, and J. Jeong, "Concept of linguistic variable-based fuzzy ensemble approach: Application to interlaced HDTV sequences,"IEEE Trans. Fuzzy Syst., vol. 17, no. 6, pp. 1245-1258, Dec. 2009. [5] J. Wu, J. Huang, G. Jeon, J. Jeong, and L. Jiao, "An adaptive autoregressive de-interlacing method," Opt. Eng., vol. 50, no. 5, p. 057001, May 2011. [6] B. E. Bayer, "Color imaging array," U.S. Patent 3 971 065, Jul. 1976. [7] R. Lukac, K. N. Plataniotis, and D. Hatzinakos, "Color image zooming on the Bayer pattern," IEEE Trans. Circuits Syst. Video Technol., vol. 15, no. 11, pp. 1475-1492, Nov. 2005. [8] L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Process., vol. 14, no. 12, pp. 2167-2178, Dec. 2005. [9] I. Pekkucuksen and Y. Altunbasak, "Edge strength filter based color filter array interpolation," IEEE Trans. Image Process., vol. 21, no. 1, pp. 393-397, Jan. 2012. [10] N. X. Lian, L. Chang, Y.-P. Tan, and V. Zagorodnov, "Adaptive filtering for color filter array demosaicking," IEEE Trans. Image Process., vol. 16, no. 10, pp. 2515-2525, Oct. 2007. [11] J. F. Hamilton and J. E. Adams, "Adaptive color plane interpolation in single sensor color electronic camera," U.S. Patent 5 629 734, 1997. [12] K. H. Chung and Y. H. Chan, "Color demosaicing using variance of color differences," IEEE Trans. Image Process., vol. 15, no. 10, pp. 2944-2955, Oct. 2006. [13] L. Zhang, A. Wu, A. Buades, and X. Li, "Color demosaicking by local directional interpolation and non-local adaptive thresholding," J. Electron. Imaging, vol. 20, no. 2, p. 023016-16, 2011. [14] D. Paliy, V. Katkovnik, R. Bilcu, S. Alenius, and K. Egiazarian, "Spatially adaptive color filter array interpolation for noiseless and noisy data," Int. J. Imaging Syst. Technol., vol. 17, no. 3, pp. 105-122, Oct. 2007. [15] A. Buades, B. Coll, J.-M. Morel, and C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Process., vol. 18, no. 6, pp. 1192-1202, Jun. 2009. [16] X. Li, B. Gunturk, and L. Zhang, "Image demosaicing: A systematic survey," in Proc. SPIE, vol. 6822. 2008, p. 68221J.

본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 복잡한 영역에서 보간 방향을 잘못 추정하지 않기 위한 더 효과적인 보간을 위해, 보팅 기반 엣지 방향 검출(VDD)와 가중치 기반 보간을 조합하는 것을 제안하는데 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 디지털 촬영장치에서 보팅 기반 방향성 보간 방법은, 컬러 필터 어레이(CFA) 상에서 에지 영역을 구분하는 단계와, 상기 에지 영역의 중앙 픽셀의 보간 방향을 결정하기 위해 레드 샘플링 요소 위치에서 수평 및 수직 그래디언트를 추정하는 단계와, 블루 샘플링 요소들에 이웃한 픽셀들의 엣지 방향을 추정하는 단계 및 상기 이웃 픽셀들 사이의 교차 채널 연관성을 이용하여, 검출된 방향에 따라 결여 그린 요소를 보간하는 단계를 포함한다.

본 발명의 실시예에 따른 보팅 기반 방향 검출 방법을 이용함으로써, 보간 방향은 종래 기술에 비해 좀 더 정확하게 획득될 수 있다. 컬러 채널 연관성을 이용하여 결여 그린 구성 요소가 미리 추정되고, 그러면 로컬 적응형 그래디언트 역 가중치 보간 기법은 검출된 보간 방향에 따라 보간 성능을 개선하는 데에 채택된다. 결론적으로, 본 발명의 보간 방법은 부드러운 엣지와 디테일을 보존하는데 장점을 갖는다.

도 1은 CFA 방식인, Bayer 패턴을 보여주는 도면.
도 2의 세 개의 열은 실험에 사용되는 이미지를 도시한 도면.
도 3은 서로 다른 디모자이킹 기법에 의한 PSNR 비교표.
도 4는 서로 다른 디모자이킹 기법을 비교한 MSSIM 비교표.
도 5는 서로 다른 디모자이킹 기법을 비교한 ZE비교표.
도 6은 오리지널 이미지와 디모자이크 이미지를 도시한 도면.
도 7은 서로 다른 디모자이킹 기법의 CPU 연산 시간을 비교한 표.
도 8은 오리지널 이미지와 디모자이크 이미지를 도시한 도면.
도 9는 오리지널 이미지와 디모자이크된 이미지를 도시한 도면.
도 10은 오리지널 이미지와 SSIM 맵을 도시한 도면.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.

한편, 본 발명에서 보팅 기반 방향성 보간 방법을 실행하는 주체는 디지털 촬영장치이고, 상기 디지털 촬영장치 중에서도 프로세서라 할 수 있고, 이는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

본 발명은 복잡한 영역에서 보간 방향을 잘못 추정하지 않기 위한 더 효과적인 보간을 위해, 보팅 기반 엣지 방향 검출(VDD)와 가중치 기반 보간을 조합하는 것을 제안한다.

본 발명의 나머지 내용은 다음과 같이 구성된다. 섹션 2의 첫 번째 부섹션에서 보팅 기반 엣지 방향 검출(VDD)가 어떻게 동작하는지 설명하고, 섹션 2의 두 번째 부분에서 보팅 기반 엣지 방향 검출(VDD) 기반 디모자이킹 알고리즘을 소개한다. 섹션 3에서는 제안된 방식의 디모자이킹 성능을 평가한다. 마지막으로 결론은 섹션 4에서 설명된다.

도 2의 세 개의 열은 실험에 사용되는 이미지(500×500)를 도시한 도면이고, 상층부터 바닥까지 그리고 왼쪽에서 오른쪽으로 이 서브 이미지들은 1-18라벨이 붙는다. 마지막 열은 LC 이미지 데이터 세트로부터 줌된 선택된 것이다. 왼쪽부터 오른쪽으로 이 서브 이미지들은 19에서 24로 라벨이 붙는다. 도 3은 서로 다른 디모자이킹 기법에 의한 PSNR 비교표, 도 4는 서로 다른 디모자이킹 기법을 비교한 MSSIM 비교표, 도 5는 서로 다른 디모자이킹 기법을 비교한 ZE비교표이며, 도 7은 서로 다른 디모자이킹 기법의 CPU 연산 시간을 비교한 표이다.

2. 제안된 방법

A. 보팅 기반 방향 검출(Voting-Based 엣지 Directional Detection)

제안된 VDD(보팅 기반 엣지 방향 검출)의 동기는, 종래의 디모자이킹 방법들이 결여 칼라 요소들을 보간할 때 인조의 엣지 방향 정보를 사용한다는 관찰에 기인한다.

특히, 고르지 못한 엣지 및 텍스처 세부 표현이 존재할 때, 중앙의 결여 칼라 요소는, 부정확한 엣지 정보 때문에 정확하게 보간될 수 없다. 중앙의 결여 칼라 요소를 고려한 더 정확한 엣지 정보를 얻기 위해, 본 발명은 보팅(voting) 전략에 의해, 주 방향을 활용하기 위해 이웃 픽셀들의 엣지 방향들을 조사한다.

달리 말하면, 다수의 이웃 픽셀들이 중앙 픽셀과 같은 방향을 가진다면, 엣지 방향은, 예를 들면 중앙 결여 칼라 요소의 주 방향과 같은 안정된 엣지 방향으로 고려된다.

반면, 단지 소수의 이웃 픽셀들이 중앙 픽셀과 같은 방향을 가진다면, 엣지 방향은 불안정한 엣지 방향으로 고려되며, 그것은 중앙의 결여 칼라 요소에 어떠한 주 방향도 검출되지 않았다고 가정된다.

고른 엣지를 위해, 하나의 방법은, 연관성 없는 칼라 차이점들의 평균을 회피하기 위해, 보팅 기반 엣지 방향 검출(VDD)에 의한 정확한 엣지 정보 결정을 효과적으로 활용하는 것이다. 고르지 못한 엣지와 텍스처 상세를 위해서, 어떠한 우성 엣지도 보팅 기반 엣지 방향 검출(VDD)에 의해 발견되지 못한다면, 모든 방향들로부터의 추정들의 결합분포(joint distribution)가 중앙 결여 칼라 요소를 보간하기 위해 사용될 수 있다. 이 전략의 장점은 엣지 정보를 정확하게 사용할 수 있다는 것이다.

ACPI [11]의 경우, 레드(red) 샘플링 요소 위치(m, n)에서, 수평 그래디언트

와 수직 그래디언트

가, 다음과 같이 중앙 픽셀의 보간 방향을 결정하기 위해서, 첫 번째로 추정된다. 레드 및 블루의 샘플링 요소들이 유사한 보간 조건들을 가지기 때문에, 일반화의 손실 없이, 본 발명은 단지 레드 샘플링에서의, 식1에서 볼 수 있는 R₅로 특화되는 수평 그래디언트만 고려한다.

(1)

(m, n)이 R₅의 위치이다.

이

보다 작다면, 보간 방향은 수평으로 검출되며, 반대라면 즉,

이

보다 크다면, 보간 방향은 수직으로 검출된다.

이

와 같다면 픽셀은 매끄러운 영역으로 여겨진다.

보간 방향을 좀 더 정확하게 검출하기 위해서, R₅의 블루 샘플링 요소들에 이웃한 픽셀들의 엣지 방향들은 다음과 같은 식(2)를 이용하여 조사된다.

(2)

(m, n)이 R₆, R₇, R₁₀, R₁₁에서, 블루 샘플링 요소들의 위치들이다.

중앙의 결여 칼라 요소의 방향들과 그것의 이웃 픽셀들을 조사하기 위해서, 각각의 방향을 분류하는 하나의 플래그(flag)가 사용되며, 그것은 다음과 같다.

(3)

여기서, X가 R이나 B를 나타내고, (m, n)이 레드(R₅) 그리고 블루(R₆, R₇, R₁₀, R₁₁) 샘플링 요소들을 각각 나타낸다.

만약

가 1과 같다면, X의 방향은 수직이다. 반대로

가 0과 같다면 X의 방향은 수평이다. 보팅 전략을 사용하여,

값들의 합은 R₅의 주 방향을 결정하기 위해 계산되며, 다음과 같이 주어진다.

(4)

보팅 규칙에 따라, 소수는 다수에 종속되고, 본 발명은 보팅 기반 엣지 방향 검출(VDD)의 보팅 규칙을 다음과 같이 정의한다.

1) flag_sum이 4보다 작지 않다면, 그것은 슬라이딩 윈도우에서 5개의 목표 픽셀들 중의 적어도 4개가 수직 보간 방향을 가진다는 것을 나타낸다. 따라서 R₅의 주 방향은 수직이다.

2) flag_sum이 1보다 크지 않다면, 그것은 슬라이딩 위도우에서 5개의 목표 픽셀들 중의 적어도 4개가 수평 보간 방향을 가진다는 것을 나타낸다. 따라서 R₅의 주 방향은 수평이다.

3) 위의 경우들이 아니라면, R₅의 주 방향은 정의되지 않는다. 왜냐면 충분한 보팅 조건이 없기 때문이다.

보팅 기반 엣지 방향 검출(VDD)의 이점은, 매끄러운 영역에 대해서, 엣지 방향이 정확하다는 것이고, 복잡한 영역에 대해서는, 범위 엣지가 존재한다면 그것의 검출이 또한 정확하다는 것이다. 하지만, 어떠한 범위 엣지도 보팅 기반 엣지 방향 검출(VDD)에 의해서 결정되지 않는다면 엣지 방향은 추정되지 못할 것이다. 따라서 산출물은 어느 정도로 줄어들 수 있다. 왜냐면 어떠한 잘못된 엣지 방향도 추정되지 않기 때문이다.

B. 결여 그린 요소의 보간

보팅 기반 엣지 방향 검출(VDD) 전략으로 R₅의 방향이 결정된 이후, R₅에서의 결여 그린 요소 G₅는, 이웃 픽셀들 사이의 교차 채널 연관성을 이용하여, 검출된 방향에 따라 보간될 수 있다. R과 G 채널들 사이의 칼라 차이점을 이용하여, G₅는 동서남북 네 가지 방향에 따라 추정될 수 있다. 도1을 참조하면, G₅는 이들 네 가지 방향에 따라, G₅ ^N, G₅ ^S, G₅ ^W, G₅ ^E로 추정되며 다음과 같이 계산된다.

(5)

G₅의 더 좋은 추정을 위해, 적응적 가중치가 부여된 보간 방법이, 4가지 방향에 따라 R₅에서의 보간 결과를 개선하기 위해 수용된다. 4가지 방향에 따른 R₅의 방향성 있는 그래디언트는, 각각의 칼라 채널 내에서 방향성 있는 칼라 전환의 연관성 때문에, 각각의 방향에서 G₅로의 기여를 조정하기 위한 가중치 요소로 사용된다. 이 보간 방법을 적용하면서, 고르지 못한 엣지 방향과 연관된 보간 오류와 R₅로의 갑작스런 칼라 변화가 줄어들 수 있다. 게다가, 그래디언트의 계산을 안정화시키기 위해, 같은 채널 내에서의 중앙 행과 열의 인접한 행과 열에서 더 많은 이웃하는 픽셀들이 그래디언트 계산에 수반된다. 동서남북 방향들에 따른 그래디언트를 계산하기 위한 방정식은 다음과 같이 주어진다.

(6)

여기서 ε는 그래디언트가 0이 되지 않기 위한, 작은 양의 요소이다.

G₅의 개선된 추정은 그래디언트 역 가중치가 부여된 보간 방법을 이용하여 만들어 진다. 일반적으로, 특정 방향에 따른 작은 그래디언트는 그 방향에 있어서 더 연관성이 있다는 것을 의미한다. 따라서 그 방향에서 선추정된 G₅로 더 높은 가중치를 할당하는 것이 더 나으며, 그 역도 마찬가지다. 따라서, 본 발명의 그래디언트 역 가중치 전략은 방향성 있는 그래디언트와 칼라 차이점의 결합분포를 반영해야 한다. G₅의 방향성 있는 추정으로 할당되는 가중치 비율은 다음 4가지 방향으로 정의된다.

(7)

R₅의 방향이 보팅 기반 엣지 방향 검출(VDD) 전략에 의해 벌써 결정되었기 때문에, 방향성 있는 보팅 결과에 따라, G₅의 최종 보간은 다음 세 가지 상황 중 하나로 분류될 수 있다.

1) 보간 방향이 수평으로 결정된다면, 보간은 동서 방향에 따라서만 적용된다.

2) 보간 방향이 수직으로 결정된다면, 보간은 북남 방향에 따라서만 적용된다.

3) 보간 방향이 정의되지 않는다면, 보간은 모든 4방향에 따라서 적용된다.

보간 방정식은 3가지 결정된 방향들에 따라 주어진다. 수평 보간을 위해서는, 수평 방향에 있는

와

의 추정이 사용되며, ω^W와 ω^E의 가중치 요소들이 보간 성능 조정을 위해 수반된다. 일반화된 보간 방정식은 다음과 같이 주어진다.

(8)

유사하게, 수직 보간을 위해서는, 일반화된 보간 방정식이 다음과 같이 주어진다.

(9)

마지막 보간 경우는 보간 방향이 보팅 기반 엣지 방향 검출(VDD)에 의해 결정되지 않을 때 주어진다. 보간 오류를 회피하기 위해, 보간은 모든 4가지 방향에 따라 추정된다. 달리 말하면, 우리는, ω^W, ω^E, ω^N, ω^S의 가중치 요소들로 보간의 정확성을 보장하기 위해, 4가지 방향들에서

,

의 모든 선추정 값들의 결합분포를 이용한다. 일반화된 보간 방정식은 다음과 같이 정의된다.

(10)

위의 절차들을 모든 R과 B 위치들에 적용함으로써, 우리는 G채널을 재생성할 수 있다.

C. GREEN 채널의 향상

G채널이 근본적으로 검출된 보간 방향에 채워지게 된 이후, 보간된 GREEN 픽셀은 G채널과 R/B 채널 사이의 칼라 차이점을 이용하여 향상될 수 있다. R₅ 주위의 4개의 존재하는 가장 인접한 이웃 GREEN 픽셀들이 R₅와 가장 높은 칼라 연관성을 가지므로, 그들은 보간 성능 향상을 위해 이용될 수 있다. 검출된 보간 방향들 사이의 채널들에 대한 절대적 칼라 차이점들은 그들의 G₅로의 가지각색의 영향들을 보여주기 위해, 가중치 요소들로 사용되며, 다음과 같이 정의된다.

(11)

ε는 gradient가 0이 되지 않기 위한, 작은 양의 요소이다.

식11의 역의 칼라 차이점들은 4가지 방향에서 G₅를 개선하기 위한 가중치 요소로 이용된다.

(12)

4개의 가장 근접하게 존재하는 GREEN 픽셀들 (G₉, G₁₆, G₁₂, G₁₃)와 R₅의 칼라 차이점들은 조정을 수행하기 위해 이용된다. 보팅 결과에 따라, 검출된 방향이 수평이면 G₅의 일반화된 향상 방정식은 다음과 같이 주어진다.

(13)

식 (13)으로부터,

가 R₅로의 G₁₂와 G₁₃의 영향에 따라 개선 이후에 향상되었다는 것을 명백히 볼 수 있다. 만약 검출된 방향이 수직이면, G₅의 일반화된 향상 방정식은 다음과 같이 주어진다.

(14)

반면에, 방향이 결정되지 않는다면 R₅ 주위의 모든 4개의 이웃 픽셀들이 4개의 방향들에 따라 이용될 것이고, 일반화된 향상 방정식은 다음과 같이 주어진다.

(15)

여기서

이다.

개선이후에, GREEN 채널은 결국 채워지게 된다.

D. 결여 레드와 블루 요소들의 보간

Bayer 컬러 필터 어레이(CFA) 샘플들로부터, 그린 픽셀들은 제안된 방식을 이용하여 초기에 보간된다. R, G, B 평면들이 높은 연관성을 가지고 있기 때문에, R과 B를 위한 보간 절차는, 칼라 미등록 문제를 회피하기 위해, 그들의 칼라 차이 평면들을 이용한다. 첫 번째로, R과 G 평면들 사이의 칼라 차이점과 B와 G 평면들 사이의 칼라 차이점이 다음과 같이 계산된다.

(16)

R과 B 픽셀들은 다음과 같이 식(12)에 의해 재생성된다.

(17)

특히, 칼라 차이 평면들은 두 가지 조건들로 계산된다 : 1) CFA의 G 샘플링 위치들에서의 결여 R과 B 요소들, 2) CFA의 R(이나 B) 샘플링 위치들에서의 결여 B(나 R) 요소들. 위치 조건에 따라, 다른 이웃 픽셀들이, [12]에서의 방식을 사용하여, 결여 R과 B 픽셀들을 보간하기 위해 이용된다.

3. 실험적 결과

이 섹션에서 제안된 보팅 기반 방향성 보간 알고리즘(VDI)은 다양한 디모자이킹 방법으로 주관적이고 객관적으로 평가된다. 실험을 수행하기 위해, 본 발명은 우선 목표 테스트 이미지에 Bayer CFA를 이용한 절차를 구현했고, 모자이크된 이미지로부터 세 가지 칼라 채널들을 재생성하기 위한 다른 디모자이킹 방법들을 적용했다.

도 6의 (a)는 오리지널 이미지와 디모자이크 이미지, (b)는 SSD, (c)는 DL[8], (d)ESF[9], (e)LPA-ICI[14], (f)AFD[10], (g)LDI-NAT[13], (h)는 VDI-N, (i)는 VDI를 도시한다.

도 8의 (a)는 오리지널 이미지 17과 디모자이크 이미지, (b)는 SSD[15], (c)는 DL[8], (d)ESF[9], (e)LPA-ICI[14], (f)AFD[10], (g)LDI-NAT[13], (h)는 VDI-N, (i)는 VDI를 도시한다.

도 9의 (a)는 오리지널 이미지 24와 디모자이크 이미지, (b)는 SSD[15], (c)는 DL[8], (d)ESF[9], (e)LPA-ICI[14], (f)AFD[10], (g)LDI-NAT[13], (h)는 VDI-N, (i)는 VDI를 도시한다.

도 10의 (a)는 오리지널 이미지 5와 SSIM 맵, (b)는 SSD[15], (c)는 DL[8], (d)ESF[9], (e)LPA-ICI[14], (f)AFD[10], (g)LDI-NAT[13], (h)는 VDI-N, (i)는 VDI를 도시한다.

결과적으로, 본 발명은 VDI를 종래의 방식들, SSD[15], DL[8], LPA-ICI[14], ESF[9], AFD[10], LDI-NAT[13] 등과 비교했다. 게다가, 향상 단계가 없는 본 발명의 제안된 방식이 또한, 본 발명의 제안된 향상 방식의 효율성을 결정하기 위해 사용되며, 편의상, VDI-N으로 이름 붙여진다. 제안된 알고리즘을 입증하기 위해, 본 발명은 Intel Core i5 CPU M460 2.53GHz 프로세서 환경에서 MATLAB을 사용하여 시뮬레이션을 수행했다. 적절한 테스트 데이터집합을 이용하여 디모자이킹 알고리즘을 평가하기 위해, [13]에 사용된 McMaster 데이터집합으로부터의 잘려진 18개의 500 X 500 크기의 부분 이미지들이 본 발명의 실험에 적용되었으며, 도 2에 나타나 있다. 게다가, 풍부한 수평과 수직 엣지들을 가지는 6개의 이미지들도 도 2에 나타나 있다. 이들 이미지들은 Laurent Condat's (LC) Image Database [18]에 포함된다. 이들 이미지들은 낮은 스펙트럼 연관성을 기지며, 칼라 센서들로 캡춰된 자연 이미지들과 밀접하다. 본 발명은 객관적인 이미지 품질을 평가하기 위해, 세 가지 미터법 (PSNR, MSSIM, ZE)를 적용했다. 독자들은 비교 링크 [17]에서, 선택된 디인터레이스된 이미지들을 보며, 객관적인 성능 비교를 할 수 있다.

첫 번째로, dB(데시벨)로 측정되는 peak signal-to-noise(PSNR)이 원본 이미지와 재생성된 이미지 사이의 차이점을 측정하기 위해 사용된다. 테이블1은 각각의 칼라 채널(R, G, B)에 PSNR을 사용하여 측정된, 객관적인 이미지 품질의 비교를 보여준다. 이들 결과를 바탕으로, 우리는 LDI-NAT가, 이미지 7과 8을 제외한 대부분의 테스트 이미지들에서, 다른 방식들보다도 더 높은 PSNR 측정을 달성했다는 결론을 낼 수 있다. VDI는 비교된 방식들 사이에서 두 번째로 최고의 PSNR 결과를 달성한다. 반면, ESF 방식은, 다른 비교 방식들과 비교될 때, 최근에 개발된 디모자이킹 방식으로써, 우리의 테스트 데이터집합에서 가장 나쁜 PSNR 점수를 보여주었다. SSD 방식은 다른 3가지 방식들 (DL, LPA-ICI, AFD)을 능가한다. 향상 절차 이후, VDI는 VDI-N보다 더 나은 PSNR 성능을 가졌다는 것이 발견된다. VDI-N 기반의 VDI의 효율성은, 우리의 방향성 추정이 정확하다는 강한 증거를 주었다. 왜냐면 우리는 선보간 결과를 향상시키기 위해, 결정된 방향에서의 존재하는 픽셀들을 이용했기 때문이다.

더 나아가, 제안된 방식의 성능을 평가하기 위해, 우리는 구조적 유사성 (SSIM) [19]라 불리는 또 다른 측정을 수용했다. 하지만 전체 이미지를 효과적으로 평가하기 위해, 평균 SSIM (MSSIM) 인덱스가 사용되었다. 테이블2는 VDI의 MSSIM 성능을 다른 방식의 성능과 비교한다. MSSIM의 값이 1에 근접할 때, 재생성된 이미지는 원본 이미지에 더 유사하다는 사실을 주목하라. 결론적으로, 이들 결과들은 LDI-NAT가 다른 방식들과 비교하여, 이미지 7과 13을 제외하고, 가장 높은 MSSIM을 가진다는 것을 나타낸다. VDI는 평균 MSSIM에서 비교된 방식들 사이에서 두 번째로 높은 MSSIM 점수를 가졌다. 반대로, DL, LPA-ICI AFD는 다른 비교된 방식들 사이에서 SSD보다 더 많거나 적은 나쁜 MSSIM을 보여주었다. VDI-N 기반의 VDI의 더 높은 MSSIM 점수는, VDD가 보간 방향을 정확히 결정할 수 있다는, 더 큰 증거를 보여주었다.

테이블3에서 보듯이, zipper effect (ZE) 측정이 세 번째 측정 방식으로 추가된다. ZE는 디모자이킹에서 가장 공통된 산출물 중의 하나이며, saturate된 칼라로 영역에 생성된 on-off 패턴으로 구성된다. ZE 성능은 0과 1 사이의 점수 범위에 의해 결정되며, 가장 나은 측정 점수는 0이며, 가장 나쁜 측정 점수는 1이다. 테이블3으로부터, 비록 SSD가 가장 높은 PSNR과 MSSIM 값을 가지지는 않지만, SSD가 가장 낮은 ZE 값을 가진다는, 즉, 다른 방식들과 비교하여 가장 적은 인공물을 야기시키는 것을 의미한다는 것을 관찰할 가치가 있다는 것을 알 수 있다. LDI-NAT와 VDI는 두 번째와 세 번째로 최고의 ZE 인공물을 감소시키는 성능을 가졌다. 대조적으로, ESF는 가장 많은 ZE 인공물을 가졌으며, 다른 방식들은 SSD와 ESF 사이에서 적절한 ZE 성능을 가졌다. PSNR과 MSSIM과 유사하게, VDI-N의 ZE 점수보다 더 작은 VDI의 ZE 점수는, VDD가 보간 방향을 정확히 결정할 수 있다는 세 번째 증거를 주었다.

더 직감적인 방식으로 객관적인 비교를 보여주기 위해, 우리는 또한 PSNR, MSSIM, ZE의 평균 항목들을 테이블1-3에 각각 추가한다. 이것은 top-3에 속하는 LDI-NAT, VDI, SSD가 다른 방식들, DL, ESF, LAP-ICI, AFD, VDI-N과 비교하여 가장 높은 평균 PSNR 값, 가장 높은 MSSIM 값, 가장 낮은 ZE 인공물을 가진다는 것을 명백히 보여주었다.

VDI와 다른 디모자이킹 방식들의 컴퓨터 연산상의 복잡성은 테이블4에서 CPU 수행 시간을 사용하여 평가된다. 각각의 비교된 방식들의 원본 저자로부터의 소스 코드가 같은 테스트 조건하에서 CPU 수행 시간을 계산하기 위해 사용되었다. AFD의 주파수 범위 기반 방식들이 가장 적은 CPU 수행 시간을 가졌다는 것을 명백히 관찰할 수 있다. 반면, 부분 범위 방식들 (DL, ESF, LPA-ICI, VDI-N, VDI)이 더 긴 CPU 수행 시간을 소모했다. 그들 사이에서, VDI는 ESF, DL, LPA-ICI보다 더 짧은 CPU 수행 시간을 소모했고, DL은 모든 비교된 방식들 중 가장 긴 CPU 수행 시간을 소모했다. SSD와 LDI-NAT가 테이블4의 비교 리스트에 빠져있다는 것을 주목하라. SSD 구현은 실행 파일로 제공되었고, LDI-NAT은 같은 실험 조건에서 하나의 이미지의 연산에서 조차 10분 이상이 소모되었다. 이들 두 방식들의 컴퓨터 연산상의 복잡성은 [13]에서 이미 분석되었다. 명백히, 그들은 실시간 어플리케이션에서 적절한 방식이 아니다.

도 6, 도 8 및 도 9는, 이미지1, 이미지17, 이미지24의 부분적인 확대/축소 이미지들을 사용하여 주관적인 디모자이킹 성능을 나타낸다. Bayer 패턴을 사용하는 모자이킹 절차 이후, 디모자이킹은, 제안된 방식과 이 섹션에서 언급된 기존 방식들을 사용하여 풀칼라 이미지를 재생성하기 위해 구현되었다. 이미지1로부터 선택된 영역을 통해 이들 방식들을 비교함으로써, 우리는, 비록 LDI-NAT이 VDI-N과 VDI보다 약간 더 매끄러운 엣지를 가졌지만, VDI-N, VDI, LDI-NAT가 날카로운 엣지와 약한 세부영역에서 유사한 가시 효과를 생성했다는 것을 볼 수 있다. 예를 들면, 도 6(g)-(i)에서 보듯이, 특히 대부분의 다른 방식들과 비교하여, 이들 3가지 방식으로 디모자이킹 한 이후에는 엣지 부분은 더 매끄럽게 나타난다. 게다가, 다른 방식들은 엣지와 다른 복잡한 영역에 따라 소금과 비슷한 노이즈 인공물을 생성했다. 도 8의 꽃과 잎들이 있는 이미지17을 이용한 텍스처 세부 보존 능력을 비교할 때, VDI를 이용한 재생성된 텍스처는, 도 8(i)에서 관찰될 수 있듯이, 가장 높은 품질로 보존될 수 있었다. 반면, 다른 방식들은, 도 8(b)-(h)에서 볼 수 있는, 잎들의 엣지들과 급격한 칼라 변화들이 존재하는 꽃 사이에서, ZE와 잘못된 칼라와 같은 많은 가시적 칼라 인공물을 생성했다. VDD의 효율성을 결정하기 위해 풍부한 수평, 수직 엣지들을 가진 이미지24를 사용할 때, VDI, SSD, LDI-NAT에 의해 재생성된 이미지가, 도 9(b), (g), (i)에서와 같이, 거의 동일한 현저한 엣지 보존 능력을 보여주었다는 것이 명백히 관찰된다. 다른 비교된 디모자이킹 방식들을 이용하면서, 재생성된 엣지들은, 도 9 (c)-(f), (h)에서 볼 수 있듯이, 많거나 적게 흐려지게 된다. 주관적인 성능 결정으로부터, VDI가, SSD와 LDI-NAT과 비교하여, 유사하거나 약간 더 나은 세부 보존 능력을 가지며, 그 밖의 다른 방식들과 비교해서는 훨씬 더 나은 세부 보존 능력을 가진다는 결론을 낼 수 있다.

SSIM의 부산물을 이용하여, 우리는, 원본 이미지와 재생성된 이미지의 유사성을 반영하는 SSIM 맵을 얻는다. 도 10은, 색상 줄무늬가 있는 티셔츠를 가진 이미지5로부터 SSIM 맵을 이용하여, 주관적인 성능을 나타낸다. 더 밝은 SSIM 맵은 그 이미지가 더 원본 이미지와 유사하다는 것을 나타내기 때문에, 도 10(i)에서 보여지는 것처럼 다른 방식들과 비교하여, VDI가 원본 이미지와 재생성된 이미지를 비교하여 가장 유사하다는 결론을 낼 수 있다. 다른 방식들은 다양한 종류은 인공물들을 생성했다. 그들 사이에서 ESF는, 도 10(d)에서 보여지는 것처럼, 다른 방식들에 비해, 가장 나쁜 인공물들을 생성했다. SSD, DL, LPA-ICI, AFD, LDI-NAT, VDI-N 방식들은 적절한 구조적 유사성[도 10(b), (c), (e)-(h)]을 가진다.

제안된 방식에 대한 위의 객관적, 주관적 평가로부터, VDI는 이점들을 가진다. 왜냐면 다른 방식들과 비교하여, 더 나은 엣지 세부를 보존하고, 더 적은 인공물을 생성하기 때문이다.

4. 결론

본 발명은 보팅 전략에 의해 결정된 보간 방향에 따라서 그래디언트 역 가중된 보간 방법을 적용함으로써, 효율적인 디모자이킹 알고리즘을 제안한다.

보팅 기반 방향 검출 방법을 이용함으로써, 보간 방향은 종래 기술에 비해 좀 더 정확하게 획득될 수 있다. 컬러 채널 연관성을 이용하여 결여 그린 구성 요소가 미리 추정되고, 그러면 로컬 적응형 그래디언트 역 가중치 보간 기법은 검출된 보간 방향에 따라 보간 성능을 개선하는 데에 채택된다. 결론적으로, 본 발명의 보간 방법은 부드러운 엣지와 디테일을 보존하는데 장점을 갖는다.

이상에서 설명된 본 발명의 보팅 기반 방향성 보간 방법 및 그의 스틸 컬러 이미지 디모자이킹 애플리케이션의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

Claims

디지털 촬영장치에서 보팅 기반 방향성 보간 방법에 있어서,
컬러 필터 어레이(CFA) 상에서 에지 영역을 구분하는 단계;
상기 에지 영역의 중앙 픽셀의 보간 방향을 결정하기 위해 레드 샘플링 요소 위치에서 수평 및 수직 그래디언트를 추정하는 단계;
블루 샘플링 요소들에 이웃한 픽셀들의 엣지 방향을 추정하는 단계; 및
상기 이웃 픽셀들 사이의 교차 채널 연관성을 이용하여, 검출된 방향에 따라 결여 그린 요소를 보간하는 단계;를 포함하고,
상기 레드 샘플링 요소 위치에서 수평 그래디언트를 추정하는 단계는,
하기의 수학식을 사용하여 계산하며,

여기서 (m, n)은 상기 수평 그래디언트 R₅의 위치이고,
이
보다 작다면, 보간 방향은 수평으로 검출되며, 반대라면 즉,
이
보다 크다면, 보간 방향은 수직으로 검출되고,
이
와 같다면 픽셀은 매끄러운 영역으로 설정되며,
상기 R₅의 블루 샘플링 요소들에 이웃한 픽셀들의 엣지 방향은 하기의 수학식을 사용하여 계산하고,

여기서, (m, n)이 R₆, R₇, R₁₀, R₁₁에서, 블루 샘플링 요소들의 위치들이며,
상기 중앙의 결여 칼라 요소의 방향들과 그것의 이웃 픽셀들을 조사하기 위해서, 각각의 방향을 분류하는 하기의 하나의 플래그(flag)가 사용되고,

여기서, X가 R이나 B를 나타내고, (m, n)이 레드(R₅) 그리고 블루(R₆, R₇, R₁₀, R₁₁) 샘플링 요소들을 각각 나타내는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
삭제
삭제
삭제
제1항에 있어서,
상기
가 1과 같다면, X의 방향은 수직이고, 반대로
가 0과 같다면 X의 방향은 수평이며, 보팅 전략을 사용하여,
값들의 합은 R₅의 주 방향을 결정하기 위해 하기의 식

과 같이 계산 되는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제5항에 있어서,
상기 보팅 전략에 따라, 소수는 다수에 종속되고, 본 발명은 보팅 기반 엣지 방향 검출(VDD)의 보팅 규칙은,
1) flag_sum이 4보다 작지 않다면, 그것은 슬라이딩 윈도우에서 5개의 목표 픽셀들 중의 적어도 4개가 수직 보간 방향을 가진다는 것을 나타낸다. 따라서 R₅의 주 방향은 수직이고,
2) flag_sum이 1보다 크지 않다면, 그것은 슬라이딩 위도우에서 5개의 목표 픽셀들 중의 적어도 4개가 수평 보간 방향을 가진다는 것을 나타낸다. 따라서 R₅의 주 방향은 수평이며,
3) 상기의 경우들이 아니라면, R₅의 주 방향은 정의되지 않는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제1항에 있어서,
R₅에서의 결여 그린 요소 G₅를 보간하는 단계는,
상기 R과 G 채널들 사이의 칼라 차이점을 이용하여, G₅는 동서남북 네 가지 방향 G₅ ^N, G₅ ^S, G₅ ^W, G₅ ^E에 따라 추정되고, 하기의 식

으로 계산되는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제7항에 있어서,
상기 G₅의 추정을 보강하기 위해, 적응적 가중치가 부여된 보간 방법이, 4가지 방향에 따라 R₅에서의 보간 결과를 개선하기 위해 수용되고, 이를 위해 상기 4가지 방향에 따른 R₅의 방향성 있는 그래디언트는, 각각의 칼라 채널 내에서 방향성 있는 칼라 전환의 연관성 때문에, 각각의 방향에서 G₅로의 기여를 조정하기 위한 가중치 요소로 사용되는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제8항에 있어서,
상기 4가지 방향에 따른 R₅의 방향성 있는 그래디언트는

로 계산되고, 여기서 ε는 그래디언트가 0이 되지 않기 위한, 작은 양의 요소인 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제8항에 있어서,
상기 G₅의 추정은 그래디언트 역 가중치가 부여된 보간 방법을 이용하고, 상기 G₅의 방향성 있는 추정으로 할당되는 가중치 비율은,

로 정의되는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제8항에 있어서,
상기 G₅의 최종 보간은 다음 세 가지 상황 중 하나로 분류되고,
1) 보간 방향이 수평으로 결정된다면, 보간은 동서 방향에 따라서만 적용되고,
2) 보간 방향이 수직으로 결정된다면, 보간은 북남 방향에 따라서만 적용되며,
3) 보간 방향이 정의되지 않는다면, 보간은 모든 4방향에 따라서 적용되는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제11항에 있어서,
보간 방정식은 3가지 결정된 방향들에 따라 주어지고, 수평 보간을 위해서는, 수평 방향에 있는
와
의 추정이 사용되며, ω^W와 ω^E의 가중치 요소들이 보간 성능 조정을 위해 수반되며, 상기 수평 보간을 위한 상기 보간 방정식은
이고, 수직 보간을 위한 상기 보간 방정식은
인 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제11항에 있어서,
상기 보간 방향이 결정되지 않은 경우의 상기 보간 방정식은
인 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제11항에 있어서,
상기 보팅 결과에 따라, 검출된 방향이 수평이면 상기 G₅의 일반화된 향상 방정식은
이고, 여기서
인 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제11항에 있어서,
상기 검출된 방향이 수직이면 상기 G₅의 일반화된 향상 방정식은
인 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제11항에 있어서,
상기 방향이 검출되지 않으면, 상기 R₅ 주위의 모든 4개의 이웃 픽셀들이 4개의 방향들에 따라 이용되고, 일반화된 향상 방정식은
이며, 여기서
인 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.
제11항에 있어서,
상기 R과 G 평면들 사이의 칼라 차이점과 B와 G 평면들 사이의 칼라 차이점은
로 계산되고, R과 B 픽셀들은
에 의해 재생성되는 것을 특징으로 하는, 보팅 기반 방향성 보간 방법.