KR101335127B1

KR101335127B1 - 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말

Info

Publication number: KR101335127B1
Application number: KR1020090073442A
Authority: KR
Inventors: 박희찬; 박민규; 송한새; 윤영권; 이용구
Original assignee: 삼성전자주식회사
Priority date: 2009-08-10
Filing date: 2009-08-10
Publication date: 2013-12-03
Also published as: US20110032396A1; EP2293238A3; EP2293238A2; KR20110015969A; US9111365B2

Abstract

본 발명에 따른 에지 적응적 보간 및 노이즈 필터링 방법은, 입력된 영상 윈도우로부터 얻어지는 제1 원색 윈도우에 대하여 제1 기설정된 수의 방향들에 근거하여 제1 원색에 대한 1차 보간을 수행하는 단계와; 상기 1차 보간된 제1 원색 윈도우에 대하여 상기 제1 기설정된 수보다 큰 제2 기설정된 수의 방향들에 근거하여 상기 1차 보간된 제1 원색 윈도우 내 에지의 방향을 추정하는 단계와; 상기 1차 보간된 제1 원색 윈도우에 대하여 상기 추정된 에지 방향에 근거하여 상기 제1 원색에 대한 2차 보간을 수행하는 단계와; 상기 입력된 영상 윈도우로부터 얻어지는 2차 원색 윈도우에 대하여 상기 추정된 에지 방향에 근거하여 제2 원색에 대한 보간을 수행하는 단계를 포함한다.

에지 적응, 보간, 노이즈, 프로젝션, 가우시안 필터

Description

에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말{EDGE ADAPTIVE INTERPOLATION AND NOISE FILTERING METHOD, COMPUTER-READABLE RECORDING MEDIUM AND PORTABLE TERMINAL}

본 발명은 베이어 컬러 필터 어레이(Bayer Color filter array: Bayer CFA)를 통과해 들어온 영상 데이터를 기반으로 각 화소(pixel)에 RGB 채널을 형성하여 컬러 영상을 획득하는 방법에 관한 것으로서, 특히 상기 영상 데이터에 대해 수행되는 에지 적응적 보간 및 노이즈 필터링 방법에 관한 것이다.

카메라 모듈을 구비한 휴대 단말에 사용되는 이미지 센서들로는, CMOS(complementary metal-oxide semiconductor) 이미지 센서, CCD(charge-coupled device) 이미지 센서 등을 예로 들 수 있다. 그 중에서, CMOS 이미지 센서는 집적도(degree of integration)가 높고, 대량 생산이 용이하기 때문에, 대부분의 휴대폰 카메라에 사용되고 있고, 일부 저가의 디지털 카메라에도 사용되고 있다. CMOS 이미지 센서는 저렴하고 저전력 구동이 가능하다는 이점이 있지만, 노이즈에 취약하다는 문제점을 갖고 있다. 또한, 이러한 노이즈는 이미지 센서로부터 출력되는 영상의 화소 값들을 보정하는 소프트웨어적 방식으로 처리된다.

이러한 화질 개선 알고리즘의 가장 기본이 되는 기술은 영상 내 에지를 검출하고, 이러한 에지의 특성을 고려하여 각 화소마다 아티팩트(artifact) 없이 주변 화소 값을 이용하여 RGB 값을 형성하는 기술이다.

종래에 다양한 보간 및 노이즈 필터링 방법들이 개시된 바 있고, 이들을 종류별로 구분하여 설명하자면 아래와 같다.

에지의 방향을 고려한 보간 방법

보간시, 에지의 방향을 추정하고, 그 추정된 에지 방향을 따라 보간하는 기술은 일반적이라고 할 수 있다. 단, 에지 분석 방법 및 주변 화소 값을 이용하여 보간하는 방법은 다양하게 존재한다.

2방향 지원 에지 보간 방법들로서, Laroche 등에 의해 발명된 미국특허번호 US 5,373,322(Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients)와, Bishay 등에 의해 발명된 미국특허번호 US 6,507,364(Edge-dependent interpolation method for color reconstruction in image processing devices)는 3x3 윈도우에 대해 에지의 방향을 가로 및 세로로 구분하여 그래디언트(gradient)를 얻고, 이를 이용하여 보간을 수행하는 방법을 제안하였다. Asao에 의해 발명된 미국특허번호 US 6,882,563(Magnetic memory device and method for manufacturing the same)는 이와 유사한 방법으로 보간 후 수정(correction) 단계를 추가하여 한번에 컬러 프린지(color fringe)까지 없애는 방법을 제안하였다.

4방향 지원 에지 보간 방법들로서, Hel-or 등에 의해 발명된 미국특허번호 US 6,404,918(Image demosaicing method utilizing directional smoothing)는 조정 가능 필터(streerable filter)를 이용하여 방향을 추출하고, 추출된 방향으로 보간을 반복하는 방법을 제안하였다. Shezaf 등에 의해 발명된 미국특허번호 US 6,832,009(Method and apparatus for improved image interpolation)는 3x3 소벨 연산자(Sobel operator)를 사용하여 4방향의 에지를 검출하는 보간 방법을 제안하였다. Sobel 등에 의해 발명된 미국특허번호 US 6,707,937(Interpolation of edge portions of a digital image)에서는 쇼트 스케일(short scale)과 롱 스케일(long scale) 필터의 3x3 에지 검출(edge detection)을 이용하는 보간 방법을 제안하였다. Embler에 의해 발명된 미국특허번호 US 7,133,553(Correlation-based color mosaic interpolation adjustment using luminance gradients)에서는 3x3 기설정된 방향성 필터(preset directional filter)를 이용하여 에지의 방향을 측정하여 보간하는 방법을 제안하였다. Huang 등에 의해 발명된 미국특허번호 US 7,376,288(Edge adaptive demosaic system and method)에서는 5x5 윈도우 내의 4가지 에지 방향의 그래디언트(gradient) 값을 구한 후 임계치(threshold) 내의 그래디언트 방향으로 보간하는 방법을 제안하였다.

노이즈를 제거하는 구조를 이용한 보간 방법

보간시, Gr/Gb 차이 또는 보간의 방향 측정 오류 등으로 인한 노이즈가 발생할 수 있다. 베이어 레벨에서는 정확한 에지 방향이나 강도를 측정하는 것이 불안정하여, 보간 후 정확한 에지의 방향과 강도를 측정한 후 노이즈를 제거하는 것이 일반적이다.

Gindele 등에 의해 발명된 미국특허번호 US 6,795,586(Noise cleaning and interpolating sparsely populated color digital image)는 컬러 보간과 노이즈 제거 과정을 한 블록에서 처리하는 구조를 제안했다. 한 단계 더 나아가, Zhang 등에 의해 발명된 미국특허번호 US 6,816,194(Systems and methods with error resilience in enhancement layer bitstream of scalable video coding)는 디모자이크 과정(demosaicing)시 양방향 필터(bilateral filter)를 응용하여 에지의 경계를 살려 보간하는 방법을 제안하였다. 비슷한 방법으로, Nilsson 등에 의해 발명된 미국특허번호 US 7,256,828(Weighted gradient based and color corrected interpolation)에서는 에지의 강도를 보간 가중치로 사용하는 구조를 제안했으며, Olding 등에 의해 발명된 미국특허번호 US 6,970,597(Method of defining coefficients for use in interpolating pixel values)에서는 보간시 윈도우 지원(window support)을 높여 커넬(kernel)의 계수(coefficient)를 정하는 구조를 제안했다.

그 외 방법

Chen 등에 의해 발명된 미국특허번호 US 7,292,725(Demosaicking method and apparatus for color filter array interpolation in digital image acquisition systems)에서는 주변(Neighborhood)(또는 이웃)의 화소 값과 보간 값을 테이블(table)화하여 특정 템플릿(template)이 입력됐을 때 보간 값을 불러오는 구조를 제안했다. Acharya에 의해 발명된 미국특허번호 US 6,130,960(Block-matching algorithm for color interpolation), Bezryadin에 의해 발명된 미국특허번호 US 6,933,971에서는 주변 화소의 세기(intensity) 값들을 분석한 후, 가중 평균(weighted average)으로 보간하는 방법을 제안하였다. Acharya에 의해 발명된 미국특허번호 US 7,053,944(Method of using hue to interpolate color pixel signals)에서 동일 색 영역에서는 색상(Hue) 값이 일정한 성질을 이용한 보간 방법을 제안하였다.

그러나, 종래의 보간 및 노이즈 필터링 방법들은 아래와 같은 문제점들이 있다.

첫째, 베이어 패턴(Bayer pattern)에서 에지 검출시 에지의 방향이 정확하지 않다는 문제점이 있다. 에지의 경계를 보존하면서 자연스럽게 영상을 복원(restore)하는 것이 가장 중요한 부분인 만큼, 주어진 윈도우 또는 블록(block) 내의 에지의 방향을 분석하는 것은 중요하다.

둘째, 정확하지 않은 에지 검출은 보간시 노이즈를 발생시키고, 노이즈 제거 시에 디테일(Detail)/텍스쳐(texture) 부분을 손상시킬 수 있다. 이는 또한 에지 인핸스먼트(Edge enhancement)를 위한 디테일 추출시 영향을 미친다.

따라서, 에지의 경계를 보존하면서 자연스럽게 영상을 복원할 수 있도록 주어진 윈도우 내의 에지 방향을 정확히 분석할 수 있고, 디테일을 최대한 보존하면서 노이즈를 제거할 수 있는 보간 및 노이즈 필터링 방법이 요구된다.

본 발명에 따른 에지 적응적 보간 및 노이즈 필터링 방법은, 에지의 경계를 보존하면서 자연스럽게 영상을 복원할 수 있도록 주어진 윈도우 내의 에지 방향을 정확히 분석할 수 있고, 디테일을 최대한 보존하면서 노이즈를 제거할 수 있다는 이점이 있다.

이하에서는 첨부 도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능이나 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

도 1은 본 발명의 바람직한 실시 예에 따른 베이어 영상에서 RGB 컬러 영상을 출력하기 위한 휴대 단말의 구성을 개략적으로 나타내는 도면이다.

상기 휴대 단말(100)은 카메라(110), 영상신호처리부(image signal processor: ISP, 200), 표시부(120), 무선 통신부(130), 제어부(140) 및 메모리(150)를 포함한다. 도 1에는, 상기 휴대 단말(100)의 개략적인 구성만 도시되어 있으나, 이외에 상기 휴대 단말(100)은 스피커, 마이크, 키패드(keypad)와 같은 사용자 입력 장치 등을 더 구비할 수 있다.

상기 카메라(110)는 피사체의 영상을 형성하고, 상기 형성된 영상을 전기 신호로 검출한다. 이를 위해, 도시되지는 않았으나, 상기 카메라(110)는 적어도 하나의 렌즈를 구비하여 피사체의 이미지를 형성하는 렌즈계와, 상기 렌즈계에 의해 형성된 영상을 전기 신호로 검출하는 CCD 이미지 센서, CMOS 이미지 센서 등과 같은 이미지 센서를 포함할 수 있다.

상기 표시부(120)는 상기 영상신호처리부(200)로부터 입력된 영상 프레임을 화면에 표시한다. 이러한 표시부(120)로는 액정표시장치(liquid crystal display: LCD), 터치 스크린(touch screen) 등을 사용할 수 있다. 상기 터치 스크린은 상기 제어부(140)의 제어에 따른 영상을 표시하고, 그 표면에 손가락, 스타일러스 펜(stylus pen) 등과 같은 사용자 입력 수단이 접촉하면 키 접촉 인터럽 트(interrupt)를 발생시키고, 상기 제어부(140)의 제어에 따라 입력 좌표 및 입력 상태를 포함하는 사용자 입력 정보를 상기 제어부(140)로 출력한다.

상기 무선 통신부(130)는 안테나를 이용하여 공중으로부터 무선 하향 신호를 수신하고, 상기 무선 하향 신호를 복조하여 얻어진 하향 데이터를 상기 제어부(140)로 출력한다. 또한, 상기 무선 통신부(130)는 상기 제어부(140)로부터 입력된 상향 데이터를 변조하여 무선 상향 신호를 생성하고, 생성된 무선 상향 신호를 안테나를 이용하여 공중으로 무선 전송한다. 이러한 변조 및 복조는 바람직하게는 부호분할다중접속(code division multiple access: CDMA) 방식에 따라 수행될 수 있고, 이외에 주파수분할다중(frequency division multiplexing: FDM) 방식, 시분할다중(time division multiplexing: TDM) 방식 등에 따라 수행될 수도 있다.

상기 메모리(150)는 게임 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 영상들, 사용자 정보, 문서 등과 관련된 데이터베이스들, 상기 휴대 단말(100)을 구동하는데 필요한 배경 영상들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들 등을 저장할 수 있다.

상기 제어부(140)는 사용자 입력 정보에 따른 애플리케이션을 실행하고, 상기 애플리케이션은 사용자 입력 정보에 따른 프로그램 동작을 수행한다. 이때, 사용자 입력은 키패드, 터치스크린 등을 통한 입력 또는 카메라 기반의 입력을 포함한다.

상기 영상신호처리부(200)는 상기 제어부(140)의 제어에 따라 상기 카메 라(110)로부터 입력되는 영상 또는 상기 메모리에 저장된 영상을 프레임(frame) 단위로 처리하며, 상기 표시부(120)의 화면 특성(크기, 화질, 해상도 등)에 맞도록 변환된 영상 프레임을 출력한다. 상기 영상신호처리부(200)는 입력 영상의 일부분을 윈도우로 설정하고, 윈도우 단위로 보간 및 노이즈 필터링을 수행한다. 상기 윈도우는 상기 윈도우의 중심에 위치하는 중심 화소 및 상기 윈도우에 포함되면서 중심 화소가 아닌 주변 화소를 포함할 수 있다. 상기 윈도우는 임의의 크기의 화소 행렬이며, 예를 들어 '3×3' 이상 '12×12' 화소(Pixel) 이하의 윈도우가 설정될 수 있다.

상기 카메라(110)로부터 상기 영상신호처리부(200)로 입력되는 영상 신호는 베이어 데이터로서, 베이어 데이터는 베이어 컬러 필터에 의해 필터링된 RGB 데이터를 말한다.

도 2는 상기 카메라의 일부 구성을 나타내는 도면이고, 도 2에는 상기 카메라(110)를 구성하는 이미지 센서의 화소 어레이(112)와, 상기 화소 어레이(112) 위에 배치되는 베이어 컬러 필터 어레이(Bayer color filter: Bayer CFA, 114)가 도시되어 있다. 상기 각 화소는 입사된 광의 밝기에 해당하는 값을 출력한다. 이러한 이미지 센서는 각 화소가 적색(R), 녹색(G) 및 청색(B)을 검출하도록 구성될 수도 있으나, 가격 상승 등을 이유로 컬러 필터를 이용하여 각 화소가 한 색상만을 검출하도록 구성되는 것이 통상적이다. 상기 이미지 센서는 상기 화소 어레이(112) 위에 배치되는 베이어 컬러 필터 어레이(114)를 더 구비할 수 있고, 상기 베이어 컬러 필터 어레이(114)는 3 가지 색상들(즉, R, G 및 B)의 필터 유닛들을 구비하고, 각 색상의 필터 유닛들은 행 방향 및 열 방향 각각에 대해 한 화소 건너서 하나씩 배치된다. 또한, 상기 필터 유닛들은 상기 화소들과 일대일 대응된다. 예를 들어, R 필터 유닛을 통과한 R 채널은 적색을 갖고, 상기 R 필터 유닛에 대응되도록 정렬된 해당 화소는 상기 R 채널을 검출한다.

도 3은 베이어 영상 윈도우(310)와 보간된 R, G 및 B 채널 영상 윈도우(320~340)를 나타낸다. 도 3에서, R 채널은 점선 해칭으로, G 채널은 사선 해칭으로, B 채널은 체크 무늬 해칭으로 표시된다. 또한, 도 3의 (b)에서, 보간되지 않은 원래의 화소는 해칭의 조밀도가 높고, 보간된 화소는 해칭의 조밀도가 낮게 표시되어 있다.

상기 영상신호처리부(200)는 베이어 컬러 필터 어레이(114)를 통과해 들어온 영상 데이터(즉, 베이어 영상)를 기반으로 각 화소에 RGB 채널을 형성하여 컬러 영상(즉, 보간된 R, G 및 B 채널 영상들을 중첩한 영상)을 획득한다.

도 4는 상기 영상신호처리부(200)의 기능 모듈들을 나타내는 도면이다. 이러한 기능 모듈은 상기 영상신호처리부(200)가 수행하는 일련의 프로그램 단계들 또는 수단들에 해당할 수 있다. 상기 영상신호처리부(200)는 G 보간 모듈(210), 에지 방향 추정 모듈(220), G 보간 수정 모듈(230) 및 R/B 보간 모듈(240)을 포함한다. 따라서, 이하 소정 기능 모듈이 소정 단계를 수행한다고 함은 소정의 단계가 소정의 서브 단계를 수행하는 것으로도 이해될 수 있다.

상기 G 보간 모듈(210)은 입력된 영상 윈도우에 대하여 제1 기설정된 수의 방향들(즉 수평 및 수직 방향들)에 근거하여 제1 원색(녹색, G)에 대한 1차 보간을 수행한다. 상기 G 보간 모듈(210)은 5x5 베이어 윈도우에 대한 화소 값들을 나타내는 5x5 베이어 원 데이터 패치(bayer raw data patch)를 가지고 아래의 연산들(즉, 1차 보간)을 수행한다.

도 5는 상기 G 보간 모듈(210)이 G 채널 영상(또는 윈도우)에 대해 수행하는 1차 보간 방법을 설명하기 위한 흐름도이고, 도 6은 2방향 프로젝션(projection) 연산에 대해 설명하기 위한 도면이다. 상기 1차 보간 방법은 베이어 윈도우의 에지 패턴을 분석하여 G 채널 윈도우의 빈 화소 값을 보간하는 방법으로서, 3개의 보간 값들 산출 단계(S110)와, 5x5 수평/수직 프로젝션 값들 산출 단계(S120)와, 에지 판별 단계(S130)와, 수직 및 수평 판별 단계(S140)와, 수직 보간 단계(S150)와, 수평 보간 단계(S160)와, 4-이웃 가중 보간 단계(S170)를 포함한다.

상기 3개의 보간 값들 산출 단계(S110)는 3x3 2-방향(수평/수직) 프로젝션 값들을 산출하는 단계로서, 수평/수직 프로젝션은 베이어 윈도우에 대해 수평 또는 수직 방향으로 화소 값들을 연산하는 것을 의미한다. 도 6에는 제1 내지 제5 수직 프로젝션들(V1~V5)과 제1 내지 제5 수평 프로젝션들(H1~H5)이 도시되어 있다.

상기 G 보간 모듈(210)은 수평/수직 방향에 대해 3x3 방향성 프로젝션 값들을 산출한다.

Vertical 방향

VV1=(G2+G12)/2 + G12 + (G12+G22)/2

VV2=G8 + (G8+G18)/2+ G18

VV3=(G4+G14)/2 + G14 + (G14+G24)/2

Horizontal 방향

HH1=(G6+G8)/2 + G8 + (G8+G10)/2

HH2=G12 + (G12+G14)/2+ G14

HH3=(G16+G18)/2 + G18 + (G18+G20)/2

VV1, VV2 및 VV3은 상기 제2 내지 제4 수직 프로젝션들(V2~V4)에 대한 값들을 나타내고, HH1, HH2 및 HH3은 상기 제2 내지 제4 수평 프로젝션들(H2~H4)에 대한 값들을 나타낸다.

상기 G 보간 모듈(210)은 상기 수직 및 수평 프로젝션 값들을 이용하여 수평 및 수직 방향 가중치들을 나타내는 weight_h 와 weight_v를 산출한다.

weight_h =| HH1 - HH2 | + | HH3 - HH2 |

weight_v =| VV1 - VV2 | + | VV3 - VV2 |

상기 G 보간 모듈(210)은 상기 수직 및 수평 프로젝션 값들과 상기 수직 및 수평 방향 가중치들을 이용하여 3가지 경우의 임시적인(또는 후보) 보간 값들을 미리 산출한다. 이때, 3가지의 경우란, 에지가 수직 방향인 경우, 수평 방향인 경우, 에지가 아닌 경우를 말한다. 또한, Green_H는 수평 방향에 대한 임시 보간 값, Green_V는 수직 방향에 대한 임시 보간 값, Green_O는 무방향 또는 임의의 방향(즉, 에지가 아닌 경우 또는 균일한(즉, 단색인) 경우)에 대한 임시 보간 값을 나 타낸다.

Green_H = (G12+G14)/2 + R13 - ((R11+R13)/2 + (R13+R15)/2)/2

Green_V = (G8+G18)/2 + R13 - ((R3+R13)/2 + (R23+R13)/2)/2

Green_O = (weight_h * (G12+G14)/2 + weight_v * (G8+G18)/2) / (weigth_h + weight_v)

상기 5x5 수평/수직 프로젝션 값들 산출 단계(S120)는 상기 G 보간 모듈(210)이 상기 임시적인 보간 값들을 이용하여 5x5 베이어 윈도우 전체에 대한 5x5 방향성 프로젝션 값들을 산출하는 단계이다. 이때, 하기 수학식 5의 X에는 {Green_H, Green_V, Green_O}가 대입된다.

V1=R1+G2+R3+G4+R5

V2=G2+B7+G12+B17+G22

V3=R3+G8+X+G18+R23

V4=G4+B9+G14+B19+G24

V5=G21+G22+R23+G24+R25

H1=R1+G2+R3+G4+R5

H2=G6+B7+G8+B9+G10

H3=R11+G12+X+G14+R15

H4=G16+B17+G18+B19+G20

H5=R21+G22+R23+G24+R25

상기 G 보간 모듈(210)은 상기 각 방향에 대해 최대 차이(Maximum Difference) 값을 산출하고, 이러한 차이는 화소 값 차이를 나타내는 것으로서, 어느 방향의 컨트라스트(명암)가 현저한지를 판단하는 것을 돕는다.

Horizontal_Max_Diff(X) = max(H1,H2,H3,H4,H5) - min(H1,H2,H3,H4,H5)

Vertical_Max_Diff(X) = max(V1,V2,V3,V4,V5) - min(V1,V2,V3,V4,V5)

상기 에지 판별 단계(S130)는 상기 G 보간 모듈(210)이 하기 수학식 7을 이용하여 상기 윈도우에 에지가 포함되어 있는지를 판별하는 단계이다.

|Horizonal_Max_Diff(Green_O) - Vertical_Max_Diff(Green_O)|　<　th

즉, 상기 G 보간 모듈(210)은 상기 판별식이 참의 값을 갖는 경우, 즉 수직 방향 컨트라스트와 수평 방향 컨트라스트의 차이가 미미한 경우(즉, 임계치 th보다 작은 경우)에 상기 베이어 윈도우에 에지가 포함되지 않은 것(즉, 무방향/균일/단색)으로 판단한다.

상기 수직 및 수평 판별 단계(S140)는 상기 G 보간 모듈(210)이 하기 수학식 8 및 9를 이용하여 상기 베이어 윈도우에 포함된 에지가 수직 방향인지 수평 방향인지를 판별하는 단계이다.

Horizontal_Max_Diff(Green_H) > Vertical_Max_Diff(Green_V)

상기 G 보간 모듈(210)은 상기 판별식이 참의 값을 갖는 경우, 즉 수직 방향 컨트라스트(즉, Horizontal_Max_Diff(Green_H))가 수평 방향 컨트라스트(즉, Vertical_Max_Diff(Green_V))보다 큰 경우에 상기 베이어 윈도우에 포함된 에지가 수평 방향인 것으로 판단한다.

Horizontal_Max_Diff(Green_H) < Vertical_Max_Diff(Green_V)

즉, 상기 G 보간 모듈(210)은 상기 판별식이 참의 값을 갖는 경우, 즉 수평 방향 컨트라스트가 수직 방향 컨트라스트보다 큰 경우에 상기 영상 윈도우에 포함된 에지가 수직 방향인 것으로 판단한다.

예를 들어, 베이어 윈도우에 상측 절반이 어둡고 하측 절반이 밝은 에지 패턴이 존재하는 경우에, 수평 방향 컨트라스트, 즉 좌우 화소 값들의 차이는 작을 것이고, 수직 방향 컨트라스트, 즉 상하 방향 화소 값들의 차이는 클 것이다.

상기 수직 보간 단계(S150), 수평 보간 단계(S160) 및 4-이웃 가중 보간 단계(S170)는 상기 G 보간 모듈(210)이 전술한 단계들을 통해 추정된 에지의 방향(수평 방향/수직 방향/무방향)에 따라서 상기 G채널 윈도우의 중심 화소에 추정된 방향의 임시 보간 값을 할당하는 단계들이다.

G13 = {Green_H | Green_V | Green_O}

상기 수직 보간 단계(S150)에서는 상기 중심 화소에 수직 방향의 보간 값(Green_V)을 할당하고, 상기 수평 보간 단계(S160)에서는 상기 중심 화소에 수평 방향의 보간 값(Green_H)을 할당하고, 상기 4-이웃 가중 보간 단계(S170)에서는 상 기 중심 화소에 수직 방향의 보간 값(Green_O)을 할당한다.

이후, 상기 에지 방향 추정 모듈(220)은 상기 1차 보간된 G 채널 윈도우에 대하여 상기 제1 기설정된 수(즉, 2)보다 큰 제2 기설정된 수(즉, 8)의 방향들에 근거하여 상기 윈도우 내 에지의 방향을 추정한다.

도 7은 상기 에지 방향 추정 모듈(220)이 수행하는 에지 방향 추정 방법을 설명하기 위한 흐름도이고, 도 8은 8방향 프로젝션 연산에 대해 설명하기 위한 도면이다. 상기 에지 방향 추정 방법은 상기 1차 보간된 G 채널 윈도우 내의 에지 패턴을 다방향(즉, 8가지 방향)에 대해 추정하는 방법으로서, 방향성 프로젝션 값 산출 단계(S210)와, 최대 컨트라스트 차이 산출 단계(S220)와, 에지 방향 추정 단계(S230)를 포함한다.

상기 에지 방향 추정 모듈(220)은 상기 1차 보간된 G 채널 윈도우에 대한 화소 값들을 가지고 아래의 연산들(즉, 에지 방향 추정)을 수행한다.

상기 방향성 프로젝션 값 산출 단계(S210)는 1차 보간된 5x5 G 채널 윈도우에 대해 8가지 방향 프로젝션 값들을 산출하는 단계로서, 상기 8가지 방향들에서 이웃하는 2 방향들은 예를 들어 90/4도의 각도를 갖는다. 즉, 상기 에지 방향 추정 모듈(220)은 5x5 G 채널 윈도우를 g(x,y)라고 표현할 때, 180도를 (2n-2)개의 방향으로 동일한 각도를 유지하며 나눈다. 본 실시 예에서는 n=5이므로 (2n-2)는 8이 된다.

도 8의 (a)에는 1차 보간된 G 채널 윈도우가 도시되어 있고, 도 8의 (b)에는 상기 8가지 방향 프로젝션들 중 하나가 예시되어 있다.

상기 에지 방향 추정 모듈(220)은 하기 수학식 11을 이용하여 8가지 방향의 방향성 프로젝션 값들을 산출한다.

상기 수학식 11에서, x 및 y는 5×5 G 채널 윈도우에서의 화소 좌표(Coordinate)이고, z는 5×5 G 채널 영상의 중심점인 (3, 3)에서 각 화소 좌표까지의 거리이다. 상기 수학식 10을 이용하여 각 방향별 프로젝션 값을 구하면 하기 수학식 12과 같다.

dir[0][0] = (g[0][0] + g[0][1] + g[0][2] + g[0][3] + g[0][4])*12;

dir[0][1] = (g[1][0] + g[1][1] + g[1][2] + g[1][3] + g[1][4])*12;

dir[0][2] = (g[2][0] + g[2][1] + g[2][2] + g[2][3] + g[2][4])*12;

dir[0][3] = (g[3][0] + g[3][1] + g[3][2] + g[3][3] + g[3][4])*12;

dir[0][4] = (g[4][0] + g[4][1] + g[4][2] + g[4][3] + g[4][4])*12;

dir[1][0] = (g[0][0] + g[1][2] + g[2][4])*20;

dir[1][1] = ( g[1][1] + g[2][3])*30;

dir[1][2] = (g[1][0] + g[2][2] + g[3][4])*20;

dir[1][3] = ( g[2][1] + g[3][3])*30;

dir[1][4] = (g[2][0] + g[3][2] + g[4][4])*20;

dir[2][0] = (g[0][2] + g[1][3] + g[2][4] )*20;

dir[2][1] = (g[0][1] + g[1][2] + g[2][3] + g[3][4] )*15;

dir[2][2] = (g[0][0] + g[1][1] + g[2][2] + g[3][3] + g[4][4])*12;

dir[2][3] = ( g[1][0] + g[2][1] + g[3][2] + g[4][3])*15;

dir[2][4] = ( g[2][0] + g[3][1] + g[4][2])*20;

dir[3][0] = (g[0][2] + g[2][3] + g[4][4])*20;

dir[3][1] = (g[1][2] + g[3][3] )*30;

dir[3][2] = (g[0][1] + g[2][2] + g[4][3])*20;

dir[3][3] = ( + g[1][1] + g[3][2])*30;

dir[3][4] = (g[0][0] + g[2][1] + g[4][2])*20;

dir[4][0] = (g[0][0] + g[1][0] + g[2][0] + g[3][0] + g[4][0])*12;

dir[4][1] = (g[0][1] + g[1][1] + g[2][1] + g[3][1] + g[4][1])*12;

dir[4][2] = (g[0][2] + g[1][2] + g[2][2] + g[3][2] + g[4][2])*12;

dir[4][3] = (g[0][3] + g[1][3] + g[2][3] + g[3][3] + g[4][3])*12;

dir[4][4] = (g[0][4] + g[1][4] + g[2][4] + g[3][4] + g[4][4])*12;

dir[5][0] = (g[0][4] + g[2][3] + g[4][2])*20;

dir[5][1] = ( g[1][3] + g[3][2])*30;

dir[5][2] = (g[0][3] + g[2][2] + g[4][1])*20;

dir[5][3] = (g[1][2] + g[3][1] )*30;

dir[5][4] = (g[0][2] + g[2][1] + g[4][0])*20;

dir[6][0] = (g[2][4] + g[3][3] + g[4][2] )*20;

dir[6][1] = (g[1][4] + g[2][3] + g[3][2] + g[4][1] )*15;

dir[6][2] = (g[0][4] + g[1][3] + g[2][2] + g[3][1] + g[4][0])*12;

dir[6][3] = ( g[0][3] + g[1][2] + g[2][1] + g[3][0])*15;

dir[6][4] = ( g[0][2] + g[1][1] + g[2][0])*20;

dir[7][0] = (g[2][4] + g[3][2] + g[4][0])*20;

dir[7][1] = ( g[2][3] + g[3][1])*30;

dir[7][2] = (g[1][4] + g[2][2] + g[3][0])*20;

dir[7][3] = (g[1][3] + g[2][1])*30;

dir[7][4] = (g[0][4] + g[1][2] + g[2][0])*20;

상기 수학식 12에서 12, 15, 20, 30과 같은 상수들은 각 방향별 프로젝션 값을 구하는 과정에서 필요한 공배수를 산출하기 위하여 곱해지는 값들이다.

상기 최대 컨트라스트 차이 산출 단계(S220)에서는 상기 에지 방향 추정 모듈(220)이 상기 각 방향에 대해 최대 차이(Maximum Difference) 값을 산출하고, 이러한 차이는 화소 값 차이를 나타내는 것으로서, 어느 방향의 컨트라스트(명암)가 현저한지를 판단하는 것을 돕는다. 즉, 상기 에지 방향 추정 모듈(220)은 각 방향별로 구한 프로젝션 값 간의 차 중에서 가장 큰 차를 보이는 프로젝션 값(즉, 최대 컨트라스트 차이)을 산출하는 단계이다. 이를 수식으로 표현하면 하기 수학식 13과 같다.

상기 수학식 13에서, i 및 j는 화소 좌표이고, j 및 k는 z 값, p는 프로젝션 방향의 각도 값에 해당된다.

상기 에지 방향 추정 단계(S230)는 상기 에지 방향 추정 모듈(220)이 산출된 최대 컨트라스트 차이를 이용하여 에지 방향을 검출하는 단계이다. 이러한 에지 방향은 하기 수학식 14를 이용하여 산출된다.

즉, 상기 에지 방향 추정 모듈(220)은 상기 수학식 14를 만족하는 p를 산출하고, 상기 p는 에지 방향에 해당한다. 상기 에지 방향 추정 모듈(220)은 수학식 13을 이용하여 산출된 p를 에지 방향으로 결정한다.

상기 G 보간 수정 모듈(230)은 상기 1차 보간된 G 채널 윈도우에 대하여 상기 추정된 에지 방향에 근거하여 상기 1차 보간된 G 채널 윈도우에 대한 2차 보간을 수행한다. 즉, 상기 G 보간 수정 모듈(230)은 추정된 에지 방향과 그 방향의 프로젝션 주파수(projection frequency)를 분석하고, 5x5 적응적 가우시안 필터(adaptive Gaussian filter)를 적용하여 에지 방향으로의 보간은 강화하고 노이즈는 제거한다. 적응적이란 신호의 2D 주파수와 방향을 분석하여 가우시안 스무싱 필터(Gaussian smoothing filter)를 조절하는 것을 말한다.

도 9는 상기 G 보간 수정 모듈(230)이 수행하는 2차 보간 방법을 설명하기 위한 흐름도이고, 도 10은 프로젝션 주파수 분석 단계를 설명하기 위한 도면이고, 도 11은 적응적 가우시안 필터 생성 단계를 설명하기 위한 도면이다.

상기 2차 보간 방법은 프로젝션 주파수 분석 단계(S310)와, 적응적 가우시안 필터 생성 단계(S320)와, 양방향 필터링 단계(S330)를 포함한다.

상기 프로젝션 주파수 분석 단계(S310)에서는 하기 수학식 14를 이용하여 추정된 에지 방향과 수직 방향의 프로젝션 값에 주파수 분석을 수행한다. 즉, 푸리에-슬라이스 이론(Fourier-slice theorem)에 기반하여 공간 영역(spatial domain)에서 에지 방향의 푸리에 크기(Fourier magnitude)를 코사인(cosine)으로 근사(approximation)한다. 이는 이산 푸리에 변환(discrete Fourier transform: DFT)에 해당한다.

즉, 상기 G 보간 수정 모듈(230)은 필터를 이용하여 에지 방향 p의 세기를 측정하고, 이러한 에지 방향 p의 세기 측정은 하기 수학식 15의 수식들의 가중 평균값(weighted average value)을 이용하여 수행된다. 이때, 하기 수학식 15에 나타낸 상수들은 에지 방향의 세기를 측정하기 위한 각 필터의 값이다. 또한, 이러한 필터 값은 설계에 따라 얼마든지 변경 가능한 사항임은 당업자에게 자명한 사항일 것이다.

상기 G 보간 수정 모듈(230)은 하기 수학식 16을 이용하여 2D 가우시안 스무싱 필터를 정의하고 공변 행렬(covariance matrix) Σ의 방향과 모양을 정한다.

상기 수학식 16에서 x는 2차원 벡터의 좌표값이다.

도 10은 프로젝션 주파수 분석에서의 이산 푸리에 변환(discrete Fourier transform: DFT)을 도식적으로 나타낸 도면이다. 도 10의 (a)는 이산 푸리에 변환의 이전을 나타내고, 도 10의 (b)는 이산 푸리에 변환의 이후를 나타낸다.

상기 적응적 가우시안 필터 생성 단계(S320)는 전술한 프로젝션 주파수 분석을 이용하여 도 11의 (a)에 도시된 바와 같은 주파수 영역의 가우시안 필터를 도 11의 (b)에 도시된 바와 같은 공간 영역의 적응적 가우시안 필터로 변환하면서 에지 방향으로의 보간은 강화하고 노이즈는 제거하는 단계이다.

상기 G 보간 수정 모듈(230)은 하기 수학식 17을 이용하여 공변 행렬의 아이겐 벡터(eigenvector)를 결정하고, 2D 가우시안 스무싱 필터의 공변 행렬 Σ의 주 성분(principal component)을 미리 정의된 프로젝션(pre-defined projection) 방향, p와 동일하게 정의한다.

상기 수학식 17에서 Θ는 기설정된 각도(즉, 8 방향들 중의 하나), p를 나타낸다.

이후, 상기 G 보간 수정 모듈(230)은 하기 수학식 18을 이용하여 Θ 방향과 그 수직 방향(주성분들)의 아이겐 값(eigen value)을 결정한다(프로젝션 주파수 코사인 계수의 편차(deviation)로 산출).

상기 수학식 18에서, i는 주파수 인덱스(freq. index)이고, -4 <= i <= 4이며, i != 0이다.

이후, 상기 G 보간 수정 모듈(230)은 하기 수학식 19를 이용하여 주파수 영역의 σ_freq을 공간 영역의 σ_spatial값으로 변환하여 정규 분포(normal distribution)를 산출한다.

두 주요 벡터들(principal vector)의 방향에 따라 넓이가 달라져서, 가우시안 분포(Gaussian distribution)는 원 또는 타원 형태가 된다.

상기 양방향 필터링 단계(S330)에서는, 상기 G 보간 수정 모듈(230)이 하기 수학식 20을 이용하여 적응적 가우시안 필터를 양방향 필터에 결합하여 상기 1차 보간된 G 채널 영상에 적용한다.

상기 수학식 20에서, G(x)는 앞에서 생성된 2D 적응적 가우시안이고, c는 중심 화소 값이고, g(x)는 1D 정규 분포(normal distribution)이다.

상기 R/B 보간 모듈(240)은 상기 2차 보간된 영상 윈도우 및 상기 추정된 에지 방향에 근거하여 제2 및 제3 원색들(적색 및 청색)에 대한 보간을 수행한다.

도 12는 상기 R/B 보간 모듈(240)이 수행하는 R 및 B 채널 윈도우에 대한 보간 방법을 설명하기 위한 흐름도이고, 도 13은 G 채널 윈도우를 이용한 B 채널 윈도우의 보간을 예시하는 도면이다.

예를 들어, 상기 R/B 보간 모듈(240)은 B 채널 윈도우(410)에 대하여 2차 보간된 G 채널 윈도우(420)(화소 값들 c, d, e, f)를 이용하여 그 중심 화소 X 주변의 6 이웃 화소들 A, C, D, E, F, H를 보간한 후(즉, 주변 픽셀 보간 단계(S410)), 보간된 B 채널 윈도우(430)에 보여지는 바와 같이 이러한 주변 보간 값들을 이용하여 상기 추정된 에지 방향에 따른 상기 중심 화소 X의 보간을 수행한다(방향성 보간 단계(S420)).

도 14는 본 발명에 따른 에지 적응적 보간 및 노이즈 필터링 방법을 개략적으로 요약하기 위한 도면이다. 상기 방법은, G 보간 단계(S510), 에지 방향 추정 단계(S520), G 보간 수정 단계(S530) 및 R/B 보간 단계(S540)를 포함한다.

상기 G 보간 단계(S510)에서는 G 채널 윈도우(510)에 대하여 2-방향(가로 및 세로 방향들)을 기준으로 1차 보간을 수행하여 1차 보간된 G 채널 윈도우(515)를 얻는다. 상기 에지 방향 추정 단계(S520)에서는 상기 1차 보간된 G 채널 윈도우에 대하여 8가지 방향들(520)에 근거하여 상기 1차 보간된 G 채널 윈도우(515) 내 에지의 방향(525)을 추정한다. 상기 G 보간 수정 단계(S530)에서는 상기 1차 보간된 G 채널 윈도우(530)에 대하여 상기 추정된 에지 방향에 근거하여 2차 보간을 수행하여 2차 보간된 G 채널 윈도우(535)를 얻는다. 이때, 에지의 방향, 주파수, 중심 화소에서의 거리를 반영한 다면 필터(trilateral filter)가 노이즈 필터로서 적용된다.

상기 R/B 보간 단계(S540)에서는 2차 보간된 G 채널 윈도우(540) 및 상기 추정된 에지 방향(525)에 근거하여 B 또는 R 채널 윈도우(542)에 대한 보간을 수행하여 보간된 B 또는 R 채널 윈도우(545)를 얻는다.

도 15 내지 도 17은 본 발명에 따른 에지 적응적 보간 및 노이즈 필터링 방법에 의하여 얻어지는 영상들을 설명하기 위한 도면들이다. 이때, 소니(Sony) 8메가 이미지 센서로 촬영한 베이어 영상에 각각 다른 컬러 보간을 수행하였다. 단, AWB(Automatic White Balance), 감마(Gamma), 에지 인핸스먼트는 동일 알고리즘의 동일한 값으로 유지하였다.

도 15를 참고하면, 도 15의 (a)는 2-방향 에지 추정에 따른 영상을 나타내고, 도 15의 (b)는 4-방향 에지 추정에 따른 영상을 나타내고, 도 15의 (c)는 8-방향 에지 추정에 따른 영상을 나타낸다. 도 15의 (c)에 도시된 바와 같이, 8-방향 에지 추정에 따른 영상에서는, 다수 방향(즉, 8방향)으로 비스듬한 각도의 고주파 에지를 부드럽게 표현할 수 있음을 알 수 있다.

도 16을 참고하면, 도 16의 (a)는 2-방향 에지 추정에 따른 영상을 나타내고, 도 16의 (b)는 4-방향 에지 추정에 따른 영상을 나타내고, 도 16의 (c)는 8-방향 에지 추정에 따른 영상을 나타낸다. 도 16의 (c)에 도시된 바와 같이, 8-방향 에지 추정에 따른 영상에서는, 동일 처리 블록 내의 보간 조정(Interpolation refinement)로 에지를 부드럽게 하는 동시에, 노이즈를 제거하여 영상을 선명하게 할 수 있음을 알 수 있다.

도 17을 참고하면, 도 17의 (a)는 2-방향 에지 추정에 따른 영상을 나타내고, 도 17의 (b)는 4-방향 에지 추정에 따른 영상을 나타내고, 도 17의 (c)는 8-방향 에지 추정에 따른 영상을 나타낸다. 도 17의 (c)에 도시된 바와 같이, 잘못된 방향으로의 적색/청색 보간은 컬러 노이즈를 악화시킬 수 있으나, 8-방향 에지 추 정에 따른 영상에서는 컬러 노이즈(즉, 프린지(fringe))를 줄일 수 있음을 알 수 있다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해서 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.

본 발명의 에지 적응적 보간 및 노이즈 필터링 방법이 하드웨어, 소프트웨어(즉, 프로그램), 또는 이들의 조합의 형태로 구현될 수 있음은 자명하다. 이러한 프로그램은 컴퓨터와 같은 기계가 읽을 수 있는 휘발성 또는 비휘발성 기록매체에 저장될 수 있고, 이러한 기록매체는 ROM 등과 같은 저장 장치, RAM, 메모리 칩, 집적 회로 등과 같은 메모리, CD, DVD, 자기 디스크, 자기 테이프 등과 같은 광학 또는 자기 기록 매체일 수 있다. 즉, 본 발명의 에지 적응적 보간 및 노이즈 필터링 방법은 이를 실현하기 위한 코드들을 포함하는 프로그램의 형태로 구체화될 수 있다. 더 나아가서, 이러한 프로그램은 유선 또는 무선으로 전파되는 통신 신호와 같이 임의의 매체를 통해 전기적으로 전달될 수 있고, 본 발명은 이와 균등한 것들을 포함한다.

도 1은 본 발명의 바람직한 실시 예에 따른 베이어 영상에서 RGB 컬러 영상을 출력하기 위한 휴대 단말의 구성을 개략적으로 나타내는 도면,

도 2는 도 1에 도시된 카메라의 일부 구성을 나타내는 도면,

도 3은 베이어 영상과 보간된 R, G 및 B 채널 영상들을 나타내는 도면,

도 4는 영상신호처리부의 기능 모듈들을 나타내는 도면,

도 5는 G 보간 모듈이 수행하는 1차 보간 방법을 설명하기 위한 흐름도,

도 6은 2방향 프로젝션 연산에 대해 설명하기 위한 도면,

도 7은 에지 방향 추정 모듈이 수행하는 에지 방향 추정 방법을 설명하기 위한 흐름도,

도 8은 8방향 프로젝션 연산에 대해 설명하기 위한 도면,

도 9는 G 보간 수정 모듈이 수행하는 2차 보간 방법을 설명하기 위한 흐름도,

도 10은 프로젝션 주파수 분석 단계를 설명하기 위한 도면,

도 11은 적응적 가우시안 필터 생성 단계를 설명하기 위한 도면,

도 12는 R/B 보간 모듈이 수행하는 R 및 B 채널 영상에 대한 보간 방법을 설명하기 위한 흐름도,

도 13은 G 채널 영상을 이용한 B 채널 영상의 보간을 예시하는 도면,

도 14는 본 발명에 따른 에지 적응적 보간 및 노이즈 필터링 방법을 개략적으로 요약하기 위한 도면,

도 15 내지 도 17은 본 발명에 따른 에지 적응적 보간 및 노이즈 필터링 방법에 의하여 얻어지는 영상들을 설명하기 위한 도면들.

Claims

에지 적응적 보간 및 노이즈 필터링 방법에 있어서,

녹색 윈도우에 대하여 제1 기설정된 수의 방향들에 근거하여 녹색에 대한 1차 보간을 수행하는 단계와;

상기 1차 보간된 녹색 윈도우에 대하여 상기 제1 기설정된 수보다 큰 제2 기설정된 수의 방향들에 근거하여 상기 1차 보간된 녹색 윈도우 내 에지의 방향을 추정하는 단계와;

상기 1차 보간된 녹색 윈도우에 대하여 상기 추정된 에지 방향에 근거하여 녹색에 대한 2차 보간을 수행하는 단계와;

적색 또는 청색 윈도우에 대하여 상기 추정된 에지 방향에 근거하여 적색 또는 청색에 대한 보간을 수행하는 단계를 포함함을 특징으로 하는 에지 적응적 보간 및 노이즈 필터링 방법.
제1항에 있어서,

상기 제1 기설정된 수는 2이고, 상기 제2 기설정된 수는 8임을 특징으로 하는 에지 적응적 보간 및 노이즈 필터링 방법.
제1항에 있어서, 상기 1차 보간을 수행하는 단계는,

상기 녹색 윈도우에 대해 프로젝션 값들을 산출하여 임시 보간 값들을 산출하는 단계와;

상기 임시 보간 값들을 이용하여 상기 제1 기설정된 수의 방향들에 근거한 에지 방향을 판단하는 단계와;

상기 에지 방향에 근거하여 상기 녹색 윈도우에 대해 녹색에 대한 1차 보간을 수행하는 단계를 포함함을 특징으로 하는 에지 적응적 보간 및 노이즈 필터링 방법.
제1항에 있어서, 상기 에지의 방향을 추정하는 단계는,

상기 1차 보간된 녹색 윈도우에 대해 상기 제2 기설정된 수의 방향들에 대한 프로젝션 값들을 산출하는 단계와;

상기 프로젝션 값들을 이용하여 상기 제2 기설정된 수의 방향들에 근거한 에지 방향을 추정하는 단계를 포함함을 특징으로 하는 에지 적응적 보간 및 노이즈 필터링 방법.
제1항에 있어서, 상기 2차 보간을 수행하는 단계는,

상기 추정된 에지 방향과 상기 에지의 주파수에 근거한 필터를 설정하는 단계와;

상기 필터를 상기 1차 보간된 녹색 윈도우에 적용하여 상기 추정된 에지 방향에 근거한 녹색에 대한 2차 보간을 수행하는 단계를 포함함을 특징으로 하는 에지 적응적 보간 및 노이즈 필터링 방법.
제1항 내지 제5항 중 어느 한 항의 에지 적응적 보간 및 노이즈 필터링 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제1항 내지 제5항 중 어느 한 항의 에지 적응적 보간 및 노이즈 필터링 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 구비한 휴대 단말.