KR102171387B1

KR102171387B1 - 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법

Info

Publication number: KR102171387B1
Application number: KR1020140026508A
Authority: KR
Inventors: 주혜진; 박래홍; 김태찬; 조원호
Original assignee: 삼성전자주식회사; 서강대학교산학협력단
Priority date: 2014-03-06
Filing date: 2014-03-06
Publication date: 2020-10-28
Also published as: KR20150104772A; US9294688B2; US20150256760A1

Abstract

포화 픽셀 데이터의 보정을 위하여, 포화 픽셀의 칼라 값들과 주변 픽셀의 칼라 값들의 상관관계를 나타내는 가중 함수를 설정한다. 상기 가중 함수를 이용하여 상기 포화 픽셀에 대한 복수의 주변 픽셀들의 가중 값들을 계산한다. 상기 가중 값들을 이용하여 상기 주변 픽셀들의 칼라 값들의 가중 평균 값을 계산한다. 상기 포화 픽셀의 칼라 값을 상기 가중 평균 값으로 보정한다. 서로 다른 칼라 채널 사이의 상관관계를 반영하는 가중 함수를 이용함으로써, 비교적 단순한 연산을 통하여 추가적인 처리 과정 없이도 자연스러운 칼라 복원 결과를 얻을 수 있고, 주변 픽셀의 포화 여부 및 보정 결과를 참조하여 보정에 이용되는 픽셀들을 선별함으로써 보정된 칼라 값의 신뢰성을 향상시킬 수 있다.

Description

포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법{Methods of correcting saturated pixel data and processing image data using the same}

본 발명은 데이터 프로세싱에 관한 것으로서, 더욱 상세하게는 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법에 관한 것이다.

이미지 센서가 좁은 동적 범위(narrow dynamic range)를 갖는 경우, 이미지 센서에 의해 획득한 칼라 디지털 영상은 피사체의 실제 칼라를 정확히 표현하지 못할 수 있다. 이미지 센서의 렌즈를 통하여 입사된 빛이 극도로 밝을 때 피사체의 원래 칼라는 영상 내에서 옳게 표현되지 못한다. 특정한 파장의 빛의 세기가 이미지 센서의 각 픽셀이 감지할 수 있는 최대 값을 초과한다면, 해당 픽셀의 칼라 값은 최대 칼라 값으로 클리핑된다. 또한, 최대 칼라 값으로 클리핑된 픽셀의 영향을 받은 주변 픽셀들도 원래의 칼라를 잃어버리고 최대 칼라 값에 가까운 칼라 값을 가지게 된다. 이와 같이, 최대 칼라 값 또는 이에 가까운 칼라 값을 갖는 픽셀은 "포화되었다(saturated)"고 한다. 따라서 왜곡된 칼라 값을 가진 포화된 픽셀은 원래의 칼라 값을 정확히 표현하기 위해서 보정될 필요가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 포화된 픽셀의 칼라 값을 비교적 단순한 연산을 통하여 효율적으로 보정할 수 있는 포화 픽셀 데이터의 보정 방법을 제공하는 것이다.

또한 본 발명의 일 목적은, 상기 포화 픽셀 데이터의 보정 방법을 이용하여 칼라 이미지를 효율적으로 복원할 수 있는 이미지 데이터의 프로세싱 방법을 제공하는 것이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법은, 포화 픽셀의 칼라 값들과 주변 픽셀의 칼라 값들의 상관관계를 나타내는 가중 함수를 설정하는 단계; 상기 가중 함수를 이용하여 상기 포화 픽셀에 대한 복수의 주변 픽셀들의 가중 값들을 계산하는 단계; 상기 가중 값들을 이용하여 상기 주변 픽셀들의 칼라 값들의 가중 평균 값을 계산하는 단계; 및 상기 포화 픽셀의 칼라 값을 상기 가중 평균 값으로 보정하는 단계를 포함한다.

상기 포화 픽셀의 칼라 값과 상기 주변 픽셀의 칼라 값의 차이가 감소할수록 상기 주변 픽셀의 가중 값이 증가할 수 있다.

상기 포화 픽셀의 색조 값과 상기 주변 픽셀의 색조 값의 차이가 감소할수록 상기 주변 픽셀의 가중 값이 증가할 수 있다.

상기 주변 픽셀의 채도 값이 감소할수록 상기 주변 픽셀의 가중 값이 증가할 수 있다.

상기 칼라 값들은 레드(red) 값, 그린(green) 값 및 블루(blue) 값을 포함하고, 상기 레드 값, 상기 그린 값 및 상기 블루 값 중 적어도 하나가 포화 임계치보다 큰 픽셀을 포화 픽셀로 결정할 수 있다.

상기 복수의 주변 픽셀들 중에서, 보정되지 않은 포화 픽셀의 칼라 값은 상기 가중 평균 값의 계산에서 배제하고, 이미 보정된 포화 픽셀은 칼라 값이 보정에 의해 감소된 칼라 값을 상기 가중 평균 값의 계산에 이용할 수 있다.

상기 가중 함수는, 상기 포화 픽셀의 칼라 값과 상기 주변 픽셀의 칼라 값의 차이에 의존하는 칼라 가중 함수, 상기 포화 픽셀의 색조 값과 상기 주변 픽셀의 색조 값의 차이에 의존하는 색조 가중 함수 및 상기 주변 픽셀의 채도 값에 의존하는 채도 가중 함수의 곱일 수 있다.

상기 칼라 가중 함수는 하기의 수학식에 따라서 설정될 수 있다.

여기서 (x,y)는 상기 포화 픽셀의 좌표, (x+i,y+j)는 상기 주변 픽셀의 좌표, Wc는 상기 칼라 가중 함수, C는 보정 전의 칼라 값, C'는 보정 후의 칼라 값, Tsat는 포화 임계치, Kc는 상기 칼라 가중 함수의 정규화 상수이다.

상기 색조 가중 함수는 하기의 수학식에 따라서 설정될 수 있다.

여기서 (x,y)는 상기 포화 픽셀의 좌표, (x+i,y+j)는 상기 주변 픽셀의 좌표, Wh는 상기 색조 가중 함수, H는 HSI 칼라 공간에서의 색조 값, R, G, B는 각각 RGB 칼라 공간에서의 레드 값, 그린 값, 블루 값이다.

여기서 (x,y)는 상기 포화 픽셀의 좌표, (x+i,y+j)는 상기 주변 픽셀의 좌표, Wh는 상기 색조 가중 함수, Kh는 상기 색조 가중 함수의 정규화 상수, H는 HSI 칼라 공간에서의 색조 값, R, G, B는 각각 RGB 칼라 공간에서의 레드 값, 그린 값, 블루 값이다.

상기 채도 가중 함수는 하기의 수학식에 따라서 설정될 수 있다.

여기서 (x+i,y+j)는 상기 주변 픽셀의 좌표, Ws는 상기 채도 가중 함수, S는 HSI 칼라 공간에서의 채도 값, R, G, B는 각각 RGB 칼라 공간에서의 레드 값, 그린 값, 블루 값, min(R, G, B)은 R, G, B 중에서 최소값이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 데이터의 프로세싱 방법은, 복수의 포화 픽셀들을 포함하는 포화 영역을 검출하는 단계; 상기 포화 픽셀의 칼라 값들과 주변 픽셀의 칼라 값들의 상관관계를 나타내는 가중 함수를 설정하는 단계; 및 상기 가중 함수를 이용하여 상기 포화 영역에 포함된 포화 픽셀들을 순차적으로 보정하는 단계를 포함한다.

상기 포화 영역의 가장자리에 가깝게 위치한 포화 픽셀일수록 먼저 보정하고 상기 포화 영역의 중심에 가깝게 위치한 포화 픽셀일수록 나중에 보정할 수 있다.

본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법 및 이미지 데이터의 프로세싱 방법은, 서로 다른 칼라 채널 사이의 상관관계를 반영하는 가중 함수를 이용함으로써, 비교적 단순한 연산을 통하여 추가적인 처리 과정 없이도 자연스러운 칼라 복원 결과를 얻을 수 있다.

또한 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법 및 이미지 데이터의 프로세싱 방법은, 주변 픽셀의 포화 여부 및 보정 결과를 참조하여 보정에 이용되는 픽셀들을 선별함으로써 보정된 칼라 값의 신뢰성을 향상시킬 수 있다.

도 1은 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 센서 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 이미지 신호 프로세서를 나타내는 블록도이다.
도 4 내지 7은 본 발명의 실시예들에 따른 이미지 데이터의 프로세싱 방법을 설명하기 위한 도면들이다.
도 8은 포화 영역을 포함하는 입력 영상의 일 예를 나타내는 도면이다.
도 9A, 9B 및 9C는 도 8의 입력 영상에 포함된 포화 픽셀들의 보정 순서를 결정하는 방법의 일 예를 나타내는 도면들이다.
도 10은 포화 영역을 포함하는 입력 영상의 일 예를 나타내는 도면이다.
도 11A는 도 10의 입력 영상의 인텐시티 프로필을 나타내는 도면이다.
도 11B는 클리핑 영상의 인텐시티 프로필을 나타내는 도면이다.
도 11C는 본 발명의 실시예들에 따라 보정된 영상의 인텐시티 프로필을 나타내는 도면이다.
도 12는 이미지 데이터의 프로세싱에 따른 최대 신호 대 잡음비를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 14는 도 13의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되지 않는다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법을 나타내는 순서도이다.

도 1을 참조하면, 포화 픽셀의 칼라 값들과 주변 픽셀의 칼라 값들의 상관관계를 나타내는 가중 함수를 설정한다(S110). 상기 가중 함수를 이용하여 상기 포화 픽셀에 대한 복수의 주변 픽셀들의 가중 값들을 계산한다(S130). 상기 가중 값들을 이용하여 상기 주변 픽셀들의 칼라 값들의 가중 평균 값을 계산한다(S150). 상기 포화 픽셀의 칼라 값을 상기 가중 평균 값으로 보정한다(S170). 후술하는 바와 같이, 상기 가중 함수는 칼라 가중 함수, 색조 가중 함수 및 채도 가중 함수의 곱으로 표현될 수 있다. 서로 다른 칼라 채널 사이의 상관관계를 반영하는 가중 함수를 이용함으로써, 비교적 단순한 연산을 통하여 추가적인 처리 과정 없이도 자연스러운 칼라 복원 결과를 얻을 수 있다.

도 2는 본 발명의 실시예들에 따른 센서 시스템을 나타내는 블록도이다.

도 2를 참조하면, 센서 시스템(100)은 이미지 센서(image sensor)(200) 및 이미지 신호 프로세서(Image Signal Processor; ISP)(400)를 포함할 수 있다. 이미지 센서(200)는 픽셀 어레이(pixel array)(210), 로우 구동부(row driver)(220), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(230) 및 제어부(controller)(250)를 포함할 수 있다. 이미지 센서(200) 및 이미지 신호 프로세서(400)는 하나의 칩에 함께 집적될 수 도 있고 각각 별개의 칩으로 구현될 수도 있다.

픽셀 어레이(210)는 입사광에 기초하여 복수의 픽셀 신호들(예를 들어, 아날로그 픽셀 신호들)을 발생한다. 픽셀 어레이(210)는 복수의 행들과 복수의 열들로 이루어진 매트릭스 형태로 배열된 복수의 단위 픽셀들을 포함할 수 있다. 단위 픽셀들은 칼라 이미지의 센싱을 위한 적절한 패턴을 가질 수 있다. 예를 들어, 단위 픽셀들은 가시광선 파장의 범위를 감지하는 모노크롬 픽셀들이며, 단위 픽셀들의 각각은 R(red) 필터, G(green) 필터 및 B(blue) 필터 중 하나와 결합될 수 있다. 일반적인 CMOS, CCD 이미지 센서에서는 R, G, B 필터들이 일정한 패턴을 가지고 배치되는데, 인간의 시각 특성을 따라서, R, G, B 필터들이 각각 25%, 50%, 25%가 되도록 베이어 패턴(Bayer pattern)으로 배치될 수 있다. 이 경우 이미지 센서(200)는 각각의 픽셀마다 R, G, B 중 하나의 칼라 값이 매칭되는 RGB 베이어 이미지 데이터를 제공할 수 있다.

로우 구동부(220)는 픽셀 어레이(210)의 각 로우에 연결되고, 상기 각 로우를 구동하는 구동 신호를 생성할 수 있다. 예를 들어, 로우 구동부(220)는 픽셀 어레이(210)에 포함되는 상기 복수의 단위 픽셀들을 로우 단위로 구동할 수 있다.

아날로그-디지털 변환부(230)는 픽셀 어레이(210)의 각 컬럼에 연결되고, 픽셀 어레이(210)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 일 실시예에서, 아날로그-디지털 변환부(230)는 복수의 아날로그-디지털 변환기들을 포함하며, 각 컬럼 라인마다 출력되는 아날로그 신호들을 병렬로(즉, 동시에) 디지털 신호들로 변환하는 컬럼 ADC를 수행할 수 있다. 다른 실시예에서, 아날로그-디지털 변환부(230)는 단일의 아날로그-디지털 변환기를 포함하며, 상기 아날로그 신호들을 순차적으로 디지털 신호들로 변환하는 단일 ADC를 수행할 수 있다.

실시예에 따라서, 아날로그-디지털 변환부(230)는 유효 신호 성분을 추출하기 위한 하나의 상관 이중 샘플링(correlated double sampling; CDS)부(232)를 포함할 수 있다. 일 실시예에서, 상관 이중 샘플링부(232)는 리셋 성분을 나타내는 아날로그 리셋 신호와 이미지 성분을 나타내는 아날로그 이미지 신호의 차이에 기초하여 상기 유효 이미지 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상관 이중 샘플링부(232)는 상기 아날로그 리셋 신호와 상기 아날로그 이미지 신호를 디지털 신호들로 각각 변환한 후 상기 유효 이미지 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상관 이중 샘플링부(232)는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.

제어부(250)는 로우 구동부(220), 아날로그-디지털 변환부(230)를 제어할 수 있다. 제어부(250)는 로우 구동부(220), 아날로그-디지털 변환부(230)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 제공할 수 있다. 일 실시예에서, 제어부(250)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.

이미지 신호 프로세서(400)는 이미지 센서(200)로부터 제공되는 디지털 신호를 수신하고, 상기 디지털 신호에 대하여 이미지 데이터 처리를 수행할 수 있다. 예를 들어, 이미지 신호 프로세서(400)는 이미지 보간(Image Interpolation), 색 보정(Color Correction), 화이트 밸런스(White Balance), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등을 수행할 수 있다. 특히, 이미지 신호 프로세서(400)는 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정을 수행하는 포화 보정부(DESAT)(440)를 포함할 수 있다.

도 3은 본 발명의 실시예들에 따른 이미지 신호 프로세서를 나타내는 블록도이다.

도 3을 참조하면, 이미지 신호 프로세서(400)는 전처리부(pre-processor)(410), 포화 보정부(desaturator)(440) 및 후처리부(post-processor)(450)를 포함할 수 있다. 전처리부(410)는 보간기(interpolator)(420) 및 필터(filter)(430)를 포함할 수 있다.

보간기(420)는 이미지 센서(200)로부터 제공되는 RGB 베이어 이미지 데이터를 RGB 풀 칼라 이미지 데이터로 변환하는 보간 동작을 수행한다. RGB 베이어 이미지 데이터는 각각의 픽셀마다 R, G, B 중 하나의 칼라 값이 매칭되는 포맷으로 표현되고, RGB 풀 칼라 이미지 데이터는 각각의 픽셀마다 R, G, B 칼라 값들이 매칭되는 포맷으로 표현된다. 보간기(420)는 RGB 베이어 이미지 데이터를 기초로 픽셀 더블링 보간(pixel doubling interpolation), 이선형 보간(bilinear interpolation) 등을 수행하여 RGB 풀 칼라 이미지 데이터를 생성할 수 있다.

필터(430)는 이미지 데이터의 노이즈를 제거하는 필터링 동작을 수행한다. 예를 들어, 필터(430)는 영상 내의 에지 성분들은 보존하면서 스므딩(smoothing)을 수행하는 양방향 필터(bilateral filter)일 수 있다. 양방향 필터는 비선형 필터로서 출력값이 입력의 적응적 평균에 의해 나타난다. 잡음이 섞인 입력 영상이 들어왔을 때 잡음을 제거하기 위해 저역 필터인 가우시안 함수를 사용한다. 이때 입력 영상에서 주변 픽셀의 밝기 값의 차를 입력으로 하는 강도기반 에지 스톱 함수를 거리기반 가우시안 필터 계수의 가중치로 사용한다. 즉 밝기 값의 차이가 크고, 에지 성분이 있는 부분에 대해서는 가우시안 필터 계수의 가중치를 낮게 해서 에지가 흐려지는 것을 막고, 밝기 값의 차이가 작은, 평탄면에 대해서는 가중치를 크게 하여 잡음을 제거하게 된다. 이러한 양방향 필터링을 통하여 후술하는 포화 영역 내에서 노이즈에 의해 발생할 수 있는 고립된 영역이나 홀(hole)들을 제거할 수 있다. 한편, 다양한 이미지 센서 내의 노이즈, 칼라 필터 어레이의 보간에 따라서 포화가 발생한 픽셀들의 칼라 값들이 실제보다 작게 검출되는 경우가 발생한다. 양방향 필터는 이와 같은 포화 영역의 불충분한 검출을 완화할 수 있다.

일 실시예에서, 먼저 보간 동작이 수행되고 보간된 이미지 데이터에 대해서 노이즈 필터링이 수행될 수 있다. 다른 실시예에서, 먼저 노이즈 필터링이 수행되고 노이즈가 제거된 이미지 데이터에 대해서 보간 동작이 수행될 수 있다. 또 다른 실시예에서 보간 동작과 노이즈 필터링이 동시에 수행될 수도 있다.

포화 보정부(440)는 전처리부(410)로부터 노이즈가 제거된 RGB 풀칼라 이미지 데이터를 수신하여 포화 픽셀 데이터의 보정 및 이를 이용한 이미지 데이터의 프로세싱을 수행한다. 포화 보정된 이미지 데이터는 추가적인 처리를 위하여 후처리부(450)로 제공된다.

포화 보정부(440)는 RGB 풀칼라 이미지 데이터에 기초하여 복수의 포화 픽셀들을 포함하는 포화 영역을 검출한다. 포화 보정부(440)는 가중 함수를 이용하여 상기 포화 영역에 포함된 포화 픽셀들을 순차적으로 보정한다. 상기 가중 함수는 포화 픽셀의 칼라 값들과 주변 픽셀의 칼라 값들의 상관관계를 나타내도록 설정될 수 있다.

영상 내의 포화 영역은 영상의 R(red), G(green), 그리고 B(blue) 각각의 칼라 채널에서 포화 임계치(Tsat)를 사용하여 검출될 수 있다. 각 픽셀의 칼라 값들은 R 값, G 값 및 B 값을 포함하고, R 값, G 값 및 B 값 중 적어도 하나가 포화 임계치(Tsat)보다 큰 픽셀을 포화 픽셀로 결정할 수 있다.

예를 들어, 8-bit 영상에서 '235' 를 초과하는 적어도 하나의 칼라 값을 가지는 픽셀은 포화 픽셀로 분류될 수 있다. 포화 임계치(Tsat)는 이미지 센서의 특성에 따라 결정된다. 이미지 센서를 통해 강한 빛이 입사되면, 하나의 픽셀을 정의하는 셀에 모이는 광전자들은 전자 우물을 넘치게 되고, 이와 같은 현상을 포화 현상이라고 할 수 있다. 센서의 특성에 따라 각 픽셀에서의 정확한 포화 임계치(Tsat)는 달라질 수 있지만, 센서의 응답이 비선형임을 고려하여 최대 칼라 값이 '255'인 8-비트 영상에서는 포화 임계치(Tsat)를 약 '235'로 정할 수 있다.

포화 임계치(Tsat)를 이용하여 각 R, G, 그리고 B 칼라 채널에서 포화 픽셀들을 검출하기 전에, 노이즈의 효과를 없애기 위해 전술한 바와 같은 양방향 필터링을 수행할 수 있다. 양방향 필터링을 수행한 후, 모든 R, G, 그리고 B 칼라 채널들은 포화 영역을 검출하기 위해 포화 임계치(Tsat) 값을 이용하여 각각 독립적으로 쓰레솔딩(thresholding) 된다. R, G, 그리고 B 칼라 값들 중 하나라도 포화 임계치(Tsat) 이상의 칼라 값을 가지면 포화 영역으로 분류된다.

양방향 필터링된 영상에 대해 포화 임계치(Tsat)로 쓰레솔딩하여 검출된 포화 영역들은 공간적으로 서로 이격될 수 있다. 이격된 포화 영역들을 구분하기 위해 분할되고 그에 따라 라벨링(labeling)된다. 즉, 두 개의 포화 영역이 영상 내에서 서로 떨어져 있다면, 각 영역을 서로 다르게 라벨링한다. 이와 같은 과정은 검출된 포화 영역들은 '1'로, 불포화된 영역들은 '0'으로 정의하여 바이너리 영상을 작성함으로써 수행할 수 있다. 서로 다른 라벨(label)을 가진 각각의 포화 영역에 대해서 포화 보정 과정은 독립적으로 수행된다.

본 발명의 실시예들에 따라서, 포화 보정부(440)는 주변 픽셀들의 가중 평균을 사용하여 포화 영역 내의 포화 픽셀들을 보정한다. 포화 픽셀들은 각각의 포화된 채널에서 독립적으로 보정된다. 예를 들어, 포화 픽셀이 R과 G 채널 모두에서 포화되었다면, R 값은 주변 픽셀들의 R 값들의 가중 평균으로 보정되고, G 값은 주변 픽셀들의 G 값들의 가중 평균으로 보정된다. 포화 영역 내에서 각각의 포화된 칼라 채널의 보정은 수학식 1과 같이 수행될 수 있다.

수학식 1에서 C'는 보정된 칼라 값, C는 본래의 칼라 값, W는 가중 함수, (x, y)는 보정 대상이 되는 포화 픽셀의 좌표, (x+i, y+j)는 주변 픽셀의 좌표이다. M은 가중 평균의 계산에 참조되는 주변 픽셀들을 정의하는 윈도우를 나타낸다. 예를 들어, 상기 윈도우는 보정 대상이 되는 포화 픽셀을 중심으로 (2k+1)개의 행들과 (2k+1)개의 열들에 해당하는 픽셀들을 포함할 수 있다. 이 경우, i 및 j 는 각각 ??k 와 k 사이의 정수 값을 갖는다.

수학식 1의 C와 C'는 R 값, G 값 및 B 값 중 하나일 수 있다. 포화 픽셀의 R 값이 포화 임계치(Tsat)보다 큰 경우 포화 픽셀의 R 값을 상기 주변 픽셀들의 R 값들의 가중 평균 값으로 보정한다. 포화 픽셀의 G 값이 포화 임계치(Tsat)보다 큰 경우 포화 픽셀의 G 값을 상기 주변 픽셀들의 G 값들의 가중 평균 값으로 보정한다. 포화 픽셀의 B 값이 포화 임계치(Tsat)보다 큰 경우 포화 픽셀의 B 값을 상기 주변 픽셀들의 B 값들의 가중 평균 값으로 보정한다.

포화 영역의 픽셀들의 R, G, 그리고 B 값들을 보정하는 수학식 1을 계산하는 데 있어서, 가중 함수(W)는, 수학식 2와 같이, 포화 픽셀의 칼라 값과 주변 픽셀의 칼라 값의 차이에 의존하는 칼라 가중 함수(Wc), 포화 픽셀의 색조(hue) 값과 주변 픽셀의 색조 값의 차이에 의존하는 색조 가중 함수(Wh) 및 주변 픽셀의 채도(chroma or saturation) 값에 의존하는 채도 가중 함수(Ws)의 곱일 수 있다.

칼라 가중 함수(Wc)는 포화 픽셀의 칼라 값과 주변 픽셀의 칼라 값의 차이가 감소할수록 주변 픽셀의 가중 값이 증가하도록 설정될 수 있다. 색조 가중 함수(Wh)는 포화 픽셀의 색조 값과 주변 픽셀의 색조 값의 차이가 감소할수록 주변 픽셀의 가중 값이 증가하도록 설정될 수 있다. 채도 가중 함수(Ws)는 주변 픽셀의 채도 값이 감소할수록 주변 픽셀의 가중 값이 증가하도록 설정될 수 있다.

칼라 값들의 차이가 작으면 해당 주변 픽셀의 가중치는 커져야 한다. 기본적으로 칼라 가중 함수(Wc)는 보정하고자 하는 포화 픽셀과 주변 픽셀의 칼라 값들의 차이에 의존하는 가우시안(Gaussian) 함수를 사용하여 표현될 수 있다.

이미 포화된 것으로 결정된 주변 픽셀들은 그 칼라 값에 대한 신뢰성이 전혀 없으므로 보정 과정에서 배제된다. 포화된 픽셀의 칼라 값은 오히려 보정되어야 하는 값이기 때문에 보정 과정에서 사용하는 것은 적절하지 않다. 따라서 주변 픽셀이 포화 픽셀인 경우에는 칼라 가중 함수의 값에 0을 할당한다. 이와 같이, 신뢰성이 낮아서 보정을 위한 계산에서 배제되는 픽셀에 0의 가중치를 부여하고, 신뢰성이 상대적으로 높아서 보정을 위한 계산에 포함되는 픽셀에 0보다 큰 가중치를 부여한 바이너리 맵을 확실성 맵(certainty map)이라 칭할 수 있다.

한편, 이미 보정되어 포화도가 낮춰진 포화 픽셀의 칼라 값들은 다른 포화 픽셀의 보정에 사용될 수 있다. 포화도가 낮춰진 칼라 값들은 피사체의 원래 칼라에 가까운 칼라 값을 가지도록 보정된 것이므로 해당 픽셀의 보정된 칼라 값은 다른 포화 픽셀의 보정 칼라 값을 계산하는 데 사용될 정도의 신뢰성이 있다고 할 수 있다.

이와 같이, 확실성 맵과 칼라 값들의 차이를 함께 고려하여 칼라 가중 함수(Wc)는 수학식 3과 같이 설정될 수 있다.

수학식 3에서, (x,y)는 보정하고자 하는 포화 픽셀의 좌표, (x+i,y+j)는 주변 픽셀의 좌표, Wc는 칼라 가중 함수, C는 보정 전의 칼라 값, C'는 보정 후의 칼라 값, Tsat는 포화 임계치, Kc는 칼라 가중 함수의 정규화 상수이다. min(R, G, B)은 R, G, B 중에서 최소값을 나타낸다.

수학식 3에서와 같이, 칼라 가중 함수(Wc)는 조건들에 따라 세 개의 값으로 정의될 수 있다. C(x+i, y+j)가 Tsat보다 작거나 같으면, Wc는 C(x, y)와 C(x+i, y+j)의 차이 값을 이용한 가우시안 함수로 주어진다. 그러나 C(x+i, y+j)가 Tsat보다 큰 경우에는, 주변 픽셀 (x+i, j+1)에 대해서 보정이 이미 수행되고 보정된 칼라 값 C'(x+i, y+j)가 본래의 칼라 값 C(x+i, y+j)보다 작은 경우에는 Wc는 C(x, y)와 C'(x+i, y+j)의 차이 값을 이용한 가우시안 함수로 주어진다. 포화도가 낮춰진 칼라 값은 원래 칼라 값과 흡사한 칼라를 가지고 있다고 할 수 있으므로, 다른 포화 픽셀의 보정을 위하여 사용될 수 있다. 그 밖의 경우에는 확실성 맵에 의해 Wc 에 0의 값이 할당된다.

본 발명의 실시예들에 따라서, 색조(hue; H) 값과 채도(saturation; S) 값에 각각 의존하는 색조 가중 함수(Wh) 및 채도 가중 함수(Ws)를 설정한다. 색조와 채도는 하나의 칼라와 또 다른 칼라를 서로 구분 지을 수 있는 특성을 가진다. R, G, 그리고 B 칼라 값 외에도, 칼라 표현에 대한 뚜렷한 특징은 H 값에 따라 표현되기 때문에 색조는 주변 픽셀들과 포화 픽셀 사이의 칼라 유사성을 결정하는 데 있어서 사용될 필요가 있다. 또한, 채도는 색조와 함께 백색광의 파장 블렌딩 정도에 대한 정보를 보여줄 수 있는 지표이기 때문에 S 값은 가중 함수를 계산하는 데 사용될 수 있다. 색조 가중 함수(Wh)와 채도 가중 함수(Ws)를 계산하기 위해 사용되는 H와 S 값들은 수학식 4, 5 및 6에 의해 계산될 수 있다.

수학식 5 및 6에서, R, G, B 는 해당 픽셀의 칼라 값들이다. 수학식 4 및 6에서 H와 S 값들은 각각 0에서 1사이의 값을 갖는다. 수학식 4의 H 값은 수학식 5에서 정의된 θ 값을 사용하여 계산되고, B와 G 값들의 크기 관계에 따라 두 가지 경우로 정의된다. 이는 코사인 (cosine)의 역함수 값은 0 도(degree)에서 180 도의 범위 내의 값으로 정해지기 때문이다. 주변 픽셀에서의 우세한 칼라 특성을 가지는 H 값이 포화 픽셀에서의 H 값과 매우 다르다면, 이러한 주변 픽셀의 칼라 값은 포화 픽셀의 칼라 값을 복원하는 데에 사용되기에는 부적절하다. 결과적으로 주변 픽셀과 포화 픽셀 간의 H 값의 차이가 크면 클수록 주변 픽셀에 대한 가중치는 더 작아져야 한다. 또한, 주변 픽셀에서의 S 값이 클 때는, 해당 주변 픽셀의 칼라가 왜곡되었을 가능성이 낮다. 수학식 6에서, S 값은 픽셀이 크게 포화되었을 때 작아진다. 예를 들어, 8-비트 이미지 영상에서 해당 주변 픽셀의 R, G, 그리고 B 값 모두가 최대 칼라 값인 '255'의 값을 가지면 S 값은 '0'이 된다. 따라서, 주변 픽셀에 대한 가중치는 S 값에 비례하도록 결정되어야 한다.

일 실시예에서, H와 S 값들에 대한 칼라 특성에 따라, H와 S 값들에 의존하는 색조 가중 함수(Wh)와 채도 가중 함수(Ws)는 수학식 7 및 8과 같이 H와 S 값의 선형 함수의 형태로 설정될 수 있다.

다른 실시예에서, H와 S 값들에 의존하는 색조 가중 함수(Wh)와 채도 가중 함수(Ws)는 수학식 9 및 10과 같이 H와 S 값의 가우시안 함수의 형태로 설정될 수 있다.

수학식 9 및 10에서, Kh 와 Ks 는 각 함수의 정규화 상수들이다.

수학식 7 내지 10에서, 색조 가중 함수(Wh)와 채도 가중 함수(Ws)는 각각 0 과 1 사이의 값을 갖는다. 주변 픽셀의 신뢰도가 클수록 색조 가중 함수(Wh)와 채도 가중 함수(Ws)의 값은 1에 가까워진다.

이와 같이, 서로 다른 칼라 채널 사이의 상관관계를 반영하는 가중 함수를 이용함으로써, 비교적 단순한 연산을 통하여 추가적인 처리 과정 없이도 자연스러운 칼라 복원 결과를 얻을 수 있다. 또한 주변 픽셀의 포화 여부 및 보정 결과를 참조하여 보정에 이용되는 픽셀들을 선별함으로써 보정된 칼라 값의 신뢰성을 향상시킬 수 있다.

도 4 내지 7은 본 발명의 실시예들에 따른 이미지 데이터의 프로세싱 방법을 설명하기 위한 도면들이다.

도 4 내지 7에는 복수의 행들(r1~r9)과 복수의 열들(c1~c2)로 이루어진 픽셀 어레이가 도시되어 있다. U는 포화되지 않은(unsaturated) 픽셀을 나타내고, S는 포화된(saturated) 값을 나타내고, D는 포화 보정된(desaturated) 픽셀을 나타낸다.

도시된 픽셀 어레이에 상응하는 이미지 데이터를 처리하기 위해서, 먼저 복수의 포화 픽셀(S)들을 포함하는 포화 영역을 검출한다. 포화 영역의 일 예가 도 4에 도시되어 있다. 전술한 바와 같이, R 값, G 값 및 B 값 중 적어도 하나가 포화 임계치(Tsat)보다 큰 픽셀을 포화 픽셀(S)로 결정할 수 있다. 포화되지 않은 픽셀(U)에 1의 값을 할당하고, 포화된 픽셀(S)에 0의 값을 할당하여 전술한 확실성 맵(certainty map)을 작성할 수 있다.

전술한 바와 같이, 포화 픽셀의 칼라 값들과 주변 픽셀의 칼라 값들의 상관관계를 나타내는 가중 함수를 설정하고, 상기 가중 함수를 이용하여 포화 영역에 포함된 포화 픽셀들을 순차적으로 보정한다. 도 5에는 (r3, c5) 위치의 포화 픽셀을 보정하는데 참조되는 주변 픽셀들을 포함하는 윈도우의 일 예가 도시되어 있다. 예를 들어, 상기 윈도우는 보정 대상이 되는 (r3, c5) 포화 픽셀을 중심으로 5개의 행들과 5개의 열들에 해당하는 픽셀들을 포함할 수 있다. 수학식 3으로 표현되는 확실성 맵을 적용하면, 포화되지 않은 주변 픽셀들(U)만이 가중 평균의 계산에 이용되고, 포화된 픽셀들(S)은 가중 평균의 계산에서 배제된다.

수학식 1을 이용하여, 포화 영역에 포함되는 포화 픽셀들(S)의 칼라 값을 보정함에 있어서, 상기 포화 영역의 가장자리에 가깝게 위치한 포화 픽셀일수록 먼저 보정하고 상기 포화 영역의 중심에 가깝게 위치한 포화 픽셀일수록 나중에 보정할 수 있다. 이와 같은 방법에 의해서 가장 먼저 포화 보정된 픽셀들(D)이 도 6에 도시되어 있다. 포화 영역 내의 포화 픽셀들의 보정 순서에 대해서는 도 8, 9A, 9B 및 9C를 참조하여 후술한다.

도 7에는 (r4, c6) 위치의 포화 픽셀을 보정하는데 참조되는 주변 픽셀들을 포함하는 윈도우의 일 예가 도시되어 있다. 예를 들어, 상기 윈도우는 보정 대상이 되는 (r4, c6) 포화 픽셀을 중심으로 5개의 행들과 5개의 열들에 해당하는 픽셀들을 포함할 수 있다. 수학식 3으로 표현되는 확실성 맵을 적용하면, 포화되지 않은 주변 픽셀들(U)은 가중 평균의 계산에 이용되고, 포화된 픽셀들(S)은 가중 평균의 계산에서 배제된다. 한편 포화 보정된 픽셀들(D)은 보정된 칼라 값 C'(x+i, y+j)가 본래의 칼라 값 C(x+i, y+j)보다 작은 경우에만 가중 평균의 계산에 이용된다. (r4, c6) 의 포화 픽셀을 보정하는 경우에 x=4, y=6, i 와 j 는 각각 -2, -1, 0, 1, 2의 값을 갖는다.

도 8은 포화 영역을 포함하는 입력 영상의 일 예를 나타내는 도면이고, 도 9A, 9B 및 9C는 도 8의 입력 영상에 포함된 포화 픽셀들의 보정 순서를 결정하는 방법의 일 예를 나타내는 도면들이다.

도 9A, 9B 및 9C는 도 8의 입력 영상에서 포화 영역을 포함하는 사각형(RT)에 대하여 0의 값을 갖는 픽셀을 검은색으로 1의 값을 갖는 픽셀을 흰색으로 표현한 바이너리 맵들을 나타낸다.

전술한 바와 같이, 수학식 1을 이용하여, 포화 영역에 포함되는 포화 픽셀들(S)의 칼라 값을 보정함에 있어서, 상기 포화 영역의 가장자리에 가깝게 위치한 포화 픽셀일수록 먼저 보정하고 상기 포화 영역의 중심에 가깝게 위치한 포화 픽셀일수록 나중에 보정할 수 있다. 이를 위하여 본 발명의 실시예들에 따라서, 형태적 침식(morphological erosion)과 논리곱(AND) 연산을 이용할 수 있다. 도 9A는 도 8의 사각형(RT)에서 포화 영역을 1(흰색)로 표현하고, 포화되지 않은 영역을 0(검은색)으로 표현한 바이너리(binary) 영상이다. 도 9B는 도 9A의 포화 영역의 가장자리를 침식(erosion)한 바이너리 영상이고, 도 9C는 포화 영역에 대해 가장 먼저 보정 과정을 수행할 최외곽 픽셀들을 1로 표현한 바이너리 영상이다. 도 9C의 영상은, 도 9A의 영상 및 도 9A의 반전 영상에서 각 대응되는 픽셀 값들을 논리곱 연산함으로써 얻을 수 있다. 이와 같은 방식으로 포화되지 않은 주변 픽셀에 가장 가까운 포화 픽셀부터 보정 과정을 먼저 수행할 수 있다. 도 9C에서 추출된 가장자리의 포화 픽셀들에 대해 보정 과정이 완료되면, 포화 보정된 픽셀들에 0의 값을 보정하고, 전술한 형태적 침식과 논리곱 연산을 수행하여 다음에 보정할 포화 픽셀들을 결정한다. 이와 같은 형태 침식 및 논리곱 연산을 반복적으로 적용함으로써, 포화 영역의 가장자리에 가깝게 위치한 포화 픽셀일수록 먼저 보정하고 상기 포화 영역의 중심에 가깝게 위치한 포화 픽셀일수록 나중에 보정할 수 있다. 포화되지 않은 픽셀에 가깝게 위치한 포화 픽셀을 먼저 보정함으로써, 전술한 확실성 맵과 관련된 수학식 3의 칼라 가중 함수(Wc)의 신뢰성을 더욱 높일 수 있다.

도 10은 포화 영역을 포함하는 입력 영상의 일 예를 나타내는 도면이고, 도 11A는 도 10의 입력 영상의 인텐시티 프로필(intensity profile)을 나타내는 도면이고, 도 11B는 클리핑 영상의 인텐시티 프로필을 나타내는 도면이고, 도 11C는 본 발명의 일 실시예에 따라 보정된 영상의 인텐시티 프로필을 나타내는 도면이다.

분석에 이용된 도 10의 입력 영상은 실제로 8-bit 칼라 영상이며, 도 11A, 11B 및 11C에는 각각 R, G, B 채널들에 대한 칼라 값들의 분포가 도시되어 있다. 도 11A, 11B 및 11C에서 가로축은 도 10의 입력 영상의 포화 영역을 지나는 수평 라인(LN) 상에의 픽셀 위치를 나타내고 세로축은 픽셀 값을 나타낸다.

도 11B는 과다 노출로 인해 나타날 수 있는 클리핑 영상의 인텐시티 프로필을 나타낸다. 도 11B 클리핑 영상은 포화 영역의 RGB 칼라 채널을 각각 '204'의 값으로 클리핑한 것이다. 도 11A, 도 11B, 도 11C의 각 영상에 대한 인텐시티 프로필을 비교함으로써 포화 영역에서의 RGB 칼라 변화를 확인할 수 있다. 도 11A 및 11C를 참조하면, 본 발명의 일 실시예에 따라 보정된 영상의 인텐시티 프로필은 본래의 입력 영상과 매우 유사함을 알 수 있다.

도 12는 이미지 데이터의 프로세싱에 따른 최대 신호 대 잡음비를 나타내는 도면이다.

도 12에는 다양한 샘플 영상들(PIC1~PIC7)을 이용하여 정량적 평가를 수행한 결과를 나타낸다. 정량적인 평가를 위해 수학식 11 및 12의 PSNR (peak signal-to-noise ratio) 값을 이용할 수 있다.

수학식 12에서 I는 입력 영상으로서 옳은 노출 결과를 보이는 ground truth 영상의 칼라 값, I'는 평가 대상이 되는 각 영상의 칼라 값을 나타낸다. 제1 경우(CASE1)는 과다 노출로 클리핑된 영상, 제2 경우(CASE2)는 종래의 방법에 따라서 컨볼류션(convolution) 연산을 이용하여 보정된 영상, 제3 경우(CASE)는 본 발명의 일 실시예에 따라 보정된 영상이다. M과 N은 영상의 가로, 세로 길이를, d는 RGB 칼라 채널들의 각각을 나타낸다. 본 발명에 따라서, 입력 영상의 칼라 변화가 보존된 결과를 얻게 되어 입력 영상과 보정된 영상의 칼라 값 차이가 매우 작아지게 된다. 따라서 종래의 방법으로 보정된 경우(CASE2) 비교할 때, 본 발명에 따라 보정된 경우(CASE3)는 MSE가 작은 값으로 계산되므로 가장 큰 PNSR 값을 보인다.

도 13은 본 발명의 일 실시예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.

도 13을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 이미지 센서(900)를 포함할 수 있다. 한편, 도 13에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030), 촬영 장치(900) 및 입출력 장치(1040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.

이미지 센서(900)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다. 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 및 이미지 데이터 프로세싱을 위한 포화 보정부는 프로세서(1010)에 포함될 수도 있고, 이미지 센서(900) 내에 포함될 수도 있다.

컴퓨팅 시스템(1000)은 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 컴퓨팅 시스템(1000)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.

한편, 컴퓨팅 시스템(1000)은 본 발명의 실시예들에 따른 동작 인식 방법을 수행하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.

도 14는 도 13의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

도 14를 참조하면, 컴퓨팅 시스템(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다. 어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다.

본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 및 이미지 데이터 프로세싱을 위한 포화 보정부는 어플리케이션 프로세서(1110)에 포함될 수도 있고, 이미지 센서(1140) 내에 포함될 수도 있다.

일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 컴퓨팅 시스템(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다.

한편, 컴퓨팅 시스템(1100)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.

전술한 바와 같이, 본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법 및 이미지 데이터의 프로세싱 방법은 서로 다른 칼라 채널 사이의 상관관계를 반영하는 가중 함수를 이용함으로써, 비교적 단순한 연산을 통하여 추가적인 처리 과정 없이도 자연스러운 칼라 복원 결과를 얻을 수 있다.

해당 기술 분야의 숙련된 당업자는 본 발명의 실시예들이 시스템, 방법, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수 있음을 이해할 것이다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.

본 발명의 실시예들에 따른 포화 픽셀 데이터의 보정 방법 및 이미지 데이터의 프로세싱 방법은 영상의 화질 개선을 위하여 이미지 센서 및 이를 포함하는 시스템에서 유용하게 이용될 수 있다. 특히 고속 동작이 요구되고 전력 감소가 요구되는 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular), 스마트폰(smart phone), MP3 플레이어, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console) 등과 같은 전자 기기에 적용될 수 있다.

상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

400: 이미지 신호 프로세서
440: 포화 보정부
W: 가중 함수
Wc: 칼라 가중 함수
Wh: 색조 가중 함수
Ws: 채도 가중 함수

Claims

포화 임계치보다 큰 적어도 하나의 칼라 값을 갖는 포화 픽셀의 칼라 값들과 상기 포화 픽셀에 대한 주변 픽셀의 칼라 값들의 상관관계를 나타내는 가중 함수를 설정하는 단계;
상기 가중 함수를 이용하여 상기 포화 픽셀에 대한 복수의 주변 픽셀들의 가중 값들을 계산하는 단계;
상기 가중 값들을 이용하여 상기 주변 픽셀들의 칼라 값들의 가중 평균 값을 계산하는 단계; 및
상기 포화 픽셀의 칼라 값을 상기 가중 평균 값으로 보정하는 단계를 포함하고,
상기 가중 함수는, 상기 포화 픽셀의 칼라 값과 상기 주변 픽셀의 칼라 값의 차이에 의존하는 칼라 가중 함수, 상기 포화 픽셀의 색조 값과 상기 주변 픽셀의 색조 값의 차이에 의존하는 색조 가중 함수 및 상기 주변 픽셀의 채도 값에 의존하는 채도 가중 함수의 곱인 포화 픽셀 데이터의 보정 방법.
제1 항에 있어서,
상기 포화 픽셀의 칼라 값과 상기 주변 픽셀의 칼라 값의 차이가 감소할수록 상기 주변 픽셀의 가중 값이 증가하는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.
제1 항에 있어서,
상기 포화 픽셀의 색조 값과 상기 주변 픽셀의 색조 값의 차이가 감소할수록 상기 주변 픽셀의 가중 값이 증가하는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.
제1 항에 있어서,
상기 주변 픽셀의 채도 값이 감소할수록 상기 주변 픽셀의 가중 값이 증가하는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.
제1 항에 있어서,
상기 칼라 값들은 레드(red) 값, 그린(green) 값 및 블루(blue) 값을 포함하고, 상기 레드 값, 상기 그린 값 및 상기 블루 값 중 적어도 하나가 상기 포화 임계치보다 큰 픽셀을 포화 픽셀로 결정하는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.
제1 항에 있어서,
상기 복수의 주변 픽셀들 중에서 보정되지 않은 포화 픽셀은 상기 가중 평균 값의 계산에서 배제하고 이미 보정된 포화 픽셀은 칼라 값이 보정에 의해 감소된 칼라 값으로 상기 가중 평균 값의 계산에 이용하는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.
삭제
제1 항에 있어서, 상기 칼라 가중 함수는 하기의 수학식에 따라서 설정되는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.

여기서 (x,y)는 상기 포화 픽셀의 좌표, (x+i,y+j)는 상기 주변 픽셀의 좌표, Wc는 상기 칼라 가중 함수, C는 보정 전의 칼라 값, C'는 보정 후의 칼라 값, Tsat는 포화 임계치, Kc는 상기 칼라 가중 함수의 정규화 상수임.
제1 항에 있어서, 상기 색조 가중 함수는 하기의 수학식에 따라서 설정되는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.

여기서 (x,y)는 상기 포화 픽셀의 좌표, (x+i,y+j)는 상기 주변 픽셀의 좌표, Wh는 상기 색조 가중 함수, Kh는 상기 색조 가중 함수의 정규화 상수, H는 HSI 칼라 공간에서의 색조 값, R, G, B는 각각 RGB 칼라 공간에서의 레드 값, 그린 값, 블루 값, Kh는 상기 색조 가중 함수의 정규화 상수임.
제1 항에 있어서, 상기 채도 가중 함수는 하기의 수학식에 따라서 설정되는 것을 특징으로 하는 포화 픽셀 데이터의 보정 방법.

여기서 (x+i,y+j)는 상기 주변 픽셀의 좌표, Ws는 상기 채도 가중 함수, S는 HSI 칼라 공간에서의 채도 값, R, G, B는 각각 RGB 칼라 공간에서의 레드 값, 그린 값, 블루 값, min(R, G, B)은 R, G, B 중에서 최소값, Ks는 상기 채도 가중 함수의 정규화 상수임.