KR20200127439A

KR20200127439A - 영상 처리 방법 및 장치

Info

Publication number: KR20200127439A
Application number: KR1020190051529A
Authority: KR
Inventors: 정휘룡; 강문기; 지승훈; 김민섭; 김우식; 문혜원; 이기창; 홍성훈
Original assignee: 삼성전자주식회사; 연세대학교 산학협력단
Priority date: 2019-05-02
Filing date: 2019-05-02
Publication date: 2020-11-11
Also published as: US20200349684A1; US11301970B2; KR102644946B1

Abstract

일 실시예에 따른 영상 처리 방법은 입력 영상을 획득하고, 입력 영상의 조명 성분을 기초로, 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값을 가지는 포화된 영역을 복원하고, 복원된 포화된 영역 및 제1 조명 성분을 기초로 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역을 향상시키며, 어두운 영역이 향상된 영상을 출력한다.

Description

영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS THEREOF}

아래의 실시예들은 영상 처리 방법 및 장치에 관한 것이다.

입력 영상은 예를 들어, 태양 또는 가로등과 같은 여러 광원으로 인해 영상 내 픽셀이 포화되거나, 또는 터널 또는 나무 등과 같은 주변 환경으로 인해서 어두운 영역의 정보가 가려질 수 있다. 이를 해결하기 위해 예를 들어, 히스토그램 평활화(Histogram Equalization)와 같은 전처리 방법이 사용될 수 있다. 하지만, 이미 열화가 되어 정보가 없는 픽셀로부터는 아무런 정보를 얻을 수 없기 때문에 자연 환경에 의해 손상된 정보량의 복구하는 것에는 한계가 있다. 또한, 자연광에 의한 픽셀의 포화를 방지하기 위해서 사용되는 HDR(High Dynamic Range) 기법은 여러 장의 영상들부터 한 장의 HDR 영상을 획득 하는 방식이다. 때문에, 블랙박스 촬영 영상과 같은 차량의 실제 입력 영상에 대한 실시간 적용이 불가능하다. 또한, 영상 내 픽셀이 포화된 경우에는 영상의 명암 대비(contrast)를 향상시키는 것 또한 용이하지 않다.

일 측에 따르면, 영상 처리 방법은 입력 영상을 획득하는 단계; 상기 입력 영상의 조명(illuminance) 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값을 가지는 포화된 영역(saturated area)을 복원하는 단계; 상기 복원된 포화된 영역 및 상기 제1 조명 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역(dark area)을 향상(enhance)시키는 단계; 및 상기 어두운 영역이 향상된 영상을 출력하는 단계를 포함한다.

상기 포화된 영역을 복원하는 단계는 상기 입력 영상의 제1 조명 성분 및 상기 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값을 기초로, HDR(High Dynamic Range) 기법을 적용하여 상기 포화된 영역을 복원하는 단계를 포함할 수 있다.

상기 입력 영상의 제1 조명 성분 및 상기 가장 낮은 감도를 갖는 서브 픽셀을 기초로, 상기 포화된 영역을 복원하는 단계는 상기 입력 영상의 휘도(luminance) 성분을 획득하는 단계; 상기 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 제1 조명 성분을 기초로, 상기 입력 영상의 선형적 분포를 가정함으로써 상기 포화된 영역의 휘도 성분을 복원하는 단계; 가이드 필터(Guided filter)를 이용하여 상기 복원된 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 영상으로부터 잔여(residual) 정보를 획득하는 단계; 및 상기 휘도 성분에 상기 잔여 정보를 적용하여 상기 포화된 영역을 복원 하는 단계를 포함할 수 있다.

상기 포화된 영역의 휘도 성분을 복원하는 단계는 상기 가장 낮은 감도를 갖는 서브 픽셀에서 포화가 발생하지 않은 경우, 상기 입력 영상의 제1 조명 성분 및 상기 가장 낮은 감도를 갖는 서브 픽셀을 기초로, 상기 포화된 영역의 휘도 성분을 복원하는 단계를 포함할 수 있다.

상기 어두운 영역을 향상시키는 단계는 오버 커브(over curve)를 기초로, 상기 어두운 영역을 향상시키는 단계; 및 상기 어두운 영역이 향상된 영상에 대해 동적 범위 압축(Dynamic Range Compression; DRC)을 수행하는 단계를 포함할 수 있다.

상기 오버 커브를 기초로, 상기 어두운 영역을 향상시키는 단계는 상기 오버 커브를 이용하여 상기 어두운 영역을 향상시키는 단계; 상기 입력 영상의 픽셀 값들에 대비되는 상기 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출하는 단계; 및 상기 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 상기 증가량을 조절함으로써 상기 어두운 영역을 향상시키는 단계를 포함할 수 있다.

상기 영상 처리 방법은 상기 어두운 영역이 향상된 영상의 명암 대비(contrast)를 조절하는 단계를 더 포함하고, 상기 어두운 영역이 향상된 영상을 출력하는 단계는 상기 명암 대비가 조절된 영상을 출력하는 단계를 포함할 수 있다.

상기 명암 대비를 조절하는 단계는 히스토그램 평활화(Histogram Equalization; HE)에 기반한 로컬 커브(local curve)를 이용하여 상기 어두운 영역이 향상된 영상에 대한 지역적 명암 대비를 조절하는 단계; 및 상기 어두운 영역이 향상된 영상으로부터 추출된 제2 조명 성분을 기초로, 상기 로컬 커브를 재조정함으로써 상기 어두운 영역이 향상된 영상에 대한 전역적 명암 대비를 조절하는 단계를 포함할 수 있다.

상기 지역적 명암 대비를 조절하는 단계는 상기 어두운 영역이 향상된 영상을 다수의 블록들로 분할하는 단계; 상기 블록들 별로 히스토그램 평활화에 기반한 로컬 커브를 추정하는 단계; 및 상기 블록들 별 각 픽셀에서 상기 로컬 커브까지의 거리에 따른 가중치의 합을 기초로 상기 로컬 커브를 조정함으로써 상기 블록들 별로 명암 대비를 조절하는 단계를 포함할 수 있다.

상기 전역적 명암 대비를 조절하는 단계는 상기 어두운 영역이 향상된 영상으로부터 제2 조명 성분을 추출하는 단계; 및 상기 제2 조명 성분을 기초로 상기 로컬 커브를 재조정함으로써, 상기 전역적 명암 대비를 조절하는 단계를 포함할 수 있다.

상기 영상 처리 방법은 누적 분포 함수(Cumulative Distortion Function; CDF) 를 기초로, 상기 입력 영상에서 상기 제2 기준값보다 작은 픽셀 값을 갖는 오프셋(offset)을 보정하는 단계를 더 포함할 수 있다.

상기 오프셋을 보정하는 단계는 상기 입력 영상에 포함된 픽셀들의 값들 중 해당 픽셀의 값이 상기 설정된 제2 기준값보다는 작을 것으로 추정되는 어두운 영역의 픽셀 값들을 상기 오프셋으로 설정하여 제거하는 단계; 상기 입력 영상에서 상기 오프셋을 제거한 나머지 픽셀들을 선형 확장(linear stretching)시켜 누적 분포 함수를 추정하는 단계를 포함할 수 있다.

상기 영상 처리 방법은 상기 오프셋을 보정한 영상으로부터 상기 입력 영상의 제1 조명 성분을 획득하는 단계를 더 포함할 수 있다.

상기 제1 조명 성분을 획득하는 단계는 상기 오프셋을 보정한 입력 영상을 크로스 바이래터럴 필터(cross bilateral filter; CBF)에 기반한 제1 로컬 필더 및 차등적 문턱(just noticeable difference; JND)에 기반한 제2 로컬 필터 각각에 통과시킴으로써 상기 입력 영상의 제1 조명 성분을 추정하는 단계를 포함할 수 있다.

상기 제1 조명 성분을 획득하는 단계는 상기 오프셋을 보정한 입력 영상을 상기 크로스 바이래터럴 필터에 기반한 제1 로컬 필더에 통과시킴으로써 상기 입력 영상에 대응하는 글로벌 블러 영상(global blur image)을 생성하는 단계; 상기 오프셋을 보정한 입력 영상을 상기 차등적 문턱에 기반한 제2 로컬 필터에 통과시킴으로써 상기 입력 영상의 경계(edge) 영역에 대응하는 로컬 블러 영상(local blur image)을 생성하는 단계; 및 설정된 가중치를 기초로, 상기 글로벌 블러 영상 및 상기 로컬 블러 영상을 블렌딩(blending)함으로써 상기 제1 조명 성분을 획득하는 단계를 포함할 수 있다.

일 측에 따르면, 영상 처리 장치는 입력 영상의 조명 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값을 가지는 포화된 영역을 복원하고, 상기 복원된 포화된 영역 및 상기 제1 조명 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역을 향상시키는 프로세서; 및 상기 입력 영상을 획득하고, 상기 어두운 영역이 향상된 영상을 출력하는 통신 인터페이스를 포함한다.

상기 프로세서는 상기 입력 영상의 제1 조명 성분 및 상기 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값을 기초로, HDR 기법을 적용하여 상기 포화된 영역을 복원할 수 있다.

상기 프로세서는 상기 입력 영상의 휘도 성분을 획득하고, 상기 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 제1 조명 성분을 기초로, 상기 입력 영상의 선형적 분포를 가정함으로써 상기 포화된 영역의 휘도 성분을 복원하고, 가이드 필터를 이용하여 상기 복원된 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 영상으로부터 잔여 정보를 획득하며, 상기 휘도 성분에 상기 잔여 정보를 적용하여 상기 포화된 영역을 복원할 수 있다.

상기 프로세서는 상기 오버 커브를 이용하여 상기 어두운 영역을 향상시키고, 상기 입력 영상의 픽셀 값들에 대비되는 상기 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출하고, 상기 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 상기 증가량을 조절함으로써 상기 어두운 영역을 향상시키며, 상기 어두운 영역이 향상된 영상에 대해 동적 범위 압축을 수행할 수 있다.

도 1은 일 실시예에 따른 영상 처리 방법을 나타내 흐름도.
도 2는 다른 실시예에 따른 영상 처리 방법을 나타낸 흐름도.
도 3은 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 CDF 추정에 따라 보정된 OCF(offset compensation function)의 그래프를 도시한 도면.
도 5는 일 실시예에 따른 조명 정보를 추정하는 과정을 설명하기 위한 도면.
도 6은 일 실시예에 따른 포화된 영역을 복원하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 포화된 영역의 픽셀 값을 복원한 결과를 설명하기 위한 도면.
도 8은 일 실시예에 따른 어두운 영역을 향상시키는 방법을 설명하기 위한 도면.
도 9는 일 실시예에 따라 영상의 명암 대비를 조절하는 방법을 설명하기 위한 도면.
도 10은 일 실시예에 따른 영상 처리 장치의 블록도.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 영상 처리 방법을 나타내 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력 영상을 획득한다(110). 입력 영상은 예를 들어, 단일 영상일 수 있다. 입력 영상은 예를 들어, 차량의 주행 시에 차량에 장착되어 차량의 전면(font view), 또는 양 측면(side view) 등을 촬영하도록 구성된 촬영 장치를 통해 획득된 주행 영상일 수 있다. 또는 입력 영상은 통신 인터페이스(도 10의 통신 인터페이스(1030) 참조)를 통해 영상 처리 장치의 외부로부터 수신한 차량의 전면 및 양 측면 중 적어도 하나의 외부 영상(external image)일 수 있다. '차량'은 자율 주행(Automatic Driving) 기능, 및/또는 첨단 운전자 지원(Advanced Driver Assistance; ADA) 기능을 포함하는 자차로 이해될 수 있다.

영상 처리 장치는 입력 영상의 제1 조명(illuminance) 성분을 기초로, 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값(예를 들어, 255)을 가지는 포화된 영역(saturated area)을 복원한다(120). '포화된 영역'은 포화된 픽셀들을 포함하는 영역일 수 있다. 영상 처리 장치는 예를 들어, 입력 영상의 제1 조명 성분 및 입력 영상에 포함된 픽셀들 각각의 R(Red), G(Green), B(Blue) 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값을 기초로, HDR(High Dynamic Range) 기법을 적용하여 포화된 영역을 복원할 수 있다. 'HDR(High Dynamic Range) 기법'은 사람이 눈으로 보는 실제의 풍경과 같은 다채로운 범위의 명암을 세밀하게 분석해 보여주는 기술에 해당할 수 있다. 여기서, 다채로운 범위는 '동적 범위(Dynamic Range)'라고도 부를 수 있다. HDR 기법에 따르면, 디지털 영상에서 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 만드는 것과 같이 영상의 명암비(contrast ratio)를 높임으로써 현실에 존재하는 다양한 휘도를 표현하여 사람이 실제 눈으로 보는 것에 가깝게 휘도의 범위를 확장시킬 수 있다. 영상의 명암비는 영상에서 가장 밝은 부분과 가장 어두운 부분의 차이로 이해할 수 있다. 영상 처리 장치가 입력 영상의 제1 조명 성분을 획득하는 아래의 도 5를 참조하여 구체적으로 설명한다.

영상 처리 장치는 예를 들어, 입력 영상의 제1 조명 성분 및 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀(예를 들어, B 서브 픽셀)의 픽셀 값을 기초로 입력 영상의 차이 성분을 획득할 수 있다. 영상 처리 장치는 차이 성분을 기초로 입력 영상의 선형적 분포를 가정함으로써 포화된 영역을 복원할 수 있다. 여기서, 'R, G, B 서브 픽셀들'은 'R, G, B 채널'이라고도 부를 수 있다. 영상 처리 장치가 포화된 영역을 복원하는 방법은 아래의 도 6 내지 도 7을 참조하여 구체적으로 설명한다.

영상 처리 장치는 단계(120)에서 복원된 포화된 영역 및 제1 조명 성분을 기초로, 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역을 향상(enhance)시킨다(130). 단계(130)에서, 영상 처리 장치는 오버 커브(over curve)를 기초로, 어두운 영역을 향상시킬 수 있다. 영상 처리 장치는 예를 들어, 오버 커브를 이용하여 어두운 영역을 향상시킬 수 있다. 또한, 영상 처리 장치는 어두운 영역이 향상된 영상에 대해 동적 범위 압축(Dynamic Range Compression; DRC)을 수행할 수 있다. 영상 처리 장치가 어두운 영역을 향상시키는 방법은 아래의 도 8을 참조하여 구체적으로 설명한다.

영상 처리 장치는 어두운 영역이 향상된 영상을 출력한다(140).

도 2는 다른 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다. 일 실시예에 따른 영상 처리 장치는 입력 영상이 향상된 정보량을 갖도록 처리하는 장치일 수 있다. 영상 처리 장치는 입력 영상에서 포화된 픽셀 또는 포화된 영역을 복원하고, 영상의 어두운 영역 및 명암 대비를 향상시킴으로써 입력 영상의 정보량을 향상시킬 수 있다.

도 2를 참조하면, 영상 처리 장치는 입력 영상(215)을 획득할 수 있다(210). 입력 영상은 예를 들어, 단일 센서로 촬영된 주행 영상일 수 있다.

영상 처리 장치는 입력 영상(215)에 대하여 누적 분포 함수(Cumulative Distortion Function; CDF) 기반으로 오프셋(offset)을 추정할 수 있다(220). 영상 처리 장치는 오프셋 추정을 통해 입력 영상에서 어두운 영역(dark area)이 많이 존재하는 경우에 발생하는 밝은 영역(bright area)의 압축을 방지할 수 있다. 그 결과, 오프셋 추정을 통해 입력 영상(215)에 비해 영상(225)의 어두운 영역이 조금 더 밝게 표현될 수 있다.

영상 처리 장치는 단계(220)을 거친 영상(225)에서 포화된 영역을 복원할 수 있다(230). 영상 처리 장치는 예를 들어, 입력 영상에서 감도가 가장 낮아서 포화가 일어나지 않은 채널 또는 B(Blue) 서브 픽셀을 사용하여, 포화된 픽셀 값을 HDR 기반으로 복원함으로써 영상(235)와 같이 포화된 영역을 복원할 수 있다. 입력 영상(215)에서 포화되었던 가운데 차선 영역이 영상(235)에서 복원된 것을 볼 수 있다.

영상 처리 장치는 포화된 영역이 복원된 영상(235)의 어두운 영역을 영상(245)와 같이 향상시킬 수 있다(240). 입력 영상(215)에서 잘 파악되지 않았던 나무 그림자 아래의 어두운 영역의 정보가 영상(245)에서는 잘 드러나는 것을 볼 수 있다

영상 처리 장치는 어두운 영역이 향상된 영상(245)의 전반적인 명암 대비를 영상(255)와 같이 향상시킬 수 있다(250). 영상 처리 장치는 예를 들어, 어두운 영역이 향상된 영상(245)의 지역적 명암 대비 및 전역적 명암 대비를 조절하여 영상(255)와 같이 전반적인 명암 대비를 향상시킬 수 있다.

디지털 영상의 데이터는 픽셀(pixel)로 분할되므로 영상 농도의 수치를 연산하여 변화시킬 수 있다. 단계(250)에서 영상 처리 장치는 예를 들어, 영상의 명암 대비가 낮으면 밝은 픽셀의 값을 작게 하고, 어두운 픽셀의 값을 높이는 방식으로 전체의 농도를 높여 명암 대비를 향상시킬 수 있다.

영상 처리 장치는 단계(250)을 통해 전반적인 명암 대비가 향상된 영상(255)을 출력할 수 있다(260). 영상(255)에서는 입력 영상(215)에서 포화되어 보이지 않던 도로의 봉과 풀 숲의 정보량이 향상된 것을 볼 수 있다. 또한, 영상(255)에서는 어두운 영역의 향상과 명암 대비의 향상을 통해 입력 영상(215)에서 왼쪽의 숲 속의 그림자 영역의 정보 역시 정보량이 향상된 것을 볼 수 있다.

예를 들어, 주행 영상에서 광원이 변하는 경우, 카메라의 노출이 광원의 변화량을 측정하여 노출 정도를 바꾸는 시간 동안, 센서의 각 픽셀에서는 포화가 일어날 수 있다. 이렇게 포화가 일어난 영역이 차선이나 표지판인 경우, 포화된 픽셀로 인하여 차선 및 도로의 특징 인식에 오류가 발생할 수 있다.

이러한 현상은 그림자 영역에 있는 영상에 대해서도 마찬가지로 발생할 수 있다. 예를 들어, 차선이나 표지판 등과 같은 관심 영역이 그림자와 같은 어두운 영역에 의해 가려진 경우, 해당 영역에 대한 인식이 제대로 이루어지지 않을 수 있다.

일 실시예에서는 전술한 영상 처리 과정을 통해 예를 들어, 터널, 역광 등과 같은 열화나 그림자에 따른 정보량 손실을 보상하고, 보상을 통해 정보량을 향상시켜 차량 및 도로와 같은 관심 객체의 인식이 더욱 원활하게 수행되도록 할 수 있다.

도 3은 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 영상 처리 장치(300)의 구성 및 동작이 도시된다.

일 실시예에 따른 영상 처리 장치(300)는 CDF 획득부(310), 제1 조명 성분 획득부(320), 포화 픽셀 복원부(330), 암부 영역 향상부(350), 제2 조명 성분 획득부(360) 및 대비 향상부(370)를 포함할 수 있다. 실시예에 따라서, 영상 처리 장치(300)의 각 구성 요소들(31, 32, 33, 350, 360, 370)은 동일한 동작을 수행하는 다른 장치 또는 모듈로 대체될 수 있으며, 반드시 도 3에 도시된 구성 요소들에 의해 한정되는 것은 아니다.

CDF 획득부(310)는 누적 분포 함수(CDF)를 기초로, 입력 영상에서 제2 기준값보다 작은 픽셀 값을 갖는 오프셋을 보정할 수 있다. 여기서, '오프셋'은 입력 영상에 포함된 픽셀들의 값들 중 해당 픽셀의 값이 제2 기준값(예를 들어, '1')보다는 작을 것으로 추정되는 어두운 영역의 픽셀 값들에 해당할 수 있다.

입력 영상이 획득되면, CDF 획득부(310)는 입력 영상의 오프셋을 추정하고(311), 추정한 오프셋을 제거할 수 있다(313). CDF 획득부(310)는 입력 영상에 포함된 픽셀들의 값들 중 어두운 영역의 픽셀 값들을 오프셋으로 설정하여 제거할 수 있다.

CDF 획득부(310)는 입력 영상에서 오프셋을 제거한 나머지 픽셀들을 선형 확장(linear stretching)시켜 누적 분포 함수(Cumulative Distortion Function; CDF)를 추정함으로써 누적 분포 함수를 획득할 수 있다(315). CDF 획득부(310)는 선형 확장을 통해 양자화 에러(quantization error)를 극복할 수 있다.

CDF 획득부(310)가 오프셋을 보정하여 누적 분포 함수를 획득하는 과정은 아래의 도 4를 참조하여 구체적으로 설명한다.

제1 조명 성분 획득부(320)는 CDF 획득부(310)를 거쳐 오프셋이 보정된 영상, 다시 말해 오프셋이 제거된 영상으로부터 입력 영상의 제1 조명 성분을 추정할 수 있다. 제1 조명 성분 획득부(320)는 예를 들어, CDF 획득부(310)에서 오프셋을 보정한 입력 영상을 크로스 바이래터럴 필터(cross bilateral filter; CBF)에 기반한 제1 로컬 필더 및 차등적 문턱(just noticeable difference; JND)에 기반한 제2 로컬 필터 각각에 통과시킴으로써 입력 영상의 제1 조명 성분을 추정할 수 있다. 제1 조명 성분 획득부(320)가 제1 조명 성분을 추정하는 과정은 아래의 도 5를 참조하여 구체적으로 설명한다.

포화 픽셀 복원부(330)는 입력 영상의 휘도(luminance) 성분을 획득할 수 있다(331). 또한, 포화 픽셀 복원부(330)는 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값, 다시 말해 최저 감도 채널 성분을 획득할 수 있다(333). 포화 픽셀 복원부(330)는 입력 영상의 휘도 성분 및 최저 감도 채널 성분을 기반으로 입력 영상의 차이 성분을 획득할 수 있다(335). 포화 픽셀 복원부(330)는 앞서 획득한 차이 성분을 기초로 입력 영상의 선형적 분포 특성을 가정하여 포화 픽셀을 복원할 수 있다(337). 포화 픽셀 복원부(330)가 포화 픽셀을 복원하는 방법은 아래의 도 6 내지 도 7을 참조하여 구체적으로 설명한다.

암부 영역 향상부(350)는 포화 픽셀 복원부(330)에서 복원된 포화 픽셀과 커브(예를 들어, 오버 커브)를 이용하여 포화 픽셀이 복원된 영상의 어두운 영역을 향상시킬 수 있다(351). 여기서, 어두운 영역은 '암부'라고도 불릴 수 있다. 암부 영역 향상부(350)는 입력 영상의 픽셀 값들에 대비되는 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출할 수 있다(353). 암부 영역 향상부(350)는 제1 조명 성분 획득부(320)에서 획득한 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 증가량을 조절할 수 있다. 아울러, 암부 영역 향상부(350)는 어두운 영역이 향상된 영상에 대해 동적 범위 압축(Dynamic Range Compression; DRC)을 수행할 수 있다(355). 암부 영역 향상부(350)가 포화 픽셀이 복원된 영상의 어두운 영역을 향상시키는 방법은 아래의 도 8을 참조하여 구체적으로 설명한다.

일 실시예에 따른 영상 처리 장치(300)의 암부 영역 향상부(350) 및 대비 향상부(370)는 영상의 휘도 성분을 처리하기 때문에 색상 도메인(color domain)을 변경하는 과정이 요구된다. 일 실시예에서는 암부 영역 향상부(350)를 거침으로써 어두운 영역이 향상된 영상의 명암 대비를 향상시키기 위해, 제2 조명 성분 획득부(360)에 의해 어두운 영역이 향상된 영상으로부터 제2 조명 성분을 새로이 획득할 수 있다. 제2 조명 성분은 대비 향상부(370)에서 로컬 커브를 재조정하는 데에 사용될 수 있다. 여기서, '로컬 커브를 재조정'한다는 것은 명암 대비가 조절된 블록들의 휘도를 조정한다는 의미로 이해될 수 있다.

대비 향상부(370)는 어두운 영역이 향상된 영상의 명암 대비를 조절할 수 있다. 대비 향상부(370)는 암부 영역 향상부(350)를 통해 어두운 영역이 향상된 영상과 어두운 영역이 향상된 영상으로부터 획득된 제2 조명 성분을 이용하여 어두운 영역이 향상된 영상의 명암 대비를 향상시킬 수 있다.

대비 향상부(370)는 예를 들어, 히스토그램 평활화(Histogram Equalization; HE)에 기반한 로컬 커브를 이용하여 어두운 영역이 향상된 영상에 대한 지역적 명암 대비를 조절할 수 있다. 여기서, '히스토그램 평활화(HE)'는 적은 범위의 명암 분포를 가진 영상을 넓은 범위의 명암 분포를 갖도록 하여 영상의 질을 향상시키고자 할 때, 명도값을 재분배하여 일정한 분포의 히스토그램이 되도록 하는 방법으로 이해될 수 있다. 히스토그램 평활화는 누적 분포에 대한 영상의 전체 픽셀수의 비율로 명도값이 재분배되도록 하는 것으로서 특히 어두운 영역에서 세밀한 부분을 정확하게 나타내고자 할 때 사용할 수 있다. 대비 향상부(370)는 어두운 영역이 향상된 영상에 대한 히스토그램을 생성하고, 히스토그램을 누적 형태로 변경할 수 있다. 대비 향상부(370)는 누적 형태의 히스토그램에서 이상적인 휘도 분포로 휘도 값을 변경할 수 있다.

대비 향상부(370)는 예를 들어, 어두운 영역이 향상된 영상을 다수의 블록들로 분할하고, 블록들 별로 히스토그램 평활화(HE)에 기반한 로컬 커브(local curve)를 추정할 수 있다(371).

대비 향상부(370)는 로컬 커브에 대하여 주변 블록에 대한 가중치를 고려하여 각 블록들 별로 픽셀의 명암 대비를 향상시킬 수 있다(373). 대비 향상부(370)는 예를 들어, 블록들 별 각 픽셀에서 로컬 커브까지의 거리에 따른 가중치의 합을 기초로 로컬 커브를 조정함으로써 블럭들 별로 명암 대비를 조절할 수 있다.

대비 향상부(370)는 어두운 영역이 향상된 영상으로부터 추출된 제2 조명 성분을 기초로, 로컬 커브를 재조정함으로써 지역(local)의 평균 밝기를 유지하면서 어두운 영역이 향상된 영상에 대한 전역적 명암 대비를 조절할 수 있다(375). 대비 향상부(370)가 어두운 영역이 향상된 영상의 명암 대비를 향상시키는 방법은 아래의 도 9를 참조하여 구체적으로 설명한다.

영상 처리 장치(300)는 전술한 과정을 통해 명암 대비가 향상된 영상을 출력할 수 있다.

도 4는 일 실시예에 따른 CDF 추정에 따라 보정된 OCF(offset compensation function)의 그래프를 도시한 도면이다. 도 4를 참조하면, 입력 영상의 어두운 영역이 압축되는 원인을 나타낸 표(410) 및 어두운 영역이 압축되는 문제를 해결한 결과 그래프(430)가 도시된다.

예를 들어, 누적 분포 함수(CDF)를 사용한 영상의 오프셋을 추정하는 데에 히스토그램 평활화(HE)를 사용하는 경우, 영상 처리 장치는 히스토그램 평활화 과정 중 적응적 커브에 맵핑되는 픽셀 값을 통해 오프셋을 추정할 수 있다. 영상 처리 장치는 누적 분포 함수(CDF)의 역함수를 적용하여 표(410)의 CDF int에서 0으로 새롭게 맵핑되는 픽셀 정보를 오프셋으로 판별할 수 있다. 이 과정에서 누적 분포 함수(CDF)에서 1 미만으로 추정되는 픽셀 값들이 모두 0으로 맵핑되므로 어두운 영역이 압축되는 문제점이 발생할 수 있다.

일 실시예에서는 전술한 어두운 영역이 압축되는 문제를 해결하기 위해 예를 들어, 표(410)에서 인덱스 0에서 인덱스 16까지의 1 미만으로 추정되는 픽셀 값들을 오프셋으로 설정한 후, 오프셋으로 설정된 픽셀들을 제거할 수 있다. 이를 통해 영상 처리 장치는 오프셋으로 설정된 픽셀들이 누적 분포 함수(CDF)를 추정하는 데에 미치는 영향을 제거할 수 있다. 이와 같이 오프셋을 제거한 후 누적 분포 함수(CDF)를 추정하게 되면, 어두운 영역(예를 들어서 오프셋으로 설정된 픽셀 때문에 1로 함께 추정되었던 어두운 영역)들의 압축 발생이 상대적으로 억제될 수 있다. 일 실시예에서는 전술한 과정을 통해 히스토그램 기반 방법을 사용함으로써 발생하는 동적 범위(DR) 감소를 억제할 수 있다.

그래프(430)는 전술한 누적 분포 함수(CDF) 추정 이후에 보정된 OCF(offset compensation function)의 그래프를 나타낸다. 그래프(430)의 X 축은 총 픽셀 수를 나타내고, Y축은 특정 휘도를 갖는 픽셀들의 수를 나타낸다. 일 실시예에서는 입력 영상이 8bit라고 가정할 수 있다. 그래프(430)에서 OCF int는 CDF int에서 오프셋을 제거한 나머지 픽셀들을 선형 확장(linear stretching)시킨 결과에 해당할 수 있다.

영상 처리 장치가 표(410)과 같이 오프셋을 처리한 후에는 그래프(430)에 도시된 것과 같이 1로 맵핑되는 픽셀 값들이 줄어들게 되므로, 어두운 영역이 압축되는 현상이 줄어든 것을 볼 수 있다. 전술한 과정을 통해 오프셋이 보정된 입력 영상은 예를 들어, 제1 조명 성분 획득부(도 3의 320 참조)로 전달될 수 있다. 오프셋이 보정된 입력 영상의 조명 성분(예를 들어, 제1 조명 성분)은 이후 영상의 접합 시에 후광 현상(halo artifact)이 발생하는 것을 방지하는 데에 사용될 수 있다.

도 5는 일 실시예에 따른 조명 정보를 추정하는 과정을 설명하기 위한 도면이다. 도 5를 참조하면, 영상 처리 장치는 입력 영상(510)을 크로스 바이래터럴 필터(CBF)에 기반한 제1 로컬 필더에 통과시킴으로써 입력 영상에 대응하는 글로벌 블러 영상(global blur image)(520)을 생성할 수 있다. 입력 영상(510)은 도 4의 전술한 과정을 통해 오프셋을 보정한 입력 영상일 수 있다.

또한, 영상 처리 장치는 입력 영상(510)을 차등적 문턱(JND)에 기반한 제2 로컬 필터에 통과시킴으로써 입력 영상의 경계(edge) 영역에 대응하는 로컬 블러 영상(local blur image)(530)을 생성할 수 있다.

영상 처리 장치는 설정된 가중치를 기초로, 글로벌 블러 영상(520) 및 로컬 블러 영상(530)을 블렌딩(blending)함으로써 제1 조명 성분(540)을 획득할 수 있다.

영상 처리 장치는 영상의 조명 성분이 갖는 저주파 특징을 구현하기 위해 입력 영상(510)을 크로스 바이래터럴 필터(CBF)에 기반한 제1 로컬 필더에 통과시킬 수 있다. 하지만, 해당 영상에 대해서 영상의 저주파 성분만 추정하게 되면, 물체의 경계 부분에서 경계가 역전되는 후광 현상(halo artifact)이 발생할 수 있다. 일 실시예에서는 차등적 문턱(JND)에 기반한 제2 로컬 필터를 사용하여 획득한 영상의 경계 부분에 대한 정보를 글로벌 블러 영상(520)에 블렌딩 시킴으로써 후광 현상을 방지할 수 있다. 전술한 과정을 통해 획득된 제1 조명 성분(540)은 이후 포화된 픽셀을 복원하는 과정 및 어두운 영역을 향상시키는 과정에서 사용될 수 있다.

전술한 제1 조명 성분(540)을 획득하는 과정은 아래의 수학식 1과 같이 나타낼 수 있다.

여기서,

은 추정된 제1 조명 성분(540)을 나타내고,

는 크로스 바이래터럴 필터(CBF)를 사용하여 블러된 글로벌 블러 영상(520)을 나타낸다.

은 차등적 문턱(JND)을 사용하여 블러된 로컬 블러 영상(530)을 나타낸다. w는 가중치를 나타내고,

는 입력 표준 편차(input standard deviation)을 나타낸다.

영상 처리 장치는 입력 영상(410)에서 해당 픽셀이 평탄한 영역인지 에지 영역인지를 판단하여 두 개의 블러된 영상들 중 어느 영상에 가중치를 더 줄 것인지를 결정할 수 있다.

도 6은 일 실시예에 따른 포화된 영역을 복원하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 입력 영상의 휘도 성분(Y)(610), 가이드 필터(Guided filter)(620), 가이드 필터(620)에 의해 휘도 성분이 복원된 영상(B_Y)(630), 가장 낮은 감도를 갖는 서브 픽셀(B)의 조명 성분(640), 잔여 정보(Residual information)(650) 및 포화된 영역이 복원된 영상(660)이 도시된다. 여기서, 휘도 성분이 복원된 영상(B_Y)(630)은 가이드 필터(620)에 의해 서브 픽셀(B)이 스무딩된 영상에 해당할 수 있다.

일 실시예에 따른 영상 처리 장치는 휘도 성분(610)과 가장 낮은 감도를 갖는 서브 픽셀의 조명 성분(640)을 기초로, 입력 영상의 선형적 분포를 가정함으로써 포화된 영역의 휘도 성분을 복원할 수 있다. 이때, 영상 처리 장치는 세 가지 채널(R, G, B) 중 가장 감도가 낮은 서브 픽셀(B)에서 포화가 발생했는지를 확인할 수 있다. 만약, 가장 감도가 낮은 서브 픽셀에서도 포화가 일어난 경우에는 해당 영상에 대한 포화 복원을 위한 참고 값이 없기 때문에 해당 픽셀을 복원할 수 없다. 하지만, 가장 감도가 낮은 서브 픽셀에서 포화가 일어나지 않은 경우에는 해당 서브 픽셀을 사용하여 포화된 영역을 복원할 수 있다.

영상 처리 장치는 가장 감도가 낮은 서브 픽셀(B)에서 포화가 발생하지 않은 경우에 입력 영상의 휘도 성분(610) 및 가장 낮은 감도를 갖는 서브 픽셀의 조명 성분(640)을 기초로, 포화된 영역의 휘도 성분을 복원할 수 있다.

보다 구체적으로, 영상 처리 장치는 입력 영상의 휘도 성분(610)을 획득할 수 있다. 영상 처리 장치는 입력 영상의 휘도 성분(610)과 가장 낮은 감도를 갖는 채널의 조명 성분(640)을 기초로, 입력 영상의 선형적 분포를 가정하여 포화된 휘도 성분을 복원할 수 있다. 영상 처리 장치는 입력 영상의 휘도 성분(610)에 대해 가이드 필터(620)를 적용하여 휘도 성분이 복원된 영상(630)을 획득하고, 휘도 성분이 복원된 영상(630)과 가장 낮은 감도를 갖는 서브 픽셀의 조명 성분(640)으로부터 잔여 정보(650)를 획득할 수 있다.

영상 처리 장치는 입력 영상의 휘도 성분(610)에 잔여 정보(650)를 적용하여 포화된 영역이 복원된 영상(660)을 생성할 수 있다. 일 실시예에서는 잔여 정보(650)를 이용하여 주변 영역과 상관 관계가 높은 포화 영역이 복원된 영상(660)을 획득할 수 있다. 도 6에서 예를 들어, 입력 영상이 8bit 영상이라고 하면, 잔여 정보(650)는 10bit일 수 있다. 그 결과, 포화된 영역이 복원된 영상(660)은 10bit 영상일 수 있다. 일 실시예에서는 입력 영상에 비해 더 높은 임의의 비트를 가정하여 포화 픽셀 값을 복원하였으므로 실제 동적 범위는 더 넓어졌으나, 포화된 영역이 복원된 영상(660)이 어두워 보일 수 있다. 여기서, 10bit로 넓어진 동적 범위는 아래의 도 8을 통해 설명하는 동적 범위 압축 과정을 통해 다시 8bit로 압축될 수 있다.

도 7은 일 실시예에 따른 포화된 영역의 픽셀 값을 복원한 결과를 설명하기 위한 도면이다. 도 7을 참조하면, 입력 영상의 동적 범위를 나타낸 그래프(710) 및 입력 영상에서 포화된 영역이 복원된 영상의 동적 범위를 나타낸 그래프(730)가 도시된다.

그래프(710)에서 포화 영역(715)이 그래프(730)에서 영역(735)으로 이동하여 동적 범위가 넓어진 것을 볼 수 있다. 여기서, 그래프(730)와 같이 넓어진 동적 범위는 아래의 도 8을 통해 설명하는 동적 범위 압축 과정을 통해 다시 압축될 수 있다.

도 8은 일 실시예에 따른 어두운 영역을 향상시키는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시예에 따른 영상 처리 장치가 포화된 영역이 복원된 영상의 어두운 영역을 향상시키는 과정이 도시된다.

영상 처리 장치는 포화된 영역이 복원된 영상을 수신할 수 있다(810). 이때, 포화된 영역이 복원된 영상은 예를 들어, 입력 영상을 8bit(100%)로 가정했을 때, 10 bit(125%)로 복원된 것으로서, 전술한 영상(660)에 해당할 수 있다.

따라서, 영상 처리 장치는 영상의 동적 범위를 다시 원래의 8bit로 맞춰 주는 동적 범위 압축(dynamic range compression) 과정을 수행하여 결과 영상이 입력 영상과 동일한 동적 범위를 갖도록 할 수 있다. 영상 처리 장치는 동적 범위 압축 과정을 수행함과 동시에, 영상의 어두운 영역을 향상시킬 수 있다. 일 실시예에서는 영상의 어두운 영역을 향상시킴으로써 주행 영상에서 그림자에 가려진 부분과 같이 어두운 영역에 존재하여 식별이 잘 되지 않던 객체들이 명확하게 인식되도록 할 수 있다.

우선, 영상 처리 장치는 기본적으로 감마(gamma) 커브와 유사한 형태의 오버 커브를 사용하여 포화 영역이 복원된 영상의 어두운 영역을 향상시킬 수 있다(820). 그래프(825)는 영상의 어두운 영역을 향상시킬 때에 사용되는 오버 커브를 나타낸 그래프이다. 그래프(825)의 X 축은 입력 픽셀 값을 나타내고, Y축은 출력 픽셀 값을 의미한다.

일 실시예에 따른 오버 커브는 아래의 수학식 2와 같이 나타낼 수 있다.

여기에서,

는 입력 픽셀 값을 나타내고

는 어두운 영역의 향상 정도를 조절하는 파라미터(parameter)를 나타낸다. 또한,

는 영상 내에 있는 픽셀의 값들 중 최대 값을 나타낸다.

영상 처리 장치는 그래프(825)에 기재된 것과 같이 다양한 파라미터들(예를 들어,

= 0.1, 0.3, 0.5, 1.0, 3.0 등)에 의해 포화 영역이 복원된 영상의 어두운 영역의 향상 정도를 조절할 수 있다. 이때, 오버 커브에 의해 어두운 영역이 향상된 영상은 여전히 10 bit(125%) 영상일 수 있다.

영상 처리 장치는 주변 픽셀을 고려하여, 영상의 명암 대비를 유지하면서 어두운 영역을 향상시킬 수 있다. 단계(820)에서 오버 커브를 사용하여 영상의 어두운 영역을 향상시킨 경우, 영상에서 밝은 영역의 명암 대비가 감소할 수 있다. 영상 처리 장치는 오버 커브를 통과한 영상의 각 픽셀의 입력 영상 대비 증가량을 계산하여 밝은 영역의 명암 대비가 감소하는 것을 해결할 수 있다. 영상 처리 장치는 영상의 조명 성분(예를 들어, 제1 조명 성분)을 사용하여 해당 픽셀의 주변 픽셀 값 대비 증가량을 계산하고, 이를 이용하여 해당 픽셀 값의 증가량을 조절해 줌으로써 영상의 어두운 영역은 향상시키면서, 해당 영상이 가지고 있는 지역적 명암 대비는 유지되도록 할 수 있다.

영상 처리 장치는 예를 들어, 단계(810)에서 수신한 포화 영역이 복원된 영상의 픽셀 값들에 대비되는 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출할 수 있다(830). 영상 처리 장치는 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 증가량을 조절함으로써 어두운 영역을 향상시킬 수 있다(840). 이때, 주변 픽셀의 값을 참조하여 입력 영상의 대비를 조절하는 값인 local contrast factor (LCF)는 아래의 수학식 3과 같이 나타낼 수 있다.

여기에서

는 입력 영상의 각 픽셀의 값을 의미하고,

은 주변 영역의 픽셀 최대값을 의미한다. 그리고

는 전체 영역의 대비 값이 상승된 각 픽셀을 의미하고,

는 각 픽셀에서의 조명 값을 의미한다.

단계(840)을 거쳐 어두운 영역이 향상된 영상은 10 bit(125%) 영상일 수 있다.

영상 처리 장치는 단계(840)에서 어두운 영역이 향상된 영상에 대해 선형적으로 동적 범위 압축(DRC)을 수행할 수 있다(850). 단계(850)에서 동적 범위 압축을 거친 영상은 동적 범위가 입력 영상과 동일한 8bit(100%) 영상으로 돌아갈 수 있다.

도 9는 일 실시예에 따라 영상의 명암 대비를 조절하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시예에 따른 영상 처리 장치가 영상의 명암 대비를 조절하는 과정이 도시된다.

도 8에서 전술한 과정을 통해 동적 범위가 조절된 영상이 수신되면(910), 영상 처리 장치는 수신된 영상의 전체적인 명암 대비를 조절할 수 있다.

영상 처리 장치는 히스토그램 평활화에 기반한 로컬 커브를 이용하여 어두운 영역이 향상된 영상에 대한 지역적 명암 대비를 조절할 수 있다.

보다 구체적으로, 영상 처리 장치는 히스토그램 평활화에 기반한 명암 대비 향상(Contrast Enhancement; CE) 방법을 적용하여 단계(910)에서 수신한 영상의 지역적 명암 대비를 증가시킬 수 있다. 영상 처리 장치는 단계(910)에서 수신한 영상을 다수의 블록들로 분할하고, 블록들 별로 히스토그램 평활화에 기반한 로컬 커브(curve)를 추정할 수 있다(920). 영상 처리 장치는 블록들 별 각 픽셀에서 로컬 커브까지의 거리에 따른 가중치(weight)의 합을 기초로 로컬 커브를 적응적으로 조정함으로써 블록들 별로 명암 대비를 조절할 수 있다(930).

일 실시예에서는 지역적 명암 대비를 향상시키기 위해 하나의 영상을 다수의 블록들로 나누어 히스토그램 평활화를 수행할 수 있다. 이 경우, 각각의 블럭들 간의 경계에서 다른 블럭을 고려하지 않기 때문에 '블록킹 현상(blocking artifact)'이 발생할 수 있다. 블록킹 현상은 영상 부호화를 위한 블록 단위의 양자화 과정의 오차로 인해 발생하는 화질 열화 현상으로서, 예를 들어, 하나의 영상에서 각각의 블록들이 독립적으로 처리되는 경우에 인접한 블록들의 경계에서 불연속성이 나타나 화질의 열화를 일으키는 것으로 이해될 수 있다.

일 실시예에서는 블록킹 현상이 발생하는 것을 방지하기 위해 각 블럭의 히스토그램 평활화를 기반으로 로컬 커브를 생성할 수 있다. 그리고, 각 픽셀에서 주변 블럭에서 로컬 커브까지의 거리에 따른 가중치의 합을 이용하여 새로운 커브를 생성할 수 있다. 이렇게 처리된 영상에서는 블러킹 현상은 감소하지만 휘도가 역전되는 현상이 발생할 수 있다.

일 실시예에서는 도 8의 과정을 통해 어두운 영역이 향상된 영상으로부터 추출된 제2 조명 성분을 기초로, 로컬 커브를 재조정함으로써 전역적 명암 대비를 조절하여 휘도가 역전되는 현상을 해소할 수 있다.

영상 처리 장치는 도 8의 과정을 통해 어두운 영역이 향상된 영상으로부터 조명 성분(예를 들어, 제2 조명 성분)을 추출할 수 있다(940). 이때, 제2 조명 성분은 저주파 성분을 갖는 값으로서 주변 영역의 휘도의 평균값에 해당할 수 있다.

영상 처리 장치는 주변 영역의 휘도의 평균값인 제2 조명 성분을 사용하여 로컬 커브를 재조정할 수 있다(950, 960). 영상 처리 장치는 전술한 과정을 통해 전역적 명암 대비를 조절함으로써 영상의 전체적인 밝기는 글로벌 히스토그램 평활화의 결과를 유지하면서, 로컬 히스토그램 평활화의 결과도 얻을 수 있다.

일 실시예에 따른 영상 처리 장치는 전술한 예시들을 통해 단일 센서로 얻어진 주행 영상의 정보량을 향상시킬 수 있다. 일 실시예에서 '정보량을 향상시킨다'는 것은 포화된 영역 또는 포화된 픽셀을 복원하고, 어두운 영역을 향상시키며, 전체적인 영상의 명암 대비를 향상시키는 것을 의미한다. 영상 처리 장치는 전술한 과정을 통해 주행 영상에 대한 인식 성능을 향상시킬 수 있다.

도 10은 일 실시예에 따른 영상 처리 장치의 블록도이다. 도 10을 참조하면, 일 실시예에 따른 영상 처리 장치(1000)는 프로세서(1010), 통신 인터페이스(1030), 및 메모리(1050)를 포함한다. 프로세서(1010), 통신 인터페이스(1030), 및 메모리(1050)는 통신 버스(1005)를 통해 서로 통신할 수 있다.

프로세서(1010)는 입력 영상의 제1 조명 성분을 기초로, 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값을 가지는 포화된 영역을 복원한다. 프로세서(1010)는 예를 들어, 입력 영상의 제1 조명 성분 및 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값을 기초로, HDR 기법을 적용하여 포화된 영역을 복원할 수 있다. 또한, 프로세서(1010)는 입력 영상의 휘도 성분을 획득할 수 있다. 프로세서(1010)는 휘도 성분과 가장 낮은 감도를 갖는 서브 픽셀의 제1 조명 성분을 기초로, 입력 영상의 선형적 분포를 가정함으로써 포화된 영역의 휘도 성분을 복원할 수 있다. 프로세서(1010)는 가이드 필터를 이용하여 복원된 휘도 성분과 가장 낮은 감도를 갖는 서브 픽셀의 영상으로부터 잔여 정보를 획득할 수 있다. 프로세서(1010)는 휘도 성분에 잔여 정보를 적용하여 포화된 영역을 복원할 수 있다.

프로세서(1010)는 복원된 포화된 영역 및 제1 조명 성분을 기초로, 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역을 향상시킨다. 프로세서(1010)는 오버 커브를 이용하여 어두운 영역을 향상시킬 수 있다. 프로세서(1010)는 입력 영상의 픽셀 값들에 대비되는 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출할 수 있다. 프로세서(1010)는 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 증가량을 조절함으로써 어두운 영역을 향상시킬 수 있다. 프로세서(1010)는 어두운 영역이 향상된 영상에 대해 동적 범위 압축을 수행할 수 있다.

통신 인터페이스(1030)는 입력 영상을 획득한다. 통신 인터페이스(1030)는 어두운 영역이 향상된 영상을 출력한다.

메모리(1050)는 통신 인터페이스(1030)를 통해 획득한 입력 영상을 저장할 수 있다. 메모리(1050)는 프로세서(1010)에 의해 포화 영역이 복원된 영상을 저장할 수 있다. 또한, 메모리(1050)는 프로세서(1010)에 의해 어두운 영역이 향상된 영상을 저장할 수 있다.

또한, 프로세서(1010)는 도 1 내지 도 9를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1010)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.

프로세서(1010)는 프로그램을 실행하고, 영상 처리 장치(1000)를 제어할 수 있다. 프로세서(1010)에 의하여 실행되는 프로그램 코드는 메모리(1050)에 저장될 수 있다.

메모리(1050)는 상술한 프로세서(1010)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(1050)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1050)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1050)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

입력 영상을 획득하는 단계;
상기 입력 영상의 제1 조명(illuminance) 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값을 가지는 포화된 영역(saturated area)을 복원하는 단계;
상기 복원된 포화된 영역 및 상기 제1 조명 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역(dark area)을 향상(enhance)시키는 단계; 및
상기 어두운 영역이 향상된 영상을 출력하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 포화된 영역을 복원하는 단계는
상기 입력 영상의 제1 조명 성분 및 상기 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값을 기초로, HDR(High Dynamic Range) 기법을 적용하여 상기 포화된 영역을 복원하는 단계
를 포함하는, 영상 처리 방법.
제2항에 있어서,
상기 입력 영상의 제1 조명 성분 및 상기 가장 낮은 감도를 갖는 서브 픽셀을 기초로, 상기 포화된 영역을 복원하는 단계는
상기 입력 영상의 휘도(luminance) 성분을 획득하는 단계;
상기 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 제1 조명 성분을 기초로, 상기 입력 영상의 선형적 분포를 가정함으로써 상기 포화된 영역의 휘도 성분을 복원하는 단계;
가이드 필터(Guided filter)를 이용하여 상기 복원된 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 영상으로부터 잔여(residual) 정보를 획득하는 단계; 및
상기 휘도 성분에 상기 잔여 정보를 적용하여 상기 포화된 영역을 복원하는 단계
를 포함하는, 영상 처리 방법.
제3항에 있어서,
상기 포화된 영역의 휘도 성분을 복원하는 단계는
상기 가장 낮은 감도를 갖는 서브 픽셀에서 포화가 발생하지 않은 경우, 상기 입력 영상의 제1 조명 성분 및 상기 가장 낮은 감도를 갖는 서브 픽셀을 기초로, 상기 포화된 영역의 휘도 성분을 복원하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 어두운 영역을 향상시키는 단계는
오버 커브(over curve)를 기초로, 상기 어두운 영역을 향상시키는 단계; 및
상기 어두운 영역이 향상된 영상에 대해 동적 범위 압축(Dynamic Range Compression; DRC)을 수행하는 단계
를 포함하는, 영상 처리 방법.
제5항에 있어서,
상기 오버 커브를 기초로, 상기 어두운 영역을 향상시키는 단계는
상기 오버 커브를 이용하여 상기 어두운 영역을 향상시키는 단계;
상기 입력 영상의 픽셀 값들에 대비되는 상기 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출하는 단계; 및
상기 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 상기 증가량을 조절함으로써 상기 어두운 영역을 향상시키는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 어두운 영역이 향상된 영상의 명암 대비(contrast)를 조절하는 단계
를 더 포함하고,
상기 어두운 영역이 향상된 영상을 출력하는 단계는
상기 명암 대비가 조절된 영상을 출력하는 단계
를 포함하는, 영상 처리 방법.
제7항에 있어서,
상기 명암 대비를 조절하는 단계는
히스토그램 평활화(Histogram Equalization; HE)에 기반한 로컬 커브를 이용하여 상기 어두운 영역이 향상된 영상에 대한 지역적 명암 대비를 조절하는 단계; 및
상기 어두운 영역이 향상된 영상으로부터 추출된 제2 조명 성분을 기초로, 상기 로컬 커브를 재조정함으로써 상기 어두운 영역이 향상된 영상에 대한 전역적 명암 대비를 조절하는 단계
를 포함하는, 영상 처리 방법.
제8항에 있어서,
상기 지역적 명암 대비를 조절하는 단계는
상기 어두운 영역이 향상된 영상을 다수의 블록들로 분할하는 단계;
상기 블록들 별로 히스토그램 평활화(Histogram Equalization; HE)에 기반 한 로컬 커브(curve)를 추정하는 단계; 및
상기 블록들 별 각 픽셀에서 상기 로컬 커브까지의 거리에 따른 가중치의 합을 기초로 상기 로컬 커브를 조정함으로써 상기 블록들 별로 명암 대비를 조절하는 단계
를 포함하는, 영상 처리 방법.
제8항에 있어서,
상기 전역적 명암 대비를 조절하는 단계는
상기 어두운 영역이 향상된 영상으로부터 제2 조명 성분을 추출하는 단계; 및
상기 제2 조명 성분을 기초로 상기 로컬 커브를 재조정함으로써, 상기 전역적 명암 대비를 조절하는 단계
를 포함하는, 영상 처리 방법.
제1항에 있어서,
누적 분포 함수(Cumulative Distortion Function; CDF)를 기초로, 상기 입력 영상에서 상기 제2 기준값보다 작은 픽셀 값을 갖는 오프셋(offset)을 보정하는 단계
를 더 포함하는, 영상 처리 방법.
제11항에 있어서,
상기 오프셋을 보정하는 단계는
상기 입력 영상에 포함된 픽셀들의 값들 중 해당 픽셀의 값이 상기 설정된 제2 기준값보다는 작을 것으로 추정되는 어두운 영역(dark area)의 픽셀 값들을 상기 오프셋(offset)으로 설정하여 제거하는 단계;
상기 입력 영상에서 상기 오프셋을 제거한 나머지 픽셀들을 선형 확장(linear stretching)시켜 누적 분포 함수(Cumulative Distortion Function; CDF)를 추정하는 단계
를 포함하는, 영상 처리 방법.
제11항에 있어서,
상기 오프셋을 보정한 영상으로부터 상기 입력 영상의 제1 조명 성분을 획득하는 단계
를 더 포함하는, 영상 처리 방법.
제13항에 있어서,
상기 제1 조명 성분을 획득하는 단계는
상기 오프셋을 보정한 입력 영상을 크로스 바이래터럴 필터(cross bilateral filter; CBF)에 기반한 제1 로컬 필더 및 차등적 문턱(just noticeable difference; JND)에 기반한 제2 로컬 필터 각각에 통과시킴으로써 상기 입력 영상의 제1 조명 성분을 추정하는 단계
를 포함하는, 영상 처리 방법.
제14항에 있어서,
상기 제1 조명 성분을 획득하는 단계는
상기 오프셋을 보정한 입력 영상을 상기 크로스 바이래터럴 필터(cross bilateral filter; CBF)에 기반한 제1 로컬 필더에 통과시킴으로써 상기 입력 영상에 대응하는 글로벌 블러 영상(global blur image)을 생성하는 단계;
상기 오프셋을 보정한 입력 영상을 상기 차등적 문턱(just noticeable difference; JND)에 기반한 제2 로컬 필터에 통과시킴으로써 상기 입력 영상의 경계(edge) 영역에 대응하는 로컬 블러 영상(local blur image)을 생성하는 단계; 및
설정된 가중치를 기초로, 상기 글로벌 블러 영상 및 상기 로컬 블러 영상을 블렌딩(blending)함으로써 상기 제1 조명 성분을 획득하는 단계
를 포함하는, 영상 처리 방법.
하드웨어와 결합되어 제1항 내지 제15항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
입력 영상의 제1 조명 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제1 기준값을 가지는 포화된 영역을 복원하고, 상기 복원된 포화된 영역 및 상기 제1 조명 성분을 기초로, 상기 입력 영상에서 해당 픽셀의 값이 설정된 제2 기준값보다는 작은 어두운 영역을 향상시키는 프로세서; 및
상기 입력 영상을 획득하고, 상기 어두운 영역이 향상된 영상을 출력하는 통신 인터페이스
를 포함하는, 영상 처리 장치.
제17항에 있어서,
상기 프로세서는
상기 입력 영상의 제1 조명 성분 및 상기 입력 영상에 포함된 픽셀들 각각의 R, G, B 서브 픽셀들 중 가장 낮은 감도를 갖는 서브 픽셀의 픽셀 값을 기초로, HDR(High Dynamic Range) 기법을 적용하여 상기 포화된 영역을 복원하는,
영상 처리 장치.
제18항에 있어서,
상기 프로세서는
상기 입력 영상의 휘도 성분을 획득하고,
상기 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 제1 조명 성분을 기초로, 상기 입력 영상의 선형적 분포를 가정함으로써 상기 포화된 영역의 휘도 성분을 복원하고,
가이드 필터를 이용하여 상기 복원된 휘도 성분과 상기 가장 낮은 감도를 갖는 서브 픽셀의 영상으로부터 잔여 정보를 획득하며,
상기 휘도 성분에 상기 잔여 정보를 적용하여 상기 포화된 영역을 복원하는,
영상 처리 장치.
제17항에 있어서,
상기 프로세서는
상기 오버 커브를 이용하여 상기 어두운 영역을 향상시키고,
상기 입력 영상의 픽셀 값들에 대비되는 상기 어두운 영역이 향상된 영상의 픽셀 값들 각각의 증가량을 산출하고,
상기 입력 영상의 제1 조명 성분을 기초로, 주변 픽셀에 대비되는 해당 픽셀의 상기 증가량을 조절함으로써 상기 어두운 영역을 향상시키며,
상기 어두운 영역이 향상된 영상에 대해 동적 범위 압축을 수행하는,
영상 처리 장치.