KR20210121508A

KR20210121508A - 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템

Info

Publication number: KR20210121508A
Application number: KR1020200038285A
Authority: KR
Inventors: 김현철
Original assignee: 삼성전자주식회사
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2021-10-08
Also published as: US11741576B2; US20210304366A1; DE102021103958A1; DE102021103958A9; CN113473099A

Abstract

본 발명의 실시 예에 따른 이미지 장치로부터 수신된 로우 이미지에 대한 신호 처리를 수행하도록 구성된 이미지 신호 처리부(ISP; image signal processing unit)의 동작 방법은 입력 이미지를 기반으로 서로 다른 해상도를 갖는 멀티-스케일 이미지들을 생성하는 단계, 멀티-스케일 이미지들 각각을 기반으로 고속 전역 가중 최소 자승 기법(FGWLS; fast global weighted least squares) 기반의 연산을 반복 수행하여, 최종 조도 맵을 생성하는 단계, 및 생성된 최종 조도 맵 및 입력 이미지를 기반으로 향상된 이미지를 출력하는 단계를 포함한다.

Description

이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템{IMAGE SYSTEM INCLUDING IMAGE SIGNAL PROCESSING UNIT AND OPERATION METHOD OF IMAGE SIGNAL PROCESSING UNIT}

본 발명은 이미지 장치에 관한 것으로, 좀 더 상세하게는, 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템에 관한 것이다.

스마트 폰, 태블릿 PC, 디지털 카메라 등에 포함된 이미지 센서는 외부 객체로부터 반사된 광을 전기적인 신호로 변환함으로써, 외부 객체에 대한 이미지 정보를 획득한다. 이미지 센서로부터 획득된 전기적인 신호를 사람에게 실제로 인식되는 이미지 정보로 변환하거나 또는 이미지 품질을 향상시키기 위하여 다양한 이미지 신호 처리 동작들이 수행된다.

본 발명의 목적은 향상된 성능을 갖는 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템을 제공하는데 있다.

본 발명의 실시 예에 따른 이미지 장치로부터 수신된 로우 이미지에 대한 신호 처리를 수행하도록 구성된 이미지 신호 처리부(ISP; image signal processing unit)의 동작 방법은 입력 이미지를 기반으로 서로 다른 해상도를 갖는 멀티-스케일 이미지들을 생성하는 단계, 상기 멀티-스케일 이미지들 각각을 기반으로 고속 전역 가중 최소 자승 기법(FGWLS; fast global weighted least squares) 기반의 연산을 반복 수행하여, 최종 조도 맵을 생성하는 단계, 및 상기 생성된 최종 조도 맵 및 상기 입력 이미지를 기반으로 향상된 이미지를 출력하는 단계를 포함한다.

본 발명의 실시 예에 따른 이미지 시스템은 외부 객체로부터 반사된 광을 기반으로 로우 이미지를 출력하도록 구성된 이미지 센서 장치, 및 상기 로우 데이터에 대한 전-처리를 수행하여 입력 이미지를 생성하고, 상기 입력 이미지에 대한 멀티-스케일 기반의 추출 동작을 통해 최종 조도 맵을 추출하고, 상기 추출된 최종 조도 맵 및 상기 입력 이미지를 기반으로 향상된 이미지를 생성하도록 구성된 이미지 신호 처리부를 포함한다. 상기 멀티-스케일 기반의 추출 동작은 상기 입력 이미지를 기반으로 서로 다른 해상도를 갖는 멀티-스케일 이미지들을 생성하는 것, 상기 멀티-스케일 이미지들 각각에 대하여, 조도 맵 추출 연산을 반복 수행하는 것, 및 상기 반복 수행된 조도 맵 추출 연산의 결과를 상기 최종 조도 맵으로서 출력하는 것을 포함한다.

예시적인 실시 예에서, 상기 서로 다른 해상도를 갖는 멀티-스케일 이미지들은 상기 입력 이미지를 기반으로 생성된 초기 조도 맵을 n배씩 반복적으로 축소시킴으로써 생성되고, 상기 n은 1보다 큰 양의 정수이다.

예시적인 실시 예에서, 상기 조도 맵 추출 연산은 하기의 수학식을 기반으로 수행되고,

상기 수학식에서, 상기 i가 l로부터 0인 방향으로 상기 조도 맵 추출 연산이 단계적으로 수행되고, 상기 (x,y)는 픽셀 위치를 가리키고, 상기 FGWLS는 고속 전역 가중 최소 자승 기법(FGWLS; fast global weighted least squares) 기반의 연산 함수를 가리키고, 상기 Li는 상기 FGWLS의 연산 결과를 가리키고, 상기 ↑은 입력을 상기 n배 스케일-업하는 함수를 가리키고, 상기 은 상기 초기 조도 맵을 nl배 축소시킨 조도 맵을 가리키고, 상기 Gi는 가이던스 이미지를 가리키고, λ는 상기 FGWLS 기반의 연산 함수에서 사용되는 평탄화 레벨을 가리키고, Ti는 상기 FGWLS 기반의 연산 함수에서 사용되는 행 단위 연산 및 열 단위 연산의 반복 횟수를 가리킨다.

본 발명의 실시 예에 따른 이미지 신호 처리부(ISP; image signal processing unit)의 이미지에 대한 대비 향상(contrast enhancement) 방법은 입력 이미지를 기반으로 초기 조도 맵을 생성하는 단계, 상기 초기 조도 맵을 n배씩 반복 축소하여, 멀티-스케일 이미지들을 생성하는 단계, 단, n은 1보다 큰 양의 정수, 상기 멀티-스케일 이미지들 중 가장 낮은 해상도를 갖는 제1 이미지를 기반으로, 제1 연산을 수행하는 단계, 상기 제1 연산의 결과 및 상기 멀티-스케일 이미지들 중 2번째로 낮은 해상도를 갖는 제2 이미지를 기반으로, 제2 연산을 수행하는 단계, 상기 제2 연산의 결과 및 상기 멀티-스케일 이미지들 중 가장 큰 해상도를 갖는 제3 이미지를 기반으로 제3 연산을 수행하는 단계, 상기 제3 연산의 결과를 최종 조도 맵으로 생성하는 단계, 및 상기 최종 조도 맵 및 상기 입력 이미지를 기반으로, 향상된 이미지를 생성하는 단계를 포함하고, 상기 제1 내지 제3 연산들은 고속 전역 가중 최소 자승 기법(FGWLS; Fast Global Weighted Least Squares) 기반의 연산이다.

본 발명의 실시 예들에 따르면, 이미지 신호 처리부는 다양한 해상도를 갖는 멀티-스케일 이미지들 각각에 대하여, 고속 전역 가중 최소 자승 기법(FGWLS; fast global weighted least squares)에 기반된 연산 동작을 반복적으로 수행함으로써, 입력 이미지에 대한 조도 맵을 추출할 수 있다. 이에 따라, 추출된 조도 맵의 블록킹 아티팩트가 방지될 수 있고, 따라서, 이미지 신호 처리부에 의해 생성된 최종 이미지의 품질이 향상된다.

도 1은 본 발명의 실시 예에 따른 이미지 시스템을 예시적으로 보여주는 블록도이다.
도 2는 도 1의 이미지 신호 처리부를 예시적으로 보여주는 블록도이다.
도 3은 도 2의 향상 모듈의 동작을 예시적으로 보여주는 순서도이다.
도 4는 도 2의 향상 모듈을 예시적으로 보여주는 블록도이다.
도 5는 도 4의 조도 맵 추출부의 동작을 예시적으로 보여주는 순서도이다.
도 6은 도 4의 조도 맵 추출부를 예시적으로 보여주는 블록도이다.
도 7은 도 5의 S123 단계의 동작을 예시적으로 보여주는 순서도이다.
도 8a 및 도 8b는 도 6의 멀티-스케일 FGWLS를 예시적으로 보여주는 블록도들이다.
도 9는 도 6 내지 도 8b의 조도 맵 추출부의 동작에 따른 효과를 설명하기 위한 도면들이다.
도 10은 도 4의 향상부를 예시적으로 보여주는 블록도이다.
도 11은 도 4의 컬러 복원부를 예시적으로 보여주는 블록도이다.
도 12a 및 도 12b는 본 발명의 실시 예에 따른 효과를 설명하기 위한 도면들이다.
도 13은 본 발명의 실시 예에 따른 이미지 센서 장치를 예시적으로 보여주는 블록도이다.
도 14는 본 발명에 따른 전자 장치를 예시적으로 보여주는 블록도이다.

이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.

이하에서, 상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 계층(layer) 등의 용어를 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(MEMS; microelectromechanical system), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.

도 1은 본 발명의 실시 예에 따른 이미지 시스템을 예시적으로 보여주는 블록도이다. 도 1을 참조하면, 이미지 시스템(10)은 이미지 센서 장치(11) 및 이미지 신호 처리부(12)를 포함할 수 있다. 이미지 시스템(10)은 스마트폰, 태블릿, 블랙박스, 자동차 전장 등과 같이 외부 객체에 대한 영상 또는 이미지를 획득하도록 구성된 다양한 전자 시스템들 중 적어도 하나이거나 또는 그것들에 포함될 수 있다.

이미지 센서 장치(11)는 외부 객체로부터 반사된 광을 수신하고, 수신된 광을 기반으로 외부 객체에 대한 이미지, 이미지 정보, 또는 이미지 데이터를 획득할 수 있다. 예를 들어, 이미지 센서 장치(11)는 CMOS 이미지 센서, CCD 이미지 센서, 또는 DVS 이미지 센서와 같은 다양한 이미지 센서들 중 적어도 하나를 포함할 수 있다. 이미지 센서 장치(11)는 외부 객체로부터 반사된 광을 기반으로 생성된 이미지를 로우 이미지(RAW)로서 출력할 수 있다. 예시적인 실시 예에서, 로우 이미지(RAW)는 이미지 센서(11)에 의해 획득된 이미지 데이터 자체를 가리킬 수 있다. 즉, 로우 이미지(RAW)는 별도의 이미지 처리가 수행되지 않은 이미지 데이터의 원본을 가리킬 수 있다. 또는 로우 이미지(RAW)는 이미지 센서 장치(11) 내부에서 수행되는 이미지 처리(예를 들어, HDR, WDR 등)가 수행된 이미지를 가리킬 수 있다.

이미지 신호 처리부(12)는 이미지 센서 장치(11)로부터 로우 이미지(RAW)를 수신하고, 수신된 로우 이미지(RAW)에 대한 이미지 신호 처리를 수행할 수 있다. 이미지 처리부(12)는 이미지 신호 처리의 결과로서 출력 이미지(IMG_out)를 출력할 수 있다. 예시적인 실시 예에서, 출력 이미지(IMG_out)는 로우 이미지(RAW)와 비교하여 향상된 이미지 품질을 가질 수 있다. 출력 이미지(IMG_out)는 외부 장치(예를 들어, 애플리케이션 프로세서(AP; application processor), 그래픽 처리부(GPU; graphic processing unit), 또는 디스플레이 장치(display device))로 제공될 수 있다.

도 2는 도 1의 이미지 신호 처리부를 예시적으로 보여주는 블록도이다. 도 1 및 도 2를 참조하면, 이미지 신호 처리부(12)는 이미지 센서(11)로부터 수신된 로우 이미지(RAW)에 대한 다양한 이미지 신호 처리를 수행하여, 향상된 품질을 갖는 출력 이미지(IMG_out)를 생성 또는 출력할 수 있다. 예를 들어, 이미지 신호 처리부(12)는 잡음 감소 모듈(12a), 화이트 밸런스 모듈(12b), 컬러 필터 어레이 보간 모듈(12c), 보정 모듈(12d), 향상 모듈(100), 및 메모리 장치(12e)를 포함할 수 있다.

잡음 감소 모듈(12a)은 이미지 센서(11)로부터 수신된 로우 이미지(RAW)에 대한 잡음을 감소시키는 이미지 신호 처리(예를 들어, 잡음 감소)를 수행할 수 있다. 화이트 밸런스 모듈(12b)은 잠음 감소 모듈(12a)의 출력에 대한 이미지 신호 처리(예를 들어, 화이트 밸런싱)를 수행할 수 있다. 컬러 필터 어레이 보간 모듈(12c)은 화이트 밸런스 모듈의 출력에 대한 이미지 신호 처리(예를 들어, 이미지 센서 장치(11)의 컬러 필터 어레이에 기반된 컬러 보간)를 수행할 수 있다. 보정 모듈(12d)은 컬러 필터 어레이 보간 모듈(12d)의 출력에 대한 이미지 신호 처리(예를 들어, 컬러, 감마 특성 등과 같은 다양한 인자들에 기반된 보정)를 수행할 수 있다.

향상 모듈(100)은 보정 모듈(12d)의 출력에 대한 이미지 신호 처리(예를 들어, 에지(edge), 대비(contrast), 컬러(color) 등과 같은 이미지 품질을 향상시키기 위한 향상 동작(enhancement operation))을 수행할 수 있다. 향상 모듈(100)의 출력은 출력 이미지(IMG_out)로서 출력될 수 있다. 메모리 장치(12e)는 이미지 처리부(12)에 포함된 다양한 모듈들의 출력 또는 중간 결과를 저장하도록 구성될 수 있다.

상술된 바와 같이, 이미지 신호 처리부(12)는 이미지 센서 장치(11)로부터의 로우 이미지(RAW)에 대한 다양한 이미지 신호 처리를 수행함으로써, 향상된 품질을 갖는 출력 이미지(IMG_out)를 생성할 수 있다. 예시적인 실시 예에서, 도 2에 도시된 이미지 처리부(12)의 구성 또는 이미지 신호 처리 동작은 예시적인 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 이미지 처리부(12)는 도 2에 도시된 구성과 다른 방식을 기반으로, 로우 이미지(RAW)에 대한 이미지 신호 처리를 수행할 수 있다.

예시적인 실시 예에서, 본 발명의 실시 예에 따른 이미지 처리부(12)의 향상 모듈(100)은 이미지에 대한 대비 향상(contrast enhancement)을 수행하도록 구성될 수 있다. 이하에서, 본 발명의 기술적 사상을 용이하게 설명하기 위하여, 이미지 처리부(12)의 향상 모듈(100)의 이미지 신호 처리, 좀 더 상세하게는, 대비 향상을 위한 이미지 신호 처리가 구체적으로 설명된다. 즉, 이하의 실시 예에서, 이미지 신호 처리부(12) 또는 향상 모듈(100)이 입력 이미지에 대한 대비 향상을 위한 이미지 신호 처리를 수행하는 것으로 설명되나, 본 발명의 범위가 이에 한정되는 것은 아니다.

역광 또는 저조도 환경에서 이미지가 획득된 경우, 입력 이미지에 대한 대비 향상을 위한 이미지 신호 처리가 필요할 수 있다. 예를 들어, 이미지 센서 장치(11)가 역광 또는 저조도와 같은 촬영 환경에서 이미지를 획득한 경우, 획득된 이미지의 일부 영역에서의 밝기가 상대적으로 낮기 때문에, 일부 영역에 포함된 객체가 식별되지 않을 수 있다. 이를 해결하기 위하여, 이미지의 전체 밝기를 증가시킴으로써, 일부 영역의 객체가 식별될 수 있다. 그러나 이미지의 다른 영역(예를 들어, 상대적으로 밝은 영역)의 밝기가 함께 증가함에 따라, 다른 영역에 포함된 객체가 식별되지 않을 수 있다.

즉, 역광 또는 저조도와 같은 촬영 환경에서 획득된 이미지에 대한 이미지 품질을 향상시키기 위해서는, 이미지의 지역 대비(local contrast)를 효율적으로 개선함과 동시에, 헤일로(halo), 색바램 등과 같은 아티팩트를 최소화하는 것이 중요하다. 이미지의 품질(특히, 대비(contrast))를 향상시키는 방법은 히스토그램(histogram) 기반의 방법, 디헤이즈(dehaze) 기반의 방법, 필터링(filtering) 기반의 방법, 레티넥스(retinex) 기반의 방법 등을 포함할 수 있다. 상술된 방법들 중 레티넥스 기반의 방법은 수학식 1과 같이 입력 이미지가 조도(illuminance) 및 반사도(reflectance)로 구성된다는 것을 기반으로 한다.

수학식 1을 참조하면, F는 입력 이미지를 가리키고, R은 입력 이미지에 대한 반사도(reflectance) 정보를 가리키고, L은 입력 이미지에 대한 조도(illuminance) 정보를 가리키고, (x,y)는 입력 이미지 내에서의 좌표를 가리킨다. 즉, 수학식 1과 같이, F의 입력 이미지는 L인 조도 성분 및 R인 반사도 성분을 기반으로 표현될 수 있다.

입력 이미지에 대한 대비를 향상시키기 위해서는, 입력 이미지에 대한 조도 정보 또는 조도 맵을 추출하는 것이 필요하다. 입력 이미지에 대한 조도는 입력 이미지 내에서의 밝기의 전체적인 분포에 따라 결정되는 반면에, 반사도는 입력 이미지 내의 객체의 고유한 특성에 의해 결정될 수 있다. 즉, 입력 이미지에 대한 조도 성분은 저주파 성분을 주로 포함하고, 반사도 성분은 고주파 성분을 주로 포함할 수 있다. 따라서, 수학식 2와 같이 입력 이미지에 대한 로우 패스 필터링을 통해 조도 정보 또는 조도 맵이 추출될 수 있으며, 수학식 3과 같이 추출된 조도 맵에 대한 정보를 입력 이미지로부터 제거함으로써, 반사도가 추출될 수 있다.

수학식 2 및 수학식 3을 참조하면, LPF는 로우-패스 필터링에 대응하는 함수이며, 다른 참조 기호들은 수학식 1을 참조하여 설명되었으므로, 이에 대한 상세한 설명은 생략된다. 수학식 2 및 수학식 3을 기반으로 조도 정보가 추출될 경우, 고주파 성분이 필터링되기 때문에, 추출된 조도 정보 또는 조도 맵에서 에지, 즉 고주파 성분이 보존되지 않을 수 있다. 조도 정보에서 에지가 보존되지 않는 경우, 최종 이미지에서 헤일로(halo) 현상과 같은 아티팩트가 발생할 수 있다.

상술된 문제점을 해결하기 위해, 최소 자승 기법(WLS; weighted least square)에 기반된 조도 맵 추출 방식이 사용될 수 있다. WLS 기반의 추출 방식은 데이터 항과 제약조건 항으로 구성된 행렬의 최적의 해를 구함으로써, 조도 맵을 추출하는 방식을 가리킨다. WLS 기반의 추출 방식은 입력 이미지에 대한 에지를 보존하면서, 유사한 밝기 영역을 강하게 평탄화시킬 수 있다. 이 때, WLS 기반의 추출 방식은 저밀도 라플라시안 행렬(sparse Laplacian matrix)의 역행렬을 계산함으로써, 행렬의 최적의 해를 구할 수 있다. 이 때, 저밀도 라플라시안 행렬의 원소는 픽셀들 사이의 유사성을 가리킬 수 있다. 즉, WLS 기반의 추출 방식은 에지를 보존함과 동시에 평탄화 강도가 강하다는 장점이 있으나, 크기가 매우 큰 행렬에 대한 연산이 요구되기 때문에, 많은 하드웨어 리소스를 사용할 뿐만 아니라, 연산 속도가 매우 느리다는 문제점이 있다. 즉, WLS 기반의 추출 방식은 제한된 하드웨어 리소스를 갖는 모바일 애플리케이션에 적용되기 어려운 문제점이 있다.

상술된 WLS 기반의 조도 맵 추출 방식이 개선된 방법으로 고속 전역 최소 자승 기법(FGWLS; fast global weighted least square)의 추출 방식이 존재한다. FGWLS 기반의 추출 방식 또는 연산은 WLS 기반의 최적 해를 간소화하여 계산함으로써, 하드웨어 리소스 사용량 및 연산 시간을 감소시킬 수 있다. 예를 들어, FGWLS 기반의 추출 방식은 행렬 전체에 대한 연산을 수행하는 대신에, 행 단위 및 열 단위로 연산을 반복 수행함으로써, 연산에 필요한 하드웨어 리소스 및 연산 시간을 감소시킬 수 있다. 다만, 입력 이미지의 크기(또는 해상도)가 큰 경우, FGWLS 기반의 추출 방식을 통해 추출된 조도 맵에서 블록킹 아티팩트(blocking artifact)가 발생할 수 있으며, 이러한 블록킹 아티팩트는 출력 이미지(IMG_out)의 품질을 저해하는 요인이 된다.

본 발명의 실시 예에 따른, 이미지 신호 처리부(12) 또는 향상 모듈(100)은 입력 이미지에 대한 멀티-스케일 이미지들을 생성하고, 생성된 멀티-스케일 이미지들 각각에 대하여 FGWLS 기반의 추출 동작을 반복 수행(즉, 멀티-스케일 기반의 추출 동작을 수행)함으로써, 추출된 조도 맵에서의 블록킹 아티팩트를 방지할 수 있다. 이하에서, 본 발명의 실시 예에 따른 이미지 처리부(12) 또는 향상 모듈(100)의 대비 향상을 위한 이미지 신호 처리가 좀 더 상세하게 설명된다.

도 3은 도 2의 향상 모듈의 동작을 예시적으로 보여주는 순서도이다. 이하에서, 설명의 편의를 위하여, “고속 전역 가중 최소 자승법(FGWLS; Fast Global Weighted Least Squares)을 수행하는 것”의 용어가 사용된다. “를 수행하는 것”은 특정 이미지에 대하여 FGWLS 기반의 추출 또는 연산을 1회 또는 1-사이클 수행하는 것을 의미할 수 있다. 이 때, 멀티-스케일 이미지 각각에 대한 FGWLS를 반복 수행함으로써, 본 발명의 실시 예에 따른 멀티-스케일 기반의 조도 맵 추출 동작이 수행될 수 있다. 즉, FGWLS를 수행하는 것은 특정 이미지(또는 멀티-스케일 이미지들 중 어느 하나)에 대한 FGWLS 기반의 추출 동작을 수행하는 것을 의미하고, 멀티-스케일 기반의 조도 맵 추출 동작을 수행하는 것은 복수의 이미지들에 대한 FGWLS 기반의 추출 동작을 반복하여 수행하는 것을 의미할 수 있다. 그러나 이는 본 발명의 기술적 사상을 용이하게 설명하기 위한 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2 및 도 3을 참조하면, S110 단계에서, 향상 모듈(100)은 입력 이미지(IMG_in)를 수신할 수 있다. 이하에서, 설명의 편의를 위하여, 이미지 처리부(12)의 향상 모듈(100)로 입력되는 이미지는 입력 이미지(IMG_in)라 칭한다. 즉, 입력 이미지(IMG_in)는 도 2의 실시 예에서, 보정 모듈(12d)로부터 출력된 이미지일 수 있다. 또는 입력 이미지(IMG_in)는 향상 모듈(100)의 전단 모듈로부터 출력된 이미지일 수 있다. 또는 입력 이미지(IMG_in)는 향상 모듈(100)의 내부 처리에 의해 생성된 이미지(예를 들어, 컬러 향상이 수행된 이미지, 감마 향상이 수행된 이미지 등)일 수 있다. 즉, 입력 이미지(IMG_in)는 대비 향상(contrast enhancement)을 위한 이미지 신호 처리가 적용될 이미지 또는 전처리된 이미지를 가리킬 수 있다.

S120 단계에서, 향상 모듈(100)은 입력 이미지(IMG_in)에 대한 멀티-스케일 기반의 추출 동작을 수행하여 최종 조도 맵(LM_fin)을 생성할 수 있다. 예를 들어, 향상 모듈(100)은 입력 이미지(IMG_in)를 기반으로 멀티-스케일 이미지들를 생성할 수 있다. 멀티-스케일 이미지들은 복수의 이미지들을 포함할 수 있고, 복수의 이미지들 각각은 서로 다른 해상도를 가질 수 있다. 향상 모듈(100)은 멀티-스케일 이미지들에 포함된 복수의 이미지들 중 제1 이미지에 대한 제1 FGWLS를 수행하고, 제1 FWLS의 결과 및 제2 이미지를 기반으로 제2 FGWLS를 수행할 수 있다. 즉, 향상 모듈(100)은 현재의 FGWLS의 결과를 다음 FGWLS로 전파함으로써, FGWLS를 반복 수행함으로써, 멀티-스케일 기반의 추출 동작을 수행할 수 있다. 향상 모듈(100)은 멀티-스케일 기반의 추출 동작의 결과(즉, 반복 수행된 FGWLS의 결과)를 최종 조도 맵(LM_fin)으로서 출력할 수 있다. S120 단계의 동작은 이하의 도면들을 참조하여 더욱 상세하게 설명된다.

S130 단계에서, 향상 모듈(100)은 입력 이미지(IMG_in)를 기반으로 그레이 이미지(GR)를 생성할 수 있다. 예를 들어, 향상 모듈(100)은 그레이 필터를 통해 입력 이미지(IMG_in)에 대한 그레이 이미지(GR)를 생성할 수 있다.

S140 단계에서, 향상 모듈(100)은 그레이 이미지(GR) 및 최종 조도 맵(LM_fin)을 기반으로 대비 향상(contrast enhancement)을 수행하여 향상된 그레이 이미지(GR_enh)를 생성할 수 있다.

S150 단계에서, 향상 모듈(100)은 향상된 그레이 이미지(GR_enh) 및 입력 이미지(IMG_in)를 기반으로 향상된 이미지(IMG_enh)를 출력할 수 있다.

도 4는 도 2의 향상 모듈을 예시적으로 보여주는 블록도이다. 도 4를 참조하여, 도 3의 순서도에 따른 동작, 즉, 대비 향상을 위한 이미지 신호 처리가 설명된다. 도 2 내지 도 4를 참조하면, 향상 모듈(100)은 조도 맵 추출부(110), 그레이 이미지 생성부(120), 향상부(130), 및 컬러 복원부(140)를 포함할 수 있다.

조도 맵 추출부(110)는 입력 이미지(IMG_in)를 기반으로 최종 조도 맵(LM_fin)을 생성할 수 있다. 예를 들어, 조도 맵 추출부(110)는 입력 이미지(IMG_in)에 대한 초기 조도 맵을 생성할 수 있다. 조도 맵 추출부(110)는 초기 조도 맵을 기반으로 멀티-스케일 이미지를 생성할 수 있다. 멀티-스케일 이미지는 복수의 이미지들을 포함할 수 있고, 복수의 이미지들 각각은 서로 다른 해상도를 가질 수 있다.

조도 맵 추출부(110)는 멀티-스케일 이미지에 포함된 복수의 이미지들 중 가장 작은 해상도를 갖는 제1 이미지에 대한 제1 FGWLS를 수행할 수 있다. 조도 맵 추출부(110)는 제1 FGWLS의 결과를 스케일-업하고, 스케일-업된 결과에 대한 제2 FGWLS를 수행할 수 있다. 이 때, 조도 맵 추출부(110)는 복수의 이미지들 중 다음 크기의 해상도를 갖는 제2 이미지를 제2 FGWLS의 가이던스 이미지로서 사용할 수 있다. 예시적인 실시 예에서, 가이던스 이미지는 FGWLS를 수행함에 있어서, 에지를 보존하기 위한 이미지 또는 정보로서 사용될 수 있다.

조도 맵 추출부(110)는 상술된 바와 같이, 복수의 이미지들 각각에 대하여 FGWLS를 반복 수행하고, 반복 수행된 최종 결과를 최종 조도 맵(LM_fin)으로서 출력할 수 있다. 즉, 조도 맵 추출부(110)는 멀티-스케일 기반의 추출 동작을 수행할 수 있다. 조도 맵 추출부(110)의 구성 및 멀티-스케일 기반의 추출 동작은 도 5 내지 도 9를 참조하여 더욱 상세하게 설명된다.

그레이 이미지 생성부(120)는 입력 이미지(IMG_in)에 대한 그레이 이미지(GR)를 생성할 수 있다. 예를 들어, 그레이 이미지 생성부(120)는 그레이 필터를 사용하여 입력 이미지(IMG_in)에 대한 그레이 이미지(GR)를 생성할 수 있다.

향상부(130)는 최종 조도 맵(LM_fin) 및 그레이 이미지(GR)를 기반으로, 향상된 그레이 이미지(GR_enh)를 생성할 수 있다. 예를 들어, 향상부(130)는 그레이 이미지(GR) 및 최종 조도 맵(LM_fin)을 기반으로 반사도를 추출할 수 있다. 향상부(130)는 최종 조도 맵(LM_fin)을 기반으로 이미지에 대한 전역 대비(global contrast)를 향상시키는 연산을 수행하고, 반사도를 기반으로 이미지에 대한 지역 대비(local contrast)를 향상시키는 연산을 수행할 수 있다. 향상부(130)는 연산의 결과를 기반으로 향상된 그레이 이미지(GR_enh)를 출력할 수 있다. 향상부(130)의 구성 및 동작은 도 10을 참조하여 더욱 상세하게 설명된다.

컬러 복원부(140)는 향상된 그레이 이미지(GR_enh), 입력 이미지(IMG_in), 및 그레이 이미지(GR)를 기반으로 향상된 그레이 이미지(GR_enh)에서 컬러를 복원함으로써, 향상된 이미지(IMG_enh)를 출력할 수 있다. 컬러 복원부(140)의 구성 및 동작은 도 11을 참조하여 더욱 상세하게 설명된다.

상술된 바와 같이, 본 발명의 실시 예에 따른 이미지 처리부 또는 이미지 처리부의 향상 모듈(100)은 멀티-스케일 기반의 추출 동작을 기반으로 입력 이미지(IMG_in)에 대한 조도 맵(또는 최종 조도 맵)을 추출할 수 있다. 이 경우, 입력 이미지로부터 생성된 멀티-스케일 이미지들 각각에 대하여 FGWLS가 반복 수행되고, 현단계의 FGWLS의 결과가 다음 단계의 FGWLS의 입력으로 전파되기 때문에, FGWLS에서 사용되는 평탄화 레벨을 낮추더라도, 의도한 평탄화 레벨을 갖는 최종 조도 맵(LM_fin)이 추출될 수 있다. 또한, FGWLS의 평탄화 레벨이 상대적으로 낮기 때문에, 종래의 FGWLS(즉, 단일 이미지에 대한 FGWLS)에서 발생하는 블록킹 아티팩트가 방지될 수 있다. 따라서, 최종 출력되는 이미지의 품질이 향상될 수 있다.

도 5는 도 4의 조도 맵 추출부의 동작을 예시적으로 보여주는 순서도이다. 도 6은 도 4의 조도 맵 추출부를 예시적으로 보여주는 블록도이다. 도 4 내지 도 6을 참조하면, S121 단계에서, 조도 맵 추출부(110)는 입력 이미지(IMG_in)를 기반으로 초기 조도 맵(LM_int)을 생성할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 조도 맵 추출부(110)의 초기 조도 맵 생성부(111)는 수학식 4를 기반으로, 입력 이미지(IMG_in)에 대한 초기 조도 맵(LM_int)을 생성할 수 있다.

수학식 4를 참조하면,

은 초기 조도 맵(LM_int)을 가리키고, r, g, 및 b는 입력 이미지(IMG_in)에서, (x,y)의 좌표에 위치한 레드, 그린, 및 블루 각각의 픽셀 값을 가리킨다. 예시적인 실시 예에서, 수학식 4는 HSV(Hue, Saturation, Value) 컬러 공간의 값을 가리키며, 조도는 레드, 그린, 및 블루의 값들 중 최대 값보다 같거나 크다는 가정에 기반될 수 있다. 예시적인 실시 예에서, 초기 조도 맵(LM_int)은 수학식 4와 다른 방식들, 예를 들어, 로우 패스 필터, bilateral 필터, 가우시안 필터, WLS 등과 같은 다양한 조도 맵 추출 방식들 중 적어도 하나를 기반으로 생성될 수 있다.

S122 단계에서, 조도 맵 추출부(110)는 초기 조도 맵(LM_int)을 기반으로 멀티-스케일 이미지들(img_ms)을 생성할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 멀티-스케일 이미지 생성기(112)는 초기 조도 맵(LM_int)을 기반으로 멀티-스케일 이미지들(img_ms)을 생성할 수 있다. 멀티-스케일 이미지들(img_ms)은 복수의 이미지들(img_0~img_l)을 포함할 수 있다.

복수의 이미지들(img_0~img_l) 각각은 서로 다른 해상도를 가질 수 있다. 예를 들어, 제0 이미지(img_0)는 초기 조도 맵(LM_int)과 동일한 이미지일 수 있다. 즉, 제0 이미지(img_0)의 해상도는 초기 조도 맵(LM_int)의 해상도 또는 입력 이미지(IMG_in)의 해상도와 동일할 수 있다. 제1 이미지(img_1)는 제0 이미지(img_0)가 n배 축소(scale-down or down-sampling)된 이미지일 수 있다. (이 때, n은 1보다 큰 양의 정수 또는 1보다 큰 양의 실수임.) 즉, 제1 이미지(img_1)는 제0 이미지(img_0)의 크기보다 작을 수 있다. 또는, 제1 이미지(img_1)의 해상도는 제0 이미지(img_0)의 해상도보다 낮을 수 있다. 제l 이미지(img_l)는 제0 이미지(img_0)가 n ^l 배 축소된 이미지일 수 있다. 예시적인 실시 예에서, 멀티-스케일 이미지들(img_ms) 중 제l 이미지(img_l)는 가장 낮은 해상도를 갖거나 또는 가장 작은 크기를 갖는 이미지일 수 있다. 즉, 멀티-스케일 이미지 생성기(112)는 초기 조도 맵(LM_int)을 n배씩 반복-축소시킴으로써, 멀티-스케일 이미지(img_ms)를 생성할 수 있다.

S123 단계에서, 조도 맵 추출부(110)는 멀티-스케일 이미지(img_ms) 각각을 기반으로 FGWLS를 반복 수행할 수 있다. 즉, 조도 맵 추출부(110)는 멀티-스케일 기반의 조도 맵 추출 동작을 수행할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 멀티-스케일 추출기(113)는 멀티-스케일 이미지(img_ms)에 포함된 복수의 이미지들(img_0~img_l) 각각에 대한 FGWLS를 반복 수행할 수 있다. S123 단계의 동작은 도 7 내지 도 8b를 참조하여 더욱 상세하게 설명된다.

S124 단계에서, 조도 맵 추출부(110)는 반복 수행된 FGWLS(즉, 멀티-스케일 기반의 조도 맵 추출 동작)의 결과를 최종 조도 맵(LM_fin)으로서 출력할 수 있다.

종래의 FGWLS는 단일 해상도를 갖는 단일 이미지에 대한 연산을 수행하여 최종 조도 맵을 생성한다. 이 경우, 연산에서 사용되는 평탄화 레벨이 특정 값을 초과하거나 또는 단일 이미지의 크기가 큰 경우, 최종 조도 맵에서 블록킹 아티팩트가 발생할 수 있다.

반면에, 상술된 바와 같이, 본 발명의 실시 예에 따른 이미지 처리부(12) 또는 향상 모듈(100)은 서로 다른 해상도를 갖는 복수의 이미지들(즉, 멀티-스케일 이미지들(img_ms)) 각각에 대하여 FGWLS를 반복 수행함으로써, 최종 조도 맵(LM_fin)을 생성할 수 있다. 이 경우, 향상 모듈은 상대적으로 낮은 평탄화 레벨을 사용함으로써, 최종 조도 맵(LM_fin)에서의 블록킹 아티팩트를 방지할 수 있다. 뿐만 아니라, 낮은 해상도를 갖는 이미지에 대한 FGWLS의 결과가 다음 단계의 FGWLS(즉, 다음 크기의 해상도를 갖는 이미지에 대한 FGWLS)의 입력으로 사용되기 때문에, 상대적으로 낮은 평탄화 레벨이 사용되더라도, 최종 조도 맵(LM_fin)에서 의도한 평탄화 강도가 획득될 수 있다.

도 7은 도 5의 S123 단계의 동작을 예시적으로 보여주는 순서도이다. 도 5 내지 도 7을 참조하면, S123 단계의 동작은 S123a 단계 내지 S123g 단계의 동작들을 포함할 수 있다.

S123a 단계에서, 변수(i)가 “l”로 설정된다. 예시적인 실시 예에서, 변수(i)는 단순히 멀티-스케일 FGWLS의 반복 동작을 설명하기 위한 것이며, 본 발명의 범위가 이에 한정되는 것은 아니다. “l”은 멀티-스케일 이미지(img_ms)에 포함된 복수의 이미지들(img_0~img_l) 중 가장 작은 해상도를 갖는 이미지와 대응되는 참조 번호일 수 있다. 예시적인 실시 예에서, "l"은 2보다 큰 정수일 수 있다. 또는 "l"은 "3"일 수 있다.

S123b 단계에서, 멀티-스케일 추출기(113)는 제i 멀티-스케일 이미지를 기반으로 제i FGWLS를 수행할 수 있다. 즉, 멀티-스케일 추출기(113)은 멀티-스케일 이미지(img_ms)에 포함된 복수의 이미지들 중 가장 낮은 해상도를 갖는 제l 이미지(img_l)에 대한 제l FGWLS를 수행할 수 있다. 예시적인 실시 예에서, 제l FGWLS의 동작에서, 제l 이미지(img_l)는 가이던스 이미지로서 사용될 수 있다. 즉, 최초 수행되는 FGWLS 동작(즉, 제l FGWLS의 동작)에서, 제l 이미지(img_l)는 입력 및 가이던스 이미지로서 사용될 수 있다.

S123c 단계에서, 멀티-스케일 추출기(113)는 123b 단계의 결과(즉, 제i FGWLS의 결과)를 스케일-업 또는 확대시킬 수 있다. 이 때, 멀티-스케일 추출기(113)는 123b 단계의 결과(즉, 제i FGWLS의 결과)를 n배 확대시킬 수 있다. 예시적인 실시 예에서, "n"은 멀티-스케일 이미지들(img_ms)을 생성하는데 사용된 축소 비율과 대응될 수 있다.

S123d 단계에서, 변수(i)가 “i-1”로 설정된다.

S123e 단계에서, 멀티-스케일 추출기(113)는 스케일-업된 결과(즉, S123c 단계의 결과) 및 제i 멀티-스케일 이미지(img_i)를 기반으로 제i FGWLS를 수행할 수 있다. 예를 들어, 멀티-스케일 추출기(113)는 스케일-업된 결과(즉, S123c 단계의 결과)를 입력으로 사용하고, 제i 멀티-스케일 이미지(img_i)를 가이던스 이미지로 사용하여, 제i FGWLS 동작을 수행할 수 있다.

S123f 단계에서, 변수(i)가 “”인지 판별된다. 변수(i)가 “”이 아닌 경우, 멀티-스케일 추출기(113)는 S123c 단계의 동작을 다시 수행한다. 즉, 멀티-스케일 추출기(113)는 다음 해상도(즉, 제l-1 이미지(img_l-1)의 해상도 보다 낮은 해상도)를 갖는 이미지에 대한 FGWLS 동작을 수행할 수 있다. 다시 말해서, 현재 해상도에 대한 FGWLS의 결과가 다음 해상도(즉, 더 낮은 해상도)에 대한 FGWLS의 입력으로 사용(또는 전파)될 수 있다.

변수(i)가 “”인 경우, S123g 단계에서, 멀티-스케일 추출기(113)는 반복 수행된 FGWLS 동작의 결과를 최종 조도 맵(LM_fin)으로서 출력할 수 있다.

상술된 바와 같이, 본 발명의 실시 예에 따른 조도 맵 추출부(110)는 서로 다른 해상도를 갖는 멀티-스케일 이미지 각각에 대한 FGWLS 동작을 수행함으로써, 최종 조도 맵(LM_fin)을 추출할 수 있다.

예시적인 실시 예에서, 특정 이미지에 대한 가중 최소 자승 기법(WLS; weighted least square)은 수학식 5를 기반으로 수행될 수 있다.

수학식 5를 참조하면, p=(x,y)는 특정 이미지의 픽셀의 위치를 가리키고, (p)는 p의 픽셀과 인접한 픽셀들을 가리킨다. w_p,q(G)는 가이던스 영상으로부터 두 픽셀들(p, q) 사이의 유사도 가중치를 계산하는 함수이다. λ_a는 L_p의 픽셀 유사도 조건에 가해지는 가중치이다. 앞서 설명된 바와 같이, FGWLS(fast global weighted least square)는 수학식 5에 기반된 WLS의 최적해를 간소화하여 계산하는 연산 방식을 가리키며, 저밀도 라플라시안 행렬에 대한 연산을 행 단위 및 열 단위로 반복 수행함으로써, 특정 이미지에 대한 평탄화를 수행할 수 있다. 본 발명의 도 7의 순서도에 따른 멀티-스케일 FGWLS의 동작은 수학식 6을 기반으로 수행될 수 있다.

수학식 6을 참조하면, FGWLS는 수학식 5에 기반된 WLS의 최적해를 간소화하여 계산하는 연산 함수를 가리키고, ↑_n는 입력 이미지를 n배 스케일-업 또는 확대하는 함수를 가리키고, Lⁱ는 제i FGWLS의 결과를 가리키고, Gⁱ는 제i FGWLS에서 사용되는 가이던스 이미지를 가키리고, λⁱ는 제i FGWLS에서 사용되는 평탄화 레벨을 가리키고, Tⁱ는 제i FGWLS에서 사용되는 각 행 및 각 열에 대한 연산 반복 횟수를 가리킨다. 나머지 참조 기호들은 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.

Gⁱ의 가이던스 이미지는 멀티-스케일 이미지(img_ms)에 포함된 복수의 이미지들 중 하나와 대응될 수 있다. 즉, G⁰의 제0 가이던스 이미지는 제0 이미지(img_0)(또는 초기 조도 맵(LM_int))과 대응될 수 있다. G¹의 제1 가이던스 이미지는 제0 이미지(img_0)가 n배 축소된 제1 이미지(img_1)와 대응될 수 있다. 즉, Gⁱ의 제i 가인더스 이미지 및

의 입력 이미지는 초기 조도 맵(LM_int)(즉,

) 또는 제0 이미지(img_0)를 nⁱ배만큼 축소시킴으로써 결정될 수 있다.

도 7에 도시된 바와 같이, 멀티-스케일 FGWLS 동작은 가장 작은 해상도를 갖는 제l 이미지(img_l)로부터 가장 높은 해상도를 갖는 제0 이미지(img_0)의 방향으로 순차적으로 수행될 수 있다. 즉, 현재 단계의 FGWLS의 결과가 다음 단계의 FGWLS의 입력으로 사용 또는 전파될 수 있다. 따라서, λⁱ의 평탄화 레벨을 상대적으로 작은 값으로 사용하더라도, 최종 조도 맵(LM_fin)에서 의도한 결과가 획득될 수 있다. 또한, λⁱ의 평탄화 레벨을 상대적으로 작은 값으로 사용하기 때문에, 최종 조도 맵(LM_int)에서 발생하는 블록킹 아티팩트가 방지될 수 있다. 또한, 다양한 해상도의 이미지들에 대한 결과가 결합되기 때문에, 동적 영역 압출(DRC; dynamic range compression) 및 색조 표현(tonal rendition)에서 이점을 얻을 수 있다.

예시적인 실시 예에서, 본 발명의 실시 예에 따른 멀티-스케일 기반의 추출 동작을 위해서는, 두 픽셀 사이의 유사도 가중치를 계산하는 함수인 w_p,q에 대한 정의가 요구될 수 있다. 본 발명의 실시 예에 따른 멀티-스케일 기반의 추출 동작에서, w_p,q는 수학식 7과 같이, 가이던스 이미지의 그래디언트(gradient)를 기반으로 정의될 수 있다.

수학식 7을 참조하면, α 및 β는 가이던스 이미지의 그래디언트에 따른 유사도의 크기를 조절하는 변수를 가리킨다. 다른 참조 기호들은 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다. 예시적인 실시 예에서, α 및 β는 1.32 및 0.001로 각각 설정될 수 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니며, α 및 β는 실험적 방식을 통해 결정되는 변수일 수 있으며, 이미지 신호 처리부의 구현 방식 및 이미지 품질에 따라 다양한 값으로 설정될 수 있다.

도 8a 및 도 8b는 도 6의 멀티-스케일 FGWLS를 예시적으로 보여주는 블록도들이다. 먼저, 도 6 및 도 8a를 참조하면, 멀티-스케일 추출기(113)는 복수의 FGWLS 엔진들(FGWLS_0~FGWLS_l), 복수의 스케일-업 엔진들(SU_1~SU_l), 및 복수의 변수 엔진들(VAR_0~VAR_l)을 포함할 수 있다.

복수의 FGWLS 엔진들(FGWLS_0~FGWLS_l) 중 제l FGWLS 엔진(FGWLS_l)은 멀티-스케일 이미지(img_ms) 중 제l 이미지(img_l)(예를 들어, 가장 작은 해상도를 갖는 이미지)를 입력 이미지(INPUT) 및 가이던스 이미지(GUID)로서 수신할 수 있고, 제l 변수 엔진(VAR_l)으로부터 대응하는 변수들을 수신할 수 있다. 제l FGWLS 엔진(FGWLS_l)은 수학식 6을 기반으로 FGWLS 동작을 수행할 수 있다. 이 때, 변수(i)가 “l”이므로,

및 Gⁱ 각각은 제l 이미지(img_l)일 수 있고, λⁱ 및 Tⁱ는 제l 변수 엔진(VAR_l)으로부터 설정될 수 있다. 제l FGWLS 엔진(FGWLS_l)의 결과(즉, 출력(OUT))은 제l 스케일-업 엔진(SU_l)으로 제공된다.

제l 스케일-업 엔진(SU_l)은 제l FGWLS 엔진(FGWLS_l)의 결과(즉, 출력(OUT))를 n배만큼 확대 또는 스케일-업시킬 수 있다. 이 때, n은 멀티-스케일 이미지들(img_ms)의 축소 배율에 대응될 수 있다. 제l 스케일-업 엔진(SU_l)의 출력(즉, 스케일-업된 결과)은 제l-1 FGWLS 엔진(FGWLS_l-1)으로 제공된다.

제l-1 FGWLS 엔진(FGWLS_l-1)은 제l 스케일-업 엔진(SU_l)의 출력(즉, 스케일-업된 결과)를 입력(INPUT)으로 수신하고, 멀티-스케일 이미지(img_ms) 중 제l-1 이미지(img_l-1)를 가이던스 이미지(GUID)로서 수신할 수 있다. 이 때, 제l 스케일-업 엔진(SU_l)의 출력(즉, 스케일-업된 결과)의 해상도는 제l-1 이미지(img_l-1)의 해상도와 동일할 수 있다. 제l-1 FGWLS 엔진(FGWLS_l-1)은 제l-1 변수 엔진(VAR_l-1)으로부터 대응하는 변수들을 수신할 수 있다.

제l-1 FGWLS 엔진(FGWLS_l-1)은 수학식 6을 기반으로 FGWLS 동작을 수행할 수 있다. 이 때, 변수(i)가 “l-1”이므로, Lⁱ⁺¹은 제l FGWLS 엔진(FGWLS_l)의 출력(OUT)일 수 있다. 즉, ↑_n(Lⁱ⁺¹)은 제l 스케일-업 엔진(SU_l)의 출력일 수 있다. Gⁱ는 제l-1 이미지(img_l-1)이고, λⁱ 및 Tⁱ는 제l-1 변수 엔진(VAR_l-1)으로부터 설정될 수 있다. 제l-1 FGWLS 엔진(FGWLS_l-1)의 결과(즉, 출력(OUT))은 제l-1 스케일-업 엔진(SU_l-1)으로 제공된다.

제l-1 스케일-업 엔진(SU_l-1)은 제l-1 FGWLS 엔진(FGWLS_l-1)의 결과(즉, 출력(OUT))를 n배만큼 확대 또는 스케일-업시킬 수 있고, 스케일-업된 결과는 다음 FGWLS 엔진(예를 들어, 제l-2 FGWLS 엔진(미도시))로 제공될 수 있다.

복수의 FGWLS 엔진들 및 스케일-업 엔진들 각각은 상술된 동작을 반복 수행할 수 있다. 복수의 FGWLS 엔진들 중 제0 FGWLS 엔진(FGWLS_0)은 제1 스케일-업 엔진(SU_1)으로부터 스케일-업된 결과를 입력(INPUT)으로 수신할 수 있고, 멀티-스케일 이미지(img_ms) 중 제0 이미지(img_0)를 가이던스 이미지(GUID)로서 수신할 수 있고, 제0 변수 엔진(VAR_0)으로부터 변수 정보를 수신할 수 있다. 제0 FGWLS 엔진(FGWLS_0)은 상술된 바와 유사하게, 수학식 6을 기반으로 FGWLS 동작을 수행할 수 있고, 제0 FGWLS 엔진(FGWLS_0)의 결과를 최종 조도 맵(LM_fin)으로서 출력할 수 있다.

다음으로, 도 6 및 도 8b를 참조하면, 멀티-스케일 추출기(113)는 FGWLS 엔진(FGWLS), 변수 엔진(VAR), 및 스케일-업 엔진(SU)을 포함할 수 있다. FGWLS 엔진(FGWLS)은 수학식 6을 기반으로 멀티-스케일 기반의 추출 동작을 수행할 수 있다. 예를 들어, FGWLS 엔진(FGWLS)은, 앞서 설명된 바와 유사하게, 제l 이미지(img_l)를 입력(INPUT)으로 수신하고, 멀티-스케일 이미지(img_ms) 중 대응하는 이미지(즉, 제l 이미지(img_l))를 가이던스 이미지(GUID)로서 수신할 수 있고, 변수 엔진(VAR)으로부터 대응하는 변수를 수신할 수 있다. FGWLS 엔진(FGWLS)은 수신된 정보들을 기반으로 수학식 6에 기반된 FGWLS 동작을 수행할 수 있다. FGLWLS 엔진(FGWLS)의 결과는 스케일-업 엔진(SU)으로 제공되고, 스케일-업 엔진(SU)은 입력된 결과를 스케일-업하여, FGWLS 엔진(SU)의 입력(INPUT)으로 제공할 수 있다.

이후에, FGWLS 엔진(FGWLS)은 수학식 6을 기반으로, 스케일-업된 결과 및 멀티-스케일 이미지(img_ms)에 대한 FGWLS 동작을 수행할 수 있다. 멀티-스케일 이미지(img_ms) 중 가장 큰 해상도를 갖는 제0 이미지(img_0)에 대한 FGWLS의 결과는 최종 조도 맵(LM_fin)으로 출력될 수 있다.

도 8a를 참조하여 설명된 바와 같이, 본 발명의 실시 예에 따른 멀티-스케일 추출기(113)는 복수의 FGWLS 동작들을 순차적으로 수행하도록 구성된 파이프라인 구조를 가질 수 있다. 또는, 도 8b를 참조하여 설명된 바와 같이, 본 발명의 실시 예에 따른 멀티-스케일 추출기(113)는 FGWLS 동작의 결과를 입력으로 피드백하도록 구성된 피드백 구조를 가질 수 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니며, 본 발명에 따른 멀티-스케일 FGWLS는 다양한 형태로 구현될 수 있다.

상술된 바와 같이, 본 발명의 실시 예에 따른 멀티-스케일 FGWLS를 사용한 조도 맵 추출 방식은 종래의 단일 해상도에 대한 FGWLS 방식과 비교하여, 블록킹 아티팩트를 방지할 수 있다. 또한, 복수의 단계들을 통해 FGWLS가 수행되고, 각 FGWLS의 결과가 다음 단계의 FGWLS로 전파되기 때문에, 동적 영역 압출(DRC; dynamic range compression) 및 색조 표현(tonal rendition)에서 이점을 얻을 수 있다.

도 9는 도 6 내지 도 8b의 조도 맵 추출부의 동작에 따른 효과를 설명하기 위한 도면들이다. 도 9를 참조하면, 제1 내지 제3 조도 맵들(LM_a~LM_c)은 종래의 FGWLS(즉, 단일 이미지에 대한 FGWLS)에 의해 추출된 조도 맵들일 수 있고, 최종 조도 맵(LM_fin)은 본 발명의 실시 예에 따른 조도 맵 추출부(110)에 의해 추출된 조도 맵일 수 있다.

제1 조도 맵(LM_a)은 평탄화 레벨(λ)이 "a"로 설정된 종래의 FGWLS에 의해 추출된 조도 맵이고, 제2 조도 맵(LM_b)은 평탄화 레벨(λ)이 "b"(단, b는 a보다 큼)로 설정된 종래의 FGWLS에 의해 추출된 조도 맵이고, 제3 조도 맵(LM_c)은 평탄화 레벨(λ)이 "c"(단, c는 b보다 큼)로 설정된 종래의 FGWLS에 의해 추출된 조도 맵일 수 있다. 도 9에 도시된 바와 같이, 종래의 FGWLS에 따르면, 평탄화 레벨(λ)이 증가할수록, 조도 맵 내에서, 평탄화 강도가 강해질 수 있다. 단, 제1 조도 맵(LM_a)과 같이 평탄화 레벨(λ)이 상대적으로 작은 경우, 추출된 조도 맵에서 의도한 평탄화 강도가 나타나지 않는다. 또한, 제3 조도 맵(LM_c)과 같이 평탄화 레벨(λ)이 상대적으로 상대적으로 큰 경우, 특정 영역에서, 블록킹 아티팩트가 발생할 수 있다.

반면에, 본 발명의 실시 예에 따른 멀티-스케일 기반의 추출 동작을 통해 추출된 최종 조도 맵(LM_fin)은 각 FGWLS에서 평탄화 레벨(λ_i)을 상대적으로 낮은 값인 "d"(예를 들어, "a"와 같을 수 있음.)로 설정하더라도, 최종 조도 맵(LM_fin)에서 의도한 평탄화 강도가 나타날 수 있다. 또한, 평탄화 레벨(λ_i)이 상대적으로 작기 때문에, 최종 조도 맵(LM_fin)에서 블록킹 아티팩트가 방지될 수 있다.

도 10은 도 4의 향상부를 예시적으로 보여주는 블록도이다. 도 4 및 도 10을 참조하면, 향상부(130)는 그레이 이미지(GR) 및 최종 조도 맵(LM_fin)을 기반으로 신호 처리를 수행하여, 향상된 그레이 이미지(GR_enh)를 출력할 수 있다. 예를 들어, 향상부(130)는 반사도 추출기(131), 조도 향상기(132), 반사도 향상기(133), 및 조합기(134)를 포함할 수 있다.

반사도 추출기(131)는 최종 조도 맵(LM_fin)을 기반으로 그레이 이미지(GR)로부터 반사도(RLF; reflectance)를 추출할 수 있다. 예를 들어, 수학식 1을 참조하여 설명된 바와 같이, 특정 이미지는 반사도 및 조도로서 표현될 수 있다. 즉, 특정 이미지에 대한 정보(예를 들어, 그레이 이미지(GR)) 및 조도에 대한 정보(예를 들어, 최종 조도 맵(LM_fin))가 획득된 경우, 수학식 1을 기반으로 반사도(RFL)가 추출될 수 있다. 최종 조도 맵(LM_fin)은 조도 향상기(132)로 제공될 수 있고, 추출된 반사도(RFL)는 반사도 향상기(133)로 제공될 수 있다.

조도 향상기(132)는 최종 조도 맵(LM_fin)의 대비(contrast)를 향상시킬 수 있다. 예를 들어, 조도 향상 모듈(132)은 감마 함수를 기반으로 최종 조도 맵(LM_fin)에 대한 대비를 향상시킬 수 있다. 감마 함수는 수학식 8로 표현될 수 있다.

수학식 8을 참조하면, L^enh는 최종 조도 맵(LM_fin)에서 밝기 및 대비가 향상된 정보인 향상된 조도 맵(LM_enh)을 가리키고, γ는 감마 값을 가리킬 수 있다. γ에 따라 최종 조도 맵(LM_fin)에서의 암부(즉, 어두운 부분)의 밝기가 조절될 수 있다.

또는, 조도 향상 모듈(132)은 WIS(Windowed Inverse Sigmoid) 함수를 기반으로 최종 조도 맵(LM_fin)에 대한 대비를 향상시킬 수 있다. WIS 함수는 최종 조도 맵(LM_fin)에서의 암부(어두운 부분)의 밝기를 증가시키면서, 동시에 명부(밝은 부분)의 밝기를 감소시킴으로써, 결과 값에 대한 동적 영역을 확보하는데 사용되는 함수일 수 있다. WIS 함수는 수학식 9과 같이 표현될 수 있다.

수학식 9를 참조하면, f는 sigmoid 함수를 가리키고, L은 최종 조도 맵(LM_fin)을 가리키고, v_max 및 v_min은 WIS의 모양을 결정하는 변수로서, v_max 및 v_min의 값에 따라 향상된 조도 맵(LM_enh)에서의 암부의 밝기 증가량 및 명부의 밝기 감소량이 조절될 수 있다.

예시적인 실시 예에서, 조도 향상기(132)가 조도 맵의 대비를 향상시키는 기법이, 수학식 8 또는 수학식 9를 참조하여 설명되었으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 조도 향상기(132)는 입력 이미지의 전역 대비(global contrast)를 향상시키기 위한 다른 다양한 함수 모델 또는 다른 다양한 이미지 신호 처리 기법을 사용할 수 있다.

반사도 향상기(133)는 반사도(RFL)에 대한 대비(예를 들어, 지역 대비)를 향상시킴으로써, 향상된 반사도(RFL_enh)를 출력할 수 있다. 최종 조도 맵(LM_fin)은 저주파 성분을 주로 포함하나, 반사도(RFL)와 대응되는 고주파 성분을 일부 포함할 수 있다. 이 경우, 최종 조도 맵(LM_fin)에 대하여 전역 대비 향상을 위한 연산이 수행될 경우, 최종 조도 맵(LM_fin)에 포함된 고주파 성분(또는 반사도 성분)이 비선형 변환을 통해 값이 바뀌게 되며, 이로 인하여, 이미지의 전체적인 선명도가 저하될 수 있다. 이를 방지하기 위해, 반사도 향상 모듈(133)은 반사도(RFL)에서 지역 대비(local contrast)를 향상시킴으로써, 최종 이미지에서의 선명도 저하를 방지할 수 있다. 예를 들어, 반사도 향상 모듈(133)은 수학식 10을 기반으로 반사도(RFL)에 대한 지역 대비를 향상시킬 수 있다.

수학식 10을 참조하면, R은 추출된 반사도(RFL)를 가리킬 수 있고, F는 입력 이미지(IMG_in)에 대한 그레이 이미지(GR)를 가리킬 수 있고, L은 최종 조도 맵(LM_fin)을 가리킬 수 있고, R^enh는 향상된 반사도(RFL_enh)를 가리킬 수 있고, P는 지역 대비 향상을 위한 변수일 수 있다. 이 때, P가 1보다 큰 수인 것으로 가정한다. 이 때, 중심 픽셀의 값인 F(x,y)가 주변 픽셀들의 값들의 평균인 L(x,y)보다 큰 경우, R^enh는 R보다 증가하며, 그 반대인 경우, R^enh는 R보다 감소할 것이다. 즉, 중심 픽셀이 상대적으로 밝은 경우, 중심 픽셀의 값을 더 밝게 하고, 중심 픽셀이 상대적으로 어두운 경우, 중심 픽셀의 값을 더 어둡게 함으로써, 지역 대비가 향상될 수 있다. 예시적인 실시 예에서, 수학식 10의 L은 향상된 조도 맵(LM_enh)으로 대체될 수 있다.

조합기(114)는 향상된 조도 맵(LM_enh) 및 향상된 반사도(RFL_enh)를 기반으로 향상된 그레이 이미지(GR_enh)를 출력할 수 있다. 예를 들어, 수학식 1을 참조하여 설명된 바와 같이, 특정 이미지는 조도에 대한 정보 및 반사도에 대한 정보를 기반으로 구성될 수 있다. 즉, 조합기(114)는 향상된 조도 맵(LM_enh) 및 향상된 반사도(RFL_enh)를, 수학식 1을 기반으로, 조합함으로써, 향상된 그레이 이미지(GR_enh)를 생성할 수 있다.

예시적인 실시 예에서, 조합기(114)는 향상된 그레이 이미지(GR_enh)에 대한 노이즈를 제거하도록 구성될 수 있다. 예를 들어, 이미지 내의 어두운 영역에서 밝기 또는 대비가 향상될 경우, 어두운 영역에 존재하는 노이즈가 함께 증폭될 수 있다. 조합기(114)는 상술된 노이즈를 제거하기 위해, 수학식 11을 기반으로 향상된 조도 맵(LM_enh) 및 향상된 반사도(RFL_enh)를 조합할 수 있다.

수학식 11을 참조하면, R^enh는 향상된 반사도(RFL_enh)를 가리키고, L_n ^enh는 향상된 조도 맵(LM_enh)인 L^enh를 [0,1]의 값으로 정규화한 결과일 수 있다. R_d는 R^enh에 대하여 FGWLS를 통해 평탄화된 결과를 가리킬 수 있다. 예시적인 실시 예에서, R^enh에 대하여 수행되는 FGWLS는 도 6 내지 도 9를 참조하여 설명된 멀티-스케일 FGWLS를 기반으로 수행될 수 있다. 또는, R^enh에 대하여 수행되는 FGWLS는 종래의 FGWLS를 기반으로 수행될 수 있다.

수학식 11에 기재된 바와 같이, 어두운 영역에 대한 노이즈 억제 또는 제거는 L_n ^enh를 참조하여, R_d 및 R^enh의 선형 결합에 따라 수행된다. 이는 노이즈의 크기가 이미지의 모든 영역에서 동일하지 않으며, 밝기 값에 따라 적응적으로 처리되어야 하기 때문이다. 즉, 이미지의 밝은 영역에서는, R^enh를 기반으로 픽셀 값이 결정되고, 이미지의 어두운 영역에서는, R_d의 노이즈가 평탄화된 정보를 기반으로 픽셀 값이 결정된다. 상술된 바와 같이, 수학식 11을 통해 특정 영역(예를 들어, 이미지의 암부)에서 증폭된 노이즈가 억제된 그레이 이미지(GR_enh)가 출력될 수 있다.

도 11은 도 4의 컬러 복원부를 예시적으로 보여주는 블록도이다. 도 11을 참조하면, 컬러 복원부(140)는 입력 이미지(IMG_in) 및 향상된 그레이 이미지(GR_enh)를 기반으로, 향상된 이미지(IMG_enh)를 생성할 수 있다. 예를 들어, 컬러 복원부(140)는 제1 내지 제3 컬러 채널 엔진들(141a~141c) 및 향상된 이미지 생성 엔진(142)을 포함할 수 있다.

제1 내지 제3 컬러 채널 엔진들(141a~141c)은 입력 이미지(IMG_in)로부터의 대응하는 컬러 정보(r, g, b) 및 향상된 그레이 이미지(GR_enh)의 대응하는 정보를 기반으로 향상된 컬러 정보(r_enh, g_enh, b_enh)를 생성할 수 있다. 예를 들어, 제1 내지 제3 컬러 엔진들(141a~141c)은 수학식 12를 기반으로 향상된 컬러 정보(r_enh, g_enh, b_enh)를 생성할 수 있다.

수학식 12를 참조하면, r, g, 및 b는 입력 이미지(IMG_in)로부터 획득된 컬러 정보를 가리키고, F^enh는 향상된 그레이 이미지(GR_enh)에 대응하는 정보를 가리키고, F는 그레이 이미지 생성기(120)(도 4 참조)에 의해 생성된 그레이 이미지(GR)(즉, 대비가 향상되기 전의 그레이 이미지)에 대응하는 정보를 가리키고, r^enh, g^enh, 및 b^enh는 각각 레드, 그린, 및 블루 컬러 각각에 대한 향상된 컬러 정보를 가리킨다.

향상된 이미지 생성 엔진(142)은, 수학식 13을 기반으로 생성된 향상된 컬러 정보(r_enh, g_enh, b_enh)를 조합하여, 향상된 이미지(IMG_enh)를 생성할 수 있다.

상술된 바와 같이, 본 발명의 실시 예에 따른 이미지 신호 처리부 또는 이미지 신호 처리부의 향상 모듈은 입력 이미지에 대한 멀티-스케일 이미지들을 생성하고, 멀티-스케일 이미지들 각각에 대하여, 멀티-스케일 FGWLS 동작을 반복 수행할 수 있다. 이 경우, 종래의 FGWLS에서 발생하는 블록킹 아티팩트가 방지될 수 있다. 따라서, 이미지의 품질이 향상될 수 있으며, 이에 따라 향상된 신뢰성 및 향상된 성능을 갖는 이미지 신호 처리부가 제공된다.

도 12a 및 도 12b는 본 발명의 실시 예에 따른 효과를 설명하기 위한 도면들이다. 도 12a를 참조하여, 입력 이미지(INPUT)에 대하여, 종래의 FGWLS(즉, 단일 이미지에 대한 FGWLS)가 수행된 조도 맵 및 출력 이미지가 설명되고, 도 12b를 참조하여, 입력 이미지(INPUT)에 대하여, 본 발명에 따른 MSFGWLS(즉, 멀티 스케일 이미지에 대한 FGWLS)가 수행된 조도 맵 및 출력 이미지가 설명된다.

도 12a 및 도 12b를 참조하면, 입력 이미지(INPUT)에 대하여, 종래의 FGWLS가 수행된 조도 맵(LM_FGWLS)은 도 12a에 도시된 바와 같을 수 있다. 이 때, 도 12a의 조도 맵(LM_FGWLS)에 도시된 바와 같이, 일부 영역들에서 블록킹 아티팩트가 발생할 수 있다. 반면에, 입력 이미지(INPUT)에 대하여, 본 발명에 따른 MSFGWLS가 수행된 조도 맵(LM_MSFGWLS)은 도 12b에 도시된 바와 같을 수 있으며, 도 12a의 조도 맵(LM_FGWLS)에서 발생한 블록킹 아티팩트들이 제거될 수 있다.

예를 들어, 종래의 FGWLS가 수행된 조도 맵(LM_FGWLS)을 참조하면, 입력 이미지(INPUT)에서 붉은색 장미 꽃들이 위치하는 영역(도면의 간결성을 위해 참조 기호는 생략됨.)에서, 블록킹 아티팩트가 발생할 수 있다. 반면에, 본 발명에 따른 MSFGWLS가 수행된 조도 맵(LM_MSFGWLS)을 참조하면, 동일한 영역에서 블록킹 아티팩트가 발생하지 않을 수 있다.

결과적으로, 도 12a 및 도 12b에 도시된 바와 같이, 본 발명에 따른 MSFGWLS가 수행된 조도 맵(LM_MSFGWLS)을 기반으로 생성된 출력 이미지(OUTPUT_MSFGWLS)는 종래의 FGWLS에 따른 조도 맵(LM_FGWLS)을 기반으로 생성된 최종 이미지(OUTPUT_FGWLS)와 비교하여, 더욱 향상된 이미지 품질을 가질 수 있다.

도 13은 본 발명의 실시 예에 따른 이미지 센서 장치를 예시적으로 보여주는 블록도이다. 도 13을 참조하면, 이미지 센서 장치(1000)는 픽셀 어레이(1100), 주변 회로(1200), 및 향상 모듈(1300)을 포함할 수 있다.

픽셀 어레이(1100)는 복수의 픽셀들을 포함할 수 있다. 주변 회로(1200)는 픽셀 어레이(1100)의 복수의 픽셀들로부터 획득된 정보를 처리하도록 구성될 수 있다. 예시적인 실시 예에서, 주변 회로(1200)는 행 드라이버, ADC, 메모리, 램프 발생기, 등과 같이 이미지 센서 장치(1000)에서 이미지 데이터를 생성하는데 필요한 다양한 구성 요소들을 포함할 수 있다.

향상 모듈(1300)은 주변 회로(1200)에 의해 획득된 이미지 데이터에 대한 이미지 신호 처리를 수행하여 향상된 이미지(IMG_enh)를 출력할 수 있다. 즉, 앞서 설명된 실시 예에서, 이미지 신호 처리부는 이미지 센서 장치와 별도로 구현된 실시 예들이 설명되었으나, 본 발명의 범위가 이에 한정되는 것은 아니며, 도 13에 도시된 바와 같이, 이미지 신호 처리부 전체 또는 적어도 일부가 이미지 센서 장치(1000)에 포함될 수 있다.

도 14는 본 발명에 따른 전자 장치를 예시적으로 보여주는 블록도이다. 도 14를 참조하면, 전자 장치(2000)는 메인 프로세서(2100), 터치 패널(2200), 터치 구동 회로(2202), 디스플레이 패널(2300), 디스플레이 구동 회로(2302), 시스템 메모리(2400), 스토리지 장치(2500), 이미지 처리기(2600), 통신 블록(2700), 오디오 처리기(2800), 및 보안 칩(2900)을 포함할 수 있다. 예시적인 실시 예에서, 전자 장치(2000)는 이동식 통신 단말기, PDA(Personal Digital Assistant), PMP(Portable Media Player), 디지털 카메라, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 웨어러블(Wearable) 장치 등과 같은 다양한 전자 장치 중 하나일 수 있다.

메인 프로세서(2100)는 전자 장치(2000)의 전반적인 동작들을 제어할 수 있다. 메인 프로세서(2100)는 전자 장치(2000)의 구성 요소들의 동작들을 제어/관리할 수 있다. 메인 프로세서(2100)는 전자 장치(2000)를 동작시키기 위해 다양한 연산을 처리할 수 있다.

터치 패널(2200)은 터치 구동 회로(2202)의 제어에 따라 사용자로부터의 터치 입력을 감지하도록 구성될 수 있다. 디스플레이 패널(2300)은 디스플레이 구동 회로(2302)의 제어에 따라 영상 정보를 표시하도록 구성될 수 있다.

시스템 메모리(2400)는 전자 장치(2000)의 동작에 이용되는 데이터를 저장할 수 있다. 예로서, 시스템 메모리(2400)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, 및/또는 PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.

스토리지 장치(2500)는 전원 공급에 관계없이 데이터를 저장할 수 있다. 예로서, 스토리지 장치(2500)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 다양한 불휘발성 메모리 중 적어도 하나를 포함할 수 있다. 예로서, 스토리지 장치(2500)는 전자 장치(2000)의 내장 메모리 및/또는 착탈식 메모리를 포함할 수 있다.

오디오 처리기(2600)는 오디오 신호 처리기(2610)를 이용하여 오디오 신호를 처리할 수 있다. 오디오 처리기(2600)는 마이크(2620)를 통해 오디오 입력을 수신하거나, 스피커(2630)를 통해 오디오 출력을 제공할 수 있다.

통신 블록(2700)은 안테나(2710)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(2700)의 송수신기(2720) 및 MODEM(Modulator/Demodulator, 2730)은 LTE(Long Term Evolution), WiMax(Worldwide Interoperability for Microwave Access), GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access), Bluetooth, NFC(Near Field Communication), Wi-Fi(Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 다양한 무선 통신 규약 중 적어도 하나에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.

이미지 처리기(2800)는 렌즈(2810)를 통해 광을 수신할 수 있다. 이미지 처리기(2800)에 포함되는 이미지 장치(2820) 및 이미지 신호 처리기(2830)는 수신된 광에 기초하여, 외부 객체에 관한 이미지 정보를 생성할 수 있다. 예시적인 실시 예에서, 이미지 신호 처리기(2830)는 도 1 내지 도 13을 참조하여 설명된 향상 모듈을 포함할 수 있다. 즉, 이미지 신호 처리기(2830)는 도 1 내지 도 113을 참조하여 설명된 멀티-스케일 기반의 추출 동작을 통해 이미지 장치(2820)로부터의 이미지 데이터에 대한 조도 맵을 추출하도록 구성될 수 있다. 예시적인 실시 예에서, 이미지 신호 처리기(2830)는 메인 프로세서(2100)에 포함될 수 있으며, 이미지 신호 처리기(2830)는 이미지 신호 처리를 위한 메모리로서 시스템 메모리(2200)를 사용할 수 있다.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims

이미지 장치로부터 수신된 로우 이미지에 대한 신호 처리를 수행하도록 구성된 이미지 신호 처리부(ISP; image signal processing unit)의 동작 방법에 있어서,
입력 이미지를 기반으로 서로 다른 해상도를 갖는 멀티-스케일 이미지들을 생성하는 단계;
상기 멀티-스케일 이미지들 각각을 기반으로 고속 전역 가중 최소 자승 기법(FGWLS; fast global weighted least squares) 기반의 연산을 반복 수행하여, 최종 조도 맵을 생성하는 단계; 및
상기 생성된 최종 조도 맵 및 상기 입력 이미지를 기반으로 향상된 이미지를 출력하는 단계를 포함하는 동작 방법.
제 1 항에 있어서,
상기 FGWLS 기반의 연산을 반복 수행하는 것은 현재 FGWLS 기반의 연산의 결과가 다음 FGWLS 기반의 연산의 입력으로 전파되는 것을 포함하는 동작 방법.
제 1 항에 있어서,
상기 입력 이미지를 기반으로 멀티-스케일 이미지들을 생성하는 단계는:
상기 입력 이미지를 기반으로 초기 조도 맵을 생성하는 단계; 및
상기 초기 조도 맵의 크기를 n배씩 반복적으로 축소시켜, 멀티-스케일 이미지들을 생성하는 단계를 포함하고, 단, n은 양의 실수인 동작 방법.
제 3 항에 있어서,
상기 FGWLS 기반의 연산을 반복 수행하여, 상기 최종 조도 맵을 생성하는 단계는:
상기 멀티-스케일 이미지들 중 가장 낮은 해상도를 갖는 제1 이미지를 입력 및 가이던스 이미지로 사용하여 제1 FGWLS 기반의 연산을 수행하는 단계;
상기 제1 FGWLS 기반의 연산 결과를 상기 n배만큼 스케일-업하여 제1 스케일-업 결과를 생성하는 단계;
상기 제1 스케일-업 결과를 입력으로 사용하고, 상기 멀티-스케일 이미지들 중 상기 제1 스케일-업 결과와 동일한 해상도를 갖는 제2 이미지를 가이던스 이미지로 사용하여 제2 FGWLS 기반의 연산을 수행하는 단계;
상기 제2 FGWLS 기반의 연산의 결과를 상기 n배만큼 스케일-업하여 제2 스케일-업 결과를 생성하는 단계;
상기 제2 스케일-업 결과를 입력으로 사용하고, 상기 멀티-스케일 이미지들 중 상기 제2 스케일-업 결과와 동일한 해상도를 갖는 제3 이미지를 가이던스 이미지로 사용하여 제3 FGWLS 기반의 연산을 수행하는 단계; 및
상기 제3 FGWLS 기반의 연산을 상기 최종 조도 맵으로 출력하는 단계를 포함하는 동작 방법.
제 4 항에 있어서,
상기 제3 이미지는 상기 초기 조도 맵인 동작 방법.
제 1 항에 있어서,
상기 생성된 최종 조도 맵 및 상기 입력 이미지를 기반으로 향상된 이미지를 출력하는 단계는:
상기 입력 이미지를 기반으로 그레이 이미지를 생성하는 단계;
상기 최종 조도 맵을 기반으로, 상기 그레이 이미지로부터 반사도를 추출하는 단계;
상기 최종 조도 맵의 전역 대비(global contrast)를 향상시켜, 향상된 조도 맵을 생성하는 단계;
상기 반도사의 지역 대비(local contrast)를 향상시켜, 향상된 반사도를 생성하는 단계; 및
상기 향상된 조도 맵 및 상기 향상된 반사도를 조합하여 상기 향상된 이미지를 출력하는 단계를 포함하는 동작 방법.
제 6 항에 있어서,
상기 최종 조도 맵의 전역 대비를 향상시키는 것은 WIS(Windowed Inverse Sigmoid) 함수를 기반으로 수행되는 동작 방법.
제 6 항에 있어서,
상기 향상된 조도 맵 및 상기 향상된 반사도를 조합하여 상기 향상된 이미지를 출력하는 단계는:
상기 향상된 반사도에 대한 평탄화를 수행하여, 평탄화된 반사도를 생성하는 단계;
상기 향상된 조도 맵을 정규화하여 정규화된 조도 맵을 생성하는 단계;
상기 정규화된 조도 맵을 기반으로, 상기 향상된 반사도 및 상기 평탄화된 반사도의 선형 결합을 통해 향상된 그레이 이미지를 생성하는 단계를 포함하는 동작 방법.
제 8 항에 있어서,
상기 향상된 반사도에 대한 평탄화는 상기 향상된 반사도에 대한 고속 전역 가중 최소 자승 기법(FGWLS) 기반의 연산을 통해 수행되는 동작 방법.
제 8 항에 있어서,
상기 향상된 이미지를 출력하는 단계는:
상기 향상된 그레이 이미지, 상기 입력 이미지, 및 상기 그레이 이미지를 기반으로 상기 향상된 이미지를 출력하는 단계를 더 포함하는 동작 방법.
제 1 항에 있어서,
상기 이미지 센서 장치로부터 상기 로우 이미지를 수신하는 단계; 및
상기 로우 이미지에 대한 전-처리를 수행하여 상기 입력 이미지를 생성하는 단계를 더 포함하는 동작 방법.
제 11 항에 있어서,
상기 전-처리를 수행하는 단계는;
상기 로우 이미지에 대한 잡음을 제거하는 단계;
상기 잡음이 제거된 결과에 대한 화이트 밸런싱을 수행하는 단계;
상기 화이트 밸런싱의 결과에 대한 컬러 필터 어레이 보간을 수행하는 단계;
상기 컬러 필터 어레이 보간의 결과에 대해 보정을 수행하여 상기 입력 이미지를 생성하는 단계를 포함하는 동작 방법.
이미지 시스템에 있어서,
외부 객체로부터 반사된 광을 기반으로 로우 이미지를 출력하도록 구성된 이미지 센서 장치; 및
상기 로우 데이터에 대한 전-처리를 수행하여 입력 이미지를 생성하고, 상기 입력 이미지에 대한 멀티-스케일 기반의 추출 동작을 통해 최종 조도 맵을 추출하고, 상기 추출된 최종 조도 맵 및 상기 입력 이미지를 기반으로 향상된 이미지를 생성하도록 구성된 이미지 신호 처리부를 포함하고,
상기 멀티-스케일 기반의 추출 동작은:
상기 입력 이미지를 기반으로 서로 다른 해상도를 갖는 멀티-스케일 이미지들을 생성하는 것;
상기 멀티-스케일 이미지들 각각에 대하여, 조도 맵 추출 연산을 반복 수행하는 것; 및
상기 반복 수행된 조도 맵 추출 연산의 결과를 상기 최종 조도 맵으로서 출력하는 것을 포함하는 이미지 시스템.
상기 13 항에 있어서,
상기 서로 다른 해상도를 갖는 멀티-스케일 이미지들은 상기 입력 이미지를 기반으로 생성된 초기 조도 맵을 n배씩 반복적으로 축소시킴으로써 생성되고, 상기 n은 1보다 큰 양의 정수인 이미지 시스템.
제 14 항에 있어서,
상기 조도 맵 추출 연산은 하기의 수학식을 기반으로 수행되고,

상기 수학식에서, 상기 i가 l로부터 0인 방향으로 상기 조도 맵 추출 연산이 단계적으로 수행되고, 상기 (x,y)는 픽셀 위치를 가리키고, 상기 FGWLS는 고속 전역 가중 최소 자승 기법(FGWLS; fast global weighted least squares) 기반의 연산 함수를 가리키고, 상기 Lⁱ는 상기 FGWLS의 연산 결과를 가리키고, 상기 ↑_n은 입력을 상기 n배 스케일-업하는 함수를 가리키고, 상기
은 상기 초기 조도 맵을 n^l배 축소시킨 조도 맵을 가리키고, 상기 Gⁱ는 가이던스 이미지를 가리키고, λⁱ는 상기 FGWLS 기반의 연산 함수에서 사용되는 평탄화 레벨을 가리키고, Tⁱ는 상기 FGWLS 기반의 연산 함수에서 사용되는 행 단위 연산 및 열 단위 연산의 반복 횟수를 가리키는 이미지 시스템.
제 15 항에 있어서,
상기 가이던스 이미지는 상기 멀티-스케일 이미지들 중 대응하는 하나인 이미지 시스템.
이미지 신호 처리부(ISP; image signal processing unit)의 이미지에 대한 대비 향상(contrast enhancement) 방법에 있어서,
입력 이미지를 기반으로 초기 조도 맵을 생성하는 단계;
상기 초기 조도 맵을 n배씩 반복 축소하여, 멀티-스케일 이미지들을 생성하는 단계, 단, n은 1보다 큰 양의 정수;
상기 멀티-스케일 이미지들 중 가장 낮은 해상도를 갖는 제1 이미지를 기반으로, 제1 연산을 수행하는 단계;
상기 제1 연산의 결과 및 상기 멀티-스케일 이미지들 중 2번째로 낮은 해상도를 갖는 제2 이미지를 기반으로, 제2 연산을 수행하는 단계;
상기 제2 연산의 결과 및 상기 멀티-스케일 이미지들 중 가장 큰 해상도를 갖는 제3 이미지를 기반으로 제3 연산을 수행하는 단계;
상기 제3 연산의 결과를 최종 조도 맵으로 생성하는 단계; 및
상기 최종 조도 맵 및 상기 입력 이미지를 기반으로, 향상된 이미지를 생성하는 단계를 포함하고,
상기 제1 내지 제3 연산들은 고속 전역 가중 최소 자승 기법(FGWLS; Fast Global Weighted Least Squares) 기반의 연산인 방법.
제 17 항에 있어서,
상기 제1 연산은 제1 입력, 제1 가이던스 이미지, 제1 평탄화 레벨, 및 제1 반복 횟수를 기반으로 수행되고,
상기 제2 연산은 제2 입력, 제2 가이던스 이미지, 제2 평탄화 레벨, 및 제2 반복 횟수를 기반으로 수행되고,
상기 제3 연산은 제3 입력, 제3 가이던스 이미지, 제3 평탄화 레벨, 및 제3 반복 횟수를 기반으로 수행되고,
상기 제1 입력은 상기 제1 이미지이고,
상기 제2 입력은 상기 제1 연산의 결과가 상기 n배 확대된 이미지이고,
상기 제3 입력은 상기 제2 연산의 결과가 상기 n배 확대된 이미지이고,
상기 제1 가이던스 이미지는 상기 제1 이미지이고,
상기 제2 가이던스 이미지는 상기 제2 이미지이고,
상기 제3 가이던스 이미지는 상기 제3 이미지인 방법.
제 17 항에 있어서,
상기 최종 조도 맵 및 상기 입력 이미지를 기반으로, 향상된 이미지를 생성하는 단계는:
상기 최종 조도 맵을 기반으로 상기 입력 이미지에 대응하는 그레이 이미지로부터 반사도를 추출하는 단계;
상기 최종 조도 맵의 전역 대비(global contrast)를 향상시켜 향상된 조도 맵을 생성하는 단계;
상기 반사도의 지역 대비(local contrast)를 향상시켜, 향상된 반사도를 생성하는 단계; 및
상기 향상된 조도 맵 및 상기 향상된 반사도를 조합하여 향상된 그레이 이미지를 생성하는 단계를 포함하는 방법.
제 19 항에 있어서,
상기 최종 조도 맵 및 상기 입력 이미지를 기반으로, 향상된 이미지를 생성하는 단계는:
상기 입력 이미지를 기반으로 상기 향상된 그레이 이미지의 컬러를 복원하여, 상기 향상된 이미지를 생성하는 단계를 더 포함하는 방법.