KR20210123608A

KR20210123608A - 이미지 센싱 장치 및 그의 동작 방법

Info

Publication number: KR20210123608A
Application number: KR1020200040958A
Authority: KR
Inventors: 차수람; 박성희
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2020-04-03
Filing date: 2020-04-03
Publication date: 2021-10-14
Also published as: US20210314478A1; CN113497902A; US11528426B2

Abstract

본 발명의 일실시예는 이미지 센싱 장치 및 그의 동작 방법에 관한 것으로, 복수의 픽셀을 포함하고, 입사광에 기초하여 이미지를 생성하기 위한 이미지 센서; 및 밝기에 따라 구분된 둘 이상의 톤 맵핑 정보와 상기 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하기 위한 이미지 프로세서를 포함하는 이미지 센싱 장치를 제공한다.

Description

이미지 센싱 장치 및 그의 동작 방법{IMAGE SENSING DEVICE AND OPERATING METHOD OF THE SAME}

본 발명은 반도체 설계 기술에 관한 것으로, 더욱 상세하게는 이미지 센싱 장치 및 그의 동작 방법에 관한 것이다.

이미지 센싱 장치는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 소자이다. 이미지 센싱 장치는 크게 CCD(Charge Coupled Device)를 이용한 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센싱 장치로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다.

본 발명의 실시예는 글로벌 톤 맵핑(global tone mapping) 방식과 로컬(local) 톤 매핑 방식을 혼용한 세미-글로벌(semi-global) 방식을 이용하는 이미지 센싱 장치 및 그의 동작 방법을 제공한다.

본 발명의 일 측면에 따르면, 이미지 센싱 장치는, 기 저장된 히스토그램에 기초하여 밝기에 따라 구분된 둘 이상의 톤 맵핑 정보를 생성하기 위한 톤 매핑 모듈; 및 상기 톤 맵핑 정보와 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하기 위한 HDR 이미지 생성 모듈을 포함할 수 있다.

상기 톤 매핑 모듈은, 상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하기 위한 클러스터링부; 및 상기 클러스터링된 히스토그램들에 기초하여 상기 톤 맵핑 정보를 생성하기 위한 톤 맵핑 정보 생성부를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 이미지 센싱 장치는, 복수의 픽셀을 포함하고, 입사광에 기초하여 이미지를 생성하기 위한 이미지 센서; 및 밝기에 따라 구분된 둘 이상의 톤 맵핑 정보와 상기 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하기 위한 이미지 프로세서를 포함할 수 있다.

상기 이미지 프로세서는, 기 저장된 히스토그램에 기초하여 상기 톤 맵핑 정보를 생성하기 위한 톤 매핑 모듈; 및 상기 톤 맵핑 정보와 상기 이미지에 기초하여 상기 HDR 이미지를 생성하기 위한 HDR 이미지 생성 모듈을 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 이미지 센싱 장치의 동작 방법은 글로벌 톤 맵핑 방식을 이용하고, 제1 이미지에 기초하여 히스토그램을 생성하는 단계; 로컬 톤 맵핑 방식을 이용하고, 히스토그램에 기초하여 밝기에 따라 구분된 둘 이상의 톤 맵핑 정보를 생성하는 단계; 및 상기 톤 맵핑 정보와 제2 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하는 단계를 포함할 수 있다.

상기 제1 이미지는 이전 프레임(frame)에 대응하는 이미지를 포함할 수 있고, 상기 제2 이미지는 현재 프레임에 대응하는 이미지를 포함할 수 있다.

상기 제1 이미지 및 상기 제2 이미지는 현재 프레임(frame)에 대응하는 이미지를 포함할 수 있다.

상기 톤 맵핑 정보를 생성하는 단계는, 상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하는 단계; 스트레칭(stretching) 기법을 이용하여 상기 클러스터링된 히스토그램들에 대응하는 수정된(modified) 히스토그램들을 생성하는 단계; 스무딩(smoothing) 기법을 이용하여 상기 수정된 히스토그램들에 대응하는 스무딩된 히스토그램들을 생성하는 단계; 및 상기 스무딩된 히스토그램들에 기초하여 둘 이상의 톤 맵핑 곡선(curve)들을 포함하는 상기 톤 맵핑 정보를 생성하는 단계를 포함할 수 있다.

상기 톤 맵핑 정보를 생성하는 단계는, 상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하는 단계; 및 상기 클러스터링된 히스토그램들에 기초하여 둘 이상의 톤 맵핑 곡선(curve)들을 포함하는 상기 톤 맵핑 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 실시예는 글로벌 톤 맵핑(global tone mapping) 방식과 로컬(local) 톤 매핑 방식을 혼용한 세미-글로벌(semi-global) 방식을 이용함으로써, 상기 글로벌 톤 맵핑 방식의 단점인 명암(contrast) 개선 한계 및 상기 로컬 톤 맵핑 방식의 단점인 하드웨어 리소스(hardware resource) 개선 한계를 극복할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 이미지 센싱 장치의 블록 구성도이다.
도 2는 도 1에 도시된 이미지 프로세서의 블록 구성도이다.
도 3은 도 2에 도시된 히스토그램 생성 모듈의 블록 구성도이다.
도 4는 도 2에 도시된 톤 맵핑 모듈의 블록 구성도이다.
도 5는 도 2에 도시된 HDR 이미지 생성 모듈의 블록 구성도이다.
도 6은 도 2에 도시된 히스토그램 생성 모듈의 동작을 설명하기 위한 도면이다.
도 7은 도 3에 도시된 클러스터링부의 동작을 설명하기 위한 도면이다.
도 8은 도 3에 도시된 히스토그램 생성부의 동작을 설명하기 위한 도면이다.
도 9는 도 3에 도시된 톤 맵핑 곡선 생성부의 동작을 설명하기 위한 도면이다.
도 10은 도 2에 도시된 HDR 이미지 생성 모듈의 동작을 설명하기 위한 도면이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부 도면을 참조하여 설명하기로 한다.

그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "접속"되어 있다고 할 때 이는 "직접적으로 접속"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 접속"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.

도 1에는 본 발명의 실시예에 따른 이미지 센싱 장치가 블록 구성도로 도시되어 있다.

도 1을 참조하면, 이미지 센싱 장치는 이미지 센서(100), 메모리(200), 및 이미지 프로세서(300)를 포함할 수 있다.

이미지 센서(100)는 입사광에 기초하여 프레임(frame)별로 이미지를 생성할 수 있다. 도면에 미도시되었지만, 이미지 센서(100)는 픽셀 어레이, 및 신호 변환기를 포함할 수 있다. 상기 픽셀 어레이는 상기 입사광에 기초하여 이미지값들을 생성하는 복수의 픽셀을 포함할 수 있다. 예컨대, 상기 복수의 픽셀은 베이어 패턴(bayer pattern)으로 배열될 수 있다. 상기 신호 변환기는 상기 이미지값들을 디지털값들로 변환하기 위한 복수의 A/D 변환기(analog to digital converter)를 포함할 수 있다. 상기 이미지는 상기 디지털값들을 포함할 수 있다. 이하에서는 이전 프레임에 생성된 이미지를 제1 이미지(IMG1)라 칭하여 설명하고, 현재 프레임에 생성된 이미지를 제2 이미지(IMG2)라 칭하여 설명한다.

메모리(200)는 이미지 프로세서(300)로부터 생성된 히스토그램(HIST), 제1 톤 맵핑 정보(TM1), 및 제2 톤 맵핑 정보(TM2)를 저장할 수 있다. 히스토그램(HIST), 제1 톤 맵핑 정보(TM1), 및 제2 톤 맵핑 정보(TM2)는 아래에서 자세하게 설명한다.

이미지 프로세서(300)는 제1 및 제2 톤 맵핑 정보(TM1, TM2)와 제1 및 제2 이미지(IMG1, IMG2)에 기초하여 HDR(high dynamic range) 이미지(HDR_IMG)를 생성할 수 있다. 예컨대, 이미지 프로세서(300)는 글로벌 톤 맵핑(global tone mapping) 방식과 로컬(local) 톤 매핑 방식을 혼용한 세미-글로벌(semi-global) 방식을 이용하여 HDR 이미지(HDR_IMG)를 생성할 수 있다.

이미지 센서(100)와 메모리(200)는 이미 잘 알려진 기술이므로 이하에서는 이미지 프로세서(300)에 대해 자세하게 살펴 보기로 한다.

도 2에는 도 1에 도시된 이미지 프로세서(300)가 블록 구성도로 도시되어 있다.

도 2를 참조하면, 이미지 프로세서(300)는 히스토그램 생성 모듈(310), 톤 맵핑 모듈(320), 및 HDR 이미지 생성 모듈(330)을 포함할 수 있다.

히스토그램 생성 모듈(310)은 제1 이미지(IMG1)에 기초하여 히스토그램(HIST)을 생성할 수 있다. 히스토그램(HIST)은 밝기값(Luminance value)에 따른 픽셀의 빈도수(frequency)를 나타낼 수 있다. 상기 픽셀의 빈도수는 대응하는 밝기값을 가지는 픽셀의 개수를 말한다. 히스토그램(HISR)은 메모리(200)에 저장될 수 있다.

톤 매핑 모듈(320)은 히스토그램(HIST)에 기초하여 밝기에 따라 구분된 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성할 수 있다. 예컨대, 제1 톤 맵핑 정보(TM1)는 제1 이미지(IMG1) 중 상대적으로 어두운 영역의 명암(contrast)를 개선하기 위한 제1 톤 맵핑 곡선(curve)을 포함할 수 있고, 제2 톤 맵핑 정보(TM2)는 제1 이미지(IMG1) 중 상대적으로 밝은 영역의 명함을 개선하기 위한 제2 톤 맵핑 곡선을 포함할 수 있다. 제1 및 제2 톤 맵핑 정보(TM1, TM2)는 메모리(200)에 저장될 수 있다.

HDR 이미지 생성 모듈(330)은 제1 및 제2 톤 맵핑 정보(TM1, TM2)와 제2 이미지(IMG2)에 기초하여 HDR 이미지(HDR_IMG)를 생성할 수 있다.

도 3에는 도 2에 도시된 히스토그램 생성 모듈(310)이 블록 구성도로 도시되어 있다.

도 3을 참조하면, 히스토그램 생성 모듈(310)은 밝기값 계산부(311), 및 히스토그램 생성부(313)를 포함할 수 있다.

밝기값 계산부(311)는 제1 이미지(IMG1)에 기초하여 픽셀별로 밝기값을 계산할 수 있다. 예컨대, 밝기값 계산부(313)는 제1 이미지(IMG1)에 포함된 상기 디지털값들에 기초하여 상기 복수의 픽셀에 대응하는 밝기값들을 계산할 수 있다(도 6의 (A) 및 (B) 참조).

히스토그램 생성부(313)는 밝기값 계산부(311)에 의해 계산된 상기 밝기값들에 기초하여 히스토그램(HIST)을 생성할 수 있다(도 6의 (C) 참조).

도 4에는 도 2에 도시된 톤 맵핑 모듈(320)이 블록 구성도로 도시되어 있다.

도 4를 참조하면, 톤 맵핑 모듈(320)은 클러스터링부(321), 및 톤 맵핑 정보 생성부(323)를 포함할 수 있다.

클러스터링부(321)는 히스토그램(HIST)에 기초하여 문턱 밝기값(T)에 따라 제1 및 제2 클러스터링된(clustered) 히스토그램(HC1, HC2)을 생성할 수 있다. 예컨대, 클러스터링부(321)는 히스토그램(HIST)에 기초하여 밝기값에 따른 픽셀의 빈도수를 카운팅하고 그 카운팅 결과에 따라 상기 픽셀의 개수가 동일한 비율(즉, 1대 1 비율)로 구분된 제1 및 제2 클러스터링된 히스토그램(HC1, HC2)을 생성할 수 있다(도 7 참조).

톤 맵핑 정보 생성부(323)는 제1 및 제2 클러스터링된 히스토그램(HC1, HC2)에 기초하여 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성할 수 있다(도 8 참조). 제1 톤 맵핑 정보(TM1)는 제1 클러스터링된 히스토그램(HC1)에 대응하는 상기 제1 톤 맵핑 곡선을 포함할 수 있다. 제2 톤 맵핑 정보(TM2)는 제2 클러스터링된 히스토그램(HC2)에 대응하는 상기 제2 톤 맵핑 곡선을 포함할 수 있다. 제1 및 제2 톤 맵핑 곡선은 각각 밝기값에 따른 픽셀의 누적수에 대응할 수 있다.

도 5에는 도 2에 도시된 HDR 이미지 생성 모듈(330)이 블록 구성도로 도시되어 있다.

도 5를 참조하면, HDR 이미지 생성 모듈(330)은 밝기값 계산부(331), 블러링부(333), 및 이미지 처리부(335)를 포함할 수 있다.

밝기값 계산부(331)는 제2 이미지(IMG2)에 기초하여 픽셀별로 밝기값을 계산할 수 있다. 밝기값 계산부(331)는 위에서 설명한 밝기값 계산부(311)와 동일한 방식에 따라 동작할 수 있다(도 10의 (A) 및 (B) 참조).

블러링부(333)는 밝기값 계산부(331)로부터 계산된 밝기값들(YV2)에 기초하여 픽셀별로 블러링된(blured) 코드값을 생성할 수 있다(도 10 (C) 참조).

이미지 처리부(335)는 블러링부(333)로부터 생성된 블러링된 코드값들(YB)과 제1 및 제2 톤 맵핑 정보(TM1, TM2)에 기초하여 HDR 이미지(HDR_IMG)를 생성할 수 있다.

이하, 상기와 같은 구성을 가지는 본 발명의 실시예에 따른 이미지 센싱 장치의 동작을 도 6 내지 도 10을 참조하여 설명한다.

도 6에는 이미지 센싱 장치에 포함된 히스토그램 생성 모듈(310)의 동작을 설명하기 위한 도면이 도시되어 있다.

도 6을 참조하면, 제1 이미지(IMG1)는 상기 복수의 픽셀의 배열(즉, 베이어 패턴)에 따라 생성된 상기 디지털값들을 포함할 수 있다(A).

히스토그램 생성 모듈(310)은 상기 디지털값들(A)에 기초하여 상기 복수의 픽셀에 대응하는 밝기값들을 생성할 수 있다(B). 예컨대, 히스토그램 생성 모듈(310)은 대상 픽셀을 기준으로 3x3에 배열된 픽셀들의 디지털값에 기초하여 대상 픽셀의 밝기값을 계산할 수 있다. 만약 제2 로우(row)와 제2 컬럼(column)의 교차점에 배열된 픽셀의 밝기값(P22)을 계산한다면, 픽셀의 밝기값(P22)은 다음의 "수학식1"에 기초하여 계산될 수 있다.

히스토그램 생성 모듈(310)은 계산된 상기 밝기값들에 기초하여 히스토그램(HIST)을 생성할 수 있다(C). 히스토그램(HIST)은 밝기값에 따른 픽셀의 빈도수(즉, 픽셀의 개수)를 나타낼 수 있다.

도 7 내지 도 9에는 상기 이미지 센싱 장치에 포함된 톤 맵핑 모듈(320)의 동작을 설명하기 위한 도면들이 도시되어 있다.

도 7에는 톤 맵핑 모듈(320)에 포함된 클러스터링부(321)의 동작을 설명하기 위한 도면이 도시되어 있다.

도 7을 참조하면, 클러스터링부(321)는 히스토그램(HIST)에 기초하여 문턱 밝기값(T)에 따라 제1 및 제2 클러스터링된 히스토그램(HC1, HC2)을 생성할 수 있다. 예컨대, 클러스터링부(321)는 히스토그램(HIST)에 기초하여 밝기값에 따른 픽셀의 빈도수를 카운팅하고 카운팅 결과 전체 픽셀의 개수의 절반에 대응할 때 문턱 밝기값(T)을 추출할 수 있다(A). 그리고, 클러스터링부(321)는 문턱 밝기값(T)을 기준으로 상대적으로 작은 밝기값에 따른 픽셀의 빈도수를 나타내는 제1 클러스터링된 히스토그램(HC1)을 생성할 수 있고(B), 문턱 밝기값(T)을 기준으로 상대적으로 큰 밝기값에 따른 픽셀의 빈도수를 나타내는 제2 클럭스터링된 히스토그램(HC2)을 생성할 수 있다(C).

도 8에는 톤 맵핑 모듈(320)에 포함된 톤 맵핑 정보 생성부(323)의 동작을 설명하기 위한 도면이 도시되어 있고, 도 9에는 도 8을 부연 설명하기 위한 도면이 도시되어 있다. 이하에서는 설명의 편의를 위해 제1 클러스터링된 히스토그램(HC1)에 기초하여 제1 톤 맵핑 정보(TM1)가 생성되는 과정만을 설명하기로 한다.

톤 맵핑 정보 생성부(323)는 제1 클러스터링된 히스토그램(HC1)에 기초하여 제1 톤 맵핑 정보(TM1)를 생성할 수 있다. 톤 맵핑 정보 생성부(323)는 제1 클러스터링된 히스토그램(HC1)을 입력받고(A), 제1 클러스터링된 히스토그램(HC1)에 기초하여 제1 스무딩된 히스토그램을 생성할 수 있다(B). 상기 제1 스무딩된 히스토그램을 생성하는 과정을 더욱 구체적으로 설명하면 다음과 같다.

톤 맵핑 정보 생성부(323)는 스트레칭(stretching) 기법을 이용하여 제1 클러스터링된 히스토그램(HC1)에 대응하는 제1 수정된(modified) 히스토그램을 생성할 수 있다. 예컨대, 톤 맵핑 정보 생성부(323)는 제1 클러스터링된 히스토그램(HC1)에 포함된 픽셀의 빈도수의 피크값(peak value)에 기초하여 제1 클러스터링된 히스토그램(HC1)의 스트레칭 정도를 적응적으로(adaptive) 조절함으로써 상기 제1 수정된 히스토그램을 생성할 수 있다. 상기 제1 수정된 히스토그램은 다음의 "수학식 2"에 기초하여 생성될 수 있다.

여기서, 상기 "HIST1_modification(code)"는 상기 제1 수정된 히스토그램에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 의미할 수 있다. "λ"는 스트레칭의 정도를 의미할 수 있다. "λ"는 도 9에 도시된 바와 같이 상기 피크값이 클수록 커질 수 있다. "HC1(code)"는 제1 클러스터링된 히스토그램(HC1)에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 의미할 수 있다. "HIST_uniform(code)"는 일정한 빈도수를 가지는 히스토그램을 의미할 수 있다. "HIST_uniform(code)"는 다음의 "수학식 3"에 기초하여 생성될 수 있다.

여기서, "m*n"은 상기 복수의 픽셀의 전체 개수를 의미할 수 있다. "max_code"는 히스토그램(HIST)에 포함된 밝기값 범위에서 최대값을 의미할 수 있다.

톤 맵핑 정보 생성부(323)는 스무딩(smoothing) 기법을 이용하여 상기 제1 수정된 히스토그램에 대응하는 상기 제1 스무딩된 히스토그램을 생성할 수 있다. 고, 상기 제1 스무딩된 히스토그램은 다음의 "수학식 4"에 기초하여 생성될 수 있다.

여기서, "HIST1_smoothing(code)"는 상기 제1 스무딩된 히스토그램에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 의미할 수 있다. "HIST1_modification(code)"는 상기 제1 수정된 히스토그램에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 의미할 수 있다. "line_filter(tap)"은 "tap"에 설정된 값에 따라 상기 제1 수정된 히스토그램에 포함된 밝기값의 범위를 결정할 수 있다. "convolution(HIST1_modification(code), line_filter(tap))"는 "tap"에 설정된 값에 따라 결정된 상기 제1 수정된 히스토그램에 포함된 밝기값의 범위에 대응하는 빈도수들의 평균값을 의미할 수 있다.

톤 맵핑 정보 생성부(323)는 상기 제1 수정된 히스토그램과 상기 제1 스무딩된 히스토그램에 기초하여 제1 톤 맵핑 곡선을 포함하는 제1 톤 맵핑 정보(TM1)를 생성할 수 있다(C). 상기 제1 톤 맵핑 곡선은 밝기값에 따른 픽셀의 누적수에 대응할 수 있다. 상기 제1 톤 맵핑 곡선은 다음의 "수학식 5"에 기초하여 생성될 수 있다.

여기서, "TM1_curve(code)"는 상기 제1 톤 맵핑 곡선에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 의미할 수 있다. "

"는 상기 제1 스무딩된 히스토그램에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 합산한 누적수를 의미할 수 있다.

한편, 다른 일예로, 톤 맵핑 정보 생성부(323)는 상기 제1 스무딩된 히스토그램을 생성하는 과정을 생략할 수 있다. 즉, 톤 맵핑 정보 생성부(323)는 다음의 "수학식 6"에 기초하여 상기 제1 톤 맵핑 곡선을 포함하는 제1 톤 맵핑 정보(TM1)를 생성할 수도 있다.

여기서, "

"는 제1 클러스터링된 히스토그램(HC1)에 포함된 각각의 밝기값에 대응하는 각각의 빈도수를 합산한 누적수를 의미할 수 있다.

한편, 톤 맵핑 정보 생성부(323)는 제2 클럭스터링된 히스토그램(HC2)에 기초하여, 위에서 설명한 방식과 동일하게, 제2 톤 맵핑 곡선을 포함하는 제2 톤 맵핑 정보(TM2)를 생성할 수 있다.

도 10에는 상기 이미지 센싱 장치에 포함된 HDR 이미지 생성 모듈(330)의 동작을 설명하기 위한 도면이 도시되어 있다.

도 10을 참조하면, HDR 이미지 생성 모듈(330)은 제2 이미지(IMG2)에 포함된 디지털값들(A)에 기초하여 상기 복수의 픽셀에 대응하는 밝기값(YV2)들을 생성할 수 있다(B). 상기 밝기값들을 생성하는 과정은 위에서 설명한 히스토그램 생성 모듈(310)의 동작과 동일하므로 자세한 설명은 생략한다.

HDR 이미지 생성 모듈(330)은 밝기값들(YV2)에 기초하여 픽셀별로 블러링된(blured) 코드값을 생성할 수 있다(C). 예컨대, HDR 이미지 생성 모듈(330)은 대상 픽셀을 기준으로 5x5 픽셀들의 밝기값들의 평균값을 계산하고 상기 평균값을 블러링된 코드값으로서 생성할 수 있다.

HDR 이미지 생성 모듈(330)은 블러링된 코드값들(YB)과 제1 및 제2 톤 맵핑 정보(TM1, TM2)에 기초하여 HDR 이미지(HDR_IMG)를 생성할 수 있다(D). 예컨대, HDR 이미지 생성 모듈(330)은 픽셀별로 이득(gain)을 계산하고 각각의 이득을 제2 이미지(IMG2)에 포함된 각각의 밝기값에 반영함으로써 HDR 이미지(HDR_IMG)를 생성할 수 있다. 상기 이득은 다음의 "수학식 7"에 기초하여 계산될 수 있다.

"g(i, j)"는 i번째 로우와 j번째 컬럼의 교차점에 배열된 픽셀의 이득을 의미할 수 있다. "w(i, j)"는 i번째 로우와 j번째 컬럼의 교차점에 배열된 픽셀의 가중치를 의미할 수 있다. "TM1(Y_blur(i, j)" i번째 로우와 j번째 컬럼의 교차점에 배열된 픽셀의 블러링된 코드값에 대응하는 상기 제1 톤 맵핑 곡선의 빈도수를 의미할 수 있다. "TM2(Y_blur(i, j)"는 i번째 로우와 j번째 컬럼의 교차점에 배열된 픽셀의 블러링된 코드값에 대응하는 상기 제2 톤 맵핑 곡선의 빈도수를 의미할 수 있다.

상기 가중치는 다음의 "수학식 8"에 기초하여 계산될 수 있다.

"w(i, j)"는 i번째 로우와 j번째 컬럼의 교차점에 배열된 픽셀의 가중치를 의미할 수 있다. "Y_blur(i, j)"는 i번째 로우와 j번째 컬럼의 교차점에 배열된 픽셀의 블러링된 코드값을 의미할 수 있다. "min(Y_pre_frame)"은 제1 이미지(IMG1)에 포함된 밝기값들(YV1) 중 최소값을 의미할 수 있다. "max(Y_pre_frame)"은 제1 이미지(IMG1)에 포함된 밝기값들(YV1) 중 최대값을 의미할 수 있다.

상기 이미지 센싱 장치의 동작 방법을 요약하면 다음과 같다. 상기 이미지 센싱 장치의 동작 방법은, 글로벌 톤 맵핑 방식을 이용하고, 제1 이미지(IMG1)에 기초하여 히스토그램(HIST)을 생성하는 단계(도 6 참조)와, 로컬 톤 맵핑 방식을 이용하고, 히스토그램(HIST)에 기초하여 밝기에 따라 구분된 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 단계(도 7 내지 도 9 참조)와, 제1 및 제2 톤 맵핑 정보(TM1, TM2)와 제2 이미지(IMG2)에 기초하여 HDR 이미지(HDR_IMG)를 생성하는 단계(도 10 참조)를 포함할 수 있다.

제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 단계는, 히스토그램(HIST)에 기초하여 문턱 밝기값(T)에 따라 제1 및 제2 클러스터링된 히스토그램(HC1, HC2)을 생성하는 단계와, 상기 스트레칭 기법을 이용하여 제1 및 제2 클러스터링된 히스토그램(HC1, HC2)에 각각 대응하는 상기 제1 및 제2 수정된 히스토그램을 생성하는 단계와, 상기 스무딩 기법을 이용하여 상기 제1 및 제2 수정된 히스토그램에 대응하는 제1 및 제2 스무딩된 히스토그램을 생성하는 단계와, 상기 제1 및 제2 스무딩된 히스토그램 각각에 기초하여 상기 제1 및 제2 톤 맵핑 곡선을 포함하는 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 단계를 포함할 수 있다.

다른 일예로, 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 단계는, 히스토그램(HIST)에 기초하여 문턱 밝기값(T)에 따라 제1 및 제2 클러스터링된 히스토그램(HC1, HC2)을 생성하는 단계와, 제1 및 제2 클러스터링된 히스토그램(HC1, HC2) 각각에 기초하여 상기 제1 및 제2 톤 맵핑 곡선들을 포함하는 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 단계를 포함할 수 있다.

한편, 본 발명의 실시예는 상기 이전 프레임에 대응하는 제1 이미지(IMG1)를 이용하여 히스토그램(HIST) 및 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 것을 예로 들어 설명하고 있다. 이러한 예는 동영상을 촬영하는 모드에 적용되는 것이 좋다. 이와는 달리 스틸 사진(still photograph)을 촬영하는 모드의 경우에는 상기 현재 프레임에 대응하는 제2 이미지(IMG2)를 이용하여 히스토그램(HIST) 및 제1 및 제2 톤 맵핑 정보(TM1, TM2)를 생성하는 것이 좋다.

이와 같은 본 발명의 실시예에 따르면, 글로벌 톤 맵핑 방식을 이용하여 이미지 전체에 대응하는 히스토그램을 생성하고 로컬 톤 맵핑 방식을 이용하여 상대적으로 어두운 영역을 개선하기 위한 제1 톤 맵핑 곡선과 상대적으로 밝은 영역을 개선하기 위한 제2 톤 맵핑 곡선을 생성함으로써, 상기 글로벌 톤 맵핑 방식의 단점과 상기 로컬 톤 맵핑 방식의 단점을 보완할 수 있는 이점이 있다. 더욱이, 본 발명의 실시예에 따르면, 밝기에 따라 상기 제1 및 제2 톤 맵핑 곡선을 생성하기 때문에, 종래의 로컬 톤 맵핑 방식 - 단순히 영역별로 톤 맵핑 곡선을 생성함 - 에 비하여 로컬 명암(local contrast)을 더욱 개선할 수 있는 이점이 있다.

본 발명의 기술 사상은 상기 실시예에 따라 구체적으로 기술되었으나, 이상에서 설명한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 여러 가지 치환, 변형 및 변경으로 다양한 실시예가 가능함을 이해할 수 있을 것이다.

100 : 이미지 센서 200 : 메모리
300 : 이미지 프로세서

Claims

기 저장된 히스토그램에 기초하여 밝기에 따라 구분된 둘 이상의 톤 맵핑 정보를 생성하기 위한 톤 매핑 모듈; 및
상기 톤 맵핑 정보와 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하기 위한 HDR 이미지 생성 모듈
을 포함하는 이미지 센싱 장치.
제1항에 있어서,
상기 톤 매핑 모듈은,
상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하기 위한 클러스터링부; 및
상기 클러스터링된 히스토그램들에 기초하여 상기 톤 맵핑 정보를 생성하기 위한 톤 맵핑 정보 생성부를 포함하는 이미지 센싱 장치.
제2항에 있어서,
상기 클러스터링부는 상기 히스토그램에 기초하여 밝기값에 따른 픽셀의 빈도수(frequency)를 카운팅하고 그 카운팅 결과에 따라 상기 픽셀의 개수가 동일한 비율로 구분된 상기 클러스터링된 히스토그램들을 생성하는 이미지 센싱 장치.
제2항에 있어서,
상기 톤 맵핑 정보 생성부는 상기 클러스터링된 히스토그램들에 기초하여 둘 이상의 톤 맵핑 곡선(curve)들을 포함하는 상기 톤 맵핑 정보를 생성하고,
상기 톤 맵핑 곡선들은 각각 밝기값에 따른 픽셀의 누적수에 대응하는 이미지 센싱 장치.
제1항에 있어서,
상기 HDR 이미지 생성 모듈은,
상기 이미지에 기초하여 픽셀별로 밝기값을 계산하기 위한 밝기값 계산부;
상기 밝기값 계산부로부터 계산된 밝기값들에 기초하여 픽셀별로 블러링된(blured) 코드값을 생성하기 위한 블러링부; 및
상기 블러링부로부터 생성된 블러링된 코드값들과 상기 톤 맵핑 정보에 기초하여 상기 HDR 이미지를 생성하기 위한 이미지 처리부를 포함하는 이미지 센싱 장치.
제1항에 있어서,
이전 프레임(frame)에 대응하는 이전 이미지에 기초하여 밝기값에 따른 픽셀의 빈도수(frequency)를 나타내는 상기 히스토그램을 생성하기 위한 히스토그램 생성 모듈을 더 포함하는 이미지 센싱 장치.
제6항에 있어서,
상기 히스토그램 생성 모듈은,
상기 이전 이미지에 기초하여 픽셀별로 상기 밝기값을 계산하기 위한 밝기값 계산부; 및
상기 밝기값 계산부에 의해 계산된 밝기값들에 기초하여 상기 히스토그램을 생성하기 위한 히스토그램 생성부를 포함하는 이미지 센싱 장치.
복수의 픽셀을 포함하고, 입사광에 기초하여 이미지를 생성하기 위한 이미지 센서; 및
밝기에 따라 구분된 둘 이상의 톤 맵핑 정보와 상기 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하기 위한 이미지 프로세서
를 포함하는 이미지 센싱 장치.
제8항에 있어서,
상기 이미지 프로세서는,
기 저장된 히스토그램에 기초하여 상기 톤 맵핑 정보를 생성하기 위한 톤 매핑 모듈; 및
상기 톤 맵핑 정보와 상기 이미지에 기초하여 상기 HDR 이미지를 생성하기 위한 HDR 이미지 생성 모듈
을 포함하는 이미지 센싱 장치.
제9항에 있어서,
상기 톤 매핑 모듈은,
상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하기 위한 클러스터링부; 및
상기 클러스터링된 히스토그램들에 기초하여 상기 톤 맵핑 정보를 생성하기 위한 톤 맵핑 정보 생성부를 포함하는 이미지 센싱 장치.
제10항에 있어서,
상기 클러스터링부는 상기 히스토그램에 기초하여 밝기값에 따른 픽셀의 빈도수(frequency)를 카운팅하고 그 카운팅 결과에 따라 상기 픽셀의 개수가 동일한 비율로 구분된 상기 클러스터링된 히스토그램들을 생성하는 이미지 센싱 장치.
제10항에 있어서,
상기 톤 맵핑 정보 생성부는 상기 클러스터링된 히스토그램들에 기초하여 둘 이상의 톤 맵핑 곡선들을 포함하는 상기 톤 맵핑 정보를 생성하고,
상기 톤 맵핑 곡선들은 각각 밝기값에 따른 픽셀의 누적수에 대응하는 이미지 센싱 장치.
제9항에 있어서,
상기 HDR 이미지 생성 모듈은,
상기 이미지에 기초하여 픽셀별로 밝기값을 계산하기 위한 밝기값 계산부;
상기 밝기값 계산부로부터 계산된 밝기값들에 기초하여 픽셀별로 블러링된(blured) 코드값을 생성하기 위한 블러링부; 및
상기 블러링부로부터 생성된 블러링된 코드값들과 상기 톤 맵핑 정보에 기초하여 상기 HDR 이미지를 생성하기 위한 이미지 처리부를 포함하는 이미지 센싱 장치.
제9항에 있어서,
이미지 프로세서는,
이전 프레임(frame)에 대응하는 이전 이미지에 기초하여 밝기값에 따른 픽셀의 빈도수(frequency)를 나타내는 상기 히스토그램을 생성하기 위한 히스토그램 생성 모듈을 더 포함하는 이미지 센싱 장치.
제14항에 있어서,
상기 히스토그램 생성 모듈은,
상기 이전 이미지에 기초하여 픽셀별로 상기 밝기값을 계산하기 위한 밝기값 계산부; 및
상기 밝기값 계산부에 의해 계산된 밝기값들에 기초하여 상기 히스토그램을 생성하기 위한 히스토그램 생성부를 포함하는 이미지 센싱 장치.
글로벌 톤 맵핑 방식을 이용하고, 제1 이미지에 기초하여 히스토그램을 생성하는 단계;
로컬 톤 맵핑 방식을 이용하고, 히스토그램에 기초하여 밝기에 따라 구분된 둘 이상의 톤 맵핑 정보를 생성하는 단계; 및
상기 톤 맵핑 정보와 제2 이미지에 기초하여 HDR(high dynamic range) 이미지를 생성하는 단계
를 포함하는 이미지 센싱 장치의 동작 방법.
제16항에 있어서,
상기 제1 이미지는 이전 프레임(frame)에 대응하는 이미지를 포함하고,
상기 제2 이미지는 현재 프레임에 대응하는 이미지를 포함하는 이미지 센싱 장치의 동작 방법.
제16항에 있어서,
상기 제1 이미지 및 상기 제2 이미지는 현재 프레임(frame)에 대응하는 이미지를 포함하는 이미지 센싱 장치의 동작 방법.
제16항에 있어서,
상기 톤 맵핑 정보를 생성하는 단계는,
상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하는 단계;
스트레칭(stretching) 기법을 이용하여 상기 클러스터링된 히스토그램들에 대응하는 수정된(modified) 히스토그램들을 생성하는 단계;
스무딩(smoothing) 기법을 이용하여 상기 수정된 히스토그램들에 대응하는 스무딩된 히스토그램들을 생성하는 단계; 및
상기 스무딩된 히스토그램들에 기초하여 둘 이상의 톤 맵핑 곡선(curve)들을 포함하는 상기 톤 맵핑 정보를 생성하는 단계를 포함하는 이미지 센싱 장치의 동작 방법.
제16항에 있어서,
상기 톤 맵핑 정보를 생성하는 단계는,
상기 히스토그램에 기초하여 적어도 하나의 문턱 밝기값에 따라 둘 이상의 클러스터링된(clustered) 히스토그램들을 생성하는 단계; 및
상기 클러스터링된 히스토그램들에 기초하여 둘 이상의 톤 맵핑 곡선(curve)들을 포함하는 상기 톤 맵핑 정보를 생성하는 단계를 포함하는 이미지 센싱 장치의 동작 방법.