KR100874561B1

KR100874561B1 - 이미지 프로세싱 장치 및 방법

Info

Publication number: KR100874561B1
Application number: KR1020077006926A
Authority: KR
Inventors: 일리아 오브시안니코프
Original assignee: 마이크론 테크놀로지, 인크
Priority date: 2004-08-27
Filing date: 2005-08-24
Publication date: 2008-12-16
Also published as: TWI268104B; TW200614810A; CN101061506A; JP4468451B2; EP1789922A2; EP1789922B1; US20060044431A1; JP2008512051A; US7386186B2; WO2006026307A3; KR20070059111A; WO2006026307A2; CN100576247C

Abstract

이미지 프로세싱 방법 및 장치가 개시된다. 이미지 프로세싱 방법에 관한 일 실시예는 입력 이미지를 발광도 값을 갖는 픽셀 출력 신호를 생성하는 픽셀 어레이로 입력하는 단계, 픽셀 출력 신호 상에서 이미지 에지를 정의하는 픽셀들을 검출하는 이미지 에지 검출 루틴을 실행하는 단계, 에지 정의 픽셀들을 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역들로 분류하는 단계, 픽셀 어레이의 발광도 값 범위에 걸쳐 비선형 변형 함수 동작을 정의하기 위해 분류를 이용하는 단계, 입력 이미지를 캡쳐하는 에지 정의 픽셀들의 발광도 값에 비선형 변형 함수를 적용하는 단계, 및 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 가진 에지 정의 픽셀들을 이용하는 단계를 포함한다. 이미지 프로세싱 장치에 관한 일 실시예는 전술한 방법을 실행하는 프로그래밍된 프로세서를 포함한다.

발광도 값, 에지 검출 루틴, 에지 정의 픽셀, 비선형 변형 함수

Description

이미지 프로세싱 장치 및 방법 {APPARATUS AND METHOD FOR PROCESSING IMAGES}

본 발명은 이미지의 콘트라스트(contrast)를 강화하기 위해 디지털 이미지를 프로세싱하는 장치 및 방법에 관한 것이다.

예를 들어, 전자 결합 소자(CCD) 등의 이미저(imager) 다이 및 상보형 금속 산화막 반도체(CMOS) 다이와 같은 다이(die)를 포함하는 집적 회로는 이미지 재생 애플리케이션에서 일반적으로 사용되어 왔다.

CMOS 이미저 다이와 같은 이미저 다이는 일반적으로 단일 칩 상의 픽셀 어레이에 수천 개의 픽셀들을 포함한다. 픽셀들은 광을 전기적 신호로 변환시키며 이것은 그 후, 예를 들어, 프로세서와 같은 전기적 장치에 의해 저장 및 복원될 수 있다. 저장된 전기적 신호는 복원됨으로써, 예를 들어, 컴퓨터 스크린 또는 인쇄가능한 매체 상에 이미지를 생성시킬 수도 있다.

예시적인 CMOS 이미징 회로, 그것의 프로세싱 단계, 및 이미징 회로의 다양한 CMOS 소자들의 기능에 대한 상세한 설명이, 예를 들어, 각각 마이크론 테크놀로지사로 양도된 미국 특허 제6,140,630호, 제6,376,868호, 제6,310,366호, 제6,326,652호, 제6,204,524호, 제6,333,205호에 기술되어 있다. 상기 특허 명세서 들은 각각 전체로서 여기에 참조로서 제시된다.

도 1은 CMOS 이미저 장치(8)를 가지는 이미저 다이(10)의 블록도를 도시한다. CMOS 이미저 장치는 소정의 개수의 컬럼(column) 및 로우(row)에 배열된 복수 개의 픽셀들을 포함하는 픽셀 어레이(14)를 갖는다. 픽셀 어레이(14)의 각 로우의 픽셀 셀들은 로우 선택 라인에 의해 동일한 시간에 모두 턴온되고(turned on), 각 컬럼의 픽셀 셀들은 각각의 컬럼 선택 라인들에 의해 선택적으로 출력된다. 복수 개의 로우 및 컬럼 라인들이 전체 픽셀 어레이(14)에 대해 제공된다. 로우 라인들은 로우 어드레스 디코더(2)에 응답하여 로우 구동기(1)에 의해 차례로 선택적으로 활성화되고, 컬럼 선택 라인들은 컬럼 어드레스 디코더(4)에 응답하여 컬럼 구동기(3)에 의해 각각의 로우 활성화에 관하여 차례로 선택적으로 활성화된다. CMOS 이미저 장치(8)는 제어 회로(5)에 의해 작동되며, 제어 회로(5)는 픽셀 독출을 위해 적절한 로우 및 컬럼 라인들을 선택하는 제어 어드레스 디코더(2, 4), 및 선택된 로우 및 컬럼 라인들의 구동 트랜지스터에 구동 전압을 인가하기 위한 로우 및 컬럼 구동기 회로(1, 3)를 제어한다.

픽셀 출력 신호는 일반적으로 리셋일 때 전하 저장 노드로부터 얻어지는 픽셀 리셋 신호 V_rst 및 이미지에 의해 생성된 전하들이 노드로 전달된 이후에 저장 노드로부터 얻어지는 픽셀 이미지 신호 V_sig 를 포함한다. V_rst 및 V_sig 신호는 샘플 및 보류 회로(6)에 의해에 의해 판독되며, 각 픽셀 셀에 대하여 픽셀 상에 충돌하는 광량을 나타내는 차이 신호(V_rst - V_sig)를 생성시키는 차동 증폭기(7)에 의해 차 감된다. 이러한 신호 차이는 아날로그-투-디지털 컨버터(9)에 의해 디지털화된다. 디지털화된 픽셀 차이 신호들은 그 후 이미지 프로세서(11)로 공급되어 디지털 이미지를 형성한다. 또한, 도 1에 도시된 바와 같이, CMOS 이미저 장치(8)는 이미저 다이(10)를 형성하기 위해 단일 반도체 칩 상에 포함될 수도 있다. 이미저 다이(10)는 그에 제한되지는 않으나, 카메라, 개인 휴대용 정보 단말기(PDA), 스캐너, 팩시밀리, 및 복사기를 포함하는 여러 이미지 재생 애플리케이션에 포함될 수 있다.

사용자는 종종, 예를 들어, 사진과 같은 이미지 재생 애플리케이션에서 콘트라스트가 충만한 이미지를 보기를 원한다. 그러한 이미지들은 생생하고, 선명하고, 많은 디테일을 갖고 있기 때문에 시각적으로 즐겁다. 콘트라스트 개선에 관한 공지된 방법으로는 전달 기능의 변경("s-곡선"), 콘트라스트 확장(stretching), 히스토그램 균일화, 및 발광성 구성성분의 증폭 등이 있다. 각각의 방법은 고유의 단점들을 갖고 있으며, 이것은 저하된 이미지 품질을 초래할 수도 있다.

따라서, 이미지의 시각적 품질에 역효과를 미지치 않으면서 이미지의 콘트라스트를 증가시키기 위해 이미지를 프로세싱하는 것에 대한 요구 및 필요가 있다.

본 발명은 이미지를 프로세싱하는 방법 및 장치에 관한 것이다. 특히, 상기 방법 중 하나의 예시적인 실시예는 픽셀 출력 신호를 생성하는 픽셀 어레이로 이미지를 입력하는 단계, 이미지 에지를 정의하는 픽셀을 검출하는 픽셀 출력 신호에 이미지 에지 검출 루틴을 실행하는 단계, 에지 정의 픽셀들을 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역으로 분류하는 단계, 에지 정의 픽셀들의 발광도 값의 범위에 걸쳐서 비선형 변형 함수를 정의하기 위해 상기 분류를 이용하는 단계, 상기 비선형 변형 함수를 발광도 값에 적용하는 단계, 및 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 갖는 에지 정의 픽셀을 이용하는 단계를 포함한다. 상기 장치 중 하나의 예시적인 실시예는 전술한 방법을 실행하는 프로그래밍된 프로세서를 포함한다.

전술한 본 발명의 특성은 이하 첨부되는 도면을 참조로 하여 제공되는 상세한 설명에 의해 보다 명확하게 이해될 것이다.

도 1은 CMOS 이미저 다이에 관한 블록도이다.

도 2는 본 발명의 일 실시예에 따라 입력 이미지를 프로세싱하는 방법은 나타내는 흐름도이다.

도 3은 도 1의 픽셀 어레이의 일부분에 관한 계층도이다.

도 4는 본 발명의 일 실시예에 따라 입력 이미지로부터의 에지 맵(map) 구성을 나태내는 도면이다.

도 5는 임의의 에지 픽셀을 나타내는 입력 발광 히스토그램을 나타내는 도면이다.

도 6은 본 발명의 일 실시예에 따라 구성된 콘트라스트 강화 맵을 나타내는 도면이다.

도 7은 본 발명의 일 실시예에 따라 구성된 표준화된 콘트라스트 강화 맵을 나타내는 도면이다.

도 8은 본 발명의 일 실시예에 따라 구성된 변형 함수 맵을 나타내는 도면이다.

도 9는 본 발명의 일 실시예에 따라 구성된 도 10의 변형 함수 맵으로부터의 비선형 변형 함수 맵에 관한 추정을 나타내는 도면이다.

도 10은 본 발명의 일 실시예에 따라 구성된 비선형 변형 함수 맵을 나타내는 도면이다.

도 11은 본 발명의 일 실시예에 따라 구성된 출력 발광 히스토그램을 나타내는 도면이다.

도 12는 본 발명의 일 실시예에 따라 구성된 프로세서-기반 시스템에 관한 블록도이다.

이하의 상세한 설명에서, 첨부되는 도면을 참조로 하는데, 이는 본 문서의 일부를 구성하며 본 발명이 수행될 수도 있는 특정 실시예에 대한 설명의 방식으로 도시된다. 이러한 실시예들은 당업자가 본 발명을 수행할 수 있도록 충분히 상세하게 설명되고, 다른 실시예들이 활용될 수도 있으며 본 발명의 취지 및 범위로부터 벗어나지 않는 범위 내에서 구조적, 논리적, 전기적 변형이 이루어질 수도 있다. 기술되는 프로세싱 단계들의 진행은 본 발명의 예시적인 실시예이지만, 일련의 단계들이 여기에서 제시되는 것에 한정되지는 않으며, 특정한 순서에서 필연적으로 발생하는 단계들을 제외하면서 당해 기술 분야에서 공지된 바에 따라 변화될 수도 있다.

도면을 참조하면, 동일한 참조 번호가 동일한 구성요소를 지시하는데, 도 2는 이미지의 콘트라스트를 강화하기 위해 디지털 이미지를 프로세싱하는 방법(300)에 관한 예시적인 실시예를 나타낸다. 방법(300)은 이미지 프로세서, 예를 들어, 이미지 프로세서(11; 도1), 또는 예를 들어, 이미저 다이(10)의 외부에 있는 것 등의 임의의 다른 프로세서와 같은 이미지 프로세서에 의해 수행될 수도 있는데, 이미지 프로세서는 이하의 단계들: 이미지를 입력하는 단계(310 단계), 에지 검출 루틴을 실행하는 단계(315단계), 에지 정의 픽셀들을 각각의 에지 정의 픽셀의 발광도 값에 기초하여 소정의 복수 개의 그룹으로 분류하는 단계(320 단계), 그들의 최초 발광도 값에 기초하여 각각의 에지 정의 픽셀의 발광도 값에 비선형 함수를 적용하는 단계(355 단계), 및 이미지를 출력하는 단계(365 단계)을 수행하도록 프로그래밍된다. 방법(300)의 단계들은 이하에서 보다 상세하게 논의된다.

방법(300)의 제 1 단계(310)에 관한 일 실시예는 픽셀 어레이, 예를 들어, 픽셀 어레이(14; 도 1)의 픽셀들을 통해서 입력 이미지(410; 도 4)를 입력하는 단계를 포함한다. 일단 입력 이미지가 입력되면, 본 발명의 예시적인 실시예에 따라 에지 검출 루틴(315 단계)이 실행된다. 입력 이미지의 에지는 명/암 콘트라스트가 존재하는 이미지의 영역을 말한다.

수평 및 수직 에지를 모두 검출하는 것에 더하여, 당해 기술분야에 공지된 바와 같이, 에지 검출 루틴은 45 및 135 도의 에지도 인식한다. 이미지의 에지는 일반적으로 픽셀들의 클러스터(cluster) 내에서 검출된다. 예를 들어, 도 3은 예 를 들어, 이미저 다이(10; 도 1)와 같은 픽셀들(171-179)을 갖는 이미징 장치의 픽셀 어레이(14; 도 1)의 일부분에 관한 계층도를 나타낸다. 픽셀 어레이(14; 도1)의 각 픽셀은 8비트의 그레이스케일 이미지에 관하여 0 내지 255의 범위를 갖는 관련 발광도 값 또는 발광성을 갖는다.

픽셀 어레이의 각 픽셀은 그것이 관련 발광도 값에 기초하는 에지 정의 픽셀인지의 여부를 판단하기 위해 조사된다. 예를 들어, 밝은 픽셀(175)과 같은 픽셀을 조사함에 있어서, 임의의 인접 픽셀들(171-174, 176-179)이 조사된 픽셀로 에지를 정의하는지의 여부를 판단하기 위하여 주변의 픽셀들(인접 픽셀들(171-174, 176-179))이 분석된다. 조사중에 있는 픽셀에 인접한 픽셀들이 에지를 정의하기에 충분한 발광도 값을 갖지 않는다면, 조사된 픽셀은 버려질 것이다. 반면에, 도 3에 도시된 바와 같이, 조사 중에 있는 픽셀(조사된 픽셀(175))의 인접 픽셀들(171-174, 176-179) 중 하나 이상의 것이 에지를 정의한다면, 조사된 픽셀(175) 및 에지를 정의하는 임의의 다른 인접 픽셀들은 보다 더 프로세싱될 수 있다. 에지를 정의하기 위하여 인접하는 밝고 어두운 픽셀들의 발광성 값의 차이는 프로그래밍 가능한 값일 수도 있는 소정의 임계값을 초과해야 한다.

도 3은 조사된 픽셀(175)과 인접 픽셀들(171, 172, 173, 176, 177, 178 및 179) 사이에서 정의되는 에지를 나타내는데, 발광도 값의 차이가 에지가 검출되지 않는 정도이기 때문에 조사된 픽셀(175)과 픽셀(174) 사이에서는 에지가 정의되지 않는다. 이와 유사하게, 인접한 픽셀들(171 및 177)로 에지를 정의하는 것과 같이 조사된 픽셀(174)이 검출된다. 따라서, 설명되는 픽셀들(171-179)은 에지 정 의 픽셀들로 간주되며, 한층 더 프로세싱된다.

전술한 에지 검출 루틴은 단지 예시적인 실시예일 뿐이며, 어떠한 방식으로 한정하려는 것이 아니다. 예를 들어, 당해 기술 분야에서 공지된 다른 에지 검출이 이용될 수 있다.

도 4를 참조하면, 에지 맵(420)을 구성하기 위해 에지를 정의하는 픽셀들이 이용될 수 있다. 에지 맵을 구성하는 것은 방법(300; 도 2)에 대해 필수적인 것이 아니며, 수행될 필요가 없다. 에지 맵(420)은 입력 이미지(410)를 캡쳐하는 에지 픽셀들에 의해 출력되는 전기적 신호를 나타내는 것일 뿐이다. 에지를 정의하는 것으로 인식되지 않는 픽셀들도 또한 입력 이미지(410)의 일부분을 캡쳐한다. 에지를 정의하지 않는 그러한 픽셀들로부터의 전기적 신호는 출력 이미지를 출력하는 데에 이용된다 (365 단계; 도2).

도 2를 참조하면, 소정의 개수의 에지 정의 픽셀은 각 픽셀의 발광도 값에 기초하여 소정의 복수 개의 그룹으로 분류될 수 있다(320 단계). 예를 들어, 모든 에지 정의 픽셀들은 각각 상이한 발광도 값을 나타내는 256 그룹들, 즉, 0-255 중 하나로 분류될 수 있다. 도 5를 참조하면, 대응되는 발광도 값을 가지는 에지 정의 픽셀들의 분류를 설명하기 위해 입력 발광 히스토그램(510)이 생성될 수도 있다.

이후의 프로세싱에서, 각각의 에지 정의 픽셀과 관련되는 발광도 값에 비선형 함수가 적용된다(355 단계; 도2). 비선형 함수는 각각의 에지 정의 픽셀의 발광도 값에 값을 적용하는데 이로써 발광 값은 이하에서 보다 상세하게 설명되는 바 와 같이 증가되거나 또는 감소된다. 에지 정의 픽셀들의 발광도 값의 증가/감소는 입력 이미지의 콘트라스트를 증가시킨다. 에지 정의 픽셀들의 증가된/감소된 발광도 값은 입력 이미지의 콘트라스트를 증가시킨다. 증가된/감소된 발광도 값은 출력 이미지로 출력된다(365 단계; 도2). 출력 이미지는 더 나은 정의된 에지와 함께 강화된 콘트라스트를 갖는다.

비선형 함수는 에지 정의 픽셀들을 각 픽셀의 관련 발광도 값을 기초로 하는 영역으로 최초로 분류하는 것에 의해 결정된다. 전술한 바와 같이, 각 픽셀은 관련 발광도 값을 가지며, 각각은 예를 들어 0 내지 255의 소정의 복수 개의 그룹들로 분류된다. 이러한 그룹들은 소정의 복수 개의 영역들로 보다 더 분류된다. 예를 들어, 예를 들어 8과 같은 특정한 수보다 적은 발광도 값에 대응되는 에지 픽셀들은 영역 1로서 함께 분류될 수 있다. 8-15의 발광도 값에 대응되는 에지 픽셀들은 영역 2로서 분류될 수 있으며, 이는 에지를 가진 모든 픽셀들이, 예를 들어, 32 영역으로 분류될 때까지 분류되는데, 각 영역은 픽셀에 관한 256의 가능한 발광도 값들을 포함하기 위해 발광도 값 8을 가지며, 반드시 32 영역을 갖는 히스토그램을 생성한다. 비록 32의 동등 영역들로 분할되는 것으로 설명되었지만, 픽셀들은 원하는 애플리케이션을 기초로 하여 더 적거나 또는 더 많은, 즉, 32 영역보다 더 적거나 또는 더 많은 영역들로 분할될 수 있다. 또한, 픽셀들이 동등하게 분할될 필요는 없다.

일단 픽셀들이 영역들로 분류되면, 각각의 영역은 콘트라스트 강화 값을 할당받는다. 예시적인 실시예에서, 콘트라스트 강화 값(c_vx)은 이하의 공식에 따라 할당된다:

여기서, X는 콘트라스트 강화 값이 예를 들어, 1-32를 할당받는 영역을 나타내고, α 및 γ(감마 기호를 의미함, 본 명세서에서 기재된 γ는 감마의 소문자 기재에 해당함, 수학식에서의 r 기호와 동일 기호에 해당함)는 실험 상수이며, N_x는 대응되는 영역에 있는 픽셀들의 수를 나타내고, N_total은 총 픽셀 수를 나타낸다. 예를 들어, 32 영역들 중 영역 1의 콘트라스트 강화 값을 계산함에 있어서, 예를 들어, c_v1, N₁은 영역 1에서의 픽셀 수를 나타내고, N_total은 총 픽셀 수를 나타낸다. 예시적인 실시예에서, α는 1이고 γ는 0.5이다.

삭제

또 다른 예시적인 실시예에서, 어둡고 밝은 영역에 관한 콘트라스트 강화 값(c_vx)이 생성될 수 있다. 예를 들어, 영역 1 및 영역 32는 1의 값으로 설정될 수 있다, 즉, c₁ 및 c₃₂는 1의 값을 갖는다. 이하에서 보다 상세하게 논의되는 바와 같이, 어둡고 밝은 영역들은 밝은 이미지가 더 밝게 되고 어두운 이미지가 더 어둡게 되는 것을 방지한다.

도 6을 참조하면, 일단 소정의 수의 영역들 각각이 콘트라스트 강화 값(c_vx)을 할당받으면, 콘트라스트 강화 맵(610)이 생성될 수도 있다. 설명되는 예시에 서, 예를 들어, c₁, c₂, c₃ 의 영역 1, 2, 및 3과, 예를 들어, c₃₂ 의 영역 32는 1의 값으로 설정되어 각각 어둡고 밝은 영역들을 생성한다. 영역 0은 기초 값을 확립하기 위해 또한 생성된다. 영역 0, 예를 들어, c₀ 는 또한 1의 값으로 설정된다. 콘트라스트 강화 맵(610)의 구성은 선택적인 것이며, 어떠한 방식으로 한정하려는 것이 아니다. 에지를 정의하는 픽셀들에 의해 출력되는 전기적 신호들에 콘트라스트 강화 값들이 할당되며, 한층 더 프로세싱된다.

다음으로, 각각의 콘트라스트 강화 값(c_vx)이 표준화된다. 일 실시예에서, 각각의 콘트라스트 강화 값(c_vx)은 이하의 공식에 따라 표준화된다:

여기서, j는 x_lo 내지 x_high, 즉, c₁ + c₂ + c₃ … + c₃₂ 를 나타낸다. 각 영역의 표준화된 콘트라스트 강화 값(C_vx)은 표준화된 콘트라스트 강화 값 맵(710; 도7)을 생성하기 위해 매핑될 수 있다. 설명된 바와 같이, 수평선(720) 아래에 해당되는 영역에 포함되는 그러한 픽셀들의 발광도 값은 그들에 적용된 1 보다 적은 값을 가짐으로써 픽셀을 더 어둡게 만들 것이다. 수평선(720) 위에 있는 영역에 포함되는 그러한 픽셀들의 발광도 값은 그들에 적용된 1 보다 큰 값을 가짐으로써 픽셀을 더 밝게 만들 것이다. 표준화된 콘트라스트 강화 값의 매핑은 선택적인 것이며, 어떠한 방식으로 한정하려는 것이 아니다.

영역 1, 2, 3 및 32에 콘트라스트 강화 값 1이 할당되었기 때문에, 이에 따라, 표준화된 콘트라스트 강화 값 1/32, 영역 1, 2, 3 및 32에 포함되는 픽셀들의 발광도 값은 증가하거나 감소하지 않을 것이며, 이로써 가장 어두운 픽셀들이 더 어둡게 되는 것을 방지하고, 가장 밝은 픽셀들이 더 밝게 되는 것을 방지한다. 영역 1, 2, 3 및 32를 1의 값으로 설정하는 것은 단지 선택적인 것이고, 어떠한 영역도 1의 값과 동일한 콘트라스트 강화 값을 할당받을 필요는 없는 것이다. 다른 방법으로, 더 많거나 또는 더 적은 영역들이 1의 값과 동일한 콘트라스트 강화 값을 할당받을 수 있다.

각각의 영역에 표준화된 콘트라스트 강화 값(C_vx)을 할당한 이후에, 표준화된 콘트라스트 강화 값(C_vx)은 변형 함수를 생성하기 위해 이용된다. 일 실시예에서, 변형 함수는 이하의 공식에 따라 생성된다:

여기서, f는 전술한 32 영역들 각각에서 사용되는 함수를 나타내고, F는 각각의 영역에 관한 집적 함수를 나타낸다. 제 1 영역 0은 0으로 설정된다, 즉, f(0)=0 이다. 마지막 영역 32는 1로 설정된다, 즉, f(32)=1 이다. 제 1 영역에 있어서, f(1)= 0 + C_v1 로서 C_v1를 제로(0)로 설정된 C_v0에 더하게 된다. 제 2 영역에 있어서, f(2)= 0 + C_v1 + C_v2 이고, 기타 등등이다. 비록 선택적인 것이지만, 변형 함수는 변형 함수 그래프(810; 도 8)를 생성하기 위해 매핑될 수 있다.

도 8에 도시된 바와 같이, 표준화된 콘트라스트 강화 값(C_vx)으로부터 도출되는 함수는 그래프 상에 서른 세 개(33)의 상이한 포인트들은 나타낸다(도 6과 관련하여 전술한 기초 값 0에 더하여 서른 두 개의 영역들). 도 8의 변형 함수 그래프(810)에 도시된 33 포인트들은 그 후 이하의 공식에 따라 비선형 변형 함수를 추정하는 데에 이용된다:

여기서, F는 비선형 변형 함수를 나타내고, Y는 개별적인 강도 레벨(예를 들어, 0-255)를 나타내고, C_vx는 전술한 콘트라스트 강화 값을 나타내며, P는 입력 발광 히스토그램이 분할되는 소정의 개수의 영역들의 수를 나타내고, Z는 P에 의해 분할되는 강도 레벨의 수를 나타낸다. 예를 들어, 픽셀들이 RGB 8비트 3중(triplet) 및 P=32로 인코딩된다면, Z는 (255+1)/32=8이 될 것이다. 수학식 4에서, O_x는 출력 발광도를 나타내며 이하의 공식을 이용하여 계산된다:

여기서, C_M은 1 내지 x-1의 콘트라스트 강화 값을 나타내고, x는 1-32이며, I는 입력 발광 히스토그램에서 강도 값들의 수를 나타낸다. 입력 발광 히스토그램(510; 도5)에 있어서, I=256이다. 비선형 변형 함수에 대한 추정이 도 9에 도시되어 있다.

비록 단지 선택적인 것이지만, 일단 추청되는 비선형 변형 함수는 도 10에 도시된 바와 같은 비선형 변형 함수 맵(920)으로 매핑될 수 있다. 설명된 바와 같이, 256의 출력 발광 값들(예를 들어, 0-255) 각각에 비선형 변형 함수 값이 할당된다. 비선형 변형 함수는 그 후 입력 발광 히스토그램(510; 도 5)에 나타나는 입력 이미지를 캡쳐하는 에지 픽셀들의 발광도 값에 적용된다. 입력 이미지를 캡쳐하는 에지 정의 픽셀들에 대한 비선형 변형 함수의 적용은 도 11에 도시된 출력 발광 히스토그램(1010)에 의해 나타날 수 있는 전기적 신호를 야기시킨다. 설명된 바와 같이, 출력 발광도 히스토그램(1010)은 "확장된(stretched)" 히스토그램이다. 출력 발광 히스토그램(1010)의 생성은 단지 에지 정의 픽셀들에 의해 출력되는 전기적 신호의 프로세싱을 나타내는 것이다. 출력 발광 히스토그램(1010)은 단지 대응되는 발광도 값을 갖는 에지 정의 픽셀들의 프로세싱된 분류를 나타낸다.

방법(300)은 전술한 바와 같이, 출력 이미지를 출력함으로써 종료된다(365 단계). 출력 이미지는 에지 정의 픽셀들로부터의 프로세싱된 전기적 신호 및 에지를 갖는 것으로 인식되지 않은 픽셀들에 의해 출력되는 전기적 신호에 기초하며, 이들이 결합되는 경우, 전체 입력 이미지(410; 도4)를 캡쳐한다. 출력 이미지는 더 선명한 에지를 가짐으로써 이미지의 시각적 품질에 역효과를 미치지 않으면서 강화된 콘트라스트를 갖는 것으로 나타난다. 출력 이미지는 또한 과도하게 발달 되거나 덜 발달된 입력 이미지에서 보다 풍부한 디테일을 갖는다.

비선형 함수의 적용이 모든 발광도 값(예를 들어, 0-255)에서 수행될 필요는 없고, 단지 발광도 값의 범위에만 적용될 수 있다. 예를 들어, 비선형 함수는 어두운 픽셀(예를 들어, 0-128의 발광도 값을 갖는 픽셀)로 인식되는 픽셀들에 적용될 수 있으며, 이로써 어두운 픽셀들 만의 발광도 값을 변화시킨다. 이와 유사하게, 비선형 함수는 밝은 픽셀(예를 들어, 129-255의 발광도 값을 갖는 픽셀)로 인식되는 픽셀들에 적용될 수 있으며, 이로써 밝은 픽셀들 만의 발광도 값을 변화시킨다. 어두운 픽셀들 또는 밝은 픽셀들 만에 대한 비선형 함수의 적용은 프로세싱된 이미지의 콘트라스트를 강화시키는 동일한 효과를 갖는다.

본 발명이 (256의 발광도 값을 야기하는) 8비트 프로세싱에 관하여 설명되었지만, 본 발명이 이에 한정되는 것은 아니다. 더 높은 범위의 발광도 값을 필요로 하는, 예를 들어, 12비트, 16비트, 및 다른 비트의 프로세싱이 또한 이용될 수도 있다.

도 12는 이미저 다이(10; 도 1)를 포함할 수도 있는 이미징 장치(1108)를 포함하는 프로세서-기반 시스템(1100)을 도시하고 있으며, 본 발명에 따라 이미지를 프로세싱하는 방법을 이용한다. 프로세서-기반 시스템(1100)은 이미지 센서 장치를 포함할 수 있는 디지털 회로를 가진 시스템에 관한 예시이다. 한정됨이 없이, 그러한 시스템은 컴퓨터 시스템, 카메라 시스템, 스캐너, 기계 화면, 수송수단 네비게이션, 비디오 폰, 감시 시스템, 자동 초점 시스템, 스타 트래커 시스템, 이동 검출 시스템, 이미지 안정화 시스템, 및 데이터 압축 시스템을 포함할 수 있다.

예를 들어, 카메라 시스템과 같은 프로세서-기반 시스템(1100)은 일반적으로 버스(1104)를 통해 입력/출력(I/O) 장치와 통신하는 마이크로프로세서와 같은 중앙 처리 장치(CPU)를 포함한다. 이미징 장치(1108)는 또한 버스(1104)를 통해 CPU(1102)와 통신하고, 도 1에 관하여 전술한 이미저 다이(10)를 포함할 수도 있다. 프로세서-기반 시스템(1100)은 또한 랜덤 액세스 메모리(RAM)을 포함하고, 버스(1104)를 통해 CPU(1102)와 통신하는 플래시 메모리와 같은 리무버블 메모리(1115)를 포함할 수 있다. 이미징 장치(1108)는 단일 집적 회로 상에 또는 프로세서와는 상이한 칩 상에 메모리 저장소를 갖거나 갖지 않고서, 디지털 신호 프로세서 또는 마이크로프로세서와 같은 프로세서와 결합할 수도 있다. 프로세서-기반 시스템(1100)에 있는 메모리 저장 장치들 중 임의의 것은 전술한 방법을 이용하기 위한 소프트웨어를 저장할 수 있다.

도 2 내지 도 11를 참조로 하여 설명 및 기술된 프로세스에 따라 출력 이미지를 생성하는 프로세서는 이미지 프로세서(11) 또는 CPU(1102)에 의하거나, 또한 시스템(1100)과 통신하는 또 다른 프로세서에 의해 작동될 수도 있다. 본 발명이 그레이스케일 히스토그램에 대한 특정 애플리케이션과 함께 설명되었지만, 본 발명은 적색, 녹색, 및 청색 채널들에 관한 개별적인 히스토그램, 또는 3-차원 히스토그램의 형태로 주어질 수도 있는 컬러 이미지의 히스토그램에 적용될 수 있다. 또한, 본 발명이 CMOS 및 CCD 이미저에 관하여 설명되었지만, 그에 한정되는 것은 아니다. 예를 들어, 본 발명은 스캐너, 복사기, 및 팩스밀리와 같은 다양한 유형의 이미저들에 적용될 수 있다.

전술한 설명 및 도면들은 본 발명의 목적, 특징, 및 이점들을 달성하는 바람직한 실시예들에 관하여 기술한다. 특정한 이점들 및 바람직한 실시예들에 관하여 상술하였으나, 당업자는 본 발명의 취지 또는 범위를 벗어나지 않으면서 대체, 추가, 삭제, 변형 및/또는 다른 변경들이 이루어질 수도 있다는 것을 알 것이다. 따라서, 본 발명은 전술한 설명에 제한되지 않으며, 첨부되는 청구항의 범위에 의해서만 제한된다.

Claims

입력 이미지를 프로세싱하는 방법에 있어서, 상기 방법은:

상기 입력 이미지를 발광도 값을 갖는 픽셀 출력 신호를 생성하는 픽셀 어레이로 입력하는 단계;

상기 픽셀 출력 신호 상에서 이미지 에지를 정의하는 픽셀들을 검출하는 이미지 에지 검출 루틴을 실행하는 단계;

상기 에지 정의 픽셀들을 상기 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역들로 분류하는 단계;

상기 픽셀 어레이의 발광도 값 범위에 걸쳐 비선형 변형 함수 동작을 정의하기 위해 상기 분류를 이용하는 단계;

상기 입력 이미지를 캡쳐하는 상기 에지 정의 픽셀들의 발광도 값에 상기 비선형 변형 함수를 적용하는 단계;

상기 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 가진 에지 정의 픽셀들을 이용하는 단계를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제1항에 있어서,

상기 에지 검출 루틴은 상기 이미지에서 수평 및 수직 에지를 인식하는 것을 특징으로 하는 이미지 프로세싱 방법.
제2항에 있어서,

상기 에지 검출 루틴은 상기 이미지에서 45 및 135 도의 에지를 더 인식하는 것을 특징으로 하는 이미지 프로세싱 방법.
제1항에 있어서,

상기 발광도 값 범위는 밝고 어두운 픽셀들의 발광도 값들을 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제4항에 있어서,

상기 밝고 어두운 픽셀들의 상기 발광도 값은 0 내지 255를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제1항에 있어서,

상기 발광도 값들의 범위는 어두운 픽셀들의 발광도 값들을 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제6항에 있어서,

상기 어두운 픽셀들의 상기 발광도 값들은 0 내지 128을 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제1항에 있어서,

상기 발광도 값 범위는 밝은 픽셀들의 발광도 값을 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제8항에 있어서,

상기 밝은 픽셀들의 상기 발광도 값들은 129 내지 255를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제1항에 있어서,

상기 소정의 복수 개의 영역들은 32개인 것을 특징으로 하는 이미지 프로세싱 방법.
제10항에 있어서,

상기 32개 영역들 각각은 동일한 수의 발광도 값들을 포함하고 있는 것을 특징으로 하는 이미지 프로세싱 방법.
제11항에 있어서,

상기 32개 영역들 각각은 8개의 발광도 값들을 포함하고 있는 것을 특징으로 하는 이미지 프로세싱 방법.
제10항에 있어서,

상기 32개 영역들 각각은 동일하지 않은 수의 발광도 값들을 포함하고 있는 것을 특징으로 하는 이미지 프로세싱 방법.
제1항에 있어서,

상기 비선형 변형 함수를 적용하는 단계는:

상기 소정의 복수 개의 영역들 각각에 콘트라스트 강화 값을 할당하는 단계;

상기 할당된 콘트라스트 강화 값들 각각을 표준화하는 단계;

상기 표준화된 콘트라스트 값들 각각에 관한 변형 함수를 생성하는 단계; 및

상기 변형 함수로부터 상기 비선형 변형 함수를 추정하는 단계를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제14항에 있어서,

상기 콘트라스트 강화 값은 다음의 공식에 따라 할당되는 것을 특징으로 하는 이미지 프로세싱 방법.

(여기서, α 및 γ(감마)는 실험 상수이고, N_x는 대응되는 영역에 있는 픽셀들의 수를 나타내며, N_total은 총 픽셀 수를 나타냄)
제15항에 있어서,

α는 1이고 γ는 0.5 인 것을 특징으로 하는 이미지 프로세싱 방법.
제14항에 있어서,

상기 복수 개의 영역들 중 가장 어두운 영역은 콘트라스트 강화 값 1을 할당받는 것을 특징으로 하는 이미지 프로세싱 방법.
제17항에 있어서,

상기 복수 개의 영역들 중 가장 밝은 영역은 콘트라스트 강화 값 1을 할당받는 것을 특징으로 하는 이미지 프로세싱 방법.
제14항에 있어서,

상기 표준화하는 단계는 다음의 공식에 따라 수행되는 것을 특징으로 하는 이미지 프로세싱 방법.

(여기서, C_vx는 개별적인 표준화된 콘트라스트 강화 값을 나타내고, c_vx는 상기 소정의 개수의 영역들 각각에 할당되는 개별적인 콘트라스트 강화 값을 나타내며, c_j는 상기 소정의 복수 개의 영역들 각각에 할당되는 모든 콘트라스트 강화 값 들 전체를 나타냄)
제14항에 있어서,

상기 변형 함수는 다음의 공식에 따라 생성되는 것을 특징으로 하는 이미지 프로세싱 방법.

(여기서, x는 개별적인 영역을 나타내고, f는 상기 소정의 개수의 영역들 각각에 적용되는 함수를 나타내고, F는 상기 소정의 개수의 영역 각각에 대한 집적 함수를 나타내며, C_vx는 상기 영역에 대한 상기 표준화된 콘트라스트 강화 값을 나타냄)
제14항에 있어서,

상기 추정하는 단계는 다음의 공식에 따라 계산되는 것을 특징으로 하는 이미지 프로세싱 방법.

(여기서, F는 함수를 나타내고, Y는 상기 입력 발광 히스토그램의 개별적인 강도 레벨을 나타내고, C_vx는 상기 소정의 개수의 영역들에 할당되는 표준화된 콘트라스트 강화 값을 나타내며, Z는 P에 의해 분할되는 강도 레벨의 수를 나타내고, P 는 소정의 개수의 영역들의 수를 나타내고, O_x = 합계 (C_M) * I 이다. 이때, C_M은 앞서의 개별적인 강도의 콘트라스트 강화 값 각각에 더해지는 개별적인 강도 레벨의 할당된 콘트라스트 강화 값을 나타내고, I는 상기 입력 발광 히스토그램에서의 강도 값들의 수를 나타냄)
이미지 프로세싱 장치에 있어서,

발광도 값을 갖는 픽셀 출력 신호를 생성하는 픽셀 어레이로부터 이미지를 입력하는 단계;

이미지 에지를 정의하는 픽셀들을 검출하는 이미지 에지 검출 루틴을 실행하는 단계;

상기 에지 정의 픽셀들을 상기 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역들로 분류하는 단계;

상기 픽셀 어레이의 발광도 값 범위에 걸쳐 비선형 변형 함수 동작을 정의하기 위해 상기 분류를 이용하는 단계;

상기 입력 이미지를 캡쳐하는 상기 에지 정의 픽셀들의 발광도 값에 상기 비선형 변형 함수를 적용하는 단계; 및

상기 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 가진 에지 정의 픽셀들을 이용하는 단계를 실행하는 프로세서를 구비하는 이미지 프로세싱 장치.
제22항에 있어서,

상기 장치에 의해 실행되는 상기 에지 검출 루틴은 상기 이미지에서 수평 및 수직 에지를 인식하는 것을 특징으로 하는 이미지 프로세싱 장치.
제23항에 있어서,

상기 장치에 의해 실행되는 상기 에지 검출 루틴은 상기 이미지에서 45 및 135 도 에지를 더 인식하는 것을 특징으로 하는 이미지 프로세싱 장치.
제22항에 있어서,

상기 발광도 값들의 범위는 밝고 어두운 픽셀들의 발광도 값들을 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제25항에 있어서,

상기 밝고 어두운 픽셀들의 상기 발광도 값은 0 내지 255를 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제22항에 있어서,

상기 발광도 값들 범위는 어두운 픽셀들의 발광도 값을 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제27항에 있어서,

상기 어두운 픽셀들의 상기 발광도 값은 0 내지 128을 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제22항에 있어서,

상기 발광도 값들 범위는 밝은 픽셀들의 발광도 값을 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제29항에 있어서,

상기 밝은 픽셀들의 상기 발광도 값은 129 내지 255를 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제22항에 있어서,

상기 소정의 복수 개의 영역들은 32개인 것을 특징으로 하는 이미지 프로세싱 장치.
제31항에 있어서,

상기 32개 영역들 각각은 동일한 수의 발광도 값들을 포함하고 있는 것을 특징으로 하는 이미지 프로세싱 장치.
제32항에 있어서,

상기 32개 영역들 각각은 8개의 발광도 값들을 포함하고 있는 것을 특징으로 하는 이미지 프로세싱 장치.
제22항에 있어서,

상기 비선형 변형 함수를 적용하는 단계는:

상기 소정의 복수 개의 영역들 각각에 콘트라스트 강화 값을 할당하는 단계;

상기 할당된 콘트라스트 강화 값들 각각을 표준화하는 단계;

상기 표준화된 콘트라스트 값들 각각에 관한 변형 함수를 생성하는 단계; 및

상기 변형 함수로부터 상기 비선형 변형 함수를 추정하는 단계를 포함하는 것을 특징으로 하는 이미지 프로세싱 장치.
제34항에 있어서,

상기 콘크라스트 강화 값은 다음의 공식에 따라 할당되는 것을 특징으로 하는 이미지 프로세싱 장치.

(여기서, α 및 γ(감마)는 실험 상수이고, N_x는 대응되는 영역에 있는 픽셀들의 수를 나타내며, N_total은 총 픽셀 수를 나타냄)
제34항에 있어서,

상기 장치는 상기 복수 개의 영역들 중 가장 어두운 영역에 콘트라스트 강화 값 1을 할당하는 단계를 더 실행하는 것을 특징으로 하는 이미지 프로세싱 장치.
제36항에 있어서,

상기 장치는 상기 복수 개의 영역들 중 가장 밝은 영역에 콘트라스트 강화 값 1을 할당하는 단계를 더 실행하는 것을 특징으로 하는 이미지 프로세싱 장치.
제34항에 있어서,

상기 표준화하는 단계는 상기 표준화하는 단계는 다음의 공식에 따라 수행되는 것을 특징으로 하는 이미지 프로세싱 장치.

(여기서, C_vx는 개별적인 표준화된 콘트라스트 강화 값을 나타내고, c_vx는 상기 소정의 개수의 영역들 각각에 할당되는 개별적인 콘트라스트 강화 값을 나타내며, c_j는 상기 소정의 복수 개의 영역들 각각에 할당되는 모든 콘트라스트 강화 값들 전체를 나타냄)
제34항에 있어서,

상기 변형 함수는 다음의 공식에 따라 생성되는 것을 특징으로 하는 이미지 프로세싱 장치.

(여기서, f는 상기 소정의 개수의 영역들 각각에 적용되는 함수를 나타내고, F는 상기 소정의 개수의 영역 각각에 대한 집적 함수를 나타내며, C_vx는 상기 표준화된 콘트라스트 강화 값을 나타냄)
제34항에 있어서,

상기 추정하는 단계는 다음의 공식에 따라 계산되는 것을 특징으로 하는 이미지 프로세싱 장치.

(여기서, F는 함수를 나타내고, Y는 상기 입력 발광 히스토그램의 개별적인 강도 레벨을 나타내고, C_vx는 상기 소정의 개수의 영역들에 할당되는 표준화된 콘트라스트 강화 값을 나타내며, Z는 P에 의해 분할되는 강도 레벨의 수를 나타내고, P는 소정의 개수의 영역들의 수를 나타내고, O_x = 합계 (C_M) * I 이다. 이때, C_M은 앞서의 개별적인 강도의 콘트라스트 강화 값 각각에 더해지는 개별적인 강도 레벨의 할당된 콘트라스트 강화 값을 나타내고, I는 상기 입력 발광 히스토그램에서의 강도 값들의 수를 나타냄)
이미지를 프로세싱하는 장치에 있어서,

프로세서 및

상기 프로세서에 연결되고, 이미지를 프로세싱하는 프로그램을 가진 컴퓨터 판독가능 저장 매체를 포함하고,

상기 프로그램은:

발광도 값을 갖는 픽셀 출력 신호를 생성하는 픽셀 어레이로부터 이미지를 입력하는 단계;

이미지 에지를 정의하는 픽셀들을 검출하는 이미지 에지 검출 루틴을 실행하는 단계;

상기 에지 정의 픽셀들을 상기 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역들로 분류하는 단계;

상기 소정의 복수 개의 영역들 각각에 콘트라스트 강화 값을 할당하는 단계;

상기 콘트라스트 강화 값을 표준화하는 단계;

상기 표준화된 콘트라스트 값에 기초하여 변형 함수를 생성하는 단계;

상기 변형 함수에 기초하여 비선형 변형 함수를 추정하는 단계;

상기 입력 이미지를 캡쳐하는 상기 에지 정의 픽셀들의 발광도 값에 상기 비선형 변형 함수를 적용하는 단계; 및

상기 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 가진 에지 정의 픽셀들을 이용하는 단계를 실행하는 것을 특징으로 하는 이미지를 프로세싱하는 장치.
이미징 장치에 있어서,

이미지를 발광도 값을 갖는 픽셀 출력 신호를 생성하는 픽셀 어레이로 입력하는 입력 수단;

입력 이미지의 이미지 에지를 정의하는 픽셀들을 검출하는 수단;

상기 에지 정의 픽셀들을 상기 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역들로 분류하는 수단;

상기 소정의 복수 개의 영역들 각각에 콘트라스트 강화 값을 할당하는 수단;

상기 콘트라스트 강화 값을 표준화하는 수단;

상기 표준화된 콘트라스트 값에 기초하여 변형 함수를 생성하는 수단;

상기 변형 함수에 기초하여 비선형 변형 함수를 추정하는 수단;

상기 입력 이미지를 캡쳐하는 상기 에지 정의 픽셀들의 발광도 값에 상기 비선형 변형 함수를 적용하는 수단; 및

상기 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 가진 에지 정의 픽셀들을 이용하는 수단을 구비하는 것을 특징으로 하는 이미징 장치.
프로세서 시스템에 있어서,

발광도 값을 갖는 픽셀 출력 신호를 생성하는 픽셀 어레이로부터 이미지를 입력하는 단계;

이미지 에지를 정의하는 픽셀들을 검출하는 이미지 에지 검출 루틴을 실행하는 단계;

상기 에지 정의 픽셀들을 상기 에지 정의 픽셀들의 발광도 값에 기초하여 소정의 복수 개의 영역들로 분류하는 단계;

상기 픽셀 어레이의 발광도 값 범위에 걸쳐 비선형 변형 함수 동작을 정의하기 위해 상기 분류를 이용하는 단계;

상기 입력 이미지를 캡쳐하는 상기 에지 정의 픽셀들의 발광도 값에 상기 비선형 변형 함수를 적용하는 단계; 및

상기 입력 이미지로부터 강화된 이미지를 생성하기 위해 적용된 비선형 변형 함수를 가진 에지 정의 픽셀들을 이용하는 단계를 실행하는 프로세서를 구비하는 이미지 프로세싱 장치를 포함하는 프로세서 시스템.
제43항에 있어서,

상기 이미지 프로세싱 장치는 상보형 금속 산화막 반도체(CMOS) 이미저인 것을 특징으로 하는 프로세서 시스템.
제43항에 있어서,

상기 이미지 프로세싱 장치는 전자 결합 소자(CCD)인 것을 특징으로 하는 프로세서 시스템.
제43항에 있어서,

상기 이미지 프로세싱 장치는 디지털 복사기인 것을 특징으로 하는 프로세서 시스템.
제43항에 있어서,

상기 이미지 프로세싱 장치는 팩시밀리인 것을 특징으로 하는 프로세서 시스템.
제43항에 있어서,

상기 이미지 프로세싱 장치는 스캐너인 것을 특징으로 하는 프로세서 시스템.
제 22항에 있어서,

상기 프로세서는 이미저 다이 상에 위치하는 것을 특징으로 하는 이미지 프로세싱 장치.
제 22항에 있어서,

상기 프로세서는 이미저 다이와 분리되어 별도로 위치하는 것을 특징으로 하는 이미지 프로세싱 장치.