KR20060045424A

KR20060045424A - 휘도 정정을 갖는 디지털 카메라

Info

Publication number: KR20060045424A
Application number: KR1020050027534A
Authority: KR
Inventors: 헤웅-융 섬; 지안 선; 지아야 지아
Original assignee: 마이크로소프트 코포레이션
Priority date: 2004-04-01
Filing date: 2005-04-01
Publication date: 2006-05-17
Also published as: EP1583033A2; JP2005295567A; CN100471235C; EP1583033A3; US20050219391A1; EP1583033B1; US7463296B2; CN1697488A

Abstract

(예를 들어, 흐릿한 조명 상태에서 촬상되거나 하이 액션 장면을 촬상한 카메라 흔들림 때문에) 흐리거나 노출 부족일 수 있는 이미지의 품질을 개선하는 기술을 제시한다. 이 기술은 디지털 카메라, 디지털 비디오 카메라, 또는 비디오를 캡쳐할 수 있는 디지털 카메라에서 구현될 수 있다. 바람직한 일 구현예에서, 디지털 카메라는 이미지 센서, 저장 장치, 및 처리 유닛을 포함한다. 이미지 센서는 저장 장치에 저장되어 있는 동일한 장면으로부터 2개의 이미지를 캡쳐한다. 처리 유닛은 휘도 정정으로 캡쳐한 이미지를 향상한다.

디지털 카메라, 휘도 정정, 이미지 센서, 공간 가간섭성

Description

휘도 정정을 갖는 디지털 카메라{DIGITAL CAMERAS WITH LUMINANCE CORRECTION}

도 1은 휘도 정정을 제공하는데 활용될 수 있는 다중 슈트를 촬상하기 위한 예시적인 디지털 카메라 구성을 나타내는 도면.

도 2는 도 1에 도시한 센서에 의해 캡쳐되는 이미지 데이터를 저장하기 위한 예시적인 저장 구성을 나타내는 도면.

도 3은 도 1의 센서에 의해 캡쳐된 포톤 에너지가 시간에 따라 증가하는 방식을 가리키는 예시적인 그래프.

도 4는 디지털 카메라에서 휘도 정정을 제공하기 위한 예시적인 방법을 나타내는 도면.

도 5 및 도 6은 흐릿한 조명 상태에서 동일한 장면을 촬상한 이미지를 나타내는 도면.

도 7은 휘도 정정이 적용된 예시적인 고품질 이미지를 나타내는 도면.

도 8은 휘도 정정을 위한 예시적인 방법을 나타내는 도면.

도 9는 휘도 정정에서 활용될 수 있는 컬러 히스토그램 등화를 위한 예시적인 방법을 나타내는 도면.

도 10a은 오리지널 이미지로부터의 동등 관계(homogeneou) 영역을 나타내는 한편, 도 10b는 모션 블러(motion blur)와 함께 촬상된 동일 영역을 나타내는 도면.

도 11a 및 11b는 한 방향을 따른 픽셀 컬러의 곡선을 나타내는 도면.

도 12는 휘도 정정에 활용될 수 있는 예시적인 공간 영역 매칭 방법을 나타내는 도면.

도 13은 도 6의 이미지를 여러 영역으로 샘플 세그먼트화하는 것을 나타내는 도면.

도 14는 도 13의 이미지 내의 영역들을 이로드(erode)함으로써 발생하는 예시적인 중간 이미지를 나타내는 도면.

도 15는 도 13과 도 14의 선택된 영역 중심을 도트로서 나타내는 도면.

도 16은 샘플 입력 노출 부족 이미지를 나타내는 도면.

도 17은 휘도 정정을 도 16의 이미지에 적용함으로써 발생하는 예시적인 이미지를 나타내는 도면.

도 18은 컬러 전달 기술을 도 16의 이미지에 적용할 때의 예시적인 결과를 나타내는 도면.

도 19는 적응성 히스토그램 등화를 도 16의 이미지에 적용할 때의 예시적인 결과를 나타내는 도면.

도 20은 2.5의 감마 정정을 도 16의 이미지에 적용할 때의 예시적인 결과를 나타내는 도면.

도 21은 사진 편집 프로그램에서 도 16의 이미지에 적용되는 곡선 조절에 따 른 예시적인 결과를 나타내는 도면.

도 22 내지 25는 2개의 입력 이미지의 컬러 정보를 다양한 노출 기간과 최적으로 조합하는 본 발명의 방법론을 나타내는 도면.

도 26 내지 도28은 장면 내의 대상의 움직임에 의해 야기되는 모션 블러의 실험 결과를 나타내는 도면.

도 29 내지 도 32는 고 콘트라스트 장면 구현예와 관련된 샘플 이미지를 나타내는 도면.

도 33은 본 발명의 기술을 구현하는데 사용될 수 있는 일반적인 컴퓨터 환경을 나타내는 도면.

* 도면의 주요 부분에 대한 부호 설명 *

102 렌즈

104 센서

106 처리 유닛

108 프로세서

114 휘도 정정 로직

202 캐시

208 휘도 정정 코드

본 발명은 일반적으로 이미지 처리에 관한 것으로서, 보다 상세하게는 휘도 정정을 이용하는 디지털 카메라에 관한 것이다.

장면을 촬상할 때, 그 장면 내의 대상으로부터 방출되는 광은 일반적인 막 또는 디지털 막 상에 기록된다. 따라서, 촬상에는 이러한 광 기록이 관련된다. 조명 상태가 적당하지 않다면(예를 들어, 저 광(low light)에서의 촬상인 경우), 충분한 조명 상태에서 촬상된 사진과 비교할 때 장면 정보중 일부가 사진에 누락될 수 있다.

흐릿한 조명 상태에서 사진을 찍는 것은 전부터 매우 어려운 문제점을 야기하였다. 흔히, 이미지가 흐릿하고 그리고/또는 노출 부족된다. 노출 부족은 일반적으로 막을 충분히 노광하지 않음으로써 발생한다. 노출 부족은, 막을 오랜 기간동안 노광시킴으로써,예를 들어, 낮은 셔터 속도를 이용하여 보다 오랜 기간동안 셔터를 열어두게 함으로써 어느 정도 정정될 수 있다. 그러나, 낮은 셔터 속도는 블러링(blurring)을 야기한다. 블러링 문제는, 부분적으로는 셔터가 열려있는 동안 증가된 움직임 때문에 (예를 들어, 3각 카메라가 아닌) 핸드헬드 카메라를 이용할 때 악화된다. 또한, 블러링은 셔터 동작동안 장면 내의 대상의 움직임으로 인해 발생한다.

공통적인 해결책은, 보다 높은 ISO(국제 표준화 기구에 의해 설정되는 접두어)를 갖는 막 또는 플래시를 이용하는 것이다.

플래시를 이용하면 여러 이유로 인해 제한을 가져온다. 예를 들어, 플래시는 비교적 짧은 거리에 대해서만 동작가능하다. 또한, 플래시로 인해 컬러 변화가 발생할 수 있으며, 이에 따라 장면이 부정확하게 표현된다. (예를 들어, 원격 활동을 포함하는) 다중 플래시를 활용하여 플래시 사진 촬영의 결과를 개선할 수 있지만, 한 장면에 대하여 여러 플래시를 설정하는 것은 항상 가능하지 않을 수 있다 (예를 들어, 야외 사진 촬영 또는 숏 노티스(short notice)로 사진을 촬영하는 경우)

보다 높은 ISO 막도 여러 이유로 인해 제한을 가져온다. 전형적인 사진 촬영에 있어서, 막은 흔히 한번에 하나의 롤씩 변경가능하다. 따라서, (예를 들어, 저 조명 상태에 적절한) 보다 높은 ISO 막을 카메라에 로드하면, (예를 들어, 과다 노출을 피하기 위해 높은 셔터 속도에서 사진을 찍어야 하는) 촬영자의 옵션을 제한하지 않고선 일반적인 조명 상태용으로 카메라를 이용하지 못할 수 있다. 디지털 사진 촬영에서, 높은 ISO 설정의 성능은 카메라 센서에 완전히 의존하고 있으며, 이것은 상이한 카메라들 간에 상당히 가변적이다. 게다가, 더 심각한 단점은 높은 ISO를 이용함으로써 비교적 많은 양의 노이즈가 발생한다는 것이다.

현재, 예를 들어, 안전한 셔터 속도를 넘어서는 노출 시간으로부터 발생하는 블러링 이미지의 품질을 개선하기 위한 여러 기술이 존재한다. 일반적으로, 안전한 셔터 속도는, 렌즈 초점 길이의 역수보다 느리지 않은 속도이다. 이러한 기술들은 대략 인 프로세스(in-process) 및 포스트 프로세스(post-process) 방식으로 분류할 수 있으며 이것은 예를 들어 긴 노출 시간, 카메라 흔들림, 또는 대상 움직임으로 인한 모션 블러를 제한한다.

인 프로세스 방식은 대부분 하드웨어 기반 기술로서, 카메라 흔들림 보상에 의해 렌즈 안정화가 달성된다. 다른 방법으로, (상보적 금속 산화 반도체(CMOS) 센서와 같은) 고속 디지털 카메라는, 다중 이미지 기반모션 블러 복원을 허용하는 정상적인 노출 시간 내에 고속 프레임 캡쳐를 수행할 수 있다. 인 프로세스 기술은 적당한 노출 시간이 주어지면 비교적 선명하고 힘있는 이미지를 생성할 수 있다. 그러나, 이 기술은 특별히 설계된 하드웨어 장치를 필요로 한다.

반면에, 포스트 프로세스 방법은 일반적으로 모션 디블러링(motion deblurring) 기술로서 고려될 수 있다. 이 기술중에서, 단일 블러링 이미지를 향상하는 블라인드 디컨버루션(blind deconvolution)이 널리 채용되고 있으며, 이것은 포인트 확산 함수라(point spread function; PSF)는 상이한 가정 하에 적용될 수 있다. 다른 방법으로, 이미지 시퀀스 또는 상이한 블러링 방향을 갖는 여러 이미지를 이용하여 보다 일반적 상황에서 PSF를 추정할 수 있다. 어느 경우에서든, 공간 및 시간 좌표에서의 이미지의 이산분포화(discretization) 및 양자화로 인해, PSF를 신뢰성있게 추정할 수 없으며, 이것은 (삼각대 상에 카메라로 찍은 이미지 또는 정확한 노출을 갖는 정적 장면인) 그라운드 트루(ground truth) 이미지보다 열등한 결과를 가져온다. 1차 검출기(고 공간 해상도) 및 2차 검출기(고 시간 해상도)로 구성되는 하이브리드 이미징 시스템도 제안되었다. 2차 검출기는 보다 정확한 모션 정보를 제공하여 PSF를 추정하고, 따라서, 긴 노출 동안에도 디블러링이 가능해진다. 그러나, 이 기술은 추가 하드웨어 지원을 필요로 하며, 디블러링된 이미지는 여전히 그라운드 트루 만큼 양호하게 그리고 상세히 보이지 않는다.

따라서, 이러한 해결책으로는 충분한 이미지 품질을 제공하지 못한다.

(예를 들어, 흐릿한 조명 상태에서 촬상한 또는 하이 액션 장면을 촬상한 카메라 흔들림으로 인해) 블러링되거나 노출 부족일 수 있는 이미지의 품질을 개선하는 기술을 제공한다. 이 기술은 디지털 카메라, 디지털 비디오 카메라, 또는 비디오를 캡쳐할 수 있는 디지털 카메라에서 구현될 수 있다.

일 구현예에서, 디지털 카메라는 이미지 센서, 저장 장치, 및 처리 유닛을 포함한다. 이미지 센서는 저장 장치에 기억되어 있는 동일한 장면으로부터 2개의 이미지를 캡쳐한다. 처리 유닛은 캡쳐한 이미지를 휘도 정정으로 향상한다.

다른 구현예에서, 휘도 정정은, 제1 및 제2 이미지의 컬러 통계 및 공간 가간섭성(spatial coherence)을 결정하는 것을 포함한다. 결정된 컬러 통계 및 공간 가간섭성을 활용하여 제1 및 제2 이미지중 노출 부족 이미지를 향상시킨다.

첨부 도면을 참조하여 상세한 설명을 설명한다. 도면에서, 참조 번호의 좌측 자리는 그 참조 번호가 처음 보이는 도면을 나타낸다. 상이한 여러 도면에 동일한 참조 번호를 이용하여 동일하거나 유사한 항목을 가리킨다.

다음에 따르는 설명은, (예를 들어, 흐릿한 조명 상태에서 촬상되거나 하이 액션 장면을 촬상한 카메라 흔들림 때문에) 블러링되거나 노출 부족일 수 있는 이미지의 품질을 개선하는 기술을 나타낸다. 상이한 노출 간격들을 갖는 동일한 장면에서 2개의 사진을 촬상한다. 따라서, 하나의 이미지는 노출 부족될 수 있고 다른 하나는 블러링될 수 있다. 이러한 2개 이미지 내의 정보를 이용하여 눈에 띄는 블러링이나 어두움 없이 그 장면의 고 품질 이미지를 제공한다. 2개 사진은, 예를 들어, 이미지의 중심이 상당히 이동하지 않도록 또는 카메라에 의한 모션 영향 또는 그 장면 내의 대상의 움직임을 확실히 제한하도록 짧은 간격으로 촬상될 수 있다.

이러한 기술들을 쉽게 응용하여 포화 영역에서의 미세한 상세를 밝혀내도록 고 콘트라스트 장면을 다룰 수 있다(도 22 내지 25를 참조하여 후술함). 또한, 이 기술들중 일부는 디지털 카메라, 디지털 비디오 카메라, 또는 비디오를 캡쳐할 수 있는 디지털 카메라 내에 직접 포함될 수 있다. 예를 들어, 디지털 카메라는 2개의 사진을 촬상하는 동안 셔터를 열린 상태로 유지하도록 구성될 수 있다(도 1, 4, 8을 참조하여 후술함).

디지털 카메라 구성

도 1은 휘도 정정을 제공하는데 활용될 수 있는 다중 슈트를 촬상하기 위한 예시적인 디지털 카메라 구성(100)을 나타낸다. 이 카메라는 독립형 카메라이거나 ( 휴대 정보 단말(PDA), 셀 폰 등과 같은) 다른 장치 내에 내장된 카메라일 수 있다. 이 구성(100)은 광에 노출되는 렌즈(102)를 포함한다. 상이한 타입의 렌즈(예를 들어, 줌(zoom), 어안(fish eye), 와이드 앵글(wide angle) 등)과 같은 다중 렌즈 구성을 활용하여 광을 캡쳐할 수 있다.

또한, 이 구성은 옵션 사항인 셔터(도시하지 않음)를 더 포함할 수 있다. 셔터는 렌즈(102)에 입력되는 광에 대한 센서(104)의 노출을 제어할 수 있다. 이에 따라, 셔터는 센서(104)와 렌즈(102) 사이에 위치할 수 있다. 셔터는 카메라 상의 버튼에 의해 또는 원격으로 (예를 들어, 적외선 또는 무선 주파수 리모콘에 의해) 활성화될 수 있다. 셔터 버튼을 한번 누름으로써 카메라에 의해 2개의 사진을 촬상할 수 있다 (이에 따라, 예를 들어, 도 4 내지 도 8을 참조하여 후술되는 바와 같이 이미지에 휘도 정정을 적용할 수 있다). 센서(104)는 CMOS 또는 전하 결합 소자(CCD)일 수 있다.

구현예에서, 센서(104)는 (셔텨와 같은) 물리적 배리어를 필요로 하지 않고 필요할 때 활성화될 수 있다(예를 들어, 전원 공급될 수 있다). 게다가, (센서 커버와 같은) 보다 간단한 메카니즘을 활용하여 렌즈(102) 및 센서(104)를 환경 요소(예를 들어, 강력한 태양광, 먼지, 물, 습기 등)로부터 보호할 수 있다.

디지털 카메라 구성(100)은, 센서(104)에 결합된 디지털 카메라 처리 유닛(106)을 더 포함한다. 처리 유닛(106)은, (도 4를 참조하여 후술되는 바와 같이) 센서(104)에 의해 캡쳐된 이미지를 수신, 저장 및/또는 처리하는 프로세서(108) 및 저장 장치(110, 112)를 포함한다. 다중 프로세서(108)를 활용하여, 예를 들어, 속도 개선을 제공할 수 있다. 또한, 처리 유닛(106) 또는 프로세서(108)는 이미징 애플리케이션용으로 특별히 설계될 수 있다.

도시한 바와 같이, 처리 유닛(106)은 리드 온리 메모리(ROM; 110)와 같은 비휘발성 메모리를 포함할 수 있다. 일 구현예에서, ROM(110) 상에 저장된 데이터는 (예를 들어, 기동 또는 요청시) 카메라 설정, 부트 정보 등을 제공하는데 활용된다. ROM(110) 대신에 또는 이에 추가하여, 플래시 메모리를 활용하여 변경을 허용할 수 있다. 또한, 전기적 소거 프로그래밍가능한 리드 온리 메모리(EEPROM)와 같 은 다른 형태의 재기록가능 저장 장치를 이용할 수 있다. 또한, 저장 장치(112)는 도 2를 참조하여 후술되듯이 프로세서(108)에 액세스가능하고 그리고/또는 이 프로세서에 의해 동작될 수 있는 데이터 및/또는 프로그램 모듈을 포함할 수 있다.

디지털 카메라 구성(100)은 (도시하지 않은) 다른 탈착가능/탈착불가, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예를 들어, 하드 디스크 드라이브 또는 다른 비휘발성 자기 매체(예를 들어, 플로피 디스크), (컴팩트 디스크 ROM(CD-ROM) 및/또는 디지털 버서타일 디스크(DVD)와 같은) 광 디스크 드라이브, (예를 들어, 디지털 비디오 카메라의 경우) 테이프 등을 활용하여 저장 장치에 디지털 카메라 구성(100)을 제공할 수 있다.

디지털 카메라 구성(100)은, 예를 들어, 도 2, 4, 8을 참조하여 후술되는, 휘도 정정을 캡쳐한 이미지에 적용하는 휘도 정정 로직(114)을 선택 사항으로서 포함할 수 있다. 휘도 정정 로직(114)은 주문형 반도체(ASIC), 프로그래밍가능 로직 어레이(PLA) 등으로 구현될 수 있다.

구현예에서, 디지털 카메라 구성(100)은 (도 33을 참조하여 설명되는 계산 환경과 같은) 하나 이상의 외부 하드웨어 장치를 활용하여 디지털 카메라 처리 유닛(106)에 더하여 또는 디지털 카메라 처리 유닛(106) 대신에 데이터를 처리 및/또는 저장할 수 있다. 이러한 구현예에서, 디지털 카메라 구성(100)은 외부 하드웨어 장치에 의해 제어될 수도 있다. 이 설정에 의해 촬영자는 장면들 간에 카메라 파라미터를 수동으로 변경하지 않고서 최상의 사진을 촬상하는데 집중할 수 있게 된다. 데이터는 유선 접속(예를 들어, 유니버설 시리얼 버스(USB), 파이어와이어 (예를 들어, IEEE 1394 등) 및/또는 무선 접속(예를 들어, 802.11 (및 이의 변형), 셀룰러 네트워크 무선 주파수 등)을 통하여 외부 하드웨어 장치와 교환될 수 있다.

도 2는 도 1의 저장 장치(104)에 의해 캡쳐된 이미지 데이터를 저장하는 예시적인 저장 장치(112)를 나타낸다. 저장 장치(112)는, (예를 들어, 도 1을 참조하여 설명한 디지털 카메라에 의해) 캡쳐된 2개의 연속 사진을 저장하기 위한 적어도 2개의 버퍼 또는 캐시(202, 204)를 포함한다. 다른 방법으로, 버퍼(202, 204)는 논리적으로 구현될 수 있다 (즉, 동일한 메모 장치 상에 물리적으로 위치하지만 논리적으로 분리될 수 있다). 도 1의 프로세서(108)는 예를 들어 휘도 정정을 위해 캡쳐한 이미지의 처리를 허용하도록 버퍼(202, 204)에 대한 액세스를 가질 수 있다(도 4 참조).

저장 장치(112)는, 예를 들어, 캡쳐한 이미지를 조작하는 동안 데이터 캐싱을 제공하는 추가 버퍼(206)를 포함할 수 있다. 추가 버퍼를 활용하여 이전에 캡쳐한 이미지가 조작되는 동안 새롭게 캡쳐된 이미지를 저장할 수도 있다. 또한, 저장 장치(112)는 (예를 들어, 버퍼 또는 별도의 메모리 장치에) 휘도 정정 코드 또는 명령(208)을 선택 사항으로서 저장할 수 있다. 이러한 구현예에서, 프로세서(108)는 휘도 정정을 수행하는 휘도 정정 코드(208)를 액세스할 수 있다 (도 4 및 8 참조).

도 3은 도 1의 센서(104)에 의해 캡쳐된 포톤 에너지가 시간에 대하여 증가할 수 있는 방식을 나타내는 예시적인 그래프(300)이다. 예를 들어, 시간 T1에서, 센서 이미지는 (도 5를 참조하여 설령한 바와 같이) 흐릿한 조명 상태에서 노출 부 족일 수 있다. 또한, 시간 T2(예를 들어, 시간 T1 후 1/2초)에서, 센서 이미지는 도 6을 참조하여 설명되는 바와 같이 (예를 들어, 카메라 모션, 장면 내의 대상 등)으로 인해 블러링될 수 있다. 이 구현예에서는, 노출의 이러한 차이를 이용하여 도 4를 참조하여 후술하는 바와 같이 휘도 정정을 제공할 수 있다.

휘도 정정 디지털 카메라

도 4는 디지털 카메라에 휘도 정정을 제공하는 예시적인 방법(400)을 나타낸다. 이 방법(400)은, 도 1을 참조하여 설명한 것과 같은 디지털 카메라 내에 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다.

독립형 디지털 카메라 또는 (PDA, 셀 폰 등과 같은) 다른 장치에 내장된 디지털 카메라 상의 버튼을 누름으로써 이미지(402)를 캡쳐하는 코맨드를 수신하면, 카메라 센서(예를 들어, 도 1의 104)는 노광된다. 시간 T1에서 제1 이미지를 캡쳐한다(406). 시간 T1은 도 3의 그래프(300)을 참조하여 설명한 것일 수 있다. 따라서, 제1 이미지는 노출 부족일 수 있다 (예를 들어, 도 5의 I_L).

이후, 시간 T2에서 동일한 장면에서의 제2 이미지를 캡쳐한다(406). 시간 T2는 도 3의 그래프(300)를 참조하여 설명한 것일 수 있다. 따라서, 제2 이미지는 블러링될 수 있다 (예를 들어, 도 6의 I_H). 구현예에 있어서, 디지털 카메라의 노출 브라케팅(bracketing) 특성을 활용하여 2개의 이미지를 캡쳐할 수 있다. 게다가, 일부 카메라는, 셔터 버튼을 한번 누름으로써 상이한 셔터 속도로 다중 사진을 촬상하는 노출 브라케팅(예를 들어, 캐논사의 G-model 및 니콘사 Coolpix 모델의 일부 디지털 카메라)을 이미 포함하고 있다. 그러나, 현존하는 내장형 카메라 기능에는 일부 제한이 있다. 즉, 이 기능은 수동 모드에서 동작하지 않으며, 셔퍼 속도 차이가 제한될 수 있다.

이후, 본 명세서에서 설명하는 바와 같은 캡쳐한 이미지(도 8 참조)에 휘도 정정을 적용하여 고 품질의 이미지를 제공한다(408; 예를 들어, 도 7의 I_C).

셔터를 갖는 디지털 카메라에서, 셔터는 개방된 상태로 되어 동일한 장면에서의 노출 부족의 이미지 및 블러링 이미지 모두를 캡쳐하게 된다. 이러한 구현예는, 임의의 모션(예를 들어, 그 장면 내에서 카메라 또는 대상으로부터의 모션)이 제한되는 것을 보장한다. 또한, 셔퍼를 개방된 상태로 둠으로써, 속도 및/또는 (예를 들어, 자연 사진을 촬상하기 위한) 콰이어트니스(quietness)를 개선할 수도 있다 (즉, 중간 셔터 동작을 위한 래그 타임이 없음).

일 구현예에서, 휘도 정정(408)을 수행하기 위한 소프트웨어는 (도 3을 참조하여 설명되는 것과 같은) 범용 컴퓨터를 통해 제공될 수 있다. 컴퓨터는 카메라(예를 들어, 도 1 참조)에 직접 결합될 수 있으며 또는 카메라의 메모리 카드가 컴퓨터에 추후 링크되어 그 이미지를 처리할 수 있게 한다.

다른 구현예에서, 방법(400)은 디지털 비디오 카메라(또는 비디오를 캡쳐할 수 있는 디지털 카메라)에서 구현된다. 비디오 카메라는 (예를 들어, 초당 약 45 내지 60 프레임을 캡쳐하는) 고속 카메라일 수 있다. 카메라의 센서(예를 들어, 도 1의 104 참조)는 모든 프레임/필드용으로 재구축되어 집적 시간, 노출 타이밍, 및/또는 아날로그 대 디지털 변환(ADC) 이득을 조절할 수 있다. 다른 방법으로, 상이한 설정을 갖는 2개 이상의 센서를 활용하여 연속 이미지를 캡쳐할 수 있다.

샘플 이미지

도 5 및 6은 흐릿한 조명 상태로 동일한 장면에서 촬상된 이미지를 나타낸다. 도시한 바와 같이, 도 5의 이미지(I_L)는 노출 부족 상태에 있으며 도 6의 이미지(I_H)는 블러링되어 있다. 도 5 및 6의 이미지는 상이한 노출 간격을 갖는다. 도시한 바와 같이, 도 5의 이미지(I_L)는 도 6의 이미지(I_H)보다 긴 노출 시간을 갖는다. 본 명세서에서 설명하는 기술은 도 5와 6에 도시한 이미지를 활용하여, 예를 들어, 도 8을 참조하여 더 후술하는 휘도 정정을 적용함으로써 도 7에 도시한 바와 같은 고 품질의 이미지(I_C)를 구성할 수 있다.

이미지 획득

일 구현예에서, 캡쳐한 이미지의 노출 시간과 블러링 정도 간의 트레이드오프를 이용하기 위해, 아래와 같은 노출 설정을 갖는 동일한 캡쳐 장치(예를 들어, 카메라)를 이용하여 2개의 입력 이미지를 촬상할 수 있다.

* 대략 안전한 셔터 속도에서의 노출 시간으로 하나의 이미지(예를 들어, 도 5의 I_L)를 촬상하여, 모션 블러링이 크게 감소되는 노출 부족 이미지를 생성한다. 이 이미지(I_L)가 매우 어둡기 때문에, 이 이미지의 컬러는 허용되지 않는다.

* 다른 이미지(예를 들어, 도 6의 I_H)는 연장된 노출 시간에서 획득된 이미 지이다. 이 이미지의 컬러 및 밝기는 허용가능하다. 그러나, 이것은 그 장면에서 카메라 흔들림 또는 대상의 모션으로 인한 블러링된 모션이다.

장면(또는 그 장면에서의 대상)의 움직임 및/또는 캡쳐 장치(예를 들어, 삼각대가 없는 핸드헬드 카메라)가 가능한 상황에서, 짧은 간격으로 2개의 사진을 촬상할 수 있다. 시간 경과가 가능한 짧게 유지된다면, 그 2개 이미지 간의 차이는 최소화되며 그리고/또는 각 픽셀의 위치의 지역적 매칭은 최대화된다.

휘도 정정

도 8은 휘도 정정을 위한 예시적인 방법(800)을 나타낸다. 도 5와 6을 참조하여 설명한 바와 같이 동일한 장면에서 2개의 이미지(I_L 및 I_H)를 제공하며, (유사한 제목으로 보다 상세히 후술될) 그 이미지의 컬러 통계(804) 및 공간 가간섭성(806)을 결정한다. 도 5와 6을 참조하여 설명한 바와 같이, I_L 및 I_H는 상이한 노출 간격을 갖는 동일한 장면에서의 2개의 이미지이다. 따라서, 이들은 컬러 통계 뿐만 아니라 대응하는 공간 가간섭성에도 관련된다.

컬러 통계 및 공간 가간섭성 정보를 활용하여(808) 정상적으로 노출된 고 품질의 이미지(예를 들어, 도 7의 I_C)를 제공하도록 컬러 공간에서의 노출 부족 이미지(도 5의 I_L)를 향상시킨다. 구체적으로, 스테이지(808)는 일 구현예에서 컬러 매핑 방식을 활용한다. 컬러 매핑은, 노출 부족 이미지로부터 결정되는 공간 상세에 의해 제약되고, 따라서, 기존의 순수한 컬러 전달 기술과 다르며 이 기술을 개선한다. 더 상세히 후술하는 바와 같이, 컬러 통계 및 공간 제약을 적절히 공식화함으 로써, 그리고 이들을 베이스(Bayesian)의 프레임워크 내로 통합함으로써, 최대 사후(maximum posterior; MAP) 솔루션은 픽셀 컬러를 향상시키는 동안 동시에 구조적 상세를 유지하는 컬러 공간에서 최적의 컬러 매핑 함수를 제공한다.

또한, 방법(800)은 카메라 흔들림 및 대상 움직임을 하나의 통합된 프레임워크에서 동시에 처리할 수 있다. 게다가, 대상 토폴로지 또는 대상 변형의 변경도 다룰 수 있으며, 이것은 대부분의 디블러링 방법에 대해서는 어려우며, 그 대상의 상이한 부분들이 상이한 PSF를 갖고 있기 때문이다. 또한, (하이 콘트라스트 장면에서의 컬러 통계 하에 후술되듯이) 하나의 제약을 약간 수정함으로써, 방법(800)을 확장하여 하이 콘트라스트 장면을 다루며 그리고 하이라이트 영역 또는 포화 영역에서 캡쳐한 미세 상세를 갖는 이미지를 생성할 수 있다.

일 구현예에서, 방법(800)은, 광 존재로 인해 불필요한 생물학적 현상이 발생할 수 있는 생물학적 물질의 이미지를 캡쳐하는 것과 같이) 불필요하거나 (예를 들어, 트래픽 제어 카메라에서와 같이 거리 또는 환경 상태로 인해) 실용적이지 못한, (컴팩트 카메라, PDA, 카메라가 집적된 시계, 펜 등의 전력 소모 제한으로 인해) 플래시와 같은 인공 광원이 존재하지 않는 낮은 조명 상태에서, 쉽게 적용된다. 인공 광이 불필요한 예는, 현미경, 전자 현미경 등에 부착된 카메라를 포함할 수 있다.

I_L과 I_H 간의 관계

도 5와 6을 참조하여 설명하는 바와 같이, I_L 및 I_H는 상이한 노출 간격을 갖는 동일한 장면의 2개 이미지이다. 따라서, 이들은 컬러 통계 뿐만 아니라 대응하는 공간 가간섭성에도 관련된다. 이들 간의 관계는 베이스의 프레임워크에서 컬러 매핑 함수를 추론하기 위한 제약으로 해석될 수 있다.

일 구현예에서, 노출 부족 이미지(I_L)는 시간 좌표에서 정상적으로 노출된 이미지(I_H)에서의 감지 성분으로서 간주될 수 있다. 이것은, 노출 시간 동안 카메라 또는 장면 (또는 장면 대상) 움직임을 적절히 모델링하는 것을 가능하게 하며, 후술할 매핑 프로세스를 제약할 수 있게 한다.

컬러 통계

RGB(적색, 녹색, 및 청색) 컬러 공간에서, 흔히 컬러 히스토그램의 형태를 통해 중요 컬러 통계를 밝힐 수 있다. 히스토그램은, 일반적으로 클래스 간격을 나타내며 영역이 대응 주파수에 비례하는 직사각형 또는 막대로 표현한 주파수 분포를 나타낸다. 따라서, 히스토그램을 이용하여 I_H와 I_L 간의 확실한 접속을 확립할 수 있다. 게다가, 고 방사는 보다 밝은 픽셀을 생성하고, I_H와 I_L의 컬러 통계는 저 픽셀 강도 값으로부터 고 픽셀 강도 값의 순서로 매칭될 수 있다. 따라서,

의 히스토그램을 다음과 같이 재표현할 수 있다.

수학식 1에서, g(·)은 히스토그램에서 각 컬러 값에 대하여 수행되는 변환 함수이며,

는 I_H의 히스토그램이다. g(·)을 확립하는 공통적인 방식은 적응성 히스토그램 등화이며, 이것은 목적(destination) 곡선에 따른 이미지의 콘트라스트 및 동적 범위를 정상적으로 수정한다.

이 히스토그램 등화는 일부 상황에서 만족할만한 결과를 가져오지 않을 수 있다. 구체적으로, 각 채널에서 양자화된 256개(단일 바이트 정밀도) 컬러는 다양한 히스토그램 형태를 정밀하게 모델링하는데 충분하지 않을 수 있다.

도 9는 휘도 정정에 활용될 수 있는 컬러 히스토그램 등화를 위한 예시적인 방법(900)을 나타낸다. 구체적으로, 이 방법(900)을 활용하여 변환 함수를 선택 사항으로서 추정할 수 있다. 먼저, RGB 공간으로부터의 이미지를 지각 기반 컬러 공간(902; lαβ)으로 전달하며, 여기서 l은 무채색 채널이고, α와 β는 색도 값이다. 이러한 식으로, 알려져 있는 형광체 색도를 갖는 이산 공간으로 이미지를 전달한다.

새로운 컬러 공간에서의 컬러 분포는 65,536개(더블 바이트 정밀도) 부분으로 클러스터링된다(904). 이후, 그 새로운 컬러 공간에서 히스토그램 등화를 수행한다. 히스토그램 등화 결과(906)를 RGB 공간(908)으로 다시 전달한다.

이렇게 변환된 히스토그램 등화를 2개 이미지에 대하여 수행함으로써(도 5, 6 참조), 2개 이미지는 완전히 컬러 공간에 관련될 수 있다. 그러나, 컬러 통계는 카메라의 이미지 품질에 크게 의존한다. 예를 들어, 보다 어두운 이미지가 많은 양의 노이즈를 포함한다면, (예를 들어, 그 이미지를 필터링함으로써) 오염된 정보 를 먼저 취급할 필요가 있다.

공간 제약

상기한 컬러 통계는 I_H 및 I_L간의 임의의 시간 가간섭성을 고려하지 않는다. 그러나, 2개 이미지는 동일한 장면에서 촬상되기 때문에, I_H 및 I_L간에는 큰 공간적 제약이 존재하게 된다.

영역이 유사한 컬러 픽셀을 포함하는 상황에서, 도 10a는 원래의 이미지와 동등(homogeneous) 지역을 나타내는 한편, 도 10b는 모션 블러링을 갖고서 촬상된 동일한 영역을 나타낸다. 도트(1002)는 영역 중심을 표시한다. 도 11a 및 11b의 대응 곡선은 한 방향을 따른 픽셀 컬러를 나타낸다. 도 10a, 10b, 11a, 11b로부터, 영역이 충분히 넓고 동등한 경우 그 영역의 중심을 향하는 컬러가 블러링에 의해 덜 영향받는다는 것을 관찰할 수 있다. 또한, 그 영역에서의 컬러의 무모순(consistency)에 의해 중심 픽셀들의 컬러를 매칭할 수 있다.

도 12는 휘도 정정에 활용될 수 있는 예시적인 공간 영역 매칭 방법(1200)을 나타낸다. 이 방법(1200)은 I_H 및 I_L에서 매칭 시드(seed)를 선택하는데 사용될 수 있다. 블러링 이미지(예를 들어, 도 6의 I_H)는, 각 영역(R_m(I_H))이 유사 컬러를 포함하도록 복수의 영역으로 세그먼트화된다(1202). 복수의 영역으로의 도 6의 샘플 세그먼트화를 도 13에 도시한다.

균등성 및 크기에 따라 그 영역들을 정렬하기 위해, 각 영역(R_m(I_H))은 이로 드되고(eroded) 각 영역 및 각 영역을 위한 이로드 프로세스에서 마지막 몇 개 픽셀인 영역의 중심을 완전히 이로드하기 위한 반복 횟수가 결정된다 (1206). 일 구현에서 각 영역(R_m(I_H))에 대하여 동일한 형태학적 이로드 동작을 수행할 수 있다. 도 14는 도 13의 이미지 내의 영역을 이로드함으로써 발생하는 예시적인 중간 이미지를 나타낸다.

반복 횟수는 내림 차순으로 저장되고 제1 M개 영역은 영역 매칭을 위한 최대 가능성있는 후보로서 선택된다(1208). 그 결과, 이들 영역 중심의 위치가 매칭 위치로서 선택된다. 이미지(I_H 및 I_L)로부터, 매칭 위치에서의 픽셀 쌍{

}이 선택되고(1210) 각 c^m을 위한 값이 이웃 픽셀의 컬러의 가우시안 평균으로서 계산되며, 여기서 분산은 반복 횟수에 비례한다. 선택된 영역 중심은 도 15에서 도트(1502)로서 표시된다. 도시한 바와 같이, 도트(1502)는 가장 크고 가장 균등한 M개 영역에 위치한다.

매칭 프로세스(1200)는, 이상적 컬러 매핑 함수가 I_L에서의 일부 매칭 시드(seed) 컬러를 I_H에서의 매칭 시드 컬러로 변환할 수 있어야 함을 의미한다. 다음으로, 제약되는 매핑 함수를 추론하도록 2개 제약(컬러 및 공간)을 모두 고려하는 베이스의 프레임워크를 설명한다.

제약된 매핑 함수

컬러 매핑 함수는 f(l_i) = l_i'로 규정될 수 있으며, 여기서 l_i 및 l_i' 각각은 2개 세트에서의 컬러 값이다. 따라서, 그 결과로 발생하는 이미지(I_C)는, 노출 부족 이미지(I_L:I_C(x,y)=f(I_L(x,y)))에 f(·)를 적용함으로써 구축되며, 여기서 I_k(x,y)는 이미지(I_k)에서의 픽셀 값이다. f(·)의 형태는 I_L 및 I_H 모두에 의해 제약된다는 것을 주목하길 바란다.

베이스의 프레임워크에서, I_L 및 I_H의 관측으로부터 주어지는 f*를 추론하도록 사후 확률(posterior probability)(MAP)을 최대화한다.

상술한 바에 따르면, I_L 및 I_H 간에 2종류의 접속이 관찰되었다. 하나는 I_L 및 I_H의 2개 히스토그램(

) 각각에 의해 기술될 수 있는 컬러 통계이다. 나머지 하나는, I_L 및 I_H간의 M개 대응하는 매칭 컬러 시드(

) 수에 의해 표현될 수 있는 영역 매칭 제약이다. 이러한 관계들은 제약으로서 간주될 수 있으며 수학식 2를 다음과 같이 표현할 수 있다.

다음으로, 가능성(

) 및 프라이어(prior; p(f))을 규정한다.

가능성(likelihood)

글로벌 매칭이 이산 컬러 공간에서 수행되기 때문에, f는 한 세트의 이상 값(f={f1, f2,...fi,...,fN})에 의해 근사화되며, 여기서 N은 컬러 공간에서의 빈(bin)의 전체 수이다. 따라서, 수학식 3에서의 가능성은 독립적이며 동일하게 분포된(IID) 가정하에 인수분해될 수 있다.

수학식 4에서, g(l_i)는 컬러값(l_i)에서

로부터

로 변환하기 위한 함수이다.

는 컬러 시드 세트(

)중에서 l_i에 가장 유사한 컬러이며,

는 컬러 시드 쌍에서

의 대응하는 컬러이다.

상술한 설명에서의 분석에 따라, g(l_i) 및 {

,

}는 각 f_i를 위한 2개의 제약 팩터이다. 이들 속성 모두는 매핑 함수 상에서 유지되어야 한다. 그 결과, 2개 제약은 밸런스를 갖출 수 있으며 가능성은 다음과 같이 모델링될 수 있다.

수학식 5에서, 스케일(α)은 2개 제약을 가중하며,

는 2 종류의 제약의 불확실성을 모델링하기 위한 분산이다. α값이 증가하면, 매칭 시드 쌍의 컨피던스(confidence)가 감소한다. α는 다음의 팩터들에 관련될 수 있다.

* 거리

. 긴 거리는 약한 영역 매칭 제약을 나타내며, α를 I에 근접시킨다. 따라서, α는 이 거리에 반비례한다.

* 컬러 쌍(

)을 매칭하는데 있어서의 대응관계의 불확실성. 상기한 바와 같이, 매칭 영역 크기가 커질수록, 매칭 컬러를 위한 영역 중심으로부터 더 많은 컨피던스를 얻을 수 있다. 따라서, 불확실성(σ_c)은 각 매칭 컬러에 대한 영역 크기에 비례하도록 규정될 수 있다. 이러한 2개 팩터를 조합하면, α는 다음과 같이 규정될 수 있다.

수학식 6에서, β는 α의 영향을 제어하는 스케일 파라미터이다.

프라이어

프라이어로서, 모노토닉(monotonic) 제약은 f(·)에 대하여 실시될 수 있으 며, 이것은 I_L에서의 구조적 상세를 유지한다. 또한, 이웃하는 컬러를 위한 컬러 매핑의 급격한 변화를 피하기 위해, f(·)가 일 구현예에서 그 형상이 평탄화(smooth)되어야 하는 것이 필요할 수 있다. 다른 구현예에서, f의 제2 도함수는 다음과 같이 최소화될 수 있다.

수학식 7에서,

는 f의 평탄화를 제어하는 분산이다.

맵 솔루션

수학식 4의 가능성 및 수학식 7에서의 로그 프라이어를 조합하면, 다음에 따르는 로그 사후 함수(log posterior function)를 최소화함으로써 최적화 문제가 해결될 수 있다.

수학식 8에서, E(f)는 이차 목적 함수(quadratic objective function)이다. 따라서, 글로벌 최적 매핑 함수f(·)는 유일 가치 분해(singular value decomposition; SVD)에 의해 얻어질 수 있다. 모노토닉 제약이 수학식 7에서 명백 하게 실시되지 않지만, 평탄화 제약은 일 구현예에서 최종 모노토닉 f를 구축하는데 충분하다.

다른 샘플 결과

본 명세서에서 설명하는 기술들은 어려운 시나리오에 적용되어 그 접근 방식의 효율을 나타낸다. 그 결과들은 다음과 같이 상이한 그룹들로 분류된다. 도 16은 샘플 입력 노출 부족 이미지를 나타내고, 도 17은 본 발명의 휘도 정정을 도 16의 이미지에 적용함으로써 발생하는 예시적인 이미지를 나타내고, 도 18은 컬러 전달 기술을 적용할 때의 예시적인 결과를 나타내며, 도 19는 적응성 히스토그램 등화에 의한 예시적인 결과를 나타내고, 도 20은 2.5의 감마 정정을 적용할 때의 예시적인 결과를 나타내며, 도 21은 사진 편집 프로그램에서 적용되는 곡선 조절에 따른 예시적인 결과를 나타낸다. 이처럼, 본 명세서에서 설명하는 제약을 이용함으로써 보다 나은 시각적 품질 및 보다 많은 상세를 얻게 된다 (즉, 도 17).

또한, 본 명세서에서 설명하는 2개 제약(공간 및 컬러)은 모두 구현예에서 이점을 갖는다. 이들은 2개의 상이한 양태에서 솔루션을 최적화한다. 따라서, 구현예에서 이들 제약의 조합 및 밸런스는 본 발명에서 설명하는 방법론의 시각적 정정을 보장할 수 있다.

핸드헬드 카메라에 의해 야기되는 모션 블러링

도 22 내지 25의 예는 2개의 입력 이미지(즉, 도 22 및 도 23의 이미지)의 컬러 정보를 최적으로 조합하는 본 발명의 방법론의 기능을 나타낸다. 각 이미지의 히스토그램은 각 도의 좌측 하부에 도시되어 있다. 다른 디블러링 방법과는 달 리, 그 결과로 발생하는 에지는 힘있고 선명하다. 2개 입력 이미지는 각각 셔터 속도 1/40 및 1/3로 촬상된다. 도 24 및 25는 대응하는 히스토그램을 각각 갖는 컬러 매핑 이미지(I_C) 및 그라운드를 도시한다. 그라운드 트루 이미지(도 25)는 삼각대를 이용하여 촬상된 것이다. 이미지들이 도 24 및 도 25에서 시각적으로 그리고 통계적으로 유사하다는 것에 주목하길 바란다.

대상의 움직임에 의해 야기되는 모션 블러링

구현예에서, 본 발명에서 설명하는 기술들은 변형 문제 또는 대상 움직임(예를 들어, 정상적인 노출 간격에서 대상 움직임이 너무 빠른 경우)을 쉽게 해결할 수 있다. 도 26 내지 도 28은 실험 결과를 나타낸다. 도시한 바와 같이, 도 27 및 도 28의 일부는 편의상 확대되어 있다. 입력 정상 노출 이미지는 국부적으로 블러링되어 있으며(도 27), 즉, PSF는 전체 이미지에서 균일한 표현을 갖지 않으며, 이것은 디컨벌빙(deconvolving) 방법을 실패하기 쉽게 한다. 본 명세서에서 설명하는 기술 (및 도 26의 노출 부족 이미지)들을 이용하면, 카메라 셔터 속도는 4 스톱(four stops)만큼 감소될 수 있다. 그 결과, 블러링 효과가 크게 감소된 고 품질의 이미지(I_C)를 생성할 수 있다.

컬러 통계 고 콘트라스트 장면

고 콘트라스트 장면의 이미지를 촬상할 때, 밝은 영역은 I_H에서 포화될 것이다. 히스토그램 등화는, 포화 영역을 포함하여, 컬러를 I_L로부터 I_H로 충실히 전달하며, 이것은 하이라이트 영역에서의 공간 상세를 열하할 뿐만 아니라 이미지 컬러 공간에서의 급격한 변화를 생성한다.

이 문제를 해결하기 위해, 상기한 컬러 매핑 함수 g(·)를 수정하여 더 넓은 범위를 커버할 수 있다. 일 구현예에서, 컬러 전달 기술을 활용하여 고 콘트라스트 상황에서의 이미지 품질을 개선할 수 있다. 또한, 이 기술은 이미지 히스토그램 상에서 동작하여, 각 채널에 대한 평균 및 표준 편차를 칭함으로써 컬러를 소스 이미지로부터 타겟으로 전달한다. 그 프로세스가 가우시안 매칭이기 때문에 전달되는 컬러의 최대 값에는 제한이 없다.

일 구현예에서, I_H에서의 모든 비포화 픽셀은 I_L로의 컬러 전달을 위해 이용된다. 컬러 전달 기술을 적용한 후, I_L의 매핑 결과는 컬러 심도(즉, 255 초과)를 초과하게 되고, 포화 픽셀을 더 넓은 컬러 값으로 연장하게 된다. 따라서, 보다 높은 범위 이미지를 구축하여 밝은 영역과 어두운 영역 모두에서의 상세를 나타낸다.

이러한 구현예와 관련된 샘플 이미지가 도 29 내지 도 32에 도시되어 있다. 도시한 바와 같이, 도 29 내지 도 32의 일부는 편의상 확대되어 있다. 도 29 및 도 30은 입력 이미지(각각, I_H 및 I_L)를 나타낸다. 도 31의 이미지는 g(·)를 오리지널 히스토그램 등화 함수로서 설정함으로써 재구축된다. 도 32는 컬러 전달 방법을 이용하여 g(·)를 수정함으로써 향상된 컬러 및 상세를 갖는 결과를 나타낸다. 톤 매핑을 또한 수행하여 도 32에 도시한 이미지를 나타낸다.

일반적인 계산 환경

도 33은 본 발명을 구현하는데 사용될 수 있는 일반적인 컴퓨터 환경(3300)을 나타낸다. 예를 들어, 컴퓨터 환경(3300)을 활용하여 (카메라와 같은) 이미지 캡쳐 장치를 제어하는 소프트웨어 프로그램을 실행할 수 있다. 컴퓨터 환경(3300)은 단지 계산 환경의 일 예이며 컴퓨터 및 네트워크 아키텍쳐의 사용 또는 기능의 범위에 제한을 가하도록 의도된 것은 아니다. 계산 환경(3300)은 예시적인 컴퓨터 환경(3300)에 도시된 컴포넌트들 중의 임의의 하나 또는 조합에 관하여 임의의 종속성(dependency) 또는 요구사항(requirement)을 갖는 것으로 해석되어서는 안된다.

컴퓨터 환경(3300)은 컴퓨터(3302)의 형태인 범용 계산 장치를 포함한다. 컴퓨터(3302)의 구성 요소는, (선택 사항으로서 암호화 프로세서 또는 코프로세서를 포함하는) 하나 이상의 프로세서 또는 처리 유닛(3302), 시스템 메모리(3306), 및 프로세서(3304)를 포함하는 다양한 시스템 구성 요소를 시스템 메모리(3306)에 결합하는 시스템 버스(3308)를 포함할 수 있지만, 이에 한정되지 않는다.

시스템 버스(3308)는, 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬 버스, 주변 버스, 및 메모리 버스 또는 메모리 컨트롤러를 포함하는 몇가지 유형의 버스 구조 중의 임의의 하나 이상을 나타낸다. 예를 들어, 이러한 아키텍처는, 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 인핸스드 ISA(Enhanced ISA; EISA) 버스, 비디오 일렉트로닉스 표준 어소시에이션(VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로도 알려진 주변 컴포넌트 상호접속(PCI) 버스를 포함할 수 있지만, 이에 한정되는 것은 아니다.

컴퓨터(3302)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 이러한 매체는, 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 탈착가능형 및 탈착불가형 매체를 모두 포함한다.

시스템 메모리(3306)는, 랜덤 액세스 메모리(RAM; 3310)와 같은 휘발성 메모리 및/또는 ROM(3302)과 같은 비휘발성 메모리의 형태인 컴퓨터 판독가능 매체를 포함한다. 기동 동안 처럼 컴퓨터(3302) 내의 소자들 간에 정보를 전달하는데 도움이 되는 기본적인 루틴을 포함하는 기본 입력/출력 시스템(BIOS; 3314)은 ROM(3312)에 저장된다. RAM(3310)은 전형적으로 처리 유닛(3304)에 의해 현재 동작되며 그리고/또는 즉시 액세스가능한 데이터 및/또는 프로그램 모듈을 포함한다.

또한, 컴퓨터(3302)는 다른 탈착가능/탈착불가, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예를 들어, 도 33은 탈착불가 비휘발성 자기 매체(도시하지 않음)로부터의 판독 및 이 매체로의 기록을 위한 하드 디스크 드라이브(3316), 탈착가능 비휘발성 자기 디스크(3320)(예를 들어, 플로피 디스크)로부터의 판독 및 이 매체로의 기록을 위한 자기 디스크 드라이브(3318), CD-ROM, DVD, 또는 다른 다른 광학 매체와 같은 탈착가능 비휘발성 광 디스크(3324)로부터의 판독 및 이 디스크로의 기록을 위한 광 디스크 드라이브(3322)를 나타낸다. 하드 디스크 드라이브(3316), 자기 디스크 드라이브(3318), 및 광 디스크 드라이브(3322) 각각은 하나 이상의 데이터 매체 인터페이스(3326)에 의해 시스템 버스(3308)에 접속된다. 다른 방법으로, 하드 디스크 드라이브(3316), 자기 디스크 드라이브(3318), 및 광 디스크 드라이브(3322)은 하나 이상의 인터페이스(도시하지 않음)에 의해 시 스템 버스(3308)에 접속될 수 있다.

디스크 드라이브 및 이들의 관련된 컴퓨터 판독가능 매체는, 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 및 컴퓨터(3302)를 위한 다른 데이터의 비휘발성 저장을 제공한다. 이 예는 하드 디스크(3316), 탈착가능 자기 디스크(3320), 및 탈착가능 광 디스크(3324)를 도시하고 있지만, 자기 카세트 또는 다른 자기 저장 장치, 플래시 메모리 카드, CD-ROM, DVD 또는 다른 광학 저장 장치, RAM, ROM, EEPROM 등과 같이 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 다른 종류의 컴퓨터 판독가능 매체를 활용하여 예시적인 계산 시스템 및 환경을 구현할 수도 있음을 이해할 수 있다.

임의의 수의 프로그램 모듈은, 예를 들어, 운영 시스템(3326), 하나 이상의 애플리케이션 프로그램(3328), 다른 프로그램 모듈(3330), 및 프로그램 데이터(3332)를 포함하여, 하드 디스크(3316), 자기 디스크(3320), 광 디스크(3324), ROM(3312), 및/또는 RAM(3310)에 저장될 수 있다. 이러한 운영 시스템(3326), 하나 이상의 애플리케이션 프로그램(3328), 다르 프로그램 모듈(3330), 및 프로그램 데이터(3332) (또는 이들의 일부 조합)의 각각은 분산형 파일 시스템을 지원하는 잔여 구성 요소들의 일부 또는 전부를 구현할 수 있다.

사용자는 포인팅 장치(3336)(예를 들어, 마우스) 및 키보드(3334)와 같은 입력 장치를 통해 컴퓨터(3302)에 코맨드 및 정보를 입력할 수 있다. (특정하여 도시되지 않은) 다른 입력 장치(3338)는, 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 입력 장치 및 그외의 입력 장치는, 시스 템 버스에 결합된 입력/출력 인터페이스(3340)를 통해 처리 유닛(3304)에 접속되지만, 병렬 포트, 게임 포트 또는 유니버설 시리얼 포트(USB)와 같이 기타 인터페이스 및 버스 구조에 의해 접속될 수 있다. USB 포트를 활용하여 (도 29를 참조하여 설명한 바와 같은) 카메라 또는 플래시 카드 판독기를 컴퓨터 환경(3300)에 접속할 수 있다.

모니터(3342) 또는 다른 유형의 디스플레이 장치는 또한 비디오 아답터(3344)와 같은 인터페이스를 통해 시스템 버스(3308)에 접속될 수 있다. 모니터(3342) 외에도, 다른 출력 주변 장치는 입력/출력 인터페이스(3340)를 통해 컴퓨터(3302)에 접속될 수 있는 스피커(도시하지 않음) 및 프린터(3346) 등의 구성 요소들을 포함할 수 있다.

컴퓨터(3302)는 원격 계산 장치(3348)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 동작할 수 있다. 예를 들어, 원격 계산 장치(3348)는 퍼스널 컴퓨터, 휴대용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어(peer) 장치 또는 기타 공통 네트워크 노드일 수 있다. 원격 계산 장치(3348)는, 컴퓨터(3302)에 관하여 본 명세서에서 설명하는 요소들 및 특징의 상당수 또는 전부를 포함할 수 있는 휴대용 컴퓨터로서 도시되어 있다.

컴퓨터(3302)와 원격 컴퓨터(3348) 간의 논리적 접속은 근거리 통신망(LAN; 3350) 및 원거리 통신망(WAN; 3352)으로서 도시되어 있다. 이러한 네트워크 환경은 사무실, 기업 광역 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.

LAN 네트워크 환경에서 구현되는 경우, 컴퓨터(3302)는 네트워크 인터페이스 또는 어댑터(3354)를 통해 LAN(3350)에 접속된다. WAN 네트워크 환경에서 구현되는 경우, 컴퓨터(3302)는 전형적으로 WAN(3352)을 통해 통신을 확립하기 위한 모뎀(3356) 또는 기타 수단을 포함한다. 컴퓨터(3302)에 대하여 내장형 또는 외장형일 수 있는 모뎀(3356)은, 입력/출력 인터페이스(3340) 또는 다르 적절한 메카니즘을 통해 시스템 버스(3308)에 접속될 수 있다. 도시한 네트워크 접속은 예시적일 뿐이며 컴퓨터(3302, 3348) 간에 통신 링크를 확립하는 다른 수단을 채용할 수 있음을 이해할 수 있다.

컴퓨터 환경(3300)과 함께 도시한 바와 같은 네트워크 환경에서, 컴퓨터(3302)에 관하여 도시된 프로그램 모듈, 또는 그 일부는 원격 메모리 저장 장치에 저장될 수 있다. 예를 들어, 원격 애플리케이셔 프로그램(3358)은 원격 컴퓨터(3348)의 메모리 장치 상에 상주한다. 설명의 편의상, 애플리케이션 프로그램 및 운영 시스템과 같은 다른 실행가능 프로그램 구성 요소를 개별적인 블록들로 도시하지만, 이러한 프로그램 및 구성 요소는 계산 장치(3302)의 여러 저장 구성 요소에서 다양한 시간대에 상주하며 컴퓨터의 데이터 프로세서에 의해 실행된다는 것을 이해할 수 있다.

하나 이상의 컴퓨터 또는 다른 장치에 의해 실행되는 프로그램 모듈과 같이 컴퓨터 실행가능 명령의 일반적인 컨텍스트로 다양한 모듈 및 기술을 설명할 수 있다. 일반적으로, 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 요약 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함 한다. 전형적으로, 프로그램 모듈의 기능성은 다양한 구현예로 설명한 바와 같이 결합되거나 분산되어야 한다.

이러한 모듈 및 기술의 구현예를, 컴퓨터 판독가능 매체의 일부 형태 상에 또는 이 형태를 통하여 저장할 수 있다. 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 예를 들어, 컴퓨터 판독가능 매체는 "컴퓨터 저장 매체" 및 "통신 매체"를 포함할 수 있지만, 이에 한정되지 않는다.

"컴퓨터 저장 매체"는, 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 탈착가능 및 탈착불가 매체를 포함한다. 컴퓨터 저장 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVDs, 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되지 않는다.

"통신 매체"는, 전형적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 송신 메카니즘과 같은 변조된 데이터 신호에서의 다른 데이터를 포함한다. 또한, 통신 매체는, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는, 신호에서의 정보를 인코드하는 것처럼 이러한 방식으로 설정되거나 변경된 특징들중 하나 이상을 갖는 신호를 의미한다. 예를 들어, 통신 매체는, 유선 네트워크 또는 직 유선(direct-wired) 접속과 같은 유선 매체, 및 어쿠스틱, RF, 적외선, 및 다른 무선 매체와 같은 무선 매체를 포함하지만, 이에 한정되지 않는다. 상기한 것들의 임의의 조합도 컴퓨터 판독가능 매체의 범위 내에 포함된다.

구조적 특징 및/또는 방법론적 동작에 특정한 언어로 본 발명을 설명하였지만, 청구범위에 규정된 본 발명이 반드시 상기한 특징 또는 동작으로 제한되지 않는다는 것을 이해할 수 있다. 이러한 특정한 특징 및 동작은 본 발명을 구현하는 예시적인 형태로서 기재되어 있을 뿐이다. 예를 들어, 상기한 휘도 정정 기술은 넌-컬러(non-color) 이미지(예를 들어, 계조 이미지)에 쉽게 적용될 수 있다.

본 발명에 따라, 카메라 셔터 속도가 감소될 수 있으며, 그 결과 블러링 효과가 크게 감소된 고 품질의 이미지(I_C)를 생성할 수 있다. 또한, 결정된 컬러 통계 및 공간 가간섭성을 활용하여 노출 부족 이미지를 향상할 수 있다. 또한, 컬러 전달 기술을 활용하여 고 콘트라스트 상황에서의 이미지 품질을 개선할 수 있다.

Claims

동일한 장면에서 제1 이미지 및 후속하는 제2 이미지를 캡쳐하는 이미지 센서와,

캡쳐한 상기 이미지를 저장하는 저장 장치와,

상기 저장 장치에 결합되며, 캡쳐한 상기 제1 이미지 및 제2 이미지중 하나를 휘도 정정으로 향상하는 처리 유닛

을 포함하는 디지털 카메라.
제1항에 있어서,

상기 처리 유닛은 상기 저장 장치에 결합된 하나 이상의 프로세서를 포함하는 디지털 카메라.
제1항에 있어서,

상기 처리 유닛은 상기 저장 장치에 결합된 적어도 하나의 프로세서를 포함하고,

상기 저장 장치는, 상기 적어도 하나의 프로세서에 의해 실행되며 캡쳐한 상기 제1 이미지 및 제2 이미지중 하나를 휘도 정정으로 향상하는 명령을 저장하는 디지털 카메라.
제1항에 있어서,

상기 처리 유닛은 주문형 반도체(ASIC) 또는 프로그래밍가능 로직 어레이(PLA)로서 구현되는 디지털 카메라.
제1항에 있어서,

상기 디지털 카메라는, 상기 디지털 카메라를 제어하는 동작, 상기 저장 장치에 저장된 데이터를 액세스하는 동작, 및 상기 이미지 센서로부터 데이터를 수신하는 동작을 포함하는 하나 이상의 동작을 수행하는 외부 계산 장치에 결합되는 디지털 카메라.
제1항에 있어서,

상기 저장 장치는 상기 디지털 카메라에 외장되는 디지털 카메라.
제1항에 있어서,

상기 저장 장치는 복수의 저장 장치를 포함하는 디지털 카메라.
제1항에 있어서,

상기 디지털 카메라는, 디지털 카메라, 디지털 비디오 카메라, 및 비디오를 캡쳐할 수 있는 디지털 카메라를 포함하는 그룹으로부터 선택되는 장치인 디지털 카메라.
제1항에 있어서,

상기 제1 이미지 또는 상기 제2 이미지가 캡쳐되는 동안 인공 광은 존재하지 않는 디지털 카메라.
제1항에 있어서,

상기 이미지 센서는, 상기 제1 이미지 및 상기 제2 이미지의 캡쳐 사이에 노광 상태로 유지되는 디지털 카메라.
제1항에 있어서,

상기 이미지 센서는 캡쳐 코맨드에 따라 노광되는 디지털 카메라.
제1항에 있어서,

상기 제1 이미지 및 상기 제2 이미지는 흐릿한 조명 상태에서 촬상되는 디지털 카메라.
제1항에 있어서,

상기 제1 이미지는 노출 부족 상태인 디지털 카메라.
제1항에 있어서,

상기 제2 이미지는 블러링(blurred) 상태인 디지털 카메라.
제1항에 있어서,

상기 휘도 정정은,

상기 제1 및 제2 이미지의 공간 가간섭성 및 컬러 통계를 결정하는 동작과,

결정된 상기 공간 가간섭성 및 컬러 통계를 활용하여 상기 제1 및 제2 이미지 중 노출 부족 이미지를 향상하는 동작

을 포함하는 디지털 카메라.
제1항에 있어서,

상기 이미지 센서는 CCD 및 CMOS를 포함하는 그룹으로부터 선택되는 디지털 카메라.
제1항에 있어서,

상기 디지털 카메라는, 셀 폰, 시계, 및 PDA를 포함하는 그룹으로부터 선택되는 장치 내에 집적되는 디지털 카메라.
제1항에 있어서,

상기 휘도 정정은, 상기 제1 및 제2 이미지의 컬러 매핑 함수를 수정하여 고 콘트라스트 장면을 위한 비교적 넓은 범위를 커버하는 동작을 포함하는 디지털 카 메라.
제1항에 있어서,

상기 휘도 정정은, 컬러 히스토그램 등화를 활용하여 상기 제1 및 제2 이미지에 대응하는 컬러 통계를 결정하는 동작을 포함하고,

상기 컬러 히스토그램 등화는,

상기 제1 및 제2 이미지를 지각 기반 컬러 공간으로 전달하는 동작과,

상기 지각 기반 공간에서 컬러 분포를 클러스터링하는 동작과,

상기 히스토그램 등화의 결과를 적색-녹색-청색 공간으로 전달하는 동작

을 포함하는 디지털 카메라.
제1항에 있어서,

상기 휘도 정정은, 공간 영역 매칭을 활용하여 상기 제1 및 제2 이미지에 대응하는 공간 가간섭성을 결정하는 동작을 포함하고,

상기 공간 영역 매칭은,

상기 제1 및 제2 이미지 중 블러링 이미지를 복수의 유사 컬러 영역으로 세그먼트화하는 동작과,

상기 복수의 유사 컬러 영역의 각각을 이로드(erode)하는 동작과,

상기 영역의 각각을 완전히 이로드하는 반복 횟수를 결정하는 동작과,

상기 영역의 각각에 대한 영역 중심을 결정하는 동작과,

상기 반복 횟수를 내림 차순으로 정렬하는 동작과,

매칭 위치에서 상기 제1 및 제2 이미지로부터 픽셀 쌍을 선택하는 동작과,

선택된 픽셀 각각에 대한 이웃 값을 계산하는 동작

을 포함하는 디지털 카메라.
제1항에 있어서,

디지털 카메라의 노출 브라케팅(bracketing) 특성을 활용하여 상기 제1 및 제2 이미지를 캡쳐하는 디지털 카메라.
제1항에 있어서,

상기 장면은, 움직임 많은 장면, 생물학적 물질의 장면, 흐릿하게 조명된 장면, 및 하이 액션 장면을 포함하는 그룹으로부터 선택되는 디지털 카메라.
제1항에 있어서,

상기 디지털 카메라는, 현미경 및 전자 현미경을 포함하는 그룹으로부터 선택되는 장치에 부착되는 디지털 카메라.
제1항에 있어서,

복수의 이미지 센서를 더 포함하는 디지털 카메라.
제1항에 있어서,

데이터를 저장하는 복수의 버퍼를 더 포함하는 디지털 카메라.
제1항에 있어서,

상기 제1 및 제2 이미지의 캡쳐동안 개방 상태로 유지되는 셔터를 더 포함하는 디지털 카메라.
이미지 센서를 장면에 노출시키는 단계와,

상기 장면의 제1 이미지를 캡쳐하는 단계와,

상기 제1 이미지를 캡쳐한 후 상기 장면의 제2 이미지를 캡쳐하는 단계와,

휘도 정정을 캡쳐한 상기 이미지에 적용하는 단계

를 포함하고,

상기 이미지 센서는 상기 제1 이미지의 캡쳐와 상기 제2 이미지의 캡쳐 사이에 노광 상태로 유지되는 방법.
제27항에 있어서,

상기 제1 이미지는 노출 부족 상태인 방법.
제27항에 있어서,

상기 제2 이미지는 블러링 상태인 방법.
제27항에 있어서,

상기 휘도 정정은, 상기 이미지 센서에 통신가능하게 결합되어 있는 저장 장치에 저장된 휘도 정정 명령에 따라 적용되는 방법.
제27항에 있어서,

상기 휘도 정정은, 상기 이미지 센서에 통신가능하게 결합되어 있는 저장 장치에 저장된 휘도 정정 명령에 따라 적용되고,

캡쳐한 상기 이미지에 대응하는 데이터는 하나 이상의 저장 장치에 버퍼링되는 방법.
제27항에 있어서,

상기 휘도 정정은, 상기 이미지 센서에 통신가능하게 결합된 처리 유닛에 의해 적용되는 방법.
제27항에 있어서,

상기 휘도 정정은, 상기 이미지 센서에 통신가능하게 결합된 외부 계산 장치에 의해 적용되는 방법.
제27항에 있어서,

상기 이미지 센서는 디지털 카메라에서 구현되는 방법.
제27항에 있어서,

상기 휘도 정정을 적용하는 단계는,

상기 제1 및 제2 이미지의 공간 가간섭성 및 컬러 통계를 결정하는 단계와,

결정된 상기 공간 가간섭성 및 컬러 통계를 활용하여 상기 제1 및 제2 이미지 중 노출 부족 이미지를 향상하는 단계

를 포함하는 방법.
장면의 제1 이미지를 캡쳐하는 수단과,

상기 제1 이미지를 캡쳐한 후 상기 장면의 제2 이미지를 캡쳐하는 수단과,

휘도 정정을 캡쳐한 상기 이미지에 적용하는 수단

을 포함하는 장치.
제36항에 있어서,

이미지 센서를 상기 장면에 노출시키는 수단

을 더 포함하는 장치.
제36항에 있어서,

캡쳐한 상기 이미지를 저장하는 수단

을 더 포함하는 장치.
제36항에 있어서,

상기 제1 및 제2 이미지가 캡쳐되는 동안 이미지 센서를 노광하는 수단

을 더 포함하는 장치.