KR101342728B1

KR101342728B1 - 이미지 선택 및 결합 방법 및 디바이스

Info

Publication number: KR101342728B1
Application number: KR1020117027714A
Authority: KR
Inventors: 바박 포루탄푸어; 징창 리
Original assignee: 퀄컴 인코포레이티드
Priority date: 2009-04-22
Filing date: 2010-04-22
Publication date: 2013-12-19
Also published as: CN102405482B; EP2422317A1; JP2012525072A; WO2010124065A1; CN102405482A; US8963949B2; TW201044318A; JP2014168270A; JP5784587B2; KR20120013998A; US20100271393A1

Abstract

이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 이미지들을 수신하는 단계를 포함하는 방법이 개시된다. 이 방법은 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 단계를 포함한다. 이 방법은 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하는 단계를 더 포함한다.

Description

이미지 선택 및 결합 방법 및 디바이스{IMAGE SELECTION AND COMBINATION METHOD AND DEVICE}

본 발명은 일반적으로 이미지 선택 및 결합에 관한 것이다.

기술의 진보는 더 작고 더 강력한 컴퓨팅 장치들을 생성시켰다. 예컨대, 작고, 경량이고, 사용자가 소지하기 쉬운 휴대용 무선 전화기, 개인 디지털 보조기 (PDA) 및 페이징 장치와 같은 무선 컴퓨팅 장치들을 비롯한 다양한 휴대용 개인 컴퓨팅 장치들이 현재 존재하고 있다. 보다 구체적으로, 셀룰러 전화기 및 인터넷 프로토콜 (IP) 전화기와 같은 휴대용 무선 전화기들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 그러한 무선 전화기들은 그 내부에 통합되는 다른 타입의 장치들을 포함한다. 예컨대, 무선 전화기는 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더 및 오디오 파일 플레이어도 포함할 수 있다. 또한, 이러한 무선 전화기들은 인터넷에 액세스하는데 이용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령어들을 처리할 수 있다. 이로써, 이러한 무선 전화기들은 상당한 컴퓨팅 능력들을 포함할 수 있다.

디지털 신호 프로세서 (DSP), 이미지 프로세서 및 다른 처리 장치들은 디지털 카메라를 포함하거나 디지털 카메라에 의해 캡쳐된 이미지 또는 비디오 데이터를 디스플레이하는 휴대용 개인 컴퓨팅 장치들에서 자주 사용된다. 그러한 처리 장치들은, 비디오 및 오디오 기능들을 제공하거나, 이미지 데이터와 같은 수신 데이터를 처리하거나, 다른 기능들을 수행하는데 사용될 수 있다.

이미지 처리의 일 타입은 디지털 이미지의 신호대 잡음비 (SNR) 를 개선하는 것을 수반한다. 암 전류, 광자 잡음, 및 혼선과 같은 잡음을 감소시키는 것은 보다 양호한 영상을 생성시킬 수도 있다. 신호대 잡음비 (SNR) 는 저 광 포토그래피에 대하여 특히 낮을 수도 있다. 이미지의 잡음을 감소시키는 일 방법은 이미지에 걸쳐 저역 통과 필터를 실시하는 한편 에지 검출기를 이용하여 에지 경계를 보호하는 것이다. 그러나, 에지가 보호되더라도, 텍스쳐와 잡음 간의 구별이 매우 곤란할 수도 있기 때문에, 필터는 장면의 텍스쳐에 영향을 준다. 잡음을 감소시키는 다른 방법은 2 이상의 이미지를 결합하는 것이지만, 이것은 고스팅 (ghosting) 을 유발할 수도 있다. 잡음을 감소시키는 또 다른 방법은 고스팅을 최소화하기 위해서 2 이상의 이미지의 일부를 결합하는 것이다. 그러나, 이것은 계산적으로 값비쌀 수도 있고 더 적은 매크로블록들이 사용될 수도 있기 때문에 이동하는 물체 주변의 잡음을 감소시킬 가능성이 더 작다.

카메라는 "버스트 모드"에서 한번에 많은 촬영을 할 수 있다. 예를 들어, 카메라는 초당 6 메가픽셀 (6MP) 영상을 60개까지 촬영할 수도 있다. 이 기술은 저 광 조건이나 핸드 지터 감소를 위한 것만이 아닌 디지털 포토그래피에 공통되는 잡음을 감소시키도록 레버리지될 수도 있지만, 영상들 모두에 대한 것은 아니다. 한 쌍의 눈과 같은 오브젝트는 프레임에서 프레임으로 추적될 수도 있고 이러한 프레임들 만이 결합되고, 선택된 오브젝트는 프레임들 사이에서 고정이다. 이러한 프레임들만을 결합하는 것은, 영상들이 함께 병합되는 경우, 개선된 결과를 제공한다.

특정 실시형태에서, 이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 이미지들을 수신하는 단계를 포함하는 방법이 개시된다. 이 방법은 서로 정렬 (align) 된 복수의 순차 이미지들의 서브셋을 선택하는 단계를 포함한다. 이 방법은 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하는 단계를 더 포함한다.

다른 실시형태에서, 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하도록 구성된 이미지 처리 시스템을 포함하는 장치가 개시된다. 이 이미지 처리 시스템은 또한 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하도록 구성된다.

다른 실시형태에서, 복수의 순차 이미지들을 처리하도록 구성된 이미지 처리 회로를 포함하는 집적 회로가 개시된다. 이미지 처리 회로는 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하도록 구성된다. 이미지 처리 회로는 또한 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하도록 구성된다.

다른 실시형태에서, 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 수단을 포함하는 장치가 개시된다. 이 장치는 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하는 수단을 더 포함한다.

다른 실시형태에서, 컴퓨터 실행가능 코드를 저장하는 컴퓨터 판독가능 매체가 개시된다. 컴퓨터 판독가능 매체는 이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 영상들을 수신하기 위한 코드를 포함한다. 컴퓨터 판독가능 매체는 또한 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하기 위한 코드를 포함한다. 컴퓨터 판독가능 매체는 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하기 위한 코드를 더 포함한다.

개시된 실시형태에 의해 제공된 일 특정 이점은 초점 차트에 관한 선명도의 손실이 인식되지 않는 스냅샷의 신호대 잡음비 (SNR) 를 개선하는 능력이다. 예를 들어, 녹색 패치 (green patch) 표준 편차 (STD) 는, 적색 (R) 채널, 녹색 (G) 채널, 및 청색 (B) 채널과 같은 모든 채널들에 걸쳐서 상당히 감소될 수도 있다.

개시된 실시형태에 의해 제공된 다른 이점은 이 시스템이 하나의 파라미터를 통해 튜닝가능할 수도 있으므로, 사용자는 원하는 양의 잡음 감소 (얼마나 많은 이미지들을 결합할지) 와 선명도 (얼마나 적은 이미지들을 결합할지) 사이에서 트래이드오프할 수도 있다. 이 시스템은 현출성 (saliency) 검출을 사용하여, 얼굴 및 눈과 같은 키 (key) 영역의 선명도를 전체 잡음 감소에 대하여 희생시키지 않을 수도 있다. 이 시스템은 카메라 미리보기로부터 얼굴 검출을 레버리지함으로써 감소된 중앙 처리 유닛 (CPU) 복잡도를 달성할 수도 있다.

본 개시의 다른 양태, 이점, 및 특징은, 다음 섹션: 도면의 간단한 설명, 발명을 실시하기 위한 구체적인 내용, 및 특허청구범위를 비롯한 전체 출원을 검토한 후 명확해질 것이다.

도 1은 이미지 선택 및 결합 시스템의 특정 예시적인 실시형태의 블록도이다.
도 2는 서로 정렬된 복수의 순차 이미지의 서브셋의 제 1 실시형태의 예시적인 도이다.
도 3은 서로 정렬된 복수의 순차 이미지의 서브셋의 제 2 실시형태의 예시적인 도이다.
도 4는 서로 정렬된 복수의 순차 이미지의 서브셋의 제 3 실시형태의 예시적인 도이다.
도 5는 이미지 선택 및 결합의 방법의 제 1 예시적인 실시형태의 흐름도이다.
도 6은 이미지 선택 및 결합의 방법의 제 2 예시적인 실시형태의 흐름도이다.
도 7은 이미지 선택 및 결합 모듈을 포함하는 디바이스의 특정 실시형태의 블록도이다.
도 8은 이미지 선택 및 결합 모듈을 포함하는 휴대용 통신 디바이스의 특정 실시형태의 블록도이다.

도 1을 참조하면, 이미지 선택 및 결합 시스템 (100) 의 특정 예시적인 실시형태의 블록도가 도시된다. 이미지 선택 및 결합 시스템 (100) 은 이미지 처리 시스템 (130) 에 연결된 이미지 캡쳐 디바이스 (101) 를 포함한다. 이미지 처리 시스템 (130) 은 이미지 스토리지 (150) 에 연결된다. 이미지 스토리지 (150) 는 판독 전용 메모리 (ROM) 또는 플래시 메모리와 같은 비휘발성 메모리 디바이스 또는 랜덤 액세스 메모리 (RAM) 디바이스일 수도 있다. 이미지 캡쳐 디바이스 (101) 는 센서 (108), 자동초점 컨트롤러 (104), 및 자동노출 컨트롤러 (106) 를 포함한다. 자동초점 컨트롤러 (104) 및 자동노출 컨트롤러 (106) 는 렌즈 시스템 (102) 에 각각 연결된다. 일반적으로, 이미지 선택 및 결합 시스템 (100) 은, 하나의 이미지 캡쳐 커맨드에서 비롯된 이미지들의 "버스트"에서 캡쳐된 이미지 (103) 의 복수의 순차 이미지 (107) 의 서브셋 (141) 의 선택을 할 수 있게 하고, 그리고 이 서브셋 (141) 을 결합하여 결합 이미지 (143) 를 생성할 수 있게 하는, 이미지 처리 시스템 (130) 을 포함한다.

이미지 캡쳐 디바이스 (101) 는 하나의 이미지 캡쳐 커맨드로부터 비롯된 이미지들의 버스트에서 이미지 (103) 의 복수의 순차 이미지 (107) 를 캡쳐하도록 구성될 수도 있다. 예를 들어, 이미지 캡쳐 디바이스 (101) 는, 약 1 초의 버스트에서, 약 6 메가픽셀 (MP) 까지 각각 갖는, 순차 이미지를 약 60 개까지 캡쳐하도록 구성될 수도 있다.

이미지 처리 시스템 (130) 은 이미지 선택 모듈 (140) 을 이용하여 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋 (141) 을 선택하도록 구성될 수도 있다. 이미지 선택 모듈 (140) 은 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋 (141) 을 선택하기 위해서 이미지 미리보기 동작으로부터 얼굴 검출을 레버리지할 수도 있다. 대안으로, 이미지 선택 모듈 (140) 은 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋 (141) 을 선택하기 위해서 이미지 미리보기 동작으로부터 스킨 검출을 레버리지할 수도 있다. 이미지 처리 시스템 (130) 은 또한, 복수의 순차적인 이미지 (107) 의 서브셋 (141) 의 각각의 이미지로부터 픽셀 값의 평균을 산출하여 이미지 결합 모듈 (142) 을 이용하여 결합 이미지 (143) 를 생성하도록 구성될 수도 있다. 이미지 처리 시스템 (130) 은 또한, 복수의 순차적인 이미지 (107) 의 서브셋 (141) 의 각각의 이미지로부터 픽셀 값의 평균을 산출하여 이미지 결합 모듈 (142) 을 이용하여 결합 이미지 (143) 을 생성하기 전에 선명화 모듈 (145) 을 이용하여 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋 (141) 을 선명하게 하도록 구성될 수도 있다.

동작 동안, 이미지 (103) 의 복수의 순차 이미지가 렌즈 시스템 (102) 을 통해 자동 초점되고 자동 노출되고, 센서 (108) 에 의해 감지된다. 복수의 순차 이미지 (107) 를 포함하는 이미지 데이터는 화살표 109로 도시된 바와 같이 센서 (108) 로부터 출력되고 입구 (131) 에서 이미지 처리 시스템 (130) 으로 그리고 이미지 처리 파이프라인으로 입력된다. 이미지 데이터는, 컬러 변환 디바이스 (118) 로의 입력 (117) 전에, 화이트 밸런스 디바이스 (110), 컬러 보정 디바이스 (112), 감마 보정 디바이스 (114), 및 루마 적응 디바이스 (116) 에 의해 연속적으로 처리된다.

컬러 변환 디바이스 (118) 에서의 컬러 변환 이후, 처리된 이미지 데이터가 이미지 선택 모듈 (140) 로 입력된다. 이미지 선택 모듈 (140) 은 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋 (141) 을 선택한다. 이미지 선택 모듈 (140) 은, 복수의 순차 이미지 (107) 의 서브셋 (141) 의 각각의 이미지로부터 픽셀 값의 평균을 산출하는 이미지 결합 모듈 (142) 에 연결되어 결합 이미지 (143) 를 생성한다. 결합 이미지 (143) 는 결합 이미지 (143) 를 생성하는데 사용된 복수의 순차 이미지 (107) 의 서브셋 (141) 각각과 관련된 랜덤 잡음을 감소시킬 수도 있다. 결합 이미지 (143) 는 이미지 압축 디바이스 (120) 로 입력되고 (144), 화살표 121로 도시된 바와 같이 이미지 처리 파이프라인으로부터의 출구 (132) 에서 이미지 처리 시스템 (130) 으로부터 출력되어, 이미지 스토리지 (150) 로 입력된다.

대안적인 실시형태에서, 서브셋 (141) 이 이미지 스토리지 (150) 에 저장된 후, 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋 (141) 의 선택이 이미지 처리 시스템 (130) 의 이미지 처리 파이프라인의 이미지 선택 모듈 (140) 에서 실시되는 한편, 결합 이미지를 생성하기 위해 복수의 순차 이미지 (107) 의 서브셋 (141) 의 각각의 이미지로부터의 픽셀 값의 평균 산출이 실시된다. 다른 대안적인 실시형태에서, 복수의 순차 이미지 (107) 가 이미지 스토리지 (150) 에 저장된 후, 서로 정렬된 복수의 순차 이미지 (107) 의 서브셋의 선택뿐만 아니라 결합 이미지를 생성하기 위한 복수의 순차 이미지 (107) 의 서브셋의 각각의 이미지로부터 픽셀 값의 평균 산출이 실시된다.

이미지 결합 모듈 (142) 과 함께 이미지 선택 모듈 (140) 은 초점 차트에 관한 선명도의 손실이 거의 인식되지 않거나 아예 인식되지 않는 스냅샷의 신호대 잡음비 (SNR) 로 신호의 개선을 가능하게 할 수도 있다. 예를 들어, 녹색 패치 표준 편차 (STD) 는, 적색 (R) 채널, 녹색 (G) 채널, 및 청색 (B) 채널과 같은 모든 채널들에 걸쳐서 감소될 수도 있다. 이미지 결합 모듈 (142) 과 함께 이미지 선택 모듈 (140) 을 구비한 이미지 처리 시스템 (130) 은 하나의 파라미터를 통해 조정가능할 수도 있으므로, 사용자는 원하는 양의 잡음 감소 (얼마나 많은 이미지들을 결합할지) 와 선명도 (얼마나 적은 이미지들을 결합할지) 사이에서 트래이드오프할 수도 있다. 하나의 파라미터는 결합할 이미지의 수일 수도 있다. 전체적인 잡음 감소를 위해서 얼굴과 눈과 같은 키 영역의 선명도를 희생시키지 않는 것을 보장하기 위해서 이미지의 핵심적인 특징의 검출과 같은 현출성 (saliency) 검출이 사용될 수도 있다. 이미지 결합 모듈 (142) 과 함께 이미지 선택 모듈 (140) 을 구비한 이미지 처리 시스템 (130) 은, 예를 들어, 카메라 미리보기 동작으로부터 얼굴 검출을 레버리지함으로써 감소된 중앙 처리 유닛 (CPU) 복잡도를 달성할 수도 있다.

도 2를 참조하면, 서로 정렬된 복수의 순차 이미지 (200) 의 서브셋의 제 1 실시형태의 예시적인 도면이 도시된다. 예시적인 실시형태에서, 복수의 순차 이미지 (200) 는 도 1의 복수의 순차 이미지 (107) 과 비슷하다. 복수의 순차 이미지 각각은 프레임으로 지칭될 수도 있다. 관심 영역 (224) 의 오브젝트 (222) 는 프레임에서 프레임으로 추정될 수도 있다. 관심 영역 (224) 의 오브젝트 (222) 가 고정인 것으로 나타나는 프레임들은 함께 결합되거나 병합되게 선택될 수도 있다. 오브젝트 (222) 가 프레임들 둘 모두에서 동일한 관심 영역 (224) 에 있는 경우 2개의 프레임은 서로 정렬될 수도 있다. 예를 들어, 오브젝트 (222) 가 프레임들 둘 모두에서 동일한 관심 영역 (224) 에 있기 때문에 프레임 (202 및 204) 은 정렬될 수도 있다. 도 2에 도시된 바와 같이, 각각의 이미지에 대한 픽셀 값의 평균이 산출되어 결합 이미지 (226) 를 생성할 수도 있다. 예시적인 실시형태에서, 결합 이미지 (226) 는 도 1의 결합 이미지 (143) 과 비슷하다.

일부 프레임들에서, 이미지 선택 및 결합 시스템 (100) 을 잡고있는 손의 움직임 때문에 오브젝트 (222) 는 관심 영역 (224) 에 있지 않을 수도 있다. 어두운 프레임 (202, 204, 206, 208 및 214) 은 서로 정렬된 복수의 순차 이미지 (200) 의 서브셋을 형성할 수도 있다. 밝은 프레임 (210, 212, 216, 218 및 220) 은 어두운 프레임 (202, 204, 206, 208 및 214) 과 함께 정렬되지 않을 수도 있다. 서로 정렬되지 않은 프레임들을 결합하는 것은 "고스팅"을 발생시킬 수도 있으며, 오브젝트 (222) 는 결합 이미지 내 2개의 장소에 있는 것으로 나타난다. 예를 들어, 결합되는 경우, 도 2의 어두운 프레임 (202, 204, 206, 208 및 214) 의 서브셋은 왼쪽 위 코너의 관심 영역 (224) 의 고스팅을 최소화하거나 감소시키는 최상의 기회를 가질 수도 있다. 특정 실시형태에서, 서로 정렬된 복수의 순차 이미지 (200) 의 서브셋을 선택하는 것은, 적어도 하나의 고정 관심 영역을 갖는 어두운 프레임 (202, 204, 206, 208 및 214) 과 같은 이미지들의 제 1 세트를 실시간으로 검출하는 것 (여기서, 오브젝트 (222) 가 관심 영역 (224) 안에 있음) 과, 적어도 하나의 고정 관심 영역을 갖지 않는 밝은 프레임 (210, 212, 216, 218 및 220) 과 같은 이미지들의 제 2 세트를 제거하는 것 (여기서, 오브젝트 (222) 가 관심 영역 (224) 안에 있지 않음) 을 포함한다.

도 3을 참조하며, 서로 정렬된 복수의 순차 이미지 (300) 의 서브셋의 제 2 실시형태의 예시적인 도면이 도시된다. 예시적인 실시형태에서, 복수의 순차 이미지 (300) 는 도 1의 복수의 순차 이미지 (107) 과 비슷하고 도 2의 복수의 순차 이미지 (200) 와 비슷하다. 복수의 순차 이미지의 선택된 서브셋은 비연속 또는 비순차인 프레임들을 포함할 수도 있다. 예를 들어, 어두운 프레임 (302) 은, 각각의 프레임들 사이에 있는 고정 관심 영역의 상호 정렬 때문에, 어두운 프레임들 (308, 310, 314, 316 및 318) 과 결합될 수도 있다. 밝은 프레임 (304, 306, 312 및 320) 은, 각각의 프레임들 사이에 있는 고정 관심 영역의 상호 정렬이 없기 때문에 결합되지 않을 수도 있다.

아래에 더욱 상세하게 설명되는 바와 같이, 고정 관심 영역의 픽셀들에 대하여 적색 (R), 녹색 (G), 또는 청색 (B) 과 같은 적어도 하나의 채널의 각각의 이미지들 간의 픽셀 값들의 차분 절대치의 합 (Sum of Absolute Difference; SAD) 에 기초하여 이미지가 선택될 수도 있다. 예를 들어, 어두운 프레임 (308, 310, 314, 316 및 318) 은 임계치 t보다 작거나 같은 관심 영역 (ROI; region of interest) 내 어두운 프레임 (302) 에 대하여 차분 절대치의 합 (SAD) 을 각각 가질 수도 있다. 비슷하게, 밝은 프레임 (304, 306, 312 및 320) 은 임계치 t보다 큰 관심 영역 (ROI) 내 어두운 프레임 (302) 에 대하여 차분 절대치의 합 (SAD) 을 각각 가질 수도 있다. 아래에 더욱 상세하게 설명되는 바와 같이, 프레임들을 결합하는데 사용되는 불투명도 값이, 관심 영역 (ROI) 내 어두운 프레임 (302) 에 대하여 차분 절대치의 합 (SAD) 에 기초하여 어두운 프레임 (302, 308, 310, 314, 316 및 318) 에 부여될 수도 있다.

도 4를 참고하면, 서로 정렬된 복수의 순차 이미지 (400) 의 서브셋의 제 3 실시형태의 예시적인 도면이 도시된다. 예시적인 실시형태에서, 복수의 순차 이미지 (400) 는 도 1의 복수의 순차 이미지 (107), 도 2의 복수의 순차 이미지 (200), 및 도 3의 복수의 순차 이미지 (300) 와 비슷하다. 복수의 순차 이미지들의 선택된 서브셋은 프레임의 시퀀스의 시작에 있지 않은 프레임을 포함할 수도 있다. 예를 들어, 도 1의 이미지 선택 및 결합 시스템 (100) 의 스냅샷 버튼을 누름으로 인한 손떨림이 밝은 프레임 (402, 404 및 406) 으로 하여금 어두운 프레임 (408, 410, 412, 414, 416 및 418) 을 잘 인식하지 못하게 하거나, 이 어두운 프레임과 정렬되지 않게 할 수도 있기 때문에, 어두운 프레임 (408, 410, 412, 414, 416 및 418) 이 결합될 수도 있다.

아래에 더욱 상세하게 설명되는 바와 같이, 고정 관심 영역의 픽셀들에 대하여, 루미넌스 (Y), 청색 색차 (Cb), 또는 적색 색차 (Cr) 와 같은 적어도 하나의 채널의 각각의 이미지들 사이의 픽셀 값들의 차분 제곱의 합 (Sum of Squares of Difference; SSD) 에 기초하여 이미지가 선택될 수도 있다. 예를 들어, 어두운 프레임 (408, 410, 414, 416 및 418) 은 임계치 T 보다 작거나 같은 관심 영역 (ROI) 내 어두운 프레임 (412) 에 대하여 차분 제곱의 합 (SSD) 을 각각 가질 수도 있다. 비슷하게, 밝은 프레임 (402, 404, 406, 및 420) 은 임계치 T보다 큰 관심 영역 (ROI) 내 어두운 프레임 (412) 에 대하여 차분 제곱의 합 (SSD) 을 각각 가질 수도 있다. 프레임들을 결합하는데 사용되는 불투명도 값이, 관심 영역 (ROI) 내 어두운 프레임 (412) 에 대하여 차분 제곱의 합 (SSD) 에 기초하여 어두운 프레임 (408, 410, 412, 414, 416, 및 418) 에 부여될 수도 있다.

특정 실시형태에서, 다수의 순차 이미지의 서브셋은 적어도 하나의 고정 관심 영역을 갖는 이미지를 포함한다. 예를 들어, 도 2의 프레임 (202, 204, 206, 208 및 214) 은 왼쪽 위 코너의 적어도 하나의 고정 관심 영역 (224) 을 가질 수도 있다. 일부 이미지에서, 적어도 하나의 고정 관심 영역은 적어도 한 쌍의 눈을 포함할 수도 있다.

특정 실시형태에서, 적어도 하나의 고정 관심 영역의 픽셀들에 대한 적어도 하나의 채널의 각각의 이미지들 간의 픽셀 값들의 차분 절대치의 합 (SAD) 에 적어도 부분적으로 기초하여 적어도 하나의 고정 관심 영역을 갖는 이미지가 선택된다. 예를 들어, 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀들 i에 대한 적색 (R) 채널에서, 이미지 1로 지칭되는 제 1 이미지와 이미지 2로 지칭되는 제 2 이미지 간의 픽셀 값들의 차분 절대치의 합은

로 정의될 수도 있으며, R_i1은 이미지 1의 픽셀 i의 적색 값이고 R_i2는 이미지 2의 픽셀 i의 적색 값이다. 일반적으로, 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀들 i에 대한 α 채널에서, 이미지 j와 이미지 k 간의 픽셀 값들의 차분 절대치의 합 (SAD) 은, 예를 들어,

로 정의될 수도 있으며, α=R, G, B 또는 α=Y, Cb, Cr이다. 이미지 j와 이미지 k 가 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀들 i에 대한 α 채널에서 동일하다면, SAD_α _jk=0이다. 모든 채널에 걸친 합계는

, 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀 i에 대한 모든 채널에서의 이미지 j와 이미지 k 간의 픽셀 값들의 차분 절대치의 합 (SAD), 고정 관심 영역 (ROI) 의 픽셀 i에 대한 이미지 j와 이미지 k 간의 차분량의 측정치이다.

특정 실시형태에서, 임계치이거나 임계치보다 낮은 차분 절대치의 합 (SAD) 에 적어도 부분적으로 기초하여 적어도 하나의 고정 관심 영역을 갖는 이미지가 선택된다. 예를 들어, 200 픽셀 × 80 픽셀의 고정 관심 영역에 대하여, 임계치 t= 500이 사용될 수도 있으므로, 픽셀 값의 차분 절대치의 합이

인 경우, 이미지 j 및 이미지 k가 결합되도록 선택될 수도 있다.

특정 실시형태에서, 적어도 하나의 고정 관심 영역을 갖는 이미지에는 차분 절대치의 합 (SAD) 에 적어도 부분적으로 기초하여 불투명도 값이 각각 부여되며, 불투명도 값은 복수의 순차 이미지의 서브셋으로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하는데 사용된다. 예를 들어, 이미지 j를 기준 이미지로 이용하여, 픽셀 값의 차분 절대치의 합이

인 경우, 이미지 k에는 50%의 불투명도 값이 부여될 수도 있고,

인 경우, 이미지 k에는 40%의 불투명도 값이 부여될 수도 있고,

인 경우, 이미지 k에는 30%의 불투명도 값이 부여될 수도 있고,

인 경우, 이미지 k에는 20%의 불투명도 값이 부여될 수도 있다.

선택된 이미지들이 결합되는 경우, 픽셀 값에 적용할 가중치를 생성하기 위해 불투명도 값이 사용될 수도 있다. 예를 들어, 4개의 이미지가 기초 또는 기준 이미지에 대하여 저 차분 절대치의 합 (SAD) 을 갖는 경우, 4개의 이미지의 불투명도 값은 각각 50%, 50%, 40% 및 20%일 수도 있다. 기초 또는 기준 이미지에는, 최저 차분 절대치의 합 (SAD) 을 갖는 이미지 (또는 이미지들) 의 불투명도 값, 이 경우, 50%의 불투명도 값이 부여될 수도 있다. 각각의 이미지들의 픽셀 값에 적용할 가중치는, 결합될 이미지의 불투명도 값 모두의 합계로 제산한 그 이미지에 대한 불투명도 값과 동일할 수도 있다. 여기서, 결합될 이미지의 불투명도 값 모두의 합계는 50+50+50+40+20=210이다. 예를 들어, 기초 또는 기준 이미지의 적색, 녹색 및 청색 픽셀 값은 모두 50/210으로 승산될 수도 있으며, 50%의 불투명도 값을 갖는 다른 이미지들 각각의 적색, 녹색 및 청색 픽셀 값 또한 50/210으로 승산될 수도 있고, 40%의 불투명도 값을 갖는 이미지의 적색, 녹색 및 청색 픽셀 값은 40/210으로 승산될 수도 있고, 20%의 불투명도 값을 갖는 이미지의 적색, 녹색 및 청색 픽셀 값은 20/210으로 승산될 수도 있다. 5개의 이미지의 가중된 픽셀 값들의 평균을 산출하여 결합 이미지를 생성할 수도 있다.

특정 실시형태에서, 적어도 하나의 관심 영역의 픽셀에 대한 적어도 하나의 채널의 각각의 이미지들 간의 픽셀의 차분 제곱의 합 (SSD) 에 적어도 부분적으로 기초하여 적어도 하나의 관심 영역을 갖는 이미지가 선택된다. 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀 i에 대한 적색 (R) 채널에서, 이미지 1로 지칭되는 제 1 이미지와 이미지 2로 지칭되는 제 2 이미지 간의 픽셀 값의 차분 제곱의 합 (SSD) 이

로 정의되고, R_i1은 이미지 1의 픽셀 i의 적색 값이고 R_i2는 이미지 2의 픽셀 i의 적색 값이다. 일반적으로, 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀들 i에 대한 α 채널에서 이미지 j와 이미지 k 간의 픽셀 값들의 차분 제곱의 합 (SSD) 은, 예를 들어,

로 정의될 수도 있으며, α=R, G, B 또는 α=Y, Cb, Cr이다. 이미지 j와 이미지 k 가 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀들 i에 대한 α 채널에서 동일하다면, SSD_α _jk=0이다. 모든 채널에 걸친 합계는

, 적어도 하나의 고정 관심 영역 (ROI) 의 픽셀 i에 대한 모든 채널에서의 이미지 j와 이미지 k 간의 픽셀 값들의 차분 제곱의 합 (SSD), 고정 관심 영역 (ROI) 의 픽셀 i에 대한 이미지 j와 이미지 k 간의 차분량의 측정치이다.

특정 실시형태에서, 임계치이거나 임계치보다 낮은 차분 제곱의 합 (SSD) 에 적어도 부분적으로 기초하여 적어도 하나의 고정 관심 영역을 갖는 이미지가 선택된다. 예를 들어, 200 픽셀 × 80 픽셀의 고정 관심 영역에 대하여, 임계치 T= 500이 사용될 수도 있으므로, 픽셀 값의 차분 제곱의 합이

특정 실시형태에서, 적어도 하나의 고정 관심 영역을 갖는 이미지에는 차분 제곱의 합 (SSD) 에 적어도 부분적으로 기초하여 불투명도 값이 각각 부여되며, 불투명도 값은 복수의 순차 이미지의 서브셋으로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하는데 사용된다. 예를 들어, 이미지 j를 기준 이미지로 이용하여, 픽셀 값의 차분 제곱의 합이

선택된 이미지들이 결합되는 경우, 픽셀 값에 적용할 가중치를 생성하기 위해 불투명도 값이 사용될 수도 있다. 예를 들어, 3개의 이미지가 기초 또는 기준 이미지에 대하여 저 차분 제곱의 합 (SSD) 을 갖는 경우, 3개의 이미지의 불투명도 값은 각각 50%, 40% 및 20%일 수도 있다. 기초 또는 기준 이미지에는, 최저 차분 제곱의 합 (SSD) 을 갖는 이미지 (또는 이미지들) 의 불투명도 값, 이 경우, 50%의 불투명도 값이 부여될 수도 있다. 각각의 이미지들의 픽셀 값에 적용할 가중치는, 결합될 이미지의 불투명도 값 모두의 합계로 제산한 그 이미지에 대한 불투명도 값과 동일할 수도 있다. 여기서, 결합될 이미지의 불투명도 값 모두의 합계는 50+50+40+20=160이다. 예를 들어, 기초 또는 기준 이미지의 적색, 녹색 및 청색 픽셀 값은 모두 50/160으로 승산될 수도 있으며, 50%의 불투명도 값을 갖는 다른 이미지들 각각의 적색, 녹색 및 청색 픽셀 값 또한 50/160으로 승산될 수도 있고, 40%의 불투명도 값을 갖는 이미지의 적색, 녹색 및 청색 픽셀 값은 40/160으로 승산될 수도 있고, 20%의 불투명도 값을 갖는 이미지의 적색, 녹색 및 청색 픽셀 값은 20/160으로 승산될 수도 있다. 4개의 이미지의 가중된 픽셀 값들의 평균을 산출하여 결합 이미지를 생성할 수도 있다.

차분 절대치의 합 (SAD) 의 최저 세트 또는 차분 제곱의 합 (SSD) 의 최저 세트를 발생시키는, 기초 또는 기준 이미지가 선택될 수도 있다. 예를 들어, n개의 이미지에 대하여, 각각의 이미지는 기초 또는 기준 이미지로서 순번으로 선택될 수도 있고 차분 절대치의 합 (SAD) 또는 차분 제곱의 합 (SSD) 이 그 기초 또는 기준 이미지와 관련하여 다른 (n-1) 이미지 모두에 대하여 계산될 수도 있다. 결합할 이미지의 수 m은 미리결정될 수도 있고, 그런 다음 기초 또는 기준 이미지가 선택될 수도 있다. 이러한 방식으로, 차분 절대치의 합 (SAD) 또는 차분 제곱의 합 (SSD) 의 최저 그룹 (m개의 이미지) 을 제공하는 기초 또는 기준 이미지가 발견될 수도 있다. 예를 들어, m은 3또는 4와 동일할 수도 있다. 이러한 탐색 방법은, 카메라가 n개의 이미지 모두를 저장할 수 없고 서로 잘 정렬된 m개의 이미지가 존재할 때 하나의 캡쳐 커맨드로부터 발생된 이미지들의 버스트의 이미지 처리를 중단시키는 경우에 유용할 수도 있다. 이미지 처리는 이미지 처리 시스템 (130) 내 하드웨어에서 즉시 또는 이미지 스토리지 (150) 에서 나중에 실시될 수 있다. 이 탐색 방법에는 1 이외의 증분이 사용될 수도 있다. 예를 들어, 기초 또는 기준 이미지로서 다섯번째 이미지마다 평가될 수도 있다.

이미지 캡쳐 디바이스를 잡은 손의 흔들림 및 피사체의 흔들림이 이미지에서 이미지로 상관될 수도 있다. 기초 또는 기준 이미지로서 사용되는 경우의 특정한 이미지가 임계치보다 높은 차분 절대치의 합 (SAD) 또는 차분 제곱의 합 (SSD) 의 그룹을 생성하는 경우, 그 특정한 이미지 근처에 있는 이미지들은 동일한 것을 한다. 2진 탐색 방법이 사용될 수도 있다. 예를 들어, 100개의 이미지가 있다면, 이미지 (25, 50 및 75) 가 기초 또는 기준 이미지로서 선택될 수도 있다. 어느 기초 이미지가 차분 절대치의 합 (SAD) 또는 차분 제곱의 합 (SSD) 의 최저 그룹을 생성하는지에 따라서, 탐색 간격은 절반으로 단축될 수도 있다. 예를 들어, 기초 또는 기준 이미지로서 이미지 (75) 가 차분 절대치의 합 (SAD) 또는 차분 제곱의 합 (SSD) 의 최저 그룹을 생성한다면, 25의 간격 대신 12의 탐색 간격이 사용될 수도 있으므로, 이미지 (63 및 87) 가 기초 또는 기준 이미지로서 사용될 수도 있다. 기초 또는 기준 이미지로서 이미지 (63) 가 가 차분 절대치의 합 (SAD) 또는 차분 제곱의 합 (SSD) 의 최저 그룹을 생성한다면, 12의 간격 대신 6의 탐색 간격이 사용될 수도 있으므로, 이미지 (57 및 69) 가 기초 또는 기준 이미지로서 사용될 수도 있다. 2진 탐색은 탐색 간격이 1개의 이미지인 때까지 진행할 수도 있다.

특정 실시형태에서, 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하기 전에 복수의 순차 이미지의 서브셋이 선명화된다. 예를 들어, 도 1의 복수의 순차 이미지 (107) 의 서브셋 (141) 은, 이미지 결합 모듈 (142) 에서 결합되기 전에 선명화 모듈 (145) 에서 선명해질 수도 있다. 특정 실시형태에서, 서로 정렬된 복수의 순차 이미지 (200) 의 서브셋을 선택하는 것은 적어도 하나의 고정 관심 영역을 갖는 어두운 프레임 (202, 204, 206, 208 및 214) 과 같은 이미지들의 제 1 세트를 실시간으로 검출하는 것 (여기서, 오브젝트 (222) 가 관심 영역 (224) 안에 있음) 과, 적어도 하나의 고정 관심 영역을 갖지 않는 밝은 프레임 (210, 212, 216, 218 및 220) 과 같은 이미지들의 제 2 세트를 제거하는 것 (여기서, 오브젝트 (222) 가 관심 영역 (224) 안에 있지 않음) 을 포함한다. 특정 실시형태에서, 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하기 전에 도 1의 이미지 캡쳐 디바이스 (101) 에 의해 캡쳐된 순차 이미지가 60개까지 수신된다.

도 5를 참조하면, 서로 정렬된 복수의 순차 이미지를 선택하여 결합하는 방법의 제 1 예시적 실시형태의 흐름도가 500에 도시된다. 예를 들어, 방법 500은 도 1의 이미지 선택 및 결합 시스템 (100) 에 의해 실시될 수도 있다. 방법 500은 n개의 순차 이미지를 버스트로 캡쳐하는 단계를 포함한다 (502). 예를 들어, 6 메가픽셀 (MP) 을 각각 갖는 순차 이미지를 약 60개까지 약 1초의 버스트로 캡쳐될 수도 있다. 방법 500은 또한 n개의 순차 이미지의 제 1 이미지에서 관심 영역을 결정하는 단계를 포함한다 (504). 예를 들어, 관심 영역은 한 쌍의 눈일 수도 있다. 도 2에 도시된 바와 같이, 관심 영역 (224) 은 고정 오브젝트 (222) 를 가질 수도 있다.

방법 500은 임계치보다 작은, 관심 영역에 대한 차분 절대치의 합 (SAD) 을 각각 갖는 m개의 순차 이미지를 결정하는 단계를 더 포함한다 (506). 예를 들어, m은 약 2 내지 약 10의 범위에 있을 수도 있다. 관심 영역이 약 200 픽셀 × 약 80 픽셀인 경우, 임계치는 약 500일 수도 있다. 도 3에 도시된 바와 같이, 어두운 프레임 (308, 310, 314, 316 및 318) 의 서브셋은 임계치 t보다 작거나 같은 관심 영역 (ROI) 의 어두운 프레임 (302) 에 대하여 차분 절대치의 합 (SAD) 을 각각 가질 수도 있다.

방법 500은 또한 제 1 이미지의 관심 영역과 관련하여 각각의 관심 영역에 대한 차분 절대치의 합 (SAD) 에 기초하여 m개의 순차 이미지들 각각에 대한 불투명도 값을 결정하는 단계를 포함한다 (508). 예를 들어, 이미지 j를 제 1 이미지로 이용하여, 픽셀 값의 차분 절대치의 합 (SAD) 이

인 경우, 이미지 k에는 20%의 불투명도 값이 부여될 수도 있다. 제 1 이미지가 SAD_jj=0을 가지므로, 절대치보다 작은 각각의 관심 영역에 대한 차분 절대치의 합 (SAD) 을 각각 갖는 m개의 순차 이미지에 제 1 이미지가 포함될 수도 있다.

방법 500은 또한 m개의 순차 이미지 각각에 대한 불투명도 값을 이용하여 m개의 순차 이미지를 함께 병합하는 단계를 포함한다 (510). 예를 들어, m=5일 때, 4개의 이미지가 제 1 이미지와 관련하여 저 차분 절대치의 합 (SAD) 을 갖는 경우, 4개의 이미지의 불투명도 값은 각각 50%, 40%, 40% 및 20%일 수도 있다. 제 1 이미지에는 50%의 불투명도 값이 부여될 수도 있다. 이미지 각각의 픽셀 값들에 적용할 가중치는 결합될 이미지의 불투명도 값 모두의 합계로 제산한 그 이미지에 대한 불투명도 값과 동일할 수도 있으며, 이 경우 불투명도 값 모두의 합계는 50+50+40+40+20=200이다. 예를 들어, 제 1 이미지의 적색, 녹색 및 청색 픽셀 값은 모두 50/200으로 승산될 수도 있으며, 50%의 불투명도 값을 갖는 다른 이미지들 각각의 적색, 녹색 및 청색 픽셀 값 또한 50/200으로 승산될 수도 있고, 40%의 불투명도 값을 갖는 이미지들 각각의 적색, 녹색 및 청색 픽셀 값은 40/200으로 승산될 수도 있고, 20%의 불투명도 값을 갖는 이미지의 적색, 녹색 및 청색 픽셀 값은 20/200으로 승산될 수도 있다. 그런 다음, m=5인 순차 이미지의 적절하게 가중된 픽셀 값들의 평균을 산출하여 결합 또는 병합 이미지를 생성할 수도 있다.

도 6을 참조하면, 서로 정렬된 복수의 순차 이미지를 선택하고 결합하는 방법의 제 2 예시적 실시형태의 흐름도가 600에 도시된다. 방법 600은 이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 이미지를 수신하는 단계를 포함한다 (602). 예를 들어, 복수의 순차 이미지 (107) 는 도 1의 이미지 캡쳐 디바이스 (101) 에 의해 캡쳐될 수도 있다. 방법 600은 또한 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하는 단계를 포함한다 (604). 예를 들어, 도 2의 어두운 프레임 (202, 204, 206, 208 및 214) 은 서로 정렬된 복수의 순차 이미지 (200) 의 서브셋으로서 선택될 수도 있다. 방법 600은 또한 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하여 결합 이미지를 생성하는 것을 포함한다 (606). 예를 들어, 도 2의 어두운 프레임 (202, 204, 206, 208 및 214) 각각으로부터의 픽셀 값의 평균이 산출되어 결합 이미지 (226) 와 비슷한 결합 이미지를 생성할 수도 있다.

방법 600은 또한 복수의 순차 이미지의 서브셋 내 각각의 이미지로부터의 픽셀 값의 평균을 내기 전에 복수의 순차 이미지의 서브셋을 선명화하는 단계를 포함한다 (608). 도 1의 복수의 순차 이미지 (107) 의 서브셋 (141) 은, 이미지 결합 모듈 (142) 에서 결합되기 전에 선명화 모듈 (145) 에서 선명화될 수도 있다. 방법 600은 또한 적어도 하나의 고정 관심 영역을 갖는 이미지의 제 1 세트를 실시간으로 검출하는 단계를 더 포함한다 (610). 예를 들어, 서로 정렬된 도 2의 복수의 순차 이미지 (200) 의 서브셋을 선택하는 단계는 적어도 하나의 고정 관심 영역을 갖는 어두운 프레임 (202, 204, 206, 208 및 214) 과 같은 이미지의 제 1 세트를 실시간으로 검출하는 단계를 포함할 수도 있다 (여기서, 오브젝트 (222) 가 관심 영역 (224) 내에 있음). 방법 600은 또한 적어도 하나의 고정 관심 영역을 갖지 않는 이미지의 제 2 서브셋을 제거하는 단계를 포함할 수도 있다 (612). 예를 들어, 서로 정렬된 도 2의 복수의 순차 이미지 (200) 의 서브셋을 선택하는 단계는 적어도 하나의 고정 관심 영역을 갖지 않는 밝은 프레임 (210, 212, 216, 218 및 220) 과 같은 이미지의 제 2 세트를 제거하는 단계를 포함할 수도 있다 (여기서, 오브젝트 (222) 가 관심 영역 (224) 내에 있지 않음).

특정 실시형태에서, 장치는 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하는 수단을 포함한다. 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하는 수단은 이미지 선택 모듈 (140) 을 갖는 도 1의 이미지 처리 시스템 (130) 과 같은 이미지 처리 시스템, 이미지 처리 회로, 대응하는 하드웨어, 펌웨어 또는 그 임의의 조합을 포함할 수도 있다. 예를 들어, 도 1의 이미지 선택 모듈 (140) 을 갖는 도 1의 이미지 처리 시스템 (130) 은 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하는 알고리즘을 실행하도록 프로그래밍될 수도 있다. 장치는 또한 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 내어 결합 이미지를 생성하는 수단을 포함할 수도 있다. 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 내어 결합 이미지를 생성하는 수단은 이미지 결합 모듈 (142) 을 갖는 도 1의 이미지 처리 시스템 (130) 과 같은 이미지 처리 시스템, 이미지 처리 회로, 대응하는 하드웨어, 펌웨어 또는 그 임의의 조합을 포함할 수도 있다. 예를 들어, 이미지 결합 모듈 (142) 을 갖는 도 1의 이미지 처리 시스템 (130) 은 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하는 알고리즘을 실행하도록 프로그래밍될 수도 있다.

도 7은 이미지 선택 및 이미지 결합 모듈을 포함하는 시스템 (700) 의 특정 실시형태의 블록도이다. 시스템 (700) 은 렌즈 (768) 에 연결되고 휴대용 멀티미디어 디바이스 (770) 의 애플리케이션 프로세서 칩셋에도 연결된 이미지 센서 디바이스 (722) 를 포함한다. 이미지 센서 디바이스 (722) 는, 예를 들어, 도 1의 이미지 선택 모듈 (140) 과 이미지 결합 모듈 (142) 을 구현함으로써, 도 5 및 도 6의 실시형태 중 어느 것, 또는 그 임의의 결합에 따라서 동작함으로써, 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하고 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하는 이미지 선택 및 이미지 결합 모듈 (764) 을 포함한다.

이미지 선택 및 이미지 결합 모듈 (764) 은, 예를 들어, 이미지 어레이 (766) 의 출력을 수신하고 이미지 데이터를 이미지 선택 및 이미지 결합 모듈 (764) 에 제공하도록 연결되는 아날로그-디지털 변환기 (726) 를 경유하여, 이미지 어레이 (766) 로부터 이미지 데이터를 수신하도록 연결된다.

이미지 센서 디바이스 (722) 는 또한 프로세서 (710) 를 포함할 수도 있다. 특정 실시형태에서, 프로세서 (710) 는 이미지 선택 및 이미지 결합 모듈 (764) 을 구현하도록 구성된다. 다른 실시형태에서, 이미지 선택 및 이미지 결합 모듈 (764) 이 이미지 처리 회로로서 구현된다.

특정 실시형태에서, 이미지 처리 회로를 포함하는 집적 회로는 복수의 순차 이미지를 처리하도록 구성된다. 이미지 처리 회로는 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하도록 구성된다. 예를 들어, 도 2의 프레임 (202, 204, 206, 208 및 214) 는 서로 정렬된 복수의 순차 이미지의 서브셋으로서 선택될 수도 있다. 이미지 처리 회로는 또한 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하도록 구성될 수도 있다. 예를 들어, 도 2의 프레임 (202, 204, 206, 208 및 214) 각각으로부터의 픽셀 값의 평균이 산출되어 결합 이미지를 생성할 수도 있다.

프로세서 (710) 는 또한 이미지 처리 시스템에 의해 실시된 하나 이상의 동작과 같은 추가적인 이미지 처리 동작을 실시하도록 구성될 수도 있다. 프로세서 (710) 는, 추가적인 처리, 송신, 저장, 디스플레이, 또는 그 임의의 조합을 위해서, 휴대용 멀티미디어 디바이스 (770) 의 애플리케이션 프로세서 칩셋에 처리된 이미지 데이터를 제공할 수도 있다.

도 8은 이미지 선택 및 이미지 결합 모듈과 결합 이미지를 디스플레이하기 위한 디스플레이를 갖는 무선 통신 디바이스 (800) 의 실시형태의 블록도이다. 무선 통신 디바이스 (800) 는, 메모리 (832) 에 커플링된, 디지털 신호 처리기 (DSP) 또는 마이크로컨트롤러와 같은 프로세서 (810) 를 포함하는 휴대용 디바이스를 포함할 수도 있다. 메모리 (832) 는 프로세서 (810) 에 의해 실시되는 경우, 프로세서 (810) 로 하여금 이미지 선택 및 이미지 결합을 위한 동작을 실시하고 다른 처리들을 실시하게 하는 컴퓨터 코드 (842) 를 저장하기 위한 판독가능한, 유형 매체이다. 프로세서 (810) 는 이미지 선택 및 이미지 결합 모듈 (862) 을 포함한다. 예시적인 실시예에서, 이미지 선택 및 이미지 결합 모듈 (862) 은, 예를 들어, 도 1의 이미지 선택 모듈 (140) 과 이미지 결합 모듈 (142) 을 구현함으로써, 도 5 및 도 6의 실시형태 중 어느 것, 또는 그 임의의 결합에 따라서 동작함으로써, 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하고 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성한다. 이미지 선택 및 이미지 결합 모듈 (862) 은 프로세서 (810) 에 있을 수도 있고 또는 하드웨어 이미지 처리 파이프라인과 함께 별개의 디바이스 또는 회로, 또는 그 조합일 수도 있다.

이미지 선택 및 이미지 결합 모듈 (862) 의 구현에서, 메모리 (832) 와 같은 컴퓨터 판독가능 매체는 이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 이미지를 수신하기 위한 컴퓨터 실행가능 코드 (842) 를 포함한다. 예를 들어, 프로세서 (810) 는 카메라 (870) 와 같은 이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 이미지를 수신하기 위한 컴퓨터 실행가능 코드 (842) 를 이용할 수도 있다. 카메라 (870) 는, 예를 들어, 디지털 스틸 카메라일 수도 있다. 메모리 (832) 와 같은 컴퓨터 판독가능 매체는 또한 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하기 위한 컴퓨터 실행가능 코드 (842) 를 포함한다. 예를 들어, 이미지 선택 및 이미지 결합 모듈 (862) 을 구비한 프로세서 (810) 는 서로 정렬된 복수의 순차 이미지의 서브셋을 선택하기 위한 컴퓨터 실행가능 코드 (842) 를 이용할 수도 있다. 메모리 (832) 와 같은 컴퓨터 판독가능 매체는 또한 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하기 위한 컴퓨터 실행가능 코드 (842) 를 포함한다. 예를 들어, 이미지 선택 및 이미지 결합 모듈 (862) 을 구비한 프로세서 (810) 는 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성하기 위한 컴퓨터 실행가능 코드 (842) 를 사용할 수도 있다.

카메라 인터페이스 (868) 가 프로세서 (810) 에 연결되고 또한 카메라 (870) 에도 연결된다. 카메라 (870) 는 스틸 이미지 카메라일 수도 있다. 복수의 컨트롤러 (826) 가 프로세서 (810) 와 디스플레이 디바이스 (828) 에 연결된다. 특정 실시형태에서, 복수의 순차 이미지는 물리적인 오브젝트를 나타내는 데이터를 포함하고 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하는 것은 결합 이미지에서 잡음량을 감소시키도록 데이터를 변환한다. 변환된 데이터를 디스플레이 디바이스 (828) 를 통해 디스플레이될 수도 있다. 오디오 컨트롤러 (834) 는 프로세서 (810) 에 연결될 수 있다. 스피커 (836) 및 마이크로폰 (838) 은 오디오 컨트롤러 (834) 에 연결될 수 있다. 무선 인터페이스 (840) 는 프로세서 (810) 와 안테나 (842) 에 연결될 수 있다. 시스템 (800) 으로의 입력을 수신하고 연결하는 입력 디바이스 (830) 는 입력 컨트롤러 (831) 에 의해 시스템 (800) 에도 연결될 수도 있다.

도 8의 시스템의 동작 동안, 사용자는 카메라 (870) 를 이용하여 촬영할 수도 있다. 카메라 (870) 에 의해 캡쳐된 이미지 데이터는 카메라 인터페이스 (868) 에 의해 프로세서 (810) 에 연결된다. 프로세서 (810) 내부의 이미지 선택 및 이미지 결합 모듈 (862) 은, 메모리 (832) 에 저장된 컴퓨터 코드 (842) 에 따라서, 서로 정렬된 복수의 순차 이미지의 서브셋을 선택할 수도 있고 복수의 순차 이미지의 서브셋의 각각의 이미지로부터의 픽셀 값의 평균을 산출하여 결합 이미지를 생성할 수도 있다. 디스플레이 (828) 는 결합 이미지를 디스플레이할 수도 있다. 카메라 (870) 에 의해 캡쳐된 이미지는 시스템 (800) 에 의해 무선 인터페이스 (840) 및 안테나 (842) 를 통해 무선으로 송신될 수도 있다. 캡쳐된 이미지는 또한 메모리 (832) 에 저장될 수도 있다.

당업자는 또한, 본원에 개시된 실시형태들과 연관되어 설명된 각종 예시적인 논리 블록, 구성, 모듈, 회로, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있음을 인식한다. 명확하게 설명하기 위해서, 하드웨어 및 소프트웨어, 각종 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들의 이 상호 교환성은 그 기능에 관하여 일반적으로 전술되어 있다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현될지 여부는 특정 애플리케이션 및 전체 시스템 상에 부과된 설계 제약에 의존한다. 당업자는 각각의 특정 애플리케이션에 대해 변하는 방식으로 설명된 기능을 구현할 수도 있으나, 이러한 구현 결정은 본 개시물의 범위로부터 벗어나는 것으로 해석되어서는 안 된다.

본원에 개시된 실시형태들과 연관하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행된 소프트웨어 모듈에서, 또는 이 둘의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래머블 판독 전용 메모리 (PROM), 소거 가능한 프로그래머블 판독 전용 메모리 (EPROM), 전기적으로 소거 가능한 프로그래머블 판독 전용 메모리 (EEPROM), 레지스터, 하드 디스크, 착탈형 디스크, 콤팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당해 분야에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체가 프로세서에 커플링되어, 프로세서는 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기입할 수 있다. 다르게는, 저장 매체가 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 별개의 컴포넌트들로서 상주할 수도 있다.

개시된 실시형태의 이전 설명은 당업자가 개시된 실시형태들을 제조 또는 이용할 수 있도록 제공된다. 이들 실시형태들에 대한 각종 변형들이 당업자에게 자명할 것이고, 본원에 정의된 원리들은 개시물의 범위로부터 벗어남 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 본원에 도시된 실시형태들에 제한되는 것으로 의도되는 것이 아니라 다음의 청구범위에 의해 정의된 바와 같은 신규한 특성들 및 원리들과 부합하는 가능한 최광의 범위를 따르려는 것이다.

Claims

이미지 캡쳐 디바이스에 의해 캡쳐된 복수의 순차 이미지들을 수신하는 단계로서, 상기 복수의 순차 이미지들은 서로 정렬된 이미지들과 서로 정렬되지 않은 이미지들을 포함하는, 상기 복수의 순차 이미지들을 수신하는 단계;
서로 정렬된 상기 이미지들 및 서로 정렬되지 않은 상기 이미지들 중에서, 상기 복수의 순차 이미지들에서 검출된 고정 관심 영역에 기초하여 서로 정렬되는 것으로 결정된 상기 복수의 순차 이미지들의 서브셋을 선택하는 단계; 및
결합 이미지를 생성하기 위해 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하는 단계를 포함하는, 방법.
삭제
제 1 항에 있어서,
상기 복수의 순차 이미지들은 물리적인 오브젝트를 나타내는 데이터를 포함하고, 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하는 단계는 상기 결합 이미지에서 잡음량을 감소시키도록 상기 데이터를 변환하고, 상기 변환된 데이터를 디스플레이 디바이스를 통해 디스플레이하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 고정 관심 영역에 기초하여 상기 복수의 순차 이미지들의 상기 서브셋을 선택하는 단계는 상기 고정 관심 영역의 픽셀들에 대한 적어도 하나의 채널에서의 각각의 이미지들 간의 픽셀 값들의 차분 절대치의 합 (sum of absolute difference) 을 계산하는 단계를 포함하는, 방법.
제 4 항에 있어서,
상기 차분 절대치의 합은 임계치이거나 임계치보다 낮은, 방법.
제 4 항에 있어서,
상기 복수의 순차 이미지들의 상기 서브셋의 각 이미지는 상기 차분 절대치의 합에 적어도 부분적으로 기초하여 불투명도 값이 부여되고, 상기 불투명도 값은 상기 복수의 순차 이미지들의 서브셋으로부터의 픽셀 값들의 평균을 산출하여 상기 결합 이미지를 생성하는데 사용되는, 방법.
제 1 항에 있어서,
상기 고정 관심 영역에 기초하여 상기 복수의 순차 이미지들의 상기 서브셋을 선택하는 단계는 상기 고정 관심 영역의 픽셀들에 대한 적어도 하나의 채널에서의 각각의 이미지들 간의 픽셀 값들의 차분 제곱의 합 (sum of squares of difference) 을 계산하는 단계를 포함하는, 방법.
제 7 항에 있어서,
상기 차분 제곱의 합은 임계치이거나 임계치보다 낮은, 방법.
제 7 항에 있어서,
상기 복수의 순차 이미지들의 상기 서브셋의 각 이미지는 상기 차분 제곱의 합에 적어도 부분적으로 기초하여 불투명도 값이 부여되고, 상기 불투명도 값은 상기 복수의 순차 이미지들의 서브셋으로부터의 픽셀 값들의 평균을 산출하여 상기 결합 이미지를 생성하는데 사용되는, 방법.
제 1 항에 있어서,
상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하기 전에 상기 복수의 순차 이미지들의 서브셋을 선명화 (sharpening) 하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 단계는 적어도 하나의 고정 관심 영역을 갖는 이미지들의 제 1 세트를 실시간으로 검출하는 단계와 상기 적어도 하나의 고정 관심 영역을 갖지 않는 이미지들의 제 2 세트를 제거하는 단계를 포함하는, 방법.
제 11 항에 있어서,
상기 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 단계 이전에 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 순차 이미지들이 60개까지 수신되는, 방법.
제 1 항에 있어서,
n개의 순차 이미지들을 버스트 (burst) 로 캡쳐하는 단계;
상기 n개의 순차 이미지들의 제 1 이미지에서 관심 영역을 결정하는 단계;
임계치보다 작은, 상기 관심 영역에 대한 차분 절대치의 합을 각각 갖는 m개의 순차 이미지들을 결정하는 단계;
상기 제 1 이미지의 상기 관심 영역에 관한 상기 m개의 순차 이미지들 각각의 상기 관심 영역에 대한 상기 차분 절대치의 합에 기초하여 상기 m개의 순차 이미지들 각각에 대한 불투명도 값을 결정하는 단계; 및
상기 m개의 순차 이미지들 각각에 대한 상기 불투명도 값을 이용하여 상기 m개의 순차 이미지들을 함께 병합하는 단계를 더 포함하는, 방법.
서로 정렬된 이미지들과 서로 정렬되지 않은 이미지들을 포함하는 복수의 순차 이미지들을 수신하고;
상기 복수의 순차 이미지들에서 검출된 고정 관심 영역에 기초하여 서로 정렬되는 것으로 결정된 상기 복수의 순차 이미지들의 서브셋을 선택하되, 상기 서브셋은 서로 정렬되는 상기 이미지들 및 서로 정렬되지 않는 상기 이미지들 중에서 선택되고; 그리고
결합 이미지를 생성하기 위해 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하도록 구성된
이미지 처리 시스템을 포함하는, 장치.
제 14 항에 있어서,
상기 복수의 순차 이미지들을 캡쳐하도록 구성된 이미지 캡쳐 디바이스를 더 포함하고, 상기 복수의 순차 이미지들은 물리적인 오브젝트를 나타내는 데이터를 포함하고, 그리고 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 상기 픽셀 값들의 평균을 산출하는 것은 상기 결합 이미지에서 잡음량을 감소시키도록 상기 데이터를 변환하고, 그리고 상기 변환된 데이터를 디스플레이하도록 구성된 디스플레이 디바이스를 더 포함하는, 장치.
제 14 항에 있어서,
상기 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 것은 적어도 하나의 고정 관심 영역을 갖는 이미지들의 제 1 세트를 실시간으로 검출하는 것과 상기 적어도 하나의 고정 관심 영역을 갖지 않는 이미지들의 제 2 세트를 제거하는 것을 포함하는, 장치.
복수의 순차 이미지들을 처리하여,
서로 정렬된 이미지들과 서로 정렬되지 않은 이미지들을 포함하는 복수의 순차 이미지들을 수신하고;
상기 복수의 순차 이미지들에서 검출된 고정 관심 영역에 기초하여 서로 정렬되는 것으로 결정된 상기 복수의 순차 이미지들의 서브셋을 선택하되, 상기 서브셋은 서로 정렬되는 상기 이미지들 및 서로 정렬되지 않는 상기 이미지들 중에서 선택되고; 그리고
결합 이미지를 생성하기 위해 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하도록
구성된 이미지 처리 회로를 포함하는, 집적 회로.
삭제
제 17 항에 있어서,
상기 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 것은 적어도 하나의 고정 관심 영역을 갖는 이미지들의 제 1 세트를 실시간으로 검출하는 것과 상기 적어도 하나의 고정 관심 영역을 갖지 않는 이미지들의 제 2 세트를 제거하는 것을 포함하는, 집적 회로.
서로 정렬된 이미지들과 서로 정렬되지 않은 이미지들을 포함하는 복수의 순차 이미지들을 수신하는 수단;
상기 복수의 순차 이미지들에서 검출된 고정 관심 영역에 기초하여 서로 정렬되는 것으로 결정된 상기 복수의 순차 이미지들의 서브셋을 선택하는 수단으로서, 상기 서브셋은 서로 정렬되는 상기 이미지들 및 서로 정렬되지 않는 상기 이미지들 중에서 선택되는, 상기 복수의 순차 이미지들의 서브셋을 선택하는 수단; 및
결합 이미지를 생성하기 위해 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하는 수단을 포함하는, 장치.
제 20 항에 있어서,
상기 복수의 순차 이미지들을 캡쳐하도록 구성된 이미지 캡쳐 디바이스를 더 포함하고, 상기 복수의 순차 이미지들은 물리적인 오브젝트를 나타내는 데이터를 포함하고, 그리고 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 상기 픽셀 값들의 평균을 산출하는 것은 상기 결합 이미지에서 잡음량을 감소시키도록 상기 데이터를 변환하고, 그리고 상기 변환된 데이터를 디스플레이하도록 구성된 디스플레이 디바이스를 더 포함하는, 장치.
제 20 항에 있어서,
상기 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 것은 적어도 하나의 고정 관심 영역을 갖는 이미지들의 제 1 세트를 실시간으로 검출하는 것을 포함하는, 장치.
이미지 캡쳐 디바이스로부터 복수의 순차 이미지들을 수신하기 위한 코드로서, 상기 복수의 순차 이미지들은 서로 정렬된 이미지들과 서로 정렬되지 않은 이미지들을 포함하는, 복수의 순차 이미지들을 수신하기 위한 코드;
서로 정렬된 상기 이미지들 및 서로 정렬되지 않은 상기 이미지들 중에서, 상기 복수의 순차 이미지들에서 검출된 고정 관심 영역에 기초하여 서로 정렬되는 것으로 결정된 상기 복수의 순차 이미지들의 서브셋을 선택하기 위한 코드; 및
결합 이미지를 생성하기 위해 상기 복수의 순차 이미지들의 서브셋의 각각의 이미지로부터의 픽셀 값들의 평균을 산출하기 위한 코드를 포함하는, 컴퓨터 실행가능 코드를 저장하는 컴퓨터 판독가능 매체.
삭제
제 23 항에 있어서,
상기 서로 정렬된 복수의 순차 이미지들의 서브셋을 선택하는 것은 적어도 하나의 고정 관심 영역을 갖는 이미지들의 제 1 세트를 실시간으로 검출하는 것과 상기 적어도 하나의 고정 관심 영역을 갖지 않는 이미지들의 제 2 세트를 제거하는 것을 포함하는, 컴퓨터 실행가능 코드를 저장하는 컴퓨터 판독가능 매체.