KR20090063120A - 결합 이미지를 생성하는 방법 및 장치 - Google Patents

Abstract

본 발명은 결합 이미지를 생성하는 방법에 있어서, 복수의 초기 이미지를 포함하는 시퀀스(sequence)를 캡쳐(capture)하는 동안, 상기 복수의 이미지 중 실질적인 움직임이 없는 이미지의 서브셋을 검출하는 과정과, 결합 이미지를 생성하기 위해 상기 서브셋으로부터 데이터를 결합하는 과정과, 상기 결합 이미지를 출력하는 과정을 포함한다.

결합 이미지, JPEG

Description

결합 이미지를 생성하는 방법 및 장치 {A METHOD AND AN APPARATUS FOR CREATING A COMBINED IMAGE}

본 발명은 이미지 시퀀스로부터 이미지를 생성하는 방법 및 장치에 관한 것이다. 또한, 본 발명은 움직임 검출 기술을 사용하여 이미지 시퀀스로부터 이미지를 생성하기 위한 이동 장치 및 방법에 관한 것이다.

최근 고성능의 컴팩트(compact)한 경제적인 디지털 이미지 장치들의 수요가 증가하고 있다. 그러한 이미지 장치들은 전하 결합 소자(CCD: Charge-Coupled Device) 기반의 센서 또는 상보성 금속 산화막 반도체(CMOS: Complementary Metal-Oxide Semiconductor) 기반의 센서와 같은 이미지 센서를 사용함으로써 획득한(intercepted) 장면의 이미지를 전기적 신호로 변환한다. 특히, 이동 단말기와 같은 작은 장치 내에 설치되기 위해 디자인되고, 예를 들어 200백만 화소 이상의 높은 화소수를 갖는 이미지 센서를 갖는 고성능의 컴팩트한 디지털 이미지 장치들은 증가되고 있다. 그러한 수요는 휴대용 컴퓨터, 웹캠(webcam), 이동 단말기, PDA( Personal Digital Assistant)와 같은 통합 디지털 카메라인 이동 장치가 보급된 결과이다.

이미지의 품질을 결정하는 특징들 중 하나는 노출이다. 디지털 사진술에서 노출은 이미지 획득 과정동안 이미지 센서로 떨어지는 것이 허용된 빛의 총량이다. 상기 총량은 빛이 상기 이미지 센서로 들어오는 동안의 시간의 길이인 노출 기간의 조합이며, 상기 노출 기간 동안 상기 이미지 센서에 의해 수신된 조도(조명)의 레벨이다. 만약, 상기 이미지 센서가 오랜 기간동안 노출된 경우, 상기 조도의 레벨은 감소될 수 있으며, 이와 반대의 경우에도 마찬가지이다.

컴팩트한 디지털 이미지 장치는 크기가 제한되며, 보통 오직 빛의 양만을 제한하는 상대적으로 작은 렌즈 조리개를 구비하고 있기 때문에 낮은 조도의 레벨을 제공한다. 더 긴 노출 기간은 고품질 및/또는 높은 조도 레벨을 갖는 이미지를 제공하기 위해 요구된다.

그러나, 긴 노출 기간은 움직임 흐림 현상(motion blur)과 같은 이미지의 품질을 떨어뜨릴지도 모르는 시각적 효과 때문일지도 모른다. 상기 카메라는 비트맵 이미지와 같은 프레임을 생성하기 위해 상기 노출 시간의 전체 길이 동안의 화면으로부터 오는 빛을 통합한다. 움직이는 객체들의 이러한 노출 시간 동안 움직임은 상기 객체들의 궤도에 따라 노티드 블러 현상(noted blur)을 생성할지도 모른다. 상기 노티드 블러 현상은 객체 형태를 왜곡되거나 식별할 수 없게 한다. 객체의 움직임이 빨라지면, 상기 노티드 블러 효과는 더 강하게 발생한다.

많은 시스템과 장치들은 낮은 조도 레벨에 의해 야기되는 시각 효과 및/또는 상기 품질 저하에 직면하기 위해 개발되어 왔다. 예를 들어, 2003년 1월 13일에 공개된 US 특허 공개번호 6,987,530은 2개의 실질적인 직교 방향과 관련된 장점의 제 1및 제2인물들의 계산, 상기 장점의 인물들의 비교 및 상기 비교에 응하는 상기 이미지의 공간 주파수들의 진폭의 크기의 조정을 포함하는 제1 및 제2 인물 카메라와 객체 사이의 움직임에 의해 야기되는 움직임 흐림 현상을 검출하고 감소시키기 위한 방법과 장치를 개시하고 있다.

또 다른 예는 2000년 8월 8일 공개된 US 특허 공개번호 6,100,927은 통상의 범위보다 넓은 범위에서의 이미지 정보는 이미지 픽업에 의해 전기적 신호로 변환되고, 이미지 메모리에 저장되며, 흐림 현상은 상기 흐림 현상에 따라 상기 이미지 메모리로부터 리딩 아웃(reading-out) 지역의 움직임에 의해 수정되고, 상기 흐림 현상 수정이 수행되지 않을 때, 상기 이미지 메모리에 저장된 이미지는 줌 스위치에 의한 줌 비율에 따른 축소 비율로 미리 설정된 크기로 축소되는 사진 촬영 장치를 설명하고 있다.

컴팩트한 디지털 이미지 장치에서 좀 더 고품질의 이미지를 생성하는 방안에 대한 필요성이 대두되고 있다. 또한, 컴팩트한 디지털 이미지 장치에서 생성되는 이미지에 움직임 흐림 현상 및 노티드 블러 현상 등과 같은 시각 효과를 최소화할 수 있는 방안에 대한 필요성이 대두되고 있다.

본 발명은 결합 이미지를 생성하기 위한 방법을 제안한다.

본 발명에서 제안하는 방법은; 결합 이미지를 생성하는 방법에 있어서, 복수의 초기 이미지를 포함하는 시퀀스를 캡쳐(capture)하는 동안, 상기 복수의 초기 이미지 중 실질적인 움직임이 없는 초기 이미지들의 서브셋을 검출하는 a) 과정과, 결합 이미지를 생성하기 위해 상기 서브셋으로부터 데이터를 결합하는 b) 과정과, 상기 결합 이미지를 출력하는 c) 과정을 포함한다.

추가적으로, 상기 복수의 초기 이미지 각각은 제1노출에 따른 제1품질을 가지며, 상기 결합 이미지는 제2노출에 따른 제2품질을 가지며, 상기 제2품질은 상기 제1품질보다 높음을 특징으로 한다.

추가적으로. 상기 결합하는 b) 과정은, 상기 서브셋으로부터의 이미지를 임의의 품질을 갖는 임시 결합 이미지에 추가하는 과정을 포함하고, 상기 추가하는 과정은 상기 추가 과정이 상기 임의의 품질을 증가시키는 동안 반복됨을 특징으로 한다.

추가적으로, 상기 결합 이미지는 상기 서브셋의 각 멤버의 실제 노출 시간보다 높은 효과적인 노출 시간을 가짐을 특징으로 한다.

추가적으로, 상기 검출하는 a) 및 결합하는 b) 과정을 반복해서 수행하는 과정과, 상기 반복 수행에 의해 다수의 다른 결합 이미지를 생성하는 과정과, 상기 다수의 다른 결합 이미지를 출력하는 과정을 더 포함한다.

추가적으로, 상기 검출하는 a) 과정은 상기 복수의 초기 이미지 중 적어도 하나에서 객체의 로컬(local) 움직임을 계산하는 과정을 포함한다.

추가적으로, 상기 검출하는 a) 과정은 글로벌(global) 움직임을 계산하는 과정을 포함한다.

추가적으로, 상기 복수의 초기 이미지 중 실질적인 움직임이 없는 복수의 초기 이미지 중 제1이미지를 검출한 후, 상기 서브셋을 저장하는 과정을 더 포함한다.

추가적으로, 상기 검출하는 a) 과정은 상기 복수의 초기 이미지 중 적어도 하나에서 실질적인 비움직임을 검출하는 과정을 포함하며, 상기 결합 전에 이미지 결합 트리거(trigger)를 식별하는 과정을 더 포함하며, 상기 서브셋은 상기 실질적인 비움직임 및 상기 식별 간에 검출된 초기 이미지를 포함한다.

추가적으로, 상기 결합 이미지의 효과적인 노출 시간이 증가되는 한 상기 출력하는 c) 과정을 반복 수행하는 과정을 더 포함한다.

추가적으로, 상기 이미지 결합 트리거는 자가 타이머 명령이 수신될 때의 시간, 상기 서브셋의 멤버들의 조합의 효과적인 노출 시간이 미리 정의된 임계값보다 클 때의 시간, 상기 시퀀스에서 움직임이 검출될 때의 시간을 포함하는 상기 그룹의 멤버임을 특징으로 한다.

추가적으로, 상기 복수의 초기 이미지를 인코딩하는 과정을 더 포함하며, 상기 결합하는 b) 과정은 상기 서브셋으로부터 인코딩된 이미지 데이터를 결합하는 과정을 포함한다.

추가적으로, 상기 인코딩 과정은 복수의 JPEG(Joint Photographic Experts Group) 이미지를 생성하는 과정을 포함한다.

추가적으로, 상기 복수의 초기 이미지를 인코딩하는 과정은 상기 복수의 초기 이미지를 블록들로 분리하고, 이산 코사인 변환(DCT: Discrete Cosine Transform) 방식을 사용하여 각 블록을 변형하는 과정을 포함하고, 상기 인코딩된 이미지 데이터는 상기 복수의 JPEG 이미지로부터의 복수의 계수를 포함하며, 상기 결합하는 b) 과정 후에 상기 결합 이미지를 양자화 및 엔트로피(entropy) 인코딩하는 과정을 더 포함한다.

본 발명에서 제안하는 장치는; 결합 이미지 생성 장치에 있어서, 복수의 이미지를 포함한 시퀀스를 캡쳐(capture)하는 이미지 센서와, 상기 이미지 센서와 전기적으로 연결되고, 상기 복수의 이미지 중 실질적인 움직임이 없는 이미지들의 서브셋을 검출하는 비움직임 검출 모듈과, 상기 비움직임 검출 모듈과 전기적으로 연결되고, 결합 이미지 생성을 위해 상기 서브셋으로부터의 결합 데이터를 형성하는 이미지 결합 모듈을 포함한다.

추가적으로, 상기 복수의 초기 이미지 각각은 제1노출에 따른 제1품질을 가 지며, 상기 결합 이미지는 제2노출에 따른 제2품질을 가지며, 상기 제2품질은 상기 제1품질보다 높음을 특징으로 한다.

추가적으로, 상기 결합 이미지는 상기 서브셋의 각 멤버의 실제 노출 시간보다 더 높은 효과적인 노출 시간을 갖는 것을 특징으로 한다.

추가적으로, 상기 비움직임 검출 모듈은 이미지 결합 트리거를 식별하기 위해 구성되고, 상기 서브셋은 상기 실질적인 비움직임 및 상기 식별 사이에서 검출된 초기 이미지를 포함함을 특징으로 한다.

추가적으로, 상기 초기 이미지의 조합의 효과적인 노출 시간을 평가하고, 상기 평가된 효과적인 노출 시간에 따라 상기 이미지 결합 트리거를 생성하기 위해 구성된 품질 식별 모듈을 더 포함한다.

추가적으로, 상기 검출로부터 미리 정의된 지연 시간 후에 상기 이미지 결합 트리거를 생성하기 위한 자가 타이머 기계장치를 더 포함한다.

추가적으로, 상기 시퀀스에서 움직임을 검출하고, 상기 검출된 움직임에 따라 상기 이미지 결합 트리거를 생성하기 위해 구성된 움직임 검출 모듈을 더 포함한다.

추가적으로, 상기 비움직임 검출 모듈은 상기 복수의 이미지에서 복수의 서브셋을 검출하기 위해 적응되며, 상기 각 서브셋은 실질적인 움직임이 없는 이미지들을 포함하며, 상기 이미지 결합 모듈은 상기 결합된 이미지를 생성하기 위해 상기 서브셋들로부터의 데이터를 결합하기 위해 구성됨을 특징으로 한다.

추가적으로, 상기 비움직임 검출 모듈은 상기 복수의 이미지의 복수의 서브 셋을 검출하기 위해 적응되며, 상기 각 서브셋은 실질적인 움직임이 없는 이미지들을 포함하며, 상기 이미지 검출 모듈은 결합 이미지들의 클러스터를 생성하기 위해 구성되며, 상기 각 결합 이미지는 상기 각 서브셋으로부터 데이터를 결합함에 의해 생성됨을 특징으로 한다.

추가적으로, 상기 장치는 소형 이미지 장치, 휴대폰, PDA(Personal Digital Assistant) 및 휴대용 컴퓨터를 포함하는 그룹의 멤버임을 특징으로 한다.

본 발명에서 제안하는 또 다른 장치는; 결합된 JPEG(Joint Photographic Experts Group) 이미지를 생성하기 위한 장치에 있어서, 복수의 JPEG 이미지를 포함하는 시퀀스를 검출하기 위한 이미지 센서와, 상기 이미지 센서와 전기적으로 연결되고, 상기 복수의 JPEG 이미지 중 실질적인 움직임이 없는 JPEG 이미지의 서브셋을 검출하기 위한 비움직임 검출 모듈과, 상기 비움직임 검출 모듈과 전기적으로 연결되고, 결합 이미지를 생성하기 위해 상기 서브셋의 이미지들로부터 복수의 DCT 계수를 결합하기 위해 구성된 이미지 결합 모듈을 포함한다.

추가적으로, 상기 이미지 결합 모듈은 이미지 결합 트리거를 수신하고, 상기 수신된 이미지 결합 트리거에 따라 상기 결합을 제한하기 위해 구성됨을 특징으로 한다.

본 발명은 디지털 이미지 장치에서 간단한 방법으로 좀 더 고품질의 결합 이미지를 생성할 수 있는 이점이 있다. 또한, 본 발명은 디지털 이미지 장치에서 움직임 흐림 현상 및 노티드 블러 현상 등과 같은 시각 효과가 최소화된 결합 이미지 를 생성할 수 있는 이점이 있다.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

본 발명은 결합 이미지를 생성하기 위한 장치 및 방법을 제안한다. 상기 방법은 이미지들의 시퀀스를 캡쳐(capture)하는 것을 포함하며, 선택적으로 이미지 센서와 같은 검출 요소의 비디오 스트림으로부터 상기 이미지들의 시퀀스를 검출할 수 있다. 그리고 상기 방법은 상기 이미지들의 시퀀스의 서브셋에서의 실질적인 비움직임을 검출하는 것을 포함한다. 하기에 기술된 바와 같이, 상기 비움직임은 다수의 이미지의 2개 또는 그 이상의 이미지들 간의 글로벌 움직임(global motion)을 계산하거나, 다수의 이미지 내에 묘사된 하나 또는 그 이상의 객체의 로컬 움직임(Local motion)을 계산함에 의해 검출될 수 있다. 상기 서브셋 내의 각 이미지는 상기 동일한 비움직임 장면을 실질적으로 캡쳐한다. 상기 서브셋 내의 데이터는 상기 비움직임의 식별과 미리 정의한 지연 시간의 경과와 같은 이미지 결합 트리거(image combined trigger) 사이의 결합 이미지를 위해 축적되고, 선택적으로 결합된다. 상기 이미지 결합 트리거는 정적이거나 동적인 트리거일 수 있다. 상기 이미지 결합 트리거는 상기 서브셋의 크기를 정의하고, 상기 결합이미지 생성을 위해 결합된 데이터를 정의한다. 상기 이미지 결합 트리거는 상기 결합 이미지가 완성되 기 전에 선택된다. 선택적으로, 상기 비움직임의 식별과 상기 이미지 결합 트리거의 식별 및/또는 수신 사이의 기간은 상기 결합 이미지의 품질이 미리 정의된 임계값 이상일 때, 상기 결합 이미지의 품질이 실질적으로 지속될 때, 그리고 움직임 및/또는 실질적인 움직임이 상기 이미지들의 시퀀스의 상기 시퀀스 서브셋 내에서 검출될 때의 시간이다.

상기 이미지들 각각은 상기 검출된 요소의 특성에 의해 정의된 상기 노출에 따라 결정된 특정 품질을 가지고 있다. 요약하여 말하자면, 상기 특정 품질은 상기 캡쳐된 요소의 상기 조도의 레벨 및 노출 기간의 조합에 따라 결정된다.

상기 서브셋이 상기 비움직임 식별 후에 캡쳐된 이미지들을 포함함에 따라, 상기 서브셋의 각 이미지는 상기 동일한 비움직임 장면을 실질적으로 캡쳐한다. 그러한 방법에서, 상기 서브셋의 이미지들로부터 상기 데이터의 조합은 상기 원래 시퀀스의 이미지들의 품질보다 더 높은 품질을 갖는 결합 이미지를 생성하기 위해 사용될 수 있다. 본 발명의 실시 예에서, 상기 결합 이미지는 상기 이미지의 품질을 저하시킬지도 모르는 움직임 흐림 현상(motion blur) 및 비초점 흐림 현상(out-of-focus blur)과 같은 낮은 시각 효과를 가질수 있다. 게다가, 그러한 결합 이미지는 상기 원래 시퀀스의 이미지들의 조도의 레벨보다 더 높은 조도 레벨을 갖는 이미지의 특성을 갖는다. 본 발명의 실시 예에서, 낮은 밝기 조건에서의 특정 밝기 레벨을 갖는 이미지의 시퀀스는 더 밝고 더 선명한 결합 이미지를 생성하기 위해 축적될 수 있다.본 발명에 따른 장치 및 방법의 원리와 작동은 도면 및 그에 따른 설명을 참조하면 이해가 더 잘 될 수 있다.

본 발명의 적어도 하나의 실시 예를 상세히 설명하기 전에, 이하의 상세한 설명에 개시되어 있거나 도면에 예시되어 있는 구조 및 구성의 세부 사항에 본 발명의 용도가 제한되지 않는다는 것을 이해해야 한다. 본 발명은 그 밖의 실시 형태도 가능하며, 여러 방식으로 실시 또는 실행할 수 있다. 또한, 여기에서 사용된 단어 및 용어는 서술하기 위한 것일 뿐 제한하려는 것이 아님을 이해해야 한다.

이제 본 발명의 일 실시 예에 따른 결합 이미지를 생성하기 위해, 다수의 이미지들을 결합하기 위한 방법을 도시한 도면인 도 1을 참조한다. 도 1은 다단계 방법을 도시하고 있다. 첫번째 단계인 100 단계에서, 디지털 이미지들의 시퀀스는 하기에 설명한 바와 같이, 사용자로부터 개시 명령이 수신된 후에 선택적으로 캡쳐된다. 상기 디지털 이미지들의 시퀀스는 디지털 이미지들로 언급될 수도 있다. 선택적으로, 상기 디지털 이미지들의 시퀀스는 아래 설명한 바와 같은 이미지 센서를 사용하여 캡쳐된 비디오 스트림이다.

본 발명의 일 실시 예에서, 상기 디지털 이미지들의 시퀀스는 PDA나 휴대폰의 비디오 카메라와 같은 특정 카메라의 미리보기 모드로부터 요구된다. 상기 시퀀스에서 상기 디지털 이미지들 각각은 다수의 색상 화소를 포함하고, 각 화소은 색 정보를 포함한다. 각 화소는 디지털 이미지 내의 로컬 밝기 및 색상을 나타내는 데이터 비트를 보유한다. 그리고 상기 특정 이미지는 다수의 배색들의 다른 타입들 중 어느 하나에서 사용될 수 있다.

이미지들을 캡쳐하기 위해 전형적으로 사용되는 상기 이미지 센서는 RGB(Red-Green-Blue) 배색, YCbCr 배색의 디지털 이미지를 출력한다. 상기 YCbCr의 Y는 상기 광휘(Luma) 성분이고, Cb 및 Cr은 파랑 및 빨강의 채도(Chroma) 성분 또는 어떠한 다른 색 공간 조화들이다. 상기 방법은 상기 디지털 이미지의 색 공간 조화들을 YCbCr 배색 조화로 변환하는 과정을 포함할 수 있다.

본 발명에서는, 이미지 품질의 레벨이 이미지 검출을 위해 사용되거나 사용되어야 하는 노출에 의해 결정된다. 상기 노출은 이미지 획득 과정 동안 이미지 검출을 위해 사용되는 이미지 센서로 떨어지기 위해 허용된 빛의 총량이다. 상술한 바와 같이, 상기 총량은 빛이 상기 이미지 센서로 떨어지는 것이 허용되는 동안의 시간의 길이인 노출 기간 및 상기 노출 기간 동안 상기 이미지 센서에 의해 수신된 조도의 레벨을 나타내는 값의 조합이다.

이제, 이미지들의 시퀀스를 캡쳐한 후에, 실질적인 움직임이 묘사되지 않은 이미지들의 서브셋은 식별된다. 상기 서브셋이 실제 시간 동안 또는 각 이미지가 캡쳐된 후 또는 저장된 시퀀스로부터 식별될 수 있다는 것은 알려져야만 한다. 선택적으로, 상기 서브셋은 하기에 기술한 바와 같이 상기 비움직임의 식별(101 단계) 및 이미지 결합 트리거(102 단계)의 식별 및/또는 수신 사이에서 캡쳐된 연속 및 불연속 이미지들로 정의된 만큼 식별된다. 101 단계에서, 비움직임은 상기 수신된 디지털 이미지들의 시퀀스에서 검출된다. 상기에서 설명한 바와 같이, 상기 디지털 이미지들의 시퀀스는 움직임 장면을 나타내는 비디오 스트림과 같은 연속적인 이미지들의 스트림이다. 본 발명의 실시 예에서, 비움직임은 로컬 및/또는 글로벌 움직임이 없는 하나 또는 그 이상의 연속적인 디지털 이미지들로 이해될 수 있고, 실질적인 비움직임은 특정 임계값 이하의 로컬 및/또는 글로벌 움직임이 있는 하나 또는 그 이상의 연속적인 디지털 이미지들로 이해될 수 있다.

글로벌 움직임 및 로컬 움직임의 개념은 상기 연속되는 디지털 이미지들의 이전 이미지 및 이후 이미지에 관해 표현된다. 상기 글로벌 움직임은 카메라 움직임 및/또는 줌의 변화의 결과이다. 상기 로컬 움직임은 상기 연속적인 디지털 이미지들에서 캡쳐된 장면에서 객체의 실제 움직임의 결과이다. 요약하여 말하자면, 글로벌 움직임은 상기 이전 디지털 이미지에서 객체들의 그룹의 전반적인 위치 및 상기 이후 디지털 이미지에서 상기 동일한 그룹 객체들의 전반적인 위치 사이의 변화이다. 로컬 이미지는 이후 디지털 이미지에서 객체의 위치와 관련하여 상기 이전 디지털 이미지에서 하나의 객체의 위치의 변화이다.

선택적으로, 움직임 검출 지역은 상기 시퀀스의 상기 디지털 이미지들의 경계들로 정의된 프레임 안에서 설정된다. 본 발명의 실시 예에서, 로컬 움직임은 상기 이전 및 이후 디지털 이미지들에서 상기 움직임 검출 지역 간의 변화이다. 로컬 변화는 상기 움직임 검출 지역 내의 하나 또는 그 이상의 화소들 및 화소들의 클러스터들(clusters)의 빛의 강도가 특정 임계값 이상의 변화로써 정의될 수도 있다.

선택적으로, 2개의 디지털 이미지 사이의 상기 글로벌 움직임은 싱글 벡터로 표현된다. 상기 싱글 벡터는 글로벌 움직임 벡터로 언급될 수도 있다. 선택적으로, 상기 이전 및 상기 이후 디지털 이미지들로 묘사된 객체의 상기 로컬 움직임은 싱글 벡터로 표현된다. 상기 싱글 벡터는 로컬 움직임 벡터로 언급될 수도 있다.

선택적으로, 글로벌 움직임은 상기 이전 및 상기 이후 디지털 이미지들에 있는 상기 움직임 검출 지역 간의 글로벌 변화이다. 글로벌 변화는 상기 움직임 검출 지역에서 대부분 또는 모든 상기 화소들의 상기 빛의 강도가 특정 임계값 이상의 변화로써 정의될 수 있다.

선택적으로, 상기 글로벌 움직임은 상기 본 발명의 상세한 설명에서 인용발명으로서 전체 내용이 인용되는, 1981년 8월 24-28, 밴쿠버, 브리티쉬 콜롬비아(British Colombia), 페이지 674-679, D. Lucas et al, An Iterative Image Registration Technique With an Application to Stereo Vision, Proc 7th International Joined Conference on Artificial Intelligence (IJCAI)에 나타난 바와 같은 Lucas-Kanade의 글로벌-움직임 알고리즘의 이문(사본)을 근거로 하는 글로벌 움직임 식별 과정에서 검출된다.

선택적으로, 상기 로컬 움직임은 광흐름(optic-flow) 알고리즘과 같은 로컬 움직임 식별 과정에서 검출된다. 상기 광흐름 알고리즘은 일례로, 상기 본 발명의 상세한 설명에서 인용발명으로서 전체 내용이 인용되는 A. Bruhn et al. Real-Time Optic-flow Computation with Variational Methods. In N. Petkov, M. A. Westenberg (Eds.): Computer Analysis of Images and Patterns. Lecture Notes in Computer Science, Vol. 2756, Springer, Berlin, 222-229, 2003 and A. Bruhn et al., "Combining the advantages of Local and Global Optic-flow Methods, L. Van Gool (Ed.), Pattern Recognition, Lecture Notes in Computer Science, Vol. 2449, Springer, Berlin에 나타난 바와 같은 A.Bruhn et.al에 의해 공개된 바와 같다.

선택적으로, 상기 글로벌 및/또는 로컬 움직임의 벡터는 각각 비움직임 레벨 을 정의한 하나 또는 그 이상의 벡터들과 비교된다. 상기 비움직임 레벨은 하기에 설명한 바와 같이, 결합 이미지를 위해 상기 이미지들의 시퀀스로부터 상기 데이터의 결합을 트리거한다. 실시 예에서, 실질적인 비움직임 레벨을 정의하는 미리 정의된 벡터는 결합 이미지 획득을 위해 사용되는 검출 요소의 사용자에 의해 동적으로 선택될 수 있다. 예를 들어, 상기 사용자는 각각 다른 미리 정의된 벡터와 관련된 다수의 가능한 움직임 검출 임계값 외의 값을 선택할 수도 있다.

상기 설명한 바와 같이, 도 1에서 묘사한 상기 방법은 특정 장면의 이미지를 검출하기 위해 설계된다. 보통, 사용자가 정지 이미지를 원할 때마다, 상기 사용자는 정적인 장면이 묘사된 이미지를 획득하기를 선호한다. 상기 비움직임의 식별은 상기 디지털 이미지의 시퀀스에서 묘사되며, 미리 정의된 임계값보다 빠르게 움직이는 객체를 포함하지 않고/않거나 획득 과정동안 실질적인 진동 및/또는 줌(zoom)되지 않는 장면의 식별이다.

그러한 비움직임 검출은 소형 카메라, 휴대폰 및 PDA와 같은 소형 디지털 이미지 장치에 의해 검출되는 상기 이미지들의 품질을 향상시키기 위해 실질적으로 효과적일 수 있다.

소형 디지털 이미지 장치는 제한된 크기 및 오직 제한된 빛의 양을 수용하는 상대적으로 작은 렌즈 조리개를 가지고 있어 낮은 조도 레벨을 제공한다. 더 긴 노출 기간은 높은 품질의 이미지들을 제공하기 위해 요구된다. 그러나, 긴 노출 기간들은 상기 이미지의 품질을 저하시키는 움직임 흐림 현상과 같은 시각 효과들을 야기할 수가 있다. 상기 카메라는 비트맵 이미지와 같은 프레임 생성을 위한 상기 노 출 시간의 전체 길이를 위한 장면으로부터 오는 빛을 통합한다. 움직이는 객체들의 이러한 노출 시간 동안 움직임은 상기 객체들의 궤도에 따라 노티드 블러 현상(noted blur)을 생성할 수 있다. 상기 알림 흐림은 종종 객체의 형태들을 왜곡하거나 인식할 수 없도록 할 수 있다. 상기 객체의 움직임이 빠를수록, 상기 노티드 블러 현상은 더 강해지게 된다. 상기 결합된 이미지의 생성은 상기 비움직임 검출에 의해 트리거된다. 그리고 상기 결합된 이미지 생성을 위해 사용되는 상기 디지털 이미지들은 상대적으로 정적이다. 이에 따라 상기 디지털 이미지들은 덜한 노티드 블러 효과를 갖는다.

선택적으로, 상기 디지털 이미지들은 상기 원래 시퀀스의 이미지들 중 어느 것의 노출과 관련한 강화된 노출의 합성 이미지를 형성하기 위하여 결합된다. 선택적으로, 상기 캡쳐된 이미지들은 상기 합성 이미지를 생성하기 위하여 화소 대 화소(pixel-by-pixel)의 합 또는 평균에 의해 결합된다. 상기 이미지들은 상기 조합을 발생되기 전에 먼저 공통 모드(common mode)에서 크기 조정되거나 차감 계산이 될 수 있다. 상기 평균은 상기 모드 및 상기 이전에 결합된 이미지들의 수를 근거로 정적인 가중치들에 의해 가중될 수가 있다. 벗어난 화소들은 다수의 공지된 알고리즘들 중 하나를 사용하는 상기 평균으로부터 검출 및 제외될 수 있다.

상기 시퀀스의 이미지들은 특정 크기 및/또는 넓이로 캡쳐될 수 있다.

102에 나타난 바와 같이, 이미지 결합 트리거는 식별된다. 상기 이미지 결합 트리거는 하기에 설명된 바와 같이, 상기 비움직임 검출과 상기 이미지 결합 트리거의 식별 사이에서 캡쳐된 상기 디지털 이미지들의 통합 종료를 결정하는 이벤트 로 정의된다.

103 단계에 도시된 바와 같은 다음 단계 동안에는, 101 단계에서 설명한 바와 같은 상기 비움직임의 검출 간에 캡쳐된 선택적으로 순차적인 디지털 이미지들의 서브셋으로부터의 데이터 및 상기 통합 시간은 결합된 이미지를 형성하기 위해 결합된다. 상기 캡쳐된 시퀀스의 결합은 상기 디지털 이미지들의 획득 과정 동안 상기 이미지 센서로 떨어지기 위해 허용된 상기 빛의 양을 증가시킴 없이, 상기 캡쳐된 디지털 이미지들 각각의 품질보다 더 높은 품질을 갖는 상기 결합 이미지의 생성을 허용한다. 더 높은 품질을 갖는 이미지는 더 높은 노출 비율을 갖는 이미지로 간주된다.

본 발명의 실시 예에서는, 상기 결합 이미지의 품질이 상기 서브셋의 상기 디지털 이미지들 각각의 품질보다 높다.

특히, 상기 캡쳐된 시퀀스의 상기 이미지들 각각은 상기 노출에 따라 결정된 품질 레벨을 갖는다. 상기 노출은 상기 검출된 요소의 특성들과 결합되고 설정된다. 상기 검출된 요소는 다른 노출들과 함께 작업될 수 있음을 주의해야만 한다. 상기 캡쳐된 이미지들의 품질은 상기에서 설명한 바와 같이 노출 기간의 조합 및 상기 검출된 요소에 따라 결정된다.

선택적으로, 이미지 결합 트리거가 식별되는 한, 상기 전술한 시퀀스의 이미지들은 103 단계 동안 또는 상기 이미지들이 획득되자마자 실시간으로 결합된다. 본 발명의 실시 예에서, 103 단계는 이미지 결합 트리거가 검출될 때까지 반복적으로 수행된다. 특히, 상기 비움직임이 검출되면, 이미지들은 결합된다. 예를 들어, 시퀀스 이미지들에서, 상기 첫 번째 이미지는 상기 두 번째 이미지와 결합되고, 상기 첫 번째 및 두 번째 이미지를 포함하는 중간 결합 이미지는 세 번째 이미지와 결합된다. 상기 첫 번째, 두 번째 및 세 번째 이미지의 조합은 상기 네 번째 이미지와 조합되고, 계속해서 조합이 수행된다.

상기 방법에서, 상기 시퀀스에서 캡쳐된 모든 새로운 이미지들이 실시간으로 상기 결합 이미지와 결합됨에 따라 상기 시퀀스의 이미지들 전체가 저장될 필요는 없다.

상기에서 설명한 바와 같이, 상기 결합 이미지들은 상기 비움직임 검출 및 상기 이미지 결합 트리거의 식별 사이에서 캡쳐된다.

선택적으로, 새로운 이미지는 오직 상기 이전 이미지와 상기 결합 이미지 사이에서 비움직임이 검출된 경우에만, 상기 결합 이미지에 더해진다. 선택적으로, 상기 비움직임은 소스(source) 이미지 및 상기 이전 이미지 및/또는 결합된 이미지 사이의 로컬 및/또는 글로벌 움직임 벡터의 계산을 근거로 검출된다. 만약, 상기 벡터의 길이가 미리 정의된 임계값보다 크다면, 상기 소스 이미지는 무시되고, 연속적인 이미지 및 상기 이전 이미지 및/또는 상기 결합 이미지 간의 비움직임이 탐색된다. 본 발명의 실시 예에서, 상기 결합 이미지는 비연속적인 이미지들로 이해될 수 있는 불연속 이미지들과 결합될 수 있다.

상술한 바와 같이, 상기 서브셋은 상기 비움직임 식별 및 상기 통합 시간 사이에서 캡쳐된 연속적이고/연속적이거나 불연속적인 이미지들을 포함한다. 상기 서브셋의 이미지들 각각은 상기 동일한 정지 화면을 실질적으로 캡쳐한다. 상기 방법 에서, 상기 서브셋의 이미지들로부터의 상기 데이터의 조합은 상기 원래 시퀀스의 이미지들의 품질보다 더 높은 품질을 갖는 결합 이미지들 생성하기 위해 사용될 수 있다. 본 발명의 실시 예에서, 상기 결합 이미지는 상기 서브셋 이미지들보다 상기 이미지의 품질이 떨어뜨리는 움직임 흐림 현상 및 비촛점 흐림 현상과 같은 시각 효과들을 덜 가질 수 있다. 요약하여 말하자면, 상기 결합 이미지는 더 빠른 노출로 캡쳐된 상기 서브셋의 이미지들의 상기 이미지 품질보다 더 적은 시각 결함들을 가지고, 더 느린 노출로 캡쳐된 이미지의 이미지 품질을 가질 수 있다. 상기 결합 이미지는 상기 원래 시퀀스의 이미지들의 상기 조도 레벨보다 더 높은 조도 레벨을 갖는 상기 이미지의 특성들을 갖는다. 본 발명의 실시 예에서, 낮은 빛 조건들에서 획득될 수 있는 밝기의 특정 레벨을 갖는 이미지들의 시퀀스는 더 밝고 더 선명한 결합 이미지를 형성하기 위해 축적될 수 있다.

상기 서브셋에서 상기 데이터는 상기 비움직임의 식별 및 상기 이미지 결합 트리거 간 이미지를 결합하기 위하여 축적되고, 선택적으로 결합된다. 그러한 이미지 결합 트리거는 하기에 설명된 바와 같이, 선택적으로 자가 타이머 장치, 상기 결합 이미지의 품질에서의 변경 및/또는 변경의 결여, 및/또는 앞서 정의된 어떤 다른 동적 및/또는 정적 이벤트에 의해 제공될 수 있다.

이제, 104 단계에서 나타난 바와 같이, 상기 결합 이미지는 출력된다. 하기에 추가적으로 설명하면, 상기 결합 이미지는 출력되고, 저장 및/또는 표시된다. 그리고 도 1에 도시된 상기 과정은 이미지들의 배열 또는 정적 또는 동적 장면을 묘사하는 새로운 시퀀스와 같은 다수의 결합 이미지의 생성을 허용하기 위해 정지 또는 반복될 수 있다.

이제 본 발명의 일 실시 예에 따라 각각 더 낮은 품질을 갖는 초기 캡쳐된 디지털 이미지들의 세트로부터 높은 품질을 갖는 특정 장면의 결합 이미지를 생성하기 위한 방법을 도시한 도면인 도 2를 참조한다. 100-104 단계들은 도 1에서 설명한 바와 같다. 그러나 도 2는 106-107 단계를 더 설명한다.

상기에 설명한 바와 같이, 상기 수신된 이미지들의 시퀀스에서 비움직임이 검출된 후에, 상기 설명, 103 단계 및 시작에 설명된 바와 같이 높은 품질을 갖는 결합 이미지 생성의 하위 과정이다. 선택적으로, 상기 수신된 시퀀스로부터의 데이터는 움직임이 상기 디지털 이미지들의 시퀀스에서 검출되지 않는 한 결합된다. 105 단계에 도시된 바와 같이, 움직임이 검출되면 상기 이미지 축적은 정지되지만, 비움직이 검출되면 상기 과정은 계속된다.

이제 106 단계에 도시된 바와 같이, 움직임이 검출되지 않으면, 102 단계에서 정의된 상기 이미지 결합 트리거는 탐지된다. 상기 이미지 결합 트리거는 정지 지시자들이 지연 모듈로부터 수신된 때의 시간일 수 있다. 선택적으로, 상기 지연 모듈은 101 단계에서 나타난 바와 같은 상기 비움직임 검출 및 상기 이미지 결합 트리거 간 지연 시간을 정의하기 위해 사용되는 자가 타이머 기계장치를 작동시킨다.

107 단계에 나타난 바와 같이, 움직임이 검출되지 않고, 선택적으로 정지 지사자들이 사용자 또는 외부 모듈로부터 수신되지 않으면, 상기 결합 이미지의 완성이 탐지된다. 하기에 설명한 바와 같이, 만약 더 많은 이미지들이 필요한 경우, 상 기 더 많은 이미지들을 103에 나타난 바와 같이, 상기 결합 이미지 생성을 위해 사용되는 상기 이미지들의 서브셋에 더한다. 그러나 결합 이미지가 완성되면, 104 단계에 나타난 바와 같이 상기 결합 이미지는 출력된다.

이제 본 발명의 일 실시 예에 따라, 각각 낮은 품질을 갖는 디지털 이미지들의 세트로부터 높은 품질을 갖는 특정 장면의 결합 이미지를 생성하기 위한 방법을 도시한 도면인 도 3을 참조한다. 100, 104 및 105-106 단계는 도 2에 도시된 바와 같다. 그러나 도 3에서는 201-206 단계가 더 도시된다.

도 3은 상기 디지털 이미지들의 시퀀스의 이미지들을 다루는 본 발명의 일 실시 예 및 선택적으로 JPEG(Joint Photographic Experts Group) 국제 표준 기구(ISO : International Standard Organization)/국제 전기 표준 회의(ICE: International Electro-technical Commission) 10918-1 국제 전기 통신 연합(ITU: International Telecommunication Union)-T 권고(recommendation) T.81로 언급되는 JPEG 표준에서 정의된 JPEG 이미지들로 저장하는 것을 설명한다.

일반적으로 알려진 바와 같이, 상기 JPEG 변환을 위한 키는 N x N 블록들의 DCT(Discrete Cosine Transform)이다. 각 블록은 상기 DCT를 사용하여 계산된다. 상기 결과들은 양자화되고, 그 때의 엔트로피(entropy)는 암호화된다.

선택적으로, 제1품질을 갖는 디지털 이미지들의 시퀀스를 제2품질을 갖는 결합 이미지에 축적하거나 결합하는 것 대신에, 상기 인코딩된 N x N DCT 블록들로부터 연역할 수 있는 부분적인 정보를 축적한다. 비록 상기 계산된 N x N DCT 블록들이 상기 관련된 인코딩된 디지털 이미지의 각 섹션들의 상기 밝기와 색상에 관한 전체적인 정보를 제공하지 못하더라도, 상기 계산된 N x N DCT 블록들은 더 높은 품질을 갖는 결합 이미지를 생성하기 위해 사용된다. 본 발명의 실시 예에서, AC 및 DC 계수와 같은 상기 시퀀스의 디지털 이미지들 간의 DCT 계수들은 상기 결합 이미지를 형성하기 위해 축적된다. 각 계수는 모든 JPEG 이미지를 포함하는 N x N DCT 블록들에 있는 특정 블록, 선택적으로 8 x 8 블록의 상기 평균 컬러 및/또는 상기 밝기 레벨을 나타낸다. 그러므로, 특정 디지털 이미지의 처리 DCT 계수는 실질적으로 상기 디지털 이미지 자체 처리 보다 적은 계산적 복잡성을 요구한다. 상기 방법에서, 상기 디지털 이미지들의 시퀀스에 포함된 정보로부터 결합 이미지를 생성하기 위해 필요한 상기 계산적 복잡성은 감소된다.

100 단계에 도시된 바와 같이, 상기 과정이 200 단계에서 시작할 때,이미지들의 시퀀스에서 선택적으로 첫번째 이미지인 소스 이미지는 상기 설명한 바와 같이 캡쳐된다. 소스 이미지가 수신 및/또는 캡쳐된 이후에, 상기 소스 이미지는 201 단계에 나타난 바와 같이, 인코딩되고 선택적으로 JPEG 이미지로써 저장된다. 선택적으로, 상기 JPEG 이미지는 참조에 의해 여기에 통합되는 JPEG 파일 상호 교환 체제(JFIF: JPEG file interchange format) 표준에 따라 인코딩된다. 선택적으로, 상기 인코딩 과정은 디지털 이미지에서의 상기 색상들을 밝기를 나타내는 광휘(Luma) 성분(Y)과 색상을 나타내는 두 개의 채도(Chroma) 성분을 포함하는 YcbCr 표시로 변환으로 구성된다. 이 단계는 만약 상기 디지털 이미지가 이미 YCbCr 배색 조화로 표현되었다면 생략될 수 있다.

선택적으로, 상기 채도 데이터의 해결책은 보통 요인(factor) 2에 의해 감소 된다. 상기 감소는 정밀한 색상 세부 사항들과 정밀한 밝기 세부 사항들 사이를 식별하기 위한 사람 눈의 무능력함을 근거로 한다.

상기 JPEG는 상기 디지털 이미지를 8 x 8 화소들의 블록들로 나누고, DCT를 사용하여 각 블록의 상기 Y, Cb 및 Cr 데이터의 각각을 변형함을 근거로 한다. 상기 DCT의 결과는 상기 정상 좌측(top-left) 구성 요소로써 일컬어지는 (0,0) 요소에서의 8 x 8 변형 계수 배열이다. 그리고 상기 DCT의 결과는 0-주파수와, 더 높은 수직 및/또는 수평 공간 주파수들을 나타내는 증가 수직 및 수평 인덱스 값을 갖는 엔트리들을 갖는 DC 계수이다. 상기 DC 계수는 상기 파형의 평균값을 나타내고, 선택적으로 상기 대응 주파수 분석의 기본 함수의 놈(norm)에 따라 측정된다. 상기 파형의 평균값은 상기 블록의 밝기 및/또는 평균 색상으로써 이해될 수도 있다.

JPEG 이미지들과 같은 상기 시퀀스로부터의 상기 이미지들의 인코딩은 각 변형된 블록의 주파수 성분들의 상기 진폭들의 양자화 및 저-손실(loss-less) 알고리즘 선택적으로 다양한 후프만(Huffman) 인코딩을 근거로 하는 엔트로피 인코딩된 상기 결과 데이터의 압축을 더 포함한다. 선택적으로, 상기 양자화 및 상기 엔트로피 인코딩된 상기 결과 데이터의 압축은 하기에 설명된 바와 같이, 모든 상기 DCT 계수가 모든 상기 블록들을 위해 계산된 후, 오직 104 단계 동안에만 수행된다.

210 단계에 나타난 바와 같이, 상기 캡쳐된 이미지가 상기 결합 이미지 생성을 위해 사용되는 상기 첫번째 이미지인 경우, 상기 검출된 이미지는 하기에 설명된 바와 같이, 다음 계산들을 위해 결합 이미지로써 정의 및 사용되고, 100 단계에 도시된 바와 같이 추가 디지털 이미지는 캡쳐된다. 상기 디지털 이미지가 상기 첫 번째 이미지가 아닌 경우, 도 3에 도시된 과정은 하기에 설명된 바와 같이 상기 결합 이미지의 품질을 향상시키기 위해 계속된다. 이제, 105 단계에 나타난 바와 같이, 움직임은 상기 결합 이미지와 상기 소스 이미지 간의 차이들의 탐지에 의해 검출된다. 선택적으로, 상기 움직임은 상기 소스 이미지의 상기 DC 계수들 및 상기 결합 이미지의 상기 DC 계수들 간의 비교에 의해 검출된다.

만약, 움직임의 검출이 없으면, 상기 소스 이미지의 상기 DCT 계수들은 203 단계에 도시된 바와 같이 추출되고, 204 단계에 도시된 바와 같이 상기 결합 이미지의 조정을 위해 사용된다.

선택적으로, 상기 결합 이미지에서 상기 블록의 상기 DCT 계수들은 상기 추출된 DCT 계수들의 값에 따라 업데이트된다. 선택적으로, 상기 결합 이미지에서 각 DCT 계수는 상기 결합 소스 이미지들에서 상기 각각의 DCT 계수들 전체의 평균으로 표현된다.

그리고 나서, 205 단계에 도시된 바와 같이, 상기 조정된 결합 이미지의 품질은 계산되고 선택적으로 저장된다. 상기 조정된 결합 이미지의 품질이 상기 앞서 언급했던 조정이 없는 상기 결합 이미지의 품질보다 높은 경우, 추가 디지털 이미지가 캡쳐되고, 100-102, 200, 201, 202, 105, 106 및 203-206 단계와 관련된 상기에서 설명한 바와 같이 처리된다. 그러나, 만약 상기 조정된 결합 이미지의 품질이 상기 앞서 언급했던 조정이 없는 상기 결합 이미지의 품질보다 높지 않은 경우, 상기 과정은 종료되고, 상기 조정된 결합 이미지는 104 단계에 나타난 바와 같이 출력된다. 선택적으로, 상기에서 설명한 바와 같이, 상기 이미지는 출력되기 전에 양 자화되고 압축된다. 선택적으로, 상기 출력된 결합 이미지는 상기 마지막으로 앞서 언급했던 조정이 없는 상기 결합 이미지이다. 그러한 방법에서, 상기 결합 이미지의 품질은 품질을 향상시키지 않은 상기 마지막 디지털 이미지에 의해 감소되지 않는다.

이제 다수의 캡쳐된 디지털 이미지들(7)로부터 장면의 결합 이미지(6)를 생성하고, 상기 결합 이미지를 출력하고, 저장 및/또는 표시하기 위한 이미지 장치(1)를 도시한 도면인 도 4를 참조한다.

상기 결합 이미지(6)는 상기 디지털 이미지들 (7) 각각의 품질보다 더 높은 품질을 갖는다. 이동 전화 또는 디지털 카메라와 같은 소형 장치의 부분 및/또는 내부에 설치되도록 디자인된 선택적으로, 소형 디지털 이미지 장치인 상기 이미지 장치(1)는 선택적으로 지정 이미지 입력 모듈(designated image input module)을 경유하는 이미지 센서(8)로부터 디지털 이미지들(7)의 시퀀스를 수신하도록 개조된다. 상기 디지털 이미지들(7)의 수신된 시퀀스는 상기 결합 이미지(6)를 위한 기원으로써 사용되며 특정 장면으로 묘사되는 디지털 이미지들을 포함한다. 선호적으로, 상기 이미지 센서(8)은 CMOS에 근거한 센서 및/또는 CCD에 근거한 센서이다.

상기 디지털 이미지들(7)의 시퀀스는 선택적으로 상기 설명한 바와 같이, 상기 묘사된 장면에서 비움직임을 검출하는 비움직임 검출 모듈(3)로 이동한다. 게다가, 상기 디지털 이미지들(7)의 시퀀스는 다수의 상기 시퀀스의 디지털 이미지들(7)로부터의 데이터에 따라 상기 결합 이미지(7)을 생성하기 위해 설계된 이미지 결합 모듈(4)로 이동한다. 사용중인, 상기 비움직임 검출 모듈(3)은 비움직임 및/ 또는 상기 묘사된 장면에서의 실질적인 비움직임을 검출하고, 상기 이미지 결합 모듈에 의해 상기 디지털 이미지들(7)의 결합을 트리거한다. 그러한 방법에서, 상기 결합 디지털 이미지들(7)은 상대적으로 정적인 장면을 묘사한다. 상기 이미지 결합 모듈(4)는 상기 결합 이미지(6)을 생성하기 위해 상기 디지털 이미지들(7)을 결합한다. 상기에 설명한 바와 같이, 상기 결합은 상기 디지털 이미지들(7)에서 각 값들의 평균을 나타내는 값들에 의해 정의되는 이미지를 생성함에 따라 수행된다. 상기 결합은 상기 디지털 이미지들(7)로부터 하나 또는 그 이상의 이미지들을 검출하고, 상기 디지털 이미지들(7)로부터 획득된 다수의 이미지들로부터 모아진 데이터에 따라 상기 디지털 이미지들(7)을 조정함으로써 이해될 수도 있다.

선택적으로, 상기 이미지 결합 모듈(4)은 상기 설명한 바와 같이, 상기 결합 이미지의 품질이 향상됨을 유지하는 한 또는 지연 모듈에 의해 다른 방법으로 지시되지 않는 한 상기 디지털 이미지들(7)로부터의 데이터를 계속적으로 결합한다.

상기 생성된 결합 이미지(6)는 선택적으로, 상기 결합 이미지(6)을 표시 및/또는 저장하기 위해 사용되는 표시 장치 및/또는 저장 장치에 연결된 상기 출력부(5)에 전송된다.

선택적으로, 상기 이미지 장치(1)는 사용자가 상기 이미지 장치(1)의 기능을 제어하는 것을 허용하는 사용자 기계 인터페이스(MMI : Man Machine Interface)를 통합한다. 선택적으로, 상기 MMI는 최소화된 키보드, 키패드 또는 제어 버튼들의 세트이다. 선택적으로, 상기 MMI는 사용자가 시작 및/또는 종료 명령어들을 상기 MMI에 전송함에 의해 상기 이미지 결합 모듈(4)의 작동을 시작 및/또는 종료하는 것을 허용한다. 그러한 방법에서, 상기 사용자는 어떤 수의 디지털 이미지들로부터 상기 결합 이미지의 생성을 강제할 수 있다. 선택적으로, 상기 이미지 결합 모듈(4)은 정지 지시자가 상기 MMI로부터 수신되지 않는 한, 결합 이미지들의 생성 및 상기 출력부(5)로의 상기 결합 이미지들의 전송을 계속한다.

본 특허의 존속 기간 중에 많은 관련 장치 및 시스템이 개발될 것으로 예상되며, 본 명세서에 사용된 용어들의 범위, 특히 이미지, 이미지 센서, 이미지 장치 및 카메라라는 용어들의 범위는 모든 그러한 새로운 기술을 선험적으로 포함하기 위한 것이다.

명확을 기하기 위해 개별의 실시 형태의 문맥에서 서술한 본 발명의 소정 특징들을 단일 실시 형태에서 조합하여 제공할 수 있음을 이해해야 한다. 역으로, 간결을 기하기 위해 단일 실시 형태의 문맥에서 서술한 본 발명의 여러 특징들을 별도로 제공하거나 임의의 적절한 하위조합으로 제공할 수 있다.

본 발명은 첨부한 도면을 참조하여 그 바람직한 실시예와 연관되어 충분히 설명되었지만, 다양한 변경 및 변형이 가능하며 당업자에게는 명확히 이해될 수 있음에 유의한다. 이러한 변경 및 변형은 본 발명의 특허청구범위를 벗어나지 않는 한 이에 의해 정의된 본 발명의 범위 내에 포함되는 것으로 간주하여야 한다.

본 발명의 상세한 설명에서 언급되고 있는 모든 공개 문서들, 특허들, 특허 출원서들의 내용은 상기 모든 공개 문서들, 특허들, 특허 출원서들 각각에서 구체적으로 기재하고 있는 내용들과 동일한 내용이며, 본 발명의 상세한 설명에서 언급되고 있는 모든 공개 문서들, 특허들, 특허 출원서들의 내용은 본 발명의 종래 기 술로서 간주되어서는 안됨은 물론이다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일 실시 예에 따른 시퀀스의 다수의 디지털 이미지로부터 결합 이미지를 생성하기 위한 방법을 도시한 도면,

도 2는 본 발명의 일 실시 예에 따른 시퀀스의 다수의 디지털 이미지로부터 결합 이미지를 생성하기 위한 방법을 도시한 도면,

도 3은 본 발명의 일 실시 예에 따른 다수의 인코딩된 디지털 이미지로부터 인코딩된 이미지를 생성하기 위한 방법을 도시한 도면,

도 4는 본 발명의 일 실시 예에 따른 디지털 이미지들의 세트에서 특정 장면의 이미지를 생성하기 위한 이미지화 장치를 도시한 도면.

Claims (26)

1. 결합 이미지를 생성하는 방법에 있어서,

   복수의 초기 이미지를 포함하는 시퀀스를 캡쳐(capture)하는 동안, 상기 복수의 초기 이미지 중 실질적인 움직임이 없는 초기 이미지들의 서브셋을 검출하는 a) 과정과,

   결합 이미지를 생성하기 위해 상기 서브셋으로부터 데이터를 결합하는 b) 과정과,

   상기 결합 이미지를 출력하는 c) 과정을 포함하는 결합 이미지 생성 방법.
2. 제1항에 있어서,

   상기 복수의 초기 이미지 각각은 제1노출에 따른 제1품질을 가지며, 상기 결합 이미지는 제2노출에 따른 제2품질을 가지며, 상기 제2품질은 상기 제1품질보다 높음을 특징으로 하는 결합 이미지 생성 방법.
3. 제1항에 있어서,

   상기 결합하는 b) 과정은, 상기 서브셋으로부터의 이미지를 임의의 품질을 갖는 임시 결합 이미지에 추가하는 과정을 포함하고,

   상기 추가하는 과정은 상기 추가 과정이 상기 임의의 품질을 증가시키는 동안 반복됨을 특징으로 하는 결합 이미지 생성 방법.
4. 제1항에 있어서,

   상기 결합 이미지는 상기 서브셋의 각 멤버의 실제 노출 시간보다 높은 효과적인 노출 시간을 가짐을 특징으로 하는 결합 이미지 생성 방법.
5. 제1항에 있어서,

   상기 검출하는 a) 및 결합하는 b) 과정을 반복해서 수행하는 과정과,

   상기 반복 수행에 의해 다수의 다른 결합 이미지를 생성하는 과정과,

   상기 다수의 다른 결합 이미지를 출력하는 과정을 더 포함하는 결합 이미지 생성 방법.
6. 제1항에 있어서,

   상기 검출하는 a) 과정은 상기 복수의 초기 이미지 중 적어도 하나에서 객체의 로컬(local) 움직임을 계산하는 과정을 포함하는 결합 이미지 생성 방법.
7. 제1항에 있어서,

   상기 검출하는 a) 과정은 글로벌(global) 움직임을 계산하는 과정을 포함하는 결합 이미지 생성 방법.
8. 제1항에 있어서,

   상기 복수의 초기 이미지 중 실질적인 움직임이 없는 복수의 초기 이미지 중 제1이미지를 검출한 후, 상기 서브셋을 저장하는 과정을 더 포함하는 결합 이미지 생성 방법.
9. 제1항에 있어서,

   상기 검출하는 a) 과정은 상기 복수의 초기 이미지 중 적어도 하나에서 실질적인 비움직임을 검출하는 과정을 포함하며,

   상기 결합 전에 이미지 결합 트리거(trigger)를 식별하는 과정을 더 포함하며,

   상기 서브셋은 상기 실질적인 비움직임 및 상기 식별 간에 검출된 초기 이미지를 포함하는 결합 이미지 생성 방법.
10. 제1항에 있어서,

    상기 결합 이미지의 효과적인 노출 시간이 증가되는 한 상기 출력하는 c) 과정을 반복 수행하는 과정을 더 포함하는 결합 이미지 생성 방법.
11. 제9항에 있어서,

    상기 이미지 결합 트리거는 자가 타이머 명령이 수신될 때의 시간, 상기 서브셋의 멤버들의 조합의 효과적인 노출 시간이 미리 정의된 임계값보다 클 때의 시간, 상기 시퀀스에서 움직임이 검출될 때의 시간을 포함하는 상기 그룹의 멤버임을 특징으로 하는 결합 이미지 생성 방법.
12. 제1항에 있어서,

    상기 복수의 초기 이미지를 인코딩하는 과정을 더 포함하며,

    상기 결합하는 b) 과정은 상기 서브셋으로부터 인코딩된 이미지 데이터를 결합하는 과정을 포함하는 결합 이미지 생성 방법.
13. 제12항에 있어서,

    상기 인코딩 과정은 복수의 JPEG(Joint Photographic Experts Group) 이미지를 생성하는 과정을 포함하는 결합 이미지 생성 방법.
14. 제13항에 있어서,

    상기 복수의 초기 이미지를 인코딩하는 과정은 상기 복수의 초기 이미지를 블록들로 분리하고, 이산 코사인 변환(DCT: Discrete Cosine Transform) 방식을 사용하여 각 블록을 변형하는 과정을 포함하고,

    상기 인코딩된 이미지 데이터는 상기 복수의 JPEG 이미지로부터의 복수의 계수를 포함하며,

    상기 결합하는 b) 과정 후에 상기 결합 이미지를 양자화 및 엔트로피(entropy) 인코딩하는 과정을 더 포함하는 결합 이미지 생성 방법.
15. 결합 이미지 생성 장치에 있어서,

    복수의 이미지를 포함한 시퀀스를 캡쳐(capture)하는 이미지 센서와,

    상기 이미지 센서와 전기적으로 연결되고, 상기 복수의 이미지 중 실질적인 움직임이 없는 이미지들의 서브셋을 검출하는 비움직임 검출 모듈과,

    상기 비움직임 검출 모듈과 전기적으로 연결되고, 결합 이미지 생성을 위해 상기 서브셋으로부터 결합 데이터를 형성하는 이미지 결합 모듈을 포함하는 결합 이미지 생성 장치.
16. 제15항에 있어서,

    상기 복수의 초기 이미지 각각은 제1노출에 따른 제1품질을 가지며, 상기 결합 이미지는 제2노출에 따른 제2품질을 가지며, 상기 제2품질은 상기 제1품질보다 높음을 특징으로 하는 결합 이미지 생성 장치.
17. 제16항에 있어서,

    상기 결합 이미지는 상기 서브셋의 각 멤버의 실제 노출 시간보다 더 높은 효과적인 노출 시간을 갖는 것을 특징으로 하는 결합 이미지 생성 장치.
18. 제16항에 있어서,

    상기 비움직임 검출 모듈은 이미지 결합 트리거를 식별하기 위해 구성되고, 상기 서브셋은 상기 실질적인 비움직임 및 상기 식별 사이에서 검출된 초기 이미지를 포함함을 특징으로 하는 결합 이미지 생성 장치.
19. 제18항에 있어서,

    상기 초기 이미지의 조합의 효과적인 노출 시간을 평가하고, 상기 평가된 효과적인 노출 시간에 따라 상기 이미지 결합 트리거를 생성하기 위해 구성된 품질 식별 모듈을 더 포함하는 결합 이미지 생성 장치.
20. 제18항에 있어서,

    상기 검출로부터 미리 정의된 지연 시간 후에 상기 이미지 결합 트리거를 생성하기 위한 자가 타이머 기계장치를 더 포함하는 결합 이미지 생성 장치.
21. 제18항에 있어서,

    상기 시퀀스에서 움직임을 검출하고, 상기 검출된 움직임에 따라 상기 이미지 결합 트리거를 생성하기 위해 구성된 움직임 검출 모듈을 더 포함하는 결합 이미지 생성 장치.
22. 제15항에 있어서,

    상기 비움직임 검출 모듈은 상기 복수의 이미지에서 복수의 서브셋을 검출하 기 위해 적응되며, 상기 각 서브셋은 실질적인 움직임이 없는 이미지들을 포함하며, 상기 이미지 결합 모듈은 상기 결합된 이미지를 생성하기 위해 상기 서브셋들로부터의 데이터를 결합하기 위해 구성됨을 특징으로 하는 결합 이미지 생성 장치.
23. 제15항에 있어서,

    상기 비움직임 검출 모듈은 상기 복수의 이미지의 복수의 서브셋을 검출하기 위해 적응되며, 상기 각 서브셋은 실질적인 움직임이 없는 이미지들을 포함하며, 상기 이미지 검출 모듈은 결합 이미지들의 클러스터를 생성하기 위해 구성되며, 상기 각 결합 이미지는 상기 각 서브셋으로부터 데이터를 결합함에 의해 생성됨을 특징으로 하는 결합 이미지 생성 장치.
24. 제15항에 있어서,

    상기 장치는 소형 이미지 장치, 휴대폰, PDA(Personal Digital Assistant) 및 휴대용 컴퓨터를 포함하는 그룹의 멤버임을 특징으로 하는 결합 이미지 생성 장치.
25. 결합된 JPEG(Joint Photographic Experts Group) 이미지를 생성하기 위한 장 치에 있어서,

    복수의 JPEG 이미지를 포함하는 시퀀스를 검출하기 위한 이미지 센서와,

    상기 이미지 센서와 전기적으로 연결되고, 상기 복수의 JPEG 이미지 중 실질적인 움직임이 없는 JPEG 이미지의 서브셋을 검출하기 위한 비움직임 검출 모듈과,

    상기 비움직임 검출 모듈과 전기적으로 연결되고, 결합 이미지를 생성하기 위해 상기 서브셋의 이미지들로부터 복수의 DCT 계수를 결합하기 위해 구성된 이미지 결합 모듈을 포함하는 결합된 JPEG 이미지 생성 장치.
26. 제25항에 있어서,

    상기 이미지 결합 모듈은 이미지 결합 트리거를 수신하고, 상기 수신된 이미지 결합 트리거에 따라 상기 결합을 제한하기 위해 구성됨을 특징으로 하는 결합된 JPEG 이미지 생성 장치.

Images