KR20120008062A - 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법 - Google Patents

비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20120008062A
KR20120008062A KR1020117027879A KR20117027879A KR20120008062A KR 20120008062 A KR20120008062 A KR 20120008062A KR 1020117027879 A KR1020117027879 A KR 1020117027879A KR 20117027879 A KR20117027879 A KR 20117027879A KR 20120008062 A KR20120008062 A KR 20120008062A
Authority
KR
South Korea
Prior art keywords
image data
image
circuit
combining
video frame
Prior art date
Application number
KR1020117027879A
Other languages
English (en)
Other versions
KR101352730B1 (ko
Inventor
하우 황
시앙-춘 리
칼린 엠 아타나소브
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120008062A publication Critical patent/KR20120008062A/ko
Application granted granted Critical
Publication of KR101352730B1 publication Critical patent/KR101352730B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 발명은 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템들 및 방법들에 관한 것이다. 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터가 이미지 센서로부터 수신된다. 제 2 이미지 데이터는 제 2 이미지 데이터의 대응하는 부분들에 대한 제 1 이미지 데이터의 부분들 간의 오프셋들을 적어도 부분적으로 보상함으로써 조정된 제 2 이미지 데이터를 생성하도록 조정된다. 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터에 계층적인 결합 동작을 수행함으로써 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터가 생성된다.

Description

비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법 {SYSTEM AND METHOD TO SELECTIVELY COMBINE VIDEO FRAME IMAGE DATA}
본 개시물은 일반적으로 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법에 관한 것이다.
기술의 진보는 더 작고 더 강력한 컴퓨팅 디바이스들을 발생시켜왔다. 예를 들면, 작고, 경량이며, 사용자들에 의해 쉽게 운반되는 페이징 디바이스들, 개인 휴대 정보 단말기들 (PDAs), 휴대용 무선 전화기들과 같은 무선 컴퓨팅 디바이스들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 더욱 상세하게는, 셀룰러 전화기들 및 인터넷 프로토콜 (IP) 전화기들과 같은 휴대용 무선 전화기들이 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 추가로, 다수의 그러한 무선 전화기들은 그 내부에 통합된 다른 타입의 디바이스들을 포함한다. 예를 들면, 무선 전화기는 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더 및 오디오 파일 플레이어를 포함할 수도 있다. 그러한 무선 전화기들은 인터넷에 액세스하기 위해 사용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령들을 처리할 수도 있다. 이와 같이, 이러한 무선 전화기들은 상당한 컴퓨팅 능력들을 포함할 수 있다.
디지털 신호 프로세서들 (DSPs), 이미지 프로세서들, 및 다른 프로세싱 디바이스들은 디지털 카메라들을 포함하거나, 디지털 카메라에 의해 캡처된 이미지 또는 비디오 데이터를 디스플레이하는 휴대용 개인 컴퓨팅 디바이스들에서 자주 사용된다. 그러한 프로세싱 디바이스들은 비디오 및 오디오 기능들을 제공하거나, 캡처된 이미지 데이터와 같은 수신된 데이터를 처리하거나, 다른 기능들을 수행하기 위해 사용될 수도 있다.
캡처된 이미지 데이터는 핸드 지터로 인한 쉬프팅 에러들, 이미지 내에서 오브젝트들의 움직임, 노출 과다, 노출 부족, 근거리장 또는 원거리장 내에서의 불량한 포커스, 측면 색수차 및 기하학적 왜곡들과 같은 하나 이상의 문제들을 경험할 수도 있다.
비디오 프레임들에 대응하는 다수의 이미지들은 개별 이미지들 내에서 발생할 수도 있는 문제점들을 극복하기 위해 이미지들의 등록 및 결합을 수행하는 구성가능한 이미지 프로세싱 구조를 사용하여 결합될 수도 있다. 제어 유닛은 입력된 이미지 데이터를 결합하는 다양한 효과들을 가능하게 하기 위해 계층적인 이미지 등록 및 계층적인 이미지 결합의 동작을 조정할 수도 있다. 예를 들면, 연속하는 비디오 프레임들에 대응하는 이미지 데이터는 감소된 고스팅 (ghosting) 으로 핸드 지터를 감소시키거나, 향상된 심도 (depth of field) 의 이미지를 생성하거나, 해상도를 개선하거나, 다이내믹 레인지를 증가시키거나, 이들의 임의의 조합을 수행하도록 결합될 수도 있다.
특정 실시형태에서, 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터를 수신하는 단계를 포함하는 방법이 개시된다. 방법은 또한 조정된 제 2 이미지 데이터를 생성하기 위해, 제 2 이미지 데이터의 대응하는 부분들에 대한 제 1 이미지 데이터의 부분들 간의 오프셋들을 적어도 부분적으로 보상함으로써 제 2 이미지 데이터를 조정하는 단계를 포함한다. 방법은 또한 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터에 계층적인 결합 동작을 수행함으로써 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하는 단계를 포함한다.
또 다른 특정 실시형태에서, 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터에 기초하여 모션 벡터 데이터 세트를 생성하도록 구성된 등록 회로를 포함하는 장치가 개시된다. 제 1 비디오 프레임 및 제 2 비디오 프레임은 이미지 센서로부터 수신된다. 장치는 또한 모션 벡터 데이터에 따라 제 2 이미지 데이터를 조정하도록 구성될 수도 있는 결합 회로를 포함한다. 결합 회로는 제 1 이미지 데이터와 조정된 제 2 이미지 데이터를 선택적으로 결합하기 위해 계층적인 결합 동작을 수행하도록 커플링된 결합 회로를 포함한다. 장치는 또한 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하도록 결합 회로를 제어하기 위한 제어 회로를 포함한다.
또 다른 특정 실시형태에서, 장치는 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터에 기초하여 모션 벡터 데이터 세트를 생성하기 위한 등록 수단을 포함한다. 장치는 또한 모션 벡터 데이터에 따라 제 2 이미지 데이터를 조정하는 수단을 포함할 수도 있다. 장치는 또한 제 1 이미지 데이터와 조정된 제 2 이미지 데이터를 선택적으로 결합하기 위해 계층적인 결합 동작을 수행하기 위한 결합 수단을 포함하다. 장치는 추가로 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하도록 결합 회로를 제어하기 위한 제어 수단을 포함한다.
특정 실시형태에서, 장치는 제 1 및 제 2 이미지 데이터를 수신하거나, 이미지 데이터를 조정하기 위한 오프셋들을 결정하거나, 조정된 이미지 데이터를 선택적으로 결합하거나, 또는 이들의 임의의 조합을 수행하도록 지정된 회로의 하나 이상의 하드웨어 블록들을 포함한다. 대안적으로 또는 부가적으로, 지정된 회로의 하드웨어 블록들에 의해 구현되지 않는 하나 이상의 기능들은 컴퓨터 실행가능한 코드를 실행하는 프로세서에 의해 구현될 수도 있다. 특정한 실시형태에서, 컴퓨터 실행가능한 코드를 저장하는 컴퓨터 판독가능한 매체가 개시된다. 컴퓨터 실행가능한 코드는 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터를 수신하기 위한 코드를 포함한다. 컴퓨터 실행가능한 코드는 또한 조정된 제 2 이미지 데이터를 생성하기 위해, 제 2 이미지 데이터의 대응하는 부분들에 대한 제 1 이미지 데이터의 부분들 간의 오프셋들을 적어도 부분적으로 보상함으로써 제 2 이미지 데이터를 조정하기 위한 코드를 포함한다. 컴퓨터 코드는 또한 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터에 계층적인 결합 동작을 수행함으로써 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하기 위한 코드를 포함한다.
개시된 방법들 및 장치의 실시형태들에 의해 제공되는 한가지 특별한 장점은 핸드 지터로 인한 쉬프팅, 이미지 내에서 오브젝트들의 움직임, 노출 과다, 노출 부족, 근거리장 또는 원거리장 내에서의 불량한 포커스, 측면 색수차 및 기하학적 왜곡들과 같이 이미지들과 연관된 문제점들의 개선 또는 보정을 제공하는 것이다.
본 개시물의 다른 양태들, 장점들 및 특징들은 하기의 섹션들 : 도면의 간단한 설명, 발명을 실시하기 위한 구체적인 내용 및 특허청구범위를 포함하는 전체 출원의 검토 이후에 명백해질 것이다.
도 1 은 이미지 결합 모듈을 가진 이미지 프로세싱 시스템을 포함하는 시스템의 특정한 예시적인 실시형태의 블록도이다.
도 2 는 이미지 결합 엔진을 포함하는 시스템의 제 1 실시형태를 도시하는 블록도이다.
도 3 은 이미지 결합 엔진을 포함하는 시스템의 제 2 실시형태를 도시하는 블록도이다.
도 4 는 이미지 결합 회로를 포함하는 시스템의 일 실시형태를 도시하는 블록도이다.
도 5 는 핸드 지터를 보정하고, 이동하는 오브젝트들로 인한 오브젝트 블러를 감소시키기 위해 제공하는 이미지 결합 엔진의 일 실시형태의 동작을 논리적으로 설명하는 다이어그램이다.
도 6 은 고 다이내믹 레인지 이미지를 생성하기 위한 이미지 결합 엔진의 일 실시형태의 동작들을 논리적으로 설명하는 다이어그램이다.
도 7 은 심도 향상을 위해 제공하는 이미지 결합 엔진의 일 실시형태의 동작을 논리적으로 설명하는 다이어그램이다.
도 8 은 측면 색수차들을 도시한다.
도 9 는 이미지의 기하학적 왜곡들의 제 1 실시형태를 도시한다.
도 10 은 이미지의 기하학적 왜곡들의 제 2 실시형태를 도시한다.
도 11 은 이미지의 기하학적 왜곡들의 보정을 위해 제공하는 이미지 결합 엔진의 일 실시형태의 동작을 논리적으로 설명하는 다이어그램이다.
도 12 는 이미지들을 선택적으로 결합하는 방법의 흐름도이다.
도 13 은 계층적인 결합 프로세스를 수행하는 방법의 흐름도이다.
도 14 는 이미지 개선 프로세스를 수행하는 방법의 흐름도이다.
도 15 는 이미지 결합 모듈을 포함하는 휴대용 전자 디바이스의 블록도이다.
도 16 은 비디오 프레임들을 결합하기 위한 시스템의 일 실시형태를 도시하는 블록도이다.
도 17 은 비디오 프레임들을 결합하는 방법의 흐름도이다.
도 1 은 이미지 결합 모듈을 가진 이미지 프로세싱 시스템을 포함하는 시스템의 특정한 예시적인 실시형태의 블록도이다. 시스템 (100) 은 이미지 프로세싱 시스템 (130) 에 커플링된 이미지 캡처 디바이스 (101) 를 포함한다. 이미지 프로세싱 시스템 (130) 은 이미지 저장 디바이스 (140) 에 커플링된다. 이미지 프로세싱 시스템 (130) 은 이미지 캡처 디바이스 (101) 로부터 이미지 데이터 (109) 를 수신하고, 핸드 지터로 인한 쉬프팅, 이미지 내에서 오브젝트들의 움직임, 노출 과다, 노출 부족, 근거리장 또는 원거리장 내에서의 불량한 포커스, 측면 색수차 및 기하학적 왜곡들과 같이 다수의 이미지들과 연관된 문제점들의 개선 또는 보정을 제공하는 다수의 이미지들을 결합하도록 구성된다. 일반적으로, 시스템 (100) 은 상대적으로 제한된 프로세싱 리소스들을 사용하여 실시간 이미지 프로세싱을 수행하도록 구성된 전자 디바이스 내에 구현될 수도 있다.
특정 실시형태에서, 이미지 캡처 디바이스 (101) 는 비디오 카메라 또는 스틸 카메라와 같은 카메라이다. 다른 실시형태들에서, 이미지 캡처 디바이스 (101) 는 셀룰러 폰, 개인 휴대 정보 단말기 (PDA) 등등 내에 구현된 카메라일 수도 있다. 이미지 캡처 디바이스 (101) 는 포커싱 모듈 (104) 및 노출 모듈 (106) 에 응답하는 렌즈 (102) 를 포함한다. 센서 (108) 는 렌즈 (102) 를 통해 광을 수신하고, 렌즈 (102) 를 통해 수신된 이미지에 응답하여 이미지 데이터 (109) 를 생성하도록 커플링된다. 포커싱 모듈 (104) 은 센서 (108) 에 응답할 수도 있고, 렌즈 (102) 의 포커싱을 자동으로 제어하도록 적응될 수도 있다. 노출 모듈 (106) 은 또한 센서 (108) 에 응답할 수도 있고, 이미지의 노출을 제어하도록 적응될 수도 있다. 특정 실시형태에서, 센서 (108) 는 인접하는 검출기들이 광의 서로 다른 색상들을 검출하도록 배열되는 다수의 검출기들, 또는 픽셀 웰 (well) 들을 포함한다. 예컨대, 수신된 광은 각각의 검출기가 적색, 녹색, 또는 청색의 인입하는 광을 수신하도록 필터링될 수도 있다.
이미지 캡처 디바이스 (101) 는 이미지 데이터 (109) 를 이미지 프로세싱 시스템 (130) 에 제공하도록 커플링된다. 이미지 프로세싱 시스템 (130) 은 이미지 캡처 디바이스 (101) 로부터 수신된 이미지 데이터 (109) 에 디모자이크 동작을 수행하기 위한 디모자이크 모듈 (110) 을 포함한다. 색 보정 모듈 (112) 은 디모자이크된 이미지 데이터에 색 보정을 수행하도록 구성된다. 감마 모듈 (114) 은 색 보정 모듈 (112) 로부터 수신된 데이터로부터 감마 보정된 이미지 데이터를 생성하도록 구성된다. 색 변환 모듈 (116) 은 감마 보정된 이미지 데이터에 색 공간 변환을 수행하도록 결합된다. 이미지 프로세싱 시스템 (130) 은 또한 도 2 내지 도 14 와 관련하여 논의되는 것과 같이, 다수의 이미지들을 결합하도록 구성된 이미지 결합 모듈 (118) 을 포함한다. 압축 및 저장 모듈 (120) 은 이미지 결합 모듈 (118) 의 출력을 수신하고, 이미지 저장 디바이스 (140) 에 압축된 출력 데이터를 저장하도록 커플링된다. 이미지 저장 디바이스 (140) 는 하나 이상의 디스플레이 버퍼들, 레지스터들, 캐시들, 플래시 메모리 엘리먼트들, 하드 디스크들, 임의의 다른 저장 디바이스, 또는 이들의 임의의 조합과 같은 임의의 타입의 저장 매체를 포함할 수도 있다.
논의된 것과 같이, 특정 실시형태에서, 센서 (108) 는 적색, 녹색 및 청색 (RGB) 과 같은, 서로 다른 색상의 광을 검출하는 다수의 검출기들을 포함한다. 따라서, 이미지들은 RGB 색 공간에서 수신될 수도 있다. 특정 실시형태에서, 이미지들은 색 변환 모듈 (116) 에 의해 "YCbCr" 색 공간과 같은 다른 색 공간들로 변환될 수도 있다. YCbCr 색 공간은 루마 (또는 밝기) 성분 (YCbCr 색 공간에서 Y 성분) 및 크로마 성분들 (YCbCr 색 공간에서 Cb 및 Cr 성분들) 로 이미지들이 표현되는 색 공간의 일 예이다. YCbCr 색 공간에서, Cb 는 청색에서 루마를 제외시킨 것 (B-Y) 이고, Cr 는 적색에서 루마를 제외시킨 것 (R-Y) 이다.
동작 동안, 이미지 결합 모듈 (118) 은 입력된 이미지 데이터 (109) 에 대응하는 이미지들을 보정하거나 개선할 수도 있다. 예를 들면, 보정들 또는 개선들은 핸드 지터로 인한 쉬프팅, 이미지 내에서 오브젝트들의 움직임, 노출 과다, 노출 부족, 근거리장 또는 원거리장 내에서의 불량한 포커스, 측면 색수차 및 기하학적 왜곡들과 같이, 캡처된 이미지들과 연관된 문제점들을 보상하기 위해 이미지들에 실행될 수도 있다.
도 1 에 도시된 특정 실시형태에서, 이미지 결합 모듈 (118) 은 이미지 프로세싱 파이프라인 내에서 색 변환 모듈 (116) 을 뒤따르지만, 다른 실시형태들에서, 이미지 결합 모듈 (118) 은 이미지 프로세싱 파이프라인 내의 다른 위치들에 구현될 수도 있다. 추가로, 이미지 캡처 디바이스 (102) 는 단일 센서 (108) 를 가지는 것으로 도시되지만, 다른 실시형태들에서 이미지 캡처 디바이스 (102) 는 다수의 센서들을 가질 수도 있다. 예를 들면, 이미지 캡처 디바이스 (102) 는 서로 다른 노출 설정들 또는 서로 다른 포커스 설정들과 같은 동일하거나 다양한 조건들 하에서 특정 장면에 대하여 다수의 동시의 이미지 캡처들을 수행하도록 구성된 둘 이상의 센서들을 가질 수도 있다.
도 2 는 제 1 이미지에 대응하는 제 1 이미지 데이터를 수신하기 위해 제 1 이미지 입력 (201) 을 가지는 이미지 결합 엔진 (205) 을 포함하는 시스템 (200) 을 도시한다. 특정 실시형태에서, 시스템 (200) 은 도 1 의 이미지 결합 모듈 (118) 내에 포함될 수도 있다. 예를 들면, 제 1 이미지는 카메라 렌즈 (102) 에 의해 캡처되고, 제 1 이미지 입력 (201) 에서, 센서 (108), 디모자이크 모듈 (110), 색 보정 모듈 (112), 감마 모듈 (114) 및 색 변환 모듈 (116) 을 통해 이미지 결합 엔진 (205) 에 제공될 수도 있다.
이미지 결합 엔진 (205) 은 추가로 제 2 이미지에 대응하는 제 2 이미지 데이터를 수신하기 위한 제 2 이미지 입력 (202) 을 포함한다. 특정 실시형태에서, 제 2 이미지는 카메라 렌즈 (102) 에 의해 캡처될 수도 있고, 제 2 이미지 입력 (202) 에서 센서 (108), 디모자이크 모듈 (110), 색 보정 모듈 (112), 감마 모듈 (114) 및 색 변환 모듈 (116) 을 통해 이미지 결합 엔진 (205) 에 제공될 수도 있다.
제 1 및 제 2 이미지들은 이미지 결합 엔진 (205) 에 의해 결합된다. 예를 들면, 이미지 결합 엔진 (205) 은 도 3 내지 도 14 와 관련하여 설명된 실시형태들에 따라 동작할 수도 있다.
이미지 결합 엔진 (205) 은 결합된 이미지 출력 (206) 을 생성하도록 구성된다. 특정 실시형태에서, 이미지 결합 엔진 (205) 은 제 1 이미지의 제 1 특징을 제 2 이미지의 제 2 특징과 비교하는 것에 적어도 부분적으로 기초하여 제 1 이미지 입력 (201) 으로부터의 제 1 값 및 제 2 이미지 입력 (202) 으로부터의 조정된 제 2 값들을 선택적으로 결합함으로써 결합된 이미지 출력 (206) 을 생성한다. 예를 들면, 제 1 이미지의 영역은 초점이 맞지 않지만, 제 2 이미지의 대응하는 영역은 초점이 맞을 때, 이미지 결합 엔진 (205) 은 제 2 이미지로부터의 영역에 대응하는 결합된 이미지 출력 (206) 에 대한 픽셀 값들을 선택할 수도 있다. 비교될 수도 있는 특징들의 다른 예들은 이미지들의 콘트라스트, 이미지들의 휘도 성분들 간의 편차들 및 이미지들의 필터링된 특징들 (예컨대, 저역 통과 필터링된 데이터, 고역 통과 필터링된 데이터) 을 포함한다. 특정 실시형태에서, 결합된 이미지 출력 (206) 은 이미지 저장 디바이스 (140) 와 같은 이미지 저장 디바이스에 커플링될 수도 있다.
다른 실시형태들에서, 이미지 결합 엔진 (205) 은 추가의 이미지 입력들을 포함할 수도 있다. 추가로 또는 대안적으로, 결합된 이미지 출력 (206) 은 출력 이미지를 추가의 입력 이미지들과 반복하여 결합하기 위해 제 2 이미지 입력 (202) 에서 수신된 추가의 이미지 입력들과 이미지 결합 엔진 (205) 의 출력을 결합하는 능력을 제공하도록 제 1 입력 (201) 에 커플링될 수도 있다. 예를 들어, 3 개의 이미지 데이터 세트들은 제 1 이미지 데이터 세트를 제 1 이미지 입력 (201) 에 적용하고, 제 2 이미지 데이터 세트를 제 2 이미지 입력 (202) 에 적용하며, 및 결과적인 결합된 이미지를 제 1 이미지 입력 (201) 에 적용하고, 제 3 이미지 데이터 세트를 제 3 이미지 입력 (202) 에 적용함으로써 단일 이미지를 형성하도록 결합될 수도 있으며, 결과적으로 모두 3 개의 이미지 데이터 세트들의 결합된 이미지를 발생한다.
도 3 은 이미지 결합 엔진 (305) 을 포함하는 시스템 (300) 을 도시한다. 시스템 (300) 에서, 이미지 결합 엔진 (305) 은 개별 이미지 입력들을 등록하는 등록 회로 (321), 개별 이미지 입력들을 결합하는 결합 회로 (323), 및 등록 회로 (321) 와 결합 회로 (323) 를 제어하는 제어 회로 (325) 를 포함한다. 예시적인 실시형태에서, 시스템 (300) 은 도 1 의 이미지 결합 모듈 (118) 또는 도 2 의 이미지 결합 엔진 (205) 내에 포함될 수도 있다.
특정 실시형태에서, 등록 회로 (321) 는 제 1 루마 입력 (311), 제 2 루마 입력 (313), 및 결합 회로 (323) 에 커플링된 출력 (322) 을 포함한다. 등록 회로 (321) 는 제 1 루마 입력 (311) 및 제 2 루마 입력 (313) 으로부터의 데이터 간의 차이들을 결정하고, 오프셋 데이터를 출력 (322) 에서 결합 회로 (323) 에 제공하도록 구성된다. 특정 실시형태에서, 제 1 루마 입력 (311) 은 YCbCr 색 공간 내에 코딩된 제 1 이미지에 대한 Y 성분 데이터이고, 제 2 루마 입력 (313) 은 YCbCr 색 공간 내에 코딩된 제 2 이미지에 대한 Y 성분 데이터이다. 도 3 에 도시된 것과 같이, 등록 회로 (321) 는 등록될 이미지들로부터의 루마 성분들만을 사용하여 이미지 등록을 수행한다. 다른 실시형태들에서, 등록 회로 (321) 는 등록을 수행하기 위해 루마 성분에 부가하거나 이를 대신하여 이미지 데이터의 다른 컴포넌트들을 사용할 수도 있다.
결합 회로 (323) 는 제 1 이미지 입력 (315), 제 2 이미지 입력 (317), 등록 회로 (321) 로부터 등록 데이터를 수신하기 위한 입력 및 결합된 이미지 출력 (306) 을 포함한다. 특정 실시형태에서, 제 1 이미지 입력 (315) 은 YCbCr 색 공간 내에 코딩된 제 1 이미지에 대한 데이터를 수신하고, 제 2 이미지 입력 (317) 은 YCbCr 색 공간 내에 코딩된 제 2 이미지에 대한 데이터를 수신한다. 결합 회로 (323) 는 등록 회로 (321) 에 의해 검출되는 차이들에 기초하여 조정된 (즉, 제 1 이미지 데이터와 정렬하도록 조정된) 제 1 이미지 및 제 2 이미지를 선택적으로 결합하도록 구성된다. 등록 회로 (321) 는 제어 회로 (325) 의 제어 하에 동작하기 위해 입력 (326) 에 응답하도록 구성되고, 결합 회로 (323) 는 제어 회로 (325) 의 제어하에 동작하기 위해 입력 (324) 에 응답하도록 구성된다.
특정 실시형태에서, 이미지 결합 회로 (323) 는 제 1 이미지의 제 1 특징을 제 2 이미지의 제 2 특징과 비교하는 것에 적어도 부분적으로 기초하여 제 1 이미지 입력 (315) 으로부터의 제 1 값들과 제 2 이미지 입력 (317) 으로부터의 제 2 값들을 선택적으로 결합함으로써 결합된 이미지 출력 (306) 을 생성한다. 특징들은 예시적인 실시예들로서 포커스, 콘트라스트, 변화량 (variance) 또는 주파수 스펙트럼을 포함할 수도 있다. 예를 들면, 이미지 결합 회로 (323) 는 영역 내에서 더 양호한 포커스를 가지는 이미지 입력, 영역 내에서 더 양호한 콘트라스트를 가지는 이미지 입력, 등록 이후에 영역 내에서 2개의 이미지 입력들 사이에 검출되는 변화량, 또는 결합된 이미지 출력 (306) 의 품질을 개선하기 위한 다른 특징들에 기초하여 제 1 이미지 입력 (315) 과 제 2 이미지 입력 (317) 의 영역들을 결합할 수도 있다. 이미지 결합 회로 (323) 는 선택된 특징들을 표시하는 입력 (324) 을 제어 회로 (325) 로부터 수신하고, 영역 단위로, 또는 심지어 픽셀 단위로 개별 이미지들을 평가하고, 평가된 특징들에 기초한 입력된 이미지들의 영역들 또는 픽셀들의 선택적인 결합에 기초하여 결합된 이미지를 생성할 수도 있다.
도 4 를 참조하면, 다수의 이미지들을 선택적으로 결합하기 위한 시스템이 도시되고, 일반적으로 도면부호 400 으로 표시된다. 특정 실시형태에서, 시스템 (400) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305) 또는 이들의 임의의 조합 내에 포함될 수도 있다. 시스템 (400) 은 계층적인 결합 회로 (460) 에 커플링된 계층적인 등록 회로 (420) 를 포함한다. 계층적인 등록 회로 (420) 및 계층적인 결합 회로 (460) 는 애플리케이션 특정 제어 회로 (432) 에 커플링된다. 애플리케이션 특정 제어 회로 (432) 및 계층적인 결합 회로 (460) 는 가중치 테이블 (434) 에 커플링된다.
계층적인 등록 회로 (420) 는 제 1 이미지에 대응하는 제 1 이미지 루마 데이터 (402) 및 제 2 이미지에 대응하는 제 2 이미지 루마 데이터 (404) 를 수신하고, 코오스 (coarse) 등록 회로 (422) 및 정밀 등록 회로 (424) 를 사용하여 제 1 이미지 루마 데이터 (402) 및 제 2 이미지 루마 데이터 (404) 에 등록 프로세스를 수행하도록 구성된다. 계층적인 등록 회로 (420) 는 제 1 이미지 루마 데이터 (402) 및 제 2 이미지 루마 데이터 (404) 의 대응하는 부분들 간에 검출된 오프셋들을 나타내는 정밀 모션 벡터 세트 (429) 를 생성하도록 구성된다. 특정 실시형태에서, 정밀 모션 벡터 세트 (429) 는 카메라 움직임, 이미지 움직임 또는 이들 모두로 인해 잘못 정렬될 수도 있는 이미지들을 정렬하기 위한 수직 및 수평 쉬프트 데이터를 포함한다. 설명되는 것과 같이, 계층적인 등록 회로 (420) 는 계산 효율을 위해 이미지 루마 데이터 상에 동작한다. 그러나, 다른 실시형태들에서, 계층적인 등록 회로 (420) 는 루마 데이터에 부가하거나 이를 대신하여 크로마 성분 데이터, 적색 데이터, 청색 데이터, 또는 녹색 데이터, 또는 이들의 임의의 조합과 같은 다른 타입의 이미지 데이터를 사용하여 동작할 수도 있다.
특정 실시형태에서, 코오스 등록 회로 (422) 는 모션 벡터 생성 회로 (426) 를 포함한다. 모션 벡터 생성 회로 (426) 는 제 1 이미지 루마 데이터 (402) 및 제 2 이미지 루마 데이터 (404) 의 각각을 블록들로 분할하여 블록들 사이에 코오스 등록 프로세스를 수행하도록 구성될 수도 있다. 예를 들면, 모션 벡터 생성 회로 (426) 는 제 1 이미지 루마 데이터 (402) 와 제 2 이미지 루마 데이터 (404) 의 각각을 3×3 오버래핑 블록 세트로 논리적으로 분할할 수도 있고, 오버래핑 블록들의 투영 (projection) 을 사용하여 제 2 이미지 루마 데이터 (404) 의 블록들 각각을 제 1 이미지 루마 데이터 (402) 의 대응하는 블록에 정렬하도록 적용될 수 있는 코오스 모션 벡터 세트 (427) 를 생성할 수도 있다. 다른 실시형태들에서, 임의의 수의 블록들이 사용될 수도 있고, 블록들 중 일부 또는 전부는 비-오버래핑 블록들일 수도 있다.
정밀 등록 회로 (424) 는 코오스 모션 벡터 세트 (427) 를 수신하고, 정밀 모션 벡터 세트 (429) 를 생성하도록 구성된다. 특정 실시형태에서, 정밀 등록 회로 (424) 는 매크로 블록 세분화 회로 (430) 에 커플링된 모션 벡터 업샘플링 회로 (428) 를 포함한다. 모션 벡터 업샘플링 회로 (428) 는 코오스 모션 벡터 세트 (427) 를 수신하고 업샘플링하여 코오스 모션 벡터 세트 (427) 보다 더 세밀한 입도를 가지는 모션 벡터들을 생성할 수도 있다. 설명을 위해, 이미지 루마 데이터 (402 및 404) 는 각각의 매크로 블록이 이미지의 16 픽셀 × 16 픽셀 영역에 대응하는, M×N 어레이의 매크로 블록들로 구성될 수도 있다. 모션 벡터 업샘플링 회로 (428) 는 코오스 모션 벡터 세트 (427) 의 대응하는 모션 벡터를 각각의 매크로 블록에 적용하는 M×N 모션 벡터 세트를 생성할 수도 있다.
특정 실시형태에서, 매크로 블록 모션 벡터 세분화 회로 (430) 는 업샘플링된 모션 벡터 세트 (427) 및 이미지 루마 데이터 (402 및 404) 를 수신하고, 세분화된 모션 벡터 세트 (429) 를 생성하도록 커플링된다. 예를 들면, 매크로 블록 모션 벡터 세분화 회로 (430) 는 제 2 이미지 데이터의 매크로 블록을 제 1 이미지 데이터의 대응하는 매크로 블록과 코오스하게 정렬하기 위해 업샘플링된 모션 벡터 세트 (427) 의 각각의 모션 벡터를 제 2 이미지 데이터의 대응하는 매크로 블록에 적용하도록 구성될 수도 있다. 매크로 블록 모션 벡터 세분화 회로 (430) 는 코오스하게 정렬된 매크로 블록의 제 1 이미지 데이터 (402) 로의 더 정확한 정렬을 결정하기 위해 코오스하게 정렬된 매크로 블록 주위의 제 1 이미지 데이터의 영역을 탐색할 수도 있다. 탐색 영역은 애플리케이션 특정 제어 회로 (432) 로부터 수신된 탐색 범위 제어 신호 (435) 에 기초하여 선택될 수도 있다. 세분화된 모션 벡터 세트 (429) 는 제 1 이미지 루마 데이터 (402) 와 제 2 이미지 루마 데이터 (404) 의 매크로 블록×매크로 블록 등록을 가능하게 하기 위해 각각의 매크로 블록의 더 정확한 정렬에 대응하는 벡터 데이터를 표시할 수도 있다.
매크로 블록 모션 벡터 세분화 회로 (430) 는 최저 계산 평균 자승 에러 (MSE) 또는 각각의 모션 벡터에 대한 다수의 가능한 MSE들 중에서 다른 노름 (norm) 을 선택하는 알고리즘을 수행함으로써 세분화된 모션 벡터 세트 (429) 를 결정할 수도 있다. 예를 들면, 제 2 이미지 루마 데이터 (404) 의 특정 매크로 블록에 대하여, 제 1 이미지 루마 데이터 (402) 와 매크로 블록의 다수의 가능한 정렬들이 고려될 수도 있고, 세분화된 모션 벡터 세트 (429) 에 대하여 최저 계산된 MSE 를 발생하는 정렬이 선택된다. 각각의 매크로 블록에 대하여 결정된 평균 자승 에러는 모션 벡터 (MV) 평균 자승 차이 (difference) 데이터 (431) 로서 계층적인 결합 회로 (460) 에 제공될 수도 있다.
특정 실시형태에서, 계층적인 결합 회로 (460) 는 코오스 결합 회로 (462) 및 정밀 결합 회로 (464) 를 사용하여 제 1 이미지 데이터 (406) 및 제 2 이미지 데이터 (408) 를 결합하도록 구성된다. 제 1 이미지 데이터 (406) 는 제 1 이미지에 대한 제 1 루마 데이터 (402) 를 포함할 수도 있고, YCbCr 이미지 데이터로서 제 1 이미지에 대한 크로마 데이터를 포함한다. 제 2 이미지 데이터 (408) 는 제 2 이미지에 대한 제 2 루마 데이터 (404) 및 YCbCr 데이터로서 제 2 이미지에 대한 크로마 데이터를 포함할 수도 있다.
특정 실시형태에서, 코오스 결합 회로 (462) 는 매크로 블록 이미지 정렬 회로 (466) 및 블록 MSE 차이 판별기 회로 (468) 를 포함한다. 매크로 블록 이미지 정렬 회로 (466) 는 세분화된 모션 벡터 세트 (429) 를 제 2 이미지 데이터 (408) 에 적용하여 제 1 이미지 데이터에 정렬된 제 2 이미지에 대한 이미지 데이터를 생성하도록 구성될 수도 있다. 예를 들면, 매크로 블록 이미지 정렬 회로 (466) 는 매크로 블록들이 픽셀 값들을 오버래핑하거나 보간하는 것으로 결정될 때 제 2 이미지 내의 픽셀 값들을 결합하도록 구성될 수도 있으며, 상기 경우에 매크로 블록들은 임의의 매크로 블록들 내에 있지 않은 제 2 이미지 데이터의 영역을 발생하도록 재정렬된다. 매크로 블록 이미지 정렬 회로 (466) 는 제 1 이미지 데이터 (406) 및 제 2 이미지에 대하여 정렬된 이미지 데이터를 블록 MSE 차이 판별기 회로 (468) 에 제공할 수도 있다.
특정 실시형태에서, 블록 MSE 차이 판별기 회로 (468) 는 매크로 블록 이미지 정렬 회로 (466) 로부터 수신되는 데이터에 코오스 결합 프로세스를 수행하도록 구성된다. 특히, 블록 MSE 차이 판별기 회로 (468) 는 제 1 이미지 데이터 (406) 와 충분히 매칭되 않는, 제 2 이미지에 대한 정렬된 이미지 데이터의 매크로 블록들을 제거할 수도 있다. 예를 들면, 각각의 매크로 블록에 대한 MV MS 차이 데이터 (431) 는 임계값과 비교될 수도 있다. MS 차이가 특정 매크로 블록에 대한 임계값을 초과할 때, 특정 매크로 블록은 제 1 이미지 데이터 (406) 와 제 2 이미지에 대하여 정렬된 이미지 데이터 사이에서 매우 상이한 것으로 결정되고, 따라서 이미지 데이터는 특정 매크로 블록에 대하여 결합될 수 없을 것이다.
예를 들면, 이동하는 오브젝트가 제 1 이미지 데이터 (406) 의 제 1 매크로 블록 내에 나타나고 (그러나 제 2 이미지에 대하여 정렬된 이미지 데이터 내의 제 1 매크로 블록 내에는 나타나지 않으며), 이동하는 오브젝트가 제 2 이미지에 대하여 정렬된 이미지 데이터 내의 제 2 매크로 블록 내에 나타나는 (그러나 제 1 이미지 데이터 (406) 의 제 2 매크로 블록 내에는 나타나지 않는) 경우에, 대응하는 평균 자승 에러 차이들로 인해, 제 1 매크로 블록은 제 1 이미지와 제 2 이미지 사이에서 결합할 수 없는 것으로 결정될 수도 있고, 제 2 매크로 블록은 제 1 이미지와 제 2 이미지 사이에서 결합할 수 없는 것으로 결정될 수도 있다. 블록 MSE 차이 판별기 회로 (468) 는 제 1 이미지 데이터 (406) 로부터의 매크로 블록에 대한 픽셀 값들만이 사용될 수 있도록 하기 위해 정렬된 제 2 이미지 데이터로부터 각각의 결합할 수 없는 매크로 블록을 제거하도록 구성될 수도 있다. 예를 들면, 매크로 블록에 대한 픽셀 값들은 제 2 이미지에 대하여 정렬된 이미지 데이터의 대응하는 매크로 블록 내의 픽셀 값들을 대체하도록 제 1 이미지 데이터 (406) 로부터 복사될 수도 있다.
설명되는 것과 같이, 블록 MSE 차이 판별기 회로 (468) 는 애플리케이션 특정 제어 회로 (432) 에 응답한다. 예를 들면, 애플리케이션 특정 제어 회로 (432) 는 제 1 이미지 데이터와 제 2 이미지에 대하여 정렬된 이미지 데이터의 매크로 블록들 간에 MSE 차이들을 비교하기 위해 사용될 임계 차이를 표시하는 임계치 제어 신호 (437) 를 제공할 수도 있다. 블록 MSE 차이 판별기 회로 (468) 는 코오스 결합 프로세스 이후에 제 1 이미지에 대응하는 이미지 데이터 및 제 2 이미지에 대응하는 이미지 데이터를 포함하는, 2 개의 이미지 데이터 세트들을 정밀 결합 회로 (464) 에 출력할 수도 있다.
정밀 결합 회로 (464) 는 등록되고 코오스하게 정렬된 제 1 및 제 2 이미지 데이터를 수신하고, 정밀 결합 프로세스를 수행하여 출력 이미지 데이터 (480) 를 생성하도록 구성된다. 특정 실시형태에서, 정밀 결합 회로 (464) 는 평균 픽셀 MS 차이 회로 (474) 에 커플링된 제 1 필터 (470) 및 제 2 필터 (472) 를 포함한다. 정밀 결합 회로 (464) 는 또한 평균 픽셀 MS 차이 회로 (474) 및 가중치 테이블 (434) 에 커플링된 이미지 결합 회로 (476) 를 포함한다.
제 1 이미지에 대한 수신된 데이터는 제 1 필터 (470) 에 의해 처리될 수도 있고, 제 1 이미지에 대한 필터링된 데이터는 평균 픽셀 MS 차이 회로 (474) 에 제공된다. 제 2 이미지에 대한 수신된 데이터는 제 2 필터 (472) 에 의해 처리될 수도 있고, 제 2 이미지에 대한 필터링된 데이터는 평균 픽셀 MS 차이 회로 (474) 에 제공된다. 필터들 (470 및 472) 은 애플리케이션 특정 제어 회로 (432) 에 응답할 수도 있다. 예를 들면, 필터들 (470 및 472) 은 애플리케이션 특정 제어 회로 (432) 로부터, 저역 통과 응답, 고역 통과 응답, 대역 통과 응답, 임의의 다른 필터 응답, 또는 이들의 임의의 조합과 같은 필터 응답 특징을 나타내는 응답 제어 신호 (439) 를 수신할 수도 있다. 필터들 (470 및 472) 은 3×3 커널 또는 임의의 다른 사이즈의 커널을 포함할 수도 있다. 특정 실시형태에서, 필터들 (470 및 472) 은 애플리케이션 특정 제어 회로 (432) 에 응답하는 커널 사이즈를 갖는다.
평균 픽셀 MS 차이 회로 (474) 는 각각의 이미지에 대응하는 필터링된 데이터를 수신하고, 픽셀×픽셀의 부호 있는 (signed) 평균 자승 차이 연산을 수행하도록 구성될 수도 있다. 차이 연산은 특정 픽셀에 대한 루마 값들 및 크로마 값들 각각을 사용하여 각각의 특정 픽셀에 대하여 제 1 이미지의 필터링된 데이터와 제 2 이미지의 필터링된 데이터 간의 차이를 나타내는 부호 값을 생성할 수도 있다. 평균 픽셀 MS 차이 회로 (474) 는 차이 데이터를 평균 픽셀 차이 결과로서 이미지 결합 회로 (476) 에 제공하도록 구성될 수도 있다.
이미지 결합 회로 (476) 는 각각의 픽셀에 대하여 평균 픽셀 MS 차이 회로 (474) 로부터의 차이 값들을 수신하고, 출력 이미지 데이터 (480) 내에서 각각의 픽셀의 픽셀 값을 결정하도록 구성될 수도 있다. 예를 들면, 특정 픽셀에 대하여 수신된 차이 값은 가중치 테이블 (434) 에 탐색 연산으로서 제공될 수도 있다. 탐색 연산의 결과는 출력 이미지 데이터 (480) 내의 픽셀 값이 코오스 결합 회로 (462) 로부터 수신된 제 1 이미지 데이터로부터의 값, 코오스 결합 회로 (462) 로부터 수신된 제 2 이미지 데이터로부터의 값, 또는 이들의 조합을 가지는지 여부를 결정할 수도 있다.
가중치 테이블 (434) 은 제 1 이미지 데이터의 픽셀 값에 적용될 제 1 가중치 및 제 2 이미지 데이터의 픽셀 값에 적용될 제 2 가중치를 나타내는 데이터를 포함할 수도 있다. 가중치 테이블 (434) 은 제 1 이미지 데이터에 적용될 가중치에 대응하는 대략적으로 0 내지 1 의 범위를 가진 출력 값 "W" 및 제 2 이미지 데이터에 적용될 가중치에 대응하는 값 1-W 를 제공할 수도 있다. 가중치 테이블은 애플리케이션 특정 제어 회로 (432) 로부터의 테이블 제어 신호 (433) 에 응답할 수도 있다.
동작 동안, 애플리케이션 특정 제어 회로 (432) 는 시스템 (400) 에서 이미지 등록 및 결합 프로세스를 제어하기 위한 하나 이상의 제어 파라미터들을 결정할 수도 있다. 예를 들면, 애플리케이션 특정 제어 회로 (432) 는 매크로 블록 등록의 침해성을 나타내기 위한 탐색 범위 제어 신호 (435), 매크로 블록 결합을 위해 허용가능한 차이의 양을 나타내기 위한 임계치 제어 신호 (433), 수행될 필터링의 타입을 나타내기 위한 응답 제어 신호 (439) 및 이미지들 간의 필터링된 픽셀 차이에 기초하여 결합될 이미지들의 가중치를 나타내기 위한 테이블 제어 신호 (433) 의 값을 선택할 수도 있다.
시스템 (400) 은 특정 프로세스들을 수행하도록 구성된 하드웨어 회로들을 포함하는 것으로 도시되지만, 다른 실시형태들에서 시스템 (400) 의 하나 이상의 컴포넌트들은 프로세서 명령들을 실행하는 프로세서에 의해 수행될 수도 있다. 예를 들면, 회로들 (420, 422, 424, 426, 428, 430, 432, 434, 460, 462, 464, 466, 468, 470, 474, 또는 476) 에 의해 수행되는 하나 이상의 기능들은 이미지 프로세서, 디지털 신호 프로세서 (DSP), 또는 전술된 기능들 또는 일반적인 알고리즘들 중 하나 이상을 수행하도록 프로그래밍된 범용 프로세서에 의해 수행될 수도 있다. 다른 실시형태들에서, 하나 이상의 회로들 (420, 422, 424, 426, 428, 430, 432, 434, 460, 462, 464, 466, 468, 470, 474, 또는 476) 은 하드웨어, 펌웨어, 컴퓨터 판독가능한 명령들을 실행하는 프로세서, 또는 이들의 임의의 조합 내에 포함되는 컴포넌트들에 의해 대체될 수도 있다.
이미지 결합을 설명하는 특정 실시형태들은 도 5 내지 도 11 과 관련하여 설명되며, 도 4 의 이미지 결합 회로 (400) 의 동작을 이러한 특정 실시형태들 내에서 구현될 수도 있는 것으로 이해하는데 유용하다.
도 5 를 참조하면, 핸드 지터의 보정을 위해 제공하고, 이동하는 오브젝트들로 인한 오브젝트 블러를 감소시키는 이미지 결합 엔진의 일 실시형태의 동작을 논리적으로 설명하는 도면이 제공된다. 도 5 에서의 설명을 위해, 이동하는 오브젝트 (502) 는 원으로 표시되고, 지터로 인해 쉬프트되는 이미지의 일부분 (504) 은 삼각형으로 도시된다. 제 1 컬럼 (521) 은 일반적으로 제 1 이미지의 프로세싱 경로를 나타내고, 제 2 컬럼 (523) 은 일반적으로 제 2 이미지의 프로세싱 경로를 나타낸다.
예시적인 실시형태에서, 핸드 지터를 제거하기 위한 제 1 이미지 및 제 2 이미지의 데이터 흐름 (501) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 이미지 결합 회로 (400) 또는 이들의 임의의 조합 내에서 수행될 수도 있다. 제 2 의 예시적인 실시형태에서, 핸드 지터를 제거하기 위한 제 1 이미지 및 제 2 이미지의 데이터 흐름 (501) 은 도 12 의 이미지들의 선택적인 결합 방법 (1200), 도 13 의 계층적인 등록 프로세스 (1300), 도 14 의 이미지 개선 프로세스 (1400) 또는 이들의 임의의 조합에 따라 수행될 수도 있다.
먼저, 제 1 이미지 및 제 2 이미지는 코오스 등록 (512) 을 발생하는 코오스 등록 프로세스 및 정밀 등록 (514) 을 발생하는 정밀 등록 프로세스에 입력들로서 제공된다. 코오스 등록 프로세스 및 정밀 등록 프로세스는 제 1 이미지와 제 2 이미지 간의 차이들을 결정하도록 구성된다. 도시된 것과 같이, 코오스 등록 (512) 은 이미지 데이터의 각각의 세트를 제 1 부분 (530) 과 같은 부분들로 세분할 수도 있고, 제 1 이미지의 제 1 부분과 제 2 이미지의 제 1 부분 간의 오프셋을 결정할 수도 있다. 정밀 등록 (514) 은 추가로 각각의 부분을 제 1 부분 (530) 내에 있는 제 2 부분 (532) 으로서 도시된, 이미지들의 16픽셀×16픽셀 영역에 대응하는 매크로 블록들로 세분화할 수도 있다. 정밀 등록 (516) 은 제 1 이미지의 제 2 부분과 제 2 이미지의 제 2 부분 간의 오프셋을 결정할 수도 있고, 도 4 의 정밀 모션 벡터 세트 (429) 의 모션 벡터와 같은 모션 벡터를 통해 오프셋을 나타낼 수도 있다.
제 2 이미지의 블록들은 이미지들의 등록에 기초하여 제 1 이미지의 블록들과 정렬되어 코오스 결합 블록 정렬 (516) 을 생성한다.
코오스 결합 블록 차이 프로세스는 코오스 결합 블록 차이 (518) 를 생성하기 위해 제 1 이미지와 제 2 이미지 간에 쉬프트된 오브젝트 (502) 의 픽셀들의 개수에 기초하여 (원으로 표시된) 이동하는 오브젝트 (502) 를 검출한다. 오브젝트가 이동하는 오브젝트인 것으로 고려되기 전에 오브젝트가 쉬프트해야만 하는 픽셀들의 수는 애플리케이션에 따라 변화할 수도 있고, 특정 실시형태들에서, 도 4 의 애플리케이션 특정 등록 제어 모듈 (431) 또는 도 3 의 제어 회로 (325) 와 같은 애플리케이션 특정 등록 제어 모듈에 의해 제어된다. 이동하는 오브젝트가 검출된 후에, 이동하는 오브젝트는 제 2 이미지 내에서 이동하는 오브젝트를 가진 블록을 제 1 이미지의 대응하는 블록으로 대체함으로써 제 2 이미지로부터 제거되며, 이는 이미지들을 결합할 때 이동하는 오브젝트들로 인한 "고스팅 (ghosting)" 을 실질적으로 감소시킬 수도 있다. 삼각형으로 도시된 핸드 지터로 인한 쉬프트 (504) 는 코오스 등록 프로세스 및 정밀 등록 프로세스에 의해 조정되며, 따라서 이미지들은 픽셀 단위로 결합될 수 있다. 예를 들면, 정밀 결합 프로세스는 감소된 이미지 에러 및 감소된 잡음을 위해 제 1 및 제 2 의 등록된 이미지들의 값들을 평균할 수도 있다. 결과적으로 결합된 이미지는 핸드 지터로 인한 쉬프팅 및 이미지 내에서 오브젝트들의 움직임으로 인한 고스팅과 같이 이미지들과 연관된 문제점들의 보정 또는 개선을 제공하며, 제 1 또는 제 2 이미지 데이터보다 적은 잡음을 갖는다.
예시적인, 제한되지 않는 예로서, 데이터 흐름 (501) 은 애플리케이션 특정 제어 회로 (ASCC)(432) 에 의해 제어되는 오브젝트 블러 감소 모드에 따른 핸드 지터 감소시 도 4 의 시스템 (400) 에서 수행될 수도 있다. ASCC (432) 는 탐색 범위 제어 신호 (435) 를 통한 오브젝트 모션을 검출하기 위해 큰 탐색 범위를 사용할 것을 계층적인 등록 회로 (420) 에 명령할 수도 있다. ASCC (432) 는 임계 신호 (437) 를 통해 코오스 결합 회로 (462) 에 최대 예상되는 또는 측정되는 잡음 값과 미리 결정된 마진의 합에 따라 임계치를 설정함으로써 서로 멀리 떨어진 블록들을 결합하지 않을 것을 명령할 수도 있다. ASCC (432) 는 필터링된 이미지 특징들에 기초한 비교를 가능하게 하기 위해 각각의 평면 (예컨대, Y, Cb, 또는 Cr) 에 대하여 모든-통과 모드에서 동작하도록 응답 신호 (439) 를 통해 정밀 결합 회로 (464) 의 필터들 (470 및 472) 을 구성할 수도 있다. ASCC (432) 는 필터링된 이미지 데이터의 평균 픽셀 MS 차이의 크기가 선택된 양 미만일 때 정밀 결합 회로 (464) 가 코오스 결합 회로 (462) 로부터 수신된 제 1 이미지 데이터 및 제 2 이미지 데이터 내의 픽셀들의 값을 평균을 사용하고, 그렇지 않으면 제 1 이미지 데이터 내의 픽셀의 값만을 사용하여 출력 이미지 데이터 (480) 의 픽셀 값을 생성하도록 하는 가중치 함수를 제공하기 위해 테이블 신호 (433) 를 통해 가중치 테이블 (434) 을 구성할 수도 있다.
도 6 을 참조하면, 고 다이내믹 레인지 이미지를 생성하기 위한 이미지 결합의 일 실시형태의 동작을 논리적으로 설명하는 다이어그램이 도시된다. 제 1 컬럼 (621) 은 적절히 노출되고 적절한 노출 부분 (602) 으로 표시되는 이미지의 부분과 노출이 부족하고 노출 부족 부분 (604) 으로 표시되는 이미지의 부분을 발생하는, 상대적으로 짧은 노출 시간에 취득되는 이미지의 프로세싱 경로를 표시한다. 제 2 컬럼 (623) 은 노출이 초과되고 노출 초과 부분 (606) 으로 표시되는 이미지의 부분과 적절히 노출되고 적절한 노출 부분 (608) 으로 표시되는 이미지의 부분을 발생하는, 상대적으로 긴 노출 시간에 취득되는 이미지의 프로세싱 경로를 표시한다.
예시적인 실시형태에서, 고 다이내믹 레인지 (HDR) 를 제공하기 위한 제 1 및 제 2 이미지들의 데이터 흐름 (601) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 이미지 결합 회로 (400), 또는 이들의 임의의 조합에서 수행될 수도 있다. 제 2 의 예시적인 실시형태에서, HDR 이미지를 제공하기 위한 제 1 및 제 2 이미지들의 데이터 흐름 (601) 은 도 12 의 이미지들의 선택적인 결합 방법 (1200), 도 13의 계층적인 등록 프로세스 (1300), 도 14 의 이미지 개선 프로세스 (1400) 또는 이들의 조합에 따라 수행될 수도 있다.
먼저, 제 1 프로세싱 경로 (621) 내의 제 1 이미지와 제 2 프로세싱 경로 (623) 내의 제 2 이미지는 코오스 등록 (612) 을 제공하는 코오스 등록 프로세스 및 정밀 등록 (614) 을 제공하는 정밀 등록 프로세스로의 입력들로서 제공된다. 코오스 등록 프로세스 및 정밀 등록 프로세스는 제 1 이미지와 제 2 이미지 간의 차이들을 결정한다.
제 2 이미지의 블록들은 코오스 결합 (616) 을 생성하기 위해 이미지들의 등록에 기초하여 제 1 이미지의 블록들과 정렬된다. 코오스 결합 (616) 은 추가로 도 5 에 도시된 것과 같이 이미지 내의 오브젝트 모션으로 인해 적당히 매치되지 않는 등록된 이미지들 내의 블록들을 제거한다.
정밀 결합 프로세스는 픽셀 단위로 제 1 이미지의 적절한 노출 부분 (602) 을 제 2 이미지의 적절한 노출 부분 (608) 과 결합하며, 따라서 적절히 노출된 HDR 이미지를 갖는 정밀 결합을 발생한다. 특정 실시형태들에서, 다른 이미지 개선 기능들은 정밀 결합 프로세스를 사용하여 실행될 수도 있다.
예시적인, 제한되지 않는 예로서, 데이터 흐름 (601) 은 애플리케이션 특정 제어 회로 (ASCC) (432) 에 의해 제어되는 고 다이내믹 레인지 모드로 도 4 의 시스템 (400) 에서 수행될 수도 있다. ASCC (432) 는 탐색 범위 제어 신호 (435) 를 통해 계층적인 등록 회로 (420) 에 매우 작거나 0 의 탐색 범위를 사용하는 것과 같이 정밀 모션 벡터 추정에 의존하지 않을 것을 명령할 수도 있다. ASCC (432) 는 임계 신호 (437) 를 통해 코오스 결합 회로 (462) 에 매우 높은 임계치를 사용하거나 블록들을 삭제하는 것을 디스에이블할 것을 명령할 수도 있다. ASCC (432) 는 참조 이미지에 대한 루마 필터를 평균치 및 무엇보다 0 으로 설정하기 위해 응답 신호 (439) 를 통해 정밀 결합 회로 (464) 의 필터들 (470 및 472) 을 구성하여 필터링된 이미지 특징들에 기초한 비교를 가능하게 할 수도 있다. ASCC (432) 는 테이블 신호 (433) 를 통해 정밀 결합 회로 (464) 가 필터링된 이미지 데이터의 평균 픽셀 MS 차이가 제 1 양 미만일 때 제 1 이미지 데이터 내의 픽셀의 값을 사용하고, 평균 픽셀 MS 차이가 제 2 양보다 클 때 제 2 이미지 데이터내의 픽셀의 값을 사용하여 출력 이미지 데이터 (480) 의 픽셀 값을 생성하도록 하는 가중치 함수 및 필터링된 이미지 데이터의 평균 픽셀 MS 차이의 크기가 제 1 양과 제 2 양 사이에 있을 때 코오스 결합 회로 (462) 로부터 수신된 제 1 이미지 데이터 및 제 2 이미지 데이터 내의 픽셀 값의 평균으로의 평활한 천이를 제공하기 위한 가중치 테이블 (434) 을 구성할 수도 있다.
도 7 은 심도 향상을 위해 제공하는 이미지 결합 엔진의 일 실시형태의 동작을 논리적으로 설명하는 다이어그램이다. 도 7 에 의해 설명되는 것과 같이, 제 1 프로세싱 경로 (721) 내의 제 1 이미지는 포커싱되는 근거리장 부분 (702) 및 흐려지는 원거리장 부분 (704) 을 포함한다. 제 2 프로세싱 경로 (723) 내의 제 2 이미지는 흐려지는 근거리장 부분 (706) 및 포커싱되는 원거리장 부분 (708) 을 포함한다.
예시적인 실시형태에서, 심도 향상을 제공하기 위한 제 1 및 제 2 이미지들의 데이터 흐름 (701) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 이미지 결합 회로 (400) 또는 이들의 임의의 조합에서 수행될 수도 있다. 제 2 의 예시적인 실시형태에서, 심도 향상을 제공하기 위한 제 1 및 제 2 이미지들의 데이터 흐름 (701) 은 도 12 의 이미지들의 선택적인 결합 방법 (1200), 도 13 의 계층적인 등록 프로세스 (1300), 도 14 의 이미지 개선 프로세스 (1400) 또는 이들의 임의의 조합에 따라 수행될 수도 있다.
먼저, 제 1 이미지 및 제 2 이미지는 코오스 등록 이미지 (712) 를 생성하는 코오스 등록 프로세스 및 정밀 등록 이미지 (714) 를 생성하는 정밀 등록 프로세스에 입력들로서 제공된다. 코오스 등록 이미지 (712) 및 정밀 등록 이미지 (714) 는 제 1 이미지와 제 2 이미지 간의 차이들을 결정하도록 구성된다. 등록 이후에, 제 2 이미지의 블록들은 코오스 결합 이미지 (716) 를 생성하기 위한 코오스 결합 프로세스에 의한 이미지들의 등록에 기초하여 제 1 이미지의 블록들과 정렬된다. 코오스 결합 프로세스는 추가로, 등록된 이미지들 중 하나 내에서 이동하는 오브젝트들로 인한 매칭되지 않는 블록들을 제거한다.
정밀 결합 프로세스는 정밀 결합 이미지 (718) 를 생성하기 위해 제 1 이미지의 포커싱된 근거리장 부분 (702) 을 제 2 이미지의 포커싱된 원거리장 부분 (708) 과 픽셀 단위로 결합하여 포커싱된 결합된 이미지를 발생한다. 특정 실시형태들에서, 다른 이미지 향상 기능들이 실행될 수도 있다. 향상된 심도를 가진 이미지가 제공된다.
예시적인, 제한되지 않는 예로서, 애플리케이션 특정 제어 회로 (ASCC)(432) 에 의해 제어되는 향상된 심도 모드로 데이터 흐름 (701) 이 도 4 의 시스템 (400) 에서 수행될 수도 있다. ASCC (432) 는 탐색 범위 제어 신호 (435) 를 통해 계층적인 등록 회로 (420) 에 오브젝트 이동 검출을 가능하도록 큰 탐색 범위를 이용할 것을 명령할 수도 있다. ASCC (432) 는 임계 신호 (437) 를 통해 코오스 결합 회로 (462) 에 최대 예상되거나 측정된 잡음 값과 미리 결정된 마진의 합에 따라 임계치를 설정함으로써 서로 멀리 떨어진 블록들을 결합하지 않을 것을 명령할 수도 있다. ASCC (432) 는 응답 신호 (439) 를 통해 필터링된 이미지 특징들에 기초한 비교를 가능하게 하기 위해 루마 데이터에 대하여 고역 통과 필터 응답을 가지고 크로마 데이터에 대하여 0 을 가지도록 정밀 결합 회로 (464) 의 필터들 (470 및 472) 을 구성할 수도 있다. ASCC (432) 는 테이블 신호 (433) 를 통해 정밀 결합 회로 (464) 가 필터링된 이미지 데이터의 평균 픽셀 MS 차이가 0 미만일 때 제 1 이미지 데이터 내의 픽셀의 값을 사용하여 출력 이미지 데이터 (480) 의 픽셀 값을 생성하고, 필터링된 이미지 데이터의 평균 픽셀 MS 차이가 0 보다 클 때 제 2 이미지 데이터 내의 픽셀의 값을 사용하도록 천이하는 가중치 함수를 제공하도록 가중치 테이블 (434) 을 구성할 수도 있다.
도 8 로 되돌아가서, 측면 색수차들이 도시된다. 도 8 에 의해 도시되는 것과 같이, 인입하는 광은 렌즈에 입사하는 평면들 (803, 805 및 807) 로서 도시된다. 렌즈의 굴절 특성들로 인해, 입사광의 각각의 검출된 색상은 센서 어레이에서 수신되는 것과 같이 각각 시계들 (813, 815, 및 817) 로 도시된 약간의 서로 다른 시계를 가질 수도 있다. 특정 실시형태에서, 적색, 녹색 및 청색 색 평면과 같이 센서 출력을 사용하여 생성된 3 개의 색 평면들의 등록은 서로 다른 시계들을 보상할 수도 있다.
도 9 및 도 10 은 각각 기하학적 왜곡들을 가지는 이미지들 (902 및 1002) 을 도시한다. 기하학적 왜곡들은 이미징 시스템의 의학적, 광학적 및 전기적 성분들에서 렌즈 왜곡들 및 다른 왜곡들을 포함하는 다수의 인자들에 의해 발생될 수도 있다. 특정 실시형태에서, 기하학적으로 왜곡된 이미지들의 리샘플링은 기하학적 왜곡들에 대하여 보정할 수 있다.
도 11 은 이미지의 기하학적 왜곡들의 보정을 위해 제공하는 이미지 결합 엔진의 일 실시형태의 동작을 논리적으로 설명하는 블록도이다. 도 11 에서, 기하학적 왜곡들을 가진 단일 이미지 (1104) 는 코오스 등록 이미지 (1112) 를 생성하기 위한 입력으로서 코오스 등록 프로세스에 제공된다. 코오스 등록 프로세스는 이미지 (1104) 의 코오스 리샘플링을 실행하기 위해 이미징 시스템의 의학적, 광학적 및 전기적 성분들에 의해 발생되는 공지된 기하학적 왜곡들에 기초하여 미리 정의될 수도 있는 코오스 등록 벡터 세트를 사용할 수도 있다.
정밀 등록 프로세스는 정밀 등록 이미지 (1114) 를 생성하기 위해 이미지 (1104) 의 정밀한 리샘플링을 실행하도록 공지된 기하학적 왜곡들에 기초하여 미리 정의될 수도 있는 정밀 등록 벡터 세트를 사용할 수도 있다. 리샘플링된 이미지 (1115) 는 그 후에 코오스 결합 이미지 (1116) 를 생성하는 코오스 결합 프로세스 및 정밀 결합 이미지 (1118) 를 생성하는 정밀 결합 모듈에 제공된다. 특정 실시형태에서, 이미지 (1104) 는 보정된 이미지 (1120) 를 제공하는 다른 보정들을 위해 다른 이미지들과 결합될 수도 있다.
예시적인 실시형태에서, 이미지의 기하학적 왜곡들의 보정을 제공하기 위한 이미지의 데이터 흐름 (1101) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 시스템 (400) 또는 이들의 임의의 조합에서 수행될 수도 있다. 제 2 의 예시적인 실시형태에서, 이미지의 기하학적 왜곡들의 보정을 제공하기 위한 이미지의 데이터 흐름 (1101) 은 도 12 의 이미지들의 선택적인 결합 방법 (1200), 도 13 의 계층적인 등록 프로세스 (1300), 도 14 의 이미지 개선 프로세스 (1400) 또는 이들의 임의의 조합에 따라 수행될 수도 있다.
도 12 를 참조하면, 이미지들의 선택적인 결합 방법이 일반적으로 도면부호 1200 에 도시된다. 예시적인 실시형태에서, 방법 (1200) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 시스템 (400) 또는 이들의 임의의 조합에서 수행될 수도 있다. 제 1 이미지에 대응하는 제 1 이미지 데이터 및 제 2 이미지에 대응하는 제 2 이미지 데이터가 도면부호 1202 에서 수신된다. 특정 실시형태에서, 제 1 이미지 데이터 및 제 2 이미지 데이터는 루마 성분 및 크로마 성분을 가지는 색 공간 내에서 수신될 수도 있다. 또 다른 특정 실시형태에서, 제 1 이미지 데이터 및 제 2 이미지 데이터는 YCbCr 색 공간에서 수신될 수도 있다. 모션 벡터 데이터 세트는 도면부호 1204 에서 제 1 이미지 데이터의 대응하는 부분들에 대한 제 2 이미지 데이터의 부분들 간의 오프셋들에 대응하여 계산될 수도 있다. 예를 들면, 모션 벡터 데이터 세트는 이미지 데이터를 대략적으로 정렬하기 위한 제 1 모션 벡터 세트를 생성하기 위한 코오스 등록 회로 및 제 1 모션 벡터 세트에 기초하여 더 정밀한 모션 벡터 세트들을 생성하기 위한 정밀 등록 회로를 사용하여 계산될 수도 있다.
제 2 이미지 데이터는 설명되는 것과 같이 제 1 이미지 데이터의 대응하는 부분들에 대한 제 2 이미지 데이터의 부분들 간의 오프셋들에 대응하는 모션 벡터 데이터 세트를 적용함으로써 조정된다 (도면부호 1206). 결과적으로, 제 2 이미지 데이터는 제 1 이미지 데이터를 캡처하는 것과 제 2 이미지 데이터를 캡처하는 것 사이에 이미지 내에서 오브젝트들의 움직임 또는 카메라의 움직임을 보상하기 위해 제 1 이미지 데이터로 더 밀접하게 정렬하도록 조정된다. 제 3 이미지 데이터는 제 1 이미지 데이터의 제 1 특징을 제 2 이미지 데이터의 제 2 특징과 비교하는데 적어도 부분적으로 기초하여, 제 1 이미지 데이터로부터의 제 1 값들을 조정된 제 2 이미지 데이터로부터의 제 2 값들과 선택적으로 결합함으로써 생성된다 (도면부호 1208). 비교될 수도 있는 특징들의 예들은 이미지들의 포커스, 이미지들의 콘트라스트, 이미지들의 휘도 성분들 간의 편차들 및 이미지들의 필터링된 특징들 (예컨대, 저역 통과 필터링된 데이터, 고역 통과 필터링된 데이터) 을 포함한다.
특정 실시형태에서, 선택적인 결합은 코오스 결합 동작 및 정밀 결합 동작을 포함한다. 코오스 결합 동작은 조정된 제 2 이미지 데이터의 매크로 블록들 상에 수행될 수도 있고, 정밀 결합 동작은 제 1 이미지 데이터와 제 2 조정된 이미지 데이터의 픽셀들 상에 수행될 수도 있다. 코오스 결합 동작은 조정된 제 2 이미지 데이터의 하나 이상의 매크로 블록들과 제 1 이미지 데이터의 대응하는 매크로 블록들 간의 차이가 선택가능한 임계값을 초과할 때 조정된 제 2 이미지 데이터의 하나 이상의 매크로 블록들을 선택적으로 삭제하는 것을 포함할 수도 있다. 예를 들면, 선택가능한 임계치는 도 4 의 애플리케이션 특정 제어 회로 (432) 에 의해 제공되는 임계치 제어 신호 (437) 에 의해 표시될 수도 있다. 또 다른 특정한 실시형태에서, 정밀한 결합 동작은 필터링된 이미지 특징들을 비교하기 위해 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터를 필터링하는 것을 포함하고, 제 1 값들 및 제 2 값들은 필터링된 이미지 특징들에 기초하여 선택적으로 결합된다. 필터링된 이미지 특징들은 도 4 의 평균 픽셀 차이 회로 (474) 에서 비교될 수도 있고, 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터의 가중된 결합을 위한 가중치들을 생성하는 것을 가중치 테이블 (434) 에 질의하기 위해 사용될 수도 있다.
특정 실시형태들에서, 제 1 이미지 데이터의 제 1 특징들 및 제 2 이미지 데이터의 제 2 특징은 이미지들의 포커스 상태 (예컨대, 인 포커스 또는 아웃 오브 포커스), 제 1 이미지 및 제 2 이미지 내에서 오브젝트의 움직임, 또는 이미지들의 노출을 나타낸다. 추가로, 특정 실시형태에서, 제 1 및 제 2 이미지 데이터의 값들은 제 1 이미지 데이터의 필터링된 부분을 제 2 이미지 데이터의 필터링된 부분과 비교하는데 기초하여 결합될 수도 있다. 예를 들면, 제 1 이미지 데이터의 필터링된 부분은 도 4 의 평균 픽셀 차이 회로 (474) 에서 제 2 이미지 데이터의 필터링된 부분과 비교될 수도 있고, 비교 결과는 제 1 이미지 데이터의 값들 및 제 2 이미지 데이터의 값들에 적용될 상대적인 가중치를 결정하기 위해 사용될 수도 있다. 제 1 이미지 데이터 및 제 2 이미지 데이터는 예를 들면, 카메라의 이미지 센서에서 캡처되는 연속하는 프레임들일 수도 있다.
특정 실시형태들에서, 제 1 또는 제 2 이미지 데이터의 픽셀들 또는 블록들은 확실한 조건들이 만족될 때 삭제되고, 제 1 또는 제 2 이미지 데이터와는 다른 이미지 데이터로부터의 픽셀들 또는 블록들로 대체될 수도 있다. 예를 들면, 조정된 제 2 이미지의 매크로 블록들 내의 픽셀들은 핸드 지터 또는 모션의 검출을 위해 이미지가 조정될 때 삭제될 수도 있다. 제 1 이미지 또는 조정된 제 2 이미지 내의 픽셀들은 심도 향상을 위해 삭제될 수도 있다. 결과적인 제 3 이미지 데이터는 핸드 지터, 움직임, 심도 향상, 측면 색수차 및 기하학적 왜곡들에 대하여 제 1 이미지 또는 제 2 이미지보다 향상될 수도 있다.
특정 실시형태들에서, 도 13 에 의해 도시된 것과 같이, 모션 벡터 데이터의 세트는 계층적인 등록 프로세스 (1300) 에 기초하여 결정된다. 계층적인 등록 프로세스 (1300) 는 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 이미지 결합 회로 (400) 또는 이들의 임의의 조합에서 수행될 수도 있다. 계층적인 등록 프로세스 (1300) 는 해상도 대 견고성 동작 포인트들을 조정하여 계산 요구 사항을 감소시키는 능력을 제공한다. 계층적인 등록 프로세스 (1300) 는 제 1 이미지의 제 1 부분과 제 2 이미지의 제 1 부분 간의 제 1 정렬 오프셋을 결정하고 (도면부호 1302), 제 1 정렬 오프셋에 기초하여 제 1 이미지의 제 2 부분과 제 2 이미지의 제 2 부분 간의 제 2 정렬 오프셋을 결정하는 것을 포함하며, 상기 경우에 제 1 이미지의 제 2 부분은 제 1 이미지의 제 1 부분 내에 있다 (도면부호 1304). 특정 실시형태에서, 제 1 이미지의 제 1 부분은 제 1 이미지의 3×3 행렬 내의 9 개 분할들 중 하나이고, 제 1 이미지의 제 2 부분은 제 1 이미지의 16 픽셀×16 픽셀 영역에 대응한다.
도 14 는 이미지 개선 방법 (1400) 의 일 실시형태를 설명하는 흐름도를 도시한다. 예시적인 실시형태에서, 이미지 개선 방법 (1400) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 이미지 결합 회로 (400) 또는 이들의 임의의 조합에서 수행될 수도 있다. 제 1 모션 벡터 세트는 제 1 이미지 데이터의 제 1 블록 세트의 각각의 블록과 제 2 이미지 데이터의 제 1 블록 세트의 대응하는 블록 간의 오프셋에 대응하여 결정된다 (도면부호 1402). 예컨대, 제 1 모션 벡터 세트는 도 4 의 코오스 모션 벡터 세트 (427) 일 수도 있다.
제 2 이미지 데이터의 제 1 블록 세트의 특정 블록에 대응하는 제 1 모선 벡터 세트의 모션 벡터는 모션 벡터를 특정 블록 내에 포함된 제 2 이미지 데이터의 제 2 블록 세트에 적용함으로써 업샘플링된다 (도면부호 1404). 예를 들면, 도 4 의 모션 벡터 업샘플링 회로 (428) 는 3×3 오버래핑 블록 세트의 특정 블록의 모션 벡터를 특정 블록 내의 매크로 블록 세트로 업샘플링할 수도 있다.
제 1 모션 벡터 세트의 모션 벡터를 적용한 후에, 제 1 이미지 데이터의 제 2 블록 세트의 각각의 블록과 제 2 이미지 데이터의 제 2 블록 세트의 대응하는 블록 간의 오프셋에 대응하는 제 2 모션 벡터 세트가 결정된다 (도면부호 1406). 예를 들면, 제 2 모션 벡터 세트는 도 4 의 매크로 블록 세분화 회로 (430) 에 의해 생성되는 정밀 모션 벡터 세트 (429) 일 수도 있다. 제 2 모션 벡터 세트는 조정된 제 2 이미지 데이터를 생성하기 위해 제 2 이미지 데이터에 적용된다 (도면부호 1408).
특정 실시형태에서, 제 2 모션 벡터 세트는 도 3 의 입력 (326) 과 같은 제어 입력 또는 도 4 의 매크로 블록 세분화 회로 (430) 에서 수신되는 탐색 범위 제어 신호 (435) 에 의해 표시되는 선택가능한 탐색 범위에 기초하여 결정된다. 선택가능한 탐색 범위는 제 1 모션 벡터 세트의 모션 벡트를 적용한 이후에, 제 1 이미지 데이터의 제 2 블록 세트의 각각의 블록과 제 2 이미지 데이터의 제 2 블록 세트의 대응하는 블록 간의 오프셋을 제한할 수도 있다.
제 1 이미지 데이터 및 조정된 제 2 이미지 데이터의 부분들은 선택적으로 결합된다 (도면부호 1410). 예를 들면, 제 1 이미지 데이터 및 제 2 이미지 데이터는 영역 단위, 픽셀 단위, 또는 이들 양자의 단위로 결합될 수도 있다. 설명을 위해, 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터는 도 4 의 계층적인 결합 회로 (460) 에 의해 결합될 수도 있다.
특정 실시형태에서, 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터의 선택적인 결합은 제 3 이미지 데이터를 생성한다. 제 3 이미지 데이터는 제 1 이미지 데이터보다 큰 심도, 제 1 이미지 데이터보다 적은 잡음, 또는 제 1 이미지 데이터보다 큰 다이내믹 해상도를 가질 수도 있다.
도 15 는 이미지 결합 모듈을 포함하는 시스템의 특정 실시형태의 블록도이다. 시스템 (1500) 은 휴대용 전자 디바이스 내에 구현될 수도 있고, 메모리 (1532) 에 커플링된, 디지털 신호 프로세서 (DSP) 와 같은 신호 프로세서 (1510) 를 포함한다. 시스템 (1500) 은 이미지 결합 모듈 (1564) 을 포함한다. 예시적인 실시예에서, 이미지 결합 모듈 (1564) 은 도 1 내지 도 5 의 시스템들 중 임의의 시스템을 포함하거나, 도 12 내지 도 14 의 방법들 중 임의의 방법에 따라 동작하거나, 이들의 임의의 조합을 수행할 수 있다. 이미지 결합 모듈 (1564) 은 신호 프로세서 (1510) 내에 통합될 수도 있거나 개별 디바이스일 수도 있다.
카메라 인터페이스 (1568) 는 신호 프로세서 (1510) 에 커플링되고, 카메라 (1570) 와 같은 카메라에 커플링된다. 카메라 (1570) 는 비디오 카메라 또는 스틸 이미지 카메라일 수도 있거나, 양자의 기능들을 모두 실행할 수도 있다. 디스플레이 제어기 (1526) 는 신호 프로세서 (1510) 및 디스플레이 디바이스 (1528) 에 커플링된다. 코더/디코더 (CODEC)(1534) 는 신호 프로세서 (1510) 에 커플링될 수 있다. 스피커 (1536) 및 마이크 (1538) 는 CODEC (1534) 에 커플링될 수 있다. 무선 인터페이스 (1540) 는 신호 프로세서 (1510) 및 무선 안테나 (1542) 에 커플링될 수 있다.
특정 실시형태에서, 신호 프로세서 (1510) 는 제 1 이미지 데이터의 제 1 블록 세트의 각각의 블록과 제 2 이미지 데이터의 제 1 블록 세트의 대응하는 블록 간의 오프셋에 대응하는 제 1 모션 벡터 세트를 결정하도록 적응되는 이미지 결합 모듈 (1564) 을 포함한다. 이미지 결합 모듈 (1564) 은 모션 벡터를 제 2 이미지 데이터의 제 2 블록 세트에 적용하기 위해 제 2 이미지 데이터의 제 1 블록 세트의 특정 블록에 대응하는 제 1 모션 벡터 세트의 모션 벡터를 업샘플링하도록 적응될 수도 있다. 제 2 이미지 데이터의 제 2 블록 세트는 특정 블록 내에 포함된다. 이미지 결합 모듈 (1564) 은 제 1 모션 벡터 세트의 모션 벡터를 적용한 후에 제 1 이미지 데이터의 제 2 블록 세트의 각각의 블록과 제 2 이미지 데이터의 제 2 블록 세트의 대응하는 블록 간의 오프셋에 대응하는 제 2 모션 벡터 세트를 결정하도록 적응될 수도 있다. 이미지 결합 모듈 (1564) 은 조정된 제 2 이미지 데이터를 생성하기 위해 제 2 모션 벡터 세트를 제 2 이미지 데이터에 적용하도록 적응될 수도 있다. 이미지 결합 모듈 (1564) 은 제 1 이미지 데이터의 부분들 및 조정된 제 2 이미지 데이터를 선택적으로 결합하여 제 3 이미지 데이터를 생성하도록 적응될 수도 있다.
예를 들면, 이미지 결합 모듈 (1564) 은 코오스 모션 벡터 세트 (427) 의 모션 벡터를 업샘플링하기 위한 모션 벡터 업샘플링 회로 (428) 를 포함하는, 도 4 의 계층적인 등록 회로 (420) 를 포함할 수도 있다. 업샘플링된 모션 벡터는 3×3 그리드 블록들의 특정 블록에 대응할 수도 있고, 특정 블록 내의 각각의 매크로 블록으로 업샘플링될 수도 있다. 이미지 결합 모듈 (1564) 은 또한 코오스 결합 회로 (462) 및 정밀 결합 회로 (464) 에서와 같이 이미지 데이터를 선택적으로 결합하기 위해 도 4 의 계층적인 결합 회로 (460) 를 포함할 수도 있다.
신호 프로세서 (1510) 는 또한 이미지 결합 모듈 (1564) 에 의해 처리되는 이미지 데이터를 생성하도록 적응될 수도 있다. 처리된 이미지 데이터는 예시적인, 제한되지 않는 예들로서, 비디오 카메라 (1570) 로부터의 비디오 데이터, 무선 인터페이스 (1540) 를 통한 무선 전송으로부터의 이미지 데이터, 또는 범용 직렬 버스 (USB) 인터페이스 (비도시) 를 통해 커플링된 외부 디바이스와 같은 다른 자원들로부터의 이미지 데이터를 포함할 수도 있다.
디스플레이 제어기 (1526) 는 처리된 이미지 데이터를 수신하고, 처리된 이미지 데이터를 디스플레이 디바이스 (1528) 에 제공하도록 구성된다. 추가로, 메모리 (1532) 는 처리된 이미지 데이터를 수신하고 저장하도록 구성될 수도 있고, 무선 인터페이스 (1540) 는 안테나 (1542) 를 통한 전송을 위해 처리된 이미지 데이터를 수신하도록 구성될 수도 있다.
특정 실시형태에서, 신호 프로세서 (1510), 디스플레이 제어기 (1526), 메모리 (1532), 코덱 (1534), 무선 인터페이스 (1540) 및 카메라 인터페이스 (1568) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1522) 내에 포함된다. 특정 실시형태에서, 입력 디바이스 (1530) 및 전원 (1544) 은 시스템-온-칩 디바이스 (1522) 에 커플링된다. 추가로, 특정 실시형태에서, 도 15 에 도시된 것과 같이, 디스플레이 디바이스 (1528), 입력 디바이스 (1530), 스피커 (1536), 마이크 (1538), 무선 안테나 (1542), 비디오 카메라 (1570), 및 전원 (1544) 은 시스템-온-칩 디바이스 (1522) 의 외부에 위치된다. 그러나, 디스플레이 디바이스 (1528), 입력 디바이스 (1530), 스피커 (1536), 마이크 (1538), 무선 안테나 (1542), 비디오 카메라 (1570), 및 전원 (1544) 은 인터페이스 또는 제어기와 같은 시스템-온-칩 디바이스 (1522) 의 컴포넌트에 커플링될 수도 있다.
특정 실시형태에서, 시스템 (1500) 은 개인 휴대 정보 단말기 ("PDA") , 셀룰러 폰 또는 유사한 디바이스로서 기능할 수도 있다. 시스템 (1500) 은 입력 디바이스 (1530) 를 통해 사용자 제어가능한 입력을 제공하도록 적응될 수도 있고, 제어 이미지 결합 모듈 (1564) 을 제어하고 사용자 제어가능한 입력을 수신하기 위한 제어 회로를 포함할 수도 있다.
도 16 을 참조하면, 비디오 프레임들을 결합하기 위한 시스템의 특정 실시형태가 도시되며, 일반적으로 도면부호 1600 으로 표시된다. 시스템 (1600) 은 이미지 결합 엔진 (1614) 에 커플링된 비디오 카메라 (1602) 를 포함한다. 이미지 결합 엔진 (1614) 은 비디오 코더/디코더 (코덱) (1622) 과 같은 압축 및 저장 모듈에 커플링된다. 비디오 코덱 (1622) 은 메모리 디바이스 (1624) 에 비디오 파일 (1626) 과 같은 인코딩된 비디오 데이터를 저장하도록 커플링된다.
특정 실시형태에서, 비디오 카메라 (1602) 는 카메라 렌즈 (1604) 및 비디오 캡처 회로 (1606) 를 포함한다. 비디오 캡처 회로 (1606) 는 제 1 비디오 프레임 (1608) 에 대응하는 제 1 이미지 데이터를 생성하고, 제 2 비디오 프레임 (1610) 에 대응하는 제 2 이미지 데이터를 생성하기 위해 카메라 렌즈 (1604) 에 커플링될 수도 있다. 예를 들어, 이미지 캡처 회로 (1606) 는 도 1 의 센서 (108) 와 같은 이미지 센서 (1630) 를 포함할 수도 있다. 예시적인 실시형태에서, 비디오 카메라 (1602) 는 도 1 의 이미지 캡처 디바이스 (101) 이다. 또 다른 예시적인 실시형태에서, 비디오 카메라 (1602) 는 도 15 의 비디오 카메라 (1570) 이다.
특정 실시형태에서, 이미지 결합 엔진 (1614) 은 도 1 의 이미지 결합 모듈 (118), 도 2 의 이미지 결합 엔진 (205), 도 3 의 이미지 결합 엔진 (305), 도 4 의 시스템 (400) 또는 도 15 의 이미지 결합 모듈 (1564) 이다. 예시적인 실시형태에서, 이미지 결합 엔진 (1614) 은 도 7 내지 도 9, 도 11 내지 도 14, 또는 이들의 임의의 조합에 따라 동작한다.
이미지 결합 엔진 (1614) 은 등록 회로 (1616), 결합 회로 (1618), 및 제어 회로 (1632) 를 포함한다. 제어 회로 (1632) 는 결합된 비디오 프레임 (1620) 에 대응하는 결합된 이미지 데이터를 생성하기 위해 결합 회로 (1618) 를 제어하도록 구성된다. 예시적인 실시형태에서, 제어 회로 (1632) 는 도 3 의 제어 회로 (325) 또는 도 4 의 애플리케이션 특정 제어 회로 (432) 를 포함한다.
등록 회로 (1616) 는 제 1 비디오 프레임 (1608) 의 제 1 이미지 데이터 및 제 2 비디오 프레임 (1610) 의 제 2 이미지 데이터에 기초하여 모션 벡터 데이터 세트를 생성하도록 구성되며, 상기 경우에 이미지 데이터는 비디오 캡처 회로 (1606) 의 이미지 센서 (1630) 로부터 수신된다. 설명을 위해, 등록 회로 (1616) 는 도 3 의 등록 회로 (321) 또는 도 4 의 계층적인 등록 회로 (420) 를 포함할 수도 있다.
결합 회로 (1618) 는 제 1 비디오 프레임 (1608) 의 제 1 이미지 데이터와 같은 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터를 선택적으로 결합하기 위한 계층적인 결합 동작을 수행하도록 커플링된다. 조정된 제 2 이미지 데이터는 모션 벡터 데이터에 따라 조정된 후에 제 2 비디오 프레임 (1610) 의 제 2 이미지 데이터에 대응한다. 결합 회로 (1618) 는 코오스 결합 회로 및 정밀 결합 회로를 포함할 수도 있다. 예를 들면, 결합 회로 (1618) 는 코오스 결합 회로 (462) 및 정밀 결합 회로 (464) 를 포함하는 도 4의 계층적인 결합 회로 (460) 를 포함할 수도 있고, 모션 벡터 데이터는 코오스 결합 회로 (462) 에서 수신되는 세분화된 모션 벡터 세트 (429) 를 포함할 수도 있다.
결합된 이미지 데이터는 제 1 이미지 데이터보다 큰 해상도, 제 1 이미지 데이터보다 높은 다이내믹 레인지, 제 1 이미지 데이터보다 큰 심도, 제 1 이미지 데이터보다 적은 잡음, 또는 제 1 이미지 데이터보다 적은 모션으로 인한 블러현상 중 적어도 하나를 가질 수도 있다. 예를 들면, 결합된 비디오 프레임 (1620) 에 대응하는 결합된 이미지 데이터는 결합된 프레임에 대한 특징들을 개선하기 위해 다수의 프레임들을 결합할 수도 있다. 또 다른 예로서, 2 이상의 이미지들을 사용하여 다수의 동작들이 직렬로 또는 병렬로 수행될 수도 있다. 예를 들면, 비디오 카메라 (1602) 는 초당 120 프레임의 비디오 캡처 및 초당 30 프레임의 비디오 프리젠테이션과 같이, 비디오 프리젠테이션 레이트보다 높은 레이트로 비디오 프레임들을 캡처할 수도 있다. 따라서, 이미지 결합 엔진 (1614) 은 비디오 코덱 (1622) 에 제공되는 각각의 결합된 출력 프레임에 대하여 4 개의 입력 비디오 프레임들을 평균할 수도 있다.
특정 실시형태에서, 비디오 코덱 (1622) 은 결합된 이미지 데이터를 압축하고, 압축된 결합 된 이미지 데이터를 메모리 디바이스에 저장하도록 구성된다. 예를 들면, 비디오 코덱 (1622) 은 결합된 비디오 프레임 (1620) 에 대응하는 결합된 이미지 데이터를 포함하는 압축된 결합 이미지 데이터를 압축하고 비디오 파일 (1626) 로 저장하는 H.264 코덱 또는 동영상 전문가 그룹 (MPEG) 코덱일 수도 있다. 예를 들면, 비디오 파일은 MPEG 파일 포맷을 가질 수도 있다.
개별 회로들로서 구현되는 것으로 설명되지만, 또 다른 실시형태에서 등록 회로 (1616), 결합 회로 (1618) 및 비디오 코덱 (1622) 중 하나 이상은 하나 이상의 개별 회로들의 동작들을 수행하도록 프로그래밍되는 하드웨어 프로세서 (1612) 로서 구현될 수도 있다. 설명을 위해, 프로세서 (1612) 는 메모리 (1624) 로부터의 코드와 같은 실행가능한 코드 (1628) 을 로딩하고, 등록 회로 (1616), 결합 회로 (1618) 및 비디오 코덱 (1622) 중 하나 이상의 적어도 일부분의 기능들을 구현하도록 실행가능한 코드 (1628) 를 실행하도록 구성될 수도 있다. 특정 실시형태에서, 프로세서 (1612) 는 도 15 의 안테나 (1542) 와 같은 안테나를 통해 데이터를 송신 및 수신하기 위해 도 15 의 무선 인터페이스 (1540) 를 통해 무선 트랜시버에 커플링될 수도 있다.
도 17 을 참조하면, 비디오 프레임들을 결합하는 방법의 특정 실시형태가 도시되고, 일반적으로 도면부호 1700 으로 표시된다. 특정 실시형태에서, 방법 (1700) 은 도 16 의 실행가능한 코드 (1628) 를 실행하는 프로세서 (1612) 에 의해 수행된다. 또 다른 실시형태에서, 방법 (1700) 은 개시된 하드웨어 전용 실시형태에서 도 1 의 이미지 프로세싱 시스템 (102), 도 4 의 시스템 (400) 또는 도 16 의 시스템 (1600) 에 의해 수행된다.
방법 (1700) 은 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터를 수신하는 단계 (1702) 를 포함하며, 제 1 비디오 프레임 및 제 2 비디오 프레임은 이미지 센서로부터 수신된다. 예를 들면, 제 1 이미지 데이터 및 제 2 이미지 데이터는 도 1 의 이미지 캡처 디바이스 (101), 도 15의 비디오 카메라 (1570) 또는 도 16 의 비디오 카메라 (1602) 와 같은 이미지 캡처 디바이스로부터 수신될 수도 있다. 제 1 비디오 프레임 및 제 2 비디오 프레임은 도 12와 관련하여 설명된 것과 같은 연속하는 프레임들일 수도 있다. 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터는 도 16 의 제 1 비디오 프레임 (1608) 의 제 1 이미지 데이터일 수도 있고, 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터는 도 16 의 제 2 비디오 프레임 (1610) 의 제 2 이미지 데이터일 수도 있다.
제 2 이미지 데이터는 제 2 이미지 데이터의 대응되는 부분들에 대한 제 1 이미지 데이터의 부분들 간의 오프셋들을 적어도 부분적으로 보상함으로써 조정되어 조정된 제 2 이미지 데이터를 생성한다 (도면부호 1704). 제 2 이미지 데이터를 조정하는 것은 제 2 이미지의 대응하는 부분들에 대한 제 1 이미지 데이터의 부분들 간의 오프셋들에 대응하는 모션 벡터 데이터 세트를 적용하는 것을 포함할 수도 있다. 모션 벡터 데이터 세트는 계층적인 등록 프로세스를 통해 결정될 수도 있다. 예를 들면, 계층적인 등록 프로세스는 제 1 이미지의 제 1 부분과 제 2 이미지의 제 1 부분 간의 제 1 정렬 오프셋을 결정하는 단계 및 제 1 정렬 오프셋에 기초하여 제 1 이미지의 제 2 부분과 제 2 이미지의 제 2 부분 간의 제 2 정렬 오프셋들을 결정하는 단계를 포함할 수도 있다. 제 1 이미지의 제 2 부분은 제 1 이미지의 제 1 부분 내에 있을 수도 있다. 예를 들어, 제 2 이미지 데이터는 도 5 내지 도 7 또는 도 11 내지 도 14, 또는 이들의 임의의 조합에 따라 도 3 의 등록 회로 (321), 도 4 의 계층적인 등록 회로 (420), 도 16 의 등록 회로 (1616) 에 의해 조정될 수도 있다.
결합된 비디오 프레임에 대응하는 결합된 이미지 데이터는 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터에 계층적인 결합 동작을 수행함으로써 생성된다 (도면부호 1706). 예를 들어, 결합된 이미지 데이터는 제 1 이미지 데이터보다 큰 해상도, 제 1 이미지 데이터보다 높은 다이내믹 레인지, 제 1 이미지 데이터보다 큰 심도, 제 1 이미지 데이터보다 적은 잡음, 또는 제 1 이미지 데이터보다 적은 모션으로 인한 블러 현상 중 적어도 하나를 가질 수도 있다. 예시적인 실시형태에서, 계층적인 결합 동작은 도 4 의 계층적인 결합 회로 (460) 또는 도 16 의 결합 회로 (1618) 에 의해 수행된다.
계층적인 결합 동작은 코오스 결합 동작 및 정밀 결합 동작을 포함할 수도 있다. 코오스 결합 동작은 조정된 제 2 이미지 데이터의 하나 이상의 매크로 블록들 및 제 1 이미지 데이터의 대응하는 매크로 블록들 간의 차이가 선택가능한 임계 값을 초과할 때 조정된 제 2 이미지 데이터의 하나 이상의 매크로 블록들을 선택적으로 삭제하는 것을 포함할 수도 있다. 예를 들면, 코오스 결합 동작은 도 5 내지 도 7 또는 도 11 내지 도 14 또는 이들의 임의의 조합에 따라 도 4 의 코오스 결합 회로 (462) 에 의해 수행될 수도 있다.
정밀 결합 동작은 필터링된 이미지 특징들을 비교하기 위해 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터를 필터링하는 것을 포함할 수도 있다. 제 1 이미지 데이터의 제 1 값들 및 제 2 이미지 데이터의 대응하는 제 2 값들은 필터링된 이미지 특징들에 기초하여 선택적으로 결합될 수도 있다. 예컨대, 정밀 결합 동작은 도 5 내지 도 7 또는 도 11 내지 도 14 또는 이들의 임의의 조합에 따라 도 4 의 정밀 결합 회로 (464) 에 의해 수행될 수도 있다.
결합된 이미지 데이터는 압축될 수도 있고, 압축된 결합 이미지 데이터는 메모리 디바이스에 저장될 수도 있다 (도면부호 1708). 예를 들면, 결합된 이미지 데이터는 도 1 의 압축 및 저장 모듈 모듈 (120) 에서 압축될 수도 있고 도 1 의 이미지 저장장치 (140) 에 저장될 수도 있다. 예시적인 실시형태에서, 결합된 이미지 데이터는 비디오 인코더를 통해 압축되고, 비디오 파일로서 저장될 수도 있다. 예를 들면, 결합된 이미지 데이터는 비디오 코덱 (1622) 을 통해 인코딩될 수도 있고, 도 16 의 비디오 파일 (1626) 로서 메모리 (1624) 내에 저장될 수도 있다.
특정 실시형태에서, 비디오 카메라는 프리젠테이션 프레임 레이트 보다 높은 프레임 레이트로 비디오 데이터를 캡처한다. 예를 들면, 비디오 카메라는 초당 120 개 프레임들로 비디오 데이터를 캡처할 수도 있지만, 결과적인 비디오는 초당 30 개 프레임들로 제시될 수도 있다. 따라서, 4 개까지의 프레임들은 프리젠테이션 프레임 레이트에 영향을 주지 않고 프리젠테이션을 위한 단일 결합 프레임으로 결합될 수도 있다.
당업자는 또한 본 명세서에 개시된 실시형태들과 관련하여 설명되는 다양한 설명의 논리적인 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 사용가능한 유형의 매체 내에 저장되고 컴퓨터 소프트웨어에 의해 실행되는 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있음을 인식할 것이다. 다양하게 설명되는 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능성에 관련하여 전술되었다. 그러한 기능성이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따라 결정된다. 당업자는 각각의 특정 애플리케이션을 위해 다양한 방식들로 전술된 기능성을 구현할 수도 있지만, 그러한 구현 결정들은 본 발명의 예시적인 실시예들의 범위로부터 벗어나는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 예시적인 실시예들와 관련하여 설명되는 방법 또는 알고리즘의 단계들은 하드웨어에서 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들의 조합에서 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래밍 가능한 판독 전용 메모리 (PROM), 전기적으로 소거가능한 판독전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램 가능 ROM (EEPROM), 레지스터들, 하드디스크, 제거가능한 디스크, CD-ROM 또는 임의의 다른 형태의 공지된 저장 매체 내에 상주할 수도 있다. 본 명세서에서 사용되는 것과 같이, "유형의 매체" 는 전술된 컴퓨터 판독가능한 유형의 매체의 예들과 같은 제조물을 지칭한다. 예시적인 저장 매체는 프로세서에 커플링되며, 따라서 프로세서는 저장매체로부터 정보를 판독하고, 저장 매체로 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서에 필수일 수도 있다. 프로세서 및 저장 매체는 ASIC 내에 상주할 수도 있다. ASIC은 사용자 단말기 내에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트들로서 상주할 수도 있다.
개시된 실시형태들의 전술된 설명은 당업자가 개시된 실시형태들을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시형태에 대한 여러 가지 변형은 당업자에게 자명하며, 여기서 한정된 포괄적인 원리는 본 개시물의 사용 없이도 다른 실시형태에 적용될 수 있다. 따라서, 본 개시물은 설명된 실시형태에 한정되는 것이 아니며, 여기에 개시된 원리 및 신규한 특징에 나타낸 가장 넓은 범위에 따른다.

Claims (24)

  1. 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터를 수신하는 단계로서, 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임은 이미지 센서로부터 수신되는, 상기 수신하는 단계;
    조정된 제 2 이미지 데이터를 생성하기 위해, 상기 제 2 이미지 데이터의 대응하는 부분들에 대한 상기 제 1 이미지 데이터의 부분들 간의 오프셋들을 적어도 부분적으로 보상함으로써 상기 제 2 이미지 데이터를 조정하는 단계; 및
    상기 제 1 이미지 데이터 및 상기 조정된 제 2 이미지 데이터에 계층적인 결합 동작을 수행함으로써 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 결합된 이미지 데이터는 상기 제 1 이미지 데이터보다 큰 해상도, 상기 제 1 이미지 데이터보다 높은 다이내믹 레인지, 상기 제 1 이미지 데이터보다 큰 심도 (depth of field), 상기 제 1 이미지 데이터보다 적은 잡음, 또는 상기 제 1 이미지 데이터보다 적은 모션으로 인한 블러 현상 중 적어도 하나를 가지는, 방법.
  3. 제 1 항에 있어서,
    상기 결합된 이미지 데이터를 압축하고 상기 압축된 결합 이미지 데이터를 메모리 디바이스에 저장하는 단계를 더 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 계층적인 결합 동작은 코오스 (coarse) 결합 동작 및 정밀 (fine) 결합 동작을 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 코오스 결합 동작은, 상기 조정된 제 2 이미지 데이터의 하나 이상의 매크로 블록들과 상기 제 1 이미지 데이터의 대응하는 매크로 블록들 간의 차이가 선택가능한 임계값을 초과할 때 상기 조정된 제 2 이미지 데이터의 상기 하나 이상의 매크로 블록들을 선택적으로 폐기하는 단계를 포함하는, 방법.
  6. 제 4 항에 있어서,
    상기 정밀 결합 동작은, 필터링된 이미지 특징들을 비교하기 위해 상기 제 1 이미지 데이터 및 상기 조정된 제 2 이미지 데이터를 필터링하는 단계를 포함하며,
    상기 제 1 이미지 데이터의 제 1 값들 및 상기 제 2 이미지 데이터의 대응하는 제 2 값들은 상기 필터링된 이미지 특징들에 기초하여 선택적으로 결합되는, 방법.
  7. 제 1 항에 있어서,
    상기 제 2 이미지 데이터를 조정하는 단계는 상기 제 2 이미지의 대응하는 부분들에 대한 상기 제 1 이미지 데이터의 상기 부분들 간의 오프셋들에 대응하는 모션 벡터 데이터의 세트를 적용하는 단계를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 모션 벡터 데이터의 세트는 계층적인 등록 프로세스를 통해 결정되는, 방법.
  9. 제 8 항에 있어서,
    상기 계층적인 등록 프로세스는,
    상기 제 1 이미지의 제 1 부분과 상기 제 2 이미지의 제 1 부분 간의 제 1 정렬 오프셋을 결정하는 단계; 및
    상기 제 1 정렬 오프셋에 기초하여, 상기 제 1 이미지의 제 2 부분과 상기 제 2 이미지의 제 2 부분 간의 제 2 정렬 오프셋을 결정하는 단계를 포함하며,
    상기 제 1 이미지의 상기 제 2 부분은 상기 제 1 이미지의 상기 제 1 부분 내에 있는, 방법.
  10. 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터에 기초하여 모션 벡터 데이터의 세트를 생성하도록 구성된 등록 회로로서, 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임은 이미지 센서로부터 수신되는, 상기 등록 회로;
    상기 제 1 이미지 데이터 및 조정된 제 2 이미지 데이터를 선택적으로 결합하기 위해 계층적인 결합 동작을 수행하도록 커플링된 결합 회로로서, 상기 조정된 제 2 이미지 데이터는 상기 모션 벡터 데이터에 따라 조정된 후의 제 2 이미지 데이터에 대응하는, 상기 결합 회로; 및
    결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하도록 상기 결합 회로를 제어하기 위한 제어 회로를 포함하는, 장치.
  11. 제 10 항에 있어서,
    상기 결합된 이미지 데이터는 상기 제 1 이미지 데이터보다 큰 해상도, 상기 제 1 이미지 데이터보다 높은 다이내믹 레인지, 상기 제 1 이미지 데이터보다 큰 심도, 상기 제 1 이미지 데이터보다 적은 잡음, 또는 상기 제 1 이미지 데이터보다 적은 모션으로 인한 블러 현상 중 적어도 하나를 가지는, 장치.
  12. 제 10 항에 있어서,
    상기 결합 회로는 코오스 결합 회로 및 정밀 결합 회로를 포함하는, 장치.
  13. 제 10 항에 있어서,
    상기 결합 회로는,
    상기 제 1 이미지 데이터를 수신하도록 커플링된 제 1 입력 및 상기 제 2 이미지 데이터를 수신하도록 커플링된 제 2 입력, 매크로 블록 모션 벡터 신호를 수신하도록 커플링된 제 3 입력, 정렬된 제 1 이미지 출력 및 정렬된 제 2 이미지 출력을 가지는 매크로 블록 이미지 정렬 회로;
    상기 정렬된 제 1 이미지 출력을 수신하도록 커플링된 제 1 입력, 상기 정렬된 제 2 이미지 출력을 수신하도록 커플링된 제 2 입력, 매크로 블록 차이 신호를 수신하도록 커플링된 제 3 입력을 가지고, 제 1 이미지 차이 출력 및 제 2 이미지 차이 출력을 가지는 블록 차이 판별기 회로; 및
    상기 블록 차이 판별기 회로에 커플링된 제 1 입력을 가지고, 평균 픽셀 차이 결과를 나타내기 위한 픽셀 차이 출력 신호를 제공하도록 구성된 평균 픽셀 차이 회로를 포함하는, 장치.
  14. 제 13 항에 있어서,
    상기 제 1 이미지 차이 출력을 수신하도록 커플링된 제 1 입력 및 필터링된 제 1 이미지 차이 출력을 제공하는 출력을 가지는, 상기 블록 차이 판별기 회로와 상기 평균 픽셀 차이 회로 사이에 커플링된 제 1 필터; 및
    상기 제 2 이미지 차이 출력을 수신하도록 커플링된 제 1 입력 및 필터링된 제 2 이미지 차이 출력을 제공하기 위한 출력을 가지는, 상기 블록 차이 판별기 회로와 상기 평균 픽셀 차이 회로 사이에 커플링된 제 2 필터를 더 포함하는, 장치.
  15. 제 10 항에 있어서,
    상기 결합된 이미지 데이터를 압축하고 상기 압축된 결합 이미지 데이터를 메모리 디바이스에 저장하도록 구성된 압축 및 저장 모듈을 더 포함하는, 장치.
  16. 제 10 항에 있어서,
    카메라 렌즈; 및
    상기 카메라 렌즈에 커플링되어 상기 제 1 이미지 데이터를 생성하고 상기 제 2 이미지 데이터를 생성하기 위한 비디오 캡처 회로를 더 포함하는, 장치.
  17. 제 16 항에 있어서,
    무선 트랜시버에 커플링되어 안테나를 통해 데이터를 송신하고 수신하기 위한 프로세서를 더 포함하는, 장치.
  18. 제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터에 기초하여 모션 벡터 데이터의 세트를 생성하기 위한 등록 수단으로서, 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임은 이미지 센서로부터 수신되는, 상기 등록 수단;
    상기 제 1 이미지 데이터와 조정된 제 2 이미지 데이터를 선택적으로 결합하기 위해 계층적인 결합 동작을 수행하기 위한 결합 수단으로서, 상기 조정된 제 2 이미지 데이터는 상기 모션 벡터 데이터에 따라 조정된 후의 제 2 이미지 데이터에 대응하는, 상기 결합 수단; 및
    결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하도록 상기 결합 회로를 제어하기 위한 제어 수단을 포함하는, 장치.
  19. 제 18 항에 있어서,
    카메라 렌즈; 및
    상기 카메라 렌즈에 커플링되어 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터를 생성하기 위한 비디오 캡처 수단을 더 포함하는, 장치.
  20. 제 18 항에 있어서,
    인코딩된 비디오 데이터를 생성하기 위해 상기 결합된 이미지 데이터를 인코딩하기 위한 수단을 더 포함하는, 장치.
  21. 컴퓨터 실행가능한 코드를 저장하는 컴퓨터 판독가능한 매체로서,
    제 1 비디오 프레임에 대응하는 제 1 이미지 데이터 및 제 2 비디오 프레임에 대응하는 제 2 이미지 데이터를 수신하기 위한 코드로서, 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임은 이미지 센서로부터 수신되는, 상기 수신하기 위한 코드;
    조정된 제 2 이미지 데이터를 생성하기 위해, 상기 제 2 이미지 데이터의 대응하는 부분들에 대한 상기 제 1 이미지 데이터의 부분들 간의 오프셋들을 적어도 부분적으로 보상함으로써 상기 제 2 이미지 데이터를 조정하기 위한 코드; 및
    상기 제 1 이미지 데이터 및 상기 조정된 제 2 이미지 데이터에 계층적인 결합 동작을 수행함으로써 결합된 비디오 프레임에 대응하는 결합된 이미지 데이터를 생성하기 위한 코드를 포함하는, 컴퓨터 판독가능한 매체.
  22. 제 21 항에 있어서,
    상기 결합된 이미지 데이터는 상기 제 1 이미지 데이터보다 큰 해상도, 상기 제 1 이미지 데이터보다 높은 다이내믹 레인지, 상기 제 1 이미지 데이터보다 큰 심도, 상기 제 1 이미지 데이터보다 적은 잡음, 또는 상기 제 1 이미지 데이터보다 적은 모션으로 인한 블러 현상 중 적어도 하나를 가지는, 컴퓨터 판독가능한 매체.
  23. 제 21 항에 있어서,
    인코딩된 비디오 데이터를 생성하기 위해 상기 결합된 이미지 데이터를 비디오 인코더에 제공하기 위한 코드를 더 포함하는, 컴퓨터 판독가능한 매체.
  24. 제 21 항에 있어서,
    상기 계층적인 결합 동작은 코오스 결합 동작 및 정밀 결합 동작을 포함하는, 컴퓨터 판독가능한 매체.
KR1020117027879A 2009-04-22 2010-04-22 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법 KR101352730B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/428,354 2009-04-22
US12/428,354 US8111300B2 (en) 2009-04-22 2009-04-22 System and method to selectively combine video frame image data
PCT/US2010/032027 WO2010124070A1 (en) 2009-04-22 2010-04-22 System and method to selectively combine video frame image data

Publications (2)

Publication Number Publication Date
KR20120008062A true KR20120008062A (ko) 2012-01-25
KR101352730B1 KR101352730B1 (ko) 2014-01-16

Family

ID=42235273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117027879A KR101352730B1 (ko) 2009-04-22 2010-04-22 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (1) US8111300B2 (ko)
EP (1) EP2422512A1 (ko)
JP (2) JP5694293B2 (ko)
KR (1) KR101352730B1 (ko)
CN (1) CN102415088B (ko)
TW (1) TW201123866A (ko)
WO (1) WO2010124070A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220162861A (ko) * 2018-08-08 2022-12-08 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4480760B2 (ja) * 2007-12-29 2010-06-16 株式会社モルフォ 画像データ処理方法および画像処理装置
ATE547774T1 (de) * 2009-03-31 2012-03-15 Sony Corp Verfahren und einheit zur erzeugung von hochdynamischen bildern und videobildern
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
JP5115568B2 (ja) * 2009-11-11 2013-01-09 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP4973719B2 (ja) 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
CN102129147A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 相机及照片拍摄与处理方法
JP5528139B2 (ja) * 2010-02-02 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8494301B2 (en) 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
US9118842B2 (en) * 2010-09-16 2015-08-25 Intellectual Ventures Fund 83 Llc Producing focused videos from single captured video
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
TWI479896B (zh) * 2011-07-29 2015-04-01 動態影像補償之移動向量搜尋方法
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9392233B2 (en) * 2011-12-08 2016-07-12 International Business Machines Corporation System and method for combined meeting recording
JP2013160530A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp 検査装置、ロボット装置、検査方法及び検査プログラム
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
US20140010476A1 (en) * 2012-07-04 2014-01-09 Hui Deng Method for forming pictures
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
US20140254659A1 (en) * 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
CN103247031B (zh) * 2013-04-19 2016-03-09 华为技术有限公司 一种畸变图像校正的方法、终端及系统
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
CN104113701B (zh) * 2014-07-25 2017-08-11 努比亚技术有限公司 拍摄方法及装置
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
CN107534736B (zh) * 2016-03-30 2020-04-28 华为技术有限公司 终端的图像配准方法、装置和终端
US10282825B2 (en) * 2016-09-13 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and imaging apparatus
US10482359B2 (en) * 2018-01-18 2019-11-19 Google Llc Systems and methods for removing non-stationary objects from imagery
JP6828069B2 (ja) * 2019-02-18 2021-02-10 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US20200380638A1 (en) * 2019-05-30 2020-12-03 Coretronic Corporation Image processing device and image processing method
US11151731B2 (en) 2019-08-06 2021-10-19 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
WO2021025375A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
CN111028191B (zh) * 2019-12-10 2023-07-04 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质
EP3902240B1 (en) 2020-04-22 2022-03-30 Axis AB Method, device, camera and software for performing electronic image stabilization of a high dynamic range image
CN111709979B (zh) * 2020-05-15 2023-08-25 北京百度网讯科技有限公司 图像对齐的方法、装置、电子设备和存储介质
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US518118A (en) * 1894-04-10 William e
JPH03270567A (ja) 1990-03-20 1991-12-02 Fuji Photo Film Co Ltd 画像信号補正方法
US5402171A (en) 1992-09-11 1995-03-28 Kabushiki Kaisha Toshiba Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement
US5519441A (en) 1993-07-01 1996-05-21 Xerox Corporation Apparatus and method for correcting offset and gain drift present during communication of data
US5450502A (en) 1993-10-07 1995-09-12 Xerox Corporation Image-dependent luminance enhancement
US5690106A (en) 1995-06-30 1997-11-25 Siemens Corporate Research, Inc. Flexible image registration for rotational angiography
US5647360A (en) 1995-06-30 1997-07-15 Siemens Corporate Research, Inc. Digital subtraction angiography for 3D diagnostic imaging
EP0838068B1 (en) * 1995-07-10 2005-10-26 Sarnoff Corporation Method and system for rendering and combining images
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
US6298144B1 (en) 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
US6522352B1 (en) * 1998-06-22 2003-02-18 Motorola, Inc. Self-contained wireless camera device, wireless camera system and method
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3707259B2 (ja) 1998-09-10 2005-10-19 コニカミノルタフォトイメージング株式会社 画像合成方法及びこの方法を用いた画像合成装置
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
US6416477B1 (en) 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
DE10064184C1 (de) 2000-12-22 2002-04-04 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten
US7133070B2 (en) 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7119837B2 (en) 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7649549B2 (en) 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
JP4401949B2 (ja) * 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
JP4530277B2 (ja) 2005-02-25 2010-08-25 株式会社リコー 画像再生装置、画像再生方法、プログラムおよび記録媒体
JP2006319784A (ja) 2005-05-13 2006-11-24 Olympus Corp 画像処理装置および撮像装置
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
ATE431397T1 (de) 2005-06-01 2009-05-15 Fraunhofer Ges Forschung Verfahren zur optischen bestimmung des dynamischen verhaltens von kontrahierenden zellen
US7489825B2 (en) 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP2007214887A (ja) * 2006-02-09 2007-08-23 Fujifilm Corp デジタルスチルカメラ及び画像合成方法
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US7639893B2 (en) 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP4671430B2 (ja) * 2006-06-02 2011-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP4762089B2 (ja) 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
US8830340B2 (en) 2006-09-08 2014-09-09 Sri International System and method for high performance image processing
JP5055571B2 (ja) * 2006-09-14 2012-10-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220162861A (ko) * 2018-08-08 2022-12-08 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
KR20230038316A (ko) * 2018-08-08 2023-03-17 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
US11611697B2 (en) 2018-08-08 2023-03-21 Google Llc Optical image stabilization movement to create a super-resolution image of a scene

Also Published As

Publication number Publication date
CN102415088A (zh) 2012-04-11
TW201123866A (en) 2011-07-01
WO2010124070A1 (en) 2010-10-28
KR101352730B1 (ko) 2014-01-16
US8111300B2 (en) 2012-02-07
JP2015053694A (ja) 2015-03-19
JP2012525073A (ja) 2012-10-18
EP2422512A1 (en) 2012-02-29
US20100271498A1 (en) 2010-10-28
JP5694293B2 (ja) 2015-04-01
CN102415088B (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
KR101352730B1 (ko) 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
US8797421B2 (en) System and method to selectively combine images
US8629913B2 (en) Overflow control techniques for image signal processing
JP5784587B2 (ja) 画像選択および結合の方法およびデバイス
KR101727285B1 (ko) 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치
JP5612017B2 (ja) カメラの手ぶれ低減システム
JP2011130169A (ja) 画像処理装置及び撮影装置
JP5291788B2 (ja) 撮像装置
KR101337667B1 (ko) 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작
KR100990293B1 (ko) 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법
JP2008079301A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 6