KR101275933B1 - 모션 보조된 이미지 센서 구성 - Google Patents

모션 보조된 이미지 센서 구성 Download PDF

Info

Publication number
KR101275933B1
KR101275933B1 KR1020107010898A KR20107010898A KR101275933B1 KR 101275933 B1 KR101275933 B1 KR 101275933B1 KR 1020107010898 A KR1020107010898 A KR 1020107010898A KR 20107010898 A KR20107010898 A KR 20107010898A KR 101275933 B1 KR101275933 B1 KR 101275933B1
Authority
KR
South Korea
Prior art keywords
image
motion
scene
interest
pixels
Prior art date
Application number
KR1020107010898A
Other languages
English (en)
Other versions
KR20100076034A (ko
Inventor
스제포 로버트 훙
루벤 벨라데
시앙-춘 리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20100076034A publication Critical patent/KR20100076034A/ko
Application granted granted Critical
Publication of KR101275933B1 publication Critical patent/KR101275933B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

일반적으로, 본원은 관심 있는 장면 내의 모션에 기초하여 이미지 캡쳐 디바이스의 이미지 센서를 구성하기 위한 기술들을 설명한다. 특히, 이미지 캡쳐 디바이스는, 동일한 관심 있는 장면의 2개 이상의 이미지들 사이의 모션을 분석하고, 관심 있는 장면 내의 모션의 양에 기초하여, 이미지 센서의, 예컨대 이득 및/또는 노출 시간과 같은 구성 파라미터들을 조정한다. 예컨대, 이미지 캡쳐 디바이스는, 장면이 비교적 많은 양의 모션을 포함하는 경우에 큰 이득 및 짧은 노출 시간으로 이미지 센서를 구성하여, 많은 양의 모션에 의해 야기되는 블러를 감소시킬 수도 있다. 역으로, 이미지 캡쳐 디바이스는, 장면이 비교적 적은 모션을 포함하거나 또는 모션을 포함하지 않는 경우에 작은 이득 및 긴 노출 시간으로 이미지 센서를 구성하여, 큰 이득들에 의해 야기되는 노이즈를 감소시킬 수도 있다.

Description

모션 보조된 이미지 센서 구성{MOTION ASSISTED IMAGE SENSOR CONFIGURATION}
본원은 디지털 이미지들을 캡쳐링하는 것에 관한 것으로, 특히, 이미지 센서의 구성 파라미터들을 조정하기 위한 기술에 관한 것이다.
디지털 스틸 이미지 카메라들과 같은 디지털 이미지 캡쳐 디바이스들은 관심 있는 장면의 이미지를 캡쳐링하기 위해 이미지 센서를 사용한다. 이미지 캡쳐 디바이스는, 상이한 환경 조건들에서 이미지들을 더 양호하게 캡쳐링하기 위해 조정될 수도 있는 다수의 이미지 센서 구성 파라미터들을 포함할 수도 있다. 예컨대, 이미지 캡쳐 디바이스는, 이미지 센서에 대한 특정한 이득 및/또는 관심 있는 장면에 이미지 센서가 노출되는 노출 시간에 각각 대응할 수도 있는, 종종 ISO 설정들이라 지칭되는 다수의 민감도 설정들을 포함할 수도 있다. 더 높은 ISO 설정들은 더 큰 이미지 센서 민감도를 표현하고, 더 큰 이득들 및 더 짧은 노출 시간들에 대응한다. 역으로, 더 낮은 ISO 설정들은 더 낮은 이미지 센서 민감도를 표현하고, 더 작은 이득들 및 더 긴 노출 시간들에 대응한다.
통상적으로, 이미지 캡쳐 디바이스들은, 이미지들을 캡쳐링하는데 사용하기 위한, 예컨대 ISO 설정들과 같은 이미지 센서 구성 파라미터들을 사용자가 수동으로 선택하는 것을 허용한다. ISO 설정들을 수동으로 선택함으로써, 사용자가 현재 환경 조건에 적절한 ISO 설정을 선택하여, 그 환경에서 이미지들을 더 양호하게 캡쳐링할 수 있다. 다르게 또는 추가적으로, 이미지 캡쳐 디바이스들은, 현재 환경 조건에서 이용가능한 광량에 기초하여, 예컨대 ISO와 같은 센서 구성 파라미터들을 선택하는 자동 구성 설정 기능들을 포함할 수도 있다. 예컨대, 이미지 캡쳐 디바이스들은, 주변 환경의 밝기를 검출하는 광 센서들을 포함하고, 검출된 광량에 기초하여 구성 설정을 선택할 수도 있다.
개요
이미지 캡쳐 디바이스는 관심 있는 장면의 밝기에 기초하여 이미지 센서의 하나 이상의 구성 파라미터들을 조정할 수도 있다. 어두운 환경에서, 예컨대, 이미지 캡쳐 디바이스는, 이미지 센서의 민감도를 증가시키기 위한 이미지 센서에 대한 더 큰 이득, 및 관심 있는 장면에 이미지 센서가 노출되는 더 짧은 노출 시간을 선택할 수도 있다. 역으로, 밝은 환경에서, 이미지 캡쳐 디바이스는, 이미지 센서의 민감도를 감소시키기 위한 이미지 센서에 대한 더 작은 이득, 및 관심 있는 장면에 이미지 센서가 노출되는 더 긴 노출 시간을 선택할 수도 있다. 그러나, 관심 있는 장면의 밝기에 기초하여 이미지 센서의 구성 파라미터들을 선택하는 것은, 항상 최상의 이미지 품질을 결과로 제공하지는 않는다. 예컨대, 관심 있는 장면이 밝은 환경에 있지만 많은 모션을 포함하는 경우에, 긴 노출 시간의 결과로서 캡쳐링된 이미지는 블러링 (blur) 될 수도 있다.
본원은 관심 있는 장면 내의 모션의 검출에 기초하여, 이미지 센서에 대한 구성 파라미터들을 선택하기 위한 기술들을 설명한다. 이하 상세히 설명될 바와 같이, 이미지 캡쳐 디바이스는, 장면 내의 모션을 표시하는 동일한 관심 있는 장면의 2개 이상의 이미지들 사이의 변화들을 분석한다. 이미지 캡쳐 디바이스는, 관심 있는 장면 내의 모션의 양에 기초하여, 이미지 센서의, 예컨대 이득 및/또는 노출 시간과 같은 구성 파라미터들을 조정한다. 예컨대, 이미지 캡쳐 디바이스는, 장면이 비교적 많은 양의 모션을 포함하는 경우에 더 큰 이득 및 더 짧은 노출 시간으로 이미지 센서를 구성하여, 많은 양의 모션에 의해 야기되는 블러를 감소시킬 수도 있다. 역으로, 이미지 캡쳐 디바이스는, 장면이 비교적 적은 모션을 포함하거나 또는 모션을 포함하지 않는 경우에 작은 이득 및 긴 노출 시간으로 이미지 센서를 구성하여, 높은 이득에 의해 야기되는 노이즈를 감소시킬 수도 있다.
일 양태에서, 디지털 이미지 데이터를 캡쳐링하기 위한 방법은, 적어도 관심 있는 장면의 제 1 이미지와 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 단계, 및 그 분석에 기초하여 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 하나 이상의 분석 파라미터들을 조정하는 단계를 포함한다.
다른 양태에서, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스는, 하나 이상의 구성 파라미터들에 따라 이미지들을 캡쳐링하기 위한 이미지 센서, 및 적어도 관심 있는 장면의 제 1 이미지와 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하며, 그 분석에 기초하여 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 구성 파라미터들 중 하나 이상의 구성 파라미터들을 조정하는 이미지 프로세서를 포함한다.
다른 양태에서, 디지털 이미지 데이터를 캡쳐링하기 위한 컴퓨터-프로그램 제품은, 명령들을 갖는 컴퓨터 판독가능 매체를 포함한다. 명령들은, 적어도 관심 있는 장면의 제 1 이미지와 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하기 위한 코드, 및 그 분석에 기초하여 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하기 위한 코드를 포함한다.
다른 양태에서, 디지털 이미지 데이터를 캡쳐링하기 위한 장치는, 적어도 관심 있는 장면의 제 1 이미지와 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 수단, 및 그 분석에 기초하여 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하는 수단을 포함한다.
본원에서 설명되는 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우에, 그 소프트웨어는, 마이크로프로세서, 주문형 집적 회로 (ASIC), 필드 프로그래밍 가능한 게이트 어레이 (FPGA) (필드 프로그래밍 가능한 로직 어레이 (FPLA) 라 또한 알려짐), 또는 디지털 신호 프로세서 (DSP), 또는 다른 균등한 집적 또는 이산 로직 회로, 또는 이들의 조합과 같은 하나 이상의 프로세서들을 지칭할 수도 있는 프로세서에서 실행될 수도 있다. 기술들을 실행하는 소프트웨어는, 컴퓨터-판독가능 매체에 초기에 저장되고, 프로세서에 의해 로딩되며 실행될 수도 있다. 따라서, 본원은, 프로세서로 하여금 본원에 설명되는 임의의 다양한 기술들을 수행하게 하는 명령들을 포함하는 컴퓨터-판독가능 매체를 또한 고려한다. 몇몇 양태들에서, 컴퓨터-판독가능 매체는, 제조자들에게 판매되고/되거나 디바이스에서 사용될 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있고, 몇몇 경우들에서, 패키징 재료들을 포함할 수도 있다.
하나 이상의 예들의 세부사항들이 첨부 도면들 및 이하 상세한 설명에서 설명된다. 다른 특징들, 목적들, 장점들은 상세한 설명 및 도면들로부터, 그리고 청구의 범위로부터 명백하게 될 것이다.
도면의 간단한 설명
도 1은 본원에서 설명되는 이미지 센서 구성 기술들을 구현하는 예시적인 이미지 캡쳐 디바이스를 예시하는 블록도이다.
도 2는 도 1의 이미지 캡쳐 디바이스를 더 상세히 예시하는 블록도이다.
도 3은 본원에서 설명되는 이미지 센서 구성 기술들을 수행하는 이미지 캡쳐 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
도 4는 모션 벡터들을 사용하여 이미지 센서 구성 기술들을 수행하는 이미지 캡쳐 디바이스의 예시적인 동작을 예시하는 플로우도이다.
도 5는 도 1의 이미지 캡쳐 디바이스를 병합하는 무선 통신 디바이스의 블록도이다.
상세한 설명
이미지 캡쳐 디바이스는, 관심 있는 장면의 밝기에 기초하여 이미지 센서의 하나 이상의 구성 파라미터들을 조정할 수도 있다. 어두운 환경에서는, 예컨대, 이미지 캡쳐 디바이스는, 이미지 센서의 민감도를 증가시키기 위한 이미지 센서에 대한 더 큰 이득, 및 관심 있는 장면에 이미지 센서가 노출되는 더 짧은 노출 시간을 선택할 수도 있다. 역으로, 밝은 환경에서는, 이미지 캡쳐 디바이스는, 이미지 센서의 민감도를 감소시키기 위한 이미지 센서에 대한 더 작은 이득, 및 관심 있는 장면에 이미지 센서가 노출되는 더 긴 노출 시간을 선택할 수도 있다. 그러나, 관심 있는 장면의 밝기에 기초하여 이미지 센서의 구성 파라미터들을 선택하는 것은 항상 최상의 이미지 품질을 결과로 제공하지는 않는다. 예컨대, 관심 있는 장면이 밝은 환경에 있지만 많은 모션을 포함하는 경우에, 캡쳐링된 이미지는 긴 노출 시간의 결과로서 블러링될 수도 있다.
본원은, 관심 있는 장면 내의 모션에 기초하여, 이미지 센서에 대한 구성 파라미터들을 선택하기 위한 기술들을 설명한다. 관심 있는 장면 내의 모션의 양을 검출하기 위해, 이미지 캡쳐 디바이스는 관심 있는 동일한 장면의 2개 이상의 이미지들 사이의 변화들을 분석할 수도 있다. 일례에서, 이미지 캡쳐 디바이스는 복수의 모션 벡터들을 분석함으로써, 2개의 이미지들 사이의 모션의 양을 분석할 수도 있다. 이미지 캡쳐 디바이스는, 2개의 이미지들 사이의 밝기에서의 차이들, 2개의 이미지들 사이의 1-차원 투영 (projection) 값들에서의 차이들, 2개의 이미지들의 히스토그램들에서의 차이들 등을 포함하는, 이미지들 사이의 모션의 다수의 다른 표시자들을 분석할 수도 있다.
이미지 캡쳐 디바이스는 관심 있는 장면 내의 모션의 양에 기초하여 이미지 센서의 구성 파라미터들을 조정한다. 조정될 수 있는 그러한 구성 파라미터는 이미지 센서의 이득이다. 이미지 센서 이득은 캡쳐링된 신호의 크기에서의 증가치에 대응한다. 몇몇 경우들에서, 이득은 출력 신호와 측정된 프로퍼티 (property) 사이의 비를 표현할 수도 있다. 조정될 수 있는 다른 그러한 구성 파라미터는 노출 시간이다. 노출 시간은, 관심 있는 장면에 이미지 센서가 노출되는 시간의 기간이다. 예컨대, 이미지 캡쳐 디바이스는, 장면이 비교적 많은 양의 모션을 포함하는 경우에, 더 큰 이득 및 짧은 노출 시간으로 이미지 센서를 구성하여, 많은 양의 모션에 의해 야기되는 블러를 감소시킬 수도 있다. 역으로, 이미지 캡쳐 디바이스는, 장면이 비교적 적거나 또는 모션이 없는 경우에, 작은 이득 및 긴 노출 시간으로 이미지 센서를 구성하여, 높은 이득에 의해 야기되는 노이즈를 감소시킬 수도 있다.
도 1은 본원에서 설명되는 이미지 센서 구성 기술들을 구현하는 예시적인 이미지 캡쳐 디바이스 (2) 의 블록도이다. 이미지 캡쳐 디바이스 (2) 는, 디지털 스틸 이미지 카메라, 디지털 비디오 카메라, 또는 이들의 조합과 같은 디지털 카메라일 수도 있다. 또한, 이미지 캡쳐 디바이스 (2) 는, 독립형 카메라와 같은 독립형 디바이스일 수도 있거나, 또는 무선 통신 디바이스 내부와 같이 다른 디바이스 내에 집적될 수도 있다. 예로서, 이미지 캡쳐 디바이스 (2) 는, 소위 "카메라 전화기" 또는 "비디오 전화기" 를 형성하기 위해 이동 전화기 내에 통합될 수도 있다. 본원에서 설명되는 이미지 센서 구성 기술들은 일반적으로 캡쳐링된 디지털 비디오에 적용가능할 수도 있지만, 디지털 스틸 이미지들로의 그러한 기술들의 적용이 예시의 목적을 위해 설명될 것이다.
도 1에 도시된 바와 같이, 이미지 캡쳐 디바이스 (2) 는 이미지 센서 (4), 이미지 프로세서 (6), 및 이미지 스토리지 모듈 (8) 을 포함한다. 이미지 센서 (4) 는 관심 있는 장면의 이미지를 획득한다. 예컨대, 이미지 센서 (4) 는, 스틸 이미지들, 또는 가능하게는, 비디오 시퀀스의 하나 이상의 이미지 프레임들에 대해 이미지 프로세싱이 수행될 수도 있는 풀 모션 비디오 시퀀스들을 캡쳐링할 수도 있다. 캡쳐링된 비디오는 아카이브 (archival) 또는 비디오 전화, 또는 다른 애플리케이션들을 위해 캡쳐링된 비디오를 포함할 수도 있다. 이미지 센서 (4) 는, 예컨대 로우들 및 컬럼들로 배열된 개별적인 이미지 센서 엘리먼트들의 2-차원 어레이를 포함할 수도 있다. 몇몇 양태들에서, 이미지 센서 (4) 의 이미지 센서 엘리먼트들의 각각은 단일 픽셀과 연관될 수도 있다. 즉, 이미지 센서 엘리먼트들과 픽셀들 사이에 일-대-일 대응이 있을 수도 있다. 다르게는, 각각의 픽셀과 연관된 하나보다 더 많은 이미지 센서 엘리먼트가 있을 수도 있거나, 또는 각각의 이미지 센서 엘리먼트와 연관된 하나보다 더 많은 픽셀이 있을 수도 있다. 예컨대, 이미지 센서 (4) 는, 상보성 금속-산화막 반도체 (CMOS), 전하 결합 디바이스 (CCD) 센서들 등과 같은 고체 상태 센서들의 어레이를 포함할 수도 있다.
이미지 센서 (4) 는 이미지 장면에 이미지 센서 엘리먼트들을 노출시켜서 이미지를 캡쳐링한다. 예컨대, 이미지 센서 (4) 내의 이미지 센서 엘리먼트들은, 특정한 픽셀 포지션에서의 장면의 광의 세기를 표현하는 세기 값들을 캡쳐링할 수도 있다. 몇몇 경우들에서, 센서 (4) 의 이미지 센서 엘리먼트들의 각각은, 센서 엘리먼트들을 커버하는 컬러 필터들로 인해, 컬러 밴드, 또는 하나의 컬러에만 민감할 수도 있다. 예컨대, 이미지 센서 (4) 는 레드, 그린, 및 블루 (RGB) 필터들의 어레이에 의해 커버된 이미지 센서 엘리먼트들을 포함할 수도 있다. 그러나, 이미지 센서 (4) 는, 시안 (cyan), 마젠타 (magenta), 옐로우, 및 블랙 (CMYK) 컬러 필터들과 같은 다른 컬러 필터들을 이용할 수도 있다. 따라서, 이미지 센서 (4) 의 이미지 센서 엘리먼트들의 각각은 단 하나의 컬러에 대한 세기 값들을 캡쳐링할 수도 있다.
이미지 센서 (4) 는, 하나 이상의 이미지 센서 구성 파라미터들에 따라, 이미지 장면에 이미지 센서 엘리먼트들을 노출시킨다. 이미지 센서 구성 파라미터들의 몇몇은 관심 있는 장면의 하나 이상의 특성들에 기초하여 조정될 수도 있다. 그러한 구성 파라미터들은, 이미지 센서 (4) 의 이득, 관심 있는 장면에 이미지 센서 (4) 가 노출되는 노출 시간 등을 포함한다. 이하 상세히 설명될 바와 같이, 이미지 캡쳐 디바이스 (2) 는 관심 있는 장면 내의 모션의 양에 기초하여, 이미지 센서 구성 파라미터들 중 하나 이상을 조정할 수도 있다.
예로서 이미지 센서 이득을 사용하면, 이미지 캡쳐 디바이스 (2) 는, 관심 있는 장면이 더 어두운 환경 (예컨대, 실내) 에 있는 경우 또는 관심 있는 장면 내에 비교적 많은 양의 모션을 포함하는 경우에, 이미지 센서 (4) 의 이득을 증가시킬 수도 있다. 이득을 증가시키는 것은, 이미지 센서 엘리먼트들이 관심 있는 움직이는 장면을 더 빠른 셔터 속도 (더 짧은 노출 시간) 로 캡쳐링하는 것을 허용하여, 모션에 의해 야기되는 블러를 감소시킨다. 특히, 더 큰 이득은, 이미지 센서 엘리먼트들의 출력을 증폭시킴으로써, 이미지 센서 엘리먼트들이 더 적은 광을 캡쳐링하는 것을 허용한다. 이미지 캡쳐 디바이스 (2) 는, 많은 광이 있거나 또는 관심 있는 장면 내에 비교적 적은 모션이 있는 상황들에서, 이미지 센서 (4) 의 이득을 감소시키거나 또는 이득을 작게 유지할 수도 있다. 이 경우에, 센서 엘리먼트들이 더 긴 시간의 기간 동안 관심 있는 장면에 노출되어 더 많은 광을 수집하기 때문에, 큰 이득이 필요하지 않다. 이미지 센서 (4) 가 큰 이득을 갖는 경우, 즉 광에 매우 민감한 경우에, 이미지 센서 (4) 는, 이미지 센서 (4) 가 작은 이득을 갖는 경우보다 더 짧은 시간의 기간 동안 관심 있는 장면에 노출될 수도 있다. 관심 있는 장면에 이미지 센서 (4) 가 노출되는 시간의 양은 본원에서 노출 시간이라 지칭된다. 따라서, 이미지 센서 (4) 의 이득이 커질수록, 관심 있는 장면에 대한 이미지 센서 (4) 의 노출 시간은 더 짧아진다. 역으로, 이미지 센서 (4) 의 이득이 작아질수록, 관심 있는 장면에 대한 이미지 센서 (4) 의 노출 시간은 더 길어진다. 예컨대, 이미지 캡쳐 디바이스 (2) 의 기계적인 셔터 속도를 제어함으로써, 노출 시간이 제어될 수도 있다.
이미지 캡쳐 디바이스 (2) 는 사용자에 의해 선택될 수도 있는 다수의 카메라 동작 모드들을 포함할 수도 있다. 상이한 카메라 동작 모드들은, 상이한 카메라 설정들, 특히 상이한 이미지 센서 구성 설정들에 대응할 수도 있다. 예컨대, 이미지 캡쳐 디바이스 (2) 는, 관심 있는 장면 내의 많은 양의 모션을 갖는 이미지를 캡쳐링하는 경우에 사용자가 선택할 수도 있는 "스포츠 모드 (sport mode)" 를 가질 수도 있다. 스포츠 모드는 높은 센서 이득 및 더 짧은 노출 시간에 대응할 수도 있다. 다른 예로서, 이미지 캡쳐 디바이스 (2) 는, 관심 있는 장면 내에서 비교적 적은 모션을 갖거나 또는 모션이 없는 이미지를 캡쳐링하는 경우에 사용자가 선택할 수도 있는 "풍경 모드 (landscape mode)" 를 가질 수도 있다. 풍경 모드는 낮은 이득 및 더 긴 노출 시간에 대응할 수도 있다. 또한, 스포츠 모드 및 풍경 모드와 다른 이득들 및 노출 시간들을 갖는 다수의 다른 모드들이 포함될 수도 있다. 이 방식으로, 이미지 캡쳐 디바이스 (2) 의 사용자는, 다양한 동작 모드들을 사용하여, 이미지 센서 (4) 를 동작시키기 위한 구성 파라미터들을 수동으로 선택할 수도 있다.
또한, 이미지 캡쳐 디바이스 (2) 는, 이미지 캡쳐 디바이스 (2) 가 이미지 센서 (4) 의 이미지 센서 구성 파라미터들을 자동으로 선택하는 "오토 모드" 를 포함할 수도 있다. 이하 상세히 설명되는 기술들에 따르면, 이미지 프로세서 (6) 는, 관심 있는 장면 내의 모션의 양을 결정하고, 그 결정에 기초하여 이미지 센서 (4) 의 이미지 센서 구성 파라미터들을 자동으로 선택하는 센서 제어 모듈 (9) 을 포함한다. 일 양태에서, 센서 제어 모듈 (9) 은, 관심 있는 장면의 2개 이상의 이미지들 사이의 모션 벡터들을 분석하여 관심 있는 장면 내의 모션의 양을 결정한다. 예컨대, 센서 제어 모듈 (9) 은, 이미지의 모션 벡터들의 서브세트의 크기를 결정하고, 그 크기에 기초하여 이미지 센서 (4) 의 하나 이상의 구성 파라미터들을 조정할 수도 있다. 많은 양의 모션을 갖는 관심 있는 장면들에 대해, 센서 제어 모듈 (9) 은 더 짧은 노출 시간들 및 더 큰 이득들을 갖는 민감도 설정들을 선택할 수도 있다. 역으로, 센서 제어 모듈 (9) 은, 비교적 적은 모션을 포함하거나 또는 모션을 포함하지 않는 장면들에 대해 더 긴 노출 시간들 및 더 작은 이득들을 갖는 민감도 설정들을 선택할 수도 있다. 센서 제어 모듈 (9) 은, 관심 있는 장면의 2개 이상의 이미지들 사이의 휘도 (본원에서는, "루마 (luma)") 값들에서의 차이들, 관심 있는 장면의 2개 이상의 이미지들의 1-차원 투영 값들 사이의 차이들, 관심 있는 장면의 2개 이상의 이미지들의 히스토그램들 사이의 차이들 등과 같은 다수의 다른 표시자들 중 임의의 것을 사용하여, 관심 있는 장면에 대한 모션의 양을 결정할 수도 있다.
또한, 이미지 프로세서 (6) 는, 이미지 정보를 프로세싱할 수도 있으며, 예컨대 이미지 안정화 (stabilization), 크로핑 (cropping), 압축, 개선 (enhancement) 등을 수행할 수도 있다. 이미지 프로세서 (6) 는, 하나 이상의 마이크로 프로세서들, 마이크로 제어기들, DSP들, ASIC들, FPGA들, 또는 임의의 다른 균등한 이산 또는 집적 로직 회로, 또는 이들의 조합에 의해 실현될 수도 있다. 몇몇 양태들에서, 이미지 프로세서 (6) 는, MPEG (Motion Pictures Expert Group)-2, MPEG-4, MPEG AVC (Advanced Video Coding), 파트 10 (part 10), ITU (International Telecommunication Union) H.263, ITU H.264, JPEG (Joint Photographic Experts Group), GIF (Graphics Interchange Format), TIFF (Tagged Image File Format) 등과 같은 특정한 인코딩 기술 또는 포맷에 따라, 이미지 정보를 인코딩하는 CODEC의 파트를 형성할 수도 있다.
이미지 프로세서 (6) 는, 캡쳐링된 이미지를 예컨대 원시 (raw) 픽셀 값들과 같은 원시 형태로 이미지 스토리지 모듈 (8) 에 저장할 수도 있다. 다르게는, 이미지 프로세서 (6) 는, 캡쳐링된 이미지에 대한 추가적인 프로세싱을 수행하고, 이미지 스토리지 모듈 (8) 에 프로세싱된 이미지를 저장할 수도 있다. 오디오 정보가 캡쳐링된 이미지에 동반되는 경우에, 오디오가 또한 독립적으로 또는 이미지와 함께 이미지 스토리지 모듈 (8) 에 저장될 수도 있다. 이미지 스토리지 모듈 (8) 은, 판독-전용 메모리 (ROM), 전기적으로 소거가능한 프로그래밍 가능한 판독-전용 메모리 (EEPROM), 또는 플래시 메모리와 같은 임의의 휘발성 또는 비휘발성 메모리 또는 스토리지 디바이스, 자성 데이터 스토리지 디바이스, 또는 광학 데이터 스토리지 디바이스를 포함할 수도 있다.
다수의 다른 엘리먼트들이 또한 이미지 캡쳐 디바이스 (2) 에 포함될 수도 있지만, 예시의 간략화 및 용이성을 위해 도 1에서 구체적으로 예시되지 않는다. 예컨대, 이미지 캡쳐 디바이스 (2) 는, 렌즈, 셔터, 플래시 디바이스, 및 디스플레이와 같은, 이미지들을 캡쳐링하기 위한 추가적인 컴포넌트들을 포함할 수도 있다. 도 1에 예시된 아키텍쳐는 단지 예시적이며, 본원에서 설명되는 기술들은 다양한 다른 아키텍쳐들로 구현될 수도 있다. 또한, 도 1에 예시된 특징들은 하드웨어 및/또는 소프트웨어 컴포넌트의 임의의 적합한 조합에 의해 실현될 수도 있다.
도 2는 도 1의 이미지 캡쳐 디바이스 (2) 를 더 상세히 예시하는 블록도이다. 도 2에 예시된 바와 같이, 이미지 센서 (4) 는, 관심 있는 장면의 캡쳐링된 이미지에 속하는, 예컨대 픽셀 값들과 같은 이미지 정보를 저장할 수도 있는 버퍼들 (20A 및 20B) (이하 "이미지 버퍼들 (20)") 을 포함한다. 예컨대, 이미지 센서 (4) 는 이미지 프리뷰 (preview) 동안, 이미지 버퍼들 (20) 에 이미지 정보를 저장할 수도 있다. 더 구체적으로, 이미지 센서 (4) 는, 사용자가 관심 있는 장면에서 이미지 캡쳐 디바이스 (2) 를 포인팅 (point) 하고 있는 동안, 그러나 사용자가 이미지를 캡쳐링하기 위한 버튼을 활성화하기 전에, 이미지 버퍼들 (20) 에 이미지들을 저장할 수도 있다. 몇몇 양태들에서, 이미지 센서 (4) 는, 서로 간의 수 초 그렇지 않으면 수 밀리초, 또는 심지어 더 짧은 시간 기간들 내에서, 이미지들을 캡쳐링하고 이미지 버퍼들 (20) 에 저장할 수도 있다. 이 경우에, 이미지 센서 (4) 는 동일한 관심 있는 장면에 속하는 이미지 정보의 연속하는 세트들을 이미지 버퍼들 (20) 에 저장한다. 이 연속하는 이미지 버퍼링 기술은, 이미지를 캡쳐링하기 위해 시도하는 사용자에 의해 인지되지 않게 발생할 것이다. 이는, 사용자의 관점으로부터는, 이미지 캡쳐 디바이스 (2) 의 버튼의 활성화를 통해 단일 이미지만이 캡쳐링된 것이다. 도 2가 2개의 이미지 버퍼들 (20) 을 포함하지만, 이미지 캡쳐 디바이스 (2) 는 2개보다 더 많은 이미지 버퍼들 (20) 을 포함할 수도 있다. 이러한 방식으로, 본원에서 설명되는 민감도 구성 기술들은 2개보다 더 많은 이미지들에 확장하여 적용될 수도 있다.
버퍼들 (20) 은, ROM, EEPROM 또는 플래시 메모리, 또는 자성 데이터 스토리지 디바이스 또는 광학 데이터 스토리지 디바이스와 같은, 임의의 휘발성 또는 비휘발성 메모리 또는 스토리지 디바이스를 포함할 수도 있다. 도 2에서 이미지 센서 (4) 내에 상주하는 것으로서 도시되어 있지만, 버퍼들 (20) 은, 이미지 프로세서 (6) 또는 이미지 스토리지 모듈 (8) 을 포함하는, 예컨대 이미지 캡쳐 디바이스 (2) 의 다른 모듈들 내부와 같이, 이미지 센서 (4) 외부에 상주할 수도 있다.
또한, 이미지 센서 (4) 는, 이미지 프로세서 (6) 로부터 수신된 구성 파라미터들에 따라 이미지 센서 (4) 를 구성하는 이미지 센서 구성 모듈 (22) 을 포함한다. 이미지 프로세서 (6) 로부터 수신된 구성 파라미터들은, 센서 이득, 노출 시간, 또는 이들의 조합을 포함할 수도 있다. 이미지 센서 (4) 는, 구성 파라미터들에 따라 관심 있는 장면에 이미지 센서 엘리먼트들을 노출시켜서 이미지를 캡쳐링한다. 특히, 구성 파라미터들에 기초하여, 이미지 센서 (4) 는 이미지 센서 (4) 의 센서 엘리먼트들의 센서 이득을 증가시키거나 또는 감소시킬 수도 있다. 센서 이득의 조정은 이미지 센서 엘리먼트들의 노출 시간에서의 변화에 대응할 수도 있다. 예컨대, 이미지 센서 (4) 는, 이미지 민감도가 감소되는 경우에 더 긴 시간의 기간 동안 이미지 센서 엘리먼트들을 노출시킬 수도 있고, 이미지 민감도가 증가되는 경우에 더 짧은 시간의 기간 동안 이미지 센서 엘리먼트들을 노출시킬 수도 있다. 상술된 바와 같이, 조정된 노출 시간은, 이미지 캡쳐 디바이스 (2) 의 셔터의 셔텨 속도를 조정함으로써 제어될 수도 있다.
이미지 프로세서 (6) 는, 블록 분할기 (24), 모션 검출 모듈 (26) 및 구성 조정 모듈 (27) 을 포함하는 센서 제어 모듈 (9), 및 구성 데이터 (28) 를 포함한다. 유닛들 또는 모듈들로서의 상이한 특징들의 묘사는, 이미지 프로세서 (6) 의 상이한 기능 양태들을 강조하도록 의도되며, 그러한 유닛들 또는 모듈들이 별개의 하드웨어, 소프트웨어, 및/또는 펌웨어 컴포넌트들에 의해 실현되어야만 한다는 것을 반드시 암시하는 것은 아니다. 그보다, 하나 이상의 유닛들 또는 모듈들과 연관된 기능은 공통 하드웨어, 소프트웨어 컴포넌트들, 및/또는 펌웨어 컴포넌트들 내에 통합될 수도 있다.
상술된 바와 같이, 이미지 센서 (4) 는 적어도 2개의 이미지들을 캡쳐링하고 그 이미지들을 버퍼들 (20) 에 저장한다. 이미지 프로세서 (6) 는, 버퍼들 (20) 로부터 이미지들을 수신하고, 블록 분할기 (24) 를 채용하여 픽셀들의 복수의 블록들 (본원에서 "블록들" 이라 지칭됨) 로 이미지들 중 적어도 하나의 이미지를 분할한다. 종종 매크로블록들이라 지칭되는 이들 블록들은, 이미지 센서 (4) 에 의해 캡쳐링된 이미지 정보의 연속적인 부분을 표현한다. 예컨대, JPEG 표준의 경우에서, 블록 분할기 (24) 는, 픽셀들의 8개의 로우들 및 픽셀들의 8개의 컬럼들을 포함하는 8x8 블록들로 이미지의 각각을 분할할 수도 있다. 8개의 로우들 또는 컬럼들보다 더 크거나 또는 더 작은 블록들이 또한 가능하다. 예컨대, 블록 분할기 (24) 는 16x16 블록들로 이미지들의 각각을 분할할 수도 있다. 또한, 블록 분할기 (24) 는 2개 이상의 서브-블록들로 각각의 블록을 서브-분할할 수도 있다. 예로서, 16x16 블록은, 4개의 8x8 서브-블록들, 8개의 4x8 서브-블록들, 또는 다른 서브-분할 블록들을 포함할 수도 있다. 여기서 사용되는 바와 같이, "블록" 이라는 용어는 임의의 사이즈 블록 또는 서브-블록을 지칭할 수도 있다. 그러나, 몇몇 양태들에서, 버퍼들 (20) 내의 이미지들은 블록들로 분할되지 않을 수도 있으며, 이 경우에, 이미지들은 블록 분할기 (24) 를 우회하고, 모션 검출 모듈 (26) 에 의해 직접 분석될 수도 있다.
모션 검출 모듈 (26) 은 관심 있는 장면 내의 모션의 양을 결정한다. 더 구체적으로, 모션 검출 모듈 (26) 은, 모션을 표시하는 동일한 관심 있는 장면의 이미지들 사이의 변화들을 식별하는 하나 이상의 표시자들을 생성한다. 일 양태에서, 모션 검출 모듈 (26) 은 적어도 하나의 이미지의 블록들의 각각에 대한 모션 벡터들을 연산한다. 블록들의 모션 벡터들은 제 1 이미지와 제 2 이미지 사이의 식별된 블록의 변위 (displacement) 를 표현한다. 모션 벡터는 다음과 같이 나타낼 수도 있다.
Figure 112010031909355-pct00001
여기서, v(b)는 블록 b에 대한 모션 벡터이고, dx는 블록 b와 제 2 이미지 내의 대응하는 블록 사이의 x-방향의 변위이며, dy는 블록 b와 제 2 이미지 내의 대응하는 블록 사이의 y-방향의 변위이다. 모션 검출 모듈 (26) 은 임의의 다양한 모션 추정 기술들을 사용하여 모션 벡터들을 연산할 수도 있다. 모션 검출 모듈 (26) 은, 제 1 이미지의 각각의 블록에 대해, 제 1 이미지의 각각의 블록에 대한 최상의 매치인 블록을 위해 제 2 이미지를 탐색할 수도 있다. 모션 검출 모듈 (26) 은, 예컨대 SAD (sum of absolute difference), MSE (mean square error) 등과 같은 에러 측정을 사용하여, 제 2 이미지 내의 블록들의 픽셀 값들과 제 1 이미지의 블록들의 픽셀 값들을 비교할 수도 있다. 장면 변화 표시 모듈 (26) 은 가장 작은 에러 측정치를 갖는 블록을 선택하고, 2개의 블록들 사이의 변위를 연산하여, 모션 벡터를 생성할 수도 있다.
몇몇 경우들에서, 모션 검출 모듈 (26) 은 모션 벡터들의 서브세트를 선택하여, 이미지들 사이의 모션의 양을 결정할 수도 있다. 다른 퍼센티지들이 대신 사용될 수도 있다. 예컨대, 모션 검출 모듈 (26) 은 가장 큰 모션 벡터들의 서브세트의 크기를 분석하여, 관심 있는 장면 내의 모션의 양을 결정할 수도 있다. 모션 검출 모듈 (26) 은 블록들의 가장 큰 5%, 10%, 또는 20%의 모션 벡터들을 분석하여 결정을 행할 수도 있다. 이들 퍼센티지들은 예시의 목적을 위해 제공되며, 본원에서 설명되는 기술들을 한정하는 것이 아니다. 모션 벡터들의 크기들은 다음 식을 사용하여 연산될 수도 있다.
Figure 112010031909355-pct00002
여기서,
Figure 112010031909355-pct00003
는 블록 b의 모션 벡터의 크기이고, sqrt(z)는 z의 스퀘어 루트이고, dx는 블록 b와 제 2 이미지 내의 대응하는 블록 사이의 x-방향의 변위이며, dy는 블록 b와 제 2 이미지 내의 대응하는 블록 사이의 y-방향의 변위이다. 큰 크기들을 갖는 모션 벡터들을 갖는 블록들은, 그 블록 내의 움직이는 오브젝트를 표시할 수도 있다. 다르게는, 이미지의 모든 블록들에 대한 모션 벡터들의 크기들은 전체 장면 내의 모션의 양을 결정하기 위해 분석될 수도 있다.
모션 검출 모듈 (26) 은 관심 있는 장면 내의 모션의 다른 표시자들을 생성할 수도 있다. 다른 양태에서, 모션 검출 모듈 (26) 은, 동일한 관심 있는 장면의 2개 이상의 이미지들 사이의 콘트라스트에서의 차이들을 사용하여 모션을 검출할 수도 있다. 예컨대, 모션 검출 모듈 (26) 은 이미지들의 양자 모두의 픽셀들의 블록들의 각각에 대한 평균 루마 값을 연산할 수도 있다. 그 후, 모션 검출 모듈 (26) 은 블록 단위에 기초하여 2개의 이미지들의 평균 루마 값들 사이의 차이를 연산할 수도 있다. 즉, 제 1 이미지의 블록과 제 1 이미지의 블록과 동일한 포지션에 위치된 제 2 이미지의 블록 사이에서 차이가 연산될 수도 있다. 모션 검출 모듈 (26) 은, 가장 큰 루마 차이를 갖는 블록을 식별하고, 관심 있는 장면 내의 모션의 양의 표시자로서 그 루마 차이를 사용할 수도 있다. 블록에 대한 큰 루마 차이는 관심 있는 장면 내의 오브젝트 모션을 표현할 수도 있다. 다르게는, 모션 검출 모듈 (26) 은 블록들의 서브세트 또는 전부에 대한 루마 차이들을 평균할 수도 있다. 이 방식으로, 평균 루마 차이는 전체 관심 있는 장면 전반에 걸친 전역적인 모션의 양을 표시할 수도 있다. 이는, 관심 있는 장면에 관한 카메라 움직임에 의해 야기되는 무션을 검출하는데 특히 유용할 수도 있다.
다른 양태에서, 모션 검출 모듈 (26) 은, 픽셀들의 블록들의 하나 이상에 대한 1-차원 투영 값들을 생성하고, 2개의 이미지들의 투영들을 비교하여, 관심 있는 장면 내의 모션을 검출할 수도 있다. 특히, 모션 검출 모듈 (26) 은 픽셀들의 블록들의 각각에 대해 수평 투영들, 수직 투영들, 또는 그 양자 모두를 연산할 수도 있다. 수평 투영들은 블록의 픽셀들의 로우의 픽셀 값들의 합산들이다. 수직 투영들은 블록의 픽셀들의 컬럼의 픽셀 값들의 합산들이다. 예컨대, 모션 검출 모듈 (26) 은, 각각의 이미지의 블록들의 각각에 대해, 다음의 식들에 따라 수평 및 수직 투영들을 결정할 수도 있다.
Figure 112010031909355-pct00004
(1)
Figure 112010031909355-pct00005
(2)
여기서, PH(j)는 y-축을 따른 픽셀들 "j"의 함수로서 수평 투영을 나타내고, PV(i)는 x-축을 따른 픽셀들 "i"의 함수로서 수직 투영을 나타내며, Im(i,j)는 픽셀들 "i" 및 "j"의 함수로서 픽셀 값들을 나타낸다. 따라서, PH는 특정한 블록의 픽셀 값들의 x-축 픽셀 값들 (i는 변화하고 j는 고정되어 유지된다) 의 합산 (
Figure 112010031909355-pct00006
) 이다. 이 방식으로, 모션 검출 모듈 (26) 은 블록의 2-차원 이미지 정보로부터 일-차원 수평 투영 벡터를 생성한다. 픽셀들의 8x8 블록들의 경우에서, 모션 검출 모듈 (26) 은 2-차원 8x8 블록을 표현하는 1-차원의 8개의 엘리먼트의 수평 투영 벡터를 생성할 수도 있다. 마찬가지로, PV는, 수평 투영이 결정되었던 동일한 블록의 2-차원 이미지 정보로부터의 일-차원 수직 투영 벡터를 형성하기 위한, 블록의 픽셀 값들의 y-축 픽셀 값들 (i는 고정되어 유지되고 j가 변화한다) 의 합산 (
Figure 112010031909355-pct00007
), 즉 Im(i,j)이다. 각각의 블록은, 모든 블록이 일련의 수직 및 수평 투영들로 감소될 때까지 동일한 프로시져를 경험한다.
그 후, 모션 검출 모듈 (26) 은, 이미지들의 픽셀들의 블록들의 각각의 수평 및/또는 수직 투영들 사이의 차이를 연산할 수도 있다. 모션 검출 모듈 (26) 은, 가장 큰 투영 차이를 갖는 블록 또는 블록들을 식별하고, 관심 있는 장면 내의 모션의 양의 표시자로서 그 투영 차이를 사용할 수도 있다. 이 방식으로, 선택된 투영 차이는 관심 있는 장면 내의 움직이는 오브젝트의 표시자일 수도 있다. 다르게는, 모션 검출 모듈 (26) 은 이미지들의 블록들의 서브세트 또는 전부에 대한 투영 차이들을 평균할 수도 있다. 이 방식으로, 평균 투영 차이는 관심 있는 장면의 전역적인 모션의 양을 표시할 수도 있다.
다른 양태에서, 모션 검출 모듈 (26) 은, 이미지들의 각각에 대한 히스토그램들을 연산하고, 관심 있는 장면 내의 모션의 양의 표시자로서 히스토그램들 사이의 차이를 연산할 수도 있다. 예컨대, 모션 검출 모듈 (26) 은, 이미지들의 각각에 대해, 특정한 이미지에 걸친 픽셀 값들의 분포를 표현하는 히스토그램을 생성할 수도 있다. 모션 검출 모듈은 관심 있는 장면의 모션의 표시자로서 2개 이상의 이미지들의 히스토그램들 사이의 차이를 연산할 수도 있다. 히스토그램들에서의 큰 차이들은 관심 있는 장면 내의 많은 양의 움직임을 표시할 수도 있다.
다른 양태에서, 모션 검출 모듈 (26) 은, 관심 있는 장면 내의 모션의 표시로서 이미지들의 각각의 픽셀들의 적어도 일부의 픽셀 값들 사이의 차이를 연산할 수도 있다. 예컨대, 모션 검출 모듈 (26) 은, 이미지들의 픽셀 포지션들의 각각의 픽셀 값들 사이의 차이를 연산하고, 차이들을 합산하여, 장면 내의 모션의 표시자를 생성할 수도 있다. 차이들의 더 큰 합산은 장면 내의 많은 양의 모션을 표시할 수도 있다. 다르게는, 모션 검출 모듈 (26) 은 블록 단위에 기초하여 상이한 표시자들의 합을 연산할 수도 있다. 즉, 모션 검출 모듈 (26) 은, 블록들의 각각의 픽셀 값들 사이의 차이들을 연산하며, 장면 내의 오브젝트들의 모션을 결정하기 위해 이미지 블록 차이를 획득하도록 블록들 내의 픽셀 값의 차이들을 합산할 수도 있다.
구성 조정 모듈 (27) 은, 모션 검출 모듈 (26) 에 의해 생성된 하나 이상의 표시자들을 분석하고, 2개의 이미지들 사이에서 검출된 모션의 양에 기초하여, 이미지 센서 (4) 의 하나 이상의 구성 파라미터들을 조정한다. 예시의 목적으로 이미지 센서 (4) 의 이득 및/또는 노출 시간들을 조정하는 것이 여기서 논의되었지만, 구성 조정 모듈 (27) 은 이미지 센서 (4) 의 다른 구성 파라미터들을 조정할 수도 있다. 일반적으로, 구성 조정 모듈 (27) 은, 예컨대 큰 모션 벡터들, 차이들의 큰 합산, 큰 루마 차이들, 큰 히스토그램 차이들, 큰 1-차원 투영 차이들 등과 같은, 비교적 많은 양의 모션을 포함하는 장면들에 대해 이미지 센서 (4) 의 이득을 증가시킬 수도 있다. 이미지 센서 (4) 의 이득을 증가시키는 것은, 더 짧은 시간의 기간 동안 관심 있는 장면에 이미지 센서 (4) 가 노출되는 것에 대응하여, 증가된 노이즈의 희생으로 많은 모션을 갖는 장면들에서 블러를 감소시킬 수도 있다. 역으로, 구성 조정 모듈 (27) 은, 관심 있는 장면 내에서 비교적 적은 양의 변화를 포함하거나 또는 모션을 포함하지 않는 장면들에 대한 이미지 센서 (4) 의 이득을 감소시킬 수도 있다. 이미지 센서 (4) 의 이득을 감소시키는 것은, 더 긴 시간의 기간 동안 관심 있는 장면에 이미지 센서 (4) 가 노출되는 것에 대응하여, 증가된 블럭의 희생으로 노이즈를 감소시킬 수도 있다.
ISO 50, ISO 100, 및 ISO 200의 민감도 설정들을 갖는 이미지 캡쳐 디바이스에 대해, 예컨대, 구성 조정 모듈 (27) 은 이하 설명되는 바와 같이 ISO 설정을 선택할 수도 있다. 예컨대, ISO 설정은 특정한 이득과 노출 시간의 쌍에 대응할 수도 있다. ISO 50은 가장 작은 이득과 가징 긴 노출 시간에 대응할 수도 있고, ISO 200은 가장 큰 이득과 가장 짧은 노출 시간에 대응할 수도 있다. 구성 조정 모듈 (27) 은, 예컨대 가장 큰 모션 벡터들의 평균 모션 벡터 크기가 이미지의 폭의 대략 1% 미만인 경우에 ISO 50을 선택할 수도 있다. 1000 픽셀들의 폭을 갖는 이미지에 대해, 예컨대, 센서 제어 모듈 (9) 은, 모션 벡터들의 크기가 10 미만인 경우에 ISO 50을 선택할 수도 있다. 구성 조정 모듈 (27) 은, 평균 모션 벡터 크기가 이미지의 폭의 대략 1%와 10% 사이인 경우에 ISO 100을 선택할 수도 있다. 구성 조정 모듈 (27) 은, 평균 모션 벡터 크기가 이미지의 폭의 대략 10%와 20% 사이인 경우에 ISO 200을 선택할 수도 있다. 특정한 민감도 설정들과 모션 벡터의 크기를 연관시키기 위해 다른 임계치들이 사용될 수도 있다. 또한, 예컨대 ISO 50과 ISO 100 사이와 같이 설정들의 사이, 또는 예컨대 ISO 200 위와 같이 설정들의 위 또는 아래에 추가적인 민감도 설정들이 포함될 수도 있다. 예시적으로 설명된 상기 구성 조정 모듈 (27) 이 모션 벡터들을 사용하여 민감도 설정을 선택하지만, 루마 차이들, 1-차원 투영 차이들, 픽셀 값 차이들, 히스토그램 차이들, 또는 모션의 하나보다 더 많은 표시자의 조합과 같은, 모션의 다른 표시자들의 레인지 (range) 들을 사용하여 유사한 조정들이 행해질 수도 있다. 예컨대, 구성 조정 모듈 (27) 은, 장면 내의 모션의 2개 이상의 표시자들의 가중화된 합산의 함수로서 이미지 센서 (4) 의 구성 파라미터들을 조정할 수도 있다.
몇몇 양태들에서, 이미지 프로세서 (6) 는, 모션의 표시자들을 예컨대 이득들 및/또는 노출 시간들과 같은 대응하는 구성 파라미터들과 연관시키는 구성 데이터 (28) 를 유지할 수도 있다. 예컨대, 구성 데이터 (28) 는, 모션 벡터들, 루마 차이들, 투영 차이들, 이미지 픽셀 값 차이들, 및/또는 히스토그램 차이들의 크기들을 특정한 이득들 및 노출 시간들과 연관시킬 수도 있다. 이미지 프로세서 (6) 내에 상주하는 것으로서 도 2에 예시되지만, 구성 데이터 (28) 는, 이미지 프로세서 (6) 가 커플링된 이미지 스토리지 모듈 (8) 내에 유지될 수도 있다. 예컨대, 구성 데이터 (28) 는, 카메라의 상이한 동작 모드들에 대한 복수의 상이한 구성 파라미터들 뿐만 아니라, 모션의 표시자들의 크기들을 대응하는 이득/노출 시간 쌍들과 연관시키는 데이터 구조를 유지할 수도 있다.
몇몇 경우들에서, 구성 조정 모듈 (27) 은, 밝기에 기초하여 이미지 센서 (4) 에 대한 초기 구성 파라미터들을 선택하고, 관심 있는 장면 내의 모션의 분석에 기초하여 이미지 센서 (4) 의 구성 파라미터들을 조정할 수도 있다. 예들로서 이득 및 노출 시간을 사용하면, 구성 조정 모듈 (27) 은, 주변 환경이 밝은 경우에 더 작은 이득 및 더 긴 노출 시간 (예컨대 ISO 50 설정에 대응) 을 초기에 선택할 수도 있다. 역으로, 구성 조정 모듈 (27) 은, 주변 환경이 어두운 경우에 더 긴 이득 및 더 짧은 노출 시간 (예컨대 ISO 200 또는 더 높은 설정에 대응) 을 초기에 선택할 수도 있다. 이를 위하여, 구성 데이터 (28) 는 밝기의 레벨들을 대응하는 구성 파라미터들과 연관시키는 데이터 구조를 또한 포함할 수도 있다.
구성 조정 모듈 (27) 에 의해 선택된 초기 이득 및 노출 시간은, 관심 있는 장면의 모션을 분석하는데 사용되는 2개 이상의 프리뷰 이미지들을 캡쳐링하기 위해 이미지 센서 (4) 에 의해 사용될 수도 있다. 그 후, 상술된 민감도 제어 기술들은 관심 있는 장면 내의 모션에 기초하여, 이미지 센서 (4) 의 초기 이득 및 노출 시간 설정들을 조정하기 위해 사용될 수도 있다. 몇몇 경우들에서, 밝기에 기초하여 선택된 설정은 모션 분석에 기초하여 변화할 것이다. 이 방식으로, 구성 조정 모듈 (27) 은 관심 있는 장면 내의 모션에 기초하여, 선택된 구성 파라미터들을 오버라이드 (override) 할 수도 있다. 이는 이미지에 추가적인 노이즈를 도입할 수도 있지만, 모션에 의해 야기되는 이미지의 블러를 상당히 감소시킬 것이다.
본원에서 설명되고 이미지 프로세서 (6) 에 속하는 기능은, 컴퓨터-판독가능 매체에 저장된 명령들을 실행하는 하나 이상의 프로그래밍 가능한 프로세서들에 의해 수행될 수도 있으며, 여기서 명령들 및/또는 코드는 프로세서로 하여금 본원에서 설명되는 민감도 선택 등록을 수행하게 한다. 몇몇 경우들에서, 컴퓨터-판독가능 매체는, 제조자들에게 판매되고/되거나 디바이스에서 사용될 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다.
도 3은, 본원에서 설명되는 이미지 센서 구성 기술들을 수행하는, 도 2의 이미지 캡쳐 디바이스 (2) 와 같은 이미지 캡쳐 디바이스의 예시적인 동작을 예시하는 플로우도이다. 초기에, 이미지 캡쳐 디바이스 (2) 의 이미지 센서 (4) 는, 2개 이상의 이미지들을 캡쳐링하고, 이미지 버퍼들 (20) 에 이미지들을 저장한다 (30). 상술된 바와 같이, 2개 이상의 이미지들은, 서로 간에 밀리초 또는 더 짧은 시간 기간들 내에 이미지 센서 (4) 에 의해 캡쳐링되는 연속하는 이미지들일 수도 있다. 예컨대, 연속하는 이미지들은 이미지 프리뷰 동안 캡쳐링될 수도 있다. 또한, 이미지 센서 (4) 는, 관심 있는 장면의 밝기의 함수로서 선택되는, 예컨대 이득 및 노출 시간과 같은 초기 구성 파라미터들을 사용하여, 이미지들을 캡쳐링할 수도 있다.
블록 분할기 (24) 는 이미지들 중 적어도 하나를 복수의 블록들로 분할한다 (32). 블록들은 오버래핑하거나 또는 오버래핑하지 않을 수도 있고, 다양한 치수들일 수도 있다. 모션 검출 모듈 (26) 은 관심 있는 장면 내의 모션의 양을 결정한다 (34). 상술된 바와 같이, 모션 검출 모듈 (26) 은, 모션 벡터들, 2개의 이미지들 사이의 루마 값들에서의 차이들, 2개의 이미지들의 1-차원 투영 값들 사이의 차이들, 2개의 이미지들의 히스토그램들 사이의 차이들 등과 같은, 임의의 다수의 표시자들을 사용하여, 관심 있는 장면 내의 모션의 양을 결정할 수도 있다.
구성 조정 모듈 (27) 은 모션의 결정된 양에 기초하여, 이미지 센서 (4) 의 구성 파라미터들을 조정할지를 결정한다 (36). 이미지 센서의 초기 구성 파라미터들이 작은 이득을 포함하는 경우에, 구성 조정 모듈 (27) 은, 장면이 예컨대 큰 모션 벡터들, 차이들의 큰 합산, 큰 루마 차이들, 큰 히스토그램 차이들, 큰 1-차원 투영 차이들 등과 같은, 비교적 많은 양의 모션을 포함하는 경우에 구성 파라미터들을 조정하기로 결정할 수도 있다. 역으로, 구성 조정 모듈 (27) 은, 관심 있는 장면 내에서 비교적 적은 양의 모션을 포함하거나 또는 모션을 포함하지 않는 장면들에 대해 이미지 센서 (4) 의 현재의 이득을 감소시키거나 또는 유지할 수도 있다.
구성 조정 모듈 (27) 이 이미지 센서 (4) 의 구성 파라미터들에 대한 조정이 바람직하다고 결정하는 경우에, 구성 조정 모듈 (27) 은 이미지 센서 (4) 의 구성을 재구성한다 (37). 예컨대, 구성 조정 모듈 (27) 은 이미지 센서 (4) 의 센서 이득, 이미지 센서 (4) 의 노출 시간, 또는 이들의 조합을 재구성할 수도 있다. 이미지 센서 (4) 의 민감도를 재구성한 후, 또는 이미지 센서 (4) 의 민감도가 재구성될 필요가 없는 경우에, 이미지 센서 (4) 는, 사용자에 의한 버튼의 활성화 시에, 구성된 설정들을 사용하여 관심 있는 장면의 이미지를 캡쳐링하고 저장한다 (38). 이 방식으로, 이미지 캡쳐 디바이스는 관심 있는 장면 내의 모션의 함수로서 이미지 센서 (4) 를 구성한다. 예시의 목적을 위해 이미지 센서 (4) 의 이득 및/또는 노출 시간들을 조정하는 것으로서 여기서 논의되지만, 구성 조정 모듈 (27) 은 이미지 센서 (4) 의 다른 구성 파라미터들을 조정할 수도 있다.
도 4는, 이미지와 연관된 모션 벡터들의 적어도 일부에 기초하여 이미지 센서 구성을 수행하는, 도 2의 이미지 캡쳐 디바이스 (2) 와 같은 이미지 캡쳐 디바이스의 예시적인 동작을 예시하는 플로우도이다. 초기에, 이미지 캡쳐 디바이스 (2) 의 이미지 센서 (4) 는 2개 이상의 이미지들을 캡쳐링하고, 이미지 버퍼들 (20) 에 이미지들을 저장한다 (40). 상술된 바와 같이, 2개 이상의 이미지들은, 서로 간에 밀리초 또는 더 짧은 시간 기간들 내에서 이미지 센서 (4) 에 의해 캡쳐링된 연속하는 이미지들일 수도 있다. 예컨대, 연속하는 이미지들은 이미지 프리뷰 동안 캡쳐링될 수도 있다. 또한, 이미지 센서 (4) 는, 관심 있는 장면의 밝기의 함수로서 선택된, 예컨대 이득 및 노출 시간과 같은 초기 구성 파라미터들을 사용하여 이미지들을 캡쳐링할 수도 있다.
블록 분할기 (24) 는 이미지들 중 적어도 하나를 복수의 블록들로 분할한다 (42). 블록들은 오버래핑하거나 또는 오버래핑하지 않을 수도 있고, 다양한 치수들일 수도 있다. 모션 검출 모듈 (26) 은 이미지의 블록들의 각각에 대한 모션 벡터들을 연산한다 (44). 모션 검출 모듈 (26) 은 분석하기 위한 모션 벡터들의 서브세트를 선택한다 (46). 상술된 바와 같이, 모션 검출 모듈 (26) 은 이미지의 가장 큰 모션 벡터들을 포함하는 서브세트를 선택할 수도 있다. 예컨대, 모션 검출 모듈 (26) 은 분석될 모션 벡터들의 서브세트로서 블록들의 가장 큰 10%의 모션 벡터들을 선택할 수도 있다. 그러나, 몇몇 양태들에서, 모션 검출 모듈 (26) 은 서브세트만을 분석하는 대신 이미지에 대한 모션 벡터들의 전체 세트를 분석할 수도 있다. 모션 검출 모듈 (26) 은 모션 벡터들의 서브세트에 대한 평균 크기를 연산한다 (48). 예컨대, 평균 크기는 관심 있는 장면 내의 움직이는 오브젝트를 표현할 수도 있다.
구성 조정 모듈 (27) 은, 모션 벡터들의 서브세트에 대해 연산된 평균 크기에 기초하여, 이미지 센서 (4) 의 구성 파라미터들을 조정할지를 결정한다 (50). 몇몇 양태들에서, 구성 조정 모듈 (27) 은 모션 벡터 크기들을 대응하는 구성 파라미터들 (예컨대, ISO 이득들 및/또는 노출 시간들) 과 연관시키는 구성 데이터 (28) 를 유지할 수도 있다. 예컨대, 구성 조정 모듈 (27) 은, 예컨대 가장 큰 모션 벡터들의 평균 모션 벡터 크기가 이미지의 폭의 대략 1% 미만인 경우에 ISO 50 설정을 선택할 수도 있다. 구성 조정 모듈 (27) 은, 평균 모션 벡터 크기가 이미지의 폭의 대략 1%와 10% 사이인 경우에 ISO 100을 선택할 수도 있다. 구성 조정 모듈 (27) 은, 평균 모션 벡터 크기가 이미지의 폭의 대략 10%와 20% 사이인 경우에 ISO 200을 선택할 수도 있다. 모션 벡터의 크기를 특정한 민감도 설정들과 연관시키기 위해 다른 임계치들이 사용될 수도 있다.
구성 조정 모듈 (27) 이, 이미지 센서 (4) 의 구성 파라미터들에 대한 조정이 바람직하다고 결정하는 경우에, 구성 조정 모듈 (27) 은 이미지 센서 (4) 의 구성을 재구성한다 (52). 예컨대, 구성 조정 모듈 (27) 은 이미지 센서 (4) 의 센서 이득, 이미지 센서 (4) 의 노출 시간, 또는 이들의 조합을 재구성할 수도 있다. 이미지 센서 (4) 의 민감도를 재구성한 후, 또는 이미지 센서 (4) 의 민감도가 재구성될 필요가 없는 경우에, 이미지 센서 (4) 는, 사용자에 의한 버튼의 활성 시에, 구성된 설정들을 사용하여 관심 있는 장면의 이미지를 캡쳐링하고 저장한다 (54). 이 방식으로, 이미지 캡쳐 디바이스는 관심 있는 장면 내의 모션의 함수로서 이미지 센서 (4) 를 구성한다. 도 2에 대하여 상술된 바와 같이, 모션의 다른 표시자들을 사용하여 유사한 조정 기술들이 이용될 수도 있다.
도 5는, 본원에서 설명되는 이미지 캡쳐 기술들을 구현하는 이미지 캡쳐 디바이스 (2) 를 포함하는 예시적인 무선 통신 디바이스 (60) 를 예시하는 블록도이다. 즉, 도 5는 무선 통신 디바이스 내에 통합된 이미지 캡쳐 디바이스 (2) 를 도시한다. 이미지 캡쳐 디바이스 (2) 의 동작은 도 1에 대하여 상술되어 있으며, 따라서 여기서 상세히 설명되지 않을 것이다. 무선 통신 디바이스 (60) 는, 이미지 캡쳐링 능력들을 갖는 셀룰러 전화기 (예컨대, 소위 카메라 전화기 또는 비디오 전화기), 비디오 레코더, 휴대 정보 단말 (PDA), 랩톱 컴퓨터, 또는 이미지 캡쳐링 및 무선 통신 능력들을 갖는 임의의 다른 핸드헬드 디바이스와 같은 무선 통신 디바이스 핸드셋을 포함할 수도 있다. 무선 통신 디바이스의 컨텍스트에서 예시되지만, 본원의 기술들은 무선 통신 디바이스들에 적용가능할 수도 있다.
도 5의 예에서, 무선 통신 디바이스 (60) 는 이미지 캡쳐 디바이스 (2), 인코딩 모듈 (62), 및 송신기 (64) 를 포함한다. 인코딩 모듈 (62) 은 캡쳐링된 이미지 정보를 인코딩하여, 저장 및/또는 송신을 위한 특정한 이미지 압축 포맷으로 그 이미지를 압축할 수도 있다. 인코딩 모듈 (62) 은, JPEG, TIFF, GIF, 또는 다른 이미지 압축 포맷을 포함하는 임의의 다수의 이미지 압축 포맷들을 사용하여 이미지를 압축할 수도 있다. 비디오의 경우에서, 인코딩 모듈 (62) 은, MPEG, MPEG AVC (Advanced Video Coding) 파트 10, ITU H.264 등과 같은 임의의 다수의 비디오 압축 포맷들을 사용하여 비디오를 압축할 수도 있다.
무선 통신 디바이스 (60) 는 송신기 (64) 를 통해 다른 디바이스에 인코딩된 이미지를 송신할 수도 있다. 통상적으로, 송신기 (64) 는, 코드 분할 다중 접속 (CDMA) 네트워크, 광대역 코드 분할 다중 접속 (W-CDMA) 네트워크, 시분할 다중 접속 (TDMA) 네트워크, 및 이동 통신용 글로벌 시스템 (GSM) 네트워크, 또는 다른 유사한 네트워크와 같은 셀룰러 네트워크로의 인터페이스를 제공한다. 셀룰러 네트워크에 추가로 또는 대안으로, 송신기 (64) 는, 임의의 관련 IEEE (Institute of Electrical and Electronics Engineers) 802.11 표준들, 또는 임의의 다른 유선 또는 무선 네트워크에 의해 정의된 무선 네트워크로의 인터페이스를 제공할 수도 있다. 이미지 캡쳐 디바이스 (2), 인코딩 모듈 (62), 및 송신기 (64) 만을 포함하는 것으로서 설명되어 있지만, 무선 통신 디바이스 (60) 는, 디스플레이, 사용자와 상호작용하기 위한 사용자 인터페이스 (예컨대, 키보드), 추가적인 동작들을 수행하기 위한 하나 이상의 프로세서들, 및 탈착가능한 메모리, 해드폰, 전원 공급기 및 임의의 다른 그러한 주변장치들을 수용하기 위한 다양한 포트들 및 리셉터클 (receptacle) 들과 같은 다른 모듈들을 포함할 수도 있다.
본원에서 설명된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께 구현되거나 또는 분리되지만 상호동작 가능한 로직 디바이스들로서 개별적으로 구현될 수도 있다. 소프트웨어로 구현되는 경우에, 기술들은, 실행되는 경우에 상술된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 컴퓨터-판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 매체는 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터-판독가능 매체는, 동기식 동적 랜덤 액세스 메모리 (SDRAM), 판독-전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍 가능한 판독-전용 메모리 (EEPROM), 플래시 메모리, 자성 또는 광학 데이터 스토리지 매체 등과 같은 랜덤 액세스 메모리 (RAM) 를 포함할 수도 있다. 다르게 또는 추가적으로, 기술들은, 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 명령들 또는 데이터 구조들의 형태로 코드를 운반 또는 통신하는 컴퓨터-판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
코드는, 하나 이상의 DSP들, 범용 마이크로프로세서들, ASIC들, FPGA들, FPLA들, 또는 다른 균등한 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서들에 의해 실현될 수도 있다. 따라서, 본원에서 사용되는 "프로세서" 라는 용어는 본원에서 설명된 기술들의 구현에 적합한 임의의 전술한 구조 또는 임의의 다른 구조를 지칭할 수도 있다. 또한, 몇몇 양태들에서, 본원에서 설명된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공되거나, 또는 결합된 비디오 CODEC 내에 통합될 수도 있다. 따라서, 본 개시는, 본원에서 설명된 기술들 중 하나 이상을 구현하기 위한 회로를 포함하는 임의의 다양한 집적 회로 디바이스들을 또한 고려한다. 그러한 회로는, 단일 집적 회로 칩 또는 다수의 상호동작 가능한 집적 회로 칩들에서 제공될 수도 있다.
다양한 기술들이 설명되었다. 이들 및 다른 예시적인 양태들은 다음의 청구의 범위 내에 있다.

Claims (25)

  1. 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을, 상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 평균 휘도 값들을 연산함으로써, 분석하는 단계;
    상기 제 1 이미지의 픽셀들의 블록들의 평균 휘도 값들과 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 평균 휘도 값들 사이의 복수의 차이들을 연산하는 단계;
    상기 복수의 차이들에 기초하여 상기 관심 있는 장면의 전역적인 모션의 양을 결정하는 단계; 및
    상기 결정된 전역적인 모션의 양에 기초하여, 상기 장면 내의 모션의 2 이상의 표시자들의 가중화된 합산의 함수로서, 이미지들을 캡쳐링하기 위해 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하는 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하는 단계는, 상기 이미지 센서의 이득과, 상기 관심 있는 장면에 상기 이미지 센서가 노출되는 노출 시간 중 적어도 하나를 조정하는 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하는 단계는, 상기 제 1 이미지와 상기 제 2 이미지 사이의 모션이 임계치를 초과하는 경우에 상기 이미지 센서의 이득을 증가시키는 단계, 및 상기 제 1 이미지와 상기 제 2 이미지 사이의 모션이 임계치 미만인 경우에 상기 이미지 센서의 이득을 감소시키는 단계 중 하나의 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 제 1 이미지와 상기 제 2 이미지 사이의 모션을 분석하는 단계는,
    상기 제 1 이미지를 픽셀들의 복수의 블록들로 분할하는 단계;
    상기 제 1 이미지의 픽셀들의 상기 복수의 블록들의 각각에 대해 모션 벡터를 연산하는 단계; 및
    상기 복수의 블록들의 모션 벡터들의 적어도 서브세트에 기초하여 상기 모션을 분석하는 단계를 더 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 단계는,
    평균 휘도 값들에서의 차이들에 기초하여 상기 모션을 분석하는 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 단계는,
    상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 1-차원 수평 투영 값들 및 1-차원 수직 투영 값들을 연산하는 단계;
    상기 제 1 이미지의 픽셀들의 하나 이상의 블록들의 수평 및 수직 투영 값들과 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 수평 및 수직 투영 값들 사이의 차이를 연산하는 단계; 및
    수평 및 수직 투영들에서의 차이들에 기초하여 상기 모션을 분석하는 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 단계는,
    상기 제 1 이미지 및 상기 제 2 이미지의 각각에 대해, 각각의 이미지에 걸친 픽셀 값들의 분포를 표현하는 히스토그램을 연산하는 단계;
    상기 제 1 이미지의 히스토그램과 상기 제 2 이미지의 히스토그램 사이의 차이를 연산하는 단계; 및
    히스토그램들 사이의 차이들에 기초하여 상기 모션을 분석하는 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 단계는,
    제 1 프레임의 픽셀들의 적어도 일부에 대한 픽셀 값들을 제 2 프레임의 대응하는 픽셀들의 픽셀 값들로부터 감산하여, 픽셀 값 차이들을 연산하는 단계;
    상기 픽셀 값 차이들을 합산하는 단계; 및
    상기 픽셀 값 차이들의 합에 기초하여 상기 모션을 분석하는 단계를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 방법.
  9. 하나 이상의 구성 파라미터들에 따라 이미지들을 캡쳐링하기 위한 이미지 센서; 및
    적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을, 상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 평균 휘도 값들을 연산함으로써, 분석하고, 상기 제 1 이미지의 픽셀들의 블록들의 평균 휘도 값들과 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 평균 휘도 값들 사이의 복수의 차이들을 연산하고, 상기 복수의 차이들에 기초하여 상기 관심 있는 장면의 전역적인 모션의 양을 결정하고, 상기 결정된 전역적인 모션의 양에 기초하여, 상기 장면 내의 모션의 2 이상의 표시자들의 가중화된 합산의 함수로서, 이미지들을 캡쳐링하기 위해 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하는, 이미지 프로세서를 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  10. 제 9 항에 있어서,
    상기 이미지 프로세서는, 상기 이미지 센서의 이득과, 상기 관심 있는 장면에 상기 이미지 센서가 노출되는 노출 시간 중 적어도 하나를 조정하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  11. 제 9 항에 있어서,
    상기 이미지 프로세서는, 상기 제 1 이미지를 픽셀들의 복수의 블록들로 분할하며, 상기 제 1 이미지의 픽셀들의 상기 복수의 블록들의 각각에 대해 모션 벡터를 연산하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  12. 제 9 항에 있어서,
    상기 디바이스는 무선 전화기인, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  13. 제 9 항에 있어서,
    상기 이미지 프로세서는, 상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 1-차원 수평 투영 값들 및 1-차원 수직 투영 값들을 연산하고, 상기 제 1 이미지의 픽셀들의 하나 이상의 블록들의 수평 및 수직 투영 값들과 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 수평 및 수직 투영 값들 사이의 차이를 연산하며, 수평 및 수직 투영들에서의 차이들에 기초하여 상기 모션을 분석하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  14. 제 9 항에 있어서,
    상기 이미지 프로세서는, 상기 제 1 이미지 및 상기 제 2 이미지의 각각에 대해, 각각의 이미지에 걸친 픽셀 값들의 분포를 표현하는 히스토그램을 연산하고, 상기 제 1 이미지의 히스토그램과 상기 제 2 이미지의 히스토그램 사이의 차이를 연산하며, 히스토그램들 사이의 차이들에 기초하여 상기 모션을 분석하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  15. 제 9 항에 있어서,
    상기 이미지 프로세서는, 제 1 프레임의 픽셀들의 적어도 일부에 대한 픽셀 값들을 제 2 프레임의 대응하는 픽셀들의 픽셀 값들로부터 감산하여, 픽셀 값 차이들을 연산하고, 상기 픽셀 값 차이들을 합산하며, 상기 픽셀 값 차이들의 합에 기초하여 상기 모션을 분석하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  16. 제 9 항에 있어서,
    상기 디바이스는 무선 통신 디바이스를 포함하며,
    상기 무선 통신 디바이스는,
    상기 캡쳐링된 이미지를 인코딩하는 인코딩 모듈; 및
    상기 인코딩된 이미지를 송신하는 송신기를 더 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 디바이스.
  17. 디지털 이미지 데이터를 캡쳐링하기 위한, 명령들을 갖는 컴퓨터 판독가능 매체로서,
    상기 명령들은,
    적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하기 위한 코드;
    상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 평균 휘도 값들을 연산하기 위한 코드;
    상기 제 1 이미지의 픽셀들의 하나 이상의 블록들의 평균 휘도 값들과 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 평균 휘도 값들 사이의 복수의 차이들을 연산하기 위한 코드;
    상기 복수의 차이들에 기초하여 상기 관심 있는 장면의 전역적인 모션의 양을 결정하기 위한 코드; 및
    상기 결정된 전역적인 모션의 양에 기초하여, 상기 장면 내의 모션의 2 이상의 표시자들의 가중화된 합산의 함수로서, 이미지들을 캡쳐링하기 위해 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  18. 제 17 항에 있어서,
    상기 이미지들을 캡쳐링하기 위해, 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하기 위한 코드는, 상기 이미지 센서의 이득과, 상기 관심 있는 장면에 상기 이미지 센서가 노출되는 노출 시간 중 적어도 하나를 조정하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  19. 제 17 항에 있어서,
    상기 제 1 이미지와 상기 제 2 이미지 사이의 모션을 분석하기 위한 코드는,
    상기 제 1 이미지를 픽셀들의 복수의 블록들로 분할하기 위한 코드;
    상기 제 1 이미지의 픽셀들의 상기 복수의 블록들의 각각에 대해 모션 벡터를 연산하기 위한 코드; 및
    상기 복수의 블록들의 모션 벡터들의 적어도 서브세트에 기초하여 상기 모션을 분석하기 위한 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  20. 제 17 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하기 위한 코드는,
    평균 휘도 값들에서의 차이들에 기초하여 상기 모션을 분석하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  21. 제 17 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하기 위한 코드는,
    상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 1-차원 수평 투영 값들 및 1-차원 수직 투영 값들을 연산하기 위한 코드;
    상기 제 1 이미지의 픽셀들의 하나 이상의 블록들의 수평 및 수직 투영 값들과, 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 수평 및 수직 투영 값들 사이의 차이를 연산하기 위한 코드; 및
    수평 및 수직 투영들에서의 차이들에 기초하여 상기 모션을 분석하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  22. 제 17 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하기 위한 코드는,
    상기 제 1 이미지 및 상기 제 2 이미지의 각각에 대해, 각각의 이미지에 걸친 픽셀 값들의 분포를 표현하는 히스토그램을 연산하기 위한 코드;
    상기 제 1 이미지의 히스토그램과 상기 제 2 이미지의 히스토그램 사이의 차이를 연산하기 위한 코드; 및
    히스토그램들 사이의 차이들에 기초하여 상기 모션을 분석하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  23. 제 17 항에 있어서,
    상기 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하기 위한 코드는,
    제 1 프레임의 픽셀들의 적어도 일부에 대한 픽셀 값들을 제 2 프레임의 대응하는 픽셀들의 픽셀 값들로부터 감산하여, 픽셀 값 차이들을 연산하기 위한 코드;
    상기 픽셀 값 차이들을 합산하기 위한 코드; 및
    상기 픽셀 값 차이들의 합에 기초하여 상기 모션을 분석하기 위한 코드를 포함하는, 컴퓨터 판독가능 매체.
  24. 적어도 관심 있는 장면의 제 1 이미지와 상기 관심 있는 장면의 제 2 이미지 사이의 모션을 분석하는 수단;
    상기 제 1 이미지 및 상기 제 2 이미지의 픽셀들의 하나 이상의 블록들에 대해 평균 휘도 값들을 연산하는 수단;
    상기 제 1 이미지의 픽셀들의 하나 이상의 블록들의 평균 휘도 값들과 상기 제 2 이미지의 픽셀들의 대응하는 블록들의 평균 휘도 값들 사이의 복수의 차이들을 연산하는 수단;
    상기 복수의 차이들에 기초하여 상기 관심 있는 장면의 전역적인 모션의 양을 결정하는 수단; 및
    상기 결정된 전역적인 모션의 양에 기초하여, 상기 장면 내의 모션의 2 이상의 표시자들의 가중화된 합산의 함수로서, 이미지들을 캡쳐링하기 위해 이미지 센서에 의해 사용되는 하나 이상의 구성 파라미터들을 조정하는 수단을 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 장치.
  25. 제 24 항에 있어서,
    상기 관심 있는 장면의 밝기에 기초하여 이미지들을 캡쳐링하기 위해, 상기 이미지 센서에 의해 사용되는 초기 구성 파라미터들을 결정하는 수단을 더 포함하는, 디지털 이미지 데이터를 캡쳐링하기 위한 장치.
KR1020107010898A 2007-10-19 2008-10-17 모션 보조된 이미지 센서 구성 KR101275933B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/875,652 US8063942B2 (en) 2007-10-19 2007-10-19 Motion assisted image sensor configuration
US11/875,652 2007-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020127020143A Division KR20120104407A (ko) 2007-10-19 2008-10-17 모션 보조된 이미지 센서 구성

Publications (2)

Publication Number Publication Date
KR20100076034A KR20100076034A (ko) 2010-07-05
KR101275933B1 true KR101275933B1 (ko) 2013-06-14

Family

ID=40243825

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107010898A KR101275933B1 (ko) 2007-10-19 2008-10-17 모션 보조된 이미지 센서 구성
KR1020127020143A KR20120104407A (ko) 2007-10-19 2008-10-17 모션 보조된 이미지 센서 구성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127020143A KR20120104407A (ko) 2007-10-19 2008-10-17 모션 보조된 이미지 센서 구성

Country Status (7)

Country Link
US (1) US8063942B2 (ko)
EP (1) EP2051209B1 (ko)
JP (1) JP5226794B2 (ko)
KR (2) KR101275933B1 (ko)
CN (1) CN101855651B (ko)
TW (1) TW200935357A (ko)
WO (1) WO2009052406A1 (ko)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
KR101417808B1 (ko) * 2007-12-06 2014-07-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5425424B2 (ja) * 2008-07-22 2014-02-26 富士フイルム株式会社 フラッシュ発光方法及び装置
WO2010033914A1 (en) 2008-09-22 2010-03-25 Freedom Scientific, Inc. Systems and methods for imaging objects
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
TWI417850B (zh) * 2009-03-12 2013-12-01 Chunghwa Picture Tubes Ltd 主動陣列式顯示器之顯示方法
KR101581222B1 (ko) * 2009-03-30 2015-12-30 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법 및 컴퓨터 판독가능 저장매체
JP5263023B2 (ja) * 2009-06-17 2013-08-14 ペンタックスリコーイメージング株式会社 撮像装置
KR101626003B1 (ko) * 2009-08-24 2016-06-13 삼성전자주식회사 디지털 촬영장치
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
JP5586918B2 (ja) * 2009-10-30 2014-09-10 キヤノン株式会社 移動検出装置および記録装置
JP5441618B2 (ja) * 2009-10-30 2014-03-12 キヤノン株式会社 移動検出装置、移動検出方法および記録装置
JP5506329B2 (ja) * 2009-10-30 2014-05-28 キヤノン株式会社 移動検出装置および記録装置
JP2011119785A (ja) * 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
TWI476632B (zh) * 2009-12-08 2015-03-11 Micro Star Int Co Ltd 運動物體辨識方法及基於運動物體辨識之指令輸入方法
US8478071B2 (en) * 2009-12-16 2013-07-02 Nvidia Corporation System and method for constructing a motion-compensated composite image
KR101710624B1 (ko) * 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
US8688393B2 (en) * 2010-07-29 2014-04-01 Medtronic, Inc. Techniques for approximating a difference between two capacitances
US8643734B2 (en) * 2010-11-10 2014-02-04 Apple Inc. Automatic engagement of image stabilization
US20120120285A1 (en) * 2010-11-16 2012-05-17 Texas Instruments Incorporated Method and apparatus for reconfiguring time of flight shot mode
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
CN102254520A (zh) * 2011-07-21 2011-11-23 福州大学 基于图像分割的电子纸的驱动方法
CN102509255B (zh) * 2011-10-26 2014-03-26 苏州百滨电子科技有限公司 高速图像采集和处理方法和装置
US8933712B2 (en) 2012-01-31 2015-01-13 Medtronic, Inc. Servo techniques for approximation of differential capacitance of a sensor
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
US9805508B1 (en) * 2013-04-01 2017-10-31 Marvell International Ltd Active augmented reality display enhancement
US20160088225A1 (en) * 2013-04-11 2016-03-24 Nokia Technologies Oy Method and technical equipment for imaging
JP6047858B2 (ja) * 2013-06-07 2016-12-21 カシオ計算機株式会社 撮影制御装置及び撮影制御方法
CN103347152A (zh) * 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
US9654741B2 (en) * 2013-07-09 2017-05-16 Siemens Energy, Inc. System and method for optical fiber based image acquisition suitable for use in turbine engines
US9407823B2 (en) 2013-12-09 2016-08-02 Microsoft Technology Licensing, Llc Handling video frames compromised by camera motion
JP6345799B2 (ja) * 2014-03-19 2018-06-20 ソニー株式会社 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御
US9560287B2 (en) * 2014-12-19 2017-01-31 Sony Corporation Noise level based exposure time control for sequential subimages
JP6704679B2 (ja) * 2015-05-01 2020-06-03 キヤノン株式会社 制御装置、光学機器、制御方法、プログラム、および、記憶媒体
US9635276B2 (en) 2015-06-10 2017-04-25 Microsoft Technology Licensing, Llc Determination of exposure time for an image frame
CN113079324A (zh) * 2015-07-10 2021-07-06 松下知识产权经营株式会社 摄像装置
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
US10616502B2 (en) * 2015-09-21 2020-04-07 Qualcomm Incorporated Camera preview
KR20180036464A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP6851854B2 (ja) * 2017-02-22 2021-03-31 キヤノン株式会社 画像処理装置、撮像装置および画像処理装置の制御方法
US10764499B2 (en) 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
WO2020107291A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 拍摄方法、装置及无人机
US11153485B2 (en) * 2019-09-05 2021-10-19 Gopro, Inc. Automated camera mode selection using local motion vector
CN113132646B (zh) * 2021-03-30 2021-12-10 深圳市阿达视高新技术有限公司 高动态范围图像生成方法、装置、计算机设备及存储介质
CN113489909B (zh) * 2021-07-30 2024-01-19 维沃移动通信有限公司 拍摄参数的确定方法、装置及电子设备
CN115706863B (zh) * 2021-08-12 2023-11-21 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203459A (ja) * 1993-12-28 1995-08-04 Sony Corp 動きベクトル検出方法及び動きベクトル検出装置
JPH11355781A (ja) * 1998-06-12 1999-12-24 Sharp Corp 動画像符号化装置
JP2002232840A (ja) * 2000-11-02 2002-08-16 Sharp Corp 動画要約方法
US20030174772A1 (en) * 2001-09-12 2003-09-18 Transchip, Inc. Systems and methods for utilizing activity detection information in relation to image processing

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322057A (ja) * 1996-05-28 1997-12-12 Canon Inc 撮像装置
WO1998034400A1 (en) * 1997-01-31 1998-08-06 Sharp Kabushiki Kaisha Scene-motion based dynamic shutter speed adjustment system and method
JP3791102B2 (ja) * 1997-03-19 2006-06-28 ソニー株式会社 露光制御装置、露光制御方法およびカメラ
US5956436A (en) * 1997-05-23 1999-09-21 Umax Data Systems Inc. Method for dynamically scanning an image
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
US6580456B1 (en) * 1997-11-16 2003-06-17 Pictos Technologies, Inc. Programmable timing generator
JPH11331833A (ja) * 1998-05-15 1999-11-30 Hitachi Ltd 広視野監視カメラシステム
JP3375557B2 (ja) * 1999-01-29 2003-02-10 松下電器産業株式会社 映像信号処理装置
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
JP3535799B2 (ja) * 2000-03-30 2004-06-07 キヤノン株式会社 液晶表示装置およびその駆動方法
FR2807902B1 (fr) * 2000-04-17 2002-10-25 Thomson Multimedia Sa Procede de detection de changement de plan dans une succession d'images video
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP4203736B2 (ja) * 2002-09-09 2009-01-07 日本ビクター株式会社 画像の動き検出装置及びコンピュータプログラム
JP4649108B2 (ja) * 2003-01-16 2011-03-09 パナソニック株式会社 画像表示装置および画像表示方法
CN100409279C (zh) * 2003-01-16 2008-08-06 松下电器产业株式会社 图像显示装置和图像显示方法
US7623152B1 (en) * 2003-07-14 2009-11-24 Arecont Vision, Llc High resolution network camera with automatic bandwidth control
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2006074130A (ja) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd 画像復号方法、画像復号装置および撮像装置
JP2006020055A (ja) * 2004-07-01 2006-01-19 Konica Minolta Holdings Inc 撮像装置
IL165852A (en) * 2004-12-19 2010-12-30 Rafael Advanced Defense Sys System and method for image display enhancement
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
KR100639111B1 (ko) * 2005-03-14 2006-10-30 주식회사 코아로직 이미지 센서의 노출 조절 장치 및 그의 조절 방법
JP4765027B2 (ja) * 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8107762B2 (en) * 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
CN101356802B (zh) * 2006-04-11 2010-09-08 松下电器产业株式会社 摄像装置
JP2007306106A (ja) * 2006-05-09 2007-11-22 Sony Corp 撮像装置、撮像方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203459A (ja) * 1993-12-28 1995-08-04 Sony Corp 動きベクトル検出方法及び動きベクトル検出装置
JPH11355781A (ja) * 1998-06-12 1999-12-24 Sharp Corp 動画像符号化装置
JP2002232840A (ja) * 2000-11-02 2002-08-16 Sharp Corp 動画要約方法
US20030174772A1 (en) * 2001-09-12 2003-09-18 Transchip, Inc. Systems and methods for utilizing activity detection information in relation to image processing

Also Published As

Publication number Publication date
JP2011502385A (ja) 2011-01-20
KR20100076034A (ko) 2010-07-05
JP5226794B2 (ja) 2013-07-03
CN101855651A (zh) 2010-10-06
WO2009052406A1 (en) 2009-04-23
CN101855651B (zh) 2013-10-16
US8063942B2 (en) 2011-11-22
EP2051209B1 (en) 2016-05-04
TW200935357A (en) 2009-08-16
US20090102935A1 (en) 2009-04-23
KR20120104407A (ko) 2012-09-20
EP2051209A1 (en) 2009-04-22

Similar Documents

Publication Publication Date Title
KR101275933B1 (ko) 모션 보조된 이미지 센서 구성
JP5908511B2 (ja) ブロックベースの画像安定化
KR101537182B1 (ko) 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화
KR101352730B1 (ko) 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
JP5739001B2 (ja) 対象領域抽出
KR101154136B1 (ko) 디지털 카메라 디바이스를 위한 화이트 밸런스 보정
US9628768B2 (en) Image processing apparatus, image capturing apparatus, image correction method, and storage medium
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
US9113059B2 (en) Image pickup apparatus and image region discrimination method
JP5254361B2 (ja) カーネル融合を使用するデジタル信号パターンの検出および分類
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
US8098288B2 (en) Imaging apparatus and method of controlling imaging
KR101337667B1 (ko) 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작
KR100951279B1 (ko) 카메라 영상 보정 방법 및 카메라 장치
US9554108B2 (en) Image processing device and storage medium storing image processing program

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 7