KR20090057443A - 이미지 캡처 디바이스의 예측 초점값 계산 - Google Patents

이미지 캡처 디바이스의 예측 초점값 계산 Download PDF

Info

Publication number
KR20090057443A
KR20090057443A KR1020097007740A KR20097007740A KR20090057443A KR 20090057443 A KR20090057443 A KR 20090057443A KR 1020097007740 A KR1020097007740 A KR 1020097007740A KR 20097007740 A KR20097007740 A KR 20097007740A KR 20090057443 A KR20090057443 A KR 20090057443A
Authority
KR
South Korea
Prior art keywords
lens
frame
lens position
focus value
scene
Prior art date
Application number
KR1020097007740A
Other languages
English (en)
Other versions
KR101068059B1 (ko
Inventor
징창 리
스제포 로버트 훙
잉 셰 노예스
친촨 앤드류 치우
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090057443A publication Critical patent/KR20090057443A/ko
Application granted granted Critical
Publication of KR101068059B1 publication Critical patent/KR101068059B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

이미지 캡처 디바이스 내의 예측 초점값 계산에 대한 기술을 설명한다. 이미지 캡처 디바이스는 디지털 스틸 카메라 및 디지털 비디오 카메라를 포함할 수도 있다. 이 기술은 렌즈 정착 직후에 제 1 프레임으로부터 계산된 렌즈 위치에 대한 손상된 초점값에 기초하여 이미지 캡처 디바이스에 포함된 렌즈의 이 렌즈 위치에서의 장면에 대한 초점값을 예측함으로써 이미지 캡처 디바이스 내의 자동 초점 프로세스를 수행하는 것을 포함한다. 따라서, 자동 초점 프로세스는 예측된 유효 초점값에 기초하여 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정하고, 제 2 프레임 동안에 다음 렌즈 위치로 렌즈를 이동시킬 수도 있다. 이러한 방법으로, 이 기술은 각 프레임 동안에 다른 렌즈 위치로 렌즈를 이동시킬 수도 있어서, 자동 초점 프로세스의 속도를 잠재적으로 2배 또는 3배가 되게 함으로써 자동 초점 레이턴시를 크게 감소시킨다.
이미지 캡처 디바이스, 예측 자동 초점, 센서 어레이, 렌즈 위치

Description

이미지 캡처 디바이스의 예측 초점값 계산{PREDICTIVE FOCUS VALUE CALCULATION FOR IMAGE CAPTURE DEVICES}
기술분야
본 개시물은 이미지 캡처 디바이스로 이미지를 캡처하는 것에 관한 것이고, 더 상세하게는, 이미지의 초점값을 계산하는 것에 관한 것이다.
배경기술
디지털 비디오 카메라 또는 디지털 스틸 카메라와 같은 이미지 캡처 디바이스는 상이한 애플리케이션 및 환경에서 사용된다. 이미지 캡처 디바이스는 장면의 타깃에 대한 다양한 거리로부터 고품질 영상 (imagery) 을 생성할 수 있어야 한다. 종래의 이미지 캡처 디바이스는 자동 초점 프로세스를 수행하여, 장면의 이미지 프레임에 대한 선명한 초점 (sharp focus) 을 달성하는 이미지 캡처 디바이스 내의 렌즈의 위치를 선택한다. 이미지 캡처 디바이스는 능동 자동 초점 프로세스, 수동 자동 초점 프로세스, 또는 이 두 프로세스의 조합을 수행할 수도 있다.
TTL (through-the-lens) 수동 자동 초점 프로세스의 경우에, 이미지 캡처 디바이스에 포함된 자동 초점 프로세스는 수개의 샘플링 렌즈 위치에서의 초점값, 즉, 초점의 정도를 나타내는 스코어를 계산하고, 그 초점값에 기초하여 장면에 대한 렌즈의 위치를 선택한다. 렌즈를 샘플링 렌즈 위치의 각각으로 이동시키는 것은, 장면에 대한 초점값을 계산하는 것과 무관, 즉, 비동기식이다. 즉, 자동 초점 프로세스는 각 프레임 동안에 장면에 대한 초점값을 계산하지만, 초점값 중 어떤 것이 렌즈 이동 이후의 렌즈 위치에 대해 유효한지를 알아야 한다.
이미지 캡처 디바이스에 포함된 센서 어레이는 각 프레임 동안에 장면에 대한 이미지 정보를 획득하고, 자동 초점 프로세스는 각 프레임으로부터 장면에 대한 초점값을 계산한다. 그러나, 렌즈 위치에서의 장면에 대한 유효 초점값을 얻기 위해, 자동 초점 프로세스는 그 렌즈 위치에서의 렌즈 정착 (lens settlement) 이후에 장면에 대한 이미지 정보의 통합을 개시한 유효 프레임을 대기하여야 한다. 자동 초점 프로세스는 렌즈가 정착되기 전에 이미지 정보의 통합을 개시한 손상된 (corrupt) 프레임 동안에 장면에 대해 계산된 초점값을 폐기할 수도 있다.
센서 어레이의 유형, 예를 들어, CCD (charge-coupled device) 또는 CMOS (complementary metal-oxide semiconductor) 에 따라, 제 1 유효 프레임은 렌즈 정착 이후에 2 개 또는 3 개 프레임일 수도 있다. 따라서, 자동 초점 프로세스는 몇 개의 프레임을 대기하여, 샘플링 렌즈 위치의 각각에 대해 유효 초점값을 계산하여야 할 수도 있다. 자동 초점 프로세스는 현재 렌즈 위치에 대한 유효 초점값을 계산한 후에만 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정할 수도 있다.
개요
일반적으로, 본 개시물은 이미지 캡처 디바이스 내의 예측 초점값 계산에 대한 기술에 관한 것이다. 이미지 캡처 디바이스는 디지털 스틸 카메라 및 디지 털 비디오 카메라를 포함할 수도 있다. 이 기술은 렌즈 위치에 대한 손상된 초점값에 기초하여 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 것을 포함한다. 손상된 초점값은 렌즈 정착 직후에 제 1 프레임으로부터 계산된다. 따라서, 예측 자동 초점 프로세스는 예측된 유효 초점값에 기초하여 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정하고, 제 2 프레임 동안에 다음 렌즈 위치로 렌즈를 이동시킬 수도 있다. 이러한 방법으로, 이 기술은 각 프레임 동안에 다른 렌즈 위치로 렌즈를 이동시킬 수도 있어서, 종래의 자동 초점 프로세스의 속도를 잠재적으로 2배 또는 3배가 되게 함으로써 자동 초점 레이턴시를 크게 감소시킨다.
본 명세서에서 설명한 기술에 따르면, 이미지 캡처 디바이스는, 각 프레임 동안에 상이한 렌즈 위치로 렌즈를 이동시키는 이미지 캡처 제어기 및 각 프레임 동안에 렌즈의 상이한 이동 스테이지에서 장면에 대한 이미지 정보를 획득하는 센서 어레이를 포함한다. 제 1 프레임 전체로부터의 이미지 정보의 판독 (readout) 이후에, 이미지 캡처 디바이스에 포함된 예측 자동 초점 모듈은 제 1 렌즈 위치에서의 렌즈 정착 직후에 제 1 프레임으로부터 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산한다. 예측 자동 초점 모듈은 제 1 렌즈 위치에 대한 손상된 초점값에 기초하여 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측한다. 이후, 예측 자동 초점 모듈은 예측된 렌즈 위치에 기초하여 제 2 렌즈 위치를 결정할 수도 있다. 이미지 캡처 제어기는 제 2 프레임 동안에 결정된 제 2 렌즈 위치로 렌즈를 이동시킨다.
장면에 대한 최대 예측 초점값을 결정하는 때에, 예측 자동 초점 모듈은 장면에 대한 최대 예측 초점값과 연관된 렌즈 위치를 선택한다. 이미지 캡처 제어기는 장면에 대해 선택된 렌즈 위치를 설정하고, 센서 어레이는 장면의 이미지 프레임에 대한 선명한 초점을 달성하기 위해 선택된 렌즈 위치를 이용하여 장면의 이미지 프레임을 캡처한다.
일 실시형태에서, 본 개시물은, 제 1 프레임 동안에 렌즈 위치로 이미지 캡처 디바이스에 포함된 렌즈를 이동시키는 단계, 렌즈 정착 이후에 제 1 프레임으로부터 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하는 단계를 포함하는 방법을 제공한다. 이 방법은, 손상된 초점값에 기초하여 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 단계를 더 포함한다.
다른 실시형태에서, 본 개시물은, 제 1 렌즈 위치에서의 렌즈 정착 이후에 제 1 프레임으로부터 계산된 제 1 렌즈 위치에 대한 손상된 초점값에 기초하여, 이미지 캡처 디바이스에 포함된 렌즈의 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 단계를 포함하는 방법을 제공한다. 이 방법은 또한 제 1 렌즈 위치에 대한 손상된 초점값을 계산한 직후에 제 2 프레임 동안에 제 2 렌즈 위치로 렌즈를 이동시키는 단계를 포함한다.
다른 실시형태에서, 본 개시물은, 프로그램가능 프로세서로 하여금 제 1 프레임 동안에 렌즈 위치로 이미지 캡처 디바이스에 포함된 렌즈를 이동시키게 하고, 렌즈 정착 이후에 제 1 프레임으로부터 그 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하게 하며, 손상된 초점값에 기초하여 그 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하게 하는 명령들을 포함하는 컴퓨터-판독가능 매체를 제공한다.
또 다른 실시형태에서, 본 개시물은, 제 1 프레임 동안에 렌즈 위치로 디바이스에 포함된 렌즈를 이동시키는 이미지 캡처 제어기를 포함하는 디바이스를 제공한다. 이 디바이스는 또한, 렌즈 정착 이후에 제 1 프레임으로부터 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하고, 손상된 초점값에 기초하여 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 예측 자동 초점 모듈을 포함한다.
다른 실시형태에서, 본 개시물은, 제 1 렌즈 위치에서의 렌즈 정착 이후에 제 1 프레임으로부터 계산된 제 1 렌즈 위치에 대한 손상된 초점값에 기초하여, 이미지 캡처 디바이스에 포함된 렌즈의 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 예측 자동 초점 모듈을 포함하는 디바이스를 제공한다. 이 디바이스는, 제 1 렌즈 위치에 대한 손상된 초점값을 계산한 직후에 제 2 프레임 동안에 제 2 렌즈 위치로 렌즈를 이동시키는 이미지 캡처 제어기를 더 포함한다.
또 다른 실시형태에서, 본 개시물은, 제 1 프레임 동안에 제 1 렌즈 위치로 디바이스에 포함된 렌즈를 이동시키는 수단, 및 제 1 렌즈 위치에서의 렌즈 정착 이후에 제 1 프레임으로부터 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하고, 손상된 초점값에 기초하여 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 수단을 포함하는 디바이스를 제공한다. 렌즈를 이동시키는 수단은 제 1 렌즈 위치에 대한 손상된 초점값의 계산 직후에 제 2 프레임 동안에 제 2 렌즈 위치로 렌즈를 이동시킨다.
본 명세서에서 설명한 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 이 기술은, 프로세서에 의해 실행되는 경우에 본 명세서에서 설명한 방법 중 하나 이상의 방법을 수행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 전체적으로 또는 부분적으로 실현될 수도 있다.
하나 이상의 실시형태의 상세한 설명이 첨부 도면 및 이하의 설명에서 개시된다. 다른 특징, 목적, 및 장점은 상세한 설명과 도면, 및 청구범위로부터 명백해진다.
도면의 간단한 설명
도 1 은 장면으로부터의 이미지 정보를 캡처하기 위한 대표적인 이미지 캡처 디바이스를 도시한 블록도이다.
도 2 는 종래의 자동 초점 프로세스 내의 이미지 정보의 대표적인 통합 및 판독 (readout) 을 도시한 도면이다.
도 3 은 도 1 의 이미지 캡처 디바이스 내의 예측 자동 초점 모듈을 더 상세히 도시한 블록도이다.
도 4 는 예측 자동 초점 프로세스 내의 이미지 정보의 대표적인 통합 및 판독을 도시한 도면이다.
도 5 는 상이한 자동 초점 프로세스에 의해 계산된 주어진 렌즈 위치에서의 장면에 대한 초점값의 대표적인 비교를 도시한 도면이다.
도 6 은 상이한 자동 초점 프로세스에 의해 계산된 복수의 렌즈 위치에서의 장면에 대한 초점값의 대표적인 비교를 도시한 도면이다.
도 7 은 이미지 캡처 디바이스 내의 예측 자동 초점 프로세스에 대한 예측 초점값 계산의 대표적인 동작을 도시한 흐름도이다.
도 8 은 이미지 캡처 디바이스 내의 예측 자동 초점 프로세스에 대한 예측 초점값 계산의 대표적인 동작을 더 상세히 도시한 흐름도이다.
도 9 는 예측 자동 초점 프로세스 내의 이미지 정보의 다른 대표적인 통합 및 판독을 도시한 도면이다.
상세한 설명
도 1 은 장면으로부터 이미지 정보를 캡처하기 위한 대표적인 이미지 캡처 디바이스 (10) 를 도시한 블록도이다. 본 개시물에서 설명된 기술에 따르면, 이미지 캡처 디바이스 (10) 는 이미지 캡처 디바이스 (10) 내에서 수행된 예측 자동 초점 프로세스에 대해 예측 초점값 계산을 수행한다. 초점값은 초점의 정도를 나타내는 스코어를 포함한다. 이미지 캡처 디바이스 (10) 는 렌즈 정착 직후에 제 1 프레임으로부터 계산된 렌즈 위치에 대한 손상된 초점값에 기초하여 이미지 캡처 디바이스 (10) 에 포함된 렌즈의 이 렌즈 위치에서의 장면에 대한 초점값을 예측한다. 따라서, 예측 자동 초점 프로세스는 예측된 유효 초점값에 기초하여 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정할 수도 있고, 제 2 프레임 동안에 다음 렌즈 위치로 렌즈를 이동시킬 수도 있다. 이러한 방법으로, 이 기술은 각 프레임 동안에 다른 렌즈 위치로 렌즈를 이동시킬 수도 있다.
도 1 에 도시된 바와 같이, 이미지 캡처 디바이스 (10) 는 센서 어레이 (12), 이미지 캡처 제어기 (14), 이미지 프로세서 (16), 예측 자동 초점 모듈 (18), 이미지 저장 디바이스 (20), 및 초점값 저장 디바이스 (22) 를 포함한다. 도 1 에 도시된 이미지 캡처 디바이스 (10) 에 포함된 컴포넌트들은 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합에 의해 실현될 수도 있다. 도시된 실시형태에서, 이들 컴포넌트들은 별개 유닛으로 도시되어 있다. 그러나, 다른 실시형태에서는, 컴포넌트들 중 임의의 컴포넌트는 공통 하드웨어 및/또는 소프트웨어 내에 결합된 유닛으로 통합될 수도 있다. 따라서, 컴포넌트 또는 모듈로서의 특징의 표현은 특정 기능적 특징을 강조하려는 의도이고, 반드시 별개 하드웨어 또는 소프트웨어에 의한 이러한 특징의 실현을 요청하는 것은 아니다.
이미지 캡처 디바이스 (10) 는 디지털 비디오 카메라, 디지털 스틸 카메라, 또는 이 둘의 조합과 같은 디지털 카메라일 수도 있다. 또한, 이미지 캡처 디바이스 (10) 는 자립형 카메라와 같은 자립형 디바이스일 수도 있거나, 무선 통신 디바이스와 같은 다른 디바이스에 통합될 수도 있다. 실시예로서, 이미지 캡처 디바이스 (10) 는 핸드폰에 통합되어 소위 카메라폰 또는 비디오폰을 형성할 수도 있다. 이미지 캡처 디바이스 (10) 는 컬러 영상, 흑백 영상, 또는 이들 모두를 캡처하는 기능을 갖추는 것이 바람직하다. 본 개시물에서, 용어 "이미지", "영상", "이미지 정보", 또는 유사한 용어는 비디오 또는 스틸 사진 중 어느 하나를 호환성 있게 지칭할 수도 있다. 마찬가지로, 용어 "프레임"은 이미지 캡처 디바이스 (10) 에 의해 획득된 비디오 프레임 또는 스틸 사진 프레임 중 어느 하나를 지칭할 수도 있다.
센서 어레이 (12) 는 장면의 이미지 프레임을 캡처하기 전에 장면에 대한 이미지 정보를 획득한다. 센서 어레이 (12) 는, 예를 들어, 행 및 열로 배열된 개별 이미지 센서의 2차원 어레이를 포함한다. 센서 어레이 (12) 는, 예를 들어, CMOS (complementary metal-oxide semiconductor) 센서 또는 CCD (charge-coupled device) 센서와 같은 고체 센서의 어레이를 포함할 수도 있다. 센서 어레이 (12) 내의 이미지 센서가 장면에 노출되어, 장면에 대한 이미지 정보를 획득하고 장면의 이미지 프레임을 캡처한다. 센서 어레이 (12) 의 고체 센서는 프레임의 모든 이미지 정보를 순간적으로 캡처하지는 않는다. 대신에, 이 센서는 장면에 순차적으로 노출되어, 프레임의 이미지 정보를 획득한다. 이미지 캡처 디바이스 (10) 는 센서 어레이 (12) 에 대해 통합 시간 (integration time) 을 설정하는데, 이는 주어진 프레임의 이미지 정보를 획득하기 위해서 센서 어레이 (12) 가 광에 노출되는 시간량을 제한한다.
센서 어레이 (12) 는 이미지 저장 디바이스 (20) 에 저장하기 위해 이미지 프로세서 (16) 로 하나 이상의 프레임의 이미지 정보를 제공한다. 센서 어레이 (12) 는 또한 이미지 캡처 제어기 (14) 로 이미지 정보를 제공한다. 이미지 캡처 제어기 (14) 는 자동 초점 및 자동 노출과 같은 예비 VFE (visual front end) 프로세싱용으로 이미지 정보를 이용한다. 예를 들어, 이미지 캡처 제어기 (14) 는 센서 어레이 (12) 로부터의 이미지 정보에 기초하여 자동 초점 프로세스를 개시한다. 이미지 캡처 디바이스 (10) 내의 자동 초점 프로세스는 수개의 샘플링 렌즈 위치에서의 초점값을 계산하고, 그 초점값에 기초하여 장면에 대한 렌즈의 위 치를 선택한다. 선택된 렌즈 위치는 장면에 대한 최대 초점값과 연관될 수도 있다.
이미지 캡처 디바이스 내의 종래의 자동 초점 프로세스는 각 프레임 동안에 장면에 대한 초점값을 계산하지만, 초점값 중 어떤 것이 렌즈 이동 이후의 렌즈 위치에 대해 유효한지를 알아야 한다. 그 렌즈 위치에서의 장면에 대한 유효 초점값을 얻기 위해, 종래의 자동 초점 프로세스는 그 렌즈 위치에서의 렌즈 정착 이후에 장면에 대한 이미지 정보의 통합을 개시한 유효 프레임을 대기하여야 한다. 이전 렌즈 위치로부터 현재 렌즈 위치로 렌즈를 이동시키는 것은 모터 설계에 따라 시간이 걸린다. 일단 렌즈가 현재 렌즈 위치에 도달하고 이동을 정지하면 렌즈 정착이 일어난다. 몇몇 경우에, 제 1 유효 프레임은 렌즈 정착 이후에 2 개 또는 3 개의 프레임일 수도 있다. 종래의 자동 초점 프로세스는 현재 렌즈 위치에 대한 유효 초점값을 계산한 후에만 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정할 수도 있다.
이러한 방법으로, 종래의 자동 초점 프로세스는 장면에 대한 최대 초점값을 갖는 렌즈 위치를 식별하여 장면의 정확한 이미지 프레임을 달성하는데 용인불가능하게 긴 주기의 시간이 걸릴 수도 있다. 예를 들어, 장면에 대한 렌즈 위치 중 하나를 선택하기 전에 종래의 자동 초점 프로세스가 10 개의 상이한 렌즈 위치로 렌즈를 이동시키면, 종래의 자동 초점 프로세스는 렌즈 위치의 각각에서 3 개의 프레임을 대기하여 각 렌즈 위치에 대한 유효 초점값을 계산하여야 한다. 따라서, 종래의 자동 초점 프로세스는 장면에 대한 정확한 렌즈 위치를 선택하기 위해 30 개의 프레임 또는 대략 2 초가 요청된다.
본 명세서에 개시된 기술은, 렌즈 위치에 대한 유효 (제 3 또는 제 4) 프레임까지 대기하지 않고, 이미지 캡처 디바이스 (10) 가 제 2 프레임 동안에 렌즈 정착 직후에 제 1 프레임으로부터 렌즈 위치에 대한 유효 초점값을 예측할 수 있게 한다. 이미지 캡처 디바이스 (10) 는 렌즈 위치에 대한 손상된 초점값에 기초하여 렌즈 위치에서의 장면에 대한 초점값을 예측함으로써 예측 자동 초점 프로세스를 수행한다. 초점값은, 렌즈 위치에서의 렌즈 정착 이후이지만, 그 렌즈 위치에서의 렌즈 정착 이후에 장면에 대한 이미지 정보의 통합을 개시하는 유효 프레임 이전에 계산되는 경우에 그 렌즈 위치에 대해 손상되었다고 고려될 수도 있다. 손상된 초점값은 렌즈 정착 직후에 제 1 프레임으로부터 계산될 수도 있다. 따라서, 예측 자동 초점 프로세스는 예측된 유효 초점값에 기초하여 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정하고, 제 2 프레임 동안에 다음 렌즈 위치로 렌즈를 이동시킬 수도 있다. 이러한 방법으로, 이 기술은 각 프레임 동안에 다른 렌즈 위치로 렌즈를 이동시킬 수도 있어서, 종래의 자동 초점 프로세스의 속도를 잠재적으로 2배 또는 3배가 되게 함으로써 자동 초점 레이턴시를 크게 감소시킨다.
이미지 캡처 제어기 (14) 는 각 프레임 동안에 상이한 렌즈 위치로 이미지 캡처 디바이스 (10) 에 포함된 렌즈를 이동시킨다. 센서 어레이 (12) 는 각 프레임 동안에 렌즈의 상이한 이동 스테이지에서 장면에 대한 이미지 정보를 획득한다. 제 1 프레임 전체에 대한 이미지 정보의 판독 이후에, 예측 자동 초점 모 듈 (18) 은 제 1 렌즈 위치에서의 렌즈 정착 직후에 제 1 프레임으로부터 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산한다.
예측 자동 초점 모듈 (18) 은 제 1 렌즈 위치에 대한 손상된 초점값에 기초하여 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측한다. 이후, 예측 자동 초점 모듈 (18) 은 이전 렌즈 위치에 대한 유효 초점값과 함께 제 1 렌즈 위치에 대한 예측된 유효 초점값을 초점값 저장 디바이스 (22) 에 저장할 수도 있다. 예측 자동 초점 모듈 (18) 은 제 1 렌즈 위치에 대한 예측된 초점값에 기초하여 제 2 렌즈 위치를 결정할 수도 있다. 이미지 캡처 제어기 (14) 는 제 2 프레임 동안에 결정된 제 2 렌즈 위치로 렌즈를 이동시킨다.
장면에 대한 최대 예측 초점값을 결정하는 때에, 예측 자동 초점 모듈 (18) 은 장면에 대한 최대 예측 초점값과 연관된 렌즈 위치를 선택한다. 이후, 이미지 캡처 제어기 (14) 는 장면에 대해 선택된 렌즈 위치를 설정하고, 센서 어레이 (12) 는 장면의 이미지 프레임에 대한 선명한 초점을 달성하기 위해 선택된 렌즈 위치를 이용하여 장면의 이미지 프레임을 캡처한다.
이러한 방법으로, 예측 자동 초점 프로세스는 장면에 대한 최대 초점값을 갖는 렌즈 위치를 식별하여 장면의 정확한 이미지 프레임을 달성하는데 비교적 짧은 주기의 시간이 걸린다. 예를 들어, 예측 자동 초점 프로세스가 장면에 대한 렌즈 위치 중 하나의 렌즈 위치를 선택하기 전에 10 개의 상이한 렌즈 위치로 렌즈를 이동시키면, 예측 자동 초점 프로세스는 렌즈 위치에 대한 유효 초점값을 예측하기 위해 렌즈 위치의 각각에서 하나의 프레임만을 대기하여야 한다. 따라서, 종래 의 자동 초점 프로세스는 장면에 대한 정확한 렌즈 위치를 선택하는데 오직 10 개의 프레임 또는 대략 0.7 초를 요청한다.
예측 자동 초점 모듈 (18) 은 마이크로프로세서, DSP 등과 같은 로직 디바이스의 프로그램가능 특징으로서 또는 독립 하드웨어 컴포넌트로서 구현될 수도 있다. 몇몇 실시형태에서, 예측 자동 초점 모듈 (18) 은 이미지 프로세서 (16) 를 구현하는 로직 디바이스의 프로그램가능 또는 통합된 특징일 수도 있다. 특히, 예측 자동 초점 모듈 (18) 은 이러한 로직 디바이스에 의해 실행된 하나 이상의 소프트웨어 프로세스로서 구현될 수도 있다.
이미지 프로세서 (16) 는 센서 어레이 (12) 로부터 캡처된 이미지 프레임을 수신하고, 이미지 프레임에 대해 임의의 필요한 프로세싱을 수행한다. 이미지 프로세서 (16) 는 예를 들어, 센서 어레이 (12) 에 의해 캡처된 이미지 프레임의 필터링, 크롭핑 (cropping), 디모자이킹 (demosaicing), 압축, 이미지 보정, 또는 다른 프로세싱을 수행할 수도 있다. 이미지 프로세서 (16) 는 DSP (digital signal processor), ASIC (application specification integrated circuit), FPGA (field programmable gate array), 또는 임의의 다른 등가의 이산 또는 통합된 로직 회로에 의해 실현될 수도 있다. 몇몇 실시형태에서, 이미지 프로세서 (16) 는 MPEG-2, MPEG-4, ITU H.263, ITU H.264, JPEG 등과 같은 특정 인코딩 기술 또는 포맷에 따라 이미지 프레임을 인코딩하는 CODEC (encoder-decoder) 의 일부를 형성할 수도 있다.
이미지 프로세서 (16) 는 이미지 프레임을 이미지 저장 디바이스 (20) 에 저 장한다. 이미지 프로세서 (16) 는 로우 (raw) 이미지 프레임, 프로세싱된 이미지 프레임, 또는 인코딩된 이미지 프레임을 이미지 저장 디바이스 (20) 에 저장할 수도 있다. 영상이 오디오 정보에 수반되면, 오디오는 또한 이미지 프레임과 함께 또는 이와 독립적으로, 이미지 저장 디바이스 (20) 에 저장될 수도 있다. 이미지 저장 디바이스 (20) 는 ROM (read-only memory), EEPROM (electrically erasable programmable read-only memory), 또는 FLASH 메모리와 같은, 또는 자기 데이터 저장 디바이스 또는 광학 데이터 저장 디바이스와 같은 임의의 휘발성 또는 비휘발성 메모리 또는 저장 디바이스를 포함할 수도 있다.
도 2 는 종래의 자동 초점 프로세스 내의 이미지 정보의 대표적인 통합 및 판독을 도시한 도면이다. 이 실시예에서, 이미지 캡처 디바이스 내의 센서 어레이는 센서 어레이 내의 센서를 장면에 순차적으로 노출시키는 롤링 셔터를 갖는 CMOS 센서의 어레이에 부합한다. 도시된 도면은 장면의 각 프레임에 대한 센서 어레이의 각 라인으로부터의 이미지 정보의 통합 및 판독 시간을 포함한다. 도 2 는 또한 통합 및 판독 도면과 관련된 프레임 레이트를 도시한다.
이미지 캡처 디바이스에 포함된 종래의 자동 초점 프로세스는 수개의 샘플링 렌즈 위치에서의 초점값을 계산하고, 그 초점값에 기초하여 장면에 대한 렌즈의 위치를 선택한다. 도 2 에 도시된 바와 같이, 장면의 각 프레임의 시작 시에, 센서 어레이는 장면에 대한 이미지 정보의 통합을 개시한다. 센서 어레이 내의 CMOS 센서는 롤링 셔터에 의해 장면에 순착적으로 노출되어, 각 프레임에 대한 이미지 정보를 획득한다. 롤링 셔터는 센서 어레이의 각 라인이 상이한 시간에 통합을 시작 및 종료하게 한다. 또한, 롤링 셔터는 센서 어레이가 최종 라인의 현재 프레임으로부터의 이미지 정보와 최초 라인의 다음 프레임으로부터의 이미지 정보의 통합을 동시에 개시하게 한다. 이러한 방법으로, 센서 어레이는 장면에 대한 이미지 정보를 계속해서 통합한다.
종래의 자동 초점 프로세스는 전체 프레임에 대한 이미지 정보의 판독 시에 각 프레임 동안에 장면에 대한 초점값을 계산한다. 그러나, 이미지 캡처 디바이스 내의 렌즈를 상이한 렌즈 위치로 이동시키는 것은 수신된 이미지 정보에 기초하여 장면에 대한 초점값을 계산하는 것과 독립적이다. 종래의 자동 초점 프로세스는 초점값 중 어떤 것이 렌즈 이동 이후의 렌즈 위치에 대해 유효한지를 알아야 한다. 렌즈 위치에서의 장면에 대한 유효 초점값을 얻기 위해, 종래의 자동 초점 프로세스는 렌즈 위치에서의 렌즈 정착 이후에 장면에 대한 이미지 정보의 통합을 개시한 유효 프레임을 대기하여야 한다.
예를 들어, 도 2 에 도시된 바와 같이, 장면의 제 1 프레임 (24) 의 시작 시에, 센서 어레이는 센서 어레이의 각 라인의 제 1 프레임 (24) 으로부터 장면에 대한 이미지 정보의 통합을 개시한다. 제 1 프레임 (24) 동안에, 종래의 자동 초점 프로세스는 초기 렌즈 위치에서의 장면에 대한 유효 초점값 FV0 을 계산하고, 초기 렌즈 위치로부터 제 1 렌즈 위치로 렌즈를 이동시킨다. 일단 렌즈가 현재 렌즈 위치에 도달하고 이동을 정지하면, 렌즈 정착이 발생한다. 그러나, 렌즈를 이동시키는 것은 시간이 걸리고, 렌즈는 제 2 프레임 (25) 의 시작 이후까지 이 미지 캡처 디바이스 내의 제 1 렌즈 위치에 정착하지 않는다. 따라서, 센서 어레이는, 렌즈가 제 1 렌즈 위치에서 정착할 때까지는 제 2 프레임 (25) 로부터 장면에 대한 이미지 정보의 통합을 이미 개시하였다.
종래의 자동 초점 프로세스는, 제 2 프레임 (25) 동안에 제 1 렌즈 위치에서의 렌즈 정착 직후에 제 1 프레임 (24) 으로부터의 이미지 정보에 기초하여, 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산한다. 제 1 렌즈 위치에서의 렌즈 정착 이후이지만, 제 1 렌즈 위치에서의 렌즈 정착 이후에 장면에 대한 이미지 정보의 통합을 개시하는 유효 프레임 이전에 초점값이 계산되기 때문에, 초점값은 제 1 렌즈 위치에 대해 손상된 것으로 고려될 수도 있다. 또한, 종래의 자동 초점 프로세스는 제 3 프레임 (26) 동안에 제 2 프레임 (25) 으로부터의 이미지 정보에 기초하여 제 1 렌즈 위치에서의 장면에 대한 다른 손상된 초점값을 계산한다. 종래의 자동 초점 프로세스는 렌즈가 정착되기 전에 이미지 정보의 통합을 개시한 프레임 동안에 장면에 대해 계산되는 손상된 초점값을 폐기할 수도 있다.
도 2 에 도시된 바와 같이, 종래의 자동 초점 프로세스는, 제 3 프레임 (26) 까지 대기하여, 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 계산하여야 한다. 제 3 프레임 (26) 의 시작 시에, 센서 어레이는, 제 1 렌즈 위치에서 렌즈가 정착된 후에 제 3 프레임 (26) 으로부터의 장면에 대한 이미지 정보의 통합을 개시한다. 따라서, 종래의 자동 초점 프로세스는 제 4 프레임 (27) 동안에 제 3 프레임 (26) 전체로부터의 이미지 정보의 판독 이후에 제 1 렌즈 위치에서의 장 면에 대한 유효 초점값 FV1 을 계산한다. 종래의 자동 초점 프로세스는 제 4 프레임 (27) 동안에 제 1 렌즈 위치에 대한 유효 초점값을 계산한 후에만 제 2 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정할 수도 있다. 이러한 방법으로, 종래의 자동 초점 프로세스는 장면에 대한 최대 초점값을 갖는 렌즈 위치를 식별하여 장면의 정확한 이미지 프레임을 달성하는데 용인불가능하게 긴 주기의 시간이 걸릴 수도 있다.
도 3 은 도 1 의 이미지 캡처 디바이스 (10) 내의 예측 자동 초점 모듈 (18) 을 더 상세히 도시한 블록도이다. 도 3 에 도시된 바와 같이, 예측 자동 초점 모듈 (18) 은 초점값 계산 모듈 (32), 자동 초점 제어기 (34), 및 렌즈 이동 모듈 (30) 을 포함한다. 이미지 캡처 디바이스 (10) 내의 예측 자동 초점 모듈 (18) 은 수개의 샘플링 렌즈 위치에서의 초점값을 계산하고, 그 초점값에 기초하여 장면에 대한 렌즈의 위치를 선택한다. 선택된 렌즈 위치는 장면에 대한 최대 초점값과 연관될 수도 있다.
예측 자동 초점 모듈 (18) 은 렌즈의 상이한 이동 스테이지에서 이미지 캡처 디바이스 (10) 에 포함된 이미지 캡처 제어기 (14) 로부터 장면의 각 프레임에 대한 이미지 정보를 수신한다. 이후, 예측 자동 초점 모듈 (18) 은 이미지 정보에 기초한 복수의 렌즈 위치에서의 장면에 대해 계산된 예측 초점값에 기초하여 장면에 대해 선택된 렌즈 위치 또는 렌즈 이동 정보 중 어느 하나를 이미지 캡처 제어기 (14) 에 출력한다.
도 4 는 예측 자동 초점 프로세스 내의 이미지 정보의 대표적인 통합 및 판독을 도시한 도면이다. 이 실시형태에서, 이미지 캡처 디바이스 (10) 내의 센서 어레이 (12) 는 롤링 셔터를 갖는 CMOS 센서의 어레이에 부합한다. 도시된 도면은 장면의 각 프레임에 대한 센서 어레이 (12) 의 각 라인으로부터의 이미지 정보의 통합 및 판독 시간을 포함한다. 도 4 에 도시된 바와 같이, 장면의 각 프레임의 시작 시에, 센서 어레이 (12) 는 장면에 대한 이미지 정보의 통합을 개시한다. 센서 어레이 (12) 내의 CMOS 센서는 롤링 셔터에 의해 장면에 순차적으로 노출되어, 각 프레임에 대한 이미지 정보를 획득한다. 롤링 셔터는 센서 어레이 (12) 의 각 라인이 상이한 시간에 통합을 시작 및 종료하게 한다. 또한, 롤링 셔터는 센서 어레이 (12) 가 최종 라인의 현재 프레임으로부터의 이미지 정보와 최초 라인의 다음 프레임으로부터의 이미지 정보의 통합을 동시에 개시하게 한다. 이러한 방법으로, 센서 어레이 (12) 는 장면에 대한 이미지 정보를 계속하여 통합한다.
센서 어레이 (12) 는 제 1 프레임 (40) 의 시작 시에 장면에 대한 이미지 정보의 통합을 개시한다. 제 1 프레임 (40) 동안에, 예측 자동 초점 모듈 (18) 은 초기 렌즈 위치에 대한 손상된 초점값 FV 0' 에 기초하여 초기 렌즈 위치에서의 장면에 대한 유효 초점값 FV 0 을 예측한다. 이후, 예측 자동 초점 모듈 (18) 은 이전 렌즈 위치에 대한 유효 초점값과 함께 초기 렌즈 위치에 대한 예측된 유효 초점값 FV O 을 초점값 저장 디바이스 (22) 에 저장할 수도 있다. 이후, 이미지 캡 처 제어기 (14) 는 초기 렌즈 위치로부터 제 1 렌즈 위치로 렌즈를 이동시킨다. 일단 렌즈가 현재 렌즈 위치에 도달하고 이동을 정지하면, 렌즈 정착이 발생한다. 렌즈를 이동시키는 것은 시간이 걸리고, 렌즈는 제 2 프레임 (42) 의 시작 이후까지 이미지 캡처 디바이스 내의 제 1 렌즈 위치에서 정착하지 못한다.
센서 어레이 (12) 는 제 1 프레임 (40) 동안에 렌즈의 상이한 이동 스테이지에서의 장면에 대한 이미지 정보를 계속하여 통합시킨다. 이후, 이미지 캡처 제어기 (14) 는 제 2 프레임 (42) 동안에 제 1 프레임 (40) 전체에 대한 센서 어레이 (12) 의 각 라인으로부터의 이미지 정보의 판독을 완료한다. 이미지 캡처 제어기 (14) 는 제 1 프레임 (40) 전체에 대한 이미지 정보를 예측 자동 초점 모듈 (18) 로 전송한다.
예측 자동 초점 모듈 (18) 은 이미지 정보를 초점값 계산 모듈 (32) 로 포워딩한다. 초점값 계산 모듈 (32) 은, 제 2 프레임 (42) 동안에 제 1 렌즈 위치에서의 렌즈 정착 직후에 제 1 프레임 (40) 으로부터의 이미지 정보에 기초하여 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값 FV 1' 을 계산한다. 제 1 렌즈 위치에서의 렌즈 정착 이후이지만, 제 1 렌즈 위치에서의 렌즈 정착 이후에 장면에 대한 이미지 정보의 통합을 개시하는 유효 프레임 이전에 초점값이 계산되기 때문에, 초점값 FV 1' 은 제 1 렌즈 위치에 대해 손상된 것으로 고려될 수도 있다.
초점값 계산 모듈 (32) 은 손상된 초점값 FV 1' 을 자동 초점 제어기 (34) 로 전송한다. 자동 초점 제어기 (34) 내의 계수 측정 모듈 (38) 은 제 1 프레임 (40) 의 기준 라인 (48) 에서의 센서 어레이 (12) 에 의한 통합 시간을 제 1 프레임 (40) 동안의 렌즈의 상이한 이동 스테이지로 분할한다. 예를 들어, 기준 라인 (48) 은 센서 어레이 (12) 내의 센서의 중앙 라인을 포함할 수도 있다. 통합 시간은 렌즈 이동 스테이지 이전 (50), 렌즈 이동 스테이지 동안 (52), 그리고 렌즈 이동 스테이지 이후 (54) 로 분할될 수도 있다. 이후, 계수 측정 모듈 (38) 은 렌즈 이동 스테이지 이전 (50) 에서 제 1 프레임 (40) 에 대한 제 1 계수 a1 을 측정한다. 계수 측정 모듈 (38) 은 또한 렌즈 이동 스테이지 동안 (52) 에서 제 1 프레임 (40) 에 대한 제 2 계수 a2, 및 렌즈 이동 스테이지 이후 (54) 에서 제 1 프레임 (40) 에 대한 제 3 계수 a3 을 측정한다. 계수의 총합은 1 과 동일하며, 즉, a1+a2+a3=1 이다.
몇몇 경우에, 개별 계수의 값은 계수의 각각이 1 미만이므로 정확히 측정하기 어려울 수도 있다. 따라서, 몇몇 경우에, 계수 측정 모듈 (38) 은 계수 값을 추정할 수도 있다. 예를 들어, 기준 라인 (48) 이 센서 어레이 (12) 내의 센서의 중앙 라인에 대응하면, 총 통합 시간은 이미지 캡처 제어기 (14) 가 제 1 프레임 (40) 동안에 제 1 렌즈 위치로 렌즈를 이동시키는 시간까지의 적어도 중도에 완료된다. 따라서, 제 1 계수 a1 은 0.5 보다 크고, 제 2 계수 a2 와 제 3 계수 a3 가 결합되면 0.5 미만이다. 이 경우에, 계수 측정 모듈 (38) 은 제 1 계수 a1 을 1 과 동일하게 설정하고, 제 2 계수 a2, 및 제 3 계수 a3 을 0 과 동일하게 설정할 수도 있다.
자동 초점 제어기 (34) 에 포함된 예측 알고리즘 유닛 (36) 은 초점값 저장 디바이스 (22) 로부터 검색된 이전 렌즈 위치에 대한 유효 초점값 (FV 0), 제 1 프레임 (40) 에 대한 계수 (a1, a2 및 a3), 및 손상된 초점값 (FV 1') 에 기초하여 제 1 렌즈 위치에서의 장면에 대한 유효 초점값 FV 1 을 예측한다. 예를 들어, 예측 알고리즘 유닛 (36) 은 수학식
Figure 112009022737330-PCT00001
에 기초하여 제 1 렌즈 위치에 대한 유효 초점값 FV 1 을 예측할 수도 있으며, 여기서
Figure 112009022737330-PCT00002
은 이전 렌즈 위치와 제 1 렌즈 위치로부터의 이동 동안의 전이 (transitional) 초점값이다.
전이 초점값은 초기 렌즈 위치에 대한 초점값 FV 0 와 제 1 렌즈 위치에 대한 초점값 FV 1 사이의 가중된 값이다. 일정 속도로 렌즈가 초기 렌즈 위치로부터 제 1 렌즈 위치로 이동하면, 전이 초점값은 초기 렌즈 위치에서의 초점값과 제 1 렌즈 위치에서의 초점값의 평균이다. 그러나, 렌즈 이동이 일정하지 않으면, 렌즈 이동의 퍼센트는 렌즈 이동 스테이지 동안 (52) 의 대략 중간 지점으로 추정된다. 중간 지점의 렌즈 이동의 퍼센트에 대응하는 가중치는 초기 렌즈 위치에 대한 초점값 FV 0 에 할당되고, 렌즈 이동의 나머지 퍼센트에 대응하는 가중치는 제 1 렌즈 위치에 대한 초점값 FV 1 에 할당된다. 예를 들어, 렌즈 이동 상태 동안 (52) 의 중간 지점에서 렌즈 이동이 75 % 완료되면, 전이 초점값
Figure 112009022737330-PCT00003
은
Figure 112009022737330-PCT00004
이다.
계수 측정 모듈 (38) 이 제 1 계수 a1 을 1 과 동일하게 설정하고, 제 2 계수 a2, 및 제 3 계수 a3 을 0 과 동일하게 설정하는 경우에, 예측 알고리즘 유닛 (36) 은 수학식
Figure 112009022737330-PCT00005
에 기초하여, 제 1 렌즈 위치에 대한 유효 초점값 FV 1 을 예측할 수도 있으며, 여기서 FV 2' 는 후속 렌즈 위치에 대한 손상된 초점값이다.
제 1 렌즈 위치에 대한 유효 초점값을 예측한 후에, 자동 초점 제어기 (34) 는 제 1 렌즈 위치 및 이전 렌즈 위치에 대한 유효 초점값을 리뷰하여, 그 렌즈 위치중 하나가 장면에 대한 최대 예측 초점값을 갖는지 여부를 판정할 수도 있다. 최대 초점값이 예측되지 않았으면, 자동 초점 제어기 (34) 는 제 1 렌즈 위치에 대한 예측된 초점값을 렌즈 이동 모듈 (30) 로 전송한다. 렌즈 이동 모듈 (30) 은, 초점값 저장 디바이스 (22) 로부터 검색된 이전 렌즈 위치에 대한 유효 초점값 및 제 1 렌즈 위치에 대한 예측된 초점값에 기초하여 제 1 렌즈 위치에 대한 손상된 초점값을 계산한 직후에 렌즈에 대한 제 2 렌즈 위치를 결정한다. 렌즈 이동 모듈 (30) 은 렌즈의 이동 스텝 사이즈 (movement step size) 및 이동 방향 정보를 포함하는 이동 정보를 이미지 캡처 제어기 (14) 로 전송한다. 이후, 이미지 캡처 제어기 (14) 는 이동 정보에 기초하여 제 2 프레임 (42) 동안에 제 1 렌즈 위치로부터 제 2 렌즈 위치로 렌즈를 이동시킨다.
예측 자동 초점 모듈 (18) 은, 렌즈 위치 중 하나의 렌즈 위치에서 장면에 대한 최대 초점값이 예측될 때까지 대응하는 렌즈 위치에 대한 손상된 초점값, 대응하는 프레임의 계수, 및 이전 유효 초점값에 기초하여 복수의 렌즈 위치의 각각 에서의 유효 초점값을 계속하여 예측한다. 도 4 에 도시된 바와 같이, 초점값 계산 모듈 (32) 은 제 3 프레임 (44) 동안에 제 2 렌즈 위치에서의 렌즈 정착 직후에 제 2 프레임 (42) 으로부터의 이미지 정보에 기초하여 제 2 렌즈 위치에서의 장면에 대한 손상된 초점값 FV 2' 를 계산하고, 제 4 프레임 (46) 동안에 제 3 렌즈 위치에서의 렌즈 정착 직후에 제 3 프레임 (44) 으로부터의 이미지 정보에 기초하여 제 3 렌즈 위치에서의 장면에 대한 손상된 초점값 FV 3' 를 계산한다.
이후, 예측 알고리즘 유닛 (36) 은 초점값 저장 디바이스 (22) 로부터 검색된 제 1 렌즈 위치에 대한 유효 초점값 (FV 1), 제 2 프레임 (42) 에 대한 계수 (a1, a2 및 a3), 및 제 2 렌즈 위치에 대한 손상된 초점값 (FV 2') 에 기초하여 제 2 렌즈 위치에 대한 유효 초점값 FV 2 를 예측한다. 예측 알고리즘 유닛 (36) 은 또한 초점값 저장 디바이스 (22) 로부터 검색된 제 2 렌즈 위치에 대한 유효 초점값 (FV 2), 제 3 프레임 (44) 에 대한 계수 (a1, a2 및 a3), 및 제 3 렌즈 위치에 대한 손상된 초점값 (FV 3') 에 기초하여 제 3 렌즈 위치에 대한 유효 초점값 FV 3 을 예측한다.
예를 들어, 예측 알고리즘 유닛 (36) 은 수학식 (1) 세트에 기초하여 도 4 에 의해 도시된 렌즈 위치에 대한 유효 초점값을 예측할 수도 있다.
Figure 112009022737330-PCT00006
이러한 방법으로, 예측 알고리즘 유닛 (36) 은 예측 수학식에 대한 매트릭스를 이용할 수도 있고,
Figure 112009022737330-PCT00007
유효 초점값에 대한 매트릭스 수학식을 풀 수도 있다.
Figure 112009022737330-PCT00008
계수 측정 모듈 (38) 이 제 1 계수 a1 을 1 과 동일하게 설정하고, 제 2 계수 a2, 및 제 3 계수 a3 을 0 과 동일하게 설정하는 경우에, 예측 알고리즘 유닛 (36) 은 수학식 (4) 세트에 기초하여 도 4 에 의해 도시된 렌즈 위치에 대한 유효 초점값을 예측할 수도 있다.
Figure 112009022737330-PCT00009
장면에 대한 최대 예측 초점값을 결정하는 때에, 자동 초점 제어기 (34) 는 장면에 대한 최대 초점값과 연관된 렌즈 위치를 선택하고, 선택된 렌즈 위치를 이 미지 캡처 제어기 (14) 로 전송한다. 이미지 캡처 제어기 (14) 는 이후 장면에 대해 선택된 렌즈 위치를 설정할 수도 있고, 센서 어레이 (12) 는 선택된 렌즈 위치를 이용하여 장면의 이미지 프레임을 캡처한다.
도 5 는 상이한 자동 초점 프로세스에 의해 계산되는 주어진 렌즈 위치에서의 장면에 대한 초점값의 대표적인 비교를 도시한 도면이다. 도 5 에 도시된 바와 같이, 이 도면은 실제 초점값 (60), 손상된 초점값 (62), 및 예측된 초점값 (64) 에 대해서 주어진 렌즈 위치에서의 장면 내의 타깃의 흐릿한 원 (blur circle) 의 반경에 따르는 초점값 곡선을 포함한다.
실제 초점값 (60) 은, 주어진 렌즈 위치에서의 렌즈 정착 이후에 통합이 개시된 유효 프레임의 판독 이후에 종래의 자동 초점 프로세스 내에서 계산되었다. 실제 초점값 (60) 은 0 의 흐릿한 원에서 최대 피크를 가진다. 손상된 초점값 (62) 은, 주어진 렌즈 위치에서의 렌즈 정착 이후이지만 유효 프레임 이전의 예측 자동 초점 프로세스 또는 종래의 자동 초점 프로세스 중 어느 하나 내에서 계산되었다. 손상된 초점값 (62) 은 대략 10 미크론의 흐릿한 원에서 최대 피크를 가진다. 따라서, 손상된 초점값 (62) 은 렌즈 위치에 대한 부정확한 초점값을 제공한다.
예측된 초점값 (64) 은, 주어진 렌즈 위치에서의 렌즈 정착 이후이지만 유효 프레임 이전에 계산된 손상된 초점값 (62) 에 기초하여 여기서 설명된 예측 자동 초점 프로세스 내에서 계산되었다. 도 5 에 도시된 바와 같이, 예측된 초점값 (64) 이 실제 초점값 (60) 과 일치하지 않을지라도, 예측된 초점값 (64) 은 0 의 흐릿한 원에서 최대 피크를 가진다. 따라서, 예측 자동 초점 프로세스는 렌즈 정착 직후에 주어진 렌즈 위치에서의 장면에 대한 정확한 초점값을 예측할 수 있다.
도 6 은 상이한 자동 초점 프로세스에 의해 계산된 복수의 렌즈 위치에서의 장면에 대한 초점값의 대표적인 비교를 도시한 도면이다. 도 6 에 도시된 바와 같이, 이 도면은 종래 프로세스 (66) 및 예측 프로세스 (68) 에 대한 렌즈 위치에 따르는 장면에 대한 초점값 곡선을 포함한다. 종래 프로세스 (66) 는, 렌즈 위치의 각각에서의 렌즈 정착 이후에 통합이 개시된 유효 프레임의 판독 이후에 실제 초점값을 계산한다. 종래 프로세스 (66) 는 대략 7 의 렌즈 위치에서 최대 피크를 가진다. 따라서, 종래 자동 초점 프로세스 (66) 는 7 의 렌즈 위치를 선택하여 장면의 이미지 프레임을 캡처한다.
예측 프로세스 (68) 는 렌즈 위치의 각각에서의 렌즈 정착 이후이지만 유효 프레임 이전에 계산된 손상된 초점값에 기초하여 예측된 초점값을 계산한다. 도 6 에 도시된 바와 같이, 예측 프로세스 (68) 가 종래 프로세스 (66) 와 일치하지 않을지라도, 예측 프로세스 (68) 는 또한 대략 7 의 렌즈 위치에서 최대 피크를 가진다. 따라서, 예측 자동 초점 프로세스 (68) 는 또한 대략 7 의 렌즈 위치를 선택하여 장면의 이미지 프레임을 캡처한다. 예측 자동 초점 프로세스 (68) 는 예측된 초점값에 기초하여 렌즈 정착 직후에 장면에 대한 정확한 렌즈 위치를 선택할 수 있다.
도 7 은 이미지 캡처 디바이스 내의 예측 자동 초점 프로세스에 대한 예측 초점값 계산 프로세스의 대표적인 동작을 도시한 흐름도이다. 도 1 의 이미지 캡처 디바이스 (10) 를 참조하여 본 명세서에서 동작을 설명한다. 이미지 캡처 제어기 (14) 는 제 1 프레임 동안에 렌즈 위치로 이미지 캡처 디바이스 (10) 에 포함된 렌즈를 이동시킨다 (70). 센서 어레이 (12) 는 제 1 프레임 동안에 렌즈의 상이한 이동 스테이지에서 장면에 대한 이미지 정보를 획득한다 (72).
이미지 캡처 제어기 (14) 는 센서 어레이 (12) 로부터 제 1 프레임에 대한 이미지 정보를 판독하고, 예측 자동 초점 모듈 (18) 로 이미지 정보를 전송한다. 이후, 예측 자동 초점 모듈 (18) 은 렌즈 정착 직후에 제 1 프레임으로부터의 이미지 정보에 기초하여 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산한다 (74). 예측 자동 초점 모듈 (18) 은 손상된 초점값에 기초하여 렌즈 위치에서의 장면에 대한 유효 초점값을 예측한다 (76).
이후, 예측 자동 초점 모듈 (18) 은 이전 렌즈 위치에 대한 유효 초점값과 함께 현재 렌즈 위치에 대한 예측된 유효 초점값을 초점값 저장 디바이스 (22) 에 저장할 수도 있다. 몇몇 경우에, 예측 자동 초점 모듈 (18) 은 초점값 저장 디바이스 (22) 로부터 검색된 이전 렌즈 위치에 대한 유효 초점값 및 현재 렌즈 위치에 대한 예측된 초점값에 기초하여 현재 렌즈 위치에 대한 손상된 초점값을 계산한 직후에 렌즈에 대한 다음 렌즈 위치를 결정한다. 이후, 이미지 캡처 제어기 (14) 는 제 2 프레임 동안에 다음 렌즈 위치로 렌즈를 이동시킬 수도 있다. 다른 경우에, 예측 자동 초점 모듈 (18) 은 장면에 대한 최대 유효 초점값을 갖는 이전 렌즈 위치 또는 현재 렌즈 위치 중 하나를 선택하고, 선택된 렌즈 위치를 이미 지 캡처 제어기 (14) 에 전송한다. 이후, 이미지 캡처 제어기 (14) 는 장면에 대해 선택된 렌즈 위치를 설정할 수도 있고, 센서 어레이 (12) 는 선택된 렌즈 위치를 이용하여 장면의 이미지 프레임을 캡처한다.
도 8 은 이미지 캡처 디바이스 내의 예측 자동 초점 프로세스에 대한 예측 초점값 계산 프로세스의 대표적인 동작을 더 상세히 도시한 흐름도이다. 이미지 캡처 디바이스 (10) 에 포함된 도 3 의 예측 자동 초점 모듈 (18) 을 참조하여 본 명세서에서 동작을 설명한다. 센서 어레이 (12) 는 제 1 프레임의 시작 시에 장면에 대한 이미지 정보의 통합을 개시한다 (80). 도시된 실시형태에서, 센서 어레이 (12) 의 각 라인이 상이한 시간에 통합을 시작 및 종료하는 롤링 셔터로 이미지 정보를 통합하는 CMOS 센서를 센서 어레이 (12) 가 포함할 수도 있다. 이미지 캡처 제어기 (14) 는 센서 어레이 (12) 의 각 라인으로부터 이미지 정보를 판독한다.
이미지 캡처 제어기 (14) 는 제 1 프레임 동안에 제 1 렌즈 위치로 이미지 캡처 디바이스 (10) 에 포함된 렌즈를 이동시킨다 (82). 센서 어레이 (12) 는 제 1 프레임 동안에 렌즈의 상이한 이동 스테이지에서 장면에 대한 이미지 정보를 계속하여 통합한다. 이후, 이미지 캡처 제어기 (14) 는 제 2 프레임 동안에 제 1 프레임 전체에 대한 센서 어레이 (12) 로부터의 이미지 정보의 판독을 완료한다 (84). 이미지 캡처 제어기 (14) 는 예측 자동 초점 모듈 (18) 로 제 1 프레임 전체에 대한 이미지 정보를 전송한다.
예측 자동 초점 모듈 (18) 은 초점값 계산 모듈 (32), 자동 초점 제어기 (34), 및 렌즈 이동 모듈 (30) 을 포함한다. 초점값 계산 모듈 (32) 은 제 2 프레임 동안에 제 1 렌즈 위치에서의 렌즈의 정착 직후에 제 1 프레임으로부터의 이미지 정보에 기초하여 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산한다 (86). 초점값 계산 모듈 (32) 은 자동 초점 제어기 (34) 로 손상된 초점값을 전송한다.
자동 초점 제어기 (34) 내의 계수 측정 모듈 (38) 은 제 1 프레임의 기준 라인에서의 센서 어레이 (12) 에 의한 통합 시간을 제 1 프레임 동안의 렌즈의 상이한 이동 스테이지로 분할한다 (88). 예를 들어, 기준 라인은 센서 어레이 (12) 내의 센서의 중앙 라인을 포함할 수도 있다. 통합 시간은 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 및 렌즈 이동 스테이지 이후로 분할될 수도 있다. 이후, 계수 측정 모듈 (38) 은 렌즈 이동 스테이지 이전에서 제 1 프레임에 대한 제 1 계수를 측정한다 (90). 계수 측정 모듈 (38) 은 또한 렌즈 이동 스테이지 동안에서 제 1 프레임에 대한 제 2 계수를 측정한다 (92). 계수 측정 모듈 (38) 은 렌즈 이동 스테이지 이후에서 제 1 프레임에 대한 제 3 계수를 측정한다 (94). 계수의 총합은 1 과 동일하다.
이후, 자동 초점 제어기 (34) 에 포함된 예측 알고리즘 유닛 (36) 은 초점값 저장 디바이스 (22) 로부터 검색된 이전 렌즈 위치에 대한 유효 초점값, 계수, 및 손상된 초점값에 기초하여 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측한다 (96). 예를 들어, 예측 알고리즘 유닛 (36) 은, 수학식:
Figure 112009022737330-PCT00010
에 기초하여, 제 1 렌즈 위치에 대한 유효 초점값 FV 1 을 예측할 수도 있으며, 여기서 FV 1' 는 렌즈 위치에 대한 손상된 초점값이고, a1 은 제 1 계수이고, a2 는 제 2 계수이고, a3 은 제 3 계수이고, FV 0 은 이전 렌즈 위치에 대한 유효 초점값이며,
Figure 112009022737330-PCT00011
은 이전 렌즈 위치와 제 1 렌즈 위치로부터의 이동 동안의 전이 초점값이다.
그러나, 개별 계수의 값은 계수의 각각이 1 미만이므로 정확히 측정하기 어려울 수도 있다. 따라서, 몇몇 경우에, 계수 측정 모듈 (38) 은 계수 값을 추정할 수도 있다. 예를 들어, 기준 라인이 센서 어레이 (12) 내의 센서의 중앙 라인이면, 통합 시간은, 이미지 캡처 제어기 (14) 가 제 1 프레임 동안에 제 1 렌즈 위치로 렌즈를 이동시키는 시간까지의 적어도 절반이다. 따라서, 제 1 계수 a1 은 0.5 보다 크고, 제 2 계수 a2, 및 제 3 계수 a3 은 결합하여 0.5 미만이다. 이 경우에, 계수 측정 모듈 (38) 은 제 1 계수 a1 을 1 과 동일하게 설정하고, 제 2 계수 a2, 및 제 3 계수 a3 를 0 과 동일하게 설정한다. 이후, 예측 알고리즘 유닛 (36) 은 수학식
Figure 112009022737330-PCT00012
에 기초하여, 제 1 렌즈 위치에 대한 유효 초점값 FV 1 을 예측할 수도 있으며, 여기서 FV 2' 는 후속 렌즈 위치에 대한 손상된 초점값이다.
자동 초점 제어기 (34) 는 예측된 초점값을 렌즈 이동 모듈 (30) 로 전송한다. 렌즈 이동 모듈 (30) 은 초점값 저장 디바이스 (22) 로부터 검색된 이전 렌즈 위치에 대한 유효 초점값 및 제 1 렌즈 위치에 대한 예측된 초점값에 기초하여 제 1 렌즈 위치에 대한 손상된 초점값을 계산한 직후에 렌즈에 대한 제 2 렌즈 위치를 결정한다. 렌즈 이동 모듈 (30) 은, 렌즈의 이동 스텝 사이즈 및 이동 방향 정보를 포함하는 이동 정보를 이미지 캡처 제어기 (14) 로 전송한다. 이후, 이미지 캡처 제어기 (14) 는 이동 정보에 기초하여 제 2 프레임 동안에 제 1 렌즈 위치로부터 제 2 렌즈 위치로 렌즈를 이동시킨다 (98).
장면에 대한 최대 예측 초점값을 결정하는 때에, 자동 초점 제어기 (34) 는 장면에 대한 최대 예측 초점값과 연관된 렌즈 위치를 선택한다. 이후, 자동 초점 제어기 (34) 는 이미지 캡처 제어기 (14) 로 선택된 렌즈 위치를 전송한다. 이미지 캡처 제어기 (14) 는 장면에 대해 선택된 렌즈 위치를 설정할 수도 있고, 센서 어레이 (12) 는 선택된 렌즈 위치를 이용하여 장면의 이미지 프레임을 캡처한다.
도 9 는 예측 자동 초점 프로세스 내의 이미지 정보의 다른 대표적인 통합 및 판독을 도시한 도면이다. 이 실시형태에서, 이미지 캡처 디바이스 (10) 내의 센서 어레이 (12) 는 글로벌 셔터를 갖는 CCD 센서의 어레이에 부합한다. 도시된 도면은 장면의 각 프레임에 대한 센서 어레이 (12) 의 각 라인으로부터의 이미지 정보의 통합 및 판독 시간을 포함한다. 도 9 에 도시된 바와 같이, 장면의 각 프레임의 시작 시에, 센서 어레이 (12) 는 장면에 대한 이미지의 통합을 개시한다. 센서 어레이 (12) 내의 CCD 센서는 글로벌 셔터에 의해 장면에 순차적으로 노출되어, 각 프레임에 대한 이미지 정보를 획득한다. 글로벌 셔터는 센서 어레이 (12) 의 각 라인이 동시에 통합을 시작 및 종료하게 한다.
도 9 에 도시된 글로벌 셔터 센서 어레이 실시형태는 도 4 에 도시된 롤링 셔터 센서 어레이 실시형태와 실질적으로 유사하게 동작한다. 센서 어레이 (12) 는 제 1 프레임 (100) 의 시작 시에 장면에 대한 이미지 정보의 통합을 개시한다. 제 1 프레임 (100) 동안에, 예측 자동 초점 모듈 (18) 은 초기 렌즈 위치에 대한 손상된 초점값 FV 0' 에 기초하여 초기 렌즈 위치에서의 장면에 대한 유효 초점값 FV 0 을 예측한다. 이후, 이미지 캡처 제어기 (14) 는 초기 렌즈 위치로부터 제 1 렌즈 위치로 렌즈를 이동시킨다. 일단 렌즈가 제 1 프레임 (100) 동안에 현재 렌즈 위치에 도달하고 이동을 정지하면, 렌즈 정착이 발생한다. 센서 어레이 (12) 는 제 1 프레임 (100) 동안에 렌즈의 상이한 이동 스테이지에서의 장면에 대한 이미지 정보를 계속하여 통합한다. 일단 통합이 완료되면, 이미지 캡처 제어기 (14) 는 제 1 프레임 (100) 전체에 대한 센서 어레이 (12) 의 각 라인으로부터의 이미지 정보의 판독을 개시한다.
이미지 캡처 제어기 (14) 는 제 1 프레임 (100) 전체에 대한 이미지 정보를 예측 자동 초점 모듈 (18) 로 전송한다. 예측 자동 초점 모듈 (18) 은 초점값 계산 모듈 (32) 로 이미지 정보를 포워딩한다. 초점값 계산 모듈 (32) 은 제 1 프레임 (100) 동안에 제 1 렌즈 위치에서의 렌즈 정착 이후에 제 1 프레임 (100) 으로부터의 이미지 정보에 기초하여 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값 FV 1' 을 계산한다.
초점값 계산 모듈 (32) 은 자동 초점 제어기 (34) 로 손상된 초점값 FV 1' 을 전송한다. 자동 초점 제어기 (34) 내의 계수 측정 모듈 (38) 은 제 1 프레임 (100) 의 기준 라인 (108) 에서의 센서 어레이 (12) 에 의한 통합 시간을 제 1 프레임 (100) 동안의 렌즈의 상이한 이동 스테이지로 분할한다. 통합 시간은 렌즈 이동 스테이지 이전 (110), 렌즈 이동 스테이지 동안 (112), 렌즈 이동 스테이지 이후 (114) 로 분할될 수도 있다. 이후, 계수 측정 모듈 (38) 은 렌즈 이동 스테이지 이전 (110) 에서 제 1 프레임 (100) 에 대한 제 1 계수 a1, 렌즈 이동 스테이지 동안 (112) 에서 제 1 프레임 (100) 에 대한 제 2 계수 a2, 및 렌즈 이동 스테이지 이후 (114) 에서 제 1 프레임 (100) 에 대한 제 3 계수 a3 을 측정한다. 몇몇 경우에, 계수 측정 모듈 (38) 은 계수 값을 추정할 수도 있다. 예를 들어, 계수 측정 모듈 (38) 은 제 1 계수 a1 을 1 과 동일하게 설정하고, 제 2 계수 a2, 및 제 3 계수 a3 을 0 과 동일하게 설정할 수도 있다.
자동 초점 제어기 (34) 에 포함된 예측 알고리즘 유닛 (36) 은 초점값 저장 디바이스 (22) 로부터 검색된 이전 렌즈 위치에 대한 유효 초점값 (FV 0), 제 1 프레임 (100) 에 대한 계수 (a1, a2, 및 a3), 및 손상된 초점값 (FV 1') 에 기초하여, 제 1 렌즈 위치에서의 장면에 대한 유효 초점값 FV 1 을 예측한다. 계수 측정 모듈 (38) 이 제 1 계수 a1 을 1 과 동일하게 설정하고, 제 2 계수 a2, 및 제 3 계수 a3 을 0 과 동일하게 설정하는 경우에, 예측 알고리즘 유닛 (36) 은 후속 렌즈 위치에 대한 손상된 초점값 FV 2' 에 기초하여, 제 1 렌즈 위치에 대한 유효 초점값 FV 1 을 예측할 수도 있다.
예측 자동 초점 모듈 (18) 은, 렌즈 위치 중 하나의 렌즈 위치에서 장면에 대한 최대 초점값이 예측될 때까지 대응하는 렌즈 위치에 대한 손상된 초점값, 대응하는 프레임의 계수, 및 이전 유효 초점값에 기초하여 복수의 렌즈 위치의 각각에서의 유효 초점값을 계속하여 예측한다. 예를 들어, 예측 알고리즘 유닛 (36) 은 상기 주어진 수학식 (1) 세트에 기초하여 도 9 에 의해 도시된 렌즈 위치에 대한 유효 초점값을 예측할 수도 있다. 장면에 대한 최대 예측 초점값을 결정하는 때에, 자동 초점 제어기 (34) 는 장면에 대한 최대 초점값과 연관된 렌즈 위치를 선택하고, 선택된 렌즈 위치를 이미지 캡처 제어기 (14) 로 전송한다. 이후, 이미지 캡처 제어기 (14) 는 장면에 대해 선택된 렌즈 위치를 설정할 수도 있고, 센서 어레이 (12) 는 선택된 렌즈 위치를 이용하여 장면의 이미지 프레임을 캡처한다.
수개의 실시형태를 설명하였다. 그러나, 이들 실시형태에 대한 다양한 변형이 가능하고, 여기에 제시된 원리는 다른 실시형태에도 적용될 수 있다. 여기서 설명한 것과 같은 방법은 하드웨어, 소프트웨어, 및/또는 펌웨어로 구현될 수도 있다. 이러한 방법의 다양한 태스크는 마이크로프로세서, 임베디드 제어기, 또는 IP 코어와 같이, 로직 엘리먼트의 하나 이상의 어레이에 의해 실행가능한 명령 세트로서 구현될 수도 있다. 일 실시예에서, 이러한 하나 이상의 태스크 는 셀룰러 전화기와 같은 개인용 통신 디바이스의 다양한 디바이스의 동작을 제어하도록 구성된 이동국 모뎀 칩 또는 칩셋 내에서 실행하기 위해 배열된다.
본 개시물에서 설명한 기술은 범용 마이크로프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array), 또는 다른 등가의 로직 디바이스 내에서 구현될 수도 있다. 그 기술이 소프트웨어로 구현되면, 이는 RAM (random access memory), ROM (read-only memory), NVRAM (non-volatile random access memory), EEPROM (electrically erasable programmable read-only memory), FLASH 메모리 등과 같은 컴퓨터-판독가능 매체 상의 명령들로서 구현될 수도 있다. 그 명령들은 하나 이상의 프로세서로 하여금 본 개시물에서 설명한 기능성의 일정 양태를 수행하게 한다.
추가 실시예로서, 실시형태는 하드와이어드 (hardwired) 회로로서, 주문형 집적 회로로 제조된 회로 구성으로서, 또는 머신-판독가능 코드 (이러한 코드는 마이크로프로세서 또는 다른 디지털 신호 프로세싱 유닛과 같은 로직 엘리먼트의 어레이에 의해 실행가능한 명령들임) 로서 데이터 저장 매체로 또는 이로부터 로딩된 소프트웨어 프로그램 또는 비휘발성 스토리지로 로딩된 펌웨어 프로그램으로서 부분적으로 또는 전체적으로 구현될 수도 있다. 데이터 저장 매체는 (제한 없이 동적 또는 정적 RAM, ROM, 및/또는 플래시 RAM 을 포함할 수도 있는) 반도체 메모리 또는 강유전체, 오보닉 (ovonic), 중합 (polymeric), 또는 상변화 메모리와 같은 저장 엘리먼트의 어레이; 또는 자기 또는 광학 디스크와 같은 디스크 매체일 수 도 있다.
본 개시물에서, 이미지 캡처 디바이스 내의 예측 초점값 계산에 대한 기술을 설명하였다. 그 기술은, 제 2 프레임 동안에 렌즈 정착 직후에 제 1 프레임으로부터 계산된 렌즈 위치에 대한 손상된 초점값에 기초하여, 이미지 캡처 디바이스에 포함된 렌즈의 이 렌즈 위치에서의 장면에 대한 초점값을 예측함으로써, 이미지 캡처 디바이스 내에서 자동 초점 프로세스를 수행하는 것을 포함한다. 따라서, 자동 초점 프로세스는 예측된 유효 초점값에 기초하여 다음 렌즈 위치로의 렌즈의 이동 방향 및 사이즈를 결정하고, 제 2 프레임 동안에 다음 렌즈 위치로 렌즈를 이동시킬 수도 있다. 이러한 방법으로, 그 기술은 각 프레임 동안에 다른 렌즈 위치로 렌즈를 이동시킬 수도 있어서, 자동 초점 프로세스의 속도를 2배 또는 3배가 되게 함으로써 자동 초점 레이턴시를 크게 감소시킨다.
본 명세서에서 설명한 기술에 따르면, 이미지 캡처 디바이스는, 각 프레임 동안에 복수의 렌즈 위치로 렌즈를 이동시키는 이미지 캡처 제어기, 및 각 프레임 동안에 렌즈의 상이한 이동 스테이지에서의 장면에 대한 이미지 정보를 획득하는 센서 어레이를 포함한다. 제 1 프레임 전체로부터의 이미지 정보의 판독 이후에, 이미지 캡처 디바이스에 포함된 예측 자동 초점 모듈은 제 2 프레임 동안에 제 1 렌즈 위치에서의 렌즈 정착 직후에 제 1 프레임으로부터 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산한다. 예측 자동 초점 모듈은 제 1 렌즈 위치에 대한 손상된 초점값에 기초하여 제 1 렌즈 위치에서의 장면에 대한 유효 초점값을 예측한다. 이후, 예측 자동 초점 모듈은 예측된 렌즈 위치에 기초하여 제 2 렌즈 위치를 결정할 수도 있고, 제 2 프레임 동안에 결정된 제 2 렌즈 위치로 렌즈를 이동시키도록 이미지 캡처 제어기에 지시할 수도 있다. 이들 및 다른 실시형태는 다음의 청구범위의 범주 내에 있다.

Claims (42)

  1. 제 1 프레임 동안에 렌즈 위치로 이미지 캡처 디바이스에 포함된 렌즈를 이동시키는 단계;
    렌즈 정착 이후에 상기 제 1 프레임으로부터 상기 렌즈 위치에서의 장면에 대한 손상된 (corrupt) 초점값을 계산하는 단계; 및
    상기 손상된 초점값에 기초하여 상기 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에서 상기 이미지 캡처 디바이스에 포함된 센서 어레이로부터 상기 장면에 대한 이미지 정보를 획득하는 단계를 더 포함하며,
    상기 손상된 초점값을 계산하는 단계는, 상기 제 1 프레임으로부터의 이미지 정보에 기초하여 상기 렌즈 위치에서의 상기 장면에 대한 상기 손상된 초점값을 계산하는 단계를 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 1 프레임에 대한 계수를 측정하는 단계를 더 포함하며,
    상기 유효 초점값을 예측하는 단계는, 상기 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 1 프레임에 대한 계수, 및 이전 렌즈 위치에 대한 유효 초점값에 기초하여 상기 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 렌즈 위치는 제 1 렌즈 위치를 포함하며,
    상기 제 1 렌즈 위치에 대한 상기 손상된 초점값을 계산한 후에, 제 2 프레임 동안에 제 2 렌즈 위치로 상기 렌즈를 이동시키는 단계를 더 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 장면의 복수의 프레임 각각 동안에 상이한 렌즈 위치로 상기 렌즈를 이동시키는 단계;
    후속 프레임 동안 렌즈 정착 이후에 대응하는 프레임으로부터 상이한 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하는 단계; 및
    대응하는 렌즈 위치에 대한 상기 손상된 초점값에 기초하여 상기 상이한 렌즈 위치 각각에서의 상기 장면에 대한 유효 초점값을 예측하는 단계를 더 포함하는, 방법.
  6. 제 5 항에 있어서,
    상기 예측된 유효 초점값에 기초하여 상기 장면에 대한 상기 렌즈 위치들 중 하나의 렌즈 위치를 선택하는 단계;
    상기 렌즈 위치들 중 상기 선택된 렌즈 위치를 상기 이미지 캡처 디바이스에 포함된 이미지 캡처 제어기로 전달하는 단계; 및
    상기 렌즈 위치들 중 상기 선택된 렌즈 위치를 이용하여, 상기 이미지 캡처 디바이스에 포함된 센서 어레이로 상기 장면의 이미지 프레임을 캡처하는 단계를 더 포함하는, 방법.
  7. 제 5 항에 있어서,
    상기 손상된 초점값에 기초하여 상기 렌즈의 다음 렌즈 위치를 결정하는 단계;
    상기 렌즈의 이동 방향 및 이동 스텝 사이즈 (movement step size) 를 포함하는 이동 정보를 상기 이미지 캡처 디바이스에 포함된 이미지 캡처 제어기로 전송하는 단계; 및
    상기 이동 정보에 기초하여 상기 결정된 다음 렌즈 위치로 상기 렌즈를 이동시키는 단계를 더 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 제 1 프레임의 시작 시에 상기 이미지 캡처 디바이스에 포함된 센서 어레이의 각 라인을 사용하여 상기 장면에 대한 이미지 정보의 통합을 개시하는 단 계;
    상기 제 1 프레임 전체에 대해 상기 센서 어레이의 각 라인으로부터의 상기 장면에 대한 상기 이미지 정보의 판독을 완료하는 단계; 및
    상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 1 프레임의 기준 라인에서의 통합 시간 (integration time) 의 계수를 측정하는 단계를 더 포함하며,
    상기 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 단계는, 상기 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 1 프레임에 대한 계수, 이전 렌즈 위치에 대한 유효 초점값에 기초하여 유효 초점값을 예측하는 단계를 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 손상된 초점값을 계산하는 단계는, 상기 제 1 프레임 전체로부터 판독된 상기 이미지 정보를 수신한 후에 상기 렌즈 위치에서의 상기 장면에 대한 상기 손상된 초점값을 계산하는 단계를 포함하는, 방법.
  10. 제 8 항에 있어서,
    상기 제 1 프레임에 대한 계수를 측정하는 단계는,
    상기 제 1 프레임의 상기 기준 라인에서의 통합 시간을, 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 및 렌즈 이동 스테이지 이후로 분할하는 단계;
    상기 렌즈 이동 스테이지 이전에서 상기 제 1 프레임에 대한 계수 중 제 1 계수를 측정하는 단계;
    상기 렌즈 이동 스테이지 동안에서 상기 제 1 프레임에 대한 계수 중 제 2 계수를 측정하는 단계; 및
    상기 렌즈 이동 스테이지 이후에서 상기 제 1 프레임에 대한 계수 중 제 3 계수를 측정하는 단계를 포함하며,
    상기 계수들의 총합은 1 과 동일한, 방법.
  11. 제 10 항에 있어서,
    상기 렌즈 위치에 대한 유효 초점값을 예측하는 단계는, 수학식
    Figure 112009022737330-PCT00013
    에 기초하여, 상기 렌즈 위치에 대한 유효 초점값 FV 1 을 예측하는 단계를 포함하며, 여기서 FV 1' 는 상기 렌즈 위치에 대한 상기 손상된 초점값이고, a1 은 상기 계수 중 상기 제 1 계수이고, a2 는 상기 계수 중 상기 제 2 계수이고, a3 는 상기 계수 중 상기 제 3 계수이고, FV 0 는 상기 이전 렌즈 위치에 대한 상기 유효 초점값이며,
    Figure 112009022737330-PCT00014
    는 상기 이전 렌즈 위치와 상기 렌즈 위치로부터의 이동 동안의 전이 (transitional) 초점값인, 방법.
  12. 제 8 항에 있어서,
    상기 제 1 프레임에 대한 계수를 측정하는 단계는,
    상기 제 1 프레임의 상기 기준 라인에서의 통합 시간을, 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 및 렌즈 이동 스테이지 이후로 분할하는 단계;
    상기 렌즈 이동 스테이지 이전에서의 상기 제 1 프레임에 대한 상기 계수 중 제 1 계수를 1 과 동일하게 설정하는 단계;
    상기 렌즈 이동 스테이지 동안에서의 상기 제 1 프레임에 대한 상기 계수 중 제 2 계수를 0 과 동일하게 설정하는 단계; 및
    상기 렌즈 이동 스테이지 이후에서의 상기 제 1 프레임에 대한 상기 계수 중 제 3 계수를 0 과 동일하게 설정하는 단계를 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 렌즈 위치에 대한 유효 초점값을 예측하는 단계는, 수학식
    Figure 112009022737330-PCT00015
    에 기초하여 상기 렌즈 위치에 대한 유효 초점값 FV 1 을 예측하는 단계를 포함하며, 여기서 FV 2' 는 후속 렌즈 위치에 대한 손상된 초점값인, 방법.
  14. 제 1 렌즈 위치에서의 렌즈 정착 이후에 제 1 프레임으로부터 이미지 캡처 디바이스에 포함된 렌즈의 상기 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하는 단계;
    상기 제 1 렌즈 위치에 대한 상기 손상된 초점값에 기초하여, 상기 제 1 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 단계; 및
    상기 제 1 렌즈 위치에 대한 상기 손상된 초점값을 계산한 후에, 제 2 프레임 동안에 제 2 렌즈 위치로 상기 렌즈를 이동시키는 단계를 포함하는, 방법.
  15. 제 14 항에 있어서,
    제 3 프레임 동안에 상기 제 2 렌즈 위치에서의 렌즈 정착 이후에 상기 제 2 프레임으로부터 상기 제 2 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하는 단계; 및
    상기 제 2 렌즈 위치에 대한 상기 손상된 초점값에 기초하여, 상기 제 2 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 단계를 더 포함하는, 방법.
  16. 제 14 항에 있어서,
    상기 제 2 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에서 상기 이미지 캡처 디바이스에 포함된 센서 어레이로부터 상기 장면에 대한 이미지 정보를 획득하는 단계;
    상기 제 2 프레임으로부터의 상기 이미지 정보에 기초하여 상기 제 2 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하는 단계;
    상기 제 2 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 2 프레임에 대한 계수를 측정하는 단계; 및
    상기 제 2 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 2 프레임에 대한 상기 계수, 및 상기 제 1 렌즈 위치에 대한 상기 예측된 초점값에 기초하여, 상기 제 2 렌즈 위치에 대한 유효 초점값을 예측하는 단계를 더 포함하는, 방법.
  17. 프로그램가능 프로세서로 하여금,
    제 1 프레임 동안에 렌즈 위치로 이미지 캡처 디바이스에 포함된 렌즈를 이동시키게 하고;
    렌즈 정착 이후에 상기 제 1 프레임으로부터 상기 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하게 하며;
    상기 손상된 초점값에 기초하여 상기 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하게 하는 명령들을 포함하는, 컴퓨터-판독가능 매체.
  18. 제 17 항에 있어서,
    상기 프로그램가능 프로세서로 하여금,
    상기 제 1 프레임의 시작 시에 상기 이미지 캡처 디바이스에 포함된 센서 어레이의 각 라인을 사용하여 상기 장면에 대한 이미지 정보의 통합을 개시하게 하고;
    상기 제 1 프레임 전체에 대한 상기 센서 어레이의 각 라인으로부터의 상기 장면에 대한 상기 이미지 정보의 판독을 완료하게 하고;
    상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 1 프레임의 기준 라인에서의 통합 시간의 계수를 측정하게 하며;
    상기 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 1 프레임에 대한 계수, 및 이전 렌즈 위치에 대한 유효 초점값에 기초하여, 상기 렌즈 위치에 대한 유효 초점값을 예측하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
  19. 제 18 항에 있어서,
    상기 명령들은, 상기 프로그램가능 프로세서로 하여금, 상기 제 1 프레임 전체로부터 판독된 상기 이미지 정보를 수신한 후에 상기 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하게 하는, 컴퓨터-판독가능 매체.
  20. 제 18 항에 있어서,
    상기 명령들은, 상기 프로그램가능 프로세서로 하여금,
    상기 제 1 프레임의 상기 기준 라인에서의 통합 시간을, 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 렌즈 이동 스테이지 이후로 분할하게 하고;
    상기 렌즈 이동 스테이지 이전에서 상기 제 1 프레임에 대한 계수 중 제 1 계수를 측정하게 하고;
    상기 렌즈 이동 스테이지 동안에서 상기 제 1 프레임에 대한 계수 중 제 2 계수를 측정하게 하며;
    상기 렌즈 이동 스테이지 이후에서 상기 제 1 프레임에 대한 계수 중 제 3 계수를 측정하게 하고,
    상기 계수들의 총합은 1 과 동일한, 컴퓨터-판독가능 매체.
  21. 제 20 항에 있어서,
    상기 명령들은, 상기 프로그램가능 프로세서로 하여금, 수학식
    Figure 112009022737330-PCT00016
    에 기초하여, 상기 렌즈 위치에 대한 유효 초점값 FV 1 을 예측하게 하며, 여기서 FV 1' 는 상기 렌즈 위치에 대한 손상된 초점값이고, a1 은 상기 계수 중 상기 제 1 계수이고, a2 는 상기 계수 중 상기 제 2 계수이며, a3 는 상기 계수 중 상기 제 3 계수이고, FV 0 은 상기 이전 렌즈 위치에 대한 유효 초점값이며,
    Figure 112009022737330-PCT00017
    는 상기 이전 렌즈 위치와 상기 렌즈 위치로부터의 이동 동안의 전이 (transitional) 초점값인, 컴퓨터-판독가능 매체.
  22. 제 20 항에 있어서,
    상기 명령들은, 상기 프로그램가능 프로세서로 하여금,
    상기 제 1 프레임의 상기 기준 라인에서의 통합 시간을, 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 및 렌즈 이동 스테이지 이후로 분할하게 하고;
    상기 렌즈 이동 스테이지 이전에서의 상기 제 1 프레임에 대한 계수 중 제 1 계수를 1 과 동일하게 설정하게 하고;
    상기 렌즈 이동 스테이지 동안에서의 상기 제 1 프레임에 대한 계수 중 제 2 계수를 0 과 동일하게 설정하게 하며;
    상기 렌즈 이동 스테이지 이후에서의 상기 제 1 프레임에 대한 계수 중 제 3 계수를 0 과 동일하게 설정하게 하는, 컴퓨터-판독가능 매체.
  23. 제 22 항에 있어서,
    상기 명령들은, 상기 프로그램가능 프로세서로 하여금, 수학식
    Figure 112009022737330-PCT00018
    에 기초하여 상기 렌즈 위치에 대한 유효 초점값 FV 1 을 예측하게 하며, 여기서 FV 2' 는 후속 렌즈 위치에 대한 손상된 초점값인, 컴퓨터-판독가능 매체.
  24. 제 17 항에 있어서,
    상기 렌즈 위치는 제 1 렌즈 위치를 포함하고,
    상기 컴퓨터-판독가능 매체는, 상기 프로그램가능 프로세서로 하여금,
    상기 제 1 렌즈 위치에 대한 상기 손상된 초점값을 계산한 후에, 제 2 프레임 동안에 제 2 렌즈 위치로 상기 렌즈를 이동시키게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
  25. 제 24 항에 있어서,
    상기 프로그램가능 프로세서로 하여금,
    상기 제 2 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에서 상기 이미지 캡처 디바이스에 포함된 센서 어레이로부터 상기 장면에 대한 이미지 정보를 수신하게 하고;
    상기 제 2 프레임으로부터의 상기 이미지 정보에 기초하여 상기 제 2 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하게 하고;
    상기 제 2 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 2 프레임에 대한 계수를 측정하게 하며;
    상기 제 2 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 2 프레임에 대한 계수, 및 상기 제 1 렌즈 위치에 대한 상기 예측된 초점값에 기초하여, 상기 제 2 렌즈 위치에 대한 유효 초점값을 예측하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
  26. 디바이스로서,
    제 1 프레임 동안에 렌즈 위치로 상기 디바이스에 포함된 렌즈를 이동시키는 이미지 캡처 제어기; 및
    렌즈 정착 이후에 상기 제 1 프레임으로부터 상기 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하고, 상기 손상된 초점값에 기초하여 상기 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 예측 자동 초점 모듈을 포함하는, 디바이스.
  27. 제 26 항에 있어서,
    상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에서 상기 장면에 대한 이미지 정보를 획득하는 센서 어레이를 더 포함하며,
    상기 예측 자동 초점 모듈은, 상기 제 1 프레임으로부터의 상기 이미지 정보에 기초하여 상기 렌즈 위치에서의 상기 장면에 대한 상기 손상된 초점값을 계산하는 초점값 계산 모듈을 포함하는, 디바이스.
  28. 제 27 항에 있어서,
    상기 예측 자동 초점 모듈은, 상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 1 프레임에 대한 계수를 측정하고, 상기 렌즈 위치에 대한 손상된 초점값, 상기 제 1 프레임에 대한 계수, 및 이전 렌즈 위치에 대한 유효 초점값에 기초하여 상기 렌즈 위치에서의 장면에 대한 유효 초점값을 예측하는 자동 초점 제어기를 포함하는, 디바이스.
  29. 제 26 항에 있어서,
    상기 렌즈 위치는 제 1 렌즈 위치를 포함하고,
    상기 이미지 캡처 제어기는, 상기 예측 자동 초점 모듈이 상기 제 1 렌즈 위치에 대한 상기 손상된 초점값을 계산한 후에, 제 2 프레임 동안에 제 2 렌즈 위치로 상기 렌즈를 이동시키는, 디바이스.
  30. 제 26 항에 있어서,
    상기 이미지 캡처 제어기는, 상기 장면의 복수의 프레임 각각 동안에 상이한 렌즈 위치로 상기 렌즈를 이동시키고,
    상기 예측 자동 초점 모듈은, 후속 프레임 동안 렌즈 정착 이후에 대응하는 프레임으로부터 상이한 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하는 초점값 계산 모듈, 및 대응하는 렌즈 위치에 대한 상기 손상된 초점값에 기초하여 상기 상이한 렌즈 위치 각각에서의 상기 장면에 대한 유효 초점값을 예측하는 자동 초점 제어기를 포함하는, 디바이스.
  31. 제 30 항에 있어서,
    상기 자동 초점 제어기는, 상기 예측된 초점값에 기초하여 상기 장면에 대한 상기 렌즈 위치 중 하나의 렌즈 위치를 선택하고, 상기 렌즈 위치 중 선택된 렌즈 위치를 상기 이미지 캡처 제어기로 전송하며,
    상기 이미지 캡처 제어기는, 상기 장면에 대해 상기 렌즈 위치 중 선택된 렌즈 위치를 설정하고, 상기 렌즈 위치 중 선택된 렌즈 위치를 이용하여 상기 장면의 이미지 프레임을 캡처하는 센서 어레이를 더 포함하는, 디바이스.
  32. 제 30 항에 있어서,
    상기 예측 자동 초점 모듈은, 상기 손상된 초점값에 기초하여 상기 렌즈의 다음 렌즈 위치를 결정하고, 상기 렌즈의 이동 방향 및 이동 스텝 사이즈를 포함하는 이동 정보를 상기 이미지 캡처 제어기로 전송하는 렌즈 이동 모듈을 포함하고,
    상기 이미지 캡처 제어기는, 상기 이동 정보에 기초하여 상기 결정된 다음 렌즈 위치로 상기 렌즈를 이동시키는, 디바이스.
  33. 제 26 항에 있어서,
    상기 제 1 프레임의 시작 시에 상기 디바이스에 포함된 센서 어레이의 각 라인을 사용하여 상기 장면에 대한 이미지 정보의 통합을 개시하는 센서 어레이를 더 포함하며,
    상기 이미지 캡처 제어기는, 상기 제 1 프레임 전체에 대한 상기 센서 어레이의 각 라인으로부터 상기 장면에 대한 상기 이미지 정보의 판독을 완료하고,
    상기 예측 자동 초점 모듈은, 상기 제 1 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 1 프레임의 기준 라인에서의 통합 시간의 계수를 측정하는 자동 초점 제어기를 포함하며,
    상기 자동 초점 제어기는, 상기 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 1 프레임에 대한 계수, 및 이전 렌즈 위치에 대한 유효 초점값에 기초하여 유효 초점값을 예측하는, 디바이스.
  34. 제 33 항에 있어서,
    상기 예측 자동 초점 모듈은, 상기 제 1 프레임 전체로부터 판독된 상기 이미지 정보를 수신한 후에 상기 렌즈 위치에서의 상기 장면에 대한 상기 손상된 초점값을 계산하는 초점값 계산 모듈을 포함하는, 디바이스.
  35. 제 33 항에 있어서,
    상기 자동 초점 제어기는,
    상기 제 1 프레임의 상기 기준 라인에서의 통합 시간을, 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 렌즈 이동 스테이지 이후로 분할하고;
    상기 렌즈 이동 스테이지 이전에서 상기 제 1 프레임에 대한 계수 중 제 1 계수를 측정하고;
    상기 렌즈 이동 스테이지 동안에서 상기 제 1 프레임에 대한 계수 중 제 2 계수를 측정하며;
    상기 렌즈 이동 스테이지 이후에서 상기 제 1 프레임에 대한 계수 중 제 3 계수를 측정하는 계수 측정 모듈을 포함하고;
    상기 계수들의 총합은 1 과 동일한, 디바이스.
  36. 제 35 항에 있어서,
    상기 자동 초점 제어기는, 수학식
    Figure 112009022737330-PCT00019
    에 기초하여, 상기 렌즈 위치에 대한 유효 초점값 FV 1 을 예측하는 예측 알고리즘 유닛을 포함하며, 여기서 FV 1' 는 상기 렌즈 위치에 대한 상기 손상된 초점값이고, a1 은 상기 계수 중 상기 제 1 계수이고, a2 는 상기 계수 중 상기 제 2 계수이고, a3 는 상기 계수 중 상기 제 3 계수이고, FV 0 는 상기 이전 렌즈 위치에 대한 상기 유효 초점값이며,
    Figure 112009022737330-PCT00020
    는 상기 이전 렌즈 위치와 상기 렌즈 위치로부터의 이동 동안의 전이 (transitional) 초점값인, 디바이스.
  37. 제 33 항에 있어서,
    상기 자동 초점 제어기는,
    상기 제 1 프레임의 상기 기준 라인에서의 통합 시간을, 렌즈 이동 스테이지 이전, 렌즈 이동 스테이지 동안, 및 렌즈 이동 스테이지 이후로 분할하고;
    상기 렌즈 이동 스테이지 이전에서의 상기 제 1 프레임에 대한 상기 계수 중 제 1 계수를 1 과 동일하게 설정하고;
    상기 렌즈 이동 스테이지 동안에서의 상기 제 1 프레임에 대한 상기 계수 중 제 2 계수를 0 과 동일하게 설정하며;
    상기 렌즈 이동 스테이지 이후에서의 상기 제 1 프레임에 대한 상기 계수 중 제 3 계수를 0 과 동일하게 설정하는 계수 측정 모듈을 포함하는, 디바이스.
  38. 제 37 항에 있어서,
    상기 자동 초점 제어기는, 수학식
    Figure 112009022737330-PCT00021
    에 기초하여 상기 렌즈 위치에 대한 유효 초점값 FV 1 을 예측하는 예측 알고리즘 유닛을 포함하며, 여기서 FV 2' 는 후속 렌즈 위치에 대한 손상된 초점값인, 디바이스.
  39. 제 1 렌즈 위치에서의 렌즈 정착 이후에 제 1 프레임으로부터 이미지 캡처 디바이스에 포함된 렌즈의 상기 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하고, 상기 제 1 렌즈 위치에 대한 상기 손상된 초점값에 기초하여, 상기 제 1 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 예측 자동 초점 모듈; 및
    상기 제 1 렌즈 위치에 대한 상기 손상된 초점값을 계산한 후에, 제 2 프레임 동안에 제 2 렌즈 위치로 상기 렌즈를 이동시키는 이미지 캡처 제어기를 포함하는, 디바이스.
  40. 제 39 항에 있어서,
    상기 예측 자동 초점 모듈은, 제 3 프레임 동안에 상기 제 2 렌즈 위치에서의 렌즈 정착 이후에 상기 제 2 프레임으로부터 상기 제 2 렌즈 위치에서의 상기 장면에 대한 손상된 초점값을 계산하고, 상기 제 2 렌즈 위치에 대한 상기 손상된 초점값에 기초하여, 상기 제 2 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는, 디바이스.
  41. 제 39 항에 있어서,
    상기 제 2 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에서 상기 장면에 대한 이미지 정보를 획득하는 센서 어레이를 더 포함하며,
    상기 예측 자동 초점 모듈은,
    상기 제 2 프레임으로부터의 상기 이미지 정보에 기초하여 상기 제 2 렌즈 위치에서의 상기 장면에 대한 상기 손상된 초점값을 계산하는 초점값 계산 모듈; 및
    상기 제 2 프레임 동안에 상기 렌즈의 상이한 이동 스테이지에 기초하여 상기 제 2 프레임에 대한 계수를 측정하고, 상기 제 2 렌즈 위치에 대한 상기 손상된 초점값, 상기 제 2 프레임에 대한 상기 계수, 및 상기 제 1 렌즈 위치에 대한 상기 예측된 초점값에 기초하여, 상기 제 2 렌즈 위치에 대한 유효 초점값을 예측하는 자동 초점 제어기를 포함하는, 디바이스.
  42. 디바이스로서,
    제 1 프레임 동안에 제 1 렌즈 위치로 상기 디바이스에 포함된 렌즈를 이동시키는 수단; 및
    상기 제 1 렌즈 위치에서의 렌즈 정착 이후에 상기 제 1 프레임으로부터 상기 제 1 렌즈 위치에서의 장면에 대한 손상된 초점값을 계산하고, 상기 손상된 초점값에 기초하여, 상기 제 1 렌즈 위치에서의 상기 장면에 대한 유효 초점값을 예측하는 수단을 포함하며,
    상기 렌즈를 이동시키는 수단은, 상기 제 1 렌즈 위치에 대한 상기 손상된 초점값의 계산 이후에 제 2 프레임 동안에 제 2 렌즈 위치로 상기 렌즈를 이동시키는, 디바이스.
KR1020097007740A 2006-09-20 2007-09-18 이미지 캡처 디바이스의 예측 초점값 계산 KR101068059B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/533,620 US7835637B2 (en) 2006-09-20 2006-09-20 Predictive focus value calculation for image capture devices
US11/533,620 2006-09-20

Publications (2)

Publication Number Publication Date
KR20090057443A true KR20090057443A (ko) 2009-06-05
KR101068059B1 KR101068059B1 (ko) 2011-09-28

Family

ID=38984291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097007740A KR101068059B1 (ko) 2006-09-20 2007-09-18 이미지 캡처 디바이스의 예측 초점값 계산

Country Status (6)

Country Link
US (1) US7835637B2 (ko)
EP (1) EP2064876B1 (ko)
JP (2) JP5166418B2 (ko)
KR (1) KR101068059B1 (ko)
CN (1) CN101518053B (ko)
WO (1) WO2008036623A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063679A1 (en) * 2021-10-12 2023-04-20 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object
US11985421B2 (en) 2021-10-12 2024-05-14 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878923B2 (en) * 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
US8190015B2 (en) 2007-09-07 2012-05-29 Qualcomm Incorporated Method and device for damping lens vibration
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
KR101137615B1 (ko) * 2010-01-12 2012-04-19 삼성전자주식회사 디지털 카메라의 자동 초점 조정 방법 및 장치
US9420166B2 (en) 2012-02-13 2016-08-16 Nokia Technologies Oy Method and apparatus for enhanced automatic adjustment of focus, exposure and white balance in digital photography
WO2014072837A2 (en) * 2012-06-07 2014-05-15 DigitalOptics Corporation Europe Limited Mems fast focus camera module
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
KR102403065B1 (ko) 2015-07-14 2022-05-27 삼성전자주식회사 영상 촬영 장치 및 그 동작 방법
CN105635587B (zh) * 2016-02-19 2019-03-12 上海集光安防科技股份有限公司 一种一体化机芯的自动聚焦方法
CN112308783B (zh) * 2019-07-24 2024-06-28 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2699340B2 (ja) * 1987-01-19 1998-01-19 キヤノン株式会社 自動合焦装置
US4908645A (en) * 1988-02-05 1990-03-13 Canon Kabushiki Kaisha Automatic focus adjusting device
US5083150A (en) * 1989-03-03 1992-01-21 Olympus Optical Co., Ltd. Automatic focusing apparatus
JP2772080B2 (ja) * 1989-03-03 1998-07-02 オリンパス光学工業株式会社 自動合焦装置および合焦位置検出方法
US5179407A (en) 1989-06-19 1993-01-12 Nikon Corporation Automatic focusing device
JP3175175B2 (ja) * 1991-03-01 2001-06-11 ミノルタ株式会社 合焦検出装置
JP3183902B2 (ja) * 1991-04-02 2001-07-09 オリンパス光学工業株式会社 自動焦点装置
JP3590846B2 (ja) * 1994-09-07 2004-11-17 株式会社ニコン 自動焦点カメラ
US5873006A (en) 1996-06-26 1999-02-16 Nikon Corporation Focusing device
JPH11258484A (ja) * 1998-03-09 1999-09-24 Sanyo Electric Co Ltd オートフォーカスカメラ
US7184090B2 (en) * 2001-09-28 2007-02-27 Nikon Corporation Camera
US7158182B2 (en) * 2001-09-28 2007-01-02 Nikon Corporation Camera that engages in a focusing operation through a contrast method
JP3555607B2 (ja) 2001-11-29 2004-08-18 ミノルタ株式会社 オートフォーカス装置
JP4265233B2 (ja) 2003-02-13 2009-05-20 株式会社ニコン カメラ
KR100562404B1 (ko) * 2003-12-19 2006-03-17 삼성테크윈 주식회사 추가 스캐닝이 수행되는 카메라의 자동 포커싱 방법
JP4551708B2 (ja) 2004-07-21 2010-09-29 キヤノン株式会社 撮像装置
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
US20070147817A1 (en) * 2005-09-29 2007-06-28 Jingqiang Li Camera feature with divided autofocus search range
US7474846B2 (en) * 2006-02-15 2009-01-06 Micron Technology, Inc. Method and apparatus of determining the best focus position of a lens
JP2006243745A (ja) * 2006-04-10 2006-09-14 Olympus Corp 自動焦点検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063679A1 (en) * 2021-10-12 2023-04-20 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object
US11985421B2 (en) 2021-10-12 2024-05-14 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object

Also Published As

Publication number Publication date
EP2064876A1 (en) 2009-06-03
JP5571141B2 (ja) 2014-08-13
CN101518053B (zh) 2011-10-19
KR101068059B1 (ko) 2011-09-28
CN101518053A (zh) 2009-08-26
JP5166418B2 (ja) 2013-03-21
JP2010504558A (ja) 2010-02-12
JP2013047807A (ja) 2013-03-07
US20080069553A1 (en) 2008-03-20
WO2008036623A1 (en) 2008-03-27
US7835637B2 (en) 2010-11-16
EP2064876B1 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
KR101068059B1 (ko) 이미지 캡처 디바이스의 예측 초점값 계산
US9191578B2 (en) Enhanced image processing with lens motion
TWI422219B (zh) 攝影裝置及攝影方法以及電腦可讀取的記錄媒體
KR102336447B1 (ko) 촬영 장치 및 그 동작 방법
KR101605419B1 (ko) 촬상 장치 및 촬상 방법
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
US9160919B2 (en) Focus adjustment unit and camera system
EP2401860A1 (en) Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
CN101035206A (zh) 电子抖动校正装置以及电子抖动校正方法
US10187564B2 (en) Focus adjustment apparatus, imaging apparatus, focus adjustment method, and recording medium storing a focus adjustment program thereon
US10812704B2 (en) Focus detection device, method and storage medium, for controlling image sensor operations
US8854503B2 (en) Image enhancements through multi-image processing
CN104641276A (zh) 摄像装置及信号处理方法
CN107465880B (zh) 对焦方法、装置、终端和计算机可读存储介质
JP2009516448A (ja) 調節可能な光学系を有する撮像システム
JP2010206722A (ja) 画像処理装置および画像処理方法、ならびに、撮像装置
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
US9282234B2 (en) Focus adjustment apparatus and method, and image capturing apparatus
JP6223160B2 (ja) 撮像装置、その制御方法、および制御プログラム
CN114554041A (zh) 摄像装置、摄像方法和存储介质
JP5345657B2 (ja) カメラの自動焦点調節方法及び装置
JP2009188754A (ja) 撮像装置におけるパン又はチルト検出方法、及び撮像装置
JP2003315665A (ja) カメラ
JP5993232B2 (ja) 撮像装置および撮像装置の焦点調節方法
JP2003304489A (ja) カメラ

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20090415

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20101026

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110627

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110921

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110921

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140828

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20150630

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160629

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20180628

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20200624

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20220622

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20230626

Start annual number: 13

End annual number: 13