KR20170029386A - 카메라의 포커스를 설정하는 방법 및 디바이스 - Google Patents

카메라의 포커스를 설정하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20170029386A
KR20170029386A KR1020160112650A KR20160112650A KR20170029386A KR 20170029386 A KR20170029386 A KR 20170029386A KR 1020160112650 A KR1020160112650 A KR 1020160112650A KR 20160112650 A KR20160112650 A KR 20160112650A KR 20170029386 A KR20170029386 A KR 20170029386A
Authority
KR
South Korea
Prior art keywords
focus
motion
camera
level
window
Prior art date
Application number
KR1020160112650A
Other languages
English (en)
Other versions
KR101801309B1 (ko
Inventor
데니스 닐슨
요한 니스트룀
비요른 벤데리우스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20170029386A publication Critical patent/KR20170029386A/ko
Application granted granted Critical
Publication of KR101801309B1 publication Critical patent/KR101801309B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N9/045—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

본 발명은, 일반적으로, 카메라의 포커스를 설정하는 자동 포커스 알고리즘에 관한 것이다. 특히, 본 발명은, 카메라의 포커스를 설정하는 방법(600) 및 디바이스에 관한 것으로, 상기 카메라의 카메라 모션 레벨은, 롤링 셔터 이미지 센서에 의해 픽셀 데이터를 판독하는 동안 연속적으로 측정되며(S604), 그리고 상기 자동 포커스 알고리즘은, 상기 연속적으로 측정되는 카메라 모션 레벨들을 사용하여 계산되는(S612) 가중된 포커스 측정들을 사용한다.

Description

카메라의 포커스를 설정하는 방법 및 디바이스{METHOD AND DEVICE FOR SETTING A FOCUS OF A CAMERA}
본 발명은, 일반적으로, 카메라의 포커스를 설정하는 자동 포커스 알고리즘들에 관한 것이다.
디지털 카메라들 및 다른 유사한 메커니즘들과 같은 이미지 캡처 디바이스들은, 더욱 일상적인 것이 되고 있다. 이전엔 단지 고사양의 전문적인 카메라들에서만 이용가능했지만, 오늘날, 그와 같은 디바이스들은, 이동 전화들, PDA 및 다른 휴대용 전자 디바이스들에서 발견되고 있다. 많은 휴대용 전자 디바이스들에서 이용가능한 이미지 캡처 디바이스는, 자동-포커스 피처를 포함한다. 자동-포커스 시스템들은 적절한 포커스를 자동적으로 결정하기 위해 이미지-프로세싱 회로들을 사용하고, 그 결과, 사용자게 적절한 포커스를 결정하도록 하는 필요를 제거한다.
그와 같은 자동-포커스 매커니즘들이 갖는 하나의 결점은, 상대적으로 느려질 수 있다는 점이다. 예를 들어, 전자 디바이스들(예를 들어, 이동 전화들과 같은 휴대용 전자 디바이스들, 또는 네트워크에 접속되는 모니터링 카메라와 같은 고정된 전자 디바이스들)에 통합되는 일부 이미지 캡처 시스템들에서, 자동-포커스 시스템은, 지능형(intelligent) 시행 착오를 통해, 포커싱된 이미지에 대응하는 특정 위치에 상기 렌즈들을 이동시켜야만 한다. 자동-포커스 시스템은, 이미지를 검사하고, 상기 렌즈를 이동시키고, 다른 이미지를 캡처하고, 그리고 적절한 포커스가 달성되었는지를 결정하기 위해 다시 상기 다른 이미지를 검사함으로써, 상기 렌즈들을 이동시킨다. 상기 프로세스는, 최적의 렌즈 위치가 발견될 때까지 반복된다. 자동 포커스 동작이 발생할 때 이미지 캡처 디바이스가 움직이면 상기 시간은 상당히 연장될 수 있다. 예를 들어, 사용자의 흔들리는 손 또는 움직이는 플랫폼은 상기 이미지 캡처 디바이스가 상당히 움직이게끔 한다. 그와 같은 움직임은 흐릿한 이미지들을 발생시킬 수 있는바, 이는 상기 자동포커스 피처가 포커스해야 하는 일정한 대상을 가지지 못하기 때문이다. 또한, 포커스가 최종적으로 달성될지라도, 그와 같은 움직임은, 자동-포커스 동작이 완료되는데 있어, 추가적인 시간이 걸리게끔 한다.
US 8,274,596(모토롤라 모빌리티 엘엘씨)는, 이미지 센서 상으로 입사되는 이미지가 자동-포커스(AF) 프로세스를 실행하기 전에 충분히 안정적인지 여부를 결정하기 위한 방법 및 이미지 캡처 디바이스에 관한 것이다. 상기 이미지가 안정적인지 여부는, 예를 들어, 자이로스코프 또는 가속도계와 같은 하드웨어에 의해, 결정될 수 있다는 점이다. 상기 US 8,274,596에서의 개시가 흐릿한 이미지들의 문제점들을 해결할 수 있을지 몰라도, 상기 이미지가 안정적이지 않으면, 상기 AF 프로세스는 수행되지 않기에, AF 프로세스의 속도를 증가시키지 못한다. 반대로, 상기 카메라가 움직이고 있으면, 상기 AF 프로세스는 지연된다.
상기의 관점에서, 본 발명의 목적은, 상기에서 논의된 하나 이상의 결점들을 해결하거나 또는 감소시키는 것이다. 일반적으로, 상기의 목적은 첨부된 독립청구항들에 의해 달성된다.
제1 양상에 따라, 본 발명은, 롤링 셔터 이미지 센서 및 포커스 렌즈 구성을 포함하는 카메라의 포커스를 설정하는 자동 포커스 방법에 의해 구현되며, 상기 방법은,
- 상기 롤링 셔터 이미지 센서에 의해 하나 이상의 이미지 프레임들 캡처하는 단계 - 상기 롤링 셔터 이미지 센서는 복수의 픽셀 영역들을 포함하고, 상기 롤링 셔터 이미지 센서는, 이미지 프레임을 캡처하는 동안, 한번에 하나의 픽셀 영역으로부터 픽셀 데이터를 판독하며 - 와;
- 상기 픽셀 데이터와 관련된 그리고 상기 복수의 픽셀 영역들로부터 픽셀 데이터를 판독하는 동안 측정된 복수의 카메라 모션 레벨들을 나타내는 모션 데이터를 생성하기 위해, 상기 픽셀 데이터를 판독하는 동안 상기 카메라의 카메라 모션 레벨을 연속적으로 측정하는 단계 - 상기 복수의 픽셀 영역들의 각 픽셀 영역은 0 또는 하나의 카메라 모션 레벨과 관련되며 - 와; 그리고
- 자동 포커스 알고리즘을 사용하여 상기 카메라의 포커스를 설정하는 단계를 포함하며, 상기 자동 포커스 알고리즘은, 상기 하나 이상의 이미지 프레임들 각각을 복수의 포커스 윈도우들로 분할하고, 각 포커스 윈도우는 하나 이상의 상기 복수의 픽셀 영역들의 픽셀 데이터를 포함한다.
더욱이, 상기 자동 포커스 알고리즘은, 상기 복수의 포커스 윈도우들의 각 포커스 윈도우에 대해,
- 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터에 기초하여 상기 포커스 윈도우에 대한 포커스 측정을 계산하는 단계와;
- 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터와 관련되는 상기 모션 데이터에 기초하여 상기 포커스 윈도우에 대한 모션의 레벨을 계산하는 단계와; 그리고
- 적어도 상기 포커스 윈도우에 대한 모션의 레벨만큼 상기 포커스 윈도우에 대한 상기 포커스 측정을 가중함으로써 상기 포커스 윈도우에 대한 가중된 포커스 측정을 계산하는 단계를 포함한다.
롤링 셔터 이미지 센서는, 시간 내의 단일 인스턴스에서 장면(scene)의 이미지를 캡처하지 않지만, 보통, 수직적 또는 수평적으로 장면에 대해 스캔하는 센서이고, 따라서, 시간의 서로 다른 인스턴스들에서 픽셀 데이터를 판독한다. 즉, 상기 장면의 이미지의 모든 부분들이 정확하게 동일한 인스턴스에서 기록되지는 않는다. 따라서, "픽셀 영역(pixel region)"은, 본 명세서의 맥락에서, 예를 들어, 롤링 셔터 이미지 센서의 픽셀들의 로우(row) 또는 픽셀들의 칼럼(column)으로 이해되어져야 한다. 픽셀 영역은 또한 롤링 셔터 이미지 센서의 복수의 로우들 및 칼럼들을 포함할 수 있다. 그러한 픽셀 데이터를 판독하는 동안, 상기 카메라의 카메라 모션 레벨은 연속적으로 측정된다. 상기 카메라 모션 레벨은, 예를 들어, 상기 롤링 셔터 이미지 센서의 각 픽셀 영역에 대해 측정될 수 있거나 또는 매 다른 픽셀 영역에 대해 측정될 수 있다. 하지만, 하나의 픽셀 영역이 다른 픽셀 영역과 관련되는 모션 데이터와 서로 다른 (상기 측정된 카메라 모션 레벨을 나타내는) 모션 데이터와 관련될 수 있도록, 상기 카메라 모션 레벨은 상기 복수의 픽셀 영역들로부터 픽셀 데이터를 판독하는 동안 적어도 2개의 경우들에서 측정될 것이다.
개별 픽셀 영역들과 관련되는 그와 같은 서로 다른 모션 데이터는, 자동 포커스(AF) 알고리즘을 사용하여 상기 카메라의 포커스를 설정할 때 유리하게 사용될 수 있음을 알 수 있다. 각 포커스 윈도우는 하나 이상의 복수의 픽셀 영역들의 픽셀 데이터를 포함하도록, 자동 포커스 알고리즘은 하나 이상의 이미지 프레임들 각각을 복수의 포커스 윈도우들로 분할한다. 이것은, 이미지 프레임에 대한 제1 포커스 윈도우는 상기 카메라(및 그에 따른, 롤링 셔터 이미지 센서)의 움직임 동안 판독된 픽셀 데이터를 포함할 수 있는 반면, 동일한 이미지 프레임에 대한 다른 포커스 윈도우는 상기 카메라가 완전히 정지해 있는 동안(또는 약간 움직이는 동안) 판독된 픽셀 데이터를 포함함을 의미한다. 포커스 윈도우에 대한 포커스 측정을 계산할 때 카메라의 움직임(들)을 고려함으로써, 상기 카메라의 움직임 동안 판독된 픽셀 데이터를 포함하는 포커스 윈도우에 대한 포커스 측정의 중요성은, 카메라의 움직임이 적거나 없는 동안 판독된 픽셀 데이터를 포함하는 포커스 윈도우에 대한 포커스 측정의 중요성과 비교하여 감소될 수 있다.
상기 포커스 측정의 가중치는, 각 포커스 윈도우에 대한 모션의 레벨을 계산함으로써 수행된다. 상기 모션의 레벨은, 포커스 윈도우 내의 픽셀 데이터와 관련되는 (상기 모션 데이터에 의해 표시된) 상기 카메라의 최대 움직임일 수 있거나, 또는 상기 포커스 윈도우 내의 픽셀 데이터와 관련되는 (상기 모션 데이터에 의해 표시된) 상기 카메라의 평균 움직임일 수 있다. 상기 포커스 윈도우에 대한 모션의 레벨을 계산하는 다른 방식들이 이용될 수 있다.
특정 포커스 윈도우에 대한 모션의 레벨은, 이후, 포커스 윈도우에 대한 포커스 측정의 중요성을 계산할 때 사용된다. 즉, 상기 포커스 윈도우에 대한 가중된 포커스 측정은, 적어도 상기 포커스 윈도우에 대한 모션의 레벨만큼 상기 포커스 윈도우에 대한 포커스 측정을 가중시킴으로써 계산된다.
따라서, 본 발명은 개선된 자동포커스 알고리즘을 제공하는바, 상기 카메라의 움직임 동안 판독된 픽셀 데이터로부터 발생하는 포커스 측정들은, 상기 카메라가 거의 움직이지 않는 동안 판독된 픽셀 데이터로부터 발생하는 포커스 측정들과 상이하게 가중될 수 있기 때문이다. 이는, 상기 픽셀 데이터의 다른 부분들이, 예를 들어, 상기 카메라의 비실질적인 움직임 동안 판독되는 경우, 상기 픽셀 데이터의 부분들이, 예를 들어, 상기 카메라의 실질적인 움직임 동안 판독되는 이미지 프레임들을 계속해서 사용하는 것을 가능하게 한다. 결과적으로, 상기 카메라가 픽셀 데이터를 판독하는 동안 움직일 때에도 AF는 수행될 수 있기에 AF 알고리즘의 속도는 증가될 수 있다. 더욱이, 본원 발명의 자동 포커스 알고리즘은 더 정확한 결과를 제공할 수 있는바, 이는, 상기 카메라가 움직이는 동안 판독된 픽셀 데이터로부터 발생하는 포커스 측정들이 상기에서처럼 낮게 가중될 수 있기 때문이다.
일부 실시예들에 따라, 상기 하나 이상의 이미지 프레임들을 캡처하는 단계는, 단지 하나의 이미지 프레임 만을 캡처하는 단계를 포함하고, 그리고 상기 포커스 측정을 계산하는 단계는, 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터로부터 위상-기반 포커스 측정을 계산하는 단계를 포함한다. 이러한 실시예에 따라, 가중된 포커스 측정을 계산하는 단계는, 높은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 포커스 측정을 가중시키는 단계를 포함한다.
위상 검출은 인입하는 광을 이미지들의 쌍들로 분할하고 그리고 상기 이미지들의 쌍들을 비교함으로써 달성된다. 위상 검출 자동포커스 센서들은, 대상의 (단지 하나의 이미지 프레임으로부터 도출되는) 2개의 오프셋 이미지들을 비교하고, 그리고 상기 2개의 오프셋 이미지들 사이의 위상차 또는 분리 오류를 계산한다. 상기 이미지들이 정렬되지 않으면(즉, 분리 오류가 0이 아니면), 상기 대상은 포커스가 맞춰지지 않는다. 상기 이미지들 사이의 분리 오류는, 상기 포커스가 얼마나 많이 변화되어야 하는지를 결정하기 위해 사용될 수 있는 반면, 상기 2개 이미지들의 관련된 위치들은, 새로운 포커스가 현재의 포커스 설정과 비교하여 더 가까울 필요가 있는지 더 멀어질 필요가 있는지를 결정하기 위해 사용된다. 롤링 셔터 이미지 센서를 구비한 카메라에 대해, 각 포커스 윈도우는 서로 다른 분리 오류를 발생시킬 수 있는바, 이는 상기 카메라가 포커스 윈도우에 포함되는 픽셀 데이터를 판독하는 동안 서로 다르게 움직일 수 있다. 높은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 상기 포커스 측정을 가중시킴으로써, 개선된 자동 포커스 알고리즘이 달성될 수 있는바, 이는 상기 카메라의 움직임 동안 판독된 픽셀 데이터에 대한 (상기 분리 오류로부터 도출되는) 포커스 측정이 상기 카메라의 작은 움직임 동안 판독된 픽셀 데이터에 대한 포커스 측정보다 덜 정확할 수 있기 때문이다.
일부 실시예들에 따라, 상기 카메라의 포커스를 설정하는 단계는, 상기 단지 하나의 이미지 프레임의 복수의 포커스 윈도우들 각각의 가중된 포커스 측정의 평균값을 계산하는 단계를 포함한다. 이러한 실시예는, 상기 카메라의 포커스를 설정하는 것에 대해 낮은 계산상의 복잡도를 야기할 수 있다.
일부 실시예들에 따라, 상기 하나 이상의 이미지 프레임들을 캡처하는 단계는, 복수의 이미지 프레임들을 계산하는 단계를 포함하고, 각 이미지 프레임은 상기 포커스 렌즈 구성의 서로 다른 포커스 설정을 사용하여 상기 카메라에 의해 켭처된다. 이러한 실시예에 따라, 상기 자동 포커스 알고리즘은, 상기 복수의 이미지 프레임들 각각을 복수의 포커스 윈도우들로 분할한다. 상기 복수의 이미지 프레임들의 각 이미지 프레임은, 그 결과, 복수의 포커스 윈도우드로 분할될 것이고 그리고, 결과적으로, 예를 들어, 제1 이미지 프레임의 포커스 윈도우는 나머지 이미지 프레임들 각각에서의 포커스 윈도우에 대응할 것이다. 콘트라스트-기반 포커스 측정은, 이후, 각 포커스 윈도우에 대한 포커스 측정을 계산하기 위해 사용될 수 있다. 상기 가중된 포커스 측정을 계산하는 단계는, 상기 포커스 윈도우의 모션의 레벨 및 상기 복수의 이미지 프레임들 중 나머지 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨을 사용하여 모션의 퓨전 레벨을 계산하는 단계와 그리고 높은 퓨전 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 퓨전 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 적어도 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계를 포함한다.
용어 "모션의 퓨전 레벨(fusion level of motion)"은, 본 명세서의 맥락에서, 복수의 모션들의 레벨(복수의 이미지 프레임들 사이에서 대응하는 포커스 윈도우들 각각에 대한 하나의 모션의 레벨)은 모션의 퓨전 레벨을 계산하기 위해 결합된다. 일부 실시예들에 따라, 상기 복수의 모션들의 레벨은 모션의 퓨전 레벨을 형성하기 위해 합해진다. 다른 실시예들에 따라, 상기 복수의 모션들의 레벨 사이의 최대값, 평균값 또는 중간값은, 모션의 퓨전 레벨로서 사용된다. 즉, 각 포커스 윈도우에 대해, 시간 내에서 서로 다른 포인트들에서 측정된, 모션의 복수의 (가능한 서로다른) 레벨들은 특정 포커스 윈도우에 대한 모션의 퓨전 레벨을 형성하기 위해 결합된다.
콘트라스트 기반 포커스 알고리즘은, 렌즈들을 통해 센서 필드 또는 포커스 윈도우 내에서 콘트라스트를 측정함으로써 달성될 수 있다. 예를 들어, 포커스 윈도우에 포함되는 픽셀 데이터의 인접한 픽셀들 또는 근처의 픽셀들 사이의 필도 거리 또는 포커스 측정은, 정확한 이미지 포커스를 증가시킨다. 서로 다른 포커스를 사용하여 복수의 이미지 프레임들을 캡처함으로써 그리고 복수의 이미지 프레임들 내의 대응하는 포커스 윈도우들 사이의 포커스 측정을 비교함으로써, 상기 카메라의 정확한 포커스가 설정될 수 있다. 본 실시예는, 대응하는 포커스 윈도우들의 세트에 대해 포커스 측정의 중요도의 가중치를 낮출 수 있고, 여기서, 상기 포커스 윈도우들 중 적어도 하나는 상기 카메라가 움직이는 동안 캡처된 픽셀 데이터를 포함한다.
예를 들어, 힐-클라임 알고리즘이 사용되면, 제1 이미지 프레임의 포커스 윈도우와 제2 이미지 프레임의 포커스 윈도우 사이의 비교는, 2개의 포커스 윈도우들 중 하나에 포함되는 픽셀 데이터를 캡처하는 동안 상기 카메라가 움직이면, 낮게 가중될 수 있고, 이는, 상기 2개의 포커스 측정들 상의 비교가 잘못된 결과를 제공할 수 있기 때문이다.
일부 실시예들에 따라, 상기 모션의 퓨전 레벨을 계산하는 단계는, 상기 포커스 윈도우의 모션의 레벨과 상기 복수의 이미지 프레임들 중 나머지 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨의 합을 계산하는 단계를 포함한다. 이는, 카메라의 움직임들이 대응하는 포커스 윈도우들의 세트 중 하나의 포커스 윈도우보다 많은 포커스 윈도우에서 계산된 포커스 측정에 영향을 미칠 수 있는 경우에서 유리할 수 있고, 이는, 세트 내의 포커스 윈도우들 중 단 하나만이 상기 카메라의 움직임 동안 판독된 픽셀 데이터를 포함하는 것보다 많은 세트의 포커스 측정 사이의 비교의 정확성에 영향을 미칠 수 있다.
일부 실시예들에 따라, 상기 모션의 퓨전 레벨을 계산하는 단계는, 상기 포커스 윈도우의 모션의 레벨과 상기 복수의 이미지 프레임들 중 나머지 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨의 최대 레벨 모션을 계산하는 단계를 포함한다. 이러한 실시예는, 사이 모션의 퓨전 레벨을 계산하는데 있어 계산상의 복잡도를 감소시킬 수 있다.
일부 실시예들에 따라, 상기 픽셀 데이터에 관련된 상기 모션 데이터가, 각 픽셀 영역을 각각 판독하는 것에 대한 개별 카메라 모션 레벨을 포함하도록, 상기 카메라 모션 레벨은, 상기 이미지 센서의 각 픽셀 영역을 각각 판독하는 것에 대해 측정된다. 이러한 것은, 자동 포커스 알고리즘의 정확성을 향상시킬 수 있다.
일부 실시예들에 따라, 상기 카메라 모션 레벨이 미리결정된 카메라 모션 레벨 아래에 있을 때, 상기 모션 데이터는 제1 값으로 설정되고, 그리고 상기 카메라 모션 레벨이 상기 미리결정된 카메라 모션 레벨 상(on)에 또는 상기 미리결정된 카메라 모션 레벨 위(over)에 있을 때, 상기 모션 데이터는 제2 값으로 설정된다. 예를 들어, 상기 미리결정된 카메라 모션 레벨 아래의 모든 카메라 모션 레벨들(예를 들어, 카메라 움직임들)은 계산된 포커스 측정에 영향을 미치지 않는 것으로 해석될 수 있고, 결과적으로, 상기 카메라 움직임은 무시될 수 있다. 이는, 자동 포커스 알고리즘의 계산상의 속도를 감소시킬 수 있고, 또한, 알고리즘의 속도를 증가시킬 수 있다.
일부 실시예들에서, 상기 모션 데이터의 제2 값은, 상기 모션 데이터와 관련되는 픽셀 데이터를 포함하는 포커스 윈도우에 대한 포커스 측정이 0의 가중치만큼 가중됨을 초래한다. 이는, 상기 카메라가 미리결정된 카메라 모션 레벨보다 더 많이 움직일 때 상기 포커스 윈도우에 포함되는 어떤 픽셀 데이터가 판독되자마자 이러한 포커스 윈도우의 포커스 측정은, 상기 카메라의 포커스를 설정할 때 완전히 무시될 수 있음을 의미한다. 콘트라스트-기반 측정이 이용되는 경우에, 이것은, 대응하는 포커스 윈도우들의 세트(상기에서 서술된 것처럼 복수의 이미지 프레임들 각각에 대한 하나의 포커스 윈도우)에서의 모든 포커스 윈도우들에 대한 포커스 측정에 대한 가중치들은 0일 것이고, 따라서, 상기 카메라의 포커스를 설정할 때 완전히 무시될 수 있음을 의미한다.
일부 실시예들에 따라, 상기 카메라 모션 레벨이 제1 미리결정된 카메라 모션 레벨 아래에 있을 때, 상기 모션 데이터는 제1 값으로 설정되고, 상기 카메라 모션 레벨이 제2 미리결정된 카메라 모션 레벨 위에 있을 때, 상기 모션 데이터는 제2 값으로 설정되며, 상기 카메라 모션 레벨이 상기 제1 미리결정된 카메라 모션 레벨과 상기 제2 미리결정된 카메라 모션 레벨 사이에 있을 때, 상기 모션 데이터는 상기 제1 값과 상기 제2 값 사이의 다른 값으로 설정되며, 상기 다른 값은 상기 카메라 모션 레벨에 관련된다. 예를 들어, 상기 모션 데이터가 0에서 1사이의 숫자들에 의해 표시될 수 있는 경우(여기서, 0은 상기 카메라의 어떤 모션 존재하지 않음을 나타내고 그리고 1은 상기 카메라의 최대 모션을 나타낸다), 본 실시예는, 다음과 같이 구현될 수 있다. 카메라 모션 레벨이 제1 미리결정된 카메라 모션 레벨 아래이면, 상기 모션 데이터는 0(즉, 어떤 모션도 없음)으로 설정될 수 있고, 그리고 상기 카메라 모션 레벨이 제2 미리결정된 카메라 모션 레벨 위이면, 상기 모션 데이터는 1(즉, 최대 모션)로 설정될 수 있고, 상기 제1 미리결정된 카메라 모션 레벨과 상기 제2 미리결정된 카메라 모션 레벨 사이에 있으면, 상기 모션 데이터는, 상기 카메라 모션 레벨에 따라 0과 1 사이의 수로 설정될 수 있다. 따라서, 상기 카메라 모션 레벨과 상기 모션 데이터 사이의 전환은, 시그모이드 함수(sigmoid function)와 유사할 수 있다.
이것은, 자동 포커스 알고리즘의 계산상의 복잡도를 감소시킬 수 있고 그리고, 또한, 상기 카메라 모션 레벨이 특정 미리결정된 카메라 모션 레벨들 위 그리고 아래의 일정한 모션 데이터 값들로 한계가 정해지기에 상기 알고리즘의 속도를 증가시킬 수 있다.
유사한 방식으로, 콘트라스트-기반 포커스 측정이 이용되면, 일부 실시예들에 따라, 상기 모션의 퓨전 레벨이 모션의 제1 미리결정된 레벨 아래에 있을 때, 상기 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계는, 제1 가중치로 상기 포커스 측정을 가중시키는 단계를 포함한다. 이러한 실시예에 따라, 상기 모션의 퓨전 레벨이 모션의 제2 미리결정된 레벨 위에 있을 때, 상기 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계는, 제2 가중치로 상기 포커스 측정을 가중시키는 단계를 포함한다. 더욱이, 이러한 실시예에 따라, 상기 모션의 퓨전 레벨이 모션의 제1 미리결정된 레벨과 모션의 제2 미리결정된 레벨 사이에 있을 때, 상기 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계는, 상기 제1 가중치와 상기 제2 가중치 사이의 다른 가중치로 상기 포커스 측정을 가중시키는 단계를 포함하며, 상기 다른 가중치는 상기 모션의 퓨전 레벨과 관련된다. 이러한 실시예는, 일반적으로, 상기 모션 데이터의 임계치와 관련된 상기에서 서술된 실시예와 동일한 피처들을 갖거나 유리할 수 있다.
일부 실시예들에 따라, 상기 카메라 모션 레벨을 연속적으로 측정하는 단계는, 상기 카메라의 모션 센서로부터 입력을 수신하는 단계를 포함하고, 상기 입력은 상기 모션 센서에 의해 감지되는 카메라 모션에 관련된다. 상기 모션 센서는, 진동 센서, 자이로스코프, 가속도계, 적외선 센서 등과 같은 모션 센서의 어떤 적합한 타입일 수 있다. 그와 같은 센서는 이미 카메라에 존재할 수 있고, 따라서, 이러한 이유로 또한 이용될 수 있다. 대안으로 또는 추가적으로, 일부 실시예들에 따라, 상기 카메라 모션 레벨을 연속적으로 측정하는 단계는, 상기 카메라의 팬/틸트(P/T) 모터로부터 입력을 수신하는 단계를 포함하고, 상기 입력은 상기 P/T 모터에 의해 유도되는 카메라 모션에 관련된다. 이는, 그와 같은 입력이, 상기 카메라의 실제적인 움직임 이전에 수신될 수 있고 그리고 상기 알고리즘은 따라서 상기 카메라가 움직일 것을 아는 장점을 가질 것이다.
제2 양상에서, 본 발명은, 처리 능력을 갖는 디바이스에 의해 실행될 때 제1 양상의 방법의 적어도 일부들을 실행하도록 구성되는 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공한다. 일부 실시예들에 따라, 상기 컴퓨터 프로그램 제품은, 제1 양상의 전체 방법을 실행하도록 구성되는 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함한다. 다른 실시예들에 따라, 상기 컴퓨터 프로그램 제품은, 자동 포커스 알고리즘에 관련된 제1 양상의 방법의 단계들을 수행하도록 구성된 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함한다.
제3 양상에서, 본 발명은, 롤링 셔터 이미지 센서 및 포커스 렌즈 구성을 포함하는 카메라의 포커스를 설정하는 디바이스를 제공하고, 상기 디바이스는,
- 상기 롤링 셔터 이미지 센서에 의해 캡처되는 하나 이상의 이미지 프레임들에 관련된 픽셀 데이터를 수신하고, 상기 롤링 셔터 이미지 센서는 복수의 픽셀 영역들을 포함하고, 상기 롤링 셔터 이미지 센서는, 이미지 프레임을 캡처하는 동안, 한번에 하나의 픽셀 영역으로부터 픽셀 데이터를 판독하며,
- 상기 픽셀 데이터와 관련된 그리고 상기 복수의 픽셀 영역들로부터 픽셀 데이터를 판독하는 동안 측정된 복수의 카메라 모션 레벨들을 나타내는 모션 데이터를 수신하고, 상기 카메라의 카메라 모션 레벨은, 상기 픽셀 데이터를 판독하는 동안 연속적으로 측정되고, 상기 복수의 픽셀 영역들의 각 픽셀 영역은 0 또는 하나의 카메라 모션 레벨과 관련되며,
- 자동 포커스 알고리즘을 사용하여 상기 카메라의 포커스를 설정하고, 상기 자동 포커스 알고리즘은, 상기 하나 이상의 이미지 프레임들 각각을 복수의 포커스 윈도우들로 분할하고, 각 포커스 윈도우는 하나 이상의 상기 복수의 픽셀 영역들의 픽셀 데이터를 포함하며,
상기 자동 포커스 알고리즘은, 상기 복수의 포커스 윈도우들의 각 포커스 윈도우에 대해,
- 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터에 기초하여 상기 포커스 윈도우에 대한 포커스 측정을 계산하는 것과;
- 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터와 관련되는 상기 모션 데이터에 기초하여 상기 포커스 윈도우에 대한 모션의 레벨을 계산하는 것과;
- 높은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 적어도 상기 포커스 윈도우에 대한 모션의 레벨만큼 상기 포커스 윈도우에 대한 상기 포커스 측정을 가중함으로써 상기 포커스 윈도우에 대한 가중된 포커스 측정을 계산하는 것을 포함한다.
그와 같은 디바이스는 카메라로 구현될 수 있거나 또는 상기 카메라로부터 분리된 디바이스일 수 있으며, 그리고 상기 카메라에 유선 또는 무선으로 결합될 수 있다.
상기 제2 및 제3 양상은 일반적으로 제1 양상과 동일한 피처들 및 이점들을 가질 수 있다.
본 발명의 추가적인 목적들, 피처들 및 이점들과 함께 상기의 것은, 첨부된 도면들을 참조하여, 본 발명의 실시예들의 하기의 예시적이고 제한적이지 않은 상세한 설명을 통해 더 잘 이해될 것이며, 동일한 참조 번호들은 유사한 요소들에 대해 사용될 것이다.
도 1은, 롤링 셔터 이미지 센서에 의해 캡처되는 이미지 프레임을 도시하고, 상기 롤링 셔터 이미지 센서에 의해 판독되는 픽셀 데이터는 모션 데이터와 관련된다.
도 2a 내지 2b는, 측정된 카메라 모션 레벨과 발생된 모션 데이터 사이의 매핑 함수들의 예들을 도시한다.
도 3은, 도 1의 이미지 프레임에 대한 한 플롯의 페이즈-기반 포커스 측정들을 도시한다.
도 4는, 본 발명의 실시예들에 따라 콘트라스트-기반 포커스 측정을 사용하여 포커스가 설정되는 방법을 도시한다.
도 5는, 본 발명의 실시예들에 따라 콘트라스트-기반 포커스 측정에 대한 힐-클라임 알고리즘을 사용하여 포커스가 카메라에 대해 설정되는 방법을 도시한다.
도 6은, 본 발명의 실시예들에 따라 카메라 측정의 포커스를 설정하기 위한 자동 포커스 방법을 도시한다.
도 7은, 본 발명의 실시예들에 따라 카메라의 포커스를 설정하는 디바이스를 도시한다.
도 8은, 본 발명의 다른 실시예들에 따라 카메라의 포커스를 설정하는 디바이스를 도시한다.
롤링 셔터 이미지 센서를 구비한 카메라에서, 픽셀들의 라인들(로우들 또는 컬럼들)은 약간 경미하게 서로 다른 시간에서 판독되기에, 상기 판독들의 일부는 (예를 들어, 자이로스코프 또는 가속도계에 의해, 또는 PT 신호에 의해 감지된) 진동들에 의해 영향을 받을 수 있고 그리고 일부는 영향을 받지 않는다. 이는 도 1에서 도시된다. 도 1의 도시된 예에서, 상기 롤링 셔터 이미지 센서는, 4개의 픽셀 영역들을 포함한다. 상기 카메라 앞의 장면을 캡처하는 동안, 상기 롤링 셔터 이미지 센서는 4개의 세트들의 픽셀 데이터(106a 내지 106d)를 판독한다. 즉, 상기 이미지 프레임(100)의 픽셀 데이터는 픽셀들(104)의 4개의 로우들(106a 내지 106d)을 포함한다. 상기 카메라의 진동들 및/또는 다른 움직임들이 연속적으로 측정되기에, 각 픽셀(104)은 카메라 모션 레벨(102)(도 1의 화살표들로 표시됨)과 관련될 수 있다(상기 화살표의 길이는 모션의 양을 표시하고, 그리고 상기 화살표의 방향은 개략적으로 움직임의 방향을 나타낸다). 상기 카메라 모션 레벨(102)은 각 픽셀 영역에 대해 또는 상기 이미지 프레임(100)이 포함하는 픽셀 데이터를 판독하는 동안 매(every) 다른 픽셀 영역 또는 어떤 다른 수의 시간들에 대해 측정될 수 있다. 상기 측정된 모션 레벨들은 상기 픽셀 데이터와 관련된 모션 데이터를 생성하기 위해 사용된다.
일부 실시예들에 따라, 상기 모션 데이터는, 상기 측정된 모션 레벨의 직접적인 디지털 표현을 나타낼 수 있다.
다른 실시예들에 따라, 상기 모션 데이터는, 상기 측정된 모션 레벨의 매핑된 디지털 표현을 나타낼 수 있다. 그와 같은 매핑들은 도 2a 내지 2b에서 도시된다.
예를 들어, 도 2a에서, 상기 카메라 모션 레벨(102)이 미리결정된 카메라 모션 레벨(114) 아래에 있을 때, 상기 모션 데이터(112)는 제1 값으로 설정될 수 있고, 그리고 상기 카메라 모션 레벨(102)이 상기 미리결정된 카메라 모션 레벨(114) 상에 또는 상기 미리결정된 카메라 모션 레벨(114) 위에 있을 때, 상기 모션 데이터(112)는 제2 값으로 설정될 수 있다. 이러한 실시예는, 예를 들어, 자동 포커스 알고리즘에서의 후속 사용으로부터 (상기 카메라 모션 레벨(102)이 상기 미리결정된 카메라 모션 레벨(114) 상에 또는 상기 미리결정된 카메라 모션 레벨(114) 위에 있는 경우에서) 상기 이미지 프레임(100)의 픽셀 데이터(104)의 부분들을 생략하기 위해 사용될 수 있는 반면에, 상기 미리결정된 카메라 모션 레벨(114) 아래에 있는 카메라 모션 레벨(102)과 관련된 픽셀 데이터(104)의 부분들은, 이후 자동 포커스 알고리즘에서 사용될 때 영향을 받지 않을 수 있다.
다른 맵핑 함수는 도 2b에서 도시되고, 여기서, 상기 카메라 모션 레벨(102)이 제1 미리결정된 카메라 모션 레벨 아래에 있을 때, 상기 모션 데이터(112)는 제1 값으로 설정된다. 상기 카메라 모션 레벨(102)이 제2 미리결정된 카메라 모션 레벨(118) 위에 있을 때, 상기 모션 데이터(112)는 제2 값으로 설정되고, 그리고 상기 카메라 모션 레벨(102)이 제1 미리결정된 카메라 모션 레벨(116)과 제2 미리결정된 카메라 모션 레벨(118) 사이에 있을 때, 상기 모션 데이터(112)는 제1 값과 제2 값 사이의 다른 값으로 설정되고, 여기서, 상기 다른 값은 상기 카메라 모션 레벨(102)에 관련된다. 도 2a에서 도시된 실시예들과 유사하게, 이러한 실시예는, (상기 제2 미리결정된 카메라 모션 레벨(118) 상 또는 위에 있는 카메라 모션 레벨(102)과 관련된) 픽셀 데이터의 부분을 삭제할 수 있고, 그리고 자동 포커스 알고리즘에서 이후에 사용될 때 영향을 받지 않는 (상기 제1 미리결정된 카메라 모션 레벨(116) 아래에 있는 카메라 모션 레벨(102)과 관련된) 픽셀 데이터의 다른 부분을 남길 수 있다. 하지만, 도 2a의 실시예와 반대로, 제1 미리결정된 카메라 모션 레벨(116)과 제2 미리결정된 카메라 모션 레벨(118) 사이의 카메라 모션 레벨들(102)과 관련된 픽셀 데이터의 중요성은, 자동 포커스 알고리즘에서 이후에 사용될 때 상기 픽셀 데이터의 판독 동안 상기 카메라의 움직임의 양에 따라 변할 수 있다.
자동 포커스의 목적을 위해, 상기 이미지 프레임은 복수의 포커스 윈도우들(108a 내지 108b)로 분할된다. 도 1에서, 각 포커스 윈도우(108a 내지 108b)는 2개의 로우들의 픽셀들을 포함한다. 예를 들어, 상부 포커스 윈도우(108a)는 2개의 상부 로우들(106a 내지 106b)의 픽셀들을 포함한다. 다른 실시예들에 따라, 각 포커스 윈도우는 1, 3, 5 또는 어떤 다른 적합한 수의 로우들의 픽셀들을 포함할 수 있다. 더욱이, 포커스 윈도우는, 일부 실시예들에 따라, 전체 로우들을 포함하지 않을 수 있지만, 대신 각 프레임(100)은 수평 방향 및 수직 방향 모두에서 포커스 윈도우들로 분할될 수 있다.
상기 모션 데이터는, 각 포커스 윈도우(108a 내지 108b)에 대한 모션의 레벨을 계산하기 위해 사용된다. 상기 모션의 레벨은, 포커스 윈도우에 포함되는 픽셀 데이터와 관련된 모든 모션 데이터의 추가를 사용하여 계산될 수 있다. 상기 모션의 레벨은 포커스 윈도우에 포함되는 상기 픽셀 데이터와 관련되는 어떤 모션 데이터의 최대값 또는 포커스 윈도우에 포함되는 상기 픽셀 데이터와 관련되는 모든 모션 데이터의 평균값에 기초하여 계산될 수 있다. 포커스 윈도우에 대한 모션의 레벨을 계산하는 어떤 다른 적합한 방식이 사용될 수 있다.
이후, 포커스 윈도우에 대한 모션의 레벨은, 적어도 상기 포커스 윈도우에 대한 모션 레벨까지 상기 포커스 윈도우에 대한 포커스 측정을 가중함으로써 상기 포커스 윈도우에 대한 가중된 포커스 측정을 계산하기 위해 사용될 수 있다. 상기 포커스 윈도우에 대한 포커스 측정은, 상기 포커스 윈도우에 포함되는 픽셀 데이터에 기초하여 계산된다. 픽셀 데이터로부터의 포커스 측정의 계산은 잘 알려진 절차이고, 따라서 본 문서에서는 간략하게만 서술될 것이다.
도 3은 도 1의 이미지 프레임에 대한 한 플롯의 위상-기반 포커스 측정들을 도시한다. 이 경우에, 하나의 이미지 프레임만이 자동 포커스 알고리즘에 대해 요구된다. 상위 플롯은 상위 포커스 윈도우(108a)에 관련되고 그리고 하위 플롯은 하위 포커스 윈도우(108b)에 관련된다. 간단히 말해서, 점선인 곡선(202)은 포커스 윈도우(108a)의 픽셀 데이터로부터 도출되는 제1 오프셋 이미지에 대한 포커스 플롯이고, 그리고 실선인 곡선(204)은 포커스 윈도우(108a)의 픽셀 데이터로부터 도출되는 제2 오프셋 이미지에 대한 포커스 플롯이다. 2개의 곡선들(202, 204)의 최대치 사이의 거리(206)는 위상에서의 차이(또는 분리 오류)에 대응한다. 상기 포커스 윈도우(108a)에 대한 포커스 측정은 거리(206)를 사용하여 측정된다. 상기 하위 플롯은 유사한 방식으로 포커스 윈도우(108b)에 대한 포커스 측정이고, 여기서, 2개의 곡선들(208, 210)의 최대치 사이의 거리(212)는 위상에서의 차이 또는 분리 오류에 대응한다. 상기 포커스 윈도우(108b)에 대한 포커스 측정은 상기 거리(212)로부터 도출된다.
거리(206)는 20 픽셀들의 분리 오류를 서술하는 반면, 거리(212)는 25 픽셀들의 분리 오류를 서술한다. 상기 숫자들(20 및 25)은 단지, 일반적인 원리들의 설명을 간략하게 하기 위해 단순하게 사용되는 예들로서 보여진다. 서로 다른 수치들이 사용될 수 있고, 그리고 상기 분리 오류는 또한, 위상 오류의 각도들과 같이, 다른 용어들로 표현될 수 있다. 2개의 분리 오류들의 가중이 적용되지 않는 경우에서, 상기 자동 포커스 알고리즘은, 상기 카메라의 포커스가 22.5 픽셀들(20+25의 평균값)의 분리 오류에 기초하여 설정됨을 초래할 수 있다. 상기 분리 오류는, 물체가 전면 포커스 또는 후면 포커스 위치에 있는지를 발견하기 위해 계산된다. 상기 분리 오류는, (예를 들어, 포커스 링 움직임에 의해) 상기 카메라 포커스의 변화의 요구된 양의 추정으로서 사용되는, 포커스 측정(초점 거리, 포커스 에러 등)으로 전환된다. 하지만, 도 1로부터 명확한 것처럼, 상위 포커스 윈도우(108a)에 포함되는 픽셀 데이터(106a 내지 106b)는 상기 카메라의 움직임이 있는 동안 판독되는 반면, 하위 포커스 윈도우(108b)에 포함되는 픽셀 데이터(106c 내지 106d)는 카메라의 움직임이 전혀 없는 동안 판독된다. 본 발명이 적어도 포커스 윈도우에 대한 모션의 레벨에 기초하여 포커스 측정들을 가중시키는 것에 관련된 것이기에, 상위 포커스 윈도우(108a)에 대한 포커스 측정은, 상기 카메라의 포커스가 설정될 때, 하위 포커스 윈도우(108b)의 포커스 측정보다 덜 중요한 것으로 고려될 수 있다.
예를 들어, 상위 포커스 윈도우에 포함되는 픽셀 데이터를 판독하는 동안 측정된 상기 카메라의 모션 레벨은, 도 2a에 관련하여 서술된 것처럼 미리결정된 카메라 모션 레벨 위일 수 있다. 이러한 경우에서, 도 2a에 관련하여 서술된 맵핑 함수가 이용되고, 그리고 포커스 윈도우(108a)에 대한 포커스 측정이 제로의 가중치에 의해 가중됨의 결과를 상기 모션 데이터(112)의 제2 값이 초래하면, 상위 포커스 윈도우(108a)로부터의 포커스 측정이 상기 카메라의 포커스를 설정할 때 완전히 무시될 수 있다. 이것은, 차례로, 하위 포커스 윈도우(108b)로부터의 포커스 측정이 이용될 것이고, 그 결과, 상기 카메라의 포커스가 25 픽셀들의 분리 오류에 기초하여 설정될 수 있음을 초래함을 의미한다.
다른 예에 따라, 상위 포커스 윈도우(108a)로부터의 포커스 측정이 가중치 0.2로 가중되는 반면에, 하위 포커스 윈도우(108b)로부터의 포커스 측정이 가중치 0.8로 가중된다. 이러한 경우에서, 상기 카메라의 포커스는 24 픽셀들의 분리 오류(20*0.2+25*0.8)에 기초하여 설정될 수 있다. 즉, 상기 카메라의 포커스는, 단지 하나의 이미지 프레임(100)의 복수의 포커스 윈도우들(108a 내지 108b) 각각의 가중된 포커스 측정의 평균값에 기초하여 설정된다.
본 명세서에서 서술되는 가중치들은 많은 수의 서로 다른 방식들로 계산될 수 있음을 알아야 한다. 예를 들어, 도 2a 내지 2b에서 서술되는 맵핑 함수들과 유사한 모션 데이터의 미리결정된 임계치가 이용될 수 있다. 더욱이, 상기 가중치들은, 상기 모션 데이터의 역, 예를 들어, 1/(1+합(모션 데이터))으로서 계산될 수 있다.
상기 가중치들은, 상기 포커스 측정으로 곱해지기 전에 정규화될 수 있다.
도 4는, 콘트라스트-기반 포커스 측정이 이용되는 AF 알고리즘의 구현을 서술한다. 이러한 구현에 대해, 복수의 이미지 프레임들(100a 내지 100f)이 캡처되고, 각 이미지 프레임은 포커스 렌즈 구성의 서로 다른 포커스 설정을 사용하여 캡처된다.
상기 AF 알고리즘은, 복수의 이미지 프레임들(100a...f)의 각각을 복수의 포커스 윈도우들(108a 내지 108c)로 분할한다. 상기 포커스 윈도우들에 대한 포커스 측정들은, 상기 포커스 윈도우들 내의 콘트라스트의 양을 결정함으로써, 예를 들어, 포커스 윈도우 픽셀 데이터에 대해 소벨 연산자를 사용함으로써 계산된다. 도 4는, 각 포커스 윈도우(108a 내지 108c)에 대한 포커스 측정이 상기 포커스 렌즈 구성의 서로 다른 포커스 설정들에 대해 어떻게 변하는지를 도시한다. 도 4에서, 포커스 윈도우(108a)에 대한 포커스 측정이 실선(404)에 의해 표시되고, 포커스 윈도우(108b)에 대한 포커스 측정이 점선(408)에 의해 표시되며 그리고 포커스 윈도우(108c)에 대한 포커스 측정이 점선(406)에 의해 표시된다.
도 4에서 알 수 있는 것처럼, 포커스 윈도우들(108b 내지 108c) 모두에 대한 포커스 측정은, 이미지 프레임(100d)에 대해 사용되는 포커스 설정이 달성될 때까지 증가하고, 이후 감소한다. 하지만, 포커스 윈도우(108a)에 대해, 상기 포커스 측정은 이미지 프레임(100c)와 이미지 프레임(100d) 사이에서 급락한다.
(검은 점들(402)에 의해 표시되는) 서로 다른 포커스 윈도우들로부터의 포커스 측정들의 스트레이트 평균법이 사용되는 경우에, 자동 포커스 알고리즘은, 이미지(100c)의 포커스 설정이 최적임을 결정한다. 하지만, 이미지 프레임(100d)의 포커스 윈도우(108d)에 포함되는 픽셀 데이터는, 이러한 포커스 윈도우의 포커스 측정에 크게 영향을 미친 카메라 모션 레벨 동안 판독되었기에, 모든 이미지들(100a 내지 100f) 내의 포커스 윈도우(108a)에 관련된 포커스 측정 판독들의 중요도는 감소되어야 한다.
이러한 결론은, 포커스 윈도우(108a)에 대해 계산된 모든 포커스 측정들에 대해, 이미지 프레임들(100a 내지 100f)의 각각에서 상기 포커스 윈도우(108a)의 모션의 레벨을 사용하여 모션의 퓨전 레벨이 계산되는 것에 도달한다. 즉, 복수의 이미지 프레임들(100a 내지 100f) 모두에서 포커스 윈도우(108a)의 포커스 측정들의 중요도는, 모션의 이러한 퓨전 레벨에 영향을 미치는 프레임(100d)의 높은 모션 레벨에 기인하여 감소되어야 한다. 따라서, 이미지 프레임들(100a 내지 100f) 내의 포커스 윈도우(108a)의 포커스 측정은, 포커스 윈도우들(108b 내지 108c)의 포커스 측정들보다 더 낮은 가중치로 가중될 것이다.
예를 들어, 포커스 윈도우(108a)의 포커스 측정들에 대한 가중치는 제로가 될 것인데, 이는, 이러한 포커스에 대한 포커스 측정 판독들이 생략될 것임을 의미한다. 도 4로 다시 돌아가면, 포커스 윈도우(108a)의 포커스 측정에 대응하는 실선(404)을 무시할 때, 이미지(100d)에 대해 사용되는 포커스 설정은 가장 높은 평균값을 제공하고, 그 결과, 자동 포커스 알고리즘은, 그때, 이미지(100d)의 포커스 설정이 최적임을 결론 내릴 것이다.
모션의 서술된 퓨전 레벨은, 또한, 상기의 도면 2a 내지 2b 그리고 도 3에 관련하여 서술되는 동일한 방식으로 가중치에 맵핑될 수 있다.
상기 카메라의 포커스 렌즈 구성의 모든 가능한 포커스 설정들에 대해 이미지 프레임들을 항상 캡처하는 대신에, 힐-클라이밍 알고리즘은 사용될 수 있다. 이는, 포커스 측정들(또는, 예를 들어, 평균 포커스 측정)이 상기 포커스 윈도우들에 대해 증가하는 동안, 추가적인 포커스 설정이 테스트되지만, 상기 포커스가 감소되기 시작할 때, 어떤 다른 포커스 설정도 테스트되지 않고, 그리고 가장 최적의 결과를 제공하는 포커스 설정은 상기 카메라의 포커스를 설정하기 위해 사용된다.
이러한 알고리즘에 대해, 현재의 포커스 설정에 대한 포커스 측정들은, 단지, 이전의 포커스 설정에 대한 포커스 측정들과 비교된다. 결과적으로, 본 발명의 문맥에서, 자동 포커스 방법은 단지 한번에 2개의 이미지 프레임들을 사용한다. 힐-클라이밍 알고리즘의 사용을 제외하곤, 도 5에서의 플롯에 대한 포커스 측정 판독들 및 환경들은 도 4에서의 플롯에 대한 포커스 측정 판독들 및 환경들과 동일하다. 도 5(점선 영역(502) 내부)에서 도시된 것처럼, (포커스 측정들(402)의 평균값들을 사용하는) 통상적인 자동 포커스 알고리즘의 사용은, 상기 카메라의 포커스를 설정할 때 선택되는 이미지 프레임(100c)에 대해 사용되는 포커스 렌즈 구성의 포커스 설정을 발생시킨다.
하지만, 이미지(100d) 내의 포커스 윈도우(108a)의 픽셀 데이터가 캡처되는 순간에, 카메라가 움직이고 있다고 가정되기에, 이미지들(100c 내지 100d) 모두에 대한 포커스 윈도우(108a)의 포커스 측정들은, 이미지 프레임(100d) 내의 이미지 프레임(100c)의 모션 레벨들로부터 계산되는 모션의 높은 퓨전 레벨에 기초하여 가중되어야 한다. 그러한 방식으로, 이미지 프레임(100c)과 이미지 프레임(100d) 사이의 포커스 윈도우(108a)에 대해 포커스 측정인 실선(404)의 급락의 중요성은 감소될 것이고, 그리고 힐-클라이밍 알고리즘은 적어도 하나 이상의 포커스 설정(이미지 프레임(100e))에 대해 계속될 것이며, 그때, 이미지 프레임(100d)에 대해 사용되는 포커스 설정이 최적임을 결정할 것이다.
롤링 셔터 이미지 센서 및 포커스 렌즈 구성을 포함하는 카메라의 포커스를 디바이스는 도 6 내지 8에 관련하여 이제 서술될 것이다. 도 7에서, 디바이스(710)는 카메라(700)의 내부에서 구현되는 반면, 도 8에서, 디바이스(710)는 카메라(700)와 분리되어 상기 카메라(700)와 통신하도록 구현된다. 상기 카메라(700)는 복수의 픽셀 영역들(예를 들어, 픽셀들의 로우들 또는 칼럼들)을 포함하는 롤링 셔터 이미지 센서(702)를 포함한다. 상기 롤링 셔터 이미지 센서는, 상기 카메라를 사용하여 이미지 프레임를 캡처하는 동안, 한 번에 하나의 픽셀 영역으로부터 픽셀 데이터를 판독하도록 구성된다.
상기 카메라는 또한, 롤링 셔터 이미지 판독기(702)에 의해 픽셀 데이터의 판독 동안 카메라 모션 레벨들을 연속적으로 측정(S604)하기 위한 모션 레벨 측정 디바이스(703)를 포함한다. 상기 모션 레벨 측정 디바이스(703)는, 예를 들어, 모션 센서(706)(예를 들어, 진동 센서, 자이로스코프, 가속도계, 적외선 센서 등)일 수 있다. 추가로 또는 대안으로, 상기 모션 레벨 측정 디바이스(703)는, 카메라의 팬/틸트(PT) 모터(704)로부터 입력을 수신할 수 있고, 상기 입력은 상기 PT 모터(704)에 의해 유도되는 카메라 모션에 관한 것이다.
상기 카메라(700)는 포커스 렌즈 구성(708)를 더 포함한다.
카메라(700)의 포커스를 설정하는 디바이스(710)는, 롤링 셔터 이미지 센서(702)에 의해 캡처되는(S602) 하나 이상의 이미지 프레임들에 관한 픽셀 데이터를 수신하고, 그리고 롤링 셔터 이미지 센서(702)의 복수의 픽셀 영역들로부터 픽셀 데이터를 (롤링 셔터 이미지 센서(702)에 의해) 판독하는 동안 모션 레벨 측정 디바이스(703)에 의해 측정되는(S604) 복수의 카메라 모션 레벨들을 나타내고 상기 픽셀 데이터와 관련되는 모션 데이터를 또한 수신하도록 구성된다. 도 8의 실시예에서, 그와 같은 데이터는, 와이어와 같은 어떤 적합한 통신 수단에 의해 카메라(700)의 포커스를 설정하거나 또는 블루투스, 와이파이 등과 같은 어떤 무선 통신 프로토콜을 사용하기 위해 디바이스(710)에 의해 수신될 수 있다.
카메라(700)의 포커스를 설정하는 디바이스(710)는, 상기 디바이스(710)에 의해 구현되는 자동 포커스 알고리즘을 사용하여 (포커스 렌즈 구성(708)을 통해) 상기 카메라의 포커스를 설정하도록 구성된다. 상기 디바이스(710)는, 예를 들어, 컴퓨터 프로그램 제품을 실행할 수 있는 프로세서(예를 들어, 기존의 컴퓨터 프로세서들 또는 적합한 시스템에 대한 특수한 목적의 컴퓨터 프로세서)를 포함할 수 있고, 상기 컴퓨터 프로그램 제품은 자동 포커스 알고리즘을 실행하도록 구성된 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함한다.
상기 자동 포커스 알고리즘 함수는, 도 1 내지 5에 관련하여 상기에서 더 상세하게 서술된 것처럼, 복수의 포커스 윈도우들의 각 포커스 윈도우에 대해, 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터에 기초하여 상기 포커스 윈도우에 대한 포커스 측정을 계산하는 것(S606), 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터에 관련되는 상기 모션 데이터에 기초하여 상기 포커스 윈도우에 대한 모션의 레벨을 계산하는 것(S608), 그리고 적어도 상기 포커스 윈도우에 대한 모션의 레벨 만큼 상기 포커스 윈도우에 대한 포커스 측정을 가중함으로써 상기 포커스 윈도에 대한 가중된 포커스 측정을 계산하는 것(S612)을 포함한다.
선택적으로, 콘트라스트-기반 자동 포커스 알고리즘이 이용되는 경우에서, 상기 자동-포커스 알고리즘은, 상기 포커스 윈도우의 모션의 레벨 및 복수의 이미지 프레임들 중 남아있는 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨을 사용하여 모션의 퓨전 레벨을 계산하는 것(S610)을 더 포함한다. 이러한 경우에서, 단계 S606에서 계산되는 포커스 측정은 모션의 퓨전 모션 레벨에 의해 가중된다.
최종적으로, 상기 카메라의 포커스는, 예를 들어, 자동 포커스 알고리즘의 출력을 사용하여 설정된다(S614).
도면들을 방법 단계들의 특정 순서를 도시할 수 있지만, 상기 순서들의 단계는 도시된 것과 다를 수 있다. 또한, 2개 이상의 단계들은 동시에 또는 부분적으로 동시에 수행될 수 있다. 예를 들어, 상기 롤링 셔터 이미지 센서(702)를 사용하여 하나 이상의 이미지 프레임들을 캡처하는 단계(S602) 및 모션 데이터를 생성하는 상기 카메라의 카메라 모션 레벨을 측정하는 단계(S604)는, 예를 들어, 상기 카메라(700)의 개별 프로세서들 또는 상기 카메라(700)의 단일 프로세서의 개별 스레드들을 사용하여 동일한 시간에서 바람직하게 수행된다. 그와 같은 변형은, 선택된 소프트웨어 및 하드웨어 시스템들에 의존하고 그리고 설계자 선택에 의존할 것이다. 모든 그와 같은 변형들은 본 발명의 범위 내에 있다.

Claims (15)

  1. 롤링 셔터 이미지 센서(702) 및 포커스 렌즈 구성(708)을 포함하는 카메라(700)의 포커스를 설정하는 자동 포커스 방법(600)으로서,
    상기 롤링 셔터 이미지 센서에 의해 하나 이상의 이미지 프레임들(100; 100a 내지 100f)을 캡처하는 단계(S602) - 상기 롤링 셔터 이미지 센서는 복수의 픽셀 영역들(106a 내지 106d)을 포함하고, 상기 롤링 셔터 이미지 센서는, 이미지 프레임을 캡처하는 동안, 한번에 하나의 픽셀 영역으로부터 픽셀 데이터(104)를 판독하며 - 와;
    상기 픽셀 데이터와 관련된 그리고 상기 복수의 픽셀 영역들로부터 픽셀 데이터를 판독하는 동안 측정된 복수의 카메라 모션 레벨들을 나타내는 모션 데이터(112)를 생성하기 위해, 상기 픽셀 데이터를 판독하는 동안 상기 카메라의 카메라 모션 레벨(102)을 연속적으로 측정하는 단계(S604) - 상기 복수의 픽셀 영역들의 각 픽셀 영역은 0 또는 하나의 카메라 모션 레벨과 관련되며 - 와; 그리고
    자동 포커스 알고리즘을 사용하여 상기 카메라의 포커스를 설정하는 단계(S614)를 포함하고;
    상기 자동 포커스 알고리즘은, 상기 하나 이상의 이미지 프레임들 각각을 복수의 포커스 윈도우들(108a 내지 108c)로 분할하고, 각 포커스 윈도우는 하나 이상의 상기 복수의 픽셀 영역들의 픽셀 데이터를 포함하며,
    상기 자동 포커스 알고리즘은, 상기 복수의 포커스 윈도우들의 각 포커스 윈도우에 대해,
    상기 포커스 윈도우에 포함되는 상기 픽셀 데이터에 기초하여 상기 포커스 윈도우에 대한 포커스 측정을 계산하는 단계(S606)와;
    상기 포커스 윈도우에 포함되는 상기 픽셀 데이터와 관련되는 상기 모션 데이터에 기초하여 상기 포커스 윈도우에 대한 모션의 레벨을 계산하는 단계(S608)와;
    높은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 적어도 상기 포커스 윈도우에 대한 모션의 레벨만큼 상기 포커스 윈도우에 대한 상기 포커스 측정을 가중함으로써 상기 포커스 윈도우에 대한 가중된 포커스 측정을 계산하는 단계(S612)를 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 이미지 프레임들을 캡처하는 단계는, 단지(only) 하나의 이미지 프레임(100) 만을 캡처하는 단계를 포함하고,
    상기 포커스 측정을 계산하는 단계는, 상기 포커스 윈도우에 포함되는 상기 픽셀 데이터로부터 위상-기반 포커스 측정(206, 212)을 계산하는 단계를 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  3. 제2항에 있어서,
    상기 카메라의 포커스를 설정하는 단계는, 상기 단지 하나의 이미지 프레임의 복수의 포커스 윈도우들 각각의 가중된 포커스 측정의 평균값을 계산하는 단계를 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 이미지 프레임들을 캡처하는 단계는, 복수의 이미지 프레임들(100a 내지 100f)을 계산하는 단계를 포함하고, 각 이미지 프레임은 상기 포커스 렌즈 구성의 서로 다른 포커스 설정을 사용하여 상기 카메라에 의해 켭처되며,
    상기 자동 포커스 알고리즘은, 상기 복수의 이미지 프레임들 각각을 복수의 포커스 윈도우들로 분할하고,
    상기 포커스 측정을 계산하는 단계는, 콘트라스트-기반 포커스 측정을 계산하는 단계를 포함하고,
    상기 가중된 포커스 측정을 계산하는 단계는, 상기 포커스 윈도우의 모션의 레벨 및 상기 복수의 이미지 프레임들 중 나머지 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨을 사용하여 모션의 퓨전 레벨을 계산하는 단계(S610)와 그리고 높은 퓨전 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 퓨전 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 모션의 퓨전 모션 레벨만큼 상기 포커스 측정을 가중시키는 단계를 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  5. 제4항에 있어서,
    상기 모션의 퓨전 레벨을 계산하는 단계는, 상기 포커스 윈도우의 모션의 레벨과 상기 복수의 이미지 프레임들 중 나머지 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨의 합을 계산하는 단계를 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  6. 제4항에 있어서,
    상기 모션의 퓨전 레벨을 계산하는 단계는, 상기 포커스 윈도우의 모션의 레벨과 상기 복수의 이미지 프레임들 중 나머지 이미지 프레임들 각각에서 대응하는 포커스 윈도우의 모션의 레벨의 최대 레벨 모션을 계산하는 단계를 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  7. 제1항에 있어서,
    상기 픽셀 데이터에 관련된 상기 모션 데이터가, 각 픽셀 영역을 각각 판독하는 것에 대한 개별 카메라 모션 레벨을 포함하도록, 상기 카메라 모션 레벨은, 상기 이미지 센서의 각 픽셀 영역을 각각 판독하는 것에 대해 측정되는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  8. 제1항에 있어서,
    상기 카메라 모션 레벨이 미리결정된 카메라 모션 레벨(114) 아래에 있을 때, 상기 모션 데이터를 제1 값으로 설정하는 단계와; 그리고
    상기 카메라 모션 레벨이 상기 미리결정된 카메라 모션 레벨 상(on)에 또는 상기 미리결정된 카메라 모션 레벨 위(over)에 있을 때, 상기 모션 데이터를 제2 값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  9. 제8항에 있어서,
    상기 모션 데이터의 제2 값은, 상기 모션 데이터와 관련되는 픽셀 데이터를 포함하는 포커스 윈도우에 대한 포커스 측정이 0의 가중치만큼 가중됨을 초래하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  10. 제1항에 있어서,
    상기 카메라 모션 레벨이 제1 미리결정된 카메라 모션 레벨(116) 아래에 있을 때, 상기 모션 데이터를 제1 값으로 설정하는 단계와;
    상기 카메라 모션 레벨이 제2 미리결정된 카메라 모션 레벨(118) 위에 있을 때, 상기 모션 데이터를 제2 값으로 설정하는 단계와; 그리고
    상기 카메라 모션 레벨이 상기 제1 미리결정된 카메라 모션 레벨과 상기 제2 미리결정된 카메라 모션 레벨 사이에 있을 때, 상기 모션 데이터를 상기 제1 값과 상기 제2 값 사이의 다른 값으로 설정하는 단계를 더 포함하고, 상기 다른 값은 상기 카메라 모션 레벨에 관련되는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  11. 제4항에 있어서,
    상기 모션의 퓨전 레벨이 모션의 제1 미리결정된 레벨 아래에 있을 때, 상기 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계는, 제1 가중치로 상기 포커스 측정을 가중시키는 단계를 포함하고,
    상기 모션의 퓨전 레벨이 모션의 제2 미리결정된 레벨 위에 있을 때, 상기 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계는, 제2 가중치로 상기 포커스 측정을 가중시키는 단계를 포함하고, 상기 모션의 퓨전 레벨이 모션의 제1 미리결정된 레벨과 모션의 제2 미리결정된 레벨 사이에 있을 때, 상기 모션의 퓨전 레벨만큼 상기 포커스 측정을 가중시키는 단계는, 상기 제1 가중치와 상기 제2 가중치 사이의 다른 가중치로 상기 포커스 측정을 가중시키는 단계를 포함하며, 상기 다른 가중치는 상기 모션의 퓨전 레벨과 관련되는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  12. 제1항에 있어서,
    상기 카메라 모션 레벨을 연속적으로 측정하는 단계는,
    상기 카메라의 모션 센서(706)로부터 입력을 수신하는 단계를 포함하고,
    상기 입력은 상기 모션 센서에 의해 감지되는 카메라 모션에 관련되는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  13. 제1항에 있어서,
    상기 카메라 모션 레벨을 연속적으로 측정하는 단계는,
    상기 카메라의 팬/틸트(P/T) 모터(704)로부터 입력을 수신하는 단계를 포함하고,
    상기 입력은 상기 P/T 모터에 의해 유도되는 카메라 모션에 관련되는 것을 특징으로 하는
    카메라의 포커스를 설정하는 자동 포커스 방법.
  14. 처리 능력을 갖는 디바이스에 의해 실행될 때 제1항의 방법의 적어도 일부들을 실행하도록 구성되는 명령어들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품.
  15. 롤링 셔터 이미지 센서(702) 및 포커스 렌즈 구성(708)을 포함하는 카메라(700)의 포커스를 설정하는 디바이스(710)에 있어서,
    상기 디바이스는,
    상기 롤링 셔터 이미지 센서에 의해 캡처되는(S602) 하나 이상의 이미지 프레임들(100; 100a 내지 100f)에 관련된 픽셀 데이터(104)를 수신하고, 상기 롤링 셔터 이미지 센서는 복수의 픽셀 영역들(106a 내지 106d)을 포함하고, 상기 롤링 셔터 이미지 센서는, 이미지 프레임을 캡처하는 동안, 한번에 하나의 픽셀 영역으로부터 픽셀 데이터(104)를 판독하며;
    상기 픽셀 데이터와 관련된 그리고 상기 복수의 픽셀 영역들로부터 픽셀 데이터를 판독하는 동안 측정된 복수의 카메라 모션 레벨들(102)을 나타내는 모션 데이터(112)를 수신하고, 상기 카메라의 카메라 모션 레벨은, 상기 픽셀 데이터를 판독하는 동안 연속적으로 측정되고(S604), 상기 복수의 픽셀 영역들의 각 픽셀 영역은 0 또는 하나의 카메라 모션 레벨과 관련되며,
    자동 포커스 알고리즘을 사용하여 상기 카메라의 포커스를 설정하고(S614), 상기 자동 포커스 알고리즘은, 상기 하나 이상의 이미지 프레임들 각각을 복수의 포커스 윈도우들(108a 내지 108c)로 분할하고, 각 포커스 윈도우는 하나 이상의 상기 복수의 픽셀 영역들의 픽셀 데이터를 포함하며,
    상기 자동 포커스 알고리즘은, 상기 복수의 포커스 윈도우들의 각 포커스 윈도우에 대해,
    상기 포커스 윈도우에 포함되는 상기 픽셀 데이터에 기초하여 상기 포커스 윈도우에 대한 포커스 측정을 계산하는 것(S606)과;
    상기 포커스 윈도우에 포함되는 상기 픽셀 데이터와 관련되는 상기 모션 데이터에 기초하여 상기 포커스 윈도우에 대한 모션의 레벨을 계산하는 것(S608)과;
    높은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정이 낮은 레벨의 모션을 갖는 포커스 윈도우의 포커스 측정보다 더 낮은 가중치로 가중될 수 있도록 적어도 상기 포커스 윈도우에 대한 모션의 레벨만큼 상기 포커스 윈도우에 대한 상기 포커스 측정을 가중함으로써 상기 포커스 윈도우에 대한 가중된 포커스 측정을 계산하는 것(S612)을 포함하는 것을 특징으로 하는
    카메라의 포커스를 설정하는 디바이스.
KR1020160112650A 2015-09-07 2016-09-01 카메라의 포커스를 설정하는 방법 및 디바이스 KR101801309B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15184086.5 2015-09-07
EP15184086.5A EP3139588B1 (en) 2015-09-07 2015-09-07 Method and device for setting a focus of a camera

Publications (2)

Publication Number Publication Date
KR20170029386A true KR20170029386A (ko) 2017-03-15
KR101801309B1 KR101801309B1 (ko) 2017-11-24

Family

ID=54105633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160112650A KR101801309B1 (ko) 2015-09-07 2016-09-01 카메라의 포커스를 설정하는 방법 및 디바이스

Country Status (6)

Country Link
US (1) US9906724B2 (ko)
EP (1) EP3139588B1 (ko)
JP (1) JP6325615B2 (ko)
KR (1) KR101801309B1 (ko)
CN (1) CN106506934B (ko)
TW (1) TWI643018B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867374B2 (en) * 2017-02-13 2020-12-15 Sensors Unlimited, Inc. Auto-focusing system and method by determining contrast difference between adjacent pixels using sobel filter
US10757332B2 (en) * 2018-01-12 2020-08-25 Qualcomm Incorporated Movement compensation for camera focus
CN114815121A (zh) * 2022-02-22 2022-07-29 湖北三赢兴光电科技股份有限公司 一种摄像模组的快速调焦方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2912777B2 (ja) 1992-11-13 1999-06-28 シャープ株式会社 ビデオカメラのオートフォーカス装置
US7619670B2 (en) * 2005-04-26 2009-11-17 Micron Technology Inc. Rolling shutter for prevention of blooming
US7656428B2 (en) * 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
US7693405B2 (en) 2005-11-25 2010-04-06 Seiko Epson Corporation Image pickup device, method of controlling image pickup device, and recording medium
US8054335B2 (en) * 2007-12-20 2011-11-08 Aptina Imaging Corporation Methods and system for digitally stabilizing video captured from rolling shutter cameras
US8274596B2 (en) 2008-04-30 2012-09-25 Motorola Mobility Llc Method and apparatus for motion detection in auto-focus applications
CN101494737B (zh) * 2009-03-09 2011-04-20 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
JP5414358B2 (ja) 2009-05-20 2014-02-12 キヤノン株式会社 撮像装置
US8786761B2 (en) 2009-06-05 2014-07-22 Apple Inc. Continuous autofocus mechanisms for image capturing devices
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
JP5775679B2 (ja) * 2010-09-08 2015-09-09 オリンパス株式会社 デジタルカメラ
JP2012060371A (ja) 2010-09-08 2012-03-22 Pentax Ricoh Imaging Co Ltd 撮像システムおよび画素信号読出し方法
US8379934B2 (en) * 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
JP5491677B2 (ja) 2011-03-31 2014-05-14 富士フイルム株式会社 撮像装置及びその合焦制御方法
JP5888890B2 (ja) 2011-07-21 2016-03-22 オリンパス株式会社 フォーカス制御装置
JP5868061B2 (ja) 2011-08-04 2016-02-24 キヤノン株式会社 撮像装置
US8786716B2 (en) 2011-08-15 2014-07-22 Apple Inc. Rolling shutter reduction based on motion sensors
JP2014077976A (ja) 2012-04-13 2014-05-01 Canon Inc 焦点調節装置及びそれを用いた撮像装置
KR20140084816A (ko) 2012-12-27 2014-07-07 삼성전자주식회사 공간적 움직임을 반영하여 피사체의 초점을 맞추는 전자 장치 및 방법
JP5804104B2 (ja) 2014-02-17 2015-11-04 株式会社ニコン 焦点調節装置

Also Published As

Publication number Publication date
US20170070677A1 (en) 2017-03-09
US9906724B2 (en) 2018-02-27
TW201714010A (zh) 2017-04-16
JP2017079466A (ja) 2017-04-27
KR101801309B1 (ko) 2017-11-24
CN106506934B (zh) 2018-04-20
EP3139588A1 (en) 2017-03-08
TWI643018B (zh) 2018-12-01
EP3139588B1 (en) 2017-06-21
CN106506934A (zh) 2017-03-15
JP6325615B2 (ja) 2018-05-16

Similar Documents

Publication Publication Date Title
US9191578B2 (en) Enhanced image processing with lens motion
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
US9609217B2 (en) Image-based motion sensor and related multi-purpose camera system
US8648961B2 (en) Image capturing apparatus and image capturing method
JP5483953B2 (ja) 焦点調節装置、焦点調節方法及びプログラム
CN111107276B (zh) 信息处理设备及其控制方法、存储介质以及摄像系统
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
JP7197981B2 (ja) カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム
CN102957862A (zh) 摄像设备和摄像设备的控制方法
CN106031148B (zh) 成像设备，成像设备中自动对焦的方法以及对应计算机程序
CN105915807B (zh) 计算光量变化特性的方法和电子设备
CN110941076B (zh) 控制设备、摄像设备、控制方法和存储介质
KR101801309B1 (ko) 카메라의 포커스를 설정하는 방법 및 디바이스
CN104219455A (zh) 成像装置、检测闪烁的方法以及信息处理单元
KR100965320B1 (ko) 연속 오토포커스 자동 제어장치 및 자동 제어방법
JP7302596B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2021136461A (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP2021111929A (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN106454066B (zh) 图像处理设备及其控制方法
US11880991B2 (en) Imaging apparatus including depth information at first or second spatial resolution at different regions in the image
US20220270264A1 (en) Image processing device, control method thereof, imaging device, and recording medium
US20220272274A1 (en) Imaging device, storage medium, and method of controlling imaging device
JP7353864B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム
JP5541671B2 (ja) 撮像装置及びフォーカス制御方法
KR20230155967A (ko) 거리정보 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant