KR102138845B1 - 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법 - Google Patents

오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법 Download PDF

Info

Publication number
KR102138845B1
KR102138845B1 KR1020197016909A KR20197016909A KR102138845B1 KR 102138845 B1 KR102138845 B1 KR 102138845B1 KR 1020197016909 A KR1020197016909 A KR 1020197016909A KR 20197016909 A KR20197016909 A KR 20197016909A KR 102138845 B1 KR102138845 B1 KR 102138845B1
Authority
KR
South Korea
Prior art keywords
focus
objects
field
lens system
count
Prior art date
Application number
KR1020197016909A
Other languages
English (en)
Other versions
KR20190085964A (ko
Inventor
카트리나 파사렐라
블라드 카르데이
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190085964A publication Critical patent/KR20190085964A/ko
Application granted granted Critical
Publication of KR102138845B1 publication Critical patent/KR102138845B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/30—Focusing aids indicating depth of field
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

렌즈 시스템의 구성을 결정하기 위한 기술 및 메커니즘. 일 실시예에서, 기준으로부터의 각각의 거리는 렌즈 시스템을 통해 관찰 가능한 복수의 오브젝트 각각에 대해 결정된다. 오브젝트 거리에 기초하여, 렌즈 시스템의 대응하는 초점 구성에 대해 각각 초점이 맞춰진 오브젝트들의 카운트가 결정된다. 초점이 맞춰진 오브젝트들의 이러한 카운트 각각은 상기 대응하는 초점 구성 동안 초점이 맞는(맞춰질) 오브젝트들의 총 수를 나타내며, 상기 복수의 오브젝트 각각은 상기 대응하는 초점 구성의 근 피사계 심도에 있다. 다른 실시예에서, 다른 초점 구성에 대한 하나의 초점 구성의 선호도는 초점이 맞춰진 오브젝트들의 카운트에 기초하여 결정된다.

Description

오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법
본 발명은 일반적으로 광학 분야에 관한 것으로, 특히 독점적이지는 않지만 가변 초점 렌즈 시스템을 이용한 이미지 센서의 동작에 관한 것이다.
광학 분야에서, 피사계 심도(depth of field: "DOF")는 더 가까운 거리와 더 먼 거리 사이의 장면의 범위이며, 그 거리들 사이에서 이미지의 오브젝트들은 허용 가능할 만큼 선명하게 보일 수 있다. 고정 초점 렌즈는 이 초점 거리의 양측에서 선명도가 점차 감소하는 것과 같이 장면에서 단일 깊이(single depth)에만 정확히 초점을 맞출 수 있다. 상기 피사계 심도내에 들어오는 피사체는 허용 가능한 선명도를 갖는 것으로 간주된다.
디지털 카메라와 같은 디지털 촬상 디바이스는 종종 이미지 광을 이미지 센서에 입사하여 이미지 광을 측정하고 그 측정에 기초하여 이미지를 생성하는 렌즈 어셈블리를 포함한다. 가변 초점 렌즈는 다른 시간에 다른 거리에서 초점을 맞출 수 있도록 초점 거리를 조정할 수 있다. 이를 통해 촬상 디바이스는 피사계 심도를 변환하여 다양한 거리에서 오브젝트에 초점을 맞출 수 있다. 종래의 촬상 디바이스는 초점 거리의 변경을 용이하게 하기 위해 자동-초점 기능을 지원한다. 촬상 디바이스의 폼 팩터의 수 및 다양성이 시간 경과에 따라 계속 증가함에 따라 응답형 및/또는 효율적인 자동-초점 기능을 제공하는 솔루션에 대한 요구가 증가할 것으로 예상된다.
JP 2014 235224 A는 피사계 심도를 시계열적으로 및 연속적으로 촬영하여 복수의 이미지를 생성하는 촬상부와; 피사계 심도의 초점 상태를 조정하는 초점 조정부와; 상기 이미지로부터 복수의 메인 피사체를 검출하는 피사체 검출부와; 상기 검출된 복수의 메인 피사체의 특성(characteristic)의 양 또는 상기 특성의 양과 상이한 다른 특성의 양 중 적어도 하나를 취득하고, 상기 특성의 양 및/또는 상기 다른 특성의 양에 기초하여 설정된 피사계 심도 내에 들어가는(settling) 메인 피사체의 수가 최대가 되도록 상기 초점 조정부가 상기 피사계 심도의 초점 상태를 조정하게 하는 제어부를 포함하는 촬상 디바이스에 관한 것이다.
WO2009/007860 A1은 이미지를 포착하는 로직과, 이미지 내의 복수의 얼굴을 검출하는 로직과, 각 얼굴과 연관된 거리를 계산하는 로직과, 각 얼굴과 연관된 거리에 기초하여 피사계 심도를 계산하는 로직과, 상기 복수의 얼굴과 관련된 피사계 심도에 기초하여 상기 이미지를 갭처하기 위한 초점 및 노광 설정을 계산하는 로직을 포함하는 디바이스를 개시한다.
US 8,655,162 B2는 초점 스코어에 기초하여 렌즈 위치를 설정하는 것을 기술한다. 렌즈의 복수의 초기 위치가 결정된다. 초기 위치들 각각은 복수의 오브젝트들 중 하나가 최고 품질을 갖는 렌즈의 위치에 해당할 수 있다. 초점 스코어는 최고 품질을 갖는 대응하는 오브젝트에 대한 각각의 초기 위치에서 결정될 수 있다. 두 개의 초기 위치들 사이의 렌즈의 최종 위치는 초점 스코어에 기초하여 계산될 수 있다.
본 발명의 다양한 실시예는 제한적인 것이 아니라 첨부 도면들의 도면에서 예로서 도시된다.
도 1은 실시예에 따른 초점 구성을 결정하기 위한 시스템의 엘리먼트를 도시하는 기능 블록도이다.
도 2는 실시예에 따른 이미지 센서 디바이스를 동작시키는 방법의 엘리먼트를 도시하는 흐름도이다.
도 3a는 실시예에 따른 자동 초점 기능을 제공하는 디바이스를 포함하는 환경의 평면 뷰이다.
도 3b는 실시예에 따른 초점 구성을 결정하기 위해 수행되는 프로세스를 도시하는 그래프이다.
도 4는 실시예에 따른 초점 구성을 결정하기 위한 프로세스의 엘리먼트를 나타내는 흐름도이다.
도 5는 이미지 센서 디바이스가 실시예에 따른 자동 초점 기능을 제공하는 환경의 특징을 예시하는 다양한 뷰를 도시한다.
본 명세서에 설명된 실시예들은 렌즈 시스템을 통해 제공될 초점의 유형을 결정하기 위한 기술 및 메커니즘을 다양하게 제공한다. 이러한 렌즈 시스템은, 일부 실시예들에서, 예를 들어, 상기 렌즈 시스템에 광학적으로 결합된 이미지 센서의 특정 조리개 및/또는 다른 동작 특성이 주어지면, 상기 렌즈 시스템을 통해 관찰 가능한 오브젝트들이 다양하게 초점이 맞춰졌는지(in-focus) 또는 초점이 맞춰지지 않았는지(out-of-focus)에 대한 평가에 기초하여 구성될 수 있다. 하나의 렌즈 시스템 구성이 다른 렌즈 시스템 구성과 비교하여 더 많은 오브젝트가 초점이 맞춰진 것으로 결정되는 경우, 일 실시예에 따라, 다른 렌즈 시스템 구성에 대한 하나의 렌즈 시스템 구성의 상대적인 선호도를 나타내기 위해 신호가 생성될 수 있다.
다음의 설명에서, 실시예들의 완전한 이해를 제공하기 위해 수 많은 특정 세부 사항들이 제시된다. 그러나, 당업자는 본 명세서에 기술된 기술들이 하나 이상의 특정 세부 사항 없이 또는 다른 방법, 구성 요소, 소재 등으로 실시될 수 있음을 인식할 것이다. 다른 예들에서, 공지된 구조, 소재 또는 동작은 특정 측면을 모호하게 하는 것을 피하기 위해 상세히 도시되거나 기술되지 않는다. 본 명세서 전체에 걸쳐 "일 실시예 "또는 "실시예"에 대한 언급은 그 실시예와 관련하여 기술된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 곳에서 "일 실시예에서" 또는 "실시예에서"라는 문구의 등장은 반드시 동일한 실시예를 지칭하는 것은 아니다. 더욱이, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적합한 방식으로 결합될 수 있다.
일부 종래의 디지털 촬상에서, 장면에 오직 하나의 피사체가 있는 경우, 자동 초점(AF) 알고리즘은 전형적으로 그 하나의 피사체에 초점 거리를 설정하도록 렌즈 위치를 조정한다. 일부 실시예는, 몇몇 상황에서, 이 접근법이 다양한 거리에 위치된 인간의 얼굴과 같은 여러 오브젝트를 갖는 장면에 대해서 최적이 아닐 수 있다는 발명자에 의한 실현에 기초한다. 이러한 실시예는 다른 초점 필드(field of focus)와 비교하여, 하나의 초점 필드가 더 많은 수의 및/또는 더 좋은 배치의 초점이 맞춰진 오브젝트를 제공할 수 있음을 인식하는 메커니즘을 제공함으로써 종래의 자동-초점 기술을 다양하게 향상시킨다.
본 명세서에서 사용되는 바와같이, "시야(field of view)"는 렌즈 시스템을 통해 관찰 가능한 환경의 일부를 지칭한다. 시야는, 예를 들어 3차원 환경의 해당 부분을 지칭할 수 있으며, 그 부분의 이미지는 그 부분에 지향된 특정 렌즈 시스템을 통해 2차원 이미지로서 캡처될 수 있다. 상기 "초점 필드(field of focus)"(또한 "focus field" 또는 "focal field")라는 용어는 렌즈 시스템을 통해 관찰되는 바와같이, 오브젝트 또는 오브젝트들이 사전 결정된 기준에 따라 충분히 초점이 맞춰질 수 있는 시야의 해당 부분을 지칭한다. 예를 들어, 촬상 시스템의 주어진 조리개에 부분적으로 의존할 수 있는 소정의 초점 필드는 개별(respective) 초점 거리 및 개별 피사계 심도를 포함한다.
"초점 거리"는 소정의 기준점(예를 들어, 렌즈 시스템의 렌즈 중심)으로부터 초점 필드의 중심까지의 거리이다. "피사계 심도"는 (예를 들어, 기준점으로/로부터 연장되는 방향의 선을 따라 측정된) 초점 필드의 전체 깊이(total depth)이다. "초점 범위"라고도 알려진 피사계 심도는 근(near, 가까운) 피사계 심도와 원(far, 먼) 피사계 심도 사이로 확장된다. "근 피사계 심도"라는 용어는 렌즈 시스템의 렌즈 중심과 같은 기준점으로부터 측정된 피사계 심도의 가장 가까운 에지까지의 거리를 지칭한다. 유사하게, "원 피사계 심도"는 기준점으로부터 피사계 심도의 가장 먼 에지까지의 거리를 지칭한다.
많은 광학 시스템에 있어서, 초점 거리(들)와 근 피사계 심도(Dn)사이의 관계는, 예를 들어, 일반적으로 다음 방정식으로 표현될 수 있다.
Figure 112019060089984-pct00001
여기서, 과초점 거리(hyperfocal distance:H)는 무한대의 허용 가능한 선명도를 유지하면서 렌즈 시스템이 포커싱될 수 있는 가장 가까운 거리이다. 일반적으로 렌즈가 과초점 거리에서 포커싱될 때 과초점 거리의 절반으로부터 무한대까지의 거리에 있는 모든 오브젝트는 허용 가능할 정도로 선명할 것이다. 촬상 시스템의 과초점 거리는 그 활상 시스템의 다른 설정들(예를 들어, 상이한 조리개)에 따라 다를 수 있다.
Dn, s 및 H 사이의 관계는 일반적으로 다음 방정식으로도 표현될 수 있다.
Figure 112019060089984-pct00002
Figure 112019060089984-pct00003
그리고, 원 피사계 심도(Df), s 및 H 사이의 관계는 일반적으로 다음 방정식으로 표현될 수 있다.
Figure 112019060089984-pct00004
Figure 112019060089984-pct00005
그러나, 예를 들어 종래의 촬상 기술로부터 적응된 하나 이상의 방정식을 포함하는 임의의 다양한 추가적인 또는 대안적인 기준이 Dn, Df, H 및 s 중 다양한 것들 사이의 관계를 식별하기 위해 사용될 수 있다.
본 명세서에서 "초점 구성"이라는 용어는 대응하는 초점 필드의 제공을 용이하게 하는, 렌즈 시스템의 주어진 구성, 예를 들어, 다수의 가능한 구성들 중 하나를 지칭한다. 초점 필드는 자체 렌즈 시스템의 심도일 수 있다. 선택적으로, 초점 필드는 (예를 들어, 다른 하나 이상의 렌즈, 특정 조리개 구조, 이미지 초점 소프트웨어를 실행하기 위한 회로 및/또는 기타 등등을 포함하는) 하나 이상의 다른 디바이스와 조합하여 렌즈 시스템에 의해 제공되는 전체 초점 필드일 수 있다.
본 명세서에 기술된 실시예들은 다른 초점 구성에 대해 하나의 초점 구성의 상대적인 선호도를 다양하게, 예를 들어 자동으로 결정하고, 그러한 결정은 초점 필드에 있을 수 있는 오브젝트 또는 오브젝트들의 평가에 기초한다. 달리 명시되지 않는 한, "식별된 오브젝트" 또는 "식별된 오브젝트들"은 본 명세서에서 렌즈 시스템의 시야에 있고, 각각이 렌즈 시스템 내에 또는 렌즈 시스템상에 위치된 지점 (point)과 같은 일부 기준(reference)으로부터 개별 거리를 갖는 것으로 식별된(예를 들어, 서로 구별되는 것을 포함하여) 하나 이상의 오브젝트를 다양하게 지칭한다. 이러한 하나 이상의 오브젝트은 렌즈 시스템을 통해 관측 가능한 보다 큰 복수의 오브젝트의 서브 세트만(예를 들어, 서브 세트는 각각이 시야의 적어도 일부 최소 부분을 차지하는 오브젝트만을 포함하는 경우)을 포함할 수 있다.
본 명세서에서 사용된 바와같이, "인-포커스 오브젝트 세트(in-focus object set)"는 특정 초점 구성 동안 렌즈 시스템으로 관찰될 때 초점이 맞춰진(맞는)(in-focus) 하나 이상의 식별된 오브젝트들의 세트를 지칭한다. 따라서, 렌즈 시스템의 다양한 초점 구성은 상이한 개별의 인-포커스 오브젝트 세트에 대응할 수 있다. 주어진 인-포커스 오브젝트 세트 내의 하나 이상의 오브젝트들 중, 렌즈 시스템에 가장 가까운 오브젝트는 "가장 가까운 인-포커스 오브젝트"로 지칭될 수 있는 반면, 렌즈 시스템에서 가장 멀리 있는 오브젝트는 "가장 먼 인-포커스 오브젝트"로 지칭된다. 따라서, 다양한 인-포커스 오브젝트 세트는 상이한 개별의 가장 가까운 인-포커스 오브젝트 및/또는 가장 먼 인-포커스 오브젝트를 포함할 수 있다. "인-포커스 오브젝트 카운트(초점이 맞춰진 오브젝트 개수)"(간략화를 위해, "오브젝트 카운트"라고도 지칭됨)는 본 명세서에서 인-포커스 오브젝트 세트 내의 하나 이상의 오브젝트의 총 수를 지칭한다.
도 1은 실시예에 따른 이미지 캡처 동작에서 사용하기 위해 구현될 초점 구성을 결정하기 위한 시스템(100)의 엘리먼트들을 도시한다. 시스템(100)은 시야 내에 있는 오브젝트들의 개별 거리에 기초하여, 다른 초점 구성에 대한 하나의 초점 구성의 선호도를 결정하도록 구성된 실시예의 단지 하나의 예이다. 이러한 선호도는 예를 들어, 초점 구성들 중 각각의 하나에 대해 각각 계산된 스코어에 기초하여 결정될 수 있다. 스코어들은 대응하는 초점 필드와 관련된 인-포커스 오브젝트들의 개별 카운트와 동일하거나 그렇지 않으면 이에 기초할 수 있다.
도시된 예시적인 실시예에서, 시스템(100)은 외부 환경으로부터 광(105)을 수용하기 위해, 도시된 렌즈(112)와 같은 하나 이상의 렌즈를 포함하는 렌즈 시스템(110)을 포함한다. 렌즈 시스템(110)은 조절 가능한 초점 능력을 수용하는 다양한 광학 디바이스 중 임의의 것을 포함할 수 있다. 이러한 광학 디바이스는 종래의 자동 초점 기술로부터 적응된 하나 이상의 초점-조정 기구(mechanisms)를 사용하여, 본 명세서에 기술된 기술들에 기초하여 제어될 수 있다.
렌즈 시스템(110)은 외부 환경으로부터 시스템(100)의 이미지 센서(120)를 향하여, 예를 들어 렌즈 시스템(110)에 의한 광 출력이 조리개(122)를 통해 픽셀 어레이(124)상으로 포커싱되는 방향으로 직접 광(105)에 광학적으로 결합될 수 있다. 픽셀 어레이(124)는 상보형 금속산화 반도체(CMOS) 픽셀 및/또는 종래의 이미지 감지 기술로부터 적응된 다양한 다른 픽셀 중 임의의 것을 포함할 수 있다. 일부 실시예는 광(105)에 기초하여 이미지 데이터를 생성하는데 사용하기 위한 특정 픽셀 어레이 아키텍처에 제한되지 않는다. 일부 실시예에서, 렌즈 시스템(110)의 구성은, 예를 들어 이미지 센서(120)가 고정된 조리개 디바이스이거나 또는 하나의 초점 구성이 특정 크기의 조리개(122)와 조합하여 사용하기 위한 복수의 가능한 초점 구성으로부터 선택되어야 하는, 특정 크기의 조리개가 주어진다면 결정되어야 한다.
예를 들어, 시스템(100)은 렌즈 시스템(110)으로 관찰 가능한 시야 내의 오브젝트들을 검출하기 위한 거리 측정기(range-finder)로서 동작하도록 구성된 거리 센서(140)를 더 포함할 수 있다. 거리 센서(140)로 오브젝트 거리를 검출하는 것은 종래의 거리-측정 기술로부터 적응된 하나 이상의 동작을 포함할 수 있으며, 이는 다양한 실시예의 특징을 모호하게 하는 것을 피하기 위해 본 명세서에서 상세히 설명되지 않는다. 제한이 아닌 예시로서, 거리 센서(140)는 레이저 거리 측정기, 초음파 거리 측정기 또는 적외선 거리 측정기의 기능을 제공할 수 있다. 라디아 (LIDAR:light detection and ranging), 레이더(RADAR:radio detection and ranging), 마이크로웨이브 거리 측정 등과 같이 거리 측정을 위한 다른 수단이 가능하다.
거리 센서(140)는 시스템(100)의 거리 평가 회로(150)에 출력 신호(142)를 연결시킬 수 있다. 거리 평가 회로(150)는 신호들(142)에 기초하여, 다수의 오브젝트들이 렌즈 시스템(110)을 통해 관찰 가능한 시야에 있음을 검출하도록 구성된 ASIC(application specific integrated circuit), 프로세서 회로, 상태 머신 및/또는 다른 반도체 하드웨어를 포함하는 로직을 포함할 수 있다. 이러한 오브젝트들의 일부 또는 전부는 시스템(100)으로부터 상이한 각각의 거리에 의해 서로 구별될 수 있다.
거리 센서(140) 및 거리 평가 회로(150)를 이용한 거리 측정은 능동 검출 기술, 수동 검출 기술(예를 들어, 위상 검출, 콘트라스트 측정 및/또는 기타를 포함하는) 또는 이들의 조합을 포함할 수 있다. 일 실시예에서, 거리 평가 회로(150)는 복수의 오브젝트의 각각의 오브젝트에 대해, 해당 오브젝트에 대한 각각의 거리를 시스템(100) 내의 또는 시스템(100)상의 소정 기준 위치에 대해 식별할 수 있다. 이 식별은, 예를 들어 레이저 및/또는 거리 센서(140)로부터의 다른 거리 측정 신호 출력에 대한 임계 응답에 기초할 수 있다. 이러한 최소 임계 응답은 상기 식별된 복수의 오브젝트를 각각이 시야의 적어도 소정의 최소 임계량을 점유하는 오브젝트들로 제한할 수 있다. 대안으로 또는 부가적으로, 이러한 최소 임계 응답은 상기 식별된 복수의 오브젝트를 시스템(100)으로부터 소정의 최대 임계 거리 내에 있는 시야 내의 오브젝트들로 제한할 수 있다.
일부 실시예가 이와 관련하여 제한되지는 않지만, 거리 센서(140)는 시야의 상이한 개별 부분들에 대해, 적어도 일부가 시야의 해당 부분을 점유하는 각각의 오브젝트에 대한 거리를 식별하는 지향성 거리-측정(directional range-finding) 기능을 제공할 수 있다. 예를 들어, 거리 센서(140)는 순차적으로(또는 다른 방식으로) 시야를 스윕(sweep)하도록 동작될 수 있으며, 따라서 거리 센서(140)에 의해 순차적으로 수신된 대응하는 응답 신호는 시야의 상이한 개별 부분과 각각 연관된다. 이러한 실시예에서, 거리 평가 회로(150)는 각각이 시야의 상이한 개별 부분을 갖는 다양한 오브젝트 거리에 대응할 수 있다.
시스템(100)은 시스템(100)으로부터의 복수 오브젝트의 개별 거리를 지정하거나 나타내는 정보를 거리 평가 회로(150)로부터 수신하도록 연결된 선택 회로 (160)를 더 포함할 수 있다. 선택 회로(160)는 예를 들어 ASIC, 프로세서 회로 등을 포함하는 로직을 포함하여, 이러한 오브젝트 거리들에 기초하여, 렌즈 시스템(110)으로 구현하기 위한 초점 구성을 결정할 수 있다. 이러한 결정은 제2 초점 구성에 대한 일부 제1 초점 구성의 상대적인 선호도를 식별하는 선택 회로(160)를 포함할 수 있다. 이러한 선호도는, 예를 들어, 제1 초점 구성이 제2 초점 구성과 비교할 때, 더 많은(larger) 수 및/또는 더 우수한 배열(일부 스코어 또는 다른 메트릭으로 표시됨)을 가져올 것이라는 결정에 기초할 수 있다.
하나의 예시적인 실시예에서, 선택 회로(160)는 초점 거리(들), 근 피사계 심도(Dn), 원 피사계 심도(Df), 과초점 거리(H) 및/또는 렌즈 시스템(100)을 통해 제공될 임의의 다양한 다른 광학 특성들 사이의 하나 이상의 관계를 기술하는 기준 정보(reference information)를 포함하거나 이에 대한 액세스를 갖는다. 제한이 아닌 예시로서, 선택 회로(160)는 예를 들어 제조자, 소매업자, 컴퓨터 네트워크 서비스 또는 다른 에이전트에 의해 이러한 기준 정보로 사전 프로그래밍된 메모리(130)를 포함하거나 이에 결합될 수 있다. 거리 평가 회로(150)로부터의 오브젝트 거리 데이터에 기초하여, 선택 회로(160)는 하나의 이러한 오브젝트의 주어진 거리에 대해, 렌즈 시스템(110)의 상응하는 초점 구성 동안 초점이 맞추어 진(또는 맞추어질) 오브젝트의 총 수를 선택, 계산 및/또는 결정하기 위해 메모리(130)에 있는 기준 정보를 액세스할 수 있다. 예를 들어, 초점 구성은 렌즈 시스템(110)을 통해 제공될 근 피사계 심도에 위치되는 당해(문제의) 오브젝트에 대응할 수 있다.
다수의 가능한 초점 구성의 평가에 기초하여, 선택 회로(160)는 적어도 하나의 대안적인 초점 구성에 대해 선호되는 것으로 결정된 초점 구성을 식별하거나 나타내는 신호(162)를 출력할 수 있다. 신호(162)에 응답하여, 시스템(100)의 초점 제어기(FC)(170)는 렌즈 시스템(110)으로 구현될 초점 필드를 조정하거나 구성할 수 있다. FC(170)는 임의의 다양한 하나 이상의 하드웨어 및/또는 소프트웨어 메거니즘을 포함하여, 렌즈 시스템(110)으로 제공된 유효 초점 거리를 변경시킬 수 있다. 제한이 아닌 예시로서, FC(170)는 렌즈 시스템(110)의 렌즈들을 서로 및/또는 픽셀 어레이(124)에 대해 이동시키는 모터를 포함할 수 있다. 대안으로 또는 부가 적으로, FC(170)는, 예를 들어, 이미지 프로세싱 계산에 의해 유효 초점 필드를 적어도 부분적으로 구현하는 로직(예를 들어, ASIC, 프로세서, 실행 소프트웨어 및/또는 기타)을 포함할 수 있다. 신호(162)에 기초하여, FC(170)는 렌즈 시스템 (110)을 통해 특정 피사계 심도를 제공하는 초점 구성을 구현할 수 있다. 이러한 초점 구성 동안, 이미지 센서(120)는 예를 들어, 선택 회로(160) 및/또는 FC(170)에 응답하여, 동작되어 외부 환경의 이미지를 캡처할 수 있다.
일부 실시예가 이와 관련하여 제한되지는 않지만, 거리 평가 회로(150)는 렌즈 시스템(110)을 통해 수신된 광에 기초하여 픽셀 어레이(124)에 의해 생성된 이미지 정보를 수신 및 처리하도록 구성된 이미지 인식 회로(미도시)를 더 포함하거나 이것에 연결될 수 있다. 이러한 이미지 인식 회로는, 예를 들어, 하나 이상의 클래스의 오브젝트를 기술하는 다른 기준 정보로 사전 프로그래밍될 수 있거나 또는 다른 기준 정보에 액세스할 수 있다. 이러한 다른 기준 정보에 기초하여, 이미지 인식 회로는 픽셀 어레이(124)로부터의 신호들을 평가하여 시야의 임의의 영역이 사전 정의된 오브젝트 클래스에 속하는 일부 오브젝트의 표현을 포함하는지 여부를 결정할 수 있다. 오브젝트 클래스의 일부 예는 눈 클래스, 입 클래스, 머리 클래스, 자동차 클래스, 빌딩 클래스 및/또는 기타를 포함하지만 이에 한정되지 않는다. 하나 이상의 오브젝트의 오브젝트 클래스의 식별은 종래의 이미지 인식 기술로부터 적응된 동작들을 포함할 수 있다. 일 실시예에서, 신호(142)에 의해 다양하게 지시되는 하나 이상의 오브젝트 거리는 대응하는 오브젝트 클래스에 속하는 것으로 식별된 개별 오브젝트와 각각 관련될 수 있다.
요약하면, 다음의 엘리먼트들 중 적어도 일부의 조합을 포함할 수 있는 도 1에 도시된 디바이스(시스템(100))는, 디바이스 외부의 환경으로부터 광을 수신하는 렌즈 시스템(110)과; 제1 오브젝트 및 제2 오브젝트를 포함하는 복수의 오브젝트 각각에 대한 개별 거리를 식별하도록 구성된 거리 평가 회로(150)와, 상기 거리 평가 회로(150)는 거리 센서(140)의 출력 신호들(142)을 처리하고 신호들(142)의 평가에 기초하여 개별 오브젝트의 거리를 결정하기 위해 거리 센서(140)에 결합될 수 있고; 상기 렌즈 시스템(110)의 초점을 결정하기 위해 거리 평가 회로(150)에 결합된 선택 회로(160)와, 상기 선택 회로(160)는 실행될 때 디바이스(시스템(100))로 하여금 동작들을 수행하게 하는 로직을 포함하고, 상기 동작들은 제1 초점 구성으로 인해(예를 들어, 렌즈 시스템(110)의 주어진 구성) 그리고 제1 조리개(122)로 인해(예를 들어, 렌즈 시스템(110)을 통해 수신된 이미지를 포착하기 위해 렌즈 시스템(110)에 광학적으로 결합된 이미지 센서(120)의 픽셀 어레이(124)상에 광을 포커싱하는 제1 조리개(122)의 크기), 상기 제1 오브젝트가 제1 근 피사계 심도(Dn)에 있는 동안, 초점이 맞을 임의의 상기 복수의 오브젝트의 제1 카운트를 결정하는 단계와; 제2 초점 구성 및 상기 제1 조리개로 인해, 상기 제2 오브젝트가 제2 근 피사계 심도(Dn)에 있는 동안, 초점이 맞을 임의의 상기 복수의 오브젝트의 제2 카운트를 결정하는 단계와; 상기 제1 카운트에 기초한 제1 스코어와 상기 제2 카운트에 기초한 제2 스코어를 비교하는 단계와; 그리고 상기 비교에 기초하여, 상기 제1 초점 구성 또는 상기 제2 초점 구성 사이의 선호도를 나타내는 신호를 제공하는 단계를 포함한다.
여기서, 제1/제2 카운트의 개별 제1 또는 제2 스코어는 제1 카운트의 값 또는 제2 카운트의 값에 각각 기초할 수 있다. 예를 들어, 개별 스코어는 카운트에 포함된 개별 오브젝트들이 상이한 가중치가 할당될 수 있는 관련된 가중 카운트로부터 유도될 수 있다. 이러한 가중치가 무시된다면, 제1 스코어 및 제2 스코어는 각각 제1 카운트 및 제2 카운트와 동일할 수 있다. 그렇지 않으면, 스코어는 시야 내의 오브젝트에 할당된 가중치에 적어도 부분적으로 기초할 수 있다.
더욱이, 상기 디바이스는 신호(162)에 기초하여 렌즈 시스템(110)을 조정하도록 결합된 초점 제어기(170)를 포함할 수 있다.
디바이스(시스템(100))에 의해 수행될 수 있는 동작들은 비-일시적 컴퓨터 판독 가능 저장 매체 상에 저장된 대응하는 명령들을 실행함으로써 구현될 수 있는 하나의 실시예에 대해 이하에서 보다 상세히 기술될 오브젝트 거리 정보에 기초하여 또한 자동-초점 기능을 제공하는 방법을 정의한다.
도 2는 일 실시예에 따른 렌즈 시스템의 초점 구성을 결정하기 위한 방법(200)의 엘리먼트를 도시한다. 다양한 실시예의 특정 특징들을 설명하기 위해, 방법(200)은 도 3a 및 도 3b에 도시된 예시적인 시나리오를 참조하여 본 명세서에 기술된다. 도 3a는 이미지 센서 디바이스(310)가 일 실시예에 따라 동작할 환경(300)의 상측 뷰를 도시한다. 도 3b는 이미지 센서 디바이스(310)로부터 환경(300) 내의 개별 오브젝트로 단일 라인(360) 상에 투영된 다양한 거리의 뷰(350)를 도시한다. 방법(200)은 예를 들어, 이미지 센서 디바이스(310)가 시스템(100)의 일부 또는 모든 특징을 포함하는 이미지 센서 디바이스(310)의 하나 이상의 컴포넌트를 통해 수행될 수 있다. 그러나, 다른 실시예는 본 명세서에 설명된 특징들을 갖는 다양한 다른 이미지 센서 디바이스들 중 임의의 것에 의해 수행되는 방법(200)을 포함한다.
일 실시예에서, 방법(200)은 렌즈 시스템의 시야 내의 복수의 오브젝트 각각에 대한 개별 거리를 식별하는 단계(210)를 포함한다. 예를 들어, 도 3a에 도시된 바와 같이, 이미지 센서 디바이스(310)는 도시된 6개의 오브젝트들(A~F)과 같은 몇몇 다수의 오브젝트가 이미지 센서 디바이스(310)의 렌즈 시스템(312)을 통해 관찰 가능한 (예를 들어, 시선(322),(324) 사이의) 시야(320) 내에 각각 있도록 위치(배치되고 배향된다)될 수 있다. 오브젝트들(A~F)은 하나의 실시예를 제한하지 않으며, 이미지 센서 디바이스(310)는 더 많거나 적거나 및/또는 상이하게 배열된 오브젝트에 기초하여 방법(200)을 수행하도록 구성될 수 있다.
시야(320) 내의 오브젝트의 위치는 적어도 부분적으로, 예를 들어 거리 치수(x) 및 반사상 치수(radial dimension)(θ)를 포함하는 극좌표계(예를 들어, 원통 또는 구형 좌표계의 일부)로 식별될 수 있다. 도시된 예시적인 시나리오에서, 시야(320)는 위치(x1, θ4)에 오브젝트(A), 위치(x2, θ3)에 오브젝트(B), 위치(x3, θ2)에 오브젝트(C), 위치(x4, θ5)에 오브젝트(D), 위치(x5, θ6)에 오브젝트(E) 및 위치(x6, θ1)에 오브젝트(F)를 위치시킨다. 도 3a에 도시된 예시적인 시나리오에서, 오브젝트들(A~F)은 각각 2차원 평면에 있다. 그러나, 이러한 오브젝트들의 일부 또는 전부는 3차원 공간에서 상이한 수직 높이에 다양하게 위치될 수 있음이 인식될 수 있는데, 예를 들어, 여기서 오브젝트의 위치의 수직 높이 성분은 오브젝트와 이미지 센서 사이의 약간의 추가 거리를 초래할 수 있다. 단계(210)에서 결정하는 것은, 예를 들어 거리 x1, x2, x3, x4, x5, x6을 식별하는 것을 포함할 수 있으며, 여기서 이러한 식별은 신호들(142)에 기초하여 거리 평가 회로(150)를 통해 수행된다.
방법(200)은 구현될 초점 구성의 제1 결정을 수행하는 단계를 더 포함할 수 있다(도 3a의 예에서는 렌즈 시스템(312)을 이용하여). 간략화를 위해 본 명세서에서 "제1 초점 결정"으로 또한 지칭되는 이러한 결정은, 예를 들어 초점이 맞은 오브젝트들의 개별 카운트에 기초하여 적어도 2 개의 초점 구성의 비교 평가를 제공하는 동작들을 포함하는, 렌즈 시스템의 초점을 결정할 수 있다. 예를 들어, 제1 초점 결정은 단계(220)에서, 렌즈 시스템의 제1 초점 구성으로 인해 그리고 제1 조리개(예를 들어, 고정되거나 또는 대안적으로 조정될 수 있는 특정 조리개 크기)로 인해, 복수의 오브젝트들 중 제1 오브젝트가 제1 근 피사계 심도에 있는 동안, 초점이 맞춰질 복수의 오브젝트중 임의의 오브젝트의 제1 카운트를 결정하는 단계를 포함할 수 있다. 제1 카운트는 제1 포커스 심도가 제1 초점 구성 및 제1 조리개 모두로 구현되는 동안 렌즈 시스템으로 관찰되는 경우 초점에 나타나는 복수의 오브젝트들 중 임의의 오브젝트의 제1 총수를 나타낼 수 있다.
제1 초점 결정은 단계(230)에서, 제2 초점 구성 및 제1 조리개로 인해, 복수의 오브젝트들 중 제2 오브젝트가 제2 근 피사계 심도에 있는 동안, 초점이 맞추어질 복수의 오브젝트중 임의의 오브젝트의 제2 카운트를 결정하는 단계를 더 포함할 수 있다. 제2 카운트는 제2 포커스 심도가 렌즈 시스템의 제2 초점 구성 및 제1 조리개로 구현되는 동안 렌즈 시스템으로 관찰되는 경우 초점에 나타나는 복수의 오브젝트들 중 임의의 오브젝트의 제2 총수를 나타낼 수 있다. 단계(230)에서의 결정은 제2 초점 구성에 대응하는 제2 인-포커스 오브젝트 세트의 오브젝트들의 총 개수를 카운팅하는 것을 포함할 수 있다.
도 3b는 초점 구성 결정(단계(220 및 230)에서의 결정을 포함하는 것과 같은)의 일 실시예를 도시하며, 이는 복수의 초점 구성 각각에 대해, 그 초점 구성에 대응하는 인-포커스 오브젝트 세트의 오브젝트들의 개별 카운트를 카운팅하는 단계를 포함한다. 이러한 카운트(본 명세서에서는 "인-포커스 오브젝트 카운트"로 언급 됨)는 특정 오브젝트 거리의 거리와 동일하게 근 피사계 심도 변수를 설정하는 단계와, 근 피사계 심도값에 대응하는, 예를 들어 근 피사계 심도값과 동시에 발생하는 원 피사계 심도값을 계산하거나 결정하는 단계를 포함할 수 있다. 그런 다음 단계(210)에서 식별된 거리들은 근 피사계 심도 및 대응하는 원 피사계 심도 사이에 어떤 오브젝트들이 있는지를 결정하기 위해 평가될 수 있다.
예를 들어, 뷰(350)에 도시된 바와 같이, 초점 구성 결정은 초점 필드(D1)에 대한 제1 인-포커스 오브젝트 카운트를 수행할 수 있는데, 여기서 D1의 근 피사계 심도는 오브젝트(A)와 마찬가지로 이미지 센서(310)로부터 동일한 거리(x1-x0)에 있어야 한다. 제1 인-포커스 오브젝트 카운트는, 렌즈 시스템(312)이 D1을 용이하게 하는 제1 초점 구성을 가질 때, 오브젝트들(A~F) 중 하나만, 즉 오브젝트 A가 초점이 맞추어진(또는 맞추어질) 것임을 결정할 수 있다. 제2 인-포커스 오브젝트 카운트는 초점 필드(D2)에 대하여 수행할 수 있는데, 여기서 D2의 근 피사계 심도는 오브젝트(B)와 마찬가지로 이미지 센서(310)로부터 동일한 거리(x2-x0)에 있어야 한다. 제2 인-포커스 오브젝트 카운트는 렌즈 시스템(312)이 D2를 용이하게 하는 제2 초점 구성을 가질 때 총 3개의 오브젝트, 즉 오브젝트 B, C 및 D가 초점이 맞추어진 또는 맞추어질 것임을 결정할 수 있다.
초점 구성 결정은 초점 필드(D3)에 대한 제3의 인-포커스 오브젝트 카운트를 추가로 수행할 수 있으며, 여기서 D3의 근 피사계 심도는 오브젝트(C)와 같이 이미지 센서(310)로부터 동일한 거리(x3-x0)에 있어야 한다. 제3 인-포커스 오브젝트 카운트는 렌즈 시스템(312)이 D3을 용이하게 하기 위한 제3 초점 구성을 가질 때 총 2개의 오브젝트, 즉, 오브젝트 C 및 D가 초점이 맞추어진 또는 맞추어질 것임을 결정할 수 있다. 제4 인-포커스 오브젝트 카운트는 초점 필드(D4)에 대하여 수행할 수 있는데, 여기서 D4의 근 피사계 심도는 오브젝트(D)와 같이 이미지 센서(310)로부터 동일한 거리(x4-x0)에 있어야 한다. 제4 인-포커스 오브젝트 카운트는 렌즈 시스템(312)이 D4를 용이하게 하기 위한 제4 초점 구성을 가질 때, 총 2개의 오브젝트, 즉 오브젝트 D 및 E가 초점이 맞추어진 또는 맞추어질 것임을 결정할 수 있다.
초점 구성 결정은 초점 필드(D5)에 대한 제5 인-포커스 오브젝트 카운트를 추가로 수행할 수 있으며, 여기서 D5의 근 피사계 심도는 오브젝트(E)와 같이 이미지 센서(310)로부터 동일한 거리(x5-x0)에 있어야한다. 제5 인-포커스 오브젝트 카운트는 렌즈 시스템(312)이 D5를 용이하게 하기 위한 제5 포커스 구성을 가질 때 단지 하나의 오브젝트, 즉 오브젝트 E가 초점이 맞추어진 또는 맞추어질 것임을 결정할 수 있다. 제6 인-포커스 오브젝트 카운트는 초점 필드(D6)에 대하여 수행할 수 있는데, 여기서 D6의 근 피사계 심도는 오브젝트(F)와 같이 이미지 센서(310)로부터 동일한 거리(x6-x0)에 있어야 한다. 제6 인-포커스 오브젝트 카운트는 D6을 용이하게 하기 위해 렌즈 시스템(312)이 제6 초점 구성을 가질 때 단지 하나의 오브젝트, 즉 오브젝트 F가 초점이 맞추어진 또는 맞추어질 것임을 결정할 수 있다. D1-D6의 개별 피사계 심도는 실질적으로 동일할 수 있는데, 예를 들어, 서로의 10% 이내, 일부 실시예에서는 서로 5% 이내 일 수 있다.
방법(200)에 의해 수행되는 초점 구성 결정은 단계(240)에서, 단계(220)에서 결정된 제1 카운트에 기초한 제1 스코어 및 단계(230)에서 결정된 제2 카운트에 기초한 제2 스코어의 비교를 수행하는 단계를 더 포함할 수 있다. 예를 들어, 제1 스코어 및 제2 스코어는 제1 카운트 및 제2 카운트와 각각 동일할 수 있다. 다른 실시예에서, 스코어는 시야 내의 오브젝트에 할당된 가중치에 적어도 부분적으로 기초할 수 있다. 이러한 가중치의 할당은, 예를 들어, 시야 내의 오브젝트의 위치에 기초할 수 있다. 한정적이 아닌 예시로서, 가중치는 기준점 또는 기준선(예를 들어, 중심, 정중선(midline), 에지 및/또는 코너)에 대한 오브젝트의 위치에 적어도 부분적으로 기초하여 오브젝트에 할당될 수 있다. 대안적으로 또는 부가적으로, 이러한 가중치는 또한 시야내에 있는 하나 이상의 다른 오브젝트에 대한 시야 내의 그의 위치에 적어도 부분적으로 기초하여 오브젝트에 할당될 수 있다. 이러한 가중치는 이미지 인식 처리에 의해 오브젝트에 대응하는 것으로 식별된 오브젝트 클래스 유형에 적어도 부분적으로 기초하여 부가적으로 또는 대안적으로 할당될 수 있다.
단계(240)에서 수행된 비교 결과에 기초하여, 방법(200)은 단계(250)에서, 제1 초점 구성 또는 제2 초점 구성 사이의 선호도를 나타내는 신호를 제공하는 단계를 더 포함할 수 있다. 예를 들어, 상기 신호는 제1 초점 구성이 제2 초점 구성에 의해 제공될 수 있는 제2 초점 필드와 비교할 때, 더 많은 수의 초점이 맞추어진 오브젝트 및/또는 초점이 맞추어진 오브젝트들에 대한 보다 가중된 스코어를 발생함을 나타낼 수 있다.
도 3b에 도시된 예시적인 시나리오를 다시 참조하면, 단계(250)에서 상기 신호는 D1을 용이하게 하는 초점 구성에 대한 D2를 용이하게 하는 초점 구성에 대한 선호도를 나타낼 수 있다. 이러한 신호는 복수의 이러한 구성들 중에서 가장 많은 수의 초점이 맞추어진 오브젝트을 생성하는 초점 구성을 식별할 수 있다. 일부 실시예에서, 단계(250)에서 제공된 신호는, 복수의 오브젝트들 각각이 근 피사계 심도로부터 오프셋되는 동안 초점이 맞추어질 오브젝트의 임의의 카운트와 독립적으로, 예를 들어 근 피사계 심도에서 복수의 오브젝트들 중 하나를 배치하는 것 이외의 초점 구성에 대응하는 인-포커스 오브젝트 카운트의 임의의 결정과 독립적으로 생성될 수 있다. 예를 들어, 시야(320)에서 오브젝트(A~F)에 대해 수행된 초점 구성 결정은 단지 6개의 인-포커스 오브젝트 카운트, 즉 도시된 포커스 심도들(D1~D6중 각각의 하나에 대해 수행하는 단계를 포함할 수 있다.
렌즈 포커싱을 결정하는 종래의 기술은 초점 거리의 범위에 대해 다양하게 스위핑하여 초점 필드의 큰(large) 세트의 각각에 대해 개별 계산을 수행한다. 이 큰 세트는 전형적으로 식별된 오브젝트가 큰 피사계 심도에 위치하지(또는 위치하게 되지) 않는 많은 초점 필드를 포함한다. 반면에, 일부 실시예는 초점 필드의 비교적 더 작은, 보다 특정한 세트, 예를 들어, 총 수가 복수의 오브젝트의 총 수 이하에 대한 스코어를 계산한다. D1부터 D6까지의 비교 평가는 예를 들어, D1 내지 D6의 각각의 것들 사이의 각각 많은 다른 중간 초점 필드를 평가하지 않고, 이러한 실시예들에 의해 획득된 하나의 효율을 나타낸다. 종래의 기술과 비교하여, 이러한 실시예들은 초점 필드를 평가할 수 있는 비교적 간단하고 빠른 처리를 제공함으로써 보다 효율적이다.
일부 실시예가 이와 관련하여 제한되지는 않지만, 방법(200)은 단계(250)에 제공된 신호에 기초하여 이미지 센서 디바이스를 동작시키는 하나 이상의 추가 동작(미도시)을 포함할 수 있다. 예를 들어, 방법(200)은 단계(250)에 제공된 신호에 기초하여 렌즈 시스템을 구성하는 단계를 더 포함할 수 있으며, 예를 들어, 여기서 렌즈 시스템은 제1 오브젝트를 근 피사계 심도에 위치시키기 위한 제1 구성을 구현한다. 이러한 실시예에서, 제1 오브젝트 이외의 오브젝트는 렌즈 어레이에 대한 (복수의 오브젝트 전부 중) 가장 가까운 오브젝트일 수 있다. 렌즈 시스템을 구성한 후, 방법(200)은 렌즈 시스템을 통해 수신된 이미지를 캡쳐하기 위해 픽셀 어레이를 추가로 동작시킬 수 있다. 일부 실시예가 이와 관련하여 제한되지는 않지만, 방법(200)은 예를 들어, (예를 들어) 선택 회로(160)가 제1 초점 결정을 포함하는 복수의 초점 결정의 하나 이상의 추가 초점 결정을 수행하는 단계를 포함하여 1회 이상 반복될 수 있다. 예를 들어, 이러한 복수의 초점 결정 중 일부 또는 전부는 렌즈 시스템으로 작동하는 상이한 개별 조리개에 각각 대응할 수 있다.
도 4는 일 실시예에 따른 초점 구성을 결정하기 위한 방법(400)의 엘리먼트를 도시한다. 방법(200)은 예를 들어 시스템(100) 또는 이미지 센서 디바이스(310)로 수행될 수 있다. 일 실시예에서, 방법(400)은 방법(200)의 특징들의 일부 또는 전부를 포함한다.
도시된 예시적인 실시예에서, 방법(400)은 선호 초점 설정을 결정하는데 사용되는 변수들을 초기화하는 동작들을 포함한다. 한정이 아닌 예시로서, 이러한 동작들은 단계(405)에서, 현재 선호되는 근 초점 필드를 나타내는 변수(Dmax) 및 Dmax에 대응하는 인-포커스 오브젝트 카운트를 나타내는 다른 변수(Nmax) 각각을 0으로 설정하는 단계를 포함할 수 있다. 단계(405)에서 동작들은 카운터 변수(x)를 초기 값, 예를 들어 1로 설정하는 단계를 부가적으로 또는 대안적으로 포함할 수 있다.
방법(400)은 단계(410)에서, 렌즈 시스템을 통해 관찰 가능한 시야 내에 있는 것으로 결정된 복수의 오브젝트 중 x 번째 오브젝트(여기서 x번째는 변수(x)의 현재 값에 대응하는 서수임)의 거리(dx)를 결정하는 단계를 더 포함할 수 있다. 상기 거리(dx)는 렌즈 시스템의 렌즈 내부 또는 렌즈상의 중심점과 같은 기준 위치에 대해 결정될 수 있다. 단계(415)에서, 방법(400)은 인-포커스 오브젝트 카운트를 나타내는 값(Nx), 즉 렌즈 시스템이 x 번째 오브젝트가 근 초점 필드에 놓이는 초점 구성을 갖는 동안 초점이 맞추어진(또는 맞추어질) 오브젝트의 카운트(수)를 결정할 수 있다. 단계(415)에서의 결정 단계는 예를 들어 단계(220)에서의 결정 단계 또는 단계(230)에서 결정 단계와 같은 하나 이상의 동작을 포함할 수 있다.
방법(400)은 단계(420)에서, 단계(415)에서 가장 최근에 결정된 값(Nx)이 Nmax의 현재 값보다 큰지 여부를 결정하는 단계를 더 포함할 수 있다. 단계(420)에서, Nmax가 현재의 Nmax 값보다 큰 것으로 결정되면, 방법(400)은 단계(425)에서, Nmax를 가장 최근에 결정된 Nx 값과 동일하도록 설정하는 단계를 포함하는 동작들을 수행할 수 있다. 단계(425)에서의 동작들은 Dmax가 가장 최근에 결정된 Dn의 값과 동일하도록 설정하는 단계를 더 포함할 수 있다. 이어서, 단계(430)에서, 복수의 오브젝트 중 임의의 다른 오브젝트가 방법(400)에 의해 어드레싱되기 위해 남아 있는지 여부에 대한 결정이 이루어질 수 있다. 단계(420)에서, Nmax가 현재의 Nmax 값보다 작은 것(또는 일부 실시예에서는 같음)으로 결정되면, 방법(400)은 단계(425)에서의 동작들의 인스턴스를 포기하고 단계(430)의 결정 단계로 진행할 수 있다.
단계(430)에서 복수의 오브젝트들 각각이 어드레싱되었다는 결정에 응답하여, 방법(400)은 Dmax의 가장 최근의 값과 동일한 근 피사계 심도를 제공하는 초점 구성을 렌즈 시스템에 구현하기 위해 후속 동작들(미도시)로 진행하거나 그 다음에 이어질 수 있다. 대신에 단계(430)에서, 복수의 오브젝트들 중 적어도 하나가 어드레싱되지 않았다고 결정되면, 방법(400)은 단계(435)에서, 카운터(x)를 증가시키고, 단계(410)에서 결정 단계의 다른 인스턴스(사례)를 수행하도록 진행한다.
일 실시예에서, 방법(400)에 의해 어드레싱될 복수의 오브젝트의 초기 x 번째 오브젝트, 즉 제1 오브젝트는 렌즈 시스템에 대한 복수의 오브젝트 중 가장 가까운 오브젝트이다. 방법(400)에 의해 어드레싱되어야 할 각각의 다음 x 번째 오브젝트는, 예를 들어, 렌즈 시스템으로부터 멀리 떨어진 다음 오브젝트일 수 있다. 이러한 실시예에서, 방법(400)으로부터의 이탈(exit, 나가기)가 수행될지 여부를 결정하기 위해 하나 이상의 추가 테스트 조건(미도시)이 평가될 수 있다.
제한이 아닌 예시로서, 방법(400)으로부터의 조기 이탈은, Nx는 x 번째 오브젝트 및 상기 x 번째 오브젝트보다 렌즈 시스템으로부터 멀리 떨어져 있는 모든 다른 오브젝트(복수의 오브젝트 중의)를 나타내는, 예를들어 단계(420)에서의 결정에 응답하여 수행될 수 있다. 대안으로 또는 부가적으로, 방법(400)으로부터의 조기 이탈은 Nx의 임의의 후속 평가가 Nmax의 현재 값보다 클 수 없다는 예를들어 단계(420)에서의 결정에 응답하여 수행될 수 있다(예를 들어, 방법(400)은 렌즈 시스템으로부터 그들의 개별 거리의 증가 순서에 따라 연속적으로 오브젝트를 어드레싱하는 것이다).
도 5는 시야 내의 오브젝트들에 대한 개별 스코어에 기초하여 렌즈 시스템의 초점 구성이 결정되는 실시예의 특징을 도시하며, 상기 스코어들은 다양한 오브젝트들에 할당된 상이한 가중치들에 기초하여 차례로 결정된다. 이러한 결정은 예를 들어 방법들(200, 400) 중 하나에 따라 하나의 시스템(100) 또는 이미지 센서 디바이스(310)에 의해 수행될 수 있다.
도 5는 이미지 센서 디바이스(510)가 일 실시예에 따라 동작할 환경(500)의 상면 뷰를 도시한다. 도 5에 도시된 바와 같이, 이미지 센서 디바이스(510)는, 예를 들어 도시된 복수의 오브젝트(A~F)와 같은 오브젝트들이 이미지 센서 디바이스 (510)의 렌즈 시스템(512)을 통해 관찰 가능한 시선(lines of sight)들(522, 524) 사이의 시야(520)에 각각 있도록 배치(위치 및 배향)될 수 있다. 이미지 센서 디바이스(510)는 다양한 실시예에서 더 많거나 적은 및/또는 상이하게 배치된 오브젝트를 추가적으로 또는 대안적으로 이미지화하도록 배치될 수 있다.
도 5b는 렌즈 시스템(512)을 통해 보이는 바와 같이, 시야(520) 내에 있는 오브젝트들(A~F)(도시된 시나리오에서는 사람)의 하나의 예시적인 뷰(550)를 도시한다. 렌즈 시스템(512)에 대한 초점 구성은 예를 들어 렌즈 시스템(512)으로부터 오브젝트들(A~F)의 개별 거리(x1~x6)에 부분적으로 기초하여 결정될 수 있다. 일부 실시예들에서, 초점 구성의 이러한 결정은 뷰(550) 내의 오브젝트들(A~F) 중 일부 또는 전부의 개별 위치에 추가로 기초할 수 있다.
예를 들어, 사전 프로그래밍된 기준 정보(예를 들어 메모리(130)에 저장된)는 각각이 그 영역내의 오브젝트들에 위치된 값의 정도를 나타내는 개별 값을 갖는 뷰(550)의 상이한 영역들에 대응할 수 있다. 도시된 예시적인 실시예에서, 이러한 영역은 뷰(550)의 중심(시야(520)의 중심선(526)과 정렬된 중심)에 위치하는 영역(554)을 포함한다. 상기 영역들은 영역(554)에 인접하여 주위(around)로 연장되는 영역(556)뿐만 아니라 영역(556)에 인접하여 주위로 연장되는 다른 영역(558)을 더 포함할 수 있다. 영역(558) 주위의 또 다른 영역은 뷰(550)의 에지(552)까지 연장될 수 있다.
이러한 영역들 중 주어진 하나에 대해, 영역 내에 있는 것으로 식별된 오브젝트는 그 영역과 관련된 사전 정의된 선호도 값과 동일하거나 또는 그에 기초한 가중치가 할당될 수 있다. 도시된 예시적인 실시예에서, 오브젝트 A는 영역(554)에 대응하는 제1 가중치가 할당될 수 있고, 오브젝트 B, C 및 D는 각각 영역(558)에 대응하는 제2 가중치가 할당될 수 있다. 오브젝트 E 및 F는 영역(558)에 인접하고 그 영역을 둘러싸는 영역에 대응하는 제3 가중치가 할당될 수 있다.
스코어(Sx)는 예를 들어, Cx가 렌즈 시스템(512)으로부터의 복수의 오브젝트 중 x 번째 물체의 거리와 동일한 근 피사계 심도를 제공하는, 렌즈 시스템 (512)의 주어진 초점 구성(Cx)으로 계산될 수 있다. 일 실시예에서, Sx 값은 다음에 따라 계산될 수 있다 :
Figure 112019060089984-pct00006
여기서, I는 복수의 오브젝트의 총 수와 동일한 정수이고, Bix는 i 번째 오브젝트가 Cx 동안 초점이 맞거나 맞춰질 경우 "1"(그렇지 않을 경우 "0")과 같은 부울 값(Boolean value)이고, Wi는 i 번째 오브젝트가 위치하는 뷰(550)의 영역과 관련된 가중치이다. 일부 다른 실시예들에서, 주어진 가중치(Wi)는 대응하는 i 번째 오브젝트가 속하는 오브젝트 유형에 기초하여 추가적으로 또는 대안적으로 결정될 수 있다. 제한이 아닌 예시로서, 이미지 인식 처리가 상기 대응하는 i번째 오브젝트를 사람 얼굴(쪼는 그의 일부)오브젝트 유형의 하나의 인스턴스로 식별한 경우, 가중치(Wi)는 상대적으로 더욱 중요할 수 있다. 개별 오브젝트에 특정 가중치를 할당하는 것은 예를 들어 제조사, 소매업자, 사용자 또는 다른 에이전트에 의해 시전 프로그래밍되거나 또는 미리 결정된 가능한 다양한 오브젝트 유형 선호도 중 임의의 것에 기초할 수 있다. 하나의 예시적인 실시예에서, 하나 이상의 대안적인 오브젝트 유형들과 비교할 때, 상대적으로 더 중요한(예를 들어, 보다 큰 값의) 가중치가 사람 얼굴 객체 유형의 객체들에 할당될 수 있다. 그러나, 이러한 선호도가 결정되는 기술은 구현-특정 세부 사항에 따라 다를 수 있으며, 일부 실시예들에 제한되지 않을 수 있다. 인-포커스 오브젝트 카운트와 대조적으로, Sx 값(또는 Wi 값)은 예를 들어, 임의의 정수가 아닌 수일 수 있다. 방정식(6)은 주어진 x 번째 오브젝트에 대한 Sx를 결정하기 위한 단지 하나의 예시적인 계산이다. 상이한 실시예에 따라, Sx 값을 결정하기 위한 임의의 다양한 다른 계산이 수행될 수 있다.
일부 실시예는 시야(520)에 위치하는 것으로 식별된 I 개 오브젝트들 각각의 2개 이상에 대한 개별 Sx 값을 계산할 수 있다. 렌즈 시스템(512)은 이러한 스코어들의 평가에 기초하여 후속적으로 구성될 수 있다. 예를 들어, 렌즈 시스템(512)의 초점 구성은 가장 큰 Sx 값을 갖는 초점 구성에 기초하여 구현될 수 있다. 일부 시나리오에서, 예를 들어 Sx 값이 다른 계산된 Sx 값보다 큰 경우 둘 이상의 초점 구성은 동일한 Sx 값을 각각 가질 수 있다. 이러한 실시예에서, 이러한 둘 이상의 초점 구성들 중 하나는 둘 이상의 초점 구성들 중 다른 것과 비교할 때, 가장 짧은 초점 거리를 갖는 초점 구성에 기초하여 구현을 위해 선택될 수 있다.
광학 디바이스를 동작시키기 위한 기술 및 아키텍처가 본 명세서에서 기술된다. 본 명세서의 상세한 설명의 일부분은 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 심볼 표현과 관련하여 제시된다. 이들 알고리즘 설명 및 표현은 컴퓨팅 분야의 당업자가 그들의 작업 내용을 당업자에게 가장 효과적으로 전달하기 위해 사용되는 수단이다. 알고리즘은 일반적으로 원하는 결과를 도출하는 단계들의 일관성있는 시퀀스로 생각된다. 단계들은 물리적 양을 물리적으로 조작해야 하는 단계이다. 일반적으로, 반드시 그런 것은 아니지만, 이러한 양은 저장, 전송, 결합, 비교 및 조작이 가능한 전기 또는 자기 신호의 형태를 취한다. 주로 공통 사용을 이유로, 이들 신호를 비트, 값, 엘리먼트, 심볼, 문자, 용어, 숫자 등으로 지칭하는 것이 때때로 편리하다는 것이 입증되었다.
그러나, 이들 및 유사한 용어들 모두는 적절한 물리적 양과 연관되어야 하고 단지 이러한 양에 적용되는 편리한 라벨일 뿐이라는 것을 염두에 두어야 한다. 본 명세서의 논의로부터 자명한 바와 같이 달리 명시하지 않는 한, 설명 전반에 걸처 "처리", "컴퓨팅"또는 "계산" 또는 "결정" 또는 "디스플레이"등과 같은 용어를 사용하는 논의는, 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로 표현된 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 이러한 정보 스코리지, 전송 또는 디스플레이 디바이스내의 물리량으로 유사하게 표현되는 다른 데이터로 조작 및 변환하는 컴퓨터 시스템 또는 유사 전자 컴퓨팅 디바이스의 동작 및 프로세스를 지칭한다.
특정 실시예들은 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것이다. 이 장치는 요구된 목적을 위해 특별하게 구성될 수 있거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은, 이들에 한정되는 것은 아니지만, 임의의 유형의 디스크(예를 들어, 플로피 디스크, 광학 디스크, CD-ROM 및 자기 광학 디스크), 판독 전용 메모리(ROMs), 랜덤 액세스 메모리(RAMs)(예를 들어, 동적 RAM(DRAM), EPROMs, EEPROMs, 자기 또는 광학 카드), 또는 전자 명령을 저장하기에 적합한 임의의 유형의 매체와 같은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 컴퓨터 시스템 버스에 결합된다.
본 명세서에 제시된 알고리즘 및 디스플레이는 본질적으로 임의의 특정 컴퓨터 또는 다른 장치와 관련되어 있지 않다. 다양한 범용 시스템이 본 명세서의 교시에 따른 프로그램과 함께 사용될 수 있거나, 필요한 방법 단계를 수행하기 위해 보다 전문화된 장치를 구성하는 것이 편리할 수도 있다. 다양한 이들 시스템에 필요한 구조는 본 명세서의 설명으로부터 나타날 것이다. 또한, 특정 실시예는 임의의 특정 프로그래밍 언어를 참조하여 기술되지 않는다. 본 명세서에 기재된 바와 같은 실시예의 교시를 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있음을 이해할 것이다.
본 명세서에 기술된 것 이외에, 개시된 실시예들 및 그 구현예들에 그들의 범위를 벗어나지 않으면 서 다양한 수정들이 이루어질 수 있다. 따라서, 본 명세서의 도시 및 예들은 제한적인 의미가 아닌 예시적인 것으로 해석되어야 한다. 본 발명의 범위는 다음의 청구 범위를 참조하여 전적으로 판단되어야한다.

Claims (22)

  1. 디바이스(100)로서,
    디바이스 외부의 환경으로부터 광(105)을 수신하는 렌즈 시스템(110)과;
    제1 오브젝트 및 제2 오브젝트를 포함하는 복수의 오브젝트 각각에 대한 개별 거리를 식별하도록 구성된 거리 평가 회로(150)와;
    상기 렌즈 시스템(110)의 초점을 결정하기 위해 상기 거리 평가 회로(150)에 결합된 선택 회로(160)와, 상기 선택 회로(160)는 실행될 때 상기 디바이스(100)로 하여금 동작들을 수행하게 하는 로직을 포함하고, 상기 동작들은,
    제1 초점 구성 및 제1 조리개로 인해, 상기 제1 오브젝트가 제1 근 피사계 심도(near depth of field)에 있는 동안, 초점이 맞을(to be in focus) 상기 복수의 오브젝트 중 임의의 오브젝트의 제1 카운트를 결정하는 단계와;
    제2 초점 구성 및 상기 제1 조리개로 인해, 상기 제2 오브젝트가 제2 근 피사계 심도에 있는 동안, 초점이 맞을 상기 복수의 오브젝트 중 임의의 오브젝트의 제2 카운트를 결정하는 단계와;
    상기 제1 카운트에 기초한 제1 스코어와 상기 제2 카운트에 기초한 제2 스코어를 비교하는 단계와, 상기 제1 스코어는 오브젝트의 오브젝트 유형에 기초하여 오브젝트에 할당된 가중치에 근거하여 계산되고; 그리고
    상기 비교에 기초하여, 상기 제1 초점 구성 또는 상기 제2 초점 구성 사이의 선호도를 나타내는 신호(162)를 제공하는 단계를 포함하고;
    상기 신호(162)에 기초하여 상기 렌즈 시스템(110)을 조정하도록 결합된 초점 제어기(170)와; 그리고
    상기 렌즈 시스템(110)으로 수신된 이미지를 캡처하도록 광학적으로 결합된 이미지 센서(310)를 포함하는 것을 특징으로 하는 디바이스.
  2. 제1항에 있어서,
    상기 선택 회로(160)는,
    근 피사계 심도에서 상기 복수의 오브젝트들 중 하나를 배치하는 것 이외의 초점 구성에 대응하는 초점이 맞는(in-focus) 오브젝트 가운트의 임의의 결정과 독립적으로 상기 신호(162)를 생성하는 것을 특징으로 하는 디바이스.
  3. 제1항에 있어서,
    상기 선택 회로(160)는,
    또한 상기 렌즈 시스템(110)과 작동하기 위해 제1 조리개 이외의 각각의 조리개에 대응하는 상기 렌즈 시스템(110)의 상기 초점의 결정을 반복하는 것을 특징으로 하는 디바이스.
  4. 제1항에 있어서,
    상기 복수의 오브젝트 중, 상기 제1 오브젝트이외의 오브젝트는 렌즈 어레이에 가장 가까운 오브젝트인 것을 특징으로 하는 디바이스.
  5. 제1항에 있어서,
    상기 동작들은,
    시야(320) 내의 상기 오브젝트의 위치에 기초하여 상기 복수의 오브젝트들의 각각의 오브젝트에 할당된 가중치에 근거하여 상기 제1 스코어를 계산하는 단계를 더 포함하는 것을 특징으로 하는 디바이스.
  6. 제5항에 있어서,
    상기 시야(320) 내의 상기 오브젝트의 위치는 상기 시야의 기준점 또는 기준선을 기준으로 하는 것을 특징으로 하는 디바이스.
  7. 제6항에 있어서,
    상기 기준점은 상기 시야(320)의 중심인 것을 특징으로 하는 디바이스.
  8. 제5항에 있어서,
    상기 시야(320) 내의 상기 오브젝트의 위치는 상기 복수의 오브젝트의 다른 오브젝트를 기준으로 하는 것을 특징으로 하는 디바이스.
  9. 제5항에 있어서,
    상기 제1 스코어는 임의의 정수가 아닌 수를 포함하는 것을 특징으로 하는 디바이스.
  10. 삭제
  11. 제1항에 있어서,
    상기 오브젝트 유형은 사람 얼굴 오브젝트 유형을 포함하는 것을 특징으로 하는 디바이스.
  12. 하나 이상의 처리 유닛에 의해 실행될 때, 상기 하나 이상의 처리 유닛으로 하여금 방법을 수행하게 하는 명령들을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    렌즈 시스템(110)의 시야(320)에서 제1 오브젝트 및 제2 오브젝트를 포함하는 복수의 오브젝트 각각에 대한 개별 거리를 식별하는 단계와;
    상기 렌즈 시스템(110)의 초점을 결정하는 단계로서:
    제1 초점 구성 및 제1 조리개로 인해, 상기 제1 오브젝트가 제1 근 피사계 심도에 있는 동안, 초점이 맞을 상기 복수의 오브젝트 중 임의의 오브젝트의 제1 카운트를 결정하는 단계;
    제2 초점 구성 및 상기 제1 조리개로 인해, 상기 제2 오브젝트가 제2 근 피사계 심도에 있는 동안, 초점이 맞을 상기 복수의 오브젝트 중 임의의 오브젝트의 제2 카운트를 결정하는 단계;
    상기 제1 카운트에 기초한 제1 스코어와 상기 제2 카운트에 기초한 제2 스코어를 비교하는 단계, 상기 제1 스코어는 오브젝트의 오브젝트 유형에 기초하여 오브젝트에 할당된 가중치에 근거하여 계산되고; 및
    상기 비교에 기초하여, 상기 제1 초점 구성 또는 상기 제2 초점 구성 사이의 선호도를 나타내는 신호(162)를 제공하는 단계를 포함하고;
    상기 신호(162)에 기초하여 상기 렌즈 시스템(110)을 조정하는 단계와; 그리고
    상기 렌즈 시스템(110)으로 수신된 이미지를 캡처하는 단계를 포함하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  13. 제12항에 있어서,
    상기 신호(162)는,
    근 피사계 심도에서 상기 복수의 오브젝트들 중 하나를 배치하는 것 이외의 초점 구성에 대응하는 초점이 맞는 오브젝트 가운트의 임의의 결정과 독립적으로 생성되는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  14. 제12항에 있어서,
    상기 방법은,
    상기 렌즈 시스템과 작동하기 위해 제1 조리개 이외의 각각의 조리개에 대응하는 상기 렌즈 시스템(110)의 상기 초점의 결정을 반복하는 단계를 더 포함하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  15. 제12항에 있어서,
    상기 복수의 오브젝트 중, 상기 제1 오브젝트이외의 오브젝트는 렌즈 어레이에 가장 가까운 오브젝트인 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  16. 제12항에 있어서,
    상기 방법은,
    시야(320) 내의 상기 오브젝트의 위치에 기초하여 상기 복수의 오브젝트들의 각각의 오브젝트에 할당된 가중치에 근거하여 상기 제1 스코어를 계산하는 단계를 더 포함하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  17. 제16항에 있어서,
    상기 시야(320) 내의 상기 오브젝트의 위치는 시야의 기준점 또는 기준선을 기준으로 하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  18. 제16항에 있어서,
    상기 시야(320) 내의 상기 오브젝트의 위치는 상기 복수의 오브젝트의 다른 오브젝트를 기준으로 하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.
  19. 방법으로서,
    렌즈 시스템(110)의 시야(320)에서 제1 오브젝트 및 제2 오브젝트를 포함하는 복수의 오브젝트 각각에 대한 각각의 거리를 식별하는 단계와;
    상기 렌즈 시스템(110)의 초점을 결정하는 단계로서:
    제1 초점 구성 및 제1 조리개로 인해, 상기 제1 오브젝트가 제1 근 피사계 심도에 있는 동안, 초점이 맞을 상기 복수의 오브젝트 중 임의의 오브젝트의 제1 카운트를 결정하는 단계;
    제2 초점 구성 및 상기 제1 조리개로 인해, 상기 제2 오브젝트가 제2 근 피사계 심도에 있는 동안, 초점이 맞을 상기 복수의 오브젝트 중 임의의 오브젝트의 제2 카운트를 결정하는 단계;
    상기 제1 카운트에 기초한 제1 스코어와 상기 제2 카운트에 기초한 제2 스코어를 비교하는 단계, 상기 제1 스코어는 오브젝트의 오브젝트 유형에 기초하여 오브젝트에 할당된 가중치에 근거하여 계산되고; 및
    상기 비교에 기초하여, 상기 제1 초점 구성 또는 상기 제2 초점 구성 사이의 선호도를 나타내는 신호(162)를 제공하는 단계를 포함하고;
    상기 신호(162)에 기초하여 상기 렌즈 시스템(110)을 조정하는 단계와; 그리고
    상기 렌즈 시스템(110)으로 수신된 이미지를 캡처하는 단계를 포함하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 신호(162)는,
    근 피사계 심도에서 상기 복수의 오브젝트들 중 하나를 배치하는 것 이외의 초점 구성에 대응하는 초점이 맞는 오브젝트 가운트의 임의의 결정과 독립적으로 생성되는 것을 특징으로 하는 방법.
  21. 제19항에 있어서,
    상기 복수의 오브젝트 중, 상기 제1 오브젝트이외의 오브젝트는 렌즈 어레이에 가장 가까운 오브젝트인 것을 특징으로 하는 방법.
  22. 제19항에 있어서,
    시야(320) 내의 상기 오브젝트의 위치에 기초하여 상기 복수의 오브젝트들의 각각의 오브젝트에 할당된 가중치에 근거하여 상기 제1 스코어를 계산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020197016909A 2016-11-15 2017-07-20 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법 KR102138845B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/352,503 US10027879B2 (en) 2016-11-15 2016-11-15 Device, system and method to provide an auto-focus capability based on object distance information
US15/352,503 2016-11-15
PCT/US2017/043017 WO2018093423A1 (en) 2016-11-15 2017-07-20 Device, system and method to provide an auto-focus capability based on object distance information

Publications (2)

Publication Number Publication Date
KR20190085964A KR20190085964A (ko) 2019-07-19
KR102138845B1 true KR102138845B1 (ko) 2020-07-28

Family

ID=59700161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016909A KR102138845B1 (ko) 2016-11-15 2017-07-20 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법

Country Status (8)

Country Link
US (1) US10027879B2 (ko)
JP (1) JP6960455B2 (ko)
KR (1) KR102138845B1 (ko)
CN (1) CN108076268B (ko)
BR (1) BR112019009917B1 (ko)
DE (2) DE102017121395A1 (ko)
GB (1) GB2555942B (ko)
WO (1) WO2018093423A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663803B (zh) * 2017-03-30 2021-03-26 腾讯科技（深圳）有限公司 虚拟现实眼镜、镜筒调节方法及装置
CN112291469A (zh) * 2018-07-23 2021-01-29 深圳市真迈生物科技有限公司 成像方法、装置及系统
CN112333378A (zh) * 2018-07-23 2021-02-05 深圳市真迈生物科技有限公司 成像方法、装置及系统
WO2020041734A1 (en) * 2018-08-24 2020-02-27 Bossa Nova Robotics Ip, Inc. Shelf-viewing camera with multiple focus depths
US10554918B1 (en) * 2018-12-06 2020-02-04 Alibaba Group Holding Limited High definition, large capture volume, camera array system
CN110225244B (zh) * 2019-05-15 2021-02-09 华为技术有限公司 一种图像拍摄方法与电子设备
CN112073601B (zh) * 2019-06-11 2022-02-01 杭州海康微影传感科技有限公司 一种聚焦方法、装置、成像设备及计算机可读存储介质
EP4014066A4 (en) 2019-12-11 2023-01-25 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD
US20210326064A1 (en) * 2020-04-15 2021-10-21 Micron Technology, Inc. Media type selection based on object distance
CN111521119B (zh) * 2020-04-24 2021-07-23 北京科技大学 一种铸坯厚度自适应在线图像采集方法
CN114079726B (zh) * 2020-08-13 2023-05-02 华为技术有限公司 一种拍摄方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153112A1 (en) * 2005-12-06 2007-07-05 Matsushita Electric Industrial Co., Ltd. Digital camera
US20110002680A1 (en) * 2009-07-02 2011-01-06 Texas Instruments Incorporated Method and apparatus for focusing an image of an imaging device
US20140362275A1 (en) * 2013-06-10 2014-12-11 Apple Inc. Autofocus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3437145C2 (de) 1984-10-10 1996-03-28 Ricoh Kk Automatische Scharfeinstellvorrichtung für photographische Kameras
GB2196134B (en) 1986-09-30 1990-12-19 Canon Kk Camera having auto focus apparatus
JPH02254432A (ja) 1989-03-29 1990-10-15 Canon Inc オートフオーカスカメラ
DE4104113C2 (de) 1990-02-14 1996-05-23 Asahi Optical Co Ltd Kamera mit motorbetriebenem Zoomobjektiv
US5532782A (en) 1994-02-17 1996-07-02 Nikon Corporation Camera having a depth priority operation mode
JPH085915A (ja) 1994-06-15 1996-01-12 Minolta Co Ltd 固定焦点式ズームレンズ
US7099575B2 (en) * 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP4794963B2 (ja) * 2005-06-28 2011-10-19 キヤノン株式会社 撮像装置および撮像プログラム
US7646977B2 (en) * 2007-01-17 2010-01-12 Gateway, Inc. Depth of field bracketing
US20090015681A1 (en) 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
KR20110104748A (ko) * 2010-03-17 2011-09-23 삼성테크윈 주식회사 디지털 촬영장치 및 그 제어방법
JP5899629B2 (ja) * 2011-03-01 2016-04-06 株式会社ニコン 撮像装置
US8655162B2 (en) 2012-03-30 2014-02-18 Hewlett-Packard Development Company, L.P. Lens position based on focus scores of objects
US9065993B1 (en) 2012-07-31 2015-06-23 Google Inc. Fixed focus camera with lateral sharpness transfer
JP2014235224A (ja) 2013-05-31 2014-12-15 株式会社ニコン 撮像装置および制御プログラム
JP6018029B2 (ja) * 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
TWI522720B (zh) 2013-10-29 2016-02-21 Nat Univ Chung Cheng Adjust the focus method
TWI518305B (zh) * 2014-04-21 2016-01-21 齊發光電股份有限公司 影像擷取方法
CN105827928A (zh) * 2015-01-05 2016-08-03 中兴通讯股份有限公司 一种选择对焦区域的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070153112A1 (en) * 2005-12-06 2007-07-05 Matsushita Electric Industrial Co., Ltd. Digital camera
US20110002680A1 (en) * 2009-07-02 2011-01-06 Texas Instruments Incorporated Method and apparatus for focusing an image of an imaging device
US20140362275A1 (en) * 2013-06-10 2014-12-11 Apple Inc. Autofocus

Also Published As

Publication number Publication date
BR112019009917B1 (pt) 2021-08-31
GB201715163D0 (en) 2017-11-01
BR112019009917A2 (pt) 2020-01-14
CN108076268B (zh) 2020-04-10
US10027879B2 (en) 2018-07-17
DE202017105587U1 (de) 2018-03-19
WO2018093423A1 (en) 2018-05-24
CN108076268A (zh) 2018-05-25
GB2555942A (en) 2018-05-16
US20180139376A1 (en) 2018-05-17
JP2020502559A (ja) 2020-01-23
GB2555942B (en) 2020-01-15
KR20190085964A (ko) 2019-07-19
DE102017121395A1 (de) 2018-05-17
JP6960455B2 (ja) 2021-11-05

Similar Documents

Publication Publication Date Title
KR102138845B1 (ko) 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법
JP6887960B2 (ja) 自動焦点トリガのためのシステムおよび方法
CN105659580B (zh) 一种自动对焦方法、装置及电子设备
JP4917509B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
US20170017136A1 (en) Image capturing device and auto-focus method thereof
US9131145B2 (en) Image pickup apparatus and control method therefor
US8698945B2 (en) Autofocus apparatus and method
KR20080027443A (ko) 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램
JP2020502559A5 (ko)
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
US20120019709A1 (en) Assisting focusing method using multiple face blocks
CN108632604B (zh) 镜头光心的检测方法及装置
US9906724B2 (en) Method and device for setting a focus of a camera
US8655162B2 (en) Lens position based on focus scores of objects
JP2003262783A (ja) オートフォーカス装置および撮像装置
WO2018110282A1 (ja) 焦点調節装置、焦点調節方法、およびプログラムを記憶した記憶媒体
US10425574B2 (en) Imaging device and focusing evaluation device
KR101026327B1 (ko) 다중 경통을 이용한 빠른 자동 초점 장치 및 초점 조절 방법
JP4997306B2 (ja) 被写体人物の顔の向き判定方法
CN116418971A (zh) 传感器的平整度检测方法、装置、计算机设备及存储介质
JP2014106361A (ja) 撮像装置、撮像システム、および、撮像装置の制御方法
JP2010244063A (ja) ピント合わせ装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant