KR102240659B1 - 시야의 가리움에 기초한 카메라 선택 - Google Patents

시야의 가리움에 기초한 카메라 선택 Download PDF

Info

Publication number
KR102240659B1
KR102240659B1 KR1020167017893A KR20167017893A KR102240659B1 KR 102240659 B1 KR102240659 B1 KR 102240659B1 KR 1020167017893 A KR1020167017893 A KR 1020167017893A KR 20167017893 A KR20167017893 A KR 20167017893A KR 102240659 B1 KR102240659 B1 KR 102240659B1
Authority
KR
South Korea
Prior art keywords
image
image data
capturing systems
capturing
systems
Prior art date
Application number
KR1020167017893A
Other languages
English (en)
Other versions
KR20160095060A (ko
Inventor
라이언 게이스
로만 르코우
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20160095060A publication Critical patent/KR20160095060A/ko
Application granted granted Critical
Publication of KR102240659B1 publication Critical patent/KR102240659B1/ko

Links

Images

Classifications

    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06K9/00375—
    • G06K9/209—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/23212—
    • H04N5/23216—
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)

Abstract

예시적 방법은 (a) 복수의 이미지-캡처 시스템들 각각에 의해 생성되는 이미지 데이터를 수신하는 단계, 상기 복수의 이미지-캡처 시스템들은 모두 해당 디바이스에 배치되어 있고, 실질적으로 동일한 방향으로 배향되어 있으며; (b) 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 하나 이상에 의해 생성된 이미지 데이터를 분석하는 단계; 및 (c) 상기 선택된 이미지 데이터를 저장하는 단계를 포함한다.

Description

시야의 가리움에 기초한 카메라 선택{CAMERA SELECTION BASED ON OCCLUSION OF FIELD OF VIEW}
일반적으로, 이미징은 실세계 환경의 색상 및 밝기 특징들을 디지털 포맷 및/또는 필름 포맷(예를 들면, 사진들 및/또는 모션 비디오로)으로 캡처하고 표현하는 것을 지칭한다. 매우 다양한 이미지 캡처 디바이스들이 존재하며, 소비자들에게 이미지 데이터를 캡처링하기 위한 수 많은 방식들을 제공한다.
카메라들과 같은 이미지 캡처 디바이스들이 더 대중화됨에 따라, 상기 디바이스들은 단독형 하드웨어 디바이스들로서 이용되거나 또는 다양한 다른 타입들의 디바이스들로 통합된다. 예를 들면, 스틸 및 비디오 카메라들은 이제 일반적으로 무선 통신 디바이스들(예를 들면, 모바일 폰들), 타블렛 컴퓨터들, 랩톱 컴퓨터들, 비디오 게임 인터페이스들, 가정 자동화 디바이스들 및 심지어 자동차들 및 다른 타입들의 차량들에 포함된다.
예시적 실시예들은 모바일 폰과 같은 디바이스의 형태를 취하거나, 그에 의해 구현되거나, 또는 이와 달리 그와 관련되며, 상기 디바이스는 동일한 방향을 향하고 일정 거리를 두고 분리된 2개 이상의 카메라 시스템들을 포함한다. 예시적 실시예에서, 디바이스는 다수의 카메라들로부터 장면(scene)의 이미지 데이터를 얻고, 그리고 카메라의 렌즈의 가리움이 언제 발생했는지 검출하기 위해 상기 장면의 서로 다른 이미지들을 평가한다. 그렇게 함으로써, 디바이스는 사용자가 카메라의 렌즈를 부주의하게 덮거나 또는 이와 달리 장면의 렌즈의 시야를 그들의 손가락으로 막아서, 그에 따라 그들이 캡처하려고 의도했던 장면이 부분적으로 또는 전체적으로 가려진 이미지들을 캡처하고, 사용하고 및/또는 저장하는 것을 방지한다. 더 일반적으로, 예시적 방법이 사용자의 손가락이 아닌 오브젝트들에 의해 의도된 대상의 가리움을 피하기 위해 구현된다. 예를 들면, 예시적 실시예들은 카메라의 렌즈 상의 먼지 또는 지문과 같은 디바이스의 카메라들 중 하나의 렌즈에 상의 또는 그와 가까운 대상들에 의한 가리움을 지능적으로 피하게 한다. 또한 예시적 실시예들은 렌즈와 의도된 대상 간의 시선을 막는 다른 타입들의 의도되지 않은 엘리먼트들에 의한 가리움을 피하도록 구현된다.
일 양태에서, 예시적 방법은 컴퓨팅 시스템: (a) 복수의 이미지-캡처 시스템들 각각에 의해 생성되는 이미지 데이터를 수신하는 단계, 상기 복수의 이미지-캡처 시스템들은 모두 해당 디바이스에 배치되어 있고, 실질적으로 동일한 방향으로 배향되어 있으며; (b) 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 하나 이상에 의해 생성된 이미지 데이터를 분석하는 단계; 및 (c) 상기 선택된 이미지 데이터를 저장하는 단계와 관련된다.
다른 양태에서, 장치는 복수의 이미지-캡처 시스템들을 포함하며, 상기 이미지-캡처 시스템들의 렌즈들은 상기 장치의 제1 표면에 모두 배치되어 있고 실질적으로 동일한 방향으로 배향된다. 상기 장치는 제어 시스템을 포함하며, 상기 제어 시스템은: 상기 복수의 이미지-캡처 시스템들 중 2개 이상의 시스템들 각각에 의해 생성된 이미지 데이터를 수신하고; 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 하나 이상에 의해 생성된 상기 이미지 데이터를 분석하고; 그리고 상기 선택된 이미지 데이터를 저장하도록 구성된다.
추가적 양태에서, 명령들이 저장된 비-일시적 컴퓨터 판독가능 매체에 있어서, 상기 명령들은 컴퓨팅 디바이스에 의해 실행가능하며, 상기 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하며, 상기 동작들은: 복수의 이미지-캡처 시스템들 각각에 의해 생성되는 이미지 데이터를 수신하는 동작, 상기 복수의 이미지-캡처 시스템들은 모두 해당 디바이스에 배치되어 있고, 실질적으로 동일한 방향으로 배향되어 있으며; 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 하나 이상에 의해 생성된 이미지 데이터를 분석하는 동작; 및 상기 선택된 이미지 데이터를 저장하는 동작을 포함한다.
추가적 양태에서, 시스템은 복수의 이미지-캡처 시스템들 각각에 의해 생성되는 이미지 데이터를 수신하기 위한 수단들, 상기 복수의 이미지-캡처 시스템들은 모두 해당 디바이스에 배치되어 있고, 실질적으로 동일한 방향으로 배향되어 있으며; 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 하나 이상에 의해 생성된 이미지 데이터를 분석하기 위한 수단; 및 상기 선택된 이미지 데이터를 저장하기 위한 수단을 포함한다.
이들 뿐만 아니라 다른 양태들, 이점들 및 대안들은 첨부 도면들에 적절한 참조들과 함께 다음 상세한 설명을 읽음으로써 통상의 기술자에게 분명해질 것이다. 추가로, 본 발명의 요약에서 제공된 기술 및 본 명세서의 다른 부분은 청구된 본원 발명을 제한이 아닌 예시로서 도시하도록 의도되었다는 것이 이해되어야 한다.
도 1a는 예시적 실시예에 따라, 디지털 카메라 디바이스의 정면도, 우측면도, 배면도들을 도시한다.
도 1b는 예시적 실시예에 따라, 동일한 방향으로 배향된 4개의 카메라들의 배치를 가지는 디지털 카메라 디바이스를 도시한다.
도 1c는 예시적 실시예에 따라, 동일한 방향으로 배향된 4개의 카메라들의 배치를 가지는 다른 디지털 카메라 디바이스를 도시한다.
도 1d는 예시적 실시예에 따라, 동일한 방향으로 배향된 6 개의 카메라들의 배치를 가지는 디지털 카메라 디바이스를 도시한다.
도 1e는 예시적 실시예에 따라, 멀티-카메라 배치를 가지는 다른 디지털 카메라 디바이스를 도시한다.
도 2는 카메라 컴포넌트들을 포함하는 예시적 컴퓨팅 디바이스의 컴포넌트들의 일부를 도시하는 단순화된 블록 다이어그램이다.
도 3은 예시적 실시예에 따라, 방법을 도시하는 흐름도이다.
도 4는 예시적 실시예에 따라, 다른 방법을 도시하는 흐름도이다.
방법들 및 시스템들의 예시들이 본 명세서에 기술된다. 단어들 "대표적인", "예시적" 및 "도시적"은 본 명세서에서 "예, 예시, 또는 도시로서 제공되는 것"을 의미하도록 사용된다는 것이 이해되어야 한다. "대표적", "예시적" 또는 "도시적"으로 본 명세서에 기술된 임의의 실시예들 또는 구성은 반드시 다른 실시예들 또는 구성들에 비해 바람직하거나 이점이 있는 것으로 여겨져서는 아니된다. 추가로, 본 명세서에 기술된 대표적 실시예들은 제한되는 것을 의미하지 않는다. 개시된 시스템들 및 방법들의 특정 양태들은 매우 다양한 서로 다른 구성들로 배치되거나 조합될 수 있다는 것이 쉽게 이해될 것이며, 모든 것은 본 명세서에서 고려된다.
Ⅰ. 개요
스마트폰들 및 타블렛 컴퓨터들과 같은 다수의 목적들을 제공하는 많은 컴퓨팅 디바이스들은 이제 카메라들을 포함한다. 카메라가 스마트폰과 같이 오로지 이미징 전용이 아닌 디바이스에 포함된 때, 카메라로서의 사용을 위한 디바이스의 인체 공학은 덜 바람직하다.
예를 들면, 전용 포인트-앤드-슛 카메라(point-and-shoot camera) 및 DSLR 카메라들의 몸체들은 보통 착용자가 스틸 이미지들 및/또는 비디오를 캡처하기 위해 편한 포지션으로 카메라를 쉽게 잡을 수 있도록 모양이 만들어진다. 게다가, 상기 카메라들의 몸체들은 일반적으로 사용자가 편한 방식으로 카메라를 잡았을 때 사용자의 손이 자연스럽게 카메라의 렌즈의 시야 밖에 있도록 모양이 만들어진다. 반대로, 많은 스마트폰들과 같이 얇고 편평한 일부 디바이스들은 전용 이미징 디바이스들의 디자인과 동일한 인체 공학적 이익들을 제공하지 않는다. 추가로, 일반적 스마트폰은 카메라로서의 사용을 위해 적절한 위치에서 잡는 것이 어렵기 때문에 사용자들은 그들의 손가락들로 카메라 렌즈를 부주의하게 가로 막고 및/또는 사진 또는 비디오를 찍으려고 할 때 디바이스를 떨어뜨린다.
예시적 방법이 동일한 방향으로 배향되고 일정 거리에 의해 분리된 2개 이상의 카메라 시스템들을 포함하는 디바이스에 의해 구현된다. 사용자가 사진을 찍을 때(예를 들면, 셔터 버튼을 누름으로써), 제어 시스템은 이미지의 의도된 대상이 부분적으로 또는 전체적으로 가려졌는지 여부를 결정하기 위해 디바이스들의 카메라 시스템들 각각에 의해 캡처되는 사용자의 환경의 시각(perspective)을 평가한다. 그 후, 디바이스는 가려지지 않은 의도된 대상의 뷰를 가지는 카메라(또는 가능한 다수의 카메라들)로 이미지를 캡처한다.
대안적으로, 디바이스는 다수의 카메라들로 장면의 이미지를 캡처하고 그 후 실질적으로 가리움으로부터 자유로운(또는 적어도 다른 이미지(들)에 비해 가리움을 덜 가지는) 이미지(또는 가능한 다수의 이미지들)만을 저장한다. 상기 경우에서, 가리움이 검출된 임의의 이미지는 폐기된다.
디바이스는 가리움을 검출하기 위해 다양한 기법들을 사용하며, 그렇게 할 때, 다양한 타입들의 가리움 표시자들(occlusion indicators)을 사용한다. 예를 들면, 디바이스는 서로 다른 카메라들에 의해 캡처된 장면의 이미지들의 선명도를 비교한다. 더 구체적으로, 이미지가 손가락 또는 렌즈 상의 먼지와 같은 근거리 가리개(occluder)를 캡처하였을 때, 근거리 가리개는 일반적으로 포커스(focus)가 맞지 않을 것이다. 이와 같이, 장면의 가려지지 않은 이미지는 일반적으로 근거리 가리개에 의해 흐릿하게 보이게 된 장면의 이미지보다 전반적으로 더 선명할 것이다. 그러므로, 만약 디바이스가 동일한 장면의 서로 다른 카메라의 이미지들 간에 선명도에서 상당한 차이점이 있다고 검출하면, 디바이스는 가장 선명한 이미지 또는 이미지들을 저장하거나 또는 이와 달리 사용한다.
본 명세서에서, "카메라 시스템" 또는 "이미지 캡처 시스템"은 이미지-캡처 디바이스 또는 카메라, 카메라 내의 시스템, 카메라와 통신적으로 연결된 분리된 시스템, 또는 카메라 및 하나 이상의 다른 시스템들의 조합을 지칭한다는 것을 유념해야 한다. 추가로, 단순화를 위해서, 본 명세서에 기술된 예시들은 특정 기능들 및/또는 특징들은 "카메라" 또는 "카메라 디바이스"에 있다고 생각한다. 많은 경우들에서, 카메라 또는 카메라 디바이스에 있다고 생각되는 기능들 및/또는 특징들은 명시적으로 언급되지 않은 경우에도 유사하게 카메라 시스템에 있다고 생각된다는 것을 이해해야 한다.
Ⅱ. 도시적 시스템
이미지 캡처 디바이스의 물리적 컴포넌트들은 그것을 통해 빛이 들어오는 조리개(aperture), 빛에 의해 표현된 이미지를 캡처하기 위한 기록 표면(recording surface) 및 기록 표면 상에 이미지의 적어도 일부의 포커스를 맞추기 위해 조리개의 앞에 위치된 렌즈를 포함한다. 조리개는 고정된 크기이거나 조절 가능하다. 아날로그 카메라에서, 기록 표면은 사진 필름이다. 디지털 카메라에서, 기록 표면은 캡처된 이미지를 데이터 저장 유닛(예를 들면, 메모리)에 전송하고 및/또는 저장하기 위한 전자적 이미지 센서(예를 들면, CCD(charge coupled device) 또는 CMOS(complementary metal-oxide-semiconductor) 센서)를 포함한다.
셔터는 렌즈 또는 기록 표현에 연결되거나 그와 가까이에 있다. 셔터는 빛이 기록 표현에 도달하는 것을 가로 막는 닫힌 포지션 또는 빛이 기록 표면에 도달하게 하는 열린 포지션에 있다. 셔터의 포지션은 셔터 버튼을 통해 제어된다. 예를 들면, 셔터는 디폴트로 닫힌 포지션에 있다. 셔터 버튼이 트리거(trigger)되면(예를 들면, 누름), 셔터는 닫힌 포지션으로부터 열린 포지션으로 시간의 기간 동안 변화하며, 이는 셔터 사이클로 알려져 있다. 셔터 사이클 동안에, 이미지는 기록 표현 상에 캡처된다. 셔터 사이클의 종료시에, 셔터는 닫힌 포지션으로 다시 변화한다.
대안적으로, 셔터링 프로세스는 전자적이다. 예를 들면, CCD 이미지 센서의 전자적 셔터가 "열리기" 전에, 센서는 그것의 포토다이오드들에서 임의의 상주적 신호를 제거하기 위해 리셋한다. 전자적 셔터가 열려 있는 동안에, 포토다이오드들은 전하를 축적한다. 셔터가 닫힌 때나 닫힌 후에, 이들 전하들은 장기적 데이터 스토리지로 전송된다. 또한 기계적 및 전자적 셔터링의 조합들도 가능하다.
타입과 관계없이, 셔터는 셔터 버튼이 아닌 무언가에 의해 활성화되고 및/또는 제어된다. 예를 들면, 셔터는 소프트키, 타이머 또는 일부 다른 트리거에 의해 활성화된다. 본 명세서에서, 용어 "이미지 캡처"는 셔터링 프로세스가 어떻게 트리거되거나 제어되는지와 관계없이 하나 이상의 사진들이 기록되게 하는 임의의 기계적 및/또는 전자적 셔터링 프로세스를 지칭한다.
A. 다수의 이미지-캡처 시스템들을 구비한 디바이스들
앞서 언급한 바와 같이, 디지털 카메라들은 단독 디바이스들이거나 다른 디바이스들과 통합된다. 예시로서, 도 1a는 디지털 카메라 디바이스(100)의 폼 팩터를 도시한다. 디지털 카메라 디바이스(100)는 예를 들면, 모바일 폰, 타블렛 컴퓨터 또는 웨어러블 컴퓨팅 디바이스이다. 그러나, 다른 실시예들도 가능하다. 디지털 카메라 디바이스(100)는 몸체(102), 정면 카메라(front-facing camera)(104), 멀티-엘리먼트 디스플레이(106), 셔터 버튼(108) 및 기타 버튼들(110)과 같은 다양한 엘리먼트들을 포함한다. 정면 카메라(104)는 몸체(102)의 사이드에 위치되어 일반적으로 동작 중에 사용자를 바라보거나, 또는 멀티-엘리먼트 디스플레이(106)와 동일한 사이드에 위치된다.
디지털 카메라 디바이스(100)는 후면 카메라들(112a 및 112b)을 더 포함한다. 후면 카메라들(112a 및 112b)은 정면 카메라(114) 반대편의 몸체(102)의 사이드에 위치된다. 정면 및 후면으로 카메라들을 지칭하는 것은 임의적인 것이며, 디지털 카메라 디바이스(100)는 몸체(102)의 다양한 사이드에 위치된 다수의 카메라들을 포함한다는 것을 유념해야 한다. 추가로, 후면 카메라들(112a 및 112b)의 렌즈들은 디지털 카메라 디바이스(100)의 후면의 상단 코너에 배치되며, 실질적으로 동일한 방향으로 배향된다. (본 명세서에서, 동일한 방향을 배향된 카메라들에 대한 참조는 카메라들의 렌즈들이 실질적으로 동일한 방향으로 포인팅함을 의미하는 것으로 이해되어야 한다.)
다른 멀티-카메라 배치들도 가능하다는 것을 이해해야 한다. 특히, 실질적으로 동일한 방향으로 모두 배향된 2개 이상의 카메라들의 렌즈들은 폰의 표면상의 서로 다른 포매이션들로 배치된다. 예를 들면, 여러 개의 다른 멀티-카메라 배치들이 도 1b 내지 1e와 관련하여 본 명세서에서 기술된다.
특히, 도 1b는 동일한 방향으로 배향된 4개의 카메라들(122a 내지 122d)의 배치를 가지는 모바일 디바이스(120)를 도시하며, 2개의 카메라들(122a 및 122b)을 (도 1a와 유사하게) 모바일 디바이스의 상단 코너에, 그리고 모바일 디바이스(120)의 하단 코너들에 위치된 2개의 추가적 카메라들(122c 및 122d)를 포함한다. 추가로, 도 1c는 동일한 방향으로 배향된 4개의 카메라들을 가지는 다른 배치를 도시한다. 특히, 도 1c에서의 배치는 디바이스(140)의 각 코너에서 1개의 카메라(144a 내지 144d)를 포함한다.
추가로, 도 1d는 동일한 방향을 바라보는 6개의 카메라들(166a 내지 166f)을 가지는 배치를 도시한다. 도 1d에서, 6개의 카메라들(166a 내지 166d)은 덜 구조화된 "유기적인" 배치로 모바일 디바이스(160)의 뒷면에 위치된다. 3개 이상의 카메라들을 가지는 배치는 카메라들의 서로 다른 쌍들 간에 다수의 베이스라인들(baselines)을 제공한다. 예를 들면, 도 1d에 도시된 것과 같은 6개의 카메라 배치는 예를 들면, 입체적인 이미징을 위해 최대 15개의 서로 다른 베이스라인들을 제공한다. 더 일반적으로, 실질적으로 동일한 방향으로 배향된 n개 카메라들의 배치는 최대 C(n, k)개의 베이스라인들을 제공한다.
다른 변형에서, 도 1e는 동일한 방향을 바라보는 9개의 카메라들(182a 내지 182i)을 가지는 배치를 도시한다. 도 1e에서, 9개의 카메라들(182a 내지 182f)은 2개의 축들(184x 및 184y)을 따라 모바일 디바이스(180)의 후면에 위치된다. 따라서, 카메라들의 서로 다른 쌍들은 2개의 축들(184x 및 184y)를 따라 다수의 서로 다른 베이스라인들 뿐만 아니라 다수의 서로 다른 비축 베이스라인들(off-axis baselines)을 제공하기 위해 카메라(182a 내지 182f)로부터 선택된다.
다른 멀티-카메라 배치들은 도 1a 내지 1e에서 도시된 것보다 많거나 적은 카메라들을 포함한다는 것이 고려된다. 추가로, 멀티-카메라 배치에서 렌즈들은 렌즈들이 배치되는 표현과 관련하여 서로 다른 각도에서 배향된다. 추가로, 멀티-카메라 배치들은 디지털 카메라 디바이스의 다른 사이드들에서 구현될 수 있다는 것이 이해되어야 한다. 또한, 도면에서 도시된 멀티-카메라 배치들의 다른 변형들도 가능하다.
멀티-엘리먼트 디스플레이(106)는 CRT(cathode ray tube) 디스플레이, LED(light emitting diode) 디스플레이, LCD(liquid crystal) 디스플레이, 플라즈마 디스플레이 또는 본 기술분야에서 알려진 임의의 기타 타입의 디스플레이를 표현한다. 일부 실시예들에서, 멀티-엘리먼트 디스플레이(106)는 정면 카메라(104) 및/또는 후면 카메라들(112a 및 112b) 중 하나 또는 둘 다에 의해 캡처되는 현재 이미지의 디지털 표현 또는 캡처되거나 이들 카메라들 중 하나 또는 임의의 조합에 의해 최근에 캡처된 이미지를 디스플레이한다. 따라서, 멀티-엘리먼트 디스플레이(106)는 각 카메라에 대한 뷰파인더로 역할을 한다. 또한, 멀티-엘리먼트 디스플레이(106)는 디지털 카메라 디바이스(100)의 임의의 양태들의 셋팅들 및/또는 구성을 조절할 수 있는 터치스크린 및/또는 존재-감응 기능들(presence-sensitive functions)을 지원한다.
정면 카메라(104)는 이미지 센서를 포함하고 렌즈들과 같은 광학적 엘리먼트들과 관련된다. 정면 카메라(104)는 줌(zoom) 능력들을 제공하거나 고정된 초점 거리를 가진다. 다른 실시예들에서, 상호 교환가능한 렌즈들이 정면 카메라(104)와 함께 사용된다. 정면 카메라(104)는 변화가능한 기계적 조리개 및 기계적 미/또는 전자적 셔터를 가진다. 또한 정면 카메라(104)는 스틸 이미지들, 비디오 이미지들 또는 둘 다를 캡처하도록 구성된다. 추가로, 정면 카메라(104)는 모노스코픽(monoscopic), 스테레오스코픽(stereoscopic) 또는 멀티스코픽(multiscopic) 카메라를 표현한다. 후면 카메라들(112a 및 112b)는 유사하게 또는 다르게 배치된다. 추가적으로 정면 카메라(104), 각 후면 카메라(112a 및 112b) 또는 이들 카메라들의 임의의 조합은 실제로는 하나 이상의 카메라들의 배열(또는 일반 이미지 센서에 빛을 안내하는 렌즈들의 배열)일 수 있다.
정면 카메라(104) 및 후면 카메라들(112a 및 112c) 중 임의의 하나 또는 임의의 조합은 목표 오브젝트를 비추기 위한 라이트 필드(light field)를 제공하는 조명 컴포넌트를 포함하거나 이와 관련된다. 예를 들면, 조명 컴포넌트는 플래시 또는 목표 오브젝트의 상시 조명을 제공한다. 또한, 조명 컴포넌트는 구조형 광(structured light), 편광(polarized light), 특정 스펙트럼의 컨텐츠를 가지는 광 중 하나 이상의 라이트 필드를 제공하도록 구성된다. 오브젝트로부터 3차원적(3D) 모델들을 회복시키기 위한 알려지고 사용되는 다른 타입들의 라이트 필드들도 본 명세서의 실시예들의 맥락 내에서 가능하다.
정면 카메라(104) 및 후면 카메라들(112a 및 112c) 중 임의의 하나 또는 임의의 조합은 계속적으로 또는 때때로 카메라가 캡처할 수 있는 장면의 주변 밝기를 결정하는 주변 광(ambient light) 센서를 포함하거나 이와 관련된다. 일부 디바이스들에서, 주변 광 센서는 카메라와 관련된 스크린의 디스플레이 밝기를 조절하는데 사용된다(예를 들면, 뷰파인더). 결정된 주변 밝기가 밝은 경우, 스크린의 밝기 레벨은 스크린을 보기 쉽게 하기 위해 증가된다. 결정된 주변 밝기가 어두운 경우, 스크린의 밝기 레벨은 또한 스크린을 보기 쉽게 하기 위해, 뿐만 아니라 잠재적으로 전원을 절약하기 위해 감소된다. 추가적으로 주변 광 센서의 입력은 관련된 카메라의 노출 셋팅을 결정하거나 이 결정을 지원하기 위해 사용된다.
디지털 카메라 디바이스(100)는 목표 오브젝트의 이미지들을 캡처하기 위해 멀티-엘리먼트 디스플레이(106) 및 정면 카메라(104) 또는 후면 카메라들(112a 및 112c) 중 임의의 하나 또는 둘 다 중 어느 하나를 사용하도록 구성된다. 캡처된 이미지들은 복수의 스틸 이미지들 또는 비디오 스트림이다. 이미지 캡처는 셔터 버튼(108)을 활성화함으로써, 멀티-엘리먼트 디스플레이(106) 상의 소프트키를 누름으로써, 또는 일부 다른 메커니즘에 의해 트리거된다. 구현예에 따라, 이미지들은 특정 시간 간격에서, 예를 들면, 셔터 버튼(108)을 누름에 따라, 목표 오브젝트의 적절한 조명 조건들에 따라, 디지털 카메라 디바이스(100)를 미리 결정된 거리만큼 움직임에 따라, 또는 미리 결정된 캡처 스케쥴에 따라 자동적을 캡처된다.
B. 도시적 디바이스 컴포넌트들
상기 기재된 바와 같이, 디지털 카메라 디바이스(100)의 기능들 - 또는 다른 타입의 디지털 카메라 - 은 모바일 폰, 타블렛 컴퓨터, 랩톱 컴퓨터 등과 같은 컴퓨팅 디바이스에 통합되거나 컴퓨팅 디바이스의 형태를 취한다. 예시의 목적들로, 도 2는 카메라 컴포넌트들(224)을 포함하는 예시적 컴퓨팅 디바이스(200)의 일부 컴포넌트들을 보여주는 단순화된 블록 다이어그램이다. 카메라 컴포넌트들(224)은 카메라들(112a 및 112b)과 같은 다수의 카메라들을 포함한다.
예시로서 그리고 제한 없이, 컴퓨팅 디바이스(200)는 셀룰러 모바일 전화기(예를 들면, 스마트폰), 스틸 카메라, 비디오 카메라, 팩스 기계, 컴퓨터(데스트톱, 노트북, 타블렛 또는 핸드헬드 컴퓨터와 같은), PDA(personal digital assistant), 홈 오토메이션 컴포넌트, DVR(digital video recorder), 디지털 텔레비전, 원격 제어, 웨어러블 컴퓨팅 디바이스 또는 적어도 일부 이미지 캡처 및/또는 이미지 프로세싱 능력들을 탑재한 일부 다른 타입의 디바이스이다. 컴퓨팅 디바이스(200)는 디지털 카메라와 같은 물리적 카메라 디바이스, 카메라 어플리케이션이 소프트웨어로 동작하는 특정 물리적 하드웨어 플랫폼 또는 카메라 기능들을 수행하도록 구성된 하드웨어 및 소프트웨어의 다른 조합들을 나타낸다는 것이 이해되어야 한다.
도 2에 도시된 바와 같이, 컴퓨팅 디바이스(200)는 통신 인터페이스(202), 사용자 인터페이스(204), 프로세서(206), 데이터 스토리지(208) 및 카메라 컴포넌트들(224)을 포함하며, 이것들 모두는 시스템 버스, 네트워크 또는 기타 연결 메커니즘(210)에 의해 상호 통신적으로 링크된다.
통신 인터페이스(202)는 컴퓨팅 디바이스(200)로 하여금 아날로그 또는 디지털 변조를 사용하여 다른 디바이스들과 통신하고, 네트워크들에 엑세스하고 및/또는 네트워크들을 수송하게 한다. 따라서, 통신 인터페이스(020)는 POTS(plain old telephone service) 통신 및/또는 IP(Internet Protocol)과 같은 회선 교환 및/또는 패킷 교환 통신 또는 기타 패킷화된 통신을 지원한다. 예를 들면, 통신 인터페이스(202)는 라디오 엑세스 네트워크 또는 엑세스 포인트와의 무선 통신을 위해 배치된 칩셋 및 안테나를 포함한다. 또한, 통신 인터페이스(202)는 이더넷, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface) 포트와 같은 유선 인터페이스의 형태를 취하거나 이를 포함한다. 또한, 통신 인터페이스(202)는 Wifi, BLUETOOTH®, GPS(global positioning system) 또는 광역 무선 인터페이스(예를 들면, WiMAX 또는 3GPP LTE(Long-Term Evolution))과 같은 무선 인터페이스의 형태를 취하거나 이를 포함한다. 그러나, 다른 형태들의 물리적 레이어 인터페이스들 및 다른 타입들의 표준 또는 등록 통신 프로토콜들이 통신 인터페이스(202)를 넘어 사용된다. 추가로, 통신 인터페이스(202)는 다수의 물리적 통신 인터페이스들(예를 들면, Wifi 인터페이스, BLUETOOTH® 인터페이스 및 광역 무선 인터페이스)을 포함한다.
사용자 인터페이스(204)는 사람으로부터 입력을 수신하고 사람에게 출력을 제공하는 것과 같이 컴퓨팅 디바이스(200)으로 하여금 사람 또는 비-인간 사용자와 인터렉션하게 하기 위해 기능한다. 따라서, 사용자 인터페이스(204)는 키패드, 키보드, 터치-감음 또는 존재-감음 패널, 컴퓨터 마우스, 트랙볼, 조이스틱, 마이크 등과 같은 입력 컴포넌트들을 포함한다. 또한 사용자 인터페이스(204)는 예를 들면, 존재-감응 패널과 조합된 디스플레이 스크린과 같은 하나 이상의 출력 컴포넌트들을 포함한다. 디스플레이 스크린은 CRT, LCD 및/또는 LED 기술들 또는 현재 공지된 또는 후에 개발될 다른 기술들에 기초한다. 또한 사용자 인터페이스(204)는 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 디바이스, 이어폰들 및/또는 기타 유사한 디바이스들을 통해 들을 수 있는 출력(들)을 생성하도록 구성된다.
일부 실시예들에서, 사용자 인터페이스(204)는 컴퓨팅 디바이스(200)에 의해 지원되는 스틸 카메라 및/또는 비디오 카메라 기능들을 위한 뷰파인더로서 역할을 하는 디스플레이를 포함한다. 추가적으로, 사용자 인터페이스(204)는 구성 및 카메라 기능의 포커싱 및 임지들의 캡처링(예를 들면 사진 캡처하기)를 지원하는 하나 이상의 버튼들, 스위치들, 노브들 및/또는 다이얼들을 포함한다. 이들 버튼들, 스위치들, 노브들 및/또는 다이얼들의 일부 또는 전부는 존재-감응 패널상 기능으로서 구현되는 것도 가능하다.
프로세서(206)는 하나 이상의 범용 프로세서들 - 예를 들면, 마이크로프로세서들 - 및/또는 하나 이상의 전용 프로세서들 - 예를 들면, DSP들(digital signal processors), GPU들(graphics processing units), FPU들(floating point units), 네트워크 프로세서들 또는 ASIC들(application-specific integrated circuits)을 포함한다. 일부 예시들에서, 전용 프로세서들은 다른 가능성들 중에서도 특히, 이미지 프로세싱, 이미지 정렬 및 이미지들 병합을 할 수 있다. 데이터 스토리지(208)는 자기적, 광학적, 플래시 또는 유기 스토리지와 같은 하나 이상의 휘발성 및/또는 비-휘발성 스토리지 컴포넌트들을 포함하며, 프로세서(206)에 전체 또는 부분적으로 통합된다. 데이터 스토리지(208)는 이동식 및/또는 비-이동식 컴포넌트들을 포함한다.
프로세서(206)는 본 명세서에 기술된 다양한 기능들을 수행하기 위해 데이터 스토리지(208)에 저장된 프로그램 명령어들(218) (예를 들면, 컴파일된 또는 비-컴파일된 프로그램 논리 및/쏘는 기계 코드)을 실행하는 능력이 있다. 그러므로, 데이터 스토리지(208)는 프로그램 명령어들이 그에 저장된 비-일시적 컴퓨터-판독가능 매체를 포함하며, 상기 명령어들은 컴퓨팅 디바이스(200)에 의해 실행시, 컴퓨팅 디바이스(200)로 하여금 본 명세서 및/또는 첨부 도면들에 개시된 임의의 방법들, 프로세스들 또는 기능들을 수행하게 한다. 프로세서(206)에 의한 프로그램 명령어(218)의 실행은 데이터(212)를 사용하는 프로세서(206)를 결과로 한다.
예시로서, 프로그램 명령어들(218)은 운영 체제(222)(예를 들면, 운영 체제 커널, 디바이스 드라이버(들) 및/또는 기타 모듈들) 및 컴퓨팅 디바이스(200)에 설치된 하나 이상의 어플리케이션 프로그램들(220)(예를 들면, 카메라 기능들, 주소록, 이메일, 웹 브라우징, 소셜 네트워킹 및/또는 게이밍 어플리케이션들)를 포함한다. 유사하게, 데이터(212)는 운영 체제 데이터(216) 및 어플리케이션 데이터(214)를 포함한다. 운영 체제 데이터(216)는 주로 운영 체제(222)에 엑세스 가능하며, 그리고 어플리케이션 데이터(214)는 주로 하나 이상의 어플리케이션 프로그램들(220)에 엑세스 가능하다. 어플리케이션 데이터(214)는 컴퓨팅 디바이스(200)의 사용자가 볼 수 있거나 또는 숨겨진 파일 시스템에 배치된다.
어플리케이션 프로그램들(220)은 하나 이상의 어플리케이션 프로그래밍 인터페이스들(APIs)을 통해 운영 체제(222)와 통신한다. 이들 API들은 예를 들면, 어플리케이션 프로그램(220)이 어플리케이션 데이터(214)를 판독하고 및/또는 작성하는 것, 통신 인터페이스(202)를 통해 정보를 송신하거나 수신하는 것, 사용자 인터페이스(204) 상에서 정보를 수신하고 및/또는 디스플레이하는 것 등을 지원한다.
일부 용어들에서, 어플리케이션 프로그램들(220)은 짧게 "앱"으로 지칭된다. 추가적으로, 어플리케이션 프로그램들(220)은 하나 이상의 온라인 어플리케이션 스토어들 또는 어플리케이션 마켓들을 통해 컴퓨팅 디바이스(200)에 다운로드할 수 있다. 그러나, 또한 어플리케이션 프로그램들은 웹 브라우저를 통해 또는 컴퓨팅 디바이스(200)의 물리적 인터페이스(예를 들면, USB 포트)를 통해서와 같이 다른 방식들로 컴퓨팅 디바이스(200)에 설치될 수 있다.
카메라 컴포넌트(224)는 조리개, 셔터, 기록 표면(예를 들면, 사진 필름 및/또는 이미지 센서), 렌즈 및/또는 셔터 버튼을 포함하나, 그에 제한되지 않는다. 카메라 컴포넌트들(224)은 프로세서(206)에 의해 실행되는 소프트웨어에 의해 적어도 부분적으로 제어된다. 추가로, 카메라 컴포넌트들(224)은 각각 조리개, 셔터, 기록 표면 렌즈, 이미지 센서, 프로세서 및/또는 셔터 버튼을 포함하는 다수의 카메라 시스템들을 포함한다.
다수의 카메라 시스템들이 포함되었을 때, 시스템들 간 공유되는 일부 컴포넌트들 및 공유되지 않는 다른 컴포넌트들이 있다. 예를 들면, 각 카메라는 그것의 고유 조리개, 렌즈 및 이미지 센서를 포함하는 반면, 프로세서 및 셔터 버튼과 같은 다른 컴포넌트들은 공유한다. 다른 예시로서, 각 카메라는 그것의 고유 렌즈들을 포함하나, 동일한 이미지 센서를 공유한다. 대안적으로, 각 카메라 시스템의 컴포넌트들은 단지 해당 카메라 시스템을 위해서만 활용되며 다른 카메라 시스템들과 공유되지 않는다.
C. 디지털 이미지들
스틸 카메라는 이미지 캡처가 트리거될 때 마다 하나 이상의 이미지들을 캡처한다. 비디오 카메라는 이미지 캡처가 트리거된 채 유지되는 한(예를 들면, 셔터 버튼이 눌려짐) 특정 레이트(rate)(예를 들면, 초당 24 이미지들 -또는 프레임들- )에서 이미지들을 계속적으로 캡처한다. 일부 디지털 스틸 카메라들은 카메라 디바이스 또는 어플리케이션이 활성화된 때, 셔터를 개방하고, 셔터는 카메라 디바이스 또는 어플리케이션이 비활성화될 때까지 이 포지션을 유지한다. 셔터가 개방되어 있는 동안에, 카메라 디바이스 또는 어플리케이션은 뷰파인더 상 장면의 표현을 캡처하고 디스플레이한다. 이미지 캡처가 트리거되면, 현재 장면의 하나 이상의 구분되는 디지털 이미지들이 캡처된다.
캡처된 디지털 이미지들은 픽셀의 1차원적, 2차원적 또는 다차원적 어레이로서 표현된다. 각 픽셀은 하나 이상의 값들에 의해 표현되며, 상기 하나 이상의 값들은 각각의 픽셀의 색 및/또는 밝기를 인코딩한다. 예를 들면, 하나의 가능한 인코딩은 YCbCr 색 모델(YUV 색 모델로도 또한 지칭되는)을 사용한다. 이 색 모델에서, Y 색 채널은 픽셀의 밝기를 표현하며, Cb(U) 및 Cr(V) 색 채널들은 각각 픽셀의 청 색차(blue chrominance) 및 적 색차(red chrominance)를 표현한다. 예를 들면, 이들 색 채널들 각각은 0부터 255까지의 값들을 취한다(즉, 단일 8-비트 바이트가 제공될 수 있는 계조 범위(tonal range)). 따라서, 픽셀의 밝기는 만약 픽셀이 검은색이거나 검은색에 가까우면, 0 또는 0에 가까운 값에 의해 표현되며, 만약 픽셀이 흰색이거나 흰색에 가까우면, 255 또는 255에 가까운 값에 의해 표현된다. 그러나 255의 값은 제한되지 않는 기준이며, 일부 구현예들은 픽셀 값 표현을 위해 다른 수의 비트들을 사용할 수 있다(예를 들면, 10, 12 등).
그럼에도 불구하고, YCbCr 색 모델은 단지 하나의 가능한 색 모델이고, RGB(red-green-blue) 색 모델 또는 CMYK(cyan-megenta-yellow-key)와 같은 다른 색 모델들도 본 명세서의 실시예들과 함께 이용될 수 있다. 추가로, 이미지에서 픽셀들은 raw(압축되지 않은) 포맷들 또는 JPEG(Joint Photographic Experts Group), PNG(Portable Network Graphics), GIF(Graphics Interchange Format) 등과 같은 압축된 포맷들을 포함하는 다양한 파일 포맷들로 표현된다.
D. 오토포커스
일반적으로, 오토포커스(AF) 시스템은 어떤 센서, 포커스 셋팅들을 자동적으로 결정하는 제어 시스템, 및 포커스 셋팅들에 따라 카메라의 기계적 컴포넌트들(예를 들면, 렌즈)를 조절하는 엑츄에이터(actuator)를 포함한다. 센서에 의해 제공된 데이터는 환경이 이미지 센서에 의해 기록되거나 기록될 방식을 평가하기 위해, 그리고 카메라의 포커스를 변경할 수 있는 전자-기계적 시스템을 각각 제어하기 위해 사용된다(예를 들면, 렌즈의 컴포넌트를 움직이도록 엑츄에이터를 사용하고 및/또는 조리개의 크기를 변경함으로써). 다양한 타입들의 오토포커스 기법들이 디지털 카메라 디바이스(100)와 같은 이미지 캡처 디바이스에 의해 활용된다.
많은 소비자 카메라들은 광학 시스템에 들어오는 이미지들을 수동적으로 분석함으로써 렌즈를 대상에 초점을 맞추는 패시브 오토포커스(passive autofocus) 시스템들을 포함한다(예를 들면, 그들은 대상에 초점을 맞추기 위해 빛의 제어된 빔들을 가르키지 않는다). 일반적 패시브 오토포커스 기법들은 "페이즈 검출(phase detection)" 오토포커스(PD-AF) 및 "콘트라스트 측정" 오토포커스라고도 불리우는 "콘트라스트 검출(contrast detection)" 오토포커스(CD-AF)를 포함한다.
패시브 오토포커스는 일반적으로 렌즈의 포커스 셋팅(들)을 조절하기 위해 기계적 렌즈 시스템을 동작시키는 컴퓨팅 시스템(예를 들면, 프로세서)을 수반하며(예를 들면, 렌즈의 포커싱 엘리먼트와 센서 사이의 거리를 변경하기 위해), 그 후 오토포커스 센서로부터의 결과이미지가 초점이 맞는지 여부를 분석한다. 만약 결과 이미지가 초점이 만족스럽지 않다면, 컴퓨팅 시스템은 포커스 셋팅들을 다시 조절하고 결과 이미지에서 특징들을 평가한다. 일부 구현예들에서, 포커스 셋팅에 대한 각 조절은 이미지가 얼마나 초점이 맞지 않는지에 대한 일부 측정에 기초하여 결정된다(또는 이미지의 특정 부분이 얼마나 초점이 맞지 않는지). 다른 구현예들에서, 조절들은 미리 결정된다. 어느 경우에나, 이 프로세스는 결과 이미지가 초점이 만족스럽다고 여겨질 때까지 반복된다.
상기 언급된 바와 같이, 오토포커스를 위해 하나 이상의 전용 센서들을 포함하는 DSLR들과 같은 일부 카메라들은 전용 오토포커스 시스템들을 포함한다. 상기 카메라들은 일반적으로 오토포커스의 목적으로 이미지들을 캡처하기 위해 사용되는 이미지 센서를 사용하지 않는다. 게다가, 상기 카메라들은 일반적으로 렌즈를 통해 수신된 빛이 이미지들의 쌍으로 분할되는 PD-AF 시스템을 포함한다. 그 후, 상기 쌍에서 양 이미지들은 오토포커스 센서로 향해지고 렌즈가 초점이 맞는지 여부를 결정하기 위해 분석된다. 그 후 렌즈의 초점 포지션이 적절한 초점이 검출될 때까지 조절된다.
하나의 일반적 시스템인 PD-AF 시스템은 쓰루-더-렌즈(through-the-lens), 제2-이미지-등록(second-image registration), 페이즈 검출(SIR PD-AF) 시스템이다. SIR PD-AF 시스템은 들어오는 빛을 오토포커스 센서로 향하게 하기 위해 빔 분할기(beam splitter)를 활용한다. 더 구체적으로, 렌즈의 반대편 사이드들에 위치된 마이크로-렌즈들은 렌즈의 반대편 사이드들로부터 들어오는 빛을 오토포커스 센서 방향으로 향하게 하며, 오토포커스 센서 상에 투사되는 2개의 이미지들로 효율적으로 거리계(rangefinder)를 생성한다. 그 후 2개의 마이크로 렌즈들에 의해 형성된 이미지들은 렌즈가 올바르게 초점이 맞는지 여부를 결정하기 위해 평가되는 분리 에러(separation error)를 결정하기 위해 비교된다. 만약 분리 에러가 대상이 초점이 맞지 않는다고 표시하면(예를 들면, 만약 분리 에러가 0이 아니거나 0으로부터 어떤 임계치 내이면), 포커스 셋팅들에 대한 조절이 분리 에러에 기초하여 계산되고 렌즈는 조절된 셋팅들에 따라 움직여진다(예를 들면, 렌즈 어셈블리 또는 렌즈 엘리먼트를 센서로부터 가깝게 또는 멀게 움직임으로써).
컴포넌트들의 크기 및/또는 비용이 디바이스의 디자인에서 상당한 경우, 디바이스는 별개의 오토포커스 시스템을 포함하지 않는 카메라 시스템을 활용한다. 이것은 오토포커스 및 이미지 캡처 둘 다를 위해 동일한 이미지 센서를 사용하는 카메라 시스템들을 종종 포함하는 많은 모바일폰들 및/또는 타블렛 컴퓨터들의 경우이다. 많은 경우들에서, 모바일 폰들 및 타블렛들과 같은 이동식 디바이스들에서 카메라들은 포커싱을 목적으로 CD-AF를 사용한다.
CD-AF 시스템들이 오토포커스 전용인 별개의 센서를 사용할 수 있지만, 대부분의 CD-AF 시스템들은 이미지 캡처 및 오토포커스 둘 다를 위해 동일한 이미지 센서를 사용한다. CD-AF 시스템들은 센서에서 검출된 이미지에서 콘트라스트를 측정함으로써 대상이 초점이 맞는지 여부를 결정한다. 그렇게 함으로써, CD-AF 시스템은 이미지에서 다양한 포인트들에서 콘트라스트의 변화를 평가하며, 높은 콘트라스트는 선명한 이미지의 표시로서 해석된다.
더 구체적으로, 센서의 인접한 픽셀들 간 인텐시티(intensity)의 차이는 일반적으로 이미지 대상이 초점이 맞지 않을 때에 비해 인접한 픽셀들에서 캡처된 대상이 초점이 맞을 때 더 크다. 추가로, CD-AF 시스템은 특정 픽셀들에서 콘트라스트를 측정하거나 특정 그룹들의 픽셀들의 평균을 결정한다. 어느 경우에나, 그 후 CD-AF 시스템은 포커스 셋팅들을 임계 콘트라스트가 검출될 때까지(그리고 가능하면 최대 콘트라스트가 검출될 때까지) 조절한다. 예를 들면, 도시적인 CD-AF 시스템은 이미지 데이터를 하이 패스 필터(high pass filter)를 통과시키며, 필터로부터의 출력이 임계치를 초과할 때까지(그리고 가능하면 필터의 출력이 그것의 최고 레벨일 때까지) 렌즈의 초점을 조절한다.
추가로, 장면에 대한 포커스 셋팅은 적절한 초점을 결과로 하는 렌즈의 포커싱 엘리먼트와 센서 사이의 거리로서 정의되거나 또는 이와 달리 상기 거리를 표시한다. 추가로, 포커스 포지션은 일반적으로 대상까지의 거리 또는 초점이 있는 장면의 면적에 비례한다(또는 적어도 그것의 함수이다). 본 명세서에서, 렌즈와 특정 대상 또는 오브젝트 사이의 거리는 "오브젝트 거리"로서 지칭된다는 것을 유념해야 한다. 이와 같이, 디바이스에서 컴퓨팅 시스템은 포커스 포지션에 기초하여 오브젝트 거리를 결정한다.
도시적 실시예에서, 도 1a 내지 1e에서 도시된 것과 같은 멀티-카메라 디바이스는 그것의 카메라들 중 하나가 손가락 또는 렌즈 먼지와 같은 근거리 가리개에 의해 가려졌을 때를 검출하게 하기 위해 오토포커스 프로세스를 사용한다. 구체적으로, 이하 상세히 후술될 바와 같이, 동일한 디바이스의 제2 카메라가 동일한 장면에 적절하게 초점을 맞출 수 있는 경우, 제1 카메라가 장면에 적절하게 초점 맞추기의 불능 또는 초점 맞추기 능력의 감소는 제1 카메라의 렌즈가 가려졌다는 표시이다.
Ⅲ. 도시적 방법들
도 3은 예시적 실시예에 따라 방법(300)을 도시하는 흐름도이다. 방법(300)은 2개 이상의 카메라들을 포함하는 동일한 방향으로 배향된 디바이스에 의해 구현되며, 도 1a 내지 1e에 도시된 디바이스들과 같이 각 카메라는 약간의 거리에 의해 다른 카메라들로부터 분리된다. 상기 디바이스는 적어도 하나의 카메라로부터 의도되지 않는 엘리먼트에 의해 가려지거나 흐릿하게 보이지 않는 장면의 시야를 제공하는(또는 적어도 디바이스의 다른 카메라 또는 카메라들 보다 덜 가려지는 카메라에 의해 캡처된) 이미지 데이터를 동적으로 선택하고 사용하기 위해 방법(300)을 구현한다.
특히, 방법(300)은 블록(302)에 의해 도시된 바와 같이 실질적으로 동일한 방향으로 배향된 복수의 이미지-캡처 시스템들 각각에 의해 생성된 이미지 데이터를 수신하는 것을 수반한다. 그 후 컴퓨팅 디바이스는 블록(304)에 의해 도시된 바와 같이, 의도되지 않은 오브젝트에 의해 실질적으로 가려지지 않는 시야를 가지는 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 이미지-캡처 시스템들 중 하나 이상에 의해 생성된 이미지 데이터를 분석한다. 그 후 컴퓨팅 디바이스는 블록(306)에 의해 도시된 바와 같이 선택된 이미지 데이터를 저장한다.
가리움이 동시에 2개 이상의 이미지 캡처 디바이스들에서 검출되지 않은 경우에, 컴퓨팅 디바이스는 랜덤하게 또는 어떤 다른 기준에 기초하여 2개의 이미지-캡처 시스템들 중 하나로부터 이미지 데이터를 선택한다는 것을 유념해야 한다. 또는, 만약 컴퓨팅 디바이스가 다수의 이미지들이 가려지지 않음을 결정하면, 컴퓨팅 디바이스는 다수의 가려지지 않은 이미지-캡처 시스템들에 의해 캡처된 장면의 다수의 이미지들을 저장하고 및/또는 사용한다(예를 들면, 조합함으로써).
추가로, 2개의 이미지-캡처 시스템들은 양 이미지-캡처 시스템들의 렌즈들의 시야들이 실질적으로 동일한 방향을 향할 때, 실질적으로 동일한 방향으로 배향된 것으로 고려되어야 하며, 양 이미지-캡처 시스템들이 상당한 회전 또는 디바이스 재-위치설정 없이도 실질적으로 동일한 장면의 이미지를 캡처할 수 있다는 것을 유념해야 한다. 이와 같이, 2개의 이미지-캡처 시스템들은 센서들, 모터들 등과 같은 렌즈들이 아닌 컴포넌트들은 동일한 방향으로 배향되어 있지 않은 경우에도, 실질적으로 동일한 방향으로 배향되어 있는 것으로 고려되어야 한다.
A. 실질적으로 가려지지 않은 시야를 가지는 이미지-캡처 시스템으로부터 이미지 데이터 선택하기
추가로, 컴퓨팅 디바이스는 블록(304)에서 이미지-캡처 시스템을 선택하기 위해 다양한 기법들을 사용한다. 일부 실시예들에서, 블록(304)에서, 컴퓨팅 디바이스는 특정 이미지-캡처 시스템을 선택하기 위해 다수의 이미지-캡처 시스템들로부터의 이미지 데이터를 분석하고 비교한다. 예를 들면, 컴퓨팅 디바이스는 2개 이상의 이미지-캡처 시스템들 각각에 의해 생성된 이미지 데이터를 분석하고, 각 디바이스로부터의 이미지 데이터에 대해 개별적 가리움 표시를 결정한다. 그 후 컴퓨팅 디바이스는 이미지-캡처 시스템들에 대한 결정된 가리움 표시들의 비교에 적어도 부분적으로 기초하여 이미지-캡처 시스템들 중 하나로부터 이미지 데이터를 선택한다.
예시적 방법에서 다양한 타입들의 가리움 표시들이 활용된다. 가리움 표시들의 일부 예시들은 이제 더 상세히 기술될 것이다.
i. 근거리 가리움의 표시로서 선명도(sharpness)
일부 실시예들에서, 컴퓨팅 디바이스는 이미지 선명도를 특정 카메라로부터의 이미지 데이터가 렌즈에 가까운 오브젝트에 의해 가려졌는지 여부의 표시로서 사용된다. 이미지의 선명도는 렌즈 먼지 또는 사용자의 손가락 또는 렌즈에 가깝게 위치된 다른 오브젝트에 의해 실질적으로 덮인 렌즈와 같이 다양한 타입들의 가리움을 표시한다.
상기 실시예에서, 컴퓨팅 디바이스는 2개 이상의 이미지-캡처 시스템들의 각각에 의해 캡처된 이미지 데이터에 대한 별개의 선명도 측정치를 결정한다. 그 후, 컴퓨팅 디바이스는 각각의 결정된 선명도 측정치를 비교하고, 상기 비교에 기초하여 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 캡처된 이미지 데이터를 선택한다. 예를 들면, 만약 적어도 하나의 다른 이미지-캡처 시스템에 의해 캡처된 장면의 이미지가 해당 이미지-캡처 시스템에 의해 캡처된 동일한 장면의 이미지보다 실질적으로 더 선명한 경우, 컴퓨팅 디바이스는 해당 이미지-캡처 시스템의 렌즈가 가려짐을 결정한다. 가리움은 동일한 디바이스 상 서로 다른 카메라들에 의해 캡처된 이미지들의 전반적 선명도에서의 실질적 차이에 기초하여 검출되거나 또는 이미지 프레임의 특정 영역에서 선명도의 실질적 차이에 기초하여 검출된다(예를 들면, 렌즈의 부분적 가리움을 표시하는).
일부 실시예들에서, 선명도를 비교하기 위해, 컴퓨팅 디바이스는 서로 다른 카메라들에 의해 캡처된 장면의 이미지들의 공간 빈도(spatial frequency) 컨텐츠를 비교한다. 예를 들면, 컴퓨팅 디바이스는 각 이미지의 각각의 주파수-영역(frequency-domain) 표현을 결정한다(예를 들면, 각 이미지의 푸리에 변환(Fourier transform)을 결정함으로써). 그 후 컴퓨팅 디바이스는 디바이스 상의 이미지-캡처 시스템들 중 하나에 의해 캡처된 이미지의 주파수-영역 표현이 디바이스 상의 다른 이미지-캡처 시스템들 중 하나 이상으로부터의 이미지 또는 이미지들 보다 실질적으로 더 적은 양의 고(high) 및/또는 중(middle) 주파수들을 표시하는지 여부를 결정하기 위해 2개 이상의 이미지-캡처 시스템들에 대응하는 각각의 주파수-영역 표현들을 비교한다. 만약 이미지-캡처 시스템들 중 해당 이미지-캡처 시스템으로부터의 이미지 데이터의 주파수-영역 표현이 실질적으로 더 적은 양의 고 및/또는 중 주파수들을 표시하면, 이 이미지-카메라 시스템의 렌즈는 근거리 가리움을 가지는 것으로 여겨진다. 그리고, 이미지-카메라 시스템들 중 하나 이상이 상기 근거리 가리움을 가진다고 결정된 경우, 다른 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터가 선택된다.
이와 달리, 만약 주파수-영역 표현에서 높은 주파수들의 양이 모든 이미지-캡처 시스템들에 의해 캡처된 이미지들에서 실질적으로 동일하면, 이는 가려진 렌즈를 가지는 이미지-캡처 시스템들이 없다는 표시이다. 상기 경우에서, 컴퓨팅 디바이스는 디바이스 상에 2개 이상의 이미지-캡처 시스템들 중 하나로부터 이미지 데이터를 랜덤하게 선택하거나 또는 다른 기준에 기초하여 이미지-캡처 시스템들 중 하나로부터 이미지 데이터를 선택한다. 어느 경우에나, 선택된 이미지 데이터는 입체적 이미지를 생성하기 위해 다른 선택된 이미지 데이터와 상기 이미지 데이터를 조합함으로써 저장되거나 또는 이와 달리 사용된다.
실제로, 렌즈가 깨끗하고 렌즈에 가까운 또는 렌즈 상의 오브젝트에 의해 가려지지 않은 경우, 렌즈에 의해 캡처되는 이미지는 일반적으로 더 많은 양의 고-주파수 컨텐츠를 가진다. 더 구체적으로, 더러운 렌즈들은 일반적으로 캡처된 이미지들에서 블러링(blurring)을 야기하며, 이는 상기 이미지들의 주파수-영역 표현에서 고주파수들의 양을 감소시킨다. 추가로, 사용자의 손가락과 같은 근거리 가리개는 렌즈의 최소 초점 거리보다 가까운 결과, 일반적으로 초점이 맞지 않는다. 또한, 상기 초점이 많지 않은 이미지들의 주파수-영역 표현들은 더 적은 양의 고-주파수 컨텐츠를 가진다(적어도 가리개가 존재하는 이미지 프레임의 영역들에서). 추가로, 근거리 가리개는 종종 장면의 나머지와 상당히 다르게; 손가락이 렌즈 앞에 들렸을 경우와 같이 몹시 어둡게 또는 렌즈에 가까운 손가락이 플래시에 의해 비춰지고 플래시로부터의 빛의 실질적 부분이 장면의 나머지를 비추는 것이 막혔을 때와 같이 몹시 밝게 비춰진다. 상기 밝거나 어두운 영역들은 일반적으로 포화된 픽셀들(saturated pixels)(어둡게 또는 밝게)을 결과로 하며, 차례로 상기 이미지들의 주파수-영역 표현에서 더 적은 양의 고주파수들을 결과로 한다. 따라서, 이미지-캡처 시스템이 비교적으로 더 적은 양은 고-주파수 컨텐츠로 이미지를 캡처한 경우, 컴퓨팅 디바이스는 이미지를 사용하고 및/또는 더 영구적인 방식으로 이미지를 저장하는 것을 피할 수 있다(이미지가 더러운 렌즈로 캡처된 경우 및/또는 예를 들면, 사용자의 손가락에 의해 가려진 렌즈로 캡처된 경우, 사용자 사진 앨범으로와 같이).
또한 컴퓨팅 디바이스는 렌즈 위의 손가락과 같은 근거리 가리개를 디바이스 상의 서로 다른 카메라들에 의해 캡처된 이미지들 간의 낮은 주파수 컨텐츠에서의 불일치를 검색함으로써 검출한다는 것을 유념해야 한다. 특히, 근거리 가리개가 장면의 한 이미지에 존재하는 경우, 그러나 동일한 장면의 다른 이미지에는 존재하지 않는 경우, 근거리 가리개를 가지는 이미지는 그것이 없는 이미지와 실질적으로 다른 컨텐츠를 가질 것이다. 그 결과, 근거리 가리개는 낮은 공간적 주파수들에서 이미지들 간 상당한(예를 들면, 임계치보다 큰) 불일치가 있는 경우 검출된다.
추가로, 상기 선명도의 비교들이 주파수 영역에서 수행되는 것으로 기술되었지만, 상기 선명도 비교들은 공간 영역에서 또한 수행될 수 있다. 예를 들면, 이미지 선명도의 공간-영역 측정은 엣지-검출 프로세스(edge-detection process)(콘트라스트에 기초하여)를 이미지에 적용함으로써 결정되며, 그 후 평균 엣지의 픽셀 밀도를 결정한다. 추가적 양태에서, 엣지-검출 기법은 낮은 공간 주파수들에서 콘트라스트를 측정하기 위해 이미지의 하나 이상의 저-해상도 버전들에서 단독으로 또는 추가적으로 수행된다. 추가로, 엣지 검출의 맥락에서, 전체 이미지에 걸쳐서 또는 단지 이미지의 특정 부분 또는 부분들 내에서 콘트라스트가 측정되고 엣지들이 그에 기초하여 검출된다.
또한 선명도를 결정하고 및/또는 비교하기 위한 다른 기법들도 가능하다. 추가로, 공간 영역 및 주파수 영역에서 선명도를 결정하기 위한 본 기술분야에서 공지된 많은 기법들이 있다. 임의의 상기 기법이 활용될 수 있다는 것이 고려되어야 한다. 추가로, 만약 선명도 비교가 공간 영역에서 구현된 경우, 선명도를 평가하기 전에 다른 것들과 함께 이미지 중 하나의 컨텐츠들을 등록하는 것이 바람직하다.
ii. 가리움의 표시로서 대상에서 차이점들
일부 실시예들에서, 동일한 디바이스 상의 2개 이상의 이미지-캡처 시스템들 각각으로부터의 이미지 데이터는 오브젝트를 포함하는 시스템 또는 손가락과 같이 의도되지 않은 엘리먼트들로 판단되는 오브젝트들 중 어느 하나로부터의 이미지 데이터인지 여부를 결정하기 위해 분석된다. 상기 실시예에서, 가리움은 바이너리 방식으로; 예를 들면, 의도되지 않은 엘리먼트가 카메라로부터의 이미지 데이터에 있는지 없는지 결정함으로써 측정된다. 따라서, 블록(304)은 하나 이상의 이미지 캡처 디바이스들로부터 이미지 데이터에서 의도되지 않은 엘리먼트 또는 대상들의 식별을 더 포함한다(그리고 의도되지 않은 엘리먼트 또는 대상들이 디바이스 상의 다른 이미지 캡처 시스템들 중 하나 이상으로부터의 이미지 데이터에 포함되지 않았다는 결정).
의도되지 않은 엘리먼트들의 식별은 다양한 방식들로 수행될 수 있다. 예를 들면, 손가락이 해당 카메라의 렌즈 위에 있을 때와 같이 매우 가까운 오브젝트가 해당 카메라의 시야를 가린 경우, 해당 카메라로부터의 이미지는 다른 카메라로부터의 이미지 데이터에서는 프레임의 훨씬 작은 부분인 큰 대상(예를 들면, 손가락)을 포함할 가망이 크다. 따라서, 대상은 2개 이상의 카메라들로부터의 이미지 데이터를 비교함으로써 의도되지 않은 것으로 분류된다.
예를 들면, 컴퓨팅 디바이스가 그것의 이미지-캡처 시스템들 중 제1의 시스템에 의해 생성된 이미지 데이터가 (어쩌면 이미지 프레임의 적어도 미리 결정된 퍼센티지를 차지하는) 이미지-캡처 시스템들 중 하나 이상의 다른 시스템들로부터의 이미지 데이터에는 포함되지 않는 제1 대상을 포함한다고 결정하면, 그것의 이미지-캡처 시스템(들) 중 다른 하나에 의해 캡처된 제1 대상을 포함하지 않는 이미지 데이터를 선택한다.
일부 경우들에서, 의도되지 않은 엘리먼트는 의도되지 않은 엘리먼트 또는 대상들에 의해 차지되는 이미지 프레임의 퍼센티지를 결정함으로써와 같이 더 정밀한(granular) 방식으로 검출될 수 있다. 상기 실시예에서, 컴퓨팅 디바이스는 디바이스의 다른 이미지-캡처 시스템들 중 하나 이상에 의해 캡처된 이미지들과 비교하여 가리움 표시자가 의도되지 않은 엘리먼트에 의해 시야의 가장 적은 가리움을 표시하는 (그리고 바람직하게는 어떠한 가리움도 없다고 표시하는) 이미지-캡처 시스템을 선택한다.
iii. 가리움의 표시자로서 오토 - 포커스 결과들
일부 실시예들에서, 장면에서 초점을 맞추기 위한 이미지-캡처 시스템의 능력은 가리움 표시이다. 특히, 손가락과 같은 오브젝트가 덮고 있거나 이미지-캡처 시스템의 렌즈에 매우 가까운 경우, 이미지-캡처 시스템은 적절한 초점을 맞추는데 어려움을 겪거나 초점을 맞출 수 없다. 따라서, 특정 이미지-캡처 시스템을 사용하여 초점을 맞출 수 없음은 이미지-캡처 시스템의 렌즈가 가려졌다는 표시로서 해석된다.
따라서, 블록(304)에서, 동일한 디바이스 상의 2개 이상의 카메라들 각각은 장면에 초점을 맞추기 위한 시도로 오토-포커스 프로세스를 실질적으로 동시에 별도로 구현한다. 그 후, 만약 하나 이상의 다른 카메라들은 동일한 장면에 적절한 초점을 맞출 수 있는 반면에, 카메라들 중 해당 카메라가 적절한 초점을 맞출 수 없는 경우, 이는 해당 카메라의 렌즈가 의도되지 않은 엘리먼트에 의해 가려졌다는 표시로서 해석된다. 유사하게, 카메라들 중 해당 카메라가 장면에 초점을 맞췄으나, 해당 카메라의 포커스 셋팅이 상당히 낮은 신뢰도인 경우(디바이스 상의 다른 카메라들의 포커스 셋팅과 비교하여), 이 또한 해당 카메라의 렌즈가 의도되지 않은 엘리먼트에 의해 가려졌다는 표시로서 해석된다. 따라서, 블록(306)에서 다른 디바이스로부터의 이미지 데이터가 선택되고 저장된다.
추가로, 일부 실시예들에서, 오토-포커스 결과들은 임의의 이미지 데이터가 캡처되기 전에 가리움에 대한 예비적 테스트로서 사용된다. 예를 들면, 컴퓨팅 디바이스는 디바이스의 카메라들의 일부 또는 전부에서 오토-포커스 테스트를 우선 실행하고 장면에 적절한 초점을 맞출 수 있는 카메라들의 장면의 이미지들만을 캡처한다. 이 경우에 디바이스의 2개 이상의 카메라 시스템들의 서브셋으로부터 일 수 있는 캡처된 이미지들은 그 후 예를 들면, 가려지지 않은 이미지 데이터를 선택하고 저장하기 위해 캡처된 이미지들의 주파수-영역 표현들을 비교함으로써 평가된다.
상기 기술된 실시예 및 다른 것에서, 전원 소비는 가려지지 않은 이미지 데이터만 캡처되고 및/또는 저장될 때 감소된다. 더 구체적으로, 만약 예를 들면, 자동-노출 또는 AF 프로세스를 수행할 때 가려진 카메라가 빠르게 식별되면, 이 카메라는 전력을 낮추고, 결과적으로 배터리 전력을 아낀다.
iv. 가리움의 표시자로서 자동-노출 결과들
일부 실시예들에서, 2 개의 서로 다른 이미지-캡처 시스템들의 자동-노출 결과들에서의 차이점들은 이미지-캡처 시스템들 중 하나의 렌즈가 가려졌다는 것을 표시한다. 특히, 이미지가 손가락과 같은 오브젝트가 이미지-캡처 시스템의 렌즈를 덮고 있을 때 캡처된 경우, 렌즈가 덮고 있던 이미지의 부분은 어둡고, 수용가능한 노출 범위의 픽셀들의 퍼센티지가 감소된 이미지를 결과로 한다. 따라서, 디바이스의 카메라들 중 해당 카메라에 의해 캡처된 장면의 이미지가 디바이스의 카메라들 중 다른 카메라에 의해 캡처된 동일한 장면의 이미지 보다 실질적으로 안 좋고 및/또는 상당히 다른 노출을 가진다면(예를 들면, 각 카메라로부터의 장면의 이미지 데이터의 각각의 히스토그램들에 의해 표시된 바에 따라), 이는 해당 카메라의 렌즈가 가려졌다는 표시로서 해석된다.
따라서, 블록(304)에서, 동일한 디바이스 상의 2개 이상의 카메라들 각각은 실질적으로 동시에 장면에 대한 노출을 결정하기 위해 동일한 자동-노출을 구현한다. 자동-노출 프로세스는 적절하게 노출된 픽셀들의 퍼센티지의 표시를 제공한다(예를 들면, 수용가능한 노출 범위 내에서). 따라서, 만약 디바이스의 카메라들 중 해당 카메라에 의해 적절하게 노출된 픽셀들의 퍼센티지가 디바이스의 다른 카메라들 중 하나 이상에 의해 적절하게 노출된 픽셀들의 퍼센티지보다 적어도 임계 퍼센티지 차이만큼 작다면, 해당 카메라는 가려진 것으로 여겨진다.
추가로, 일부 실시예들에서, 노출 비교는 임의의 이미지 데이터가 캡처되기 전에 가리움에 대한 예비적 테스트로서 사용된다. 예를 들면, 컴퓨팅 디바이스는 디바이스의 카메라들의 일부 또는 전부에서 자동-노출 프로세스를 우선 실행하고 다른 카메라들에 의해 수행된 노출들의 비교에 기초하여 가려진 것으로 여겨지지 않는 카메라들의 장면의 이미지 데이터만 캡처한다. 이 경우에 디바이스의 2개 이상의 카메라 시스템들의 서브셋으로부터일 수 있는 캡처된 이미지들은 그 후 예를 들면, 가려지지 않은 이미지 데이터를 선택하고 저장하기 위해 캡처된 이미지들의 주파수-영역 표현들을 비교함으로써 평가된다.
v. 가리움 검출을 위한 다수의 인자들(factors)의 고려
추가적 양태에서, 멀티-카메라 디바이스는 근거리 오브젝트에 의해 가려지지 않은 이미지-캡처 시스템(및/또는 그것으로부터의 이미지 데이터)을 선택하기 위해 2개 이상의 인자들의 조합을 고려한다. 예를 들면, 멀티-카메라 디바이스는 (a) 서로 다른 카메라 시스템들로부터의 이미지 데이터의 주파수-영역 표현들에서의 차이점(들)(예를 들면, 이미지가 실질적으로 작은 고-주파수 컨텐츠를 가질 때 가리움 식별), (b) 서로 다른 카메라 시스템들로부터의 이미지 데이터의 공간-영역 표현들에서 차이점(들), (c) 디바이스상 서로 다른 이미지-캡처 시스템들에 의해 캡처된 장면의 이미지들 간 대상의 차이점(들), (d) 디바이스 상의 서로 다른 카메라들의 오토-포커스 결과들 및/또는 (e) 디바이스 상의 서로 다른 카메라들에 의해 수행된 장면의 노출들에서의 차이점들과 같은 2개 이상의 가리움 표시자들을 고려한다. 또한 기타 인자들도 고려될 수 있다.
추가적 양태에서, 2 개의 카메라들로부터의 자동-노출, 오토포커스 및/또는 콘트라스트 검출 프로세스들이 상당히 다른 결과들을 가지는 경우, 이상치(outlier)가 식별될 수 있도록 추가적인 카메라들이 없다면, 어떤 카메라가 가려졌다고 말하기 어렵다. 이 시나리오에서, 2개의 카메라가 자동-노출, 오토포커스 및/또는 콘트라스트 검출 프로세스로부터 상당히 다른 결과들을 가지는 경우, 다른 인자들이 가려지지 않은(또는 더 적게 가려진) 카메라를 선택하기 위해 고려된다. 예를 들면, 2개 카메라들 중 어느 것이 가려지지 않았는지 결정하기 위해, 디바이스는 서로 다른 카메라 시스템들로부터의 이미지 데이터의 주파수-영역 표현들에서의 차이점(들)(예를 들면, 이미지가 실질적으로 작은 고-주파수 컨텐츠를 가질 때 가리움 식별), 서로 다른 카메라 시스템들로부터의 이미지 데이터의 공간-영역 표현들에서의 차이점(들) 또는 2개의 카메라들에 의해 캡처된 이미지 데이터의 히스토그램들에서의 차이점을 비교한다. 다른 예시들도 가능하다.
B. 카메라 시스템들의 반복적 평가(iterative evaluation)
상기 기술된 방법(300)의 예시들은 일반적으로 디바이스의 카메라들 중 2개 이상으로부터의 장면의 이미지 데이터를 수신하고, 상기 서로 다른 카메라들에 의해 캡처된 이미지 데이터의 다양한 특징들을 비교함으로써 가리움을 검출하는 컴퓨팅 디바이스와 관련된다. 다른 구현예들에서, 컴퓨팅 디바이스는 한 번에 1개의 카메라로부터의 이미지 데이터를 반복적으로 분석하고, 시야가 가려지지 않음을 결정하는 디바이스인(또는 가능한 시야가 어떤 임계량 보다 더 적게 가려졌다고 결정된 디바이스인) 제1 카메라로부터의 이미지 데이터를 선택한다. 상기 실시예에서, 컴퓨팅 디바이스는 기본값으로, 제1 카메라를 사용하기를 시도하고, 제1 카메라가 가려진 경우에만 다른 카메라의 사용하기 위한 도움을 구한다.
예를 들면, 도 4는 예시적 실시예에 따라, 방법(400)을 도시하는 다른 흐름도이다. 방법(400)은 그것의 이미지-캡처 시스템들을 가리움에 대해 반복적으로 테스트하고 제1 비-가려진 이미지-캡처 시스템으로부터의 이미지 데이터를 선택하고 저장하기 위한 다수의 카메라 시스템들을 가지는 컴퓨팅 디바이스에 의해 구현된다.
더 구체적으로, 블록(402)에서, 방법(400)의 제1 반복 중에, n개의 카메라 시스템들(CSi=1부터 n)을 가지는 컴퓨팅 디바이스는 제1 카메라 시스템 CS1에 의해 생성된 이미지 데이터를 수신한다. 추가로, 제1 반복의 블록(404)에서, 컴퓨팅 디바이스는 제1 카메라 시스템의 시야가 의도되지 않은 엘리먼트(예를 들면, 손가락과 같은 근거리 대상)에 의해 실질적으로 가려졌는지 여부를 결정하기 위해 제1 카메라 시스템 CS1로부터의 이미지 데이터를 분석한다. 만약 제1 카메라 시스템 CS1의 시야가 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않았다면, 블록(406)에 의해 도시된 바와 같이, 제1 카메라 시스템으로부터의 이미지 데이터가 선택되고 저장된다.
이와 달리, 만약 제1 카메라 시스템 CS1의 시야가 가려진 것으로 간주되면, 컴퓨팅 디바이스는 이미지-캡처 시스템들 CS2 내지 CSn 중 하나로부터의 이미지 데이터가 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야를 가지는 것으로 결정될 때까지 블록들(402 및 404)을 다른 카메라 시스템들 CS2 내지 CSn까지 한번에 하나씩 반복한다. 대안적으로, 만약 제1 카메라 시스템 CS1의 시야가 충분히 가려진 것으로 간주되는 경우에도, 추가적 카메라 시스템들이 평가되도록 CS1로부터의 이미지 데이터는 적어도 다른 카메라 시스템이 방법(400)의 후속적 반복에서 덜 가려진 것으로 간주될 때까지 유지된다.
C. 입체적 이미징을 위한 카메라 쌍들의 선택
일부 구현예들에서, 방법(300) 또는 (400)과 같은 예시적 방법은 그것으로 입체적 이미지 데이터를 캡처하기 위해 동일한 디바이스 상의 3개 이상의 카메라들로부터 카메라들의 쌍을 선택하기 위해 구현된다. 예를 들면, 방법(300)의 블록(304)에서, 컴퓨팅 디바이스는 개별적 이미지-캡처 시스템들 둘 다 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않는 시야를 가지는 이미지-캡처 시스템들의 쌍을 선택하기 위해 이미지-캡처 시스템들 중 2개 이상으로부터의 이미지 데이터를 분석한다. 그 후, 블록(306)에서, 컴퓨팅 디바이스는 입체적 이미지 데이터를 캡처하기 위해 이미지-캡처 시스템들의 선택된 쌍을 동작시킨다.
예를 들면, 도 1d 또는 1f에서 도시된 것과 같은 디바이스는 그것의 후면 카메라들 중 3개 이상으로 장면의 이미지들을 캡처한다(예를 들면, 카메라들 166a 내지 166f 중 3개 이상 또는 카메라들 182a 내지 182i 중 3개 이상). 그 후 디바이스는 어떤 이미지가 가려졌는지, 만약에 있다면, 식별하기 위해 블록(304)를 참조하여 상기 기술된 것과 같은 다양한 기법들을 사용한다. 상기 경우에, 추가적 인자들은 가려지지 않은 이미지들의 해당 쌍을 선택하기 위해 고려된다. 예를 들면, 디바이스는 장면에서 오브젝트들에 대한 거리(들)를 결정하고, 결정된 거리(들)에서 오브젝트들의 입체적 형상(imagery)를 캡처하기 위해 가장 적절한 베이스라인을 제공하는 카메라로부터 이미지 쌍을 선택한다. 추가적으로 또는 대안적으로, 디바이스는 베이스라인이 땅과 최대한 평행한 카메라들의 쌍으로부터 이미지들을 선택하기 위해 시도한다. 또한 다른 인자들도 입체적 이미지 쌍을 형성하기 위해 가려지지 않은 이미지들의 특정 쌍을 선택하는데 사용된다.
IV. 결론
상기 상세한 설명은 첨부도면들을 참조하여 개시된 시스템들, 디바이스들 및 방법들의 다양한 구성들 및 기능들을 기술한다. 도면들에서, 유사한 기호들은 문맥이 다르게 지시하지 않는 한 일반적으로 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면들 및 청구항들에서 기술된 도시적 실시예들은 제한될 것으로 의미되지 않는다. 본 명세서에서 제시된 발명의 범위로부터 벗어남 없이 다른 실시예들도 활용될 수 있고, 다른 변경들도 이루어질 수 있다. 일반적으로 본 명세서에 기술되고 도면들에 도시된 바와 같이, 본 발명의 양태들은 매우 다양한 구성들로 배치되고, 대체되고, 조합되고, 분리되고, 구성될 수 있고, 그 모든 것들은 본 명세서에 명시적으로 고려된다.
도면들에서 메시지 플로우 다이어그램들, 시나리오들 및 플로우 차트들의 전부 또는 임의의 것과 관련하여, 본 명세서에서 논의된 바와 같이, 각 단계, 블록 및/또는 통신은 예시적 실시예들에 따라 정보의 프로세싱 및/또는 정보의 전송을 표현한다. 대안적 실시예들은 이들 예시적 실시예들의 범위 내에 포함된다. 이들 대안적 실시예들에서, 예를 들면, 단계들, 블록들, 전송들, 통신들, 요청들, 응답들 및/또는 메시지들로서 기술된 기능들은 관련된 기능성에 따라, 실질적으로 동시에 또는 역순을 포함하여, 도시되거나 논의된 것과 다른 순서로 실행될 수 있다. 추가로, 더 많거나 적은 단계들, 블록들 및/또는 기능들이 본 명세서에서 논의된 임의의 메시지 플로우 다이어그램들, 시나리오들 및 플로우 차트들과 함께 사용될 수 있고, 이들 메시지 플로우 다이어그램들, 시나리오들 및 플로우 차트들은 다른 것과 부분적으로 또는 전체적으로 조합될 수 있다.
정보의 프로세싱을 표현하는 단계 또는 블록은 본 명세서에 기술된 방법 또는 기법의 특정 논리적 기능들을 수행하도록 구성되는 회로에 대응한다. 대안적으로 또는 추가적으로, 정보의 프로세싱을 표현하는 단계 또는 블록은 모듈, 세그먼트 또는 프로그램 코드의 부분(관련된 데이터를 포함하여)에 대응한다. 프로그램 코드는 방법들 또는 기법들에서의 특정 논리적 기능들 또는 액션들을 구현하기 위한 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함한다. 프로그램 코드 및/또는 관련된 데이터는 디스크 드라이브, 하드 드라이브 또는 기타 저장 미디어를 포함하는, 저장 디바이스와 같은 임의의 타입의 컴퓨터-판독가능 매체에 저장된다.
또한 컴퓨터-판독가능 매체는 레지스터 메모리, 프로세서 캐시 및/또는 RAM(random access memory)와 같은 단기간 동안 데이터를 저장하는 컴퓨터-판독가능 미디어와 같은 비-일시적 컴퓨터-판독가능 미디어를 포함한다. 또한 컴퓨터-판독가능 미디어는 예를 들면, ROM(read only memory), 광학 또는 자기 디스크들 및/또는 CD-ROM과 같이 이차적 또는 영구적 장기간 스토리지와 같은 장기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비-일시적 컴퓨터-판독가능 미디어를 포함한다. 또한 컴퓨터-판독가능 미디어는 임의의 기타 휘발성 또는 비-휘발성 스토리지 시스템들이다. 컴퓨터-판독가능 매체는 예를 들면, 컴퓨터-판독가능 저장 매체 또는 유형적 스토리지 디바이스를 고려한다.
추가로, 하나 이상의 정보 전송들을 표현하는 단계 또는 블록은 동일한 물리적 디바이스에서 소프트웨어 및/또는 하드웨어 간 정보 전송들에 대응한다. 그러나, 다른 정보 전송들은 서로 다른 물리적 디바이스들에서 소프트웨어 모듈들 및/또는 하드웨어 모듈들 간이다.
본 명세서에 다양한 양태들 및 실시예들이 개시되었지만, 다른 양태들 및 실시예들도 통상의 기술자에게 분명해질 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 도시의 목적이며 제한될 것으로 의도되지 않았고, 진정한 범위는 후속하는 청구항들에 의해 표시된다.

Claims (21)

  1. 방법에 있어서,
    컴퓨팅 시스템에 의해, 복수의 이미지-캡처 시스템들 각각에 의해 동시에 생성되는 장면의 이미지 데이터를 수신하는 단계, 상기 복수의 이미지-캡처 시스템들은 모두 해당 디바이스에 배치되어 있고, 실질적으로 동일한 방향으로 배향되어(oriented) 있으며;
    상기 컴퓨팅 시스템에 의해, 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 2개 이상에 의해 생성된 상기 장면의 이미지 데이터를 분석하는 단계; 및
    상기 선택된 이미지 데이터를 저장하는 단계를 포함하며;
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 상기 이미지 데이터를 선택하는 것은:
    상기 2개 이상의 이미지-캡처 시스템들 각각에 의해 생성된 상기 이미지 데이터의 각 주파수-영역(frequency-domain) 표현을 결정하는 것;
    상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 다른 이미지-캡처 시스템들로부터의 이미지 데이터의 상기 주파수-영역 표현보다 더 많은 양의 고주파수들을 표시하는지 여부를 결정하기 위해, 상기 2개 이상의 이미지-캡처 시스템들에 대응하는 상기 각 주파수-영역 표현들을 비교하는 것을 포함하며, 상기 이미지 데이터의 선택은 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 더 많은 양의 고주파수들을 표시하는지 여부에 적어도 부분적으로 기초하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서,
    상기 의도되지 않은 엘리먼트는 적어도 한 개의 손가락 또는 적어도 손의 일부분인 것을 특징으로 하는 방법.
  3. 청구항 1에 있어서,
    상기 의도되지 않은 엘리먼트는 하나 이상의 머리카락들인 것을 특징으로 하는 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 2개 이상의 이미지-캡처 시스템들에 의해 생성된 상기 이미지 데이터를 분석하는 것은:
    (a) 상기 2개 이상의 이미지-캡처 시스템들 각각에 대해, 가리움 표시자(occlusion indicator)를 결정하기 위해 상기 이미지-캡처 시스템에 의해 생성된 상기 이미지 데이터를 분석하는 것; 및
    (b) 상기 2개 이상의 이미지-캡처 시스템들에 대한 상기 각각의 결정된 가리움 표시자들의 비교에 적어도 부분적으로 기초하여, 상기 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 생성된 상기 이미지 데이터를 선택하는 것을 더 포함하는 것을 특징으로 하는 방법.
  6. 청구항 1에 있어서,
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 2개 이상의 이미지-캡처 시스템들에 의해 생성된 상기 이미지 데이터를 분석하는 것은:
    상기 2개 이상의 이미지-캡처 시스템들 각각에 대한 선명도 측정치(sharpness measure)를 결정하는 것;
    상기 2개 이상의 이미지-캡처 시스템들에 대한 상기 각각의 결정된 선명도 측정치들을 비교하는 것; 및
    상기 각각의 결정된 선명도 측정치들의 상기 비교에 적어도 부분적으로 기초하여, 상기 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 생성된 상기 이미지 데이터를 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  7. 청구항 1에 있어서,
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 상기 이미지 데이터의 선택은:
    만약 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 더 많은 양의 고주파수들을 표시하면, 상기 주파수-영역 표현이 더 많은 양의 고주파수들을 표시하는 이미지 데이터를 선택하는 것; 및
    그렇지 않으면, 상기 2개 이상의 이미지-캡처 시스템들 중 다른 하나로부터 이미지 데이터를 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  8. 청구항 5에 있어서,
    상기 이미지-캡처 시스템들에 대한 상기 결정된 가리움 표시자들에 기초하여 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터 이미지 데이터를 선택하는 것은:
    상기 가리움 표시자가 임의의 의도되지 않은 엘리먼트에 의해 가려지지 않은 시야를 표시하는 상기 2개 이상의 이미지-캡처 시스템들 중 하나를 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  9. 청구항 5에 있어서,
    상기 이미지-캡처 시스템들에 대한 상기 결정된 가리움 표시자들에 기초하여 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터 이미지 데이터를 선택하는 것은:
    상기 2개 이상의 이미지-캡처 시스템들 중 하나 이상의 다른 이미지-캡처 시스템들에 비해, 상기 가리움 표시자가 적어도 의도되지 않은 엘리먼트에 의해 시야의 가리움을 표시하는 상기 2개 이상의 이미지-캡처 시스템들 중 하나를 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  10. 청구항 1에 있어서,
    의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 상기 이미지 데이터를 선택하는 것은:
    제1 상기 이미지-캡처 시스템들에 의해 생성된 상기 이미지 데이터가 상기 이미지-캡처 시스템들 중 하나 이상의 다른 이미지-캡처 시스템들로부터의 상기 이미지 데이터에 포함되지 않은 제1 대상을 포함한다는 것을 결정하는 단계;
    상기 이미지 데이터가 상기 제1 대상을 포함하지 않는 상기 다른 이미지-캡처 시스템들 중 하나를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 청구항 1에 있어서,
    의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 2개 이상에 의해 생성된 상기 장면의 이미지 데이터를 분석하는 단계는:
    (a) 제1 이미지-캡처 시스템의 시야가 의도되지 않은 엘리먼트에 의해 실질적으로 가려졌는지 여부를 결정하기 위해 상기 이미지-캡처 시스템들 중 제1 시스템에 의해 생성된 상기 이미지 데이터를 분석하는 단계;
    (b) 만약 상기 제1 이미지-캡처 시스템의 상기 시야가 의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않았으면, 상기 제1 이미지-캡처 시스템을 선택하는 단계; 및
    (c) 그렇지 않으면, 다음의 이미지-캡처 시스템들에 대해 단계들 (a) 내지 (c)를 반복하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 청구항 1에 있어서,
    상기 복수의 이미지-캡처 디바이스들은 3개 이상의 이미지 캡처 디바이스들을 포함하며, 상기 방법은:
    의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야를 각각 가지는 상기 이미지-캡처 시스템들의 쌍을 선택하기 위해 상기 이미지-캡처 시스템들 중 2개 이상에 의해 생성된 상기 이미지 데이터를 분석하는 단계;
    입체적인 이미지 데이터를 캡처하기 위해 상기 선택된 이미지-캡처 시스템들의 쌍을 동작시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 장치에 있어서,
    복수의 이미지-캡처 시스템들, 상기 이미지-캡처 시스템들의 렌즈들은 상기 장치의 제1 표면에 모두 배치되어 있고 실질적으로 동일한 방향으로 배향되어 있으며; 및
    제어 시스템을 포함하며, 상기 제어 시스템은:
    상기 복수의 이미지-캡처 시스템들 중 2개 이상의 시스템들 각각에 의해 생성된 이미지 데이터를 수신하고;
    의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 2개 이상에 의해 생성된 상기 이미지 데이터를 분석하고; 그리고
    상기 선택된 이미지 데이터를 저장하도록 구성되며;
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 상기 이미지 데이터를 선택하는 것은:
    상기 2개 이상의 이미지-캡처 시스템들 각각에 의해 생성된 상기 이미지 데이터의 각 주파수-영역(frequency-domain) 표현을 결정하는 것;
    상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 다른 이미지-캡처 시스템들로부터의 이미지 데이터의 상기 주파수-영역 표현보다 더 많은 양의 고주파수들을 표시하는지 여부를 결정하기 위해, 상기 2개 이상의 이미지-캡처 시스템들에 대응하는 상기 각 주파수-영역 표현들을 비교하는 것을 포함하며, 상기 이미지 데이터의 선택은 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 더 많은 양의 고주파수들을 표시하는지 여부에 적어도 부분적으로 기초하는 것을 특징으로 하는 장치.
  14. 청구항 13에 있어서,
    상기 의도되지 않은 엘리먼트는 적어도 한 개의 손가락 또는 적어도 손의 일부분인 것을 특징으로 하는 장치.
  15. 삭제
  16. 청구항 13에 있어서,
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 2개 이상의 이미지-캡처 시스템들에 의해 생성된 상기 이미지 데이터를 분석하는 것은:
    (a) 상기 2개 이상의 이미지-캡처 시스템들 각각에 대해, 가리움 표시자(occlusion indicator)를 결정하기 위해 상기 이미지-캡처 시스템에 의해 생성된 상기 이미지 데이터를 분석하는 것; 및
    (b) 상기 2개 이상의 이미지-캡처 시스템들에 대한 상기 각각의 결정된 가리움 표시자들의 비교에 기초하여, 상기 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 생성된 상기 이미지 데이터를 선택하는 것을 포함하는 것을 특징으로 하는 장치.
  17. 청구항 13에 있어서,
    상기 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 생성된 이미지 데이터를 선택하기 위해, 상기 제어 시스템은:
    상기 2개 이상의 이미지-캡처 시스템들 각각에 대한 선명도 측정치(sharpness measure)를 결정하고;
    상기 2개 이상의 이미지-캡처 시스템들에 대한 상기 각각의 결정된 선명도 측정치들을 비교하고; 그리고
    상기 각각의 결정된 선명도 측정치들의 상기 비교에 기초하여, 상기 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 생성된 상기 이미지 데이터를 선택하도록 더 구성되는 것을 특징으로 하는 장치.
  18. 청구항 13에 있어서,
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 상기 이미지 데이터를 선택하기 위해, 상기 제어 시스템은:
    만약 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 실질적으로 더 많은 양의 고주파수들을 표시하면, 상기 주파수-영역 표현이 실질적으로 더 많은 양의 고주파수들을 표시하는 이미지 데이터를 선택하고; 그리고
    그렇지 않으면, 상기 2개 이상의 이미지-캡처 시스템들 중 다른 하나로부터 이미지 데이터를 선택하도록 더 구성되는 것을 특징으로 하는 장치.
  19. 명령들이 저장된 비-일시적 컴퓨터 판독가능 매체에 있어서, 상기 명령들은 컴퓨팅 디바이스에 의해 실행가능하며, 상기 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하며, 상기 동작들은:
    복수의 이미지-캡처 시스템들 각각에 의해 생성되는 이미지 데이터를 수신하는 동작, 상기 복수의 이미지-캡처 시스템들은 모두 해당 디바이스에 배치되어 있고, 실질적으로 동일한 방향으로 배향되어 있으며;
    의도되지 않은 엘리먼트에 의해 실질적으로 가려지지 않은 시야(field-of-view)를 가지는 상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 이미지-캡처 시스템들 중 2개 이상에 의해 생성된 이미지 데이터를 분석하는 동작; 및
    상기 선택된 이미지 데이터를 저장하는 동작을 포함하며;
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 상기 이미지 데이터를 선택하는 것은:
    상기 2개 이상의 이미지-캡처 시스템들 각각에 의해 생성된 상기 이미지 데이터의 각 주파수-영역(frequency-domain) 표현을 결정하는 것;
    상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 다른 이미지-캡처 시스템들로부터의 이미지 데이터의 상기 주파수-영역 표현보다 더 많은 양의 고주파수들을 표시하는지 여부를 결정하기 위해, 상기 2개 이상의 이미지-캡처 시스템들에 대응하는 상기 각 주파수-영역 표현들을 비교하는 것을 포함하며, 상기 이미지 데이터의 선택은 상기 2개 이상의 이미지-캡처 시스템들 중 하나로부터의 이미지 데이터의 상기 주파수-영역 표현이 더 많은 양의 고주파수들을 표시하는지 여부에 적어도 부분적으로 기초하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  20. 청구항 19에 있어서,
    상기 의도되지 않은 엘리먼트는 적어도 한 개의 손가락 또는 적어도 손의 일부분인 것을 특징으로 하는 컴퓨터 판독가능 매체.
  21. 청구항 19에 있어서,
    상기 이미지-캡처 시스템들 중 적어도 하나로부터 이미지 데이터를 선택하기 위해 상기 하나 이상의 이미지-캡처 시스템들에 의해 생성된 상기 이미지 데이터를 분석하는 동작은:
    상기 이미지-캡처 시스템들 중 2개 이상의 시스템들 각각에 대한 선명도 측정치(sharpness measure)를 결정하는 동작;
    상기 2개 이상의 이미지-캡처 시스템들에 대한 상기 각각의 결정된 선명도 측정치들을 비교하는 동작; 및
    상기 각각의 결정된 선명도 측정치들의 상기 비교에 기초하여, 상기 2개 이상의 이미지-캡처 시스템들 중 하나에 의해 생성된 상기 이미지 데이터를 선택하는 동작을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
KR1020167017893A 2013-12-06 2014-12-04 시야의 가리움에 기초한 카메라 선택 KR102240659B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/098,796 US9154697B2 (en) 2013-12-06 2013-12-06 Camera selection based on occlusion of field of view
US14/098,796 2013-12-06
PCT/US2014/068504 WO2015085034A1 (en) 2013-12-06 2014-12-04 Camera selection based on occlusion of field of view

Publications (2)

Publication Number Publication Date
KR20160095060A KR20160095060A (ko) 2016-08-10
KR102240659B1 true KR102240659B1 (ko) 2021-04-15

Family

ID=53272404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167017893A KR102240659B1 (ko) 2013-12-06 2014-12-04 시야의 가리움에 기초한 카메라 선택

Country Status (5)

Country Link
US (1) US9154697B2 (ko)
EP (1) EP3078187A4 (ko)
KR (1) KR102240659B1 (ko)
CN (2) CN105794194A (ko)
WO (1) WO2015085034A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271471A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
DE102015003537B4 (de) 2014-03-19 2023-04-27 Htc Corporation Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras
CN105227947B (zh) * 2014-06-20 2018-10-26 南京中兴软件有限责任公司 污垢检测方法及装置
EP3164831A4 (en) * 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
CN105425527B (zh) * 2014-09-03 2018-03-20 深圳富泰宏精密工业有限公司 多镜头摄像装置
CN105511336A (zh) * 2014-09-26 2016-04-20 鸿富锦精密工业（深圳）有限公司 电子装置控制方法
JP6594025B2 (ja) * 2015-05-08 2019-10-23 キヤノン株式会社 コミュニケーションシステム、その制御方法及びプログラム
JP2016213674A (ja) 2015-05-08 2016-12-15 キヤノン株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP2016213677A (ja) 2015-05-08 2016-12-15 キヤノン株式会社 遠隔コミュニケーションシステム、その制御方法、及びプログラム
US9749543B2 (en) * 2015-07-21 2017-08-29 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras
JP6552315B2 (ja) * 2015-07-27 2019-07-31 キヤノン株式会社 撮像装置
JP6648916B2 (ja) * 2015-07-27 2020-02-14 キヤノン株式会社 撮像装置
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
GB2544970B (en) * 2015-11-27 2018-01-24 Sony Interactive Entertainment Inc Image capture apparatus
US10003738B2 (en) * 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) * 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
FR3046014A1 (fr) * 2015-12-21 2017-06-23 Orange Procede de gestion de ressources sur un terminal
CN105828067A (zh) * 2016-04-19 2016-08-03 奇酷互联网络科技（深圳）有限公司 双摄像头被遮挡的确定方法、确定装置和终端
CN105915785A (zh) * 2016-04-19 2016-08-31 奇酷互联网络科技（深圳）有限公司 双摄像头被遮挡的确定方法、确定装置和终端
CN105828068A (zh) * 2016-05-06 2016-08-03 北京奇虎科技有限公司 一种对摄像头进行遮挡检测的方法、装置及终端设备
CN106056081B (zh) * 2016-05-30 2018-03-27 广东欧珀移动通信有限公司 一种解锁控制方法及终端设备
CN107465912A (zh) * 2016-06-03 2017-12-12 中兴通讯股份有限公司 一种成像差异检测方法和装置
US10198818B2 (en) * 2016-10-12 2019-02-05 Intel Corporation Complexity reduction of human interacted object recognition
CN106572349B (zh) * 2016-11-18 2019-04-12 维沃移动通信有限公司 一种摄像头清洁度的检测方法及移动终端
KR20180092495A (ko) 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
CN107105162A (zh) * 2017-04-28 2017-08-29 努比亚技术有限公司 一种图像采集方法及移动终端
US10547801B2 (en) * 2017-10-26 2020-01-28 International Business Machines Corporation Detecting an image obstruction
US10122969B1 (en) 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
US10558873B2 (en) * 2017-12-14 2020-02-11 Waymo Llc Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
WO2019144262A1 (en) * 2018-01-23 2019-08-01 Sony Mobile Communications Inc. Smudge detection method and apparatus and mobile electronic device
WO2019167044A1 (en) * 2018-02-28 2019-09-06 Rail Vision Ltd System and method for built in test for optical sensors
US10706556B2 (en) 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
CN109104602A (zh) * 2018-09-26 2018-12-28 成都工业学院 一种立体场景拍摄装置
CN109151336B (zh) * 2018-10-15 2020-11-13 长沙智能驾驶研究院有限公司 摄像头的同步方法、装置、系统、存储介质及计算机设备
US10867201B2 (en) * 2019-01-15 2020-12-15 Waymo Llc Detecting sensor occlusion with compressed image data
KR102648912B1 (ko) 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
CN110266914B (zh) * 2019-07-23 2021-08-24 北京小米移动软件有限公司 图像拍摄方法、装置及计算机可读存储介质
CN110458826B (zh) * 2019-08-09 2022-06-03 百度在线网络技术（北京）有限公司 环境亮度检测方法和装置
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN111080571B (zh) * 2019-11-15 2023-10-20 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
CN111582196B (zh) * 2020-02-13 2021-05-04 牧今科技 用于确定相机视场内的遮挡的方法和系统
US11006039B1 (en) 2020-02-13 2021-05-11 Mujin, Inc. Method and system for determining occlusion within a camera field of view
US11796377B2 (en) * 2020-06-24 2023-10-24 Baker Hughes Holdings Llc Remote contactless liquid container volumetry
KR20220083889A (ko) 2020-12-11 2022-06-21 박규섭 운전자 상태 모니터링 방법과 복합 사고예방 메커니즘 및 시스템
US11683598B1 (en) * 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
US20130113888A1 (en) * 2010-06-30 2013-05-09 Fujifilm Corporation Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
US20130314507A1 (en) * 2011-02-01 2013-11-28 Sharp Kabushiki Kaisha Image capturing device and data processing method

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272855A (ja) 1998-03-23 1999-10-08 Leben:Kk 撮像の障害物除去方法
JP2003018479A (ja) * 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法ならびに画像撮像装置
GB0202467D0 (en) * 2002-02-02 2002-03-20 Qinetiq Ltd Sensor with obscurant detection
JP4069855B2 (ja) 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US20050129324A1 (en) 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
JP4699995B2 (ja) * 2004-12-16 2011-06-15 パナソニック株式会社 複眼撮像装置及び撮像方法
CN100477739C (zh) * 2004-12-16 2009-04-08 松下电器产业株式会社 复眼摄像装置
US7688379B2 (en) * 2005-12-09 2010-03-30 Hewlett-Packard Development Company, L.P. Selecting quality images from multiple captured images
JP4789695B2 (ja) 2006-05-15 2011-10-12 オリンパスイメージング株式会社 カメラ、合成画像撮影方法およびプログラム
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8086036B2 (en) * 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US20090174773A1 (en) * 2007-09-13 2009-07-09 Gowdy Jay W Camera diagnostics
US8593572B2 (en) * 2008-01-30 2013-11-26 Csr Technology Inc. Video signal motion detection
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
KR101436327B1 (ko) 2008-07-31 2014-09-01 삼성전자주식회사 배경 우선 촬상 방법 및 촬상 장치
JP5104709B2 (ja) * 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
US20110010626A1 (en) * 2009-07-09 2011-01-13 Jorge Fino Device and Method for Adjusting a Playback Control with a Finger Gesture
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8456518B2 (en) * 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
JPWO2012002039A1 (ja) 2010-06-29 2013-08-22 富士フイルム株式会社 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
JP2013253995A (ja) 2010-09-30 2013-12-19 Panasonic Corp ステレオ撮影装置
US8964025B2 (en) 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
US8723824B2 (en) 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US20130156343A1 (en) * 2011-12-20 2013-06-20 Harman International Industries, Incorporated System for communicating relationship data associated with image characteristics
CN103400129A (zh) * 2013-07-22 2013-11-20 中国科学院光电技术研究所 一种基于频域显著性的目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113888A1 (en) * 2010-06-30 2013-05-09 Fujifilm Corporation Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
US20130314507A1 (en) * 2011-02-01 2013-11-28 Sharp Kabushiki Kaisha Image capturing device and data processing method

Also Published As

Publication number Publication date
US20150163400A1 (en) 2015-06-11
EP3078187A1 (en) 2016-10-12
CN112492170A (zh) 2021-03-12
KR20160095060A (ko) 2016-08-10
WO2015085034A1 (en) 2015-06-11
CN112492170B (zh) 2022-06-28
CN105794194A (zh) 2016-07-20
EP3078187A4 (en) 2017-05-10
US9154697B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
KR102240659B1 (ko) 시야의 가리움에 기초한 카메라 선택
US9918065B2 (en) Depth-assisted focus in multi-camera systems
US11210799B2 (en) Estimating depth using a single camera
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US9253375B2 (en) Camera obstruction detection
US9615012B2 (en) Using a second camera to adjust settings of first camera
US9066017B2 (en) Viewfinder display based on metering images
US9100589B1 (en) Interleaved capture for high dynamic range image acquisition and synthesis
US9117134B1 (en) Image merging with blending
CN108028895B (zh) 有缺陷的图像传感器元件的校准
US20140226858A1 (en) Method of tracking object using camera and camera system for object tracking
JP5802858B2 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
US9247152B2 (en) Determining image alignment failure
US10827107B2 (en) Photographing method for terminal and terminal
WO2014190051A1 (en) Simulating high dynamic range imaging with virtual long-exposure images
CN107707789B (zh) 提供场景彩色高分辨率图像的方法、计算设备和存储介质
US20230033956A1 (en) Estimating depth based on iris size
CN111164647B (zh) 使用单个相机估算深度

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right