KR20100102186A - 뎁스 맵 생성을 이용하는 방법 및 장치 - Google Patents

뎁스 맵 생성을 이용하는 방법 및 장치 Download PDF

Info

Publication number
KR20100102186A
KR20100102186A KR1020107016674A KR20107016674A KR20100102186A KR 20100102186 A KR20100102186 A KR 20100102186A KR 1020107016674 A KR1020107016674 A KR 1020107016674A KR 20107016674 A KR20107016674 A KR 20107016674A KR 20100102186 A KR20100102186 A KR 20100102186A
Authority
KR
South Korea
Prior art keywords
image
depth map
lens position
interest
lens
Prior art date
Application number
KR1020107016674A
Other languages
English (en)
Other versions
KR101554639B1 (ko
Inventor
레자 사파이-라드
밀리보제 알레크식
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20100102186A publication Critical patent/KR20100102186A/ko
Application granted granted Critical
Publication of KR101554639B1 publication Critical patent/KR101554639B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

뎁스 맵이 싱글 카메라(예를 들어, 카메라의 싱글 렌즈)를 사용하여 생성되고, 복수의 이미지들이 그 카메라에 의해 캡쳐되는, 장치 및 방법이 개시된다. 일 예에서, 싱글 디지털 카메라가 렌즈 위치 데이터에 기반하여 렌즈 위치들의 세트에 대응하는 임지들의 세트를 캡쳐하도록 사용된다. 이 예에서, 렌즈 위치 데이터는 균일 또는 비균일 렌즈 위치 데이터 중 어느 하나일 수 있다. 방법 및 장치는 각각의 이미지의 세트에서 복수의 관심있는 영역들 각각에 대해 초점 메트릭 정보를 결정한다. 세트에 있는 이미지들로부터 초점 메트릭 정보에 기반하여 관심있는 영역들 각각에 대한 최상의 렌즈 위치에 대한 결정이 이루어지고 뎁스 맵에 데이터로서 저장된다. 최종 이미지에 대해 수행될 컬러 동작의 타입, 또는 임의의 다른 적절한 이미지 생성 동작을 결정하기 위해, 최종 이미지를 캡쳐하기 위해 플래시를 사용할지 안할지 여부를 결정하는 것과 같이, 이미지 생성 동작들은 그리고나서 생성된 뎁스 맵에 기반하여 수행된다. 일 예에서, 뎁스 맵은 특정 관심있는 영역에 대해 캡쳐된 다양한 이미지들 중에서 최상의 초점 메트릭을 선택함으로써 생성된다. 뎁스 맵이 복수의 이미지들로부터의 데이터를 이용하여 생성되고 나면, 뎁스 맵 기반 제어 로직이 그리고나서 이미지 프로세싱 동작을 수행하기 위해 뎁스 맵을 어떻게 사용할지를 결정한다. 다른 이점들 중에서, 이미지 프로세싱 동작들에서 사용하기 위한 뎁스 맵을 생성하기 위해 복수의 카메라들은 이용될 필요가 없고, 외부 광 센서들이 이용될 필요가 없다. 다른 이점들이 당해 기술 분야에 속한 통상의 지식을 가진 자에 의해 인식될 것이다.

Description

뎁스 맵 생성을 이용하는 방법 및 장치{METHOD AND APPARATUS WITH DEPTH MAP GENERATION}
본 출원은 발명자는 Reza Saface-Rad 등이고, 본 양수인에게 양도되고 여기서 참조로써 통합된, 대리인 관리 번호 00100.07.0059이고, 동일한 날에 출원된 "METHOD AND APPARATUS WITH FAST CAMERA AUTO FOCUS"와 관련된다.
고정된 초점 거리(focal length) 렌즈들을 이용하는 디지털 카메라들은 셀룰러 전화들, 랩톱들 및 다른 디바이스들과 같은 모바일 디바이스들에서 사용된다. 이러한 카메라들은 짧고 고정된 초점 거리를 발생하는 광각(wide angle) 렌즈를 가진다. 자동 초점 동작들은 셀 폰 또는 디지털 카메라의 사용자가 이미지를 자동 초점 맞추기 위해 푸쉬 버튼을 반 정도 누른 채 유지할(hold down) 수 있고, 그 후에 사용자가 최종 이미지를 캡쳐하기 위해 완전히 눌러진 위치로 버튼을 계속 누를 수 있는 것으로 알려져 있다. 그러나, 알려진 자동 초점 동작들은 예를 들어 255개의 위치들의 범위에 걸쳐 매 25개의 위치들과 같은 균일한 방식으로 렌즈를 이동시킬 수 있고, 10-12개의 프레임들의 프로세싱을 초래하는 25개의 위치들 중 매 균일한 렌즈 위치에서 이미지를 캡쳐할 수 있다. 10개 또는 그러한 이미지들을 캡쳐하고 그 이미지들로부터 자동 초점 알고리즘이 최상의 이미지를 결정하는 것은, 모바일 디바이스에 대한 전력 소모(drain)를 초래할 수 있고 시간이 지남에 따라 배터리 사용량에 크게 영향을 미칠 수 있다. 또한, 만약 플래시가 최종 이미지를 얻기 위해 사용되면, 플래시가 실제로 필수적이거나 유용하지 않은 경우, 추가적인 전력 소모가 모바일 디바이스의 성능을 디그레이드할 수 있다. 또한, 균일한 초점 렌즈 위치 방식을 이용하여, 디바이스들로 하여금 자동 초점 결정을 위해 많은 프레임들을 캡쳐하고 프로세싱하도록 요구하는, 10 또는 12개의 프레임들이 선택될 수 있다. 이는 추가적인 프로세싱 시간을 필요로 할 수 있고 사용자는 종료될 자동 초점 동작을 위한 불필요한 시간의 양을 기다려야만 할 수 있다.
비균일한 렌즈 위치들을 자동초점 프로세스의 부분으로서 사용하는 것도 공지되어 있다. 예를 들어, 최상의 렌즈 위치를 찾기 위해, 다양한 자동-초점 탐색 전력들이 사용될 수 있다. 이러한 방법들은 렌즈 위치가 어떻게 업데이트되는지를 결정한다(얼마나 많이 어떤 방향으로). 탐색 방법은 자동-초점 프로세스의 속도 및 정확도에 영향을 미칠 수 있다. 최상의 렌즈 위치를 찾기 위해 사용되는 렌즈 위치들의 세트가 비-균일한(또는 균일한) 인터벌들에 기반할 수 있다. 비-균일한 렌즈 위치들은 초점-메트릭 값들의 변화의 결정된 레이트에 기반하여 플라이(fly) 상에서 다이내믹하게 일반적으로 설정된다. 즉, 만약 초점-메트릭 값의 변경의 레이트가 높을 디바이스에 있는 프로세스에 의해 결정되면, 더 짧은 렌즈 위치 인터벌들이 사용되고, 만약 초점-메트릭 값의 변경의 레이트가 낮으면, 더 긴 인터벌들이 사용된다. 그러나, 변경의 레이트들을 결정하고 그리고나서 사용하기 위한 적절한 인터벌을 결정하는 것은 어려울 수 있다.
특히 모바일 디바이스 사용이 급격히 증가하기 때문에, 모바일 디바이스들 또는 비-모바일 디바이스들상의 자동 초점 속도를 개선하고 전력 소모를 줄이는 것은 굉장히 중요하다. 이러한 개선들의 필요는 수많은 해 동안 존재했다. 그러나 알려진 현재의 솔루션들은 여전히 불필요한 시간의 양 및/또는 전력 소비를 필요로 할 수 있다.
뎁스 맵 생성에 관하여, 멀티-카메라 이미지 프로세싱 시스템(예를 들어, 칼리브레이션된 스테레오 비젼 시스템)은, 자동차들을 안내하기 위한 자동화된-자동차 안내 시스템에서와 같이 상이한 애플리케이션들에 대해 사용될 시계(field of view) 중 관심있는 영역들을 포함하는 이미지 뎁스 맵을 생성하기 위해 렌즈를 이용하는 복수의 카메라들을 이용할 수 있다. 이러한 시스템들을 이용하는 뎁스 맵들을 생성하는 것은 매우 복잡하고 복수의 프리-칼리브레이션된 카메라들을 필요로 하는 값 비싼 프로세스를 초래할 수 있다. 그러나, 또한 플래시/비-플래시 선택의 더욱 효율적인 사용, 더 양호한 노출 추정, 더욱 효율적인 화이트 밸런싱 및 개선된 컬러 보정-매트릭스 선택과 같은, 다양한 디지털 카메라 기능들/동작들을 개선하기 위해 더 단순한 뎁스-맵 생성(전경(foreground) 및 배경으로의 시계의 분할)을 위한 필요가 존재한다.
일반적으로, 뎁스 맵이 싱글 카메라(예를 들어, 카메라의 싱글 렌즈)를 사용하여 생성되며, 복수의 이미지들이 카메라에 의해 캡쳐되는 장치 및 방법이 개시된다. 일 예에서, 싱글 디지털 카메라는 렌즈 위치 데이터에 기반하여 렌즈 위치들의 세트에 대응하는 이미지들의 세트를 캡쳐하기 위해 사용된다. 이 예에서, 렌즈 위치 데이터는 균일 또는 비균일 렌즈 위치 데이터 중 어느 하나일 수 있다. 방법 및 장치는 세트의 각각의 이미지에서 복수의 관심있는 영역들의 각각에 대해 초점 메트릭 정보를 결정한다. 세트에 있는 이미지들로부터 초점 메트릭 정보에 기반하여 관심있는 영역들의 각각에 대한 최상의 렌즈 위치의 결정이 이루어지며, 뎁스 맵에서 데이터로서 저장된다. 이미지 생성 동작들은 그리고나서 최종 이미지에 대해 수행될 컬러 동작 또는 임의의 다른 적절한 이미지 생성 동작의 타입을 결정하기 위해, 최종 이미지를 캡쳐하기 위해 플래시를 사용할지 안할지 여부를 결정하는 것과 같이, 생성된 뎁스 맵에 기반하여 수행된다. 일 예에서, 뎁스 맵은 특정 관심있는 영역에 대해 캡쳐되었던 다양한 이미지들 중에서 최상의 초점 메트릭을 선택함으로써 생성된다. 뎁스 맵이 복수의 이미지들로부터 데이터를 사용하여 생성되면, 뎁스 맵 기반 제어 로직이 그리고나서 이미지 프로세싱 동작을 수행하기 위해 어떻게 뎁스 맵을 사용할지를 결정한다.
다른 이점들 중에서, 복수의 카메라들이 이용될 필요가 없고, 이미지 프로세싱 동작들에서 사용하기 위한 뎁스 맵을 생성하기 위해 외부 빛(light) 센서들이 이용될 필요가 없다. 다른 이점들이 당해 기술 분야에 속한 통상의 지식을 가진 자에 의해 인식될 것이다.
다른 실시예에서, 방법 및 장치가 미리 결정된 비균일한 렌즈 위치 데이터에 대응하는 복수의 미리 결정된 비균일한 렌즈 위치들로 디지털 카메라의 적어도 하나의 렌즈를 변경, 위치시키는 것에 의한 것처럼, 하고, 미리 결정된 비균일한 렌즈 위치 데이터에 기반하여 렌즈에 대한 렌즈 위치를 선택함으로써 자동 초점 시스템을 개선시킨다. 미리 결정된 비 균일한 렌즈 위치 데이터는 예를 들어 미리 결정될 수 있고 메모리에 저장될 수 있으며, 저항(resistive) 어레이를 통해 제공될 수 있으며, 또는 임의의 적절한 방식으로 제공될 수 있다. 미리 결정된 비균일한 렌즈 위치 데이터는 최종 이미지를 획득하기 위해 초점을 맞추도록 사용될 수 있고, 선험적으로(apriori) 결정되며, 특정 카메라 렌즈의 광학적 특성들에 기반하는 최적의 렌즈 위치들의 세트 또는 최소 수의 최적의 렌즈를 나타낸다. 일 예에서, 데이터는 (예를 들어, 최적의 렌즈 위치들의 특성 커브를 따른 포인트들 vs. 고정된 초점 거리 렌즈에 대한 물체 거리) 렌즈 위치에 대응하는 경험적으로 획득된 정보 대 기준의 포인트로부터의 물체 거리를 나타낸다. 일 예에서, 고정된 수의 미리 정의된 비균일한 렌즈 위치들은 자동 초점 동작 동안 이미지들을 캡쳐하기 위해 사용되는 최적의 비균일한 렌즈 위치들의 세트를 정의한다. 최종 이미지가 미리 결정된 비균일한 렌즈 위치들 중 하나를 이용하여 캡쳐된다. 미리 결정된 비균일한 렌즈 위치들의 세트로부터의 최상의 초점 렌즈 위치가, 다양한 비균일한 초점 렌즈 위치들에서 획득되는 프레임들의 각각으로부터 초점 메트릭 정보를 비교하고, 예를 들어 최종 사진 또는 이미지 캡쳐에 대해 사용될 렌즈 위치로서 최상의 초점 메트릭을 가진 프레임을 선택함으로써 결정된다. 초점 메트릭 정보가 요구된다면 프레임-당 기준으로 또는 관심있는 영역-당 기준으로 생성될 수 있다.
다른 이점들 중에서, 더 빠른 자동 초점 프로세스가 발생할 수 있고, 더 적은 수의 이미지들이 예를 들어 균일한 렌즈 위치 기반 이미지 샘플링을 이용하는 시스템들로 비교되는 최상의 렌즈 위치를 결정하기 위해 획득될 필요가 있다. 또한, 미리 결정된 비균일한 렌즈 위치들의 세트를 이용하는 것은 다이내믹 비균일한 렌즈 위치 결정 및 인터벌 결정 프로세스에 대한 필요를 제거한다. 이렇게, 미리 결정된 비균일한 렌즈 위치들의 세트 중 하나 이상으로부터 획득되는 이미지들의 더 적은 프레임들을 이용하는 것은, 이미지가 캡쳐될 때까지 사용자가 오래 기다릴 필요 없도록 자동 초점 프로세스를 스피드 업(speed up)할 수 있고, 디바이스의 배터리의 더 적은 전력 소비를 초래하여 성능을 개선시킬 수 있다.
여기서 사용되는 것처럼, 용어들 "모듈", "회로", "로직", "구동기", 및/또는 "단계"는 설명된 기능을 제공하는 메모리, 결합된 로직 회로들, ASIC들 및/또는 다른 적절한 컴포넌트들에 저장된 하나 이상의 소프트웨어 또는 펌웨어 프로그램들을 실행하는 전자 회로, 하나 이상의 프로세서들(예를 들어, 마이크로프로세서들, DSP들, 또는 중앙 연산 장치(CPU)에 제한되지는 않는, 공유, 전용, 또는 프로세서들의 그룹)을 포함할 수 있다.
본 발명은 아래의 도면들을 수반하는 경우 다음의 설명의 관점에서 더욱 쉽게 이해될 것이고, 도면들에서 동일한 참조 부호들은 동일한 엘리먼트들을 표현한다:
도 1은 본 명세서의 일 실시예에 따라 자동 초점 회로의 하나의 예를 도시하는 블록 다이어그램이다;
도 2는 본 명세서에서 설명되는 예에 따른 자동 초점 시스템을 개선하기 위한 방법의 일 예를 도시하는 플로우 차트이다;
도 3은 본 명세서에서 설명되는 일 실시예에 따른 미리 결정된 비균일한 초점 위치 데이터의 일 예를 도시하는 예이다;
도 4는 본 명세서에서 일 예에 따른 모바일 디바이스의 일 예를 도시하는 블록 다이어그램이다;
도 5는 본 명세서에서 설명되는 일 예에 따른 자동 초점 시스템을 개선하기 위한 방법의 일 예를 도시하는 플로우 차트이다;
도 6은 본 명세서에서 설명되는 일 예에 따른 뎁스 맵 생성 로직을 이용하는 장치의 일 예를 도시하는 블록 다이어그램이다;
도 7은 본 명세서에서 설명되는 일 예에 따른 뎁스 맵 생성 로직의 일 예를 도시하는 블록 다이어그램이다;
도 8은 본 명세서에서 설명되는 일 예에 따른 디지털 카메라 이미지 생성을 개선하기 위한 방법의 일 예를 도시하는 플로우 차트이다;
도 9는 본 명세서에서 설명되는 일 예에 따른 복수의 이미지들로부터 도추로딜 수 있는 뎁스 맵을 생성하기 위해 사용되는 데이터의 일 예를 도시한다;
도 10은 본 명세서에서 설명되는 일 예에 따른 디지털 카메라 이미지 생성을 개선하기 위한 방법의 일 예를 도시하는 플로우 차트이다;
도 11은 본 명세서에 따른 뎁스 맵 정보를 통신하는 시스템의 일 예를 도시하는 블록 다이어그램이다;
도 12는 본 명세서에서 일 예에 따른 뎁스 맵을 생성하기 위해 사용될 수 있는 위치 데이터의 일 예를 도시한다.
도 1은 자동 초점 제어 로직(12), 결정된 비균일한 렌즈 위치 데이터(18)를 포함하는 메모리(14) 및 고정된 초점 거리 렌즈를 가진 싱글 디지털 카메라와 같은 카메라(16)를 포함하는 장치(10)를 도시한다. 그러나, 임의의 적절한 카메라가 이용될 수 있다. 장치(10)는 예를 들어 디지털 카메라가 그 안에 집적화된 셀 폰, 핸드헬드 디지털 카메라, 또는 디지털 카메라를 이용하거나 직접적으로 또는 간접적으로 디지털 카메라와 연결된 임의의 적절한 디바이스일 수 있다. 자동 초점 제어 로직(12)은 이상 로직, 저장된 컴퓨터 판독가능 명령들 또는 임의의 다른 적절한 구조를 실행하는 하나 이상의 프로세서들을 포함하는 임의의 적절한 구조로서 구현될 수 있으나 이에 제한되지는 않는다. 메모리(14)는 레지스터들, 액세스 가능한 메모리와 같은 임의의 적절한 형태인 RAM, ROM일 수 있거나, 호스트 메모리, 로컬 캐시 메모리 또는 임의의 다른 적절한 메모리를 포함하는 임의의 다른 적절한 메모리일 수 있다. 미리 결정된 비균일한 렌즈 위치 데이터(18)는 예를 들어 주어진 카메라에 대해 비균일한 렌즈 위치 데이터를 표시하는 집적 회로로의 입력 포트로의 전압 레벨들을 제공하는 저항 어레이의 형태로 제공될 수 있다. 디지털 카메라의 각각의 제조자는 상이한 특징들을 가질 수 있고, 미리 결정된 비균일한 렌즈 위치 데이터를 구별하는 것이 사용되고 있는 특정 카메라에 의존하여 이용될 수 있다.
또한 도 2 및 3을 참조하여, 예를 들어, 자동 초점 제어 로직(12) 및 장치(10)에 의해 수행될 수 있는 방법이 개시된다. 또한, 그래픽 도시가 미리 결정된 비균일한 렌즈 위치 데이터(18)(8개의 비-제로 닷(dot)들)를 도시하고, 이 값들은 메모리(14)에 저장될 수 있거나 저항 어레이를 통해 또는 임의의 다른 적절한 방식으로 제공될 수 있다. 이 정보는 장치(10)에서 카메라(16)의 경험적 테스팅을 통해 선험적으로 획득될 수 있거나 임의의 다른 적절한 방식으로 획득될 수 있다. 이렇게, 데이터는 인터넷 또는 다른 네트워크를 통해 다운로드 가능할 수 있거나 메모리(14)와 같은 EEPROM에 저장될 수 있거나 임의의 적절한 방식을 통해 자동 초점 제어 로직(12)에 제공될 수 있다. 도시된 것처럼, 미리 결정된 비균일한 렌즈 위치 데이터(18)는 예를 들어 전체 255개 중 다수의 포지셔닝 스텝들과 같은 다수의 스텝들에 대하여 렌즈 위치를 나타내며, 물체가 그 지점들에서 초점이 맞춰진 주어진 렌즈 위치에서 카메라로부터 떨어진 결정된 물체 거리를 나타낸다. 예로써, 약 155의 미리 결정된 비균일한 렌즈 위치가, 물체 거리가 카메라로부터 118cm인 경우에 사용되는 것으로 도시된다. 카메라에 더 가까운 물체가 발견되면, 4개의 렌즈 위치들이 자동 초점 동작을 위해 사용될 필요가 있다. 예를 들어, 만약 물체 거리가 100cm이면, 5번째 렌즈 위치가 사용된다.
도 2를 참조하면, 방법은 단계(202)에서 도시되는 것처럼, 미리 결정된 비균일한 렌즈 위치 데이터(18)에 대응하는 복수의 비균일한 렌즈 위치들로 카메라(16)의 렌즈를 포지셔닝 또는 변경하는 것을 포함한다. 이렇게, 자동 초점 제어 로직(12)은, 예를 들어, 렌즈가 이 위치에서 이미지를 캡쳐하고 렌즈가 비균일한 렌즈 위치들(18) 중 하나였던 경우 획득된 캡쳐된 이미지 또는 프레임(220)으로 다시 통신하는 카메라를 포지션하기 위해, 미리 결정된 비균일한 렌즈 위치 제어 정보(20)를 카메라(16)로 전송한다. 각각의 수신된 캡쳐된 이미지는 그리고나서 프레임 기초로 또는 서브프레임 기초로 이미지가 주어진 렌즈 위치에서 얼마나 선명(sharp)한지를 표시하는 값과 같은 이미지 선명도 메트릭 정보를 결정하기 위해 자동 초점 제어 로직(12)에 의해 분석된다. 주어진 이미지에 대한 이 정보는 그리고나서 임시적으로 메모리에 저장될 수 있다. 자동 초점 제어 로직은 그리고나서 미리 결정된 비균일한 렌즈 위치 제어 정보(20)를 이용하여 다음 요구되는 렌즈 위치로 렌즈를 이동시키며 다른 이미지가 이 렌즈 위치에서 카메라(16)에 의해 캡쳐된다. 새로운 프레임에 대한 선명도 이미지 메트릭 정보가 획득되고 이전의 이미지의 이전 이미지 초점 메트릭과 비교된다. 만약 더 선명한 이미라고 결정되면, 다음 캡쳐된 이미지와의 비교를 위해 저장된다. 프로세스는 그리고나서 자동 초점 프로세스가 힐 클라이밍(hill climbing) 방법, 풀(full) 탐색 방법 또는 다른 방법을 사용하는지 여부에 의존하는 미리 결정된 비균일한 위치 데이터(18)에의해 섹별되는 각각의 요구되는 비균일한 렌즈 위치들에 대해 계속된다. 블록(204)에서 도시되는 것처럼, 방법은 예를 들어 최상의 이미지 선명도 메트릭을 가진 프레임을 생성한 렌즈 위치를 선택함으로써, 비균일한 렌즈 위치들에 기반하여 최적의 렌즈 위치를 선택하는 단계를 포함한다. 이 렌즈 위치는 그리고나서 사용자가 캡쳐하기를 원하는 최종 이미지를 캡쳐하기 위해 렌즈 위치로서 사용된다. 미리 결정된 비균일한 렌즈 위치 데이터(18)가 예를 들어, 온라인 자동 초점 프로세스동안 사용될 메모리(14)에 있는 룩업 테이블로서 저장될 수 있다.
다른 공지된 시스템들과 비교하면, 예를 들어 매 25 스텝들과 같이 균일한 렌즈 위치들을 사용하는 자동 초점 시스템에 대해 일반적일 수 있는 최대 11개인 것에 대조적으로 최대로 단지 7 또는 8개의 프레임들(각각의 비균일한 렌즈 위치에서 하나)이 캡쳐되거나 평가(evaluate)될 필요가 있기 때문에, 상기 프로세스는 더 빠른 자동 초점 프로세스를 도출할 수 있다. 이는 또한 더 적은 프레임들이 캡쳐되고 자동 초점 프로세스의 부분으로서 분석되기 때문에 더 적은 전력 소비를 초래할 수 있다. 다른 이점들이 당해 기술 분야에 속한 통상의 지식을 가진 자에 의해 인식될 것이다.
미리 결정된 비균일한 위치 데이터(18)가 임의의 적절한 방식으로 획득될 수 있음이 인식될 것이다. 하나의 기술이 예를 들어 고정된 초점 거리들을 가진 셀 전화 카메라들 또는 다른 카메라들에 대해 혼동의 원(a circle of confusion)의 수용가능한 크기를 설정하기 위한 것일 수 있다. 상이한 카메라 제조자들은 상이한 혼동의 원(마이크론의 직경)을 가질 수 있다. 이 정보는 제조자들에 의해 제공될 수 있거나 당해 기술 분야에서 알려진 것처럼 실험을 통해 결정될 수 있다. 피사계 심도(depth of field) 대 렌즈 위치가 또한 결정될 수 있고 전체 초점 범위를 커버하기 위해 필드 오버랩의 심도를 가지는 포커스 거리(focus distance)들은 비균일한 렌즈 위치들로서 사용된다. 예를 들어, 5.6mm x 4.2mm의 사이즈를 가진 렌즈들(센서)에 대해, 렌즈 초점 거리는 5.6mm일 수 있고 혼동의 원 사이즈는 9.5마이크론으로 추정될 수 있다. 1,179mm의 하이퍼 초점 거리(hyper focal length)가 이용될 수 있다. 이렇게, 미리 결정된 비균일한 위치 데이터(18)에 의해 식별되는 최적의 렌즈 위치들이 도 3에서 도시된다. 비균일한 렌즈 위치 데이터(18)는 도 3에서, 예를 들어, 도시되는 것처럼 렌즈 특성 곡선과 연관되는 비균일한 렌즈 위치들(또는 이동 스텝들)을 나타낸다.
일 예로써, 도 3의 미리 결정된 비균일한 렌즈 위치들(및 헨스(hens) 대응하는 데이터(18))이 셀 폰 카메라에 대해 다음과 같이 설정될 수 있다. 센서 사이즈: 2.7 마이크론 픽셀 사이즈를 가지는 3.2 MP 렌즈: 초점 거리: 5.6mm 고정된 조리개: 2.8(F 숫자) CoC 직경: 9.5 마이크론
30%의 상대적 명암(contrast)에서의 이 셀-전화 카메라에 대한 측정된 해상도는 MTF30 = 0.283 사이클들/픽셀이다. 그리고나서 혼동의 원(COC; Circle of Confusion)은 측정된 MTF30에 기반하여 9.5마이크론과 동일할 것이다.
상기의 정보(F 숫자, 초점 거리 및 CoC 직경)를 이용하여, 심도(DOF, 뒤 그리고 앞)가 각각의 물체 거리에 대해 계산될 수 있다. 즉, 각각의 렌즈 위치에 대해, 초점이 맞춰진 물체 거리들의 범위가 추정된다. 만약 선택된 물체 거리들이 초점이 맞춰진 물체-거리들의 범위가 중첩되면, 이는 최소 수의 비균일한 렌즈 위치들로서 지정된다. 다음의 표 Ⅰ은 선택된 물체 거리들(제 1 열) 및 그들의 대응하는 초점이 맞춰진 물체-거리들의 범위(제 4 열)를 보여준다. 그리고나서 대응하는 렌즈 위치들(제 5열)이 설정될 수 있다(즉, 물체 거리들의 각각에서의 물체를 배치하고 -- 제 1 열 -- 자동-초점 프로세스를 통해 최적의 렌즈 위치를 찾음으로써). 일 예로써, 거리들 153mm 내지 205mm에서의 모든 물체들은, 우리가 렌즈를 위치 56에 배치하는 경우에 초점이 맞춰질 것이다. 다른 예로, 렌즈 위치 93은 거리들 204mm 내지 297mm에 있는 모든 물체들을 커버할 것이다.
표의 마지막 물체 위치(1179mm)는 초점이 맞춰진 물체 거리들의 가장 큰 범위: 590mm 내지 무한대를 커버하는 하이퍼-초점 거리로 지칭된다. 즉, 만약 우리가 렌즈를 위치 155에 배치하면, 590mm 내지 무한대에 배치된 모든 물체들이 초점이 맞춰진다. 표 1
Figure pct00001
상기 예는 다음을 보여준다:
오직 8개의 비-균일한 렌즈 위치들(0, 7, 12, 33, 56, 93, 119 및 155)이 자동-초점 프로세스 동안 예를 들어 11개의 균일한 렌즈 위치들(0, 25, 50, 75, ..., 250) 대신에 사용될 수 있다. 그것은 자동-초점 프로세스를 위한 렌즈 위치들의 상당한 감소이다.
예상된 것처럼, 렌즈 위치들의 대부분은 짧은 거리들(즉, 80mm 내지 600mm)에 있는 물체에 관련된다. 사실, 심도가 짧은 거리들 하에서 매우 좁고/얕기때문에, 짧은-거리 물체들에 대한 더 많은 수의 렌즈 위치들은 더 신뢰성 높은 초점 위치 결정을 제공한다.
자동-초점 동작에 대한 렌즈 위치들의 수를 더욱 많이 감소시키기 위해, 3개의 모드들이 사용될 수 있다: (a) 매크로 모드: 짧은 거리들(80mm 내지 600mm)에 있는 물체 (b) 풍경(landscape) 모드: 긴 거리들(600mm보다 큰)에 있는 물체들 (c) 일반(normal) 모드: 디폴트 모드가 전체 범위(80mm 내지 무한)를 커버할 것이다.
도 4는 카메라(16)를 포함하는, 핸드헬드 디바이스(100)의 일 예를 예시화하는 블록 다이어그램을 도시한다. 핸드헬드 디바이스(100)는 모바일 폰, 개인 휴대 단말("PDA"), 휴대용 오디오 또는 비디오 플레이어, 또는 카메라 액세사리를 포함하는 다른 모바일 디바이스들일 수 있다. 당해 기술 분야에서 인식되는 카메라(16)는 일반적으로 고정된 초점 거리 렌즈를 가지는 CCD(charge-coupled device) 이미지 센서 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서를 포함하는 디지털 카메라이다. 그러나, 제한된 사이즈 및 핸드헬드 디바이스의 전력 소비 요구사항들을 갖춘 임의의 카메라가 또한 사용될 수 있다.
일 예에서, 핸드헬드 디바이스(100)는 모바일 전화일 수 있고 당해 기술 분야에서 공지된 것처럼 무선 전화 서브시스템(112)으로 또는 무선 전화 서브시스템으로부터 무선 신호(160)를 전송하거나 수신하기 위해 안테나(110)를 포함할 수 있다. 무선 전화 서브시스템(112)으로 인터페이스 신호(168)를 동작하거나, 셔터 버튼 신호(118)를 통해 카메라(16)를 이용하여 이미지의 캡쳐를 개시하는 것과 같이, 사용자 인터페이스(108)는 핸드헬드 디바이스(100)의 특징들에 액세스하기 위해 사용자에게 제공된다. 사용자 인터페이스(108)는 키패드들, 버튼들, 및 디스플레이(114)를 통한 피드백(188)과 같은 컴포넌트들의 조합을 포함하는 핸드헬드 디바이스(100)로 사용자를 일반적으로 접속시키나, 이에 한정되는 것은 아니다. 음성 인식 및 터치-스크린들과 같은, 다른 사용자 인터페이스 메커니즘들이 널리 이용가능하며 당해 기술 분야에서 공지되었음이 인식되며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 핸드헬드 디바이스에 대해 적절한 임의의 사용자 인터페이스가 사용될 수 있음을 인식할 것이다. 디스플레이(114)는 LCD(liquid crystal display), LCD-TFT(LCD-Thin Film Transistor), OLED(Organic Light Emitting Diode), 및 FED(Field Effect Display)와 같은 핸드헬드 애플리케이션들에 적절한 임의의 디스플레이일 수 있으나, 이에 한정되는 것은 아니다. 대안적으로, 다른 서브시스템들(116)은 시스템 버스(166)를 통해 사용자 인터페이스(112)로 접속하도록 제공될 수 있다. 다른 서브시스템들(116)은 오디오 플레이어들, 비디오 플레이어들, 개인 정보 관리자(PIM)들, 음성 녹음기들, 인터넷 액세스, 또는 메시징 애플리케이션들을 포함할 수 있으나, 이에 한정되지는 않는다.
일 예에서, 사용자는 사용자 인터페이스(108)를 통해 핸드헬드 디바이스(100)상의 이미지를 캡쳐하는 것을 개시한다. 예를 들어, 지정된 버튼을 절반 정도 누르는 것이 셔터 버튼 신호(118)로 하여금 자동-초점 루틴을 개시하도록 할 수 있거나, 또는 완전히-누르는 것이 메모리에 저장되고 그리고/또는 디스플레이 데이터(164)로서 디스플레이될 수 있는 최종 이미지를 캡쳐하기 위해 이미지 캡쳐 프로세스의 다음 단계로 자동적으로 이동하는 자동-초점 루틴을 개시할 수 있다. 추가적으로, 사용자 인터페이스(108)는 사진을 캡쳐하기 위해 지정된 버튼을 완전히-누르는 것을 제공할 수 있고, 절반 정도 누른 자동-초점 루틴이 완료된 후 까지 완전히-누른 기능을 비활성화 시킬 수 있다. 도 4의 예에서, 셔터 버튼 신호(118)는 자동 초점 제어 로직(12)에 의해 수신된다. 이미지 선명도 메트릭 로직 및 캡쳐 로직(136) 또는 임의의 다른 적절한 동작들과 같은 임의의 기능들이 결합될 수 있음이 인식될 것이다.
상기 언급한 것처럼, 일련의 이미지들이 가변하는 비균일한 렌즈 위치들에서 캡쳐되고 자동-초점 제어 로직(12)에 의해 분석된다. 자동-초점 제어 로직(12)은 카메라 인터페이스 버스(190)를 통해 카메라(16)로 비균일한 렌즈 위치 데이터(18)를 전송하는 초점 구동기(126)로 미리 결정된 비균일한 제어 정보(20)를 전송한다. 또한, 자동 노출 회로(124)는 이미지들을 캡쳐하기 위해 카메라 인터페이스 버스(190)를 통해 카메라(16)로 개방 그리고 폐쇄 셔터 명령을 전송하는 셔터 구동기(128)로 셔터 구동기 신호(174)를 전송한다. 자동 초점 제어기(191)는 자동 노출 동작을 활성화시키기 위해 자동 노출 제어 신호(170)를 생성한다. 본 예에서, 카메라(16)는 또한 카메라 인터페이스 버스(190)를 통해 광학 줌 구동기(130) 및 플래시 구동기(132)로 접속되며, 광학 줌 구동기 신호(172) 및 플래시 구동기 신호(184) 각각에 의해 제어된다. 광학 줌 구동기 및 플래시 구동기들은 당해 기술 분야에서 공지되어 있다. 그러나, 본 발명이 광학 줌 구동기(130) 또는 플래시 구동기(132) 또는 도시된 다른 기능들 없이 구현될 수 있음이 인식될 것이다. 광학 줌 동작이 사용되면, 미리 정의된 렌즈 위치들이 각각의 렌즈 초점 거리에 대해 결정될 것이다.
일 예에서, 정보가 초점 구동기(126) 및 셔터 구동기(128)로 전송된 이후에, 이미지는 카메라(16)에 의해 캡쳐되고, 이미지 픽셀 정보(134)가 카메라(16)에서 이미지 캡쳐 로직(136)으로 전송된다. 당해 기술 분야에서 알려진 것처럼, 이미지 캡쳐 로직(136)은 카메라의 이미지 센서에 대한 이득들 등을 설정하고 센서에 의해 픽셀 정보 캡쳐를 수신한다. 이미지 캡쳐 로직(136)이 다양한 방식들로 구현되고 자동-초점 제어 로직(12)이 아닌 회로들 내에 위치될 수 있음이 당해 기술 분야에 속한 통상의 지식을 가진 자에 의해 인식될 것이다. 이미지 픽셀 정보(134)는, ROI의 이미지 선명도 메트릭 정보(133) 또는 전체 이미지가 계산되는, 이미지 선명도 메트릭 로직(120)으로 전송된다. 예를 들어, 이미지는 관심있는 영역(ROI)들로 분할될 수 있고 직렬로 또는 병렬로 각각의 ROI에 대해 통계 분석이 수행될 수 있다. 픽셀 정보가 이미지의 수평 디멘존에 걸쳐 스캔될 수 있고 그 결과 행에 있는 모든 ROI들이 동시적으로 프로세싱되도록 한다. 당해 기술 분야에 속한 통상의 지식을 가진 자에 의해 이미지 선명도 메트릭 정보(133)가 다양한 방법들을 이용하여 결정될 수 있음이 인식될 것이다. 일 예로써, 이미지의 제곱된 라플리스 g(x,y)를 사용하여 메트릭 정보를 계산하는 라플라스 방법의 에너지(제곱된 라플라스)가 사용될 수 있다. 이 예는: 이미지 선명도 메트릭 정보가 메트릭 =
Figure pct00002
여기서
Figure pct00003
및
Figure pct00004
. 이산 라플라스가 오직 수직 및 수평 이웃들을 포함하는 다음의 커널(kernel)들에 의해 근사화된다: 0 1 0 1 -4 1 0 1 0 또는 0 -1 0 -1 4 -1 0 -1 0. 더욱 철저하기 위해, 대각 이웃들을 포함하는 다음의 라플라스 커널들이 사용될 수 있다: 1 1 1 1 -8 1 1 1 1 또는 -1 -1 -1 -1 8 -1 -1 -1 -1. 하드웨어 제한들이 상기 커널들의 사용을 배제하는 상황들에서, 픽셀 스캐닝을 따라 수평 방향과 같이 오직 한 방향으로 라플라스 동작자가 사용될 수 있다:
Figure pct00005
그 결과로, 수평 방향을 따르는 다음의 라플라스 커널들이 사용될 것이다. 1 -2 1 또는 -1 2 -1 픽셀 스캐닝을 따라 수평 방향으로 라플라스 동작자를 사용하여 이미지에 대한 메트릭의 계산은 따라서 다음과 같이 된다:
Figure pct00006
. 여기서 Pi는 현재 픽셀의 값이고, Pi -1은 이전 픽셀의 값이며 Pi +1은 다음 픽셀의 픽셀 값이다.
메트릭들을 결정하는 다른 예는 이미지의 그레이디언(Gradient)의 에너지이다. 이미지의 그레이디언의 에너지는 이미지 g(x,y)의 그레이디언의 제곱으로 정의된다:
Figure pct00007
여기서
Figure pct00008
,
Figure pct00009
. 수평 방향을 따라 그레이디언의 이산 에너지는 다음과 같이 표현된다:
Figure pct00010
.
위에서 정의된 것처럼 이미지의 메트릭은 이미지의 상대적인 선명도의 측정이다. 초점 메트릭 및 이미지 선명도 메트릭은 동일한 방식으로 계산될 수 있다.
당해 기술 분야에서 알려진 비디오 어퍼 프로세서(VUP)(142)는 이미지 픽셀 정보(134)를 수신하는 단일 픽셀 당 클록 프로세서이다. 당해 기술 분야에 속한 통상의 지식을 가진 자는, 이미지 픽셀 정보(134)가 도시된 것처럼 이미지 선명도 메트릭 로직(120)에 의해 VUP(142)로 전송될 수 있거나, 또는 이미지 픽셀 정보(134)는 이미지 캡쳐 로직(136)과 같은 다른 회로 또는 로직으로부터 직접적으로 수신될 수 있다. 일 예에서, 이미지 프로세싱은 중간의 프로세싱된 이미지 픽셀 정보(162)를 비디오 로워 프로세서(VLP)(144)로 전송함으로써 추가적으로 실행된다. VLP(144)는 당해 기술 분야에 알려진 것처럼 복수의 픽셀 당 클록 프로세서를 사용한다. VUP(142) 및 VLP(144)가 둘 다 프로세서들이기 때문에, 그들의 이미지 프로세싱 기능들은 애플리케이션이 지시하는 것처럼 하나의 프로세서, 2개 이상의 프로세서들에 의해 수행될 수 있다. 다른 예에서, 프로세서는 필드 프로그래밍 가능한 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), ASIC, 마이크로프로세서 또는 중앙 연산 장치(CPU), 마이크로 제어기, 상태 머신, 또는 단일 집적 회로 또는 복수의 집적 회로들의 임의의 조합일 수 있으나, 이에 제한되는 것은 아니다. 일 예에서, 프로세싱된 이미지 픽셀 정보(146)는 JPEG(Joint Photographic Experts Group) 인코딩 로직(148)에 있는 산업 표준 JPEG 포맷으로 인코딩되며, 메모리(154)에 저장될 메모리 버스(198)를 통해 전송된다. 대안적으로 프로세싱된 이미지 픽셀 정보(146)는 JPEG 인코딩 이전 또는 이후에, JPEG 인코딩 로직(148)에서 JPEG 인코딩과 함께 디스플레이(114) 상에서 디스플레이될 수 있고, 또는 JPEG 인코딩 없이 디스플레이될 수 있다.
이 예에서, 자동 초점 제어 로직(12)은 렌즈 위치 제어기 회로 또는 초점 구동기(126), 이미지 캡쳐 로직(136), 이미지 선명도 메트릭 로직(120), 뎁스 맵 생성기(189) 및 자동 초점 제어 로직(191)을 포함한다. 그러나, 기능들의 임의의 적절한 조합이 자동 초점 제어 로직으로서 사용될 수 있음이 인식될 것이다. 예를 들어, 이미지 캡쳐 로직(136)은 카메라(16)의 부분으로서 임베드될 수 있고 다른 기능들이 요구되면 적절히 결합될 수 있다. 초점 구동기는 당해 기술 분야에서 알려진 것처럼 렌즈를 이동시키는 하드웨어 구동기이다. 자동 초점 제어 로직(12)은 예를 들어 사용자가 캡쳐 버튼을 완전히 눌렀을 경우 처럼, 최종 이지미를 획득하기 위한 자동 초점 프로세스 이후에 사용될 렌즈를 위한 최적의 렌즈 위치를 선택할 수 있다. 예를 들어, 자동 초점 제어 회로(191)는 가장 낮은 저장된 위치와 같이 제 1 미리 결정된 비균일한 렌즈 위치 데이터(18)를 획득할 수 있고, 고정된 초점 길이 렌즈로 하여금 그 제 1 위치로 이동하도록 하기 위해 렌즈 위치 제어기 회로(126)로 미리 결정된 비균일한 렌즈 위치 정보(20)를 제공할 수 있다. 그리고나서 프레임이 당해 기술 분야에서 알려진 것처럼 캡쳐되고 프로세싱을 위해 이미지 캡쳐 로직(136)으로 패스된다. 이미지 선명도 메트릭 로직(120)은 이미지의 초점 메트릭 정보(이미지 선명도 정보(133))를 결정하고 예비 최적의 초점 메트릭 정보로서 초점 메트릭 정보(133)를 저장한다. 그것은 캐시 메모리 또는 자동 초점 제어 회로(191)에 의해 액세스 가능한 임의의 적절한 메모리에 이 정보를 저장할 수 있다. 자동 초점 제어 회로(191)는 그리고나서 예를 들어 다음 이미지를 캡쳐하기 위해 메모리(14)에 저장된 미리 결정된 비균일한 초점 위치 데이터(18)에 의해 표시되는 명목상 다음 비균일한 위치인 다음 렌즈 위치를 결정할 수 있다. 이미지 선명도 메트릭 로직(120)은 그리고나서 다음 이미지의 초점 메트릭 정보를 결정한다. 예를 들어 자동 초점 제어 회로(191)로, 저장된 예비의 최적 초점 메트릭 정보 및 2개의 프레임들의 다음 초점 메트릭 정보를 비교하여 상기 2개 중 최상 또는 선호되는 메트릭을 새로운 예비의 최적 초점 메트릭 정보로서 보유하는 것이 제공된다. 이 프로세스는 모든 비 균일한 렌즈 위치들에 대해 반복되며: 이 예시적인 8개의 렌즈 위치들은 도 3에서 도시된다. 이렇게, 렌즈가 가변하는 미리 결정된 비균일한 최적 렌즈 위치들로 변경되거나 이동된다. 모든 비균일한 렌즈 위치들이 이미지를 획득하기 위해 사용되고 모든 초점 메트릭 정보가 계산되면, 자동 초점 제어 회로가 그리고나서 사용자가 픽쳐 버튼을 완전히 누를 때 최종 이미지를 캡쳐하기 위한 위치로서 최상의 초점 메트릭 정보를 가지는 렌즈 위치를 선택한다.
도 5는 탐색 방향 결정 페이즈(phase)(501), 피크 검출 페이즈(503)와 같은 프로세스의 상이한 스테이지들을 도시하는 힐 클라이밍 방법을 도시하며, 여기서 프로세스의 피크 검출 페이즈는 최종 픽쳐를 획득하기 위해 최종 렌즈 위치로서 사용할 최상의 비균일한 렌즈 위치를 결정하기 위해 사용된다. 블록(502)에서 도시되는 것처럼, 방법은 예를 들어 사용자가 픽쳐 선택 버튼을 중간 정도 누르거나 그렇지 않으면 자동 초점 프로세스를 표시하는 것을 검출함으로써 시작한다. 블록(504)에서 도시되는 것처럼, 방법은 미리 결정된 비균일한 렌즈 위치 데이터(18)에 의해 결정되는 것처럼 예비의 최적 렌즈 위치로 렌즈를 변경하는 것을 포함한다. 블록(506)에서 도시되는 것처럼, 방법은 이미지를 캡쳐하는 것, 이미지 또는 프레임에 대해 초점 메트릭 정보를 결정하는 것 그리고 블록(508)에서 도시되는 것처럼 렌즈를 다음 렌즈 위치로 구성하는 것을 포함한다. 블록(510)에서 도시되는 것처럼, 방법은 이미지를 캡쳐하는 것 그리고 새로운 비균일한 렌즈 위치에서 획득되는 프레임에 대한 이미지 선명도 메트릭을 계산하는 것을 포함한다. 블록(514)에서 도시되는 것처럼, 포지션 탐색 방향에 대한 결정이 이루어진다. 예를 들어, 자동 초점 제어 회로(191)에 의해 탐색 방향이 양(positive) 또는 음(negative)인지 여부에 대한 결정이 이루어진다; 양(0 내지 255)은 더 멀리 있는 물체에 대응하는 렌즈 위치임을 표시하고; 음 위치는 렌즈 위치가 더 가까운 물체에 대한 것임을 표시한다. 만약 프로세스가 블록(515)에서 도시된 것처럼 양의 탐색 방향을 이용하면, 방법은 렌즈 위치를 증분(increment)시키고, 블록(513)에서 도시된 것처럼, 만약 음의 방향을 이용하면 렌즈 위치를 감소(decrement)시키는 것을 포함한다. 블록(516)에서 도시된 것처럼, 렌즈는 다음 위치로 이동되며 다음 이미지가 캡쳐되고 이미지 선명도 메트릭이 결정된다. 블록(518)에서 도시되는 것처럼, 방법은 최대 초점 메트릭(예를 들어, 피크 렌즈 위치)이 이웃 탐색을 수행함으로써 발견되는지 여부를 결정하는 것을 포함한다. 피크 검출이 3개의 이웃 렌즈 위치들에 대한 초점-메트릭(FM)의 상승 및 하락을 검출하는 것에 기반한다. 예를 들어: 제 1 렌즈 위치 75: FM 값 = 1000 제 2 렌즈 위치 100: FM 값 = 1200 제 3 렌즈 위치 125: FM 값 = 830.
상승 및 하락의 패턴은 초점-메트릭 값에서 피크의 표시이다. 따라서, 로직은 최상의 초점이 렌즈 위치 100(또는 그 근처)에 있음을 결론짓는다. 블록(519)에서 도시된 것처럼 방법은 최적의 렌즈 위치를 결정하는 것을 포함한다. 초점-메트릭 값들의 특성은 파라볼릭(parabolic) 곡선(즉, 2-차원 다항식)에 의해 최상의 초점 렌즈 위치 주변에서 모델링 될 수 있고, 초점-메트릭 값의 "참/최상" 피크가 추정되고 그것의 대응하는 렌즈 위치가 사용된다는 것에 기반할 수 있다. 상기 경우에 대해, 최적의 초점-메트릭 값은 렌즈 위치 96에서 1206으로 추정된다.
만약 피크가 검출되지 않으면, 블록(522)에서 도시되는 것처럼 다음 위치가 이용된다. 위에서 언급되었듯이, 다른 이점들 중에서, 짧은 거리들의 물체들이 더 양호한 최종 이미지를 도출하는 최상의 초점 렌즈 위치를 설정하기 위해 그 위치들로부터의 더 많은 비균일한 렌즈 위치들 또는 프레임들을 사용하는 것이 발견된다. 또한, 사용될 더 적은 수의 프레임들이 자동 초점 동작을 위해 최상 또는 최종 렌즈 위치를 검출하기 위해 사용되는 거리의 전체 범위이다. 배터리 전력은 또한 더 적은 프레임들이 캡쳐되고 프로세싱되기 때문에 감소된다. 또한, 일 예에서, 미리 정의된 비균일한 렌즈 위치들의 세트는 다음의 특징들을 가진다: 미리-정의된, 비-균일한(예를 들어, 매 10개의 위치들과 같은, 고정되지 않은 수의 위치), 그리고 더 짧은 인터벌들이 짧은 물체 거리들에 대해 사용되고 더 긴 인터벌들이 긴 물체 거리들에 대해 사용된다. 세트의 최소 수가 존재하며, 세트는 하이퍼-초점 거리 렌즈 위치를 포함하며, 하이퍼-초점 거리 렌즈 위치는 그것이 초점이 맞춰진 물체 거리들에 대한 가장 큰 범위를 커버하고 따라서 통계적으로 가장 확률 높은 초점 렌즈 위치이기 때문에, 가장 큰 심도를 기자며, 디폴트(즉, 초기) 렌즈 위치로서 사용될 수 있다.
도 6은 고정된 초점 거리를 가진 싱글 카메라, 또는 임의의 다른 적절한 싱글 카메라와 같은, 싱글 카메라(16)에 의해 캡쳐되는 이미지들의 관심있는 영역들에 기반하여 뎁스 맵(604)을 생성하도록 동작하는 뎁스 맵 생성 로직(602)을 이용하는 장치(600)의 다른 실시예를 도시한다. 뎁스 맵(604)은 캐시 메모리, 프레임 버퍼 메모리, 또는 요구되는 임의의 다른 적절한 메모리일 수 있는, 메모리(608)에 저장될 수 있다. 뎁스 맵 생성 로직(602)은 또한 균일하거나 비균일한 렌즈 위치 데이터 중 어느 하나에 기반하는 카메라의 렌즈 위치 세팅들을 제어하기 위해 렌즈 위치 제어 정보(608)를 제공한다. 균일한 위치 데이터가 메모리에 저장되는 경우에 예를 들어 이 정보가 렌즈 위치들을 제어하고 비균일한 렌즈 위치들과 대조적으로 그 렌즈 위치들에서 정보의 대응하는 프레임들을 획득하기 위해 사용되는 것을 제외한 위에서 설명한 방식으로 렌즈 제어는 동작한다. 이렇게, 뎁스 맵 생성 로직(602)은 또한 자동 초점 제어 동작에 대하여 위에서 설명된 방식과 유사한 렌즈 위치 제어 정보 생성 로직을 포함한다. 또한 도 7을 참조하면, 뎁스 맵 생성 로직(602)은 이미지 선명도 메트릭 로직(120)을 사용하여 관심있는 영역 각각에 대해 초점 메트릭 정보(133)를 결정한다. 예를 들어, 만약 프레임이 25개의 영역들로 분할되면, 각각의 영역은 관심있는 영역으로 고려되며 따라서 25개의 메트릭들이 계산된다(각각의 관심있는 영역에 대해 하나). 뎁스 맵 생성 로직(602)은 뎁스 맵(604)을 생성하기 위해 모든 관계있는 캡쳐된 프레임들로부터 획득되는 초점 메트릭 정보에 기반하여, 관심있는 영역들 각각에 대해 최적의 렌즈 위치를 결정하고, 이렇게 뎁스 맵은 복수의 프레임들로부터 초점 메트릭 정보(133)에 기반한다. 이렇게, 단일 카메라는 상이한 렌즈 위치들에서 다수의 이미지들을 캡쳐하기 위해 사용되며 이 이미지들 각각은 관심있는 영역들로 분할된다. 초점 메트릭 정보가 그리고나서 각각의 프레임에서 관심있는 영역들 각각에 대해 생성되며, 각각의 프레임으로부터 가장 높은 메트릭들이 뎁스 맵(604)을 파퓰레이트(populate)하기 위해 사용된다. 이렇게, 뎁스 맵 생성 로직(602)은 뎁스 맵(604)을 파퓰레이트하기 위해 관심있는 영역 뎁스 맵 정보(612)를 제공한다. 관심있는 영역 뎁스 맵 정보는 예를 들어 아래서 설명되는 것처럼 관심있는 영역 마다의 값 그리고/또는 다른 정보일 수 있다.
장치(600)는 렌즈 위치 데이터를 포함하는 위에서 언급된 메모리(608)를 포함하고, 그것은 또한 생성된 뎁스 맵에 기반하여 이미지 생성 동작을 수행하기 위한 로직을 포함한다. 예를 들어, 뎁스 맵 생성 로직(189)은 예를 들어 플래시 동작을 제어하여 그 결과 카메라 플래시가 최종 이미지를 획득하기 위해 사용되거나 사용되지 않도록 할 수 있는 이미지 동작 제어 정보(614)를 생성한다(도 4 참조). 다른 예로써, 이미지 생성 동작은 예를 들어, 비디오 어퍼 프로세서 또는 임의의 다른 적절한 컬러 프로세싱 회로에 의해 컬러 프로세싱 동작의 제어일 수 있다. 임의의 다른 적절한 이미지 생성 동작은 또한 뎁스 맵 정보에 기반하여 제어될 수 있다.
도 8은 뎁스 맵(604)을 생성하기 위해 이미지 프로세싱의 방법의 일 예를 도시하며, 이는 블록(802)에서 시작하며, 블록(804)에서 도시된 것처럼, 싱글 디지털 카메라를 이용하여, 렌즈 위치 데이터에 기반하여 렌즈 위치들의 세트에 대응하는 이미지들의 세트를 캡쳐하는 것을 포함한다. 렌즈 위치들의 세트에 대응하는 이미지들의 세트를 캡쳐하는 것(블록 804)은 제 1 렌즈 위치에서 이미지를 캡쳐하는 것, 렌즈 위치들의 세트로부터 선택되는 다음 렌즈 위치를 선택하는 것, 다음 렌즈 위치에서 다음 이미지를 캡쳐하는 것 그리고 세트가 빌 때까지 추가적인 다음 렌즈 위치들에서 추가적인 다음 이미지들을 캡쳐하는 것을 포함한다. 블록(806)에서 도시되는 것처럼, 방법은 이미지들의 세트에 있는 각각의 이미지에 대해 관심있는 영역들을 결정하는 것을 포함한다. 위에서 언급한 것처럼, 이 동작들은 순차적인 방식으로 바람직하게 수행되며, 여기서 각각의 프레임이 획득되고, 그 프레임에 대한 관심있는 영역들이 생성되며 그리고나서 뎁스 맵에 있는 대응하는 관심있는 영역들의 이전 메트릭들에 비교되어 주어진 관심 있는 영역에 대해 가장 높은 메트릭을 뎁스 맵에 저장한다. 블록(808)에서 도시되는 것처럼, 방법은 위에서 언급한 것처럼 세트의 각각의 이미지에 있는 관심있는 영역들 각각에 대한 초점 메트릭 정보를 결정하는 것을 포함한다. 블록(810)에서 설명된 것처럼, 방법은 획득된 서브셋 또는 모든 프레임들로부터 초점 메트릭 정보에 기반하여 관심있는 영역들 각각에 대해 최적의 렌즈 위치(예를 들어, 가장 높은 메트릭에서의 렌즈 위치들)를 결정하는 것을 포함한다. 블록(812)에서 도시되는 것처럼, 방법은 이미지들의 캡쳐된 세트를 획득하기 위해 사용되었던 최적의 렌즈 위치들에 기반하여 프레임들의 관심있는 영역들에 대한 뎁스 맵을 생성하는 것을 포함한다. 블록(814)에서 도시되는 것처럼, 뎁스 맵이 생성되었으면, 그것은 플래시를 활성화하고, 플래시를 디즈에이블하고, 사용될 최종 이미지에 대한 컬러 향상 동작을 선택하는 것과 같은, 이미지 프로세싱 동작들, 또는 임의의 다른 적절한 이미지 프로세싱 동작을 수행하도록 뎁스 맵이 사용될 수 있다.
도 9는 뎁스 맵을 생산하기 위해 생성되고 사용되는 데이터의 일 예를 도시한다. 이 예에서, 데이터는 각각의 ROI에 대한 죄상의 렌즈 위치를 포함한다. 이 렌즈 위치 정보는 도 12에서 도시된 데이터(저장된)에 기반한 뎁스 맵에 대한 거리를 결정하기 위해 사용된다. 그러나, 임의의 적절한 정보가 그 안에 저장될 수 있음이 인식될 것이다. 도시되는 것처럼, 카메라의 시계(field of view)를 균일하게 커버하는 5x5 관심있는 영역 어레이가 존재한다. 이 예에서, 결과들이 약 6미터의 작업 거리로부터 비롯된다. 어레이들이 250의 렌즈 위치에서 획득되고 3개의 수 값들이 각각의 관심있는 영역에 대해 디스플레이된다. 이 예에서, 값 또는 메트릭(900)이 렌즈 위치(250)에서 초점 선명도 메트릭을 나타낸다. 메트릭(902)은 모든 평가된 이미지들로부터 관심있는 영역에대해 달성되는 최적/최대 초점 메트릭 값을 나타내며, 값(904)은 가장 높은 이미지 선명도 메트릭 값에 대응하는 최적의 렌즈 위치를 나타낸다. 관심있는 영역(906)과 같은 시계의 중심이 예를 들어 최종 이미지에 대한 카메라의 초점을 맞추기 위해 사용된다. 그러나, 높은 이미지 선명도 메트릭 값(900)을 가지는 사용될 수 있는 관심있는 다른 영역들이, 최종 이미지 동안 초점을 맞추기 위해 카메라에 대해 중심 관심있는 영역 대신에 사용될 수 있다. 이 뎁스 맵은 관심있는 영역의 중심(906) 및 관심있는 영역의 중심(906) 주변의 관심있는 영역들의 대부분에 기반하여 175에서의 최상의 전체 렌즈 위치를 도시하는 조잡한(coarse) 뎁스 맵을 제공한다. 생성된 뎁스 맵(604)(표 Ⅱ에서 예시적으로 도시됨)은 다양한 프로세스들을 개선하기 위해 효율적으로 사용될 수 있다. 예를 들어, 타깃이 60cm와 같은 특정 거리 이상이라면, 타깃 추적의 경우에, 렌즈 위치가 타깃이 카메라로 가까워지거나 멀어지더라도 조절될 필요가 없다고 결정될 수 있다. 또한, 위에서 언급했듯이, 플래시를 사용할지 안할지 여부에 대한 결정이 또한 뎁스 맵에 기반할 수 있다. 다른 프로세스들이 또한 요구된다면 뎁스 맵에 기반하여 수정되거나 이용될 수 있다. 또한 블록(814)에서 도시된 것처럼, 방법은 자신의 최상의 초점 위치에 기반하여 최종 이미지 캡쳐에 대한 특정 관심있는 영역에 대해 초점을 맞추기 위해 렌즈들을 제어하는 것을 포함한다.
뎁스-맵 생성은 임의의 추가적인 센서들(거리 센서들, 비행 시간(time-of-flight) 센서들, 위상-검출 센서들), 디바이스들(예를 들어, 스테레오 카메라 시스템), 및 구성된 빛들(예를 들어, 구성된 직사각형 그리드 레이저(structured rectangular grids laser))을 이용하지 않고 이루어진다. 뎁스 맵을 생성하기 위해, 렌즈 위치들 및 물체 거리들 사이의 관계가 사용된다. 이는 미리 주어진 셀-전화 카메라 모델에 대해 생성될 수 있고 카메라 동작 동안 사용될 룩-업 테이블(LUT)로서 저장될 수 있다. 도 12는 위에서 특정된 카메라에 대해 이 관계를 보여준다. 도 12에서 도시된 포인트들은 메모리에 저장되고, 저장된 포인트들 사이의 포인트들이 필요하다면 삽입(interpolate)될 수 있다.
뎁스-맵 생성은 다음과 같이 주어진 신(scene)에 대해 생성된다: 카메라 시계(FOV; field of view)는 직사각형의 관심있는 영역(ROI)들의 세트로 분할된다: 예를 들어, 8x6 ROI들. (a) 렌즈 위치가 위치 "0" 내지 위치 "255"로 변경되기 때문에, n개의 이미지들의 세트가 캡쳐된다(전체 256개의 렌즈 위치들을 가정). 8개의 비-균일한(위에서 정의됨) 또는 11개의 균일한 렌즈 위치들이 사용된다. (b) 각각의 ROI에 대해 n개의 추정된 초점-메트릭 값들(n개의 캡쳐된 이미지들에 대응함)의 세트에 기반하여, 최적의 렌즈 위치(최상의 초점에 대응하는)가 각각의 ROI에 대해 결정된다. (c) 렌즈 위치들 및 물체 거리들(예를 들어 LUT로서 이용가능한) 사이의 관계를 이용하여, 각각의 ROI에 대한 뎁스(또는 Z 거리)가 추정될 수 있고 전체 뎁스 맵이 그리고나서 생성된다. 생성된 뎁스 맵의 정밀함(fineness) 또는 조잡함(coarseness)의 레벨이 다음의 인자들에 의존한다: (a) 카메라 시계(FOV) 내에서 정의된 관심있는 영역(ROI)들의 수: 이는 XY(이미지) 평면에서 뎁스-맵 해상도를 결정한다. (b) 캡쳐된 이미지들의 수(렌즈 위치들의 수에 대응함): 이는 Z 방향에서 뎁스-맵 해상도를 결정한다(뎁스/Z-거리 해상도).
조잡한 뎁스 맵에 대한 예가 아래의 표 Ⅱ에서 도시된다:
Figure pct00011
이 뎁스 맵으로부터 도시되는 것처럼, ROI들의 대부분은 약 80cm이다. 더욱 상세하게, 카메라의 시계의 중심 존(zone)은 약 80cm이다.
이 경우에, 중심 존은 상대적으로 카메라에 가깝기 때문에, 플래시/노-플래시 선택이 다음과 같이 용이하게 될 수 있다: 플래시가 약한-빛(low-light) 조건에서 사용되어야 한다.
도 9에서 도시된 것처럼, 각각의 ROI에 대한 최상의 렌즈 위치가 도시된다. 이 렌즈 위치는 저장되는 도 12의 데이터 포인트들에 기반하여 거리를 결정하기 위해 사용된다. 이 예에서, 관심있는 영역 각각의 수량(quantity) 및 사이즈가 미리 정의되고 25개의 수량인 것으로 여기서 도시되며 각각의 관심있는 영역의 사이즈가 동일하다. 그러나, 영역들의 상이한 수량들 및 상이한 사이즈들이 또한 시계의 중심 주변의 더 작은 영역들 그리고 주변(perimeter)의 더 큰 영역들 또는 그 반대 또는 임의의 다른 적절한 구성과 같이 이용될 수 있다. 또한, 초점 메트릭 정보에 기반한 관심있는 영역들 각각에 대한 최적의 렌즈 위치를 결정하는 것은, 이 예에서, 캡쳐된 이미지에 대한 관심있는 영역 각각에 대한 초점 메트릭 정보를 결정하고, 관심있는 영역 각각 그리고 다음 렌즈 위치에서 캡쳐된 다음 이미지에 대한 다음 초점 메트릭 정보를 결정하며, 렌즈 위치들의 세트가 빌 때까지 다음 렌즈 위치들에서 추가적인 다음 이미지들에 관심있는 영역 각각에 대한 추가적인 다음 초점 정보를 결정하는 것을 포함한다. 이것이 발생하면, 각각의 후속하는 방법은 각각의 관심있는 영역에 대한 초점 메트릭 정보를 이전의 캡쳐된 관심있는 영역 및 이전의 캡쳐된 이미지에 비교하는 것 그리고 뎁스 맵의 특정 관심있는 영역에 대한 더 양호하거나 더높은 메트릭을 저장하는 것을 포함한다. 이렇게, 뎁스 맵의 콘텐츠가 업데이트되며, 그 결과 관심있는 덜 선명한 영역들이, 세트의 모든 이미지들이 평가될 때까지 대응하는 관심있는 영역들에 대한 더 높은 선명도 메트릭들에 대해 메트릭들과 대체되도록 한다. 뎁스 맵은 정보의 복수의 조각들을 포함하는 것으로 도시되더라도, 이미지의 관심있는 영역들 각각에 대해 최적의 렌즈 위치들의 세트를 단순히 저장할 수 있다.
도 10은 비-균일한 렌즈 위치들을 이용하여 뎁스 뱁을 생성하기 위한 방법을 도시한다. 일 예에서, 뎁스 맵 생성 로직(602)은 예를 들어 장치에 있는 프로그래밍 가능한 레지스터를 통해 미리-저장된 제조 데이터에 액세스함으로써 카메라의 특정 렌즈 타입(1000)을 인식한다. 렌즈 타입이 결정되고 나면, 비균일한 렌즈 위치 데이터의 특정 세트가 렌즈 타입 정보를 이용하여 메모리로부터 액세스될 수 있다. 예를 들어 룩업 테이블은 렌즈 위치들로 렌즈 타입 데이터를 번역하도록 이용될 수 있다.
비균일한 렌즈 위치 데이터의 특정 세트가 식별되고 나면, 방법은 균일한 렌즈 위치 정보를 이용하는 것에 대하여 위에서 설명한 것과 유사하다. 예를 들어, 단계(1004)에서 도시된 것처럼, 방법은 렌즈를 구성하거나 비균일 렌즈 초점 위치 데이터에 기반하여 비균일 렌즈 위치로 렌즈를 이동시키는 단계를 포함한다. 단계(1006)에서 도시된 것처럼, 대응하는 이미지가 그리고나서 캡쳐되고 초점 선명도 정보(133)가 그리고나서 블록(806)에서 도시되는 것처럼 이미지에 관심있는 영역들에 대해 결정된다. 블록(1010)에서 도시된 것처럼, 방법은 만약 렌즈 위치들의 모두가 이미지를 캡쳐하기 위해 사용되었는지 여부를 결정하는 단계를 포함한다. 만약 그렇지 않다면, 단계(1012)에서 도시된 것처럼, 다음 렌즈 위치 데이터 포인트에 대응하는 다음 위치로 렌즈를 이동시키는 것을 포함한다. 그러나, 만약 이미지들의 전부가 렌즈 위치들의 세트에 대응하여 캡쳐된다면, 방법은 모든 이미지들에 대한 블록(810)에서 도시되는 것처럼 모든 관심있는 영역들에 대해 렌즈 위치들을 결정하는 단계를 포함한다. 이는 예를 들어 각각의 개별적인 이미지가 캡쳐된 이후에 각각의 이미지의 관심있는 영역들 각각에 대한 선명도 정보를 결정하는 단계, 및 그리고 나서 만약 동일한 관심있는 영역과 연관된 더 높은 메트릭이 획득되었는지 여부를 뎁스 맵에 있는 메모리에 메트릭을 오버라이팅(overwrite)하는 단계를 포함할 수 있다. 블록(812)에서 도시된 것처럼, 방법은 위에서 설명된 것처럼 뎁스 맵을 생성하는 단계를 포함한다.
도 11은 장치(100)와 같은 프레임 정보 전송 디바이스(1102) 및 프레임 정보 수신 디바이스(1104)를 포함하는 시스템(1100)의 일 예를 도시한다. 전송 디바이스는 예를 들어 카메라 셀 폰 또는 임의의 다른 적절한 디바이스일 수 있고, 수신 디바이스(1104)는 다른 카메라 셀 폰, 디지털 텔레비전, 데스크 탑 컴퓨터, 랩탑, 또는 임의의 다른 적절한 디바이스일 수 있다. 이 예에서, 전송 디바이스(이는 또한 수신 디바이스일 수 있음)는 예를 들어 JPEG 압축 알고리즘 또는 예를 들어 JPEG 인코딩 로직(148)(도 4 참조)을 사용하는 임의의 다른 적절한 압축 알고리즘(모션(motion)을 위한 MPEG과 같은)을 이용하여 최종 프레임 또는 그것의 부분들을 압축한다. 저장된 뎁스 맵(604)(즉, 표 Ⅱ의 데이터를 나타내는 데이터) 및 인코딩된 프레임(198)은 그리고나서 수신 디바이스(1104)로 통신을 위해 전송된다. 이는 예를 들어 인터넷과 같은 네트워크를 통해, 또는 임의의 적절한 방식으로 무선으로 정보를 통신하는 것을 포함할 수 있다. 또한, 압축된 프레임 정보는 압축된 완성 프레임, 또는 프레임의 압축된 라인(line)들, 또는 복수의 프레임들에 대한 정보 또는 임의의 다른 적절한 압축된 프레임 정보일 수 있다. 훨씬 더 많은 수의 ROI들 및 훨씬 더 많은 수의 렌즈 위치들을 이용함으로써, 뎁스 맵은 모든 3개의 XYZ 축들을 따라 훨씬 더 높은 해상도들을 가진 채 생성될 수 있다. 이는 3D 이미지 데이터를 생성하기 위해 사용될 수 있다. 뎁스 맵 데이터는 압축되거나 압축되지 않은 2D 이미지로 첨부될 수 있고 그리고나서 함께 전송될 수 있다.
수신 디바이스(1104)는 대응하는 압축해제기(1106), 3D 이미지 생성기(1108) 및 만약 요구된다면 디스플레이(1110)를 포함한다. 동작에서, 수신 디바이스는 압축된 프레임 정보(198) 및 대응하는 뎁스 맵(604)을 수신하여 그 정보를 압축하기 위해 사용되는 압축 알고리즘에 대응하는, 대응하는 압축해제 알고리즘을 이용하여 압축된 프레임 정보(198)를 압축해제한다. 압축해제된 프레임 정보(1112)는 그리고나서 3D 그래픽 프로세서와 같은 3D 이미지 생성기 또는 뎁스 맵 정보(604)를 따라 임의의 다른 적절한 구조로 제공된다. 점선 화살표(1114)에 의해 도시된 것처럼, 뎁스 맵은 또한 압축되고 그리고나서 3D 이미지 생성기(1108)에 의해 사용하기 위해 압축해제될 수 있다. 3D 이미지 생성기는 그리고나서 압축해제된 프레임 정보 및 뎁스 맵 정보를 이용하여 이 정보에 기반하여 3D 이미지를 생성할 수 있다. 뎁스 맵(604)은 위에서 설명한 것처럼 싱글 카메라 기반 뎁스 맵(604)이며, 여기서 싱글 카메라는 위에서 언급한 것처럼 균일하거나 비균일한 렌즈 위치들에 기반하여 일련의 프레임들을 획득하도록 이용된다.
본 발명의 상기 상세한 설명 및 그 안에 설명된 예들은 예시 및 설명만을 위한 목적으로 제공되었으며, 권리의 범위를 제한하기 위한 것은 아니다. 본 발명은 임의의 그리고 모든 수정들, 변경들 또는 동등물들을 커버하고, 이들은 위에서 개시되고 여기서 권리범위로 주장되는 기초적이고 근원적인 원리들의 사상 및 범위 내에 속하는 것으로 여겨진다.

Claims (16)

  1. 디지털 카메라를 사용하여, 렌즈 위치들의 세트에 대응하는 이미지들의 세트를 상기 렌즈 위치 데이터에 기반하여 캡쳐(capture)하는 단계;
    상기 세트의 이미지 각각에서 복수의 관심있는 영역들 각각에 대해 초점 메트릭 정보를 결정하는 단계;
    상기 세트에 있는 상기 이미지들로부터의 상기 초점 메트릭 정보에 기반하여, 상기 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하는 단계;
    상기 최적 렌즈 위치들에 기반하여 뎁스 맵(depth map)을 생성하는 단계; 및
    상기 생성된 뎁스 맵에 기반하여 이미지 생성 동작을 수행하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 렌즈 위치 데이터는 저장된 미리 결정된 비균일한 렌즈 위치 데이터를 포함하는, 방법.
  3. 제1항에 있어서, 상기 이미지 생성 동작을 수행하는 단계는: 최종 이미지 캡쳐에 대한 특정 관심 영역에 초점을 맞추기(focus on) 위해 상기 렌즈를 제어하는 단계, 이미지 컬러 생성을 제어하는 단계, 및 플래시 동작을 제어하는 단계 중 적어도 하나를 포함하는, 방법.
  4. 제1항에 있어서 상기 렌즈 위치들의 세트에 대응하는 이미지들의 세트를 상기 렌즈 위치 데이터에 기반하여 캡쳐하는 단계는:
    제 1 렌즈 위치에서 이미지를 캡쳐하는 단계;
    상기 렌즈 위치들로부터 선택된 다음 렌즈 위치를 선택하는 단계;
    상기 다음 렌즈 위치에서 다음 이미지를 캡쳐하는 단계; 및
    상기 세트가 빌(empty) 때까지 추가적인 다음 렌즈 위치들에서 추가적인 다음 이미지들을 캡쳐하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 관심 영역의 각각의 수량(quantity) 및 사이즈는 미리-정의된, 방법.
  6. 제1항에 있어서, 상기 초점 메트릭 정보에 기반하여, 상기 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하는 단계는:
    캡쳐된 이미지에 대한 관심있는 영역 각각에 대한 초점 메트릭 정보를 결정하는 단계;
    상기 렌즈 위치들로부터 선택되는 다음의 렌즈 위치에서 캡쳐되는 다음 이미지에 있는 관심있는 영역 각각에 대한 다음 초점 메트릭 정보를 결정하는 단계;
    상기 렌즈 위치들의 세트가 빌 때까지 추가적인 다음 렌즈 위치들에서 추가적인 다음 이미지들에 있는 관심있는 영역 각각에 대해 추가적인 다음 초점 메트릭 정보를 결정하는 단계; 및
    각각의 캡쳐된 이미지에 있는 관심있는 영역 각각에 대한 초점 메트릭 정보를 비교하고 가장 선호하는 초점 메트릭 정보에 기반하여 관심있는 영역 각각에 대한 최적 렌즈 위치를 저장하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 최적 렌즈 위치들에 기반하여 뎁스 맵을 생성하는 단계는, 이미지의 관심있는 영역 각각에 대한 최적 렌즈 위치들의 세트를 저장하는 단계를 포함하는, 방법.
  8. 복수의 렌즈 위치들을 이용하여 이미지들의 세트를 상기 렌즈 위치 데이터에 기반하여 캡쳐하도록 동작하는 싱글 디지털 카메라; 및
    상기 세트의 각각의 이미지에 있는 관심있는 영역 각각에 대한 초점 메트릭 정보를 결정하고, 상기 초점 메트릭 정보에 기반하여 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하며, 상기 초점 메트릭 정보에 기반하여 뎁스 맵을 생성하도록 동작가능한 뎁스 맵 생성 로직을 포함하는, 장치.
  9. 제8항에 있어서,
    렌즈 위치 데이터를 포함하는 메모리; 및
    상기 생성된 뎁스 맵에 기반하여 이미지 생성 동작을 수행하도록 동작하는 로직을 포함하는, 장치.
  10. 제8항에 있어서, 최종 프레임의 프레임 정보를 압축하도록 동작하는 압축기(compressor)를 포함하고, 상기 장치는 원격 장치로 상기 압축된 프레임 정보 및 대응하는 뎁스 맵을 전송하도록 동작하는, 장치.
  11. 제8항에 있어서, 상기 뎁스 맵 생성 로직은:
    상기 세트의 각각의 이미지에 있는 복수의 관심있는 영역들 각각에 대한 초점 메트릭 정보를 결정하고;
    상기 세트에 있는 상기 이미지들로부터 상기 초점 메트릭 정보에 기반하여 상기 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하도록 동작하며,
    상기 장치는 상기 생성된 뎁스 맵에 기반하여 이미지 생성 동작을 수행하도록 동작하는 로직을 포함하는, 장치.
  12. 제1 장치 및 제2 장치를 포함하는 시스템으로서,
    상기 제1 장치는 뎁스 맵을 생성하기 위해 복수의 렌즈 위치들을 이용하여 상기 렌즈 위치 데이터에 기반하여 이미지들의 세트를 캡쳐하도록 동작하는 싱글 디지털 카메라;
    상기 세트의 각각의 이미지에 있는 관심있는 영역들 각각에 대한 초점 메트릭 정보를 결정하고, 상기 초점 메트릭 정보에 기반하여 상기 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하며, 상기 초점 메트릭 정보에 기반하여 상기 뎁스 맵을 생성하도록 동작하는 뎁스 맵 생성 로직;
    최종 프레임의 프레임 정보를 압축하도록 동작하는 압축기 ― 상기 장치는 상기 압축된 프레임 정보 및 상기 뎁스 맵을 제 2 장치로 전송하도록 동작함 ― 를 포함하는 제 1 장치를 포함하며,
    상기 제 2 장치는,
    상기 압축된 프레임 정보를 압축 해제(decompress)하도록 동작하는 압축 해제기(decompressor); 및
    상기 압축 해제된 프레임 정보 및 상기 뎁스 맵을 이용하여 3 차원 이미지를 생성하도록 동작하는 3-차원 이미지 생성기를 포함하는, 시스템.
  13. 제12항에 있어서,
    렌즈 위치 데이터를 포함하는 메모리; 및
    상기 생성된 뎁스 맵에 기반하여 이미지 생성 동작을 수행하도록 동작하는 로직을 포함하는, 시스템.
  14. 제13항에 있어서, 최종 프레임의 프레임 정보를 압축하도록 동작하는 압축기를 포함하고, 상기 장치는 원격 장치로 상기 압축된 프레임 정보 및 대응하는 뎁스 맵을 전송하도록 동작하는, 시스템.
  15. 제13항에 있어서, 상기 뎁스 맵 생성 로직은:
    상기 세트의 각각의 이미지에 있는 복수의 관심있는 영역들 각각에 대한 초점 메트릭 정보를 결정하고;
    상기 세트에 있는 상기 이미지들로부터의 상기 초점 메트릭 정보에 기반하여 상기 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하도록 동작하며;
    상기 장치는 상기 생성된 뎁스 맵에 기반하여 이미지 생성 동작을 수행하도록 동작하는 로직을 포함하는, 시스템.
  16. 제 1 장치의 디지털 카메라를 사용하여, 렌즈 위치들의 세트에 대응하는 이미지들의 세트를 상기 렌즈 위치 데이터에 기반하여 캡쳐하는 단계;
    상기 세트의 각각의 이미지에 있는 복수의 관심있는 영역들 각각에 대한 초점 메트릭 정보를 결정하는 단계;
    상기 세트에 있는 상기 이미지들로부터의 상기 초점 메트릭 정보에 기반하여 상기 관심있는 영역들 각각에 대한 최적 렌즈 위치를 결정하는 단계;
    상기 최적 렌즈 위치들에 기반하여 뎁스 맵을 생성하는 단계;
    상기 카메라에 의해 캡쳐되는 최종 이미지를 압축하는 단계;
    상기 압축된 최종 이미지 및 상기 뎁스 맵을 제 2 장치로 전송하는 단계;
    상기 제 2 장치에 의해 상기 최종 이미지를 압축 해제하는 단계; 및
    상기 압축 해제된 프레임 정보 및 상기 뎁스 맵을 이용하여 생성된 3 차원 이미지를 디스플레이하는 단계를 포함하는, 방법.
KR1020107016674A 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치 KR101554639B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/964,992 US8233077B2 (en) 2007-12-27 2007-12-27 Method and apparatus with depth map generation
US11/964,992 2007-12-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020127022550A Division KR20120119920A (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치
KR1020147010550A Division KR20140072114A (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100102186A true KR20100102186A (ko) 2010-09-20
KR101554639B1 KR101554639B1 (ko) 2015-09-21

Family

ID=40797773

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127022550A KR20120119920A (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치
KR1020147010550A KR20140072114A (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치
KR1020107016674A KR101554639B1 (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020127022550A KR20120119920A (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치
KR1020147010550A KR20140072114A (ko) 2007-12-27 2008-12-29 뎁스 맵 생성을 이용하는 방법 및 장치

Country Status (6)

Country Link
US (1) US8233077B2 (ko)
EP (2) EP2238507A4 (ko)
JP (1) JP5226805B2 (ko)
KR (3) KR20120119920A (ko)
CN (1) CN101918893B (ko)
WO (1) WO2009082822A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126044A1 (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 방법 및 그 전자 장치

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154647B2 (en) * 2008-03-05 2012-04-10 Applied Minds, Llc Automated extended depth of field imaging apparatus and method
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101206895B1 (ko) * 2008-12-22 2012-11-30 한국전자통신연구원 렌더링 시스템 및 이를 이용한 데이터 처리 방법
TW201101799A (en) * 2009-06-17 2011-01-01 Altek Corp Digital image sharpening treatment method and its system thereof
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP2011147067A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
US9025019B2 (en) 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
TW201219740A (en) * 2010-11-04 2012-05-16 Quanta Comp Inc Method and apparatus for measuring Depth of Field
WO2012063449A1 (ja) * 2010-11-08 2012-05-18 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
CN102486603A (zh) * 2010-12-01 2012-06-06 广达电脑股份有限公司 景深测量装置及景深测量方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
JP5953187B2 (ja) * 2011-10-11 2016-07-20 オリンパス株式会社 合焦制御装置、内視鏡システム及び合焦制御方法
WO2013058735A1 (en) 2011-10-18 2013-04-25 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US8660362B2 (en) 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
US9161010B2 (en) * 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
FR2985140B1 (fr) * 2011-12-22 2014-08-29 Commissariat Energie Atomique Capteur de vision tridimensionnelle integre
US9473702B2 (en) 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
KR20130102400A (ko) * 2012-03-07 2013-09-17 삼성전자주식회사 티오에프 센서 및 티오에프 카메라
JP6063634B2 (ja) * 2012-03-29 2017-01-18 オリンパス株式会社 焦点調節装置
US9857919B2 (en) * 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP2698979B1 (de) * 2012-08-16 2017-05-03 Wincor Nixdorf International GmbH Vorrichtung und Verfahren zum Präsentieren von Objekten
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
CN103634588A (zh) * 2012-08-27 2014-03-12 联想(北京)有限公司 一种影像构成方法及电子设备
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
FR2996925B1 (fr) 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US8908063B2 (en) * 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US9134114B2 (en) 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US20140358298A1 (en) * 2013-05-31 2014-12-04 DWFritz Automation, Inc. Alignment tool
KR102124601B1 (ko) 2013-06-21 2020-06-19 삼성전자주식회사 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US9973677B2 (en) * 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US9418432B2 (en) 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
WO2015183824A1 (en) * 2014-05-26 2015-12-03 Pelican Imaging Corporation Autofocus system for a conventional camera that uses depth information from an array camera
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US9824427B2 (en) * 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
BR112018000564A2 (pt) 2015-07-13 2018-09-11 Koninklijke Philips N.V. aparelho, método, e produto de programa de computador
CN106610553B (zh) * 2015-10-22 2019-06-18 深圳超多维科技有限公司 一种自动对焦的方法及装置
DE102016200660A1 (de) * 2015-12-23 2017-06-29 Robert Bosch Gmbh Verfahren zur Erstellung einer Tiefenkarte mittels einer Kamera
EP3185209B1 (en) * 2015-12-23 2019-02-27 STMicroelectronics (Research & Development) Limited Depth maps generated from a single sensor
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
CA2958766C (en) * 2016-02-25 2018-01-02 Synaptive Medical (Barbados) Inc. System and method for scope based depth map acquisition
CN106060521B (zh) * 2016-06-21 2019-04-16 英华达（上海）科技有限公司 深度影像建构方法及系统
US10277889B2 (en) 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
JP6838994B2 (ja) * 2017-02-22 2021-03-03 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
FR3074385B1 (fr) 2017-11-28 2020-07-03 Stmicroelectronics (Crolles 2) Sas Commutateurs et reseau d'interconnexion photonique integre dans une puce optoelectronique
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
US10609274B2 (en) 2018-03-30 2020-03-31 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
US10582111B2 (en) * 2018-03-30 2020-03-03 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps
EP4000247A4 (en) * 2019-07-18 2023-08-30 GoPro, Inc. RECONFIGURABLE LENS ASSEMBLY CAMERA
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
US11094041B2 (en) 2019-11-29 2021-08-17 Samsung Electronics Co., Ltd. Generation of bokeh images using adaptive focus range and layered scattering
WO2021107384A1 (en) * 2019-11-29 2021-06-03 Samsung Electronics Co., Ltd. Generation of bokeh images using adaptive focus range and layered scattering
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
GB202015901D0 (en) * 2020-10-07 2020-11-18 Ash Tech Limited System and method for digital image processing
US11657529B2 (en) * 2020-10-12 2023-05-23 Black Sesame Technologies Inc. Multiple camera system with flash for depth map generation
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0560528A (ja) * 1991-09-03 1993-03-09 Hitachi Ltd 立体情報入力装置
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
EP0928460B1 (en) * 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6128071A (en) * 1998-06-04 2000-10-03 Canon Kabushiki Kaisha Range data recordation
JP3851027B2 (ja) 1999-08-27 2006-11-29 株式会社リコー オートフォーカス装置およびカメラ
JP2001257932A (ja) 2000-03-09 2001-09-21 Denso Corp 撮像装置
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7639838B2 (en) 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP3927934B2 (ja) * 2003-09-02 2007-06-13 キヤノン株式会社 撮像装置および撮像装置のフォーカス制御方法
JP4496463B2 (ja) 2004-03-29 2010-07-07 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP2006058572A (ja) * 2004-08-19 2006-03-02 Fujitsu Ltd 電子機器および撮影モードの切り替え方法並びに撮影モードの切り替え用ソフトウェアプログラム
JP2006119550A (ja) * 2004-10-25 2006-05-11 Canon Inc 自動焦点調節装置および撮像装置
FR2887347B1 (fr) 2005-06-17 2007-09-21 Canon Res Ct France Soc Par Ac Procede et dispositif de construction d'une carte de profondeur d'une image numerique
DE102005034597A1 (de) * 2005-07-25 2007-02-08 Robert Bosch Gmbh Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
GB2430095B (en) * 2005-09-08 2010-05-19 Hewlett Packard Development Co Image data processing method and apparatus
US7821570B2 (en) 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
CN101071251B (zh) * 2006-05-11 2010-09-22 致伸科技股份有限公司 评估自动聚焦最少有效采样点的方法
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126044A1 (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 방법 및 그 전자 장치
KR20150097987A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US10674066B2 (en) 2014-02-19 2020-06-02 Samsung Electronics Co., Ltd. Method for processing image and electronic apparatus therefor

Also Published As

Publication number Publication date
EP2238507A4 (en) 2011-04-20
JP5226805B2 (ja) 2013-07-03
US8233077B2 (en) 2012-07-31
KR101554639B1 (ko) 2015-09-21
EP2238507A1 (en) 2010-10-13
WO2009082822A1 (en) 2009-07-09
CN101918893B (zh) 2012-07-18
US20090167923A1 (en) 2009-07-02
JP2011508268A (ja) 2011-03-10
KR20120119920A (ko) 2012-10-31
CN101918893A (zh) 2010-12-15
EP2934000B1 (en) 2017-11-15
KR20140072114A (ko) 2014-06-12
EP2934000A1 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
KR101554639B1 (ko) 뎁스 맵 생성을 이용하는 방법 및 장치
US8724013B2 (en) Method and apparatus with fast camera auto focus
JP2011508268A5 (ko)
JP6945744B2 (ja) 撮影方法、装置、およびデバイス
KR102156597B1 (ko) 광학 촬영 방법 및 장치
US11277553B2 (en) Switchover control techniques for dual-sensor camera system
CN109547701B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN113454982B (zh) 用于使图像稳定化的电子装置及其操作方法
US8306360B2 (en) Device and method for obtaining clear image
EP3067746A1 (en) Photographing method for dual-camera device and dual-camera device
US8718459B2 (en) Method and digital camera having improved autofocus
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
CN105744151B (zh) 脸部检测方法、脸部检测装置和图像拾取设备
EP2670127B1 (en) Method and digital camera having improved autofocus
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
CN107800951B (zh) 电子装置及其镜头切换方法
CN112600994B (zh) 物体探测装置、方法、存储介质和电子设备
CN113888452A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
TWI451184B (zh) 焦距調整方法與相關影像擷取裝置
KR20190009104A (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
US9769379B2 (en) Method and apparatus for selecting target image
US9179060B2 (en) Method and apparatus for camera shake effect image stabilization
CN112584015B (zh) 物体探测方法、装置、存储介质和电子设备
US11297237B2 (en) Electronic device for auto focusing function and operating method thereof
KR20200036264A (ko) 자동 초점 방법 및 이를 수행하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
S901 Examination by remand of revocation
E902 Notification of reason for refusal
S601 Decision to reject again after remand of revocation
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140421

Effective date: 20150731

GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5