KR101862889B1

KR101862889B1 - 입체 카메라를 위한 자동초점

Info

Publication number: KR101862889B1
Application number: KR1020137004203A
Authority: KR
Inventors: 칼린 엠 아타나소브; 세르지우 알 고마; 비카스 라마찬드라
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-08-09
Filing date: 2011-08-09
Publication date: 2018-05-30
Also published as: EP3582488B1; KR20140000195A; JP2013539273A; WO2012021541A1; JP6271609B2; EP2604032A1; CN103053154A; US20120033051A1; CN103053154B; JP2016122198A; US9485495B2; JP6253981B2; EP3582488A1

Abstract

본 실시형태들은 한 쌍의 입체 이미지들에 기초하여 센서를 위한 적절한 초점 깊이를 결정하는 시스템, 장치 및 방법을 고려한다. 특히, 어떤 실시형태들은 각 이미지에 대한 키포인트들을 결정하는 것, 키포인트들 간에 상관을 식별하는 것, 및 상관들로부터 물체 거리를 도출하는 것을 고려한다. 다음으로, 이들 거리들은 하나 이상의 센서들을 위한 적절한 초점 깊이를 선택하기 위하여 사용될 수도 있다.

Description

입체 카메라를 위한 자동초점 {AUTOFOCUS FOR STEREOSCOPIC CAMERA}

관련 출원에 대한 상호 참조

본원은, 2010년 8월 9일자로 출원된 발명의 명칭이 "INSTANTANEOUS AUTOFOCUS FROM STEREO IMAGES"인 US 가특허출원 번호 61/371,979 및 2011년 5월 23일자로 출원된 발명의 명칭이 "AUTOFOCUS FOR STEREO IMAGES" 인 US 가특허출원 번호 61/489,231의 이익을 주장하는, 2011년 8월 8일자로 출원된 US 특허출원 13/205,481에 대한 우선권을 주장하고, 이들 출원은 참조에 의해 본원에 원용된다.

기술 분야

본 실시형태들은 입체 이미지 캡쳐에 관한 것이고, 보다 상세하게는 입체 이미지 캡쳐 디바이스를 위한 적절한 초점 깊이를 결정하는 방법, 장치 및 시스템에 관한 것이다.

입체시 (stereopsis) 는 인간의 뇌가 좌안과 우안으로부터 보여지는 물체의 상대적인 변위에 기초하여 물체의 깊이를 해석하는 과정이다. 입체 효과는 제 1 및 제 2 측방향 오프셋 뷰잉 포지션들로부터 한 장면의 제 1 이미지 및 제 2 이미지를 취하고 그 이미지들을 좌안 및 우안의 각각에 따로 제공하는 것에 의해 인공적으로 유발될 수도 있다. 시간적으로 연속되는 입체 이미지 쌍들을 챕쳐하는 것에 의해, 이미지 쌍들은 연속적으로 눈들에 제공되어 3차원을 갖는 것으로 이용자에게 보여지는 입체 무비를 형성할 수 있다.

2개의 전통적인 카메라들이 입체 이미지 쌍의 이미지들의 각각을 획득하기 위하여 사용될 수도 있다. 전통적인 카메라는 상이한 초점 깊이들의 복수의 이미지들을 캡쳐하는 자동초점 프로시져를 사용하여 적당하게 초점이 맞추어질 수도 있다. 다음으로 가장 높은 프리퀀시 (frequency) 콘텐츠에 대응하는 초점 깊이가 후속 이미지 캡쳐들에 사용된다. 전통적인 무비 카메라들은 이 방법을 사용하여 비디오 캡쳐 동안 자동으로 초점이 맞추어질 수도 있다. 하지만, 프레임들의 캡쳐는 자동초점 기능이 수행되는 동안 주기적으로 지연될 필요가 있을 것이다.

단일 전통적인 카메라로 2D 이미지들을 캡쳐하는데 적합하지만, 이 자동초점 기법은 입체 이미지 캡쳐에 알맞지 않을 수도 있다. 특히, 그 기법은 비디오 스트림을 중단시킬 수도 있고 카메라 이동에 의해, 이를테면 사용자의 손의 모션에 의해 영향받을 수도 있다.

어떤 실시형태들은 전자 디바이스에서 이미지 센서를 위한 초점 깊이를 결정하는 방법을 고려한다. 그 방법은, 제 1 시점 (viewpoint) 과 연관된 제 1 이미지를 수신하는 단계; 제 2 시점과 연관된 제 2 이미지를 수신하는 단계; 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계; 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계; 상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티 (disparity) 들을 결정하는 단계; 및 상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하는 단계를 포함할 수도 있다.

어떤 실시형태들에서, 그 방법은 상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하는 단계를 더 포함할 수도 있다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차 (mean square error) 를 결정하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는, 상기 제 1 이미지를 서브샘플링하는 단계, 상기 제 1 이미지에 하이 패스 필터를 적용하는 단계, 제 1 이미지의 전력 (power) 을 계산하는 단계, 및 제 1 이미지를 임계화하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 실시간으로 일어난다. 몇몇 실시형태들에서, 전자 디바이스는 모바일 폰을 포함한다.

어떤 실시형태들은, 제 1 시점과 연관된 제 1 이미지를 수신하는 단계; 제 2 시점과 연관된 제 2 이미지를 수신하는 단계; 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계; 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계; 상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하는 단계; 및 상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하는 단계를 컴퓨터로 하여금 수행하게 하도록 구성된 명령들을 포함하는 컴퓨터 판독가능 매체를 고려한다.

몇몇 실시형태들에서, 그 명령들을 또한 프로세서로 하여금 상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하도록 구성된다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는, 상기 제 1 이미지를 서브샘플링하는 단계, 상기 제 1 이미지에 하이 패스 필터를 적용하는 단계, 제 1 이미지의 전력을 계산하는 단계, 및 제 1 이미지를 임계화하는 단계를 포함한다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 실시간으로 일어난다. 몇몇 실시형태들에서, 컴퓨터는 모바일 폰에 위치된다.

어떤 실시형태들은 입체 캡쳐 디바이스의 초점을 맞추는 시스템을 고려한다. 그 시스템은, 제 1 시점과 연관된 제 1 이미지를 생성하도록 구성된 제 1 이미지 센서; 제 2 시점과 연관된 제 2 이미지를 생성하도록 구성된 제 2 이미지 센서; 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하도록 구성된 피쳐 (feature) 생성 모듈; 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키도록 구성된 키포인트 상관 모듈; 상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하도록 구성된 디스패리티 결정 모듈; 및 상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하도록 구성된 깊이 결정 모듈을 포함할 수도 있다.

몇몇 실시형태들에서, 피쳐 생성 모듈은 상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하도록 구성될 수도 있다. 몇몇 실시형태들에서, 키포인트들을 상관시키도록 구성된 소프트웨어 모듈은 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키도록 구성된다. 몇몇 실시형태들에서, 키포인트들을 상관시키도록 구성된 소프트웨어 모듈은 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하도록 구성된다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 것은 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하는 것을 포함한다.

몇몇 실시형태들에서, 피쳐 생성 모듈은 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하도록 구성된다. 몇몇 실시형태들에서, 피쳐 생성 모듈은, 상기 제 1 이미지를 서브샘플링하고, 상기 제 1 이미지에 하이 패스 필터를 적용하고, 제 1 이미지의 전력을 계산하고, 제 1 이미지를 임계화하도록 구성된다.

몇몇 실시형태들에서, 키포인트들을 상관시키도록 구성된 소프트웨어 모듈은 실시간으로 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시킨다. 몇몇 실시형태들에서, 입체 캡쳐 디바이스는 모바일 폰 상에 위치된다. 몇몇 실시형태들에서, 초점 깊이를 결정하도록 구성된 소프트웨어 모듈은 디스패리티 히스토그램을 포함한다.

몇몇 실시형태들은 입체 캡쳐 디바이스의 초점을 맞추는 시스템을 고려하고, 상기 시스템은, 제 1 시점과 연관된 제 1 이미지를 수신하기 위한 수단; 제 2 시점과 연관된 제 2 이미지를 수신하기 위한 수단; 상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하기 위한 수단; 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단; 상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하기 위한 수단; 및 상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하기 위한 수단을 포함한다.

몇몇 실시형태들에서, 제 1 이미지를 수신하기 위한 수단은 제 1 센서를 포함하고, 제 2 이미지를 수신하기 위한 수단은 제 2 센서를 포함하고, 제 1 복수의 키포인트들을 결정하기 위한 수단은 피쳐 생성 모듈을 포함하고, 상관시키기 위한 수단은 키포인트 상관 모듈을 포함하고, 복수의 디스패리티를 결정하기 위한 수단은 디스패리티 결정 모듈을 포함하고, 초점 깊이를 결정하기 위한 수단은 깊이 결정 모듈을 포함한다. 몇몇 실시형태들에서, 제 1 복수의 키포인트들을 결정하기 위한 수단은 상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하도록 구성된다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단은 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키도록 구성된다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단은 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하도록 구성된다. 몇몇 실시형태들에서, 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단은 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하도록 구성된다. 몇몇 실시형태들에서, 제 1 복수의 키포인트들을 결정하기 위한 수단은 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하도록 구성된다. 몇몇 실시형태들에서, 제 1 복수의 키포인트들을 결정하기 위한 수단은, 상기 제 1 이미지를 서브샘플링하고, 상기 제 1 이미지에 하이 패스 필터를 적용하고, 제 1 이미지의 전력을 계산하고, 제 1 이미지를 임계화하도록 구성된다. 몇몇 실시형태들에서, 키포인트들을 상관시키기 위한 수단은 실시간으로 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시킨다. 몇몇 실시형태들에서, 입체 캡쳐 디바이스는 모바일 폰 상에 위치된다.

개시된 양태들은 이하에서, 개시된 양태들을 제한하는 것이 아니라 예시하기 위하여 제공된, 첨부 도면들을 함께 설명되고, 여기서 같은 부호는 같은 요소들을 표시한다.
도 1은 입체 이미지들의 캡쳐를 용이하게 하는 센서 장치를 포함하는 하나의 가능한 모바일 디바이스를 도시하는 일반도이다.
도 2는 도 1의 모바일 디바이스와 같은, 모바일 디바이스에서 어떤 컴포넌트들의 블록도이다.
도 3은 캡쳐 디바이스의 스테레오 쌍을 사용한 제 1 포지션 및 제 2 포지션에서 물체의 캡쳐링을 도시한다.
도 4는 특정 카메라 배열을 위한 물체 거리와 픽셀 디스패리티 사이의 관계를 도시하는 그래프이다.
도 5a는 입체 효과를 달성하도록 배치된 2개의 이미지 캡쳐 센서들과 임의의 장면의 위에서 아래로 본 도면을 도시하는 도면이다.
도 5b는 오버레이된 장면에서 물체 디스패리티의 크기 및 방향을 갖는 도 5a에서의 장면의 취해진 입체 이미지들의 쌍 중 하나를 도시한다.
도 6은 도 4의 그래프를 도시하지만, 물체 디스패리티 히스토그램 및 대응하는 물체 깊이 히스토그램이 오버레이되어 있다.
도 7은 어떤 실시형태들이 새로운 초점 깊이를 결정하는 프로세스를 위한 플로우 도를 도시한다.
도 8은 어떤 실시형태들이 키포인트들을 결정하는 프로세스를 위한 플로우 도를 도시한다.
도 9는 입체 이미지 쌍, 및 이미지들의 각각의 사이에 키포인트들이 상관되는 영역을 도시한다.

실시형태들은 입체 카메라에서 구성 데이터 (configuration data) 를 결정 또는 설정하는 시스템 및 방법에 관한 것이다. 일 실시형태에서, 구성 데이터는 입체 카메라의 2개 렌즈들의 적당한 초점 길이에 관한 것이다. 일 실시형태에서, 제 1 카메라는 장면으로부터 제 1 이미지를 수신하고 제 2 카메라는 같은 장면의 제 2 이미지를 수신한다. 한 세트의 키포인트들이 제 1 이미지의 분석으로부터 결정된다. 키포인트들은 예를 들면, 키포인트들이 이미지의 일부분으로부터 일관되게 복제될 수 있고 그에 의해 이미지 부분의 고유 식별 (unique identification) 을 허락할 수 있는 임의의 데이터 구조를 포함할 수도 있다. 몇몇 실시형태들에서, 키포인트는 이미지의 일부에 대응하는 복수의 픽셀들을 포함할 수도 있다. 키포인트는 이미지에서 포지션과 연관될 수도 있다. 제 1 이미지에서 키포인트를 결정한 후에, 시스템은 제 2 이미지에서 유사한 포지션을 찾는다. 제 2 이미지에서 유사한 포지션이 식별되고 나면, 시스템은 제 1 이미지에서 키포인트들과 제 2 이미지에서 대응하는 포지션 사이에 차이를 계산한다. 이것은 시스템으로 하여금 입체 렌즈들의 포지션들과 함께, 양자 모두의 프레임들에서 같은 키포인트 포지션들 사이에 디스패리티를 아는 것에 의해 장면의 초점 깊이를 결정하는 것을 허용한다.

본 실시형태들은 적어도 한 쌍의 입체 이미지들에 기초하여 센서를 위한 적절한 초점 깊이를 결정하는 시스템, 장치 및 방법을 고려한다. 특히, 어떤 실시형태들은 각 이미지에 대한 키포인트들을 결정하는 것, 키포인트들 간에 상관을 식별하는 것, 및 상관들로부터 물체 거리를 도출하는 것을 고려한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다. 입체 시스템은, 모바일 무선 통신 디바이스, PDA (personal digital assistant), 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 카메라, 디지털 기록 디바이스들 등을 포함하는, 광범위한 전자 디바이스들 상에서 구현될 수도 있다.

도 1은 입체 이미지의 캡쳐를 용이하게 하는 센서 장치 또는 이미지를 수신하기 위한 다른 수단을 포함하는 모바일 디바이스 (100) 를 도시한다. 그러한 디바이스는 모바일 폰, 개인 정보 단말, 게이밍 디바이스 등일 수도 있다. 디바이스 (100) 는 거리 d 만큼 이격된 제 1 센서 (101a) 및 제 2 센서 (101b) 를 포함할 수도 있다. 디바이스는 또한 사용자 입력 콘트롤 (102) 및 디스플레이 (103) 를 포함할 수도 있다. 몇몇 실시형태들에서, 센서 (101a 및 101b) 는, 입체 사진 또는 무비를 캡쳐하기 위하여 사용자가 디바이스 (100) 를 잡고 있을 때 수직이 아닌, 수평으로, 오프셋되도록 배치될 수도 있다.

이 특정 디바이스는 2개의 센서들 (101a 및 101b) 을 도시하지만, 당업자는 2개보다 더 많거나 더 적은 이미지 센서들을 포함하는 입체 이미지 캡쳐 디바이스를 손쉽게 생각할 수도 있다. 예를 들면, 단일 센서만을 갖는 디바이스가, 급속히 연속하여 센서들 (101a, 101b) 의 포지션들에서 2개 이미지들을 획득하기 위하여 일련의 렌즈들 또는 반사면들과 조합하여 동작할 수도 있다. 이 배열은 마찬가지로 후술되는 방법들과의 사용을 위한 입체 이미지 쌍을 획득할 수 있고 이에 따라 단일 센서가 초점이 맞추어질 수 있다. 따라서, 본원에서 논의된 방법 및 시스템은 제 1 시점 및 제 2 시점으로부터, 그러한 시점들이 이미지 장면의 입체 도시를 용이하게 하는 한, 2개의 이미지들을 획득하는 임의의 시스템에 적용가능할 것이다. 한 쌍의 이미지 센서들에 대한 언급은 2개의 시점들로부터 이미지들을 수신하는 단일 이미지 센서의 가능성을 배제하는 것으로 고려되지 않아야 한다.

도 2는 도 1에 도시된 모바일 디바이스 (100) 와 같은, 모바일 디바이스에서 어떤 컴포넌트들의 블록도이다. 센서 (101a) 는 입체 이미지 쌍의 제 1 이미지를 수신하고 센서 (101b) 는 입체 이미지 쌍의 제 2 이미지를 수신한다. 몇몇 실시형태들에서, 센서들은 이미지들을 동시에 수신할 수도 있다. 디바이스는 또한 비디오 프론트 엔드 (102) 및 메모리 (103) 를 포함할 수 있다. 비디오 프론트 엔드 (102) 는 센서들 (101a 및 101b) 로부터 인입 로우 이미지 데이터 (raw image data) 를 프로세싱하고 데이터를 메모리 (103) 에 저장할 수도 있다. 메모리 (103) 는 또한 모바일 디바이스 (100) 를 위한 다양한 애플리케이션들 및 소프트웨어 드라이버들을 포함할 수도 있다. 예를 들면, 디스플레이 드라이버 모듈 (104) 은 디스플레이 (103) 와 통신할 수도 있다. 사용자 입력 모듈 (106) 은 유사하게 사용자 인터페이스 (102) 와 통신할 수도 있다. 무선 통신 드라이버 모듈 (107) 은 무선 통신 하드웨어 (112) 와 통신할 수도 있다.

메모리는 또한 범용 프로세스 (113) 와 통신할 수도 있다. 범용 프로세서 (113) 는 서브 프로세싱 유닛들 또는 서브프로세서들, 이를테면 ARM (Advanced RISC Machine), DSP (digital signal processor) 또는 GPU (graphical processing unit) 을 포함할 수도 있다. 이들 프로세서들은 다양한 동작들을 다룰 때 로컬 메모리 (114) 와 통신할 수도 있다.

본 실시형태들 중 어떤 것은 시스템 아키텍쳐에 "초점 깊이 분석 모듈" (115a, 115b) 의 추가를 고려한다. 몇몇 실시형태들에서, 모듈은 전용 프로세서 (115a), 또는 범용 프로세서에 위치된 프로세서의 일 부분의 형태를 취할 수도 있다. 몇몇 실시형태들에서, 모듈은 메모리 (103) 와 같은 컴퓨터 판독가능 매체에 저장된 소프트웨어 코드 (115b) 를 포함할 수도 있다. 몇몇 실시형태들은 모듈의 부분들을 전용 프로세서 (115a) 및 메모리 (115b) 에 펌웨어 또는 소프트웨어-하드웨어 조합으로서 배치할 수도 있다. 몇몇 실시형태들에서, 모듈은 SIFT 피쳐 생성 시스템과 같은 피쳐 생성 시스템에, 그리고 센서 (101a 및 101b) 에의 액세스를 허용하는 도 2에서의 임의의 위치에 상주할 수도 있다. 따라서, 모듈은 피쳐 생성 및/또는 검출을 위해 구성된 이전부터 존재하는 하드웨어 또는 소프트웨어를 이용할 수도 있다. 당업자는 후술되는 실시형태들은 범용 프로세서 (113) 상에 서브프로세서를 사용하여 구현될 수 있거나, 또는 메모리 (103) 에 분리된 애플리케이션으로서 저장될 수 있음을 인식할 것이다. 몇몇 실시형태들에서, SIFT 피쳐 생성 시스템이 소프트웨어에 있을 수도 있는 반면에, 다른 실시형태들에서는 SIFT 피쳐 생성 시스템이 하드웨어에 있을 수도 있다.

본 실시형태들 중 어떤 것은 입체 이미지 캡쳐의 지오메트릭 특성들을 이용하는 자동초점 기능성을 제공한다. 도 3은 입체 카메라 장치를 이용하여 제 1 포지션 (300a) 및 제 2 포지션 (300b) 에서 물체 (304) 의 입체 이미지 캡쳐를, 평면도로, 도시한다. 제 1 이미지 캡쳐 디바이스 (301a) 는 제 2 포지션에 위치된 제 2 캡쳐 디바이스 (301b) 로부터 측방향으로 분리된 제 1 포지션에 위치될 수도 있다. 제 1 캡쳐 디바이스 (301a) 는 제 1 포지션으로부터 장면의 제 1 이미지를 캡쳐할 수도 있고 제 2 캡쳐 디바이스 (301b) 는 제 2 포지션으로부터 장면의 제 2 이미지를 캡쳐할 수도 있다. 이에 따라 제 1 이미지 및 제 2 이미지는 캡쳐 디바이스 (301a 및 301b) 의 포지션 및 배향들에 기초하여 장면의 제 1 시점 및 제 2 시점과 연관될 것이다. 물체 (304) 는 양쪽 모두의 이미지들에 나타날 수도 있다. 몇몇 실시형태들에서, 캡쳐 디바이스 (301a) 및 캡쳐 디바이스 (301b) 는 각각 도 1의 센서들 (101a 및 101b) 과 같을 수도 있다. 캡쳐 디바이스 (301a, 301b) 는 수직 디스패리티를 갖지 않고 꽤 가까운 초점 거리들을 갖도록 교정 (calibrate) 될 수도 있다.

디바이스 (301a) 의 시점의 중심은 라인 (302a) 을 따라 지난다. 유사하게, 디바이스 (301b) 의 시점의 중심은 라인 (302b) 를 따라 지난다. 이들 2개의 중심선들은 포지션 (303) 에서 교차한다. 언급된 바처럼, 물체 (304) 는 제 1 이미지 및 제 2 이미지의 각각에 나타난다. 하지만, 포지션 (300a) 에 대하여, 물체 (304) 는 양 (305a) 만큼, 중심선 (302a) 의 우측에 나타나고 양 (305b) 만큼 중심선 (302b) 의 좌측에 나타난다. 역으로, 포지션 (300b) 에서, 물체 (304) 는 양 (306a) 만큼, 중심선 (302a) 의 좌측에 나타나고 양 (306b) 만큼 중심선 (302b) 의 우측에 나타난다. 이런 식으로, z-방향에서 물체의 상대적인 포지션은 좌측 이미지 및 우측 이미지의 각각에서 상대 변위에 의해 반영된다.

물체 디스패리티는 제 2 이미지에서 물체의 포지션과 비교한 제 1 이미지에서 물체의 포지션간의 차이로서 정의될 수도 있다. 캡쳐 디바이스들간에 수직 디스패리티가 없는 경우에, 디스패리티는 한 이미지에서의 포지션으로부터 다른 이미지에서의 포지션으로 측방향 오프셋만을 포함할 수도 있다. 좌측과 우측, 또는 우측과 좌측 이미지들 간에 차이로서 디스패리티가 임의적으로 취해질 수도 있다. 이러한 설명의 목적으로, 디스패리티는 센서 (301b) 로부터 이미지에서 물체의 포지션 마이너스 센서 (301a) 로부터 이미지에서 물체의 포지션으로 정의된다 (도 3에 나타낸 바처럼 x-방향이 양이다). 따라서, 음의 디스패리티는 포지션 (300a) 에서 물체 (304) 의 묘사 (depiction) 로부터 생성되고 양의 디스패리티는 포지션 (300b)에서 물체 (304) 의 묘사로부터 생성된다.

센서 포지션들 및 상대적인 배향들에 대한 지식으로, 관찰된 디스패리티와 물체의 거리, 또는 깊이 사이의 관계 그래프가, 카메라 배열로부터 구성될 수 있다. 도 4는 예를 들면, 하나의 특정 센서 배열에 대한 이러한 관계의 그래프이다. 디스패리티 (401) 가 증가함에 따라, 물체 거리 (402) 도 역시 증가한다. 초기 음의 디스패리티는 카메라 배열에 매우 가까운 물체들, 즉 도 3의 z-방향에서 작은 깊이 (402) 를 갖는 것들에 대해 존재할 수도 있다. 물체가 카메라 배열로부터 더 이동함에 따라 (즉, 깊이가 증가함에 따라), 디스패리티는 증가적으로 양이되고, 상당한 거리에 있는 물체들에 대해 플래토 (plateau) 를 이루기 시작한다. 도 4의 차트는 센서들 (301a, 301b) 이 배향되는 각도들에 의존할 수도 있다는 것이 인식될 수도 있다. 유사하게, 센서들은 도 1 및 도 3에서 서로 평행할 수도 있지만, 센서들 간에 z 및 y 방향들에서의 변위는 또한 그래프에 대한 변경을 초래할 수도 있다. 그러한 그래프는 디바이스 상의 메모리에 또는 빠른 참조 (quick referenc) 를 위해 유사한 저장 구조에 저장될 수도 있다.

도 5a는 수개의 물체들을 포함하는 장면의 평면도이다. 다시, 이미지 캡쳐 디바이스 (301a 및 301b) 는 각각 이미지들 (501a 및 501b) 을 획득하기 위하여 사용될 수도 있다. 물체들 (502-504) 은 장면 내에서 다양한 깊이들에 위치된다. 결과적으로, 이미지 (501a 및 501b) 에서 물체 포지션들 간의 디스패리티가 관찰될 것이다. 도 5b는 어떤 디스패리티 크기 (magnitude) 및 방향들이 그것들이 일어나는 픽셀 포지션들에 표시된 이미지 (501a) 를 도시한다. 예를 들면, 복수의 양의 디스패리티 (510) 는 먼 물체 (504) 에 대해 출현하고 복수의 음의 디스패리티 (511) 는 더 가까운 물체 (502) 에 대해 나타난다. 도 4의 그래프를 참조하면, 자동화된 시스템이 각 디스패리티와 연관된 깊이를 결정할 수도 있다. 예를 들면, 도 6에 도시된 바처럼 같은 크기의 디스패리티는 누적되고 플롯되어 디스패리티 히스토그램 (601) 을 형성한다. 대응하는 깊이들 (602) 은 깊이 히스토그램 (602) 을 생성하기 위하여 센서들의 관계로부터 도출될 수도 있다. 깊이 히스토그램 (602) 은 표시된 깊이에서 각 최대치의 영역에서 하나 이상의 물체들의 존재를 시사한다.

자동초점 동작은 센서들 (101a, 101b) 의 일방 또는 쌍방에 대해 적절한 초점 깊이의 결정을 포함한다. 몇몇 실시형태들에서, 적절한 초점 깊이는 물체 깊이 히스토그램 (또는 도 4와 같은 그래프와 함께 물체 디스패리티 히스토그램) 의 평균, 중위, 또는 유사한 통계치를 취하는 것에 의해 결정될 수도 있다. 중위 통계치는 외딴 값 (outlying value) 에 대한 어떤 견고성 (robustness) 을 제공하는 한편, 특수 오더 통계 필터 (special order statistic filter) 는 특정 애플리케이션을 수용하기 위하여 사용될 수도 있다. 선택된 통계치는 매우 멀고 매우 가까운 물체들에 주어질 상대 가중치 (relative weight) 에 의존할 수도 있다. 예를 들면, 초점 품질은 하나의 범위의 깊이들을 통해 대략 같을 수도 있지만, 다른 범위에서는 극적으로 다를 수도 있다. 이들 변화들은 아래에서 더 자세히 논의된다.

제 1 이미지 및 제 2 이미지의 각각에 있는 매 물체들에 대해 매 픽셀의 디스패리티를 결정하는 것에 의해 디스패리티 히스토그램 (601) 이 생성될 수 있지만, 이것은 계산상 비용이 많이 들고 모바일 디바이스 상에서 비현실적이다. 매 픽셀의 상관은 상당한 수의 픽셀들을 통한 반복을 필요로 할뿐만 아니라, 각 이미지는 같은 값의 다수의 픽셀들을 포함할 수도 있고, 개별 픽셀의 식별 및 그의, 각 이미지에서 물체에 대한 상관을 곤란하게 만든다.

매 픽셀을 분석하는 대신에, 어떤 본 발명의 실시형태들은 이미지 콘텐트들의 "스파스 (sparse)" 디스패리티 맵 또는 "스파스" 대응 깊이 맵을 형성하는 것을 고려한다. 어떤 실시형태들에서, 키포인트들은 이미지들의 각각에서 결정될 수도 있고, 이미지들에서 모든 또는 대부분의 픽셀들간이 아닌, 키포인트들간의 또는 키포인트들과 픽셀들간의 디스패리티가 물체 깊이를 추론하기 위해 사용될 수도 있다. 픽셀들보다 더 적은 키포인트들이 있기 때문에, 결과적인 디스패리티 또는 깊이 맵은 "스파스"하다. 키포인트들은 이미지의 일부분으로부터 일관되게 복제될 수 있고 그에 의해 이미지 부분의 고유 식별을 허락할 수 있는 임의의 데이터 구조를 포함할 수도 있다. 키포인트는 이미지에서 포지션과 연관될 수도 있다. 키포인트의 고유 결정은 키포인트들이 제 2 이미지에서 유사하거나 동일한 부분들로부터 식별되는 것을 허락한다. 몇몇 실시형태들에서, 키포인트들은 SIFT (Scale Invariant Feature Transform) 키포인트들, 또는 비슷한 피쳐 생성 모듈의 키포인트들을 포함할 수도 있다. 몇몇 실시형태들에서, 시스템은 키포인트들을 결정하기 위하여 범용 프로세서 (113) 또는 서브프로세서들에 이전부터 존재하는 머신 비젼 컴포넌트들을 재사용할 수도 있다. 예를 들면, 하이 패스 필터링 블록들이 키포인트 검출을 위해 재사용될 수도 있다. 다르게는, 메모리 (103) 에 저장된 머신 비젼 동작들을 수행하기 위한 소프트웨어 라이브러리들은 키포인트들을 생성시키기 위하여 사용될 수도 있다. 이런 식으로, 어떤 구현들은 자동초점을 수행하는 키포인트들을 생성시키기 위하여 다른 애플리케이션들과 연관된 기능성을 경제적으로 이용할 수도 있다. SIFT가 아닌 알고리즘들을 채용하는 피쳐 생성 모듈들과 같은 복수의 키포인트들을 결정하기 위한 대안의 수단이, 아래에서 더 자세하게 설명된다.

도 7은 입체 이미지 캡쳐를 위한 자동초점 프로세스 (700) 를 도시하는 플로우 도이고, 이는 본 발명의 실시형태들 중 어떤 것에 의해 구현될 수도 있다. 프로세스는, 적어도 한 쌍의 입체 이미지들 을 획득 또는 수신하는 것 (702) 에 의해 시작된다 (701). 어떤 실시형태들은, 계산 시간을 감소시키기 위하여, 이미지들의 각각으로부터 관심의 영역을 크롭 (crop) 하는 것을 고려한다. 일단 이미지들이 수신되고 나면, 시스템은 제 1 이미지로부터 키포인트들을 결정한다 (703). 언급된 바처럼, 몇몇 실시형태들에서, 이들 키포인트들은 SIFT, 또는 다른 피쳐 검출 하드웨어, 펌웨어 또는 소프트웨어를 이용하여 결정될 수도 있다. 몇몇 실시형태들에서, 시스템은 또한 제 2 이미지에서 키포인트들을 결정할 수도 있다. 다음으로 시스템은 제 1 이미지로부터의 키포인트들과 제 2 이미지에서의 픽셀 영역들 (이를테면, 특정 픽셀 포지션) 을 상관시킬 수도 있다 (704). "키포인트 상관" 소프트웨어, 펌웨어, 또는 하드웨어 모듈은 이 동작을 수행하도록 구성될 수도 있다. 동작의 어떤 부분들은 다른 모듈들 (펌웨어, 하드웨어 또는 소프트웨어) 중에 분산될 수도 있고, 키포인트들을 상관시키기 위한 다른 수단을 형성한다. 이 동작은 제 2 이미지에서 제 1 이미지에 있는 동일한 이미지 영역을 식별하는 역할을 할 수도 있다.

다음으로 디스패리티 D는 제 1 이미지의 각 키포인트 포지션과 제 2 이미지의 상관된 픽셀 포지션들 사이에 계산될 수도 있다 (705). 양자 모두의 이미지들을 위해 키포인트들이 계산된 경우에, 키포인트들 간의 디스패리티들은 상관된 키포인트들의 각각의 상대 포지션들을 감산 (subtract) 하는 것에 결정될 수도 있다. 다음으로, 디스패리티들은 도 6의 601에 유사한 디스패리티 히스토그램으로서 조직될 수도 있고, 히스토그램 (602) 에 유사한 대응하는 깊이 히스토그램이 결정될 수도 있다. 다음으로 깊이 히스토그램은 선택된 통계치에 기초하여 센서를 위한 최적 초점 깊이를 결정하기 위하여 사용될 수도 있다. "디스패리티 결정" 소프트웨어, 펌웨어, 또는 하드웨어 모듈은 이 동작을 수행하도록 구성될 수도 있다. 동작의 어떤 부분들은 다른 모듈들 (펌웨어, 하드웨어 또는 소프트웨어) 중에 분산될 수도 있고, 디스패리티들을 결정하기 위한 다른 수단을 형성한다.

프로세스 (700) 를 구현하는 실시형태들에서, 계산 효율을 향상시키기 위하여, 프로세스 (700) 는 각 디스패리티를 위한 깊이로 변환한 다음 깊이들의 평균을 결정하기 보다는 디스패리티들의 통계치 (이 경우에, 평균) 를 결정한다 (706). 다음으로, 단일 통계값의 깊이만이 도 4와 유사한 그래프를 참조하여 결정될 필요가 있다 (707). 다음으로 이 깊이는 후속 이미지 캡쳐들 동안 새로운 카메라 초점 깊이로서 사용될 수도 있다 (708). 언급된 바처럼, 다른 실시형태들이 대신에 디스패리티들의 각각을 깊이로 변환하고 그 깊이들을 평균화할 수도 있다. 다른 실시형태들은 다르게, 원하는 초점 깊이를 결정하기 위하여 평균, 중위 또는 어떤 다른 통계치를 취할 수도 있다. "깊이 결정" 소프트웨어, 펌웨어, 또는 하드웨어 모듈은 이 동작을 수행하도록 구성될 수도 있다. 모듈은 디스패리티 히스토그램과 함께 동작할 수도 있다. 동작의 어떤 부분들은, 초점 깊이를 결정하기 위한 다른 수단을 형성하는, 다른 모듈들 (펌웨어, 하드웨어 또는 소프트웨어) 중에 분산될 수도 있다. 초점 깊이가 결정되고 나면, 이미지 센서 (101a) 가 조정될 수도 있다. 센서 (101b) 는 또한 프로세서 (113) 에 의해 조정될 수도 있거나 또는 센서 (101b) 는 센서 (101a) 의 초점 깊이를 독립적으로 추적 (track) 할 수도 있다. 위에서 언급된 바처럼, 어떤 실시형태들에서, 단일 센서만이 결정된 초점 깊이에 기초하여 조정될 수도 있다.

이들 실시형태들의 변형들에서, 시스템은 다르게는 디스패리티들의 평균을 단순히 취하기 보다는 깊이를 결정하기 위하여 장면으로부터 정보를 사용할 수도 있다. 예를 들면, 평균을 취하는 대신에, 키포인트 디스패리티들은 단일 물체에서 그들의 존재와 조명 조건들에 기초하여 가중될 수도 있다. 예를 들면, 히스토그램들은 어떤 초점 거리와 연관된 초점 품질에 의해 히스토그램으로부터 각 키포인트를 가중하는 것에 의해 향상될 수도 있다. 어떤 카메라 배열들에서, 초점이 3미터로 설정되었다면, 2m와 무한대 사이의 물체들은 양호한 초점을 가질 수도 있고, 1m-2m 사이의 물체들은 좋은 초점을 가질 수도 있고, 0.5-1m 사이의 물체들은 나쁜 초점들을 가질 수도 있다. 이에 따라 도 6의 히스토그램들은, 바람직한 초점 범위가 다른 범위들보다 훨씬 자주 선택되도록 가중된다. 이것은 어떤 실시형태들에서 "영역 가중 돌출성 (region weighted saliency)" 으로 지칭될 수도 있다. 다른 변형들에서, 이미지로부터의 프리퀀시 정보 (frequency information) 는 키포인트들 선택 (keypoints selection) 에 포함될 수도 있다. 텍스쳐를 포함하는 물체들은 텍스쳐들이 없거나 또는 텍스쳐들이 거의 없는 물체들보다 더 많은 키포인트들을 생성하고, 그에 의해 평균에 영향을 미칠 수도 있다. 이에 따라, 텍스쳐의 물체들과 연관된 키포인트들은 비텍스쳐의 물체들과는 상이한 가중치 (weight) 들을 수신할 수도 있다. 하나의 변형에서, 텍스쳐 내의 영역들이 검출되고 다음으로 이들 영역들이 그 영역에서 키포인트들을 위한 가중치를 낮추기 위하여 사용될 수도 있다.

입체 무비를 캡쳐할 때, 프로세스 (700) 는 단일 프레임, 즉 단일 쌍의 입체 이미지들에 적용될 수도 있다. 다음으로 결정된 초점 깊이는 적당한 초점의 재평가 (reassessment) 를 필요로 하도록 카메라 배열 또는 장면이 수정될 때까지 후속 이미지 캡쳐들 동안 이미지 센서들에 의해 사용될 수도 있다. 그러므로 동작 (700) 은 임의의 상태 의존성 (state dependency) 일 필요가 없다는 이점을 갖는다. 즉, 전통적인 자동 초점 시스템은 무비 캡쳐 프로세스를 주기적으로 타임아웃 (timeout) 시키고 다수의 초점 깊이들을 캡쳐하여 초점을 재평가할 필요가 있다. 대조적으로, 프로세스 (700) 는 그것이 프레임 지연을 낳지 않는다는 점에서 "순시성 (instantaneous)" 일 수도 있다. 이것은 끊김없는 초점 트래킹 (seamless focus tracking) 을 용이하게 한다. 현재 초점 포지션과 초점 포지션 추정 사이에 피드백 (또는 의존성) 이 없으므로, 프로세스는 또한 시스템 안정성을 보장할 수도 있다. 추가적으로, 초점 동작은 단일 프레임으로 달성될 수도 있으므로, 사용자의 손의 모션이 임의의 블러 (blur) 를 생성시킬 가능성이 적어질 것이다.

언급된 바처럼, 프로세스 (700) 의 단계들 (703 및 704) 에서 생성된 키포인트들은 이미지의 일 부분에 아이덴티티를 할당할 수 있고 제 2 이미지에 적용될 때 일관되게 인식될 수 있는 임의의 데이터 구조를 포함할 수도 있다. 언급된 바처럼, 몇몇 실시형태들에서, 키포인트들은 SIFT (Scale Invariant Feature Transform) 피쳐 생성 모듈로부터 생성된 SIFT 키포인트들을 포함할 수도 있다. 도 8은 피쳐 생성 모듈에서 키포인트들을 생성시키기 위한 다른 가능한 프로세스를 도시한다.

프로세스 (800) 는 로우 입체 이미지 (raw stereoscopic image) 들의 쌍 중 하나를 수신하는 것 (802) 에 의해 시작된다 (801). 다음으로 이미지는 서브샘플링 (803) 될 수도 있고, 가능하게는 노이즈에 대한 알고리즘의 견고성을 향상시키고 계산상 요구를 감소시킨다. 다음으로 이미지는 수평 하이 패스 필터를 통해 통과 (804) 될 수도 있다. 몇몇 양태들에서, 필터는 다음에 의해 주어지는 응답으로 3x4커넬을 포함할 수도 있다

.

다음으로 프로세스는 이미지의 전력 (power) 을, 즉 각 값의 제곱을 취하는 것에 의해 계산 (805) 할 수도 있다. 최종적으로, 프로세스는 노이즈 및 저전력 값들을 소거하기 위하여 값들을 임계화 (806) 할 수도 있다. 임계값을 넘는 잔류 값들 중에서부터, 시스템은 "최대 값들"을 식별할 것이다. 몇몇 실시형태들에서, 최대 값들은 임계값을 넘는 그러한 이미지 부분들일 수도 있지만, 다른 실시형태들에서는 최대 값들이 그들의 국부 이웃 (neighbor) 들에 상대적으로 정의될 수도 있다. 예를 들면, 임계값을 넘는 이웃 픽셀들간에 델타가 최대 값을 식별하기 위하여 사용될 수도 있다. 식별된 최대 값들은 전술된 디스패리티 결정 단계들에 사용될 수도 있는 키포인트 포지션들을 표현한다. 시스템은 종료 (809) 전에 이들 키포인트 포지션들을 저장 (808) 할 수도 있다. 이런 식으로 이미지를 서브샘플링 및 임계화하는 것에 의해 키포인트들 역할을 할 수도 있는 픽셀 위치들을 결정하기 위하여 필요한 계산 시간이 감소될 수도 있다. 이들 실시형태들에서 키포인트는 픽셀 포지션을 포함하므로, 픽셀 포지션은 때때로 "키포인트 (keypoint)" 으로 지칭될 수도 있다. 하지만, 변형들이 손쉽게 인식될 것이고, 여기에서 키포인트들은 이웃 픽셀 값들과 포지션들의 어레이 및 포지션 양자 모두를 포함한다. 키포인트들은 또한, 픽셀 값들 또는 픽셀 포지션들을 직접적으로 지칭하기 보다는, 이미지 부분의 프리퀀시 콘텐트 또는 픽셀 값에서의 그라디언트 (gradient) 를 지칭할 수도 있다. SIFT 키포인트들은, 예를 들면, 픽셀 그라디언트를 표시하는 벡터를 포함할 수도 있다.

제 1 이미지에서 키포인트들이 결정되고 나면, 키포인트들과 제 2 이미지에서의 포지션들을 상관시켜 이미지 부분들 간의 디스패리티가 결정될 수 있도록 하는 것이 여전히 남을 수도 있다. 키포인트들, 이를테면 도 8의 프로세스 (800) 에 의해 생성된 키포인트들이 이미지에서 포지션과 상관되는지를 결정하기 위한 가능한 방법을 이제 도 9를 참조하여 설명한다. 도 9는 입체 이미지 쌍 (900a 및 900b) 을 도시한다. 이미지들 (900a 및 900b) 을 캡쳐하기 위하여 사용되는 2개의 센서들의 구성에 기초하여, 각 키포인트 (901) 주위의 검색 영역 (902) 이 결정될 수도 있다. 검색 영역 (902) 은 캡쳐 디바이스 구성의 결과로서 키포인트가 좌측 및 우측 이미지들에서 변위될 수도 있는 최대 거리 (즉, 최대 예상 디스패리티) 를 지정할 수도 있다. 몇몇 실시형태들에서, 이미지 센서들이 수직 디스패리티를 결여할 수도 있으므로, 키포인트들 (901) 은 일반적으로 장면에서 수직 에지들 상에 놓일 수도 있다.

검색 영역 (902) 은 이미지들 (900a 및 900b) 의 각각의 동일한 절대 포지션에 위치된다. 도 9에서, 검색 영역 (902) 은 이미지들 (900a 및 900b) 사이의 수직 디스패리티가 존재하지 않다고 가정되므로 (즉, 같은 로우에서의 픽셀들만이 고려된다), 단일 픽셀의 높이를 갖는 직사각형을 포함한다. 영역 (902) 의 높이는 이미지들 (900a 및 900b) 사이에 존재할 수도 있는 수직 디스패리티의 양에 관하여 증가될 수도 있다. 시스템은 제 2 이미지 (900b) 의 검색 영역 (902) 에서 각 픽셀을 통해 반복될 수도 있고 키포인트 (901) 을 둘러싸는 이미지 (900a) 의 부분들과 픽셀의 대응을 결정할 수도 있다. 이것은 아래에서 더 자세히 설명되는 상관 메트릭을 사용하여 몇몇 실시형태들에서 달성될 수도 있다.

어떤 실시형태들에서, 키포인트들은 단순히 이미지 (900a) 를 위해서보다는, 이미지 (900a) 및 이미지 (900b) 양자 모두를 위해서 결정되었을 수도 있다. 이미지들 간에 키포인트들을 상관시키려 시도할 때, 시스템은 제 2 이미지 (900b) 에서 검색 영역 (902) 내의 키포인트들을 식별할 수도 있다. 이미지 (900b) 의 단 하나의 키포인트가 검색 영역 (902) 에서 발견되면, 이 키포인트는 제 1 이미지로부터 키포인트 (901) 와 상관될 수도 있다. 이미지 (900b) 의 하나보다 많은 키포인트가 영역 (902) 에 존재하는 경우에, 시스템은 제 1 이미지로부터 키포인트 (901) 와 어느 키포인트가 가장 잘 대응하는지를 결정하기 위하여 검색 영역 (902) 에서 이미지 (900b) 의 각 키포인트에 상관 메트릭을 적용할 수도 있다. 단 하나의 이미지에 대해서 키포인트들이 취해질 때 적용되는 메트릭들과 마찬가지로, 메트릭은 키포인트들 (901 및 901b) 의 픽셀 포지션들에 이웃하는 픽셀 값들을 고려하여 키포인트들 (901 및 901b) 이 이미지 (900a 및 900b) 의 각각에서 장면의 같은 부분을 지칭할 가능성이 더 높다는 것을 확인할 수도 있다. 키포인트들이 양자 모두의 이미지들을 위해 생성되는 경우, 영역 내에 각 픽셀 간 보다는 영역 (902) 에서 키포인트들 간에 반복하는 것만이 필요할 수도 있다.

전술된 실시형태들에서, 시스템은 결정된 키포인트 (901) 에 대응하는 검색 영역 (902) 에서 어떤 픽셀들을 통하여 반복한다. 시스템은 영역 (902) 에서 각 픽셀에 상관 메트릭을 적용할 수도 있다. 다음으로, 키포인트 (901) 의 포지션을 둘러싸는 영역과 최대 상관을 갖는 영역 (902) 에서의 픽셀이 키포인트 (901) 와 상관될 수도 있다. 영역 (902) 에서 이미지 (900b) 의 각 픽셀을 통해 반복하는 계산 비용은 모든 이미지 (900b) 에 대해 키포인트들을 계산하고 다음으로 각 키포인트간의 상관들을 결정하는 비용보다는 더 작을 수도 있다. 하지만, 몇몇 실시형태들에서, 소수의 키포인트들이 생성된 경우에, 시스템은 하나의 이미지의 키포인트들과 연관된 영역들 (902) 사이에 반복하기 보다는, 직접 모든 키포인트들 사이에서 상관들을 결정할 수도 있다.

일정 실시형태들에서, 900a에서 키포인트에 대응하는 이미지 (900b) 에서의 키포인트 또는 픽셀 포지션을 식별하기 위하여 사용된 상관 메트릭은 이미지 (900a) 에서 키포인트 포지션을 둘러싸는 픽셀들과 고려 중인 이미지 (900b)에서 포지션을 둘러싸는 픽셀들을 위한 평균 제곱 오차의 계산을 포함할 수도 있다. 즉, 이미지 (900b)에서 검색 영역 (902) 에서 포지션들을 위한 이웃 픽셀들 및 제 1 이미지의 키포인트 (901) 에 이웃하는 픽셀들의 평균 제곱 오차가 상관 메트릭으로서 사용될 수도 있다. 평균 제곱 오차는 다음과 같이 계산될 수도 있다:

.

R은 평균 제곱 오차이고, S_left는 이미지 (900a)에서 픽셀 값들을 포함하고, S_right는 이미지 (900b) 에서 픽셀 값들을 포함하고, M 및 N은 조사 (investigation) 중인 영역 (902) 의 현재 키포인트 또는 픽셀 포지션을 위한 영역 (902) 에 대한 이미지속으로의 수평 및 수직 오프셋들을 포함하고, Δ는 검색 영역 (902) 에서 현재 포지션에 적용된 수평 시프트를 포함한다 (S_left 및 S_right에 대한 제 1 파라미터는 칼럼 포지션 (column position)/x-축 및 제 2 파라미터는 로우 포지션 (row position)/y-축이다). 평균 제곱 오차는 위의 예에서 7x7 윈도우 내에 있지만, 이미지의 해상도 및 적용된 서브샘플링에 따라 윈도우 치수들의 범위가 손쉽게 생각될 수도 있다. 또한, 센서들 (101a 및 101b) 는 위의 예에서 수직 디스패리티를 갖지 않는 것으로 가정되므로, 검색 영역 (902) 은 수평으로만 연장되고 Δ는 x-축/칼럼 방향에서만 나타난다. 보다 강건한 시스템들은 검색 영역 (902) 의 높이를 증가시키는 것과 수직 방향에서 Δ를 포함하는 것에 의해 센서 포지셔닝에서의 오차들을 보상할 수도 있다. 이미지가 다운샘플링됨에 따라, 서브 픽셀 해상도는, 몇몇 실시형태들에서 키포인트 (901) 와 상관된 이미지 (900b) 의 영역 (902) 에서 픽셀의 보다 정확한 결정들을 용이하게 하기 위하여, 다항식 보간 (polynomial interpolation) 과 같은 보간을 사용하여 결정될 수도 있다. 즉, 센서 (101a) 에 상대적인 센서 (101b) 의 변위는 정확한, 정수의 픽셀들이 아닐 수도 있다. 따라서, 특히 서브샘플링 후에, 키포인트 (901) 의 정확한 상관은 검색 영역 (902) 에서 픽셀들 간의 위치들을 포함하는 것을 필요로 할 수도 있다. 키포인트 (901) 와 최대로 상관된 이미지 (900b) 의 영역 (902) 에서의 포지션은, 보간된 포인트에서, 픽셀 포지션들 사이에 떨어질 수도 있다.

여기에 개시된 구현들과 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 여기에 설명된 기능을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다.

여기에 개시된 구현들과 관련하여 설명된 방법 또는 프로세스의 단계는 직접 하드웨어에, 프로세서에 의해 실행되는 소프트웨어 모듈에, 또는 그들의 조합에서 구체화 (embody) 될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 비일시적 저장 매체에 상주할 수도 있다. 예시적 컴퓨터 판독가능 저장 매체는 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독할 수 있고 컴퓨터 판독가능 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 다르게는, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC는 사용자 단말기, 카메라 또는 다른 디바이스에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 사용자 단말기, 카메라 또는 다른 디바이스에서 이산 컴포넌트들로서 상주할 수도 있다.

제목들 (Headings) 은 본원에서 참조를 위해 그리고 다양한 섹션들을 로케이팅 (locating) 하는 것을 돕기 위해 포함된다. 이들 제목들은 그에 대하여 설명된 개념들의 범위를 제한하도록 의도되지 않았다. 그러한 개념들은 전체 명세서에 걸쳐 적용가능성 (applicability) 을 가질 수도 있다.

개시된 구현들의 이전의 설명은 당업자가 본 발명을 제조 또는 사용할 수 있게 하도록 제공된다. 이들 구현들에 대한 다양한 변형은 당업자에게는 용이하게 명백할 것이며, 여기에 정의된 일반적인 원리는 본 발명의 사상 또는 범위를 벗어남이 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 여기에 나타낸 구현들로 한정되도록 의도된 것이 아니라, 여기에 개시된 원리 및 신규한 특징들에 부합하는 최광의 범위가 허여되야 한다.

Claims

전자 디바이스에서 이미지 센서를 위한 초점 깊이를 결정하는 방법으로서,
제 1 시점과 연관된 제 1 이미지를 수신하는 단계;
제 2 시점과 연관된 제 2 이미지를 수신하는 단계;
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계;
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계;
상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하는 단계; 및
상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하는 단계를 포함하고,
상기 초점 깊이를 결정하는 단계는, 상기 제 1 이미지 및 상기 제 2 이미지로부터의 정보에 기초하여 상기 복수의 디스패리티들 각각에 가중치를 부여하는 단계를 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 1 항에 있어서,
상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하는 단계를 더 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 2 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는, 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계를 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 1 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는, 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하는 단계를 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 4 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는, 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하는 단계를 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 1 항에 있어서,
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는, 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하는 단계를 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 1 항에 있어서,
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는, 상기 제 1 이미지를 서브샘플링하는 단계, 상기 제 1 이미지에 하이 패스 필터를 적용하는 단계, 상기 제 1 이미지의 전력을 계산하는 단계, 및 상기 제 1 이미지를 임계화하는 단계를 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 1 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 실시간으로 일어나는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
제 1 항에 있어서,
상기 전자 디바이스는 모바일 폰을 포함하는, 이미지 센서를 위한 초점 깊이를 결정하는 방법.
명령들을 포함하는 컴퓨터 판독가능 매체로서,
상기 명령들은 컴퓨터로 하여금,
제 1 시점과 연관된 제 1 이미지를 수신하는 단계;
제 2 시점과 연관된 제 2 이미지를 수신하는 단계;
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계;
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계;
상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하는 단계; 및
상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하는 단계를 수행하게 하도록 구성되고,
상기 초점 깊이를 결정하는 단계는, 상기 제 1 이미지 및 상기 제 2 이미지로부터의 정보에 기초하여 상기 복수의 디스패리티들 각각에 가중치를 부여하는 단계를 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 10 항에 있어서,
상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하는 단계를 더 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 11 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는, 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계를 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 10 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는, 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하는 단계를 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 13 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는, 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하는 단계를 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 10 항에 있어서,
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는, 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하는 단계를 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 10 항에 있어서,
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하는 단계는, 상기 제 1 이미지를 서브샘플링하는 단계, 상기 제 1 이미지에 하이 패스 필터를 적용하는 단계, 상기 제 1 이미지의 전력을 계산하는 단계, 및 상기 제 1 이미지를 임계화하는 단계를 포함하는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 10 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 단계는 실시간으로 일어나는, 명령들을 포함하는 컴퓨터 판독가능 매체.
제 10 항에 있어서,
상기 컴퓨터는 모바일 폰에 위치되는, 명령들을 포함하는 컴퓨터 판독가능 매체.
입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템으로서,
제 1 시점과 연관된 제 1 이미지를 생성하도록 구성된 제 1 이미지 센서;
제 2 시점과 연관된 제 2 이미지를 생성하도록 구성된 제 2 이미지 센서;
제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하도록 구성된 피쳐 (feature) 생성 모듈;
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키도록 구성된 키포인트 상관 모듈;
상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하도록 구성된 디스패리티 결정 모듈; 및
상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하도록 구성된 깊이 결정 모듈을 포함하고,
상기 깊이 결정 모듈은, 상기 제 1 이미지 및 상기 제 2 이미지로부터의 정보에 기초하여 상기 복수의 디스패리티들 각각에 가중치를 부여하도록 구성된, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 피쳐 생성 모듈은 상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 20 항에 있어서,
상기 키포인트들을 상관시키도록 구성된 모듈은 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 키포인트들을 상관시키도록 구성된 모듈은 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 22 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는 것은 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하는 것을 포함하는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 피쳐 생성 모듈은 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 피쳐 생성 모듈은, 상기 제 1 이미지를 서브샘플링하고, 상기 제 1 이미지에 하이 패스 필터를 적용하고, 상기 제 1 이미지의 전력을 계산하고, 상기 제 1 이미지를 임계화하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 키포인트들을 상관시키도록 구성된 모듈은 실시간으로 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 입체 캡쳐 디바이스는 모바일 폰 상에 위치되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 19 항에 있어서,
상기 초점 깊이를 결정하도록 구성된 모듈은 디스패리티 히스토그램을 포함하는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템으로서,
제 1 시점과 연관된 제 1 이미지를 수신하기 위한 수단;
제 2 시점과 연관된 제 2 이미지를 수신하기 위한 수단;
상기 제 1 이미지에 기초하여 제 1 복수의 키포인트들을 결정하기 위한 수단;
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단;
상기 제 1 복수의 키포인트들의 각각과 연관된 복수의 디스패리티들을 결정하기 위한 수단; 및
상기 복수의 디스패리티들, 상기 제 1 시점의 포지션 및 상기 제 2 시점의 포지션에 기초하여 초점 깊이를 결정하기 위한 수단을 포함하고,
상기 초점 깊이를 결정하기 위한 수단은, 상기 제 1 이미지 및 상기 제 2 이미지로부터의 정보에 기초하여 상기 복수의 디스패리티들 각각에 가중치를 부여하는 것을 포함하는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 제 1 이미지를 수신하기 위한 수단은 제 1 센서를 포함하고, 상기 제 2 이미지를 수신하기 위한 수단은 제 2 센서를 포함하고, 상기 제 1 복수의 키포인트들을 결정하기 위한 수단은 피쳐 생성 모듈을 포함하고, 상기 상관시키기 위한 수단은 키포인트 상관 모듈을 포함하고, 상기 복수의 디스패리티를 결정하기 위한 수단은 디스패리티 결정 모듈을 포함하고, 상기 초점 깊이를 결정하기 위한 수단은 깊이 결정 모듈을 포함하는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 제 1 복수의 키포인트들을 결정하기 위한 수단은, 상기 제 2 이미지에 기초하여 제 2 복수의 키포인트들을 결정하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 31 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단은, 상기 제 2 복수의 키포인트들로부터의 키포인트들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단은, 상기 제 2 이미지에서 검색 범위 내의 픽셀들에 대해 반복하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 33 항에 있어서,
상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키기 위한 수단은, 상기 제 1 이미지와 상기 제 2 이미지에서 픽셀들간에 평균 제곱 오차를 결정하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 제 1 복수의 키포인트들을 결정하기 위한 수단은, 상기 제 1 이미지에 기초하여 SIFT (Scale Invariant Feature Transform) 키포인트들을 결정하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 제 1 복수의 키포인트들을 결정하기 위한 수단은, 상기 제 1 이미지를 서브샘플링하고, 상기 제 1 이미지에 하이 패스 필터를 적용하고, 상기 제 1 이미지의 전력을 계산하고, 상기 제 1 이미지를 임계화하도록 구성되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 키포인트들을 상관시키기 위한 수단은, 실시간으로 상기 제 2 이미지에서의 포지션들과 상기 제 1 복수의 키포인트들로부터의 키포인트들을 상관시키는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.
제 29 항에 있어서,
상기 입체 캡쳐 디바이스는 모바일 폰 상에 위치되는, 입체 캡쳐 디바이스의 초점을 맞추기 위한 시스템.