KR20220024960A - 소실점 입체 이미지 보정 - Google Patents

Abstract

제1 카메라 및 제2 카메라를 포함하는 안경류와 같은 입체 이미징 시스템들에 대한 3차원 이미지 교정 및 프리젠테이션(presentation)이 설명된다. 교정 및 프리젠테이션은 서로에 대한 제1 카메라 및 제2 카메라의 회전을 수용하기 위해 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들로부터 획득된 소실점들을 사용하여 교정 오프셋을 획득하는 것, 획득된 교정 오프셋에 의해 3차원 렌더링 오프셋을 조절하는 것, 및 3차원 렌더링 오프셋을 사용하여 입체 이미지들을 제시하는 것을 포함한다.

Description

소실점 입체 이미지 보정

[0001] 본 출원은 "VANISHING POINT STEREOSCOPIC IMAGE CORRECTION"라는 명칭으로 2019년 6월 25일에 출원된 미국 가출원 일련 번호 제62/866,050호에 대해 우선권을 주장하며, 이 가출원의 내용들은 인용에 의해 본원에 완전히 통합된다.

[0002] 본 발명의 청구대상은 예컨대 안경류, 예컨대 스마트 안경에서 입체 이미지 캡처에 관한 것으로, 보다 상세하게는 듀얼 카메라들을 사용한 입체 이미지 캡처에 관한 것이다.

[0003] 장면의 입체 이미지들은 3차원 효과를 만드는 데 유용하다. 전형적으로, 제1 카메라는 장면의 제1 이미지를 캡처하고, 제2 카메라는 동일한 장면의 제2 이미지를 캡처한다. 제1 카메라 및 제2 카메라는 서로 고정된 관계를 갖는다. 3차원 디스플레이 시스템은 원하는 3차원 효과를 생성하기 위해 캡처된 제1 이미지를 관찰자의 한 눈에 제시(present)하고 캡처된 제2 이미지를 관찰자의 다른 눈에 제시한다.

[0004] 도면들은 구현들을 제한이 아니라 단지 예로서 도시한다. 도면들에서, 유사한 참조 번호들은 동일하거나 유사한 엘리먼트들을 지칭한다. 복수의 유사한 엘리먼트들이 존재할 때, 소문자 지정으로 특정 엘리먼트들을 지칭하면서, 복수의 유사한 엘리먼트들에 단일 참조 번호가 할당될 수 있다. 엘리먼트들을 총괄적으로 지칭하거나 또는 엘리먼트들 중 하나 이상의 비-특정 엘리먼트들을 지칭할 때, 소문자 지정은 생락될 수 있다.
[0005] 도 1은 이미지들을 획득, 프로세싱 및 제시하도록 구성된 시스템을 예시하는 블록도이다.
[0006] 도 2a는 듀얼 카메라, 및 듀얼 카메라 및 다른 전자 컴포넌트들을 지지하는 지지 구조물을 포함하는 이미지 캡처 안경류 예의 사시도이다.
[0007] 도 2b는 이미지 캡처 안경류를 착용한 사용자의 머리를 수용하기 위해 이미지 캡처 안경류에 의해 정의된 구역을 예시하는, 도 2a의 이미지 캡처 안경류 예의 평면도이다.
[0008] 도 2c는 안경류의 유연성 및 듀얼 카메라들의 로케이션들을 도시하는, 도 2a의 이미지 캡처 안경류 예의 평면-측면도(topside view)이다.
[0009] 도 2d는 상이한 굽힘 포지션들에서 듀얼 카메라들의 개개의 시계들을 도시하는, 도 2a의 이미지 캡처 안경류 예의 다른 평면-측면도이다.
[0010] 도 3a는 제1 카메라로 획득된 큐브의 이미지에 대한 소실점(VP: vanishing point)의 예시이다.
[0011] 도 3b는 카메라로 획득된 큐브의 이미지에 대한 VP의 예시이다.
[0012] 도 3c는 카메라로 획득된 장면의 이미지에 대한 VP의 예시이다.
[0013] 도 4는 3차원 이미지들을 획득, 프로세싱 및 제시하기 위한 예시적인 방법의 흐름도이다.
[0014] 도 5는 도 4의 방법에서 객체를 식별하기 위한 예시적인 방법의 흐름도이다.
[0015] 도 6은 도 4의 방법에서 선형 피처(feature)들을 확장하기 위한 예시적인 방법의 흐름도이다.
[0016] 도 7은 도 4의 방법에서 교정 오프셋(calibration offset)을 획득하기 위해 소실점들을 비교하기 위한 예시적인 방법의 흐름도이다.
[0017] 도 8은 네트워크를 통해 서버 시스템과 통신하는 모바일 디바이스를 포함하는 예시적인 클라이언트 디바이스의 고-레벨 기능 블록도이다.
[0018] 도 9는 머신이 본원에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령들의 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 예시적인 머신의 도식적 표현이다.
[0019] 도 10은 본 개시내용이 구현될 수 있는 예시적인 소프트웨어 아키텍처의 블록도이다.

[0020] 스테레오 카메라들은 한 쌍의 카메라들을 포함하며, 예컨대 한쌍의 카메라들 중 제1 카메라는 좌측 눈의 관점에서 장면의 이미지를 캡처하며, 제2 카메라는 우측 눈의 관점에서 장면의 이미지를 캡처한다. 제1 카메라와 제2 카메라 간의 관계는 사실적인 3차원 효과를 제공하는데 중요하다. 예컨대 카메라들이 장착되는 지지 구조물이 휘어짐에 따라 제1 카메라와 제2 카메라 간의 관계가 고정된 관계에서 벗어나는 경우에, 3차원 경험에 부정적인 영향을 미칠 수 있다.

[0021] 제1 카메라 및 제2 카메라를 포함하는 안경류에 대한 3차원 이미지 교정 및 프리젠테이션(presentation)이 설명된다. 교정 및 프리젠테이션은 제1 카메라 및 제2 카메라의 서로에 대한 회전을 수용하기 위해 제1 카메라 및 제2 카메라에 의해 캡처된 이미지들로부터 획득한 소실점들을 사용하여 교정 오프셋(calibration offset)을 획득하는 것, 획득된 교정 오프셋에 의해 3차원 렌더링 오프셋(rendering offset)을 조절하는 것, 및 조절된 3차원 렌더링 오프셋을 사용하여 입체 이미지들을 제시하는 것을 포함한다.

[0022] 하기의 상세한 설명에서, 관련 교시들의 철저한 이해를 제공하기 위해 다수의 특정 세부사항들이 예들로서 기술된다. 그러나, 이들 세부사항들이 본 교시들을 실시하는데 필요치 않을 수 있다는 것이 당업자들에게 명백해야 한다. 다른 경우들에서, 잘 알려진 방법들, 절차들, 컴포넌트들 및 회로부에 대한 세부사항 없는 비교적 개괄적인 설명은 본 교시들의 양상들을 불필요하게 모호하게 하는 것을 방지한다.

[0023] 본원에서 사용되는 “커플링된”이라는 용어는 하나의 시스템 엘리먼트에 의해 생성 또는 공급된 신호들 또는 광이 다른 커플링된 엘리먼트에 부여되게 하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결, 링크 등을 지칭한다. 달리 설명되지 않는 한, 커플링된 엘리먼트들 또는 디바이스들은 반드시 서로 물리적으로 연결될 필요는 없으며, 광 또는 신호들을 수정, 조작 또는 반송할 수 있는 에어스페이스(airspace), 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있다.

[0024] 본원에서 묘사되고 설명된 안경류의 배향들 및 연관된 컴포넌트들은 예시 및 논의의 목적을 위해 단지 예시적이다. 동작시, 안경류의 배향은 안경류의 특정 애플리케이션에 적합한 다른 방향들, 예컨대 위쪽 방향, 아래쪽 방향, 옆쪽 방향, 또는 임의의 다른 배향일 수 있다. 또한 임의의 방향 용어, 이를테면 앞쪽, 뒤쪽, 안쪽, 바깥쪽, 왼쪽, 쪽에, 오른쪽, 옆쪽, 세로방향, 위쪽, 아래쪽, 높은쪽, 낮은쪽, 상단쪽, 하단쪽 및 측방향은 방향 또는 배향에 대해 예시적이며 제한적이지 않다.

[0025] 예시적인 이미지 캡처 안경류는 광학 엘리먼트, 전자 컴포넌트들, 광학 엘리먼트 및 전자 컴포넌트들(듀얼 카메라를 포함함)을 지지하도록 구성된 지지 구조물, 및 전자 컴포넌트들에 커플링되고 지지 구조물에 의해 지지되는 디스플레이 시스템을 갖는다. 듀얼 카메라들은 3차원 이미지들을 렌더링하고 및/또는 3차원 효과를 생성하는데 사용하기 위해 입체 이미지들을 캡처한다.

[0026] 도 1은 일부 예들에 따른 시스템(100)을 예시하는 블록도이며, 시스템(100)은 3차원 이미지들 및 효과들을 획득, 프로세싱 및 제시하도록 구성된다. 시스템(100)은 클라이언트 디바이스(102)와 같은 하나 이상의 클라이언트 디바이스들을 포함한다. 클라이언트 디바이스(102)는 안경류, 모바일 폰, 데스크톱 컴퓨터, 랩톱, PDA(portable digital assistants), 스마트 폰, 태블릿, 울트라북, 넷북, 랩톱, 멀티-프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능 가전제품, 게임 콘솔, 셋톱-박스, 차량의 컴퓨터, 또는 사용자가 시스템(100)에 액세스하기 위해 사용할 수 있는 임의의 다른 통신 디바이스를 포함하나, 이들에 제한되지 않는다. 일부 예들에서, 클라이언트 디바이스(102)는 (예컨대, 사용자 인터페이스들의 형태로) 정보를 디스플레이하기 위한 디스플레이 모듈(미도시)을 포함한다. 추가 예들에서, 클라이언트 디바이스(102)는 터치 스크린들, 가속도계들, 자이로스코프들, 카메라들, 마이크로폰들, GPS(global positioning system) 디바이스들 등 중 하나 이상을 포함한다. 클라이언트 디바이스(102)는 온라인 소셜 플랫폼에 액세스하고 이를 활용하는 데 사용되는 사용자의 디바이스일 수 있다.

[0027] 예컨대, 클라이언트 디바이스(102)는 온라인 소셜 플랫폼, 게임 플랫폼, 및 통신 애플리케이션들 상에서 애플리케이션(104)을 사용하는 소정 사용자의 디바이스이다. 클라이언트 디바이스(102)는 서버 시스템(106)에 의해 호스팅되는 온라인 소셜 플랫폼과 같은 웹사이트에 액세스한다. 사용자는 사용자와 연관된 로그인 크리덴셜(credential)을 입력한다. 서버 시스템(106)은 요청을 수신하고 온라인 소셜 플랫폼에 대한 액세스를 제공한다.

[0028] 클라이언트 디바이스(102)의 사용자는 서버 시스템(106)에 의해 호스팅되는 애플리케이션(104)을 론치(launch)하고 이에 관여한다. 1명 이상의 사용자들은 사람, 머신, 또는 클라이언트 디바이스(102)와 상호작용하는 다른 수단일 수 있다. 예들에서, 사용자는 시스템(100)의 일부가 아닐 수 있지만, 클라이언트 디바이스(102) 또는 다른 수단을 통해 시스템(100)과 상호작용할 수 있다. 예컨대, 사용자는 클라이언트 디바이스(102)에 입력(예컨대, 터치 스크린 입력 또는 영숫자 입력)을 제공할 수 있고, 입력은 네트워크(110)를 통해 시스템(100)의 다른 엔티티들(예컨대, 제3 자 서버들(108), 서버 시스템(106) 등)에 통신될 수 있다. 이러한 경우에, 시스템(100)의 다른 엔티티들은, 사용자로부터의 입력을 수신하는 것에 대한 응답으로, 사용자에게 제시될 정보를 네트워크(110)를 통해 클라이언트 디바이스(102)에 통신할 수 있다. 이러한 방식으로, 사용자는 클라이언트 디바이스(102)를 사용하여 시스템(100)의 다양한 엔티티들과 상호작용한다.

[0029] 네트워크(110)의 하나 이상의 부분들은 ad hoc 네트워크, 인트라넷, 엑스트라넷, VPN(virtual private network), LAN(local area network), WLAN(wireless LAN), WAN(wide area network), WWAN(wireless WAN), MAN(metropolitan area network), 인터넷의 일부, PSTN(public switched telephone network)의 일부, 셀룰러 전화 네트워크, 무선 네트워크, WiFi 네트워크, 4G LTE 네트워크, 다른 타입의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있다.

[0030] 클라이언트 디바이스(102)는 웹 클라이언트(112)(예컨대, 브라우저) 또는 하나 이상의 클라이언트 애플리케이션들(104)을 통해 시스템(100)의 다른 엔티티들에 의해 제공되는 다양한 데이터 및 애플리케이션들에 액세스할 수 있다. 클라이언트 디바이스(102)는 웹 브라우저, 메시징 애플리케이션, 멀티-플레이어 게임 애플리케이션, 전자 메일(이메일) 애플리케이션, e-커머스 사이트 애플리케이션, 매핑 또는 로케이션 애플리케이션, 온라인 주택 매매 애플리케이션, 부동산 애플리케이션 등과 같은 (그러나, 이들에 제한되지 않음) 하나 이상의 클라이언트 애플리케이션(들)(104)("앱들"로 또한 지칭됨)을 포함할 수 있다.

[0031] 일부 예들에서, 하나 이상의 클라이언트 애플리케이션(들)(104)은 클라이언트 디바이스(102)의 소정 부분에 포함되고, 사용자 인터페이스 및 기능들 중 적어도 일부를 국부적으로 제공하도록 구성되며, 클라이언트 애플리케이션(들)(104)은 (예컨대, 로케이션 정보에 액세스하는 것, 사용자를 인증하는 것 등을 수행하기 위해) 국부적으로 이용 가능하지 않은 데이터 프로세싱 능력들을 위해 시스템(100)의 다른 엔티티들(예컨대, 제3 자 서버(들)(108), 서버 시스템(106) 등)과 필요에 따라 통신하도록 구성된다. 역으로, 하나 이상의 클라이언트 애플리케이션(들)(104)은 클라이언트 디바이스(102)에 포함되지 않을 수 있으며, 이후 클라이언트 디바이스(102)는 시스템(100)의 다른 엔티티들(예컨대, 제3 자 서버(들)(128), 서버 시스템(106) 등)상에서 호스팅되는 하나 이상의 애플리케이션들에 액세스하기 위해 자신의 웹 브라우저를 사용할 수 있다.

[0032] 서버 시스템(106)은 네트워크(110)(예컨대, 인터넷 또는 WAN(wide area network))를 통해 하나 이상의 제3 자 서버(들)(108) 및 하나 이상의 클라이언트 디바이스(102)에 서버측 기능을 제공한다. 서버 시스템(106)은 애플리케이션 서버(114)를 포함하며, 애플리케이션 서버(114)는 하나 이상의 데이터베이스(들)(120)와 통신 가능하게 커플링될 수 있는 웹 서버(118) 및 애플리케이션 프로그램 인터페이스(API: application program interface) 서버(116)를 포함한다. 하나 이상의 데이터베이스(들)(120)는 서버 시스템(106)의 사용자들과 관련된 데이터, 서버 시스템(106)과 연관된 애플리케이션들, 클라우드 서비스들, 주택 시장 데이터 등을 저장하는 저장 디바이스들일 수 있다. 하나 이상의 데이터베이스(들)(120)는 제3 자 서버(들)(108), 제3 자 애플리케이션(들)(122), 클라이언트 디바이스(102), 클라이언트 애플리케이션(들)(104), 사용자들 등과 관련된 정보를 더 저장할 수 있다. 일례에서, 하나 이상의 데이터베이스(들)(120)는 클라우드-기반 스토리지일 수 있다.

[0033] 일부 예들에 따르면, 서버 시스템(106)은 클라우드 컴퓨팅 환경일 수 있다. 일례에서, 서버 시스템(106) 및 서버 시스템(106)과 연관된 임의의 서버들은 클라우드-기반 애플리케이션과 연관될 수 있다.

[0034] 하나 이상의 제3 자 서버(들)(108)는 하나 이상의 제3 자 애플리케이션(들)(122)을 포함할 수 있다. 제3 자 서버(들)(108)상에서 실행되는 하나 이상의 제3 자 애플리케이션(들)(122)은 API 서버(116)에 의해 제공되는 프로그램 인터페이스를 통해 API 서버(116)를 통해 서버 시스템(106)과 상호작용할 수 있다. 예컨대, 제3 자 애플리케이션들(122) 중 하나 이상은 제3 자에 의해 호스팅되는 애플리케이션 또는 제3 자에 의해 호스팅되는 웹사이트상의 하나 이상의 피처(feature)들 또는 기능들을 지원하기 위해 API 서버(116)를 통해 서버 시스템(106)으로부터 정보를 요청하고 이를 활용할 수 있다. 제3 자 애플리케이션(들)(122)은 예컨대 서버 시스템(106)의 관련 기능 및 데이터에 의해 지원되는 소프트웨어 버전 분석 기능을 제공할 수 있다.

[0035] 도 2a는 안경류(200) 형태의 예시적인 클라이언트 디바이스의 전방 사시도를 도시한다. 안경류(200)는 제1 카메라(202a) 및 제2 카메라(202b)를 포함한다. 예시된 이미지 캡처 안경류(200)는 중앙 프레임 부분(208)으로부터 확장되는 템플(temple)들(206a 및 206b)을 갖는 지지 구조물(204)을 포함한다. 이미지 캡처 안경류(200)는 관절형 조인트들(210a 및 210b), 전자 컴포넌트들(212b 및 212a), 및 강성을 위한 코어 와이어들(214a, 214b 및 214c)을 추가로 포함한다. 비록 예시된 이미지 캡처 안경류(200)가 안경이지만, 이미지 캡처 안경류는 헤드셋, 헤드 기어, 헬멧 또는 사용자가 착용할 수 있는 다른 디바이스와 같은 다른 형태들을 취할 수 있다. 게다가, 안경류에 대한 예들이 본원에서 제공되지만, 이러한 예들은 본질적으로 임의의 입체 시스템에 적용되어 확장될 수 있다.

[0036] 지지 구조물(204)은 카메라들(202)을 지지한다. 지지 구조물(204)은 또한 사용자에 의해 착용될 때 사용자의 시계 내의 하나 이상의 광학 엘리먼트들을 지지한다. 예컨대, 중앙 프레임 부분(208)은 하나 이상의 광학 엘리먼트들을 지지한다. 본원에서 사용되는 바와 같이, “광학 엘리먼트들”이라는 용어는 렌즈들, 투명한 유리 또는 플라스틱 피스(piece)들, 프로젝터들, 스크린들, 디스플레이들, 및 시각 이미지들을 제시하거나 또는 사용자가 시각 이미지들을 인지하게 하는 다른 디바이스들을 지칭한다. 일례에서, 개개의 템플들(206a 및 206b)은 개개의 관절형 조인트들(210a 및 210b)에서 중앙 프레임 부분(208)에 연결된다. 예시된 템플들(206a 및 206b)은 강성을 위해 개개의 코어 와이어들(214a 및 214b)이 내부에서 세로 방향으로 확장되는 세장형 부재들이다.

[0037] 도 2a에서, 템플(206b)은 착용 가능한 상태로 예시되어 있고, 템플(206a)은 접힌 상태로 예시되어 있다. 도 2a에 도시된 바와 같이, 관절형 조인트(210a)는 템플(206a)을 중앙 프레임 부분(208)의 좌측 단부 부분(216a)에 연결한다. 유사하게, 관절형 조인트(210b)는 템플(206b)을 중앙 프레임 부분(208)의 우측 단부 부분(216b)에 연결한다. 중앙 프레임 부분(208)의 좌측 단부 부분(216a)은 전자 컴포넌트들(212a)을 내부에 수용하는 하우징을 포함한다. 우측 단부 부분(216b)은 또한 내부에 전자 컴포넌트들(212b)을 수용하는 하우징을 포함한다. 하우징들은 중앙 프레임(208)과 일체형으로 형성되거나, 개개의 템플들(206)과 일체형으로 형성되거나, 또는 별개의 컴포넌트들로서 형성될 수 있다.

[0038] 플라스틱 재료 또는 다른 재료에는 코어 와이어(214a)가 임베딩되며, 코어 와이어(214a)는 인접한 관절형 조인트(210a)로부터 템플(206a)의 세로방향 단부를 향해 세로방향으로 확장된다. 유사하게, 플라스틱 재료 또는 다른 재료에는 또한 코어 와이어(214b)가 임베딩되며, 코어 와이어(214b)는 인접한 관절형 조인트(210b)로부터 템플(206b)의 세로방향 단부를 향해 세로방향으로 확장된다. 플라스틱 재료 또는 다른 재료에는 추가로 코어 와이어(214c)가 임베딩되며, 코어 와이어(214c)는 좌측 단부 부분(216a)(인접한 전자 컴포넌트들(212a)을 종결시킴)으로부터 우측 단부 부분(216b)(인접한 전자 컴포넌트들(212b)을 종결시킴)으로 확장된다.

[0039] 전자 컴포넌트들(212a 및 212b)은 지지 구조물(204)에 의해 (예컨대, 템플(들)(206) 및/또는 중앙 프레임 부분(208) 중 하나 또는 둘 모두에 의해) 지지된다. 전자 컴포넌트들(212a 및 212b)은 전원, 전력 및 통신 관련 회로부, 통신 디바이스들, 디스플레이 디바이스들, 컴퓨터, 메모리, 모듈들 등(미도시)을 포함한다. 전자 컴포넌트들(212a 및 212b)은 또한 상이한 관점들에서 이미지들 및/또는 비디오들을 캡처하기 위한 제1 카메라(202a) 및/또는 제2 카메라(202b)를 포함하거나 또는 지원할 수 있다. 이러한 이미지들은 입체 이미지들/비디오들을 생성하기 위해 융합될 수 있다.

[0040] 일례에서, 템플들(206a 및 206b) 및 중앙 프레임 부분(208)은 코어 와이어들(214)이 내부에 임베딩된 플라스틱 재료, 셀룰로스 플라스틱(예컨대, 셀룰로스 아세테이트), 에코-플라스틱 재료, 열가소성 재료 등으로 구성된다. 코어 와이어들(214)은 지지 구조물(204)(즉, 템플(들)(206) 및/또는 중앙 프레임 부분(208))에 구조적 무결성을 제공한다. 부가적으로, 코어 와이어들(214)은 인접한 전자 컴포넌트들(212a 및 212b)을 국부적으로 가열할 가능성을 감소시키기 위해 전자 컴포넌트들(212a 및 212b)에 의해 생성된 열을 그 전자 컴포넌트들로부터 멀리 전달하는 방열판으로서 작용한다. 따라서, 코어 와이어들(214)은 열원에 대한 방열판을 제공하기 위해 열원에 열적으로 커플링된다. 코어 와이어들(214)은 예컨대 알루미늄, 알루미늄의 합금, 니켈-은의 합금들, 및 스테인리스 스틸 중 하나 이상과 같은 비교적 가요성인 전도성 금속 또는 금속 합금 재료를 포함할 수 있다.

[0041] 도 2b에 예시된 바와 같이, 지지 구조물(204)은 사용자/착용자의 머리의 부분(222)(예컨대, 주요 부분)을 수용하기 위한 구역(예컨대, 프레임(208) 및 템플들(206)에 의해 정의된 구역(220))을 정의한다. 정의된 구역(들)은, 사용자가 이미지 캡처 안경류(200)를 착용하고 있을 때, 지지 구조물에 의해 에워싸이며, 지지 구조물에 의해 둘러싸이며, 지지 구조물에 인접하고 그리고/또는 지지 구조물 근처에 있는, 사용자의 머리의 적어도 일부를 포함하는 하나 이상의 구역들이다.

[0042] 앞서 설명된 바와같이, 이미지 캡처 안경류(200)는 입체 이미지들을 캡처하기 위한 듀얼 카메라들(202)을 갖는다. 듀얼 카메라들(202)의 단순화된 오버헤드 뷰가 도 2c에 도시되며, 도 2c에서, 프레임(208)은 프레임(208)의 개개의 대향 측면들(즉, 좌측 및 우측)에 통합된 카메라들(202)을 포함한다. 제1 카메라(202a)는 제1 시선(230a)을 갖고, 제2 카메라(202b)는 제2 시선(230b)을 갖는다. 일례에서, 프레임(208)의 굴곡이 없으면, 제1 및 제2 시선들(230)은 실질적으로 평행하다. 일반적으로, 입체 이미징(stereoscopic imaging)은 2개 이상의 오프셋 2차원(2D) 이미지들로부터 깊이를 갖는 3차원(3D) 이미지인 것으로 보이는 것을 생성하기 위한 기법이다. 입체 이미징은 자신들의 좌측 눈 및 우측 눈으로 오프셋 이미지들을 캡처하는 인간들에 의해 자연스럽게 수행된다. 이후, 이러한 오프셋 이미지들은 뇌에 의해 결합되어, 3D 이미지(즉, 깊이를 갖는 이미지)인 것으로 보이는 것을 형성한다.

[0043] 3차원 이미지들의 생성 및/또는 3차원 효과의 생성은 일반적으로 입체 이미지들의 융합을 필요로 한다. 예컨대, 입체 이미징 알고리즘은 알려진 시선들, 그 시선들의 분리 및/또는 카메라들의 시계들을 사용하여 입체 이미지들을 융합함으로써 3차원 이미지를 생성할 수 있다. 입체 이미징 알고리즘은, 알려진 시선들, 그 시선들의 분리 및/또는 카메라들의 시계들을 사용하여, 디스플레이를 통해 관찰자의 제1 눈에 입체 이미지들 중 제1 이미지를 제시하고 동일하거나 상이한 디스플레이를 통해 관찰자의 제2 눈에 입체 이미지들 중 제2 이미지를 제시함으로써 3차원 효과를 생성할 수 있다.

[0044] 입체 이미징 알고리즘은 입체 이미지들로부터의 장면에 대한 정보를 비교함으로써, 예컨대 2차원 이미지들에서 객체들의 상대적 포지션들을 검사함으로써 깊이 정보를 추출할 수 있다. 통상적인 스테레오 비전(stereo vision)에서, 서로 수평으로 변위된 2개의 카메라들은 장면에서 2개의 상이한 뷰들을 획득하기 위해 사용된다. 이들 2개의 이미지들을 비교함으로써, 상대적인 깊이 정보는 디스패리티 맵(disparity map)의 형태로 획득될 수 있으며, 이는 대응 이미지 포인트들의 수평 좌표들의 차이를 인코딩한다. 이러한 디스패리티 맵의 값들은 대응 픽셀 로케이션의 장면 깊이에 반비례한다.

[0045] 인간이 3차원 효과를 경험하도록 하기 위해, 입체 디바이스는 입체 이미지들을 중첩할 수 있는데, 우측 카메라(202b)로부터의 이미지는 관찰자의 우측 눈으로 안내되고 좌측 카메라(202a)로부터의 이미지는 좌측 눈으로 안내된다. 이미지들은 화상 품질을 향상시키기 위해 사전 프로세싱될 수 있다. 예컨대, 이미지들은 먼저 (예컨대, "어안(fisheye)" 렌즈로 획득됨으로 인해 발생하는) 왜곡을 제거하기 위해 프로세싱될 수 있다. 예컨대, 배럴 왜곡(barrel distortion) 및 접선 왜곡(tangential distortion)은 관찰된 이미지가 이상적인 핀홀 카메라의 투영과 매칭되도록 보장하기 위해 제거될 수 있다. 이미지는 이미지 정류로서 알려진 이미지 쌍들의 비교를 허용하기 위해 공통 평면에 추가로 다시 투영될 수 있다. 이는 2개의 이미지들에서 피처들의 포지션의 최상의 추정치를 제공하고, 디스패리티 맵을 생성한다. 선택적으로, 수신된 디스패리티 맵은 3차원 포인트 구름에 투영될 수 있다. 카메라의 투영 파라미터들을 활용함으로써, 포인트 구름은 알려진 스케일(scale)로 측정치들을 제공하도록 계산될 수 있다.

[0046] 3차원 효과를 생성하기 위해 입체 이미지들을 제시하기 위한 알고리즘(들)은 개개의 카메라들 간의 뷰들의 상대적인 시선들/시계들에 따른다. 이러한 정보가 없으면, 알고리즘(들)은 원하는 3차원 효과를 달성하기 위해 입체 이미지들을 적절하게 융합/디스플레이하지 못할 수 있다.

[0047] 안경류는 사용자의 편안함을 위해 약간의 유연성을 허용하면서 안경류 컴포넌트들의 지지를 가능하게 하는 강성을 갖는다. 그러나, 이러한 유연성은 원하는 3차원 효과를 생성하기 위해 적절한 입체 이미지들을 캡처하는 것을 복잡하게 하며, 이는, 앞서 설명된 바와같이, 카메라들이 서로에 대해 알려진 시선들/시계들을 가질 것을 요구한다.

[0048] 예컨대, 입체 이미징 알고리즘은 도 2c에 도시된 바와 같이 카메라들의 알려진 시계들에 기반하여 세팅될 수 있으며, 이 카메라들은 서로 실질적으로 평행한 시선들(230)을 갖는다. 그러나, 도 2d에 도시된 바와 같이, 사용자가 안경류(200)를 자신의 머리에 놓을 때, 프레임(208)은 템플들(206a 및 206b)이 구부러진 템플 포지션들(206a' 및 206b')로 외측으로 구부러짐으로 인해 구부러져서, 그 결과 카메라들(202)의 배향을 변경할 수 있다. 카메라들(202)의 배향이 변경될 때, 카메라들(202a 및 202b)의 원래의 시선들(230a 및 230b)은 개개의 가변 각도(240a 및 240b)만큼 구부러진 시선들(230a', 230b')로 시프트된다. 따라서, 카메라들(202a 및 202b)의 시선들(230a' 및 230b')은 더 이상 서로 평행하지 않을 것이다.

[0049] 이러한 굴곡으로 인해 발생하는 가변 각도들(240a 및 240b)은 템플들(206)의 강성, 프레임(208)의 강성, 사용자의 머리의 크기 등에 따른다. 따라서, 카메라들(202)의 상대 시계들은 상이한 착용자들에 대해 상이할 수 있다. 카메라(202a)의 비굴곡 시계는 라인들(242a 내지 242b)에 의해 표현된 시계로부터 242a' 내지 242b'에 의해 표현된 시계까지 각도(240a)만큼 변경된다. 카메라(202b)의 비굴곡 시계는 라인들(242C 내지 242D)에 의해 표현된 시계로부터 242C' 내지 242D'에 의해 표현된 시계까지 각도(240b)만큼 변경된다. 일례에서, 입체 이미지 알고리즘은 카메라들의 상대 시계들을 결정하기 위해 카메라들을 교정한다.

[0050] 도 2d에는 단지 2개의 굴곡 상태들만이 예시되나, 굴곡은 안경류(200)를 통해 확장되는 본질적으로 임의의 축을 따라 및/또는 그 주위에서 발생할 수 있다. 굴곡의 범위는 프레임들(208)의 구조적 강성에 따르는 최소치 및 최대치를 가질 수 있다. 일반적으로, 프레임 강성이 증가하고 그리고/또는 템플 강성이 감소함에 따라, 굴곡의 범위가 감소한다. 따라서, 안경류는 굴곡의 각도들 및 모든 축들을 따르는 허용가능 레벨로 굴곡 범위를 제한하는 미리 결정된 강성으로 설계 및 제조될 수 있다. 강성은 프레임을 구성하는 데 사용되는 재료들에 기반하여 설계될 수 있다. 예컨대, 크로스바(예컨대, 금속)는 프레임들의 굴곡을 제한하고 따라서 입체 이미지를 생성하는데 허용 가능한 미리 결정된 범위로 카메라들(202)의 시선들/시계들의 움직임을 제한하기 위해 라인(214c)을 따라 프레임들에 통합될 수 있다.

[0051] 일반적으로, 안경류(200)는 입체 이미지들을 생성하기 전에 교정을 수행한다. 교정 알고리즘은 카메라들(202) 둘 모두로부터 이미지들을 캡처하는 것, 및 카메라들 각각에 의해 캡처된 대응하는 이미지들 간의 피처들을 매칭시킴으로써 카메라들 간의 상대 시계들을 (즉, 좌측 카메라(202a)와 우측 카메라(202b) 간의 피처의 상대 움직임이 무엇인지를) 결정하는 것을 포함한다. 이러한 교정은 안경류에 의해 자동으로 또는 사용자 요청에 따라 (예컨대, 사용자가 버튼(미도시)을 누를때) 수행될 수 있다. 일단 교정이 수행되면, 안경류는 시선들/시계들의 변화들을 고려함으로써 3차원 이미지들을 생성하고 그리고/또는 3차원 효과들을 생성하는데 사용하기 위한 입체 이미지들을 캡처할 수 있다.

[0052] 도 3a는 제1 카메라(202a)(도 2c)에 의해 캡처/획득된 x, y, x 좌표 공간에서 큐브(300)의 이미지를 예시하며, 그리고 도 3b는 제2 카메라(202b)에 의해 캡처/획득된 x, y, z 좌표 공간에서 큐브(300)의 이미지를 예시한다. 큐브(300)의 평행한 선형 피처들을 확장하면, 피처들이 도 3a의 소실점(302a) 및 도 3b의 소실점(302b)에서 수렴하게 된다. VP(302a 및 302b)의 포지션의 차이는 제1 카메라(202)와 제2 카메라(202) 간의 오프셋 및 회전 차이들 때문이다.

[0053] 큐브(300)는 선형적이고 평행한 것으로 알려진 3개의 선형 에지들(에지(304a), 에지(304b) 및 에지(304c))을 갖는다. 평행 선형 피처들을 확장하면, 소실점(302)에서 수렴한다.

[0054] 도 3c는 카메라(202)에 의해 캡처/획득된 장면의 이미지를 예시한다. 2개의 상이한 카메라들에 의해 캡처한 동일한 장면의 이미지들 간의 회전 차이들을 결정하기 위해, 무한 초점 길이에서 획득된 이미지들 간의 공통 피처를 식별하는 것이 유용하다. 예컨대, 구름(310)은 구름이 무한 초점 길이에서 이미지들에 존재하는 것으로 알려지기 때문에 무한 초점 길이를 갖는 것으로 배경에서 식별될 수 있다. 그러나, (예컨대, 실내에서, 맑은 날에, 그리고 하늘이 보이지 않는 각도들에서 촬영된 이미지들의 경우에) 구름들은 항상 존재하는 것은 아니다. 이러한 상황에서, 본 발명자들은 예컨대 동일한 장면을 캡처하는 카메라들의 회전 차이들을 결정할 때 알려진 평행 피처들을 확장함으로써 획득된 소실점들이 유용하다는 것을 발견했다.

[0055] 도 3c는 알려진 평행 피처들을 갖는 많은 객체들을 포함하는 구조물(312)을 도시한다. 추가적으로, 도 3c는 알려진 평행 피처들을 또한 갖는 구조물(312) 전방의 경로(314)를 도시한다. 구조물(312)은 지붕(316), 측면(318), 창문(320) 및 문(322)을 포함하며, 이들 각각은 알려진 평행 관계를 갖는 피처들을 갖는다. 예컨대, 지붕(316)은 꼭대기(324) 및 하단 에지(326)를 갖는다. 꼭대기(324)에서 제1 포인트(324a) 및 제2 포인트(324b)를 선택하고 하단 에지들(326)에서 제1 포인트(326a) 및 제2 포인트(326b)를 선택하고 그리고, 선택된 포인트들 간의 라인들을 확장하면, 소실점(302)에서 수렴한다. 마찬가지로, 창문(320)은 상단 에지(328) 및 하단 에지(330)를 갖는다. 상단 에지(328)에서 제1 포인트(328a) 및 제2 포인트(328b)를 선택하고 하단 에지(330)에서 제1 포인트(330a) 및 제2 포인트(330b)를 선택하고 선택된 포인트들 간의 라인들을 확장하면, 소실점(302)에서 수렴한다. 알려진 평행 피처들을 갖는 객체들의 다른 예들은 본원의 설명으로부터 당업자에게 자명할 것이다.

[0056] 도 4는 3차원 이미지들을 획득, 프로세싱 및 제시하기 위한 예시적인 방법의 흐름도(400)이다. 순서도(400)의 단계들은 순차적인 순서로 수행되는 것으로 도시 및 설명되지만, 일부 예들에서 하나 이상의 단계들이 동시에 또는 다른 순서로 수행될 수 있다. 부가적으로, 다른 예들에서는 하나 이상의 단계들이 생략될 수 있다.

[0057] 단계(402)에서는 장면의 제1 및 제2 이미지들이 획득된다. 안경류(200)은 장면의 입체 이미지들을 캡처한다. 안경류(200)는 좌측 카메라(202a)로 장면의 좌측 원시 이미지(raw image)를 캡처하고 우측 카메라(202a)로 장면의 우측 원시 이미지를 캡처할 수 있다. 일례에서, 장면은 SIFT(Scale Invariant Feature Transforms) 또는 BRISK(Binary Robust Invariant Scalable Keypoints)와 같은 이미지 프로세싱 알고리즘에 의해 검출 가능한 알려진 평행 피처들을 갖는 적어도 하나의 객체를 포함한다. 또 다른 예에서, 훈련된 딥 뉴럴 네트워크(DNN: deep neural network)는 알려진 객체들을 식별할 수 있다. 객체들의 예들은 빌딩들, 문들, 창문들, 도로들 등을 포함한다.

[0058] 블록(404)에서는 왜곡을 제거하기 위해 획득된 이미지들을 정류한다. 안경류(200)는 이미지들 간의 피처들의 비교를 용이하게 하기 위해 카메라들(202)의 개개의 렌즈들에 의해 도입된 왜곡(예컨대, 비네팅(vignetting)으로 인해 발생한 렌즈 에지들에서의 왜곡; 이미지 중앙에 비해 주변부에서의 밝기 또는 채도의 감소)을 제거하기 위해 이미지들을 정류할 수 있다. 우측 원시 이미지는 우측 정류된 이미지를 생성하기 위해 정류되고, 좌측 원시 이미지는 우측 정류된 이미지를 생성하기 위해 정류된다.

[0059] 블록(406)에서는 알려진 평행 관계들을 갖는 선형 피처들을 갖는 객체들을 정류된 이미지들에서 식별한다. 안경류는 도 5의 방법을 사용하여 객체들을 식별할 수 있다. 안경류는 먼저 후보 객체들을 인식한다(블록 502). 안경류는 객체 인식 소프트웨어를 이용하여 후보 객체들을 인식할 수 있다. 그 다음에, 안경류는 후보 객체들을 알려진 객체들에 매칭시킨다(블록 504). 알려진 객체들은, 비-제한적인 예로서, 창문들, 문들, 지붕선들, 도로들, 인도들 등을 포함한다. 안경류는 객체 인식 소프트웨어를 사용하여 후보 객체들을 알려진 객체들에 매칭시킬 수 있다. 안경류는 매칭하는 후보 객체들로부터 하나 이상의 객체들을 선택한다(블록 506). 객체들의 선택은 데이터베이스에 저장된 정렬된 리스트에 기반할 수 있다. 일례에서, 지붕선들은 선택 동안 창문 프레임들에 비해 우선순위를 부여받는다. 다른 예들에서, 선택은 지붕선들 및 창문 프레임들 둘 모두를 포함한다.

[0060] 블록(408)에서는 이미지들 각각에서 소실점들을 외삽하기 위해 선형 피처들을 확장한다. 안경류는 도 6의 방법을 사용하여 소실점들을 외삽할 수 있다. 안경류는 먼저 선형 피처들상의 포인트들을 선택한다(블록 602). 안경류는 알려진 평행 관계를 갖는 적어도 2개의 선형 피처들상의 적어도 2개의 포인트들을 선택한다. 예컨대, 도 3c를 참조하면, 안경류는 지붕(316)의 꼭대기(324) 상에서 제1 포인트(324a) 및 제2 포인트(324b)를 선택하였으며, 지붕(316)의 하부 에지(326)상에서 제3 포인트(326a) 및 제4 포인트(326b)를 선택하였다. 포인트들은 피처의 전체 길이(실제 또는 겉보기 길이)의 1/3 및 2/3 포지션에서 선택될 수 있다. 그 다음에, 안경류는 예컨대 선형 외삽법들을 통해 이미지의 배경 쪽의 각각의 피처의 포인트들을 외삽한다(블록 604). 예컨대, 각각의 이미지에서, 안경류는 배경 쪽의 제1 및 제2 포인트들을 통해 제1 라인을 외삽할 수 있고, 배경 쪽의 제3 및 제4 포인트들을 통해 제2 라인을 외삽할 수 있다. 그 다음에, 안경류는 외삽법을 통해 생성된 제1 라인 및 제2 라인의 교점으로부터 VP를 결정한다(블록 606). 교점은 2개의 라인들이 자신들의 가장 가까운 포인트에서 서로 접촉하지 않는 경우 2개의 라인들의 가까운 포인트에서 2개의 라인들 사이의 포인트(예컨대, 중간 포인트)를 포함한다.

[0061] 블록(410)에서는 교정 오프셋을 획득하기 위해 소실점들을 비교한다. 안경류는 도 7의 방법을 사용하여 교정 오프셋을 결정하기 위해 각각의 이미지로부터의 소실점들을 다른 이미지로부터의 소실점들과 비교할 수 있다. 안경류는 제1 이미지에서 제1 VP에 대응하는 제1 픽셀 로케이션을 식별하고 제2 이미지에서 제2 VP에 대응하는 제2 픽셀 로케이션을 식별한다(블록 702). 그 다음에, 안경류는 제1 및 제2 VP들 사이의 픽셀들의 수를 결정하고, 그 차이를 교정 오프셋으로서 식별한다(블록 704).

[0062] 블록(412)에서는 교정 오프셋에 의해 3차원 렌더링 오프셋을 조절한다. 렌더링 오프셋을 결정하기 위해, 안경류는 알려진 장면에서 하나 이상의 피처들에 대한 입체 이미지들 간의 오프셋을 식별한다. 교정 알고리즘은 이미지(예컨대, 좌측 원시 또는 정류된 이미지)의 알려진 피처(들)/장면에 대한 오프셋을 다른 이미지(예컨대, 우측 원시 또는 정류된 이미지)의 그 알려진 피처(들)/장면과 비교할 수 있다. 일례에서, (예컨대, 수평 방향에서) 우측 이미지에서의 피처의 포지션과 좌측 이미지에서의 피처의 포지션 사이의 픽셀들의 수는 렌더링 오프셋이다. 안경류는 3차원 이미지들을 디스플레이 및/또는 렌더링하는 데 사용하기 위해 3차원 렌더링 오프셋을 저장한다. 안경류는 (예컨대, 착용시 안경류의 굴곡을 수용하기 위해) 알려지지 않은 환경들에서 획득된 이미지들에 대한 교정 오프셋 만큼 알려진 장면에서 획득된 저장된 렌더링 오프셋을 조절한다.

[0063] 블록(414)에서는 조절된 렌더링 오프셋을 사용하여 3차원 이미지들을 제시한다. 일례에서, 입체 알고리즘은 조절된 렌더링 오프셋을 사용하여 (예컨대, 안경류의 디스플레이들을 통해) 관찰자의 우측 눈 및 좌측 눈에 각각 입체 이미지들의 우측 및 좌측 이미지들을 제시한다. 제시된 이미지들은 착용자에게 보다 사실적인 3차원 효과를 제공하기 위해 조절된 오프셋을 고려하여 투영된다. 다른 예에서, 입체 알고리즘은 뷰어(viewer)에게 보다 사실적인 3차원 효과를 제공하기 위해, 조절된 오프셋을 고려하여 디스플레이 상의 입체 이미지들의 우측 및 좌측 이미지들을 연접(concatenate)한다.

[0064] 도 4 내지 도 7의 단계들은 유형의 컴퓨터 판독 가능 매체, 이를테면 자기 매체, 예컨대 컴퓨터 하드 드라이브, 광학 매체, 예컨대 광 디스크, 고체-상태 메모리, 예컨대 플래시 메모리, 또는 당업계에 공지된 다른 저장 매체들 상에 저장된 명령들의 실행을 통해 안경류의 제어기 및/또는 안경류에 커플링된 전자 디바이스의 제어기에 의해 수행될 수 있다. 따라서, 도 4 내지 도 7의 단계들과 같이 본원에서 설명된 제어기(들)에 의해 수행되는 기능들 중 임의의 기능은 유형의 컴퓨터 판독 가능 매체에 유형적으로 저장되는 소프트웨어 코드 또는 명령들로 구현될 수 있다.

[0065] 도 8은 네트워크(102)를 통해 도 9의 서버 시스템(120)과 통신하는 모바일 디바이스를 포함하는 예시적인 클라이언트 디바이스(110)의 고-레벨 기능 블록도이다. 모바일 디바이스는 단독으로 안경류(100)일 수 있거나, 또는 2개 이상의 디바이스들 간에 공유되는 본원에서 설명된 프로세싱을 수행하는 셀룰러 전화와 같은 다른 모바일 디바이스와 결합된 안경류(100)일 수 있다. 다른 모바일 디바이스들은 네트워크(110)를 통해 연결된 로컬 모바일 디바이스(802), 이를테면 사용자의 셀룰러 전화 또는 원격 모바일 디바이스(804)를 포함할 수 있다. 터치 스크린 타입의 모바일 디바이스(800)의 엘리먼트들이 도시되어 있지만, 본원에서는 다른 비-터치 타입의 모바일 디바이스들이 고려되어 사용될 수 있다. 사용될 수 있는 터치 스크린 타입의 모바일 디바이스들의 예들은 스마트 폰, PDA(personal digital assistant), 태블릿 컴퓨터, 랩톱 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(그러나, 이에 제한되지는 않음). 그러나, 터치 스크린 타입의 디바이스들의 구조 및 동작은 예로서 제공되며; 본원에 설명된 주제 기술은 이에 제한되도록 의도되지 않는다. 따라서, 이러한 논의의 목적을 위해, 도 8은 콘텐츠를 디스플레이하고 사용자 인터페이스로서(또는 그 일부로서) 사용자 입력을 수신하기 위한 터치 스크린 디스플레이를 갖는 예시적인 모바일 디바이스(110)의 블록도 예시를 제공한다. 모바일 디바이스(890)는 또한 가시 광선 카메라들과 같은 카메라(들)(202)를 포함한다.

[0066] 도 8에 도시된 바와 같이, 모바일 디바이스(110)는 광역 무선 모바일 통신 네트워크(102)를 통한 디지털 무선 통신들을 위해 WWAN XCVR들로 도시된 적어도 하나의 디지털 트랜시버(XCVR)(810)를 포함한다. 모바일 디바이스(110)는 또한 이를테면 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 WiFi를 통한 단거리 네트워크 통신을 위한 단거리 XCVR들(820)과 같은 추가 디지털 또는 아날로그 트랜시버들을 포함한다. 예컨대, 단거리 XCVR들(820)은 IEEE 802.11 하의 Wi-Fi 표준들 및 4G LTE 중 하나와 같은 무선 근거리 네트워크들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환 가능한 타입의 임의의 이용 가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.

[0067] 모바일 디바이스(102)의 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해, 모바일 디바이스(102)는 GPS(global positioning system) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스(102)는 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해 단거리 XCVR들(820) 및 WWAN XCVR들(810) 중 하나 또는 둘 모두를 활용할 수 있다. 예컨대, 셀룰러 네트워크, WiFi 또는 Bluetooth™ 기반 포지셔닝 시스템들은 특히 조합하여 사용될 때 매우 정확한 로케이션 좌표들을 생성할 수 있다. 이러한 로케이션 좌표들은 XCVR들(820)을 통한 하나 이상의 네트워크 연결들을 통해 안경류 디바이스에 송신될 수 있다.

[0068] 트랜시버들(810, 820)(네트워크 통신 인터페이스)은 현대식 모바일 네트워크들에 의해 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 따른다. WWAN 트랜시버들(810)의 예들은, 예컨대 제한없이 때때로 “4G”로 지칭되는 LTE 및 3GPP(3rd Generation Partnership Project) 타입 2(또는 3GPP2)를 포함하는 3GPP 네트워크 기술들 및 CDMA(Code Division Multiple Access)에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나 이에 제한되지 않음). 예컨대, 트랜시버들(810, 820)은 디지털화된 오디오 신호들, 정지 이미지 및 비디오 신호들을 포함하는 양방향 무선 통신 정보, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹 관련 입력들, 및 다양한 타입들의 모바일 메시지 통신들을 사용자 식별 전략들을 위한 모바일 디바이스(102)로/로부터 제공한다.

[0069] 앞서 논의된 바와 같이 트랜시버들(810, 820) 및 네트워크를 통한 이러한 타입들의 통신들 중 몇몇은 서버 시스템(106)과의 통신들을 지원하는 프로토콜들 및 절차들과 관련된다. 예컨대, 이러한 통신들은 도 1에 도시된 바와 같이 서버 시스템(106)으로 그리고 서버 시스템(106)으로부터 네트워크(110)의 무선 연결들을 통해 단거리 XCVR들(820)을 사용하여 패킷 데이터를 전송할 수 있다. 예컨대, 이러한 통신들은 또한 도 1에 도시된 네트워크(예컨대, 인터넷)(110)를 통해 WWAN XCVR들(810)을 통한 IP 패킷 데이터 전송을 활용하여 데이터를 전송할 수 있다. WWAN XCVR들(810) 및 단거리 XCVR들(820) 둘 모두는 RF(radio frequency) 전송-및-수신 증폭기들(미도시)을 통해 연관된 안테나(미도시)에 연결된다.

[0070] 모바일 디바이스(102)는 본원에서 때때로 호스트 제어기로 지칭되는 CPU로서 도시된 마이크로프로세서(830)를 더 포함한다. 프로세서는 하나 이상의 프로세싱 기능들, 통상적으로 다양한 데이터 프로세싱 기능들을 수행하도록 구조화되고 배열된 엘리먼트들을 갖는 회로이다. 개별 로직 컴포넌트들이 사용될 수 있지만, 예들은 프로그램 가능 CPU를 형성하는 컴포넌트들을 활용한다. 예컨대, 마이크로프로세서는 CPU의 기능들을 수행하기 위해 전자 엘리먼트들을 통합하는 하나 이상의 IC(integrated circuit) 칩들을 포함한다. 예컨대, 프로세서(830)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 통상적으로 사용되는 바와 같이 ARM 아키텍처를 사용하여 RISC(Reduced Instruction Set Computing)와 같은 임의의 공지된 또는 이용 가능한 마이크로프로세서 아키텍처에 기반할 수 있다. 스마트폰, 랩톱 컴퓨터 및 태블릿에서 CPU(830) 또는 프로세서 하드웨어를 형성하기 위해 다른 프로세서 회로부가 사용될 수 있다.

[0071] 마이크로프로세서(830)는 예컨대, 프로세서(830)에 의해 실행 가능한 프로그래밍 또는 명령들에 따라, 다양한 동작들을 수행하도록 모바일 디바이스(102)를 구성함으로써 모바일 디바이스(102)에 대한 프로그램 가능 호스트 제어기로서 역할을 한다. 예컨대, 이러한 동작들은 성능 메트릭 모니터링, 서버 시스템(106)에 대한 보고, 및 게이팅(gating)과 관련된 동작뿐만 아니라 모바일 디바이스의 다양한 일반 동작들을 포함할 수 있다. 프로세서는 하드와이어드 로직을 사용하여 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성된 일반적인 프로세싱 회로들이다.

[0072] 모바일 디바이스(102)는 데이터 및 프로그래밍을 저장하기 위한 메모리 또는 저장 디바이스 시스템을 포함한다. 이 예에서, 메모리 시스템은 플래시 메모리(840A) 및 RAM(random access memory)(840B)을 포함할 수 있다. RAM(840B)은 예컨대, 작동 데이터 프로세싱 메모리와 같이 프로세서(830)에 의해 처리되는 명령들 및 데이터를 위한 단기 스토리지로서 기능을 한다. 플래시 메모리(840A)는 통상적으로 장기 스토리지를 제공한다.

[0073] 따라서, 모바일 디바이스(102)의 예에서, 플래시 메모리(840A)는 프로세서(830)에 의한 실행을 위한 프로그래밍 또는 명령들을 저장하기 위해 사용된다. 디바이스의 타입에 따라, 모바일 디바이스(102)는 애플리케이션(104)을 포함하는 특정 애플리케이션들이 실행되게 하는 모바일 오퍼레이팅 시스템을 저장 및 실행한다. 애플리케이션들은 모바일 디바이스(102) 상에서 실행되는 네이티브 애플리케이션(native application), 하이브리드 애플리케이션 또는 웹 애플리케이션(예컨대, 웹 브라우저에 의해 실행되는 동적 웹 페이지)일 수 있다. 모바일 오퍼레이팅 시스템들의 예들은 Google Android®, Apple iOS® (I-Phone 또는 iPad 디바이스들), Windows Mobile®, Amazon Fire OS®, RIM BlackBerry® 오퍼레이팅 시스템 등을 포함한다.

[0074] 도 9는 머신(900)이 본원에서 논의되는 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령들(908)(예컨대, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행 가능 코드)이 실행될 수 있는 머신(900)의 도식적 표현이다. 예컨대, 명령들(908)은 머신(900)이 본원에서 설명되는 방법들 중 임의의 하나 이상을 실행하게 할 수 있다. 명령들(908)은 프로그래밍되지 않은 일반적인 머신(900)을, 설명 및 예시된 기능들을 설명된 방식으로 수행하도록 프로그래밍된 특정 머신(900)으로 변환한다. 머신(900)은 독립형 디바이스로서 동작할 수 있거나 또는 다른 머신들에 커플링(예컨대, 네트워킹)될 수 있다. 네트워킹된 전개에서, 머신(900)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신으로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(900)은 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), PDA, 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 웨어러블 디바이스(예컨대, 스마트 워치), 스마트 홈 디바이스(예컨대, 스마트 기기), 다른 스마트 디바이스들, 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(900)에 의해 취해질 액션(action)들을 지정하는 명령들(908)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있으나, 이들에 제한되지 않는다. 게다가, 단지 단일 머신(900)만이 예시되어 있지만, “머신”라는 용어는 또한 본원에서 논의되는 방법론들 중 임의의 하나 이상을 수행하기 위한 명령들(908)을 개별적으로 또는 공동으로 실행하는 머신들의 집합을 포함하는 것으로 해석되어야 한다.

[0075] 머신(900)은 버스(944)를 통해 서로 통신하도록 구성될 수 있는 프로세서들(902), 메모리(904), 및 I/O 컴포넌트들(942)을 포함할 수 있다. 일례에서, 프로세서(902)(예컨대, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(DSP), ASIC, RFIC(Radio-Frequency Integrated Circuit), 다른 프로세서, 또는 이들의 임의의 적절한 조합)은 예컨대 명령들(908)을 실행하는 프로세서(906) 및 프로세서(910)를 포함할 수 있다. "프로세서"라는 용어는 명령을 동시에 실행할 수 있는 2개 이상의 독립 프로세서들(때로는 "코어들"로 지칭됨)을 포함할 수 있는 멀티-코어 프로세서들을 포함하도록 의도된다. 비록 도 9가 다수의 프로세서들(902)을 도시하지만, 머신(900)은 단일 코어를 갖는 단일 프로세서, 다수의 코어들을 갖는 단일 프로세서(예컨대, 멀티-코어 프로세서), 단일 코어를 갖는 다수의 프로세서들, 다수의 코어들을 갖는 다수의 프로세서들, 또는 이들의 임의의 조합을 포함할 수 있다.

[0076] 메모리(904)는 주 메모리(912), 정적 메모리(914), 및 저장 유닛(916)을 포함하고, 이들은 버스(944)를 통해 프로세서들(902)에 의해 액세스 가능하다. 주 메모리(904), 정적 메모리(914), 및 저장 유닛(916)은 본원에서 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 명령들(908)을 저장한다. 명령들(908)은 또한, 머신(900)에 의한 이들의 실행 동안, 주 메모리(912) 내에, 정적 메모리(914) 내에, 저장 유닛(916) 내의 머신-판독 가능 매체(918)(예컨대, 비-일시적 머신-판독 가능 저장 매체) 내에, 프로세서들(902) 중 적어도 하나 내에 (예컨대, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합내에 완전히 또는 부분적으로 상주할 수 있다.

[0077] 게다가, 머신-판독 가능 매체(918)는 그것이 전파 신호를 구현하지 않는다는 점에서 비-일시적이다(다시 말해서, 임의의 일시적 신호들을 갖지 않는다). 그러나, 머신-판독 가능 매체(918)를 "비-일시적"이라고 라벨링하는 것은 매체가 이동할 수 없다는 것을 의미하는 것으로 해석되어서는 안 되며; 매체는 하나의 물리적 로케이션에서 다른 물리적 로케이션으로 이동 가능한 것으로 고려되어야 한다. 추가적으로, 머신-판독 가능 매체(918)는 유형적이기 때문에, 매체는 머신-판독 가능 디바이스일 수 있다.

[0078] I/O 컴포넌트들(942)은 입력을 수신하고, 출력을 제공하며, 출력을 생성하며, 정보를 송신하며, 정보를 교환하며, 측정치들을 캡처하는 등을 수행하는 매우 다양한 컴포넌트들을 포함할 수 있다. 특정 머신에 포함되는 특정 I/O 컴포넌트들(942)은 머신의 타입에 의존할 것이다. 예컨대, 모바일 폰들과 같은 휴대용 머신들은 터치 입력 디바이스 또는 다른 그러한 입력 메커니즘들을 포함할 수 있는 반면에, 헤드리스 서버 머신(headless server machine)은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 있다. I/O 컴포넌트들(942)이 도 9에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것이 인식될 것이다. 다양한 예들에서, I/O 컴포넌트들(942)은 출력 컴포넌트들(928) 및 입력 컴포넌트들(930)을 포함할 수 있다. 출력 컴포넌트들(928)은 시각적 컴포넌트들(예컨대, 디스플레이, 이를테면 PDP(plasma display panel), LED(light emitting diode) 디스플레이, LCD(liquid crystal display), 프로젝터(projector) 또는 CRT(cathode ray tube)), 음향 컴포넌트들(예컨대, 스피커들), 햅틱(haptic) 컴포넌트들(예컨대, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 컴포넌트들(930)은 영숫자 입력 컴포넌트들(예컨대, 키보드, 영숫자 입력을 수신하도록 구성되는 터치 스크린, 포토-광학 키보드 또는 다른 영숫자 입력 컴포넌트들), 포인트-기반 입력 컴포넌트들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 컴포넌트들(예컨대, 물리적 버튼, 터치들 또는 터치 제스처들의 힘 및 로케이션을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예컨대, 마이크로폰) 등을 포함할 수 있다.

[0079] 추가 예들에서, I/O 컴포넌트들(942)은, 다수의 다른 컴포넌트들 중에서, 생체 컴포넌트들(932), 모션 컴포넌트들(934), 환경 컴포넌트들(936), 또는 포지션 컴포넌트들(938)을 포함할 수 있다. 예컨대, 생체 컴포넌트들(932)은 표현들(예컨대, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체 신호들(예컨대, 혈압, 심박수, 체온, 땀 또는 뇌파들)을 측정하는 것, 개인을 식별하는 것(예컨대, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별 또는 뇌전도 기반 식별) 등을 수행하기 위한 컴포넌트들을 포함한다. 모션 컴포넌트들(934)은 가속 센서 컴포넌트들(예컨대, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예컨대, 자이로스코프(gyroscope)) 등을 포함한다. 환경 컴포넌트들(936)은 예컨대 조도 센서 컴포넌트들(예컨대, 광도계), 온도 센서 컴포넌트들(예컨대, 주변 온도를 검출하는 하나 이상의 온도계들), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예컨대, 기압계), 음향 센서 컴포넌트들 (예컨대, 배경 잡음을 검출하는 하나 이상의 마이크로폰들), 근접 센서 컴포넌트(proximity sensor components)들(예컨대, 인근 객체들을 검출하는 적외선 센서들), 가스 센서들(예컨대, 안전을 위해 위험 가스들의 농도들을 검출하거나 또는 대기에서 오염 물질들을 측정하기 위한 가스 검출 센서들) 또는 주변 물리적 환경에 대응하는 표시들, 측정치들 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함한다. 포지션 컴포넌트들(938)은 로케이션 센서 컴포넌트들(예컨대, GPS 수신기 컴포넌트), 고도 센서 컴포넌트들(예컨대, 고도가 유도될 수 있는 공기 압력을 검출하는 고도계들 또는 기압계들), 배향 센서 컴포넌트들(예컨대, 자력계들) 등을 포함한다.

[0080] 통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. I/O 컴포넌트들(942)은 각각 커플링(924) 및 커플링(926)을 통해 네트워크(102) 및 클라이언트 디바이스들(110)에 머신(900)을 커플링하도록 동작 가능한 통신 컴포넌트들(940)을 더 포함한다. 예컨대, 통신 컴포넌트들(940)은 네트워크 인터페이스 컴포넌트 또는 네트워크(102)와 인터페이싱하기 위한 다른 적절한 디바이스를 포함할 수 있다. 추가 예들에서, 통신 컴포넌트들(940)은 유선 통신 컴포넌트들, 무선 통신 컴포넌트들, 셀룰러 통신 컴포넌트들, NFC(Near Field Communication) 컴포넌트들, Bluetooth® 컴포넌트들(예컨대, Bluetooth® Low Energy), Wi-Fi® 컴포넌트들, 및 다른 양식들을 통해 통신을 제공하기 위한 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스들(922)은 다른 머신, 또는 매우 다양한 주변 디바이스들 중 임의의 디바이스(예컨대, USB를 통해 커플링된 주변 디바이스)일 수 있다.

[0081] 더욱이, 통신 컴포넌트들(940)은 식별자들을 검출할 수 있거나 또는 식별자들을 검출하도록 동작 가능한 컴포넌트들을 포함할 수 있다. 예컨대, 통신 컴포넌트들(940)은 RFID(Radio Frequency Identification) 태그 리더(tag reader) 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 리더 컴포넌트들(예컨대, 1차원 바코드들, 이를테면 UPC(Universal Product Code) 바코드, 다차원 바코드들, 이를테면 QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D 바코드 및 다른 광학 코드들을 검출하기 위한 광학 센서), 또는 음향 검출 컴포넌트들(예컨대, 태깅된 오디오 신호(tagged audio signal)들을 식별하기 위한 마이크로폰들)을 포함할 수 있다. 더욱이, 다양한 정보, 이를테면 인터넷 프로토콜(IP) 지오로케이션(geolocation)을 통한 로케이션, Wi-Fi® 신호 삼각측량을 통한 로케이션, 특정 로케이션을 표시할 수 있는 NFC 비콘 신호를 검출하는 것을 통한 로케이션 등이 통신 컴포넌트들(940)을 통해 유도될 수 있다.

[0082] 다양한 메모리들(예컨대, 메모리(904), 주 메모리(912), 정적 메모리(914), 프로세서들(902)의 메모리, 저장 유닛(916))은 본원에서 설명된 방법론들 또는 기능들 중 임의의 하나 이상에 의해 구현되거나 또는 사용되는 명령들 및 데이터 구조들의 하나 이상의 세트들(예컨대, 소프트웨어)을 저장할 수 있다. 이러한 명령들(예컨대, 명령들(908))는 프로세서들(902)에 의해 실행될 때 다양한 동작들이 개시된 예들을 구현하게 한다.

[0083] 명령들(908)은 네트워크(102)를 통해, 송신 매체를 사용하여, 네트워크 인터페이스 디바이스(예컨대, 통신 컴포넌트들(940)에 포함된 네트워크 인터페이스 컴포넌트)를 통해, 그리고 다수의 잘 알려진 전송 프로토콜들 중 어느 하나(예컨대, HTTP(hypertext transfer protocol))를 사용하여 송신 또는 수신될 수 있다. 유사하게, 명령들(908)은 송신 매체를 사용하여 커플링(926)(예컨대, 피어-투-피어 커플링)을 통해 디바이스(922)에 송신되거나 또는 이로부터 수신될 수 있다.

[0084] 도 10은 본원에서 설명되는 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어 아키텍처(1004)를 예시하는 블록도(1000)이다. 소프트웨어 아키텍처(1004)는 프로세서들(1020), 메모리(1026), 및 I/O 컴포넌트들(1038)을 포함하는 머신(1002)과 같은 하드웨어에 의해 지원된다. 이러한 예에서, 소프트웨어 아키텍처(1004)는 계층들의 스택으로서 개념화될 수 있으며, 여기서 각각의 계층은 특정 기능을 제공한다. 소프트웨어 아키텍처(1004)는 오퍼레이팅 시스템(1012), 라이브러리들(1010), 프레임워크들(1008), 및 애플리케이션들(1006)과 같은 계층들을 포함한다. 동작적으로, 애플리케이션들(1006)은 소프트웨어 스택을 통해 API 콜(call)들(1050)을 인보크하고, API 콜들(1050)에 대한 응답으로 메시지들(1052)을 수신한다.

[0085] 오퍼레이팅 시스템(1012)은 하드웨어 자원들을 관리하고, 공통 서비스들을 제공한다. 오퍼레이팅 시스템(1012)은 예컨대 커널(1014), 서비스들(1016), 및 드라이버들(1022)을 포함한다. 커널(1014)은 하드웨어와 다른 소프트웨어 계층들 사이에서 추상화 계층으로서 작용한다. 예컨대, 커널(1014)은 다른 기능 중에서 메모리 관리, 프로세서 관리(예컨대, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 세팅들을 제공한다. 서비스들(1016)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(1022)은 기본 하드웨어를 제어하거나 이와 인터페이싱하는 것을 담당한다. 예컨대, 드라이버들(1022)은 디스플레이 드라이버들, 카메라 드라이버들, BLUETOOTH® 또는 BLUETOOTH® 저에너지 드라이버들, 플래시 메모리 드라이버들, 직렬 통신 드라이버들(예컨대, USB(Universal Serial Bus) 드라이버들), WI-FI® 드라이버들, 오디오 드라이버들, 전력 관리 드라이버들 등을 포함할 수 있다.

[0086] 라이브러리들(1010)은 애플리케이션들(1006)에 의해 사용되는 저-레벨 공통 인프라스트럭처를 제공한다. 라이브러리들(1010)은 메모리 할당 기능들, 스트링 조작 기능들, 수학적 기능들 등과 같은 기능들을 제공하는 시스템 라이브러리들(1018)(예컨대, C 표준 라이브러리)을 포함할 수 있다. 더욱이, 라이브러리들(1010)은 API 라이브러리들(1024), 이를테면 미디어 라이브러리들(예컨대, MPEG4(Moving Picture Experts Group-4), 고급 비디오 코딩(H.264 또는 AVC), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG (Joint Photography Experts Group) 또는 PNG(Portable Network Graphics)와 같은 다양한 미디어 포맷들의 프리젠테이션 및 조작을 지원하는 라이브러리들), 그래픽 라이브러리들 (예컨대, 디스플레이상의 그래픽 콘텐츠에서 2차원(2D)들 및 3차원(3D)들로 렌더링하는 데 사용되는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예컨대, 다양한 관계형 데이터베이스 기능들을 제공하기 위한 SQLite), 웹 라이브러리들(예컨대, 웹 브라우징 기능을 제공하기 위한 WebKit) 등을 포함할 수 있다. 라이브러리들(1010)은 또한 애플리케이션들(1006)에 많은 다른 API들을 제공하기 위해 매우 다양한 다른 라이브러리들(1028)을 포함할 수 있다.

[0087] 프레임워크들(1008)은 애플리케이션들(1006)에 의해 사용되는 고-레벨 공통 인프라스트럭처를 제공한다. 예컨대, 프레임워크들(1008)은 다양한 GUI(graphical user interface스) 기능들, 고-레벨 자원 관리 및 고-레벨 로케이션 서비스들을 제공한다. 프레임워크들(1008)은 애플리케이션들(1006)에 의해 사용될 수 있는 광범위한 다른 API들을 제공할 수 있으며, 이들 중 일부는 특정 오퍼레이팅 시스템 또는 플랫폼에 특정적일 수 있다.

[0088] 일례에서, 애플리케이션들(1006)은 홈 애플리케이션(1036), 콘택 애플리케이션(contacts application)(1030), 브라우저 애플리케이션(1032), 북 리더 애플리케이션(1034), 로케이션 애플리케이션(1042), 미디어 애플리케이션(1044), 메시징 애플리케이션(1046), 게임 애플리케이션(1048) 및 광범위하게 다양한 다른 애플리케이션들, 이를테면 제3 자 애플리케이션(1040)을 포함할 수 있다. 애플리케이션들(1006)은 프로그램들에 정의된 기능들을 실행하는 프로그램들이다. 다양한 방식들로 구성된 애플리케이션들(1006) 중 하나 이상을 생성하기 위해 객체 지향 프로그래밍 언어들(예컨대, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예컨대, C 또는 어셈블리 언어)과 같은 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3 자 애플리케이션(1040)(예컨대, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ SDK(software development kit)를 사용하여 개발된 애플리케이션)은 모바일 오퍼레이팅 시스템, 이를테면 IOS™, ANDROID™, WINDOWS® Phone 또는 다른 모바일 오퍼레이팅 시스템 상에서 실행되는 모바일 소프트웨어일 수 있다. 이러한 예에서, 제3 자 애플리케이션(1040)은 본원에 설명된 기능을 용이하게 하기 위해 오퍼레이팅 시스템(1012)에 의해 제공된 API 콜들(1050)을 인보크할 수 있다.

[0089] 본원에서 사용된 용어들 및 표현들은, 특정 의미들이 본원에 달리 제시된 경우를 제외하고는, 그들 개개의 대응하는 탐구 및 연구 영역들과 관련하여 그러한 용어들 및 표현들에 부여된 바와 같은 일반적인 의미를 갖는다는 것이 이해될 것이다. 관계형 용어들, 이를테면 제1, 제2 등은 단지 하나의 엔티티 또는 동작을 다른 것으로부터 구별하기 위해 사용될 수 있고, 이러한 엔티티들 또는 동작들 사이의 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 용어들 "포함하다", "포함하는", "구비하다" , “구비하는" , 또는 이의 임의의 다른 변형은 비배타적인 포함을 커버하는 것으로 의도되어, 엘리먼트들 또는 단계들의 리스트를 포함하거나 구비하는 프로세스, 방법, 물품 또는 장치는 그러한 엘리먼트 또는 단계들만을 구비하는 것이 아니라, 명시적으로 나열되지 않거나 이러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 엘리먼트들 또는 단계들을 구비할 수 있다. 단수형 엘리먼트는 추가적인 제약들 없이, 엘리먼트들을 포함하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.

[0090] 달리 언급되지 않는 한, 하기의 청구항들을 포함하여 본 명세서에 기재된 임의의 그리고 모든 측정치들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 규격들은 정확한 것이 아니라 근사치이다. 이러한 수량들은, 이들이 관련되는 기능들 및 이들과 관련된 분야에서 통상적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예컨대, 달리 명시적으로 언급되지 않는 한, 파라미터 값 등은 언급된 수량으로부터 ± 10 %만큼 많이 달라질 수 있다.

[0091] 더욱이, 전술한 상세한 설명에서, 다양한 특징들이 본 개시내용을 간소화할 목적으로 다양한 예들에서 함께 그룹화된다는 것을 알 수 있다. 본 개시내용의 방법은 청구되는 예들이 각각의 청구항에 명시적으로 언급된 것보다 많은 특징들을 요구하려는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 보호될 청구대상은 임의의 단일의 개시된 예의 모든 특징들보다 적다. 따라서, 이하의 청구항들은 상세한 설명에 통합되며, 각각의 청구항은 별개로 청구된 청구대상으로서 독자적으로 기재된다.

[0092] 전술한 것은 최상의 모드 및 다른 예들인 것으로 고려되는 것을 설명하였지만, 본원에서 다양한 수정들이 이루어질 수 있고 본원에 개시된 청구대상은 다양한 형태들 및 예들에서 구현될 수 있으며 이들은 다수의 애플리케이션들에서 적용될 수 있고 그 일부만이 본원에 설명되었음이 이해된다. 이하의 청구항들은 본 개념들의 진정한 범위 내에 있는 임의의 그리고 모든 수정들 및 변경들을 주장하도록 의도된다.

Claims (20)

1. 시스템으로서,
   이미지 캡처 디바이스 ― 상기 이미지 캡처 디바이스는 지지 구조물 및 상기 지지 구조물에 연결된 제1 카메라 및 제2 카메라를 포함하며, 상기 제1 카메라는 제1 이미지를 캡처하도록 포지셔닝되고 상기 제2 카메라는 제2 이미지를 캡처하도록 포지셔닝됨 ―;
   상기 이미지 캡처 디바이스에 커플링된 프로세서;
   상기 프로세서에 의해 액세스 가능한 메모리; 및
   상기 메모리 내의 프로그래밍(programming)을 포함하며,
   상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 시스템을 구성하고,
   상기 기능들은,
   상기 제1 카메라로부터 상기 제1 이미지를 획득하고 상기 제2 카메라로부터 상기 제2 이미지를 획득하기 위한 기능;
   평행 관계를 갖는 것으로 알려진 제1 선형 피처(feature) 및 제2 선형 피처를 갖는 객체를 상기 제1 및 제2 이미지들에서 식별하기 위한 기능;
   상기 제1 이미지에 대한 제1 소실점(VP: vanishing point) 및 상기 제2 이미지에 대한 제2 VP를 외삽(extrapolate)하기 위해 상기 제1 및 제2 이미지들 각각에서 상기 제1 및 제2 선형 피처들을 확장하기 위한 기능;
   교정 오프셋(calibration offset)을 획득하기 위해 상기 제1 및 제2 VP들을 비교하기 위한 기능;
   상기 획득된 교정 오프셋에 의해 3차원 렌더링 오프셋(rendering offset)을 조절하기 위한 기능; 및
   상기 조절된 3차원 렌더링 오프셋을 사용하여 상기 제1 및 제2 이미지들을 3차원 이미지로서 제시(present)하기 위한 기능을 포함하는, 시스템.
2. 제1 항에 있어서,
   상기 교정 오프셋은 상기 제2 카메라에 대한 상기 제1 카메라의 회전을 보정하는, 시스템.
3. 제2 항에 있어서,
   상기 제2 카메라에 대한 상기 제1 카메라의 회전은 상기 지지 구조물의 굴곡에 기인하는, 시스템.
4. 제1 항에 있어서,
   상기 객체를 식별하기 위한 기능은,
   상기 제1 또는 제2 이미지들 중 적어도 하나 내에서 후보 객체들을 인식하기 위한 기능;
   알려진 평행 관계를 갖는 알려진 객체들에 상기 후보 객체들을 매칭시키기 위한 기능; 및
   상기 알려진 객체들과 매칭하는 상기 후보 객체들 중 하나 이상으로부터 상기 식별된 객체를 선택하기 위한 기능
   을 수행하기 위한 기능을 포함하는, 시스템.
5. 제1 항에 있어서,
   상기 제1 이미지에 대한 상기 제1 VP 및 상기 제2 이미지에 대한 상기 제2 VP를 외삽하기 위해 상기 제1 및 제2 이미지들 각각에서 상기 제1 및 제2 선형 피처들을 확장하기 위한 기능은, 상기 제1 및 제2 이미지들 각각에 대해,
   상기 제1 선형 피처상에서 제1 포인트를 선택하고 상기 제1 선형 피처상에서 제2 포인트를 선택하기 위한 기능 ― 상기 제2 포인트는 상기 제1 포인트로부터 이격됨 ―;
   상기 제2 선형 피처상에서 제3 포인트를 선택하고 상기 제2 선형 피처상에서 제4 포인트를 선택하기 위한 기능 ― 상기 제4 포인트는 상기 제3 포인트로부터 이격됨 ―;
   상기 제1 및 제2 포인트들을 통하는 제1 라인 및 상기 제3 및 제4 포인트들을 통하는 제2 라인을 외삽하기 위한 기능; 및
   상기 제1 라인 및 상기 제2 라인의 교점으로부터 상기 제1 이미지에 대한 상기 제1 VP를 결정하고 상기 제1 라인 및 상기 제2 라인의 교점으로부터 상기 제2 이미지에 대한 상기 제2 VP를 결정하기 위한 기능을 포함하는, 시스템.
6. 제1 항에 있어서,
   상기 교정 오프셋을 획득하기 위해 상기 제1 및 제2 VP들을 비교하기 위한 기능은,
   상기 제1 VP에 대응하는 제1 픽셀 로케이션(location) 및 상기 제2 VP에 대응하는 제2 픽셀 로케이션을 식별하기 위한 기능;
   상기 제1 VP와 상기 제2 VP 간의 픽셀 차이의 수를 결정하기 위한 기능; 및
   상기 픽셀 차이의 수를 상기 교정 오프셋으로서 세팅하기 위한 기능을 포함하는, 시스템.
7. 제1 항에 있어서,
   상기 지지 구조물은 프레임 및 상기 프레임으로부터 확장되는 템플(temple)들을 포함하며, 상기 제1 및 제2 카메라들은 상기 프레임에 의해 지지되며, 상기 프레임은 상기 프레임의 강성을 증가시키기 위해 강성 바가 내부에 임베딩되며, 상기 제1 및 제2 카메라들은 상이한 시계들로부터 입체 이미지들을 캡처하기 위해 미리 결정된 거리 만큼 떨어져 상기 이미지 캡처 디바이스의 지지 구조물상에 포지셔닝되는, 시스템.
8. 제1 항에 있어서,
   이미지들을 제시하기 위한 상기 메모리의 프로그래밍은 상기 조절된 3차원 렌더링 오프셋을 사용하여 상기 입체 이미지를 연접(concatenate)하기 위한 기능을 수행하는, 시스템.
9. 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법으로서,
   상기 제1 카메라로부터 제1 이미지를 획득하고 상기 제2 카메라로부터 제2 이미지를 획득하는 단계;
   평행 관계를 갖는 것으로 알려진 제1 선형 피처 및 제2 선형 피처를 갖는 객체를 상기 제1 및 제2 이미지들에서 식별하는 단계;
   상기 제1 이미지에 대한 제1 소실점(VP) 및 상기 제2 이미지에 대한 제2 VP를 외삽하기 위해 상기 제1 및 제2 이미지들 각각에서 상기 제1 및 제2 선형 피처들을 확장하는 단계;
   교정 오프셋을 획득하기 위해 상기 제1 및 제2 VP들을 비교하는 단계;
   상기 획득된 교정 오프셋에 의해 3차원 렌더링 오프셋을 조절하는 단계; 및
   상기 조절된 3차원 렌더링 오프셋을 사용하여 상기 제1 및 제2 이미지들을 3차원 이미지로서 제시하는 단계를 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
10. 제9 항에 있어서,
    상기 제시하는 단계는 디스플레이 상에서 상기 3차원 이미지를 제시하는 단계를 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
11. 제10 항에 있어서,
    상기 디스플레이 상에서 제시하기 위한 상기 3차원 이미지를 생성하기 위해 상기 조절된 오프셋을 사용하여 상기 입체 이미지들을 연접하는 단계를 더 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
12. 제9 항에 있어서,
    상기 이미지 캡처 시스템은 제1 디스플레이 및 제2 디스플레이를 포함하며;
    상기 제시하는 단계는 상기 제1 디스플레이 상에서 상기 3차원 이미지의 좌측 이미지 컴포넌트를 제시하고 상기 제2 디스플레이 상에서 상기 3차원 이미지의 우측 이미지 컴포넌트를 제시하는 단계를 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
13. 제9 항에 있어서,
    상기 객체를 식별하는 단계는,
    상기 제1 또는 제2 이미지들 중 적어도 하나 내에서 후보 객체들을 인식하는 단계;
    알려진 평행 관계를 갖는 알려진 객체들에 상기 후보 객체들을 매칭시키는 단계; 및
    상기 알려진 객체들과 매칭하는 상기 후보 객체들 중 하나 이상으로부터 상기 식별된 객체를 선택하는 단계를 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
14. 제9 항에 있어서,
    상기 제1 및 제2 선형 피처들을 확장하는 단계는, 상기 제1 및 제2 이미지들 각각에 대해,
    상기 제1 선형 피처상에서 제1 포인트를 선택하고 상기 제1 선형 피처상에서 제2 포인트를 선택하는 단계 ― 상기 제2 포인트는 상기 제1 포인트로부터 이격됨 ―;
    상기 제2 선형 피처상에서 제3 포인트를 선택하고 상기 제2 선형 피처상에서 제4 포인트를 선택하는 단계 ― 상기 제4 포인트는 상기 제3 포인트로부터 이격됨 ―;
    상기 제1 및 제2 포인트들을 통하는 제1 라인 및 상기 제3 및 제4 포인트들을 통하는 제2 라인을 외삽하는 단계; 및
    상기 제1 라인 및 상기 제2 라인의 교점으로부터 상기 제1 이미지에 대한 상기 제1 VP를 결정하고 상기 제1 라인 및 상기 제2 라인의 교점으로부터 상기 제2 이미지에 대한 상기 제2 VP를 결정하는 단계를 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
15. 제9 항에 있어서,
    상기 비교하는 단계는,
    상기 제1 VP에 대응하는 제1 픽셀 로케이션 및 상기 제2 VP에 대응하는 제2 픽셀 로케이션을 식별하는 단계;
    상기 제1 VP와 상기 제2 VP 간의 픽셀 차이의 수를 결정하는 단계; 및
    상기 픽셀 차이의 수를 상기 교정 오프셋으로서 세팅하는 단계를 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
16. 제9 항에 있어서,
    상기 입체 이미지들의 왜곡을 보정하기 위해 상기 입체 이미지들을 정류하는 단계를 더 포함하는, 제1 카메라 및 제2 카메라를 갖는 입체 이미지 캡처 시스템에 대한 교정 방법.
17. 제1 카메라 및 제2 카메라를 포함하는 입체 이미지 캡처 시스템을 교정하기 위한 프로세서-실행 가능 명령들을 저장하는 비-일시적 프로세서-판독 가능 저장 매체로서,
    상기 프로세서-실행 가능 명령들은, 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 동작들을 수행하게 하며,
    상기 동작들은:
    상기 제1 카메라로부터 제1 이미지를 획득하고 상기 제2 카메라로부터 제2 이미지를 획득하는 동작;
    평행 관계를 갖는 것으로 알려진 제1 선형 피처 및 제2 선형 피처를 갖는 객체를 상기 제1 및 제2 이미지들에서 식별하는 동작;
    상기 제1 이미지에 대한 제1 소실점(VP) 및 상기 제2 이미지에 대한 제2 VP를 외삽하기 위해 상기 제1 및 제2 이미지들 각각에서 상기 제1 및 제2 선형 피처들을 확장하는 동작;
    교정 오프셋을 획득하기 위해 상기 제1 및 제2 VP들을 비교하는 동작;
    상기 획득된 교정 오프셋에 의해 3차원 렌더링 오프셋을 조절하는 동작; 및
    상기 조절된 3차원 렌더링 오프셋을 사용하여 상기 제1 및 제2 이미지들을 3차원 이미지로서 제시하는 동작을 포함하는, 비-일시적 프로세서-판독 가능 저장 매체.
18. 제17 항에 있어서,
    상기 객체를 식별하기 위해, 상기 저장된 명령들은 추가로, 상기 머신으로 하여금,
    상기 제1 또는 제2 이미지들 중 적어도 하나 내에서 후보 객체들을 인식하는 동작;
    알려진 평행 관계를 갖는 알려진 객체들에 상기 후보 객체들을 매칭시키는 동작; 및
    상기 알려진 객체들과 매칭하는 상기 후보 객체들 중 하나 이상으로부터 상기 식별된 객체를 선택하는 동작을
    포함하는 동작들을 수행하게 하는, 비-일시적 프로세서-판독 가능 저장 매체.
19. 제17 항에 있어서,
    상기 제1 및 제2 선형 피처들을 확장하기 위해, 상기 저장된 명령들은 추가로, 상기 머신으로 하여금,
    상기 제1 선형 피처상에서 제1 포인트를 선택하고 상기 제1 선형 피처상에서 제2 포인트를 선택하는 동작 ― 상기 제2 포인트는 상기 제1 포인트로부터 이격됨 ―;
    상기 제2 선형 피처상에서 제3 포인트를 선택하고 상기 제2 선형 피처상에서 제4 포인트를 선택하는 동작 ― 상기 제4 포인트는 상기 제3 포인트로부터 이격됨 ―;
    상기 제1 및 제2 포인트들을 통하는 제1 라인 및 상기 제3 및 제4 포인트들을 통하는 제2 라인을 외삽하는 동작; 및
    상기 제1 라인 및 상기 제2 라인의 교점으로부터 상기 제1 이미지에 대한 상기 제1 VP를 결정하고 상기 제1 라인 및 상기 제2 라인의 교점으로부터 상기 제2 이미지에 대한 상기 제2 VP를 결정하는 동작을
    포함하는 동작들을 수행하게 하는, 비-일시적 프로세서-판독 가능 저장 매체.
20. 제17 항에 있어서,
    상기 제1 및 제2 VP들을 비교하기 위해, 상기 저장된 명령들은 추가로, 상기 머신으로 하여금,
    상기 제1 VP에 대응하는 제1 픽셀 로케이션 및 상기 제2 VP에 대응하는 제2 픽셀 로케이션을 식별하는 동작;
    상기 제1 VP와 상기 제2 VP 간의 픽셀 차이의 수를 결정하는 동작; 및
    상기 픽셀 차이의 수를 상기 교정 오프셋으로서 세팅하는 동작
    을 포함하는 동작들을 수행하게 하는, 비-일시적 프로세서-판독 가능 저장 매체.

Images