KR20230029923A - 롤링 셔터 카메라들을 사용하는 시각적 관성 추적 - Google Patents

롤링 셔터 카메라들을 사용하는 시각적 관성 추적 Download PDF

Info

Publication number
KR20230029923A
KR20230029923A KR1020237003106A KR20237003106A KR20230029923A KR 20230029923 A KR20230029923 A KR 20230029923A KR 1020237003106 A KR1020237003106 A KR 1020237003106A KR 20237003106 A KR20237003106 A KR 20237003106A KR 20230029923 A KR20230029923 A KR 20230029923A
Authority
KR
South Korea
Prior art keywords
calculated
poses
camera
image
time
Prior art date
Application number
KR1020237003106A
Other languages
English (en)
Inventor
마티아스 칼크그루버
에릭 멘데즈 멘데즈
다니엘 와그너
다니엘 울프
카이 조우
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20230029923A publication Critical patent/KR20230029923A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

롤링 셔터 카메라(들)를 사용하는 아이웨어 디바이스의 시각적 관성 추적. 아이웨어 디바이스는 포지션 결정 시스템을 포함한다. 시각적 관성 추적은 아이웨어 디바이스의 모션을 감지함으로써 구현된다. 롤링 셔터 카메라에 대한 초기 포즈가 획득되고, 환경의 이미지가 포착된다. 이미지에는 특정 포착 시간에 포착된 피처 포인트들이 포함된다. 롤링 셔터 카메라에 대한 포즈들의 수는 디바이스의 초기 포즈와 감지된 움직임에 기초하여 계산된다. 계산된 포즈들의 수는 감지된 모바일 디바이스의 움직임에 응답한다. 피처 포인트에 대한 특정 포착 시간을 계산된 포즈에 대한 특정 계산된 시간과 매칭시켜 이미지 내의 각각의 피처 포인트에 대하여 계산된 포즈가 선택된다. 모바일 디바이스의 포지션은 피처 포인트들과 피처 포인트들에 대해 선택된 계산된 포즈들을 사용하여 환경 내에서 결정된다.

Description

롤링 셔터 카메라들을 사용하는 시각적 관성 추적
[0001] 본 출원은 2020년 6월 29일에 출원된 미국 가출원 일련 번호 제63/045,568호 및 2021년 1월 29일에 출원된 미국 출원 일련 번호 제17/161,937호의 우선권을 주장하며, 이들 둘 모두의 내용들은 참조로서 본 명세서에 완전히 통합된다.
[0002] 본 개시내용에 제시된 예들은 시각적 관성 추적에 관한 것이다. 더 구체적으로, 본 개시내용은 롤링 셔터 카메라들에 의해 포착된 이미지들에 대한 포즈들을 계산하기 위한 방법들 및 시스템들을 기술하지만, 이것으로 한정되는 것은 아니다.
[0003] 롤링 셔터 카메라들은 장면 전체를 빠르게 스캐닝하여 이미지의 모든 부분들이 정확히 동일한 순간에 기록되지 않도록 이미지를 포착한다. 이미지 획득 동안, 카메라와 장면 사이에 상대적인 움직임이 있는 경우, 아티팩트들이 발생할 수 있다.
[0004] 개시된 다양한 구현예들의 피처들은 다음의 상세한 설명으로부터 쉽게 이해될 것이며, 여기서, 첨부 도면들에 대한 참조가 이루어진다. 참조 번호는 상세한 설명에서 그리고 도면의 여러 뷰들에 걸친 각각의 요소에서 사용된다. 유사한 요소들이 복수 존재하는 경우, 단일 참조 번호가 유사한 요소들에 할당되고, 특정 요소를 의미하는 소문자가 함께 추가될 수 있다.
[0005] 도면들에 도시된 다양한 요소들은 달리 표시되지 않는 한 축척에 맞게 그려지지 않았다. 다양한 요소들의 치수들은 명확성의 관점에서 확대되거나 축소될 수 있다. 몇몇 도면들은 하나 이상의 구현예들을 묘사하고, 단지 예시로서 제시되며, 한정하는 것으로 해석되어서는 안 된다. 도면에는 다음과 같은 도면들이 포함된다.
[0006] 도 1a는 시각적 관성 추적 시스템에 사용하기에 적합한 아이웨어 디바이스(eyewear device)의 예시적인 하드웨어 구성의 측면도(우측)이다.
[0007] 도 1b는 우측 가시광 카메라 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스의 우측 모서리의 부분 사시 단면도이다.
[0008] 도 1c는 좌측 가시광 카메라를 도시하는 도 1a의 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(좌측)이다.
[0009] 도 1d는 좌측 가시광 카메라 및 회로 기판을 묘사하는 도 1c의 아이웨어 디바이스의 좌측 모서리의 부분 사시 단면도이다.
[0010] 도 2a 및 도 2b는 증강 현실 제작 시스템에서 활용되는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 배면도들이다.
[0011] 도 3은 3차원 장면, 좌측 가시광 카메라에 의해 포착된 좌측 원본 이미지, 및 우측 가시광 카메라에 의해 포착된 우측 원본 이미지의 도식적인 묘사이다.
[0012] 도 4는 웨어러블 디바이스(예컨대, 아이웨어 디바이스) 및 다양한 네트워크들을 통해 연결된 서버 시스템을 포함하는 예시적인 시각적 관성 추적 시스템의 기능적인 블록도이다.
[0013] 도 5는 도 4의 증강 현실 제작 시스템의 모바일 디바이스에 대한 예시적인 하드웨어 구성의 개략적 표현이다.
[0014] 도 6은 동시 로컬화 및 매핑을 설명하는 데 사용하기 위한 예시적인 환경에서의 사용자의 개략적인 예시이다.
[0015] 도 7은 물리적 환경에서 가상 객체들을 디스플레이하는 예시적인 방법의 단계들을 나열하는 흐름도이다.
[0016] 도 8a, 도 8b, 도 8c 및 도 8d는 하나 이상의 롤링 셔터 카메라들을 사용하여 시각적 관성 추적 방법들의 예시적인 단계들을 포함하는 흐름도이다.
[0017] 다양한 구현예들 및 세부사항들은 제1 롤링 셔터 카메라를 구비한 아이웨어 디바이스의 시각적 관성 추적을 제공하기 위한 시스템을 포함하는 예들을 참조하여 기술된다. 아이웨어 디바이스는 포지션 결정 시스템을 포함한다. 시각적 관성 추적은 아이웨어 디바이스의 모션을 감지하고, 제1 롤링 셔터 카메라에 대한 초기 포즈를 획득하고 나서, 이미지가 피처 포인트들을 포함하는 환경의 이미지를 포착함으로써 구현된다. 모바일 디바이스의 움직임은 모션 검출기로 포착되고, 제1 롤링 셔터 카메라에 대한 포즈들의 수는 각각의 계산된 포즈가 특정 계산된 시간에 대응하는 초기 포즈 및 감지된 움직임에 기초하여 계산된다. 피처 포인트에 대한 특정 포착 시간을 계산된 포즈에 대한 특정 계산된 시간과 매칭시킴으로써, 각각의 피처 포인트에 대해 계산된 포즈가 선택되고, 모바일 디바이스의 포지션이 환경 내에서 결정된다.
[0018] 롤링 셔터 카메라의 각각의 판독에 대해 계산되는 더 많은 포즈들은 일반적으로 환경 내에서 모바일 디바이스의 추정 포즈의 정확도를 향상시키므로, 콘텐츠가 렌더링될 때, 사용자에 대한 인지된 증강 현실(AR) 경험을 향상시킨다. 그러나, 포즈를 계산할 때마다 처리 리소스들이 소모된다. 일부 상황들에서(예컨대, 아이웨어 디바이스가 상대적으로 느리게 움직일 때), 허용 가능한 AR 결과들은 아이웨어 디바이스가 더 빠르게 움직이는 경우보다 더 적은 포즈들로 달성될 수 있다. 아이웨어 디바이스의 움직임에 따라 계산된 포즈들의 수를 조정함으로써, 허용 가능한 결과들을 생성하는 데 필요하지 않은 경우, 처리 리소스들을 절약할 수 있다.
[0019] 다음의 상세한 설명에는 본 개시내용에 제시된 예들을 예시하는 시스템들, 방법들, 기술들, 명령어 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들이 포함된다. 개시된 주제 및 그에 대한 관련 교시들의 완전한 이해를 제공하기 위한 목적으로 다수의 세부 사항들 및 예들이 포함된다. 그러나, 당업자는 이와 같은 세부 사항들 없이도 관련 교시들을 적용하는 방법을 이해할 수 있다. 관련 교시들이 다양한 방식들로 적용되거나 실시될 수 있기 때문에, 개시된 주제의 양태들은 기술된 특정 디바이스들, 시스템들 및 방법으로 한정되는 것은 아니다. 본 명세서에 사용되는 용어 및 명명법은 특정 양태들만을 기술하기 위한 것일 뿐, 이것들로 한정하려고 의도하는 것은 아니다. 일반적으로, 잘 알려진 명령어 인스턴스들, 프로토콜들, 구조들 및 기술들은 반드시 상세하게 도시되는 것은 아니다.
[0020] 본 명세서에서 사용되는 "커플링된(coupled)" 또는 "연결된(connected)"이라는 용어는 하나의 시스템 요소에 의해 생성되거나 공급되는 전기적 또는 자기적 신호들이 다른 커플링되거나 연결된 시스템 요소에 부여되는 링크 등을 포함하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결을 의미한다. 달리 설명하지 않는 한, 커플링되거나 연결된 요소들 또는 디바이스들은 서로 직접 연결될 필요는 없으며, 중간 컴포넌트들, 요소들 또는 통신 매체에 의해 분리될 수 있으며, 이들 중 하나 이상은 전기 신호들을 수정, 조작 또는 전달할 수 있다. "위(on)"라는 용어는 요소에 의해 직접 지지되거나, 요소에 통합되거나 요소에 의해 지지되는 또 다른 요소를 거쳐 요소에 의해 간접적으로 지지되는 것을 의미한다.
[0021] 디바이스 및 연관된 컴포넌트들, 및 카메라, 관성 측정 유닛 또는 이들 둘 모두를 포함하는 임의의 다른 완전한 디바이스들의 방위들은, 도면들 중 임의의 도면에 도시된 것과 같이, 설명 및 논의의 목적으로 예로서만 제공된다. 작동 시, 아이웨어 디바이스는 아이웨어 디바이스의 특정 애플리케이션에 적합한 임의의 다른 방향, 예를 들어, 위(up), 아래(down), 옆으로(sideways) 또는 임의의 다른 방위로 지향될 수 있다. 또한, 본 명세서에서 사용된 범위 내에서, 전방(front), 후방(rear), 내측(inward), 외측(outward), 향하여(toward), 좌측(left), 우측(right), 횡방향(lateral), 종방향(longitudinal), 위(up), 아래(down), 상위(upper), 하위(lower), 최상위(top), 최하위(bottom), 측면(side), 수평(horizontal), 수직(vertical), 및 대각선(diagonal)과 같은 임의의 방향성 용어는 예로서만 사용되며, 본 명세서에 구성되거나 달리 기술된 대로 임의의 카메라나 관성 측정 유닛의 방향(direction)이나 방위(orientation)가 한정되는 것은 아니다.
[0022] 예들의 추가적인 목적들, 이점들 및 신규한 피처들은 다음의 상세한 설명에서 부분적으로 설명될 것이며, 부분적으로는 다음 및 첨부 도면들을 검토함으로써 당업자에게 명백해지거나, 또는 예들의 생성이나 작동에 의해 학습될 수 있다. 본 주제의 목적들 및 이점들은, 특히, 첨부된 청구항들에서 적시된 방법론들, 수단들 및 조합들에 의해 실현 및 달성될 수 있다.
[0023] 이제 첨부된 도면들에 예시되고 이하에 논의되는 예들을 상세하게 참조한다.
[0024] 도 1a는 터치 감응형 입력 디바이스 또는 터치패드(181)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도(우측)이다. 도시된 바와 같이, 터치패드(181)는 감지하기 힘들고 쉽게 눈에 띄지 않는 경계를 가질 수 있고; 대안적으로, 경계는 분명히 보이거나, 터치패드(181)의 로케이션 및 경계에 대해 사용자에게 피드백을 제공하는 상승 에지나 이와는 다른 촉각 에지를 포함할 수 있다. 다른 구현예들에서, 아이웨어 디바이스(100)는 좌측에 터치패드를 포함할 수 있다.
[0025] 터치패드(181)의 표면은, 사용자가 직관적인 방식으로 메뉴 옵션들을 탐색하고 선택할 수 있게 하도록, 이미지 디스플레이 상에서 아이웨어 디바이스에 의해 표시되는 GUI와 함께 사용하기 위해 손가락 터치들, 태핑들 및 제스처들(예컨대, 이동 터치들)을 검출하도록 구성되고, 이는 사용자 경험을 향상시키고 단순화한다.
[0026] 터치패드(181) 상의 손가락 입력들의 검출은 여러 기능들을 가능하게 할 수 있다. 예를 들어, 터치패드(181) 상의 아무 곳이나 터치하면, GUI로 하여금, 이미지 디스플레이 상에 아이템을 표시하거나 강조 표시하게 할 수 있으며, 이는 광학 조립체들(180A, 180B) 중 적어도 하나에 투영될 수 있다. 터치패드(181) 상에 더블 태핑하면, 아이템이나 아이콘을 선택할 수 있다. 손가락을 특정 방향(예컨대, 앞에서 뒤, 뒤에서 앞, 위에서 아래 또는 아래에서 위)으로 슬라이딩하거나 스와이핑하면, 아이템들이나 아이콘들로 하여금, 특정 방향, 예를 들어, 다음의 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동하도록 슬라이딩하거나 스크롤링되게 할 수 있다. 손가락을 다른 방향으로 슬라이딩하면, 반대 방향, 예를 들어, 이전의 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동하도록 슬라이딩하거나 스크롤링하게 할 수 있다. 터치패드(181)는 아이웨어 디바이스(100)의 사실상 어디에나 있을 수 있다.
[0027] 일 예에서, 터치패드(181) 상의 단일 태핑의 인식된 손가락 제스처는 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 요소의 선택이나 누름을 개시한다. 인식된 손가락 제스처에 기초한 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에 대한 조정은 추가 표시 또는 추가 실행를 위해 광학 조립체(180A, 180B)의 이미지 디스플레이 상의 그래픽 사용자 인터페이스 요소를 선택하거나 제출하는 기본 동작일 수 있다.
[0028] 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 본 명세서에서 추가로 설명되는 바와 같이, 2개의 카메라들(114A, 114B)은 2개의 별개의 뷰포인트들로부터 장면에 대한 이미지 정보를 포착한다. 2개의 포착된 이미지들은 3D 안경으로 보기 위해 이미지 디스플레이 상에 3차원 표시를 투영하는 데 사용될 수 있다.
[0029] 아이웨어 디바이스(100)는 깊이 이미지들과 같은 이미지들을 제시하기 위한 이미지 디스플레이를 갖는 우측 광학 조립체(180B)를 포함한다. 도 1a 및 도 1b에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 아이웨어 디바이스(100)는 스테레오 카메라와 같은 수동 유형의 3차원 카메라를 형성하는 복수의 가시광 카메라들(114A, 114B)을 포함할 수 있으며, 그 중 우측 가시광 카메라(114B)는 우측 모서리(110B)에 로케이팅된다. 도 1c 및 도 1d에 도시된 바와 같이, 아이웨어 디바이스(100)는 좌측 가시광 카메라(114A)도 포함한다.
[0030] 좌우 가시광 카메라들(114A, 114B)은 가시광 범위 파장에 민감하다. 가시광 카메라들(114A, 114B) 각각은 3차원 깊이 이미지들의 생성을 가능하게 하기 위해 중첩되는 서로 다른 전방 지향 시야를 가지며, 예를 들어, 우측 가시광 카메라(114B)는 우측 시야(111B)를 묘사한다. 일반적으로, "시야"는 공간의 특정 포지션 및 방위에서 카메라를 통해 볼 수 있는 장면의 일부이다. 시야들(111A, 111B)은 중첩하는 시야(304)(도 3)를 갖는다. 가시광 카메라가 이미지를 포착할 때, 시야(111A, 111B) 밖의 객체들 또는 객체 피처들은 원본 이미지(예컨대, 사진 또는 그림)에 기록되지 않는다. 시야는 가시광 카메라(114A, 114B)의 이미지 센서가 주어진 장면의 포착된 이미지에서 주어진 장면의 전자기 방사선을 픽업하는 각도 범위나 각도 크기를 기술한다. 시야는 뷰 콘(view cone), 즉, 화각(angle of view)의 각도 크기로 표현될 수 있다. 화각은 수평, 수직 또는 대각선으로 측정될 수 있다.
[0031] 일 예에서, 가시광 카메라들(114A, 114B)은 화각이 40° 내지 110°, 예를 들어, 대략적으로 100°인 시야를 갖고, 480 x 480 픽셀들(또는 그 이상)의 해상도를 갖는다. "촬영각(angle of coverage)"은 가시광 카메라들(114A, 114B) 또는 적외선 카메라(410)(도 2a 참조)의 렌즈가 효과적으로 이미징할 수 있는 각도 범위를 기술한다. 전형적으로, 카메라 렌즈는 카메라의 필름이나 센서를 완전히 덮을 만큼 충분히 큰 이미지 서클을 생성하며, 약간의 비네팅(vignetting)(예컨대, 중심과 비교할 때 가장자리로 갈수록 이미지가 어두워짐)을 포함할 수 있다. 카메라 렌즈의 촬영각이 센서를 채우지 않으면, 이미지 서클은 전형적으로 가장자리를 향한 강한 비네팅과 함께 보일 것이고, 유효 화각은 촬영각으로 한정될 것이다.
[0032] 이와 같은 가시광 카메라들(114A, 114B)의 예들에는 고해상도 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 640p(예컨대, 총 0.3 메가픽셀들의 경우, 640 x 480 픽셀들), 720p 또는 1080p의 해상도들이 가능한 디지털 VGA(video graphics array) 카메라가 포함된다. 가시광 카메라들(114A, 114B)의 다른 예들은 고화질(HD: high-definition) 정지 이미지들을 포착하고 이들을 1642 x 1642 픽셀들(또는 그 이상)의 해상도로 저장할 수 있거나, 또는 고화질 비디오를 높은 프레임 레이트(예컨대, 초당 30~60 프레임들 이상)로 기록하고 그 기록를 1216 x 1216 픽셀들(또는 그 이상)의 해상도로 저장할 수 있다.
[0033] 아이웨어 디바이스(100)는 메모리에 저장하기 위해 이미지 프로세서에 의해 디지털화된 지오로케이션 데이터(geolocation data)와 함께 가시광 카메라들(114A, 114B)로부터의 이미지 센서 데이터를 포착할 수 있다. 가시광 카메라들(114A, 114B)은 수평 포지션에 대한 X축 및 수직 포지션에 대한 Y축을 포함하는 2차원 좌표계 상에서 픽셀들의 매트릭스를 구성하는 2차원 공간 도메인에서 개개의 좌우 원본 이미지들을 포착한다. 각각의 픽셀에는 색상 속성값(예컨대, 적색 픽셀 광값, 녹색 픽셀 광값 또는 청색 픽셀 광값) 및 포지션 속성(예컨대, X축 좌표와 Y축 좌표)이 포함된다.
[0034] 나중에 3차원 프로젝션으로 디스플레이하기 위한 스테레오 이미지들을 포착하기 위해, 이미지 프로세서(412)(도 4에 도시됨)는 가시광 카메라들(114A, 114B)에 커플링되어 시각적 이미지 정보를 수신 및 저장할 수 있다. 이미지 프로세서(412) 또는 다른 프로세서는 가시광 카메라들(114A, 114B)의 동작을 제어하여, 인간의 양안시(binocular vision)를 시뮬레이팅하는 스테레오 카메라의 역할을 하고, 각각의 이미지에 타임스탬프를 추가할 수 있다. 이미지들의 쌍 각각에 대한 타임스탬프를 사용하면, 3차원 프로젝션의 일부로서 이미지들을 함께 디스플레이할 수 있다. 3차원 프로젝션들은 가상 현실(VR) 및 비디오 게이밍을 포함하여, 다양한 상황들에서 바람직한 몰입형의 실제와 같은 경험을 생성한다.
[0035] 도 1b는 카메라 시스템의 우측 가시광 카메라(114B) 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스(100)의 우측 모서리(110B)의 사시 단면도이다. 도 1c는 도 1a의 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도(좌측)이고, 이는 카메라 시스템의 좌측 가시광 카메라(114A)를 도시한다. 도 1d는 3차원 카메라의 좌측 가시광 카메라(114A) 및 회로 기판을 묘사하는 도 1c의 아이웨어 디바이스의 좌측 모서리(110A)의 사시 단면도이다.
[0036] 좌측 가시광 카메라(114A)의 구성 및 배치는 연결들 및 커플링이 좌측 횡방향 측면(170A)에 있다는 점을 제외하고, 우측 가시광 카메라(114B)와 실질적으로 유사하다. 도 1b의 예에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B) 및 회로 기판(140B)을 포함하고, 이 회로 기판은 가요성 인쇄 회로 기판(PCB: printed circuit board)일 수 있다. 우측 힌지(126B)는 우측 모서리(110B)를 아이웨어 디바이스(100)의 우측 템플(125B)에 연결한다. 일부 예들에서, 우측 가시광 카메라(114B), 가요성 PCB(140B), 또는 다른 전기 커넥터들이나 접점들의 컴포넌트들은 우측 템플(125B) 또는 우측 힌지(126B)에 로케이팅될 수 있다.
[0037] 우측 모서리(110B)에는 모서리 바디(190)와 모서리 캡이 포함되며, 모서리 캡은 도 1b의 단면에서 생략되어 있다. 우측 모서리(110B) 내부에는 우측 가시광 카메라(114B), 마이크로폰(들), 저전력 무선 회로(예컨대, Bluetooth™를 통한 무선 근거리 네트워크 통신용), 고속 무선 회로(예컨대, Wi-Fi를 통한 무선 로컬 영역 네트워크 통신용)를 위한 컨트롤러 회로들을 포함하는, PCB들 또는 가요성 PCB들과 같은 다양한 상호연결된 회로 기판들이 배치된다.
[0038] 우측 가시광 카메라(114B)는 가요성 PCB(140B)에 커플링되거나 그 위에 배치되고, 프레임(105) 내에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 커버된다. 예를 들어, 도 2a에 도시된 프레임(105)의 우측 림(rim)(107B)은 우측 모서리(110B)에 연결되고, 가시광 카메라 커버 렌즈용 개구(들)를 포함한다. 프레임(105)은 사용자의 눈으로부터 멀어지고 바깥쪽을 향하도록 구성된 전면(front side)을 포함한다. 가시광 카메라 커버 렌즈용 개구는 프레임(105)의 전면 또는 외향 측면(outward-facing side)을 관통하여 형성된다. 본 예에서, 우측 가시광 카메라(114B)는 아이웨어 디바이스(100)의 사용자의 우측 눈과 상관되는 시선이나 시각(perspective)을 갖는 외향 시야(111B)(도 3에 도시됨)를 갖는다. 가시광 카메라 커버 렌즈는 개구가 외향 촬영각으로 형성된 우측 모서리(110B)의 전면 또는 외향면에 부착될 수도 있지만, 외향 방향은 서로 다를 수 있다. 커플링은 또한 중간 컴포넌트들을 통하여 간접적일 수 있다.
[0039] 도 1b에 도시된 바와 같이, 가요성 PCB(140B)는 우측 모서리(110B) 내부에 배치되고, 우측 모서리(110B)에 수용된 하나 이상의 다른 컴포넌트들에 커플링된다. 우측 모서리(110B)의 회로 기판들에 형성되는 것으로 도시되어 있지만, 우측 가시광 카메라(114B)는 좌측 모서리(110A), 템플들(125A, 125B) 또는 프레임(105)의 회로 기판들 상에 형성될 수 있다.
[0040] 도 2a 및 도 2b는 2개의 상이한 유형의 이미지 디스플레이들을 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성들의 후방 사시도들이다. 아이웨어 디바이스(100)는 사용자가 착용할 수 있도록 구성된 형태로 크기 및 형상이 정해져 있으며, 안경의 형태는 예로 도시되어 있다. 아이웨어 디바이스(100)는 다른 형태들을 취할 수 있고, 다른 유형들의 프레임워크들, 예를 들어, 헤드기어, 헤드셋 또는 헬멧을 포함할 수 있다.
[0041] 안경 예에서, 아이웨어 디바이스(100)는 사용자의 코에 의해 지지되도록 적응된 브리지(106)를 통해 우측 림(107B)에 연결된 좌측 림(107A)을 포함하는 프레임(105)을 포함한다. 좌측 및 우측 림들(107A, 107B)은 렌즈 및 디스플레이 디바이스와 같은 개개의 광학 요소(180A, 180B)를 유지하는 개개의 애퍼처(aperture)들(175A, 175B)을 포함한다. 본 명세서에서 사용되는 바와 같이, "렌즈"라는 용어는 광을 수렴/발산시키거나, 수렴이나 발산을 거의 또는 전혀 일으키지 않는 곡면 또는 편평한 표면을 갖는 투명하거나 반투명한 유리 또는 플라스틱 피스들을 포함하는 것을 의미한다.
[0042] 2개의 광학 요소들(180A, 180B)을 갖는 것으로 도시되어 있지만, 아이웨어 디바이스(100)는, 아이웨어 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라, 단일 광학 요소와 같은 다른 배열체들을 포함할 수 있다(또는 임의의 광학 요소(180A, 180B)를 포함하지 않을 수 있음). 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 횡방향 측면(170A)에 인접한 좌측 모서리(110A) 및 프레임(105)의 우측 횡방향 측면(170B)에 인접한 우측 모서리(110B)를 포함한다. 모서리들(110A, 110B)은 개개의 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나(예시된 바와 같음), 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 개별 컴포넌트들로 구현될 수 있다. 대안적으로, 모서리들(110A, 110B)은 프레임(105)에 부착된 템플들(도시되지 않음)에 통합될 수 있다.
[0043] 일 예에서, 광학 조립체(180A, 180B)의 이미지 디스플레이는 통합 이미지 디스플레이를 포함한다. 도 2a에 도시된 바와 같이, 각각의 광학 조립체(180A, 180B)는 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이 또는 임의의 다른 이러한 디스플레이와 같은 적절한 디스플레이 매트릭스(177)를 포함한다. 각각의 광학 조립체(180A, 180B)는 또한 광학층 또는 광학층들(176)을 포함하고, 이는 렌즈들, 광학 코팅들, 프리즘들, 거울들, 도파관들, 광학 스트립들 및 임의의 조합의 다른 광학 컴포넌트들을 포함할 수 있다. 광학층들(176A, 176B, …, 176N)(도 2a 및 본 명세서에서 176A~176N으로 도시됨)은 적절한 크기 및 구성을 갖고, 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈으로 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학층들(176A~176N)의 프리즘은 좌측 및 우측 림들(107A, 107B)에 형성된 개개의 애퍼처들(175A, 175B)의 전체 또는 적어도 일부분 위로 연장되어, 사용자의 눈이 대응하는 좌측 및 우측 림들(107A, 107B)을 통해 보고 있을 때, 사용자가 프리즘의 제2 표면을 볼 수 있게 한다. 광학층들(176A~176N)의 프리즘의 제1 표면은 프레임(105)으로부터 위쪽을 향하고, 디스플레이 매트릭스(177)는 디스플레이 매트릭스(177)에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘에 오버레이된다. 프리즘은 광이 프리즘 내에서 굴절되고 광학층들(176A~176N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록 크기 및 형상이 정해진다. 이와 관련하여, 광학층들(176A~176N)의 프리즘의 제2 표면은 광을 눈의 중심을 향해 지향시키도록 볼록형일 수 있다. 프리즘은 디스플레이 매트릭스(177)에 의해 투영된 이미지를 확대하기 위해 선택적으로 크기 및 형상이 정해질 수 있고, 제2 표면에서 본 이미지가 디스플레이 매트릭스(177)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크도록 광이 프리즘을 통해 이동한다.
[0044] 일 예에서, 광학층들(176A~176N)은 층을 불투명하게 만드는(렌즈를 닫거나 차단하는) 전압이 인가되지 않는 한 그리고 인가될 때까지 투명한(렌즈를 개방된 상태로 유지하는) LCD 층을 포함할 수 있다. 아이웨어 디바이스(100) 상의 이미지 프로세서(412)는 액티브 셔터 시스템을 생성하기 위해 LCD 층에 전압을 인가하는 프로그래밍을 실행하여, 아이웨어 디바이스(100)가, 3차원 프로젝션으로 디스플레이될 때, 시각적 콘텐츠를 보는 데 적합하도록 만들 수 있다. LCD 이외의 기술들은 전압 또는 다른 유형의 입력에 반응하는 다른 유형의 반응성 층들을 포함하여 액티브 셔터 모드에 사용될 수 있다.
[0045] 다른 예에서, 광학 조립체(180A, 180B)의 이미지 디스플레이 디바이스는, 도 2b에 도시된 바와 같이, 프로젝션 이미지 디스플레이를 포함한다. 각각의 광학 조립체(180A, 180B)는 스캐닝 미러 또는 갈바노미터를 사용하는 3색 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 동안에, 레이저 프로젝터(150)와 같은 광원은 아이웨어 디바이스(100)의 템플들(125A, 125B) 중 하나의 내부나 위에 배치된다. 본 예에서, 광학 조립체(180B)는 각각의 광학 조립체(180A, 180B)의 렌즈의 폭 또는 렌즈의 전면과 후면 사이의 렌즈 깊이를 가로질러 이격되어 있는 하나 이상의 광학 스트립들(155A, 155B, …, 155N)(도 2b에서 155A~155N으로 도시됨)을 포함한다.
[0046] 레이저 프로젝터(150)에 의해 투영된 광자들이 각각의 광학 조립체(180A, 180B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A~155N)과 충돌한다. 특정 광자가 특정 광학 스트립과 충돌할 때, 광자는 사용자의 눈을 향해 재지향되거나 다음의 광학 스트립으로 전달된다. 레이저 프로젝터(150)의 변조와 광학 스트립들의 변조의 조합은 특정 광자들 또는 광빔들을 제어할 수 있다. 일 예에서, 프로세서는 기계적, 음향적 또는 전자기적 신호들을 시작함으로써, 광학 스트립들(155A~155N)을 제어한다. 2개의 광학 조립체들(180A, 180B)을 갖는 것으로 도시되어 있지만, 아이웨어 디바이스(100)는 단일 또는 3개의 광학 조립체들과 같은 다른 배열체들을 포함할 수 있거나, 각각의 광학 조립체(180A, 180B)는 아이웨어 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 상이한 배열체가 배열될 수 있다.
[0047] 도 2a 및 도 2b에 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 횡방향 측면(170A)에 인접한 좌측 모서리(110A) 및 프레임(105)의 우측 횡방향 측면(170B)에 인접한 우측 모서리(110B)를 포함한다. 모서리들(110A, 110B)은 개개의 횡방향 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나(예시된 바와 같음), 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 개별 컴포넌트들로 구현될 수 있다. 대안적으로, 모서리들(110A, 110B)은 프레임(105)에 부착된 템플들(125A, 125B)에 통합될 수 있다.
[0048] 다른 예에서, 도 2b에 도시된 아이웨어 디바이스(100)는 2개의 프로젝터들, 즉, 좌측 프로젝터(150A)(도시하지 않음) 및 우측 프로젝터(150B)(프로젝터(150)로 도시됨)를 포함할 수 있다. 좌측 광학 조립체(180A)는 좌측 디스플레이 매트릭스(177A)(도시하지 않음) 또는 광학 스트립들의 좌측 세트(155'A, 155'B, …, 155'N)(155 프라임, A 내지 N, 도시하지 않음)를 포함할 수 있으며, 이는 좌측 프로젝터(150A)로부터의 광과 상호작용하도록 구성된다. 유사하게, 우측 광학 조립체(180B)는 우측 디스플레이 매트릭스(177B)(도시하지 않음) 또는 광학 스트립들의 우측 세트(155"A, 155"B, …, 155"N)(155 더블 프라임, A 내지 N, 도시하지 않음)를 포함할 수 있고, 이는 우측 프로젝터(150B)로부터의 광과 상호작용하도록 구성된다. 본 예에서, 아이웨어 디바이스(100)는 좌측 디스플레이 및 우측 디스플레이를 포함한다.
[0049] 도 3은 3차원 장면(306), 좌측 가시광 카메라(114A)에 의해 포착된 좌측 원본 이미지(302A) 및 우측 가시광 카메라(114B)에 의해 포착된 우측 원본 이미지(302B)의 도식적인 묘사이다. 도시된 바와 같이, 좌측 시야(111A)는 우측 시야(111B)와 중첩될 수 있다. 중첩 시야(304)는 양 카메라들(114A, 114B)에 의해 포착된 이미지의 부분을 나타낸다. 시야를 언급할 때, '중첩'이라는 용어는 생성된 원본 이미지들 내의 픽셀들의 매트릭스가 30% 이상 중첩하는 것을 의미한다. '상당히 중첩하는'은 생성된 원본 이미지들 내의 ― 또는 장면의 적외선 이미지 내의 ― 픽셀들의 매트릭스가 50% 이상 중첩하는 것을 의미한다. 본 명세서에 기술된 바와 같이, 2개의 원본 이미지들(302A, 302B)은 타임스탬프를 포함하도록 처리될 수 있으며, 이는 이미지들이 3차원 프로젝션의 일부로서 함께 디스플레이될 수 있게 한다.
[0050] 스테레오 이미지들의 포착을 위해, 도 3에 예시된 바와 같이, 원본의 적색, 녹색 및 청색(RGB) 이미지들의 쌍은 주어진 순간에 실제 장면(306)을 포착하고, 이는 좌측 카메라(114A)에 의해 포착된 좌측 원본 이미지(302A) 및 우측 카메라(114B)에 의해 포착된 우측 원본 이미지(302B)이다. 원본 이미지들의 쌍(302A, 302B)이 처리될 때(예컨대, 이미지 프로세서(412)에 의함), 깊이 이미지들이 생성된다. 생성된 깊이 이미지들은 아이웨어 디바이스의 광학 조립체(180A, 180B) 상이나, 다른 디스플레이(예컨대, 모바일 디바이스(401) 상의 이미지 디스플레이(580)) 상이나, 또는 스크린 상에서 보여질 수 있다.
[0051] 생성된 깊이 이미지들은 3차원 공간 도메인 내에 있으며, 수평 포지션(예컨대, 길이)에 대한 X축, 수직 포지션(예컨대, 높이)에 대한 Y축 및 깊이(예컨대, 거리)에 대한 Z축을 포함하는 3차원 로케이션 좌표계 상의 정점들의 행렬을 포함할 수 있다. 각각의 정점은 색상 속성(예컨대, 적색 픽셀 광값, 녹색 픽셀 광값 또는 청색 픽셀 광값); 포지션 속성(예컨대, X 로케이션 좌표, Y 로케이션 좌표 및 Z 로케이션 좌표); 텍스처 속성; 반사율 속성; 또는 이들의 조합을 포함할 수 있다. 텍스처 속성은 깊이 이미지의 정점들의 영역에서 색상 또는 강도들의 공간적 배열과 같은 깊이 이미지의 인지된 텍스처를 정량화한다.
[0052] 일 예에서, 대화형 증강 현실 시스템(400)(도 4)은 아이웨어 디바이스(100)를 포함하고, 이는 프레임(105)과 프레임(105)의 좌측 횡방향 측면(170A)으로부터 연장되는 좌측 템플(110A), 및 프레임(105)의 우측 횡방향 측면(170B)으로부터 연장되는 우측 템플(125B)을 포함한다. 아이웨어 디바이스(100)는 중첩 시야를 갖는 적어도 2개의 가시광 카메라들(114A, 114B)을 더 포함할 수 있다. 일 예에서, 아이웨어 디바이스(100)는, 도 3에 에시된 바와 같이, 좌측 시야(111A)를 갖는 좌측 가시광 카메라(114A)를 포함한다. 좌측 카메라(114A)는 프레임(105) 또는 좌측 템플(110A)에 연결되어, 장면(306)의 좌측면으로부터 좌측 원본 이미지(302A)를 포착한다. 아이웨어 디바이스(100)는 우측 시야(111B)를 갖는 우측 가시광 카메라(114B)를 더 포함한다. 우측 카메라(114B)는 프레임(105) 또는 우측 템플(125B)에 연결되어, 장면(306)의 우측면으로부터 우측 원본 이미지(302B)를 포착한다.
[0053] 도 4는 웨어러블 디바이스(예컨대, 아이웨어 디바이스(100)), 모바일 디바이스(401), 및 인터넷과 같은 다양한 네트워크들(495)을 통해 연결된 서버 시스템(498)을 포함하는 예시적인 대화형 증강 현실 시스템(400)의 기능적 블록도이다. 대화형 증강 현실 시스템(400)은 아이웨어 디바이스(100)와 모바일 디바이스(401) 사이의 저전력 무선 연결(425) 및 고속 무선 연결(437)을 포함한다.
[0054] 도 4에 도시된 바와 같이, 아이웨어 디바이스(100)는, 본 명세서에 기술된 바와 같이, 정지 이미지들, 비디오 이미지들, 또는 정지 및 비디오 이미지들 모두를 포착하는 하나 이상의 가시광 카메라들(114A, 114B)을 포함한다. 카메라들(114A, 114B)은 고속 회로(430)에 대한 직접 메모리 액세스(DMA: direct memory access)를 가질 수 있고 스테레오 카메라로서 기능할 수 있다. 카메라들(114A, 114B)은 적색, 녹색 및 청색(RGB)의 이미징된 장면의 텍스처 매핑된 이미지들인 3차원(3D) 모델들로 렌더링될 수 있는 초기 깊이 이미지들을 포착하는 데 사용될 수 있다. 디바이스(100)는 또한 디바이스(100)에 대한 객체들의 포지션을 추정하기 위해 적외선 신호들을 사용하는 깊이 센서(213)를 포함할 수 있다. 일부 예들에서, 깊이 센서(213)는 하나 이상의 적외선 이미터(들)(215) 및 적외선 카메라(들)(410)를 포함한다.
[0055] 아이웨어 디바이스(100)는 각각의 광학 조립체(180A, 180B)의 2개의 이미지 디스플레이들(하나는 좌측면(170A)에 관련되고 다른 하나는 우측면(170B)에 관련됨)을 더 포함한다. 아이웨어 디바이스(100)는 또한 이미지 디스플레이 드라이버(442), 이미지 프로세서(412), 저전력 회로(420) 및 고속 회로(430)를 포함한다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 정지 이미지들, 비디오 이미지들, 또는 정지 및 비디오 이미지들을 포함하는 이미지들을 제시하기 위한 것이다. 이미지 디스플레이 드라이버(442)는 이미지들의 디스플레이를 제어하기 위해 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들에 커플링된다.
[0056] 아이웨어 디바이스(100)는 하나 이상의 스피커들(440)(예컨대, 하나는 아이웨어 디바이스의 좌측면과 연관되고, 다른 하나는 아이웨어 디바이스의 우측면과 연관됨)을 추가적으로 포함한다. 스피커들(440)은 아이웨어 디바이스(100)의 프레임(105), 템플들(125) 또는 모서리들(110)에 통합될 수 있다. 하나 이상의 스피커들(440)은 저전력 회로(420), 고속 회로(430) 또는 둘 모두의 제어 하에 오디오 프로세서(443)에 의해 구동된다. 스피커들(440)은, 예를 들어, 비트 트랙을 포함하는 오디오 신호들을 제시하기 위한 것이다. 오디오 프로세서(443)는 사운드의 표현을 제어하기 위해 스피커들(440)에 커플링된다.
[0057] 아이웨어 디바이스(100)에 대해 도 4에 도시된 컴포넌트들은 림들 또는 템플들에 로케이팅된 하나 이상의 회로 기판들, 예를 들어, 인쇄 회로 기판(PCB) 또는 가요성 인쇄 회로(FPC) 상에 로케이팅된다. 대안적으로 또는 추가적으로, 묘사된 컴포넌트들은 아이웨어 디바이스(100)의 모서리들, 프레임들, 힌지들 또는 브리지 내에 로케이팅될 수 있다. 좌측 및 우측 가시광 카메라들(114A, 114B)은 CMOS(complementary metal-oxide-semiconductor) 이미지 센서, 전하 커플링된 디바이스, 렌즈, 또는 미지의 객체들을 갖는 장면들의 정지 이미지들 또는 비디오를 포함하는 데이터를 포착하는 데 사용될 수 있는 임의의 다른 개개의 가시성 또는 광 포착 요소들과 같은 디지털 카메라 요소들을 포함할 수 있다.
[0058] 도 4에 도시된 바와 같이, 고속 회로(430)는 고속 프로세서(432), 메모리(434) 및 고속 무선 회로(436)를 포함한다. 본 예에서, 이미지 디스플레이 드라이버(442)는 각각의 광학 조립체(180A, 180B)의 좌측 및 우측 이미지 디스플레이들을 구동하기 위해 고속 회로(430)에 커플링되고 고속 프로세서(432)에 의해 작동된다. 고속 프로세서(432)는 아이웨어 디바이스(100)에 필요한 임의의 일반적인 컴퓨팅 시스템의 동작 및 고속 통신을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(432)는 고속 무선 회로(436)를 사용하는 무선 근거리 통신망(WLAN)으로의 고속 무선 연결(437) 상의 고속 데이터 전송들을 관리하는 데 필요한 처리 리소스들을 포함한다.
[0059] 일부 예들에서, 고속 프로세서(432)는 LINUX 운영 체제 또는 아이웨어 디바이스(100)의 이러한 다른 운영 체제와 같은 해당 운영 체제를 실행하고 운영 체제는 실행을 위해 메모리(434)에 저장된다. 임의의 다른 책임들에 추가하여, 고속 프로세서(432)는 고속 무선 회로(436)로의 데이터 전송들을 관리하는 데 사용되는 아이웨어 디바이스(100)용 소프트웨어 아키텍처를 실행한다. 일부 예들에서, 고속 무선 회로(436)는 본 명세서에서 Wi-Fi라고도 지칭되는 IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들은 고속 무선 회로(436)에 의해 구현될 수 있다.
[0060] 저전력 회로(420)는 저전력 프로세서(422) 및 저전력 무선 회로(424)를 포함한다. 아이웨어 디바이스(100)의 저전력 무선 회로(424) 및 고속 무선 회로(436)는 단거리 트랜시버(Bluetooth™ 또는 BLE(Bluetooth Low-Energy)) 및 무선 와이드, 로컬 또는 광역(wide-area) 네트워크 트랜시버들(예컨대, 셀룰러 또는 Wi-Fi)을 포함할 수 있다. 저전력 무선 연결(425) 및 고속 무선 연결(437)을 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(401)는 네트워크(495)의 다른 요소들과 마찬가지로 아이웨어 디바이스(100)의 아키텍처의 세부 사항을 사용하여 구현될 수 있다.
[0061] 메모리(434)는, 특히, 좌측 및 우측 가시광 카메라들(114A, 114B), 적외선 카메라(들)(410), 이미지 프로세서(412)에 의해 생성된 카메라 데이터, 및 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 이미지 디스플레이 드라이버(442)에 의해 표시용으로 생성된 이미지들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(434)가 고속 회로(430)와 통합된 것으로 도시되어 있지만, 다른 예들에서 메모리(434)는 아이웨어 디바이스(100)의 독립적인 독립형 요소일 수 있다. 특정의 그와 같은 예들에서, 전기 라우팅 라인들은 이미지 프로세서(412) 또는 저전력 프로세서(422)로부터 메모리(434)로의 고속 프로세서(432)를 포함하는 칩을 통한 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(432)는, 저전력 프로세서(422)가 메모리(434)와 관련된 판독 또는 기록 동작이 필요할 때마다 고속 프로세서(432)를 부팅하도록, 메모리(434)의 어드레싱을 관리할 수 있다.
[0062] 도 4에 도시된 바와 같이, 아이웨어 디바이스(100)의 고속 프로세서(432)는 카메라 시스템(가시광 카메라들(114A, 114B)), 이미지 디스플레이 드라이버(442), 사용자 입력 디바이스(491) 및 메모리(434)에 커플링될 수 있다. 도 5에 도시된 바와 같이, 모바일 디바이스(401)의 CPU(530)는 카메라 시스템(570), 모바일 디스플레이 드라이버(582), 사용자 입력층(591) 및 메모리(540A)에 커플링될 수 있다.
[0063] 서버 시스템(498)은 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있으며, 예를 들어, 아이웨어 디바이스들(100) 및 모바일 디바이스(401)와 네트워크(495)를 통해 통신하는 프로세서, 메모리 및 네트워크 통신 인터페이스를 포함한다.
[0064] 아이웨어 디바이스(100)의 출력 컴포넌트들은, 도 2a 및 도 2b에 기술된 바와 같이, 각각의 렌즈 또는 광학 조립체(180A, 180B)와 연관된 좌측 및 우측 이미지 디스플레이들과 같은 시각적 요소들을 포함한다(예컨대, 액정 디스플레이(LCD), 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 프로젝터, 또는 도파관과 같은 디스플레이). 아이웨어 디바이스(100)는 사용자향(user-facing) 표시기(예컨대, LED, 스피커 또는 진동 액추에이터) 또는 외향(outward-facing) 신호(예컨대, LED, 스피커)를 포함할 수 있다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 이미지 디스플레이 드라이버(442)에 의해 구동된다. 일부 예시적인 구성예들에서, 아이웨어 디바이스(100)의 출력 컴포넌트들은 가청 요소들(예컨대, 스피커들), 촉각 컴포넌트들(예컨대, 촉감 피드백을 생성하는 진동 모터와 같은 액추에이터) 및 다른 신호 생성기들과 같은 추가적인 표시기들을 더 포함한다. 예를 들어, 디바이스(100)는 사용자향 표시기들의 세트 및 외향 신호들의 세트를 포함할 수 있다. 사용자향 표시기들의 세트는 디바이스(100)의 사용자가 보거나 다른 방식으로 감지하도록 구성된다. 예를 들어, 디바이스(100)는 사용자가 볼 수 있도록 포지셔닝된 LED 디스플레이, 사용자가 들을 수 있는 사운드를 생성하도록 포지셔닝된 하나 이상의 스피커들, 또는 사용자가 느낄 수 있는 촉감 피드백을 제공하는 액추에이터를 포함할 수 있다. 외향 신호들의 세트는 디바이스(100) 근처의 관찰자가 보거나 다른 방식으로 감지하도록 구성된다. 유사하게, 디바이스(100)는 관찰자에 의해 감지되도록 구성 및 포지셔닝되는 LED, 스피커 또는 액추에이터를 포함할 수 있다.
[0065] 아이웨어 디바이스(100)의 입력 컴포넌트들은 영숫자 입력 컴포넌트들(예컨대, 영숫자 입력을 수신하도록 구성된 터치 스크린 또는 터치패드, 포토-옵티칼 키보드(photo-optical keyboard) 또는 다른 영숫자로 구성된 컴포넌트들), 포인터 기반 입력 컴포넌트들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 도구들), 촉각 입력 컴포넌트들(예컨대, 버튼 스위치, 터치들 또는 터치 제스처들의 로케이션, 힘이나 로케이션 및 힘, 또는 다른 촉각으로 구성된 요소들을 감지하는 터치 스크린 또는 터치패드) 및 오디오 입력 컴포넌트들(예컨대, 마이크) 등을 포함할 수 있다. 모바일 디바이스(401) 및 서버 시스템(498)은 영숫자, 포인터 기반, 촉각, 오디오 및 다른 입력 컴포넌트들을 포함할 수 있다.
[0066] 일부 예들에서, 아이웨어 디바이스(100)는 관성 측정 유닛(472)이라고 지칭되는 모션 감지 컴포넌트들의 집합을 포함한다. 모션 감지 컴포넌트들은 종종 마이크로칩의 일부로 될 정도로 작은 미세한 이동부들을 가진 MEMS(Micro-Electro-Mechanical System)일 수 있다. 일부 예시적인 구성들에서, 관성 측정 유닛(IMU)(472)은 가속도계, 자이로스코프 및 자력계를 포함한다. 가속도계는 3개의 직교 축들(x, y, z)에 대한 디바이스(100)의 선형 가속도(중력으로 인한 가속도를 포함함)를 감지한다. 자이로스코프는 3개의 회전축들(피치(pitch), 롤(roll), 요(yaw))에 대한 디바이스(100)의 각속도를 감지한다. 가속도계와 자이로스코프는 함께 6개의 축들(x, y, z, 피치, 롤, 요)에 관한 디바이스에 대한 포지션, 방위 및 모션 데이터를 제공할 수 있다. 자력계는, 존재하는 경우, 자북(magnetic north)에 대한 디바이스(100)의 진로(heading)를 감지한다. 디바이스(100)의 포지션은 GPS 유닛(473), 상대적인 포지션 좌표들을 생성하는 하나 이상의 트랜시버들, 고도 센서들 또는 기압계들, 및 다른 방위 센서들과 같은 로케이션 센서들에 의해 결정될 수 있다. 이와 같은 포지셔닝 시스템 좌표들은 또한 저전력 무선 회로(424) 또는 고속 무선 회로(436)를 거쳐 모바일 디바이스(401)로부터 무선 연결들(425, 437)을 통해 수신될 수 있다.
[0067] IMU(472)는 컴포넌트들로부터 원본 데이터를 수집하고 디바이스(100)의 포지션, 방위 및 모션에 대한 다수의 유용한 값을 계산하는 디지털 모션 프로세서 또는 프로그래밍을 포함하거나 이와 협력할 수 있다. 예를 들어, 가속도계에서 수집된 가속도 데이터는 각 축(x, y, z)에 상대적인 속도를 얻기 위해 통합될 수 있으며, 디바이스(100)의 포지션을 (선형 좌표, x, y 및 z에서) 얻기 위해 다시 통합될 수 있다. 자이로스코프로부터의 각속도 데이터는 디바이스(100)의 포지션를 (구면 좌표에서) 얻기 위해 통합될 수 있다. 이들 유용한 값들을 계산하기 위한 프로그래밍은 메모리(434)에 저장될 수 있고, 아이웨어 디바이스(100)의 고속 프로세서(432)에 의해 실행될 수 있다.
[0068] 아이웨어 디바이스(100)는 생체 인식 센서들, 특수 센서들, 또는 아이웨어 디바이스(100)와 통합된 디스플레이 요소들과 같은 추가적인 주변 센서들을 선택적으로 포함할 수 있다. 예를 들어, 주변 디바이스 요소들은 출력 컴포넌트들, 모션 컴포넌트들, 포지션 컴포넌트들 또는 본 명세서에 기술된 임의의 다른 그와 같은 요소들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다. 예를 들어, 생체 인식 센서들은 표현들(예, 손 표현들, 얼굴 표현들, 보컬 표현들, 몸짓들, 또는 시선 추적)을 검출하거나, 생체 신호들(예컨대, 혈압, 심박수, 체온, 땀 또는 뇌파들)을 측정하거나, 또는 사람을 인식(예컨대, 음성, 망막, 안면 특징들, 지문들 또는 뇌파 데이터와 같은 전기적 생체 신호들에 기반한 인식)하는 등을 위한 컴포넌트들을 포함할 수 있다.
[0069] 모바일 디바이스(401)는 스마트폰, 태블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결(425) 및 고속 무선 연결(437) 모두를 사용하여 아이웨어 디바이스(100)와 연결할 수 있는 임의의 다른 이러한 디바이스일 수 있다. 모바일 디바이스(401)는 서버 시스템(498) 및 네트워크(495)에 연결된다. 네트워크(495)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0070] 대화형 증강 현실 시스템(400)은, 도 4에 도시된 바와 같이, 네트워크를 거쳐 아이웨어 디바이스(100)에 커플링된, 모바일 디바이스(401)와 같은 컴퓨팅 디바이스를 포함한다. 대화형 증강 현실 시스템(400)은 명령어들을 저장하기 위한 메모리 및 명령어들을 실행하기 위한 프로세서를 포함한다. 프로세서(432)에 의한 대화형 증강 현실 시스템(400)의 명령어들의 실행은 아이웨어 디바이스(100)가 모바일 디바이스(401)와 협력하도록 구성한다. 대화형 증강 현실 시스템(400)은 아이웨어 디바이스(100)의 메모리(434) 또는 모바일 디바이스(401)의 메모리 요소들(540A, 540B, 540C)을 활용할 수 있다(도 5). 또한, 대화형 증강 현실 시스템(400)은 아이웨어 디바이스(100)의 프로세서 요소들(432, 422) 또는 모바일 디바이스(401)의 중앙 처리 유닛(CPU)(530)을 활용할 수 있다(도 5). 더하여, 대화형 증강 현실 시스템(400)은 서버 시스템(498)의 메모리 및 프로세서 요소들을 더 활용할 수 있다. 이러한 양태에서, 대화형 증강 현실 시스템(400)의 메모리 및 처리 기능들은 아이웨어 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)에 걸쳐 공유되거나 분산될 수 있다.
[0071] 메모리(434)는 노래 파일들(482) 및 가상 객체들(484)을 포함한다. 노래 파일들(482)은 템포(예컨대, 비트 트랙) 및 선택적으로 일련의 음표들 및 음표 값들을 포함한다. 음표는 특정 피치 또는 다른 음악 소리를 나타내는 심볼이다. 음표 값은 템포에 상대적인 음표 재생 시간이 포함되며, 다른 음표들에 상대적인 음량, 강조, 조음(articulation) 및 프레이징(phrasing)과 같은 다른 특성들이 포함될 수 있다. 일부 구현예들에서, 템포는, 사용자가 노래를 재생하는 동안 사용하기 위해 특정 템포를 선택할 수 있는 사용자 인터페이스와 함께 기본값을 포함한다. 가상 객체들(484)은 카메라들(114)에 의해 포착된 이미지들에서 객체들 또는 피처들을 인식하기 위한 이미지 데이터를 포함한다. 객체들은 환경 내에서 아이웨어 디바이스(100)를 로컬라이징(localizing)하는 데 사용하기 위한 알려진 그림들 또는 물리적 마커들과 같은 물리적 피처들일 수 있다.
[0072] 메모리(434)는, 프로세서(432)에 의한 실행을 위해, 포지션 검출 유틸리티(460), 마커 등록 유틸리티(462), 로컬리제이션 유틸리티(464), 가상 객체 렌더링 유틸리티(466), 물리 엔진(468) 및 예측 엔진(470)을 추가적으로 포함한다. 포지션 검출 유틸리티(460)는, 예컨대, 로컬리제이션 유틸리티(464)를 사용하여, 환경 내에서 포지션(로케이션 및 방위)을 결정하도록 프로세서(432)를 구성한다. 마커 등록 유틸리티(462)는 환경 내에서 마커들을 등록하도록 프로세서(432)를 구성한다. 마커들은 환경 내에서 알려진 로케이션을 갖거나, 프로세서(432)에 의해, 아이웨어 디바이스(100)가 작동되고 있는 환경에 대한 또는 아이웨어 자체에 대한 특정 로케이션에 할당된 사전 정의된 물리적 마커들일 수 있다. 로컬리제이션 유틸리티(464)는, 아이웨어 디바이스(100)의 포지션, 아이웨어 디바이스에 의해 제시되는 가상 객체들 또는 이들의 조합을 결정하는 데 사용하기 위한 로컬리제이션 데이터를 획득하도록, 프로세서(432)를 구성한다. 로케이션 데이터는 일련의 이미지들, IMU 유닛(472), GPS 유닛(473) 또는 이들의 조합으로부터 도출될 수 있다. 가상 객체 렌더링 유틸리티(466)는 이미지 디스플레이 드라이버(442) 및 이미지 프로세서(412)의 제어 하에 이미지 디스플레이(180)에 의한 디스플레이를 위해 가상 이미지들을 렌더링하도록 프로세서(432)를 구성한다. 물리 엔진(468)은 중력 및 마찰과 같은 물리 법칙들을 가상 단어, 예컨대, 가상 게임 피스들 사이에 적용하도록 프로세서(432)를 구성한다. 예측 엔진(470)은, 현재 진로(current heading), IMU(472)와 같은 센서들로부터의 입력, 환경 이미지들, 또는 이들의 조합에 기초하여, 아이웨어 디바이스(100)와 같은 객체의 예상되는 움직임을 예측하도록 프로세서(432)를 구성한다.
[0073] 도 5는 예시적인 모바일 디바이스(401)의 하이레벨 기능 블록도이다. 모바일 디바이스(401)는 본 명세서에 기술된 기능들의 전체 또는 서브세트를 수행하기 위해 CPU(530)에 의해 실행될 프로그래밍을 저장하는 플래시 메모리(540A)를 포함한다.
[0074] 모바일 디바이스(401)는 적어도 2개의 가시광 카메라들(중첩 시야들을 갖는 제1 및 제2 가시광 카메라들)이나, 실질적으로 중첩 시야를 갖는 적어도 하나의 가시광 카메라 및 깊이 센서로 구성되는 카메라(570)를 포함할 수 있다. 플래시 메모리(540A)는 카메라(570)를 통해 생성된 다수의 이미지들 또는 비디오를 더 포함할 수 있다.
[0075] 도시된 바와 같이, 모바일 디바이스(401)는 이미지 디스플레이(580), 그 이미지 디스플레이(580)를 제어하는 모바일 디스플레이 드라이버(582) 및 디스플레이 컨트롤러(584)를 포함한다. 도 5의 예에서, 이미지 디스플레이(580)는 이미지 디스플레이(580)에 의해 사용되는 화면의 상단에 적층되거나 다른 방식으로 화면에 통합되는 사용자 입력층(591)(예컨대, 터치스크린)을 포함한다.
[0076] 사용될 수 있는 터치스크린형 모바일 디바이스의 예들은 스마트폰, PDA(Personal Digital Assistant), 태블릿 컴퓨터, 랩톱 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(하지만, 이것들로 한정되는 것은 아님). 그러나, 터치스크린형 디바이스들의 구조 및 동작은 예로서 제공되고, 본 명세서에 기술된 바와 같은 주제 기술은 이것으로 한정되는 것을 의도하지 않는다. 따라서, 이 논의의 목적들을 위해, 도 5는 (터치, 다중 터치 또는 제스처 등에 의하거나, 손, 스타일러스 또는 다른 도구에 의한) 입력을 수신하기 위한 터치스크린 입력층(891), 및 콘텐츠를 디스플레이하기 위한 이미지 디스플레이(580)를 포함하는 사용자 인터페이스를 갖는 예시적인 모바일 디바이스(401)의 블록도 예시를 제공한다.
[0077] 도 5에 도시된 바와 같이, 모바일 디바이스(401)는, 광역 무선 이동 통신 네트워크를 통한 디지털 무선 통신들을 위해, WWAN XCVR들로 도시된 적어도 하나의 디지털 트랜시버(XCVR)(510)를 포함한다. 모바일 디바이스(401)는 또한 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 Wi-Fi를 통한 것과 같은 단거리 네트워크 통신을 위한 단거리 트랜시버(XCVR)들(520)과 같은 추가적인 디지털 또는 아날로그 트랜시버들을 포함한다. 예를 들어, 단거리 XCVR들(520)은 IEEE 802.11에 따른 Wi-Fi 표준 중 하나와 같은 무선 근거리 통신망들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환되는 유형의 임의의 이용 가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.
[0078] 모바일 디바이스(401)의 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해, 모바일 디바이스(401)는 GPS(global positioning system) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스(401)는 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해 단거리 XCVR들(520) 및 WWAN XCVR들(510) 중 하나 또는 모두를 활용할 수 있다. 예를 들어, 셀룰러 네트워크, Wi-Fi 또는 Bluetooth™ 기반 포지셔닝 시스템은, 특히 조합하여 사용될 때, 매우 정확한 로케이션 좌표를 생성할 수 있다. 이와 같은 로케이션 좌표들은 XCVR들(510, 520)을 통해 하나 이상의 네트워크 연결들을 거쳐 아이웨어 디바이스로 전송될 수 있다.
[0079] 트랜시버들(510, 520)(즉, 네트워크 통신 인터페이스)은 현대 모바일 네트워크들에서 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 준수한다. WWAN 트랜시버(510)의 예들은 CDMA(Code Division Multiple Access) 및 3GPP(3rd Generation Partnership Project) 네트워크 기술들에 따라 작동되도록 구성된 트랜시버들을 포함하며, 예를 들어, 제한 없이, 때때로 "4G"로 지칭되는 3GPP 타입 2(또는 3GPP2) 및 LTE를 포함한다(이것들로 한정되는 것은 아님). 예를 들어, 트랜시버들(510, 520)은 디지털화된 오디오 신호들, 정지 이미지 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보 및 웹 관련 입력들, 및 모바일 디바이스(401)와의 다양한 유형의 모바일 메시지 통신들을 포함하는 정보의 양방향 무선 통신을 제공한다.
[0080] 모바일 디바이스(401)는 중앙 처리 유닛(CPU)으로서 기능하는 마이크로프로세서를 더 포함하고, 도 4에서 CPU(530)로 도시된다. 프로세서는 하나 이상의 처리 기능들, 일반적으로 다양한 데이터 처리 기능들을 수행하도록 구조화되고 배열된 요소들을 갖는 회로이다. 이산 논리 컴포넌트들이 사용될 수 있지만, 예들은 프로그래밍 가능한 CPU를 형성하는 컴포넌트들을 활용한다. 예를 들어, 마이크로프로세서는 CPU의 기능들을 수행하기 위해 전자 소자들을 통합하는 하나 이상의 집적 회로(IC) 칩들을 포함한다. 예를 들어, CPU(530)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 일반적으로 사용되는 ARM 아키텍처를 사용하는 RISC(Reduced Instruction Set Computing)와 같은 임의의 알려지거나 이용 가능한 마이크로프로세서 아키텍처에 기초할 수 있다. 물론, 프로세서 회로의 다른 배열들이 스마트폰, 랩톱 컴퓨터 및 태블릿 내에 CPU(530) 또는 프로세서 하드웨어를 형성하는데 사용될 수 있다.
[0081] CPU(530)는, 예를 들어, CPU(530)에 의해 실행 가능한 명령어들 또는 프로그래밍에 따라 다양한 동작들을 수행하도록 모바일 디바이스(401)를 구성함으로써, 모바일 디바이스(401)용의 프로그래밍 가능한 호스트 컨트롤러로서의 역할을 한다. 예를 들어, 이와 같은 동작들에는 모바일 디바이스의 다양한 일반적인 동작들뿐만 아니라, 모바일 디바이스의 애플리케이션들에 대한 프로그래밍과 관련된 동작들이 포함될 수 있다. 프로세서가 하드와이어드 로직(hardwired logic)을 사용하여 구성될 수 있지만, 모바일 디바이스들의 전형적인 프로세서들은 프로그래밍의 실행에 의해 구성되는 일반적인 처리 회로들이다.
[0082] 모바일 디바이스(401)는 프로그래밍 및 데이터를 저장하기 위한 메모리 또는 저장 시스템을 포함한다. 본 예에서, 메모리 시스템은 필요에 따라 플래시 메모리(540A), RAM(random-access memory)(540B) 및 다른 메모리 컴포넌트들(540C)을 포함할 수 있다. RAM(540B)은 CPU(530)에 의해 처리되는 명령어들 및 데이터를 위한 단기 저장소, 예컨대, 작업 데이터 처리 메모리로서의 역할을 한다. 플래시 메모리(540A)는 일반적으로 장기 저장소를 제공한다.
[0083] 따라서, 모바일 디바이스(401)의 예에서, 플래시 메모리(540A)는 CPU(530)에 의해 실행하기 위한 프로그래밍 또는 명령어들을 저장하는데 사용된다. 디바이스의 유형에 따라, 모바일 디바이스(401)는 특정 애플리케이션들이 실행되는 모바일 운영 체제를 저장 및 구동한다. 모바일 운영 체제들의 예들로는 Google Android, Apple iOS(iPhone 또는 iPad 디바이스들용), Windows Mobile, Amazon Fire OS, RIM BlackBerry OS 등이 포함된다.
[0084] 아이웨어 디바이스(100) 내의 프로세서(432)는 아이웨어 디바이스(100)를 둘러싼 환경의 맵을 구축하고, 매핑된 환경 내에서 아이웨어 디바이스의 로케이션을 결정하고, 매핑된 환경 내에서 하나 이상의 객체들에 대한 아이웨어 디바이스의 상대적 포지션을 결정한다. 일 예에서, 프로세서(432)는 하나 이상의 센서들로부터 수신된 데이터에 적용된 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 맵을 구성하고 로케이션 및 포지션 정보를 결정한다. 증강 현실의 맥락에서, SLAM 알고리즘은 환경의 맵을 구성하고 업데이팅하는 동시에, 매핑된 환경 내에서 디바이스(또는 사용자)의 로케이션을 추적하고 업데이팅하는 데 사용된다. 수학적 솔루션은 입자 필터들, 칼만 필터들, 확장된 칼만 필터들 및 공분산 교차(covariance intersection)와 같은 다양한 통계 방법들을 사용하여 근사화될 수 있다.
[0085] 센서 데이터는 카메라들(114A, 114B) 중 하나 또는 둘 모두로부터 수신된 이미지들, 레이저 거리 측정기(laser range finder)로부터 수신된 거리(들), GPS 유닛(473)으로부터 수신된 포지션 정보, 또는 이와 같은 센서 데이터 중 둘 이상의 조합, 또는 포지션 정보를 결정하는 데 유용한 데이터를 제공하는 다른 센서들로부터 수신된 이미지들을 포함한다.
[0086] 도 6은 본연적 피처 추적(NFT: natural feature tracking; 예컨대, SLAM 알고리즘을 사용하는 추적 애플리케이션)에 유용한 요소들과 함께 예시적인 환경(600)을 묘사한다. 아이웨어 디바이스(100)의 사용자(602)는 예시적인 물리적 환경(600)(도 6에서는 실내임) 내에 존재한다. 아이웨어 디바이스(100)의 프로세서(432)는 포착된 이미지들을 사용하여 환경(600) 내에 하나 이상의 객체들(604)에 대한 자신의 포지션을 결정하고, 환경(600)에 대한 좌표계(x, y, z)를 사용하여 환경(600)의 맵을 구성하며, 좌표계 내에서 자신의 포지션을 결정한다. 추가적으로, 프로세서(432)는 단일 객체(604a)와 연관된 2개 이상의 로케이션 포인트들(예컨대, 3개의 로케이션 포인트들(606a, 606b, 606c)) 또는 2개 이상의 객체들(604a, 604b, 604c)과 연관된 하나 이상의 로케이션 포인트들(606)을 사용하여 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(head pose)(롤, 피치, 요)를 결정한다. 일 예에서, 아이웨어 디바이스(100)의 프로세서(432)는 이미지 디스플레이(180)를 통한 증강 현실 뷰잉을 위해 환경(600) 내에서 가상 객체(408)(도 6에 도시된 키와 같은 것)를 포지셔닝한다.
[0087] 도 7은 본 명세서에 기술된 제1 롤링 셔터 카메라를 갖는 웨어러블 디바이스(예컨대, 아이웨어 디바이스)에서의 시각적 관성 추적을 위한 방법을 묘사하는 흐름도(700)이다. 본 명세서에 기술된 바와 같이, 단계들은 아이웨어 디바이스(100)를 참조하여 기술되지만, 다른 유형의 디바이스에 대해 기술된 단계들의 다른 구현예들은 본원의 상세한 설명으로부터 당업자에 의해 이해될 것이다. 추가적으로, 도 7 및 다른 도면에 도시되고 본 명세서에 기술된 단계들 중 하나 이상이 생략되거나, 동시에 또는 연속적으로 수행되거나, 예시 및 기술된 것과는 다른 순서로 수행되거나, 추가적인 단계들과 함께 수행될 수 있음이 고려된다.
[0088] 블록 702에서, 아이웨어 디바이스(100)는 아이웨어 디바이스(100) 근처의 물리적 환경(600)의 하나 이상의 입력 이미지들을 포착한다. 프로세서(432)는 가시광 카메라(들)(114)로부터 입력 이미지들을 연속적으로 수신하고, 처리를 위해 메모리(434)에 이들 이미지들을 저장할 수 있다. 추가적으로, 아이웨어 디바이스(100)는 다른 센서들(예컨대, GPS 유닛(473)으로부터의 로케이션 정보, IMU(472)로부터의 방위 정보, 또는 깊이 센서로부터의 거리 정보)로부터의 정보를 포착할 수 있다.
[0089] 블록 704에서, 아이웨어 디바이스(100)는 매치를 인식하기 위해 포착된 이미지들 내의 객체들을 이미지들의 라이브러리에 저장된 객체들과 비교한다. 일부 구현예들에서, 프로세서(432)는 포착된 이미지들을 메모리(434)에 저장한다. 알려진 객체들에 대한 이미지들의 라이브러리는 가상 객체 데이터베이스(484)에 저장된다.
[0090] 일 예에서, 프로세서(432)는 사전 정의된 특정 객체(예컨대, 벽의 알려진 로케이션에 걸려 있는 특정 그림(604a), 다른 벽에 있는 유리창(604b) 또는 바닥에 포지셔닝된 금고(604c)와 같은 객체)를 인식하도록 프로그래밍된다. GPS 데이터와 같은 다른 센서 데이터는 (예컨대, GPS 좌표들을 통해 인식된 방과 연관된 이미지들만) 비교에 사용하기 위해 알려진 객체들의 수를 줄이는 데 사용될 수 있다. 다른 예에서, 프로세서(432)는 사전 정의된 일반적인 객체들(예컨대, 공원 내의 하나 이상의 나무들)을 인식하도록 프로그래밍된다.
[0091] 블록 706에서, 아이웨어 디바이스(100)는 객체(들)에 대한 자신의 포지션을 결정한다. 프로세서(432)는 포착된 이미지들 내의 둘 이상의 포인트들 사이(예컨대, 하나의 객체들(604) 상의 둘 이상의 로케이션 포인트들의 사이 또는 두 객체들(604) 각각에 대한 로케이션 포인트(606) 사이)의 거리들을 인식된 객체들 내의 대응하는 포인트들 사이의 알려진 거리들과 비교 및 처리함으로써, 객체들에 대한 자신의 포지션을 결정할 수 있다. 인식된 객체들의 포인트들보다 더 큰 포착된 이미지들의 포인트들 사이의 거리들은 아이웨어 디바이스(100)가 인식된 객체를 포함하는 이미지를 포착한 이미저보다 인식된 객체에 더 가깝다는 것을 표시한다. 반면에, 인식된 객체들의 포인트들보다 작은 포착된 이미지들의 포인트들 사이의 거리들은 아이웨어 디바이스(100)가 인식된 객체를 포함하는 이미지를 포착한 이미저보다 인식된 객체로부터 더 멀리 있음을 표시한다. 상대적인 거리들을 처리함으로써, 프로세서(432)는 객체(들)에 대한 포지션을 결정할 수 있다. 대안적으로 또는 추가적으로, 레이저 거리 센서 정보와 같은 다른 센서 정보가 객체(들)에 대한 포지션을 결정하는데 사용될 수 있다.
[0092] 블록 708에서, 아이웨어 디바이스(100)는 아이웨어 디바이스(100)를 둘러싸는 환경(600)의 맵을 구축하고 환경 내에서 자신의 로케이션을 결정한다. 일 예에서, 인식된 객체(블록 704)가 사전 정의된 좌표계(x, y, z)를 갖는 경우, 아이웨어 디바이스(100)의 프로세서(432)는 그 사전 정의된 좌표계를 사용하여 맵을 구축하고, 인식된 객체들에 대하여 결정된 포지션들(블록 706)에 기초하는 그 좌표계 내에서 자신의 포지션을 결정한다. 다른 예에서, 아이웨어 디바이스는 환경 내에서 영구적 또는 반영구적 객체들(604)의 이미지들을 사용하여 맵을 구축한다(예컨대, 공원 내의 나무 또는 공원 벤치). 본 예에 따르면, 아이웨어 디바이스(100)는 환경에 사용되는 좌표계(x', y', z')를 정의할 수 있다.
[0093] 블록 710에서, 아이웨어 디바이스(100)는 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(롤, 피치, 요)를 결정한다. 프로세서(432)는 하나 이상의 객체들(604) 상의 2개 이상의 로케이션 포인트들(예컨대, 3개의 로케이션 포인트들(606a, 606b, 606c)) 또는 2개 이상의 객체들(604) 상의 하나 이상의 로케이션 포인트들(606)을 사용함으로써 헤드 포즈를 결정한다. 기존의 이미지 처리 알고리즘들을 사용하면, 프로세서(432)는 포착된 이미지들과 알려진 이미지들의 로케이션 포인트들 사이에서 연장되는 라인의 각도와 길이를 비교하여 롤, 피치 및 요를 결정한다.
[0094] 블록 712에서, 아이웨어 디바이스(100)는 시각적 이미지를 사용자에게 제시한다. 프로세서(432)는 이미지 프로세서(412) 및 이미지 디스플레이 드라이버(442)를 사용하여 이미지 디스플레이들(180) 상에서 사용자에게 이미지들을 제시한다. 프로세서는 환경(600) 내의 아이웨어 디바이스(100)의 로케이션에 응답하여 이미지 디스플레이들을 통해 시각적 이미지들을 전개하고 제시한다.
[0095] 블록 714에서, 블록들 706~712를 참조하여 위에 기술된 단계들은 아이웨어 디바이스(100)의 포지션 및 사용자가 환경(600)을 통해 이동할 때 사용자(602)에 의해 보여지는 것을 업데이팅하기 위해 반복된다.
[0096] 도 6을 다시 참조하면, 본 명세서에 기술된 증강 현실 가상 안내 애플리케이션들을 구현하는 방법은, 본 예에서, 물리적 객체들(예컨대, 그림(604a))과 연관된 가상 마커들(예컨대, 가상 마커(610a)) 및 가상 객체들(예컨대, 키(608))과 연관된 가상 마커들을 포함한다. 일 예에서, 아이웨어 디바이스(100)는 환경 내에서 아이웨어 디바이스(100)의 포지션을 결정하기 위해 물리적 객체들과 연관된 마커들을 사용하고, 아이웨어 디바이스(100)의 디스플레이 상의 가상 마커 포지션에서 환경(600) 내에서의 연관된 가상 객체(들)(608)를 제시하는 오버레이 이미지들을 생성하기 위해, 가상 객체들과 연관된 마커들을 사용한다. 예를 들어, 마커들은 매핑된 환경에서 사용자들, 디바이스들 및 객체들(가상 및 물리적)의 로케이션을 추적하고 업데이팅하는 데 사용하기 위해 환경 내에서의 로케이션에 등록된다. 마커들은 때때로 카메라들 및 다른 센서들이 마커를 검출하는 작업을 지원하기 위해 밝은 색상의(lighter-colored) 벽에 장착된 상대적으로 어두운 객체(604a)와 같은 고대비의 물리적 객체(high-contrast physical object)에 등록된다. 마커들은, 환경에 진입할 때, 아이웨어 디바이스(100)에 의해 사전 할당될 수 있거나 할당될 수 있다. 마커들은 또한 매핑된 환경 내의 해당 로케이션들에서 가상 이미지들을 제시하는 데 사용하기 위해 환경 내의 로케이션들에 등록된다.
[0097] 마커들은 정보로 인코딩되거나 아니면 정보에 링크될 수 있다. 마커에는 포지션 정보, 물리적 코드(예컨대, 바코드 또는 QR 코드; 사용자에게 보여지거나 숨겨짐) 또는 이들의 조합이 포함될 수 있다. 마커와 연관된 데이터 세트는 아이웨어 디바이스(100)의 메모리(434)에 저장된다. 데이터 세트는 마커(610a), 마커의 포지션(로케이션 및 방위), 하나 이상의 가상 객체들 또는 이들의 조합에 대한 정보를 포함한다. 마커 포지션은, 도 6에 도시된 일반적으로 직사각형 마커(610a)의 코너와 같이, 하나 이상의 마커 랜드마크들(616a)에 대한 3차원 좌표들을 포함할 수 있다. 마커 로케이션은 실제 지리적 좌표들, 마커 좌표들의 시스템, 아이웨어 디바이스(100)의 포지션, 또는 다른 좌표계에 대해 상대적으로 표현될 수 있다. 마커(610a)와 연관된 하나 이상의 가상 객체들은 정지 이미지들, 비디오, 오디오, 촉각 피드백, 실행 가능한 애플리케이션들, 대화형 사용자 인터페이스들 및 경험들, 및 이와 같은 재료의 조합 또는 시퀀스를 포함하여, 다양한 재료 중 임의의 것을 포함할 수 있다. 메모리에 저장될 수 있고, 마커(610a)가 할당된 마커와 마주치거나 연관될 때, 검색될 수 있는 임의 유형의 콘텐츠는 이러한 맥락에서 가상 객체로 분류될 수 있다. 예를 들어, 도 6에 도시된 키(608)는 마커 로케이션에서 2D 또는 3D 중 하나의 정지 이미지로 디스플레이되는 가상 객체이다.
[0098] 일 예에서, 마커(610a)는 물리적 객체(604a)(예컨대, 도 6에 도시된 프레임화된 작품) 근처에 로케이팅되고 연관되는 것으로 메모리에 등록될 수 있다. 또 다른 예에서, 마커는 아이웨어 디바이스(100)에 대한 특정 포지션인 것으로 메모리에 등록될 수 있다.
[0099] 도 8a는 제1 롤링 셔터 카메라를 포함하는 카메라 시스템을 사용하는 아이웨어 디바이스(100)에 대한 시각적 관성 추적 방법을 묘사하는 흐름도(800)이다. 블록 802에서, 아이웨어 디바이스(100)는 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(롤, 피치, 요)를 결정함으로써 제1 롤링 셔터 카메라에 대한 초기 헤드 포즈를 획득한다. 일부 예들에서, 포즈는 프로세서(432)에 의해 메모리, 예컨대, 메모리(434)에 저장된다. 일 예에서, 프로세서(432)는 메모리(434) 내의 룩업 테이블에 포즈를 저장한다. 프로세서(432)는 메모리에 룩업 테이블을 설정하고, 아이웨어 디바이스(100)에 의한 시각적 관성 추적 처리 동안 룩업 테이블을 유지할 수 있다. 룩업 테이블은 적어도 하나의 롤링 셔터 카메라에 의해 포착된 이미지의 각각의 라인에 대응하는 엔트리(또는, 예를 들어, 카메라 모션으로 인해 이전 라인과는 상이한 포즈를 갖는 각각의 라인에 대한 엔트리)를 포함하며, 제1 포즈는 룩업 테이블의 제1 라인에 저장된다.
[0100] 블록 804에서, 아이웨어 디바이스(100)는, 포착 기간 동안, 제1 롤링 셔터 카메라를 사용하여 환경 이미지를 포착한다. 이미지에는 피처 포인트들이 포함되며, 각각의 피처 포인트는, 포착 기간 동안, 특정 시간에 포착된다. 프로세서(432)는 적어도 하나의 가시광 카메라(114)로부터 입력 이미지들을 연속적으로 수신하고, 처리를 위해 메모리(434)에 이들 이미지들을 저장한다. 일부 예들에서, 아이웨어 디바이스(100)는, 예를 들어, 시각적 관성 추적을 통해 아이웨어 디바이스의 포지션을 결정하는 데 사용하기 위한 매칭을 인식하기 위해 포착된 이미지들 내의 객체들을 이미지들의 라이브러리에 저장된 객체들과 비교할 수 있다(이하에 기술됨). 알려진 객체들에 대한 이미지들의 라이브러리는 비교를 위해 가상 객체 데이터베이스(484)에 저장된다.
[0101] 블록 806에서, 아이웨어 디바이스(100)는 다양한 센서들로부터 디바이스(100) 근처의 물리적 환경(600)으로부터의 모션 정보, 예를 들어, GPS 유닛(473)으로부터의 로케이션 또는 포지션 정보, IMU(472)로부터의 모션 또는 방위 정보 또는 레이저 거리 센서로부터의 거리 정보, 또는 이들의 조합을 획득함으로써, 포착 기간 동안, 모바일 디바이스의 움직임을 감지한다. 일 예에서, 프로세서(432)는 센서들 중 적어도 하나로부터 감지된 파라미터들을 검색한다. 그런 다음, 프로세서(432)는 본 명세서에 기술된 기술들을 사용하여 감지된 파라미터들로부터 모션 정보 및 포지션 정보를 결정한다.
[0102] 블록 808에서, 아이웨어 디바이스(100)는 제1 롤링 셔터 카메라에 대한 다수의 포즈들을 계산한다. 롤링 셔터 카메라에 의해 계산되는 포즈들의 수는, 아이웨어 디바이스가 느리게 움직일 때, 상대적으로 더 적은 포즈들이 계산되고(예컨대, 모션 센서로부터의 입력에 기초하여 결정됨), 아이웨어 디바이스가 더 빨리 움직일 때, 상대적으로 더 많은 포즈들이 계산되도록 아이웨어 디바이스의 감지된 모션에 응답한다. 일 예에서, 포즈들의 수는 사전 정의된 임계값들에 기초하여 선택된다. 본 예에 따르면, 아이웨어 디바이스가 제1 사전 정의된 임계값 이하(예컨대, 초당 1피트 이하)의 속도로 움직일 때, 아이웨어 디바이스는 롤링 셔터 사이클당 상대적으로 적은 수의 포즈들(예컨대, 3개 이하)을 계산하고; 아이웨어 디바이스가 제1 사전 정의된 임계값(예컨대, 초당 1피트 초과)과 제2 사전 정의된 임계값(예컨대, 초당 3피트 미만) 사이의 속도로 움직일 때, 아이웨어 디바이스는 롤링 셔터 사이클당 중간 수의 포즈들(예컨대, 4~6)을 계산하며; 아이웨어 디바이스가 제2 사전 정의된 임계값 이상(예컨대, 초당 3피트 이상)의 속도로 움직일 때, 아이웨어 디바이스는 롤링 셔터 사이클당 상대적으로 많은 수의 포즈들(예컨대, 7 이상)을 계산한다. 아이웨어 디바이스의 움직임에 따라 계산된 포즈들의 수를 조정함으로써, 허용 가능한 결과들을 생성하는 것이 필요하지 않은 경우의 처리 리소스들을 절약할 수 있다.
[0103] 포즈들의 수 각각을 계산하기 위해, 프로세서(432)는 환경 내에서의 아이웨어 디바이스(100)의 초기 포즈를 결정하고, 센서 입력에 의해 제공된 움직임 정보를 획득하여(블록 806 참조), 계산된 포즈를 계산한다. 각각의 계산된 포즈는 포착 기간 내의 특정 시간에 대응한다. 일 예에서, 프로세서(432)는, 롤링 셔터 카메라들 중 적어도 하나의 제1 라인의 노광 동안, 제1 포즈에 대해 하나 이상의 센서들로부터 수신된 데이터에 적용되는 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 라인에 대한 포즈를 결정한다. 일부 예들에서, 계산된 포즈 각각은 프로세서(432)에 의해 메모리, 예컨대, 메모리(434)에 저장된다. 일 예에서, 프로세서(432)는 계산된 포즈들 각각을 메모리(434) 내의 룩업 테이블에 저장한다.
[0104] 일부 예에서, 이미지 내의 각각의 피처 포인트에 대해, 계산된 포즈들의 수 중 하나가 대응하는 특정 계산된 시간에 가장 가까운 대응하는 특정 시간으로 룩업 테이블로부터 검색된다. 다른 예들에서, 이미지 내의 각각의 피처 포인트에 대해, 계산된 포즈들의 수 중 하나가 대응하는 특정 계산된 시간 바로 이전의 대응하는 특정 시간으로 룩업 테이블로부터 검색된다.
[0105] 일 예에서, 포즈들의 수가 제1 및 제2 계산된 포즈들을 포함하는 경우, 프로세서(432)는 롤링 셔터 카메라의 제1 라인에 대한 제1 계산된 포즈를 룩업 테이블의 제1 포지션에 저장하고, 제2 계산된 포즈가 제1 롤링 셔터 카메라의 후속 라인에 대해 계산되는 경우, 제1 롤링 셔터 카메라의 제2 라인에 대한 제1 계산된 포즈를 저장한다. 일 예에서, 계산된 포즈들의 수는 피처 포인트들의 수보다 적다.
[0106] 블록 810에서, 아이웨어 디바이스는, 이미지 내의 각각의 피처 포인트에 대해, 피처 포인트에 대한 특정 포착 시간을 계산된 포즈들에 대한 특정 계산된 시간과 매칭함으로써, 계산된 포즈들의 수 중 하나를 선택한다. 블록 812에서, 아이웨어 디바이스는 피처 포인트들 및 피처 포인트들에 대해 선택된 계산된 포즈들을 사용하여 환경 내의 모바일 디바이스의 포지션을 결정한다. 일 예에서, 모바일 디바이스의 포지션은 검색된 룩업 테이블 포지션 포즈를 사용하여 결정된다. 제1 라인에 대응하는 제1 피처 포인트에 대한 제1 룩업 테이블 포지션 포즈 및 제2 라인에 대응하는 제2 피처 포인트에 대한 제2 룩업 테이블 포지션 포즈가 메모리(434)로부터 검색된다. 일 예에서, 포지션을 결정하는 것은 피처 포인트들 및 피처 포인트들에 대해 선택된 계산된 포즈들을 사용하여 SLAM(simultaneous localization and mapping) 알고리즘을 적용하는 것을 포함한다.
[0107] 도 8b 내지 도 8d는 증강 현실 안내 경험들의 예시적인 방법들의 단계들(820, 830 및 840)을 나열하는 추가적인 흐름도이다. 본 명세서에 기술된 바와 같이, 단계들은 아이웨어 디바이스(100)를 참조하여 기술되지만, 다른 유형의 웨어러블 모바일 디바이스들에 대해 기술된 단계들의 다른 구현예들은 본원의 상세한 설명으로부터 당업자에 의해 이해될 것이다. 추가적으로, 도 8b 내지 도 8d에 도시되고 본 명세서에 기술된 단계들 중 하나 이상은 생략되거나, 동시에 또는 연속적으로 수행되거나, 예시 및 기술된 것과는 다른 순서로 수행되거나, 추가적인 단계들과 함께 수행될 수 있음이 고려된다.
[0108] 도 8b의 블록 822에서, 프로세서(432)는 계산된 포즈들 각각을 메모리(434) 내의 룩업 테이블에 저장한다. 블록 824에서, 이미지 내의 각각의 피처 포인트에 대해, 계산된 포즈들의 수 중 하나가 대응하는 특정 계산된 시간에 가장 가까운 대응하는 특정 시간에 룩업 테이블로부터 검색된다.
[0109] 도 8c의 블록 832에서, 프로세서(432)는 계산된 포즈들 각각을 메모리(434) 내의 룩업 테이블에 저장한다. 블록 834에서, 이미지 내의 각각의 피처 포인트에 대해, 계산된 포즈들의 수 중 하나가 대응하는 특정 계산된 시간 바로 이전인 대응하는 특정 시간에 룩업 테이블로부터 검색된다.
[0110] 도 8d는 제1 및 제2 롤링 셔터 카메라들을 포함하는 카메라 시스템을 사용하는 아이웨어 디바이스(100)에 대한 시각적 관성 추적 방법을 묘사하는 흐름도(840)이다. 일 예에서, 카메라 시스템은 입체 카메라 시스템이다. 도 8a는 제1 롤링 셔터 카메라에 대해 수행되는 단계들 802 내지 812를 예시한다. 제2 롤링 셔터 카메라에 대해 수행되는 단계는 다음과 같다.
[0111] 단계 842에서, 아이웨어 디바이스(100)는 제2 롤링 셔터 카메라에 대한 초기 포즈를 획득한다. 일부 예들에서, 포즈는 프로세서(432)에 의해 메모리, 예컨대, 메모리(434)에 저장된다. 일 예에서, 프로세서(432)는 메모리(434) 내의 룩업 테이블에 포즈를 저장한다. 프로세서(432)는 메모리에 룩업 테이블을 설정하고, 아이웨어 디바이스(100)에 의한 시각적 관성 추적 처리 동안 룩업 테이블을 유지할 수 있다. 룩업 테이블은 롤링 셔터 카메라의 각각의 라인에 대응하는 엔트리(또는, 예컨대, 카메라 모션으로 인해 이전 라인과는 상이한 포즈를 갖는 각각의 라인에 대한 엔트리)를 포함할 수 있으며, 여기서, 제1 포즈는 룩업 테이블의 제1 라인에 저장된다.
[0112] 단계 844에서, 아이웨어 디바이스(100)는, 포착 기간 동안, 카메라 시스템을 사용하여 환경의 제2 이미지를 포착한다. 제2 이미지는, 포착 기간 동안의 특정 포착 시간에 포착되고 있는 각각의 피처 포인트를 갖는 피처 포인트들을 포함한다. 프로세서(432)는 제2 가시광 카메라(114)로부터 입력 이미지들을 연속적으로 수신하고, 처리를 위해 메모리(434)에 이들 이미지들을 저장할 수 있다. 일부 예들에서, 아이웨어 디바이스(100)는, 예를 들어, 시각적 관성 추적을 통해 아이웨어 디바이스의 포지션을 결정하는 데 사용하기 위한 매칭을 인식하기 위해 포착된 이미지들 내의 객체들을 이미지들의 라이브러리에 저장된 객체들과 비교할 수 있다(이하에 기술됨). 알려진 객체들에 대한 이미지들의 라이브러리는 비교를 위해 가상 객체 데이터베이스(484)에 저장된다.
[0113] 블록 846에서, 아이웨어 디바이스(100)는 다양한 센서로부터 디바이스(100) 근처의 물리적 환경(600)으로부터의 모션 정보, 예를 들어, GPS 유닛(473)으로부터의 로케이션 정보, IMU(472)로부터의 방위 정보 또는 레이저 거리 센서로부터의 거리 정보를 획득함으로써, 포착 기간 동안, 복수 회에 걸쳐 모바일 디바이스의 움직임을 감지한다. 일 예에서, 프로세서(432)는 GPS(473), IMU(472), 레이저 거리 센서, 카메라(114) 또는 이들의 조합 중 적어도 하나로부터 감지된 파라미터들을 검색한다. 그런 다음, 프로세서는 본 명세서에 기술된 기술들을 사용하여 감지된 파라미터들로부터 모션 정보 및 포지션 정보를 결정한다.
[0114] 블록 848에서, 아이웨어 디바이스(100)는, 초기 포즈 및 감지된 움직임에 기초하여, 제2 롤링 셔터 카메라에 대한 포즈들의 수를 계산하고, 각각의 계산된 포즈는 포착 기간 내의 특정 계산된 시간에 대응한다. 제2 롤링 셔터 카메라에 대해 계산된 포즈들의 수는 모바일 디바이스의 감지된 움직임에 응답한다. 계산할 포즈들의 수는 블록 808을 참조하여, 전술한 바와 같이, 결정될 수 있다. 포즈들의 수 각각을 계산하기 위해, 프로세서(432)는, 예를 들어, 센서들로부터 획득된 모션 및 포지션 정보를 사용함으로써 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(롤, 피치, 요)를 결정한다(블록 806 참조). 일 예에서, 아이웨어 디바이스(100)의 프로세서(432)는 포착된 이미지들을 사용하여 환경(600) 내에 하나 이상의 객체들(604)에 대한 자신의 포지션을 결정하고, 환경(600)에 대한 좌표계(x, y, z)를 사용하여 환경(600)의 맵을 구성하며, 좌표계 내에서 자신의 포지션을 결정한다. 예를 들어, 프로세서(432)는 단일 객체(604a)와 연관된 2개 이상의 로케이션 포인트들(예컨대, 3개의 로케이션 포인트들(606a, 606b, 606c)) 또는 2개 이상의 객체들(604a, 604b, 604c)과 연관된 하나 이상의 로케이션 포인트들(606)을 사용하여 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(head pose)(롤, 피치, 요)를 결정할 수 있다. 다른 예에서, 프로세서(432)는 포착된 이미지에 더하여 또는 대신하여 다른 센서들(예컨대, IMU(473) 또는 GPS(472))을 사용하여 헤드 포즈를 결정한다. 일 예에서, 프로세서(432)는, 제2 롤링 셔터 카메라의 제1 라인의 노광 동안, 제1 포즈에 대해 하나 이상의 센서들로부터 수신된 데이터에 적용된 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 라인에 대한 포즈를 결정한다.
[0115] 블록 850에서, 아이웨어 디바이스(100)는, 피처 포인트에 대한 특정 포착 시간을 계산된 포즈에 대한 특정 계산된 시간에 매칭함으로써, 제2 이미지 내의 각각의 피처 포인트에 대해, 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 선택한다.
[0116] 블록 852에서, 아이웨어 디바이스(100)는 피처 포인트들 및 제2 이미지의 피처 포인트들에 대해 선택된 제2 카메라에 대한 계산된 포즈들을 사용하여 환경 내에서 모바일 디바이스의 포지션을 결정한다.
[0117] 본 명세서에 기술된 기능 중 임의의 기능은, 본 명세서에 기술된 바와 같이, 하나 이상의 컴퓨터 소프트웨어 애플리케이션들 또는 프로그래밍 명령어들의 세트들로 구현될 수 있다. 일부 예들에 따르면, "기능", "기능들", "애플리케이션", "애플리케이션들", "명령어", "명령어들" 또는 "프로그래밍"은 프로그램들에 정의된 기능들을 실행하는 프로그램(들)이다.　 객체 지향 프로그래밍 언어(예컨대, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예컨대, C 또는 어셈블리 언어)와 같은 다양한 방식으로 구조화된 하나 이상의 애플리케이션들을 구현하기 위해, 다양한 프로그래밍 언어들이 사용될 수 있다. 특정 예에서, 제3의 애플리케이션(예컨대, 특정 플랫폼의 벤더가 아닌 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(SDK)를 사용하여 개발된 애플리케이션)에는 IOS™, ANDROID™, WINDOWS® Phone, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제에서 실행되는 모바일 소프트웨어가 포함될 수 있다. 본 예에서 제3의 애플리케이션은 본 명세서에 기술된 기능을 용이하게 하기 위해 운영 체제에 의해 제공되는 API 콜(API call)들을 호출할 수 있다.
[0118] 따라서, 기계 판독 가능 매체는 많은 형태의 유형의 저장 매체를 취할 수 있다. 비휘발성 저장 매체는, 예를 들어, 도면에 도시된 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 임의의 컴퓨터 디바이스들 등의 저장 디바이스들 중 임의의 저장 디바이스와 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장매체는 이와 같은 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형의 전송 매체는 동축 케이블, 즉, 컴퓨터 시스템 내의 버스를 구성하는 와이어들을 포함하는 구리선 및 광섬유를 포함한다. 반송파 전송 매체는 전기 또는 전자기 신호들, 또는 무선 주파수(RF) 및 적외선(IR) 데이터 통신들 동안에 생성되는 것과 같은 음향 또는 광파들의 형태를 취할 수 있다. 따라서, 컴퓨터 판독 가능 매체의 일반적인 형태들로는, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드 페이퍼 테이프, 구멍 패턴들을 가진 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령어들을 전송하는 반송파, 이와 같은 반송파를 전송하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드나 데이터를 판독할 수 있는 임의의 다른 매체 등이 포함된다. 이러한 형태들의 컴퓨터 판독 가능 매체 중 다수는 실행을 위해 하나 이상의 명령어들의 하나 이상의 시퀀스들을 프로세서로 전달하는 것과 관련될 수 있다.
[0119] 위에서 바로 언급한 것을 제외하고는, 명시되거나 예시된 어떠한 것도 청구항들에 인용되었는지 여부에 관계없이, 임의의 컴포넌트, 단계, 피처, 객체, 이익, 이점 또는 이에 상응하는 것을 대중에게 제공하도록 의도되거나 해석되어서는 안 된다.
[0120] 본 명세서에서 사용되는 용어들 및 표현들은 특정한 의미들이 본 명세서에서 달리 명시된 경우를 제외하고는 해당하는 개개의 탐구 및 연구 영역과 관련하여 이와 같은 용어들 및 표현들에 부여된 바와 같은 일반적인 의미를 갖는 것으로 이해될 것이다. 제1 및 제2 등과 같은 관계형 용어들은 엔티티 또는 행동 사이의 임의의 실제 관계나 순서를 반드시 요구하거나 암시하지 않고 하나의 그러한 엔티티 또는 행동을 다른 것과 구별하기 위해서만 사용될 수 있다. "구성한다", "구성하는", "포함한다", "포함하는" 또는 이들의 임의의 다른 변형어는 요소들 또는 단계들의 리스트를 구성하거나 포함하는 처리, 방법, 물품 또는 장치가 그러한 요소들 또는 단계들만을 포함하는 것이 아니라, 그와 같은 처리, 방법, 물품 또는 장치에 명시적으로 나열되지 않았거나 내재되지 않은 다른 요소들 또는 단계들을 포함할 수 있도록 비독점적인 포함을 포함하도록 의도된다. "a" 또는 "an"이 선행하는 요소는, 추가 제약들 없이, 요소를 구성하는 처리, 방법, 물품 또는 장치에서 추가적인 동일한 요소의 존재를 배제하지 않는다.
[0121] 달리 명시되지 않는 한, 다음의 청구항을 포함하여 본 명세서에 기재된 임의 및 모든 측정값들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 사양들은 정확하지 않고, 근사값이다. 그와 같은 양은 그들이 관련되는 기능들 및 그들이 관련된 기술 분야에서 관습적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예를 들어, 명시적으로 달리 언급하지 않는 한, 파라미터 값 등은 명시된 양에서 ±10%만큼 달라질 수 있다.
[0122] 또한, 전술한 상세한 설명에서, 본 개시의 효율화를 목적으로 다양한 피처들이 다양한 예들에서 함께 그룹화됨을 알 수 있다. 이러한 개시 방법은 청구된 예들이 각각의 청구항에 명시적으로 인용된 것보다 많은 피처들을 필요로 한다는 의도를 반영하는 것으로 해석되어서는 안된다. 오히려, 다음의 청구항들이 반영하는 바와 같이, 보호되어야 하는 주제(subject matter)는 임의의 단일 개시된 예의 모든 피처들보다 적게 존재한다. 따라서, 이하의 청구항들은 상기의 상세한 설명에 통합되고, 각각의 청구항은 별도로 청구되는 주제로서 그 자체로 독립적이다.
[0123] 전술한 것이 최상의 모드로 간주되는 것 및 다른 예들을 기술하였지만, 다양한 변형들이 그 안에서 이루어질 수 있고, 본 명세서에 개시된 주제는 다양한 형태 및 예시들로 구현될 수 있으며, 그것들은 다수의 애플리케이션들에 적용될 수 있고, 이들 중 일부만이 본 명세서에 기술되었다는 것이 이해될 것이다. 다음의 청구항들은 본 개념들의 진정한 범주 내에 속하는 임의 및 모든 수정들 및 변경들을 청구하는 것으로 의도된다.

Claims (20)

  1. 모션 검출기를 갖는 모바일 디바이스 및 제1 롤링 셔터 카메라를 포함하는 카메라 시스템을 사용하는 시각적 관성 추적 방법으로서,
    상기 제1 롤링 셔터 카메라에 대한 초기 포즈를 획득하는 단계와,
    포착 기간 동안, 상기 카메라 시스템을 사용하여 피처 포인트들을 포함하는 환경의 이미지를 포착하는 단계 ― 각각의 피처 포인트는, 상기 포착 기간 동안의 특정 포착 시간에 포착됨 ― 와,
    상기 포착 기간 동안, 상기 모션 검출기로 상기 모바일 디바이스의 움직임을 감지하는 단계와,
    상기 초기 포즈 및 상기 감지된 움직임에 기초하여, 상기 제1 롤링 셔터 카메라에 대한 포즈들의 수를 계산하는 단계 ― 각각의 계산된 포즈는, 상기 포착 기간 내의 특정 계산된 시간에 대응하고, 상기 계산된 포즈들의 수는, 상기 모바일 디바이스의 상기 감지된 움직임에 응답함 ― 와,
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 피처 포인트에 대한 상기 특정 포착 시간을 상기 계산된 포즈에 대한 상기 특정 계산된 시간과 매칭시킴으로써 상기 계산된 포즈들의 수 중 하나를 선택하는 단계, 및
    상기 피처 포인트들 및 상기 피처 포인트들에 대해 상기 선택된 계산된 포즈들을 사용하여 상기 환경 내의 상기 모바일 디바이스의 포지션을 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 계산된 포즈들의 수 각각을 룩업 테이블에 저장하는 단계를 더 포함하며,
    상기 선택하는 단계는, 상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간에 가장 가까운 상기 대응하는 특정 시간에 검색하는 단계를 포함하는,
    방법.
  3. 제1항에 있어서,
    상기 계산된 포즈들의 수 각각을 룩업 테이블에 저장하는 단계를 더 포함하며,
    상기 선택하는 단계는, 상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간 바로 이전인 상기 대응하는 특정 시간에 검색하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 카메라 시스템은, 적어도 제2 롤링 셔터 카메라를 더 포함하는 멀티-카메라 카메라 시스템인, 방법.
  5. 제4항에 있어서,
    상기 제2 롤링 셔터 카메라에 대한 또 다른 초기 포즈를 획득하는 단계와,
    또 다른 포착 기간 동안, 상기 제2 롤링 셔터 카메라를 사용하여 상기 환경의 제2 이미지를 포착하는 단계 ― 상기 이미지는, 피처 포인트들을 포함하며, 각각의 피처 포인트는, 상기 다른 포착 기간 동안의 특정 포착 시간에 포착됨 ― 와,
    상기 다른 포착 기간 동안, 복수회에 걸쳐 상기 모션 검출기로 상기 모바일 디바이스의 움직임을 감지하는 단계와,
    상기 초기 포즈 및 상기 감지된 움직임에 기초하여, 제2 카메라에 대한 포즈들의 수를 계산하는 단계 ― 각각의 제2 카메라에 대한 계산된 포즈는, 상기 다른 포착 기간 내의 특정 계산 시간에 대응하고, 상기 제2 카메라에 대한 계산된 포즈들의 수는, 상기 다른 포착 기간 동안, 상기 모바일 디바이스의 상기 감지된 움직임에 응답함 ― 와,
    상기 제2 이미지 내의 각각의 피처 포인트에 대해, 상기 피처 포인트에 대한 상기 특정 포착 시간을 상기 계산된 포즈에 대한 상기 특정 계산된 시간과 매칭시킴으로써, 상기 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 선택하는 단계, 및
    제1 이미지에 대한 상기 피처 포인트들, 상기 제2 이미지에 대한 상기 피처 포인트들 및 상기 피처 포인트들에 대해 상기 선택된 계산된 포즈들을 사용하여 상기 환경 내에서 상기 모바일 디바이스의 포지션을 결정하는 단계
    를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 제2 카메라에 대한 계산된 포즈들의 수 각각을 룩업 테이블에 저장하는 단계를 더 포함하며,
    상기 선택하는 단계는, 상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간에 가장 가까운 상기 대응하는 특정 시간에 검색하는 단계를 포함하는,
    방법.
  7. 제5항에 있어서,
    상기 결정하는 단계는, 상기 제2 카메라에 대한 계산된 포즈들의 수 각각을 룩업 테이블에 저장하는 단계를 포함하며,
    상기 선택하는 단계는, 상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간 바로 이전인 상기 대응하는 특정 시간에 검색하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 포지션을 결정하는 단계는, 상기 피처 포인트들 및 상기 피처 포인트들에 대해 상기 선택된 계산된 포즈들을 사용하여 SLAM(simultaneous localization and mapping) 알고리즘을 적용하는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    움직임을 감지하는 단계는,
    IMU(inertial measurement unit)로 모션을 감지하는 단계, 또는
    GPS(global positioning system)로부터의 좌표들에 응답하여 상기 모바일 디바이스의 포지션에서의 변화율을 감지하는 단계
    중 적어도 하나를 포함하는, 방법.
  10. 제1항에 있어서,
    상기 계산된 포즈들의 수는, 상기 피처 포인트들의 수보다 적은, 방법.
  11. 환경 내에서 아이웨어 디바이스의 포지션을 결정하기 위한 시각적 관성 추적 시스템으로서,
    모션 검출기와,
    제1 롤링 셔터 카메라와,
    상기 모션 검출기, 상기 제1 롤링 셔터 카메라, 프로세서 및 메모리를 포함하는 아이웨어 디바이스, 및
    상기 메모리 내의 프로그래밍
    을 포함하며, 상기 프로세서에 의한 상기 프로그래밍의 실행은, 상기 아이웨어 디바이스가,
    상기 제1 롤링 셔터 카메라에 대한 초기 포즈를 획득하고,
    포착 기간 동안, 카메라 시스템을 사용하여 피처 포인트들을 포함하는 환경의 이미지를 포착하고 ― 각각의 피처 포인트는, 상기 포착 기간 동안의 특정 포착 시간에 포착됨 ―,
    상기 포착 기간 동안, 상기 모션 검출기로 모바일 디바이스의 움직임을 감지하고,
    초기 포즈 및 상기 감지된 움직임에 기초하여, 상기 제1 롤링 셔터 카메라에 대한 포즈들의 수를 계산하고 ― 각각의 계산된 포즈는, 상기 포착 기간 내의 특정 계산된 시간에 대응하고, 상기 계산된 포즈들의 수는, 상기 모바일 디바이스의 상기 감지된 움직임에 응답함 ―,
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 피처 포인트에 대한 상기 특정 포착 시간을 상기 계산된 포즈에 대한 상기 특정 계산된 시간과 매칭시킴으로써 상기 계산된 포즈들의 수 중 하나를 선택하고, 그리고
    상기 피처 포인트들 및 상기 피처 포인트들에 대해 상기 선택된 계산된 포즈들을 사용하여 상기 환경 내의 상기 모바일 디바이스의 포지션을 결정하도록 구성하는,
    시스템.
  12. 제11항에 있어서,
    메모리에 저장된 룩업 테이블을 더 포함하며, 상기 계산된 포즈들의 수 각각은, 상기 룩업 테이블에 저장되는, 시스템.
  13. 제12항에 있어서,
    룩업 테이블 내의 상기 계산된 포즈들의 수 각각을 메모리에 저장하고, 그리고
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간에 가장 가까운 상기 대응하는 특정 시간에 메모리로부터 검색하는 것
    을 더 포함하는 시스템.
  14. 제12항에 있어서,
    룩업 테이블 내의 상기 계산된 포즈들의 수 각각을 메모리에 저장하고, 그리고
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간 바로 이전인 상기 대응하는 특정 시간에 메모리로부터 검색하는 것
    을 더 포함하는 시스템.
  15. 제11항에 있어서,
    제2 롤링 셔터 카메라를 포함하는 멀티-카메라 카메라 시스템을 더 포함하는, 시스템.
  16. 제15항에 있어서,
    상기 메모리 내의 상기 프로그래밍은, 상기 프로세서에 의해 실행될 때, 상기 아이웨어 디바이스가,
    상기 제2 롤링 셔터 카메라에 대한 또 다른 초기 포즈를 획득하고,
    다른 포착 기간 동안, 상기 제2 롤링 셔터 카메라를 사용하여 상기 환경의 제2 이미지를 포착하고 ― 상기 이미지는, 피처 포인트들을 포함하며, 각각의 피처 포인트는, 상기 다른 포착 기간 동안의 특정 포착 시간에 포착됨 ―,
    상기 다른 포착 기간 동안, 복수회에 걸쳐 상기 모션 검출기로 모바일 디바이스의 움직임을 감지하고,
    상기 초기 포즈 및 상기 감지된 움직임에 기초하여, 제2 카메라에 대한 포즈들의 수를 계산하고 ― 각각의 제2 카메라에 대한 계산된 포즈는, 상기 다른 포착 기간 내의 특정 계산 시간에 대응하고, 상기 제2 카메라에 대한 계산된 포즈들의 수는, 상기 다른 포착 기간 동안, 상기 모바일 디바이스의 상기 감지된 움직임에 응답함 ―,
    상기 제2 이미지 내의 각각의 피처 포인트에 대해, 상기 피처 포인트에 대한 상기 특정 포착 시간을 상기 계산된 포즈에 대한 상기 특정 계산된 시간과 매칭시킴으로써, 상기 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 선택하고, 그리고
    제1 이미지에 대한 상기 피처 포인트들, 상기 제2 이미지에 대한 상기 피처 포인트들 및 상기 피처 포인트들에 대해 상기 선택된 계산된 포즈들을 사용하여 상기 환경 내에서 상기 모바일 디바이스의 상기 포지션을 결정하도록 추가로 구성하는,
    시스템.
  17. 제15항에 있어서,
    상기 메모리 내의 상기 프로그래밍은, 상기 프로세서에 의해 실행될 때, 상기 아이웨어 디바이스가,
    룩업 테이블 내의 제2 카메라에 대한 계산된 포즈들의 수 각각을 메모리에 저장하고,
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간에 가장 가까운 상기 대응하는 특정 시간에 메모리로부터 검색하도록 추가로 구성하는,
    시스템.
  18. 제15항에 있어서,
    상기 메모리 내의 상기 프로그래밍은, 상기 프로세서에 의해 실행될 때, 상기 아이웨어 디바이스가,
    룩업 테이블 내의 제2 카메라에 대한 계산된 포즈들의 수 각각을 메모리에 저장하고,
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 룩업 테이블로부터의 상기 제2 카메라에 대한 계산된 포즈들의 수 중 하나를 상기 대응하는 특정 계산된 시간 바로 이전인 상기 대응하는 특정 시간에 메모리로부터 검색하도록 추가로 구성하는,
    시스템.
  19. 제11항에 있어서,
    상기 계산된 포즈들의 수는, 상기 피처 포인트들의 수보다 적은, 시스템.
  20. 적어도 하나의 롤링 셔터 카메라, 프로세서, 메모리 및 모션 검출기를 갖는 아이웨어 디바이스에 의해 실행될 때, 시각적 관성 추적 동안, 포즈 정확도 및 계산 부하의 균형을 맞추기 위한 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 프로그램 코드는, 실행될 때, 전자 프로세서로 하여금,
    상기 적어도 하나의 롤링 셔터 카메라에 대한 초기 포즈를 획득하는 단계와,
    포착 기간 동안, 상기 적어도 하나의 롤링 셔터 카메라를 사용하여 피처 포인트들을 포함하는 환경의 이미지를 포착하는 단계 ― 각각의 피처 포인트는, 상기 포착 기간 동안의 특정 포착 시간에 포착됨 ― 와,
    상기 포착 기간 동안, 상기 모션 검출기로 모바일 디바이스의 움직임을 감지하는 단계와,
    상기 초기 포즈 및 상기 감지된 움직임에 기초하여, 상기 적어도 하나의 롤링 셔터 카메라에 대한 포즈들의 수를 계산하는 단계 ― 각각의 계산된 포즈는, 상기 포착 기간 내의 특정 계산된 시간에 대응하고, 상기 계산된 포즈들의 수는, 상기 모바일 디바이스의 상기 감지된 움직임에 응답함 ― 와,
    상기 이미지 내의 각각의 피처 포인트에 대해, 상기 피처 포인트에 대한 상기 특정 포착 시간을 상기 계산된 포즈에 대한 상기 특정 계산된 시간과 매칭시킴으로써 상기 계산된 포즈들의 수 중 하나를 선택하는 단계, 및
    상기 피처 포인트들 및 상기 피처 포인트들에 대해 상기 선택된 계산된 포즈들을 사용하여 상기 환경 내의 상기 모바일 디바이스의 포지션을 결정하는 단계를 수행하게 하도록 동작 가능한,
    비일시적 컴퓨터 판독 가능 매체.
KR1020237003106A 2020-06-29 2021-06-07 롤링 셔터 카메라들을 사용하는 시각적 관성 추적 KR20230029923A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063045568P 2020-06-29 2020-06-29
US63/045,568 2020-06-29
US17/161,937 US11582409B2 (en) 2020-06-29 2021-01-29 Visual-inertial tracking using rolling shutter cameras
US17/161,937 2021-01-29
PCT/US2021/036096 WO2022005698A1 (en) 2020-06-29 2021-06-07 Visual-inertial tracking using rolling shutter cameras

Publications (1)

Publication Number Publication Date
KR20230029923A true KR20230029923A (ko) 2023-03-03

Family

ID=79030748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237003106A KR20230029923A (ko) 2020-06-29 2021-06-07 롤링 셔터 카메라들을 사용하는 시각적 관성 추적

Country Status (5)

Country Link
US (2) US11582409B2 (ko)
EP (1) EP4172708A1 (ko)
KR (1) KR20230029923A (ko)
CN (1) CN115917465A (ko)
WO (1) WO2022005698A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11582409B2 (en) * 2020-06-29 2023-02-14 Snap Inc. Visual-inertial tracking using rolling shutter cameras
JP2023003033A (ja) * 2021-06-23 2023-01-11 キヤノン株式会社 電子機器および電子機器の制御方法
US11949527B2 (en) 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US10012504B2 (en) 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
CN110832439B (zh) * 2017-04-27 2023-09-29 奇跃公司 发光用户输入设备
CN107607111A (zh) 2017-09-07 2018-01-19 驭势科技（北京）有限公司 加速度偏置估计方法和装置、视觉惯性里程计及其应用
US10964030B2 (en) * 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US10861242B2 (en) * 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
US11940277B2 (en) * 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
US10719944B2 (en) * 2018-09-13 2020-07-21 Seiko Epson Corporation Dynamic object tracking
US11016560B1 (en) * 2019-04-08 2021-05-25 Rockwell Collins, Inc. Video timewarp for mixed reality and cloud rendering applications
US11582409B2 (en) * 2020-06-29 2023-02-14 Snap Inc. Visual-inertial tracking using rolling shutter cameras

Also Published As

Publication number Publication date
CN115917465A (zh) 2023-04-04
EP4172708A1 (en) 2023-05-03
WO2022005698A1 (en) 2022-01-06
US20210409628A1 (en) 2021-12-30
US20230156357A1 (en) 2023-05-18
US11582409B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
US11277597B1 (en) Marker-based guided AR experience
US11854147B2 (en) Augmented reality guidance that generates guidance markers
US11954268B2 (en) Augmented reality eyewear 3D painting
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US20210405363A1 (en) Augmented reality experiences using social distancing
US11741679B2 (en) Augmented reality environment enhancement
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20240004197A1 (en) Dynamic sensor selection for visual inertial odometry systems
KR20230124077A (ko) 증강 현실 정밀 추적 및 디스플레이
US12008153B2 (en) Interactive augmented reality experiences using positional tracking

Legal Events

Date Code Title Description
A201 Request for examination