KR20230066454A - 동기화되지 않은 롤링 셔터 카메라들을 갖는 아이웨어 - Google Patents

동기화되지 않은 롤링 셔터 카메라들을 갖는 아이웨어 Download PDF

Info

Publication number
KR20230066454A
KR20230066454A KR1020237012597A KR20237012597A KR20230066454A KR 20230066454 A KR20230066454 A KR 20230066454A KR 1020237012597 A KR1020237012597 A KR 1020237012597A KR 20237012597 A KR20237012597 A KR 20237012597A KR 20230066454 A KR20230066454 A KR 20230066454A
Authority
KR
South Korea
Prior art keywords
image
eyewear
cameras
processor
camera
Prior art date
Application number
KR1020237012597A
Other languages
English (en)
Inventor
브라니슬라브 미쿠식
게오르기오스 에반게리디스
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20230066454A publication Critical patent/KR20230066454A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

각각의 카메라에 의해 생성된 이미지들이 정렬되지 않고, 아이웨어의 기준 시스템의 속도 및 중력 배향을 포함하는 상태가 계산되도록 하는 동기화되지 않은 롤링 셔터(RS) 카메라들을 갖는 아이웨어가 제공된다. 가속도 바이어스, 자이로스코프 바이어스 또는 둘 모두와 같은 다른 파라미터들이 포함될 수 있으므로, 상태는 이러한 2 개의 파라미터들에 한정되지 않는다. 속도 및 중력 배향을 계산하기 위한 프로세싱 시간이 허용되도록 하는 매스 솔버들이 사용된다. 동기화되지 않은 구성으로 RS 카메라들을 배열하는 것은 단 하나의 스테레오 이미지 쌍으로부터 아이웨어의 모션의 추정을 허용하고 더 많은 이미지들을 소유할 요건을 제거한다.

Description

동기화되지 않은 롤링 셔터 카메라들을 갖는 아이웨어
[0001] 본 출원은 2020년 9월 15일자로 출원된 미국 출원 제17/021,023호에 대한 우선권을 주장하며, 이 출원의 내용들은 인용에 의해 본원에 완전히 통합된다.
[0002] 본 청구대상은 아이웨어 디바이스, 예를 들어, 스마트 안경에 관한 것이다.
[0003] 오늘날 이용 가능한 스마트 안경, 헤드웨어, 및 헤드기어와 같은 휴대용 아이웨어 디바이스들은 카메라들과 투시형(see-through) 디스플레이들을 통합한다.
[0004] 도면들은 하나 이상의 구현들을 제한의 방식이 아니라 단지 예시의 방식으로 묘사한다. 도면들에서, 동일한 참조 번호들은 동일하거나 유사한 요소들을 지칭한다.
[0005] 도 1a는 이미지 디스플레이를 갖는 우측 광학 조립체를 도시하는 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도이며, 시야 조정들은 사용자에 의해 검출된 머리 또는 눈 움직임에 기초하여 이미지 디스플레이 상에 제시되는 사용자 인터페이스에 적용된다.
[0006] 도 1b는 가시광 카메라, 아이웨어 디바이스 사용자의 머리 움직임을 추적하기 위한 머리 움직임 추적기 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스의 템플(temple)의 상단 단면도이다.
[0007] 도 2a는 아이웨어 디바이스의 사용자를 식별하기 위한 시스템에서 사용하기 위한 프레임 상의 눈 스캐너를 포함하는 아이웨어 디바이스의 예시적인 하드웨어 구성의 배면도이다.
[0008] 도 2b는 아이웨어 디바이스의 사용자를 식별하기 위한 시스템에서 사용하기 위한 템플 상의 눈 스캐너를 포함하는 다른 아이웨어 디바이스의 예시적인 하드웨어 구성의 배면도이다.
[0009] 도 2c 및 도 2d는 2 개의 상이한 유형의 이미지 디스플레이들을 포함하는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 배면도들이다.
[0010] 도 3은 적외선 방출기, 적외선 카메라, 프레임 전면, 프레임 후면 및 회로 기판을 묘사하는 도 2a의 아이웨어 디바이스의 후방 사시도를 도시한다.
[0011] 도 4는 도 3의 아이웨어 디바이스의 적외선 방출기 및 프레임을 통해 취해진 단면도이다.
[0012] 도 5는 눈 응시 방향 검출을 예시한다.
[0013] 도 6은 눈 포지션 검출을 예시한다.
[0014] 도 7은 좌측 미가공 이미지로서 좌측 가시광 카메라에 의해 캡처된 가시광 및 우측 미가공 이미지로서 우측 가시광 카메라에 의해 캡처된 가시광의 예를 묘사한다.
[0015] 도 8a는 동기화된 롤링 셔터(rolling shutter) 카메라들로부터의 프레임들을 예시한다.
[0016] 도 8b 및 도 8c는 솔버(solver)들에 의해 사용되는 예시적인 방정식들을 예시한다.
[0017] 도 8d는 하나의 카메라의 이미지가 회전되는 동기화되지 않은 롤링 셔터 카메라들로부터의 프레임들을 예시한다.
[0018] 도 8e는 하나의 카메라의 이미지가 시간적으로 시프트되는 동기화되지 않은 롤링 셔터 카메라들로부터의 프레임들을 예시한다.
[0019] 도 8f는 하나의 카메라의 이미지가 공간적으로 시프트되는 동기화되지 않은 롤링 셔터 카메라들로부터의 프레임들을 예시한다.
[0020] 도 9는 아이웨어 디바이스의 전자 구성 요소들의 블록도를 예시한다.
[0021] 도 10은 동기화되지 않은 롤링 셔터 카메라들을 사용하여 아이웨어의 속도 및 중력 배향을 결정하는 흐름도이다.
[0022] 본 개시는 각각의 카메라에 의해 생성된 이미지들이 정렬되지 않고, 아이웨어의 기준 시스템의 속도 및 중력 배향을 포함하는 상태가 계산되도록 하는 동기화되지 않은 롤링 셔터(RS) 카메라들을 갖는 아이웨어의 예들을 포함한다. 가속도 바이어스, 자이로스코프 바이어스 또는 둘 모두와 같은 다른 파라미터들이 포함될 수 있으므로, 상태는 이러한 2 개의 파라미터들에 한정되지 않는다. 속도 및 중력 배향을 계산하기 위한 프로세싱 시간이 허용되도록 하는 매스 솔버(math solver)들이 사용된다. 동기화되지 않은 구성으로 RS 카메라들을 배열하는 것은 단 하나의 스테레오 이미지 쌍으로부터 아이웨어의 모션의 추정을 허용하고 더 많은 이미지들을 소유할 요건을 제거한다.
[0023] 예들의 추가적인 목적들, 이점들 및 신규한 특징들은 이하의 설명에서 부분적으로 제시될 것이며, 부분적으로는 이하의 내용 및 첨부 도면들의 검토 시 본 기술 분야의 통상의 기술자에게 명백해지거나 예들의 생성 또는 동작에 의해 학습될 수 있다. 본 청구대상의 목적들 및 이점들은 특히 첨부된 청구항들에 지적된 방법론들, 수단들 및 조합들에 의해 실현되고 달성될 수 있다.
[0024] 이하의 상세한 설명에서, 관련 교시들의 완전한 이해를 제공하기 위해 예시의 방식으로 많은 특정 상세 사항들이 제시된다. 그러나, 본 교시들이 이러한 상세 사항들 없이 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우들에 있어서, 본 교시들의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 공지된 방법들, 절차들, 구성 요소들 및 회로는 상세 사항 없이 상대적으로 높은 레벨에서 설명되었다.
[0025] 본원에서 사용되는 "커플링된(coupled)"이라는 용어는 하나의 시스템 요소에 의해 생성되거나 공급되는 신호들 또는 광이 다른 커플링된 요소에 전해지게 하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결, 링크 등을 지칭한다. 달리 설명하지 않는 한, 커플링된 요소들 또는 디바이스들은 반드시 서로 직접 연결될 필요는 없으며, 광 또는 신호들을 수정, 조작 또는 전달할 수 있는 중간 구성 요소들, 요소들 또는 통신 매체에 의해 분리될 수 있다.
[0026] 도면들 중 임의의 것에 도시된 것과 같은 눈 스캐너 및 카메라를 통합하는 아이웨어 디바이스, 관련 구성 요소들 및 임의의 완전한 디바이스들의 배향들은 단지 예시 및 논의 목적으로 예시의 방식으로 주어진다. 특정 가변 광학 프로세싱 애플리케이션을 위한 동작에서, 아이웨어 디바이스는 예를 들어, 위, 아래, 옆 또는 임의의 다른 배향과 같이 아이웨어 디바이스의 특정 애플리케이션에 적절한 임의의 다른 방향으로 배향될 수 있다. 또한, 본원에서 사용되는 범위에서, 전방, 후방, 내향, 외향, 향하여, 좌측, 우측, 횡방향, 길이 방향, 위, 아래, 상위, 하위, 상단, 바닥 및 측면과 같은 임의의 방향 용어는 단지 예시의 방식으로 사용되며, 본원에서 달리 설명된 바와 같이 구축된 임의의 광학 기기 또는 광학 기기의 구성 요소의 방향 또는 배향에 대해 제한하는 것이 아니다.
[0027] 이제 첨부된 도면들에 예시되고 아래에서 논의되는 예들 상세히 참조한다.
[0028] 도 1a는 이미지 디스플레이(180D)(도 2a)를 갖는 우측 광학 조립체(180B)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도이다. 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)가 우측 템플(110B) 상에 위치되는 스테레오 카메라를 형성하는 복수의 가시광 카메라들(114A-B)(도 7)을 포함한다.
[0029] 좌측 및 우측 가시광 카메라들(114A-B)은 가시광 범위 파장에 민감한 이미지 센서를 갖는다. 가시광 카메라들(114A-B)의 각각은 상이한 전방을 향하는 커버리지 각도를 가지며, 예를 들어, 가시광 카메라(114B)는 묘사된 커버리지 각도(111B)를 갖는다. 커버리지 각도는 가시광 카메라(114A-B)의 이미지 센서가 전자기 방사선을 픽업하여 이미지들을 생성하는 각도 범위이다. 이러한 가시광 카메라(114A-B)의 예들은 640p(예를 들어, 총 0.3 메가픽셀들에 대해 640 x 480 픽셀들), 720p 또는 1080p와 같은 고해상도 상보형 금속-산화물-반도체(CMOS: complementary metal-oxide-semiconductor) 이미지 센서 및 비디오 그래픽 어레이(VGA: video graphic array) 카메라를 포함한다. 가시광 카메라들(114A-B)로부터의 이미지 센서 데이터는 지리적 위치 데이터와 함께 캡처되고, 이미지 프로세서에 의해 디지털화되며 메모리에 저장된다.
[0030] 입체 비전(stereoscopic vision)을 제공하기 위해, 가시광 카메라들(114A-B)은 장면의 이미지가 캡처되는 타임스탬프(timestamp)와 함께 디지털 프로세싱을 위해 이미지 프로세서(도 9의 요소(912))에 커플링될 수 있다. 이미지 프로세서(912)는 가시광 카메라(114A-B)로부터 신호들을 수신하고 가시광 카메라들(114A-B)로부터의 해당 신호들을 메모리(도 9의 요소(934))에 저장하기에 적절한 포맷으로 프로세싱하는 회로를 포함한다. 타임스탬프는 가시광 카메라들(114A-B)의 동작을 제어하는 이미지 프로세서(912) 또는 다른 프로세서에 의해 추가될 수 있다. 가시광 카메라들(114A-B)은 스테레오 카메라가 인간의 양안 비전(binocular vision)을 시뮬레이팅할 수 있게 한다. 스테레오 카메라들은 각각 동일한 타임스탬프를 갖는 가시광 카메라들(114A-B)로부터의 2 개의 캡처된 이미지들(도 7의 요소들(758A-B))에 기초하여 3차원 이미지들(도 7의 요소(715))을 재생하는 능력을 제공한다. 이러한 3차원 이미지들(715)은 예를 들어, 가상 현실 또는 비디오 게임을 위한 몰입형의 실감나는 경험을 허용한다. 입체 비전을 위해, 이미지들의 쌍(758A-B)이 주어진 시각에 생성되는데, 좌측 및 우측의 가시광 카메라들(114A-B)의 각각에 대해 하나의 이미지가 생성된다. 좌측 및 우측 가시광 카메라들(114A-B)의 전방을 향하는 커버리지 각도(111A-B)로부터 생성된 이미지들의 쌍(758A-B)이 (예를 들어, 이미지 프로세서(912)에 의해) 함께 스티칭(stitching)될 때, 깊이 지각이 광학 조립체(180A-B)에 의해 제공된다.
[0031] 일 예에서, 사용자 인터페이스 시야 조정 시스템은 아이웨어 디바이스(100)를 포함한다. 아이웨어 디바이스(100)는 프레임(105), 프레임(105)의 우측 횡방향 측면(170B)으로부터 연장되는 우측 템플(110B), 및 사용자에게 그래픽 사용자 인터페이스를 제시하는 광학 조립체(180B)를 포함하는 투시형 이미지 디스플레이(180D)를 포함한다(도 2a 및 도 2b). 아이웨어 디바이스(100)는 장면의 제1 이미지를 캡처하기 위해 프레임(105) 또는 좌측 템플(110A)에 연결된 좌측 가시광 카메라(114A)를 포함한다. 아이웨어 디바이스(100)는 제1 이미지와 부분적으로 중첩되는 장면의 제2 이미지를 (예를 들어, 좌측 가시광 카메라(114A)로 동시에) 캡처하기 위해 프레임(105) 또는 우측 템플(110B)에 연결된 우측 가시광 카메라(114B)를 추가로 포함한다. 도 1a 및 도 1b에 도시되어 있지 않지만, 사용자 인터페이스 시야 조정 시스템은 예를 들어, 아이웨어 디바이스(100) 자체 또는 사용자 인터페이스 시야 조정 시스템의 다른 부분에서, 아이웨어 디바이스(100)에 커플링되고 가시광 카메라들(114A-B)에 연결된 프로세서(932), 프로세서(932)가 액세스 가능한 메모리(934) 및 메모리(934)에서의 프로그래밍을 추가로 포함한다.
[0032] 도 1a에 도시되어 있지 않지만, 아이웨어 디바이스(100)는 또한 머리 움직임 추적기(도 1b의 요소(109)) 또는 눈 움직임 추적기(도 2a 및 도 2b의 요소(213))를 포함한다. 아이웨어 디바이스(100)는 표시된 이미지들의 시퀀스를 제시하기 위한 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D) 및 아래에 더 상세하게 설명되는 표시된 이미지들(715)의 시퀀스를 제시하기 위해 광학 조립체(180A-B)의 이미지 디스플레이들(180C-D)을 제어하기 위해 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D)에 커플링된 이미지 디스플레이 드라이버(도 9의 요소(942))를 추가로 포함한다. 아이웨어 디바이스(100)는 메모리(934) 및 이미지 디스플레이 드라이버(942) 및 메모리(934)에 대한 액세스를 갖는 프로세서(932)를 추가로 포함한다. 아이웨어 디바이스(100)는 메모리의 프로그래밍(도 9의 요소(934))을 추가로 포함한다. 프로세서(932)에 의한 프로그래밍의 실행은 투시형 이미지 디스플레이들(180C-D)을 통해 디스플레이된 이미지들의 시퀀스의 초기 표시된 이미지를 제시하는 기능들을 포함하는 기능들을 수행하도록 아이웨어 디바이스(100)를 구성하며, 초기 표시된 이미지는 초기 머리 방향 또는 초기 눈 응시 방향(도 5의 요소(230))에 대응하는 초기 시야를 갖는다.
[0033] 프로세서(932)에 의한 프로그래밍의 실행은 (i) 머리 움직임 추적기(도 1b의 요소(109))를 통해 사용자 머리의 머리 움직임을 추적하거나, (ii) 눈 움직임 추적기(도 2a, 도 2b 및 도 5의 요소(213))를 통해 아이웨어 디바이스(100)의 사용자 눈의 눈 움직임을 추적하는 것에 의해 아이웨어 디바이스의 사용자의 움직임을 검출하도록 아이웨어 디바이스(100)를 추가로 구성한다. 프로세서(932)에 의한 프로그래밍의 실행은 검출된 사용자의 움직임에 기초하여 초기 표시된 이미지의 초기 시야에 대한 시야 조정을 결정하도록 아이웨어 디바이스(100)를 추가로 구성한다. 시야 조정은 연속적인 머리 방향 또는 연속적인 눈 방향에 대응하는 연속적인 시야를 포함한다. 프로세서(932)에 의한 프로그래밍의 실행은 시야 조정에 기초하여 표시된 이미지들의 시퀀스의 연속적인 표시된 이미지를 생성하도록 아이웨어 디바이스(100)를 추가로 구성한다. 프로세서(932)에 의한 프로그래밍의 실행은 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D)을 통해 연속적인 표시된 이미지들을 제시하도록 아이웨어 디바이스(100)를 추가로 구성한다.
[0034] 도 1b는 우측 가시광 카메라(114B), 머리 움직임 추적기(109) 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스(100)의 템플의 상단 단면도이다. 좌측 가시광 카메라(114A)의 구성 및 배치는 연결들 및 커플링이 좌측 횡방향 측면(170A) 상에 있다는 것을 제외하고는 우측 가시광 카메라(114B)와 실질적으로 유사하다. 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B) 및 가요성 인쇄 회로 기판(PCB: printed circuit board)(140)인 회로 기판을 포함한다. 우측 힌지(126B)는 우측 템플(110B)을 아이웨어 디바이스(100)의 우측 템플(125B)에 연결한다. 일부 예들에서, 우측 가시광 카메라(114B), 가요성 PCB(140) 또는 다른 전기 커넥터들 또는 접점들의 구성 요소들은 우측 템플(125B) 또는 우측 힌지(126B) 상에 위치될 수 있다.
[0035] 도시된 바와 같이, 아이웨어 디바이스(100)는 예를 들어, 관성 측정 유닛(IMU: inertial measurement unit)을 포함하는 머리 움직임 추적기(109)를 갖는다. 관성 측정 유닛은 가속도계들과 자이로스코프들, 때로는 또한 자력계들의 조합을 사용하여 신체의 특정 힘, 각속도, 및 때로는 신체를 둘러싸는 자기장을 측정하여 보고하는 전자 디바이스이다. 관성 측정 유닛은 하나 이상의 가속도계들을 사용하여 선형 가속도를 검출하고 하나 이상의 자이로스코프들을 사용하여 회전 속도를 검출하여 작동한다. 관성 측정 유닛의 통상적인 구성들은 좌측-우측 움직임에 대한 수평 축(X), 상하 움직임에 대한 수직 축(Y) 및 업-다운 움직임에 대한 깊이 또는 거리 축(Z)과 같은 3 개의 축들의 각각에 대해 축 당 하나의 가속도계, 자이로 및 자력계를 포함한다. 가속도계는 중력 벡터를 검출한다. 자력계는 방향 기준을 생성하는 나침반과 같이 자기장(예를 들어, 남쪽, 북쪽 등을 향함)의 회전을 정의한다. 3 개의 가속도계들은 지면, 아이웨어 디바이스(100) 또는 아이웨어 디바이스(100)를 착용한 사용자에 대해 정의될 수 있는 위에서 정의된 수평, 수직 및 깊이 축을 따른 가속도를 검출한다.
[0036] 아이웨어 디바이스(100)는 머리 움직임 추적기(109)를 통해 사용자 머리의 머리 움직임을 추적함으로써 아이웨어 디바이스(100)의 사용자의 움직임을 검출한다. 머리 움직임은 이미지 디스플레이 상에 표시된 초기 이미지의 제시 동안 초기 머리 방향으로부터 수평 축, 수직 축, 또는 이들의 조합 상에서의 머리 방향의 변화를 포함한다. 일 예에서, 머리 움직임 추적기(109)를 통해 사용자 머리의 머리 움직임을 추적하는 것은 관성 측정 유닛(109)을 통해 수평 축(예를 들어, X 축), 수직 축(예를 들어, Y 축) 또는 이들의 조합(예를 들어, 횡방향 또는 대각선 움직임) 상의 초기 머리 방향을 측정하는 것을 포함한다. 머리 움직임 추적기(109)를 통해 사용자 머리의 머리 움직임을 추적하는 것은 관성 측정 유닛(109)을 통해 초기 표시된 이미지의 제시 동안 수평 축, 수직 축 또는 이들의 조합 상의 연속적인 머리 방향을 측정하는 것을 추가로 포함한다.
[0037] 머리 움직임 추적기(109)를 통해, 사용자 머리의 머리 움직임을 추적하는 것은 초기 머리 방향과 연속적인 머리 방향 모두에 기초하여 머리 방향의 변화를 결정하는 것을 추가로 포함한다. 아이웨어 디바이스(100)의 사용자의 움직임을 검출하는 것은 머리 움직임 추적기(109)를 통한 사용자 머리의 머리 움직임을 추적하는 것에 응답하여, 머리 방향의 변화가 수평 축, 수직 축 또는 이들의 조합 상의 편차 각도 임계값을 초과하는 것을 결정하는 것을 추가로 포함한다. 편차 각도 임계값은 약 3° 내지 10°이다. 본원에서 사용되는 바와 같이, 각도를 지칭할 때 "약"이라는 용어는 언급된 수량으로부터 ±10%를 의미한다.
[0038] 수평 축을 따른 변화는 문자, 비트모지(Bitmoji)들, 애플리케이션 아이콘들 등과 같은 3차원 객체들을 예를 들어, 숨기거나, 숨김 해제하거나 그렇지 않으면 3차원 객체의 가시성을 조정함으로써 시야 안팎으로 슬라이딩한다. 예를 들어, 사용자가 위를 바라볼 때 수직 축을 따른 변화는 일 예에서 날씨 정보, 하루 중 시간, 날짜, 캘린더 약속 등을 표시한다. 다른 예에서, 사용자가 수직 축 상에서 아래를 바라볼 때, 아이웨어 디바이스(100)는 전원을 끌 수 있다.
[0039] 우측 템플(110B)은 템플 몸체(211)와 템플 캡을 포함하며, 도 1b의 단면에서는 템플 캡이 생략되어 있다. 우측 템플(110B) 내부에는 우측 가시광 카메라(114B)에 대한 제어기 회로들, 마이크로폰(들)(130), 스피커(들)(132), 저전력 무선 회로(예를 들어, Bluetooth™를 통한 무선 단거리 네트워크 통신용), 고속 무선 회로(예를 들어, WiFi를 통한 무선 근거리 네트워크 통신용)를 포함하는 PCB들 또는 가요성 PCB들과 같은 다양한 상호 연결된 회로 기판들이 있다.
[0040] 우측 가시광 카메라(114B)는 가요성 PCB(240)에 커플링되거나 그 위에 배치되고 우측 템플(110B)에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 커버된다. 일부 예들에서, 우측 템플(110B)에 연결된 프레임(105)은 가시광 카메라 커버 렌즈용 개구(들)를 포함한다. 프레임(105)은 사용자의 눈으로부터 멀어지게 외부를 향하도록 구성된 정면을 향하는 측면을 포함한다. 가시광 카메라 커버 렌즈용 개구는 전방을 향하는 측면 상에 그리고 이를 통해 형성된다. 해당 예에서, 우측 가시광 카메라(114B)는 아이웨어 디바이스(100)의 사용자의 우측 눈의 시선 또는 관점으로 커버리지(111B)의 외향 각도를 갖는다. 가시광 카메라 커버 렌즈는 개구가 커버리지의 외향 각도로 형성되지만 상이한 외부 방향으로 형성되는 우측 템플(110B)의 외향 표면에 또한 부착될 수 있다. 커플링은 또한 중간 구성 요소들을 통해 간접적일 수 있다.
[0041] 좌측(제1) 가시광 카메라(114A)는 제1 연속 표시된 이미지의 제1 배경 장면을 생성하기 위해 좌측 광학 조립체(180A)의 좌측 투시형 이미지 디스플레이(180C)에 연결된다. 우측(제2) 가시광 카메라(114B)는 제2 연속 표시된 이미지의 제2 배경 장면을 생성하기 위해 우측 광학 조립체(180B)의 우측 투시형 이미지 디스플레이(180D)에 연결된다. 제1 배경 장면과 제2 배경 장면은 부분적으로 중첩되어 연속적으로 표시되는 이미지의 3차원 관찰 가능 영역을 제시한다.
[0042] 가요성 PCB(140)는 우측 템플(110B) 내부에 배치되고 우측 템플(110B)에 수용된 하나 이상의 다른 구성 요소들에 커플링된다. 우측 템플(110B)의 회로 기판들 상에 형성되는 것으로 도시되어 있지만, 우측 가시광 카메라(114B)는 좌측 템플(110A), 템플들(125A-B) 또는 프레임(105)의 회로 기판들 상에 형성될 수 있다.
[0043] 도 2a는 아이웨어 디바이스(100)의 착용자/사용자의 눈 포지션 및 응시 방향을 결정하기 위한 시스템에서 사용하기 위한 프레임(105) 상의 눈 스캐너(213)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 배면도이다. 도 2a에 도시된 바와 같이, 아이웨어 디바이스(100)는 도 2a의 예에서 안경인 사용자가 착용하도록 구성된 형태이다. 아이웨어 디바이스(100)는 다른 형태들을 취할 수 있고 예를 들어, 헤드기어, 헤드셋 또는 헬멧과 같은 다른 유형의 프레임워크들을 통합할 수 있다.
[0044] 안경 예에서, 아이웨어 디바이스(100)는 사용자의 코에 적응된 브릿지(106)를 통해 우측 테두리(107B)에 연결된 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A-B)은 렌즈 및 투시형 디스플레이들(180C-D)과 같은 각각의 광학 요소(180A-B)를 보유하는 각각의 애퍼처(aperture)들(175A-B)을 포함한다. 본원에서 사용되는 바와 같이, 렌즈라는 용어는 광을 수렴/발산시키거나 수렴/발산을 거의 또는 전혀 일으키지 않는 곡면 및 편평한 표면들을 갖는 유리 또는 플라스틱의 투명 또는 반투명 단편들을 포함하는 것으로 의미된다.
[0045] 2 개의 광학 요소들(180A-B)을 갖는 것으로 도시되어 있지만, 아이웨어 디바이스(100)는 아이웨어 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 단일 광학 요소와 같은 다른 배열들을 포함할 수 있다. 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 횡방향 측면(170A)에 인접한 좌측 템플(110A) 및 프레임(105)의 우측 횡방향 측면(170B)에 인접한 우측 템플(110B)을 포함한다. 템플들(110A-B)은 (예시된 바와 같이) 각각의 측면(170A-B) 상의 프레임(105)으로 통합되거나 각각의 측면들(170A-B) 상의 프레임(105)에 부착된 개별 구성 요소들로서 구현될 수 있다. 대안적으로, 템플들(110A-B)은 프레임(105)에 부착된 템플들(미도시)에 통합될 수 있다.
[0046] 도 2a의 예에서, 눈 스캐너(213)는 적외선 방출기(115) 및 적외선 카메라(120)를 포함한다. 가시광 카메라들은 통상적으로 적외선광 검출을 차단하기 위해 청색광 필터를 포함하고, 일 예에서, 적외선 카메라(120)는 청색 필터가 제거된 저해상도 비디오 그래픽 어레이(VGA: video graphic array) 카메라(예를 들어, 총 0.3 메가픽셀들의 경우 640 x 480 픽셀들)와 같은 가시광 카메라이다. 적외선 방출기(115) 및 적외선 카메라(120)는 예를 들어, 프레임(105) 상에 공동 위치되며, 둘 모두 좌측 테두리(107A)의 상위 부분에 연결된 것으로 도시된다. 프레임(105) 또는 하나 이상의 좌측 및 우측 템플들(110A-B)은 적외선 방출기(115)와 적외선 카메라(120)를 포함하는 회로 기판(미도시)을 포함한다. 적외선 방출기(115)와 적외선 카메라(120)는 예를 들어, 납땜에 의해 회로 기판에 연결될 수 있다.
[0047] 적외선 방출기(115)와 적외선 카메라(120)가 모두 우측 테두리(107B) 상에 있거나 프레임(105) 상의 다른 위치들 있으며, 예를 들어, 적외선 방출기(115)는 좌측 테두리(107A) 상에 있고 적외선 카메라(120)는 우측 테두리(107B) 상에 있는 배열들을 포함하여 적외선 방출기(115)와 적외선 카메라(120)의 다른 배열들이 구현될 수 있다. 다른 예에서, 적외선 방출기(115)는 프레임(105) 상에 있고 적외선 카메라(120)는 템플들(110A-B) 중 하나 상에 있거나 그 반대도 가능하다. 적외선 방출기(115)는 본질적으로 프레임(105), 좌측 템플(110A) 또는 우측 템플(110B)의 어느 곳에나 연결되어 적외선광의 패턴을 방출할 수 있다. 유사하게, 적외선 카메라(120)는 본질적으로 프레임(105), 좌측 템플(110A) 또는 우측 템플(110B)의 어느 곳에나 연결되어 적외선광의 방출 패턴에서 적어도 하나의 반사 변화를 캡처할 수 있다.
[0048] 적외선 방출기(115) 및 적외선 카메라(120)는 각각의 눈 포지션 및 응시 방향을 식별하기 위해 눈의 부분적 또는 전체 시야를 갖는 사용자의 눈을 향해 내측을 향하도록 배열된다. 예를 들어, 적외선 방출기(115) 및 적외선 카메라(120)는 프레임(105)의 상위 부분 또는 프레임(105)의 어느 하나의 단부들에서 템플들(110A-B)에서 눈 바로 앞에 위치된다.
[0049] 도 2b는 다른 아이웨어 디바이스(200)의 예시적인 하드웨어 구성의 배면도이다. 이러한 예시적인 구성에서, 아이웨어 디바이스(200)는 우측 템플(210B) 상의 눈 스캐너(213)를 포함하는 것으로 묘사된다. 도시된 바와 같이, 적외선 방출기(215)와 적외선 카메라(220)는 우측 템플(210B) 상에 공동 위치된다. 눈 스캐너(213) 또는 눈 스캐너(213)의 하나 이상의 구성 요소들은 좌측 템플(210A) 및 아이웨어 디바이스(200)의 다른 위치들, 예를 들어, 프레임(105)에 위치될 수 있음을 이해해야 한다. 적외선 방출기(215) 및 적외선 카메라(220)는 도 2a의 것과 같지만, 눈 스캐너(213)는 도 2a에서 상술한 바와 같이 상이한 광 파장들에 민감하도록 변경될 수 있다.
[0050] 도 2a와 유사하게, 아이웨어 디바이스(200)는 브릿지(106)를 통해 우측 테두리(107B)에 연결되는 좌측 테두리(107A)를 포함하는 프레임(105)을 포함하고; 좌측 및 우측 테두리들(107A-B)은 투시형 디스플레이(180C-D)를 포함하는 각각의 광학 요소들(180A-B)을 보유하는 개개의 애퍼처들을 포함한다.
[0051] 도 2c 및 도 2d는 2 개의 상이한 유형의 투시형 이미지 디스플레이들(180C-D)을 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성들의 배면도이다. 일 예에서, 광학 조립체(180A-B)의 이러한 투시형 이미지 디스플레이들(180C-D)은 통합된 이미지 디스플레이를 포함한다. 도 2c에 도시된 바와 같이, 광학 조립체들(180A-B)은 액정 디스플레이(LCD: liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode) 디스플레이, 도파관 디스플레이 또는 임의의 다른 이러한 디스플레이와 같은 임의의 적절한 유형의 적절한 디스플레이 매트릭스(180C-D)를 포함한다. 광학 조립체(180A-B)는 또한 렌즈들, 광학 코팅들, 프리즘들, 미러들, 도파관들, 광학 스트립들 및 임의의 조합의 다른 광학 구성 요소들을 포함할 수 있는 광학층 또는 층들(176)을 포함한다. 광학층들(176A-N)은 적절한 크기 및 구성을 갖고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈으로 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학층들(176A-N)의 프리즘은 좌측 및 우측 테두리들(107A-B)에 형성된 개개의 애퍼처들(175A-B)의 전체 또는 적어도 일부 위로 연장되어 사용자의 눈이 대응하는 좌측 및 우측 테두리들(107A-B)을 통해 보고 있을 때 프리즘의 제2 표면을 사용자가 볼 수 있게 한다. 광학층들(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 위쪽을 향하고 디스플레이 매트릭스는 디스플레이 매트릭스에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학층들(176A-N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향하도록 크기 및 형상이 정해진다. 이와 관련하여, 광학층들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향하여 광을 지향시키도록 볼록할 수 있다. 프리즘은 투시형 이미지 디스플레이들(180C-D)에 의해 투사된 이미지를 확대하기 위해 선택적으로 크기 및 형상이 정해질 수 있고, 제2 표면으로부터 본 이미지가 투시형 이미지 디스플레이들(180C-C)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크도록 광이 프리즘을 통해 이동한다.
[0052] 다른 예에서, 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D)은 도 2d에 도시된 바와 같은 프로젝션 이미지 디스플레이를 포함한다. 광학 조립체(180A-B)는 스캐닝 미러 또는 갈바노미터(galvanometer)를 사용하는 3-컬러 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 중에, 레이저 프로젝터(150)와 같은 광원은 아이웨어 디바이스(100)의 템플들(125A-B) 중 하나에 또는 그 위에 배치된다. 광학 조립체(180A-B)는 광학 조립체(180A-B)의 렌즈의 폭에 걸쳐 또는 렌즈의 전방 표면과 후방 표면 사이의 렌즈의 깊이에 걸쳐 이격된 하나 이상의 광학 스트립들(155A-N)을 포함한다.
[0053] 레이저 프로젝터(150)에 의해 투사된 광자가 광학 조립체(180A-B)의 렌즈에 걸쳐 이동할 때, 광자들은 광학 스트립들(155A-N)과 마주친다. 특정 광자가 특정 광 스트립을 만날 때, 광자는 사용자의 눈을 향하여 재지향되거나 다음 광 스트립으로 통과한다. 레이저 프로젝터(150)의 변조와 광학 스트립의 변조의 조합은 특정 광자들 또는 광 빔을 제어할 수 있다. 일 예에서, 프로세서는 기계적, 음향적 또는 전자기적 신호들을 개시함으로써 광학 스트립들(155A-N)을 제어한다. 2 개의 광학 조립체들(180A-B)을 갖는 것으로 도시되어 있지만, 아이웨어 디바이스(100)는 단일 또는 3 개의 광학 조립체들과 같은 다른 배열들을 포함할 수 있거나, 광학 조립체(180A-B)는 애플리케이션 또는 아이웨어 디바이스(100)의 의도된 사용자에 따라 상이한 배열을 배열할 수 있다.
[0054] 도 2c 및 도 2d에 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 횡방향 측면(170A)에 인접한 좌측 템플(110A) 및 프레임(105)의 우측 횡방향 측면(170B)에 인접한 우측 템플(110B)을 포함한다. 템플들(110A-B)은 (예시된 바와 같이) 각각의 횡방향 측면들(170A-B) 상의 프레임(105)에 통합되거나, 각각의 측면들(170A-B) 상의 프레임(105)에 부착된 개별 구성 요소들로서 구현될 수 있다. 대안적으로, 템플들(110A-B)은 프레임(105)에 부착된 템플들(125A-B)에 통합될 수 있다.
[0055] 일 예에서, 투시형 이미지 디스플레이들은 제1 투시형 이미지 디스플레이(180C) 및 제2 투시형 이미지 디스플레이(180D)를 포함한다. 아이웨어 디바이스(100)는 각각의 제1 및 제2 광학 조립체(180A-B)를 보유하는 제1 및 제2 애퍼처들(175A-B)을 포함한다. 제1 광학 조립체(180A)는 제1 투시형 이미지 디스플레이(180C)(예를 들어, 도 2c의 디스플레이 매트릭스 또는 광학 스트립들(155A-N') 및 프로젝터(150A))를 포함한다. 제2 광학 조립체(180B)는 제2 투시형 이미지 디스플레이(180D)(예를 들어, 도 2c의 디스플레이 매트릭스 또는 광학 스트립들(155A-N'') 및 프로젝터(150B))를 포함한다. 연속적으로 표시되는 이미지의 연속적인 시야는 수평, 수직 또는 대각선으로 측정된 약 15° 내지 30°, 보다 구체적으로 24°의 시야각을 포함한다. 연속적인 시야를 갖는 연속적으로 표시되는 이미지는 제1 및 제2 이미지 디스플레이들에 제시된 2 개의 표시된 이미지들을 함께 스티칭하여 볼 수 있는 결합된 3차원 관찰 가능 영역을 나타낸다.
[0056] 본원에서 사용되는 바와 같이, "시야각"은 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D)의 각각 상에 제시된 표시된 이미지들과 연관된 시야의 각도 범위를 설명한다. "커버리지 각도"는 가시광 카메라들(114A-B) 또는 적외선 카메라(220)의 렌즈가 이미징할 수 있는 각도 범위를 설명한다. 통상적으로, 렌즈에 의해 생성된 이미지 서클은 가능하게는 약간의 비네팅(vignetting)(즉, 이미지 중심에 비해 주변으로 갈수록 이미지의 밝기 또는 채도 감소)을 포함하여 필름이나 센서를 완전히 덮을 수 있을 만큼 충분히 크다. 렌즈의 커버리지 각도가 센서를 채우지 않으면, 통상적으로 에지를 향한 강한 비네팅을 갖는 이미지 서클이 보일 것이고, 유효 시야각은 커버리지 각도로 제한될 것이다. "시야"는 아이웨어 디바이스(100)의 사용자가 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D) 상에 제시된 표시된 이미지들을 통해 자신의 눈을 통해 볼 수 있는 관찰 가능 영역의 필드를 설명하도록 의도된 것이다. 광학 조립체(180A-B)의 이미지 디스플레이(180C)는 15° 내지 30°, 예를 들어, 24°의 커버리지 각도를 갖는 시야를 가질 수 있고, 480 x 480 픽셀들의 해상도를 가질 수 있다.
[0057] 도 3은 도 2a의 아이웨어 디바이스의 후방 사시도를 도시한다. 아이웨어 디바이스(100)는 적외선 방출기(215), 적외선 카메라(220), 프레임 전면(330), 프레임 후면(335) 및 회로 기판(340)을 포함한다. 도 3에서, 아이웨어 디바이스(100)의 프레임의 좌측 테두리의 상위 부분이 프레임 전면(330)과 프레임 후면(335)을 포함한다는 것을 알 수 있다. 적외선 방출기(215)를 위한 개구는 프레임 후면(335) 상에 형성된다.
[0058] 프레임의 좌측 테두리의 상위 중간 부분의 원형 단면(4)에 도시된 바와 같이, 가요성 PCB(340)인 회로 기판이 프레임 전면(330)과 프레임 후면(335) 사이에 끼워져 있다. 또한, 좌측 힌지(126A)를 통해 좌측 템플(110A)을 좌측 템플(325A)에 부착하는 것이 추가로 상세히 도시되어 있다. 일부 예들에서, 적외선 방출기(215), 가요성 PCB(340) 또는 다른 전기 커넥터들 또는 접점들을 포함하는 눈 움직임 추적기(213)의 구성 요소들은 좌측 템플(325A) 또는 좌측 힌지(126A) 상에 위치될 수 있다.
[0059] 도 4는 적외선 방출기(215) 및 도 3의 아이웨어 디바이스의 원형 단면(4)에 대응하는 프레임을 통한 단면도이다. 아이웨어 디바이스(100)의 복수의 층들이 도 4의 단면도에 예시되어 있으며, 도시된 바와 같이 프레임은 프레임 전면(330)과 프레임 후면(335)을 포함한다. 가요성 PCB(340)는 프레임 전면(330) 상에 배치되고 프레임 후면(335)에 연결된다. 적외선 방출기(215)는 가요성 PCB(340) 상에 배치되고 적외선 방출기 커버 렌즈(445)에 의해 커버된다. 예를 들어, 적외선 방출기(215)는 가요성 PCB(340)의 후면으로 리플로우(reflow)된다. 가요성 PCB(340)가 2 개의 구성 요소들을 연결하기 위해 솔더 페이스트(solder paste)를 용융하는 열을 제어하게 함으로써, 리플로우는 가요성 PCB(340)의 후면 상에 형성된 접촉 패드(들)에 적외선 방출기(215)를 부착한다. 일 예에서, 리플로우는 가요성 PCB(340) 상에 적외선 방출기(215)를 표면 실장하고 2 개의 구성 요소들을 전기적으로 연결하는 데 사용된다. 그러나, 예를 들어, 인터커넥트들을 통해 적외선 방출기(215)로부터 가요성 PCB(340)로 리드들을 연결하기 위해 관통-홀들이 사용될 수 있음을 이해해야 한다.
[0060] 프레임 후면(335)은 적외선 방출기 커버 렌즈(445)용 적외선 방출기 개구(450)를 포함한다. 적외선 방출기 개구(450)는 사용자의 눈을 향해 내측으로 향하도록 구성된 프레임 후면(335)의 후방을 향하는 측면 상에 형성된다. 예에서, 가요성 PCB(340)는 가요성 PCB 접착제(460)를 통해 프레임 전면(330)에 연결될 수 있다. 적외선 방출기 커버 렌즈(445)는 적외선 방출기 커버 렌즈 접착제(455)를 통해 프레임 후면(335)에 연결될 수 있다. 커플링은 또한 중간 구성 요소들을 통해 간접적일 수 있다.
[0061] 일 예에서, 프로세서(932)는 도 5에 도시된 바와 같이 착용자의 눈(234)의 눈 응시 방향(230) 및 도 6에 도시된 바와 같이 아이박스(eyebox) 내의 착용자의 눈(234)의 눈 포지션(236)을 결정하기 위해 눈 추적기(213)를 이용한다. 눈 추적기(213)는 눈(234)의 동공(232)의 응시 방향(230) 그리고 또한 투시형 디스플레이(180D)에 대한 눈 포지션(236)을 결정하기 위해 눈(234)으로부터 적외선광의 반사 변화들의 캡처된 이미지에 대한 적외선광 조명(예를 들어, 근적외선, 단파장 적외선, 중파장 적외선, 장파장 적외선 또는 원적외선)을 사용하는 스캐너이다.
[0062] 도 7은 카메라들로 가시광을 캡처하는 일 예를 묘사한다. 가시광은 좌측 미가공 이미지(758A)로서 좌측 가시광 카메라 시야(111A)를 갖는 좌측 가시광 카메라(114A)에 의해 캡처된다. 가시광은 우측 미가공 이미지(758B)로서 우측 가시광 카메라 시야(111B)를 갖는 우측 가시광 카메라(114B)에 의해 캡처된다. 좌측 미가공 이미지(758A) 및 우측 미가공 이미지(758B)의 프로세싱에 기초하여, 이하 이미지로 지칭되는 3차원 장면의 3차원 깊이 맵(715)이 프로세서(932)에 의해 생성된다.
[0063] 글로벌 셔터 카메라들은 전체 이미지에 대해 단일 노출-후-판독 단계를 채택한다. 그러나, 롤링 셔터(RS: rolling shutter) 카메라들은 상이한 시간들에서 이미지 행들을 순차적으로 캡처하는 다단계 메커니즘을 갖는다.
[0064] 도 8a를 참조하면, 통상적으로, 좌측 RS 가시광 카메라(114A)와 우측 RS 가시광 카메라(114B)는 카메라들의 광 축들이 평행하고 카메라 센서들이 동일 평면에 있도록 동기화된다. 이렇게 동기화된 구성의 이유는 정류가 필요하지 않도록 정류된 스테레오에 가능한 가까워지기 위해서이다. 이러한 구성을 RS 스테레오라고 칭한다. 단일 RS 스테레오 이미지는 카메라가 커플링된 리그(rig)라고도 칭하는 아이웨어 디바이스(100/200)의 속도 v0 또는 중력 배향 g0을 추정하는 것을 허용하지 않는다.
[0065] 도 8b는 움직이는 아이웨어(100/200)의 속도 v0 및 중력 배향 g0이 동기화된 RS 카메라들을 사용하여 결정될 수 없음을 예시하는 선형 수학 방정식의 세트인 제1 선형 솔버를 도시한다. 도 8c는 속도 v0 및 중력 배향 g0이 동기화된 RS 카메라들을 사용하여 결정될 수 없음을 예시하는 선형 수학 방정식이기도 한 제2 선형 솔버를 예시한다.
[0066] 도 8b 및 도 8c의 선형 솔루션들 모두 A x = b 형태이다. 매트릭스 A는 직사각형 매트릭스를 나타내고, b는 IMU(800)에 의해 생성된 알려진 관성 측정 유닛(IMU) 판독값들로부터 요소들이 설정된 열 벡터(도 9), 및 스테레오 이미지들(758A 및 758B) 사이의 대응 장면 포인트들 X(도 8d, 도 8e 및 도 8f)의 2d 이미지 좌표들을 나타낸다. 알려지지 않은 벡터 x는 다른 요소들을 제외하고, 아이웨어 디바이스(100/200)의 속도 v0을 포함한다. 전체 벡터 x는 추정 대상이다. 초기 속도 v0 추정은 시각-관성 오도메트리(VIO: Visual-Inertial Odometry) 시스템들에서 IMU 판독값들을 추가로 사용할 수 있기 위한 전제 조건이다. 그러나, 임의의 프레임에서 속도 v0에 대한 (사전) 지식은 다른 많은 사용 사례들에 있어서 유용하다. 독립적인 지식으로서, 속도 v0의 크기는 아이웨어 디바이스(100/200)가 움직이는지 여부를 나타낸다. 선형 속도 하에서, IMU(800)는 0의 가속도를 출력하고 IMU(800) 단독으로는 아이웨어 디바이스가 정지되어 있는지 또는 움직이는지 구별할 수 없다는 점에 유의한다.
[0067] 예를 들어, 초고층 건물의 승강기에 있는 사람은 이후에 매우 빠르게 움직임에도 불구하고 초기 가속 단계 이후에 승강기의 움직임을 인지하지 못한다. 이는 인간 내이의 전정계가 IMU로서 기능하기 때문이다. 승강기에 창문이 없어 시각적인 감각이 없으면, 일정한 속도로 움직이는지 또는 정지되어 있는지 구분할 수 없다.
[0068] 카메라들을 통한 시각 정보는 속도 추정을 돕는 단서이다. 동기화되지 않은 방식으로 RS 카메라들(114A 및 114B)을 배열하면 하나의 스테레오 이미지 쌍(758A 및 758B)으로부터 모션만을 구별/추정할 수 있고 더 많은 스테레오 이미지들을 소유할 요건을 없앤다. 특히, 관성 데이터를 적분하기 위해 0이 아닌 시간 간격을 제공하는 대응하는 스테레오 이미지 장면 포인트들 X(시각적 매치들) 사이의 TimeL과 TimeR(도 10) 사이의 시간차가 있으며, 시각적 매치들의 이미지 좌표들과 함께 적분된 관성 데이터는 그 후 도 8b 및 도 8c의 선형 솔버들에 의해 사용된다. 이러한 시간차가 사라지면(표준 스테레오 카메라) 관성 데이터로부터의 기여가 없다. 동일한 정보(적분된 관성 데이터 및 시각적 미스매치들)가 마찬가지로 비선형 솔버/최적화기들을 사용할 수 있으므로 선형 솔버는 일 예이다.
[0069] 도 8d, 도 8e 및 도 8f를 참조하면, 본 개시의 예들에서, RS 특징은 시간 ti가 시간 tj와 동일하지 않도록 카메라들(114A 및 114B)을 비동기화 또는 비정렬함으로써 기하학적 레벨에서 이용된다. 이러한 시간 ti 및 시간 tj는 도 10에서 TimeL 및 TimeR로 지칭된다. 도 8d는 좌측 카메라 이미지(758A)에 비해 회전된 우측 카메라 이미지(758B)를 예시하고, 도 8e는 시간적으로 시프트된 우측 카메라 이미지(758B)를 예시하고, 도 8f는 공간적으로 시프트된 우측 카메라 이미지(758B)를 예시한다. 도 8d, 도 8e 및 도 8f는 다른 카메라 이미지에 대한 특성, 즉, 회전되거나 시간적으로 시프트되거나 공간적으로 시프트된 특성을 갖는 하나의 카메라 이미지를 예시한다. 카메라들을 비동기화 또는 비정렬하는 이러한 개시는 도 8a에 도시된 통상적인 스테레오 프로세싱과 반대이다. 이는 아이웨어 디바이스(100/200)가 움직일 때 아이웨어 디바이스(100/200)와 카메라들 속도 v0 및 중력 배향 g0을 관찰 가능하게 만든다. 초기 속도 v0과 중력 배향 g0을 포함하는 상태는 각각의 카메라(114A 및 114B)의 하나의 스테레오 프레임으로부터 도 8b 및 도 8c의 선형 솔버 방정식들을 사용하여 계산되며, 시각-관성 오도메트리(VIO_ 및 시각-관성 동시 로컬화 및 매핑(vi-SLAM: visual-inertial Simultaneous Localization and Mapping)에 대해서와 같이 견고한 시각-관성 삼각 측량을 제공한다. 가속도 바이어스, 자이로스코프 바이어스 또는 둘 모두와 같은 다른 파라미터들이 포함될 수 있으므로, 상태는 이러한 2 개의 파라미터로 제한되지 않는다. 카메라 비동기화 알고리즘(945)은 프로세서(932)에 의해 프로세싱되며, 도 10을 참조하여 더 상세히 설명된다.
[0070] 카메라들(114A 및 114B)의 모션 및 비동기화는 이미지들의 상이한 행들, 즉, 상이한 시간 인스턴스에서 각각 도시된 바와 같이 임의의 이미징된 3D 장면 포인트 X가 좌측 및 우측 카메라 이미지(758A 및 758B)에 투사되게 한다. 이러한 예에서, 동일한 3D 장면 포인트가 좌측 카메라 이미지(758A)에서 XL로, 우측 카메라 이미지(758B)에서 XR로 도시된다. 이는 프로세서(932)가 이러한 2 개의 시간 인스턴스 시간 ti와 시간 tj 사이에서 내부 측정 유닛 IMU(800)(도 9)로부터의 IMU 샘플들을 적분할 수 있게 하고, 아이웨어 디바이스(100/200)가 현재 움직이고 있는 속도 v0 및 중력 g0을 추정할 수 있도록 충분히 제한된 도 8b 및 도 8c에 도시된 매트릭스 A를 생성한다. 추정 프로세스에서 더 이상 스테레오 이미지들을 추가할 필요가 없다.
[0071] 도 9는 아이웨어 디바이스(100/200)에 배치된 예시적인 전자 구성 요소들을 포함하는 하이-레벨 기능 블록도를 묘사한다. 예시된 전자 구성 요소들은 도 10을 참조하여 설명되는 바와 같은 카메라 비동기화 알고리즘(945)을 실행하는 프로세서(932)를 포함한다.
[0072] 메모리(934)는 이미지 보정 알고리즘(945)을 수행하기 위한 프로세서(932)에 대한 명령들을 포함하여, 아이웨어 디바이스(100/200)의 기능을 구현하기 위해 프로세서(932)에 의해 실행하기 위한 명령들을 포함한다. 프로세서(932)는 배터리(950)로부터 전력을 수신하고 메모리(934)에 저장되거나 아이웨어 디바이스(100/200)의 기능을 수행하기 위해 칩 상의 프로세서(932)와 통합된 명령들을 실행하고 무선 연결들을 통해 외부 디바이스들과 통신한다.
[0073] 사용자 인터페이스 조정 시스템(900)은 아이웨어 디바이스를 포함한다. 사용자 인터페이스 조정 시스템(900)은 또한 다양한 네트워크들을 통해 연결된 모바일 디바이스(990) 및 서버 시스템(998)을 포함한다. 모바일 디바이스(990)는 스마트폰, 태블릿, 랩탑 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결(925)과 고속 무선 연결(937) 모두를 사용하여 아이웨어 디바이스(100/200)와 연결할 수 있는 이러한 임의의 다른 디바이스일 수 있다. 모바일 디바이스(990)는 서버 시스템(998) 및 네트워크(995)에 연결된다. 네트워크(995)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0074] 아이웨어 디바이스(100/200)는 적어도 2 개의 가시광 카메라들(114A-B)(하나는 좌측 횡방향 측면(170A)과 연관되고 하나는 우측 횡방향 측면(170B)과 연관됨)을 포함한다. 아이웨어 디바이스(100/200)는 광학 조립체(180A-B)의 2 개의 투시형 이미지 디스플레이들(180C-D)(하나는 좌측 횡방향 측면(170A)과 연관되고 하나는 우측 횡방향 측면(170B)과 연관됨)을 추가로 포함한다. 이미지 디스플레이들(180C-D)은 본 개시에서 선택적이다. 아이웨어 디바이스(100/200)는 또한 이미지 디스플레이 드라이버(942), 이미지 프로세서(912), 저전력 회로(920) 및 고속 회로(930)를 포함한다. 아이웨어 디바이스(100/200)에 대해 도 9에 도시된 구성 요소들은 템플의 하나 이상의 회로 기판들, 예를 들어, PCB 또는 가요성 PCB 상에 위치된다. 대안적으로 또는 추가적으로, 묘사된 구성 요소들은 아이웨어 디바이스(100/200)의 템플들, 프레임들, 힌지들 또는 브릿지에 위치될 수 있다. 좌측 및 우측 가시광 카메라들(114A-B)은 상보형 금속-산화물-반도체(CMOS: complementary metal-oxide-semiconductor) 이미지 센서, 전하 결합 디바이스, 렌즈, 또는 알려지지 않은 객체들을 갖는 장면들의 이미지들을 포함한 데이터를 캡처하는 데 사용될 수 있는 임의의 다른 개개의 가시 또는 광 캡처 요소들과 같은 디지털 카메라 요소들을 포함할 수 있다.
[0075] 눈 움직임 추적 프로그래밍은 아이웨어 디바이스(100/200)로 하여금 눈 움직임 추적기(213)를 통해 아이웨어 디바이스(100/200)의 사용자의 눈의 눈 움직임을 추적하게 하는 것을 포함하는 사용자 인터페이스 시야 조정 명령들을 구현한다. 다른 구현된 명령들(기능들)은 아이웨어 디바이스(100/200)로 하여금 연속적인 눈 방향에 대응하는 사용자의 검출된 눈 움직임에 기초하여 초기 표시된 이미지의 초기 시야에 대한 시야 조정을 결정하게 한다. 추가로 구현된 명령들은 시야 조정에 기초하여 표시된 이미지들의 시퀀스의 연속적인 표시된 이미지를 생성한다. 연속적으로 표시되는 이미지는 사용자 인터페이스를 통해 사용자에 대한 가시적인 출력으로서 생성된다. 이러한 가시적인 출력은 초기 시야를 갖는 초기 표시된 이미지 및 연속적인 시야를 갖는 연속적으로 표시된 이미지를 포함하여 표시된 이미지들의 시퀀스를 제시하기 위해 이미지 디스플레이 드라이버(942)에 의해 구동되는 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D) 상에 나타난다.
[0076] 도 9에 도시된 바와 같이, 고속 회로(930)는 고속 프로세서(932), 메모리(934) 및 고속 무선 회로(936)를 포함한다. 예에서, 이미지 디스플레이 드라이버(942)는 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D)을 구동하기 위해 고속 회로(930)에 커플링되고 고속 프로세서(932)에 의해 동작된다. 고속 프로세서(932)는 아이웨어 디바이스(100/200)에 필요한 임의의 일반 컴퓨팅 시스템의 동작 및 고속 통신들을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(932)는 고속 무선 회로(936)를 사용하여 무선 근거리 네트워크(WLAN: wireless local area network)로의 고속 무선 연결(937) 상에서 고속 데이터 전송을 관리하는 데 필요한 처리 리소스들을 포함한다. 특정 예들에서, 고속 프로세서(932)는 LINUX 운영 체제 또는 아이웨어 디바이스(100/200)의 이러한 다른 운영 체제와 같은 운영 체제를 실행하고 운영 체제는 실행을 위해 메모리(934)에 저장된다. 임의의 다른 역할에 추가하여, 아이웨어 디바이스(100/200)용 소프트웨어 아키텍처를 실행하는 고속 프로세서(932)는 고속 무선 회로(936)와의 데이터 전송들을 관리하는 데 사용된다. 특정 예들에서, 고속 무선 회로(936)는 본원에서 Wi-Fi라고도 칭하는 전기 전자 학회(IEEE: Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들이 고속 무선 회로(936)에 의해 구현될 수 있다.
[0077] 아이웨어 디바이스(100/200)의 저전력 무선 회로(924) 및 고속 무선 회로(936)는 단거리 트랜시버들(Bluetooth™) 및 무선 광역, 로컬 또는 광역 네트워크 트랜시버들(예를 들어, 셀룰러 또는 WiFi)을 포함할 수 있다. 저전력 무선 연결(925) 및 고속 무선 연결(937)을 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(990)는 네트워크(995)의 다른 요소들과 마찬가지로 아이웨어 디바이스(100/200)의 아키텍처의 상세 사항들을 사용하여 구현될 수 있다.
[0078] 메모리(934)는 특히 컬러 맵들, 좌측 및 우측 가시광 카메라들(114A-B) 및 이미지 프로세서(912)에 의해 생성된 카메라 데이터뿐만 아니라 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D) 상에 이미지 디스플레이 드라이버(942)에 의해 표시하기 위해 생성된 이미지들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(934)가 고속 회로(930)와 통합된 것으로 도시되어 있지만, 다른 예들에서, 메모리(934)는 아이웨어 디바이스(100/200)의 독립적인 독립형 요소일 수 있다. 이러한 특정 예들에서, 전기 라우팅 라인들은 고속 프로세서(932)를 포함하는 칩을 통해 이미지 프로세서(912) 또는 저전력 프로세서(922)로부터 메모리(934)로의 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(932)는 저전력 프로세서(922)가 메모리(934)와 관련된 판독 또는 기입 동작이 필요할 때마다 고속 프로세서(932)를 부팅(booting)하도록 메모리(934)의 어드레싱을 관리할 수 있다.
[0079] 서버 시스템(998)은 예를 들어, 프로세서, 메모리, 및 모바일 디바이스(990)와 아이웨어 디바이스(100/200)와 네트워크(995)를 통해 통신하기 위한 네트워크 통신 인터페이스를 포함하는 네트워크 컴퓨팅 시스템 또는 서비스의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다. 아이웨어 디바이스(100)는 호스트 컴퓨터와 연결된다. 예를 들어, 아이웨어 디바이스(100/200)는 고속 무선 연결(937)을 통해 모바일 디바이스(990)와 페어링(pairing)되거나, 고속 무선 연결(937)과 같은 네트워크(995)를 통해 서버 시스템(998)에 연결된다.
[0080] 아이웨어 디바이스(100/200)의 출력 구성 요소들은 도 2c 및 도 2d에 설명된 바와 같이 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D)(예를 들어, 액정 디스플레이(LCD: liquid crystal display), 플라즈마 디스플레이 패널(PDP: plasma display panel), 발광 다이오드(LED: light emitting diode) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이)과 같은 시각적 구성 요소들을 포함한다. 광학 조립체(180A-B)의 이미지 디스플레이들(180C-D)은 이미지 디스플레이 드라이버(942)에 의해 구동된다. 아이웨어 디바이스(100/200)의 출력 구성 요소들은 음향 구성 요소들(예를 들어, 스피커들), 햅틱 구성 요소들(예를 들어, 진동 모터), 다른 신호 생성기들 등을 추가로 포함한다. 아이웨어 디바이스(100/200), 모바일 디바이스(990) 및 서버 시스템(998)의 입력 구성 요소들은 영숫자 입력 구성 요소들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드 또는 다른 영숫자 입력 구성 요소들), 포인트-기반 입력 구성 요소들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 구성 요소들(예를 들어, 물리적 버튼, 위치 및 터치들의 힘 또는 터치 제스처들을 제공하는 터치 스크린 또는 다른 촉각 입력 구성 요소들), 마이크로폰(938)을 포함하는 오디오 입력 구성 요소들을 포함할 수 있다. 마이크로폰(938)은 아이웨어 디바이스(100/200) 부근의 오디오를 캡처하며, 여기서 오디오는 원격 오퍼레이터의 모바일 디바이스(991)로 스트리밍될 수 있다. 마이크로폰(938)은 보여진 이미지에 대응하도록 일 예에서 지향성일 수 있다.
[0081] 아이웨어 디바이스(100/200)는 추가적인 주변 디바이스 요소들(919)을 선택적으로 포함할 수 있다. 이러한 주변 디바이스 요소들은 생체 측정 센서들, 추가 센서들 또는 아이웨어 디바이스(100/200)와 통합된 디스플레이 요소들을 포함할 수 있다. 예를 들어, 주변 디바이스 요소들(919)은 출력 구성 요소들, 모션 구성 요소들, 포지션 구성 요소들, 또는 본원에 설명된 이러한 임의의 다른 요소들을 포함하는 임의의 I/O 구성 요소들을 포함할 수 있다.
[0082] 예를 들어, 사용자 인터페이스 시야 조정(900)의 생체 특정 구성 요소들은 표현들(예를 들어, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하고 생체 신호들(예를 들어, 혈압, 심박수, 체온, 발한 또는 뇌파)을 측정하고 개인을 식별하는(예를 들어, 음성 식별, 망막 식별, 안면 식별, 지문 식별 또는 뇌파 기반 식별) 등을 위한 구성 요소들을 포함한다. 모션 구성 요소들은 내부 측정 유닛(IMU)(800), 가속도 센서 구성 요소들(예를 들어, 가속도계), 중력 센서 구성 요소들, 회전 센서 구성 요소들(예를 들어, 자이로스코프) 등을 포함한다. 포지션 구성 요소들은 위치 좌표들을 생성하는 위치 센서 구성 요소들(예를 들어, 글로벌 포지셔닝 시스템(GPS: Global Positioning System) 수신기 구성 요소), 포지셔닝 시스템 좌표들을 생성하는 WiFi 또는 Bluetooth™ 트랜시버들, 고도 센서 구성 요소들(예를 들어, 고도가 도출될 수 있는 공기 압력을 검출하는 고도계들 또는 기압계들), 배향 센서 구성 요소들(예를 들어, 자력계들) 등을 포함한다. 이러한 포지셔닝 시스템 좌표들은 또한 저전력 무선 회로(924) 또는 고속 무선 회로(936)를 통해 모바일 디바이스(990)로부터 무선 연결들(925 및 937)을 통해 수신될 수 있다.
[0083] 일부 예들에 따르면, "애플리케이션" 또는 "애플리케이션들"은 프로그램들에서 정의된 함수들을 실행하는 프로그램(들)이다. 객체-지향 프로그래밍 언어들(예를 들어, 객체-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예를 들어, C 또는 어셈블리어)과 같은 다양한 방식들로 구조화된 하나 이상의 애플리케이션들을 생성하기 위해 다양한 프로그래밍 언어들이 채용될 수 있다. 특정 예에서, 제3자 애플리케이션(예를 들어, 특정 플랫폼의 벤더(vendor)가 아닌 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(SDK: software development kit)를 사용하여 개발된 애플리케이션)은 IOS™, ANDROID™, WINDOWS® 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이러한 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 용이하게 하기 위해 운영 체제에서 제공하는 API 콜(call)들을 호출할 수 있다.
[0084] 도 10은 아이웨어의 속도 및 중력 배향을 결정하기 위해 프로세서(932)에 의해 실행되는 카메라 비동기화 알고리즘(945)의 흐름도(1000)를 예시한다.
[0085] 블록 1002에서, 프로세서(932)는 도 8d, 도 8e 및 도 8f에 도시된 바와 같이, 각각 카메라들(114A 및 114B)로부터 동기화되지 않은 카메라 이미지들(758A 및 758B)을 수신하여 프로세싱한다. 이미징된 3D 장면 포인트 X는 이미지들에서 픽셀들의 상이한 행들에 도시된 바와 같이, 좌측 및 우측 카메라 이미지(758A 및 758B)에 각각 투사되며, 즉, 장면 포인트 X는 도 8e에서 시간적으로 시프트되고, 도 8f에서 공간적으로 시프트된다. 이러한 예에서, 3D 장면 포인트는 좌측 카메라 이미지(758A)에서 포인트 XL로, 우측 카메라 이미지(758B)에서 포인트 XR로 표시된다. 카메라 이미지들(758A 및 758B)의 비동기화로 인해, 시간 TimeL 및 TimeR은 아이웨어 디바이스(100/200)와 카메라들이 움직일 때 동일하지 않을 것이다.
[0086] 블록 1004에서, 프로세서(932)는 이러한 2 개의 시간 인스턴스 사이에서 IMU(800)로부터의 IMU 샘플들을 적분하고 도 8b 및 도 8c에 도시된 매트릭스 A를 생성한다. IMU 샘플들은 제한되어 현재 아이웨어 디바이스(100/200)가 움직이고 있는 속도 v0 및 중력 배향 g0을 프로세서(932)가 추정할 수 있게 한다.
[0087] 블록 1006에서, 프로세서(932)는 도 8b 및 도 8c의 선형 솔버 방정식들 중 하나 또는 모두를 사용하고, 각각의 카메라로부터의 단지 하나의 이미지를 사용하여 현재 아이웨어 디바이스(100/200)가 움직이는 초기 속도 v0 및 중력 g0을 추정한다. 추정 프로세스에서 더 이상 스테레오 이미지를 추가할 필요가 없다. 프로세서(932)의 프로세싱은 간단하므로 매우 복잡하지 않으며, 따라서 프로세싱 리소스들을 절약하고 아이웨어(100/200) 속도 및 중력 배향을 신속하게 계산한다.
[0088] 본원에서 사용된 용어들 및 표현들은 특정 의미들이 본원에서 달리 제시된 경우를 제외하고 대응하는 개개의 조사 및 연구 영역들에 대해 이러한 용어들 및 표현들에 따른 일반적인 의미들을 갖는다는 것을 이해할 것이다. 제1 및 제2 등과 같은 관계적인 용어들은 이러한 엔티티들 또는 액션들 간의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지 않고 하나의 엔티티 또는 액션을 다른 것과 구별하기 위해서만 사용될 수 있다. "포괄하다(comprises)", "포괄하는(comprising)", "포함하다(includes)", "포함하는(including)" 또는 이들의 임의의 다른 변형어는 요소들 또는 단계들의 리스트를 포괄하거나 포함하는 프로세스, 방법, 물품 또는 장치가 해당 요소들 또는 단계들만을 포함하지 않고 이러한 프로세스, 방법, 물품 또는 장치에 명시적으로 나열되지 않거나 내재되지 않은 다른 요소들 또는 단계들을 포함할 수 있도록 비배타적인 포함을 포괄하는 것으로 의도된다. 단수형 요소는 추가 제약들 없이 해당 요소를 포함하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 요소들의 존재를 배제하지 않는다.
[0089] 달리 언급되지 않는 한, 후속하는 청구항들을 포함하여 본 명세서에 제시된 임의의 그리고 모든 측정치들, 값들, 등급들, 포지션들, 크기(magnitude)들, 크기(size)들 및 다른 규격들은 근사적인 것이며 정확하지 않다. 이러한 수량들은 관련된 기능들 및 해당 기술 분야에서 관례적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예를 들어, 명시적으로 달리 언급되지 않는 한, 파라미터 값 등은 언급된 수량으로부터 ±10%만큼 달라질 수 있다.
[0090] 또한, 전술한 상세한 설명에서, 본 개시를 간소화할 목적으로 다양한 특징들이 다양한 예들에서 함께 그룹화됨을 알 수 있다. 본 개시의 방법은 청구된 예들이 각각의 청구항에 명시적으로 인용된 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 후속하는 청구항들이 반영하는 바와 같이, 보호되어야 할 청구대상은 임의의 단일 개시된 예의 모든 특징들보다 적게 갖는다. 따라서, 이하의 청구항들은 이에 의해 상세한 설명에 통합되며, 각각의 청구항은 별도로 청구된 청구대상로서 그 자체로 존재한다.
[0091] 상술한 내용은 최선의 모드 및 다른 예들이라고 간주되는 것을 설명했지만, 다양한 수정이 그 안에서 이루어질 수 있고 본원에 개시된 청구대상은 다양한 형태들 및 예들에서 구현될 수 있으며, 이는 많은 애플리케이션들에 적용될 수 있으며, 그 중 일부만이 본원에서 설명되었다는 것이 이해된다. 이하의 청구항들은 본 개념들의 진정한 범위 내에 속하는 임의의 그리고 모든 수정들 및 변경들을 청구하는 것으로 의도된다.

Claims (20)

  1. 아이웨어(eyewear)로서,
    프레임;
    상기 프레임에 각각 커플링되고 개개의 제1 카메라 이미지 및 제2 카메라 이미지를 캡처하도록 구성된 카메라들의 쌍 ― 상기 카메라들은 동기화되지 않음 ―; 및
    전자 프로세서를 포함하고, 상기 전자 프로세서는,
    상기 동기화되지 않은 카메라들로부터 상기 제1 이미지 및 상기 제2 이미지를 수신하고;
    상기 제2 이미지에 대한 상기 제1 이미지의 특성에 기초하여 상기 제1 이미지 및 상기 제2 이미지를 프로세싱하고; 그리고
    상기 특성의 함수로써 상기 아이웨어의 속도를 계산하도록 구성되는, 아이웨어.
  2. 제1 항에 있어서,
    상기 전자 프로세서는 또한 상기 아이웨어의 중력을 계산하는, 아이웨어.
  3. 제1 항에 있어서,
    상기 특성은 상기 제1 이미지가 상기 제2 이미지에 대해 회전되는 특성, 상기 제1 이미지가 상기 제2 이미지에 대해 시간적으로 시프트되는 특성, 및 상기 제1 이미지가 상기 제2 이미지에 대해 공간적으로 시프트되는 특성의 그룹으로부터 선택되는, 아이웨어.
  4. 제1 항에 있어서,
    상기 프로세서는 상기 아이웨어의 상기 속도를 계산하기 위해 선형 방정식을 사용하도록 구성되는, 아이웨어.
  5. 제1 항에 있어서,
    상기 카메라들은 롤링 셔터(rolling shutter) 카메라들을 포함하고, 상기 제1 이미지 및 상기 제2 이미지는 공통 장면 포인트를 포함하는, 아이웨어.
  6. 제5 항에 있어서,
    상기 프로세서는 상기 장면 포인트를 이미징하는 상기 카메라들의 쌍 사이의 시간차를 프로세싱하도록 구성되는, 아이웨어.
  7. 제1 항에 있어서,
    상기 아이웨어는 관성 측정 유닛(IMU) 판독값들을 생성하도록 구성된 관성 측정 유닛(IMU)을 포함하고, 상기 프로세서는 상기 속도를 결정하기 위해 상기 IMU 판독값들을 프로세싱하도록 구성되는, 아이웨어.
  8. 프레임, 상기 프레임에 각각 커플링되고 개개의 제1 카메라 이미지 및 제2 카메라 이미지를 캡처하도록 구성된 카메라들의 쌍 ― 상기 카메라들의 쌍은 동기화되지 않음 ―, 및 전자 프로세서를 갖는 아이웨어의 사용 방법으로서,
    상기 동기화되지 않은 카메라들로부터 상기 제1 이미지 및 상기 제2 이미지를 수신하는 단계;
    상기 제2 이미지에 대한 상기 제1 이미지의 특성에 기초하여 상기 제1 이미지 및 상기 제2 이미지를 프로세싱하는 단계; 및
    상기 특성의 함수로써 상기 아이웨어의 속도를 계산하는 단계를 포함하는, 방법.
  9. 제8 항에 있어서,
    상기 전자 프로세서는 상기 아이웨어의 중력을 계산하는, 방법.
  10. 제8 항에 있어서,
    상기 특성은 상기 제1 이미지가 상기 제2 이미지에 대해 회전되는 특성, 상기 제1 이미지가 상기 제2 이미지에 대해 시간적으로 시프트되는 특성, 및 상기 제1 이미지가 상기 제2 이미지에 대해 공간적으로 시프트되는 특성의 그룹으로부터 선택되는, 방법.
  11. 제8 항에 있어서,
    상기 카메라들은 롤링 셔터 카메라들을 포함하고, 상기 프로세서는 상기 아이웨어의 상기 속도를 계산하기 위해 선형 방정식을 사용하는, 방법.
  12. 제8 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 공통 장면 포인트를 포함하는, 방법.
  13. 제12 항에 있어서,
    상기 프로세서는 상기 장면 포인트를 이미징하는 상기 카메라들의 쌍 사이의 시간차를 프로세싱하는, 방법.
  14. 제8 항에 있어서,
    상기 아이웨어는 관성 측정 유닛(IMU) 판독값들을 생성하도록 구성된 관성 측정 유닛(IMU)을 포함하고, 상기 프로세서는 상기 속도를 결정하기 위해 상기 IMU 판독값들을 프로세싱하는, 방법.
  15. 프로그램 코드를 저장한 비일시적 컴퓨터-판독 가능 매체로서,
    상기 프로그램 코드는, 실행될 때, 프레임, 상기 프레임에 각각 커플링되고 개개의 제1 카메라 이미지 및 제2 카메라 이미지를 캡처하도록 구성된 동기화되지 않은 카메라들의 쌍을 갖는 아이웨어의 프로세서로 하여금,
    상기 동기화되지 않은 카메라들로부터 상기 제1 이미지 및 상기 제2 이미지를 수신하는 단계;
    상기 제2 이미지에 대한 상기 제1 이미지의 특성에 기초하여 상기 제1 이미지 및 상기 제2 이미지를 프로세싱하는 단계; 및
    상기 특성의 함수로써 상기 아이웨어의 속도를 계산하는 단계를 수행하게 하도록 동작하는, 비일시적 컴퓨터-판독 가능 매체.
  16. 제15 항에 있어서,
    상기 아이웨어의 중력을 계산하기 위한 코드를 더 포함하는, 비일시적 컴퓨터-판독 가능 매체.
  17. 제15 항에 있어서,
    상기 특성은 상기 제1 이미지가 상기 제2 이미지에 대해 회전되는 특성, 상기 제1 이미지가 상기 제2 이미지에 대해 시간적으로 시프트되는 특성, 및 상기 제1 이미지가 상기 제2 이미지에 대해 공간적으로 시프트되는 특성의 그룹으로부터 선택되는, 비일시적 컴퓨터-판독 가능 매체.
  18. 제15 항에 있어서,
    선형 방정식을 사용하여 상기 아이웨어의 상기 속도를 계산하기 위한 코드를 더 포함하는, 비일시적 컴퓨터-판독 가능 매체.
  19. 제15 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 공통 객체 포인트 또는 장면 포인트를 포함하는, 비일시적 컴퓨터-판독 가능 매체.
  20. 제19 항에 있어서,
    상기 객체 포인트 또는 상기 장면 포인트를 이미징하는 상기 카메라들의 쌍 사이의 시간차를 프로세싱하기 위한 코드를 더 포함하는, 비일시적 컴퓨터-판독 가능 매체.
KR1020237012597A 2020-09-15 2021-08-26 동기화되지 않은 롤링 셔터 카메라들을 갖는 아이웨어 KR20230066454A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/021,023 2020-09-15
US17/021,023 US11726327B2 (en) 2020-09-15 2020-09-15 Eyewear having unsynchronized rolling shutter cameras
PCT/US2021/047717 WO2022060551A1 (en) 2020-09-15 2021-08-26 Eyewear having unsynchronized rolling shutter cameras

Publications (1)

Publication Number Publication Date
KR20230066454A true KR20230066454A (ko) 2023-05-15

Family

ID=78078332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237012597A KR20230066454A (ko) 2020-09-15 2021-08-26 동기화되지 않은 롤링 셔터 카메라들을 갖는 아이웨어

Country Status (5)

Country Link
US (2) US11726327B2 (ko)
EP (1) EP4214564A1 (ko)
KR (1) KR20230066454A (ko)
CN (1) CN116249873A (ko)
WO (1) WO2022060551A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131277A1 (en) 2018-12-20 2020-06-25 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160980B2 (en) * 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
JPWO2019187592A1 (ja) 2018-03-29 2021-05-20 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11272170B2 (en) * 2019-08-26 2022-03-08 Alexander Shau Ergonomic protective eyewear
US11290708B2 (en) 2019-02-19 2022-03-29 Edgy Bees Ltd. Estimating real-time delay of a video data stream
US10832418B1 (en) * 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
US11010921B2 (en) * 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras

Also Published As

Publication number Publication date
US11726327B2 (en) 2023-08-15
EP4214564A1 (en) 2023-07-26
WO2022060551A1 (en) 2022-03-24
CN116249873A (zh) 2023-06-09
US20220082827A1 (en) 2022-03-17
US20230359038A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11792500B2 (en) Eyewear determining facial expressions using muscle sensors
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US20230359038A1 (en) Eyewear having unsynchronized rolling shutter cameras
KR20220070471A (ko) 온도 조절을 위한 상 변화 재료를 갖는 안경류 디바이스 배터리
US11917120B2 (en) Eyewear with strain gauge estimation
US11675217B2 (en) Wearable proximity sensing array for the visually impaired
US11619819B2 (en) Eyewear display for generating an immersive image
US11933977B2 (en) Eyewear eye-tracking using optical waveguide
KR20220137117A (ko) 안경류를 위한 코스메틱 트림을 갖는 과신장 힌지
US11789294B2 (en) Eyewear frame as charging contact
US11880039B2 (en) Polarized reflective pinhole mirror display
US11852500B1 (en) Navigation assistance for the visually impaired
US11792371B2 (en) Projector with field lens
US20220373401A1 (en) Eyewear surface temperature evaluation