KR20240018607A - 동적 트랜스코드 스로틀링을 갖는 디바이스 - Google Patents

동적 트랜스코드 스로틀링을 갖는 디바이스 Download PDF

Info

Publication number
KR20240018607A
KR20240018607A KR1020247000515A KR20247000515A KR20240018607A KR 20240018607 A KR20240018607 A KR 20240018607A KR 1020247000515 A KR1020247000515 A KR 1020247000515A KR 20247000515 A KR20247000515 A KR 20247000515A KR 20240018607 A KR20240018607 A KR 20240018607A
Authority
KR
South Korea
Prior art keywords
frames
frame
video
video data
file format
Prior art date
Application number
KR1020247000515A
Other languages
English (en)
Inventor
애쉬와니 아리아
테자스 바훌카
조나 헵지바 오키케
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/373,559 external-priority patent/US11483569B1/en
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20240018607A publication Critical patent/KR20240018607A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/203—Cooling means for portable computers, e.g. for laptops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Optics & Photonics (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eyeglasses (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

아이웨어 디바이스들과 같은 전자 디바이스들에서 자원 관리 및 열 완화를 프로세싱하기 위한 동적 트랜스코드 스로틀링 방법들 및 디바이스들이 제공된다. 전자 디바이스는 자신의 온도를 모니터링하고, 온도에 대한 응답으로 상이한 레이트들로 동작하도록 트랜스코딩 서비스를 구성한다. 프레임 지연 모듈은 트랜스코딩 서비스 이전에 판독 프레임들 사이에 지연을 추가하도록 구성된다. 이는 열 완화를 제공하기 위해 온도들이 너무 높을 때 전자 디바이스가 더 적은 전력을 소비할 수 있게 하며, 전자 디바이스를 파워-다운하지 않고 수행될 수 있다.

Description

동적 트랜스코드 스로틀링을 갖는 디바이스
[0001] 본 출원은 2021년 7월 12일에 출원된 미국 출원 일련 번호 제17/373,559호 및 2021년 6월 9일에 출원된 미국 가출원 일련 번호 제63/208,937호에 대한 우선권을 주장하며, 이들 출원들 둘 모두의 내용들은 인용에 의해 본원에 완전히 통합된다.
[0002] 본 개시내용에 제시된 예들은 확장 현실(XR; 예컨대, 증강, 가상 및 혼합 현실) 분야 및 전자 디바이스들, 이를테면 모바일 디바이스들 및 아이웨어 디바이스들에 관한 것이다. 보다 구체적으로, 그러나 이에 제한되지는 않고, 본 개시내용은 전력 관리 및 열 완화를 프로세싱하기 위해 확장 현실 이미지들을 트랜스코딩할 때 동적 스로틀링을 설명한다.
[0003] 확장 현실 디바이스들은 사용자가 보기 위한 이미지들(예컨대, 오버레이들)을 생성하고 디스플레이들 상에 제시한다. 디바이스들은 나중에 보기 위한 이미지들을 기록하고 저장할 수 있다. 디바이스들은 전형적으로 비디오 파일 포맷(예컨대, MP4)으로 이미지들을 메모리에 저장한다. 디바이스들은 오리지널 비디오 파일 포맷(예컨대, MP4)을 하나 이상의 다른 비디오 파일 포맷들로 추가로 트랜스코딩할 수 있다. 하나 이상의 다른 비디오 파일 포맷들은 상이한 비디오 파일 포맷(예컨대, MOV, WMV, FLV, AVI 등)이거나, 또는 상이한 속성들을 갖는 동일한 비디오 파일 포맷(예컨대, 상이한 비트 레이트, 프레임 레이트, 해상도 또는 이들의 조합을 갖는 MP4)일 수 있다. 비디오 파일들을 트랜스코딩하면, 프로세싱 전력이 소비되고 열이 생성된다.
[0004] 개시된 다양한 구현들의 특징들은 첨부 도면들이 참조되는 이하의 상세한 설명으로부터 용이하게 이해될 것이다. 상세한 설명 및 도면의 여러 도면들 전반에 걸쳐 각각의 엘리먼트에 대해 참조 번호가 사용된다. 복수의 유사한 엘리먼트들이 존재할 때, 소문자를 추가하여 특정 엘리먼트들을 지칭하면서, 유사한 엘리먼트들에 단일 참조 부호가 할당될 수 있다.
[0005] 도면들에 도시된 다양한 엘리먼트들은 달리 표시하지 않는 한 실척대로 도시되지는 않는다. 다양한 엘리먼트들의 치수들은 명확성을 위해 확대되거나 또는 축소될 수 있다. 여러 도면들은 하나 이상의 구현들을 도시하며, 단지 예로서 제시되며 제한으로서 해석되지 않아야 한다. 도면들에는 이하의 도면들이 포함된다.
[0006] 도 1a는 전력 모드 구성 시스템에서 사용하기에 적합한 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(우측)이다.
[0007] 도 1b는 우측 가시광 카메라, 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스의 우측 코너의 사시적 부분 단면도이다.
[0008] 도 1c는 좌측 가시광 카메라를 도시하는, 도 1a의 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(좌측)이다.
[0009] 도 1d는 좌측 가시광 카메라, 및 회로 기판을 묘사하는 도 1c의 아이웨어 디바이스의 좌측 코너의 사시적 부분 단면도이다.
[0010] 도 2a 및 도 2b는 확장 현실 생성 시스템에서 활용되는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 배면도들이다.
[0011] 도 3은 3차원 장면, 좌측 가시광 카메라에 의해 캡처된 좌측 원시 이미지, 및 우측 가시광 카메라에 의해 캡처된 우측 원시 이미지의 도식적 묘사이다.
[0012] 도 4a는 다양한 네트워크들을 통해 전자 디바이스에 연결된 서버 시스템 및 확장 현실 생성 시스템을 구현하는 전자 디바이스(예컨대, 웨어러블 디바이스)를 포함하는 예시적인 전력 모드 구성 생성 시스템의 기능 블록도이다.
[0013] 도 4b는 트랜스코딩 서비스 프로세스 흐름을 예시하는 기능 블록도이다.
[0014] 도 5는 도 4a의 확장 현실 생성 시스템의 모바일 디바이스에 대한 예시적인 하드웨어 구성의 개략도이다.
[0015] 도 6은 확장 현실 생성 시스템에서 동시 로컬리제이션 및 매핑을 설명하는 데 사용하기 위한 예시적인 환경에서의 사용자의 개략적 예시이다.
[0016] 도 7은 복수의 센서들을 사용하여 환경 내에서 아이웨어 디바이스의 포지션을 결정하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0017] 도 8a 및 도 8b는 열 관리를 위한 웨어러블 전자 디바이스들의 동적 전력 구성의 예시적인 방법들의 단계들을 나열한 흐름도들이다.
[0018] 도 9a 및 도 9b는 각각 웨어러블 전자 디바이스에서 트랜스코딩 동작 레이트에 대한 칩 순 전력에 대한 시스템 및 트랜스코딩에 대한 칩 순 에너지에 대한 시스템을 도시하는 그래프들이다.
[0019] 아이웨어 디바이스와 같은 전자 디바이스에서 자원 관리 및 열 완화를 프로세싱하기 위한 동적 트랜스코드 스로틀링 방법들을 포함하는 예들을 참조로 다양한 구현들 및 세부 사항들이 설명된다. 전자 디바이스는 자신의 온도를 모니터링하고, 온도에 대한 응답으로 (예컨대, 과열을 방지하기 위해) 상이한 레이트들로 동작하도록 트랜스코딩 서비스를 구성한다. 프레임 지연 모듈은 트랜스코딩 서비스 이전에 판독 프레임들 사이에 지연을 추가하도록 구성된다. 이는 열 완화를 제공하기 위해 온도들이 너무 높을 때 전자 디바이스가 더 적은 전력을 소비할 수 있게 하며, 전자 디바이스를 파워-다운하지 않고 수행될 수 있다.
[0020] 이하의 상세한 설명은 본 개시내용에 제시된 예들을 예시하는 시스템들, 방법들, 기법들, 명령 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 개시된 청구대상 및 이의 관련 교시들의 완전한 이해를 제공하기 위한 다수의 세부사항들 및 예들이 포함된다. 그러나, 당업자는 이러한 세부사항들 없이 관련 교시들을 적용하는 방법을 이해할 수 있다. 개시된 청구대상의 양상들은 관련 교시들이 다양한 방식들로 적용되거나 실시될 수 있기 때문에 설명된 특정 디바이스들, 시스템들 및 방법으로 제한되지 않는다. 본원에서 사용되는 용어 및 명명법은 오직 특정 양상들을 설명하기 위한 목적이며, 제한으로 의도되지 않는다. 일반적으로, 잘 알려진 명령 인스턴스들, 프로토콜들, 구조들 및 기법들은 반드시 상세히 도시되지는 않는다.
[0021] 본원에서 사용되는 "커플링된” 또는 "연결된"이라는 용어들은 하나의 시스템 엘리먼트에 의해 생성되거나 공급되는 전기 또는 자기 신호들이 다른 커플링되거나 연결된 엘리먼트에 전달되게 하는 링크 등을 포함하여, 임의의 논리적, 광학적, 물리적 또는 전기적 연결부를 지칭할 수 있다. 달리 설명되지 않는 한, 커플링된 또는 연결된 엘리먼트들 또는 디바이스들은 반드시 서로 직접 연결되는 것은 아니며, 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있으며, 이들 중 하나 이상은 전기 신호들을 수정, 조작 또는 반송할 수 있다. "상에"라는 용어는 엘리먼트에 의해 직접 지지되는 것 또는 엘리먼트에 통합되거나 그에 의해 지지되는 다른 엘리먼트를 통해 엘리먼트에 의해 간접적으로 지지되는 것을 의미한다.
[0022] 도면들 중 임의의 도면에 도시된 바와 같은, 카메라 및/또는 관성 측정 유닛을 통합한 디바이스 및 연관된 컴포넌트들 및 임의의 다른 완성 디바이스들의 배향들은 예시 및 논의 목적들을 위해 단지 예로서 주어진다. 동작 시에, 아이웨어 디바이스는 아이웨어 디바이스의 특정한 애플리케이션에 적합한 임의의 다른 방향으로, 예컨대, 위, 아래, 옆으로, 또는 임의의 다른 배향으로 배향될 수 있다. 또한, 본원에 사용되는 범위까지, 앞, 뒤, 내향, 외향, 쪽으로, 좌측, 우측, 측방향, 종방향, 위, 아래, 상부, 하부, 최상부, 최하부, 측면, 수평, 수직 및 대각과 같은 임의의 방향성 용어는 단지 예시의 방식으로 사용되며, 달리 본원에 설명된 바와 같이 구성된 임의의 움직임 추적기 또는 움직임 추적기의 컴포넌트의 방향 또는 배향으로 제한되지 않는다.
[0023] 일례에서, 아이웨어 디바이스는 확장 현실 서비스들을 제공한다. 아이웨어 디바이스는 사용자의 머리 상에 착용되도록 구성된 프레임, 프레임에 의해 지지되는 카메라 시스템 ― 카메라 시스템은 제1 카메라 및 제2 카메라를 포함함 ―, 프레임에 의해 지지되는 디스플레이 시스템, 프레임에 의해 지지되는 온도 센서 ― 온도 센서는 아이웨어 디바이스의 온도를 검출하도록 구성됨 ―, 및 프레임에 의해 지지되는 전자 장치를 포함하며, 전자 장치는 카메라 시스템, 디스플레이 시스템 및 온도 센서에 커플링되며, 전자 장치는 적어도 2개의 전력 구성 모드들을 가지며, 프로세싱 시스템을 포함한다. 프로세싱 시스템은 아이웨어 디바이스의 애플리케이션 서비스들을 실행하며 ― 애플리케이션 서비스들 중 적어도 하나는 카메라 시스템 또는 디스플레이 시스템 중 적어도 하나를 사용하도록 구성됨 ―; 온도 센서의 온도를 모니터링하며; 모니터링된 온도를 임계 온도와 비교하며; 모니터링된 온도가 임계 온도에 도달하는 것에 대한 응답으로 적어도 2개의 전력 구성 모드들 중 제1 전력 구성 모드로부터 적어도 2개의 전력 구성 모드들 중 제2 전력 구성 모드로의 다음 변경을 적어도 하나의 애플리케이션 서비스에 통지하며; 그리고 적어도 하나의 애플리케이션 서비스에 통지한 이후에 전자 장치를 제1 전력 구성 모드로부터 제2 전력 구성 모드로 변경하도록 구성된다.
[0024] 다른 예에서, 확장 현실 서비스들을 제공하는 아이웨어 디바이스와 함께 사용하기 위한 방법은 아이웨어 디바이스의 전자 장치 상에서 애플리케이션 서비스들을 실행하는 단계 ― 적어도 하나의 애플리케이션 서비스는 카메라 시스템 또는 디스플레이 시스템 중 적어도 하나를 사용하도록 구성됨 ―; 아이웨어 디바이스의 온도를 모니터링하는 단계; 모니터링된 온도를 임계 온도와 비교하는 단계; 모니터링된 온도가 임계 온도에 도달하는 것에 대한 응답으로 전자 장치에 대한 적어도 2개의 전력 구성 모드들 중 제1 전력 구성 모드로부터 전자 장치에 대한 적어도 2개의 전력 구성 모드들 중 제2 전력 구성 모드로의 다음 변경을 적어도 하나의 애플리케이션 서비스에 통지하는 단계; 및 애플리케이션 서비스들에 통지한 이후에 제1 전력 구성 모드로부터 제2 전력 구성 모드로 전자 장치를 변경하는 단계를 포함한다.
[0025] 다른 예에서, 비-일시적 컴퓨터 판독 가능 매체는 확장 현실 서비스들을 제공하는 아이웨어 디바이스를 구성하기 위한 명령들을 포함한다. 명령은, 아이웨어 디바이스의 프로세싱 시스템에 의해 실행될 때, 아이웨어 디바이스의 전자 장치 상에서 애플리케이션 서비스들을 실행하는 기능 ― 적어도 하나의 애플리케이션 서비스는 카메라 시스템 또는 디스플레이 시스템 중 적어도 하나를 사용하도록 구성됨 ―; 아이웨어 디바이스의 온도를 모니터링하는 기능; 모니터링된 온도를 임계 온도와 비교하는 기능; 모니터링된 온도가 임계 온도에 도달하는 것에 대한 응답으로 전자 장치에 대한 적어도 2개의 전력 구성 모드들 중 제1 전력 구성 모드로부터 전자 장치에 대한 적어도 2개의 전력 구성 모드들 중 제2 전력 구성 모드로의 다음 변경을 적어도 하나의 애플리케이션 서비스에 통지하는 기능; 및 애플리케이션 서비스들에 통지한 이후에 제1 전력 구성 모드로부터 제2 전력 구성 모드로 전자 장치를 변경하는 기능을 수행하도록, 프로세싱 시스템을 구성한다.
[0026] 예들의 추가적인 목적들, 이점들 및 신규 특징들은 하기 설명에서 부분적으로 제시될 것이고, 부분적으로, 이하의 그리고 첨부된 도면들의 검토 시에 당업자들에게 자명해질 것이거나 예들의 생산 또는 동작에 의해 학습될 수 있다. 본 발명의 청구대상의 목적들 및 장점들은 특히 첨부된 청구항들에서 적시된 방법론들, 기구들 및 조합들에 의해 실현 및 달성될 수 있다.
[0027] 이제, 첨부 도면들에서 예시되고 아래에서 논의되는 예들이 상세히 참조된다.
[0028] 도 1a는 터치-감지 입력 디바이스 또는 터치패드(181)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도(우측)이다. 도시된 바와 같이, 터치패드(181)는 이해하기 어려우며 용이하게 쉽게 보여지지 않는 경계를 가질 수 있으며; 대안적으로, 경계는 명백하게 보일 수 있거나, 또는 터치패드(181)의 로케이션 및 경계에 대한 피드백을 사용자에게 제공하는 상승된 또는 그렇지 않으면 촉각적인 에지를 포함할 수 있다. 다른 구현들에서, 아이웨어 디바이스(100)는 좌측에 터치패드를 포함할 수 있다.
[0029] 터치패드(181)의 표면은, 사용자가 메뉴 옵션들을 내비게이팅하여 직관적인 방식으로 메뉴 옵션들을 선택할 수 있게 하도록, 이미지 디스플레이 상에서 아이웨어 디바이스에 디스플레이되는 GUI와 함께 사용하기 위한 손가락 터치들, 탭들 및 제스처들 (예컨대, 이동 터치들)을 검출하도록 구성되며, 이는 사용자 경험을 향상시키고 단순화시킨다.
[0030] 터치패드(181) 상의 손가락 입력들의 검출은 여러 기능들을 가능하게 할 수 있다. 예컨대, 터치패드(181)의 임의의 위치를 터치하면, GUI가 이미지 디스플레이 상에 아이템을 디스플레이하거나 또는 강조할 수 있으며, 이는 광학 어셈블리들(180A, 180B) 중 적어도 하나에 투사될 수 있다. 터치패드(181) 상의 더블 태핑은 아이템 또는 아이콘을 선택할 수 있다. 특정 방향으로 (예컨대, 앞에서 뒤로, 뒤에서 앞으로, 위에서 아래로 또는 아래에서 위로) 손가락을 슬라이딩하거나 또는 스와이핑하면, 아이템들 또는 아이콘들이 특정 방향으로 슬라이딩되거나 또는 스크롤링되게 하며; 예컨대, 다음 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동되게 할 수 있다. 손가락을 다른 방향으로 슬라이딩하면, 반대 방향으로 슬라이딩 또는 스크롤링할 수 있으며; 예컨대 이전 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동할 수 있다. 터치패드(181)는 아이웨어 디바이스(100)의 사실상 임의의 위치일 수 있다.
[0031] 일례에서, 터치패드(181) 상의 단일 탭의 식별된 손가락 제스처는 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 엘리먼트의 선택 또는 누름을 개시한다. 식별된 손가락 제스처에 기반하여 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에 대한 조절은 추가적 디스플레이 또는 실행을 위해 광학 조립체(180A, 180B)의 이미지 디스플레이 상의 그래픽 사용자 인터페이스 엘리먼트를 선택하거나 또는 제출하는 1차 액션일 수 있다.
[0032] 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 본원에서 추가로 설명되는 바와 같이, 2개의 카메라들(114A, 114B)은 2개의 별개의 뷰포인트들로부터 스크린에 대한 이미지 정보를 캡처한다. 2개의 캡처된 이미지는 3D 안경으로 보기 위해 3차원 디스플레이를 이미지 디스플레이에 투사하는 데 사용될 수 있다.
[0033] 아이웨어 디바이스(100)는 깊이 이미지들과 같은 이미지들을 제시하기 위한 이미지 디스플레이를 갖는 우측 광학 조립체(180B)를 포함한다. 도 1a 및 도 1b에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 아이웨어 디바이스(100)는 스테레오 카메라와 같은 수동 타입의 3차원 카메라를 형성하는 다수의 가시광 카메라들(114A, 114B)을 포함할 수 있고, 이들 중 우측 가시광 카메라(114B)는 우측 코너(110B) 상에 로케이팅된다. 도 1c 및 도 1d에 도시된 바와 같이, 아이웨어 디바이스(100)는 또한 좌측 가시광 카메라(114A)를 포함한다.
[0034] 좌측 및 우측 가시광 카메라들(114A, 114B)은 가시광 범위 파장에 민감하다. 가시광 카메라들(114A, 114B)의 각각은 3차원 깊이 이미지들의 생성을 가능하게 하기 위해 중첩하는 상이한 전방을 향하는 시야를 갖는데, 예컨대, 우측 가시광 카메라(114B)는 우측 시야(111B)를 도시한다. 일반적으로, "시야"는, 공간 내의 특정 위치 및 배향에서 카메라를 통해 가시적인 장면의 일부이다. 시야들(111A 및 111B)은 중첩하는 시야(304)(도 3)를 갖는다. 가시광 카메라가 이미지를 캡처할 때 시야(111A, 111B) 외측의 객체들 또는 객체 피처들은 원시 이미지(예컨대, 포토그래프 또는 사진)에 기록되지 않는다. 시야는 가시광 카메라(114A, 114B)의 이미지 센서가 주어진 장면의 캡처된 이미지 내의 주어진 장면의 전자기 방사를 픽업하는 각도 범위 또는 정도를 설명한다. 시야는 뷰 콘(view cone)의 각도 크기, 즉 시야각으로 표현될 수 있다. 시야각은 수평으로, 수직으로 또는 대각으로 측정될 수 있다.
[0035] 일례에서, 가시광 카메라들(114A, 114B)은 40°내지 110°, 예컨대 대략 100°의 시야각을 갖는 시야를 갖고, 480 x 480 픽셀들 이상의 해상도를 갖는다. "커버리지 각도"는 가시광 카메라들(114A, 114B) 또는 적외선 카메라(410)(도 2a 참조)의 렌즈가 효과적으로 이미징할 수 있는 각도 범위를 설명한다. 통상적으로, 카메라 렌즈는 가능하게는 일부 비네팅(vignetting)(예컨대, 중심과 비교하여 에지들 쪽의 이미지의 다크닝)을 포함하여, 필름 또는 카메라의 센서를 완전히 커버할 만큼 충분히 큰 이미지 원을 생성한다. 카메라 렌즈의 커버리지 각도가 센서를 채우지 않는 경우, 이미지 서클은 가시적일 것이고, 통상적으로 에지를 향하는 강한 비네팅을 가지며, 뷰의 유효 각도는 커버리지 각도로 제한될 것이다.
[0036] 이러한 가시광 카메라들(114A, 114B)의 예들은 640p(예컨대, 총 0.3 메가픽셀의 경우 640 x 480 픽셀들), 720p, 또는 1080p의 해상도들을 가능하게 하는 고해상도 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 디지털 VGA 카메라(비디오 그래픽 어레이)를 포함한다. 카메라들(114A, 114B)은 센서 어레이의 라인들이 순차적으로 노출되는 롤링 셔터 카메라들 또는 센서 어레이의 모든 라인들이 동시에 개시되는 글로벌 셔터 카메라들일 수 있다. 가시광 카메라들(114A, 114B)의 다른 예들이 사용될 수 있으며, 이들은 예컨대 HD(high-definition) 정지 이미지들을 캡처하고 이들을 1642 x 1642개의 픽셀들(또는 그 초과)의 해상도로 저장할 수 있거나; 또는 높은 프레임 레이트(예컨대, 초당 30 내지 60개의 프레임들 또는 그 초과)로 HD(high-definition) 비디오를 기록하고 기록을 1216 x 1216개의 픽셀들(또는 그 초과)의 해상도로 저장할 수 있다.
[0037] 아이웨어 디바이스(100)는 메모리에의 저장을 위해 이미지 프로세서에 의해 디지털화되는, 가시광 카메라들(114A, 114B)로부터의 이미지 센서 데이터를 지오로케이션 데이터와 함께 캡처할 수 있다. 가시광 카메라들(114A, 114B)은 수평 포지션에 대한 X-축 및 수직 포지션에 대한 Y-축을 포함하는 2차원 좌표 시스템 상의 픽셀들의 매트릭스를 포함하는 2차원 공간 도메인에서 개개의 좌측 및 우측 원시 이미지들을 캡처한다. 각각의 픽셀은 컬러 속성 값(예컨대, 적색 픽셀 광 값, 녹색 픽셀 광 값, 또는 청색 픽셀 광 값); 및 포지션 속성(예컨대, X-축 좌표 및 Y-축 좌표)을 포함한다.
[0038] 3차원 투사로서 추후 디스플레이하기 위한 스테레오 이미지들을 캡처하기 위해, 이미지 프로세서(412)(도 4a에 도시됨)는 가시광 카메라들(114A, 114B)에 커플링되어 시각 이미지 정보를 수신하고 저장할 수 있다. 이미지 프로세서(412) 또는 다른 프로세서는 가시광 카메라들(114A, 114B)의 동작을 제어하여, 인간의 양안 비전을 시뮬레이팅하는 스테레오 카메라의 역할을 하고, 각각의 이미지에 타임스탬프를 추가할 수 있다. 이미지들의 각각의 쌍 상의 타임스탬프는 3차원 투사의 부분으로서 이미지들의 동시 디스플레이를 허용한다. 3차원 투사들은 다양한 확장 현실 맥락들에서 바람직한 몰입형의 실감나는 경험을 생성한다.
[0039] 도 1b는 카메라 시스템의 우측 가시광 카메라(114B) 및 회로 보드(140B)를 도시하는 도 1a의 아이웨어 디바이스(100)의 우측 코너(110B)의 사시 단면도이다. 도 1c는 카메라 시스템의 좌측 가시광 카메라(114A)를 도시하는, 도 1a의 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도(좌측)이다. 도 1d는 3차원 카메라의 좌측 가시광 카메라(114A) 및 회로 보드(140A)를 도시하는, 도 1c의 아이웨어 디바이스의 좌측 코너(110A)의 사시 단면도이다. 좌측 가시광 카메라(114A)의 구성 및 배치는 연결부들 및 커플링이 좌측 측방향 측면(170A)에 있다는 점을 제외하면 우측 가시광 카메라(114B)와 실질적으로 유사하다.
[0040] 도 1b의 예에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B) 및 가요성 PCB(printed circuit board)일 수 있는 회로 보드(140B)를 포함한다. 우측 힌지(126B)는 아이웨어 디바이스(100)의 우측 템플(125B)에 우측 코너(110B)를 연결한다. 일부 예들에서, 우측 가시광 카메라(114B), 가요성 PCB(140B), 또는 다른 전기 커넥터들 또는 콘택들의 컴포넌트들은 우측 템플(125B) 또는 우측 힌지(126B) 상에 로케이팅될 수 있다.
[0041] 우측 코너(110B)는 코너 본체(190) 및 코너 캡을 포함하고, 코너 캡은 도 1b의 단면에서 생략될 수 있다. 우측 코너(110B) 내부에는 우측 가시광 카메라(114B)에 대한 제어기 회로들, 마이크로폰(들), (예컨대, Bluetooth™를 통한 무선 근거리 네트워크 통신을 위한) 저전력 무선 회로, (예컨대, Wi-Fi 통한 무선 로컬 영역 네트워크 통신을 위한) 고속 무선 회로를 포함하는 다양한 상호연결 회로 보드들, 예컨대, PCB들 또는 가요성 PCB들이 배치된다.
[0042] 우측 가시광 카메라(114B)는 가요성 PCB(140B)에 커플링되거나 배치되고, 프레임(105)에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 커버된다. 예컨대, 도 2a에 도시된 프레임(105)의 우측 림(107B)은 우측 코너(110B)에 연결되고 가시광 카메라 커버 렌즈를 위한 개구(들)를 포함한다. 프레임(105)은 사용자의 눈으로부터 멀리 바깥 쪽을 향하도록 구성된 전방 측면을 포함한다. 가시광 카메라 커버 렌즈를 위한 개구는 프레임(105)의 전방 또는 외향 측면 상에 그리고 이를 통해 형성된다. 예에서, 우측 가시광 카메라(114B)는 아이웨어 디바이스(100)의 사용자의 우측 눈과 상관되는 시선 또는 시각을 갖는 (도 3에 도시된) 외향 시야(111B)를 갖는다. 가시광 카메라 커버 렌즈는 또한 우측 코너(110B)의 전방 측면 또는 외향 표면에 부착될 수 있고, 여기서 커버리지의 외향 각도를 갖지만 상이한 외측 방향을 향하는 개구가 형성된다. 커플링은 또한 개재 컴포넌트들을 통해 간접적일 수 있다.
[0043] 도 1b에 도시된 바와 같이, 가요성 PCB(140B)는 우측 코너(110B) 내부에 배치되고, 우측 코너(110B)에 하우징된 하나 이상의 다른 컴포넌트들에 커플링된다. 우측 코너(110B)의 회로 보드들 상에 형성된 것으로 도시되었지만, 우측 가시광 카메라(114B)는 좌측 코너(110A), 템플들(125A, 125B) 또는 프레임(105)의 회로 보드들 상에 형성될 수 있다.
[0044] 도 1d의 예에 도시된 바와 같이, 아이웨어 디바이스(100)는 좌측 가시광 카메라(114A) 및 가요성 PCB(printed circuit board)일 수 있는 회로 보드(140A)를 포함한다. 좌측 힌지(126A)는 아이웨어 디바이스(100)의 좌측 템플(125A)에 좌측 코너(110A)를 연결한다. 일부 예들에서, 좌측 가시광 카메라(114A), 가요성 PCB(140A), 또는 다른 전기 커넥터들 또는 콘택들의 컴포넌트들은 좌측 템플(125A) 또는 좌측 힌지(126A) 상에 로케이팅될 수 있다.
[0045] 좌측 코너(110A)는 코너 본체(190) 및 코너 캡을 포함하고, 코너 캡은 도 1d의 단면에서 생략된다. 좌측 코너(110A) 내부에는 좌측 가시광 카메라(114A)에 대한 제어기 회로들, 마이크로폰(들), (예컨대, Bluetooth™를 통한 무선 근거리 네트워크 통신을 위한) 저전력 무선 회로, (예컨대, Wi-Fi 통한 무선 로컬 영역 네트워크 통신을 위한) 고속 무선 회로를 포함하는 다양한 상호연결 회로 보드들, 이를테면, PCB들 또는 가요성 PCB들이 배치된다.
[0046] 좌측 가시광 카메라(114A)는 가요성 PCB(140A)에 커플링되거나 배치되고, 프레임(105)에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 커버된다. 예컨대, 도 2a에 도시된 프레임(105)의 좌측 림(107A)은 좌측 코너(110A)에 연결되고 가시광 카메라 커버 렌즈를 위한 개구(들)를 포함한다. 프레임(105)은 사용자의 눈으로부터 멀리 바깥 쪽을 향하도록 구성된 전방 측면을 포함한다. 가시광 카메라 커버 렌즈를 위한 개구는 프레임(105)의 전방 또는 외향 측면 상에 그리고 이를 통해 형성된다. 예에서, 좌측 가시광 카메라(114A)는 아이웨어 디바이스(100)의 사용자의 좌측 눈과 상관되는 시선 또는 시각을 갖는 (도 3에 도시된) 외향 시야(111A)를 갖는다. 가시광 카메라 커버 렌즈는 또한 좌측 코너(110A)의 전방 측면 또는 외향 표면에 부착될 수 있고, 여기서 개구는 커버리지의 외향 각도를 갖지만 상이한 외측 방향으로 형성된다. 커플링은 또한 개재 컴포넌트들을 통해 간접적일 수 있다.
[0047] 도 1d에 도시된 바와 같이, 가요성 PCB(140A)는 좌측 코너(110A) 내부에 배치되고, 좌측 코너(110A)에 하우징된 하나 이상의 다른 컴포넌트들에 커플링된다. 좌측 코너(110A)의 회로 보드들 상에 형성된 것으로 도시되었지만, 좌측 가시광 카메라(114A)는 우측 코너(110B), 템플들(125A, 125B) 또는 프레임(105)의 회로 보드들 상에 형성될 수 있다.
[0048] 도 2a 및 도 2b는 2개의 상이한 타입들의 이미지 디스플레이들을 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성들을 뒤에서 본 사시도들이다. 아이웨어 디바이스(100)는 사용자가 착용하도록 구성된 형태의 크기를 갖고 이러한 형태로 형상화되며; 안경의 형태가 본 예에 도시된다. 아이웨어 디바이스(100)는 다른 형태들을 취할 수 있고, 다른 타입들의 프레임워크들, 예컨대 헤드기어, 헤드셋 또는 헬멧을 포함할 수 있다.
[0049] 안경 예에서, 아이웨어 디바이스(100)는 사용자의 코에 의해 지지되도록 적응된 브리지(bridge)(106)를 통해 우측 림(107B)에 연결된 좌측 림(107A)을 포함하는 프레임(105)을 포함한다. 좌측 및 우측 림들(107A, 107B)은 렌즈 및 디스플레이 디바이스와 같은 개개의 광학 엘리먼트(180A, 180B)를 홀딩하는 개개의 애퍼처들(175A, 175B)을 포함한다. 본원에서 사용되는 바와 같이, 렌즈라는 용어는 광이 수렴/발산하게 하는 또는 수렴 또는 발산이 거의 또는 전혀 없게 하는 만곡된 또는 평탄한 표면들을 갖는 유리 또는 플라스틱의 투명한 또는 반투명한 피스들을 포함하는 것을 의미한다.
[0050] 2개의 광학 엘리먼트들(180A, 180B)을 갖는 것으로 도시되었지만, 아이웨어 디바이스(100)는 아이웨어 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 단일 광학 엘리먼트와 같은 다른 배열들을 포함할 수 있다 (또는 임의의 광학 엘리먼트(180A, 180B)를 포함하지 않을 수 있다). 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 코너(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 코너(110B)를 포함한다. 코너들(110A, 110B)은 (예시된 바와 같이) 개개의 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나, 또는 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 코너들(110A, 110B)은 프레임(105)에 부착된 템플들(미도시)에 통합될 수 있다.
[0051] 일례에서, 광학 조립체(180A, 180B)의 이미지 디스플레이는 통합 이미지 디스플레이를 포함한다. 도 2a에 도시된 바와 같이, 각각의 광학 조립체(180A, 180B)는 LCD(liquid crystal display), OLED(organic light-emitting diode) 디스플레이 또는 임의의 다른 그러한 디스플레이와 같은 적합한 디스플레이 매트릭스(177)를 포함한다. 각각의 광학 조립체(180A, 180B)는 또한 렌즈들, 광학 코팅들, 프리즘들, 거울들, 도파관들, 광학 스트립들, 및 다른 광학 컴포넌트들을 임의의 조합으로 포함할 수 있는 광학 레이어 또는 레이어들(176)을 포함한다. (도 2a 및 본원에서 176A-N으로서 도시된) 광학 레이어들(176A, 176B, … 176N)은 적합한 크기 및 구성을 갖고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈에 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 레이어들(176A-N)의 프리즘은 좌측 및 우측 림들(107A, 107B)에 형성된 개개의 애퍼처들(175A, 175B)의 전부 또는 적어도 일부분에 걸쳐 연장되어, 사용자의 눈이 대응하는 좌측 및 우측 림들(107A, 107B)을 보고 있을 때 사용자가 프리즘의 제2 표면을 보도록 허용한다. 광학 레이어(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 위를 향하고, 디스플레이 매트릭스(177)는 디스플레이 매트릭스(177)에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학 레이어들(176A-N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록 하는 크기를 가지고 형상화된다. 이와 관련하여, 광학 레이어들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향해 광을 지향하도록 볼록할 수 있다. 프리즘은 선택적으로 디스플레이 매트릭스(177)에 의해 투사된 이미지를 확대하도록 크기설정 및 형상화될 수 있고, 광은 프리즘을 통해 이동하여 제2 표면으로부터 보이는 이미지는 디스플레이 매트릭스(177)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크다.
[0052] 일례에서, 광학 레이어들(176A-N)은 레이어를 불투명하게 만드는(렌즈를 닫거나 차단하는) 전압이 인가되지 않는 한 그리고 전압이 인가될 때까지 투명한 (렌즈를 개방된 상태로 유지하는) LCD 레이어를 포함할 수 있다. 아이웨어 디바이스(100) 상의 이미지 프로세서(412)는 능동 셔터 시스템을 생성하기 위해 LCD 레이어에 전압을 인가하는 프로그래밍을 실행할 수 있고, 이는 아이웨어 디바이스(100)가 3차원 투사로서 디스플레이될 때 시각적 콘텐츠를 보기에 적합하도록 만든다. 전압 또는 다른 타입의 입력에 응답하는 다른 타입들의 응답 레이어들을 포함하여, LCD와 다른 기술들이 능동 셔터 모드 동안 사용될 수 있다.
[0053] 다른 예에서, 광학 조립체(180A, 180B)의 이미지 디스플레이 디바이스는 도 2b에 도시된 바와 같이 투사 이미지 디스플레이를 포함한다. 각각의 광학 조립체(180A, 180B)는 스캐닝 미러 또는 검류계를 사용하는 3-색 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 동안, 레이저 프로젝터(150)와 같은 광원은 아이웨어 디바이스(100)의 템플들(125A, 125B) 중 하나에 또는 그 위에 배치된다. 이러한 예에서 광학 조립체(180B)는 각각의 광학 조립체(180A, 180B)의 렌즈의 폭에서 떨어져서 이를 가로질러 또는 렌즈의 전방 표면 및 후방 표면 사이의 렌즈의 깊이를 가로질러 이격되는 하나 이상의 광학 스트립들(155A, 155B, … 155N)(도 2b에서 155A-N로서 도시됨)을 포함한다.
[0054] 레이저 프로젝터(150)에 의해 투사된 광자들이 각각의 광학 조립체(180A, 180B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A-N)과 만난다. 특정 광자가 특정 광학 스트립을 만날 때, 그 광자는 사용자의 눈을 향해 재지향되거나 다음 광학 스트립으로 전달된다. 레이저 프로젝터(150)의 변조 및 광학 스트립들의 변조의 조합은 특정 광자들 또는 광 빔들을 제어할 수 있다. 일례에서, 프로세서는 기계적, 음향적 또는 전자기 신호들을 개시함으로써 광학 스트립들(155A-N)을 제어한다. 2개의 광학 조립체들(180A, 180B)을 갖는 것으로 도시되었지만, 아이웨어 디바이스(100)는 단일의 또는 3개의 광학 조립체들과 같은 다른 배열들을 포함할 수 있거나, 또는 각각의 광학 조립체(180A, 180B)는 아이웨어 디바이스(100)의 의도된 사용자 또는 애플리케이션에 따라 배열된 상이한 배열을 가질 수 있다.
[0055] 도 2a 및 도 2b에 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 코너(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 코너(110B)를 포함한다. 코너들(110A, 110B)은 (예시된 바와 같이) 개개의 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나, 또는 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 코너들(110A, 110B)은 프레임(105)에 부착된 템플들(125A, 125B)에 통합될 수 있다.
[0056] 다른 예에서, 도 2b에 도시된 아이웨어 디바이스(100)는 2개의 프로젝터들, 즉 좌측 프로젝터(미도시) 및 우측 프로젝터(150)를 포함할 수 있다. 좌측 광학 조립체(180A)는 좌측 디스플레이 매트릭스(미도시), 또는 좌측 프로젝터로부터의 광과 상호작용하도록 구성된 좌측 세트의 광학 스트립들(미도시)을 포함할 수 있다. 유사하게, 우측 광학 조립체(180B)는 우측 디스플레이 매트릭스(미도시), 또는 우측 프로젝터(150)로부터의 광과 상호작용하도록 구성된 우측 세트의 광학 스트립들(155A, 155B, … 155N)을 포함할 수 있다. 이러한 예에서, 아이웨어 디바이스(100)는 좌측 디스플레이 및 우측 디스플레이를 포함한다.
[0057] 도 3은 3차원 장면(306), 좌측 가시광 카메라(114A)에 의해 캡처된 좌측 원시 이미지(302A) 및 우측 가시광 카메라(114B)에 의해 캡처된 우측 원시 이미지(302B)의 개략도이다. 좌측 시야(111A)는 도시된 바와 같이 우측 시야(111B)와 중첩할 수 있다. 중첩 시야(304)는 양 카메라들(114A, 114B)에 의해 캡처된 이미지의 해당 부분을 나타낸다. 시야를 지칭할 때 "중첩"이라는 용어는 생성된 원시 이미지들의 픽셀들의 매트릭스가 30 퍼센트(30%) 이상 중첩하는 것을 의미한다. '상당히 중첩하는 것'은 생성된 원시 이미지들 (또는 장면의 적외선 이미지)의 픽셀들의 매트릭스가 50 퍼센트 (50%) 이상 중첩하는 것을 의미한다. 본원에서 설명되는 바와 같이, 2개의 원시 이미지들(302A, 302B)은 타임스탬프를 포함하도록 프로세싱될 수 있으며, 이는 이미지들이 3차원 투사의 부분으로서 함께 디스플레이될 수 있게 한다.
[0058] 스테레오 이미지의 캡처를 위해, 도 3에 예시된 바와같이, 원시 적색, 녹색 및 청색(RGB) 이미지들의 쌍, 즉 좌측 카메라(114A)에 의해 캡처된 좌측 원시 이미지(302A) 및 우측 카메라(114B)에 의해 캡처된 우측 원시 이미지(302B)가 주어진 순간에 실제 장면(306)으로부터 캡처된다. 원시 이미지들(302A, 302B)의 쌍이 (예컨대, 이미지 프로세서(412); 도 4a)에 의해 프로세싱될 때, 깊이 이미지들이 생성된다. 생성된 깊이 이미지들은 아이웨어 디바이스의 광학 어셈블리(180A, 180B) 상에서, 다른 디스플레이(예컨대, 모바일 디바이스(401) 상의 이미지 디스플레이(580); 도 5) 상에서 또는 스크린 상에서 보여질 수 있다.
[0059] 생성된 깊이 이미지들은 3차원 공간 도메인에 있고, 수평 포지션(예컨대, 길이)에 대한 X 축, 수직 포지션(예컨대, 높이)에 대한 Y 축, 및 깊이(예컨대, 거리)에 대한 Z 축을 포함하는 3차원 로케이션 좌표 시스템 상에 정점들의 매트릭스를 포함할 수 있다. 각각의 정점은 컬러 속성(예컨대, 적색 픽셀 광 값, 녹색 픽셀 광 값, 및/또는 청색 픽셀 광 값); 포지션 속성(예컨대, X 로케이션 좌표 및 Y 로케이션 좌표, 및 Z 로케이션 좌표); 텍스처 속성; 반사 속성; 또는 이들의 조합을 포함할 수 있다. 텍스처 속성은 깊이 이미지의 정점들의 영역에서 컬러의 공간적 배열 또는 세기들과 같은 깊이 이미지의 인지된 텍스처를 정량화한다.
[0060] 일례에서, 인터랙티브 확장 현실 시스템(400)(도 4a)은 아이웨어 디바이스(100)를 포함하며, 아이웨어 디바이스(100)는 프레임(105) 및 프레임(105)의 좌측 측방향 측면(170A)으로부터 연장되는 좌측 템플(110A) 및 프레임(105)의 우측 측방향 측면(170B)으로부터 연장되는 우측 템플(125B)을 포함한다. 아이웨어 디바이스(100)는 중첩 시야를 갖는 적어도 2개의 가시광 카메라들(114A, 114B)을 더 포함할 수 있다. 일례에서, 아이웨어 디바이스(100)는 도 3에 도시된 바와 같이 좌측 시야(111A)를 갖는 좌측 가시광 카메라(114A)를 포함한다. 좌측 카메라(114A)는 프레임(105) 또는 좌측 템플(110A)에 연결되어 장면(306)의 좌측으로부터 좌측 원시 이미지(302A)를 캡처한다. 아이웨어 디바이스(100)는 우측 시야(111B)를 갖는 우측 가시광 카메라(114B)를 더 포함한다. 우측 카메라(114B)는 프레임(105) 또는 우측 템플(125B)에 연결되어 장면(306)의 우측으로부터 우측 원시 이미지(302B)를 캡처한다.
[0061] 도 4a는 인터넷과 같은 다양한 네트워크들(495)을 통해 연결된 웨어러블 디바이스(예컨대, 아이웨어 디바이스(100)), 모바일 디바이스(401) 및 서버 시스템(498)을 포함하는 동적 전력 구성을 갖는 예시적인 인터랙티브 확장 현실 시스템(400)의 기능 블록도이다. 인터랙티브 확장 현실 시스템(400)은 아이웨어 디바이스(100)와 모바일 디바이스(401) 사이의 저-전력 무선 연결(425) 및 고속 무선 연결(437)을 포함한다.
[0062] 도 4a에 도시된 바와 같이, 아이웨어 디바이스(100)는 하나 이상의 가시광 카메라(114A, 114B) 및 이미지 프로세서(412)를 갖는 카메라 시스템(402)을 포함한다. 본원에서 설명된 바와같이, 하나 이상의 가시광 카메라들(114A, 114B)은 정지 이미지들, 비디오 이미지들 또는 정지 이미지들과 비디오 이미지들 둘 모두를 캡처한다. 카메라들(114A, 114B)은 고속 회로(430)에 대한 직접 메모리 액세스(DMA)를 가질 수 있고, 스테레오 카메라로서 기능할 수 있다. 카메라들(114A, 114B)은 적색, 녹색 및 청색 (RGB) 이미지 장면의 텍스처 매핑 이미지들인 3차원(3D) 모델들로 렌더링될 수 있는 초기-깊이 이미지들을 캡처하는 데 사용될 수 있다. 디바이스(100)는 또한 디바이스(100)에 대한 객체들의 포지션을 추정하기 위해 적외선 신호들을 사용하는 깊이 센서(213)를 포함할 수 있다. 일부 예들에서 깊이 센서(213)는 하나 이상의 적외선 방출기(들)(215) 및 적외선 카메라(들)(410)를 포함한다.
[0063] 아이웨어 디바이스(100)는 각각의 광학 조립체(180A, 180B) (하나는 좌측 측면(170A)과 연관되고 하나는 우측 측면(170B)과 연관됨)의 2개의 이미지 디스플레이들 및 이미지 디스플레이 드라이버(442)를 갖는 디스플레이 시스템(404)을 더 포함한다. 아이웨어 디바이스(100)는 또한 전자 장치(406), 예컨대 저전력 회로(420) 및 고속 회로(430)를 포함한다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 정지 이미지들, 비디오 이미지들 또는 정지 및 비디오 이미지들을 포함하는 이미지들을 제시하기 위한 것이다. 이미지 디스플레이 드라이버(442)는 이미지들의 디스플레이를 제어하기 위해 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들에 커플링된다.
[0064] 아이웨어 디바이스(100)는 하나 이상의 스피커들(440)(예컨대, 하나는 아이웨어 디바이스의 좌측 측면과 연관되며 다른 것은 아이웨어 디바이스의 우측 측면과 연관됨) 및 온도 센서(408)를 추가로 포함한다. 일례에서, 온도 센서(408)는 전자 장치(406)에 인접하여 아이웨어 디바이스(100) 내에 포지셔닝된 하나 이상의 서미스터들을 포함한다. 온도 센서는 단일 서미스터로부터의 단일 온도 또는 다수의 서미스터들로부터 총 온도들을 획득할 수 있다. 스피커들(440)은 아이웨어 디바이스(100)의 프레임(105), 템플들(125) 또는 코너들(110)에 통합될 수 있다. 하나 이상의 스피커들(440)은 저전력 회로(420), 고속 회로(430) 또는 이들 둘 모두의 제어 하에 오디오 프로세서(443)에 의해 구동된다. 스피커들(440)은 예컨대 비트 트랙을 포함하는 오디오 신호들을 제공하기 위한 것이다. 오디오 프로세서(443)는 사운드의 프리젠테이션을 제어하기 위해 스피커들(440)에 커플링된다.
[0065] 아이웨어 디바이스(100)에 대해 도 4a에 도시된 컴포넌트들은 림들 또는 템플들에 로케이팅된, 하나 이상의 회로 보드들, 예컨대, PCB(printed circuit board) 또는 PCB(flexible printed circuit) 상에 로케이팅된다. 대안적으로 또는 추가적으로, 도시된 컴포넌트들은 아이웨어 디바이스(100)의 코너들, 프레임들, 힌지들 또는 브리지에 로케이팅될 수 있다. 좌측 및 우측 가시광 카메라들(114A, 114B)은 디지털 카메라 엘리먼트들, 이를테면 CMOS(complementary metal-oxide-semiconductor) 이미지 센서, 전하-결합 디바이스, 렌즈, 또는 미지의 객체들을 갖는 장면들의 정지 이미지들 또는 비디오를 포함하여 데이터를 캡처하기 위해 사용될 수 있는 임의의 다른 개개의 가시적 또는 광 캡처 엘리먼트들을 포함할 수 있다.
[0066] 도 4a에 도시된 바와 같이, 고속 회로(430)는 고속 프로세서(432), 메모리(434) 및 고속 무선 회로(436)를 포함한다. 예에서, 이미지 디스플레이 드라이버(442)는 고속 회로(430)에 커플링되고, 각각의 광학 조립체(180A, 180B)의 좌측 및 우측 이미지 디스플레이들을 구동하기 위해 고속 프로세서(432)에 의해 동작된다. 고속 프로세서(432)는 아이웨어 디바이스(100)에 필요한 임의의 일반적인 컴퓨팅 시스템의 동작 및 고속 통신들을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(432)는 고속 무선 회로(436)를 사용하여 WLAN(wireless local area network)으로의 고속 무선 연결부(437) 상에서 고속 데이터 전송들을 관리하는 데 필요한 프로세싱 자원들을 포함한다.
[0067] 일부 예들에서, 고속 프로세서(432)는 오퍼레이팅 시스템, 이를테면 LINUX 오퍼레이팅 시스템, 또는 아이웨어 디바이스(100)의 다른 그러한 오퍼레이팅 시스템을 실행하고, 오퍼레이팅 시스템은 실행을 위해 메모리(434)에 저장된다. 임의의 다른 책임들에 부가하여, 고속 프로세서(432)는 고속 무선 회로(436)로 데이터 전달들을 관리하는데 사용되는 아이웨어 디바이스(100)를 위한 소프트웨어 아키텍처를 실행한다. 일부 예들에서, 고속 무선 회로(436)는 본원에서 또한 Wi-Fi로 지칭되는 IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들은 고속 무선 회로(436)에 의해 구현될 수 있다.
[0068] 저-전력 회로(420)는 저-전력 프로세서(422) 및 저-전력 무선 회로(424)를 포함한다. 아이웨어 디바이스(100)의 저-전력 무선 회로(424) 및 고속 무선 회로(436)는 단거리 트랜시버들(Bluetooth™ 또는 BLE(Bluetooth Low-Energy)) 및 무선 와이드, 로컬 또는 광역 네트워크 트랜시버들(예컨대, 셀룰러 또는 Wi-Fi)을 포함할 수 있다. 저-전력 무선 연결부(425) 및 고속 무선 연결부(437)를 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(401)는 네트워크(495)의 다른 엘리먼트들과 마찬가지로 아이웨어 디바이스(100)의 아키텍처의 세부사항들을 사용하여 구현될 수 있다.
[0069] 메모리(434)는 무엇보다도 좌측 및 우측 가시광 카메라들(114A, 114B), 적외선 카메라(들)(410), 이미지 프로세서(412)에 의해 생성된 카메라 데이터 및 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들 상에서 이미지 디스플레이 드라이버(442)에 의한 디스플레이를 위해 생성된 이미지들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(434)가 고속 회로(430)와 통합된 것으로 도시되었지만, 다른 예들에서, 메모리(434)는 아이웨어 디바이스(100)의 독립적인 스탠드얼론 엘리먼트일 수 있다. 이러한 특정 예들에서, 전기 라우팅 라인들은 고속 프로세서(432)를 포함하는 칩을 통해 이미지 프로세서(412) 또는 저전력 프로세서(422)로부터 메모리(434)로의 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(432)는 메모리(434)를 수반하는 판독 또는 기록 동작이 필요할 때마다 저전력 프로세서(422)가 고속 프로세서(432)를 부팅하도록 메모리(434)의 어드레싱을 관리할 수 있다.
[0070] 도 4a에 도시된 바와 같이, 아이웨어 디바이스(100)의 고속 프로세서(432)는 카메라 시스템(가시광 카메라들(114A, 114B)), 이미지 디스플레이 드라이버(442), 사용자 입력 디바이스(491) 및 메모리(434)에 커플링될 수 있다. 도 5에 도시된 바와 같이, 모바일 디바이스(401)의 CPU(540)는 카메라 시스템(570), 모바일 디스플레이 드라이버(582), 사용자 입력 레이어(591) 및 메모리(540A)에 커플링될 수 있다.
[0071] 서버 시스템(498)은 예컨대 프로세서, 메모리, 및 네트워크(495)를 통해 아이웨어 디바이스(100) 및 모바일 디바이스(401)와 통신하기 위한 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다.
[0072] 아이웨어 디바이스(100)의 출력 컴포넌트들은 도 2a 및 도 2b에 설명된 바와 같은 각각의 렌즈 또는 광학 조립체(180A, 180B)와 연관된 좌측 및 우측 이미지 디스플레이들(예컨대, LCD(liquid crystal display), PDP(plasma display panel), LED(light emitting diode) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이)과 같은 시각적 엘리먼트들을 포함한다. 아이웨어 디바이스(100)는 사용자-대면 표시기(예컨대, LED, 라우드스피커 또는 진동 액추에이터) 또는 외향 신호(예컨대, LED, 라우드스피커)를 포함할 수 있다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 이미지 디스플레이 드라이버(442)에 의해 구동된다. 일부 예시적인 구성들에서, 아이웨어 디바이스(100)의 출력 컴포넌트들은 추가 표시기들, 이를테면 가청 엘리먼트들(예컨대, 라우드스피커들), 촉각 컴포넌트들(예컨대, 햅틱 피드백을 생성하기 위한 진동 모터와 같은 액추에이터) 및 다른 신호 생성기들을 더 포함한다. 예컨대, 디바이스(100)는 사용자-대면 세트의 표시기들 및 외향 세트의 신호들을 포함할 수 있다. 사용자-대면 세트의 표시기들은 디바이스(100)의 사용자가 보거나 그렇지 않으면 감지하도록 구성된다. 예컨대, 디바이스(100)는 사용자가 볼 수 있도록 포지셔닝된 LED 디스플레이, 사용자가 들을 수 있는 사운드를 생성하도록 포지셔닝된 하나 이상의 스피커들, 또는 사용자가 느낄 수 있는 햅틱 피드백을 제공하기 위한 액추에이터를 포함할 수 있다. 외향 세트의 신호들은 디바이스(100) 근처의 관찰자가 보거나 또는 그렇지 않으면 감지하도록 구성된다. 유사하게, 디바이스(100)는 관찰자에 의해 감지하도록 구성되고 포지셔닝된 LED, 라우드스피커 또는 액추에이터를 포함할 수 있다.
[0073] 아이웨어 디바이스(100)의 입력 컴포넌트들은 알파뉴메릭 입력 컴포넌트들 (예컨대, 알파뉴메릭 입력을 수신하도록 구성된 터치 스크린 또는 터치패드, 포토-광학 키보드, 또는 다른 알파뉴메릭-구성 엘리먼트들), 포인트-기반 입력 컴포넌트들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 컴포넌트들(예컨대, 터치들 또는 터치 제스처들의 로케이션, 힘 또는 로케이션 및 힘을 감지하는 버튼 스위치, 터치 스크린 또는 터치패드 또는 다른 촉각-구성 엘리먼트들), 및 오디오 입력 컴포넌트들(예컨대, 마이크로폰) 등을 포함할 수 있다. 모바일 디바이스(401) 및 서버 시스템(498)은 알파뉴메릭, 포인터-기반, 촉각, 오디오 및 다른 입력 컴포넌트들을 포함할 수 있다.
[0074] 일부 예들에서, 아이웨어 디바이스(100)는 관성 측정 유닛(472)으로 지칭되는 모션-감지 컴포넌트들의 집합을 포함한다. 모션-감지 컴포넌트들은 종종 마이크로칩의 일부가 될 정도로 충분히 작은 마이크로스코픽 이동 부분들을 갖는 MEMS(micro-electro-mechanical system)들일 수 있다. 일부 예시적인 구성들의 관성 측정 유닛(IMU)(472)은 가속도계, 자이로스코프 및 자력계를 포함한다. 가속도계는 3개의 직교 축들(x, y, z)에 대한 디바이스(100)의 선형 가속도(중력으로 인한 가속도를 포함함)를 감지한다. 자이로스코프는 3개의 회전축(피치, 롤, 요)에 대한 디바이스(100)의 각속도를 감지한다. 동시에, 가속도계 및 자이로스코프는 6개 축(x, y, z, 피치, 롤, 요)에 대한 디바이스에 대한 포지션, 배향 및 모션 데이터를 제공할 수 있다. 존재하는 경우 자력계는 자북에 대한 디바이스(100)의 헤딩을 감지한다. 디바이스(100)의 포지션은 로케이션 센서들, 이를테면 GPS 유닛(473), 상대적인 포지션 좌표들을 생성하기 위한 하나 이상의 트랜시버들, 고도 센서들 또는 기압계들, 및 다른 배향 센서들에 의해 결정될 수 있다. 이러한 포지셔닝 시스템 좌표들은 또한 저-전력 무선 회로(424) 또는 고속 무선 회로(436)를 통해 모바일 디바이스(401)로부터 무선 연결부들(425, 437)을 통해 수신될 수 있다.
[0075] IMU(472)는 컴포넌트들로부터의 원시 데이터를 수집하는 디지털 모션 프로세서 또는 프로그래밍을 포함하거나 또는 이와 협력할 수 있으며, 디바이스(100)의 포지션, 배향 및 모션에 대한 다수의 유용한 값들을 계산할 수 있다. 예컨대, 가속도계로부터 수집된 가속도 데이터는 각각의 축(x, y, z)에 대한 속도를 획득하도록 통합될 수 있으며; (선형 좌표들 (x, y, 및 z)에서) 디바이스(100)의 포지션을 획득하기 위해 다시 통합될 수 있다. 자이로스코프로부터의 각속도 데이터는 디바이스(100)의 포지션(구형 좌표들)을 획득하기 위해 통합될 수 있다. 이들 유용한 값들을 계산하기 위한 프로그래밍은 메모리(434)에 저장될 수 있고, 아이웨어 디바이스(100)의 고속 프로세서(432)에 의해 실행될 수 있다.
[0076] 아이웨어 디바이스(100)는 추가 주변 센서들, 이를테면 생체 센서들, 특수 센서들, 또는 아이웨어 디바이스(100)와 통합된 디스플레이 엘리먼트들을 선택적으로 포함할 수 있다. 예컨대, 주변 디바이스 엘리먼트들은 출력 컴포넌트들, 모션 컴포넌트들, 위치 컴포넌트들 또는 본원에 설명된 임의의 다른 이러한 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다. 예컨대, 생체 센서들은 표현들(예컨대, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체신호들 (예컨대, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하는 것, 또는 사람을 식별(예컨대, 음성, 망막, 얼굴 특징들, 지문들 또는 전기 생체 신호들, 이를테면 뇌전도 데이터에 기반한 식별)하는 것 등을 수행하기 위한 컴포넌트들을 포함할 수 있다.
[0077] 모바일 디바이스(401)는 스마트폰, 태블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결부(425) 및 고속 무선 연결부(437) 둘 모두를 사용하여 아이웨어 디바이스(100)와 연결할 수 있는 임의의 다른 그러한 디바이스일 수 있다. 모바일 디바이스(401)는 서버 시스템(498) 및 네트워크(495)에 연결된다. 네트워크(495)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0078] 도 4a에 도시된 바와 같은 인터랙티브 확장 현실 시스템(400)은 네트워크를 통해 아이웨어 디바이스(100)에 커플링된 모바일 디바이스(401)와 같은 컴퓨팅 디바이스를 포함한다. 인터랙티브 확장 현실 시스템(400)은 명령들을 저장하기 위한 메모리 및 명령들을 실행하기 위한 프로세서를 포함한다. 프로세서(432)에 의한 인터랙티브 확장 현실 시스템(400)의 명령들의 실행은 모바일 디바이스(401)와 협력하도록 아이웨어 디바이스(100)를 구성한다. 인터랙티브 확장 현실 시스템(400)은 아이웨어 디바이스(100)의 메모리(434) 또는 모바일 디바이스(401)의 메모리 엘리먼트들(540A, 540B, 540C)(도 5)을 활용할 수 있다. 또한, 인터랙티브 확장 현실 시스템(400)은 아이웨어 디바이스(100)의 프로세서 엘리먼트들(432, 422) 또는 모바일 디바이스(401)의 CPU(central processing unit)(540)(도 5)를 활용할 수 있다. 더욱이, 인터랙티브 확장 현실 시스템(400)은 서버 시스템(498)의 메모리 및 프로세서 엘리먼트들을 추가로 활용할 수 있다. 이러한 양상에서, 인터랙티브 확장 현실 시스템(400)의 메모리 및 프로세싱 기능들은 아이웨어 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)에 걸쳐 공유되거나 또는 분산될 수 있다.
[0079] 메모리(434)는 노래 파일들(482) 및 가상 객체들(484)을 포함한다. 노래 파일들(482)은 템포(예컨대, 비트 트랙) 및 선택적으로 일련의 음표들 및 음표 값들을 포함한다. 음표는 특정 피치 또는 다른 음악 사운드를 나타내는 심볼이다. 음표 값은 템포에 대한 음표 재생 기간을 포함하며, 다른 특성들, 이를테면 다른 음표들에 대한 음의 강도, 강조, 조음 및 프레이징을 포함할 수 있다. 일부 구현들에서, 템포는 사용자가 노래를 재생하는 동안 사용하기 위한 특정 템포를 선택할 수 있게 하는 사용자 인터페이스와 함께 디폴트 값을 포함한다. 가상 객체들(484)은 카메라들(114)에 의해 캡처된 이미지들에서 객체들 또는 특징들을 식별하기 위한 이미지 데이터를 포함한다. 객체들은 환경 내에서 아이웨어 디바이스(100)를 로컬라이징하는 데 사용하기 위한 알려진 그림들 또는 물리적 마커들과 같은 물리적 특징들일 수 있다.
[0080] 메모리(434)는, 프로세서(432)에 의한 실행을 위해, 전력 관리 서비스(450), 포지션 추적 서비스(451), 평면 검출 서비스(452), 렌더링 서비스(453), 오버-렌더 서비스(454), 디스플레이 서비스(455), 배경 서비스(들)(456), 캡처 서비스(457), 및 트랜스코딩 서비스(458)를 추가로 포함한다. 전력 관리 서비스(450)는 적어도 2개의 전력 구성 모드들(예컨대, 정상 동작 모드 및 저전력 모드) 간을 변경함으로써 아이웨어 디바이스(100)의 열 동작 모드를 관리한다. 정상 동작 모드에서, 프로세싱 자원들(예컨대, 카메라들, 그래픽 프로세싱 유닛들, 디스플레이들, 잡음 감소와 같은 프로세스들 등)은 모두 이용 가능하며, 상대적으로 높은 동작 레이트(예컨대, 초당 20 또는 30개의 프레임들)에서 동작한다. 저전력 모드에서, 하나 이상의 프로세싱 자원들(예컨대, 하나의 카메라는 인에이블되고 다른 카메라는 디스에이블됨)은 제약되거나, 상대적으로 낮은 동작 레이트(예컨대, 초당 0 내지 5개의 프레임들)에서 동작하거나, 잡음 감소들과 같은 프로세스들은 턴-오프되거나, 또는 이들의 조합이 이루어진다.
[0081] 일례로, 정상 동작 모드에서, 전자 디바이스(100)의 온도가 임계 온도(예컨대, 섭씨 60도) 미만일 때, 모든 서비스들은 최상의 성능을 제공하는 제1 동작 상태(예컨대, 정상 동작 상태)로 동작한다. 이러한 예에 따르면, 저전력 모드에서, 전자 디바이스의 온도가 임계 온도에 도달할 때, 전력 관리 서비스(450)는 자원들이 제약되고 있고 프로세싱 자원들이 적으면서도 허용 가능한 성능을 제공하는 제2 동작 상태(예컨대, 적응 상태)에서 동작하도록 전환되어야 함을 하나 이상의 서비스들(예컨대, 모든 서비스들)에 통지한다. 더 적은 프로세싱 자원들로 열 완화가 이루어지며, 이는 아이웨어 디바이스(100)가 더 길고 더 차갑게 동작할 수 있게 한다.
[0082] 본원에서 설명된 예들이 2개의 동작 상태들을 갖는 서비스들과 관련되지만, 서비스들은 2개 초과의 동작 상태들을 가질 수 있으며, 예컨대 상이한 동작 상태들은 상이한 임계 온도들 및 자원 제약들과 연관된다(예컨대, 초당 45개 또는 60개의 프레임들에서 이용 가능한 카메라들 둘 모두로부터, 초당 20개 또는 30개의 프레임들에서 이용 가능한 카메라들 둘 모두로, 초당 20개 또는 30개의 프레임들에서 이용 가능한 하나의 카메라로 스테핑됨). 또한, 상이한 서비스들은 전력 관리 서비스(451)의 제어 하에 상이한 임계 온도들에서 상이한 동작 상태들을 구현할 수 있다. 이러한 예에 따르면, 전력 관리 서비스(451)를 실행하는 프로세서(432)는 어떤 서비스가 어떤 상태로 전환할지, 그리고 언제 전환할지를 명령하도록 메모리(434)에 유지되는 룩-업 테이블(미도시)을 활용할 수 있다.
[0083] 일례에서, 임계 온도는 아이웨어 디바이스(100) 표면 상의 알려진 핫스팟과 상관되는 전자 장치(406) 근처 아이웨어 디바이스(100)의 내부 온도이다. 일례에서, 예컨대 섭씨 64도의 내부 온도에 대응할 수 있는 섭씨 43도 미만으로 아이웨어 디바이스(100)의 표면 온도는 유지하는 것이 바람직하다.
[0084] 포지션 추적 서비스(451)는 환경 내의 아이웨어 디바이스의 포지션을 결정하고, 평면 검출 서비스(452)는 환경 내의 평면 표면들을 식별한다. 포지션 추적 서비스(451) 및 평면 검출 서비스(452)는 하나 이상의 추적기들을 포함할 수 있다. 일례에서, 추적기들은 이하의 3개의 카테고리들로 분류될 수 있다.
Figure pct00001
하나의 카메라, 예컨대 자연 특징 추적기, 얼굴 추적기 등을 사용한다.
Figure pct00002
2개의 카메라들(스테레오스코픽)을 사용하는 것을 선호하지만, 하나의 카메라로 동작할 수 있다(잠재적으로 성능이 저하됨, 예컨대 6 자유도 추적을 위해 VIO(visual odometry)를 사용함).
Figure pct00003
2개의 카메라들(스테레오스코픽), 예컨대 실시간 깊이 추출, 평면 검출을 요구한다.
[0085] 다수의 포지션 추적 및 평면 검출 서비스들이 동시에 활성화될 수 있다. 전력 소비(및 이에 따른 열 생성)는 자원 가용성을 제약하고 온도가 임계 온도(예컨대, 섭씨 64도)에 도달할 때 정상 동작 상태로부터 적응 상태로 스위칭하여 자원 가용성을 제약하는 전력 관리 서비스(450)를 수용하도록 서비스들에 명령함으로써, 예컨대 2개의 카메라들이 요구되지 않을 때 카메라들 중 하나를 디스에이블하거나 (예컨대, 앞의 카테고리들 1 및 2), 카메라(들)의 프레임 레이트를 감소시키거나 (예컨대, 앞의 카테고리들 1, 2 및 3) 또는 이들의 조합을 수행함으로써 낮아질 수 있다. 온도가 다른 임계 온도(예컨대, 섭씨 61도) 아래로 떨어질 때, 전력 관리 서비스(450)는 카메라들 둘 모두를 인에이블하거나, 프레임 레이트를 증가시키거나 또는 이들 둘 모두를 수행함으로써 자원 가용성을 복원할 수 있다. 추가적으로, 전력 관리 서비스(450)는 자원들이 더 이상 제약되지 않기 때문에 정상 동작 상태로 스위칭될 수 있음을 서비스들에 통지할 수 있다.
[0086] 렌더링 서비스(453)는 GPU(graphical processing unit) 상에 새로운 프레임이 얼마나 자주 표시되는지를 관리한다. 정상 상태에서, 높은 렌더 프레임 레이트(예컨대, 초당 45개 또는 60개의 프레임들)는 애니메이션들을 보장하고, 트랜지션들은 사용자에게 부드럽게 나타난다. 적응 상태에서, 렌더 프레임 레이트는 런타임을 연장시키기 위해 열 압력이 가해지는 동안 (예컨대, 초당 30개의 프레임들까지) 감소된다.
[0087] 오버-렌더 서비스(454)는 AR/VR/XR 헤드셋들에서 모션 대 광자 레이턴시를 감소시키기 위해 늦은-워핑(late-warping)을 구현한다. 오버-렌더 가장자리는 늦은-워핑이 수행된 이후에 검은색 픽셀들을 도시하는 것을 회피하기 위해 (즉, 예컨대 빠른 머리 움직임들로 인해 늦은-워핑에도 불구하고 전체 디스플레이 FOV를 레버리지하기 위해) 디스플레이 시야 밖의 픽셀들이 얼마나 많이 렌더링되는지를 지시한다. 렌더링되는 픽셀들이 많을수록 더 많은 전력이 소비된다. 정상 상태에서, 디스플레이 시야 밖의 상대적으로 넓은 영역이 렌더링된다. 적응 상태에서, 디스플레이 시야 밖의 영역은 감소되거나 또는 제거된다.
[0088] 디스플레이 서비스(455)는 사용자가 보기 위한 이미지들을 디스플레이들 상에 제시한다. 정상 상태에서, 디스플레이 시스템들에 의해 소모되는 전류량은 원하는 레벨의 밝기를 달성하기 위해 원하는 레벨로 세팅된다. 적응 상태에서, 전류는 (예컨대, 정상 상태 전류 소모량의 60%까지) 제한되며, 이는 열 감소를 위해 밝기를 맞바꾸는 것이다. 추가적으로, 잡음 감소와 같은 프로세스들은 정상 상태로 이용 가능하다. 그러나, 적응 상태에서, 열 완화를 위해 전력 소비를 낮추기 위해 이러한 프로세스들 중 하나 이상이 턴-오프될 수 있다. 예컨대, (예컨대, FPS를 감소시키는 것에 부가하거나 또는 이와 별로도) 잡음 감소 프로세스들을 턴-오프함으로써 열적 제한 미만으로 유지하기 위해 디스플레이된 이미지들의 품질이 점진적으로 감소될 수 있다.
[0089] 배경 서비스(들)(456)는 배경에서 실행되며 (예컨대, 콘텐츠를 업로드 또는 트랜스코딩하며), 이에 따라 전형적으로 덜 중요하고/시간에 민감하며, 아이웨어(100)가 정상 동작 모드로 리턴할 때까지 연기될 수 있다. 정상 상태에서, 백그라운드 서비스들(456)은 제약 없이 호출될 때 실행된다. 적응 상태에서, 아이웨어가 열 압력을 받고 있을 때, 배경 서비스들(456)은 연기되고 필요한 경우에만 실행된다.
[0090] 캡처 서비스(457)는 AR 경험들을 캡처(즉, 기록)한다. 정상적인 상태에서, 캡처 서비스(457)는 AR 경험들을 기록한다. 적응 상태에서, 캡처 서비스(457)는 AR 경험들을 기록하지 않고, 먼저 아이웨어 디바이스(100)가 냉각될 수 있게 해야 함을 사용자에게 알린다.
[0091] 트랜스코딩 서비스(458)는 비디오 파일을 하나의 비디오 포맷으로부터 다른 비디오 포맷으로 트랜스코딩한다. 트랜스코딩 서비스는 오리지널 비디오 파일 포맷(예컨대, MP4)을 하나 이상의 다른 비디오 파일 포맷들로 트랜스코딩한다. 비디오 파일 "컨테이너" 포맷은 변경되거나 또는 변경되지 않을 수 있다. 일례에서, 하나 이상의 다른 비디오 파일 포맷들은 상이한 비디오 파일 "컨테이너" 포맷(예컨대, MP4-MOV, WMV, FLV, AVI 등)이거나, 또는 상이한 속성들을 갖는 동일한 비디오 파일 컨테이너 포맷(예컨대, 상이한 비트 레이트, 프레임 레이트, 해상도 또는 이들의 조합을 갖는 MP4 H.265 표준 내지 MP4 H.264 표준)일 수 있다. 정상 상태에서, 트랜스코딩 서비스(458)는 제1 프레임 레이트(예컨대, 초당 20개 또는 30개의 프레임들)에서 비디오 파일들을 변환한다. 적응 상태에서, 아이웨어가 열 압력을 받고 있을 때, 트랜스코딩 서비스(458)는 제2 프레임 레이트(예컨대, 초당 0 내지 5개의 프레임들)로 동작한다.
[0092] 메모리(434)는, 프로세서(432)에 의한 실행을 위해, 위치 검출 유틸리티(460), 마커 등록 유틸리티(462), 로컬리제이션 유틸리티(464), 가상 객체 렌더링 유틸리티(466), 물리 엔진(468) 및 예측 엔진(470)을 추가로 포함한다. 포지션 검출 유틸리티(460)는 예컨대 로컬리제이션 유틸리티(464)를 사용하여 환경 내의 포지션(로케이션 및 배향)을 결정하도록 프로세서(432)를 구성한다. 마커 등록 유틸리티(462)는 환경 내의 마커들을 등록하도록 프로세서(432)를 구성한다. 마커들은 아이웨어 디바이스(100)가 동작하고 있는 환경에 대해 또는 아이웨어 자체에 대해 프로세서(432)에 의해 특정 로케이션에 할당되거나 또는 환경 내의 알려진 로케이션을 갖는 미리 정의된 물리적 마커들일 수 있다. 로컬리제이션 유틸리티(464)는 아이웨어 디바이스(100)의 포지션, 아이웨어 디바이스에 의해 제시되는 가상 객체들 또는 이들의 조합을 결정하는 데 사용하기 위한 로컬리제이션 데이터를 획득하도록 프로세서(432)를 구성한다. 로케이션 데이터는 일련의 이미지들, IMU 유닛(472), GPS 유닛(473) 또는 이들의 조합으로부터 유도될 수 있다. 가상 객체 렌더링 유틸리티(466)는 이미지 디스플레이 드라이버(442) 및 이미지 프로세서(412)의 제어 하에서 이미지 디스플레이(180)에 의한 디스플레이를 위해 가상 이미지들을 렌더링하도록 프로세서(432)를 구성한다. 물리 엔진(468)은 중력 및 마찰과 같은 물리 법칙을 가상 단어, 예컨대 가상 게임 피스들 사이에 적용하도록 프로세서(432)를 구성한다. 예측 엔진(470)은 아이웨어 디바이스(100)의 현재 헤딩, IMU(472)와 같은 센서들로부터의 입력, 환경 이미지들, 또는 이들의 조합에 기반하여 아이웨어 디바이스(100)와 같은 객체의 예상되는 움직임을 예측하도록 프로세서(432)를 구성한다.
[0093] 도 4b는 예시적인 트랜스코드 프로세스 흐름(444)을 묘사한다. 프레임 판독기(445B)는 메모리로부터의 비디오 데이터를 포함하는 입력 파일(445A)(예컨대, 메모리(434)로부터의 MP4 H.264 파일)을 수신하고, (예컨대, 알려진 헤더 정보를 식별함으로써) 비디오 데이터의 프레임들을 판독하기 위해 비디오 데이터의 경계들을 파싱한다. 프레임 판독기(445B)는 프로세서(432)에 의해 실행되는 소프트웨어 모듈로서 구현될 수 있다.
[0094] 프레임 지연 모듈(446)은 프레임들을 비디오 프로세싱 엔진(447)에 패스하기 전에 비디오 데이터의 프레임들에 선택적으로 지연을 도입한다. 일례에서, 프레임 지연 모듈(446)은 정상 상태에 있는 동안 제1 레이트(예컨대, 초당 20개 또는 30개의 프레임들)로 그리고 적응 상태에 있는 동안 감소된 레이트(예컨대, 초당 0 내지 5개의 프레임들)로 비디오 데이터의 프레임들을 패스한다. 프레임 지연 모듈(446)은 본 예에서 동작 레이트를 제공하는 전력 관리 서비스(450)의 제어 하에서 프로세서(432)에 의해 구현될 수 있다. 비디오 프로세싱 엔진(447)과 별개로 프레임 지연 모듈(446)을 사용함으로써, 트랜스코딩 및 프로세싱의 변경들은 디코딩 및 인코딩을 수행하는 코덱을 재구성하지 않고 수행될 수 있으며, 이는 재시작(및 연관된 허용할 수 없는 지연들)을 요구할 수 있다.
[0095] 비디오 프로세싱 엔진(447)은 제1 비디오 파일 포맷(예컨대, MP4 H.264 또는 MP4 H.265)으로 저장된 비디오 데이터를 제2 비디오 파일 포맷(예컨대, MP4 H.265 또는 MP4 H.264)으로 저장된 비디오 데이터로 트랜스코딩한다. 비디오 프로세싱 엔진(447)은 제1 비디오 파일 포맷으로부터 원시 비디오 포맷으로 비디오 데이터의 각각의 프레임을 변환하는 디코더(447A) 및 예컨대 인코딩된 비트 스트림(448A)에서 원시 비디오 포맷을 제2 비디오 파일 포맷으로 변환하는 인코더(447B)를 포함한다. 일례에서, 프로세서(432) 또는 이미지 프로세서(412)는 트랜스코딩 동작들을 위해 작업 메모리(예컨대, 메모리(434))를 사용하여 비디오 프로세싱 엔진(447)을 구현한다. 비디오 프로세싱 엔진(447)은 제2 비디오 파일 포맷으로 저장된 비디오 데이터를 포함하는 출력 파일(448B)을 생성한다. 출력 파일(448B)은 메모리(434)에 저장될 수 있다. 일례에서, 디코더(447A) 및 인코더(447B)는 종래의 코더/디코더(코덱)를 사용하여 구현된다.
[0096] 도 5는 예시적인 모바일 디바이스(401)의 하이-레벨 기능 블록도이다. 모바일 디바이스(401)는 본원에 설명된 기능들의 전부 또는 서브세트를 수행하기 위해 CPU(540)에 의해 실행될 프로그래밍을 저장하는 플래시 메모리(540A)를 포함한다.
[0097] 모바일 디바이스(401)는 적어도 2개의 가시광 카메라들(중첩하는 시야들을 갖는 제1 및 제2 가시광 카메라들) 또는 실질적으로 중첩하는 시야들을 갖는 적어도 하나의 가시광 카메라 및 깊이 센서를 포함하는 카메라(570)를 포함할 수 있다. 플래시 메모리(540A)는 카메라(570)를 통해 생성되는 다수의 이미지들 또는 비디오를 더 포함할 수 있다.
[0098] 도시된 바와 같이, 모바일 디바이스(401)는 이미지 디스플레이(580), 이미지 디스플레이(580)를 제어하기 위한 모바일 디스플레이 드라이버(582), 및 디스플레이 제어기(584)를 포함한다. 도 5의 예에서, 이미지 디스플레이(580)는 이미지 디스플레이(580)에 의해 사용되는 스크린 최상부에 계층화되거나 또는 그렇지 않으면 스크린에 통합되는 사용자 입력 레이어(591)(예컨대, 터치스크린)를 포함한다.
[0099] 사용될 수 있는 터치스크린-타입의 모바일 디바이스들의 예들은 스마트 폰, PDA(personal digital assistant), 태블릿 컴퓨터, 랩톱 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(그러나, 이에 제한되지는 않음). 그러나, 터치스크린-타입 디바이스들의 구조 및 동작은 예로서 제공되며; 본원에 설명된 청구대상 기술은 이에 제한되는 것으로 의도되지 않는다. 따라서, 이러한 논의의 목적들을 위해, 도 5는 (터치, 멀티-터치 또는 제스처 등에 의한, 손에 의한, 스타일러스 또는 다른 도구에 의한) 입력을 수신하기 위한 터치스크린 입력 레이어(591) 및 콘텐츠를 디스플레이하기 위한 이미지 디스플레이(580)를 포함하는 사용자 인터페이스를 갖는 예시적인 모바일 디바이스(401)의 블록도 예시를 제공한다.
[0100] 도 5에 도시된 바와 같이, 모바일 디바이스(401)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신들을 위해 WWAN XCVR들로서 도시된 적어도 하나의 디지털 트랜시버(XCVR)(510)를 포함한다. 모바일 디바이스(401)는 또한 이를테면 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 Wi-Fi를 통해 단거리 네트워크 통신을 위한 단거리 트랜시버(XCVR)(520)들과 같은 추가 디지털 또는 아날로그 트랜시버들을 포함한다. 예컨대, 단거리 XCVR들(520)은 IEEE 802.11 하의 Wi-Fi 표준들 중 하나와 같은 무선 로컬 영역 네트워크들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환 가능한 타입의 임의의 이용 가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.
[0101] 모바일 디바이스(401)의 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해, 모바일 디바이스(401)는 GPS(global positioning system) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로 모바일 디바이스(401)는 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해 근거리 XCVR들(520) 및 WWAN XCVR들(510) 중 하나 또는 둘 모두를 활용할 수 있다. 예컨대, 셀룰러 네트워크, Wi-Fi 또는 Bluetooth™ 기반 포지셔닝 시스템들은 특히 조합하여 사용될 때 매우 정확한 로케이션 좌표들을 생성할 수 있다. 이러한 위치 좌표들은 XCVR들(510, 520)을 통해 하나 이상의 네트워크 연결부들을 통해 아이웨어 디바이스에 송신될 수 있다.
[0102] 트랜시버들(510, 520)(즉, 네트워크 통신 인터페이스)은 현대식 모바일 네트워크들에 의해 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 준수한다. WWAN 트랜시버들(510)의 예들은, 예컨대 제한없이 3GPP(3rd Generation Partnership Project) 타입 2(또는 3GPP2) 및 때때로 “4G”로 지칭되는 LTE를 포함하는 3GPP 네트워크 기술들 및 CDMA(Code Division Multiple Access)에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나, 이에 제한되지 않음). 예컨대, 트랜시버들(510, 520)은 디지털화된 오디오 신호들, 정지 이미지들 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹 관련 입력들, 및 모바일 디바이스(401)로/로부터의 다양한 타입들의 모바일 메시지 통신들을 포함하는 정보의 양방향 무선 통신을 제공한다.
[0103] 모바일 디바이스(401)는 CPU(central processing unit)로서 기능하는 마이크로프로세서를 더 포함하며; 도 4a에서 CPU(540)로서 도시된다. 프로세서는 하나 이상의 프로세싱 기능들, 즉, 통상적으로 다양한 데이터 프로세싱 기능들을 수행하도록 구조화되고 배열된 엘리먼트들을 갖는 회로이다. 개별 로직 컴포넌트들이 사용될 수 있지만, 예들은 프로그래밍가능한 CPU를 형성하는 컴포넌트들을 활용한다. 예컨대, 마이크로프로세서는 CPU의 기능들을 수행하기 위해 전자 엘리먼트들을 통합하는 하나 이상의 IC(integrated circuit) 칩들을 포함한다. 예컨대, CPU(540)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 통상적으로 사용되는 바와 같이 ARM 아키텍처를 사용하여 RISC(Reduced Instruction Set Computing)와 같은 임의의 공지된 또는 이용 가능한 마이크로프로세서 아키텍처에 기반할 수 있다. 물론, 스마트폰, 랩톱 컴퓨터 및 태블릿에서 CPU(540) 또는 프로세서 하드웨어를 형성하기 위해 프로세서 회로의 다른 어레인지먼트들이 사용될 수 있다.
[0104] CPU(540)는 예컨대 CPU(540)에 의해 실행 가능한 프로그래밍 또는 명령들에 따라, 다양한 동작들을 수행하도록 모바일 디바이스(401)를 구성함으로써 모바일 디바이스(401)에 대한 프로그램 가능 호스트 제어기로서 역할을 한다. 예컨대, 이러한 동작들은 모바일 디바이스의 다양한 일반적인 동작들뿐만 아니라 모바일 디바이스 상의 애플리케이션들에 대한 프로그래밍과 관련된 동작들을 포함할 수 있다. 프로세서는 하드와이어드 로직을 사용하여 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성된 일반적인 프로세싱 회로들이다.
[0105] 모바일 디바이스(401)는 프로그래밍 및 데이터를 저장하기 위한 메모리 또는 저장 시스템을 포함한다. 예에서, 메모리 시스템은 필요에 따라 플래시 메모리(540A), RAM(random access memory)(540B) 및 다른 메모리 컴포넌트들(540C)을 포함할 수 있다. RAM(540B)은 예컨대, 작동 데이터 프로세싱 메모리로서 CPU(540)에 의해 처리되는 명령들 및 데이터를 위한 단기 저장부로서 역할을 한다. 플래시 메모리(540A)는 전형적으로 장기 저장부를 제공한다.
[0106] 따라서, 모바일 디바이스(401)의 예에서, 플래시 메모리(540A)는 CPU(540)에 의한 실행을 위한 프로그래밍 또는 명령들을 저장하기 위해 사용된다. 디바이스의 타입에 따라, 모바일 디바이스(401)는 특정 애플리케이션들이 실행되게 하는 모바일 오퍼레이팅 시스템을 저장 및 실행한다. 모바일 오퍼레이팅 시스템들의 예들은 Google Android, (I-Phone 또는 iPad 디바이스들에 대한) Apple iOS, Windows Mobile, Amazon Fire OS, RIM BlackBerry OS 등을 포함한다.
[0107] 아이웨어 디바이스(100) 내의 프로세서(432)는 아이웨어 디바이스(100)를 둘러싼 환경의 맵을 구성하고, 매핑된 환경 내에서 아이웨어 디바이스의 로케이션을 결정하며, 그리고 매핑된 환경에서 하나 이상의 객체들에 대한 아이웨어 디바이스의 상대적 포지션을 결정한다. 일례에서, 프로세서(432)는 하나 이상의 센서들로부터 수신된 데이터에 적용된 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 맵을 구성하고 로케이션 및 포지션 정보를 결정한다. 확장 현실의 맥락에서, SLAM 알고리즘은 환경의 맵을 구성 및 업데이트하는 동시에 매핑된 환경 내에서 디바이스(또는 사용자)의 로케이션을 추적하고 업데이트하는 데 사용된다. 수학적 솔루션은 입자 필터들, 칼만 필터들, 확장 칼만 필터들 및 공분산 교차점(covariance intersection)과 같은 다양한 통계 방법들을 사용하여 근사화될 수 있다.
[0108] 센서 데이터는 카메라들(114A, 114B) 중 하나 또는 둘 모두로부터 수신된 이미지들, 레이저 거리 측정기로부터 수신된 거리(들), GPS 유닛(473)으로부터 또는 포지션 정보를 결정할 때 유용한 데이터를 제공하는 다른 센서들로부터 수신된 포지션 정보, 또는 이러한 센서 데이터 중 둘 이상의 조합을 포함한다.
[0109] 도 6은 자연스러운 특징 추적 (NFT; 예컨대 SLAM 알고리즘을 사용하는 추적 애플리케이션)에 유용한 엘리먼트들과 함께 예시적인 환경(600)을 도시한다. 아이웨어 디바이스(100)의 사용자(602)는 (도 6에서는 내부 방인) 예시적인 물리적 환경(600)에 존재한다. 아이웨어 디바이스(100)의 프로세서(432)는 캡처된 이미지들을 사용하여 환경(600) 내의 하나 이상의 객체들(604)에 대한 자신의 포지션을 결정하고, 환경(600)에 대한 좌표 시스템(x, y, z)을 사용하여 환경(600)의 맵을 구성하며, 좌표 시스템 내에서 자신의 포지션을 결정한다. 부가적으로, 프로세서(432)는 단일 객체(604a)와 연관된 2개 이상의 로케이션 포인트들(예컨대, 3개의 로케이션 포인트들(606a, 606b, 및 606c))을 사용함으로써 또는 2개 이상의 객체들(604a, 604b, 604c)과 연관된 하나 이상의 로케이션 포인트들(606)을 사용함으로써 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(롤, 피치 및 요)를 결정한다. 일례에서, 아이웨어 디바이스(100)의 프로세서(432)는 이미지 디스플레이들(180)을 통한 확장 현실 보기를 위해 환경(600) 내에 (도 6에 도시된 키와 같은) 가상 객체(484)를 포지셔닝할 수 있다.
[0110] 도 7은 웨어러블 디바이스(예컨대, 아이웨어 디바이스)에 대해 시각적-관성 추적 위한 방법을 묘사하는 흐름도(700)이다. 본원에서 설명된 바와 같이 단계들이 아이웨어 디바이스(100)를 참조하여 설명되지만, 다른 타입들의 디바이스들에 대해 설명된 단계들의 다른 구현들이 당업자에 의해 본원의 설명으로부터 이해될 것이다. 추가적으로, 도 7 및 다른 도면들에서 도시되고 본원에서 설명된 단계들 중 하나 이상이 생략되거나, 동시에 또는 직렬로 수행되거나, 또는 예시 및 설명된 것과 다른 순서로 수행되거나 또는 추가 단계들과 함께 수행될 수 있다는 것이 고려된다.
[0111] 블록(702)에서, 아이웨어 디바이스(100)는 아이웨어 디바이스(100) 근처의 물리적 환경(600)의 하나 이상의 입력 이미지들을 캡처한다. 프로세서(432)는 가시광 카메라(들)(114)로부터 입력 이미지들을 연속적으로 수신하고 이들 이미지들을 프로세싱을 위해 메모리(434)에 저장할 수 있다. 추가적으로, 아이웨어 디바이스(100)는 다른 센서들로부터의 정보(예컨대, GPS 유닛(473)으로부터의 로케이션 정보, IMU(472)로부터의 배향 정보, 또는 레이저 거리 센서로부터의 거리 정보)를 캡처할 수 있다.
[0112] 블록(704)에서, 아이웨어 디바이스(100)는 매치(match)를 식별하기 위해 캡처된 이미지의 객체를 이미지들의 라이브러리에 저장된 객체들과 비교한다. 일부 구현들에서, 프로세서(432)는 캡처된 이미지들을 메모리(434)에 저장한다. 알려진 객체들의 이미지들의 라이브러리는 가상 객체 데이터베이스(484)에 저장된다.
[0113] 일례에서, 프로세서(432)는 미리 정의된 특정 객체(예컨대, 벽의 알려진 로케이션에 걸려 있는 특정 사진(604a), 다른 벽의 창문(604b), 또는 층에 포지셔닝된 금고(604c)와 같은 객체)를 식별하도록 프로그래밍된다. GPS 데이터와 같은 다른 센서 데이터 (예컨대, 단지 GPS 좌표들을 통해 식별된 방과 연관된 이미지들)가 비교에 사용하기 위해 알려진 객체들의 수를 좁히는 데 사용될 수 있다. 다른 예에서, 프로세서(432)는 사전 정의된 일반 객체들 (이를테면, 공원 내의 하나 이상의 나무들)을 식별하도록 프로그래밍된다.
[0114] 블록(706)에서, 아이웨어 디바이스(100)는 객체(들)에 대한 자신의 포지션을 결정한다. 프로세서(432)는 캡처된 이미지들의 2개 이상의 포인트들 사이(예컨대, 하나의 객체들(604) 상의 2개 이상의 로케이션 포인트들 사이 또는 2개의 객체들(604) 각각 상의 로케이션 포인트(606) 사이)의 거리들을 식별된 객체들의 대응 포인트들 사이의 알려진 거리들과 비교하여 프로세싱함으로써 객체들에 대한 자신의 포지션을 결정할 수 있다. 캡처된 이미지들의 포인트들 사이의 거리들이 식별된 객체들의 포인트들 보다 더 크다는 것은 아이웨어 디바이스(100)가 식별된 객체를 포함하는 이미지를 캡처한 이미저보다 식별된 객체에 더 가깝다는 것을 표시한다. 반면에, 캡처된 이미지들의 포인트들 사이의 거리들이 식별된 객체들의 포인트들보다 작다는 것은 아이웨어 디바이스(100)가 식별된 객체를 포함하는 이미지를 캡처한 이미저보다 식별된 객체로부터 더 멀다는 것을 표시한다. 상대 거리들을 프로세싱함으로써, 프로세서(432)는 객체(들)에 대한 포지션을 결정할 수 있다. 대안적으로 또는 부가적으로, 레이저 거리 센서 정보와 같은 다른 센서 정보가 객체(들)에 대한 포지션을 결정하는데 사용될 수 있다.
[0115] 블록(708)에서, 아이웨어 디바이스(100)는 아이웨어 디바이스(100)를 둘러싸는 환경(600)의 맵을 구성하고 환경 내의 자신의 포지션을 결정한다. 일례에서, 식별된 객체(블록(704))가 미리 정의된 좌표 시스템(x, y, z)을 갖는 경우, 아이웨어 디바이스(100)의 프로세서(432)는 미리 정의된 좌표 시스템을 사용하여 맵을 구성하고, 식별된 객체들에 대해 결정된 포지션들 (블록(706))에 기반하여 그 좌표 시스템 내에서 아이웨어 디바이스(100)의 포지션을 결정한다. 다른 예에서, 아이웨어 디바이스는 환경내의 영구적 또는 반-영구적 객체들(604) (예컨대, 공원 내의 나무 또는 공원 벤치)의 이미지들을 사용하여 맵을 구성한다. 이러한 예에 따르면, 아이웨어 디바이스(100)는 환경에 사용되는 좌표 시스템(x', y', z')을 정의할 수 있다.
[0116] 블록(710)에서, 아이웨어 디바이스(100)는 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(롤, 피치 및 요)를 결정한다. 프로세서(432)는 하나 이상의 객체들(604)에 대해 2개 이상의 로케이션 포인트들(예컨대, 3개의 로케이션 포인트들(606a, 606b 및 606c))을 사용하거나 또는 2개 이상의 객체들(604)에 대해 하나 이상의 로케이션 포인트들(606)을 사용하여 머리 포즈를 결정한다. 종래의 이미지 프로세싱 알고리즘들을 사용하여, 프로세서(432)는 캡처된 이미지들 및 알려진 이미지들의 로케이션 포인트들 사이에서 연장되는 라인들의 각도 및 길이를 비교하여 롤, 피치 및 요를 결정한다.
[0117] 블록(712)에서, 아이웨어 디바이스(100)는 시각적 이미지들을 사용자에게 제시한다. 프로세서(432)는 이미지 프로세서(412) 및 이미지 디스플레이 드라이버(442)를 사용하여 이미지 디스플레이들(180) 상에서 사용자에게 이미지들을 제시한다. 프로세서는 환경(600) 내의 아이웨어 디바이스(100)의 포지션에 응답하여 이미지 디스플레이들을 통해 시각적 이미지들을 현상하고 제시한다. 프로세서(432)는 보기 및 추가 프로세싱(예컨대, 다른 파일 포맷으로 트랜스코딩)하기 위해 제1 파일 포맷으로 사용자에게 제시된 시각적 이미지들을 예컨대 메모리(434)에 저장할 수 있다.
[0118] 블록(714)에서, 블록(706-712)을 참조하여 앞서 설명된 단계들은 아이웨어 디바이스(100)의 포지션 및 사용자가 환경(600)을 통해 이동할 때 사용자(602)가 보는 것을 업데이트하기 위해 반복된다.
[0119] 다시 도 6을 참조하면, 본원에서 설명된 확장 현실 애플리케이션들을 구현하는 예시적인 방법은 물리적 객체들(예컨대, 그림(604a))과 연관된 가상 마커들(예컨대, 가상 마커(610a)) 및 가상 객체들(예컨대, 키(608))과 연관된 가상 마커들을 포함한다. 일례에서, 아이웨어 디바이스(100)는 환경 내에서 아이웨어 디바이스(100)의 포지션을 결정하기 위해 물리적 객체들과 연관된 마커들을 사용하고, 아이웨어 디바이스(100)의 디스플레이 상의 가상 마커 포지션에서 환경(600)의 연관된 가상 객체(들)(608)를 제시하는 오버레이 이미지들을 생성하기 위해 가상 객체들과 연관된 마커들을 사용한다. 예컨대, 마커들은 매핑된 환경에서 사용자들, 디바이스들 및 객체들(가상 및 물리 객체)의 로케이션을 추적하고 업데이트하는 데 사용하기 위한 환경의 로케이션들에 등록된다. 마커들은 때때로 마커를 검출하는 태스크로 카메라들 및 다른 센서들을 보조하기 위해 밝은 색상의 벽에 장착된 상대적으로 어두운 객체(604a)와 같은 높은 콘트라스트 물리 객체에 등록된다. 마커들은 사전 할당될 수 있거나, 또는 환경에 진입할 때 아이웨어 디바이스(100)에 의해 할당될 수 있다. 마커들은 또한 매핑된 환경의 해당 로케이션들에서 가상 이미지들을 제시하는 데 사용하기 위해 환경의 로케이션들에 등록된다.
[0120] 마커들은 정보로 인코딩되거나 또는 그렇지 않으면 정보에 링크될 수 있다. 마커는 포지션 정보, 물리적 코드(이를테면, 바코드 또는 QR 코드; 사용자에게 보이거나 또는 숨겨짐) 또는 이들의 조합을 포함할 수 있다. 마커와 연관된 데이터의 세트는 아이웨어 디바이스(100)의 메모리(434)에 저장된다. 데이터의 세트는 마커(610a), 마커의 포지션(로케이션 및 배향), 하나 이상의 가상 객체들 또는 이들의 조합에 대한 정보를 포함한다. 마커 포지션은 도 6에 도시된 대체로 직사각형인 마커(610a)의 코너와 같은 하나 이상의 마커 랜드마크들(616a)에 대한 3차원 좌표들을 포함할 수 있다. 마커 로케이션은 실세계 지리적 좌표들, 마커 좌표들의 시스템, 아이웨어 디바이스(100)의 포지션, 또는 다른 좌표 시스템에 대해 표현될 수 있다. 마커(610a)와 연관된 하나 이상의 가상 객체들은 정지 이미지들, 비디오, 오디오, 촉각 피드백, 실행 가능 애플리케이션들, 인터랙티브 사용자 인터페이스들 및 경험들, 및 이러한 자료의 조합들 또는 시퀀스들을 포함하는 다양한 자료 중 임의의 자료를 포함할 수 있다. 메모리에 저장될 수 있고 마커(610a)가 할당된 마커와 마주치거나 연관될 때 리트리브될 수 있는 임의의 타입의 콘텐츠는 이러한 맥락에서 가상 객체로서 분류될 수 있다. 도 6에 도시된 키(608)는 예컨대 마커 로케이션에서 2D 또는 3D인 정지 이미지로서 디스플레이된 가상 객체이다.
[0121] 일례에서, 마커(610a)는 물리적 객체(604a)(예컨대, 도 6에 도시된 액자 미술작품) 근처에 로케이팅되고 이와 연관된 것으로 메모리에 등록될 수 있다. 다른 예에서, 마커는 아이웨어 디바이스(100)에 대한 특정 포지션인 것으로 메모리에 등록될 수 있다.
[0122] 도 8a 및 도 8b는 열 완화를 위한 예시적인 동적 전력 감소 방법들의 단계들을 나열한 개개의 흐름도들(800 및 820)이다. 흐름도(800)의 단계들은 전력 관리 제어 시스템(예컨대, 프로세서(432)에 의해 구현되는 전력 관리 서비스(450))의 동작을 설명한다. 흐름도(820)의 단계들은 전력 관리 시스템에 의해 제어되는 트랜스코딩 서비스(458)의 동작을 설명한다. 본원에 설명된 바와 같이 단계들이 아이웨어 디바이스(100)를 참조하여 설명되지만, 다른 타입들의 모바일 디바이스들에 대해 설명된 단계들의 다른 구현들이 당업자에 의해 본원의 설명으로부터 이해될 것이다. 추가적으로, 도 8a 및 도 8b에 도시되고 본원에서 설명된 단계들 중 하나 이상이 생략되거나, 동시에 또는 직렬로 수행되거나, 예시 및 설명된 것과 다른 순서로 수행되거나 또는 추가 단계들과 함께 수행될 수 있다는 것이 고려된다.
[0123] 도 8a는 전력 관리(및 열 완화) 방법을 예시하는 흐름도(800)이다. 블록(802)에서, 아이웨어 디바이스(100)의 전자 장치(406)는 애플리케이션 서비스들(예컨대, 서비스들(450-458))을 실행한다. 일례에서, 프로세서(432)는 애플리케이션 서비스들(450-458)을 실행하고, 전력 관리 서비스(450)는 아이웨어 디바이스(100)의 온도(예컨대, 전자 장치(406)의 온도)에 기반하여 아이웨어 디바이스(100)가 동작하고 있는 동작 모드들에 적응하기 위한 명령들을 다른 서비스들(451-458)에 제공한다.
[0124] 블록(804)에서, 전력 관리 서비스(450)는 아이웨어 디바이스(100)의 온도를 모니터링한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 온도 센서(408)로부터 판독된 온도를 주기적으로 (예컨대, 100ms마다) 수신한다.
[0125] 블록(806)에서, 전력 관리 서비스(450)는 모니터링된 온도를 임계치와 비교한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 모니터링된 온도를 메모리(434)에 저장된 임계 온도와 비교한다. 아이웨어 디바이스(100)가 동작하고 있는 모드에 따라 다수의 임계 온도들이 존재할 수 있다. 예컨대, 아이웨어 디바이스가 정상 동작 모드에 있을 때, (예컨대, 과열로 인해) 저전력 모드로 전환할 때를 결정하기 위해 (예컨대, 섭씨 64도의) 제1 임계치가 사용될 수 있다. 유사하게, 아이웨어 디바이스가 저전력 동작 모드에 있을 때, (예컨대, 일단 온도가 허용 가능한 레벨로 감소되면) 저전력 모드로부터 다시 정상 동작 모드로 전환할 때를 결정하기 위해 (예컨대, 섭씨 60도의) 제2 임계치가 사용될 수 있다. 이러한 예에 따르면, 아이웨어 디바이스(100)는 아이웨어 디바이스가 과열 없이 정상 모드에서 동작할 수 있는 시간량을 최대화하기 위해(예컨대, 최상의 성능을 제공하기 위해) 정상 동작 모드와 저전력 동작 모드 사이에서 전환할 수 있다.
[0126] 결정 블록(808)에서, 전력 관리 서비스(450)는 임계치에 도달했는지 여부를 결정한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 (예컨대, 아이웨어 디바이스(100)가 정상 동작 모드에 있는 경우 제1 임계치를 사용하고, 아이웨어 디바이스가 저전력 동작 모드에 있는 경우 제2 임계치를 사용하여) 임계치에 도달했는지 여부를 결정한다. 임계치에 도달한 경우에, 프로세싱은 블록(810)에서 진행된다. 임계치에 도달하지 않은 경우에, 프로세싱은 블록(804)에서 진행된다.
[0127] 블록(810)에서, 전력 관리 서비스(450)는 아이웨어 디바이스(100)의 전력 구성 모드가 곧 변경될 것이라는 것을 다른 애플리케이션 서비스(들)(451-458)에 통지한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 다른 애플리케이션 서비스(들)(451-458)에 (예컨대 프로세스-간 통신을 통해) 통신을 전송한다.
[0128] 블록(812)에서, 전력 관리 서비스(450)는 타이머를 모니터링한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 타이머를 모니터링한다 (예컨대, 런타임 애플리케이션을 사용하여 프로세서(432)에 의해 유지됨).
[0129] 결정 블록(814)에서, 전력 관리 서비스(450)는 모니터링된 시간이 미리 정의된 대기 시간에 도달하였는지 여부를 결정한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 모니터링된 시간을 미리 정의된 대기 시간(예컨대, 5초)과 비교한다. 미리 정의된 대기 시간은 다른 애플리케이션 서비스(들)(451-458)를 제공하도록 세팅된다: (1) 정상 상태에 있을 때 - 정상 상태 동안 사용하는 모든 자원들이 더 이상 이용 가능하지 않을 수 있기 때문에 정상 상태로부터 적응 상태로 전환할 시간 및 (2) 적응 상태에 있을 때 - 추가 자원들이 이용 가능하도록 전환될 것이기 때문에 적응 상태로부터 정상 상태로 전환할 시간. 대기 시간에 도달한 경우에, 프로세싱은 블록(816)에서 진행된다. 대기 시간에 도달하지 않은 경우에, 프로세싱은 블록(812)에서 진행된다.
[0130] 블록(816)에서, 전력 관리 서비스(450)는 아이웨어 디바이스의 전력 구성 모드를 변경한다. 일례에서, 전력 관리 서비스(450)를 실행하는 프로세서(432)는 아이웨어 디바이스(100)의 전력 구성 모드를 변경한다. 아이웨어 디바이스(100)가 정상 동작 모드에 있을 때, 프로세서(432)는 동작 모드를 저전력 동작 모드 (이 모드에서는 이용 가능한 자원들이 감소됨)로 변경한다. 아이웨어 디바이스(100)가 저전력 동작 모드에 있을 때, 프로세서(432)는 동작 모드를 정상 동작 모드(즉, 이 모드에서는 이용 가능한 자원들이 증가됨)로 변경한다.
[0131] 도 8b는 제1 레이트(예컨대, 초당 45개 또는 60개의 프레임들)로 비디오 데이터의 프레임들을 트랜스코딩하는 제1 상태(정상 상태) 및 제2 레이트(예컨대, 초당 20개 또는 30개의 프레임들)로 비디오 데이터의 프레임들을 트랜스코딩하는 제2 상태(적응 상태)를 갖는 트랜스코딩 서비스(458)의 동작 상태들 간을 전환하기 위한 예시적인 방법을 예시하는 흐름도(820)이다. 다른 애플리케이션 서비스들과 함께 사용하기 위한 이러한 예시적인 방법의 수정은 본원의 설명으로부터 당업자에 의해 이해될 것이다.
[0132] 블록(822)에서, 전자 장치(406)는 트랜스코딩 서비스(458)의 프레임 패스 레이트를 세팅한다. 일례에서, 트랜스코딩 서비스(458)를 실행하는 프로세서(432)는 전자 장치가 제1 동작 모드에 있을 때 프레임 패스 레이트를 제1 동작 레이트(예컨대, 초당 20개 또는 30개의 프레임들; 정상 상태)로 세팅하고 전자 장치가 제2 동작 모드에 있을 때 프레임 패스 레이트를 제2 동작 레이트(예컨대, 초당 0개 내지 5개의 프레임들; 적응 상태)로 세팅한다. 정상 상태에서, 트랜스코딩 서비스(458)는 정상 동작 모드에서 동작할 때 아이웨어 디바이스의 자원들을 활용하도록 설계된 상대적으로 높은 성능을 위해 셋업된다. 적응 상태에서, 트랜스코딩 서비스(458)는 저전력 동작 모드에서 동작할 때 아이웨어 디바이스의 자원들의 사용을 감소시키도록 설계된 상대적으로 낮지만 수용 가능한 성능을 위해 셋업된다.
[0133] 블록(824)에서, 전자 장치(406)는 제1 비디오 파일 포맷으로 비디오 데이터의 프레임들을 판독한다. 일례에서, 트랜스코딩 서비스(458)를 실행하는 프로세서(432)는 비디오 데이터의 프레임들을 판독하기 위해 프레임 판독기(445)를 구현한다.
[0134] 블록(826)에서, 전자 장치(406)는 프레임 지연 모듈(446)에 비디오 데이터의 프레임들을 전송한다. 일례에서, 트랜스코딩 서비스(458)를 실행하는 프로세서(432)는 비디오 데이터의 프레임들을 프레임 지연 모듈(446)에 전송한다.
[0135] 블록(828)에서, 전자 장치(406)는 세팅된 프레임 동작 레이트에서 프레임 단위로 비디오 데이터의 프레임들을 패스한다. 일례에서, 트랜스코딩 서비스(458)를 실행하는 프로세서(432)는 프레임 지연 모듈(446)을 구현하고 세팅된 프레임 동작 레이트로 프레임별로 비디오 데이터의 프레임들을 패스한다.
[0136] 블록(830)에서, 전자 장치(406)는 세팅된 프레임 패스 레이트에서 프레임 단위로 비디오 데이터의 프레임들을 수신한다. 일례에서, 트랜스코딩 서비스(458)를 실행하는 프로세서(432)는 비디오 데이터의 프레임들을 트랜스코딩하기 위해 비디오 프로세싱 엔진(447)을 구현한다. 블록(832)에서, 비디오 프로세싱 엔진(447)은 디코더(447A)를 사용하여 제1 비디오 파일 포맷의 비디오 데이터의 각각의 프레임을 원시 비디오 포맷으로 디코딩하며, 블록(834)에서 인코더(447B)를 사용하여 비디오 데이터의 각각의 원시 프레임을 제2 비디오 인코딩 포맷으로 인코딩한다.
[0137] 블록(836)에서, 전자 장치(406)는 인코딩된 비디오 데이터의 프레임들을 예컨대 상이한 압축 세팅들을 갖는 상이한 파일 포맷으로 저장한다. 일례에서, 트랜스코딩 서비스(458)를 실행하는 프로세서(432)는 비디오 데이터의 프레임들을 상이한 파일 포맷으로 메모리(434)에 저장한다.
[0138] 본원에서 설명된 예들의 양상들은 AR 아이웨어 디바이스들의 열 완화를 처리한다. 이러한 디바이스들의 열 완화는 (1) 디바이스들이 특정 열 제한들을 초과하지 않도록 보장하는 것, (2) AR 경험들의 열 런타임을 최대화하는 것, (3) 디바이스들이 과열 없이 가능한 오랫동안 계속 동작하도록 보장하는 것, 응답성을 최대화하는 것을 포함하여 상충되는 목표들을 갖는다(예컨대, 디바이스는 "셧 오프" 열 제한들에 도달하지 않아야 하며, 대신에 특정한 고전력 특징들은 초과 열을 회피하도록 디스에이블되며 사용자에게 응답하는 것처럼 보인다).
[0139] 도 9a는 3개의 상이한 시나리오들(렌즈/오버레이가 없는 비디오 데이터, 외계인 테마 렌즈/오버레이가 있는 비디오 데이터, 및 농구 테마 오버레이가 있는 비디오 데이터)에서 트랜스코딩하기 위한 예시적인 프레임 레이트에 대한 전력 소비를 도시한다. 예시된 바와 같이, 동작 레이트가 낮아지며, 전력 소비가 낮아진다.
[0140] 도 9b는 도 9a와 동일한 3개의 시나리오들 (렌즈/오버레이가 없는 비디오 데이터, 외계인 테마 렌즈/오버레이가 있는 비디오 데이터, 및 농구 테마 오버레이가 있는 비디오 데이터)에서 트랜스코딩하기 위한 예시적인 프레임 레이트에 대한 에너지 소비를 도시한다. 예시된 바와 같이, 프레임 레이트가 낮아지며, 에너지 소비가 높아진다.
[0141] 도 9a 및 도 9b에 의해 예시된 바와같이, 전력 소비(도 9a) 및 에너지 소비(도 9b)는 역의 관계에 있다. 프로세싱 자원들이 용이하게 이용 가능하고 디바이스가 허용 가능한 온도 범위 내에서 동작할 때, 적당한 동작 레이트(예컨대, 초당 20개 또는 30개의 프레임들)가 가장 빠른 결과들을 제공하기 위해 트랜스코딩 하는 데 선택된다. 다른 한편으로, 프로세싱 자원들이 제한될 때 또는 디바이스가 허용 가능한 온도 범위를 초과하여 동작하고 있을 때, 상대적으로 낮은 동작 레이트(예컨대, 초당 0 내지 5개의 프레임들)가 프로세싱 및 열 제약들 측면에서 허용 가능한 결과들을 제공하기 위해 트랜스코딩하는 데 선택된다. 특정 프레임 속도 값들은 사용 사례와 프로세싱 자원들/열 완화와 허용 가능한 성능 사이의 트레이드 오프들에 기반하여 선택될 수 있다.
[0142] 본원에서 설명되는 임의의 기능은 본원에서 설명된 바와같이 하나 이상의 컴퓨터 소프트웨어 애플리케이션들 또는 프로그래밍 명령들의 세트들로 구현될 수 있다. 일부 예들에 따르면, "기능", "기능들", "애플리케이션", "애플리케이션들", "명령", "명령들" 또는 "프로그래밍"은 프로그램들에서 정의된 기능들을 실행하는 프로그램(들)이다. 객체 지향 프로그래밍 언어들(예컨대, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예컨대, C 또는 어셈블리 언어)과 같이, 다양한 방식들로 구성된 애플리케이션들 중 하나 이상을 생성하기 위해 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(예컨대, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ SDK(software development kit)를 사용하여 개발된 애플리케이션)은 모바일 오퍼레이팅 시스템, 예컨대, IOS™, ANDROID™, WINDOWS® Phone 또는 다른 모바일 오퍼레이팅 시스템들 상에서 실행되는 모바일 소프트웨어를 포함할 수 있다. 이러한 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 용이하게 하기 위해 오퍼레이팅 시스템에 의해 제공된 API 콜들을 인보크할 수 있다.
[0143] 따라서, 머신 판독가능 매체는 유형의 저장 매체의 많은 형태들을 취할 수 있다. 비-휘발성 저장 매체들은 예컨대, 도면들에 도시된 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 것과 같은 임의의 컴퓨터 디바이스들 등에 있는 저장 디바이스들 중 임의의 것과 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체는 이러한 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형의 송신 매체들은 컴퓨터 시스템 내의 버스를 포함하는 와이어를 포함하는 동축 케이블들, 구리 와이어 및 광섬유들을 포함한다. 캐리어파 송신 매체들은 RF(radio frequency) 및 적외선(IR) 데이터 통신들 동안 생성되는 것들과 같은 전기 또는 전자기 신호들, 또는 음파 또는 광파의 형태를 취할 수 있다. 따라서, 컴퓨터-판독가능 매체들의 일반적인 형태들은, 예컨대 플로피 디스크, 유연한 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령들을 전달하는 반송파, 그러한 반송파를 전달하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드 및/또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 다양한 형태들의 컴퓨터 판독가능 매체들 대부분은 실행을 위해 프로세서에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송하는데 수반될 수 있다.
[0144] 바로 위에 언급된 경우를 제외하고, 청구항들에 인용되든 아니든 무관하게, 언급되거나 예시된 어떤 것도 컴포넌트, 단계, 특징, 목적, 이익, 이점 또는 이에 상응하는 것을 일반 대중에게 제공하도록 의도되거나 해석되어서는 안된다.
[0145] 본원에서 사용된 용어들 및 표현들은, 특정 의미들이 본원에 달리 제시된 경우를 제외하고는 그들 대응하는 개개의 탐구 및 연구 영역들과 관련하여 그러한 용어들 및 표현들에 부여된 바와 같은 일반적인 의미를 갖는다는 것이 이해될 것이다. 관계형 용어들, 이를테면 제1, 제2 등은 단지 하나의 엔티티 또는 동작을 다른 것으로부터 구별하기 위해 사용될 수 있고, 이러한 엔티티들 또는 동작들 간의 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 용어들 "포함하다", "포함하는", "구비하다" , "구비하는", 또는 이의 임의의 다른 변형은 비-배타적인 포함을 커버하는 것으로 의도되어, 엘리먼트들 또는 단계들의 리스트를 포함하거나 구비하는 프로세스, 방법, 물품 또는 장치는 그러한 엘리먼트들 또는 단계들만을 구비하는 것이 아니라, 명시적으로 나열되지 않거나 또는 이러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 엘리먼트들 또는 단계들을 구비할 수 있다. 단수형 엘리먼트는, 추가적인 제약들 없이, 엘리먼트를 포함하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.
[0146] 달리 언급되지 않는 한, 하기 청구항들을 포함하여 본 명세서에 기재된 임의의 그리고 모든 측정치들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 규격들은 정확한 것이 아니라 근사치이다. 이러한 수량들은, 이들이 관련되는 기능들 및 이들과 관련된 분야에서 통상적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예컨대, 달리 명시적으로 언급되지 않는 한, 파라미터 값 등은 언급된 양으로부터 ± 10 %만큼 많이 달라질 수 있다.
[0147] 더욱이, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화할 목적으로 다양한 예들에서 함께 그룹화된다. 본 개시내용의 방법은 청구되는 예들이 각각의 청구항에 명시적으로 언급된 것보다 많은 특징들을 요구하려는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 보호될 청구대상은 임의의 단일의 개시된 예의 모든 특징들보다 적다. 따라서, 이로써 하기의 청구항들은 상세한 설명에 통합되며, 각각의 청구항은 별개로 청구된 청구대상으로서 독자적으로 기재된다.
[0148] 전술한 것은 최상의 모드 및 다른 예들인 것으로 고려되는 것을 설명하지만, 본원에서 다양한 수정들이 이루어질 수 있고 본원에 개시된 청구대상은 다양한 형태들 및 예들로 구현될 수 있으며 이들은 다수의 애플리케이션들에 적용될 수 있고 그 일부만이 본원에서 설명되었음이 이해된다. 이하의 청구항들은 본 개념들의 진정한 범위 내에 있는 임의의 그리고 모든 수정들 및 변경들을 청구하도록 의도된다.

Claims (20)

  1. 확장 현실 서비스들을 제공하는 아이웨어 디바이스로서,
    사용자의 머리 상에 착용되도록 구성된 프레임;
    상기 프레임에 의해 지지되는 디스플레이 시스템;
    상기 프레임에 의해 지지되고, 상기 아이웨어 디바이스의 온도를 검출하도록 구성된 온도 센서; 및
    상기 프레임에 의해 지지되는 전자 장치 ― 상기 전자 장치는 상기 디스플레이 시스템 및 상기 온도 센서에 커플링되며, 상기 전자 장치는 적어도 2개의 전력 구성 모드들을 갖고 메모리 시스템 및 프로세싱 시스템을 포함함 ―를 포함하며,
    상기 프로세싱 시스템은,
    상기 아이웨어 디바이스의 전자 장치 상에서 애플리케이션 서비스들을 실행하며 ― 상기 애플리케이션 서비스들 중 적어도 하나는 상기 디스플레이 시스템에 의해 제시된, 제1 비디오 파일 포맷으로 상기 메모리에 저장된 비디오 데이터의 프레임들을 트랜스코딩하도록 구성된 트랜스코딩 서비스를 포함함 ―;
    상기 온도 센서의 온도를 모니터링하며;
    상기 모니터링된 온도를 임계 온도와 비교하며;
    상기 모니터링된 온도가 상기 임계 온도에 도달하는 것에 대한 응답으로 상기 전자 장치를 제1 전력 구성 모드로부터 제2 전력 구성 모드로 변경하며;
    프레임 지연 모듈에서, 상기 전자 장치가 상기 제1 전력 구성 모드에 있을 때 프레임 패스 레이트(frame pass rate)를 제1 동작 레이트로 세팅하고 상기 전자 장치가 상기 제2 전력 구성 모드에 있을 때 상기 프레임 패스 레이트를 제2 동작 레이트로 세팅하며;
    상기 메모리로부터 상기 제1 비디오 파일 포맷의 상기 비디오 데이터의 프레임들을 판독하며;
    상기 비디오 데이터의 판독 프레임들을 상기 프레임 지연 모듈에 전송하며;
    상기 프레임 패스 레이트로 상기 프레임 지연 모듈로부터 상기 비디오 데이터의 프레임들을 수신하며;
    상기 프레임 패스 레이트로 상기 프레임 지연 모듈로부터 수신된 상기 제1 비디오 파일 포맷의 비디오 데이터의 프레임들을 제2 비디오 파일 포맷으로 트랜스코딩하며; 그리고
    상기 비디오 데이터의 트랜스코딩된 프레임들을 상기 제2 비디오 파일 포맷으로 저장하도록 구성되는, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  2. 제1 항에 있어서,
    상기 프로세싱 시스템은,
    상기 메모리로부터 상기 비디오 데이터의 프레임들을 판독하도록 구성된 프레임 판독기;
    상기 비디오 데이터의 프레임들을 트랜스코딩하도록 구성된 비디오 프로세싱 엔진; 및
    상기 프레임 판독기와 상기 비디오 프로세싱 엔진 사이에 포지셔닝된 프레임 지연 모듈을 구현하도록 구성되며, 상기 프레임 지연 모듈은 상기 비디오 데이터의 프레임들을 상기 프레임 패스 레이트로 상기 프레임 판독기로부터 상기 비디오 프로세싱 엔진으로 패스하도록 구성되는, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  3. 제2 항에 있어서,
    상기 비디오 프로세싱 엔진은,
    상기 제1 비디오 파일 포맷의 비디오 데이터의 프레임을 원시 비디오 프레임들로 디코딩하도록 구성된 디코더; 및
    상기 원시 비디오 프레임들을 상기 제2 비디오 파일 포맷의 비디오 데이터의 프레임으로 인코딩하도록 구성된 인코더를 포함하는, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  4. 제3 항에 있어서,
    상기 제1 비디오 파일 포맷의 비트 레이트, 프레임 레이트, 또는 해상도 중 적어도 하나는 상기 제2 비디오 파일 포맷과 상이한, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  5. 제1 항에 있어서,
    상기 프로세싱 시스템은 상기 모니터링된 온도가 상기 임계 온도에 도달하는 것에 대한 응답으로 상기 제1 전력 구성 모드로부터 상기 제2 전력 구성 모드로의 다음 변경을 상기 트랜스코딩 서비스에 통지하도록 추가로 구성되는, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  6. 제5 항에 있어서,
    상기 프로세싱 시스템은 상기 제1 전력 구성 모드로부터 상기 제2 전력 구성 모드로 변경하기 전에 상기 트랜스코딩 서비스에 통지한 이후에 미리 결정된 시간 기간 동안 대기하도록 추가로 구성되는, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  7. 제6 항에 있어서,
    상기 트랜스코딩 서비스는 상기 제1 동작 레이트에 대응하는 제1 동작 상태(정상 상태) 및 상기 제2 동작 레이트에 대응하는 제2 동작 상태(적응 상태)를 포함하고, 상기 트랜스코딩 서비스는 상기 다음 변경의 통지에 대한 응답으로 상기 제1 동작 상태로부터 상기 제2 동작 상태로 변경하는, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  8. 제1 항에 있어서,
    상기 제1 동작 레이트는 상기 제2 동작 레이트보다 높은, 확장 현실 서비스들을 제공하는 아이웨어 디바이스.
  9. 확장 현실 서비스들을 제공하는 아이웨어 디바이스와 함께 사용하기 위한 방법으로서, 상기 아이웨어 디바이스는 디스플레이 시스템 및 전자 장치를 포함하며,
    상기 방법은,
    상기 아이웨어 디바이스의 전자 장치 상에서 애플리케이션 서비스들을 실행하는 단계 ― 상기 애플리케이션 서비스들 중 적어도 하나는 상기 디스플레이 시스템에 의해 제시된, 제1 비디오 파일 포맷으로 메모리에 저장된 비디오 데이터의 프레임들을 트랜스코딩하도록 구성된 트랜스코딩 서비스를 포함함 ―;
    상기 아이웨어 디바이스의 온도를 모니터링하는 단계;
    상기 모니터링된 온도를 임계 온도와 비교하는 단계;
    상기 모니터링된 온도가 상기 임계 온도에 도달하는 것에 대한 응답으로 상기 전자 장치를 제1 전력 구성 모드로부터 제2 전력 구성 모드로 변경하는 단계;
    프레임 지연 모듈에서, 상기 전자 장치가 상기 제1 전력 구성 모드에 있을 때 프레임 패스 레이트를 제1 동작 레이트로 세팅하고 상기 전자 장치가 상기 제2 전력 구성 모드에 있을 때 상기 프레임 패스 레이트를 제2 동작 레이트로 세팅하는 단계;
    상기 메모리로부터 상기 제1 비디오 파일 포맷의 상기 비디오 데이터의 프레임들을 판독하는 단계;
    상기 비디오 데이터의 판독 프레임들을 상기 프레임 지연 모듈에 전송하는 단계;
    상기 프레임 패스 레이트로 상기 프레임 지연 모듈로부터 상기 비디오 데이터의 프레임을 수신하는 단계;
    상기 프레임 패스 레이트로 상기 프레임 지연 모듈로부터 수신된 상기 제1 비디오 파일 포맷의 비디오 데이터의 프레임들을 제2 비디오 파일 포맷으로 트랜스코딩하는 단계; 및
    상기 비디오 데이터의 트랜스코딩된 프레임들을 상기 제2 비디오 파일 포맷으로 저장하는 단계를 포함하는, 방법.
  10. 제9 항에 있어서,
    상기 메모리로부터 상기 비디오 데이터의 프레임들을 판독하는 단계는 프레임 판독기에 의해 수행되며, 상기 비디오 데이터의 프레임들을 트랜스코딩하는 단계는 비디오 프로세싱 엔진에 의해 수행되며,
    상기 방법은 상기 프레임 지연 모듈에 의해, 상기 비디오 데이터의 프레임들을 상기 프레임 패스 레이트로 상기 프레임 판독기로부터 상기 비디오 프로세싱 엔진으로 패스하는 단계를 더 포함하는, 방법.
  11. 제10 항에 있어서,
    상기 트랜스코딩하는 단계는,
    상기 제1 비디오 파일 포맷의 비디오 데이터의 프레임을 원시 비디오 프레임들로 디코딩하는 단계; 및
    상기 원시 비디오 프레임들을 상기 제2 비디오 파일 포맷의 비디오 데이터의 프레임으로 인코딩하는 단계를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 제1 비디오 파일 포맷의 비트 레이트, 프레임 레이트, 또는 해상도 중 적어도 하나는 상기 제2 비디오 파일 포맷과 상이한, 방법.
  13. 제9 항에 있어서,
    상기 모니터링된 온도가 상기 임계 온도에 도달하는 것에 대한 응답으로 상기 제1 전력 구성 모드로부터 상기 제2 전력 구성 모드로의 다음 변경을 상기 트랜스코딩 서비스에 통지하는 단계를 더 포함하는, 방법.
  14. 제13 항에 있어서,
    상기 제1 전력 구성 모드로부터 상기 제2 전력 구성 모드로 변경하기 전에 상기 트랜스코딩 서비스에 통지한 후에 미리 결정된 시간 기간 동안 대기하는 단계를 더 포함하는, 방법.
  15. 제14 항에 있어서,
    상기 트랜스코딩 서비스는 상기 제1 동작 레이트에 대응하는 제1 동작 상태(정상 상태) 및 상기 제2 동작 레이트에 대응하는 제2 동작 상태(적응 상태)를 포함하고, 상기 트랜스코딩 서비스는 상기 다음 변경의 통지에 대한 응답으로 상기 제1 동작 상태로부터 상기 제2 동작 상태로 변경하는, 방법.
  16. 제9 항에 있어서,
    상기 제1 동작 레이트는 상기 제2 동작 레이트보다 높은, 방법.
  17. 확장 현실 서비스들을 제공하는 아이웨어 디바이스를 구성하기 위한 명령들을 포함하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 아이웨어 디바이스는 디스플레이 시스템 및 전자 장치를 포함하며,
    상기 명령은, 상기 아이웨어 디바이스의 프로세싱 시스템에 의해 실행될 때, 기능들을 수행하도록 상기 프로세싱 시스템을 구성하며,
    상기 기능들은,
    상기 아이웨어 디바이스의 전자 장치 상에서 애플리케이션 서비스들을 실행하는 기능 ― 상기 애플리케이션 서비스들 중 적어도 하나는 상기 디스플레이 시스템에 의해 제시된, 제1 비디오 파일 포맷으로 메모리에 저장된 비디오 데이터의 프레임들을 트랜스코딩하도록 구성된 트랜스코딩 서비스를 포함함 ―;
    상기 아이웨어 디바이스의 온도를 모니터링하는 기능;
    상기 모니터링된 온도를 임계 온도와 비교하는 기능;
    상기 모니터링된 온도가 상기 임계 온도에 도달하는 것에 대한 응답으로 상기 전자 장치를 제1 전력 구성 모드로부터 제2 전력 구성 모드로 변경하는 기능;
    프레임 지연 모듈에서, 상기 전자 장치가 상기 제1 전력 구성 모드에 있을 때 프레임 패스 레이트를 제1 동작 레이트로 세팅하고 상기 전자 장치가 상기 제2 전력 구성 모드에 있을 때 상기 프레임 패스 레이트를 제2 동작 레이트로 세팅하는 기능;
    상기 메모리로부터 상기 제1 비디오 파일 포맷의 상기 비디오 데이터의 프레임들을 판독하는 기능;
    상기 비디오 데이터의 판독 프레임들을 상기 프레임 지연 모듈에 전송하는 기능;
    상기 프레임 패스 레이트로 상기 프레임 지연 모듈로부터 상기 비디오 데이터의 프레임을 수신하는 기능;
    상기 프레임 패스 레이트로 상기 프레임 지연 모듈로부터 수신된 상기 제1 비디오 파일 포맷의 비디오 데이터의 프레임들을 제2 비디오 파일 포맷으로 트랜스코딩하는 기능; 및
    상기 비디오 데이터의 트랜스코딩된 프레임들을 제2 비디오 파일 포맷으로 저장하는 기능을 포함하는, 비-일시적 컴퓨터 판독 가능 매체.
  18. 제17 항에 있어서,
    상기 메모리로부터 상기 비디오 데이터의 프레임들을 판독하는 기능은 프레임 판독기에 의해 수행되며, 상기 비디오 데이터의 프레임들을 트랜스코딩하는 기능은 비디오 프로세싱 엔진에 의해 수행되며,
    상기 명령들은 상기 프레임 지연 모듈에 의해, 상기 비디오 데이터의 프레임들을 상기 프레임 패스 레이트로 상기 프레임 판독기로부터 상기 비디오 프로세싱 엔진으로 패스하는 기능을 포함하는 기능들을 수행하도록 상기 프로세싱 시스템을 추가로 구성하는, 비-일시적 컴퓨터 판독 가능 매체.
  19. 제18 항에 있어서,
    상기 트랜스코딩하는 기능은,
    상기 제1 비디오 파일 포맷의 비디오 데이터의 프레임을 원시 비디오 프레임들로 디코딩하는 기능; 및
    상기 원시 비디오 프레임들을 상기 제2 비디오 파일 포맷의 비디오 데이터의 프레임으로 인코딩하는 기능을 포함하는, 비-일시적 컴퓨터 판독 가능 매체.
  20. 제19 항에 있어서,
    상기 제1 비디오 파일 포맷의 비트 레이트, 프레임 레이트, 또는 해상도 중 적어도 하나는 상기 제2 비디오 파일 포맷과 상이한, 비-일시적 컴퓨터 판독 가능 매체.
KR1020247000515A 2021-06-09 2022-06-07 동적 트랜스코드 스로틀링을 갖는 디바이스 KR20240018607A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163208937P 2021-06-09 2021-06-09
US63/208,937 2021-06-09
US17/373,559 US11483569B1 (en) 2021-06-09 2021-07-12 Device with dynamic transcode throttling
US17/373,559 2021-07-12
PCT/US2022/032445 WO2022261055A1 (en) 2021-06-09 2022-06-07 Device with dynamic transcode throttling

Publications (1)

Publication Number Publication Date
KR20240018607A true KR20240018607A (ko) 2024-02-13

Family

ID=82557908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247000515A KR20240018607A (ko) 2021-06-09 2022-06-07 동적 트랜스코드 스로틀링을 갖는 디바이스

Country Status (4)

Country Link
US (1) US11902534B2 (ko)
EP (1) EP4352966A1 (ko)
KR (1) KR20240018607A (ko)
WO (1) WO2022261055A1 (ko)

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684633B2 (en) * 2013-01-24 2017-06-20 Samsung Electronics Co., Ltd. Adaptive service controller, system on chip and method of controlling the same
US9955286B2 (en) * 2013-05-08 2018-04-24 Natalya Segal Smart wearable devices and system therefor
US9264803B1 (en) * 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
WO2015054308A1 (en) * 2013-10-07 2015-04-16 Ickovic & Bliss, Inc. Wearable mobile broadcasting recovery system and device
US20150181208A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Thermal and power management with video coding
EP3125072B8 (en) * 2015-07-29 2018-11-14 Samsung Electronics Co., Ltd. Method of managing power and electronic device
KR20170086977A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 영상 데이터 처리 방법 및 장치
KR20180011539A (ko) * 2016-07-25 2018-02-02 삼성전자주식회사 영상의 처리를 위한 전자 장치
US11474591B2 (en) * 2016-08-05 2022-10-18 Ati Technologies Ulc Fine-grain GPU power management and scheduling for virtual reality applications
US20180137668A1 (en) * 2016-11-12 2018-05-17 Intel Corporation Dynamically selecting optimum graphics frequency and graphics power gating configuration
US20180157315A1 (en) * 2016-12-01 2018-06-07 Qualcomm Incorporated System and method for proactive power and performance management of a workload in a portable computing device
US10402932B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10289179B2 (en) * 2017-04-21 2019-05-14 Intel Corporation Dynamic control of liquid cooling pumps to provide thermal cooling uniformity
US20180329465A1 (en) * 2017-05-11 2018-11-15 Qualcomm Incorporated System and method for intelligent adjustment of an immersive multimedia workload in a portable computing device
CN110710014B (zh) * 2017-05-30 2023-06-20 奇跃公司 用于电子装置的具有风扇组件的电源组件
US10418836B2 (en) * 2017-08-24 2019-09-17 Microsoft Technology Licensing, Llc Devices, systems, and methods for temperature based limiting of battery pack discharge
WO2020046416A1 (en) * 2018-08-28 2020-03-05 Apple Inc. Structural thermal solutions for display devices
US20200073465A1 (en) * 2018-08-30 2020-03-05 Qualcomm Incorporated Load reduction in a visual rendering system
US10823969B1 (en) * 2018-12-14 2020-11-03 Google Llc Heat transfer through frame component of head-mounted device
US20200256735A1 (en) * 2019-02-11 2020-08-13 Eaton Intelligent Power Limited Systems and Methods for Monitoring Temperature of a Luminaire Optics
US10579111B1 (en) * 2019-05-03 2020-03-03 Facebook Technologies, Llc Heat management device for eyecup assemblies of head mounted displays
US11379023B2 (en) * 2019-07-15 2022-07-05 Microsoft Technology Licensing, Llc Regulating device surface temperature
KR102625457B1 (ko) * 2019-08-16 2024-01-16 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US20210329306A1 (en) * 2020-04-15 2021-10-21 Nvidia Corporation Video compression using neural networks
US11829216B2 (en) * 2021-03-22 2023-11-28 Dell Products L.P. System and method of enhancing performances of information handling systems by utilizing graphics processing units
US11483569B1 (en) 2021-06-09 2022-10-25 Snap Inc. Device with dynamic transcode throttling

Also Published As

Publication number Publication date
US11902534B2 (en) 2024-02-13
US20220417528A1 (en) 2022-12-29
EP4352966A1 (en) 2024-04-17
WO2022261055A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US20210405761A1 (en) Augmented reality experiences with object manipulation
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
KR20230017849A (ko) 증강 현실 안내
KR20230025909A (ko) 증강 현실 안경류 3d 페인팅
US11422380B2 (en) Eyewear including virtual scene with 3D frames
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
US11719939B2 (en) Eyewear device dynamic power configuration
US20210406542A1 (en) Augmented reality eyewear with mood sharing
KR20230022239A (ko) 증강 현실 환경 향상
KR20230026503A (ko) 사회적 거리두기를 사용한 증강 현실 경험들
US20240004197A1 (en) Dynamic sensor selection for visual inertial odometry systems
US11483569B1 (en) Device with dynamic transcode throttling
KR20230073336A (ko) 가상 아이웨어 빔들을 사용한 증강 현실 게이밍
US20230007227A1 (en) Augmented reality eyewear with x-ray effect
US11902534B2 (en) Device with dynamic transcode throttling
US12099195B2 (en) Eyewear device dynamic power configuration
CN117501702A (zh) 具有动态转码节流的设备
US12045383B2 (en) Virtual AR interfaces for controlling IoT devices using mobile device orientation sensors