KR20180032508A - 증강 현실 아키텍처들에서의 개선된 데이터 통합을 위한 시스템들 및 방법들 - Google Patents

증강 현실 아키텍처들에서의 개선된 데이터 통합을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20180032508A
KR20180032508A KR1020170121356A KR20170121356A KR20180032508A KR 20180032508 A KR20180032508 A KR 20180032508A KR 1020170121356 A KR1020170121356 A KR 1020170121356A KR 20170121356 A KR20170121356 A KR 20170121356A KR 20180032508 A KR20180032508 A KR 20180032508A
Authority
KR
South Korea
Prior art keywords
information
augmented reality
data
reality device
individual
Prior art date
Application number
KR1020170121356A
Other languages
English (en)
Inventor
저스틴 와일드
래린 앤더슨 싱크
Original Assignee
내비테어 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 내비테어 엘엘씨 filed Critical 내비테어 엘엘씨
Publication of KR20180032508A publication Critical patent/KR20180032508A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

증강 현실 디바이스들에서의 개선된 데이터 통합을 위한 시스템들 및 방법들이 제공된다. 시스템들 및 방법들은 증강 현실 디바이스로부터 개인과 연관된 콘텍스트 정보 및 개인과 연관된 증강 현실 디바이스와 연관된 디바이스 정보를 획득하는 것, 복수의 데이터 소스들로부터 개인 또는 증강 현실 디바이스와 연관된 복수의 데이터 세트들을 획득하는 것, 개인 또는 증강 현실 디바이스에 관련성있는 정보의 서브세트를 데이터 세트들로부터 결정하는 것으로서, 정보의 서브세트의 관련성은 콘텍스트 정보 및 디바이스 정보의 분석에 기초하는, 그 데이터 세트들로부터 결정하는 것, 정보의 결정된 서브세트에 기초하여 디스플레이 정보를 생성하는 것, 증강 현실 디바이스 상의 디스플레이를 위해 디스플레이 데이터를 증강 현실 디바이스에 제공하는 것으로서, 디스플레이 데이터를 표현하는 그래픽 오버레이가 개인의 시야의 전방에 디스플레이되는, 그 디스플레이 데이터를 증강 현실 디바이스에 제공하는 것을 포함한다.

Description

증강 현실 아키텍처들에서의 개선된 데이터 통합을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR IMPROVED DATA INTEGRATION IN AUGMENTED REALITY ARCHITECTURES}
현대의 세계에서 데이터 소스들 및 데이터의 가용성 증가는 사람들이 데이터를 소비하는 방식들로 증가와 혁신을 주도하였다. 개인들은 이들의 일상적인 거동과 상호작용들을 알리기 위해 데이터의 가용성 및 온라인 리소스들에 점점 더 의존한다. 휴대용의 연결된 디바이스들의 편재성으로 인해 거의 어디에서나 이러한 타입의 정보의 액세스가 가능해졌다.
그러나, 물리적 세계의 뷰를 증강시키기 위한 이러한 정보의 사용은 초기 단계에 머물러 있다. 현재의 증강 현실 시스템들은 시각적 데이터를 스크린 또는 뷰포트 상에 오버레이(overlay)하여 시각적 세계 상에 오버레이된 정보를 제공할 수 있다. 유용하지만, 이들 타입들의 시스템들은 통상적으로, 단순히 사용자에게 이미 이용가능한 정보에 대해 추가적인 디스플레이를 제공하거나 또는 오버레이된 데이터로 시각적 스펙트럼을 복제하는 것으로 제한된다. 사용자의 시각적 지각에 관한 상세들 및 콘텍스트 정보(contextual information)를 사용하여 완전히 통합된 증강 현실 경험을 제공하는 진정으로 증강된 시스템들에 대한 필요성이 있다.
이제, 본 개시내용의 예시적인 실시예들을 도시하는 첨부 도면들을 참조할 것이다. 도면들에서:
도 1은 본 개시내용의 실시예들과 부합하는, 통합된 증강 현실 시스템을 위한 예시적인 시스템의 블록 다이어그램이다.
도 2는 본 개시내용의 실시예들과 부합하는, 예시적인 컴퓨팅 디바이스의 블록 다이어그램이다.
도 3a 및 도 3b는 본 개시내용의 실시예들과 부합하는, 예시적인 증강 현실 디바이스들의 다이어그램들이다.
도 4a 내지 도 4c는 본 개시내용의 실시예들과 부합하는, 증강 현실의 예시적인 사용들이다.
도 5는 본 개시내용의 실시예들과 부합하는, 증강 현실 시스템들에서의 개선된 데이터 통합을 위한 예시적인 방법의 흐름도이다.
도 6은 본 개시내용의 실시예들과 부합하는, 증강 현실 시스템들에서의 개선된 데이터 통합을 위한 예시적인 방법의 흐름도이다.
이제, 본 개시내용에 따라 구현되는 예시적인 실시예들을 상세히 참조할 것이고, 그 예들이 첨부 도면들에 예시된다. 가능하다면 어디서든지, 동일한 참조 부호들이 도면들 전반에 걸쳐 사용되어 동일하거나 유사한 부분들을 지칭할 것이다.
본 명세서에 설명된 실시예들은 증강 현실 시스템들에서의 개선된 상호작용 및 통합에 관한 것이다. 증강 현실 시스템들은 전세계의 시각적 이해를 향상시키기 위한 막대한 잠재력을 제공한다. 눈에 의한 시각적 관점의 개인들의 경험을 보완함으로써, 증강 현실 시스템들은 우리 주위의 세계의 더 상세한 이해를 제공할 수 있다.
현재의 증강 현실 시스템들은 시각적 시야 상에 컴퓨터 생성된 이미지들 및 데이터를 오버레이하여 눈 단독으로는 이용가능하지 않은 시각적 경험을 제공할 수 있다. 그러나, 증강 현실 시스템들의 현재 구현들은 완전히 통합된 경험을 제공하지 못한다. 시각적 오버레이는 통상적으로 통지들 또는 경보들과 같은 것들에 관련된다. 이들 시스템들에서, 증강 현실 경험이 유용한 애플리케이션을 제공하지만, 증강은 사용자의 시각적 초점과 관련이 없다. 다른 증강 현실 시스템들에서, 그래픽 오버레이는 사용자가 뷰잉하고 있는 것들에 관한 정보를 제공하지만, 제공된 정보는 그 특정 애플리케이션 및 데이터 세트로 제한된다.
본 명세서에 설명된 실시예들은 상이한 관점에서 이들 문제들에 접근한다. 특정 애플리케이션에 기초하여 제한된 세트의 정보를 제공하는 것에 초점을 맞추는 대신에, 개시된 시스템들은 증강 현실 디바이스 자체로부터의 데이터를 개인과 연관된 과다한 데이터 소스들과 통합시킨다. 개시된 시스템들은 사용자에 관한 콘텍스트 정보를 사용하여 이용가능한 데이터를 추가로 분석 및 프로세싱할 수 있다. 이러한 데이터 통합의 결과가 사용자의 증강 현실 디바이스에 제공되어 사용자의 시각적 시야의 외견상으로는 관련이 없는 양태들에 관한 정보의 포괄적인 오버레이를 제공할 수 있다.
더욱이, 개시된 시스템 및 방법들은 개인에 관한 콘텍스트 정보에 기초하여 그 정보를 조정할 수 있다. 제공된 오버레이는 개인 또는 다른 당사자들에 의해 관리되는 다른 데이터 소스들에 링크하여 개인이 뷰잉하고 있는 아이템들에 관련된 시간, 위치, 및 콘텍스트 특정 데이터를 제공할 수 있다.
예를 들어, 시스템은, 증강 현실 디바이스 또는 사용자의 모바일 디바이스로부터의 위치 정보에 기초하여, 사용자가 공항 터미널에 도착한 것을 인식할 수 있다. 다른 여행 소프트웨어와 함께, 항공사 또는 다른 여행 컨베이어(conveyor)에 의해 호스팅되는 여행 앱으로부터의 개인에 관한 데이터와 함께, 사용자의 디지털 캘린더로부터의 데이터를 사용하여, 개시된 시스템 및 방법들은 개인이 다가오는 비행이 있다는 것을 추가로 결정할 수 있다. 개인의 도착 시에, 개시된 시스템들 및 방법들은 개인의 다가오는 비행 및 현재 체크인 상태에 관한 이용가능한 정보를 사용하여 개인을 적절한 체크인 키오스크, 고객 서비스 또는 발권 카운터 또는 탑승 게이트로 안내할 수 있다. 현재의 증강 현실 시스템들에서 전형적인 바와 같이, 모든 발권 카운터에 관한 증강 정보를 단순히 제공하는 대신에, 개시된 시스템의 다수의 데이터 소스들로부터의 데이터의 통합은 개인에게 조정된 경험을 제공하면서 또한 항공사 또는 다른 여행 컨베이어와의 이들의 예약 거래의 현재 상태를 제공한다.
추가적으로, 개시된 시스템 및 방법들은 현재의 공항 절차들을 현대화할 수 있다. 예를 들어, 이전에 설명된 예에서, 설명된 증강 현실 시스템들은 공항에서 개인이 있는 장소, 이들이 가질 수 있는 가방들의 수, 그리고 이들이 갈 필요가 있을 수 있는 장소를 검출하는 데 사용될 수 있다. 이러한 정보는 여행 시스템들에 의해 사용되어 탑승자 명단들을 관리하고, 사용자들을 자동으로 체크인하고, 체크된 수하물이 어디에 배치될 수 있는지를 효과적으로 나타내고, 수하물 티켓들을 자동으로 생성하고, 탑승 통지들을 제공할 수 있다. 이러한 방식으로, 개시된 시스템들 및 방법들은 비행 및 여행 관리에 관한 중요한 판정들을 행하는 데 사용되는 향상된 정보를 제공함으로써 여행자에게 도움이 될 뿐만 아니라, 공항 운영들의 효율성 및 유효성을 또한 향상시킬 수 있다.
더욱이, 개시된 시스템 및 방법들은 개인에게 상호작용식 경험들을 제공할 수 있다. 현재의 증강 현실 시스템들의 대부분은 단순히 정보를 보급한다. 어느 정도의 레벨의 상호작용성을 제공하는 시스템들은 이와 같이 유용성을 제한하는 특정 애플리케이션과의 사용자의 상호작용에 기초한다. 개시된 시스템 및 방법들이 개인에게 특정적으로 조정되는 통합된 데이터를 제공하기 때문에, 개인으로부터의 상호작용은 개인과 연관된 임의의 수의 활동들 또는 서비스들에 관련될 수 있다. 예를 들어, 개인이 항공기에 탑승하기 위해 게이트에서 기다릴 때, 개인의 비행에 관련된 정보가 상태 업데이트들을 제공하는 데 사용될 수 있을 뿐만 아니라, 개인의 일반적인 비행 선호도들, 구매 선호도들, 또는 개인의 예측 구매 분석과 통합되어, 다른 것들 중에서도, 추가 좌석 가용성, 업그레이드 옵션들, 기내 편의시설들, 또는 비행 전 서비스들에 관한 상세한 정보를 또한 제공할 수 있다. 개인은 증강 현실 시스템과 상호작용하여 이들의 좌석을 바꾸거나 또는 기내 엔터테인먼트를 미리 선택할 수 있다. 이러한 타입의 정보를 명시적으로 요청할 것을 개인에게 요구하는 대신에, 개시된 시스템 및 방법들에서 제공되는 통합으로 인해 시스템 및 방법들이 증강 현실 디바이스 자체로부터 이용가능하지 않은 콘텍스트 정보에 기초하여 개인에게 관련성있는 유용한 정보를 선제적으로 제공하게 한다.
본 명세서에 설명된 실시예들은 (다양한 데이터 소스들로부터의) 방대한 양의 이용가능한 데이터를 사용하여 통합된 그리고 상호작용식 증강 현실 경험을 제공하기 위한 기술들 및 기법들을 제공한다. 본 명세서에 설명된 실시예들은 증강 현실 디바이스로부터 개인에 관한 콘텍스트 정보 및 개인과 연관된 증강 현실 디바이스에 관한 디바이스 정보를 획득하기 위한 시스템들 및 방법들을 포함한다. 시스템들 및 방법들은 복수의 데이터 소스들로부터 개인 또는 증강 현실 디바이스와 연관된 복수의 데이터 세트들을 획득하는 것, 및 개인에 관련성있는 정보의 서브세트를 복수의 데이터 세트들로부터 결정하는 것을 더 포함하는데, 정보의 관련성은 증강 현실 디바이스로부터 획득된 디바이스 정보 및 콘텍스트 정보에 기초한다. 더욱이, 설명된 실시예들은 정보의 결정된 서브세트에 기초하여 디스플레이 데이터를 생성하는 것; 및 증강 현실 디바이스 상의 디스플레이를 위해 디스플레이 데이터를 증강 현실 디바이스에 제공하는 것을 위한 시스템들 및 방법들을 포함하는데, 디스플레이 데이터는 개인의 시야의 상부에 오버레이된다.
일부 실시예들에서, 설명된 기술들은 증강 현실 디바이스로부터 획득된 콘텍스트 정보가 개인의 시야를 표현하는 시각적 데이터를 포함하고 정보의 서브세트의 관련성이 시각적 데이터의 분석에 추가로 기초하는 시스템들 및 방법들을 더 포함한다. 개시된 실시예들 중 또 다른 실시예는 증강 현실 디바이스로부터 획득된 콘텍스트 정보가 위치 정보, 배향(orientation) 정보, 및 모션 정보 중 적어도 하나를 포함하는 시스템들 및 방법들을 포함한다. 다른 개시된 실시예들에서, 복수의 데이터 세트들로부터 획득된 정보(이 경우 데이터는 디바이스가 아닌 사유 데이터 소스(proprietary data source)들 ...로부터 온 것이다)가 개인과 연관된 여행 정보를 포함하고 여행 정보가 사용자 프로파일, 여행 선호도들, 구매된 여행 서비스들, 여행 업데이트들, 및 이력 여행 정보 중 적어도 하나를 포함하는 시스템들 및 방법들이 제공된다.
본 개시내용과 부합하는 추가적인 실시예들은 콘텍스트 정보 및 디바이스 정보의 분석이 개인의 시야 내의 엔티티(entity)들을 결정하는 것, 및 엔티티들과 연관되지 않은 정보를 필터링하는 것을 포함하는 시스템들 및 방법들을 포함한다.
도 1은 본 개시내용의 실시예들과 부합하는, 통합된 증강 현실 시스템을 위한 예시적인 시스템(100)의 블록 다이어그램이다. 시스템(100)은 데이터베이스(111), 데이터 소스(113), 데이터베이스(115), 데이터베이스(117), 데이터 시스템(116), 및 예측 분석 엔진(118)을 포함하는 사유 데이터 소스들(110)을 포함할 수 있다. 시스템(100)은 맵 데이터(121), 등급 데이터(123), 기상 데이터(127), 비행 데이터(129), 및 위치 데이터(125)를 포함할 수 있는 외부 데이터 소스들(120)을 더 포함할 수 있다. 시스템(100)은 애플리케이션 프로그래밍 인터페이스(API)(130)를 더 포함할 수 있다. API(130)는, 예를 들어, 도 2를 참조하여 하기에 더 상세히 설명되는 컴퓨팅 디바이스(200)를 사용하는 서버 또는 컴퓨터 시스템 상에서 구현될 수 있다. 예를 들어, 사유 데이터 소스들(110) 및 외부 데이터 소스들(120)로부터의 데이터는 컴퓨팅 디바이스(200)의 I/O 디바이스들(230) 및/또는 네트워크 인터페이스(218)를 통해 획득될 수 있다. 추가로, 데이터는 스토리지(storage)(228) 및/또는 시스템 메모리(221)와 같은 적합한 스토리지에 프로세싱 동안 저장될 수 있다. 도 1을 다시 참조하면, 시스템(100)은 증강 현실 시스템(140)을 더 포함할 수 있다. API(130)와 마찬가지로, 증강 현실 시스템(140)은, 예를 들어, 컴퓨팅 디바이스(200)를 사용하는 서버 또는 컴퓨터 시스템 상에서 구현될 수 있다.
도 2는 본 개시내용의 실시예들과 부합하는, 예시적인 컴퓨팅 디바이스(200)의 블록 다이어그램이다. 일부 실시예들에서, 컴퓨팅 디바이스(200)는 본 명세서에 설명된 기능성을 제공하는 특수화된 서버일 수 있다. 일부 실시예들에서, 시스템(100)의 컴포넌트들, 예컨대 사유 데이터 소스들(110)(예컨대, 데이터베이스(111), 데이터 소스(113), 데이터베이스(115), 데이터 시스템(116), 데이터베이스(117), 및 예측 분석 엔진(118)), API(130), 증강 현실 시스템(140), 및 증강 가상 현실 디바이스(145)는 컴퓨팅 디바이스(200) 또는 병렬로 동작하는 다수의 컴퓨팅 디바이스들(200)을 사용하여 구현될 수 있다. 추가로, 컴퓨팅 디바이스(200)는 본 명세서에 설명된 기능성을 제공하거나 또는 설명된 기능성 중 적어도 일부를 제공하기 위해 서버로부터 정보를 수신하는 제2 디바이스일 수 있다. 더욱이, 컴퓨팅 디바이스(200)는 본 개시내용의 실시예들과 부합하는 데이터를 저장 및/또는 제공하는 추가적인 디바이스 또는 디바이스들일 수 있다.
컴퓨팅 디바이스(200)는 하나 이상의 중앙 프로세싱 유닛(CPU)들(220) 및 시스템 메모리(221)를 포함할 수 있다. 컴퓨팅 디바이스(200)는 또한 하나 이상의 그래픽 프로세싱 유닛(GPU)들(225) 및 그래픽 메모리(226)를 포함할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(200)는 GPU(들)(225) 및/또는 그래픽 메모리(226)를 포함하지 않는 헤드리스 컴퓨팅 디바이스일 수 있다.
CPU들(220)은 메모리(예컨대, 시스템 메모리(221)), 캐시(예컨대, 캐시(241)), 또는 레지스터(예컨대, 레지스터들(240) 중 하나)에 저장되는 명령어들의 세트를 실행하는 것이 가능한 단일 또는 다수의 마이크로프로세서들, 필드 프로그래밍가능 게이트 어레이들, 또는 디지털 신호 프로세서들일 수 있다. CPU들(220)은, 그 중에서도, 데이터, 명령어들, 부동 소수점 값들, 조건부 값들, 메모리(예컨대, 시스템 메모리(221) 또는 그래픽 메모리(226)) 내의 위치들에 대한 메모리 어드레스들, 포인터들 및 카운터들을 포함하는 가변 타입들의 데이터를 저장하기 위한 하나 이상의 레지스터들(예컨대, 레지스터들(240))을 포함할 수 있다. CPU 레지스터들(240)은 명령어 포인터, 명령어 카운터, 및/또는 메모리 스택 포인터와 같은 명령어들을 실행하는 것과 연관된 데이터를 저장하는 데 사용되는 특수 목적 레지스터들을 포함할 수 있다. 시스템 메모리(221)는 플렉시블 디스크, 하드 디스크, 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광자기(MO) 드라이브, 디지털 다기능 디스크 랜덤 액세스 메모리(DVD-RAM), 솔리드 스테이트 디스크(SSD), 플래시 드라이브 및/또는 플래시 메모리, 프로세서 캐시, 메모리 레지스터, 또는 반도체 메모리와 같은 유형(tangible)의 및/또는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 시스템 메모리(221)는 데이터를 저장하고 CPU들(220)에 의한 직접적인 액세스를 허용하는 것이 가능한 하나 이상의 메모리 칩들일 수 있다. 시스템 메모리(221)는 본 명세서에 설명된 바와 같이 동작하는 것이 가능한 임의의 타입의 랜덤 액세스 메모리(RAM), 또는 다른 이용가능한 메모리 칩일 수 있다.
CPU들(220)은 때때로 버스라고 지칭되는 시스템 인터페이스(250)를 통해 시스템 메모리(221)와 통신할 수 있다. GPU들(225)을 포함하는 실시예들에서, GPU들(225)은 이미지들의 생성을 제공 및/또는 가속화하기 위해 메모리(예컨대, 그래픽 메모리(226))를 조작 및 변경할 수 있는 임의의 타입의 특수화된 회로부일 수 있다. GPU들(225)은 디스플레이 디바이스(224)와 같은 디스플레이 디바이스에 출력하기 위해 이미지들을 프레임 버퍼(예컨대, 프레임 버퍼(245))에 저장할 수 있다. 일부 실시예들에서, 프레임 버퍼(245)에 저장되는 이미지들은 네트워크 인터페이스(218) 또는 I/O 디바이스들(230)을 통해 다른 컴퓨팅 디바이스들에 제공될 수 있다. GPU들(225)은 범용 CPU들(220)보다 더 효율적으로 그래픽 데이터의 대규모 병렬 블록들을 프로세싱하도록 최적화된 고도의 병렬 구조체를 가질 수 있다. 게다가, GPU들(225)의 기능성은 특수 목적 프로세싱 유닛 또는 코-프로세서(co-processor)의 칩셋에 포함될 수 있다.
CPU들(220)은 시스템 메모리(221) 또는 다른 메모리에 저장되는 프로그래밍 명령어들을 실행할 수 있고, 메모리(예컨대, 시스템 메모리(221))에 저장되는 데이터에 대해 동작할 수 있고, 컴퓨팅 디바이스(200)의 다양한 컴포넌트들 사이의 통신을 브리징하는 시스템 인터페이스(250)를 통해 GPU들(225)과 통신할 수 있다. 일부 실시예들에서, CPU들(220), GPU들(225), 시스템 인터페이스(250), 또는 이들의 임의의 조합은 단일 칩셋 또는 프로세싱 유닛에 통합된다. GPU들(225)은 시스템 메모리(221) 또는 그래픽 메모리(226)에 저장되는 그래픽 데이터를 조작하기 위해 메모리(예컨대, 시스템 메모리(221))에 저장되는 명령어들의 세트들을 실행할 수 있다. 예를 들어, CPU들(220)은 GPU들(225)에 명령어들을 제공할 수 있고, GPU들(225)은 명령어들을 프로세싱하여 그래픽 메모리(226)에 저장되는 그래픽 데이터를 렌더링할 수 있다. 그래픽 메모리(226)는 로컬 메모리, 시스템 메모리, 온-칩 메모리들, 및 하드 디스크를 포함하는, GPU들(225)에 의해 액세스가능한 임의의 메모리 공간일 수 있다. GPU들(225)은 디스플레이 디바이스(224) 상에 그래픽 메모리(226)에 저장되는 그래픽 데이터를 디스플레이하는 것을 가능하게 할 수 있거나, 또는 그래픽 정보를 프로세싱하고 그 정보를 네트워크 인터페이스(218) 또는 I/O 디바이스들(230)을 통해 연결된 디바이스들에 제공할 수 있다.
컴퓨팅 디바이스(200)는 입/출력(I/O) 컨트롤러(223)에 연결된 I/O 디바이스들(230)(예컨대, 키보드, 마우스, 또는 포인팅 디바이스) 및 디스플레이 디바이스(224)를 포함할 수 있다. I/O 컨트롤러(223)는 시스템 인터페이스(250)를 통해 컴퓨팅 디바이스(200)의 다른 컴포넌트들과 통신할 수 있다. CPU들(220)은 또한, 예컨대 직렬 통신 또는 직접 포인트-투-포인트(point-to-point) 통신을 통해, 시스템 인터페이스(250)를 통하는 것 이외의 방식들로 시스템 메모리(221) 및 다른 디바이스들과 통신할 수 있다는 것이 인식된다. 유사하게, GPU들(225)은 시스템 인터페이스(250) 이외의 방식들로 그래픽 메모리(226) 및 다른 디바이스들과 통신할 수 있다. 입력을 수신하는 것에 더하여, CPU들(220)은 I/O 디바이스들(230)을 통해(예컨대, 프린터, 스피커들, 골전도(bone conduction), 또는 다른 출력 디바이스들을 통해) 출력을 제공할 수 있다.
또한, 컴퓨팅 디바이스(200)는 표준 전화선들, LAN 또는 WAN 링크들(예컨대, 802.21, T1, T3, 56 kb, X.25), 광대역 커넥션들(예컨대, ISDN, 프레임 릴레이, ATM), 무선 커넥션들(예컨대, 다른 것들 중에서도, 802.11a, 802.11b, 802.11b/g/n, 802.11ac, 블루투스, 블루투스 LTE, 3GPP, 또는 WiMax 표준들에 따르는 것들), 또는 상기의 전부 또는 임의의 것의 일부 조합을 포함하지만 이로 제한되지 않는 다양한 커넥션들을 통해 LAN, WAN, MAN, 또는 인터넷에 인터페이싱하기 위한 네트워크 인터페이스(218)를 포함할 수 있다. 네트워크 인터페이스(218)는 본 명세서에 설명된 동작들을 수행하는 것 및 통신이 가능한 컴퓨팅 디바이스(200)를 임의의 타입의 네트워크에 인터페이싱하기에 적합한 빌트인 네트워크 어댑터, 네트워크 인터페이스 카드, PCMCIA 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB 네트워크 어댑터, 모뎀 또는 임의의 다른 디바이스를 포함할 수 있다.
도 1을 다시 참조하면, 시스템(100)은 증강 현실 디바이스(145)를 더 포함할 수 있다. 증강 현실 디바이스는, 하기에 더 상세히 설명되는, 도 3b에 묘사된 증강 현실 디바이스(390), 또는 일부 다른 증강 현실 디바이스와 같은 디바이스일 수 있다. 더욱이, 증강 현실 디바이스(145)는, 하기에 더 상세히 설명되는, 도 3a에 도시된 디바이스(300)에 도시된 컴포넌트들을 사용하여 구현될 수 있다.
도 3a 및 도 3b는 본 개시내용의 실시예들과 부합하는, 예시적인 증강 현실 디바이스들(300 및 390)의 다이어그램들이다. 이들 예시적인 증강 현실 디바이스들은 증강 현실 디바이스의 (예컨대, 도 3a에 도시된 바와 같은) 내부 컴포넌트들 및 증강 현실 디바이스의 (예컨대, 도 3b에 도시된 바와 같은) 외부 컴포넌트들을 표현할 수 있다. 일부 실시예들에서, 도 3a는 도 3b의 증강 현실 디바이스(390) 내에 포함된 예시적인 전자 디바이스(300)를 표현할 수 있다.
도 3a는 예시적인 전자 디바이스(300)를 예시하는 단순화된 블록 다이어그램이다. 일부 실시예들에서, 전자 디바이스(300)는 비디오 디스플레이 능력들 및 예를 들어 인터넷을 통해 다른 컴퓨터 시스템들과 통신하는 능력을 갖는 증강 현실 디바이스를 포함할 수 있다. 전자 디바이스(300)에 의해 제공되는 기능성에 따라, 다양한 실시예들에서, 전자 디바이스(300)는 핸드헬드 디바이스, 데이터 및 음성 통신 양측 모두를 위해 구성된 다중 모드 통신 디바이스, 스마트폰, 모바일 전화기, 랩톱, 네트워크에 배선된 컴퓨터, 넷북, 게이밍 콘솔, 태블릿, 스마트 시계, 안경들, 헤드셋, 고글들, 또는 네트워킹 통신을 위해 인에이블되는 PDA일 수 있거나 또는 이들을 포함할 수 있다.
전자 디바이스(300)는 전자 디바이스(300)의 컴포넌트를 하우징하는 케이스(도시되지 않음)를 포함할 수 있다. 전자 디바이스(300)의 내부 컴포넌트들은, 예를 들어, 인쇄 회로 기판(PCB) 상에서 구성될 수 있다. 전자 디바이스(300)의 컴포넌트들 및 서브시스템들이 개별 컴포넌트들로서 실현될 수 있지만, 컴포넌트들 및 서브시스템들의 기능들은 또한 하나 이상의 엘리먼트들을 함께 하나 이상의 조합들로 통합, 결합, 또는 패키징하는 것에 의해 실현될 수 있다.
전자 디바이스(300)는 전자 디바이스(300)의 전체 동작을 제어하는 하나 이상의 CPU(들)(301)를 포함하는 컨트롤러를 포함할 수 있다. CPU(들)(301)는 명령어들의 특정 세트들을 실행하는 것이 가능한 하나 이상의 마이크로프로세서들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 디지털 신호 프로세서(DSP)들, 또는 이들의 임의의 조합일 수 있다. CPU(들)(301)는 통신 기능들을 수행하기 위해 무선 주파수 신호들을 무선 네트워크와 교환하기 위한 무선 통신 시스템(306), 오디오를 생성하기 위한 오디오 서브시스템(320), 위치 정보를 취득하기 위한 위치 서브시스템(308), 및 디스플레이 엘리먼트들을 생성하기 위한 디스플레이 서브시스템(310)과 같은 디바이스 서브시스템들과 상호작용할 수 있다.
CPU(들)(301)는 또한 입력 디바이스들(307), 영구 메모리(330), 랜덤 액세스 메모리(RAM)(337), 판독 전용 메모리(ROM)(338), 데이터 포트(318)(예컨대, 종래의 직렬 데이터 포트, 범용 직렬 버스(USB) 데이터 포트, 30핀 데이터 포트, 라이트닝(Lightning) 데이터 포트, 또는 고선명 멀티미디어 인터페이스(HDMI) 데이터 포트), 마이크로폰(322), 카메라(324), 및 (임의의 적절한 무선(예컨대, RF), 광학, 또는 다른 단거리 통신 기술(예를 들어, WiFi, 블루투스 또는 NFC)을 채용할 수 있는) 무선 통신물(306)과 상호작용할 수 있다. 도 3에 도시된 서브시스템들 중 일부는 통신 관련 기능들을 수행하는 반면, 다른 서브시스템들은 "상주(resident)" 또는 온-디바이스 기능들을 제공할 수 있다.
무선 통신물(306)은 임의의 외부 디바이스들(예컨대, 서버, 도시되지 않음)과의 통신을 가능하게 하기 위해 네트워크와 통신하기 위한 통신 시스템들을 포함한다. 무선 통신물(306)의 특정 설계는 전자 디바이스(300)가 동작하려고 의도된 무선 네트워크에 좌우된다. 전자 디바이스(300)는 요구된 네트워크 등록 또는 활성화 절차들이 완료된 후에 무선 네트워크를 통해 통신 신호들을 전송 및 수신할 수 있다.
위치 서브시스템(308)은 위치 정보를 제공하는 글로벌 포지셔닝 시스템(예컨대, GPS(309))과 같은 다양한 시스템들을 제공할 수 있다. 또한, 위치 서브시스템은 위치 데이터를 추가로 제공하기 위해 (예컨대, 무선 통신물(306)을 통해 연결되는) 연결된 디바이스들로부터의 위치 정보를 활용할 수 있다. 위치 서브시스템(308)에 의해 제공되는 위치 정보는, 예를 들어, 영구 메모리(330)에 저장될 수 있고, 애플리케이션들(334) 및 운영 체제(332)에 의해 사용될 수 있다.
디스플레이 서브시스템(310)은 다양한 디스플레이들(예컨대, 좌안(left eye) 디스플레이(311) 및 우안(right eye) 디스플레이(313))을 제어할 수 있다. 증강 현실 디스플레이를 제공하기 위해, 디스플레이 서브시스템(310)은 투명 디스플레이들 상에 그래픽 엘리먼트들(예컨대, GPU(들)(302)를 사용하여 생성된 것들)의 디스플레이를 제공할 수 있다. 다른 실시예들에서, 좌안 디스플레이(311) 및 우안 디스플레이(313) 상에 생성되는 디스플레이는 카메라(324)로부터 캡처된 이미지를 포함할 수 있고 오버레이된 그래픽 엘리먼트들로 재생될 수 있다. 더욱이, 디스플레이 서브시스템(310)은 상이한 엘리먼트들을 보여주거나 또는 심도(depth) 또는 원근감의 시뮬레이션을 제공하기 위해 좌안 디스플레이(311) 및 우안 디스플레이(313) 상에 상이한 오버레이들을 디스플레이할 수 있다.
카메라(324)는 CMOS 카메라, CCD 카메라, 또는 스틸 이미지들 또는 비디오 이미지 데이터와 같은 압축 또는 비압축 이미지 데이터를 캡처 및 출력하는 것이 가능한 임의의 다른 타입의 카메라일 수 있다. 일부 실시예들에서, 전자 디바이스(300)는 하나 초과의 카메라를 포함하여, 사용자가 하나의 카메라로부터 다른 카메라로 전환하게 하거나, 또는 하나의 카메라에 의해 캡처된 이미지 데이터를 다른 카메라에 의해 캡처된 이미지 데이터의 상부에 오버레이하게 할 수 있다. 카메라(324)로부터 출력되는 이미지 데이터는, 예를 들어, RAM(337)에 상주하는 임시 버퍼, 또는 ROM(338) 또는 영구 메모리(330)에 상주하는 영구 버퍼일 수 있는 이미지 버퍼에 저장될 수 있다. 이미지 버퍼는, 예를 들어, 선입 선출(FIFO) 버퍼일 수 있다. 일부 실시예들에서, 이미지 버퍼는 그래픽 오버레이를 가진 채로 또는 갖지 않은 채로 좌안 디스플레이(311) 및/또는 우안 디스플레이(313) 상의 디스플레이를 위해 GPU(들)(302) 및 디스플레이 서브시스템(310)에 직접 제공될 수 있다.
전자 디바이스는 전자 디바이스(300)와 연관된 모션 및 배향 데이터를 측정하기 위한 관성 측정 유닛(예컨대, IMU(340))을 포함할 수 있다. IMU(340)는 가속도계(342), 자이로스코프들(344), 및 다른 센서들(346)을 활용하여 전자 디바이스(300)에 의한 사용을 위한 특정 힘, 각속도, 자기장들, 및 생체 정보를 캡처할 수 있다. IMU(340) 및 연관된 센서들(예컨대, 가속도계(342), 자이로스코프들(344), 및 다른 센서들(346))에 의한 데이터 캡처는 영구 메모리(330) 또는 RAM(337)과 같은 메모리에 저장될 수 있고 애플리케이션들(334) 및 운영 체제(332)에 의해 사용될 수 있다. IMU(340) 및 그의 연관된 센서들을 통해 수집되는 데이터는 또한, 예를 들어, 무선 통신물(306)을 통해 네트워킹 디바이스들에 제공될 수 있다.
CPU(들)(301)는 저장된 프로그램 제어 하에서 동작하고 영구 메모리(330)와 같은 유형으로 구현된 비일시적 컴퓨터 판독가능 저장 매체에 저장되는 소프트웨어 모듈들을 실행하는 하나 이상의 프로세서들일 수 있는데, 이 영구 메모리는 레지스터, 프로세서 캐시, 랜덤 액세스 메모리(RAM), 플렉시블 디스크, 하드 디스크, CD-ROM(compact disk-read only memory), 및 MO(magneto-optical), DVD-ROM(digital versatile disk-read only memory), DVD RAM(digital versatile disk-random access memory), 또는 다른 반도체 메모리들일 수 있다.
소프트웨어 모듈들은 또한 ROM(338)과 같은 컴퓨터 판독가능 저장 매체, 또는 EEPROM, EAROM, FLASH를 포함하는 임의의 적절한 영구 메모리 기술에 저장될 수 있다. 이들 컴퓨터 판독가능 저장 매체들은 CPU(들)(301)에 의한 실행을 위한 컴퓨터 판독가능 명령어들을 저장하여 전자 디바이스(300) 상의 다양한 기능들을 수행한다. 대안적으로, 기능들 및 방법들은 또한 하드웨어 컴포넌트들 또는, 예를 들어, ASIC들 및/또는 특수 목적 컴퓨터들과 같은 하드웨어 및 소프트웨어의 조합들로 구현될 수 있다.
소프트웨어 모듈들은 전자 디바이스(300)의 동작을 제어하는 데 사용되는 운영 체제 소프트웨어(332)를 포함할 수 있다. 추가적으로, 소프트웨어 모듈들은 전자 디바이스(300)에 추가적인 기능성을 제공하기 위한 소프트웨어 애플리케이션들(334)을 포함할 수 있다. 예를 들어, 소프트웨어 애플리케이션들(334)은 상기 시스템(100)과 같은 시스템들과 인터페이싱하도록 설계된 애플리케이션들을 포함할 수 있다. 애플리케이션들(334)은 전자 디바이스(300)가 상이한 데이터 시스템들과 인터페이싱하게 하고 향상된 기능성 및 시각적 증강을 제공하게 하는 특정 기능성을 제공할 수 있다.
소프트웨어 애플리케이션들(334)은 또한, 예를 들어, 이메일 메시징 애플리케이션, 주소록, 노트패드 애플리케이션, 인터넷 브라우저 애플리케이션, 음성 통신(즉, 전화통신 또는 음성 인터넷 프로토콜(Voice over Internet Protocol)(VoIP)) 애플리케이션, 맵핑 애플리케이션, 미디어 플레이어 애플리케이션, 건강 관련 애플리케이션 등을 포함하는 다양한 애플리케이션들을 포함할 수 있다. 소프트웨어 애플리케이션들(334) 각각은 그 대응하는 애플리케이션에 따라 (예컨대, 디스플레이 서브시스템(310)을 통한) 증강 현실 디스플레이 상의 디스플레이를 위해 의도된 특정 필드들 및 그래픽 엘리먼트들의 배치를 정의하는 레이아웃 정보를 포함할 수 있다. 일부 실시예들에서, 소프트웨어 애플리케이션들(334)은 운영 체제(332)의 지시 하에서 실행하는 소프트웨어 모듈들이다.
운영 체제(332)는 소프트웨어 애플리케이션들(334)과 전자 디바이스(300)의 다양한 서브시스템들 및 서비스들 사이에서 통신하기 위한 인터페이스를 제공하는 다수의 애플리케이션 프로토콜 인터페이스(API)들을 제공할 수 있다. 예를 들어, 운영 체제 소프트웨어(332)는 전자 디바이스(300) 상의 디스플레이를 위한 그래픽 엘리먼트들을 생성할 필요가 있는 애플리케이션들에 그래픽 API를 제공한다. 사용자 인터페이스 API에 액세스하면 오버레이들과 같은 증강 인터페이스 컨트롤들을 생성 및 관리하고; 카메라(324), 마이크로폰(322), 또는 입력 디바이스(307)를 통해 입력을 수신하는 기능성; 및 디스플레이 서브시스템(310)을 통한 디스플레이를 위해 의도된 다른 기능성을 애플리케이션에 제공할 수 있다. 게다가, 카메라 서비스 API는 디스플레이 서브시스템(310)을 통해 증강을 제공하기 위해 프로세싱 및 사용될 수 있는 이미지 또는 비디오 데이터와 같은 이미지 데이터를 캡처할 목적으로 카메라(324)를 통해 비디오의 캡처를 가능하게 할 수 있다.
일부 실시예들에서, 전자 디바이스(300)의 컴포넌트들은 사용자로부터 전자 디바이스(300)로의 입력을 제공하기 위해 함께 사용될 수 있다. 예를 들어, 디스플레이 서브시스템(310)은 좌안 디스플레이(311) 및 우안 디스플레이(313)에 대한 상호작용식 컨트롤들을 포함할 수 있다. 증강 디스플레이의 일부로서, 이들 컨트롤들은 전자 디바이스(300)의 사용자의 전방에 나타날 수 있다. 카메라(324)를 사용하여, 전자 디바이스(300)는 사용자가 증강 현실 디바이스 상에 디스플레이되는 컨트롤들 중 하나를 선택할 때를 검출할 수 있다. 사용자는 카메라에 의해 캡처되는 특정 제스처 또는 움직임을 행하는 것, 디스플레이 서브시스템(310)이 증강 뷰 상에 가상 컨트롤을 디스플레이하는 공간의 구역을 터치하는 것에 의해, 또는 전자 디바이스(300) 상의 입력 디바이스(307)를 물리적으로 터치하는 것에 의해 컨트롤을 선택할 수 있다. 이 입력은 전자 디바이스(300)에 의해 프로세싱될 수 있다.
카메라(324)는 직접적인 사용자 입력뿐만 아니라 헤드 트래킹 및 핸드 트래킹을 위해 사용된 것 양측 모드를 검출하기 위한 다수의 카메라들을 더 포함할 수 있다. 사용자가 이들의 머리와 손을 움직일 때, 카메라(324)는 사용자의 손의 움직임들 및 이동 환경에 대응하는 시각적 정보를 제공할 수 있다. 이러한 움직임들은 CPU(들)(301), 운영 체제(332), 및 애플리케이션들(334)에 제공될 수 있는데, 여기서 데이터는 사용자 선택들 및 입력을 결정하기 위해 디스플레이 서브시스템(310)을 통해 디스플레이되는 증강 정보에 관련된 다른 센서 데이터 및 정보와 결합될 수 있다.
더욱이, 전자 디바이스(300)는 마이크로폰(322)으로부터 직접적인 입력을 수신할 수 있다. 일부 실시예들에서, 마이크로폰(322)은 동일하거나 상이한 목적으로 사용되는 하나 이상의 마이크로폰들일 수 있다. 예를 들어, 다중 마이크로폰 환경들에서, 일부 마이크로폰들은 환경 변화들을 검출할 수 있는 한편, 다른 마이크로폰들은 사용자로부터 직접적인 오디오 커맨드들을 수신할 수 있다. 마이크로폰(322)은 사용자로부터의 오디오 또는 입력을 직접 녹음할 수 있다. 카메라(324)로부터의 시각적 데이터와 유사하게, 마이크로폰(322)으로부터의 오디오 데이터는 사용자의 입력을 결정하기 위한 프로세싱을 위해 CPU(들)(301), 운영 체제(332), 및 애플리케이션들(334)에 제공될 수 있다.
일부 실시예들에서, 영구 메모리(330)는, 사용자 어카운트(user account)들 또는 디바이스 특정 식별자들의 정보와 같은, 전자 디바이스(300)의 사용자에 특정된 데이터를 포함하는 데이터(336)를 저장한다. 영구 메모리(330)는 또한 전자 디바이스(300)에 의해 액세스되는 서비스들로부터 획득된 것들(예컨대, 콘텐츠들, 통지들, 및 메시지들)에 관련된 데이터를 저장할 수 있다. 영구 메모리(330)는, 예를 들어, 전자 디바이스(300)의 특정 사용자의 선호도들을 갖는, 다양한 애플리케이션들에 관련된 데이터를 추가로 저장할 수 있다. 일부 실시예들에서, 영구 메모리(330)는 예컨대 전자 디바이스(300) 상에서 실행하는 애플리케이션에 사용자의 크리덴셜(credential)들을 자동으로 제공하기 위해, 사용자의 데이터를 애플리케이션 내의 데이터의 특정 필드와 링크시키는 데이터(336)를 저장할 수 있다. 게다가, 다양한 실시예들에서, 데이터(336)는 또한 네트워크와의 통신을 확립 및 유지하도록 전자 디바이스(300)에 의해 요구되는 정보를 포함하는 서비스 데이터를 포함할 수 있다.
일부 실시예들에서, 전자 디바이스(300)는 또한 하나 이상의 착탈식 메모리 모들듈(352)(예컨대, FLASH 메모리) 및 메모리 인터페이스(350)를 포함할 수 있다. 착탈식 메모리 모듈(352)은 무선 네트워크에 대해 사용자 또는 사용자의 어카운트를 식별 또는 인증하는 데 사용되는 정보를 저장할 수 있다. 예를 들어, GSM 및 후속자 네트워크들을 포함하는 특정 타입들의 무선 네트워크들과 관련하여, 착탈식 메모리 모듈(352)은 가입자 식별 모듈(Subscriber Identity Module)(SIM)이라고 지칭된다. 메모리 모듈(352)은 무선 네트워크와 관련하여 동작하기 위해 전자 디바이스의 메모리 모듈 인터페이스(350)에 삽입되거나 또는 그에 커플링될 수 있다.
전자 디바이스(300)는 또한 전자 디바이스(300)를 동작시키기 위한 에너지를 공급하는 배터리(362)를 포함할 수 있다. 배터리(362)는 외부 전원 소스(도시되지 않음)로부터의 배터리(362)의 충전 그리고 전자 디바이스(300) 내의 또는 그에 커플링된 다양한 로드들로의 에너지의 분산과 같은 기능들을 관리할 수 있는 배터리 인터페이스(360)를 통해 전자 디바이스(300)의 전기 회로부에 커플링될 수 있다.
데이터 그리고 가능하게는 음성 통신 애플리케이션들을 포함하는, 기본 디바이스 동작들을 제어하는 애플리케이션들의 세트는 제조 동안 또는 그 후에 전자 디바이스(300) 상에 인스톨될 수 있다. 운영 체제 소프트웨어(332) 또는 소프트웨어 애플리케이션들(334)에 대한 추가적인 애플리케이션들 또는 업그레이드들은 또한 데이터 포트(318), 무선 통신물(306), 메모리 모듈(352), 또는 다른 적합한 시스템을 통해 전자 디바이스(300) 상에 로딩될 수 있다. 다운로드된 프로그램들 또는 코드 모듈들은 영구적으로 인스톨되어, 예를 들어, 영구 메모리(330)에 기입되거나, 또는 런타임 시에 CPU(들)(301)에 의한 실행을 위해 RAM(337)에 기입되고 그로부터 실행될 수 있다.
도 3b는 예시적인 증강 현실 디바이스(390)이다. 일부 실시예들에서, 증강 현실 디바이스(390)는 착용자를 위해 증강 뷰포트를 제공하는 콘택트들, 안경들, 고글들, 또는 헤드기어일 수 있다. (도 3b에 도시되지 않은) 다른 실시예들에서, 증강 현실 디바이스는 도 3a에 관련하여 설명된 바와 같이 컴퓨터, 모바일 디바이스, 휴대용 전기통신 디바이스, 태블릿, PDA, 또는 다른 컴퓨팅 디바이스의 일부일 수 있다.
도 3b에 도시된 바와 같이, 증강 현실 디바이스(390)는 착용자가 볼 수 있는 뷰포트(391)를 포함할 수 있다. 증강 현실 디바이스(390)는 또한 프로세싱 컴포넌트들(392)을 포함할 수 있다. 프로세싱 컴포넌트들(392)은 도 3a에 관련하여 상술된 회로부 및 모듈들을 하우징하는 인클로저들일 수 있다. 증강 현실 디바이스(390)의 각각의 측면 상에 2개의 구별되는 엘리먼트들로서 도시되어 있지만, 프로세싱 하드웨어 및/또는 컴포넌트들은 증강 현실 디바이스(390)의 한쪽 측면에만 하우징될 수 있다. 도 3a에 도시된 컴포넌트들은 증강 현실 디바이스(390)의 임의의 부분에 포함될 수 있다.
일부 실시예들에서, 증강 현실 디바이스(390)는 디스플레이 디바이스들(393)을 포함할 수 있다. 이들 디스플레이 디바이스들은 도 3a의 좌안 디스플레이(311) 및 우안 디스플레이(313)와 연관될 수 있다. 이들 실시예들에서, 디스플레이 디바이스들(393)은 좌안 디스플레이(311), 우안 디스플레이(313), 및 디스플레이 서브시스템(310)으로부터 적절한 디스플레이 정보를 수신할 수 있고, 뷰포트(391) 상에 적절한 오버레이를 투영 또는 디스플레이할 수 있다. 이 프로세스를 통해, 증강 디스플레이 디바이스(390)는 착용자의 시야에서 보여지는 증강 그래픽 엘리먼트들을 제공할 수 있다.
도 1을 다시 참조하면, 각각의 데이터베이스들(111, 115, 및 117), 데이터 소스(113), 데이터 시스템(116), 예측 분석 엔진(118), API(130), 및 증강 현실 시스템(140)은 관련된 기능들 중 특정 기능을 수행하는 프로그램의 일부 또는 다른 컴포넌트들에서의 사용을 위해 설계되는 패키징된 기능적 하드웨어 유닛인 모듈일 수 있다. 이들 모듈들 각각은 도 2의 컴퓨팅 디바이스(200)를 사용하여 구현될 수 있다. 이들 컴포넌트들 각각은 하기에 더 상세히 설명된다. 일부 실시예들에서, 시스템(100)의 기능성은 데이터의 분산 프로세싱을 가능하게 하기 위해 다수의 컴퓨팅 디바이스들(예컨대, 컴퓨팅 디바이스(200)와 유사한 다수의 디바이스들)에 걸쳐 분할될 수 있다. 이들 실시예들에서, 상이한 컴포넌트들은 도 2의 컴퓨팅 디바이스(200)의 I/O 디바이스(230) 또는 네트워크 인터페이스(218)를 통해 통신할 수 있다.
사유 데이터 소스들(110) 및 외부 데이터 소스들(120)을 통해 시스템(100)으로 데이터가 입수가능하게 될 수 있다. 각각에 대해 도시된 예시적인 데이터 소스들(예컨대, 사유 데이터 소스들(110)의 데이터베이스들(111, 115, 및 117), 데이터 소스(113), 데이터 시스템(116), 및 예측 분석 엔진(118) 및 외부 데이터 소스들(120)의 맵 데이터(121), 등급 데이터(123), 기상 데이터(127), 비행 데이터(129), 및 위치 데이터(125))은 총망라한 것이 아니라는 것이 인식된다. 많은 상이한 데이터 소스들 및 타입들의 데이터가 사유 데이터 소스들(110) 및 외부 데이터 소스들(120) 양측 모두에 존재할 수 있다. 더욱이, 데이터의 일부는 외부 데이터 소스들(120)과 사유 데이터 소스들(110) 간에 중첩될 수 있다. 예를 들어, 외부 데이터 소스들(120)은 특정 공항들 또는 비즈니스들에 관한 데이터를 포함할 수 있는 위치 데이터(125)를 제공할 수 있다. 이 동일한 데이터는 또한, 동일하거나 상이한 형태로, 예를 들어, 사유 데이터 소스들(110)의 데이터베이스(111)에 포함될 수 있다.
더욱이, 사유 데이터 소스들(110) 및 외부 데이터 소스들(120) 내의 데이터 소스들, 또는 시스템(100)에 의해 사용되는 임의의 다른 데이터 소스들 중 임의의 것은 관계형 데이터베이스 관리 시스템(Relational Database Management System)(RDBMS)(예컨대, 오라클 데이터베이스, 마이크로소프트 SQL 서버, MySQL, PostgreSQL, 및/또는 IBM DB2)일 수 있다. RDBMS는, 가능한 한 적은 동작들로, 전체 로우(row), 또는 레코드에 대한 데이터를 효율적으로 리턴하도록 설계될 수 있다. RDBMS는 데이터의 각각의 로우를 직렬화하는 것에 의해 데이터를 저장할 수 있다. 예를 들어, RDBMS에서, 레코드와 연관된 데이터는 연속으로 저장될 수 있어서, 레코드의 모든 카테고리들과 연관된 데이터가 하나의 동작으로 액세스될 수 있다. 더욱이, RDBMS는 공통 필드들 또는 속성들에 대한 레코드들을 조인하는 것에 의해 다른 테이블들에 저장되는 관련 레코드들의 액세스를 효율적으로 허용할 수 있다.
일부 실시예들에서, 사유 데이터 소스들(110) 및 외부 데이터 소스들(120) 내의 데이터 소스들, 또는 시스템(100)에 의해 사용되는 임의의 다른 데이터 소스들 중 임의의 것은 비관계형 데이터베이스 관리 시스템(NRDBMS)(예컨대, XML, 카산드라(Cassandra), CouchDB, MongoDB, 오라클 NoSQL 데이터베이스, FoundationDB, 및/또는 레디스(Redis))일 수 있다. 비관계형 데이터베이스 관리 시스템은, 다른 것들 중에서도, 키-값 스토어(key-value store), 문서 스토어, 그래프, 및 튜플 스토어와 같은 다양한 데이터 구조체들을 사용하여 데이터를 저장할 수 있다. 예를 들어, 문서 스토어를 사용하는 비관계형 데이터베이스는 특정 레코드와 연관된 모든 데이터를 XML을 사용하여 인코딩된 단일 문서로 결합할 수 있다. 비관계형 데이터베이스는 전체 레코드의 효율적인 액세스를 제공하고, 다수의 데이터 시스템들에 걸쳐 효과적인 분산을 제공할 수 있다.
일부 실시예들에서, 사유 데이터 소스들(110) 및 외부 데이터 소스들(120) 내의 데이터 소스들, 또는 시스템(100)에 의해 사용되는 임의의 다른 데이터 소스들 중 임의의 것은 그래프 데이터베이스(예컨대, Neo4j 또는 타이탄(Titan))일 수 있다. 그래프 데이터베이스는 데이터를 표현하기 위한 노드들, 에지들, 및 성질들과 같은 그래프 개념들을 사용하여 데이터를 저장할 수 있다. 그래프 데이터베이스에 저장되는 레코드들은 다양한 노드들을 연결하는 에지들에 기초하여 다른 레코드들과 연관될 수 있다. 이들 타입들의 데이터베이스들은 다른 타입들의 데이터베이스 시스템들에서 모델링하기 어려운 복잡한 계층적 관계들을 효율적으로 저장할 수 있다.
일부 실시예들에서, 사유 데이터 소스들(110) 및 외부 데이터 소스들(120) 내의 데이터 소스들, 또는 시스템(100)에 의해 사용되는 임의의 다른 데이터 소스들 중 임의의 것은 API를 통해 액세스될 수 있다. 예를 들어, 데이터 시스템(116)은 데이터베이스(115) 내의 데이터로의 액세스를 허용하는 API일 수 있다. 더욱이, 외부 데이터 소스들(120)은 모두 API를 통해 액세스되는 공개적으로 입수가능한 데이터일 수 있다. API(130)는 이들의 특정 API를 통해 데이터 소스들 중 임의의 것에 액세스하여 시스템(100)에 추가적인 데이터 및 정보를 제공할 수 있다.
사유 데이터 소스들(110) 및 외부 데이터 소스들(120)의 데이터 소스들이 분리된 데이터베이스들 또는 데이터 소스들로서 도 1에 표현되지만, 다른 것들 중에서도, 이전에 설명된 데이터 저장 시스템들 중 임의의 것을 활용할 수 있는 이들 데이터 소스들은 다수의 전자 디바이스들, 데이터 저장 시스템들, 또는 다른 전자 시스템들에 걸쳐 분산될 수 있다는 것이 인식된다. 더욱이, 사유 데이터 소스들(110)의 데이터 소스들이 API(130)를 통해 액세스가능한 구별되는 시스템들 또는 컴포넌트들로서 도시되지만, 일부 실시예들에서 이들 다양한 데이터 소스들은 API(130) 이외의 인터페이스들을 통해 서로 직접적으로 액세스할 수 있다는 것이 인식된다.
데이터베이스(111) 또는 데이터 소스(113)와 같은 데이터 저장 시스템들로의 직접적인 액세스를 제공하는 것에 더하여, 사유 데이터 소스들(110)은 데이터 시스템(116)을 포함할 수 있다. 데이터 시스템(116)은 데이터베이스(115)와 같은 하나 또는 다수의 데이터 소스들에 연결할 수 있다. 데이터 시스템(116)은 데이터베이스(115)에 저장되는 데이터에 대한 인터페이스를 제공할 수 있다. 일부 실시예들에서, 데이터 시스템은 데이터베이스(115) 내의 데이터를 다른 데이터와 결합할 수 있거나, 또는 데이터 시스템(116)은 데이터베이스(115) 내의 데이터를, 그 데이터를 API(130) 또는 일부 다른 요청자에게 제공하기 전에, 미리 프로세싱할 수 있다.
사유 데이터 소스들(110)은 예측 분석 엔진(118)을 더 포함할 수 있다. 예측 분석 엔진(118)은 데이터베이스(117)에 저장되는 데이터를 사용할 수 있고 데이터베이스(117)에 새로운 데이터를 저장할 수 있다. 예측 분석 엔진은 API(130)를 통해 다른 시스템에 데이터를 제공하는 것과 API(130)를 통해 다른 시스템들 또는 컴포넌트들로부터 데이터를 수신하는 것 양측 모두를 할 수 있다. 예를 들어, 예측 분석 엔진(118)은, 다른 것들 중에서도, 사용자들에 의해 행해지는 구매들, 여행 선호도들에 대한 업데이트들, 브라우징된 서비스들, 및 거부된 서비스들에 대한 정보를 수신할 수 있다. 예측 분석 엔진(118)에 의해 수집된 정보는 사유 데이터 소스들(110)의 다른 컴포넌트들에 저장되는 정보뿐만 아니라 외부 데이터 소스들(120)로부터의 정보 양측 모두에 관련된 임의의 데이터를 포함할 수 있다.
이 데이터를 사용하여, 예측 분석 엔진(118)은, 다른 것들 중에서도, 지도 학습(supervised learning), 비지도 학습, 반지도 학습, 보강 학습, 심층 학습을 포함하는 다양한 예측 분석 및 머신 학습 기술들을 활용할 수 있다. 이들 기법들은 예측 분석 엔진(118)에 의해 수집된 데이터에 기초하여 모델들을 구축 및 업데이트하는 데 사용될 수 있다. 이들 기법들 및 모델들을 새로운 데이터 세트들에 적용함으로써, 예측 분석 엔진(118)은 특정 개인에 의해 행해진 과거의 거동 및/또는 선택들에 기초하여 정보를 제공할 수 있다. 예를 들어, 예측 분석 엔진은 특정 개인에 관한 데이터를 증강 현실 디바이스(145) 및 증강 현실 시스템(140)으로부터 수신할 수 있다. 예측 분석 엔진(118)은 그 개인과 연관된 프로파일 정보 및 과거 구매 정보를 사용하여 개인이 즐길 수 있는 기내 편의시설들 또는 좌석 업그레이드들과 같은 여행 서비스들을 결정할 수 있다. 예를 들어, 예측 분석 엔진은 개인이 퍼스트 클래스로 업그레이드하는 것으로 선택한 적이 없었지만 프리미엄 음료들 및 기내 엔터테인먼트 패키지들과 같은 편의시설들을 종종 구매한다는 것을 결정할 수 있다. 따라서, 예측 분석 엔진은 개인에게 이들의 좌석을 업그레이드하는 옵션이 아닌 이들 편의시설들을 구매하는 옵션이 제시될 수 있다는 것을 결정할 수 있다. 예측 분석 엔진(118)은 이 제공된 예를 넘어서는 진보된 기법들을 이용하는 것이 가능하다는 것이 인식된다. 사유 데이터 소스들(110)은 대중에게 직접 액세스가능하지 않거나 이용가능하지 않은 다양한 데이터 소스들(예컨대, 데이터베이스(111), 데이터 소스(113), 데이터베이스(115), 데이터 시스템(116), 데이터베이스(117), 및 예측 분석 엔진(118))을 표현할 수 있다. 이들 데이터 소스들은 가입 또는 요금의 지불에 기초하여 가입자들에게 제공될 수 있다. 이들 데이터 소스들로의 액세스는 사유 데이터 소스들의 소유자에 의해 직접 제공될 수 있거나, 또는 하기에 더 상세히 설명되는, API(130)와 같은 인터페이스를 통해 제공될 수 있다.
사유 데이터 소스들(110)의 단지 하나의 그룹화가 도 1에 도시되지만, 다양한 제공자들로부터의 다양한 사유 데이터 소스들이 시스템(100)에 이용가능해질 수 있다. 일부 실시예들에서, 데이터 소스들의 그룹화들 각각은 공통 산업 또는 도메인에 관련된 데이터를 포함할 것이다. 다른 실시예들에서, 사유 데이터 소스들의 그룹화는 다양한 데이터 소스들의 제공자에 좌우될 수 있다.
예를 들어, 사유 데이터 소스들(110) 내의 데이터 소스들은 항공사 여행 산업에 관련된 데이터를 포함할 수 있다. 이 예에서, 데이터베이스(111)는 여행 프로파일 정보를 포함할 수 있다. 기본 인구통계 정보에 더하여, 여행 프로파일 데이터는 다가오는 여행 정보, 과거 여행 이력, 여행자 선호도들, 충성도 정보, 및 여행자 프로파일에 관련된 다른 정보를 포함할 수 있다. 추가로 이 예에서, 데이터 소스(113)는 파트너십들 또는 부속 서비스들 예컨대 호텔들, 렌터카들, 이벤트들, 보험, 및 주차에 관련된 정보를 포함할 수 있다. 추가적으로, 데이터베이스(115)는 공항들, 비행기들, 특정 좌석 배치들, 게이트 정보, 및 다른 물류 정보에 관한 상세한 정보를 포함할 수 있다. 이전에 설명된 바와 같이, 이 정보는 데이터 시스템(116)을 통해 프로세싱될 수 있다. 따라서, 이 예시적인 실시예에서, 사유 데이터 소스들(110) 내의 데이터 소스들은 포괄적인 여행 데이터를 제공할 수 있다.
사유 데이터 소스들(110)과 유사하게, 외부 데이터 소스들(120)은 다양한 데이터 소스들(예컨대, 맵 데이터(121), 등급 데이터(123), 기상 데이터(127), 비행 데이터(129), 및 위치 데이터(125))을 표현할 수 있다. 사유 데이터 소스들(110)과는 달리, 외부 데이터 소스들(120)은 대중에게 액세스가능할 수 있거나, 또는 API(130) 또는 시스템(100)의 제공자의 직접적인 제어 밖에 있는 데이터 소스들일 수 있다.
외부 데이터 소스들(120)의 단지 하나의 그룹화가 도 1에 도시되지만, 다양한 제공자들로부터의 다양한 외부 데이터 소스들이 시스템(100)에 이용가능해질 수 있다. 일부 실시예들에서, 데이터 소스들의 그룹화들 각각은 공통 산업 또는 도메인에 관련된 데이터를 포함할 것이다. 다른 실시예들에서, 외부 데이터 소스들의 그룹화는 다양한 데이터 소스들의 제공자에 좌우될 수 있다. 일부 실시예들에서, 외부 데이터 소스들(120)은 API(130)에 이용가능한 모든 외부 데이터 소스를 표현할 수 있다.
더욱이, 외부 데이터 소스들(120)에 도시된 특정 타입들의 데이터는 단지 예시적인 것이다. 추가적인 타입들의 데이터가 포함될 수 있고, 외부 데이터 소스들(120) 내의 특정 타입들의 데이터의 포함은 제한하려고 의도된 것이 아니다.
도 1에 도시된 바와 같이, 외부 데이터 소스들(120)은 맵 데이터(121)를 포함할 수 있다. 맵 데이터는, 다른 것들 중에서도, 구글 맵(Google Maps) API 및/또는 오픈 스트리트 맵(Open Street Map) API와 같은 제공된 API를 통해 입수가능한 위치, 맵들, 및 내비게이션 정보를 포함할 수 있다. 등급 데이터(123)는 비즈니스들, 제품들, 위치들 등에 관한 등급 또는 리뷰 정보를 포함할 수 있다. 예를 들어, 등급 데이터(123)는, 다른 것들 중에서도, 옐프(Yelp) API, 아마존 고객 리뷰 API, 및/또는 트립어드바이저 콘텐츠(TripAdvisor Content) API로부터의 데이터를 포함할 수 있다. 위치 데이터(125)는 비즈니스 프로파일들, 영업 시간들, 메뉴들, 또는 유사한 것과 같은 특정 데이터를 포함할 수 있다. 기상 데이터(127)는, 다른 것들 중에서도, 다크 스카이 포어캐스트(Dark Sky Forecast) API, 기상 채널 API, NOAA 웹 서비스 API, 및/또는 웨더 언더그라운드(Weather Underground) API를 통해 액세스될 수 있는 위치 특정 기상 정보일 수 있다. 비행 데이터(129)는, 다른 것들 중에서도, 플라이트스태츠(FlightStats) API, 플라이트와이즈(FlightWise) API, 플라이트스태츠 API 및 플라이트어웨어(FlightAware) API를 통해 액세스될 수 있는 비행 정보, 게이트 정보, 및/또는 공항 정보를 포함할 수 있다. 이들 외부 데이터 소스들(120)(예컨대, 맵 데이터(121), 등급 데이터(123), 기상 데이터(127), 비행 데이터(129), 및 위치 데이터(125)) 각각은 API(130)를 통해 액세스되는 추가적인 데이터를 제공할 수 있다.
이전에 설명된 바와 같이, API(130)는 사유 데이터 소스들(110) 및 외부 데이터 소스들(120)을 통해 이용가능한 데이터 중 임의의 것을 공통 인터페이스에서 액세스하기 위한 단일화된 인터페이스를 제공할 수 있다. API(130)는, 예를 들어, 도 2에 관련하여 설명된 컴퓨팅 디바이스(200)와 같은 컴퓨팅 디바이스 상에서 실행되는 소프트웨어일 수 있다. 이들 실시예들에서, API(130)는 임의의 표준 프로그래밍 언어(예컨대, 파이선, 루비, 자바, C, C++, node.js, PHP, 펄, 또는 유사한 것)를 사용하여 기입될 수 있고, 다른 것들 중에서도, SOAP, JSON 오브젝트들, REST 기반 서비스들, XML, 또는 유사한 것을 포함하는 다양한 데이터 전송 포맷들 및/또는 프로토콜들을 사용하여 액세스를 제공할 수 있다. API(130)는 표준 포맷으로 데이터에 대한 수신 요청을 제공하고 예측가능한 포맷으로 응답할 수 있다.
일부 실시예들에서, API(130)는 하나 이상의 데이터 소스들로부터의 데이터(예컨대, 사유 데이터 소스들(110), 외부 데이터 소스들(120), 또는 양측 모두에 저장되는 데이터)를 단일화된 응답으로 결합할 수 있다. 추가적으로, 일부 실시예들에서, API(130)는 다양한 데이터 소스들로부터의 정보를 프로세싱하여 원시 데이터에서 이용가능하지 않은 추가적인 필드들 또는 속성들을 제공할 수 있다. 이 프로세싱은 하나 또는 다수의 데이터 소스들에 기초할 수 있고 각각의 데이터 소스로부터의 하나 또는 다수의 레코드들을 활용할 수 있다. 예를 들어, API(130)는 평균들, 합계들, 수치 범위들, 또는 다른 계산가능한 정보와 같은 집합 또는 통계 정보를 제공할 수 있다. 더욱이, API(130)는 다수의 데이터 소스들로부터 오는 데이터를 공통 포맷으로 정규화할 수 있다. API(130)의 기능들의 이전 설명은 단지 예시적인 것이다. API(130)가 사유 데이터 소스들(110) 및 외부 데이터 소스들(120)을 통해 제공된 데이터를 검색 및 패키징할 수 있는 많은 추가적인 방식들이 있다.
증강 현실 시스템(140)은 증강 현실 디바이스(145) 및 API(130)와 상호작용할 수 있다. 증강 현실 시스템(140)은 (예컨대, 도 3의 무선 통신물(306)을 통해) 증강 현실 디바이스(145)에 관련된 정보를 수신할 수 있다. 이 정보는 도 3에 관련하여 이전에 설명된 임의의 정보를 포함할 수 있다. 예를 들어, 증강 현실 시스템은 위치 정보, 모션 정보, 시각적 정보, 사운드 정보, 배향 정보, 생체 정보, 또는 증강 현실 디바이스(145)에 의해 제공되는 임의의 다른 타입의 정보를 수신할 수 있다. 추가적으로, 증강 현실 시스템(140)은 증강 현실 디바이스(145)의 사용자와 연관된 인증 크리덴셜들 또는 디바이스 특정 식별자와 같은 식별 정보를 증강 현실 디바이스(145)로부터 수신할 수 있다.
증강 현실 시스템(140)은 수신된 정보를 프로세싱하고 API(130)에 대한 요청을 공식화할 수 있다. 이들 요청들은 증강 현실 디바이스(145)의 사용자로부터의 인증 크리덴셜들 또는 디바이스 식별자와 같은 증강 현실 디바이스(145)로부터의 식별 정보를 활용할 수 있다.
증강 현실 디바이스(145)로부터 정보를 수신하는 것에 더하여, 증강 현실 시스템(140)은 업데이트된 정보를 증강 현실 디바이스(145)로 푸시할 수 있다. 예를 들어, 증강 현실 시스템(140)은 업데이트된 비행 정보를 이용가능하다면 증강 현실 디바이스(145)로 푸시할 수 있다. 이러한 방식으로, 증강 현실 시스템(140)은 증강 현실 디바이스(145)로부터 정보를 가져오는 것과 증강 현실 디바이스(145)로 정보를 푸시하는 것 양측 모두를 할 수 있다. 더욱이, 증강 현실 시스템(140)은 (예컨대, API(130)를 통해) 외부 데이터 소스들(120)로부터 정보를 가져올 수 있다. 예를 들어, 공항에서 게이트 변화가 있는 경우, 증강 현실 시스템(140)은 그 정보를 획득하고 (예컨대, 도 4a의 게이트 정보(405)에 제공된 바와 같은) 게이트 정보 인터페이스에서의 및/또는 내비게이션 경로(예컨대, 도 4a의 내비게이션 경로(401))에서의 변화를 통한 증강 현실 디바이스(145)를 통해 사용자에게 통지할 수 있다.
증강 현실 디바이스(145)로부터의 정보를 사용하여, 증강 현실 시스템(140)은 API(130)를 통해 상세한 정보를 요청할 수 있다. API(130)로부터 리턴된 정보는 증강 현실 디바이스(145)로부터 수신된 정보와 결합되고 증강 현실 시스템(140)에 의해 프로세싱될 수 있다. 그 후에, 증강 현실 시스템(140)은 증강 현실 디바이스(145)에 의해 디스플레이되어야 하는 업데이트된 증강 현실 정보에 관한 지능적 결정을 행할 수 있다. 이 프로세싱의 예시적인 사용 사례들은 도 4a 내지 도 4c에 관련하여 하기에 더 상세히 설명된다. 증강 현실 디바이스(145)는 업데이트된 증강 현실 정보를 수신하고, 디스플레이 디바이스들(393)을 사용하여, 예를 들어, 도 3b에 도시된 뷰포트(391) 상에 적절한 업데이트들을 디스플레이할 수 있다.
도 4a 내지 도 4c는 본 개시내용의 실시예들과 부합하는, 도 1의 시스템(100)의 예시적인 사용들이다. 도 4a는 혼잡한 공항 터미널을 통해 내비게이팅하기 위한 증강 현실 디바이스(예컨대, 도 3으로부터의 디바이스(390) 또는 도 1로부터의 증강 현실 디바이스(145))로부터의 예시적인 증강 뷰이다. 도 4b는 콘텍스트 특정 비행 편의시설들 및 게이트 엔터테인먼트를 선택하기 위해 증강 현실 디바이스(예컨대, 디바이스(390) 또는 증강 현실 디바이스(145))를 사용하기 위한 예시적인 사용 사례이다. 도 4a 내지 도 4c의 설명들 전반에 걸쳐, 적절한 참조 부호들에 의해 도 1 내지 도 3에서 이전에 논의된 엘리먼트들이 참조될 것이다.
도 4a는 혼잡한 공항 터미널을 통해 내비게이팅하기 위한 증강 현실 디바이스(예컨대, 도 3b로부터의 디바이스(390) 또는 도 1로부터의 증강 현실 디바이스(145))로부터의 예시적인 증강 뷰(400)이다. 증강 뷰(400)는 도 3b로부터의 뷰포트(391)를 통한 뷰일 수 있고 도 3a의 디스플레이 서브시스템(310)의 좌안 디스플레이(311) 및 우안 디스플레이(313)에 의해 제공된 그래픽 오버레이들을 투영하는 도 3b로부터의 디스플레이 디바이스(393)의 결과일 수 있다.
다시 도 4a를 참조하면, 증강 뷰(400)는 뷰포트(391) 상의 그래픽 오버레이들을 표현하여 증강 현실 뷰를 발생시킬 수 있다. 예를 들어, 증강 뷰의 증강 엘리먼트들은 내비게이션 경로(401), 게이트 정보(405), 리뷰 정보(402 및 404), 환율 정보(403), 및 컨트롤들(407)을 포함할 수 있다.
이전에 설명된 바와 같이, 증강 뷰(400)는 증강 현실 디바이스(예컨대, 도 1의 증강 현실 디바이스(145))의 착용자에 관한 콘텍스트 정보에 기초하여 통합 정보를 제공할 수 있다. 예를 들어, 도 4a에 나타내는 바와 같이, 증강 현실 디바이스는, (예컨대, IMU(340)로부터의) 모션 정보를 사용하여, 사용자가 공항을 통해 이동하고 있다는 것을 검출할 수 있다. 증강 현실 디바이스는 공항 내의 사용자의 위치, 움직임 정보, 및 사용자의 식별 정보를 증강 현실 서버(예컨대, 도 1의 증강 현실 서버(140))에 송신할 수 있다. 증강 현실 서버는 사용자에 관련된 프로파일 정보뿐만 아니라 공항 및 사용자의 위치에 관련된 정보를 (예컨대, 도 1의 API(130)를 사용하여) 검색할 수 있다. 증강 현실 시스템에 의해 검색된 정보는 사용자의 콘텍스트 정보와 결합되어 증강 뷰(400) 상에 도시된 그래픽 엘리먼트들을 제공할 수 있다. 일부 실시예들에서, 특정 그래픽 엘리먼트들은, 부분적으로, 예측 분석 엔진(118)에 의해 제공될 수 있고 사용자의 과거 거동에 기초하여 필터링되거나 또는 사용자에게 조정될 수 있다.
예를 들어, 증강 현실 시스템은 식별 정보를 사용하고 사유 데이터 소스들뿐만 아니라 외부 데이터 소스들로부터 인출하여 사용자의 비행을 위한 출발 게이트를 검색할 수 있다. 이 정보는, 예를 들어, 게이트 정보(405)에 직접 디스플레이될 수 있다. 정보는 탑승을 위한 시간, 게이트 번호, 및 비행에 관한 추가적인 정보, 예컨대 대기 또는 업그레이드 리스트 상의 사용자의 포지션을 포함할 수 있다. 추가적으로, 증강 현실 시스템(140)은 사용자의 위치 정보를 공항 레이아웃에 관한 정보와 결합하여 게이트로의 이동 시간을 계산할 수 있다.
더욱이, 도 1에 관련하여 이전에 설명된 바와 같이, 일부 실시예들에서, 출발 게이트 정보 및 비행 정보는 주기적으로 업데이트될 수 있다. 증강 현실 시스템(140)은, 예를 들어, API(130)를 통해 업데이트된 정보를 가져올 수 있고, 업데이트된 정보를, 예를 들어, 증강 뷰(400) 상의 디스플레이를 위해 증강 현실 디바이스(145)로 푸시할 수 있다.
일부 실시예들에서, 증강 현실 시스템(140)은 API(130)를 통해 이용가능한 데이터 소스들로부터 공항과 연관된 지상점(waypoint)들, 지오펜스들, 및 레이아웃들을 포함하는 공항에 관한 정보를 추가로 검색할 수 있다. 이 정보를 사용하여, 증강 현실 시스템(140)은 사용자를 그의 또는 그녀의 게이트로 안내하는 사용자를 위한 내비게이션 경로(401)를 계산할 수 있다. 내비게이션 경로(401)는 증강 현실 디바이스(145)에 송신되고 증강 뷰(400) 상에 디스플레이될 수 있다. 일부 실시예들에서, 증강 현실 시스템(140)은 증강 경로(401)에 필요한 시각적 엘리먼트들을 계산하고 이들을 증강 현실 디바이스(145)에 직접 송신할 수 있다. 다른 실시예들에서, 증강 현실 시스템은 원시 데이터를 증강 현실 디바이스(145)에 송신할 수 있고, 증강 현실 디바이스(145)는 내비게이션 경로(401)를 생성하는 데 필요한 그래픽 오버레이를 결정할 수 있다.
일부 실시예들에서, 증강 현실 시스템(140)은 (예컨대, 카메라(324)를 사용하여) 증강 현실 디바이스(145)로부터의 시각 정보를 추가로 캡처할 수 있다. 증강 현실 시스템(140)은 카메라 데이터로부터 가시적일 수 있지만 API(130)에 의해 제공되는 이용가능한 데이터 소스들을 통해 이용가능하지 않은 장애물들에 대한 물체 회피를 제공하기 위해 시각적 데이터를 추가로 프로세싱할 수 있다. 예를 들어, 이 시각적 정보는 대안적인 경로를 필요로 하는 일시적인 장벽들, 사람들, 건축물, 또는 다른 장애물들을 포함할 수 있다. 사용자가 공항을 통해 이동함에 따라, 증강 현실 시스템(140)에 계속적으로 데이터가 제공될 수 있고, 증강 현실 시스템(140)은 그 데이터를 계속적으로 프로세싱 및 분석하여 잠재적인 방해물들 또는 장애물들을 결정할 수 있다. 그 후에, 증강 현실 시스템(140)은 사용자가 공항을 통해 이동함에 따라 증강 뷰(400) 상에 디스플레이되는 내비게이션 경로(401)를 업데이트할 수 있다.
현재 세계, 장애물들, 및 의도된 목표 목적지(예컨대, 목적지 게이트)에 관한 계속적인 정보 흐름은 증강 현실 시스템(140)이 증강 뷰(400) 상의 디스플레이를 위해 증강 현실 디바이스(145)에 업데이트된 내비게이션 경로를 계속적으로 제공하게 할 수 있다. 더욱이, 증강 현실 디바이스(145)를 통해 취득된 데이터는 증강 현실 시스템(140)으로 리턴될 수 있다. 이 정보는 이어서, 예를 들어, API(130)를 통해 사유 데이터 소스들(110)에 제공될 수 있다. 그 후에, 데이터가 사용되어 추가적인 개인이 동일한 장애물들을 뷰잉하는 것을 지원할 수 있다. 이러한 피드백 루프는 증강 현실 시스템(140)의 다수의 활성 사용자들로부터의 장애물들에 관한 업데이트된 정보를 소싱함으로써 시스템의 유효성 및 효율성을 강화시킬 수 있다. 더욱이, 증강 현실 시스템(140)은 시각적 정보를 증강 현실 디바이스(145)로부터의 움직임 정보와 비교하여 사용자가 회피할 장애물들이 이전에 장애물들인 것으로 결정되지 않았던 것인지를 결정할 수 있다. 이러한 방식으로, 증강 현실 시스템은 어떤 시각적 형상들 또는 이미지들이 장애물들에 대응할 수 있는지를 효과적으로 학습함으로써 장래의 경로 생성을 위한 그의 장애물들의 식별을 개선시킬 수 있다.
추가적으로, 증강 현실 시스템(140)은 API(130)를 통해 사용자에 대해 검색된 비행 정보에 기초하여 사용자의 최종 목적지가 독일이라는 것을 결정할 수 있다. 사용자를 지원하기 위해, 증강 현실 시스템(140)은 환전소에 대한 공항 위치들을 검색할 수 있다. 이러한 정보는 내비게이션 경로(401)에 대한 계산들과 결합될 수 있고, 증강 현실 시스템(140)은 사용자의 이들의 게이트로의 경로를 따르는 환전소의 위치를 제공할 수 있다. 추가적으로, 증강 현실 시스템(140)은 현재 환율들에 관한 정보를 제공할 수 있다. 증강 현실 디바이스는 이러한 정보를 수신하고 환전소의 위치에서 환율 정보(403)를 디스플레이할 수 있다. 사용자가 해외로 여행하지 않을 경우, 증강 현실 시스템(140)은 환율 정보(403)를 포함하지 않을 수도 있다는 것이 인식된다.
더욱이, 일부 실시예들에서, 증강 현실 시스템은 예측 분석 엔진(118), 또는 사용자와 연관된 과거 구매 이력에 액세스할 수 있고, 사용자가 면세점에서 쇼핑을 즐기고 국제선에 앞서 먹는 것을 즐긴다는 것을 인식할 수 있다. 증강 현실 시스템(140)은 API(130)를 통해 면세점 위치 정보 및 등급들 및 레스토랑 위치 정보 및 등급들을 검색하고 그 정보를 증강 현실 디바이스(145)에 제공할 수 있다. 증강 현실 디바이스는 리뷰 정보(402 및 404)로서 증강 뷰(400) 상에 관련성있는 면세점 및 레스토랑들에 대한 위치들 및 등급들을 디스플레이할 수 있다.
일부 실시예들에서, 증강 현실 시스템(140)은 사용자에 대한 프로파일 정보를 추가로 사용하여 이 특정 공항에 있는 동안 사용자가 갤리 다이너(The Galley Diner)에서만 먹는다는 것을 결정할 수 있다. 따라서, 이 프로파일 정보를 사용하여, 증강 현실 시스템(140)은 정보를 필터링하고 다른 레스토랑 정보가 아닌 갤리 다이너에 대한 위치들만을 증강 현실 디바이스(145)에 제공할 수 있다. 일부 실시예들에서, 증강 현실 시스템(140)은 다른 레스토랑들보다 갤리 다이너를 강조할 수 있다. 더욱이, 일부 실시예들에서, 증강 현실 시스템(140)은 사용자의 과거 레스토랑 선택들에 기초하는 예측 분석 엔진(118)으로부터의 레스토랑 추천들을 검색할 수 있다. 예를 들어, 갤리 다이너를 선호하는 개인들에 의한 레스토랑 선택들에 관련된 데이터를 분석함으로써, 예측 분석 엔진은 증강 현실 시스템(140)에 사용자가 즐길 가능성이 있는 추천된 레스토랑 선택들을 제공할 수 있다.
이러한 통합을 통해, 사용자는 종래의 증강 현실 시스템들에서 행해지는 바와 같은 대량의 모든 이용가능한 정보를 수신하는 대신에 이들의 특정 여행 선호도들에 완전히 맞춤화된 증강 뷰(400)를 수신한다.
더욱이, 증강 현실 디바이스(145) 및 증강 현실 시스템(140)은 사용자 액션들에 기초하여 피드백을 제공할 수 있다. 이전의 예를 기반으로 하여, 사용자가 갤리 다이너에 들어가기로 판정하는 경우, 사용자의 액션들이 증강 현실 디바이스(145)에 의해 캡처되고 증강 현실(140)에 제공될 수 있다. 증강 현실(140)은 API(130)를 통해 사유 데이터 소스들(110)을 업데이트할 수 있다. 증강 현실 시스템(140)이 추가적인 정보에 대해 API(130)에 질의할 때, API(130)는, 예를 들어, 예측 분석 엔진(118) 및 사용자가 이미 먹었다는 이전 정보를 사용하는 것에 의해, 레스토랑 위치들 또는 추천들을 포함하지 않는 데이터를 증강 현실 시스템(140)에 제공할 수 있다. 일부 실시예들에서, 예측 분석 엔진(118)은 사용자가 통상적으로 식사 후에 커피를 즐긴다고 결정할 수 있고, 따라서, 증강 현실 시스템(140)에 제공되는 정보에 커피 바들에 관련된 정보를 포함시킬 수 있다.
도 4b는 콘텍스트 특정 비행 편의시설들 및 게이트 엔터테인먼트를 선택하기 위해 증강 현실 디바이스(예컨대, 디바이스(390) 또는 증강 현실 디바이스(145))를 사용하기 위한 예시적인 사용 사례이다. 도 4b는 증강 현실 디바이스를 통해 비행 편의시설들 및 게이트 엔터테인먼트 옵션들을 뷰잉하는 사용자의 3인칭 관점을 도시한다. 도 4b는 엔터테인먼트 옵션들(413) 및 비행 편의시설들(415 및 417)을 도시한다. 도 4b에 도시된 바와 같이, 증강 현실 디바이스(145)는 원근감의 지각을 제공하는 방식으로 그래픽 오버레이들을 디스플레이할 수 있다.
도 4b에서 사용자에 의해 착용된 증강 현실 디바이스(145)는 콘텍스트 특정 사용자 정보를 증강 현실 시스템(140)에 제공할 수 있다. 예를 들어, 증강 현실 디바이스(145)는 증강 현실 서버(140)에 계속적인 위치 정보를 제공할 수 있다. 증강 현실 서버가 사용자가 그의 또는 그녀의 게이트에 도착하였고 이동을 중지하였다는 것을 검출할 때, 증강 현실 서버(140)는 API(130)에 질의하여 사용자 및 게이트 특정 정보를 검색할 수 있다. 이 정보는 비행기 상에서 그리고 게이트에서 모두 이용가능한 비행 편의시설들뿐만 아니라 사용자의 프로파일 정보를 포함할 수 있다.
증강 현실 시스템(140)은 사용자 프로파일 정보, 게이트 정보 및 비행 정보를 결합하여 사용자가 이들의 비행을 기다리는 동안 그 또는 그녀가 즐길만한 것을 찾을 수 있는 엔터테인먼트 옵션들을 결정할 수 있다. 이 정보는, 예를 들어, 예측 분석 엔진(118)에 의해 결정될 수 있고, API(130)를 통해 증강 현실 시스템(140)에 제공될 수 있다. 예측 분석 또는 과거 구매들 또는 뷰잉 이력은 사용자가 코미디를 즐기고 있음을 나타낼 수 있다. 따라서, 증강 현실 시스템(140)은 코넌 오브라이언(Conan O'Brien) 쇼로부터의 클립들이 게이트에 있는 동안 뷰잉하기 위해 이용가능하다는 것을 결정할 수 있다. 증강 현실 시스템(140)은 엔터테인먼트 옵션들(413)을 디스플레이할 수 있는 증강 현실 디바이스(145)에 이 정보를 제공할 수 있다.
도 3a를 참조하여 이전에 설명된 바와 같이, 사용자는 제안된 엔터테인먼트를 시청하도록 선택할 수 있다. 엔터테인먼트 옵션이 지불을 요구하는 경우, 증강 현실 시스템은 사용자에 대한 저장된 지불 정보를 사용하여, 사용자의 지시로, 적절한 엔터테인먼트 패키지를 구매할 수 있다. 성공적인 구매 시에, 증강 현실 시스템(140)은 디스플레이를 위해 증강 현실 디바이스(145)에 선택된 엔터테인먼트 미디어를 제공할 수 있다. 일부 실시예들에서, 증강 현실 디바이스(145)는 적절한 인가 및 크리덴셜들을 수신하고 엔터테인먼트 소스에 직접 연결할 수 있다.
일부 실시예들에서, 사용자에 대한 프로파일 정보는 비행 편의시설 선호도들을 결정하기 위해 추가로 사용될 수 있다. 예를 들어, 사용자의 프로파일 정보는 사용자가 비즈니스 클래스 좌석들을 선호함을 나타낼 수 있다. 증강 현실 서버(140)는, API(130)를 통해 검색된 비행 정보에 기초하여, 비즈니스 클래스 좌석들이 이용가능하다는 것을 결정할 수 있다. 증강 현실 시스템은 증강 현실 디바이스(145)에 업그레이드 옵션들을 송신할 수 있고, 증강 현실 디바이스는 사용자에게 비행 편의시설들(415 및 417)을 디스플레이할 수 있다. 증강 현실 디바이스는 좌안 디스플레이(311) 및 우안 디스플레이(313)를 추가로 사용하여 이용가능한 비행 편의시설들(417)을 디스플레이하기 위한 원근감을 제공할 수 있다. 원근감이 사용되어 비즈니스 클래스 좌석들(예컨대, 비행 편의시설들(417))의 실물 사이즈 표현들을 보여줄 수 있어서, 사용자는 그 또는 그녀가 구매하게 될 수 있는 것이 무엇인지의 정확한 묘사를 경험할 수 있다.
도 4c는 게이트 엔터테인먼트를 위해 증강 현실 디바이스(예컨대, 증강 현실 디바이스(145))를 사용하기 위한 예시적인 사용 사례이다. 도 4c는 증강 현실 디바이스를 통해 게이트 엔터테인먼트를 뷰잉하는 사용자의 3인칭 관점을 도시한다. 도 4c는 캐릭터들(423, 425, 및 427), 및 비행 엔터테인먼트 제안(426)의 형태로 게이트 엔터테인먼트를 디스플레이하는 데 사용되는 증강 현실 디바이스(420)를 도시한다.
도 4a 및 도 4b에서 설명된 디바이스들과는 달리, (도 1로부터의 다른 형태의 증강 현실 디바이스(145)를 표현할 수 있는) 증강 현실 디바이스(420)는 착용가능한 디바이스가 아니다. 증강 현실 디바이스(420)는 프로젝터를 포함하거나 또는 사용자에 의해 사용되는 증강 현실 아이웨어(eyewear)(도 4c에 도시되지 않음)와 통신하는 태블릿일 수 있다.
증강 현실 디바이스(420)는, 도 4b에 설명된 것과 유사하게, 사용자가 게이트에서 기다리고 있다는 것을 인식할 수 있다. 증강 현실 시스템(140)은, 증강 현실 디바이스(420)와의 통신을 통해, 이 특정 디바이스가 등록된 여행자의 자녀에 의해 사용된다는 것을 인식할 수 있다. 등록된 여행자와 연관된 티켓 정보에 기초하여, 증강 현실 시스템은 가족에 대한 여행 일정 정보뿐만 아니라 자녀의 엔터테인먼트 선호도들 양측 모두를 포함하는 사용자 프로파일 정보를 검색할 수 있다.
증강 현실 시스템(140)은, 예를 들어, 예측 분석 엔진(118) 및 API(130)를 통해 이 정보를 검색할 수 있고, 가족이 자녀의 좋아하는 만화 캐릭터들과 연관된 놀이 공원으로 여행할 것이라는 것을 추가로 결정할 수 있다. 증강 현실 시스템(140)은 증강 현실 디바이스(420)가 자녀와 상호작용할 수 있는 이들 캐릭터들을 활용하여 증강 디스플레이를 디스플레이하도록 지시할 수 있다. 추가적으로, 증강 현실 디바이스는 그의 부모가 비행을 위해 추가적인 엔터테인먼트를 구매할 수 있다는 것을 자녀에게 알리는 것과 같은 추가적인 제안들 및 서비스들(426)을 제공할 수 있다. 일부 실시예들에서, 예측 분석 엔진(118)에 의해 제공되는 정보는 후속 구매를 생성함에 있어서 어떤 특정 캐릭터들이 가장 성공적인지를 알 수 있고, 증강 현실 디스플레이는 이들 캐릭터들을 선호할 수 있다.
일부 실시예들에서, 추가적인 옵션들은 가족이 여행할 놀이 공원에서 특별 서비스들 또는 엔터테인먼트 패키지들을 제안하는 것을 포함할 수 있다. 일부 실시예들에서, 증강 현실 디바이스(420)의 소유자는 어떤 엔터테인먼트 옵션들 및 제안들 그리고 서비스들이 자녀 또는 다른 가족 구성원들에게 제공될 수 있는지에 관련된 선호도들을 특정할 수 있다. 이들 프로파일 선호도들, 및 예측 분석 엔진(118)에 의해 결정되거나 이력 사용 패턴들에 관련된 정보에 기초하여, 증강 현실 시스템(140)은 사용자에게 유용하지 않거나 바람직하지 않을 수도 있는 데이터 및 제안들을 필터링할 수 있다.
도 5는 본 개시내용의 실시예들과 부합하는, 증강 현실 시스템들에서의 개선된 데이터 통합을 위한 예시적인 방법(500)의 흐름도이다. 예시되는 절차는 단계들을 삭제하거나 추가적인 단계들을 더 포함하도록 변경될 수 있다는 것이 쉽게 인식될 것이다. (도 2의 시스템 또는 도 3의 전자 디바이스와 같은) 하나 이상의 컴퓨팅 디바이스들은 예시적인 방법을 수행할 수 있고 본 명세서에 설명된 기능성은 하드웨어, 하나 이상의 컴퓨팅 디바이스들에 저장되는 소프트웨어, 또는 이들의 임의의 조합으로서 포함될 수 있다는 것이 인식된다.
초기 단계 501 후에, 시스템(예컨대, 도 1의 증강 현실 시스템(140))은 개인 및 그 개인과 연관된 증강 현실 디바이스(예컨대, 도 1의 증강 현실 디바이스(145))에 관한 콘텍스트 정보를 증강 현실 디바이스로부터 획득할 수 있다(단계 510). 콘텍스트 정보는 증강 현실 디바이스의 사용자에 관한 특정 프로파일 정보를 포함할 수 있다. 추가적으로, 콘텍스트 정보는 증강 현실 디바이스(예컨대, 도 3a의 GPS(309), IMU(340), 및 카메라(324)) 상의 다양한 센서들로부터의 정보를 포함할 수 있다. 콘텍스트 정보는 추가적으로 사용자에 대한 위치 정보를 포함할 수 있다. 이 위치 정보는, 예를 들어, GPS(예컨대, GPS(309))에 기초하거나 또는 네트워킹 인프라스트럭처로부터 (예컨대, 무선 통신물(306)을 통해) 검색될 수 있다. 증강 현실 시스템은 증강 현실 디바이스로부터 (예컨대, 도 3a의 무선 통신물(306)을 통한) 네트워크를 통해 이 정보를 수신할 수 있다.
증강 현실 시스템은 콘텍스트 정보에 기초하여 (예컨대, API(130)를 사용하여) 복수의 데이터 소스들(예컨대, 데이터베이스(111), 데이터 소스(113), 데이터베이스(115), 데이터 시스템(116), 데이터베이스(117), 및 예측 분석 엔진(118), 맵 데이터(121), 기상 데이터(127), 비행 데이터(129), 등급 데이터(123), 및 위치 데이터(125))로부터 개인과 연관된 복수의 데이터 세트들을 획득할 수 있다(단계 520). 증강 현실 디바이스로부터의 콘텍스트 정보는 복수의 데이터 소스들을 필터링하기 위한 기초를 제공할 수 있다. 콘텍스트 정보는 증강 현실 디바이스의 현재 상태에 관한 위치, 배향, 움직임 및 다른 정보뿐만 아니라 일련 번호 또는 고유 식별자와 같은 증강 현실 디바이스에 관한 식별 정보를 포함할 수 있다. 이 콘텍스트 정보를 사용하여, 시스템은 증강 현실 디바이스 자체로부터 통상적으로 이용가능하지 않은 사용자에 관한 상세한 정보를 (예컨대, API(130)를 사용하여) 제공하는 데이터 세트들을 검색할 수 있다. 예를 들어, 프로파일 정보는 과거 여행 구매들, 좌석 선호도들, 다가오는 비행 정보, 및 증강 현실 시스템에 대해 쉽게 이용가능하지 않은 다른 정보를 포함할 수 있다.
증강 현실 시스템은 콘텍스트 정보 및 복수의 데이터 세트들에 기초하여 디스플레이 정보를 결정할 수 있다(단계 530). 다양한 데이터 세트들을 검색한 후에, 증강 현실 시스템은 (예컨대, 증강 현실 시스템(140)을 사용하여) 데이터를 병합 및 필터링할 수 있다. 필터링된 데이터에 기초하여, 시스템은 증강 현실 디바이스에 의한 디스플레이를 위해 관련성있는 그래픽 정보를 결정할 수 있다. 예를 들어, 시스템은 사용자가 좋아하지 않는 레스토랑들에 대한 위치 및 추천 정보를 필터링할 수 있다. 일부 실시예들에서, 시스템은 사용자의 비행 상세들을 결정하기 위해 사용자의 여행 계획들에 관한 검색된 정보를 활용할 수 있다. 관련성있는 개인화된 디스플레이 정보를 결정하면, 증강 현실 디바이스에 대해 이전에는 이용불가능한 정보를 사용하는 것에 의해 증강 현실 디바이스에 관련성있는 데이터가 제공되게 할 수 있다.
디스플레이 정보를 결정한 후에, 시스템은 디스플레이를 위해 결정된 디스플레이 정보를 증강 현실 디바이스에 제공하고(단계 540) 프로세스를 완료할 수 있다(단계 599). 디스플레이 데이터는, 예를 들어, 도 3으로부터의 무선 통신물(306)을 통해 제공될 수 있다. 디스플레이 정보는, 예를 들어, 도 3a로부터의 디스플레이 디바이스들(393) 및 좌안 디스플레이(311) 및 우안 디스플레이(313)를 사용하여 뷰포트(391) 상에 투영될 수 있다. 사용자에 관한 콘텍스트 정보에 기초한 기본 데이터 통합 및 필터링 때문에, 디스플레이된 그래픽 데이터는 증강 현실 시스템의 사용자와 고도로 관련성이 있다.
도 6은 본 개시내용의 실시예들과 부합하는, 증강 현실 시스템들에서의 개선된 데이터 통합을 위한 예시적인 방법(600)의 흐름도이다. 초기 단계 601 후에, 시스템(예컨대, 도 1의 증강 현실 시스템(140))은 빌딩 콤플렉스(building complex) 내의 개인의 위치 및 빌딩 콤플렉스 내의 원하는 목적지를 (예컨대, 도 1의 증강 현실 디바이스(145)로부터) 획득할 수 있다. 위치는, 예를 들어, GPS(예컨대, 도 3의 증강 현실 디바이스(300)의 GPS(309)) 또는 증강 현실 디바이스에 의해 저장된 다른 위치 정보에 기초하여 증강 현실 디바이스에 의해 제공될 수 있다. 위치 정보는 빌딩 또는 빌딩 콤플렉스 내의 특정 위치에 특정될 수 있다. 예를 들어, 위치는 공항에서의 특정 게이트에 대응할 수 있다.
시스템은 빌딩 콤플렉스와 연관된 빌딩 정보를 추가로 획득할 수 있다(단계 620). 증강 현실 디바이스로부터 검색된 위치 정보에 기초하여, 시스템은 특정 위치에 관한 추가적인 정보를 복수의 데이터 소스들(예컨대, 도 1의 사유 데이터 소스들(110) 또는 외부 데이터 소스들(120))로부터 검색할 수 있다. 예를 들어, 빌딩 콤플렉스가 공항인 경우, 시스템은 공항의 레이아웃 및 공항의 모든 비즈니스들 및 피처(feature)들을 포함하는 정보를 검색할 수 있다. 더욱이, 공항과 관련된 정보는 도보로 이동될 수 없는 공항의 구역들을 포함할 수 있다. 이들 구역들은 장애물들로서 저장할 수 있다.
관련성있는 빌딩 및 임의의 장애물 정보를 검색한 후에, 시스템은 사용자의 위치로부터 목적지까지의 내비게이션 경로(예컨대, 도 4a로부터의 내비게이션 경로(401))를 결정할 수 있다(단계 630). 결정된 경로는 이전 단계에서 검색된 장애물들을 고려할 수 있다. 내비게이션 경로는 빌딩의 일반적인 레이아웃 및 아키텍처뿐만 아니라 장애물 정보에 기초할 수 있다.
내비게이션 경로를 결정한 후에, 시스템은 결정된 경로를 증강 현실 디바이스(예컨대, 도 3a의 증강 현실 디바이스(390))에 제공할 수 있다(단계 640). 내비게이션 경로는 증강 현실 디바이스 상에 디스플레이될 수 있다. 예를 들어, 도 4a에 도시된 바와 같이, 내비게이션 경로(401)는 도 3b의 증강 현실 디바이스(390)의 뷰포트(391) 상에 디스플레이된다.
사용자가 내비게이션 경로를 따르거나 또는 공항 주위를 이동할 때, 시스템은 증강 현실 디바이스로부터 사용자의 업데이트된 위치 정보를 획득할 수 있다(단계 650). 이 업데이트된 위치 정보를 사용하여, 시스템은 업데이트된 위치 정보 및 이전에 검색된 빌딩 및 장애물 정보를 사용하는 것에 의해 내비게이션 경로를 재결정할 수 있다(단계 660). 시스템은 업데이트된 내비게이션 경로를 (예컨대, 도 4a의 내비게이션 경로(401)로서) 디스플레이를 위해 다른 관련성있는 정보와 함께 증강 현실 디바이스에 제공하고(단계 670) 프로세스를 완료할 수 있다(단계 699). 업데이트된 정보는 또한 정의된 공간 내에서 사용자의 위치에 특정된 인터페이스들을 포함 및/또는 업데이트할 수 있고, 그 인터페이스들은 도 4a에 도시된 바와 같이 리뷰 정보(402 및 404) 및 환율 정보(403)를 포함할 수 있다. 예를 들어, 사용자가 갤리 다이너에 가까워질 때, 대응하는 인터페이스가 더 커지거나 더 강조될 수 있다. 이러한 계속적인 사이클은 사용자가 공항 주위를 이동할 때 내비게이션 경로가 계속적으로 업데이트되게 할 수 있다.
이전 시스템들이 여행 콘텍스트의 관점에서 설명되지만, 시스템은 많은 상이한 도메인들에 대해 사용될 수 있다. 포함되는 데이터 및 사용된 피처들은 개시된 실시예들이 배치되는 특정 도메인에 기초할 수 있다.
전술한 명세서에서, 실시예들은 구현마다 달라질 수 있는 수많은 특정 상세들을 참조하여 설명되었다. 설명된 실시예들의 특정 적응들 및 수정들이 이루어질 수 있다. 다른 실시예들은 본 명세서에 개시된 본 발명의 실시 및 명세서를 고려하여 본 기술분야의 통상의 기술자에게 명백할 수 있다. 명세서 및 예들은 단지 예시적인 것으로 간주되는 것으로 의도된다. 또한, 도면들에 도시된 단계들의 시퀀스는 단지 예시적인 목적을 위한 것이고, 단계들의 임의의 특정 시퀀스로 제한되는 것으로 의도되지 않은 것으로 의도된다. 이와 같이, 본 기술분야의 통상의 기술자는 이들 단계들이 동일한 방법을 구현하는 동안 상이한 순서로 수행될 수 있다는 것을 인식할 수 있다.

Claims (43)

  1. 증강 현실 컴퓨팅 시스템으로 하여금 개인화된 내비게이션 데이터를 제공하는 방법을 수행하게 하기 위한 하나 이상의 프로세서들을 포함하는 상기 증강 현실 컴퓨팅 시스템에 의해 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 방법은,
    빌딩 콤플렉스(building complex) 내의 개인의 위치 및 상기 빌딩 콤플렉스 내의 목적지 위치와 연관된 정보를 획득하는 단계;
    상기 빌딩 콤플렉스와 연관된 빌딩 정보를 획득하는 단계;
    상기 빌딩 정보에 기초하여 상기 개인의 위치로부터 상기 목적지 위치까지의 내비게이션 경로를 결정하는 단계; 및
    증강 현실 디바이스 상의 디스플레이를 위해 상기 내비게이션 경로를 표현하는 데이터를 제공하는 단계
    를 포함하고,
    상기 데이터의 시각적 표현은 상기 증강 현실 디바이스에 의해 개인의 시야의 전방에 오버레이(overlay)되는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  2. 제1항에 있어서,
    상기 증강 현실 컴퓨팅 시스템에 의해 실행가능한 명령어들은 또한, 상기 증강 현실 컴퓨팅 시스템으로 하여금,
    개인의 업데이트된 위치 정보를 획득하는 것;
    상기 개인의 업데이트된 위치로부터 상기 목적지 위치까지의 업데이트된 내비게이션 경로를 결정하는 것; 및
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 업데이트된 내비게이션 경로를 표현하는 데이터를 제공하는 것
    을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  3. 제2항에 있어서,
    상기 업데이트된 위치 정보는 상기 증강 현실 디바이스의 모션과 연관된 모션 정보를 포함하고, 상기 업데이트된 내비게이션 경로의 결정은 상기 모션 정보에 기초하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  4. 제1항에 있어서,
    상기 빌딩 정보는 상기 빌딩 콤플렉스 내의 하나 이상의 장애물들을 포함하고, 상기 내비게이션 경로는 상기 하나 이상의 장애물들에 기초하여 조정되는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세서들을 포함하는 상기 증강 현실 컴퓨팅 시스템에 의해 실행가능한 명령어들은 또한, 상기 증강 현실 컴퓨팅 시스템으로 하여금,
    개인의 시야를 표현하는 시각적 데이터를 획득하는 것;
    상기 개인의 시야에서 장애물들을 결정하기 위해 상기 시각적 데이터를 분석하는 것; 및
    상기 내비게이션 경로의 결정을 상기 시각적 데이터에서 발견되는 상기 장애물들에 추가로 기초하는 것
    을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서들을 포함하는 상기 증강 현실 컴퓨팅 시스템에 의해 실행가능한 명령어들은 또한, 상기 증강 현실 컴퓨팅 시스템으로 하여금,
    상기 빌딩 콤플렉스 내의 조직 엔티티(organizational entity)들과 연관된 엔티티 정보를 획득하는 것;
    상기 내비게이션 경로 그리고 그 후에 개인에 대한 상기 조직 엔티티들의 근접성에 기초하여 상기 엔티티 정보를 필터링하는 것; 및
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 엔티티 정보를 표현하는 데이터를 제공하는 것
    을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  7. 제6항에 있어서,
    상기 필터링하는 것은, 상기 개인의 시야 내의 상기 조직 엔티티들에 기초하여 상기 엔티티 정보를 필터링하는 것을 더 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  8. 제6항에 있어서,
    상기 필터링하는 것은, 프로파일 정보를 사용하는 예측 분석에 기초하여 필터링하는 것을 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  9. 증강 현실 내비게이션을 제공하는 방법으로서,
    빌딩 콤플렉스 내의 개인의 위치 및 상기 빌딩 콤플렉스 내의 목적지 위치를 획득하는 단계;
    상기 빌딩 콤플렉스와 연관된 빌딩 정보를 획득하는 단계;
    상기 빌딩 정보에 기초하여 상기 개인의 위치로부터 상기 목적지 위치까지의 내비게이션 경로를 결정하는 단계; 및
    증강 현실 디바이스 상의 디스플레이를 위해 상기 내비게이션 경로를 표현하는 데이터를 제공하는 단계
    를 포함하고,
    상기 데이터의 시각적 표현은 상기 증강 현실 디바이스에 의해 개인의 시야의 전방에 오버레이되는 것인, 증강 현실 내비게이션을 제공하는 방법.
  10. 제9항에 있어서,
    개인의 업데이트된 위치 정보를 획득하는 단계;
    상기 개인의 업데이트된 위치로부터 상기 목적지 위치까지의 업데이트된 내비게이션 경로를 결정하는 단계; 및
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 업데이트된 내비게이션 경로를 표현하는 데이터를 제공하는 단계
    를 더 포함하는, 증강 현실 내비게이션을 제공하는 방법.
  11. 제10항에 있어서,
    상기 업데이트된 위치 정보는 상기 증강 현실 디바이스의 모션과 연관된 모션 정보를 포함하고, 상기 업데이트된 내비게이션 경로의 결정은 상기 모션 정보에 기초하는 것인, 증강 현실 내비게이션을 제공하는 방법.
  12. 제9항에 있어서,
    상기 빌딩 정보는 상기 빌딩 콤플렉스 내의 하나 이상의 장애물들을 포함하고, 상기 내비게이션 경로는 상기 하나 이상의 장애물들에 기초하여 조정되는 것인, 증강 현실 내비게이션을 제공하는 방법.
  13. 제9항에 있어서,
    상기 개인의 시야를 표현하는 시각적 데이터를 획득하는 단계;
    상기 개인의 시야에서 장애물들을 결정하기 위해 상기 시각적 데이터를 분석하는 단계; 및
    상기 내비게이션 경로의 결정을 상기 시각적 데이터에서 발견되는 상기 장애물들에 추가로 기초하는 단계
    를 더 포함하는, 증강 현실 내비게이션을 제공하는 방법.
  14. 제9항에 있어서,
    상기 빌딩 콤플렉스 내의 조직 엔티티들과 연관된 엔티티 정보를 획득하는 단계;
    상기 내비게이션 경로 그리고 그 후에 개인에 대한 상기 조직 엔티티들의 근접성에 기초하여 상기 엔티티 정보를 필터링하는 단계; 및
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 엔티티 정보를 표현하는 데이터를 제공하는 단계
    를 더 포함하는, 증강 현실 내비게이션을 제공하는 방법.
  15. 제14항에 있어서,
    상기 필터링하는 단계는, 상기 개인의 시야 내의 상기 조직 엔티티들에 기초하여 상기 엔티티 정보를 필터링하는 단계를 더 포함하는 것인, 증강 현실 내비게이션을 제공하는 방법.
  16. 제14항에 있어서,
    상기 필터링하는 단계는, 프로파일 정보를 사용하는 예측 분석에 기초하여 필터링하는 단계를 포함하는 것인, 증강 현실 내비게이션을 제공하는 방법.
  17. 증강 현실 내비게이션을 제공하기 위한 시스템으로서,
    개인의 위치 및 빌딩 정보를 저장하기 위한 메모리; 및
    하나 이상의 프로세서들
    을 포함하고,
    상기 하나 이상의 프로세서들은,
    빌딩 콤플렉스 내의 상기 개인의 위치 및 상기 빌딩 콤플렉스 내의 목적지 위치를 획득하도록;
    상기 빌딩 콤플렉스와 연관된 상기 빌딩 정보를 획득하도록;
    상기 빌딩에 기초하여 상기 개인의 위치로부터 상기 목적지 위치까지의 내비게이션 경로를 결정하도록; 그리고
    증강 현실 디바이스 상의 디스플레이를 위해 상기 내비게이션 경로를 표현하는 데이터를 제공하도록
    구성되고,
    상기 데이터의 시각적 표현은 상기 증강 현실 디바이스에 의해 개인의 시야의 전방에 오버레이되는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  18. 제17항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    개인의 업데이트된 위치 정보를 획득하도록;
    상기 개인의 업데이트된 위치로부터 상기 목적지 위치까지의 업데이트된 내비게이션 경로를 결정하도록; 그리고
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 업데이트된 내비게이션 경로를 표현하는 데이터를 제공하도록
    구성되는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  19. 제18항에 있어서,
    상기 업데이트된 위치 정보는 상기 증강 현실 디바이스의 모션과 연관된 모션 정보를 포함하고, 상기 업데이트된 내비게이션 경로의 결정은 상기 모션 정보에 기초하는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  20. 제17항에 있어서,
    상기 빌딩 정보는 상기 빌딩 콤플렉스 내의 하나 이상의 장애물들 및 정보를 포함하고, 상기 내비게이션 경로는 상기 하나 이상의 장애물들에 기초하여 조정되는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  21. 제17항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 개인의 시야를 표현하는 시각적 데이터를 획득하도록;
    상기 개인의 시야에서 장애물들을 결정하기 위해 상기 시각적 데이터를 분석하도록; 그리고
    상기 내비게이션 경로의 결정을 상기 시각적 데이터에서 발견되는 상기 장애물들에 기초하도록
    구성되는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  22. 제17항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 빌딩 콤플렉스 내의 조직 엔티티들과 연관된 엔티티 정보를 획득하도록;
    상기 내비게이션 경로 그리고 그 후에 개인에 대한 상기 조직 엔티티들의 근접성에 기초하여 상기 엔티티 정보를 필터링하도록; 그리고
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 엔티티 정보를 표현하는 데이터를 제공하도록
    구성되는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  23. 제22항에 있어서,
    상기 필터링하는 것은, 상기 개인의 시야 내의 상기 조직 엔티티들에 기초하여 상기 엔티티 정보를 필터링하는 것을 더 포함하는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  24. 제22항에 있어서,
    상기 필터링하는 것은, 프로파일 정보를 사용하는 예측 분석에 기초하여 필터링하는 것을 포함하는 것인, 증강 현실 내비게이션을 제공하기 위한 시스템.
  25. 증강 현실 컴퓨팅 시스템으로 하여금 방법을 수행하게 하기 위한 하나 이상의 프로세서들을 포함하는 상기 증강 현실 컴퓨팅 시스템에 의해 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 방법은,
    증강 현실 디바이스로부터 개인과 연관된 콘텍스트 정보(contextual information)를 획득하는 단계로서, 상기 콘텍스트 정보는 상기 증강 현실 디바이스에 의해 저장된 위치 정보 및 상기 개인과 연관된 식별 정보를 포함하는 것인, 상기 콘텍스트 정보를 획득하는 단계;
    상기 식별 정보에 기초하여, 상기 개인과 연관된 사용자 프로파일을 획득하는 단계로서, 상기 사용자 프로파일을 획득하는 단계는 복수의 데이터 소스들로부터 복수의 데이터 세트들을 획득하는 단계를 포함하고 상기 사용자 프로파일은 상기 개인과 연관된 여행 정보를 포함하는 것인, 상기 사용자 프로파일을 획득하는 단계;
    상기 개인 또는 상기 증강 현실 디바이스에 관련성있는 정보의 서브세트를 상기 복수의 데이터 세트들로부터 결정하는 단계로서, 상기 정보의 서브세트의 상기 관련성은, 상기 증강 현실 디바이스로부터 획득된 상기 위치 정보 및 콘텍스트 정보의 분석에 기초하는 것인, 상기 복수의 데이터 세트들로부터 결정하는 단계;
    상기 정보의 결정된 서브세트에 기초하여 디스플레이 데이터를 생성하는 단계; 및
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 디스플레이 데이터를 상기 증강 현실 디바이스에 제공하는 단계로서, 상기 디스플레이 데이터를 표현하는 그래픽 오버레이가 개인의 시야의 전방에 디스플레이되고 상기 그래픽 오버레이는 상기 증강 현실 디바이스의 시야 내의 하나 이상의 엔티티들에 관한 정보를 포함하는 것인, 상기 증강 현실 디바이스에 제공하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  26. 제25항에 있어서,
    상기 증강 현실 디바이스로부터 획득된 상기 콘텍스트 정보는 상기 개인의 시야를 표현하는 시각적 데이터를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  27. 제25항에 있어서,
    상기 정보의 서브세트의 상기 관련성은 또한, 시각적 데이터의 분석에 추가로 기초하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  28. 제25항에 있어서,
    상기 증강 현실 디바이스로부터 획득된 상기 콘텍스트 정보는 배향(orientation) 정보 및 모션 정보 중 적어도 하나를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  29. 제25항에 있어서,
    상기 여행 정보는 여행 선호도, 예측된 구매, 구매된 여행 서비스, 여행 업데이트, 이력 여행 정보, 및 장래의 여행 정보 중 적어도 하나를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 제25항에 있어서,
    상기 콘텍스트 정보 및 디바이스 정보의 분석은 상기 개인의 시야 내의 엔티티들을 결정하는 것, 및 상기 엔티티들과 연관되지 않은 정보를 필터링하는 것을 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  31. 증강 현실 디바이스로서,
    시야를 갖는 뷰포트;
    상기 증강 현실 디바이스의 움직임들 또는 배향들을 검출하도록 구성된 관성 모션 유닛;
    상기 증강 현실 디바이스와 연관된 디바이스 정보 및 상기 증강 현실 디바이스의 컴포넌트들과 연관된 센서 정보를 저장하도록 구성된 데이터 스토리지(data storage);
    네트워크 인터페이스로서, 상기 네트워크 인터페이스는,
    데이터의 제1 세트를 서버에 송신하도록 - 상기 데이터의 제1 세트는 디바이스 정보 및 센서 정보를 포함하고 상기 서버는 상기 디바이스 정보 및 센서 정보를 상기 증강 현실 디바이스와 연관된 복수의 데이터 소스들로부터의 하나 이상의 데이터 세트들과 결합함 -; 그리고
    데이터의 제2 세트를 서버로부터 취득하도록 - 상기 데이터의 제2 세트는 디스플레이 데이터를 포함하고, 상기 디스플레이 데이터는 상기 증강 현실 디바이스의 시야에 대한 디스플레이 정보의 관련성을 결정하기 위한 상기 디바이스 정보, 센서 정보, 및 하나 이상의 데이터 세트들의 분석에 기초하여 결정됨 -
    구성되는 것인, 상기 네트워크 인터페이스; 및
    상기 뷰포트 상에 상기 데이터 정보의 제2 세트의 상기 디스플레이 데이터를 포함하는 오버레이 디스플레이를 제공하도록 구성된 디스플레이 어댑터
    를 포함하는, 증강 현실 디바이스.
  32. 제31항에 있어서,
    상기 디바이스 정보는 상기 증강 현실 디바이스와 연관된 디바이스 식별자 및 상기 증강 현실 디바이스의 착용자와 연관된 인증 크리덴셜(credential)들 중 적어도 하나를 포함하는 것인, 증강 현실 디바이스.
  33. 제31항에 있어서,
    상기 센서 정보는 모션 정보, 위치 정보, 배향 정보, 오디오 정보, 시각적 정보, 및 사용자 입력 정보 중 적어도 하나를 포함하는 것인, 증강 현실 디바이스.
  34. 하나 이상의 프로세서들에 의해 수행되는 방법으로서,
    증강 현실 디바이스로부터 개인과 연관된 콘텍스트 정보를 획득하는 단계로서, 상기 콘텍스트 정보는 상기 증강 현실 디바이스에 의해 저장된 위치 정보 및 상기 개인과 연관된 식별 정보를 포함하는 것인, 상기 콘텍스트 정보를 획득하는 단계;
    상기 식별 정보에 기초하여, 상기 개인과 연관된 사용자 프로파일을 획득하는 단계로서, 상기 사용자 프로파일을 획득하는 단계는 복수의 데이터 소스들로부터 복수의 데이터 세트들을 획득하는 단계를 포함하고 상기 사용자 프로파일은 상기 개인과 연관된 여행 정보를 포함하는 것인, 상기 사용자 프로파일을 획득하는 단계;
    상기 개인 또는 상기 증강 현실 디바이스에 관련성있는 정보의 서브세트를 상기 복수의 데이터 세트들로부터 결정하는 단계로서, 상기 정보의 서브세트의 상기 관련성은, 상기 증강 현실 디바이스로부터 획득된 상기 위치 정보 및 콘텍스트 정보의 분석에 기초하는 것인, 상기 복수의 데이터 세트들로부터 결정하는 단계;
    상기 정보의 결정된 서브세트에 기초하여 디스플레이 데이터를 생성하는 단계; 및
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 디스플레이 데이터를 상기 증강 현실 디바이스에 제공하는 단계로서, 상기 디스플레이 데이터를 표현하는 그래픽 오버레이가 개인의 시야의 전방에 디스플레이되고 상기 그래픽 오버레이는 상기 증강 현실 디바이스의 시야 내의 하나 이상의 엔티티들에 관한 정보를 포함하는 것인, 상기 증강 현실 디바이스에 제공하는 단계
    를 포함하는, 하나 이상의 프로세서들에 의해 수행되는 방법.
  35. 제34항에 있어서,
    상기 증강 현실 디바이스로부터 획득된 상기 콘텍스트 정보는 상기 개인의 시야를 표현하는 시각적 데이터를 포함하는 것인, 하나 이상의 프로세서들에 의해 수행되는 방법.
  36. 제34항에 있어서,
    상기 정보의 서브세트의 상기 관련성은 또한, 시각적 데이터의 분석에 추가로 기초하는 것인, 하나 이상의 프로세서들에 의해 수행되는 방법.
  37. 제34항에 있어서,
    상기 증강 현실 디바이스로부터 획득된 상기 콘텍스트 정보는 위치 정보, 배향 정보, 및 모션 정보 중 적어도 하나를 포함하는 것인, 하나 이상의 프로세서들에 의해 수행되는 방법.
  38. 제34항에 있어서,
    상기 증강 현실 디바이스로부터 획득된 상기 콘텍스트 정보는 배향 정보 및 모션 정보 중 적어도 하나를 포함하는 것인, 하나 이상의 프로세서들에 의해 수행되는 방법.
  39. 제34항에 있어서,
    상기 여행 정보는 여행 선호도, 구매된 여행 서비스, 여행 업데이트, 이력 여행 정보, 예측된 구매, 및 장래의 여행 정보 중 적어도 하나를 포함하는 것인, 하나 이상의 프로세서들에 의해 수행되는 방법.
  40. 전자 디바이스로서,
    증강 현실 디바이스로부터 개인과 연관된 콘텍스트 정보 및 복수의 데이터 소스들로부터 획득된 복수의 데이터 세트들을 저장하도록 구성된 데이터 스토리지로서, 상기 콘텍스트 정보는 위치 정보 및 식별 정보를 포함하는 것인, 상기 데이터 스토리지; 및
    하나 이상의 프로세서들
    을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 증강 현실 디바이스로부터 상기 콘텍스트 정보를 획득하도록 - 상기 콘텍스트 정보는 상기 개인과 연관된 식별 정보 및 위치 정보를 포함함 -;
    상기 식별 정보에 기초하여, 상기 개인과 연관된 사용자 프로파일을 획득하도록 - 상기 사용자 프로파일은 상기 개인과 연관된 여행 정보를 포함함 -;
    상기 개인 또는 상기 증강 현실 디바이스에 관련성있는 정보의 서브세트를 상기 복수의 데이터 세트들로부터 결정하도록 - 상기 정보의 서브세트의 상기 관련성은, 상기 증강 현실 디바이스로부터 획득된 상기 위치 정보 및 콘텍스트 정보의 분석에 기초함 -;
    상기 정보의 결정된 서브세트에 기초하여 디스플레이 데이터를 생성하도록; 그리고
    상기 증강 현실 디바이스 상의 디스플레이를 위해 상기 디스플레이 데이터를 상기 증강 현실 디바이스에 제공하도록
    구성되고,
    상기 디스플레이 데이터를 표현하는 그래픽 오버레이가 개인의 시야의 전방에 디스플레이되고 상기 그래픽 오버레이는 상기 증강 현실 디바이스의 시야 내의 하나 이상의 엔티티들에 관한 정보를 포함하는 것인, 전자 디바이스.
  41. 제40항에 있어서,
    상기 증강 현실 디바이스로부터 획득된 상기 콘텍스트 정보는 상기 개인의 시야를 표현하는 시각적 데이터를 포함하는 것인, 전자 디바이스.
  42. 제41항에 있어서,
    상기 정보의 서브세트의 상기 관련성은 또한, 상기 시각적 데이터의 분석에 기초하는 것인, 전자 디바이스.
  43. 현실 증강 방법으로서,
    디바이스 정보 및 센서 정보를 서버에 제공하는 단계로서, 상기 디바이스 정보 및 센서 정보는 증강 현실 디바이스와 연관되고 상기 증강 현실 디바이스와 연관된 복수의 데이터 소스들로부터의 하나 이상의 데이터 세트들과 결합되는 것인, 상기 디바이스 정보 및 센서 정보를 서버에 제공하는 단계;
    디스플레이 정보를 수신하는 단계로서, 상기 디스플레이 정보는 상기 증강 현실 디바이스의 뷰포트를 통해 가시적인 시야에 대한 상기 디스플레이 정보의 관련성을 결정하기 위한 상기 디바이스 정보, 센서 정보, 및 하나 이상의 데이터 세트들의 분석에 기초하여 결정되는 것인, 상기 디스플레이 정보를 수신하는 단계; 및
    상기 디스플레이 정보에 응답하여, 디스플레이 어댑터를 통해, 상기 디스플레이 데이터를 표현하는 그래픽 오버레이를 상기 뷰포트 상에 디스플레이하는 단계
    를 포함하는, 현실 증강 방법.
KR1020170121356A 2016-09-22 2017-09-20 증강 현실 아키텍처들에서의 개선된 데이터 통합을 위한 시스템들 및 방법들 KR20180032508A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/273,649 2016-09-22
US15/273,649 US10429191B2 (en) 2016-09-22 2016-09-22 Systems and methods for improved data integration in augmented reality architectures

Publications (1)

Publication Number Publication Date
KR20180032508A true KR20180032508A (ko) 2018-03-30

Family

ID=60083086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170121356A KR20180032508A (ko) 2016-09-22 2017-09-20 증강 현실 아키텍처들에서의 개선된 데이터 통합을 위한 시스템들 및 방법들

Country Status (8)

Country Link
US (2) US10429191B2 (ko)
EP (1) EP3306443A1 (ko)
JP (1) JP2018049010A (ko)
KR (1) KR20180032508A (ko)
CN (1) CN107870669A (ko)
AU (1) AU2017232125B2 (ko)
CA (1) CA2979778C (ko)
SG (1) SG10201707743QA (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217287B2 (en) * 2016-12-24 2019-02-26 Motorola Solutions, Inc. Method and apparatus for generating a search pattern for an incident scene
WO2018156804A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US20190096134A1 (en) * 2017-09-26 2019-03-28 Toyota Research Institute, Inc. Augmented reality overlay
US11087558B1 (en) 2017-09-29 2021-08-10 Apple Inc. Managing augmented reality content associated with a physical location
US11010742B2 (en) * 2018-01-23 2021-05-18 Visa International Service Association System, method, and computer program product for augmented reality point-of-sale
US11055650B2 (en) * 2018-02-27 2021-07-06 Logistiview, Inc. Execution systems using unstructured data
DE102018208700A1 (de) * 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes
WO2019236130A1 (en) * 2018-06-08 2019-12-12 Halliburton Energy Services, Inc. Well site collaboration system with smart technology
CN110942518B (zh) 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
FR3087284B1 (fr) * 2018-10-15 2021-11-05 Amadeus Sas Procede et systeme de realite augmentee
US11373400B1 (en) 2019-03-18 2022-06-28 Express Scripts Strategic Development, Inc. Methods and systems for image processing to present data in augmented reality
US20210072027A1 (en) * 2019-09-09 2021-03-11 Caci, Inc. - Federal Systems and methods for providing localization and navigation services
WO2021079828A1 (ja) * 2019-10-25 2021-04-29 Ｎｅｃソリューションイノベータ株式会社 情報共有装置、イベント支援システム、情報共有方法、及びイベント支援システムの生産方法
CN111175974A (zh) * 2020-01-06 2020-05-19 南京水晶视界文化科技有限公司 一种ar眼镜的增强信息系统
US11796333B1 (en) 2020-02-11 2023-10-24 Keysight Technologies, Inc. Methods, systems and computer readable media for augmented reality navigation in network test environments
CA3182799A1 (en) * 2020-05-11 2021-11-18 Niantic, Inc. Linking real world activities with a parallel reality game
CN111595346B (zh) * 2020-06-02 2022-04-01 浙江商汤科技开发有限公司 导航提醒方法、装置、电子设备及存储介质
US20210406965A1 (en) * 2020-06-29 2021-12-30 Snap Inc. Providing travel-based augmented reality content relating to user-submitted reviews
US11385071B2 (en) * 2020-08-07 2022-07-12 Micron Technology, Inc. Providing a route with augmented reality
US11570050B2 (en) 2020-11-30 2023-01-31 Keysight Technologies, Inc. Methods, systems and computer readable media for performing cabling tasks using augmented reality
JP2022097904A (ja) * 2020-12-21 2022-07-01 トヨタ自動車株式会社 案内表示システム及び案内表示システムのサーバ
WO2023043646A1 (en) * 2021-09-20 2023-03-23 Chinook Labs Llc Providing directional awareness indicators based on context
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
US11789685B1 (en) * 2022-08-29 2023-10-17 International Business Machines Corporation Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
JP4190843B2 (ja) * 2002-09-25 2008-12-03 Ｎｅｃフィールディング株式会社 個人ナビゲーションシステム
JP2010139287A (ja) * 2008-12-10 2010-06-24 Hitachi Software Eng Co Ltd 携帯電話を利用した目的地紹介・案内システム
KR101229078B1 (ko) 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US8892461B2 (en) * 2011-10-21 2014-11-18 Alohar Mobile Inc. Mobile device user behavior analysis and authentication
KR20130091908A (ko) * 2012-02-09 2013-08-20 한국전자통신연구원 실내 네비게이션 서비스 제공 장치 및 그 방법
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9087349B2 (en) * 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US20140236475A1 (en) * 2013-02-19 2014-08-21 Texas Instruments Incorporated Methods and systems for navigation in indoor environments
US9959674B2 (en) 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US9939274B2 (en) * 2013-02-27 2018-04-10 International Business Machines Corporation Providing route guide using building information modeling (BIM) data
US20140129336A1 (en) * 2013-08-22 2014-05-08 Apex Technology Ventures, LLC Targeted Advertising in Conjunction with Consumer Detection
US9652124B2 (en) 2014-10-31 2017-05-16 Microsoft Technology Licensing, Llc Use of beacons for assistance to users in interacting with their environments
JP2016126188A (ja) * 2015-01-05 2016-07-11 コニカミノルタ株式会社 音声情報表示装置
CN115242304A (zh) * 2015-12-30 2022-10-25 艾伦神火公司 光学窄播
WO2017149440A1 (en) * 2016-03-01 2017-09-08 Nokia Technologies Oy Method, apparatus and computer program product for navigation in an indoor space

Also Published As

Publication number Publication date
US11243084B2 (en) 2022-02-08
US20190353485A1 (en) 2019-11-21
CA2979778C (en) 2024-02-13
AU2017232125B2 (en) 2022-01-13
AU2017232125A1 (en) 2018-04-05
JP2022179480A (ja) 2022-12-02
CA2979778A1 (en) 2018-03-22
US20180080774A1 (en) 2018-03-22
US10429191B2 (en) 2019-10-01
CN107870669A (zh) 2018-04-03
JP2018049010A (ja) 2018-03-29
SG10201707743QA (en) 2018-04-27
EP3306443A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
US11243084B2 (en) Systems and methods for improved data integration in augmented reality architectures
US11430025B2 (en) Synthetic data generation modeling system
US20170178260A1 (en) Systems and methods for improved data integration in virtual reality architectures
US11800327B2 (en) Systems and methods for sharing information between augmented reality devices
KR101569470B1 (ko) 현재의 위치 또는 시간에 관한 정보의 제시
US11334914B2 (en) Mapping mobile device interactions and location zones in a venue for use in sending notifications
US20140195664A1 (en) Zone Oriented Applications, Systems and Methods
KR20210060634A (ko) 개인화된 육상 운송을 위한 시스템들 및 방법들
JP2018049618A (ja) バーチャルリアリティアーキテクチャにおける改善されたデータ統合のためのシステムおよび方法
KR20210084658A (ko) 가상 비전 시스템
US20130212130A1 (en) Zone Oriented Applications, Systems and Methods
KR20160038836A (ko) 사용자에게 콘텐트를 제공하기 위한 장치 및 방법
CN109313536A (zh) 基于意图动态生成的任务图标的虚拟键盘
US9350798B2 (en) Methods and systems for transitioning between arbitrary shapes
US11782933B2 (en) Search result optimization using machine learning models
US9462015B2 (en) Distributed association engine
US10909606B2 (en) Real-time in-venue cognitive recommendations to user based on user behavior
US11579744B2 (en) Systems and methods for seat selection in virtual reality
US10621257B2 (en) Region of search based on context
CN115917512A (zh) 人工智能请求和建议卡
CN115053254A (zh) 用于个性化地面交通处理和用户意图预测的系统和方法
US20210133851A1 (en) Personalized content based on interest levels
US11308564B2 (en) Hierarchical generation of booking probability
CN107430738B (zh) 推断的用户意图通知
JP7475401B2 (ja) 拡張現実アーキテクチャにおける改善されたデータ統合のためのシステムおよび方法