KR20210113448A - 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들 - Google Patents

인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20210113448A
KR20210113448A KR1020217028935A KR20217028935A KR20210113448A KR 20210113448 A KR20210113448 A KR 20210113448A KR 1020217028935 A KR1020217028935 A KR 1020217028935A KR 20217028935 A KR20217028935 A KR 20217028935A KR 20210113448 A KR20210113448 A KR 20210113448A
Authority
KR
South Korea
Prior art keywords
real
world object
user
indicators
subset
Prior art date
Application number
KR1020217028935A
Other languages
English (en)
Inventor
패트릭 에스. 피몬테
울프 킨즐
더글라스 보우만
샤운 디. 부드람
마두라니 알. 사프레
비아체슬라브 라이제로비치
다니엘 드 로차 로사리오
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020237020691A priority Critical patent/KR102639605B1/ko
Publication of KR20210113448A publication Critical patent/KR20210113448A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

본 명세서에 설명되고 청구된 구현들은 사용자와 머신 간의 상호작용을 위한 시스템들 및 방법들을 제공한다. 일 구현에서, 세상에 있는 객체를 지시하거나 설명하는 모바일 머신의 사용자로부터의 입력을 수신하는 시스템이 제공된다. 일 예에서, 사용자는 시각적 센서에 의해 검출되는 객체에 대해 제스처를 할 수 있다. 다른 예에서, 사용자는 오디오 센서에 의해 검출되는 객체를 구두로 설명할 수 있다. 입력을 수신하는 시스템은 이어서 사용자가 사용자의 위치 근방의 어느 객체를 지시하고 있는지를 결정할 수 있다. 그러한 결정은 사용자 또는 자율 또는 모바일 머신의 지리적 위치 근방에 있는 알려진 객체들을 이용하는 것을 포함할 수 있다.

Description

인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들 {SYSTEMS AND METHODS FOR RELATIVE REPRESENTATION OF SPATIAL OBJECTS AND DISAMBIGUATION IN AN INTERFACE}
관련 출원의 상호 참조
본 특허 협력 조약(PCT) 출원은 2016년 9월 23일자로 출원되고 발명의 명칭이 "SYSTEMS AND METHODS FOR RELATIVE REPRESENTATION OF SPATIAL OBJECTS AND DISAMBIGUATION IN AN INTERFACE"인 미국 특허 출원 제62/398,579호에 관한 것이고 그에 대한 우선권을 주장하며, 각각의 전체 내용은 모든 목적들을 위해 본 명세서에 참고로 포함된다.
기술분야
본 개시내용의 양태들은 머신을 위한 대화형 사용자 인터페이스에 관한 것으로, 보다 상세하게는 머신의 위치에 상대적인 공간 객체들의 표현 및 명확화(disambiguation)를 제공하는 대화형 사용자 인터페이스에 관한 것이다.
로봇들, 항공 차량들, 항공우주 차량들, 잠수식 차량들, 자동차들, 다른 육상 차량들, 및 이와 유사한 것을 포함하여, 자율 컴퓨팅 머신을 이용하여 이동할 때, 사용자들은 계획들을 발전시키거나 그들 주위의 세계에 관한 정보를 요청할 때 그들의 주변상황들을 종종 참조할 수 있다. 그렇지만, 요청된 정보를 사용자들에게 직관적인 방식으로 자율 머신의 사용자들에게 제시하는 것, 즉 3차원 공간의 정보를 2차원 디스플레이 상에 제시하는 것은 종종 어렵다. 또한, 종종, 머신 주위의 세계에 있는 객체들을 참조하기 위한 사용자들의 지시들이, 특히 머신이 환경을 통해 움직이고 있을 때는, 부정확할 수 있다. 따라서, 머신의 사용자가 정보를 수신하려고 시도하고 있는 세계 내의 어떤 객체를 정확하게 결정하는 것이 어려울 수 있다. 그 중에서도 특히, 이러한 관찰들을 염두에 두고서, 본 개시내용의 다양한 양태들이 구상되고 개발되었다.
본 명세서에 설명되고 청구된 구현들은 디바이스의 외부 환경에 있는 실세계 객체의 입력 시스템을 통한 비-촉각적 선택(non-tactile selection)을 수신하고, 디바이스의 대략적인 지리적 위치를 추정하며, 디바이스의 추정된 대략적인 지리적 위치에 대해 외부 환경 내에 위치된 실세계 객체들의 데이터베이스로부터 외부 실세계 객체 지시자들의 서브세트를 획득하기 위한 방법, 시스템, 및/또는 컴퓨팅 디바이스를 제공함으로써 전술한 문제들을 해결한다. 이 방법, 시스템, 및/또는 컴퓨팅 디바이스는 또한 비-촉각적 선택에 적어도 기초하여 외부 실세계 객체 지시자들의 서브세트 중에서 적어도 하나의 객체를 명확화된 선택(disambiguated selection)으로서 선택하고 외부 객체 지시자들의 서브세트 중의 적어도 하나의 객체의 표현을 디스플레이할 수 있다.
다른 구현들이 또한 본 명세서에서 설명되고 열거된다. 게다가, 다수의 구현들이 개시되어 있지만, 현재 개시된 기술의 또 다른 구현들이 현재 개시된 기술의 예시적인 구현들을 도시하고 설명하는 이하의 상세한 설명으로부터 본 기술분야의 통상의 기술자에게 명백해질 것이다. 인식될 것인 바와 같이, 현재 개시된 기술은, 다양한 양태들에서의 수정들 모두가 현재 개시된 기술의 사상 및 범주를 벗어나지 않으면서, 그 수정들을 할 수 있다. 그에 따라, 도면들 및 발명을 실시하기 위한 구체적인 내용은 성질상 예시적인 것이며 제한하는 것이 아닌 것으로 간주되어야 한다.
도 1은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 제공하기 위한 예시적인 시스템의 다이어그램이다.
도 2는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 생성하기 위한 예시적인 시스템을 예시하고 있다.
도 3은 3차원 공간에서의 객체를 결정하고 사용자 인터페이스에서 머신 또는 사용자에 상대적인 객체의 표현을 제공하기 위한 방법의 플로차트를 예시하고 있다.
도 4는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제1 실시예를 예시하고 있다.
도 5는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제2 실시예를 예시하고 있다.
도 6은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제3 실시예를 예시하고 있다.
도 7은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제4 실시예를 예시하고 있다.
도 8은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제5 실시예를 예시하고 있다.
도 9는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제6 실시예를 예시하고 있다.
도 10은 모바일 디바이스가 환경을 통해 움직일 때 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 디스플레이된 표현을 변경하기 위한 일 실시예를 예시하고 있다.
도 11은 환경의 저장된 정보에 기초하여 객체의 선택을 명확화하기 위한 방법의 플로차트를 예시하고 있다.
도 12는 현재 개시된 기술의 다양한 동작들을 수행하도록 구성된 동작 유닛들을 포함하는 전자 디바이스의 기능 블록 다이어그램이다.
도 13은 현재 개시된 기술의 다양한 시스템들 및 방법들을 구현할 수 있는 예시적인 컴퓨팅 시스템이다.
현재 개시된 기술의 양태들은 사용자와, 자율 머신와 같은, 머신 사이의 상호작용을 위한 시스템들 및 방법들에 관한 것이다. 일반적으로, 세계에 있는 객체를 지시하거나 설명하는, 자율 차량 또는 모바일 컴퓨팅 디바이스와 같은, 모바일 머신의 사용자로부터의 입력을 수신하는 시스템이 제공된다. 일 예에서, 사용자는 시각적 센서에 의해 검출되는 객체에 대해 제스처를 할 수 있다. 다른 예에서, 사용자는 오디오 센서에 의해 검출되는 객체를 구두로 설명할 수 있다. 입력을 수신하는 시스템은 이어서 사용자가 사용자의 위치 근방의 어느 객체를 지시하고 있는지를 결정할 수 있다. 그러한 결정은 사용자 또는 자율 또는 모바일 머신의 지리적 위치 근방에 있는 알려진 객체들을 이용하는 것을 포함할 수 있다. 하나의 특정 실시예에서, 시스템은, 전역적으로 또는 사용자에게 개인적으로, 사용자의 영역 내의 객체들의 이전의 선택들 또는 지시들의 데이터베이스에 액세스하는 것을 통해 사용자의 입력을 명확화할 수 있다.
그에 부가하여, 시스템은 결정된 객체의 지시를 모바일 머신 또는 디바이스의 사용자 인터페이스를 통해 사용자 또는 사용자들에게 제시할 수 있다. 하나의 특정 실시예에서, 결정된 객체의 지시는 결정된 객체를 사용자 또는 디바이스의 위치에 상대적으로 공간적으로 배향하도록 제시될 수 있다. 결정된 객체를 사용자 또는 모바일 머신의 위치에 상대적으로 디스플레이하기 위한 사용자 인터페이스들의 다양한 예들이 본 명세서에서 제공된다. 그에 부가하여, 사용자 인터페이스는 사용자 또는 모바일 머신의 위치가 결정된 객체에 상대적으로 변함에 따라 주기적으로 업데이트될 수 있다. 예를 들어, 자율 차량 또는 반자율 차량이 도로 또는 경로를 따라 이동할 때 사용자 인터페이스는 그 차량 내에 포함될 수 있다. 차량의 사용자 또는 탑승자는 차량 외부에 있는 객체를 지시하여 그 객체를 선택할 수 있다. 차량 내의 사용자 인터페이스는 선택된 객체의 지시를 탑승자에게 제공할 수 있고, 차량이 도로를 따라 움직일 때, 선택된 객체의 표현이 사용자 인터페이스 내에서 변경될 수 있다.
또 다른 실시예에서, 복수의 객체들이 사용자 인터페이스에 디스플레이될 수 있다. 명확화는 사용자 입력에 기초하여 "가장 가능성있는" 후보를 선택하기 위해 시스템에 의해 이용될 수 있다. 그렇지만, 다른 잠재적으로 선택된 객체들이 사용자 인터페이스에 또한 디스플레이될 수 있다. 일 실시예에서, 잠재적인 객체들은 사용자에 의한 선택 또는 지시의 산출된 가능성에 기초하여 순위화되거나(ranked) 디스플레이될 수 있다. 게다가 또한, 디스플레이된 잠재적 객체들 중 하나 이상은 디스플레이된 객체들과 모바일 머신 또는 디바이스 사이의 공간적 관계를 유지하기 위해 환경 내에서의 모바일 디바이스의 움직임에 기초하여 디스플레이 내에서 조정될 수 있다.
도 1은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 제공하기 위한 예시적인 시스템(100)의 다이어그램이다. 시스템(100)은 모바일 머신 또는 컴퓨팅 디바이스(108)를 포함한다. 일 예에서, 모바일 머신(108)은, 셀룰러 폰 또는 태블릿 컴퓨팅 디바이스와 같은, 모바일 통신 디바이스이다. 다른 예에서, 모바일 머신(108)는 자율, 반자율, 또는 비-자율 차량일 수 있다. 일반적으로, 환경을 통해 움직이게 될 수 있는 임의의 타입의 컴퓨팅 디바이스가 모바일 머신으로서 시스템(100)에 포함될 수 있다.
모바일 디바이스(108)는 디스플레이 부분(104) 및/또는 대화형 부분(102)을 포함할 수 있다. 모바일 디바이스(108)가 태블릿 컴퓨터 또는 셀룰러 폰인 예에서, 디스플레이 부분(104)은 스크린을 포함할 수 있으며, 이를 통해 주변 실세계 환경의 부분들이 보일 수 있다. 모바일 디바이스(108)가 차량인 예에서, 디스플레이 부분은 윈드실드 또는 다른 투명 부분을 포함할 수 있으며, 이를 통해 차량의 사용자 또는 탑승자가 차량 주위의 환경을 볼 수 있다. 또 다른 예에서, 디스플레이 부분(104)은 불투명(non-transparent) 디스플레이 디바이스일 수 있다. 이하에서 보다 상세히 설명되는 바와 같이, 시스템(100)의 사용자가 디스플레이된 지시들을 볼 수 있도록, 모바일 디바이스(108) 주위의 환경 내의 객체 또는 객체들의 하나 이상의 지시가 디스플레이 부분(104) 상에 디스플레이될 수 있다. 따라서, 디스플레이 부분(104)은, 일부 경우들에서, 사용자가 주변 환경을 보는 동안 지시들이 디스플레이되는 증강 현실 디스플레이(augmented reality display)(ARD) 또는 다른 타입의 증강 디스플레이 시스템(augmented display system)을 포함할 수 있다. 이러한 방식으로, 환경 내의 객체들의 디스플레이된 지시자들은 환경의 뷰 상에 중첩될 수 있거나 환경 자체와 별개로 디스플레이될 수 있다.
일부 경우들에서, 디스플레이 부분은 모바일 디바이스(108)와 별개이고 모바일 디바이스(108)와 통신할 수 있다. 모바일 디바이스 또는 머신(108)이 차량인 예에서, 제공된 결과들을 모바일 디바이스 상에 디스플레이하기 위해, 셀룰러 폰 또는 태블릿 컴퓨팅 디바이스와 같은, 별개의 모바일 디바이스에의 통신이 제공될 수 있다. 이러한 방식으로, 제2 디바이스가 모바일 머신(108)의 디스플레이 부분으로서 이용될 수 있다.
시스템 모바일 디바이스(108)는 디바이스의 사용자로부터 입력들을 수신하고 그리고/또는 하나 이상의 출력을 사용자에게 제공하는 대화형 부분(102)을 또한 포함할 수 있다. 일부 경우들에서, 모바일 디바이스(108) 주위의 환경 내의 객체의 선택의 결과들이 객체 지시 결과들(106) 부분에 제시된다. 다른 실시예들에서, 결과들 부분(106)은 디스플레이 부분(104)에 디스플레이된 환경의 객체들에 관한 정보를 제공할 수 있다. 예를 들어, 디스플레이 부분(104)에 디스플레이되는 객체는 모바일 디바이스(108) 근방의 사무실 건물일 수 있다. 몇 개의 사업체가 건물 내에 위치될 수 있고, 그 사업체들 각각 또는 일부의 리스팅이 대화형 부분(102)의 결과들 부분(106)에 디스플레이될 수 있다. 일부 경우들에서, 시스템(100)의 사용자는, 디스플레이된 객체들에 관한 보다 많은 또는 보다 적은 정보를 획득하기 위해, 제공된 결과들(106)과 상호작용할 수 있다. 상이한 타입의 선택된 객체들의 디스플레이들 및 관련된 대화형 절차들의 몇 개의 예가 이하에서 보다 상세히 설명된다.
도 2를 참조하면, 모바일 디바이스(100) 상에 환경 내의 선택된 객체의 하나 이상의 지시를 생성하기 위한 예시적인 시스템(200)이 도시되어 있다. 일 구현에서, 시스템(200)은 머신 제어기(204)를 통해 복수의 전용 머신 컴포넌트들(206)과 통신하는 객체 선택 제어기(202)를 포함한다. 일 구현에서, 머신 제어기(204)는 객체 선택 제어기(202)와 전용 머신 컴포넌트들(206)이 그 자신의 요구들에 기초하여 통신하는 전용 노드 시스템 네트워크이다. 예를 들어, 머신 제어기(204)는 메시지들이 머신 제어기(204)에 게시되고 클래스들로 특성화되는 메시징 패턴을 수반하는 게시자-가입자(publisher-subscriber) 아키텍처를 이용할 수 있다. 객체 선택 제어기(202) 및 전용 머신 컴포넌트들(206) 각각은 대응하는 메시지들을 수신하기 위해 클래스들 중 임의의 것에 가입할 수 있다. 따라서, 객체 선택 제어기(202)는, 있는 경우, 어떤 게시자들이 존재하는지에 대한 지식 없이 머신 상태 정보 및/또는 사용자 상태 정보를 수신할 수 있다. 이와 유사하게, 객체 선택 제어기(202)는, 있는 경우, 어떤 가입자들이 존재하는지에 대한 지식 없이 메시지들을 머신 제어기(204)에 게시할 수 있다. 객체 선택 제어기(202) 및 전용 머신 컴포넌트들(206)에 대한 통신 채널을 제공하는 다른 아키텍처들이 머신 제어기(204)에 설치될(deployed) 수 있다는 점이 인식될 것이다.
객체 선택 제어기(202)는 머신 제어기(204)를 통해 또는 대화형 인터페이스(102)를 통해 획득된 머신 상태 정보 및/또는 사용자 상태 정보에 기초하여 모바일 디바이스(100) 상에 환경 내의 선택된 객체의 하나 이상의 지시를 생성하도록 구성된다. 하나의 구현에서, 객체 선택 제어기(202)는 선택된 또는 결정된 객체들의 지시들을 디스플레이 디바이스(104)에 생성하도록 구성된 객체 지시 제어기(208), 및 환경 내의 객체를 선택하기 위해 시스템(100)의 사용자로부터 입력을 수신하도록 구성된 입력 제어기(206)를 포함한다.
일 구현에서, 사용자와의 상호작용을 가능하게 해주고 객체들의 지시자들을 디스플레이하기 위해, 전용 머신 컴포넌트들(206)이 객체 선택 제어기(202)에 등록한다. 전용 머신 컴포넌트들(206) 각각은 모바일 디바이스 또는 머신에 대한 하나 이상의 서비스를 책임지고 있으며 그리고/또는 자율 차량의 하나 이상의 서브시스템과 통신한다. 예를 들어, 전용 머신 컴포넌트들(206)은 내비게이션 컴포넌트(들), 모션 컴포넌트들, 지각 또는 센서 컴포넌트들, 상태 컴포넌트들, 환경 컴포넌트들, 및/또는 이와 유사한 것을 포함할 수 있다.
머신 제어기(204)는 네트워크(218)를 통해 머신 상태 정보, 사용자 상태 정보, 환경 정보 및/또는 다른 원시 또는 프로세싱된 데이터를 추가로 획득할 수 있다. 일 구현에서, 네트워크(218)는 사용자 인터페이스와의 원격 상호작용을 위해, 하나 이상의 데이터베이스(220)를 포함하는, 하나 이상의 컴퓨팅 또는 데이터 저장 디바이스에 의해 사용된다. 서버(222)는 사용자들이 데이터베이스들(220)에 저장된 정보에 액세스하기 위해 그리고/또는 사용자 인터페이스와의 원격 상호작용을 위해 방문하는 웹사이트 또는 애플리케이션을 또한 호스팅할 수 있다. 서버(222)는 하나의 단일 서버, 복수의 서버들 - 각각의 그러한 서버는 물리적 서버 또는 가상 머신임 -, 또는 물리 서버들과 가상 머신들 둘 다의 집합체일 수 있다. 다른 구현에서, 클라우드는 하나 이상의 네트워크 컴포넌트를 호스팅한다. 네트워크(218)에 접속된 머신 제어기(204), 서버(222), 및, 데이터베이스(220) 또는 사용자 디바이스들과 같은, 다른 자원들은 사용자 상태 정보, 머신 상태 정보, 및/또는 다른 서비스들 또는 정보에의 액세스를 위해 하나 이상의 웹사이트, 애플리케이션, 웹 서비스들 인터페이스, 및/또는 이와 유사한 것에의 액세스를 위해 하나 이상의 다른 서버에 액세스할 수 있다. 서버(222)는 그러한 정보에 액세스하고 이를 수정하기 위한 검색 엔진을 또한 호스팅할 수 있다.
시스템(100)의 사용자 인터페이스를 통해 사용자와 상호작용하기 위해, 하나 이상의 입력 디바이스(214) 및 출력 디바이스(216)가 이용된다. 입력 디바이스들(214)은 일반적으로 객체 선택 제어기(202)와 (유선 또는 무선) 통신하고 시각적, 오디오, 및/또는 촉각적 입력의 형태로 원시 데이터를 캡처하도록 구성된 임의의 형태의 입력 디바이스일 수 있다. 예를 들어, 입력 디바이스들(214)은 하나 이상의 센서, 사용자 디바이스, 및/또는 이와 유사한 것을 포함할 수 있다. 사용자 디바이스는 일반적으로, 컴퓨터, 모바일 디바이스, 스마트폰, 태블릿, 멀티미디어 콘솔, 차량 인터페이스 콘솔, 및/또는 이와 유사한 것과 같은, 임의의 형태의 컴퓨팅 디바이스이다. 센서들은, 제한 없이, 마이크로폰들, 이미저들(imagers), 터치스크린 센서들(예컨대, 저항성, 표면 음향(surface acoustic), 용량, 적외선(IR), 광학, 압력 등)을 포함할 수 있다. 일 구현에서, 입력 디바이스들(214)은 가시 광, 비가시 광(예컨대, IR 광), 음향파, 및/또는 이와 유사한 것과 같은 신호를 시야 내로 투사한다. 신호는 시야로부터 반사되고 입력 디바이스들(214) 내의 하나 이상의 센서에 의해 검출된다. 입력 디바이스들(214) 및/또는 주 인터페이스 제어기(primary interface controller)(202)가 입력 디바이스들(214)에 의해 캡처된 사용자로부터의 입력을 입수(ingest)하기 위해 다양한 시각적, 오디오, 및 촉각적 프로세싱 기법들을 이용할 수 있다는 점이 인식될 것이다.
이와 유사하게, 출력 디바이스들(216)은 일반적으로 주 인터페이스 제어기(202)와 (유선 또는 무선) 통신하고 시각적, 오디오, 및/또는 촉각적 출력을 제공하도록 구성된 임의의 형태의 출력 디바이스일 수 있다. 출력 디바이스들(216)은, 제한 없이, 디스플레이들, 프로젝터들, 스피커들, 광원들, 햅틱 디바이스들, 사용자 디바이스들, 및/또는 이와 유사한 것을 포함할 수 있다. 일부 구현들에서, 출력 디바이스들(216)은 자율 차량의 컴포넌트들에(예컨대, 시트들, 스티어링 휠 등)에 통합된다.
예시적인 구현에서, 사용자는 환경 내의 실세계 객체의 물리적 제스처, 구두 설명, 디스플레이 디바이스 상에서의 객체의 물리적 선택 등을 통해 시스템(200)에 입력(214)을 제공한다. 입력은 객체 선택 제어기(202)의 입력 제어기(206)에 제공된다. 이하에서 보다 상세히 설명되는 바와 같이, 객체 선택 제어기(202)는 수신된 사용자의 객체 지시를, 머신 제어기(204) 컴포넌트를 통해 액세스되는 전용 머신 컴포넌트들(206), 서버(222), 데이터베이스(220) 등과 같은, 시스템(200)의 몇 개의 다른 컴포넌트의 사용을 통해 명확화할 수 있다. 객체의 선택이 일단 명확화되면, 지시 제어기(208)는 적어도 선택된 객체의 지시를 디스플레이 디바이스(104) 상에서 사용자에게 제공한다. 하나의 특정 실시예에서, 지시 제어기(208)는, 이하에서 보다 상세히 설명되는 바와 같이, 디스플레이 디바이스에서 몇 개의 잠재적으로 선택된 객체를 제공할 수 있다. 즉, 지시 제어기(208)는 객체를 대화형 인터페이스(102)에서 인터페이스의 출력(216)으로서 디스플레이하기 위해 객체의 지시를 입력 제어기(206)에 제공할 수 있다. 일부 실시예들에서, 지시 제어기(208)는 (차량과 같은) 모바일 디바이스에 대한 위치 정보를 수신하고 그에 따라 객체 또는 객체들의 디스플레이를 조정할 수 있다.
도 3은 3차원 공간에서의 객체를 결정하고 사용자 인터페이스에서 머신 또는 사용자에 상대적인 객체의 표현을 제공하기 위한 방법의 플로차트를 예시하고 있다. 일반적으로, 도 3의 방법(300)의 동작들은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 제공하기 위한 시스템(100)에 의해 수행된다. 따라서, 시스템(200)에 예시된 컴포넌트들 중 하나 이상이 설명된 방법(300)의 동작들을 수행하는 데 이용될 수 있다.
동작(302)에서 시작하여, 시스템(100)은 디바이스의 사용자로부터 모바일 디바이스(108) 외부의 실세계 객체의 지시를 수신한다. 예를 들어, 모바일 디바이스(108)의 사용자는 모바일 디바이스 주위의 환경 내의 특정 건물을 지시할 수 있다. 이러한 지시는, 건물을 가리키는 것 또는 건물을 향해 손을 흔드는 것과 같은, 건물의 방향으로 사용자에 의해 이루어지는 제스처를 포함할 수 있다. 다른 예에서, 제스처는 건물을 선택하거나 지시하기 위해 건물을 응시하거나 건물의 대략 부근을 응시하는 것을 포함할 수 있다. 제스처는 사용자의 움직임들 또는 시선들(gazes)을 획득하는, 적외선 카메라 또는 RGB 카메라와 같은, 시각적 센서에 의해 검출될 수 있다. 모바일 디바이스(108)가 차량인 예에서, 시각적 센서는 차량 내에 위치될 수 있고 차량의 외부에 있는 객체에 대한 차량의 탑승자들의 움직임들 또는 시선들을 검출하도록 구성될 수 있다. 모바일 디바이스가 태블릿 또는 다른 모바일 컴퓨팅 디바이스인 예에서, 유사한 메커니즘이 모바일 디바이스(108)에 포함될 수 있다.
다른 예에서, 사용자로부터 수신된 입력은 의도된 객체의 구두 설명일 수 있다. 그러한 경우에서, 의도된 객체의 구두 설명을 수신하기 위해 오디오 센서가 모바일 디바이스(108)에 포함되거나 그에 다른 방식으로 접속될 수 있다. 게다가, (객체 선택 제어기(202)와 같은) 시스템(200)은 외부 객체의 설명들의 의미를 결정하기 위한 프로그램들을 포함할 수 있다. 모바일 디바이스(108)의 외부 객체들과 관련한 구두 설명들의 명확화는 이하에서 보다 상세히 설명된다.
외부 실세계 객체를 지시하거나 선택하기 위해 다른 입력들이 또한 수신될 수 있다. 예를 들어, 환경의 뷰는 사용자로부터 터치 입력을 수신하는 디스플레이 상에 제공될 수 있다. 따라서, 사용자는 객체를 선택하기 위해 디스플레이의 스크린을 터치할 수 있다. 다른 예에서, (마우스 또는 스타일러스와 같은) 입력 디바이스가 입력을 디스플레이 또는 시스템(200)에 제공하는 데 사용될 수 있다. 일반적으로, 입력을 컴퓨팅 디바이스에 제공하기 위한 임의의 공지된 또는 이후에 개발되는 디바이스 또는 시스템이 모바일 디바이스(108) 외부의 환경에 있는 객체를 선택하는 것과 관련하여 이용될 수 있다.
동작(304)에서, 시스템(200)은 모바일 디바이스(108)의 대략적인 지리적 위치를 결정한다. 예를 들어, 모바일 디바이스(108)는 디바이스의 추정된 지리적 위치를 결정하기 위한 GPS(Global Positioning System) 능력을 포함하는 모바일 컴퓨터 또는 셀룰러 폰일 수 있다. 이와 유사하게, 차량은 모바일 디바이스 위치를 결정하기 위한 GPS 또는 다른 위치측정(localization) 능력들을 포함할 수 있다. 추정된 위치를 사용하여, 모바일 디바이스(108)는 동작(306)에서 외부 객체의 수신된 지시를 디바이스(108)의 추정된 위치 부근에 또는 그 근방에 있는 알려진 객체들의 데이터베이스와 비교할 수 있다. 예를 들어, 차량은 알려진 도로들의 특정 교차로를 통해 이동하고 있을 수 있다. 교차로에 있는 건물들, 사무실들, 버스 정류소들, 교통 신호등들 등과 같은, 객체들은 카테고리화되고, 네트워크(218)를 통해 액세스가능한 데이터베이스(220)와 같은, 데이터베이스에 저장될 수 있다. 전세계적으로 임의의 수의 위치들에 대해 그러한 객체들의 집합체가 획득되고 모바일 디바이스(108)에 의해 액세스가능한 데이터베이스(220) 또는 임의의 수의 데이터베이스들에 저장될 수 있다. 모바일 디바이스(108)는, 차례로, 사용자로부터 입력을 수신하기 전에 또는 수신한 후에, 모바일 디바이스의 추정된 위치에서의 알려진 객체들을 검색하기 위해 객체 데이터베이스(220)에 액세스할 수 있다. 수신된 입력과 모바일 디바이스(108)의 외부 환경 내의 알려진 객체들의 데이터베이스의 비교는 동작(308)에서 사용자가 알려진 객체들 중 어느 것을 선택하고 있는지를 추가로 세분화(refine)하거나 결정하기 위한 명확화 동작을 포함할 수 있다.
상세하게는, 시스템(200)은 모바일 디바이스(108)의 사용자로부터의 수신된 입력을 추정된 디바이스 위치에 대해 데이터베이스(220)에 저장된 실세계 객체들의 하나 이상의 지시자와 비교할 수 있다. 예를 들어, 수신된 입력은 모바일 디바이스(108) 외부의 위치를 향한 사용자의 제스처 또는 시선을 포함할 수 있다. 차량의 위치, 제스처의 배향, 및 환경 내의 하나 이상의 실세계 객체의 추정된 위치의 분석을 통해, 시스템(200)은 수신된 제스처에 대한 "최적합(best-fit)" 객체를 결정할 수 있다. 환언하면, 시스템(200)은 제스처의 가시선(line of sight) 또는 목적지를 결정하고, 제스처의 의도된 방향을 환경 내의 하나 이상의 객체의 알려진 위치와 비교할 수 있다. 이러한 분석을 통해, 시스템(200)은 이어서 환경 내의 객체를 시스템(200)의 사용자가 참조하거나 선택하고 있는 객체로서 예측하거나 선택할 수 있다.
앞서 설명된 다른 예에서, 시스템(200)의 사용자는 사용자가 환경에서 참조하는 객체의 구두 설명을 제공할 수 있다. 예를 들어, 사용자는 "적색 건물", "높은 산", "가장 가까운 은행 또는 ATM", "그 커피숍" 등에 관한 더 많은 정보를 시스템에게 요청할 수 있다. 일반적으로, 사용자는 모바일 디바이스(108) 외부의 환경 내의 객체를 선택하여 그 객체에 대한 더 많은 정보를 알기 위해 임의의 설명을 사용할 수 있다. 시스템(200)은 객체의 구두 설명을 수신하고, 사용자에 의해 무엇이 말해졌는지를 결정하기 위해 하나 이상의 음성 인식(Voice Recognition)(VR) 기법을 이용할 수 있다. 일반적으로, 객체 또는 위치의 구두 설명을 이해하기 위한 임의의 공지된 또는 이후에 개발되는 VR 기법들이 환경 내의 사용자에 의해 선택된 객체를 결정 또는 추정하기 위해 시스템(200)에 의해 이용될 수 있다.
결정된 객체의 구두 설명을 사용하여, 시스템(200)은 수신된 설명을 모바일 디바이스(108)의 추정된 지리적 위치에 기초한 알려진 또는 저장된 실세계 객체 지시자들의 데이터베이스(220)와 비교할 수 있다. 예를 들어, 사용자는 사용자가 모바일 디바이스의 외부 환경에서 보는 로컬 커피숍에 관한 정보를 모바일 디바이스(108)에게 요청할 수 있다. 시스템(200)은 이어서 모바일 디바이스의 추정된 위치를 결정하고, 객체 지시자들 또는 위치들의 데이터베이스(220)에 액세스하며, 커피 숍이 모바일 디바이스 부근에 위치되는지를 결정할 수 있다. 하나 초과의 커피숍이 모바일 디바이스 부근에 있을 수 있는 일 실시예에서, 시스템(200)은 사용자가 다수의 커피숍들 중 어느 것에 관해 알려고 의도하는지를 결정하기 위해 (시각적 센서와 같은) 다른 센서들로부터 검출된 (제스처 또는 시선 방향(direction of gaze)과 같은) 사용자로부터의 다른 입력들을 이용할 수 있다. 따라서, 다른 예에서, 시스템(200)은 객체의 설명 동안 사용자가 단어들 "적색" 및 "건물"을 발화했다(uttered)고 결정할 수 있다. 결정된 이러한 설명 단어들을 사용하여, 시스템(200)은, 적색 건물이 있는지 모바일 디바이스(108)의 지리적 위치에 대한 데이터베이스(220) 내의 저장된 객체 지시자들을 분석하고 그 객체를 사용자의 설명에 의해 지시된 객체로서 선택할 수 있다.
이러한 방식으로, 시스템(200)은 사용자가 외부 환경 내의 어느 객체에 대해 제스처하는지, 설명하는지, 또는 그것을 다른 방식으로 선택하는지를 결정하려고 시도할 수 있다. 이러한 프로세스는 사용자의 입력을 "명확화"하는 것으로 다른 방식으로 알려지거나 지칭될 수 있다. 앞서 언급된 바와 같이, 모바일 디바이스 또는 시스템(108)의 사용자들로부터 수신된 입력들이 환경 내의 의도된 객체를 명확하게 선택 또는 설명하지 않을 수 있다. 게다가, 일부 사용자들은 특정 설명 단어들을 사용할 수 있는 반면, 다른 사용자들은 상이한 설명 단어들을 사용할 수 있다. 따라서, 시스템(200)은, 사용자의 의도를 결정하기 위해 또는 모바일 디바이스(108) 부근에 있는 고려되는 객체들의 수를 제한하기 위해 몇 개의 센서를 이용하는 것과 같이, 환경 내의 객체를 보다 잘 선택하기 위해 사용자로부터의 수신된 입력을 명확화하는 데 하나 이상의 기법을 이용할 수 있다. 모바일 디바이스(108)의 외부 환경에 있는, 사용자가 지시하는 특정 객체를 명확화하기 위한 다른 방법들 및 기법들이 이하에서 보다 상세히 논의된다. 시스템(200)에 의해 이용되는 기법에 관계없이, 모바일 디바이스(108)의 환경 내의 하나의 최적합 또는 몇 개의 최적합 객체가 사용자에게 제시하거나 디스플레이하기 위해 시스템에 의해 선택된다.
동작(310)에서, 시스템(200)은 상기 동작들로부터 획득된 결과들을 디스플레이한다. 일반적으로, 시스템(200)은 사용자의 입력 및 입력의 명확화에 기초하여 사용자에게 최적합 결과를 디스플레이한다. 결과는 결정된 객체의 지시자 및/또는 객체에 관한 정보를 포함할 수 있다. 건물들 또는 다른 그러한 객체들의 경우, 정보는 건물 또는 위치와 연관된 사업체 이름들, 전화 번호들, 주소들, 건물 크기, 건물 이름 등을 포함할 수 있지만, 이들로 제한되지 않는다. 산과 같은, 자연 객체들의 경우, 정보는 산의 이름, 산의 고도, 및 선택된 객체에 특정적인 다른 정보를 포함할 수 있다. 일반적으로, 결정된 선택된 객체의 임의의 정보가 사용자에게 제공되거나 디스플레이될 수 있다.
그에 부가하여, 객체를 사용자에게 제시하는 것은 객체를 사용자 또는 모바일 디바이스 위치에 상대적으로 공간적으로 배향시키는 방식으로 제공될 수 있다. 사용자 인터페이스를 통해 사용자 또는 모바일 디바이스 위치에 대해 환경 내의 객체들을 공간적으로 배향시키는 몇 개의 예들이 도 4 내지 도 10을 참조하여 이하에서 제공된다. 그러한 지시자들은 임의의 타입의 디스플레이 디바이스 또는 사용자 인터페이스를 통해 사용자에게 제공될 수 있다. 게다가, 모바일 디바이스(108)가 환경을 통해 움직임에 따라, 디스플레이된 객체들과 관련된 모바일 디바이스의 배향 및 위치는 변할 수 있다. 예를 들어, 교차로의 코너 상에 있는, 사용자에 의해 선택된 객체는 설명된 바와 같이 시스템(200)에 의해 초기에 디스플레이될 수 있다. 그렇지만, 차량 또는 다른 모바일 디바이스(108)가 교차로를 통해 움직이고 계속하여 경로를 따라감에 따라, 선택된 객체의 위치가 차량의 위치와 관련하여 변한다. 따라서, 동작(312)에서, 시스템(200)은 모바일 디바이스(108)의 움직임들에 기초하여 디스플레이된 결과들을 변경할 수 있다. 상세하게는, 시스템(200)은 디바이스가 환경을 통해 움직일 때 모바일 디바이스(108)의 추정된 위치를 계속적으로 또는 주기적으로 업데이트할 수 있다. 각각의 위치 업데이트를 사용하여, 디스플레이된 결과들이 모바일 디바이스와 선택된 객체들 사이의 새로운 공간적 관계를 반영하도록 변경될 수 있다. 게다가, 보다 많은 객체들이 추후에 사용자에 의해 선택될 수 있다. 이러한 부가적인 객체들이 시스템(200)에 의해 사용자에게 또한 디스플레이될 수 있다. 이러한 방식으로, 시스템(200)에 의해 디스플레이된 결과들은 모바일 디바이스에 대한 선택된 객체의 공간적 표현을 추가로 제공하기 위해 모바일 디바이스(108)의 위치 및/또는 배향의 변화들을 반영하도록 업데이트될 수 있다.
도 4 내지 도 10은 디스플레이 또는 사용자 인터페이스(400)의 다양한 예들을 예시하고 있으며, 이를 통해 머신 및 관련 머신 상태 정보 및 사용자 상태 정보와의 상호작용들이 제공된다. 그러한 묘사들이 단지 예시적이고 제한적인 것으로 의도되지 않는다는 것이 본 기술분야의 통상의 기술자에 의해 인식될 것이다. 일반적으로, 도 4 내지 도 10에 예시된 사용자 인터페이스들 각각은 도 1의 시스템(100)과 관련하여 제공된다. 따라서, 각각의 예시는 디스플레이 부분(104) 및 대화형 부분(102)을 포함하는 (태블릿 컴퓨팅 디바이스 또는 차량과 같은) 모바일 디바이스(108)를 포함한다. 모바일 디바이스(108)가 차량인 예에서, 디스플레이 부분(104)은 윈드실드 또는 다른 투명 재료를 포함할 수 있으며, 이를 통해 차량의 사용자가 외부 환경을 볼 수 있다. 예시된 모바일 디바이스들의 사용자 또는 사용자들은, 이하에서 보다 상세히 설명되는 바와 같이, 사용자 인터페이스들의 몇 개의 양태와 상호작용할 수 있다.
도 4는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제1 실시예(400)를 예시하고 있다. 이 예에서, 외부 환경은 디스플레이 부분(104)을 통해 보일 수 있다. 따라서, 디스플레이 부분(104)은 차량의 윈드실드 또는 모바일 컴퓨팅 디바이스와 연관된 카메라의 뷰를 포함할 수 있다. 앞서 설명된 방법(300)을 통해, 모바일 디바이스(108)의 사용자는 외부 환경 내의 객체를 지시할 수 있다. 시스템(200)은 사용자에 의해 선택된 환경 내의 "최적합" 객체를 결정할 수 있다. 사용자가 또한 지시했을 수 있는 다른 객체들이 디스플레이 부분(104)에 또한 표시될 수 있다. 따라서, 시스템(200)은 사용자의 입력에 대한 하나 초과의 잠재적 매치에 대한 정보를 사용자에게 제공하기 위해 사용자가 선택했을 수 있는 몇 개의 객체의 리스트를 디스플레이할 수 있다. 도 4에 도시된 바와 같이, 시스템(200)은 디스플레이 부분(104) 내의 결정된 객체의 지시자(406)를 외부 환경 위에 중첩시킬 수 있다. 일 예에서, 지시자(406)는 시스템(200)과 관련하여 동작하는 관찰자 또는 사용자에 의해 착용된 ARD를 통해 보일 수 있다.
도 4에 예시된 실시예(400)에서, 외부 환경 내의 객체들의 3개의 지시자(406)가 모바일 디바이스(108)의 디스플레이 부분(104)에 디스플레이된다. 비록 결정된 객체를 가리키는 화살표를 갖는 원으로 도시되어 있지만, 임의의 타입 및 형상의 지시자(406)가 사용될 수 있다는 점이 인식되어야 한다. 지시자(406)는 사용자가 입력을 시스템(200)에 제공하는 것에 응답하여 디스플레이될 수 있다. 예를 들어, 사용자는 객체들에 관한 정보를 획득하기 위해 환경 내의 객체들을 가리킬 수 있다. 시스템(200)은 가리키는 것을 해석하고, 환경 내의 객체를 사용자의 관심 객체로서 선택할 수 있다. 시스템(200)은 다른 가능한 객체들을 관심 객체로서 또한 제공할 수 있다. 이러한 방식으로, 잠재적 관심 객체들의 순위(ranking)가, 순위 1 내지 순위 3으로 예시된 바와 같이, 디스플레이(108)에 디스플레이될 수 있다. 선택된 객체들에 관한 정보는 모바일 디바이스(108)의 대화형 부분(402)에 또한 제공될 수 있다. 일 실시예에서, 사용자는 선택된 객체에 대한 더 많은 정보를 획득하기 위해 (대화형 부분(402)의 일부를 누르는 것과 같은) 부가적인 입력들을 시스템(200)에 제공할 수 있다. 대화형 부분(402)에 의해 사용자에게 제공되는 정보는 디스플레이 부분(108)에 또는 모바일 디바이스(108)의 임의의 다른 표면 상에 디스플레이될 수 있다. 이러한 인터페이스(400)를 통해, 사용자는 모바일 디바이스(108) 부근에 있는 객체를 지시하고, 지시된 객체들의 하나 이상의 지시자(406)를 제공받으며, 모바일 디바이스의 디스플레이 내의 선택된 객체들에 관한 정보를 선택하거나 제공받을 수 있다.
다른 실시예에서, 사용자는 객체들의 구두 설명을 제공할 수 있다. 예를 들어, 사용자는 "좌측 전방에 있는 건물" 을 설명할 수 있다. 이에 응답하여, 시스템(200)은, 도시된 바와 같이, 사용자에 의해 의도된 잠재적 객체들을 선택하고 선택된 객체들을 디스플레이(104)에서 제공할 수 있다. 상기와 유사하게, 지시자들(406)은 사용자의 설명에 기초한 잠재적 객체들의 순위를 포함할 수 있다. 수신된 입력의 타입에 관계없이, 시스템(200)은 결정된 객체들의 지시자들(406)을 디스플레이하고, 일부 경우들에서, 선택된 객체들에 관한 부가 정보를 대화형 부분(402)을 통해 또는 디스플레이 자체에서 사용자에게 제공한다. 그와 같이, 사용자는 환경 내의 하나 이상의 객체에 관한 정보를 획득하기 위해 모바일 디바이스(108)의 외부 환경과 상호작용할 수 있다.
도 5는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제2 실시예(500)를 예시하고 있다. 이 실시예(500)에서, 선택된 객체들의 시각적 디스플레이가 모바일 디바이스(108)의 디스플레이 부분(104)에서 제공되지 않는다. 오히려, 객체들의 디스플레이는 모바일 디바이스(108)의 대화형 부분(102)의 객체 지시 결과들 영역(506)에서 제공된다. 그와 같이, 시스템에 의해 디스플레이된 결과들은 디스플레이 부분(104) 또는 대화형 부분(102)에서, 또는 일부 경우들에서 둘 다에서 제공될 수 있다. 이 실시예(500)는 차량의 동작 동안 지시자들이 윈드실드 상으로 투사되는 것을 방지하기 위해 차량들에서 이용될 수 있다.
도 6은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제3 실시예(600)를 예시하고 있다. 이 실시예(600)에서, 외부 환경(602)의 시각적 표현이 디스플레이(104)에서 제공된다. 시각적 표현(602)은 결정된 객체들의 하나 이상의 지시자(606)를 포함할 수 있다. 게다가, 시각적 표현(602)은 표현의 중앙 근방에 도로 또는 경로 지시자(604)를 포함할 수 있다. 도로 지시자(604)는 선택된 객체들(606)을 사용자/모바일 디바이스(108)의 위치와 관련하여 배향시키기 위해 제공된다. 예를 들어, 모바일 디바이스가 경로 또는 도로를 따라 아래로 이동하고 있을 때, 선택된 객체들이 도로의 우측 또는 좌측에 위치될 수 있다. 도로 지시자(604)를 외부 환경(602)의 시각적 표현에 포함시키는 것은 선택된 객체들이 모바일 디바이스(108)의 위치와 관련하여 도로의 어느 쪽에 위치되는지의 지시를 제공한다. 게다가, 선택된 또는 제공된 객체들에 관한 정보(608)가 시각적 표현(602)에 또한 포함될 수 있다. 다른 실시예들에서, 선택된 객체들의 정보 또는 부가 정보는 모바일 디바이스(108)의 객체 지시 결과들(106) 영역에 디스플레이될 수 있다.
도 7은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제4 실시예(700)를 예시하고 있다. 이 실시예(700)에서, 외부 환경(702)의 시각적 표현이 디스플레이(104)에서 제공된다. 일 예에서, 시각적 표현(702)은 차량이 모바일 디바이스(108)일 때 차량의 한쪽 측면을 예시한다. 시각적 표현은, 일 실시예에서, 외부 환경의 사진 또는 이미지일 수 있다. 다른 실시예에서, 시각적 표현(702)은 외부 환경의 생성된 이미지일 수 있다. 도 7에 도시된 바와 같이, 시각적 표현(702)은 차량의 한쪽 측면 상에 위치된 건물들을 포함한다. 그에 부가하여, 시각적 표현(702)은 결정된 객체들의 하나 이상의 지시자(706)를 포함할 수 있다. 상세하게는, 사용자에 의해 잠재적으로 선택된 객체들로서 결정된 하나 이상의 건물이 도해될(illustrated) 수 있다. 다른 비-선택된 건물들이 또한 도해되거나 보여질 수 있다. 즉, 선택된 객체들(706)이 다른 비-객체들과 관련하여 시각적 표현(702)에 도해되거나 보여질 수 있다. 게다가, 시각적 표현(702)은 선택된 또는 제공된 객체들에 관한 정보(708)를 포함할 수 있다. 도시된 예에서, 정보(708)는 시각적 표현(702)에서 선택된 객체들(706)과 연관된 회사들 또는 사업체들의 드롭-다운 리스팅의 형태를 취한다. 건물 내에 위치된 다수의 사업체를 갖는 건물들이 열거될 수 있으며, 일부 경우들에서, 건물 내의 사업체 위치와 연관된 층 번호(floor number)를 포함할 수 있다. 다른 실시예들에서, 선택된 객체들의 정보 또는 부가 정보는 모바일 디바이스(108)의 객체 지시 결과들(106) 영역에 디스플레이될 수 있다.
도 8은 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제5 실시예(800)를 예시하고 있다. 도 7의 실시예(800)는 도 7의 실시예와 유사하다. 그렇지만, 도 8의 시각적 표현(802)에서, 정보(808)는 리스트 형태로 제공되고, 특정의 도해된 또는 보여진 건물에 반드시 결부되지는 않는다. 각각의 열거된 객체에 대한 부가 정보가 디스플레이 부분(104)에 또한 포함될 수 있다.
도 9는 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 표현을 디스플레이하기 위한 제6 실시예(900)이다. 이 실시예(900)에서, 선택된 객체들은 타임라인(904)을 따라 디스플레이된다. 유사한 방식으로, 선택된 객체들에 대한 대응하는 정보가 타임라인(904)을 따라 또는 모바일 디바이스(108)의 대화형 부분(1022)에 또한 제공될 수 있다. 일 실시예에서, 타임라인(904)을 따른 위치는 사용자 또는 모바일 디바이스(108)에 대한 선택된 객체들의 위치에 대응할 수 있다. 예를 들어, 가장 가까운 결과는 타임라인(904)의 맨 오른쪽에(on the far right) 위치될 수 있는 반면, 모바일 디바이스(108)로부터의 가장 먼 객체는 타임라인의 맨 왼쪽에(on the far left) 위치될 수 있다. 그렇지만, 일반적으로, 타임라인(904) 상에서의 선택된 객체들의 위치는, 객체 위치 및/또는 선택된 객체가 사용자 입력에 의해 지시된 특정 객체일 가능성과 같은, 선택된 객체들에 관한 임의의 정보에 기초할 수 있다.
앞서 언급된 바와 같이, 모바일 디바이스(108) 또는 사용자가 환경을 통해 움직일 때 디스플레이된 결과들이 조정되거나 변경될 수 있다. 예를 들어, 도 10은 모바일 디바이스가 환경을 통해 움직일 때 사용자 인터페이스에서 머신에 상대적인 공간 객체들의 디스플레이된 표현을 변경하기 위한 일 실시예(1000)를 예시하고 있다. 도 10에서의 예시(1000)는 도 6에 예시된 것과 유사하고, 하나 이상의 객체 지시자(1006)를 포함한다. 그렇지만, 이 실시예에서, 모바일 디바이스(1004)의 표현이 시각적 표현(1002)에 보여지고 있다. 게다가, 모바일 디바이스가 환경을 통해 움직임에 따라, 선택된 객체들(1006)에 대한 모바일 디바이스(108)의 상대 위치가 변할 수 있다. 모바일 디바이스(1004)와 표현된 객체들(1006) 사이의 상대 위치의 이러한 변화가 시각적 표현(1002)에 또한 도해될 수 있다. 상세하게는, 모바일 디바이스(108)가 움직임에 따라, 객체 지시자들(1006)의 위치가, (움직임 화살표들이 아래로 향하는 것에 의해 표시된 바와 같이) 표현의 하부를 향해 움직이는 것과 같이, 시각적 표현(1002) 내에서 움직일 수 있다. 그렇지만, 객체 지시자들(1006)이 모바일 디바이스(1004)와 객체들 사이의 상대 위치의 변화를 도해하기 위해 임의의 방향 또는 방식으로 시각적 표현(1002) 주위에서 움직이게 될 수 있다는 점이 인식되어야 한다.
유사한 방식으로, 모바일 디바이스(108)가 환경을 통해 움직임에 따라 다른 실시예들에서의 객체 지시자들이 또한 변경될 수 있다. 예를 들어, 도 4의 객체 지시자들(406)은 선택된 객체들을 가리키는 채로 유지되도록 디스플레이 부분(104) 내에서 움직이게 될 수 있다. 시각적 표현의 실시예들(700, 800, 900)에서, 객체 지시자들은 모바일 디바이스(108)와 객체들 사이의 상대 위치의 변화를 도해하기 위해 시각적 표현들 내에서 좌측 또는 우측으로 움직일 수 있다. 지시자들의 움직임은 모바일 디바이스(108)의 추정된 위치 및 선택된 객체들의 위치의 산출을 통해 시스템(200)에 의해 결정될 수 있다. 일 구현에서, 모바일 디바이스(108)의 위치는 GPS 디바이스를 통해 결정되고, 객체들의 위치는 알려진 객체 위치들의 데이터베이스(220)로부터 획득된다. 선택된 객체들의 디스플레이의 변경을 통해, 시스템(200)의 사용자는 모바일 디바이스(108)의 위치와 관련하여 선택된 객체들의 위치의 공간적 이해를 획득할 수 있다.
시스템(200)이 사용자로부터의 객체들의 입력을 명확화하는 데 도움을 주기 위해, 시스템의 일 구현은 어느 객체가 사용자에 의해 선택되는지를 결정하기 위해 하나 이상의 머신 러닝 기법 또는 과거의 선택을 이용할 수 있다. 상세하게는, 도 11은 환경의 저장된 정보에 기초하여 객체의 선택을 명확화하기 위한 방법(1100)의 플로차트를 예시하고 있다. 방법(1100)의 동작들은 도 2와 관련하여 앞서 논의된 시스템(200)의 컴포넌트들 중 하나 이상에 의해 수행될 수 있다. 설명된 동작들을 통해, 시스템(200)은 모바일 디바이스의 외부 환경 내의 객체를 선택하거나 지시하기 위해 모바일 디바이스(108)의 사용자로부터 수신된 입력을 추가로 명확화할 수 있다.
동작(1102)에서 시작하여, 시스템(200)은 특정 지리적 위치에 위치된 객체들에 관한 정보를 수신하고, 객체 정보를 데이터베이스(220)에 저장한다. 일 실시예에서, 데이터베이스(220)는 저장된 정보를 획득하거나 그에 다른 방식으로 액세스하기 위해 네트워크(218)를 통해 다수의 모바일 디바이스들에 대해 이용가능하다. 데이터베이스(220)에 저장된 정보는 임의의 수의 데이터 수집기들로부터 수신될 수 있다. 예를 들어, 데이터베이스(220)는 중앙 서버 컴퓨팅 시스템의 일 부분일 수 있다. 네트워크(218)를 통해 중앙 서버와 통신함으로써, 임의의 수의 모바일 머신들 또는 디바이스들이 저장된 정보를 획득할 수 있다. 게다가, 데이터베이스(220)에 저장된 정보는 임의의 수의 데이터 수집기들에 의해 제공될 수 있다. 이러한 방식으로, 데이터 수집기들 및 다른 데이터 소스들의 플리트(fleet)가 정보를 저장을 위해 데이터베이스(220)에 제공할 수 있으며, 정보의 각각의 세그먼트는 지리적 영역에 대응한다. 하나의 특정 구현에서, 정보는 정보가 속하는 객체의 추정된 지리적 위치에 기초하여 데이터베이스(220)에 저장되고 카테고리화된다. 정보는, 일단 저장되면, 이어서 모바일 디바이스의 환경 내의 객체들에 관한 정보를 결정하고 디스플레이하는 데 사용하기 위해, 자율 차량들과 같은, 모바일 디바이스들에 대해 이용가능하다. 일반적으로, 객체 정보는 객체의 추정된 지리적 위치 및 객체의 양태들에 관한 식별 정보를 포함한다.
유사한 방식으로 그리고 동작(1104)에서, 시스템(200)은 데이터베이스(220)에 저장된 하나 이상의 객체에 관한 인기도 점수 또는 지시자를 수신하고 저장한다. 일반적으로, 객체와 연관된 인기도 점수는 객체가 일반 대중에게 인기 있을 가능성의 지시를 제공한다. 예를 들어, 모바일 디바이스(108)의 사용자가 건물 내에 위치된 법률 회사보다 레스토랑의 위치 및 정보에 관심이 있을 수 있는 가능성이 더 많다. 따라서, 대중의 관심을 받을 수 있거나 다량의 후원자들을 가질 수 있는 그 객체들은 보다 적은 관심을 받는 다른 객체들보다 더 높은 인기도 점수를 가질 수 있다. 데이터베이스(220) 내의 객체들의 인기도 점수들은 임의의 데이터 소스 또는 수집기에 의해 제공될 수 있다.
동작(1106)에서, 시스템(200)은 지리적 영역에 대한 데이터베이스(220)에 저장된 특정 객체의 선택의 지시를 수신한다. 환언하면, 시스템(200)은, 앞서 설명된 바와 같이, 모바일 디바이스(108)의 외부 환경 내의 객체의 사용자로부터의 입력을 수신할 수 있다. 또한 앞서 설명된 바와 같이, 시스템(200)은 동작(1108)에서 데이터베이스(220)로부터 객체 정보 및/또는 지시자들을 획득하여 사용자에게 디스플레이할 수 있다. 일 구현에서, 디스플레이된 객체 정보는 선택된 객체가 사용자의 입력 및/또는 객체의 인기도 점수에 의해 지시되었을 확률에 기초할 수 있다. 예를 들어, 사용자는 모바일 디바이스(108)의 환경 내의 커피숍을 지시할 수 있다. 사용자의 입력 및 모바일 디바이스(108)의 지리적 영역 내의 객체들과 연관된 인기도 점수의 분석을 통해, 특정 커피 숍이 선택된 객체로서 사용자에게 제시될 수 있다. 다른 객체들이 사용자의 의도된 객체의 확률의 내림차순으로 또한 제시될 수 있다. 이러한 방식으로, 시스템(200)은 사용자가 환경 내의 어느 객체를 선택하려고 의도했거나 어느 객체를 향해 제스처를 했는지를 결정하려고 시도한다. 사용자의 입력의 이러한 명확화는 수신된 입력의 분석, 및, 일부 경우들에서, 특정 객체의 인기도를 포함할 수 있다.
일부 경우들에서, 데이터베이스(220) 내의 객체들은 하나 초과의 인기도 점수 또는 지시를 가질 수 있다. 예를 들어, 서점은 일정 시간 기간에 걸쳐 서점을 선택하는 사용자들의 총수에 기초하여 제1 인기도 점수를 가질 수 있다. 그렇지만, 서점은 영역 내의 모든 서점들에 관한 정보를 획득하려고 의도할 때 객체의 선택들의 횟수에 기초하여 제2 인기도 점수를 또한 가질 수 있다. 환언하면, 데이터베이스(220) 내의 객체들은 일반 인기도 및/또는 객체 타입 특정적 인기도 점수를 가질 수 있다. 일반적으로, 임의의 수 및 타입의 인기도 점수들이 데이터베이스(220)에 저장된 객체들과 연관될 수 있다.
또한 앞서 언급된 바와 같이, 시스템(200)은 사용자에게 제공되는 복수의 객체 지시자들로부터의 하나의 특정 객체의 지시 또는 선택을 수신할 수 있다. 예를 들어, 시스템(200)은 사용자의 입력과 정렬되는 복수의 객체 옵션들을 디스플레이할 수 있다. 사용자는, 차례로, 선택된 객체에 관한 부가 정보를 획득하기 위해 디스플레이 또는 대화형 부분 내의 옵션들 중 하나를 선택할 수 있다. 동작(1110)에서, 시스템(200)은 사용자로부터 의도된 객체의 선택을 수신할 수 있다. 이러한 선택은 사용자의 입력 및 인기도 점수에 기초하여 사용자에게 제공된 객체들의 정확도를 시스템(200)에 알려줄 수 있다. 환언하면, 사용자에게 제공되는 가능한 객체들(object possibilities) 중 하나의 선택은 시스템(200)이 사용자의 입력에 의해 지시된 객체를 예측하는 데 얼마나 정확했는지를 나타낸다. 그에 부가하여, 시스템(200)은 데이터베이스(220)에 저장된 정보를 조정하기 위해 선택 정보를 이용할 수 있다. 예를 들어, 다양한 모바일 디바이스들(108)의 점점 더 많은 사용자들이 특정 객체를 선택함에 따라 전세계적으로 이용가능한 데이터베이스(220) 내의 객체와 연관된 인기도 점수가 조정될 수 있다. 다른 예에서, 시스템(200)은 특정 시스템의 사용자 또는 사용자들의 좋아하는 것들(favorites) 또는 종종 선택된 객체들의 로컬 데이터베이스를 유지할 수 있다. 사용자의 이러한 좋아하는 것들은 시스템(200)이 좋아하는 객체를 제안하는 입력을 수신할 때 다른 객체들보다 우선권(preference)을 부여받을 수 있다. 이러한 방식으로, 특정 객체들이 많은 사용자들 또는 특정 사용자에 의해 선택될 때 데이터베이스에 저장된 정보가 조정될 수 있다. 이러한 정보는 이어서 사용자의 입력을 추가로 명확화하고 입력에 기초하여 특정 객체를 선택된 객체인 것으로 사용자에게 제공하기 위해 추후에 시스템(200)에 의해 이용될 수 있다.
도 12를 참조하면, 현재 개시된 기술의 다양한 동작들을 수행하도록 구성된 동작 유닛들(1202 내지 1214)을 포함하는 전자 디바이스(1200)가 도시되어 있다. 디바이스(1200)의 동작 유닛들(1202 내지 1214)은 본 개시내용의 원리들을 수행하기 위해 하드웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 도 12에서 설명되는 동작 유닛들(1202 내지 1214)이 본 개시내용의 원리들을 구현하기 위해 서브-블록들로 결합 또는 분리될 수 있다는 점이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 따라서, 본 명세서에서의 설명은 동작 유닛들(1202 내지 1214)의 임의의 가능한 결합 또는 분리 또는 추가적 정의를 지원한다.
일 구현에서, 전자 디바이스(1200)는, 대화형 사용자 인터페이스(100) 또는 다른 그래픽 사용자 인터페이스와 같은, 정보를 디스플레이하기 위한 디스플레이 유닛(1202), 그리고 디스플레이 유닛(1202) 및, 입력 디바이스들(214)과 같은, 하나 이상의 입력 디바이스 또는 시스템으로부터 데이터를 수신하기 위한 입력 유닛(1206)과 통신하는 프로세싱 유닛(1204)을 포함한다. 본 명세서에서 설명된 다양한 동작들은 프로세싱 유닛(1204)이 디스플레이 유닛(1202)을 사용하여 디스플레이하기 위한 정보를 출력하기 위해 입력 유닛(1206)에 의해 수신된 데이터를 사용하는 것에 의해 구현될 수 있다.
부가적으로 또는 대안적으로, 전자 디바이스(1200)는 수신 유닛(1208) 및 결과들 유닛(1210)을 포함할 수 있다. 수신 유닛(1208)은 외부 환경 내의 객체의 정보를, 예컨대, 그러한 정보의 데이터베이스로부터, 수신한다. 결과들 유닛(1210)은 사용자가 머신 부근의 복수의 객체들 중 어느 객체를 선택하고 있는지를 결정한다.
도 13을 참조하면, 본 명세서에 논의된 다양한 시스템들 및 방법들을 구현할 수 있는 하나 이상의 컴퓨팅 유닛을 갖는 예시적인 컴퓨팅 시스템(1300)의 상세한 설명이 제공된다. 컴퓨팅 시스템(1300)은 객체 선택 제어기(202), 머신 제어기(204), 전용 머신 컴포넌트들(206), 입력 디바이스들(214), 출력 디바이스들(216), 서버(222), 및 다른 컴퓨팅 또는 네트워크 디바이스들에 적용가능할 수 있다. 이 디바이스들의 특정 구현들이 상이한 가능한 특정 컴퓨팅 아키텍처들을 가질 수 있으며, 그 전부가 본 명세서에서 구체적으로 논의되지는 않지만 본 기술분야의 통상의 기술자에 의해 이해될 것임이 인식될 것이다.
컴퓨터 시스템(1300)은 컴퓨터 프로세스를 실행하기 위해 컴퓨터 프로그램 제품을 실행할 수 있는 컴퓨팅 시스템일 수 있다. 데이터 및 프로그램 파일들은, 파일들을 판독하고 그 내의 프로그램들을 실행하는, 컴퓨터 시스템(1300)에 입력될 수 있다. 하나 이상의 하드웨어 프로세서(1302), 하나 이상의 데이터 저장 디바이스(1304), 하나 이상의 메모리 디바이스(1308), 및/또는 하나 이상의 포트(1308 내지 1312)를 포함하는, 컴퓨터 시스템(1300)의 요소들 중 일부가 도 13에 도시되어 있다. 부가적으로, 본 기술분야의 통상의 기술자에 의해 인식될 다른 요소들이 컴퓨팅 시스템(1300)에 포함될 수 있지만, 도 13에 명시적으로 묘사되지 않거나 본 명세서에서 추가로 논의되지 않는다. 컴퓨터 시스템(1300)의 다양한 요소들은 하나 이상의 통신 버스, 포인트-투-포인트 통신 경로, 또는 도 13에 명시적으로 묘사되지 않은 다른 통신 수단을 통해 서로 통신할 수 있다.
프로세서(1302)는, 예를 들어, 중앙 프로세싱 유닛(CPU), 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서(DSP), 및/또는 하나 이상의 내부 캐시 레벨(internal levels of cache)을 포함할 수 있다. 프로세서(1302)가 단일 중앙 프로세싱 유닛, 또는, 병렬 프로세싱 환경이라고 흔히 지칭되는, 서로 병렬로 명령어들을 실행하고 동작들을 수행할 수 있는 복수의 프로세싱 유닛들을 포함하도록, 하나 이상의 프로세서(1302)가 있을 수 있다.
컴퓨터 시스템(1300)은 종래의 컴퓨터, 분산 컴퓨터, 또는, 클라우드 컴퓨팅 아키텍처를 통해 이용가능하게 되는 하나 이상의 외부 컴퓨터와 같은, 임의의 다른 타입의 컴퓨터일 수 있다. 현재 설명된 기술은 임의로 데이터 저장 디바이스(들)(1304) 상에 저장된, 메모리 디바이스(들)(1306) 상에 저장된, 그리고/또는 포트들(1308 내지 1312) 중 하나 이상을 통해 전달된 소프트웨어로 구현되며, 그로써 도 12에서의 컴퓨터 시스템(1300)을 본 명세서에 설명된 동작들을 구현하기 위한 특수 목적 머신으로 변형시킨다. 컴퓨터 시스템(1300)의 예들은 개인 컴퓨터들, 단말들, 워크스테이션들, 모바일 폰들, 태블릿들, 랩톱들, 개인 컴퓨터들, 멀티미디어 콘솔들, 게이밍 콘솔들, 셋톱 박스들, 및 이와 유사한 것을 포함한다.
하나 이상의 데이터 저장 디바이스(1304)는 컴퓨팅 시스템(1300)의 다양한 컴포넌트들을 관리하는 애플리케이션 프로그램들 및 운영 체제(OS) 둘 다의 명령어들을 포함할 수 있는, 컴퓨터 프로세스를 수행하기 위한 컴퓨터 실행가능 명령어들과 같은, 컴퓨팅 시스템(1300) 내에서 생성되거나 이용되는 데이터를 저장할 수 있는 임의의 비휘발성 데이터 저장 디바이스를 포함할 수 있다. 데이터 저장 디바이스들(1304)은, 제한 없이, 자기 디스크 드라이브들, 광학 디스크 드라이브들, 솔리드 스테이트 드라이브들(SSD들), 플래시 드라이브들, 및 이와 유사한 것을 포함할 수 있다. 데이터 저장 디바이스들(1304)은 이동식 데이터 저장 매체들, 비-이동식 데이터 저장 매체들, 및/또는, 하나 이상의 데이터베이스 관리 제품, 웹 서버 제품, 애플리케이션 서버 제품, 및/또는 다른 부가적인 소프트웨어 컴포넌트를 포함하는, 그러한 컴퓨터 프로그램 제품들과의 유선 또는 무선 네트워크 아키텍처를 통해 이용가능하게 되는 외부 저장 디바이스들을 포함할 수 있다. 이동식 데이터 저장 매체들의 예들은 CD-ROM(Compact Disc Read-Only Memory), DVD-ROM(Digital Versatile Disc Read-Only Memory), 자기-광학 디스크들, 플래시 드라이브들, 및 이와 유사한 것을 포함한다. 비-이동식 데이터 저장 매체들의 예들은 내부 자기 하드 디스크들, SSD들, 및 이와 유사한 것을 포함한다. 하나 이상의 메모리 디바이스(1306)는 휘발성 메모리(예컨대, 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM) 등) 및/또는 비휘발성 메모리(예컨대, 판독 전용 메모리(ROM), 플래시 메모리 등)를 포함할 수 있다.
현재 설명된 기술에 따른 시스템들 및 방법들을 실시하기 위한 메커니즘들을 포함하는 컴퓨터 프로그램 제품들은, 머신 판독가능 매체들이라고 지칭될 수 있는, 데이터 저장 디바이스들(1304) 및/또는 메모리 디바이스들(1306)에 존재할 수 있다. 머신 판독가능 매체들이, 머신에 의해 실행하기 위한 본 개시내용의 동작들 중 임의의 하나 이상을 수행하기 위한 명령어들을 저장하거나 인코딩할 수 있는 또는 그러한 명령어들에 의해 이용되거나 이들과 연관된 데이터 구조들 및/또는 모듈들을 저장하거나 인코딩할 수 있는 임의의 유형적 비일시적 매체를 포함할 수 있다는 것이 인식될 것이다. 머신 판독가능 매체들은 하나 이상의 실행가능 명령어들 또는 데이터 구조들을 저장하는 단일 매체 또는 다수의 매체들(예컨대, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시들 및 서버들)을 포함할 수 있다.
일부 구현들에서, 컴퓨터 시스템(1300)은 다른 컴퓨팅, 네트워크, 또는 차량 디바이스들과 통신하기 위한, 입출력(I/O) 포트(1308), 통신 포트(1310), 및 서브시스템들 포트(1312)와 같은, 하나 이상의 포트를 포함한다. 포트들(138 내지 1312)이 결합되거나 분리될 수 있고, 보다 많거나 보다 적은 포트들이 컴퓨터 시스템(1300)에 포함될 수 있다는 것이 인식될 것이다.
I/O 포트(1308)는 I/O 디바이스, 또는 다른 디바이스에 접속될 수 있으며, 이에 의해 정보가 컴퓨팅 시스템(1300)에 입력되거나 그로부터 출력된다. 그러한 I/O 디바이스들은, 제한 없이, 하나 이상의 입력 디바이스, 출력 디바이스, 및/또는 환경 트랜스듀서 디바이스를 포함할 수 있다.
일 구현에서, 입력 디바이스들은 인간 음성, 물리적 움직임, 물리적 터치 또는 압력, 및/또는 이와 유사한 것과 같은, 인간에 의해 생성된(human-generated) 신호를, I/O 포트(1308)를 통해 컴퓨팅 시스템(1300) 내로의 입력 데이터인 전기 신호들로 변환한다. 이와 유사하게, 출력 디바이스들은 컴퓨팅 시스템(1300)으로부터 수신된 전기 신호들을 I/O 포트(1308)를 통해, 사운드, 광, 및/또는 터치와 같은, 인간에 의해 출력으로서 감지될 수 있는 신호들로 변환할 수 있다. 입력 디바이스는, 정보 및/또는 커맨드 선택들을 I/O 포트(1308)를 통해 프로세서(1302)에 전달하기 위한 영숫자 및 다른 키들을 포함하는, 영숫자 입력 디바이스일 수 있다. 입력 디바이스는, 마우스, 트랙볼, 커서 방향 키들, 조이스틱, 및/또는 휠과 같은, 방향 및 선택 제어 디바이스들을 포함하지만 이들로 제한되지 않는 다른 타입의 사용자 입력 디바이스; 카메라, 마이크로폰, 위치 센서, 배향 센서, 중력 센서, 관성 센서, 및/또는 가속도계와 같은 하나 이상의 센서; 및/또는 터치 감응 디스플레이 스크린("터치스크린")일 수 있다. 출력 디바이스들은, 제한 없이, 디스플레이, 터치스크린, 스피커, 촉각 및/또는 햅틱 출력 디바이스, 및/또는 이와 유사한 것을 포함할 수 있다. 일부 구현들에서, 예를 들어, 터치스크린의 경우에, 입력 디바이스와 출력 디바이스는 동일한 디바이스일 수 있다.
환경 트랜스듀서 디바이스들은 하나의 형태의 에너지 또는 신호를 I/O 포트(1308)를 통해 컴퓨팅 시스템(1300) 내로 입력하거나 그로부터 출력하기 위한 다른 형태로 변환한다. 예를 들어, 컴퓨팅 시스템(1300) 내에서 생성된 전기 신호는 다른 타입의 신호로 변환될 수 있고 그리고/또는 그 반대일 수 있다. 일 구현에서, 환경 트랜스듀서 디바이스들은 광, 사운드, 온도, 압력, 자기장, 전기장, 화학적 특성들, 물리적 움직임, 배향, 가속도, 중력, 및/또는 이와 유사한 것과 같은, 컴퓨팅 디바이스(1300)에 로컬이거나 그로부터 멀리 떨어진 환경의 특성들 또는 양태들을 감지한다. 게다가, 환경 트랜스듀서 디바이스들은 어떤 객체(예컨대, 기계적 액추에이터)의 물리적 움직임, 물질의 가열 또는 냉각, 화학 물질의 추가, 및/또는 이와 유사한 것과 같은, 예시적인 컴퓨팅 디바이스(1300)에 로컬이거나 그로부터 멀리 떨어진 환경에 대한 어떤 효과를 부과하기 위한 신호들을 생성할 수 있다.
일 구현에서, 통신 포트(1310)는 네트워크에 접속되고, 이를 통해 컴퓨터 시스템(1300)은 본 명세서에 기재된 방법들 및 시스템들을 실행하는 것은 물론 이들에 의해 결정된 정보 및 네트워크 구성 변화들을 전송하는 데 유용한 네트워크 데이터를 수신할 수 있다. 달리 말하면, 통신 포트(1310)는 컴퓨터 시스템(1300)을 하나 이상의 유선 또는 무선 통신 네트워크 또는 접속부를 통해 컴퓨팅 시스템(1300)과 다른 디바이스들 사이에서 정보를 전송 및/또는 수신하도록 구성된 하나 이상의 통신 인터페이스 디바이스에 접속시킨다. 그러한 네트워크들 또는 접속부들의 예들은, 제한 없이, USB(Universal Serial Bus), 이더넷, Wi-Fi, 블루투스®, NFC(Near Field Communication), LTE(Long-Term Evolution) 등을 포함한다. 하나 이상의 그러한 통신 인터페이스 디바이스는, 포인트-투-포인트 통신 경로를 거쳐 직접, WAN(wide area network)(예컨대, 인터넷)을 거쳐, LAN(local area network)을 거쳐, 셀룰러(예컨대, 3 세대(3G) 또는 4세대(4G)) 네트워크를 거쳐, 또는 다른 통신 수단을 거쳐, 통신 포트(1310)를 통해 하나 이상의 다른 머신들과 통신하는 데 이용될 수 있다. 게다가, 통신 포트(1310)는 전자기 신호 전송 및/또는 수신을 위해 안테나 또는 다른 링크와 통신할 수 있다. 일부 예들에서, 안테나는 머신, 차량, 또는 다른 디바이스의 위치의 결정을 용이하게 하기 위해 GPS(Global Positioning System) 데이터를 수신하는 데 이용될 수 있다.
컴퓨터 시스템(1300)은 차량의 동작을 제어하고 그리고/또는 컴퓨터 시스템(1300)과 차량의 하나 이상의 서브시스템 사이에서 정보를 교환하기 위해 차량에 관련된 하나 이상의 시스템과 통신하기 위한 서브시스템들 포트(1312)를 포함할 수 있다. 차량의 그러한 서브시스템들의 예들은, 제한 없이, 하이브리드 또는 전기 모터 시스템들, 자율 또는 반자율 프로세서들 및 제어기들, 스티어링 시스템들, 브레이크 시스템들, 라이트 시스템, 내비게이션 시스템들, 환경 제어들, 엔터테인먼트 시스템들, 및 이와 유사한 것을 갖는 그러한 차량들의 경우에 이미징 시스템들, 레이더(radar), 라이다(lidar), 모터 제어기들 및 시스템들, 배터리 제어, 연료 전지 또는 다른 에너지 저장 시스템들 또는 제어들을 포함한다.
예시적인 구현에서, 머신 상태 정보, 사용자 상태 정보, 대화형 사용자 인터페이스(100), 및 소프트웨어 및 다른 모듈들 및 서비스들은 데이터 저장 디바이스들(1304) 및/또는 메모리 디바이스들(1306) 상에 저장되고 프로세서(1302)에 의해 실행되는 명령어들에 의해 구체화될 수 있다. 컴퓨터 시스템(1300)은 차량과 통합되거나 다른 방식으로 차량의 일부를 형성할 수 있다. 일부 경우들에서, 컴퓨터 시스템(1300)은 차량의 다양한 시스템들 또는 서브시스템들과 통신하고 이들과 함께 작동할 수 있는 휴대용 디바이스이다.
본 개시내용은 본 명세서에서 논의된 정보의 사용이 사용자들의 이득을 위해 사용될 수 있음을 인식한다. 예를 들어, 내비게이션 정보를 포함하는, 머신 상태 정보는 자율 머신의 상태들, 액션들, 및 결정들의 사용자 이해를 용이하게 하기 위해 사용될 수 있고, 내비게이션 정보는 "최상의" 경로 또는 루트(route)에 관한 목표한 정보(targeted information)를 차량에 제공하는 데 사용될 수 있다. 그러한 정보의 사용은 자율 차량의 산출된 제어를 가능하게 해주면서, 그에 관련된 간단하고 직관적인 대화형 인터페이스를 사용자에게 제공한다. 더욱이, 사용자 상태 정보는 최적화된 사용자 이동 경험 및 이동, 활동들, 태스크들, 및 스케줄링의 관리를 제공하는 데 사용될 수 있다. 게다가, 사용자에게 이득을 주는 머신 상태 정보 및 사용자 상태 정보에 대한 다른 용도들이 본 개시내용에 의해 또한 고려된다.
사용자들은, 위치 및 사용자 상태 정보와 같은, 개인 데이터의 사용 또는 그에 대한 액세스를 선택적으로 차단할 수 있다. 본 명세서에 설명된 기술들 중 일부 또는 전부를 통합하는 시스템은 그러한 개인 데이터에 대한 액세스를 방지하거나 차단하는 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 예를 들어, 시스템은 사용자들이 개인 데이터 또는 그의 부분들의 수집에 참여하는 것에 "동의하는 것(opt in)" 또는 "동의하지 않는 것(opt out)"을 가능하게 해줄 수 있다. 또한, 사용자들은 위치 정보를 제공하지 않기로 선택할 수 있거나, 또는 정확한 위치 정보가 아니라 대략적인 위치 정보(예컨대, 지리적 영역 또는 구역(zone))의 제공을 허용할 수 있다.
그러한 개인 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 사용을 책임지고 있는 엔티티들이 확립된 프라이버시 정책들 및/또는 관례들을 준수해야 한다. 그러한 엔티티들은 그러한 개인 데이터에 대한 액세스를 보호하고 안전하게 해주며, 개인 데이터에 액세스할 수 있는(with access to) 다른 사람들이 또한 준수하도록 보장해야 한다. 그러한 엔티티들은 개인 데이터의 프라이버시 및 보안을 유지하기 위한 산업 또는 정부 요구사항들을 충족시키거나 초과하는 프라이버시 정책들 및 관례들을 구현해야 한다. 예를 들어, 엔티티는 적법하고 합리적인 용도들을 위해 사용자들의 개인 데이터를 수집해야 하고, 그들의 적법한 용도들을 벗어나 데이터를 공유하거나 판매하지 않아야 한다. 그러한 수집은 사용자의 고지에 입각한 동의(informed consent)를 받은 후에만 이루어져야 한다. 게다가, 서드파티들은 확립된 프라이버시 정책들 및 관례들에 대한 준수를 증명하기 위해 이러한 엔티티들을 평가할 수 있다.
도 12에 기재된 시스템은 본 개시내용의 양태들을 이용하거나 그에 따라 구성될 수 있는 컴퓨터 시스템의 하나의 가능한 예에 불과하다. 컴퓨팅 시스템 상에서 현재 개시된 기술을 구현하기 위한 컴퓨터 실행가능 명령어들을 저장하는 다른 비일시적 유형적 컴퓨터 판독가능 저장 매체들이 이용될 수 있다는 것이 인식될 것이다.
본 발명에서, 개시된 방법들은 디바이스에 의해 판독가능한 명령어들의 세트들 또는 소프트웨어로서 구현될 수 있다. 게다가, 개시된 방법들에서의 단계들의 특정 순서 또는 계층구조가 예시적인 접근법들의 인스턴스들임이 이해된다. 설계 선호사항들에 기초하여, 개시된 주제 내에 있으면서 방법에서의 단계들의 특정 순서 또는 계층구조가 재배열될 수 있다는 것이 이해된다. 첨부된 방법 청구항들은 다양한 단계들의 요소들을 샘플 순서로 제시하고, 반드시 제시된 특정 순서 또는 계층구조로 제한되는 것으로 의도되어 있지 않다.
설명된 개시내용은, 본 개시내용에 따른 프로세스를 수행하기 위해 컴퓨터 시스템(또는 다른 전자 디바이스들)을 프로그래밍하는 데 사용될 수 있는, 명령어들을 저장하고 있는 비일시적 머신 판독가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품, 또는 소프트웨어로서 제공될 수 있다. 머신 판독가능 매체는 머신(예컨대, 컴퓨터)에 의해 판독가능한 형태(예컨대, 소프트웨어, 프로세싱 애플리케이션)로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 머신 판독가능 매체는 자기 저장 매체, 광학 저장 매체; 자기-광학 저장 매체, 판독 전용 메모리(ROM); 랜덤 액세스 메모리(RAM); 소거가능 프로그래밍가능 메모리(예컨대, EPROM 및 EEPROM); 플래시 메모리; 또는 전자 명령어들을 저장하기에 적당한 다른 타입들의 매체를 포함할 수 있지만, 이들로 제한되지 않는다.
본 개시내용이 다양한 구현들을 참조하여 설명되었지만, 이러한 구현들이 예시적이고 본 개시내용의 범주가 그것들로 제한되지 않음이 이해될 것이다. 많은 변형들, 수정들, 추가들 및 개선들이 가능하다. 보다 일반적으로, 본 개시내용에 따른 실시예들은 특정 구현들의 맥락에서 설명되었다. 기능은 본 개시내용의 다양한 실시예들에서 상이하게 블록들로 분리 또는 결합될 수 있거나, 상이한 용어로 설명될 수 있다. 이들 및 다른 변형들, 수정들, 추가들, 및 개선들은 이하의 청구범위에서 정의되는 바와 같이 본 발명의 범주 내에 속할 수 있다.

Claims (20)

  1. 디바이스와 사용자 간의 상호작용을 위한 방법으로서,
    입력 시스템을 통해 상기 사용자로부터 요청을 수신하는 단계 - 상기 요청은 외부 환경에 있는 객체 타입에 대한 참조를 포함함 - ;
    알려진 실세계 객체 지시자들의 데이터베이스로부터 실세계 객체 지시자들의 서브세트를 획득하는 단계 - 상기 실세계 객체 지시자들의 서브세트는 상기 객체 타입에 대한 참조 및 상기 디바이스의 추정된 지리적 위치에 기초하여 식별되며, 상기 실세계 객체 지시자들의 서브세트는 상기 요청에 대한 적어도 하나의 잠재적 매치(potential match)에 대응함 -;
    상기 실세계 객체 지시자들의 서브세트 내의 각각의 실세계 객체 지시자의 표현을 디스플레이하는 단계;
    상기 입력 시스템을 통해 상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들 중 하나의 비-촉각적 선택을 수신하는 단계; 및
    상기 비-촉각적 선택을 명확화함으로써 상기 요청에 대응하는 객체를 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 객체에 대한 정보를 디스플레이하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 객체의 위치로 내비게이션 정보를 디스플레이하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들이 순위대로 디스플레이되는, 방법.
  5. 제4항에 있어서,
    상기 순위는 상기 요청에 대응할 확률에 기초하여 결정되는, 방법.
  6. 제1항에 있어서,
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들은 상기 외부 환경 및 상기 디바이스의 측정된 이동에 따라 디스플레이되는, 방법.
  7. 제1항에 있어서, 상기 요청은 음성 요청인, 방법.
  8. 컴퓨팅 시스템 상에서 컴퓨터 프로세스를 수행하기 위한 컴퓨터-실행가능 명령들을 저장하는 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로세스는,
    입력 시스템을 사용하여 캡처된 요청을 수신하는 단계 - 상기 요청은 외부 환경에 있는 객체 타입에 대한 참조를 포함함 - ;
    알려진 실세계 객체 지시자들의 데이터베이스로부터 실세계 객체 지시자들의 서브세트를 획득하는 단계 - 상기 실세계 객체 지시자들의 서브세트는 상기 객체 타입에 대한 참조 및 상기 디바이스의 추정된 지리적 위치에 기초하여 식별되며, 상기 실세계 객체 지시자들의 서브세트는 상기 요청에 대한 적어도 하나의 잠재적 매치에 대응함 -;
    디스플레이를 위해 상기 실세계 객체 지시자들의 서브세트 내의 각각의 실세계 객체 지시자의 표현을 생성하는 단계;
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들 중 하나의 비-촉각적 선택을 수신하는 단계; 및
    상기 비-촉각적 선택을 명확화함으로써 상기 요청에 대응하는 객체를 결정하는 단계
    를 포함하는, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  9. 제8항에 있어서,
    디스플레이를 위해 상기 객체에 관한 정보를 획득하는 단계를 더 포함하는, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  10. 제8항에 있어서,
    상기 객체의 위치로 이동하기 위한 내비게이션 정보를 획득하는 단계를 더 포함하는, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  11. 제8항에 있어서,
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들이 순위대로 디스플레이되는, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  12. 제11항에 있어서,
    상기 순위는 상기 요청에 응답할 확률에 기초하여 결정되는, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  13. 제8항에 있어서,
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들은 상기 외부 환경 및 상기 디바이스의 측정된 이동에 따라 디스플레이되는, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  14. 제8항에 있어서,
    상기 요청은 음성 요청인, 하나 이상의 유형의 비일시적 컴퓨터 판독가능 저장 매체.
  15. 디바이스와 사용자 간의 상호작용을 위한 시스템으로서,
    상기 사용자로부터 요청을 수신하도록 구성되는 입력 디바이스 - 상기 요청은 외부 환경에 있는 객체 타입에 대한 참조를 포함함 - ;
    알려진 실세계 객체 지시자들의 데이터베이스로부터 실세계 객체 지시자들의 서브세트를 획득하도록 구성되는 적어도 하나의 프로세서 - 상기 실세계 객체 지시자들의 서브세트는 상기 객체 타입에 대한 참조 및 상기 디바이스의 추정된 지리적 위치에 기초하여 식별되며, 상기 실세계 객체 지시자들의 서브세트는 상기 요청에 대한 적어도 하나의 잠재적 매치(potential match)에 대응함 -; 및
    상기 실세계 객체 지시자들의 서브세트 내의 각각의 실세계 객체 지시자의 표현을 디스플레이하도록 구성되는 디스플레이
    를 포함하고,
    상기 입력 시스템은 상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들 중 하나의 비-촉각적 선택을 수신하도록 구성되며,
    상기 적어도 하나의 프로세서는 상기 비-촉각적 선택을 명확화함으로써 상기 요청에 대응하는 객체를 결정하도록 구성되는, 시스템.
  16. 제15항에 있어서,
    상기 디스플레이를 사용하여 상기 객체에 관해 정보가 디스플레이되는, 시스템.
  17. 제15항에 있어서,
    상기 객체의 위치로 이동하기 위한 내비게이션 정보가 상기 디스플레이를 사용하여 디스플레이되는, 시스템.
  18. 제15항에 있어서,
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들이 순위대로 디스플레이되는, 시스템.
  19. 제18항에 있어서,
    상기 순위는 상기 요청에 대응할 확률에 기초하여 결정되는, 시스템.
  20. 제15항에 있어서,
    상기 실세계 객체 지시자들의 서브세트 내의 상기 실세계 객체 지시자들의 표현들은 상기 외부 환경 및 상기 디바이스의 측정된 이동에 따라 디스플레이되는, 시스템.
KR1020217028935A 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들 KR20210113448A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237020691A KR102639605B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662398579P 2016-09-23 2016-09-23
US62/398,579 2016-09-23
PCT/US2017/052500 WO2018057614A1 (en) 2016-09-23 2017-09-20 Systems and methods for relative representation of spatial objects and disambiguation in an interface
KR1020197005722A KR102302210B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005722A Division KR102302210B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237020691A Division KR102639605B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Publications (1)

Publication Number Publication Date
KR20210113448A true KR20210113448A (ko) 2021-09-15

Family

ID=60002063

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237020691A KR102639605B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
KR1020217028935A KR20210113448A (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
KR1020197005722A KR102302210B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237020691A KR102639605B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197005722A KR102302210B1 (ko) 2016-09-23 2017-09-20 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (2) US10558037B2 (ko)
EP (2) EP3491548A1 (ko)
KR (3) KR102639605B1 (ko)
CN (1) CN109643317A (ko)
WO (1) WO2018057614A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102639605B1 (ko) * 2016-09-23 2024-02-23 애플 인크. 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
US10753763B2 (en) * 2017-04-10 2020-08-25 Chian Chiu Li Autonomous driving under user instructions
US11367416B1 (en) 2019-06-27 2022-06-21 Apple Inc. Presenting computer-generated content associated with reading content based on user interactions
US10699124B1 (en) 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10997418B2 (en) 2019-09-09 2021-05-04 Ar, Llc Augmented, virtual and mixed-reality content selection and display

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671615B1 (en) 2000-05-02 2003-12-30 Navigation Technologies Corp. Navigation system with sign assistance
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
JP2011511281A (ja) 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
US8700301B2 (en) 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
KR101667585B1 (ko) * 2010-06-25 2016-10-19 엘지전자 주식회사 이동 단말기 및 이것의 객체 정보 디스플레이 방법
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
EP2624198A1 (en) * 2012-01-26 2013-08-07 Hyundai Motor Company Search method using a plurality of space of interest objects
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US9552129B2 (en) * 2012-03-23 2017-01-24 Microsoft Technology Licensing, Llc Interactive visual representation of points of interest data
US20130328926A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
WO2013184142A1 (en) * 2012-06-08 2013-12-12 Intel Corporation Automated retrieval of physical location information
US10146316B2 (en) * 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
US9626084B2 (en) * 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video
US9870058B2 (en) * 2014-04-23 2018-01-16 Sony Corporation Control of a real world object user interface
US10936050B2 (en) * 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US20160313957A1 (en) * 2015-04-21 2016-10-27 Wandr LLC Real-time event management
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
KR102639605B1 (ko) * 2016-09-23 2024-02-23 애플 인크. 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들

Also Published As

Publication number Publication date
WO2018057614A1 (en) 2018-03-29
EP3929766A1 (en) 2021-12-29
US20180088324A1 (en) 2018-03-29
KR20190035798A (ko) 2019-04-03
KR20230098357A (ko) 2023-07-03
KR102302210B1 (ko) 2021-09-14
CN109643317A (zh) 2019-04-16
US10558037B2 (en) 2020-02-11
KR102639605B1 (ko) 2024-02-23
EP3491548A1 (en) 2019-06-05
US20200233212A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
KR102302210B1 (ko) 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
US10913463B2 (en) Gesture based control of autonomous vehicles
KR102043588B1 (ko) 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
US10606609B2 (en) Context-based discovery of applications
US11757675B2 (en) Facilitating portable, reusable, and sharable internet of things (IoT)-based services and resources
JP6310531B2 (ja) 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法
US9916122B2 (en) Methods, systems, and media for launching a mobile application using a public display device
WO2016099706A1 (en) Methods, systems, and media for presenting requested content on public display devices
CN106716354A (zh) 使用户界面适应交互准则和组件特性
CN104364753A (zh) 用于突出显示活动界面元素的方法
KR20160003553A (ko) 지도 정보를 제공하기 위한 전자 장치
EP3341859B1 (en) Information ranking based on properties of a computing device
WO2017222651A1 (en) Smart crowd-sourced automatic indoor discovery and mapping
US20170109007A1 (en) Smart pan for representation of physical space
TW202336563A (zh) 用於經由人工實境裝置和實體裝置互動之方法和系統
KR20150071594A (ko) 제어 장치를 위한 증강 현실 오버레이
US11966517B2 (en) Graphical menu structure

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2023101001316; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20230619

Effective date: 20230913