KR20220100609A - 향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스 - Google Patents

향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스 Download PDF

Info

Publication number
KR20220100609A
KR20220100609A KR1020227018566A KR20227018566A KR20220100609A KR 20220100609 A KR20220100609 A KR 20220100609A KR 1020227018566 A KR1020227018566 A KR 1020227018566A KR 20227018566 A KR20227018566 A KR 20227018566A KR 20220100609 A KR20220100609 A KR 20220100609A
Authority
KR
South Korea
Prior art keywords
vehicle
user interface
information
merged view
view
Prior art date
Application number
KR1020227018566A
Other languages
English (en)
Inventor
파월 피에트리카
쟝 헬펜슈타인
Original Assignee
테슬라, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테슬라, 인크. filed Critical 테슬라, 인크.
Publication of KR20220100609A publication Critical patent/KR20220100609A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/115—Selection of menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/119—Icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/165—Videos and animations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B60K2370/111—
    • B60K2370/115—
    • B60K2370/119—
    • B60K2370/165—
    • B60K2370/166—
    • B60K2370/179—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스들을 위한 시스템들 및 방법들. 예시적인 방법은 하나 이상의 프로세서의 시스템에 의해 구현되는 방법이고, 이 시스템은 차량에 포함된다. 본 방법은, 상기 차량의 디스플레이를 통해, 자율 시각화 및 맵 정보를 취합하는 병합된 뷰를 포함하는 통합 사용자 인터페이스가 프레젠테이션되도록 하는 단계 - 상기 자율 시각화 및 맵 정보는 줌 레벨과 관련되어 있고, 상기 통합 사용자 인터페이스는 상기 차량의 동작을 나타내는 제1 상황 정보에 기초하여 생성됨 - 를 포함한다. 상기 차량의 다음의 동작을 나타내는 제2 상황 정보가 액세스된다. 통합 사용자 인터페이스는 상기 제2 상황 정보에 기초하여 갱신된다. 상기 병합된 뷰는 조정되고, 상기 병합된 뷰를 조정하는 것은 상기 통합 사용자 인터페이스에서 상기 병합된 뷰의 크기를 조정하거나 상기 줌 레벨을 조정하는 것을 포함한다.

Description

향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스
본 발명은, 사용자 인터페이스에 관한 것으로, 더 구체적으로는 차량 동작을 위한 사용자 인터페이스에 관한 것이다.
본 출원은, 발명의 명칭이 '향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스'이고 출원일이 2019년 11월 21일인 미국예비출원번호 제62/938842호 및 발명의 명칭이 '승객 인식을 통한 향상된 차량 기능성'이고 출원일이 2019년 11월 21일인 미국예비출원번호 제62/938769호에 기한 우선권을 주장하며, 이들 출원의 개시 내용은 본 출원에 참조로 전적으로 병합된다.
디지털 사용자 인터페이스를 보여주기 위해 사용되는 디스플레이들은 차량의 제어 및/또는 동작을 위해 점점 더 차량들에 포함되고 있다. 예를 들어, 디스플레이는 차량의 차량 대시보드(vehicle dashboard)에 포함될 수 있다. 이러한 예에서, 디스플레이는 차량의 현재 속도, 차량이 이동한 총 거리, 차량 외부의 온도 등을 포함하는 사용자 인터페이스를 보여줄 수 있다. 다른 예로서, 디스플레이는 차량의 중앙부에 포함될 수 있다. 이러한 디스플레이는 네비게이션 정보(navigation information)를 보여주고 공기조화(air conditioning)를 제어하는 등을 위해 사용될 수 있다. 따라서 그러한 디지털 사용자 인터페이스들은 기계식 디스플레이들, 버튼들(buttons), 노브들(knobs) 등 대신에 사용될 수 있다.
그러나, 디지털 사용자 인터페이스들이 차량의 더 많은 제어 및/또는 동작을 망라하도록 확장됨에 따라, 디지털 사용자 인터페이스들은 점점 더 복잡해지고 있다. 어떤 디지털 사용자 인터페이스들의 경우에, 이러한 복잡성은 사용자 인터페이스들과 연관된 사용의 용이성을 감소시킨다. 따라서, 차량의 동작과 연관된 사용자의 경험이 감소될 수 있다. 예를 들어, 어떤 기능성은 다양한 레벨의 메뉴들 가운데 숨겨져 있을 수 있다. 다른 예로서, 사용자는 디지털 사용자 인터페이스를 이리저리 훑어보기 위해 복잡한 사용자 입력 순서들을 기억할 필요가 있을 수 있다. 따라서 직관적인 디지털 사용자 인터페이스를 제공할 수 있음으로 인해 차량을 동작시키는데 있어서의 사용자의 즐김을 향상시킬 수 있다.
전술한 특징들 및 부수적인 장점들의 많은 것들은 이하의 상세한 설명을 첨부된 도면들과 결부하여 참조함으로써 더 잘 이해될 것이고 이에 따라 그 진가도 더욱 쉽게 알 수 있을 것이다.
도 1a는 사용자 인터페이스를 보여주는 예시적인 상황 사용자 인터페이스 시스템(contextual user interface system)을 예시하는 도면이다.
도 1b는 수신된 사용자 입력에 기초하여 갱신된 사용자 인터페이스를 보여주는 예시적인 상황 사용자 인터페이스 시스템의 블록도를 예시하는 도면이다.
도 2a는 통합 사용자 인터페이스를 갱신하기 위한 예시적인 프로세스의 흐름도를 도시한 도면이다.
도 2b는 차량의 위치에 따라 통합 사용자 인터페이스를 갱신하기 위한 예시적인 프로세스의 흐름도를 도시한 도면이다.
도 2c는 차량 기능성의 선택에 기초하여 통합 사용자 인터페이스를 갱신하기 위한 예시적인 프로세스의 흐름도를 도시한 도면이다.
도 3a는 통합 사용자 인터페이스의 멀티태스킹 제어(multitasking control)를 사용하기 위한 예시적인 프로세스의 흐름도를 도시한 도면이다.
도 3b는 차량의 묘사를 뮤직 사용자 인터페이스(music user interface)와 함께 보여주는 사용자 인터페이스를 예시하는 도면이다.
도 3c는 차량의 묘사를 퀵 컨트롤 사용자 인터페이스(quick control user interface)와 함께 보여주는 사용자 인터페이스를 예시하는 도면이다.
도 3d는 실내온도 사용자 인터페이스(climate user interface)가 보여지는 사용자 인터페이스를 예시하는 도면이다.
도 4는 아이콘들(icons)을 운전자 또는 승객 측으로 조정하기 위한 예시적인 프로세스의 흐름도를 도시한 도면이다.
도 5a는 주차된 차량의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 5b는 차량이 충전되는 동안의 주차된 차량을 나타내는 사용자 인터페이스의 예를 예시하는 도면이다.
도 6a는 주행 뷰(driving view)의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 6b는 아이콘들이 승객 뷰를 위해 조정된 주행 뷰의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 6c는 주행 뷰의 예시적인 사용자 인터페이스를 오늘의 사용자 인터페이스(today user interface)와 함께 예시하는 도면이다.
도 6d는 주행 뷰의 예시적인 사용자 인터페이스를 공기조화 사용자 인터페이스(air conditioning user interface)와 함께 예시하는 도면이다.
도 7a는 오프로드 환경("off-road" environment)에서 차량을 주행하는 동안의 주행 뷰의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 7b는 오프로드 환경에서 차량을 주행하는 동안의 주행 뷰에 대한 것이며 드라이브트레인 정보(drivetrain information)를 보여주기도 하는 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 8a는 트럭 트레일러(truck trailer)를 견인하는 차량에 대한 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 8b는 차량이 트레일러를 견인할 때의 차량의 주행 뷰의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 9는 차량이 캠퍼 모드(camper mode)에 있을 때의 차량의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 10a는 차량의 네비게이션을 위한 주행 뷰의 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 10b는 주행 뷰의 다른 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 10c는 주행 뷰의 다른 예시적인 사용자 인터페이스를 예시하는 도면이다.
도 11a 내지 도 11c는 네비게이션 정보를 선택하기 위한 사용자 인터페이스들을 예시하는 도면들이다.
도 12는 승객 선호 정보(passenger preference information)를 특정 승객들과 연관시키기 위한 예시적인 프로세스의 흐름도이다.
도 13a는 승객 트래킹(passenger tracking)에 기초하여 공기조화(air conditioning)를 조정하기 위한 예시적인 프로세스의 흐름도이다.
도 13b 내지 도 13d는 승객을 트래킹하는 공기조화의 예시적인 사용자 인터페이스들을 예시하는 도면들이다.
도 14는 승객 눈 트래킹(passenger eye tracking)에 기초하여 미러들을 조정하기 위한 예시적인 프로세스의 흐름도이다.
본 명세서는, 몇몇 실시예들과 관련하여 차량을 제어 및/또는 동작시키기 위해 사용가능한 향상된 사용자 인터페이스들을 기술한다. 여기에 기술되는 사용자 인터페이스들은, 프로세서 또는 시스템에 의해 렌더링되는(rendered) 그리고 차량 내에 배치된 디스플레이를 통해 보여지는 디지털 사용자 인터페이스들의 예들일 수 있다. 몇몇 실시예들에서, 디스플레이는 차량의 중앙부에 포함될 수 있다. 예를 들어, 디스플레이는 (예를 들어, 10 인치, 13 인치, 15인치, 17인치, 21인치 등과 같은) 특정 대각선 크기(diagonal size) 보다 클 수 있다. 몇몇 실시예에서 디스플레이는 중앙에 배치되고 특정 대각선 크기 보다 클 수 있기 때문에, 디스플레이는 차량의 제어 및/또는 동작이 일어나는 집중화된 인터페이스(centralized interface)를 제공할 수 있다. 따라서, 집중화된 인터페이스가 이해하고 사용하기 편리하다라는 것을 보증해 주는 것이 차량의 유용성을 향상시키는 길일 수 있다. 후술하는 바와 같이, 향상된 사용자 인터페이스들은, 자율 시각화(autonomous visualization)(예를 들어, 차량 주위의 센서들로부터 생성된 시각화들(visualizations)), 맵 정보, 네비게이션 정보 및/또는 차량 기능성 제어들(vehicle functionality controls)을 동적으로 통합한다(unify)(예를 들어 취합한다(aggregate)).
본 발명의 일 실시예는, 차량의 동작과 관련된 상황 정보(contextual information)에 기초하여 동적으로 갱신할 수 있는 사용자 인터페이스(여기서는, '통합 사용자 인터페이스'(unified user interface)라 언급함)를 갖는 차량이다. 예를 들어, 상황 정보는 차량이 주차 중인지 또는 주행 중인지를 나타낼 수 있다. 다른 예로서, 상황 정보는 차량이 목적지를 향해 네비게이션 중인지 및/또는 자율적으로(autonomously) 또는 반자율적으로(semi-autonomously) 제어되고 있는지를 나타낼 수 있다. 다른 예로서, 상황 정보는, 차량이 트레일러를 견인하고 있는지, 오프로드로 주행 중인지 등을 나타낼 수 있다. 다른 예로서, 상황 정보는 차량의 기능성의 제어에 관련될 수 있다. 통합 사용자 인터페이스는, 후술하는 바와 같이 현재의 상황 정보에 감응하는, 이해하기 쉬운 대화형 요소들(interactive elements)을 포함한다.
주차되어 있는 차량과 관련하여, 통합 사용자 인터페이스는, 터치 스크린 인터페이스를 사용하여 선택될 수 있는, 차량의 그래픽 묘사(graphic depiction)를 포함하는 자율 시각화를 보여줄 수 있다. 차량 제어는, 일반 사용자가 트렁크를 열고, 창문을 열고/닫고, 트레일러를 분리하거나 연결하는 등을 할 수 있도록 그래픽 묘사에 포함될 수 있다. 몇몇 실시예에서, 자율 시각화는 차량이 위치하는 실세계 환경(real-world environment)의 그래픽 표현(graphic representation)을 포함할 수 있다. 자율적으로 또는 반자율적으로 제어되는 차량과 관련하여, 통합 사용자 인터페이스는 맵 정보 위에 오버레이되는(overlaid) 자율 시각화를 보여줄 수 있다. 예를 들어, 자율 시각화는 차량이 주행중인 표면의 표현들을 포함할 수 있다. 이러한 예에서, 차량의 그래픽 묘사는, 차량에 인접한 다른 차량들 또는 객체들의 그래픽 표현들과 함께 도로의 특정 차선에 삽화된다(illustrated). 예를 들어, 차선 라인들(lane lines), 진출 램프들(off-ramps) 또는 진입 램프들(on-ramps), 보행자들, 위험 요소들(hazards), 표지판들(signs) 또는 다른 객체들의 표현들이 포함될 수 있다. 맵 정보는 차량이 주행되고 있는 맵의 일부의 그래픽 표현을 포함할 수 있다. 예를 들어, 맵 정보는 현재의 도로 상에서의 몇몇 차선 라인들, 현재의 도로에 인접한 다른 도로들 또는 다른 맵 기반의 정보를 알려줄 수 있다. 예를 들어, 도로들은 해당 도로들의 식별자들과 함께 표현될 수 있다.
목적지를 향해 네비게이션되는 차량과 관련하여, 통합 사용자 인터페이스는 자율 시각화, 맵 정보 및 네비게이션 정보를 포함할 수 있다. 후술하는 바와 같이, 통합 사용자 인터페이스는, 네비게이션 정보에서 식별되는 (예를 들어, 다가올 회전들(upcoming turns), 진출 램프들, 진입 램프들 등과 같은) 네비게이션 이벤트들(navigation events)을 그래픽하게 묘사할 수 있다. 예를 들어, 통합 사용자 인터페이스는, 차량이 현재의 차선에서 다른 차선으로 이동해야 함을 그래픽하게 묘사할 수 있다. 더욱이, 통합 사용자 인터페이스는, 보여진 정보가 상황 정보에 따라 줌인(zoom in)되거나 줌아웃(zoom out)되도록 할 수 있다. 예를 들어, 자율 시각화, 맵 정보 및 네비게이션 정보의 크기의 조정을 야기하는 줌 레벨이 설정될 수 있다.
예로서, 차량이 고속도로 진출 램프를 빠져나갈 때, 보여진 정보가 줌아웃될 수 있다. 이 예에서, (예를 들어, 차량의 그래픽 묘사와 같은) 자율 시각화는, 더 큰 실세계의 지리적 영역을 나타내는 맵 정보의 일부가 상대적으로 커짐에 따라 더 작아질 수 있다(예를 들어, 더 많은 도로들이 묘사될 수 있다). 네비게이션 경로(navigation route)와 같은 다가올 네비게이션 이벤트들은, 이 경로의 더 큰 부분이 보여질 수 있도록 유사하게 줌아웃될 수 있다. 이러한 방식으로, 일반 사용자는 평면 도로들 상에서의 다가올 회전들을 제시받을 수 있다. 사용자가 진출 램프를 빠져나와 평면 도로 상으로 주행한 후, 보여진 정보는 선택적으로 줌인될 수 있다.
추가의 상황 정보는, 음악을 재생하고, 공기조화를 조정하고, 비디오를 스트리밍하고, 하나 이상의 카메라로부터 획득된 비디오를 오버레이시키는 등과 같은 차량 기능성의 제어에 관련될 수 있다. 인식될 수 있는 바와 같이, 그러한 차량 기능성의 제어는 사용자 인터페이스의 다양한 부분을 써버릴 수 있다. 예를 들어, 공기 조화 설정을 조정하기 위해, 사용자 인터페이스는 공기조화 조절기들(air conditioning controls)을 보여줄 수 있다. 후술하는 바와 같이, 통합 사용자 인터페이스는, 자율 시각화, 맵 정보 및/또는 네비게이션 정보의 뷰(view)가 가려지지 않은 채로 남아있도록 보장해 줄 수 있다. 예를 들어, 일반 사용자는 목적지를 향해 네비게이션하면서 공기조화 설정을 제어하기 위해 사용자 인터페이스 요소를 선택할 수 있다. 이 예에서, 통합 사용자 인터페이스는, 자율 시각화, 맵 정보 및/또는 네비게이션 정보의 프레젠테이션(presentation)을 조정하고, 공기조화 조절기들 또는 네비게이션 디스플레이 위에서의 공기조화 조절기들의 오버레이(overlay)를 포함시킬 수 있다. 승객에 대한 정보의 프레젠테이션을 조정하기 위한 예시적인 기법은, 자율 시각화, 맵 정보 및/또는 네비게이션 정보를 통합 사용자 인터페이스의 다른 부분으로(예를 들어, 일반 사용자로부터 멀리) 이동시키는 것을 포함할 수 있다. 다른 예시적인 기법은 맵 또는 네비게이션 정보의 위에 특정 조절기들을 오버레이시키는 것이다.
따라서 상황 정보는 차량의 동작에 관련될 수 있다. 예시적인 상황 정보가 여기에 기술되나, 다른 정보가 사용될 수도 있고 그러한 정보도 본 개시의 범위에 속함을 인식할 것이다. 예를 들어, 상황 정보는, 차량이 어떤 위치로 네비게이션 중임을 나타낼 수 있다. 이 예에서, 상황 정보는 그 위치에 대한 차량의 위치를 반영할 수 있다. 예로서, 그 위치는 다가올 또는 이전의 주행 이벤트들(예를 들어, 회전들, 차선 변경들 등)을 나타낼 수 있다. 따라서, 차량이 그 위치로 네비게이션함에 따라, 상황 정보는 그 위치에 기초하여 갱신될 수 있다. 이러한 방식으로 그리고 후술하는 바와 같이, 사용자 인터페이스는 위치에 기초하여 갱신될 수 있다(예를 들어, 보여진 맵이 줌아웃 등이 될 수 있다).
위에서의 설명이 디스플레이에 보여지는 사용자 인터페이스에 초점이 맞춰져 있지만, 몇몇 실시예에서는 복수의 디스플레이가 사용될 수 있다. 예를 들어, 제1 디스플레이가 차량의 운전자에 인접하게 또는 그 앞에 배치될 수 있다. 이 예에서, 제2 디스플레이가 차량의 중앙부에 또는 운전자로부터 먼 위치에 배치될 수 있다. 예를 들어, 차량은 2개 이상의 디스플레이들을 가진 세미 트럭(semi-truck)을 나타낼 수 있다.
먼저, 예시적인 사용자 인터페이스가 기술된다. 이 예시적인 사용자 인터페이스는 차량의 집중화된 제어를 제공할 수 있다. 그러나, 이 예시적인 사용자 인터페이스는, 사용자 인터페이스를 일상적으로 사용하는 동안에 차량의 위치를 묘사하는 맵 및/또는 네비게이션 정보와 같은 중요한 정보를 가릴 수 있다. 후술하는 바와 같이, 본 통합 사용자 인터페이스는 이 예시적인 사용자 인터페이스 보다 개량된 것일 수 있다. 사용자 인터페이스 상에서의 조절기들 또는 다른 정보의 선택이 터치 인터페이스(touch interface) 또는 다른 잘 알려진 사용자 인터페이스 메커니즘을 통해 이루어질 수 있음을 인식하여야 한다.
예시적인 사용자 인터페이스
차량의 집중화된 제어를 위한 예시적인 사용자 인터페이스는 제1 부분과 제2 부분으로 분리될 수 있다. 제1 부분은, 예를 들어 사용자 인터페이스가 차량의 동작에 기초하여 거의 실시간으로 갱신할 수 있는 차량의 그래픽 묘사를 포함할 수 있다. 예를 들어, 차량이 브레이크를 걸고 있다면, 그래픽 묘사는 브레이크 등들(brake lights)을 묘사하도록 갱신될 수 있다. 다른 예로서, 차량의 전조등들(front lights), 비상 점멸등(emergency flashers) 등이 켜져 있다면, 그래픽 묘사가 이에 따라 갱신될 수 있다. 제2 부분은 맵의 그래픽 표현을 포함할 수 있다. 예를 들어, 맵은, 맵 상에서의 차량의 위치를 나타내는, 화살표와 같은 아이콘(icon)을 포함할 수 있다. 이 예에서, 차량이 주행됨에 따라, 이 아이콘은 실질적으로 실시간의 차량 위치를 반영하도록 갱신될 수 있다.
따라서 제1 부분은 차량의 동작과 연관된 실시간 상황들(real-time conditions)의 간결한 뷰를 제공할 수 있다. 사용자 인터페이스는, 예를 들어 이 제1 부분에 차선 마킹들(lane markings)을 나타낼 수 있다. 따라서, 사용자는 차선 마킹들을 제대로 따라가고 있는지를 신속하게 볼 수 있다. 추가로, 차량은 자율주행 동작(autonomous operation)을 허용할 수 있다. 따라서 사용자는, 차량이 자율주행 모드에 있을 때 차선 마킹들을 제대로 인식하고 있다는 것을 보증하기 위해 제1 부분을 볼 수 있다.
제2 부분은 차량을 동작시키는 것과 관련된 지역적 상황들(regional conditions)을 보여주기 위해 사용될 수 있다. 예를 들어, 제2 부분은 맵에 포함된 도로들에 대한 교통 상황들을 묘사할 수 있다. 이 예에서, 사용자는 고속도로 또는 간선도로에 사고가 있는지, 교통체증이 있는지 등을 신속하게 확인할 수 있다. 제2 부분은 네비게이션 정보를 추가적으로 보여줄 수 있다. 예를 들어, 특정 종료 위치로의 경로(route to a particular ending location)가, 다음에 할 회전(turn)의 표시와 함께 맵 상에 보여질 수 있다. 이러한 방식으로, 사용자는 어떻게 종료 위치에 도달할 것인지를 신속하게 식별할 수 있다.
이 예시적인 사용자 인터페이스는, 사용자 인터페이스를 통해 제어가능한 종류가 다른 차량 기능성과 연관된 다른 그래픽 표시(indicia) 또는 다수의 아이콘의 디스플레이를 추가로 포함할 수 있다. 예시적인 차량 기능성은, 공기조화, 음악, 전기차량의 에너지 사용을 모니터링하는 것, 주행 제어, 자율주행 제어 등을 포함할 수 있다. 공기조화 설정을 조정하는 것과 같이 차량 기능성을 조정하기 위해, 사용자는 아이콘을 선택할 수 있다. 예로서, 사용자 인터페이스는 터치 스크린 디스플레이를 통해 보여질 수 있다. 이 예에서, 사용자는 아이콘을 묘사하는 디스플레이의 부분을 터치할 수 있다. 다른 예로서, 사용자 인터페이스는 구두 명령들에 감응할 수 있다. 이 예에서, 사용자는 차량 기능성의 유형을 나타내는 구두 명령(예를 들어, '공기조화 설정')을 제공할 수 있다.
사용자의 아이콘 선택이 이루어지면, 차량 기능성의 유형과 연관된 메뉴 또는 다른 사용자 인터페이스가 보여질 수 있다. 사용자 인터페이스가 두 부분들로 나뉘어져 있기 때문에, 보여지는 메뉴는 이 부분들의 적어도 하나 위에 오버레이될 수 있다. 예를 들어, 사용자가 음악과 연관된 아이콘을 선택하면, 사용자 인터페이스는 음악 선택 메뉴로 갱신될 것이다. 메뉴가 두 부분들 중 적어도 하나를 가릴 수 있음을 인식할 수 있을 것이다. 예로서, 메뉴는 맵 위에 오버레이될 수 있다. 따라서 맵의 적어도 일부가 이 음악 메뉴에 의해 가려질 수 있다. 사용자는 맵의 전체를 보기 위해 메뉴를 제거할 필요가 있을 수 있다. 예를 들어, 사용자는 메뉴를 아래쪽 모션으로 밀(swipe) 수 있다.
따라서, 예시적인 사용자 인터페이스를 일상적으로 동작시키는 중에, 차량 기능성을 제어하는 것은, 제1 부분 및/또는 제2 부분에 포함된 정보가 매스킹되게(to be masked) 할 수 있다. 이는 차량의 네비게이션 동안에 불리할 수 있다. 예로서, 제2 부분은, 보여지는 맵 상에서 따라야 할 경로를 나타낼 수 있다. 사용자가 갱신된 공기조화 설정들을 선택하고 음악을 조정하고 에너지 트래킹 정보(energy tracking information)를 보는 등을 선호한다면, 표시된 경로의 적어도 일부분이 숨겨질 수 있다.
통합 사용자 인터페이스
후술하는 바와 같이, 통합 사용자 인터페이스를 렌더링하는 시스템 또는 프로세서는, 자율 시각화(예를 들어, 차량의 그래픽 묘사) 및 맵 정보를 병합할 수 있다. 이러한 병합(combination)은, 여기서는 병합된 뷰(combined view)로서 일컬어질 수 있으며, 사용자가 적어도 자율 시각화 및 맵 정보의 양립하는 뷰(consistent view)를 가지도록 보여질 수 있다. 이 뷰는, 유리하게 차량 기능성의 유형들과 연관된 메뉴들 또는 사용자 인터페이스들에 의해 가려지지 않을 수 있다. 후술하는 바와 같이, 차량 기능성을 위한 메뉴들은, 선택적으로 병합된 자율 시각화 및 맵 정보의 그것들과 별도로 동적으로 보여질 수 있다.
추가적으로, 시스템 또는 프로세서는 다가올 주행 이벤트들에 따라 병합된 뷰를 동적으로 갱신할 수 있다. 예를 들어, 시스템은 병합된 뷰와 연관된 줌 레벨을 조정할 수 있다. 이 예에서, 줌 레벨은 병합된 뷰와 연관된 렌더 또는 가상 카메라(render or virtual camera)를 나타낼 수 있다. 예로서, 더 큰 줌 레벨은 맵 정보의 더 큰 영역을 포괄하는 렌더 또는 가상 카메라를 나타낼 수 있다. 따라서, 자율 시각화의 크기가 이에 따라 줄어들 수 있다.
통합 사용자 인터페이스 - 병합된 자율 시각화 및 맵 정보
몇몇 실시예에서, 시스템 또는 프로세서는 차량의 동작과 연관된 현재의 상황 정보에 따라 통합 사용자 인터페이스를 갱신할 수 있다. 예를 들어, 차량이 주차 중이면, 통합 사용자 인터페이스는 차량의 커다란 그래픽 묘사를 묘사할 수 있다. 따라서 그래픽 묘사는 통합 사용자 인터페이스를 실질적으로 채울 수 있다. 그래픽 묘사는 차량의 제어와 연관된 대화형 옵션들(interactive options)을 포함할 수 있다. 예를 들어, 차량은 전기 트럭일 수 있고, 옵션들은 서스펜션(suspension)의 조정, 충전 포트의 열기/닫기, 터노우 커버(tonneau cover)의 열기/닫기, 뒷문(tail gate)의 열기/닫기 등을 포함할 수 있다. 사용자가 서스펜션의 조정을 선택하면, 통합 사용자 인터페이스는 선택되는 다른 서스펜션 레벨들을 반영하기 위해 갱신될 수 있다.
전술한 차량의 커다란 그래픽 묘사는 맵의 줌인된 뷰(zoomed-in view)에 포함될 수 있다. 예를 들어, 통합 사용자 인터페이스는, 선택적으로 차량에 인접한 환경 정보를 반영할 수 있다. 그래픽 묘사는, 선택적으로 차량의 후방 위쪽에 배치된 가상 또는 렌더 카메라를 반영하는 것과 같은, 차량의 3인칭 뷰(third person view)를 반영할 수 있다. 몇몇 실시예에서, 그래픽 묘사는 맵의 거리뷰(street view)로 보여질 수 있다. 몇몇 실시예에서, 그래픽 묘사는 도로의 표현(representation of a road) 상에, 선택적으로는 도로 및/또는 인접 도로들의 이름과 함께 보여질 수 있다. 통합 사용자 인터페이스의 사용자는 맵을 줌아웃하기 위해 사용자 입력을 제공할 수 있다. 예를 들어, 사용자는 맵의 줌아웃이 일어나게 하기 위해 핀치-투-줌 기법들(pinch-to-zoom techniques)을 사용할 수 있다. 차량의 그래픽 묘사가 맵에 배치되기 때문에, 맵이 줌아웃됨에 따라 그래픽 묘사는 그 크기가 줄어들 수 있다. 이러한 방식으로, 사용자는 차량 주위의 더 큰 영역을 묘사하는 더 큰 맵을 볼 수 있다. 추가적으로, 사용자는 사용자 입력을 통해 맵 정보의 변환(translation)을 일으킬 수 있다. 예시적인 사용자 입력은, 맵으로 하여금 묘사된 영역을 조정하도록 하는, 특정 방향들을 따라 미는 동작(swiping)을 포함할 수 있다. 추가적으로, 차량의 그래픽 묘사는, 그것이 조정된 영역에 포함되지 않는다면 병합된 뷰로부터 제거될 수 있다. 선택적으로, 병합된 뷰가 차량의 그래픽 묘사(예를 들어, 그 위치에 기초한)를 포함하는 영역에 의해 포괄되는 영역 및 변환되는 영역(translated-to area)(예를 들어, 조정된 영역)을 포함하도록, 맵이 줌아웃될 수 있다.
상황 정보는 맵에 기초하여 사용자에 의해 갱신될 수 있다. 예를 들어, 사용자는 맵 상에서의 위치를 선택할 수 있다. 이 예에서, 통합 사용자 인터페이스는, 차량이 그 위치에 도착하기 위해 따를 수 있는 경로를 보여줄 수 있다. 따라서, 통합 사용자 인터페이스는, 경로가 차량의 그래픽 묘사로부터 그 위치까지 연장되는 것으로 보여줄 수 있다.
사용자가 차량을 운전하면, 시스템 또는 프로세서는 차량의 그래픽 묘사의 더 큰 뷰를 제공하기 위해 통합 사용자 인터페이스를 갱신할 수 있다. 따라서, 사용자가 네비게이션 정보에 따라 운전중임을 반영하기 위해 상황 정보를 갱신할 수 있다. 예를 들어 그리고 이하에서 후술하는 바와 같이, 통합 사용자 인터페이스는 차량의 주행 뷰를 포함하는 자율 시각화를 실세계 환경을 통해 보여줄 수 있다. 주행 뷰는, 위치를 향해서 환경을 통과하여 주행하는 차량의 후방 상승 뷰(rear raised view)를 반영할 수 있다. 예를 들어, 차선 마킹들, 다른 차량들 등이 통합 사용자 인터페이스에 렌더링될 수 있다. 통합 사용자 인터페이스는 회전별 방향들(turn-by-turn directions)을 추가적으로 보여줄 수 있다. 예로서, 사용자가 거리에서 좌회전을 할 필요가 있기 전에 좌회전 화살표를 포함시킬 수 있다.
이러한 방식으로 그리고 전술한 예시적인 사용자 인터페이스와 대조적으로, 차량의 그래픽 묘사가 맵 정보와 병합될 수 있다. 따라서, 거의 실시간으로, 통합 사용자 인터페이스는 그래픽 묘사 및/또는 맵 정보의 프레젠테이션을 동적으로 조정할 수 있다. 예를 들어, 맵은 동적으로 줌인되거나 줌아웃되는 등으로 될 수 있다.
차량은, 선택적으로 다른 차량들의 위치들, 차선들의 위치들, 진출 램프들, 진입 램프들, 정지 신호들, 신호등들 등을 거의 실시간으로 결정하기 위해 사용될 수 있는 카메라들 또는 센서들을 포함할 수 있다. 따라서, 네비게이션을 하는 동안, 통합 사용자 인터페이스는, 사용자가 회전을 하거나 진출 램프를 타거나 하는 등을 하기 위해 특정 개수의 차선들을 건너 이동해야 함을 나타낼 수 있다.
일 실시예에서, 통합 사용자 인터페이스는 진출 램프에 포함되어 있는 장애물(obstacle)의 자율 시각화를 보여줄 수 있다. 선택적으로, 장애물은, 사용자가 장애물을 인지하고 있음을 보장하기 위해 하이라이트되거나 그렇지 않으면 소리 크게 외쳐질 수 있다. 몇몇 실시예들에서, 통합 사용자 인터페이스는 진출 램프를 피해가는 갱신된 네비게이션 경로를 보여주도록 갱신될 수 있다.
이상의 설명은 네비게이션에 그 초점이 맞춰져 있지만, 그러한 장애물들이 차량의 정상 주행 동안에 통합 사용자 인터페이스에 보여질 수 있다는 것을 이해하여야 한다. 예를 들어, 통합 사용자 인터페이스는 차량이 주차 중에 차량의 큰 그래픽 묘사를 보여줄 수 있다. 사용자가 차량을 운전하면, 상황 정보는, 차량이 주행 상태에 있다는 점을 반영하기 위해 갱신될 수 있다. 따라서 통합 사용자 인터페이스는 차량의 주행 뷰를 반영하는 자율 시각화를 보여주기 위해 갱신될 수 있다. 예를 들어, 주행 뷰는 거리 또는 오프로드 영역을 가로지르는 차량의 후방 상승 뷰를 포함할 수 있다. 주행 뷰는, 차선 마킹들, 다른 차량들, 정지 신호들, 거리등들, 보행자들, 구덩이들(potholes), 바위들, 장애물들 또는 위험 요소들 등등을 추가로 나타낼 수 있다. 추가적으로, 통합 사용자 인터페이스는, 거리 이름들, 정지 신호들 또는 신호등들의 위치들, 인접한 사업장들 또는 위치들의 이름들 등과 같은 맵 정보를 포함할 수 있다. 사용자는, 통합 사용자 인터페이스가 줌아웃된 뷰를 보여주도록 하기 위해 터치 입력 또는 구두 명령을 통하는 등의 방식으로 맵을 유사하게 줌아웃할 수 있다.
통합 사용자 인터페이스 - 차량 기능성 사용자 인터페이스들
통합 사용자 인터페이스는, 추가적으로 차량 기능성의 유형들과 연관된 아이콘들을 포함할 수 있다. 예를 들어, 아이콘들은, 여기에 기술된 공기조화 기능성, 음악 기능성 등의 선택을 인에이블(enable)시킬 수 있다. 전술한 예시적인 사용자 인터페이스와 대조적으로, 통합 사용자 인터페이스는, 병합된 자율 시각화 및 맵 정보가 가려지지 않도록 보장할 수 있다. 예를 들어, 일반 사용자가 공기조화 아이콘을 선택한다면, 메뉴를 보여줄 수 있다. 유리하게, 통합 사용자 인터페이스는 병합된 자율 시각화 및 맵 정보와 연관된 크기를 줄일 수 있다. 추가적으로, 통합 사용자 인터페이스는, 통합 사용자 인터페이스의 나머지 부분에 메뉴를 보여줄 수 있다.
몇몇 실시예들에서, 전술한 동적 크기조정(dynamic sizing)은 현재의 상황 정보에 기초할 수 있다. 예를 들어, 사용자가 복잡한 일련의 거리들을 네비게이팅하고 있다면, 통합 사용자 인터페이스는 자율 시각화 및 맵 정보의 병합된 묘사와 연관된 크기를 확대할 수 있다. 이러한 방식으로, 사용자는 다가올 회전들을 명료하게 볼 수 있다. 유사하게, 다가올 위험 요소들이 있다면, 통합 사용자 인터페이스는, 사용자가 위험 요소를 쉽게 볼 수 있도록 보장하기 위해 맵 및 묘사된 위험 요소의 크기를 확대할 수 있다.
통합 사용자 인터페이스 - 운전자/승객 측 조정들
트럭들과 같은 특정 차량들의 경우, 집중화된 디스플레이가, 운전자 및 승객용 앞좌석들로부터 임계 거리 보다 긴 거리에 위치할 수 있다. 따라서, 운전자는, 운전자에 인접한 디스플레이의 부분(예를 들어, 좌측 부분)에 쉽게 접근할 수 있다. 대조적으로, 운전자는 디스플레이의 먼 부분(예를 들어, 우측 부분)에 접근하기가 더욱 어려울 수 있다. 유사하게, 승객은, (좌측 주행 용으로 만들어진 자동차에서) 디스플레이의 우측에 쉽게 접근할 수 있고 그 좌측에는 덜 쉽게 접근할 수 있다. 몇몇 실시예들에서, 통합 사용자 인터페이스는, 운전자 또는 승객이 통합 사용자 인터페이스와 대화 중인지(interacting)의 여부에 기초하여 갱신될 수 있다.
예로서, 기능성의 유형들과 연관된 아이콘들이 운전자 측에(예를 들어, 디스플레이의 상부에서 하부로 좌측을 따라) 보여질 수 있다. 따라서, 운전자는 이러한 아이콘들에 쉽게 접근할 수 있다. 아이콘이 선택되면, 이 아이콘과 연관된 메뉴 또는 사용자 인터페이스가 운전자 측에 보여질 수 있다. 대조적으로, 통합 사용자 인터페이스는 승객 측에 아이콘들을 보여줄 수 있다. 아이콘이 선택되면, 이 아이콘과 연관된 메뉴 또는 사용자 인터페이스가 승객 측에 보여질 수 있다.
후술하는 바와 같이, 몇몇 실시예들에서, 통합 사용자 인터페이스는, 운전자 또는 승객이 통합 사용자 인터페이스와 대화 중인지 또는 대화하려고 하는 지의 여부에 기초하여 갱신될 수 있다. 예를 들어, 시스템 또는 프로세서는, 운전자 또는 승객이 통합 사용자 인터페이스와 대화 중인지 또는 대화하려고 하는 지의 여부를 식별할 수 있다. 시스템은, 선택적으로 적외선 방출기들 또는 프로젝터들로부터의 정보를 획득할 수 있다. 이들은, 일반 사용자의 손이 디스플레이의 특정 측으로부터 통합 사용자 인터페이스에 닿는지를 나타낼 수 있다. 통합 사용자 인터페이스는, 디스플레이를 향해 이동하는 사용자의 손을 검출한 이후에 이 특정 측에 기초하여 갱신될 수 있다. 시스템은, 선택적으로 차량 내에 배치된 하나 이상의 카메라들에 기초하여 정보를 획득할 수 있다. 예를 들어, 시스템은, 운전자 또는 승객이 통합 사용자 인터페이스를 사용하고 있는지 또는 사용하려고 하는지의 여부를 결정하기 위해 비디오 또는 영상들을 분석할 수 있다.
통합 사용자 인터페이스의 전술한 실시예들 및 다른 실시예들이 이하에서 더욱 상세히 기술된다.
예시적인 블록도들
도 1a는 사용자 인터페이스(102)(예를 들어, 여기에 기술된 통합 사용자 인터페이스)가 프레젠테이션(presentation)되도록 하는 예시적인 상황 사용자 인터페이스 시스템(example contextual user interface system)(100)의 블록도를 예시한다. 상황 사용자 인터페이스 시스템(100)은 하나 이상의 프로세서의 시스템, ASIC(application specific integrated circuit) 등일 수 있다. 상황 사용자 인터페이스 시스템(100)은 전기 차량과 같은 차량에 포함될 수 있고, 디스플레이로 하여금 사용자 인터페이스(102)를 보여주도록 할 수 있다. 디스플레이는, 예를 들어 차량의 전방부에 포함되는 터치 감응식 디스플레이일 수 있다. 예를 들어, 디스플레이는 차량의 중앙 전방부에 포함될 수 있다.
상황 사용자 인터페이스 시스템(100)은 사용자 인터페이스(102)의 사용자에 의해 제공되는 사용자 입력(104)을 수신할 수 있다. 예시적인 사용자 입력(104)은 터치 기반의 사용자 입력, 구두 명령들 등을 포함할 수 있다. 이러한 방식으로, 사용자 인터페이스(102)의 사용자는 사용자 인터페이스(102)와 상호 작용할 수 있다. 예를 들어, 사용자는 차량의 서로 다른 특징들(different aspects)을 동작시키기 위해 사용자 입력(104)을 제공할 수 있다. 이 예에서, 사용자는 아이콘들(108A-108H) 중에서 선택을 할 수 있다. 각각의 아이콘은 차량 기능성의 유형의 제어를 인에이블시킬 수 있다. 예를 들어, 아이콘(108A)은 특정 차량 기능성의 제어(예를 들어, 조향 감도(steering sensitivity), 가속 특성들 등의 제어)를 인에이블시킬 수 있다. 다른 예로서, 아이콘(108H)은 뮤직 스트리밍 앱(music streaming application)의 제어를 인에이블시킬 수 있다.
따라서, 상황 사용자 인터페이스 시스템(100)은 차량 동작 정보(106)를 출력할 수 있다. 예를 들어, 정보(106)는, 차량의 동작을 조정하는 시스템, 모듈, 앱(application) 등에 제공될 수 있다. 예로서, 사용자는 조향 감도를 조정할 수 있다. 따라서 이 차량 동작 정보(106)는, 조향 제어와 연관된 시스템, 모듈, 소프트웨어, 앱이 에에 따라 갱신되도록 조정(the adjustment)을 반영할 수 있다.
예시된 바와 같이, 사용자 인터페이스(102)는 병합된 뷰에 자율 시각화(예를 들어, 차량의 그래픽 묘사(110A))를 맵 정보(110B)와 함께 포함한다. 전술한 바와 같이, 그래픽 묘사(110A)는 차량과 연관된 실시간 동작 정보를 반영할 수 있다. 예를 들어, 차량 등들(lights)이 켜져 있다면, 그래픽 묘사(110A)는 등들이 켜져 있는 것을 보여주기 위해 갱신될 수 있다. 맵 정보(110B)는 차량의 위치에 인접한 맵을 표현할 수 있다. 후술하는 바와 같이, 맵 정보는 차량의 동작과 연관된 현재의 상황에 따라 갱신될 수 있다. 예를 들어, 차량이 주행됨에 따라, 맵은, 주행 뷰를 보여주기 위해 선택적으로 줌인될 수 있다. 다른 예로서, 네비게이션 중에, 맵은, 차량이 따라야 할 경로를 선택적으로 나타낼 수 있다.
몇몇 실시예들에서, 맵 정보(110B)는 자율 시각화를 렌더링하기 위해 적어도 부분적으로 사용될 수 있다. 예를 들어, 자율 시각화는 차량 주위의 외부(예를 들어, 실세계 환경)의 그래픽 표현을 포함할 수 있다. 이 예에서, 센서 정보(예를 들어, 영상 센서들로부터의 영상들)는 그래픽 표현을 렌더링하기 위해 차량 내의 시스템(100) 또는 다른 프로세서 또는 시스템에 의해 분석될 수 있다. 맵 정보는 외부 환경의 물리적 특징들이나 특성들을 결정하기 위해 사용될 수 있다. 예를 들어, 몇몇 개의 차선들이 맵 정보에 기초하여 식별될 수 있다. 다른 예로서, 회전교차로들(roundabouts), 다가올 차선 이동들 또는 변경들, 다가올 고속도로 인터체인지들 등이 식별될 수 있다. 몇몇 실시예들에서, 이러한 물리적 특징들이나 특성들이 자율 시각화의 생성을 알려주기 위해 사용될 수 있다. 예를 들어, 자율 시각화는, 앞으로 다가올 것이고 아직 보이지는 않을 수 있거나 가려져 있을 수 있는 도로의 부분들의 정확한 경로를 포함할 수 있다. 다른 예로서, 병합된 뷰는 줌아웃되거나 변환될(translated) 수 있고, 맵 정보는 자율 시각화의 생성을 알려줄 수 있다. 예를 들어, 사용자가 병합된 뷰를 1마일만큼 전방으로 변환되거나(translated forward one mile) 위로 줌되도록 조정한다면, 외부 환경의 이러한 부분들은 아직 보이지 않을 수 있다. 유리하게, 맵 정보는 그들의 외관을 렌더링하기 위해 사용될 수 있다. 예를 들어, 빌딩들의 표현들 등이 맵 정보에 기초하여 병합된 뷰에 포함될 수 있다.
도 1a에서, 사용자 인터페이스(102)는 네비게이션 사용자 인터페이스(112)를 보여주고 있다. 이 인터페이스는, 사용자가 네비게이션할 위치를 나타내기 위해 사용자에 의해 사용가능할 수 있다. 유리하게, 이 네비게이션 사용자 인터페이스(112)는, 전술한 병합된 뷰(110A-110B)를 가리지 않도록 배치된다. 추가적으로, 네비게이션 사용자 인터페이스(112)가 운전자 측에 배치될 수 있어서, 운전자가 사용자 인터페이스(112)와 쉽게 상호 작용할 수 있다.
도 1b는 수신된 사용자 입력(104)에 기초하여 갱신된 사용자 인터페이스(102)를 보여주는 예시적인 상황 사용자 인터페이스 시스템(100)의 블록도를 예시한다. 예시된 실시예에서, 사용자 인터페이스(102)의 사용자는 위치로의 네비게이션을 인에이블시키기 위해 사용자 입력(104)을 제공하였다. 따라서, 네비게이션 사용자 인터페이스(112)는 이 위치로 향하는 방향들을 명시하기 위해 갱신되었다. 추가적으로, 경로(114A)는 병합된 뷰(110A-110B)에 보여진다. 이 경로는 위치(114B)를 향해 인도되는 것으로서 맵(110B) 상에 묘사될 수 있다.
몇몇 실시예들에서 그리고 이하에서 설명되는 바와 같이, 네비게이션 사용자 인터페이스(112)는, 차량이 주행되면서 사용자 인터페이스(102)에 의해 선택적으로 제거될 수 있다. 예를 들어, 병합된 뷰(110A-110B)는 동적으로 크기가 확대될 수 있다. 이 예에서, 병합된 뷰(110A-110B)는 더욱 상세한 자율 시각화(예를 들어, 주행 뷰)를 포함할 수 있다.
주행 뷰는, 예로서, 차량의 그래픽 묘사(110A)의 후방 상향 시점(rear upward point of view)을 나타낼 수 있다. 예로서, 주행 뷰는 차량 뒤로 또는 위로 임계 거리만큼 떨어져 배치된 카메라 또는 드론의 뷰와 유사할 수 있다. 시스템 또는 프로세서는, 주행 뷰에 포함시키기 위한 정보를 생성하기 위해 영상 센서들로부터의 영상들과 같은 센서 데이터를 하나 이상의 기계 학습 모델들(machine learning models)(예를 들어, 합성곱 신경망들(convolutional neural networks) 또는 기타 컴퓨터 비전 기법들)과 결합하여 사용할 수 있다. 예를 들어, 기계 학습 모델들은 차량 주위에 배치된 영상 센서들로부터의 입력 영상들을 분석할 수 있다. 몇몇 구현예들에서, 영상 센서들은 차량을 중심으로 한 360도 뷰를 제공할 수 있다. 이러한 입력 영상들은, 이 영상들에 묘사되는 차량들(예를 들어, 세단들, 트럭들, 모토사이클들), 객체들(위험 요소들, 구덩이들, 과속방지턱들, 보행자들, 정지 신호등들, 신호등들) 등을 분류하기 위해 분석될 수 있다. 선택적으로, 차량이 위치하는 실세계 환경의 일관된 뷰(consistent view)(예를 들어, 360도 뷰)를 제공하기 위해 (예를 들어, 신경망과 같은 기계 학습 모델을 통해) 입력 영상들이 함께 스티치될(stitched) 수 있다. 영상들 또는 다른 센서 데이터는 특정 빈도로(예를 들어, 초당 30 프레임, 초당 60 프레임, 초당 120 프레임 등으로) 수신될 수 있다. 이러한 영상들은, 주행 뷰에 포함되는 정보를 갱신하기 위해 분석될 수 있다.
몇몇 실시예들에서, 사용자 인터페이스 시스템(100)은 차량들, 객체들 등과 연관된 모델들에 액세스할 수 있다. 그 후 사용자 인터페이스 시스템(100)은 주행 뷰를 생성하기 위해 수신된 센서 데이터에 따라 모델들을 렌더링할 수 있다. 예를 들어, 사용자 인터페이스 시스템(100)은 특정 유형(예를 들어, 트럭)의 인접 차량과 연관된 현재의 위치를 나타내는 정보를 수신할 수 있다. 이 예에서, 사용자 인터페이스 시스템(100)은, 현재의 위치와 일치하는 트럭의 모델을 주행 뷰에 렌더링할 수 있다. 인식할 수 있는 바와 같이, 주행 뷰에서의 렌더링된 모델의 위치는, 트럭의 해당 영상들을 획득한 하나 이상의 영상 센서들로부터의 카메라 변수들(camera parameters)을 이용하여 결정될 수 있다. 따라서, 실세계 트럭의 위치는 주행 뷰 내의 위치로 변환될 수 있다. 추가로, 영상들이 함께 스티치되는 구현예들에서, 결과적인 스티칭은, 차량들 및/또는 객체들의 위치들, 크기들(예를 들어, 바운딩 박스들(bounding boxes)) 등을 나타내는 맵을 표현할 수 있다. 맵은, 트럭을 렌더링할 주행 뷰 내의 위치를 식별하기 위해, 예를 들어 시스템(100) 또는 다른 시스템 또는 프로세서에 의해 사용될 수 있다. 모델들의 사용이 위에서 기술되었지만, 몇몇 실시예들에서는, 차량 또는 객체의 물리적 특성들이 하나 이상의 영상들로부터 추출될 수 있다. 예로서, 시스템 또는 프로세서는, 사용자 인터페이스(102)에 렌더링하기 위해 차량 또는 객체의 외관을 생성할 수 있다.
따라서, 주행 뷰는 차량이 위치하는 실세계 환경의 그래픽 표현을 반영할 수 있다. 다른 차량들의 그래픽 묘사는, 실세계 환경에서의 그들의 실제 위치들에 따라 차량 주위에서 움직이는 것으로서 보여질 수 있다. 추가적으로, 도로 마킹들, 표지판들 등이 주행 뷰에 보여질 수 있다. 사용자 인터페이스 시스템(100)은, 실세계 환경에 포함되는 차량들 및/또는 객체들을 렌더링하기 위해 사용자 인터페이스(102)를 실시간으로(예를 들어, 거의 실시간으로) 갱신할 수 있다. 예를 들어, 사용자 인터페이스(102)를 갱신하기 위해 영상들이 수신되고 분석되고 사용될 수 있다.
이하에서 더욱 상세히 설명되는 바와 같이, 도 2b와 관련하여, 사용자 인터페이스 시스템(100)은 네비게이션 정보를 반영하기 위해 사용자 인터페이스(102)를 추가로 갱신할 수 있다. 따라서, 여기에 기술되는 병합된 뷰는 자율 시각화, 맵 정보 및 네비게이션 정보를 포함할 수 있다. 예를 들어, 차량이 경로를 따라 주행 중일 때, 사용자 인터페이스(102)는 네비게이션 이벤트들을 나타내기 위해 갱신될 수 있다. 이 예에서, 사용자 인터페이스(102)는, 사용자가 하나 이상의 차선을 건너 이동하고 회전을 하는 등을 하여야 함을 나타낼 수 있다.
몇몇 구현예들에서, 차량은 자율주행 또는 반자율주행 모드로 동작될 수 있다. 따라서, 주행 뷰는 차량에 포함된 시스템 또는 프로세서에 의해 결정되는 실세계 환경의 뷰에 대한 통찰력을 제공할 수 있다. 사용자는, 실세계 환경이 제대로 해석되고 있음을 확실히 하기 위해 주행 뷰를 볼 수 있다. 추가로, 네비게이션 정보의 사용은, 차량이 수행할 동작들을 사용자에게 선행하여 전할 수 있다.
따라서, 사용자 인터페이스(102)는 차량의 동작과 연관된 상황에 따라 동적으로 갱신될 수 있다. 예를 들어, 네비게이션 사용자 인터페이스(112)는 네비게이션 기능성의 선택을 나타내는 사용자 입력(104)에 기초하여 도 1a에 나타내었다. 따라서, 병합된 뷰(110A-110B)는, 네비게이션 사용자 인터페이스(112)를 수용하기 위해 그 크기가 동적으로 축소되었다. 도 1b에서, 네비게이션 사용자 인터페이스(112)는 위치를 향하는 방향들을 보여준다. 전술한 바와 같이, 사용자가 주행을 시작함에 따라, 네비게이션 사용자 인터페이스(112)는 동적으로 축소될 수 있다. 이러한 방식으로, 사용자는 네비게이션 정보(예를 들어, 다가올 네비게이션 이벤트들)를 포함시키기 위해 갱신될 수 있는 병합된 뷰(110a-110b)에 주의를 집중할 수 있다.
예시적인 흐름도들
도 2a는 통합 사용자 인터페이스를 갱신하기 위한 예시적인 프로세스(200)의 흐름도이다. 편의상, 프로세스(200)는 하나 이상의 프로세서들의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 기술될 것이다.
블록(202)에서, 시스템은 차량을 묘사하는 통합 사용자 인터페이스를 보여준다. 도 1a 및 도 1b에 예시된 바와 같이, 통합 사용자 인터페이스는 자율 시각화(예를 들어, 차량의 그래픽 묘사)를 포함할 수 있다. 추가적으로, 통합 사용자 인터페이스는 맵 정보를 포함할 수 있다. 맵 정보가 줌인되거나 줌아웃되는 정도는 차량의 동작과 연관된 현재의 상황에 기초할 수 있다. 예를 들어, 차량이 주차 중이면, 통합 사용자 인터페이스는 맵의 줌인된 뷰(zoomed in view)를 보여줄 수 있다. 이 예에서, 차량의 그래픽 묘사는 통합 사용자 인터페이스를 보여주는 디스플레이를 거의 채울 수 있다.
다른 예로서, 차량이 주행 중이라면, 맵 정보는 더욱 줌아웃될 수 있다. 예로서, 맵 정보는 거리 뷰로서 통합 사용자 인터페이스에 렌더링될 수 있다. 이 예에서, 통합 사용자 인터페이스는 거리의 렌더링된 버전 상에서의 주행중인 차량의 그래픽 묘사를 포함할 수 있다. 다른 예로서, 맵 정보의 뷰는 거의 탑다운인(top-down) 뷰를 표현할 수 있다. 예를 들어, 네비게이션 중에, 통합 사용자 인터페이스는, 다가올 회전들을 나타내기 위해 맵이 줌아웃되도록 할 수 있다. 이 예에서, 식별되는 일련의 곧 다가올 회전들(quick upcoming turns)에 기초하여 줌아웃 동작이 일어날 수 있다. 따라서, 통합 사용자 인터페이스는 맵 정보 상에 회전들의 순서를 유리하게 묘사할 수 있다. 다른 예로서, 다가올 주행 이벤트의 유형에 기초하여 줌아웃 동작이 일어날 수 있다. 예를 들어, 평면 도로로 진출 램프를 빠져나가는 것은 줌아웃 동작을 야기할 수 있다. 다른 예로서, 줌아웃 동작은 위험 요소의 검출에 기초하여 일어날 수 있다. 예를 들어, 위험 요소는 차량의 영상 센서들로부터의 영상들을 이용하여 검출될 수 있다. 이 예에서, 위험 요소를 피하기 위해 경로가 갱신될 수 있고, 갱신된 경로의 적어도 일부분을 묘사하기 위해 맵 정보가 줌아웃될 수 있다.
통합 사용자 인터페이스는, 차량 기능성의 유형과 연관된 메뉴 또는 사용자 인터페이스를 추가적으로 포함할 수 있다. 여기에 기술된 바와 같이, 이 메뉴 또는 사용자 인터페이스는 맵 정보 옆에 배치될 수 있다. 따라서, 통합 사용자 인터페이스의 사용자는, 맵 정보의 뷰를 유지하면서 메뉴와 상호 작용할 수 있다.
블록(204)에서, 시스템은 상황 정보를 갱신하는 정보를 수신한다. 통합 사용자 인터페이스의 사용자는, 차량의 동작과 연관된 상황을 갱신하기 위해 사용자 입력을 제공할 수 있다. 예를 들어, 사용자는, 통합 사용자 인터페이스가 위치로 향하는 네비게이션 정보를 보여주어야 함을 나타낼 수 있다. 다른 예로서, 사용자는 차량 기능성의 유형과 연관된 아이콘을 선택하는 사용자 입력을 제공할 수 있다.
수신된 정보는, 추가적으로 사용자 입력에 기초하지 않을 수 있다. 예를 들어, 차량 주위에 배치된 카메라들 또는 센서들이 위험 요소들, 교통신호등들, 정지 신호들, 환경 조건들 등을 식별하기 위해 사용될 수 있다. 이러한 정보는 통합 사용자 인터페이스를 갱신하기 위해 사용될 수 있다. 예를 들어, 차량이 오프로드 환경에서 주행 중이라면, 환경 조건들은 앞쪽의 빨리 움직이는 수역(body of water) 또는 임계 각도 보다 크게 경사진 비탈(incline)을 반영할 수 있다. 유사하게, 수신된 정보는, 차량의 장소 또는 위치에 추가적으로 관련되어 있을 수 있다. 도 2b에서 설명되는 바와 같이, 시스템은 네비게이션 경로에 대한 차량의 위치에 따라 통합 사용자 인터페이스를 갱신할 수 있다. 예를 들어, 여기에 기술되는 병합된 뷰는, 위치에 따라서 줌인, 줌아웃 등이 될 수 있다.
블록(206)에서, 시스템은 정보에 기초하여 통합 사용자 인터페이스를 갱신한다. 아이콘과 연관된 사용자 입력과 관련하여, 통합 사용자 인터페이스는 아이콘과 연관된 메뉴 또는 사용자 인터페이스를 포함시키기 위해 갱신될 수 있다. 유사하게, 사용자가 네비게이션 모드를 입력한다면, 통합 사용자 인터페이스는 차량과 맵의 병합된 뷰 상에 네비게이션 방향들을 포함시키는 등을 위하여 갱신될 수 있다.
영상 센서들 또는 다른 센서들(예를 들어, 레이더, 초음파)로부터 결정된 정보와 관련하여, 통합 사용자 인터페이스는 이러한 정보를 반영하기 위해 갱신될 수 있다. 예를 들어, 정지 신호가 접근 중이면, 통합 사용자 인터페이스는 검출된 정지 신호를 강조할(highlight) 수 있다. 다른 예로서, 차량이 이 정지 신호에서 자동으로 정지할 수 있고, 이러한 정지를 반영하기 위해 통합 사용자 인터페이스에 정보가 포함될 수 있다. 구덩이와 같은 위험 요소가 검출되면, 통합 사용자 인터페이스는 병합된 뷰에 이러한 위험 요소를 묘사하기 위해 갱신될 수 있다. 전술한 주행 뷰와 관련하여, 통합 사용자 인터페이스는, 차량이 접근하는 거리의 부분에 이 구덩이의 위치를 나타낼 수 있다. 선택적으로, 통합 사용자 인터페이스는, 사용자가 차선들을 조정해야 함을 나타내는 정보를 보여줄 수 있다.
유리하게, 통합 사용자 인터페이스를 갱신할 때, 시스템은, 선택적으로, 자율 시각화(예를 들어, 차량 그리고 선택적으로는 인접 차량들 및/또는 객체들) 및 맵의 병합된 뷰가 가려지지 않도록 보장할 수 있다. 예를 들어, 시스템은, 네비게이션 정보가 병합된 뷰 위에 오버레이되도록 할 수 있다. 다른 예로서, 시스템은 카메라들 및/또는 센서들을 이용하여 결정된 정보를 병합된 뷰에 포함시킬 수 있다. 다른 예로서, 시스템은, 차량 기능성과 연관된 메뉴 또는 사용자 인터페이스를 병합된 뷰의 그것과 별도로 보여줄 수 있다. 이 예에서, 시스템은 병합된 뷰의 위치를 동적으로 크기 조절하거나 및/또는 조정할 수 있다. 예를 들어, 병합된 뷰는, 그 크기가 조절될 수 있고, 운전자가 사용자 인터페이스를 작동 중이면, 사용자 인터페이스의 승객 측(예를 들어, 우측)으로 배치될 수 있다.
선택적으로, 통합 사용자 인터페이스는 차량에 배치된 카메라로부터의 영상들 또는 비디오를 보여줄 수 있다. 이하에서 더욱 상세히 설명하는 바와 같이, 통합 사용자 인터페이스는 병합된 뷰에 인접하게 영상들 또는 비디오를 보여줄 수 있다. 이들은, 예를 들어 차량이 무언가를 견인하는 경우 프레젠테이션(presentation)을 위해 트리거될(triggered) 수 있다. 이들은 또한, 차량이 오프로드 모드에 있는 경우 트리거될 수 있다. 카메라로부터의 영상들 또는 비디오를 보여주는 예들이 이하에 포함되어 있다.
도 2b는 차량의 위치에 따라 통합 사용자 인터페이스를 갱신하기 위한 예시적인 프로세스(210)의 흐름도이다. 편의상, 프로세스(20)는 하나 이상의 프로세서들의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(212)에서, 시스템은 디스플레이를 통해 통합 사용자 인터페이스를 보여준다. 블록(214)에서, 시스템은 네비게이션 제어를 선택하는 사용자 입력을 수신한다. 전술한 바와 같이, 도 1a 및 도 1b와 관련하여, 통합 사용자 인터페이스는 네비게이션 기능성을 지원할 수 있다. 블록(216)에서, 시스템은 목적지의 선택을 수신한다. 사용자는 네비게이션하여 갈 위치를 나타내는 사용자 입력을 제공할 수 있다. 예를 들어, 사용자는 위치와 연관된 이름을 지정할 수 있다. 사용자는 위치를 탐색하기 위해 탐색 사용자 인터페이스(search user interface)를 사용할 수도 있다.
블록(218)에서, 시스템은, 맵의 그래픽 표현 상에 포함된 자율 시각화(예를 들어, 차량의 그래픽 묘사)의 병합된 뷰를 묘사하기 위해 통합 사용자 인터페이스를 갱신한다. 도 1b에 예시된 바와 같이, 사용자 인터페이스는 위치로 가는 경로와 연관된 경로 정보를 반영하기 위해 갱신될 수 있다. 따라서, 병합된 뷰는, 차량이 묘사되는, 맵의 거의 탑다운인 뷰(substantially top-down view of the map)를 반영할 수 있다. 예를 들어, 병합된 뷰는, 렌더(render) 또는 가상 카메라가 차량 위로 임계 거리만큼 떨어져 배치되는 실세계 환경의 렌더링된 뷰(rendered view)를 나타낼 수 있다.
블록(220)에서, 시스템은 차량의 움직임에 기초하여 통합 사용자 인터페이스를 갱신한다. 전술한 바와 같이, 차량이 움직임에 따라, 시스템은 병합된 뷰를 동적으로 조정한다. 예를 들어, 통합 사용자 인터페이스는, 차량의 뒷부분이 경로를 따라 네비게이팅하는 것으로서 예시되는, 주행 뷰를 묘사할 수 있다. 따라서, 주행 뷰는, 렌더 또는 가상 카메라가 차량의 뒷부분에 배치된, 실세계 환경의 렌더링된 뷰를 표현할 수 있다.
시스템은, 경로에 대한 차량의 위치에 대한 갱신(updates to the vehicle's position with respect to the route)과 같은, 갱신된 상황 정보에 기초하여 통합 사용자 인터페이스를 갱신할 수 있다. 예를 들어, 시스템은, 다가올 네비게이션 이벤트들의 개수가 임계적 개수보다 적을 때에는 차량의 뒷부분의 주행 뷰를 그대로 유지할 수 있다. 예를 들어, 차량이 고속도로를 따라 주행 중이고 다가올 회전이나 차선 변경이 없을 경우, 시스템은, 주행 뷰가 디스플레이의 상당한 부분을 포괄하도록 주행 뷰를 그대로 유지할 수 있다. 다른 예로서, 경로가 임계적 개수의 다가올 주행 이벤트들을 나타내는 경우, 시스템은 병합된 뷰가 줌아웃되도록 병합된 뷰를 갱신할 수 있다. 예를 들어, 자율 시각화 및 맵 정보가 줌아웃될 수 있다. 몇몇 실시예들에서, 자율 시각화를 줌아웃하면, 차량의 그래픽 묘사는 그대로 유지되면서 특정 시각화들(예를 들어, 다른 차량들, 보행자들, 표지판들, 도로 마킹들 등)이 제거될 수 있다. 다가올 네비게이션 이벤트들이 맵 정보 상에서 식별될 수 있다. 예를 들어, 이러한 네비게이션 이벤트들을 위해 경로의 표시가 그래픽하게 포함될 수 있다.
몇몇 실시예들에서, 시스템은, 차량의 위치 및 경로와 연관된 하나 이상의 복잡성 척도들(complexity measures)에 기초하여 줌인 또는 줌아웃을 수행할 수 있다. 예로서, 시스템은, 차량의 위치로부터 임계 거리 내에 있거나 차량의 위치로부터 임계 주행 시간 내에 있는 경로의 다가올 부분에 대한 복잡성 척도들을 결정할 수 있다. 이 복잡성 척도들에 기초하여, 시스템은 병합된 뷰를 갱신할 수 있다. 예를 들어, 경로의 다가올 부분이 높은 복잡성 척도를 가지는 경우, 시스템은 많은 수의 네비게이션 이벤트들을 묘사하기 위해 줌아웃을 수행할 수 있다.
복잡성 척도들은 다수의 다가올 회전, 다수의 다가올 차선 변경, 다수의 다가올 주행 조작(driving maneuvers)(예를 들어, 유턴들) 등에 관련되어 있을 수 있다. 몇몇 실시예들에서, 위 정보는 서로 다른 가중치들과 연관되어 있을 수 있다. 따라서, 다수의 다가올 회전은, 다수의 차선 변경에 비해 높은 복잡성 척도와 연관되어 있을 수 있다. 추가적으로, 복잡성 척도들은 다가올 네비게이션 이벤트를 놓치는 것과 연관된 개연성들(likelihoods)에 관련되어 있을 수 있다. 예를 들어, 개연성은 이력 정보에 관련되어 있을 수 있다. 이 예에서, 이전의 차량 운전자들이 다가올 네비게이션 이벤트들의 하나 이상을 놓친 적이 있는 경우, 복잡성 척도가 올라갈 수 있다.
유리하게, 사용자가, 아이콘을 선택하는 것과 같은 방식을 통해 차량 기능성을 선택하는 경우, 그 기능성과 연관된 메뉴가 주행 뷰 옆에 보여질 수 있다. 이러한 방식으로, 사용자는, 주행 뷰가 가려지지 않은 채로 기능성을 제어할 수 있다.
도 2c는 차량 기능성의 선택에 기초하여 통합 사용자 인터페이스를 갱신하기 위한 예시적인 프로세스(230)의 흐름도이다. 편의상, 프로세스(230)는 하나 이상의 프로세서의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(232)에서, 시스템은 디스플레이를 통해 통합 사용자 인터페이스를 보여준다. 블록(234)에서, 시스템은 특정의 차량 기능성을 나타내는 사용자 입력을 수신한다. 예를 들어, 통합 사용자 인터페이스는, 서로 다른 차량 제어들(예를 들어, 여기에 기술된 공기조화, 음악 등)과 연관된 다수의 아이콘을 포함할 수 있다. 사용자는 특정 아이콘을 선택하여 해당하는 차량 제어를 조정할 수 있다. 예를 들어, 사용자는 디스플레이로의 터치 입력을 제공할 수 있다. 다른 예로서, 사용자는, 시스템 또는 (예를 들어, 차량에 포함되어 있거나 차량과 무선 통신하는) 다른 프로세스 또는 시스템에 의해 해석될 구두 명령을 제공할 수 있다. 여기에 설명된 바와 같이, 상황 정보는 특정의 차량 기능성의 선택을 반영하기 위해 갱신될 수 있다.
블록(236)에서, 시스템은, 통합 사용자 인터페이스에서의 자율 시각화(예를 들어, 차량의 그래픽 묘사)를 조정한다. 특정의 차량 기능성은 차량의 그래픽 묘사를 조정할 수 있다. 예를 들어, 사용자는 차량의 등들(lights)(예를 들어, 안개등들, 상향빔(high beam lights) 등)을 조정할 수 있다. 이 예에서, 시스템은 그래픽 묘사를 이에 따라 갱신할 수 있다. 다른 예로서, 사용자는 트럭에서의 서스펜션을 조정할 수 있다. 이 예에서, 그래픽 묘사는 트럭의 들어올림(raising) 또는 내림(lowering)을 나타낼 수 있다. 다른 예로서, 사용자는 와이퍼들이 작동되도록 할 수 있고, 이 경우 묘사는 와이퍼들의 움직임을 보여줄 수 있다. 다른 예로서, 사용자는 터노우 커버(tonneau cover)가 열리거나 닫히도록 할 수 있으며, 이 경우 묘사는 이러한 열림과 닫힘을 보여줄 수 있다.
블록(238)에서, 시스템은 기능성과 연관된 메뉴 또는 사용자 인터페이스를 포함시키도록 통합 사용자 인터페이스를 갱신한다. 예를 들어, 제어 유형 사용자 인터페이스(control type user interface)를 포함시킬 수 있다. 여기에 기술된 바와 같이, 메뉴 또는 사용자 인터페이스는, 차량 및 맵의 묘사를 가리지 않도록 보여질 수 있다. 예를 들어, 차량 및 맵의 묘사는 그 크기가 조정될 수 있다(예를 들어, 크기를 줄일 수 있다). 따라서, 사용자는, 맵의 뷰가 유지된 채로 메뉴 또는 사용자 인터페이스와 상호 작용할 수 있다.
도 3a는 통합 사용자 인터페이스의 멀티태스킹 제어(multitasking control)를 사용하기 위한 예시적인 프로세스(300)의 흐름도이다. 편의상, 프로세스(300)는 하나 이상의 프로세서의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(302)에서, 시스템은 통합 사용자 인터페이스를 보여준다. 블록(304)에서, 시스템은 제1 제어 유형(first control type)의 선택을 나타내는 사용자 입력을 수신한다. 예를 들어, 사용자 인터페이스의 사용자는 특정의 차량 기능성과 연관된 아이콘을 선택할 수 있다. 블록(306)에서, 시스템은 제2 제어 유형(second control type)의 선택을 수신한다. 이에 응답하여, 시스템은 제1 제어 유형과 연관된 메뉴 또는 사용자 인터페이스를 제거할 수 있다. 그 대신, 제2 제어 유형과 연관된 메뉴 또는 사용자 인터페이스를 포함시킬 수 있다.
블록(308)에서, 시스템은 멀티태스킹 제어를 포함시키기 위해 통합 사용자 인터페이스를 갱신한다. 이 제어는 최근에 선택된 차량 기능성들 간에서의 신속한 스위칭을 가능하게 할 수 있다. 예를 들어, 사용자는, 멀티태스킹 제어를 조작함으로써 제1 제어 유형 및 제2 제어 유형 간에서 스위칭을 할 수 있다. 몇몇 실시예들에서, 멀티태스킹 제어는 동일 축(예를 들어, 수평 방향)을 따라 포함되는 하나 이상이 라인들(lines)을 나타낼 수 있다. 사용자는, 제1 제어 유형 및 제2 제어 유형과 연관된 서로 다른 메뉴들 또는 사용자 인터페이스들 간에서 이동하기 위해 미는 모션(swiping motion)을 사용할 수 있다.
블록(310)에서, 시스템은 멀티태스킹 제어에 관한 사용자 입력을 수신한다. 사용자 입력은, 예를 들어 터치 스크린 디스플레이 상에서의 멀티태스킹 제어의 선택을 포함할 수 있다. 예를 들어, 사용자는 하나 이상의 축(예를 들어, 수평축)을 따라 미는 동작(swiping)을 수행할 수 있다. 사용자 입력은, 추가적으로 멀티태스킹 제어와 연관된 구두 명령을 포함할 수 있다. 전술한 바와 같이, 사용자는 제1 제어 유형 및 제2 제어 유형 간에서 신속하게 스위칭할 수 있다.
이제, 멀티태스킹 제어와 연관된 사용자 인터페이스들을 예시하는 도 3b 내지 도 3d를 참조한다. 도 3b는 차량(322)의 묘사를 뮤직 사용자 인터페이스(324)와 함께 보여주는 사용자 인터페이스(320)를 예시한다. 예를 들어, 차량은 주차 모드에 있을 수 있다. 이하의 설명은, 차량이 주행 중이었거나 네비게이션 중이었던 경우에 추가로 적용될 수 있다. 예를 들어, 자율 시각화 및 맵 정보의 병합된 뷰가 사용자 인터페이스(320)에 보여질 수 있다.
도 3c는 차량(322)의 묘사를 퀵 컨트롤 사용자 인터페이스(326)와 함께 보여주는 사용자 인터페이스(320)를 예시한다. 예를 들어, 사용자는 뮤직 사용자 인터페이스(324)와 상호 작용하였을 수 있고, 이를 닫았거나 사용자 인터페이스(326)와 연관된 아이콘을 선택하였다.
도 3c에 예시된 바와 같이, 멀티태스킹 제어(328)가 포함되어 있다. 멀티태스킹 제어 라인(multitasking control line)의 각각의 라인은 서로 다른 사용자 인터페이스를 나타낼 수 있다. 따라서, (예를 들어, 라인으로의 입력을 통한 또는 밀기(swiping)를 통한) 라인의 선택은 서로 다른 사용자 인터페이스의 프레젠테이션을 가져올 수 있다.
예를 들어, 가장 왼쪽의 라인은 퀵 컨트롤 사용자 인터페이스(326)에 해당할 수 있다. 다른 예로서, 가장 오른쪽 라인은 뮤직 사용자 인터페이스(324)에 해당할 수 있다. 몇몇 실시예들에서, 가장 최근에 보여준 사용자 인터페이스는 사용자 인터페이스(320)의 사용자에 가장 가까운 곳에 포함될 수 있다. 이 예에서, 운전자는 사용자 인터페이스(320)를 동작시키고 있을 수 있다. 따라서, 가장 최근에 사용된 사용자 인터페이스는 좌측에 있는 라인일 수 있다. 승객이 사용자 인터페이스(320)를 동작시키고 있었다면, 가장 최근에 사용된 사용자 인터페이스는 우측에 있는 라인일 수 있다. 예시된 바와 같이, 가장 왼쪽의 라인이 강조되고, 연관된 사용자 인터페이스(예를 들어, 사용자 인터페이스(326))가 보여지고 있는 중임을 나타낸다.
도 3d는 실내온도 사용자 인터페이스(climate user interface)(330)가 보여지는 사용자 인터페이스(320)를 예시한다. 도시된 바와 같이, 멀티태스킹 제어(328)는 3개의 라인들을 포함한다. 몇몇 실시예들에서, 사용자 인터페이스(320)는 라인들의 개수를 제한할 수 있다. 따라서, 사용자는 임계적 개수의 최근 사용된 차량 기능성들 간에서 선택할 수 있다. 몇몇 실시예들에서, 라인들 위에, 사용자 인터페이스(320)는 연관된 차량 기능성의 라이브 뷰(live view) 또는 표현(representation)을 포함할 수 있다. 예를 들어, 중간 라인 위에, 퀵 컨트롤 사용자 인터페이스(326)의 라이브 뷰가 포함될 수 있다. 몇몇 실시예들에서, 사용자가 사용자 인터페이스(320)와 상호 작용하려고 함을 시스템이 식별하는 것에 기초하여 라이브 뷰들이 보여질 수 있다. 예를 들어, 사용자가 사용자 인터페이스(320)와 상호 작용하려고 하거나 상호 작용하고 있는 중이라고 결정하기 위해 적외선 방출기들, 카메라들 또는 다른 센서들이 사용될 수 있다.
도 4는 아이콘들을 운전자 또는 승객 측으로 조정하기 위한 예시적인 프로세스(400)의 흐름도이다. 편의상, 프로세스(400)는 하나 이상의 프로세서의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(402)에서, 시스템은 디스플레이를 통해 통합 사용자 인터페이스를 보여준다. 차량 기능성과 연관된 아이콘들이 통합 사용자 인터페이스를 보여주는 디스플레이의 운전자 측에 보여질 수 있다. 몇몇 실시예들에서, 디스플레이가 켜져 있을 때, 운전자 측에 아이콘들이 보여질 수 있다. 예를 들어, 운전자가 차량으로 들어갈 때 디스플레이가 켜질 수 있다. 몇몇 실시예들에서, 시스템은, 디스플레이가 켜져 있을 때 운전자가 차량에 있는지 아니면 승객이 차량에 있는지를 결정할 수 있다. 예를 들어, 승객만이 차량에 들어간다면, 아이콘들을 승객 측에 배치할 수 있다. 이 예에서, 시스템은, 승객이 앉아 있다고 판정하기 위해 좌석에 있는 센서들을 사용할 수 있다. 시스템은 또한, 승객 측 문이 사용되었다고 식별할 수 있다. 시스템은, 승객이 차량 안에 있다고 식별하기 위해 차량 내부로 대면하고 있는 카메라들 또는 기타 센서들을 사용할 수도 있다. 유사하게, 시스템은, 승객이 차량으로 들어갔거나 차량으로 들어가려고 하는 것을 식별하기 위해 차량 외부로 대면하고 있는 카메라들을 사용할 수 있다.
블록(404)에서, 시스템은, 사용자 입력이 운전자 또는 승객으로부터 수신되는지 또는 수신되려고 하는 지의 여부를 식별한다. 시스템은, 손이 디스플레이를 향해 움직이고 있다고 판정하기 위해 적외선 방출기들 또는 프로젝터들을 사용할 수 있다. 시스템은, 손의 움직임을 결정하기 위해 카메라들을 사용할 수도 있다. 몇몇 실시예들에서, 디스플레이를 향한 움직임과 (예를 들어, 중앙 콘솔 또는 음료수에 접근하기 위한) 차량의 중심을 향한 움직임 간을 구별하기 위해 기계 학습 모델들을 최대한 활용할 수 있다.
블록(406)에서, 시스템은 아이콘들을 갱신하여 아이콘들이 승객 측에 있도록 한다. 시스템이, 승객이 사용자 입력을 제공하는 것이라고 식별하면, 시스템은 아이콘들을 갱신하여 아이콘들이 그의/그녀의 측에 있도록 한다. 이에 반해, 블록(408)에서는, 사용자 입력이 운전자 측으로부터 제공되고 있다면, 시스템은 운전자 측에 아이콘들을 유지시킬 수 있다.
전술한 바와 같이, 아이콘의 선택은 연관된 차량 제어 사용자 인터페이스가 보여지도록 할 수 있다. 이 사용자 인터페이스는 자율 시각화 및 맵 정보의 병합된 뷰를 가리지 않도록 보여질 수 있다. 예를 들어, 병합된 뷰와 연관된 크기가 축소될 수 있고, 병합된 뷰를 승객 또는 운전자로부터 멀리 떨어져 위치시킬 수 있다. 예로서, 시스템이, 승객이 사용자 입력을 제공하고 있다고 판정하는 경우, 시스템은 승객 측에 차량 제어 사용자 인터페이스를 보여줄 수 있다. 유사하게, 시스템은 운전자 측에 인접하게 병합된 뷰를 보여줄 수 있다.
예시적인 사용자 인터페이스들
통합 사용자 인터페이스의 예시적인 실시예들이 이하에서 설명된다. 각각의 사용자 인터페이스가 하나 이상의 실시예를 기술하는 것이고 이러한 사용자 인터페이스들의 특정 특징들 또는 기능들은 조정될 수 있고 여기에 개시된 사항들의 범위 내에 속하는 것임을 인식할 수 있을 것이다. 이러한 사용자 인터페이스들은 차량에 포함된 디스플레이를 통해 보여질 수 있다. 몇몇 실시예들에서, 디스플레이는 터치 감응형 디스플레이일 수 있다. 사용자 인터페이스들은, 전술한 사용자 인터페이스 시스템(100)과 같은, 차량에 포함된 시스템 또는 프로세서에 의해 렌더링될 수 있다.
도 5a는 주차된 차량을 예시하는 병합된 뷰의 예시적인 사용자 인터페이스(500)를 예시한다. 예시된 바와 같이, 차량의 그래픽 묘사(502)가 사용자 인터페이스에 포함되어 있다. 추가적으로, 환경의 표현(504)이 포함되어 있다. 예를 들어, 그래픽 묘사(502) 및 표현(504)을 포함하는 자율 시각화가 렌더링될 수 있다. 뿐만 아니라, 사용자 인터페이스(500)는 선택적으로 맵 정보를 포함할 수 있다. 예를 들어, 차량이 주차되어 있는 거리의 이름의 표시가 포함될 수 있다. 다른 예로서, 상점들, 음식점들 등이 표현(504)에 묘사될 수 있다. 이러한 것들은, 예를 들어 거리 뷰 정보(street view information)로부터 획득될 수 있다. 따라서, 상황 정보는, 몇몇 실시예들에서는 차량이 주차되어 있는 것을 반영할 수 있다.
선택적으로, 병합된 뷰는 지형 정보(topographical information)를 포함할 수 있다. 예를 들어, 차량은 오프로드를 지나가다가 주차될 수 있다. 이 예에서, 자율 시각화는 차량 주위의 지형(terrain)의 그래픽 표현을 포함할 수 있다. 예를 들어, 지형에 관한 센서 정보(예를 들어, 영상들)가 획득될 수 있다. 지형 정보를 알려주기 위해 맵 정보가 사용될 수 있다. 예를 들어, 차량의 위치에 대한 지형 맵을 액세스할 수 있다. 따라서, 사용자 인터페이스(500)는 지형 맵에 기초한 지형의 표현을 포함할 수 있다. 선택적으로, 센서 정보와 지형 정보가 결합될 수 있다. 예로서, 차량의 위치와 연관된 모양(shape)을 결정하기 위해 지형 맵이 사용될 수 있다. 그 다음, 센서 정보가 이 모양 또는 다른 세밀한 정보를 알려줄 수 있다. 예를 들어, 센서 정보는, 지형의 일부가 지형 맵에 표시된 것보다 더 급격하게 경사져 있음을 나타낼 수 있다. 이는 차량에서 오프로드를 주행하는(off-roading) 사용자에게 도움이 될 수 있다. 따라서, 표현(504)은 주위 영역의 지형 정보에 기초할 수 있다.
전술한 바와 같이, 표현(504)은 차량 주위에 배치된 카메라들 또는 센서들을 이용하여 결정된 정보를 포함할 수 있다. 예를 들어, 보행자들, 다른 자동차들, 원뿔꼴 표지들(cones), 동물들, 신호등들, 정지 신호들 등이 차량에 포함된 시스템에 의해 결정될 수 있다. 이들은 사용자 인터페이스(500)에서 렌더링될 수 있다. 유사하게, 표현(504)은 차량 주위의 오프로드 영역의 바위들, 침하들(dips), 경사면들(inclines) 등을 포함할 수 있다. 몇몇 실시예들에서, 드론이 차량에 보관될 수 있다. 드론은 차량으로부터 비행하여 주위 지형에 대한 매핑 동작(mapping operation)을 수행할 수 있다. 예를 들어, 사진측량(photogrammetry) 기법들이 사용될 수 있다. 이 정보는 차량에 제공될 수 있고 표현(504)을 렌더링하기 위해 사용될 수 있다. 몇몇 실시예들에서, 차량은 슬램(SLAM: simultaneous localization and mapping) 기법들을 적어도 부분적으로 사용하여 표현(504)을 렌더링할 수 있다.
차량의 묘사(502)는 선택가능한 옵션들(506A-506E)을 포함한다. 각각의 선택가능한 옵션은 차량을 동작시키기 위해 사용될 수 있다. 예를 들어, 옵션(506A)은 프론트 트럭(front truck)이 열리도록 할 수 있다. 옵션(506E)은 터노우 커버가 열리도록 할 수 있다. 유사하게, 아이콘들(508A-508H)은 서로 다른 차량 기능성과 연관된 메뉴 또는 사용자 인터페이스를 보여주기 위해 사용될 수 있다. 예를 들어, 아이콘(508H)은 음악을 스트리밍하는 것과 연관된 메뉴 또는 사용자 인터페이스가 프레젠테이션되도록 할 수 있다. 전술한 바와 같이, 이 아이콘(508H)이 선택되면, 사용자 인터페이스(500)는 차량의 묘사(502) 및 연관된 환경(504)과 연관된 크기를 줄이기 위해 갱신될 수 있다. 이러한 방식으로, 사용자 인터페이스의 사용자는 뮤직 스트리밍 앱(music streaming application)과 상호 작용할 수 있다.
도 5b는 충전되고 있는 주차된 차량의 사용자 인터페이스(510)를 예시한다. 예시된 바와 같이, 차량의 묘사(502)는 차량의 충전을 반영한다. 예를 들어, 충전 정보(510)가 사용자 인터페이스에 포함된다. 따라서, 상황 정보는, 몇몇 실시예들에서 충전되고 있는 차량을 반영할 수 있다.
도 6a는 주행 뷰의 예시적인 사용자 인터페이스(600)를 예시한다. 이 예에서, 자율 시각화가 사용자 인터페이스(600)에 포함되어 있다. 이 시각화는, 차량이 주행되는 예시적인 환경(604)의 표현과 함께 차량의 그래픽 묘사(602)를 포함할 수 있다. 전술한 바와 같이, 이 예시적인 환경(604)은 맵 정보(예를 들어, 위성 정보, 지형 맵들 등)에 기초하여 렌더링될 수 있다. 환경(604)은 차량에 배치된 카메라들 및/또는 센서들을 이용하여 렌더링될 수도 있다. 따라서, 사용자 인터페이스(600)의 사용자는 다가올 위험 요소들, 경사(incline) 변화들 등을 볼 수 있다.
도시된 예에서, 사용자 인터페이스(600)는 사용자가 따를 수 있는 라인들(605A-605B)을 포함한다. 오프로드 상황에서는, 사용자가 따라야 할 예시적인 라인들을 신속하게 보는 것이 유리할 수 있다. 이러한 방식으로, 위험 요소가 나타나면, 이 라인들은, 사용자가 이 위험 요소를 피해야 한다는 것을 나타낼 수 있다. 이 라인들은 차량에 있는 센서들 및/또는 카메라들을 이용하여 결정될 수 있다. 예를 들어, 라인들(605A-605B)은 현존하는 도로 마킹들(예를 들어, 타이어 마크들)에 기초하여 결정될 수 있다. 다른 예로서, 라인들(605A-605B)은 차량의 폭 및 지형 정보에 기초하여 결정될 수 있다. 이 예에서, 라인들(605A-605B)은, 차량이 지형의 융기된 부분(raised portion) 또는 암반 부분(wall portion)으로부터 임계적 거리 보다 더 멀리 떨어져 있게 하도록 배치될 수 있다. 이 예에서, 라인들(605A-605B)은 다가올 지형의 거의 평탄하거나 주행가능한 부분을 나타낼 수 있다.
사용자 인터페이스(600)는 퀵 컨트롤 사용자 인터페이스(606)를 더 포함한다. 이 퀵 컨트롤 사용자 인터페이스(606)는 연관된 아이콘(608)의 사용자 선택에 기초하여 보여질 수 있다. 퀵 컨트롤 사용자 인터페이스(606)가 보여지면, 사용자 인터페이스(606)는 여기에 기술된 병합된 뷰의 크기를 조절하기 위해 갱신될 수 있다. 예를 들어 그리고 예시된 바와 같이, 병합된 뷰는 사용자 인터페이스(606)의 우측 부분에 배치되고 그 크기가 축소된다(예를 들어, 폭이 축소된다). 예를 들어 사용자 인터페이스(606)에서 정보가 선택되면, 사용자는 퀵 컨트롤 사용자 인터페이스(606)가 사라지도록 할 수 있다. 그 다음 사용자 인터페이스(600)의 더 많은 부분을 포괄하도록 병합된 뷰의 크기가 동적으로 확대될 수 있다.
도 6a의 예는 오프로딩 환경(off-roading environment)을 예시하고 있지만, 환경(604)은 온로드 환경들(on-road environments)을 나타낼 수도 있다. 예를 들어, 이는 차량이 주행되고 있는 도시의 도로 또는 고속도로를 묘사할 수 있다.
도 6b는 아이콘(610)이 승객 뷰를 위해 조정된 예시적인 사용자 인터페이스(600)를 예시한다. 적어도 도 4에서 설명된 바와 같이, 아이콘(610)은, 승객 또는 운전자가 사용자 인터페이스(600)를 액세스하고 있는 지의 여부에 기초하여 그 위치가 갱신될 수 있다. 도시된 실시예에서, 퀵 컨트롤 사용자 인터페이스(606)가 아이콘들(610)과 함께 사용자 인터페이스(600)의 승객 측(예를 들어, 우측)으로 이동되었다. 유사하게, 자율 시각화(예를 들어, 차량(602) 및 환경(604))가 운전자 측으로 이동하였다.
도 6c는 오늘의 사용자 인터페이스(today user interface)(620)를 가진 예시적인 사용자 인터페이스(600)을 예시한다. 오늘의 사용자 인터페이스(620)는, 예시된 바와 같이 날씨 정보, 달력 정보 등을 보여줄 수 있다.
도 6d는 공기조화 사용자 인터페이스(air conditioning user interface)(630)를 가진 예시적인 사용자 인터페이스(600)를 예시한다.
도 7a는 오프로딩(off-roading)과 연관된 주행 뷰의 예시적인 사용자 인터페이스(700)를 예시한다. 이 사용자 인터페이스(700)에, 자율 시각화(예를 들어, 차량의 묘사(702A) 및 차량이 주행하는 환경(704))가 예시되어 있다. 추가로, 사용자 인터페이스(700)는, 환경(704)의 토폴로지(topology)를 알려주는 맵 정보를 포함할 수 있다. 여기에 기술되는 통합 사용자 인터페이스는, 몇몇 실시예들에서, 검출된 도로 상태들에 기초하여 오프로딩 정보(off-roading information)를 자동으로 보여줄 수 있다. 예를 들어, 차량에 포함된 시스템 또는 프로세서는, 오프로드 상태들(off-road conditions)이 언제 검출되는지를 결정할 수 있고 사용자 인터페이스(700)로 하여금 오프로딩 정보를 보여주도록 할 수 있다. 이 예에서, 오프로드 상태들은 검출된 주행 상태들(driving conditions)에 기초하여 검출될 수 있다. 따라서, 몇몇 실시예들에서, 상황 정보는 오프로드 상태들을 반영할 수 있다.
예를 들어, 주행 상태들은, 진동과 연관된 척도들, 차량과 연관된 각도 변화들, 타이어의 미끄러짐 등에 기초할 수 있다. 추가로, 센서 정보(예를 들어, 영상 센서들)가, 차량이 주행하고 있는 표면의 유형을 확인하기 위해 사용될 수 있다. 따라서, 표면의 유형이 바위질, 모래질 등인 경우, 오프로딩 상태들이 검출될 수 있다. 다른 예로서, 시스템은, 오프로딩 정보의 프레젠테이션을 알려주기 위해 차량의 위치를 사용할 수 있다. 예를 들어, 맵은, 차량이 알려진 도로들로부터 이탈해 있거나 오프로딩과 연관된 것으로 알려진 이면도로들(back-roads) 상에 있음을 나타낼 수 있다.
예시적인 오프로딩 정보는 차량과 연관된 롤의 정도(measure of roll)를 포함할 수 있다. 예를 들어, 묘사(702A)는, 자율 시각화와 관련하여 전술한 바와 같이, 환경(704) 주위로 네비게이션하는 것으로서 예시될 수 있다. 그러나, 오프로딩의 경우에는, 묘사(702A)는 롤의 정도(예를 들어, 8도)를 더 나타낼 수 있다. 이 롤은, 도 7a에 도시된 바와 같이, 그래픽하게 묘사될 수 있다. 더욱이, 피치(702B)의 정도(measure of pitch)가 포함될 수 있다. 도 7a의 예에서, 피치(702B)는 14도이다. 차량에 있는 센서들이, 이러한 측정된 각도들을 알려주기 위해 사용될 수 있다.
사용자 인터페이스(700)의 운전자 측에, 영상 센서들(706)로부터의 비디오 또는 영상들이 포함된다. 사용자 인터페이스(700)의 사용자는 영상들 또는 비디오의 프레젠테이션을 야기한 아이콘을 선택하였을 수 있다. 유리하게, 영상들 또는 비디오가 주행 뷰를 가리지 않고 보여질 수 있다. 도시된 바와 같이, 암벽등반(rock climbing) 및/또는 드라이브트레인(drivetrain)과 연관된 정보가 보여질 수 있다.
도 7b는 드라이브트레인 정보(708)를 보여주는 예시적인 사용자 인터페이스(700)를 예시한다. 예를 들어, 각각의 바퀴에 대한 타이어 압력, 토크, 서스펜션 등과 연관된 정보가 포함된다.
도 8a는 트럭 트레일러(truck trailer)에 대한 예시적인 사용자 인터페이스(800)를 예시한다. 여기에 기술되는 차량은 트럭일 수 있다. 유리하게, 통합 사용자 인터페이스는 트럭 트레일러를 견인하는 것과 관련된 정보를 보여줄 수 있다. 예를 들어, 사용자가 사용자 인터페이스(800)를 통해 견인 모드(tow mode)를 선택하는 것에 기초하여 이 정보를 보여줄 수 있다. 트럭에 있는 카메라들 또는 센서들이 트럭 트레일러가 인접해 있는 것을(예를 들어, 트럭 뒤에 있는 것을) 검출하는 것에 기초하여 이 정보를 보여줄 수도 있다. 트럭 트레일러가 차량에 무선 통신을 제공하는 것에 기초하여 이 정보를 보여줄 수도 있다. 따라서, 상황 정보는, 트럭이 트레일러를 견인하려고 하거나 아니면 그에 연결하려고 함을 나타낼 수 있다.
도시된 예에서, 자율 시각화가 포함되어 있다. 예를 들어, 차량의 그래픽 묘사(802)가 포함되어 있다. 트레일러를 부착시키는 것과 연관된 현재의 상황 때문에, 묘사(802)는 차량의 탑다운 뷰(top-down view)로서 보여진다. 트레일러(804)의 표현이 더 포함된다. 트레일러(804)의 이 표현은 카메라들 및/또는 센서들을 이용하여 생성될 수 있다. 예를 들어, 트레일러의 뷰에 기초하여 모델이 생성될 수 있다. 선택적으로, 사용자 인터페이스(800)는 트레일러의 미리 렌더링된 버전(pre-rendered version)을 제공할 수 있다. 예를 들어, 차량에 포함된 시스템(예를 들어, 시스템(100))은 트레일러의 모델(model of the trailer)을 저장해 두었을 수 있다. 따라서, 사용자 인터페이스(800)는 트레일러(804)의 위치를 반영할 수 있다.
사용자 인터페이스(800)는, 차량 및 트레일러를 위한 부착점들(attachment points)(806A-806B)을 더 포함한다. 몇몇 실시예들에서, 사용자 인터페이스(800)의 사용자는 이러한 부착점들(806A-806B)을 후진시키고(back up) 일렬로 정렬시킬 수(line up) 있다. 몇몇 실시예들에서, 차량은 자율 주행 중일 수 있고 자동으로 후진할 수 있다. 도시된 바와 같이, 트레일러가 자동으로 검출될 수 있고(예를 들어, 'TRAILER DETECTED') 차량과 트레일러 간의 거리를 나타낼 수도 있다(예를 들어, '4 FT AWAY'). 거리는 레이더, 초음파 및/또는 영상 센서를 통해 결정될 수 있다. 몇몇 실시예들에서, 사용자 인터페이스의 사용자는, 부착(attachment)을 개시하거나 아니면 부착을 야기하기 위해 'ATTACH' 선택가능한 객체를 선택할 수 있다.
카메라들(808)로부터의 영상들 또는 비디오들이 사용자 인터페이스(800)에 포함될 수도 있다. 이들은, 사용자 인터페이스(800)에 포함된 아이콘의 사용자 입력에 기초하여 보여질 수 있다. 이들은, 차량이 트레일러를 견인하거나 견인하려고 하는 동안 보여질 수도 있다.
도 8b는 트레일러를 견인하기 위한 주행 뷰를 포함하는 예시적인 사용자 인터페이스(800)를 예시한다. 여기서 기술된 바와 같이, 상황 정보는, 트레일러가 차량에 부착되어 있고 차량이 주행중임을 나타낼 수 있다. 도시된 예에서, 자율 시각화가 포함되어 있다. 이 시각화는 트레일러(804)와 함께 차량의 그래픽 묘사(802)를 포함한다. 이 묘사는 실시간으로 조정될 수 있다. 예를 들어, 차량에 있는 카메라들 및/또는 센서들이 트레일러를 감시할(monitor) 수 있다. 따라서, 롤링(rolling), 충돌(jostling), 미끄러짐(sliding) 등이 사용자 인터페이스(800)에 보여질 수 있다. 몇몇 실시예들에서, 트레일러는, 그 상태를 감시하기 위해 사용가능한 센서들 및/또는 카메라들을 포함할 수 있다. 이를 수신하고 사용하여 트레일러(804) 및/또는 환경의 렌더링을 알려줄 수 있다. 예를 들어, 트레일러의 후방에 있는 영상 센서를 사용하여 트레일러 뒤에 있는 차량들 및/또는 객체들을 식별할 수 있다.
이 예에서, 고속도로의 환경(810)이 렌더링된다. 예를 들어, 다른 차량들과 함께 고속도로의 차선들이 포함된다. 몇몇 실시예들에서, 트레일러의 크기가 알려져 있을 수 있어, 운전자가 사용자 인터페이스(800)에 의존하여 다른 차량들 및/또는 객체들과의 근접도(proximity)를 볼 수 있다.
영상 센서(814)로부터의 카메라 정보가, 보기의 편리함(ease of viewing)을 위해 사용자 인터페이스(800)에 추가로 포함될 수 있다. 여기에 기술된 바와 같이, 이 카메라 정보는 차량의 주행 뷰(802) 및 환경(810)으로부터 오프셋되어(offset) 있을 수 있다. 트레일러의 무게 등의 견인 정보(812)가 추가로 포함될 수 있다.
도 9는 캠퍼 모드(camper mode)를 위한 예시적인 사용자 인터페이스(900)를 예시한다. 몇몇 실시예들에서, 차량을 캠퍼 모드에 둘 수 있다. 따라서, 상황 정보는 캠퍼 모드를 반영할 수 있다. 여기서 설명되는 통합 사용자 인터페이스는, 차량의 그래픽 묘사(902)를 캠퍼(camper)의 그래픽 묘사(904)와 함께 반영하기 위해 갱신될 수 있다. 추가적으로, 차량에 부착된 부착물들(attachments)이 그래픽하게 도시될 수 있다. 몇몇 실시예들에서, 이러한 부착물들은 차량에 포함된 시스템에 의해 자동으로 검출될 수 있다. 예를 들어, 이들은 차량에 있는 카메라들을 이용하여 검출될 수 있다. 부착물들이 그들의 기능이나 용도를 식별하는 무선 정보를 제공할 수도 있다.
도 9의 예에서, 예시적인 부착물은 스토브탑(stove top)(906)이다. 사용자 인터페이스(900)를 통해서, 사용자는 스토브탑(906)의 특징들을 조절할 수 있다. 예를 들어, 사용자는 음식 품목(food item)이 조리되기 시작하였음을 나타낼 수 있다. 다른 예로서, 사용자는 열(heat)과 연관된 온도 또는 정도(예를 들어, 고열, 중간 열 등)을 지정할 수 있다. 제어 정보는 유선 또는 무선 통신을 통해 스토브탑(906)으로 전달될 수 있다.
도 10a는 차량의 네비게이션을 위한 예시적인 사용자 인터페이스(1000)를 예시한다. 이 예에서, 상황 정보는, 차량이 위치(location)를 향해 네비게이션 중임을 나타낼 수 있다. 예시적인 사용자 인터페이스(1000)는 위치로의 네비게이션 방향들(navigation directions to a location)을 따라가기 위해 사용자에 의해 사용될 수 있다. 이 사용자 인터페이스(1000)는, 차량이 자율주행 또는 반자율주행 모드(예를 들어, 셀프 드라이빙 모드(self-driving mode))에 있을 때 보여질 수도 있다.
자율 시각화(예를 들어, 차량의 그래픽 묘사(1002) 및 고속도로의 환경(1004))이 사용자 인터페이스(1000)에 포함된다. 도시된 바와 같이, 환경(1004)은 카풀 차선(carpool lane), 이중 라인들(double lines), 다른 차량들 등을 나타낸다. 더욱이, 맵 정보가 사용자 인터페이스에 포함된다. 예로서, 맵 정보는 거리 이름들(예를 들어, 'Crenshaw Blvd'(1006)), 차선 라인들의 방향성(directionality) 등을 알려줄 수 있다. 자율 시각화 및 맵 정보의 병합된 뷰는 전술한 바의 주행 모드를 나타낼 수 있다.
차량이 해야 할 다음 회전(next turn)을 나타내는 정보(1006)가 사용자 인터페이스(1000)에 포함된다. 적어도 도 1a 및 도 1b에서 설명한 바와 같이, 네비게이션하는 동안, 통합 사용자 인터페이스는, 선택적으로 네비게이션 이벤트들을 나타내는 병합된 뷰를 보여줄 수 있다. 따라서, 병합된 뷰는 차량이 해야 할 다음 회전을 나타낼 수 있다. 복잡한 회전들의 경우에는, 도 2b에 기술된 바의 탑다운 뷰의 더 많은 것을 도시하기 위해, 환경(1004)이 선택적으로 줌아웃될 수 있다.
네비게이션 기법들은 센서들 및/또는 카메라들에 의존할 수 있기 때문에, 차량에 포함된 시스템은 차량의 위치에 대한 정확한 지식을 가지고 있을 수 있다. 예를 들어, 시스템은 차량이 주행하고 있는 정확한 차선을 식별할 수 있다. 따라서, 사용자 인터페이스(1000)는, 차량이 옆 차선(1008)으로 건너 이동해야 함을 나타낼 수 있다. 도시된 바와 같이, 사용자 인터페이스(1000)는 옆 차선(1008)으로 이동하는 차량을 도시한다(예를 들어, 애니메이션한다). 유사하게, 사용자 인터페이스(1000)는 다른 차량들의 존재를 나타낼 수 있다. 따라서, 옆 차선(1008)에 차량이 있는 경우, 사용자 인터페이스(1000)는, 차량이 안전하게 움직일 수 있을 때까지 기다려야 함을 나타낼 수 있다. 자율주행 모드(self-driving mode)의 경우에는, 차량이 차선들을 변경하고 있거나 차선들을 변경하려 함을 사용자에게 알려주기 위해 강조된 옆 차선(highlighted next lane)(1008)이 사용될 수 있다.
전술한 바와 같이, 사용자는, 차량 기능성과 연관된 메뉴 또는 사용자 인터페이스를 보여주기 위해 아이콘들(1010)과 상호 작용할 수 있다. 아이콘이 선택되면, 차량(1002) 및 환경(1004)의 병합된 뷰는 그 크기가 축소될 수 있다.
추가적으로, 주행 모드에 있을 때, 사용자는 병합된 뷰가 줌아웃되도록 할 수 있다. 예를 들어, 사용자는 병합된 뷰가 줌아웃되도록 하기 위해 핀치-투-줌 기법들(pinch-to-zoom techniques)을 사용할 수 있다. 따라서, 줌아웃된 병합된 뷰는 더 큰 맵 영역을 반영할 수 있다. 예를 들어, 추가적인 거리들, 고속도로들 등이 사용자 인터페이스에 반영될 수 있다. 추가적으로, 줌아웃된 병합된 뷰는 차량의 그래픽 묘사(1002)의 크기를 줄일 수 있다. 차량에 인접한 차량들 및/또는 객체들이 줌아웃된 병합된 뷰에 포함될 수 있다. 예를 들어, 사용자가 약간 줌아웃을 하면, 도 10a의 병합된 뷰에서 보일 만큼 충분히 가깝지 않은 다른 차량이 렌더링될 수 있다. 더욱이, 줌아웃된 뷰는 위치로 가는 경로의 더 큰 부분을 강조할 수 있다.
도 10b는 차량의 네비게이션을 위한 다른 예시적인 사용자 인터페이스(1000)를 예시한다. 도시된 예에서, 차량이 도 10a에 도시된 옆 차선(1008)으로 이동하였다. 그 다음, 사용자 인터페이스(1000)가, 차량이 이 차선으로부터 빠져나와야 함을 반영하기 위해 갱신되었다.
도 10c는 차량의 네비게이션을 위한 다른 예시적인 사용자 인터페이스(1000)를 예시한다. 도시된 예에서, 차량이 다음 회전(예를 들어, 출구)에 접근하고 있다. 몇몇 실시예들에서, 이동을 나타내는 아이콘이 보여질 수 있다. 다른 예로서, 차선(1012)이 강조되고, 차량이 따라야 할 곡선 경로(curving path)를 나타낸다. 사용자 인터페이스(1000)는, 운전자가 네비게이션을 신속하게 따를 수 있도록 경로(path)의 더 많은 것(예를 들어, 오른쪽 상부의 곡선 부분(1014))을 보여주기 위해 유리하게 줌아웃될 수 있다. 몇몇 실시예들에서, 출구를 빠져나오면, 사용자 인터페이스(1000)는, 탑다운 뷰의 더 많은 것을 도시하기 위해 부분적으로 줌아웃될 수 있다. 선택적으로, 사용자 인터페이스(1000)는 다가올 일련의 회전들의 복잡도에 따라 줌아웃될 수 있다. 줌아웃을 위한 기법들은, 도2b와 관련하여 전술한 바 있다.
도 11a 내지 도 11c는 네비게이션 정보를 선택하기 위한 사용자 인터페이스들(1100)을 예시한다. 도 11a에 도시된 바와 같이, 사용자는 네비게이션 사용자 인터페이스(1102)를 통해 위치를 탐색할 수 있다. 따라서, 상황 정보는, 사용자가 네비게이션을 할 작정임을 반영할 수 있다. 자율 시각화(1104) 및 맵 정보의 병합된 뷰가 사용자 인터페이스(1100)에 추가로 포함된다.
도 11b는 네비게이션 사용자 인터페이스(1102)를 통한 위치의 선택을 예시한다. 위치에 대한 요약 정보(summary information)(1106)가 사용자 인터페이스(1100)에 보여질 수 있다. 추가적으로, 병합된 뷰(1104)는, 위치의 그래픽 묘사(1108)를 보여주기 위해 줌아웃될 수 있다. 이러한 방식으로, 사용자는 선택된 아이콘과 함께 그의/그녀의 차량의 위치를 볼 수 있다.
도 11c는 위치로 가는 경로(1110)를 예시한다. 몇몇 실시예들에서, 방향들의 개관(overview of directions)(1112)이 사용자 인터페이스(1100)에 포함될 수 있다. 선택적으로, 이 개관은, 차량이 주차 모드에 있는 동안 또는 위치를 선택한 후로부터 임계적 시간 동안 포함될 수 있다. 이어서, 여기에 기술된 주행 뷰를 묘사하기 위해 병합된 뷰(1104)가 줌인될 수 있다. 예를 들어, 줌인 동작의 원활한 애니메이션(seamless animation of zooming in)이 사용자 인터페이스에 포함될 수 있다. 이 예에서, 애니메이션은, 렌더 또는 가상 카메라가 상부 투시(top perspective)로부터 후방근접 뷰(closer rear view)(예를 들어, 도 10a에 도시된 것)로 위치를 조정하는 것을 반영할 수 있다.
안면 인식(facial recognition) 및 승객 트래킹(passenger tracking)
전술한 바와 같이, 몇몇 실시예들에서, 차량에 포함된 시스템은, 어느 차량 승객(예를 들어, 운전자, 옆 승객)이 디스플레이로 사용자 입력을 제공하려고 하는지를 식별할 수 있다. 예를 들어, 시스템은 상황 사용자 인터페이스 시스템(100)일 수 있다. 이러한 식별에 기초하여, 디스플레이에 보여진 통합 사용자 인터페이스가 갱신될 수 있다. 예를 들어, 아이콘들이 디스플레이의 좌측과 우측 간에서 스위칭될 수 있다. 이하에서 후술하는 바와 같이, 시스템은 승객 트래킹(passenger tracking)에 기초하여 차량의 동작의 다른 특징들을 조정할 수 있다. 예로서, 시스템은 차량 승객들을 학습하기 위해 안면 인식 기법들(facial recognition techniques)을 사용할 수 있다. 따라서, 승객들을 위한 선호되는 설정들(preferred settings) 및/또는 프로필 정보(profile information)가 시스템에 의해 학습될 수 있다. 다른 예로서, 시스템은, 승객들의 검출된 위치들에 기초하여 미러들(mirrors), 공기조화(air conditioning), 조향 휠(steering wheel) 등을 조정할 수 있다.
도 12는 승객 선호 정보(passenger preference information)를 승객들과 연관시키기 위한 예시적인 프로세스(1200)의 흐름도이다. 편의상, 프로세스(1200)는 하나 이상의 컴퓨터의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(1202)에서, 시스템은 차량에 있는 승객을 식별한다. 시스템은, 승객이 차량으로 들어갔음을 식별하기 위해 카메라들 및/또는 센서들을 사용할 수 있다. 예를 들어, 센서들은 적외선 방출기들 또는 프로젝터들을 나타낼 수 있다. 이 예에서, 빔들이 차단되면, 시스템은, 승객이 앉아있다고 식별할 수 있다. 다른 예로서, 영상들에 기초하여 사람을 식별하기 위해 기계 학습 기법들이 사용될 수 있다. 예를 들어, 합성곱 신경망들(convolutional neural networks)이 최대한 활용될 수 있다. 다른 예로서, 시스템은, 차량이 열리면 및/또는 좌석 무게 센서들(seat weight sensors)이 승객이 좌석에 있음을 나타내면 승객을 식별할 수 있다.
블록(1204)에서, 시스템은 승객의 얼굴을 인식하기 위해 사용가능한 정보를 저장한다. 시스템은 심층 학습 기법들을 사용할 수 있다. 예를 들어, 시스템은, 차량 내에 또는 차량 외부에 배치된 하나 이상의 카메라들을 이용하여 승객의 얼굴의 영상들을 획득할 수 있다(예를 들어, 승객이 차량으로 들어갈 때 영상들이 촬영될 수 있다). 그 다음, 시스템은, 모델에 의해 이전에 학습된 예시적인 얼굴 공간(face space)에서 승객의 얼굴을 인코딩하기 위해 심층 학습 모델을 사용할 수 있다. 따라서, 단지 제한된 수의 얼굴 영상들이 승객을 유일하게 식별하기 위해 사용될 수 있다.
블록(1206)에서, 시스템은 승객의 선호도들의 표시들을 수신한다. 승객은 미러들, 좌석 위치들, 공기조화, 음악 선호들(music preferences) 등을 조정할 수 있다. 이러한 선호들 또는 그 일부가 시스템에 의해 저장될 수 있다.
블록(1208)에서, 시스템은 승객 선호들(passenger preferences)을 승객과 연관시킨다. 시스템은 이 선호들(preferences)을 저장하여, 승객이 차후에 차량으로 들어갈 때 그 선호들이 사용될 수 있도록 한다.
안면 인식 기법들이 사용되는 모든 상황에 있어서, 이러한 것들은 옵트인(opt-in)일 수 있음을 이해하여야 한다. 추가적으로, 저장된 정보는 차량들에 자체적으로 저장될 수 있고 암호화될 수 있다.
도 13a는 승객 트래킹에 기초하여 공기조화를 조정하기 위한 예시적인 프로세스(1300)의 흐름도이다. 편의상, 프로세스(1300)는 하나 이상의 컴퓨터의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(1302)에서, 시스템은, 도 12에서 기술한 바와 같이 차량의 승객을 식별한다. 블록(1304)에서, 난방, 환기 및 공기조화 (HVAC: heating, ventilation, and air conditioning) 시스템을 통해 공기를 출력한다. 예를 들어, 시스템은 차량에 있는 HVAC 시스템으로부터의 기류(stream of air)를 통해 공기조화(air conditioning)를 출력할 수 있다. HVAC 시스템은, 기류와 연관된 높이(예를 들어, 수직 축)을 변경하기 위해 사용될 수 있는 다른 기류(stream)를 추가로 포함할 수 있다. 추가적으로, HVAC 시스템은 수평 축을 따라 기류를 조정할 수 있다. 공기의 수평 및 수직 출력을 조정할 수 있는 HVAC 시스템과 관련한 추가적인 설명은 미국특허출원 제15,060,590호에 포함되며, 그 내용은 전적으로 여기에 참조로 병합된다.
블록(1306)에서, 시스템은 승객의 영상들 또는 비디오에 기초하여 승객의 신체의 일부분의 위치를 결정한다. 예를 들어, 이 일부분은 승객의 얼굴을 나타낼 수 있다. 몇몇 실시예들에서, 시스템은 승객을 위해 안면 인식 정보를 저장해 두고 있을 수 있다. 몇몇 실시예들에서, 시스템은 안면 인식 기법들 없이 얼굴을 결정할 수 있다. 예를 들어, 시스템은, 승객의 영상들로부터 얼굴을 분할하기(segment) 위해 사용가능한, 심층 학습 모델 또는 다른 기계 학습 모델을 사용할 수 있다.
블록(1308)에서, 시스템은 위치를 트래킹하는 것에 기초하여 공기의 출력을 조정한다. 승객이, 예를 들어 털썩 주저앉기(slumping down), 일어나기(sitting up), 그의/그녀의 머리를 회전하기 등과 같이 그의/그녀의 좌석에서 이리저리 움직이면, 시스템은 공기가 그 위치에 집중되도록 조정할 수 있다. 이러한 방식으로, 공기가 승객의 얼굴로 연속적으로 제공된다. 몇몇 실시예들에서, 시스템은, 실내의 내부 온도가 임계값 보다 큰 경우, 공기가 승객의 얼굴로 향하도록 할 수 있다. 몇몇 실시예들에서, 시스템은, 외부 온도가 높고 승객이 사전의 임계적 시간 내에 차량으로 들어갔다면 공기를 지향시킬 수 있다. 이러한 방식으로, 시스템은 승객이 시원해지도록 할 수 있다. 몇몇 실시예들에서, 승객의 온도를 감시하기 위해 열상 센서들(thermal sensors) 또는 카메라들이 사용될 수 있다. 달리기를 하는 것 또는 외부에서 더운 공기에 노출되어 있는 것과 같은 이유로 인해 승객의 얼굴이 뜨겁다면, 시스템은, 공기가 승객의 얼굴에 제공되도록 보장해 줄 수 있다.
선택적으로, 시스템은 승객의 얼굴을 피하도록 공기를 출력할 수 있다. 예를 들어, 공기가 승객의 얼굴을 타격한 지 임계적 시간이 지난 후에, 시스템은, 공기가 승객의 신체로 향하도록 할 수 있다. 다른 예로서, 시스템은, 내부 온도가 임계값 미만이 되는 때를 식별할 수 있고, 이 경우 공기가 신체로 향하도록 할 수 있다.
선택적으로, 승객은, 그의/그녀의 얼굴, 신체를 트래킹하거나 아무런 트래킹도 수행하지 않기 위해 그가/그녀가 공기를 선호하는지를 나타낼 수 있다.
도 13b 내지 도 13d는 승객을 공기조화 트래킹하는(air conditioning tracking) 예시적인 사용자 인터페이스들을 예시한다. 이 사용자 인터페이스들에 도시된 바와 같이, 기류(air stream)(1310)가 조정되고 있다. 여기에 기술되는 통합 사용자 인터페이스와 같은 사용자 인터페이스는 이러한 공기의 실시간 조정을 보여줄 수 있다. 예를 들어, 이 조정은 차량의 묘사 및 맵 정보의 병합된 뷰에 인접하게 배치된 공기조화 조절 사용자 인터페이스(air conditioning control user interface)에 보여질 수 있다.
도 14는 승객 트래킹에 기초하여 미러들을 조정하기 위한 예시적인 프로세스(1400)의 흐름도이다. 편의상, 프로세스(1400)는 하나 이상의 컴퓨터의 시스템(예를 들어, 상황 사용자 인터페이스 시스템(100))에 의해 수행되는 것으로서 설명될 것이다.
블록(1402)에서, 시스템은 차량에 있는 승객을 식별한다. 블록(1404)에서, 시스템은 승객의 영상들 또는 비디오에 기초하여 승객의 얼굴의 일부분의 위치를 결정한다. 예를 들어, 시스템은 승객의 눈의 위치를 결정한다. 몇몇 실시예들에서, 시스템은, 눈의 높이, 눈의 수평 위치(예를 들어, X, Y, Z 좌표들), 눈감음(closeness of the eyes) 등을 결정할 수 있다. 몇몇 실시예들에서, 시스템은, 눈들이 향하는 위치들을 알려주기 위해 각각의 눈으로부터 연장되는 벡터들을 결정할 수 있다.
블록(1408)에서, 시스템은 이 일부분을 트래킹하는 것에 기초하여 미러들을 조정한다. 시스템은 승객의 눈의 위치 정보에 기초하여 사이드 미러들, 후방 뷰 미러들 등을 조정할 수 있다. 예를 들어, 시스템은, 사이드 미러를 조정함으로써 승객의 눈이 사이드 미러를 사용하여 실질적으로 최적의 뷰를 가지는 것을 보장할 수 있다. 유사하게, 시스템은, 승객들이 그의/그녀의 머리를 이리저리 움직임에 따라 후방 뷰 미러를 조정함으로써, 일관된 후방 뷰 영상이 승객에게 제공되는 것을 보장해 줄 수 있다.
몇몇 실시예들에서, 승객이 미러들을 더 잘 볼 수 있기 위해 그의/그녀의 위치를 조정할 것을 권하는 사용자 인터페이스가 보여질 수 있다. 예를 들어, 승객의 좌석이 미러를 보기에 불리한 위치에 있을 수 있다. 다른 예로서, 승객은 키가 너무 작거나 커서 특정 좌석 위치에서는 미러를 잘 보지 못할 수 있다. 몇몇 실시예들에서, 시스템은 좌석을 자동으로 조정할 수 있다(예를 들어, 좌석을 올리거나 내리거나 하는 등).
공기조화 및 미러들을 조정하는 것에 부가하여, 시스템은 조향 휠을 조정할 수도 있다. 예를 들어, 시스템은 승객의 높이(height)에 기초하여 조향 휠을 조정할 수 있다. 높이는 승객의 얼굴 또는 승객의 신체의 다른 부분(예를 들어, 팔, 몸통 등)의 높이에 기초하여 통보될 수 있다. 따라서, 승객의 영상들 및/또는 비디오를 사용하여, 시스템은 조향 휠을 자동으로 조정할 수 있다.
몇몇 실시예들에서, 시스템은, 동물들이 있는지를 결정하기 위해 차량의 내부의 영상들 또는 비디오를 사용할 수 있다. 예를 들어, 시스템은, 사람이 차량을 떠났을 때 강아지 또는 다른 동물이 차에 있음을 식별하면, 자동으로 강아지 모드(dog mode)를 트리거할 수 있다. 몇몇 실시예들에서, 시스템은, 자율주행 기술(self-driving technology)을 사용할 때에 운전자가 도로를 감시하고 있다는 것을 확실하게 하기 위해 얼굴 트래킹(facial tracking) 또는 시선 트래킹(eye tracking)을 사용할 수 있다.
다른 실시예들
다른 실시예들은 방법들, 시스템들 및 비일시적 컴퓨터 저장 매체를 포함할 수 있다. 예시적인 방법은 하나 이상의 프로세서의 시스템에 의해 구현되고, 시스템은 차량에 포함되고, 이 방법은, 차량의 디스플레이를 통해, 자율 시각화 및 맵 정보를 취합하는 병합된 뷰를 포함하는 통합 사용자 인터페이스가 프레젠테이션되도록 하는 단계 - 여기서 자율 시각화 및 맵 정보는 줌 레벨과 연관되어 있고, 통합 사용자 인터페이스는 차량의 동작을 나타내는 제1 상황 정보에 기초하여 생성됨 -, 차량의 다음의 동작(subsequent operation)을 나타내는 제2 상황 정보에 액세스하는 단계, 및 제2 상황 정보에 기초하여 통합 사용자 인터페이스를 갱신하는 단계 - 여기서 병합된 뷰는 조정되고, 병합된 뷰를 조정하는 것은 통합 사용자 인터페이스에서 병합된 뷰의 크기를 조정하거나 줌 레벨을 조정하는 것을 포함함 - 를 포함한다.
위 실시예들은 다음 중 하나 이상을 포함할 수 있다. 자율 시각화는 차량의 그래픽 묘사를 포함한다. 자율 시각화는 차량의 그래픽 묘사 및 차량이 위치하는 실세계 환경의 그래픽 표현을 포함한다. 실세계 환경의 그래픽 표현은 차량에 인접한 다른 차량들의 하나 이상의 그래픽 묘사를 포함한다. 실세계 환경의 그래픽 표현은 다른 차량들의 그래픽 묘사들 및 차량에 인접한 하나 이상의 객체들의 그래픽 표현들을 포함한다. 객체는 도로 마킹, 정지 신호, 신호등, 보행자, 쓰레기통 또는 도로 표지판을 포함한다. 병합된 뷰는, 차량이 위치하는 도로의 하나 이상의 차선의 그래픽 표현, 하나 이상의 차선들 중 특정 차선에 위치하는 차량의 그래픽 묘사 및 도로와 연관된 맵의 그래픽 표현을 포함하는 맵 정보를 포함한다. 여기서, 차량의 그래픽 묘사는 맵 상에 있는 것으로 묘사된다. 병합된 뷰는, 렌더 또는 가상 카메라가 차량의 뒷부분 위로 임계 거리만큼 떨어져 위치하는 실세계 환경의 렌더링된 뷰를 나타낸다. 병합된 뷰는 주행 뷰를 나타내고, 여기서 차량의 그래픽 묘사가 특정 차선에서 주행중인 것으로 애니메이션된다. 맵은 도로의 이름을 나타낸다. 맵은 도로에 인접한 다른 도로의 다른 이름을 나타낸다. 실시예들은, 병합된 뷰와 연관된 줌 레벨을 갱신하는 것과 연관된 사용자 입력을 수신하는 단계, 갱신된 줌 레벨에 기초하여 맵 정보의 일부를 식별하는 단계 및 병합된 뷰를 갱신하는 단계를 더 포함한다. 여기서, 병합된 뷰는 맵 정보의 일부의 그래픽 표현을 포함한다. 병합된 뷰를 갱신하는 단계는 자율 시각화의 크기를 조정하는 단계를 포함한다. 자율 시각화는 차량의 그래픽 묘사를 포함하고, 여기서 그래픽 묘사는 갱신된 줌 레벨에 기초하여 그 크기가 축소된다. 제1 상황 정보는, 차량이 주차되어 있음을 나타내고, 제2 상황 정보는 통합 사용자 인터페이스를 통한 차량 기능성의 제어와 연관된다. 차량 기능성의 제어는 난방, 환기 및 공기조화 시스템의 제어 또는 뮤직 앱(music application)의 제어 또는 네비게이션 사용자 인터페이스의 제어를 포함한다. 통합 사용자 인터페이스는 제각기의 차량 기능성들과 연관된 복수의 아이콘을 포함하고, 여기서 통합 사용자 인터페이스를 갱신하는 단계는, 선택된 아이콘과 연관된 메뉴를 포함시키도록 통합 사용자 인터페이스를 갱신하는 단계 - 여기서 메뉴는 통합 사용자 인터페이스의 제1 부분에 포함됨 -, 및 병합된 뷰의 크기를 조정하는 단계 - 여기서 병합된 뷰는 메뉴에 의해 가려지지 않는 제2 부분에 포함됨 - 를 포함한다. 제1 상황 정보는, 차량이 경로를 따라 네비게이팅하고 있음을 나타내고, 병합된 뷰는 네비게이션 정보를 더 취합하고, 제2 상황 정보는, 차량이 경로를 따라 이동하였음을 나타낸다. 경로는 네비게이션 정보에 나타낸 복수의 주행 이벤트와 연관되어 있고, 여기서 통합 사용자 인터페이스를 갱신하는 단계는, 차량의 위치로부터 임계 거리(threshold distance) 내에 있거나 이 위치로부터 임계 주행 시간(threshold driving time) 내에 있는, 주행 이벤트들의 서브세트(subset)를 식별하는 단계, 및 식별된 서브세트에 기초하여, 줌 레벨이 조정되어야 하는 것으로 판단하는 단계를 포함한다. 줌 레벨이 조정되어야 하는 것으로 판단하는 단계는, 주행 이벤트들의 서브세트와 연관된 하나 이상의 복잡성 척도들(complexity measures)에 기초한다. 줌 레벨이 조정되어야 하는 것으로 판단하는 단계는, 임계값을 초과하는 식별된 서브세트의 개수에 기초한다. 자율 시각화의 크기는 조정된 줌 레벨에 기초하여 조정되고, 맵 정보와 연관된 영역은 조정된 줌 레벨에 기초하여 확대된다. 경로는 네비게이션 정보에 나타낸 복수의 주행 이벤트와 연관되고, 병합된 뷰는 복수의 주행 이벤트 중 제1 주행 이벤트를 보여주고, 이 방법은 줌 레벨을 조정하는 단계를 더 포함하고, 병합된 뷰는 복수의 주행 이벤트 중 복수의 제2 주행 이벤트를 보여준다. 경로는 네비게이션 정보에 나타낸 복수의 주행 이벤트와 연관되고, 통합 사용자 인터페이스를 갱신하는 단계는, 차량의 위치로부터 임계 거리 내에 있거나 이 위치로부터 임계 주행 시간 내에 있는, 적어도 하나의 주행 이벤트를 식별하는 단계, 및 상기 적어도 하나의 주행 이벤트에 기초하여, 줌 레벨이 조정되어야 하는 것으로 판단하는 단계를 포함한다. 적어도 하나의 주행 이벤트는, 고속도로로부터 평면 도로로의 이동(transition)을 나타낸다. 통합 사용자 인터페이스는 줌 레벨의 조정 또는 특정 방향을 따른 맵 정보의 변환(translation of the map information along a particular direction)을 야기하는 사용자 입력에 감응한다. 동작들은, 특정 방향을 따른 맵 정보의 변환을 야기하는 사용자 입력을 수신하는 단계 - 여기서 사용자 입력은, 상기 특정 방향을 나타내기 위한 미는 모션(swiping motion)을 포함함 -, 맵 정보의 변환에 기초하여 맵 정보의 일부에 액세스하는 단계, 및 맵 정보의 일부를 보여주기 위해 병합된 뷰를 갱신하는 단계를 더 포함한다. 병합된 뷰를 갱신하는 단계는, 차량의 위치가 맵 정보의 일부에 포함되어 있지 않음을 식별하는 단계 및 맵 정보의 일부를 포함시키기 위해 병합된 뷰를 갱신하는 단계를 포함하고, 여기서 자율 시각화는 차량의 그래픽 묘사를 포함하고, 차량의 그래픽 묘사는 병합된 뷰에 포함되어 있지 않다. 병합된 뷰를 갱신하는 단계는, 차량의 위치가 맵 정보의 일부에 포함되어 있지 않음을 식별하는 단계, 맵 정보의 갱신된 부분이 식별되도록 줌 레벨을 조정하는 단계 - 여기서 맵 정보의 갱신된 부분은 상기 위치를 포함함 -, 및 조정된 줌 레벨에 기초하여 병합된 뷰를 갱신하는 단계 - 여기서 자율 시각화는 차량의 그래픽 묘사를 포함하고, 차량의 그래픽 묘사의 크기는 병합된 뷰에서 축소됨 - 를 포함한다.
예시적인 실시예들은, 하나 이상의 프로세서 및 차량에 포함된 디스플레이를 통한 프레젠테이션(presentation)을 위해 상기 하나 이상의 프로세서로 하여금 사용자 인터페이스를 렌더링하도록 하는 명령어들을 저장하는 비 일시적 저장 매체를 포함하는 시스템을 더 포함할 수 있다. 여기서, 사용자 인터페이스는, 자율 시각화 및 맵 정보를 통합하는 병합된 뷰를 보여주고 - 자율 시각화는 차량의 그래픽 묘사를 포함함 -, 복수의 아이콘 중 아이콘의 선택에 응답하고 - 이 아이콘들은 해당되는 차량 기능성들의 제어와 연관되어 있고, 상기 선택에 응답하여 사용자 인터페이스는 아이콘 사용자 인터페이스를 보여줌 -, 그리고 아이콘 사용자 인터페이스가 병합된 뷰를 가리지 않도록 병합된 뷰를 동적으로 조정한다.
위 실시예들은 다음 중 하나 이상을 포함할 수 있다. 디스플레이는 터치 감응식이고, 사용자 인터페이스는 터치 입력에 감응한다. 사용자 인터페이스는 하나 이상의 구두 명령에 감응한다. 명령들은, 하나 이상의 프로세서로 하여금 차량의 동작과 연관된 상황 정보에 액세스하도록 하고, 여기서 상황 정보는 차량이 주행 모드에 있음을 나타내고, 자율 시각화는 차량에 인접한 실세계 환경의 그래픽 표현을 포함한다. 실세계 환경의 그래픽 표현은 차량에 인접한 다른 차량들의 하나 이상의 그래픽 묘사들을 포함한다. 자율 시각화는 임계적인 빈도로(at a threshold frequency) 하나 이상의 프로세서에 의해 갱신된다. 자율 시각화를 갱신하기 위해, 명령어들은, 하나 이상의 프로세서로 하여금 차량 주위에 배치된 영상 센서들로부터 결정된 정보를 획득하고 - 여기서 상기 정보는 차량에 인접한 다른 차량들에 관한 위치 정보를 반영함 -, 다른 차량들과 연관된 해당 모델들에 액세스하고, 그리고 병합된 뷰에 포함시키기 위해 모델들을 렌더링하도록 한다. 차량 기능성의 제어는 난방, 환기 및 공기조화 시스템의 제어 또는 뮤직 앱(music application)의 제어 또는 네비게이션 사용자 인터페이스의 제어를 포함한다. 명령어들은, 하나 이상의 프로세서로 하여금 차량의 동작과 관련된 상황 정보에 액세스하도록 하고, 상황 정보는 차량이 네비게이션 모드에 있음을 나타내고, 병합된 뷰는 네비게이션 정보를 더 통합하고, 병합된 뷰를 위해 자율 시각화는 차량에 인접한 실세계 환경의 그래픽 표현을 포함하고, 병합된 뷰를 위해 네비게이션 정보는 차량의 위치로부터 임계의 거리 또는 주행 시간 내에 있는 해당 주행 이벤트들의 하나 이상의 그래픽 표현들을 포함하고, 병합된 뷰를 위해 맵 정보는 차량의 위치와 연관된 맵의 일부의 그래픽 표현을 포함한다. 특정 주행 이벤트는 고속도로를 빠져나가는 것을 포함하고, 특정 주행 이벤트의 그래픽 표현은, 차량이 건너 이동하여야 하는 차선들의 개수의 표시를 포함한다. 특정 주행 이벤트의 그래픽 표현은, 복수의 차선을 건너 이동하는 차량의 그래픽 묘사의 애니메이션을 포함한다. 병합된 뷰와 연관된 줌 레벨이 특정 주행 이벤트에 기초하여 확대된다. 차량의 그래픽 묘사의 크기는 줌 레벨에 기초하여 축소되고, 여기서 맵의 일부는 그 영역이 확대된다. 경로의 그래픽 표현이 병합된 뷰에 포함되고, 여기서 경로의 그래픽 표현은 맵의 일부와 연관된 하나 이상의 다가올 주행 이벤트들을 요약한다. 자율 시각화는 복수의 차선 중 특정 차선에 있는 차량의 그래픽 묘사를 포함한다. 병합된 뷰를 동적으로 조정하는 단계는, 사용자 인터페이스에서 병합된 뷰의 크기를 줄이는 단계 및 병합된 뷰가 사용자 인터페이스의 제1 부분에 있도록 조정하는 단계를 포함한다. 아이콘 사용자 인터페이스는 사용자 인터페이스의 제2 부분에 있고, 제2 부분은 제1 부분을 가리지 않는다. 사용자 인터페이스는, 아이콘 사용자 인터페이스에 관한 사용자 입력에 응답하고 - 여기서 사용자 입력은 선택된 아이콘과 연관된 차량 기능성이 조정되도록 함 -, 사용자 인터페이스를 실질적으로 포괄하도록 병합된 뷰를 동적으로 조정한다 - 여기서 아이콘 사용자 인터페이스는 사용자 인터페이스에 포함되지 않게 제거됨 -. 아이콘 사용자 인터페이스는 트레일러를 차량에 연결하는 것과 연관되어 있다. 아이콘 사용자 인터페이스는 트레일러와 차량 간의 거리 척도의 표시(indication of a measure of distance)를 보여주고, 사용자 아이콘 인터페이스는 차량 주위의 영상 센서들로부터 획득된 영상들 또는 비디오를 보여준다. 자율 시각화는 트레일러의 그래픽 묘사를 포함한다. 사용자 인터페이스는 아이콘을 선택하는 사용자에 인접한 디스플레이의 측에 아이콘들을 보여준다.
예시적인 실시예들은, 방법들, 시스템들 및 비일시적 컴퓨터 저장 매체를 포함할 수 있다. 예시적인 비일시적 컴퓨터 저장 매체는 하나 이상의 프로세서의 시스템에 의한 실행을 위한 명령어들을 저장하고, 시스템은 차량에 포함되고, 상기 명령어들은, 하나 이상의 프로세서로 하여금, 차량의 디스플레이를 통해, 자율 시각화, 맵 정보 및 네비게이션 정보를 취합하는 병합된 뷰를 포함하는 통합 사용자 인터페이스가 프레젠테이션되도록 하는 동작 - 여기서 병합된 뷰는 병합된 뷰에 반영된 실세계 환경의 영역을 나타내는 줌 레벨과 연관되어 있고, 차량은 목적지와 연관된 네비게이션 모드에 있음 -, 복수의 센서로부터의 센서 정보에 액세스하는 동작 - 여기서 센서 정보는 차량의 위치 및 차량 주위에 배치된 영상 센서들로부터의 영상들을 포함함 -, 및 센서 정보에 기초하여 줌 레벨이 조정되어야 하는 것으로 판단하는 동작 - 여기서 병합된 뷰는 조정된 줌 레벨과 연관되도록 갱신됨 - 을 수행하도록 한다.
위 실시예들은 다음 중 하나 이상을 포함할 수 있다. 병합된 뷰를 위해, 자율 시각화는, 차량의 그래픽 묘사 및 차량에 인접한 실세계 환경의 그래픽 표현을 포함하고, 위 그래픽 표현은 영상 센서들로부터의 영상들에 기초하여 생성되고, 맵 정보는 실세계 환경의 영역과 연관된 맵의 일부의 그래픽 표현을 포함하고, 네비게이션 정보는 실세계 환경의 영역과 연관된 주행 이벤트들의 하나 이상의 그래픽 표현들을 포함한다. 실세계 환경의 그래픽 표현은 차량이 주행하고 있는 도로와 연관된 하나 이상의 차선들을 묘사하고, 여기서 차량의 그래픽 묘사는 이 하나 이상의 차선들 중 특정 차선에 묘사된다. 이 특정 차선은 영상 센서들로부터의 영상들에 기초하여 식별된다. 센서 정보에 기초하여 줌 레벨이 조정되어야 하는 것으로 판단하는 동작은, 네비게이션 정보에 기초하여, 차량의 위치로부터 임계의 거리 또는 주행 시간 내에 있는 특정 개수의 주행 이벤트들을 식별하는 단계를 포함하고, 위 판단은 위 특정 개수의 주행 이벤트들에 기초한다. 줌 레벨이 조정되어야 하는 것으로 판단하는 동작은, 위 특정 개수의 주행 이벤트들과 연관된 하나 이상의 복잡성 척도들에 기초한다. 줌 레벨이 조정되어야 하는 것으로 판단하는 동작은, 위 특정 개수의 주행 이벤트들이 임계값을 초과하는 것에 기초한다. 센서 정보에 기초하여 줌 레벨이 조정되어야 하는 것으로 판단하는 동작은, 센서 정보 및 네비게이션 정보에 기초하여, 목적지로의 경로가 갱신되도록, 다가올 주행 이벤트를 건너뛰어야 함을 식별하는 단계 및 줌 레벨을 조정하는 단계를 포함하고, 여기서 병합된 뷰는 갱신된 경로의 그래픽 표현을 포함한다. 다가올 주행 이벤트를 건너뛰어야 함을 식별하는 단계는 영상 센서들로부터의 영상들에 기초하고, 여기서 영상들은 다가올 주행 이벤트와 연관된 위험 요소를 식별하기 위해 분석된다. 센서 정보에 기초하여 줌 레벨이 조정되어야 하는 것으로 판단하는 동작은, 센서 정보 및 네비게이션 정보에 기초하여, 다가올 주행 이벤트가 줌 레벨을 조정하는 것과 연관된 특정 유형(particular type)임을 식별하는 단계 및 줌 레벨을 조정하는 단계를 포함하고, 여기서 병합된 뷰는 조정된 줌 레벨과 연관된 하나 이상의 주행 이벤트의 그래픽 표현을 포함한다. 이 특정 유형은 고속도로를 빠져나와 평면 도로로 가는 것을 포함한다. 병합된 뷰는, 조정된 줌 레벨과 연관된 경로를 묘사하기 위해 갱신된다.
예시적인 실시예들은 방법들, 시스템들 및 비일시적 컴퓨터 저장 매체를 포함할 수 있다. 하나 이상의 프로세서의 시스템에 의해 구현되는 예시적인 방법 - 이 시스템은 차량 내에 배치된 하나 이상의 센서들과 통신함 - 은, 차량 내의 승객의 존재를 식별하는 단계, 센서들로부터의 센서 정보에 기초하여 트래킹할 승객의 일부(portion of the passenger)를 결정하는 단계, 및 승객의 일부의 트래킹에 기초하여 차량 기능성의 동작을 제어하는 단계를 포함하고, 여기서 차량 기능성은 공기조화 제어, 미러 제어 및/또는 조향 휠 위치설정(positioning)을 포함한다.
위 실시예들은 다음의 하나 이상을 포함할 수 있다. 승객의 존재를 식별하는 단계는 차량 내부로 대면하고 있는 영상 센서로부터 획득된 하나 이상의 영상들에 기초한다. 승객의 존재를 식별하는 단계는 차량의 좌석에 포함된 압력 센서에 기초한다. 승객의 존재를 식별하는 단계는 승객이 사용하는 사용자 장치의 검출에 기초하고, 여기서 시스템은 사용자 장치와 무선으로 통신한다. 승객의 존재를 식별하는 단계는 좌석으로 향하는 적외선 방출기들의 차단(interruption)에 기초한다. 동작들은, 승객을 인식하기 위해 사용가능한 정보를 저장하는 단계를 더 포함하고, 여기서 이 정보는 승객의 얼굴의 하나 이상의 영상들에 기초한다. 이 정보는, 학습된 벡터 공간(learned vector space)에 대한 인코딩된 벡터(encoded vector)를 포함하고, 인코딩된 벡터는 기계 학습 모델을 통해 생성된다. 동작들은, 승객과 연관된 프로파일(profile)을 생성하는 단계를 포함하고, 여기서 이 프로파일은 승객을 인식하기 위해 사용가능한 정보와 연관되어 있고, 또한 이 프로파일은 차량 기능성의 동작에 대한 승객의 선호들(preferences)을 나타낸다. 트래킹할 승객의 일부를 결정하는 단계는 차량 내부로 대면하고 있는 영상 센서로부터의 승객의 하나 이상의 영상들에 기초한다. 차량 기능성의 동작을 제어하는 단계는, 공기의 출력이 승객의 일부로의 방향을 유지하도록 난방, 환기 및 공기조화 (HVAC) 시스템을 조정하는 단계를 포함한다. 차량 기능성의 동작을 제어하는 단계는, 승객의 일부에 기초하여 하나 이상의 미러들을 조정하는 단계를 포함하고, 여기서 위 일부는 승객의 눈을 포함한다. 상기 방법은, 차량의 디스플레이를 통해 사용자 인터페이스가 출력되도록 하는 단계를 포함하고, 여기서 사용자 인터페이스는, 승객이 승객의 머리의 위치를 조정할 것을 나타내는 권고를 제시한다.
모든 목적들과 장점들이 여기에 기술된 특정 실시예에 따라 반드시 성취될 수 있는 것이 아니라는 점이 이해되어야 한다. 따라서, 본 기술 분야에 숙련된 자들은, 여기에 교시되거나 제안되었을 수 있는 다른 목적들과 장점들을 반드시 성취하지 않고도 여기에 교시된 하나의 장점 또는 일 군의 장점들을 성취하고 최적화하는 방식으로 작동되도록 특정 실시예들을 구성할 수 있다는 점을 인식할 것이다.
여기에 기술된 프로세스들의 모두는, 하나 이상의 범용 컴퓨터들 또는 프로세서들을 포함하는 컴퓨팅 시스템에 의해 실행되는 소프트웨어 코드 모듈들로 구현될 수 있고 또한 그를 통해 전적으로 자동화될 수 있다. 코드 모듈들은 임의의 유형의 비일시적 컴퓨터 판독가능 매체 또는 다른 컴퓨터 저장 장치에 저장될 수 있다. 방법들의 일부 또는 모두가 특수 목적의 컴퓨터 하드웨어로 대안적으로 구현될 수 있다. 뿐만 아니라, 여기에 언급된 소자들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다.
여기에 기술된 것들과 다른 많은 변경들이 본 개시로부터 명백해질 것이다. 예를 들어, 실시예에 따라서는, 특정 동작들, 이벤트들 또는 여기에 기술되는 알고리즘들 중 임의의 알고리즘의 기능들이, 다른 순서로 수행되거나 추가되거나 병합되거나 또는 모두 생략될 수 있다(예를 들어, 기술된 모든 동작들 또는 이벤트들이 본 알고리즘들을 실시하기 위해 필요한 것은 아니다). 더욱이, 특정 실시예들에서, 동작들 또는 이벤트들이, 순차적으로라기 보다는, 예컨대 멀티 스레드 처리(multi-threaded processing), 인터럽트 처리(interrupt processing) 또는 다중 프로세서들(multiple processors) 또는 프로세서 코어들(processor cores)을 통해서 또는 다른 병렬 구조들(parallel architectures) 상에서 동시에(concurrently) 수행될 수 있다. 추가로, 함께 기능할 수 있는 서로 다른 머신들 및/또는 컴퓨팅 시스템들에 의해 서로 다른 작업들 또는 프로세스들이 수행될 수 있다.
여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들 및 알고리즘 요소들은, 전자적 하드웨어, 컴퓨터 소프트웨어 또는 이들의 조합들로서 구현될 수 있다. 하드웨어와 소프트웨어 간의 상호교환가능성(interchangeability)을 명료하게 예시하기 위해, 다양한 예시적인 소자들, 블록들, 모듈들 및 요소들을 대체로 기능성 면에서 앞서 설명한 바 있다. 그러한 기능성이 하드웨어로서 구현되는지 아니면 소프트웨어로서 구현되는지는 특정의 응용과 전체 시스템에 부과되는 설계 제약조건들(design constraints)에 달려있다. 기술된 기능성은 각각의 특정 응용에 대해 다양한 방식들로 구현될 수 있으나, 그러한 구현에 관한 결정들이 본 개시의 범위로부터 벗어나게 하는 것으로서 해석되어서는 아니된다.
여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들 및 모듈들은, 프로세싱 유니트 또는 프로세서와 같은 머신, 디지털 신호 처리기(DSP), 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 기타 프로그램가능한 논리 장치, 이산 게이트(discrete gate) 또는 트랜지스터 논리회로, 이산 하드웨어 소자들 또는 여기에 기술된 기능들을 수행하기 위해 설계된 전술한 것들의 임의의 조합에 의해 구현되거나 수행될 수 있다. 프로세서는 마이크로프로세서일 수 있으나, 대안적으로 이 프로세서는 제어기, 마이크로제어기 또는 상태 머신, 이들의 조합들 또는 이와 유사한 것들일 수 있다. 프로세서는, 컴퓨터에 의해 실행가능한 명령어들을 처리하도록 구성된 전기 회로를 포함할 수 있다. 다른 실시예에서, 프로세서는, 컴퓨터에 의해 실행가능한 명령어들을 처리하지 않고 논리 동작들을 수행하는 FPGA 또는 기타 프로그램가능한 장치를 포함한다. 프로세서는 또한, 컴퓨팅 장치들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 협력하는 하나 이상의 마이크로프로세서 또는 기타 임의의 그러한 구성으로서 구현될 수 있다. 여기서는 주로 디지털 기술과 관련하여 기술되었지만, 프로세서는 주로 애널로그 소자들을 포함할 수도 있다. 예를 들어, 여기에 기술된 신호 처리 알고리즘들의 일부 또는 전부는 애널로그 회로 또는 애널로그 및 디지털 혼합 회로(mixed analog and digital circuitry)로 구현될 수 있다. 컴퓨팅 환경은, 마이크로프로세서에 기반한 컴퓨터 시스템, 메인프레임 컴퓨터, 디지털 신호 처리기, 휴대용 컴퓨팅 장치, 디바이스 컨트롤러 또는 기구 내의 계산 엔진(computational engine within an appliance)을 포함하나 이들에 제한되지 않는 임의의 형태의 컴퓨팅 시스템을 포함할 수 있다.
여기에 기술된 실시예들과 관련하여 기술된 방법, 프로세스 또는 알고리즘의 요소들은, 직접적으로 하드웨어로, 하나 이상의 메모리 장치들에 저장되고 하나 이상의 프로세서들에 의해 실행되는 소프트웨어 모듈로 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은, RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM 또는 기타 임의의 형태의 비일시적 컴퓨터 판독가능 저장 매체, 미디어 또는 본 기술 분야에 알려진 물리적 컴퓨터 저장장치에 상주할 수 있다. 예시적인 저장 매체가 프로세서와 결합됨으로써, 프로세서가 저장 매체로부터 정보를 읽고 그로 정보를 기입할 수 있게 된다. 대안적으로, 저장 매체는 프로세서와 일체화될 수 있다. 저장 매체는 휘발성 또는 비휘발성일 수 있다.
'다른 것들도 있지만 그 중 특히'(among others), '할 수 있다'(can), '할 수 있다'(could), '할(일) 수도 있다'(might) 또는 '할(일) 수 있다'(may)와 같은 조건적 언어(conditional language)는, 특히 달리 명시하지 않는 한, 특정의 특징들, 요소들 및/또는 단계들을 다른 실시예들은 포함하지 않는 한편 특정 실시예들이 포함한다는 것을 전달하기 위해 해당 문맥 내에서 일반적으로 사용되는 것으로 이해된다. 따라서 이러한 조건적 언어는, 특징들, 요소들 및/또는 단계들이 어찌 되었든 하나 이상의 실시예들을 위해 필요하다거나, 이러한 특징들, 요소들 및/또는 단계들이 임의의 특정 실시예에 포함되거나 그러한 실시예에서 수행되어야 하는지를 사용자 입력 또는 프롬프팅(prompting)을 가지고 또는 그러한 것 없이 결정하기 위한 로직을 하나 이상의 실시예들이 필연적으로 포함한다는 것을 암시하도록 일반적으로 의도된 것은 아니다.
'X, Y 또는 Z 중 적어도 하나'와 같은 이접적 언어(disjunctive language)는, 특히 달리 명시하지 않는 한, 항목, 용어 등이 X, Y 및 Z 중 어느 것이라도 될 수 있고 그 조합(예를 들어, X, Y 및/또는 Z)도 될 수 있음을 제시하기 위해 해당 문맥 내에서 일반적으로 사용되는 것으로 이해된다. 따라서 그러한 이접적 언어는, 특정 실시예들이 X라는 적어도 하나, Y라는 적어도 하나 또는 Z라는 적어도 하나가 각각 존재할 것을 요구한다는 것을 암시하도록 일반적으로 의도된 것이 아니고 그러해서도 아니된다.
여기에 기술된 및/또는 첨부된 도면들에 도시된 흐름도들에서의 임의의 프로세스 설명들, 요소들 또는 블록들은, 프로세스에서의 특정 논리 기능들 또는 요소들을 구현하기 위한 하나 이상의 실행가능한 명령어들을 포함하는 모듈들, 세그먼트들 또는 코드 부분들을 나타낼 수 있는 것으로 이해되어야 한다. 여기에 기술되는 실시예들의 범위 내에 대안적 구현예들이 포함될 수 있는데, 이러한 구현예들에서는, 요소들 또는 기능들이, 제거될 수 있고 또는 본 기술 분야에 숙련된 자들에 의해 이해되는 바와 같이 연루된 기능이 무엇이냐에 따라서, 실질적으로 동시(substantially concurrently) 또는 역순(in reverse order)의 순서를 포함해서, 도시되거나 논의된 것과 다른 순서로 실행될 수 있다.
명시적으로 달리 기재하지 않는 한, '하나의'(a) 또는 '하나의'(an)와 같은 관사들은, 하나 또는 그 이상의 기술된 항목들을 포함하는 것으로 일반적으로 해석되어야 한다. 따라서 '~하도록 구성된 장치'(a device configured to)와 같은 구들은 하나 또는 그 이상의 열거된 장치들을 포함시키는 것으로 의도된 것이다. 이러한 하나 또는 그 이상의 열거된 장치들은, 명시된 열거사항들(stated recitations)을 수행하도록 총괄적으로 구성될 수도 있다. 예를 들어, '열거사항들 A, B 및 C를 수행하도록 구성된 프로세서'는, 열거사항들 B 및 C를 수행하도록 구성된 제2 프로세서와 협력하여 작동되는, 열거사항 A를 수행하도록 구성된 제1 프로세서를 포함할 수 있다.
그 구성요소들이 다른 수용가능한 예들 중의 일부로서 이해되어야 하는 상술한 실시예들에 대해 많은 변경과 수정이 이루어질 수 있음이 강조되어야 한다. 모든 그러한 수정들과 변경들은 본 개시의 범위 내에 포함되는 것으로 의도된 것이다.

Claims (30)

  1. 하나 이상의 프로세서의 시스템 - 상기 시스템은 차량에 포함되어 있음 - 에 의해 구현되는 방법으로서,
    상기 차량의 디스플레이를 통해, 자율 시각화 및 맵 정보(autonomous visualization and map information)를 취합하는 병합된 뷰(combined view)를 포함하는 통합 사용자 인터페이스(unified user interface)가 프레젠테이션(presentation)되도록 하는 단계 - 상기 자율 시각화 및 맵 정보는 줌 레벨(zoom level)과 연관되어 있고, 상기 통합 사용자 인터페이스는 상기 차량의 동작을 나타내는 제1 상황 정보(contextual information)에 기초하여 생성됨 -,
    상기 차량의 다음의 동작(subsequent operation)을 나타내는 제2 상황 정보에 액세스하는 단계, 및
    상기 제2 상황 정보에 기초하여 상기 통합 사용자 인터페이스를 갱신하는 단계 - 상기 병합된 뷰는 조정되고, 상기 병합된 뷰를 조정하는 것은 상기 통합 사용자 인터페이스에서 상기 병합된 뷰의 크기를 조정하거나 상기 줌 레벨을 조정하는 것을 포함함 -
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 자율 시각화는, 상기 차량의 그래픽 묘사 및 상기 차량이 위치한 실세계 환경의 그래픽 표현을 포함하는,
    방법.
  3. 제2항에 있어서,
    상기 실세계 환경의 그래픽 표현은, 다른 차량들의 그래픽 묘사들 및 상기 차량에 인접한 하나 이상의 객체의 그래픽 표현들을 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 병합된 뷰는,
    상기 차량이 위치한 도로의 하나 이상의 차선의 그래픽 표현,
    상기 하나 이상의 차선 중 특정 차선에 위치한 상기 차량의 그래픽 묘사, 및
    상기 도로와 연관된 맵의 그래픽 표현을 포함하는 맵 정보 - 상기 차량의 그래픽 묘사는 상기 맵 상에 있는 것으로서 묘사됨 - 를 포함하는,
    방법.
  5. 제4항에 있어서,
    상기 병합된 뷰는 주행 뷰를 나타내고,
    상기 차량의 그래픽 묘사는 상기 특정 차선에서 주행하는 것으로 애니메이션되는(animated),
    방법.
  6. 제1항에 있어서,
    상기 병합된 뷰와 연관된 줌 레벨을 갱신하는 것과 연관된 사용자 입력을 수신하는 단계,
    상기 갱신된 줌 레벨에 기초하여 상기 맵 정보의 일부를 식별하는 단계, 및
    상기 병합된 뷰를 갱신하는 단계 - 상기 병합된 뷰는 상기 맵 정보의 일부의 그래픽 표현을 포함함 -
    를 더 포함하는, 방법.
  7. 제1항에 있어서,
    상기 자율 시각화는 상기 차량의 그래픽 묘사를 포함하고, 상기 그래픽 묘사는 상기 조정된 줌 레벨에 기초하여 크기 면에서 축소되는,
    방법.
  8. 제1항에 있어서,
    상기 제2 상황 정보는 상기 통합 사용자 인터페이스를 통한 차량 기능성의 제어와 연관되고,
    상기 차량 기능성의 제어는, 난방, 환기 및 공기조화 시스템의 제어 또는 뮤직 앱(music application)의 제어 또는 네비게이션 사용자 인터페이스의 제어를 포함하는,
    방법.
  9. 제8항에 있어서,
    상기 통합 사용자 인터페이스는 복수의 아이콘을 포함하고, 상기 복수의 아이콘은 해당되는 차량 기능성과 연관되어 있고,
    상기 통합 사용자 인터페이스를 갱신하는 단계는,
    선택된 아이콘과 연관된 메뉴를 포함시키기 위해 상기 통합 사용자 인터페이스를 갱신하는 단계 - 상기 메뉴는 상기 통합 사용자 인터페이스의 제1 부분에 포함됨 -, 및
    상기 병합된 뷰의 크기를 조절하는 단계 - 상기 병합된 뷰는 상기 메뉴에 의해 가려지지 않는 제2 부분에 포함됨 -
    를 포함하는,
    방법.
  10. 제1항에 있어서,
    상기 제1 상황 정보는, 상기 차량이 경로(route)를 따라 네비게이팅하고(navigating) 있음을 나타내고,
    상기 병합된 뷰는 상기 네비게이션 정보를 더 취합하고,
    상기 제2 상황 정보는, 상기 차량이 상기 경로를 따라 이동했음을 나타내는,
    방법.
  11. 제10항에 있어서,
    상기 경로는 상기 네비게이션 정보에 표시된 복수의 주행 이벤트와 연관되고,
    상기 통합 사용자 인터페이스를 갱신하는 단계는,
    상기 차량의 위치로부터 임계 거리 내에 있거나 상기 위치로부터 임계 주행 시간 내에 있는, 상기 주행 이벤트들의 서브세트(subset)를 식별하는 단계, 및
    상기 식별된 서브세트에 기초하여, 상기 줌 레벨이 조정되어야 하는 것으로 판단하는 단계를 포함하는,
    방법.
  12. 제11항에 있어서,
    상기 자율 시각화의 크기는 상기 조정된 줌 레벨에 기초하여 조정되고,
    상기 맵 정보와 연관된 영역은 상기 조정된 줌 레벨에 기초하여 확대되는,
    방법.
  13. 제10항에 있어서,
    상기 경로는 상기 네비게이션 정보에 표시된 복수의 주행 이벤트와 연관되고,
    상기 병합된 뷰는 상기 복수의 주행 이벤트 중의 제1 주행 이벤트를 보여주고,
    상기 방법은,
    상기 줌 레벨을 조정하는 단계 - 상기 병합된 뷰는 상기 복수의 주행 이벤트 중 복수의 제2 주행 이벤트를 보여줌 - 를 더 포함하는,
    방법.
  14. 제10항에 있어서,
    상기 경로는 상기 네비게이션 정보에 표시된 복수의 주행 이벤트와 연관되고,
    상기 통합 사용자 인터페이스를 갱신하는 단계는,
    상기 차량의 위치로부터 임계 거리 내에 있거나 상기 위치로부터 임계 주행 시간 내에 있는 적어도 하나의 주행 이벤트를 식별하는 단계, 및
    상기 적어도 하나의 주행 이벤트에 기초하여, 상기 줌 레벨이 조정되어야 하는 것으로 판단하는 단계를 포함하는,
    방법.
  15. 제1항에 있어서,
    상기 통합 사용자 인터페이스는 상기 줌 레벨의 조정 또는 특정 방향에 따른 상기 맵 정보의 변환을 야기하는 사용자 입력에 응답하는,
    방법.
  16. 하나 이상의 프로세서 및 차량에 포함된 디스플레이를 통한 프레젠테이션(presentation)을 위해 상기 하나 이상의 프로세서로 하여금 사용자 인터페이스를 렌더링하도록 하는 명령어들을 저장하는 비 일시적 저장 매체를 포함하는 시스템으로서,
    상기 사용자 인터페이스는,
    자율 시각화 및 맵 정보를 통합하는 병합된 뷰를 보여주고 - 상기 자율 시각화는 상기 차량의 그래픽 묘사를 포함함 -,
    복수의 아이콘 중 아이콘의 선택에 응답하고 - 상기 아이콘들은 해당되는 차량 기능성들의 제어와 연관되어 있고, 상기 선택에 응답하여 상기 사용자 인터페이스는 아이콘 사용자 인터페이스를 보여줌 -, 그리고
    상기 아이콘 사용자 인터페이스가 상기 병합된 뷰를 가리지 않도록 상기 병합된 뷰를 동적으로 조정하는,
    시스템.
  17. 제16항에 있어서,
    상기 명령어들은, 상기 하나 이상의 프로세서로 하여금 상기 차량의 동작과 관련된 상황 정보에 액세스하도록 하고,
    상기 상황 정보는, 상기 차량이 주행 모드에 있음을 나타내고,
    상기 자율 시각화는 상기 차량에 인접한 실세계 환경의 그래픽 표현을 포함하는,
    시스템.
  18. 제17항에 있어서,
    상기 실세계 환경의 그래픽 표현은 상기 차량에 인접한 다른 차량들의 하나 이상의 그래픽 묘사들을 포함하는,
    시스템.
  19. 제17항에 있어서,
    상기 자율 시각화는, 임계적인 빈도로(at a threshold frequency) 상기 하나 이상의 프로세서에 의해 갱신되는,
    시스템.
  20. 제19항에 있어서,
    상기 자율 시각화를 갱신하기 위해, 상기 명령어들은, 상기 하나 이상의 프로세서로 하여금
    상기 차량 주위에 배치된 영상 센서들로부터 결정된 정보를 획득하고 - 상기 정보는 상기 차량에 인접한 다른 차량들에 관한 위치 정보를 반영함 -,
    상기 다른 차량들과 연관된 제각기의 모델들에 액세스하고,
    상기 모델들을 상기 병합된 뷰에 포함시키기 위해 렌더링하도록 하는,
    시스템.
  21. 제16항에 있어서,
    차량 기능성의 제어는, 난방, 환기 및 공기조화 시스템의 제어 또는 뮤직 앱(music application)의 제어 또는 네비게이션 사용자 인터페이스의 제어를 포함하는,
    시스템.
  22. 제16항에 있어서,
    상기 명령어들은, 상기 하나 이상의 프로세서로 하여금 상기 차량의 동작과 연관된 상황 정보에 액세스하도록 하고,
    상기 상황 정보는, 상기 차량이 네비게이션 모드에 있음을 나타내고,
    상기 병합된 뷰는 네비게이션 정보를 더 통합시키고,
    상기 병합된 뷰를 위해, 상기 자율 시각화는, 상기 차량에 인접한 실세계 환경의 그래픽 표현을 포함하고,
    상기 병합된 뷰를 위해, 상기 네비게이션 정보는, 상기 차량의 위치로부터 임계의 거리 또는 주행 시간 내에 있는 해당 주행 이벤트들의 하나 이상의 그래픽 표현들을 포함하고,
    상기 병합된 뷰를 위해, 상기 맵 정보는, 상기 차량의 위치와 연관된 맵의 일부의 그래픽 표현을 포함하는,
    시스템.
  23. 제22항에 있어서,
    특정 주행 이벤트는, 고속도로를 빠져나가는 것을 포함하고,
    상기 특정 주행 이벤트의 그래픽 표현은 상기 차량이 건너서 이동할 몇몇의 차선들의 표시를 포함하는,
    시스템.
  24. 제23항에 있어서,
    상기 병합된 뷰와 연관된 줌 레벨은 상기 특정 주행 이벤트에 기초하여 확대되고,
    상기 차량의 그래픽 묘사의 크기는 상기 줌 레벨에 기초한 상기 줌에 기초하여 축소되고,
    상기 맵의 일부는 영역이 확대되는,
    시스템.
  25. 하나 이상의 프로세서의 시스템에 의한 실행을 위한 명령어들을 저장하는 비 일시적 컴퓨터 저장 매체로서,
    상기 시스템은 차량에 포함되고, 상기 명령어들은 상기 하나 이상의 프로세서로 하여금,
    상기 차량의 디스플레이를 통해, 자율 시각화, 맵 정보 및 네비게이션 정보를 취합하는 병합된 뷰를 포함하는 통합 사용자 인터페이스가 프레젠테이션되도록 하는 동작 - 상기 병합된 뷰는 상기 병합된 뷰에 반영된 실세계 환경의 영역을 나타내는 줌 레벨과 연관되어 있고, 상기 차량은 목적지와 연관된 네비게이션 모드에 있음 -,
    복수의 센서로부터의 센서 정보에 액세스하는 동작 - 상기 센서 정보는 상기 차량의 위치 및 상기 차량 주위에 배치된 영상 센서들로부터의 영상들을 포함함 -, 및
    상기 센서 정보에 기초하여 상기 줌 레벨이 조정되어야 하는 것으로 판단하는 동작 - 상기 병합된 뷰는 상기 조정된 줌 레벨과 연관되도록 갱신됨 - 을 수행하도록 하는,
    비 일시적 컴퓨터 저장 매체.
  26. 제25항에 있어서,
    상기 병합된 뷰를 위해,
    상기 자율 시각화는,
    상기 차량의 그래픽 묘사, 및
    상기 차량에 인접한 실세계 환경의 그래픽 표현 - 상기 그래픽 표현은 상기 영상 센서들로부터의 영상들에 기초하여 생성됨 - 을 포함하고,
    상기 맵 정보는,
    상기 실세계 환경의 영역과 연관된 맵의 일부의 그래픽 표현을 포함하고,
    상기 네비게이션 정보는,
    상기 실세계 환경의 영역과 연관된 주행 이벤트들의 하나 이상의 그래픽 표현을 포함하는,
    비 일시적 컴퓨터 저장 매체.
  27. 제26항에 있어서,
    상기 실세계 환경의 그래픽 표현은, 상기 차량이 주행하고 있는 도로와 연관된 하나 이상의 차선을 묘사하고,
    상기 차량의 그래픽 묘사는 상기 하나 이상의 차선 중 특정 차선에서 묘사되는,
    비 일시적 컴퓨터 저장 매체.
  28. 제25항에 있어서,
    상기 센서 정보에 기초하여 상기 줌 레벨이 조정되어야 하는 것으로 판단하는 동작은,
    상기 네비게이션 정보에 기초하여, 상기 차량의 위치로부터 임계의 거리 또는 주행 시간 내에 있는 특정 개수의 주행 이벤트들을 식별하는 단계를 포함하고,
    상기 판단은 상기 특정 개수의 주행 이벤트들에 기초하는,
    비 일시적 컴퓨터 저장 매체.
  29. 하나 이상의 프로세서의 시스템 - 상기 시스템은 차량의 내부에 배치된 하나 이상의 센서와 통신함 - 에 의해 구현되는 방법으로서,
    상기 차량의 내부의 승객의 존재를 식별하는 단계,
    상기 센서들로부터의 센서 정보에 기초하여, 트래킹할 상기 승객의 일부를 결정하는 단계, 및
    상기 승객의 일부의 트래킹(tracking)에 기초하여 차량 기능성의 동작을 제어하는 단계 - 차량 기능성은 공기조화 제어, 미러(mirror) 제어 및/또는 조향 휠 위치 설정(steering wheel positioning)을 포함함 - 를 포함하는,
    방법.
  30. 제29항에 있어서,
    상기 차량 기능성의 동작을 제어하는 단계는,
    공기의 출력이 상기 승객의 일부로의 방향을 유지하도록, 난방, 환기 및 공기조화 (HVAC) 시스템을 조정하는 단계, 또는
    상기 승객의 일부에 기초하여 하나 이상의 미러를 조정하는 단계 - 상기 일부는 상기 승객의 눈(eyes)을 포함함 - 를 포함하는,
    방법.
KR1020227018566A 2019-11-21 2020-11-20 향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스 KR20220100609A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962938842P 2019-11-21 2019-11-21
US201962938769P 2019-11-21 2019-11-21
US62/938,769 2019-11-21
US62/938,842 2019-11-21
PCT/US2020/061543 WO2021102284A1 (en) 2019-11-21 2020-11-20 Context sensitive user interface for enhanced vehicle operation

Publications (1)

Publication Number Publication Date
KR20220100609A true KR20220100609A (ko) 2022-07-15

Family

ID=73854912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018566A KR20220100609A (ko) 2019-11-21 2020-11-20 향상된 차량 동작을 위한 상황 감응식 사용자 인터페이스

Country Status (6)

Country Link
US (1) US20210156705A1 (ko)
EP (1) EP4062127A1 (ko)
JP (1) JP2023502256A (ko)
KR (1) KR20220100609A (ko)
CN (1) CN114902018A (ko)
WO (1) WO2021102284A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
USD964409S1 (en) * 2020-09-25 2022-09-20 Volvo Car Corporation Display screen or portion thereof with graphical user interface
USD964408S1 (en) * 2020-09-25 2022-09-20 Volvo Car Corporation Display screen or portion thereof with graphical user interface
USD964410S1 (en) * 2020-09-25 2022-09-20 Volvo Car Corporation Display screen or portion thereof with graphical user interface
USD963693S1 (en) * 2021-03-12 2022-09-13 Volvo Car Corporation Display screen or portion thereof with graphical user interface
US20230177414A1 (en) * 2021-12-03 2023-06-08 Zendrive, Inc. System and method for trip classification
US11560034B1 (en) * 2022-03-31 2023-01-24 Rivian Ip Holdings, Llc Situation-based vehicle configuration
CN115285213B (zh) * 2022-08-18 2023-04-25 浙江极氪智能科技有限公司 路感模拟方法、系统、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529822B1 (en) * 2000-04-11 2003-03-04 Magellan Dis, Inc. Navigation system with zoomed maneuver instruction
JP4352389B2 (ja) * 2003-12-24 2009-10-28 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーションシステム
DE102010062464A1 (de) * 2010-12-06 2012-06-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung eines Abschnitts einer Umgebung
EP3770558A1 (en) * 2011-06-03 2021-01-27 Apple Inc. Devices and methods for comparing and selecting alternative navigation routes
US9423268B2 (en) * 2014-06-20 2016-08-23 Apple Inc. Graphical representation generation for multiple points of interest
US20170111587A1 (en) * 2015-10-14 2017-04-20 Garmin Switzerland Gmbh Navigation device wirelessly coupled with auxiliary camera unit
US10648832B2 (en) * 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
US20200217687A1 (en) * 2019-01-09 2020-07-09 Sf Motors, Inc. Consolidated vehicle navigation and information system

Also Published As

Publication number Publication date
EP4062127A1 (en) 2022-09-28
JP2023502256A (ja) 2023-01-23
WO2021102284A1 (en) 2021-05-27
CN114902018A (zh) 2022-08-12
US20210156705A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US20210156705A1 (en) Context sensitive user interface for enhanced vehicle operation
US20200378779A1 (en) Augmented reality interface for navigation assistance
US10095228B1 (en) Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
US10366611B2 (en) Parking support information display method and parking support device
CN103596812B (zh) 停车辅助装置
US9469248B2 (en) System and method for providing situational awareness in a vehicle
US20160003636A1 (en) Multi-level navigation monitoring and control
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
JP6460019B2 (ja) 車両の制御装置
KR101630153B1 (ko) 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
JP7282718B2 (ja) 予測軌道を有する自律車両ユーザインタフェース
KR102528232B1 (ko) 차량 및 그 제어 방법
KR20080020956A (ko) 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템
JP6856085B2 (ja) 車両用表示制御装置、方法及びプログラム
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
JP5273068B2 (ja) 車両周辺監視装置
CN112585958B (zh) 用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆
KR20210100187A (ko) 자율 주행 차량 운전자의 운전자 정보의 출력을 제어하고 운전자 주의력을 유지하기 위한 장치 및 방법
US20210382560A1 (en) Methods and System for Determining a Command of an Occupant of a Vehicle
JP2021007255A (ja) 撮像装置、画像処理装置、表示システム、および車両
US11938863B2 (en) Peripheral image generation device and display control method
US11753029B1 (en) Off-screen object indications for a vehicle user interface
US11854318B1 (en) User interface for vehicle monitoring
US20240127612A1 (en) Vehicle display device, vehicle display system, vehicle display method, and non-transitory storage medium stored with program

Legal Events

Date Code Title Description
A201 Request for examination