KR20230085800A - 햅틱 피드백을 사용한 차량 경보 - Google Patents

햅틱 피드백을 사용한 차량 경보 Download PDF

Info

Publication number
KR20230085800A
KR20230085800A KR1020220022443A KR20220022443A KR20230085800A KR 20230085800 A KR20230085800 A KR 20230085800A KR 1020220022443 A KR1020220022443 A KR 1020220022443A KR 20220022443 A KR20220022443 A KR 20220022443A KR 20230085800 A KR20230085800 A KR 20230085800A
Authority
KR
South Korea
Prior art keywords
vehicle
haptic feedback
passenger
sensor
data
Prior art date
Application number
KR1020220022443A
Other languages
English (en)
Inventor
알렉산더 하게리스
크리스토퍼 코노프카
트리스탄 드위어
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230085800A publication Critical patent/KR20230085800A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/75—Arm-rests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B60N2002/981—Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0007—Mid-console
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/001—Vehicle control means, e.g. steering-wheel or column
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0012—Seats or parts thereof
    • B60R2011/0014—Arm-rests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0012—Seats or parts thereof
    • B60R2011/0017—Head-rests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0021—Doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0028—Ceiling, e.g. roof rails
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

차량의 상태를 식별하기 위해 햅틱 피드백 센서들을 활성화시키는 방법들이 제공되며, 이 방법들은 차량과 연관된 센서 데이터를 수신하는 단계, 차량과 연관된 센서 데이터에 적어도 부분적으로 기초하여 차량의 승객에 대한 차량 경보를 결정하는 단계, 및 승객에 대한 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함할 수 있다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

햅틱 피드백을 사용한 차량 경보{VEHICLE ALERT USING HAPTIC FEEDBACK}
자가 운전 차량(self-driving vehicle)은 전형적으로 그 주위의 영역을 인지하기 위해 센서 데이터를 사용한다. 차량의 사용자에게 센서 데이터의 표시를 제공하는 것은 어렵고 복잡할 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 상황 인식 시스템의 예를 예시하는 블록 다이어그램이다.
도 6은 예시적인 햅틱 피드백 센서 패턴들을 예시하는 다이어그램이다.
도 7은 하나 이상의 햅틱 피드백 센서를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 8은 바닥 및 시트에 대한 예시적인 햅틱 피드백 센서 패턴들을 예시하는 다이어그램이다.
도 9는 하나 이상의 프로세서가 차량 경보에 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것에 의해 구현되는 루틴의 예를 예시하는 흐름 다이어그램이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않는다는 것을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없다는 것을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 양쪽 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있다는 것을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 센서 데이터를 획득하고, 센서 데이터에 기초하여 차량 경보를 결정하며, 차량 경보에 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 상황 인식 시스템을 포함하고/하거나 구현한다. 상황 인식 시스템은 센서 데이터에 기초하여 특정 특징들을 식별하기 위해 센서 데이터를 수신할 수 있다. 예를 들어, 상황 인식 시스템은 센서 데이터에 기초하여 구역의 이미지에서 대상체들을 식별하기 위해 센서 데이터를 수신할 수 있다. 게다가, 상황 인식 시스템은 센서, 컴포넌트, 시스템 등의 상태를 식별하기 위해 센서 데이터를 수신할 수 있다. 예를 들어, 상황 인식 시스템은 차량의 상태 및/또는 차량의 특정 컴포넌트의 상태를 식별할 수 있다. 상황 인식 시스템은 특정 센서 데이터와 연관된 차량 경보를 결정할 수 있고 차량 경보에 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시킬 수 있다. 비제한적인 예로서, 신호 프로세싱 시스템은 차량과 연관된 센서 데이터를 수신하는 것, 차량과 연관된 센서 데이터에 기초하여 차량의 승객에 대한 차량 경보를 결정하는 것, 및 승객에 대한 차량 경보에 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것에 의해 차량의 센서 데이터에 기초하여 햅틱 피드백 센서를 활성화시킬 수 있다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현에 의해, 시스템은 특정 환경 내에서 차량의 센서 데이터를 식별하고 주어진 승객에 대한 개인화된 피드백을 제공하는 햅틱 피드백을 제공할 수 있다. 예를 들어, 이 시스템은 센서 데이터로부터 환경 데이터, 방향 데이터, 랜드마크 데이터, 대상체 데이터, 차량 상태 데이터(vehicle state data), 차량 현황 데이터(vehicle status data) 등을 결정할 수 있고, 결정된 데이터를 사용하여 승객에게 피드백을 제공할 수 있다. 게다가, 이 시스템은 그 주위의 환경을 완전히 볼 수 없는 감각 장애가 있는 승객들에게 보다 효율적으로 피드백을 제공할 수 있다. 차량의 센서 데이터를 식별해 주는 햅틱 피드백을 제공하는 것에 의해, 이 시스템은 센서 데이터에 대응하는 환경을 완전히 포착할 수 없는 승객들에게 차량의 센서 데이터의 표시들을 제공할 수 있다. 예를 들어, 햅틱 피드백은 차량이 목적지에 접근하고 있다는 것, 차량에 대한 연석 또는 장애물의 위치 등을 나타낼 수 있다. 햅틱 피드백은 감각 장애가 있는 승객들을 위해 차량의 안전성을 증가시킬 수 있고 승객들이 햅틱 피드백에 기초하여 잠재적인 위험한 조건들을 피하는 것을 가능하게 할 수 있다. 예를 들어, 햅틱 피드백은 승객이 차량에서 하차하려고 할 때 다른 차량이 그 차량을 추월하고 있다는 것을 나타낼 수 있다. 게다가, 이 시스템은 각각의 승객에 대해 개인화되거나 맞춤화된 햅틱 피드백을 제공할 수 있다. 예를 들어, 이 시스템은 차량 내의 승객들의 위치들 및 차량 내의 승객들의 유형들을 식별할 수 있으며 햅틱 피드백은 승객들의 위치 및 유형에 기초하여 맞춤화될 수 있다. 그러한 맞춤화된 햅틱 피드백은 이 시스템의 품질과 효율성을 개선시킬 수 있다. 추가적으로, 그러한 맞춤화된 햅틱 피드백은 차량과 연관된 안전성을 증가시킬 수 있다. 예를 들어, 이 시스템은 잠재적인 장애물들을 식별하고 장애물을 볼 수 없는 승객들에게 이러한 장애물들의 표시를 제공할 수 있다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 구역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 한 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해(예를 들면, 일정 시간 기간 동안 고정 위치에 위치함) 있거나 움직이고(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있음) 있다. 일부 실시예들에서, 대상체들(104)은 구역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 구역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 구간(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 구간 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
구역(108)은 차량들(102)이 운행할 수 있는 물리적 구역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 구역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 구역(108)은 간선 도로(highway), 주간 간선 도로(interstate highway), 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 구역(108)은 진입로(driveway), 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)가 참조될 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 포맷(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 운행 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 포맷(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 한 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 오버라이드하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈드실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 2 개의 앞바퀴 및/또는 2 개의 뒷바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성된 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 바퀴 속력 센서, 바퀴 브레이크 압력 센서, 바퀴 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 전달하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 운행 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 구역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 구역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 구역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 구역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 구역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 속성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈드실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 함께 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 구역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
센서 데이터에 기초하여 햅틱 피드백 센서들을 활성화시키기
차량(예를 들면, 자율 주행 차량)이 구역을 통해 이동할 때, 차량은 구역(예를 들면, 차량 내부 또는 외부의 구역) 내에서 다수의 상이한 대상체와 마주칠 수 있다. 대상체들을 식별하기 위해, 차량은 적어도 하나의 센서와 연관된 센서 데이터를 캡처할 수 있다. 센서들은 레이더 센서들, 라이다 센서들, 카메라들 등 중 임의의 것 또는 이들의 임의의 조합을 포함할 수 있다. 차량은 차량의 환경과 연관된 환경 데이터를 획득하기 위해 캡처된 센서 데이터를 프로세싱할 수 있다. 환경 데이터에 기초하여, 차량은 센서 데이터에 의해 캡처되는 환경 및 환경 내의 잠재적 장애물들을 탐색할 수 있다. 예를 들어, 차량은 환경 데이터에 기초하여 운행에 도움을 주는 내비게이션 시스템을 포함할 수 있다.
일부 경우에, 차량은 개선된 승차 경험을 제공하기 위해 센서 데이터를 수신하고 센서 데이터에 기초한 환경 데이터의 시각적 표시 및/또는 청각적 표시를 승객들에게 제공하는 시스템을 포함할 수 있다. 예를 들어, 차량은 환경 데이터의 시각적 표시를 디스플레이하는 시각적 대시보드를 포함할 수 있고/있거나 환경 데이터의 청각적 표시를 출력하는 스피커를 포함할 수 있다.
일부 경우에, 시각적 표시들 및/또는 청각적 표시들이 각각의 승객에게 적합하지 않을 수 있다. 예를 들어, 시각 장애가 있는 승객은 환경 데이터의 시각적 표시를 파악(decipher)하지 못할 수 있다. 환경 데이터의 표시를 파악할 수 없는 것은 역효과를 야기할 수 있다. 예를 들어, 환경 데이터는 차량에서 하차할 때 잠재적인 장애물의 위치를 나타낼 수 있으며, 장애물에 대한 별도의 지식이 없는 경우, 시각 장애가 있는 승객은 장애물을 만날 때 부상을 입을 수 있다.
게다가, 환경 데이터의 제한된 유형의 표시들을 제공할 때, 시스템은 유용한 차량 경보들을 승객에게 신속하게 및/또는 정확하게 제공하지 못할 수 있다. 이것은 또한 시스템이 잠재적인 승객들의 제한된 서브세트에 대한 환경 데이터의 표시들을 제공하는 것으로 제한될 수 있으므로 부적절한 사용자 경험으로 이어질 수 있다.
이러한 문제들을 해결하기 위해, 상황 인식 시스템은 다양한 유형의 피드백 센서들 및/또는 환경 데이터의 맞춤화된 표시들을 사용할 수 있다. 일부 경우에, 이 시스템은 센서 데이터에 기초하여 차량 경보들을 제공하기 위해 햅틱 피드백 센서들을 포함할 수 있다. 예를 들어, 시각 장애가 있는 승객을 위해, 이 시스템은 햅틱 피드백 센서를 사용하여 차량 경보를 제공할 수 있다.
상이한 선호사항들 및/또는 감각 장애들을 갖는 승객들이 차량을 이용할 수 있으므로, 이 시스템은 상이한 고객들에 대해 사용되는 피드백 센서들 및 차량 경보들을 맞춤화할 수 있다. 일부 경우에, 상황 인식 시스템은 사용자에게 맞춤화된 응답을 제공하기 위해 햅틱 피드백 센서들을 통해 특정 승객들에 제공되는 햅틱 피드백을 맞춤화할 수 있다. 상황 인식 시스템은 특정 차량 경보에의 센서 데이터(또는 환경 데이터)의 제1 매핑 및 (햅틱 피드백 센서를 활성화시키기 위한) 경보 데이터에의 차량 경보의 제2 매핑을 식별할 수 있다. 일부 실시예들에서, 상황 인식 시스템은 제1 매핑 또는 제2 매핑 중 하나를 식별할 수 있다. 게다가, 상황 인식 시스템은 경보 데이터에의 센서 데이터(또는 환경 데이터)의 전체 매핑을 식별할 수 있다. 그러한 차량 경보에 대한 센서 데이터의 매핑과 경보 데이터에 대한 차량 경보의 매핑은 햅틱 피드백의 맞춤화를 향상시킬 수 있다.
(센서 데이터의 일반적 표시, 정적 표시 또는 고정된 표시를 제공하는 대신에) 특정 승객들에 대한 햅틱 피드백을 맞춤화하는 것에 의해, 상황 인식 시스템은 승객이 차량 경보를 이해할 가능성을 증가시킬 수 있다. 게다가, 상황 인식 시스템은 승객들이 센서 데이터의 정확하고 신뢰성 있는 표시들을 수신할 가능성을 증가시킬 수 있다. 게다가, 상황 인식 시스템은 또한 차량 내의 상이한 승객들에 대한 햅틱 피드백의 맞춤화들을 결정할 수 있다. 햅틱 피드백의 그러한 맞춤화는 상황 인식 시스템의 유효성 및 효율성을 증가시킬 수 있다.
본원에 기술된 바와 같이, 상황 인식 시스템은 차량과 연관된 센서 데이터를 획득할 수 있다. 센서 데이터는 차량 내부 또는 외부의 하나 이상의 이미지와 연관된 이미지 데이터(예를 들면, 라이다 센서와 연관된 라이다 데이터, 레이더 센서와 연관된 레이더 데이터, 카메라 이미지와 연관된 카메라 이미지 데이터), 안전 벨트 센서와 연관된 안전 벨트 데이터, 윈드실드 와이퍼 센서와 연관된 윈드실드 와이퍼 데이터, 광 센서와 연관된 광 센서 데이터, 속도 센서와 연관된 속력계 데이터 또는 속도 센서 데이터, 엔진 센서와 연관된 엔진 센서 데이터, 가속도계와 연관된 가속도 데이터, 자이로스코프와 연관된 배향 데이터, 지리적 위치 센서와 연관된 위치 데이터 등을 포함할 수 있지만, 이에 제한되지 않는다.
획득된 센서 데이터에 기초하여, 상황 인식 시스템은 차량의 환경과 연관된 환경 데이터를 식별할 수 있다. 환경 데이터는 차량의 외부 또는 내부 환경과 연관된 데이터를 포함할 수 있다. 예를 들어, 차량의 위치 센서와 연관된 위치 센서 데이터에 기초하여, 상황 인식 시스템은 해당 위치에서의 날씨와 연관된 기상 데이터를 식별할 수 있다. 환경 데이터의 다른 예로서, 이미지 센서(예를 들면, 라이다 이미지 센서, 레이더 이미지 센서, 카메라 이미지 센서 등)와 연관된 이미지 센서 데이터를 사용하여, 상황 인식 시스템은 획득된 센서 데이터에 기초하여 차량의 환경에 있는 랜드마크와 연관된 랜드마크 데이터를 식별할 수 있다. 예를 들어, 상황 인식 시스템은 차량의 위치에 대한 장애물, 목적지, 다른 차량, 사람 등의 위치를 식별할 수 있다.
게다가, 환경 데이터는 차량 또는 차량 컴포넌트의 상태와 연관된 차량 상태 데이터를 포함할 수 있다. 예를 들어, 상황 인식 시스템은 차량 또는 차량의 하나 이상의 컴포넌트와 연관된 하나 이상의 센서(예를 들면, 안전벨트 버클 센서, 윈드실드 와이퍼 센서, 광 센서, 속도계 또는 속도 센서, 엔진 센서, 가속도계, 자이로스코프 등)에 기초하여 차량의 하나 이상의 컴포넌트(예를 들면, 안전벨트 버클, 윈드실드 와이퍼, 라이트들, 속도계, 엔진, 속도, 가속도, 배향 등)의 상태를 식별할 수 있다.
센서 데이터 및/또는 차량의 환경과 연관된 환경 데이터를 사용하여, 상황 인식 시스템은 제1 매핑 데이터를 사용하여 센서 데이터 및/또는 환경 데이터에 매핑되는 차량 경보를 결정할 수 있다. 일부 실시예들에서, 센서 데이터 및/또는 환경 데이터의 상이한 서브세트들이 상이한 차량 경보들에 매핑될 수 있다. 예를 들어, 차량의 라이트들의 상태와 연관된 차량 상태 데이터 및 차량의 환경에 있는 장애물과 연관된 랜드마크 데이터는 상이한 차량 경보들에 매핑될 수 있다. 더욱이, 랜드마크 데이터의 유형에 따라 차량 경보가 달라질 수 있다. 예를 들어, 랜드마크 데이터가 승객의 목적지 또는 승객에 대한 장애물, 보행자 또는 추월하는 차량 등을 식별해 주는지 여부에 따라 상이한 차량 경보들이 사용될 수 있다. 그에 따라, 센서 데이터 및/또는 환경 데이터에 기초하여, 상황 인식 시스템은 차량 경보를 식별할 수 있다.
일부 경우에, 상황 인식 시스템은 상이한 승객들에 대해 맞춤화된 차량 경보들을 사용할 수 있다. 특정 승객에 대한 차량 경보는 승객과 연관된 승객 데이터에 기초할 수 있다. 예를 들어, 승객은, 사용자 컴퓨팅 디바이스를 통해, 특정 센서 데이터 및/또는 환경 데이터에 대한 특정 차량 경보(및/또는 특정 햅틱 피드백 센서들 또는 패턴들)를 나타내는 데이터를 제공할 수 있다.
상황 인식 시스템은 승객의 위치 및/또는 유형에 기초하여 차량 경보들을 맞춤화할 수 있다. 상황 인식 시스템은 하나 이상의 센서(예를 들면, 압력 센서)를 포함할 수 있고, 하나 이상의 센서로부터의 출력에 기초하여, 상황 인식 시스템은 차량에 있는 각각의 승객의 위치 및/또는 유형을 결정할 수 있다. 게다가, 상황 인식 시스템은 승객의 위치 및/또는 유형에 기초하여 차량 경보를 식별할 수 있다. 예를 들어, 상황 인식 시스템은 승객의 위치와 연관되고 승객의 유형에 기초하는 차량 경보를 식별할 수 있다(예를 들면, 상황 인식 시스템은 인간 승객 또는 동물 승객에 대해 상이한 차량 경보들을 식별할 수 있고/있거나 무생물 대상체에 대해 차량 경보를 식별하지 못할 수 있다).
차량 경보에 기초하여, 상황 인식 시스템은 승객에게 피드백을 제공할 수 있다. 일부 경우에, 상황 인식 시스템은 승객에게 피드백을 제공하기 위해 하나 이상의 햅틱 피드백 센서를 사용할 수 있다. 햅틱 피드백 센서들은 차량 전체에 걸쳐(예를 들면, 차량의 시트, 차량의 팔걸이, 차량의 바닥판 등에) 위치할 수 있다. 상황 인식 시스템은 제2 매핑 데이터를 사용하여 차량 경보에의 하나 이상의 햅틱 피드백 센서의 매핑을 식별하는 것에 의해 피드백을 제공하기 위해 하나 이상의 햅틱 피드백 센서를 식별할 수 있다. 센서 데이터 및/또는 환경 데이터를 차량 경보에 매핑하기 위한 매핑 데이터는 차량 경보를 하나 이상의 햅틱 피드백 센서에 매핑하기 위한 매핑 데이터와 동일하거나 상이할 수 있다. 일부 경우에, 이 시스템은 승객에게 피드백을 제공하기 위해 승객의 컴퓨팅 디바이스에 위치하는 햅틱 피드백 센서들을 활용할 수 있다. 예를 들어, 이 시스템은 승객과 연관된 모바일 폰에 위치하는 햅틱 피드백 센서들을 사용할 수 있다. 각각의 차량 경보는 복수의 햅틱 피드백 센서들의 특정 조합 또는 서브세트에 매핑될 수 있다. 예를 들어, 상황 인식 시스템은 차량 경보들의 복수의 잠재적인 매핑들 중에서의 사용자에 대한 차량 경보를 복수의 햅틱 피드백 센서들의 서브세트로 전달하기 위해 피드백 센서들의 특정 매핑 또는 조합을 선택할 수 있다.
상황 인식 시스템은 차량 경보에의 하나 이상의 햅틱 피드백 센서의 매핑에 기초하여 하나 이상의 햅틱 피드백 센서를 활성화시킬 수 있다. 게다가, 상황 인식 시스템은 (예를 들면, 차량 경보에 기초하여) 미리 정의된 패턴으로 하나 이상의 햅틱 피드백 센서를 활성화시킬 수 있다.
게다가, 상황 인식 시스템은 또한 센서 데이터의 시각적 및/또는 청각적 표시를 제공할 수 있다. 예를 들어, 차량 경보는 하나 이상의 햅틱 피드백 센서, 센서 데이터의 시각적 표시, 및/또는 센서 데이터의 청각적 표시에 매핑될 수 있다. 상황 인식 시스템은 센서 데이터의 다수의 표시들을 제공하기 위해 하나 이상의 햅틱 피드백 센서를 활성화시킴으로써 센서 데이터의 시각적 표시 및/또는 청각적 표시의 출력을 야기할 수 있다.
도 5는 신호 프로세싱 환경(500)의 예를 예시하는 블록 다이어그램이다. 예시된 예에서, 신호 프로세싱 환경(500)은 센서(504), 압력 센서(510), 컴퓨팅 디바이스(520), 및 햅틱 피드백 센서(518)와 통신 가능하게 결합되는 상황 인식 시스템(502)을 포함한다. 일부 경우에, 신호 프로세싱 환경(500) 및/또는 상황 인식 시스템(502)은, 적어도 도 4를 참조하여 본원에 기술된, 인지 시스템(402)의 적어도 일부를 형성할 수 있다. 상황 인식 시스템(502)은 센서(504)와 연관된 센서 데이터(506)를 수신할 수 있고, 센서 데이터(506)를 사용하여 차량 경보와 연관된 경보 데이터(516)를 결정할 수 있다. 일부 경우에, 시스템(502)은 들어오는 센서 데이터(506)에 기초하여 어느 차량 경보들을 활성화시킬지를 결정하기 위해 경보 데이터(516)에의 센서 데이터(및/또는 환경 데이터)의 매핑과 연관된 매핑 데이터(514)를 사용할 수 있다.
센서(504)는 센서 데이터(506)를 생성하고 센서 데이터(506)를 상황 인식 시스템(502)에 전달한다. 센서(504)는, 도 2를 참조하여 위에서 기술된 것과 유사한, 카메라(202a), LiDAR 센서(202b), 레이더 센서(202c) 등 중 임의의 것 또는 이들의 임의의 조합을 포함할 수 있다. 게다가, 센서(504)는 압력 센서, 중량 센서, 근접 센서, 위치 센서(예를 들면, GPS 센서), 에지 센서, 가속도계, 또는 자이로스코프를 포함할 수 있다. 일부 실시예들에서, 센서(504)는 센서 데이터(506)를 상황 인식 시스템(502)에 각각 제공할 수 있는 복수의 센서들(예를 들면, 복수의 상이한 센서들)을 포함할 수 있다. 유사하게, 센서 데이터(506)는, 카메라 이미지와 연관된 카메라 데이터, 레이더 이미지와 연관된 레이더 데이터, 포인트 클라우드와 연관된 LiDAR 데이터, 압력과 연관된 압력 데이터, 중량과 연관된 중량 데이터, 공간적 근접성과 연관된 근접성 데이터, 불연속성(예를 들면, 밝기의 불연속성)과 연관된 에지 데이터, 센서의 속도의 변화율과 연관된 가속도 데이터, 센서의 속도와 연관된 속도 데이터, 센서의 배향과 연관된 배향 데이터, 지리적 위치와 연관된 위치 데이터(예를 들면, GPS 데이터) 등과 같은, 상이한 유형들의 센서 데이터를 포함할 수 있다. 게다가, 센서 데이터(506)는 차량 외부의 환경과 연관된 센서 데이터 및/또는 차량 내부의 환경과 연관된 센서 데이터를 포함할 수 있다. 센서(504)는 하나 이상의 센서 신호 프로세싱 설정(예를 들면, 화이트 밸런스, 이득, 색조, 노출, 색상 균형, 채도 등)에 기초하여 센서 데이터(506)를 생성할 수 있다. 예를 들어, 하나 이상의 센서 신호 프로세싱 설정은 센서 데이터의 검출을 위한 시간 기간을 식별해 줄 수 있다. 센서 데이터(506)는 스트리밍 센서 데이터 및/또는 배치 센서 데이터(batch sensor data)를 포함할 수 있다.
압력 센서(510)는 압력 센서 데이터(512)를 생성하고 압력 센서 데이터(512)를 상황 인식 시스템(502)에 전달한다. 압력 센서(510)는 로드 셀(load cell) 또는 압력 및/또는 중량을 캡처하기 위한 임의의 다른 센서를 포함할 수 있다. 일부 경우에, 압력 센서(510)는 차량의 시트, 차량의 팔걸이, 차량의 바닥판, 또는 차량의 임의의 위치 내에 위치할 수 있다. 특정 경우에, 압력 센서(510)는 압력 센서 데이터(512)를 상황 인식 시스템(502)에 각각 제공할 수 있는 복수의 압력 센서들을 포함할 수 있다. 유사하게, 압력 센서 데이터(512)는 중량 데이터를 포함할 수 있다. 예를 들어, 압력 센서 데이터(512)는 승객과 연관된 중량 데이터를 포함할 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 압력 센서 데이터(512)를 수신하지 않을 수 있다.
예시된 예에서, 상황 인식 시스템(502)은 센서 데이터(506) 및 압력 센서 데이터(512)를 수신하는 데이터 프로세서(508)를 포함하지만, 시스템(502)이 보다 적은, 보다 많은 또는 상이한 컴포넌트들을 포함할 수 있다는 것이 이해될 것이다. 데이터 프로세서(508)는 또한 매핑 데이터(514)를 수신할 수 있다. 데이터 프로세서(508)는 컴퓨팅 디바이스(예를 들면, 사용자 컴퓨팅 디바이스) 및/또는 데이터 저장소로부터 매핑 데이터(514)를 수신할 수 있다. 예를 들어, 사용자 컴퓨팅 디바이스는 매핑 데이터(514)를 생성하고 매핑 데이터(514)를 데이터 프로세서(508)에 제공할 수 있다. 일부 실시예들에서, 매핑 데이터(514)는 사용자 특정 매핑 데이터(514)일 수 있다. 매핑 데이터(514)는 복수의 매핑들을 포함할 수 있다. 매핑은 제1 매핑 데이터 및 제2 매핑 데이터를 포함할 수 있다. 제1 매핑 데이터의 각각의 매핑은 특정 차량 경보에 매핑되는 센서 데이터(506) 및/또는 환경 데이터를 식별해 줄 수 있다. 제2 매핑 데이터의 각각의 매핑은 특정 경보 데이터(516)에 매핑되는 특정 차량 경보를 식별해 줄 수 있다. 일부 경우에, 매핑 데이터의 각각의 매핑은 특정 경보 데이터(516)에 매핑되는 센서 데이터(506) 및/또는 환경 데이터를 식별해 줄 수 있다.
일부 경우에, 데이터 프로세서(508)는 센서 데이터(506)를 수신하고 센서 데이터(506)를 프로세싱할 수 있다. 예를 들어, 데이터 프로세서(508)는 센서 데이터와 연관된 특정 특징들을 식별하기 위해 센서 데이터(506)를 필터링 및 집계(예를 들면, 평활화)할 수 있다. 게다가, 데이터 프로세서(508)는 센서 데이터(506)를 식별해 주는 안정적인 데이터 신호들을 생성하기 위해 센서 데이터(506)를 필터링 및 집계할 수 있다.
데이터 프로세서(508)는 차량의 환경과 연관된 환경 데이터를 식별하기 위해 센서 데이터(506)를 프로세싱(예를 들면, 파싱, 변환 등)할 수 있다. 예를 들어, 환경 데이터는 센서 데이터와 연관된 특정 특징을 식별해 줄 수 있다. 게다가, 이 특징은, 도로에 있는 장애물, 차량 주위의 대상체들의 위치, 차량 속력, 차량 가속도, 차량 배향, 엔진 상태 또는 RPM, 목적지를 기준으로 한 차량의 위치, 차량의 라이트들의 상태(예를 들면, 켜짐/꺼짐) 등과 같은, 차량의 환경과 연관된 데이터를 포함할 수 있다. 센서 데이터(506) 및/또는 식별된 환경 데이터의 프로세싱에 기초하여, 데이터 프로세서(508)는 특징을 식별하고 차량의 승객이 통지받아야 한다고 결정할 수 있다.
일부 경우에, 데이터 프로세서(508)는 들어오는 센서 데이터(506)에 기초하여 출력할 경보 데이터(516)를 결정하기 위해 특정 경보 데이터(516)에의 센서 데이터 및/또는 환경 데이터의 매핑과 연관된 매핑 데이터(514)를 사용할 수 있다.
특정 경우에, 데이터 프로세서(508)는 또한 하나 이상의 압력 센서(510)와 연관된 압력 센서 데이터(512)를 획득할 수 있다. 압력 센서 데이터(512)에 기초하여, 데이터 프로세서(508)는 승객의 위치를 결정할 수 있다. 예를 들어, 압력 센서 데이터(512)에 기초하여, 데이터 프로세서(508)는 승객이 차량의 특정 섹션에 위치한다고(예를 들면, 승객이 우측 앞좌석에 위치한다고) 결정할 수 있다. 게다가, 압력 센서 데이터(512)에 기초하여, 데이터 프로세서(508)는 다수의 승객들의 위치를 결정할 수 있다. 예를 들어, 데이터 프로세서(508)는 5명의 승객이 차량에 위치한다는 것과 승객들 각각의 위치를 결정할 수 있다.
특정 경우에, 압력 센서 데이터(512)에 기초하여, 데이터 프로세서(508)는 차량의 승객의 유형(예를 들면, 승객 유형)을 식별할 수 있다. 일부 경우에, 데이터 프로세서(508)는 차량의 각각의 승객의 승객 유형을 식별하기 위해 압력 센서 데이터(512)를 활용할 수 있다. 특정 경우에, 각각의 승객의 승객 유형을 식별하기 위해, 데이터 프로세서(508)는 복수의 중량 범위들 또는 임계치들을 사용할 수 있다. 각각의 중량 범위는 압력 센서 데이터(512)의 특정 범위, 임계치, 및/또는 조합을 식별하고 압력 센서 데이터(512)의 특정 범위, 임계치 및/또는 조합을 특정 유형의 승객에 매핑할 수 있다. 예를 들어, 압력 센서 데이터(512)의 특정 범위, 임계치, 및/또는 조합은 동물(예를 들면, 개), 어린이, 성인, 무생물 대상체에 매핑될 수 있다. 게다가, 제1 중량 범위는 동물(예를 들면, 5 내지 15 파운드)에 매핑될 수 있고, 제2 중량 범위는 어린이(예를 들면, 15 내지 90 파운드)에 매핑될 수 있으며, 제3 중량 범위는 성인(예를 들면, 90 파운드 초과)에 매핑될 수 있고, 제4 중량 범위는 무생물 대상체(예를 들면, 0 내지 5 파운드)에 매핑될 수 있다.
게다가, 압력 센서 데이터(512)는 차량 전반에 걸쳐 위치하는 압력 센서들(510)로부터의 압력 센서 데이터(512)를 포함할 수 있고 데이터 프로세서(508)는 압력 센서 데이터(512)에 기초하여 승객의 유형을 식별할 수 있다. 예를 들어, 시트에 있는 압력 센서(510)로부터의 압력 센서 데이터(512)가 제1 임계치(예를 들면, 1 파운드) 미만의 중량을 나타내고 시트 아래에 위치하는 바닥판에 있는 압력 센서로부터의 압력 센서 데이터(512)가 제2 임계치(예를 들면, 20 파운드) 초과의 중량을 나타내는 경우, 데이터 프로세서(508)는 승객이 동물이라고 결정하거나 승객이 존재하지 않는다고(예를 들면, 압력 센서 데이터가 무생물 대상체를 나타낸다고) 결정할 수 있다. 게다가, 시트 아래에 위치하는 바닥판에 있는 압력 센서로부터의 압력 센서 데이터(512)가 특정 임계치(예를 들면, 0 파운드) 미만의 중량을 나타내고 시트에 있는 압력 센서로부터의 압력 센서 데이터(512)가 다른 임계치(예를 들면, 40 파운드) 초과의 중량을 나타내는 경우, 데이터 프로세서(508)는 승객이 어린이(예를 들면, 발이 바닥판에 닿지 않는 어린이)라고 결정할 수 있다.
게다가, 데이터 프로세서(508)는 하나 이상의 압력 센서에 걸친 중량 분포를 식별할 수 있다. 예를 들어, 데이터 프로세서(508)는 제1 압력 센서 및 제2 압력 센서에 걸친 중량 분포를 식별할 수 있다. 하나 이상의 압력 센서에 걸친 중량 분포에 기초하여, 데이터 프로세서(508)는 승객 유형 및/또는 승객의 위치를 식별할 수 있다.
데이터 프로세서(508)는 또한 특정 시간 기간에 걸친 압력 센서 데이터(512)의 변동들을 식별할 수 있다. 게다가, 데이터 프로세서(508)는 특정 압력 센서로부터의 압력 센서 데이터(512)가 시간에 따라 변하는지를 결정할 수 있다. 예를 들어, 데이터 프로세서(508)가 특정 압력 센서로부터의 압력 센서 데이터(512)가 특정 시간 기간에 걸쳐 일정하게 유지되었다고 결정하는 경우, 데이터 프로세서(508)는 압력 센서 데이터(512)가 승객을 나타내지 않고 그 대신에 무생물 대상체(예를 들면, 수하물)를 나타낸다고 결정할 수 있다. 게다가, 데이터 프로세서(508)가 특정 압력 센서로부터의 압력 센서 데이터(512)가 특정 시간 기간에 걸쳐 변했다고 결정하는 경우, 데이터 프로세서(508)는 압력 센서 데이터(512)가 승객을 나타낸다고 결정할 수 있다.
게다가, 데이터 프로세서(508)는 승객의 위치 및/또는 승객 유형에 기초하여 차량 경보에의 센서 데이터(506)(및/또는 환경 데이터)의 매핑을 식별할 수 있다. 예를 들어, 승객의 위치에 기초하여 동일한 센서 데이터(506)가 상이한 경보 데이터(516)에 매핑될 수 있다. 예를 들어, 데이터 프로세서(508)는 하나 이상의 센서와 연관된 특정 센서 데이터(506)를 식별하기 위해 센서 데이터(506)를 파싱할 수 있고 승객의 위치 및/또는 유형을 식별하기 위해 압력 센서 데이터(512)를 파싱할 수 있다.
센서 데이터(506)(및/또는 환경 데이터) 및 압력 센서 데이터(512)에 기초하여, 데이터 프로세서(508)는 센서 데이터(506) 및 압력 센서 데이터(512)를 특정 차량 경보에 매핑하는 매핑 데이터(514)를 식별할 수 있다. 게다가, 데이터 프로세서(508)는 차량 경보를 특정 경보 데이터(516)에 매핑하는 매핑 데이터(예를 들면, 추가적인 매핑 데이터 또는 매핑 데이터(514))를 식별할 수 있다. 매핑 데이터(514) 및/또는 추가적인 매핑 데이터는 수신된 센서 데이터(506) 및 수신된 압력 센서 데이터(512)에 기초하여 특정 사용자에 맞춤화되는 차량 경보 및/또는 경보 데이터(516)를 식별해 줄 수 있다. 예를 들어, 경보 데이터(516)는 수신된 센서 데이터(506)에 기초하여 그리고 승객의 위치 및/또는 승객 유형에 기초하여 맞춤화될 수 있다. 예를 들어, 상이한 승객에 대한 동일한 센서 데이터(506), 환경 데이터, 및/또는 압력 센서 데이터(512)는 상이한 차량 경보들에 매핑될 수 있고/있거나 상이한 승객들에 대한 차량 경보는 상이한 경보 데이터(516)에 매핑될 수 있다.
경보 데이터(516)는 하나 이상의 햅틱 피드백 센서를 식별해 줄 수 있다. 예를 들어, 경보 데이터(516)는 경보의 일부로서 사용될 특정 햅틱 피드백 센서들을 식별해 줄 수 있다. 게다가, 경보 데이터(516)는 특정 햅틱 피드백 센서들을 활성화시키는 방법을 식별해 줄 수 있다. 예를 들어, 경보 데이터(516)는 특정 햅틱 피드백 센서들에 대한 활성화 패턴 또는 시퀀스, 특정 햅틱 피드백 센서들에 대한 활성화 지속기간 등을 식별해 줄 수 있다. 경보 데이터(516)는 하나 이상의 햅틱 피드백 센서 패턴, 오디오 출력, 시각적 출력, 광 출력, 또는 차량 경보에 매핑되는(예를 들면, 그와 짝을 이루는) 임의의 다른 출력 또는 피드백을 더 식별해 줄 수 있다. 일부 실시예들에서, 데이터 프로세서(508)는 다수의 승객들에 대한 경보 데이터(516)를 식별해 줄 수 있다. 예를 들어, 데이터 프로세서(508)는 제1 인간 승객에 대한 제1 경보 데이터, 제2 인간 승객에 대한 제2 경보 데이터, 및 동물 승객에 대한 제3 경보 데이터를 식별할 수 있다. 더욱이, 언급된 바와 같이, 상이한 승객들에 대한 경보 데이터가 상이할 수 있다. 예를 들어, 승객들 각각은 제1, 제2, 및 제3 경보 데이터에 기초하여 동일하거나 상이한 경보들을 수신할 수 있다. 일부 경우에, 승객의 결정된 유형(예를 들면, 성인, 인간, 동물 등)에 기초하여 인간 승객들은 동물 승객과 상이한 경보를 수신할 수 있다.
일부 경우에, 상황 인식 시스템(502)은 경보 데이터(516)를 사용하여 햅틱 피드백 센서(518)를 활성화시킬 수 있다. 예를 들어, 상황 인식 시스템(502)은 경보 데이터(516)에 기초하여 햅틱 피드백 센서(518)를 식별하고 햅틱 피드백 센서(518)를 활성화시키기 위해 경보 데이터(516)를 제공할 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 경보 데이터(516)에 기초하여 햅틱 피드백 센서(518)가 활성화되는 방법을 맞춤화할 수 있다. 예를 들어, 상황 인식 시스템(502)은 경보 데이터(516)에 기초하여 햅틱 피드백 센서(518)에 대한 활성화 파라미터들(예를 들면, 활성화 패턴 또는 시퀀스, 활성화 지속기간 등)을 식별하고, 활성화 파라미터들에 기초하여 햅틱 피드백 센서(518)를 활성화시킬 수 있다. 상황 인식 시스템(502)이 경보 데이터(516)를 보다 많은, 보다 적은 또는 상이한 햅틱 피드백 센서들에 제공할 수 있다는 것이 이해될 것이다. 상황 인식 시스템(502)에 의한 햅틱 피드백 센서(518)의 활성화에 기초하여, 햅틱 피드백 센서(518)는 차량의 승객에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 햅틱 피드백은 햅틱 피드백 센서(518)에 의해 제공되는 하나 이상의 진동을 포함할 수 있다.
경보 데이터(516)는 햅틱 피드백 센서(518)의 활성화를 위한 펄스 폭 변조 신호를 포함할 수 있다. 예를 들어, 상황 인식 시스템(502)은 햅틱 피드백 센서(518)의 활성화를 야기하기 위해 햅틱 피드백 센서(518)에 펄스 폭 변조 신호를 제공할 수 있다.
상황 인식 시스템(502)은 햅틱 피드백이 승객에 의해 수신될 수 있도록 햅틱 피드백 센서(518)를 활성화시킬 수 있다. 승객은 햅틱 피드백을 수신하고 햅틱 피드백에 기초하여 차량과 연관된 데이터(예를 들면, 환경 데이터, 방향 데이터, 랜드마크 데이터, 대상체 데이터, 차량 상태 데이터, 차량 현황 데이터 등)를 식별할 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 승객을 차량 내의 원하는 위치로 안내하기 위해 일련의 햅틱 피드백 센서들을 활성화시킬 수 있다. 예를 들어, 상황 인식 시스템은 승객의 손을 제1 위치(예를 들면, 팔걸이)로부터 제2 위치(예를 들면, 도어 핸들)로 안내하기 위해 일련의 햅틱 피드백 센서들을 활성화시킬 수 있다.
일부 경우에, 상황 인식 시스템(502)은 경보 데이터(516)를 컴퓨팅 디바이스(520)(예를 들면, 사용자 컴퓨팅 디바이스, 차량 컴퓨팅 디바이스 등)에 제공할 수 있다. 컴퓨팅 디바이스(520)는 하나 이상의 햅틱 피드백 센서를 포함할 수 있고 상황 인식 시스템(502)은 경보 데이터(516)를 사용하여 하나 이상의 햅틱 피드백 센서를 활성화시킬 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 컴퓨팅 디바이스(520) 및 햅틱 피드백 센서(518)에 상이한 경보 데이터를 제공할 수 있다. 예를 들어, 상황 인식 시스템(502)은 (예를 들면, 컴퓨팅 디바이스(520)의 하나 이상의 햅틱 피드백 센서에 기초한) 맞춤화된 경보 데이터를 컴퓨팅 디바이스(520)에 제공할 수 있다. 센서 데이터(506) 및 압력 센서 데이터(512)를 식별하기 위해 컴퓨팅 디바이스(520)의 경보 데이터와 햅틱 피드백 센서(518)의 경보 데이터가 짝을 이룰 수 있다. 게다가, 상황 인식 시스템(502)은 오디오 출력, 시각적 출력, 광 출력, 또는 컴퓨팅 디바이스(520)의 임의의 다른 출력을 활성화시키기 위해 맞춤화된 경보 데이터를 제공할 수 있다. 예를 들어, 컴퓨팅 디바이스(520)는 디스플레이, 라이트(들)(예를 들면, 발광 다이오드들(LED들)), 및/또는 스피커를 포함할 수 있다. 상황 인식 시스템(502)은, 컴퓨팅 디바이스(520)의 디스플레이 및/또는 스피커를 통해, 오디오 출력, 시각적 출력, 광 출력 등을 제공할 수 있다. 게다가, 오디오 출력, 시각적 출력, 광 출력 등이 햅틱 피드백 센서(518)에 의해 제공되는 햅틱 피드백에 링크되고/되거나 그와 연관될 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 경보 데이터(516)를 컴퓨팅 디바이스(520)에 제공하지 않을 수 있다.
상황 인식 시스템(502)이 보다 적은, 보다 많은, 또는 상이한 컴포넌트들을 포함할 수 있다는 것이 이해될 것이다. 예를 들어, 상황 인식 시스템(502)은 센서 데이터(506)에 대해 상이한 프로세싱 기능들을 수행하고/하거나 상이한 센서들로부터의 센서 데이터(506)를 프로세싱하는 다수의 데이터 프로세서들(508)을 포함할 수 있다. 게다가, 상황 인식 시스템(502)은 경보 데이터를 다수의 컴퓨팅 디바이스들에 제공할 수 있다.
예시적인 햅틱 피드백 센서 패턴들
도 6은 예시적인 햅틱 피드백 센서 패턴들을 예시하는 다이어그램(600)이다. 예를 들어, 다이어그램(600)은 매핑 데이터를 통해 특정 센서 데이터 및/또는 압력 센서 데이터에 각각 매핑되는 복수의 햅틱 피드백 센서 패턴들을 포함한다. 햅틱 피드백 센서 패턴들은 하나 이상의 햅틱 피드백 센서 패턴 그룹을 포함할 수 있다. 예를 들어, 하나 이상의 햅틱 피드백 센서 패턴 그룹은 적어도 제1 패턴 그룹(602), 제2 패턴 그룹(604), 및 제3 패턴 그룹(606)을 포함할 수 있다. 하나 이상의 햅틱 피드백 센서 패턴 그룹의 각각의 햅틱 피드백 센서 패턴은 햅틱 피드백 센서들의 활성화의 고유한 조합에 대응할 수 있다.
게다가, 시스템은 각각의 햅틱 피드백 센서 패턴을 특정 차량 경보에 매핑할 수 있다. 일부 경우에, 시스템은 각각의 햅틱 피드백 센서 패턴을 특정 센서 데이터, 특정 환경 데이터 및/또는 특정 압력 센서 데이터에 매핑할 수 있다. 이 시스템은 햅틱 피드백 센서들의 매핑에 기초하여 매핑 데이터를 생성할 수 있다. 일부 실시예들에서, 매핑 데이터는 특정 사용자 그룹, 특정 사용자, 특정 차량에 위치하는 특정 햅틱 피드백 센서 그룹 등에 대해 맞춤화될 수 있다. 예를 들어, 이 시스템은 사용자와 연관된 데이터(예를 들면, 사용자 위치, 사용자 그룹화, 사용자 프로필)를 식별하고 사용자와 연관된 매핑 데이터를 식별한다. 게다가, 제1 감각 장애가 있는 사용자들은 제2 감각 장애가 있는 사용자들과 상이한 매핑 데이터와 연관될 수 있다. 예를 들어, 청각 감각 장애가 있는 사용자들은 센서 데이터 및/또는 압력 센서 데이터를 햅틱 피드백 센서 패턴들 및 시각적 출력에 매핑하는 매핑 데이터와 연관될 수 있고, 시각 감각 장애가 있는 사용자들은 센서 데이터 및/또는 압력 센서 데이터를 햅틱 피드백 센서 패턴들 및 청각적 출력에 매핑하는 매핑 데이터와 연관될 수 있다.
일부 실시예들에서, 사용자는, 사용자 컴퓨팅 디바이스를 통해, 햅틱 피드백 센서 패턴들 및/또는 햅틱 피드백 센서 패턴 그룹들을 정의할 수 있다. 예를 들어, 사용자는 특정 센서 데이터 및/또는 특정 압력 센서 데이터에 대한 특정 햅틱 피드백 센서 패턴을 정의할 수 있다. 게다가, 사용자 정의 특정 햅틱 피드백 센서 패턴에 기초하여, 햅틱 피드백 센서 패턴은 센서 데이터 및/또는 압력 센서 데이터에 매핑될 수 있다. 일부 실시예들에서, 시스템은 햅틱 피드백 센서 패턴들을 센서 데이터 및/또는 압력 센서 데이터에 매핑할 수 있고 사용자는 이전 매핑을 수정할 수 있다.
햅틱 피드백 센서 패턴들을 정의하기 위해, 사용자는 특정 햅틱 피드백 센서들이 햅틱 피드백을 제공하는 방법을 정의할 수 있다. 게다가, 사용자는 어느 햅틱 피드백 센서들이 피드백을 제공하는지, 햅틱 피드백 센서들이 피드백을 제공하는 방법, 햅틱 피드백 센서들로부터의 피드백의 순서, 각각의 햅틱 피드백 센서의 활성화를 위한 시간 기간 등을 정의할 수 있다. 사용자는, 제1 시간에, 차량 내의 제1 위치에 있는 제1 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것, 제2 시간에, 차량 내의 제2 위치에 있는 제2 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것, 및, 제3 시간에, 차량 내의 제3 위치에 있는 제3 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것을 포함하는 햅틱 피드백 센서 패턴을 정의할 수 있다. 상이한 시간들에 활성화되는 제1 적어도 하나의 햅틱 피드백 센서, 제2 적어도 하나의 햅틱 피드백 센서 및 제3 적어도 하나의 햅틱 피드백 센서는 동일하거나 상이한 위치들에 있는 동일하거나 상이한 센서들일 수 있다. 햅틱 피드백 센서 패턴이 보다 많은, 보다 적은 또는 상이한 햅틱 피드백 센서들의 활성화를 포함할 수 있다는 것이 이해될 것이다. 일부 실시예들에서, 햅틱 피드백 센서 패턴은 하나 이상의 햅틱 피드백 센서를 동시에 활성화시키는 것을 포함할 수 있다. 예를 들어, 햅틱 피드백 센서 패턴은 다수의 햅틱 피드백 센서들을 동시에 활성화시키는 것을 포함할 수 있다.
일부 경우에, 이 시스템은 햅틱 피드백 센서 패턴들 및/또는 햅틱 피드백 센서 패턴 그룹들을 예시하는 사용자 인터페이스를 생성할 수 있다. 사용자 인터페이스는 대화형일 수 있고 사용자가 특정 센서 데이터, 환경 데이터, 및/또는 압력 센서 데이터에 대한 맞춤화된 햅틱 피드백 센서 패턴을 정의하는 것을 가능하게 할 수 있다. 예를 들어, 사용자는 시스템이 센서 데이터를 사용하여 차량이 목적지에 접근하고 있다고 결정하는 것에 기초하여 그리고 시스템이 압력 센서 데이터를 사용하여 승객의 위치 및/또는 유형을 식별하는 것에 기초하여 특정 햅틱 피드백 패턴을 식별할 수 있다.
각각의 햅틱 피드백 센서 패턴은 방향 비순환 그래프(directed acyclic graph)에 매핑될 수 있다. 방향 비순환 그래프는 다양한 햅틱 피드백 센서들을 식별해 줄 수 있고 햅틱 피드백 센서 패턴에 대응하는 햅틱 피드백 센서들의 서브세트의 활성화를 추가로 식별해 줄 수 있다.
도 6의 예에서, 햅틱 피드백 센서 패턴 그룹들은 제1 햅틱 피드백 센서 패턴 그룹(602)을 포함한다. 제1 그룹(602)은 차량의 환경 내의 랜드마크(예를 들면, 장애물)와 연관된 특정 센서 데이터 및/또는 환경 데이터에 각각 매핑되는 햅틱 피드백 센서 패턴들을 포함할 수 있다. 예를 들어, 제1 그룹(602)의 각각의 햅틱 피드백 센서 패턴은 랜드마크와 연관된 위치(예를 들면, 방향 성분)에 각각 매핑되는 특정 햅틱 피드백 센서 패턴을 식별해 줄 수 있다.
비제한적인 예로서, 제1 그룹(602)은 랜드마크의 전방 우측 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제1 햅틱 피드백 센서 패턴(608), 랜드마크의 후방 우측 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제2 햅틱 피드백 센서 패턴(610), 랜드마크의 전방 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제3 햅틱 피드백 센서 패턴(612), 랜드마크의 후방 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제4 햅틱 피드백 센서 패턴(614), 랜드마크의 전방 좌측 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제5 햅틱 피드백 센서 패턴(616), 랜드마크의 후방 좌측 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제6 햅틱 피드백 센서 패턴(618), 랜드마크의 우측 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제7 햅틱 피드백 센서 패턴(620), 및 랜드마크의 좌측 방향을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제8 햅틱 피드백 센서 패턴(622)을 포함할 수 있다.
햅틱 피드백 센서 패턴 그룹들은 제2 햅틱 피드백 센서 패턴 그룹(604)을 더 포함한다. 제2 그룹(604)은 차량과 연관된 환경 내의 특정 특징물의 존재에 각각 매핑되는 햅틱 피드백 센서 패턴들을 포함할 수 있다. 예를 들어, 제2 그룹(604)의 각각의 햅틱 피드백 센서 패턴은 특정 특징물의 존재에 각각 매핑되는 특정 햅틱 피드백 센서 패턴을 식별해 줄 수 있다. 예를 들어, 특정 특징물은 다른 차량, 인간, 장애물(예를 들면, 연석, 표지판, 나무, 덤불), 벽, 또는 차량과 연관된 환경 내의 임의의 다른 특징물을 포함할 수 있다. 게다가, 제2 그룹(604)의 각각의 햅틱 피드백 센서 패턴은 차량에서 하차하는 방법을 승객에게 표시하는 데 사용될 수 있다. 예를 들어, 제2 그룹(604)의 특정 햅틱 피드백 센서 패턴은 차량의 특정 측면에 인접하여 연석이 존재하는 것에 기초하여 차량의 해당 측면에서 하차하도록 승객에게 표시할 수 있다. 제2 그룹(604)은 차량의 좌측에 연석이 존재하는 것을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제1 햅틱 피드백 센서 패턴(624), 차량의 우측에 연석이 존재하는 것을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제2 햅틱 피드백 센서 패턴(626), 및 차량의 전방 방향에 있는 정지 표지판의 존재를 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제3 햅틱 피드백 센서 패턴(628)을 포함할 수 있다.
햅틱 피드백 센서 패턴 그룹들은 제3 햅틱 피드백 센서 패턴 그룹(606)을 더 포함한다. 제3 그룹(606)은 차량 또는 차량 컴포넌트의 상태에 각각 매핑되는 햅틱 피드백 센서 패턴들을 포함할 수 있다. 예를 들어, 제3 그룹(606)의 각각의 햅틱 피드백 센서 패턴은 차량의 특정 상태에 각각 매핑되는 특정 햅틱 피드백 센서 패턴을 식별해 줄 수 있다. 예를 들어, 차량의 상태는 차량이 방향 전환하는 것, 차량이 가속하는 것, 차량이 시동을 거는 것, 차량이 제동하는 것, 차량이 과속 방지턱을 넘어 운전하는 것, 차량이 길가에 차를 세우는 것, 차량의 윈드실드 와이퍼들의 활성화, 차량의 특정 라이트들의 활성화, 차량이 연료 부족임을 식별해 주는 차량의 연료 부족 식별등(identifier)(예를 들면, 연료 부족 라이트)의 활성화, 차량이 충전 부족임을 식별해 주는 차량의 충전 부족 식별등의 활성화, 차량의 엔진 점검 식별등의 활성화, 안전 벨트의 활성화 및/또는 비활성화, 자율 주행 운전 시스템의 활성화, 차량의 시트 상에 개인 소지품이 존재하는 것, 및/또는 차량의 임의의 다른 상태를 포함할 수 있다. 제3 그룹(606)은 전방 방향으로의 차량의 이동을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제1 햅틱 피드백 센서 패턴(630), 좌측 방향으로의 차량의 이동을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제2 햅틱 피드백 센서 패턴(632), 후방 방향으로의 차량의 이동을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제3 햅틱 피드백 센서 패턴(634), 및 우측 방향으로의 차량의 이동을 식별해 주기 위한 하나 이상의 햅틱 피드백 센서의 활성화를 식별해 주는 제4 햅틱 피드백 센서 패턴(636)을 포함할 수 있다.
도 6이 햅틱 피드백을 언급하지만, 보다 많은, 보다 적은 또는 상이한 유형들의 피드백 또는 출력이 제공될 수 있다는 것이 이해될 것이다. 예를 들어, 도 6에서 식별되는 센서 패턴들에 기초하여 발광 다이오드들(LED들)을 사용하는 LED 피드백 또는 출력이 제공될 수 있다. 일부 경우에, 이 시스템은 햅틱 피드백 대신에 또는 햅틱 피드백과 결합하여 LED 피드백을 제공할 수 있다. 그에 따라, 햅틱 피드백 센서들을 배치하고 이를 사용하여 피드백을 제공하는 것에 관련된 본 명세서에서의 설명은 LED들을 배치하고 이를 사용하여 피드백을 제공하는 것 등에 유사하게 사용될 수 있다.
햅틱 피드백 센서들의 활성화
도 7은 차량에 의해 식별되는 센서 데이터, 환경 데이터, 및/또는 압력 센서 데이터에 기초하여 활성화될 수 있는 하나 이상의 햅틱 피드백 센서(708, 710, 712)를 포함하는 차량의 내부의 예시적인 환경(700)을 예시한다. 차량은 차량의 승객(예를 들면, 인간 승객 또는 동물 승객)에게 햅틱 피드백을 제공하기 위해 하나 이상의 햅틱 피드백 센서를 포함할 수 있다. 예를 들어, 차량은 획득된 센서 데이터 및/또는 환경 데이터의 표시를 제공하기 위해 하나 이상의 햅틱 피드백 센서(708, 710, 712)의 서브세트를 활성화시킬 수 있다.
도 7의 예시된 예에서, 환경(700)은 차량의 내부의 일 부분을 포함한다. 차량은 복수의 상이한 특성들을 포함할 수 있다. 예를 들어, 차량은 다수의 시트들, 다수의 도어들 등을 포함할 수 있다. 도 7에서 알 수 있는 바와 같이, 차량은 2 개의 시트와 2 개의 도어로 이루어진 1 열을 포함한다. 차량이 보다 많은, 보다 적은 또는 상이한 특성들을 포함할 수 있다는 것이 이해될 것이다. 예를 들어, 차량은 다수의 시트들과 4 개의 도어를 각각 포함하는 다수의 열들을 포함할 수 있다.
예시된 환경(700)은 차량의 특정 위치에 위치하는 인간 승객(702)(예를 들면, 인간 승객(702)은 차량의 제1 시트에 착석해 있을 수 있음) 및 차량의 제2 위치에 위치하는 동물 승객(704)(예를 들면, 도우미 동물)(예를 들면, 동물 승객(704)은 차량의 제2 시트에 인접한 바닥판에 위치할 수 있음)을 포함한다. 게다가, 예시된 환경(700)은 차량의 제3 위치에 위치하는 물품(706)(예를 들면, 배낭, 식료품, 수하물, 또는 임의의 다른 무생물 대상체들)(예를 들면, 물품(706)은 차량의 제2 시트에 위치할 수 있음)을 포함한다. 환경(700)이 보다 많은, 보다 적은 또는 상이한 승객들(예를 들면, 인간 승객들 또는 동물 승객들) 또는 물품들을 포함할 수 있다는 것이 이해될 것이다.
차량은 차량 전체에 걸쳐 분포되는 복수의 센서들을 더 포함할 수 있다. 게다가, 차량은 특정 센서 데이터에 매핑되는 청각적 데이터, 시각적 데이터, 햅틱 피드백 등의 출력을 위한 복수의 출력 디바이스들을 포함할 수 있다. 도 7의 예에서, 차량은 제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712)을 포함할 수 있다.
제1 복수의 센서들(708)은 차량의 하나 이상의 시트에 위치하는 센서들을 포함할 수 있다. 게다가, 제1 복수의 센서들(708)은 차량의 시트 및 연관된 시트 등받이에 위치하는 센서들을 포함할 수 있다. 제2 복수의 센서들(710)은 차량의 하나 이상의 도어에 위치하는 센서들을 포함할 수 있다. 예를 들어, 제2 복수의 센서들(710)은 차량의 팔걸이에 위치하는 센서들을 포함할 수 있다. 제3 복수의 센서들(712)은 차량의 바닥판에 위치하는 센서들을 포함할 수 있다. 차량이 차량 전체에 걸쳐 분포되는 보다 많은, 보다 적은 또는 상이한 센서들을 포함할 수 있다는 것이 이해될 것이다. 예를 들어, 차량은 차량의 센터 콘솔, 대시보드 등에 위치하는 센서들을 포함할 수 있다.
제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712) 각각은 적어도 하나의 햅틱 피드백 센서 및/또는 적어도 하나의 압력 센서를 포함할 수 있다. 예를 들어, 제1 센서 그룹(708)은 차량의 시트에 위치하는 하나 이상의 압력 센서 및 차량의 시트 및 시트 등받이에 위치하는 하나 이상의 햅틱 피드백 센서를 포함할 수 있다. 제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712)이 보다 많은, 보다 적은, 또는 상이한 유형들의 센서들을 포함할 수 있다는 것이 이해될 것이다.
제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712) 중 복수의 압력 센서들은 압력 센서 데이터를 제공할 수 있다. 예를 들어, 제1 복수의 센서들(708)은 차량의 제1 시트 및 차량의 제2 시트에 대한 압력 센서 데이터를 제공할 수 있고, 제2 복수의 센서들(710)은 차량의 제1 바닥판 및 차량의 제2 바닥판에 대한 압력 센서 데이터를 제공할 수 있으며, 제3 복수의 센서들(712)은 차량의 제1 팔걸이 및 차량의 제2 팔걸이에 대한 압력 센서 데이터를 제공할 수 있다. 압력 센서 데이터에 기초하여, 시스템은 인간 승객이 차량의 제1 시트에 위치하고 무생물 대상체가 차량의 제2 시트에 위치한다는 것을 식별할 수 있다. 예를 들어, 제1 팔걸이와 연관된 중량, 제1 시트와 연관된 중량, 및 제1 바닥판과 연관된 중량을 식별해 주는 압력 센서 데이터에 기초하여, 이 시스템은 인간 승객(702)이 제1 시트에 착석해 있다고 결정할 수 있다. 게다가, 제2 팔걸이와 연관된 중량, 제2 시트와 연관된 중량, 및 제2 바닥판과 연관된 중량을 식별해 주는 압력 센서 데이터에 기초하여, 이 시스템은 물품(706)이 제2 시트에 위치하고 동물 승객(704)이 제2 바닥판에 위치한다고 결정할 수 있다.
게다가, 제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712)의 햅틱 피드백 센서들의 특정 조합들은 매핑 데이터를 사용하여 특정 센서 데이터에 매핑될 수 있다. 예를 들어, 매핑 데이터는 차량에 위치하는 햅틱 피드백 센서들을 식별해 주고 특정 센서 데이터에 대한 햅틱 피드백 센서들의 활성화의 패턴 및/또는 조합을 식별해 줄 수 있다. 햅틱 피드백 센서들 각각은 모터(예를 들면, 진동 모터)를 포함할 수 있고, 경보 데이터를 수신할 시에, 모터로 하여금 수신된 경보 데이터에 기초하여 차량의 승객에게 햅틱 피드백(예를 들면, 진동)을 제공하게 할 수 있다.
일부 실시예들에서, 제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712) 각각은 동일한 센서 데이터에 기초하여 상이한 경보 데이터에 매핑될 수 있다. 예를 들어, 제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712) 각각은 수신된 센서 데이터에 기초하여 특정 햅틱 피드백을 출력할 수 있다. 다른 실시예들에서, 제1 복수의 센서들(708), 제2 복수의 센서들(710), 및 제3 복수의 센서들(712) 중 하나 이상은 수신된 센서 데이터에 기초하여 동일한 햅틱 피드백을 출력할 수 있다. 예를 들어, 제1 복수의 센서들(708) 및 제3 복수의 센서들(712)은 획득된 센서 데이터에 기초하여 차량 내의 상이한 위치들에서 동일한 햅틱 피드백을 출력할 수 있다.
도 8은 차량의 바닥 및 시트에 대한 햅틱 피드백 센서 패턴들의 비제한적인 예들을 예시한다. 예시된 예에서, 제1 햅틱 피드백 센서 패턴 세트(802 내지 808)는 차량의 바닥에 매핑되고 제2 햅틱 피드백 센서 패턴 세트(812 내지 818)는 차량의 시트에 매핑된다. 제1 햅틱 피드백 센서 패턴 세트는 차량 바닥의 임의의 위치에 매핑될 수 있고 제2 햅틱 피드백 센서 패턴 세트는 차량의 임의의 시트에 매핑될 수 있다. 예시된 예에서, 제1 햅틱 피드백 센서 패턴 세트의 제1 패턴(802) 및 제2 햅틱 피드백 센서 패턴 세트의 제1 패턴(812)은 대상체가 차량 전방에 위치한다는 것을 식별해 준다. 제1 햅틱 피드백 센서 패턴 세트의 제2 패턴(804) 및 제2 햅틱 피드백 센서 패턴 세트의 제2 패턴(814)은 차량이 속력을 낮추고 있다는 것을 식별해 준다. 제1 햅틱 피드백 센서 패턴 세트의 제3 패턴(806) 및 제2 햅틱 피드백 센서 패턴 세트의 제3 패턴(816)은 대상체가 차량의 전방 우측에 위치한다는 것을 표시한다. 제1 햅틱 피드백 센서 패턴 세트의 제4 패턴(808) 및 제2 햅틱 피드백 센서 패턴 세트의 제4 패턴(818)은 차량이 목적지에 접근하고 있다는 것을 표시한다. 주어진 예들에 대해 보다 적은 또는 보다 많은 패턴들이 사용될 수 있고/있거나 설명된 패턴들이 상이한 정보를 표시하기 위해 사용될 수 있다는 것이 이해될 것이다. 추가적으로, 패턴들(802 내지 808)이 제공된 예들과 상이한 방식으로 패턴들(812 내지 818)과 매칭될 수 있다는 것이 이해될 것이다.
데이터 프로세서의 예시적인 흐름 다이어그램
도 9는 하나 이상의 프로세서(예를 들면, 상황 인식 시스템(502)의 하나 이상의 프로세서)에 의해 구현되는 루틴(900)의 예를 예시하는 흐름 다이어그램이다. 도 9에 예시된 흐름 다이어그램은 예시 목적으로만 제공된다. 도 9에 예시된 루틴의 단계들 중 하나 이상이 제거될 수 있거나 단계들의 순서가 변경될 수 있다는 것이 이해될 것이다. 게다가, 명확한 예를 예시하기 위해, 하나 이상의 특정 시스템 컴포넌트가 데이터 흐름 스테이지들 각각 동안 다양한 동작들을 수행하는 맥락에서 기술된다. 그렇지만, 시스템 컴포넌트들에 걸친 프로세싱 단계들의 다른 시스템 배열들 및 분포들이 사용될 수 있다.
블록(902)에서, 상황 인식 시스템(502)은 차량과 연관된 센서 데이터를 수신한다. 센서 데이터는 차량의 내부 환경 또는 차량의 외부 환경을 감지하는 센서들과 연관될 수 있다. 예를 들어, 본원에 기술된 바와 같이, 센서 데이터는 카메라와 연관된 카메라 데이터, 라이다 디바이스와 연관된 라이다 데이터, 레이더 디바이스와 연관된 레이더 데이터를 포함할 수 있다. 일부 그러한 경우에, 상황 인식 시스템(502)은 카메라 이미지 센서, 라이다 센서, 레이더 센서, 압력 센서, 가속도계, 자이로스코프 등으로부터 센서 데이터를 수신할 수 있다. 본원에 기술된 바와 같이, 센서 데이터는 차량의 안전벨트의 상태(예를 들면, 버클이 채워져 있음(buckled) 또는 버클이 풀려 있음(unbuckled))와 연관된 안전벨트 버클 데이터, 윈드실드 와이퍼들의 상태(예를 들면, 켜짐/꺼짐, 속도 등)와 연관된 윈드실드 와이퍼 데이터, 차량의 하나 이상의 라이트의 상태(예를 들면, 켜짐/꺼짐)와 연관된 라이트 데이터, 차량의 속도와 연관된 속도 데이터, 차량의 위치와 연관된 위치 데이터, 차량의 엔진의 상태(예를 들면, 켜짐/꺼짐, RPM 등)와 연관된 엔진 데이터, 차량의 가속도와 연관된 가속도 데이터, 차량의 배향(예를 들면, 북쪽, 남쪽, 동쪽, 서쪽 등)과 연관된 배향 데이터, 차량의 트렁크(예를 들면, 열림, 닫힘)와 연관된 트렁크 데이터, 차량의 창문의 상태(예를 들면, 열림/닫힘, 열린 정도 등)와 연관된 창문 데이터를 포함할 수 있다.
일부 경우에, 센서 데이터는 날씨 센서 데이터를 포함할 수 있다. 날씨 센서 데이터는 차량의 위치에서의 날씨와 연관될 수 있다. 예를 들어, 날씨 센서 데이터는 차량의 위치에서의 날씨가 맑음, 흐림, 비 등임이라는 것을 식별해 줄 수 있다. 게다가, 센서 데이터는 차량의 위치에서의 온도를 식별해 주는 온도 데이터를 포함할 수 있다. 예를 들어, 온도 데이터는 차량의 위치에서의 온도가 특정 임계치(예를 들면, 75도) 미만(또는 초과)라는 것을 식별해 줄 수 있다. 센서 데이터는 차량의 환경과 연관된 하루 중 시간(time of day)을 식별해 주는 하루 중 시간 데이터를 또한 포함할 수 있다. 게다가, 센서 데이터는 차량의 환경과 연관된 교통(예를 들면, 차량 교통 또는 인간 교통)을 식별해 주는 교통 데이터를 또한 포함할 수 있다.
일부 경우에, 센서 데이터는 속력 센서 데이터를 포함할 수 있다. 속력 센서 데이터는 차량의 속력 센서의 속력과 연관될 수 있다. 예를 들어, 속력 센서 데이터는 특정 속력(예를 들면, 시속 75 마일)을 식별해 줄 수 있다. 게다가, 센서 데이터는 위치 센서 데이터를 포함할 수 있다. 위치 센서 데이터는 차량의 위치와 연관될 수 있다. 예를 들어, 위치 센서 데이터는 특정 위치(예를 들면, 특정 위치와 연관된 좌표들)를 식별해 줄 수 있다. 게다가, 센서 데이터는 가속도계 데이터를 포함할 수 있다. 가속도계 데이터는 차량의 가속도계의 가속도와 연관될 수 있다. 예를 들어, 가속도계 데이터는 특정 가속도(예를 들면, 초당 6 마일)를 식별해 줄 수 있다. 게다가, 센서 데이터는 배향 데이터를 포함할 수 있다. 배향 데이터는 차량의 자이로스코프의 배향과 연관될 수 있다. 예를 들어, 배향 데이터는 자이로스코프의 특정 배향(예를 들면, 북쪽)을 식별해 줄 수 있다.
블록(904)에서, 상황 인식 시스템(502)은 센서 데이터에 적어도 부분적으로 기초하여 차량 경보를 결정한다. 게다가, 상황 인식 시스템(502)은 차량의 승객에 대한 차량 경보를 결정할 수 있다. 상황 인식 시스템(502)은 차량 경보와 연관된 방향 성분을 더 식별할 수 있다. 예를 들어, 방향 성분은 센서 데이터와 연관된 위치 및/또는 센서 데이터를 생성하는 센서와 연관된 위치를 식별해 줄 수 있다.
일부 경우에, 차량 경보를 결정하기 위해, 상황 인식 시스템(502)은 센서 데이터에 기초하여 차량의 환경과 연관된 환경 데이터를 결정할 수 있다. 환경 데이터는 차량 외부의 환경, 차량 내부의 환경, 및/또는 차량 또는 차량 컴포넌트의 상태에 관련된 데이터를 포함할 수 있다.
예를 들어, 이미징 센서(예를 들면, 라이다, 레이더, 카메라 등)와 연관된 이미지 데이터를 사용하여, 이 시스템은 차량의 환경에 있는 대상체를 식별해 주는 환경 데이터를 결정할 수 있다. 이 시스템은 환경에 있는 식별된 대상체에 적어도 부분적으로 기초하여 차량 경보를 결정할 수 있다. 게다가, 상황 인식 시스템(502)은 대상체의 대상체 유형 및/또는 차량을 기준으로 한 대상체의 위치를 식별할 수 있다. 예를 들어, 대상체의 대상체 유형은 보행자, 차량, 동물, 랜드마크, 출발지, 목적지 등을 포함할 수 있다.
다른 비제한적인 예로서, 이 시스템(502)은 센서 데이터에 기초하여 차량 또는 차량의 컴포넌트의 상태를 식별해 주는 환경 데이터를 결정할 수 있다. 예를 들어, 차량의 상태는 차량의 속력, 차량의 윈드실드 와이퍼의 상태, 차량의 라이트의 상태, 차량의 엔진의 상태, 차량의 센서의 상태, 차량의 컴포넌트의 상태 등을 식별해 줄 수 있다. 예를 들어, 차량의 상태는 차량의 안전벨트 센서의 상태를 식별해 줄 수 있다. 차량의 상태는 특정 컴포넌트가 체결되어(engaged) 있는지, 해제되어(disengaged) 있는지, 켜져 있는지, 꺼져 있는지, 체결 레벨(예를 들면, 특정 속력), 수리 상태 등을 식별해 줄 수 있다. 예를 들어, 차량의 상태는 특정 컴포넌트(예를 들면, 캠축 위치 센서, 전구, 타이어)가 수리 또는 교체를 필요한다는 것을 나타낼 수 있다.
일부 경우에, 상황 인식 시스템(502)은 차량의 결정된 위치가 한 위치(예를 들면, 차량의 목적지, 차량의 출발지 위치 등)를 기준으로 임계 거리를 충족시킨다고 결정하는 것에 의해 환경 데이터를 결정할 수 있다. 예를 들어, 상황 인식 시스템(502)은 센서 데이터를 사용하여 차량이 목적지에 접근하고 있다는 것을 나타내는 환경 데이터를 결정할 수 있다. 차량이 특정 위치로부터 임계 거리 내에 있다고 결정할 시에, 상황 인식 시스템(502)은 해당 결정과 연관된 차량 경보를 결정할 수 있다.
일부 경우에, 이 시스템(502)은 센서 데이터 및/또는 환경 데이터를 특정 차량 경보에 매핑하는 매핑을 사용할 수 있다. 본원에 기술된 바와 같이, 매핑은 들어오는 센서 데이터 및/또는 결정된 환경 데이터의 하나 이상의 조합에 대한 차량 경보를 식별해 줄 수 있다.
특정 경우에, 상황 인식 시스템(502)은 특정 차량 경보를 적어도 하나의 햅틱 피드백 센서에 매핑하는 경보-센서 매핑을 포함할 수 있다. 게다가, 상황 인식 시스템(502)은 복수의 차량 경보들 및 복수의 햅틱 피드백 센서들을 식별할 수 있다. 상황 인식 시스템(502)(또는 별도의 시스템)은 특정 차량 경보들을 복수의 햅틱 피드백 센서들의 특정 서브세트에 매핑하는 복수의 매핑들을 획득 및/또는 생성할 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 승객과 연관된 컴퓨팅 디바이스로부터 매핑을 획득할 수 있다.
일부 실시예들에서, 상황 인식 시스템(502)은 차량의 압력 센서와 연관된 압력 센서 데이터를 수신할 수 있다. 게다가, 상황 인식 시스템(502)은 압력 센서 데이터에 기초하여 승객의 위치를 결정할 수 있고 차량 내의 복수의 위치들로부터의 승객의 위치에 기초하여 적어도 하나의 햅틱 피드백 센서를 식별할 수 있다. 예를 들어, 복수의 햅틱 피드백 센서들은 차량 내의 복수의 위치들에 위치할 수 있고 상황 인식 시스템(502)은 승객의 위치에 기초하여 적어도 하나의 햅틱 피드백 센서를 식별할 수 있다.
게다가, 상황 인식 시스템(502)은 압력 센서 데이터에 기초하여 승객의 승객 유형(예를 들면, 인간 승객, 동물 승객 등)을 식별할 수 있다. 상황 인식 시스템(502)은 승객의 승객 유형 및/또는 승객의 위치에 기초하여 차량 경보를 결정할 수 있다. 예를 들어, 인간 승객에 대한 차량 경보는 동물 승객에 대한 차량 경보와 상이할 수 있다. 게다가, 인간 승객에 대한 차량 경보는 특정 경보 데이터에 매핑될 수 있고, 동물 승객에 대한 차량 경보는 일반 경보 데이터에 매핑될 수 있다.
블록(906)에서, 상황 인식 시스템(502)은 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시킨다. 예를 들어, 상황 인식 시스템(502)은 차량 경보에의 적어도 하나의 햅틱 피드백 센서의 매핑에 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시킬 수 있다. 차량 경보는 특정 경보 데이터에 매핑될 수 있고 상황 인식 시스템(502)은 경보 데이터를 적어도 하나의 햅틱 피드백 센서에 제공하는 것에 의해 적어도 하나의 햅틱 피드백 센서를 활성화시킬 수 있다. 게다가, 상황 인식 시스템(502)은 차량 경보에 기초하여 미리 정의된 패턴에 따라 복수의 햅틱 피드백 센서들을 활성화시킬 수 있다. 적어도 하나의 햅틱 피드백 센서는 차량의 바닥(예를 들면, 바닥판), 차량의 시트, 차량의 시트 등받이, 차량의 헤드레스트, 차량의 팔걸이, 차량의 도어, 차량의 콘솔, 차량의 조향 휠, 차량의 루프, 차량의 대시보드, 또는 차량 내의 임의의 다른 위치 중 적어도 하나에 위치하는 적어도 하나의 햅틱 피드백 센서를 포함할 수 있다. 일부 실시예들에서, 상황 인식 시스템(502)은 차량 경보와 연관된 방향 성분, 대상체의 대상체 유형, 대상체의 위치, 임계 거리를 충족시키는 차량의 결정된 위치, 승객의 위치, 승객의 승객 유형 등에 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시킬 수 있다.
일부 실시예들에서, 상황 인식 시스템(502)은 사용자 컴퓨팅 디바이스의 햅틱 피드백 센서에의 차량 경보의 매핑을 식별할 수 있다. 예를 들어, 햅틱 피드백 센서는 승객과 연관된 사용자 컴퓨팅 디바이스의 일부를 형성할 수 있다. 게다가, 상황 인식 시스템(502)은 매핑에 기초하여 사용자 컴퓨팅 디바이스의 햅틱 피드백 센서를 활성화시킬 수 있다. 예를 들어, 상황 인식 시스템(502)은 차량 경보를 사용자 컴퓨팅 디바이스에 전달할 수 있고 사용자 컴퓨팅 디바이스는 햅틱 피드백 센서를 활성화시킬 수 있다. 일부 실시예들에서, 사용자 컴퓨팅 디바이스의 햅틱 피드백 센서 및 적어도 하나의 햅틱 피드백 센서는 동일한 햅틱 피드백을 제공할 수 있다(예를 들면, 동일한 햅틱 피드백을 출력할 수 있다). 다른 실시예들에서, 사용자 컴퓨팅 디바이스의 햅틱 피드백 센서 및 적어도 하나의 햅틱 피드백 센서는 상이한 햅틱 피드백을 제공할 수 있다.
게다가, 상황 인식 시스템(502)은 오디오 데이터 및/또는 비디오 데이터에의 차량 경보의 매핑을 식별할 수 있다. 게다가, 상황 인식 시스템(502)은 컴퓨팅 디바이스(예를 들면, 차량의 컴퓨팅 디바이스, 사용자 컴퓨팅 디바이스 등)로 하여금 매핑에 기초하여 오디오 데이터 및/또는 비디오 데이터를 출력하게 할 수 있다.
루틴(900)이 상이한 센서 데이터를 사용하여 여러 번 반복될 수 있다는 것이 이해될 것이다. 일부 경우에, 상황 인식 시스템(502)은 다수의 센서들로부터 수신되는 다수의 센서 데이터 세트들에 대해 루틴(900)을 반복적으로 반복할 수 있다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.
본 개시의 다양한 추가적인 예시적인 실시예들은 다음 조항들에 의해 기술될 수 있다:
조항 1: 방법에 있어서,
적어도 하나의 프로세서를 사용하여, 차량과 연관된 센서 데이터를 수신하는 단계;
차량과 연관된 센서 데이터에 적어도 부분적으로 기초하여 차량의 승객에 대한 차량 경보를 결정하는 단계; 및
승객에 대한 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 방법.
조항 2: 조항 1에 있어서, 적어도 하나의 햅틱 피드백 센서는 차량의 바닥, 차량의 시트, 차량의 헤드레스트, 차량의 팔걸이, 차량의 도어, 차량의 조향 휠, 차량의 대시보드, 차량의 루프, 또는 차량의 콘솔 중 적어도 하나에 위치하는 적어도 하나의 햅틱 피드백 센서를 포함하는 것인 방법.
조항 3: 조항 1 또는 조항 2에 있어서, 센서 데이터는 카메라 데이터, 라이다 데이터 또는 레이더 데이터 중 적어도 하나를 포함하고, 센서 데이터는 또한, 카메라 이미지 센서, 라이다 센서, 레이더 센서, 압력 센서, 가속도계 또는 자이로스코프 중 적어도 하나와 연관되는 것인 방법.
조항 4: 조항 1 내지 조항 3 중 어느 한 조항에 있어서, 센서 데이터는 차량의 위치에서의 날씨와 연관된 날씨 센서 데이터를 포함하고, 차량의 승객에 대한 차량 경보를 결정하는 단계는 차량의 위치에서의 날씨에 적어도 부분적으로 기초하여 승객에 대한 차량 경보를 결정하는 단계를 포함하는 것인 방법.
조항 5: 조항 1 내지 조항 4 중 어느 한 조항에 있어서, 차량 경보와 연관된 방향 성분을 식별하는 단계를 더 포함하며, 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 차량 경보 및 차량 경보와 연관된 방향 성분에 적어도 부분적으로 더 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 것인 방법.
조항 6: 조항 1 내지 조항 5 중 어느 한 조항에 있어서, 차량의 승객에 대한 차량 경보를 결정하는 단계는 차량의 환경에 있는 대상체를 식별하는 단계 및 환경에 있는 대상체에 적어도 부분적으로 기초하여 승객에 대한 차량 경보를 결정하는 단계를 포함하는 것인 방법.
조항 7: 조항 6에 있어서, 차량의 승객에 대한 차량 경보를 결정하는 단계는 대상체의 대상체 유형 및 차량을 기준으로 한 대상체의 위치를 식별하는 단계 - 대상체의 대상체 유형은 보행자, 다른 차량, 동물 또는 랜드마크 중 적어도 하나를 포함함 -, 및 환경에 있는 대상체, 대상체의 대상체 유형, 및 대상체의 위치에 적어도 부분적으로 기초하여 승객에 대한 차량 경보를 결정하는 단계를 더 포함하는 것인 방법.
조항 8: 조항 1 내지 조항 7 중 어느 한 조항에 있어서, 차량의 승객에 대한 차량 경보를 결정하는 단계는 차량의 상태를 결정하는 단계를 포함하고, 차량의 상태는 차량의 속력의 상태, 차량의 윈드실드 와이퍼의 상태, 차량의 라이트의 상태, 또는 차량의 센서의 상태 중 적어도 하나를 포함하는 것인 방법.
조항 9: 조항 1 내지 조항 8 중 어느 한 조항에 있어서, 차량의 승객에 대한 차량 경보를 결정하는 단계는 차량의 결정된 위치가 목적지 위치를 기준으로 한 임계 거리를 충족시킨다고 결정하는 단계, 및 차량의 결정된 위치가 목적지 위치를 기준으로 한 임계 거리를 충족킨다고 결정하는 것에 적어도 부분적으로 기초하여 승객에 대한 차량 경보를 결정하는 단계를 포함하는 것인 방법.
조항 10: 조항 1 내지 조항 9 중 어느 한 조항에 있어서,
복수의 차량 경보들을 식별하는 단계 - 복수의 차량 경보들은 차량의 승객에 대한 차량 경보를 포함함 -;
복수의 햅틱 피드백 센서들을 식별하는 단계 - 복수의 햅틱 피드백 센서들은 적어도 하나의 햅틱 피드백 센서를 포함함 -; 및
복수의 매핑들을 생성하는 단계 - 복수의 매핑들의 각각의 매핑은 복수의 차량 경보들 중 특정 차량 경보를 복수의 햅틱 피드백 센서들의 특정 서브세트에 매핑하고, 복수의 매핑들은 적어도 하나의 햅틱 피드백 센서에의 차량의 승객에 대한 차량 경보의 매핑을 포함함 - 를 더 포함하는 방법.
조항 11: 조항 1 내지 조항 10 중 어느 한 조항에 있어서, 승객과 연관된 컴퓨팅 디바이스로부터 경보-센서 매핑을 획득하는 단계를 더 포함하며, 경보-센서 매핑은 복수의 차량 경보들과 복수의 햅틱 피드백 센서들 사이의 매핑들을 포함하고, 매핑들은 차량 경보와 적어도 하나의 햅틱 피드백 센서 사이의 적어도 하나의 매핑을 포함하며, 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 적어도 하나의 매핑에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 것인 방법.
조항 12: 조항 1 내지 조항 11 중 어느 한 조항에 있어서,
적어도 하나의 햅틱 피드백 센서에의 승객에 대한 차량 경보의 매핑을 식별하는 단계를 더 포함하며, 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 또한, 매핑을 식별하는 단계에 적어도 부분적으로 기초하는 것인 방법.
조항 13: 조항 12에 있어서, 매핑은 제1 매핑이고 적어도 하나의 햅틱 피드백 센서는 제1 햅틱 피드백 센서이며, 이 방법은:
사용자 컴퓨팅 디바이스의 제2 햅틱 피드백 센서에의 차량의 승객에 대한 차량 경보의 제2 매핑을 식별하는 단계; 및
제2 햅틱 피드백 센서에의 차량의 승객에 대한 차량 경보의 제2 매핑에 적어도 부분적으로 기초하여 제2 햅틱 피드백 센서를 활성화시키는 단계를 더 포함하는 방법.
조항 14: 조항 12 또는 조항 13에 있어서, 매핑은 제1 매핑이고, 이 방법은:
오디오 데이터 또는 비디오 데이터 중 적어도 하나에의 차량의 승객에 대한 차량 경보의 제2 매핑을 식별하는 단계; 및
오디오 데이터 또는 비디오 데이터 중 적어도 하나에의 차량의 승객에 대한 차량 경보의 제2 매핑에 적어도 부분적으로 기초하여 컴퓨팅 디바이스로 하여금 오디오 데이터 또는 비디오 데이터 중 적어도 하나를 출력하게 하는 단계를 더 포함하는 방법.
조항 15: 조항 1 내지 조항 14 중 어느 한 조항에 있어서, 적어도 하나의 햅틱 피드백 센서는 승객과 연관된 컴퓨팅 디바이스의 일부를 형성하고, 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 차량 경보를 승객과 연관된 컴퓨팅 디바이스에 전달하는 단계를 포함하며, 승객과 연관된 컴퓨팅 디바이스는 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것인 방법.
조항 16: 조항 1 내지 조항 15 중 어느 한 조항에 있어서,
적어도 하나의 프로세서를 사용하여, 차량의 압력 센서와 연관된 중량 데이터를 수신하는 단계;
중량 데이터에 적어도 부분적으로 기초하여 승객의 위치를 결정하는 단계; 및
승객의 위치에 적어도 부분적으로 기초하여 복수의 햅틱 피드백 센서들 중에서 적어도 하나의 햅틱 피드백 센서를 식별하는 단계 - 복수의 햅틱 피드백 센서들은 차량 내 복수의 위치들에 위치함 - 를 더 포함하며,
적어도 하나의 햅틱 피드백 센서는 승객의 위치를 식별하는 것에 적어도 부분적으로 기초하여 활성화되는 것인 방법.
조항 17: 조항 1 내지 조항 16 중 어느 한 조항에 있어서,
적어도 하나의 프로세서를 사용하여, 차량의 압력 센서와 연관된 중량 데이터를 수신하는 단계;
중량 데이터에 적어도 부분적으로 기초하여 승객의 위치를 결정하는 단계; 및
중량 데이터에 적어도 부분적으로 기초하여 승객의 승객 유형을 식별하는 단계를 더 포함하며,
승객에 대한 차량 경보를 결정하는 단계는 승객의 위치 및 승객의 승객 유형에 적어도 부분적으로 기초하여 승객에 대한 차량 경보를 결정하는 단계를 포함하고,
승객에 대한 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 승객의 위치에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 것인 방법.
조항 18: 조항 17에 있어서, 승객의 승객 유형을 식별하는 단계는 승객을 인간 또는 동물 중 적어도 하나로서 식별하는 단계를 포함하고, 인간에 대한 차량 경보는 동물에 대한 차량 경보와 상이한 것인 방법.
조항 19: 시스템에 있어서,
적어도 하나의 프로세서, 및
명령어들을 저장하는 적어도 하나의 비일시적 저장 매체를 포함하며, 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
차량과 연관된 센서 데이터를 수신하게 하고;
차량과 연관된 센서 데이터에 적어도 부분적으로 기초하여 차량의 승객에 대한 차량 경보를 결정하게 하며;
승객에 대한 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키게 하는 것인 시스템.
조항 20: 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체로서, 명령어들은, 프로세서를 포함하는 컴퓨팅 시스템에 의해 실행될 때, 컴퓨팅 시스템으로 하여금:
차량과 연관된 센서 데이터를 수신하게 하고;
차량과 연관된 센서 데이터에 적어도 부분적으로 기초하여 차량의 승객에 대한 차량 경보를 결정하게 하며;
승객에 대한 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키게 하는 것인 적어도 하나의 비일시적 저장 매체.

Claims (20)

  1. 방법에 있어서,
    적어도 하나의 프로세서를 사용하여, 차량과 연관된 센서 데이터를 수신하는 단계;
    상기 차량과 연관된 상기 센서 데이터에 적어도 부분적으로 기초하여 상기 차량의 승객에 대한 차량 경보를 결정하는 단계; 및
    상기 승객에 대한 상기 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 햅틱 피드백 센서는 상기 차량의 바닥, 상기 차량의 시트, 상기 차량의 헤드레스트, 상기 차량의 팔걸이, 상기 차량의 도어, 상기 차량의 조향 휠, 상기 차량의 대시보드, 상기 차량의 루프, 또는 상기 차량의 콘솔 중 적어도 하나에 위치하는 적어도 하나의 햅틱 피드백 센서를 포함하는 것인 방법.
  3. 제1항에 있어서, 상기 센서 데이터는 카메라 데이터, 라이다 데이터 또는 레이더 데이터 중 적어도 하나를 포함하고, 상기 센서 데이터는 또한, 카메라 이미지 센서, 라이다 센서, 레이더 센서, 압력 센서, 가속도계 또는 자이로스코프 중 적어도 하나와 연관되는 것인 방법.
  4. 제1항에 있어서, 상기 센서 데이터는 상기 차량의 위치에서의 날씨와 연관된 날씨 센서 데이터를 포함하고, 상기 차량의 승객에 대한 상기 차량 경보를 결정하는 단계는 상기 차량의 위치에서의 날씨에 적어도 부분적으로 기초하여 상기 승객에 대한 상기 차량 경보를 결정하는 단계를 포함하는 것인 방법.
  5. 제1항에 있어서, 상기 차량 경보와 연관된 방향 성분을 식별하는 단계를 더 포함하며, 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 상기 차량 경보 및 상기 차량 경보와 연관된 상기 방향 성분에 적어도 부분적으로 더 기초하여 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 것인 방법.
  6. 제1항에 있어서, 상기 차량의 승객에 대한 상기 차량 경보를 결정하는 단계는 상기 차량의 환경에 있는 대상체(object)를 식별하는 단계 및 상기 환경에 있는 상기 대상체에 적어도 부분적으로 기초하여 상기 승객에 대한 상기 차량 경보를 결정하는 단계를 포함하는 것인 방법.
  7. 제6항에 있어서, 상기 차량의 승객에 대한 상기 차량 경보를 결정하는 단계는, 상기 대상체의 대상체 유형 및 상기 차량을 기준으로 한 상기 대상체의 위치를 식별하는 단계 - 상기 대상체의 대상체 유형은 보행자, 다른 차량, 동물 또는 랜드마크 중 적어도 하나를 포함함 -, 및 상기 환경에 있는 상기 대상체, 상기 대상체의 대상체 유형, 및 상기 대상체의 위치에 적어도 부분적으로 기초하여 상기 승객에 대한 상기 차량 경보를 결정하는 단계를 더 포함하는 것인 방법.
  8. 제1항에 있어서, 상기 차량의 승객에 대한 상기 차량 경보를 결정하는 단계는 상기 차량의 상태를 결정하는 단계를 포함하고, 상기 차량의 상태는 상기 차량의 속력의 상태, 상기 차량의 윈드실드 와이퍼의 상태, 상기 차량의 라이트의 상태, 또는 상기 차량의 센서의 상태 중 적어도 하나를 포함하는 것인 방법.
  9. 제1항에 있어서, 상기 차량의 승객에 대한 상기 차량 경보를 결정하는 단계는, 상기 차량의 결정된 위치가 목적지 위치를 기준으로 한 임계 거리를 충족시킨다고 결정하는 단계, 및 상기 차량의 결정된 위치가 상기 목적지 위치를 기준으로 한 상기 임계 거리를 충족킨다고 결정하는 것에 적어도 부분적으로 기초하여 상기 승객에 대한 상기 차량 경보를 결정하는 단계를 포함하는 것인 방법.
  10. 제1항에 있어서,
    복수의 차량 경보들을 식별하는 단계 - 상기 복수의 차량 경보들은 상기 차량의 승객에 대한 상기 차량 경보를 포함함 -;
    복수의 햅틱 피드백 센서들을 식별하는 단계 - 상기 복수의 햅틱 피드백 센서들은 상기 적어도 하나의 햅틱 피드백 센서를 포함함 -; 및
    복수의 매핑들을 생성하는 단계 - 상기 복수의 매핑들의 각각의 매핑은 상기 복수의 차량 경보들 중 특정 차량 경보를 상기 복수의 햅틱 피드백 센서들의 특정 서브세트에 매핑하고, 상기 복수의 매핑들은 상기 적어도 하나의 햅틱 피드백 센서에의 상기 차량의 승객에 대한 상기 차량 경보의 매핑을 포함함 -
    를 더 포함하는 방법.
  11. 제1항에 있어서, 상기 승객과 연관된 컴퓨팅 디바이스로부터 경보-센서 매핑을 획득하는 단계
    를 더 포함하며, 상기 경보-센서 매핑은 복수의 차량 경보들과 복수의 햅틱 피드백 센서들 사이의 매핑들을 포함하고, 상기 매핑들은 상기 차량 경보와 상기 적어도 하나의 햅틱 피드백 센서 사이의 적어도 하나의 매핑을 포함하며, 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 상기 적어도 하나의 매핑에 적어도 부분적으로 기초하여 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 것인 방법.
  12. 제1항에 있어서,
    상기 적어도 하나의 햅틱 피드백 센서에의 상기 승객에 대한 상기 차량 경보의 매핑을 식별하는 단계
    를 더 포함하며, 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 또한, 상기 매핑을 식별하는 단계에도 적어도 부분적으로 기초하는 것인 방법.
  13. 제12항에 있어서, 상기 매핑은 제1 매핑이고 상기 적어도 하나의 햅틱 피드백 센서는 제1 햅틱 피드백 센서이며, 상기 방법은:
    사용자 컴퓨팅 디바이스의 제2 햅틱 피드백 센서에의 상기 차량의 승객에 대한 상기 차량 경보의 제2 매핑을 식별하는 단계; 및
    상기 제2 햅틱 피드백 센서에의 상기 차량의 승객에 대한 상기 차량 경보의 상기 제2 매핑에 적어도 부분적으로 기초하여 상기 제2 햅틱 피드백 센서를 활성화시키는 단계
    를 더 포함하는 방법.
  14. 제12항에 있어서, 상기 매핑은 제1 매핑이고, 상기 방법은:
    오디오 데이터 또는 비디오 데이터 중 적어도 하나에의 상기 차량의 승객에 대한 상기 차량 경보의 제2 매핑을 식별하는 단계; 및
    상기 오디오 데이터 또는 상기 비디오 데이터 중 적어도 하나에의 상기 차량의 승객에 대한 상기 차량 경보의 상기 제2 매핑에 적어도 부분적으로 기초하여 컴퓨팅 디바이스로 하여금 상기 오디오 데이터 또는 상기 비디오 데이터 중 상기 적어도 하나를 출력하게 하는 단계
    를 더 포함하는 방법.
  15. 제1항에 있어서, 상기 적어도 하나의 햅틱 피드백 센서는 상기 승객과 연관된 컴퓨팅 디바이스의 일부를 형성하고, 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 상기 차량 경보를 상기 승객과 연관된 상기 컴퓨팅 디바이스에 전달하는 단계를 포함하며, 상기 승객과 연관된 상기 컴퓨팅 디바이스는 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 것인 방법.
  16. 제1항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 차량의 압력 센서와 연관된 중량 데이터를 수신하는 단계;
    상기 중량 데이터에 적어도 부분적으로 기초하여 상기 승객의 위치를 결정하는 단계; 및
    상기 승객의 위치에 적어도 부분적으로 기초하여 복수의 햅틱 피드백 센서들 중에서 상기 적어도 하나의 햅틱 피드백 센서를 식별하는 단계 - 상기 복수의 햅틱 피드백 센서들은 상기 차량 내 복수의 위치들에 위치함 -
    를 더 포함하며,
    상기 적어도 하나의 햅틱 피드백 센서는 상기 승객의 위치를 식별하는 것에 적어도 부분적으로 기초하여 활성화되는 것인 방법.
  17. 제1항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 차량의 압력 센서와 연관된 중량 데이터를 수신하는 단계;
    상기 중량 데이터에 적어도 부분적으로 기초하여 상기 승객의 위치를 결정하는 단계; 및
    상기 중량 데이터에 적어도 부분적으로 기초하여 상기 승객의 승객 유형을 식별하는 단계
    를 더 포함하며,
    상기 승객에 대한 상기 차량 경보를 결정하는 단계는 상기 승객의 위치 및 상기 승객의 승객 유형에 적어도 부분적으로 기초하여 상기 승객에 대한 상기 차량 경보를 결정하는 단계를 포함하고,
    상기 승객에 대한 상기 차량 경보에 적어도 부분적으로 기초하여 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계는 상기 승객의 위치에 적어도 부분적으로 기초하여 상기 적어도 하나의 햅틱 피드백 센서를 활성화시키는 단계를 포함하는 것인 방법.
  18. 제17항에 있어서, 상기 승객의 승객 유형을 식별하는 단계는 상기 승객을 인간 또는 동물 중 적어도 하나로서 식별하는 단계를 포함하고, 상기 인간에 대한 상기 차량 경보는 상기 동물에 대한 상기 차량 경보와 상이한 것인 방법.
  19. 시스템에 있어서,
    적어도 하나의 프로세서, 및
    명령어들을 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    차량과 연관된 센서 데이터를 수신하게 하고;
    상기 차량과 연관된 상기 센서 데이터에 적어도 부분적으로 기초하여 상기 차량의 승객에 대한 차량 경보를 결정하게 하며;
    상기 승객에 대한 상기 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키게 하는 것인 시스템.
  20. 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체로서, 상기 명령어들은, 프로세서를 포함하는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금:
    차량과 연관된 센서 데이터를 수신하게 하고;
    상기 차량과 연관된 상기 센서 데이터에 적어도 부분적으로 기초하여 상기 차량의 승객에 대한 차량 경보를 결정하게 하며;
    상기 승객에 대한 상기 차량 경보에 적어도 부분적으로 기초하여 적어도 하나의 햅틱 피드백 센서를 활성화시키게 하는 것인 적어도 하나의 비일시적 저장 매체.
KR1020220022443A 2021-12-06 2022-02-21 햅틱 피드백을 사용한 차량 경보 KR20230085800A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/457,846 US11738684B2 (en) 2021-12-06 2021-12-06 Vehicle alert using haptic feedback
US17/457,846 2021-12-06

Publications (1)

Publication Number Publication Date
KR20230085800A true KR20230085800A (ko) 2023-06-14

Family

ID=86382123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220022443A KR20230085800A (ko) 2021-12-06 2022-02-21 햅틱 피드백을 사용한 차량 경보

Country Status (5)

Country Link
US (1) US11738684B2 (ko)
KR (1) KR20230085800A (ko)
CN (1) CN116224980A (ko)
DE (1) DE102022104055A1 (ko)
GB (1) GB2613659A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230332912A1 (en) * 2022-04-19 2023-10-19 Ford Global Technologies, Llc Systems and methods for guiding a visually impaired passenger using rideshare services

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714701B2 (en) 2005-11-16 2010-05-11 Gm Global Technology Operations, Inc. Active material based haptic alert system
US9123215B2 (en) 2012-06-22 2015-09-01 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9266451B2 (en) 2012-06-22 2016-02-23 GM Global Technology Operations LLC Alert systems and methods for a vehicle
WO2016113345A1 (en) * 2015-01-14 2016-07-21 Jaguar Land Rover Limited Vehicle interface device
US9573522B2 (en) 2015-04-29 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat haptic indication of future planned driving maneuvers
US9988055B1 (en) * 2015-09-02 2018-06-05 State Farm Mutual Automobile Insurance Company Vehicle occupant monitoring using infrared imaging
US9908464B2 (en) 2016-04-10 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Apprising a driver of confidence in operation of a vehicle
US20190113919A1 (en) * 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using smart control architecture selection
CA3079092A1 (en) * 2017-11-02 2019-05-09 Damon Motors Inc. Anticipatory motorcycle safety system
US10315563B1 (en) * 2018-05-22 2019-06-11 Zoox, Inc. Acoustic notifications
US10668391B1 (en) * 2018-12-04 2020-06-02 Universal City Studios Llc Ride control systems and methods for amusement park rides
US11238671B2 (en) 2019-04-18 2022-02-01 Honda Motor Co., Ltd. System and method for providing haptic alerts within a vehicle
GB2587399B (en) 2019-09-27 2022-10-05 Jaguar Land Rover Ltd Controller, Vehicle and method

Also Published As

Publication number Publication date
GB2613659A (en) 2023-06-14
DE102022104055A1 (de) 2023-06-07
CN116224980A (zh) 2023-06-06
US11738684B2 (en) 2023-08-29
US20230173979A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US11738684B2 (en) Vehicle alert using haptic feedback
WO2023250290A1 (en) Post drop-off passenger assistance
WO2023212129A1 (en) Managing vehicle resources based on scenarios
CN116128053A (zh) 用于自主运载工具的方法和系统以及计算机可读介质
KR20230074395A (ko) 고충실도 데이터 기반 멀티모달 시뮬레이션
US20230150544A1 (en) Generating notifications indicative of unanticipated actions
US20230159063A1 (en) Autonomous Driving Mode Engagement
US20240123822A1 (en) Controlling the operation of an autonomous vehicle based on detected passenger characteristics and behavior
KR102561976B1 (ko) 전환 가능한 바퀴 뷰 미러
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US20240051581A1 (en) Determination of an action for an autonomous vehicle in the presence of intelligent agents
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20230219595A1 (en) GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
US20230373529A1 (en) Safety filter for machine learning planners
US20240125617A1 (en) Aggregation of Data Representing Geographical Areas
US20230063368A1 (en) Selecting minimal risk maneuvers
US20240038065A1 (en) Managing traffic light detections
CN116483062A (zh) 用于运载工具的方法、系统以及存储介质
WO2023239745A1 (en) Devices for restricting physical access to a steering wheel of a vehicle
WO2023028437A1 (en) Selecting minimal risk maneuvers
WO2024081246A1 (en) Aggregation of data representing geographical areas
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference
WO2023239806A1 (en) Systems and methods for heads-up display