KR20200102000A - 차량의 내부 상태의 결정 및 그에 대한 응답 - Google Patents

차량의 내부 상태의 결정 및 그에 대한 응답 Download PDF

Info

Publication number
KR20200102000A
KR20200102000A KR1020207024030A KR20207024030A KR20200102000A KR 20200102000 A KR20200102000 A KR 20200102000A KR 1020207024030 A KR1020207024030 A KR 1020207024030A KR 20207024030 A KR20207024030 A KR 20207024030A KR 20200102000 A KR20200102000 A KR 20200102000A
Authority
KR
South Korea
Prior art keywords
vehicle
seat
passenger
interior
child
Prior art date
Application number
KR1020207024030A
Other languages
English (en)
Other versions
KR102254043B1 (ko
Inventor
안드레아스 웬델
크리스토퍼 케네디 루드윅
로렌스 안드레아스 핀스트라
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200102000A publication Critical patent/KR20200102000A/ko
Application granted granted Critical
Publication of KR102254043B1 publication Critical patent/KR102254043B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0272—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors or detectors for detecting the position of seat parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/04—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to presence or absence of the driver, e.g. to weight or lack thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0026—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for distinguishing between humans, animals or objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
    • B60N2/271—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof detecting or alerting means responsive to securing the child in the seat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B60R16/0234—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions related to maintenance or repairing of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01528—Passenger detection systems mounted on the bag
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0023—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for detection of driver fatigue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
    • B60N2/268—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof detecting or alerting means responsive to the installation of the child seats in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/18—Infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/30—Signal processing of sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/049—Number of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Seats For Vehicles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 개시내용의 양태들은 자동-운전 차량(100)의 내부 상태를 결정하고 그에 응답하는 것에 관한 것이다. 예를 들어, 차량에 장착된 카메라(530, 532, 및 534)에 의해 캡처된 차량의 내부의 이미지가 수신된다. 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커(950, 956, 960, 966)를 식별하기 위해 이미지가 처리된다. 식별된 하나 이상의 보이는 마커에 기초하여 차량의 내부 상태가 결정된다. 결정된 내부 상태를 이용하여 응답 액션이 식별되고, 응답 액션을 수행하기 위해 차량이 제어된다.

Description

차량의 내부 상태의 결정 및 그에 대한 응답
관련 출원들에 대한 상호 참조
본 출원은 2018년 2월 21일자로 출원된 미국 특허 출원 제15/901,379호의 출원일의 이익을 주장하고, 그 개시내용은 이로써 인용에 의해 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율 차량들은 한 위치에서 다른 위치로 승객들 또는 물품들의 운송을 돕기 위해 사용될 수 있다. 그러한 차량들은 승객들이 픽업 또는 목적지 위치와 같은 몇몇 초기 입력을 제공할 수 있는 완전 자율 모드에서 동작할 수 있고, 차량은 자신을 해당 위치로 조종해 간다.
본 개시내용의 일 양태는 자동-운전(self-driving) 차량의 내부 상태를 결정하고 그에 응답하는 방법을 제공한다. 이 방법은 상기 차량에 장착된 카메라에 의해 캡처된 상기 차량의 내부의 이미지를 수신하는 단계; 상기 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커를 식별하기 위해 상기 이미지를 처리하는 단계; 상기 식별된 하나 이상의 보이는 마커에 기초하여 상기 차량의 상기 내부 상태를 결정하는 단계; 상기 결정된 내부 상태를 이용하여 응답 액션을 식별하는 단계; 및 상기 응답 액션을 수행하기 위해 상기 차량을 제어하는 단계를 포함한다.
일 예에서, 상기 이미지는 상기 결정된 내부 상태를 제공하는 기계 학습 모델을 이용하여 처리된다. 다른 예에서, 상기 방법은 상기 하나 이상의 보이는 마커를 이용하여 상기 차량의 승객의 신장을 결정하는 단계를 또한 포함하고, 상기 차량의 내부 상태를 결정하는 단계는 상기 결정된 신장에 기초한다. 다른 예에서, 상기 내부 상태는 상기 차량의 좌석이 점유된 것을 지시한다. 다른 예에서, 상기 차량의 상기 내부 상태는 상기 차량의 좌석이 비어 있는 것을 지시한다. 다른 예에서, 상기 하나 이상의 보이는 마커는 상기 차량의 좌석의 좌석 등받이 상에 위치하고, 상기 차량의 상기 내부 상태는 상기 좌석이 비어 있는 것을 지시한다. 다른 예에서, 상기 하나 이상의 보이는 마커는 상기 차량의 좌석의 좌석 벨트 상에 위치하고, 상기 차량의 상기 내부 상태는 상기 좌석이 승객에 의해 점유된 것을 지시한다. 이 예에서, 상기 차량의 상기 내부 상태는 상기 승객이 좌석 벨트를 착용하고 있다는 것을 지시한다. 다른 예에서, 상기 방법은 상기 차량이 현재 하나 이상의 승객과 함께 목적지로 여행 중에 있는지에 기초하여 상기 결정된 내부 상태에 단서를 다는(qualifying) 단계를 추가로 포함하는 것을 또한 포함한다. 다른 예에서, 상기 결정된 내부 상태는 상기 차량 내의 승객들의 수를 지시한다. 다른 예에서, 상기 결정된 내부 상태가 상기 차량이 승객에 의해 점유되어 있고 여행이 방금 끝났다는 것을 지시할 때, 상기 응답 액션은 상기 승객에게 상기 차량을 떠날 시간이라는 것을 지시하는 가청 통지를 제공하는 것을 포함한다. 다른 예에서, 상기 결정된 내부 상태가 차량이 비어 있고 여행이 진행 중이라는 것을 지시할 때, 상기 응답 액션은 상기 여행을 취소하는 것을 포함한다. 다른 예에서, 상기 결정된 내부 상태가 상기 차량 내에 어린이가 있다는 것을 지시할 때, 상기 응답 액션은 상기 어린이가 상기 차량 내의 특정 좌석에 있어야 한다는 것을 지시하는 통지를 제공하는 것을 포함한다. 이 예에서, 상기 응답 액션은 상기 어린이가 상기 차량의 특정 좌석에 있을 때까지 여행을 시작하지 않는 것을 포함한다. 다른 예에서, 상기 결정된 내부 상태가 상기 차량 내에 어린이가 있다는 것을 지시할 때, 상기 응답 액션은 상기 어린이가 상기 차량 내의 적절한 어린이 보호장치(child restraint)에 있어야 한다는 것을 지시하는 통지를 제공하는 것을 포함한다. 이 예에서, 상기 응답 액션은 상기 어린이가 상기 적절한 어린이 보호장치에 있을 때까지 여행을 시작하지 않는 것을 포함한다. 다른 예에서, 상기 결정된 내부 상태는 상기 차량 내에 어린이가 있다는 것을 지시하고, 상기 응답 액션은 상기 여행과 연관된 계좌 소유자(account holder)의 클라이언트 디바이스에 상기 어린이가 상기 차량에 탑승하는 것이 허용된다는 확인을 요청하는 통지를 제공하는 것을 포함한다. 다른 예에서, 상기 결정된 내부 상태는 상기 차량 내에 어린이가 있다는 것을 지시하고, 상기 방법은 상기 어린이가 위치하는 좌석에 인접한 에어백을 끄는 단계를 추가로 포함한다. 다른 예에서, 상기 결정된 내부 상태는 승객이 좌석 벨트를 착용하고 있지 않다는 것을 지시하고, 상기 응답 액션은 상기 승객이 좌석 벨트를 사용하는 것을 요청하는 통지를 제공하는 것을 포함한다.
본 개시내용의 다른 양태는 자동-운전 차량의 내부 상태를 결정하고 그에 응답하기 위한 시스템을 제공한다. 이 시스템은 하나 이상의 프로세서를 포함하는데, 이 프로세서는 상기 차량에 장착된 카메라에 의해 캡처된 상기 차량의 내부의 이미지를 수신하고; 상기 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커를 식별하기 위해 상기 이미지를 처리하고; 상기 식별된 하나 이상의 보이는 마커에 기초하여 상기 차량의 상기 내부 상태를 결정하고; 상기 결정된 내부 상태를 이용하여 응답 액션을 식별하고; 상기 응답 액션을 수행하기 위해 상기 차량을 제어하도록 구성된다.
도 1은 예시적인 실시예에 따른 예시적인 차량의 기능 다이어그램이다.
도 2는 본 개시내용의 양태들에 따른 예시적인 시스템의 기능 다이어그램이다.
도 3은 본 개시내용의 양태들에 따른 도 2의 시스템의 그림 다이어그램이다.
도 4는 본 개시내용의 양태들에 따른 차량의 예시적인 외부 뷰이다.
도 5는 본 개시내용의 양태들에 따른 차량의 예시적인 내부 뷰이다.
도 6은 본 개시내용의 양태들에 따른 차량의 콘솔의 예이다.
도 7은 본 개시내용의 양태들에 따른 예시적인 시스템의 양태들의 예시적인 기능 다이어그램이다.
도 8은 본 개시내용의 양태들에 따른 차량의 예시적인 내부 뷰이다.
도 9는 본 개시내용의 양태들에 따른 차량의 예시적인 내부 뷰이다.
도 10은 본 개시내용의 양태들에 따른 예시적인 흐름 다이어그램이다.
개관
본 기술은 운송 서비스들을 제공하는 과정에서 무운전자 또는 자율 차량의 내부 상태를 자동으로 결정하는 것에 관한 것이다. 그 상태는 차량이 임의의 승객들에 의해 점유되었는지 여부 및 해당 승객들의 특성들, 예컨대 일부 경우에 나이를 추론하기 위해 사용될 수 있는 신장을 언급할 수 있다. 일부 경우에, 차량의 내부 상태는 해당 승객들의 상태뿐만 아니라, 차량에 가방 또는 수하물과 같은 임의의 물체들이 있는지 그리고 차량이 손상되거나 오염되었는지와 같은 차량의 다른 상태 정보를 또한 포함할 수 있다.
전형적으로, 운전자를 이용하는 운송 서비스들에 대해, 운전자는 차량의 상태를 시각적으로 빨리 체크할 수 있다. 물론, 아무 운전자도 없는 경우, 차량의 내부의 이미지들이 검토를 위해 인간 조작자에게 송신될 수 있다. 이는 무운전자 차량의 내부 상태를 확인하는 효과적이고 유용한 방법이지만, 차량과 원격 조작자 사이에 왔다갔다 정보를 송신하는 데 일부 대기 시간이 있고 이는 특정 상황들에서, 예컨대 승객이 그의 좌석 벨트를 풀고 있거나 차량에서 이리저리 움직이고 있는 경우에 문제가 될 수 있다. 또한, 차량의 컴퓨팅 디바이스들과의 연결이 이루어질 수 없는 지역, 예컨대 셀룰러 서비스가 없는 지역에 차량이 있는 경우, 이 프로세스는 효과적이지 못하게 될 수 있다. 더욱이, 차량의 수가 증가함에 따라, 인간 조작자들을 사용하는 것은 비효율적이 될 수 있다.
차량의 내부 상태를 체크하는 인간 조작자들이 있는 경우와 같이, 차량의 내부 상태의 결정을 하기 위해, 하나 이상의 카메라가 차량 내에 장착될 수 있다. 예를 들어, 승객들이 앉을 가능성이 있는 위치들, 또는 좌석들 아래 및 화물 영역들 안을 보기 위해 카메라가 차량의 전방에 헤드라이너의 좌측, 중간 또는 우측에 장착되고 차량의 후방 내부를 향해 지향될 수 있다. 이러한 카메라들은 전형적인 가시광 카메라들, 이벤트 기반 카메라들, 비행 시간 카메라들 및/또는 매우 낮은 광 조건들에서, 예컨대 야간 시간에, 악천후 동안에, 또는 차량이 터널 또는 주차장에 있을 때, 차량의 이미지들을 캡처할 수 있는 적외선 카메라들을 포함할 수 있다.
하나 이상의 카메라를 사용하여 차량의 상태를 결정하기 위해, 모델이 생성될 수 있다. 예를 들어, 분류기 또는 신경망과 같은 다양한 기계 학습 기법들이 차량의 내부 상태를 식별하도록 훈련될 수 있다. 훈련은 차량군의 차량들의 초기의 내부의 외관의 이미지들을 비어 있는 또는 디폴트 상태로서 라벨링하는 것을 포함할 수 있다. 모델의 유용성을 개선하기 위해, 훈련 이미지들은 상이한 조명 조건들, 컬러 스킴들, 또는 차령들(vehicle ages)을 포함할 수 있다. 다시 말해서, 자동차가 상이한 상황들에서 운행함에 따라 차량 내의 그림자들의 외관 및 형상들이 변화할 수 있기 때문에, 상이한 조명 조건들을 포함하는 이미지들로 훈련하는 것이 특히 유용할 수 있다.
차량들의 디폴트 상태의 이미지들에 더하여, 상이한 상태들의 승객들 또는 다른 물체들을 갖는 차량의 내부의 이미지들도 그들의 상태들에 따라 라벨링되고 모델을 훈련시키기 위해 사용될 수 있다. 예로서, 승객들 또는 다른 물체들을 갖는 이미지들의 라벨링은 "점유된(occupied)"과 같이 간단할 수 있는 반면 디폴트 상태의 이미지들은 "비어 있는(unoccupied)"으로서 라벨링될 수 있다. 특정 유형의 물체들 또는 해당 물체들의 상태들을 식별하기 위해 다른 더 복잡한 라벨링 스킴들이 사용될 수도 있다. 차량의 내부 상태를 결정하기 위해 센서들로부터의 추가적인 데이터가 사용될 수도 있다.
위에서 설명된 모델들 및 센서들에 더하여 또는 그에 대한 대안으로서, 차량의 상태를 결정하거나 결정하는 것을 돕기 위해 차량 내에 마커들이 배치될 수 있다. 이러한 마커들은 야간에 가시성을 개선하기 위한 IR-반사 재료를 포함할 수 있다. 마커들은 승객들을 위한 좌석들의 좌석 등받이, 좌석 베이스, 및 좌석 벨트 상에 배열된 패턴들, 원들, 지그재그들, 또는 다른 구성들을 포함할 수 있다.
차량의 내부 상태를 결정하기 위해, 카메라 또는 카메라들은 차량의 이미지를 캡처할 수 있다. 이미지는 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커를 식별하기 위해 처리될 수 있다. 보이는 마커들은 상태 정보를 결정하기 위해 패턴 정보와 비교될 수 있다. 이와 관련하여, 패턴 정보는 상태 정보를 마커 가시성에 관련시킬 수 있다. 패턴 데이터는 또한 아래에 더 논의되는 바와 같이 마커 가시성 및 위치를 승객의 가능한 신장 또는 나이에 관련시키기 위해 사용될 수 있다.
내부 상태가 결정되면, 그 내부 상태를 어드레싱하고 그에 응답하기 위해 액션 데이터가 사용될 수 있다. 예를 들어, 액션 데이터는 인간 조작자에 의해 정의되고 차량 소프트웨어에 저장될 수 있는 정책들의 세트를 포함할 수 있다. 이러한 정책들은 응답 액션 또는 차량이 차량의 결정된 내부 상태에 어떻게 응답해야 하는지를 정의할 수 있다. 액션 데이터는 여행의 상태에 따라 상이한 정책들을 또한 포함할 수 있다. 그 후 응답 액션을 수행하기 위해 차량이 제어될 수 있다.
본 명세서에서 설명된 특징들은 무운전자 차량이 차량의 내부 상태를 결정하고 필요한 경우 해당 결정들에 효과적으로 응답하게 할 수 있다. 이는 체크할 운전자가 없고 내부 상태를 체크하기 위해 원격 조작자가 이용가능하지 않을 때 특히 중요하다. 더욱이, 차량에서 컴퓨팅 디바이스를 사용함으로써, 셀룰러 서비스가 없는 경우에도, 또는 어둠 속에서도 내부 상태가 결정될 수 있다. 따라서, 데이터가 반드시 차량 외부로 송신되는 것이 아니기 때문에, 프로세스는 차량의 승객들의 프라이버시를 유지하면서 훨씬 더 효율적이 된다. 이는 결국, 자동-운전 차량이 인간의 개입 없이 더 효과적으로 그리고 신뢰성 있게 동작하게 한다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 유형의 차량과 관련하여 특히 유용하지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레크리에이션 차량 등을 포함하지만 이에 제한되지 않는 임의 유형의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130), 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 또는 달리 이용될 수 있는 명령어들(134) 및 데이터(132)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스 가능한 정보를 저장한다. 메모리(130)는 컴퓨팅 디바이스 판독가능 매체, 또는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광 디스크들과 같은 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체뿐만 아니라 다른 기입 가능 및 판독 전용 메모리들을 포함하여, 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 것일 수 있다. 시스템들 및 방법들은 전술한 것의 상이한 조합들을 포함할 수 있고, 그에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 유형들의 매체 상에 저장된다.
명령어들(134)은 프로세서에 의해 (기계 코드와 같이) 직접적으로 또는 (스크립트들과 같이) 간접적으로 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체 상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 그와 관련하여, 용어들 "명령어들" 및 "프로그램들"은 본 명세서에서 교체가능하게 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위해 오브젝트 코드 포맷으로, 또는 요구 시에 해석되거나 또는 미리 컴파일되는 독립적인 소스 코드 모듈들의 스크립트들 또는 컬렉션들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 기능들, 방법들, 및 명령어들의 루틴들이 아래에서 더 상세히 설명된다.
데이터(132)는 명령어들(134)에 따라 프로세서(120)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들어, 청구되는 주제가 임의의 특정한 데이터 구조에 의해 제한되지는 않지만, 데이터는 컴퓨팅 디바이스 레지스터들에, 관계형 데이터베이스에 복수의 상이한 필드 및 레코드를 갖는 테이블, XML 문서들 또는 플랫 파일(flat file)들로서 저장될 수 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독가능 포맷으로 포맷팅될 수 있다.
하나 이상의 프로세서(120)는 상업적으로 이용가능한 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1은 컴퓨팅 디바이스(110)의 프로세서, 메모리, 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 본 기술분야의 통상의 기술자들은 프로세서, 컴퓨팅 디바이스, 또는 메모리는 동일한 물리적 하우징 내에 넣어질 수 있거나 그렇지 않을 수 있는 다수의 프로세서, 컴퓨팅 디바이스, 또는 메모리를 실제로 포함할 수 있다는 것을 이해할 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스(110)의 것과 상이한 하우징에 위치한 하드 드라이브 또는 다른 스토리지 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 언급들은 병행하여 동작할 수 있거나 그렇지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 컬렉션에 대한 언급들을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스(110)는 위에서 설명된 프로세서 및 메모리와 같은 컴퓨팅 디바이스뿐만 아니라 사용자 입력(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 가지는 모니터 또는 정보를 디스플레이하도록 동작가능한 임의의 다른 전기 디바이스)과 관련하여 보통 사용되는 모든 컴포넌트들일 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152)뿐만 아니라 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 객실 내에 위치할 수 있고 컴퓨팅 디바이스(110)에 의해 차량(100) 내의 승객들에게 정보를 제공하기 위해 사용될 수 있다.
컴퓨팅 디바이스(110)는 아래에 상세히 설명되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들과 같은, 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 연결(156)을 또한 포함할 수 있다. 무선 네트워크 연결들은 블루투스, 블루투스 저 에너지(LE), 셀룰러 연결들과 같은 근거리 통신 프로토콜들뿐만 아니라 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 전용의 통신 프로토콜들을 이용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 전술한 것들의 다양한 조합을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스(110)는 차량(100)에 통합되는 자율 주행 컴퓨팅 시스템일 수 있다. 자율 주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가면, 컴퓨팅 디바이스(110)는 메모리(130)의 명령어들(134)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해 감속 시스템(160), 가속 시스템(162), 조향 시스템(164), 시그널링 시스템(166), 내비게이션 시스템(168), 위치확인 시스템(170), 및 인식 시스템(172)과 같은, 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시금, 이러한 시스템들이 컴퓨팅 디바이스(110) 외부에 있는 것으로 도시되지만, 실제로는, 이러한 시스템들은 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서 다시금 컴퓨팅 디바이스(110)에 또한 통합될 수 있다.
예로서, 컴퓨팅 디바이스(110)는 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 자동차 또는 트럭과 같이, 차량(100)이 도로 상에서 사용되도록 구성된다면, 조향 시스템은 차량을 회전시키기 위해 바퀴들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등들 또는 브레이크 등을 점등함으로써, 차량의 의도를 다른 운전자들 또는 차량들에 시그널링하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다.
내비게이션 시스템(168)은 위치로의 루트를 결정하고 이를 따르기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(132)는 상세한 맵 정보, 예를 들어, 도로들의 형상 및 고저, 차선들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호들, 건물들, 표지판들, 실시간 교통 정보, 풀오버 지점 식생, 또는 다른 그러한 물체들 및 정보를 식별하는 매우 상세한 맵들을 저장할 수 있다. 아래에 더 논의되는 바와 같이, 이러한 풀오버 지점들은, 차량이 쇼울더 영역들, 주차 공간들, 주차장들, 응급 풀오버 지점들 등과 같은 소정의 기간 동안 적법하게 정지하고 주차할 수 있는 "손" 선택된 또는 식별된 영역들일 수 있다.
위치확인 시스템(170)은 맵상에서의 또는 지구상에서의 차량의 상대적 또는 절대적 위치를 결정하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 예를 들어, 위치확인 시스템(170)은 디바이스의 위도, 경도 및/또는 고도 위치를 결정하기 위한 GPS 수신기를 포함할 수 있다. 레이저 기반 위치표시(localization) 시스템들, 관성 보조 GPS, 또는 카메라 기반 위치표시와 같은 다른 위치 시스템들이 또한 차량의 위치를 식별하기 위해 사용될 수 있다. 차량의 위치는 절대적 지리적 위치, 예컨대 위도, 경도, 및 고도뿐만 아니라, 상대적 위치 정보, 예컨대 절대적 지리적 위치보다 종종 더 적은 잡음으로 결정될 수 있는 자신 바로 주위의 다른 자동차들에 상대적인 위치를 포함할 수 있다.
위치확인 시스템(170)은 차량의 방향 및 속도 또는 그것에 대한 변화들을 결정하기 위해 가속도계, 자이로스코프 또는 다른 방향/속도 검출 디바이스와 같은, 컴퓨팅 디바이스(110)와 통신 상태에 있는 다른 디바이스들을 또한 포함할 수 있다. 단지 예로서, 가속 디바이스는 중력의 방향 또는 이에 수직인 평면에 대한 그의 피치(pitch), 요(yaw) 또는 롤(roll)(또는 그것에 대한 변화들)을 결정할 수 있다. 이 디바이스는 속도의 증가 또는 감소 및 그러한 변화들의 방향을 또한 추적할 수 있다. 본 명세서에 제시된 바와 같은 디바이스의 위치 및 방위 데이터의 제공은 컴퓨팅 디바이스(110), 다른 컴퓨팅 디바이스들 및 전술한 것의 조합들에 자동으로 제공될 수 있다.
인식 시스템(172)은 다른 차량들, 도로의 장애물들, 교통 신호들, 표지판들, 나무들 등과 같은 차량의 외부에 있는 물체들을 검출하기 위한 하나 이상의 컴포넌트를 또한 포함한다. 예를 들어, 인식 시스템(172)은 레이저, 소나, 레이더, 카메라들 및/또는 컴퓨팅 디바이스(110)에 의해 처리될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스들을 또한 포함한다. 차량이 자동차와 같은 소형 승객 차량인 경우에, 자동차는 루프 또는 다른 편리한 위치에 장착된 레이저 또는 다른 센서들을 포함할 수 있다.
컴퓨팅 디바이스(110)는 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예로서, 컴퓨팅 디바이스(110)는 상세한 맵 정보 및 내비게이션 시스템(168)으로부터의 데이터를 사용하여 완전히 자율적으로 차량을 목적지 위치까지 내비게이션할 수 있다. 컴퓨팅 디바이스(110)는 위치확인 시스템(170)을 이용하여 차량의 위치를 결정하고 인식 시스템(172)을 이용하여 안전하게 위치에 도달하는 것이 필요할 때 물체들을 검출하고 그에 응답할 수 있다. 그렇게 하기 위해, 컴퓨팅 디바이스(110)는 차량이 가속하고(예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써), 감속하고(예를 들어, 감속 시스템(160)에 의해 엔진에 공급되는 연료를 감소시키고, 기어를 변경하고, 및/또는 브레이크를 적용함으로써), 방향을 변경하고(예를 들어, 조향 시스템(164)에 의해 차량(100)의 앞바퀴 또는 뒷바퀴를 회전시킴으로써), 그러한 변화들을 시그널링하게(예를 들어, 시그널링 시스템(166)의 방향 지시등들을 점등함으로써) 할 수 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은 차량의 엔진과 차량의 바퀴들 사이의 다양한 컴포넌트들을 포함하는 구동렬의 일부일 수 있다. 다시금, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스(110)는 또한 차량을 자율적으로 조종하기 위해 차량의 구동렬을 제어할 수 있다.
차량(100)의 컴퓨팅 디바이스(110)는 또한 다른 컴퓨팅 디바이스들로 및 그로부터 정보를 수신 또는 송신할 수 있다. 도 2 및 도 3은, 각각, 네트워크(260)를 통해 연결된 복수의 컴퓨팅 디바이스(210, 220, 230, 240) 및 스토리지 시스템(250)을 포함하는 예시적인 시스템(200)의 그림 및 기능 다이어그램들이다. 시스템(200)은 차량(100), 및 차량(100)과 유사하게 구성될 수 있는 차량(100A)을 또한 포함한다. 비록 단순성을 위해 소수의 차량들 및 컴퓨팅 디바이스들만이 묘사되어 있지만, 전형적인 시스템은 상당히 더 많이 포함할 수 있다.
도 3에 도시된 바와 같이, 컴퓨팅 디바이스들(210, 220, 230, 240) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어들을 포함할 수 있다. 프로세서들, 메모리들, 데이터 및 명령어들은 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120), 메모리(130), 데이터(132), 및 명령어들(134)과 유사하게 구성될 수 있다.
네트워크(260), 및 개재 노드들은 블루투스, 블루투스 LE와 같은 단거리 통신 프로토콜들, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사유 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사에 전용인 통신 프로토콜들을 이용하는 사유 네트워크들, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다. 그러한 통신은, 모뎀들 및 무선 인터페이스들과 같은, 다른 컴퓨팅 디바이스들로 및 이들로부터 데이터를 송신할 수 있는 임의의 디바이스에 의해 용이하게 될 수 있다.
일 예에서, 하나 이상의 컴퓨팅 디바이스(110)는 복수의 컴퓨팅 디바이스, 예를 들어, 다른 컴퓨팅 디바이스들로 및 그로부터 데이터를 수신, 처리 및 송신하는 목적을 위해 네트워크의 상이한 노드들과 정보를 교환하는 부하 균형화된 서버 팜을 갖는 서버를 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(210)는 네트워크(260)를 통해 차량(100)의 컴퓨팅 디바이스(110) 또는 차량(100A)의 유사한 컴퓨팅 디바이스뿐만 아니라 컴퓨팅 디바이스들(220, 230, 240)과 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량들(100 및 100A)은 서버 컴퓨팅 디바이스들에 의해 다양한 위치들로 디스패치될 수 있는 차량군의 일부일 수 있다. 이와 관련하여, 차량군의 차량들은 서버 컴퓨팅 디바이스들에게 차량의 각각의 위치확인 시스템들에 의해 제공되는 위치 정보를 주기적으로 송신할 수 있고, 하나 이상의 서버 컴퓨팅 디바이스는 차량들의 위치들을 추적할 수 있다.
또한, 서버 컴퓨팅 디바이스들(210)은 컴퓨팅 디바이스들(220, 230, 240)의 디스플레이들(224, 234, 244)과 같은 디스플레이 상의 사용자(222, 232, 242)와 같은 사용자에게 정보를 송신 및 제시하기 위해 네트워크(260)를 사용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(220, 230, 240)은 클라이언트 컴퓨팅 디바이스들로 간주될 수 있다.
도 3에 도시한 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스(220, 230, 240)는 사용자(222, 232, 242)가 사용하기로 의도된 개인용 컴퓨팅 디바이스일 수 있고, 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU)), 데이터 및 명령어들을 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브들), 디스플레이들(224, 234, 244)과 같은 디스플레이(예를 들어, 스크린을 갖는 모니터, 터치스크린, 프로젝터, 텔레비전, 또는 정보를 디스플레이하도록 동작가능한 다른 디바이스), 및 사용자 입력 디바이스들(226, 236, 246)(예를 들어, 마우스, 키보드, 터치스크린 또는 마이크로폰)을 포함하는 개인용 컴퓨팅 디바이스와 관련하여 보통 사용되는 모든 컴포넌트들을 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 비디오 스트림들을 기록하기 위한 카메라, 스피커들, 네트워크 인터페이스 디바이스, 및 이러한 요소들을 서로 연결하기 위해 사용되는 모든 컴포넌트들을 또한 포함할 수 있다.
또한, 클라이언트 컴퓨팅 디바이스들(220 및 230)은 클라이언트 컴퓨팅 디바이스들의 위치 및 방위를 결정하기 위한 컴포넌트들(228 및 238)을 또한 포함할 수 있다. 예를 들어, 이러한 컴포넌트들은 디바이스의 위도, 경도 및/또는 고도를 결정하기 위한 GPS 수신기뿐만 아니라, 차량(100)의 위치확인 시스템(170)에 관하여 위에서 설명된 바와 같은 가속도계, 자이로스코프 또는 다른 방향/속도 검출 디바이스를 포함할 수 있다.
클라이언트 컴퓨팅 디바이스들(220, 230, 및 240)이 각각 풀 사이즈 개인용 컴퓨팅 디바이스를 포함할 수 있지만, 이들은 대안적으로 인터넷과 같은 네트워크를 통해 서버와 데이터를 무선으로 교환할 수 있는 모바일 컴퓨팅 디바이스들을 포함할 수 있다. 단지 예로서, 클라이언트 컴퓨팅 디바이스(220)는 휴대폰 또는 무선 가능 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스 또는 시스템과 같은 디바이스, 또는 인터넷 또는 다른 네트워크들을 통해 정보를 획득할 수 있는 넷북일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(230)는 도 2에서 손목 시계로서 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 예로서, 사용자는 소형 키보드, 키패드, 마이크로폰, 카메라를 이용한 시각적 신호들을 이용하여, 또는 터치 스크린을 이용하여 정보를 입력할 수 있다.
일부 예들에서, 클라이언트 컴퓨팅 디바이스(240)는 사용자들(222 및 232)과 같은 사용자들에게 컨시어지 서비스들을 제공하기 위해 관리자에 의해 사용되는 컨시어지 워크스테이션일 수 있다. 예를 들어, 컨시어지(242)는, 아래에 더 상세히 설명되는 바와 같이 차량들(100 또는 100A)의 안전한 운행 및 사용자들의 안전을 가능하게 하기 위해 그들의 각각의 클라이언트 컴퓨팅 디바이스들 또는 차량들(100 또는 100A)을 통해 사용자들과 전화 통화 또는 오디오 연결을 통해 통신하기 위해 컨시어지 워크스테이션(240)을 이용할 수 있다. 도 2 및 도 3에는 단일 컨시어지 워크스테이션(240)만이 도시되어 있지만, 임의의 수의 그러한 워크스테이션들이 전형적인 시스템에 포함될 수 있다.
스토리지 시스템(250)은 아래에 더 상세히 설명되는 바와 같이 다양한 유형의 정보를 저장할 수 있다. 이 정보는 본 명세서에서 설명된 특징들의 일부 또는 전부를 수행하기 위해, 하나 이상의 서버 컴퓨팅 디바이스(210)와 같은 서버 컴퓨팅 디바이스에 의해 검색되거나 달리 액세스될 수 있다. 예를 들어, 정보는, 하나 이상의 서버 컴퓨팅 디바이스에 대해 사용자를 식별하는 데 사용될 수 있는 자격증명들(예를 들어, 전통적인 단일 인자 인증의 경우에서와 같은 사용자 이름 및 패스워드뿐만 아니라 랜덤 식별자들, 생체인식(biometrics) 등과 같은 다중 인자 인증들에서 전형적으로 사용되는 다른 유형들의 자격증명들)과 같은 사용자 계정 정보를 포함할 수 있다. 사용자 계정 정보는 사용자의 클라이언트 컴퓨팅 디바이스(또는 다수의 디바이스가 동일한 사용자 계정을 가지고 사용되는 경우 디바이스들)의 정보를 식별하는, 사용자 이름, 연락처 정보와 같은 개인 정보뿐만 아니라 사용자에 대한 하나 이상의 고유 신호를 또한 포함할 수 있다.
스토리지 시스템(250)은 또한 위치들 사이의 루트들을 생성하고 평가하기 위한 라우팅 데이터를 저장할 수 있다. 예를 들어, 라우팅 정보는 제1 위치에서의 차량이 제2 위치에 도달하기 위해 얼마나 걸릴지를 추정하기 위해 사용될 수 있다. 이와 관련하여, 라우팅 정보는 반드시 위에서 설명된 상세한 맵 정보만큼 특정하지는 않지만, 도로들뿐만 아니라 방향(일방, 양방 등), 방위(북쪽, 남쪽 등), 속도 제한들과 같은 해당 도로에 관한 정보를 포함하는 맵 정보뿐만 아니라, 예상된 교통 조건들을 식별하는 교통 정보 등을 포함할 수 있다.
메모리(130)에서와 같이, 스토리지 시스템(250)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능, 및 판독 전용 메모리들과 같은, 서버 컴퓨팅 디바이스들(210)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터화된 스토리지일 수 있다. 또한, 스토리지 시스템(250)은 동일한 또는 상이한 지리적 위치들에 물리적으로 위치할 수 있는 복수의 상이한 스토리지 디바이스상에 데이터가 저장되는 분산형 스토리지 시스템을 포함할 수 있다. 스토리지 시스템(250)은 도 2에 도시된 바와 같이 네트워크(260)를 통해 컴퓨팅 디바이스들에 연결될 수 있고 및/또는 컴퓨팅 디바이스들(110, 210, 220, 230, 240 등) 중 임의의 것에 직접 연결되거나 통합될 수 있다.
차량(100)은 인식 시스템(172)의 센서들을 또한 포함한다.
도 4는 차량(100)에 대한 예시적인 구성이다. 이 예에서, 루프탑 하우징(420) 및 돔 하우징(422)은 lidar 센서뿐만 아니라 다양한 카메라들 및 레이더 유닛들을 포함할 수 있다. 또한, 차량(100)의 전방 단부에 위치한 하우징(430) 및 차량의 운전자 및 승객 측들에 있는 하우징들(440, 442) 각각은 lidar 센서를 격납할 수 있다. 예를 들어, 하우징(440)은 운전자 도어(460)의 전방에 위치한다. 차량(100)은 차량(100)의 루프 상에 또한 위치한 카메라들 및/또는 레이더 유닛들을 위한 하우징들(450, 452)을 또한 포함한다. 차량(100)의 전방 및 후방 단부들에 그리고/또는 루프 또는 루프탑 하우징(420)을 따라 다른 위치들에 추가적인 레이더 유닛들 및 카메라들(도시되지 않음)이 위치할 수 있다. 이러한 레이더, 카메라 및 레이저 센서들 또는 디바이스들 각각은 이러한 디바이스들로부터의 데이터를 인식 시스템(172)의 일부로서 처리하고 센서 데이터를 컴퓨팅 디바이스(110)에 제공하는 처리 컴포넌트들과 연관될 수 있다.
도 5는 예를 들어 차량(100)의 전방을 향해 바라보는 도 4의 예시적인 구성에서의, 차량(100)의 예시적인 내부 뷰이다. 예를 들어, 이 뷰에서는, 내부 전자 디스플레이(152)를 포함하는 대시보드 영역(510)이 보인다. 비록 차량(100)은 승객이 구동렬을 통해 차량의 조향, 가속 및/또는 감속을 직접 제어할 반자율 또는 수동 주행 모드를 허용할 스티어링 휠, 가스(가속) 페달, 또는 브레이크(감속) 페달을 포함하지만, 이러한 입력들은 자율 주행 모드에 필요하지 않다. 오히려, 아래에 더 상세히 설명되는 바와 같이, 사용자 입력은 사용자 입력(150)의 마이크로폰(도시되지 않음), 콘솔(520)의 특징들, 및 무선 네트워크 연결들(156)로 제한된다. 이와 관련하여, 내부 전자 디스플레이(152)는 정보를 승객에게 제공할 뿐이고 터치 스크린 또는 사용자 입력을 위한 다른 인터페이스를 포함할 필요가 없다. 다른 실시예들에서, 내부 전자 디스플레이(152)는 목적지 등과 같은 승객에 의해 정보를 입력하기 위한 터치 스크린 또는 다른 사용자 입력 디바이스를 포함할 수 있다.
도 6은 사용자 입력(150)의 일부일 수 있는 버튼들의 세트를 갖는 콘솔(520)의 측면 사시도이다. 이 콘솔은, 예를 들어, 도 4에 묘사된 바와 같은 차량(100)의 구성과 함께 사용될 수 있다. 이 예에서 버튼들의 세트는 여행을 개시하거나 차량이 풀오버하게 할 수 있는 2개의 버튼을 포함한다. 콘솔(520)은 도 5에 도시된 바와 같이 헤드라이너 영역(540)에서 차량(100)의 내부에 위치될 수 있다(차량의 지붕의 내부 표면). 이 예에서, 콘솔(520)은 버튼들(606, 608, 610, 및 612)을 포함한다. 이러한 버튼들 각각은 컴퓨팅 디바이스들(110)에 신호를 송신하도록 동작한다. 버튼(606)으로부터의 신호에 응답하여, 컴퓨팅 디바이스들(110)은 승객을 컨시어지와 연결할 수 있다. 버튼(608)으로부터의 신호는 컴퓨팅 디바이스들(110)이 도어들(도어들의 현재 상태에 따라)을 잠금 또는 잠금 해제하게 할 수 있다. 버튼(608)은 승객이 비-응급(non-emergency) 정지를 개시하는 것을 가능하게 할 수 있다. 예를 들어, 버튼(610)으로부터의 신호는 컴퓨팅 디바이스들이 차량을 풀오버하게 할 수 있다. 버튼(612)은 승객이 목적지 또는 하차 위치로의 여행을 개시하는 것을 가능하게 할 수 있다. 예를 들어, 버튼(612)으로부터의 신호는 컴퓨팅 디바이스들이 목적지로의 여행을 개시하게 할 수 있다.
차량의 내부 상태의 결정을 하기 위해, 하나 이상의 카메라가 차량 내에 장착될 수 있다. 예를 들어, 승객들이 앉을 가능성이 있는 위치들을 보기 위해 카메라가 차량의 전방에 헤드라이너의 좌측, 중간 또는 우측에 장착되고 차량의 후방 내부를 향해 지향될 수 있다. 예를 들어, 도 5는 차량(100)의 헤드라이너 영역(540) 내에 장착된 카메라들(530, 532, 및 534)을 묘사한다. 다른 추가적인 카메라들이 차량의 내부 전체에 걸쳐 배치될 수도 있다. 예를 들어, 도 8(아래에 더 논의됨)을 참조하면, 후방 벤치 좌석(806)의 유용한 뷰를 얻기 위해 추가적인 카메라(536)가 중간 행의 좌석들(좌석들(802 및 804)을 포함함) 사이에 장착될 수 있다. 이러한 카메라들은 전형적인 가시광 카메라들, 이벤트 기반 카메라들, 스테레오 카메라들(3차원 정보로부터 제공할 수 있음), 비행 시간 카메라들 및/또는 매우 낮은 광 조건들에서, 예컨대 야간 시간에, 악천후 동안에, 또는 차량이 터널 또는 주차장에 있을 때, 차량의 이미지들을 캡처할 수 있는 적외선 카메라들을 포함할 수 있다. 추가로 또는 대안적으로, 좌석들 아래의 영역들 및 임의의 화물 영역들 안을 보기 위해 카메라들이 배치될 수 있다.
하나 이상의 카메라를 이용하여 차량의 상태를 결정하기 위해, 데이터(132)는 도 7에 도시된 바와 같은 모델(702)을 저장할 수 있다. 모델(702)은 "오프라인으로" 즉, 사전에 그리고/또는 원격 컴퓨팅 디바이스에서 생성되고 네트워크(260) 및 무선 네트워크 연결들(156)을 통해 차량(100)으로 송신될 수 있다. 예를 들어, 모델은 기계 학습 모델일 수 있고, 분류기 또는 신경망과 같은 다양한 기계 학습 기법들이 차량의 내부 상태를 식별하도록 훈련될 수 있다. 훈련은 차량군의 차량들의 초기의 내부의 외관의 이미지들을 비어 있는 또는 디폴트 상태로서 라벨링하는 것을 포함할 수 있다. 모델의 유용성을 개선하기 위해, 훈련 이미지들은 상이한 조명 조건들 또는 차령들을 포함할 수 있다(예를 들어, 일부 차량들은 결국에는 시간 경과에 따라 정상적인 마손을 보이기 시작할 수 있다). 다시 말해서, 자동차가 상이한 상황들에서 운행함에 따라 차량 내의 그림자들의 외관 및 형상들이 변화할 수 있기 때문에, 상이한 조명 조건들을 포함하는 이미지들로 훈련하는 것이 특히 유용할 수 있다.
차량들의 디폴트 상태의 이미지들에 더하여, 상이한 상태들의 승객들 또는 다른 물체들을 갖는 차량의 내부의 이미지들도 그들의 상태들에 따라 라벨링되고 모델을 훈련시키기 위해 사용될 수 있다. 예로서, 승객들 또는 다른 물체들을 갖는 이미지들의 라벨링은 "점유된(occupied)"과 같이 간단할 수 있는 반면 디폴트 상태의 이미지들은 "비어 있는(unoccupied)"으로서 라벨링될 수 있다.
특정 유형의 물체들 또는 해당 물체들의 상태들을 식별하기 위해 다른 더 복잡한 라벨링 스킴들이 사용될 수도 있다. 예를 들어, 이미지들은 승객들의 수(1, 2, 3, 등), 승객들이 어디에 앉아 있는지(즉, 어느 좌석들), 승객이 좌석 벨트를 착용하고 있는지, 승객이 좌석에 제대로 앉아 있지 않은지, 승객이 성인인지 어린이인지, 승객과 에어백 사이에 물체(예컨대 가방 또는 지갑)가 있는지, 승객이 그의 좌석 벨트를 착용하고 있는지 등 승객들에 관한 세부사항들로 라벨링될 수 있다. 라벨들은 인간들인 움직이는 물체들 및 인간들이 아닌 움직이는 물체들을 위해 사용될 수 있다. 움직이고 있고 인간들이 아닌 물체들은 반려 동물 또는 애완동물인 것으로 가정되거나 식별될 수 있다. 다른 라벨들은 차량 내에 또는 승인된 수하물 위치에 배치된 개인용 물품이 있는지를 포함할 수 있다. 일부 경우에, 이는 물품의 유형, 예컨대 휴대폰, 가방 등을 또한 포함할 수 있다. 또 다른 라벨들은 차량 자체의 물리적 속성, 예컨대 좌석들이 똑바로 그리고 앞쪽으로 지향된 위치에 있는지, 차량이 손상되었는지, 예를 들어, 좌석에 째진 곳이 있는지, 도어가 개방되어 있는지(그리고 일부 경우에는, 얼마나 넓게), 객실 조명이 제대로 기능하고 있는지, 그리고 심지어 카메라가 제대로 작동하고 있는지에 대응할 수 있다. 또한, 유용한 훈련 이미지들을 제공하기 위해, 원격 조작자들에 의해 검토되는 실제 승객들의 이미지들도 훈련을 위해 해당 원격 조작자들에 의해 라벨링될 수 있다.
위에서 설명된 모델 및 센서들에 더하여 또는 그에 대한 대안으로서, 차량의 상태를 결정하거나 결정하는 것을 돕기 위해 차량 내에 마커들이 배치될 수 있다. 이러한 마커들은 야간에 가시성을 개선하기 위한 IR-반사 재료를 포함할 수 있다. 도 8은 예를 들어 도 5의 카메라(532)의 관점으로부터, 예를 들어 차량(100)의 후방을 향해 바라보는 도 4의 예시적인 구성에서의, 차량(100)의 예시적인 내부 뷰이다. 이 뷰에서는, 좌석들(802, 804)뿐만 아니라 벤치 좌석(806)의 일부가 보인다. 벤치 좌석(806)의 2개의 좌석을 포함하는 좌석들 각각은 고정된 마커 또는 마커들을 포함할 수 있다. 이러한 마커들은, 예를 들어, 좌석(802)의 좌석 등받이(810) 및 좌석 베이스(812) 및 벤치 좌석(806)의 일부 상에 도시된 바와 같은 원들(850), 좌석(804)의 좌석 등받이(820) 및 좌석 베이스(822) 및 벤치 좌석(806)의 일부 상에 도시된 바와 같은 지그재그(860), 또는 차량(100)의 좌석들의 상이한 영역들 상에 배치되거나 짜여진 다른 패턴들을 포함할 수 있다. 예로서, 패턴은 좌석 상의 로고 또는 다른 공예품의 전부 또는 일부에 대응할 수 있다. 이와 관련하여, 지그재그들 또는 도트들은 다른 패턴들 등으로 대체될 수 있다.
도 8에 도시되지 않았지만(좌석 벨트 칸 내에서는 그것들이 수축되므로), 좌석들(802 및 804) 각각에 대한 좌석 벨트들(830 및 840)(뿐만 아니라 벤치 좌석(806)에 대한 좌석 벨트들)이 마커들을 또한 포함할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 좌석 벨트들(830 및 840)이 승객들(902 및 904) 주위로 연장되는 경우, 각각의 좌석 벨트들 상에서 마커들(950, 960)이 보인다.
데이터(132)는 또한 표, 데이터베이스 또는 다른 스토리지 구조의 형식으로 패턴 데이터(704)를 저장할 수 있다. 패턴 데이터는 상태 정보를 마커 가시성에 관련시킬 수 있다. 예로서, 좌석의 이미지에서 좌석 등받이(810) 또는 좌석 베이스(812) 상의 마커들이 보인다면, 도 8에 도시된 바와 같이 좌석이 비어 있을 가능성이 있다. 그러나, 이미지에서 좌석 등받이 상의 마커 또는 마커들의 일부만이 보이고, 좌석 등받이 및 좌석 베이스 상의 마커들 중 나머지는 보이지 않는다면, 도 9에 관하여 아래에 더 논의되는 바와 같이 좌석이 점유되었을 가능성이 있다. 유사하게, 점유된 좌석 앞에 좌석 벨트 상에 위치한 마커들이 보이지 않는다면, 도 9에 관하여 아래에 더 논의되는 바와 같이 해당 좌석을 점유하고 있는 승객이 그의 좌석 벨트를 착용하고 있지 않을 가능성이 있다. 예로서, 신체 부분들, 의류, 가방들 또는 핸드헬드 물품들에 의해 좌석 벨트의 일부가 카메라의 관점으로부터 부분적으로 보이지 않게 될 수 있고 그럼에도 좌석 벨트의 사용의 검출을 허용하도록 이미지에서 마커들이 캡처될 수 있도록 좌석 벨트 상에 마커들이 배치될 수 있다. 예를 들어, 승객이 그의 좌석 벨트를 착용하고 있는 것의 성공적인 검출을 위해 벨트의 단지 일부 또는 마커들 중 하나 이상이 보일 필요가 있도록, 어깨 및 무릎 부분들 중 하나 또는 양쪽 모두 상에, 벨트의 전체 길이(또는 사용가능 길이)를 따라 여분의 마커들이 배치될 수 있다. 패턴 데이터는 또한 아래에 더 논의되는 바와 같이 마커 가시성 및 위치를 승객의 가능한 신장 또는 나이에 관련시키기 위해 사용될 수 있다. 대안적으로, 패턴의 표 또는 데이터베이스를 저장하기보다는 패턴의 라벨링된 이미지들 및 상이한 상태들의, 즉 상이한 신장, 체중, 자세 등의 승객들을 갖는 좌석들을 이용하여 위에서 설명된 바와 같은 모델을 추가로 훈련시킨다. 시스템이 좌석의 어느 부분들이 커버되었는지를 결정할 수 있도록 좌석 쿠션(등받이 및 베이스) 상에 마커들이 추가적으로 있을 수 있다. 마커들은 작은 물체들이 다수의 포인트를 보이지 않게 할 정도로 충분히 밀집할 것이다. 예를 들어, 시스템은 보이지 않게 된 마커들의 패턴의 크기에 기초하여 좌석에 휴대폰이 남겨졌다고 결정할 수 있다.
데이터(132)는 또한 표, 데이터베이스 또는 다른 스토리지 구조의 형식으로 액션 데이터(706)를 저장할 수 있다. 예를 들어, 차량의 결정된 내부 상태를 어드레싱하고 그에 응답하기 위해, 액션 데이터는 인간 조작자에 의해 정의될 수 있는 정책들의 세트를 포함할 수 있다. 이러한 정책들은 차량이 차량의 결정된 내부 상태에 어떻게 응답해야 하는지를 정의할 수 있다. 예를 들어, 차량에 미성년자가 있다면, 여행을 준비하는 계좌 소유자에게 통지될 수 있고, 미성년자가 앉아 있는 곳에 인접한 에어백이 꺼질 수 있고(적절한 경우), 어린이가 적절한 좌석에, 예컨대 중간 좌석에, 적절한 보호장치에, 예컨대 부스터 또는 어린이용 카 시트에 배치되고, 어린이가 그 시트 안으로 제대로 버클이 채워질 때까지 여행이 시작되지 않을 것이라는 것을 지시하는 통지가 재생될 수 있다. 다른 예로서, 유일한 승객이 미성년자 또는 어린이라면, 그 어린이가 혼자 탑승하는 것이 허용되거나 또는 혼자 탑승할 정도로 충분히 나이가 들었다는 것을 확인하기 위해 컨시어지 및/또는 계좌 소유자에 통지될 수 있다. 컨시어지에게는, 상황의 안전성을 평가하고 필요에 따라 개입하기 위해(예를 들어, 자동차가 그의 여행을 멈추게 하는 것에 의해, 또는 미성년자 승객 또는 계좌 소유자에 연락하는 것에 의해) 차량 내부의 이미지가 제공될 수 있다.
액션 데이터는 여행의 상태에 따라 상이한 정책들을 또한 포함할 수 있다. 예를 들어, 차량이 비어 있지만, 차량이 여행 중이라면, 여행이 취소될 수 있다. 차량이 점유되어 있지만, 여행이 방금 끝났다면, 컴퓨팅 디바이스는 탑승자에게 차량을 떠나야 한다고 통지하거나, 응급 서비스를 요청하거나, 또는 원격 조작자로부터의 도움을 요청하려고 시도할 수 있다. 여행이 진행 중이지만, 승객이 좌석 벨트를 제거하거나 좌석을 비운다면, 이는 즉시(이미 진행 중이 아니라면) 풀오버하고, 상황을 평가하기 위해 컨시어지에 연락하는 것을 야기할 수 있다. 다른 예로서, 미성년자로 식별되는 탑승자가 있고, 하차 지점이 점유되어 있다면, 차량은 다른 위치가 미성년자를 하차시키기에 적절할 것인지를 체크하기 위해 계좌 소유자에 연락할 수 있다(직접 및/또는 서버 컴퓨팅 디바이스들(410)을 통해). 유사하게, 미성년자로 식별되는 탑승자가 있다면, 차량 내의 여행 변화들이 허용되지 않을 수 있거나 그 미성년자가 버튼(608)과 같은 "풀오버" 버튼을 누른다면 계좌 소유자가 통지를 받을지도 모른다. 이러한 응답들의 전부 또는 일부는 자동차 내의 상이한 센서들을 이용하여 교차 검증될 수 있고, 그러한 것은 차량의 좌석 벨트 센서 및/또는 내부 카메라들 중 하나 이상으로부터의 이미지들을 이용한다.
위에서 설명되고 도면들에 예시된 동작들에 더하여, 다양한 동작들이 이제 설명될 것이다. 다음의 동작들이 아래에 설명된 정확한 순서로 수행될 필요는 없다는 것을 이해해야 한다. 오히려, 다양한 단계들이 상이한 순서로 또는 동시에 처리될 수 있고, 단계들이 추가되거나 생략될 수도 있다.
픽업 위치로부터 목적지 위치로의 여행을 개시하기 위해, 서버 컴퓨팅 디바이스들(410)은 이 정보를, 예를 들어 디스패칭 명령으로서, 네트워크(260)를 통해 컴퓨팅 디바이스들(110)로 송신할 수 있다. 컴퓨팅 디바이스들(110)은 위에서 논의된 바와 같이 서버 컴퓨팅 디바이스들(410)로부터의 정보를 이용하여 차량을 픽업 위치를 향해 조종해 갈 수 있다. 차량이 픽업 위치로부터 어떤 미리 결정된 거리가 되면, 컴퓨팅 디바이스들(110)은 승객이 진입할 수 있게 하기 위해 픽업 위치에 근접한 위치에서 차량을 정지시키려고 시도할 수 있다. 유사하게, 컴퓨팅 디바이스(110)는 차량을 목적지 위치를 향해 조종해 가고 승객이 나갈 수 있게 하기 위해 목적지 위치에 근접한 위치에서 차량을 정지시키려고 시도할 수 있다. 항상, 여행 전에, 여행 중에 그리고 여행 후에, 컴퓨팅 디바이스들은 차량의 내부 상태를 결정하고 차량이 필요에 따라 응답하게 할 수 있다.
차량의 내부 상태를 결정하기 위해, 카메라들(530-536) 중 임의의 것과 같은 카메라가 차량(100)의 내부의 이미지를 캡처하기 위해 사용될 수 있다. 예를 들어, 카메라(532)는 도 8 또는 도 9의 뷰들에 대응하는 이미지를 캡처하고 이미지를 추가 처리를 위해 컴퓨팅 디바이스들(110)로 송신할 수 있다. 이미지들은 주기적으로, 예컨대 5초 또는 그 이상 또는 이하마다 캡처될 수 있는데, 그 주기는, 예를 들어, 차량이 현재 여행 중에 있는지에 따라 변화할 수 있다. 그와 관련하여, 여행 직전에, 여행 동안에, 또는 여행 직후에, 이미지들은 차량이 현재 여행 중에 있지 않고, 차량에 승객들이 비어 있어야 할 때보다 더 자주 캡처될 수 있다.
일 예에서, 이미지는 위에서 설명된 모델을 이용하여 처리될 수 있다. 예를 들어, 이미지는 모델에 입력될 수 있고 모델은 모델을 훈련시키기 위해 사용되는 정보의 유형들에 따라 정보를 출력할 수 있다. 이 출력 정보는 결정된 차량의 내부 상태 또는 차량의 내부에 대한 결정된 상태 정보에 대응할 수 있다. 예를 들어, 출력은 승객들의 수(1, 2, 3, 등), 승객들이 어디에 앉아 있는지(즉, 어느 좌석들), 승객이 좌석에 제대로 앉아 있지 않은지, 승객이 좌석 벨트를 착용하고 있는지, 승객이 성인인지 어린이인지, 승객과 에어백 사이에 물체(예컨대 가방 또는 지갑)가 있는지, 승객이 그의 좌석 벨트를 착용하고 있는지, 반려 동물 또는 애완동물이 존재하는지, 차량 내에 또는 승인된 수하물 위치에 배치된 개인용 물품이 있는지, 좌석들이 똑바로 그리고 앞쪽으로 지향된 위치에 있는지, 차량이 손상되었는지, 예를 들어, 좌석에 째진 곳이 있는지, 도어가 개방되어 있는지(그리고 일부 경우에는, 얼마나 넓게), 객실 조명이 제대로 기능하고 있는지, 카메라가 제대로 작동하고 있는지 등 승객들에 관한 세부사항들을 포함할 수 있다. 개인용 물품들과 관련하여, 출력은 휴대폰, 가방 등과 같은 물품의 유형을 또한 포함할 수 있다.
다른 예로서, 이미지는 마커들의 가시성, 또는 더 정확하게는, 이미지에서 어느 마커들이 보이는지를 결정하기 위해 컴퓨팅 디바이스들(110)에 의해 처리될 수 있다. 이 처리는 하나 이상의 훈련된 분류기를 이용하여 이미지를 두드러진 부분들(예컨대 좌석에 대응하는 것들)로 자르고 이미지 내의 마커들의 존재를 검출하는 것을 포함할 수(또는 포함하지 않을 수) 있다. 이것의 출력은 잘린 또는 잘리지 않은 이미지 내의 마커들의 존재 및/또는 패턴을 사용하여 각각의 좌석의 상태를 식별할 수 있는 다른 분류기에 입력될 수 있다. 이는 좌석이 점유되었는지, 좌석의 탑승자가 그의 좌석 벨트를 착용하고 있는지 등을 포함할 수 있다. 이미지 내에 하나보다 많은 좌석이 묘사되어 있다면, 출력은 각각의 좌석에 대해 전술한 정보를 포함할 수 있거나, "이미지에 2명의 사람이 있는데, 한 명은 좌석 벨트가 있고, 한 명은 없다"와 같이, 더 일반적일 수 있다.
예를 들어, 도 8을 참조하면, 마커들(850 및 860)은 모두 보이지만, 좌석 벨트들(830 또는 840)의 마커들은 아무 것도 없다. 도 9를 참조하면, 승객(902)은 좌석(802)의 마커들(850) 중 하나를 제외하고 전부 차단하고 있다. 마커(952)를 포함하여 2개만이 보이고, 하나의 마커(952)는 좌석 벨트(830)에 의해 부분적으로 가려져 있다. 좌석 벨트(830)의 마커들(950)은 모두 보인다. 승객(904)은, 지그재그 마커들(860)의 마커(962)에 대응하는 작은 영역을 제외하고는, 좌석(804)의 지그재그 마커들(860)의 거의 전부를 차단하고 있다. 좌석 벨트(840)의 마커들(960)은 모두 보인다.
그 후 패턴 데이터(704)가 컴퓨팅 디바이스들(110)에 의해 액세스되고 차량의 내부에 대한 상태 정보를 결정하기 위해 사용될 수 있다. 예를 들어, 상태 정보는 특정 좌석이 점유되었는지, 그리고 점유된 좌석의 탑승자가 좌석 벨트를 착용하고 있는지를 지시할 수 있다. 이는 차량이 점유되었는지, 차량에 앉아 있는 승객들의 수, 승객들이 그들의 좌석 벨트들을 착용하고 있는지, 차량에 너무 많은 승객들이 있는지 등에 관한 결정들을 하기 위해 사용될 수 있다. 예로서, 도 8을 참조하면, 마커들(850)은 모두 보이고 좌석 벨트(830)의 마커들은 보이지 않는다는 정보가 패턴 데이터(704)와 비교될 수 있다. 패턴 데이터는 보이는 마커와 가려진 마커의 이 조합을 좌석(802)에는 승객이 비어 있고 좌석 벨트(830)가 사용되지 않는 것과 연관된 것으로서 식별할 수 있다. 유사하게, 마커들(860)은 모두 보이고 좌석 벨트(840)의 마커들은 보이지 않는다는 정보가 패턴 데이터(704)와 비교될 수 있다. 패턴 데이터는 보이는 마커와 가려진 마커의 이 조합을 좌석(804)에는 승객이 비어 있고 좌석 벨트(840)가 사용되지 않는 것과 연관된 것으로서 식별할 수 있다.
도 9를 참조하면, 마커(952 및 954)를 제외한 모든 마커들이 보이고 마커(952)가 부분적으로 가려져 있다는 정보가 패턴 데이터(704)와 비교될 수 있다. 패턴 데이터는 보이는 마커와 가려진 마커의 이 조합을 좌석(802)이 승객에 의해 점유되는 것과 연관된 것으로서 식별할 수 있다. 유사하게, 지그재그 마커들(860)의 마커(962)에 대응하는 작은 영역을 제외하고는, 좌석(804)의 지그재그 마커들(860)이 가려져 있다는 정보가 패턴 데이터(704)와 비교될 수 있다. 패턴 데이터는 보이는 마커와 가려진 마커의 이 조합을 좌석(804)이 승객에 의해 점유되는 것과 연관된 것으로서 식별할 수 있다. 도면들에 묘사되지 않았지만, 이미지에서 마커들(950 또는 960)이 보이지 않는다면, 이는 승객들(902 및 904)이 그들의 좌석 벨트들을 착용하고 있지 않다는 것을 지시할 수 있다.
좌석이 점유되었지 여부 및 승객이 좌석 벨트를 착용하고 있는지를 결정하는 것에 더하여, 컴퓨팅 디바이스들(110)은 또한 마커들을 사용하여 승객의 신장을 결정할 수 있다. 예를 들어, 이미지에서 좌석 벨트 상의 어느 마커가 보이는지를 이용하여 좌석 벨트가 승객의 어깨에서 그리고/또는 좌석에 대하여 어디에 해당하는지를 추정할 수 있다. 예를 들어, 분류기 또는 다른 비전 알고리즘들을 이용하여 승객의 어깨의 에지를 검출하고 해당 위치를 알려진 좌석 벨트 마커 위치들뿐만 아니라 이미지 내의 좌석에 대한 좌석 벨트 마커 위치들의 상대적 위치와 비교할 수 있다. 추가로 또는 대안적으로, 다른 분류기가 상이한 신체 특징들의 위치들을 검출하고 해당 특징들의 위치들을 좌석 벨트 마커 또는 마커들이 위치되는 곳과 비교할 수 있다. 또한, 좌석의 에지는 좌석들의 마커들을 사용하여 추정될 수 있거나 또는 선험적으로 알려질 수 있다. 이것을 미리 한 번(좌석의 위치가 상대적으로 정지되어 있는 것으로 가정하여) 또는 여러 번 측정하여 좌석의 에지가 이미지에서 위치할지도 모르는 여러 상이한 가능한 위치들을 캡처할 수 있다. 이는 결국, 승객의 신장 또는 더 간단하게는, 승객의 몸통의 길이를 추정하기 위해 사용될 수 있다. 예를 들어, 가장 낮은 보이는 마커(승객의 어깨 및 좌석 벨트 근처의 좌석 상의)는 승객의 신장(또는 적어도 그의 어깨까지의 승객의 신장)에 대응할 수 있다. 유사하게, 마커들 자체는 그것들에 인코딩된 정보, 예컨대 특정 컬러, 형상 변화, 또는 다른 구성을 가질 수 있다. 이와 관련하여, 가장 낮은 보이는 마커(승객의 어깨 및 좌석 벨트 근처의 좌석 상의)는 추정된 승객의 신장과 직접 연관될 수 있다. 또한, 마커들과 조합하여 좌석 상의 위치에 대해 신장을 결정함으로써, 이는 상이한 신체 형상들에 의해 야기되는 오류들의 가능성을 감소시킬 수 있다(좌석 벨트 마커들은 상이한 위치들에서 끝날 수 있기 때문에).
예를 들어, 좌석 벨트(830)는 8개의 마커(950)를 갖는다. 마커(956)가 승객(902)의 어깨(912)에 인접한다. 좌석 벨트(830) 상의 그리고 좌석 벨트의 다른 마커들(950)뿐만 아니라 좌석(810)에 대한 마커(956)의 위치를 이용하여 승객(902)이 키가 5 피트 미만이라고 결정할 수 있다. 이는 승객(902)이 어린이라는 것을 지시할 수 있다. 유사하게, 좌석 벨트(840)는 8개의 마커(960)를 갖는다. 마커(966)가 승객(904)의 어깨(914)에 인접한다. 좌석 벨트(840) 상의 그리고 좌석 벨트의 다른 마커들(960)뿐만 아니라 좌석(820)에 대한 마커(966)의 위치를 이용하여 승객(902)이 키가 5.5 피트를 초과한다고 결정할 수 있다. 이는 승객(902)이 성인이라는 것을 지시할 수 있다.
일부 경우에, 차량 내에 어린이용 카 시트가 위치되는 경우, 카 시트가 존재하고 좌석에 대해 제대로 위치되는 것을 보장하기 위해 카 시트 상에도 마커들이 배치될 수 있다. 이러한 마커들은 위에서 설명된 것들과 동일하거나 유사할 수 있고, 위에서 설명된 예들 중 임의의 것을 이용하여 식별될 수 있다.
마커들에 더하여 또는 그에 대한 대안으로서, 좌석 벨트들 자체는 흑색 이외의 컬러들일 수 있다. 예를 들어, 전형적인 흑색 좌석 벨트는 흑색 스웨터 또는 재킷과 구별하기가 어려울 수 있다. 이와 관련하여, 좌석 벨트는 전형적인 흑색 대신 적색, 황색, 분홍색, 녹색, 청색, 남색, 보라색 직물들로 제작될 수 있다. 이는 승객의 몸통 또는 무릎의 영역들에서 특정 컬러를 식별하기 위해 모델 또는 다른 이미지 처리를 이용하여 승객이 좌석 벨트를 착용하고 있는지를 결정하는 유효성을 개선할 수 있다.
결정된 내부 상태(예를 들어, 위의 모델 및/또는 마커 예들 중 임의의 것을 이용하여 결정됨)는 결정된 내부 상태에 어떻게 응답할지를 결정하기 위해 사용될 수 있는 다른 정보에 의해 추가로 단서가 달릴 수 있다. 예를 들어, 여행의 상태(방금 끝났는지, 막 시작하려는 참인지, 또는 현재 차량에서 진행 중인지)에 따라, 컴퓨팅 디바이스들(110)은 차량의 내부 상태에 관한 추가 결정들을 할 수 있다. 예를 들어, 여행이 방금 끝났고, 개인용 물품이 차량에 위치한다면, 컴퓨팅 디바이스들은 개인용 물품이 뒤에 남겨졌다고 결정할 수 있다. 물론, 이 동일한 개인용 물품이 여행 중에 차량 내에 있다면, 물품은 반드시 뒤에 남겨진 것은 아닐 것이다. 다른 예로서, 여행이 끝났지만, 승객이 여전히 차량에 앉아 있다면, 이는 여행이 현재 진행 중이고 승객이 앉아 있는 경우와는 상이한 응답을 다시 요구할 수 있다.
일부 예들에서, 좌석들 중 하나 이상 좌석 내의 센서들을 사용하여 이러한 좌석들 중 임의의 좌석에 물체가 위치하는지를 결정할 수 있다. 그렇다면, 컴퓨팅 디바이스들(110)은 모델 및/또는 마커들을 사용하여 물체의 유형, 예컨대 그것이 성인인지, 어린이인지, 휴대폰인지, 가방인지 등을 결정할 수 있다.
차량의 내부 상태가 결정되고, 일부 경우에는 위에서 논의된 것과 같이 단서가 달린다면, 컴퓨팅 디바이스들(110)은 액션 데이터(706)를 이용하여 적절한 응답을 결정할 수 있다. 예로서, 차량의 상태가 차량이 점유되었고 여행이 방금 끝났다는 것을 지시하면, 컴퓨팅 디바이스들은 승객에게 떠날 시간이라는 것을 지시하는 가청 통지를 제공할 수 있다. 승객이 떠나지 않으면, 컴퓨팅 디바이스는 원격 조작자 또는 응급 서비스들(사람이 응답하지 않는 경우 등)로부터 도움을 요청할 수 있다.
또한, 추정된 승객의 신장을 이용하여, 컴퓨팅 디바이스들(110)은 승객이 단독으로 차량에 탑승할 정도로, 부스터 시트 또는 카 시트 없이 차량에 탑승할 정도로 충분히 키가 크거나 실제로, 충분히 나이가 들었는지에 관한 규칙들을 시행할 수 있다. 예를 들어, 결정된 내부 상태가 차량에 승객(902)과 같은 미성년자 또는 어린이가 있다는 것을 지시할 때, 컴퓨팅 디바이스들은 위에서 논의된 액션 데이터에서 정의된 정책들을 시행할 수 있다. 예로서, 차량에 미성년자가 있다면, 여행을 준비하는 계좌 소유자에게 통지될 수 있고, 미성년자가 앉아 있는 곳에 인접한 에어백이 꺼질 수 있고(적절한 경우), 어린이가 적절한 좌석에, 예컨대 중간 좌석에, 부스터 또는 어린이용 카 시트에 배치되고, 어린이가 그 시트 안으로 제대로 버클이 채워질 때까지 여행이 시작되지 않을 것이라는 것을 지시하는 통지가 재생될 수 있다. 다른 예로서, 유일한 승객이 어린이라면, 그 어린이가 혼자 탑승하는 것이 허용되거나 또는 혼자 탑승할 정도로 충분히 나이가 들었다는 것을 확인하기 위해, 계좌 소유자에 통지될 수 있다(예를 들어, 그의 클라이언트 컴퓨팅 디바이스에 통지를 송신함으로써).
다른 예로서, 결정된 내부 상태는 개인용 물품이 남겨졌다는 것을 지시하고, 승객의 클라이언트 컴퓨팅 디바이스를 통해 컴퓨팅 디바이스들(110)에 의해 통지가 제공될 수 있고, 디바이스가 차량에 남겨졌다면, 승객에게 경보하기 위해 가청 통지(예컨대 스피커를 통한 경적 또는 다른 메시지)가 제공될 수 있다. 통지는 컴퓨팅 디바이스(110)에 의해 네트워크를 통해 클라이언트 컴퓨팅 디바이스로 직접 송신되거나, 클라이언트 컴퓨팅 디바이스들에 통지를 전달할 수 있는 서버 컴퓨팅 디바이스들(210)로 송신되거나, 임의의 다른 방법을 사용하여 송신될 수 있다. 통지는 승객이 무언가가 뒤에 남겨진 것을 깨닫고 원격 조작자가 수반되고 여러 메시지가 네트워크를 통해 왔다갔다 송신되어야 하는 경우보다 더 빨리 그것을 되찾을 수 있게 할 수 있다.
추가 예로서, 결정된 내부 상태가 차량이 손상되거나, 오염되거나, 또는 달리 세정되거나 수리될 필요가 있다는 것을 지시한다면, 손상의 양에 따라, 컴퓨팅 디바이스들(110)은 차량을 운행하지 않게 하고 차량이 서비스 스테이션으로 복귀할 것을 요구할 수 있다. 손상이 사소하다면, 차량은 계속해서 운송 서비스들을 제공할 수 있다. 손상의 양이 불명확하다면, 또는 어떠한 손상도 없는 일부 경우에, 어떻게 진행할지를 결정하기 위해 검토를 위해 동일한 이미지 또는 다른 이미지가 원격 조작자에게 송신될 수 있다.
특정 상황들에서, 컴퓨팅 디바이스들(110)은 차량이 진행할 수 있기 전에 승객이 해결해야만 하는 문제를 지시하는 통지들을 승객에게 제공할 수 있다. 예를 들어, 도어를 닫고, 그의 좌석 벨트를 고정하고, 승객과 에어백 사이의 물체를 옮기고, 비반려 동물(애완동물들이 허용되지 않는다면)을 제거하는 등을 하도록 승객에 요구할 수 있다.
여행 중에, 컴퓨팅 디바이스들(110)은 또한 주기적으로 또는 연속적으로 차량의 내부 상태를 모니터링할 수 있다. 이는 승객들이 수면 중이고, 차량의 부품들을 조작하거나 또는 제거하려고 시도하고 있고, 구속되지 않은 애완동물을 가지고 있고, 좌석 벨트의 버클을 채우지 않았고/않았거나 좌석을 벗어났는지를 결정하는 것을 포함할 수 있다. 컴퓨팅 디바이스들은 심지어 차량 외부의 물체, 예컨대 사람의 일부 또는 가지가 창을 통해 차량 내로 연장되는지를 결정할 수도 있다. 이는 컴퓨팅 디바이스들이 위에 지시된 바와 같이 비효율적이 될 수 있는 인간 조작자에 의한 끊임없는 검토를 달리 요구하게 되는 상황들에 응답하게 할 수 있고 심지어 승객들에 대한 프라이버시를 개선할 수도 있는데 그 이유는, 예를 들어 어떤 안전상의 우려가 존재하지 않는 한, 승객들의 이미지들을 보는 원격 조작자를 거의 필요로 하지 않을 것이기 때문이다. 시간 경과에 따라, 모델은 심지어 승객이 곤궁에 처해 있는지 또는 그들이 멀미를 겪고 있는지를 검출하고, 컴퓨팅 디바이스들이 차량의 루트를 변경하고/하거나 필요하다면 적절한 도움을 요청하게 하도록 훈련될 수 있다.
도 10은 차량(100)과 같은 자동-운전 차량의 내부 상태를 결정하고 그에 응답하기 위해, 컴퓨팅 디바이스들(110)의 프로세서들(120)과 같은, 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서에 의해 수행될 수 있는 본 개시내용의 양태들에 따른 예시적인 흐름 다이어그램(1000)이다. 이 예에서, 블록 1010에서는 차량에 장착된 카메라에 의해 캡처된 차량의 내부의 이미지가 수신된다. 블록 1020에서는 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커를 식별하기 위해 이미지가 처리된다. 블록 1030에서는 식별된 하나 이상의 보이는 마커에 기초하여 차량의 내부 상태가 결정된다. 블록 1040에서는 결정된 내부 상태를 이용하여 응답 액션이 식별된다. 블록 1050에서는 응답 액션을 수행하기 위해 차량이 제어된다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않고, 고유의 이점들을 달성하도록 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이러한 및 다른 변형들 및 조합들이 청구항들에 의해 정의되는 주제를 벗어나지 않고서 이용될 수 있으므로, 전술한 실시예들의 설명은 청구항들에 의해 정의되는 주제의 제한으로서가 아니라 예시로서 받아들여져야 한다. 또한, 본 명세서에서 설명된 예들뿐만 아니라, "와 같은", "포함하는" 등의 문구로 된 절들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 된다; 오히려, 예들은 많은 가능한 실시예들 중 하나만을 예시하기 위해 의도된 것이다. 또한, 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

Claims (20)

  1. 자동-운전(self-driving) 차량의 내부 상태를 결정하고 그에 응답하는 방법으로서,
    상기 방법은:
    상기 차량에 장착된 카메라에 의해 캡처된 상기 차량의 내부의 이미지를 수신하는 단계;
    상기 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커를 식별하기 위해 상기 이미지를 처리하는 단계;
    상기 식별된 하나 이상의 보이는 마커에 기초하여 상기 차량의 상기 내부 상태를 결정하는 단계;
    상기 결정된 내부 상태를 이용하여 응답 액션을 식별하는 단계; 및
    상기 응답 액션을 수행하기 위해 상기 차량을 제어하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 이미지는 상기 결정된 내부 상태를 제공하는 기계 학습 모델을 이용하여 처리되는, 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 보이는 마커를 이용하여 상기 차량의 승객의 신장을 결정하는 단계를 추가로 포함하고, 상기 차량의 내부 상태를 결정하는 단계는 상기 결정된 신장에 기초하는, 방법.
  4. 제1항에 있어서,
    상기 내부 상태는 상기 차량의 좌석이 점유된 것을 지시하는, 방법.
  5. 제1항에 있어서,
    상기 차량의 상기 내부 상태는 상기 차량의 좌석이 비어 있는 것을 지시하는, 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 보이는 마커는 상기 차량의 좌석의 좌석 등받이 상에 위치하고, 상기 차량의 상기 내부 상태는 상기 좌석이 비어 있는 것을 지시하는, 방법.
  7. 제1항에 있어서,
    상기 하나 이상의 보이는 마커는 상기 차량의 좌석의 좌석 벨트 상에 위치하고, 상기 차량의 상기 내부 상태는 상기 좌석이 승객에 의해 점유된 것을 지시하는, 방법.
  8. 제7항에 있어서,
    상기 차량의 상기 내부 상태는 상기 승객이 좌석 벨트를 착용하고 있다는 것을 지시하는, 방법.
  9. 제1항에 있어서,
    상기 차량이 현재 하나 이상의 승객과 함께 목적지로 여행 중에 있는지에 기초하여 상기 결정된 내부 상태에 단서를 다는(qualifying) 단계를 추가로 포함하는, 방법.
  10. 제1항에 있어서,
    상기 결정된 내부 상태는 상기 차량 내의 승객들의 수를 지시하는, 방법.
  11. 제1항에 있어서,
    상기 결정된 내부 상태가 상기 차량이 승객에 의해 점유되어 있고 여행이 방금 끝났다는 것을 지시할 때, 상기 응답 액션은 상기 승객에게 상기 차량을 떠날 시간이라는 것을 지시하는 가청 통지를 제공하는 것을 포함하는, 방법.
  12. 제1항에 있어서,
    상기 결정된 내부 상태가 차량이 비어 있고 여행이 진행 중이라는 것을 지시할 때, 상기 응답 액션은 상기 여행을 취소하는 것을 포함하는, 방법.
  13. 제1항에 있어서,
    상기 결정된 내부 상태가 상기 차량 내에 어린이가 있다는 것을 지시할 때, 상기 응답 액션은 상기 어린이가 상기 차량 내의 특정 좌석에 있어야 한다는 것을 지시하는 통지를 제공하는 것을 포함하는, 방법.
  14. 제13항에 있어서,
    상기 응답 액션은 상기 어린이가 상기 차량의 특정 좌석에 있을 때까지 여행을 시작하지 않는 것을 포함하는, 방법.
  15. 제1항에 있어서,
    상기 결정된 내부 상태가 상기 차량 내에 어린이가 있다는 것을 지시할 때, 상기 응답 액션은 상기 어린이가 상기 차량 내의 적절한 어린이 보호장치(child restraint)에 있어야 한다는 것을 지시하는 통지를 제공하는 것을 포함하는, 방법.
  16. 제15항에 있어서,
    상기 응답 액션은 상기 어린이가 상기 적절한 어린이 보호장치에 있을 때까지 여행을 시작하지 않는 것을 포함하는, 방법.
  17. 제1항에 있어서,
    상기 결정된 내부 상태는 상기 차량 내에 어린이가 있다는 것을 지시하고, 상기 응답 액션은 상기 여행과 연관된 계좌 소유자(account holder)의 클라이언트 디바이스에 상기 어린이가 상기 차량에 탑승하는 것이 허용된다는 확인을 요청하는 통지를 제공하는 것을 포함하는, 방법.
  18. 제1항에 있어서,
    상기 결정된 내부 상태는 상기 차량 내에 어린이가 있다는 것을 지시하고, 상기 방법은 상기 어린이가 위치하는 좌석에 인접한 에어백을 끄는 단계를 추가로 포함하는, 방법.
  19. 제1항에 있어서,
    상기 결정된 내부 상태는 승객이 좌석 벨트를 착용하고 있지 않다는 것을 지시하고, 상기 응답 액션은 상기 승객이 좌석 벨트를 사용하는 것을 요청하는 통지를 제공하는 것을 포함하는, 방법.
  20. 자동-운전 차량의 내부 상태를 결정하고 그에 응답하기 위한 시스템으로서, 상기 시스템은 하나 이상의 프로세서를 포함하고, 상기 프로세서는:
    상기 차량에 장착된 카메라에 의해 캡처된 상기 차량의 내부의 이미지를 수신하고;
    상기 차량 내의 미리 결정된 위치들에서 하나 이상의 보이는 마커를 식별하기 위해 상기 이미지를 처리하고;
    상기 식별된 하나 이상의 보이는 마커에 기초하여 상기 차량의 상기 내부 상태를 결정하고;
    상기 결정된 내부 상태를 이용하여 응답 액션을 식별하고;
    상기 응답 액션을 수행하기 위해 상기 차량을 제어하도록 구성되는, 시스템.
KR1020207024030A 2018-02-21 2019-02-19 차량의 내부 상태의 결정 및 그에 대한 응답 KR102254043B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/901,379 2018-02-21
US15/901,379 US10838425B2 (en) 2018-02-21 2018-02-21 Determining and responding to an internal status of a vehicle
PCT/US2019/018542 WO2019164825A1 (en) 2018-02-21 2019-02-19 Determining and responding to an internal status of a vehicle

Publications (2)

Publication Number Publication Date
KR20200102000A true KR20200102000A (ko) 2020-08-28
KR102254043B1 KR102254043B1 (ko) 2021-05-20

Family

ID=67616827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024030A KR102254043B1 (ko) 2018-02-21 2019-02-19 차량의 내부 상태의 결정 및 그에 대한 응답

Country Status (6)

Country Link
US (3) US10838425B2 (ko)
EP (1) EP3755594A4 (ko)
JP (1) JP6985523B2 (ko)
KR (1) KR102254043B1 (ko)
CN (2) CN113353073A (ko)
WO (1) WO2019164825A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003940B1 (ko) * 2016-11-11 2019-10-01 엘지전자 주식회사 자율 주행 차량 및 그 제어방법
US10838425B2 (en) 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
US11614735B1 (en) * 2018-05-18 2023-03-28 Uatc, Llc Systems and methods for remote status detection of autonomous vehicles
JP7081315B2 (ja) * 2018-06-07 2022-06-07 トヨタ自動車株式会社 シートベルト装着状態判定装置
JP7040409B2 (ja) * 2018-11-07 2022-03-23 トヨタ自動車株式会社 モビリティサービス支援装置、モビリティシステム、モビリティサービス支援方法、及びモビリティサービス支援用コンピュータプログラム
US10864826B2 (en) * 2019-01-30 2020-12-15 Ford Global Technologies, Llc Seat including infrared-indicator material in a pattern
US10640082B1 (en) 2019-02-11 2020-05-05 Gm Cruise Holdings Llc Child rider features for an autonomous vehicle
DE102019202636B4 (de) * 2019-02-27 2023-11-16 Zf Friedrichshafen Ag Markierungsobjekt anordenbar an einen Fahrzeug-Kindersitz zum adaptiven Auslösen eines Aufprallkissens, Verfahren zum Bestimmen einer Position und/oder Ausrichtung eines Fahrzeug-Kindersitzes relativ zu einem Fahrzeugsitz und Computerprogrammprodukt zum adaptiven Auslösen eines Aufprallkissens
US10679226B1 (en) * 2019-02-27 2020-06-09 Capital One Services, Llc System and method for providing disposal recommendation for a vehicle owner
US10913428B2 (en) * 2019-03-18 2021-02-09 Pony Ai Inc. Vehicle usage monitoring
US11491940B2 (en) * 2019-04-19 2022-11-08 GM Global Technology Operations LLC System and method for detecting improper posture of an occupant using a seatbelt restraint system
US11568743B2 (en) * 2019-08-07 2023-01-31 Ford Global Technologies, Llc Systems and methods for managing a vehicle fleet based on compliance regulations
US11193312B1 (en) * 2019-09-30 2021-12-07 Ambarella International Lp Child safety lock
JP7379074B2 (ja) * 2019-10-17 2023-11-14 株式会社今仙電機製作所 車両用シート、車両、車両の制御方法及びそのプログラム
US11148636B2 (en) * 2019-11-11 2021-10-19 GM Global Technology Operations LLC Time based seatbelt routing detection via in-cabin sensors
US11729432B2 (en) * 2019-11-19 2023-08-15 Thales Avionics, Inc. Inflight entertainment system using video object recognition to monitor seat areas and generate flight crew notifications
CN112836549B (zh) * 2019-11-22 2024-07-26 虹软科技股份有限公司 用户信息的检测方法及系统、电子设备
US11017248B1 (en) 2019-12-18 2021-05-25 Waymo Llc Interior camera system for a self driving car
US11951997B2 (en) 2020-02-06 2024-04-09 Micron Technology, Inc. Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
US11465746B2 (en) * 2020-02-17 2022-10-11 Jeff Johnson Method and apparatus for detecting seatbelt compliance in commercial passenger aircraft
US11262562B2 (en) 2020-03-18 2022-03-01 Waymo Llc Infrared camera module cover
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
US12005855B2 (en) * 2020-06-18 2024-06-11 Nvidia Corporation Machine learning-based seatbelt detection and usage recognition using fiducial marking
KR102378665B1 (ko) * 2020-08-26 2022-03-25 주식회사 켐트로닉스 차량의 긴급 제어 시스템 및 방법
US20220203930A1 (en) * 2020-12-29 2022-06-30 Nvidia Corporation Restraint device localization
US11807257B2 (en) * 2021-06-07 2023-11-07 Toyota Connected North America, Inc. Sensing interactions with unpermitted components within a vehicle
US11807258B2 (en) 2021-06-08 2023-11-07 Toyota Connected North America, Inc. Radar detection of unsafe seating conditions in a vehicle
US11938878B1 (en) * 2021-06-25 2024-03-26 Zoox, Inc. Occupant restraint system and method
CN113553938B (zh) * 2021-07-19 2024-05-14 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
US11951935B2 (en) * 2021-07-22 2024-04-09 GM Global Technology Operations LLC System and method for assessing seatbelt routing using seatbelt routing zones that are based on size and shape of occupant
CN116091075A (zh) * 2021-11-02 2023-05-09 博泰车联网(武汉)有限公司 自动驾驶车辆的控制系统、方法、设备、存储介质及产品
EP4303821A1 (en) * 2022-07-07 2024-01-10 Aptiv Technologies Limited Seated passenger height estimation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030082550A (ko) * 2000-12-07 2003-10-22 지멘스 악티엔게젤샤프트 차량 내 대상을 감지하기 위한 장치 및 방법
JP2007055294A (ja) * 2005-08-22 2007-03-08 Tokai Rika Co Ltd 車両用乗員検知装置
JP2007126141A (ja) * 1996-02-23 2007-05-24 Elesys North America Inc 車両の乗員感知装置とその方法
JP2007168668A (ja) * 2005-12-22 2007-07-05 Calsonic Kansei Corp シート制御装置
JP2008234009A (ja) * 2007-03-16 2008-10-02 Denso Corp 健康管理支援システム
KR101478053B1 (ko) * 2013-09-09 2014-12-31 박용재 어린이 통학차량용 안전시스템
JP6281492B2 (ja) * 2012-10-26 2018-02-21 日本電気株式会社 乗車人数計測装置、方法およびプログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044863A (ja) * 2001-07-30 2003-02-14 Nissan Motor Co Ltd 仕切線認識装置
JP4403102B2 (ja) * 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
FR2877279B1 (fr) 2004-11-03 2008-06-27 Faurecia Sieges Automobile Systeme de detection de presence d'un occupant sur un siege de vehicule automobile, siege adapte a ce systeme et vehicule comportant un tel systeme
US7321306B2 (en) 2004-12-10 2008-01-22 International Business Machines Corporation Wireless system to detect presence of child in a baby car seat
WO2006065563A2 (en) * 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
JP4595666B2 (ja) * 2005-05-13 2010-12-08 パナソニック電工株式会社 車両用安全システム
EP2008257A2 (en) * 2006-03-30 2008-12-31 Asher S. Saban Protecting children and passengers with respect to a vehicle
KR100753115B1 (ko) * 2006-06-13 2007-08-29 한국원자력연구원 차량 탑승자 인식장치 및 방법
DE102006040244B3 (de) * 2006-08-28 2007-08-30 Robert Bosch Gmbh Vorrichtung und Verfahren zur Sitzbelegungserkennung
JP4856506B2 (ja) * 2006-09-14 2012-01-18 本田技研工業株式会社 車両のシートベルト装置
DE102006056094A1 (de) 2006-11-28 2008-05-29 Robert Bosch Gmbh Fahrerassistenzsystem mit Anwesenheitsüberwachung
JP2009090962A (ja) * 2007-09-18 2009-04-30 Auto Network Gijutsu Kenkyusho:Kk シートベルト装着情報出力システム、車両用シート及び車両
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8880273B1 (en) * 2013-01-16 2014-11-04 Google Inc. System and method for determining position and distance of objects using road fiducials
CN103359038B (zh) * 2013-08-05 2016-09-21 北京汽车研究总院有限公司 一种识别儿童坐副驾驶位置的方法、系统及汽车
WO2015099679A1 (en) 2013-12-23 2015-07-02 Intel Corporation In-vehicle authorization for autonomous vehicles
US9442647B2 (en) * 2014-04-25 2016-09-13 Honda Motor Co., Ltd. System and method for limiting interaction between a portable electronic device and a navigation system in a vehicle
US9650016B2 (en) * 2014-12-04 2017-05-16 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
CN106274669B (zh) * 2015-06-10 2020-03-24 联想(北京)有限公司 一种安全预警方法及装置
KR20170074740A (ko) * 2015-12-22 2017-06-30 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6643461B2 (ja) 2015-09-04 2020-02-12 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法
JP2017083308A (ja) * 2015-10-28 2017-05-18 アルパイン株式会社 電子装置、施設特定方法および施設特定プログラム
US9663032B1 (en) 2015-11-09 2017-05-30 Ford Global Technologies, Llc Child seat monitoring system and method
US9821761B2 (en) * 2015-11-20 2017-11-21 Ford Global Technologies, Llc System and method for webbing payout
CN107010073A (zh) * 2015-11-30 2017-08-04 法拉第未来公司 基于数据聚合自动检测车辆中的占用条件的系统和方法
CN105730392A (zh) * 2016-04-05 2016-07-06 上海汽车集团股份有限公司 安全带未系提醒系统及方法
CN105946786B (zh) 2016-05-06 2018-12-07 厦门理工学院 一种安全带规范佩戴的检测方法、提醒系统及控制方法
US20170330044A1 (en) * 2016-05-10 2017-11-16 GM Global Technology Operations LLC Thermal monitoring in autonomous-driving vehicles
JP2017222337A (ja) * 2016-06-14 2017-12-21 アイシン精機株式会社 着座状態検出装置
CN106494349A (zh) * 2016-10-25 2017-03-15 深圳市元征科技股份有限公司 一种安全带未系报警方法及装置
US10416671B2 (en) 2017-07-11 2019-09-17 Waymo Llc Methods and systems for vehicle occupancy confirmation
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10838425B2 (en) * 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007126141A (ja) * 1996-02-23 2007-05-24 Elesys North America Inc 車両の乗員感知装置とその方法
KR20030082550A (ko) * 2000-12-07 2003-10-22 지멘스 악티엔게젤샤프트 차량 내 대상을 감지하기 위한 장치 및 방법
JP2007055294A (ja) * 2005-08-22 2007-03-08 Tokai Rika Co Ltd 車両用乗員検知装置
JP2007168668A (ja) * 2005-12-22 2007-07-05 Calsonic Kansei Corp シート制御装置
JP2008234009A (ja) * 2007-03-16 2008-10-02 Denso Corp 健康管理支援システム
JP6281492B2 (ja) * 2012-10-26 2018-02-21 日本電気株式会社 乗車人数計測装置、方法およびプログラム
KR101478053B1 (ko) * 2013-09-09 2014-12-31 박용재 어린이 통학차량용 안전시스템

Also Published As

Publication number Publication date
US20190258263A1 (en) 2019-08-22
US12099365B2 (en) 2024-09-24
JP2021509876A (ja) 2021-04-08
CN111788101A (zh) 2020-10-16
US11619949B2 (en) 2023-04-04
WO2019164825A1 (en) 2019-08-29
KR102254043B1 (ko) 2021-05-20
CN111788101B (zh) 2021-06-29
US20230205223A1 (en) 2023-06-29
US10838425B2 (en) 2020-11-17
JP6985523B2 (ja) 2021-12-22
EP3755594A4 (en) 2021-11-17
CN113353073A (zh) 2021-09-07
US20210034067A1 (en) 2021-02-04
EP3755594A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
KR102254043B1 (ko) 차량의 내부 상태의 결정 및 그에 대한 응답
KR102325200B1 (ko) 자율 주행 차량에서 정차 분석을 향상시키기 위해 승객들의 승하차 시간을 추정하기
US11803183B2 (en) Autonomous vehicles
US11754412B1 (en) Automatically requesting vehicles
JP7344339B2 (ja) 自律車両のための状況認識停車
CN107878460A (zh) 自动驾驶车辆的控制方法和服务器
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
JP2019153219A (ja) 車両管理システム、車両管理方法、およびプログラム
WO2021131789A1 (ja) 車両

Legal Events

Date Code Title Description
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant