KR20210092328A - 운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들 - Google Patents

운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20210092328A
KR20210092328A KR1020217022215A KR20217022215A KR20210092328A KR 20210092328 A KR20210092328 A KR 20210092328A KR 1020217022215 A KR1020217022215 A KR 1020217022215A KR 20217022215 A KR20217022215 A KR 20217022215A KR 20210092328 A KR20210092328 A KR 20210092328A
Authority
KR
South Korea
Prior art keywords
driver
task
vehicle
self
driving system
Prior art date
Application number
KR1020217022215A
Other languages
English (en)
Other versions
KR102591432B1 (ko
Inventor
케이스 헛칭스
줄리엔 메르케이
필립 네멕
한스-올라브 카베리에
사스와트 파니그라히
레나우드-롤란드 허베르트
조한 엥스트롬
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20210092328A publication Critical patent/KR20210092328A/ko
Application granted granted Critical
Publication of KR102591432B1 publication Critical patent/KR102591432B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Abstract

본 기술은 자율 주행 시스템들에서 운전자 피로를 동적으로 검출, 관리 및 완화하는 것에 관한 것이다. 예를 들어, 차량 내의 운전자의 상호작용들은 차량의 동작과 연관된 주 태스크들 또는 차량 컴퓨팅에 의해 발행된 보조 태스크들이 마지막으로 수행되었을 때 거리 또는 시간을 결정하기 위해 모니터링될 수 있다(610). 주 태스크들 또는 보조 태스크들이 주어진 거리 임계값들 또는 시간 제한들 내에서 수행되지 않는 경우(620), 하나 이상의 보조 태스크가 차량의 컴퓨팅 디바이스에 의해 개시된다(630). 다른 예에서, 잠재적인 운전자 피로, 운전자 주의 산만 또는 자동화된 드라이빙 시스템에 대한 과도한 의존이 운전자의 응시 방향 또는 패턴에 기초하여 검출된다. 예를 들어, 검출된 응시 방향 또는 패턴(810)은 차량(860) 부근의 주변 환경을 고려하여 예상된 응시 방향 또는 패턴과 비교될 수 있다.

Description

운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들
관련 출원들에 대한 상호 참조
본 출원은 2018년 12월 19일자로 출원된 미국 출원 제16/226,322호의 이익을 주장하며, 그 전체 개시는 본 명세서에 참조로 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율 주행 차량들(autonomous vehicles)은 한 위치(location)로부터 다른 위치로의 승객들 또는 물품들의 수송을 돕기 위하여 사용될 수 있다. 이러한 차량들은 승객들이 픽업(pickup) 또는 목적지 위치와 같은 일부 초기 입력을 제공할 수 있으며 차량이 그 위치까지 스스로 기동하는 완전 자율 모드로 동작할 수 있다. 그러나, 일부 상황들에서, 인간 운전자는 차량의 구획 내에 위치될 수 있다. 이러한 상황들에서, 운전자는 차량의 동작을 보조하거나 승객을 일부 방식("보조 운전자")으로 보조할 필요가 있을 수 있다. 전자와 관련하여, 이것은, 예를 들어, 차량의 시험 운행들 동안 발생할 수 있다. 후자에 관하여, 이러한 상황들은, 예를 들어, 승객이 문제를 가지거나 걱정되거나 또는 다르게는 불편한 경우에 발생할 수 있다. 여기서, 차량 내의 인간 운전자는 승객과 통신하고 차량이 정상적으로 기능하고 있다는 것을 그 또는 그녀에게 재보장하고, 승차 동안 승객을 체크하고, 그리고/또는 비상 상황 또는 차량에 문제가 있는 경우에 승객에게 명령들을 제공할 수도 있다. 보조 운전자가 드라이빙 동안 항상 인지적으로 관여하는 것이 아닐 수 있기 때문에, 그 또는 그녀는 피로하게 되거나, 산만하게 하는 태스크들에 관여하거나, 또는 아마도 자동화에 과도하게 의존할 수 있다. 그리고 전술한 것은 자율 주행 차량들에 관하여 논의되었지만, 이러한 피로는 또한 비-자율 주행 차량들을 동작시키는 운전자들에 대한 인자가 될 수 있다.
개시된 기술의 일 양태는 셀프-드라이빙 시스템을 위한 동적 상호작용 인지 태스크(interactive cognitive task) 방법을 제공한다. 방법은 셀프-드라이빙 시스템의 하나 이상의 프로세서에 의해, 주 태스크와 연관된 주 태스크 요구 메트릭을 결정하는 단계; 및 하나 이상의 프로세서에 의해, 주 태스크 요구 메트릭을 임계값과 비교하는 단계를 포함한다. 방법은 또한, 하나 이상의 프로세서에 의해, 비교의 결과에 기초하여 셀프-드라이빙 시스템의 운전자에게 상호작용 인지 태스크를 개시하도록 셀프-드라이빙 시스템을 트리거링하는 단계를 포함할 수 있다.
본 기술의 이 양태에서, 주 태스크 요구 메트릭은 운전자에 의한 코멘트, 코멘트 등급화, 또는 셀프-드라이빙 시스템의 승객에 대한 셀프-드라이빙 시스템의 사용에 대한 요청 중 하나와 연관된 값을 포함한다. 또한, 예로서, 임계값은 적어도 10분의 시간 임계값을 포함한다. 임계값은 또한 적어도 10 마일의 거리 임계값을 포함할 수 있다.
또한, 상호작용 인지 태스크를 트리거링하는 것은 운전자로부터의 응답을 요구하는 태스크를 개시하는 것을 포함한다. 그에 부가하여, 응답을 요구하는 태스크를 개시하는 것은 운전자로부터의 응답의 일부로서 모터 기술 및 인지 기술의 사용을 요구하는 태스크를 개시하는 것을 포함할 수 있다.
추가의 예로서, 상호작용 인지 태스크를 트리거링하는 것은 비-시각적 버튼 푸시 태스크를 완료하도록 운전자에 대한 음성 요청을 생성하는 것을 포함할 수 있다.
방법은 또한, 셀프-드라이빙 시스템에 의해, 개시된 상호작용 인지 태스크에 대한 운전자로부터의 응답을 모니터링하고, 미리 결정된 시간 제한(time limit) 내에 응답이 없는 경우 후속 상호작용 인지 응답을 발행하는 단계를 추가로 포함할 수 있다.
추가 예들에서, 방법은 적어도 주 이벤트의 복잡도에 기초하여 상호작용 인지 태스크의 복잡도를 결정하는 단계를 추가로 포함할 수 있다. 또한, 상호작용 인지 태스크를 개시하도록 셀프-드라이빙 시스템을 트리거링하는 것과 연관된 주파수는 비교의 결과에 기초하여 조정가능하다. 방법은 또한 다른 주 태스크 이벤트가 시간 제한 내에 셀프-드라이빙 시스템에 의해 검출되는 경우 상호작용 인지 태스크를 취소하는 단계를 추가로 포함할 수 있다. 또한, 주 태스크 요구 메트릭은 셀프-드라이빙 시스템에 의해 이동된 시간 또는 셀프-드라이빙 시스템에 의해 이동된 거리 중 적어도 하나를 포함할 수 있다.
다른 양태에서, 본 기술은 셀프-드라이빙 시스템에 대한 동적 상호작용 인지 태스크 방법을 제공하며, 이 방법은: 셀프-드라이빙 시스템의 하나 이상의 프로세서에 의해, 적어도 하나의 주 태스크와 연관된 주 태스크 요구 메트릭을 모니터링하는 단계; 하나 이상의 프로세서에 의해, 모니터링된 주 태스크 요구 메트릭을 임계값과 비교하는 단계; 하나 이상의 프로세서에 의해, 셀프-드라이빙 시스템을 사용하여 비교의 결과에 기초하여 상호작용 인지 태스크를 개시하는 단계를 포함한다.
또한, 본 기술의 이 양태에 따르면, 주 태스크 요구 메트릭은 셀프-드라이빙 시스템의 운전자에 의한 주 태스크 요구 이벤트의 수행 이후에 이동된 거리를 포함한다. 추가적으로, 주 태스크 요구 메트릭은 셀프-드라이빙 시스템의 운전자에 의한 주 태스크 요구 이벤트의 수행 이후의 경과 시간을 포함한다. 주 태스크 요구 메트릭은 또한 운전자에 의한 코멘트, 코멘트 등급화, 또는 승객에 대한 셀프-드라이빙 시스템의 사용에 대한 요청 중 하나를 포함할 수 있다.
다른 양태에서, 본 기술은 운전자 부주의를 관리하는 방법을 포함한다. 본 방법은, 하나 이상의 프로세서에 의해, 운전자의 눈들 중 하나 또는 둘 다의 이미지들을 취득하여 운전자의 실제 응시 방향 또는 패턴을 결정하는 단계; 하나 이상의 프로세서에 의해, 차량의 계획된 루트 및 차량의 외부 환경 내의 객체들에 기초하여 운전자의 예상된 응시 방향 또는 패턴을 결정하는 단계; 및 하나 이상의 프로세서에 의해, 실제 응시 방향 또는 패턴을 예상된 응시 방향 또는 패턴과 비교하는 단계를 포함할 수 있다. 이 방법은 또한 드라이빙 환경의 운전자의 시각적 스캐닝이 운전자의 부주의를 표시한다고 결정할 때 정정 액션을 취하는 단계를 포함한다.
게다가, 본 기술의 이 양태에 따르면, 드라이빙 환경의 운전자의 시각적 스캐닝이 예상된 응시 방향 또는 패턴으로부터 벗어나는지를 결정하는 것은 계획된 드라이빙 경로를 고려하여 예상된 응시 방향 또는 패턴을 결정하기 위해 환경 통계에 기초한 규범적 모델을 사용하는 것을 포함할 수 있다. 드라이빙 환경의 운전자의 시각적 스캐닝이 예상된 응시 방향 또는 패턴으로부터 벗어나는지를 결정하는 것은 또한 예상된 응시 방향 또는 패턴을 결정하기 위해 인간의 시각적 거동 통계에 기초한 규범적 모델을 사용하는 것을 포함할 수 있다.
또한, 이미지들을 취득하는 것은 눈 감김에 대해 운전자의 눈들 중 하나 또는 둘 다를 모니터링하는 것을 포함할 수 있다. 또한, 운전자는 자율 주행 차량의 동작들을 모니터링하는 보조 운전자 또는 비-자율 주행 차량의 운전자를 포함할 수 있다.
도 1은 본 개시의 양태들에 따른 예시적인 차량의 기능도이다.
도 2는 본 개시의 양태들에 따른 차량의 예시적인 외부 뷰이다.
도 3a 및 도 3b는 본 개시의 양태들에 따른 차량들의 내부 뷰들의 예들이다.
도 4는 본 개시의 양태들에 따른 시스템의 예시적인 그림 도면이다.
도 5는 본 개시의 양태들에 따른 시스템의 예시적인 기능도이다.
도 6은 본 개시의 양태들에 따른 예시적인 흐름도이다.
도 7a 및 도 7b는 본 개시의 양태들에 따른 예시적인 흐름도이다.
도 8은 본 개시의 양태들에 따른 예시적인 흐름도이다.
개요
본 기술은 자율 시스템들에서 운전자 피로 및 주의 산만(distraction)을 검출, 관리 및 완화하는 것에 관한 것이다. 일부 자율 시스템들은 인간의 감독을 요구한다. 예를 들어, 부분 또는 완전 자율 주행 또는 셀프-드라이빙 시스템(SDS)이 가능한 차량에서, 보조 또는 안전 운전자는 차량의 동작을 모니터링하고 차량의 동작의 감독을 제공하기 위해 차량의 객실에 탑승할 수 있다. 보조 운전자는 수동적 피로, 예를 들어, 과소 자극 또는 저부하로 인한 피로를 경험할 수 있는데, 그 이유는 자율 주행 차량들이 차량 동작과 연관된 주 태스크들, 예를 들어, SDS를 모니터링하는 것을 위해 보조 운전자 측의 상호작용을 통상적으로 덜 요구하거나 아마도 전혀 요구하지 않을 것이기 때문이다. 이와 같이, 수동적 피로를 생성할 위험뿐만 아니라, 운전자의 주의 산만 및 자동화에 대한 과도한 의존(over-reliance)과 같은 자동화 모니터링 태스크에 대한 부주의를 유도하는 다른 현상이 증가한다. 이는 필요한 경우 차량 동작과 연관된 주 태스크를 인계받은 보조 운전자의 능력의 대응하는 감소를 초래할 수 있다.
일 예에서, 주 태스크 요구(보조 운전자의 상호작용의 레벨)와 관련하여 보조 태스크들 또는 소위 상호작용 인지 태스크들(ICT들)을 도입하는 차량 또는 SDS 내의 하나 이상의 컴퓨팅 디바이스는 자율 시스템들에서 수동적 피로를 감소 및/또는 회피하는 동적 접근법을 제공할 수 있다. 더 구체적으로, 하나 이상의 컴퓨팅 디바이스는 SDS 차량을 동작시키는 것과 연관된 주 태스크들 및 SDS를 사용하여 운전자에 의해 수행되는 보조 태스크들의 수행에 관한 정보를 모니터링 및/또는 수신할 수 있다. 주 태스크들 및/또는 보조 태스크들의 수행은 운전자 상호작용성의 레벨의 측정을 제공하는 주 태스크 요구와 같은 메트릭을 통해 측정될 수 있다. 그 다음, 컴퓨팅 디바이스(들)는 주 태스크 요구에 관련하여 보조 태스크들을 체계적으로 변경할 수 있다. 예를 들어, 시간 임계값 또는 거리 임계값은 주 태스크 요구와 연관될 수 있다. 운전자가 시간 임계값 또는 거리 임계값 내에서 SDS와 상호작용하지 않았을 경우, 컴퓨팅 디바이스(들)는 보조 태스크 또는 ICT를 트리거링할 수 있다.
주 태스크 요구는 다음의 상호 작용 마커들에 기초할 수 있다: 코멘트, 드라이빙 품질 평가, 고객 트립 내에 있는 것. 코멘트 마커는 상호작용 시간 기간(예를 들어, 보조 운전자가 SDS와 마지막으로 상호작용한 이후의 경과 시간)의 측정을 포함할 수 있다. 드라이빙 품질 평가는 보조 운전자로부터의 코멘트의 중요도의 측정일 수 있다. 고객 트립 내에 있는 것은 승객을 위한 셀프-드라이빙 시스템의 사용에 대한 요청들의 측정이다. 태스크 요구의 다른 표시자들은 속도, 도로 복잡도, 및/또는 자동차들 및 보행자들에 대한 근접도와 같은 드라이빙 조건들을 포함할 수 있다; 환경 복잡도의 이러한 그리고 다른 양태들은 또한 주 태스크 요구를 추론하기 위해 사용될 수 있다. 보조 태스크들 또는 ICT들은 일반적으로 운전자의 운동 기술들 또는 인지 기술들에 관여할 수 있는 활동들을 포함한다. ICT들의 예들은 운전자에게 음성 요청에 응답하여 특정 버튼(예를 들어, 볼륨 업)을 누를 것을 요구하는 것을 포함한다. 이 예에서, 버튼의 누름은 운동 스킬에 관여하는 반면, 음성 요청을 이해하는 것은 인지 스킬에 관여한다. 다른 ICT들은 임의의 다른 적절한 차량 제어, 예를 들어, 와이퍼 블레이드들을 턴온/턴오프하는 것, 라디오를 특정 라디오 스테이션에 튜닝하는 것 등을 포함할 수 있다.
작업 예로서, 시간 임계값은 마지막 운전자 상호작용 이후 20분(또는 그 이상 또는 이하), 또는 마지막 운전자 상호작용 이후 10 마일(또는 그 이상 또는 이하)로 설정될 수 있다. 컴퓨팅 디바이스는 운전자 상호작용을 결정하고 주 태스크 요구에 대한 피드백을 수신하기 위해 SDS를 주기적으로 폴링(poll)할 수 있다. 운전자가 20분 또는 10 마일 내에 상호작용하지 않았을 경우, 컴퓨팅 디바이스 또는 SDS는 ICT가 트리거링되게 할 수 있다. ICT는 특정 물리적 또는 온-스크린 버튼의 누름 또는 더 일반적으로는 움직임을 요구하는 태스크를 완료하도록 운전자에 촉구하는 음성 요청을 포함할 수 있다. 운전자가 미리 결정된 시간 제한(예를 들어, 10초) 내에 ICT에 응답하지 않거나 부정확하게 응답하는 경우, 컴퓨팅 디바이스 또는 더 일반적으로, SDS는 다른 또는 후속 ICT를 발행할 수 있다. 후속 ICT에 대한 응답이 수신되지 않거나 부정확한 응답이 수신되는 경우, SDS 또는 컴퓨팅 디바이스는 추가적인 액션을 개시할 수 있다.
이러한 추가적인 액션은, 디스패처가 운전자에게 접근하거나 비디오 모니터링 시스템을 활성화시켜 운전자 각성의 상태를 결정할 수 있도록, 디스패처에게 경보를 발하는 것을 포함할 수 있다. 다른 액션들은 심지어 수면 중인 운전자를 깨우도록 의도된 독특한 알람을 울리는 것, 큰 음악을 재생하는 것 또는 운전자의 좌석을 진동시키는 것을 포함할 수 있다. ICT 트리거링 기준은 운전자의 ICT 수행 이력에 따라 조정될 수 있어서, 최근의 에러들/미스들 또는 더 느린 응답 시간들을 갖는 운전자들은 더 빈번한 ICT들을 수신할 수 있다는 점에 또한 유의한다. 디스패처 또는 SDS는 또한, 예를 들어, 휴식을 취하는 것, 스트레칭(stretching) 등의 운전자 각성을 촉진하는 대책을 제안할 수 있다. ICT 수행이 피로가 높다는 것을 표시할 때, 차량을 정차시키는 것과 같은 더 공격적인 대책들이 개시될 수 있다.
일반적으로, 이 기술은 보조 태스크 요구의 증가가 주 태스크 요구에 반비례하는 것을 허용한다. 예를 들어, 차량의 동작이 더 활발한 주의를 요구하고 따라서 주 태스크 요구가 비교적 더 높은 경우(예를 들어, 바쁜 교차로에서의 드라이빙), 보조 태스크 요구 및 ICT들의 빈도는 운전자가 주 태스크에 집중하는 것을 더 쉽게 하기 위해 감소될 수 있다. 반대로, 주 태스크 요구가 낮은 경우(예를 들어, 사람이 없는 고속도로 상에서 드라이빙), ICT들의 빈도 및 복잡도가 증가될 수 있다. 복잡도를 증가시키는 것은 음성 요청을 완료하기 위해 보다 복잡한 운동 스킬들을 요구하는 것(예를 들어, 버튼을 제1 방향으로 그리고 동일하거나 상이한 버튼을 제2 방향으로 이동시키는 것)을 포함할 수 있다. 주 태스크 요구는 보조 태스크들 또는 ICT들을 개시할지를 결정하는 입력이기 때문에, 시스템은 운전자가 주 태스크들에 관여할 때 보조 태스크들 또는 ICT들을 개시하는 것을 피할 수 있다.
위의 예들은 고정된 시간 및/또는 거리를 임계값으로서 제공하지만, 임계값은 또한 차량의 동작 조건들 또는 운전자의 프로파일에 기초하여 복잡도 및 주파수가 변할 수 있다. 예를 들어, SDS 또는 컴퓨팅 디바이스가 차량이 보통 빠른 시간 내에 거리 임계값을 횡단했다고 결정하는 경우(예를 들어, 8분 미만에서 10마일은 80m.p.h.의 속도와 상관됨), 이것은 차량이 더 높은 속도로 이동하고 있고 따라서 ICT들이 보조 운전자의 지각된 주의력 레벨에 따라 더 빈번하게 발행될 필요가 있다는 표시로 간주될 수 있다. 또한, 운전자의 프로파일이 운전자가 고속도로 드라이브들에 대해 더 빠르게 지루해진다는 것을 표시하는 경우, ICT들의 빈도 및 복잡도는 이러한 운전자를 더 완전히 관여된 상태로 유지하기 위해 증가될 수 있다. 복잡도 및 주파수는 또한 운전자 경험에 기초하여 변화될 수 있다. 예를 들어, 새로운 운전자의 경우, ICT들은 훈련 동안 또는 더 경험 있는 운전자에 비해 더 자주 트리거링될 수 있다. ICT 빈도 및 복잡도는 또한 하루 중 시간(예를 들어, 피로는 하루 중 시간에 따라 변할 수 있음), 식사 시간들에 대한 근접도 또는 휴식들에 대한 근접도에 의해 변경될 수 있다.
드라이빙 컨텍스트의 복잡도는 또한 ICT들의 타이밍 또는 복잡도를 결정할 시에 입력으로서 역할할 수 있다. 예를 들어, ICT들의 발생은 보조 운전자가 차량의 동작과 관여되어야 하는 드라이빙 상황들 또는 컨텍스트들 이후에 발생하지만, 그 동안에는 발생하지 않도록 타이밍될 수 있다. 예를 들어, ICT의 발생은 자동차가 교차로를 횡단하고 있는 동안이 아니라 그 후에 발생하도록 타이밍될 수 있다. 또는, ICT는 자동차가 적색 라이트에서 정지되는 동안 발생할 수 있다. 또한, 자율 주행 차량의 루트가 알려짐에 따라, 복잡한 드라이빙 시나리오들의 발생 이전에 ICT들이 또한 트리거링될 수 있고, 그에 의해 더 높은 복잡도의 드라이빙 컨텍스트들 이전에 하나 이상의 ICT의 개시가 발생하게 된다. 다른 입력들은 지도 데이터, 도로 기하 구조 및 차량 주위의 객체들을 포함할 수 있다. 이러한 방식으로, ICT는 더 높은 복잡도 드라이빙 컨텍스트들 이전에 경계를 부스팅하는 것을 도울 수 있다.
다른 양태에서, 본 기술은 완전 또는 부분 자율 모드로 동작하도록 구성되거나 수동 동작을 위해 구성된 차량에서 보조 운전자의 운전자 피로를 수동적으로 검출하는 것에 관한 것이다. 응시 패턴들은, 예를 들어, 주의 산만들 등의, 인지 상태들의 신뢰성 있는 표시자로서 역할할 수 있다. 응시 패턴들은 또한 신뢰성 있는 피로 표시자로서 역할할 수 있다. 예를 들어, 피로한 운전자는 통상적으로 도로를 경계하여 모니터링하지 않고, 오히려 한 방향으로, 예를 들어, 똑바로 앞으로 응시한다. 자율 주행 차량은 차량을 둘러싸는 객체들 등을 검출하고 차량에 대한 장면 이해를 도출할 수 있는 센서들 및 시스템들을 포함하고, 운전자의 응시의 방향을 검출할 수 있다. 이와 같이, 차량의 하나 이상의 컴퓨팅 디바이스는, 도출된 장면 이해에 기초하여, 운전자에 대한, 예상된 또는 규범적인 응시 방향, 방향들의 패턴, 방향들의 그룹 또는 방향들의 시퀀스(집합적으로 본 명세서에서 "응시 방향 또는 패턴들"이라고 지칭됨)를 포함하는, 하나 이상의 예상된 응시 방향을 결정할 수 있다. 운전자의 응시 패턴이 예상된 응시 패턴과 잘 상관되지 않는 경우와 같이, 운전자가 하나 이상의 경우에 예상된 응시 방향 또는 패턴을 보고 있지 않은 경우, 이것은 수동적 피로의 표시자로서 역할할 수 있다.
예를 들어, 차량의 지각 시스템으로부터 도출된 장면 이해(scene understanding)가 차량 외부의 자연적으로 발생하는 자극들에 기초하여 운전자가 특정 방향으로 보고 있어야 한다는 것을 표시하는 경우, 운전자의 실제 응시 방향 또는 패턴은 운전자의 주의력 및 따라서 수동적 피로의 측정을 제공하기 위해 그 특정 방향 또는 패턴과 비교될 수 있다. 추가의 예로서, 운전자가 우회전을 하고 있는 경우, 운전자는 다가오는 교통에 대해 주로 좌측을 보고 있을 것으로 예상될 것이다. 그러나, 운전자의 검출된 응시 방향 또는 패턴이 운전자가 똑바로 앞을 보고 있다는 것을 표시하는 경우, 운전자가 (예를 들어, 낮은 경계 또는 피로로 인해) 드라이빙 태스크에 더 이상 충분히 관여하지 않는다는 것을 시그널링할 수 있다. 시스템이 운전자들이 언제 그리고 어디를 보고 있을 것으로 예상되는지를 말할 수 있기 때문에, 이는 운전자의 경계 및/또는 피로를 수동적으로 동적 평가하는 것(dynamically assessing)을 허용한다. 실제 응시 방향(또는 응시 방향의 패턴)은 차량의 구획 내의 카메라들의 사용을 통해 검출될 수 있다.
시야 내의 시각적 자극을 고려하여 운전자가 어디를 보고 있어야 하는지를 결정 및/또는 할당하기 위해 상이한 모델들이 사용될 수 있다. 시각적 스캐닝의 이러한 규범적 모델들은 (피로 데이터뿐만 아니라 주의 드라이빙 데이터를 사용하는) 인간 운전자들의 기록된 주의 할당 거동에 기초할 수 있지만, 드라이빙 환경 통계로부터 또한 도출될 수 있다. 모델들은, 주어진 드라이빙 시나리오에서, 운전자, 예를 들어, 보조 운전자의 적절한 응시 방향 또는 패턴을 결정하기 위해 이러한 데이터의 통계적 속성들을 학습하기 위해 머신 학습 또는 기타의 통계적 기법들을 사용할 수 있다. 인간 데이터에 기초한 규범적 스캐닝 모델은 유사한 시나리오들에서 주의 깊은 운전자들과 연관된 시각적 스캐닝 패턴들을 재생하도록 모델을 훈련시킴으로써 확립될 수 있다. 대안적으로, 규범적 스캐닝 모델은 다음의 원리들에 따라 환경 통계에 기초하여 확립될 수 있다: 드라이빙 상황은 전형적으로 계획된 경로 및 계획된 경로에 대해 관련 있는 주변 객체들 및 도로 인프라구조 요소들을 포함할 것이다. 통계적 속성들은, 예를 들어, 다른 객체들 또는 도로 인프라구조 요소들이 전형적으로 계획된 경로에 대해 나타날 위치들, 그 위치들의 빈도수, 객체가 그 위치들에 접근할 속도 및/또는 객체들이 그 위치들에 접근할 때 이러한 객체들의 거동 등을 포함할 수 있다. 이러한 통계적 속성들은 이하에 설명되는 바와 같이 자율 주행 차량의 플릿을 동작시키는 동안 수집된 데이터에 기초하여 모델링될 수 있다. 따라서, 예상된 스캐닝 모델이 주어진 상황에 대해 개발될 수 있고, 실제 운전자들의 측정된 시각적 스캐닝 패턴이 평가될 수 있는 벤치마크로서 사용될 수 있다. 이러한 방식으로, 규범적 스캐닝 모델에 기초한 운전자의 예상된 응시 방향 또는 패턴 사이의 편차들이 차량 내의 비디오, 스틸 카메라, 또는 다른 응시 검출 시스템에 의해 측정되는 바와 같은 운전자의 실제 응시 방향 또는 패턴과 비교되어 운전자가 자신의 주의력 또는 응시 방향을 적절히 할당하고 있는지를 결정할 수 있다. 다른 모델들(예를 들어, 머신 학습 모델들)은 실제 응시 방향 및 패턴들과의 비교를 위해 예상된 또는 규범적인 응시 방향 또는 패턴들에 관한 유사한 입력을 제공하기 위해 사용될 수 있다.
위의 특징들은 SDS 또는 자율 주행 차량들에서 수동적 운전자 피로의 동적 검출, 모니터링 및 관리를 제공한다. 시스템은 실제 응시 방향을 검출하고 그것을 운전자가 보고 있어야 하는 곳, 예를 들어, 예상된 또는 규범적인 응시 방향 또는 패턴과 비교함으로써 운전자 피로 상태의 모니터링을 허용한다. 실제 응시 방향 또는 패턴과 예상된 또는 규범적인 응시 방향 또는 패턴 사이의 편차는 그 후 운전자가 피로할 수 있고 운전자에 대한 인지 부하의 증가를 트리거링한다는 표시자로서 사용될 수 있다. 시스템은 또한 운전자 상호작용 패턴들(예를 들어, 관여됨 대 관여되지 않음)을 사용하여 운전자 상태를 모니터링하고 평가하는 것을 허용하며, 이어서 운전자의 인지 부하를 증가시킬 필요성을 결정하기 위해 그 평가를 사용하는 것을 허용한다. 기술의 동적 성질은 또한 운전자들이 관여할 때(예를 들어, 주 태스크 요구가 비교적 높은 기간들 동안) 보조 태스크 요구들이 회피됨에 따라 그것을 더 안전하게 한다. 이 기술은 ICT들 또는 보조 태스크들이 개시되는 방식뿐만 아니라, 시스템이 ICT들의 복잡도 및 빈도가 주 태스크 요구 및/또는 차량 동작 조건들에 따라 동적으로 조정되게 한다는 점에서 동적이다. 시스템의 모니터링 양태는 운전자의 피로 상태를 더 신뢰성 있게 결정하기 위해 사용될 수 있고, 이는 이후 ICT들에 대한 트리거로서 사용될 수 있다. 따라서, 모니터링 시스템 및 관리 시스템(예를 들어, 발행 태스크들)은 서로 보완하기 위해 협력적으로 사용될 수 있다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시의 소정의 양태들이 특정한 타입들의 차량들과 관련하여 특히 유용하지만, 차량은 승용차들, 트럭들, 모터사이클들, 버스들, 오락용 차량들 등을 포함하지만, 이들로 제한되지 않은 임의 타입의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130) 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 또는 다른 방식으로 사용될 수 있는 명령어들(132) 및 데이터(134)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스가능한 정보를 저장한다. 메모리(130)는 컴퓨팅 디바이스 판독가능한 매체, 또는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크들과 같은 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체뿐만 아니라 다른 기입 가능 및 판독 전용 메모리들을 포함하는, 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의의 타입일 수 있다. 시스템들과 방법들은 전술한 것들의 상이한 조합들을 포함할 수 있으며, 그에 의해 명령어들과 데이터의 상이한 부분들이 상이한 타입의 매체에 저장된다.
명령어들(132)은 프로세서에 의해 직접적으로 실행될(기계 코드와 같은) 또는 간접적으로 실행될(스크립트들과 같은) 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체 상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 그 점에서, 용어들 "명령어들"과 "프로그램들"은 본 명세서에서 상호 교환 가능하게 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위한 오브젝트 코드 포맷(object code format)으로, 또는 요구에 따라 인터프리팅(interpret)되거나 미리 컴파일링(compile)되는 독립적인 소스 코드 모듈들의 스크립트들 또는 집합들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수도 있다. 명령어들의 기능들, 방법들 및 명령어들의 루틴들은 아래 더욱 상세히 설명된다.
데이터(134)는 명령어들(132)에 따라서 프로세서(120)에 의해 검색, 저장 또는 수정될 수 있다. 일 예로서, 메모리(130)의 데이터(134)는 미리 정의된 시나리오들을 저장할 수 있다. 주어진 시나리오는 객체의 타입, 차량에 대한 객체의 위치들의 범위뿐만 아니라, 자율 주행 차량이 객체 주위에서 기동할 수 있는지, 객체가 방향 지시등(turn signal)을 사용하고 있는지, 객체의 현재 위치에 관련된 교통 신호등(traffic light)의 상태, 객체가 정지 표지판(stop sign)에 접근하고 있는지 등과 같은 다른 인자들을 포함하는 시나리오 요건들의 세트를 식별할 수 있다. 요건들은 "우측 방향 지시등이 켜짐(right turn signal is on)" 또는 "우회전 전용 레인에 있음(in a right turn only lane)"과 같은 이산 값들, 또는 "차량(100)의 현재 경로로부터 20 내지 60도 오프셋되는 각도로 배향되는 방향을 가짐"과 같은 값들의 범위들을 포함할 수 있다. 일부 예들에서, 미리 결정된 시나리오들은 복수의 대상에 대해 유사한 정보를 포함할 수 있다.
하나 이상의 프로세서(120)는 상용화된 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어-기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1이 컴퓨팅 디바이스(110)의 프로세서, 메모리, 및 다른 요소들이 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 프로세서, 컴퓨팅 디바이스, 또는 메모리는 동일한 물리적 하우징 내에 격납될 수 있거나 격납될 수 없는 다수의 프로세서, 컴퓨팅 디바이스들, 또는 메모리들을 실제로 포함할 수 있다는 것을 본 기술분야의 통상의 기술자는 이해할 것이다. 일 예로서, 내부 전자 디스플레이(152)는 고대역폭 또는 다른 네트워크 접속을 통해 컴퓨팅 디바이스(110)와 인터페이싱할 수도 있는 그 자신의 프로세서 또는 중앙 처리 유닛(central processing unit)(CPU), 메모리 등을 갖는 전용 컴퓨팅 디바이스에 의해 제어될 수도 있다. 일부 예들에서, 이 컴퓨팅 디바이스는 사용자의 클라이언트 디바이스와 통신할 수 있는 사용자 인터페이스 컴퓨팅 디바이스일 수 있다. 유사하게, 메모리는 컴퓨팅 디바이스(110)의 하우징과는 상이한 하우징 내에 위치되는 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 언급들은 병렬로 동작할 수 있거나 동작하지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 집합에 대한 언급들을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스(110)는 전술된 프로세서 및 메모리와 같은 컴퓨팅 디바이스뿐만 아니라 사용자 입력(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 갖는 모니터 또는 정보를 디스플레이하도록 동작가능한 임의의 다른 전자 디바이스)과 관련하여 정상적으로 사용되는 모든 컴포넌트들을 포함할 수 있다. 본 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152)뿐만 아니라 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 탑승공간(cabin) 내에 위치될 수도 있고, 정보를 차량(100) 내의 승객들에게 제공하기 위하여 컴퓨팅 디바이스(110)에 의해 사용될 수도 있다. 차량은 또한 차량으로부터 원격인 디바이스들과 통신 및/또는 차량의 다양한 시스템들 사이의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 접속(156)을 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스(110)는 차량(100) 내에 통합되는 자율 주행 컴퓨팅 시스템(autonomous driving computing system)일 수 있다. 자율 주행 컴퓨팅 시스템은 예를 들어, (무선 네트워크 접속들(156)을 통해) 무선으로 및/또는 (CAN(controller area network) 버스 또는 다른 통신 버스와 같은) 유선 접속으로 차량의 다양한 컴포넌트들 및 시스템들과 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는, 차량의 탑승자로부터의 지속적인 또는 주기적인 입력을 필요로 하거나 요구하지 않는 자율 주행 모드에서, 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해, (차량의 제동을 제어하기 위한) 감속 시스템(160), (차량의 가속을 제어하기 위한) 가속 시스템(162), (휠들(wheels)의 배향 및 차량의 방향을 제어하기 위한) 스티어링 시스템(164), (방향 지시등들을 제어하기 위한) 시그널링 시스템(166), (차량을 어떤 위치로 또는 객체들 주위에서 내비게이팅하기 위한) 내비게이션 시스템(168), (차량의 포지션을 결정하기 위한) 포지셔닝 시스템(170), (차량의 환경에서 객체들을 검출하기 위한) 지각 시스템(172), 및 전력 시스템(174)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진)과 같은 차량(100)의 다양한 시스템들과 통신할 수 있다. 이러한 시스템들에 더하여, 컴퓨팅 디바이스는 (운전자 피로뿐만 아니라, 차량(100)과의 인지 및 다른 태스크 지향형 상호작용들, 그러한 상호작용들 사이의 시간 또는 거리 등을 검출하고 추적하기 위한) 상호작용 인지 태스크(ICT) 시스템(178)과 통신할 수 있다. ICT 시스템은 비디오 또는 스틸 카메라, 버튼들, 스위치들, 다이얼들 또는 다른 액추에이터들, 및 자동차의 내부 내의 다른 컴포넌트들로부터의 신호들을 사용하여 그 기능을 수행할 수 있다. 이러한 시스템들이 컴퓨팅 디바이스(110) 외부에 있는 것으로 도시되지만, 실제로, 이러한 시스템은 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서 컴퓨팅 디바이스(110)에 또한 통합될 수 있다. 추가적으로 또는 대안적으로, 이러한 시스템들 각각은, 본 명세서에 설명된 바와 같은 이러한 시스템들의 기능들을 가능하게 하기 위해 컴퓨팅 디바이스들(110)의 프로세서들(120) 및 메모리(130)와 동일하거나 유사하게 구성되는, 프로세서들 및 메모리를 갖는 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다.
컴퓨팅 디바이스(110)는 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예로서, 컴퓨팅 디바이스(110)는 지도 정보 및 내비게이션 시스템(168)으로부터의 데이터를 사용하여 완전히 자율적으로 차량을 목적지 위치로 내비게이팅할 수 있다. 컴퓨팅 디바이스들(110)은 안전하게 위치에 도달하는 것이 필요할 때 객체들을 검출하고 객체들에 응답하기 위해 차량의 위치 및 지각 시스템(172)을 결정하도록 포지셔닝 시스템(170)을 사용할 수 있다. 그렇게 하기 위해, 컴퓨팅 디바이스들(110)은 차량이 (예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속되게 하고, (예를 들어, 감속 시스템(160)에 의해 엔진에 공급되는 연료를 감소시키고, 기어를 변경하고, 및/또는 제동을 적용함으로써) 감속되게 하고, (예를 들어, 스티어링 시스템(164)에 의해 차량(100)의 전방 또는 후방 휠들을 돌림으로써) 방향을 변경하게 하며, (예를 들어, 시그널링 시스템(166)의 방향 지시등들을 점등함으로써) 이러한 변경들을 시그널링하게 할 수 있다. 따라서, 가속 시스템(162)과 감속 시스템(160)은 차량의 엔진과 차량의 휠들 사이의 다양한 컴포넌트들을 포함하는 구동렬(drivetrain)의 일부일 수 있다. 또한, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스들(110)은 또한 차량을 자율적으로 조종하기 위해 차량의 구동렬을 제어할 수 있다.
일 예로서, 컴퓨팅 디바이스(110)는 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 스티어링 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 예를 들어, 승용차 또는 트럭과 같은 차량(100)이 도로 상에서의 사용을 위해 구성되는 경우, 스티어링 시스템은 차량을 회전시키기 위해 휠들의 각도를 제어하는 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등들 또는 브레이크 라이트들을 점등함으로써 차량의 의도를 다른 운전자들 또는 차량들에 알리기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다.
내비게이션 시스템(168)은 한 위치로의 루트를 결정하고 따라가기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 컴퓨팅 디바이스들(110)이 차량을 내비게이팅하거나 제어하는데 사용할 수 있는 지도 정보, 예를 들어, 매우 상세한 지도들을 저장할 수 있다. 일 예로서, 이러한 지도는 도로들, 레인 마커들, 교차로들, 횡단보도들, 제한 속도들(speed limits), 교통 신호등들, 건물들, 표지판들, 실시간 또는 이력적 교통 정보, 초목(vegetation), 또는 다른 이러한 객체들의 형상 및 고도 및 정보를 식별할 수 있다. 레인 마커들은 실선 또는 파선 이중 또는 단일 레인 라인들(solid or broken double or single lane lines), 실선 또는 파선 레인 라인들, 반사기들 등과 같은 특징들을 포함할 수 있다. 주어진 레인은 좌측 및 우측 레인 라인들 또는 레인의 경계를 정하는 다른 레인 마커들과 연관될 수 있다. 따라서, 대부분의 레인들은 하나의 레인 라인의 좌측 에지 및 다른 레인 라인의 우측 에지에 의해 경계가 정해질 수 있다. 앞서 언급한 바와 같이, 지도 정보는 과거의 유사한 시간들에서의 특정의 픽업 위치로부터 알려진 교통 또는 혼잡 정보 및/또는 통과 스케줄들(열차, 버스 등)을 저장할 수 있다. 이 정보는 심지어 컴퓨팅 디바이스들(110)에 의해 수신된 정보에 의해 실시간으로 업데이트될 수 있다.
일 예로서, 상세한 지도 정보는 도로들, 레인들, 교차로들, 및 이러한 특징들 간의 접속들과 같은 정보의 하나 이상의 도로 그래프 또는 그래프 네트워크를 포함할 수 있다. 각각의 특징은 그래프 데이터로서 저장될 수 있으며 지리적 위치 및 이것이 다른 관계된 특징들에 링크되는지 여부, 예를 들어, 정지 신호는 도로 및 교차로 등에 링크될 수 있는지 여부와 같은 정보와 연관될 수 있다. 몇몇 예들에서, 연관된 데이터는 특정 도로 그래프 특징들의 효율적인 룩업을 허용하기 위해 도로 그래프의 그리드-기반 인덱스들을 포함할 수 있다.
지각 시스템(172)은 또한 다른 차량들, 도로 내의 장애물들, 교통 신호들, 표지판들, 나무들 등과 같은 차량 외부의 객체들을 검출하기 위한 하나 이상의 컴포넌트를 포함한다. 예를 들어, 지각 시스템(172)은 하나 이상의 LIDAR 센서, 소나 또는 다른 음향 디바이스들, 레이더 유닛들, 카메라들(예를 들어, 비디오 또는 스틸, 가시광 또는 적외선) 및/또는 컴퓨팅 디바이스들(110)에 의해 처리될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스들을 포함할 수 있다. 지각 시스템의 센서들은 위치, 배향, 크기, 형상, 타입(예를 들어, 차량, 보행자, 자전거 타는 사람 등), 방향(heading), 속도, 가속도, 가속도의 변화율, 감속도, 감속도의 변화율 등과 같은 객체들 및 그들의 특성들을 검출할 수 있다. 센서들로부터의 원시 데이터 및/또는 전술한 특성들은 정량화되거나 서술적 함수, 벡터, 및 또는 경계 상자(bounding box)로 배열될 수 있고, 그것이 지각 시스템(172)에 의해 생성될 때 주기적으로 그리고 연속적으로 컴퓨팅 디바이스들(110)에 추가 처리를 위해 전송될 수 있다.
이하에서 보다 상세히 논의되는 바와 같이, 컴퓨팅 디바이스들(110)은 포지셔닝 시스템(170)을 사용하여 차량의 위치를 결정하고 지각 시스템(172)을 사용하여 그 위치에 안전하게 도달해야 할 때 객체들을 검출하고 이에 응답할 수 있다.
예를 들어, 도 2는 차량(100)의 예시적인 외부 뷰이다. 이 예에서, 루프탑 하우징(210) 및 돔 하우징(212)은 LIDAR 센서뿐만 아니라 다양한 카메라들 및 레이더 유닛들을 포함할 수 있다. 또한, 차량(100)의 전방 단부에 위치한 하우징(220) 및 차량의 운전자 및 승객 측들에 있는 하우징들(230, 232) 각각은 LIDAR 센서를 격납할 수 있다. 예를 들어, 하우징(230)은 운전자 도어(250)의 전방에 위치한다. 차량(100)은 또한 차량(100)의 지붕 상에 또한 위치된 레이더 유닛들 및/또는 카메라들을 위한 하우징들(240, 242)을 포함한다. 추가적인 레이더 유닛들 및 카메라들(도시되지 않음)이 차량(100)의 전방 및 후방 단부들에 그리고/또는 루프 또는 루프-탑 하우징(210)을 따라 다른 포지션들에 위치될 수 있다. 차량(100)은 도어들(250, 252), 휠들(260, 262) 등과 같은 전형적인 승객 차량의 많은 특징들을 또한 포함한다.
도 3a 및 도 3b는 차량(100)의 예시적인 내부 뷰들 또는 구성들이다. 도 3a에 도시된 바와 같이, 내부(300A)는 하나 이상의 버튼, 예를 들어, 버튼들 L1, L2, L3 및 L4를 포함하는 영역(306)을 포함한다. 버튼들 L1, L2, L3 및 L4는 푸시 버튼들 또는 토글 버튼들을 포함할 수 있다. 이러한 버튼들은 ICT 태스크 시스템에 의해 개시되는 오디오 코멘트들에 응답하기 위해 확보된 특정 버튼들일 수 있다. 그러나, 이들은 또한 다른 자동차 기능과 연관된 버튼들을 또한 포함할 수 있다. 이러한 버튼들에 더하여, 영역(308)은 오디오 시스템을 제어하는 것에 더하여 또는 대안적으로, 볼륨 조정, 오디오 모드 조정(예를 들어, 위성 라디오로부터 음악 플레이어로의 오디오 소스를 스위칭), 라디오 스테이션들의 튜닝 등을 포함하는, 자동차의 오디오 시스템과 연관된 기능들을 동작시키기 위해 사용될 수 있는 버튼들의 세트를 포함한다. 다른 예들에서, 영역(308) 내의 버튼들은 속도계, 회전속도계 등을 포함하는 디스플레이 영역(310)과 연관된 특징들을 제어할 수 있다. 예를 들어, 영역(308) 내의 버튼들은 디스플레이 영역(301) 내의 디스플레이 모드들 간의 전환을 허용할 수 있다. 영역(306)에 있는 버튼들(또는 버튼들(306)) 및 영역(308)에 있는 버튼들(또는 버튼들(308))은 스티어링 휠(312) 상에 또는 그에 인접하여 위치하는 것으로 도시되어 있지만, 운전자의 좌석에 앉아 있는 동안 스티어링 휠(312)과 마주하여 앉아 있는 보조 운전자의 편리하고 안전한 범위 내의 어디에나 포지셔닝될 수 있다.
내부(300A)는 또한 컴퓨팅 디바이스(110)에 의해 또는 ICT 시스템(172) 또는 다른 사운드들에 의해 또는 그를 통해 개시되는 음악, 전화 통화들, 오디오 요청들을 제공할 수 있는 스피커들(314)을 포함한다. 스크린(318)이 또한 제공될 수 있다(예를 들어, 터치 감지 스크린). 윈드실드 와이퍼 제어 아암(320) 및 헤드라이트/표시기 제어 아암(322)이 또한 스티어링 휠(312)에 근접하여 제공된다. 비디오 또는 스틸 카메라(326)가 또한 제공되어, 적어도 차량의 내부에 탑승하는 보조 운전자가 보여질 수 있다. 제동 및 가속 페달들(328)이 또한 제공되고, 예를 들어, 자동차가 자율적으로 동작하고 있을 때 제동 또는 가속 설정들을 오버라이드(override)하기 위해 사용될 수 있거나, 수동 드라이빙 모드로 자동차를 동작시키기 위해 사용될 수 있다. 마찬가지로, 스티어링 휠(312)은 차량(100)의 안전한 동작을 위해 필요할 때 보조 운전자에 의해 관여될 수 있다.
도 3b는 차량(100)의 다른 예시적인 내부 뷰 또는 구성(300B)을 도시한다. 여기서, 내부(300B)는 스피커들(314), 비디오 카메라(326) 및 브레이크 및 가속 페달들(328)을 포함하며, 이들은 내부(300A)와 관련하여 논의된 것들과 유사한 기능을 갖는다. 내부(300B)는 또한, 도시된 바와 같이, 차량(100)과 연관된 특징들 및/또는 기능들을 선택하기 위해 사용될 수 있는 다양한 버튼들 및 노브(knob)들을 포함하는 영역(336)을 포함한다. 예를 들어, 영역(336)은 버튼들(3381 및 3382)을 포함할 수 있다. 이러한 버튼들은 전술한 버튼들 L1, L2를 포함할 수 있다. L3, L4와 같은 다른 버튼들은 도시되지 않지만, 또한 영역(336)에 제공될 수 있다. 영역(336)은 또한 다양한 노브들 또는 다른 액추에이터들(3391, 3392 및 3393)을 포함할 수 있다. 노브들(339)은 라디오 스테이션들, 음악 채널들, 볼륨 제어의 선택과 같은 기능들은 물론, 차량(100)의 동작과 관련된 다른 기능들을 제어할 수 있다. 노브들(339)은 물론 버튼들(338)과의 사용자 상호작용이 화면들(342, 344)을 통해 디스플레이될 수 있다. 스크린들(342, 344)은 또한, 차량과 연관된 다양한 기능, 예를 들어, 음악 선택, 볼륨 제어, L 버튼 동작, 윈드실드 와이퍼 동작 등이 제어될 수 있는 터치 감지 스크린들을 포함할 수 있다.
차량(100)의 컴퓨팅 디바이스(110)는 또한 수송 서비스의 일부인 그러한 컴퓨팅 디바이스들뿐만 아니라 다른 차량들의 것들과 같은 다른 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들로/로부터 정보를 수신 또는 전송할 수 있다. 도 4 및 도 5는, 제각기, 네트워크(460)를 통해 접속되는 복수의 컴퓨팅 디바이스(410, 420, 430, 440) 및 저장 시스템(450)을 포함하는 예시적인 시스템(400)의 그림 및 기능 도면들이다. 시스템(400)은 차량(100), 및 차량(100)과 동일하거나 유사하게 구성될 수 있는 차량들(100A, 100B)을 또한 포함한다. 간단히 하기 위해 단지 소수의 차량들 및 컴퓨팅 디바이스들만이 묘사되지만, 전형적인 시스템은 상당히 더 많은 것을 포함할 수 있다.
도 5에 도시된 바와 같이, 컴퓨팅 디바이스들(410, 420, 430, 440) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어들을 포함할 수 있다. 이러한 프로세서들, 메모리들, 데이터 및 명령어들은 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120), 메모리(130), 데이터(134), 및 명령어들(132)과 유사하게 구성될 수 있다.
네트워크(460), 및 중간 노드들은 BluetoothTM, BluetoothTM LE와 같은 단거리 통신 프로토콜들, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 전용 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP 및 이들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다. 이러한 통신은 모뎀들 및 무선 인터페이스들과 같은, 다른 컴퓨팅 디바이스들로 그리고 그들로부터 데이터를 송신할 수 있는 임의의 디바이스에 의해 가능해질 수 있다.
일 예에서, 하나 이상의 컴퓨팅 디바이스(410)는 다른 컴퓨팅 디바이스들에 그리고 이들로부터 데이터를 수신하고, 처리하고, 송신하는 목적을 위해 네트워크의 상이한 노드들과 정보를 교환하는 복수의 컴퓨팅 디바이스를 갖는 하나 이상의 서버 컴퓨팅 디바이스, 예를 들어, 로드 밸런스드 서버 팜(load balanced server farm)을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(410)는 네트워크(460)를 통해 차량(100)의 컴퓨팅 디바이스(110) 또는 차량(100A, 100B)의 유사한 컴퓨팅 디바이스뿐만 아니라 컴퓨팅 디바이스들(420, 430, 440)과 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량(100, 100A, 100B)은 정보를 서버 컴퓨팅 디바이스(410)로 전송하고 그로부터 수신할 수 있는 차량 플릿(fleet of vehicles)의 일부일 수 있다. 이와 관련하여, 서버 컴퓨팅 디바이스들(410)은 함께 플릿 관리 시스템으로서 기능할 수 있고, 서버 컴퓨팅 디바이스들 각각은 플릿 관리 시스템의 하나 이상의 역할을 수행하도록 기능한다. 또한, 플릿 관리 시스템의 서버 컴퓨팅 디바이스들은 컴퓨팅 디바이스들(420, 430, 440)의 디스플레이들(424, 434, 444)과 같은 디스플레이 상에서 사용자(422, 432, 442)와 같은 사용자에게 정보를 송신하고 제시하기 위해 네트워크(460)를 사용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(420, 430, 440)은 클라이언트 컴퓨팅 디바이스들로서 고려될 수 있다.
도 4에 도시된 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스(420, 430, 440)는 사용자(422, 432, 442)가 사용하도록 의도된 개인용 컴퓨팅 디바이스일 수 있고, 그리고 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU)), 데이터 및 명령어들을 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브들), 디스플레이들(424, 434, 444)과 같은 디스플레이(예를 들어, 화면, 터치 스크린, 프로젝터, 텔레비전, 또는 정보를 디스플레이하도록 동작가능한 다른 디바이스를 갖는 모니터), 스피커들, 및 사용자 입력 디바이스들(426, 436, 446)(예를 들어, 마우스, 키보드, 터치 스크린 또는 마이크로폰)을 포함하여 개인용 컴퓨팅 디바이스와 관련하여 일반적으로 사용되는 컴포넌트들 모두를 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 비디오 스트림들을 기록하기 위한 카메라, 스피커들, 네트워크 인터페이스 디바이스, 및 이러한 요소들을 서로 접속시키기 위해 사용되는 모든 컴포넌트들을 또한 포함할 수 있다.
클라이언트 컴퓨팅 디바이스(440)는 또한 고객 서비스 상담원을 위한 워크스테이션일 수 있다. 이와 관련하여, 사용자(422)는 아래에서 더 논의되는 바와 같이 서버 컴퓨팅 디바이스에 의해 접속될 때 승객들과 통신하거나 차량들(100, 100A, 및 100B)의 운전자들을 보조할 수 있는 고객 서비스 담당자 또는 디스패처일 수 있다. 또한, 클라이언트 컴퓨팅 디바이스(440)는, 예를 들어, 네트워크(460)를 통해 플릿 관리 시스템의 서버 컴퓨팅 디바이스들(410)과 통신함으로써, 사용자(422)가 저장 시스템(450)에 저장된 플릿의 차량들에 관한 정보에 액세스하는 것을 가능하게 할 수 있다. 다시, 단일 고객 서비스 워크스테이션만이 도 4 및 도 5에 도시되어 있지만, 시스템은 실제로 수십 또는 수백 개의 이러한 워크스테이션 및 고객 서비스 담당자들을 포함할 수 있다.
클라이언트 컴퓨팅 디바이스들(420, 430 및 440)은 각각 풀 사이즈의 개인용 컴퓨팅 디바이스를 포함할 수 있지만, 인터넷과 같은 네트워크를 통해 서버 컴퓨팅 디바이스(예컨대 서버 컴퓨팅 디바이스들(410))와 데이터를 무선으로 교환할 수 있는 모바일 컴퓨팅 디바이스들을 대안적으로 포함할 수 있다. 단지 예로서, 클라이언트 컴퓨팅 디바이스(420)는 인터넷 또는 다른 네트워크들을 통해 정보를 획득할 수 있는, 무선 인에이블 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스 또는 시스템, 또는 넷북과 같은 모바일 폰 또는 디바이스일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(430)는 도 5에 도시된 바와 같이 스마트와치로서 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 일 예로서, 사용자는 소형 키보드, 키패드, 마이크로폰을 사용하여, 카메라에 의한 시각적 신호들을 사용하여, 또는 터치 스크린으로 정보를 입력할 수도 있다.
메모리(130)와 마찬가지로, 저장 시스템(450)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능 및 판독 전용 메모리들과 같은, 서버 컴퓨팅 디바이스들(410)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 타입의 컴퓨터화된 저장 디바이스일 수 있다. 또한, 저장 시스템(450)은 동일한 또는 상이한 지리적 위치들에 물리적으로 위치될 수 있는 복수의 상이한 저장 디바이스들 상에 데이터가 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4 및 도 5에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 접속될 수 있고 및/또는 컴퓨팅 디바이스들(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 접속되거나 그에 통합될 수 있다.
저장 시스템(450)은 이하에서 더 상세하게 설명되는 바와 같이 다양한 타입들의 정보를 저장할 수 있다. 이 정보는, 본 명세서에서 설명되는 특징들 중 일부 또는 전부를 수행하기 위해, 플릿 관리 시스템의 것들과 같은 하나 이상의 서버 컴퓨팅 디바이스들, 및/또는 클라이언트 컴퓨팅 디바이스(440)와 같은 하나 이상의 클라이언트 컴퓨팅 디바이스에 의해 검색되거나 다른 방식으로 액세스될 수 있다.
또한, 저장 시스템(450)의 정보는 위에서 논의된 바와 같이 플릿의 각각의 차량의 상태 및 특성들에 관한 정보뿐만 아니라 위에서 논의된 지도 정보를 저장할 수 있다. 플릿의 차량들이 주위를 주행함에 따라, 그것들은 플릿 관리 시스템의 서버 컴퓨팅 디바이스들(410) 중 하나 이상에 그것들의 상태를 지속적으로 및/또는 주기적으로 브로드캐스팅할 수 있다. 이것은, 예를 들어, 차량이 현재 트립 중인지(예를 들어, 승객들 및/또는 화물을 수송 중인지), 차량의 현재 목적지 및/또는 차량에 대한 하나 이상의 추가 미래 목적지(아래에서 추가로 논의됨), 차량이 임의의 유지 보수 필요 사항들을 갖는지 등을 포함할 수 있다. 일 예로서, 유지 보수 필요 사항은 차량이 냉각 또는 셰이딩, 재급유 또는 충전, 청소, (너무 많은 시간들, 트립들 또는 마일들의 서비스 후의) 주기적인 검사, (고장들 또는 주기적인 유지 보수를 해결하기 위한) 센서들의 재교정 또는 다른 유지 보수를 필요로 하는지를 포함할 수 있다. 하나 이상의 서버 컴퓨팅 디바이스(410)는 자신의 정보를 저장 시스템(450)에 저장할 수 있다.
저장 시스템(450)은 또한 보조 운전자들에 관한 정보를 저장할 수 있다. 이러한 정보는 운전자 프로파일(연령, 말하는 언어, 경험 레벨, 연락처 정보 등), 운전자 시프트 정보(예를 들어, 운전자 시프트가 시작/종료할 때, 마지막 휴식 이후의 시간 등)를 포함할 수 있다. 프로텍션(protection)들은 사용자 프라이버시가 보호된 상태로 유지되는 것을 보장하기 위해 설치될 것이다. 예를 들어, 보조 운전자들은 자신들에 관한 특정 정보의 저장을 구체적으로 허가하도록 요구될 수 있다. 추가적인 프로텍션들은 개인적으로 식별가능한 정보의 익명화, 데이터의 집합, 개인 정보의 필터링, 암호화, 개인 속성들을 제거하기 위한 개인 정보의 해싱 또는 필터링, 정보의 저장에 대한 시간 제한들, 또는 데이터 사용 또는 공유에 대한 제한들을 포함한다.
저장 시스템(450)은 또한 고객 서비스에 대한 요청들에 관한 정보를 저장할 수 있다. 이 정보는, 예를 들어, 요청의 타입, 요청이 어떻게 발신되었는지, 요청과 연관된 플릿의 차량, 요청이 언제 생성되었는지(타임스탬프), 연관된 우선순위 레벨, 요청이 큐에 할당되는지(그리고 그렇다면, 여기서 하나 초과의 큐가 있는 경우임), 요청이 완료되는지 등을 포함할 수 있다. 게다가, 저장 시스템(450)은 또한 아래에 더 논의되는 바와 같이 전술한 큐들 및/또는 큐들에 관한 정보를 저장하기 위해 사용될 수 있다.
저장 시스템(450)은 또한 사용자(442)와 같은 고객 서비스 담당자들 또는 디스패처들에 관한 정보를 저장할 수 있다. 이것은 서비싱된 요청들의 수, 고객 서비스 담당자가 이전에 통신했던 서버의 승객(또는 사용자들)과 같은, 각각의 고객 서비스 담당자에 대한 정보뿐만 아니라, 경험 레벨, 순위 또는 등급들, 스킬 세트, 인증, 말하는 언어, 또는 다른 그러한 특성들과 같은, 해당 고객 서비스 담당자의 특성들을 포함할 수 있다. 보조 운전자들에서 같이, 고객 서비스 담당자들 또는 디스패처들에 관한 개인 정보는 또한 강화된 보호들을 받을 수 있다.
사용자들에게 수송 서비스들을 제공하기 위해, 저장 시스템(450)의 정보는 플릿 관리 시스템에 대해 사용자를 식별하기 위해 사용될 수 있는 크리덴셜들(예를 들어, 전통적인 단일-인자 인증의 경우와 같이 사용자 이름 및 비밀번호와 같은 식별자들뿐만 아니라, 랜덤 식별자들, 바이오메트릭들 등과 같이 멀티-인자 인증들에서 통상적으로 사용되는 다른 타입들의 크리덴셜들)과 같은 사용자 계정 정보를 포함할 수 있다. 사용자 계정 정보는 또한, 사용자의 이름, 연락처 정보, 사용자의 클라이언트 컴퓨팅 디바이스(또는 다수의 디바이스가 동일한 사용자 계정과 함께 사용되는 경우 디바이스들)의 식별 정보, 사용자에 대한 하나 이상의 고유 신호, 사용자가 하나 이상의 상이한 미리 결정된 서비스 레벨을 선택하도록 선택했는지 또는 다른 방식으로 액세스가능성 서비스들에 대한 필요성을 갖는지뿐만 아니라 다른 사용자 선호도 또는 설정 데이터와 같은 개인 정보를 포함할 수 있다.
메모리(130)와 마찬가지로, 저장 시스템(450)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능, 및 판독 전용 메모리와 같은, 서버 컴퓨팅 디바이스(410)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 타입의 컴퓨터 스토리지일 수 있다. 또한, 저장 시스템(450)은 동일한 또는 상이한 지리적 위치들에 물리적으로 위치될 수 있는 복수의 상이한 저장 디바이스들 상에 데이터가 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4 및 도 5에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 접속될 수 있고 및/또는 컴퓨팅 디바이스들(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 접속되거나 그에 통합될 수 있다.
예시적인 방법들
도면들에 예시되고 전술한 동작들에 더하여, 다양한 동작들이 이제 설명될 것이다. 다음의 동작들은 이하 설명되는 정밀한 순서로 수행될 필요가 없다는 것을 이해해야 한다. 오히려, 다양한 단계들은 상이한 순서 또는 동시에 다뤄질 수 있고, 단계들은 또한 추가 또는 생략될 수 있다. 예를 들어, 도 6은 차량들(100, 100A 및/또는 100B) 중 하나 이상에서 운전자 피로를 모니터링하고 완화하기 위해, 차량들(100, 100A 또는 100B) 내의 컴퓨팅 디바이스들(110)의 하나 이상의 프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있는 예시적인 흐름도(600)이다. 흐름도(600)는 서버(410) 상의 프로세스로서 수행될 수 있다. 그러한 구현에서, 각각의 자동차는 서버(401)에 데이터를 제공할 수 있어서, 서버는 흐름도(600)의 프로세스를 수행하여, 예를 들어, 하루 중 시간, 운전자 경험, 마지막 ICT 이후의 시간과 같은 다른 고려 사항과 함께 또는 본 명세서 전체에 걸쳐 더 설명되는 바와 같이 ICT를 관리할 것이다.
도 6의 블록(610)에 도시된 바와 같이, 컴퓨팅 디바이스(110)는 차량 또는 SDS와의 운전자 상호작용들을 모니터링한다. 이러한 상호작용들은 운전자에 의한 상호작용을 자극하기 위해 컴퓨팅 디바이스(110) 또는 SDS에 의해 개시되는 차량의 동작과 연관되는 주 태스크들 또는 보조 또는 ICT 태스크들의 수행을 포함한다. 주 태스크들은 운전자가 차량의 동작, 드라이빙 품질 평가 또는 승객을 목적지로 운반하기 위해 사용되는 차량에 관한 코멘트를 제공하는 것을 포함할 수 있다. 보조 태스크들 또는 ICT들은 일반적으로 운전자의 운동 스킬들 또는 인지 스킬들에 관여하는 태스크들을 포함한다. 운동 스킬들은, 예를 들어, 버튼을 누르는 것, 로커 스위치를 토글링하는 것, 사지 움직임 등과 같은, 근육 사용을 수반하는 동작들을 포함한다. 인지 스킬들은 뇌의 사용에 기초하며, 사고, 독서, 기억, 추론 또는 주의 집중 중 하나 이상을 요구할 수 있다. 일 예로서, 인지 스킬들은 특정 버튼을 누르는 것과 같은 동작을 수행하라는 요청에 응답하여 호출되는데, 그 이유는 그것이 요청에 관해 생각하는 것, 요청을 기억하는 것, 및 요청된 동작을 완료하기에 충분히 오랫동안 주의를 집중시키는 것을 수반하기 때문이다.
컴퓨팅 디바이스는 주 태스크 요구 메트릭을 사용하여 주 태스크들 및/또는 보조 태스크들의 수행을 측정할 수 있다. 주 태스크 요구 메트릭은 주 태스크 또는 보조 태스크가 보조 운전자에 의해 마지막으로 수행된 이후 이동된 거리 및/또는 이동된 시간의 측정치를 포함할 수 있다. 거리 측정치는 이동된 거리를 추적하는 차량의 시스템에 링크된 카운터에 의해 누적될 수 있다. 카운터는 그 후 이동된 거리를 컴퓨팅 디바이스(110)에 제공할 수 있다. 대안적으로, 차량 시스템은, 그 자체가 거리 카운터를 구현할 수 있는, 컴퓨팅 디바이스(110)에 신호들을 제공할 수 있다. 이동된 시간은 그 출력을 컴퓨팅 디바이스(110)에 공급하는 타이머를 갖거나 컴퓨팅 디바이스(110)를 통해 구현되는 타이머를 사용하여 추적될 수 있다. 컴퓨팅 디바이스(110)는 그러한 기능들을 수행하는 디바이스들을 주기적으로 폴링함으로써 또는 그러한 정보를 실시간으로 제공하는 접속을 통해 카운터 또는 타이머 정보를 수신할 수 있다. 주 태스크 요구 메트릭은 주 태스크 수행 및 보조 태스크 수행 둘 다의 측정치를 포함할 수 있다. 그러나, 메트릭은 주 태스크들 또는 보조 태스크들의 측정만을 포함할 수 있다. 또한, 2개의 별개의 요구 메트릭, 예를 들어, 보조 태스크 전용 메트릭 또는 주 태스크 전용 메트릭이 컴퓨팅 디바이스에 의해 추적될 수 있다.
도 6의 블록(620)에 도시된 바와 같이, 측정된 주 태스크 요구 메트릭은 임계값과 비교된다. 주 태스크 요구 메트릭이 거리 및 시간 둘 다의 측정치를 포함하는 예에서, 하나의 시나리오에서 거리 임계값은 10마일로 설정될 수 있고 시간 임계값은 20분으로 설정될 수 있다. 거리 임계값은 일부 레벨의 무작위성을 포함할 수 있고, 예를 들어 +/-3 마일만큼(예를 들어, 최대 30% 변동) 변할 수 있다. 예를 들어, 거리 임계값이 초기에 10 마일로 설정되는 경우, 태스크가 수행될 때, 그것은 그 후 7 마일로 리셋될 수 있고, 리셋 후에 후속 태스크가 수신될 때, 임계값은 그 후 10 마일로 셋백될 수 있고, 그 후 13 마일로 리셋될 수 있는 등이다. 무작위성을 도입하는 것은 태스크들이 완료될 필요가 있는 정확한 시간 기간 또는 거리를 아는 것에 의해 시스템을 우회하도록 운전자를 훈련시키는 것을 회피하는데 도움이 된다.
시간 임계값은, 예를 들어, 교통 패턴들로 인해 주어진 거리를 횡단하는 데 너무 긴 시간이 걸려 거리 임계값이 유용한 임계값이 아닌 것으로 증명될 수 있는 상황들을 고려하기 위한 하드(hard) 시간 제한일 수 있다. 또한, 무작위성의 측정은 거리 임계값과 관련하여 전술한 것과 유사한 타이밍 임계값에 대해 도입될 수 있다. 예를 들어, 타이밍 임계값에는 최대 30%(또는 그 이상)의 변동이 있을 수 있다.
도 6의 블록(630)에 도시된 바와 같이, 주 태스크 또는 보조 태스크가 수행된 이후 이동된 거리 또는 시간이 각각의 임계값을 충족시키거나 초과하는 경우, 컴퓨팅 디바이스(110)는 운전자에 의한 완료를 위해 보조 태스크 또는 ICT를 개시한다. 예를 들어, 컴퓨팅 디바이스(110)는 "L2 버튼을 누르세요"라는 요청을 운전자에 대해 스피커들(314)을 통해 개시할 수 있다. 그 다음, 운전자에게 미리 결정된 시간, 예를 들어, 10초가 주어져 요청된 액션을 완료한다. 블록(610)에서, 운전자의 응답에 따라, 추가적인 ICT들이 발행될 수 있거나, 운전자가 피로하다고 결정되는 경우 대책들이 호출될 수 있거나, 시스템이 카운터들을 리셋하고 모니터링 프로세스를 시작할 수 있다.
전술한 바와 같이, 주 태스크 요구 메트릭은 주 태스크의 수행을 모니터링하는 컴포넌트를 포함한다. 따라서, ICT들 또는 보조 태스크들의 개시는 주 태스크들이 수행되는 빈도와 관련하여 동적으로 변할 것이다. 예를 들어, 드라이빙 컨텍스트가 시간 또는 거리 임계값 제한(threshold limit)들 내에서 차량 또는 SDS와의 규칙적인 상호작용을 요구하는 경우(예를 들어, 주 태스크 수행에 대한 요구가 비교적 높음), ICT들은 발행되지 않을 것이다. 대조적으로, 주 태스크들의 수행에 대한 요구가 낮을 때, ICT들은 더 정기적으로 발행될 것이다. 따라서, 보조 태스크 요구는 주 태스크 요구와 관련하여 동적으로 변한다. 이와 관련하여, 본 개시의 양태에서, 보조 태스크 요구는 주 태스크 요구에 반비례하여 증가한다. 이는 상이한 레벨의 피로의 더 효과적인 대응을 허용한다. 또한, 본 개시에 따라 구현되는 시스템은, 운전자들이 고도로 관여할 때(예를 들어, 주 태스크 요구가 높을 때) 주 태스크 요구들이 개시되거나 발행되지 않기 때문에 더 안전할 수 있다.
시스템은 또한 드라이빙 컨텍스트 및 다른 인자들에 기초하여 태스크들이 개시되는 ICT 또는 보조 태스크들의 복잡도 또는 빈도를 적응시킴으로써 수동적 피로를 동적으로 관리하고 완화시킬 수 있다. 예를 들어, 장면 이해(예를 들어, 차량의 부근 내의 외부 객체들의 위치 및 움직임), 이동 중인 지형 또는 루트, 운전자 프로파일, 날씨 상태들, 차량의 속도, 하루 중 시간, 교통 상태들 등과 같은 인자들. 사실상, 이러한 인자들은 운전자 컨텍스트에 영향을 미칠 수 있고, 이에 의해 운전자에 의한 상이한 레벨들의 경계 또는 주의를 요구할 수 있다. 예를 들어, 지각 시스템(172)이 차량의 부근에서의 장면이 복잡한 환경에 있는 차량과 같이 다수의 객체를 포함하는 것을 표시하는 경우, ICT들의 타이밍 및 복잡도는 그러한 환경을 수용하도록 조정될 수 있다. 다른 예로서, 차량이 비교적 긴 트립 중인 경우, ICT들의 주파수 및 복잡도는 이동된 거리 또는 트립 중인 시간의 길이에 비례하여 증가할 수 있다. 다른 예로서, 야간 드라이빙은 또한 ICT들의 주파수 및 복잡도가 증가하는 것을 요구할 수 있다. 전술한 인자들은 전술한 거리 및 시간 임계값들을 설정할 때 고려될 수 있으며, 서버(410) 또는 디스패처에 의해 설정될 수 있다.
더 복잡한 ICT들의 예들은 하나보다 많은 버튼이 동작되는, 예를 들어, L2를 1회, L3을 2회, 및 L4를 3회 누르는 시퀀스를 포함할 수 있다. 다른 예로서, ICT는 라디오를 특정 스테이션 주파수로 튜닝하라는 요청을 포함할 수 있다. 다른 예는 윈드실드 와이퍼를 동작시키는 것, 특정 창을 개방하는 것 등을 포함한다. 다른 예로서, SDS가 환경을 감지할 수 있기 때문에, ICT는 운전자에게 그들의 드라이빙 환경에서 장면들 또는 객체들을 보고하거나 설명하도록 요구하는 것을 포함할 수 있다. 이러한 ICT에 대한 불량한 수행은 피로 또는 주의 산만으로 인한 불량한 경계의 표시를 제공할 수 있다. 컴퓨팅 디바이스(110)가 요청된 태스크가 완료되었음을 표시하는 정보를 수신할 수 있는 한, 차량의 안전한 동작에 영향을 주지 않을 차량의 임의의 특징이 ICT에서 사용될 수 있다. 이와 관련하여, 피로를 완화시키는 인지적 관여를 제공하는 임의의 ICT가 사용될 수 있다.
다른 예에서, 도 7a 및 도 7b는 차량들(100, 100A 및/또는 100B) 중 하나 이상에서 운전자 피로를 모니터링하고 완화시키기 위해 차량들(100, 100A 또는 100B) 내의 컴퓨팅 디바이스들(110)의 하나 이상의 프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있는 동작들을 갖는 추가의 예시적인 흐름도(700)이다. 도 7a의 블록(710)에 도시된 바와 같이, 컴퓨팅 디바이스(110)는 다이아몬드(710)에서 ICT 시스템을 개시할지를 결정한다. 이러한 결정을 내릴 때, 처리 디바이스는 차량이 이동하고 있는지, 주차 브레이크가 해제되어 있는지, 이중 운전자들이 있는지, 승객들이 차량의 내부에 존재하는지, 차량이 수동 모드에 있는지 또는 부분 자율 주행 모드에 있는지, 또는 보조 운전자가 없는지를 결정할 수 있다. 예를 들어, 차량이 정지되어 있거나 움직이지 않는 경우, 처리는 라인(715)을 통해 다이아몬드(710)로 복귀한다. 한편, 차량이 이동하고 있는 경우, 처리는 블록(720)으로 진행한다. 유사하게, 주차 브레이크가 해제되는 경우, 프로세스는 블록(720)으로 진행한다. 마찬가지로, 다른 파라미터들이 단일 보조 운전자가 차량 내에 있고, 승객들이 차량 내에 없기 때문에 ICT 시스템이 관여되어야 한다는 것, 및 자동차가 수동 모드로 되어 있지 않는 것을 표시하는 경우, 처리는 블록(720)으로 진행한다. 이와 관련하여, 다른 운전자 또는 승객이 차량 내에 있는 경우, ICT 시스템은 차량의 내부에 다른 사람을 가짐으로써 보조 운전자가 더 경계하고 주의를 기울일 가능성이 크다는 것이 예상되므로 관여될 필요가 없을 수 있다. ICT 시스템은 또한 자동차가 승객 픽업 위치에 근접할 때 또는 자동차가 승객 픽업 위치에 주차하게 되면 셧오프될 수 있다.
ICT 시스템이 블록(720)에서 개시되는 경우, 컴퓨팅 디바이스(110)는 운전자 상호작용에 대해 SDS를 모니터링하거나, SDS와의 운전자 상호작용을 나타내는 정보를 SDS로부터 수신하고, 거리 카운터 및 모니터 타이머를 시작한다. 앞서 논의된 바와 같이, 상호작용은 주 태스크 또는 보조 태스크/ICT를 포함할 수 있다.
다이아몬드(726)에 나타낸 바와 같이, 거리 카운터 또는 모니터 타이머가 각각의 거리 또는 시간 임계값들에 도달하기 전에 적절한 운전자 상호작용이 검출되는 경우, 프로세스는 라인(728)을 통해 블록(720)으로 복귀하고, 거리 카운터 및 모니터 타이머가 리셋된다. 전술한 바와 같이, 적절한 운전자 상호작용은 주 태스크 또는 보조 태스크의 수행을 포함한다. 거리 카운터 또는 모니터 타이머가 그들의 임계값들에 도달하기 전에 운전자 상호작용이 검출되지 않는 경우, 처리는 블록(730)으로 진행한다. 앞서 살펴본 바와 같이, 시간 임계값들은 통상적으로 하드 시간 제한으로 설정될 것이다. 이것은 교통 패턴들로 인해 주어진 거리를 횡단하는 데 훨씬 더 긴 시간이 걸릴 수 있고 거리 임계값이 유용하지 않을 수 있는 상황들을 고려하기 위한 것이다.
블록(730)에서, 제1 ICT 또는 보조 태스크가 컴퓨팅 디바이스(110)에 의해 개시되고 ICT 응답 타이머가 시작된다. 예를 들어, 운전자는 "L2 버튼을 누르도록" 요청받을 수 있다. 그 다음, 그 운전자는 미리 결정된 시간 기간, 예를 들어, 10 내지 30초를 가져 응답을 기록하고 시간은 ICT 응답 타이머에 의해 측정된다.
다이아몬드(734)에 표시된 바와 같이, 운전자가 ICT 응답 타이머가 타임아웃되기 전에 정확한 응답을 제공하는 경우, 처리는 라인(739)을 통해 표시된 바와 같이 블록(720)으로 복귀한다. 한편, 운전자가 부정확한 답변을 제공하거나 ICT 응답 타이머가 타임아웃되는 경우, 처리는 도 7b의 블록(750)으로 진행한다.
블록(750)에서, 제2 ICT 또는 보조 태스크가 개시되고 응답 타이머가 리셋된다. 제2 ICT는 통상적으로 제1 ICT와 상이할 것이다. 예를 들어, 그것은 "L3 버튼을 누르세요"를 요청할 수 있다. 다이아몬드(754)에 나타낸 바와 같이, 응답이 타임아웃되기 전에 운전자가 정확한 응답을 제공하는 경우, 프로세스들은 라인(755)을 통해 나타낸 바와 같이 블록(720)으로 복귀한다. 한편, 운전자가 부정확한 답변을 제공하거나 응답 타이머가 타임아웃되는 경우, 처리는 블록(760)으로 진행한다.
블록(760)에서, 컴퓨팅 디바이스는 통신을 개시하거나 통신이 디스패처로 전송되게 할 수 있다. 통신은 이메일, 텍스트 메시지 또는 전화 통화일 수 있다. 그 다음, 디스패처는 운전자에게 접근하여 운전자의 각성 레벨을 문의하고, 그들이 각성을 향상시키기 위한 대책들, 예를 들어, 휴식들, 스트레칭 등을 사용하는 것을 제안할 수 있다. 또한, 제2 ICT가 적시에 그리고 정확한 응답을 얻지 못하는 경우, 이벤트는 블록(768)에서 로그될 것이라는 점에 유의한다.
블록(760)이 제2 ICT가 적시에 응답되지 않는 경우에 디스패처에 대해 통신이 개시될 것임을 표시하지만, 일부 예들에서는 시스템이 제3 ICT를 이용하여 프로세스를 루프할 수 있고, 다른 예들에서는 디스패처와 접촉하기 전에 또는 그에 더하여 다른 대책들이 사용될 수 있다는 점에 유의한다. 예를 들어, 차량 내의 라디오 또는 음악 플레이어의 볼륨은 심지어 자고 있는 사람도 깨어나야 하는 레벨로 증가될 수 있다. 대안적으로, 운전자의 측면 창은 추가적인 외부 공기를 유입시키기에 충분히 개방될 수 있거나, 혼(horn)이 결합될 수 있다. 본질적으로, 차량 동작에 영향을 미치거나 운전자(또는 승객들)의 안전을 손상시키지 않을 SDS를 통해 액세스가능한 임의의 차량 특징은 보조 운전자의 주의를 얻기 위해 개시될 수 있다. 이러한 대책들이 사용되는 경우, 추가적인 ICT들을 개시하고 응답을 기다리는 것을 포함하는 추가적인 단계들이 흐름(700)에 추가될 수 있다. 그러나, 궁극적으로, 응답이 다가오지 않는 경우, 디스패처에게 연락할 것이다.
다른 예에서, 도 8에 도시된 바와 같은 예시적인 흐름도(800)는 차량들(100, 100A 및/또는 100B) 중 하나 이상에서 잠재적인 운전자 피로를 검출하기 위해 차량들(100, 100A 또는 100B) 내의 컴퓨팅 디바이스들(110)의 하나 이상의 프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있는 추가의 시나리오를 도시한다. 블록(810)에서, 운전자의 실제 응시 방향(또는 응시 방향의 패턴)이, 예를 들어, 도 3의 카메라(326)를 사용하여 모니터링된다. 카메라(326)는 그것이 눈(들)의 디지털 이미지들을 캡처하도록 운전자의 눈들 중 하나 또는 둘 다에 포커싱될 수 있다. 컴퓨팅 디바이스(110)는 그 후 디지털 이미지 정보를 사용하여 운전자의 실제 눈 응시 방향을 계산할 수 있다. 병행하여, 블록(820)에서, 컴퓨팅 디바이스 또는 SDS는 계획된 드라이브 경로 및 드라이브 경로를 따라 차량의 부근에 있는 객체들에 관한 정보를 수신할 수 있다. 그 다음, 측정된 응시 방향 및 객체들 주변의 위치가 조합되어 운전자가 어떤 객체를 보고 있는지를 결정할 수 있다. 운전자가 선글라스를 착용하고 있는 경우, 이미터(emitter)들이 광의 파장, 예를 들어, 적외선이 선글라스를 통과하도록 선택될 수 있다. 그렇지 않으면, 카메라를 적절히 배치하여 운전자의 응시 방향의 캡처를 허용해야 한다.
블록(840)에서, 계획된 드라이브 경로 및 객체들에 관한 정보는 규범적 스캐닝 모델에 의해 정의된 바와 같은 예상된 또는 규범적 응시 방향 또는 패턴을 결정하기 위해 사용된다. 규범적 응시 방향 또는 패턴은, 예를 들어, 모델에서 충분한 신뢰도가 있는 일부 상황들에서 최적의 응시 방향으로 간주될 수 있다. 규범적 스캐닝 모델은 실제 인간 스캐닝 데이터로부터 개발된 시각적 스캐닝 모델에 기초하여 및/또는 환경 통계에 기초하여 결정될 수 있다. 드라이빙에서의 시각적 스캐닝의 근본적인 역할은 계획된 또는 예측된 드라이빙 경로의 불확실성을 감소시키는 것이다. 이러한 불확실성은 (1) 드라이빙 경로에 관한 불확실성 및 (2) 드라이브 경로에 관련하여 차량 외부의 객체들의 위치 및 움직임에 관한 불확실성으로 분할될 수 있다. 주어진 드라이빙 상황에 대해, 계획된 경로를 횡단하는 것에 관한 불확실성을 최소화하도록 작용하는 환경을 시각적으로 스캐닝하기 위한 전략이 사용될 수 있다. 이러한 전략은 드라이빙 컨텍스트의 통계적 속성들(예를 들어, 다른 객체들이 나타날 수 있는 위치, 그 속도, 그 거동 등)에 의해 결정될 수 있다. 예를 들어, 운전자가 2개의 레인 도로 상에 좌회전을 하고 있는 경우, 운전자는 적어도 한번 좌측 및 우측을 볼 것이다. 인간 운전자들은 경험을 통해 시간 경과에 따라 이러한 통계적 속성들을 학습하고, 따라서, 규범적 스캐닝 모델은 경험 있는 주의 깊은 운전자들로부터 기록된 시각적 스캐닝 패턴들에 기초하여 도출될 수 있다. 이러한 통계적 속성들은, 최적 스캐닝이 주어진 시나리오에서 계획된 경로에 대한 불확실성을 최소화할 것이라는 원리에 기초하여 인간 데이터의 사용 없이, 특정 드라이빙 상황 또는 컨텍스트에 대한 예상된 시각적 스캐닝 모델을 도출하기 위해 사용되고 SDS 플릿 관리 플랫폼의 일부로서 수집되는 데이터로부터 또한 추정될 수 있다. 스캐닝 모델은 예상된 드라이브 경로 및 드라이브 경로를 따르는 객체들을 고려하여, 드라이빙 컨텍스트를 고려하여, 예상된 응시 방향 또는 패턴을 도출하기 위해 사용된다.
블록(860)에서, 예상된 응시 방향 또는 패턴이 이어서 벤치마크로서 사용되고 카메라(326)에 의해 검출된 실제 응시 방향 또는 패턴과 비교될 수 있다. 실제 응시 방향 또는 패턴과 벤치마크 사이에 편차가 있는 경우, 블록(880)에서, 운전자에 대한 ICT 요청들을 개시하기 위해 앞서 논의된 바와 같이 ICT 시스템이 개시될 수 있다. 운전자의 실제 시각적 스캐닝 패턴과 예상된 모델에 의해 규정된 것 사이의 편차는 안전한 드라이빙을 지원하기 위해 주의를 적절히 할당하는 능력이 감소됨을 표시하며, 이는 (무엇보다도) 운전자 주의 산만, 피로 또는 자동화에 대한 과도한 의존(예를 들어, 시험 운전자가 그들이 자율 주행 모드로 동작하는 차량을 과도하게 신뢰하기 시작함에 따라 도로를 적절히 스캐닝하지 않음)과 관련될 수 있다.
전술한 개시는 셀프-드라이빙 시스템의 컨텍스트에서 논의되었다. 그러나, 전술한 방법들 및 프로세스들은 비-SDS 시나리오에서 구현될 수 있다는 점에 유의한다. 예를 들어, 도 3a의 차량은 ICT 시스템이 완전히 관여되는 동안 수동 모드로 동작될 수 있다. 이것에서, 도 6 내지 도 8의 방법 단계들은 차량이 수동으로 동작될 때 가능한 운전자 피로를 완화하도록 구현되고 실시될 수 있다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않으며, 고유의 장점들을 달성하도록 다양한 조합으로 구현될 수 있다. 위에서 설명된 특징들의 이러한 및 다른 변형들 및 조합들은 청구항들에 의해 규정되는 주제로부터 벗어나지 않고서 사용될 수 있기 때문에, 전술한 실시예들의 설명은 청구항들에 의해 규정되는 주제의 제한으로서가 아니라 예시로서 받아들여져야 한다. 또한, 본 명세서에 설명된 예들뿐만 아니라, "와 같은", "포함하는" 등의 문구로 된 절들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 된다; 오히려, 예들은 많은 가능한 실시예들 중 하나만을 예시하도록 의도된다. 또한, 다양한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

Claims (21)

  1. 셀프-드라이빙 시스템을 위한 동적 상호작용 인지 태스크 방법으로서,
    상기 셀프-드라이빙 시스템의 하나 이상의 프로세서에 의해, 주 태스크와 연관된 주 태스크 요구 메트릭을 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 주 태스크 요구 메트릭을 임계값과 비교하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 비교의 결과에 기초하여 상기 셀프-드라이빙 시스템의 운전자에게 상호작용 인지 태스크를 개시하도록 상기 셀프-드라이빙 시스템을 트리거링하는 단계를 포함하는 동적 상호작용 인지 태스크 방법.
  2. 제1항에 있어서,
    상기 주 태스크 요구 메트릭은 상기 운전자에 의한 코멘트, 코멘트 등급화, 또는 상기 셀프-드라이빙 시스템의 승객에 대한 상기 셀프-드라이빙 시스템의 사용에 대한 요청 중 하나와 연관된 값을 포함하는, 동적 상호작용 인지 태스크 방법.
  3. 제1항에 있어서,
    상기 임계값은 적어도 10분의 시간 임계값을 포함하는, 동적 상호작용 인지 태스크 방법.
  4. 제1항에 있어서,
    상기 임계값은 적어도 10 마일의 거리 임계값을 포함하는, 동적 상호작용 인지 태스크 방법.
  5. 제1항에 있어서,
    상기 상호작용 인지 태스크를 트리거링하는 것은 상기 운전자로부터의 응답을 요구하는 태스크를 개시하는 것을 포함하는, 동적 상호작용 인지 태스크 방법.
  6. 제5항에 있어서,
    상기 응답을 요구하는 태스크를 개시하는 것은 상기 운전자로부터의 상기 응답의 일부로서 운동 스킬 및 인지 스킬의 사용을 요구하는 태스크를 개시하는 것을 포함하는, 동적 상호작용 인지 태스크 방법.
  7. 제1항에 있어서,
    상기 상호작용 인지 태스크를 트리거링하는 것은 비-시각적 버튼 푸시 태스크를 완료하도록 상기 운전자에 대한 음성 요청을 생성하는 것을 포함하는, 동적 상호작용 인지 태스크 방법.
  8. 제1항에 있어서,
    상기 셀프-드라이빙 시스템에 의해, 상기 개시된 상호작용 인지 태스크에 대한 상기 운전자로부터의 응답을 모니터링하고, 미리 결정된 시간 제한 내에 응답이 없는 경우 후속 상호작용 인지 응답을 발행하는 단계를 추가로 포함하는 동적 상호작용 인지 태스크 방법.
  9. 제1항에 있어서,
    적어도 상기 주 이벤트의 복잡도에 기초하여 상기 상호작용 인지 태스크의 복잡도를 결정하는 단계를 추가로 포함하는 동적 상호작용 인지 태스크 방법.
  10. 제1항에 있어서,
    상기 상호작용 인지 태스크를 개시하도록 상기 셀프-드라이빙 시스템을 트리거링하는 것과 연관된 주파수는 상기 비교의 결과에 기초하여 조정가능한, 동적 상호작용 인지 태스크 방법.
  11. 제1항에 있어서,
    다른 주 태스크 이벤트가 시간 제한 내에 상기 셀프-드라이빙 시스템에 의해 검출되는 경우 상기 상호작용 인지 태스크를 취소하는 단계를 추가로 포함하는 동적 상호작용 인지 태스크 방법.
  12. 제1항에 있어서,
    상기 주 태스크 요구 메트릭은 상기 셀프-드라이빙 시스템에 의해 이동된 시간 또는 상기 셀프-드라이빙 시스템에 의해 이동된 거리 중 적어도 하나를 포함하는, 동적 상호작용 인지 태스크 방법.
  13. 셀프-드라이빙 시스템을 위한 동적 상호작용 인지 태스크 방법으로서,
    상기 셀프-드라이빙 시스템의 하나 이상의 프로세서에 의해, 적어도 하나의 주 태스크와 연관된 주 태스크 요구 메트릭을 모니터링하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 모니터링된 주 태스크 요구 메트릭을 임계값과 비교하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 셀프-드라이빙 시스템을 사용하여 상기 비교의 결과에 기초하여 상호작용 인지 태스크를 개시하는 단계를 포함하는 동적 상호작용 인지 태스크 방법.
  14. 제13항에 있어서,
    상기 주 태스크 요구 메트릭은 상기 셀프-드라이빙 시스템의 운전자에 의한 주 태스크 요구 이벤트의 수행 이후의 경과 시간을 포함하는, 동적 상호작용 인지 태스크 방법.
  15. 제13항에 있어서,
    상기 주 태스크 요구 메트릭은 상기 셀프-드라이빙 시스템의 운전자에 의한 주 태스크 요구 이벤트의 수행 이후의 이동된 거리를 포함하는, 동적 상호작용 인지 태스크 방법.
  16. 제15항에 있어서,
    상기 주 태스크 요구 메트릭은 상기 운전자에 의한 코멘트, 코멘트 등급화, 또는 승객에 대한 상기 셀프-드라이빙 시스템의 사용에 대한 요청 중 하나를 포함하는, 동적 상호작용 인지 태스크 방법.
  17. 운전자 부주의를 관리하는 방법으로서,
    하나 이상의 프로세서에 의해, 운전자의 눈들 중 하나 또는 둘 다의 이미지들을 취득하여 상기 운전자의 실제 응시 방향 또는 패턴을 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 차량의 계획된 루트 및 상기 차량의 외부 환경 내의 객체들에 기초하여 상기 운전자의 예상된 응시 방향 또는 패턴을 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 실제 응시 방향 또는 패턴을 상기 예상된 응시 방향 또는 패턴과 비교하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 비교에 기초하여, 드라이빙 환경의 상기 운전자의 시각적 스캐닝이 상기 예상된 응시 방향 또는 패턴으로부터 벗어나는지를 결정하는 단계; 및
    상기 드라이빙 환경의 상기 운전자의 시각적 스캐닝이 운전자의 부주의를 표시하는 것으로 결정할 때 정정 액션을 취하는 단계를 포함하는 방법.
  18. 제17항에 있어서,
    상기 드라이빙 환경의 상기 운전자의 시각적 스캐닝이 상기 예상된 응시 방향 또는 패턴으로부터 벗어나는지를 결정하는 것은 계획된 드라이빙 경로를 고려하여 상기 예상된 응시 방향 또는 패턴을 결정하기 위해 환경 통계에 기초한 규범적 모델을 사용하는 것을 포함하는, 방법.
  19. 제17항에 있어서,
    상기 드라이빙 환경의 상기 운전자의 시각적 스캐닝이 상기 예상된 응시 방향 또는 패턴으로부터 벗어나는지를 결정하는 것은 상기 예상된 응시 방향 또는 패턴을 결정하기 위해 인간의 시각적 거동 통계에 기초한 규범적 모델을 사용하는 것을 포함하는, 방법.
  20. 제17항에 있어서,
    이미지들을 취득하는 것은 눈 감김에 대해 상기 운전자의 눈들 중 하나 또는 둘 다를 모니터링하는 것을 포함하는, 방법.
  21. 제17항에 있어서,
    상기 운전자는 자율 주행 차량의 동작들을 모니터링하는 보조 운전자 또는 비-자율 주행 차량의 운전자를 포함하는, 방법.
KR1020217022215A 2018-12-19 2019-12-17 운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들 KR102591432B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/226,322 US10807605B2 (en) 2018-12-19 2018-12-19 Systems and methods for detecting and dynamically mitigating driver fatigue
US16/226,322 2018-12-19
PCT/US2019/066739 WO2020131803A1 (en) 2018-12-19 2019-12-17 Systems and methods for detecting and dynamically mitigating driver fatigue

Publications (2)

Publication Number Publication Date
KR20210092328A true KR20210092328A (ko) 2021-07-23
KR102591432B1 KR102591432B1 (ko) 2023-10-20

Family

ID=71099258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217022215A KR102591432B1 (ko) 2018-12-19 2019-12-17 운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (4) US10807605B2 (ko)
EP (1) EP3898372A4 (ko)
JP (1) JP2022512114A (ko)
KR (1) KR102591432B1 (ko)
CN (1) CN113226884A (ko)
WO (1) WO2020131803A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2732752T3 (es) 2014-04-30 2019-11-25 Cerus Endovascular Ltd Dispositivo de oclusión
WO2020196084A1 (ja) * 2019-03-28 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及び情報処理システム
EP3730331B1 (en) * 2019-04-26 2023-03-08 Zenuity AB Method and device for controlling a driver assistance
US11262763B2 (en) 2019-05-01 2022-03-01 Smartdrive Systems, Inc. Systems and methods for using risk profiles for creating and deploying new vehicle event definitions to a fleet of vehicles
GB2588973B (en) * 2019-11-18 2022-04-27 Jaguar Land Rover Ltd Apparatus and method for controlling vehicle functions
US11414102B2 (en) * 2020-01-28 2022-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle communication consistency
US11738763B2 (en) 2020-03-18 2023-08-29 Waymo Llc Fatigue monitoring system for drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US11912307B2 (en) 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US11651308B1 (en) * 2020-04-10 2023-05-16 Nuro, Inc. Methods and apparatus for providing teleoperations functionality in a distributed manner
US11423674B2 (en) * 2020-10-22 2022-08-23 Ford Global Technologies, Llc Vehicle occupant gaze detection
US11851070B1 (en) * 2021-07-13 2023-12-26 Lytx, Inc. Driver identification using geospatial information
US20230078143A1 (en) * 2021-09-13 2023-03-16 Omnitracs, Llc Systems and methods for determining and using deviations from driver-specific performance expectations

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014599A (ja) * 1999-06-25 2001-01-19 Toshiba Corp 覚醒度管理装置、覚醒度管理方法および覚醒度管理プログラムを格納するコンピュータ読み取り可能な記録媒体
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
US20130131907A1 (en) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC System and method for managing misuse of autonomous driving
JP2014151910A (ja) * 2013-02-12 2014-08-25 Ge Aviation Systems Llc 航空機状況情報を図示する方法
US20140365062A1 (en) * 2012-04-24 2014-12-11 Ford Global Technologies, Llc Method and apparatus for changing an autonomously travelling motor vehicle to a safe state
JP2017067850A (ja) * 2015-09-28 2017-04-06 株式会社デンソー 対話装置及び対話制御方法
US20180319408A1 (en) * 2015-12-08 2018-11-08 Robert Bosch Gmbh Method for operating a vehicle

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154123A (en) * 1997-09-05 2000-11-28 Breed Automotive Technology, Inc. Driver alertness monitoring system
US7692548B2 (en) 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
US8022831B1 (en) * 2008-01-03 2011-09-20 Pamela Wood-Eyre Interactive fatigue management system and method
US10627817B2 (en) * 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
DE102012221090B4 (de) * 2011-11-17 2021-05-12 GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) Verfahren für das Fahreraufmerksamkeitsmanagement sowie Fahreraufmerksamkeitsmanagementsystem
DE102012213965A1 (de) * 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
JP5959401B2 (ja) * 2012-10-18 2016-08-02 アルパイン株式会社 運転支援システム
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
KR102017884B1 (ko) 2013-02-06 2019-10-22 한국전자통신연구원 운전자 집중도 분석 장치 및 방법
WO2015145606A1 (ja) * 2014-03-26 2015-10-01 日産自動車株式会社 情報呈示装置及び情報呈示方法
US9476729B2 (en) * 2014-05-29 2016-10-25 GM Global Technology Operations LLC Adaptive navigation and location-based services based on user behavior patterns
JP6176263B2 (ja) 2015-01-19 2017-08-09 トヨタ自動車株式会社 自動運転装置
KR101714515B1 (ko) 2015-01-21 2017-03-22 현대자동차주식회사 웨어러블 기기를 이용한 안전운전 알림 시스템 및 그 방법
EP3259734A4 (en) 2015-02-20 2019-02-20 Seeing Machines Limited GLARE REDUCTION
US9493118B1 (en) 2015-06-24 2016-11-15 Delphi Technologies, Inc. Cognitive driver assist with variable warning for automated vehicles
US10099705B2 (en) * 2015-08-31 2018-10-16 Uber Technologies, Inc. Control system for autonomous-capable vehicles
FR3041916A1 (fr) * 2015-10-02 2017-04-07 Peugeot Citroen Automobiles Sa Procede de maintien de la vigilance du conducteur d’un vehicule durant une phase de conduite automatisee.
DE102016201531A1 (de) 2016-02-02 2017-08-03 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers
US20170247040A1 (en) 2016-02-25 2017-08-31 Ford Global Technologies, Llc Autonomous vehicle control transitioning
WO2018006019A1 (en) 2016-07-01 2018-01-04 Itay Katz System and method for driver monitoring
CN107633657A (zh) * 2016-07-18 2018-01-26 中兴通讯股份有限公司 一种疲劳驾驶的提醒方法及终端
US10025318B2 (en) * 2016-08-05 2018-07-17 Qualcomm Incorporated Shape detecting autonomous vehicle
US9936065B2 (en) * 2016-08-08 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Selectively limiting a non-vehicle user input source of a handheld mobile device
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
JP6627811B2 (ja) * 2017-03-14 2020-01-08 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
US10365647B2 (en) 2017-03-29 2019-07-30 Qualcomm Incorporated Ensuring occupant awareness in vehicles
US10474916B2 (en) * 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities
US10710590B2 (en) * 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving
US10528832B2 (en) 2018-04-17 2020-01-07 GM Global Technology Operations LLC Methods and systems for processing driver attention data
US10618523B1 (en) 2018-04-19 2020-04-14 State Farm Mutual Automobile Insurance Company Assessing driver ability to operate an autonomous vehicle
US20200017124A1 (en) * 2018-07-12 2020-01-16 Sf Motors, Inc. Adaptive driver monitoring for advanced driver-assistance systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014599A (ja) * 1999-06-25 2001-01-19 Toshiba Corp 覚醒度管理装置、覚醒度管理方法および覚醒度管理プログラムを格納するコンピュータ読み取り可能な記録媒体
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
US20130131907A1 (en) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC System and method for managing misuse of autonomous driving
US20140365062A1 (en) * 2012-04-24 2014-12-11 Ford Global Technologies, Llc Method and apparatus for changing an autonomously travelling motor vehicle to a safe state
JP2014151910A (ja) * 2013-02-12 2014-08-25 Ge Aviation Systems Llc 航空機状況情報を図示する方法
JP2017067850A (ja) * 2015-09-28 2017-04-06 株式会社デンソー 対話装置及び対話制御方法
US20180319408A1 (en) * 2015-12-08 2018-11-08 Robert Bosch Gmbh Method for operating a vehicle

Also Published As

Publication number Publication date
US20210001865A1 (en) 2021-01-07
EP3898372A4 (en) 2022-09-07
WO2020131803A4 (en) 2020-08-13
US11634145B2 (en) 2023-04-25
EP3898372A1 (en) 2021-10-27
CN113226884A (zh) 2021-08-06
US20210001864A1 (en) 2021-01-07
US20200198644A1 (en) 2020-06-25
US20230202485A1 (en) 2023-06-29
JP2022512114A (ja) 2022-02-02
WO2020131803A1 (en) 2020-06-25
US10807605B2 (en) 2020-10-20
KR102591432B1 (ko) 2023-10-20
US11491994B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
KR102591432B1 (ko) 운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN106997203B (zh) 车辆自动化及操作者参与等级预测
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
Trimble et al. Human factors evaluation of level 2 and level 3 automated driving concepts: Past research, state of automation technology, and emerging system concepts
JP7203035B2 (ja) 情報処理装置および情報処理方法
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
KR20200086268A (ko) 정보 처리 장치 및 정보 처리 방법
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20220289250A1 (en) Information processing device, mobile device, information processing system, method, and program
JP2018181269A (ja) 提示制御装置、自動運転制御装置、提示制御方法及び自動運転制御方法
WO2019208014A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US11912307B2 (en) Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
WO2023276207A1 (ja) 情報処理システム及び情報処理装置
WO2023228781A1 (ja) 処理システム及び情報提示装置
WO2023007844A1 (ja) 情報処理装置及び情報処理システム
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant