KR20230004634A - 반응성 산출 방법 - Google Patents

반응성 산출 방법 Download PDF

Info

Publication number
KR20230004634A
KR20230004634A KR1020227039864A KR20227039864A KR20230004634A KR 20230004634 A KR20230004634 A KR 20230004634A KR 1020227039864 A KR1020227039864 A KR 1020227039864A KR 20227039864 A KR20227039864 A KR 20227039864A KR 20230004634 A KR20230004634 A KR 20230004634A
Authority
KR
South Korea
Prior art keywords
vehicle
vehicle user
predefined
gaze
calculated
Prior art date
Application number
KR1020227039864A
Other languages
English (en)
Inventor
리합 라아루지
Original Assignee
메르세데스-벤츠 그룹 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메르세데스-벤츠 그룹 아게 filed Critical 메르세데스-벤츠 그룹 아게
Publication of KR20230004634A publication Critical patent/KR20230004634A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 관찰 카메라에 의해 기록된 이미지 데이터를 근거로 차량(1)의 자율 주행 모드에서 차량 사용자(2)의 반응성을 산출하는 방법에 관한 것이다. 본 발명에 따라,
- 차량 측에 있는 디지털 지도 데이터 및/또는 차량 측에서 기록된 센서 데이터를 이용하여 현재 차량 주변 환경의 적어도 하나 이상의 사전 정의된 관련 객체(O)가 차량 사용자(2)의 시야 범위에 있는지 산출되고,
- 현재 차량 환경 주변에서 사전 정의된 관련 객체(O)가 하나 이상 검출되면 운전자 관찰 카메라로 기록된 이미지 데이터를 사용하여 차량 사용자(2)의 시선이 어느 정도의 시간 동안 및/또는 어느 정도의 빈도로 적어도 하나 이상의 사전 정의된 관련 객체(O)를 향하는지가 산출되며
- 산출된 시간이 사전 정의된 최소 시간에 미달하는 경우 및/또는 시선 변경 빈도가 산출된 최소 빈도에 미달하는 경우 차량 사용자의 반응성(2)은 없는 것으로 평가되는 것을 제시한다.

Description

반응성 산출 방법
본 발명은 운전자 관찰 카메라에 의해 기록된 이미지 데이터를 근거로 차량의 자율 주행 모드에서 차량 사용자의 반응성을 산출하는 방법에 관한 것이다.
DE 10 2015 001 686 B4에서는 차량의 자율 주행에서 운전자의 반응성을 검출하기 위한 방법 및 장치를 개시하고 있다. 이때 반응성의 제1 평가는 운전자를 카메라로 모니터링하여 이루어지고, 반응성의 제2 평가는 운전자가 컨트롤 유닛을 조작하는 것을 인식하여 이루어진다. 제1 평가 및/또는 제2 평가 결과, 반응성이 있는 것으로 인식한 경우 반응성이 있는 것으로 분류된다. 운전자의 카메라 모니터링에 의한 반응성 제1 평가에서, 운전자의 두 눈 중 적어도 한 눈이 사전 정의된 시간 간격의 최소 비율 동안 열려 있으면 반응성이 있는 것으로 분류된다. 컨트롤 유닛이 운전자 이외의 다른 사람에 의해 조작되거나 주기적으로 조작되는 경우 반응성이 있는 것으로 분류되지 않는다.
또한, DE 10 2016 011 246 A1에서는 적어도 한 명 이상의 차량 탑승자의 상태를 모니터링하는 방법을 설명한다. 이 방법은 교대로 켜지고 꺼지는 적어도 하나 이상의 광원으로 탑승자 머리에 조명을 밝히는 것을 제시한다. 탑승자 눈에서 반사된 빛은 적어도 하나 이상의 센서로 감지되며, 이때 광원에 의한 조명에 따라 반사가 달라지는지 그리고 탑승자의 적어도 한 번 이상의 눈꺼풀 움직임 및/또는 머리 움직임이 감지되는지도 확인된다.
본 발명의 목적은 차량의 자율 주행 모드에서 차량 사용자의 반응성을 산출하기 위한 방법을 제공하는 데 있다.
본 발명에 따르면 이러한 목적은 청구항 제1항에 명시된 특징을 가지는 방법으로 달성된다.
본 발명의 바람직한 실시예는 종속항의 대상이다.
본 발명에 따르면, 운전자 관찰 카메라에서 기록된 이미지 데이터를 사용하여 차량의 자율 주행 모드에서 차량 사용자의 반응성을 산출하기 위한 방법은 차량 측에서 이용 가능한 디지털 맵 데이터 및/또는 차량 측에서 기록된 센서 데이터를 근거로 차량 사용자의 시야에서 현재 차량 주변 환경에 적어도 하나 이상의 사전 정의된 객체가 있는지 여부가 산출되는 것을 제시한다. 현재 차량 주변 환경에서 적어도 하나 이상의 검출된 사전 정의된 객체에서 운전자 관찰 카메라에 의해 기록된 이미지 데이터를 근거로, 검출된 적어도 하나 이상의 사전 정의된 객체에 차량 사용자가 시선을 보내는 시간 및/또는 빈도가 산출되고 산출된 시간이 사전 정의된 최소 기간에 미달하는 경우 및/또는 산출된 시선 변경 빈도가 최소 빈도에 미달하는 경우 차량 사용자의 반응성이 없는 것으로 평가된다.
이 방법을 이용하면, 차량이 운전 작업을 온전히 수행하는 자율 주행 모드에서 차량의 차량 사용자 반응성을 산출할 수 있다. 이때 차량 사용자는 수동 운전 모드에서 차량의 운전 작업을 수행하는 사람을 말한다.
특히, 차량 사용자가 운전 작업과 관련된 시스템 관련 인계 요청에서 올바르게 대응할 수 있고 이를 위해 기존 상황을 올바르게 파악할 수 있는지 여부를 판단하기 위해 반응성이 산출된다. 이와 관련하여 상황 인식은 상황에 따른 관련 객체 및/또는 차량 외부의 영역을 보고 이것도 인식하여야 한다.
방법의 일 실시예에서, 차량이 수동 운전 모드에서 특정 기간 및/또는 빈도 동안 그러한 객체가 차량 사용자의 시야에 있는 경우, 즉, 차량 사용자의 시선이 사전 정의된 시간 및/또는 빈도로 객체를 향할 때와 차량 제어 중에 차량 사용자가 객체를 고려할 때 객체는 관련 객체로 사전 정의된다.
기록된 영상 데이터를 근거로 차량 사용자의 시선이 사전 정의된 관련 객체를 전혀 향하지 않았거나 비교적 짧게 향한 것으로 검출되면 차량 사용자가 사전 정의된 관련 객체를 인지하지 않았고 이에 따라 적어도 반응성이 낮은 것으로 해석된다.
방법의 가능한 일 실시예에서, 객체로서 차량의 전방, 측면 및/또는 후방에 있는 적어도 한 대 이상의 다른 차량, 교통 표지, 교통 신호 시스템, 경고등, 차선 표시, 경계 표시 기둥, 가드 레일, 비콘 및/또는 교각은 차량 사용자의 반응성 산출 시 관련 객체로 사전 정의 및/또는 고려된다.
따라서 그러한 객체는 관련성이 있는 것으로 간주되며 차량 제어에 그리고 그에 따라 차량의 수동 운전 모드에서 차량 사용자의 운전 방식에 영향을 미칠 수 있고/있거나 영향을 미칠 것으로 지정된다.
방법의 일 실시예에서는 차량 사용자의 시야와 관련하여 사전 정의된 객체의 크기, 가시성, 상대 위치 및/또는 절대 위치가 산출 및/또는 고려되는 것을 제시한다. 거기에서 차량 사용자가 차량에서 이러한 사전 정의된 객체를 볼 수 있는지 여부가 파악될 수 있다.
이를 위해, 방법의 일 실시예는 차량 사용자의 시선 방향이 시선 벡터를 산출하기 위해 외삽되는 시선 벡터로서 산출되는 것을 제시한다. 특히, 시선 벡터는 차량 외부로 외삽되어 외삽된 시선 벡터가 사전 정의된 관련 객체에 부딪히고 따라서 사전 정의된 관련 영역이 차량 사용자의 시야 내에 있는지 여부가 산출된다.
특히, 방법의 가능한 다른 양태는 차량 사용자의 눈동자 사이의 중간점이 시선 벡터의 시작점으로 지정되는 것을 제시한다. 특히 차량 사용자의 눈이 정면을 향하는 머리와 일직선을 이루면서 시선을 보낼 때 눈동자 사이의 중심점이 시작점으로 지정된다. 시선 벡터의 시작점을 지정하는 것은 특정 관련 객체를 영역으로서, 특히 앞유리에 전달하고, 그 영역을 사용하여 차량 사용자가 이 영역을 보고 있는지 산출하고자 하기 위한 것이다.
다른 실시예에서, 사전 정의된 관련 객체 주변의 영역은 이 객체의 형태 및/또는 크기에 따라 정의된다. 특히, 사전 정의된 관련 객체가 비교적 복잡한 형태 및/또는 크기를 갖는 경우 그 주변 영역이 정의된다. 이 정의된 영역이 작을수록 보다 정확하게 시선-객체 매핑이 가능하여, 사전 정의된 관련 객체가 차량 사용자의 시야에 있는지 그리고 차량 사용자가 관련 객체로서 이를 인지할 수 있는지 여부를 검출할 수 있다.
다수의 객체가 검출되면, 가능한 일 실시예에서 사전 정의된 관련 객체와 관련된 가시성이 객체의 위치, 크기 및/또는 재료 속성을 근거로 평가된다. 다시 말해, 사전 정의된 관련 객체가 차량 사용자의 시야에 있고 다른 객체에 의해 가려지지 않게 최대한 보장될 수 있도록 사전 정의된 관련 객체의 가시성이 확인된다. 즉, 사전 정의된 관련 객체가 차량 사용자에게 보이는지 확인된다.
가능한 일 실시예에서, 시선 행위 분석에 근거하여 인식률 및/또는 상황 인식이 차량 사용자별로 산출되며, 이때 차량 사용자의 시선 행위가 일반적인 시선 행위와 비교된다. 비교는 특히 수동 운전 중 차량 사용자의 검출된 시선 행위와 자율 주행 모드에서의 시선 행위를 기반으로 하므로, 차량 사용자가 차량의 자율 주행 모드에서 교통 표지판과 같은 사전 정의된 관련 객체를 인지했는지 여부가 산출될 수 있다.
차량 사용자의 시선 행위에 기초하여 특히 운전 작업을 인계할 수 있는 반응성이 없는 것으로 산출되면, 차량 사용자가 사전 정의된 기간 내에 확인해야 하는 적어도 하나 이상의 메시지가 출력된다.
이때 차량 사용자가 인계 요청에 따를 수 있도록 반응성을 회복하기 위해 메시지가 발행된다.
본 발명의 실시예는 도면을 참조하여 아래에서 구체적으로 설명된다.
이때 각 도면은 다음과 같다.
도 1은 차량에서 차량 사용자의 시선 벡터가 있는 3개의 개략도를 도시한다.
도 2는 각각의 시선 벡터와 서로 다른 두 위치에 있는 차량 사용자를 도시한다.
도 3은 시선 벡터의 시작점이 표시된 차량 사용자의 정면도와 측면도를 개략적으로 도시한다.
도 4는 서로 다른 두 위치에 있는 차량 사용자와 앞유리에 객체가 전송되는 영역을 개략적으로 도시한다.
도 5는 차량의 자율 주행 모드에서 차량 사용자의 반응성을 산출하기 위한 프로세스 시퀀스를 개략적으로 도시한다.
상호 일치하는 부분은 모든 도면에서 동일한 참조 기호를 붙인다.
도 1에서는 2개 차선(F1, F2)를 포함하는 도로 구간(F)이 있는 서로 다른 세 그림을 도시하며, 차량(1)은 우측 차선(F1)에서 주행하고 도 2부터 도 4까지에 도시된, 차량(1)의 수동 운전 모드의 운전자인 차량 사용자(2)의 시선 벡터(V)를 도시한다. 다른 차량(3)은 위 그림과 중간 그림에서는 우측 차선(F1)에서 주행하고, 아래 그림에서는 좌측 차선(F2)에서 주행한다.
차량 사용자(2)의 시선 벡터(V)는 3가지 그림 모두에서 동일하며, 이때 차량 사용자(2)는 각각 서로 다른 객체(O)를 관찰한다.
제1 그림(A1)에서, 시선 벡터(V)는 차량(1) 앞에서 주행하고 있는 객체(O)로서 다른 차량(3)을 향한다.
제2 그림(A2)에서 차량(1)은 좌측 차선(F2)으로 차선 변경을 수행할 의도가 있으며, 이때 차량(1)은 이미 방향을 틀어 시선 벡터(V)가 좌측 차선(F2)을 향하도록 한다.
제3 그림(A3)에서, 다른 차량(3)은 좌측 차선(F2)에서 주행하고 차량(1)은 우측 차선(F1)에서 주행하며, 차량 사용자(2)의 시선 벡터(V)는 직진, 즉 우측 차선(F1)을 향한다.
다음에서는 차량(1)의 자율 주행 모드에서 차량 사용자(2)의 반응성을 산출하도록 제시하는 방법이 설명되며, 이때 차량 사용자(2)의 시선 행위가 기록되고 분석된다.
차량(1)에는 자율 주행이든 수동 운전이든 관계없이 주행 중 이미지 데이터를 지속적으로 기록하는 운전자 관찰 카메라(미도시)가 배치되어 있으며, 이때 운전자 관찰 카메라의 검출 영역은 차량 사용자(2)를 향한다.
운전자 관찰 카메라에 의해 기록된 이미지 데이터를 근거로 차량 사용자(2)의 시선 방향, 예컨대 시선 벡터(V)가 산출된다.
도 1에서는, 3개의 그림(A1부터 A3)을 통해 특히 시선 벡터(V)가 차량 사용자(2)의 시선이 향하고 있는 객체(O) 및/또는 차량(1) 외부의 영역을 검출하기에 불충분하다는 사실이 분명히 드러난다.
차량(1)의 시선 벡터(V) 및 기하학적 데이터에 근거하여, 차량 사용자(2)가 예컨대 차량(1)의 앞유리(4)를 통해 차량(1) 외부를 바라보는지, 즉 차량 사용자의 시선이 앞유리(4)를 향하는지 산출할 수 있다. 차량 사용자(2)의 시선이 특정 객체(O) 및/또는 차량(1) 외부의 특정 영역을 향하고 있는지 여부를 판단하는 것은 불가능하다.
이 방법을 사용하여 차량 사용자(2)의 산출된 시선 벡터(V)와 차량(1) 외부에서 검출된 객체(O), 그 크기나 위치와 같은 속성을 근거로 차량 사용자(2)가 이 객체(O)를 보았는지 여부가 확인된다.
차량 사용자(2)가 객체(O) 및/또는 영역을 본다는 것은 차량 사용자(2)의 시선이 이 객체(O) 및/또는 이 영역을 향하고 있고 객체(O) 및/또는 영역이 차량 사용자(2)의 시야에 최소 시간 동안 있다는 것을 의미한다.
이 방법은 차량 사용자를 통한 객체(O) 검출과 관련하여 아래에서 설명되며, 이때 영역의 검출은 방법을 사용하여 유사하게 실행된다.
차량 사용자(2)의 시선이 차량(1) 외부의 객체(O)를 얼마나 오랫동안 향하는지를 산출함으로써, 상황 인식에 거의 기여하지 않는 차량 사용자(2)의 무의식적이고 비교적 빠른 시선이 고려되지 않는 것을 최대한 배제할 수 있다.
차량 사용자(2)의 시야에서 객체(O)가 차량(1) 외부에 있음을 산출하기 위해 시선 벡터(V)를 차량(1) 외부로 외삽한다. 특히, 도 2에 도시된 바와 같이, 외삽된 시선 벡터(V)가 객체(O)에 부딪힐 때 객체(O)가 차량 사용자(2)에 의해 포착되고 인지된다.
특히, 도 2는 두 착석 위치(S1, S2)의 차량 사용자(2), 해당 외삽 시선 벡터(V), 차량(1)의 단순화한 앞유리(4) 및 차량(1) 외부의 두 객체(O)를 도시한다. 이때 차량 사용자(2)는 더 낮고 앞유리(4)에 더 가까이 있는 착석 위치(S1)에서 객체(O)로서 속도 제한 교통 표지(5)를 주시하고, 점선으로 도시된 다른 추가 시트 위치(S2)에서 객체로서 다른 차량(3)을 주시한다.
차량 사용자(2)는 해당 착석 위치에서 다른 객체(O)를 주시하고, 이때 차량 사용자의 시선은 앞유리(4)와 관련하여 하나의 동일한 지점(P)을 향한다.
해당 객체(O)의 비교적 더 복잡한 형태 및/또는 크기에서 도 2와 같이 객체(O) 주변 영역을 정의할 수 있다. 도 2의 본 예시적인 실시예에 따르면, 객체(O)로서의 교통 표지(5)는 가상 직사각형(R)으로 둘러싸여 있다. 이에 대한 대안으로 객체(O)를 둘러싸는 정의된 영역으로 다른 형태를 제시할 수도 있으며, 이때 이 영역이 작을수록 시선-객체 매핑이 더 정확하다.
또한, 특히 동일한 영역에 여러 개의 객체(O)가 있는 경우 객체(O)의 가시성이 확인된다. 예컨대, 차량 사용자(2)의 관점에서 두 객체(O)가 그의 시야에 있으므로 차량 사용자(2)의 외삽 시선 벡터(V)는 두 객체(O) 모두에 부딪힐 수 있다. 이러한 경우, 추측컨대 더 먼 객체(O)는 차량 사용자(2)의 시선이 만나는 더 가까운 객체(O)에 의해 가려진다.
객체(O)의 위치, 크기 및/또는 재료 속성은 다른 객체(O)를 통한 객체(O)의 폐색과 가시성을 평가하는 데 사용할 수 있다.
일 실시예에서, 객체(O)가 차량 사용자(2)의 시야 내에 있는지 여부를 산출하기 위해 객체(O) 또는 객체(O)의 영역이 영역(A1, A2), 특히 앞유리(4)로 전달된다. 도 4에 도시된 바와 같이 앞유리(4) 영역(A1, A2)으로의 객체(O) 전달은 예컨대 도 3에 도시된 시선 벡터(V)의 시작점(C), 특히 시작점(C)에 대한 객체(O)의 상대 위치 및 영역(A)의 기하학적 데이터 등과 같은 매개변수 개수에 따라 달라진다.
도 3은 시선 벡터(V) 시작점(C)의 예시적인 지정을 도시하며, 이때 눈(7)이 정면을 향하는 머리(8)와 일직선을 이루며 바라볼 때 시작점(C)은 차량 사용자(2)의 동공(6) 사이의 중간점으로 지정된다.
머리(8)의 위치로 인해 시작점(C)의 위치가 변경되는 경우, 예컨대 측면 방향으로, 앞유리(4)에서 영역(A1, A2)의 위치가 그에 따라 결정되며, 이는 도 4에서 자세히 도시된다. 이러한 이유로, 차량 사용자(2)의 키와 착석 위치는 이러한 객체(O)를 앞유리(4)의 영역(A1, A2)으로 전달하는 데 간접적인 역할을 한다.
도 4는 다른 차량(3)의 형태에서 앞유리(4) 영역(A1, A2)으로 전달된 객체(O)의 영역과 함께 서로 다른 두 착석 위치(S1, S2)에 있는 차량 사용자(2)를 도시한다.
또한, 도 4에서는 객체(O)의 두 영역(A1, A2)을 갖는 앞유리(4)의 정면도를 도시한다.
차량 사용자(2)가 착석 위치(S1)를 가진다면, 다른 차량(3) 형태에서 객체(O)는 앞유리(4)의 영역(A1)으로 전달되고, 이와 반대로 다른 착석 위치(S2)에서 객체(O)는 앞유리(4)의 추가 영역(A2)으로 전달된다. 따라서 객체(O)는 특히 각각의 착석 위치(S1, S2)와 관련하여 앞유리(4)의 여러 영역(A1, A2)으로 전달된다.
이 방법은 인식률 및/또는 인식 품질을 산출하기 위해 시선 행위 분석을 제공한다. 이를 위해, 특히 차량(1)의 수동 운전 모드에서 차량 사용자(2)의 시선 행위가 그의 평소 시선 행위와 비교된다. 특히, 차량 사용자(2)가 차량(1)의 자율 주행 모드에서 사전 정의된 관련 객체(O), 예컨대 특정 교통 표지판(5)를 인식했는지 여부 및/또는 인식률 및/또는 인식 품질이 산출될 수 있다. 이를 위해, 사전 정의된 관련 객체(O)의 카테고리, 예컨대 교통 표지판(5)과 관련된 차량 사용자(2)의 시선 행위가 수회 수행된 수동 운전 모드 동안 객체(O)와 관련된 시선 행위와 비교될 수 있다.
예컨대, 사전 정의된 관련 객체(O)에 대한 시선이 전혀 검출되지 않거나 비교적 짧은 시선이 검출되면, 특히 최소 지속 시간 미만 지속되는 시선이 검출되면 차량 사용자(2)가 사전 정의된 관련 객체(O)를 인식하지 않았고/않았거나 인식률 및/또는 인식 품질이 비교적 낮다는 사실을 도출할 수 있다. 이 경우, 사전 정의된 관련 객체(O), 특히 교통 표지가 계기판의 표시 영역에 표시되도록 제공될 수 있다.
반면, 시선 행위 분석에 근거하여 차량 사용자(2)가 사전 정의된 관련 객체(O)를 충분히 인식한 것으로 산출되는 경우 이는 표시되지 않는다.
일반적인 시선 행위가 차량 사용자별로 산출될 뿐만 아니라 위치 및/또는 상황에 따라 산출되는 것도 생각할 수 있다. 차량 사용자(2)가 동일한 경로를 자주 주행하는 경우, 차량 사용자(2)의 다른 시선 행위는 해당 구간의 특정 위치에서 확인될 수 있다.
가능한 일 실시예에서, 방법은 시선 행위 분석이 차량 사용자(2)의 특정 작동 상태 및/또는 상태에서 수행되도록 제공한다. 예컨대, 차량 사용자(2)의 시선 행위는 인식률 및/또는 인식 품질을 평가하거나 또는 차량 사용자(2)를 통한 시스템 관련 운전 작업 인계 요청에서 상황 인식을 평가하기 위해 분석될 수 있다.
운전 책임이 차량 사용자(2)에게 넘어갈 때 해당 결과가 시스템 측에서 반영될 수 있다. 예컨대, 차량 사용자(2)는 특정 행동, 예컨대 차선 변경을 수행하기로 비교적 갑자기 결정한다. 이때, 특히 시선 행위 분석에 근거하여 차량 사용자(2)가 이 행동과 관련된 객체(O)를 모두 포착하지는 않은 것으로, 즉 보지 못한 것으로 확인된다. 예컨대, 차량 사용자(2)는 뒤에서 접근하는 다른 차량(3)을 보지 못했으며, 이 경우 차량 사용자(2)는 이와 관련하여 통지받고/받거나 의도된 행동이 시스템 측에서 억제되거나 지원되지 않는다.
다른 일 실시예는 다수의 차량 사용자(2)의 시선 데이터가 다수의 시선 행위를 산출하는 데 사용되는 것을 제공한다. 이를 통해 어떤 객체(O)가 관련 객체(O)로 지정될 수 있는지 그리고 대부분의 차량 사용자(2)가 이러한 객체(O)를 어떤 인식률 및/또는 어떤 인식 품질로 관찰하는지 산출할 수 있다. 예컨대, 이러한 객체(O)는 다른 차량(3), 교통 표지판(5), 신호등, 경고등, 차선 표시, 경계 표시 기둥, 가드 레일, 비콘, 교각 등이다.
따라서, 차량 사용자(2)의 시선 행위에 기초하여, 차량 사용자(2)가 충분한 인식률 및/또는 충분한 인식 품질 또는 상황 인식을 갖고 있는지 여부가 산출된다.
이 경우, 차량 사용자(2)의 반응성은 있는 것으로 평가된다. 인식률 감소 및/또는 인식 품질 감소 또는 상황 인식 감소가 의심되는 경우, 차량 사용자(2)의 반응성은 없는 것으로 평가된다.
특히, 차량 사용자(2)가 예컨대 사전 정의된 관련 객체(O) 중 하나에 시선을 향하지 않거나 응시 지속 시간과 관련된 최소 지속 시간에 도달하지 않는 경우 반응성이 없는 것으로 평가된다.
대안적으로 또는 추가적으로, 시선 변경 빈도가 최소 빈도 미만인 경우, 즉, 산출된 시선 변화 빈도가 사전 정의된 빈도 임계값에 미치지 않은 경우 반응성이 없는 것으로 평가된다. 시선 변경 빈도는 다른 객체(O)로 시선을 변경하는 사이의 평균 시간을 측정함으로써 산출된다. 이 시간이 짧을수록 시선 변경 빈도가 높아진다.
시선 변경의 비교적 낮은 빈도는 차량 사용자(2)의 주의가 산만하다는 징후일 수 있으며, 이때 주의 산만은 자율 주행에 허용되지 않는 보조 활동으로 인해 발생할 수 있다. 차량 사용자(2)가 보조 활동에 너무 많이 집중하여 차량(1) 외부의 사전 정의된 관련 객체(O)에 시선이 거의 또는 전혀 향하지 않을 수 있기 때문에 보조 활동은 자율 주행에서 허용되지 않는다.
상술한 바와 같이, 사전 정의된 관련 객체(O)는 유사한 주행 상황에서 차량(1)의 수동 운전 모드에서 차량 사용자(2)가 주시하고 수동 운전 모드와 관련하여 의사 결정, 즉, 차량 제어를 하는 데 관련성 있는 객체(O)이다.
차량(1)이 현재 주행 중인 도로 구간에서 이러한 관련 객체(O)가 어디에 있는지는 차량 측에서 이용 가능한 디지털 지도 데이터 및/또는 차량 측에서 기록된 센서 데이터에 근거하여 산출된다.
전술한 바와 같이, 차량 사용자(2)의 반응성이 없는 것으로 확인되면 특히 차량 측에서 반응성을 회복하거나 복구하기 위한 조치가 개시된다.
개시할 조치는 차량(1)에서 차량 사용자(2)에게 메시지를 발행하는 것이며, 이때 차량 사용자(2)는 반응성을 확인하기 위해 사전 정의된 시간 내에 이 메시지를 확인해야 한다. 이러한 요구된 확인이 이 사전 정의된 시간 내에 그리고 또한 하나 이상의 의도된 상승 단계 이후에도 이루어지지 않으면, 차량 사용자(2)는 운전 작업을 인계 받아야 한다. 또한 차량 사용자(2)가 이 요청에 일정 시간 내에 응답하지 않으면 자율 주행 모드에서 차량(1)이 안전하게 정지된다.
운전자 관찰 카메라에 의해 기록된 영상 데이터에 근거하여 차량 사용자(2)의 졸음 이벤트가 검출되는 경우에도 동일하게 진행된다. 차량 사용자(2)가 몇 초(미세수면) 이상 동안 눈(7)을 감을 경우 졸음 이벤트가 발생한다.
차량 사용자(2)의 시선 변경 빈도를 산출하는 것 외에도, 운전자 관찰 카메라에 의해 기록된 이미지 데이터는 차량 사용자(2)가 인계 가능한 위치에 있는지, 즉 차량 사용자(2)가 차량(1)의 운전 작업을 인계 받을 수 있는 위치에 있는지 여부를 산출하기 위해 분석될 수 있다.
얼굴 인식을 근거로, 기록된 이미지 데이터에서 차량 사용자(2)의 머리(8)가 인식되고 머리(8)가 사전 정의된 유효 영역 내에 있는지 여부가 확인된다.
또한, 기록된 이미지 데이터와 관련하여 이미지 처리 방식에 근거하여 예컨대 차량 사용자(2)가 자신의 좌석에 있는 것처럼 가장하는 오용 사례를 피하기 위하여 예컨대 이미지, 인형 등을 통해 속이는 동작이 인식된다. 그래서 예컨대 차량 사용자(2)가 자신의 차량 좌석을 떠나 차량(1)의 뒷좌석 영역에 타는 것을 최대한 배제할 수 있다.
차량 사용자(2)가 자신의 차량 좌석에 있지 않거나 인계 가능한 위치에 있지 않다고 판단되는 경우 자율 주행 모드가 종료되고, 자율 주행 모드가 활성화되어 있지 않은 경우에는 활성화가 승인되지 않는다.
또한, DE 10 2015 001 686 B4에 기술된 바와 같이, 차량 사용자(2)의 행동을 산출하고 이것으로부터 차량 사용자의 반응성에 대한 결론을 도출하기 위해 차량 사용자(2)의 조작 동작이 기록되고 차량 사용자(2)의 머리(8) 움직임과 눈 깜빡임 비율이 기록되는 것을 제시할 수 있다.
도 5는 운전자 관찰 카메라에 의해 기록된 이미지 데이터를 사용하여 차량(1)의 자율 주행 모드에서 차량 사용자(2)의 반응성을 산출하기 위한 방법 시퀀스에 관한 개요를 도시한다.
제1 방법 단계(V1)에서, 차량 측에 있는 지도 데이터에 근거하여 및/또는 차량 측에 기록된 센서 데이터에 근거하여 차량(1) 바로 앞 주변에 사전 정의된 관련 객체(O)가 있음이 산출된다.
제2 방법 단계(V2)는 운전자 관찰 카메라의 이미지 데이터를 근거로 차량 사용자(2)의 시야 방향이 산출되도록 제시하며, 이때 제3 방법 단계(V3)에서 기록된 사전 정의된 관련 객체(O)가 분류되고 제4 방법 단계(V4)에서 시선-객체 매핑이 이루어지도록 제시한다. 특히, 관련 객체(O)가 교통 표지판(5)인지, 특히 표지판, 즉, 일반 표지판, 속도 정보가 있는 교통 표지판(5)이나 커브길에서 속도 정보가 있는 교통 표지판(5)인지 또는 전방 운전자인지 여부가 산출되도록 분류가 이루어진다. 전방 운전자의 경우, 다른 차량(3)이 차량(1)의 차선(F1)에서 주행하는지 여부가 구분된다.
차량 사용자(2)의 시선 방향에 근거하여 사전 정의된 관련 객체(O)가 차량 사용자(2)의 시야 내에 있는 것으로 산출될 수 있는 경우, 제5 방법 단계(V5)에서 차량 사용자(2)가 사전 정의된 관련 객체(O)와 관련된 속성을 포착했는지 여부, 차량 사용자(2)의 시선 행위에 근거하여 포착될 수 있는지 여부가 결정된다.
제6 방법 단계(V6)에서 불러온 차량 사용자(2)의 평소 시선 행위 데이터는 차량(1)의 메모리에 저장되어 있으며, 이때 제7 방법 단계(V7)에서 분류된 관련 객체(O)와 관련된 차량 사용자(2)의 평소 시선 행위가 산출된다.
제8 방법 단계(V8)에서, 자율 주행에서 차량 사용자(2)의 현재 시선 행위는 특히 차량(1)의 수동 운전 모드의 평소 시선 행위와 비교된다.
그 다음, 제9 방법 단계(V9)에서는 제10 방법 단계(V10)에서 목표 인식률 및 목표 인식 품질과 비교되는 인식률 및/또는 인식 품질이 평가된다.
제11 방법 단계(V11)는 사전 정의된 관련 객체(O)와 관련하여 인식 확인을 제공하며, 이때 확인이 이루어지지 않은 경우 차량 사용자(2)의 반응성이 없는 것으로 평가된다.

Claims (10)

  1. 운전자 관찰 카메라에 의해 기록된 영상 데이터를 기반으로 차량(1)의 자율 주행 모드에서 차량 사용자(2)의 반응성을 산출하는 방법으로서,
    - 차량 측에 있는 디지털 지도 데이터djl 차량 측에서 기록된 센서 데이터 중 적어도 하나를 이용하여 현재 차량 주변 환경의 적어도 하나 이상의 사전 정의된 관련 객체(O)가 차량 사용자(2)의 시야 범위에 있는지 산출되고,
    - 현재 차량 환경 주변에서 사전 정의된 관련 객체(O)가 하나 이상 검출되면 운전자 관찰 카메라로 기록된 이미지 데이터를 사용하여 차량 사용자(2)의 시선이 어느 정도의 시간 동안 또는 어느 정도의 빈도로 적어도 하나 이상의 사전 정의된 관련 객체(O)를 향하는지가 산출되며
    - 산출된 시간이 사전 정의된 최소 시간에 미달하는 경우 및 시선 변경 빈도가 산출된 최소 빈도에 미달하는 경우 중 적어도 하나의 경우에, 차량 사용자의 반응성(2)은 없는 것으로 평가되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 그러한 객체(O)가 차량(1)의 수동 운전 모드에서 사전 정의된 시간 동안 및/또는 빈도로 차량 사용자(2)의 시야에 있고 객체(O)가 차량 사용자(2)를 통한 차량 제어에서 반영될 경우 관련성이 있는 것으로 사전 정의되는 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 관련 객체(O)로서, 차량(1)의 전방, 측면, 후방 중 적어도 하나에 있는 적어도 한 대 이상의 다른 차량(3), 교통 표지(5), 교통 신호 시스템, 경고등, 차선 표시, 경계 표시 기둥, 가드 레일, 비콘 및/또는 교각은 차량 사용자(2)의 반응성 산출 시 객체(O)로서 지정 또는 고려되는 것을 특징으로 하는 방법.
  4. 제1항 또는 제2항에 있어서, 차량 사용자(2)의 시야와 관련하여 사전 정의된 객체(O)의 크기, 가시성, 상대 위치, 절대 위치 중 적어도 하나가 산출 또는 고려되는 것을 특징으로 하는 방법.
  5. 제1항 또는 제2항에 있어서, 차량 사용자(2)의 시선 방향이 시선 벡터(V)를 산출하기 위해 외삽되는 시선 벡터로서 산출되는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 차량 사용자(2)의 눈동자(6) 사이의 중간점이 시선 벡터(V)의 시작점(C)으로 사전 정의되는 것을 특징으로 하는 방법.
  7. 제1항 또는 제2항에 있어서, 사전 정의된 관련 객체(O) 주변의 영역이 이 객체의 형태와 크기 중 적어도 하나에 따라 정의되는 것을 특징으로 하는 방법.
  8. 제1항 또는 제2항에 있어서, 다수의 객체(O)가 검출된 경우, 객체(O)의 위치, 크기, 재료 속성 중 적어도 하나를 기반으로 사전 정의된 관련 객체(O)에 대한 가시성이 평가되는 것을 특징으로 하는 방법.
  9. 제1항 또는 제2항에 있어서, 시선 행위 분석에 기초하여 차량 사용자별로 인식률과 상황 인식 중 적어도 하나가 산출되는 것을 특징으로 하는 방법.
  10. 제1항 또는 제2항에 있어서, 차량 사용자(2)의 반응성이 없는 것으로 산출될 때, 차량 사용자(2)가 사전 정의된 시간 내에 확인해야 하는 적어도 하나의 메시지가 차량(1)에 출력되는 것을 특징으로 하는 방법.
KR1020227039864A 2020-05-19 2021-04-01 반응성 산출 방법 KR20230004634A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020003018.1A DE102020003018A1 (de) 2020-05-19 2020-05-19 Verfahren zur Ermittlung einer Reaktionsfähigkeit
DE102020003018.1 2020-05-19
PCT/EP2021/058735 WO2021233604A1 (de) 2020-05-19 2021-04-01 Verfahren zur ermittlung einer reaktionsfähigkeit

Publications (1)

Publication Number Publication Date
KR20230004634A true KR20230004634A (ko) 2023-01-06

Family

ID=75497897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227039864A KR20230004634A (ko) 2020-05-19 2021-04-01 반응성 산출 방법

Country Status (6)

Country Link
US (1) US20230242135A1 (ko)
JP (1) JP2023525895A (ko)
KR (1) KR20230004634A (ko)
CN (1) CN115667044A (ko)
DE (1) DE102020003018A1 (ko)
WO (1) WO2021233604A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230192100A1 (en) * 2021-12-22 2023-06-22 Arriver Software Llc Awareness checker for enhancing collaborative driving supervision
DE102022102002A1 (de) 2022-01-28 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Anpassung des Absicherungsverhaltens eines Fahrers eines Fahrzeugs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084367A1 (de) 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes
DE102015001686B4 (de) 2015-02-07 2017-03-16 Daimler Ag Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
DE102016011246A1 (de) 2016-09-17 2017-04-13 Daimler Ag Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
DE102017202194A1 (de) 2017-02-13 2018-08-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
CN110352037A (zh) * 2017-03-03 2019-10-18 三菱电机株式会社 作业适应性判定装置、作业适应性判定方法和作业适应性判定程序
US9904287B1 (en) * 2017-05-04 2018-02-27 Toyota Research Institute, Inc. Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle
DE102017214535A1 (de) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Durchführung einer Fahrerassistenzfunktion eines Fahrzeuges
US10528832B2 (en) 2018-04-17 2020-01-07 GM Global Technology Operations LLC Methods and systems for processing driver attention data
US10849543B2 (en) 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
DE102018217183B4 (de) * 2018-10-09 2024-06-06 Audi Ag Erlernen einer Lichtverteilung für einen Scheinwerfer

Also Published As

Publication number Publication date
WO2021233604A1 (de) 2021-11-25
JP2023525895A (ja) 2023-06-19
CN115667044A (zh) 2023-01-31
DE102020003018A1 (de) 2021-11-25
US20230242135A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6486640B2 (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
CN105197011B (zh) 车辆用驾驶员危险指数管理系统及其方法
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
EP1801730B1 (en) Method of detecting vehicle-operator state
WO2017104794A1 (ja) 視覚認知支援システムおよび視認対象物の検出システム
JP6480143B2 (ja) 運転特性診断装置、運転特性診断システム、運転特性診断方法
CN112141124A (zh) 用于车辆的辅助驾驶系统及其操作方法
US11130502B2 (en) Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle
EP1961622A1 (en) Safety-travel assistance device
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN106405835A (zh) 显示装置
JPH08178712A (ja) 漫然運転検出装置
WO2020145161A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
KR20230004634A (ko) 반응성 산출 방법
CN108621922A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP2017039373A (ja) 車両用映像表示システム
JP2017151694A (ja) 安全確認診断システム及び安全確認診断方法
US20230004154A1 (en) Method for remotely controlled driving of a motor vehicle comprising a teleoperator, computer program product, and teleoperation driving system
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
CN114872713A (zh) 一种驾驶员异常驾驶状态监测装置和方法
CN113631411B (zh) 显示控制装置、显示控制方法及记录介质
CN110383361A (zh) 用于在光信号设备处提醒驾驶员起动的方法和装置
JPH0796768A (ja) 前方注視度検知装置
CN109690653A (zh) 集中度判定装置、集中度判定方法和用于集中度判定的程序