KR20210064641A - 운전 준비도를 계산하고 유지하는 방법 - Google Patents

운전 준비도를 계산하고 유지하는 방법 Download PDF

Info

Publication number
KR20210064641A
KR20210064641A KR1020190153075A KR20190153075A KR20210064641A KR 20210064641 A KR20210064641 A KR 20210064641A KR 1020190153075 A KR1020190153075 A KR 1020190153075A KR 20190153075 A KR20190153075 A KR 20190153075A KR 20210064641 A KR20210064641 A KR 20210064641A
Authority
KR
South Korea
Prior art keywords
driver
driving
readiness
calculating
information
Prior art date
Application number
KR1020190153075A
Other languages
English (en)
Inventor
김우진
김현숙
윤대섭
이승준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190153075A priority Critical patent/KR20210064641A/ko
Publication of KR20210064641A publication Critical patent/KR20210064641A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/14Cruise control
    • G05D2201/0213

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 운전 준비도를 계산하는 방법은, 운전자의 고유 특성을 나타내는 운전자 특성 파라미터를 획득하는 단계; 운전자의 인지적 특성을 나타내는 정신적 파라미터를 획득하는 단계; 운전자의 행동 특성을 나타내는 물리적 파라미터를 획득하는 단계; 자율 주행 차량의 주변 환경 특성을 나타내는 환경적 파라미터를 획득하는 단계; 및 상기 획득된 파라미터들을 선형적 또는 비선형적으로 조합하여 자율 주행 차량에서의 운전자의 운전 준비도를 계산하는 단계를 포함한다.

Description

운전 준비도를 계산하고 유지하는 방법{METHOD FOR CALCULATING AND MAINTAINING DRIVER READINESS}
본 발명은 운전자의 운전 준비도(driver's readiness)를 계산하는 기술에 관한 것으로, 상세하게는 차량 내에서 수집할 수 있는 정보를 이용하여 운전자의 운전 준비도(driver's readiness)를 계산하는 기술에 관한 것이다.
자동차 사고의 90%가 운전자 과실로 나타나는 가운데, 자율주행자동차의 필요성이 대두되고 있다. 자율주행자동차는 자동화 정도에 따라 6단계(0~5단계, SAE J3016)로 나누어 설명되고 있으며, 레벨 2까지는 운전자에게 전방 주시 등 주행환경을 살펴볼 의무가 있으나, 레벨 3부터는 그러한 의무에서 제외된다.
하지만 레벨 4나 5와는 달리, 레벨 3에서는 자율주행시스템에서 원하는 경우, 운전자가 자동차의 제어권을 이양받아 수동 운전을 할 수 있는 준비(fallback-ready user)가 되어있어야 하며, 이와 관련하여 자율주행시 발생하는 운전자의 특성, 정신적 부하, 신체적 조건, 주변 교통 상황 등에 의해 발생하는 운전자의 운전 가능여부와 대처 방안에 관련된 세부적인 방법론의 개발이 필요하다.
이러한 자율주행자동차 제어권 전환 시 운전자의 운전 준비도를 측정하는 종래 기술로, 운전자 정보(행동정보, 생체신호 등)로부터 운전자의 NDRTs (non-driving related tasks)를 도출(태스크 추론)하고, 이에 기반하여 운전자의 의도 및 운전 준비도를 판별하는 방법이 제시된 바 있다.
상기 방법은 1) 대표적인 운전자의 NDRT를 설정(문자 보내기, 영화감상하기, 먹기/마시기, 대화하기)하고, 2) 센서로부터 측정되는 운전자의 행동정보 및 센서정보를 통해 운전자의 NDRT의 종류를 식별하여, 3) 식별된 NDRT에 대하여 사전에 정의된 VACP(visual, auditory, cognition, psychomotor) 채널 부하(workload)를 기반으로, 4) 운전자의 운전 준비도를 추정한다.
위 방법은 운전 준비도를 추정하기에 논리적으로 적합하지만, 그 논지가 대표 NDRT에서 출발하기 때문에, 운전자가 대표 NDRT에 속하지 못한 NDRT를 수행하거나, 특정 NDRT로 정의되지 못하는 행동을 하고 있는 경우, 이전 NDRT와 다음 NDRT의 변화하는 부분의 동작 등을 기반으로 운전 준비도를 추정하기 어렵다. 따라서, 특정 NDRT에 기반하지 않고, 운전자의 모든 행동을 포함하는 일반화된 메커니즘의 운전 준비도 계산 방법이 필요하다.
상기한 문제점을 해결하기 위한 본 발명의 목적은, 운전자의 모든 행동을 포함하는 일반화된 메커니즘에 대한 운전자의 운전 준비도를 계산하는 방법을 제공하는 데 있다.
본 발명의 다른 목적은 안전한 수동 운전 전환을 위하여 운전자의 운전 준비도를 일정 수준으로 유지하는 방법을 제공하는 데 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상기의 목적을 달성하기 위한 본 발명에 따른 운전 준비도를 계산하는 방법은, 운전자의 고유 특성을 나타내는 운전자 특성 파라미터를 획득하는 단계; 운전자의 인지적 특성을 나타내는 정신적 파라미터를 획득하는 단계; 운전자의 행동 특성을 나타내는 물리적 파라미터를 획득하는 단계; 자율 주행 차량의 주변 환경 특성을 나타내는 환경적 파라미터를 획득하는 단계; 및 상기 획득된 파라미터들을 선형적 또는 비선형적으로 조합하여 자율 주행 차량에서의 운전자의 운전 준비도를 계산하는 단계를 포함한다.
본 발명의 구성 및 방법에 따르면, 종래와 대비할 때, 첫째, 수동 운전 안전성에 대한 지표를 실시간으로 계산할 수 있다. 둘째, 운전자의 NDRT(non-driving related task)를 특정하지 않고도 운전 준비도를 산출할 수 있다. 셋째, 운전 준비도 산출에 운전자의 정신적 파라미터, 주행 환경 파라미터 및 운전자 개인 특성을 반영함으로써, 운전자의 모든 행동을 포함하는 일반화된 메커니즘에 대해 운전자의 운전 준비도를 계산할 수 있다.
도 1은 본 발명의 실시 예에 따른 운전 준비도의 계산에 필요한 파라미터의 카테고리를 트리 구조로 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 자율주행 제어권 전환 상황에서 안전성에 큰 영향을 끼치는 운전 준비도를 일정 수준으로 유지하기 위해 자율주행 중에 운전자에게 제공되는 표시 정보를 나타내는 도면.
도 3는 본 발명의 실시 예에 따른 운전 준비도의 유지 및 계산을 위한 장치의 구성도.
도 4는 본 발명의 실시 예에 따른 운전 준비도 계산 방법을 나타내는 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 이하의 도면에서 각 구성은 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면 상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는" 는 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다.
본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
본 발명은 차량 내에서 수집할 수 있는 정보를 이용하여 운전자의 운전 준비도(driver's readiness)를 계산하고, 이를 일정 수준으로 유지시켜주는 효율적인 방법을 제공한다.
이러한 본 발명은 자율주행이 가능한 차량에서 자율주행모드로부터 수동 운전 모드로 전환 시 운전자가 갑작스레 시작하는 수동 운전에 준비가 얼마나 되어 있는지, 그 척도를 측정하고, 안전하게 수동 운전을 시작할 수 있도록 미리 준비시켜줄 수 있다는 점에서 그 이용가치가 크다 할 수 있다.
본 발명에서 기술하는 운전자의 NDRT(non-driving related task)를 특정하지 않고 일반적인 메커니즘으로 운전 준비도를 계산하기 위해서는, 우선, 운전 준비도의 계산에 필요한 파라미터 도출이 필요하다.
도 1은 본 발명의 실시 예에 따른 운전 준비도의 계산에 필요한 파라미터의 카테고리를 트리 구조로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 운전 준비도의 계산에 필요한 파라미터는 운전자 특성 파라미터(driver's characteristics parameter)(10), 정신적 파라미터(mental parameter)(20), 물리적 파라미터(physical parameter)(30) 및 환경적 파라미터(environment parameter)(40)를 포함하며, 이들은 본 발명에 따른 운전 준비도의 계산에 필요한 파라미터 도출을 위한 상위 카테고리를 형성한다.
운전자 특성 파라미터( Driver's Characteristics, DC)
운전자 특성 파라미터(DC)(10)은 운전자 개개인 고유의 특성을 나타내는 지표로, 운전준비도 산정에 기준을 제시한다. 운전자 개개인 고유의 특성은, 예를 들면, 나이(11), 성별(12) 등을 예로 들 수 있으며, 그 밖에, 신장, 체중, 직업, 학력, 운전경력, 운전성향 등을 더 예로 들 수 있다.
정신적 파라미터(Mental Parameter, MP )(20)
정신적 파라미터(MP)(20)로 운전자의 인지적 요인(또는 인지적 특성)을 의미한다. 운전자의 인지적 요인은 관찰이 힘든 편에 속하지만, 운전 안전성과 퍼포먼스에 많은 영향을 끼친다. 이러한 정신적 파라미터(20)로 고려할 수 있는 요인으로, 예를 들면, 운전 부하(workload)(21), 상황 인지(situation awareness)(22), 주의(attention)(23) 등이 있을 수 있다.
물리적 파라미터(Physical Parameter, PP)(30)
물리적 파라미터(PP)(30)로, 운전자의 행동 등 겉으로 보이는 관측 가능한 요인들(또는 운전자의 행동 특성)을 의미하며, 운전 안전성과 퍼포먼스에 미치는 영향이 매우 크다. 이러한 물리적 파라미터(30)로 고려할 수 있는 요인으로, 예를 들면, 운전자 활성도(activeness)(31), 손 위치(hand position)(32) 등을 예로 들 수 있으며, 그 밖에 머리 방향(head rotation)을 더 예로 들 수 있다.
환경적 파라미터(Environment Parameter, EP )(40)
환경적 파라미터(EP)(40)로, 제어권을 전환하는 행위 자체보다도, 제어권 전환이 일어난 직후, 수동 운전의 안정도에 큰 영향을 미치는 것으로, 이 또한 운전준비도 계산에 꼭 필요한 요인이다. 이러한 환경적 파라미터(40)로 고려할 수 있는 요인으로, 예를 들면, 앞차와의 거리(lead distance)(41), 충돌 예상 시간(time to collision)(42) 등이 있을 수 있으며, 날씨, 계절, 낮/밤, 차량 속도, 교통상황(주변 차량 정보) 등을 더 예로 들 수 있다.
이러한 파라미터들을 이용하여 운전 준비도를 계산하는 방법은 아래의 수학식 1로 나타낼 수 있다.
Figure pat00001
여기서, DR은 운전 준비도를 나타내며 0~1의 값을 가지고, 1에 가까울 수록 수동 운전에 대한 준비가 잘 되어 있음을 나타낸다.
Figure pat00002
는 운전자 특성(DC)에 기반한 운전 준비도로 0~1의 값을 가지며, 1에 가까울수록 수동 운전에 대한 준비가 잘 되어 있을 확률이 높다.
Figure pat00003
는 정신적 파라미터(MP)에 기반한 운전 준비도로 0~1의 값을 가지며, 1에 가까울수록 수동 운전에 대한 준비가 잘 되어있을 확률이 높다.
마찬가지로
Figure pat00004
Figure pat00005
는 각각 물리적 파라미터(PP)와 환경적 파라미터(EP)에 기인한 운전 준비도로 0~1의 값을 가지고 1에 가까울수록 수동 운전에 대한 준비가 잘 되어있을 확률이 높다.
그리고, α, β, γ, δ는 가중치 계수이다.
이하, 수학식 2부터 수학식 5는 <수학식 1>에서 기술된 운전 준비도 계산에 필요한
Figure pat00006
,
Figure pat00007
,
Figure pat00008
,
Figure pat00009
을 각각 구하는 방법을 보여준다.
Figure pat00010
상기 수학식 2에서
Figure pat00011
는 나이(AGE), 성별(SEX), 운전경력(EXP), 운전성향(TEND) 등에 의하여 결정이 된다, 이러한 요소들은 자율주행차량이 표시화면을 통해 제공하는 설문 또는 인터뷰 형식의 질문에 사용자가 답변을 기입하는 방식으로 영구적으로 또는 주기적으로 업데이트되어 저장될 수 있다.
Figure pat00012
상기 수학식 3에서
Figure pat00013
는 운전 부하(workload, WL), 상황 인지(situation awareness, SA), 주의(attention, ATT) 등에 의하여 결정된다. 이러한 요소들은 심전도, 뇌전도 등 생체 신호와 eye fixation, pupil size, 눈 깜빡임 등 eyetracker 정보를 통하여 측정이 가능하다.
Figure pat00014
상기 수학식 4에서,
Figure pat00015
는 머리 방향(head rotation, HR), 손 위치(hand position, HP), 운전자 활성도(activeness, ACT) 등에 의하여 결정이 된다. 이러한 요소들은 카메라, depth 카메라, 모션 센서, 터치센서, 근전도 센서 등을 통하여 측정이 가능하다.
Figure pat00016
상기 수학식 5에서,
Figure pat00017
앞차와의 거리(lead distance, LEAD), 충돌 예상 시간(TTC: time-to-collision), 날씨(WEA), 낮/밤(DAY), 차량 속도(SPEED), 교통상황(주변 차량 정보, TRAFFIC) 등에 의해 결정된다. 이러한 요소들은 일반적으로 자율주행차량에 탑재되어 있는 레이더, 라이다, V2X 정보와 차량으로부터 받을 수 있는 정보, 조도 센서 등을 통하여 측정이 가능하다.
상기 수학식 1 내지 5는 요인들의 선형 조합(linear combination)으로 표현되어 있으나, 본 발명은 이에 제한적이지 않으며, 정확도를 높이기 위해 비선형 수식(또는 비선형 조합 방식)으로 응용할 수 있다.
도 2는 본 발명의 실시 예에 따른 자율주행 제어권 전환 상황에서 안전성에 큰 영향을 끼치는 운전 준비도를 일정 수준으로 유지하기 위해 자율주행 중에 운전자에게 제공되는 표시 정보를 나타내는 도면이다.
본 발명의 실시 예에 따른 운전 준비도를 유지하는 방법은 자율주행 차량의 표시화면을 통해, 도 2에 도시된 바와 같은 표시 정보를 제공하는 것으로 달성될 수 있다.
본 발명의 실시 예에 따른 운전 준비도를 유지하기 위한 표시 정보는, 도 2에 도시된 바와 같이, 운전 모드(또는 주행 모드) 표시 정보(51), 현재 속도 표시 정보(52), 제어권 전환과 관련된 시간 표시 정보(53), 제어권 전환과 관련된 거리 표시 정보(54), 이벤트 알림 표시 정보, 주변 환경 표시 정보(56) 등을 포함한다.
운전 모드 표시 정보(51)는 현재의 운전 모드가 자율 주행인지 수동 주행인지를 나타내는 표시 정보로서, 운전자가 현재의 운전 모드가 자율 주행인지 수동 주행인지를 쉽게 인지할 수 있게 하는 다양한 아이콘 형태의 그래픽 정보(51a)와 텍스트 정보(51b)를 포함한다.
현재 속도 표시 정보(52)는 자율 주행 차량의 현재 속도를 인지할 수 있는 그래픽 정보와 숫자 정보를 포함한다.
제어권 전환과 관련된 시간 표시 정보(53)는 현재 시간으로부터 제어권 전환이 필요한 시간까지 남은 시간을 나타내는 텍스트/숫자 정보(53)를 포함한다.
제어권 전환과 관련된 거리 표시 정보(54)는 자율 주행 차량의 현재 위치로부터 제어권 전환이 필요한 위치까지의 남은 거리를 나타내는 텍스트/숫자 정보(54)를 포함한다.
추가로, 제어권 전환과 관련된 시간 표시 정보(53) 및 거리 표시 정보(54)를 운전자가 시각적으로 인지할 수 있는 막대 그래프 형태의 그래픽 정보(55)가 더 표시될 수 있다.
주변 환경 표시 정보(56)는 자율 주행 차량을 중심으로 주변에서 주행 중인 주변 차량을 포인트 형태로 나타내는 그래픽 정보를 포함한다.
이처럼, 자율주행 중에도 운전 준비도에 영향을 미치는 몇 가지 요인들의 정보를 사전에 제작된 다양한 표시 형태로 제작하여, 표시화면을 통해 운전자에게 실시간으로 제공함으로써, 운전자가 수동 운전으로 전환을 요청 받았을 시, 즉시 운전을 수행할 수 있도록 함과 동시에 이러한 표시 정보를 실시간으로 확인함으로써, 운전 준비도를 일정 수준으로 유지할 수 있게 된다.
도 3는 본 발명의 실시 예에 따른 운전 준비도의 유지 및 계산을 위한 장치의 구성도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 운전 준비도의 유지 및 계산을 위한 장치(100)는 컴퓨팅 장치일 수 있으며, 이러한 컴퓨팅 장치는 자율주행 차량 내에 탑재될 수 있다.
특별히 한정하는 것은 아니지만, 운전 준비도의 유지 및 계산을 위한 장치(100)는, 예를 들면, ECU(101), 카메라(102), 스마트 밴드(103), 조도 센서(104), 움직임 센서(105), 근전도 센서(106), 통신 모듈(107), 얼굴인식모듈(108), 레이더/라이다 센서(109), 생체 신호 센서(110), 표시 모듈(111), 시스템 메모리(112), 저장매체(113) 등을 포함하도록 구성될 수 있다.
ECU(101)는 장치(100) 내의 구성들의 전반적인 동작 및 제어를 관리하는 처리 장치(processing unit)일 수 있다. 특히, ECU(101)는 전술한 수학식 1 내지 5가 프로그래밍된 알고리즘을 실행하고, 연산하는 것일 수 있다. 이러한 ECU(101)는 하나 이상의 범용 마이크로프로세서들, 디지털 신호 프로세서들(DSP들), 하드웨어 코어들, ASIC들(application specific integrated circuits), FPGA들(field programmable gate arrays), 또는 이들의 임의의 결합에 의해서 구현될 수 있다.
카메라(102)는 운전자를 촬영하여 획득된 운전자 영상으로부터, 전술한 수학식 4의
Figure pat00018
계산에 필요한 요소들, 예를 들면, 머리 방향(head rotation, HR), 손 위치(hand position, HP), 운전자 활성도(activeness, ACT)을 획득하는데 이용될 수 있다. 카메라(102)는, 컬러 카메라, 적외선 카메라, 스테레오 카메라, 깊이 카메라 등일 수 있으며, 이에 제한되지 않고, 운전자의 전신 또는 부분을 촬영할 수 있는 수단이라면, 그 종류에 제한이 없다.
스마트 밴드(103)는 운전자가 착용하는 구성으로, 운전자의 생체 정보와 관련된 각종 정보를 획득할 수 있다.
조도 센서(104)는 전술한 수학식 5의
Figure pat00019
의 계산에 필요한 요소들, 예를 들면, 낮과 밤을 구분하기 위한 정보를 획득하는데 이용될 수 있다.
움직임 센서(105)는 운전자의 움직임을 감지하여, 전술한 수학식 4의
Figure pat00020
의 계산에 필요한 손 위치 손 위치(hand position, HP), 이러한 손 위치의 변동량에 따른 운전자 활성도(activeness, ACT)를 획득하는데 이용될 수 있다.
근전도 센서(106)는 운전자의 근전도를 감지하여, 전술한 수학식 4의
Figure pat00021
의 계산에 필요한 운전자 활성도(activeness, ACT)를 획득하는데 이용될 수 있다.
통신 모듈(107)은 주변 차량과는 물론 주변 기지국과의 V2X 통신을 수행하여, 전술한 수학식 5의
Figure pat00022
의 계산에 필요한 앞차와의 거리(lead distance), 교통 상황 정보(주변 차량 정보) 등을 획득하는데 이용될 수 있다.
얼굴인식모듈(108)은 카메라(102)를 통해 획득한 운전자 영상(운전자 얼굴 영상, 운전자 얼굴 영상 내의 눈동자 영상)을 분석하고, 그 분석 결과로부터 획득된 eye fixation, pupil size, 눈 깜빡임 등 eyetracker 정보 등을 이용하여 전술한 수학식 3의
Figure pat00023
의 계산에 필요한 운전 부하(workload, WL), 상황 인지(situation awareness, SA), 주의(attention, ATT) 등을 획득하는데 이용될 수 있다.
레이더/라이다 센서(109)는 주변 차량의 감지하는 센서로서, 전술한 수학식 5의
Figure pat00024
의 계산에 필요한 앞차와의 거리(lead distance, LEAD), 충돌예상시간(TTC: time-to-collision) 등을 획득하는데 이용될 수 있다.
생체 신호 센서(110)는 심전도, 뇌전도 등 생체 신호를 측정하는 센서로서, 전술한 수학식 3의
Figure pat00025
의 계산에 필요한 운전 부하(workload, WL), 상황 인지(situation awareness, SA), 주의(attention, ATT) 등을 획득하는데 이용될 수 있다.
표시 모듈(111)은 도 2에 도시된 바와 같은 운전 준비도를 유지하기 위한 다양한 표시 정보를 표시하는 데 이용될 수 있다.
시스템 메모리(112)는 ECU(101)에 의해 실행되는 알고리즘의 실행 영역을 제공하는데 이용될 수 있으며, 휘발성 및 비휘발성 메모리를 포함한다.
저장 매체(113)는 ECU(101)의 처리 과정에서 생성된 중간 데이터 및 결과 데이터 등을 일시적으로 또는 영구적으로 저장하고, ECU(101)에 의해 실행되는 다양한 알고리즘, 얼굴 인식 알고리즘, 객체(손, 얼굴, 눈동자) 인식 알고리즘, 운전자 영상에서 객체(손, 얼굴, 눈동자) 인식을 위해 배경을 제거하는 배경 제거 알고리즘, 수학식 1 내지 5가 프로그래밍된 알고리즘, 이러한 알고리즘들의 실행환경을 제공하는 운영 체제 등을 저장하는데 이용될 수 있다.
또한, 저장 매체(113)는 전술한 수학식 2의
Figure pat00026
의 계산에 필요한 나이(AGE), 성별(SEX), 운전경력(EXP), 운전성향(TEND)과 관련된 데이터를 일시적 또는 영구적으로 저장하고, 이의 업데이트된 데이터를 일시적 또는 영구적으로 저장하는데 이용될 수 있다.
도 4는 본 발명의 실시 예에 따른 운전 준비도 계산 방법을 나타내는 흐름도이다.
도 4를 참조하면, 먼저, 단계 S410에서, 운전자 특성 파라미터를 획득하는 과정이 수행된다.
이어, 단계 S410에서, 운전자의 고유 특성을 나타내는 운전자 특성 파라미터를 획득하는 과정이 수행된다. 운전자 특성 파라미터는 저장 매체(113)에 사전에 저장되거나 주기적으로 업데이트된 데이터로서, 나이(AGE), 성별(SEX), 운전경력(EXP), 운전성향(TEND)과 관련된 퍄라미터일 수 있다. 여기서, 운전성향(TEND)는 교통 위반 횟수, ECU(101)가 속도 센서(도 3에서는 도시하지 않음)로부터 일정 기간 동안 수집한 속도를 산출하여 계산한 속도 통계치 등일 수 있다. 이러한 운전자 특성 파라미터는, 전술한 수학식 2에 의해 획득될 수 있다.
이어, 단계 S420에서, 운전자의 인지적 특성을 나타내는 정신적 파라미터를 획득하는 과정이 수행된다. 정신적 파라미터는 운전 부하(workload), 상황 인지(situation awareness), 주의(attention) 등에 의하여 결정이 된다. 이러한 요소들은 심전도, 뇌전도 등 생체 신호와 eye fixation, pupil size, 눈 깜빡임 등 eyetracker 정보를 통하여 측정이 가능하여, 전술한 수학식 3에 의해 획득될 수 있다.
이어, 단계 S430에서, 운전자의 행동 특성을 나타내는 물리적 파라미터를 획득하는 과정이 수행된다. 물리적 파라미터는 머리 방향(head rotation), 손 위치(hand position), 운전자 활성도(activeness) 등에 의하여 결정될 수 있으며, 전술한 수학식 4에 의해 획득될 수 있다.
이어, 단계 S440에서, 자율 주행 차량의 주변 환경 특성을 나타내는 환경적 파라미터를 획득하는 과정이 수행된다. 환경적 파라미터는 앞차와의 거리(lead distance), 충돌예상시간(TTC: time-to-collision), 날씨, 낮/밤, 차량 속도, 교통상황(주변 차량 정보) 등에 의해 결정될 수 있으며, 전술한 수학식 5에 의해 획득될 수 있다.
이어, 단계 S450에서, 상기 획득된 파라미터들을 선형적 또는 비선형적으로 조합하여 자율 주행 차량에서의 운전자의 운전 준비도를 계산하는 과정이 수행된다.
본 실시 예에 따른 운전 준비도 계산 방법에서는 단계 S410~S440이 순차적으로 수행되는 것으로 기술하고 있으나, 병렬적으로 동시에 수행될 수 있다.
이제까지 본 발명을 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (1)

  1. 운전자의 고유 특성을 나타내는 운전자 특성 파라미터를 획득하는 단계;
    운전자의 인지적 특성을 나타내는 정신적 파라미터를 획득하는 단계;
    운전자의 행동 특성을 나타내는 물리적 파라미터를 획득하는 단계;
    자율 주행 차량의 주변 환경 특성을 나타내는 환경적 파라미터를 획득하는 단계; 및
    상기 획득된 파라미터들을 선형적 또는 비선형적으로 조합하여 자율 주행 차량에서의 운전자의 운전 준비도를 계산하는 단계
    를 포함하는 운전 준비도를 계산하는 방법.
KR1020190153075A 2019-11-26 2019-11-26 운전 준비도를 계산하고 유지하는 방법 KR20210064641A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153075A KR20210064641A (ko) 2019-11-26 2019-11-26 운전 준비도를 계산하고 유지하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153075A KR20210064641A (ko) 2019-11-26 2019-11-26 운전 준비도를 계산하고 유지하는 방법

Publications (1)

Publication Number Publication Date
KR20210064641A true KR20210064641A (ko) 2021-06-03

Family

ID=76396835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153075A KR20210064641A (ko) 2019-11-26 2019-11-26 운전 준비도를 계산하고 유지하는 방법

Country Status (1)

Country Link
KR (1) KR20210064641A (ko)

Similar Documents

Publication Publication Date Title
EP3465532B1 (en) Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
Chen et al. Detecting driving stress in physiological signals based on multimodal feature analysis and kernel classifiers
US20220095975A1 (en) Detection of cognitive state of a driver
CN110648075A (zh) 驾驶安全评估方法及装置
US11798297B2 (en) Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
CN115179960B (zh) 一种多源数据采集人车状态综合监测系统及方法
Sharma et al. Drowsiness warning system using artificial intelligence
CN109716411A (zh) 用以监测驾驶员的活动水平的方法和设备
Kasneci et al. Aggregating physiological and eye tracking signals to predict perception in the absence of ground truth
Kutila et al. Driver cognitive distraction detection: Feature estimation and implementation
JP2022530481A (ja) 複数の候補からドライバーを選択する提案システム
Motamedi et al. Different level automation technology acceptance: older adult driver opinion
CN118097636A (zh) 一种基于人工智能的自动检测司机疲劳度的图像视觉方法与系统
Zhou et al. An evaluation method for visual search stability in urban tunnel entrance and exit sections based on markov chain
US20210323559A1 (en) Data processing device, human-machine interface system including the device, vehicle including the system, method for evaluating user discomfort, and computer-readable medium for carrying out the method
CN116798189A (zh) 一种状态的检测方法、装置及存储介质
KR20210064641A (ko) 운전 준비도를 계산하고 유지하는 방법
Rusmin et al. Design and implementation of driver drowsiness detection system on digitalized driver system
Katrakazas et al. D3. 2 Toolbox of recommended data collection tools and monitoring methods and a conceptual definition of the Safety Tolerance Zone
Rakotonirainy et al. Context-aware driving behaviour model
Fasanmade et al. Context-Aware Quantitative Risk Assessment Machine Learning Model for Drivers Distraction
EP4332886A1 (en) Electronic device, method for controlling electronic device, and program
JP7369776B2 (ja) 運行インシデント画像表示システム、方法及びプログラム
Braunagel Ensuring the take-over readiness of the driver based on the gaze behavior in conditionally automated driving scenarios
van Gent et al. Towards real-time, nonintrusive estimation of driver workload in a simulated environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal