KR20200068047A - 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 - Google Patents

이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR20200068047A
KR20200068047A KR1020180147304A KR20180147304A KR20200068047A KR 20200068047 A KR20200068047 A KR 20200068047A KR 1020180147304 A KR1020180147304 A KR 1020180147304A KR 20180147304 A KR20180147304 A KR 20180147304A KR 20200068047 A KR20200068047 A KR 20200068047A
Authority
KR
South Korea
Prior art keywords
information
driver
sensory
determining
active
Prior art date
Application number
KR1020180147304A
Other languages
English (en)
Other versions
KR102322863B1 (ko
Inventor
김정숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180147304A priority Critical patent/KR102322863B1/ko
Publication of KR20200068047A publication Critical patent/KR20200068047A/ko
Application granted granted Critical
Publication of KR102322863B1 publication Critical patent/KR102322863B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이용자의 현재 수행작업에 기반하여 정보를 제공하는 정보 제공 장치 및 방법을 제공한다. 이용자의 적어도 하나의 활성 감각에 기반하여 정보를 제공하는 데 사용할 적어도 하나의 감각 채널을 결정한다. 이에 따라, 이용자의 반응 시간을 개선한다.

Description

이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING INFORMATION BASED ON A CURRENT TASK OF A USER}
본 발명은 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법에 관한 것으로, 상세하게는 자율 주행 차량의 운전자 등의 이용자가 잘 인지할 수 있는 방식으로 정보를 제공하는 HMI(Human Machin Interface) 장치 및 방법에 관한 것이다.
SAE(Society of Automotive Engineers) J3016에 따르면 자율 주행 시스템(ADS: Automatic Driving System)은 운전자의 역할에 따라 완전 수동 운전인 레벨 0에서 완전 자율 주행인 레벨 5까지 5단계로 구분된다. 이 때, 운전자와 ADS가 차량의 제어를 교대로 수행하는 레벨인 레벨 2(부분적 자율 주행)와 레벨 3(조건부 자율 주행) ADS에서, 운전자와 ADS 간의 안전한 차량 제어권 전환이 중요하다. 만약 실패할 경우 사고로 이어지기 때문이다.
자율 주행 중에 운전자는 운전이 아닌 다른 작업(NDRT: Non-Driving Related Task)을 수행할 수 있다. 이에 따라, 운전자에서 ADS로의 제어권 전환보다 ADS에서 운전이 아닌 다른 작업을 수행 중인 운전자로의 제어권 전환이 더욱 문제가 될 수 있다. 이는 운전자가 ADS로부터 발생하는 제어권 전환 요청(TOR: Take Over Request)을 인지하고 반응하는데 시간이 필요하고 운전자가 제어권을 획득한 이후에도 안정적으로 운전할 수 있을 때까지 시간이 필요하기 때문이다.
UNECE(the United Nations Economic Commission for Europe) ACSF(Automatically Commanded Steering Function)에서는 ADS가 운전자로 차량의 제어권을 이양하려고 할 경우, TOR 발생 이후 4초 동안 ADS는 차량의 횡방향 제어를 유지해야 한다고 권고한다. 운전자는 4초 내에 TOR을 인지하고 차량 제어를 시작해야 하지만 경우에 따라 4초는 충분하지 못할 수 있다.
예컨대, 자율주행 중에 운전자는 음악감상, 경치감상, 대화, 먹기, 화장하기, 잠자기 등을 할 수 있는데, 이 경우 운전에 대한 민감도가 떨어져서 ADS로부터 긴급한 요청(예를 들어 TOR 등)이 발생할 경우 4초의 주어진 임계시간 내에 해당 정보를 인지하고 반응하기 어려울 수 있다. 이러한 반응 지연은 연령, 운전자가 수행 중인 NDRT의 종류, NDRT몰입도 등에 따라 다르다.
따라서, 어떤 상황에서도 이용자에게 제어권 전환 요청과 같은 긴급하거나 중요한 정보를 효과적으로 반응 지연을 최소화하는 방식으로 제공할 수 있는 기술이 필요하다.
전술한 문제를 해결하기 위하여, 본 발명은 이용자의 현재 수행작업에 기반하여 정보를 제공하는 장치 및 방법을 제공하고자 한다.
또한, 본 발명은 이용자의 주의 집중도가 높은 활성 감각을 통하여 정보를 제공하는 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
본 발명에 따른 정보 제공 장치는, 자율 주행 차량의 운전자 상태 정보를 획득하는 인식부, 상기 운전자 상태 정보에 기반하여 운전자의 현재 수행작업을 결정하는 수행작업 결정부 및 상기 현재 수행작업에 기반하여 적어도 하나의 감각 채널을 결정하고 상기 적어도 하나의 감각 채널을 통해 상기 운전자에게 상기 자율 주행 관련 정보를 제공하는 정보 제공부를 포함한다.
본 발명에 따른 정보 제공 방법은 자율 주행 차량의 운전자 상태 정보에 기반하여 운전자의 현재 수행작업을 결정하는 단계, 상기 현재 수행작업에 따라 상기 운전자의 적어도 하나의 활성 감각을 결정하는 단계 및 상기 적어도 하나의 활성 감각에 기반하여 자율 주행 관련 정보를 제공할 적어도 하나의 감각 채널을 결정하는 단계를 포함한다.
또한, 본 발명에 따라 정보를 제공받을 이용자의 현재 수행작업에 따라 상기 이용자의 적어도 하나의 활성 감각을 결정하는 단계, 상기 적어도 하나의 활성 감각에 기반하여 정보를 제공하는 데 사용할 적어도 하나의 감각 채널을 결정하는 단계; 및 상기 적어도 하나의 감각 채널을 통하여 상기 이용자에게 정보를 제공하는 단계를 포함하는 정보 제공 방법을 제공한다.
본 발명에 의하면, 정보 이용자의 현재 수행작업에 따라 활성화된 감각을 통하여 정보를 제공할 수 있다.
또한, 현재 이용자의 주의 점유 대상을 판별하여 이를 통해 정보를 효과적으로 신속하게 제공할 수 있다.
종국적으로 본 발명은 이용자의 반응 지연을 감소 또는 최소화하여 정보를 전달할 수 있는 정보 제공 장치 및 방법을 제공한다.
도 1은 본 발명의 일 실시예에 따른 정보 제공 인터페이스 시스템(100)의 구성도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 장치(120)를 도시한 블록도이다.
도 3은 본 발명의 일 예에 따른 수행작업 결정 과정을 도시한 순서도이다.
도 4는 본 발명의 일 예에 따른 감각 채널 결정 과정을 도시한 순서도이다.
도 5는 본 발명의 일 예에 따른 활성 감각 모델을 보여주는 도표이다.
도 6은 본 발명의 일 실시예에 따른 정보 제공 방법을 도시한 순서도이다.
이하, 첨부 도면을 참조하며 바람직한 각 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하되, 이해의 증진과 설명의 편의를 위하여 본 발명의 착상에 대하여 개략적으로 먼저 설명한다.
인간이 특정 작업에 주의를 기울이고 몰입하게 되면 해당 작업을 수행하는데 필요한 감각 기관의 민감도는 높아지는 반면 사용하지 않는(비활성화된) 감각 기관의 민감도는 떨어지는 특성을 보인다. 예컨대, 집중해서 책을 읽는 사람에게 이야기 할 경우 이야기 내용을 잘 인지 하지 못하는 경우가 예이다. 집중하여 독서를 하는 경우의 인간은 시각이 활성화 되는 한편 그 외의 청각이나 촉각, 후각은 상대적으로 비활성화된다. 한편, 인간의 주의력은 주변의 여러 대상들 중에 현재 사용하고 있거나 사용과 연관된 대상에 집중되는 경향이 크다.
따라서 정보의 전달은 현재 수행작업에 따라, 그 상황 또는 순간에, 활성화된 감각에 대응하는 감각 채널을 통해 주의를 점유하는 대상을 이용하여 수행되는 것이 효과적이다.
결과적으로, 현재 수행작업에 대한 활성화된 감각, 주의 집중도가 높은 감각 채널 및/또는 주의 점유 대상을 결정하면, 이를 통하여 정보를 제공할 수 있고 따라서 인간이 어떠한 수행작업을 하더라도, 즉 어떠한 동작 또는 행위를 하거나 상태에 있더라도 효과적으로 정보를 전달할 수 있다. 이에 따라 정보 제공에 대응하는 이용자의 반응 지연이 최소화될 수 있다.
본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 정보 제공 인터페이스 시스템(100)의 구성도를 보여준다.
본 발명의 일 실시예에 따른 정보 제공 장치(120)는 이용자(110)의 상태 정보를 인식하고, 인식된 이용자(110)의 상태 정보에 따라 이용자(110)의 현재 수행작업을 결정하고, 현재 수행작업을 분석한 결과에 따라 이용자(110)에게 정보를 전달하기에 적합한 방식을 결정하고, 해당 방식을 이용하여 이용자(110)에게 전달이 필요한 정보를 제공한다. 일 예에서, 이용자에게(110)에게 정보를 전달하기에 적합한 방식을 결정하는 것은, 정보를 전달하는 데 사용할 디바이스(130) 및 정보를 전달하는 데 사용할 감각 채널 중 적어도 하나를 결정하는 것에 대응할 수 있다.
구체적으로 살펴보면, 본 발명의 일 실시예에 따른 정보 제공 장치(120)는 이용자(110)의 상태를 인식하고, 이용자(110)의 현재 수행작업에 기초하여 이용자(110)에게 적합한 방식으로 이용자(110)에게 전달이 필요한 정보를 제공한다.
예를 들어, 이용자(110)가 휴대형 단말기(130)를 이용하여 전자책 읽기 작업을 수행 중인 경우, 정보 제공 장치(110)는 이용자(110)의 주의를 점유하고 있는 대상인 휴대형 단말기(130)를 이용하여 전달이 필요한 정보를 제공할 수 있다. 즉, 정보 제공 장치(120)는 휴대형 단말기(130)의 화면에 팝업을 띄워서 전달이 필요한 정보를 시각적으로 제공할 수 있다. 일 예에서, 정보 제공 장치(110)는 휴대형 단말기(130)의 스피커를 이용하여 전달이 필요한 정보를 청각적으로 제공할 수 있다.
일 예에서, 이용자(110)는 자율 주행 차량의 운전자 또는 탑승자일 수 있다.
정보 제공 장치(120)는 이용자(110)가 인지할 필요가 있는 정보를 이용자(110)에게 제공할 수 있으며, 일 예로서, 정보 제공 장치(120)는 자율 주행 차량의 운전자(110)에게 자율 주행 관련 정보를 제공할 수 있다. 여기서 자율 주행 관련 정보는 제어권 전환 요청(TOR)을 포함할 수 있다.
일 예에서, 정보 제공 장치(120)는 자율 주행 차량으로부터 운전자(110)에게 자율 주행 관련 정보를 전달하는 HMI 장치를 포함한다.
정보를 전달하는 데 사용할 디바이스(130)는 이용자(110)에게 시각, 청각, 후각 및 촉각을 포함한 감각 자극을 전달할 수 있는 디바이스를 포함하며, 예컨대 차량 장착형 디바이스 또는 휴대형 디바이스일 수 있다.
이하에서, 도 2를 참조하여 자율 주행 차량의 운전자에게 자율 주행 관련 정보를 제공하는 측면에 주안점을 두어, 정보 제공 장치(120)의 예시적인 상세 구성에 대하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 장치(120)를 도시한 블록도이다.
정보 제공 장치(120)는 인식부(210)를 포함한다.
인식부(210)는 도 3을 참조하여 운전자(110)의 현재 상태 정보를 수집하여 운전자(110)의 상태를 인식(310)한다.
운전자(110)의 현재 상태 정보는 영상, 음성, 및 생체 신호를 포함할 수 있다. 예를 들어, 현재 상태 정보는 차량 및 운전자(110)의 영상 정보, 차량 내부의 소리 정보, 운전자(110)의 음성 정보, 및 운전자(110)의 생체 신호를 포함할 수 있다.
인식부(210)는 생체 신호 수집부, 휴대형 장치 정보 수집부, 차량 장치 정보 수집부, 영상 수집부 및 음성 수집부를 포함할 수 있다. 예를 들어, 인식부(210)는 운전자가 휴대하거나 위치를 옮겨서 사용할 수 있는 스마트폰, 스마트워치, 노트북 등의 휴대형 HMI(Human Machine Interface) 장치와 차량 센터페시아에 장착된 오디오비디오시스템, 전방 윈드쉴드 글라스에 설치된 HUD(Head Up Display) 장치 등의 차량 장착 HMI 장치, 차량에 장착되어 운전자(110) 영상을 수집하는 영상 센서, 및 운전자(110)의 생체 신호를 수집하는 생체 센서를 포함할 수 있다. 영상 센서는 일반적인 정보 수집을 위한 가시광선 영역의 영상 센서와 시선 검출을 위한 적외선 영상 센서 중 적어도 하나가 될 수 있고, 생체 센서는 ECG, EEG, PPG, GSR, 및 호흡률 센서 등을 포함하며, 음성 수집부는 음성 센서가 될 수 있는데, 이에 한정되지 않고 현재 또는 미래의 동일 또는 유사한 기능을 수행하는 제반 장치를 포함함은 물론이다.
인식부(210)는 생체 신호 수집부에서 수집한 생체 신호를 분석하여 운전자(110)의 생리적 부하를 분석하는 생리 부하 분석부, 영상 수집부에서 수집한 영상을 분석하고, 수집된 영상에서 운전자(110)의 머리 위치, 머리 방향, 시선, 입모양, 손의 위치, 팔의 위치, 몸통 위치, 발 위치 등을 인식하는 운전자 신체 인식부, 수집된 영상에서 운전자(110)의 휴대형 장치를 검출하는 것과 같은 운전자(110)의 베타 정보를 인식하는 베타 정보 인식부, 영상 수집부에서 수집한 영상에서 운전자(110)의 시선을 검출하고 시선 방향과 위치 등의 정보를 이용하여 시선을 점유하는 목표 지점을 인식하는 시선 인식부, 휴대형 HMI 장치로부터 수행 중인 작업 정보를 수집하는 휴대형 장치 정보 수집부, 및 차량 장착 HMI 장치로부터 수행 중인 작업 정보를 수집하는 차량 장치 정보 수집부를 포함한다.
정보 제공 장치(120)는 수행작업 결정부(220)를 포함한다. 수행작업 결정부(220)는 인식부(210)에서 인식한 운전자(110)의 현재 상태 정보에 기반하여 운전자(110)의 현재 수행작업을 결정한다.
현재 수행작업은 운전자(110)의 현재 동작, 행위, 상태를 총칭하는 의미이다. 예를 들어, 현재 수행작업은 자율 주행 차량의 운전자(110)의 운전 행위일 수 있거나, 또는 자율 주행 중에 수행 중인 운전이 아닌 다른 작업(NDRT), 예컨대 음악 감상, 영화 보기, 경치 감상, 게임 하기, 대화, 영상 통화, 읽기, 쓰기, 스마트 폰 하기, 먹기, 마시기, 화장 하기, 옷 입기, 청소 하기, 씻기, 잠자기, 아무 것도 안하기 등을 포함한다. 즉, 수행작업은 어떤 의도된 동작이나 행위만이 아니라 인간의 현재 그대로의 상태(아무 것도 안하는 상태를 포함)나 무의식적인 행동, 반사적 동작 등을 모두 아우른다.
수행작업 결정부(220)가 운전자(110)의 현재 수행작업을 결정하는 과정은 도 3을 참조하여 보다 상세하게 서술한다.
정보 제공부(230)는 수행작업 결정부(220)을 포함한다.
정보 제공부(230)는 수행작업 결정부(220)에서 결정한 현재 수행작업에 기반하여 운전자(110)에게 자율 주행 관련 정보 등의 정보를 제공한다. 여기서, 정보 제공부(230)는 수행작업 결정부(220)에서 결정한 현재 수행작업에 기반하여 적어도 하나의 감각 채널을 결정하고, 결정한 적어도 하나의 감각 채널을 통해 운전자(110)에게 정보를 제공한다.
정보 제공부(230)는 활성 감각 결정부(232)를 포함한다.
활성 감각 결정부(232)는 수행작업 결정부(220)에서 결정한 현재 수행작업을 분석하여 운전자(110)의 적어도 하나의 활성 감각을 결정한다.
활성 감각은 운전자(110)가 현재 수행작업을 수행하는 데에 사용하는 감각 또는 운전자(110)가 현재 수행작업을 수행하는 동안에 활성화되는 감각에 대응할 수 있다. 예를 들어, 활성 감각은 시각, 청각, 신체(촉각), 및 인지력 등을 포함할 수 있다.
활성 감각 결정부(232)는 각 활성 감각에 대하여 활성화된 감각의 민감도 또는 활성도를 결정할 수 있다.
일 예에서, 도 1을 참조하여 자율 주행 차량의 운전자(110)가 휴대형 단말기(130)로 전자책을 읽고 있는 경우, 운전자(110)의 감각 중 시각이 활성화되어 시각의 활성도는 높은 반면에, 읽기에 사용하지 않는 청각은 비활성화되어 청각의 활성도는 상대적으로 낮다. 이 경우, 수행작업 결정부(220)는 운전자(110)의 수행작업을 읽기로 결정하고, 활성 감각 결정부(232)는 시각의 활성도는 높음으로, 청각의 활성도는 낮음으로 결정할 수 있다.
정보 제공부(230)는 감각 채널 결정부(234)를 포함한다. 감각 채널 결정부(234)는 활성 감각 결정부(232)에서 결정한 적어도 하나의 활성 감각에 기반하여 운전자(110)에게 정보를 제공할 적어도 하나의 감각 채널을 결정한다.
적어도 하나의 감각 채널은 운전자(110)에게 정보를 제공하는 데 사용할 감각에 대응한다. 일 예에서, 적어도 하나의 감각 채널은 활성 감각 결정부(232)가 결정한 적어도 하나의 활성 감각에 대응할 수 있다. 예를 들어, 감각 채널은 시각, 청각, 신체(촉각), 및 인지 채널 등을 포함할 수 있다.
정보 제공부(230)는 주의 점유 결정부(236)를 포함한다.
주의 점유 결정부(236)는 인식부(210)에서 인식한 운전자 상태 정보에 기반하여 운전자(110)의 주의를 점유하고 있는 대상을 결정한다. 예를 들어, 주의 점유 결정부(236)는 운전자 상태 정보에 기초하여, 도 1을 참조하여, 휴대형 단말기(130)를 자율 주행 차량의 운전자(110)의 주의를 점유하고 있는 대상으로 결정할 수 있다.
일 예에 따른, 정보 제공부(230)의 상세한 동작 과정은 도 4를 참조하여 이하에서 살펴본다.
도 3은 본 발명의 일 예에 따른 수행작업 결정 과정을 도시한 순서도이다.
단계(310)에서, 도 2를 참조하여 인식부(210)는 운전자(110)의 상태 정보를 인식한다.
단계(320)에서, 도 2를 참조하여 수행작업 결정부(220)는 운전자(110)의 상태 정보를 분석하여 운전자(110)의 예상 수행작업을 결정한다.
단계(320)에서 수행작업 결정부(220)는, 도 2를 참조하여 수행작업 모델(222)에 기반하여 운전자 상태 정보를 분석하여 운전자(110)의 예상 수행작업을 결정한다. 일 예에서, 수행작업 모델(222)은 사전설정된 모델일 수 있다. 일 예에서, 수행작업 모델(222)은 학습에 의하여 구축될 수 있다.
수행작업 모델(222)은 운전자(110)가 특정 작업을 수행하는 경우의 운전자(110)의 상태 정보를 분석하여 구축한 모델이다. 예를 들어, 수행작업 모델(222)은 휴대형 HMI 장치 활성화 정보, 차량 장착 HMI 장치 활성화 정보, 운전자 시선 방향, 시선 위치, 운전자 머리 위치, 머리 방향, 입 모양, 손의 위치, 팔의 위치, 몸통 위치, 발 위치, 및 운전자 생리 부하 등을 관찰하고, 이와 같은 정보를 수행작업 별로 분류하여 구축한 모델에 대응할 수 있다. 예를 들어, 수행작업 모델(222)은 먹기 수행작업을 입 모양이 반복적으로 열리거나 닫히는 상태, 손의 위치가 반복적으로 입 주변으로 이동하는 상태, 및 머리의 위치가 반복적으로 상하로 움직이는 상태로 정의할 수 있다.
수행작업 결정부(220)는 인식부(210)에서 인식한 운전자 상태 정보를 분석한 결과를 수행작업 모델(222)의 수행작업별 상태 정보와 비교하여, 매칭되는 수행작업을 운전자(110)의 예상 수행작업으로 결정한다.
예를 들어, 인식부(210)에서 인식한 운전자 상태 정보가 입 모양이 반복적으로 열리거나 닫히는 상태, 손의 위치가 반복적으로 입 주변으로 이동하는 상태, 및 머리의 위치가 반복적으로 상하로 움직이는 상태를 포함하는 경우에, 수행작업 결정부(220)는 운전자(110)의 예상 수행작업을 먹기 수행작업으로 결정할 수 있다. 다른 예로, 인식부(210)에서 인식한 운전자 상태 정보가 운전자(110)의 머리 위치는 변화가 적은 상태, 운전자(110)의 시선 방향은 스마트 폰을 향하는 상태, 및 손의 위치가 스마트 폰 주위에 위치하는 상태를 포함하는 경우에, 수행작업 결정부(220)는 운전자(110)의 예상 수행작업을 스마트 폰 사용하기로 결정할 수 있다. 또 다른 예로, 운전자(110)의 시선을 검출할 수 없는 상태, 신체의 움직임이 적은 상태 및 생리 신호 부하가 특히 낮은 상태인 경우에, 수행작업 결정부(220)는 잠자기를 운전자의 예상 수행작업으로 결정할 수 있다.
단계(330)에서 수행작업 결정부(220)는 N개의 예상 수행작업을 결정할 때까지 단계(310) 및 단계(320)을 반복한다. 일 예에서, N은 0보다 큰 정수일 수 있다. 예를 들어, N은 사전결정된 값일 수 있다. 일 예에서, N은 학습에 의하여 결정될 수 있다.
단계(330)에서 N개의 예상 수행작업은 큐에 저장된다. 수행작업 결정부(220)는 N개의 예상 수행작업을 큐에 순서대로 저장할 수 있고, 큐에 더 이상 예상 수행작업을 저장할 공간이 없는 경우, 가장 오래된 예상 수행작업을 지우고 새로운 예상 수행작업을 저장한다. 예를 들어, 큐는 원형 큐일 수 있다.
단계(340)에서 수행작업 결정부(220)는 단계(330)에서 결정된 N개의 예상 수행작업 각각에 대하여 각 수행작업i가운전자(110)의 현재 수행작업일 확률Pi을 계산한다(i는 N보다 작거나 같은 정수). 확률Pi는 최근 N개의 예상 수행작업에 대하여 수행작업i가예상수행작업으로결정된비율에대응할수있다. 수행작업 결정에 있어서, 예상 수행작업을 N번 결정한 결과를 활용하므로, 순간적으로 잘못 판단하는 경우를 필터링할 수 있고, 현재 수행작업의 결정에 대한 정확도를 높일 수 있다.
단계(350)에서 수행작업 결정부(220)는 단계(340)에서 결정한 확률Pi가 임계값 PThreshold이상이면, 단계(360)에서 운전자(110)가 현재 수행작업i를수행하고있다고결정한다. 일 예에서, 단계(360)에서 수행작업 결정부(220)는 적어도 하나의 현재 수행작업을 결정한다. 일 예에서, 수행작업 결정부(220)는 단계(340)에서 결정한 확률Pi가 PThreshold보다 작으면, 단계(370)에서 운전자(110)가 현재 수행작업i를수행하지않는다고결정할수있다. 일 예에서, PThreshold은 사전결정된 값일 수 있다. 일 예에서, N은 학습에 의하여 결정될 수 있다.
도 4는 본 발명의 일 예에 따른 감각 채널 결정 과정을 도시한 순서도이다.
단계(410)에서, 도 2를 참조하여 활성 감각 결정부(232)는, 단계(360)에서 수행작업 결정부(220)가 결정한 현재 수행작업에 기반하여 운전자(110)의 적어도 하나의 활성 감각을 결정한다. 활성 감각 결정부(232)는 단계(410)에서, 현재 수행작업을 분석하여 해당 수행작업의 수행에 사용하는 적어도 하나의 감각을 현재 수행작업에 대한 적어도 하나의 활성 감각으로 결정한다.
단계(420)에서 활성 감각 결정부(232)는 사전설정된 활성 감각 모델에 기반하여 상기 현재 수행작업을 분석하여, 단계(410)에서 결정한 적어도 하나의 활성 감각의 활성도를 결정한다. 일 예에서, 활성 감각 모델(238)은 사전설정된 모델일 수 있다. 일 예에서, 활성 감각 모델(238)은 학습에 의하여 구축될 수 있다.
이하에서 도 5를 참조하여 활성 감각 모델(238)에 대하여 살펴본다.
도 5는 예시적인 활성 감각 모델(238)을 보여준다. 활성 감각 모델(238)은 수행작업의 목록을 포함한다. 활성 감각 모델(238)은 각 수행작업 별로 해당 수행작업의 수행에 사용하는 적어도 하나의 활성 감각에 대한 정보를 포함한다. 일 예에서, 활성 감각은 시각, 청각, 신체(촉각) 감각, 및 인지력 등을 포함할 수 있다.
도 5를 참조하여 활성 감각 모델(238)은 각 활성 감각의 활성도에 대한 정보를 포함한다. 활성 감각 모델(238)은 각 활성 감각의 활성도를 단계별로 구분하거나 또는 다양한 방법으로 수치화하여 제공한다. 예를 들어, 도 5의 활성 감각 모델(238)은 수행 작업의 종류에 따라 각 활성 감각의 활성도를 매우 낮음, 낮음, 중간 및 높음의 4단계로 구분하고 있다. 도 5의 활성 감각 모델(238)에 따르면, 음악 감상을 수행하는 경우, 시각 및 인지력의 활성도는 낮음, 청각의 활성도는 중간, 그리고 신체 감각의 활성도는 매우 낮음으로 예시하고 있다. 일 예에서, 활성 감각 모델(238)의 각 활성 감각의 활성도는 사전결정된 값일 수 있다. 일 예에서, 활성 감각 모델(238)의 각 활성 감각의 활성도는 학습에 의하여 결정될 수 있다.
다시 도 4로 돌아와서, 단계(430)에서, 도 2를 참조하여 감각 채널 결정부(234)는, 단계(420)에서 활성 감각 결정부(232)가 결정한 적어도 하나의 활성 감각의 활성도에 기반하여, 해당 적어도 하나의 활성 감각의 주의 점유 활성도를 결정한다.
주의 점유 활성도는 각 활성 감각에 대한 운전자(110)의 주의 집중도에 대응한다. 활성 감각 결정부(232)는 적어도 하나의 활성 감각의 각 활성 감각에 대하여 주의 점유 활성도를 결정한다. 적어도 하나의 활성 감각의 주의 점유 활성도는 현재 수행작업의 종류, 현재 수행 작업의 개수, 및 운전자(110)의 연령 등에 따라 달라진다. 일 예에서, 수행작업의 수행에 필요한 인지력의 요구에 비례하여 적어도 하나의 활성 감각의 주의 점유 활성도가 높아질 수 있다.
일 예에서, 적어도 하나의 활성 감각의 주의 점유 활성도는 다음의 수학식 1에 따라 결정될 수 있다.
[수학식 1]
시각의 주의 점유 활성도 = α1V+β1C+V0
청각의 주의 점유 활성도 = α2A+β2C+A0
촉각의 주의 점유 활성도 = α3P+β3C+P0
V: 활성 감각 모델에서 제시하는 시각 활성도
A: 활성 감각 모델에서 제시하는 청각 활성도
P: 활성 감각 모델에서 제시하는 신체(촉각) 활성도
C: 활성 감각 모델에서 제시하는 인지력 활성도
V0:아무 작업도 하지 않을 경우 시각 활성도
A0:아무 작업도 하지 않을 경우 청각 활성도
P0:아무 작업도 하지 않을 경우 신체 활성도
α1: 시각 주의 점유 팩터
α2: 청각 주의 점유 팩터
α3: 신체 주의 점유 팩터
βx: 인지력 주의 점유 팩터
일 예에서, 아무 작업도 하지 않을 경우의 시각 활성도, 청각 활성도 및 신체 활성도는 A0>V0>P0인 관계일 수 있다. 이는 청각 채널을 통해 정보를 제공할 경우 모든 방향으로 정보 제공이 가능하지만, 시각 채널로 제공되는 정보는 운전자(110)의 시선 방향과 시각 채널의 방향이 일치할 경우에만 정보 제공이 가능하며, 신체 채널로는 제공할 수 있는 컨텐츠의 정보가 제한적이라는 점을 반영한 경우에 해당한다.
시각 주의 점유 팩터 α1는 운전자(110)가 시각 채널에 얼마나 주의를 집중하였는지를 나타내는 인자에 대응한다. 일 예에서, 시각 주의력 점유 팩터 α1는 해당 시각 채널에 대한 단위 시간당 시선 점유 시간에 비례할 수 있다. 일 예에서, 시각 주의력 점유 팩터 α1는 운전자(110)가 동시에 수행하는 작업의 개수에 반비례할 수 있다.
청각 주의 점유 팩터 α2는 운전자(110)가 청각 채널에 얼마나 주의를 집중하였는지 나타내는 인자에 대응한다. 일 예에서, 청각 주의력 점유 팩터 α2는 운전자(110)가 동시에 수행하는 작업의 개수에 반비례할 수 있다.
신체 주의 점유 팩터 α3는 운전자(110)가 신체 채널에 얼마나 주의를 집중하였는지 나타내는 인자에 대응한다. 일 예에서, 신체 주의 점유 팩터 α3는 운전자(110)가 동시에 수행하는 작업의 개수에 반비례할 수 있다.
인지력 주의 점유 팩터 βx는 운전자(110)가 각 채널에서 제공하는 정보 처리를 위해 얼마나 높은 인지력을 사용했는지 나타내는 인자에 대응한다. 일 예에서, 인지력 주의 점유 팩터 βx는 운전자(110)가 동시에 수행하는 작업의 개수에 반비례할 수 있다. 일 예에서, 인지력 주의 점유 팩터 βx는 운전자(110)의 연령에 따라 다른 값을 가질 수 있다.
일 예에서, 적어도 하나의 활성 감각의 주의 점유 활성도는 각 활성 감각에 대한 운전자(110)의 반응 지연과 연관될 수 있다. 다시 말하면, 주의 점유 활성도는 적어도 하나의 감각 채널을 통한 정보의 제공에 대한 운전자(110)의 반응 지연과 연관될 수 있다. 예를 들어, 정보를 제공하는 감각 채널의 주의 점유 활성도가 높을수록 운전자(110)의 반응 지연이 낮을 수 있다. 이는 주의 점유 활성도가 높은 감각은 운전자(110)의 주의 집중도가 높은 감각에 대응하기 때문에, 해당 채널을 통하여 정보를 제공받은 운전자(110)는 즉각적으로 반응할 수 있기 때문이다.
단계(440)에서 감각 채널 결정부(234)는, 단계(430)에서 결정한 주의 점유 활성도에 기반하여 적어도 하나의 감각 채널을 결정할 수 있다.
단계(440)에서 감각 채널 결정부(234)는 단계(430)에서 결정한 주의 점유 활성도가 최대 기준 활성도를 초과하는 경우에, 해당 주의 점유 활성도에 대응하는 감각을 적어도 하나의 감각 채널로 결정할 수 있다.
단계(440)에서 감각 채널 결정부(234)는 단계(430)에서 결정한 주의 점유 활성도가 최소 기준 활성도 이하인 경우에, 모든 활성 감각을 적어도 하나의 감각 채널로 결정할 수 있다.
도 2를 참조하여 정보 제공부(230)는 단계(440)에서 감각 채널 결정부(234)가 결정한 적어도 하나의 감각 채널을 통하여 운전자(110)에게 자율 주행 관련 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 정보 제공 방법을 도시한 순서도이다.
단계(610)에서 도 2를 참조하여 인식부(210)는 운전자 상태 정보를 인식한다. 단계(610)은 도 3을 참조하여 단계(310)에 대응할 수 있다.
단계(620)에서 도 2를 참조하여 수행작업 결정부(220)는 운전자 상태 정보에 기반하여 운전자(110)의 현재 수행작업을 결정한다. 단계(620)은 도 3을 참조하여 단계(320) 내지 단계(370)에 대응할 수 있다.
단계(630)에서 도 2를 참조하여 정보 제공부(230)는 현재 수행작업에 기반하여 적어도 하나의 감각 채널을 결정한다. 단계(630)은 도 4를 참조하여 단계(410) 내지 단계(440)에 대응할 수 있다.
단계(640)에서 도 2를 참조하여 주의 점유 결정부(236)는 단계(610)에서 인식부(210)가 인식한 운전자 상태 정보에 기반하여 운전자(110)의 주의를 점유하고 있는 대상을 결정한다.
일 예에서, 단계(640)에서 주의 점유 결정부(236)는 운전자(110)의 시선 주의를 점유하고 있는 장치를 운전자(110)의 주의를 점유하고 있는 대상으로 선정할 수 있다. 일 예에서, 단계(640)에서 주의 점유 결정부(236)는 단위 시간 동안 운전자(110)의 시선을 점유하는 비율이 임계값 이상인 장치를 운전자(110) 주의 점유 대상으로 결정할 수 있다.
단계(650)에서 정보 제공부(230)는 운전자(110)에게 자율 주행 관련 정보를 제공할 장치 및 감각 채널을 선정한다.
일 예에서, 단계(650)에서 정보 제공부(230)는 단계(630)에서 결정한 적어도 하나의 감각 채널 중 단계(640)에서 결정한 주의를 점유하고 있는 대상이 제공가능한 감각 채널을 통하여 자율 주행 관련 정보를 제공할 수 있다.
일 예에서, 단계(650)에서 정보 제공부(230)는, 단계(630)에서 결정된 적어도 하나의 감각 채널이 시각 채널을 포함하는 경우, 단계(640)에서 결정된 주의 점유 대상이 시각 인터페이스를 제공한다면, 해당 주의 점유 대상의 시각 인터페이스를 통해 자율 주행 관련 정보를 제공할 수 있다. 만약, 단계(640)에서 결정된 주의 점유 대상이 시각 인터페이스를 제공하지 않는다면, 대표 시각 장치를 통해 자율 주행 관련 정보를 제공하기로 결정할 수 있다.
일 예에서, 단계(650)에서 정보 제공부(230)는, 단계(630)에서 결정된 적어도 하나의 감각 채널이 청각 채널을 포함하는 경우, 단계(640)에서 결정된 주의 점유 대상이 청각 인터페이스를 제공한다면, 해당 주의 점유 대상의 청각 인터페이스를 통해 자율 주행 관련 정보를 제공하기로 결정할 수 있다. 만약, 단계(640)에서 결정된 주의 점유 대상이 청각 인터페이스를 제공하지 않는다면, 대표 청각 장치를 통해 자율 주행 관련 정보를 제공하기로 결정할 수 있다.
일 예에서, 단계(650)에서 정보 제공부(230)는, 단계(630)에서 결정된 적어도 하나의 감각 채널이 신체 채널을 포함하는 경우, 운전자(110)와 신체적으로 접촉하고 있는 장치를 통해서 자율 주행 관련 정보를 제공하기로 결정할 수 있다.
일 예에서, 단계(650)에서 정보 제공부(230)는 단계(640)에서 주의 점유 대상이 없다고 결정된 경우, 대표 시각, 청각 및 신체 장치 중 적어도 하나를 통해 자율 주행 관련 정보를 제공하기로 결정할 수 있다.
일 예에서, 단계(650)에서 정보 제공부(230)는 단계(640)에서 결정된 주의 점유 대상 이외에도 부가적으로 대표 시각, 청각 및 신체 장치 중 적어도 하나를 통해 자율 주행 관련 정보를 제공하기로 결정할 수 있다.
단계(660)에서 정보 제공부(230)는 자율 주행 시스템이 운전자(110)에게 제공할 정보가 있는 지 여부를 확인하고, 있다면 단계(670)에서 해당 정보를 제공한다.
예를 들어, 단계(620)에서 운전자(110)가 스마트 폰으로 영화 보기 작업을 수행 중인 것으로 결정되면, 단계(630)에서 적어도 하나의 감각 채널은 시각 채널 및 청각 채널로 결정되고, 단계(640)에서 주의 점유 대상은 스마트 폰으로 결정되며, 단계(650) 내지 단계(670)에서 정보 제공부(230)는, 스마트 폰의 시각 채널 및 청각 채널을 통해 운전자(110)에게 시각 정보와 청각 정보를 제공할 수 있다. 따라서, 운전자(110)가 스마트 폰으로 영화 보기와 같은 NDRT를 현재 수행 중이라면, 운전 작업에 대한 민감도가 떨어진 운전자(110)에게 보낼 긴급한 요청(예를 들어 TOR 등) 발생 시에, 스마트 폰의 시각 채널 및 청각 채널을 통해 운전자(110)에게 정보를 제공함으로써, 운전자(110) 반응 지연을 최소화하고, 주어진 임계시간 내에 운전자(110)가 해당 요청을 인지하고 반응하도록 도울 수 있다. 이에 따라, 자율 주행의 안전성이 향상될 수 있다.
일 예에서, 단계(670)에서 정보 제공부(230)는 제공하려는 정보 이외의 다른 정보는 일시적으로 차단할 수 있다.
일 예에서, 도 6에 도시된 정보 제공 과정은 반복적으로 수행될 수 있다.
일 예에서, 단계(640)은 단계(620) 및 단계(630)에 선행하여 수행되거나 또는 단계(620) 및 단계(630)과 동시에 병렬적으로 수행될 수 있다.
일 예에서, 단계(640)에서 결정한 주의 점유 대상에 기반하여 단계(630)에서 수행작업을 결정할 수 있다.
이상, 자율 주행 차량의 운전자에게 자율 주행 관련 정보를 제공하는 경우를 상정하여 설명하였으나, 본 발명의 기술적 사상은 전술한 각 실시예에 따른 정보 제공 방법에 국한되지 않는다
일 실시예는 이용자(110)에게 정보 제공이 필요한 제반 환경에서, 이용자(110)가 현재 수행하고 있는 수행작업에 따라 적합한 방식으로 정보를 제공하는 정보 제공 방법을 제공한다. 정보를 제공받을 이용자(110)의 현재 수행작업에 따라 이용자의 적어도 하나의 활성 감각을 결정하는 단계, 적어도 하나의 활성 감각에 기반하여 정보를 제공하는 데 사용할 적어도 하나의 감각 채널을 결정하는 단계, 및 적어도 하나의 감각 채널을 통하여 이용자(110)에게 정보를 제공하는 단계를 포함하는 정보 제공 방법을 제공할 수 있다.
일 예에서, 이용자(110)는 정보를 인식할 수 있는 주체를 포함할 수 있다. 예를 들어, 이용자(110)는 사람일 수 있다. 다른 예에서, 이용자(110)는 로봇일 수 있다.
일 예에서, 정보 제공 장치(120)는 범용 정보 제공 장치를 포함한다. 예를 들어, 정보 제공 장치(120)는 전자 광고판, 키오스크, 또는 스마트홈 제어기 등을 포함한다.
한편, 본 발명의 실시예에 따른 정보 제공 장치 및 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 정보 제공 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 정보 제공 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 정보 제공 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 정보 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
120: 정보 제공 장치
210: 인식부
220: 수행작업 결정부
230: 정보 제공부
232: 활성 감각 결정부
234: 감각 채널 결정부
236: 주의 점유 결정부

Claims (16)

  1. 자율 주행 차량의 운전자 상태 정보를 획득하는 인식부;
    상기 운전자 상태 정보에 기반하여 운전자의 현재 수행작업을 결정하는 수행작업 결정부; 및
    상기 현재 수행작업에 기반하여 적어도 하나의 감각 채널을 결정하고, 상기 적어도 하나의 감각 채널을 통해 상기 운전자에게 상기 자율 주행 관련 정보를 제공하는 정보 제공부
    를 포함하는 정보 제공 장치.
  2. 제 1 항에 있어서,
    상기 수행작업 결정부는,
    사전설정된 수행작업 모델에 기반하여 상기 운전자 상태 정보를 분석하여 상기 운전자의 예상 수행작업을 결정하고,
    상기 예상 수행작업에 기반하여 상기 현재 수행작업을 결정하는 정보 제공 장치.
  3. 제 2 항에 있어서,
    상기 수행작업 결정부는,
    상기 예상 수행작업의 일 세트를 분석하여 상기 운전자의 상기 현재 수행작업을 결정하는, 정보 제공 장치.
  4. 제 1 항에 있어서,
    상기 정보 제공부는,
    상기 현재 수행작업에 기반하여 상기 운전자의 적어도 하나의 활성 감각을 결정하는 활성 감각 결정부; 및
    상기 적어도 하나의 활성 감각에 기반하여 상기 주행 관련 정보를 제공할 상기 적어도 하나의 감각 채널을 결정하는 감각 채널 결정부;
    를 포함하는 정보 제공 장치.
  5. 제 4 항에 있어서,
    상기 활성 감각 결정부는 사전설정된 활성 감각 모델에 기반하여 상기 현재 수행작업을 분석하여 상기 적어도 하나의 활성 감각의 활성도를 결정하고,
    상기 감각 채널 결정부는,
    상기 활성도에 기반하여 결정되는 상기 적어도 하나의 활성 감각의 주의 점유 활성도에 기반하여 상기 적어도 하나의 감각 채널을 결정하는, 정보 제공 장치.
  6. 제 5 항에 있어서,
    상기 감각 채널 결정부는,
    상기 주의 점유 활성도가 최대 기준 활성도를 초과하는 경우에, 상기 주의 점유 활성도에 대응하는 감각을 상기 적어도 하나의 감각 채널로 결정하는, 정보 제공 장치.
  7. 제 5 항에 있어서,
    상기 감각 채널 결정부는,
    상기 주의 점유 활성도가 최소 기준 활성도 이하인 경우에, 모든 상기 활성 감각을 상기 적어도 하나의 감각 채널로 결정하는, 정보 제공 장치.
  8. 제 5 항에 있어서,
    상기 주의 점유 활성도는 상기 주행 관련 정보의 제공에 대한 상기 운전자의 반응 지연과 연관되는, 정보 제공 장치.
  9. 제 1 항에 있어서,
    상기 정보 제공부는,
    상기 운전자 상태 정보에 기반하여 상기 운전자의 주의를 점유하고 있는 대상을 결정하는 주의 점유 결정부;
    를 포함하는 정보 제공 장치.
  10. 제 9 항에 있어서,
    상기 정보 제공부는,
    상기 적어도 하나의 감각 채널 중 상기 주의를 점유하고 있는 대상이 제공하는 감각 채널을 통하여 상기 주행 관련 정보를 제공하는 정보 제공 장치.
  11. 자율 주행 차량의 운전자 상태 정보에 기반하여 운전자의 현재 수행작업을 결정하는 단계;
    상기 현재 수행작업에 따라 상기 운전자의 적어도 하나의 활성 감각을 결정하는 단계; 및
    상기 적어도 하나의 활성 감각에 기반하여 자율 주행 관련 정보를 제공할 적어도 하나의 감각 채널을 결정하는 단계;
    를 포함하는 정보 제공 방법.
  12. 제 11 항에 있어서,
    상기 운전자 상태 정보에 기반하여 상기 운전자의 주의 점유 대상을 결정하는 단계; 및
    상기 적어도 하나의 감각 채널 중 상기 주의 점유 대상이 제공하는 감각 채널을 통하여 상기 운전자에게 자율 주행 관련 정보를 제공하는 단계
    를 더 포함하는 정보 제공 방법.
  13. 제 11 항에 있어서,
    상기 적어도 하나의 활성 감각을 결정하는 단계는,
    상기 적어도 하나의 활성 감각의 활성도를 결정하는 단계
    를 포함하고,
    상기 적어도 하나의 감각 채널을 결정하는 단계는,
    상기 적어도 하나의 활성 감각의 활성도에 기반하여 상기 적어도 하나의 활성 감각의 주의 점유 활성도를 결정하는 단계
    를 포함하는 정보 제공 방법.
  14. 제 13 항에 있어서,
    상기 적어도 하나의 감각 채널을 결정하는 단계는,
    상기 주의 점유 활성도가 최대 기준 활성도를 초과하는 경우에, 상기 주의 점유 활성도에 대응하는 감각을 상기 적어도 하나의 감각 채널로 결정하는 것인, 정보 제공 방법.
  15. 정보를 제공받을 이용자의 현재 수행작업에 따라 상기 이용자의 적어도 하나의 활성 감각을 결정하는 단계;
    상기 적어도 하나의 활성 감각에 기반하여 정보를 제공하는 데 사용할 적어도 하나의 감각 채널을 결정하는 단계; 및
    상기 적어도 하나의 감각 채널을 통하여 상기 이용자에게 정보를 제공하는 단계
    를 포함하는 정보 제공 방법.
  16. 제 15 항에 있어서,
    상기 현재 상태 정보에 기반하여 상기 이용자의 주의 점유 대상을 결정하는 단계
    를 더 포함하고,
    상기 정보를 제공하는 단계는,
    상기 적어도 하나의 감각 채널 중 상기 주의 점유 대상이 제공하는 감각 채널을 통하여 상기 이용자에게 정보를 제공하는 것인, 정보 제공 방법.
KR1020180147304A 2018-11-26 2018-11-26 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 KR102322863B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147304A KR102322863B1 (ko) 2018-11-26 2018-11-26 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147304A KR102322863B1 (ko) 2018-11-26 2018-11-26 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200068047A true KR20200068047A (ko) 2020-06-15
KR102322863B1 KR102322863B1 (ko) 2021-11-10

Family

ID=71081544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147304A KR102322863B1 (ko) 2018-11-26 2018-11-26 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102322863B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置
JP2014065478A (ja) * 2012-09-24 2014-04-17 Hyundai Motor Company Co Ltd 自律走行車両の車両制御権転換方法
KR20160036968A (ko) * 2014-09-26 2016-04-05 국민대학교산학협력단 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법
JP2017107502A (ja) * 2015-12-11 2017-06-15 トヨタ自動車株式会社 車載警告システム
KR20180090644A (ko) * 2017-02-03 2018-08-13 한국전자통신연구원 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018655A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 運転者行動推定装置
JP2014065478A (ja) * 2012-09-24 2014-04-17 Hyundai Motor Company Co Ltd 自律走行車両の車両制御権転換方法
KR20160036968A (ko) * 2014-09-26 2016-04-05 국민대학교산학협력단 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법
JP2017107502A (ja) * 2015-12-11 2017-06-15 トヨタ自動車株式会社 車載警告システム
KR20180090644A (ko) * 2017-02-03 2018-08-13 한국전자통신연구원 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법

Also Published As

Publication number Publication date
KR102322863B1 (ko) 2021-11-10

Similar Documents

Publication Publication Date Title
US11027608B2 (en) Driving assistance apparatus and driving assistance method
JP7299840B2 (ja) 情報処理装置および情報処理方法
US11738757B2 (en) Information processing device, moving apparatus, method, and program
US11820228B2 (en) Control system and method using in-vehicle gesture input
CN105868827B (zh) 一种智能机器人多模态交互方法和智能机器人
CN107735776B (zh) 信息处理设备、信息处理方法和程序
US10921605B2 (en) Systems, devices, and methods for notification management
EP3133471A1 (en) Play control method, apparatus, terminal, and recording medium
CN113491519A (zh) 基于情感-认知负荷的数字助理
US11937930B2 (en) Cognitive state-based seamless stimuli
WO2019208450A1 (ja) 運転支援装置、運転支援方法及びプログラム
Matthies et al. Reflexive interaction: Extending the concept of peripheral interaction
CN114253392A (zh) 用于控制多个车载智能虚拟助手的虚拟对话代理
KR102322863B1 (ko) 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법
Pape et al. Empathic assistants–Methods and use cases in automated and non-automated driving
CN115830724A (zh) 基于多模态识别的车载识别交互方法及系统
KR102689884B1 (ko) 차량 및 그 제어방법
US11803352B2 (en) Information processing apparatus and information processing method
KR102667424B1 (ko) 차량 내 제스처 입력을 이용한 제어 시스템
Kashevnik et al. Smartphone-based driver support in vehicle cabin: Human-computer interaction interface
CN111783550B (zh) 驾驶人情绪的监控调节方法及系统
Matthies et al. Reflexive Interaction
Donmez et al. Human Factors in Driving
KR20230033358A (ko) 차량의 hmi 모드 제공방법 및 장치
US20180140243A1 (en) System and method for attention management

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant