KR102017884B1 - 운전자 집중도 분석 장치 및 방법 - Google Patents

운전자 집중도 분석 장치 및 방법 Download PDF

Info

Publication number
KR102017884B1
KR102017884B1 KR1020130013190A KR20130013190A KR102017884B1 KR 102017884 B1 KR102017884 B1 KR 102017884B1 KR 1020130013190 A KR1020130013190 A KR 1020130013190A KR 20130013190 A KR20130013190 A KR 20130013190A KR 102017884 B1 KR102017884 B1 KR 102017884B1
Authority
KR
South Korea
Prior art keywords
driver
information
gaze
driving
time
Prior art date
Application number
KR1020130013190A
Other languages
English (en)
Other versions
KR20140100629A (ko
Inventor
김진우
한태만
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130013190A priority Critical patent/KR102017884B1/ko
Priority to US14/161,057 priority patent/US9355546B2/en
Publication of KR20140100629A publication Critical patent/KR20140100629A/ko
Application granted granted Critical
Publication of KR102017884B1 publication Critical patent/KR102017884B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하고, 디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석한 후, 운전자의 정량적 데이터 및 사용자 인터페이스의 반응 속도를 기반으로 운전자의 시선 분산 정도를 평가하는 운전자 집중도 분석 장치 및 방법을 제공한다.

Description

운전자 집중도 분석 장치 및 방법{APPARATUS AND METHOD FOR ANALYSIS TO CONCENTRATE WITH DRIVER}
본 발명의 실시예들은 주행 중 멀티 모달 인터페이스를 함에 따른 운전자의 시선의 분산 정도를 분석하는 장치 및 방법에 관한 것이다.
현재 자동차 시장에서 멀티 모달 인터페이스 기반의 HMI(Human Machine Interface) 사용자 인터페이스/사용자 경험(UI/UX, User Interface/User Experience)에 대한 연구가 활발하게 진행되고 있으며, 이는 주행 중 운전자의 시선을 분산시키는 것을 줄이고자 하는데 있다.
일반적으로 특정 HMI에 대한 운전자의 시선 분산 정도를 정량적으로 분석하기 위한 기술은 터치 스크린 기반을 고려한 네비게이션 화면의 2차원 타일 방식의 GUI(Graphic User Interface)에 대한 사용자의 반응 속도에 의존하고 있다.
하지만, 최근 자동차 시장의 HMI 동향에 따르며, 터치 기반의 HMI 방식은 주행 중 안전상의 문제로 사용하지 않는 방향으로 연구가 되고 법적인 제제 조치를 할 계획에 있다.
따라서, 터치 기반이 아닌 방식의 HMI UI/UX에 대한 사용자 검증 및 사용성에 대한 시선 분산 정도를 차량의 주행 정보와 함께 시뮬레이션 하여 검증하는 시스템이 필요한 실정이다.
또한, 최근 차량용 인포테인먼트 시스템이 발전하고 운전자와 상호 작용할 수 있는 지능형 정보가 다양해지고 복잡해 지고 있으며, 차량용 인포테인먼트 시스템 은 주행에 있어서 운전자에게 안정성을 제공 하고자 하는 목적으로 만들어지고 운전 중 보다 향상된 정보를 제공함으로써 주행의 편의성과 다른 정보를 얻도록 하는 기능을 가지고 있다.
하지만, 주행 중 실제 운전자가 조작을 하기 위해서는 시선의 분산이 불가피하며 이는 주행의 안전을 위협하고 있으며, 특히 디스플레이 상에 터치 기반으로 조작하는 HMI의 UI/UX가 점차적으로 음성인식, 제스처 인식, 나아가 증강현실까지 고려한 방식의 UX로 변화 하면서 기존의 UI 또한 바뀌고 있다.
또한 기존의 아이콘의 타일 방식, 터치 기반의 HMI 방식에 대한 평가 시뮬레이션 방식에서 나아가 인식기술을 사용한 멀티 모달 인터페이스 기반의 조작 방식에 따른 운전자 인식과 외부 상황 인식을 통한 새로운 평가 방식이 필요한 실정이다.
본 발명의 일실시예는 주행 중 안전을 위한 인포테인먼트, 증강 현실을 위해 설계되는 HMI의 UI/UX를 검증하기 위한 방법을 제공한다.
본 발명의 일실시예는 간단한 제스처 및 포인팅 동작으로 주행 중에 시선에 방해 받지 않고, 차량에서 운전자가 사용하고자 하는 정보를 제공받도록 한다.
본 발명의 일실시예는 효율적인 사용자 인터페이스를 HMI UI/UX가 제공하는지 또한 외부환경에 따라 어떤 영향을 받는지 분석하기 위한 시스템을 제공한다.
본 발명의 일실시예는 평가하고자 하는 HMI와 이에 따른 멀티 입력 장치들을 연결해서 사용할 수 있는 표준 플러그인을 제시하여 평가 시스템의 표준화를 제공한다.
본 발명의 일실시예에 따른 운전자 집중도 분석 장치는 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하는 시선 분산 분석부, 디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석하는 반응 속도 분석부, 및 상기 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도를 기반으로 상기 운전자의 시선 분산 정도를 평가하는 시선 분산 평가부를 포함한다.
본 발명의 일측에 따른 운전자 집중도 분석 장치는 다중 입력 장치를 연결하여 상기 시선 분산 평가부와 연동되는 사용자 경험(User Experience) 플랫폼 구동부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 시선 분산 분석부는 디스플레이 되는 주행 정보 및 주행 상황에 따라 상기 운전자가 시선을 집중하는 시간과 인지 시간에 대한 반응 속도를 정량화 하여 학습할 수 있다.
본 발명의 일측에 따르면, 상기 주행 정보는 헤드 업 디스플레이(HUD: Head Up Display) 상에 표시되는 주행 정보, 인스투르먼트 클러스터 상에 표시되는 주행 정보, 및 중앙 디스플레이 상에 표시되는 주행 정보를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 반응 속도는 상기 HMI의 사용자 경험(UX: User Experience)에 대한 상기 운전자의 인지 반응 속도를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 시선 분산 평가부는 상기 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도에 대한 가중치를 계산하는 가중치 계산부, 주행 속도에 따른 상기 운전자의 시선 집중도를 계산하는 집중도 계산부, 주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도를 계산하는 방해 빈도 계산부, 및 상기 운전자의 시선 분산 시간을 계산하는 시선 분산 시간 계산부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 운전자 집중도 분석 장치는 디바이스 입력 정보, 제스처 정보, 및 음성 정보를 입력받아 운전자가 조작하는 사용자 인터페이스를 연결하는 인터페이스 플러그인 구동부, 주행 상황에 따른 상기 운전자의 행동 및 반응에 대한 사용자 인터페이스 조작 정보를 학습하는 데이터 학습부, 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 차량 외부 환경 정보, 및 상기 운전자의 초점 및 시선에 따른 렌더링 정보를 수집하는 프레임워크 구동부, 및 상기 프레임워크 구동부로부터 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 제공 받아, 상기 운전자의 운전 집중도를 분석하는 사용자 경험 엔진부를 포함한다.
본 발명의 일측에 따르면, 상기 프레임워크 구동부는 상기 운전자가 상기 사용자 인터페이스를 조작하는 시점에, 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 수집하여 상기 사용자 경험 엔진부로 전달할 수 있다.
본 발명의 일실시예에 따른 운전자 집중도 분석 방법은 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하는 단계, 디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석하는 단계, 및 상기 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도를 기반으로 상기 운전자의 시선 분산 정도를 평가하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 운전자 집중도 분석 방법은 디바이스 입력 정보, 제스처 정보, 및 음성 정보를 입력받아 운전자가 조작하는 사용자 인터페이스를 연결하는 단계, 주행 상황에 따른 상기 운전자의 행동 및 반응에 대한 사용자 인터페이스 조작 정보를 학습하는 단계, 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 차량 외부 환경 정보, 및 상기 운전자의 초점 및 시선에 따른 렌더링 정보를 수집하는 단계, 및 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 제공 받아, 상기 운전자의 운전 집중도를 분석하는 단계를 포함한다.
본 발명의 일실시예에 따르면 주행 중 안전을 위한 인포테인먼트, 증강 현실을 위해 설계되는 HMI의 UI/UX를 검증하기 위한 방법을 제공할 수 있다.
본 발명의 일실시예에 따르면 간단한 제스처 및 포인팅 동작으로 주행 중에 시선에 방해 받지 않고, 차량에서 운전자가 사용하고자 하는 정보를 제공할 수 있다.
본 발명의 일실시예에 따르면 효율적인 사용자 인터페이스를 HMI UI/UX가 제공하는지 또한 외부환경에 따라 어떤 영향을 받는지 분석하기 위한 시스템을 제공할 수 있다.
본 발명의 일실시예에 따르면 평가하고자 하는 HMI와 이에 따른 멀티 입력 장치들을 연결해서 사용할 수 있는 표준 플러그인을 제시하여 평가 시스템의 표준화를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 운전자 집중도 분석 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일측에 따른 시뮬레이션 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일측에 따른 시뮬레이션 시스템의 상세 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 운전자 집중도 분석 방법을 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 운전자 집중도 분석 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 일실시예는 최근 주행 중 안전을 위한 인포테인먼트, 증강 현실을 위해 설계되는 HMI의 UI/UX를 검증하기 위한 방법을 제공한다. 예를 들어, 본 발명의 일실시예는 주행 중 운전자가 일반적으로 사용하는 휠 버튼, 조그셔틀, 터치 패드 기반의 디바이스 입력 방식을 통하여 음성 인식, 제스처 간의 독립적 혹은 멀티 모달 방식으로 HMI를 구동하는 경우, 운전자의 시선과 집중도의 방해 요소를 정량적으로 분석할 수 있다.
차량 전자 시스템에 관련한 모든 것을 안전성에 관련한 표준으로 제정하여 제약하는 ISO26262가 헤드 업 디스플레이(HUD: Head Up Display) 및 클러스터까지 포함하고 있는 현재 상황을 미루어 보아 현재 인포테인먼트 서비스가 HUD나 클러스터, 헤드유닛 중앙 화면과의 연동으로 제공될 것으로 예상된다. 본 발명의 일실시예는 증강 현실까지 범위가 확대되는 경우, 안전성에 대한 제약을 대비할 수 있으며, 향후 안전 표준 제정 시 영향력을 발휘할 수 있다.
도 1은 본 발명의 일실시예에 따른 운전자 집중도 분석 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 운전자 집중도 분석 장치(100)는 시선 분산 분석부(110), 반응 속도 분석부(120), 및 시선 분산 평가부(130)로 구성된다.
시선 분산 분석부(110)는 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하며, 반응 속도 분석부(120)는 디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석한다. 또한, 시선 분산 평가부(130)는 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도를 기반으로 운전자의 시선 분산 정도를 평가한다.
또한, 운전자 집중도 분석 장치(100)는 사용자 경험 플랫폼 구동부(140)를 더 포함할 수 있으며, 사용자 경험 플랫폼 구동부(140)는 다중 입력 장치를 연결하여 시선 분산 평가부(130)와 연동될 수 있다.
사용자 경험 플랫폼 구동부(140)는 다중 입력 장치를 연결하여 평가 시스템과 연동할 수 있는 확장형 UX 플랫폼 구조로서, 예를 들어, 멀티 모달 인터페이스 연동을 위한 HMI-프레임워크(Framework) 기반의 표준 입력 인터페이스 플러그인(Plug-in)을 구축할 수 있으며, 음성인식, 제스처 인식, 멀티 디바이스 등을 활용한 HMI를 구축할 수 있다.
시선 분산 분석부(110)는 디스플레이 되는 주행 정보 및 주행 상황에 따라 상기 운전자가 시선을 집중하는 시간과 인지 시간에 대한 반응 속도를 정량화 하여 학습할 수 있다.
본 발명의 일측에 따르면, 주행 정보는 헤드 업 디스플레이(HUD: Head Up Display) 상에 표시되는 주행 정보, 인스투르먼트 클러스터 상에 표시되는 주행 정보, 및 중앙 디스플레이 상에 표시되는 주행 정보 등을 포함할 수 있다. 또한, 반응 속도는 HMI의 사용자 경험(UX: User Experience)에 대한 운전자의 인지 반응 속도를 포함할 수 있다.
예를 들어, 반응 속도 분석부(120)는 휠 버튼, 조그 다이얼로 조작하는 HMI UX에 대한 운전자의 GUI 인지 반응 속도를 분석할 수 있으며, 음성 인식 명령어를 통한 HMI의 UX 입력 방식을 분석할 수 있다. 또한, 반응 속도 분석부(120)는 문장형 제어, 단어 위주 제어 시 HMI에 UX 대한 운전자 인지 반응 속도를 분석할 수 있으며, 멀티 모달 인터페이스로 입력 시 피드백에 대한 적절성 여부를 분석할 수 있다.
시선 분산 평가부(130)는 가중치 계산부, 집중도 계산부, 방해 빈도 계산부, 및 시선 분산 시간 계산부 등의 다양한 계산부를 이용하여 분석된 정보를 평가할 수 있다.
예를 들어, 가중치 계산부는 운전자의 정량적 데이터 및 사용자 인터페이스의 반응 속도에 대한 가중치를 계산할 수 있으며, 집중도 계산부는 주행 속도에 따른 운전자의 시선 집중도를 계산할 수 있다. 또한, 방해 빈도 계산부는 주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도를 계산할 수 있으며, 시선 분산 시간 계산부는 운전자의 시선 분산 시간을 계산할 수 있다.
아래에서는 본 발명의 일측에 따른 운전자 집중도 분석 장치의 HMI 평가를 위한 시뮬레이션 시스템을 설명하도록 한다.
도 2는 본 발명의 일측에 따른 시뮬레이션 시스템의 구성을 도시한 블록도이다.
도 2를 참조하면, 시뮬레이션 시스템은 인터페이스 플러그인 구동부(210), HMI 시스템(220), 데이터 학습부(230), 프레임워크 구동부(240), 및 사용자 경험 엔진부(250)로 구성된다.
인터페이스 플러그인 구동부(210)는 디바이스 입력 정보, 제스처 정보, 및 음성 정보를 입력받아 운전자가 조작하는 사용자 인터페이스를 연결하며, 데이터 학습부(230)는 주행 상황에 따른 운전자의 행동 및 반응에 대한 사용자 인터페이스 조작 정보를 학습한다.
또한, 프레임워크 구동부(240)는 디바이스 입력 정보, 제스처 정보, 음성 정보, 차량 외부 환경 정보, 및 운전자의 초점 및 시선에 따른 렌더링 정보를 수집하며, 사용자 경험 엔진부(250)는 프레임워크 구동부(240)로부터 디바이스 입력 정보, 제스처 정보, 음성 정보, 차량 외부 환경 정보, 및 렌더링 정보를 제공 받아, 운전자의 운전 집중도를 분석한다.
프레임워크 구동부(240)는 운전자가 사용자 인터페이스를 조작하는 시점에, 디바이스 입력 정보, 제스처 정보, 음성 정보, 차량 외부 환경 정보, 및 렌더링 정보를 수집하여 사용자 경험 엔진부(250)로 전달할 수 있다.
도 3은 본 발명의 일측에 따른 시뮬레이션 시스템의 상세 구성을 도시한 블록도이다.
도 3을 참조하면, 인터페이스 플러그인 구동부(310)는 제스처 정보, 음성 정보, 디바이스 입력 정보를 입력 받아 운전자가 조작하는 사용자 인터페이스를 연결할 수 있는 표준형 플러그인 구동부이다. 인터페이스 플러그인 구동부(310)는 차량 외부 환경을 인식하는 정보를 입력 받아 운전자의 초점 거리를 계산할 수 있으며, 증강 현실에 사용될 3차원 혹은 2차원 객체를 렌더링 하는 정보를 동시에 연결할 수 있다.
운전자 집중도 분석 장치는 인터페이스 플러그인 구동부(310)를 통하여 평가하고자 하는 HMI의 UI/UX를 연결할 수 있으며, 오픈 소스 혹은 상용 플랫폼 기반의 차량용 HMI이 탑재된 시스템과 연결하여 실제 운전자가 여러 상황들 상에서 어떤 행동과 반응 등을 추출할 수 있다. 예를 들어, 운전자 집중도 분석 장치는 HMI UI를 주어진 UX로 조작하는 정보를 추출하여 데이터 학습부(330)에 전달할 수 있다. 이때, 외부 환경 정보, 초점 정보, 시선과 초점에 따른 렌더링 정보가 프레임워크 구동부(340)를 통하여 사용자 경험 엔진부(350)으로 전달될 수 있다.
프레임워크 구동부(340)는 제스처 정보, 음성 정보, 디바이스 입력 정보, 외부환경 정보, 초점 정보, 및 렌더링 정보 등을 사용자 경험 엔진부(350)에 전달하기 위한 프레임워크의 역할을 하고, 상기 정보들은 운전자가 HMI 시스템(320)을 조작할 당시의 상태를 가지고 전달될 수 있다.
데이터 학습부(330)는 운전자의 상태, 운전자의 패턴, 반응 속도 등의 데이터와, 설문 결과, 운전 상황에 따른 운전자의 심미적, 감각적 요소들을 컴포넌트화 하여 데이터베이스에 저장할 수 있다. 또한, 데이터 학습부(330)는 데이터가 학습될 때 마다 업데이트 할 수 있다.
데이터 학습부(330)에서 가공된 데이터는 사용자 경헌 엔진부(350)로 전달되며, 사용자 경험 엔진부(350)는 HMI를 조작할 때의 상태 정보와 전달받은 데이터를 비교하여, 운전자가 외부 내부 환경에 따라 시선이 얼마나 분산되고 방해 받는지 정도는 정도, 안전한 조작 등에 대한 알고리즘을 분석할 수 있다.
사용자 경험 엔진부(350)는 HMI 시스템(320)을 통하여 평가자에게 실시간으로 분석 결과를 제공하여, 문제 되는 부분과 해결해야 하는 부분을 제시하여 HMI UI/UX를 수정하도록 할 수 있다.
도 4는 본 발명의 일실시예에 따른 운전자 집중도 분석 방법을 도시한 흐름도이다.
도 4를 참조하면, 운전자 집중도 분석 장치는 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하고(410), 디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석한다(420).
또한, 운전자 집중도 분석 장치는 운전자의 정량적 데이터 및 사용자 인터페이스의 반응 속도를 기반으로 운전자의 시선 분산 정도를 평가한다(430).
도 5는 본 발명의 다른 실시예에 따른 운전자 집중도 분석 방법을 도시한 흐름도이다.
도 5를 참조하면, 운전자 집중도 분석 장치는 디바이스 입력 정보, 제스처 정보, 및 음성 정보를 입력받아 운전자가 조작하는 사용자 인터페이스를 연결하고(510), 주행 상황에 따른 상기 운전자의 행동 및 반응에 대한 사용자 인터페이스 조작 정보를 학습한다(520).
운전자 집중도 분석 장치는 디바이스 입력 정보, 제스처 정보, 음성 정보, 차량 외부 환경 정보, 및 운전자의 초점 및 시선에 따른 렌더링 정보를 수집하고(530), 디바이스 입력 정보, 제스처 정보, 음성 정보, 차량 외부 환경 정보, 및 렌더링 정보를 제공 받아, 운전자의 운전 집중도를 분석한다(540).
본 발명의 일측에 따른 운전자 집중도 분석 방법은 차량용 인포테인먼트가 발달하고 운전자의 상태를 인식하고 운전자가 직관적 인터페이스를 활용하여 HMI를 조작함에 있어, 외부 환경적 요인에 따라 주행 중 방해가 되지 않는 HMI UI/UX를 정량적 데이터를 수집 및 학습하여 평가할 수 있는 시스템을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 운전자 집중도 분석 장치
110: 시선 분산 분석부
120: 반응 속도 분석부
130: 시선 분산 평가부
140: 사용자 경험 플랫폼 구동부

Claims (15)

  1. 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하는 시선 분산 분석부;
    디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석하는 반응 속도 분석부; 및
    상기 운전자의 정량적 데이터 및 사용자 인터페이스의 반응 속도를 기반으로 상기 운전자의 시선 분산 정도를 평가하는 시선 분산 평가부
    를 포함하고,
    상기 시선 분산 평가부는 상기 시선 분산 정도를 상기 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도에 대한 가중치, 주행 속도에 따른 상기 운전자의 시선 집중도, 주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도 및 상기 운전자의 시선 분산 시간으로 평가하는 운전자 집중도 분석 장치.
  2. 제1항에 있어서,
    다중 입력 장치를 연결하여 상기 시선 분산 평가부와 연동되는 사용자 경험(User Experience) 플랫폼 구동부
    를 더 포함하는 운전자 집중도 분석 장치.
  3. 제1항에 있어서,
    상기 시선 분산 분석부는,
    디스플레이 되는 주행 정보 및 주행 상황에 따라 상기 운전자가 시선을 집중하는 시간과 인지 시간에 대한 반응 속도를 정량화 하여 학습하는 운전자 집중도 분석 장치.
  4. 제3항에 있어서,
    상기 주행 정보는,
    헤드 업 디스플레이(HUD: Head Up Display) 상에 표시되는 주행 정보, 인스투르먼트 클러스터 상에 표시되는 주행 정보, 및 중앙 디스플레이 상에 표시되는 주행 정보를 포함하는 운전자 집중도 분석 장치.
  5. 제1항에 있어서,
    상기 반응 속도는,
    상기 HMI의 사용자 경험(UX: User Experience)에 대한 상기 운전자의 인지 반응 속도를 포함하는 운전자 집중도 분석 장치.
  6. 제1항에 있어서,
    상기 시선 분산 평가부는,
    상기 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도에 대한 가중치를 계산하는 가중치 계산부;
    주행 속도에 따른 상기 운전자의 시선 집중도를 계산하는 집중도 계산부;
    주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도를 계산하는 방해 빈도 계산부; 및
    상기 운전자의 시선 분산 시간을 계산하는 시선 분산 시간 계산부
    를 포함하는 운전자 집중도 분석 장치.
  7. 디바이스 입력 정보, 제스처 정보, 및 음성 정보를 입력받아 운전자가 조작하는 사용자 인터페이스를 연결하는 인터페이스 플러그인 구동부;
    주행 상황에 따른 상기 운전자의 행동 및 반응에 대한 사용자 인터페이스 조작 정보를 학습하는 데이터 학습부;
    상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 차량 외부 환경 정보, 및 상기 운전자의 초점 및 시선에 따른 렌더링 정보를 수집하는 프레임워크 구동부; 및
    상기 프레임워크 구동부로부터 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 제공 받아, 상기 운전자의 운전 집중도를 분석하는 사용자 경험 엔진부
    를 포함하고,
    상기 렌더링 정보는,
    상기 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터와 상기 사용자 인터페이스의 반응 속도에 대한 가중치, 주행 속도에 따른 상기 운전자의 시선 집중도, 주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도, 및 상기 운전자의 시선 분산 시간으로 평가되는 상기 운전자의 시선 분산 정도에 따른 렌더링 정보인 운전자 집중도 분석 장치.
  8. 제7항에 있어서,
    상기 프레임워크 구동부는,
    상기 운전자가 상기 사용자 인터페이스를 조작하는 시점에, 상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 수집하여 상기 사용자 경험 엔진부로 전달하는 운전자 집중도 분석 장치.
  9. 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터를 분류하는 단계;
    디바이스 입력 정보, 음성 정보, 및 제스처 정보를 통한 명령 입력 시, HMI(Human Machine Interface)의 반응 속도를 분석하는 단계; 및
    상기 운전자의 정량적 데이터 및 사용자 인터페이스의 반응 속도를 기반으로 상기 운전자의 시선 분산 정도를 평가하는 단계
    를 포함하고,
    상기 평가하는 단계는, 상기 운전자의 정량적 데이터와 사용자 인터페이스의 반응 속도에 대한 가중치, 주행 속도에 따른 상기 운전자의 시선 집중도, 주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도, 및 상기 운전자의 시선 분산 시간으로 상기 시선 분산 정도를 평가하는 단계인 운전자 집중도 분석 방법.
  10. 제9항에 있어서,
    상기 정량적 데이터를 분류하는 단계는,
    디스플레이 되는 주행 정보 및 주행 상황에 따라 상기 운전자가 시선을 집중하는 시간과 인지 시간에 대한 반응 속도를 정량화 하여 학습하는 단계
    를 포함하는 운전자 집중도 분석 방법.
  11. 제10항에 있어서,
    상기 주행 정보는,
    헤드 업 디스플레이(HUD: Head Up Display) 상에 표시되는 주행 정보, 인스투르먼트 클러스터 상에 표시되는 주행 정보, 및 중앙 디스플레이 상에 표시되는 주행 정보를 포함하는 운전자 집중도 분석 방법.
  12. 제9항에 있어서,
    상기 반응 속도는,
    상기 HMI의 사용자 경험(UX: User Experience)에 대한 상기 운전자의 인지 반응 속도를 포함하는 운전자 집중도 분석 방법.
  13. 제9항에 있어서,
    상기 운전자의 정량적 데이터 및 상기 사용자 인터페이스의 반응 속도에 대한 가중치를 계산하는 단계;
    주행 속도에 따른 상기 운전자의 시선 집중도를 계산하는 단계;
    주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도를 계산하는 단계; 및
    상기 운전자의 시선 분산 시간을 계산하는 단계
    를 더 포함하는 운전자 집중도 분석 방법.
  14. 디바이스 입력 정보, 제스처 정보, 및 음성 정보를 입력받아 운전자가 조작하는 사용자 인터페이스를 연결하는 단계;
    주행 상황에 따른 상기 운전자의 행동 및 반응에 대한 사용자 인터페이스 조작 정보를 학습하는 단계;
    상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 차량 외부 환경 정보, 및 상기 운전자의 초점 및 시선에 따른 렌더링 정보를 수집하는 단계; 및
    상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 제공 받아, 상기 운전자의 운전 집중도를 분석하는 단계
    를 포함하고,
    상기 렌더링 정보는,
    상기 운전자의 시선이 분산되는 시간 및 시선이 집중되는 시간에 대한 정량적 데이터와 상기 사용자 인터페이스의 반응 속도에 대한 가중치, 주행 속도에 따른 상기 운전자의 시선 집중도, 주변 환경 복잡도에 따른 상기 운전자의 시선 방해 빈도, 및 상기 운전자의 시선 분산 시간으로 평가되는 상기 운전자의 시선 분산 정도에 따른 렌더링 정보인 운전자 집중도 분석 방법.
  15. 제14항에 있어서,
    상기 디바이스 입력 정보, 상기 제스처 정보, 상기 음성 정보, 상기 차량 외부 환경 정보, 및 상기 렌더링 정보를 수집하는 단계는,
    상기 운전자가 상기 사용자 인터페이스를 조작하는 시점에 수행되는 운전자 집중도 분석 방법.
KR1020130013190A 2013-02-06 2013-02-06 운전자 집중도 분석 장치 및 방법 KR102017884B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130013190A KR102017884B1 (ko) 2013-02-06 2013-02-06 운전자 집중도 분석 장치 및 방법
US14/161,057 US9355546B2 (en) 2013-02-06 2014-01-22 Method and apparatus for analyzing concentration level of driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130013190A KR102017884B1 (ko) 2013-02-06 2013-02-06 운전자 집중도 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140100629A KR20140100629A (ko) 2014-08-18
KR102017884B1 true KR102017884B1 (ko) 2019-10-22

Family

ID=51258785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130013190A KR102017884B1 (ko) 2013-02-06 2013-02-06 운전자 집중도 분석 장치 및 방법

Country Status (2)

Country Link
US (1) US9355546B2 (ko)
KR (1) KR102017884B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
US9932033B2 (en) 2007-05-10 2018-04-03 Allstate Insurance Company Route risk mitigation
US9355423B1 (en) 2014-01-24 2016-05-31 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US10096067B1 (en) 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9390451B1 (en) 2014-01-24 2016-07-12 Allstate Insurance Company Insurance system related to a vehicle-to-vehicle communication system
US10783586B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a property of an insurance policy based on the density of vehicles
US10803525B1 (en) 2014-02-19 2020-10-13 Allstate Insurance Company Determining a property of an insurance policy based on the autonomous features of a vehicle
US9940676B1 (en) 2014-02-19 2018-04-10 Allstate Insurance Company Insurance system for analysis of autonomous driving
US10783587B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a driver score based on the driver's response to autonomous features of a vehicle
US10796369B1 (en) 2014-02-19 2020-10-06 Allstate Insurance Company Determining a property of an insurance policy based on the level of autonomy of a vehicle
US10269075B2 (en) * 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
KR101816415B1 (ko) 2016-06-21 2018-02-21 현대자동차주식회사 시선 추적을 이용한 운전자 집중도 감시 장치 및 방법
JP6778872B2 (ja) * 2016-06-28 2020-11-04 パナソニックＩｐマネジメント株式会社 運転支援装置及び運転支援方法
KR101896790B1 (ko) 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
DE102017200735A1 (de) * 2017-01-18 2018-07-19 Volkswagen Aktiengesellschaft Verfahren und Anordnung zur Interaktion mit einem Vorschlagssystem mit automatisierten Bedienhandlungen
US10807605B2 (en) 2018-12-19 2020-10-20 Waymo Llc Systems and methods for detecting and dynamically mitigating driver fatigue
US11377114B2 (en) * 2019-03-14 2022-07-05 GM Global Technology Operations LLC Configuration of in-vehicle entertainment based on driver attention
KR102649027B1 (ko) * 2019-05-31 2024-03-21 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
CN110324788B (zh) * 2019-07-04 2020-09-25 河南牧业经济学院 基于航迹的航空自组网分簇方法及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231461A1 (en) * 2007-03-20 2008-09-25 Julian Sanchez Method and system for maintaining operator alertness
JP2008250775A (ja) * 2007-03-30 2008-10-16 Denso Corp データベース装置、注意喚起装置及び運転支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3922665A (en) * 1974-10-04 1975-11-25 Whittaker Corp Apparatus and method for maintaining operator alertness
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
EP1914106A3 (en) 2003-06-06 2008-09-24 Volvo Technology Corporation An attention management system and method
DE10343251A1 (de) 2003-09-17 2005-05-12 Siemens Ag HMI System mit einem mobilen Bedien- und Beobachtungsgerät für sicherheitsrelevante Bedienungen an einer technischen Anlage
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
KR101001617B1 (ko) 2007-12-17 2010-12-17 한국전자통신연구원 가상 모바일 정보기기의 사용성 평가 시스템 및 그 방법
KR20090107110A (ko) 2008-04-08 2009-10-13 구태윤 차량주행시뮬레이터를 위한 운전자인터페이스 실험방법
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
WO2011045936A1 (ja) * 2009-10-15 2011-04-21 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
KR20140070861A (ko) * 2012-11-28 2014-06-11 한국전자통신연구원 멀티 모달 ｈｍｉ 제어 장치 및 방법
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231461A1 (en) * 2007-03-20 2008-09-25 Julian Sanchez Method and system for maintaining operator alertness
JP2008250775A (ja) * 2007-03-30 2008-10-16 Denso Corp データベース装置、注意喚起装置及び運転支援装置

Also Published As

Publication number Publication date
KR20140100629A (ko) 2014-08-18
US9355546B2 (en) 2016-05-31
US20140218188A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
KR102017884B1 (ko) 운전자 집중도 분석 장치 및 방법
JP7158876B2 (ja) 没入型シミュレータのためのシステム及び方法
Riegler et al. A research agenda for mixed reality in automated vehicles
CN104823147A (zh) 作为与应用的交互的多模式用户表达和用户力度
KR20140070861A (ko) 멀티 모달 ｈｍｉ 제어 장치 및 방법
Jahani et al. User evaluation of hand gestures for designing an intelligent in-vehicle interface
Mohd et al. Multi-modal data fusion in enhancing human-machine interaction for robotic applications: a survey
Riegler et al. A systematic review of augmented reality applications for automated driving: 2009–2020
Lee et al. User interface for in-vehicle systems with on-wheel finger spreading gestures and head-up displays
Roider et al. Investigating the effects of modality switches on driver distraction and interaction efficiency in the car
Patel et al. Inspection of in-vehicle touchscreen infotainment display for different screen locations, menu types, and positions
Prabhakar et al. A brief survey on interactive automotive UI
Kalalahti Developing usability evaluation heuristics for augmented reality applications
Zhang et al. Mid-air gestures for in-vehicle media player: elicitation, segmentation, recognition, and eye-tracking testing
Tunca et al. An investigation into glance-free operation of a touchscreen with and without haptic support in the driving simulator
Colley et al. A systematic evaluation of solutions for the final 100m challenge of highly automated vehicles
Benoit et al. Multimodal signal processing and interaction for a driving simulator: Component-based architecture
Magnaudet et al. What should adaptivity mean to interactive software programmers?
Cardenas et al. AARON: assistive augmented reality operations and navigation system for NASA’s exploration extravehicular mobility unit (xEMU)
Nagy et al. Car Simulator Study for the Development of a Bring-Your-Own-Device (BYOD) Dashboard Concept
Hafizi et al. In-vehicle Performance and Distraction for Midair and Touch Directional Gestures
Krstačić et al. Safety Aspects of In-Vehicle Infotainment Systems: A Systematic Literature Review from 2012 to 2023
Wang et al. A new dynamic spatial information design framework for AR-HUD to evoke drivers’ instinctive responses and improve accident prevention
Roider Natural Multimodal Interaction in the Car-Generating Design Support for Speech, Gesture, and Gaze Interaction while Driving
Hinterleitner et al. Analyzing Gaze Behavior Prior to Interacting with a Multimedia Interface in a Car

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant