KR20180090644A - 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법 - Google Patents

운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR20180090644A
KR20180090644A KR1020170015755A KR20170015755A KR20180090644A KR 20180090644 A KR20180090644 A KR 20180090644A KR 1020170015755 A KR1020170015755 A KR 1020170015755A KR 20170015755 A KR20170015755 A KR 20170015755A KR 20180090644 A KR20180090644 A KR 20180090644A
Authority
KR
South Korea
Prior art keywords
driver
information
vehicle
behavior
generating
Prior art date
Application number
KR1020170015755A
Other languages
English (en)
Inventor
김진우
김기태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170015755A priority Critical patent/KR20180090644A/ko
Publication of KR20180090644A publication Critical patent/KR20180090644A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G06K9/00825—
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • B60Y2400/3044—Vibration sensors

Abstract

운전자 및 차량 간의 상호 작용을 위한 장치가 제공된다. 이 장치는, 운전자 행동을 인식하여, 운전자 행동 정보를 생성하는 운전자 행동 인식 모듈; 차량 행동을 인식하여, 차량 행동 정보를 생성하는 차량 행동 인식 모듈; 상기 운전자 행동 정보와 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 주행 패턴을 인식하여 주행 안정성 예측 정보를 생성하는 주행 안정성 인식 모듈; 및 운전자와 차량이 상호 작용된 주행 안정성 예측 정보를 기반으로, 운전자가 주행 모드를 전환하도록 유도하는 피드백 정보를 생성하는 운전자-차량 상호작용 처리 모듈;을 포함한다.

Description

운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법{DEVICE AND MEHTOD FOR INTERACTION BETWEEN DRIVER AND VEHICLE}
본 발명은 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법에 관한 것으로, 자율 주행 차량에서 주행 모드를 전환하기 위한 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법에 관한 것이다.
최근, 자율 주행 기술(또는 운전자 보조 시스템(Advanced Driver Assistance Systems: ADAS)의 적응 순항 제어(Adaptive Cruise Control: ACC) 및 차선 유지 시스템(Lane Keeping System: LKS) 기술)이 차량에 적용되면서, 운전자 개입 없이 차량의 자율 주행을 제공하는 서비스가 상용화되고 있는 추세이다.
이러한 자율 주행 기술이 적용된 차량은 운전자가 차량을 수동적으로 제어하는 운전자 주행 모드에서 발생할 수 있는 스트레스, 피로 등을 줄일 수 있지만, 다양한 변수가 존재하는 위급한 상황에서 자율 주행을 유지하는 것은 교통사고를 유발할 수 있다.
이에, 위급한 상황에서는 자율 주행 모드를 운전자 주행 모드로 전환하는 것이 필요하다. 즉, 위급한 상황에서는 차량의 주행과 관련된 제어권을 운전자에게 인계하는 것이 필요하다.
기존에는 버튼 입력 방식에 따른 이벤트가 발생하면, 주행 모드 전환(자율 주행 모드에서 운전 주행 모드로의 전환 또는 운전자 주행 모드)이 일어난다. 이러한 버튼 입력 방식에 따른 기존의 모드 전환은 모드 전환이 필요한 위급한 상황에서 운전자가 버튼을 찾는 과정에서 소요되는 시간으로 인해, 모드 전환이 신속하게 이루어지지 못하여 운전자가 위급한 상황을 빠르게 대처하지 못한다.
또한, 기존의 모드 전환 방식은 버튼을 찾는 과정에서 운전자의 시야가 순간적으로 전방으로부터 이탈하기 때문에, 위급한 상황에서는 교통 사고의 위험성을 더 높이는 문제가 있다.
따라서, 본 발명의 목적은 차량의 주행 모드 전환이 필요한 상황을 차량과 운전자가 동시에 인식하도록 운전자 및 차량이 상호 작용된 주행 안정성 예측을 기반으로 주행 모드 전환을 위한 운전자의 행동 변화를 유도하는 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법을 제공하는 데 있다.
본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일면에 따른 운전자 및 차량 간의 상호 작용을 위한 장치는, 운전자 행동을 인식하여, 운전자 행동 정보를 생성하는 운전자 행동 인식 모듈; 차량 행동을 인식하여, 차량 행동 정보를 생성하는 차량 행동 인식 모듈; 상기 운전자 행동 정보와 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 주행 패턴을 인식하여 주행 안정성 예측 정보를 생성하는 주행 안정성 인식 모듈; 및 운전자와 차량이 상호 작용된 주행 안정성 예측 정보를 기반으로, 운전자가 주행 모드를 전환하도록 유도하는 피드백 정보를 생성하는 운전자-차량 상호작용 처리 모듈;을 포함한다.
본 발명의 다른 일면에 따른 운전자 및 차량 간의 상호 작용을 위한 방법은, 운전자 행동을 인식하여, 운전자 행동 정보를 생성하는 단계; 차량 행동을 인식하여, 차량 행동 정보를 생성하는 단계; 상기 운전자 행동 정보와 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 주행 패턴을 인식하고, 인식된 주행 패턴을 이용하여 주행 안정성 예측 정보를 생성하는 단계; 상기 주행 안정성 예측 정보를 기반으로, 주행 모드를 전환하도록 운전자의 행동 변화를 유도하는 피드백 정보를 생성하는 단계; 및 상기 피드백 정보를 운전자가 착용한 웨어러블 디바이스로 전송하는 단계;를 포함한다.
본 발명에 따르면, 운전자 행동과 차량 행동을 통합적으로 판단한 결과를 기반으로 주행 안정성을 예측함으로써, 차량과 운전자가 상호작용된 새로운 프레임의 안전한 주행 환경을 위한 가이드라인을 제시할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 운전자 및 차량 간의 상호 작용을 위한 장치의 내부 구성을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 도시된 운전자 행동 인식 모듈의 내부 구성을 개략적으로 나타내는 블록도이다.
도 3은 도 1에 도시된 차량 행동 인식 모듈의 내부 구성을 개략적으로 나타내는 블록도이다.
도 4는 도 1에 도시된 주행 안정성 인식 모듈의 내부 구성을 개략적으로 나타내는 블록도이다.
도 5는 도 1에 도시된 운전자-차량 상호작용 처리 모듈의 내부 구성을 개략적으로 도시한 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 주행 모드 전환을 위한 운전자 및 차량 간의 상호 작용 방법을 나타내는 순서도이다.
도 7은 도 6에 도시된 단계 S420의 상세 과정을 나타낸 순서도이다.
도 8은 도 6에 도시된 단계 S430의 상세 과정을 나타낸 순서도이다.
본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 운전자 및 차량 간의 상호 작용을 위한 장치의 내부 구성을 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 운전자 및 차량 간의 상호 작용을 위한 장치(100)는 자율 주행 차량(이하, "차량"이라 한다) 내부에 설치되어, 운전자 및 차량 간의 상호 작용을 기반으로 차량의 주행 모드 전환을 제어한다. 즉, 상기 운전자 및 차량 간의 상호 작용을 위한 장치(100)는 운전자와 차량 간의 상호 작용을 기반으로 자율 주행 모드에서 운전자 주행 모드 또는 운전자 주행 모드에서 자율 주행 모드로 차량의 주행 모드 전환을 제어한다.
이를 위해, 운전자 및 차량 간의 상호 작용을 위한 장치(100)는 제1 비젼 센서(101), 터치 센서(103), 웨어러블 디바이스(105), 제2 비젼 센서(107), 운전자 행동 인식 모듈(110), 차량 행동 인식 모듈(120), 주행 안정성 인식 모듈(130), 운전자-차량 상호 작용 처리 모듈(140), 통신 모듈(150) 및 출력 모듈(160)을 포함한다.
제1 비젼 센서(101)
상기 제1 비젼 센서(101)은 운전자의 얼굴, 손, 팔 등을 촬영하도록 차량 내부의 임의의 위치에 설치되어, 운전자의 얼굴, 손, 팔 등을 촬영한 운전자 영상 정보를 생성하고, 이를 운전자 행동 인식 모듈(110)로 제공한다. 제1 비젼 센서(101)는, 예를 들면, 카메라일 수 있다.
추가로, 상기 제1 비젼 센서(101)는 동승자의 얼굴, 손, 팔 등을 촬영하도록 차량 내부의 다른 임의의 위치에 설치되어, 동승자의 얼굴, 손, 팔 등을 촬영한 동승자 영상 정보를 생성할 수 있다. 따라서, 상기 제1 비젼 센서(101)는 운전자 및 동승자를 촬영하는 복수의 카메라로 구성될 수 있다.
터치 센서(103)
상기 터치 센서(103)는 차량 핸들(steering wheel) 상에 설치되어, 운전자의 손과 차량 핸들 간의 접촉과 관련된 다양한 터치 정보를 생성하고, 이를 상기 운전자 행동 인식 모듈(110)로 제공한다.
상기 다양한 터치 정보는, 예를 들면, 운전자의 손(손바닥 또는 손가락)과 차량 핸들 간의 접촉 면적, 접촉 위치, 접촉 유지 시간, 접촉 압력 등을 포함한다. 이러한 다양한 터치 정보를 생성하기 위해, 상기 터치 센서(103)는 상기 차량 핸들의 전체 표면을 둘러싸도록 상기 차량 핸들 표면 상에 복수로 배치될 수 있다.
웨어러블 디바이스 (105)
상기 웨어러블 디바이스(105)는 운전자의 특정 신체 부위에 직접 착용되는 디바이스 또는 신체에 착용되는 의복, 신발, 장갑, 안경, 모자, 장신구 등과 같은 다양한 유형의 디바이스일 수 있다.
상기 웨어러블 디바이스(105)는 운전자의 특정 신체 부위에서의 움직임 정보(예를 들면, 손, 팔 등의 움직임) 및 운전자의 생체 신호 등을 포함하는 신체 정보를 생성하고, 이를 상기 운전자 행동 인식 모듈(110)로 제공한다.
이를 위해, 상기 웨어러블 디바이스(105)는, 도면에 도시하지는 않았으나, 움직임 감지 센서, 생체 신호 감지 센서, 제어부 및 통신부를 포함하도록 구성될 수 있다.
상기 움직임 감지 센서는, 예를 들면, 손, 팔 등과 같은 운전자의 특정 신체 부위의 움직임을 감지하는 구성으로, 근전도 센서, 가속도 센서 등을 포함할 수 있다.
상기 근전도 센서는, 예를 들면, 손, 팔과 같은 운전자의 신체 부위에 부착된 전극을 통해 손 및 팔의 근육 활동에 따라 발생하는 전기 신호를 근전도 신호로서 제어부로 제공할 수 있다. 그러면, 상기 제어부는 이전의 근전도 신호와 현재의 근전도 신호를 비교하여, 운전자의 손 또는 팔 부위의 근육 이완 및 수축 여부를 판단하여, 손 또는 팔과 같은 신체 부위의 움직임을 추정한다. 예를 들면, 손이 차량 핸들을 움켜쥔 상태, 운전자의 손이 차량 핸들 위에 위치한 상태에서 손을 핀 상태, 운전자가 차량 핸들에서 손을 뗀 상태, 팔을 굽히거나 핀 상태 등과 같은 움직임을 추정할 수 있다.
상기 가속도 센서(또는 자이로 센서)는, 2축 또는 3축 가속도 센서일 수 있다. 상기 가속도 센서는, 잘 알려진 바와 같이, 중력을 이용하여 측정 대상의 기울어진 정도를 센싱하는 센서로서, 그 측정 대상이 팔과 같은 운전자의 신체 부위인 경우, 팔의 피치각(pitch angle) 및 롤각(roll angle)을 측정할 수 있다. 이러한 가속도 센서는, 신체 부위 별로 분산되어 배치될 수 있다. 상기 제어부는 각 신체 부위 별로 배치된 가속도 센서들로부터 제공되는 피치각 및 롤각을 비교하여, 운전자의 신체 부위의 움직임을 추정할 수 있다. 예를 들면, 팔꿈치에 부착된 가속도 센서의 피치각(pitch angle) 및 롤각(roll angle)은 변화가 없는 상태에서 손목 부분에 착용된 가속도 센서의 피치각이나 롤각이 변경되었다면, 팔을 구부리거나 편 상태라고 판단할 수 있다.
상기 생체 신호 감지 센서는 운전자의 생체 신호를 감지하는 센서로서, 운전자의 체온, 호흡량, 심장 박동수, 혈압 등과 같은 생체 신호를 감지하는 다양한 센서들을 포함할 수 있다.
한편, 운전자의 특정 신체 부위에서의 움직임 정보 및 운전자의 생체 신호 등을 포함하는 신체 정보는 상기 통신부에 의해 유선 또는 무선 통신 방식으로 상기 운전자 행동 인식 모듈(110)로 제공될 수 있으며, 이때, 무선 통신 방식은, 블루투스, 와이파이와 같은 근거리 무선 통신 방식일 수 있다.
제2 비젼 센서(101)
상기 제2 비젼 센서(107)는 차량의 주변을 촬영한 주변 영상 정보를 생성하고, 이를 차량 행동 인식 모듈(120)로 제공한다. 상기 제2 비젼 센서(107)는, 예를 들면, 카메라, 적외선 카메라, 레이더, 스테레오 카메라, 라이다(Raidar) 등을 포함할 수 있다.
운전자 행동 인식 모듈(110)
상기 운전자 행동 인식 모듈(110)은 상기 제1 비젼 센서(101)로부터의 운전자 영상 정보, 상기 터치 센서(103)로부터의 터치 정보 및 상기 웨어러블 디바이스(105)로부터의 신체 정보를 기반으로 운전자 행동(driver behavior)을 인식하고, 그 인식 결과인 운전자 행동 정보를 상기 주행 안전성 인식 모듈(130)로 제공한다. 상기 운전자 행동 인식 모듈(110)에 대한 설명은 도 2를 참조하여 상세히 설명하기로 한다.
차량 행동 인식 모듈(120)
상기 차량 행동 인식 모듈(120)은 상기 제2 비젼 센서(107)로부터의 주변 영상 정보를 기반으로 차량의 주행 환경을 분석하여 차량 행동(vehicle behavior)을 인식하고, 그 인식 결과인 차량 행동 정보를 상기 주행 안전성 인식 모듈(130)로 제공한다. 상기 차량 행동 인식 모듈(120)에 대한 설명은 도 3을 참조하여 아래에서 상세히 설명하기로 한다.
주행 안전성 인식 모듈(130)
상기 주행 안전성 인식 모듈(130)은 상기 운전자 행동 인식 모듈(110)로부터의 운전자 행동 정보와 상기 차량 행동 인식 모듈(120)로부터의 차량 행동 정보를 기반으로 주행 안전성을 예측하고, 그 예측 결과인 주행 안전성 예측 정보를 생성하여 상기 운전자-차량 상호작용 처리 모듈(140)로 제공한다. 상기 주행 안전성 인식 모듈(130)에 대한 설명은 도 4를 참조하여 아래에서 상세히 설명하기로 한다.
운전자-차량 간의 상호작용 처리 모듈(140)
상기 운전자-차량 상호작용 처리 모듈(140)은 상기 주행 안전성 인식 모듈(130)로부터의 상기 주행 안전성 예측 정보 및 운전자 행동 인식 모듈(110)로부터의 운전자 행동 정보를 기반으로 피드백 정보를 생성한다.
상기 피드백 정보는, 진동 센서를 제어하기 위한 정보를 포함할 수 있다. 진동 센서는 웨어러블 디바이스, 운전자의 사용자 단말, 동승자의 사용자 단말, 운전자의 시트, 동승자의 시트 등에 설치될 수 있다. 이러한 진동 센서는 운전자가 주행모드를 전환하도록 운전자의 행동 변화를 유도하는 진동을 발생한다. 또한, 상기 피드백 정보는, 운전자 또는 동승자의 사용자 단말(200)로 전송되는 음성 또는 텍스트 형태의 경보 메시지를 포함할 수 있다. 여기서, 사용자 단말(200)은, 스마트 폰일 수 있다. 이러한 경보 메시지는 사용자 단말 외에 차량 내의 전자 장치로 전송될 수 있다. 상기 전자 장치는, 예를 들면, 텍스트 형태의 경보 메시지를 표시하는 표시화면 및 음성 형태의 경보 메시지를 출력할 수 있는 오디오 장치를 갖는 장치일 수 있다.
한편, 상기 피드백 정보는 피드백 레벨을 갖는 정보일 수 있다. 피드백 레벨은, 예를 들면, 진동 주기 및 진동 강도에 따라 구분되는 다수의 레벨로 이루어질 수 있다.
상기 운전자-차량 상호작용 처리 모듈(140)은 상기 주행 안전성 예측 정보와 상기 운전자 행동 정보를 기반으로 피드백 레벨을 결정한다.
또한, 상기 운전자-차량 상호작용 처리 모듈(140)은 상기 결정된 피드백 레벨에 따라 생성된 피드백 정보의 수신 대상을 결정한다. 예를 들면, 상기 운전자-차량 상호작용 처리 모듈(140)이 최초 생성된 피드백 정보를 운전자가 착용한 웨어러블 디바이스(105)에 전송하여, 웨어러블 디바이스(105)에 포함된 진동 센서가 진동을 운전자에게 전달되었음에도 불구하고, 운전자의 행동 변화가 발생하지 않는 경우, 상기 피드백 정보를 동승자의 시트에 설치된 진동 센서 또는 동승자의 사용자 단말로 전송하도록 피드백 정보의 수신 대상을 결정할 수 있다.
또한, 상기 운전자-차량 상호작용 처리 모듈(140)은 상기 주행 안전성 인식 모듈(130)로부터의 상기 주행 안전성 예측 정보 외에 추가로 제공된 상기 운전자 행동 인식 모듈(110)로부터의 상기 운전자 행동 정보와 상기 차량 행동 인식 모듈(120)로부터의 상기 차량 행동 정보를 네트워크(300)를 통해 서버(150)로 전송할 수 있다. 여기서, 상기 네트워크(300)는 인터넷망, 이동 통신망 및 이들을 결합한 이종의 통신망으로 구성될 수 있다.
상기 서버(150)는 상기 운전자 행동 정보 및 상기 차량 행동 정보가 상호 작용된 주행 안전성 예측 정보를 학습하고, 학습된 결과를 상기 운전자-차량 상호작용 처리 모듈(140)로 전송한다.
이와 같이, 상기 운전자-차량 상호작용 처리 모듈(140)은 온라인 학습 방식으로 학습된 결과를 운전자 개인 정보로 구성하여, 주행 모드를 전환하도록 운전자 행동을 유도하는 피드백 정보를 생성하는 처리 과정에 반영함으로써, 보다 신뢰성 있는 주행 모드 전환을 유도할 수 있다.
통신 모듈(150)
상기 통신 모듈(150)은 상기 운전자-차량 상호작용 처리 모듈(140)에서 생성한 정보들을 사용자 단말(200) 및 서버(150)로 전송하거나 수신하도록 무선 통신 기능을 가질 수 있다. 또한, 상기 통신 모듈(150)은 차량 내의 다양한 전자 장치와 통신할 수 있는 통신 기능을 가질 수 있다. 여기서, 상기 통신 모듈(150)과 상기 사용자 단말(200) 간의 무선 통신은 블루투스, 와이파이와 같은 근거리 무선통신일 수 있다. 상기 통신 모듈(150)과 차량 내의 다양한 전자 장치는 CAN 또는 LIN 통신과 같은 차량 네트워크 통신으로 통신할 수 있다.
출력 모듈(160)
상기 출력 모듈(160)은 상기 운전자-차량 간의 상호작용 처리 모듈(140)에서 생성한 정보들을 출력하기 위한 직관적인 사용자 인터페이스를 제공한다. 예를 들면, 상기 출력 모듈(160)은, 도시하지는 않았으나, 스피커와 같은 음성 출력 모듈, LCD 및 LED와 같은 표시 모듈, 헤드-업 디스플레이 등을 포함할 수 있다.
도 2는 도 1에 도시된 운전자 행동 인식 모듈의 내부 구성을 개략적으로 나타내는 블록도이다.
도 2를 참조하면, 상기 운전자 행동 인식 모듈(110)은 운전자 행동을 인식하는 구성으로, 이를 위해, 영상 처리부(111), 운전자 상태/의도 정보 생성부(113), 운전자 행동 정보 생성부(115), 운전자 등록 처리부(117) 및 운전자 데이터베이스(119)를 포함한다.
상기 영상 처리부(111)는 제1 비젼 센서(101)로부터의 운전자 영상 정보에서 운전자 객체 정보를 추출하고, 추출된 운전자 객체 정보를 상기 운전자 상태/의도 정보 생성부(113)로 제공한다. 운전자 영상 정보에서 운전자 객체 정보를 추출하는 방법으로, 객체 추출 알고리즘, 얼굴 인식 알고리즘 등을 포함하는 영상 처리 알고리즘이 이용될 수 있다. 이러한 영상 처리 알고리즘은 공지의 기술이므로, 상세한 설명은 생략한다. 다만, 운전자 객체 정보는 운전자 객체와 상기 운전자 객체의 움직임을 정보화 데이터로서, 여기서, 운전자 객체는 운전자의 상반신, 얼굴, 머리, 눈동자 등을 포함할 수 있다.
한편, 상기 영상 처리부(111)는, 운전자 객체 외에 동승자 객체 정보를 더 추출할 수 있다. 이 경우, 동승자 객체는 운전자의 상반신, 얼굴, 머리, 눈동자 등을 포함할 수 있다.
상기 운전자 상태/의도 정보 생성부(113)는 상기 영상 처리부(111)로부터의 운전자 객체 정보, 상기 터치 센서(103)로부터의 터치 정보, 웨어러블 디바이스(105)로부터의 운전자의 신체 정보를 기반으로 운전자 상태 정보(Driver Status Information)와 운전자 의도 정보(Driver Intention Information)를 생성하고, 상기 운전자 상태 정보와 상기 운전자 의도 정보를 상기 운전자 행동 정보 생성부(115)로 제공한다. 유사하게, 상기 운전자 상태/의도 정보 생성부(113)는 동승자 상태 정보와 동승자 의도 정보를 더 생성할 수 있다.
상기 운전자 상태 정보는 운전자의 시선(Gaze) 정보, 운전자의 머리 자세(Head pose) 정보, 운전자의 팔 및 손 상태 정보 등을 포함할 수 있다.
상기 운전자의 시선 정보는 상기 영상 처리부(111)에서 검출된 눈동자 객체 정보 및 눈동자 객체의 움직임 정보로부터 획득할 수 있다.
상기 운전자의 머리 자세 정보는 운전자의 머리 자세를 나타내는 정보로서, 운전자가 머리를 숙인 상태인지 세운 상태인지를 나타낸다. 또한, 상기 운전자의 머리 자세 정보는 수평 방향 또는 수직 방향의 머리 움직임을 나타낸다. 이러한 운전자의 머리 자세 정보는 운전자 객체 정보에 포함된 머리 객체 정보의 움직임 정보로부터 획득할 수 있다.
상기 운전자의 손 및 팔 상태 정보는 운전자의 손이 펴진 상태인지 차량 핸들을 움켜진 상태인지를 나타내는 정보로서, 상기 웨어러블 디바이스(105)에 포함된 근전도 센서의 근전도 신호로부터 획득할 수 있다.
상기 운전자 의도 정보는 운전자의 의도를 나타내는 정보로서, 상기 웨어러블 디바이스에 포함된 움직임 감지 센서(가속도 센서, 근전도 센서 등)로부터 획득 가능한 운전자의 팔 및 손의 위치 정보 및 상기 터치 센서(103)로부터의 터치 정보(운전자의 손(손바닥 또는 손가락)에 포함된 손과 차량 핸들 간의 접촉 면적, 접촉 위치, 접촉 유지 시간, 접촉 압력)로부터 획득할 수 있다.
상기 운전자 행동 정보 생성부(115)는 상기 상기 운전자 상태/의도 정보 생성부(113)로부터 제공된 상기 운전자 상태 정보와 상기 운전자 의도 정보를 포함하도록 상기 운전자 행동 정보를 생성하고, 생성된 상기 운전자 행동 정보를 상기 운전자 등록 처리부(117)로 제공한다.
상기 운전자 등록 처리부(117)는 운전자 정보와 상기 운전자 행동 정보 생성부(115)로부터의 상기 운전자 행동 정보로 이루어진 운전자 등록 정보를 생성하고, 이를 운전자 데이터베이스(119)에 등록하여 운전자 등록을 완료한다. 이러한 등록 과정에서 상기 운전자 데이터베이스(119)에 사전에 등록된 운전자 등록 정보는 초기화되거나 현재 입력되는 새로운 운전자 등록 정보로 업데이트 된다. 상기 운전자 정보는, 예를 들면, 운전자 식별 정보(예를 들면, 성명, 주민 번호 등), 운전자가 착용한 웨어러블 기기의 식별 정보, 운전자가 소지한 사용자 단말의 식별 정보(예를 들면, 전화 번호 등) 등을 포함하며, 이에 한정하지 않고, 운전자를 식별할 수 있는 모든 정보를 포함할 수 있다.
상기 운전자 등록 처리부(117)는, 운전자 등록을 완료한 후, 상기 운전자 행동 정보 생성부(115)로부터 제공된 상기 운전자 행동 정보를 상기 주행 안정성 인식 모듈(130)로 제공한다.
한편, 상기 운전자 등록 처리부(117)는 운전자 이외에 동승자를 추가로 등록할 수 있다. 이 경우, 동승자 정보는 성명, 주민번호 등과 같은 동승자 식별 정보, 동승자가 소지한 사용자 단말의 식별 정보(예를 들면, 전화 번호 등) 등을 포함하며, 이에 한정하지 않고, 운전자를 식별할 수 있는 모든 정보를 포함할 수 있다.
도 3은 도 1에 도시된 차량 행동 인식 모듈의 내부 구성을 개략적으로 나타내는 블록도이다.
도 3을 참조하면, 상기 차량 행동 인식 모듈(120)은 차량 행동을 인식하는 구성으로, 이를 위해, 형상 모델 검출부(122), 학습 모델 데이터베이스(124), 3차원 형상 모델 추적부(126) 및 3차원 형상 모델 추정부(128)를 포함한다.
상기 형상 모델 검출부(122)는 제2 비젼 센서(107)가 차량 주변 상황을 촬영한 주변 영상 정보로부터 차량 주변 환경을 인식하기 위한 형상 모델을 검출한다.
상기 형상 모델은, 예를 들면, 자차(ego vehicle) 주변의 도로 상에 존재하는 주변 차량들, 보행자들(Pedestrians), 장애물들(obstacles), 도로 곡률에 따른 도로 형상, 주변 차량의 후미등, 표지판 등과 같은 차량 좌표계(또는 제2 비젼 센서의 좌표계)에서 표현할 수 있는 대상물들을 포함할 수 있다.
형상 모델을 검출하기 위해, 상기 형상 모델 검출 모듈(122)은 상기 주변 영상 정보로부터 특징점으로 이루어진 특징 패턴을 추출한다. 여기서, 특징점은 상기 주변 영상 정보에 포함된 픽셀들의 컬러값, 밝기값, 벡터값을 포함할 수 있다.
특징 패턴을 추출한 이후, 상기 형상 모델 검출부(122)는 상기 데이터베이스(124)에 저장된 형상 학습 모델을 참조하여, 상기 추출된 특징 패턴에 매칭되는 형상 학습 모델을 검색하고, 상기 검색된 형상 학습 모델에 의해 분류된 주변 차량들, 보행자들(Pedestrians), 장애물들(obstacles), 도로 곡률에 따른 도로 형상, 후미등, 표지판 등을 대상물로 인식한다.
상기 3차원 형상 모델 추적부(126)는 상기 검출된 형상 모델을 구성하는 특징점들을 추적하여 상기 형상 모델을 3차원적으로 추적한다(tracking).
상기 3차원 형상 모델 추정부(128)는 상기 특징점들을 추적한 결과를 기반으로 상기 3차원적으로 추적된 형상 모델(이하, 3차원 형상 모델)의 자세(pose), 위치 및 모션(궤적, 속도, 방향, 거리)등을 추정(estimation)한다.
이와 같이, 상기 차량 행동 인식 모듈(120)은 차량 주변 환경을 나타내는 3차원 형상 모델의 추적 및 추정을 통해 자신(ego vehicle)의 행동을 인식하고, 3차원 형상 모델의 추적 및 추정 정보를 포함하도록 차량 행동 정보를 생성하고, 이를 상기 주행 안전성 인식 모듈(130)로 제공한다.
도 4는 도 1에 도시된 주행 안정성 인식 모듈의 내부 구성을 개략적으로 나타내는 블록도이다.
도 4를 참조하면, 상기 주행 안정성 인식 모듈(130)은 운전자 상태 인식부(132), 주행 패턴 인식부(134), 주행 안정성 인식부(136) 및 주행 안정성 예측부(138)를 포함한다.
상기 운전자 상태 인식부(132)는 상기 운전자 행동 인식 모듈(110)로부터의 운전자 행동 정보를 분석하여 운전자 상태를 인식한다.
구체적으로, 상기 운전자 상태 인식부(132)는 상기 운전자 행동 정보에 포함된 상기 운전자 상태 정보와 상기 운전자 의도 정보를 분석하여, 운전자가 졸음 운전 상태, 정상 운전 상태, 운전 집중 상태 또는 주의 분산된 운전 상태인지를 인식한다.
상기 운전자 상태 인식부(132)에서 운전자 상태를 인식된 결과는, 사전에 학습된 운전자 상태 모델(도시하지 않음)을 참조하여, 아래의 표 1과 같이, 운전자 상태 레벨로 정보화될 수 있다.
Figure pat00001
위의 표 1을 참조하면, 지시자 "DT"는 주의 분산의 영문 표기명인 "Distraction"의 약자이고, 괄호 안의 지시자 "GZ"는 시선의 영문 표기명인 "GaZe"의 약자이다. 즉, 지시자 DT(GZ)는 운전자의 시선에 따른 주의 분산 정도를 나타내는 항목이다. 지시자 DT(GZ)는 세부적으로 지시자 'N', 'H', 'V'으로 구분할 수 있으며, 'N'는 운전자의 시선이 전방을 향하고 있음을 나타내는 지시자이다. 즉, 'N'은 운전자의 시선이 정상(Normal)적인 방향을 향하고 있음을 나타내는 지시자이다. 그리고, 지시자 'H'는 운전자의 시선이 전방을 기준으로 수평(Horizontal) 방향의 임의의 위치를 향하고 있음을 나타내는 지시자이고, 'V'는 운전자의 시선이 전방을 기준으로 수직(Vertical) 방향의 임의의 위치를 향하고 있음을 나타내는 지시자이다. 즉, 지시자 'H' 및 'V'는 운전자의 시선이 비정상적인 방향을 향하고 있음을 나타내는 지시자이다.
지시자 "DR"은 졸음의 영문 표기명인 "DRowsy"의 약자이고, 괄호 안의 지시자 "SP"는 졸고 있는 상태(또는 불완전 수면 상태)를 나타내는 영문 표기명인 "SleePy"의 약자이다. 괄호 안의 지시자 "SL"은 자고 있는 상태(완전 수면 상태)를 나타내는 영문 표기명인 "SLeep"의 약자이다. 즉, 졸음 정도를 나타내는 지시자 DR은 세부적으로 졸고 있는 상태(SP)와 자고 있는 상태(SL)로 항목을 세부적으로 나눌 수 있다.
지시자 "MY"는 근전도의 영문 표기명인 "electroMYogram"의 약자이고, 지시자 RS은 운전자의 손이 핸들을 놓은 상태를 나타내는 영문 표기명 "RElease"의 약자이고, 지시자 "GR"은 운전자의 손이 핸들은 붙잡은 상태를 나타내는 영문 표기명 "GRabbing"의 약자이다.
Lv.0은 운전자가 핸들을 붙잡은 상태에서 운전자의 시선이 전방을 주시한 상태를 지시하는 레벨이다. Lv.1은 운전자가 핸들에서 손을 뗀 상태에서 전방을 주시하는 상태를 지시하는 레벨이다. Lv.2는 운전자의 머리가 수평방향으로 움직이는 상태를 지시한다. Lv.3은 무언가(something)에 집중하고 있는 상태를 지시하는 레벨로서, 전방을 주시하고 있지는 않지만, 전방에서 일어나는 위험 상황에서 즉각적으로 반응할 수 있는 상태를 지시한다. Lv.4는 운전자의 머리가 수직 방향으로 숙인 상태를 지시하는 레벨로서, 예를 들면, 무언가(something, 스마트 폰)에 과도하게 집중하고 있어, 모드 전환 또는 위험상황을 알리는 시스템의 알림에도 즉각 반응할 수 없는 상태를 지시한다. Lv.5는 운전자의 졸음 상태에서 핸들에서 완전히 손을 놓은 상태를 지시한다.
이와 같이, 운전자 상태 레벨은 주행 모드의 전환 필요성을 결정하는 기준으로 이용될 수 있다. 예를 들면, Lv.0에서 Lv.5로 갈수록 위험성이 높아지므로, 차량의 주행 모드는 운전자 상태 레벨이 높아질수록 운전자 주행 모드에서 자율 주행 모드로 전환해야 하는 필요성이 높다.
또한, 이러한 운전자 상태 레벨은 차량 행동 인식 모델(120)로부터 제공된 차량 행동 정보와 상호작용하여 아래에서 설명될 주행 패턴 인식부(136)에서 차량의 주행 패턴을 인식하는 유용한 정보로 이용된다.
한편, 표 1에서는, 6개의 레벨들로 구분되는 운전자 상태 레벨을 예시하고 있지만, 이는 설명의 이해를 돕기 위함이지, 운전자 상태를 6개의 레벨들로 한정하고자 하는 의도는 아니다. 따라서, 운전자 상태 레벨은 더 많은 레벨들로 세분화될 수 있다.
상기 주행 패턴 인식부(134)는 상기 운전자 상태 인식부(132)로부터의 운전자 상태 레벨과 차량 행동 인식 모듈(120)로부터의 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 차량(ego vehicle)의 주행 패턴을 인식하고, 그 인식 결과로서 주행 패턴 정보를 생성한다. 즉, 상기 주행 패턴 인식부(134)는 운전자의 졸음, 주의 분산, 정상 상태, 집중도와 관련된 운전자 상태 레벨과 차량 주변의 정적 및 동적인 객체의 3차원 형상 모델 정보(3차원 형상 모델의 자세(pose) 정보, 위치 정보 및 모션 정보(궤적, 속도, 방향, 거리))와 관련된 차량 행동 정보가 상호 작용된 주행 패턴 정보를 생성함으로써, 차량 행동 정보를 고려하지 않고 오직 운전자 상태로부터 파악된 위험상황을 기반으로 주행 모드의 전환을 알리는 종래와 분명한 차이점이 있다.
이러한 주행 패턴 정보는 운전자 상태 레벨과 같이, 다수의 레벨로 정보화될 수 있으며, 이 경우, 주행 패턴 정보는 다수의 "주행 패턴 레벨"로 세분화될 수 있다.
다수의 주행 패턴 레벨을 세분화하기 위해, 사전에 구축된 "주행 패턴 레벨 학습 모델(도 4에서는 도시하지 않음)"이 이용될 수 있다. 예를 들면, 상기 주행 패턴 인식부(134)는 사전에 운전자 상태 레벨과 차량 행동 정보에 맵핑되는 다수의 주행 패턴 레벨을 학습한 주행 패턴 학습 모델을 참조하여, 상기 다수의 주행 패턴 레벨 중에서 현재 제공되는 운전자 상태 레벨과 차량 행동 정보에 맵핑되는 주행 패턴 레벨을 검색하고, 검색된 주행 패턴 레벨을 상기 주행 패턴 정보로서 생성할 수 있다.
상기 주행 안정성 인식부(136)는 상기 주행 패턴 인식부(134)로부터의 상기 주행 패턴 정보를 분석하여 현 주행 모드에서의 차량(ego vehicle)의 주행 안정성을 인식한다. 즉, 상기 주행 안정성 인식부(136)는 운전자 상태 레벨과 차량 행동 정보가 상호작용된 주행 패턴 정보를 분석하여, 운전자 행동과 차량 행동이 상호작용된 주행 안정성을 인식하고, 그 인식 결과로서 주행 안정성 정보를 생성한다.
주행 안정성 정보를 생성하는 방법으로, 주행 패턴 정보와 주행 안정성 정보가 맵핑된 주행 안정성 학습 모델(도 4에서 도시하지 않음)이 이용될 수 있다.
상기 주행 안정성 예측부(138)는 상기 주행 안정성 인식부(136)로부터 제공되는 과거의 주행 안정성 정보와 현재의 주행 안정성 정보를 학습(예를 들면, 기계 학습)하여, 미래의 주행 안정성 정보를 예측하고, 그 예측 결과로서, 주행 안정성 예측 정보를 생성한다. 이러한 주행 안정성 예측 정보는 주행 안정성, 즉, 위험 정도에 따라 구분되는 다수의 주행 안정성 레벨로 이루어질 수 있다.
도 5는 도 1에 도시된 운전자-차량 상호작용 처리 모듈의 내부 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 운전자-차량 상호작용 처리 모듈(140)은 피드백 레벨 결정부(141), 운전자 반응 상태 인식부(143) 및 제어부(145)를 포함한다.
상기 피드백 레벨 결정부(141)는 상기 주행 안전성 인식 모듈(130)로부터의 주행 안정성 예측 정보와 상기 운전자 행동 인식 모듈(110)로부터의 운전자 행동 정보(또는 운전자 상태 인식부(132)로부터의 운전자 상태 레벨)를 기반으로 차량의 현재 주행 모드(자율 주행 모드 또는 운전자 주행 모드)에서의 피드백 레벨을 결정한다.
상기 피드백 레벨은, 예를 들면, 상기 웨어러블 디바이스(105)에 포함된 진동 센서를 제어하기 위한 제어 정보일 수 있다. 이 경우, 상기 피드백 레벨은 진동 강도 및 진동 주기 중 적어도 하나의 레벨을 결정하는 정보일 수 있다.
상기 운전자 반응 상태 인식부(143)는 상기 피드백 레벨 결정부(141)에서 결정된 피드백 레벨에 따라 생성된 피드백 정보를 운전자에게 제공했을 때, 주행 모드 전환을 위한 운전자 행동 변화가 있는지 지를 인식하고, 그 인식결과를 제어부(145)로 제공한다.
운전자의 행동 변화는 상기 피드백 정보를 운전자에게 제공한 시점 이전의 운전자 행동 정보(이하, 제1 운전자 행동 정보)와 상기 피드백 정보를 운전자에게 제공한 시점 이후의 운전자 행동 정보(이하, 제2 운전자 행동 정보) 간의 비교하는 방식으로 확인할 수 있다.
제1 및 제2 운전자 행동 정보가 동일하면, 상기 운전자 반응 상태 인식부(143)는 운전자의 행동 변화가 없는 무반응 상태를 인식한다. 이러한 무반응 상태는 운전자 상태가 졸음 운전을 하고 있는 상태, 어떤 것에 과도하게 집중하고 있는 상태 등을 예로 들 수 있다.
상기 제어부(145)는 상기 운전자 행동 정보, 상기 운전자 반응 상태 인식부(143)로부터의 인식 결과 및 상기 피드백 레벨 결정부(141)로부터의 피드백 레벨을 기반으로 피드백 정보를 생성한다. 또한, 상기 제어부(145)는 상기 서버(150)와 연동하여 상기 운전자 행동 정보 및 상기 차량 행동 정보가 상호 작용된 주행 안전성 예측 정보를 온라인 학습 방식으로 학습한다.
구체적으로, 상기 제어부(145)는 상기 운전자 행동 정보와 상기 운전자 반응 상태를 나타내는 상기 인식 결과를 기반으로, 적절한 피드백 정보의 종류와 수신 대상을 결정한다.
상기 제어부(145)는 운전자의 상태에 따라 적절한 피드백을 제공하도록 피드백 종류를 결정한다. 예를 들면, 현재 운전자 상태가 머리를 숙인 상태에서 운전자의 사용자 단말(예를 들면, 스마트 폰)에 집중하고 있는 상태라면, 진동과 같은 피드백보다는 음성 형태 또는 텍스트 형태의 경보 메시지를 포함하는 피드백 정보를 생성하여, 이를 운전자의 사용자 단말(200, 도 1에 도시됨)에 전송하는 것이 주행 모드 전환을 위한 운전자 행동 변화를 유도하는데 적절할 것이다.
또한, 상기 제어부(145)는 차량 내에 설치된 오디오 출력 장치(도시하지 않음)와 연결되어, 운전자에게 위험상황을 알리는 문자 메시지, 경보음 또는 음성 메시지와 같은 피드백을 제공하도록 상기 오디오 출력 장치를 제어할 수 있다. 음성 메시지는, 예를 들면, 예를 들면, "핸들을 잡으세요", "시스템 오류입니다. 직접 운전하세요", "브레이크를 밟으세요" "경로를 이탈하였습니다"와 같은 메시지일 수 있다. 이와 같이, 피드백을 차량 내에 설치된 오디오 출력 장치를 통해 제공하는 경우, 운전자 차량-상호작용 처리 모듈(140)과 오디오 출력 장치는 CAN 통신 또는 LIN 통신과 같은 차량 네트워크 통신으로 연결될 수 있다.
또한, 상기 제어부(145)는 상호 작용하는 차량 행동과 운전자 행동을 학습하고, 학습된 정보를 네트워크(300)를 통해 서버(150)로 제공할 수 있다. 그러면, 서버(150)는 상기 학습된 정보를 재학습하고, 재학습된 정보를 다시 상기 네트워크(300)를 통해 상기 제어부(145)로 제공할 수 있다.
상기 제어부(145)는 상기 서버(150)에서 재학습한 정보를 기초로 상황에 적절한 주행 안전과 적합성에 대한 분석결과를 통해 직관적인 UI형태로 제공하도록 상기 출력 모듈(160, 도 1에 도시됨)을 제어할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 주행 모드 전환을 위한 운전자 및 차량 간의 상호 작용 방법을 나타내는 순서도로서, 아래의 각 단계를 설명하는 과정에서 앞에서 설명한 내용과 중복된 내용은 간략히 기재하거나 생략하기로 한다.
도 6을 참조하면, 단계 S410에서, 운전자 행동을 인식하여 운전자 행동 정보를 생성하는 과정이 수행된다. 운전자 행동은 운전자 시선과 머리 자세, 운전자의 손과 차량 핸들 간의 접촉 상태 및 운전자의 손과 팔의 상태를 분석하여 인식될 수 있다. 운전자 시선과 머리 자세는 제1 비젼 센서(101)에서 촬영한 운전자 영상 정보를 기반으로 분석될 수 있다. 운전자의 손과 차량 핸들 간의 접촉 상태는 차량 핸들에 설치된 터치 센서(103)에서 감지한 터치 정보를 기반으로 분석될 수 있다. 운전자의 손과 팔의 상태는 운전자가 착용한 웨어러블 디바이스(105)에 포함된 근전도 센서 및 가속도 센서에서 각각 감지한 근전도 신호와 가속도값을 기반으로 분석될 수 있다.
단계 S420에서, 차량 행동을 인식하여, 차량 행동 정보를 생성하는 과정이 수행된다. 도 7은 차량 행동을 인식하는 과정을 상세히 나타낸 순서도로서, 도 7을 참조하면, 먼저, 단계 S421에서, 제2 비젼 센서(107)에서 차량의 주변 환경을 촬영한 주변 영상 정보로부터 제2 비젼 센서의 좌표계(또는 차량 좌표계)에서 표현되는 다수의 특징점으로 이루어진 형상 모델을 검출하는 과정이 수행된다. 여기서, 제2 비젼 센서(107)는 카메라, 적외선 카메라, 레이다, 라이다 및 이들 중 적어도 하나를 조합하는 센서일 수 있다. 이어, 단계 S423에서, 상기 형상 모델을 구성하는 특징점을 추적하여, 상기 3차원 형상 모델을 추적하는 과정이 수행된다. 이후, 단계 S425에서, 상기 추적된 3차원 형상 모델을 기반으로 상기 3차원 형상 모델의 자세, 위치 및 모션을 추정하는 과정이 수행된다. 이후, 단계 S427에서, 상기 추정된 3차원 형상 모델의 자세, 위치 및 모션을 기반으로 상기 차량 행동을 인식하는 과정이 수행된다.
다시, 도 6을 참조하면, 차량 행동 정보가 생성되면, 단계 S430에서, 상기 단계 S410에서 생성한 상기 운전자 행동 정보와 상기 단계 S420에서 생성한 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 주행 패턴을 인식하고, 인식된 주행 패턴을 기반으로 주행 안정성 예측 정보를 생성하는 과정이 수행된다. 도 8은 주행 안정성 예측 정보를 생성하는 과정을 상세히 나타낸 순서도로서, 도 8을 참조하면, 먼저, 단계 S431 에서, 상기 운전자 행동 정보를 분석하여 운전자 상태를 인식하고, 인식된 운전자 상태를 기반으로 운전자 상태 레벨을 생성하는 과정이 수행된다. 이어, 단계 S433에서, 상기 운전자 상태 레벨과 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호작용된 주행 패턴을 인식한 후, 인식된 주행 패턴을 기반으로 주행 패턴 정보를 생성하는 과정이 수행된다. 이어, 단계 S435에서, 상기 주행 패턴 정보를 분석하여 주행 안정성을 인식하고, 인식된 주행 안정성을 기반으로 주행 안정성 정보를 생성하는 과정이 수행된다. 이어, S437에서, 과거의 주행 안정성 정보와 현재의 주행 안정성 정보를 이용하여 미래의 주행 안정성을 예측하고, 예측된 주행 안정성을 기반으로 상기 주행 안정성 예측 정보를 생성하는 과정이 수행된다.
다시, 도 6을 참조하면, 상기 주행 안정성 예측 정보가 생성되면, 단계 S440에서, 상기 주행 안정성 예측 정보와 상기 운전자 행동 정보(또는 운전자 상태 레벨)를 기반으로 피드백 정보를 생성하는 과정이 수행된다. 즉, 상기 주행 안정성 예측 정보를 기반으로 차량(ego vehicle)의 위험 상황을 분석하고, 그 분석 결과를 기반으로 피드백 정보가 생성된다. 일 예로, 상기 피드백 정보는 운전자가 착용한 웨어러블 디바이스(105)에 포함된 진동 센서를 제어하는 정보일 수 있다. 다른 예로, 상기 피드백 정보는 운전자 시트에 설치된 진동 센서, 운전자의 사용자 단말에 포함된 진동 센서, 동승자 시트에 설치된 진동 센서 등을 제어하는 제어 정보를 더 포함할 수 있다. 여기서, 상기 피드백 정보가 진동 센서를 제어하는 정보인 경우, 상기 피드백 정보는 진동 센서의 진동 주기 및 진동 강도에 따라 설정된 다수의 피드백 레벨을 가질 수 있다. 또 다른 예로, 상기 피드백 정보는 운전자의 사용자 단말에 전송되는 경보 메시지, 동승자의 사용자 단말에 전송되는 경보 메시지 등일 수도 있다.
상기 피드백 정보를 생성하는 과정에서는, 피드백 정보의 수신 대상을 결정하는 과정이 더 포함될 수 있다. 여기서, 수신 대상은 운전자가 착용한 웨어러블 디바이스(105), 운전자 또는 동승자의 사용자 단말(200), 운전자 시트에 설치된 진동 센서, 동승자 시트에 설치된 진동 센서 중 적어도 하나일 수 있다.
졸음 운전과 같은 매우 위험 상황인 경우에는 경보 메시지를 포함하는 피드백 정보를 동승자의 사용자 단말로 전송하여, 운전자가 졸음 운전 상태임을 동승자에게 알리는 것이 주행 모드 전환을 위한 운전자 행동 변화를 일으키는데 적절할 것이다.
운전자 행동 정보로부터 운전자가 머리를 숙인 상태에서 무엇인가에 집중하고 있는 상태로 판단되는 경우, 예를 들면, 운전자가 스마트 폰에 집중하고 있는 상태로 판단되면, 피드백 정보를 운전자의 스마트 폰으로 전송하는 것이 주행 모든 전환을 위한 운전자 행동 변화를 일으키는데 더 효율적일 것이다.
이어, 단계 S450에서, 상기 결정된 수신 대상으로 상기 피드백 정보를 전송하는 과정이 수행된다. 수신 대상이 웨어러블 디바이스(105)에 포함된 진동 센서인 경우, 상기 진동 센서는 운전자가 주행 모드 전환을 위한 행동 변화를 일으키도록 상기 피드백 정보에 포함된 피드백 레벨에 따라 진동을 발생한다.
이어, 단계 S460에서, 상기 수신 대상이 상기 피드백 정보를 수신한 시점 이후에 주행 모드 전환을 위한 운전자의 행동 변화를 나타내는 반응이 있는지를 확인하는 과정이 수행된다. 이러한 반응을 확인하는 방법은 상기 수신 대상이 상기 피드백 정보를 수신한 시점 이전의 운전자 행동 정보와 상기 피드백 정보를 수신한 시점 이후의 운전자 행동 정보 간의 비교를 통해 확인할 수 있다. 예를 들면, 상기 피드백 정보를 수신한 시점 이전의 운전자 행동 정보와 상기 피드백 정보를 수신한 시점 이후의 운전자 행동 정보가 다르면, 주행 모드 전환을 위한 운전자의 행동 변화가 있는 것으로 확인한다.
만일, 상기 피드백 정보를 수신한 시점 이전의 운전자 행동 정보와 상기 피드백 정보를 수신한 시점 이후의 운전자 행동 정보가 동일하면, 주행 모드 전환을 위한 운전자의 행동 변화가 없는 무반응 상태로 확인한다.
운전자 행동이 무반응 상태로 확인되면, 전술한 단계 S440에서 수행된 과정이 재수행된다. 이때, 피드백 정보는 변경될 수 있다. 예를 들면, 진동 센서의 진동 주기를 낮추거나 진동 강도를 높이는 방식으로 피드백 레벨이 조정된 피드백 정보가 생성될 수 있다. 단계 S440의 재수행에 따라 변경된 피드백 정보는 전술한 S450에서 수행하는 과정에 따라 특정 수신 대상으로 전송된다.
이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 운전자 행동을 인식하여, 운전자 행동 정보를 생성하는 운전자 행동 인식 모듈;
    차량 행동을 인식하여, 차량 행동 정보를 생성하는 차량 행동 인식 모듈;
    상기 운전자 행동 정보와 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 주행 패턴을 인식하여 주행 안정성 예측 정보를 생성하는 주행 안정성 인식 모듈; 및
    운전자와 차량이 상호 작용된 주행 안정성 예측 정보를 기반으로, 운전자가 주행 모드를 전환하도록 유도하는 피드백 정보를 생성하는 운전자-차량 상호작용 처리 모듈;
    을 포함하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  2. 제1항에서, 상기 운전자 행동 인식 모듈은,
    제1 비젼 센서에서 촬영한 운전자 영상 정보를 이용하여, 운전자 시선과 머리 자세를 분석하고,
    터치 센서에서 감지한 터치 정보를 이용하여, 운전자의 손과 차량 핸들 간의 접촉 상태를 분석하고,
    운전자가 착용한 웨어러블 디바이스에 포함된 근전도 센서에 감지한 근전도 신호를 이용하여, 손과 팔의 상태를 분석함을 특징으로 하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  3. 제1항에서, 상기 차량 행동 인식 모듈은,
    제2 비젼 센서에서 차량의 주변 환경을 촬영한 주변 영상 정보로부터 검출된 형상 모델, 상기 형상 모델을 구성하는 특징점을 추적한 3차원 형상 모델 추적 정보 및 상기 3차원 형상 모델 추적 정보를 기반으로 추정된 3차원 형상 모델의 자세, 위치 및 모션을 이용하여, 상기 차량 행동을 인식함을 특징으로 하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  4. 제1항에서, 상기 주행 안정성 인식 모듈은,
    상기 운전자 행동 정보를 분석하여 운전자 상태를 인식하고, 인식된 운전자 상태를 기반으로 운전자 상태 레벨을 생성하는 운전자 상태 인식부;
    상기 운전자 상태 레벨과 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호작용된 주행 패턴을 인식하고, 인식된 주행 패턴을 기반으로 주행 패턴 정보를 생성하는 주행 패턴 인식부;
    상기 주행 패턴 정보를 분석하여 주행 안정성을 인식하고, 인식된 주행 안정성을 기반으로 주행 안정성 정보를 생성하는 주행 안정성 인식부; 및
    과거의 주행 안정성 정보와 현재의 주행 안정성 정보를 이용하여 미래의 주행 안정성을 예측하고, 예측된 주행 안정성을 기반으로 주행 안정성 예측 정보를 생성하는 주행 안정성 예측부;
    를 포함함을 특징으로 하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  5. 제1항에서, 상기 운전자-차량 상호작용 처리 모듈은,
    운전자가 착용한 웨어러블 디바이스를 제어하는 제어 정보, 위험 상황을 알리는 문자 메시지, 경보음, 음성 메시지 중 적어도 하나를 상기 피드백 정보로서 생성함을 특징으로 하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  6. 제5항에서, 상기 제어 정보는,
    운전자가 착용한 웨어러블 디바이스에 포함된 진동 센서, 운전자의 사용자 단말에 포함된 진동 센서 및 동승자의 사용자 단말에 포함된 진동 센서 중 적어도 하나를 제어하는 정보임을 특징으로 하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  7. 제5항에서, 상기 운전자-차량 상호작용 처리 모듈은,
    상기 운전자 행동 정보로부터 분석된 운전자 상태에 따라 상기 피드백 정보를 운전자가 착용한 웨어러블 디바이스, 운전자의 사용자 단말 및 동승자의 사용자 단말 중 어느 하나로 전송함을 특징으로 하는 운전자 및 차량 간의 상호 작용을 위한 장치.
  8. 운전자 행동을 인식하여, 운전자 행동 정보를 생성하는 단계;
    차량 행동을 인식하여, 차량 행동 정보를 생성하는 단계;
    상기 운전자 행동 정보와 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호 작용된 주행 패턴을 인식하고, 인식된 주행 패턴을 이용하여 주행 안정성 예측 정보를 생성하는 단계;
    상기 주행 안정성 예측 정보를 기반으로, 주행 모드를 전환하도록 운전자의 행동 변화를 유도하는 피드백 정보를 생성하는 단계; 및
    상기 피드백 정보를 운전자가 착용한 웨어러블 디바이스로 전송하는 단계;
    를 포함하는 운전자 및 차량 간의 상호 작용 방법.
  9. 제8항에서, 상기 운전자 행동 정보를 생성하는 단계는,
    제1 비젼 센서에서 촬영한 운전자 영상 정보를 이용하여, 운전자 시선과 머리 자세를 분석하는 단계;
    터치 센서에서 감지한 터치 정보를 이용하여, 운전자의 손과 차량 핸들 간의 접촉 상태를 분석하는 단계;
    운전자가 착용한 웨어러블 디바이스에 포함된 근전도 센서에 감지한 근전도 신호를 이용하여, 손과 팔의 상태를 분석하는 단계; 및
    상기 운전자 시선과 머리 자세의 분석 결과, 상기 운전자의 손과 차량 핸들 간의 접촉 상태의 분석 결과 및 손과 팔의 상태의 분석 결과를 이용하여 상기 운전자 행동 정보를 인식하는 단계
    를 포함함을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  10. 제8항에서, 상기 차량 행동 정보를 생성하는 단계는,
    제2 비젼 센서에서 차량의 주변 환경을 촬영한 주변 영상 정보로부터 형상 모델을 검출하는 단계;
    상기 형상 모델을 구성하는 특징점을 추적하여, 상기 3차원 형상 모델을 추적하는 단계;
    상기 추적된 3차원 형상 모델을 기반으로 상기 3차원 형상 모델의 자세, 위치 및 모션을 추정하는 단계; 및
    상기 추정된 3차원 형상 모델의 자세, 위치 및 모션을 기반으로 상기 차량 행동을 인식하는 단계
    를 포함함을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  11. 제8항에서, 상기 주행 안정성 예측 정보를 생성하는 단계는,
    상기 운전자 행동 정보를 분석하여 운전자 상태를 인식하고, 인식된 운전자 상태를 기반으로 운전자 상태 레벨을 생성하는 단계;
    상기 운전자 상태 레벨과 상기 차량 행동 정보를 융합하여, 운전자와 차량이 상호작용된 주행 패턴을 인식하고, 인식된 주행 패턴을 기반으로 주행 패턴 정보를 생성하는 단계;
    상기 주행 패턴 정보를 분석하여 주행 안정성을 인식하고, 인식된 주행 안정성을 기반으로 주행 안정성 정보를 생성하는 단계; 및
    과거의 주행 안정성 정보와 현재의 주행 안정성 정보를 이용하여 미래의 주행 안정성을 예측하고, 예측된 주행 안정성을 기반으로 상기 주행 안정성 예측 정보를 생성하는 단계;
    를 포함함을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  12. 제8항에서, 상기 피드백 정보를 생성하는 단계는,
    상기 주행 안정성 예측 정보를 기반으로 피드백 레벨을 결정하는 단계;
    상기 결정된 피드백 레벨을 기반으로 상기 피드백 정보를 생성하는 단계;
    상기 운전자 행동 정보를 기반으로 상기 피드백 정보의 수신 대상을 결정하는 단계; 및
    상기 결정된 수신 대상으로 상기 피드백 정보를 전송하는 단계
    를 포함함을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  13. 제12항에서, 상기 피드백 정보의 수신 대상은,
    운전자가 착용한 웨어러블 디바이스, 운전자의 사용자 단말 및 동승자의 사용자 단말 중 적어도 하나임을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  14. 제8항에서, 상기 피드백 정보를 생성하는 단계는,
    상기 운전자 행동 정보를 기반으로 상기 피드백 정보에 포함된 피드백 레벨을 조정함을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  15. 제8항에서, 상기 피드백 정보를 운전자가 착용한 웨어러블 디바이스로 전송하는 단계;
    상기 피드백 정보에 따라 상기 웨어러블 디바이스에 포함된 진동 센서가 진동을 발생하는 단계;
    상기 진동에 따라 운전자 행동 정보의 변화 여부를 판단하는 단계;
    상기 운전자 행동 정보의 변화가 없는 경우, 진동 강도와 진동 주기가 조정된 피드백 정보를 생성하는 단계; 및
    상기 진동 강도와 진동 주기가 조정된 피드백 정보를 상기 웨어러블 디바이스로 전송하는 단계;
    를 더 포함함을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
  16. 제15항에서, 상기 판단하는 단계는,
    상기 진동 센서가 진동을 발생한 시점 이전에 생성된 제1 운전자 행동 정보와 상기 진동 센서가 진동을 발생한 시점 이전에 생성된 제2 운전자 행동 정보 간의 차이를 분석하여 상기 운전자 행동 정보의 변화 여부를 판단하는 단계임을 특징으로 하는 운전자 및 차량 간의 상호 작용 방법.
KR1020170015755A 2017-02-03 2017-02-03 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법 KR20180090644A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170015755A KR20180090644A (ko) 2017-02-03 2017-02-03 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170015755A KR20180090644A (ko) 2017-02-03 2017-02-03 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180090644A true KR20180090644A (ko) 2018-08-13

Family

ID=63250604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170015755A KR20180090644A (ko) 2017-02-03 2017-02-03 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180090644A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190063450A (ko) * 2017-11-29 2019-06-07 한국전자통신연구원 운전자 감정에 따른 운전자와 차량간의 상호작용 제공 장치 및 그 방법
CN111259699A (zh) * 2018-12-02 2020-06-09 程昔恩 一种人体动作识别和预测方法及装置
KR20200068047A (ko) * 2018-11-26 2020-06-15 한국전자통신연구원 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법
KR20200113636A (ko) * 2019-03-26 2020-10-07 (주)파트론 웨어러블 디바이스를 이용한 차량 알람정보의 제공방법
CN112477973A (zh) * 2021-01-13 2021-03-12 江苏泰协智能科技有限公司 汽车方向盘hod、加热与振动三合一模块
WO2021251554A1 (ko) * 2020-06-09 2021-12-16 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
KR20220063021A (ko) * 2020-11-09 2022-05-17 주식회사 엘지유플러스 위험 경고 처리를 위한 장치 및 그 제어방법
US11778369B2 (en) 2019-05-21 2023-10-03 Nippon Telegraph And Telephone Corporation Notification apparatus, notification method, and program
CN117163055A (zh) * 2023-09-08 2023-12-05 苏州宇洽科技有限公司 一种基于车载控制的显控台

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190063450A (ko) * 2017-11-29 2019-06-07 한국전자통신연구원 운전자 감정에 따른 운전자와 차량간의 상호작용 제공 장치 및 그 방법
KR20200068047A (ko) * 2018-11-26 2020-06-15 한국전자통신연구원 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법
CN111259699A (zh) * 2018-12-02 2020-06-09 程昔恩 一种人体动作识别和预测方法及装置
KR20200113636A (ko) * 2019-03-26 2020-10-07 (주)파트론 웨어러블 디바이스를 이용한 차량 알람정보의 제공방법
US11778369B2 (en) 2019-05-21 2023-10-03 Nippon Telegraph And Telephone Corporation Notification apparatus, notification method, and program
WO2021251554A1 (ko) * 2020-06-09 2021-12-16 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
KR20210153186A (ko) * 2020-06-09 2021-12-17 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
KR20220063021A (ko) * 2020-11-09 2022-05-17 주식회사 엘지유플러스 위험 경고 처리를 위한 장치 및 그 제어방법
CN112477973A (zh) * 2021-01-13 2021-03-12 江苏泰协智能科技有限公司 汽车方向盘hod、加热与振动三合一模块
CN117163055A (zh) * 2023-09-08 2023-12-05 苏州宇洽科技有限公司 一种基于车载控制的显控台
CN117163055B (zh) * 2023-09-08 2024-05-07 苏州宇洽科技有限公司 一种基于车载控制的显控台

Similar Documents

Publication Publication Date Title
KR20180090644A (ko) 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법
US10909399B2 (en) Apparatus detecting driving incapability state of driver
US10572746B2 (en) Apparatus detecting driving incapability state of driver
CN109074748B (zh) 图像处理设备、图像处理方法和可移动体
US10936888B2 (en) Apparatus detecting driving incapability state of driver
US11557150B2 (en) Gesture control for communication with an autonomous vehicle on the basis of a simple 2D camera
JP7203035B2 (ja) 情報処理装置および情報処理方法
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
JP6379720B2 (ja) ドライバの運転不能状態検出装置
JP6364997B2 (ja) ドライバの運転不能状態検出装置
JP6361312B2 (ja) ドライバの運転不能状態検出装置
JP6331751B2 (ja) ドライバの運転不能状態検出装置
JP6614286B2 (ja) ドライバの運転不能状態検出装置
JP6607287B2 (ja) ドライバの運転不能状態検出装置
JP7390891B2 (ja) クライアント装置、サーバ、プログラム、及び、情報処理方法
JP2023072269A (ja) 運転者状態判定方法及びその装置
JP2023085752A (ja) 情報提供支援方法、情報提供支援装置、情報提供支援プログラム、及び、情報提供システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application