KR101710982B1 - 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체 - Google Patents

컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
KR101710982B1
KR101710982B1 KR1020150143288A KR20150143288A KR101710982B1 KR 101710982 B1 KR101710982 B1 KR 101710982B1 KR 1020150143288 A KR1020150143288 A KR 1020150143288A KR 20150143288 A KR20150143288 A KR 20150143288A KR 101710982 B1 KR101710982 B1 KR 101710982B1
Authority
KR
South Korea
Prior art keywords
driver
information
vehicle
intention
personalized
Prior art date
Application number
KR1020150143288A
Other languages
English (en)
Inventor
양지현
정현빈
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020150143288A priority Critical patent/KR101710982B1/ko
Application granted granted Critical
Publication of KR101710982B1 publication Critical patent/KR101710982B1/ko

Links

Images

Classifications

    • G06N99/005—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 컴퓨터 수행 가능한 운전자 의도 판단 방법에 관한 것으로, (a) 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 단계, (b) 상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 단계 및 (c) 상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 단계를 포함 한다.

Description

컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체{COMPUTER EXCUTABLE DRIVER INTENTION DETERMINATION METHOD, APPARATUS PERFORMING THE SAME AND STRORAGE MEDIA STORING THE SAME}
본 발명은 운전자 의도 판단 기술에 관한 것으로, 보다 상세하게는, 차량 상태정보 및 운전자 상태정보를 기초로 차량 운전자의 기기조작 의도를 판단할 수 있는 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치에 관한 것이다.
운전자의 상태나 의도를 파악하거나 그에 대한 사전 조치를 취하는 것은 차량기능에 있어 중요한 요소 중 하나이다. 이에 따라 학습능력을 갖는 인공지능 기법인 기계학습을 자동차에 적용하기 위한 다양한 기술들이 개발되고 있다.
기계학습(Machine Leaning)은 인공지능의 한 분야로, 컴퓨터 학습 알고리즘 기술을 주된 내용으로 다룬다. 기계학습은 크게 지도학습(supervised learning) 및 자율학습(unsupervised learning)으로 분류될 수 있다. 지도학습은 어떤 입력에 대해 어떤 결과가 나와야 하는지 사전 지식을 가지고 있는 경우, 해당 입력에 대해 특정 출력이 나오는 규칙을 찾는다. 다시 말해, 지도학습의 목표는 입력과 출력 쌍으로 구성되는 학습 데이터에 의해 입력으로부터 출력을 이끌어내는 규칙을 발견하여 그것을 바탕으로 새로운 데이터를 추정(prediction)하는 것이다. 자율학습은 어떤 입력에 대해 정해진 출력이 없는 경우, 데이터들이 가지고 있는 속성들을 이용해 데이터들을 그룹으로 나누어 분류한다.
한국공개특허 제 10-2013-0110565 호는 사용자 행동 실시간 인식장치 및 방법을 개시하고 있으며, 사용자 행동별 주파수 영역 신호를 수집하여 학습 데이터를 생성하고, 생성된 학습 데이터를 기반으로 학습 서버에서 학습된 행동 특징 추출 모델 및 행동 특징 추출 모델을 이용해 학습된 행동 패턴 분류 모델을 저장함으로써 사용자 행동을 정확하게 실시간 인식할 수 있도록 한다.
한국공개특허 제 10-2013-0110565 호(2012.03.29)
본 발명의 일 실시예는 차량 상태정보 및 운전자 상태정보를 기초로 차량 운전자의 기기조작 의도를 판단할 수 있는 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치를 제공하고자 한다.
본 발명의 일 실시예는 차량 상태정보와 운전자의 음성정보, 영상정보 및 생체정보를 포함하는 운전자 상태정보를 종합하여 운전자의 개인적 특성을 고려한 개인화된 운전자 모델을 제공할 수 있는 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치를 제공하고자 한다.
본 발명의 일 실시예는 운전자의 개인적 특성을 고려한 개인화된 운전자 모델을 통해 운전자의 기기조작 의도를 판단함에 있어 정확도를 향상시킬 수 있는 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치를 제공하고자 한다.
실시예들 중에서, 컴퓨터 수행 가능한 운전자 의도 판단 방법은 (a) 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 단계, (b) 상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 단계 및 (c) 상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 단계를 포함한다.
일 실시예에서, 상기 (a) 단계는 상기 차량의 주행 과정에서 상기 차량의 주행속도, 주행거리, 주행시간, 주행방향 및 주행경로 중 적어도 하나를 측정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (a) 단계는 상기 (a) 단계는 상기 운전자가 착용한 웨어러블 모듈을 통해 획득된 운전자 생체정보를 기초로 상기 운전자 모션정보를 보상하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b) 단계는 상기 운전정보에 있는 구성요소를 필터링하는 단계를 포함할 수 있다. 일 실시예에서, 상기 (b) 단계는 상기 구성요소에 대하여 대립관계를 가지는 대립관계도와 상기 대립관계도에 포함되지 않은 필터결정 구성요소를 검출하여 상기 대립구성요소를 해결하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는 상기 필터링된 구성요소를 기초로 차량조작모듈 각각에 관해 정규화를 수행하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는 차량조작모듈 각각에 관한 개인화된 정규 분포도를 상기 개인화된 운전자 모델로서 생성하는 단계를 포함할 수 있다.
일 실시예에서, 컴퓨터 수행 가능한 운전자 의도 판단 방법은 (d) 상기 운전자 의도에 관한 판단 정확도가 특정 값 이하로 떨어지지 않을 때까지 상기 수신된 운전정보를 상기 개인화된 운전자 모델에 반복적으로 반영하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 (d) 단계는 상기 개인화된 운전자 모델을 기초로 판단된 상기 운전자 의도와 부합되는 차량조작모듈을 조작하였을 때 상기 운전자가 이에 반대되는 행동을 수행하는지 여부를 기초로 상기 운전자 의도에 관한 판단 정확도를 결정하는 단계를 포함할 수 있다.
실시예들 중에서, 컴퓨터 수행 가능한 운전자 의도 판단 장치는 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 운전정보 수신부, 상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 운전정보 전처리부 및 상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 운전자 모델 생성부를 포함한다.
일 실시예에서, 상기 운전정보 수신부는 상기 차량에 설치된 카메라를 통해 상기 운전자의 운전자 시선정보 및 운전자 모션정보 중 적어도 하나를 수신하여 상기 차량의 주행제어를 제외한 차량조작모듈을 특정할 수 있다. 다른 일 실시예에서, 상기 운전정보 수신부는 상기 운전자가 착용한 웨어러블 모듈을 통해 획득된 운전자 생체정보를 기초로 상기 운전자 모션정보를 보상할 수 있다.
일 실시예에서, 상기 운전자 모델 생성부는 상기 운전정보에 있는 차량조작모듈 각각에 관한 개인화된 정규 분포도를 상기 개인화된 운전자 모델로서 생성할 수 있다.
실시예들 중에서, 운전자 의도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체는 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 기능, 상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 기능 및 상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 기능을 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치는 차량 상태정보 및 운전자 상태정보를 기초로 차량 운전자의 기기조작 의도를 판단할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치는 차량 상태정보와 운전자의 음성정보, 영상정보 및 생체정보를 포함하는 운전자 상태정보를 종합하여 운전자의 개인적 특성을 고려한 개인화된 운전자 모델을 제공할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 수행 가능한 운전자 의도 판단 방법 및 이를 수행하는 장치는 운전자의 개인적 특성을 고려한 개인화된 운전자 모델을 통해 운전자의 기기조작 의도를 판단함에 있어 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 의도 판단 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 운전자 의도 판단 장치의 구성을 설명하는 블록도이다.
도 3은 도 1에 있는 운전자 의도 판단 과정을 설명하는 흐름도이다.
도 4는 도 1에 있는 웨어러블 모듈을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에서 따른 개인화된 운전자 모델을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 운전자 의도 판단 시스템을 설명하는 도면이다.
도 1을 참조하면, 운전자 의도 판단 시스템(10)은 운전정보 수집모듈(20, 30, 40) 및 운전자 의도 판단 장치(D.I.D.A, Driver Intention Determination Apparatus, 100)을 포함하고, 이들은 유무선 네트워크를 통해 연결될 수 있다.
운전정보 수집모듈(20, 30, 40)은 차량내부정보 수집모듈(20), 차량외부정보 수집모듈(30) 및 웨어러블 모듈(40)을 포함할 수 있다. 운전정보는 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자 상태정보를 포함할 수 있다. 여기에서, 운전자의 상태정보는 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성될 수 있다.
차량내부정보 수집모듈(20)은 차량의 내부 상태정보를 및 운전자의 상태정보를 수집하여 운전자 의도 판단 장치(100)에 제공할 수 있다. 일 실시예에서, 차량내부정보 수집모듈(20)은 가시광선 카메라 또는 적외선 카메라로 구현되어 차량의 내부 영상 또는 운전자 생체정보(예를들어, 운전자의 체온) 수집할 수 있다. 이때, 카메라로 구현된 차량내부정보 수집모듈(20)은 차량 내부의 상단에 설치되어 운전자의 시선정보 및 모션정보 중 적어도 하나를 수집할 수 있다. 예를 들어, 카메라로 구현된 차량내부정보 수집모듈(20)은 운전자가 주행 과정에서 전방을 바라보던 시선이 왼쪽 창문으로 이동하는 시선정보 또는 운전자의 왼손이 창가로 이동하는 모션정보를 수집할 수 있다.
다른 일 실시예에서, 차량내부정보 수집모듈(20)은 온도 센서, 산소 센서, 속도 센서, 도어 개폐센서, 타이어공기압 센서, 연료탱크 압력센서 및 배기가스 센서를 포함할 수 있고, 이러한 센서들로부터 차량내부정보(차량내부의 온도, 산소, 속도, 타이어공기압, 연료 소비량과 잔량, 배터리 상태와 잔량,)를 수집하여 운전자 의도 판단 장치(100)에 제공할 수 있다.
차량외부정보 수집모듈(30)은 차량의 외부 영상을 수집하여 차량의 주행과정에서 측정되는 차량 상태정보를 운전자 의도 판단 장치(100)에 제공할 수 있다. 여기에서, 차량의 외부상태정보는 차량의 주행 과정에서 측정될 수 있는 상태정보(예를 들어, 차량의 주행속도, 주행거리, 주행시간, 주행방향, 주행경로 및 차선이탈여부 등)에 해당할 수 있으나 이에 한정되는 것은 아니다. 일 실시예에서 차량외부정보 수집모듈(30)은 차량의 외부에 설치되는 가시광선 카메라, 적외선 카메라, 레이더, 라이다 및 초음파 센서 등을 포함할수 있다.
웨어러블 모듈(40)은 운전자의 신체에 착용되어 운전자의 생체정보를 획득하고 획득한 생체정보를 수집하여 운전자 의도 판단 장치(100)에 제공할 수 있다. 일 실시예에서, 웨어러블 모듈(40)은 운전자가 착용 가능한 플렉서블한 소재로 구현되어 실시간으로 운전자의 생체정보를 수집할 수 있다. 여기에서, 생체정보는 운전자의 체온 정보, 혈압 정보, 심장박동수 정보 등을 포함할 수 있다.
운전자 의도 판단 장치(D.I.D.A, 100)는 운전정보 수집모듈(20, 30, 40)로부터 차량 상태정보 및 운전자 상태정보를 포함하는 운전정보를 수신하여 이를 기초로 개인화된 운전자 모델을 생성한다. 운전자 의도 판단 장치(D.I.D.A, 100)는 개인화된 운전자 모델을 기초로 운전자 의도를 판단할 수 있다. 운전자 모델은 운전자의 의도 또는 행동을 판단하거나 예측하는 알고리즘에 해당한다. 운전자 의도 판단 장치(D.I.D.A, 100)는 차량 상태정보와 운전자 상태정보를 종합하여 운전자의 개인적 특성을 고려한 개인화된 운전자 모델을 생성함으로써, 운전자 의도 판단의 정확도를 향상시킬 수 있다. 이하, 도2에서 운전자 의도 판단 장치(D.I.D.A, 100)를 자세히 설명한다.
도 2는 도 1에 있는 운전자 의도 판단 장치의 구성을 설명하는 블록도이다.
도2를 참조하면, 운전자 의도 판단 장치(100)는 운전정보 수신부(110), 운전정보 전처리부(120), 운전자 모델 생성부(130) 및 운전자 의도 판단부(140)을 포함한다.
운전정보 수신부(110)는 운전정보 수집모듈(20, 30, 40)로부터 운전정보를 수신할 수 있다. 일 실시예에서, 운전정보 수신부(110)는 기 설정된 시간 간격마다 운전정보 수집모듈(20, 30, 40)로부터 운전정보를 수신할 수 있다. 다른 일 실시예에서, 운전정보 수신부(110)는 실시간으로 운전정보 수집모듈(20, 30, 40)로부터 운전정보를 수신할 수 있다.
일 실시예에서, 운전정보 수신부(110)는 차량에 설치된 카메라를 통해 상기 운전자의 운전자 시선정보 및 운전자 모션정보 중 적어도 하나를 수신하여 상기 차량의 주행제어를 제외한 차량조작모듈을 특정할 수 있다. 예를들어, 운전정보 수신부(110)는 전방을 주시하다 왼쪽 창문으로 시선을 이동하는 운전자의 시선정보를 수신하면 운전자의 왼쪽 편 창문에 대한 조작모듈(창문버튼)을 운전자 의도와 연관된 차량조작모듈로 특정할 수 있다.
다른 일 실시예에서, 운전정보 수신부(110)는 수신된 운전정보에 포함된 각 구성요소를 벡터 좌표 형식으로 변환하여 운전정보 전처리부(120)에 제공할 수 있다. 예를들어, 운전정보는 차량 상태정보로써 주행거리 및 주행시간을, 운전자 상태정보로써 운전자 시선정보 및 체온정보를 구성요소로 포함할 수 있다. 이때 운전정보 수신부(110)는 운전정보를 (주행거리, 주행시간, 운전자 혈압정보, 운전자 체온정보)의 벡터 좌표로 변환하여 운전정보 전처리부(120)에 제공할 수 있다.
운전정보 전처리부(120)는 개인화 운전자 모델을 생성하기 위한 준비 단계로써 수신한 운전정보를 전처리 할 수 있다. 운전정보 전처리부(120)는 수신한 운전정보를 전처리 하기 위해 운전정보에서 노이즈 제거, 변수간 상관관계 분석 등을 수행할 수 있다. 즉, 운전정보 전처리부(120)는 정확도 높은 개인화된 운전자 모델을 생성하기 위해 불완전한 정보, 잡음에 해당하는 정보, 모순된 정보를 제거하는 운전정보 전처리를 수행한다. 운전정보 전처리부(120)는 운전정보에 있는 구성요소를 각 구성요소의 특성에 따라 필터링할 수 있다. 여기에서, 필터링은 개인화된 운전자 모델을 생성하기 위한 운전정보 선별과정을 의미한다. 운전정보 전처리부(120)는 운전정보에 있는 구성요소를 각각 다른 방식을 적용하여 필터링 할 수 있다. 일 실시예에서, 운전정보 전처리부(120)는 운전정보를 구성하는 구성요소 사이에 대립관계가 있는 경우 해당 운전정보를 필터링하여 제거할 수 있다. 다른 일 실시예에서, 운전정보 전처리부(120)는 운전정보를 구성하는 구성요소에 대하여 대립관계를 가지는 대립관계도와 대립관계도에 포함되지 않은 필터결정 구성요소를 검출하여 대립구성요소를 해결할 수 있다. 대립관계도는 운전정보의 일부 구성요소가 대립관계에 있는 경우 형성될 수 있다. 예를 들어, 운전정보 (A, B, C, D, E)의 구성요소를 가질 수 있다(A는 운전자 음성정보, B는 주행시간 정보, C는 운전자 체온정보 등에 해당할 수 있음). 이때, A는 “창문을 열어”라는 정보를 포함하고, C는 체온하강이라는 정보를 포함하는 경우 A와 C는 대립관계에 있어 상호 대립관계도를 형성할 수 있다. 이러한 경우, 운전정보 전처리부(120)는 운전정보 (A, B, C, D, E) 전부를 제거하거나, 나머지 대립관계도에 포함되지 않은 B, D 및 E 가운데 필터링의 기준이 되는 필터결정 구성요소를 검출하여 A 또는 C 중 하나의 정보를 제거함으로써 A와 C사이의 대립관계도를 해소할 수 있다.
운전자 모델 생성부(130)는 운전정보 전처리부(120)로부터 전처리된 운전정보를 제공받을 수 있다. 운전자 모델 생성부(130)는 운전정보를 기초로 개인화된 운전자 모델을 생성할 수 있다. 일 실시예에서, 운전자 모델 생성부(130)는 벡터 좌표 형태의 운전정보를 제공받아 해당 구성요소를 리스케일하여 개인화된 운전자 모델을 생성할 수 있다. 예를 들어, 운전자 모델 생성부(130)는 각각이 5개의 차량 상태정보 또는 운전자 상태정보를 포함하는 전처리(필터링 및 리스케일링)된 1x5 벡터 좌표 형태의 운전정보 (0, 1, 1, 0, 0), (1, 0, 1, 0, 0), (1, 1, 1, 0, 1), … 등을 기초로 특정조작모듈(창문, 실내등, 시트 등)들에 관한 개인화된 운전자 모델을 생성할 수 있다.
운전자 모델 생성부(130)는 차량조작모듈 각각에 관한 개인화된 정규 분포도를 개인화된 운전자 모델로서 생성할 수 있다. 보다 구체적으로, 운전자 모델 생성부(130)는 운전정보 전처리부(120)로부터 필터링된 구성요소를 포함하는 운전정보를 제공받아 차량조작모듈 각각에 관해 기 설정된 정규화 계수를 기초로 정규화를 수행함으로써 개인화된 운전자 모델을 생성할 수 있다.
운전자 모델 생성부(130)는 운전자 의도에 관한 판단 정확도가 특정 값 이하로 떨어지지 않을 때까지 운전정보를 개인화된 운전자 모델에 반복적으로 반영하여 개인화된 운전자 모델을 갱신할 수 있다. 운전자 의도에 관한 판단 정확도는 개인화된 운전자 모델을 기초로 판단된 상기 운전자 의도와 부합되는 차량조작모듈을 조작하였을 때 상기 운전자가 이에 반대되는 행동을 수행하는지 여부를 기초로 결정될 수 있다. 예를 들어, 운전자 의도 판단 장치(100)는 생성된 개인화된 운전자 모델을 기초로 운전자 의도가 '창문을 내리는 것'으로 판단한 경우, 운전자가 이와 반대되는 행동(창문을 다시 올리는 행동)을 수행하지 않은 경우 개인화된 운전자 모델의 운전자 의도 판단 정확도가 높은 것으로 판단할 수 있다. 반대로, 운전자 의도 판단 장치(100)는 운전자가 반대되는 행동을 수행한 경우 운전자 의도 판단에 오류가 있는 것으로 판단할 수 있다. 일 실시예에서, 운전자 의도에 관한 판단 정확도에 관한 값은 운전자 의도 판단의 오류 횟수를 기초로 결정될 수 있다. 일 실시예에서, 운전자 의도에 관한 판단 정확도는 하기의 수학식으로 표현될 수 있다.
[수학식]
Figure 112015099129875-pat00001
상기 수학식에서, 운전자 의도 판단 횟수는 기 설정된 시간 간격 동안 카운트 될 수 있다.
운전자 의도 판단부(130)는 개인화된 운전자 모델을 기초로 운전자의 의도를 판단할 수 있다. 일 실시예에서, 운전자 의도 판단부(130)는 '창문을 열어'라는 운전자의 음성정보를 수신하면, 수신한 음성정보에 생성된 개인화된 운전자 모델을 적용하여 운전자의 의도를 판단할 수 있다. 운전자 의도 판단부(130)는 차량 상태정보와 운전자 상태정보를 포함하는 운전정보를 기반으로 생성된 개인화된 운전자 모델을 기초로 운전자의 의도를 판단하므로, 종래의 음성인식 기술보다 음성인식의 정확도를 향상시킬 수 있다.
제어부(150)는 운전정보 수신부(110), 운전정보 전처리부(120), 운전자 모델 생성부(130) 및 운전자 의도 판단부(140) 사이의 데이터 흐름을 제어할 수 있다.
도 3은 도 1에 있는 운전자 의도 판단 과정을 설명하는 흐름도이다.
운전정보 수신부(110)는 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신한다(단계 S301). 운전정보 수신부(110)는 수신한 운전정보를 운전정보 전처리부(120)에 제공한다.
운전정보 전처리부(120)는 수신한 운전정보를 차량 상태정보 및 운전자 상태정보의 특성을 기초로 전처리한다(단계 S302). 운전정보 전처리부(120)는 전처리된 운전정보를 운전자 모델 생성부(130)에 제공한다.
운전자 모델 생성부(130)는 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성한다(단계 S303). 운전자 모델 생성부(130)는 운전자 의도 판단의 정확도가 특정 값 이하로 떨어지지 않도록 생성된 개인화된 운전자 모델을 정기적 또는 비 정기적으로 갱신할 수 있다.
운전자 의도 판단부(140)는 생성된 개인화된 운전자 모델을 기초로 운전자 의도를 판단할 수 있다(단계 S304). 운전자 의도 판단부(140)는 운전자 의도 판단의 정확도를 계산하여 특정 값으로 표현할 수 있다.
도 4는 도 1에 있는 웨어러블 모듈을 설명하는 도면이다.
도 4에서, 웨어러블 모듈(40)은 스마트 워치 또는 스마트 반지 같은 웨어러블 디바이스(410) 또는 운전자 신체에 접촉되어 착용될 수 있는 플렉서블 소재의 웨어러블 센서(420)를 포함할 수 있다. 웨어러블 모듈(40)은 운전자의 생체정보 또는 운전자의 모션정보를 수집하여 운전자 의도 판단 장치(100)에 제공할 수 있다. 일 실시예에서, 웨어러블 센서(420)은 운전자의 체온, 혈압 등의 생체정보, 웨어러블 디바이스(410)은 운전자의 모션정보(예를 들어, 운전자의 제스쳐)를 수집할 수 있다.
도 5는 본 발명의 일 실시예에서 따른 개인화된 운전자 모델을 설명하는 도면이다.
일반적으로, 운전자 모델은 기계학습을 통해 생성된다. 종래의 운전자 모델은 실제 운전자 개인의 주행패턴을 실질적으로 반영하지 못해 운전자 모델의 운전자 의도 판단의 정확도가 떨어진다는 문제점을 갖는다.
도 5(a)는 실험을 통해 학습된 운전자 모델에 해당하는 그래프이다. 도 5(a)에서, 운전자 모델은 특정 변수 X(운전자의 음성정보에 해당할 수 있다)에 대한 확률 P(X) 정규분포 그래프(평균=0, 분산=1)로 표현될 수 있다.
도 5(b)는 가상운전자 모의실험 등의 실험을 통한 기계학습으로 생성된 기준 운전자 모델을 나타낸다. 도 5(b)에서, 운전자 모델은 차량모듈조작 각각에 관한 정규분포로 표현된다. 여기에서, 차량모듈조작은 정상주행, 창문조작, 시트조작, 실내등조작을 포함할 수 있다. 제1정규분포(502b)는 정상주행상태의 운전자 분포, 제2정규분포(504b)는 창문조작상태의 운전자 분포, 제3정규분포(506b)는 시트조작상태의 운전자 분포, 제4정규분포(508b)는 실내등조작상태의 운전자 분포를 나타낸다. 각 차량모듈조작에 관한 정규분포는 서로 상이한 평균 및 정규화 계수(1/(2*sigma^2), sigma는 표준편차)를 가진다.
도 5(c)는 개인화된 운전자 모델을 나타낸다. 도 5(c)에서, 제1정규분포(502c)는 정상주행상태의 개인화된 운전자 분포, 제2정규분포(504c)는 창문조작상태의 개인화된 운전자 분포, 제3정규분포(506c)는 시트조작상태의 개인화된 운전자 분포, 제4정규분포(508c)는 실내등조작상태의 운전자 분포를 나타낸다. 개인화된 운전자 모델은 운전자 의도 판단 개인화 알고리즘을 통해 생성된다. 즉, 운전자 의도 판단 개인화 알고리즘은 운전자 개인의 특성을 포함하는 차량 상태정보 및 운전자 상태정보를 이용해 개인화된 운전자 모델을 생성한다. 따라서, 개인화된 운전자 모델은 기준 운전자에 대해 생성된 기준 운전자 모델과는 다른 운전자 개인에 특화된 분포 형태를 나타낸다. 따라서, 각 차량모듈조작에 관한 운전자 분포를 포함하는 개인화된 운전자 모델은 운전자의 모션정보, 시선정보 또는 음성정보 등을 포함하는 특정 변수 X가 입력되면 해당 입력에 가장 부합되는 운전자 의도를 판단하여 운전자 의도와 연관된 차량조작모듈을 보다 정확하게 판단할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 운전자 의도 판단 시스템
20, 30, 40: 운전정보 수집모듈
100: 운전자 의도 판단 장치
110: 운전정보 수신부 120: 운전정보 전처리부
130: 운정자 모델 생성부 140: 운전자 의도 판단부

Claims (15)

  1. (a) 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 단계;
    (b) 상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 단계;
    (c) 상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 단계; 및
    (d) 상기 운전자 의도에 관한 판단 정확도가 특정 값 이하로 떨어지지 않을 때까지 상기 수신된 운전정보를 상기 개인화된 운전자 모델에 반복적으로 반영하는 단계를 포함하고,
    상기 (b) 단계는 상기 운전정보에 있는 구성요소에 대하여 대립관계를 가지는 대립관계도와 상기 대립관계도에 포함되지 않은 필터결정 구성요소를 검출하여 상기 대립관계를 가지는 상기 구성요소를 해결하는 과정을 통해 상기 운전정보에 있는 구성요소 중 적어도 하나를 필터링하는 단계를 포함하며,
    상기 (d) 단계는 상기 개인화된 운전자 모델을 기초로 판단된 상기 운전자 의도와 부합되는 차량조작모듈을 조작하였을 때 상기 운전자가 이에 반대되는 행동을 수행하는지 여부를 기초로 상기 운전자 의도에 관한 판단 정확도를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    상기 차량에 설치된 운전정보 수집모듈을 통해 상기 차량의 주행 과정에서 상기 차량의 주행속도, 주행거리, 주행시간, 주행방향 및 주행경로 중 적어도 하나를 측정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 방법.
  3. 제1항에 있어서, 상기 (a) 단계는
    상기 차량에 설치된 카메라를 통해 상기 운전자의 운전자 시선정보 및 운전자 모션정보 중 적어도 하나를 수신하여 상기 차량의 주행제어를 제외한 차량조작모듈을 특정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 방법.
  4. 제3항에 있어서, 상기 (a) 단계는
    상기 운전자가 착용한 웨어러블 모듈을 통해 획득된 운전자 생체정보를 기초로 상기 운전자 모션정보를 보상하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 (c) 단계는
    상기 필터링된 구성요소를 기초로 차량조작모듈 각각에 관해 정규화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 방법.
  8. 제1항에 있어서, 상기 (c) 단계는
    차량조작모듈 각각에 관한 개인화된 정규 분포도를 상기 개인화된 운전자 모델로서 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 방법.
  9. 삭제
  10. 삭제
  11. 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 운전정보 수신부;
    상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 운전정보 전처리부; 및
    상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 운전자 모델 생성부를 포함하고,
    상기 운전자 모델 생성부는 상기 운전자 의도에 관한 판단 정확도가 특정 값 이하로 떨어지지 않을 때까지 상기 수신된 운전정보를 상기 개인화된 운전자 모델에 반복적으로 반영하고, 상기 개인화된 운전자 모델을 기초로 판단된 상기 운전자 의도와 부합되는 차량조작모듈을 조작하였을 때 상기 운전자가 이에 반대되는 행동을 수행하는지 여부를 기초로 상기 운전자 의도에 관한 판단 정확도를 결정하는 것을 특징으로 하고,
    상기 운전정보 전처리부는 상기 운전정보에 있는 구성요소에 대하여 대립관계를 가지는 대립관계도와 상기 대립관계도에 포함되지 않은 필터결정 구성요소를 검출하여 상기 대립관계를 가지는 상기 구성요소를 해결하는 과정을 통해 상기 운전정보에 있는 구성요소 중 적어도 하나를 필터링하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 장치.
  12. 제11항에 있어서, 상기 운전정보 수신부는
    상기 차량에 설치된 카메라를 통해 상기 운전자의 운전자 시선정보 및 운전자 모션정보 중 적어도 하나를 수신하여 상기 차량의 주행제어를 제외한 차량조작모듈을 특정하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 장치.
  13. 제12항에 있어서, 상기 운전정보 수신부는
    상기 운전자가 착용한 웨어러블 모듈을 통해 획득된 운전자 생체정보를 기초로 상기 운전자 모션정보를 보상하는 것을 특징으로 하는 컴퓨터 수행 가능한 운전자 의도 판단 장치.
  14. 제11항에 있어서, 상기 운전자 모델 생성부는
    차량조작모듈 각각에 관한 개인화된 정규 분포도를 상기 개인화된 운전자 모델로서 생성하는 것을 특징으로 하는 운전자 의도 판단 장치.
  15. (a) 차량의 주행 과정에서 측정되는 차량 상태정보 및 운전자의 음성정보, 영상정보 및 생체정보 중 적어도 하나를 기초로 생성된 운전자 상태정보를 포함하는 운전정보를 수신하는 기능;
    (b) 상기 차량 상태정보 및 운전자 상태정보의 특성을 기초로 상기 운전정보를 전처리하는 기능;
    (c) 상기 전처리된 운전정보를 기초로 운전자 의도를 판단할 수 있는 개인화된 운전자 모델을 생성하는 기능; 및
    (d) 상기 운전자 의도에 관한 판단 정확도가 특정 값 이하로 떨어지지 않을 때까지 상기 수신된 운전정보를 상기 개인화된 운전자 모델에 반복적으로 반영하는 기능을 포함하고,
    상기 (b) 기능은 상기 운전정보에 있는 구성요소에 대하여 대립관계를 가지는 대립관계도와 상기 대립관계도에 포함되지 않은 필터결정 구성요소를 검출하여 상기 대립관계를 가지는 상기 구성요소를 해결하는 과정을 통해 상기 운전정보에 있는 구성요소 중 적어도 하나를 필터링하는 기능을 포함하며,
    상기 (d) 기능은 상기 개인화된 운전자 모델을 기초로 판단된 상기 운전자 의도와 부합되는 차량조작모듈을 조작하였을 때 상기 운전자가 이에 반대되는 행동을 수행하는지 여부를 기초로 상기 운전자 의도에 관한 판단 정확도를 결정하는 기능을 포함하는 것을 특징으로 하는 운전자 의도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020150143288A 2015-10-14 2015-10-14 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체 KR101710982B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150143288A KR101710982B1 (ko) 2015-10-14 2015-10-14 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150143288A KR101710982B1 (ko) 2015-10-14 2015-10-14 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체

Publications (1)

Publication Number Publication Date
KR101710982B1 true KR101710982B1 (ko) 2017-02-28

Family

ID=58543043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150143288A KR101710982B1 (ko) 2015-10-14 2015-10-14 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체

Country Status (1)

Country Link
KR (1) KR101710982B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550326B2 (en) 2018-10-15 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for controlling vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
KR20130110565A (ko) 2012-03-29 2013-10-10 삼성전자주식회사 사용자 행동 실시간 인식장치 및 방법
JP2015089808A (ja) * 2013-11-06 2015-05-11 ハーマン インターナショナル インダストリーズ インコーポレイテッド ウェアラブルデバイスに基づく車両システムの適合

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
KR20130110565A (ko) 2012-03-29 2013-10-10 삼성전자주식회사 사용자 행동 실시간 인식장치 및 방법
JP2015089808A (ja) * 2013-11-06 2015-05-11 ハーマン インターナショナル インダストリーズ インコーポレイテッド ウェアラブルデバイスに基づく車両システムの適合

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550326B2 (en) 2018-10-15 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for controlling vehicle

Similar Documents

Publication Publication Date Title
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
CN111741884B (zh) 交通遇险和路怒症检测方法
CN110291478B (zh) 驾驶员监视和响应系统
Omerustaoglu et al. Distracted driver detection by combining in-vehicle and image data using deep learning
JP6394735B2 (ja) 階層型コンテキストアウェアによる手足の検出
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
CN107703931B (zh) 用于控制无人驾驶车辆的方法和装置
US11404066B2 (en) Device and method for providing voice recognition service based on artificial intelligence
Yi et al. Personalized driver workload inference by learning from vehicle related measurements
US11605379B2 (en) Artificial intelligence server
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
CN101278324A (zh) 自适应驾驶员工作负荷估计器
CN104269028A (zh) 一种疲劳驾驶检测方法及系统
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN115205729A (zh) 基于多模态特征融合的行为识别方法、系统
JP2009096365A (ja) リスク認識システム
CN113460060B (zh) 驾驶员疲劳程度评估系统、控制方法及存储介质
Taherifard et al. Attention-based event characterization for scarce vehicular sensing data
KR101710982B1 (ko) 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체
US20220330848A1 (en) Method, Computer Program, and Device for Determining Vehicle Occupant Respiration
CN108733962B (zh) 一种无人车的拟人驾驶员控制模型的建立方法和系统
Lim et al. Temporal early exiting with confidence calibration for driver identification based on driving sensing data
US11348585B2 (en) Artificial intelligence apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4