KR102605595B1 - 장치, 이를 포함하는 차량, 및 차량의 제어방법 - Google Patents

장치, 이를 포함하는 차량, 및 차량의 제어방법 Download PDF

Info

Publication number
KR102605595B1
KR102605595B1 KR1020180047063A KR20180047063A KR102605595B1 KR 102605595 B1 KR102605595 B1 KR 102605595B1 KR 1020180047063 A KR1020180047063 A KR 1020180047063A KR 20180047063 A KR20180047063 A KR 20180047063A KR 102605595 B1 KR102605595 B1 KR 102605595B1
Authority
KR
South Korea
Prior art keywords
layer
feature point
data structure
feature points
control unit
Prior art date
Application number
KR1020180047063A
Other languages
English (en)
Other versions
KR20190123403A (ko
Inventor
우승현
홍기범
안대윤
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180047063A priority Critical patent/KR102605595B1/ko
Priority to US16/207,772 priority patent/US10515280B2/en
Publication of KR20190123403A publication Critical patent/KR20190123403A/ko
Application granted granted Critical
Publication of KR102605595B1 publication Critical patent/KR102605595B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)

Abstract

장치는 계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트가 저장된 저장부, 및 데이터 구조의 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점을 상호 비교하는 제어부를 포함하되, 제어부는 비교 결과에 기초하여 데이터 구조의 업데이트 여부를 판단한다.

Description

장치, 이를 포함하는 차량, 및 차량의 제어방법 {APPARATUS, VEHICLE COMPRISING THE SAME, AND CONTROL METHOD OF THE VEHICLE}
장치, 이를 포함하는 차량, 및 차량의 제어방법에 관한 것이다.
현대 사회에서 자동차는 가장 보편적인 이동 수단으로서 자동차를 이용하는 사람들의 수는 증가하고 있다. 자동차 기술의 발전으로 인해 과거보다 장거리의 이동이 용이하고, 생활이 편해지는 등 생활에 많은 변화가 발생하고 있다.
최근에 차량 운전자의 감정을 고려하여 운전자의 감정을 판단하고 감정에 따라 운전자의 편의성을 증가시키는 기술들이 개발되고 있는데, 운전자의 감정을 판단하기 위해 생체 인식을 이용하는 기술들이 개발되었다.
생체 인식은 사람의 신체 일부를 인식하여 감정 판단을 수행하는 것으로, 음성 인식, 얼굴 인식, 손동작 인식, 또는 심장 박동 인식 등이 있다. 이러한 생체인식은 감정에 따라 변화하는 사람 고유의 신체 일부를 사용하기 때문에 감정 판단 시 정확성이 높아 이에 대한 연구가 많이 진행되고 있다.
개시된 실시예는 운전자의 감정이 정확하게 판단될 수 있도록 운전자의 감정을 판단하는 데 이용되는 데이터 구조를 평가하는 장치, 이를 포함하는 차량, 및 차량의 제어방법을 제공하고자 한다.
전술한 과제를 해결하기 위한 수단으로서 일 측면에 따른 장치는 계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트가 저장된 저장부, 및 데이터 구조의 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점을 상호 비교하는 제어부를 포함하되, 제어부는 비교 결과에 기초하여 데이터 구조의 업데이트 여부를 판단한다.
제어부는 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점이 일치하면, 공헌도 리스트의 특징점으로 어느 한 계층의 특징점을 대체할 수 있다.
제어부는 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점이 불일치하면, 다른 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점을 비교할 수 있다.
제어부는 어느 한 계층이 포함하는 특징점과 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교할 수 있다.
제어부는 어느 한 계층이 포함하는 특징점과 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점이 상호 불일치하면, 어느 한 계층의 하위 계층이 포함하는 특징점과 순위보다 후순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교할 수 있다.
제어부는 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점이 일치하면, 공헌도 리스트의 특징점으로 어느 한 계층의 특징점을 대체하고, 특징점이 대체된 데이터 구조의 정확도를 평가할 수 있다.
제어부는 정확도 평가 결과에 기초하여 데이터 구조의 업데이트 여부를 결정할 수 있다.
제어부는 정확도가 미리 설정된 기대값 이상이면, 특징점이 대체된 데이터 구조를 저장부에 저장시킬 수 있다.
다른 측면에 따른 차량은 운전자의 생체 정보를 수집하는 생체 인식부, 계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트를 저장하고, 데이터 구조의 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점을 상호 비교하고, 비교 결과에 기초하여 데이터 구조의 업데이트 여부를 판단하는 장치, 및 데이터 구조 및 생체 정보를 이용하여 운전자의 감정을 판단하는 메인 제어부를 포함한다.
장치는 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점이 일치하면, 공헌도 리스트의 특징점으로 어느 한 계층의 특징점을 대체할 수 있다.
장치는 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점이 불일치하면, 다른 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점을 비교할 수 있다.
장치는 어느 한 계층이 포함하는 특징점과 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교할 수 있다.
장치는 어느 한 계층이 포함하는 특징점과 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점이 상호 불일치하면, 어느 한 계층의 하위 계층이 포함하는 특징점과 순위보다 후순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교할 수 있다.
장치는 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점이 일치하면, 공헌도 리스트의 특징점으로 어느 한 계층의 특징점을 대체하고, 특징점이 대체된 데이터 구조의 정확도를 평가할 수 있다.
장치는 정확도 평가 결과에 기초하여 데이터 구조의 업데이트 여부를 결정할 수 있다.
장치는 정확도가 미리 설정된 기대값 이상이면, 특징점이 대체된 데이터 구조를 저장하는 차량.
생체 인식부는 운전자의 얼굴 또는 손동작 인식을 위한 카메라를 포함할 수 있다.
생체 인식부는 운전자의 음성 인식을 수행하는 마이크를 포함할 수 있다.
차량은 감정의 판단 결과를 표시하는 디스플레이부를 더 포함할 수 있다.
또 다른 측면에 따른 계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트가 저장된 차량의 제어방법은 데이터 구조의 어느 한 계층이 포함하는 특징점과 공헌도 리스트의 특징점을 상호 비교하는 단계, 비교 결과에 기초하여 데이터 구조의 업데이트 여부를 판단하는 단계, 및 데이터 구조 및 운전자의 생체 정보를 이용하여 운전자의 감정을 판단하는 단계를 포함한다.
개시된 일 측면에 따른 장치, 이를 포함하는 차량, 및 차량의 제어방법에 의해 평가가 완료된 데이터 구조를 이용하면, 운전자의 생체 정보에 기반하여 운전자의 감정이 정확하게 판단될 수 있다.
도 1은 일 실시예에 따른 차량의 내부도이다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 메인 제어부로 입력되는 생체 정보값을 그룹화하여 나타내는 개념도이다.
도 4는 장치에 저장된 데이터 구조의 예시도이다.
도 5는 장치에 저장된 공헌도 리스트의 일 예시도이다.
도 6 및 도 7은 데이터 구조와 공헌도 리스트를 비교하는 과정을 설명하기 위한 데이터 구조와 공헌도 리스트의 예시도이다.
도 8은 일 실시예에 따른 장치를 포함하는 차량의 제어방법의 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 차량의 내부도이다.
도 1을 참조하면, 차량(10)에는 탑승한 운전자의 감정을 판단하기 위해, 다양한 생체 인식 장치가 마련될 수 있고, 생체 인식 장치로서, 운전자의 얼굴 또는 손동작 인식을 위한 카메라(11), 심장 박동을 측정하기 위한 전극(12), 음성 인식을 수행하기 위한 마이크(미도시) 등이 포함될 수 있으나, 생체 인식을 위한 수단이 반드시 이에 한정되는 것은 아니다.
이러한 생체 인식 장치를 통해 획득한 생체 정보는 차량(10)의 메인 제어부(400; 도 2)에 제공되고, 메인 제어부(400)가 미리 저장된 데이터 구조에 기반하여 감정을 판단하는 데 이용된다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
일 실시예에 따른 차량(10)은 미리 저장된 데이터 구조를 평가하는 장치(100)를 포함하고, 생체 인식부(200), 출력부(300), 및 메인 제어부(400)를 더 포함할 수 있다.
장치(100)는 미리 저장된 데이터 구조의 정확도를 평가하고 평가 결과를 메인 제어부(400)에 제공한다. 이를 위하여 장치(100)는 데이터 구조의 정확도를 평가하기 위해 장치(100) 내 구성요소의 동작을 제어하는 제어부(110)와 데이터 구조가 저장되는 저장부(120)를 포함한다.
제어부(110)는 장치(100) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(112), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(111)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
제어부(110)는 저장부(120)에 저장된 데이터 구조의 정확도를 평가한다.
데이터 구조는 계층 구조를 갖는 생체 정보에 대한 복수개의 특징점들과 감정값들을 포함하고, 예를 들어, 트리 구조를 가질 수 있다. 저장부(120)에 저장된 데이터 구조에 대해서는 도 3과 관련하여 후술한다.
제어부(110)는 미리 저장된 데이터 구조의 계층 별로 특징점의 적절성을 판단한다.
구체적으로, 제어부(110)는 데이터 구조와 별개로 복수개의 특징점들을 미리 설정된 기준에 따라 평가하여 각 특징점에 순위를 부여하고, 특징점들을 순위에 따라 나열한 공헌도 리스트를 생성한다. 그리고, 제어부(110)는 데이터 구조 상에서 어느 한 계층의 특징점과 공헌도 리스트 상에서 어느 순위를 갖는 특징점을 상호 비교하고, 특징점이 일치하지 않는 경우 데이터 구조 상의 어느 한 계층의 특징점을 공헌도 리스트 상의 특징점으로 대체시킨다.
그리고 제어부(110)는 특징점이 대체된 데이터 구조의 정확도를 평가하고, 저장부(120)에 미리 저장된 데이터 구조의 이전 정확도와 제어부(110)가 평가한 데이터 구조의 현재 정확도를 비교하고, 정확도가 높은 데이터 구조를 저장부(120)에 저장시킨다. 저장된 데이터 구조는 추후 메인 제어부(400)가 운전자의 생체 정보를 기초로 감정 판단을 수행할 때 이용될 수 있다.
반면, 제어부(110)는 데이터 구조 상에서 어느 한 계층의 특징점과 공헌도 리스트 상에서 어느 순위를 갖는 특징점을 상호 비교하고, 특징점이 일치하는 경우, 데이터 구조의 하위 계층과 공헌도 리스트의 후순위를 탐색하고, 데이터 구조 상에서 하위 계층의 특징점과 공헌도 리스트 상에서 후순위를 갖는 특징점을 상호 비교할 수 있다. 마찬가지로, 제어부(110)는 특징점이 상호 일치하지 않는 경우 하위 계층의 특징점을 공헌도 리스트 상의 후순위 특징점으로 대체시킬 수 있고, 특징점이 대체된 데이터 구조의 정확도 평가 결과에 따라 저장부(120)에 저장된 데이터 구조를 대체시킬 수 있다.
더욱 자세한 제어부(110)의 제어 과정에 대해서는 후술한다.
저장부(120)에는 데이터 구조가 저장되어 있다.
초기의 데이터 구조는 설계 과정에서, 또는 수리 과정에서 저장부(120)에 미리 저장된 것일 수 있다. 그 이후의 데이터 구조는 제어부(110)에 의해 저장된 것일 수 있다.
저장부(120)에 저장된 데이터 구조는 메인 제어부(400)에 의해 활용될 수 있다. 메인 제어부(400)는 저장부(120)에 저장된 데이터 구조를 이용하여 운전자의 감정 판단을 수행할 수 있다.
저장부(120)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부는 제어부와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
한편, 전술한 실시예는 저장부(120)와 제어부(110)의 메모리(112)가 별개의 칩으로서 구현된 것으로 기술되었으나, 저장부(120)와 메모리(112)는 단일 칩으로서 구현되는 것도 가능하다.
생체 인식부(200)는 운전자의 생체 정보를 획득하는 장치로서, 도 1과 관련하여 기술한 생체 인식 장치가 될 수 있다. 생체 인식부는 차량(10) 내 포함되어, 메인 제어부(400)에 다양한 생체 정보값을 직접 전달하는 것도 가능하나, 차량(10)의 외부에 마련되어 유무선 통신망을 통해 메인 제어부(400)에 생체 정보값을 전달하는 것도 가능하다.
출력부(300)는 장치(100)의 평가 결과 또는 메인 제어부(400)의 감정 판단 결과를 운전자에게 출력한다. 출력부(300)는 시각적으로 컨텐츠를 전달하는 디스플레이부(310) 및 청각적으로 컨텐츠를 전달하는 사운드부(320) 중 적어도 어느 하나를 포함할 수 있다.
예를 들어 디스플레이부(310)는 저장부(120)에 저장된 데이터 구조를 표시하거나, 장치(100)가 평가한 데이터 구조의 정확도를 수치로서 표시하거나, 메인 제어부(400)가 판단한 운전자의 감정을 글자, 이모티콘, 또는 그림 등의 형태로 표시할 수 있다.
디스플레이부(310)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
사운드부(320)는 장치(100)가 평가한 데이터 구조의 정확도를 음성으로 출력하거나, 메인 제어부(400)가 판단한 운전자의 감정을 음성 또는 음악 등의 형태로 출력할 수 있다.
사운드부(320)는 음향을 출력하는 스피커, 또는 앰프 등으로 마련될 수 있으나 이에 한정되지는 않는다.
메인 제어부(400)는 전술한 차량(10)의 생체 인식부(200)로부터 제공된 생체 정보의 특징점을 추출하고, 추출된 특징점의 결과값에 대응하는 운전자의 감정값을 도출한다. 생체 정보의 특징점은 장치(100)에 저장된 데이터 구조의 특징점이 될 수 있고, 감정값은 장치(100)에 저장된 데이터 구조의 감정값이 될 수 있다.
메인 제어부(400)는 장치(100)의 저장부(120)에 저장된 데이터 구조에 기반하여 운전자의 생체 정보에 대응하는 운전자의 감정값을 도출한다.
메인 제어부(400)는 차량(10) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(420), 및 메모리(420)에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(410)로 구현될 수 있다. 이때, 메모리(420)와 프로세서(410)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
메인 제어부(400)는 차량(10)의 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 여러 가지 안전 장치 및 각종 센서들의 구동을 제어하는 전자 제어 유닛(ECU: Electronic Control Unit)으로 구현될 수 있다.
한편, 메인 제어부(400)와 장치(200)의 제어부(110)는 별개의 하드웨어적 구성요소로서 구현되는 것도 가능하나, 하나의 하드웨어적 구성요소로 마련되어 각각의 기능을 수행하는 소프트웨어 구성요소로 구현되는 것도 가능하다.
이하, 도 3 내지 도 7을 참조하여, 일 실시예에 따른 장치(100)를 포함하는 차량(10)이 데이터 구조를 평가하고 평가된 데이터 구조를 이용하여 운전자의 감정을 판단하는 방법에 대해서 설명한다.
도 3은 메인 제어부로 입력되는 생체 정보값을 그룹화하여 나타내는 개념도이다.
도 3을 참조하면 , 메인 제어부(400)가 생체 인식부(200)를 통해 일 회 이상 복수개의 생체 정보값(x, y, z)을 획득한 경우, 각 회 당 획득된 복수개의 생체 정보값의 그룹을 생체 정보 그룹(in)이라 하면, 각 생체 정보 그룹(in)이 포함하고 있는 복수개의 생체 정보값들(x, y, z)은 서로 동일하거나 다른 생체 인식부(200)에 의해 획득된 값일 수 있다.
생체 정보는 측정 시점에 따라, 또는 사람에 따라 상이하게 나타날 수 있기 때문에, 각 그룹(in1, in2, in3)이 동일한 하나 이상의 생체 인식 장치를 이용하여 생체 정보값들(x1, y1, z1; x2, y2, z2; x3, y3, z3)을 획득하였더라도, 그룹(in1, in2, in3) 간 어느 한 생체 인식 장치를 이용하여 획득한 생체 정보값(x1, x2, 및 x3; y1, y2, 및 y3; 또는 z1, z2, 및 z3)은 서로 상이할 수 있다.
예를 들어, 생체 인식부(200)로서, 카메라와 마이크가 마련되고, 생체 정보로서, 카메라가 획득한 운전자의 얼굴 영상, 마이크가 획득한 음성 톤, 및 카메라가 획득한 동공 영상이 획득된 경우, 메인 제어부(400)는 제 1 그룹(in1)에 대해 얼굴 영상 데이터 x1, 음성 데이터 y1, 및 동공 영상 데이터 z1을 제공 받을 수 있고, 제 2 그룹(in2)에 대해 얼굴 영상 데이터 x2, 음성 데이터 y2, 및 동공 영상 데이터 z2을 제공 받을 수 있고, 제 3 그룹(in3)에 대해 얼굴 영상 데이터 x3, 음성 데이터 y3, 및 동공 영상 데이터 z3을 제공 받을 수 있다.
얼굴 영상 데이터, 음성 데이터, 및 동공 영상 데이터는 시간에 따라 또는 운전자에 따라 상이하기 때문에, 얼굴 영상 데이터 x1, x2, 및 x3는 서로 상이할 수 있고, 음성 데이터 y1, y2, 및 y3는 서로 상이할 수 있고, 동공 영상 데이터 z1, z2, 및 z3는 서로 상이할 수 있다.
그리고, 메인 제어부(400)는 장치(100)의 저장부(120)에 미리 저장된 데이터 구조에 기반하여 획득된 운전자의 생체 정보의 특징점을 추출하고, 특징점 값에 대응하는 운전자의 감정 결과값을 도출한다.
도 4는 장치에 저장된 데이터 구조의 예시도이다.
도 4에 도시된 바와 같이, 장치(100)의 저장부(120)에는 하나 이상의 특징점(A1-A4, B1-B4, C1-C3, D1-D3)을 포함하는 데이터 구조가 저장되어 있다.
여기서, 각 특징점(A1-A4, B1-B4, C1-C3, D1-D3)은 데이터 구조에 미리 저장된 생체 정보의 분류 기준으로서, 예를 들어, 동공의 크기가 5mm이상인지 여부, 입꼬리가 올라갔는지 여부, 음성 톤이 높은지 여부, 음성에 떨림이 존재하는지 여부, 고개를 끄덕이는지 여부, 또는 심장 박동이 빨라졌는지 여부 등 설정에 따라 다양한 값이 될 수 있다.
메인 제어부(400)는 어느 한 생체 정보 그룹(in)을 획득하면, 어느 한 생체 정보 그룹(in)에 포함된 하나 이상의 생체 정보값에 기초하여 운전자의 감정을 판단할 수 있다.
이를 위하여, 메인 제어부(400)는 생체 정보 그룹(in) 내 포함된 생체 정보값을 미리 저장된 데이터 구조의 특징점에 따라 분류하고 생체 정보값들의 분류 결과값의 조합에 의해 운전자 감정을 판단할 수 있다. 이 경우, 메인 제어부(400)는 단계적으로 생체 정보값을 특징점에 따라 분류할 수 있다.
예를 들어, 도 4에 도시된 제 1 계층(Lv1)에서 판단되는 특징점 A1이 음성 톤이 높은지 여부인 경우, 운전자의 음성 톤이 높다고 판단되면, 하위 계층(Lv2)의 특징점 B1으로 진행하고, 운전자의 음성 톤이 높지 않다고 판단되면 하위 계층(Lv2)의 특징점 C1으로 진행할 수 있다. 그리고, 특징점 B1이 운전자가 고개를 끄덕이는지 여부인 경우, 특징점 B1으로 진행한 상태에서 고개를 끄덕이는 것으로 판단되면, 하위 계층(Lv3)의 특징점 B2로 진행하고, 특징점 B1으로 진행한 상태에서 고개를 끄덕이지 않는 것으로 판단되면 하위 계층(Lv3)의 특징점 A2로 진행할 수 있다.
그리고, 특징점 A2가 음성에 떨림이 존재하는지 여부인 경우, 특징점 A2로 진행한 상태에서 음성에 떨림이 존재하는 것으로 판단되면 다음 하위 계층(Lv4)에서 운전자의 감정이 "화남(CL1)"인 것으로서 판단하고 진행을 종료한다. 그러나, 특징점 A2로 진행한 상태에서 음성에 떨림이 존재하지 않은 것으로 판단되면 다음 하위 계층(Lv4)의 특징점 B3로 진행할 수 있다.
특징점 B3가 입 크기가 10cm이상인지 여부인 경우, 특징점 B3로 진행한 상태에서 입 크기가 10cm미만인 것으로 판단되면 다음 하위 계층(Lv5)의 특징점 C2로 진행하고, 특징점 B3로 진행한 상태에서 입 크기가 10cm이상인 것으로 판단되면 다음 하위 계층(Lv5)에서 운전자의 감정이 "피곤함(CL2)"인 것으로 판단하고 진행을 종료한다.
그리고, 메인 제어부(400)는 특징점 C2가 심장 박동수가 분당 100이상인지 여부인 경우, 특징점 C2로 진행한 상태에서 심장 박동수가 분당 100미만이면 다음 하위 계층(Lv6)에서 운전자의 감정이 "평온함(CL3)"인 것으로 판단하고, 특징점 C2로 진행한 상태에서, 심장 박동수가 분당 100이상이면 다음 하위 계층(Lv5)에서 운전자의 감정이 "긴장됨(CL4)"인 것으로 판단할 수 있다.
나머지 특징점들(A3-A4, B2-B4, C1, C3, D1-D3)과 감정의 예시에 대해서는 자세한 설명을 생략한다.
한편, 각각의 특징점들(A1-A4, B1-B4, C1-C3, D1-D3)은 서로 상이한 생체 정보를 분류하는 기준으로 그룹화될 수 있다. 예를 들어, 도 4와 같이, 동일한 알파벳 A를 포함하는 특징점 A1 내지 A4의 그룹은 운전자의 "음성 데이터"에 대한 특징점 그룹일 수 있고, 동일한 알파벳 B를 포함하는 특징점 B1 내지 B4의 그룹은 운전자의 "영상 데이터"에 대한 특징점 그룹일 수 있고, 동일한 알파벳 C를 포함하는 C1 내지 C3의 그룹은 운전자의 "심장 박동 정보"에 대한 특징점 그룹일 수 있고, 동일한 알파벳 D를 포함하는 D1 내지 D3의 그룹은 운전자의 "체온 정보"에 대한 특징점 그룹일 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 4에서는 4개의 감정값(CL1-CL4)을 포함하는 데이터 구조를 예시로 들어 설명하였으나, 감정값의 개수는 이에 한정되지 아니한다. 또한, 특징점의 개수 또한 도 4에 도시된 바에 한정되지 아니한다.
한편, 어느 한 감정값으로 귀결되기 위해 데이터 구조 상에서 진행되는 경로는 한 가지에 한정되지 아니한다. 도 4를 참조하면, "화남(CL1)"의 감정이 판단되는 경로들로서 A1->B1->A2->CL1로 진행하는 제 1 경로, A1->B1->B2->D1->CL1 로 진행하는 제 2 경로, A1->B1->B2->A3->A4->C3->CL1 로 진행하는 제 3 경로, A1->B1->B2->D1->B4->D3->CL1 로 진행하는 제 4 경로, A1->C1->CL1 로 진행하는 제 5 경로가 있을 수 있다.
여기서, 각 경로가 진행하는 계층의 개수는 서로 같을 수 있고 상이할 수도 있다. 전술한 제 1 경로는 제 4 계층(L4)까지 진행하고, 제 2 경로는 제 5 계층(Lv5)까지 진행하고, 제 3 경로는 제 7 계층(Lv7) 까지 진행하고, 제 4 경로는 제 3 계층(Lv3)까지 진행한다.
또한, "화남(CL1)"에 대응하는 서로 다른 복수개의 생체 정보 그룹들(in1, in2, ..., inn) 을 생체 인식부(200)에 입력하였을 때, 입력된 전체 생체 정보 그룹들(in1, in2, ..., inn) 중 60%의 생체 정보 그룹이 정확하게 "화남(CL1)"으로서 판단된 경우, 데이터 구조는 "화남(CL1)"에 대해 "60%의 정확도"를 가지고 있다고 할 수 있다.
그리고, "피곤함(CL2)"에 대응하는 서로 다른 복수개의 생체 정보 그룹들(in1, in2, ..., inn) 을 생체 인식부(200)에 입력하였을 때, 입력된 전체 생체 정보 그룹들(in1, in2, ..., inn) 중 40%의 생체 정보 그룹이 정확하게 " 피곤함(CL2)"으로서 판단된 경우, 데이터 구조는 "피곤함(CL2)"에 대해 "40%의 정확도"를 가지고 있다고 할 수 있다.
이와 같은 각 감정값에 대한 정확도값은 실험적으로 획득된 것일 수 있고, 장치(100)의 저장부(120)에 미리 저장되어 있을 수 있다.
일 실시예에 따른 장치(100)의 제어부(110)는 데이터 구조가 포함하는 하나 이상의 감정값에 대한 하나 이상의 정확도값에 기초하여 데이터 구조의 대표 정확도값을 판단할 수 있고, 판단된 데이터 구조의 대표 정확도값을 저장부(120)에 저장할 수 있다. 예를 들어, 제어부(110)는 하나 이상의 감정값에 대한 정확도값의 평균값을 데이터 구조의 대표 정확도값으로서 저장부(120)에 저장할 수 있다.
한편, 일 실시예에 따른 장치(100)의 제어부(110)는 저장부(120)에 저장된 데이터 구조의 대표 정확도를 향상시키기 위해 데이터 구조의 특징점을 교체시킬 수 있다.
도 5는 장치에 저장된 공헌도 리스트의 일 예시도이다.
장치(100)의 저장부(120)에는 데이터 구조 외 특징점과 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트가 또한 저장되어 있다.
이와 같은 공헌도 리스트는 설계 과정 또는 수리 과정에서 미리 저장된 것일 수 있고, 제어부(110)에 의해 생성된 것일 수도 있다.
공헌도 리스트가 제어부(110)에 의해 생성되는 경우, 제어부(110)는 속성 서브셋 평가방법(Attribute Subset Evaluation) 또는 단일 속성 평가 방법(Single Attribute Evaltuation)을 이용하여 특징점의 순위를 결정할 수 있는데, 예를 들어, 감정값과 특징점 간의 획득비 값을 산출함으로써 특징점의 중요도를 결정하고, 중요도가 높은 특징점에 대해 높은 순위를 부여할 수 있다. 이와 같은 중요도 평가방법을 정보 획득비 속성 평가 방법(Gain Ratio Attribute Evaluation)이라 한다.
또한, 다른 예를 들어 제어부(110)는 감정값과 특징점 간의 획득 정보의 값을 구하여 값의 크기에 따라 특징점의 중요도를 결정하고, 중요도가 높은 특징점에 대해 높은 순위를 부여할 수도 있다. 이와 같은 중요도 평가방법을 정보 획득 속성 평가 방법(Information Gain Attribute Evaluation)이라 한다.이외에도 카이제곱 속성 평가 방법(Chi-Square Attibute Evaluation) 등 다양한 방식을 통해 제어부(110)는 하나 이상의 특징점의 순위를 결정함으로써 각 특징점의 순위에 대한 정보를 포함하는 특징점의 공헌도 리스트를 생성하고, 생성된 공헌도 리스트를 저장부(120)에 저장할 수 있다.
또한, 제어부(110)는 추후 빠른 평가를 위해 공헌도 리스트의 특징점들을 순위별로 그룹화하는 것도 가능하다. 예를 들어, 제 1 순위 내지 제 3 순위의 특징점들을 제 1 그룹으로 그룹화하고, 제 4 순위 내지 제 6 순위의 특징점들을 제 2 그룹으로 그룹화하고, 제 7 순위 내지 제 9 순위의 특징점들을 제 3 그룹으로 그룹화하는 방식을 통해 미리 설정된 개수의 특징점들끼리 순위별로 그룹화할 수 있다.
일 실시예에 따른 장치(100)의 제어부(110)는 미리 저장된 데이터 구조와 공헌도 리스트를 상호 비교함으로써 데이터 구조의 정확성을 평가할 수 있다.
도 6 및 도 7은 데이터 구조와 공헌도 리스트를 비교하는 과정을 설명하기 위한 데이터 구조와 공헌도 리스트의 예시도이다.
우선 제어부(110)는 데이터 구조에서 가장 상위 계층인 제 1 계층에 공헌도 리스트 상에서 가장 높은 순위를 갖는 특징점이 존재하는지 여부를 판단한다.
만약 제 1 계층 상의 특징점이 복수개인 경우, 제어부(110)는 제 1 계층 상의 복수개의 특징점과 공헌도 리스트 상에서 가장 높은 순위를 갖는 복수개의 특징점들이 상호 일치하는지 여부를 판단함으로써 제 1 계층 상에 공헌도 리스트 상에서 다음 순위의 특징점이 존재하는지 여부를 판단할 수 있다. 공헌도 리스트 상에서 가장 높은 순위를 갖는 복수개의 특징점들의 개수는 제 1 계층 상의 복수개의 특징점의 개수에 대응될 수 있다.
도 6을 참조하면, 제 1 계층 상에는 하나의 특징점(A1)이 존재하므로, 제어부(110)는 데이터 구조 상에서 제 1 계층 상에 존재하는 A1 특징점과 공헌도 리스트 상에서 가장 높은 제 1 순위를 갖는 A1 특징점이 상호 일치하고, 이에 따라 제 1 계층에는 공헌도 리스트 상에서 가장 높은 순위를 갖는 특징점이 존재하는 것으로 판단할 수 있다.
이어서, 제어부(110)는 제 1 계층 상의 특징점과 제 1 순위를 갖는 특징점이 일치하면, 데이터 구조 상에서 다음 계층인 제 2 계층 상에 공헌도 리스트 상에서 다음 순위의 특징점이 존재하는지 여부를 판단할 수 있다.
만약 제 2 계층 상의 특징점이 복수개인 경우, 제어부(110)는 제 2 계층 상의 복수개의 특징점과 공헌도 리스트 상에서 이전 계층에서 비교되었던 특징점들 다음으로 높은 순위를 갖는 복수개의 특징점들이 상호 일치하는지 여부를 판단함으로써 제 2 계층 상에 공헌도 리스트 상에서 다음 순위의 특징점이 존재하는지 여부를 판단할 수 있다. 마찬가지로, 공헌도 리스트 상에서 제 1 순위 다음으로 높은 순위를 갖는 복수개의 특징점들의 개수는 제 2 계층 상의 복수개의 특징점의 개수에 대응될 수 있다.
도 6을 참조하면, 제 2 계층 상에는 두 개의 특징점들(B1, C1)이 존재하므로, 제어부(110)는 데이터 구조 상에서 제 2 계층 상에 존재하는 B1 특징점 및 C1 특징점과 공헌도 리스트 상에서 이전 제 1 계층에서 비교되었던 A1 특징점 다음으로 높은 순위인 제 2 순위 및 제 3 순위를 갖는 B1 특징점 및 D1 특징점이 상호 일치하는지 여부를 판단할 수 있다. 제 2 계층 상에 B1 특징점은 존재하나, D1 특징점이 존재하지 않으므로, 제어부(110)는 제 2 계층 상에 존재하는 특징점들과 공헌도 리스트의 대응하는 순위 상에 존재하는 특징점들은 상호 불일치하는 것으로 판단할 수 있다.
제어부(110)는 이와 같이 어느 한 계층 상의 특징점과 공헌도 리스트 상에서 대응되는 순위를 갖는 특징점이 일치하지 않는 경우, 데이터 구조의 어느 한 계층의 특징점을 공헌도 리스트 상의 특징점으로 대체시킬 수 있다.
도 6을 참조하면, 제어부(110)는 제 2 계층의 특징점을 B1 특징점 및 D1 특징점으로 대체시킬 수 있다.
그리고, 제어부(110)는 데이터 구조의 어느 한 계층의 특징점이 대체되면 데이터 구조 전체의 정확도를 평가한다.
데이터 구조의 정확도를 평가하는 방법으로서 실험적인 방법이 이용될 수 있으나, 이에 한정되지 아니하고, 교차 타당성 검사(Cross-validation; https://en.wikipedia.org/wiki/Cross-validation_(statistics) 참조) 등 다양한 방법을 통해 데이터 구조의 정확도 평가가 수행될 수 있다.
이어서, 제어부(110)는 데이터 구조의 정확도가 미리 설정된 기대값 이상이면 특징점이 대체된 현재 데이터 구조를 저장부(120)에 저장시키고, 데이터 구조의 정확도가 기대값 미만이면 이전에 탐색되었던 계층의 다음 계층인 제 3 계층 상에 다음 순위의 특징점이 존재하는지 여부를 판단할 수 있다. 마찬가지로, 공헌도 리스트 상에서 마지막으로 비교되었던 제 3 순위 다음으로 높은 순위를 갖는 복수개의 특징점들의 개수는 제 3 계층 상의 복수개의 특징점의 개수에 대응될 수 있다.
도 7을 참조하면, 제 2 계층의 특징점을 대체한 결과, 데이터 구조의 정확도가 기대값 미만이면, 제어부(110)는 제 3 계층 상에 존재하는 세 개의 특징점들(A2, B2, B3)과 제 3 순위 다음으로 높은 순위인 제 4 순위, 제 5 순위, 및 제 6 순위를 갖는 세 개의 특징점들(A2, B2, A3)을 비교할 수 있다.
제 3 계층 상에 A2 특징점, 및 B2 특징점이 존재하나, A3 특징점이 존재하지 않으므로, 제어부(110)는 제 3 계층 상에 존재하는 특징점들과 공헌도 리스트의 대응하는 순위 상에 존재하는 특징점들은 상호 불일치하는 것으로 판단할 수 있고, 이에 따라 제 3 계층에는 공헌도 리스트 상에서 다음으로 높은 순위를 갖는 특징점이 존재하지 않는 것으로 판단할 수 있다.
마찬가지로 제어부(110)는 이와 같이 어느 한 계층 상의 특징점과 공헌도 리스트 상에서 대응되는 순위를 갖는 특징점이 일치하지 않는 경우, 데이터 구조의 어느 한 계층의 특징점을 공헌도 리스트 상의 특징점으로 대체시킬 수 있다.
도 7을 참조하면, 제어부(110)는 제 3 계층의 특징점을 A2 특징점, B2 특징점, 및 A3 특징점으로 대체시킬 수 있다.
그리고, 제어부(110)는 데이터 구조의 어느 한 계층의 특징점이 대체되면 데이터 구조 전체의 정확도를 다시 평가한다.
이어서, 제어부(110)는 데이터 구조의 정확도가 기대값 이상이면 특징점이 대체된 현재 데이터 구조를 저장부(120)에 저장시키고, 데이터 구조의 정확도가 기대값 미만이면 이전에 탐색되었던 계층의 다음 계층인 제 4 계층 상에 다음 순위의 특징점이 존재하는지 여부를 판단할 수 있다. 마찬가지로, 공헌도 리스트 상에서 마지막으로 비교되었던 제 6 순위 다음으로 높은 순위를 갖는 복수개의 특징점들의 개수는 제 3 계층 상의 복수개의 특징점의 개수에 대응될 수 있다.
한편, 제어부(110)는 전술한 특징점의 대체 과정에도 불구하고 데이터 구조의 정확도가 기대값 미만이면, 이와 같이 데이터 구조 상의 특징점과 공헌도 리스트 상의 특징점을 상호 비교하는 과정을 데이터 구조의 마지막 계층까지 수행할 수 있다.
제어부(110)는 데이터 구조의 마지막 계층에서 특징점을 대체한 결과 여전히 데이터 구조의 정확도가 기대값 미만이면, 특징점이 대체된 데이터 구조의 정확도와 특징점이 대체되기 이전에 저장부(120)에 저장된 데이터 구조 간의 정확도를 상호 비교하고, 특징점이 대체된 데이터 구조의 정확도가 저장부(120)에 저장된 데이터 구조의 정확도 이상이면 특징점이 대체된 데이터 구조를 저장부(120)에 저장시키고, 특징점이 대체된 데이터 구조의 정확도가 저장부(120)에 저장된 데이터 구조의 정확도 미만이면 저장부(120)에 저장된 데이터 구조를 유지시킨다.
이와 같이 장치(100)가 계층 별로 데이터 구조의 특징점의 공헌도를 평가하고, 특징점의 대체에 따른 데이터 구조의 정확도를 평가함으로써 정확도가 높은 데이터 구조가 장치(100)에 업데이트될 수 있고, 차량(10)의 메인 제어부(400)는 업데이트된 데이터 구조를 이용하여 정밀하게 운전자의 감정 판단을 수행할 수 있게 된다.
한편, 도 2에 도시된 차량(10)과 장치(100)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 일부 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소일 수 있다.
이하, 도 8을 참조하여 일 실시예에 따른 장치(100)를 포함하는 차량의 제어방법에 대해 설명한다. 도 8은 일 실시예에 따른 장치를 포함하는 차량의 제어방법의 순서도이다.
우선 일 실시예에 따른 차량은 미리 저장된 데이터 구조 상의 최상위 계층인 제 1 계층의 특징점과 미리 저장된 공헌도 리스트 상의 최우선 순위인 제 1 순위의 특징점을 판단하고(1111), 특징점을 상호 비교한다(1112).
이어서, 차량은 데이터 구조 상의 제 1 계층에 공헌도 리스트 상의 제 1 순위의 특징점이 존재하는지 여부를 판단하고(1112), 데이터 구조의 제 1 계층에 제 1 순위의 특징점이 존재하는 경우(1112의 "예"), 데이터 구조 상에서 다음 계층의 특징점과 공헌도 리스트 상에서 다음 순위의 특징점을 상호 비교한다(1120, 1121, 1112).
한편, 제 1 계층 상에 특징점이 복수개 존재하는 경우, 차량은 제 1 계층에 포함된 특징점의 개수만큼 공헌도 리스트 상의 특징점을 높은 순위부터 추출할 수 있고, 차량은 제 1 계층에 포함된 특징점들과 공헌도 리스트에서 추출된 특징점들을 비교할 수 있다.
그리고 차량은 데이터 구조의 제 1 계층의 특징점과 공헌도 리스트에서 추출된 복수개의 특징점이 일치하면(1112의 "예"), 공헌도 리스트에서 추출된 특징점의 다음 순위(1120; (공헌도 순위) = (현재 공헌도 순위) + (제 1 계층의 특징점 개수) + 1)에 존재하는 특징점과 제 2 계층의 특징점(1121; (계층) = (현재 계층) + 1)을 상호 비교할 수 있다(1120, 1121, 1112). 이 경우에도, 차량은 제 2 계층에 포함된 특징점의 개수만큼 공헌도 리스트 상의 특징점을 다음으로 높은 순위부터 추출할 수 있고, 차량은 제 2 계층에 포함된 특징점들과 공헌도 리스트에서 추출된 특징점들을 비교할 수 있다.
그러나, 차량은 제 1 계층에 제 1 순위의 특징점이 존재하지 않는 경우(1112의 "아니오"), 데이터 구조에서 현재 탐색중인 계층의 특징점을 공헌도 리스트에서 추출된 특징점으로 대체시킨다(1113).
그리고, 차량은 대체된 특징점을 포함하는 데이터 구조의 정확도를 평가하고(1114), 정확도가 미리 설정된 기대값 이상인지 여부를 판단한다(1115).
평가된 정확도가 기대값 이상이면, 차량은 대체된 특징점을 포함하는 데이터 구조를 새롭게 저장하나(1116), 정확도가 기대값 미만이면, 차량은 다음 계층을 탐색하여 다음 계층 상에 존재하는 특징점과 공헌도 리스트의 다음 순위 상에 존재하는 특징점을 상호 비교하고(1120, 1121, 1112), 전술한 바와 같이 특징점이 상호 일치하지 않는 경우 특징점을 대체하고, 특징점이 대체된 데이터 구조의 정확도를 재평가함으로써 기대값 이상의 정확도를 갖는 데이터 구조를 저장할 수 있다.
한편, 차량이 데이터 구조 상에서 마지막 계층의 특징점을 대체하였으나(1113, 1114), 여전히 정확도가 기대값 미만이면(1115의 "아니오", 1117의 "예"), 차량은 특징점이 대체된 데이터 구조의 정확도와 이전에 저장된 데이터 구조의 정확도를 상호 비교하고(1118), 정확도가 더 높은 데이터 구조를 저장할 수 있다(1116, 1119).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (20)

  1. 계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트가 저장된 저장부; 및
    상기 데이터 구조의 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점을 상호 비교하는 제어부를 포함하되,
    상기 제어부는 비교 결과에 기초하여 상기 데이터 구조의 업데이트 여부를 판단하는 장치.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점이 일치하면, 상기 공헌도 리스트의 특징점으로 상기 어느 한 계층의 특징점을 대체하는 장치.
  3. 제 1 항에 있어서,
    상기 제어부는 상기 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점이 불일치하면, 다른 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점을 비교하는 장치.
  4. 제 1 항에 있어서,
    상기 제어부는 상기 어느 한 계층이 포함하는 특징점과 상기 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교하는 장치.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 어느 한 계층이 포함하는 특징점과 상기 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점이 상호 불일치하면, 상기 어느 한 계층의 하위 계층이 포함하는 특징점과 상기 순위보다 후순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교하는 장치.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점이 일치하면, 상기 공헌도 리스트의 특징점으로 상기 어느 한 계층의 특징점을 대체하고, 특징점이 대체된 데이터 구조의 정확도를 평가하는 장치.
  7. 제 6 항에 있어서,
    상기 제어부는 정확도 평가 결과에 기초하여 상기 데이터 구조의 업데이트 여부를 결정하는 장치.
  8. 제 6 항에 있어서,
    상기 제어부는 상기 정확도가 미리 설정된 기대값 이상이면, 상기 특징점이 대체된 데이터 구조를 상기 저장부에 저장시키는 장치.
  9. 운전자의 생체 정보를 수집하는 생체 인식부;
    계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트를 저장하고, 상기 데이터 구조의 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점을 상호 비교하고, 비교 결과에 기초하여 상기 데이터 구조의 업데이트 여부를 판단하는 장치; 및
    상기 데이터 구조 및 상기 생체 정보를 이용하여 운전자의 감정을 판단하는 메인 제어부를 포함하는 차량.
  10. 제 9 항에 있어서,
    상기 장치는 상기 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점이 일치하면, 상기 공헌도 리스트의 특징점으로 상기 어느 한 계층의 특징점을 대체하는 차량.
  11. 제 9 항에 있어서,
    상기 장치는 상기 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점이 불일치하면, 다른 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점을 비교하는 차량.
  12. 제 9 항에 있어서,
    상기 장치는 상기 어느 한 계층이 포함하는 특징점과 상기 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교하는 차량.
  13. 제 12 항에 있어서,
    상기 장치는 상기 어느 한 계층이 포함하는 특징점과 상기 어느 한 계층에 대응하는 순위를 갖는 공헌도 리스트 상의 특징점이 상호 불일치하면, 상기 어느 한 계층의 하위 계층이 포함하는 특징점과 상기 순위보다 후순위를 갖는 공헌도 리스트 상의 특징점을 상호 비교하는 차량.
  14. 제 9 항에 있어서,
    상기 장치는 상기 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점이 일치하면, 상기 공헌도 리스트의 특징점으로 상기 어느 한 계층의 특징점을 대체하고, 특징점이 대체된 데이터 구조의 정확도를 평가하는 차량.
  15. 제 14 항에 있어서,
    상기 장치는 정확도 평가 결과에 기초하여 상기 데이터 구조의 업데이트 여부를 결정하는 차량.
  16. 제 14 항에 있어서,
    상기 장치는 상기 정확도가 미리 설정된 기대값 이상이면, 상기 특징점이 대체된 데이터 구조를 저장하는 차량.
  17. 제 9 항에 있어서,
    상기 생체 인식부는 운전자의 얼굴 또는 손동작 인식을 위한 카메라를 포함하는 차량.
  18. 제 9 항에 있어서,
    상기 생체 인식부는 운전자의 음성 인식을 수행하는 마이크를 포함하는 차량.
  19. 제 9 항에 있어서,
    상기 감정의 판단 결과를 표시하는 디스플레이부를 더 포함하는 차량.
  20. 계층적으로 나열된 하나 이상의 특징점을 포함하는 데이터 구조 및 각 특징점의 공헌도 순위에 대한 정보를 포함하는 공헌도 리스트가 저장된 장치와, 메인 제어부를 포함하는 차량의 제어방법에 있어서,
    상기 장치가, 상기 데이터 구조의 어느 한 계층이 포함하는 특징점과 상기 공헌도 리스트의 특징점을 상호 비교하는 단계;
    상기 장치가, 상기 비교 결과에 기초하여 상기 데이터 구조의 업데이트 여부를 판단하는 단계; 및
    상기 메인 제어부가, 상기 데이터 구조 및 운전자의 생체 정보를 이용하여 운전자의 감정을 판단하는 단계를 포함하는 차량의 제어방법.
KR1020180047063A 2018-04-24 2018-04-24 장치, 이를 포함하는 차량, 및 차량의 제어방법 KR102605595B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180047063A KR102605595B1 (ko) 2018-04-24 2018-04-24 장치, 이를 포함하는 차량, 및 차량의 제어방법
US16/207,772 US10515280B2 (en) 2018-04-24 2018-12-03 Apparatus, vehicle including the same, and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180047063A KR102605595B1 (ko) 2018-04-24 2018-04-24 장치, 이를 포함하는 차량, 및 차량의 제어방법

Publications (2)

Publication Number Publication Date
KR20190123403A KR20190123403A (ko) 2019-11-01
KR102605595B1 true KR102605595B1 (ko) 2023-11-23

Family

ID=68236444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180047063A KR102605595B1 (ko) 2018-04-24 2018-04-24 장치, 이를 포함하는 차량, 및 차량의 제어방법

Country Status (2)

Country Link
US (1) US10515280B2 (ko)
KR (1) KR102605595B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11385884B2 (en) * 2019-04-29 2022-07-12 Harman International Industries, Incorporated Assessing cognitive reaction to over-the-air updates
KR20210040724A (ko) 2019-10-04 2021-04-14 주식회사 엘지화학 배터리 관리 장치
CN113815625B (zh) * 2020-06-19 2024-01-19 广州汽车集团股份有限公司 车辆辅助驾驶控制方法、装置及智能方向盘
CN111931762B (zh) * 2020-09-25 2021-07-30 广州佰锐网络科技有限公司 基于ai的图像识别解决方法、装置及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120330173A1 (en) 2011-06-23 2012-12-27 Hyundai Motor Company Apparatus and method for obtaining biometric information of driver
US20150379715A1 (en) 2014-06-27 2015-12-31 Crown Equipment Limited Vehicle positioning or navigation utilizing associated feature pairs
JP2017010206A (ja) 2015-06-19 2017-01-12 株式会社デンソー 運転操作判別装置
JP2017033470A (ja) 2015-08-05 2017-02-09 株式会社日立パワーソリューションズ 異常予兆診断システム及び異常予兆診断方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5487931B2 (ja) 2009-12-11 2014-05-14 トヨタ自動車株式会社 位置補正装置及び方法、並びに運転支援装置
KR20140034996A (ko) * 2012-09-11 2014-03-21 재단법인 포항산업과학연구원 이동로봇 및 상기 이동로봇에 대한 경로학습방법
US9734685B2 (en) * 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
KR102287310B1 (ko) * 2015-04-02 2021-08-09 현대자동차주식회사 차량 주변의 객체 판별 시스템 및 방법
KR101743763B1 (ko) 2015-06-29 2017-06-05 (주)참빛솔루션 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
KR20170028631A (ko) 2015-09-04 2017-03-14 (주) 이즈테크놀로지 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120330173A1 (en) 2011-06-23 2012-12-27 Hyundai Motor Company Apparatus and method for obtaining biometric information of driver
US20150379715A1 (en) 2014-06-27 2015-12-31 Crown Equipment Limited Vehicle positioning or navigation utilizing associated feature pairs
JP2017010206A (ja) 2015-06-19 2017-01-12 株式会社デンソー 運転操作判別装置
JP2017033470A (ja) 2015-08-05 2017-02-09 株式会社日立パワーソリューションズ 異常予兆診断システム及び異常予兆診断方法

Also Published As

Publication number Publication date
US20190325240A1 (en) 2019-10-24
US10515280B2 (en) 2019-12-24
KR20190123403A (ko) 2019-11-01

Similar Documents

Publication Publication Date Title
KR102605595B1 (ko) 장치, 이를 포함하는 차량, 및 차량의 제어방법
US11334804B2 (en) Cognitive music selection system and method
EP3616053B1 (en) Artificial intelligent cognition threshold
US10832128B2 (en) Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
US11816457B2 (en) Program predictor
US11537277B2 (en) System and method for generating photorealistic synthetic images based on semantic information
JPWO2017073373A1 (ja) 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
CN109685199A (zh) 创建包含关于池化类型的信息的表的方法和装置及使用其的测试方法和测试装置
US10997373B2 (en) Document-based response generation system
WO2012039864A1 (en) Visual-cue refinement of user query results
EP3702953B1 (en) Electronic device for obfuscating and decoding data and method for controlling same
JP2018045516A (ja) 分類装置、分類方法およびプログラム
KR20220049857A (ko) 데이터 레이블링 장치 및 방법
US9383919B2 (en) Touch-based text entry using hidden Markov modeling
JP6632124B2 (ja) 画像分類方法および画像分類装置
KR102533789B1 (ko) 데이터 분류 장치, 이를 포함하는 차량, 및 데이터 분류 장치의 제어방법
KR102525120B1 (ko) 데이터 분류 장치, 이를 포함하는 차량, 및 데이터 분류 장치의 제어방법
WO2023091801A1 (en) Facilitating video generation
US11379094B2 (en) Emotion-based content selection method, content selection device, and non-transitory computer-readable recording medium storing content selection program
Salamati et al. Perception-in-the-loop adversarial examples
JP2020197844A (ja) 顔画像判定システム
US20180285904A1 (en) Fast and scalable crowd consensus tool
US20240095520A1 (en) Representation learning apparatus, method, and non-transitory computer readable medium
KR102603424B1 (ko) 뉴럴 네트워크 모델을 이용하여 이미지 이벤트 분류를 결정하는 방법, 장치 및 컴퓨터-판독가능 매체
US10915286B1 (en) Displaying shared content on respective display devices in accordance with sets of user preferences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant