KR20210116309A - 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술 - Google Patents

운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술 Download PDF

Info

Publication number
KR20210116309A
KR20210116309A KR1020210032330A KR20210032330A KR20210116309A KR 20210116309 A KR20210116309 A KR 20210116309A KR 1020210032330 A KR1020210032330 A KR 1020210032330A KR 20210032330 A KR20210032330 A KR 20210032330A KR 20210116309 A KR20210116309 A KR 20210116309A
Authority
KR
South Korea
Prior art keywords
emotional state
user
sentiment
component
driver
Prior art date
Application number
KR1020210032330A
Other languages
English (en)
Inventor
스테판 마티
조셉 버베크
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20210116309A publication Critical patent/KR20210116309A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Abstract

하나 이상의 실시형태는 사용자의 정서 상태를 계산하고 분석하기 위한 정서 분석 시스템을 포함한다. 정서 분석 시스템은 적어도 하나의 센서를 통해 사용자와 관련된 센서 데이터를 획득한다. 정서 분석 시스템은 센서 데이터에 기초하여, 사용자와 관련된 정서 상태를 결정한다. 정서 분석 시스템은 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 상태의 제1 성분을 결정한다. 정서 분석 시스템은 정서 상태로부터 제1 성분을 제거하기 위해 정서 상태에 제1 기능을 적용한다.

Description

운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술{TECHNIQUES FOR SEPARATING DRIVING EMOTION FROM MEDIA INDUCED EMOTION IN A DRIVER MONITORING SYSTEM}
본 발명의 실시형태는 일반적으로 심리 생리학적 감지 시스템에 관한 것이고, 보다 구체적으로 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하기 위한 기술에 관한 것이다.
사람의 정서 상태의 컴퓨터 기반 인식은 다양한 적용에서 점점 더 많이 이용되고 있다. 하나의 특정 예에서, 운전자 모니터링 시스템(DMS)은 운전자가 날씨, 교통 및/또는 도로 상태와 같은 차량과 관련된 다양한 운전 조건에 어떻게 반응하고 있는지를 평가하기 위해 운전자의 정서 상태를 검출할 수 있다. 악천후, 교통 체증, 빈약하게 관리된 도로는 운전자가 고통스럽고 화를 내고/내거나 불안한 정서 상태에 빠질 수 있게 한다. 대조적으로, 좋은 날씨, 원활한 교통, 및 잘 관리된 도로는 운전자가 차분하고, 편안하며, 기분 좋은 정서 상태에 있게 할 수 있다. 운전자의 정서 상태에 대한 평가에 응답하여, DMS는 운전자에게 텍스트 또는 오디오, 또는 표시기, 조명, 햅틱 출력 등과 같은 다른 형태로 제안 및/또는 경고를 제시하는 것과 같은 특정 조치를 취할 수 있다.
상기된 기술의 하나의 잠재적인 결점은 운전자의 정서 상태가 현재의 운전 조건에 더하여 다수의 요인에 기인할 수 있다는 것이다. 예를 들어, 운전자의 정서 상태는 음악, 뉴스, 토크 라디오, 오디오 북 등과 같이 운전자가 청취하는 미디어 콘텐츠에 의해 영향을 받을 수 있다. 또한, 운전자의 정서 상태는 운전자와 승객 사이의 대면 대화(in-person conversation) 또는 운전자와 한 명 이상의 다른 사람 사이의 전화 통화에 의해 영향을 받을 수 있다. 공격적인 음악이나 불쾌한 대화는 좋은 운전 조건에서도 운전자가 고통스럽고 화를 내고/내거나 불안한 정서 상태에 빠질 수 있게 한다. 대조적으로, 명상적인 음악이나 유쾌한 대화는 스트레스가 많은 운전 조건에서도 운전자가 차분하고, 편안하며, 유쾌한 정서 상태에 있게 할 수 있다. 이러한 명상적인 음악이나 즐거운 대화는 운전자가 경계하고 능동적이어야 하는 운전 조건에서도 운전자를 차분하고 편안한 상태로 달랠 수 있다. 그 결과, 운전자의 정서 상태의 컴퓨터 인식에 기초한 운전 조건의 평가는 현재의 운전 조건 이외의 요인에 의해 정서 상태가 영향을 받는 경우에 부정확할 수 있다. 그러므로, 운전 조건의 이러한 부정확한 평가에 의지하는 DMS는 운전자에게 부정확한 정보를 제공할 수 있다.
전술한 바와 같이, 운전 조건에 대한 사용자 반응을 결정하기 위한 개선된 기술이 유용하였을 것이다.
본 개시내용의 다양한 실시형태는 사용자의 정서 상태를 계산하고 분석하기 위한 컴퓨터 구현 방법(computer-implemented method)을 제시한다. 방법은 적어도 하나의 센서를 통해 사용자와 관련된 센서 데이터를 획득하는 단계를 포함한다. 방법은 센서 데이터에 기초하여 사용자와 관련된 정서 상태를 결정하는 단계를 더 포함한다. 방법은 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 상태의 제1 성분(first component)을 결정하는 단계를 더 포함한다. 방법은 정서 상태로부터 제1 성분을 제거하기 위해 정서 상태에 제1 기능을 적용하는 단계를 더 포함한다.
다른 실시형태는 개시된 기술의 하나 이상의 양태를 구현하는 시스템, 및 개시된 기술의 하나 이상의 양태를 수행하기 위한 명령을 포함하는 하나 이상의 컴퓨터 판독 가능 매체를 제한없이 포함한다.
종래 기술과 관련된 개시된 기술의 적어도 하나의 기술적 이점은 운전자의 정서 상태와 관련된 데이터가 미디어 콘텐츠 및/또는 다른 요인으로 인해 운전자의 정서 상태에 대한 기여를 제거하는 것에 의해 운전자의 전반적인 정서 상태로부터 운전 조건으로 인한 운전자의 정서 상태에 대한 기여를 보다 정확하게 분리하도록 처리될 수 있다는 것이다. 그 결과, DMS는 운전자의 정서 상태에 대한 운전 조건의 기여에 응답하여 운전자에게 보다 적절한 응답 조치를 생성할 수 있다. 개시된 기술의 또 다른 기술적 이점은 다수의 운전자로부터의 정서 상태 데이터를 집계하는 중앙 서버 시스템이 특정 지역에서의 운전 조건의 전반적인 호감도 또는 비호감도의 보다 정확한 평가를 생성하기 위해 운전자의 정서 상태에 대한 운전 조건의 기여의 보다 정확한 평가를 사용할 수 있다는 것이다. 이들 기술적 이점은 종래 기술 접근법 이상의 하나 이상의 기술적 개선을 나타낸다.
위에서 제시된 하나 이상의 실시형태의 인용된 특징이 상세하게 이해될 수 있도록, 위에서 간략하게 요약된 하나 이상의 실시형태에 대한 보다 특정한 설명은 일부 특정 실시형태를 참조할 수 있으며, 그 중 일부는 첨부된 도면에 설명되어 있다. 그러나, 첨부된 도면은 단지 전형적인 실시형태를 예시하고, 그러므로 본 개시내용의 범위가 다른 실시형태를 포함하기 때문에 어떤 방식으로도 그 범위를 제한하는 것으로 간주되지 않는다는 점에 유의해야 한다.
도 1은 본 개시내용의 하나 이상의 양태를 구현하도록 구성된 시스템을 도시하며;
도 2는 다양한 실시형태에 따른, 도 1의 정서 분석 시스템의 보다 상세한 예시이며;
도 3a 내지 도 3c는 다양한 실시형태에 따른, 도 1의 시스템의 다양한 구성을 예시하는 개념도이며;
도 4a 및 도 4b는 다양한 실시형태에 따른, 도 1의 시스템과 관련된 센서의 예시적인 배열을 도시하며,
도 5a 및 도 5b는 다양한 실시형태에 따른, 다양한 차원을 따라서 정서 상태를 맵핑하기 위한 예시적인 모델을 도시하며;
도 6은 다양한 실시형태에 따른, 사용자의 정서 상태를 계산하고 분석하기 위한 방법 단계의 흐름도이다.
다음 설명에서, 일부 특정 실시형태에 대한 보다 철저한 이해를 제공하기 위해 다수의 특정 상세가 제시된다. 그러나, 다른 실시형태가 이러한 특정 상세 중 하나 이상없이 또는 추가적인 특정 상세와 함께 실시될 수 있다는 것은 당업자에게 자명할 것이다.
본 명세서에서 추가로 설명되는 바와 같이, 기존의 정서 분석 시스템은 사용자의 전반적인 정서 상태를 결정하도록 구성된다. 예를 들어, 운전자 모니터링 시스템(DMS)과 관련된 정서 분석 시스템은 차량의 운전자의 전반적인 정서 상태를 결정하도록 구성될 수 있다. 운전자의 전반적인 정서 상태는 운전 조건, 운전자에 의해 액세스되는 미디어 콘텐츠, 운전자와 승객 사이의 대면 대화, 운전자와 멀리 위치된 사람 사이의 전화 통화 등을 제한없이 포함하는 다양한 요인의 복합일 수 있다. DMS와 관련된 일부 적용은 날씨, 교통 및/또는 도로 상태와 같은 운전 조건에 기인하는 운전자의 정서 상태의 정확한 평가를 갖는 것으로부터 이익을 얻는다. 이와 관련하여, 본 개시내용의 정서 분석 시스템은 운전 조건 이외의 요인에 기인하는 운전자의 정서 상태의 하나 이상의 성분을 결정하고, 운전자의 전반적인 정서 상태로부터 이들 성분을 제거한다. 그 결과, 남아 있는 정서 상태 데이터는 제거된 성분 이외의 요인에 기인하는 운전자의 정서 상태를 나타낸다. 이와 관련하여, 남아 있는 정서 상태 데이터는 운전 조건에 기인하는 운전자의 정서 상태를 보다 정확하게 나타낸다.
하나의 예에서, 정서 분석 시스템은 운전자의 전반적인 정서 상태를 결정한다. 이어서, 정서 분석 시스템은 미디어 콘텐츠를 청취하거나 소비하는 것에 기인하는 운전자의 정서 상태의 성분을 결정한다. 정서 분석 시스템은 운전자의 전반적인 정서 상태로부터 미디어 콘텐츠를 청취하는 것에 기인하는 운전자 정서 상태의 성분을 제거한다. 추가적으로 또는 대안적으로, 정서 분석 시스템은 운전자와 승객 사이의 대면 대화, 운전자와 다른 사람 사이의 전화 통화 등과 같은 하나 이상의 추가 요인에 기인하는 운전자의 정서 상태의 성분을 결정한다. 정서 분석 시스템은 차례로 이들 다른 요인의 각각에 기인하는 운전자의 정서 상태의 성분을 제거한다. 남아 있는 정서 상태 데이터는 운전 조건에 기인하는 운전자의 정서 상태를 보다 정확하게 나타낸다.
시스템 개요
도 1은 본 개시내용의 하나 이상의 양태를 구현하도록 구성된 시스템(100)을 도시한다. 도시된 바와 같이, 시스템(100)은 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(telemetrics and over-the-air system)(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)을 제한없이 포함한다. 원격 서버 시스템(102) 및 텔레메트릭스 및 공중파 시스템(104)은 통신 네트워크(110)를 통해 서로 통신한다. 통신 네트워크(110)는 블루투스 통신 채널, 무선 및 유선 LAN(근거리 통신망), WAN(광역 통신망), 셀룰러 네트워크, 위성 네트워크, 고도 풍선 네트워크(및 기타 대기 위성 네트워크), 피어 투 피어형 네트워크, 차량-사물간 연결(V2X) 네트워크 등을 제한없이 포함하는 원격 또는 근거리 컴퓨터 시스템 및 컴퓨팅 디바이스 사이의 통신을 가능하게 하는 임의의 적절한 환경일 수 있다. 원격 서버 시스템(102) 및 텔레메트릭스 및 공중파 시스템(104)은 각각 통신 링크(112 및 114)를 경유하여 통신 네트워크(110)를 통해 통신한다. 또한, 텔레메트릭스 및 공중파 시스템(104)은 통신 링크(120 및 118)를 통해 운전자 모니터링 시스템(106) 및 정서 분석 시스템(108)과 각각 통신한다. 운전자 모니터링 시스템(106)은 통신 링크(116)를 통해 정서 분석 시스템(108)과 통신한다. 통신 링크(116, 118, 120)는 임의의 조합으로 임의의 하나 이상의 기술적으로 실현 가능한 통신 매체 및 프로토콜을 이용할 수 있다.
원격 서버 시스템(102)은 독립형 서버일 수 있는 컴퓨팅 디바이스, 서버들의 클러스터 또는 "팜(farm)", 하나 이상의 네트워크 기기, 또는 본 개시내용의 하나 이상의 양태를 구현하는데 적합한 임의의 다른 디바이스를 제한없이 포함한다. 예시적으로, 원격 서버 시스템(102)은 통신 링크(112)를 경유하여 통신 네트워크(110)를 통해 통신한다.
동작시에, 원격 서버 시스템(102)은 하나 이상의 정서 분석 시스템(108)으로부터 정서 상태 데이터를 수신한다. 일부 실시형태에서, 원격 서버 시스템(102)은 정서 분석 시스템(108)과 함께 본 명세서에 설명된 기술 중 하나 이상을 수행한다. 또한, 원격 서버 시스템(102)은 주어진 지리적 영역에 있는 다수의 사용자로부터의 정서 상태 데이터를 집계하고 분석한다. 집계된 정서 상태 데이터에 기초하여, 원격 서버 시스템(102)은 주어진 지리적 영역에서의 운전 조건이 호감 또는 비호감인지의 여부를 평가할 수 있다. 중앙 서버 시스템은 덜 호감인 운전 조건을 갖는 것으로서 평가되는 지역을 떠나서 더 호감인 운전 조건을 갖는 것으로 평가되는 지역으로 다른 운전자의 루트를 정할 수 있다. 이러한 방식으로, 사람의 정서 상태의 컴퓨터 기반 인식은 개별 운전자뿐만 아니라 운전자의 그룹의 경험을 전체적으로 향상시킬 수 있다.
텔레메트릭스 및 공중파 시스템(104)은 독립형 서버일 수 있는 컴퓨팅 디바이스, 서버들의 클러스터 또는 "팜", 하나 이상의 네트워크 기기, 또는 본 개시내용의 하나 이상의 양태를 구현하는데 적합한 임의의 다른 디바이스를 제한없이 포함한다. 예시적으로, 텔레메트릭스 및 공중파 시스템(104)은 통신 링크(114)를 경유하여 통신 네트워크(110)를 통해 통신한다. 또한, 텔레메트릭스 및 공중파 시스템(104)은 통신 링크(120 및 118)를 통해 운전자 모니터링 시스템(106) 및 정서 분석 시스템(108)과 각각 통신한다.
동작시에, 텔레메트릭스 및 공중파 시스템(104)은 운전자 모니터링 시스템(106) 및/또는 정서 분석 시스템(108)으로부터 측정 데이터를 수신한다. 측정 데이터는 센서 데이터, 기기, 카메라 이미지, 비디오 등을 제한없이 포함하는 시스템(100)의 다양한 성분과 관련된 정보를 포함할 수 있다. 측정 데이터는 처리된 데이터를 더 포함할 수 있으며, 여기에서, 운전자 모니터링 시스템(106) 및/또는 정서 분석 시스템(108)은 센서 데이터, 기기, 카메라 이미지, 비디오 등과 같은 특정 측정 데이터를 분석하고, 이로부터 처리된 데이터를 생성한다. 이러한 처리된 데이터는 정서 상태 데이터를 제한없이 포함할 수 있다. 이어서, 텔레메트릭스 및 공중파 시스템(104)은 운전자 모니터링 시스템(106) 및/또는 정서 분석 시스템(108)으로부터 통신 네트워크(110)를 통해 원격 서버 시스템(102)으로 측정 데이터를 전송한다.
운전자 모니터링 시스템(106)은 독립형 서버일 수 있는 컴퓨팅 디바이스, 서버들의 클러스터 또는 "팜", 하나 이상의 네트워크 기기, 또는 본 개시내용의 하나 이상의 양태를 구현하는데 적합한 임의의 다른 디바이스를 제한없이 포함한다. 예시적으로, 운전자 모니터링 시스템(106)은 통신 링크(120 및 116)를 통해 텔레메트릭스 및 공중파 시스템(104) 및 정서 분석 시스템(108)과 각각 통신한다.
동작시에, 운전자 모니터링 시스템(106)은 운전자의 각성 상태와 같은 특정 특성을 결정하기 위해 차량의 운전자를 모니터링한다. 운전자 모니터링 시스템(106)은 카메라, 마이크로폰, 적외선 센서, 초음파 센서, 레이더 센서, 열 화상 센서, 심박동수 및 호흡 모니터, 차량 기기 센서 등을 제한없이 포함하는 다양한 디바이스를 통해 측정 데이터를 수신한다. 측정 데이터를 분석하는 것에 의해, 운전자 모니터링 시스템(106)은 운전자의 각성 레벨을 포함할 수 있는 운전자의 전반적인 생리학적 상태를 결정한다. 운전자 모니터링 시스템(106)이 운전자가 충분히 각성하지 않는다고 결정하면, 운전자 모니터링 시스템(106)은 내부 조명을 점멸하고, 경보를 울리고, 브레이크를 적용하여 차량을 안전하게 감속 또는 정지시키는 것 등을 제한없이 포함하는 특정 응답 조치를 개시할 수 있다. 또한, 운전자 모니터링 시스템(106)은 본 명세서에서 추가로 설명되는 바와 같이 추가 분석을 위해 다양한 디바이스를 통해 수신된 측정 데이터를 정서 분석 시스템(108)으로 전송한다.
정서 분석 시스템(108)은 독립형 서버일 수 있는 컴퓨팅 디바이스, 서버들의 클러스터 또는 "팜", 하나 이상의 네트워크 기기, 또는 본 개시내용의 하나 이상의 양태를 구현하는데 적합한 임의의 다른 디바이스를 제한없이 포함한다. 예시적으로, 정서 분석 시스템(108)은 통신 링크(118 및 116)를 통해 텔레메트릭스 및 공중파 시스템(104) 및 운전자 모니터링 시스템(106)과 각각 통신한다.
동작시에, 정서 분석 시스템(108)은 운전자 모니터링 시스템(106)으로부터 측정 데이터를 수신한다. 측정 데이터는 운전자 모니터링 시스템(106)과 관련된 다양한 디바이스를 통해 수신된다. 정서 분석 시스템(108)은 본 명세서에서 추가로 설명되는 바와 같이 운전자 또는 다른 사용자의 정서 상태와 관련되어 처리된 데이터를 생성하기 위해 측정 데이터를 분석한다. 정서 분석 시스템(108)은 측정 데이터 및 처리된 데이터 중 하나 또는 둘 모두를 데이터 저장 장치에 저장한다. 일부 실시형태에서, 정서 분석 시스템(108)은 처리된 데이터를 운전자 모니터링 시스템(106)으로 전송할 수 있다. 이어서, 운전자 모니터링 시스템(106)은 처리된 데이터에 기초하여 하나 이상의 응답 조치를 수행할 수 있다. 일부 실시형태에서, 정서 분석 시스템(108)은 측정 데이터 및 처리된 데이터 중 하나 또는 둘 모두를 텔레메트릭스 및 공중파 시스템(104)으로 전송할 수 있다. 이어서, 텔레메트릭스 및 공중파 시스템(104)은 통신 네트워크(110)를 통해 원격 서버 시스템(102)으로 측정 데이터 및/또는 처리된 데이터를 전송할 수 있다.
본 명세서에 도시된 시스템은 예시적이며 변형 및 변경이 가능하다는 것을 이해할 것이다. 하나의 예에서, 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)은 특정 네트워크 및 통신 링크를 통해 통신하는 것으로서 도시된다. 그러나, 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)은 본 개시내용의 범위 내에서 임의이 기술적으로 실현 가능한 조합으로 임의의 기술적으로 실현 가능한 네트워크 및 통신 링크를 통해 서로 통신할 수 있다.
다른 예에서, 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)은 도 1의 시스템(100)에 포함된 개별 시스템으로서 도시된다. 그러나, 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)에 의해 수행되는 기술은 임의의 기술적으로 실현 가능한 조합에서 하나 이상의 컴퓨팅 디바이스에 포함된 임의의 기술적으로 실현 가능한 프로세서(들)에서 실행되는 하나 이상의 애플리케이션 프로그램 또는 모듈에 의해 의해 수행될 수 있다. 이러한 컴퓨팅 디바이스는 차량에 배치된 헤드 유닛 및 보조 유닛을 제한없이 포함할 수 있다. 또 다른 예에서, 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)은 운전자 및/또는 한명 이상의 승객의 정서 상태 데이터를 수신하고 처리하는 차량 기반 컴퓨팅 시스템의 맥락에서 도시되고 설명된다. 그러나, 본 명세서에서 설명된 기술은 스마트폰, 랩톱 컴퓨터, 태블릿 컴퓨터, 데스크톱 컴퓨터 등을 제한없이 포함하는, 사용자의 정서 상태를 수신하여 모니터하는 임의의 기술적으로 실현 가능한 시스템에 배치될 수 있다. 또 다른 예에서, 시스템(100)은 임의의 기술적으로 실현 가능한 조합으로, 임의의 기술적으로 실현 가능한 수의 원격 서버 시스템(102), 텔레메트릭스 및 공중파 시스템(104), 운전자 모니터링 시스템(106), 및 정서 분석 시스템(108)을 포함할 수 있다.
정서 상태 분석 시스템의 동작
도 2는 다양한 실시형태에 따른, 도 1의 정서 분석 시스템(108)의 보다 상세한 예시이다. 도시된 바와 같이, 정서 분석 시스템(108)은 프로세서(202), 저장 장치(204), 입력/출력(I/O) 디바이스 인터페이스(206), 네트워크 인터페이스(208), 상호 접속부(210), 및 시스템 메모리(212)를 제한없이 포함한다.
프로세서(202)는 시스템 메모리(212)에 저장된 프로그래밍 명령을 검색하고 실행한다. 유사하게, 프로세서(202)는 시스템 메모리(212)에 상주하는 애플리케이션 데이터를 저장하고 검색한다. 상호 접속부(210)는 프로세서(202), I/O 디바이스 인터페이스(206), 저장 장치(204), 네트워크 인터페이스(208) 및 시스템 메모리(212) 사이에서 프로그래밍 명령 및 애플리케이션 데이터와 같은 전송을 용이하게 한다. I/O 디바이스 인터페이스(206)는 사용자 I/O 디바이스(222)로부터 입력 데이터를 수신하도록 구성된다. 사용자 I/O 디바이스(222)의 예는 하나 이상의 버튼, 키보드, 마우스 또는 다른 포인팅 디바이스 등을 포함할 수 있다. I/O 디바이스 인터페이스(206)는 또한 전기 오디오 출력 신호를 생성하도록 구성된 오디오 출력 유닛을 포함할 수 있고, 사용자 I/O 디바이스(222)는 전기 오디오 출력 신호에 응답하여 음향 출력을 생성하도록 구성된 스피커를 더 포함할 수 있다. 사용자 I/O 디바이스(222)의 다른 예는 일반적으로 디스플레이하기 위한 이미지를 생성하기 위한 임의의 기술적으로 실현 가능한 수단을 나타내는 디스플레이 디바이스이다. 예를 들어, 디스플레이 디바이스는 액정 디스플레이(LCD) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 또는 디지털 광 처리(DLP) 디스플레이일 수 있다. 디스플레이 디바이스는 디지털 또는 아날로그 텔레비전 신호를 수신하기 위한 방송 또는 케이블 튜너를 포함하는 TV일 수 있다. 디스플레이 디바이스는 VR/AR 헤드셋 또는 헤드업 디스플레이(HUD) 조립체에 포함될 수 있다. 또한, 디스플레이 디바이스는 차량의 벽, 프로젝션 스크린 또는 윈드실드와 같은 하나 이상의 표면에 이미지를 투사할 수 있다. 추가적으로 또는 대안적으로, 디스플레이 디바이스는 (예를 들어, 망막 투사를 통해) 사용자의 눈에 직접 이미지를 투사할 수 있다.
프로세서(202)는 단일 중앙 처리 유닛(CPU), 다중 CPU, 다중 처리 코어를 갖는 단일 CPU, 디지털 신호 프로세서(DSP), 필드 프로그래밍 가능 게이트 어레이(FPGA), 그래픽 처리 유닛(GPU), 텐서 처리 유닛 등을 나타내기 위해 포함된다. 그리고, 시스템 메모리(212)는 일반적으로 랜덤 액세스 메모리를 나타내기 위해 포함된다. 저장 장치(204)는 디스크 드라이브 저장 디바이스일 수 있다. 단일 유닛으로서 도시되었지만, 저장 장치(204)는 고정 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, 이동식 메모리 카드 또는 광학 저장 장치, 네트워크 결합 저장 장치(network attached storage: NAS) 또는 스토리지 에어리어 네트워크(storage area-network: SAN)와 같은 고정 및/또는 이동식 저장 디바이스의 조합일 수 있다. 프로세서(202)는 네트워크 인터페이스(208)를 통해 다른 컴퓨팅 디바이스 및 시스템과 통신하며, 여기에서, 네트워크 인터페이스(208)는 통신 네트워크를 통해 데이터를 전송 및 수신하도록 구성된다.
시스템 메모리(212)는 운전자 정서 인식 모듈(232), 미디어 정서 인식 모듈(234), 대화 정서 인식 모듈(236), 정서 표준화 모듈(238) 및 데이터 저장 장치(242)를 제한없이 포함한다. 운전자 정서 인식 모듈(232), 미디어 정서 인식 모듈(234), 및 정서 표준화 모듈(238)은 프로세서(202)에 의해 실행될 때 본 명세서에서 추가로 설명되는 바와 같이 도 1의 정서 분석 시스템(108)과 관련된 하나 이상의 동작을 수행한다. 정서 분석 시스템(108)과 관련된 동작을 수행할 때, 운전자 정서 인식 모듈(232), 미디어 정서 인식 모듈(234), 정서 표준화 모듈(238)은 데이터 저장 장치(242)에 데이터를 저장하고 이로부터 데이터를 검색할 수 있다.
동작시에, 운전자 정서 인식 모듈(232)은 얼굴 특징 및 기타 시각적 신호, 음성 톤(voice tone) 및 기타 오디오 신호, 생리적 신호, 경련(jerkiness), 또는 스티어링 휠의 기타 운동, 빈번한 제동을 수신하는 다양한 센서 데이터에 기초하여 운전자의 정서 상태를 결정하고 분류한다. 운전자 정서 인식 모듈(232)은 본 명세서에서 추가로 설명되는 바와 같이 정서 상태의 2차원 모델 또는 3차원 모델에 기초하여 정서 상태를 분류할 수 있다. 정서 상태는 종종 기쁨, 슬픔, 분노 및 즐거움과 같은 설명 용어로 정성적으로 설명된다. 이러한 설명 용어는 알고리즘적으로 분석하는 것이 어려울 수 있다. 결과적으로, 운전자 정서 인식 모듈(232)은 운전자의 정서 상태를 나타내기 위해 다양한 차원을 따르는 수치값을 결정한다. 2차원 모델에서, 운전자 정서 인식 모듈(232)은 정서 상태의 2개의 수치 표현을 위한 값을 결정한다. 예를 들어, 운전자 정서 인식 모듈(232)은 정서 각성(emotional arousal)을 위한 제1 수치값 및 정서 유발성(emotional valence)을 위한 제2 수치값을 결정할 수 있다. 2차원 모델에서 운전자의 정서 상태는 다음의 수학식 1로 설명될 수 있다:
정서운전자 = f(운전자유발성, 운전자각성) 수학식 1
3차원 모델에서, 운전자 정서 인식 모듈(232)은 정서 상태의 3개의 수치 표현을 위한 값을 결정한다. 예를 들어, 운전자 정서 인식 모듈(232)은 정서 각성을 위한 제1 수치값, 정서 유발성을 위한 제2 수치값, 및 정서 우위를 위한 제3 수치값을 결정할 수 있다. 정서 우위는 본 명세서에서 정서 입장(emotional stance)으로서 지칭된다. 3차원 모델에서 운전자의 정서 상태는 다음의 수학식 2로 설명될 수 있다:
정서운전자 = f(운전자유발성, 운전자각성, 운전자우위) 수학식 2
2차원 모델이 이용되든 3차원 모델이 이용하든, 운전자 정서 인식 모듈(232)은 모든 관련 요인으로 인한 운전자의 정서 상태를 결정한다. 다음 논의에서, 3차원 모델은 명확성의 목적을 위해 취해진다. 그러나, 본 명세서에 개시된 각각의 기술은 임의의 기술적으로 실현 가능한 조합으로 2차원 모델, 3차원 모델, 또는 고차원 모델을 이용할 수 있다.
동작시에, 미디어 정서 인식 모듈(234)은 특정 요인으로 인한 운전자 및/또는 다른 사용자에 의해 액세스되는 미디어의 정서 콘텐츠를 결정하고 분류한다. 운전자 및/또는 다른 사용자에 의해 액세스되는 미디어의 정서 콘텐츠는 운전자 및/또는 다른 사용자의 정서 상태의 적어도 일부에 영향을 미칠 수 있다. 미디어 정서 인식 모듈(234)은 알고리즘 기술 및 기계 학습 기술을 제한없이 포함하는 임의의 기술적으로 실현 가능한 기술을 통해 미디어의 정서 콘텐츠를 결정하고 분류할 수 있다. 미디어 정서 인식 모듈(234)은 본 명세서에서 추가로 설명되는 바와 같이 정서 상태의 2차원 모델, 3차원 모델, 또는 고차원 모델에 기초하여 정서 콘텐츠를 분류할 수 있다.
보다 구체적으로, 미디어 정서 인식 모듈(234)은 현재 차량에서 재생되고 있는 미디어 콘텐츠의 정서 콘텐츠를 결정한다. 미디어 콘텐츠는 음악, 뉴스 프로그래밍, 토크 라디오 등을 제한없이 포함하는 임의의 형태일 수 있다. 예를 들어, 운전자가 재미있는 토크 라디오 프로그램을 청취하고 있으면, 미디어 정서 인식 모듈(234)은 운전자가 미디어 콘텐츠로 인해 행복하고, 기쁘고 그리고/또는 흥분된 정서 상태에 있다고 결정할 수 있다. 운전자가 시끄럽고 공격적인 음악을 청취하고 있으면, 미디어 정서 인식 모듈(234)은 운전자가 미디어 콘텐츠로 인해 공격적이고 그리고/또는 스트레스가 많은 정서 상태에 있다고 결정할 수 있다. 미디어 정서 인식 모듈(234)은 임의의 하나 이상의 기술적으로 실현 가능한 기술을 통해 미디어 콘텐츠를 분류할 수 있다. 하나의 예에서, 미디어 정서 인식 모듈(234)은 미디어 콘텐츠에 의해 표현되거나 유도되는 전형적인 정서 상태를 결정하기 위해 음악 콘텐츠를 음향적으로 분석할 수 있다. 다른 예에서, 미디어 정서 인식 모듈(234)은 음악 가사 데이터베이스로부터 노래의 가사를 검색할 수 있다. 추가적으로 또는 대안적으로, 미디어 정서 인식 모듈(234)은 음악 가사, 뉴스 프로그래밍 또는 토크 라디오 프로그래밍에서 말(speech)로부터 텍스트로의 변환을 수행할 수 있다. 미디어 정서 인식 모듈(234)은 결과적인 텍스트를 분석하고, 텍스트와 관련된 정서 상태를 결정할 수 있다. 추가적으로 또는 대안적으로, 미디어 정서 인식 모듈(234)은 음성 톤이 공격적인지, 진정시키는지 등의 여부 등에 기초하여 정서 상태를 관련시키기 위해 노래 또는 이야기한 단어의 음성 톤을 분석할 수 있다.
또 다른 예에서, 미디어 정서 인식 모듈(234)은 설명, 라벨, 태그, 메타 데이터 등의 형태로 이전에 정의된 분류에 기초하여 미디어 콘텐츠를 분류할 수 있다. 미디어 정서 인식 모듈(234)은 이러한 설명, 라벨, 태그 또는 메타 데이터를 특정 정서 상태에 맵핑하거나 그렇지 않으면 상관시킨다. 미디어 정서 인식 모듈(234)은 미디어 콘텐츠를 특정 유형의 미디어 콘텐츠로 카테고리화하고, 어림법(heuristics)을 사용하여 미디어 콘텐츠에 대한 적절한 라벨을 생성할 수 있다. 예를 들어, 미디어 정서 인식 모듈(234)은 코미디로서 카테고리화된 미디어 콘텐츠를 행복한 정서 상태를 유도하는 것으로서 분류할 수 있다. 유사하게, 미디어 정서 인식 모듈(234)은 헤비메탈로서 카테고리화된 미디어 콘텐츠를 공격적인 정서 상태를 유도하는 것으로서 분류할 수 있다. 미디어 정서 인식 모듈(234)은 이러한 카테고리 또는 라벨을 2차원 모델(정서 각성 및 정서 유발성을 포함하는), 3차원 모델(정서 각성, 정서 유발성 및 정서 우위를 포함하는), 또는 고차원 모델로 변환한다. 미디어 콘텐츠로 인해 3차원 모델로 미디어 콘텐츠에 의해 표현되는 정서 상태는 다음 수학식 3으로 설명될 수 있다:
정서미디어 = f(미디어유발성, 미디어각성, 미디어우위) 수학식 3
동작시에, 정서 표준화 모듈(238)은 전반적인 정서 상태로부터 미디어 콘텐츠의 청취로 인한 정서 상태의 성분을 제거하는 것에 의해 운전 조건에 기인하는 운전자의 정서 상태 데이터를 연속적으로 생성한다. 정서 표준화 모듈(238)은 운전자 정서 인식 모듈(232)로부터 운전자의 전반적인 정서 상태를 수신한다. 정서 표준화 모듈(238)은 미디어 정서 인식 모듈(234)로부터 미디어 콘텐츠의 청취로 인한 운전자의 정서 상태를 수신한다. 이에 응답하여, 정서 표준화 모듈(238)은 운전자의 전반적인 정서 상태로부터 미디어 콘텐츠의 청취로 인한 운전자의 정서 상태를 나타내는 성분을 제거한다. 정서 표준화 모듈(238)은 가산/감산 기술, 결합 기술, 분리 기술, 베이지안 모델 기술(Bayesian model) 등을 제한없이 포함하는 임의의 기술적으로 실현 가능한 기술을 통해 성분을 제거한다. 남아 있는 정서 상태 데이터는 미디어 콘텐츠의 청취 이외의 요인에 기인하는 운전자의 정서 상태를 나타낸다. 그 결과, 남아 있는 정서 상태 데이터는 운전 조건에 기인하는 운전자의 정서 상태를 보다 정확하게 나타낸다. 운전 조건으로 인한 운전자의 정서 상태는 다음의 수학식 4로 설명될 수 있다:
정서운전으로부터 = f(정서운전자, 정서미디어) 수학식 4
운전 조건으로 인한 운전자의 정서 상태는 다음의 수학식 5에 의한 3차원 모델을 사용하여 완전한 형태로 설명될 수 있다.
정서운전으로부터 = f{(운전자유발성, 미디어유발성), (운전자각성, 미디어각성), (운전자우위, 미디어우위)} 수학식 5
정서운전자 및 정서미디어가 감산 관계를 가지면, 운전 조건으로 인한 운전자의 정서 상태는 다음 수학식 6 및 7에 의해 동일하게 설명될 수 있다.
정서운전으로부터 = 정서운전자 - 정서미디어 수학식 6
정서운전으로부터 = f((운전자유발성 - 미디어유발성), (운전자각성 - 미디어각성), (운전자우위 - 미디어우위)) 수학식 7
일부 실시형태에서, 정서 표준화 모듈(238)과 함께 대화 정서 인식 모듈(236)은 결과적인 정서 상태를 더욱 개선하기 위해 운전자의 전반적인 정서 상태로부터 정서 상태의 하나 이상의 추가 성분을 제거할 수 있다. 하나의 예에서, 대화 정서 인식 모듈(236)은 운전자와 승객 사이의 대면 대화 또는 운전자와 다른 사람 사이의 전화 통화를 분석할 수 있다. 대화 정서 인식 모듈(236)은 운전자가 이야기한 단어에서 말을 텍스트로 변환할 수 있다. 대화 정서 인식 모듈(236)은 결과적인 텍스트를 분석하고, 텍스트와 관련된 정서 상태를 결정할 수 있다. 추가적으로 또는 대안적으로, 대화 정서 인식 모듈(236)은 음성 톤이 공격적인지, 진정적인지 등에 기초하여 정서 상태를 관련시키기 위해 이야기한 단어의 음성 톤을 분석할 수 있다. 유사하게, 대화 정서 인식 모듈(236)은 대화에 참여한 승객 또는 다른 사람의 텍스트 및 음성 톤을 분석할 수 있다. 이러한 경우에, 대화 정서 인식 모듈(236)은 승객 또는 다른 사람의 말로부터 도출된 정서 상태보다 운전자의 말로부터 도출된 정서 상태에 더욱 높은 가중치를 적용할 수 있다. 정서 표준화 모듈(238)은 운전자의 정서 상태로부터 이러한 추가 성분을 제거할 수 있다. 운전 조건으로 인한 운전자의 정서 상태는 다음의 수학식 8로 설명될 수 있다:
정서운전으로부터 = f(정서운전자, 정서미디어, 정서대화로부터) 수학식 8
정서운전자, 정서미디어, 정서대화로부터가 감산 관계를 가지면, 운전 조건으로 인한 운전자의 정서 상태는 다음의 수학식 9와 동일하게 설명될 수 있다:
정서운전으로부터 = 정서운전자 - 정서미디어 - 정서대화로부터 수학식 9
본 명세서에 도시된 시스템은 예시적이며 변형 및 변경이 가능하다는 것이 이해될 것이다. 특히, 정서 분석 시스템(108)은 대화 정서 인식 모듈(236)을 포함하지 않을 수 있다. 이러한 경우에, 정서 분석 시스템(108)은 대화 정서 인식 모듈(236)과 관련하여 설명된 기능을 수행하지 않을 수 있다. 추가적으로 또는 대안적으로, 대화 정서 인식 모듈(236)과 관련하여 설명된 기능 중 하나 이상은 운전자 정서 인식 모듈(232), 미디어 정서 인식 모듈(234), 정서 표준화 모듈(238) 등과 같은 하나 이상의 다른 모듈에 의해 수행될 수 있다.
일부 실시형태에서, 정서 상태는 2차원 모델 또는 3차원 모델에 기초하지 않고 정서별로 기초하여 분석된다. 이러한 실시형태에서, 미디어 정서 인식 모듈(234) 및/또는 대화 정서 인식 모듈(236)은 행복, 분노, 및/또는 임의의 다른 관련 정서를 한번에 하나씩 분석할 수 있다. 이어서, 정서 표준화 모듈(238)은 정서별로 기초하여 미디어 콘텐츠, 운전자 대화에 기인하는 성분, 및/또는 다른 성분을 제거할 수 있다. 운전 조건으로 인한 행복과 분노에 대한 정서 상태는 다음의 수학식 10과 11로 설명될 수 있다:
행복운전으로부터 = f(행복운전자, 행복미디어) 수학식 10
분노운전으로부터 = f(분노운전자, 분노미디어) 수학식 11
수학식 10 및 11의 요소가 감산 관계를 가지면, 운전 조건으로 인한 행복과 분노에 대한 정서 상태는 다음의 수학식 12 및 13과 동일하게 설명될 수 있다:
행복운전으로부터 = 행복운전자 - 행복미디어 수학식 12
분노운전으로부터 = 분노운전자 - 분노미디어 수학식 13
일부 실시형태에서, 미디어 정서 인식 모듈(234) 및/또는 대화 정서 인식 모듈(236)은 특정 운전자를 위해 맞춤화된 정서 상태 데이터를 생성할 수 있다. 하나의 예로서, 공격적인 헤비메탈 음악은 일반적으로 운전자의 정서 상태를 더욱 괴롭히고 공격적으로 만들 수 있다. 그러나, 헤비메탈 음악에 강한 친화력을 가진 운전자는 이러한 음악을 청취할 때 더욱 차분하고 유쾌한 정서 상태를 경험할 수 있다. 유사하게, 차분하고 명상적인 음악은 일반적으로 운전자의 정서 상태를 보다 차분하고 유쾌하게 만들 수 있다. 그러나, 명상적인 음악을 싫어하는 운전자는 이러한 음악을 청취할 때 더욱 불안하거나 스트레스가 많은 정서 상태를 경험할 수 있다.
일부 실시형태에서, 미디어 정서 인식 모듈(234) 및/또는 대화 정서 인식 모듈(236)은 시간 경과에 따라서 미디어 콘텐츠, 대화 및/또는 기타 성분으로 인한 정서 상태에서의 변화를 추적할 수 있다. 예를 들어, 운전자는 하드 록 음악을 청취하다가 듣기 편한 음악으로 변경할 수 있다. 그 결과, 미디어 정서 인식 모듈(234)은 운전 조건에서의 변화가 아닌 하드 록 음악으로부터 듣기 편한 음악으로의 변화의 결과로서 운전자의 정서 상태가 더욱 차분하고 덜 스트레스받는 것으로 결정할 수 있다. 유사하게, 운전자는 듣기 편한 음악을 청취하다가 하드 록 음악으로 변경할 수 있다. 그 결과, 미디어 정서 인식 모듈(234)은 운전 조건에서의 변화가 아닌 듣기 편한 음악에서 하드 록 음악으로의 변화의 결과로서 운전자의 정서 상태가 더욱 불안하고 스트레스를 받는 것으로 결정할 수 있다.
다양한 유형의 센서 데이터 및 관련 처리가 이제 더욱 상세히 설명된다. 센서 데이터는 정서 감지, 생리학 감지, 행동 감지, 음향 감지 및 동공측정 기반 인식 작업량 감지(pupillometry-based cognitive workload sensing)로서 카테고리화된다.
정서 감지는 정서와 정서 상태를 검출하고 분류하는 것을 포함한다. 정서 감지는 행복, 만족, 분노 및 좌절과 같은 신중하고 알려진 정서를 검출하는 것을 포함한다. 정서 감지는 정서 각성 레벨 및 정서 유발성 레벨과 같은 정서 상태와 관련된 파라미터화된 메트릭을 계산하는 것을 포함한다. 정서 감지는 다양한 유형의 센서로부터 수신된 데이터에 기초한다.
센서 데이터는 땀, 심박동수, 호흡률, 혈류, 혈중 산소 레벨, 전기 피부 반응, 체온, 사용자가 말하는 소리, 사용자의 행동 등을 제한없이 포함하는 사용자와 관련된 다양한 생물학적 및 생리학적 신호를 측정하는 심리 생리학적 센서로부터 수신될 수 있다. 이러한 센서 데이터는 정서 검출과 관련된 다양한 유형의 신호를 나타낸다. 아울러, 이미지 데이터는 컬러 이미지, 흑백 이미지, 열 화상 이미지, 적외선 이미지 등을 제한없이 포함하는 정지 이미지 및 동영상을 포착하도록 구성된 카메라 및 기타 이미지 센서로부터 수신될 수 있다. 이러한 카메라 및 이미지 센서는 정서를 나타낼 수 있는 사용자의 얼굴 표정 또는 사용자의 신체 자세 및/또는 찡그림의 다른 이미지를 캡처한다. 일부 실시형태에서, 이미지는 사용자의 신체 및 머리의 다양한 관점을 동시에 포착하기 위해 카메라 또는 이미지 센서의 어레이로부터 수신될 수 있다. 또한, 일부 실시형태에서, 이미지는 신체 포즈 및 신체 포지셔닝을 감지하기 위해 깊이 카메라 또는 이미지 센서로부터 수신될 수 있다.
생리학 감지는 정서 상태와 상관된 다양한 생리학적 신호를 포착하는 검출 시스템을 포함한다. 이러한 센서로부터 수신된 신호는 특정 정서 상태와 상관되며, 그러므로 정서 분류와 관련된다. 예를 들어, 전기 피부 반응은 정서 상태의 강도를 나타낼 수 있다. 생리학적 센서는 정서적 스트레스에 의해 유발된 피부의 전기 저항에서의 변화를 측정하는 전기 피부 반응 센서, 혈중 산소 레벨을 검출하는 이미 저, 혈류를 검출하는 열 센서, 혈류를 검출하는 광학 센서, 뇌의 표면 전위를 검출하는 EEG 시스템, EOG 센서(인간의 눈 앞뒤 사이의 전기 전위를 모니터링하는 것에 의해 눈의 움직임을 측정하는 전기 안구 센서), EMG 센서(신경에 의한 근육 자극에 반응하여 전기 활동도를 측정하는 근전도 센서), ECG 센서(심장의 전기 활동도를 측정하는 심전도 센서), 심박동수 및 호흡률을 측정하는 GHz 대역 라디오와 같은 고주파 무선 센서, 정서의 신경 상관 관계를 검출하는 신경 시스템 등을 제한없이 포함할 수 있다.
음향 감지는 사용자가 이야기한 단어뿐만 아니라 사용자가 감상적인 정서를 나타내는 주어진 문구를 어떻게 말하는지 분석하는 것을 포함한다. 음향 감지는 사용자의 정서 상태를 나타낼 수 있는 휘파람, 콧노래, 웃음 또는 비명을 제한없이 포함하는 사용자에 의해 방출되는 말이 아닌 인간 소리를 포함한다. 하나의 예에서, 자연어 처리 방법, 감상 분석 및/또는 음성 분석은 언어의 의미론적 의미(semantic meaning)를 통해 정서를 측정할 수 있다. 다른 예에서 음성 톤 분석은 실제 음성 신호로부터 정서를 검출할 수 있다. 두 방법 모두 단독으로 또는 조합하여 사용될 수 있다. 전형적인 음향 센서 데이터는 마이크로폰, 마이크로폰 어레이 및/또는 기타 오디오 감지 기술을 제한없이 포함한다.
행동 감지는 차량 내 및 차량 주변에서 사용자의 활동을 검출하는 것을 포함한다. 본 명세서에 추가로 설명된 센서 중 일부는 차량 내 및 차량 주변에서의 움직임을 검출하기 위해 사용될 수 있다. 애플리케이션 및 서비스 이용 데이터는 또한 사용자의 행동을 나타내고, 분류 시스템을 통해 정서를 추론할 수 있다. 하나의 예에서, 모바일 사용 데이터는 특정 정서 상태와 상관되는 사용자에 의한 애플리케이션 이용의 패턴을 나타낼 수 있다. 애플리케이션이 게임 애플리케이션 또는 소셜 애플리케이션으로서 카테고리화되면, 이러한 애플리케이션을 실행하는 것은 기쁨, 행복 및/또는 관련 소셜 정서와 상관될 수 있다. 행동 센서는 카메라, 이미지 센서, 청각 센서, 깊이 카메라, 압력 센서 등을 제한없이 더 포함할 수 있다. 이들 센서는 사용자의 신체 자세, 움직임, 및 차량 내 및 차량 주변에서의 다른 행동을 등록한다. 이러한 신체 자세, 움직임 및/또는 행동 데이터는 지루함, 피로, 각성과 같은 정서와 상관될 수 있다. 행동 센서는 터치 센서, 음향 센서, 버튼 누름의 등록 또는 사용자가 차량에서 어떻게 행동하고 있는지를 결정하는 다른 사용자 인터페이스 상호 작용 등을 제한없이 더 포함할 수 있다. 이러한 센서 데이터는 사용자가 액세스하는 시스템과 사용자가 임의의 주어진 시간에 손을 놓는 위치를 나타낼 수 있다.
동공측정 기반 인식 작업량 감지는 사용자의 동공 직경의 미세한 변동을 측정한다. 이러한 미세한 변동은 사용자가 매순간 겪는 인식 작업량과 과학적으로 링크된다. 다른 관련 기술은 인식 작업량을 측정하도록 이용될 수 있다. 인식 작업량의 측정을 가능하게 하는 센서는 동공 직경 및/또는 눈 움직임에서의 변화를 측정하기 위해 사용자의 동공을 이미지화하는 카메라 및 이미지 센서를 제한없이 포함한다. 이러한 카메라 및 이미지 센서는 적외선 카메라, 열 센서, 고해상도 컬러 또는 흑백 카메라, 사용자의 신체 및 머리의 다양한 관점을 포착하는 카메라 어레이 등을 제한없이 포함한다. 생리학적 센서는 상대적으로 낮은 해상도로 인식 작업량을 측정하는 전기 피부 반응 센서, 심박동수 센서, 피부 체온 센서 등을 제한없이 포함한다. 일부 실시형태에서, EEG 및 다른 신경 인터페이스는 다수의 인식 작업량 레벨을 검출할 수 있다. EEG 및 기타 신경 데이터로부터 인식 작업량을 측정하는 것과 관련된 방법은 스펙트럼 엔트로피, 가중 평균 주파수, 대역폭, 스펙트럼 에지 주파수 등을 포함한다. 일부 실시형태에서, 음성 분석은 인식 작업량 감지를 위해 이용될 수 있다. 특히, 스펙트럼 중심 주파수 및 진폭은 필터 길이 및 필터 수에 대한 일부 파라미터 피팅과 함께 다양한 인식 작업량 레벨을 성공적으로 분류할 수 있다.
일부 실시형태에서, 운전자 정서 인식 모듈(232), 미디어 정서 인식 모듈(234), 및/또는 정서 표준화 모듈(238)은 센서 데이터 및 처리된 데이터를 여러 레벨로 분할할 수 있으며, 각각의 레벨은 상이한 추상화 정도와 관련된다. 제1 데이터 레벨은 카메라, 마이크로폰, 적외선 센서 및 차량 기기 센서로부터의 데이터를 제한없이 포함하는 미가공 센서 데이터를 포함할 수 있다. 제2 데이터 레벨은 심박동수, 체온, 땀, 머리 자세, 얼굴 자세, 동공 직경 데이터 및 시선의 방향을 제한없이 포함하는 사용자와 관련된 생물학적 데이터를 제한없이 포함할 수 있다.
제3 데이터 레벨은 정서 상태를 제한없이 포함하는 사용자의 다양한 상위 상태를 나타내는 처리된 데이터를 포함할 수 있다. 정서 상태 데이터는 사용자가 어떻게 느끼는지를 나타낸다. 정서 상태 데이터는 정서 각성 데이터와 정서 유발성 데이터로 분할될 수 있다. 정서 각성 데이터는 사용자가 경험한 정서 상태의 정도를 나타낸다. 정서 유발성 데이터는 정서 상태가 행복과 만족과 같은 긍정적인 정서와 관련되는지 또는 분노와 좌절과 같은 부정적인 정서와 관련되는지를 나타낸다.
하나의 특정 예에서, 사용자는 매우 조용하고 경치 좋은 환경에서 아름다운 날에 고속도로를 운전하고 집으로 향하고 있다. 사용자는 차량의 미디어 플레이어에서 헤비메탈 음악을 청취하고 있다. 운전자 정서 인식 모듈(232)은 사용자가 불안하고 공격적인 상태에 있다는 것을 검출한다. 미디어 정서 인식 모듈(234)은 운전자가 헤비메탈 음악을 청취하는 것에 기인하는 불안하고 공격적인 상태를 검출한다. 정서 표준화 모듈(238)은 운전자의 전반적인 정서 상태로부터 헤비메탈 음악 콘텐츠로 인한 정서 상태의 불안하고 공격적인 성분을 제거한다. 정서 표준화 모듈(238)은 결과적인 정서 상태가 더욱 차분하고 스트레스가 없다고 결정한다. 결과적으로, 정서 표준화 모듈(238)은 어떠한 응답 조치도 수행하지 않는다.
또 다른 특정 예에서, 사용자는 폭우와 진눈깨비가 내릴 때 바쁜 도시 지역에서 운전하고 있다. 사용자는 테이프에 녹음된 명상 지침서를 청취하고 있다. 운전자 정서 인식 모듈(232)은 사용자의 정서 상태가 극히 여유롭고 거의 졸고 있다는 것을 검출한다. 미디어 정서 인식 모듈(234)은 사용자가 청취하고 있는 미디어 콘텐츠를 분석하고, 사용자의 대부분의 차분함이 차분한 미디어 콘텐츠에 기인한다고 결정한다. 정서 표준화 모듈(238)은 운전자의 전반적인 정서 상태로부터 명상 관련 미디어 콘텐츠로 인한 정서 상태의 차분한 성분을 제거한다. 정서 표준화 모듈(238)은 운전 조건으로 인한 결과적인 정서 상태가 스트레스가 많은 운전 조건을 나타낸다고 결정한다. 결과적으로, 정서 표준화 모듈(238)은 하나 이상의 응답 조치를 수행할 수 있다.
또 다른 특정 예에서, 정서 표준화 모듈(238)이 운전 조건으로 인한 사용자의 정서 상태를 결정한 후에, 정서 표준화 모듈(238)은 이러한 정서 상태 데이터를 텔레메트릭스 및 공중파 시스템(104)으로 전송한다. 텔레메트릭스 및 공중파 시스템(104)은 차례로 이러한 정서 상태 데이터를 원격 서버 시스템(102)으로 전송한다. 원격 서버 시스템(102)은 특정 지리적 영역에 있는 다양한 정서 분석 시스템(108)으로부터 정서 상태 데이터를 수신한다. 원격 서버 시스템(102)은 지역 내의 각각의 운전자의 행복, 스트레스 및/또는 다른 정서 상태를 보여주는 지리적 영역의 적외선 열지도(heat map)를 생성한다. 원격 서버 시스템(102)은 시간 경과에 따라 그리고/또는 운전자 그룹에 걸쳐서 지리적 영역 내의 각각의 운전자의 정서 상태를 집계할 수 있다. 이어서, 원격 서버 시스템(102)은 적외선 열지도 데이터를 하나 이상의 정서 분석 시스템(108)으로 전송한다. 이어서, 적외선 열지도 데이터를 수신한 특정 차량의 운전자는, 운전 조건이 행복한 정서 상태를 갖는 운전자를 더욱 많게 하고/하거나 스트레스를 받는 정서 상태를 갖는 운전자를 더욱 적게 하는 지역을 통과하는 루트를 선택할 수 있다.
도 3a 내지 도 3c는 다양한 실시형태에 따른, 도 1의 시스템의 다양한 구성을 도시하는 개념도이다.
도 3a에 도시된 바와 같이, 헤드 유닛(310)은 코어 헤드 유닛 모듈(332), 운전자 모니터링 모듈(334), 원격 측정 및 공중파 모듈(336), 및 정서 분석 모듈(338)을 포함한다. 헤드 유닛(310)은 코어 헤드 유닛 모듈(332), 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336), 및 정서 분석 모듈(338)과 관련된 충분한 처리 및 메모리 자원을 갖는 컴퓨팅 디바이스를 포함한다. 코어 헤드 유닛 모듈(332)은 엔터테인먼트 및 미디어 기능, 내비게이션 및 차량 모니터링을 제한없이 포함하는, 차량의 작동과 관련된 다양한 기능을 수행한다. 차량 모니터링은 타이어 압력, 오일 레벨, 냉각수 온도, 차량 유지 보수 등과 관련된 모니터링 및 디스플레이 기능을 포함한다.
운전자 모니터링 모듈(334)은 도 1의 운전자 모니터링 시스템(106)과 관련된 다양한 기능을 수행한다. 이들 기능은 운전자의 각성 상태를 결정하기 위해 차량 운전자를 모니터링하고/하거나 추가 분석을 위해 다양한 디바이스를 통해 수신된 측정 데이터를 정서 분석 모듈(338)로 전송하는 것을 제한없이 포함한다.
텔레메트릭스 및 공중파 모듈(336)은 도 1의 텔레메트릭스 및 공중파 시스템(104)과 관련된 다양한 기능을 수행한다. 이들 기능은 운전자 모니터링 시스템(106) 및/또는 정서 분석 시스템(108)으로부터 측정 데이터를 수신하고, 측정 데이터를 원격 서버 시스템(102)으로 전송하고, 원격 서버(102)로부터 데이터를 수신하고, 원격 서버(102)로부터 수신된 데이터를 운전자 모니터링 시스템(106) 및/또는 정서 분석 시스템(108)으로 전달하는 것 등을 제한없이 포함한다.
정서 분석 모듈(338)은 도 1의 정서 분석 시스템(108)과 관련된 다양한 기능을 수행한다. 이들 기능은 운전자 모니터링 모듈(334)로부터 다양한 디바이스를 통해 수신된 측정 데이터를 수신하고, 운전자 또는 다른 사용자의 정서 상태와 관련되어 처리된 데이터를 생성하기 위해 측정 데이터를 분석하고, 그리고/또는 측정 데이터 및 처리된 데이터 중 하나 또는 둘 모두를 저장하는 것을 제한없이 포함한다. 일부 실시형태에서, 정서 분석 모듈(338)은 측정 데이터 및 처리된 데이터 중 하나 또는 둘 모두를 텔레메트릭스 및 공중파 모듈(336)로 전송할 수 있다. 이어서, 텔레메트릭스 및 공중파 모듈(336)은 통신 네트워크(110)를 통해 측정 데이터 및/또는 처리된 데이터를 원격 서버 시스템(102)으로 전송할 수 있다.
일부 실시형태에서, 헤드 유닛은 코어 헤드 유닛 모듈(332), 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336), 및 정서 분석 모듈(338) 모두를 실행하기에 충분한 프로세서 및 메모리 자원을 가지지 않을 수 있다. 결과적으로, 이들 모듈 중 하나 이상은 하나 이상의 보조 유닛과 관련된 컴퓨팅 디바이스에서 실행될 수 있다. 이러한 보조 유닛은 하나 이상의 통신 채널에 대한 근거리 및/또는 원격 연결과 함께 내부 컴퓨팅 디바이스를 포함할 수 있다. 하나의 예시적인 보조 유닛은 온보드 진단 2(OBD2) 포트와 같은 차량의 포트에 삽입된 "동글"(dongle)일 수 있으며, 동글은 헤드 유닛과 같은 다른 디바이스에 연결되어 이와 통신할 수 있는 소형 디바이스이다. 다른 예시적인 보조 유닛은 차량의 대시 패널, 차량의 운전석 또는 조수석 아래, 또는 차량의 다른 곳에 내장된 유닛일 수 있다. 다른 예시적인 보조 유닛은 하나 이상의 유선 또는 무선 통신 채널을 통해 헤드 유닛과 같은 다른 디바이스와 통신하는, 애플리케이션을 실행하는 스마트 폰 또는 다른 모바일 디바이스일 수 있다. 임의의 이러한 보조 유닛은 명령을 실행할 때 본 명세서에서 설명된 임의의 하나 이상의 기술을 수행할 수 있는 컴퓨팅 디바이스를 포함할 수 있다. 또한, 임의의 이러한 보조 유닛은 하나 이상의 근거리 및/또는 원격 디바이스와 통신하기 위해 유선 및/또는 무선 네트워크 인터페이스를 포함할 수 있다.
도 3b에 도시된 바와 같이, 헤드 유닛(312)은 코어 헤드 유닛 모듈(332), 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336)을 포함한다. 헤드 유닛(312)은 코어 헤드 유닛 모듈(332), 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336)과 관련된 충분한 처리 및 메모리 자원을 갖는 컴퓨팅 디바이스를 포함한다. 헤드 유닛(312)은 정서 분석 모듈(338)을 포함하는 보조 유닛(322)과 통신한다. 보조 유닛(322)은 정서 분석 모듈(338)과 관련된 충분한 처리 및 메모리 자원을 갖는 컴퓨팅 디바이스를 포함한다.
일부 실시형태에서, 레거시 헤드 유닛(legacy head unit)은 코어 헤드 유닛 모듈(332)과 관련된 기능만을 포함할 수 있다. 이러한 실시형태에서, 나머지 기능은 하나 이상의 보조 유닛과 관련된 컴퓨팅 디바이스에서 실행될 수 있다.
도 3c에 도시된 바와 같이, 헤드 유닛(314)은 코어 헤드 유닛 모듈(332)을 포함한다. 헤드 유닛(312)은 코어 헤드 유닛 모듈(332)과 관련된 충분한 처리 및 메모리 자원을 갖는 컴퓨팅 디바이스를 포함한다. 헤드 유닛(312)은 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336), 및 정서 분석 모듈(338)을 포함하는 보조 유닛(322)과 통신한다. 보조 유닛(322)은 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336), 정서 분석 모듈(338)과 관련된 충분한 처리 및 메모리 자원을 갖는 컴퓨팅 디바이스를 포함한다.
특정 구성이 도 3a 내지 도 3c에 도시되었지만, 코어 헤드 유닛 모듈(332), 운전자 모니터링 모듈(334), 텔레메트릭스 및 공중파 모듈(336), 및 정서 분석 모듈(338)과 관련된 기능은 본 개시내용의 범위 내에서 임의의 기술적으로 실현 가능한 조합 및 구성에 있는 임의의 하나 이상의 컴퓨팅 디바이스에서 실행될 수 있다.
도 4a 및 도 4b는 다양한 실시형태에 따른, 도 1의 시스템과 관련된 센서의 예시적인 배열을 도시한다. 도 4a에 도시된 바와 같이, 스티어링 휠(410)에는 심리 생리학적 센서(430) 및 카메라(432)가 장착된다. 심리 생리학적 센서(430)는 사용자의 손과의 접촉을 통해 심박동수, 체온, 및 땀 데이터를 제한없이 포함하는 기술적으로 실현 가능한 임의의 심리 생리학적 데이터를 측정하도록 구성될 수 있다. 카메라(432)는 정지 이미지 또는 동영상을 포착할 수 있다. 포착된 이미지는 컬러 이미지, 흑백 이미지, 열 화상 이미지 및 적외선 이미지를 제한없이 포함하는 임의의 기술적으로 실현 가능한 이미지 데이터를 포함할 수 있다. 심리 생리학적 센서(430) 및 카메라(432)는 운전자 모니터링 시스템(106) 및 정서 분석 시스템(108) 중 하나 또는 둘 모두에 심리 생리학적 데이터 및 이미지를 전송할 수 있다. 또한 카메라(434)가 장착된 헤드 유닛(420)이 도 4b에 도시되어 있다. 카메라(434)는 정지 이미지 또는 동영상를 포착할 수 있다. 포착된 이미지는 컬러 이미지, 흑백 이미지, 열 화상 이미지 및 적외선 이미지를 제한없이 포함하는 기술적으로 실현 가능한 이미지 데이터를 포함할 수 있다. 카메라(434)는 운전자 모니터링 시스템(106) 및 정서 분석 시스템(108) 중 하나 또는 둘 모두에 이미지를 전송할 수 있다. 본 명세서에 도시된 시스템은 예시적이며 변형 및 변경이 가능하다는 것이 이해될 것이다. 특히, 심리 생리학적 센서(430) 및 카메라(432 및 434)를 포함하는 다양한 센서는 차량 대시보드의 표면 상에, 차량의 계기 클러스터에 통합된, 차량의 디스플레이 유닛 내부에 숨겨진, 차량의 백미러 아래 등과 같이 임의의 기술적으로 실현 가능한 위치에 배치될 수 있다.
도 5a 및 도 5b는 다양한 실시형태에 따른, 다양한 차원을 따라서 정서 상태를 맵핑하기 위한 예시적인 모델을 도시한다. 도 5a에 도시된 바와 같이, 2차원 모델(500)은 2차원, 즉 정서 유발성 차원(510) 및 정서 각성 차원(512)을 따라서 정서 상태를 맵핑한다.
정서 유발성 차원(510)은 사용자가 얼마나 유쾌하게 느끼는지 또는 불쾌하게 느끼는지의 측정치이다. 예를 들어, 분노와 슬픔은 불쾌한 정서를 나타낸다. 그러므로, 분노와 슬픔은 2차원 모델(500)의 부정적 유발성 영역 내에 배치된다. 반면에 기쁨 및/또는 즐거움은 긍정적인 정서를 나타낸다. 그러므로, 기쁨과 즐거움은 2차원 모델(500)의 긍정적 유발성 영역에 배치된다.
정서 각성 차원(512)은 정서의 강도가 아닌 사용자가 얼마나 활력이 넘치거나 기분이 좋은지를 측정한다. 이러한 맥락에서, 슬픔과 즐거움은 낮은 각성 느낌을 나타내며, 그러므로 2차원 모델(500)의 낮은 각성 영역에 배치된다. 분노와 기쁨은 높은 각성 느낌을 나타내며, 그러므로 2차원 모델(500)의 높은 각성 영역에 배치된다.
도 5b에 도시된 바와 같이, 3차원 모델(550)은 3차원, 즉 정서 유발성 차원(560), 정서 각성 차원(562), 및 본 명세서에서 또한 정서 입장 차원으로서 지칭되는 정서 우위 차원(564)을 따라서 정서 상태를 맵핑한다. 정서 유발성 차원(560)은 사용자가 얼마나 유쾌하게 느끼는지 또는 불쾌하게 느끼는지의 측정치이며, 도 5a의 정서 유발성 차원(510)과 유사하다. 정서 각성 차원(562)은 사용자가 얼마나 활력이 넘치거나 기분이 좋은지를 측정하며, 도 5a의 정서 각성 차원(512)과 유사하다.
정서 우위 차원(564)은 우위, 통제 또는 입장에 대한 사용자의 정서적 상태를 나타낸다. 닫힌 입장은 우위 또는 통제의 정서 상태를 나타낸다. 열린 입장은 복종 또는 통제되는 정서 상태를 나타낸다.
이러한 맥락에서, 혐오감과 분노는 닫힌 자세 또는 우세한 느낌을 나타내며, 그러므로 3차원 모델(550)의 닫힌 자세 영역에 배치된다. 수용과 두려움은 열린 자세 또는 순종적인 느낌을 나타내며, 그러므로 3차원 모델(550)의 열린 자세 영역에 배치된다.
운전자의 전반적인 정서 상태를 측정할 때, 운전자 정서 인식 모듈(232)은 도 5a의 2차원 모델(500) 또는 도 5b의 3차원 모델(550)을 이용할 수 있다. 유사하게, 미디어 콘텐츠 또는 다른 요인으로 인한 운전자의 정서 상태의 특정 성분을 측정할 때, 미디어 정서 인식 모듈(234)은 도 5a의 2차원 모델(500) 또는 도 5b의 3차원 모델(550)을 이용할 수 있다.
도 6은 다양한 실시형태에 따른, 사용자의 정서 상태를 계산하고 분석하기 위한 방법 단계의 흐름도이다. 방법 단계가 도 1 내지 도 5의 시스템과 관련하여 설명되었지만, 당업자는 방법 단계를 임의의 순서로 수행하도록 구성된 임의의 시스템이 본 개시내용의 범위 내에 있다는 것을 이해할 것이다.
도시된 바와 같이, 방법(600)은 정서 분석 시스템(108)에서 실행되는 운전자 정서 인식 모듈(232)이 사용자의 정서 상태와 관련된 센서 데이터를 획득하는 단계 602에서 시작한다. 센서 데이터는 카메라, 마이크로폰, 적외선 센서, 차량 기기 센서 등으로부터의 데이터를 제한없이 포함하는 미가공 센서 데이터일 수 있다. 추가적으로 또는 대안적으로, 센서 데이터는 심박동수, 체온, 땀, 머리 자세, 얼굴 자세, 동공 직경 데이터, 시선의 방향 등을 제한없이 포함하는 사용자와 관련된 생물학적 데이터를 제한없이 포함할 수 있다.
단계 604에서, 운전자 정서 인식 모듈(232)은 센서 데이터에 기초하여 사용자의 전반적인 정서 상태를 결정한다. 운전자 정서 인식 모듈(232)은 2차원 모델에 기초하여 사용자의 전반적인 정서 상태를 결정할 수 있다. 이러한 경우에, 운전자 정서 인식 모듈(232)은 정서 각성을 위한 제1 수치값 및 정서 유발성을 위한 제2 수치값을 결정할 수 있다. 대안적으로, 운전자 정서 인식 모듈(232)은 3차원 모델에 기초하여 사용자의 전반적인 정서 상태를 결정할 수 있다. 이러한 경우에, 운전자 정서 인식 모듈(232)은 정서 각성을 위한 제1 수치값, 정서 유발성을 위한 제2 수치값, 및 정서 우위를 위한 제3 수치값을 결정할 수 있다. 대안적으로, 운전자 정서 인식 모듈(232)은 고차원 모델에 기초하여 사용자의 전반적인 정서 상태를 결정할 수 있다. 대안적으로, 운전자 정서 인식 모듈(232)은 정서별 기반에 기초하여 사용자의 전반적인 정서 상태를 결정할 수 있다. 이러한 경우에, 운전자 정서 인식 모듈(232)은 지정된 정서의 세트의 각각을 위한 전반적인 정서 상태를 결정할 수 있다.
단계 606에서, 정서 분석 시스템(108)에서 실행되는 미디어 정서 인식 모듈(234)은 미디어 콘텐츠의 청취로 인한 사용자의 정서 상태를 결정한다. 일반적으로, 미디어 정서 인식 모듈(234)은 동일한 2차원 모델, 3차원 모델, 고차원 모델 또는 운전자 정서 인식 모듈(232)에 의해 이용되는 정서별 분석을 사용한다.
단계 608에서, 정서 분석 시스템(108)에서 실행되는 정서 표준화 모듈(238)은 사용자의 전반적인 정서 상태로부터 미디어 콘텐츠의 청취로 인한 사용자의 정서 상태를 제거한다. 그 결과, 남아 있는 정서 상태 데이터는 미디어 콘텐츠의 청취 이외의 요인으로 인한 운전자의 정서 상태를 나타낸다. 이와 관련하여, 남아 있는 정서 상태 데이터는 운전 조건에 기인하는 운전자의 정서 상태를 보다 정확하게 나타낸다.
단계 610에서, 정서 분석 시스템(108)에서 실행되는 대화 정서 인식 모듈(236)은 다른 요인으로 인한 사용자의 정서 상태를 결정한다. 이러한 다른 요인은 운전자와 승객 사이의 대면 대화, 운전자와 다른 사람 사이의 전화 통화 등을 제한없이 포함할 수 있다. 일반적으로, 대화 정서 인식 모듈(236)은 운전자 정서 인식 모듈(232) 및/또는 미디어 정서 인식 모듈(234)에 의해 이용되는 동일한 2차원 모델, 3차원 모델, 고차원 모델 또는 정서별 분석을 이용한다.
단계 612에서, 정서 표준화 모듈(238)은 이들 다른 요인으로 인한 사용자의 정서 상태를 제거한다. 그 결과, 남아 있는 정서 상태 데이터는 미디어 콘텐츠 청취, 운전자 대화 등 이외의 요인에 기인하는 운전자의 정서 상태를 나타낸다. 이와 관련하여, 남아 있는 정서 상태 데이터는 운전 조건에 기인하는 운전자의 정서 상태를 한층 보다 정확하게 나타낸다.
단계 614에서, 정서 표준화 모듈(238)은 미디어 콘텐츠, 운전자 대화 등을 청취하는 것과 관련된 성분의 제거 후에 사용자의 정서 상태에 기초하여 하나 이상의 응답 조치를 수행한다. 그 결과, 이러한 제거 후의 사용자의 남아 있는 정서 상태는 일부 추가 잔여 요인이 정서 상태에 계속 존재할 수 있을지라도 운전 조건에 전체적으로 또는 주로 기인한다. 이들 응답 조치는 텍스트 형태로 운전자에게 제안 및/또는 경고를 제시하는 것, 오디오 형태로 운전자에게 제안 및/또는 경고를 제시하는 것 등을 제한없이 포함할 수 있다.
단계 616에서, 정서 표준화 모듈(238)은 텔레메트릭스 및 공중파 시스템(104)을 통해 센서 데이터 및/또는 정서 상태 데이터를 원격 서버(102)로 전송한다. 이에 응답하여, 원격 서버 시스템(102)은 주어진 지리적 영역에 있는 다수의 사용자와 관련된 정서 인식 시스템(108)으로부터 수신된 정서 상태 데이터를 집계하고 분석한다. 집계된 정서 상태 데이터에 기초하여, 원격 서버 시스템(102)은 주어진 지리적 영역에서의 운전 조건이 호감인지 비호감인지를 평가할 수 있다. 중앙 서버 시스템은 덜 호감인 운전 조건을 갖는 것으로서 평가되는 지역을 떠나서 더 호감인 운전 조건을 갖는 것으로 평가되는 지역으로 다른 운전자의 루트를 정할 수 있다. 이러한 방식으로, 사람의 정서 상태의 컴퓨터 기반 인식은 개별 운전자뿐만 아니라 전체 운전자의 그룹의 경험을 향상시킬 수 있다. 이어서, 방법(600)은 종료된다.
요약하면, 정서 분석 시스템은 다양한 입력 조건으로 인한 사용자의 정서 상태를 평가한다. 보다 구체적으로, 정서 분석 시스템은 운전자의 전반적인 정서 상태를 결정하기 위해 센서 데이터를 분석한다. 정서 분석 시스템은 특정 미디어 콘텐츠에 청취하는 운전자로부터 초래되는 운전자의 정서 상태를 결정한다. 정서 분석 시스템은 특정 미디어 콘텐츠를 청취하는 것으로부터 초래되는 정서 상태의 성분을 전반적인 정서 상태로부터 제거하기 위한 기능을 적용한다. 선택적으로, 정서 분석 시스템은 운전자와 승객 사이의 대면 대화 또는 운전자와 다른 사람 사이의 전화 통화 등과 같은 추가 요인으로부터 초래되는 운전자의 정서 상태를 결정한다. 정서 분석 시스템은 전반적인 정서 상태로부터 이들 추가적인 2차 효과로부터 초래되는 정서 상태의 성분을 제거하기 위한 하나 이상의 추가 기능을 적용한다. 결과적인 정서 상태는 현재의 운전 조건으로 인한 운전자의 정서 상태를 보다 정확하게 반영한다. 정서 분석 시스템은 운전 조건으로 인한 사용자의 정서 상태에 기초하여 하나 이상의 응답 조치를 수행한다. 응답 조치는 운전자에게 텍스트, 오디오, 또는 표시기, 조명, 햅틱 출력 등과 같은 다른 형태로 제안 및/또는 경고를 제시하는 것을 포함할 수 있다. 또한, 정서 분석 시스템은 센서 데이터 및/또는 정서 상태 데이터를 원격 서버 시스템으로 전송할 수 있다. 원격 서버 시스템은 운전 조건으로 인한 다수의 운전자의 전반적인 정서 상태를 평가하기 위해 다수의 정서 분석 시스템으로부터 수신된 센서 데이터 및/또는 정서 상태 데이터를 집계하고 분석한다.
종래 기술과 관련된 개시된 기술의 적어도 하나의 기술적 이점은, 미디어 콘텐츠 및/또는 다른 요인으로 인한 운전자의 정서 상태에 대한 기여를 제거하는 것에 의해 운전자의 전반적인 정서 상태로부터, 운전 조건으로 인한 운전자의 정서 상태에 대한 기여를 보다 정확하게 분리하기 위해, 운전자의 정서 상태와 관련된 데이터가 처리될 수 있다는 것이다. 그 결과, DMS는 운전자의 정서 상태에 대한 운전 조건의 기여에 응답하여 운전자에 대한 보다 적절한 응답 조치를 생성할 수 있다. 개시된 기술의 또 다른 기술적 이점은, 다수의 운전자로부터 정서 상태 데이터를 집계하는 중앙 서버 시스템이 특정 지역에서의 운전 조건의 전반적인 호감도 또는 비호감도의 보다 정확한 평가를 생성하기 위해 운전자의 정서 상태에 대한 운전 조건의 기여의 보다 정확한 평가를 사용할 수 있다는 것이다. 이들 기술적 이점은 종래 기술 접근법에 이상의 하나 이상의 기술적 개선을 나타낸다.
1. 일부 실시형태에서, 사용자의 정서 상태를 계산하고 분석하기 위한 컴퓨터 구현 방법은, 적어도 하나의 센서를 통해, 사용자와 관련된 센서 데이터를 획득하는 단계; 센서 데이터에 기초하여, 사용자와 관련된 정서 상태를 결정하는 단계; 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 상태의 제1 성분을 결정하는 단계; 및 정서 상태로부터 제1 성분을 제거하기 위해 정서 상태에 제1 기능을 적용하는 단계를 포함한다.
2. 항목 1에 따른 컴퓨터 구현 방법은, 사용자와 관련된 요인에 기초하여 정서 상태의 제2 성분을 결정하는 단계; 및 정서 상태로부터 제2 성분을 제거하기 위해 정서 상태에 제2 기능을 적용하는 단계를 더 포함한다.
3. 항목 1 또는 항목 2에 따른 컴퓨터 구현 방법에 있어서, 상기 요인이 사용자와 다른 사람 사이의 대면 대화와 관련된다.
4. 항목 1 내지 3 중 어느 한 항목에 따른 컴퓨터 구현 방법에 있어서, 상기 요인이 사용자와 다른 사람 사이의 전화 통화와 관련된다.
5. 항목 1 내지 4 중 어느 한 항목에 따른 컴퓨터 구현 방법은, 미디어 콘텐츠가 음악 콘텐츠를 포함하고, 정서 상태의 제1 성분을 결정하는 단계는 제1 성분을 결정하기 위해 음악 콘텐츠를 분석하는 단계를 포함한다.
6. 항목 1 내지 5 중 어느 한 항목에 따른 컴퓨터 구현 방법에 있어서, 미디어 콘텐츠가 음악 콘텐츠를 포함하고, 정서 상태의 제1 성분을 결정하는 단계는 데이터베이스로부터 제1 성분을 검색하는 단계를 포함한다.
7. 항목 1 내지 6 중 어느 한 항목에 따른 컴퓨터 구현 방법에 있어서, 미디어 콘텐츠가 음성 콘텐츠를 포함하고, 정서 상태의 제1 성분을 결정하는 단계는 음성 콘텐츠에서의 음성 톤 또는 텍스트 세그먼트 중 적어도 하나에 기초하여 제1 성분을 결정하기 위해 음성 콘텐츠를 분석하는 단계를 포함한다.
8. 항목 1 내지 7 중 어느 한 항목에 따른 컴퓨터 구현 방법에 있어서, 상기 정서 상태가 정서 유발성 값 및 정서 각성값을 포함하고, 제1 기능을 정서 상태에 적용하는 단계는: 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 유발성 값의 제1 성분을 제거하기 위해 정서 유발성 값에 제1 기능을 적용하는 단계; 및 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 각성값의 제1 성분을 제거하기 위해 정서 각성값에 제1 기능을 적용하는 단계를 포함한다.
9. 항목 1 내지 8 중 어느 한 항목에 따른 컴퓨터 구현 방법에 있어서, 정서 상태가 정서 우위값을 더 포함하고, 상기 정서 상태에 상기 제1 기능을 적용하는 단계는: 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 우위값의 제1 성분을 제거하기 위해 정서 우위값에 제1 기능을 적용하는 단계를 포함한다.
10. 항목 1 내지 9 중 어느 한 항목에 따른 컴퓨터 구현 방법에 있어서, 정서 상태가 제1 정서 및 제2 정서를 포함하고, 상기 정서 상태에 상기 제1 기능을 적용하는 단계는: 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 제1 정서의 제1 성분을 제거하기 위해 제1 정서에 제1 기능을 적용하는 단계; 및 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 제2 정서의 제2 성분을 제거하기 위해 제2 정서에 제1 기능을 적용하는 단계를 포함한다.
11. 일부 실시형태에서, 하나 이상의 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서에 의해 실행될 때, 적어도 하나의 센서를 통해 사용자와 관련된 센서 데이터를 획득하는 단계; 센서 데이터에 기초하여 사용자와 관련된 정서 상태를 결정하는 단계; 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 상태의 제1 성분을 결정하는 단계; 및 정서 상태로부터 제1 성분을 제거하기 위해 정서 상태에 제1 기능을 적용하는 단계를 수행하는 것에 의해, 상기 하나 이상의 프로세서가 사용자의 정서 상태를 계산하고 분석하게 하는 명령을 포함한다.
12. 항목 11에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 명령이, 하나 이상의 프로세서로 하여금, 사용자와 관련된 요인에 기초하여 정서 상태의 제2 성분을 결정하는 단계; 및 정서 상태로부터 제2 성분을 제거하기 위해 정서 상태에 제2 기능을 적용하는 단계를 더 수행하게 한다.
13. 항목 11 또는 항목 12에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 상기 요인이 사용자와 다른 사람 사이의 대면 대화와 관련된다.
14. 항목 11 내지 13 중 어느 한 항목에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 상기 요인이 사용자와 다른 사람 사이의 전화 통화와 관련된다.
15. 항목 11 내지 14 중 어느 한 항목 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 미디어 콘텐츠가 음악 콘텐츠를 포함하고, 정서 상태의 제1 성분을 결정하는 단계는 제1 성분을 결정하기 위해 음악 콘텐츠를 분석하는 단계를 포함한다.
16. 항목 11 내지 15 중 어느 한 항목에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 미디어 콘텐츠가 음악 콘텐츠를 포함하고, 정서 상태의 제1 성분을 결정하는 단계는 데이터베이스로부터 제1 성분을 검색하는 단계를 포함한다.
17. 항목 11 내지 16 중 어느 한 항목에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 미디어 콘텐츠가 음성 콘텐츠를 포함하고, 정서 상태의 제1 성분을 결정하는 단계는 음성 콘텐츠에서의 음성 톤 또는 텍스트 세그먼트 중 적어도 하나에 기초하여 제1 성분을 결정하기 위해 음성 콘텐츠를 분석하는 단계를 포함한다.
18. 항목 11 내지 17 중 어느 한 항목에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 상기 정서 상태가 정서 유발성 값 및 정서 각성값을 포함하고, 제1 기능을 정서 상태에 적용하는 단계는: 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 유발성 값의 제1 성분을 제거하기 위해 정서 유발성 값에 제1 기능을 적용하는 단계; 및 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 각성값의 제1 성분을 제거하기 위해 정서 각성값에 제1 기능을 적용하는 단계를 포함한다.
19. 항목 11 내지 18 중 어느 한 항목에 따른 하나 이상의 컴퓨터 판독 가능 저장 매체는, 정서 상태가 정서 우위값을 더 포함하고, 상기 정서 상태에 상기 제1 기능을 적용하는 단계는: 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 우위값의 제1 성분을 제거하기 위해 정서 우위값에 제1 기능을 적용하는 단계를 포함한다.
20. 일부 실시형태에서, 제1 엔드포인트 디바이스(endpoint device)는 명령을 포함하는 메모리; 및 메모리에 결합된 프로세서를 포함하되, 상기 프로세서는, 명령을 실행할 때, 적어도 하나의 센서를 통해 사용자와 관련된 센서 데이터를 획득하고; 센서 데이터에 기초하여 사용자와 관련된 정서 상태를 결정하고; 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 정서 상태의 제1 성분을 결정하고; 정서 상태로부터 제1 성분을 제거하기 위해 정서 상태에 제1 기능을 적용한다.
청구항 중 임의의 청구항에 인용된 청구항 요소 및/또는 본 출원에서 설명된 임의의 요소의 임의의 및 모든 조합은, 임의의 방식으로, 본 개시내용 및 보호의 고려되는 범위 내에 속한다.
다양한 실시형태의 설명은 예시의 목적으로 제시되었지만, 개시된 실시형태에 배타적이거나 한정되는 것으로 의도되지 않는다. 많은 변형 및 변경이 설명된 실시형태의 범위 및 사상으로부터 벗어남이 없이 당업자에게 자명할 것이다.
본 실시형태의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 개시내용의 양태는 본 명세서에서 모두 대체로 "모듈" 또는 "시스템"으로서 지칭될 수 있는, 전체 하드웨어 실시형태, 전체 소프트웨어 실시형태(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함) 또는 소프트웨어 및 하드웨어 양태를 조합한 실시형태의 형태를 취할 수 있다. 또한, 본 개시내용의 양태는 본 명세서에서 구현된 컴퓨터 판독 가능 프로그램 코드를 갖는 하나 이상의 컴퓨터 판독 가능 매체(들)에서 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비배타적인 목록)는 다음을 포함한다: 하나 이상의 와이어를 갖는 전기 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 프로그래밍 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스 또는 이들의 적절한 조합. 이 문서의 맥락에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있다.
본 개시내용의 양태는 본 개시내용의 실시형태에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 예시 및/또는 블록도를 참조하여 위에서 설명된다. 흐름도 예시 및/또는 블록도의 각각의 블록, 및 흐름도 예시 및/또는 블록도의 블록에서의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있다는 것이 이해될 것이다. 이러한 컴퓨터 프로그램 명령은 기계를 제조하도록 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공될 수 있어서, 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행될 수 있는 명령은 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/동작의 구현을 가능하게 한다. 이러한 프로세서는 제한없이 범용 프로세서, 특수 목적 프로세서, 애플리케이션 특정 프로세서 또는 필드 프로그래밍 가능 게이트 어레이일 수 있다.
도면에서 흐름도 및 블록도는 본 개시내용의 다양한 실시형태에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각각의 블록은 지정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 세그먼트 또는 코드의 부분을 나타낼 수 있다. 또한, 일부 대안적인 구현예에서, 블록에서 언급된 기능은 도면에 언급된 순서를 벗어나 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 도시된 2개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 또는 블록은 포함된 기능에 의존하여 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도 예시의 각각의 블록, 블록도 및/또는 흐름도 예시에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템 또는 특수 목적 하드웨어 및 컴퓨터 명령의 조합에 의해 구현될 수 있다.
전술한 내용이 본 개시내용의 실시형태에 관한 것이지만, 본 개시내용의 다른 및 추가 실시형태는 그 기본 범위를 벗어남이 없이 고안될 수 있으며, 그 범위는 다음의 청구항에 의해 결정된다.

Claims (20)

  1. 사용자의 정서 상태를 계산하고 분석하기 위한 컴퓨터 구현 방법으로서,
    적어도 하나의 센서를 통해, 사용자와 관련된 센서 데이터를 획득하는 단계;
    상기 센서 데이터에 기초하여, 상기 사용자와 관련된 정서 상태를 결정하는 단계;
    상기 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 상기 정서 상태의 제1 성분을 결정하는 단계; 및
    상기 정서 상태로부터 상기 제1 성분을 제거하기 위해 상기 정서 상태에 상기 제1 기능을 적용하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 사용자와 관련된 요인에 기초하여 상기 정서 상태의 제2 성분을 결정하는 단계; 및
    상기 정서 상태로부터 상기 제2 성분을 제거하기 위해 상기 정서 상태에 제2 기능을 적용하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 요인은 상기 사용자와 다른 사람 사이의 대면 대화와 관련되는, 컴퓨터 구현 방법.
  4. 제2항에 있어서, 상기 요인은 상기 사용자와 다른 사람 사이의 전화 통화와 관련되는, 컴퓨터 구현 방법.
  5. 제1항에 있어서, 상기 미디어 콘텐츠는 음악 콘텐츠를 포함하고, 상기 정서 상태의 제1 성분을 결정하는 단계는
    상기 제1 성분을 결정하기 위해 상기 음악 콘텐츠를 분석하는 단계를 포함하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서, 상기 미디어 콘텐츠는 음악 콘텐츠를 포함하고, 상기 정서 상태의 제1 성분을 결정하는 단계는
    데이터베이스로부터 상기 제1 성분을 검색하는 단계를 포함하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 미디어 콘텐츠가 음성 콘텐츠를 포함하고, 상기 정서 상태의 제1 성분을 결정하는 단계는
    상기 음성 콘텐츠에서의 음성 톤 또는 텍스트 세그먼트 중 적어도 하나에 기초하여 상기 제1 성분을 결정하기 위해 상기 음성 콘텐츠를 분석하는 단계를 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 정서 상태는 정서 유발성 값 및 정서 각성값을 포함하고, 상기 제1 기능을 정서 상태에 적용하는 단계는,
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 정서 유발성 값의 제1 성분을 제거하기 위해 상기 정서 유발성 값에 상기 제1 기능을 적용하는 단계; 및
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 정서 각성값의 제1 성분을 제거하기 위해 상기 정서 각성값에 상기 제1 기능을 적용하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  9. 제1항에 있어서, 상기 정서 상태는 정서 우위값을 더 포함하고, 상기 정서 상태에 상기 제1 기능을 적용하는 단계는
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 정서 우위값의 제1 성분을 제거하기 위해 상기 정서 우위값에 상기 제1 기능을 적용하는 단계를 포함하는, 컴퓨터 구현 방법.
  10. 제1항에 있어서, 상기 정서 상태는 제1 정서 및 제2 정서를 포함하고, 상기 정서 상태에 상기 제1 기능을 적용하는 단계는,
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 제1 정서의 제1 성분을 제거하기 위해 상기 제1 정서에 상기 제1 기능을 적용하는 단계; 및
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 제2 정서의 제2 성분을 제거하기 위해 상기 제2 정서에 상기 제1 기능을 적용하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  11. 하나 이상의 컴퓨터 판독 가능 저장 매체로서, 하나 이상의 프로세서에 의해 실행될 때,
    적어도 하나의 센서를 통해, 사용자와 관련된 센서 데이터를 획득하는 단계;
    상기 센서 데이터에 기초하여, 상기 사용자와 관련된 정서 상태를 결정하는 단계;
    상기 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 상기 정서 상태의 제1 성분을 결정하는 단계; 및
    상기 정서 상태로부터 상기 제1 성분을 제거하기 위해 상기 정서 상태에 제1 기능을 적용하는 단계
    를 수행하는 것에 의해, 상기 하나 이상의 프로세서가 상기 사용자의 정서 상태를 계산하고 분석하게 하는 명령을 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  12. 제11항에 있어서, 상기 명령은, 상기 하나 이상의 프로세서가,
    상기 사용자와 관련된 요인에 기초하여 상기 정서 상태의 제2 성분을 결정하는 단계; 및
    상기 정서 상태로부터 상기 제2 성분을 제거하기 위해 상기 정서 상태에 제2 기능을 적용하는 단계
    를 더 수행하게 하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  13. 제12항에 있어서, 상기 요인은 상기 사용자와 다른 사람 사이의 대면 대화와 관련되는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  14. 제12항에 있어서, 상기 요인은 상기 사용자와 다른 사람 사이의 전화 통화와 관련되는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  15. 제11항에 있어서, 상기 미디어 콘텐츠는 음악 콘텐츠를 포함하고, 상기 정서 상태의 상기 제1 성분을 결정하는 단계는
    상기 제1 성분을 결정하기 위해 상기 음악 콘텐츠를 분석하는 단계를 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  16. 제11항에 있어서, 상기 미디어 콘텐츠는 음악 콘텐츠를 포함하고, 상기 정서 상태의 상기 제1 성분을 결정하는 단계는
    데이터베이스로부터 상기 제1 성분을 검색하는 단계를 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  17. 제11항에 있어서, 상기 미디어 콘텐츠는 음성 콘텐츠를 포함하고, 상기 정서 상태의 상기 제1 성분을 결정하는 단계는
    상기 음성 콘텐츠에서의 음성 톤 또는 텍스트 세그먼트 중 적어도 하나에 기초하여 상기 제1 성분을 결정하기 위해 상기 음성 콘텐츠를 분석하는 단계를 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  18. 제11항에 있어서, 상기 정서 상태는 정서 유발성 값 및 정서 각성값을 포함하고, 상기 제1 기능을 상기 정서 상태에 적용하는 단계는,
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 정서 유발성 값의 제1 성분을 제거하기 위해 상기 정서 유발성 값에 상기 제1 기능을 적용하는 단계; 및
    상기 사용자에 의해 액세스되는 상기 미디어 콘텐츠에 대응하는, 상기 정서 각성값의 제1 성분을 제거하기 위해 상기 정서 각성값에 상기 제1 기능을 적용하는 단계
    를 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  19. 제11항에 있어서, 상기 정서 상태는 정서 우위값을 더 포함하고, 상기 정서 상태에 상기 제1 기능을 적용하는 단계는
    사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 상기 정서 우위값의 제1 성분을 제거하기 위해 상기 정서 우위값에 상기 제1 기능을 적용하는 단계를 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  20. 제1 엔드포인트 디바이스(endpoint device)로서,
    명령을 포함하는 메모리; 및
    상기 메모리에 결합된 프로세서를 포함하되, 상기 프로세서는, 상기 명령을 실행할 때,
    적어도 하나의 센서를 통해 사용자와 관련된 센서 데이터를 획득하고;
    상기 센서 데이터에 기초하여, 상기 사용자와 관련된 정서 상태를 결정하고;
    상기 사용자에 의해 액세스되는 미디어 콘텐츠에 대응하는, 상기 정서 상태의 제1 성분을 결정하고;
    상기 정서 상태로부터 상기 제1 성분을 제거하기 위해 상기 정서 상태에 제1 기능을 적용하는, 제1 엔드포인트 디바이스.
KR1020210032330A 2020-03-16 2021-03-11 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술 KR20210116309A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/820,533 2020-03-16
US16/820,533 US11532319B2 (en) 2020-03-16 2020-03-16 Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system

Publications (1)

Publication Number Publication Date
KR20210116309A true KR20210116309A (ko) 2021-09-27

Family

ID=74870672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210032330A KR20210116309A (ko) 2020-03-16 2021-03-11 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술

Country Status (5)

Country Link
US (1) US11532319B2 (ko)
EP (1) EP3882097A1 (ko)
JP (1) JP2021146214A (ko)
KR (1) KR20210116309A (ko)
CN (1) CN113397548A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724880A (zh) * 2020-06-09 2020-09-29 百度在线网络技术（北京）有限公司 用户情绪调节方法、装置、设备和可读存储介质
KR20220014943A (ko) * 2020-07-29 2022-02-08 현대자동차주식회사 주행 환경 연동 운전자 감정 판단 방법 및 시스템
US11539762B2 (en) 2020-10-06 2022-12-27 Harman International Industries, Incorporated Conferencing based on driver state and context
JP2022129152A (ja) * 2021-02-24 2022-09-05 株式会社Subaru 車両の乗員監視装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
US9734685B2 (en) 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
JP6436030B2 (ja) * 2015-09-17 2018-12-12 トヨタ自動車株式会社 ライフログ記録システム
US10192171B2 (en) 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
US10403304B1 (en) * 2018-03-13 2019-09-03 Qbrio Studio, Inc. Neural networks for identifying the potential of digitized audio to induce frisson in listeners

Also Published As

Publication number Publication date
CN113397548A (zh) 2021-09-17
EP3882097A1 (en) 2021-09-22
US20210287697A1 (en) 2021-09-16
JP2021146214A (ja) 2021-09-27
US11532319B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
US11532319B2 (en) Techniques for separating driving emotion from media induced emotion using an additive/subtractive, conjunctive, disjunctive, or Bayesian technique in a driver monitoring system
US10867197B2 (en) Drowsiness mental state analysis using blink rate
US11465640B2 (en) Directed control transfer for autonomous vehicles
US11017250B2 (en) Vehicle manipulation using convolutional image processing
CN108366732B (zh) 困倦起始检测
US11151610B2 (en) Autonomous vehicle control using heart rate collection based on video imagery
KR102039848B1 (ko) 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체
US9734685B2 (en) Vehicle operator emotion management system and method
US20210339759A1 (en) Cognitive state vehicle navigation based on image processing and modes
KR102476675B1 (ko) 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버
KR20200083310A (ko) 양방향 차내 가상 개인 비서
US20160063561A1 (en) Method and Apparatus for Biometric Advertisement Feedback Collection and Utilization
CN113491519A (zh) 基于情感-认知负荷的数字助理
CN109949438B (zh) 异常驾驶监测模型建立方法、装置及存储介质
JP7303901B2 (ja) 複数の候補からドライバーを選択する提案システム
CN116578731B (zh) 多媒体信息处理方法、系统、计算机设备和存储介质
US20210279514A1 (en) Vehicle manipulation with convolutional image processing
CN113815628A (zh) 基于用户精神状态修改媒体内容播放
US20230033776A1 (en) Directed control transfer with autonomous vehicles
CN110584657A (zh) 一种注意力检测方法及系统
US11587357B2 (en) Vehicular cognitive data collection with multiple devices
US11531394B2 (en) Systems and methods for emotional-imaging composer
EP3733068B1 (en) Assessing cognitive reaction to over-the-air updates
US20230095350A1 (en) Focus group apparatus and system
JP2019028732A (ja) 音声等から気分を解析して動作を制御する装置