KR20200029716A - 차량 및 차량의 제어방법 - Google Patents

차량 및 차량의 제어방법 Download PDF

Info

Publication number
KR20200029716A
KR20200029716A KR1020180108088A KR20180108088A KR20200029716A KR 20200029716 A KR20200029716 A KR 20200029716A KR 1020180108088 A KR1020180108088 A KR 1020180108088A KR 20180108088 A KR20180108088 A KR 20180108088A KR 20200029716 A KR20200029716 A KR 20200029716A
Authority
KR
South Korea
Prior art keywords
information
user
emotion
vehicle
avatar
Prior art date
Application number
KR1020180108088A
Other languages
English (en)
Inventor
우승현
윤석영
한지민
이지아
김계윤
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180108088A priority Critical patent/KR20200029716A/ko
Priority to US16/213,459 priority patent/US20200082590A1/en
Publication of KR20200029716A publication Critical patent/KR20200029716A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Mathematical Physics (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 감정 상태에 기초하여 아바타(Avatar)의 표정을 갱신하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하는 감지부; 상기 사용자의 이전 감정 정보 및 아바타의 얼굴 표정 정보가 저장되어 있는 저장부; 상기 사용자의 상태 및 상기 사용자의 행동 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태를 나타내는 현재 감정 정보를 획득하고, 상기 이전 감정 정보 및 상기 현재 감정 정보를 비교하여 상기 얼굴 표정 정보를 갱신하는 제어부; 및 갱신된 얼굴 표정 정보에 기초하여 상기 아바타를 표시하는 디스플레이부;를 포함한다.

Description

차량 및 차량의 제어방법{VEHICLE AND CONTROLLING METHOD OF VEHICLE}
개시된 발명은 사용자의 감정에 기초하여 아바타(Avatar)를 표시하는 차량 및 그 제어방법에 관한 것이다.
최근에 인공지능이 탑재되어 사용자와 상호작용할 수 있는 차량이 등장하고 있다.
그런데 종래 기술의 차량은 사용자와 상호작용할 때 사용자의 정황 및 감정을 구체적으로 고려하지 않고 피드백을 일방적으로 제공하였기 때문에 사용자가 불편함을 느낄 수 있는 문제가 있었다.
또한, 종래 기술의 차량은 피드백 정보 제공 시 피드백 요소를 획일적으로 유지함으로써 사용자가 친숙함을 느끼지 못하는 문제도 있었다.
따라서, 사용자와 상호작용할 수 있는 차량이 피드백을 제공함에 있어서 사용자가 보다 공감하고 친숙함을 느낄 수 있게 하는 기술이 필요하다.
사용자의 감정 상태에 기초하여 아바타(Avatar)의 표정을 갱신하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하는 감지부; 상기 사용자의 이전 감정 정보 및 아바타(Avatar)의 얼굴 표정 정보가 저장되어 있는 저장부; 상기 사용자의 상태 및 상기 사용자의 행동 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태를 나타내는 현재 감정 정보를 획득하고, 상기 이전 감정 정보 및 상기 현재 감정 정보를 비교하여 상기 얼굴 표정 정보를 갱신하는 제어부; 및 갱신된 얼굴 표정 정보에 기초하여 상기 아바타를 표시하는 디스플레이부;를 포함한다.
상기 얼굴 표정 정보는, 상기 아바타의 얼굴 요소의 위치 정보 및 각도 정보를 포함하고, 상기 얼굴 요소는, 상기 아바타의 눈썹, 눈, 눈꺼풀, 코, 입, 입술, 볼, 보조개 및 턱 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 상기 아바타의 얼굴 표정 정보를 상기 현재 감정 정보가 나타내는 감정과 대응되도록 갱신할 수 있다.
상기 저장부는, 부정 감정 인자와 사용자의 공감을 유도하는 상기 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보를 저장하고, 상기 제어부는, 상기 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 상기 표정 기준 정보에 기초하여 상기 아바타의 얼굴 표정 정보를 갱신할 수 있다.
상기 표정 기준 정보는, 부정 감정 인자의 연관도 및 부정 감정 인자의 변화 정도 중 적어도 하나에 기초하여 상기 부정 감정 인자에 대응하는 적어도 하나의 공감 표정을 포함할 수 있다.
상기 감지부는, 차량 주행 정보 및 내부 정황 정보 중 적어도 하나를 수집하고, 상기 제어부는, 상기 차량 주행 정보 및 상기 내부 정황 정보 중 적어도 하나에 기초하여, 상기 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단하고, 상기 사용자 단위 기능이 종료된 경우 상기 아바타의 얼굴 표정 정보를 초기화할 수 있다.
상기 사용자 단위 기능은, 상기 차량의 주행 기능, 상기 차량의 가속 기능, 상기 차량의 감속 기능, 상기 차량의 조향 기능, 상기 차량의 멀티미디어 재생 기능, 상기 사용자의 통화, 상기 사용자의 대화 및 상기 아바타의 발화 중 적어도 하나를 포함할 수 있다.
상기 저장부는, 상기 사용자의 생체신호와 감정인자 간 상관관계 정보를 저장하고, 상기 제어부는, 상기 사용자의 생체신호와 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득할 수 있다.
상기 사용자의 행동은, 스티어링휠, 센터 콘솔 및 암 레스트(arm rest) 중 적어도 하나에 대한 가격 또는 두드림을 포함하고, 상기 감지부는, 상기 스티어링휠, 상기 센터 콘솔 및 상기 암 레스트 중 적어도 하나에 마련되는 압력 센서 또는 음파 센서를 포함하고, 상기 압력 센서 및 상기 음파 센서 중 적어도 하나의 출력에 기초하여 상기 사용자의 행동을 감지할 수 있다.
상기 저장부는, 상기 사용자의 행동과 감정인자 간 상관관계 정보를 저장하고, 상기 제어부는, 상기 사용자의 행동과 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득할 수 있다.
일 실시예에 따른 차량의 제어방법은, 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하고; 상기 사용자의 상태 및 상기 사용자의 행동 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태를 나타내는 현재 감정 정보를 획득하고; 저장된 이전 감정 정보 및 상기 현재 감정 정보를 비교하여 저장된 아바타(Avatar)의 얼굴 표정 정보를 갱신하고; 갱신된 얼굴 표정 정보에 기초하여 상기 아바타를 표시하는 것;을 포함한다.
상기 얼굴 표정 정보는, 상기 아바타의 얼굴 요소의 위치 정보 및 각도 정보를 포함하고, 상기 얼굴 요소는, 상기 아바타의 눈썹, 눈, 눈꺼풀, 코, 입, 입술, 볼, 보조개 및 턱 중 적어도 하나를 포함할 수 있다.
상기 얼굴 표정 정보를 갱신하는 것은, 상기 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 상기 아바타의 얼굴 표정 정보를 상기 현재 감정 정보가 나타내는 감정과 대응되도록 갱신하는 것;을 포함할 수 있다.
상기 얼굴 표정 정보를 갱신하는 것은, 상기 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 부정 감정 인자와 사용자의 공감을 유도하는 상기 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보에 기초하여 상기 아바타의 얼굴 표정 정보를 갱신하는 것;을 포함할 수 있다.
상기 표정 기준 정보는, 부정 감정 인자의 연관도 및 부정 감정 인자의 변화 정도 중 적어도 하나에 기초하여 상기 부정 감정 인자에 대응하는 적어도 하나의 공감 표정을 포함할 수 있다.
상기 차량의 제어방법은, 차량 주행 정보 및 내부 정황 정보 중 적어도 하나를 수집하고; 상기 차량 주행 정보 및 상기 내부 정황 정보 중 적어도 하나에 기초하여, 상기 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단하고; 상기 사용자 단위 기능이 종료된 경우 상기 아바타의 얼굴 표정 정보를 초기화하는 것;을 더 포함할 수 있다.
상기 사용자 단위 기능은, 상기 차량의 주행 기능, 상기 차량의 가속 기능, 상기 차량의 감속 기능, 상기 차량의 조향 기능, 상기 차량의 멀티미디어 재생 기능, 상기 사용자의 통화, 상기 사용자의 대화 및 상기 아바타의 발화 중 적어도 하나를 포함할 수 있다.
상기 현재 감정 정보를 획득하는 것은, 저장된 사용자의 생체신호와 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득하는 것;을 포함할 수 있다.
상기 사용자의 행동을 감지하는 것은, 압력 센서 및 음파 센서 중 적어도 하나의 출력에 기초하여 상기 사용자의 행동을 감지하는 것;을 포함하고, 상기 압력 센서 및 음파 센서 중 적어도 하나는 스티어링휠, 센터 콘솔 및 암 레스트(arm rest) 중 적어도 하나에 마련되고, 상기 사용자의 행동은, 상기 스티어링휠, 상기 센터 콘솔 및 상기 암 레스트 중 적어도 하나에 대한 가격 또는 두드림을 포함할 수 있다.
상기 현재 감정 정보를 획득하는 것은, 저장된 사용자의 행동과 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득하는 것;을 포함할 수 있다.
일 측면에 따른 차량 및 차량의 제어방법에 의하면, 사용자의 감정 상태에 기초하여 사용자의 공감을 유발하는 아바타(Avatar)의 표정을 결정함으로써, 사용자가 아바타의 표정에 보다 친숙함을 느낄 수 있으며, 긍정적인 감정을 유발할 수 있다.
도 1은 일 실시예에 따른 차량의 내부를 나타내는 도면이다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 일 실시예에 따른 생체신호와 감정인자 간의 상관관계 정보를 나타내는 도면이다.
도 4는 일 실시예에 따른 차량의 내부를 나타내는 도면이다.
도 5는 일 실시예에 따른 감정 모델을 나타낸 도면이다.
도 6은 일 실시예에 따른 감정 모델에 기초하여 사용자의 감정 변화를 나타내는 도면이다.
도 7은 일 실시예에 따른 아바타의 표정 기준 정보를 나타내는 도면이다.
도 8a는 일 실시예에 따른 긍정적인 감정 상태에 대응하는 아바타를 나타내는 도면이다.
도 8b는 일 실시예에 따른 부정적인 감정 상태에 대응하는 아바타를 나타내는 도면이다.
도 9는 일 실시예에 따른 차량의 제어 방법에 있어서, 사용자의 감정 정보에 기초하여 아바타의 얼굴 표정 정보를 갱신하는 경우에 관한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array) / ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량(100)의 내부를 나타내는 도면이고, 도 2는 일 실시예에 따른 차량(100)의 제어 블록도이다.
도 1을 참조하면, 차량(100) 내부에는, 대시 보드(210)와, 입력부(120), 디스플레이부(150), 스티어링휠(170)와, 센터 콘솔(180)과, 암 레스트(arm rest, 190)가 마련된다.
대시 보드(210)는, 차량(100)의 실내와 엔진룸을 구획하고, 운전에 필요한 각종 부품이 설치되는 패널을 의미한다. 대시 보드(210)는 운전석 및 보조석의 전면 방향에 마련된다. 대시 보드(210)는 상부 패널, 센터페시아(211) 및 센터 콘솔(180) 등을 포함할 수 있다.
대시 보드(210)의 상부 패널에는 디스플레이부(150)가 설치될 수 있다. 디스플레이부(150)는 차량(100)의 사용자에게 화상으로 다양한 정보를 제공할 수 있다. 예를 들어 디스플레이부(150)는, 지도, 날씨, 뉴스, 각종 동영상이나 정지 화상, 차량(100)의 상태나 동작과 관련된 각종 정보, 일례로 공조 장치에 대한 정보 등 다양한 정보를 시각적으로 제공할 수 있다.
또한, 디스플레이부(150)는, 사용자의 감정 상태에 기초하여 얼굴 표정이 달라지는 아바타(Avatar)를 표시할 수 있다. 예를 들어, 디스플레이부(150)는 후술하는 제어부(160)의 제어에 따라 사용자의 감정이 긍정적으로 변하는 경우 사용자의 현재 감정에 대응되는 표정을 갖는 아바타를 표시할 수 있으며, 사용자의 감정이 부정적으로 변하는 경우 사용자의 공감을 유발할 수 있는 공감 표정을 갖는 아바타를 표시할 수 있다. 이에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
디스플레이부(150)는, 통상 사용되는 내비게이션 장치를 이용하여 구현될 수도 있다.
디스플레이부(150)는, 대시 보드(210)와 일체형으로 형성된 하우징 내부에 설치되어, 디스플레이 패널만이 외부에 노출되도록 마련된 것일 수 있다. 또한, 디스플레이부(150)는, 센터페시아(211)의 중단이나 하단에 설치될 수도 있고, 윈드 실드(미도시)의 내측면이나 대시 보드(210)의 상부면에 별도의 지지대(미도시)를 이용하여 설치될 수도 있다. 이외에도 설계자가 고려할 수 있는 다양한 위치에 디스플레이부(150)가 설치될 수도 있다.
대시 보드(210)의 내측에는 프로세서, 통신 모듈, 위성 항법 장치 수신 모듈, 저장 장치 등과 같은 다양한 종류의 장치가 설치될 수 있다. 차량에 설치된 프로세서는 차량(100)에 설치된 각종 전자 장치를 제어하도록 마련된 것일 수 있으며, 후술하는 제어부(160)의 기능을 수행하기 위해 마련된 것일 수 있다. 상술한 장치들은 반도체칩, 스위치, 집적 회로, 저항기, 휘발성 또는 비휘발성 메모리 또는 인쇄 회로 기판 등과 같은 다양한 부품을 이용하여 구현될 수 있다.
센터페시아(211)는 대시보드(210)의 중앙에 설치될 수 있으며, 차량(100)과 관련된 각종 명령을 입력하기 위한 입력부(120)가 마련될 수 있다. 입력부(120)는 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현된 것일 수 있다. 사용자는 입력부(120)를 조작함으로써 차량(100)의 각종 동작을 제어할 수 있다.
또한, 입력부(120)는 디스플레이부(150)와 일체형으로 마련되어 터치 스크린을 이용하여 구현된 것일 수 있다.
센터 콘솔(180)은 센터페시아(211)의 하단에 운전석 및 보조석의 사이에 마련된다. 센터 콘솔(180)에는, 변속 레버, 수납함 및 각종 입력 수단 등이 마련될 수 있다. 수납함 및 입력 수단은 실시예에 따라 생략될 수도 있다.
또한, 차량(100)은 센터 콘솔(180)과 인접하게 마련되고, 사용자가 팔을 올려 놓을 수 있는 암 레스트(190)를 더 포함할 수 있다.
암 레스트(190)는 사용자가 차량(100)의 내부에서 편안한 자세를 취하기 위해 팔을 올려 놓을 수 있는 부분이다.
대시 보드(210)의 운전석 방향에는 스티어링휠(170)이 마련된다.
스티어링휠(170)은 사용자의 조작에 따라 소정의 방향으로 회전 가능하게 마련되고, 스티어링휠(170)의 회전 방향에 따라서 차량(100)의 전륜 또는 후륜이 회전함으로써 차량(100)이 조향될 수 있다. 스티어링휠(170)에는 회전 축과 연결되는 스포크와 스포크와 결합된 림이 마련된다. 스포크에는 각종 명령을 입력하기 위한 입력 수단이 마련될 수도 있으며, 입력 수단은 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현될 수 있다.
스티어링휠(170)은 운전자의 편의를 위하여 원형의 형상을 가질 수 있으나, 스티어링휠(170)의 형상은 이에 한정되지 않는다.
도 2를 참조하면, 일 실시예에 따른 차량(100)은 사용자의 생체신호, 사용자의 행동, 차량 주행 정보 및 내부 정황 정보 중 적어도 하나를 감지하는 감지부(110), 사용자의 입력을 수신하는 입력부(120), 외부 서버와 정보를 송수신하는 통신부(130), 사용자의 생체신호와 감정인자 간 상관관계 정보, 부정 감정 인자와 사용자의 공감을 유도하는 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보, 아바타의 얼굴 표정 정보 및 감정모델이 저장되어 있는 저장부(140), 아바타를 표시하는 디스플레이부(150) 및 감지된 사용자의 생체신호 및 사용자의 행동 중 적어도 하나에 기초하여 사용자의 감정 상태를 나타내는 감정 정보를 획득하고, 감정 정보에 기초하여 아바타의 얼굴 표정 정보를 갱신하는 제어부(160)를 포함할 수 있다.
일 실시예에 따른 감지부(110)는 사용자의 생체신호 및 사용자의 행동을 감지할 수 있다. 후술하는 제어부(160)는 감지부(110)를 통하여 감지된 사용자의 생체신호 및 사용자의 행동 중 적어도 하나에 기초하여 사용자의 감정 상태를 나타내는 감정 정보를 획득할 수 있다.
사용자의 생체신호는 사용자의 얼굴 표정, 피부 반응, 심장 박동수, 뇌파, 얼굴 표정 상태, 음성 상태 및 눈동자의 위치 중 적어도 하나를 포함할 수 있다.
사용자의 생체신호를 감지하기 위하여 일 실시예에 따른 감지부(110)는 적어도 하나의 센서를 포함한다. 감지부(110)는 적어도 하나의 센서를 이용하여 사용자의 생체신호를 감지 및 측정하고, 측정된 결과를 제어부(160)에 송신할 수 있다.
따라서, 감지부(110)는 사용자의 생체신호를 감지하고 취득하기 위해 다양한 센서를 포함할 수 있다.
예를 들어, 사용자의 피부의 상태를 측정할 수 있는 전기 피부 반응(GSR, Galvanic Skin Response) 측정기, 사용자의 심장 박동수를 측정할 수 있는 심장박동수(HR, Heart Rate) 측정기, 사용자의 뇌파를 측정할 수 있는 뇌파(EEG, Electroencephalogram) 측정기, 사용자의 얼굴 표정 상태를 분석할 수 있는 안면 분석(face analysis) 장치, 사용자의 음성 상태를 분석할 수 있는 마이크 장치 및 사용자의 눈동자의 위치를 추적할 수 있는 아이 트랙커(Eye Tracker) 중 적어도 하나를 포함할 수 있다.
또한, 감지부(110)가 포함할 수 있는 센서들은 상기된 센서들에 한정되는 것은 아니며, 사용자의 생체신호를 측정할 수 있는 센서이면 이에 포함될 수 있다.
사용자의 행동은, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 대한 가격 또는 두드림을 포함할 수 있다.
사용자의 행동을 감지하기 위하여 일 실시예에 따른 감지부(110)는 적어도 하나의 센서를 포함한다. 감지부(110)는 적어도 하나의 센서를 이용하여 사용자의 행동을 감지 및 측정하고, 측정된 결과를 제어부(160)에 송신할 수 있다.
따라서, 감지부(110)는 사용자의 행동을 감지하고 취득하기 위해 다양한 센서를 포함할 수 있다.
스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 마련되는 압력 센서, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 마련되는 음파 센서 중 적어도 하나를 포함할 수 있다.
또한, 감지부(110)가 포함할 수 있는 센서들은 상기된 센서들에 한정되는 것은 아니며, 사용자의 행동을 감지할 수 있는 센서이면 이에 포함될 수 있다.
또한, 일 실시예에 따른 감지부(110)는 차량(100)의 주행 정보를 수집하는 복수의 센서를 포함할 수 있다. 차량 주행 정보에는 사용자가 조작하는 스티어링휠(170)의 조향 각도 및 토크 정보, 순간 가속도 정보, 액셀레이터를 밟는 횟수 및 강도, 브레이크를 밟는 횟수 및 강도, 차량 속도 정보 등이 포함될 수 있다.
이를 위해, 감지부(110)는 속도 센서 및 기울기 센서 등을 포함할 수 있다. 다만, 감지부(110)가 포함할 수 있는 센서들은 상기된 센서들에 한정되는 것은 아니며, 차량(100)의 주행 정보를 수집할 수 있는 센서이면 이에 포함될 수 있다.
또한, 일 실시예에 따른 감지부(110)는 차량(100)의 내부 정황(situation) 정보를 수집할 수 있다. 내부 정황 정보는 동승자 탑승 여부, 운전자 및 동승자 간의 대화 정보, 디스플레이부(150)를 통한 멀티미디어 재생 정보, 사용자의 통화 정보 등을 포함할 수 있다.
이를 위해, 감지부(110)는 차량(100)에 마련되는 음파 센서, 카메라를 포함할 수 있다. 다만, 감지부(110)가 포함할 수 있는 센서들은 상기된 센서들에 한정되는 것은 아니며, 차량(100)의 내부 정황 정보를 수집할 수 있는 센서이면 이에 포함될 수 있다.
일 실시예에 따른 입력부(120)는 사용자로부터 부정 감정 인자와 사용자의 공감을 유도하는 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보에 대한 입력을 수신할 수 있다.
표정 기준 정보는 사용자의 부정 감정 인자과 아바타의 공감 표정과의 관계를 나타내는 정보로써, 후술하는 제어부(160)는 표정 기준 정보에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
표정 기준 정보는 일 실시예에 따라 제조업체에 의해 설정되어 후술하는 저장부(140)에 저장될 수 있으며, 일 실시예에 따라 입력부(120)를 통해 입력된 사용자의 입력에 의해 설정되어 후술하는 저장부(140)에 저장될 수 있으며, 일 실시예에 따라 통신부(130)를 통해 외부 서버로부터 수신하여 후술하는 저장부(140)에 저장될 수 있다.
사용자는 입력부(120)를 통해 사용자의 부정 감정 상태에 따라 원하는 아바타의 공감 표정을 설정할 수 있으며, 공감 표정 출력의 기준이 되는 부정 감정 인자의 연관도 및 부정 감정 인자의 변화 정도를 설정할 수 있다.
일 실시예에 따른 통신부(130)는 외부 서버와 정보를 송수신할 수 있다. 구체적으로, 통신부(130)는 외부 서버로부터 사용자의 생체신호와 감정인자 간 상관관계 정보, 부정 감정 인자와 사용자의 공감을 유도하는 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보 및 감정모델을 수신할 수 있다.
또한, 일 실시예에 따른 통신부(130)는 디스플레이부(150)를 통하여 출력되는 아바타의 얼굴 표정 정보를 수신할 수 있다.
따라서, 통신부(130)는 외부 서버와 여러 방식을 이용하여 통신을 수행할 수 있다. RF(Radio Frequency), 와이파이(Wireless Fidelity, Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), 엔에프씨(Near Field Communication, NFC), 초광대역(Ultra-Wide Band, UWB) 통신 등 다양한 방식을 이용하여 외부 서버와 정보를 송신하고 수신할 수 있다. 외부 서버와 통신을 수행하는 방법으로 전술한 방법으로 한정되는 것은 아니고 외부 서버와 통신할 수 있는 방법이면, 어느 방식을 사용하여도 무방하다.
또한, 도 2에서는 통신부(130)가 신호를 송신하고 수신하는 단일의 구성요소로 도시하였지만, 이에 한정되는 것은 아니고 신호를 송신하는 송신부(미도시) 및 신호를 수신하는 수신부(미도시)가 별도로 존재하는 것으로 구성될 수 있다
또한, 일 실시예에 따른 저장부(140)는 사용자의 생체신호 및 사용자의 행동에 기초하여 사용자의 감정 상태를 판단하기 위한 감정 모델을 저장할 수 있다. 또한, 저장부(140)는 사용자의 생체신호와 감정인자 간 상관관계 정보 및 사용자의 행동과 감정인자 간 상관관계 정보를 저장할 수 있으며, 사용자의 생체신호와 감정인자 간 상관관계 정보 및 는 후술하는 사용자의 감정 상태를 판단하기 위하여 사용될 수 있다.
또한, 저장부(140)는 후술하는 제어부(160)에 의해 판단된 사용자의 감정 상태를 나타내는 감정 정보를 저장할 수 있다.
또한, 저장부(140)는 부정 감정 인자와 사용자의 공감을 유도하는 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보 및 아바타의 얼굴 표정 정보를 저장할 수 있으며, 차량(100)에 관한 각종 정보를 저장할 수 있다.
저장부(140)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
일 실시예에 따른 디스플레이부(150)는 아바타를 표시할 수 있다. 구체적으로, 디스플레이부(150)는 아바타를 시각적으로 표시할 수 있으며, 후술하는 제어부(160)에 의해 갱신된 아바타의 얼굴 표정 정보에 기초하여 아바타를 표시할 수 있다.
디스플레이부(150)는 패널을 포함할 수 있고, 패널은 음극선관(CRT, Cathode Ray Tube) 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 중 어느 하나일 수 있다.
또한, 디스플레이부(150)는 터치 입력을 수신하는 터치 패널을 포함하여 사용자의 입력을 터치로 수신할 수도 있다. 디스플레이부(150)에 터치 패널이 포함되는 경우, 디스플레이(150)가 입력부(120)의 역할을 수행할 수 있다.
일 실시예에 따른 제어부(160)는 감지부(110)를 통하여 감지된 사용자의 생체신호 및 사용자의 행동 중 적어도 하나에 기초하여 사용자의 감정 상태를 나타내는 감정 정보를 획득할 수 있다.
또한, 제어부(160)는 획득된 감정 정보를 저장하도록 저장부(140)를 제어할 수 있다. 저장된 감정 정보는 저장 이후 측정된 감정 정보와 비교될 수 있다.
획득된 감정 정보는 감정 상태의 각성 정도와 대응되는 각성도(arousal) 및 감정 상태의 긍정 정도 또는 부정 정도와 대응되는 유인가(Valence)를 포함할 수 있다. 이에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
일 실시예에 따른 제어부(160)는 획득된 현재 감정 정보를 저장부(140)에 저장된 이전 감정 정보와 비교하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
현재 감정 정보는 사용자의 현재 감정 상태를 나타내는 감정 정보이며, 이전 감정 정보는 현재 감정 정보 획득 이전에 획득되어 저장부(140)에 저장되고 사용자의 이전 감정 상태를 나타내는 감정 정보이다.
제어부(160)는 이전 감정 정보와 현재 감정 정보를 비교함으로써, 사용자의 감정 상태의 변화 정도를 식별할 수 있으며, 이에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
구체적으로, 제어부(160)는 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 아바타의 얼굴 표정 정보를 현재 감정 정보가 나타내는 감정과 대응되도록 갱신할 수 있다.
즉, 제어부(160)는 아바타의 얼굴 표정 정보가 현재 감정 정보가 나타내는 감정 상태와 동일하거나 유사한 표정을 나타낼 수 있도록 얼굴 표정 정보를 갱신할 수 있다.
또한, 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 표준 기준 정보에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
즉, 제어부(160)는 부정 감정 인자와 사용자의 공감을 유도하는 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보에 기초하여 아바타의 얼굴 표정 정보가 사용자의 공감을 유도하는 공감 표정을 나타낼 수 있도록 얼굴 표정 정보를 갱신할 수 있다. 이에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
일 실시예에 따른 제어부(160)는 갱신된 얼굴 표정 정보에 기초하여 아바타를 표시하도록 디스플레이부(150)를 제어할 수 있다.
따라서, 사용자는 갱신된 얼굴 표정 정보가 나타내는 얼굴 표정을 갖는 아바타를 시청할 수 있다. 이를 통해, 사용자는 자신의 감정 상태를 반영하는 아바타의 얼굴 표정을 시청할 수 있으며, 획일적인 얼굴 표정을 제공하는 아바타와 비교하여 보다 친근하고 공감할 수 있는 아바타를 제공받을 수 있다.
일 실시예에 따른 제어부(160)는 아바타의 얼굴 표정 정보를 지속적으로 갱신할 수 있다. 구체적으로, 제어부(160)는 지속적으로 사용자의 감정 정보를 획득할 수 있으며, 이에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
이 때, 일 실시예에 따른 제어부(160)는 사용자 단위 기능에 맞추어 아바타의 얼굴 표정 정보 갱신을 지속할 수 있다. 즉, 제어부(160)는 사용자가 수행하는 사용자 단위 기능에 기초하여 사용자 단위 기능이 유지되는 동안에 아바타의 얼굴 표정 정보를 갱신할 수 있다.
제어부(160)는 사용자 단위 기능이 종료되는 경우, 아바타의 얼굴 표정 정보를 초기화하여 얼굴 표정 정보가 나타내는 아바타의 얼굴 표정이 초기 설정된 얼굴 표정이 되도록 제어할 수 있다.
구체적으로, 제어부(160)는 감지부(110)를 통하여 감지된 차량 주행 정보 및 내부 정황 정보 중 적어도 하나에 기초하여 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단할 수 있으며, 사용자 단위 기능이 종료된 경우 아바타의 얼굴 표정 정보를 초기화할 수 있다.
사용자 단위 기능은, 차량(100)의 주행 기능, 차량(100)의 가속 기능, 차량(100)의 감속 기능, 차량(100)의 조향 기능을 포함할 수 있다. 또한, 사용자 단위 기능은, 차량(100) 내 멀티미디어 재생 기능, 사용자의 통화 및 사용자의 대화를 포함할 수 있다.
즉, 사용자 단위 기능은, 차량(100)의 기능과 관련되는 차량(100)의 주행 기능, 차량(100)의 가속 기능, 차량(100)의 감속 기능, 차량(100)의 조향 기능 및 차량(100) 내 멀티미디어 재생 기능을 포함할 수 있다.
또한, 사용자 단위 기능은, 사용자의 발화와 관련되는 사용자의 통화 및 사용자와 동승자 간의 대화를 포함할 수 있다.
또한, 사용자 단위 기능은, 아바타의 발화와 관련되는 아바타의 특정 내용에 대한 발화 및 아바타의 특정 질의응답에 대한 발화를 포함할 수 있다. 즉, 디스플레이부(150)를 통하여 표시되는 아바타는 차량(100) 내 마련되는 스피커(미도시)를 통하여 특정 내용에 대한 발화 및 특정 질의응답에 대한 발화를 출력할 수 있다. 즉, 제어부(160)는 아바타의 발화를 출력하도록 스피커(미도시)를 제어할 수 있다.
즉, 제어부(160)는 사용자가 수행하는 사용자 단위 기능 별 아바타의 얼굴 표정 정보를 갱신함으로써, 차량(100) 및 사용자의 정황을 사용자 단위 기능 별로 반영할 수 있으며, 이를 통해, 차량(100)의 사용자는 획일적인 얼굴 표정을 제공하는 아바타와 비교하여 보다 친근하고 공감할 수 있는 아바타를 제공받을 수 있다. 이에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
제어부(160)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행시키는 적어도 하나의 프로세서를 포함할 수 있다. 메모리와 프로세서가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다.
도 3은 일 실시예에 따른 생체신호와 감정인자 간의 상관관계 정보(300)를 나타내는 도면이고, 도 4는 일 실시예에 따른 차량(100)의 내부를 나타내는 도면이고, 도 5는 일 실시예에 따른 감정 모델(500)을 나타낸 도면이다.
도3을 참조하면, 제어부(160)는 감지부(110)가 감지한 사용자의 생체신호 및 저장부(140)에 저장되어 있는 사용자의 생체신호와 감정인자 간 상관관계 정보(300)를 이용하여 사용자의 감정 정보를 획득할 수 있다.
GSR(Galvanic Skin Response) 신호는 혐오스러운(Disgust) 감정인자나 화난(Anger) 감정인자와의 상관관계 값이 각각 0.875, 0.775로서, 혐오스러운 감정인자나 화난 감정인자와 높은 관련성을 갖는 것을 알 수 있다. 따라서, GSR 측정기에 의해 수집된 사용자의 생체신호는, 사용자의 감정이 화난 감정 또는 혐오스러운 감정이라고 판단할 수 있는 기초가 된다.
즐거운(Joy) 감정인자의 경우 GSR 신호와의 상관관계 값이 상대적으로 낮은 값(0.353)이므로, 즐거운 감정인자는 GSR 신호와 관련성이 적다고 할 수 있다.
또한, EEG(Electroencephalogram) 신호는, 화난(Anger) 감정인자나 두려운(Fear) 감정인자와의 상관관계 값이 각각 0.864, 0.878으로서, 다른 감정인자보다 화난 감정인자나 두려운 감정인자와 높은 관련성을 가지고 있음을 알 수 있다. 따라서, EEG측정기에 의해 수집된 생체신호는, 사용자의 감정이 화난 감정이나 두려운 감정이라고 판단할 수 있는 기초가 된다.
이와 같이, 제어부(160)는 사용자의 생체신호와 감정인자 간 상관관계 정보(300)를 이용하여 사용자의 감정 상태 정보를 획득할 수 있다. 도 3에 나타나 있는 정보들은 실험에 의해 나타난 결과일 뿐이므로, 실험 환경에 따라 다양하게 나타날 수 있다.
도 4를 참조하면, 일 실시예에 따른 제어부(160)는 감지부(110)를 통하여 감지된 사용자의 행동에 기초하여 사용자의 감정 상태를 나타내는 감정 정보를 획득할 수 있다. 구체적으로, 제어부(160)는 감지부(110)를 통하여 감지된 사용자의 행동과 저장부(140)에 저장된 사용자의 행동과 감정인자 간 상관관계 정보를 이용하여 사용자의 감정 상태를 나타내는 감정 정보를 획득할 수 있다.
사용자의 행동은, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 대한 가격, 두드림, 흔듦 및 파지를 포함할 수 있다.
사용자는 차량(100)의 주행 중 다양한 정황에 놓일 수 있으며, 정황에 따라 다양한 감정을 느낄 수 있다. 사용자는 차량(100)의 주행 중 느끼는 다양한 감정에 기초하여 차량(100) 내부의 구성을 가격하거나 두드리거나 흔들 수 있다.
예를 들어, 차량(100)이 교통 체증이 심한 구간에 위치하는 경우, 차량(100)의 사용자는 화난 감정을 느낄 수 있으며, 화난 감정에 기초하여 스티어링휠(170)을 가격하거나 스티어링휠(170)을 흔들 수 있다. 또한, 차량(100)이 교통 체증이 심한 구간에 위치하며 약속 시간에 늦은 경우, 차량(100)의 사용자는 긴장한 감정을 느낄 수 있으며, 긴장한 감정에 기초하여 센터 콘솔(180)을 손가락 등으로 두드릴 수 있다.
따라서, 일 실시예에 따른 제어부(160)는 사용자의 행동과 감정인자 간 상관관계 정보에 기초하여 감지부(110)를 통하여 감지된 사용자의 행동에 대응하는 감정 상태를 식별할 수 있으며, 이에 기초하여 감정 정보를 획득할 수 있다.
사용자의 행동과 감정인자 간 상관관계 정보는 사용자의 행동에 대응되는 감정인자를 나타내는 정보이다. 사용자의 행동과 감정인자 간 상관관계 정보는 저장부(140)에 저장되어 있을 수 있으며, 제어부(160)는 상기 정보에 기초하여 사용자의 감정 상태를 판단할 수 있다.
즉, 사용자의 행동과 감정인자 간 상관관계 정보는 해당 감정인자를 유발하는 사용자의 행동 정보를 포함한다.
예를 들어, 화난 감정인자, 흥분한 감정인자 및 짜증난 감정인자에 대응하는 사용자의 행동 정보는, 손이나 발을 이용하여 물체를 가격할 때에 발생하는 가격 정보와, 손을 이용하여 물체를 흔들 때에 발생하는 흔들림(또는 진동) 정보 중 적어도 하나를 포함할 수 있다.
또한, 지루한 감정인자, 피곤한 감정인자, 좌절한 감정인자, 실망한 감정인자, 우울한 감정인자에 대응하는 사용자의 행동 정보는 손을 이용하여 물체를 강하게 파지할 때 발생하는 파지 정보를 포함할 수 있다.
또한, 긴장한 감정인자에 대응하는 사용자의 행동 정보는 손가락을 이용하여 물체를 두드릴 때 발생하는 두드림 정보를 포함할 수 있다.
사용자의 감정이 표출되는 물체는, 사용자와 인접한 위치에 마련된 것들로서, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 등이 있을 수 있다.
일 실시예에 따른 감지부(110)는 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190)에 마련되는 압력 센서를 포함할 수 있으며, 압력 센서의 출력에 기초하여 사용자의 행동을 감지할 수 있다. 압력 센서는 정전용량 방식 등과 같은 터치 센서를 포함할 수 있으며, 압력을 측정할 수 있는 센서이면 제한 없이 포함될 수 있다.
일 실시예에 따른 저장부(140)는 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 가격을 인식하기 위한 기준 압력을 저장하고, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 흔들림과 연관된 파지를 인식하기 위한 기준 압력 및 기준 시간을 저장하며, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 두드림을 인식하기 위한 기준 압력 및 기준 횟수를 저장한다.
즉, 감지부(110)는 검출된 압력의 크기와, 압력의 인가 시간과, 압력의 인가 횟수를 저장부(140)에 저장된 각 행동의 기준 압력, 기준 시간 및 기준 횟수와 비교함으로써, 스티어링 휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 가격, 흔들림, 두드림, 파지 여부를 판단할 수 있다.
다시 말해, 감지부(110)는 압력 센서의 출력 및 저장부(140)에 저장된 각 행동의 기준 압력, 기준 시간 및 기준 횟수에 기초하여 사용자의 행동을 감지할 수 있다.
일 실시예에 따른 감지부(110)는 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190)에 마련되는 음파 센서를 포함할 수 있으며, 음파 센서의 출력에 기초하여 사용자의 행동을 감지할 수 있다. 음파 센서는 마이크로폰을 포함할 수 있으며, 음파를 측정할 수 있는 센서이면 제한 없이 포함될 수 있다.
일 실시예에 따른 저장부(140)는 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 가격을 인식하기 위한 기준 음파 패턴을 저장하고, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 두드림을 인식하기 위한 기준 음파 패턴을 저장한다.
여기서 기준 음파 패턴은 사용자의 신체 부위, 물체의 재질에 따라 달라질 수 있으며, 주파수, 음량, 횟수를 포함할 수 있다.
즉, 감지부(110)는 검출된 진동과 음량에 대응하는 음파를 확인하고, 확인된 음파의 음파 패턴을 생성하며, 저장부(140)에 저장된 기준 음파 패턴과 비교함으로써, 스티어링 휠(170), 센터 콘솔(180) 및 암 레스트(190) 각각에 대한 가격, 두드림 여부를 판단할 수 있다.
다시 말해, 감지부(110)는 음파 센서의 출력 및 저장부(140)에 저장된 각 행동의 기준 음파 패턴에 기초하여 사용자의 행동을 감지할 수 있다.
이처럼, 제어부(160)는 감지부(110)를 통하여 감지한 사용자의 행동과 저장부(140)에 저장된 사용자의 행동과 감정인자 간 상관관계 정보에 기초하여 사용자의 감정 정보를 획득할 수 있다.
도 5를 참조하면, 감정모델(500)은 사용자의 생체신호 및 사용자의 행동에 따라 나타나는 사용자의 감정을 그래프 상에 분류해 놓은 것이다. 감정모델(500)은 미리 설정된 감정축을 기준으로 사용자의 감정을 분류한다.
감정축은 센서에 의해 측정된 감정을 기준으로 정해질 수 있다. 예를 들면, 하나의 감정축(감정축1)은 GSR이나 EEG로 측정 가능한 각성도가 될 수 있으며, 다른 하나의 감정축(감정축2)은 사용자의 물체 가격, 사용자의 음성 및 안면 분석으로 측정 가능한 유인가 될 수 있다.
각성도는 감정 상태의 각성 정도, 흥분 정도 또는 활성 정도를 나타낼 수 있으며, 유인가는 감정 상태의 긍정 정도 또는 부정 정도를 나타낼 수 있다.
감정 모델(500) 상에서 각성도를 나타내는 감정축(감정축1)과 유인가를 나타내는 감정축(감정축 2)이 교차하는 지점은 각성도 및 유인가가 중립인 상태를 나타내는 지점으로 사용자의 감정 상태가 긍정적이거나 부정적인 감정 상태로 치우치지 않은 중립 상태임을 나타내는 지점에 해당한다.
사용자의 감정이 중립 상태에 비해 높은 긍정 정도와 높은 각성 정도를 갖는 경우, 해당 감정은 감정1 또는 감정2로 분류될 수 있다. 반대로 사용자의 감정이 음(-)의 긍정 정도 즉, 부정 정도를 갖고 높은 각성 정도를 갖는 경우, 해당 감정은 감정3 또는 감정4로 분류될 수 있다.
이러한 감정모델(500)은 러셀(Russell)의 감정모델(200)일 수 있다. 러셀(Russell)의 감정모델(500)은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다.
이러한 감정모델(500)은 통신부(130)를 통해 외부 서버로부터 수신될 수 있으며, 저장부(140)에 저장되어 있을 수 있다. 제어부(160)는 사용자의 생체신호 및 사용자의 행동 중 적어도 하나에 기초하여 획득한 사용자의 감정 정보를 감정모델(500)에 매핑하고, 감정모델(500)과 매핑된 사용자의 감정 정보에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
도 6은 일 실시예에 따른 감정 모델(500)에 기초하여 사용자의 감정 변화를 나타내는 도면이고, 도 7은 일 실시예에 따른 아바타의 표정 기준 정보를 나타내는 도면이다.
도 6을 참조하면, 일 실시예에 따른 제어부(160)는 사용자의 생체신호 및 사용자의 행동으로부터 사용자의 현재 감정 정보를 획득하여 사용자의 현재 감정이 감정모델 상에서 감정2에 해당하는 것으로 판단할 수 있다.
또한, 일 실시예에 따른 저장부(140)는 현재 감정 정보를 획득하기 직전에 획득된 이전 감정 정보를 저장할 수 있다. 제어부(160)는 저장부(140)에 저장된 이전 감정 정보를 전달 받을 수 있으며, 이전 감정 정보에 기초하여 사용자의 이전 감정이 감정 모델 상에서 감정 5에 해당하는 것으로 판단할 수 있다.
제어부(160)가 사용자의 생체신호 및 사용자의 행동으로부터 획득한 감정 정보는 사용자의 감정 상태를 나타내는 각각의 감정인자에 대한 연관도로 표현될 수 있다. 예를 들어, 감정 정보가 행복한(Happy) 감정인자에 대한 연관도를 0.22로 표현하고, 화난(Angry) 감정인자에 대한 연관도를 0.67로 표현하는 경우, 상기 감정 정보는 사용자의 감정 상태가 화난 상태가 행복한 상태에 비해 우세함을 나타낼 수 있다.
이처럼, 감정 정보는 사용자의 감정 상태를 나타내는 각각의 감정인자에 대한 연관도를 그 정도에 따라 0과 1사이의 값으로 표현할 수 있다.
또한, 제어부(160)는 사용자의 현재 감정에 영향을 미치는 감정인자를 추출할 수 있으며, 사용자의 현재 감정에 영향을 미치는 감정인자 중 긍정 감정인자는 제1 그룹, 부정 감정인자는 제2 그룹으로 분류할 수 있다.
도 6에서 사용자의 현재 감정에 영향을 미치는 감정인자는 행복함(Happy), 화남(Angry), 놀람(Surprise), 두려움(Scared) 및 혐오스러움(Disgust)으로 추출되었다. 여기서 행복함(Happy)은 긍정 감정인자로서 제1그룹으로 분류될 수 있고, 화남(Angry), 놀람(Surprise), 두려움(Scared) 및 혐오스러움(Disgust)은 부정 감정인자로서 제2그룹으로 분류될 수 있다.
일 실시예에 따른 제어부(160)는 획득된 현재 감정 정보를 저장부(140)에 저장된 이전 감정 정보와 비교하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
현재 감정 정보는 사용자의 현재 감정 상태를 나타내는 감정 정보이며, 이전 감정 정보는 현재 감정 정보 획득 이전에 획득되어 저장부(140)에 저장되고 사용자의 이전 감정 상태를 나타내는 감정 정보이다.
제어부(160)는 이전 감정 정보와 현재 감정 정보를 비교함으로써, 사용자의 감정 상태의 변화 정도를 식별할 수 있으며, 이에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
구체적으로, 제어부(160)는 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 아바타의 얼굴 표정 정보를 현재 감정 정보가 나타내는 감정과 대응되도록 갱신할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 제1 그룹에 포함되는 행복한(Happy) 감정인자는 이전 감정 정보와 비교하여 0.48 증가한 것을 확인할 수 있다. 제어부(160)는 이전 감정 정보에 포함되는 긍정 감점 인자의 연관도와 현재 감정 정보에 포함되는 긍정 감정 인자의 연관도를 비교하여 행복한(Happy) 감정인자가 0.48 증가한 것을 판단할 수 있다.
임계 정도는 사용자의 감정 상태의 변화 정도를 판단하기 위한 값으로 0.05를 기본값으로 할 수 있으며, 입력부(120)를 통한 사용자의 설정에 따라 변할 수 있다.
임계 정도를 높게 설정하는 경우 아바타의 얼굴 표정 정보의 갱신 빈도가 임계 정도를 낮게 설정하는 경우에 비해 낮아질 수 있다.
일 실시예에 따른 제어부(160)는 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 설정된 임계 정도 이상 증가한 경우, 아바타의 얼굴 표정 정보를 현재 감정 정보가 나타내는 감정과 대응되도록 갱신할 수 있다.
즉, 제어부(160)는 아바타의 얼굴 표정 정보가 현재 감정 정보가 나타내는 감정 상태와 동일하거나 유사한 표정을 나타낼 수 있도록 얼굴 표정 정보를 갱신할 수 있다.
예를 들어, 제1 그룹에 포함되는 행복한(Happy) 감정인자가 이전 감정 정보와 비교하여 임계 정도 이상인 0.48 증가하는 경우, 제어부(160)는 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 설정된 임계 정도 이상 증가한 것으로 판단할 수 있으며, 아바타의 얼굴 표정 정보가 현재 감정 정보가 나타내는 감정 상태와 동일하거나 유사한 표정을 나타낼 수 있도록 얼굴 표정 정보를 갱신할 수 있다.
또한, 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 표준 기준 정보에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
도 7을 참조하면, 일 실시예에 따른 저장부(140)는 부정 감정 인자와 사용자의 공감을 유도하는 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보(700)를 저장할 수 있다.
표정 기준 정보(700)는 사용자의 부정 감정 인자과 아바타의 공감 표정과의 관계를 나타내는 정보로써, 제어부(160)는 표정 기준 정보(700)에 기초하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
표정 기준 정보(700)는 일 실시예에 따라 제조업체에 의해 설정되어 후술하는 저장부(140)에 저장될 수 있으며, 일 실시예에 따라 입력부(120)를 통해 입력된 사용자의 입력에 의해 설정되어 저장부(140)에 저장될 수 있으며, 일 실시예에 따라 통신부(130)를 통해 외부 서버로부터 수신하여 저장부(140)에 저장될 수 있다.
표정 기준 정보(700)는 도 7에 예시된 바와 같이, 사용자의 감정을 나타내는 부정 감정 인자에 대응하는 아바타의 공감 표정을 포함할 수 있다. 즉, 표준 기준 정보(700)는 부정 감정 인자의 연관도 및 부정 감정 인자의 변화 정도 중 적어도 하나에 기초하여 부정 감정 인자에 대응하는 적어도 하나의 공감 표정을 포함할 수 있다.
예를 들어, 부정 감정 인자가 화남(Angry)에 해당하는 경우, 표정 기준 정보(700)는 화난(Angry) 감정인자의 연관도가 0.5 이상 0.8 미만인 경우에는 Sad에 해당하는 공감 표정을 설정하여 저장할 수 있다. 또한, 표정 기준 정보(700)는 화난(Angry) 감정인자의 연관도의 변화 정도가 0.5 이상인 경우에는 놀람(Surprise)에 해당하는 공감 표정을 설정하여 저장할 수 있다.
도 7에 나타나 있는 정보들은 예시에 불과할 뿐이므로, 설정에 따라 다양하게 나타날 수 있다. 즉, 표정 기준 정보(700)는 부정 감정 인자 각각에 대응하는 적어도 하나의 공감 표정을 설정하여 포함할 수 있다. 또한, 공감 표정은 사용자의 공감을 유발할 수 있는 표정에 해당하며, 슬픈 표정, 놀란 표정, 두려운 표정 및 혐오스러운 표정 등을 포함할 수 있다.
또한, 표정 기준 정보(700)는, 부정 감정 인자에 대응하는 사용자의 얼굴 표정과 동일한 표정을 공감 표정으로 설정하여 포함할 수 있으며, 부정 감정 인자에 대응하는 사용자의 얼굴 표정과 반대되는 긍정적인 감정을 나타내는 표정을 공감 표정으로 설정하여 포함할 수도 있다.
또한, 표정 기준 정보(700)는, 공감 표정을 지속적으로 갱신하여 포함할 수도 있다. 예를 들어, 제어부(160)는 표정 기준 정보(700)에 기초하여 공감 표정으로 아바타의 얼굴 표정 정보를 갱신한 이후 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하도록 감지부(110)를 제어할 수 있으며, 사용자의 생체신호 및 사용자의 행동 중 적어도 하나에 기초하여 사용자의 감정 정보를 획득하고, 획득된 감정 상태 정보가 나타내는 감정이 공감 표정으로 아바타의 얼굴 표정 정보를 갱신하기 이전의 감정에 비해 긍정적으로 변하였는지 여부를 판단할 수 있다.
이 때, 제어부(160)는, 획득된 감정 상태 정보가 나타내는 감정이 공감 표정으로 아바타의 얼굴 표정 정보를 갱신하기 이전의 감정에 비해 긍정적으로 변한 경우, 설정된 공감 표정이 유지되도록 표정 기준 정보(700)를 갱신하지 않을 수 있다.
이와 반대로, 제어부(160)는, 획득된 감정 상태 정보가 나타내는 감정이 공감 표정으로 아바타의 얼굴 표정 정보를 갱신하기 이전의 감정에 비해 부정적으로 변한 경우, 설정된 공감 표정을 보다 공감을 유발할 수 있는 표정으로 갱신하도록 표정 기준 정보(700)를 갱신할 수 있다. 즉, 제어부(160)는 아바타의 얼굴 표정 정보의 갱신 전후의 사용자의 감정을 비교하여 지속적으로 공감 표정을 갱신할 수 있다.
제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가하였는지 여부를 판단할 수 있다.
또한, 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 현재 감정 정보가 나태는 부정 감정 인자의 종류, 연관도 및 변화 정도를 판단하고, 표정 기준 정보(700)에 기초하여 대응되는 공감 표정을 결정하여 아바타의 얼굴 표정 정보를 갱신할 수 있다.
도 8a는 일 실시예에 따른 긍정적인 감정 상태에 대응하는 아바타를 나타내는 도면이고, 도 8b는 일 실시예에 따른 부정적인 감정 상태에 대응하는 아바타를 나타내는 도면이다.
도 8a 및 도 8b를 참조하면, 일 실시예에 따른 제어부(160)는 갱신된 얼굴 표정 정보에 기초하여 아바타(800)를 표시하도록 디스플레이부(150)를 제어할 수 있다.
일 실시예에 따른 아바타(800)의 얼굴 표정 정보는 아바타(800)의 얼굴 요소 각각의 위치 정보 및 각도 정보를 포함할 수 있다.
제어부(160)는 이전 감정 정보 및 현재 감정 정보를 비교하여 얼굴 표정 정보에 포함되는 얼굴 요소의 위치 정보 및 각도 정보를 갱신함으로써, 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
일 실시예에 따른 아바타(800)의 얼굴 요소는 눈썹, 눈, 눈꺼풀, 코, 입, 입술, 볼, 보조개 및 턱 중 적어도 하나를 포함할 수 있다.
따라서, 일 실시예에 따른 제어부(160)는 아바타(800)의 얼굴 요소 각각의 위치 정보 및 각도 정보를 갱신함으로써, 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
갱신된 얼굴 표정 정보는 갱신 방향에 따라 아바타(800)의 얼굴 표정을 긍정적인 감정 상태 또는 부정적인 감정 상태로 나타낼 수 있다.
예를 들어, 제어부(160)가 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 설정된 임계 정도 이상 증가한 것으로 판단하여, 아바타의 얼굴 표정 정보를 현재 감정 정보가 나타내는 감정과 대응되도록 갱신할 수 있다.
이 때, 제어부(160)는 현재 감정 정보가 나타내는 감정과 대응되도록 아바타(800)의 얼굴 표정 정보를 긍정적인 감정 상태인 얼굴 표정을 나타내도록 갱신할 수 있다.
구체적으로, 제어부(160)는 입의 위치 정보 및 각도 정보를 갱신하여 입의 양쪽 구석이 올라가도록 얼굴 표정 정보를 갱신할 수 있다. 또한, 제어부(160)는 보조개의 위치 정보 및 각도 정보를 갱신하여 보조개가 생기도록 얼굴 표정 정보를 갱신할 수 있다. 또한, 제어부(160)는 눈의 위치 정보 및 각도 정보를 갱신하여 눈이 웃는 형상을 나타내도록 얼굴 표정 정보를 갱신할 수 있다. 다만, 상기하는 갱신 방법에 한정하지 않으며, 긍정적인 감정 상태인 얼굴 표정을 나타낼 수 있는 갱신 방법이면 제한 없이 포함될 수 있다.
따라서, 도 8a에 도시된 바와 같이, 일 실시예에 따른 제어부(160)는 현재 감정 정보가 나타내는 감정과 대응되도록 갱신된 아바타(800)의 얼굴 표정 정보에 기초하여 아바타(800)를 표시하도록 디스플레이부(150)를 제어할 수 있다.
또한, 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 것으로 판단하여, 표준 기준 정보에 기초하여 현재 감정 정보가 나타내는 부정 감정 인자에 대응하도록 아바타의 얼굴 표정 정보를 갱신할 수 있다.
이 때, 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자와 대응되도록 아바타(800)의 얼굴 표정 정보를 공감 표정을 나타내도록 갱신할 수 있다.
구체적으로, 제어부(160)는 입의 위치 정보 및 각도 정보를 갱신하여 입의 양쪽 구석이 내려가도록 얼굴 표정 정보를 갱신할 수 있다. 또한, 제어부(160)는 보조개의 위치 정보 및 각도 정보를 갱신하여 보조개가 생기지 않도록 얼굴 표정 정보를 갱신할 수 있다. 또한, 제어부(160)는 눈의 위치 정보 및 각도 정보를 갱신하여 눈이 슬픈 형상을 나타내도록 얼굴 표정 정보를 갱신할 수 있다. 다만, 상기하는 갱신 방법에 한정하지 않으며, 공감 표정을 나타낼 수 있는 갱신 방법이면 제한 없이 포함될 수 있다.
따라서, 도 8b에 도시된 바와 같이, 일 실시예에 따른 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자와 대응하는 공감 표정으로 갱신된 아바타(800)의 얼굴 표정 정보에 기초하여 아바타(800)를 표시하도록 디스플레이부(150)를 제어할 수 있다.
따라서, 사용자는 갱신된 얼굴 표정 정보가 나타내는 얼굴 표정을 갖는 아바타(800)를 시청할 수 있다. 이를 통해, 사용자는 자신의 감정 상태를 반영하는 아바타(800)의 얼굴 표정을 시청할 수 있으며, 획일적인 얼굴 표정을 제공하는 아바타(800)와 비교하여 보다 친근하고 공감할 수 있는 아바타(800)를 제공받을 수 있다.
일 실시예에 따른 제어부(160)는 아바타(800)의 얼굴 표정 정보를 지속적으로 갱신할 수 있다. 구체적으로, 제어부(160)는 지속적으로 사용자의 감정 정보를 획득할 수 있으며, 이에 기초하여 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
이 때, 일 실시예에 따른 제어부(160)는 사용자 단위 기능에 맞추어 아바타(800)의 얼굴 표정 정보 갱신을 지속할 수 있다. 즉, 제어부(160)는 사용자가 수행하는 사용자 단위 기능에 기초하여 사용자 단위 기능이 유지되는 동안에 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
제어부(160)는 사용자 단위 기능이 종료되는 경우, 아바타(800)의 얼굴 표정 정보를 초기화하여 얼굴 표정 정보가 나타내는 아바타(800)의 얼굴 표정이 초기 설정된 얼굴 표정이 되도록 제어할 수 있다.
구체적으로, 제어부(160)는 감지부(110)를 통하여 감지된 차량 주행 정보 및 내부 정황 정보 중 적어도 하나에 기초하여 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단할 수 있으며, 사용자 단위 기능이 종료된 경우 아바타(800)의 얼굴 표정 정보를 초기화할 수 있다.
사용자 단위 기능은, 차량(100)의 주행 기능, 차량(100)의 가속 기능, 차량(100)의 감속 기능, 차량(100)의 조향 기능을 포함할 수 있다. 또한, 사용자 단위 기능은, 차량(100) 내 멀티미디어 재생 기능, 사용자의 통화 및 사용자의 대화를 포함할 수 있다.
즉, 사용자 단위 기능은, 차량(100)의 기능과 관련되는 차량(100)의 주행 기능, 차량(100)의 가속 기능, 차량(100)의 감속 기능, 차량(100)의 조향 기능 및 차량(100) 내 멀티미디어 재생 기능을 포함할 수 있다.
또한, 사용자 단위 기능은, 사용자의 발화와 관련되는 사용자의 통화 및 사용자와 동승자 간의 대화를 포함할 수 있다.
또한, 사용자 단위 기능은, 아바타의 발화와 관련되는 아바타의 특정 내용에 대한 발화 및 아바타의 특정 질의응답에 대한 발화를 포함할 수 있다. 즉, 디스플레이부(150)를 통하여 표시되는 아바타는 차량(100) 내 마련되는 스피커(미도시)를 통하여 특정 내용에 대한 발화 및 특정 질의응답에 대한 발화를 출력할 수 있다. 즉, 제어부(160)는 아바타의 발화를 출력하도록 스피커(미도시)를 제어할 수 있다.
제어부(160)는 사용자가 수행하는 사용자 단위 기능 별 아바타(800)의 얼굴 표정 정보를 갱신함으로써, 차량(100) 및 사용자의 정황을 사용자 단위 기능 별로 반영할 수 있으며, 이를 통해, 차량(100)의 사용자는 획일적인 얼굴 표정을 제공하는 아바타와 비교하여 보다 친근하고 공감할 수 있는 아바타(800)를 제공받을 수 있다.
이하, 일 실시예에 따른 차량(100)의 제어 방법을 설명하기로 한다. 후술하는 차량(100)의 제어 방법에는 전술한 실시예에 따른 차량(100)이 적용될 수 있다. 따라서, 앞서 도 1 내지 도 8을 참조하여 설명한 내용은 특별한 언급이 없더라도 일 실시예에 따른 차량(100)의 제어 방법에도 동일하게 적용 가능하다.
도 9는 일 실시예에 따른 차량(100)의 제어 방법에 있어서, 사용자의 감정 정보에 기초하여 아바타(800)의 얼굴 표정 정보를 갱신하는 경우에 관한 순서도이다.
일 실시예에 따른 차량(100)은 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지할 수 있다(910). 구체적으로, 일 실시예에 따른 제어부(160)는 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하도록 감지부(110)를 제어할 수 있다.
일 실시예에 따른 감지부(110)는 사용자의 생체신호 및 사용자의 행동을 감지할 수 있다.
사용자의 생체신호는 사용자의 얼굴 표정, 피부 반응, 심장 박동수, 뇌파, 얼굴 표정 상태, 음성 상태 및 눈동자의 위치 중 적어도 하나를 포함할 수 있다.
사용자의 생체신호를 감지하기 위하여 일 실시예에 따른 감지부(110)는 적어도 하나의 센서를 포함한다. 감지부(110)는 적어도 하나의 센서를 이용하여 사용자의 생체신호를 감지 및 측정하고, 측정된 결과를 제어부(160)에 송신할 수 있다. 따라서, 감지부(110)는 사용자의 생체신호를 감지하고 취득하기 위해 다양한 센서를 포함할 수 있다.
사용자의 행동은, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 대한 가격 또는 두드림을 포함할 수 있다.
사용자의 행동을 감지하기 위하여 일 실시예에 따른 감지부(110)는 적어도 하나의 센서를 포함한다. 감지부(110)는 적어도 하나의 센서를 이용하여 사용자의 행동을 감지 및 측정하고, 측정된 결과를 제어부(160)에 송신할 수 있다. 따라서, 감지부(110)는 사용자의 행동을 감지하고 취득하기 위해 다양한 센서를 포함할 수 있다.
구체적으로, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 마련되는 압력 센서, 스티어링휠(170), 센터 콘솔(180) 및 암 레스트(190) 중 적어도 하나에 마련되는 음파 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 차량(100)은 사용자의 생체신호 및 사용자의 행동에 기초하여 사용자의 현재 감정 정보를 획득할 수 있다(920). 구체적으로, 차량(100)의 제어부(160)는 감지부(110)를 통하여 감지된 사용자의 생체신호 및 사용자의 행동에 기초하여 사용자의 현재 감정 정보를 획득할 수 있다.
구체적으로, 일 실시예에 따른 제어부(160)는 감지부(110)가 감지한 사용자의 생체신호 및 저장부(140)에 저장되어 있는 사용자의 생체신호와 감정인자 간 상관관계 정보(300)를 이용하여 사용자의 현재 감정 정보를 획득할 수 있다.
또한, 일 실시예에 따른 제어부(160)는 감지부(110)가 감지한 사용자의 행동 및 저장부(140)에 저장되어 있는 사용자의 행동과 감정인자 간 상관관계 정보를 이용하여 사용자의 현재 감정 정보를 획득할 수 있다.
일 실시예에 따른 제어부(160)는 획득된 현재 감정 정보를 저장부(140)에 저장된 이전 감정 정보와 비교하여 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
구체적으로, 일 실시예에 따른 차량(100)은 현재 감정이 이전 감정에 비해 긍정적으로 변화한 경우(930의 예) 현재 감정 정보에 대응되는 표정으로 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다(940).
제어부(160)는 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 아바타(800)의 얼굴 표정 정보를 현재 감정 정보가 나타내는 감정과 대응되도록 갱신할 수 있다.
즉, 제어부(160)는 아바타(800)의 얼굴 표정 정보가 현재 감정 정보가 나타내는 감정 상태와 동일하거나 유사한 표정을 나타낼 수 있도록 얼굴 표정 정보를 갱신할 수 있다.
또한, 일 실시예에 따른 차량(100)은 현재 감정이 이전 감정에 비해 긍정적으로 변화하지 않은 경우(930의 아니오) 표준 기준 정보(700)에 기초하여 공감 표정으로 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다(950).
구체적으로, 제어부(160)는 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 표준 기준 정보(700)에 기초하여 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
즉, 제어부(160)는 부정 감정 인자와 사용자의 공감을 유도하는 아바타(800)의 공감 표정과의 관계를 나타내는 표정 기준 정보(700)에 기초하여 아바타(800)의 얼굴 표정 정보가 사용자의 공감을 유도하는 공감 표정을 나타낼 수 있도록 얼굴 표정 정보를 갱신할 수 있다.
일 실시예에 따른 차량(100)은 갱신된 얼굴 표정 정보에 기초하여 아바타(800)를 표시할 수 있다(970). 구체적으로, 일 실시예에 따른 제어부(160)는 갱신된 얼굴 표정 정보에 기초하여 아바타(800)를 표시하도록 디스플레이부(150)를 제어할 수 있다.
일 실시예에 따른 디스플레이부(150)는 제어부(160)의 제어에 기초하여 갱신된 얼굴 표정 정보가 나타내는 얼굴 표정을 갖는 아바타(800)를 화면 상에 표시할 수 있다.
일 실시예에 따른 차량(100)은 사용자가 수행하는 사용자 단위 기능이 종료되는 경우(970), 얼굴 표정 정보를 초기화할 수 있다(980).
일 실시예에 따른 제어부(160)는 아바타(800)의 얼굴 표정 정보를 지속적으로 갱신할 수 있다. 구체적으로, 제어부(160)는 지속적으로 사용자의 감정 정보를 획득할 수 있으며, 이에 기초하여 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
이 때, 일 실시예에 따른 제어부(160)는 사용자 단위 기능에 맞추어 아바타(800)의 얼굴 표정 정보 갱신을 지속할 수 있다. 즉, 제어부(160)는 사용자가 수행하는 사용자 단위 기능에 기초하여 사용자 단위 기능이 유지되는 동안에 아바타(800)의 얼굴 표정 정보를 갱신할 수 있다.
제어부(160)는 사용자 단위 기능이 종료되는 경우, 아바타(800)의 얼굴 표정 정보를 초기화하여 얼굴 표정 정보가 나타내는 아바타(800)의 얼굴 표정이 초기 설정된 얼굴 표정이 되도록 제어할 수 있다.
구체적으로, 제어부(160)는 감지부(110)를 통하여 감지된 차량 주행 정보 및 내부 정황 정보 중 적어도 하나에 기초하여 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단할 수 있으며, 사용자 단위 기능이 종료된 경우 아바타(800)의 얼굴 표정 정보를 초기화할 수 있다.
사용자 단위 기능은, 차량(100)의 주행 기능, 차량(100)의 가속 기능, 차량(100)의 감속 기능, 차량(100)의 조향 기능을 포함할 수 있다. 또한, 사용자 단위 기능은, 차량(100) 내 멀티미디어 재생 기능, 사용자의 통화 및 사용자의 대화를 포함할 수 있다.
즉, 제어부(160)는 사용자가 수행하는 사용자 단위 기능 별 아바타(800)의 얼굴 표정 정보를 갱신함으로써, 차량(100) 및 사용자의 정황을 사용자 단위 기능 별로 반영할 수 있으며, 이를 통해, 차량(100)의 사용자는 획일적인 얼굴 표정을 제공하는 아바타와 비교하여 보다 친근하고 공감할 수 있는 아바타(800)를 제공받을 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 차량
110: 감지부
120: 입력부
130: 통신부
140: 저장부
150: 디스플레이부
160: 제어부

Claims (20)

  1. 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하는 감지부;
    상기 사용자의 이전 감정 정보 및 아바타(Avatar)의 얼굴 표정 정보가 저장되어 있는 저장부;
    상기 사용자의 상태 및 상기 사용자의 행동 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태를 나타내는 현재 감정 정보를 획득하고, 상기 이전 감정 정보 및 상기 현재 감정 정보를 비교하여 상기 얼굴 표정 정보를 갱신하는 제어부; 및
    갱신된 얼굴 표정 정보에 기초하여 상기 아바타를 표시하는 디스플레이부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 얼굴 표정 정보는,
    상기 아바타의 얼굴 요소의 위치 정보 및 각도 정보를 포함하고,
    상기 얼굴 요소는,
    상기 아바타의 눈썹, 눈, 눈꺼풀, 코, 입, 입술, 볼, 보조개 및 턱 중 적어도 하나를 포함하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 상기 아바타의 얼굴 표정 정보를 상기 현재 감정 정보가 나타내는 감정과 대응되도록 갱신하는 차량.
  4. 제2항에 있어서,
    상기 저장부는,
    부정 감정 인자와 사용자의 공감을 유도하는 상기 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보를 저장하고,
    상기 제어부는,
    상기 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 상기 표정 기준 정보에 기초하여 상기 아바타의 얼굴 표정 정보를 갱신하는 차량.
  5. 제4항에 있어서,
    상기 표정 기준 정보는,
    부정 감정 인자의 연관도 및 부정 감정 인자의 변화 정도 중 적어도 하나에 기초하여 상기 부정 감정 인자에 대응하는 적어도 하나의 공감 표정을 포함하는 차량.
  6. 제1항에 있어서,
    상기 감지부는,
    차량 주행 정보 및 내부 정황 정보 중 적어도 하나를 수집하고,
    상기 제어부는,
    상기 차량 주행 정보 및 상기 내부 정황 정보 중 적어도 하나에 기초하여, 상기 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단하고, 상기 사용자 단위 기능이 종료된 경우 상기 아바타의 얼굴 표정 정보를 초기화하는 차량.
  7. 제6항에 있어서,
    상기 사용자 단위 기능은,
    상기 차량의 주행 기능, 상기 차량의 가속 기능, 상기 차량의 감속 기능, 상기 차량의 조향 기능, 상기 차량의 멀티미디어 재생 기능, 상기 사용자의 통화, 상기 사용자의 대화 및 상기 아바타의 발화 중 적어도 하나를 포함하는 차량.
  8. 제1항에 있어서,
    상기 저장부는,
    상기 사용자의 생체신호와 감정인자 간 상관관계 정보를 저장하고,
    상기 제어부는,
    상기 사용자의 생체신호와 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득하는 차량.
  9. 제1항에 있어서,
    상기 사용자의 행동은,
    스티어링휠, 센터 콘솔 및 암 레스트(arm rest) 중 적어도 하나에 대한 가격 또는 두드림을 포함하고,
    상기 감지부는,
    상기 스티어링휠, 상기 센터 콘솔 및 상기 암 레스트 중 적어도 하나에 마련되는 압력 센서 또는 음파 센서를 포함하고, 상기 압력 센서 및 상기 음파 센서 중 적어도 하나의 출력에 기초하여 상기 사용자의 행동을 감지하는 차량.
  10. 제9항에 있어서,
    상기 저장부는,
    상기 사용자의 행동과 감정인자 간 상관관계 정보를 저장하고,
    상기 제어부는,
    상기 사용자의 행동과 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득하는 차량.
  11. 사용자의 생체신호 및 사용자의 행동 중 적어도 하나를 감지하고;
    상기 사용자의 상태 및 상기 사용자의 행동 중 적어도 하나에 기초하여 상기 사용자의 현재 감정 상태를 나타내는 현재 감정 정보를 획득하고;
    저장된 이전 감정 정보 및 상기 현재 감정 정보를 비교하여 저장된 아바타(Avatar)의 얼굴 표정 정보를 갱신하고;
    갱신된 얼굴 표정 정보에 기초하여 상기 아바타를 표시하는 것;을 포함하는 차량의 제어방법.
  12. 제11항에 있어서,
    상기 얼굴 표정 정보는,
    상기 아바타의 얼굴 요소의 위치 정보 및 각도 정보를 포함하고,
    상기 얼굴 요소는,
    상기 아바타의 눈썹, 눈, 눈꺼풀, 코, 입, 입술, 볼, 보조개 및 턱 중 적어도 하나를 포함하는 차량의 제어방법.
  13. 제12항에 있어서,
    상기 얼굴 표정 정보를 갱신하는 것은,
    상기 현재 감정 정보가 나타내는 긍정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 긍정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 상기 아바타의 얼굴 표정 정보를 상기 현재 감정 정보가 나타내는 감정과 대응되도록 갱신하는 것;을 포함하는 차량의 제어방법.
  14. 제12항에 있어서,
    상기 얼굴 표정 정보를 갱신하는 것은,
    상기 현재 감정 정보가 나타내는 부정 감정 인자의 연관도가 상기 이전 감정 정보가 나타내는 부정 감정 인자의 연관도에 비해 임계 정도 이상 증가한 경우, 부정 감정 인자와 사용자의 공감을 유도하는 상기 아바타의 공감 표정과의 관계를 나타내는 표정 기준 정보에 기초하여 상기 아바타의 얼굴 표정 정보를 갱신하는 것;을 포함하는 차량의 제어방법.
  15. 제14항에 있어서,
    상기 표정 기준 정보는,
    부정 감정 인자의 연관도 및 부정 감정 인자의 변화 정도 중 적어도 하나에 기초하여 상기 부정 감정 인자에 대응하는 적어도 하나의 공감 표정을 포함하는 차량의 제어방법.
  16. 제11항에 있어서,
    차량 주행 정보 및 내부 정황 정보 중 적어도 하나를 수집하고;
    상기 차량 주행 정보 및 상기 내부 정황 정보 중 적어도 하나에 기초하여, 상기 사용자가 수행하는 사용자 단위 기능이 종료되었는지 여부를 판단하고;
    상기 사용자 단위 기능이 종료된 경우 상기 아바타의 얼굴 표정 정보를 초기화하는 것;을 더 포함하는 차량의 제어방법.
  17. 제16항에 있어서,
    상기 사용자 단위 기능은,
    상기 차량의 주행 기능, 상기 차량의 가속 기능, 상기 차량의 감속 기능, 상기 차량의 조향 기능, 상기 차량의 멀티미디어 재생 기능, 상기 사용자의 통화, 상기 사용자의 대화 및 상기 아바타의 발화 중 적어도 하나를 포함하는 차량의 제어방법.
  18. 제11항에 있어서,
    상기 현재 감정 정보를 획득하는 것은,
    저장된 사용자의 생체신호와 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득하는 것;을 포함하는 차량의 제어방법.
  19. 제11항에 있어서,
    상기 사용자의 행동을 감지하는 것은,
    압력 센서 및 음파 센서 중 적어도 하나의 출력에 기초하여 상기 사용자의 행동을 감지하는 것;을 포함하고,
    상기 압력 센서 및 음파 센서 중 적어도 하나는 스티어링휠, 센터 콘솔 및 암 레스트(arm rest) 중 적어도 하나에 마련되고,
    상기 사용자의 행동은,
    상기 스티어링휠, 상기 센터 콘솔 및 상기 암 레스트 중 적어도 하나에 대한 가격 또는 두드림을 포함하는 차량의 제어방법.
  20. 제19항에 있어서,
    상기 현재 감정 정보를 획득하는 것은,
    저장된 사용자의 행동과 감정인자 간 상관관계 정보에 기초하여 상기 사용자의 현재 감정 정보를 획득하는 것;을 포함하는 차량의 제어방법.
KR1020180108088A 2018-09-11 2018-09-11 차량 및 차량의 제어방법 KR20200029716A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180108088A KR20200029716A (ko) 2018-09-11 2018-09-11 차량 및 차량의 제어방법
US16/213,459 US20200082590A1 (en) 2018-09-11 2018-12-07 Vehicle and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180108088A KR20200029716A (ko) 2018-09-11 2018-09-11 차량 및 차량의 제어방법

Publications (1)

Publication Number Publication Date
KR20200029716A true KR20200029716A (ko) 2020-03-19

Family

ID=69719875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180108088A KR20200029716A (ko) 2018-09-11 2018-09-11 차량 및 차량의 제어방법

Country Status (2)

Country Link
US (1) US20200082590A1 (ko)
KR (1) KR20200029716A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230112390A (ko) * 2022-01-20 2023-07-27 주식회사 유비온 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200275875A1 (en) * 2019-02-28 2020-09-03 Social Health Innovations, Inc. Method for deriving and storing emotional conditions of humans
KR20220014579A (ko) * 2020-07-29 2022-02-07 현대자동차주식회사 개인별 감정 인식 기반 차량 서비스 제공 장치 및 그의 차량 서비스 제공 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359688B2 (en) * 2004-04-23 2008-04-15 Samsung Electronics Co., Ltd. Device and method for displaying a status of a portable terminal by using a character image
US20080215974A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
US10956758B2 (en) * 2016-06-13 2021-03-23 Xevo Inc. Method and system for providing auto space management using virtuous cycle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230112390A (ko) * 2022-01-20 2023-07-27 주식회사 유비온 메타버스 공간에서 사용자의 감정에 근거한 인터렉션 처리수행을 위한 서비스 운영서버 및 동작방법

Also Published As

Publication number Publication date
US20200082590A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
US10733992B2 (en) Communication device, communication robot and computer-readable storage medium
US11402909B2 (en) Brain computer interface for augmented reality
US11561616B2 (en) Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
CN110968189B (zh) 作为认知控制信号的瞳孔调制
US20160210407A1 (en) Method and device for processing content based on bio-signals
US20160103487A1 (en) Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
US20190351912A1 (en) System for determining driver's emotion in vehicle and control method thereof
KR20200029716A (ko) 차량 및 차량의 제어방법
EP3882097A1 (en) Techniques for separating driving emotion from media induced emotion in a driver monitoring system
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109189225A (zh) 显示界面调整方法、装置、穿戴式设备及存储介质
US11260879B2 (en) Vehicle and method for controlling the same
CN113491519A (zh) 基于情感-认知负荷的数字助理
CN109145847A (zh) 识别方法、装置、穿戴式设备及存储介质
US11420642B2 (en) Vehicle and method of controlling the same
JP4253918B2 (ja) エージェント装置
KR20240013829A (ko) 콘텐츠 표시순위 결정 장치, 콘텐츠 표시순위 결정 장치의 제어방법 및 콘텐츠 표시순위 결정 장치를 포함한 차량
KR20200029663A (ko) 감정 인식 장치 및 그 제어방법
US11147488B2 (en) Electronic device and controlling method thereof
US20190278365A1 (en) Control apparatus and process
US10915768B2 (en) Vehicle and method of controlling the same
Prabhakar et al. A wearable virtual touch system for IVIS in cars
Matthies Reflexive interaction-extending peripheral interaction by augmenting humans
US20240033175A1 (en) Method for minimising motion sickness for head-mountable extended reality
US11995235B2 (en) Human interface system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application