KR20200057810A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20200057810A
KR20200057810A KR1020180138608A KR20180138608A KR20200057810A KR 20200057810 A KR20200057810 A KR 20200057810A KR 1020180138608 A KR1020180138608 A KR 1020180138608A KR 20180138608 A KR20180138608 A KR 20180138608A KR 20200057810 A KR20200057810 A KR 20200057810A
Authority
KR
South Korea
Prior art keywords
content
emotion
information
determined content
occupant
Prior art date
Application number
KR1020180138608A
Other languages
English (en)
Inventor
한지민
윤석영
이지아
김계윤
우승현
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180138608A priority Critical patent/KR20200057810A/ko
Priority to US16/561,326 priority patent/US10915768B2/en
Publication of KR20200057810A publication Critical patent/KR20200057810A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B60K2370/11—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/12—Avionics applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

탑승자의 감정 및 정황을 판단하고, 판단된 감정 및 정황에 기초하여 탑승자의 흥미를 유발할 수 있는 콘텐츠를 제공하는 차량 및 그 제어 방법을 제공한다.
일 실시예에 따른 차량은, 디스플레이 및 스피커를 포함하는 사용자 인터페이스; 탑승자의 영상을 촬영하는 촬영부; 상기 탑승자의 생체신호를 측정하는 센싱부; 및 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 탑승자의 감정을 나타내는 감정 정보를 획득하고, 상기 감정 정보에 대응하는 콘텐츠를 결정하고, 상기 결정된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하고, 상기 결정된 콘텐츠가 출력된 이후 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 탑승자의 정황을 나타내는 정황 정보를 획득하고, 상기 정황 정보에 기초하여 상기 결정된 콘텐츠를 변형하고, 상기 변형된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}
개시된 발명은 탑승자의 감정 및 정황에 기초하여 탑승자의 흥미를 유발할 수 있는 콘텐츠를 제공하는 차량 및 그 제어방법에 관한 것이다.
일반적으로, 유아용 콘텐츠는 일방적인 콘텐츠 재생으로 제공된다. 이에 따라, 유아용 콘텐츠를 시청하는 유아는 자신의 의지와 무관하게 제공되는 콘텐츠를 시청하는 상황에 놓일 수 있으며, 제공되는 콘텐츠에 집중하지 못할 수 있다.
유아용 콘텐츠를 시청하는 유아는 자신의 의지에 따라 콘텐츠를 변경 또는 변형하기 어려울 수 있으며, 이에 따라 보호자에 해당하는 차량 운전자에 도움을 요청할 수 있다. 다만, 보호자에 해당하는 차량 운전자는 차량 운전 중 유아에 도움을 제공하지 못할 수 있으며, 유아에 도움을 제공하는 상황에서는 오히려 차량 사고 발생 확률이 높아질 수 있다.
탑승자의 감정 및 정황을 판단하고, 판단된 감정 및 정황에 기초하여 탑승자의 흥미를 유발할 수 있는 콘텐츠를 제공하는 차량 및 그 제어 방법을 제공한다.
일 실시예에 따른 차량은, 디스플레이 및 스피커를 포함하는 사용자 인터페이스; 탑승자의 영상을 촬영하는 촬영부; 및 상기 영상에 기초하여 상기 탑승자의 감정을 나타내는 감정 정보를 획득하고, 상기 감정 정보에 대응하는 콘텐츠를 결정하고, 상기 결정된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하고, 상기 결정된 콘텐츠가 출력된 이후 상기 영상에 기초하여 상기 탑승자의 정황을 나타내는 정황 정보를 획득하고, 상기 정황 정보에 기초하여 상기 결정된 콘텐츠를 변형하고, 상기 변형된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하는 제어부;를 포함한다.
상기 차량은, 상기 탑승자의 생체신호를 측정하는 센싱부;를 더 포함하고, 상기 제어부는, 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 감정 정보를 획득하고, 상기 결정된 콘텐츠가 출력된 이후 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득할 수 있다.
상기 제어부는, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하고, 상기 정황 정보가 나타내는 정황이 미리 설정된 정황에 해당하면 상기 결정된 콘텐츠를 변형할 수 있다.
상기 미리 설정된 정황은, 상기 감정 정보가 나타내는 상기 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 상기 탑승자가 울음 소리를 발화하는 정황, 상기 탑승자가 보호 요청 단어를 발화하는 정황 및 상기 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 재생 속도, 재생 음악, 재생 구간, 출력 크기, 캐릭터의 움직임, 캐릭터의 형태, 캐릭터의 색상, 캐릭터의 얼굴 및 캐릭터의 목소리 중 적어도 하나를 변형하여 상기 결정된 콘텐츠를 변형할 수 있다.
상기 제어부는, 상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이하로 유발되는 재생 구간을 결정하고, 상기 재생 구간의 재생 속도가 증가하도록 상기 결정된 콘텐츠를 변형할 수 있다.
상기 제어부는, 상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간을 결정할 수 있다.
상기 제어부는, 상기 재생 구간에서의 재생 음악 또는 재생 영상이 반복적으로 재생되도록 상기 결정된 콘텐츠를 변형할 수 있다.
상기 제어부는, 상기 재생 구간에서의 재생 음악의 출력 크기가 증가되도록 상기 결정된 콘텐츠를 변형하거나 또는 상기 재생 구간에서의 재생 영상의 영상 크기가 증가되도록 상기 결정된 콘텐츠를 변형할 수 있다.
상기 제어부는, 상기 재생 구간에서의 캐릭터의 움직임, 캐릭터의 형태 또는 캐릭터의 색상이 현재 재생 구간의 캐릭터에 반영되도록 상기 결정된 콘텐츠를 변형할 수 있다.
상기 제어부는, 상기 캐릭터의 얼굴이 상기 탑승자의 얼굴 또는 보호자의 얼굴로 변형되거나 상기 캐릭터의 목소리가 상기 탑승자의 목소리 또는 상기 보호자의 목소리로 변형되도록 상기 결정된 콘텐츠를 변형할 수 있다.
상기 제어부는, 상기 영상 및 상기 생체신호 중 적어도 하나를 연령별 신체 정보와 비교하여 상기 탑승자의 연령을 판단할 수 있다.
상기 제어부는, 상기 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정하고, 상기 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 상기 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
상기 제어부는, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득하고, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 상기 결정된 콘텐츠의 출력 이전의 감정 정보를 비교하여 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 갱신할 수 있다.
상기 제어부는, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 증가시킬 수 있다.
상기 제어부는, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 감소시킬 수 있다.
상기 제어부는, 상기 결정된 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도가 상기 연령 대응 콘텐츠 그룹에 포함되는 다른 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 상기 다른 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
디스플레이 및 스피커를 포함하는 사용자 인터페이스를 포함하는 일 실시예에 따른 차량의 제어방법은, 탑승자의 영상을 촬영하고; 상기 영상에 기초하여 상기 탑승자의 감정을 나타내는 감정 정보를 획득하고; 상기 결정된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하고; 상기 결정된 콘텐츠가 출력된 이후 상기 영상에 기초하여 상기 탑승자의 정황을 나타내는 정황 정보를 획득하고; 상기 정황 정보에 기초하여 상기 결정된 콘텐츠를 변형하고; 상기 변형된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하는 것;을 포함한다.
상기 차량의 제어방법은, 상기 탑승자의 생체신호를 측정하고; 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 감정 정보를 획득하고; 상기 결정된 콘텐츠가 출력된 이후 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하는 것;을 더 포함할 수 있다.
상기 결정된 콘텐츠를 변경하는 것은, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 측정된 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하고; 상기 정황 정보가 나타내는 정황이 미리 설정된 정황에 해당하면 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 미리 설정된 정황은, 상기 감정 정보가 나타내는 상기 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 상기 탑승자가 울음 소리를 발화하는 정황, 상기 탑승자가 보호 요청 단어를 발화하는 정황 및 상기 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 재생 속도, 재생 음악, 재생 구간, 출력 크기, 캐릭터의 움직임, 캐릭터의 형태, 캐릭터의 색상, 캐릭터의 얼굴 및 캐릭터의 목소리 중 적어도 하나를 변형하여 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이하로 유발되는 재생 구간을 결정하고; 상기 재생 구간의 재생 속도가 증가하도록 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간을 결정하는 것;을 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 상기 재생 구간에서의 재생 음악 또는 재생 영상이 반복적으로 재생되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 상기 재생 구간에서의 재생 음악의 출력 크기가 증가되도록 상기 결정된 콘텐츠를 변형하거나 또는 상기 재생 구간에서의 재생 영상의 영상 크기가 증가되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 상기 재생 구간에서의 캐릭터의 움직임, 캐릭터의 형태 또는 캐릭터의 색상이 현재 재생 구간의 캐릭터에 반영되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 결정된 콘텐츠를 변형하는 것은, 상기 캐릭터의 얼굴이 상기 탑승자의 얼굴 또는 보호자의 얼굴로 변형되거나 상기 캐릭터의 목소리가 상기 탑승자의 목소리 또는 상기 보호자의 목소리로 변형되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함할 수 있다.
상기 차량의 제어방법은, 상기 영상 및 상기 생체신호 중 적어도 하나를 연령별 신체 정보와 비교하여 상기 탑승자의 연령을 판단하는 것;을 더 포함할 수 있다.
상기 감정 정보에 대응하는 콘텐츠를 결정하는 것은, 상기 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정하고; 상기 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 상기 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정하는 것;을 포함할 수 있다.
상기 차량의 제어방법은, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득하고; 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 상기 결정된 콘텐츠의 출력 이전의 감정 정보를 비교하여 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 갱신하는 것;을 더 포함할 수 있다.
상기 연관도를 갱신하는 것은, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 증가시키는 것;을 포함할 수 있다.
상기 연관도를 갱신하는 것은, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 감소시키는 것;을 포함할 수 있다.
상기 차량의 제어방법은, 상기 결정된 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도가 상기 연령 대응 콘텐츠 그룹에 포함되는 다른 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 상기 다른 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정하는 것;을 더 포함할 수 있다.
일 측면에 따른 차량 및 그 제어방법에 따르면, 탑승자의 감정 및 정황을 판단하고, 판단된 감정 및 정황에 기초하여 탑승자에게 적응적으로 콘텐츠를 제공하여 탑승자의 흥미 및 만족감을 유발하고, 탑승자가 콘텐츠에 집중할 수 있도록 한다.
도 1은 일 실시예에 따른 차량의 내부를 나타내는 도면이다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 일 실시예에 따른 연령별 신체 정보를 나타내는 도면이다.
도 4는 일 실시예에 따른 생체신호와 감정인자 간의 상관관계 정보를 나타내는 도면이다.
도 5는 일 실시예에 따른 얼굴 표정과 감정인자 간의 상관관계 정보를 나타내는 도면이다.
도 6은 일 실시예에 따른 감정 모델을 나타내는 도면이다.
도 7은 일 실시예에 따른 콘텐츠 기준 정보를 나타내는 도면이다.
도 8은 일 실시예에 따른 결정된 콘텐츠의 출력을 나타내는 도면이다.
도 9는 일 실시예에 따른 정황 기준 정보를 나타내는 도면이다.
도 10은 일 실시예에 따른 결정된 콘텐츠의 변형을 나타내는 도면이다.
도 11은 일 실시예에 따른 차량의 제어방법에 있어서, 결정된 콘텐츠를 변형하는 경우에 관한 순서도이다.
도 12는 일 실시예에 따른 차량의 제어방법에 있어서, 콘텐츠 기준 정보를 갱신하는 경우에 관한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array) / ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량(10)의 내부를 나타내는 도면이고, 도 2는 일 실시예에 따른 차량(10)의 제어 블록도이다.
도1을 참조하면, 일 실시예에 따른 차량(10)의 내부에는 차량(10)의 운전자가 착석할 수 있는 운전석(11) 및 차량(10)의 탑승자가 착석할 수 있는 보조석(12)이 마련될 수 있다.
또한, 차량(10)의 내부에는 다른 탑승자가 착석할 수 있는 뒷좌석(13)이 마련될 수 있다.
일 실시예에 따른 차량(10)의 내부에는 뒷좌석(13)에 착석한 탑승자에 콘텐츠를 제공할 수 있는 디스플레이(171) 및 스피커(172)가 마련될 수 있다. 이에 따라, 뒷좌석(13)에 착석한 탑승자는 디스플레이(171) 및 스피커(172)에서 출력되는 콘텐츠를 시청할 수 있다.
일 실시예에 따른 차량(10)의 내부에는 뒷좌석(13)에 착석한 탑승자의 영상을 촬영할 수 있는 촬영부(110)가 마련될 수 있다. 차량(10)은 촬영부(110)가 촬영한 영상에 기초하여 뒷좌석(13)에 착석한 탑승자의 연령, 감정 정보 및 정황 정보를 획득할 수 있다. 이에 관한 설명은 뒤에서 다시 자세히 설명하도록 한다.
뒷좌석(13)에 착석한 탑승자는 운전석(11)에 착석한 운전자 또는 보조석(12)에 착석한 탑승자와 관계를 갖는 유아에 해당할 수 있다. 이하에서는, 뒷좌석(13)에 착석한 유아를 탑승자로 지칭하며, 탑승자의 감정 및 정황에 기초하여 탑승자가 만족하고 집중할 수 있는 콘텐츠를 제공하는 방법에 대하여 설명한다.
다만, 후술하는 설명은 유아가 뒷좌석(13)에 착석하는 경우 외에 보조석(12)에 착석하는 경우를 제외하는 것은 아니며, 보조석(12)에 착석하는 경우를 위하여 촬영부(110), 디스플레이(171) 및 스피커(172)는 보조석(12)의 앞 단에 마련될 수 있다.
도 2를 참조하면, 일 실시예에 따른 차량(10)은 탑승자의 영상을 촬영하는 촬영부(110), 탑승자의 생체신호를 측정하는 센싱부(120), 탑승자의 영상 및 탑승자의 생체신호에 기초하여 탑승자의 연령을 판단하고, 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 감정을 나타내는 감정 정보 및 탑승자의 정황을 나타내는 정황 정보를 획득하고, 감정 정보에 대응하는 콘텐츠를 결정하고, 정황 정보에 기초하여 결정된 콘텐츠를 변형하는 제어부(130), 운전자 및 탑승자를 포함하는 차량(10)의 탑승자로부터 입력을 수신하는 입력부(140), 외부 서버와 통신을 수행하는 통신부(150), 차량(10)의 동작에 관한 정보를 저장하는 저장부(160) 및 결정된 콘텐츠 또는 변형된 콘텐츠를 출력하고, 디스플레이(171) 및 스피커(172)를 포함하는 사용자 인터페이스(170)를 포함할 수 있다.
일 실시예에 따른 촬영부(110)는 뒷좌석(13)의 앞단에 위치하여 탑승자의 영상을 촬영할 수 있다. 예를 들어, 촬영부(110)는, 도 1에 도시된 바와 같이, 보조석(12)의 뒷면에 위치할 수 있다. 다만, 이에 한정되는 것은 아니며, 촬영부(110)는, 뒤좌석(13)에 탑승한 탑승자의 영상을 촬영할 수 있는 위치이면 제한 없이 위치할 수 있으며, 그 개수에는 제한이 없다.
또한, 촬영부(110)는 탑승자의 영상을 획득하고, 영상 데이터를 생성하기 위하여, 카메라로 마련될 수 있다. 이를 통해, 촬영부(110)는 탑승자의 얼굴 표정을 촬영할 수 있으며, 촬영된 얼굴 표정에 관한 영상 데이터를 제어부(130)에 전송할 수 있다.
일 실시예에 따른 센싱부(120)는 탑승자의 생체신호를 측정할 수 있다. 측정된 탑승자의 생체신호는 제어부(130)로 전송될 수 있으며, 저장부(160)에 저장될 수 있다. 센싱부(120)는 차량(1) 내의 다양한 위치에 설치될 수 있다. 예를 들면, 센싱부(120)는 좌석(11, 12, 13) 및 안전벨트(미도시) 등에 마련될 수 있다.
센싱부(130)는 탑승자의 피부 전기 전도도를 측정하는 전기 피부 반응(GSR, Galvanic Skin Response) 센서, 탑승자의 피부 온도를 측정하는 피부 온도(Skin temperature) 센서, 탑승자의 심장 박동수를 측정하는 심장 박동(HR, Heart Rate) 센서, 탑승자의 뇌파를 측정하는 뇌파(EEG, Electroencephalogram) 센서, 탑승자의 음성 신호를 측정하는 음성 인식 센서 및 눈동자의 위치를 추적할 수 있는 아이 트랙커(Eye Tracker) 중 적어도 하나를 포함할 수 있다. 센싱부(120)에 포함될 수 있는 센서가 상기한 센서들로 한정되는 것은 아니며, 사람의 생체 신호를 측정 또는 수집할 수 있는 센서들이 제한 없이 포함될 수 있다.
일 실시예에 따른 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 감정을 나타내는 감정 정보를 획득할 수 있다. 탑승자의 감정 정보를 획득에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
일 실시예에 따른 제어부(130)는 획득된 감정 정보에 대응하는 콘텐츠를 결정할 수 있다.
구체적으로, 제어부(130)는 저장부(160)에 저장되어 있는 콘텐츠 기준 정보에 기초하여 획득된 감정 정보에 대응하는 콘텐츠를 결정할 수 있다.
콘텐츠 기준 정보는 적어도 하나의 콘텐츠 각각의 감정 별 연관도를 포함할 수 있다. 즉, 콘텐츠 기준 정보는 콘텐츠 각각이 복수의 감정 각각에 대해 얼마나 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도를 포함할 수 있다.
예를 들어, 콘텐츠 기준 정보는, 탑승자의 감정이 감정 a인 상황에서, 콘텐츠가 재생되었을 때 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도로, 콘텐츠 A가 0.84, 콘텐츠 B가 0.34, 콘텐츠 C가 0.43임을 나타내는 정보를 포함할 수 있다.
즉, 콘텐츠 기준 정보는 해당 감정에서 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도를 0과 1 사이의 값으로 포함할 수 있다.
제어부(130)는 획득된 감정 정보가 나타내는 유아인 탑승자의 감정에 기초하여 해당 감정에 대한 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
즉, 제어부(130)는 탑승자의 현재 감정에 기초하여 현재 감정에서 가장 긍정적인 감정 변화를 유발할 수 있을 것으로 판단되는 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정하고, 결정된 콘텐츠가 출력되도록 사용자 인터페이스(170)를 제어할 수 있다.
이를 통해, 유아인 탑승자는 자신의 의지로 콘텐츠를 선택할 수 없음에도 불구하고, 제어부(130)의 제어에 따라 가장 긍정적인 감정 변화를 유발할 수 있는 콘텐츠를 제공받을 수 있다.
일 실시예에 따른 제어부(130)는 감정 정보에 대응하는 콘텐츠를 결정하는 경우에 유아인 탑승자의 연령을 고려할 수 있다.
구체적으로, 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 연령을 판단할 수 있다.
이 때, 제어부(130)는 저장부(160)에 저장되어 있는 연령별 신체 정보를 이용할 수 있다.
연령별 신체 정보는 유아기의 생후 개월 수에 따른 평균적인 신체 정보를 포함할 수 있다. 예를 들어, 연령별 신체 정보는 개월 수 별 평균 신장 정보, 평균 심박수 및 평균 맥박 수 등의 신체 정보를 포함할 수 있다.
따라서, 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나를 연령별 신체 정보와 비교하여 유아인 탑승자의 연령을 판단할 수 있다.
제어부(130)는 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정할 수 있으며, 결정된 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
이 때, 콘텐츠 기준 정보는 연령대별 콘텐츠를 분류하는 연령 대응 콘텐츠 그룹에 대한 정보를 포함할 수 있다.
일 실시예에 따른 제어부(130)는 감정 정보에 대응하는 콘텐츠가 결정된 이후 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 정황을 나타내는 정황 정보를 획득할 수 있다.
구체적으로, 제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 결정된 콘텐츠의 출력 이후 일정 시간 동안 측정된 생체신호 중 적어도 하나에 기초하여 정황 정보를 획득할 수 있다.
정황 정보는 탑승자의 정황을 나타내는 정보로 탑승자가 어떤 상황에 놓여있는지를 나타내는 정보에 해당한다.
예를 들어, 탑승자의 현재 정황이 대소변을 배출하는 상태이면, 대소변 배출 상태를 나타내는 정황 정보를 획득할 수 있다.
이 때, 제어부(130)는 저장부(160)에 저장되어 있는 정황 기준 정보를 이용할 수 있다.
정황 기준 정보는 정황 별 탑승자의 영상 및 생체신호에서 나타내는 특징에 대한 정보를 포함할 수 있다. 즉, 정황 기준 정보는 특정 정황에서 탑승자의 영상 및 생체신호에서 어떤 특징이 발생하는지에 대한 정보를 포함할 수 있다.
이를 통해, 제어부(130)는 정황 기준 정보에 기초하여 탑승자의 영상 및 생체신호를 분석하고, 정황 기준 정보에 포함되는 특징에 대응하는 정황 정보를 획득할 수 있다.
일 실시예에 따른 제어부(130)는 정황 정보에 기초하여 결정된 콘텐츠를 변형할 수 있다.
구체적으로, 제어부(130)는 획득된 정황 정보가 미리 설정된 정황 정보에 해당하는 경우, 결정된 콘텐츠를 변형할 수 있다.
미리 설정된 정황 정보는 콘텐츠에 대한 탑승자의 흥미가 떨어지는 상황에 해당할 수 있으며, 차량(100)의 설계 단계에서 설정되거나 보호자에 해당하는 운전자 또는 탑승자에 의해 입력부(140)를 통하여 설정될 수 있다.
예를 들어, 미리 설정된 정황 정보는, 감정 정보가 나타내는 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 탑승자가 울음 소리를 발화하는 정황, 탑승자가 보호 요청 단어를 발화하는 정황 및 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함할 수 있다.
즉, 탑승자의 정황이 미리 설정된 정황 정보에 해당하는 경우, 제어부(130)의 제어에 따라 출력되고 있는 결정된 콘텐츠가 변형될 수 있다.
이를 통해, 유아인 탑승자는 자신의 선택에 의해 콘텐츠를 변형할 수 없는 상황에서도, 흥미를 유발하거나 만족감을 높여줄 수 있는 콘텐츠를 제공받을 수 있다. 결정된 콘텐츠를 변형에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
일 실시예에 따른 제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안에 획득된 감정 정보에 기초하여 결정된 콘텐츠와 결정된 콘테츠의 출력 이전의 감정 정보와의 연관도를 갱신할 수 있다.
구체적으로, 제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 결정된 콘텐츠의 출력 이후 일정 시간 동안 측정된 생체신호 중 적어도 하나에 기초하여 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득하고, 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 결정된 콘텐츠의 출력 이전의 감정 정보를 비교하여 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 갱신할 수 있다.
제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 증가시킬 수 있다.
제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 감소시킬 수 있다.
일 실시예에 따른 제어부(130)는 결정된 콘텐츠의 감정 정보가 나타내는 감정에 대한 연관도가 다른 콘텐츠의 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 다른 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
제어부(130)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행시키는 적어도 하나의 프로세서를 포함할 수 있다. 메모리와 프로세서가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다.
일 실시예에 따른 입력부(140)는 유아인 탑승자의 보호자에 해당할 수 있는 차량(10)의 운전자 또는 보조석(12)에 착석한 탑승자로부터 입력을 수신할 수 있다.
구체적으로, 입력부(140)는 유아인 탑승자의 보호자로부터 유아인 탑승자에게 콘텐츠 제공의 명령에 대한 입력을 수신할 수 있다. 즉, 유아인 탑승자의 보호자는 입력부(140)를 통하여 콘텐츠 제공을 명령 함으로써, 유아인 탑승자에게 콘텐츠가 제공되어 유아인 탑승자가 콘텐츠에 집중할 수 있도록 할 수 있으며, 탑승자의 보호자 자신은 운전 또는 다른 업무에 집중할 수 있다.
또한, 입력부(140)는 차량(10)의 사용자로부터 연령별 신체 정보, 생체신호와 감정인자 간의 상관관계 정보, 얼굴 표정과 감정인자 간의 상관관계 정보, 감정 모델, 콘텐츠 기준 정보 및 정황 기준 정보 등을 입력 받을 수 있다. 이 때, 차량(10)의 사용자는 보호자 또는 차량(10)의 설계자 등이 될 수 있다.
입력부(140)는 대시보드(미도시)의 중앙에 설치된 센터페시아(미도시)에 마련될 수 있으며, 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현된 것일 수 있다. 다만, 입력부(140)의 위치 및 구현 방식은 상기한 예에 한정되는 것은 아니며, 사용자의 입력을 수신할 수 있는 위치 및 구현 방식이면 제한 없이 포함될 수 있다.
일 실시예에 따른 통신부(150)는 외부 서버와 통신을 수행한다. 구체적으로, 통신부(150)는 외부 서버로부터 콘텐츠, 연령별 신체 정보, 생체신호와 감정인자 간의 상관관계 정보, 얼굴 표정과 감정인자 간의 상관관계 정보, 감정 모델, 콘텐츠 기준 정보 및 정황 기준 정보 등을 수신할 수 있다.
따라서, 통신부(150)는 외부 서버와 여러 방식을 이용하여 통신을 수행할 수 있다. RF(Radio Frequency), 와이파이(Wireless Fidelity, Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), 엔에프씨(Near Field Communication, NFC), 초광대역(Ultra-Wide Band, UWB) 통신 등 다양한 방식을 이용하여 외부 서버와 정보를 송신하고 수신할 수 있다. 외부 서버와 통신을 수행하는 방법으로 전술한 방법으로 한정되는 것은 아니고 외부 서버와 통신할 수 있는 방법이면, 어느 방식을 사용하여도 무방하다.
또한, 도 2에서는 통신부(150)가 신호를 송신하고 수신하는 단일의 구성요소로 도시하였지만, 이에 한정되는 것은 아니고 신호를 송신하는 송신부(미도시) 및 신호를 수신하는 수신부(미도시)가 별도로 존재하는 것으로 구성될 수 있다.
일 실시예에 따른 저장부(160)는 콘텐츠, 연령별 신체 정보, 생체신호와 감정인자 간의 상관관계 정보, 얼굴 표정과 감정인자 간의 상관관계 정보, 감정 모델, 콘텐츠 기준 정보 및 정황 기준 정보 등을 저장할 수 있으며, 차량(10)에 관한 각종 정보를 저장할 수 있다.
저장부(160)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
일 실시예에 따른 사용자 인터페이스(170)는 제어부(130)의 제어에 따라 결정된 콘텐츠 또는 변형된 콘텐츠를 시각적 또는 청각적으로 출력할 수 있다. 이를 통해, 유아인 탑승자는 결정된 콘텐츠 또는 변형된 콘텐츠를 제공받을 수 있다.
구체적으로, 사용자 인터페이스(170)는 결정된 콘텐츠 또는 변형된 콘텐츠를 시각적으로 출력하는 디스플레이(171)를 포함할 수 있다.
디스플레이(171)는 보조석(12)의 뒷면에 마련될 수 있으며, 패널을 포함할 수 있고, 패널은 음극선관(CRT, Cathode Ray Tube) 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 중 어느 하나일 수 있다. 다만, 디스플레이(171)가 설치되는 위치는 상술하는 예에 한정되는 것은 아니며, 뒷좌석(13)에 위치하는 유아인 탑승자에 콘텐츠를 제공할 수 있는 위치이면 제한 없이 포함될 수 있다. 예를 들어, 디스플레이(171)는 운전석(11)의 뒷면에 위치하거나, 차량(10)의 천장 또는 운전석(11) 및 보조석(12) 사이의 공간에 설치될 수도 있다.
또한, 사용자 인터페이스(170)는 결정된 콘텐츠 또는 변형된 콘텐츠를 청각적으로 출력하는 스피커(172)를 포함할 수 있으며, 스피커(172)는 차량(100)의 내부에 마련될 수 있으며, 예를 들어, 차량(10)의 도어에 마련될 수 있다. 다만, 스피커(172)의 위치는 이에 한정되는 것은 아니며, 유아인 탑승자가 콘텐츠를 청취할 수 있는 위치이면 제한 없이 포함될 수 있다.
도 3은 일 실시예에 따른 연령별 신체 정보(300)를 나타내는 도면이다.
도 3을 참조하면, 연령별 신체 정보(300)는 유아기의 생후 개월 수에 따른 평균적인 신체 정보를 포함할 수 있다. 즉, 연령별 신체 정보(300)는 개월 수 별 평균 신장 정보, 평균 심박수 및 평균 맥박 수 등의 신체 정보를 포함할 수 있다.
예를 들어, 연령별 신체 정보(300)는 생후 1개월의 연령에 해당하는 유아의 평균 신장이 55cm임을 나타내는 정보와 생후 1개월의 연령에 해당하는 유아의 평균 심박수가 1분간 162회임을 나타내는 정보를 포함할 수 있다.
도 3에 예시된 연령별 신체 정보(300)는 생후 1개월, 생후 6개월, 생후 12개월 및 생후 24개월에 해당하는 신체 정보만을 포함하는 것으로 도시하였으나, 이는 일 예에 불과할 뿐, 연령별 신체 정보(300)는 유아기의 생후 개월 수에 해당하는 유아의 평균 신체 정보를 포함할 수 있다.
또한, 도 3은 신체 정보로 평균 신장 및 평균 심박수만을 예시하고 있으나, 이는 일 예에 불과할 뿐, 연령별 신체 정보(300)는 유아기의 생후 개월 수에 따라 나타날 수 있는 유아의 신체 정보를 제한 없이 포함할 수 있다. 예를 들어, 평균 신체 정보는 평균 신장, 평균 체중, 평균 심박수, 평균 맥박수 및 평균 호흡 횟수 등을 포함할 수 있다.
일 실시예에 따른 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나와 연령별 신체 정보(300)를 비교하여 탑승자의 연령을 판단할 수 있다.
예를 들어, 제어부(130)는 촬영부(110)로부터 전달받은 탑승자의 영상에 대한 영상 데이터에 기초하여 탑승자의 신장을 추정하여 탑승자의 신장 정보를 획득할 수 있으며, 획득된 신장 정보를 연령별 신체 정보(300)의 연령 별 신장 정보와 비교하여 대응하는 연령을 판단할 수 있다.
또한, 제어부(130)는 센싱부(120)로부터 전달받은 탑승자의 생체신호 중 심박수를 연령별 신체 정보(300)의 연령 별 심박수 정보와 비교하여 대응하는 연령을 판단할 수 있다.
일 실시예에 따른 제어부(130)는 감정 정보에 대응하는 콘텐츠를 결정하는 경우에 판단된 탑승자의 연령을 고려할 수 있다.
구체적으로, 제어부(130)는 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정할 수 있으며, 결정된 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
이 때, 콘텐츠 기준 정보는 연령대별 콘텐츠를 분류하는 연령 대응 콘텐츠 그룹에 대한 정보를 포함할 수 있다. 감정 정보에 대응하는 콘텐츠 결정에 관한 설명은 뒤에서 다시 자세하게 설명하기로 한다.
도 4는 일 실시예에 따른 생체신호와 감정인자 간의 상관관계 정보(400)를 나타내는 도면이다.
도 4를 참조하면, 전기 피부 반응(GSR) 및 뇌파(EEG)와 감정 인자간의 상관관계 정보가 도시되어 있다
도 4에서, GSR(Galvanic Skin Response) 신호는 혐오스러운(Disgust) 감정인자나 화난(Anger) 감정 인자와의 상관관계 값이 각각 0.875, 0.775로서, 혐오스러운 감정 인자나 화난 감정인자와 높은 관련성을 갖는 것을 알 수 있다. 따라서, GSR 측정기에 의해 수집된 탑승자의 생체 신호는, 탑승자의 감정이 화난 감정 또는 혐오스러운 감정이라고 판단할 수 있는 기초가 된다.
즐거운(Joy) 감정 인자의 경우 GSR 신호와의 상관 관계 값이 상대적으로 낮은 값(0.353)이므로, 즐거운 감정 인자는 GSR 신호와 관련성이 적다고 할 수 있다.
EEG(Electroencephalogram) 신호는, 화난 감정 인자나 두려운(Fear) 감정 인자와의 상관 관계 값이 각각 0.864, 0.878으로서, 다른 감정 인자보다 화난 감정인자나 두려운 감정 인자와 높은 관련성을 가지고 있음을 알 수 있다. 따라서, 뇌파 센서에 의해 수집된 생체 신호는, 탑승자의 감정이 화난 감정이나 두려운 감정이라고 판단할 수 있는 기초가 된다.
이와 같이, 제어부(130)는 탑승자의 생체신호와 감정인자 간 상관관계 정보(400)를 이용하여 탑승자의 감정 정보를 획득할 수 있다. 도 4에 나타나 있는 정보들은 실험에 의해 나타난 결과일 뿐이므로, 실험 환경에 따라 다양하게 나타날 수 있다.
또한, 도 4는 전기 피부 반응(GSR) 및 뇌파(EEG)와 감정 인자간의 상관관계 정보만을 도시하였으나, 생체신호와 감정인자 간 상관관계 정보(400)는 차량(10)에 마련되는 센서로부터 측정되는 생체신호의 종류에 따라 각 생체신호와 감정인자 간 상관관계 정보를 포함할 수 있다.
도 5는 일 실시예에 따른 얼굴 표정과 감정인자 간의 상관관계 정보(500)를 나타내는 도면이다.
일 실시예에 따른 제어부(130)는 촬영부(110)에 의해 촬영된 탑승자의 영상에 나타내는 탑승자의 얼굴 표정을 인식할 수 있으며, 탑승자의 얼굴 표정에 얼굴 움직임 부화화 시스템(FACS, Facial Action Coding System)을 적용하여 탑승자의 감정을 나타내는 탑승자의 감정 정보를 획득할 수 있다.
구체적으로, 제어부(130)는 탑승자의 얼굴에서 특징점을 추출하고, 추출된 특징점을 이용하여 복수의 얼굴요소를 추출할 수 있다. 복수의 얼굴요소는 눈썹, 눈, 코, 입 등을 포함할 수 있다. 제어부(130)는 추출된 복수의 얼굴요소 각각에 대한 패턴을 조합하고, 조합된 패턴을 저장부(160)에 저장된 얼굴 표정과 감정인자 간의 상관관계 정보(500)와 비교할 수 있다. 얼굴 표정과 감정인자 간의 상관관계 정보(500)는 얼굴 표정과 감정상태와의 관계를 나타내는 정보에 해당한다.
도 5를 참조하면, 일 실시예에 따른 제어부(130)는 얼굴 표정과 감정인자 간의 상관관계 정보(500) 중 탑승자의 조합된 패턴과 동일한 패턴 또는 가장 유사한 패턴에 대응하는 표정을 탑승자의 표정으로 판단할 수 있다.
또한, 일 실시예에 따른 제어부(130)는 판단된 탑승자의 표정에 대한 얼굴 표정과 감정인자 간의 상관관계 정보(500) 상의 가중치를 고려하여 탑승자의 감정을 나타내는 감정 정보를 획득할 수 있다.
예를 들어, 제어부(130)는 탑승자의 판단된 표정이 얼굴 표정과 감정인자 간의 상관관계 정보(500) 상의 표정 2에 해당하는 경우 가중치가 가장 높은 즐거운 감정이 탑승자의 감정임을 나타내는 감정 정보를 획득할 수 있다.
도 5의 얼굴 표정과 감정인자 간의 상관관계 정보(500)은 표정 1, 표정 2 및 표정 3만을 도시하고 있으나, 탑승자의 감정을 분류할 수 있는 표정이면 제한 없이 포함할 수 있다.
도 6은 일 실시예에 따른 감정 모델(600)을 나타내는 도면이다.
도 6을 참조하면, 감정 모델(600)은 탑승자의 생체 신호에 따라 나타나는 탑승자의 감정을 그래프 상에 분류해 놓은 것이다. 감정 모델(600)은 미리 설정된 감정축을 기준으로 탑승자의 감정을 분류한다. 감정축은 탑승자의 영상 또는 탑승자의 생체신호에 의해 측정된 감정을 기준으로 정해질 수 있다. 예를 들면, 감정축1은 탑승자의 음성이나 얼굴 표정으로 측정 가능한 긍정도 또는 부정도가 될 수 있고, 감정축2는 GSR이나 EEG로 측정 가능한 흥분도 또는 활성도가 될 수 있다.
탑승자의 감정이 높은 긍정도와 높은 흥분도를 갖는 경우, 해당 감정은 감정1 또는 감정2로 분류될 수 있다. 반대로 탑승자의 감정이 음(-)의 긍정도 즉, 부정도를 갖고 높은 흥분도를 갖는 경우, 해당 감정은 감정3 또는 감정4로 분류될 수 있다.
이러한 감정모델은 러셀(Russell)의 감정모델일 수 있다. 러셀(Russell)의 감정모델은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다.
이와 같이, 제어부(130)는 탑승자의 생체 신호와 감정 인자 간 상관 관계 정보(400), 얼굴 표정과 감정인자 간의 상관관계 정보(500) 및 감정 모델(600)을 이용하여 탑승자의 감정 정보를 획득할 수 있다.
도 7은 일 실시예에 따른 콘텐츠 기준 정보(700)를 나타내는 도면이다.
일 실시예에 따른 제어부(130)는 획득된 감정 정보에 대응하는 콘텐츠를 결정할 수 있다.
구체적으로, 제어부(130)는 저장부(160)에 저장되어 있는 콘텐츠 기준 정보(700)에 기초하여 획득된 감정 정보에 대응하는 콘텐츠를 결정할 수 있다.
도 7을 참조하면, 콘텐츠 기준 정보(700)는 적어도 하나의 콘텐츠 각각의 감정 별 연관도를 포함할 수 있다. 즉, 콘텐츠 기준 정보(700)는 콘텐츠 각각이 복수의 감정 각각에 대해 얼마나 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도를 포함할 수 있다.
예를 들어, 콘텐츠 기준 정보(700)는, 탑승자의 감정이 감정 a인 상황에서, 콘텐츠가 재생되었을 때 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도로, 콘텐츠 A가 0.84, 콘텐츠 B가 0.34, 콘텐츠 C가 0.43임을 나타내는 정보를 포함할 수 있다.
즉, 콘텐츠 기준 정보(700)는 해당 감정에서 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도를 0과 1 사이의 값으로 포함할 수 있다.
제어부(130)는 획득된 감정 정보가 나타내는 유아인 탑승자의 감정에 기초하여 해당 감정에 대한 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
즉, 제어부(130)는 탑승자의 현재 감정에 기초하여 현재 감정에서 가장 긍정적인 감정 변화를 유발할 수 있을 것으로 판단되는 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정하고, 결정된 콘텐츠가 출력되도록 사용자 인터페이스(170)를 제어할 수 있다.
이를 통해, 유아인 탑승자는 자신의 의지로 콘텐츠를 선택할 수 없음에도 불구하고, 제어부(130)의 제어에 따라 가장 긍정적인 감정 변화를 유발할 수 있는 콘텐츠를 제공받을 수 있다.
또한, 일 실시예에 따른 제어부(130)는 감정 정보에 대응하는 콘텐츠를 결정하는 경우에 유아인 탑승자의 연령을 고려할 수 있다.
제어부(130)는 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정할 수 있으며, 결정된 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
이 때, 콘텐츠 기준 정보(700)는 연령대별 콘텐츠를 분류하는 연령 대응 콘텐츠 그룹에 대한 정보를 포함할 수 있다.
구체적으로, 콘텐츠 기준 정보(700)은 도시된 바와 같이 연령대별 콘텐츠를 분류하여 적어도 하나의 연령 대응 콘텐츠 그룹에 대한 정보를 포함할 수 있다. 예를 들어, 콘텐츠 기준 정보(700)는 생후 1개월에 대응하는 연령 대응 콘텐츠 그룹을 포함할 수 있으며, 생후 1개월에 대응하는 연령 대응 콘텐츠 그룹은 콘텐츠 A, 콘텐츠 B 및 콘텐츠 C를 포함할 수 있다.
각각의 연령에 대응하는 연령 대응 콘텐츠 그룹은 유아의 연령에 따른 인지 능력, 학습 능력 또는 반응 능력 등을 고려하여 결정될 수 있다. 즉, 각각의 연령에 대응하는 연령 대응 콘텐츠 그룹에 포함되는 콘텐츠는 설계 단계 또는 설계 이후 사용자의 입력에 기초하여 결정될 수 있으며, 외부 서버를 통하여 주기적으로 업데이트되어 결정될 수도 있다. 이 때, 연령이 낮을수록 그에 대응하는 연령 대응 콘텐츠 그룹에 포함되는 콘텐츠는 보다 단순하게 구성될 수 있으며, 해당 연령의 능력 향상에 영향을 주는 교육 콘텐츠를 포함할 수 있다.
즉, 콘텐츠 기준 정보(700)는 적어도 하나의 콘텐츠 각각의 감정 별 연관도를 포함할 수 있으며, 연령 대응 콘텐츠 그룹에 대한 정보를 포함할 수 있다.
이에 따라, 제어부(130)는 유아인 탑승자의 감정 정보에 대응하는 콘텐츠를 결정할 수 있으며, 유아인 탑승자의 연령을 고려하여 콘텐츠를 결정할 수도 있다.
또한, 일 실시예에 따른 제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안에 획득된 감정 정보에 기초하여 결정된 콘텐츠와 결정된 콘테츠의 출력 이전의 감정 정보와의 연관도를 갱신할 수 있다.
구체적으로, 제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 결정된 콘텐츠의 출력 이후 일정 시간 동안 측정된 생체신호 중 적어도 하나에 기초하여 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득하고, 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 결정된 콘텐츠의 출력 이전의 감정 정보를 비교하여 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 갱신할 수 있다.
제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 증가시킬 수 있다.
제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 감소시킬 수 있다.
일 실시예에 따른 제어부(130)는 결정된 콘텐츠의 감정 정보가 나타내는 감정에 대한 연관도가 다른 콘텐츠의 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 다른 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
도 8은 일 실시예에 따른 결정된 콘텐츠의 출력을 나타내는 도면이다.
일 실시예에 따른 제어부(130)는 탑승자의 감정 정보에 대응하는 콘텐츠를 결정하고, 결정된 콘텐츠를 출력하도록 사용자 인터페이스(170)를 제어할 수 있다.
도 8을 참조하면, 결정된 콘텐츠는 사용자 인터페이스(170)의 디스플레이(171)를 통해 출력될 수 있다. 결정된 콘텐츠는 적어도 하나의 캐릭터(810)를 포함할 수 있다.
또한, 결정된 콘텐츠는 사용자 인터페이스(170)의 스피커(172)를 통해 출력될 수 있다. 즉, 결정된 콘텐츠는 디스플레이(171)를 통하여 영상을 출력하는 동시에 출력되는 영상에 매칭되는 음악 또는 대사가 스피커(172)를 통하여 출력될 수 있다.
결정된 콘텐츠의 적어도 하나의 캐릭터(810)는 다양한 형태로 마련될 수 있다. 구체적으로, 적어도 하나의 캐릭터(810)는 다양한 크기 및 다양한 옷차림으로 마련될 수 있다.
또한, 결정된 콘텐츠의 적어도 하나의 캐릭터(810)은 다양한 색상으로 마련될 수 있으며, 다양한 움직임으로 표현될 수 있다.
결정된 콘텐츠는 적어도 하나의 재생 구간을 포함할 수 있으며, 재생 구간은 재생 구간에 포함되는 프레임의 할당 번호에 따라 구분될 수 있다. 또한, 디스플레이(171)를 통하여 출력되는 적어도 하나의 캐릭터(810)의 형태, 움직임, 색상 등은 재생 구간 별로 변경되어 출력될 수 있으며, 스피커(172)를 통하여 출력되는 대사 또는 음악은 재생 구간 별로 변경되어 출력될 수 있다.
결정된 콘텐츠는 2D(Two Dimensions) 또는 3D(Three Dimensions)로 마련될 수 있다.
도 9는 일 실시예에 따른 정황 기준 정보(900)를 나타내는 도면이다.
일 실시예에 따른 제어부(130)는 감정 정보에 대응하는 콘텐츠가 결정된 이후 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 정황을 나타내는 정황 정보를 획득할 수 있다.
구체적으로, 제어부(130)는 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 결정된 콘텐츠의 출력 이후 일정 시간 동안 측정된 생체신호 중 적어도 하나에 기초하여 정황 정보를 획득할 수 있다.
정황 정보는 탑승자의 정황을 나타내는 정보로 탑승자가 어떤 상황에 놓여있는지를 나타내는 정보에 해당한다.
예를 들어, 탑승자의 현재 정황이 대소변을 배출하는 상태이면, 대소변 배출 상태를 나타내는 정황 정보를 획득할 수 있다.
이 때, 제어부(130)는 저장부(160)에 저장되어 있는 정황 기준 정보(900)를 이용할 수 있다.
도 9를 참조하면, 정황 기준 정보(900)는 정황 별 탑승자의 영상 및 생체신호에서 나타내는 특징에 대한 정보를 포함할 수 있다. 즉, 정황 기준 정보(900)는 특정 정황에서 탑승자의 영상 및 생체신호에서 어떤 특징이 발생하는지에 대한 정보를 포함할 수 있다.
예를 들어, 정황 기준 정보(900)는 탑승자의 울음 소리 발화의 정황에서 찡그린 표정, 눈물, 울음 소리 및 높은 심박수 등의 특징들을 탑승자의 영상 및 생체신호의 특징으로 포함할 수 있다. 이를 통해, 제어부(130)는 찡그린 표정, 눈물, 울음 소리 및 높은 심박수가 촬영되거나 측정되는 경우 탑승자의 현재 정황이 울음 소리 발화임을 판단할 수 있다. 이 때, 높은 심박수는 연령에 따른 평균 심박수에 비해 높은 횟수를 갖는 심박수를 의미한다.
또한, 정황 기준 정보(900)는 탑승자의 감정의 부정도가 임계 정도 이상인 정황에서 화난 표정, 울음 소리 및 높은 심박수 등의 특징들을 탑승자의 영상 및 생체신호의 특징으로 포함할 수 있다. 이를 통해, 제어부(130)는 화난 표정, 울음 소리 및 높은 심박수가 촬영되거나 측정되는 경우 탑승자의 현재 정황이 감정의 부정도가 임계 정도 이상임을 판단할 수 있다.
이와 같이, 정황 기준 정보(900)는 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 탑승자가 울음 소리를 발화하는 정황, 탑승자가 보호자를 찾는 보호 요청 단어(예: 엄마, 아빠, 맘마 등)를 발화하는 정황, 탑승자가 졸고 있는 졸음 상태의 정황 및 탑승자가 대소변을 배출하는 대소변 배출 상태의 정황 등의 정황 각각에 대응하는 탑승자의 영상 및 생체신호의 특징을 포함할 수 있다. 이 때, 임계 정도는 부정적인 감정 변화로 변함에 따라 울음을 터트리거나 보호자를 찾을 수 있는 감정에 대한 기준으로 설계 단계에서 설정될 수 있으며, 입력부(140)를 통하여 변경할 수 있다.
다만, 도 9의 정황 기준 정보(900)는 일 예에 불과할 뿐, 정황 기준 정보(900)는 차량(10) 내의 탑승자에게 발생할 수 있는 다양한 정황을 포함할 수 있으며, 각각의 정황에 대응하는 탑승자의 영상 및 생체신호의 특징을 포함할 수 있다. 또한, 도 9에 예시되는 탑승자의 영상 및 생체신호의 특징은 일 예에 불과할 뿐, 각각의 정황에서 나타날 수 있는 행동 및 생체신호이면 제한 없이 포함될 수 있다.
이를 통해, 제어부(130)는 정황 기준 정보(900)에 기초하여 탑승자의 영상 및 생체신호를 분석하고, 정황 기준 정보(900)에 포함되는 특징에 대응하는 정황 정보를 획득할 수 있다.
일 실시예에 따른 제어부(130)는 정황 정보에 기초하여 결정된 콘텐츠를 변형할 수 있다.
구체적으로, 제어부(130)는 획득된 정황 정보가 미리 설정된 정황 정보에 해당하는 경우, 결정된 콘텐츠를 변형할 수 있다.
미리 설정된 정황 정보는 콘텐츠에 대한 탑승자의 흥미가 떨어지는 상황에 해당할 수 있으며, 차량(100)의 설계 단계에서 설정되거나 보호자에 해당하는 운전자 또는 탑승자에 의해 입력부(140)를 통하여 설정될 수 있다.
예를 들어, 미리 설정된 정황 정보는, 감정 정보가 나타내는 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 탑승자가 울음 소리를 발화하는 정황, 탑승자가 보호 요청 단어를 발화하는 정황 및 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함할 수 있다.
즉, 탑승자의 정황이 미리 설정된 정황 정보에 해당하는 경우, 제어부(130)의 제어에 따라 출력되는 결정된 콘텐츠가 변형될 수 있다.
이를 통해, 유아인 탑승자는 자신의 선택에 의해 콘텐츠를 변형할 수 없는 상황에서도, 흥미를 유발하거나 만족감을 높여줄 수 있는 콘텐츠를 제공받을 수 있다.
도 10은 일 실시예에 따른 결정된 콘텐츠의 변형을 나타내는 도면이다.
일 실시예에 따른 제어부(130)는 탑승자의 정황 정보에 기초하여 탑승자의 감정 정보에 대응하는 것으로 결정된 콘텐츠를 변형할 수 있으며, 변형된 콘텐츠를 출력하도록 사용자 인터페이스(170)를 제어할 수 있다.
도 10을 참조하면, 변형된 콘텐츠는 사용자 인터페이스(170)의 디스플레이(171)를 통해 출력될 수 있다.
일 실시예에 따른 제어부(130)는 결정된 콘텐츠의 재생 속도, 재생 음악, 재생 구간, 출력 크기 등을 변형할 수 있으며, 결정된 콘텐츠에 포함되어 있던 적어도 하나의 캐릭터(810)의 움직임, 형태, 색상, 얼굴 및 목소리 등을 변형할 수 있다.
도 10에 도시된 바와 같이, 변형된 콘텐츠에 포함되는 변형된 캐릭터(1010)는 결정된 콘텐츠에 포함되어 있던 캐릭터(810)의 얼굴이 유아인 탑승자의 보호자의 얼굴로 변형되어 마련될 수 있다.
이 때, 변형된 캐릭터(1010)는 보호자의 얼굴 이미지가 변형 전 캐릭터(810)의 얼굴 위치에 합성되어 마련될 수 있다. 또한, 변형된 캐릭터(1010)에 합성된 보호자의 얼굴 이미지는, 운전석(11) 또는 보조석(12) 전면에 마련되는 카메라(미도시)를 통하여 촬영된 보호자의 얼굴 표정이 반영되어 실시간으로 변형될 수 있다.
즉, 제어부(130)는 운전석(11) 또는 보조석(12) 전면에 마련되는 카메라(미도시)를 통하여 촬영된 보호자의 얼굴 표정이 변형된 캐릭터(1010)의 얼굴에 반영될 수 있도록 블렌드 쉐입(blend shape) 기법을 통하여 변형된 캐릭터(1010)의 얼굴을 변형할 수 있다.
이를 통해, 친숙한 보호자의 얼굴이 반영된 변형된 콘텐츠를 시청하는 탑승자의 감정이 긍정적인 방향으로 유도될 수 있으며, 만족감 및 흥미 등이 유발될 수 있다.
또한, 제어부(130)는 캐릭터(810)의 얼굴을 보호자의 얼굴로 변형하는 것과 같이, 캐릭터(810)의 얼굴을 콘텐츠를 제공받는 아이인 탑승자 자신의 얼굴로 변형할 수도 있다.
또한, 제어부(130)는 캐릭터(810)의 목소리를 보호자의 목소리로 변형하여 변형된 캐릭터(1010)를 마련할 수 있다.
이 때, 제어부(130)는 운전석(11) 또는 보조석(12)의 앞단에 마련되는 마이크(미도시)를 통하여 보호자의 음성을 획득할 수 있으며 획득된 음성을 반영하여 보호자의 목소리로 변형된 캐릭터(1010)를 생성할 수 있다.
이를 위해, 음성의 신호적인 특성을 모델링하여 비교하는 음향 모델(Acoustic Model)과 인식 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델(Language Model)이 사용될 수 있다.
구체적으로, 제어부(130)는 마이크(미도시)를 통해 입력된 보호자의 음성의 비언어적 음성학 특성과 언어적 특성을 획득할 수 있다. 비언어적 음성학 특성은 탑승자 음성의 높낮이, 세기, 숨쉬기, 빠르기 등을 포함할 수 있다. 언어적 특성은 탑승자 음성의 사투리, 은어, 억양 등을 포함할 수 있다.
이를 통해, 제어부(130)는 보호자의 목소리와 유사한 목소리를 출력하는 변형된 캐릭터(1010)를 생성할 수 있다.
이외에도 제어부(130)는 다양한 방법을 통하여 결정된 콘텐츠를 변형할 수 있다.
구체적으로, 제어부(130)는 실시간으로 획득되는 감정 정보에 기초하여 결정된 콘텐츠의 적어도 하나의 재생 구간 중 탑승자의 감정의 긍정도가 임계 정도 이하로 유발되는 재생 구간을 결정할 수 있다.
이 때, 임계 정도는 탑승자가 콘텐츠에 대한 흥미를 느끼지 못하는 것으로 판단되는 최소 긍정도에 해당할 수 있으며, 차량(10)의 설계 단계 또는 입력부(140)를 통한 입력을 통하여 미리 설정될 수 있다.
제어부(130)는 탑승자의 감정의 긍정도가 임계 정도 이하로 유발되는 재생 구간의 재생 속도가 증가하도록 결정된 콘텐츠를 변형할 수 있다.
이를 통해, 유아인 탑승자가 직접적으로 재생 속도를 조절할 수 없음에도 불구하고, 제어부(130)의 제어에 따라 흥미를 느끼지 못하는 재생 구간의 재생 속도가 증가될 수 있다.
또한, 제어부(130)는 실시간으로 획득되는 감정 정보에 기초하여 결정된 콘텐츠의 적어도 하나의 재생 구간 중 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간을 결정할 수 있다.
이 때, 임계 정도는 탑승자가 콘텐츠에 대한 흥미를 느끼는 것으로 판단되는 최소 긍정도에 해당할 수 있으며, 차량(10)의 설계 단계 또는 입력부(140)를 통한 입력을 통하여 미리 설정될 수 있다.
제어부(130)는 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간에서의 재생 음악 또는 재생 영상이 반복적으로 재생되도록 결정된 콘텐츠를 변형할 수 있다.
이를 통해, 유아인 탑승자가 직접적으로 반복 재생할 수 없음에도 불구하고, 제어부(130)의 제어에 따라 흥미를 느끼는 재생 구간이 반복해서 재생될 수 있다.
이 때, 재생 영상은 디스플레이(171)를 통하여 출력될 수 있으며, 재생 음악은 스피커(172)를 통하여 출력될 수 있다. 또한, 재생 음악은 아이인 탑승자가 흥미를 느낀 것으로 판단된 노래 또는 대사에 해당할 수 있다.
또한, 제어부(130)는 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간에서의 재생 음악의 출력 크기가 증가되도록 결정된 콘텐츠를 변형할 수 있다. 이를 통해, 스피커(172)를 통하여 보다 출력 크기가 증가된 재생 음악이 출력될 수 있다.
또한, 제어부(130)는 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간에서의 재생 영상의 영상 크기가 증가되도록 결정된 콘텐츠를 변형할 수 있다. 이를 통해, 디스플레이(171)를 통하여 보다 영상 크기가 증가된 재생 영상이 출력될 수 있다.
또한, 제어부(130)는 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간에서의 캐릭터의 움직임, 형태 또는 색상이 현재 재생 구간의 캐릭터(1010)에 반영되도록 결정된 콘텐츠를 변형할 수 있다.
이와 같이, 유아인 탑승자는 자신의 흥미가 유발되었던 재생 구간에서의 영상, 음악, 캐릭터의 움직임, 캐릭터의 형태 및 캐릭터의 색상이 반영된 변형된 콘텐츠를 제공받을 수 있다.
이를 통해, 유아인 탑승자는 제공된 콘텐츠에 기초하여 흥미 및 만족감을 얻을 수 있다. 또한, 흥미 및 만족감을 제공하는 콘텐츠의 재생으로 유아인 탑승자가 보호자를 찾거나 우는 정황을 피할 수 있으며, 보호자에 해당하는 운전자는 보다 운전에 집중하여 사고 발생 확률을 낮출 수 있다.
이하, 일 실시예에 따른 차량(10)의 제어방법을 설명하기로 한다. 후술하는 차량(10)의 제어방법에는 전술한 실시예에 따른 차량(10)이 적용될 수 있다. 따라서, 앞서 도 1 내지 도 10을 참조하여 설명한 내용은 특별한 언급이 없더라도 일 실시예에 따른 차량(10)의 제어방법에도 동일하게 적용 가능하다.
도 11은 일 실시예에 따른 차량의 제어방법에 있어서, 결정된 콘텐츠를 변형하는 경우에 관한 순서도이다.
도 11을 참조하면, 일 실시예에 따른 차량(10)은 탑승자의 영상을 촬영할 수 있으며 탑승자의 생체신호를 측정할 수 있다(1110).
구체적으로, 차량(10)의 촬영부(110)는 뒷좌석(13)에 착석한 유아인 탑승자의 영상을 촬영할 수 있으며, 촬영된 영상의 영상 데이터를 제어부(130)에 전달할 수 있다.
또한, 차량(10)의 센싱부(120)는 뒷좌석(13)에 착석한 유아인 탑승자의 생체신호를 획득할 수 있으며, 획득된 생체신호를 제어부(130)에 전달할 수 있다.
일 실시예에 따른 차량(10)의 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 감정을 나타내는 감정 정보를 획득할 수 있다(1120).
일 실시예에 따른 차량(10)은 획득된 감정 정보에 대응하는 콘텐츠를 결정하고, 결정된 콘텐츠를 출력할 수 있다(1130).
구체적으로, 일 실시예에 따른 제어부(130)는 획득된 감정 정보에 대응하는 콘텐츠를 결정할 수 있으며, 결정된 콘텐츠를 출력하도록 사용자 인터페이스(170)를 제어할 수 있다.
제어부(130)는 저장부(160)에 저장되어 있는 콘텐츠 기준 정보(700)에 기초하여 획득된 감정 정보에 대응하는 콘텐츠를 결정할 수 있다.
콘텐츠 기준 정보(700)는 적어도 하나의 콘텐츠 각각의 감정 별 연관도를 포함할 수 있다. 즉, 콘텐츠 기준 정보는 콘텐츠 각각이 복수의 감정 각각에 대해 얼마나 긍정적인 감정 변화를 유발할 수 있는지에 대한 척도에 해당하는 연관도를 포함할 수 있다.
제어부(130)는 획득된 감정 정보가 나타내는 유아인 탑승자의 감정에 기초하여 해당 감정에 대한 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
이를 통해, 유아인 탑승자는 자신의 의지로 콘텐츠를 선택할 수 없음에도 불구하고, 제어부(130)의 제어에 따라 가장 긍정적인 감정 변화를 유발할 수 있는 콘텐츠를 제공받을 수 있다.
일 실시예에 따른 제어부(130)는 감정 정보에 대응하는 콘텐츠를 결정하는 경우에 유아인 탑승자의 연령을 고려할 수 있다.
구체적으로, 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나에 기초하여 탑승자의 연령을 판단할 수 있다.
이 때, 제어부(130)는 저장부(160)에 저장되어 있는 연령별 신체 정보(300)를 이용할 수 있다.
연령별 신체 정보(300)는 유아기의 생후 개월 수에 따른 평균적인 신체 정보를 포함할 수 있다. 예를 들어, 연령별 신체 정보는 개월 수 별 평균 신장 정보, 평균 심박수 및 평균 맥박 수 등의 신체 정보를 포함할 수 있다.
따라서, 제어부(130)는 탑승자의 영상 및 탑승자의 생체신호 중 적어도 하나를 연령별 신체 정보와 비교하여 유아인 탑승자의 연령을 판단할 수 있다.
제어부(130)는 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정할 수 있으며, 결정된 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
이 때, 콘텐츠 기준 정보(300)는 연령대별 콘텐츠를 분류하는 연령 대응 콘텐츠 그룹에 대한 정보를 포함할 수 있다.
일 실시예에 따른 차량(10)은 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 정황 정보를 획득할 수 있다(1140).
정황 정보는 탑승자의 정황을 나타내는 정보로 탑승자가 어떤 상황에 놓여있는지를 나타내는 정보에 해당한다. 예를 들어, 탑승자의 현재 정황이 대소변을 배출하는 상태이면, 대소변 배출 상태를 나타내는 정황 정보를 획득할 수 있다.
이 때, 제어부(130)는 저장부(160)에 저장되어 있는 정황 기준 정보(900)를 이용할 수 있다.
정황 기준 정보(900)는 정황 별 탑승자의 영상 및 생체신호에서 나타내는 특징에 대한 정보를 포함할 수 있다. 즉, 정황 기준 정보(900)는 특정 정황에서 탑승자의 영상 및 생체신호에서 어떤 특징이 발생하는지에 대한 정보를 포함할 수 있다.
이를 통해, 제어부(130)는 정황 기준 정보(900)에 기초하여 탑승자의 영상 및 생체신호를 분석하고, 정황 기준 정보(900)에 포함되는 특징에 대응하는 정황 정보를 획득할 수 있다.
일 실시예에 따른 차량(10)은 정황 정보가 나타내는 정황이 미리 설정된 정황에 해당하는 경우(1150의 예), 결정된 콘텐츠를 변형할 수 있다(1160).
미리 설정된 정황 정보는 콘텐츠에 대한 탑승자의 흥미가 떨어지는 상황에 해당할 수 있으며, 차량(100)의 설계 단계에서 설정되거나 보호자에 해당하는 운전자 또는 탑승자에 의해 입력부(140)를 통하여 설정될 수 있다.
예를 들어, 미리 설정된 정황 정보는, 감정 정보가 나타내는 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 탑승자가 울음 소리를 발화하는 정황, 탑승자가 보호 요청 단어를 발화하는 정황 및 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함할 수 있다.
즉, 탑승자의 정황이 미리 설정된 정황 정보에 해당하는 경우, 제어부(130)의 제어에 따라 출력되고 있는 결정된 콘텐츠가 변형될 수 있다.
이를 통해, 유아인 탑승자는 자신의 선택에 의해 콘텐츠를 변형할 수 없는 상황에서도, 흥미를 유발하거나 만족감을 높여줄 수 있는 콘텐츠를 제공받을 수 있다.
도 12는 일 실시예에 따른 차량의 제어방법에 있어서, 콘텐츠 기준 정보를 갱신하는 경우에 관한 순서도이다.
도 12을 참조하면, 일 실시예에 따른 차량(10)은 결정된 콘텐츠를 출력할 수 있다(1210).
구체적으로, 일 실시예에 따른 제어부(130)는 촬영된 탑승자의 영상 및 측정된 탑승자의 생체신호에 기초하여 탑승자의 감정을 나타내는 감정 정보를 획득할 수 있으며, 획득된 감정 정보에 대응하는 콘텐츠를 결정하고, 결정된 콘텐츠를 출력하도록 사용자 인터페이스(170)를 제어할 수 있다.
일 실시예에 따른 차량(10)은 결정된 콘텐츠의 출력 이후 일정 시간 동안에 획득된 감정 정보에 기초하여 결정된 콘텐츠와 결정된 콘테츠의 출력 이전의 감정 정보와의 연관도를 갱신할 수 있다.
구체적으로, 일 실시예에 따른 차량(10)은 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득할 수 있다(1220).
또한, 일 실시예에 따른 차량(10)은 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 결정된 콘텐츠의 출력 이전의 감정 정보를 비교할 수 있다(1230). 이를 통해, 차량(10)은 결정된 콘텐츠의 출력 이전의 감정 정보가 나타내는 감정과 결정된 콘텐츠 사이의 연관도를 갱신할 수 있다.
구체적으로, 차량(10)은 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우(1240의 예) 결정된 콘텐츠와 출력 이전의 감정 정보가 나타내는 감정 사이의 연관도를 증가시킬 수 있다(1250).
또한, 차량(10)은 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우(1240의 아니오) 결정된 콘텐츠와 출력 이전의 감정 정보가 나타내는 감정 사이의 연관도를 감소시킬 수 있다(1260).
또한, 일 실시예에 따른 차량(10)은 결정된 콘텐츠의 감정 정보가 나타내는 감정에 대한 연관도가 다른 콘텐츠의 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 다른 콘텐츠를 감정 정보에 대응하는 콘텐츠로 결정할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10: 차량
110: 촬영부
120: 센싱부
130: 제어부
140: 입력부
150: 통신부
160: 저장부
170: 사용자 인터페이스
171: 디스플레이
172: 스피커

Claims (34)

  1. 디스플레이 및 스피커를 포함하는 사용자 인터페이스;
    탑승자의 영상을 촬영하는 촬영부; 및
    상기 영상에 기초하여 상기 탑승자의 감정을 나타내는 감정 정보를 획득하고, 상기 감정 정보에 대응하는 콘텐츠를 결정하고, 상기 결정된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하고, 상기 결정된 콘텐츠가 출력된 이후 상기 영상에 기초하여 상기 탑승자의 정황을 나타내는 정황 정보를 획득하고, 상기 정황 정보에 기초하여 상기 결정된 콘텐츠를 변형하고, 상기 변형된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 차량은,
    상기 탑승자의 생체신호를 측정하는 센싱부;를 더 포함하고,
    상기 제어부는,
    상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 감정 정보를 획득하고, 상기 결정된 콘텐츠가 출력된 이후 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하고, 상기 정황 정보가 나타내는 정황이 미리 설정된 정황에 대응하면 상기 결정된 콘텐츠를 변형하는 차량.
  4. 제3항에 있어서,
    상기 미리 설정된 정황은,
    상기 감정 정보가 나타내는 상기 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 상기 탑승자가 울음 소리를 발화하는 정황, 상기 탑승자가 보호 요청 단어를 발화하는 정황 및 상기 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함하는 차량.
  5. 제3항에 있어서,
    상기 제어부는,
    재생 속도, 재생 음악, 재생 구간, 출력 크기, 캐릭터의 움직임, 캐릭터의 형태, 캐릭터의 색상, 캐릭터의 얼굴 및 캐릭터의 목소리 중 적어도 하나를 변형하여 상기 결정된 콘텐츠를 변형하는 차량.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이하로 유발되는 재생 구간을 결정하고, 상기 재생 구간의 재생 속도가 증가하도록 상기 결정된 콘텐츠를 변형하는 차량.
  7. 제5항에 있어서,
    상기 제어부는,
    상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간을 결정하는 차량.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 재생 구간에서의 재생 음악 또는 재생 영상이 반복적으로 재생되도록 상기 결정된 콘텐츠를 변형하는 차량.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 재생 구간에서의 재생 음악의 출력 크기가 증가되도록 상기 결정된 콘텐츠를 변형하거나 또는 상기 재생 구간에서의 재생 영상의 영상 크기가 증가되도록 상기 결정된 콘텐츠를 변형하는 차량.
  10. 제7항에 있어서,
    상기 제어부는,
    상기 재생 구간에서의 캐릭터의 움직임, 캐릭터의 형태 또는 캐릭터의 색상이 현재 재생 구간의 캐릭터에 반영되도록 상기 결정된 콘텐츠를 변형하는 차량.
  11. 제5항에 있어서,
    상기 제어부는,
    상기 캐릭터의 얼굴이 상기 탑승자의 얼굴 또는 보호자의 얼굴로 변형되거나 상기 캐릭터의 목소리가 상기 탑승자의 목소리 또는 상기 보호자의 목소리로 변형되도록 상기 결정된 콘텐츠를 변형하는 차량.
  12. 제2항에 있어서,
    상기 제어부는,
    상기 영상 및 상기 생체신호 중 적어도 하나를 연령별 신체 정보와 비교하여 상기 탑승자의 연령을 판단하는 차량.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정하고, 상기 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 상기 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정하는 차량.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득하고, 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 상기 결정된 콘텐츠의 출력 이전의 감정 정보를 비교하여 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 갱신하는 차량.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 증가시키는 차량.
  16. 제14항에 있어서,
    상기 제어부는,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 감소시키는 차량.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 결정된 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도가 상기 연령 대응 콘텐츠 그룹에 포함되는 다른 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 상기 다른 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정하는 차량.
  18. 디스플레이 및 스피커를 포함하는 사용자 인터페이스를 포함하는 차량의 제어방법에 있어서,
    탑승자의 영상을 촬영하고;
    상기 영상에 기초하여 상기 탑승자의 감정을 나타내는 감정 정보를 획득하고;
    상기 감정 정보에 대응하는 콘텐츠를 결정하고;
    상기 결정된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하고;
    상기 결정된 콘텐츠가 출력된 이후 상기 영상에 기초하여 상기 탑승자의 정황을 나타내는 정황 정보를 획득하고;
    상기 정황 정보에 기초하여 상기 결정된 콘텐츠를 변형하고;
    상기 변형된 콘텐츠를 출력하도록 상기 사용자 인터페이스를 제어하는 것;을 포함하는 차량의 제어방법.
  19. 제18항에 있어서,
    상기 탑승자의 생체신호를 측정하고;
    상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 감정 정보를 획득하고;
    상기 결정된 콘텐츠가 출력된 이후 상기 영상 및 상기 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하는 것;을 더 포함하는 차량의 제어방법.
  20. 제19항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 정황 정보를 획득하고;
    상기 정황 정보가 나타내는 정황이 미리 설정된 정황에 대응하면 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  21. 제20항에 있어서,
    상기 미리 설정된 정황은,
    상기 감정 정보가 나타내는 상기 탑승자의 감정의 부정도가 임계 정도 이상인 정황, 상기 탑승자가 울음 소리를 발화하는 정황, 상기 탑승자가 보호 요청 단어를 발화하는 정황 및 상기 탑승자가 졸린 상태에 있는 정황 중 적어도 하나를 포함하는 차량의 제어방법.
  22. 제20항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    재생 속도, 재생 음악, 재생 구간, 출력 크기, 캐릭터의 움직임, 캐릭터의 형태, 캐릭터의 색상, 캐릭터의 얼굴 및 캐릭터의 목소리 중 적어도 하나를 변형하여 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  23. 제22항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이하로 유발되는 재생 구간을 결정하고;
    상기 재생 구간의 재생 속도가 증가하도록 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  24. 제22항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 감정 정보에 기초하여 상기 결정된 콘텐츠의 적어도 하나의 재생 구간 중 상기 탑승자의 감정의 긍정도가 임계 정도 이상으로 유발되는 재생 구간을 결정하는 것;을 포함하는 차량의 제어방법.
  25. 제24항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 재생 구간에서의 재생 음악 또는 재생 영상이 반복적으로 재생되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  26. 제24항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 재생 구간에서의 재생 음악의 출력 크기가 증가되도록 상기 결정된 콘텐츠를 변형하거나 또는 상기 재생 구간에서의 재생 영상의 영상 크기가 증가되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  27. 제24항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 재생 구간에서의 캐릭터의 움직임, 캐릭터의 형태 또는 캐릭터의 색상이 현재 재생 구간의 캐릭터에 반영되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  28. 제22항에 있어서,
    상기 결정된 콘텐츠를 변형하는 것은,
    상기 캐릭터의 얼굴이 상기 탑승자의 얼굴 또는 보호자의 얼굴로 변형되거나 상기 캐릭터의 목소리가 상기 탑승자의 목소리 또는 상기 보호자의 목소리로 변형되도록 상기 결정된 콘텐츠를 변형하는 것;을 포함하는 차량의 제어방법.
  29. 제19항에 있어서,
    상기 영상 및 상기 생체신호 중 적어도 하나를 연령별 신체 정보와 비교하여 상기 탑승자의 연령을 판단하는 것;을 더 포함하는 차량의 제어방법.
  30. 제29항에 있어서,
    상기 감정 정보에 대응하는 콘텐츠를 결정하는 것은,
    상기 연령에 대응하는 적어도 하나의 콘텐츠를 포함하는 연령 대응 콘텐츠 그룹을 결정하고;
    상기 연령 대응 콘텐츠 그룹에 포함되는 적어도 하나의 콘텐츠 중 상기 감정 정보가 나타내는 감정과의 연관도가 가장 높은 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정하는 것;을 포함하는 차량의 제어방법.
  31. 제30항에 있어서,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안 촬영된 영상 및 측정된 생체신호 중 적어도 하나에 기초하여 상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보를 획득하고;
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보 및 상기 결정된 콘텐츠의 출력 이전의 감정 정보를 비교하여 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 갱신하는 것;을 더 포함하는 차량의 제어방법.
  32. 제31항에 있어서,
    상기 연관도를 갱신하는 것은,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 증가한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 증가시키는 것;을 포함하는 차량의 제어방법.
  33. 제31항에 있어서,
    상기 연관도를 갱신하는 것은,
    상기 결정된 콘텐츠의 출력 이후 일정 시간 동안의 감정 정보의 긍정도가 상기 결정된 콘텐츠의 출력 이전의 감정 정보의 긍정도보다 감소한 경우 상기 감정 정보가 나타내는 감정과 상기 결정된 콘텐츠 사이의 연관도를 감소시키는 것;을 포함하는 차량의 제어방법.
  34. 제33항에 있어서,
    상기 결정된 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도가 상기 연령 대응 콘텐츠 그룹에 포함되는 다른 콘텐츠의 상기 감정 정보가 나타내는 감정에 대한 연관도에 비해 낮아지는 경우, 상기 다른 콘텐츠를 상기 감정 정보에 대응하는 콘텐츠로 결정하는 것;을 더 포함하는 차량의 제어방법.
KR1020180138608A 2018-11-13 2018-11-13 차량 및 그 제어방법 KR20200057810A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180138608A KR20200057810A (ko) 2018-11-13 2018-11-13 차량 및 그 제어방법
US16/561,326 US10915768B2 (en) 2018-11-13 2019-09-05 Vehicle and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180138608A KR20200057810A (ko) 2018-11-13 2018-11-13 차량 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20200057810A true KR20200057810A (ko) 2020-05-27

Family

ID=70552196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180138608A KR20200057810A (ko) 2018-11-13 2018-11-13 차량 및 그 제어방법

Country Status (2)

Country Link
US (1) US10915768B2 (ko)
KR (1) KR20200057810A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114093461A (zh) * 2020-07-29 2022-02-25 京东方科技集团股份有限公司 交互界面的显示方法和装置以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189797B2 (en) 2011-10-26 2015-11-17 Apple Inc. Systems and methods for sentiment detection, measurement, and normalization over social networks
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
US20160381412A1 (en) * 2015-06-26 2016-12-29 Thales Avionics, Inc. User centric adaptation of vehicle entertainment system user interfaces
JP6422477B2 (ja) * 2016-12-21 2018-11-14 本田技研工業株式会社 コンテンツ提供装置、コンテンツ提供方法およびコンテンツ提供システム

Also Published As

Publication number Publication date
US10915768B2 (en) 2021-02-09
US20200151471A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
US10524715B2 (en) Systems, environment and methods for emotional recognition and social interaction coaching
CA2953539C (en) Voice affect modification
Craye et al. A multi-modal driver fatigue and distraction assessment system
JP2004310034A (ja) 対話エージェントシステム
EP3373301A1 (en) Apparatus, robot, method and recording medium having program recorded thereon
US20160288708A1 (en) Intelligent caring user interface
EP3882097A1 (en) Techniques for separating driving emotion from media induced emotion in a driver monitoring system
US11702103B2 (en) Affective-cognitive load based digital assistant
CA2939922A1 (en) Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
Kashevnik et al. Multimodal corpus design for audio-visual speech recognition in vehicle cabin
JP2022546455A (ja) 行動障害、発達遅延、および神経系機能障害の診断のための方法、システム、ならびにデバイス
US11769016B2 (en) Generating responses to user interaction data based on user interaction-styles
JP7204283B2 (ja) 雰囲気推測装置およびコンテンツの提示方法
JP2022528691A (ja) ビデオチャット中に感情の修正を提供する方法およびシステム
KR20200057810A (ko) 차량 및 그 제어방법
WO2019198299A1 (ja) 情報処理装置及び情報処理方法
JP7469467B2 (ja) デジタルヒューマンに基づく車室インタラクション方法、装置及び車両
JP2001282539A (ja) 概念の構造化方法、装置、及び概念構造を備えた装置
KR20210028370A (ko) 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템
KR102613180B1 (ko) 차량 및 그 제어방법
US20240220016A1 (en) System and method for using gestures and expressions for controlling speech applications
US20240221753A1 (en) System and method for using gestures and expressions for controlling speech applications
US20240220811A1 (en) System and method for using gestures and expressions for controlling speech applications
Zepf Real-Time Emotion-Sensitive User Interfaces
JP2021189704A (ja) 制御装置およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal