KR101727592B1 - 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법 - Google Patents
감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법 Download PDFInfo
- Publication number
- KR101727592B1 KR101727592B1 KR1020130073621A KR20130073621A KR101727592B1 KR 101727592 B1 KR101727592 B1 KR 101727592B1 KR 1020130073621 A KR1020130073621 A KR 1020130073621A KR 20130073621 A KR20130073621 A KR 20130073621A KR 101727592 B1 KR101727592 B1 KR 101727592B1
- Authority
- KR
- South Korea
- Prior art keywords
- effect
- real
- sensation
- user
- media
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001953 sensory effect Effects 0.000 title claims description 23
- 230000006397 emotional response Effects 0.000 title claims description 18
- 230000035807 sensation Effects 0.000 claims abstract description 94
- 230000008451 emotion Effects 0.000 claims abstract description 88
- 230000000694 effects Effects 0.000 claims description 127
- 230000002996 emotional effect Effects 0.000 claims description 44
- 238000013145 classification model Methods 0.000 claims description 22
- 208000027534 Emotional disease Diseases 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0048—Detecting, measuring or recording by applying mechanical forces or stimuli
- A61B5/0051—Detecting, measuring or recording by applying mechanical forces or stimuli by applying vibrations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Physiology (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Developmental Disabilities (AREA)
- Evolutionary Computation (AREA)
- Child & Adolescent Psychology (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Cardiology (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
Abstract
감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법을 제공한다. 실감미디어 재현 장치는 실감미디어를 재현하는 실감미디어 재현부, 상기 실감미디어 재현 시 측정된 사용자의 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 감성추론부 및 상기 추론된 사용자의 감성 상태를 기초로 상기 실감미디어의 실감효과 속성을 결정하는 실감효과 결정부를 포함하고, 상기 실감미디어 재현부는 상기 결정된 실감효과 속성에 따라 상기 실감미디어를 재현할 수 있다.
Description
본 발명의 실시예들은 실감미디어를 체험하고 있는 사용자의 실감효과 자극에 대한 감성상태를 추론하여 해당 사용자가 만족감을 체감할 수 있도록 실감미디어를 재현하는 장치 및 방법에 관한 것이다.
실감미디어란 현실 세계를 가장 근접하게 재현하고자 개발된 차세대 미디어로, 인간의 오감을 자극하는 실감효과를 통해 동영상, 오디오, 텍스트로 이루어진 기존의 미디어보다 월등히 나은 표현력과 몰입감, 현장감, 현실감 등을 제공할 수 있다는 장점이 있다.
일반적으로 실감미디어는 기존의 동영상, 게임 등의 A/V(Audio/Video) 미디어에 모션, 바람, 진동, 안개, 향기 등과 같은 다양한 실감효과(sensory effect) 재현을 위한 실감효과 메타데이터(SEM: Sensory Effect Metadata)가 추가된 다감각 콘텐츠로, SEM을 기반으로 모션의자, 선풍기, 온도조절기, 진동기기, 조명기기, 발향기 등의 다양한 실감 디바이스를 A/V 미디어와의 동기화를 통해 적절하게 제어함으로써 재현된다.
초기의 실감미디어 서비스는 제작자가 전체 사용자를 대상으로 일방적으로 제작한 실감미디어를 일률적으로 재현하는 방식으로 제공되었다. 그러나, 성별, 나이, 신체, 질병 등에 따른 사용자 유형, 사용자의 일시적인 건강, 심리상태 또는 재현 환경(새벽시간, 실내/외 등)에 따라 사용자 마다 원하는 실감효과의 종류 및 강도가 상이할 수 있기 때문에, 사용자의 선호도를 고려하지 않은 획일화된 서비스로는 다양한 사용자의 실감 체험에 대한 요구를 만족시킬 수 없다.
이러한 문제를 해결하기 위하여, 일 예로 한국공개특허공보 제10-2010-0114857호(공개일 2012년 10월 26일) "사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치"에는 사용자의 실감 효과에 대한 선호도 정보를 입력 받아 이를 기초로 실감미디어의 재현을 제어하는 것이 개시되어 있다.
하지만, 이러한 방법은 사용자가 자신의 실감 효과에 대한 선호도를 명시한 경우 사용자가 선호하는 실감효과를 제공할 수 있지만, 선호도를 명시하지 않은 상황에는 여전히 일률적인 재현만 가능하다는 문제가 있다. 따라서 사용자 입장에서는 만족할 만한 실감미디어 재현을 위해 모든 재현 조건에 대한 실감효과 선호도 정보를 미리 제공해야 하는 불편함이 있다.
이와 같이 종래 기술들은 사용자 맞춤형 실감미디어 재현을 위해 사용자로부터 선호도 정보를 입력 받거나 실감미디어 재현을 제어하는 명령(인터랙션)을 받는 등 사용자의 개입을 상당히 많이 필요로 하는 방법으로, 사용자의 적절한 정보제공 및 제어 없이는 사용자 맞춤형 실감미디어 서비스를 지속할 수 없다는 한계가 있다. 또한 사용자에게 자신이 선호하는 실감자극 속성에 대한 정확한 지식이 요구되는 문제도 가지고 있다.
따라서, 사용자가 실감효과를 체험하는 매 순간마다 사용자의 의도적인 개입 없이도 사용자가 만족할 수 있도록 실감미디어를 자동으로 재현함으로써 실감미디어의 효과를 극대화하고 사용자의 만족감을 지속할 수 있는 기술이 요구된다.
본 발명의 기술적 과제는 사용자의 실감효과 자극에 대한 감성 반응을 판단하는 감성추론을 통해 실감효과와 감성반응 간의 관계를 추정하여 실감미디어를 체험하는 사용자가 만족감을 체감할 수 있도록 실감미디어를 재현할 수 있는 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법을 제공함에 있다.
본 발명의 일 양태에 따르면, 실감미디어 재현 장치는 실감미디어를 재현하는 실감미디어 재현부, 상기 실감미디어 재현 시 측정된 사용자의 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 감성추론부 및 상기 추론된 사용자의 감성 상태를 기초로 상기 실감미디어의 실감효과 속성을 결정하는 실감효과 결정부를 포함하고, 상기 실감미디어 재현부는 상기 결정된 실감효과 속성에 따라 상기 실감미디어를 재현할 수 있다.
일 실시예로서, 상기 실감미디어는 A/V(Audio/Video) 미디어 및 상기 실감미디어의 실감효과 재현을 위한 실감효과 메타데이터로 구성될 수 있다.
다른 실시예로서, 상기 실감효과 메타데이터는 실감효과 재현 시점과 실감효과 종류를 포함하는 고정속성 정보 및 실감효과 재현 시간과 실감효과 강도를 포함하는 가변속성 정보를 포함할 수 있다.
또 다른 실시예로서, 상기 실감효과 결정부는 상기 추론된 사용자의 감성 상태를 기초로 기 저장된 실감효과 결정규칙을 이용하여 상기 실감효과 속성을 결정하고, 상기 결정된 실감효과 속성을 기초로 상기 실감효과 메타데이터의 가변속성 정보를 재설정함으로써 사용자 맞춤형 실감효과 메타데이터를 생성할 수 있다.
또 다른 실시예로서, 상기 실감미디어 재현부는 상기 사용자 맞춤형 실감효과 메타데이터를 기초로 상기 실감효과를 재현하는 실감 디바이스를 상기 A/V 미디어를 재현하는 A/V 디바이스와 동기화시켜 제어함으로써 상기 실감미디어를 재현할 수 있다.
또 다른 실시예로서, 상기 감성추론부는 상기 실감미디어 재현 시 상기 사용자의 동작, 음성, 생체 반응 중 적어도 하나를 센싱하는 센싱 디바이스로부터 수신한 상기 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론할 수 있다.
또 다른 실시예로서, 상기 감성추론부는 상기 복합감성신호로부터 복합감성특징을 추출하는 복합감성특징 추출부, 상기 추출된 복합감성특징과 감성 간의 상관 관계를 추정하는 감성분류모델을 생성하는 감성분류모델 생성부 및 상기 생성된 감성분류모델을 이용하여 상기 사용자의 실감효과에 대한 감성 반응을 판단하는 감성반응 판단부를 포함할 수 있다.
또 다른 실시예로서, 상기 감성추론부는 상기 복합감성신호에 포함된 영상 신호를 기초로 상기 사용자의 성별 및 연령대 중 적어도 하나를 포함하는 사용자 기본정보를 추출하는 사용자 기본정보 추출부를 더 포함할 수 있다.
또 다른 실시예로서, 상기 추출된 사용자 기본정보, 상기 추출된 복합감성특징, 상기 판단된 사용자의 실감효과에 대한 감성 반응과 상기 생성된 감성분류모델을 포함하고 상기 사용자의 감성 상태를 추론 시 사용되는 감성 지식베이스 및 상기 추출된 사용자 기본정보, 상기 재현된 실감미디어의 실감효과에 대한 정보, 상기 사용자의 실감효과에 대한 감성 반응에 대한 정보, 상기 실감효과를 결정하기 위한 실감효과 결정모델과 상기 실감효과 결정모델을 통해 도출된 실감효과 결정규칙을 포함하고 상기 실감효과 속성을 결정 시 사용되는 감성 지식베이스를 더 포함할 수 있다.
본 발명의 다른 양태에 따르면, 실감미디어 재현 장치가 실감미디어를 재현하는 방법은 실감미디어 재현 시 측정된 사용자의 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 단계, 상기 추론된 사용자의 감성 상태를 기초로 상기 실감미디어의 실감효과 속성을 결정하는 단계 및 상기 결정된 실감효과 속성에 따라 상기 실감미디어를 재현하는 단계를 포함할 수 있다.
사용자의 동작, 표정, 음성, 생체신호 등을 센싱함으로써 획득한 복합감성신호를 기초로 실감효과 자극에 대한 사용자의 감성반응을 판단하는 감성추론을 기반으로 실감효과와 감성반응 간의 관계를 추정하여 사용자가 만족감을 지속적으로 체감할 수 있도록 실감미디어를 자동으로 재현할 수 있다.
따라서, 사용자의 실감효과 선호도 정보 제공 또는 인터랙션에 따른 불편함을 개선할 수 있으며, 사용자가 실감효과를 체험하는 매 순간마다 사용자의 의도적인 개입 없이도 사용자가 만족할 수 있도록 실감미디어를 자동으로 재현함으로써 실감미디어의 효과를 극대화할 수 있고, 미디어의 소비를 촉진시킬 수 있다.
도 1은 본 발명의 일실시예에 있어서, 실감미디어 재현 장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 실감미디어 재현 장치의 감성 추론부의 세부 구성을 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 감성 지식베이스를 나타내는 예시도이다.
도 4는 본 발명의 일실시예에 있어서, 실감 지식베이스를 나타내는 예시도이다.
도 5는 본 발명의 일실시예에 있어서, 실감효과 결정 모델을 나타내는 예시도이다.
도 6은 본 발명의 일실시예에 있어서, 실감효과 결정 규칙을 나타내는 예시도이다.
도 7은 본 발명의 일실시예에 있어서, 실감미디어 재현 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 감성 지식베이스를 초기화 하는 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일실시예에 있어서, 실감 지식베이스를 초기화 하는 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 실감미디어 재현 장치의 감성 추론부의 세부 구성을 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 감성 지식베이스를 나타내는 예시도이다.
도 4는 본 발명의 일실시예에 있어서, 실감 지식베이스를 나타내는 예시도이다.
도 5는 본 발명의 일실시예에 있어서, 실감효과 결정 모델을 나타내는 예시도이다.
도 6은 본 발명의 일실시예에 있어서, 실감효과 결정 규칙을 나타내는 예시도이다.
도 7은 본 발명의 일실시예에 있어서, 실감미디어 재현 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 감성 지식베이스를 초기화 하는 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일실시예에 있어서, 실감 지식베이스를 초기화 하는 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일실시예에 있어서 실감미디어 재현 장치를 나타내는 블록도이고, 도 2는 실감미디어 재현 장치의 감성 추론부의 세부 구성을 나타내는 블록도이다.
도1을 참조하면, 본 발명에 따른 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치(100)는 실감미디어 수신부(110), 실감미디어 재현부(120), 실감효과 결정부(130), 복합감성신호 수신부(140), 감성추론부(150) 및 실감-감성 지식베이스(160)를 포함할 수 있다.
실감미디어 수신부(110)는 미디어 제작자, 각종 단말 장치, 네트워크로 연결된 외부 송신 장치 등으로부터 동영상, 게임 등의 A/V(Audio/Video) 미디어와 모션, 바람, 진동, 안개, 향기 등의 다양한 실감효과를 재현하는데 필요한 정보인 실감효과 메타데이터(SEM: Sensory Effect Metadata)를 포함하는 실감미디어를 수신하여 실감미디어 재현부(120)로 전송한다.
실감미디어 재현부(120)는 실감미디어 수신부(110)로부터 수신한 실감미디어에 포함된 실감효과 메타데이터 또는 실감효과 결정부(130)로부터 수신한 사용자 맞춤형 실감효과 메타데이터(p-SEM: personalized SEM)를 기반으로 모션의자, 선풍기, 온도조절기, 진동기기, 조명기기, 발향기 등과 같은 다양한 실감 디바이스(210)를 A/V 미디어를 재현하는 A/V 디바이스(220)와 동기화시켜 제어함으로써 실감미디어를 재현한다. 그리고, 재현된 실감미디어의 실감효과 재현 정보를 실감효과 결정부(130)로 전송한다.
실감효과 메타데이터는 실감효과 재현 시점, 실감효과 종류, 실감효과 재현 시간(duration), 실감효과 강도 및 실감효과 별 추가 속성정보를 포함할 수 있다. 실감효과 재현 시점 및 실감효과 종류에 대한 정보는 초기 설정된 속성값의 변경이 허용되지 않는 고정속성 정보로 분류되고, 나머지 속성(실감효과 재현 시간, 실감효과 강도 및 실감효과 별 추가 속성정보)은 재현 시점에 사용자의 만족감 체감을 위해 변경이 가능한 가변속성 정보로 분류될 수 있다.
실감효과 결정부(130)는 실감-감성 지식베이스(160)에 저장된 실감효과 결정규칙을 이용하여 사용자의 감성상태에 따라 해당 사용자가 만족감을 체감할 수 있도록 실감효과를 결정하고, 결정된 실감효과에 따라 실감효과 메타데이터의 가변속성 정보를 재설정하여 사용자 맞춤형 실감효과 메타데이터(p-SEM)를 생성한 후 실감효과 재현부(120)로 전달한다.
사용자의 만족감은 실감미디어의 재현 목적에 따라 기쁨(happiness), 슬픔(sadness), 놀람(surprise), 공포(fear), 혐오(disgust), 분노(anger), 흥분(excitement), 흥미(interest), 허용(acceptance) 등의 기본감성(universal emotion) 중 하나 또는 이들 기본감성의 조합으로 정의될 수 있다. 예를 들어, 재현하고자 하는 실감미디어가 자동차 광고일 경우, 자동차 광고에 대한 사용자의 만족감은 기본감성 중 하나인 흥미로 정의될 수 있으며, 이 경우 실감효과 결정부(130)는 사용자가 흥미로운 감정을 최대로 느낄 수 있도록 실감효과 자극의 속성을 결정할 수 있다. 반면, 자동차 광고에 대한 사용자의 만족감이 기쁨과 흥미의 조합인 복합감성으로 정의되는 경우, 실감효과 결정부(130)는 사용자가 기쁘다는 감정과 흥미 모두를 최대로 체감할 수 있도록 실감효과 자극의 속성을 결정할 수 있다. 또한 실감효과 결정부(130)는 실감효과 결정규칙 간의 충돌을 감지하고 실감효과 결정규칙간의 일관성(consistency)을 보장할 수 있는 기능을 추가할 수 있다.
복합감성신호 수신부(140)는 실감효과 자극을 체험하고 있는 사용자의 동작, 음성, 생체 반응 등을 센싱하는 센싱 디바이스(230)로부터 영상, 음성, 생체신호 정보 등을 포함하는 복합감성신호를 수신하여 감성추론부(500)에 전달한다. 센싱 디바이스(230)에는 카메라, 마이크, 뇌파 센서, 맥파 센서, 온도 센서 등이 포함될 수 있다.
감성추론부(150)는 실감-감성 지식베이스(160)에 저장된 감성분류모델을 기반으로 복합감성신호 수신부(140)로부터 수신한 복합감성신호로부터 사용자의 감성상태를 추정한다.
감성추론부(150)는 일 예로, 도 2에 도시된 것과 같이 복합감성특징 추출부(152), 감성분류모델 생성부(154), 감성반응 판단부(156) 및 사용자 기본정보 추출부(158)를 포함할 수 있다.
복합감성특징 추출부(152)는 사용자가 특정 감성을 유도하는 자극(stimuli)을 통해 해당 감성을 체감하는 동안 측정된 복합감성신호를 센싱 디바이스(239)로부터 수신하여 이로부터 감성추론에 적합한 복합감성특징을 추출할 수 있다. 복합감성신호는 사용자의 얼굴표정, 전신 동작, 음성, 뇌파, 맥파 등을 센싱함으로써 측정된 영상, 음성, 생체신호 등을 포함할 수 있다.
감성분류모델 생성부(154)는 복합감성특징 추출부(152)에서 추출된 복합감성특징을 기초로 추출된 복합감성특징과 해당 감성 상태와의 상관관계를 가장 근접하게 추정하는 경험적 관계식인 감성분류모델을 생성하고, 생성한 감성분류모델을 실감-감성 지식베이스(160)에 저장한다.
감성반응 판단부(156)는 실감-감성 지식베이스(160)에 저장된 감성분류모델을 이용하여 실감미디어 재현부(120)에 의해 재현된 실감효과 자극에 대한 사용자의 감성 반응을 판단한다.
사용자 기본정보 추출부(158)는 복합감성신호 수신부(140)로부터 수신한 복합감성신호를 기초로 사용자의 성별과 연령대를 포함하는 사용자 기본정보를 추출하고, 추출한 사용자 기본정보를 실감-감성 지식베이스(160)에 저장한다. 일 예로, 사용자 기본정보 추출부(158)는 복합감성신호에 포함된 영상신호를 기초로 사용자의 성별 및 연령대를 추정할 수 있다.
실감-감성 지식베이스(160)는 감성상태별 복합감성신호 정보, 사용자 기본정보, 실감효과 재현정보, 감성분류모델, 실감효과 결정규칙 등을 포함한다. 실감-감성 지식베이스(160)는 감성추론부(150)의 의사결정에 사용되는 감성 지식베이스(610) 및 실감효과 결정부(130)의 의사결정에 사용되는 실감 지식베이스(620)로 구분될 수 있다. 이하, 도 3 내지 도 4를 참조하여 실감-감성 지식베이스에 대해 보다 상세히 설명한다.
도 3은 본 발명의 일실시예에 있어서 감성 지식베이스를 나타내는 예시도이고, 도 4는 본 발명의 일실시예에 있어서 실감 지식베이스를 나타내는 예시도이다. 한편, 도 5는 본 발명의 일실시예에 있어서 실감효과 결정 모델을 나타내는 예시도이고, 도 6은 본 발명의 일실시예에 있어서 실감효과 결정 규칙을 나타내는 예시도이다.
먼저 도 3을 참조하면, 감성 지식베이스는 감성추론부(150)가 복합감성신호 수신부(140)로부터 수신한 복합감성신호에서 복합감성특징을 추출한 결과를 저장한 감성 DB(DataBase) 및 감성 DB에 저장된 복합감성특징과 감성반응 간의 상관관계를 추정한 경험적 관계식(f)인 감성분류모델을 포함한다. 감성추론부(150)는 상기 감성분류모델을 기반으로 복합감성신호를 입력 받아 실감효과 자극에 대한 사용자의 감성 반응을 판단할 수 있다. 일 예로, 경험적 관계식(f)은 다중선형회귀모델, 인공신경망모델, 서포트벡터머신 모델 등의 회귀(regression)모델 중 하나로 수립하고, 감성DB를 이용하여 수립한 관계식의 파라미터를 추정함으로써 완성될 수 있다.
다음으로 실감 지식베이스는 도 4 내지 도 6에 도시된 것과 같이, 사용자 기본정보, 실감미디어 재현부(200)가 재현한 실감효과에 대한 실감효과 재현정보, 실감효과를 체험한 사용자의 감성반응 추론 결과로 구성된 실감DB, 실감 DB에서 실감효과 별로 감성반응을 분류하는 실감효과 결정모델 및 실감효과 결정모델에서 도출된 만족감에 해당되는 사용자 기본정보 및 실감효과 재현 조건인 실감효과 결정규칙을 포함한다. 실감효과 결정모델은 사용자의 성별과 연령대를 고려하여 사용자의 만족감을 유도하기 위한 실감효과 결정규칙의 도출이 용이한 의사결정 트리(decision tree) 모델을 기반으로 생성할 수 있다. 도 5에는 일 예로 실감효과가 진동효과인 경우의 실감효과 결정모델이 도시되어 있고, 도 6에는 실감효과가 진동효과인 경우의 실감효과 결정규칙이 도시되어 있다.
도 7은 본 발명의 일실시예에 있어서, 실감미디어 재현 방법을 나타내는 흐름도이다.
본 발명에 따른 실감미디어 재현 장치는 도 7에 도시된 바와 같이, 실감미디어 재현에 앞서 실감-감성 지식베이스의 초기화 여부를 판단할 수 있다(700). 실감-감성 지식베이스를 초기화하는 경우, 실감미디어 재현 장치는 감성 지식베이스를 생성하여 감성 지식베이스 초기화하고(800), 실감 지식베이스를 생성하여 실감 지식베이스 초기화한다(900). 실감-감성 지식베이스가 초기화되면, 실감미디어 재현 장치는 구축된 실감-감성 지식베이스를 기반으로 사용자가 만족감을 체감할 수 있도록 실감미디어를 재현할 수 있다.
일 예로, 실감미디어 재현 장치는 사용자가 만족감을 체감할 수 있도록 실감미디어를 재현하기 위하여 센싱 디바이스로부터 수신한 복합감성신호를 기초로 사용자의 성별, 연령대 등의 사용자 기본정보를 추출하여 실감-감성 지식베이스에 저장하고(710), 실감미디어를 수신하여 재현을 시작한다(720).
실감미디어 재현 장치의 실감미디어 재현부는 실감미디어 재현 중 해당 시점이 실감효과 재현 시점인지를 판단한다(730). 실감효과 재현 시점인 경우 실감미디어 재현부는 실감미디어 결정부로 사용자 맞춤형 실감효과 메타데이터(p-SEM) 전송을 요청할 수 있다. 실감효과 결정부는 사용자 맞춤형 실감효과 메타데이터를 요청 받으면, 실감 지식베이스에 저장된 실감효과 결정규칙을 이용하여 사용자가 만족감을 체감할 수 있도록 실감효과를 결정하고 이를 기초로 실감효과 메타데이터의 가변속성 정보를 재설정한다. 그리고, 재설정한 결과인 사용자 맞춤형 실감효과 메타데이터(p-SEM)를 실감미디어 재현부로 전송하여 실감미디어 재현부가 사용자 맞춤형 실감효과 메타데이터를 기초로 실감 디바이스를 제어하여 실감효과를 재현할 수 있도록 한다(740).
한편, 실감효과 재현 장치의 복합감성신호 수신부는 실감효과가 재현된 후 실감효과 자극에 대한 사용자의 감성반응을 센싱한 복합감성신호를 수신하여 감성추론부로 전송하고, 감성추론부는 감성 지식베이스에 저장된 감성분류모델을 기반으로 사용자의 감성반응을 추론한다(750). 그리고, 감성추론 결과가 만족감인지를 판단하여(760), 실감효과 자극에 대한 사용자의 감성반응이 만족감이 아닌 경우 최근의 복합감성신호, 사용자 기본정보, 실감효과 재현정보, 감성반응 추론결과로 실감 지식베이스의 실감DB, 실감효과 결정모델, 실감효과 결정규칙을 갱신하여 저장한다(770). 이러한 과정은 실감미디어 재현이 종료될 때까지 반복될 수 있다(780).
도 8은 본 발명의 일실시예에 있어서, 감성 지식베이스를 초기화하는 방법을 나타내는 흐름도이다.
도 8을 참조하면, 실감미디어 재현 장치는 감성 지식베이스 초기화 시 센싱 디바이스로부터 특정 감성(예를 들어, 기쁨, 슬픔 등의 기본감성)을 유도하는 음악, 그림, 영상 등의 자극(stimuli)이 사용자에게 제공되어 사용자가 해당 감성을 발현하는 동안 감지된 영상, 음성, 생체신호를 포함하는 복합감성신호를 수신하고 이로부터 사용자의 성별, 나이를 포함하는 사용자 기본정보를 추출하여 실감-감성 지식베이스에 저장하는 한편(810), 수신한 복합감성신호를 저장한다(820). 이어, 저장한 복합감성신호로부터 감성의 특성을 대표할 수 있는 복합감성특징을 추출하여 복합감성특징과 해당 감성상태 쌍(pair)을 감성 지식베이스에 저장한다(830). 그리고, 복합감성특징과 쌍이 되는 감성 상태와의 상관관계에 가장 근접한 경험적 관계식을 추정하여 감성분류모델을 생성하고, 그 결과인 감성분류모델을 감성 지식베이스에 저장하고(840) 종료한다.
도 9는 본 발명의 일실시예에 있어서, 실감 지식베이스를 초기화하는 방법을 나타내는 흐름도이다.
도 9를 참조하면, 실감미디어 재현 장치는 센싱 디바이스로부터 수신한 복합감성신호에서 사용자의 성별, 나이를 포함하는 기본정보를 추출하여 실감-감성 지식베이스에 저장한다(910). 이어, 다양한 실감효과를 포함하고 있는 훈련용 실감미디어를 수신하여 재현을 시작한다(920). 이후, 실감미디어 재현 중 실감효과 재현 시점인지를 판단하여(930), 실감효과 재현 직후 마다 재현한 실감효과에 대한 실감효과 종류, 시간, 세기를 포함하는 실감효과 재현 정보를 실감 지식베이스에 저장한다(940). 그리고, 재현한 실감효과 자극에 대한 사용자의 감성반응을 센싱한 복합감성신호를 수신하여 실감-감성 지식베이스에 저장하고(950), 감성 지식베이스에 저장된 감성분류모델을 기반으로 수신한 복합감성신호로부터 사용자의 감성반응을 추론하고 추론 결과를 실감 지식베이스에 저장한다(960). 이후, 훈련용 실감미디어의 재현 종료 여부를 판단하여, 실감미디어 재현 종료 전까지는 실감효과를 재현하고 실감효과를 체험한 사용자의 감성반응을 추론하는 과정(930~960)을 반복한다. 마지막으로 실감 지식베이스에 저장된 실감효과 재현 정보를 기초로 실감효과 종류 별로 사용자의 만족감 체감을 위한 실감효과 결정규칙을 생성하여 실감 지식베이스에 저장한다(980).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 실감미디어 재현 장치
110: 실감미디어 수신부
120: 실감미디어 재현부
130: 실감효과 결정부
140: 복합감성신호 수신부
150: 감성추론부
160: 실감-감성 지식베이스
210: AV 디바이스
220: 실감 디바이스
230: 센싱 디바이스
110: 실감미디어 수신부
120: 실감미디어 재현부
130: 실감효과 결정부
140: 복합감성신호 수신부
150: 감성추론부
160: 실감-감성 지식베이스
210: AV 디바이스
220: 실감 디바이스
230: 센싱 디바이스
Claims (18)
- 실감미디어를 재현하는 실감미디어 재현부;
상기 실감미디어 재현 시 측정된 사용자의 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 감성추론부;
상기 추론된 사용자의 감성 상태를 기초로 상기 실감미디어의 실감효과 속성을 결정하는 실감효과 결정부; 및
상기 실감효과 별로 감성반응을 분류하는 실감효과 결정모델 및 상기 복합감성신호를 저장하는 실감-감성 지식베이스
를 포함하고,
상기 실감미디어 재현부는,
상기 결정된 실감효과 속성에 따라 상기 실감미디어를 재현하며,
상기 실감효과 결정모델은 의사결정 트리(decision tree) 모델을 기반으로 생성되는 것을 특징으로 하는 실감미디어 재현 장치. - 제1항에 있어서,
상기 실감미디어는,
A/V(Audio/Video) 미디어 및 상기 실감미디어의 실감효과 재현을 위한 실감효과 메타데이터로 구성되는 것을 특징으로 하는 실감미디어 재현 장치. - 제2항에 있어서,
상기 실감효과 메타데이터는,
실감효과 재현 시점과 실감효과 종류를 포함하는 고정속성 정보 및 실감효과 재현 시간과 실감효과 강도를 포함하는 가변속성 정보를 포함하는 것을 특징으로 하는 실감미디어 재현 장치. - 제3항에 있어서,
상기 실감효과 결정부는,
상기 추론된 사용자의 감성 상태를 기초로 기 저장된 실감효과 결정규칙을 이용하여 상기 실감효과 속성을 결정하고, 상기 결정된 실감효과 속성을 기초로 상기 실감효과 메타데이터의 가변속성 정보를 재설정함으로써 사용자 맞춤형 실감효과 메타데이터를 생성하는 것을 특징으로 하는 실감미디어 재현 장치. - 제4항에 있어서,
상기 실감미디어 재현부는,
상기 사용자 맞춤형 실감효과 메타데이터를 기초로 상기 실감효과를 재현하는 실감 디바이스를 상기 A/V 미디어를 재현하는 A/V 디바이스와 동기화시켜 제어함으로써 상기 실감미디어를 재현하는 것을 특징으로 하는 실감미디어 재현 장치. - 제1항에 있어서,
상기 감성추론부는,
상기 실감미디어 재현 시 상기 사용자의 동작, 음성, 생체 반응 중 적어도 하나를 센싱하는 센싱 디바이스로부터 수신한 상기 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 것을 특징으로 하는 실감미디어 재현 장치. - 제6항에 있어서,
상기 감성추론부는,
상기 복합감성신호로부터 복합감성특징을 추출하는 복합감성특징 추출부;
상기 추출된 복합감성특징과 감성 간의 상관 관계를 추정하는 감성분류모델을 생성하는 감성분류모델 생성부; 및
상기 생성된 감성분류모델을 이용하여 상기 사용자의 실감효과에 대한 감성 반응을 판단하는 감성반응 판단부
를 포함하는 것을 특징으로 하는 실감미디어 재현 장치. - 제7항에 있어서,
상기 감성추론부는,
상기 복합감성신호에 포함된 영상 신호를 기초로 상기 사용자의 성별 및 연령대 중 적어도 하나를 포함하는 사용자 기본정보를 추출하는 사용자 기본정보 추출부를 더 포함하는 것을 특징으로 하는 실감미디어 재현 장치. - 제8항에 있어서,
상기 실감-감성 지식베이스는,
상기 추출된 사용자 기본정보, 상기 추출된 복합감성특징, 상기 판단된 사용자의 실감효과에 대한 감성 반응과 상기 생성된 감성분류모델을 포함하고 상기 사용자의 감성 상태를 추론 시 사용되는 감성 지식베이스; 및
상기 추출된 사용자 기본정보, 상기 재현된 실감미디어의 실감효과에 대한 정보, 상기 사용자의 실감효과에 대한 감성 반응에 대한 정보, 상기 실감효과를 결정하기 위한 실감효과 결정모델과 상기 실감효과 결정모델을 통해 도출된 실감효과 결정규칙을 포함하고 상기 실감효과 속성을 결정 시 사용되는 실감 지식베이스
를 포함하는 것을 특징으로 하는 실감미디어 재현 장치. - 실감미디어 재현 장치가 실감미디어를 재현하는 방법에 있어서,
실감미디어 재현 시 측정된 사용자의 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 단계;
상기 추론된 사용자의 감성 상태를 기초로 상기 실감미디어의 실감효과 속성을 결정하는 단계;
상기 실감효과 별로 감성반응을 분류하는 실감효과 결정모델 및 상기 복합감성신호를 실감-감성 지식베이스에 저장하는 단계; 및
상기 결정된 실감효과 속성에 따라 상기 실감미디어를 재현하는 단계
를 포함하며,
상기 실감효과 결정모델은 의사결정 트리(decision tree) 모델을 기반으로 생성되는, 실감미디어 재현 방법. - 제10항에 있어서,
상기 실감미디어는,
A/V(Audio/Video) 미디어 및 상기 실감미디어의 실감효과 재현을 위한 실감효과 메타데이터로 구성되는 것을 특징으로 하는 실감미디어 재현 방법. - 제11항에 있어서,
상기 실감효과 메타데이터는,
실감효과 재현 시점과 실감효과 종류를 포함하는 고정속성 정보 및 실감효과 재현 시간과 실감효과 강도를 포함하는 가변속성 정보를 포함하는 것을 특징으로 하는 실감미디어 재현 방법. - 제12항에 있어서,
상기 결정하는 단계 이후에,
상기 결정된 실감효과 속성을 기초로 상기 실감효과 메타데이터의 가변속성 정보를 재설정함으로써 사용자 맞춤형 실감효과 메타데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 실감미디어 재현 방법. - 제13항에 있어서,
상기 재현하는 단계는,
상기 사용자 맞춤형 실감효과 메타데이터를 기초로 상기 실감효과를 재현하는 실감 디바이스를 상기 A/V 미디어를 재현하는 A/V 디바이스와 동기화시켜 제어함으로써 상기 실감미디어를 재현하는 단계인 것을 특징으로 하는 실감미디어 재현 방법. - 제10항에 있어서,
상기 추론하는 단계는,
상기 실감미디어 재현 시 상기 사용자의 동작, 음성, 생체 반응 중 적어도 하나를 센싱하는 센싱 디바이스로부터 수신한 상기 복합감성신호를 기초로 상기 사용자의 감성 상태를 추론하는 단계인 것을 특징으로 하는 실감미디어 재현 방법. - 제15항에 있어서,
상기 추론하는 단계는,
상기 복합감성신호로부터 복합감성특징을 추출하는 단계;
상기 추출된 복합감성특징과 감성 간의 상관 관계를 추정하는 감성분류모델을 생성하는 단계; 및
상기 생성된 감성분류모델을 이용하여 상기 사용자의 실감효과에 대한 감성 반응을 판단하는 단계
를 포함하는 것을 특징으로 하는 실감미디어 재현 방법. - 제16항에 있어서,
상기 추론하는 단계 이전에,
상기 복합감성신호에 포함된 영상 신호를 기초로 상기 사용자의 성별 및 연령대 중 적어도 하나를 포함하는 사용자 기본정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 실감미디어 재현 방법. - 제17항에 있어서,
실감-감성 지식베이스에 저장하는 단계는,
상기 추출된 사용자 기본정보, 상기 추출된 복합감성특징, 상기 판단된 사용자의 실감효과에 대한 감성 반응과 상기 생성된 감성분류모델을 포함하고 상기 사용자의 감성 상태를 추론 시 사용되는 감성 지식베이스를 구축하는 단계; 및
상기 추출된 사용자 기본정보, 상기 재현된 실감미디어의 실감효과에 대한 정보, 상기 사용자의 실감효과에 대한 감성 반응에 대한 정보, 상기 실감효과를 결정하기 위한 실감효과 결정모델과 상기 실감효과 결정모델을 통해 도출된 실감효과 결정규칙을 포함하고 상기 실감효과 속성을 결정 시 사용되는 실감 지식베이스를 구축하는 단계;
를 포함하는 것을 특징으로 하는 실감미디어 재현 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130073621A KR101727592B1 (ko) | 2013-06-26 | 2013-06-26 | 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법 |
| US14/224,740 US20150004576A1 (en) | 2013-06-26 | 2014-03-25 | Apparatus and method for personalized sensory media play based on the inferred relationship between sensory effects and user's emotional responses |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130073621A KR101727592B1 (ko) | 2013-06-26 | 2013-06-26 | 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150001038A KR20150001038A (ko) | 2015-01-06 |
| KR101727592B1 true KR101727592B1 (ko) | 2017-04-18 |
Family
ID=52115928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130073621A KR101727592B1 (ko) | 2013-06-26 | 2013-06-26 | 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20150004576A1 (ko) |
| KR (1) | KR101727592B1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150127933A (ko) * | 2014-05-07 | 2015-11-18 | 한국전자통신연구원 | 실감효과 재현 장치 및 그 방법 |
| US20160063874A1 (en) * | 2014-08-28 | 2016-03-03 | Microsoft Corporation | Emotionally intelligent systems |
| JP6365229B2 (ja) * | 2014-10-23 | 2018-08-01 | 株式会社デンソー | 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム |
| US9711056B1 (en) * | 2016-03-14 | 2017-07-18 | Fuvi Cognitive Network Corp. | Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills |
| KR102573933B1 (ko) * | 2016-10-04 | 2023-09-05 | 한국전자통신연구원 | 기계 학습 기반의 실감 미디어 저작 방법 및 장치 |
| KR102015017B1 (ko) * | 2016-11-25 | 2019-08-28 | 한국표준과학연구원 | 생체신호 측정을 이용한 감성벡터 기반 몰입촉발 감성 실시간 추적방법 |
| KR102651253B1 (ko) * | 2017-03-31 | 2024-03-27 | 삼성전자주식회사 | 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 |
| KR102173554B1 (ko) | 2019-02-22 | 2020-11-03 | 이정열 | 스포츠 스코어 관리 시스템 |
| KR20220120022A (ko) | 2021-02-22 | 2022-08-30 | 이정열 | 스포츠 스코어 관리 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002178A1 (en) * | 2007-06-29 | 2009-01-01 | Microsoft Corporation | Dynamic mood sensing |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
| WO2009051428A1 (en) * | 2007-10-16 | 2009-04-23 | Electronics And Telecommunications Research Institute | Sensory effect media generating and consuming method and apparatus thereof |
| US20100275235A1 (en) * | 2007-10-16 | 2010-10-28 | Sanghyun Joo | Sensory effect media generating and consuming method and apparatus thereof |
| WO2010008235A2 (ko) * | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
| US8712958B2 (en) * | 2008-07-16 | 2014-04-29 | Electronics And Telecommunications Research Institute | Method and apparatus for representing sensory effects and computer readable recording medium storing user sensory preference metadata |
| KR20100008774A (ko) * | 2008-07-16 | 2010-01-26 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
| US20110125788A1 (en) * | 2008-07-16 | 2011-05-26 | Electronics And Telecommunications Research Institute | Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata |
| KR20100033954A (ko) * | 2008-09-22 | 2010-03-31 | 한국전자통신연구원 | 실감 효과 표현 방법 및 장치 |
| WO2010120137A2 (ko) * | 2009-04-15 | 2010-10-21 | 한국전자통신연구원 | 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치 |
| KR20100114857A (ko) * | 2009-04-16 | 2010-10-26 | 한국전자통신연구원 | 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치 |
| US20100268745A1 (en) * | 2009-04-16 | 2010-10-21 | Bum-Suk Choi | Method and apparatus for representing sensory effects using sensory device capability metadata |
| KR101303648B1 (ko) * | 2009-12-08 | 2013-09-04 | 한국전자통신연구원 | 감성신호 감지 장치 및 그 방법 |
| KR101262922B1 (ko) * | 2009-12-10 | 2013-05-09 | 한국전자통신연구원 | 감성 변화에 따른 감성지수 결정 장치 및 그 방법 |
| US20120167035A1 (en) * | 2010-12-22 | 2012-06-28 | Electronics And Telecommunications Research Institute | Apparatus and method for developing customer-oriented emotional home application service |
| TWI489451B (zh) * | 2012-12-13 | 2015-06-21 | Univ Nat Chiao Tung | 基於語音情感辨識之音樂播放系統及其方法 |
-
2013
- 2013-06-26 KR KR1020130073621A patent/KR101727592B1/ko active IP Right Grant
-
2014
- 2014-03-25 US US14/224,740 patent/US20150004576A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002178A1 (en) * | 2007-06-29 | 2009-01-01 | Microsoft Corporation | Dynamic mood sensing |
Non-Patent Citations (1)
| Title |
|---|
| 고광은, 심귀보 ‘Multi-Modal 감정인식 기반 서비스추론 기술 개발’, 제어로봇시스템학회 국내학술대회 논문집, p 480-483, (2008.10.14) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150001038A (ko) | 2015-01-06 |
| US20150004576A1 (en) | 2015-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101727592B1 (ko) | 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법 | |
| US11481946B2 (en) | Information processing apparatus, information processing method, program, and information processing system for reinforcing target behavior | |
| US11303976B2 (en) | Production and control of cinematic content responsive to user emotional state | |
| CN112118784B (zh) | 用于检测神经生理状态的社交交互应用 | |
| EP3381175B1 (en) | Apparatus and method for operating personal agent | |
| JP4481682B2 (ja) | 情報処理装置及びその制御方法 | |
| US9996973B2 (en) | Augmented reality objects based on biometric feedback | |
| US20190196576A1 (en) | Virtual reality device and a virtual reality server | |
| JP7424285B2 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
| JP2019532374A (ja) | ユーザの感情状態を用いて仮想画像生成システムを制御するための技術 | |
| JP6589880B2 (ja) | 情報処理システム、制御方法、および記憶媒体 | |
| CN102473320A (zh) | 通过学习到的来自用户的输入使视觉表示生动化 | |
| CA2673644A1 (en) | Situated simulation for training, education, and therapy | |
| Cheok et al. | Human-robot intimate relationships | |
| US20210312167A1 (en) | Server device, terminal device, and display method for controlling facial expressions of a virtual character | |
| US20230047787A1 (en) | Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power | |
| KR20130082701A (ko) | 인공지능을 이용한 감성인지 아바타 서비스 장치 및 방법 | |
| KR100580617B1 (ko) | 오브젝트 성장제어 시스템 및 그 방법 | |
| Bisogni et al. | Deep learning for emotion driven user experiences | |
| Mavromoustakos-Blom et al. | Personalized crisis management training on a tablet | |
| CN114712862A (zh) | 虚拟宠物交互方法、电子设备及计算机可读存储介质 | |
| Brambilla et al. | StrEx: Towards a Modulator of Stressful Experience in Virtual Reality Games | |
| KR102596322B1 (ko) | 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| US11822719B1 (en) | System and method for controlling digital cinematic content based on emotional state of characters | |
| WO2023189558A1 (ja) | 情報処理システムおよび情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |