KR20230101498A - 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 - Google Patents
가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 Download PDFInfo
- Publication number
- KR20230101498A KR20230101498A KR1020210191637A KR20210191637A KR20230101498A KR 20230101498 A KR20230101498 A KR 20230101498A KR 1020210191637 A KR1020210191637 A KR 1020210191637A KR 20210191637 A KR20210191637 A KR 20210191637A KR 20230101498 A KR20230101498 A KR 20230101498A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- emotion
- sensory information
- data
- electronic device
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 192
- 238000000034 method Methods 0.000 title claims description 30
- 230000001953 sensory effect Effects 0.000 claims abstract description 121
- 206010044565 Tremor Diseases 0.000 claims abstract description 37
- 230000008921 facial expression Effects 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims description 90
- 230000014509 gene expression Effects 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 48
- 238000004891 communication Methods 0.000 claims description 33
- 210000003205 muscle Anatomy 0.000 claims description 15
- 230000037303 wrinkles Effects 0.000 claims description 14
- 230000036760 body temperature Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 206010028813 Nausea Diseases 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 208000002173 dizziness Diseases 0.000 claims description 4
- 201000003152 motion sickness Diseases 0.000 claims description 4
- 230000008693 nausea Effects 0.000 claims description 4
- 208000024891 symptom Diseases 0.000 claims description 4
- 241000238876 Acari Species 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 36
- 230000002996 emotional effect Effects 0.000 description 17
- 230000035807 sensation Effects 0.000 description 13
- 206010049816 Muscle tightness Diseases 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000028327 secretion Effects 0.000 description 7
- 210000004243 sweat Anatomy 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001516908 Metabus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 235000021395 porridge Nutrition 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 다양한 실시 예에 따르면, 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계; 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계; 및 상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 포함하는, 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치를 개시한다.
Description
본 발명은 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치에 관한 것이다. 상세하게는, 가상현실에 기반하여 가상공간에서 사용자의 감정을 출력하도록 처리하는 방법 및 그 전자장치를 개시한다.
가상현실이란 어떤 특정한 환경이나 상황을 정보통신기술을 이용하여 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황의 환경과 상호작용을 하고 있는 것처럼 만들어 주는 것을 말한다.
이를 통하여 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 사용자 경험을 제공한다.
가상현실을 구현하는 시스템은 사용자들이 가상의 현실을 느낄 수 있도록 하는 표시장치, 두부장착교시장치(Head mounted display) 등의 효과 창출장치(effector)를 가지며 또한 사용자의 반응을 감지하기 위한 데이터 장갑(data glove), 두부위치센서 등의 센서(sensor)를 통하여 구현된다.
특히, 증강현실(增强現實: Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한 것을 의미한다. 현실환경과 가상환경을 융합하는 증강현실 시스템은 미국, 일본을 중심으로 연구 및 개발이 진행되었다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.
증강현실의 3차원 표현방식은 물리적 공간에서 발생하는 현상들에 대한 이해를 높여준다. 특히 직접적인 체험을 강화해주는 1인칭 관점과 전지적 시점에서 현상을 이해하도록 돕는 3인칭 시점 등 다양한 각도에서의 관점을 제공함으로써 현상에 대한 이해의 폭을 넓히고 깊이를 더해 준다. 또한 증강현실은 가상적 객체를 활용하는 특성으로 인해 현실세계에 대한 시뮬레이션 뿐만 아니라 현실세계에서 불가능한 체험을 다양한 감각기관을 활용해 현실화해주는 장점을 지니고 있다.
전통적 인터페이스 환경에서는 사용자가 실제세계와 가상세계의 연속선상을 마음대로 쉽게 이동할 수 없다. 그러나 인간의 행동은 분절된 요소로 나눠질 수 없는 경우가 더 많으며, 사용자들은 특정 과제를 수행하는데 있어 실세계와 가상세계가 이음새 없이(seamless) 자연스럽게 전환될 수 있기를 기대한다. 이러한 점은 가상의 모델을 새롭게 만들거나 보려고 할 때, 3차원 그래픽 콘텐츠와 상호작용하고자 할 때 더욱 그러하다.
본 발명은, 가상현실에 기반하여 가상공간에 구현된 사용자의 캐릭터를 통하여 사용자의 감정을 표현하는 것에 그 목적이 있다.
본 발명은, 가상현실에 기반하여 가상공간에서 표현되는 사용자의 감정 및 표정을 현실적으로 구현하는 것에 그 목적이 있다.
본 발명의 다양한 실시 예를 통하여 해결하려는 과제들은 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따르면, 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계; 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계; 및 상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 포함하는, 가상현실에 기반하여 감정을 출력하는 방법을 개시한다.
여기서, 상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계는, 결정한 상기 사용자의 감정을 상기 가상공간에서 시각적으로 표시할 수 있다.
여기서, 가상현실에 기반하여 감정을 출력하는 방법은, 표현된 상기 사용자 캐릭터의 표정 및 상기 신체 적어도 일부의 떨림에 대한 반응으로 상기 둘 이상의 감각에 대한 새로운 감각정보를 수신하는 단계; 상기 감각정보 및 상기 새로운 감각정보의 차이에 기반하여 상기 사용자의 감정, 상기 사용자 캐릭터의 표정, 및 상기 신체 적어도 일부의 떨림에 대한 정보 중 적어도 일부를 수정하는 단계; 및 상기 수정에 기반하여 상기 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 더 포함할 수 있다.
여기서, 상기 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 상기 둘 이상의 감각 각각에 대하여 상기 사용자로부터 획득할 수 있는 최고값 데이터 또는 최저값 데이터의 감각정보를 수신하는 단계;를 포함할 수 있다.
여기서, 상기 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 상기 햅틱장치에 기반하여 측정되는, 체온, 악력, 떨림, 회전, 틱에 대한 데이터 중 적어도 하나의 데이터를 포함하는 상기 감각정보를 수신하는 단계;를 포함할 수 있다.
여기서, 상기 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 사용자의 눈 및 주변 영역을 촬영하는 적어도 하나의 카메라를 통해서 촬영한 상기 눈 및 주변 영역의 랜드마크, 상기 랜드마크의 움직임, 근육, 상기 근육의 움직임, 주름살, 및 상기 주름살의 움직임 중 적어도 일부에 대한 눈 영역 데이터를 포함하는 상기 감각정보를 수신하는 단계;를 더 포함하고, 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계는, 상기 눈 영역 데이터 및 적어도 하나의 다른 감각에 대한 데이터에 기반하여 상기 사용자의 감정을 결정하는 단계;를 더 포함하고, 및 상기 사용자의 감정에 기반하여 상기 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계는, 상기 눈 영역 데이터에 기반하는 상기 사용자 캐릭터의 표정을 표현하는 단계;를 더 포함할 수 있다.
여기서, 가상현실에 기반하여 감정을 출력하는 방법은, 상기 눈 영역 데이터 및 상기 적어도 하나의 다른 감각에 대한 데이터에 기반하여 멀미, 어지러움, 메스꺼움 중 적어도 하나의 증상을 결정하는 단계;를 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 적어도 하나의 햅틱장치와 통신하는 통신부; 상기 통신부를 통하여 송수신하는 데이터를 저장하는 저장부; 및 상기 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하고, 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하며, 및 상기 사용자의 감정에 기반하여 상기 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하도록 처리하는 처리부;를 포함하는, 가상현실에 기반하여 감정을 출력하는 전자장치를 개시한다.
본 발명의 다양한 실시 예에 따르면, 센싱장치를 통해서 획득한 사용자의 감각정보에 기반하여 사용자의 감정을 결정하고, 가상공간에 구현된 사용자의 캐릭터를 통하여 사용자의 감정을 표현함으로써 가상공간에서의 커뮤니케이션에 현실감을 형성할 수 있다.
본 발명의 다양한 실시 예에 따르면, 가상현실에 기반하여 가상공간에서 표현되는 사용자의 감정 및 표정을 현실적으로 구현함으로써, 가상공간을 통하여 사용자에게 다양한 경험을 현장감 있게 제공할 수 있고, 가상현실 컨텐츠의 수요를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 가상현실에 기반하여 감정을 출력하기 위한 전자장치 및 관련된 장치의 동작을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 전자장치의 가상현실에 기반하여 감정을 출력하는 동작의 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 전자장치의 가상현실에 기반하여 감정을 출력하는 동작의 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 가상현실에 기반하여 감정을 출력하기 위한 전자장치 및 관련된 장치의 동작을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 전자장치의 가상현실에 기반하여 감정을 출력하는 동작의 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 전자장치의 가상현실에 기반하여 감정을 출력하는 동작의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시 예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 실시 예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시 예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
본 발명의 다양한 실시 예에 따르면, 전자장치는 가상공간을 구현하고, 가상현실의 구현된 공간에서 객체 및 객체와 관련된 정보를 출력할 수 있다. 보다 상세하게 설명하면, 전자장치는 가상공간에서 사용자와 연결된 사용자 캐릭터 및 사용자 캐릭터와 관련된 콘텐츠를 구현할 수 있다.
본 발명의 다양한 실시 예에 따르면, 가상현실은 증강현실, 및/또는 혼합현실의 의미를 포함할 수 있고, 3차원(3 dimensional, 3D) 공간 및 3차원 공간에 대한 메타버스의 의미를 포함할 수 있다. 더하여, 상술한 3차원의 콘텐츠에 한정하지 않고, 2차원 공간 및 2차원 공간에서 처리하는 콘텐츠를 더 포함할 수 있다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 바람직한 실시 예들을 설명한다.
본 명세서에 첨부되는 도면들은 본 발명의 바람직한 일 실시 예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시 예에 따른 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 전자장치(100)는 처리부(110), 저장부(120), 및 통신부(130)를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100)는 통신부(130)를 통하여 적어도 하나의 다른 전자장치들과 연결되어 데이터를 송수신할 수 있다. 예를 들면, 전자장치(100)는 적어도 하나의 센싱장치 및/또는 서버와 연결되어 가상공간을 위한 데이터를 송수신할 수 있다.
여기서, 사용자 입력은 사용자에 의하여 전자장치(100)에 입력 및/또는 처리되는 데이터일 수 있다. 또한, 사용자에 의하여 전자장치(100)에서 구현된 가상공간, 가상공간의 콘텐츠를 제어하기 위한 입력일 수 있고, 가상공간에 구현된 사용자 캐릭터를 제어하기 위한 입력일 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자 입력은 전자장치(100)와 유선 및/또는 무선으로 연결된 적어도 하나의 센싱장치를 통하여 입력된 데이터를 수신하는 것일 수 있다.
여기서, 센싱장치는 속도, 가속도, 회전 등을 측정하는 모션센서, 가해지는 힘의 크기를 측정하는 압력센서, 접촉 상태를 측정하는 터치센서, 접촉된 부분의 감각, 마찰 등을 측정하는 촉각센서, 온도를 측정하는 온도센서, 습도를 측정하는 습도센서, 버튼, 스위치 중 적어도 하나를 구비하는 햅틱장치를 포함할 수 있다. 여기서, 모션센서는, 속도센서, 중력센서, 적외선센서, 초음파센서 중 적어도 하나를 포함하여 구성될 수 있다.
햅틱장치는, 사용자의 감각정보를 측정하는 센싱장치일 뿐만 아니라, 전자장치에서 제공하는 컨텐츠를 조작하는 컨트롤러의 기능을 수행할 수 있다. 예를 들면, 사용자는 햅틱장치를 조작함으로써 전자장치(100)의 가상체험 서비스의 컨텐츠를 제어할 수 있다.
여기서, 가상공간을 구현하는 것은, 전자장치(100)가 가상공간을 생성 및 구현하는 것일 수 있지만, 적어도 하나의 서버에서 생성된 가상공간에 대한 정보를 전자장치(100)가 수신하여 출력하는 것일 수 있다.
본 발명의 다양한 실시 예를 설명함에 있어서, "구현"의 용어를 사용함에 있어서, 가상공간에서 단순히 객체를 표시하는 것에 더하여, 객체의 시각적, 촉각적, 청각적 특징과 함께 콘텐츠를 표현하는 것으로 설명할 수 있다.
여기서, 사용자는 전자장치(100)를 통하여 가상공간에 연결되는 사용자 또는 가상현실, 증강현실, 및/또는 혼합현실 콘텐츠를 소비하는 소비자의 의미를 포함할 수 있다.
처리부(110)는 가상공간에서 사용자의 감정을 출력하는 서비스를 제공할 수 있다. 일 실시 예에 따르면, 처리부(110)는 통신부(130)를 통하여 적어도 하나의 센싱장치 및/또는 서버와 연결되며 가상공간 및 가상공간에 구현하기 위한 콘텐츠의 데이터를 송수신할 수 있다.
다양한 실시 예에 따르면, 전자장치(100)를 통하여 제공하는 가상공간 및 콘텐츠는 2차원, 3차원, 증강현실, 혼합현실, 및/또는 메타버스에 기반하여 제공되는 것일 수 있다. 더하여, 가상공간은, 전자장치(100)의 디스플레이를 통하여 구현된 가상공간일 있고, 사용자의 시각을 통하여 현장감을 제공하는 가상공간일 수 있고, 또는 사용자의 뇌 또는 감각기관과 연결되어 가상공간을 체험하도록 제공하는 등 다양한 방법을 통하여 제공되는 가상공간일 수 있다.
이때, 전자장치(100)는 가상공간을 구현하고 사용자에게 가상공간 및 콘텐츠를 제공하기 위한 프로그램(앱, 어플, 툴, 플러그인 등, 이하 가상체험 프로그램)이 설치된 상태에서 가상체험 프로그램을 통하여 가상현실, 증강현실, 및/또는 메타버스의 콘텐츠를 제공할 수 있다.
이하, 다양한 실시 예들에서, 전자장치(100)를 통하여 가상체험 서비스를 제공하는 것은, 가상체험 프로그램을 통하여 콘텐츠를 제공하는 것으로 이해될 수 있다.
여기서, 가상공간을 통해서 가상체험 서비스를 제공하는 실시 예들은, 전자장치(100)에 설치된 가상체험 프로그램을 통해서 제공되는 것으로 설명하고 있지만, 이에 한정하지 않고, 기 설치된 다른 프로그램, 임시 설치 프로그램, 또는 프로그램의 플러그인(plug-in)을 통하여 제공될 수도 있다.
일 실시 예에 따르면, 전자장치(100)는 가상체험 서비스는 전자장치(100) 외부 장치에서 무료 또는 유로로 제공되는 데이터베이스의 적어도 일부를 통하여(또는 연결하여) 제공될 수 있다.
처리부(110)는 가상현실에 기반하여 콘텐츠를 표시하기 위한 가상공간을 3차원(3 dimensional, 3D), 또는 2차원으로 구현할 수 있다. 이때, 처리부(110)는 사용자와 연결된 사용자 캐릭터를 가상공간에 구현할 수 있다.
일 실시 예에 따르면, 처리부(110)는 사용자와 연결된 사용자 캐릭터를 사용자의 형상 및/또는 외모와 동일 또는 유사하게 구현할 수 있고, 또는 다른 사람의 외모를 구현하거나 2차원/3차원으로 생성된 이미지로 구현할 수 있다.
다양한 실시 예에 따르면, 처리부(110)는 사용자 캐릭터를 구현함에 있어서, 사람의 신체 일부를 섬세하게 구현할 수 있다. 예를 들면, 처리부(110)는 얼굴 근육, 피부, 눈, 코, 입, 입술, 귀, 눈썹, 주름살 중 적어도 일부를 섬세하게 구현하고, 얼굴 표정을 현실감 있게 표현할 수 있다.
더하여, 처리부(110)는 사람의 손/손가락 근육, 손바닥, 손등, 손톱, 주름살, 지문 중 적어도 일부를 구현하고, 손 및/또는 손가락의 움직임을 섬세하게 구현할 수 있다. 뿐만 아니라, 처리부(110)는 팔, 어깨, 관절, 몸통 및 관련된 근육 중 적어도 일부를 구현하고, 움직임 및/또는 떨림 등을 섬세하게 구현할 수 있다.
더하여, 처리부(110)는 골반, 엉덩이, 다리, 발, 발가락 및 관련된 근육 죽 적어도 일부를 구현하고, 움직임 및/또는 떨림 등을 섬세하게 구현할 수 있다.
다양한 실시 예에 따르면, 처리부(110)는 사용자의 신체 적어도 일부를 사용자 캐릭터로 구현함에 있어서, 동물의 신체 일부를 포함하여 구현할 수 있고, 또는 무생물이나, 용, 골렘, 호빗, 드워프 등 다양한 가상의 캐릭터로 구현할 수 있다.
처리부(110)는 연결된 햅틱장치에서 측정되는 적어도 하나의 감각정보를 수신할 수 있다. 일 실시 예에 따르면, 햅틱장치는 사용자의 손으로 파지한 상태에서 힘을 가하거나 또는 이동, 회전 등의 움직임이는 동작을 가상공간에 구현된 사용자 캐릭터의 손, 팔 등의 움직임으로 구현하도록 사용자의 동작에 대한 데이터를 측정하는 장치일 수 있다.
일 실시 예에 따르면, 햅틱장치는 사용자의 손바닥 및/또는 손가락으로 햅틱장치의 지정된 위치를 감싸며 파지하는 동작, 힘을 가하는 동작, 문지르는 동작, 햅틱장치를 이동하는 동작 등 햅틱장치를 조작하는 다양한 움직임에 대한 데이터를 측정할 수 있다.
예를 들면, 햅틱장치는 전자장치(100)를 통하여 구현된 가상공간의 객체를 만지거나 조작하는 사용자 캐릭터의 동작 및/또는 사용자 캐릭터의 동작에 대응되는 데이터, 가상공간에 구현된 사용자 캐릭터를 통하여 사용자에게 전해지는 가상공간의 환경에 대한 반응에 대응되는 데이터 등의 다양한 데이터를 측정할 수 있다.
햅틱장치는 사용자 손바닥의 움직임, 각각의 손가락 움직임, 손가락 마디의 움직임, 마찰, 압력, 온도, 습도, 떨림(또는 진동) 등을 측정할 수 있도록 센서를 구비할 수 있다.
햅틱장치는 복수의 다양한 센서들, 버튼, 스위치 등으로부터 측정된 데이터를 감각정보로서 전자장치(100)에 전송할 수 있다. 처리부(110)는 햅틱장치로부터 수신한 데이터 및 저장부(120)에 저장된 데이터베이스에 기반하여 감각정보를 처리할 수 있다.
일 실시 예에 따르면, 데이터베이스는 햅틱장치를 구성하는 센서 각각에 대하여 측정된 데이터에 대응하는 신체의 감각 및/또는 움직임에 대한 매칭 정보를 포함하여 구성될 수 있다. 여기서, 신체의 움직임은 이동, 회전 등으로 구성되는 움직임 뿐만 아니라, 근육의 수축과 수축에 기반하는 긴장감 등의 움직임을 포함할 수 있다.
여기서, 데이터베이스는, 측정된 데이터의 값에 따라서 대응되는 신체의 감각 및/또는 움직임을 복수의 단계로 구분할 수 있다. 바람직하게는, 측정된 데이터들의 단위 값(또는 수치)에 대하여 신체의 감각 및/또는 움직임의 단계가 매칭되도록 데이터베이스가 구성될 수 있다.
처리부(110)는 사용자가 햅틱장치를 착용한 상태인지 미착용 상태인지 확인할 수 있다. 또한, 처리부(110)는 사용자가 햅틱장치를 착용된 상태에서 제대로 파지한 상태인지 여부를 확인할 수 있다. 여기서, 제대로 파지한 상태는, 손바닥 및 손가락의 지정된 부분이 센서에 터치된 상태를 의미할 수 있다.
처리부(110)는 수신한 데이터가 사용자가 햅틱장치를 파지한 상태에서 릴렉스 상태, 예를 들면, 사용자의 손바닥 및 손가락의 지정된 부분이 센서에 터치된 상태에서 힘을 가하지 않은 이완상태를 취하도록 요구하고, 이들에 대하여 수신한 데이터 및 데이터베이스에 기반하여 측정되는 가장 낮은 측정값을 릴렉스 상태로 정의할 수 있다.
처리부(110)는 수신한 데이터가 각각의 동작에 대하여 가장 강한 긴장상태, 예를 들면, 지정된 동작들에 대하여 사용자의 움직임으로 센서들에 가장 높은 측정값이 측정되는 움직임을 취하도록 요구하고, 이들에 대하여 수신한 데이터 및 데이터베이스에 기반하여 각각의 동작에 대한 가장 강한 단계를 결정할 수 있다.
더하여, 처리부(110)는 사용자가 햅틱장치를 파지한 상태에서 지정된 동작들을 수행함에 있어서, 각각의 동작에 대하여 센서들에 힘이 가해지는 상태에 따라서 릴렉스 상태와 가장 강한 긴장상태 사이의 복수의 단계로 구분할 수 있다.
처리부(110)는 수신한 데이터 및 데이터베이스에 기반하여 해당하는 신체 부위에 대한 움직임 및 감각을 결정하고, 신체 부위에 대한 움직임 및 감각으로 시각적, 촉각적, 청각적 특징에 기반하는 사용자의 감정을 결정할 수 있다.
예를 들면, 사용자의 감정은, 기쁨, 슬픔, 놀람, 평온함, 아픔, 및 이들과 관련된 감정들 중 적어도 하나의 감정으로 결정될 수 있다. 더하여, 사용자 감정은 Russell 감정차원 모델 및 그와 관련된 감정들을 고려하여 결정될 수 있다.
일 실시 예에 따르면, 처리부(110)는 신체 부위에 대한 움직임 및 감각 데이터에 기반하여 사용자의 감정을 결정함에 있어서, 행동 및 감각요소의 분석에 대한 매트릭스, 상호작용 요소에 대한 매트릭스 등의 지정된 데이터베이스에 기반하여 사용자의 감정 및 표현을 결정할 수 있다.
예를 들면, 처리부(110)는 신체 부위에 대한 움직임 및 감각 데이터는, 사용자의 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 중 적어도 일부를 포함하는 감정정보를 판단할 수 있고, 감정정보에 기반하여 사용자의 감정을 결정할 수 있다.
다양한 실시 예에 따르면, 전자장치(100)는 사용자의 눈 및 주변 영역을 촬영하는 적어도 하나의 카메라를 포함할 수 있고 또는, 사용자의 눈 및 주변 영역을 촬영하는 적어도 하나의 카메라와 유선 및/또는 무선으로 연결될 수 있다.
처리부(110)는 적어도 하나의 카메라를 통해서 촬영한 눈 및 주변 영역의 랜드마크, 랜드마크의 움직임, 근육, 근육의 움직임, 주름살, 및 주름살의 움직임 중 적어도 일부에 대한 눈 영역 데이터를 수신할 수 있다.
처리부(110)는 사용자의 감정을 결정함에 있어서 감각정보, 감정정보 뿐만 아니라 눈 영역 데이터를 함께 고려할 수 있고, 사용자 캐릭터의 표정을 결정함에 있어서 눈 영역 데이터 중 적어도 일부를 적용할 수 있다.
또한, 처리부(110)는 햅틱장치 및/또는 감각장치를 통하여 출력하기 위한 사용자의 감정정보를 결정함에 있어서, 눈 영역 데이터 중 적어도 일부를 함께 고려할 수 있다.
일 실시 예에 따르면, 처리부(110)는 눈 영역 데이터 및 센싱장치들을 통하여 수신한 감각정보에 기반하여 사용자의 감정 뿐만 아니라 멀미, 어지러움, 메스꺼움과 같은 사용자가 느끼는 증상을 결정할 수 있다.
이를 위하여, 데이터베이스는 눈 영역 데이터, 감각정보, 및/또는 감각정보의 연관성을 나타내는 매트릭스 등의 매칭 데이터를 포함할 수 있다.
처리부(110)는 사용자의 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 중 적어도 일부를 포함하는 감정정보 및 결정된 감정에 기반하여 사용자 캐릭터에서 구현하기 위한 표정 및 표정을 통한 감정의 정도를 결정할 수 있다.
처리부(110)는 가상공간에 구현된 사용자 캐릭터 및 햅틱장치 또는 사용자의 신체 일부에 접촉된 또는 부착된 감각장치를 통하여 감정정보를 출력할 수 있다.
일 실시 예에 따르면, 햅틱장치 및/또는 감각장치는 사용자의 감정에 대응되는 자극(또는 신호)를 사용자에게 전달하기 위한 전극, 모터, 진동판, 촉각재현장치, 발열장치, 가습장치, 스피커 중 적어도 하나의 구성을 포함할 수 있다. 여기서, 전자장치(100)는 감각장치의 적어도 일부의 구성을 포함할 수 있다.
상술한 바에 따르면, 처리부(110)는 가상공간에 구현한 사용자 캐릭터에 감정을 표현함에 있어서, 표정 및 표정을 통한 감정의 정도를 구현하고, 신체의 움직임, 떨림을 구현할 수 있다. 더하여, 처리부(110)는 사용자의 감정정보에 대응하는 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴의 정보를 햅틱장치 및/또는 감각장치의 전극, 모터, 진동판, 촉각재현장치, 발열장치, 가습장치, 및/또는 스피커를 통하여 구현할 수 있다.
처리부(110)는 햅틱장치, 감각장치, 및/또는 사용자 캐릭터를 통하여 출력된 사용자의 감정에 대한 리액션(reaction)을 수신할 수 있다.
일 실시예에 따르면, 햅틱장치, 감각장치, 및/또는 사용자 캐릭터를 통하여 출력된 감정의 상태와 사용자의 감정 상태의 싱크로율(synchronization)에 차이가 있는 경우, 사용자는 그에 대한 차이를 줄이기 위한 리액션을 취할 수 있고, 처리부(110)는 햅틱장치의 센서들을 통해서 측정된 감각정보 및/또는 적어도 하나의 카메라를 통해서 촬영된 눈 영역 데이터를 포함하는 감각정보를 사용자의 리액션 감각정보로서 수신할 수 있다.
상술한 바와 같이, 처리부(110)는 가상공간의 사용자 캐릭터를 통하여 표현한 사용자의 감정 및/또는 표정에 대하여 사용자의 리액션 데이터를 수신하고, 데이터베이스에 매칭된 사용자 캐릭터 신체의 감각 및/또는 움직임의 싱크(sync)를 수정할 수 있다.
이러한 과정을 통하여, 처리부(110)는 사용자의 동작 및 감정과 가상공간에 구현하는 사용자 캐릭터의 동작 및 감정에 대한 싱크로율을 높일 수 있다.
즉, 처리부(110)는 햅틱장치를 통하여 수신하는 감각정보, 리액션의 감각정보에 기반하여 사용자의 감정을 결정하는 동작을 처리함에 있어서 사용자의 감정 표현과 가상공간에 구현하는 사용자 캐릭터의 감정 표현에 대한 싱크로율을 높일 수 있다.
처리부(110)는 가상공간 내에서 콘텐츠를 구현할 수 있다. 이때, 가상공간에 구현하는 콘텐츠는 지정된 표시영역에 표시하는 2차원 및/또는 3차원 객체 또는 객체와 관련된 정보일 수 있다. 여기서, 객체와 관련된 정보는 적어도 하나의 이미지를 포함할 수 있다.
여기서, 표시영역을 통하여 표시하는 콘텐츠는 적어도 하나의 객체와 관련된 콘텐츠일 수 있다. 처리부(110)는 가상공간을 통하여 사용자 캐릭터의 움직임을 유도하는 적어도 하나의 콘텐츠를 제공하고, 사용자가 사용자 캐릭터를 조작하는 동작을 확인하고, 동작 및 동작 중 또는 동작 결과에 대한 반응을 확인할 수 있다.
다양한 실시 예에 따르면, 처리부(110)는 동작 및 동작 중 또는 동작 결과에 대한 반응으로서 햅틱장치 및/또는 적어도 하나의 카메라를 통해서 수신하는 감각정보를 처리하고, 사용자의 감정정보를 결정할 수 있다.
저장부(120)는 전자장치(100)의 적어도 하나의 구성요소(예: 처리부(110) 또는 통신부(130)에 의해 처리되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 콘텐츠를 제공하기 위한 프로그램(또는 소프트웨어), 등록상품 및 등록상품에 기반하여 생성된 다양한 테이블들, 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
저장부(120)는 가상공간에서 콘텐츠를 출력하거나 구현하고, 감각정보, 감정정보 등을 처리하기 위한 인공신경망 알고리즘 및 이와 관련된 메커니즘, 연산자, 언어모델 중 적어도 일부를 포함할 수 있다.
저장부(120)는 햅틱장치를 구성하는 센서 각각에 대하여 측정된 데이터에 대응하는 신체의 감각 및/또는 움직임에 대한 매칭 정보를 포함하여 저장할 수 있다. 여기서, 신체의 움직임에 대한 정보, 매칭 정보는, 신체의 이동, 회전 등으로 구성되는 움직임 뿐만 아니라, 근육의 수축과 수축에 기반하는 긴장감 등의 움직임에 대한 정보를 포함하여 저장할 수 있다.
저장부(120)는 센서를 통하여 측정된 데이터의 값에 따라서 대응되는 신체의 감각 및/또는 움직임을 복수의 단계로 구분하는 데이터를 포함할 수 있다. 예를 들면, 측정된 데이터들의 지정된 값(또는 수치)에 대하여 신체의 감각 및/또는 움직임의 단계가 매칭되도록 데이터베이스가 구성될 수 있다.
저장부(120)는, 신체 부위에 대한 움직임 및 감각 데이터에 기반하여 사용자의 감정을 결정하기 위한, 행동 및 감각요소의 분석에 대한 매트릭스, 상호작용 요소에 대한 매트릭스 등의 매칭 데이터를 저장할 수 있다.
저장부(120)는 눈 영역 데이터, 감각정보, 및/또는 감각정보의 연관성을 나타내는 매트릭스 등의 매칭 데이터를 포함할 수 있다.
저장부(120)에 저장된 데이터는 전자장치(100)의 관리자 입력 또는 전자장치(100)의 사용자 입력에 기반하여 처리부(110)를 통하여 변경, 수정, 삭제, 또는 생성될 수 있다.
저장부(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함하여 구성될 수 있다.
통신부(130)는 전자장치(100)와 적어도 하나의 다른 전자장치(예: 다른 전자장치 또는 서버)의 유선 통신 채널의 수립, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
통신부(130)는 처리부(110)에 종속적 또는 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다.
통신부(130)는 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크 및/또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다.
통신부(130)를 구성하는 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
다양한 실시 예에 따르면, 전자장치(100)는 상술한 구성요소들에 한정하지 않고, 데이터를 입력하는 입력부(미도시), 및 데이터를 출력하는 출력부(미도시) 중 적어도 하나를 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100)는 이동통신단말기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 internet protocol(IP) 단말기, 메타버스 접속기기 등을 비롯한 모든 정보통신기기가 적용될 수 있다. 일례로, 전자장치(100)는 휴대폰, 피씨(personal computer, PC), 피엠피(portable multimedia player, PMP), 엠아이디(mobile internet device, MID), 스마트폰(smartphone), 태블릿 PC, 패블릿 PC, 노트북(notebook), VR(virtual reality) 기기 등을 예시할 수 있다.
여기서, 서버는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 서버는 전자장치(100)의 처리에 기반하여 전자장치(100)에 다양한 콘텐츠를 제공하고, 제공된 콘텐츠에 대한 사용자의 조회 이력을 저장하며, 그 조회 이력을 기초로 사용자가 선호하는 콘텐츠를 추천할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 가상현실에 기반하여 감정을 출력하기 위한 전자장치 및 관련된 장치의 동작을 도시한다.
감각센싱(201) 동작에서, 센싱장치는 포함된 적어도 하나의 적어도 하나의 센서를 통해서 센싱장치를 착용(또는 부착, 파지)한 사용자의 신체 일부의 움직임 및 감각에 대한 정보를 측정할 수 있다.
센싱장치는 사용자의 손에 접촉 또는 착용하는 햅틱장치를 포함할 수 있다. 햅틱장치는 사용자에 의하여 파지되고 사용자가 힘을 가하거나 움직이는 동작에 대한 데이터를 측정할 수 있다. 더하여, 센싱장치는 사용자의 눈 및 주변 영역을 촬영하는 적어도 하나의 카메라를 더 포함할 수 있다.
감각매칭(203) 동작에서, 전자장치(100)는 센싱장치로부터 감각정보를 수신하고, 수신한 감각정보에 기반하여 사용자 신체의 감각 및/또는 움직임에 대한 정보를 결정할 수 있다. 예를 들면, 전자장치(100)는 센서를 통하여 수신한 데이터에 기반하여, 사용자의 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 중 적어도 일부를 포함하는 감정정보를 결정할 수 있다.
더하여, 전자장치(100)는 적어도 하나의 카메라로부터 눈 및 주변 영역의 랜드마크, 랜드마크의 움직임, 근육, 근육의 움직임, 주름살, 및 주름살의 움직임 중 적어도 일부에 대한 눈 영역 정보를 포함하는 감각정보를 수신할 수 있다.
감정결정(205) 동작에서, 전자장치(100)는 감각정보 및 감정정보에 기반하여 사용자의 상태, 감각, 감정 등의 정보를 결정할 수 있다. 이때, 전자장치(100)는 감각정보 및 감정정보의 수치에 기반하여 상태, 감각, 감정의 표현 정도를 결정할 수 있다.
예를 들면, 전자장치(100)는 큰 센싱 값을 보이는 근육의 긴장에 대한 데이터로서 햅틱장치를 꽉 쥐는 사용자의 동작과 함께, 햅틱장치를 꽉 쥐는 동작으로 인하여 발생된 신체의 떨림에 대한 데이터를 판단하고, 사용자의 감정을 분노로 결정할 수 있다. 이때,
또는, 전자장치(100)는 큰 센싱 값을 보이는 근육의 긴장에 대한 데이터로서 햅틱장치를 꽉 쥐는 사용자의 동작과 함께, 햅틱장치를 쥔 사용자의 손이 지정된 값 이상의 반복되는 떨림에 대한 데이터를 판단하고, 사용자의 감정을 분노 또는 슬픔(및/또는 울음)의 불명확한 감정으로 결정할 수 있다.
이러한 경우, 전자장치(100)는 수신한 데이터. 데이터베이스, 및/또는 딥러닝에 기반하는 정보를 통하여 감정을 결정하거나, 센싱장치를 통하여 수신되는 다른 감각정보들을 함께 고려함으로써 사용자의 감정을 결정할 수 있다.
또한, 전자장치(100)는 카메라로부터 수신하는 눈 영역 데이터를 함께 고려하여 사용자의 감정을 결정할 수 있다. 예를 들면, 눈 영역 데이터를 통해서 확인되는 사용자의 감정이 슬픔과 관련된 감정이고, 눈물을 확인하는 경우, 전자장치(100)는 사용자의 감정을 울음의 감정과 함께, 햅틱장치를 쥔 사용자의 손이 지정된 값 이상의 반복되는 떨림에 대하여 울음을 참는 감정을 결정할 수 있다.
상술한 바와 같이, 전자장치(100)는 사용자의 감정과 함께, 사용자의 상태, 및/또는 감정 표현의 정도에 대한 정보를 결정할 수 있다.
감정표현(207) 동작에서, 전자장치(100)는 가상공간에 구현된 사용자 캐릭터를 통하여, 결정된 사용자의 감정을 표현할 수 있다. 예를 들면, 전자장치(100)는 사용자 캐릭터의 얼굴, 표정, 표정을 짓는 정도, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 등의 표현을 구현함으로써 사용자의 감정과 그 상태를 출력할 수 있다.
더하여, 전자장치(100)는 사용자의 동작 및 감정과 가상공간에 구현하는 사용자 캐릭터의 동작 및 감정에 대한 싱크로율을 높이기 위한 동작을 수행할 수 있다.
전자장치(100)는 사용자의 감정을 결정하는데 기반이 된 감정정보, 예를 들면, 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 중 적어도 일부의 상태를 햅틱장치 및/또는 감각장치를 통하여 출력할 수 있다.
전자장치(100)는 가상공간의 사용자 캐릭터를 통하여 구현된 사용자의 감정 표현과 함께 햅틱장치 및/또는 감각장치를 통하여 출력되는 감정정보에 대한 반응으로서, 다시 감각센싱(201) 동작을 수행하며 측정되는 사용자의 리액션 감각정보를 수신할 수 있다.
전자장치(100)는 감각매칭(203) 동작 및 감정결정(205) 동작을 수행하며, 수신한 사용자의 리액션 감각정보에 포함된 데이터의 변화에 기반하여 데이터베이스에 매칭된 사용자 캐릭터 신체의 감각 및/또는 움직임의 싱크(sync)를 수정할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자장치의 가상현실에 기반하여 감정을 출력하는 동작의 흐름도이다.
전자장치(100)는 신체의 적어도 일부를 통한 감각, 움직임 등의 신체반응에 대하여 측정(또는 센싱)된 감각정보에 기반하여 사용자의 감각, 움직임 등에 대한 데이터를 결정하고, 데이터에 기반하여 사용자의 감정정보 및 감정을 결정하며, 결정된 감정을 가상공간에 구현된 신체의 적어도 일부를 통하여 재현할 수 있다.
301 단계에서, 전자장치(100)는 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신한다.
여기서, 전자장치(100)는 사용자의 신체 일부와 접촉되는 적어도 하나의 센서를 포함하는 햅틱장치로부터 체온, 악력, 떨림, 회전, 틱(tic) 등에 대한 데이터 중 적어도 하나의 데이터를 포함하는 감각정보를 수신할 수 있다.
전자장치(100)는, 사용자의 감가의 단계를 보다 정확하게 구분하기 위하여 사용자에게 지정된 시나리오를 제공하며, 그에 대한 응답으로서 적어도 하나의 감각 각각에 대하여 사용자로부터 획득할 수 있는 최고값 및 최저값 데이터를 포함하는 감각정보를 수신할 수 있다.
다양한 실시 예에 따르면, 전자장치(100)에 감각정보를 전송하는 햅틱장치는 복수개를 포함하여 구성될 수 있다. 예를 들면, 사용자의 양손에 각각 착용(또는 파지)하도록 구성될 수 있고, 6 자유도(six degrees of freedom, 6DOF)를 지원하는 경우, 사용자의 발 및/또는 하반신에 적용되는 센싱장치를 추가로 더 포함할 수 있다.
더하여, 전자장치(100)는 사용자의 눈 및 주변영역을 촬영하는 적어도 하나의 카메라를 더 포함할 수 있다. 전자장치(100)는 카메라를 통하여 촬영된 눈 및 주변 영역의 랜드마크, 랜드마크의 움직임, 근육, 근육의 움직임, 주름살, 및 주름살의 움직임 중 적어도 일부에 대한 눈 영역 데이터를 포함하는 감각정보를 수신할 수 있다.
303 단계에서, 전자장치(100)는 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정한다.
전자장치(100)는 수신한 감각정보에 기반하여, 사용자의 감정을 결정하기 위한 감정정보를 결정할 수 있다. 일 실시 예에 따르면, 전자장치(100)는 감각정보에 포함된 각각의 감각들에 대한 값(또는 수치)에 기반하여 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 중 적어도 일부를 포함하는 감정정보를 결정할 수 있다.
일 실시 예에 따르면, 전자장치(100)는 감각 정보에 기반하여 감정과 관련된 감정정보를 결정하는 방법에 있어서, 데이터베이스에 저장된 매트릭스 및 AI, 인공신경망, 빅데이터 등의 논리 프로세스 등을 참고하여 결정할 수 있다.
전자장치(100)는 감정정보들의 상호작용 및 연관성에 대한 정보를 기반하여 사용자의 감정을 결정할 수 있다. 여기서, 상호작용 및 연관성에 대한 정보는 관련된 정보 매트릭스와 같은 데이터베이스에 기반하여 확인할 수 있고, 더 나아가 AI, 인공신경망, 빅데이터 등의 논리 프로세스 등을 참고할 수 있다.
전자장치(100)는 감정은, 기쁨, 슬픔, 놀람, 평온함, 아픔, 및 이들과 관련된 감정들 중 적어도 하나의 감정 및/또는 복합감정을 결정할 수 있고, 결정한 감정의 표현 정도를 결정할 수 있다.
전자장치(100)는, 감정의 표현 정도를 복수의 단계로 구분하고, 각각의 단계에 대하여, 그 표현 정도를 크게 출력할 수 있다. 예를 들면, 전자장치(100)는 경직, 떨림 등으로 분노 정도를 표현하는 경우, 사람의 분노가 커질수록 발생되는 신체 지정된 일부의 경직, 떨림의 정도를 단계별로 구분하여 결정할 수 있다.
더하여, 전자장치(100)는 카메라를 통하여 눈 영역 데이터를 포함하는 감각정보를 수신하는 경우, 수신한 감각정보에 기반하여 사용자의 감정을 결정하기 위한 연관성을 가지는 감각정보를 결정할 수 있다. 전자장치(100)는 햅틱장치를 통해서 수신한 감각정보 및 이에 기반하는 감정정보를 함께 고려하여 사용자의 감정을 결정할 수 있다.
전자장치(100)는 결정한 사용자 감정 및 그 표현 정보를 가상공간에 구현하기 위한 데이터를 결정할 수 있다. 일 실시 예에 따르면, 전자장치(100)는 가상공간에 구현된 사용자 캐릭터의 신체 적어도 일부를 통하여 사용자의 감정 및 그 표현 정도를 재현하도록 데이터를 결정할 수 있다.
예를 들면, 전자장치(100)는 사용자의 감정, 표현의 정도 및 감정정보에 기반하여 사용자 캐릭터의 신체 중 적어도 일부에 대한 신체의 떨림, 근육의 긴장, 신체의 움직임, 신체의 움직임 패턴 등의 표현을 구현하도록 데이터를 결정할 수 있다.
더하여, 전자장치(100)는, 사용자 캐릭터의 얼굴 표정을 구현하는 경우, 눈 영역 데이터를 통한 감정정보에 기반하여 사용자 캐릭터의 표정 및 표정을 통한 감정의 표현 정도를 결정할 수 있다.
305 단계에서, 전자장치(100)는 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현한다.
전자장치(100)는 결정된 감정, 표정 및 그 표현 정도를 가상공간에 구현된 사용자 캐릭터를 통하여 출력할 수 있다. 이때, 전자장치(100)는 감정 및 감정정보에 기반하여 사용자 캐릭터의 신체 적어도 일부에 대하여 결정된 떨림, 긴장감, 움직임과 그 표현 정도를 출력할 수 있다.
전자장치(100)는 사용자의 감정 및 감정표현을 사용자 캐릭터를 통하여 출력함에 있어서, 사용자의 감정을 사용자 캐릭터와 별도의 영역을 통하여 출력할 수 있다.
전자장치(100)는 사용자 캐릭터를 통하여 출력되는 감정 및 감정표현과, 별도의 영역에 시각적으로 출력된 사용장의 감정을 사용자가 확인하도록 처리함으로써, 이들에 차이가 존재하는 경우에 대한 피드백을 수신할 수 있다.
더하여, 전자장치(100)는 햅틱장치 및/또는 적어도 하나의 감각장치를 통하여 사용자의 캐릭터를 통하여 출력하는 감정 및 감정 표현을 출력할 수 있다.
전자장치(100)는 사용자 캐릭터를 통하여 사용자의 감정이 출력되는 신체 부위에 대응되는 감각장치를 통해서 땀 분비, 체온, 신체의 떨림, 근육의 긴장, 신체의 움직임 등을 출력할 수 있다.
전자장치(100)는 출력하는 감각을 결정함에 있어서, 센싱장치를 통해서 측정된 감각정보 및/또는 이에 기반하여 결정된 감정정보의 연관성을 고려하여 햅틱장치 및/또는 사용자의 신체와 접촉된 감각장치의 전극, 모터, 진동판, 촉각재현장치, 발열장치, 가습장치, 스피커 중 적어도 하나의 동작으로 출력할 수 있다.
다양한 실시 예에 따르면, 햅틱장치 및/또는 감각장치를 통해서 출력되는 사용자의 감정 및 감정표현은, 가상체험 서비스의 특정 모드를 위한 동작일 수 있다.
예를 들면, 전자장치(100)는 사용자의 감정 및 그 표현과 사용자 캐릭터를 통해서 출력되는 사용자의 감정 및 감정표현 사이의 싱크로율을 제어하기 위한 모드에서 처리될 수 있다.
전자장치(100)는 305 동작을 수행하면 도 3의 실시 예를 종료할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전자장치의 가상현실에 기반하여 감정을 출력하는 동작의 흐름도이다.
전자장치(100)는 사용자 캐릭터를 통해서 출력한 사용자의 감정 및 감정표현에 대한 반응으로서 사용자의 리액션을 수신하고, 이에 기반하여 감정정보 및 사용자의 감정을 다시 결정하고, 사용자 캐릭터를 통해서 출력되는 감정 및 감정표현의 정도를 제어할 수 있다.
401 단계에서, 전자장치(100)는 표현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림에 대한 반응으로 둘 이상의 감각에 대한 새로운 감각정보를 수신한다.
전자장치(100)는 사용자 캐릭터를 통해 구현된 감정 및 감정표현에 대한 반응으로 사용자의 리액션을 수신할 수 있다. 예를 들면, 전자장치(100)는 사용자 캐릭터를 통한 감정 및 감정표현의 구현 이후 햅틱장치 및/또는 센싱장치를 통해서 측정된 감각정보를 수신할 수 있다.
다양한 실시 예에 따르면, 가상공간의 사용자 캐릭터를 통해 구현된 사용자의 감정 뿐만 아니라 이와 함께 햅틱장치 및/또는 감각장치를 통하여 출력된 감정정보에 대한 반응으로 측정된 감각정보를 수신할 수 있다.
403 단계에서, 전자장치(100)는 감각정보 및 새로운 감각정보의 차이에 기반하여 사용자의 감정, 사용자 캐릭터의 표정, 및 신체 적어도 일부의 떨림에 대한 정보 중 적어도 일부를 수정한다.
전자장치(100)는 수신한 감각정보에 기반하여 사용자의 감정 및 감정표현을 결정하기 위한 감정정보를 결정할 수 있고, 감정정보에 기반하는 사용자의 감정 및 사용자 캐릭터를 통해서 출력하기 위한 감정표현 데이터를 결정할 수 있다.
전자장치(100)는 사용자의 피드백을 수신하기 전 감각정보, 강정정보, 사용자의 감정 및 감정표현 데이터의 적어도 일부와 사용자의 피드백으로 수신한 감각정보, 감정정보, 사용자의 감정 및 감정표현의 데이터의 적어도 일부를 비교할 수 있다.
일 실시 예에 따르면, 사용자는 사용자 캐릭터를 통해서 출력된 감정 및 감정표현과 사용자 본인의 감정 및 감정표현에 차이가 클수록 사용자의 리액션 정도가 클 수 있다.
전자장치(100)는 사용자의 리액션으로 수신하는 감각정보와 기 수신한 감각정보 및 이들에 기반하는 감정정보, 사용자의 감정 및 감정표현의 차이를 비교하고, 이들의 연관관계에 기반하여 수신하는 감각정보들에 대한 사용자 캐릭터를 통하여 출력되는 신체의 감각 및/또는 움직임의 싱크(sync)를 수정할 수 있다.
405 동작에서, 전자장치(100)는 수정에 기반하여 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현한다. 전자장치(100)는 수정된 데이터를 확인하고, 사용자 캐릭터를 통하여 사용자의 감정 및 감정표현을 출력할 수 있다.
더하여 전자장치(100)는 사용자의 선택에 기반하여 401 단계 내지 405 단계의 동작들을 반복수행 함으로써, 사용자의 동작 및 감정과 가상공간에 구현하는 사용자 캐릭터의 동작 및 감정에 대한 싱크로율을 높일 수 있다.
전자장치(100)는 405 단계를 수행하면 도 4의 동작을 종료할 수 있다.
본 발명의 일 실시 예에 따르면, 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계; 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계; 및 상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 포함하는, 가상현실에 기반하여 감정을 출력하는 방법을 개시한다.
여기서, 상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계는, 결정한 상기 사용자의 감정을 상기 가상공간에서 시각적으로 표시할 수 있다.
여기서, 가상현실에 기반하여 감정을 출력하는 방법은, 표현된 상기 사용자 캐릭터의 표정 및 상기 신체 적어도 일부의 떨림에 대한 반응으로 상기 둘 이상의 감각에 대한 새로운 감각정보를 수신하는 단계; 상기 감각정보 및 상기 새로운 감각정보의 차이에 기반하여 상기 사용자의 감정, 상기 사용자 캐릭터의 표정, 및 상기 신체 적어도 일부의 떨림에 대한 정보 중 적어도 일부를 수정하는 단계; 및 상기 수정에 기반하여 상기 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 더 포함할 수 있다.
여기서, 상기 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 상기 둘 이상의 감각 각각에 대하여 상기 사용자로부터 획득할 수 있는 최고값 데이터 또는 최저값 데이터의 감각정보를 수신하는 단계;를 포함할 수 있다.
여기서, 상기 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 상기 햅틱장치에 기반하여 측정되는, 체온, 악력, 떨림, 회전, 틱에 대한 데이터 중 적어도 하나의 데이터를 포함하는 상기 감각정보를 수신하는 단계;를 포함할 수 있다.
여기서, 상기 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 사용자의 눈 및 주변 영역을 촬영하는 적어도 하나의 카메라를 통해서 촬영한 상기 눈 및 주변 영역의 랜드마크, 상기 랜드마크의 움직임, 근육, 상기 근육의 움직임, 주름살, 및 상기 주름살의 움직임 중 적어도 일부에 대한 눈 영역 데이터를 포함하는 상기 감각정보를 수신하는 단계;를 더 포함하고, 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계는, 상기 눈 영역 데이터 및 적어도 하나의 다른 감각에 대한 데이터에 기반하여 상기 사용자의 감정을 결정하는 단계;를 더 포함하고, 및 상기 사용자의 감정에 기반하여 상기 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계는, 상기 눈 영역 데이터에 기반하는 상기 사용자 캐릭터의 표정을 표현하는 단계;를 더 포함할 수 있다.
여기서, 가상현실에 기반하여 감정을 출력하는 방법은, 상기 눈 영역 데이터 및 상기 적어도 하나의 다른 감각에 대한 데이터에 기반하여 멀미, 어지러움, 메스꺼움 중 적어도 하나의 증상을 결정하는 단계;를 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 적어도 하나의 햅틱장치와 통신하는 통신부; 상기 통신부를 통하여 송수신하는 데이터를 저장하는 저장부; 및 상기 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하고, 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하며, 및 상기 사용자의 감정에 기반하여 상기 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하도록 처리하는 처리부;를 포함하는, 가상현실에 기반하여 감정을 출력하는 전자장치를 개시한다.
본 발명의 다양한 실시 예에 따르면, 센싱장치를 통해서 획득한 사용자의 감각정보에 기반하여 사용자의 감정을 결정하고, 가상공간에 구현된 사용자의 캐릭터를 통하여 사용자의 감정을 표현함으로써 가상공간에서의 커뮤니케이션에 현실감을 형성할 수 있다.
본 발명의 다양한 실시 예에 따르면, 가상현실에 기반하여 가상공간에서 표현되는 사용자의 감정 및 표정을 현실적으로 구현함으로써, 가상공간을 통하여 사용자에게 다양한 경험을 현장감 있게 제공할 수 있고, 가상현실 컨텐츠의 수요 및 수익의 창출을 크게 향상시킬 수 있다.
상술한 바와 같이, 전자장치(100)를 통하여 사용자의 감정을 사용자 캐릭터를 통하여 표현하고 이들의 싱크를 제어하기 위한 다양한 동작들은 멀티모달 인터페이스(multimodal interface)를 구현하기 위한 프레임워크 시스템의 구성요소로서 구성될 수 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다 해야 할 것이다.
100: 전자장치
110: 처리부
120: 저장부 130: 통신부
120: 저장부 130: 통신부
Claims (8)
- 가상현실에 기반하여 감정을 출력하는 방법에 있어서,
햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계;
상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계; 및
상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 포함하는, 가상현실에 기반하여 감정을 출력하는 방법. - 제1항에 있어서,
상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계는,
결정한 상기 사용자의 감정을 상기 가상공간에서 시각적으로 표시하는 것을 특징으로 하는, 가상현실에 기반하여 감정을 출력하는 방법. - 제1항에 있어서,
표현된 상기 사용자 캐릭터의 표정 및 상기 신체 적어도 일부의 떨림에 대한 반응으로 상기 둘 이상의 감각에 대한 새로운 감각정보를 수신하는 단계;
상기 감각정보 및 상기 새로운 감각정보의 차이에 기반하여 상기 사용자의 감정, 상기 사용자 캐릭터의 표정, 및 상기 신체 적어도 일부의 떨림에 대한 정보 중 적어도 일부를 수정하는 단계; 및
상기 수정에 기반하여 상기 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계;를 더 포함하는, 가상현실에 기반하여 감정을 출력하는 방법. - 제1항에 있어서,
상기 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는,
상기 둘 이상의 감각 각각에 대하여 상기 사용자로부터 획득할 수 있는 최고값 데이터 또는 최저값 데이터의 감각정보를 수신하는 단계;를 포함하는, 가상현실에 기반하여 감정을 출력하는 방법. - 제1항에 있어서,
상기 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는,
상기 햅틱장치에 기반하여 측정되는, 체온, 악력, 떨림, 회전, 틱에 대한 데이터 중 적어도 하나의 데이터를 포함하는 상기 감각정보를 수신하는 단계;를 포함하는, 가상현실에 기반하여 감정을 출력하는 방법. - 제1항에 있어서,
상기 햅틱장치를 포함하는 적어도 하나의 센싱장치로부터 둘 이상의 감각에 대한 감각정보를 수신하는 단계는, 사용자의 눈 및 주변 영역을 촬영하는 적어도 하나의 카메라를 통해서 촬영한 상기 눈 및 주변 영역의 랜드마크, 상기 랜드마크의 움직임, 근육, 상기 근육의 움직임, 주름살, 및 상기 주름살의 움직임 중 적어도 일부에 대한 눈 영역 데이터를 포함하는 상기 감각정보를 수신하는 단계;를 더 포함하고,
상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하는 단계는, 상기 눈 영역 데이터 및 적어도 하나의 다른 감각에 대한 데이터에 기반하여 상기 사용자의 감정을 결정하는 단계;를 더 포함하고, 및
상기 사용자의 감정에 기반하여 상기 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하는 단계는, 상기 눈 영역 데이터에 기반하는 상기 사용자 캐릭터의 표정을 표현하는 단계;를 더 포함하는, 가상현실에 기반하여 감정을 출력하는 방법. - 제6항에 있어서,
상기 눈 영역 데이터 및 상기 적어도 하나의 다른 감각에 대한 데이터에 기반하여 멀미, 어지러움, 메스꺼움 중 적어도 하나의 증상을 결정하는 단계;를 더 포함하는, 가상현실에 기반하여 감정을 출력하는 방법. - 가상현실에 기반하여 감정을 출력하는 전자장치에 있어서,
적어도 하나의 햅틱장치와 통신하는 통신부;
상기 통신부를 통하여 송수신하는 데이터를 저장하는 저장부; 및
상기 햅틱장치를 포함하는 적어도 하나의 센싱 장치로부터 둘 이상의 감각에 대한 감각정보를 수신하고, 상기 둘 이상의 감각에 대한 감각정보에 기반하여 사용자의 감정을 결정하며, 및 상기 사용자의 감정에 기반하여 가상공간에 구현된 사용자 캐릭터의 표정 및 신체 적어도 일부의 떨림을 표현하도록 처리하는 처리부;를 포함하는, 가상현실에 기반하여 감정을 출력하는 전자장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210191637A KR20230101498A (ko) | 2021-12-29 | 2021-12-29 | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210191637A KR20230101498A (ko) | 2021-12-29 | 2021-12-29 | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230101498A true KR20230101498A (ko) | 2023-07-06 |
Family
ID=87185609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210191637A KR20230101498A (ko) | 2021-12-29 | 2021-12-29 | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230101498A (ko) |
-
2021
- 2021-12-29 KR KR1020210191637A patent/KR20230101498A/ko not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10317997B2 (en) | Selection of optimally positioned sensors in a glove interface object | |
| Genay et al. | Being an avatar “for real”: a survey on virtual embodiment in augmented reality | |
| CN108815804B (zh) | 基于myo臂环和移动端的vr上肢康复训练平台及方法 | |
| US9367136B2 (en) | Holographic object feedback | |
| JP2022549853A (ja) | 共有空間内の個々の視認 | |
| CN102779000B (zh) | 一种用户交互系统和方法 | |
| WO2020009800A1 (en) | Methods and systems for interpolation of disparate inputs | |
| CN107533369A (zh) | 带有外围装置的手套指尖的磁性跟踪 | |
| EP3797931B1 (en) | Remote control system, information processing method, and program | |
| US11049325B2 (en) | Information processing apparatus, information processing method, and program | |
| US20170285694A1 (en) | Control device, control method, and program | |
| JP2019133568A (ja) | 仮想空間におけるキャラクタの制御方法 | |
| WO2021246134A1 (ja) | デバイス、制御方法及びプログラム | |
| US9000899B2 (en) | Body-worn device for dance simulation | |
| Maeda et al. | Parasitic humanoid: The wearable robotics as a behavioral assist interface like oneness between horse and rider | |
| KR20230101498A (ko) | 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치 | |
| Meske et al. | Enabling human interaction in virtual reality: An explorative overview of opportunities and limitations of current VR technology | |
| Jyothi et al. | Haptic technology-a sense of touch | |
| Ang et al. | Put down the controller, enable “walking” in a virtual reality (vr) environment: A review | |
| Bayousuf et al. | Haptics-based systems characteristics, classification, and applications | |
| JP2019020836A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
| WO2020130112A1 (ja) | 所定のコンテンツを有する仮想空間を提供する方法 | |
| Rakkolainen et al. | State of the Art in Extended Reality—Multimodal Interaction | |
| Young et al. | Ungrounded vari-dimensional tactile fingertip feedback for virtual object interaction | |
| JP7413472B1 (ja) | 情報処理システムおよびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |