KR102564202B1 - 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법 - Google Patents

사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법 Download PDF

Info

Publication number
KR102564202B1
KR102564202B1 KR1020210071153A KR20210071153A KR102564202B1 KR 102564202 B1 KR102564202 B1 KR 102564202B1 KR 1020210071153 A KR1020210071153 A KR 1020210071153A KR 20210071153 A KR20210071153 A KR 20210071153A KR 102564202 B1 KR102564202 B1 KR 102564202B1
Authority
KR
South Korea
Prior art keywords
user
virtual animal
information
electronic device
virtual
Prior art date
Application number
KR1020210071153A
Other languages
English (en)
Other versions
KR20220162566A (ko
Inventor
동서연
나희원
Original Assignee
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숙명여자대학교산학협력단 filed Critical 숙명여자대학교산학협력단
Priority to KR1020210071153A priority Critical patent/KR102564202B1/ko
Publication of KR20220162566A publication Critical patent/KR20220162566A/ko
Application granted granted Critical
Publication of KR102564202B1 publication Critical patent/KR102564202B1/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

본 발명은 카메라를 통해 촬영된 이미지 데이터를 획득하는 과정; 마이크로폰을 통해 녹음된 소리 데이터를 획득하는 과정; 상기 이미지 데이터 및 상기 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보를 획득하는 과정; 및 상기 상호 작용정보에 기초하여 가상동물의 피드백을 디스플레이부 및 음향 출력부를 통하여 출력하는 과정;을 포함하며, 상기 가상동물의 피드백은 상기 상호 작용정보(IA)에 대한 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법을 제공할 수 있다.

Description

사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법 {Electronic device providing interaction with virtual animals for user's stress relief and control method thereof}
본 발명은 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법에 관한 것이다.
최근 들어, 반려동물에 대한 관심이 증가하면서 반려동물을 키우는 가정이 늘어나고 있다. 학계에서 반려동물을 키움으로써 스트레스가 완화되는 효과를 얻을 수 있다고 알려졌다.
그러나, 동물이 키우고 싶어도 경제적 혹은 신체적 이유로 반려동물을 키우기 어려운 사람이 있다. 예를 들어, 동물에 대한 알러지가 있거나, 반려동물을 입양하여 키우기에 형편이 안될 수 있다.
미국 등록특허 제10,852,540호
본 발명은 혼합 현실의 가상동물을 이용하여 사용자의 스트레스 완화하는 전자장치 및 이의 제어방법을 제공하는 목적을 가진다.
본 발명은 실제 동물에 대한 알러지가 있거나 경제적인 문제로 실제 동물을 키울 수 없는 사람에게도 가상동물을 키울 수 있는 환경을 제공함으로써, 실제 동물을 키우는 것과 같이 스트레스 완화의 효과를 제공하는 목적을 가진다.
본 발명의 일 실시예는, 프로세스에 의해서 수행되는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법에 있어서, 카메라를 통해 촬영된 이미지 데이터를 획득하는 과정; 마이크로폰을 통해 녹음된 소리 데이터를 획득하는 과정; 상기 이미지 데이터 및 상기 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보를 획득하는 과정; 및 상기 상호 작용정보에 기초하여 가상동물의 피드백을 디스플레이부 및 음향 출력부를 통하여 출력하는 과정;을 포함하며, 상기 가상동물의 피드백은 상기 상호 작용정보(IA)에 대한 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법을 제공할 수 있다.
본 발명의 일 실시예는, 사용자 센싱부를 이용하여 사용자의 생체 데이터를 획득하는 과정; 환경 센싱부를 이용하여 주변의 환경 데이터를 획득하는 과정; 및 상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 및 상기 환경 데이터에 기초하여 상기 상호 작용정보를 재획득하는 과정을 더 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법을 제공할 수 있다.
본 발명의 일 실시예는, 사용자 센싱부를 이용하여 사용자의 생체 데이터를 획득하는 과정; 상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 중 적어도 하나에 기초하여 사용자 인지 정보를 획득하는 과정; 및 상기 사용자 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 정;을 더 포함하며, 상기 가상동물의 피드백은 상기 상호 작용정보(IA)가 동일하더라도 상기 가상동물의 모드 상태에 따라 다른 상기 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법을 제공할 수 있다.
본 발명의 일 실시예에서, 상기 사용자 인지 정보는, 상기 이미지 데이터에 기초해 결정된 사용자의 시선, 동작에 대한 정보, 상기 소리 데이터에 기초해 결정된 사용자의 음성 정보, 상기 사용자의 생체 데이터에 기초해 결정된 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예는, 환경 센싱부를 이용하여 주변의 환경 데이터를 획득하는 과정; 통신부를 통해 가상동물 인지 신호를 수신하는 과정; 상기 이미지 데이터, 상기 소리 데이터, 상기 주변의 환경 데이터, 상기 가상동물 인지 신호 중 적어도 2개에 기초하여 환경 인지 정보를 획득하는 과정; 및 상기 환경 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정;을 더 포함하며, 상기 가상동물의 피드백은 상기 상호 작용정보(IA)가 동일하더라도 상기 가상동물의 모드 상태에 따라 다른 상기 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법을 제공할 수 있다.
본 발명의 일 실시예에서, 상기 환경 인지 정보는, 상기 이미지 데이터에 기초해 결정된 주변에 위치하는 정적 객체 또는 동적 객체 관한 정보, 상기 소리 데이터에 기초해 결정된 상기 정적 객체 또는 동적 객체에 관한 음향 정보, 상기 주변의 환경 데이터에 기초해 결정된 주변 환경의 밝기 및 온도 관한 정보, 상기 가상동물 인지 신호에 기초해 결정된 상기 전자장치로부터 소정 거리 이내에서 위치한 제1 전자장치에서 의해 제공되는 제1 가상동물에 대한 식별 정보를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 가상동물 모드 상태는, 상기 가상동물에 대한 사용자의 시선 및 동작에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제1모드; 상기 가상동물에 대한 사용자의 음성 명령 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제2모드; 상기 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제3모드; 및 상기 상호 작용정보(IA)에 반응하지 않고 가상동물이 혼자 움직이는 상기 가상동물의 피드백을 제공하는 제4모드;를 포함할 수 있다.
본 발명의 일 실시예는, 카메라, 마이크로폰, 프로세스를 포함하는 전자장치에 있어서, 상기 프로세서는, 상기 카메라를 통해 촬영된 이미지 데이터를 획득하는 과정; 상기 마이크로폰을 통해 녹음된 소리 데이터를 획득하는 과정; 상기 이미지 데이터 및 상기 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보를 획득하는 과정; 및 상기 상호 작용정보에 기초하여 가상동물의 피드백을 디스플레이부 및 음향 출력부를 통하여 출력하는 과정;을 수행하도록 제어하며, 상기 가상동물의 피드백은 상기 상호 작용정보(IA)에 대한 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치를 제공할 수 있다.
본 발명은 실제 동물에 대한 알러지가 있거나 경제적인 문제로 실제 동물을 키울 수 없는 사람에게도 가상동물을 키울 수 있는 환경을 제공함으로써, 실제 동물을 키우는 것과 같은 스트레스 완화의 효과를 제공하는 효과를 가진다.
본 발명은 가상동물이라도 실제 동물과 같은 반응 내지 피드백을 제공함으로써, 사용자에게 실제 동물을 키우는 듯한 느낌을 받는 환경을 제공하는 효과를 가진다.
도 1은 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 사시도를 도시한 것이다.
도 2는 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 구성을 도시한 것이다.
도 3는 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치를 사용자가 착용한 모습을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치를 사용자가 실내에 위치한 모습을 도시한 것이다.
도 5는 도 4의 전자장치의 디스플레이부의 인지 화면을 통해 나타나는 모습을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법의 흐름도를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물의 피드백에 관한 개념도를 도시한 것이다.
도 8은 사용자의 음성 명령에 대응하는 가상동물의 피드백에 관한 것이고, 도 9는 사용자의 동작 혹은 시선 이동에 대응하는 가상동물의 피드백에 관한 것이고, 도 10은 사용자의 생체 정보에 대응하는 가상동물의 피드백, 사용자 주변의 실제 객체에 대응하는 가상동물의 피드백, 사용자 주변의 환경 정보에 대응하는 가상동물의 피드백에 관한 것이다.
도 11은 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법의 흐름도를 도시한 것이다.
도 12는 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물의 피드백에 관한 개념도를 도시한 것이다.
도 13은 가상 동물이 모드 상태에서 다른 자세를 취하고 있는 가상동물을 인지 화면 상에서 나타낸 것이다.
도 14는 본 발명의 일 실시예에 따른 전자장치로부터 제1 소정 거리 밖에 위치한 제1 전자장치와 전자장치를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 전자장치로부터 제1 소정 거리 이내에 위치한 제1 전자장치와 전자장치를 도시한 것이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈(module)" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니며, 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다.
이하에서 첨부된 도면을 참고하여, 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 사시도를 도시한 것이다. 도 2는 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 구성을 도시한 것이다.
본 발명의 일 실시예에 따른 전자 장치(1000)는, 단말기, 디바이스, 전자기기 등으로 호칭될 수 있으며, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 디지털 카메라, 가전기기, 기타 컴퓨팅 장치, 디스플레이 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 또한, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전자장치(1000)는 가상 현실 또는 혼합 현실 디스플레이 디바이스, HMD 디바이스, 니어 아이 디바이스(near-eye device)로서, 씨쓰루의 혼합 현실 디스플레이 시스템일 수 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전자 장치(1000)는, 메모리(1100), 출력부(1200), 프로세서(1300), 센싱부(1400), 통신부(1500), A/V 입력부(1600), 사용자 입력부(1700), 시선 검출 시스템(1800)을 포함할 수도 있다.
*메모리(1100)
메모리(1100)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되는 정보 또는 전자 장치(1000)로부터 출력되는 정보를 저장할 수도 있다. 메모리(1100)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1110), 인공지능 모듈(1120), 가상동물의 동영상 모듈(1130) 등으로 분류될 수 있다.
UI 모듈(1110)은, 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있고, 사용자의 동작 또는 음성을 감지하고, 동작 또는 음성에 관한 정보를 프로세서(1300)로 전달할 수 있다. UI 모듈(1110)은 사용자의 동작 또는 음성을 식별하기 위하거나, 실제 정적 또는 동적 객체를 식별하기 위한 제어부(1300)를 통해 실행 가능한 저장된 명령어를 포함할 수 있다.
인공지능 모듈(1120)은 미리 학습된 인공지능 모듈로서, 사용자의 동작 또는 음성에 대해 대응하는 가상동물의 동영상을 직접 생성하거나, 적합한 가상동물의 동영상을 선택할 수 있는 정보를 생성할 수 있다.
가상동물의 동영상 모듈(1130)은 디스플레이부(1210)를 통해 사용자에게 제공될 복수의 가상동물의 동영상들을 포함할 수 있다. 예를 들어, 복수의 가상동물의 동영상은 '가상동물이 앉는 동작의 동영상', '가상동물이 눕는 동작의 동영상', '가상동물이 점프 뛰는 동작의 동영상' 등과 같이 실제동물의 동작을 수초 단위의 클립으로 저장한 것 일 수 있다.
*출력부(1200)
출력부(1200)는, 음성 및/또는 신호를 출력할 수 있으며, 가상동물의 동영상을 출력할 수 있다. 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 를 포함할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 디스플레이부(1210)는 메모리(1100)에 저장된 데이터의 시각적 표현을 제공하기 위해 사용될 수 있다. 이 시각적 표현은 그래픽 유저 인터페이스(graphical user interface; GUI)의 형태를 취할 수도 있다.
디스플레이부(1210)는 씨쓰루 디스플레이부를 형성하는 하나 이상의 렌즈를 포함하고, 렌즈를 통해 투영된 이미지를 씨쓰루 디스플레이부 상에 디스플레이 할 수 있다. 이를 통해, . 디스플레이부(1210)는 가상 현실, 증강 현실 또는 혼합 현실을 구현할 수 있다. 디스플레이부(1210)는 가상 현실, 증강 현실 또는 혼합 현실을 구현하기 위해 전방 카메라(1610)의 뷰파인더 모드를 통해 혼합 현실 이미지를 디스플레이할 수도 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1100)에 저장된 음성 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 가상동물의 동영상과 관련된 음향 신호를 출력한다.
*프로세서(1300)
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1700), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1700) 등을 전반적으로 제어할 수 있다. 프로세서(1300)는 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 다른 논리적 구성물(other logical construct)의 일부인 명령어를 실행하도록 구성될 수도 있다.
*센싱부(1400)
센싱부(1400)는, 사용자의 상태 또는 사용자의 주변 환경 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 센싱부(1400)은 사용자 혹은 전자장치의 모션을 감지하는 모션센서(1410), 사용자의 생체 데이터를 감지하는 사용자 센싱부(1420), 사용자 주변 환경을 검출하는 환경 센싱부(1430)를 포함할 수 있다.
센싱부(1400)의 모션 센서(1410)는 사용자가 전자장치(1000)를 착용하고 있을 때 사용자의 머리의 움직임 및 포지션/방위/포즈를 검출할 수 있다. 하나 이상의 모션 센서는 관성 센서(1411), 가속도 센서(Acceleration sensor)(1412), 자이로스코프 센서(1413), 위치 센서(예컨대, GPS)(1414), 근접 센서(1415)를 포함할 수 있다.
모션 데이터의 사용은, 카메라(1610)로부터의 이미지 데이터가 분석될 수 없더라도, 시선 위치의 변화가 추적되는 것을 허용할 수도 있다. 모션 센서뿐 만 아니라 마이크로폰(1620) 및 시선 검출 시스템(1800)은 사용자 입력 디바이스로서 활용될 수도 있다. 그 결과 사용자는 눈, 목 및/또는 머리의 제스쳐 뿐만 아니라, 음성 명령(verbal command)을 통해 전자장치(1000)와 상호작용할 수 있다.
센싱부(1400)의 사용자 센싱부(1420)은 전자장치(1000)의 사용자의 심박수 및 호흡수, 혈압, 뇌 활동, 체온, 등 중 적어도 하나를 검출할 수 있는 적어도 하나의 생체 센서(biometric sensor)(1421)를 포함할 수 있다.
생체 센서(1421)는 기능적 근적외선 분광기 (fNIRS)을 포함할 수 있다. 기능적 근적외선 분광기(fNIRS)는 피질의 생리학적 반응을 측정할 수 있다. fNIRS는 근적외선을 사용하여 피질 뇌의 산소포화도 및 탈산소 헤모글로빈 농도 변화를 측정하는 광학 이미징 기술이다. 최근 휴대용 및 다중 채널 fNIRS 하드웨어가 발전함에 따라 fNIRS는 다른 비침습적 뇌 영상 기술에 비해 비용 효율적이고 가벼운 측정 시스템으로 간주된다.
센싱부(1400)의 환경 센싱부(1430)는 온도, 습도, 고도, UV(ultraviolet; 자외광 레벨, 등을 검출하기 위한 온도 센서(1431), 조도 센서(1432), 기압 센서(1433), 습도 센서(1434), RGB 센서(RGB sensor)(1435), UV 센서(1436) 중 적어도 하나를 포함할 수 있다.
*통신부(1500)
통신부(1500)는, 전자 장치(1000)가 다른 제1 전자장치(1000') 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 제1 전자장치(1000')는 제1 전자장치(1000')를 착용한 사용자에게 제1 가상동물의 동영상을 제공하는 장치이 수 있다.
통신부(1500)는, 블루투스, NFC, WLAN, Zigbee, 등과 같은 근거리 통신부(1510), 이동 통신망 상에서 기지국을 통해 다른 단말과 무선신호를 송수신하는 이동 통신부(1520), 방송 채널을 통해 외부 방송 신호 및/또는 방송 정보를 수신하는 방송 수신부(1530)를 포함할 수 있다.
*A/V(Audio/Video) 입력부(1600)*
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다.
카메라(1610)는 사용자가 보고 있는 백그라운드 장면 및/또는 물리적 환경의 이미지를 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 제어부(1300)는 화상 프레임을 처리하여 이미지 데이터를 획득할 수 있다.
마이크로폰(1620)은, 외부 혹은 사용자의 음향 신호를 입력 받아 전기적인 소리 데이터로 처리한다. 마이크로폰(1630)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1630)은 사용자의 음성 입력을 수신할 수 있다.
*사용자 입력부(1700)*
사용자 입력부(1700)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 일 예로 사용자 입력부(1700)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드, 조그 휠, 조그 스위치 등을 포함할 수 있다.
나아가, 사용자 입력부(1700)는 선택된 내츄럴 유저 인터페이스(natural user input; NUI) 컴포넌트를 포함할 수 있다. NUI 컴포넌트는, 스피치 및/또는 보이스 인식을 위한 마이크; 머신 비전(machine vision) 및/또는 제스쳐 인식을 위한 적외선, 컬러, 입체, 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트래커(head tracker), 아이 트래커(eye tracker), 가속도계, 및/또는 자이로스코프뿐만 아니라 뇌 활동을 평가하기 위한 전기장 감지 컴포넌트를 포함할 수도 있다.
* 시선 검출 시스템(1800)*
시선 검출 시스템(1800)은, 사용자 각각의 눈의 시선의 방향 또는 초점의 위치 또는 방향을 검출할 수 있다. 시선 검출 시스템(1800)은, 광의 광채(glint)가 사용자의 각각의 안구로부터 반사될 수 있도록 구성된 하나 이상의 광채 소스(1810)(예컨대 적외선 광원) 및 사용자의 각각의 안구의 이미지를 캡쳐하도록 구성되는 하나 이상의 이미지 센서(1820)(예컨대 내향 센서)를 포함할 수 있다.
이미지 센서(1820)는 사용자의 시선의 이미지를 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 제어부(1300)는 화상 프레임을 처리하여 이미지 데이터를 획득할 수 있으며, 이미지 데이터로부터 사용자의 안구 및/또는 사용자의 동공의 위치로부터의 광채의 변화를 결정할 수 있으며, 광채의 변화에 기초해 사용자의 시선의 방향을 결정할 수 있다.
도 3는 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치를 사용자가 착용한 모습을 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치를 사용자가 실내에 위치한 모습을 도시한 것이다. 도 5는 도 4의 전자장치의 디스플레이부를 통해 나타나는 모습을 도시한 것이다.
도 3을 참조하면, 사용자는 전자장치(1000)를 머리에 쓰고, 전자장치(1000)의 투명한 디스플레이부(1210)를 통하여 사용자의 전방의 배경 혹은 실제 객체를 볼 수 있다. 또한, 사용자는 전자장치(1000)의 디스플레이부(1210)에 투영되는 이미지 혹은 영상에 의해서 전방의 배경 혹은 실제 객체 상에 가상의 물체가 현실 공간에 존재하는 경험을 할 수 있다. 다시 말해, 사용자는 전자장치(1000)의 디스플레이부(1210)을 관통하여 현실공간을 볼 수 있으며, 디스플레이부(1210)는 가상공간 상에 가상의 객체를 현실공간 상에 투영된 것 과 같이 사용자에게 증강 현실 혹은 혼합 현실을 제공할 수 있다.
도 4 및 도 5를 참조하면, 전자장치(1000)를 착용한 사용자는 실내 공간에서 전자장치(1000)가 제공하는 증강 현실 혹은 혼합 현실을 제공받을 수 있다. 사용자는 디스플레이부(1210)에서 제공하는 인지 화면(CS)을 통해서 현실 공간과 가상 공간을 겹쳐서 실내 공간을 인지할 수 있다.
도 4에 도시된 바와 같이 사용자가 위치한 실내 공간에는 실제 동물이 존재하지 않지만, 도 5에 도시된 바와 같이 사용자는 디스플레이부(1210)의 인지 화면(CS)을 통해서 가상 동물과 같은 가상의 객체를 인지할 수 있다.
도 5의 경우 전자장치(1000)의 디스플레이부(1210)는 사용자에게 가상 공간에 위치한 기본(default) 상태의 가상 동물을 제공할 수 있으며, 사용자는 인지 화면(CS) 범위 내에서 가상 공간과 현실 공간이 겹쳐져서 가상 동물이 존재하는 것과 같이 인지할 수 있다.
사용자가 머리나 몸의 방향을 변경하면 전자장치(1000)의 모션센서(1410)는 머리나 몸의 변경된 모션을 감지하고, 감지된 모션 데이터를 제어부(1300)에게 전달할 수 있다. 제어부(1300)는 모션 데이터에 기초하여 머리나 몸의 방향이 변경되더라도 현실 공간 상에 가상 동물이 동일한 위치에 있는 것과 같이 가상 공간 상의 가상 동물의 위치를 변경할 수 있다. 따라서, 사용자는 현실 공간 상에 실제 가상 동물이 존재하는 것처럼 느낄 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법의 흐름도를 도시한 것이다. 도 7은 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물의 피드백에 관한 개념도를 도시한 것이다.
도 6을 참고하면, 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법은, 카메라(1610)를 통해 촬영된 이미지 데이터를 획득하는 과정(S110); 마이크로폰(1620)을 통해 녹음된 소리 데이터를 획득하는 과정(S120); 이미지 데이터 및 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보(IA)를 획득하는 과정(S130); 및 상호 작용정보(IA)에 기초하여 메모리(1100)에 저장된 가상동물의 피드백을 디스플레이부(1210) 및 음향 출력부(1220)를 통해 출력하는 과정(S140);을 포함할 수 있다.
과정(S110)에서, 전자장치(1000)는 카메라를 통해 촬영된 이미지 데이터를 획득할 수 있다. 카메라는 사용자의 전방 측을 촬영하는 전방측 카메라(1610)와, 사용자의 얼굴 표정 혹은 사용자의 눈을 촬영하는 이미지 센서(1820)를 포함할 수 있다.
전자장치(1000)는 전방 카메라(1610)를 통해 사용자가 바라보는 전방을 촬영한 전방 이미지 데이터를 획득할 수 있다. 전방 이미지 데이터는 사용자가 바라보고 있는 전방 측의 사물 및 동물, 사용자가 손을 뻗은 경우 사용자의 손에 대한 영상을 포함할 수 있다. 또는, 전자장치(1000)는 이미지 센서(1820)를 통해 사용자를 촬영한 후방 이미지 데이터를 획득할 수 있다. 후방 이미지 데이터는 사용자의 표정 혹은 사용자의 눈을 촬영한 영상을 포함할 수 있다.
과정(S120)에서, 전자장치(1000)는 마이크로폰(1620)을 통해 녹음된 소리 데이터를 획득할 수 있다. 소리 데이터는 사용자의 주변에서 발생하는 소리 및 사용자에 의해서 생성되는 소리를 포함할 수 있다. 예를 들어, 소리 데이터는 사용자 주변 환경에서 사람들의 말 소리, 운행 중인 자동차 소리, 사용자 자신이 내뱉는 말소리 등을 포함할 수 있다.
과정(S130)에서, 전자장치(1000)는 이미지 데이터 및 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보(IA)를 획득할 수 있다. 상호 작용정보(IA)란 전자장치(1000)를 사용 중인 사용자가 의도하는 상호 작용에 관한 정보를 의미한다. 다시 말해, 상호 작용정보(IA)는 전자장치(1000)가 이해할 수 있어 입력되면 특정한 과정을 수행할 수 있는 사용자의 명령을 의미할 수 있다.
일 예로, 전자장치(1000)는 사용자를 촬영한 이미지 데이터를 이용하여 사용자의 동작, 몸짓, 손동작, 자세 등을 분석하여 이에 대응하는 사용자 제스쳐를 특정할 수 있다. 사용자 제스처는 상호 작용정보(IA)에 포함된 사용자의 특정 제스쳐 중 하나일 수 있다. 구체적인 예로, 사용자가 손을 이용하여 전방 측에 가상의 객체를 쓰다듬는 동작을 할 경우, 전방 카메라(1610)를 통해서 촬영된 이미지 데이터는 사용자의 손이 무엇인가를 쓰다듬는 동작이 촬영된 영상을 포함할 것이고, 전자장치(1000)는 이러한 이미지 데이터를 분석하여 사용자의 손 동작을 '무엇인가를 쓰다듬는 동작'임을 메모리(1100)에 저장된 상호 작용정보(IA)로부터 특정할 수 있다.
상호 작용정보(IA)에 포함된 사용자 제스쳐는 '음식을 주는 동작', '공을 던지는 동작', '쓰다듬는 동작' 등을 포함할 수 있다. 사용자가 원할 경우 특정 동작에 대해 특정 의미를 부여하여 상호 작용정보(IA)로서 메모리(1100)에 저장할 수 있다.
다른 일 예로, 전자장치(1000)는 사용자를 녹음한 소리 데이터를 이용하여 사용자의 음성 등을 분석하여 이에 대응하는 사용자의 음성 명령을 특정할 수 있다. 사용자의 음성 명령은 상호 작용정보(IA)에 포함된 사용자의 특정 음성 명령 중 하나일 수 있다. 구체적인 예로, 사용자가 "앉아!"와 같은 특정 명령을 말로 한 경우, 마이크로폰(1620)을 통해서 녹음된 소리 데이터는 사용자의 특정 명령의 음성이 녹음된 소리를 포함할 것이고, 전자장치(1000)는 이러한 소리 데이터를 분석하여 사용자의 음성 명령을 '앉아!'임을 메모리(1100)에 저장된 상호 작용정보(IA)로부터 특정할 수 있다.
상호 작용정보(IA)에 포함된 사용자 음성 명령은 '앉아', '엎드려', '점프', '기다려', '이리와' 등을 포함할 수 있다. 사용자가 원할 경우 특정 음성에 대해 특정 명령의 의미를 부여하여 상호 작용정보(IA)로서 메모리(1100)에 저장할 수 있다.
과정(S140)에서, 도 7을 참조하면 전자장치(1000)는 상호 작용정보(IA)에 기초하여 가상동물의 피드백을 디스플레이부(1210) 및 음향 출력부(1220)를 통해 출력할 수 있다.
전자장치(1000)는 상호 작용정보(IA)에 따라 다른 가상동물의 피드백을 제공할 수 있다. 전자장치(1000)는 상호 작용정보(IA)에 대응하는 가상동물의 피드백에 관한 정보를 메모리(1100)에 저장하고 있을 수 있다. 다시 말해, 상호 작용정보(IA)와 가상동물의 피드백은 서로 매칭되는 정보를 전자장치(1000)는 가지고 있을 수 있으며, 전자장치(1000)는 매칭 정보에 기초하여 상호 작용정보(IA)에 대한 가상동물의 피드백을 사용자에게 제공할 수 있다.
가상동물의 피드백이란 상호 작용정보(IA)에 의해 결정되는 가상동물의 행동을 의미하며, 전자장치(1000)는 가상동물의 행동을 가상동물의 동영상으로 제공할 수 있다. 전자장치(1000)는 사용자에게 디스플레이부(1210)를 통해 가상동물의 동영상을 사용자에게 제공할 수 있다. 가상동물의 동영상은 메모리(1100)에 수초 단위의 클립 단위로 파일에 저장된 동영상일 수 있으며, 학습되어 메모리(1100)에 저장된 인공지능 모듈(1120)을 이용하여 실시간으로 생성된 동영상일 수 있다.
가상동물의 동영상은 가상동물이 음식을 먹는 동영상, 가상동물이 공을 가지고 노는 동영상, 가상동물의 애교 동영상, 가상동물이 일방향으로 움직이는 동영상, 가상동물의 낮는 동영상, 가상동물의 눕는 동영상, 가상동물이 점프 뛰는 동영상, 가상동물이 높은 곳에서 낮은 곳으로 내려오는 동영상, 가상동물이 낮은 곳에서 높은 곳으로 올라가는 동영상, 가상동물이 다가오는 동영상, 가상동물이 자는 동영상, 가상동물이 잠에서 깨는 동영상, 가상동물이 회피하는 동영상, 가상동물이 음악을 듣는 동영상, 가상동물이 명상하는 동영상, 가상동물이 울음소리를 내는 동영상 등과 같이, 가상동물에 대응하는 실제동물에 대한 동작 및 소리를 표현할 수 있는 다양한 동영상을 포함할 수 있다.
도 8은 사용자의 음성 명령에 대응하는 가상동물의 피드백에 관한 것이고, 도 9는 사용자의 동작 혹은 시선 이동에 대응하는 가상동물의 피드백에 관한 것이고, 도 10은 사용자의 생체 정보에 대응하는 가상동물의 피드백, 사용자 주변의 실제 객체에 대응하는 가상동물의 피드백, 사용자 주변의 환경 정보에 대응하는 가상동물의 피드백에 관한 것이다.
도 8 내지 도 10을 참고하면, 가상동물의 동영상은 사용자의 음성 명령에 대응하는 동영상, 사용자의 동작 혹은 시선 이동에 대응하는 동영상, 사용자의 생체 정보에 대응하는 동영상, 사용자 주변의 실제 객체에 대응하는 동영상, 사용자 주변의 환경 정보에 대응하는 동영상으로 구분될 수 있다.
도 8(a) 내지 도 8(d)는 각각 사용자의 '앉아', '누워', '점프', '이리와" 음성 명령에 대응하는 가상동물의 피드백으로, 가상동물의 피드백의 각각은 가상동물이 앉는 동작의 동영상, 눕는 동작의 동영상, 점프하는 동작의 동영상, 다가오는 동작의 동영상이다.
도 9(a) 내지 도 9(d)는 각각 사용자의 '먹이주는 동작', '귀여워해주는 동작', '공을 던져주는 동작', 사용자의 '시선 이동'에 대응하는 가상동물의 피드백으로, 가상동물의 피드백의 각각은 가상동물이 먹이를 먹는 동작의 동영상, 애교를 보여주는 동작의 동영상, 공을 물고 다가오는 동작의 동영상, 사용자의 시선 방향으로 걸어가는 동작의 동영상이다.
도 10(a) 및 10(b)는 각각 사용자의 '스트레스 정도가 높을 때', '긴장한 정도가 높을 때'에 대응하는 가상동물 피드백으로, 가상동물의 피드백 각각은 음악이 재생되면서 가상동물이 음악을 듣고 있는 동작의 동영상, 게임을 할 수 있는 화면의 동영상이다. 도 10(c) 및 도 10(d)는 각각 사용자 주변에 객체가 있을 때에 대응하는 가상동물 피드백으로, 가상동물의 피드백 각각은 가상동물이 해당 객체에 다가가는 동작의 동영상, 해당 객체를 피하는 동작의 동영상이다. 도 10(e) 및 도 10(f)는 각각 사용자 주변 환경에 대응하는 가상동물 피드백으로, 가상동물 피드백 각각은 주변 환경이 어두워지거나 밤 시간 때 가상동물이 자고 있는 동작의 동영상과, 주변 환경이 밝아지거나 낮 시간 때 가상동물이 일어나는 동작의 동영상이다.
예를 들어, 상호 작용정보(IA)가 '앉아!'라는 사용자의 음성 명령인 경우, 전자장치(1000)는 사용자의 음성 명령에 대응하는 '가상동물이 앉는 동영상'을 가상동물의 피드백으로 디스플레이부(1210) 및 음향 출력부(1220)를 통해 사용자에게 제공할 수 있다.
다시 도 6을 참고하면, 본 발명의 일 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법은, 사용자 센싱부(1420)를 이용하여 사용자의 생체 데이터를 획득하는 과정(S150); 환경 센싱부(1430)를 이용하여 주변의 환경 데이터를 획득하는 과정(S160); 및 상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 및 상기 환경 데이터 중 적어도 하나에 기초하여 상기 상호 작용정보를 재획득하는 과정(S170)을 더 포함할 수 잇다.
과정(S150)에서, 전자장치(1000)는 사용자 센싱부(1420)를 이용하여 사용자의 생체 데이터를 획득할 수 있다. 사용자 센싱부(1420)는 전자장치(1000)에 구비되어, 사용자 신체에서 직접적으로 측정할 수 있는 생체 신호를 센싱할 수 있다. 사용자 센싱부(1420)는 심박센서, 심전도센서, 생체 센서 중 적어도 하나일 수 있다.
심전도센서(미도시)는 심전도 기록(ECG) 장치로서, 사용자의 심장으로부터 측정된 심전도 기록일 수 있다. 심전도 기록은 주파수 도메인 별로 Total power, VLF (Very low frequency), LF (Low frequency), HF(High frequency) 등 지표를 포함할 수 있다. 또한, 생체 센서(1421)는 기능적 근적외선 분광기 (fNIRS)으로, 사용자의 뇌의 피질 속 산소포화도 및 탈산소 헤모글로빈 농도를 측정한 기록일 수 있다.
과정(S160)에서, 전자장치(1000)는 환경 센싱부(1430)를 이용하여 주변의 환경 데이터를 획득할 수 있다. 환경 센싱부(1430)는 전자장치(1000)를 착용한 사용자가 위치한 주변 환경에 대한 정보를 보여줄 수 있는 전자장치(1000)에 직접적으로 구성된 센서로서, 온도 센서(1431), 조도 센서(1432), 습도 센서(1434), 등을 포함할 수 있다. 주변의 환경 데이터는 사용자 주변의 환경의 온도, 밝기, 온도 등과 같은 정보를 포함할 수 있다.
과정(S170)에서, 전자장치(1000)는 이미지 데이터, 소리 데이터, 사용자의 생체 데이터 및 상기 환경 데이터 중 적어도 하나에 기초하여 상호 작용정보(IA)를 재획득할 수 있다. 앞서 설명한 바와 같이, 상호 작용정보(IA)는 가상 동물의 피드백을 결정하기 위한 인자로서, 이미지 데이터, 소리 데이터, 상기 사용자의 생체 데이터 및 환경 데이터 중 적어도 하나에 기초하여 결정될 수 있다.
전자장치(1000)가 이미지 데이터, 소리 데이터, 사용자의 생체 데이터 및 환경 데이터 중 적어도 하나에 기초하여 사용자의 요구 정도를 판별하고, 사용자의 요구 정도에 따라 다른 우선순위로 상호 작용정보(IA)를 결정할 수 있다. 예를 들어, 전자장치(1000)는 가상동물에 대한 상호작용이 직접적인 요구, 간접적인 요구, 사용자 관련성이 없는 요구를 순서대로 우선순위로 상호 작용정보(IA)를 결정할 수 있다.
예를 들어, 전자장치(1000)는 소리 데이터에 기초한 사용자의 음성 명령, 이미지 데이터에 기초한 사용자의 동작, 사용자의 시선 이동, 사용자의 생체 데이터에 기초한 사용자의 스트레스 정도, 이미지 데이터에 기초한 주변 객체, 환경 데이터에 기초한 주변 환경 정보(예. 밝기, 온도, 습도 등)를 획득할 수 있다.
이 경우, 가상동물에 대한 상호작용이 직접적인 요구는 사용자의 음성 명령과, 사용자의 동작을 포함하며, 사용자의 음성명령 및 동작을 순서대로로 우선 순위를 가질 수 있다. 또한, 간접적인 요구는 사용자의 스트레스 정도, 사용자의 시선 이동을 포함하며, 사용자의 스트레스 정도 및 사용자의 시선 이동을 순서대로로 우선 순위를 가질 수 있다. 또한, 사용자 관련성이 없는 요구는 주변 객체, 주변 환경 정보를 포함할 수 있으며, 주변 객체 및 주변 환경 정보를 순서대로로 우선 순위를 가질 수 있다.
따라서, 전자장치(1000)는 이미지 데이터, 소리 데이터, 사용자의 생체 데이터 및 상기 환경 데이터를 동시에 획득한 경우, 이들 데이터로부터 획득된 각각의 상호 작용정보들의 우선순위에 따라서 가상동물의 피드백을 결정할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법의 흐름도를 도시한 것이다. 도 12는 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물의 피드백에 관한 개념도를 도시한 것이다. 도 13은 가상 동물이 모드 상태에서 다른 자세를 취하고 있는 가상동물을 인지 화면 상에서 나타낸 것이다.
도 11을 참고하면, 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법은, 카메라(1610)를 통해 촬영된 이미지 데이터를 획득하는 과정(S110); 마이크로폰(1620)을 통해 녹음된 소리 데이터를 획득하는 과정(S120); 이미지 데이터 및 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보(IA)를 획득하는 과정(S130); 및 상호 작용정보(IA)에 기초하여 메모리(1100)에 저장된 가상동물의 피드백을 디스플레이부(1210) 및 음향 출력부(1220)를 통해 출력하는 과정(S140);을 포함할 수 있다. 과정(S110) 내지 과정(S140)은 도 6 및 도 7에 관한 설명과 동일하므로 자세한 설명은 생략하기로 한다.
도 11을 참고하면, 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법은, 사용자 센싱부(1420)를 이용하여 사용자의 생체 데이터를 획득하는 과정(S210); 상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 중 적어도 하나에 기초하여 사용자 인지 정보를 획득하는 과정(S220); 및 상기 사용자 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정(S230);을 더 포함할 수 있다.
과정(S210)에서, 전자장치(1000)는 사용자 센싱부(1420)를 이용하여 사용자의 생체 데이터를 획득할 수 있다. 사용자 센싱부(1420)는 전자장치(1000)에 구비되어, 사용자 신체에서 직접적으로 측정할 수 있는 생체 신호를 센싱할 수 있다. 사용자 센싱부(1420)는 심박센서, 심전도센서, 생체 센서 중 적어도 하나일 수 있다.
생체 데이터는 심전도센서에 의해 측정된 심전도 기록, 기능적 근적외선 분광기(fNIRS)에 의해 측정된 뇌 피실 속의 산소포화도 및 탈산소 헤모글로빈 농도 일 수 있다.
전자장치(1000)는 사용자 센싱부(1420)를 이용하여 제1 시간 주기 마다 사용자의 생체 데이터를 획득할 수 있다. 또는, 전자장치(1000)는 영상 혹은 소리가 감지된 경우 카메라(1610) 혹은 마이크로폰(1620)을 이용하여 이미지 데이터와 소리 데이터를 획득할 수 있으나, 이와 달리 사용자의 생체 데이터를 주시적으로 측정할 수 있다.
전자장치(1000)는 소리 데이터에 기초한 사용자의 음성 명령 혹은 이미지 데이터에 기초한 사용자의 동작/시선 이동에 대한 정보가 제2 시간 동안 획득되지 않으면, 사용자 센싱부(1420)를 이용하여 사용자의 생체 데이터를 획득할 수 있다. 즉, 전자장치(1000)는 음성 및 영상 데이터가 획득되지 않더라도 제2 시간 주기로 사용자의 생체 데이터를 획득할 수 있다.
이를 통해서, 전자장치(1000)는 사용자의 상태를 주기적으로 센싱한 생체 데이터를 획득할 수 있다.
과정(S220)에서, 전자장치(1000)는 상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 중 적어도 하나에 기초하여 사용자 인지 정보를 획득할 수 있다.
사용자 인지 정보는 이미지 데이터에 기초한 사용자의 동작 혹은 시선 이동, 소리 데이터에 기초한 사용자의 음성 정보, 사용자의 생체 데이터에 기초한 스트레스 정도 혹은 긴장 정도를 포함할 수 있다. 예를 들어, 전자장치(1000)는 생체 데이터를 이용하여 사용자가 일상적으로 느끼는 스트레스 정도를 수치화한 값을 제2 시간 주기 마다 생성하고, 현재 스트레스 상태인지 안정 상태인지를 판단할 수 있다.
사용자 인지 정보는, 상기 이미지 데이터에 기초해 결정된 사용자의 시선, 동작에 대한 정보, 상기 소리 데이터에 기초해 결정된 사용자의 음성 정보, 상기 사용자의 생체 데이터에 기초해 결정된 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 포함할 수 있다.
과정(S230)에서, 도 12를 참조하면 전자장치(1000)는 사용자 인지 정보에 기초하여 가상동물의 모드 상태를 결정할 수 있다. 전자장치(1000)는 사용자 인지 정보에 기초하여 가상동물의 기본(default) 상태를 모드(mode) 상태로 변경할 수 있다.
도 13에 도시된 바와 같이, 전자장치(1000)는 가상 동물이 기본 자세로 있는 기본 상태(도 5 참조)와 달리 모드 상태에서 가상동물은 다른 자세를 취하도록 디스플레이부(1210)를 통해 사용자에게 나타날 수 있다. 즉, 가상동물은 사용자의 인지 정보에 기초하여 다른 모드 상태를 가지며, 모드 상태에 따라서 다른 자세를 취하도록 인지 화면(CS)을 통해서 사용자에게 디스플레이될 수 있다.
또한, 과정(S140)에서, 전자장치(1000)는 상호 작용정보(IA)가 동일하더라도 가상동물의 모드에 따라서 다른 가상동물의 동작 및 음성을 포함하는 가상동물의 피드백을 제공할 수 있다.
예를 들어, 사용자가 스트레스 상태에 있다고 판단하는 경우 가상동물의 모드는 친밀 모드이고, 사용자가 안정 상태에 있다고 판단하는 경우 가상동물의 모드는 노멀 모드라고 가정할 수 잇다. 이 경우, 10번의 사용자의 '앉아' 음성 명령에 대해 전자장치(1000)는 친밀 모드에서 10번 모두 앉는 동작의 피드백을 수행할 수 있지만, 노멀 모드에서 7~8번만 앉는 동작을 수행할 수 있다. 또는, 10번의 사용자의 '앉아' 음성 명령에 대해 전자장치(1000)는 친밀 모드에서 10번 모두 앉는 동작의 피드백을 수행하지만, 노멀 모드에서 2~3번 정도 앉는 동작을 대신하여 다른 동작의 피드백을 수행할 수 있다.
즉, 사용자 인지 정보에 따라 가상동물은 다른 모드 상태에 있을 수 있으며, 가상동물의 모드 상태에 따라서 가상동물은 동일한 상호 작용정보의 입력이라도 다른 가상동물의 피드백(예를 들어 다른 행동을 하는 동영상을 제공)을 수행함으로써, 사용자가 느끼기에 가상 동물이 아닌 실제 동물과 같은 느낌을 받을 수 있다. 가상동물의 피드백의 변화는 가상동물이 다른 동작을 수행하거나 가상동물이 아무런 동작도 수행하지 않거나, 피드백 횟수를 조절할 수 있다.
도 11을 참고하면, 본 발명의 다른 실시예에 따른 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법은, 환경 센싱부(1430)를 이용하여 주변의 환경 데이터를 획득하는 과정(S310); 통신부(1500)를 통해 가상동물 인지 신호를 수신하는 과정(S320); 상기 이미지 데이터, 상기 소리 데이터, 상기 주변의 환경 데이터, 상기 가상동물 인지 신호 중 적어도 하나에 기초하여 환경 인지 정보를 획득하는 과정(S330); 및 상기 환경 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정(S340);을 더 포함할 수 있다.
과정(S310)에서, 전자장치(1000)는 환경 센싱부(1430)를 이용하여 주변의 환경 데이터를 획득할 수 있다. 환경 센싱부(1430)는 온도 센서(1431), 조도 센서(1432), 습도 센서(1434) 등을 포함할 수 있다. 주변의 환경 데이터는 사용자의 주변에 대한 온도, 밝기, 습도 등의 데이터를 포함할 수 있다.
과정(S320)에서, 전자장치(1000)는 통신부(1500)를 통해 가상동물 인지 신호를 수신할 수 있다. 전자장치(1000)는 통신부(1500)를 이용하여 다른 장치인 제1 전자장치(1000')의 디스플레이부에서 사용자에게 제공되고 있는 제1 가상동물에 관한 정보를 포함하는 가상동물 인지 신호를 수신할 수 있다. 전자장치(1000)는 제1 전자장치(1000')로부터 가상동물 인지 신호를 근거리 통신을 통해서 직접적으로 수신하거나, 기지국이나 노드를 통해서 간접적으로 수신할 수 있다.
도 14는 본 발명의 일 실시예에 따른 전자장치로부터 제1 소정 거리 밖에 위치한 제1 전자장치와 전자장치를 도시한 것이다. 도 15는 본 발명의 일 실시예에 따른 전자장치로부터 제1 소정 거리 이내에 위치한 제1 전자장치와 전자장치를 도시한 것이다.
도 14 및 도 15를 참조하면, 전자장치(1000)는 전자장치(1000)로부터 제1 소정 거리(R) 이내에 제1 전자장치(1000')가 위치하는 경우에 제1 전자장치(1000')로부터 가상동물 인지 신호를 수신할 수 있다. 전자장치(1000)는 제1 소정 거리(R) 이내에 위치한 제1 전자장치(1000')에서 가상동물 인지 신호를 송신하는 경우 가상동물 인지 신호에 기초하여 제1 전자장치(1000')에서 제공하고 있는 제1 가상동물을 전자장치(1000)의 디스플레이부(1210) 상에 출력하여 사용자에게 제공할 수 있다. 따라서, 전자장치(1000)를 착용한 사용자는 자신의 가상동물과 제1 전자장치(1000')의 제1 가상동물을 디스플레이부(1210)의 인지화면(CS)를 통해 함께 확인할 수 있다. 또한, 제1 전자장치(1000')를 사용하는 상대방도 인지화면(CS')를 통해서 제1 가상동물과 전자장치(1000)에서 제공하는 가상동물을 볼 수 있다.
과정(S330)에서, 전자장치(1000)는 상기 이미지 데이터, 상기 소리 데이터, 상기 주변의 환경 데이터, 상기 가상동물 인지 신호 중 적어도 하나에 기초하여 환경 인지 정보를 획득할 수 있다.
환경 인지 정보는, 이미지 데이터에 기초해 결정된 주변에 위치하는 정적 객체 또는 동적 객체 관한 정보, 소리 데이터에 기초해 결정된 정적 객체 또는 동적 객체에 관한 음향 정보, 주변의 환경 데이터에 기초해 결정된 주변 환경의 밝기 및 온도 관한 정보, 가상동물 인지 신호에 기초해 결정된 전자장치로부터 제1 소정 거리(R) 이내에서 위치한 제1 전자장치(1000')에서 의해 제공되는 제1 가상동물에 대한 식별 정보를 포함할 수 있다.
정적 객체란 사용자의 주변에 배치된 정지한 사물들로서, 부동산, 나무, 가구 등을 포함하며, 동적 객체란 사용자의 주변에서 움직이는 사물들로서, 자동차, 실제 동물, 사람 등을 포함할 수 있다.
과정(S340)에서 , 전자장치(1000)는 환경 인지 정보에 기초하여 가상동물의 모드 상태를 결정할 수 있다. 전자장치(1000)는 환경 인지 정보에 기초하여 가상동물의 기본(default) 상태를 모드(mode) 상태로 변경할 수 있다.
도 13에 도시된 바와 같이, 전자장치(1000)는 가상 동물이 기본 자세로 있는 기본 상태(도 6 참조)와 달리 모드 상태에서 가상동물은 다른 자세를 취하도록 디스플레이부(1210)를 통해 사용자에게 나타날 수 있다.
또한, 과정(S140)에서, 전자장치(1000)는 상호 작용정보(IA)가 동일하더라도 가상동물의 모드에 따라서 다른 가상동물의 동작 및 음성을 포함하는 가상동물의 피드백을 제공할 수 있다.
예를 들어, 전자장치(1000)의 제1 소정 거리(R) 이내에 위치한 제1 전자장치(1000')에서 송신한 가상동물 인지 신호를 인지한 경우 가상동물의 모드는 친구 모드이고, 다른 전자장치가 없다면 노멀 모드라고 가정할 수 있다. 이 경우, 사용자의 '공을 던지는 동작'에 대해 전자장치(1000)는 노멀 모드에서 '공을 물고 사용자에게 다가오는 동작'의 피드백을 수행하지만, 친구 모드에서 '공을 물고 제1 가상동물에게 다가가는 동작'의 피드백을 수행할 수 있다.
다른 예로, 주변이 밝거나 낮 시간인 경우 가상동물의 모드는 웨이크업 모드이고, 주변이 어둡거나 밤 시간 인경우 가상동물의 모드는 슬리핑 모드로 가정할 수 있다. 이 경우, 사용자의 '앉아' 음성 명령에 대해 전자장치(1000)는 웨이크업 모드에서 앉는 동작의 피드백을 수행할 수 있지만, 슬리핑 모드에서 슬리핑을 동작을 수행하고 앉는 동작을 수행하지 않을 수 있다.
즉, 환경 인지 정보에 따라 가상동물은 다른 모드 상태에 있을 수 있으며, 가상동물의 모드 상태에 따라서 가상동물은 동일한 상호 작용정보라도 다른 가상동물의 피드백을 수행함으로써, 사용자가 느끼기에 가상 동물이 아닌 실제 동물과 같은 느낌을 받을 수 있다. 가상동물의 피드백의 변화는 가상동물이 다른 동작을 수행하거나 가상동물이 아무런 동작도 수행하지 않을 수 있다.
한편, 가상동물 모드 상태는, 사용자 인지 정보 혹은 환경 인지 정보 중 어느 하나 혹은 2개 모두에 기초해 결정될 수 있다. 사용자 인지 정보 및 환경 인지 정보 모두에 기초해 가상동물 모드 상태가 결정되면, 가상동물은 동일한 상호 작용정보라도 더욱 다채롭게 다양한 가상동물의 피드백을 제공할 수 있다.
한편, 가상동물 모드 상태는, 가상동물에 대한 사용자의 시선 및 동작에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제1모드; 가상동물에 대한 사용자의 음성 명령 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제2모드; 상기 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제3모드; 및 상기 상호 작용정보(IA)에 반응하지 않고 가상동물이 혼자 움직이는 상기 가상동물의 피드백을 제공하는 제4모드를 포함할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
전자장치(1000)
제1전자장치(1000')

Claims (14)

  1. 프로세스에 의해서 수행되는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법에 있어서,
    카메라를 통해 촬영된 이미지 데이터를 획득하는 과정;
    마이크로폰을 통해 녹음된 소리 데이터를 획득하는 과정;
    상기 이미지 데이터 및 상기 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보를 획득하는 과정;
    상기 상호 작용정보에 기초하여 가상동물의 피드백을 디스플레이부 및 음향 출력부를 통하여 출력하는 과정;
    사용자 센싱부를 이용하여 사용자의 생체 데이터를 획득하는 과정;
    상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 중 적어도 하나에 기초하여 사용자 인지 정보를 획득하는 과정; 및
    상기 사용자 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정;을 포함하며,
    상기 가상동물의 피드백은 상기 상호 작용정보(IA)에 대한 가상동물의 동작 및 음성을 포함하며,
    상기 가상동물의 피드백은 상기 상호 작용정보(IA)가 동일하더라도 상기 가상동물의 모드 상태에 따라 다른 상기 가상동물의 동작 및 음성을 포함하며,
    상기 가상동물 모드 상태는,
    상기 가상동물에 대한 사용자의 시선 및 동작에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제1모드;
    상기 가상동물에 대한 사용자의 음성 명령 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제2모드;
    상기 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제3모드; 및
    상기 상호 작용정보(IA)에 반응하지 않고 가상동물이 혼자 움직이는 상기 가상동물의 피드백을 제공하는 제4모드를 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법.
  2. 제1항에 있어서,
    사용자 센싱부를 이용하여 사용자의 생체 데이터를 획득하는 과정;
    환경 센싱부를 이용하여 주변의 환경 데이터를 획득하는 과정; 및
    상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 및 상기 환경 데이터에 기초하여 상기 상호 작용정보를 재획득하는 과정을 더 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 사용자 인지 정보는, 상기 이미지 데이터에 기초해 결정된 사용자의 시선, 동작에 대한 정보, 상기 소리 데이터에 기초해 결정된 사용자의 음성 정보, 상기 사용자의 생체 데이터에 기초해 결정된 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법.
  5. 제1항에 있어서,
    환경 센싱부를 이용하여 주변의 환경 데이터를 획득하는 과정;
    통신부를 통해 가상동물 인지 신호를 수신하는 과정;
    상기 이미지 데이터, 상기 소리 데이터, 상기 주변의 환경 데이터, 상기 가상동물 인지 신호 중 적어도 2개에 기초하여 환경 인지 정보를 획득하는 과정; 및
    상기 환경 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정;을 더 포함하며,
    상기 가상동물의 피드백은 상기 상호 작용정보(IA)가 동일하더라도 상기 가상동물의 모드 상태에 따라 다른 상기 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법.
  6. 제5항에 있어서,
    상기 환경 인지 정보는, 상기 이미지 데이터에 기초해 결정된 주변에 위치하는 정적 객체 또는 동적 객체 관한 정보, 상기 소리 데이터에 기초해 결정된 상기 정적 객체 또는 동적 객체에 관한 음향 정보, 상기 주변의 환경 데이터에 기초해 결정된 주변 환경의 밝기 및 온도 관한 정보, 상기 가상동물 인지 신호에 기초해 결정된 상기 전자장치로부터 소정 거리 이내에서 위치한 제1 전자장치에서 의해 제공되는 제1 가상동물에 대한 식별 정보를 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치의 제어방법.
  7. 삭제
  8. 카메라, 마이크로폰, 프로세서를 포함하는 전자장치에 있어서, 상기 프로세서는,
    상기 카메라를 통해 촬영된 이미지 데이터를 획득하는 과정;
    상기 마이크로폰을 통해 녹음된 소리 데이터를 획득하는 과정;
    상기 이미지 데이터 및 상기 소리 데이터 중 적어도 하나에 기초하여 상호 작용정보를 획득하는 과정;
    상기 상호 작용정보에 기초하여 가상동물의 피드백을 디스플레이부 및 음향 출력부를 통하여 출력하는 과정;
    사용자 센싱부를 이용하여 사용자의 생체 데이터를 획득하는 과정;
    상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 중 적어도 하나에 기초하여 사용자 인지 정보를 획득하는 과정; 및
    상기 사용자 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정;을 수행하도록 제어하며,
    상기 가상동물의 피드백은 상기 상호 작용정보(IA)에 대한 가상동물의 동작 및 음성을 포함하며,
    상기 가상동물의 피드백은 상기 상호 작용정보(IA)가 동일하더라도 상기 가상동물의 모드 상태에 따라 다른 상기 가상동물의 동작 및 음성을 포함하고,
    상기 가상동물 모드 상태는,
    상기 가상동물에 대한 사용자의 시선 및 동작에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제1모드;
    상기 가상동물에 대한 사용자의 음성 명령 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제2모드;
    상기 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 최우선으로 상기 가상동물의 피드백을 제공하는 제3모드; 및
    상기 상호 작용정보(IA)에 반응하지 않고 가상동물이 혼자 움직이는 상기 가상동물의 피드백을 제공하는 제4모드;를 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치.
  9. 제8항에 있어서, 상기 프로세서는,
    사용자 센싱부를 이용하여 사용자의 생체 데이터를 획득하는 과정;
    환경 센싱부를 이용하여 주변의 환경 데이터를 획득하는 과정; 및
    상기 이미지 데이터, 상기 소리 데이터, 상기 사용자의 생체 데이터 및 상기 환경 데이터에 기초하여 상기 상호 작용정보를 재획득하는 과정을 더 수행하도록 제어하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치.
  10. 삭제
  11. 제8항에 있어서,
    상기 사용자 인지 정보는, 상기 이미지 데이터에 기초해 결정된 사용자의 시선, 동작에 대한 정보, 상기 소리 데이터에 기초해 결정된 사용자의 음성 정보, 상기 사용자의 생체 데이터에 기초해 결정된 사용자의 긴장 정도 또는 스트레스 정도에 대한 정보를 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치.
  12. 제8항에 있어서, 상기 프로세서는,
    환경 센싱부를 이용하여 주변의 환경 데이터를 획득하는 과정;
    통신부를 통해 가상동물 인지 신호를 수신하는 과정;
    상기 이미지 데이터, 상기 소리 데이터, 상기 주변의 환경 데이터, 상기 가상동물 인지 신호 중 적어도 2개에 기초하여 환경 인지 정보를 획득하는 과정; 및
    상기 환경 인지 정보에 기초하여 가상동물의 모드 상태를 결정하는 과정;을 더 수행하도록 제어하며,
    상기 가상동물의 피드백은 상기 상호 작용정보(IA)가 동일하더라도 상기 가상동물의 모드 상태에 따라 다른 상기 가상동물의 동작 및 음성을 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치.
  13. 제12항에 있어서,
    상기 환경 인지 정보는, 상기 이미지 데이터에 기초해 결정된 주변에 위치하는 정적 객체 또는 동적 객체 관한 정보, 상기 소리 데이터에 기초해 결정된 상기 정적 객체 또는 동적 객체에 관한 음향 정보, 상기 주변의 환경 데이터에 기초해 결정된 주변 환경의 밝기 및 온도 관한 정보, 상기 가상동물 인지 신호에 기초해 결정된 상기 전자장치로부터 소정 거리 이내에서 위치한 제1 전자장치에서 의해 제공되는 제1 가상동물에 대한 식별 정보를 포함하는, 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치.

  14. 삭제
KR1020210071153A 2021-06-01 2021-06-01 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법 KR102564202B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210071153A KR102564202B1 (ko) 2021-06-01 2021-06-01 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210071153A KR102564202B1 (ko) 2021-06-01 2021-06-01 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법

Publications (2)

Publication Number Publication Date
KR20220162566A KR20220162566A (ko) 2022-12-08
KR102564202B1 true KR102564202B1 (ko) 2023-08-04

Family

ID=84437189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071153A KR102564202B1 (ko) 2021-06-01 2021-06-01 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법

Country Status (1)

Country Link
KR (1) KR102564202B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020598B1 (ko) * 2018-12-11 2019-09-10 전자부품연구원 생체신호 센서 기반 정신질환 진단 및 치유를 위한 바이오피드백 시스템
KR102199843B1 (ko) 2019-10-12 2021-01-07 동서대학교 산학협력단 증강현실에서 가상의 반려동물 제공 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852540B1 (ko) 2004-06-30 2008-08-18 인텔 코포레이션 에너지 수확 분자 및 포토레지스트 기술
KR102227659B1 (ko) * 2014-03-12 2021-03-15 삼성전자주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
CN109032454A (zh) * 2018-08-30 2018-12-18 腾讯科技（深圳）有限公司 虚拟宠物的信息展示方法、装置、设备及存储介质
KR20200071647A (ko) * 2019-06-03 2020-06-19 전자부품연구원 가상/증강현실 콘텐츠 및 생체신호에 기반한 정신질환 진단 및 치유를 위한 바이오피드백 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020598B1 (ko) * 2018-12-11 2019-09-10 전자부품연구원 생체신호 센서 기반 정신질환 진단 및 치유를 위한 바이오피드백 시스템
KR102199843B1 (ko) 2019-10-12 2021-01-07 동서대학교 산학협력단 증강현실에서 가상의 반려동물 제공 시스템

Also Published As

Publication number Publication date
KR20220162566A (ko) 2022-12-08

Similar Documents

Publication Publication Date Title
EP3392739B1 (en) Eye-brain interface (ebi) system and method for controlling same
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
KR102182605B1 (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
CN112507799A (zh) 基于眼动注视点引导的图像识别方法、mr眼镜及介质
TW201535155A (zh) 藉由凝視偵測進行遠端裝置控制
CN112181152A (zh) 基于mr眼镜的广告推送管理方法、设备及应用
JP2013258555A (ja) ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
CN105487229A (zh) 多通道交互虚拟现实眼镜
US20230418378A1 (en) Creation of optimal working, learning, and resting environments on electronic devices
CN109259724B (zh) 一种用眼监控方法、装置、存储介质及穿戴式设备
CN205507231U (zh) 多通道交互虚拟现实眼镜
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
WO2017016941A1 (en) Wearable device, method and computer program product
De Buyser et al. Exploring the potential of combining smart glasses and consumer-grade EEG/EMG headsets for controlling IoT appliances in the smart home
JP7181293B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102564202B1 (ko) 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법
US11328187B2 (en) Information processing apparatus and information processing method
EP4331489A1 (en) Sound-based attentive state assessment
CN113995416A (zh) 用于显示眼镜中的用户界面的装置和方法
TW201816545A (zh) 虛擬實境頭戴式裝置
CN114730214A (zh) 人机接口设备
US20230418372A1 (en) Gaze behavior detection
US20230288985A1 (en) Adjusting image content to improve user experience
US20240005612A1 (en) Content transformations based on reflective object recognition
US20230359273A1 (en) Retinal reflection tracking for gaze alignment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant