KR20240077627A - 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템 - Google Patents

비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템 Download PDF

Info

Publication number
KR20240077627A
KR20240077627A KR1020220159202A KR20220159202A KR20240077627A KR 20240077627 A KR20240077627 A KR 20240077627A KR 1020220159202 A KR1020220159202 A KR 1020220159202A KR 20220159202 A KR20220159202 A KR 20220159202A KR 20240077627 A KR20240077627 A KR 20240077627A
Authority
KR
South Korea
Prior art keywords
user
emotional state
emotional
emotion
interaction method
Prior art date
Application number
KR1020220159202A
Other languages
English (en)
Inventor
송광헌
이금탁
양승남
이은희
김창모
신명지
Original Assignee
주식회사 피씨엔
Filing date
Publication date
Application filed by 주식회사 피씨엔 filed Critical 주식회사 피씨엔
Priority to PCT/KR2022/019237 priority Critical patent/WO2024111728A1/ko
Publication of KR20240077627A publication Critical patent/KR20240077627A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템이 개시된다. 본 발명의 일측면에 따른 컴퓨팅 장치에서 수행되는 사용자 감정 상호 작용 방법은, 사용자의 표정과 제스처를 촬영한 촬영영상을 취득하는 단계; 학습된 감성인식기술을 기반으로, 촬영영상을 분석하여 사용자의 감정상태를 결정하는 단계; 및 감정상태를 제공서비스에 반영하는 단계를 포함한다.

Description

비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템{User emotion interaction method and system for extended reality based on non-verbal elements}
본 발명은 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템에 관한 것이다.
최근에는 메타버스 등 가상현실을 넘어 확장현실에 대한 서비스가 확장되고 있다.
종래의 확장현실을 위한 사용자 인터페이스는 키보드, 마우스와 같은 언어적 입력장치만을 이용함으로써 사용자 움직임 및 사용자 표현(감정)을 반영하기에는 극히 한정적이고 제한적이었다.
또한, 게임제작자, 방송관계자 등의 전문인력들은 제스처 인식, 표정인식 등을 수행하기 위해 다수의 고가 장비를 이용하게 되는데, 이는 다양한 사용자를 위한 메타버스 서비스 등에 적용하기에는 한계가 있다.
대한민국 등록특허 제10-2368300 음성 및 표정에 기반한 캐릭터의 동작 및 감정 표현 시스템
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 사용자 영상을 활용하여 사용자 감정을 표출할 수 있는 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 발명은 웹캠 및 최소한의 웨어러블 디바이스(Wearable Deivce)와 같은 가벼운 인터페이스를 이용하더라도 인공지능을 이용하여 보다 정확한 사용자 감정 상태를 인식 및 활용할 수 있는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템을 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 컴퓨팅 장치에서 수행되는 사용자 감정 상호 작용 방법에 있어서, 사용자의 표정과 제스처를 촬영한 촬영영상을 취득하는 단계; 학습된 감성인식기술을 기반으로, 상기 촬영영상을 분석하여 사용자의 감정상태를 결정하는 단계; 및 상기 감정상태를 제공서비스에 반영하는 단계를 포함하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 그 방법을 실행하는 컴퓨터 프로그램이 제공된다.
여기서, 복수개의 감정을 유발하는 동영상 또는 사진을 포함하는 감정유발콘텐츠를 사용자에게 제공하는 단계; 및 상기 감정유발콘텐츠가 재생되는 동안 변화되는 사용자 표정 또는 제스처와 그 시점의 감정유발콘텐츠의 내용을 이용하여 사용자감정정보를 생성 및 저장하는 단계를 더 포함하되, 상기 사용자감정정보를 더 이용하여 상기 감정상태를 결정할 수 있다.
또한, 사용자의 연령, 성별 및 얼굴 형태에 상응하는 학습데이터를 기반으로 상기 사용자감정정보를 생성할 수 있다.
또한, 상기 사용자가 착용한 하나 이상의 웨어러블 디바이스로부터의 센싱정보를 더 이용하여 상기 감정상태를 결정하되, 상기 웨어러블 디바이스의 종류, 기종에 따라 상기 감정상태의 결정 반영율을 달리 적용할 수 있다.
또한, 사용자가 위치한 장소, 현재 주변에 재생중인 컨텐츠, 주변인물 중 적어도 어느 하나를 포함하는 현재상황을 인식하여 상기 감정상태의 결정에 이용할 수 있다.
또한, 촬영영상의 화질, 표정의 인식률 등을 이용하여 상기 감정상태의 정확도 수치를 산출하는 단계를 더 포함하되, 상기 정확도 수치에 따라 상기 감정상태에 대한 제공서비스로의 반영률을 달리 적용할 수 있다.
또한, 사용자의 표정변화의 크기에 따른 상기 감정상태의 강도 수치를 산출하는 단계를 더 포함하되, 상기 강도 수치에 따라 상기 감정상태에 대한 제공서비스로의 반영방식을 달리 적용할 수 있다.
본 발명의 다른 측면에 따르면, 사용자 단말로부터 사용자의 표정과 제스처를 촬영한 촬영영상을 취득하기 위한 통신부; 학습된 감성인식기술을 기반으로, 상기 촬영영상을 분석하여 사용자의 감정상태를 결정하는 감정인식부; 및 상기 감정상태를 제공서비스에 반영하는 상호작용부를 포함하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 시스템이 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 따르면, 사용자를 촬영한 영상을 활용하여 사용자 감정을 표출하여 확장현실에 적용할 수 있다.
또한, 본 발명에 따르면, 웹캠 및 최소한의 웨어러블 디바이스(Wearable Deivce)와 같은 가벼운 인터페이스를 이용하더라도 인공지능을 이용하여 보다 정확한 사용자 감정 상태를 인식하고 이를 확장현실에 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 간편한 인터페이스를 이용한 비언어적 요소 기반 확장현실을 위한 사용자 감정 인식 방식을 개략적으로 도시한 예시도.
도 2는 본 발명의 일 실시예에 따른 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용을 위한 시스템의 구성을 도시한 기능블록도.
도 3은 본 발명의 일 실시예에 따른 사용자 감정 상호 작용 과정을 도시한 흐름도.
도 4는 본 발명의 일 실시예에 따른 사용자 맞춤형 인식을 위한 사용자감정정보 등록 과정을 도시한 흐름도.
도 5는 본 발명의 일 실시예에 따른 영상 이외에 웨어러블 기기를 이용한 감정상태 인식 과정을 도시한 흐름도.
도 6은 본 발명의 일 실시예에 따른 인식된 감정상태의 정확도와 강도를 이용한 상호 작용 과정을 도시한 흐름도.
도 7은 본 발명의 일 실시예에 따른 사용자의 감정상태를 아바타에 적용한 서비스 반영 예시를 도시한 예시도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 간편한 인터페이스를 이용한 비언어적 요소 기반 확장현실을 위한 사용자 감정 인식 방식을 개략적으로 도시한 예시도이고, 도 2는 본 발명의 일 실시예에 따른 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용을 위한 시스템의 구성을 도시한 기능블록도이다.
먼저 도 1을 참조하면, 본 실시예에 따르면, 웹캠과 같은 촬영수단을 이용하여 사용자의 감정상태와 제스처를 인식할 수 있다. 그리고, 손목시계형 장치와 같은 최소화된 웨어러블 디바이스를 더 활용하여 비언어적 요소기반의 확장현실을 위한 사용자 감정 상호 작용 서비스를 제공할 수 있다.
확장현실(eXtended　Reality) 가상현실(VR)과 증강현실(AR)을 아우르는 혼합현실(MR) 기술을 망라하는 용어이다. 가상현실(VR)이 360도 영상을 바탕으로 새로운 현실을 경험하도록 하는 기술이라면 증강현실(AR)은 실제 사물 위에 컴퓨터그래픽(CG)을 통해 정보와 콘텐츠를 표시한다. 증강현실(AR)과 가상현실(VR)은 별개이지만 이 두 기술은 각자 단점을 보완하며 상호 진화를 하고 있다. 그러나 현 단계에서는 차이가 분명히 드러난다. 가상현실(VR)은 눈 전체를 가리는 헤드셋 형(HMD) 단말기가 필요하고, 증강현실(AR)은 구글 글라스와 같은 안경으로 표현이 가능하다.
확장현실(XR)은 가상·증강현실(VR·AR) 기술의 개별 활용 또는 혼합 활용을 자유롭게 선택하며, 확장된 현실을 창조한다. 마이크로소프트(MS)가 개발한 홀로 렌즈는 안경 형태의 기기지만 현실 공간과 사물 정보를 파악하여 최적화된 3D 홀로그램을 표시한다는 점에서 확장현실(XR)의 한 형태로 볼 수 있다. 확장현실(XR)은 교육은 물론 헬스케어, 제조업 등 다양한 분야에 적용될 것으로 기대된다.
이러한 확장현실에서 사용자와의 상호 작용을 위해서는 사용자의 실시간 감정상태를 인식하여 서비스에 반영하는 기술이 중요하다.
본 발명의 일 실시예에 따른 사용자 감정 상호 작용 서비스를 제공하기 위한 시스템의 구성을 도시한 도 2를 참조하면, 본 실시예에 따른 시스템은 저장부(10), 통신부(20) 및 제어부(30)를 포함하되, 제어부(30)는 사용자관리부(31), 감정인식부(32) 및 상호작용부(32)를 포함할 수 있다.
저장부(10)에는 제어부(30)가 기능하기 위해 필요한 데이터들이 저장되며, 또한 사용자 맞춤형 서비스를 위한 사용자감정정보가 저장된다. 사용자감정정보에 대해서는 차후 상세히 설명하기로 한다.
통신부(20)는 사용자 감정정보를 활용한 서비스를 통신망 등을 통해 접속한 사용자단말로 제공하기 위한 통신수단이다. 예를 들어, 통신부(20)를 통해 사용자 단말로부터 사용자의 표정과 제스처를 촬영한 촬영영상을 취득하며, 또한 인식된 사용자 감정상태가 반영된 서비스 데이터를 사용자 단말로 전송한다. 이러한 통신수단은 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.
제어부(30)는 사용자 단말로부터 사용자의 표정과 제스처를 촬영한 촬영영상이 취득되면, 학습된 감성인식기술(인공지능을 활용)을 기반으로 촬영영상을 분석하여 사용자의 감정상태를 인식하며, 인식된 사용자의 감정상태를 제공서비스에 반영한다.
제어부(30)의 감정인식부(32)는 각종 감정상태에 따른 다양한 사람들의 얼굴표정에 대한 학습데이터를 학습함으로써 촬영영상의 분석으로 사용자의 감정상태를 결정한다. 또한, 감정인식부(32)는 인공지능을 이용하여 서비스를 제공하면서도 계속적인 학습으로 감정상태의 인식 정확도를 높일 수 있다. 특히, 상술한 바와 같은 사용자에 대응되도록 미리 등록된 사용자감정정보를 더 이용함으로써 감정상태의 인식 정확도를 높일 수 있다. 사용자감정정보는 사용자 맞춤형 서비스를 제공하기 위한 것으로, 각 감정상태에 따른 사용자의 얼굴표정에 대한 정보를 사용자감정정보로서 미리 저장하여 활용하는 것이다. 사용자관리부(31)는 이러한 사용자감정정보를 저장, 삭제, 갱신하는 관리 기능을 수행한다. 이에 대한 상세한 설명은 차후 도 4를 참조하여 상세히 설명하기로 한다.
제어부(30)의 상호작용부(33)는 결정된 사용자의 감정상태를 제공서비스에 반영한다. 예를 들어, 아바타 서비스를 제공하는 중이라면, 사용자의 아바타에 사용자 감정상태에 상응하는 제스처와 표정을 적용하는 것이다(도 7참조). 물론 이는 하나의 예시일 뿐 아바타 서비스 외에도 확장현실로서 제공하는 모든 서비스에 사용자 감정상태를 적용할 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 사용자 감정 상호 작용 과정을 도시한 흐름도이다.
도 3을 참조하면, 예를 들어 서버 형태로 구현되는 컴퓨팅 장치에서 수행되는 사용자 감정 상호 작용 방법은, 사용자의 실시간 촬영영상을 취득하고(S20), 촬영영상을 분석하여 사용자 감정상태를 결정하며(S30), 결정된 감정상태를 제공서비스에 반영(S40)하는 과정을 포함한다.
즉, 웹캠 등의 촬영수단에 의해 촬영된 사용자의 얼굴 및 몸짓을 분석함으로써, 사용자의 감정상태와 제스처를 분석한다. 즉, 고가의 센서에 의한 센싱값을 이용하는 것이 아니라, 사용자를 촬영한 영상을 다양한 학습데이터에 의한 분석기술을 이용하여 분석함으로써 사용자의 감정상태를 인식하는 것이다.
여기에 다른 실시예에 따르면, 인식 정확도를 높이기 위해, 도면과 같이 사용자감정정보를 등록하고 관리하는 단계(S10)가 선행될 수 있으며, 이러한 사용자감정정보를 더 활용하여 감정상태의 인식 정확도를 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자 맞춤형 인식을 위한 사용자감정정보 등록 과정을 도시한 흐름도이다.
도 4를 참조하면, 복수개의 감점을 유발하는 동영상 또는 사진을 포함하는 감정유발콘텐츠를 사용자에게 제공하는 재생토록 한다(S410).
감정유발콘텐츠가 재생되는 동안 사용자를 촬영한 촬영영상을 분석한다(S420).
사용자의 표정 및/또는 제스처에 변화가 발생하였는지를 판단하고(S430), 변화가 있었다면 현 시점의 감정유발콘텐츠 내용과 사용자의 표정 및/또는 제스처를 사용자감정정보로서 생성하여 저장한다(S440).
예를 들어, 감정유발콘텐츠의 내용으로 유머스러운 내용이 나올 때, 사용자의 표정에 변화가 발생되었다면, 그때의 사용자 표정에 따른 영상특징정보와 웃음이라는 감정상태에 대한 정보가 사용자감정정보로서 저장될 수 있다. 물론 이때에도 사용자의 얼굴표정이 어떤 감정상태인지에 대해 학습데이터를 활용한 인식과정을 더할 수 있음은 당연하다.
그리고, 이때 사용자의 연령, 성별 및 얼굴 형태에 상응하는 학습데이터를 기반으로 사용자감정정보를 생성할 수도 있다. 예를 들어, 10대가 웃는 표정과 40대가 웃는 표정에 차이가 있을 수 있으므로, 사용자의 연령, 성별 및 얼굴 형태에 상응하는 학습데이터를 우선하여 활용하여 사용자의 얼굴표정과 제스처를 분석함으로써 보다 활용성이 높은 사용자감정정보를 생성할 수 있다.
본 실시예에 따르면, 다양한 감정상태를 유발하는 콘텐츠를 사용자에게 미리 제공하여 시청토록 하고, 그때의 얼굴 또는 제스처 변화를 관찰하여 각 감정상태에서의 사용자 얼굴표정에 대한 특징을 구체화하고, 차후 감정인식 시에 활용함으로써 감정인식 정확도를 높일 수 있다.
전술한 바와 같이 사용자를 촬영한 영상뿐 아니라, 사용자가 착용한 웨어러블 디바이스를 더 활용하여 보다 정확도 높은 사용자의 감정상태 인식을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 이외에 웨어러블 기기를 이용한 감정상태 인식 과정을 도시한 흐름도이다.
도 5를 참조하면, 웨어러블 디바이스로부터의 센싱정보를 취득하면(S510), 웨어러블 디바이스의 종류, 기종에 따른 반영율을 결정하고(S520), 결정된 반영율에 따라 센싱정보를 촬영영상의 분석결과에 따른 정보와 함께 활용하여 감정상태를 결정한다(S530).
예를 들어, 심박수만을 측정하는 웨어러블 디바이스에 비해 심박수뿐 아니라 체온, 혈압을 더 측정할 수 있는 기기라면 더욱 높은 비율로 그 센싱값을 반영하여 감정상태를 결정할 것이다.
그리고, 만일 사용자 단말로부터 추가적으로 취득되는 정보(예를 들어, 사용자가 위치한 장소정보, 현재 주변에 재생중인 컨텐츠에 대한 정보, 주변에 존재하는 인물 등에 대한 정보)를 이용하여 현재상황을 인식하며, 인식된 현재상황을 더 활용하여 사용자의 감정상태의 결정할 수 있다. 이해의 편의를 위해 예를 들면, 현재 위치가 실내이고 주변에서 경쾌한 리듬의 음악이 재생되고 있고 친구들과 있는 것으로 상황인 인지된다면, 사용자의 현재 감정상태는 [신나는] 또는 [즐거운] 상태일 확률이 높으므로, 이러한 정보를 기반으로 촬영영상의 분석 및 웨어러블 디바이스의 센싱정보를 분석하여 사용자의 감정상태를 인식한다.
도 6은 본 발명의 일 실시예에 따른 인식된 감정상태의 정확도와 강도를 이용한 상호 작용 과정을 도시한 흐름도이다.
도 6을 참조하면, 촬영영상의 화질, 표정의 인식률 등을 이용하여 인식된 사용자의 감정상태의 정확도 수치를 산출하고, 또한 사용자의 표정변화의 크기에 따른 감정상태의 강도 수치를 산출한다(S610).
예를 들어, 촬영영상에서의 사용자 얼굴표정에 대한 영상의 질이 낮고, 분석된 사용자의 표정에 명확히 대응되는 감정상태가 없는 상태라면 정확도 수치는 낮게 산출될 것이다. 강도 수치에 대한 예를 들면, 사용자가 작게 웃는 것에 비해 크게 웃는 경우, 얼굴 표정의 변화가 더 높을 것이므로 이때의 강도 수치는 높게 산출될 수 있을 것이다.
정확도 수치에 따라 감정상태에 대한 제공서비스로의 반영률을 결정한다(S620). 예를 들어, 인식된 감정상태가 [웃음]이고, 정확도 수치가 높다면 아바타에 웃는 표정을 그대로 적용하고, 정확도 수치가 낮다면 아바타에 살짝 웃는 표정만을 잠시 적용함으로써 그 반영 비율을 달리 적용한다.
그리고, 강도 수치에 따라 감정상태에 대한 반영방식을 결정한다(S630). 예를 들어, 강도 수치가 높다면 감정상태인 [웃음]을 아바타의 얼굴에 표현할 때 얼굴크기만을 크게 확대한다거나 하는 웃음 특수효과를 적용하고, 이와 달리 강도 수치가 낮다면 특수효과 없이 웃는 표정만을 아바타의 얼굴에 적용한다.
상술한 본 발명에 따른 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
또한, 상술한 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

  1. 컴퓨팅 장치에서 수행되는 사용자 감정 상호 작용 방법에 있어서,
    사용자의 표정과 제스처를 촬영한 촬영영상을 취득하는 단계;
    학습된 감성인식기술을 기반으로 상기 촬영영상을 분석하여 사용자의 감정상태를 결정하는 단계; 및
    상기 감정상태를 제공서비스에 반영하는 단계를 포함하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  2. 제1항에 있어서,
    복수개의 감정을 유발하는 동영상 또는 사진을 포함하는 감정유발콘텐츠를 사용자에게 제공하는 단계; 및
    상기 감정유발콘텐츠가 재생되는 동안 변화되는 사용자 표정 또는 제스처와 그 시점의 감정유발콘텐츠의 내용을 이용하여 사용자감정정보를 생성 및 저장하는 단계를 더 포함하되,
    상기 사용자감정정보를 더 이용하여 상기 감정상태를 결정하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  3. 제2항에 있어서,
    사용자의 연령, 성별 및 얼굴 형태에 상응하는 학습데이터를 기반으로 상기 사용자감정정보를 생성하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  4. 제1항에 있어서,
    상기 사용자가 착용한 하나 이상의 웨어러블 디바이스로부터의 센싱정보를 더 이용하여 상기 감정상태를 결정하되,
    상기 웨어러블 디바이스의 종류, 기종에 따라 상기 감정상태의 결정 반영율을 달리 적용하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  5. 제1항에 있어서,
    사용자가 위치한 장소, 현재 주변에 재생중인 컨텐츠, 주변인물 중 적어도 어느 하나를 포함하는 현재상황을 인식하여 상기 감정상태의 결정에 이용하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  6. 제1항에 있어서,
    촬영영상의 화질, 표정의 인식률 등을 이용하여 상기 감정상태의 정확도 수치를 산출하는 단계를 더 포함하되,
    상기 정확도 수치에 따라 상기 감정상태에 대한 제공서비스로의 반영률을 달리 적용하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  7. 제1항에 있어서,
    사용자의 표정변화의 크기에 따른 상기 감정상태의 강도 수치를 산출하는 단계를 더 포함하되,
    상기 강도 수치에 따라 상기 감정상태에 대한 제공서비스로의 반영방식을 달리 적용하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법.
  8. 사용자 감정 상호 작용 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    사용자의 표정과 제스처를 촬영한 촬영영상을 취득하는 단계;
    학습된 감성인식기술을 기반으로 상기 촬영영상을 분석하여 사용자의 감정상태를 결정하는 단계; 및
    상기 감정상태를 제공서비스에 반영하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
  9. 사용자 단말로부터 사용자의 표정과 제스처를 촬영한 촬영영상을 취득하기 위한 통신부;
    학습된 감성인식기술을 기반으로, 상기 촬영영상을 분석하여 사용자의 감정상태를 결정하는 감정인식부; 및
    상기 감정상태를 제공서비스에 반영하는 상호작용부를 포함하는, 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 시스템.







KR1020220159202A 2022-11-24 2022-11-24 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템 KR20240077627A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/019237 WO2024111728A1 (ko) 2022-11-24 2022-11-30 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20240077627A true KR20240077627A (ko) 2024-06-03

Family

ID=

Similar Documents

Publication Publication Date Title
US10299008B1 (en) Smart closed caption positioning system for video content
US11189299B1 (en) Augmented reality speech balloon system
US11875439B2 (en) Augmented expression system
Yang et al. Benchmarking commercial emotion detection systems using realistic distortions of facial image datasets
TWI674516B (zh) 動畫顯示方法及人機交互裝置
US20190026367A1 (en) Navigating video scenes using cognitive insights
US11954150B2 (en) Electronic device and method for controlling the electronic device thereof
US20070074114A1 (en) Automated dialogue interface
US10191920B1 (en) Graphical image retrieval based on emotional state of a user of a computing device
US10719695B2 (en) Method for pushing picture, mobile terminal, and storage medium
CN110991427A (zh) 用于视频的情绪识别方法、装置和计算机设备
US11386474B2 (en) System and method for generating a product recommendation in a virtual try-on session
US11443554B2 (en) Determining and presenting user emotion
US10996741B2 (en) Augmented reality conversation feedback
EP3948580A1 (en) Contextual media filter search
CN112328088A (zh) 图像的呈现方法和装置
Mennig et al. Supporting rapid product changes through emotional tracking
KR20240077627A (ko) 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템
CN114998963A (zh) 图像检测方法和用于训练图像检测模型的方法
WO2024111728A1 (ko) 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템
JP2020052846A (ja) 描画システム、描画方法、及びプログラム
US20240169711A1 (en) Multi-modal understanding of emotions in video content
US20240104787A1 (en) Socializing based on personal protective equipment
US11107285B2 (en) Augmented reality-based image editing
Ripperda The Communicative Face