KR20220101836A - Apparatus and method for quantifying quality of interaction on extended reality content - Google Patents

Apparatus and method for quantifying quality of interaction on extended reality content Download PDF

Info

Publication number
KR20220101836A
KR20220101836A KR1020210003813A KR20210003813A KR20220101836A KR 20220101836 A KR20220101836 A KR 20220101836A KR 1020210003813 A KR1020210003813 A KR 1020210003813A KR 20210003813 A KR20210003813 A KR 20210003813A KR 20220101836 A KR20220101836 A KR 20220101836A
Authority
KR
South Korea
Prior art keywords
information
user
extended reality
characteristic
interaction
Prior art date
Application number
KR1020210003813A
Other languages
Korean (ko)
Inventor
이범렬
손욱호
이용호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210003813A priority Critical patent/KR20220101836A/en
Publication of KR20220101836A publication Critical patent/KR20220101836A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

Provided is a method for quantifying an interaction satisfaction performed by a computing device. The computing device obtains the extended reality characteristic information from the extended reality information extracted from a driving environment of an extended reality content of a user, generates an extended reality characteristic recognition parameter representing a characteristic recognition for the extended reality content of the user by modeling the extended reality characteristic information, and enables the interaction satisfaction of the user to be determined from the extended reality characteristic recognition parameter.

Description

확장 현실 콘텐츠에 대한 상호작용 만족도 정량화 장치 및 방법{APPARATUS AND METHOD FOR QUANTIFYING QUALITY OF INTERACTION ON EXTENDED REALITY CONTENT}Apparatus and method for quantifying interaction satisfaction for extended reality content

아래에서 설명하는 기술은 확장 현실 콘텐츠에 대한 상호작용 만족도 정량화 장치 및 방법에 관한 것이다.The technology described below relates to an apparatus and method for quantifying interaction satisfaction for extended reality content.

가상 현실(virtual reality, VR), 증강 현실(augmented reality, AR) 및 혼합 현실(mixed reality, MR)을 포함하는 확장 현실(extended reality, XR) 콘텐츠를 실행하는 환경에서 콘텐츠를 체험하는 사용자 관점의 안전 시청 및 콘텐츠 제작자 관점의 안전 제작 등에 관한 기술이 콘텐츠 산업계 중심으로 활용되고 있으며, 특히 가상 현실 멀미(VR sickness) 저감 기술이 산업 표준화가 진행된 바 있다. 또한 확장 현실 콘텐츠와 같은 실감형 콘텐츠의 사용자 경험 품질을 평가하는 기준으로서 콘텐츠를 체험하는 사용자의 콘텐츠에 대한 몰입감, 현실감, 자율성 및 사용성 만족도 등의 정성적인 평가 지표를 선정하여 주관적인 평가 방법을 사용하기도 한다. From the perspective of a user experiencing content in an environment running extended reality (XR) content, including virtual reality (VR), augmented reality (AR), and mixed reality (MR) Technologies related to safe viewing and safe production from the perspective of content creators are being utilized mainly in the content industry, and in particular, technology for reducing VR sickness in virtual reality has been industrialized. In addition, as a criterion for evaluating the user experience quality of immersive content such as extended reality content, a subjective evaluation method is used by selecting qualitative evaluation indicators such as immersion, realism, autonomy, and usability satisfaction with the content of the user experiencing the content. do.

종래 실감형 콘텐츠 산업에서 콘텐츠의 체험 품질을 평가하는 기술은 관련 전문가의 의견을 반영하는 방법을 적용함으로써 정량화된 객관적인 기준을 제시하지 못하고 있다. 실감형 콘텐츠의 사용자의 경험 품질 평가와 관련된 종래의 기술에서는 가상 현실 멀미를 저감하는 방법과 조절하는 방법이 제시된 바 있으나 사용자의 체험 품질 평가 시 사용자의 상호작용 만족도에 대한 평가 요소를 고려하지 못하였다. 또한 사용자의 사전 경험 및 개인화된 특성을 반영하지 못하는 등의 한계점이 있고, 다자 참여 콘텐츠에 특화된 특성을 평가 기준에 반영하지 못하였다. 그리고 게임 등급 분류 등의 방법에서는 사용자 상호작용 만족도에 대한 정량화 방법의 부재로 가상 현실 게임 콘텐츠에 대한 사용자 체험 품질 만족도 평가 기준 제시에 한계가 있다. In the conventional immersive content industry, the technology for evaluating the experience quality of content fails to present a quantified objective standard by applying a method that reflects the opinions of related experts. In the prior art related to the evaluation of the user's experience quality of immersive content, methods for reducing and controlling virtual reality motion sickness have been suggested, but evaluation factors for user interaction satisfaction were not considered when evaluating the user's experience quality. . In addition, there are limitations such as not reflecting the user's prior experience and personalized characteristics, and the characteristics specialized for multi-participation content could not be reflected in the evaluation criteria. In addition, in methods such as game rating classification, there is a limitation in presenting user experience quality satisfaction evaluation criteria for virtual reality game contents due to the absence of a quantification method for user interaction satisfaction.

KR 10-2019-0021812KR 10-2019-0021812

본 발명의 어떤 실시예가 이루고자 하는 과제는 확장 현실 콘텐츠에 대한 사용자의 상호작용 만족도를 정량화할 수 있는 장치 및 방법을 제공하는 것이다.It is an object of some embodiments of the present invention to provide an apparatus and method capable of quantifying a user's interaction satisfaction with extended reality content.

본 발명의 한 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 상호작용 만족도 정량화 방법이 제공된다. 상기 상호작용 만족도 정량화 방법은 사용자의 확장 현실 콘텐츠의 구동 환경으로부터 추출된 확장 현실 정보로부터 확장 현실 특성 정보를 얻는 단계, 상기 확장 현실 특성 정보를 모델링하여서 상기 사용자의 상기 확장 현실 콘텐츠에 대한 특성 인식을 나타내는 확장 현실 특성 인식 파라미터를 생성하는 단계, 그리고 상기 확장 현실 특성 인식 파라미터로부터 상기 사용자의 상호작용 만족도를 결정하는 단계를 포함한다.According to an embodiment of the present invention, a method for quantifying interaction satisfaction performed by a computing device is provided. The interaction satisfaction quantification method includes the steps of: obtaining extended reality characteristic information from extended reality information extracted from a driving environment of the user's extended reality content; modeling the extended reality characteristic information to recognize the user's characteristics of the extended reality content generating an extended reality characteristic recognition parameter representing the augmented reality characteristic recognition parameter, and determining an interaction satisfaction level of the user from the extended reality characteristic recognition parameter.

어떤 실시예에서, 상기 상호작용 만족도를 결정하는 단계는 기준 확장 현실 콘텐츠에 기초해서 학습된 머신 러닝 모델을 사용하여서 상기 확장 현실 특성 인식 파라미터로부터 상기 상호작용 만족도를 예측하는 단계를 포함할 수 있다.In some embodiments, determining the interaction satisfaction may include predicting the interaction satisfaction from the extended reality feature recognition parameter using a machine learning model trained based on reference extended reality content.

어떤 실시예에서, 상기 머신 러닝 모델은 상기 기준 확장 현실 콘텐츠를 체험하는 기준 사용자의 상호작용 만족도와 상기 기준 사용자의 상기 기준 확장 현실 콘텐츠에 대한 확장 현실 특성 인식 파라미터에 기초해서 학습될 수 있다.In some embodiments, the machine learning model may be trained based on an interaction satisfaction of a reference user experiencing the reference extended reality content and an extended reality characteristic recognition parameter of the reference user for the reference extended reality content.

어떤 실시예에서, 상기 확장 현실 정보는 상기 확장 현실 콘텐츠 및 상기 확장 현실 콘텐츠의 환경과 관련된 환경 및 콘텐츠 정보, 상기 사용자와 상기 확장 현실 콘텐츠 사이의 상호작용과 관련된 상호작용 정보, 그리고 상기 사용자와 관련된 사용자 정보를 포함할 수 있다.In some embodiments, the extended reality information includes the extended reality content and environment and content information related to the environment of the extended reality content, interaction information related to an interaction between the user and the extended reality content, and interaction information related to the user User information may be included.

어떤 실시예에서, 상기 확장 현실 특성 정보는 상기 확장 현실 콘텐츠의 특성을 나타내는 콘텐츠 특성 정보, 상기 사용자의 시선 추적의 특성을 나타내는 시선 추적 특성 정보 및 상기 사용자의 감정의 특성을 나타내는 사용자 감정 특성 정보를 포함할 수 있다.In some embodiments, the extended reality characteristic information includes content characteristic information indicating the characteristics of the extended reality content, eye tracking characteristic information indicating the user's gaze tracking characteristic, and user emotional characteristic information indicating the user's emotion characteristic. may include

어떤 실시예에서, 상기 확장 현실 특성 인식 파라미터를 생성하는 단계는, 상기 콘텐츠 특성 정보와 상기 시선 추적 특성 정보로부터 상기 사용자의 시각 인식과 관련된 정보를 모델링하는 단계, 상기 시선 추적 특성 정보 및 상기 사용자 감정 특성 정보로부터 상기 사용자의 안면 및 생체 정보 인식과 관련된 정보를 모델링하는 단계, 그리고 상기 시각 인식과 관련된 정보 및 상기 안면 및 생체 정보 인식과 관련된 정보를 통합하여서 확장 현실 특성 인식 파라미터를 생성하는 단계를 포함할 수 있다.In some embodiments, the generating of the extended reality characteristic recognition parameter includes modeling information related to the user's visual recognition from the content characteristic information and the gaze tracking characteristic information, the gaze tracking characteristic information, and the user emotion modeling the user's face and biometric information-related information from the characteristic information, and generating an extended reality feature recognition parameter by integrating the visual recognition-related information and the facial and biometric information-related information can do.

어떤 실시예에서, 상기 시각 인식과 관련된 정보는 상기 확장 현실 콘텐츠 장면의 시각 인식 정보, 상기 확장 현실 콘텐츠의 영상 뎁스 인식(depth cognition) 정보 또는 상기 사용자의 상호작용 인식(interaction cognition) 정보 중 적어도 하나를 포함할 수 있다.In an embodiment, the information related to visual recognition includes at least one of visual recognition information of the extended reality content scene, image depth cognition information of the extended reality content, and user interaction cognition information. may include.

어떤 실시예에서, 상기 안면 및 생체 정보 인식과 관련된 정보는 상기 사용자의 감정 기반 생체 정보, 상기 사용자의 감정 기반 안면 정보, 상기 사용자의 움직임의 세기 정보 또는 상기 사용자의 상호작용의 정확성 정보 중 적어도 하나를 포함할 수 있다.In some embodiments, the information related to facial and biometric information recognition is at least one of the user's emotion-based biometric information, the user's emotion-based facial information, the user's movement intensity information, or the user's interaction accuracy information may include.

어떤 실시예에서, 상기 확장 현실 특성 인식 파라미터는, 상기 사용자의 상호작용에 대한 의도 정보, 상기 사용자의 시선 기반 집중도 정보, 상기 사용자 감정 분류의 일치 정보 또는 상기 사용자의 피로도 및 현실감 수준 정보 중 적어도 하나를 포함할 수 있다.In an embodiment, the extended reality characteristic recognition parameter includes at least one of intention information for the user's interaction, the user's gaze-based concentration information, the matching information of the user emotion classification, or the user's fatigue and realism level information. may include.

어떤 실시예에서, 상기 확장 현실 콘텐츠가 복수의 사용자가 공유하는 확장 현실 콘텐츠인 경우, 상기 상호작용 만족도 정량화 방법은 상기 복수의 사용자 각각의 상기 상호작용 만족도를 통합하여서 통합 상호작용 만족도를 결정하는 단계를 더 포함할 수 있다.In some embodiments, when the extended reality content is extended reality content shared by a plurality of users, the method for quantifying interaction satisfaction includes determining an integrated interaction satisfaction by integrating the interaction satisfaction of each of the plurality of users may further include.

본 발명의 다른 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 상호작용 만족도 정량화 방법이 제공된다. 상기 상호작용 만족도 정량화 방법은 기준 상호작용 만족도 평가를 위한 기준 확장 현실 콘텐츠를 제공하는 단계, 상기 기준 확장 현실 콘텐츠를 체험하는 사용자로부터 상기 사용자와 상기 기준 확장 현실 콘텐츠 사이의 상호작용에 대한 기준 상호작용 만족도를 수신하는 단계, 상기 기준 확장 현실 콘텐츠의 구동 환경으로부터 상기 기준 사용자의 상기 기준 확장 현실 콘텐츠에 대한 특성 인식을 나타내는 확장 현실 특성 인식 파라미터를 생성하는 단계, 그리고 상기 기준 상호작용 만족도 및 상기 확장 현실 특성 인식 파라미터에 기초해서 상호작용 만족도를 예측하기 위한 머신 러닝 모델을 학습하는 단계를 포함한다.According to another embodiment of the present invention, a method for quantifying interaction satisfaction performed by a computing device is provided. The interaction satisfaction quantification method includes: providing reference extended reality content for evaluation of reference interaction satisfaction; Receiving a satisfaction level, generating an extended reality characteristic recognition parameter indicating characteristic recognition of the reference user for the reference extended reality content from a driving environment of the reference extended reality content, and the reference interaction satisfaction and the extended reality and training a machine learning model for predicting interaction satisfaction based on the feature recognition parameter.

어떤 실시예에서, 상기 머신 러닝 모델을 학습하는 단계는 상기 기준 상기 확장 현실 특성 인식 파라미터를 훈련 데이터로, 상기 기준 상호작용 만족도를 상기 확장 현실 특성 인식 파라미터의 레이블(label)로 설정하여서, 상기 머신 러닝 모델을 학습하는 단계를 포함할 수 있다.In some embodiments, the learning of the machine learning model comprises setting the reference extended reality characteristic recognition parameter as training data and the reference interaction satisfaction level as a label of the extended reality characteristic recognition parameter, so that the machine It may include training the learning model.

본 발명의 또 다른 실시예에 따르면, 적어도 하나의 명령어를 저장하는 메모리, 그리고 상기 명령어를 실행하는 프로세서를 포함하는 상호작용 만족도 정량화 장치가 제공된다. 상기 명령어를 실행함으로써, 상기 프로세서는 사용자의 확장 현실 콘텐츠의 구동 환경으로부터 추출된 확장 현실 정보로부터 확장 현실 특성 정보를 얻고, 상기 확장 현실 특성 정보를 모델링하여서 상기 사용자의 상기 확장 현실 콘텐츠에 대한 특성 인식을 나타내는 확장 현실 특성 인식 파라미터를 생성하고, 상기 확장 현실 특성 인식 파라미터로부터 상기 사용자의 상호작용 만족도를 결정한다.According to another embodiment of the present invention, there is provided an apparatus for quantifying interaction satisfaction including a memory for storing at least one instruction, and a processor for executing the instruction. By executing the instruction, the processor obtains extended reality characteristic information from the extended reality information extracted from the driving environment of the user's extended reality content, and models the extended reality characteristic information to recognize the user's characteristics of the extended reality content An extended reality feature recognition parameter representing

어떤 실시예에 따르면, 객관화된 XR 콘텐츠 체험 품질 평가 기준으로 활용할 수 있도록 XR 콘텐츠에 대한 사용자의 상호작용 만족도를 정량화할 수 있다.According to some embodiments, it is possible to quantify the user's interaction satisfaction with XR content so that it can be used as an objective criterion for evaluating the quality of XR content experience.

도 1은 본 발명의 한 실시예에 따른 확장 현실 콘텐츠의 상호작용 만족도 정량화 장치의 한 예를 나타내는 도면이다.
도 2는 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 XR 정보의 추출의 한 예를 설명하는 도면이다.
도 3은 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 XR 특성 분석 및 추출기의 한 예를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 XR 특성 데이터 모델러의 한 예를 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 상호작용 만족도 정량화 처리의 한 예를 설명하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 상호작용 만족도 정량화 장치의 한 예를 나타내는 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 상호작용 만족도 정량화 방법의 한 예를 나타내는 흐름도이다.
도 8은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.1 is a diagram illustrating an example of an apparatus for quantifying interaction satisfaction of extended reality content according to an embodiment of the present invention.
2 is a view for explaining an example of extraction of XR information in the apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.
3 is a diagram illustrating an example of an XR characteristic analysis and extractor in an apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.
4 is a diagram illustrating an example of an XR characteristic data modeler in an apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.
5 is a view for explaining an example of interaction satisfaction quantification processing in the apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.
6 is a diagram illustrating an example of an apparatus for quantifying interaction satisfaction according to another embodiment of the present invention.
7 is a flowchart illustrating an example of a method for quantifying interaction satisfaction according to another embodiment of the present invention.
8 is a diagram illustrating an example of a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

아래 설명에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.In the description below, expressions described in the singular may be construed in the singular or plural unless an explicit expression such as “one” or “single” is used.

도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.In the flowchart described with reference to the drawings, the order of operations may be changed, several operations may be merged, some operations may be divided, and specific operations may not be performed.

도 1은 본 발명의 한 실시예에 따른 확장 현실 콘텐츠의 상호작용 만족도 정량화 장치의 한 예를 나타내는 도면이다.1 is a diagram illustrating an example of an apparatus for quantifying interaction satisfaction of extended reality content according to an embodiment of the present invention.

어떤 실시예에서, 확장 현실(extended reality, XR) 콘텐츠는 가상 현실, 증강 현실 또는 혼합 현실 등의 실감형 콘텐츠를 포함할 수 있다.In some embodiments, extended reality (XR) content may include immersive content, such as virtual reality, augmented reality, or mixed reality.

도 1을 참고하면, XR 콘텐츠의 상호작용 만족도(quality of interaction, QoI) 정량화 장치(100)는 XR 콘텐츠 구동 환경 정보 취득부(110), 기준 상호작용 만족도 생성부(120), XR 특성 정보 모델링 처리부(130) 및 상호작용 만족도 정량화 처리부(140)를 포함한다.Referring to FIG. 1 , the apparatus 100 for quantifying the quality of interaction (QoI) of XR content includes an XR content driving environment information acquisition unit 110 , a reference interaction satisfaction generation unit 120 , and XR characteristic information modeling. It includes a processing unit 130 and an interaction satisfaction quantification processing unit 140 .

사용자(111)는 XR 콘텐츠 구동 장치(112)를 착용하고, XR 콘텐츠(113)를 구동해서 체감할 수 있다. XR 콘텐츠 구동 장치(112)는 예를 들면 머리 착용 디스플레이(head mounted display, HMD), AR 글라스(AR glasses) 등일 수 있다. XR 콘텐츠 구동 환경 정보 취득부(110)는 XR 콘텐츠 구동 장치(112)로부터 XR 콘텐츠 구동 환경(XR content operational environment) 정보를 취득할 수 있다. 어떤 실시예에서, XR 콘텐츠 구동 환경 정보는 XR 콘텐츠와 관련된 XR 콘텐츠 정보, XR 콘텐츠의 환경과 관련된 정보, 사용자(111)와 XR 콘텐츠(113) 사이의 상호작용(interaction)에 관한 정보 및 사용자(111)와 관련된 사용자 정보를 포함할 수 있다. 어떤 실시예에서, 사용자 정보는 사용자의 몸, 헤드, 시선 추적 정보, 안면 정보, 손 제스처 정보, 얼굴 변화 특성 기반 감정 정보 및 사용자 생체 정보 중 적어도 일부를 포함할 수 있다.The user 111 may wear the XR content driving device 112 and drive the XR content 113 to experience it. The XR content driving device 112 may be, for example, a head mounted display (HMD), AR glasses, or the like. The XR content driving environment information acquisition unit 110 may acquire XR content operational environment information from the XR content driving device 112 . In some embodiments, the XR content driving environment information includes XR content information related to the XR content, information related to the environment of the XR content, information about the interaction between the user 111 and the XR content 113 and the user ( 111) and related user information. In some embodiments, the user information may include at least some of the user's body, head, eye tracking information, facial information, hand gesture information, facial change characteristic-based emotion information, and user biometric information.

기준 상호작용 만족도 생성부(120)는 기준 상호작용 만족도(reference QoI)를 생성한다. 기준 상호작용 만족도는 사용자가 구동하여서 체험 중인 XR 콘텐츠에 대한 사용자 상호작용 만족도의 예측치에 대한 기준치로 활용할 수 있다. 어떤 실시예에서, 기준 상호작용 만족도를 생성하기 위해서 기준 XR 콘텐츠(121)가 제공될 수 있다. 이 경우, 다양한 구동 환경에서 다양한 사용자가 기준 XR 콘텐츠(121)를 체험하면서 기준 XR 콘텐츠(121)의 상호작용 만족도를 평가할 수 있다. 기준 상호작용 만족도 생성부(120)는 사용자(기준 사용자)로부터의 기준 XR 콘텐츠(121)에 대한 상호작용 만족도를 수집하여서 저장 장치(122)에 기준 상호작용 만족도로 저장할 수 있다. 어떤 실시예에서, 기준 상호작용 만족도 생성부(120)는 기준 사용자의 기준 XR 콘텐츠에 대한 특성 인식을 나타내는 XR 특성 인식 파라미터를 생성하고, 기준 상호작용 만족도를 해당 기준 상호작용 만족도와 관련된 XR 특성 인식 파라미터와 함께 저장 장치(122)에 저장할 수 있다.The reference interaction satisfaction generation unit 120 generates a reference interaction satisfaction level (reference QoI). The standard interaction satisfaction can be used as a reference value for the predicted value of user interaction satisfaction for the XR content being driven and experienced by the user. In some embodiments, baseline XR content 121 may be provided to create a baseline interaction satisfaction. In this case, various users may evaluate the interaction satisfaction of the reference XR content 121 while experiencing the reference XR content 121 in various driving environments. The reference interaction satisfaction generation unit 120 may collect interaction satisfaction for the reference XR content 121 from the user (reference user) and store it in the storage device 122 as the reference interaction satisfaction level. In some embodiments, the reference interaction satisfaction generating unit 120 generates an XR characteristic recognition parameter indicating characteristic recognition of the reference XR content of the reference user, and sets the reference interaction satisfaction level to XR characteristic recognition related to the reference interaction satisfaction It may be stored in the storage device 122 together with the parameters.

XR 특성 정보 모델링 처리부(130)는 XR 콘텐츠 구동 환경 정보 취득부(110)에서 취득한 XR 구동 환경 정보를 입력 받으며, XR 구동 환경 정보를 분석하여서 XR 특성 정보를 추출하고, XR 데이터 모델링을 기반으로 XR 특성 정보로부터 XR 특성 데이터 인식 파라미터를 생성한다. XR 특성 정보 모델링 처리부(130)는 XR 구동 환경 정보를 분석하여서 XR 특성 정보를 추출하는 XR 특성 분석 및 추출기(131) 및 XR 데이터 모델링을 기반으로 XR 특성 데이터 인식 파라미터를 생성하는 XR 특성 데이터 모델러(132)를 포함할 수 있다.The XR characteristic information modeling processing unit 130 receives the XR driving environment information acquired from the XR content driving environment information acquisition unit 110 , and extracts XR characteristic information by analyzing the XR driving environment information, and XR based on XR data modeling An XR characteristic data recognition parameter is generated from the characteristic information. The XR characteristic information modeling processing unit 130 is an XR characteristic analysis and extractor 131 that extracts XR characteristic information by analyzing XR driving environment information, and an XR characteristic data modeler that generates XR characteristic data recognition parameters based on XR data modeling ( 132) may be included.

상호작용 만족도 정량화 처리부(140)는 기준 상호작용 만족도 생성부(120)에서 생성한 기준 상호작용 만족도와 XR 특성 정보 모델링 처리부(130)에서 생성한 XR 특성 데이터 인식 파라미터에 기초해서 사용자 상호작용 만족도를 결정한다. 어떤 실시예에서, 상호작용 만족도 정량화 처리부(140)는 기준 상호작용 만족도에 기초해서 학습된 머신 러닝(machine learning) 모델을 사용해서 XR 특성 데이터 인식 파라미터로부터 사용자 상호작용 만족도를 예측할 수 있다. 어떤 실시예에서, 상호작용 만족도 정량화 처리부(140)는 기준 상호작용 만족도에 기초해서 머신 러닝(machine learning) 모델을 학습하고, 학습한 머신 러닝 모델을 기초로 기준 사용자 상호작용 만족도와 XR 특성 데이터 인식 파라미터로부터 사용자 상호작용 만족도에 대한 예측값을 결정할 수 있다. 어떤 실시예에서, 머신 러닝 모델은 상호작용 만족도 정량화 처리부(140)가 구현된 컴퓨팅 장치와는 별도의 컴퓨팅 장치에서 학습된 후에 상호작용 만족도 정량화 처리부(140)에 제공될 수 있다.The interaction satisfaction quantification processing unit 140 calculates user interaction satisfaction based on the reference interaction satisfaction generated by the reference interaction satisfaction generation unit 120 and the XR characteristic data recognition parameter generated by the XR characteristic information modeling processing unit 130 . decide In some embodiments, the interaction satisfaction quantification processing unit 140 may predict user interaction satisfaction from the XR characteristic data recognition parameters using a machine learning model learned based on the reference interaction satisfaction level. In some embodiments, the interaction satisfaction quantification processing unit 140 learns a machine learning model based on the reference interaction satisfaction level, and recognizes the reference user interaction satisfaction level and XR characteristic data based on the learned machine learning model From the parameters, it is possible to determine a predicted value for user interaction satisfaction. In some embodiments, the machine learning model may be provided to the interaction satisfaction quantification processing unit 140 after being trained in a computing device separate from the computing device in which the interaction satisfaction quantification processing unit 140 is implemented.

이에 따라, 상호작용 만족도 정량화 장치(100)는 XR 콘텐츠에 대한 사용자의 상호작용 만족도의 예측값을 정량화할 수 있다.Accordingly, the interaction satisfaction quantification apparatus 100 may quantify the predicted value of the user's interaction satisfaction with respect to the XR content.

어떤 실시예에서, 상호작용 만족도 정량화 장치(100)는 XR 콘텐츠 구동 장치(113)와는 별도의 컴퓨팅 장치에서 구현되고, XR 콘텐츠 구동 장치(113)와 통신 인터페이스를 통해 연결될 수 있다.In some embodiments, the interaction satisfaction quantification apparatus 100 may be implemented in a computing device separate from the XR content driving device 113 , and may be connected to the XR content driving device 113 through a communication interface.

어떤 실시예에서, 상호작용 만족도 정량화 장치(100)에서 XR 콘텐츠 구동 환경 정보 취득부(110)는 XR 콘텐츠 구동 장치(113)에 구현될 수 있다.In some embodiments, the XR content driving environment information acquisition unit 110 in the interaction satisfaction quantification apparatus 100 may be implemented in the XR content driving apparatus 113 .

어떤 실시예에서, 상호작용 만족도 정량화 장치(100)에서 기준 상호작용 만족도 생성부(120)는 XR 특성 정보 모델링 처리부(130) 및 상호작용 만족도 정량화 처리부(140)가 형성된 컴퓨팅 장치와는 별도의 컴퓨팅 장치에 구현될 수 있다.In some embodiments, in the interaction satisfaction quantification apparatus 100 , the reference interaction satisfaction generation unit 120 is computed separately from the computing device in which the XR characteristic information modeling processing unit 130 and the interaction satisfaction quantification processing unit 140 are formed. It can be implemented in the device.

어떤 실시예에서, 상호작용 만족도 정량화 장치(100)는 XR 콘텐츠 구동 장치(113)에서 구현될 수 있다.In some embodiments, the interaction satisfaction quantification apparatus 100 may be implemented in the XR content driving apparatus 113 .

도 2는 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 XR 정보의 추출의 한 예를 설명하는 도면이다.2 is a diagram for explaining an example of extraction of XR information in the apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.

XR 콘텐츠 구동 환경 정보 취득부(예를 들면, 도 1의 110)는 XR 구동 환경에서 XR 정보를 추출할 수 있다. 이러한 XR 정보를 기본 XR 정보(primitive XR information)라 할 수 있다. 도 2를 참고하면, 어떤 실시예에서, XR 정보(200)는 정보의 특성에 따라 분류될 수 있으며, 환경 및 콘텐츠 정보(210), 상호작용 정보(220) 및 사용자 정보(230)를 포함할 수 있다. The XR content driving environment information acquisition unit (eg, 110 of FIG. 1 ) may extract XR information from the XR driving environment. Such XR information may be referred to as primitive XR information. Referring to FIG. 2 , in some embodiments, XR information 200 may be classified according to characteristics of the information, and may include environment and content information 210 , interaction information 220 , and user information 230 . can

환경 및 콘텐츠 정보(210)는 XR 콘텐츠와 XR 콘텐츠의 환경과 관련된 정보로, XR 콘텐츠 정보(211), XR 콘텐츠 환경 뎁스맵(depth map)(212) 및 XR 콘텐츠 구동 장치(예를 들면, 표시 장치) 정보(213)를 포함할 수 있다. 상호작용 정보(220)는 사용자와 XR 콘텐츠 사이의 상호작용과 관련된 정보로, 상호작용 발생(interaction occurrence) 정보(221) 및 상호작용 인터페이스 정보(222)를 포함할 수 있다. 사용자 정보(230)는 사용자와 관련된 정보로, 사용자 시선 추적(eye tracking) 정보(231), 사용자 안면(facial) 정보(232), 사용자 손 제스처(hand gesture) 정보(233), 사용자 자세(posture) 정보(예를 들면, 몸 및 헤드 정보)(234) 및 사용자 생체(bio-metric) 정보(235)를 포함할 수 있다. The environment and content information 210 is information related to the XR content and the environment of the XR content, and includes the XR content information 211 , the XR content environment depth map 212 , and the XR content driving device (eg, display). device) information 213 . The interaction information 220 is information related to an interaction between a user and the XR content, and may include interaction occurrence information 221 and interaction interface information 222 . The user information 230 is user-related information, and includes user eye tracking information 231 , user facial information 232 , user hand gesture information 233 , and user posture. ) information (eg, body and head information) 234 and user bio-metric information 235 .

어떤 실시예에서, XR 정보(200)는 XR 특성 정보 모델링 처리부(예를 들면, 도 1의 130), 특히 XR 특성 정보 모델링 처리부의 XR 특성 분석 및 추출기(예를 들면, 도 1의 131)에 제공될 수 있다.In some embodiments, the XR information 200 is transmitted to the XR characteristic information modeling processing unit (eg, 130 in FIG. 1 ), particularly the XR characteristic analysis and extractor (eg, 131 in FIG. 1 ) of the XR characteristic information modeling processing unit. can be provided.

도 3은 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 XR 특성 분석 및 추출기의 한 예를 나타내는 도면이다.3 is a diagram illustrating an example of an XR characteristic analysis and extractor in an apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.

XR 콘텐츠의 상호작용 만족도 정량화 장치는 XR 특성 정보 모델링 처리부를 포함하며, XR 특성 정보 모델링 처리부는 XR 특성 분석 및 추출기를 포함할 수 있다.The apparatus for quantifying interaction satisfaction of XR content may include an XR characteristic information modeling processing unit, and the XR characteristic information modeling processing unit may include an XR characteristic analysis and extractor.

어떤 실시예에서, XR 특성 분석 및 추출기(300)는 XR 정보를 입력 받고, XR 정보를 처리하여서 XR 특성 정보(XR feature information)를 얻을 수 있다. 이러한 XR 특성 정보를 기본 XR 특성 정보(primitive XR feature information)이라 할 수 있다. 어떤 실시예에서, XR 특성 정보는 콘텐츠 특성 정보, 시선 추적 특성 정보 및 사용자 감정 특성 정보를 포함할 수 있다. 도 3을 참고하면, XR 특성 분석 및 추출기(300)는 콘텐츠 정보 분석기(310), 시선 추적 정보 분석기(320) 및 감정 정보 분류기(330)를 포함할 수 있다.In some embodiments, the XR feature analyzer and extractor 300 may receive XR information and process the XR information to obtain XR feature information. Such XR feature information may be referred to as primitive XR feature information. In some embodiments, the XR characteristic information may include content characteristic information, eye tracking characteristic information, and user emotion characteristic information. Referring to FIG. 3 , the XR characteristic analyzer and extractor 300 may include a content information analyzer 310 , an eye tracking information analyzer 320 , and an emotion information classifier 330 .

콘텐츠 정보 분석기(310)는 XR 정보의 환경 및 콘텐츠 정보를 분석하여서 XR 콘텐츠의 특성을 나타내는 콘텐츠 특성(content feature) 정보를 추출할 수 있다. 어떤 실시예에서, 콘텐츠 정보 분석기(310)는 환경 및 콘텐츠 정보로부터 콘텐츠 복잡도(311), 콘텐츠 뎁스(depth)(312), 옵티컬 플로우(optical flow)(313) 및 콘텐츠 영상 내 데이터 분산 정보(314)를 분석하여서 콘텐츠 특성 정보를 추출할 수 있다.The content information analyzer 310 may extract content feature information indicating the characteristics of the XR content by analyzing the environment and content information of the XR information. In some embodiments, the content information analyzer 310 collects content complexity 311 , content depth 312 , optical flow 313 , and data distribution information 314 within the content image from the environment and content information. ) can be analyzed to extract content characteristic information.

사용자 시선 추적 정보 분석기(320)는 XR 정보의 상호작용 정보를 분석하여서 사용자의 시선 추적의 특성을 나타내는 시선 추적 특성(eye-tracking feature) 정보를 추출할 수 있다. 어떤 실시예에서, 사용자 시선 추적 정보 분석기(320)는 XR 정보의 상호작용 정보로부터 사용자의 안구 이동과 관련된 시야집중(foveation) 정보(321), 급속 안구운동(saccade) 정보(322), 시각적 돌출관심(saliency) 정보(323) 및 시선고정(fixation) 정보(324)를 분석하여서 시선 추적 특성 정보를 추출할 수 있다.The user eye tracking information analyzer 320 may extract eye-tracking feature information indicating the user's eye tracking characteristic by analyzing the interaction information of the XR information. In some embodiments, the user eye tracking information analyzer 320 may include foveation information 321 related to the user's eye movement from the interaction information of the XR information, saccade information 322, and visual protrusion. Eye tracking characteristic information may be extracted by analyzing the saliency information 323 and the gaze fixation information 324 .

사용자 감정 정보 분류기(330)는 XR 정보의 상호작용 정보를 분석하여서 사용자의 감정의 특성을 나타내는 사용자 감정 특성(user emotion feature) 정보를 추출할 수 있다. 어떤 실시예에서, 사용자 감정 정보 분류기(330)는 XR 정보의 사용자 정보로부터 안면 랜드마크(facial landmark) 정보(331) 및 안면 랜드마크 기반 사용자 감정 분류 정보(332)를 분석하여서 사용자 감정 특성 정보를 추출할 수 있다. 안면 랜드마크 정보(331)는 사용자 얼굴의 위치별 특성 정보를 나타낼 수 있다. 감정 분류 정보(332)는 감정의 각성(arousal)과 정서가(valence) 중 어느 하나를 지시할 수 있다.The user emotion information classifier 330 may extract user emotion feature information representing the user's emotion characteristics by analyzing the interaction information of the XR information. In some embodiments, the user emotion information classifier 330 analyzes the facial landmark information 331 and the facial landmark-based user emotion classification information 332 from the user information of the XR information to obtain the user emotion characteristic information. can be extracted. The facial landmark information 331 may indicate characteristic information for each location of the user's face. The emotion classification information 332 may indicate any one of emotional arousal and emotional valence.

어떤 실시예에서, XR 특성 정보는 XR 특성 데이터 모델러(예를 들면, 도 1의 132)에 제공될 수 있다.In some embodiments, the XR characteristic information may be provided to an XR characteristic data modeler (eg, 132 in FIG. 1 ).

도 4는 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 XR 특성 데이터 모델러의 한 예를 나타내는 도면이다.4 is a diagram illustrating an example of an XR characteristic data modeler in an apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.

XR 콘텐츠의 상호작용 만족도 정량화 장치는 XR 특성 정보 모델링 처리부를 포함하며, XR 특성 정보 모델링 처리부는 XR 특성 데이터 모델러를 포함할 수 있다.The apparatus for quantifying interaction satisfaction of XR content may include an XR characteristic information modeling processing unit, and the XR characteristic information modeling processing unit may include an XR characteristic data modeler.

어떤 실시예에서, XR 특성 데이터 모델러(400)는 XR 특성 정보를 입력 받고, XR 특성 정보를 처리하여 사용자의 XR 콘텐츠에 대한 특성 인식을 나타내는 XR 특성 인식 파라미터를 얻을 수 있다. 어떤 실시예에서, XR 특성 정보는 도 3을 참고로 하여 설명한 것처럼 콘텐츠 특성 정보, 시선추적 특성 정보 및 사용자 감정 특성 정보를 포함할 수 있다.In some embodiments, the XR characteristic data modeler 400 may receive XR characteristic information and process the XR characteristic information to obtain an XR characteristic recognition parameter representing the user's characteristic recognition of XR content. In some embodiments, the XR characteristic information may include content characteristic information, eye tracking characteristic information, and user emotional characteristic information as described with reference to FIG. 3 .

도 4를 참고하면, XR 특성 분석 및 추출기(400)는 먼저 XR 특성 정보로부터 사용자의 시선 추적, 안면 정보 및 생체 정보의 변화에 대한 사용자 인식 데이터를 모델링하고, 시선 추적, 안면 정보 및 생체 정보의 변화에 따른 데이터를 통합하여 통합 인식을 모델링할 수 있다. 어떤 실시예에서, XR 특성 분석 및 추출기(400)는 콘텐츠 시각 인식 모델러(410), 사용자 안면 및 생체 정보 인식 모델러(420) 및 통합 인식 모델러(430)를 포함할 수 있다.Referring to FIG. 4 , the XR characteristic analyzer and extractor 400 first models the user's gaze tracking from the XR characteristic information, and user recognition data for changes in facial information and biometric information, and includes the gaze tracking, facial information and biometric information. Integrated perception can be modeled by integrating data according to change. In some embodiments, the XR characterization and extractor 400 may include a content visual recognition modeler 410 , a user facial and biometric recognition modeler 420 , and an integrated recognition modeler 430 .

콘텐츠 시각 인식 모델러(410)는 콘텐츠 특성 정보와 시선 추적 특성 정보로부터 XR 콘텐츠에 대한 사용자의 시각 인식과 관련된 정보를 모델링할 수 있다. 어떤 실시예에서, 시각 인식과 관련된 정보는 콘텐츠 장면의 시각 인식(visual cognition) 정보(411), 콘텐츠 영상 뎁스 인식(depth cognition) 정보(412) 또는 사용자 상호작용 인식(interaction cognition) 정보(413) 중 적어도 하나를 포함할 수 있다. 사용자 안면 및 생체 정보 인식 모델러(420)는 시선 추적 특성 정보와 사용자 감정 특성 정보로부터 사용자의 안면 및 생체 정보 인식과 관련된 정보를 모델링할 수 있다. 어떤 실시예에서, 안면 및 생체 정보 인식과 관련된 정보는 사용자의 감정 기반 생체 정보(421), 사용자의 감정 기반 안면 정보(422), 사용자 움직임의 세기 정보(423) 또는 사용자 상호작용의 정확성 정보(424) 중 적어도 하나를 포함할 수 있다.The content visual recognition modeler 410 may model information related to the user's visual recognition of the XR content from the content characteristic information and the eye tracking characteristic information. In some embodiments, information related to visual recognition includes visual cognition information 411 of a content scene, content image depth cognition information 412 or user interaction cognition information 413 . may include at least one of The user's face and biometric information recognition modeler 420 may model information related to the recognition of the user's face and biometric information from the eye tracking characteristic information and the user emotional characteristic information. In some embodiments, information related to facial and biometric recognition includes user's emotion-based biometric information 421 , user's emotion-based facial information 422 , user movement intensity information 423 , or user interaction accuracy information ( 424) may include at least one of.

통합 인식 모델러(430)는 콘텐츠 시각 인식 모델러(410)에서 모델링된 콘텐츠 장면의 시각 인식 정보(411), 콘텐츠 영상 뎁스 정보(412) 및 사용자 상호작용 인식 정보(413), 그리고 사용자 안면 및 생체 정보 인식 모델러(420)에서 모델링된 사용자의 감정 기반 생체 정보(421), 사용자의 감정 기반 안면 정보(422), 사용자 움직임의 세기(423) 및 사용자 상호작용 정확성 정보(424)를 통합하여서 XR 특성 인식 파라미터를 생성할 수 있다. 어떤 실시예에서, XR 특성 인식 파라미터는 사용자 상호작용에 대한 의도(intension) 정보(431), 사용자 시선 기반 집중도(concentration) 정보(432), 사용자 감정 분류의 일치(synchronization) 정보(433) 또는 사용자 피로도 및 현실감 수준(fatigue level and sense of presence) 정보(434) 중 적어도 하나를 포함할 수 있다.The integrated recognition modeler 430 includes visual recognition information 411 of a content scene modeled by the content visual recognition modeler 410, content image depth information 412 and user interaction recognition information 413, and user face and biometric information XR characteristic recognition by integrating the user's emotion-based biometric information 421 , the user's emotion-based facial information 422 , the intensity of user movement 423 , and the user interaction accuracy information 424 modeled in the recognition modeler 420 . You can create parameters. In some embodiments, the XR characteristic recognition parameter includes intent information 431 for user interaction, user gaze-based concentration information 432, synchronization information 433 of user emotion classification, or user At least one of fatigue level and sense of presence information 434 may be included.

어떤 실시예에서, XR 특성 인식 파라미터는 상호작용 만족도 정량화 처리부(예를 들면, 도 1의 140)에 제공될 수 있다.In some embodiments, the XR characteristic recognition parameter may be provided to the interaction satisfaction quantification processing unit (eg, 140 of FIG. 1 ).

도 5는 본 발명의 한 실시예에 따른 XR 콘텐츠의 상호작용 만족도 정량화 장치에서 상호작용 만족도 정량화 처리의 한 예를 설명하는 도면이다.5 is a view for explaining an example of interaction satisfaction quantification processing in the apparatus for quantifying interaction satisfaction of XR content according to an embodiment of the present invention.

도 5를 참고하면, 상호작용 만족도 정량화 처리부(500)는 기준 상호작용 만족도를 기초로 머신 러닝 모델을 학습한다. 어떤 실시예에서, XR 콘텐츠에 대한 다양한 XR 특성 인식 파라미터를 훈련 데이터로 포함하는 훈련 데이터 세트와 각 훈련 데이터(즉, XR 특성 인식 파라미터)에 대응하는 기준 상호작용 만족도를 해당 XR 특성 인식 파라미터의 레이블(label)로 사용해서 머신 러닝 모델이 학습될 수 있다. 예를 들면, 머신 러닝 모델은 신경망을 사용해서 각 XR 특성 인식 파라미터로부터 예측한 예측값과 해당 XR 특성 인식 파라미터에 레이블로 할당된 기준 상호작용 만족도 사이의 손실(loss)을 신경망으로 역전파하여서 신경망을 갱신함으로써 학습될 수 있다.Referring to FIG. 5 , the interaction satisfaction quantification processing unit 500 learns a machine learning model based on a reference interaction satisfaction level. In some embodiments, a training data set including various XR feature recognition parameters for XR content as training data, and a criterion interaction satisfaction corresponding to each training data (i.e., XR feature recognition parameters) are measured by a label of the corresponding XR feature recognition parameter. A machine learning model can be trained by using it as a label. For example, a machine learning model uses a neural network to build a neural network by backpropagating the loss between the predicted value predicted from each XR feature recognition parameter and the standard interaction satisfaction assigned as a label to that XR feature recognition parameter. It can be learned by updating.

상호작용 만족도 정량화 처리부(500)는 머신 러닝 모델을 학습한 후에, 머신XR 특성 정보 모델링 처리부(예를 들면, 도 1의 130)에서 출력되는 사용자의 XR 특성 인식 파라미터를 머신 러닝 모델에 입력하여서 사용자 상호작용 만족도를 예측할 수 있다.After learning the machine learning model, the interaction satisfaction quantification processing unit 500 inputs the user's XR characteristic recognition parameter output from the machine XR characteristic information modeling processing unit (eg, 130 in FIG. 1 ) into the machine learning model to input the user Interaction satisfaction can be predicted.

이상에서 설명한 실시예에 따르면, XR 콘텐츠를 통해서 실제 사용자들이 평가한 상호작용 만족도를 기초로 XR 콘텐츠의 구동 환경 특성에 따른 정량화된 상호작용 만족도(즉, 콘텐츠 체험 품질)를 예측할 수 있다. 따라서, 콘텐츠 사업자에게 XR 콘텐츠에 대한 상호작용 만족도를 기초로 콘텐츠 분류, 등급 산정 및 평가 인증 기준을 제공할 수 있으며, 콘텐츠 제작자에게 콘텐츠의 기획, 연출 및 개발 단계에서 콘텐츠의 제작 장면 별로 상호작용 만족도를 기준으로 사용자의 선호도 높은 콘텐츠 제작을 가능하게 할 수 있다.According to the embodiment described above, it is possible to predict the quantified interaction satisfaction (ie, content experience quality) according to the driving environment characteristics of XR content based on the interaction satisfaction evaluated by real users through the XR content. Therefore, it is possible to provide content providers with content classification, rating calculation, and evaluation certification standards based on interaction satisfaction for XR content, and interaction satisfaction for each content production scene in the planning, directing, and development stages of content to content creators. Based on this, it is possible to create content with high user preference.

도 6은 본 발명의 다른 실시예에 따른 상호작용 만족도 정량화 장치의 한 예를 나타내는 도면이다.6 is a diagram illustrating an example of an apparatus for quantifying interaction satisfaction according to another embodiment of the present invention.

도 6에 도시한 상호작용 만족도 정량화 장치(600)는 다중 사용자 접속 기반 XR 콘텐츠 공간 공유형 구동 환경에서 다중 사용자의 상호작용 만족도를 정량화할 수 있다.The interaction satisfaction quantification apparatus 600 illustrated in FIG. 6 may quantify the interaction satisfaction of multiple users in a multi-user access-based XR content space sharing driving environment.

도 6을 참고하면, 상호작용 만족도 정량화 장치(600)는 다중 사용자용 기준 상호작용 만족도 생성부(620), XR 데이터 특성 모델러(630) 및 다중 사용자 상호작용 모델러(640)를 포함한다.Referring to FIG. 6 , the interaction satisfaction quantification apparatus 600 includes a multi-user reference interaction satisfaction generator 620 , an XR data characteristic modeler 630 , and a multi-user interaction modeler 640 .

다중 사용자 접속 기반 XR 콘텐츠 공간 공유형 구동 환경(610)은 복수의 사용자(611, 612, 613, 614)가 XR 콘텐츠가 함께 체험할 수 있도록 XR 콘텐츠가 구동되는 공간을 공유하는 구동 환경이다. 이러한 XR 콘텐츠 공간 공유형 구동 환경에서, 각 사용자(611, 612, 613, 614)는 XR 콘텐츠 구동 장치를 착용하고 XR 콘텐츠 공간 공유형 구동 환경을 위한 공유 XR 콘텐츠를 구동해서 체험할 수 있다. 이에 따라, 각 사용자(611, 612, 613, 614)의 XR 콘텐츠 구동 장치 또는 XR 콘텐츠 구동 장치에 연결된 컴퓨팅 장치에서 각 사용자(611, 612, 613, 614)에 특화된 XR 콘텐츠 구동 환경 정보를 취득하고, 구동 환경 정보에서 XR 정보를 추출하여 상호작용 만족도 정량화 장치(600)로 전달할 수 있다.The multi-user access-based XR content space sharing driving environment 610 is a driving environment in which a plurality of users 611 , 612 , 613 , and 614 share a space in which the XR content is driven so that the XR content can be experienced together. In such an XR content space sharing type driving environment, each user 611 , 612 , 613 , 614 may wear an XR contents driving device and drive and experience shared XR contents for an XR contents space sharing type driving environment. Accordingly, the XR content driving device of each user 611 , 612 , 613 , 614 or a computing device connected to the XR content driving device acquires XR content driving environment information specific to each user 611 , 612 , 613 , 614 and , XR information may be extracted from the driving environment information and transmitted to the interaction satisfaction quantification apparatus 600 .

다중 사용자용 기준 상호작용 만족도 생성부(620)는 XR 콘텐츠 공간 공유형 구동 환경을 위한 기준 상호작용 만족도를 생성한다. XR 콘텐츠 공간 공유형 구동 환경을 위한 기준 공유 XR 콘텐츠(621)가 제공되고, 복수의 사용자가 기준 공유 XR 콘텐츠(621)를 체험하면서 기준 공유 XR 콘텐츠(621)의 상호작용 만족도를 평가할 수 있다. 어떤 실시예에서, 다중 사용자용 기준 상호작용 만족도 생성부(620)는 사용자로부터의 기준 공유 XR 콘텐츠(621)에 대한 상호작용 만족도를 수집하여서 각 사용자의 상호작용 만족도로 저장 장치(622)에 저장할 수 있다. 또한, 다중 사용자용 기준 상호작용 만족도 생성부(620)는 사용자로부터의 기준 공유 XR 콘텐츠(621)에 대한 복수의 사용자의 상호작용 만족도를 통합하여서 다중 사용자를 위한 기준 통합 상호작용 만족도를 생성하여 저장 장치(622)에 저장할 수 있다.The standard interaction satisfaction generation unit 620 for multiple users generates a reference interaction satisfaction level for the XR content space sharing type driving environment. The reference shared XR content 621 for the XR content space shared driving environment is provided, and a plurality of users may evaluate the interaction satisfaction of the reference shared XR content 621 while experiencing the reference shared XR content 621 . In some embodiments, the criterion interaction satisfaction generating unit 620 for multiple users collects interaction satisfaction for the reference shared XR content 621 from users and stores it in the storage device 622 as the interaction satisfaction level of each user. can In addition, the standard interaction satisfaction generation unit 620 for multiple users integrates the interaction satisfaction level of a plurality of users with respect to the standard shared XR content 621 from the user to generate and store the standard integrated interaction satisfaction level for multiple users may be stored on device 622 .

XR 데이터 특성 모델러(630)는 XR 특성 정보 모델링 처리부(631) 및 상호작용 만족도 정량화 처리부(632)를 포함할 수 있다. XR 특성 정보 모델링 처리부(631)는 도 1, 도 3 및 도 4를 참고로 하여 설명한 것처럼, 각 사용자의 XR 정보로부터 각 사용자의 XR 특성 인식 파라미터를 생성할 수 있다. 상호작용 만족도 정량화 처리부(632)는 각 사용자의 XR 특성 인식 파라미터로부터 각 사용자의 상호작용 만족도를 예측할 수 있다.The XR data characteristic modeler 630 may include an XR characteristic information modeling processing unit 631 and an interaction satisfaction quantification processing unit 632 . As described with reference to FIGS. 1, 3 and 4 , the XR characteristic information modeling processing unit 631 may generate an XR characteristic recognition parameter of each user from the XR information of each user. The interaction satisfaction quantification processing unit 632 may predict the interaction satisfaction of each user from the XR characteristic recognition parameter of each user.

다중 사용자 상호작용 모델러(640)는 복수의 사용자(611, 612, 613, 614)의 상호작용 만족도의 예측값과 기준 통합 상호작용 만족도에 기초해서 다중 사용자를 위한 통합 상호작용 만족도를 예측할 수 있다. 어떤 실시예에서, 다중 사용자 상호작용 모델러(640)는 기준 통합 상호작용 만족도에 기초해서 학습된 머신 러닝 모델을 사용해서 복수의 사용자(611, 612, 613, 614)의 상호작용 만족도의 예측값으로부터 통합 상호작용 만족도를 예측할 수 있다. 어떤 실시예에서, 다중 사용자 상호작용 모델러(640)는 기준 XR 콘텐츠에 대한 다중 사용자 각각의 상호작용 만족도를 훈련 데이터로 포함하는 훈련 데이터 세트와 각 훈련 데이터(즉, 다중 사용자에 해당하는 복수의 사용자 각각의 상호작용 만족도)를 통합한 통합 사용자 상호작용 만족도를 레이블로 사용해서 머신 러닝 모델이 학습될 수 있다. 어떤 실시예에서, 머신 러닝 모델은 다중 사용자 상호작용 모델러(640)가 구현된 컴퓨팅 장치와는 별도의 컴퓨팅 장치에서 학습된 후에 다중 사용자 상호작용 모델러(640)에 제공될 수 있다.The multi-user interaction modeler 640 may predict the integrated interaction satisfaction for multiple users based on the predicted value of the interaction satisfaction of the plurality of users 611 , 612 , 613 , and 614 and the standard integrated interaction satisfaction. In some embodiments, multi-user interaction modeler 640 integrates from predicted values of interaction satisfaction of a plurality of users 611 , 612 , 613 , 614 using a machine learning model trained based on a criterion aggregate interaction satisfaction. Interaction satisfaction can be predicted. In some embodiments, the multi-user interaction modeler 640 includes a training data set including, as training data, the interaction satisfaction of each of multiple users with respect to the reference XR content, and each training data (ie, a plurality of users corresponding to multiple users). A machine learning model can be trained using the unified user interaction satisfaction as a label. In some embodiments, the machine learning model may be provided to the multi-user interaction modeler 640 after being trained on a computing device separate from the computing device on which the multi-user interaction modeler 640 is implemented.

어떤 실시예에서, 상호작용 만족도 정량화 장치(600)는 XR 콘텐츠 구동 장치와는 별도의 컴퓨팅 장치에서 구현되고, XR 콘텐츠 구동 장치와 통신 인터페이스를 통해 연결될 수 있다.In some embodiments, the interaction satisfaction quantification device 600 may be implemented in a computing device separate from the XR content driving device, and may be connected to the XR content driving device through a communication interface.

어떤 실시예에서, 상호작용 만족도 정량화 장치(600)에서 다중 사용자용 기준 상호작용 만족도 생성부(620)는 XR 데이터 특성 모델러(630) 및 다중 사용자 상호작용 모델러(640)가 형성된 컴퓨팅 장치와는 별도의 컴퓨팅 장치에 구현될 수 있다.In some embodiments, in the interaction satisfaction quantification apparatus 600 , the multi-user reference interaction satisfaction generation unit 620 is separate from the computing device in which the XR data characteristic modeler 630 and the multi-user interaction modeler 640 are formed. It may be implemented in a computing device of

도 7은 본 발명의 또 다른 실시예에 따른 상호작용 만족도 정량화 방법의 한 예를 나타내는 흐름도이다.7 is a flowchart illustrating an example of a method for quantifying interaction satisfaction according to another embodiment of the present invention.

도 7을 참고하면, 어떤 실시예에서, 사용자가 XR 콘텐츠를 구동할 수 있도록 상호작용 만족도 정량화 장치는 XR 콘텐츠 구동 환경을 설정할 수 있다(S710). 어떤 실시예에서, XR 콘텐츠 구동 환경은 미리 설정되어 있을 수 있거나, 상호작용 만족도 정량화 장치 이외의 다른 장치에 의해 설정될 수 있다. 사용자가 XR 콘텐츠를 체험하고, 상호작용 만족도 정량화 장치는 XR 콘텐츠 구동 환경으로부터 XR 정보를 추출한다(S720). 어떤 실시예에서, XR 정보는 상호작용 만족도 정량화 장치 이외의 다른 장치에 의해 추출될 수 있다. Referring to FIG. 7 , in some embodiments, the interaction satisfaction quantification apparatus may set an XR content driving environment so that the user can drive the XR content ( S710 ). In some embodiments, the XR content driving environment may be preset, or may be set by a device other than the interaction satisfaction quantification device. The user experiences the XR content, and the interaction satisfaction quantification apparatus extracts XR information from the XR content driving environment (S720). In some embodiments, the XR information may be extracted by a device other than the interaction satisfaction quantification device.

상호작용 만족도 정량화 장치는 XR 정보를 처리하여서 XR 특성 정보를 추출하고(S730), XR 특성 정보를 모델링하여서 XR 특성 인식 파라미터를 생성한다(S740). 상호작용 만족도 정량화 장치는 XR 특성 인식 파라미터로부터 사용자 상호작용 만족도를 예측한다(S750).The interaction satisfaction quantification apparatus processes XR information to extract XR characteristic information (S730), and generates XR characteristic recognition parameters by modeling the XR characteristic information (S740). The interaction satisfaction quantification apparatus predicts user interaction satisfaction from the XR characteristic recognition parameter (S750).

어떤 실시예에서, XR 콘텐츠가 다중 사용자 접속 기반 XR 콘텐츠 공간 공유형 구동 환경에서의 공유 XR 콘텐츠인 경우(S760), 상호작용 만족도 정량화 장치는 XR 콘텐츠 공간 공유형 구동 환경에 참여하는 복수의 사용자의 상호작용 만족도로부터 통합 사용자 상호작용 만족도를 예측할 수 있다(S770).In some embodiments, when the XR content is shared XR content in the multi-user access-based XR content space sharing driving environment (S760), the interaction satisfaction quantification apparatus is configured to measure the number of users participating in the XR content space sharing driving environment. It is possible to predict the integrated user interaction satisfaction from the interaction satisfaction (S770).

이상에서 설명한 실시예에 따르면, 사용자의 XR 콘텐츠에 대한 상호작용 만족도를 정량화하기 위한 방법과 장치를 제공함으로써, 객관화된 XR 콘텐츠 체험 품질 평가 기준으로 활용할 수 있다.According to the embodiment described above, by providing a method and apparatus for quantifying a user's interaction satisfaction with XR content, it can be used as an objective standard for evaluating the quality of XR content experience.

다음, 본 발명의 한 실시예에 따른 상호작용 만족도 정량화 방법 또는 상호작용 만족도 정량화 장치를 구현할 수 있는 예시적인 컴퓨팅 장치에 대하여 도 8을 참고로 하여 설명한다.Next, an exemplary computing device capable of implementing a method for quantifying interaction satisfaction or an apparatus for quantifying interaction satisfaction according to an embodiment of the present invention will be described with reference to FIG. 8 .

도 8은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 한 예를 나타내는 도면이다.8 is a diagram illustrating an example of a computing device according to an embodiment of the present invention.

도 8을 참고하면, 컴퓨팅 장치는 프로세서(810), 메모리(820), 저장 장치(830), 통신 인터페이스(840) 및 버스(850)를 포함한다. 컴퓨팅 장치는 다른 범용적인 구성 요소를 더 포함할 수 있다.Referring to FIG. 8 , the computing device includes a processor 810 , a memory 820 , a storage device 830 , a communication interface 840 , and a bus 850 . The computing device may further include other general purpose components.

프로세서(810)는 컴퓨팅 장치의 각 구성의 전반적인 동작을 제어한다. 프로세서(810)는 CPU(central processing unit), MPU(microprocessor unit), MCU(micro controller unit), GPU(graphic processing unit) 등의 다양한 프로세싱 유닛 중 적어도 하나로 구현될 수 있으며, 병렬 프로세싱 유닛으로 구현될 수도 있다. 또한, 프로세서(810)는 위에서 설명한 상호작용 만족도 정량화 방법 또는 상호작용 만족도 정량화 장치의 기능을 실행하기 위한 프로그램에 대한 연산을 수행할 수 있다.The processor 810 controls the overall operation of each component of the computing device. The processor 810 may be implemented as at least one of various processing units such as a central processing unit (CPU), a microprocessor unit (MPU), a micro controller unit (MCU), and a graphic processing unit (GPU), and may be implemented as a parallel processing unit. may be Also, the processor 810 may perform an operation on a program for executing the function of the interaction satisfaction quantification method or the interaction satisfaction quantification apparatus described above.

메모리(820)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(820)는 위에서 설명한 상호작용 만족도 정량화 방법 또는 상호작용 만족도 정량화 장치의 기능을 실행하기 위하여 저장 장치(830)로부터 컴퓨터 프로그램을 로드할 수 있다. 저장 장치(830)는 프로그램을 비임시적으로 저장할 수 있다. 저장 장치(830)는 비휘발성 메모리로 구현될 수 있다.The memory 820 stores various data, commands and/or information. The memory 820 may load a computer program from the storage device 830 to execute the function of the interaction satisfaction quantification method or the interaction satisfaction quantification apparatus described above. The storage device 830 may non-temporarily store a program. The storage device 830 may be implemented as a non-volatile memory.

통신 인터페이스(840)는 컴퓨팅 장치의 무선 통신을 지원한다.The communication interface 840 supports wireless communication of the computing device.

버스(850)는 컴퓨팅 장치의 구성 요소간 통신 기능을 제공한다. 버스(850)는 주소 버스(address bus), 데이터 버스(data bus) 및 제어 버스(control bus) 등 다양한 형태의 버스로 구현될 수 있다.Bus 850 provides communication between components of the computing device. The bus 850 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.

컴퓨터 프로그램은 메모리(820)에 로드될 때 프로세서(810)로 하여금 상호작용 만족도 정량화 방법 또는 상호작용 만족도 정량화 장치의 기능을 수행하도록 하는 명령어(instructions)를 포함할 수 있다. 즉, 프로세서(810)는 명령어를 실행함으로써, 상호작용 만족도 정량화 방법을 위한 동작 또는 상호작용 만족도 정량화 장치의 기능을 수행할 수 있다.The computer program may include instructions that, when loaded into the memory 820 , cause the processor 810 to perform a function of a method for quantifying interaction satisfaction or an apparatus for quantifying interaction satisfaction. That is, by executing the instruction, the processor 810 may perform an operation for a method for quantifying interaction satisfaction or a function of an apparatus for quantifying interaction satisfaction.

어떤 실시예에서, 컴퓨팅 장치는 XR 콘텐츠 구동 장치 내에 구현되거나 XR 콘텐츠 구동 장치로 구현될 수 있다.In some embodiments, the computing device may be implemented within or implemented as an XR content driven device.

위에서 설명한 상호작용 만족도 정량화 방법 또는 상호작용 만족도 정량화 장치의 기능은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현될 수 있다. 한 실시예에서, 컴퓨터가 읽을 수 있는 매체는 이동형 기록 매체이거나 고정식 기록 매체일 수 있다. 다른 실시예에서, 컴퓨터가 읽을 수 있는 매체에 기록된 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 다른 컴퓨팅 장치에 설치되어 실행될 수 있다.The function of the interaction satisfaction quantification method or the interaction satisfaction quantification apparatus described above may be implemented as a computer readable computer program on a computer readable medium. In one embodiment, the computer-readable medium may be a removable recording medium or a non-removable recording medium. In another embodiment, a computer program recorded in a computer-readable medium may be transmitted to another computing device through a network such as the Internet, and installed and executed in the other computing device.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. is within the scope of the right.

Claims (17)

컴퓨팅 장치에 의해 수행되는 상호작용 만족도 정량화 방법으로서,
사용자의 확장 현실 콘텐츠의 구동 환경으로부터 추출된 확장 현실 정보로부터 확장 현실 특성 정보를 얻는 단계,
상기 확장 현실 특성 정보를 모델링하여서 상기 사용자의 상기 확장 현실 콘텐츠에 대한 특성 인식을 나타내는 확장 현실 특성 인식 파라미터를 생성하는 단계, 그리고
상기 확장 현실 특성 인식 파라미터로부터 상기 사용자의 상호작용 만족도를 결정하는 단계
를 포함하는 상호작용 만족도 정량화 방법.A method for quantifying interaction satisfaction performed by a computing device, the method comprising:
obtaining extended reality characteristic information from the extended reality information extracted from the driving environment of the user's extended reality content;
modeling the extended reality characteristic information to generate an extended reality characteristic recognition parameter indicating the user's characteristic recognition of the extended reality content; and
determining the user's interaction satisfaction from the extended reality characteristic recognition parameter;
A method for quantifying interaction satisfaction comprising a. 제1항에서,
상기 상호작용 만족도를 결정하는 단계는 기준 확장 현실 콘텐츠에 기초해서 학습된 머신 러닝 모델을 사용하여서 상기 확장 현실 특성 인식 파라미터로부터 상기 상호작용 만족도를 예측하는 단계를 포함하는, 상호작용 만족도 정량화 방법.In claim 1,
and the determining of the interaction satisfaction comprises predicting the interaction satisfaction from the extended reality characteristic recognition parameter using a machine learning model trained based on reference extended reality content. 제2항에서,
상기 머신 러닝 모델은 상기 기준 확장 현실 콘텐츠를 체험하는 기준 사용자의 상호작용 만족도와 상기 기준 사용자의 상기 기준 확장 현실 콘텐츠에 대한 확장 현실 특성 인식 파라미터에 기초해서 학습되는, 상호작용 만족도 정량화 방법.In claim 2,
The method for quantifying interaction satisfaction, wherein the machine learning model is learned based on an interaction satisfaction of a reference user experiencing the reference extended reality content and an extended reality characteristic recognition parameter of the reference user for the reference extended reality content. 제1항에서,
상기 확장 현실 정보는, 상기 확장 현실 콘텐츠 및 상기 확장 현실 콘텐츠의 환경과 관련된 환경 및 콘텐츠 정보, 상기 사용자와 상기 확장 현실 콘텐츠 사이의 상호작용과 관련된 상호작용 정보, 그리고 상기 사용자와 관련된 사용자 정보를 포함하는, 상호작용 만족도 정량화 방법.In claim 1,
The extended reality information includes the extended reality content and environment and content information related to the environment of the extended reality content, interaction information related to an interaction between the user and the extended reality content, and user information related to the user A method for quantifying interaction satisfaction. 제1항에서,
상기 확장 현실 특성 정보는 상기 확장 현실 콘텐츠의 특성을 나타내는 콘텐츠 특성 정보, 상기 사용자의 시선 추적의 특성을 나타내는 시선 추적 특성 정보 및 상기 사용자의 감정의 특성을 나타내는 사용자 감정 특성 정보를 포함하는, 상호작용 만족도 정량화 방법.In claim 1,
The extended reality characteristic information includes content characteristic information indicating the characteristics of the extended reality content, eye tracking characteristic information indicating the user's gaze tracking characteristic, and user emotional characteristic information indicating the user's emotional characteristic. Satisfaction quantification method. 제5항에서,
상기 확장 현실 특성 인식 파라미터를 생성하는 단계는,
상기 콘텐츠 특성 정보와 상기 시선 추적 특성 정보로부터 상기 사용자의 시각 인식과 관련된 정보를 모델링하는 단계,
상기 시선 추적 특성 정보 및 상기 사용자 감정 특성 정보로부터 상기 사용자의 안면 및 생체 정보 인식과 관련된 정보를 모델링하는 단계, 그리고
상기 시각 인식과 관련된 정보 및 상기 안면 및 생체 정보 인식과 관련된 정보를 통합하여서 확장 현실 특성 인식 파라미터를 생성하는 단계
를 포함하는 상호작용 만족도 정량화 방법.In claim 5,
The step of generating the extended reality characteristic recognition parameter comprises:
modeling information related to the user's visual recognition from the content characteristic information and the eye tracking characteristic information;
modeling information related to recognition of the user's face and biometric information from the eye tracking characteristic information and the user's emotional characteristic information, and
Generating an extended reality feature recognition parameter by integrating the information related to the visual recognition and the information related to the facial and biometric information recognition
A method for quantifying interaction satisfaction comprising a. 제6항에서,
상기 시각 인식과 관련된 정보는 상기 확장 현실 콘텐츠 장면의 시각 인식 정보, 상기 확장 현실 콘텐츠의 영상 뎁스 인식(depth cognition) 정보 또는 상기 사용자의 상호작용 인식(interaction cognition) 정보 중 적어도 하나를 포함하는, 상호작용 만족도 정량화 방법.In claim 6,
The information related to the visual recognition includes at least one of visual recognition information of the extended reality content scene, image depth cognition information of the extended reality content, or interaction cognition information of the user. How to quantify job satisfaction. 제6항에서,
상기 안면 및 생체 정보 인식과 관련된 정보는 상기 사용자의 감정 기반 생체 정보, 상기 사용자의 감정 기반 안면 정보, 상기 사용자의 움직임의 세기 정보 또는 상기 사용자의 상호작용의 정확성 정보 중 적어도 하나를 포함하는, 상호작용 만족도 정량화 방법.In claim 6,
The facial and biometric information-related information includes at least one of the user's emotion-based biometric information, the user's emotion-based facial information, the user's movement intensity information, or the user's interaction accuracy information. How to quantify job satisfaction. 제1항에서,
상기 확장 현실 특성 인식 파라미터는, 상기 사용자의 상호작용에 대한 의도 정보, 상기 사용자의 시선 기반 집중도 정보, 상기 사용자 감정 분류의 일치 정보 또는 상기 사용자의 피로도 및 현실감 수준 정보 중 적어도 하나를 포함하는, 상호작용 만족도 정량화 방법.In claim 1,
The extended reality characteristic recognition parameter includes at least one of intention information about the user's interaction, the user's gaze-based concentration information, the matching information of the user emotion classification, or the user's fatigue level and reality level information. How to quantify job satisfaction. 제1항에서,
상기 확장 현실 콘텐츠가 복수의 사용자가 공유하는 확장 현실 콘텐츠인 경우, 상기 복수의 사용자 각각의 상기 상호작용 만족도를 통합하여서 통합 상호작용 만족도를 결정하는 단계를 더 포함하는 상호작용 만족도 정량화 방법.In claim 1,
and determining an integrated interaction satisfaction by integrating the interaction satisfaction of each of the plurality of users when the extended reality content is the extended reality content shared by a plurality of users. 컴퓨팅 장치에 의해 수행되는 상호작용 만족도 정량화 방법으로서,
기준 상호작용 만족도 평가를 위한 기준 확장 현실 콘텐츠를 제공하는 단계,
상기 기준 확장 현실 콘텐츠를 체험하는 사용자로부터 상기 사용자와 상기 기준 확장 현실 콘텐츠 사이의 상호작용에 대한 기준 상호작용 만족도를 수신하는 단계,
상기 기준 확장 현실 콘텐츠의 구동 환경으로부터 상기 기준 사용자의 상기 기준 확장 현실 콘텐츠에 대한 특성 인식을 나타내는 확장 현실 특성 인식 파라미터를 생성하는 단계, 그리고
상기 기준 상호작용 만족도 및 상기 확장 현실 특성 인식 파라미터에 기초해서 상호작용 만족도를 예측하기 위한 머신 러닝 모델을 학습하는 단계
를 포함하는 상호작용 만족도 정량화 방법.A method for quantifying interaction satisfaction performed by a computing device, the method comprising:
providing a criterion extended reality content for evaluation of criterion interaction satisfaction;
receiving, from a user experiencing the reference extended reality content, a reference interaction satisfaction with respect to an interaction between the user and the reference extended reality content;
generating an extended reality characteristic recognition parameter indicating characteristic recognition of the reference user for the reference extended reality content from the driving environment of the reference extended reality content; and
learning a machine learning model for predicting interaction satisfaction based on the reference interaction satisfaction and the extended reality feature recognition parameter;
A method for quantifying interaction satisfaction comprising a. 제11항에서,
상기 머신 러닝 모델을 학습하는 단계는 상기 기준 상기 확장 현실 특성 인식 파라미터를 훈련 데이터로, 상기 기준 상호작용 만족도를 상기 확장 현실 특성 인식 파라미터의 레이블(label)로 설정하여서, 상기 머신 러닝 모델을 학습하는 단계를 포함하는 상호작용 만족도 정량화 방법.In claim 11,
The step of learning the machine learning model is to learn the machine learning model by setting the reference extended reality characteristic recognition parameter as training data and the reference interaction satisfaction level as a label of the extended reality characteristic recognition parameter. A method for quantifying interaction satisfaction comprising steps. 적어도 하나의 명령어를 저장하는 메모리, 그리고
상기 명령어를 실행하는 프로세서를 포함하며,
상기 명령어를 실행함으로써, 상기 프로세서는
사용자의 확장 현실 콘텐츠의 구동 환경으로부터 추출된 확장 현실 정보로부터 확장 현실 특성 정보를 얻고,
상기 확장 현실 특성 정보를 모델링하여서 상기 사용자의 상기 확장 현실 콘텐츠에 대한 특성 인식을 나타내는 확장 현실 특성 인식 파라미터를 생성하고,
상기 확장 현실 특성 인식 파라미터로부터 상기 사용자의 상호작용 만족도를 결정하는
상호작용 만족도 정량화 장치.memory for storing at least one instruction, and
a processor that executes the instructions;
By executing the instructions, the processor
Obtaining extended reality characteristic information from the extended reality information extracted from the driving environment of the user's extended reality content,
modeling the extended reality characteristic information to generate an extended reality characteristic recognition parameter indicating characteristic recognition of the user for the extended reality content;
Determining the user's interaction satisfaction from the extended reality characteristic recognition parameter
Interaction satisfaction quantification device. 제13항에서,
상기 프로세서는 기준 확장 현실 콘텐츠에 기초해서 학습된 머신 러닝 모델을 사용하여서 상기 확장 현실 특성 인식 파라미터로부터 상기 상호작용 만족도를 예측하는, 상호작용 만족도 정량화 장치.In claim 13,
and the processor predicts the interaction satisfaction from the extended reality characteristic recognition parameter by using a machine learning model learned based on reference extended reality content. 제13항에서,
상기 확장 현실 특성 정보는 상기 확장 현실 콘텐츠의 특성을 나타내는 콘텐츠 특성 정보, 상기 사용자의 시선 추적의 특성을 나타내는 시선 추적 특성 정보 및 상기 사용자의 감정의 특성을 나타내는 사용자 감정 특성 정보를 포함하는, 상호작용 만족도 정량화 장치.In claim 13,
The extended reality characteristic information includes content characteristic information indicating the characteristics of the extended reality content, eye tracking characteristic information indicating the user's gaze tracking characteristic, and user emotional characteristic information indicating the user's emotional characteristic. Satisfaction quantification device. 제15항에서,
상기 프로세서는,
상기 콘텐츠 특성 정보와 상기 시선 추적 특성 정보로부터 상기 사용자의 시각 인식과 관련된 정보를 모델링하고,
상기 시선 추적 특성 정보 및 상기 사용자 감정 특성 정보로부터 상기 사용자의 안면 및 생체 정보 인식과 관련된 정보를 모델링하고,
상기 시각 인식과 관련된 정보 및 상기 안면 및 생체 정보 인식과 관련된 정보를 통합하여서 확장 현실 특성 인식 파라미터를 생성하는
상호작용 만족도 정량화 장치.In claim 15,
The processor is
modeling information related to the user's visual recognition from the content characteristic information and the eye tracking characteristic information,
Modeling information related to the recognition of the user's face and biometric information from the eye tracking characteristic information and the user emotional characteristic information,
Generating an extended reality feature recognition parameter by integrating the information related to the visual recognition and the information related to the facial and biometric information recognition
Interaction satisfaction quantification device. 제13항에서,
상기 확장 현실 특성 인식 파라미터는, 상기 사용자의 상호작용에 대한 의도 정보, 상기 사용자의 시선 기반 집중도 정보, 상기 사용자 감정 분류의 일치 정보 또는 상기 사용자의 피로도 및 현실감 수준 정보 중 적어도 하나를 포함하는, 상호작용 만족도 정량화 장치.
In claim 13,
The extended reality characteristic recognition parameter includes at least one of intention information about the user's interaction, the user's gaze-based concentration information, the matching information of the user emotion classification, or the user's fatigue level and reality level information. Functional satisfaction quantification device.
KR1020210003813A 2021-01-12 2021-01-12 Apparatus and method for quantifying quality of interaction on extended reality content KR20220101836A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210003813A KR20220101836A (en) 2021-01-12 2021-01-12 Apparatus and method for quantifying quality of interaction on extended reality content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210003813A KR20220101836A (en) 2021-01-12 2021-01-12 Apparatus and method for quantifying quality of interaction on extended reality content

Publications (1)

Publication Number Publication Date
KR20220101836A true KR20220101836A (en) 2022-07-19

Family

ID=82606921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210003813A KR20220101836A (en) 2021-01-12 2021-01-12 Apparatus and method for quantifying quality of interaction on extended reality content

Country Status (1)

Country Link
KR (1) KR20220101836A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021812A (en) 2017-08-24 2019-03-06 한국과학기술원 Method and apparatus for quantitative evaluation assessment of vr content perceptual quality using deep running analysis of vr sickness factors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021812A (en) 2017-08-24 2019-03-06 한국과학기술원 Method and apparatus for quantitative evaluation assessment of vr content perceptual quality using deep running analysis of vr sickness factors

Similar Documents

Publication Publication Date Title
CN110167421B (en) System for integrally measuring clinical parameters of visual function
Cheetham et al. Category processing and the human likeness dimension of the uncanny valley hypothesis: eye-tracking data
Solovey et al. Sensing cognitive multitasking for a brain-based adaptive user interface
US10559102B2 (en) Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program
US20190073025A1 (en) Method and device for carrying out eye gaze mapping
JP2022506651A (en) Facial expression detection for screening and treatment of emotional disorders
KR102241804B1 (en) Method of assessing the psychological state through the drawing process of the subject and computer program
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
Conati et al. Further Results on Predicting Cognitive Abilities for Adaptive Visualizations.
US20190171280A1 (en) Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content
KR20220104672A (en) Method and apparatus for predicting user state
CN113661520A (en) Modifying the appearance of hair
KR102511069B1 (en) Device, method of assessing the psychological state through the drawing process of the subject and computer program
JP6905892B2 (en) Computer system
KR20220101836A (en) Apparatus and method for quantifying quality of interaction on extended reality content
US20170004191A1 (en) Information processing apparatus and information processing method
KR20190062835A (en) System and Method for Interaction Analysis of Virtual Space
Hynes et al. A QoE Evaluation of an Augmented Reality Procedure Assistance Application
Jalil Introduction to intelligent user interfaces (IUIs)
Raley et al. Augmented cognition overview: improving information intake under stress
JP2015219698A (en) Device, program, and method for estimating emotion on the basis of influence degree of parts
JP6583754B2 (en) Information processing device, mirror device, program
KR20220114550A (en) Apparatus, method, and computer readable storage medium for contextualized equipment recommendation
Carneiro et al. Dynamically improving collective environments through mood induction procedures
JP2019212325A (en) Information processing device, mirror device, and program