KR101445923B1 - Method for providing interactive exhibit service - Google Patents
Method for providing interactive exhibit service Download PDFInfo
- Publication number
- KR101445923B1 KR101445923B1 KR1020120085733A KR20120085733A KR101445923B1 KR 101445923 B1 KR101445923 B1 KR 101445923B1 KR 1020120085733 A KR1020120085733 A KR 1020120085733A KR 20120085733 A KR20120085733 A KR 20120085733A KR 101445923 B1 KR101445923 B1 KR 101445923B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- standard
- emotion
- user
- response information
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006397 emotional response Effects 0.000 claims abstract description 187
- 230000002996 emotional effect Effects 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000008451 emotion Effects 0.000 claims description 119
- 208000027534 Emotional disease Diseases 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0203—Market surveys; Market polls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0278—Product appraisal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 관람자 반응에 응답하여 변형되는 대화형 콘텐츠의 전시 서비스 제공 방법에 관한 것으로, 보다 구체적으로 다수의 반응 측정 장비를 통해 수집한 관람자의 감정 반응 정보로부터 표준 감정 반응 정보를 생성하고, 생성한 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 대화형 콘텐츠에 대한 관람자의 감정을 다양하고 정확하게 판단할 수 있으며, 주기적으로 판단한 대화형 콘텐츠에 대한 관람자의 감정 반응 변화에 따라 대화형 콘텐츠를 변경 제어함으로써 관람자에 개인화된 전시 서비스를 제공하는 방법에 관한 것이다.More particularly, the present invention relates to a method and system for generating standardized emotional response information from spectator response information collected from a plurality of reaction measurement devices, The standard emotional response information can be applied to the emotional analysis graph of the two-dimensional space, so that the spectator's feelings about the interactive contents can be judged variously and accurately. In addition, according to the viewer's emotional response to the interactive content periodically judged, The present invention relates to a method of providing personalized exhibition services to viewers.
Description
본 발명은 관람자 반응에 응답하여 변형되는 대화형 콘텐츠의 전시 서비스 제공 방법에 관한 것으로, 보다 구체적으로 다수의 반응 측정 장비를 통해 수집한 관람자의 감정 반응 정보로부터 표준 감정 반응 정보를 생성하고, 생성한 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 대화형 콘텐츠에 대한 관람자의 감정을 다양하고 정확하게 판단할 수 있으며, 주기적으로 판단한 대화형 콘텐츠에 대한 관람자의 감정 반응 변화에 따라 대화형 콘텐츠를 변경 제어함으로써 관람자에 개인화된 전시 서비스를 제공하는 방법에 관한 것이다.More particularly, the present invention relates to a method and system for generating standardized emotional response information from spectator response information collected from a plurality of reaction measurement devices, The standard emotional response information can be applied to the emotional analysis graph of the two-dimensional space, so that the spectator's feelings about the interactive contents can be judged variously and accurately. In addition, according to the viewer's emotional response to the interactive content periodically judged, The present invention relates to a method of providing personalized exhibition services to viewers.
기업회의, 전시회, 박람회 산업은 환경 친화적이며 고부가치적 산업으로, 국가 경제 및 지역 경제 발전의 파급효과가 높기 때문에, 많은 국가들은 전시 관련 산업을 육성하기 위하여 많은 비용을 들여 연구 개발하고 있다. Since the corporate conferences, exhibitions and exposition industries are environmentally friendly and highly value-added industries, the national economy and regional economic development have a high ripple effect, many countries are investing heavily in research and development to develop exhibition-related industries.
최근 전시회의 성공적 개최를 위해 참가업체와 관람객 모두를 만족시키는 수단으로, 전시 공간은 관람자가 흥미로운 접근을 할 수 있도록 다양한 정보전자기술을 도입하여 이용자가 주체가 되는 공간을 만들고 있다. 이에 따라 전시기법 및 연출이 적극적인 관람자의 참여를 전제로 하는 대화형 전시가 주류를 이루고 있다.As a means of satisfying exhibitors and visitors alike in order to successfully hold the recent exhibition, the exhibition space has created a space in which the users are introduced by introducing various information and electronic technologies so that spectators can have an interesting approach. As a result, interactive exhibitions predominantly involve the participation of spectators who are actively engaged in exhibition techniques and directing.
대화형 전시란 관람객들이 직접적으로 전시물을 관람하게 유도하는 전시 기법으로, 전시물을 직접 손으로 만지고 조작해 보거나 전시물과의 상호작용들을 통해 전시물을 보다 구체적으로 쉽게 이해할 수 있다. 또한 관람객 스스로 자신의 지각 능력을 신장시키도록 유도하고 전시품과 상호작용함으로써 강요된 학습이 아닌 자발적 학습, 주입된 지식이 아닌 즐거운 놀이를 통해 전시품의 교육 목적을 확실히 이해하고 능동적인 학습태도를 형성하는데 도움을 준다.Interactive exhibition is an exhibition technique that allows visitors to directly view the exhibit. It can easily understand the exhibit more easily by touching and manipulating the exhibit by hand or by interacting with the exhibit. In addition, it induces the viewers to increase their own perception ability and interacts with the exhibits, so that they can understand the educational purpose of the exhibit and form an active learning attitude through voluntary learning rather than forced learning, .
그러나 종래 대화형 전시 기법은 기설정된 입력/출력에 따라 관람자의 일정한 입력 명령에 일관된 반응을 출력하도록 동작한다. 예를 들어, 대화형 컨텐츠를 동작시키기 위한 기설정된 사용자의 명령이 입력되며, 입력된 사용자 명령에 따라 일관된 반응으로 대화형 컨텐츠를 동작 제어한다. 따라서 종래 대화형 전시 기법에서는 관람자의 전시물에 대한 감정 반응을 고려하지 않고 단순한 입력/출력의 개념으로 전시물을 변형 동작 제어함으로써, 관람자의 감정 반응에 따라 관람자에 개인화된 전시 서비스를 제공하지 못한다는 문제점을 가진다. However, the conventional interactive display technique operates to output a consistent response to a certain input command of the viewer according to predetermined input / output. For example, a predetermined user's command for operating the interactive content is input, and the interactive content is controlled in a consistent response according to the inputted user command. Therefore, in the conventional interactive display technique, it is not possible to provide personalized exhibition service to spectators according to the emotional response of the spectators by controlling the transformation operation of the display objects in a simple input / output concept without considering the emotional response to the exhibitor's display objects .
본 발명은 위에서 언급한 종래 대화형 전시 기법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 전시물에 대한 사용자의 감정 반응을 고려하여 사용자의 감정 반응에 따라 서로 다르게 전시물의 변형 동작을 제어하는 대화형 전시 서비스를 제공하는 것이다.DISCLOSURE OF THE INVENTION The object of the present invention is to solve the problems of the conventional interactive display method described above and to provide a method and apparatus for displaying a display image on a display device in accordance with a user's emotional response, And to provide interactive interactive display services.
본 발명이 이루고자 하는 다른 목적은 다수의 반응 측정 장비를 통해 수집한 사용자의 다양한 감정 반응 정보로부터 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성하고 생성한 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원 감정 분석 그래프에 적용하여 전시물에 대한 사용자의 감정 반응을 정확하게 판단하며, 판단한 사용자의 감정 반응에 따라 전시물의 변형 동작을 제어하는 대화형 전시 서비스를 제공하는 것이다.Another object of the present invention is to provide a method and apparatus for generating first standard emotion reaction information and second standard emotion reaction information from various user's various emotion response information collected through a plurality of reaction measuring equipment, 2 < / RTI > standard emotional response information to a two-dimensional emotional analysis graph to accurately determine a user's emotional response to an exhibit, and to control the deformation behavior of the exhibit according to the determined emotional response of the user.
본 발명이 이루고자 하는 또 다른 목적은 전시물에 대한 사용자의 감정 반응과 사용자 정보에 따라 사용자에 개인화된 방식으로 전시물의 변형을 제어하는 대화형 전시 서비스를 제공하는 것이다.It is another object of the present invention to provide an interactive exhibition service for controlling deformation of an exhibit in an individualized manner according to a user's emotional response to the exhibit and user information.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 대화형 전시 서비스의 제공 방법은 전시회 또는 박람회에 입장시 사용자로부터 사용자 정보를 수신하는 단계와, 전시물 또는 박람회 주변에 설치된 또는 사용자가 소지하는 반응 측정 장비를 통해 사용자의 감정 반응 정보를 수집하는 단계와, 수집한 감정 반응 정보로부터 특징 데이터를 생성하고 특징 데이터로부터 표준 감정 반응 정보를 생성하는 단계와, 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 사용자의 감정을 추론하는 단계를 포함하며, 바람직하게 사용자 감정과 사용자 정보에 매핑되어 있는 전시물 적용 정보를 적용 데이터베이스에서 검색하여 전시물을 사용자에 개인화하여 변형 적용시키는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for providing interactive exhibition services, the method comprising: receiving user information from a user when entering an exhibition or an exhibition; Collecting emotional response information of the user through the emotional reaction information generating step, generating characteristic data from the collected emotional reaction information and generating standard emotional reaction information from the characteristic data, Preferably, the display application information is mapped to the user emotion and the user information in an application database, and the display is personalized and applied to the user.
본 발명에 따른 대화형 전시 서비스 제공 방법은 변형 적용된 전시물에 대해 감정 반응 정보를 수집하는 단계와 표준 감정 반응 정보를 생성하는 단계를 주기적으로 반복 수행하며, The method for providing an interactive exhibition service according to the present invention periodically repeats the step of collecting emotional response information and the step of generating standard emotional response information for a modified exhibit,
반복 수행하여 생성한 다음 표준 감정 반응 정보와 이전 생성한 이전 표준 감정 반응 정보를 비교하여 다음 사용자 감정과 이전 사용자 감정의 유사 진행도를 판단하는 단계와, 유사 진행도에 기초하여 적용 데이터베이스에서 다음 전시물 적용 정보를 검색하고 검색한 다음 전시물 적용 정보에 따라 전시물을 변형 적용시키는 단계를 더 포함하는 것을 특징으로 한다.Comparing the standard emotional response information with the previously generated previous standard emotional response information to determine the similarity degree of the next user emotion and the previous user emotion; Searching for and searching for application information, and transforming the exhibit according to the application information of the exhibit.
여기서 사용자의 감정 반응 정보는 사용자 얼굴 영상 정보, 사용자의 움직임 정보, 사용자의 음성 정보, 사용자의 생체 정보 중 적어도 어느 하나인 것을 특징으로 한다. Here, the user's emotional response information may be at least one of face image information of a user, motion information of a user, voice information of a user, and biometric information of a user.
바람직하게, 표준 감정 반응 정보를 생성하는 단계는 수집한 감정 반응 정보의 식별자를 판단하고 식별자에 따라 상기 사용자의 감정을 추론하는데 사용되는 특징 데이터를 생성하는 단계와, 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류하는 단계와, 제1 표준 감정 반응 정보 요소로부터 제1 표준 감정 반응 정보를 생성하는 단계와, 제2 표준 감정 반응 정보로부터 제2 표준 감정 반응 정보를 생성하는 단계를 포함하며, 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 감정 분석 그래프에서 매핑되어 있는 사용자의 감정을 추론하는 것을 특징으로 한다.Preferably, the step of generating the standard emotional response information includes the steps of: determining an identifier of the collected emotional reaction information; generating feature data used to infer the emotional state of the user according to the identifier; Information element and a second standard emotion response information element, generating first standard emotion response information from the first standard emotion response information element, and generating second standard emotion response information from the second standard emotion response information, Wherein the emotion of the user mapped in the emotional analysis graph is inferred by applying the first standard emotion reaction information and the second standard emotion response information to the emotion analysis graph of the two-dimensional space.
여기서 제1 표준 감정 반응 정보는 전시물에 대한 사용자 감정의 긍정도 크기를 나타내는 정보이며, 제2 표준 감정 반응 정보는 전시물에 대한 사용자의 관심도 크기를 나타내는 정보이며, 감정 분석 그래프는 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보에 따라 사용자 감정이 매핑되어 있는 것을 특징으로 한다.Here, the first standard emotional response information is information indicating an affirmative size of the user's emotional response to the exhibit, the second standard emotional response information is information indicating the user's interest degree with respect to the exhibit, And the user emotion is mapped according to the information and the second standard emotion response information.
바람직하게 제1 표준 감정 반응 정보(V1)는 아래의 수학식(1)에 의해 계산되며,Preferably, the first standard emotion response information (V 1 ) is calculated by the following equation (1)
[수학식 1][Equation 1]
제2 표준 감정 반응 정보(V2)는 아래의 수학식(2)에 의해 계산되며.The second standard emotion response information (V 2 ) is calculated by the following equation (2).
[수학식 2]&Quot; (2) "
여기서 A1, A2, ...An은 제1 표준 감정 반응 정보를 계산하는데 사용되는 제1 표준 감정 반응 정보 요소이고 α1, α2,...αn은 제1 표준 감정 반응 정보 요소에 대한 가중치이며, B1, B2, ...Bn은 제2 표준 감정 반응 정보를 계산하는데 사용되는 제2 표준 감정 반응 정보 요소이고 β1, β2,...βn은 제2 표준 감정 반응 정보 요소에 대한 가중치인 것을 특징으로 한다.Wherein A 1, A 2, ... A n are the first standard emotional feelings first standard reaction used to calculate the response information information element, and α 1, α 2, ... α n is the first standard emotional response information the weight for the component, B 1, B 2, ... B n is the second standard and the second standard reaction emotion emotional response information elements used for calculating the information β 1, β 2, ... β n is the 2 < / RTI > standardized emotion response information element.
한편, 본 발명에 따른 대화형 전시 서비스 제공 장치는 전시물 또는 박람회 주변에 설치된 또는 사용자가 소지하는 반응 측정 장비로부터 사용자의 감정 반응 정보를 수집하는 반응 정보 수집부와, 수집한 감정 반응 정보로부터 특징 데이터를 생성하고 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류하여 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성하는 표준 감정 반응 정보 생성부와, 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 사용자의 감정을 추론하는 감정 추론부와, 추론한 사용자 감정, 유사 진행도, 사용자 정보에 매핑되어 전시물을 변형 적용시키는 전시물 적용 정보를 저장하고 있는 전시물 적용 정보 데이터베이스와, 추론한 사용자 감정에 매핑되어 있는 전시물 적용 정보를 검색하고 전시물 적용 정보에 따라 사용자 감정을 고려하여 전시물을 변형 적용시키는 제어부를 포함한다. Meanwhile, the apparatus for providing interactive exhibition services according to the present invention includes a reaction information collection unit for collecting the user's emotional reaction information from the reaction measuring equipment installed in the vicinity of an exhibit or fair, A standard emotion reaction information generating unit for generating first standard emotion reaction information and second standard emotion reaction information by classifying the characteristic data into a first standard emotion response information element and a second standard emotion response information element, An emotion inferring unit for applying standard emotional response information and second standard emotional response information to an emotional analysis graph of a two-dimensional space to infer the emotional state of a user; An exhibition application information database storing exhibition application information to be applied, Retrieve exhibits application information that is mapped to, and a control unit that transforms the applied exhibits in consideration of the user according to the emotion exhibits application information.
여기서 제어부는 추론한 사용자 감정에 매핑되어 있는 전시물 적용 정보를 검색하는 검색부와, 검색한 전시물 적용 정보에 따라 사용자 감정을 고려하여 전시물을 변형 적용하는 변형 제어부와, 주기적으로 생성되는 다음 표준 감정 반응 정보와 이전 생성한 이전 표준 감정 반응 정보에서 다음 표준 감정 반응 정보 중 제1 다음 표준 감정 정보와 이전 표준 감정 반응 정보 중 제1 이전 표준 감정 정보 사이의 증감차이 및 다음 표준 감정 반응 정보 중 제2 다음 표준 감정 정보와 이전 표준 감정 반응 정보 중 제2 이전 표준 감정 정보 사이의 증감차이를 비교하여 다음 사용자 감정과 이전 사용자 감정의 유사 진행도를 판단하는 유사 진행도 판단부를 포함하며, 검색부는 유사 진행도에 기초하여 적용 데이터베이스에서 다음 전시물 적용 정보를 검색하고 변형 제어부는 검색한 다음 전시물 적용 정보에 따라 전시물을 변형 적용시키는 것을 특징으로 한다.The control unit includes a search unit for searching for exhibition application information mapped to the inferred user emotion, a transformation control unit for transforming and applying the exhibition in consideration of the user's feeling according to the search application application information, Of the next standard emotional reaction information and the first and second standard emotional response information of the next standard emotional reaction information and the second and subsequent standard emotional response information of the previous standard emotional reaction information, And a similar progress degree judging section for comparing the difference between the standard emotion information and the previous standard emotion reaction information among the previous standard emotion reaction information to judge the similar progress of the next user emotion and the previous user emotion, The following application information is retrieved from the application database Type control unit is characterized in that to transform the application exhibits in accordance with the following Search exhibits application information.
여기서 표준 감정 반응 정보 생성부는 수집한 감정 반응 정보의 식별자를 판단하고 식별자에 따라 사용자의 감정을 추론하는데 사용되는 특징 데이터를 생성하는 특징 데이터 생성부와, 생성한 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류하는 분류부와, 제1 표준 감정 반응 정보 요소로부터 제1 표준 감정 반응 정보를 생성하는 제1 표준 감정 반응 정보 생성부와, 제2 표준 감정 반응 정보 요소로부터 제2 표준 감정 반응 정보를 생성하는 제2 표준 감정 반응 정보 생성부를 포함하며, 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 감정 분석 그래프에서 매핑되어 있는 사용자의 감정을 추론하는 것을 특징으로 한다.Here, the standard emotion response information generating unit may include a feature data generating unit for determining the identifiers of the collected emotion response information and generating feature data used to infer the user's emotions according to the identifiers, A first standard emotion response information generating unit for generating first standard emotion response information from the first standard emotion response information element; And a second standard emotional reaction information generating unit for generating second standard emotional reaction information from the second standard emotional reaction information, and the first standard emotional reaction information and the second standard emotional reaction information are applied to an emotional analysis graph of the two- The user's emotions are deduced.
본 발명에 따른 대화형 전시 서비스 제공 방법은 종래 대화형 전시 서비스 제공 방법과 비교하여 다음과 같은 다양한 효과들을 가진다.The interactive display service providing method according to the present invention has the following various advantages as compared with the conventional interactive display service providing method.
첫째, 본 발명에 따른 대화형 전시 서비스 제공 방법은 전시물에 대한 사용자의 감정 반응을 고려하여 사용자의 감정 반응에 따라 서로 다르게 전시물의 변형 동작을 제어함으로써, 전시물과 사용자 사이의 상호 작용을 극대화하며 이로 인해 전시 효과를 증가시킨다.First, the interactive display service providing method according to the present invention maximizes the interaction between an exhibit and a user by controlling a deformation operation of an exhibit differently according to a user's emotional response in consideration of a user's emotional response to the exhibit, Thereby increasing the exhibition effect.
둘째, 본 발명에 따른 대화형 전시 서비스 제공 방법은 다수의 반응 측정 장비를 통해 수집한 사용자의 다양한 감정 반응 정보로부터 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성하고 생성한 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원 감정 분석 그래프에 적용함으로써, 전시물에 대한 사용자의 다양한 감정 반응을 정확하게 판단할 수 있다. 또한 이로 인하여 사용자의 다양한 감정 반응에 따라 전시물의 변형 동작을 다양하게 제어할 수 있다.Second, a method of providing an interactive exhibition service according to the present invention includes generating a first standard emotion response information and a second standard emotion response information from a variety of emotion response information of a user collected through a plurality of reaction measurement devices, By applying the emotional response information and the second standard emotional response information to the two-dimensional emotional analysis graph, it is possible to accurately determine various emotional responses of the user to the exhibit. Also, according to the user's various emotional responses, it is possible to variously control the deformation operation of the exhibit.
셋째, 본 발명에 따른 대화형 전시 서비스 제공 방법은 전시물에 대한 사용자의 감정 반응과 사용자 정보에 따라 전시물의 변형을 제어함으로써, 사용자에 개인화된 방식으로 대화형 전시 서비스를 제공할 수 있다.Third, the interactive exhibition service providing method according to the present invention can provide an interactive exhibition service in a personalized manner to a user by controlling transformation of exhibits according to a user's emotional response to exhibits and user information.
도 1은 본 발명에 따른 대화형 전시 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 대화형 전시 서비스 제공 서버를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 표준 감정 반응 정보 생성부를 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 제어부를 설명하기 위한 흐름도이다.
도 5는 본 발명에 따른 대화형 전시 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명에 따른 표준 감정 반응 정보를 생성하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 감정 분류 그래프의 일 예를 도시하고 있다.1 is a view for explaining an interactive exhibition service providing system according to the present invention.
2 is a functional block diagram illustrating an interactive exhibition service providing server according to the present invention.
FIG. 3 is a functional block diagram for explaining a standard emotional reaction information generating unit according to the present invention.
4 is a flowchart illustrating a control unit according to the present invention.
5 is a flowchart illustrating a method of providing an interactive exhibition service according to the present invention.
FIG. 6 is a flowchart for explaining the step of generating standard emotion response information according to the present invention in more detail.
FIG. 7 shows an example of the emotion classification graph according to the present invention.
도 1은 본 발명에 따른 대화형 전시 서비스 제공 시스템을 설명하기 위한 도면이다.1 is a view for explaining an interactive exhibition service providing system according to the present invention.
도 1을 참고로 보다 구체적으로 살펴보면, 전시회 또는 박람회에는 네트워크(10)가 구비되어 있으며, 네트워크(10)에는 다수의 반응 측정 장비(20)와 사용자 단말기(30)가 접속되어 있다. 또한 네트워크(10)에는 대화형 전시 서비스 제공 서버(100)가 접속되어 있다. 네트워크(10)는 유선 또는 무선 네트워크 또는 유선과 무선이 혼합되어 있는 네트워크로 반응 측정 장비(20) 또는 사용자 단말기(30)는 네트워크(10)를 통해 사용자의 감정 반응 정보 또는 사용자 정보를 대화형 전시 서비스 제공 서버(100)로 송신한다.1, a
반응 측정 장비(20)는 전시회 또는 박람회에 전시되어 있는 전시물의 주변에 배치되어 전시물에 대한 사용자의 감정 반응 상태를 획득하는 장비로, 예를 들어 사용자의 얼굴 영상을 획득하는 카메라, 사용자의 음성을 획득하는 마이크, 사용자의 움직임 정보를 획득하는 움직임 캡쳐부, 사용자의 생체 정보를 획득하는 센서부 등이 사용될 수 있으며, 본 발명이 적용되는 분야에 따라 다른 종류의 다양한 반응 측정 장비가 사용될 수 있으며 이는 본 발명의 범위에 속한다. 여기서 반응 측정 장치(20)는 사용자 단말기(30)의 형태로 제작되어 사용자가 소지할 수 있는데, 예를 들어 센서부의 경우 사용자 단말기 형태로 제작되어 사용자가 소지하며 사용자의 생체 정보를 획득한다.The reaction measuring equipment 20 is disposed at the periphery of an exhibition displayed at an exhibition or fair to acquire a user's emotional reaction state with respect to an exhibit. For example, the reaction measuring equipment 20 includes a camera for acquiring a user's face image, A motion capture unit for acquiring motion information of a user, a sensor unit for acquiring biometric information of a user, and the like, and various types of reaction measurement equipment may be used according to the field to which the present invention is applied. And falls within the scope of the present invention. Here, the reaction measuring device 20 is manufactured in the form of a
한편, 사용자 단말기(30)는 전시회 또는 박람회에서 사용자에 제공하는 단말기 또는 사용자가 소지하는 통신 기능을 가진 단말기로 사용자는 전용 전시 프로그름을 다운로드하거나, 이미 전용 전시 프로그램이 다운로드된 사용자 단말기를 통해 사용자 정보를 입력한다. 여기서 사용자 정보란 사용자 이름, 성별, 나이, 주소, 선호 분야 등이 될 수 있으며, 본 발명이 적용되는 분야에 따라 다양한 종류의 사용자 정보가 사용될 수 있다.On the other hand, the
대화형 전시 서비스 제공 서버(100)는 전시물에 대한 사용자의 감정 반응 정보 또는 사용자 정보를 수집하고, 수집한 사용자의 감정 반응 정보로부터 전시물에 대한 사용자 감정을 추론한다. 대화형 전시 서비스 제공 서버(100)는 추론한 사용자 감정 또는 사용자 정보에 기초하여 사용자에 개인화된 전시물 적용 정보를 검색하고 검색한 전시물 적용 정보에 따라 전시물을 변형 제어한다.
The interactive exhibition
도 2는 본 발명에 따른 대화형 전시 서비스 제공 서버를 설명하기 위한 기능 블록도이다.2 is a functional block diagram illustrating an interactive exhibition service providing server according to the present invention.
도 2를 참고로 보다 구체적으로 살펴보면, 반응 정보 수집부(110)는 전시장 또는 박람회에 배치되어 있는 다양한 반응 측정 장비를 통해 획득한 전시물에 대한 사용자의 감정 반응 정보를 수신하며, 사용자 정보 수집부(120)는 사용자가 소지하는 사용자 단말기로 입력된 사용자 정보를 네트워크를 통해 수신한다. 바람직하게, 반응 정보 수집부(110)는 전시물 주변에 배치되어 전시물에 대한 사용자의 감정 반응 정보를 획득한다. 여기서 감정 반응 정보는 사용자 얼굴 영상 정보, 사용자의 움직임 정보, 사용자의 음성 정보, 사용자의 생체 정보 중 적어도 어느 하나이다.2, the reaction
표준 감정 반응 생성부(130)는 수집한 감정 반응 정보로부터 특징 데이터를 생성하고 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류하여 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성한다. 특징 데이터는 감정 반응 정보에서 사용자의 감정 상태를 추론하는데 이용되는 데이터를 의미한다.The standard emotion
감정 추론부(140)는 생성한 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여, 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보에 매핑되어 있는 감정 분석 그래프 상의 감정을 사용자의 감정으로 추론한다. 제어부(150)는 추론한 사용자 감정과 사용자 정보에 매핑되어 있는 전시물 적용 정보를 전시물 적용 정보 데이터베이스(160)에서 검색하고, 검색한 전시물 적용 정보를 이용하여 전시물의 변형을 제어한다. 여기서 전시물은 사용자의 반응에 따라 변형 가능한 대화형 컨텐츠로 예를 들어, 전시물은 사용자의 반응에 따라 조명의 색을 변경하거나 컨텐츠의 내용을 변경하거나 움직임 컨텐츠의 경우 컨텐츠를 동작시키거나 오디오를 변경한다.The
바람직하게, 전시물 전시자 또는 운영자는 사전에 사용자 감정 또는 사용자 정보에 따라 전시물을 사용자에 가장 효과적으로 전시할 수 있는 전시물 적용 정보을 사용자 감정 또는 사용자 정보에 매핑하여 전시물 적용 정보 데이터베이스에 저장해두며, 제어부(150)는 사용자 감정 또는 사용자 정보에 매핑되어 있는 전시물 적용 정보를 검색하여 전시물의 번형을 제어한다.
Preferably, the exhibit exhibitor or operator maps exhibition application information, which can exhibit the exhibit most effectively to the user in advance according to the user's feeling or user information, to the user's emotion or user information and stores the information in the exhibit application information database, Searches for exhibition application information that is mapped to the user's emotion or user information to control the type of display.
도 3은 본 발명에 따른 표준 감정 반응 정보 생성부를 설명하기 위한 기능 블록도이다.FIG. 3 is a functional block diagram for explaining a standard emotional reaction information generating unit according to the present invention.
도 3을 참고로 보다 구체적으로 살펴보면, 특징 데이터 생성부(131)는 수집한 감정 반응 정보의 종류를 반응 측정 장비로부터 수신한 감정 반응 메시지에 구비되어 있는 식별자에 기초하여 판단하고 판단한 감정 반응 정보의 종류에 따라 특징 데이터를 생성한다. 감정 반응 정보가 사용자 얼굴 영상 정보인 경우 얼굴 특징점으로부터 판단되는 얼굴 표정 데이터, 시선 데이터 등을 생성하며 감정 반응 정보가 사용자의 음성 정보인 경우 사용자 음성의 피치, 강도, 템포 등을 생성하며, 감정 반응 정보가 사용자의 움직임 정보인 경우 전시물과의 거리, 팔과 다리의 움직임, 몸통의 움직임 등을 생성하며, 감정 반응 정보가 사용자의 생체 정보인 경우 맥박, 심전도 등을 생성한다. 예를 들어 얼굴 표정 데이터는 얼굴 영상에서 얼굴을 인식하고 인식한 얼굴 중 얼굴 표정을 나타내는 눈썹, 입꼬리 등의 특징점 사이의 거리 변화, 위치 변화로부터 생성하며, 시선 데이터는 인식한 얼굴 중 동공의 움직으로부터 생성한다. 이러한 특징점 사이의 거리 변화 또는 위치 변화는 웃는 얼굴, 화난 얼굴 등 사용자의 감정에 따라 달라지며, 전시물에 대한 사용자의 감정을 판단하는 요소로 사용된다.3, the feature
분류부(133)는 생성한 특징 데이터 중 제1 표준 감정 반응 정보를 생성하는데 사용되는 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보를 생성하는데 사용되는 제2 표준 감정 반응 정보 요소를 분류한다. The
제1 표준 감정 반응 생성부(135)는 생성한 제1 표준 감정 반응 정보로부터 전시물에 대한 사용자의 제1 표준 감정 반응을 생성하고, 제2 표준 감정 반응 생성부(137)는 생성한 제2 표준 감정 반응 정보로부터 전시물에 대한 사용자의 제2 표준 감정 반응 정보를 생성한다.
The first standard emotion
도 4는 본 발명에 따른 제어부를 설명하기 위한 흐름도이다.4 is a flowchart illustrating a control unit according to the present invention.
도 4를 참고로 보다 구체적으로 살펴보면, 검색부(151)는 추론한 사용자 감정 또는 사용자 정보에 매핑되어 있는 전시물 적용 정보를 전시물 적용 정보 데이터베이스(160)에서 검색한다. 변형 제어부(153)는 검색한 전시물 적용 정보에 따라 사용자 감정과 사용자 정보를 고려하여 전시물을 변형 적용한다.4, the
표준 감정 반응 생성부(130)는 주기적으로 수신되는 사용자의 감정 반응 정보로부터 주기적으로 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성하는데, 유사 진행도 판단부(155)는 주기적으로 생성되는 다음 표준 감정 반응 정보와 이전 생성한 이전 표준 감정 반응 정보에서 다음 표준 감정 반응 정보 중 제1 다음 표준 감정 정보와 이전 표준 감정 반응 정보 중 제1 이전 표준 감정 정보 사이의 증감차이를 계산하고, 다음 표준 감정 반응 정보 중 제2 다음 표준 감정 정보와 이전 표준 감정 반응 정보 중 제2 이전 표준 감정 정보 사이의 증감차이를 계산하여 다음 사용자 감정과 이전 사용자 감정의 유사 진행도를 판단한다. 유사 진행도 판단부(155)는 다음 표준 감정 반응 정보 중 제1 다음 표준 감정 정보가 이전 표준 감정 반응 정보 중 제1 이전 표준 감정 정보보다 큰 경우 유사 진행도가 양으로 유사 진행 방향이 동일한 것으로 판단하고 그렇지 않은 경우 음으로 유사 진행 방향이 반대인 것으로 판단하며 동시에 양 또는 음의 증감 크기를 계산한다. The standard
검색부(151)는 전시물 적용 정보 데이터베이스(160)에서 유사 진행도에 매핑되어 있는 다음 전시물 적용 정보를 검색하고, 변형 제어부(153)는 검색한 다음 전시물 적용 정보에 따라 전시물을 변형 제어한다.
The
도 5는 본 발명에 따른 대화형 전시 서비스 제공 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of providing an interactive exhibition service according to the present invention.
도 5를 참고로 보다 구체적으로 살펴보면, 전시회 또는 박람회에 입장한 사용자가 소지하는 사용자 단말기로부터 사용자 정보를 수집하고(S110), 전시회 또는 박람회에 배치되어 있는 다수의 반응 측정 장비로부터 전시물에 대한 사용자의 감정 반응 정보를 수집한다(S120).More specifically, referring to FIG. 5, the user information is collected from a user terminal owned by a user who has entered an exhibition or an exhibition (S110). The user information is collected from a plurality of reaction measuring instruments disposed at an exhibition or fair Emotion reaction information is collected (S120).
수집한 사용자의 감정 반응 정보로부터 전시물에 대한 표준 감정 반응 정보를 생성하는데(S130), 도 6을 참고로 표준 감정 반응 정보를 생성하는 단계를 보다 구체적으로 살펴본다.The standard emotion response information for the exhibit is generated from the collected emotion response information of the user (S130), and the step of generating the standard emotion response information with reference to FIG. 6 will be described in more detail.
먼저, 수집한 감정 반응 정보의 식별자에 기초하여 감정 반응 정보의 종류를 판단하고, 감정 반응 정보의 종류에 기초하여 각 감정 반응 정보로부터 전시물에 대한 사용자의 감정을 판단하는데 이용되는 특징 데이터를 생성한다(S131). 생성한 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류한다(S133). 제1 표준 감정 반응 정보 요소는 전시물에 대한 사용자 감정의 긍정도 크기를 나타내는데 이용되는 요소로 제1 표준 감정 반응 정보 요소로부터 제1 표준 감정 반응 정보를 생성하며, 제2 표준 감정 반응 정보 요소는 전시물에 대한 사용자의 관심도 크기를 나타내는데 이용되는 요소로 제2 표준 감정 반응 정보 요소로부터 제2 표준 감정 반응 정보를 생성한다. First, the type of emotion reaction information is determined based on the identifier of the collected emotion reaction information, and feature data used to determine the emotion of the user for the exhibit is generated from each emotion reaction information based on the type of emotion reaction information (S131). The generated feature data is classified into a first standard emotion response information element and a second standard emotion response information element (S133). The first standard emotion response information element generates the first standard emotion response information from the first standard emotion response information element as an element used for indicating the positive degree of the user's emotion for the exhibit, And generates the second standard emotion response information from the second standard emotion response information element as an element used to indicate the size of the user's interest in the second standard emotion response information element.
여기서 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소는 전시회 운영자 또는 설계자에 의해 기설정되어 있다. 예를 들어 다양한 종류의 특징 데이터 중 제1 표준 감정 반응 정보를 계산하는데 이용되는 요소들은 제1 표준 감정 반응 정보 요소로 분류되며 제2 표준 감정 반응 정보를 계산하는데 이용되는 요소들은 제2 표준 감정 반응 정보 요소로 분류된다.Here, the first standard emotion response information element and the second standard emotion response information element are predetermined by the exhibitor or the designer. For example, among the various kinds of feature data, the elements used to calculate the first standard emotion response information are classified into the first standard emotion response information element, and the elements used to calculate the second standard emotion response information are classified into the second standard emotion response Information elements.
제1 표준 감정 반응 정보 요소로부터 아래의 수학식(1)을 이용하여 제1 표준 감정 반응 정보(V1)를 생성하고(S135), 제2 표준 감정 반응 정보 요소로부터 아래의 수학식(2)를 이용하여 제2 표준 감정 반응 정보(V2)를 생성한다(S137).First generating a first standard emotional response information (V 1) by using Equation (1) below from standard emotional response information element, and (S135), the second normal equation (2) below, from the emotional response information element To generate second standard emotion reaction information V 2 (S137).
[수학식 1][Equation 1]
[수학식 2]&Quot; (2) "
여기서 A1, A2, ...An은 제1 표준 감정 반응 정보를 계산하는데 사용되는 제1 표준 감정 반응 정보 요소이고 α1, α2,...αn은 제1 표준 감정 반응 정보 요소에 대한 가중치이며, B1, B2, ...Bn은 제2 표준 감정 반응 정보를 계산하는데 사용되는 제2 표준 감정 반응 정보 요소이고 β1, β2,...βn은 제2 표준 감정 반응 정보 요소에 대한 가중치이다.
Wherein A 1, A 2, ... A n are the first standard emotional feelings first standard reaction used to calculate the response information information element, and α 1, α 2, ... α n is the first standard emotional response information the weight for the component, B 1, B 2, ... B n is the second standard and the second standard reaction emotion emotional response information elements used for calculating the information β 1, β 2, ... β n is the 2 is the weight for the standard emotion response information element.
다시 도 5를 참고로 본 발명에 따른 대화형 전시 서비스 제공 방법을 보다 구체적으로 살펴보면, 생성한 전시물에 대한 사용자의 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 2차원의 감정 분포 그래프에 적용하여 감정 분포 그래프에 매핑되어 있는 감정을 사용자의 감정으로 추론한다(S140). 감정 분포 그래프는 전시물을 관람한 다수 관람객의 반응 감정 정보를 수집하여 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소를 생성하고, 생성한 제1 표준 감정 반응 정보 요소와 제1 표준 감정 반응 정보 요소로부터 계산된 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보에 해당하는 관람객의 감정을 설문 조사하여 통계적으로 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보에 감정을 매핑하여 관람객의 감정을 분류한 그래프이다. 도 7은 본 발명에 따른 감정 분류 그래프의 일 예를 도시하고 있다.Referring to FIG. 5 again, the method for providing interactive exhibition services according to the present invention will be described in more detail. The first standard emotional response information and the second standard emotional response information of the user on the generated exhibit are displayed on a two- And the emotion mapped to the emotion distribution graph is inferred as the emotion of the user (S140). The emotion distribution graph collects reaction emotion information of a large number of spectators viewing an exhibit to generate a first standard emotion response information element and a second standard emotion response information element and generates a first standard emotion response information element and a first standard emotion response information element The emotion of the viewer corresponding to the first standard emotion reaction information and the second standard emotion reaction information calculated from the reaction information element is statistically mapped to the first standard emotion reaction information and the second standard emotion reaction information, Of the emotion. FIG. 7 shows an example of the emotion classification graph according to the present invention.
본 발명에 따른 대화형 전시 서비스 방법은 사용자의 반응 감정 정보를 수집하여 전시물에 대한 사용자의 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성하고, 생성한 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보에 매핑되는 전시물에 대한 사용자 감정을 2차원 감정 분류 그래프로 판단함으로써, 다양한 감정 종류로 전시물에 대한 사용자 감정을 정확하게 판단할 수 있으며, 다양한 사용자 감정에 따라 사용자에 개인화된 대화형 전시 서비스를 제공할 수 있다.The interactive exhibition service method according to the present invention collects the response feeling information of a user to generate a first standard emotion response information and a second standard emotion response information of a user for an exhibit, The user emotion of the exhibit mapped to the standard emotion reaction information is judged by the two-dimensional emotion classification graph so that the user emotion of the exhibit can be accurately judged by various emotion types. In addition, Exhibition service can be provided.
추론한 사용자 감정과 사용자 정보에 매핑되어 있는 전시물 적용 정보를 전시물 적용 정보 데이터베이스에서 검색하고 검색한 전시물 적용 정보에 기초하여 전시물을 변형 제어한다(S150). 전시물 적용 정보 데이터베이스에는 사용자 감정과 사용자 정보에 따라 전시물의 움직임, 조명, 음향 등을 어떻게 변형할 것인지에 대한 정보가 전시물 운영자 또는 설계자에 의해 설정되어 저장되어 있다.The inferred user emotion and the application information of the exhibition mapped to the user information are searched in the exhibition application information database and the exhibition is transformed and controlled based on the searched application information (S150). Information on how to modify the movement, illumination, sound, etc. of the exhibit according to the user's emotion and user information is set and stored by the exhibitor or the designer in the exhibit application information database.
한편, 주기적으로 수신되는 사용자의 감정 반응 정보로부터 주기적으로 다음 제1 표준 감정 반응 정보와 다음 제2 표준 감정 반응 정보를 생성하고(S160), 이전 생성한 이전 제1 표준 감정 반응 정보와 이전 제2 표준 감정 반응 정보 및 다음 제1 표준 감정 반응 정보와 다음 제2 표준 감정 반응 정보로부터 전시물에 대한 유사 진행도의 변화를 판단한다(S170). 즉, 전시물에 대해 추론한 사용자 감정에 따른 전시물의 변형이 추론한 사용자 감정에 부합하며 이로 인하여 사용자 감정이 추론한 사용자 감정과 유사한 방향으로 진행되는지 여부를 판단한다.Meanwhile, the first and second standard emotion response information are periodically generated from periodically received user's emotion response information (S160), and the previous first standard emotion response information and the previous second standard emotion response information are generated (Step S170). In step S170, the similarity degree of the display is determined based on the standard emotion response information, the first standard emotion response information, and the second standard emotion response information. That is, it is determined whether or not the modification of the exhibition according to the user's emotion inferred to the exhibit is in accordance with the user's emotion inferred and the user's emotion proceeds in a direction similar to the inferred user's emotion.
유사 진행도의 판단 결과에 기초하여, 전시물 적용 정보 데이터베이스에서 유사 진행도 방향 또는 유사 진행도 크기에 매핑되어 있는 다음 전시물 적용 정보를 검색하고, 검색한 다음 전시물 적용 정보에 따라 전시물의 변형을 제어한다.Based on the determination result of the similarity degree, the next exhibition application information mapped to the similar progress direction or the similar progress degree size is searched in the exhibit application information database, and the transformation of the exhibit is controlled according to the exhibition application information .
예를 들어, 다음 제1 표준 감정 반응 정보와 이전 제1 표준 감정 반응 정보의 차이로부터 제1 표준 감정 반응의 방향과 크기를 계산하며, 다음 제2 표준 감정 반응 정보와 이전 제2 표준 감정 반응 정보의 차이로부터 제1 표준 감정 반응의 방향과 크기를 계산한다. 전시물 적용 정보 데이터베이스에는 제1 표준 감정 반응 방향과 크기 또는 제2 표준 감정 반응 방향과 크기에 매핑되어 다음 전시물 적용 정보가 저장되어 있다.
For example, the direction and magnitude of the first standard emotion response are calculated from the difference between the next first standard emotion response information and the previous first standard emotion response information, and the next second standard emotion response information and the previous second standard emotion response information To calculate the direction and magnitude of the first standard emotion response. The exhibit application information database is mapped to a first standard emotion reaction direction and size or a second standard emotion reaction direction and size, and stores the following exhibit application information.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium.
상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
The computer-readable recording medium may be an electrically or magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave, , Transmission over the Internet).
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
10: 네트워크 20: 반응 측정 장비
30: 사용자 단말기 100: 대화형 전시 서비스 서버
110: 반응 정보 수집부 120: 사용자 정보 수집부
130: 표준 감정 반응 정보 생성부 140: 감정 추론부
150: 제어부 160: 전시물 적용 정보 DB
131: 특징 데이터 생성부 133: 분류부
135: 제1 표준 감정 반응 정보 생성부 137: 제2 표준 감정 반응 정보 생성부
151: 검색부 153: 변형 제어부
155: 유사 진행도 판단부 10: Network 20: Reaction measurement equipment
30: user terminal 100: interactive exhibition service server
110: reaction information collecting unit 120: user information collecting unit
130: Standard emotion reaction information generation unit 140: Emotion reasoning unit
150: controller 160: display application information DB
131: Feature data generation unit 133:
135: first standard emotion reaction information generating unit 137: second standard emotion reaction information generating unit
151: Retrieval unit 153:
155: Similarity progress degree judgment unit
Claims (13)
(a) 전시물 주변에 설치된 또는 사용자가 소지하는 반응 측정 장비를 통해 사용자의 감정 반응 정보를 수집하는 단계;
(b) 상기 수집한 감정 반응 정보로부터 특징 데이터를 생성하고, 상기 특징 데이터로부터 표준 감정 반응 정보를 생성하는 단계;
(c) 상기 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 사용자의 감정을 추론하는 단계;
(d) 적용 데이터베이스에서 상기 추론한 사용자 감정에 매핑되어 있는 전시물 적용 정보를 검색하고, 상기 전시물 적용 정보에 따라 상기 사용자 감정을 고려하여 상기 전시물을 변형 적용시키는 단계;
상기 변형 적용된 전시물에 대해 상기 (a) 단계 및 상기 (b) 단계를 반복 수행하여 다음 표준 감정 반응 정보를 생성하는 단계;
상기 다음 표준 감정 반응 정보와 상기 표준 감정 반응 정보에서 상기 다음 표준 감정 반응 정보 중 제1 다음 표준 감정 정보와 상기 표준 감정 반응 정보 중 제1 표준 감정 정보 사이의 증감차이 및 상기 다음 표준 감정 반응 정보 중 제2 다음 표준 감정 정보와 상기 표준 감정 반응 정보 중 제2 표준 감정 정보 사이의 증감차이를 비교하여 상기 다음 사용자 감정과 이전 사용자 감정의 유사 진행도를 판단하는 단계; 및
상기 유사 진행도에 기초하여 상기 적용 데이터베이스에서 다음 전시물 적용 정보를 검색하고, 상기 검색한 다음 전시물 적용 정보에 따라 상기 전시물을 변형 적용시키는 단계를 포함하는 것을 특징으로 하는 대화형 전시 서비스 제공 방법. A method of providing an interactive exhibition service personalized to a user in consideration of a user's reaction through an exhibition service providing system provided at an exhibition or an exhibition,
(a) collecting the user's emotional reaction information through the reaction measuring equipment installed around the display or carried by the user;
(b) generating feature data from the collected emotion reaction information, and generating standard emotion reaction information from the feature data;
(c) applying the standard emotional response information to the emotional analysis graph of the two-dimensional space to infer the emotion of the user;
(d) searching the application database for application information mapped to the reasoned user emotion in the application database, and transforming the application in consideration of the user's emotions according to the application information;
Repeating the steps (a) and (b) for the modified exhibit to generate the next standard emotion response information;
A second standard emotion response information of the next standard emotion response information and a second standard emotion response information of the next standard emotion response information and a second standard emotion response information of the next standard emotion response information, Comparing the difference between the second standard emotion information and the second standard emotion information of the standard emotion response information to determine the similarity degree of the next user emotion and the previous user emotion; And
Searching for the next exhibit application information in the application database based on the similarity degree, and transforming the exhibit according to the retrieved and then applied application information.
상기 전시회 또는 박람회에 입장시 사용자로부터 사용자 정보를 수신하는 단계를 더 포함하며,
상기 추론한 사용자 감정과 상기 사용자 정보에 매핑되어 있는 상기 전시물 적용 정보를 상기 적용 데이터베이스에서 검색하여 상기 전시물을 상기 사용자에 개인화하여 변형 적용시키는 것을 특징으로 하는 대화형 전시 서비스 제공 방법.The interactive exhibition service providing method according to claim 1,
Further comprising the step of receiving user information from a user upon entering the exhibition or fair,
And searching the application database for the exhibit application information mapped to the user's emotion and the user information to personalize the exhibit to the user and apply the transformed application service.
사용자 얼굴 영상 정보, 사용자의 움직임 정보, 사용자의 음성 정보, 사용자의 생체 정보 중 적어도 어느 하나인 것을 특징으로 하는 대화형 전시 서비스 제공 방법.4. The method according to any one of claims 1 to 3, wherein the user's emotional response information is
The user's face information, the user's motion information, the user's voice information, and the user's biometric information.
상기 수집한 감정 반응 정보의 식별자를 판단하고, 상기 식별자에 따라 상기 사용자의 감정을 추론하는데 사용되는 특징 데이터를 생성하는 단계;
상기 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류하는 단계;
상기 제1 표준 감정 반응 정보 요소로부터 제1 표준 감정 반응 정보를 생성하는 단계; 및
상기 제2 표준 감정 반응 정보로부터 제2 표준 감정 반응 정보를 생성하는 단계를 포함하며,
상기 제1 표준 감정 반응 정보와 상기 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 상기 감정 분석 그래프에서 매핑되어 있는 사용자의 감정을 추론하는 것을 특징으로 하는 대화형 전시 서비스 제공 방법.5. The method of claim 4, wherein generating the standard emotional response information comprises:
Determining an identifier of the collected emotion reaction information and generating feature data used to infer the emotion of the user according to the identifier;
Classifying the feature data into a first standard emotion response information element and a second standard emotion response information element;
Generating first standardized emotion response information from the first standardized emotion response information element; And
And generating second standard emotion response information from the second standard emotion response information,
Wherein the first standard emotion response information and the second standard emotion response information are applied to an emotional analysis graph of a two-dimensional space to infer emotions of a user mapped in the emotional analysis graph .
상기 제1 표준 감정 반응 정보는 상기 전시물에 대한 상기 사용자 감정의 긍정도 크기를 나타내는 정보이며,
상기 제2 표준 감정 반응 정보는 상기 전시물에 대한 상기 사용자의 관심도 크기를 나타내는 정보이며,
상기 감정 분석 그래프는 상기 제1 표준 감정 반응 정보와 상기 제2 표준 감정 반응 정보에 따라 사용자 감정이 매핑되어 있는 것을 특징으로 하는 대화형 전시 서비스 제공 방법.6. The method of claim 5,
Wherein the first standard emotion response information is information indicating an affinity magnitude of the user emotion for the exhibit,
The second standard emotion response information is information indicating the size of the user's interest in the exhibit,
Wherein the emotional analysis graph is mapped with a user emotion according to the first standard emotion response information and the second standard emotion response information.
상기 제1 표준 감정 반응 정보(V1)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
상기 제2 표준 감정 반응 정보(V2)는 아래의 수학식(2)에 의해 계산되며.
[수학식 2]
여기서 A1, A2, ...An은 제1 표준 감정 반응 정보를 계산하는데 사용되는 제1 표준 감정 반응 정보 요소이고 α1, α2,...αn은 제1 표준 감정 반응 정보 요소에 대한 가중치이며,
여기서 B1, B2, ...Bn은 제2 표준 감정 반응 정보를 계산하는데 사용되는 제2 표준 감정 반응 정보 요소이고 β1, β2,...βn은 제2 표준 감정 반응 정보 요소에 대한 가중치인 것을 특징으로 하는 대화형 전시 서비스 제공 방법.The method according to claim 6,
The first standard emotional response information (V 1 ) is calculated by the following equation (1)
[Equation 1]
The second standard emotional response information (V 2 ) is calculated by the following equation (2).
&Quot; (2) "
Wherein A 1, A 2, ... A n are the first standard emotional feelings first standard reaction used to calculate the response information information element, and α 1, α 2, ... α n is the first standard emotional response information The weight for the element,
Wherein B 1, B 2, ... B n is the second standard emotional response information elements used for calculating the second standard emotional response information and β 1, β 2, ... β n is the second standard emotional response information And a weight for the element.
상기 수집한 감정 반응 정보로부터 특징 데이터를 생성하고, 상기 특징 데이터를 제1 표준 감정 반응 정보 요소와 제2 표준 감정 반응 정보 요소로 분류하여 제1 표준 감정 반응 정보와 제2 표준 감정 반응 정보를 생성하는 표준 감정 반응 정보 생성부;
상기 제1 표준 감정 반응 정보와 상기 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 사용자의 감정을 추론하는 감정 추론부; 및
추론한 사용자 감정에 매핑되어 있는 전시물 적용 정보를 검색하고, 상기 전시물 적용 정보에 따라 상기 사용자 감정을 고려하여 상기 전시물을 변형 적용시키는 제어부를 포함하며,
상기 제어부는
추론한 사용자 감정에 매핑되어 있는 전시물 적용 정보를 검색하는 검색부;
상기 검색한 전시물 적용 정보에 따라 상기 사용자 감정을 고려하여 상기 전시물을 변형 적용하는 변형 제어부; 및
주기적으로 생성되는 다음 표준 감정 반응 정보와 상기 표준 감정 반응 정보에서 상기 다음 표준 감정 반응 정보 중 제1 다음 표준 감정 정보와 상기 표준 감정 반응 정보 중 제1 표준 감정 정보 사이의 증감차이 및 상기 다음 표준 감정 반응 정보 중 제2 다음 표준 감정 정보와 상기 표준 감정 반응 정보 중 제2 표준 감정 정보 사이의 증감차이를 비교하여 상기 다음 사용자 감정과 이전 사용자 감정의 유사 진행도를 판단하는 유사 진행도 판단부를 포함하며,
상기 검색부는 상기 유사 진행도에 기초하여 상기 적용 데이터베이스에서 다음 전시물 적용 정보를 검색하고, 상기 변형 제어부는 상기 검색한 다음 전시물 적용 정보에 따라 상기 전시물을 변형 적용시키는 것을 특징으로 하는 대화형 전시 서비스 제공 장치.A reaction information collecting unit installed around the exhibition or collecting the user's emotional reaction information from the reaction measuring equipment possessed by the user;
Generating feature data from the collected emotion response information and classifying the feature data into a first standard emotion response information element and a second standard emotion response information element to generate first standard emotion response information and second standard emotion response information A standard emotional reaction information generating unit;
An empirical reasoning unit for applying the first standard emotional response information and the second standard emotional response information to an emotional analysis graph of a two-dimensional space to infer a user's emotional state; And
And a control unit for searching for exhibition application information mapped to the inferred user's feeling and transforming and applying the exhibition in consideration of the user's feeling in accordance with the exhibition application information,
The control unit
A searching unit for searching for exhibited application information mapped to the inferred user emotion;
A transformation control unit for transforming and applying the exhibit in consideration of the user's emotions according to the searched exhibition application information; And
A second standard emotion response information of the next standard emotion response information and a second standard emotion response information of the next standard emotion response information and a second standard emotion response information of the next standard emotion response information, And a similarity degree judging unit for comparing the difference between the second standard emotion information and the second standard emotion information of the standard emotion reaction information to determine the similarity degree of the next user emotion and the previous user emotion, ,
Wherein the search unit retrieves the next exhibit application information from the application database based on the similarity degree, and the transformation control unit transforms and applies the exhibit according to the searched next exhibit application information Device.
전시회 및 박람회에 입장시 사용자로부터 사용자 정보를 수집하는 사용자 정보 수집부를 더 포함하며
상기 검색부는 상기 추론한 사용자 감정 또는 상기 사용자 정보에 매핑되어 있는 상기 전시물 적용 정보를 검색하는 것을 특징으로 하는 대화형 전시 서비스 제공 장치.9. The interactive exhibition service providing apparatus according to claim 8,
And a user information collecting unit for collecting user information from a user when entering the exhibition and the exhibition
Wherein the search unit searches for the exhibited application information mapped to the inferred user emotion or the user information.
상기 추론한 사용자 감정, 유사 진행도, 사용자 정보에 매핑되어 상기 전시물을 변형 적용 시키는 전시물 적용 정보를 저장하고 있는 전시물 적용 정보 데이터베이스를 더 포함하고 있는 것을 특징으로 하는 대화형 전시 서비스 제공 장치.The method of claim 10, wherein the interactive exhibition service providing apparatus
Further comprising an exhibition application information database storing exhibition application information that is mapped to the inferred user emotion, similarity degree, and user information, and transforms and applies the exhibition.
상기 수집한 감정 반응 정보의 식별자를 판단하고, 상기 식별자에 따라 상기 사용자의 감정을 추론하는데 사용되는 특징 데이터를 생성하는 특징 데이터 생성부;
상기 생성한 특징 데이터를 상기 제1 표준 감정 반응 정보 요소와 상기 제2 표준 감정 반응 정보 요소로 분류하는 분류부;
상기 제1 표준 감정 반응 정보 요소로부터 상기 제1 표준 감정 반응 정보를 생성하는 제1 표준 감정 반응 정보 생성부; 및
상기 제2 표준 감정 반응 정보 요소로부터 상기 제2 표준 감정 반응 정보를 생성하는 제2 표준 감정 반응 정보 생성부를 포함하며,
상기 제1 표준 감정 반응 정보와 상기 제2 표준 감정 반응 정보를 2차원 공간의 감정 분석 그래프에 적용하여 상기 감정 분석 그래프에서 매핑되어 있는 사용자의 감정을 추론하는 것을 특징으로 하는 대화형 전시 서비스 제공 장치.The method according to claim 8, wherein the standard emotion reaction information generation unit
A feature data generation unit for determining an identifier of the collected emotion reaction information and generating feature data used to deduce emotion of the user according to the identifier;
A classifying unit for classifying the generated feature data into the first standard emotion response information element and the second standard emotion response information element;
A first standardized emotion response information generating unit for generating the first standardized emotion response information from the first standardized emotion response information element; And
And a second standard emotion reaction information generator for generating the second standard emotion response information from the second standard emotion response information element,
Wherein the first standard emotion response information and the second standard emotion response information are applied to an emotional analysis graph of a two-dimensional space to infer the emotion of a user mapped in the emotional analysis graph. .
상기 제1 표준 감정 반응 정보 생성부는 상기 제1 표준 감정 반응 정보(V1)를 아래의 수학식(3)에 의해 계산하며,
[수학식 3]
상기 제2 표준 감정 반응 정보 생성부는 상기 제2 표준 감정 반응 정보(V2)를 아래의 수학식(4)에 의해 계산하며.
[수학식 4]
여기서 A1, A2, ...An은 제1 표준 감정 반응 정보를 계산하는데 사용되는 제1 표준 감정 반응 정보 요소이고 α1, α2,...αn은 제1 표준 감정 반응 정보 요소에 대한 가중치이며,
여기서 B1, B2, ...Bn은 제2 표준 감정 반응 정보를 계산하는데 사용되는 제2 표준 감정 반응 정보 요소이고 β1, β2,...βn은 제2 표준 감정 반응 정보 요소에 대한 가중치인 것을 특징으로 하는 대화형 전시 서비스 제공 장치.13. The method of claim 12,
The first standard emotional reaction information generating unit may calculate the first standard emotional reaction information V 1 according to the following equation (3)
&Quot; (3) "
The second standard emotional reaction information generating unit calculates the second standard emotional reaction information (V 2 ) according to the following equation (4).
&Quot; (4) "
Wherein A 1, A 2, ... A n are the first standard emotional feelings first standard reaction used to calculate the response information information element, and α 1, α 2, ... α n is the first standard emotional response information The weight for the element,
Wherein B 1, B 2, ... B n is the second standard emotional response information elements used for calculating the second standard emotional response information and β 1, β 2, ... β n is the second standard emotional response information And a weight for the element.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120085733A KR101445923B1 (en) | 2012-08-06 | 2012-08-06 | Method for providing interactive exhibit service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120085733A KR101445923B1 (en) | 2012-08-06 | 2012-08-06 | Method for providing interactive exhibit service |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140019544A KR20140019544A (en) | 2014-02-17 |
| KR101445923B1 true KR101445923B1 (en) | 2014-11-03 |
Family
ID=50266968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120085733A KR101445923B1 (en) | 2012-08-06 | 2012-08-06 | Method for providing interactive exhibit service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101445923B1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160100749A (en) * | 2015-02-16 | 2016-08-24 | (주)이지위드 | Exhibition management system and method |
| KR102690201B1 (en) * | 2017-09-29 | 2024-07-30 | 워너 브로스. 엔터테인먼트 인크. | Creation and control of movie content in response to user emotional states |
| KR102216362B1 (en) * | 2018-12-12 | 2021-02-17 | 한양대학교 산학협력단 | Multisensory exhibition device |
| KR102211204B1 (en) * | 2019-08-05 | 2021-02-02 | 임광철 | Non-facing, non contact preference survey system |
| KR102407493B1 (en) * | 2020-09-15 | 2022-06-13 | 박경민 | Solution for making of art gallery employing virtual reality |
| KR102486222B1 (en) * | 2020-10-23 | 2023-01-10 | 스페이스뱅크 주식회사 | Untact experience type marketing platform system based on customer behavior data |
| KR102488271B1 (en) * | 2022-01-13 | 2023-01-17 | 주식회사 비에스에이치초아 | System for the operation of children health experience education |
| KR102617130B1 (en) * | 2022-10-07 | 2023-12-27 | 임팩트스테이션 주식회사 | Method, apparatus and program for recommending works customized for user emotion based on ai technology and providing virtual exhibition platform |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110012622A (en) * | 2009-07-31 | 2011-02-09 | 세종대학교산학협력단 | Method and apparatus for providing service seeing exhibition based on user's sensitivity information in ubiquitous computing space |
-
2012
- 2012-08-06 KR KR1020120085733A patent/KR101445923B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110012622A (en) * | 2009-07-31 | 2011-02-09 | 세종대학교산학협력단 | Method and apparatus for providing service seeing exhibition based on user's sensitivity information in ubiquitous computing space |
Non-Patent Citations (2)
| Title |
|---|
| 논문 : 한국지능정보시스템학회 * |
| 논문 : 한국지능정보시스템학회* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140019544A (en) | 2014-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101445923B1 (en) | Method for providing interactive exhibit service | |
| JP6267861B2 (en) | Usage measurement techniques and systems for interactive advertising | |
| CN105050673B (en) | Facial expression scoring apparatus, dancing scoring apparatus, Caraok device and game device | |
| US20190196576A1 (en) | Virtual reality device and a virtual reality server | |
| CN113255052B (en) | Home decoration scheme recommendation method and system based on virtual reality and storage medium | |
| TWI486904B (en) | Method for rhythm visualization, system, and computer-readable memory | |
| KR101933281B1 (en) | Game Managing Method through Face Recognition of Game Player | |
| EP2591458A2 (en) | Systems and methods for improving visual attention models | |
| Piana et al. | Automated analysis of non-verbal expressive gesture | |
| US12073054B2 (en) | Managing virtual collisions between moving virtual objects | |
| US20230319426A1 (en) | Traveling in time and space continuum | |
| JP2017130170A (en) | Conversation interlocking system, conversation interlocking device, conversation interlocking method, and conversation interlocking program | |
| Valtchanov et al. | EnviroPulse: Providing feedback about the expected affective valence of the environment | |
| Komiya et al. | Head pose estimation and movement analysis for speech scene | |
| KR101901826B1 (en) | Visualization system of space contents experience information and reward system thereof | |
| CN114155566A (en) | Evaluation method and system of playing content and electronic equipment | |
| JPWO2020032239A1 (en) | Information output device, design support system, information output method and information output program | |
| Cheng | [Retracted] Visual Art Design of Digital Works Guided by Big Data | |
| CN111507143A (en) | Expression image effect generation method and device and electronic equipment | |
| US12124675B2 (en) | Location-based virtual resource locator | |
| US11995861B2 (en) | Information processing system, content generation device, content presentation device, content generation method, content presentation method, and program | |
| KR20220097573A (en) | Device and method for matching human and animal face using principal component plane | |
| CN118733166A (en) | Interface display method, system, medium and device for generating 3D car logo | |
| CN114721501A (en) | Embedding digital content in virtual space | |
| WO2024069534A1 (en) | Adaptive extended reality content presentation in multiple physical environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170627 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 5 |