KR101974130B1 - 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템 - Google Patents
관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템 Download PDFInfo
- Publication number
- KR101974130B1 KR101974130B1 KR1020180013376A KR20180013376A KR101974130B1 KR 101974130 B1 KR101974130 B1 KR 101974130B1 KR 1020180013376 A KR1020180013376 A KR 1020180013376A KR 20180013376 A KR20180013376 A KR 20180013376A KR 101974130 B1 KR101974130 B1 KR 101974130B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- audience
- emotion
- transmitted
- voice
- Prior art date
Links
- 230000002996 emotional effect Effects 0.000 title claims description 19
- 230000008451 emotion Effects 0.000 claims abstract description 140
- 230000008921 facial expression Effects 0.000 claims abstract description 74
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 19
- 238000002347 injection Methods 0.000 claims description 13
- 239000007924 injection Substances 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000006757 chemical reactions by type Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005507 spraying Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000007654 immersion Methods 0.000 abstract description 6
- 230000001953 sensory effect Effects 0.000 abstract description 2
- 239000003205 fragrance Substances 0.000 abstract 1
- 230000035807 sensation Effects 0.000 abstract 1
- 238000000537 electroencephalography Methods 0.000 description 56
- 235000019645 odor Nutrition 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010926 purge Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 241000555745 Sciuridae Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000003721 gunpowder Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
- A63J5/02—Arrangements for making stage effects; Auxiliary stage appliances
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
Abstract
본 발명은 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템을 제공한다. 이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템은 관객들에게 공연물에 대하여 관객별로 발생하는 반응에 대하여 실시간으로 감정정보 등을 수집하여 시각뿐만 아니라 청각, 촉각, 후각 등 다양한 감각을 자극할 수 있는 개인화된 서비스를 제공하여 관객별로 공연물에 대한 사실감 및 몰입감을 증대시키고, 관객들의 성별, 연령별로 형성될 수 있는 유사한 감정적인 변화에 대한 빅데이터를 통해 향후 비슷한 성향을 가진 관객을 위한 시나리오의 작성에 중요한 자료를 제공할 수 있는 장점이 있으며, 또한 관리자가 반응형 콘텐츠에 대한 데이터를 설정하는데 있어, 상기 관리자의 설정에 따른 관객들이 느끼는 감정에 대한 빅데이터를 통해 해당 설정의 변화를 지속적으로 꾀할 수 있어 보다 세밀한 설정을 통해 관객들에게 거부감이 없이 사실감과 몰입감에 좀 더 집중할 수 있도록 뇌파수집장치, 표정수집장치, 음성수집장치 및 시선수집장치를 통해 관객별로 각각 다른 감정정보를 수집하여 이를 수치화하여 퍼지이론을 이용한 감정값과 시선의 좌표값을 통해 생성된 반응형 콘텐츠를 무대장치에 설치된 바람발생기, 의자진동기, 냄새발생기, 물분사기, 조명기 및 입체렌즈를 제어하여 관객별로 시각적인 효과뿐만 아니라 청각, 촉각, 후각 등 다양한 감각을 자극할 수 있도록 하고, 관객들의 성별, 연령별로 형성될 수 있는 감정정보, 감정값 및 시선의 좌표값을 로그저장모듈에 지속적으로 저장하여 생성한 빅데이터를 통해 향후 시나리오의 작성이나 상기 무대장치에 대한 설정값에 영향을 줄 수 있도록 하는 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템에 관한 것이다.
Description
본 발명은 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템에 관한 것으로서, 더욱 상세하게는 관객들에게 공연물에 대하여 보다 더 사실적으로 느낄 수 있도록 관객별로 개인화된 서비스로써, 관객들의 뇌파정보, 표정정보, 음성정보 및 시선정보를 수집하여 1차적인 분석을 통해 수치화하고, 수치화된 감정정보를 이용하여 퍼지이론을 이용하여 감정값과 시선정보를 통해 관리자에 의해 설정된 반응형 콘텐츠에 따라 무대장치에 설치된 다양한 기기들을 제어할 수 있도록 하여 관객에게 바람, 진동, 냄새, 물, 빛, 시각적 변화를 통해 시각적인 영상효과뿐만 아니라 청각, 촉각, 후각 등 다양한 인간의 감각을 자극할 수 있는 요소를 도입하여 관객별 공연물에 대한 몰입감을 높이고, 관객의 개인별 정보와 수치화된 뇌파정보, 표정정보, 음성정보, 시선정보 및 감정값을 이용하여 비슷한 성향을 가진 관객을 대상으로 한 시나리오 작성의 영향을 줄 수 있도록 하는 새로운 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템에 관한 것이다.
최근 영화, 연극, 콘서트 또는 뮤지컬 등 문화관련산업의 발전으로 인하여 관객들에게 보다 더 다양한 서비스를 제공하기 위하여 다채로운 내용상의 콘텐츠를 개발하여 제공하고 있으며, 나아가 내용상의 콘텐츠를 사람들에게 보다 더 잘 전달하기 위하여 영화관의 경우에는 3D를 적용한 극장을 넘어 4D를 적용하려는 움직임이 있다.
이렇게 관객들에게 보다 더 다양한 서비스를 통해 새로운 부가가치를 만들어내고 이를 통해 새로운 문화산업뿐만 아니라 다양한 장치산업에까지 영향을 미치고 있다.
최근에는 관객들 또는 시청자들에게 개인 맞춤형의 서비스를 제공할 수 있도록 콘텐츠의 개발에서부터 관객이 이용하는 장치에 이르기까지 개인화된 서비스를 제공하기 위한 연구가 많이 이루어지고 있다.
종래 등록특허번호 제10-1585830호 시청자 감정에 따른 스토리 전개 시스템 및 방법은 감정의 변화가 생길 수 있는 스토리 선택 포인트에서 감정에 따라 서로 다른 내용을 가지는 적어도 둘 이상의 시나리오들을 구비하는 스토리를 재생하고, 재생되는 이야기를 듣거나 보고 있는 시청자 눈의 눈동자의 움직임을 추적 및 분석하여 눈동자의 움직임에 따라 시청자의 감정을 판단하고, 스토리 선택 포인트에서 시청자의 감정에 대응하는 시나리오를 선택하여 이야기를 전개하는 시청자 감정에 따른 스토리 전개 시스템 및 방법에 관한 것이다.
종래의 특허는 관객 또는 시청자의 눈동자에서 나타나는 동공의 확대 및 축소, 흔들림 또는 이동 방향 등을 분석하여 스토리 선택 포인트에서 분석된 결과에 따라 서로 다른 내용을 가지는 적어도 둘 이상의 시나리오들을 구비하는 스토리를 재생하는 방법으로서 눈의 변화에 따른 분석결과만으로 시나리오를 선택하게 되어 관객 또는 시청자의 감정상 변화를 감지하지 못하는 문제가 있다.
종래 등록특허번호 제10-1434624호 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법은 영상 저작물에 대한 스토리 콘텐츠를 제공하는 콘텐츠 제공부(110), 콘텐츠 제공부(110)에 제공되는 콘텐츠를 디스플레이하는 디스플레이부(120), 디스플레이되는 스토리 콘텐츠를 감상하는 감상자의 긴장-이완 감성상태가 측정되는 감성상태 측정부(130), 콘텐츠 제공부(110)에서 제공되는 스토리 콘텐츠의 장면에 따라 감성상태 측정부(130)에서 측정되는 긴장-이완 감성상태를 분석하는 스토리 패턴 분석부(140) 및 분석 결과를 인쇄 또는 이미지로 표시하는 스토리패턴 표시부(150)를 포함한다. 이를 통해 작가는 추가적인 시나리오 작업에 도움을 얻고, 투자자는 투자에 대한 의사 결정에 도움을 얻을 수 있다.
하지만 종래 특허는 감성상태 측정부는 뇌파 분석, 생체 신호 분석 또는 안구 상태 분석 중 하나 이상의 분석을 통해 긴장 또는 이완의 감성상태가 측정하는 것으로 사용자가 긴장상태에 있는지 편안한 상태에 있는지를 구분하는 것으로 보다 더 다양한 사용자의 감정을 반영하는데 한계가 있다.
그리고 관객이나 시청자들에게 해당 콘텐츠에 대하여 느끼는 개인적인 감정을 보다 더 다양하게 측정하고, 측정된 데이터를 보다 더 정확한 분석을 통해 관객들에게 다양한 형태의 서비스를 제공하여 콘텐츠에 대하여 보다 더 몰입감을 줄 수 있을 기술의 필요성이 있다.
따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 공연물을 관람하는 고객들에게 공연물에 대한 사실감과 몰입감을 지속적으로 줄 수 있는 고객별로 개인화된 서비스를 제공하기 위하여 뇌파수집장치, 표정수집장치, 음성수집장치 및 시선수집장치를 통해 관객별로 각각 다른 감정정보를 수집하여 이를 수치화하여 퍼지이론을 이용한 감정값과 시선의 좌표값을 통해 생성된 반응형 콘텐츠를 무대장치에 설치된 바람발생기, 의자진동기, 냄새발생기, 물분사기, 조명기 및 입체렌즈를 제어하여 관객별로 시각적인 효과뿐만 아니라 청각, 촉각, 후각 등 다양한 감각을 자극할 수 있도록 하고, 관객들의 성별, 연령별로 형성될 수 있는 감정정보, 감정값 및 시선의 좌표값을 로그저장모듈에 지속적으로 저장하여 생성한 빅데이터를 통해 향후 시나리오의 작성이나 상기 무대장치에 대한 설정값에 영향을 줄 수 있도록 하는 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 관람하는 관객에게 헤드마운트 안경형태로 관객의 좌석정보와 신체정보를 수집하여 클라이언트(300)에 전송하는 감정수집장치(100);와 클라이언트(300)로부터 전송된 제어신호에 따라 관객들에게 반응형 콘텐츠를 제공하는 무대장치(200);와 상기 감정수집장치(100)로부터 관객의 좌석정보와 관객의 신체정보로부터 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 포함한 감정정보를 생성하여 서버(400)에 전송하며, 서버(400)로부터 감정결과에 따라 관객별로 반응형 콘텐츠에 따라 상기 무대장치(200)를 제어하는 클라이언트(300); 및 상기 클라이언트(300)로부터 수신되는 좌석정보를 통해 확인된 관객의 감정정보를 퍼지화하여 분석한 결과에 따라 관객별로 콘텐츠를 제공하기 위하여 감정분석결과에 따른 제어신호를 클라이언트(300)에 전송하는 서버(400);를 포함하는 구성으로 이루어지는 것을 특징으로 하는 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템을 제공한다.
이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치(100)는 관람하는 관객의 신체정보 중 뇌파를 측정한 뇌파정보를 수집하는 뇌파수집장치(110);와 관람하는 관객의 신체정보 중 얼굴의 표정정보를 수집하는 표정수집장치(120);와 관람하는 관객의 신체정보 중 음성정보를 수집하는 음성수집장치(130); 및 관람하는 관객의 신체정보 중 시선정보를 수집하는 시선수집장치(140);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치(200)는 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 바람이 나오는 바람발생기(210);와 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객의 의자를 진동시키는 의자진동기(220);와 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 냄새를 발생시키는 냄새발생기(230);와 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 물을 분사하는 물분사기(240);와 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 빛을 발사하는 조명기(250); 및 공연물을 관람하는 관객들의 시야 전면부에 착용하여 반응형 콘텐츠에 따라 관객에게 보여지는 영상의 변화를 제공하는 입체렌즈(260);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 클라이언트(300)는 상기 뇌파수집장치(110)로부터 전송된 관객의 뇌파정보를 측정한 주파수를 통해 분석한 뇌파수치를 클라이언트통신기(350)에 전송하는 뇌파분석기(310);와 상기 표정수집장치(120)로부터 전송된 관객의 얼굴의 표정으로부터 사용자의 감정상태를 분석한 표정수치를 클라이언트통신기(350)에 전송하는 표정분석기(320);와 상기 음성수집장치(130)로부터 전송된 관객의 음성정보를 분석하여 수치화한 음성수치를 클라이언트통신기(350)에 전송하는 음성분석기(330);와 상기 시선수집장치(140)로부터 전송된 관객의 시선정보를 분석하여 시선의 좌표값을 클라이언트통신기(350)에 전송하는 시선분석기(340);와 상기 뇌파분석기(310), 표정분석기(320), 음성분석기(330) 및 시선분석기(340)로부터 전송된 각 수치에 대한 데이터를 암호화하여 서버(400)에 전송하고, 상기 서버(400)로부터 전송된 반응형 콘텐츠 정보에 대한 데이터를 수신하여 복호화한 후, 무대장치제어기(370)에 전송하는 클라이언트통신기(350);와 상기 무대장치(200)에 포함된 각종 기기와 인터페이스를 수행하는 무대장치인터페이스(360); 및 상기 클라이언트통신기(350)를 통해 전송된 관객에 대한 좌석정보와 관객별 반응형 콘텐츠 정보에 따라 상기 무대장치인터페이스를 통해 무대장치(200)를 제어하는 제어신호를 전송하는 무대장치제어기(370);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치제어기(370)는 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 바람발생기(210)의 구동 및 바람의 세기를 제어하는 바람제어모듈(371);과 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 의자진동기(220)의 진동의 방향 및 세기를 제어하는 진동제어모듈(372);과 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 냄새발생기(230)의 구동 및 냄새의 종류를 제어하는 냄새제어모듈(373);과 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 물분사기(240)의 구동 및 물의 분사량과 분사세기를 제어하는 물분사제어모듈(374);과 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 조명기(250)의 구동 및 빛의 세기를 제어하는 조명제어모듈(375); 및 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 입체렌즈(260)의 구동 및 렌즈의 변화를 제어하는 렌즈제어모듈(376);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 서버(400)는 상기 공연물을 관람하기 위해 관객이 예매할 때 관객정보 및 좌석정보를 수신하는 공연예매기(410);와 관리자로부터 공연물의 종류에 따라 관객들에게 제공되는 반응형 콘텐츠의 종류와 공연물에 따라 관객들의 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값에 따라 생성되는 반응형 콘텐츠를 제공하는 규칙을 설정받아 저장하거나 수정할 수 있는 콘텐츠설정기(420);와 상기 클라이언트(300)로부터 암호화되어 전송된 관객의 좌석정보, 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 복호화하여 감정분석기(440)에 전송하고, 콘텐츠제공기(450)로부터 전송된 반응형 콘텐츠 정보에 대한 데이터를 암호화하여 상기 클라이언트(300)에 전송하는 서버통신기(430); 및 상기 서버통신기(430)로부터 전송된 좌석정보와 상기 공연예매기(410)로부터 전송된 좌석정보를 통해 관객정보를 확인하고, 해당 관객의 감정정보를 수신하여 퍼지화한 후, 분석된 감정결과에 따른 상기 콘텐츠설정기(420)에서 설정된 규칙에 따라 반응형 콘텐츠에 대한 데이터를 생성하여 서버통신기(430)에 전송하는 감정분석기(440);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정분석기(440)는 상기 서버통신기(430)로부터 전송된 좌석정보와 상기 공연예매기(410)로부터 전송된 좌석정보를 통해 확인된 관객정보와 감정정보에 포함된 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 로그저장모듈(442)와 퍼지모듈(443)에 전송하고, 상기 퍼지모듈(443)로부터 전송된 감정결과에 따라 상기 콘텐츠설정기(420)에서 설정된 규칙에 의한 반응형 콘텐츠에 대한 데이터를 생성하여 좌석정보와 상기 서버통신기(430)에 전송하는 감정분석모듈(441);과 상기 감정분석모듈(441)로부터 전송된 관객의 개인정보와 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값 및 퍼지모듈(443)로부터 전송된 관객의 감정(긴장도)값을 저장하는 로그저장모듈(442);과 상기 감정분석모듈(441)로부터 전송된 관객의 뇌파수치, 표정수치, 음성수치 에 대하여 퍼지알고리즘을 적용하여 퍼지화된 데이터를 비퍼지화를 통해 사용자의 감정(긴장도)값을 추론하여 상기 감정분석모듈(441)과 로그저장모듈(442)에 전송하는 퍼지모듈(443); 및 상기 로그저장모듈(442)에 저장된 관객별 뇌파수치, 표정수치, 음성수치, 시선의 좌표값 및 감정값을 기반으로 시나리오작가에게 공연물별 관객들의 특성을 확인할 수 있도록 하는 관객감정제공모듈(444);를 포함하는 구성으로 이루어지는 것을 특징으로 한다.
본 발명에 의한 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템에 의하면, 종래의 관객들이 공연물을 시청하는데 있어, 영화나 연극, 뮤지컬, 오페라 등 연출자가 관객들에게 제공하고자 하는 내용을 시각적으로 제공하던 것과 달리 관객들에게 공연물에 대하여 관객별로 발생하는 반응에 대하여 실시간으로 감정정보 등을 수집하여 시각뿐만 아니라 청각, 촉각, 후각 등 다양한 감각을 자극할 수 있는 개인화된 서비스를 제공하여 관객별로 공연물에 대한 사실감 및 몰입감을 증대시키고, 관객들의 성별, 연령별로 형성될 수 있는 유사한 감정적인 변화에 대한 빅데이터를 통해 향후 비슷한 성향을 가진 관객을 위한 시나리오의 작성에 중요한 자료를 제공할 수 있는 장점이 있으며, 또한 관리자가 반응형 콘텐츠에 대한 데이터를 설정하는데 있어, 상기 관리자의 설정에 따른 관객들이 느끼는 감정에 대한 빅데이터를 통해 해당 설정의 변화를 지속적으로 꾀할 수 있어 보다 세밀한 설정을 통해 관객들에게 거부감이 없이 사실감과 몰입감에 좀 더 집중할 수 있는 환경을 제공하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 구성도;
도 2는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치에 대한 구성도;
도 3은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치에 대한 예시도;
도 4는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 표정수집장치에 대한 예시도;
도 5는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치에 대한 구성도;
도 6은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 클라이언트에 대한 구성도;
도 7은 본 발명의 실시예에 따른 뇌파 수집장치로부터 수집된 뇌파의 종류와 그에 해당하는 주파수 및 일반적인 정신상태에 관한 예시도;
도 8은 본 발명의 실시예에 따른 뇌파분석기, 표정분석기 및 음성분석기에서 검출한 뇌파수치, 표정수치 및 음성수치에 관한 예시도;
도 9는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치제어기에 대한 구성도;
도 10은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 서버에 대한 구성도;
도 11은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정분석기에 대한 구성도;
도 12는 본 발명의 실시예에 따른 검출한 뇌파수치, 표정수치 및 음성수치를 퍼지화하는 예시도;
도 13은 발명의 실시예에 따른 감정분석모듈부터 전송된 퍼지화된 뇌파수치(EEG), 표정수치 및 음성수치를 이용한 감정상태추론과정에 관한 절차도;
도 14는 본 발명의 실시예에 따른 퍼지화 과정을 나타내는 구성도;
도 15는 본 발명의 실시예에 따른 퍼지화된 3가지 수치를 통합하여 감정(긴장도)값을 추론하여 출력하는 프로그램 예시도이다.
도 2는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치에 대한 구성도;
도 3은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치에 대한 예시도;
도 4는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 표정수집장치에 대한 예시도;
도 5는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치에 대한 구성도;
도 6은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 클라이언트에 대한 구성도;
도 7은 본 발명의 실시예에 따른 뇌파 수집장치로부터 수집된 뇌파의 종류와 그에 해당하는 주파수 및 일반적인 정신상태에 관한 예시도;
도 8은 본 발명의 실시예에 따른 뇌파분석기, 표정분석기 및 음성분석기에서 검출한 뇌파수치, 표정수치 및 음성수치에 관한 예시도;
도 9는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치제어기에 대한 구성도;
도 10은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 서버에 대한 구성도;
도 11은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정분석기에 대한 구성도;
도 12는 본 발명의 실시예에 따른 검출한 뇌파수치, 표정수치 및 음성수치를 퍼지화하는 예시도;
도 13은 발명의 실시예에 따른 감정분석모듈부터 전송된 퍼지화된 뇌파수치(EEG), 표정수치 및 음성수치를 이용한 감정상태추론과정에 관한 절차도;
도 14는 본 발명의 실시예에 따른 퍼지화 과정을 나타내는 구성도;
도 15는 본 발명의 실시예에 따른 퍼지화된 3가지 수치를 통합하여 감정(긴장도)값을 추론하여 출력하는 프로그램 예시도이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부된 도면 도 1 내지 도 15에 의거하여 상세히 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 통상적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 한편, 도면과 상세한 설명에서 뇌파측정, 표정수치, 음성수치 및 퍼지이론 등 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히, 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
이하, 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 구성도이다.
도 1에 도시된 바와 같이, 반응형 콘텐츠 제공 시스템은 감정수집장치(100), 무대장치(200), 클라이언트(300) 및 서버(400)를 포함하는 구성으로 이루어진다.
도 2는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치에 대한 구성도이고, 도 3은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정수집장치에 대한 예시도이다.
도 2 및 도 3에 도시된 바와 같이, 감정수집장치(100)는 뇌파수집장치(110), 표정수집장치(120), 음성수집장치(130) 및 시선수집장치(140)를 포함하는 구성으로 이루어진다. 감정수집장치(100)는 관람하는 관객의 머리에 씌워지고, 전방을 볼 수 있는 헤드마운트 안경형태로 관객의 좌석정보와 신체정보를 수집하여 클라이언트(300)에 전송한다.
뇌파수집장치(110)는 관람하는 관객의 신체정보 중 뇌파를 측정한 뇌파정보를 수집한다. 뇌파수집장치(110)는 관객이 사용하고 있는 감정수집장치(100)에서 머리와 가장 가까운 위치에 뇌파측정기 등을 이용하여 측정한 뇌파정보를 수집한다.
도 4는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 표정수집장치에 대한 예시도이다.
도 4에 도시된 바와 같이, 표정수집장치(120)는 관람하는 관객의 신체정보 중 얼굴의 표정정보를 수집한다. 표정수집장치(120)는 관객에 대하여 카메라 등의 영상장치를 이용하여 관객들의 얼굴에 나타나는 표정정보를 수집한다.
음성수집장치(130)는 관람하는 관객의 신체정보 중 음성정보를 수집한다. 음성수집장치(130)는 관객이 사용하고 있는 감정수집장치(100)에 부착되거나 별도의 마이크 등의 음성녹음장치를 이용하여 관객이 공연물을 보면서 발생하는 음성정보를 수집한다. 음성수집장치(130)에서 수집되는 음성정보에는 웃음, 비명 또는 흐느낌등과 같이 용이하게 관객의 감정을 확인할 수 있다.
시선수집장치(140)는 관람하는 관객의 신체정보 중 시선정보를 수집한다. 시선수집장치(140)는 관객별로 카메라 등의 영상장치를 통해 관객의 눈동자의 위치에 대한 정보를 수집한다.
도 5는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치에 대한 구성도이다.
도 5에 도시된 바와 같이, 무대장치(200)는 바람발생기(210), 의자진동기(220), 냄새발생기(230), 물분사기(240), 조명기(250) 및 입체렌즈(260)를 포함하는 구성으로 이루어진다. 무대장치(200)는 클라이언트(300)로부터 전송된 제어신호에 따라 관객들에게 반응형 콘텐츠를 제공한다.
무대장치(200)에서 제공되는 반응형 콘텐츠에는 관객별로 관객이 착석한 의자 등에 부착되거나 별도의 설비를 통해 바람, 진동, 냄새, 물, 빛 또는 관객이 관람을 위해 착용한 입체렌즈의 변화가 있다. 따라서 무대장치(200)는 관객들에게 3D 영상을 공연장에 입체 영상으로 구현하여 사실감을 극대화할 수 있도록 시각적 영상 효과뿐만 아니라 청각, 촉각, 후각 등 다양한 인간의 감각을 자극하는 요소를 도입하여 관객의 극중 몰입도를 높이고자 하는 기술적 요소들을 장치이다.
바람발생기(210)는 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 바람을 나오게 한다. 바람발생기(210)는 압축된 공기를 내뿜어 바람, 충격파와 같은 효과와 약한 바람으로 산들바람, 날개짓 등의 효과를 느낄 수 있으므로 얼굴이나 목 부위에 바람의 양과 세기를 조정하여 발생시켜 상기의 효과를 재현할 수 있다.
의자진동기(220)는 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객의 의자를 진동시킨다. 의자진동기(220)는 객석이나 의자에 장착되어 천둥, 번개, 지진이 일어나는 장면에서 효과음에 맞춰 진동의 강약 및 주기를 조절하여 효과를 발생시킬 수 있다.
냄새발생기(230)는 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 냄새를 발생시킨다. 냄새발생기(230)는 꽃밭이나 전쟁터 등과 같은 곳에서 꽃향기 또는 화약냄새와 같이 냄새나 향기를 일으켜 관객이 실제 공연물 속 장면안에 있는 듯한 느낌을 재현할 수 있다.
물분사기(240)는 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 물을 분사한다. 물분사기(240)는 미세한 물 입자를 관객에게 튀듯이 분사해 캐릭터가 재채기하거나 물을 튀기는 장면을 관객이 느낄 수 있다.
조명기(250)는 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 빛을 발사한다. 조명기(250)는 공연장의 천장이나 벽에 설치된 조명을 활용하여 번개가 칠 때 공연장의 천장에서 불빛이 번쩍이는 등의 효과를 이용할 수 있다.
입체렌즈(260)는 공연물을 관람하는 관객들의 시야 전면부에 착용하여 반응형 콘텐츠에 따라 관객에게 보여지는 영상의 변화를 제공한다. 입체렌즈(260)는 홀로렌즈, 3D 안경과 같이 최근에 입체영상을 출력하는데 사용되는 HMD(Head Mounting Display)형태로 관객의 머리에 착용하여 영상을 볼 때 생성되는 렌즈의 시야각이나 렌즈의 변색 등으로 화면 전체의 느낌을 변경할 수 있다.
그리고 상기의 다양한 무대장치(200)들의 조합을 통해서, 예를 들어 관객에게 쥐나 다람쥐가 등장할 때 다리에 간지러움을 느낄 수 있도록 바람과 진동의 조합을 통해 관객의 다리 또는 엉덩이 등과 같은 부위에 간지럼을 느낄 수 있도록 조절할 수 있다.
도 6은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 클라이언트에 대한 구성도이다.
도 6에 도시된 바와 같이, 클라이언트(300)는 뇌파분석기(310), 표정분석기(320), 음성분석기(330), 시선분석기(340), 클라이언트통신기(350), 무대장치인터페이스(360) 및 무대장치제어기(370)를 포함하는 구성으로 이루어진다.
클라이언트(300)는 상기 감정수집장치(100)로부터 관객의 좌석정보와 관객의 신체정보로부터 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 포함한 감정정보를 생성하여 서버(400)에 전송하며, 서버(400)로부터 감정결과에 따라 관객별로 반응형 콘텐츠에 따라 상기 무대장치(200)를 제어한다.
도 7은 본 발명의 실시예에 따른 뇌파 수집장치로부터 수집된 뇌파의 종류와 그에 해당하는 주파수 및 일반적인 정신상태에 관한 예시도이다.
도 7에 도시된 바와 같이, 뇌파분석기(310)는 상기 뇌파수집장치(110)로부터 전송된 관객의 뇌파정보를 측정한 주파수를 통해 분석한 뇌파수치를 보안매니저(350)에 전송한다. 뇌파의 종류에는 깊은 수면인 델타파, 졸음 상태 또는 얕은 수면상태의 세타파, 긴장이 이완되고, 안정된 상태인 알파파, 긴장과 스트레스가 없이 문제를 쉽게 해결하고 있는 SMR파, 집중력이 최고이며, 긴장, 불안 또는 흥분상태인 베타파로 분류된다.
표정분석기(320)는 상기 표정수집장치(120)로부터 전송된 관객의 얼굴의 표정으로부터 사용자의 감정상태를 분석한 표정수치를 보안매니저(350)에 전송한다. 표정분석기(320)는 얼굴표정에는 이마에 주름살이 지거나 입술을 굳게 다물거나 눈이 커지는 등 다양한 표정에서 두려움에 대한 얼굴표정을 중심으로 수치가 높을수록 긴장도 점수가 올라간다.
예를 들어, 얼굴표정에 대하여 마이크로소프트사에서 제공하는 감정 API에서는 [표 1]과 같이, 두려움에 관한 표정에 대하여 값을 제시하고 있다.
| 감정 | 수치 |
| 분노 | 0.0000 |
| 경멸 | 0.0000 |
| 역겨움 | 0.0000 |
| 두려움 | 0.9500 |
| 행복 | 0.0000 |
| 중립 | 0.0400 |
| 슬픔 | 0.0000 |
| 놀람 | 0.0100 |
음성분석기(330)는 상기 음성수집장치(130)로부터 전송된 관객의 음성정보를 분석하여 수치화한 음성수치를 보안매니저(350)에 전송한다. 음성분석기(330)는 공연물을 관람하는 관객의 발성의 높이 및 속도, 발음간의 길이, 의성어 표현 등 감정을 추출할 수 있는 요소에 따른 음성정보를 분석하여 수치화한 음성수치를 감정인지모듈(125)에 전송한다.
도 8은 본 발명의 실시예에 따른 뇌파분석기, 표정분석기 및 음성분석기에서 검출한 뇌파수치, 표정수치 및 음성수치에 관한 예시도이다.
도 8에 도시된 바와 같이, 뇌파분석기(310), 표정분석기(320) 및 음성분석기(330)로부터 검출하여 수치화된 뇌파수치(EEG, electroencephalography), 표정수치(FACE), 음성수치(VOICE)가 결정된다.
시선분석기(340)는 상기 시선수집장치(140)로부터 전송된 관객의 시선정보를 분석하여 시선의 좌표값을 클라이언트통신기(350)에 전송한다. 관객의 시선정보를 영상장치를 통해 파악한 후, 관객의 좌석정보로부터 시선정보를 통해 얻은 관객이 공연물을 바라보고 있는 시선의 좌표값을 산출할 수 있다. 시선분석기(340)는 산출된 시건의 좌표값을 감정인지모둘(350)에 전송한다.
클라이언트통신기(350)는 상기 뇌파분석기(310), 표정분석기(320), 음성분석기(330) 및 시선분석기(340)로부터 전송된 각 수치에 대한 데이터를 암호화하여 서버(400)에 전송한다. 그리고 클라이언트통신기(350)는 상기 서버(400)로부터 전송된 반응형 콘텐츠 정보에 대한 데이터를 수신하여 복호화한 후, 무대장치제어기(370)에 전송한다.
무대장치인터페이스(360)는 상기 무대장치(200)에 포함된 각종 기기와 인터페이스를 수행한다. 상기 무대장치(200)에 설치된 바람발생기(210), 의자진동기(220), 냄새발생기(230), 물분사기(240), 조명기(250) 및 입체렌즈(260)와 유선 또는 무선을 이용하여 접속한다. 그리고 무대장치(200)에 언급되지 않은 공연물을 관객에게 보여주기 위한 스크린이나 스피커와 같은 다른 장치들과도 인터페이스할 수 있다.
따라서 상기 무대장치제어기(370)로부터 발생한 제어신호를 수신하여 무대장치(200)별로 전송하고, 상기 무대장치(200)별 상태값을 무대장치제어기(370)에 전송할 수 있다.
도 9는 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 무대장치제어기에 대한 구성도이다.
도 9에 도시된 바와 같이, 무대장치제어기(370)는 바람제어모듈(371), 진동제어모듈(372), 냄새제어모듈(373), 물분사제어모듈(374), 조명제어모듈(375) 및 렌즈제어모듈(376)을 포함하는 구성으로 이루어진다.
무대장치제어기(370)는 상기 클라이언트통신기(350)를 통해 전송된 관객에 대한 좌석정보와 관객별 반응형 콘텐츠 정보에 따라 상기 무대장치인터페이스를 통해 무대장치(200)를 제어하는 제어신호를 전송한다.
바람제어모듈(371)은 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 바람발생기(210)의 구동 및 바람의 세기를 제어한다. 바람제어모듈(371)은 상기 바람발생기(210)에 설치된 압축된 공기를 분사하는 노즐의 크기를 조절하여 바람의 양과 세기를 제어할 수 있다.
진동제어모듈(372)은 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 의자진동기(220)의 진동의 방향 및 세기를 제어한다. 진동제어모듈(372)은 관객이 착석한 의자에 설치된 상기 의자진동기(220)에 대한 진동의 강약 및 주기를 제어한다.
냄새제어모듈(373)은 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 냄새발생기(230)의 구동 및 냄새의 종류를 제어한다. 냄새제어모듈(373)은 냄새발생기(230)에 설치된 다양한 냄새의 종류를 선택하고, 냄새를 발생시키는 물질의 양을 조정하며, 관객의 코에 가까운 방향으로 분사될 수 있도록 제어한다.
물분사제어모듈(374)은 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 물분사기(240)의 구동 및 물의 분사량과 분사세기를 제어한다. 물분사제어모듈(374)은 반응형 콘텐츠 정보에 따라 물의 분사량과 분사세기뿐만 아니라 분사되는 방향도 제어할 수 있다.
조명제어모듈(375)은 상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 조명기(250)의 구동 및 빛의 세기를 제어한다. 조명제어모듈(375)은 관객별로 반응형 콘텐츠 정보에 따라 조명기(250)를 구동하여 해당 관객이나 관객 무리의 방향으로 빛을 발사하거나, 번개의 효과인 경우에는 빛의 세기를 강하게 하는 등을 제어한다.
렌즈제어모듈(376)은 상기 클라이언트통신기(35)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 입체렌즈(260)의 구동 및 렌즈의 변화를 제어한다.
도 10은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 서버에 대한 구성도이다.
도 10에 도시된 바와 같이, 서버(400)는 공연예매기(410), 콘텐츠설정기(420), 서버통신기(430) 및 감정분석기(440)를 포함하는 구성으로 이루어진다.
공연예매기(410)는 상기 공연물을 관람하기 위해 관객이 예매할 때 관객정보 및 좌석정보를 수신한다. 공연예매기(410)의 좌석정보는 고객이 예매를 하거나 표를 구입할 때 선택한 좌석의 정보이다. 공연예매기(410)에서 입력받는 관객정보는 관객의 이름뿐만 아니라 시나리오의 작성이나 무대장치의 표현을 위해서 추가적으로 키, 몸무게. 시력, 나이, 성별 등이 포함될 수 있다.
콘텐츠설정기(420)는 관리자로부터 공연물의 종류에 따라 관객들에게 제공되는 반응형 콘텐츠의 종류와 공연물에 따라 관객들의 뇌파수치(EEG), 표정수치(FACE), 음성수치(VOICE) 및 시선의 좌표값에 따라 생성되는 반응형 콘텐츠를 제공하는 규칙을 설정받아 저장하거나 수정한다. 콘텐츠설정기(420)는 상기 클라이언트통신기(350)와 서버통신기(430)간에 데이터를 송신 및 수신에 필요한 암호화 및 복호화로 이용되는 보안알고리즘, 예를 들어 SEED나 AES(Advanced Encryption Standard) 등 콘텐츠 제공 시스템을 운영하는데 필요한 설정을 수행할 수 있다.
서버통신기(430)는 상기 클라이언트(300)로부터 암호화되어 전송된 관객의 좌석정보, 뇌파수치(EEG), 표정수치(FACE), 음성수치(VOICE) 및 시선의 좌표값을 복호화하여 감정분석기(440)에 전송한다. 서버통신기(430)는 감정분석기(440)로부터 전송된 반응형 콘텐츠 정보에 대한 데이터를 암호화하여 상기 클라이언트(300)에 전송한다.
도 11은 본 발명의 실시예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 감정분석기에 대한 구성도이다.
도 11에 도시된 바와 같이, 감정분석기(440)는 감정분석모듈(441), 로그저장모듈(442), 퍼지모듈(443) 및 관객감정제공모듈(444)을 포함하는 구성으로 이루어진다. 감정분석기(440)는 상기 서버통신기(430)로부터 전송된 좌석정보와 상기 공연예매기(410)로부터 전송된 좌석정보를 통해 관객정보를 확인한다.
감정분석기(440)는 상기 서버통신기(430)로부터 전송된 해당 관객의 감정정보를 수신하여 퍼지화한 후, 분석된 감정결과에 따른 상기 콘텐츠설정기(420)에서 설정된 규칙에 따라 반응형 콘텐츠에 대한 데이터를 생성하여 서버통신기(430)에 전송한다.
감정분석모듈(441)은 상기 서버통신기(430)로부터 전송된 좌석정보와 상기 공연예매기(410)로부터 전송된 좌석정보를 통해 확인된 관객정보와 감정정보에 포함된 뇌파수치(EEG), 표정수치(FACE), 음성수치(VOICE) 및 시선의 좌표값을 로그저장모듈(442)와 퍼지모듈(443)에 전송한다.
감정분석모듈(441)은 상기 퍼지모듈(443)로부터 전송된 감정결과에 따라 상기 콘텐츠설정기(420)에서 설정된 규칙에 의한 반응형 콘텐츠에 대한 데이터를 생성하여 좌석정보와 상기 서버통신기(430)에 전송한다.
로그저장모듈(442)은 상기 감정분석모듈(441)로부터 전송된 관객의 개인정보와 뇌파수치(EEG), 표정수치(FACE), 음성수치(VOICE) 및 시선의 좌표값 및 퍼지모듈(443)로부터 전송된 관객의 감정(긴장도)값을 저장한다.
로그저장모듈(232)에 저장된 내용은 동일한 관객의 동일한 공연물에 대하여 뇌파수치(EEG), 표정수치(FACE) 및 음성수치(VOICE)에 대한 정보를 지속적으로 업데이트하여 사용자 개인별로 가지고 있는 차이에 따른 특성에 적응할 수 있도록 개인화를 수행한다. 예를 들어 아이디와 패스워드를 통해 확인된 특정 사용자의 베타파의 범위가 일반적인 14~30Hz보다 높은 25~30Hz인 경우에는 베타파의 설정범위를 25~30Hz로 수정한다.
도 12는 본 발명의 실시예에 따른 검출한 뇌파수치, 표정수치 및 음성수치를 퍼지화하는 예시도이다.
도 12에 도시된 바와 같이, 퍼지모듈(443)은 상기 감정분석모듈(441)로부터 전송된 관객의 뇌파수치, 표정수치, 음성수치 에 대하여 퍼지알고리즘을 적용하여 퍼지화된 데이터를 비퍼지화를 통해 사용자의 감정(긴장도)값을 추론하여 상기 감정분석모듈(441)과 로그저장모듈(442)에 전송한다.
퍼지모듈(443)은 뇌파수치를 LOW, MIDDLE, HIGH로 구분하고, 그 구분된 범위를 다시 3등분하여 LOW[0 3 6], MIDDLE[6 10 14], HIGH[14 30 44]값으로 퍼지화한다. 그리고 퍼지모듈(443)은 얼굴표정에 대해서도 LOW, MIDDLE, HIGH로 구분하고, 그 구분된 범위를 다시 3등분하여 LOW[0.0 0.3 0.6], MIDDLE[0.61 0.75 0.89], HIGH[0.9 0.95 1.0]값으로 퍼지화한다.
퍼지모듈(443)은 음성의 변화를 LOW, MIDDLE, HIGH로 구분하고, 그 구분된 범위를 다시 3등분하여 LOW[0 20 40], MIDDLE[41 50 60], HIGH[61 80 100]값으로 퍼지화한다.
도 13은 본 발명의 실시예에 따른 감정분석모듈부터 전송된 퍼지화된 뇌파수치(EEG), 표정수치 및 음성수치를 이용한 감정상태추론과정에 관한 절차도이고, 도 14는 본 발명의 실시예에 따른 퍼지화 과정을 나타내는 구성도이다.
도 13 및 도 14에 도시된 바와 같이, 퍼지모듈(443)은 상기 감정분석모듈(441)로부터 전송된 인증을 수행하는 사용자의 뇌파수치(EEG), 표정수치(FACE) 및 음성수치(VOICE)에 대한 퍼지화된 데이터를 바탕으로 퍼지알고리즘을 적용하여 인증 사용자의 감정(긴장도)값을 추론하여 상기 감정분석모듈(441)과 로그저장모듈(442)에 전송한다.
퍼지모듈(443)에서 먼저 각 뇌파수치(EEG), 표정수치(FACE) 및 음성수치(VOICE)에 대하여 퍼지화를 수행한다. 그리고 퍼지추론 방법으로서 Mamdani 추론에 의해 퍼지연산자로 AND 연산자를 적용하고, 퍼지관계연산자로 MIN을 이용하여 규칙 평가를 수행한다. 그리고 전체 출력값을 통합하기 위하여 MAX 연산자를 이용한 후, 최종적으로 비퍼지화를 통해 감정(긴장도)값을 추론한다.
퍼지모듈(443)은 상기 퍼지화된 뇌파수치(EEG), 표정수치(FACE) 및 음성수치(VOICE)를 분석하기 위하여 특정 상태 집합에 어느 정도 포함되는지를 정의한 퍼지화는 [수학식 1]과 같이, 퍼지 소속도 함수를 사용한다.
[수학식 1]
여기서 
: 환경 변수 x의 상태이고, 
: 상태에 대한 퍼지 소속도 함수이다.
예를 들면, 어떤 집합 X에 있어서 퍼지 소속도 함수 A란, 멤버쉽 함수(membership funtion) μA(X)에 의해 특정되어진 집합이다. 이때, μA(X): X→[0,1]이다. 또한, 원소 x∈X에 대한 값 μA(X)∈[0,1]은 x가 퍼지 집합 A에 속하는 정도로 멤버쉽 함수가 1에 가까우면 x가 A에 속하는 정도가 높다는 것을 나타내고, 반대로 0에 가까우면 낮다는 것을 나타낸다.
그리고 입력변수는 뇌파수치(EEG)로 LOW[0 3 6], MIDDLE[6 10 14], HIGH[14 30 44]이고, 표정수치(FACE)로 LOW[0.0 0.3 0.6], MIDDLE[0.61 0.75 0.89], HIGH[0.9 0.95 1.0]이며, 음성수치(VOICE)로 LOW[0 20 40], MIDDLE[41 50 60], HIGH[61 80 100]를 사용하며, 출력되는 출력변수는 인증을 수행하는 사용자의 감정(긴장도)로 LOW[0 0 0.2 0.25], MIDDLE[0.25 0.5 0.75], HIGH[0.76 0.8 1]이다.
도 15는 본 발명의 실시예에 따른 퍼지화된 3가지 수치를 통합하여 감정(긴장도)값을 추론하여 출력하는 프로그램 예시도이다.
도 15에 도시된 바와 같이, 퍼지모듈(443)은 상기 뇌파수치, 표정수치 및 음성수치로부터 퍼지화한 후, 이들의 조합에 의한 감정(긴장도)값을 추론하여 나온 결과를 상기 감정분석모듈(441)과 로그저장모듈(442)에 전송한다.
예를 들어, 상기 퍼지모듈(443)에서 뇌파 기반의 감성 정보(평온 상태/ 집중 상태)를 뇌파의 주파수 범위로 파악하고, 추가적으로 관객의 시선정보로부터 관심대상의 몰입 정도와 관객의 웃음이나 비명과 같은 음성 정보를 이용하여 뇌파수치가 0.5Hz ~ 7Hz이고, 음성수치가 낮아 조요하면 지루한 감정상태, 뇌파수치가 8Hz ~ 14Hz이고, 음성수치가 웃음소리가 높으면 평온함, 뇌파수치가 14Hz ~30Hz로 베타파이고, 음성수치가 비명소리로 매우 높으면 놀람의 감정을 판별할 수 있다.
이와 같이, 상기 퍼지모듈(443)에서 관객의 감성 상태인 지루함, 평온함, 즐거움, 놀람과 시선정보로부터 관심 있는 대상 정보를 조합해서 지루한 상황에서 관객이 공연물에서 꽃을 중점적으로 본다면, 상기 감정분석모듈(441)에서 사전에 설정된 규칙에 따라 냄새제어모듈(373)을 이용하여 냄새발생기(230)에서 꽃향기를 분사하거나, 관객이 공연물에서 폭포를 중점적으로 집중해서 본다면 상기 감정분석모듈(441)에서 사전에 설정된 규칙에 따라 냄새제어모듈(373)과 물분사제어모듈(374)을 통해 냄새발생기(230)에서 물냄새와 물분사기(240)에서 물을 함께 뿌려 주는 등의 사전에 정의된 설정에 따라서 공연물에 대한 몰입도를 향상 시킬 수 있다.
관객감정제공모듈(444)은 상기 로그저장모듈(442)에 저장된 관객별 뇌파수치, 표정수치, 음성수치, 시선의 좌표값 및 감정값을 기반으로 시나리오작가에게 공연물별 관객들의 특성을 확인할 수 있도록 한다. 관객감정제공모듈(444)은 상기 로그저장모듈(442)에 저장된 관객정보를 통해 공연물을 관람하는 관객들의 공연 중 발생하는 관객들의 관객의 뇌파수치, 표정수치, 음성수치 및 시선 분석을 전체적으로 모니터링해서 향후에 시나리오 작성 및 개선에 활용할 수 있다.
상술한 바와 같은, 본 발명의 실시 예에 따른 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템의 바람직한 실시예에 대하여 상기한 설명 및 도면에 따라 도시하였지만, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 예를 들어 설명한 것에 불과하며, 본 발명의 범위를 한정하고자 하는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다른 변형 예들과 같이 다양한 변화 및 변경이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.
100 : 감정수집장치 110 : 뇌파수집장치
120 : 표정수집장치 130 : 음성수집장치
140 : 시선수집장치 200 : 무대장치
210 : 바람발생기 220 : 의자진동기
230 : 냄새발생기 240 : 물분사기
250 : 조명기 260 : 입체렌즈
300 : 클라이언트 310 : 뇌파분석기
320 : 표정분석기 330 : 음성분석기
340 : 시선분석기 350 : 클라이언트통신기
360 : 무대장치인터페이스 370 : 무대장치제어기
371 : 바람제어모듈 372 : 진동제어모듈
373 : 냄새제어모듈 374 : 물분사제어모듈
375 : 조명제어모듈 376 : 렌즈제어모듈
400 : 서버 410 : 공연예매기
420 : 콘텐츠설정기 430 : 서버통신기
440 : 감정분석기 441 : 감정분석모듈
442 : 로그저장모듈 443 : 퍼지모듈
444 : 관객감정제공모듈
120 : 표정수집장치 130 : 음성수집장치
140 : 시선수집장치 200 : 무대장치
210 : 바람발생기 220 : 의자진동기
230 : 냄새발생기 240 : 물분사기
250 : 조명기 260 : 입체렌즈
300 : 클라이언트 310 : 뇌파분석기
320 : 표정분석기 330 : 음성분석기
340 : 시선분석기 350 : 클라이언트통신기
360 : 무대장치인터페이스 370 : 무대장치제어기
371 : 바람제어모듈 372 : 진동제어모듈
373 : 냄새제어모듈 374 : 물분사제어모듈
375 : 조명제어모듈 376 : 렌즈제어모듈
400 : 서버 410 : 공연예매기
420 : 콘텐츠설정기 430 : 서버통신기
440 : 감정분석기 441 : 감정분석모듈
442 : 로그저장모듈 443 : 퍼지모듈
444 : 관객감정제공모듈
Claims (7)
- 관람하는 관객의 신체정보 중 뇌파를 측정한 뇌파정보를 수집하는 뇌파수집장치(110)와, 관람하는 관객의 신체정보 중 얼굴의 표정정보를 수집하는 표정수집장치(120)와 관람하는 관객의 신체정보 중 음성정보를 수집하는 음성수집장치(130) 및 관람하는 관객의 신체정보 중 시선정보를 수집하는 시선수집장치(140);를 포함하는 구성으로 이루어지고, 관람하는 관객에게 헤드마운트 안경형태로 관객의 좌석정보와 신체정보를 수집하여 클라이언트(300)에 전송하는 감정수집장치(100);
공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 바람이 나오는 바람발생기(210)와, 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객의 의자를 진동시키는 의자진동기(220)와, 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 냄새를 발생시키는 냄새발생기(230)와, 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 물을 분사하는 물분사기(240)와, 공연물을 관람하는 관객들이 착석하는 좌석별로 반응형 콘텐츠에 따라 관객에게 빛을 발사하는 조명기(250) 및 공연물을 관람하는 관객들의 시야 전면부에 착용하여 반응형 콘텐츠에 따라 관객에게 보여지는 영상의 변화를 제공하는 입체렌즈(260);를 포함하는 구성으로 이루어지고, 클라이언트(300)로부터 전송된 제어신호에 따라 관객들에게 반응형 콘텐츠를 제공하는 무대장치(200);
상기 뇌파수집장치(110)로부터 전송된 관객의 뇌파정보를 측정한 주파수를 통해 분석한 뇌파수치를 클라이언트통신기(350)에 전송하는 뇌파분석기(310)와, 상기 표정수집장치(120)로부터 전송된 관객의 얼굴의 표정으로부터 사용자의 감정상태를 분석한 표정수치를 클라이언트통신기(350)에 전송하는 표정분석기(320)와, 상기 음성수집장치(130)로부터 전송된 관객의 음성정보를 분석하여 수치화한 음성수치를 클라이언트통신기(350)에 전송하는 음성분석기(330)와, 상기 시선수집장치(140)로부터 전송된 관객의 시선정보를 분석하여 시선의 좌표값을 클라이언트통신기(350)에 전송하는 시선분석기(340)와, 상기 뇌파분석기(310), 표정분석기(320), 음성분석기(330) 및 시선분석기(340)로부터 전송된 각 수치에 대한 데이터를 암호화하여 서버(400)에 전송하고, 상기 서버(400)로부터 전송된 반응형 콘텐츠 정보에 대한 데이터를 수신하여 복호화한 후, 무대장치제어기(370)에 전송하는 클라이언트통신기(350)와, 상기 무대장치(200)에 포함된 각종 기기와 인터페이스를 수행하는 무대장치인터페이스(360) 및 상기 클라이언트통신기(350)를 통해 전송된 관객에 대한 좌석정보와 관객별 반응형 콘텐츠 정보에 따라 상기 무대장치인터페이스를 통해 무대장치(200)를 제어하는 제어신호를 전송하는 무대장치제어기(370);를 포함하는 구성으로 이루어지고, 상기 감정수집장치(100)로부터 관객의 좌석정보와 관객의 신체정보로부터 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 포함한 감정정보를 생성하여 서버(400)에 전송하며, 서버(400)로부터 감정결과에 따라 관객별로 반응형 콘텐츠에 따라 상기 무대장치(200)를 제어하는 클라이언트(300); 및
공연물을 관람하기 위해 관객이 예매할 때 관객정보 및 좌석정보를 수신하는 공연예매기(410)와, 관리자로부터 공연물의 종류에 따라 관객들에게 제공되는 반응형 콘텐츠의 종류와 공연물에 따라 관객들의 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값에 따라 생성되는 반응형 콘텐츠를 제공하는 규칙을 설정받아 저장하거나 수정할 수 있는 콘텐츠설정기(420)와, 상기 클라이언트(300)로부터 암호화되어 전송된 관객의 좌석정보, 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 복호화하여 감정분석기(440)에 전송하고, 감정분석기(440)로부터 전송된 반응형 콘텐츠 정보에 대한 데이터를 암호화하여 상기 클라이언트(300)에 전송하는 서버통신기(430) 및 상기 서버통신기(430)로부터 전송된 좌석정보와 상기 공연예매기(410)로부터 전송된 좌석정보를 통해 관객정보를 확인하고, 해당 관객의 감정정보를 수신하여 퍼지화한 후, 분석된 감정결과에 따른 상기 콘텐츠설정기(420)에서 설정된 규칙에 따라 반응형 콘텐츠에 대한 데이터를 생성하여 서버통신기(430)에 전송하는 감정분석기(440)를 포함하는 구성으로 이루어지고, 상기 클라이언트(300)로부터 수신되는 좌석정보를 통해 확인된 관객의 감정정보를 퍼지화하여 분석한 결과에 따라 관객별로 콘텐츠를 제공하기 위하여 감정분석결과에 따른 제어신호를 클라이언트(300)에 전송하는 서버(400);를 포함하되,
상기 감정분석기(440)는, 상기 서버통신기(430)로부터 전송된 좌석정보와 상기 공연예매기(410)로부터 전송된 좌석정보를 통해 확인된 관객정보와 감정정보에 포함된 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값을 로그저장모듈(442)와 퍼지모듈(443)에 전송하고, 상기 퍼지모듈(443)로부터 전송된 감정결과에 따라 상기 콘텐츠설정기(420)에서 설정된 규칙에 의한 반응형 콘텐츠에 대한 데이터를 생성하여 좌석정보와 상기 서버통신기(430)에 전송하는 감정분석모듈(441)와, 상기 감정분석모듈(441)로부터 전송된 관객의 개인정보와 뇌파수치, 표정수치, 음성수치 및 시선의 좌표값 및 퍼지모듈(443)로부터 전송된 관객의 감정(긴장도)값을 저장하는 로그저장모듈(442)과, 상기 감정분석모듈(441)로부터 전송된 관객의 뇌파수치, 표정수치, 음성수치 에 대하여 퍼지알고리즘을 적용하여 퍼지화된 데이터를 비퍼지화를 통해 사용자의 감정(긴장도)값을 추론하여 상기 감정분석모듈(441)과 로그저장모듈(442)에 전송하는 퍼지모듈(443) 및 상기 로그저장모듈(442)에 저장된 관객별 뇌파수치, 표정수치, 음성수치, 시선의 좌표값 및 감정값을 기반으로 시나리오작가에게 공연물별 관객들의 특성을 확인할 수 있도록 하는 관객감정제공모듈(444);을 포함하는 구성으로 이루어지는 것을 특징으로 하는 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템. - 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 무대장치제어기(370)는,
상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 바람발생기(210)의 구동 및 바람의 세기를 제어하는 바람제어모듈(371);
상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 의자진동기(220)의 진동의 방향 및 세기를 제어하는 진동제어모듈(372);
상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 냄새발생기(230)의 구동 및 냄새의 종류를 제어하는 냄새제어모듈(373);
상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 물분사기(240)의 구동 및 물의 분사량과 분사세기를 제어하는 물분사제어모듈(374);
상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 조명기(250)의 구동 및 빛의 세기를 제어하는 조명제어모듈(375); 및
상기 클라이언트통신기(350)를 통해 전송된 관객마다 전송되는 반응형 콘텐츠 정보에 따라 입체렌즈(260)의 구동 및 렌즈의 변화를 제어하는 렌즈제어모듈(376);을 포함하는 구성으로 이루어지는 것을 특징으로 하는 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180013376A KR101974130B1 (ko) | 2018-02-02 | 2018-02-02 | 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180013376A KR101974130B1 (ko) | 2018-02-02 | 2018-02-02 | 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101974130B1 true KR101974130B1 (ko) | 2019-04-30 |
Family
ID=66285559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180013376A KR101974130B1 (ko) | 2018-02-02 | 2018-02-02 | 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101974130B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102295432B1 (ko) * | 2020-03-04 | 2021-08-31 | (주)브이에이커뮤니케이션즈 | 미디어 아트 제공 시스템 |
| CN116522280A (zh) * | 2023-05-11 | 2023-08-01 | 深圳市恒必达电子科技有限公司 | 基于虚拟现实仿真采集的情绪分级识别方法及系统 |
| KR102564182B1 (ko) | 2023-04-12 | 2023-08-07 | 이가람 | 인공지능 모델을 활용하여 영상 데이터 기반 얼굴 표정 영상 추출 및 이를 활용한 콘텐츠 생성 방법, 장치 및 시스템 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005142975A (ja) * | 2003-11-10 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 視聴者反応情報収集システム及びその方法と、その視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム |
| KR100863280B1 (ko) * | 2008-01-15 | 2008-10-15 | (주)옴니레이저 | 영상, 음성과 특수 효과의 통합 제어장치 및 그 통합제어방법 |
| KR20110100060A (ko) * | 2010-03-03 | 2011-09-09 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법. |
| KR20110139614A (ko) * | 2010-06-23 | 2011-12-29 | 씨제이포디플렉스 주식회사 | 특수 효과 설비를 포함하는 영상물 상영 시설 |
| KR101434624B1 (ko) | 2012-03-30 | 2014-08-27 | 단국대학교 산학협력단 | 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법 |
| WO2014192457A1 (ja) * | 2013-05-30 | 2014-12-04 | ソニー株式会社 | クライアント装置、制御方法、システム、およびプログラム |
| KR101585830B1 (ko) | 2015-06-22 | 2016-01-15 | 이호석 | 시청자 감정에 따른 스토리 전개 시스템 및 방법 |
-
2018
- 2018-02-02 KR KR1020180013376A patent/KR101974130B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005142975A (ja) * | 2003-11-10 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 視聴者反応情報収集システム及びその方法と、その視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム |
| KR100863280B1 (ko) * | 2008-01-15 | 2008-10-15 | (주)옴니레이저 | 영상, 음성과 특수 효과의 통합 제어장치 및 그 통합제어방법 |
| KR20110100060A (ko) * | 2010-03-03 | 2011-09-09 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법. |
| KR20110139614A (ko) * | 2010-06-23 | 2011-12-29 | 씨제이포디플렉스 주식회사 | 특수 효과 설비를 포함하는 영상물 상영 시설 |
| KR101434624B1 (ko) | 2012-03-30 | 2014-08-27 | 단국대학교 산학협력단 | 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법 |
| WO2014192457A1 (ja) * | 2013-05-30 | 2014-12-04 | ソニー株式会社 | クライアント装置、制御方法、システム、およびプログラム |
| KR101585830B1 (ko) | 2015-06-22 | 2016-01-15 | 이호석 | 시청자 감정에 따른 스토리 전개 시스템 및 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102295432B1 (ko) * | 2020-03-04 | 2021-08-31 | (주)브이에이커뮤니케이션즈 | 미디어 아트 제공 시스템 |
| KR102564182B1 (ko) | 2023-04-12 | 2023-08-07 | 이가람 | 인공지능 모델을 활용하여 영상 데이터 기반 얼굴 표정 영상 추출 및 이를 활용한 콘텐츠 생성 방법, 장치 및 시스템 |
| CN116522280A (zh) * | 2023-05-11 | 2023-08-01 | 深圳市恒必达电子科技有限公司 | 基于虚拟现实仿真采集的情绪分级识别方法及系统 |
| CN116522280B (zh) * | 2023-05-11 | 2024-03-22 | 深圳市恒必达电子科技有限公司 | 基于虚拟现实仿真采集的情绪分级识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240045470A1 (en) | System and method for enhanced training using a virtual reality environment and bio-signal data | |
| US11977670B2 (en) | Mixed reality system for context-aware virtual object rendering | |
| KR101974130B1 (ko) | 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템 | |
| CN107683166B (zh) | 用于限制头戴式显示器上的视觉活动的过滤和父母控制方法 | |
| JP6945375B2 (ja) | 画像生成装置及びプログラム | |
| KR20200130231A (ko) | 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅 | |
| US20190196576A1 (en) | Virtual reality device and a virtual reality server | |
| KR20170090417A (ko) | 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 | |
| JP2020039029A (ja) | 動画配信システム、動画配信方法、及び動画配信プログラム | |
| JP4742283B2 (ja) | 匂い提示情報を付加する方法及び上映システム | |
| KR20200076178A (ko) | 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터 | |
| CN110121103A (zh) | 视频自动剪辑合成的方法及装置 | |
| US20180052512A1 (en) | Behavioral rehearsal system and supporting software | |
| JP2016045814A (ja) | 仮想現実サービス提供システム、仮想現実サービス提供方法 | |
| EP3864575A1 (en) | Systems and methods for virtual and augmented reality | |
| Yanagida et al. | Towards precise spatio-temporal control of scents and air for olfactory augmented reality | |
| US10706820B2 (en) | Methods and apparatus for producing a multimedia display that includes olfactory stimuli | |
| Mesfin et al. | Using eye tracking and heart-rate activity to examine crossmodal correspondences QoE in mulsemedia | |
| US11941177B2 (en) | Information processing device and information processing terminal | |
| Garner et al. | Applications of virtual reality | |
| Casasanto et al. | Virtual reality | |
| Glowinski et al. | Evaluating music performance and context-sensitivity with Immersive Virtual Environments | |
| US20170374359A1 (en) | Image providing system | |
| US20230033892A1 (en) | Information processing device and information processing terminal | |
| US20230009322A1 (en) | Information processing device, information processing terminal, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| R401 | Registration of restoration |