KR101719868B1 - 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치 - Google Patents

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치 Download PDF

Info

Publication number
KR101719868B1
KR101719868B1 KR1020140074097A KR20140074097A KR101719868B1 KR 101719868 B1 KR101719868 B1 KR 101719868B1 KR 1020140074097 A KR1020140074097 A KR 1020140074097A KR 20140074097 A KR20140074097 A KR 20140074097A KR 101719868 B1 KR101719868 B1 KR 101719868B1
Authority
KR
South Korea
Prior art keywords
emotion information
transmitting
vibration
user terminal
extracting
Prior art date
Application number
KR1020140074097A
Other languages
English (en)
Other versions
KR20150145292A (ko
Inventor
김지은
최경현
류호경
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140074097A priority Critical patent/KR101719868B1/ko
Priority to PCT/KR2015/005987 priority patent/WO2015194807A1/ko
Publication of KR20150145292A publication Critical patent/KR20150145292A/ko
Application granted granted Critical
Publication of KR101719868B1 publication Critical patent/KR101719868B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치가 제시된다. 본 발명에서 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계를 포함할 수 있다.

Description

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치{Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects}
본 발명은 방송 오디오에서 비대사 구간에 영상의 감정정보를 추출하고, 이를 전달하는 방법 및 장치에 관한 것이다.
TV를 자유롭게 시청하는 비장애인들과 달리, 시각정보가 주가 되는 영상물의 경우, 시각장애인들의 정보의 한계는 심각하다. 일부 선진 방송국은 이런 비대사 연기에 대한 시각장애인의 불편함을 해소하기 위해 화면해설방송 (Descriptive Video Service: DVS)를 지원하고 있다. 화면해설방송이란 소리에만 의존하여 TV를 시청하는 시각장애인들에게 영상에 대한 이해와 흥미를 높이기 위하여, 장면의 전환, 등장인물의 표정이나 몸짓, 대사 없이 처리되는 영상 등을 성우가 해설하는 서비스이다. 하지만, 현재 제공되고 있는 대부분의 화면해설방송은 특별한 규칙 없이 성우의 주관적 해석을 입힌 경우가 대부분이고, 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 계속 제공하는 것이 거의 불가능하다. 따라서 대부분의 방송 제작사와 보급사에서는 비용도 비싸고, 시각장애인의 TV몰입에 오히려 방해가 되는 화면해설방송을 제공하지 않아 왔으나, 최근 미국과 영국에서는 화면해설방송을 법제화하여 2014년부터 전체 TV 프로그램의 44%에 화면해설을 지원해야 한다는 법안을 시행 중이다. 따라서, 이에 대비하여 고비용, 저효율 화면해설방송을 필요로 한다.
본 발명이 이루고자 하는 기술적 과제는 시각정보가 주가 되는 영상물의 경우, 시각장애인들의 정보의 한계를 개선하기 위한 방법 및 장치를 제공하는데 있다. 종래기술에 따른 화면해설방송 (Descriptive Video Service: DVS)는 특별한 규칙 없이 성우의 주관적 해석을 입힌 경우가 대부분이고, 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 계속 제공하는 것이 불가능하여 이러한 문제점을 개선하기 위한 방법 및 장치를 제공하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계를 포함할 수 있다.
상기 미리 정해진 카메라문법은 상기 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응될 수 있다.
상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계는 상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는 상기 진동은 미리 정해진 주기로 전달하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다.
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는 상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 사용자 간의 감정정보 추출 및 전달 방법은 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계, 상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 제2 사용자에게 전달하는 단계를 포함할 수 있다.
제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는 상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출할 수 있다.
상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계는 상기 수신된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 감정정보 추출 및 전달 장치는 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신 받는 감정정보 수신부, 제1 사용자의 감정정보를 추출하기 위한 센서, 상기 추출된 감정정보를 코딩하는 코딩부, 상기 제1 사용자의 감정정보를 제2 사용자의 감정정보 수신부로 송신하는 감정정보 송신부, 상기 감정정보 수신부에서 수신된 감정정보에 따라 대응하는 진동으로 전환하는 진동 생성부를 포함할 수 있다.
상기 진동 생성부는 상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
상기 진동 생성부는 상기 진동을 미리 정해진 주기로 생성하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다.
상기 진동 생성부는 햅틱 모터를 포함하고, 상기 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달할 수 있다.
상기 센서는 상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 추출할 수 있다.
본 발명의 실시예들에 따르면 고비용, 저효율 화면해설방송을 카메라효과 문법과 감정 햅틱 패턴기술을 통해 해결할 수 있다. 다시 말해, 영상물의 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 진동을 통해 사용자에게 전달할 수 있다. 뿐만 아니라, 제안하는 감정정보 추출 및 전달 장치를 통해 사용자 간의 감정정보 추출 및 전달이 가능하다.
도 1은 본 발명의 일 실시예에 따른 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 카메라문법에 따라 추출된 감정정보를 설명하기 위한 예시이다.
도 3은 본 발명의 일 실시예에 따른 감정정보에 따라 대응하는 진동으로 전환하는 과정을 설명하기 위한 예시이다.
도 4는 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 간의 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 사용자 간의 감정정보를 전달하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 구성을 설명하기 위한 도면이다.
제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 방송 오디오에서 비대사 구간에 영상의 감정정보를 추출하고, 이를 비언어적 방식인 햅틱 패턴으로 전달하는 기술이다.
영상에서 감정정보를 추출하는 방법은 '어펙티브 시네마토그래피(Affective Cinematography)'로 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과, 예를 들어 카메라의 '모션', '프레임', '각도'에 따라 복수의 감정정보(기쁨, 놀람, 혐오, 공포, 따뜻함, 슬픔 등)를 추출할 수 있다. 이러한 다양한 카메라문법을 분석하여 추출한 감정정보는 방송신호에 덧붙여져서, 시청자가 착용하는 사용자단말의 블루투스 통신기술을 통해 '감정 진동(Emotive vibrator)'이라고 하는 진동의 진폭, 시간 등의 조합으로 복수의 감정이 전달될 수 있다. '감정 진동(Emotive vibrator)' 기술은 영상정보에서 추출된 감정정보의 입력 이외에도 블루투스 통신을 위해 가까이 있는 제1 사용자 단말이 생리신호분석을 통해 추출한 제1 사용자의 복수의 감정정보를 제2 사용자 단말이 수신 받아 제2 사용자에게 진동으로 전달될 수도 있다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계(110), 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계(120), 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계(130)를 포함할 수 있다.
단계(110)에서, 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석할 수 있다. 그리고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩 할 수 있다. 이수, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받을 수 있다. 이때, 미리 정해진 카메라문법은 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응될 수 있다.
예를 들어, 영상에서 감정정보를 추출하는 방법은 '어펙티브 시네마토그래피(Affective Cinematography)'로 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과를 이용할 수 있다. 실시예에 따르면, 카메라의 '모션', '프레임', '각도'에 따라 7가지 감정정보를 추출할 수 있다. 이때, 7가지 감정정보는 즐거움(joy), 놀람(surprise), 혐오감(disgust), 두려움(fear), 화남(anger), 슬픔(sadness) 다정함(tender) 의 감정정보를 포함할 수 있고, 이러한 감정정보는 실시예일뿐 한정되지 않는다. 예를 들어, 화면이 떨리면서(모션: Tilting), 여러 화면이 빠르게 지나가고(프레임: short shot), 화면각도가 비스듬한 상태(각도: Canted)로 구성되는 영상의 경우, '두려움(fear)'이라는 감정을 전달하기 위한 촬영의 기본문법일 수 있다.
도 2를 참조하여 카메라문법에 따라 추출된 감정정보를 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 카메라문법에 따라 추출된 감정정보를 설명하기 위한 예시이다.
도 2를 참조하면, 카메라촬영효과(camera effects)(210)의 모션(motion)(211), 프레임(framing)(212), 각도(angle)(213)에 따라 추출할 수 있는 7가지 감정(220)을 나타내었다.
예를 들어, 모션(motion)(211)이 Whip-pan with a bouncy motion이고, 프레임(framing)(212)이 Full or medium일 경우, 추출되는 감정정보는 즐거움(joy)(221)일 수 있다.
모션(motion)(211)이 Vertigo, POV Object, Discover이고, 프레임(framing)(212)이 Fast이고, 각도(angle)(213)가 Canted angle일 경우, 추출되는 감정정보는 놀람(surprise)(222)일 수 있다.
모션(motion)(211)이 Pan이고, 프레임(framing)(212)이 Close-up일 경우, 추출되는 감정정보는 혐오감(disgust)(223)일 수 있다.
모션(motion)(211)이 Tilt, Inventory POV, Dark voyeur이고, 프레임(framing)(212)이 Shot이고, 각도(angle)(213)가 Canted angle일 경우, 추출되는 감정정보는 두려움(Fear)(224)일 수 있다.
모션(motion)(211)이 abrupt cuts, Tension to camera이고, 프레임(framing)(212)이 Close-up Shot이고, 각도(angle)(213)가 Low-Angle일 경우, 추출되는 감정정보는 화남(Anger)(225)일 수 있다.
모션(motion)(211)이 character Dolly, Expand Dolly이고, 프레임(framing)(212)이 Close-up Show이고, 각도(angle)(213)가 High-Angle일 경우, 추출되는 감정정보는 슬픔(Sadness)(226)일 수 있다.
모션(motion)(211)이 Draw in이고, 프레임(framing)(212)이 Long shot이고, 각도(angle)(213)가 High-Angle일 경우, 추출되는 감정정보는 다정함(Tender)(227)일 수 있다.
이와 같이 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과를 이용하여 영상의 감정정보를 추출할 수 있다. 이러한 카메라문법에 따라 추출되는 감정정보는 실시예일뿐 한정되지 않는다.
단계(120)에서, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. 그리고, 각 감정정보에 따라 대응하는 진동은 미리 정해진 주기로 전달하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 만약 충분한 휴지기간 없이 진동을 연속적으로 전달할 경우, 감정정보에 대응하는 진동을 정확하게 구분할 수 없기 때문이다.
도 3을 참조하여, 감정정보에 따라 대응하는 진동으로 전환하는 과정을 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 감정정보에 따라 대응하는 진동으로 전환하는 과정을 설명하기 위한 예시이다.
비대사 구간 영상의 감정정보를 추출하여 코딩된 감정정보를 사용자 단말을 통해 수신 받아, 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 예를 들어, 즐거움의 감정정보가 추출되었을 경우, 도 3의 즐거움(310)의 파형을 갖는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭(311), 시간(312)을 다르게 매칭하여 전환할 수 있다.
예를 들어, 즐거움(310)의 파형은 진폭(311)이 1.9V이고, 시간(312), 다시 말해 주기가 100ms이다. 또한, 놀람(320)의 파형은 진폭(311)이 1.9v와 2.8v이고, 각 진폭의 진동을 150ms 와 650ms의 시간(312)씩 순차적으로 5초간 전달해 줄 수 있다.
도 3에 나타낸 구형파의 진동은 실시예일뿐 한정되지 않고, 선형파, 사인파, 삼각파 등 이와 다른 형태의 진동 패턴을 가질 수 있다.
이러한 방법으로 놀람(320), 혐오감(330), 두려움(340), 화남(350), 슬픔(360), 다정함(370)의 감정정보에 따라 대응하는 진동의 진폭(311), 시간(312)을 다르게 매칭함으로써, 각 감정정보 마다 고유의 진동패턴을 갖도록 할 수 있다.
그리고, 각 감정정보에 따라 대응하는 진동은 미리 정해진 주기로 전달하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 만약 충분한 휴지기간 없이 진동을 연속적으로 전달할 경우, 감정정보에 대응하는 진동을 정확하게 구분할 수 없기 때문이다.
단계(130)에서, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달할 수 있다. 상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 할 수 있다. 다시 말해, 이러한 다양한 카메라문법을 분석해 추출한 감정정보는 방송신호에 덧붙여져서, 시청자가 착용하는 블루투스 통신기술을 통해 '감정 진동'이라는 진동의 진폭, 시간 등의 조합으로 복수의 감정이 전달될 수 있다. 이러한 진동정보를 전달하여 더욱 몰입감 있는 TV시청 경험을 시각장애인에게 제공해 줄 수 있다.
도 4는 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 예시도이다.
감정정보 추출 및 전달 장치는 센서(410), 햅틱 모터(haptic motor)(420), 블루투스(blue tooth)(430), on/off & 페어링 버튼(440), 배터리(450)을 포함할 수 있다.
센서(410)는 PPG(Photopletymography)(411) 센서와 EDA(Electrodermal Activity)(412) 센서를 포함할 수 있다. PPG(Photopletymography)(411) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity)(412) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. 감정정보 추출 및 전달 장치는 앞서 설명한 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 이외에도 이러한 센서를 이용사여 사용자간의 감정정보 추출 및 전달을 수행할 수 있다.
감정정보는 블루투스(430)를 이용하여 송수신할 수 있고, 수신한 감정정보는 햅틱 모터(420)를 이용하여 사용자에게 진동으로 전달될 수 있다. 또한 on/off & 페어링 버튼(440)을 이용하여 전원 및 페어링을 제어할 수 있고, 전원 공급을 위한 배터리(450)를 포함할 수 있다. 이러한 감정정보 추출 및 전달 장치의 또 다른 실시예에 대하여 도 5 내지 6을 참조하여 더욱 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 사용자 간의 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
사용자 간의 감정정보 추출 및 전달 방법은 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계(510), 상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계(520), 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계(530), 상기 진동을 제2 사용자에게 전달하는 단계(540)를 포함할 수 있다.
단계(510)에서, 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩할 수 있다. 이때, 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출할 수 있다. 센서는 PPG(Photopletymography) 센서와 EDA(Electrodermal Activity) 센서를 포함할 수 있다. PPG(Photopletymography) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다.
단계(520)에서, 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신할 수 있다. 이때, 코딩된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
단계(530)에서, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 코딩된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
단계(540)에서, 상기 진동을 제2 사용자에게 전달할 수 있다. 다시 말해, 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 시각장애인들만을 위한 기술만이 아니라, 자신의 감정을 정확하게 전달할 수 없는 사람들도 아주 쉽게 자신의 감정을 전달하기 위해 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 사용자 간의 감정정보를 전달하는 동작을 설명하기 위한 도면이다.
제1 사용자가 감정정보 추출 및 전달을 위해 제1 사용자 단말(610)을 착용하고, 앞서 설명한 감정 진동을 블루투스(630)를 통해 제2 사용자 단말(620)로 제1 사용자의 감정정보를 전달할 수 있다. 예를 들어, 영유아가 감정정보 추출 및 전달 장치를 착용하고, 감정 진동을 엄마에게 전달할 수 있다. 대다수의 엄마들이 영유아들이 유치원에서 잘 활동하고 있는지, 혹시 아이가 다른 아이들에게 소외를 당해 우울하거나 슬프지는 않은지 등 아이들이 표현하기 힘든 감정을 미리 알기 힘들다. 하지만 제안하는 감정정보 추출 및 전달 방법 및 장치를 통해 많은 사고들을 미연에 예방할 수 있다.
감정정보 추출 및 전달 장치는 아이의 생체신호를 측정하여 현재 아이의 감정상태, 스트레스 수준 등을 분석하여 감정정보 추출 및 전달 장치를 착용하고 있는 엄마나 보호자에게 제공할 수 있다. 이러한 기술은 치매나 어른 돌봄이 서비스 등에 있어서 미래기술로서 활용가능하고 생업에 바쁜 자식들을 위한 새로운 가족간의 유대강화 서비스로 활용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 구성을 설명하기 위한 도면이다.
감정정보 추출 및 전달 장치는 감정정보 수신부(710), 진동 생성부(720), 감정정보 송신부(730), 센서(740), 코딩부(750)를 포함할 수 있다.
감정정보 수신부(710)는 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신할 수 있다. 또한, 제2 사용자 단말의 감정정보 수신부(710)는 제1 사용자 단말로부터 제1 사용자의 감정정보를 수신할 수 있다.
진동 생성부(720)는 감정정보 수신부(710)에서 수신한 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. 그리고, 감정정보에 따라 대응하는 진동을 미리 정해진 주기로 생성하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 또한, 진동 생성부(720)는 햅틱 모터를 포함하고, 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달할 수 있다.
감정정보 송신부(730)는 코딩된 제1 사용자의 감정정보를 제2 사용자에게 송신할 수 있다. 예를 들어, 블루투스를 통해 제1 사용자의 감정정보를 제2 사용자의 감정정보 수신부로 송신함으로써 사용자 간의 감정정보 추출 및 전달이 가능하다.
센서(740)는 제1 사용자의 감정정보를 추출할 수 있다. 센서(740)는 제1 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분 등의 신호를 추출할 수 있다. 예를 들어, 센서는 PPG(Photopletymography센서와 EDA(Electrodermal Activity) 센서를 포함할 수 있다. PPG(Photopletymography) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. 감정정보 추출 및 전달 장치는 앞서 설명한 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 이외에도 이러한 센서를 이용사여 사용자간의 감정정보 추출 및 전달을 수행할 수 있다.
코딩부(750)는 센서(740)에서 추출된 감정정보를 코딩할 수 있다. 예를 들어, 제1 사용자의 감정정보를 코딩부(750)를 통해 코딩한 후, 코딩된 제1 사용자의 감정정보를 감정정보 송신부(710)를 통해 제2 사용자 단말로 송신할 수 있다.
제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 화면해설방송 저작을 위한 감정정보 추출, 시각장애인들을 위해 제공되는 화면해설방송의 한계를 개선하여 카메라 문법을 통해 정형화된 형식으로 영상을 분석하고, 해당감정을 전달할 수 있다. 또한, PPG와 EDA 생리신호를 기반으로 사용자간의 감정 추출 및 전달이 가능하다. 또한, 제안하는 방법은 웨어러블 형태로, 감정정보를 햅틱 패러미터 변형을 통해 재해석하여 진동의 형태로 전달할 수 있다.
따라서, 향후 집에서 즐기는 4DX느낌의 시청 경험이 가능해질 수 있다. 많은 시각장애인들이 영상시청의 어려움에도 불구하고 4DX를 제공하는 영화관을 자주 찾고 있다. 햅틱이 대사 혹은 오디오정보에서 제공하지 못하는 정보를 전달하여 몰입감 있는 시청경험을 주기 때문이다. 제안하는 방법을 통해 이러한 문제점을 개선하고 가정에서 TV를 시청할 때 활용할 수 있다. 또한, 기존의 영상과 시각정보중심의 방송제작 및 전송에서, 본 발명의 실시예에 따른 규칙기반으로 영상을 후분석한 햅틱 브로드캐스팅이 가능하다. 또한, 가족간의 유대를 강화하고 감정변화에 따른 안전사고를 미연에 방지하기 위해 부모와 아이, 타지에 있는 노약자와 자식들이 감정정보를 주고받을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법에 있어서,
    비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계;
    상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계; 및
    상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계
    를 포함하고,
    상기 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계는,
    제1 사용자 단말을 통해 모션(motion), 프레임(framing) 및 각도(angle)을 포함하는 상기 카메라촬영효과에 따른 복수의 감정정보가 추출되고, 상기 추출된 복수의 감정정보에 따라 대응하는 진동의 진폭과 시간의 조합을 이용하여 방송신호에 덧붙여 전달되는 하나 이상의 감정정보를 제2 사용자 단말이 수신 받는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  2. 제1항에 있어서,
    상기 미리 정해진 카메라문법은,
    상기 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응되는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  3. 제1항에 있어서,
    상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계는,
    상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  4. 제1항에 있어서,
    상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는,
    상기 진동은 미리 정해진 주기로 전달하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함하는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  5. 제1항에 있어서,
    상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는,
    상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 하는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  6. 사용자 간의 감정정보 추출 및 전달 방법에 있어서,
    제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계 -상기 감정정보는 또한, 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩함-;
    상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계;
    상기 송신된 감정정보를 상기 제2 사용자 단말의 감정정보 수신부를 통해 수신하고, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계; 및
    상기 진동을 제2 사용자에게 전달하는 단계
    를 포함하고,
    상기 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는,
    상기 제1 사용자 단말이 모션(motion), 프레임(framing) 및 각도(angle)을 포함하는 상기 카메라촬영효과에 따른 복수의 감정정보를 추출하고,
    상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계는,
    제1 사용자 단말이 상기 추출된 복수의 감정정보에 따라 대응하는 진동의 진폭과 시간의 조합을 이용하여 제2 사용자 단말로 하나 이상의 감정정보를 방송신호에 덧붙여 전달하는
    사용자 간의 감정정보 추출 및 전달 방법.
  7. 제6항에 있어서,
    제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는,
    상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출하는
    사용자 간의 감정정보 추출 및 전달 방법.
  8. 제6항에 있어서,
    상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계는,
    상기 수신된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
    사용자 간의 감정정보 추출 및 전달 방법.
  9. 감정정보 추출 및 전달 장치에 있어서,
    비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신 받는 감정정보 수신부;
    제1 사용자의 감정정보를 추출하기 위한 센서;
    상기 추출된 감정정보를 코딩하는 코딩부;
    상기 코딩된 제1 사용자의 감정정보를 제2 사용자 단말로 송신하는 감정정보 송신부; 및
    상기 감정정보 수신부에서 수신된 감정정보에 따라 대응하는 진동으로 전환하는 진동 생성부
    를 포함하고,
    상기 센서를 통해 모션(motion), 프레임(framing) 및 각도(angle)을 포함하는 상기 카메라촬영효과에 따른 복수의 감정정보를 추출하고, 상기 감정정보 송신부를 통해 상기 추출된 복수의 감정정보에 따라 대응하는 진동의 진폭과 시간의 조합을 이용하여 제2 사용자 단말로 하나 이상의 감정정보를 방송신호에 덧붙여 전달하는
    감정정보 추출 및 전달 장치.
  10. 제9항에 있어서,
    상기 감정정보 수신부는,
    상기 제1 사용자의 감정정보를 수신하는
    감정정보 추출 및 전달 장치.
  11. 제9항에 있어서,
    상기 진동 생성부는,
    상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
    감정정보 추출 및 전달 장치.
  12. 제9항에 있어서,
    상기 진동 생성부는,
    상기 진동을 미리 정해진 주기로 생성하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함하는
    감정정보 추출 및 전달 장치.
  13. 제9항에 있어서,
    상기 진동 생성부는 햅틱 모터를 포함하고, 상기 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달하는
    감정정보 추출 및 전달 장치.
  14. 제9항에 있어서,
    상기 센서는,
    상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 추출하는
    감정정보 추출 및 전달 장치.
KR1020140074097A 2014-06-18 2014-06-18 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치 KR101719868B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140074097A KR101719868B1 (ko) 2014-06-18 2014-06-18 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치
PCT/KR2015/005987 WO2015194807A1 (ko) 2014-06-18 2015-06-15 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140074097A KR101719868B1 (ko) 2014-06-18 2014-06-18 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150145292A KR20150145292A (ko) 2015-12-30
KR101719868B1 true KR101719868B1 (ko) 2017-03-27

Family

ID=54935738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140074097A KR101719868B1 (ko) 2014-06-18 2014-06-18 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101719868B1 (ko)
WO (1) WO2015194807A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102464944B1 (ko) * 2018-10-19 2022-11-09 한국과학기술원 카메라 워크를 재현하는 방법 및 장치
WO2020261805A1 (ja) 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
KR101376148B1 (ko) * 2009-03-10 2014-03-27 에스케이텔레콤 주식회사 영상 통화 중 진동을 전달하기 위한 방법과 이를 위한 이동통신 단말기

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295170A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 音声通信装置
KR101314609B1 (ko) * 2007-01-17 2013-10-07 엘지전자 주식회사 감성 정보 송수신 방법 및 감성 정보 송수신 장치
KR101494388B1 (ko) * 2008-10-08 2015-03-03 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
KR20110041065A (ko) * 2009-10-15 2011-04-21 에스케이텔레콤 주식회사 영상통화 중 햅틱컨텐츠 전달 시스템, 서버, 단말기 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
KR101376148B1 (ko) * 2009-03-10 2014-03-27 에스케이텔레콤 주식회사 영상 통화 중 진동을 전달하기 위한 방법과 이를 위한 이동통신 단말기

Also Published As

Publication number Publication date
KR20150145292A (ko) 2015-12-30
WO2015194807A1 (ko) 2015-12-23

Similar Documents

Publication Publication Date Title
US9848244B2 (en) Method of providing user specific interaction using device and digital television (DTV), the DTV, and the user device
US10593167B2 (en) Crowd-based haptics
EP2795909B1 (en) Using haptic technologies to provide enhanced media experiences
KR20200130231A (ko) 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
US11113884B2 (en) Techniques for immersive virtual reality experiences
JP7254772B2 (ja) ロボットインタラクションのための方法及びデバイス
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
TW201227575A (en) Real-time interaction with entertainment content
KR20020062325A (ko) 텔레비전 상에 디스플레이되는 가상 생물
KR101719868B1 (ko) 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치
US20230039530A1 (en) Automated generation of haptic effects based on haptics data
Oskooyee et al. Neuro movie theatre: A real-time internet-of-people based mobile application
Guedes et al. Subjective evaluation of 360-degree sensory experiences
JP2011164681A (ja) 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
WO2018083852A1 (ja) 制御装置および記録媒体
KR101664144B1 (ko) 스마트 기기 기반의 바이탈사운드를 이용하여 청취자에게 안정감을 제공하는 방법 및 그 시스템
KR102092920B1 (ko) 사용자 인식을 통한 개인별 콘텐츠를 제공하는 장치 및 방법
CA3179590A1 (en) Remote engagement system
US20150235128A1 (en) Method and apparatus for generating media capture data and context based media based on crowd-source contextual data
CN214587406U (zh) 一种儿童故事机
CN112150869A (zh) 儿童故事机的控制方法、装置、儿童故事机及服务系统
KR102668933B1 (ko) 맞춤형 서비스 제공 장치 및 방법
US20220303636A1 (en) Providing dynamic media captioning and augmented/virtual reality feedback in home network environments
KR101398004B1 (ko) 사운드 연동형 진동 모션체어 운용장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4