KR20150145292A - Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects - Google Patents

Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects Download PDF

Info

Publication number
KR20150145292A
KR20150145292A KR1020140074097A KR20140074097A KR20150145292A KR 20150145292 A KR20150145292 A KR 20150145292A KR 1020140074097 A KR1020140074097 A KR 1020140074097A KR 20140074097 A KR20140074097 A KR 20140074097A KR 20150145292 A KR20150145292 A KR 20150145292A
Authority
KR
South Korea
Prior art keywords
emotion information
transmitting
vibration
user
extracting
Prior art date
Application number
KR1020140074097A
Other languages
Korean (ko)
Other versions
KR101719868B1 (en
Inventor
김지은
최경현
류호경
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140074097A priority Critical patent/KR101719868B1/en
Priority to PCT/KR2015/005987 priority patent/WO2015194807A1/en
Publication of KR20150145292A publication Critical patent/KR20150145292A/en
Application granted granted Critical
Publication of KR101719868B1 publication Critical patent/KR101719868B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Disclosed are an apparatus and a method for transmitting and extracting emotion information based on camera effects. The method for transmitting and extracting emotion information based on camera effects may comprise the following steps: analyzing non-subtitle section image according to previously defined camera grammars based on the camera effects of the non-subtitle section image, extracting and coding emotion information of the non-subtitle section image according to the analysis result, and receiving the coded emotion information through a user terminal; converting the emotion information into a corresponding vibration according to the emotion information received through the user terminal; and transmitting the vibration to the user through the user terminal.

Description

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치{Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects}TECHNICAL FIELD The present invention relates to a method and apparatus for extracting and transmitting emotion information based on camera shooting effects,

본 발명은 방송 오디오에서 비대사 구간에 영상의 감정정보를 추출하고, 이를 전달하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for extracting emotion information of an image in a non-metabolic zone in broadcast audio and transmitting the extracted information.

TV를 자유롭게 시청하는 비장애인들과 달리, 시각정보가 주가 되는 영상물의 경우, 시각장애인들의 정보의 한계는 심각하다. 일부 선진 방송국은 이런 비대사 연기에 대한 시각장애인의 불편함을 해소하기 위해 화면해설방송 (Descriptive Video Service: DVS)를 지원하고 있다. 화면해설방송이란 소리에만 의존하여 TV를 시청하는 시각장애인들에게 영상에 대한 이해와 흥미를 높이기 위하여, 장면의 전환, 등장인물의 표정이나 몸짓, 대사 없이 처리되는 영상 등을 성우가 해설하는 서비스이다. 하지만, 현재 제공되고 있는 대부분의 화면해설방송은 특별한 규칙 없이 성우의 주관적 해석을 입힌 경우가 대부분이고, 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 계속 제공하는 것이 거의 불가능하다. 따라서 대부분의 방송 제작사와 보급사에서는 비용도 비싸고, 시각장애인의 TV몰입에 오히려 방해가 되는 화면해설방송을 제공하지 않아 왔으나, 최근 미국과 영국에서는 화면해설방송을 법제화하여 2014년부터 전체 TV 프로그램의 44%에 화면해설을 지원해야 한다는 법안을 시행 중이다. 따라서, 이에 대비하여 고비용, 저효율 화면해설방송을 필요로 한다.Unlike the non-disabled people who watch TV freely, the limit of the information of visually impaired people is serious in the case of video objects in which the visual information is the main subject. Some advanced broadcasting stations are supporting Descriptive Video Service (DVS) to alleviate the inconvenience of the visually impaired. Voice commentary service is a voice commentary service for the visually impaired people who are watching TV on the basis of only the sound of broadcasting, switching scenes, expressions of the characters, gestures, and images processed without dialogue . However, most screen commentary broadcasts currently offered are subjectively interpreted by voice actors without special rules, and it is almost impossible to continue to provide information such as emotions of the characters changing at times and the atmosphere of scenes. Therefore, most broadcasting producers and distributors have not provided screen commentary broadcasting which is expensive and obstructs the TV immersion of the visually impaired. However, in recent years, 44% of the respondents said that they should support the screen commentary. Therefore, a high cost and low efficiency screen commentary broadcast is required.

본 발명이 이루고자 하는 기술적 과제는 시각정보가 주가 되는 영상물의 경우, 시각장애인들의 정보의 한계를 개선하기 위한 방법 및 장치를 제공하는데 있다. 종래기술에 따른 화면해설방송 (Descriptive Video Service: DVS)는 특별한 규칙 없이 성우의 주관적 해석을 입힌 경우가 대부분이고, 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 계속 제공하는 것이 불가능하여 이러한 문제점을 개선하기 위한 방법 및 장치를 제공하고자 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and an apparatus for improving the information limit of a visually impaired person in the case of a video object in which visual information is dominant. Descriptive Video Service (DVS) according to the prior art often has a subjective interpretation of a voice actor without special rules, and it is impossible to continuously provide information such as emotions of a character changing at times and atmosphere of a scene. And to provide a method and apparatus for improving the problem.

일 측면에 있어서, 본 발명에서 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계를 포함할 수 있다. In one aspect, the emotion information extraction and delivery method based on the camera shooting effect proposed in the present invention analyzes the non-metabolic area images according to a predetermined camera grammar based on the camera shooting effect of the non-metabolic area images Extracting and coding the emotion information of the non-metabolic interval image according to the analysis result, receiving the coded emotion information through the user terminal, extracting the corresponding emotion information based on the emotion information received through the user terminal And transmitting the vibration to the user through the user terminal.

상기 미리 정해진 카메라문법은 상기 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응될 수 있다. The predetermined camera grammar may correspond to the emotion information according to the camera shooting effect of the non-metabolic zone image and the editing effect of the image.

상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계는 상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. The step of switching to the corresponding vibration according to the emotion information received through the user terminal may switch the amplitude and time of the corresponding vibration differently according to the emotion information.

상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는 상기 진동은 미리 정해진 주기로 전달하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. The step of transmitting the vibration to the user through the user terminal may include transmitting the vibration in a predetermined period, and the period may include a predetermined idle period.

상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는 상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 할 수 있다.The step of transmitting the vibration to the user through the user terminal may repeatedly transmit the vibration corresponding to the feeling information to the user so that the user may recognize the vibration corresponding to the feeling information through learning.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 사용자 간의 감정정보 추출 및 전달 방법은 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계, 상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 제2 사용자에게 전달하는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a method for extracting and transmitting emotion information between users, comprising the steps of: extracting emotion information of a first user through a sensor of a first user terminal and coding the emotion information; Transmitting the coded emotion information to the second user terminal through the emotion information transmitting unit of the terminal, switching to the corresponding vibration according to the received emotion information, and transmitting the vibration to the second user .

제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는 상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출할 수 있다. The step of extracting the emotion information of the first user through the sensor of the first user terminal and coding the emotion information may include extracting signals of the user's heartbeat, heartbeat signal, balance, skin conductivity, excitation, can do.

상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계는 상기 수신된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. The step of switching to the corresponding vibration according to the received emotion information may be performed by matching the amplitude and time of the corresponding vibration differently according to the received emotion information.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 감정정보 추출 및 전달 장치는 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신 받는 감정정보 수신부, 제1 사용자의 감정정보를 추출하기 위한 센서, 상기 추출된 감정정보를 코딩하는 코딩부, 상기 제1 사용자의 감정정보를 제2 사용자의 감정정보 수신부로 송신하는 감정정보 송신부, 상기 감정정보 수신부에서 수신된 감정정보에 따라 대응하는 진동으로 전환하는 진동 생성부를 포함할 수 있다. In another aspect, the emotion information extracting and delivering apparatus proposed in the present invention analyzes the non-metabolic region image according to a predetermined camera grammar based on a camera photographing effect of a non-metabolic region image, An emotion information receiving unit for extracting and coding the emotion information of the non-metabolic interval image according to the coded emotion information, a sensor for extracting emotion information of the first user, a coding unit for coding the extracted emotion information, An emotion information transmitting unit for transmitting the emotion information of the first user to the emotion information receiving unit of the second user; and a vibration generating unit for converting the corresponding vibration into the corresponding vibration according to the emotion information received by the emotion information receiving unit.

상기 진동 생성부는 상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. The vibration generating unit may switch the amplitude and time of the corresponding vibration differently according to the emotion information.

상기 진동 생성부는 상기 진동을 미리 정해진 주기로 생성하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. The vibration generating unit may generate the vibration at a predetermined cycle, and may include a predetermined idle period between the cycles.

상기 진동 생성부는 햅틱 모터를 포함하고, 상기 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달할 수 있다. The vibration generator may include a haptic motor, and may transmit a corresponding vibration to the user according to emotion information through the haptic motor.

상기 센서는 상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 추출할 수 있다.The sensor can extract the heartbeat, heartbeat signal, balance, skin conductivity, excitation, and excitation signals of the user.

본 발명의 실시예들에 따르면 고비용, 저효율 화면해설방송을 카메라효과 문법과 감정 햅틱 패턴기술을 통해 해결할 수 있다. 다시 말해, 영상물의 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 진동을 통해 사용자에게 전달할 수 있다. 뿐만 아니라, 제안하는 감정정보 추출 및 전달 장치를 통해 사용자 간의 감정정보 추출 및 전달이 가능하다.According to embodiments of the present invention, high-cost, low-efficiency screen commentary broadcasting can be solved through camera effect grammar and emotion haptic pattern technology. In other words, it is possible to transmit information such as the emotion of the characters, the atmosphere of the scene, and the like, which often change in the video, to the user through the vibration. In addition, it is possible to extract and transmit emotion information between users through the proposed emotion information extraction and delivery device.

도 1은 본 발명의 일 실시예에 따른 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 카메라문법에 따라 추출된 감정정보를 설명하기 위한 예시이다.
도 3은 본 발명의 일 실시예에 따른 감정정보에 따라 대응하는 진동으로 전환하는 과정을 설명하기 위한 예시이다.
도 4는 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 간의 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 사용자 간의 감정정보를 전달하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 구성을 설명하기 위한 도면이다.1 is a flowchart illustrating a method of extracting and delivering emotion information based on a camera shooting effect according to an embodiment of the present invention.
2 is an illustration for explaining emotion information extracted according to a camera grammar according to an embodiment of the present invention.
FIG. 3 is an illustration for explaining a process of switching to corresponding vibration according to emotion information according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an apparatus for extracting and transmitting emotion information according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating a method for extracting and transmitting emotion information between users according to an embodiment of the present invention.
6 is a diagram for explaining an operation of transferring emotion information between users of the emotion information extracting and delivering apparatus according to an embodiment of the present invention.
7 is a diagram for explaining a configuration of an apparatus for extracting and transmitting emotion information according to an embodiment of the present invention.

제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 방송 오디오에서 비대사 구간에 영상의 감정정보를 추출하고, 이를 비언어적 방식인 햅틱 패턴으로 전달하는 기술이다. A method and apparatus for extracting and transmitting emotional information based on the proposed camera shooting effect is a technique for extracting emotion information of an image in a non-metabolic region in a broadcast audio and delivering it as a non-verbal haptic pattern.

영상에서 감정정보를 추출하는 방법은 '어펙티브 시네마토그래피(Affective Cinematography)'로 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과, 예를 들어 카메라의 '모션', '프레임', '각도'에 따라 복수의 감정정보(기쁨, 놀람, 혐오, 공포, 따뜻함, 슬픔 등)를 추출할 수 있다. 이러한 다양한 카메라문법을 분석하여 추출한 감정정보는 방송신호에 덧붙여져서, 시청자가 착용하는 사용자단말의 블루투스 통신기술을 통해 '감정 진동(Emotive vibrator)'이라고 하는 진동의 진폭, 시간 등의 조합으로 복수의 감정이 전달될 수 있다. '감정 진동(Emotive vibrator)' 기술은 영상정보에서 추출된 감정정보의 입력 이외에도 블루투스 통신을 위해 가까이 있는 제1 사용자 단말이 생리신호분석을 통해 추출한 제1 사용자의 복수의 감정정보를 제2 사용자 단말이 수신 받아 제2 사용자에게 진동으로 전달될 수도 있다. A method of extracting emotion information from an image is called 'Affective Cinematography', which is a method of extracting a camera shooting effect and an editing effect, which are mainly used by a video producer to express emotions of an actor, for example, (Joy, surprise, dislike, horror, warmth, sadness, etc.) can be extracted according to the 'angle'. The emotion information extracted by analyzing the various camera grammars is added to the broadcast signal, and is transmitted to the user terminal through a Bluetooth communication technology of a user terminal, and a plurality of Emotions can be delivered. The 'emotive vibrator' technique is a technique in which, in addition to the input of emotion information extracted from the image information, a plurality of emotion information of the first user extracted by the first user terminal, which is nearby for Bluetooth communication, May be received and transmitted to the second user as vibration.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다. 1 is a flowchart illustrating a method of extracting and delivering emotion information based on a camera shooting effect according to an embodiment of the present invention.

제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계(110), 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계(120), 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계(130)를 포함할 수 있다. The method for extracting and delivering emotion information based on the proposed camera shooting effect analyzes the non-metabolic area image according to a predetermined camera grammar based on the camera shooting effect of the non-metabolic area image, A step (110) of extracting and coding the emotion information of the metabolic interval image and receiving the coded emotion information through the user terminal, a step of switching to a corresponding vibration according to the emotion information received through the user terminal ), And transmitting (130) the vibration to the user via the user terminal.

단계(110)에서, 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석할 수 있다. 그리고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩 할 수 있다. 이수, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받을 수 있다. 이때, 미리 정해진 카메라문법은 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응될 수 있다. In step 110, the non-metabolic zone image may be analyzed according to a predetermined camera grammar based on the camera shooting effect of the non-metabolic zone image. Then, the emotion information of the non-metabolic zone image can be extracted and coded according to the analysis result. And the coded emotion information can be received through the user terminal. At this time, the predetermined camera grammar may correspond to the emotion information according to the camera shooting effect of the non-metabolic zone image and the editing effect of the image.

예를 들어, 영상에서 감정정보를 추출하는 방법은 '어펙티브 시네마토그래피(Affective Cinematography)'로 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과를 이용할 수 있다. 실시예에 따르면, 카메라의 '모션', '프레임', '각도'에 따라 7가지 감정정보를 추출할 수 있다. 이때, 7가지 감정정보는 즐거움(joy), 놀람(surprise), 혐오감(disgust), 두려움(fear), 화남(anger), 슬픔(sadness) 다정함(tender) 의 감정정보를 포함할 수 있고, 이러한 감정정보는 실시예일뿐 한정되지 않는다. 예를 들어, 화면이 떨리면서(모션: Tilting), 여러 화면이 빠르게 지나가고(프레임: short shot), 화면각도가 비스듬한 상태(각도: Canted)로 구성되는 영상의 경우, '두려움(fear)'이라는 감정을 전달하기 위한 촬영의 기본문법일 수 있다. For example, a method of extracting emotion information from an image is 'Affective Cinematography', which enables a video producer to utilize a camera shooting effect and an editing effect, which are mainly used to express emotions of an actor. According to the embodiment, seven kinds of emotion information can be extracted according to 'motion', 'frame', and 'angle' of the camera. At this time, the seven kinds of emotion information may include emotion information of joy, surprise, disgust, fear, anger, sadness, tender, Such emotion information is not limited to the embodiment. For example, in the case of a video composed of a screen being tilted (motion: Tilting), a plurality of screens passing quickly (frame: short shot), and a screen angle being oblique (angle: Canted), a feeling of 'fear' And the like.

도 2를 참조하여 카메라문법에 따라 추출된 감정정보를 더욱 상세히 설명한다. The emotion information extracted according to the camera grammar will be described in more detail with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 카메라문법에 따라 추출된 감정정보를 설명하기 위한 예시이다.2 is an illustration for explaining emotion information extracted according to a camera grammar according to an embodiment of the present invention.

도 2를 참조하면, 카메라촬영효과(camera effects)(210)의 모션(motion)(211), 프레임(framing)(212), 각도(angle)(213)에 따라 추출할 수 있는 7가지 감정(220)을 나타내었다. 2, there are seven emotions that can be extracted according to the motion 211, frame 212, and angle 213 of the camera effects 210. 220).

예를 들어, 모션(motion)(211)이 Whip-pan with a bouncy motion이고, 프레임(framing)(212)이 Full or medium일 경우, 추출되는 감정정보는 즐거움(joy)(221)일 수 있다. For example, if the motion 211 is Whip-pan with a bouncy motion and the framing 212 is full or medium, the emotion information to be extracted may be a joy 221 .

모션(motion)(211)이 Vertigo, POV Object, Discover이고, 프레임(framing)(212)이 Fast이고, 각도(angle)(213)가 Canted angle일 경우, 추출되는 감정정보는 놀람(surprise)(222)일 수 있다. If the motion 211 is Vertigo, POV Object, Discover, the frame 212 is Fast, and the angle 213 is a Canted angle, the extracted emotion information is surprise ( 222).

모션(motion)(211)이 Pan이고, 프레임(framing)(212)이 Close-up일 경우, 추출되는 감정정보는 혐오감(disgust)(223)일 수 있다. When the motion 211 is Pan and the frame 212 is Close-up, the extracted emotion information may be a disgust 223.

모션(motion)(211)이 Tilt, Inventory POV, Dark voyeur이고, 프레임(framing)(212)이 Shot이고, 각도(angle)(213)가 Canted angle일 경우, 추출되는 감정정보는 두려움(Fear)(224)일 수 있다. If the motion 211 is Tilt, Inventory POV, Dark voyeur, the frame 212 is Shot, and the angle 213 is Canted angle, the extracted emotion information is Fear, (224).

모션(motion)(211)이 abrupt cuts, Tension to camera이고, 프레임(framing)(212)이 Close-up Shot이고, 각도(angle)(213)가 Low-Angle일 경우, 추출되는 감정정보는 화남(Anger)(225)일 수 있다. If the motion 211 is abrupt cuts, Tension to camera, the frame 212 is a Close-up Shot, and the angle 213 is Low-Angle, 0.0 > (Anger) < / RTI >

모션(motion)(211)이 character Dolly, Expand Dolly이고, 프레임(framing)(212)이 Close-up Show이고, 각도(angle)(213)가 High-Angle일 경우, 추출되는 감정정보는 슬픔(Sadness)(226)일 수 있다. If the motion 211 is character Dolly, Expand Dolly, the framing 212 is a Close-up Show, and the angle 213 is High-Angle, the extracted emotion information is sad ( Sadness (226).

모션(motion)(211)이 Draw in이고, 프레임(framing)(212)이 Long shot이고, 각도(angle)(213)가 High-Angle일 경우, 추출되는 감정정보는 다정함(Tender)(227)일 수 있다. If the motion 211 is Draw in, the framing 212 is a long shot, and the angle 213 is High-Angle, the emotion information to be extracted is tender 227 ).

이와 같이 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과를 이용하여 영상의 감정정보를 추출할 수 있다. 이러한 카메라문법에 따라 추출되는 감정정보는 실시예일뿐 한정되지 않는다.Thus, the image maker can extract the emotion information of the image using the camera shooting effect and editing effect, which are mainly used to express the emotion of the actor. The emotion information extracted according to the camera grammar is not limited to the embodiment.

단계(120)에서, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. 그리고, 각 감정정보에 따라 대응하는 진동은 미리 정해진 주기로 전달하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 만약 충분한 휴지기간 없이 진동을 연속적으로 전달할 경우, 감정정보에 대응하는 진동을 정확하게 구분할 수 없기 때문이다. In step 120, corresponding vibration may be switched according to the emotion information received through the user terminal. At this time, the amplitudes and times of the corresponding vibrations can be matched differently according to the emotion information. The corresponding vibrations may be transmitted in a predetermined cycle according to each emotion information, and may include a predetermined idle period between the cycles. If vibrations are continuously transmitted without sufficient rest period, vibrations corresponding to the emotion information can not be accurately distinguished.

도 3을 참조하여, 감정정보에 따라 대응하는 진동으로 전환하는 과정을 더욱 상세히 설명한다. Referring to FIG. 3, the process of switching to the corresponding vibration according to the emotion information will be described in more detail.

도 3은 본 발명의 일 실시예에 따른 감정정보에 따라 대응하는 진동으로 전환하는 과정을 설명하기 위한 예시이다.FIG. 3 is an illustration for explaining a process of switching to corresponding vibration according to emotion information according to an embodiment of the present invention.

비대사 구간 영상의 감정정보를 추출하여 코딩된 감정정보를 사용자 단말을 통해 수신 받아, 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 예를 들어, 즐거움의 감정정보가 추출되었을 경우, 도 3의 즐거움(310)의 파형을 갖는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭(311), 시간(312)을 다르게 매칭하여 전환할 수 있다. The emotion information of the non-metabolic interval image is extracted and the coded emotion information is received through the user terminal, and the corresponding vibration can be switched according to the emotion information. For example, when the emotion information of pleasure is extracted, it is possible to switch to the vibration having the waveform of the pleasure 310 of FIG. At this time, the amplitude 311 and the time 312 of the corresponding vibration may be differently matched and switched according to the emotion information.

예를 들어, 즐거움(310)의 파형은 진폭(311)이 1.9V이고, 시간(312), 다시 말해 주기가 100ms이다. 또한, 놀람(320)의 파형은 진폭(311)이 1.9v와 2.8v이고, 각 진폭의 진동을 150ms 와 650ms의 시간(312)씩 순차적으로 5초간 전달해 줄 수 있다. For example, the waveform of pleasure 310 has an amplitude 311 of 1.9V and a time 312, i. E., A period of 100ms. In addition, the waveform of the surprise 320 can have the amplitudes 311 of 1.9v and 2.8v, and can sequentially transmit the vibrations of the respective amplitudes for 312ms at 150ms and 650ms, respectively, for 5 seconds.

도 3에 나타낸 구형파의 진동은 실시예일뿐 한정되지 않고, 선형파, 사인파, 삼각파 등 이와 다른 형태의 진동 패턴을 가질 수 있다. The vibration of the square wave shown in Fig. 3 is not limited to the embodiment, but may have other types of vibration patterns such as a linear wave, a sine wave, and a triangle wave.

이러한 방법으로 놀람(320), 혐오감(330), 두려움(340), 화남(350), 슬픔(360), 다정함(370)의 감정정보에 따라 대응하는 진동의 진폭(311), 시간(312)을 다르게 매칭함으로써, 각 감정정보 마다 고유의 진동패턴을 갖도록 할 수 있다. In this way, the amplitude 311 of the corresponding vibration, the time 312 of the corresponding vibration according to the emotion information of the alarm 320, the disgust 330, the fear 340, the angel 350, the sadness 360, ), It is possible to have a unique vibration pattern for each emotion information.

그리고, 각 감정정보에 따라 대응하는 진동은 미리 정해진 주기로 전달하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 만약 충분한 휴지기간 없이 진동을 연속적으로 전달할 경우, 감정정보에 대응하는 진동을 정확하게 구분할 수 없기 때문이다.The corresponding vibrations may be transmitted in a predetermined cycle according to each emotion information, and may include a predetermined idle period between the cycles. If vibrations are continuously transmitted without sufficient rest period, vibrations corresponding to the emotion information can not be accurately distinguished.

단계(130)에서, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달할 수 있다. 상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 할 수 있다. 다시 말해, 이러한 다양한 카메라문법을 분석해 추출한 감정정보는 방송신호에 덧붙여져서, 시청자가 착용하는 블루투스 통신기술을 통해 '감정 진동'이라는 진동의 진폭, 시간 등의 조합으로 복수의 감정이 전달될 수 있다. 이러한 진동정보를 전달하여 더욱 몰입감 있는 TV시청 경험을 시각장애인에게 제공해 줄 수 있다.In step 130, the vibration may be communicated to the user via the user terminal. The vibration corresponding to the emotion information is repeatedly transmitted to the user so that the user can recognize the vibration corresponding to the emotion information through learning. In other words, the emotion information extracted by analyzing the various camera grammar is added to the broadcast signal, and a plurality of emotions can be transmitted through a combination of amplitude, time, and the like of vibration such as 'emotion vibration' through the Bluetooth communication technology worn by viewers . By transmitting such vibration information, a more immersive TV viewing experience can be provided to the visually impaired.

도 4는 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 예시도이다.4 is an exemplary diagram illustrating an apparatus for extracting and transmitting emotion information according to an exemplary embodiment of the present invention.

감정정보 추출 및 전달 장치는 센서(410), 햅틱 모터(haptic motor)(420), 블루투스(blue tooth)(430), on/off & 페어링 버튼(440), 배터리(450)을 포함할 수 있다. The emotion information extraction and delivery device may include a sensor 410, a haptic motor 420, a Bluetooth tooth 430, an on / off & pairing button 440, and a battery 450 .

센서(410)는 PPG(Photopletymography)(411) 센서와 EDA(Electrodermal Activity)(412) 센서를 포함할 수 있다. PPG(Photopletymography)(411) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity)(412) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. 감정정보 추출 및 전달 장치는 앞서 설명한 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 이외에도 이러한 센서를 이용사여 사용자간의 감정정보 추출 및 전달을 수행할 수 있다. The sensor 410 may include a PPG (Photopletymography) 411 sensor and an EDA (Electrodermal Activity) 412 sensor. A PPG (411) sensor can sense heart rate, heart rate signal (HRV), balance, and the like. Electrodermal Activity (EDA) (412) The sensor can sense skin conductance, arousal, excitement, and the like. The apparatus for extracting and transmitting emotional information can extract and transmit emotional information among users using such a sensor in addition to extracting and delivering emotional information based on the camera shooting effect described above.

감정정보는 블루투스(430)를 이용하여 송수신할 수 있고, 수신한 감정정보는 햅틱 모터(420)를 이용하여 사용자에게 진동으로 전달될 수 있다. 또한 on/off & 페어링 버튼(440)을 이용하여 전원 및 페어링을 제어할 수 있고, 전원 공급을 위한 배터리(450)를 포함할 수 있다. 이러한 감정정보 추출 및 전달 장치의 또 다른 실시예에 대하여 도 5 내지 6을 참조하여 더욱 상세히 설명한다.
The emotion information can be transmitted and received using the Bluetooth 430, and the received emotion information can be transmitted to the user by vibration using the haptic motor 420. Also, the on / off & pairing button 440 may be used to control power and pairing, and may include a battery 450 for power supply. Another embodiment of such an emotion information extracting and transmitting apparatus will be described in more detail with reference to Figs. 5 to 6. Fig.

도 5는 본 발명의 일 실시예에 따른 사용자 간의 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a method for extracting and transmitting emotion information between users according to an embodiment of the present invention.

사용자 간의 감정정보 추출 및 전달 방법은 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계(510), 상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계(520), 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계(530), 상기 진동을 제2 사용자에게 전달하는 단계(540)를 포함할 수 있다. The method for extracting and transmitting emotion information between users includes extracting emotion information of a first user through a sensor of a first user terminal and coding the emotion information (510) (Step 530), and transmitting the vibration to a second user (step 540). The method may further include the steps of transmitting (520) the sent emotion information to a second user terminal .

단계(510)에서, 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩할 수 있다. 이때, 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출할 수 있다. 센서는 PPG(Photopletymography) 센서와 EDA(Electrodermal Activity) 센서를 포함할 수 있다. PPG(Photopletymography) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. At step 510, the emotion information of the first user may be extracted through the sensor of the first user terminal and the emotion information may be coded. At this time, signals of the user's heartbeat, heartbeat signal, balance, skin conductivity, excitation, and excitation can be extracted through the sensor. The sensor may include a PPG (Photopletymography) sensor and an EDA (Electrodermal Activity) sensor. A PPG (Photopletymography) sensor can sense the heart rate, heart rate signal (HRV), and balance. Electrodermal activity (EDA) sensors can sense skin conductance, arousal, excitement, and so on.

단계(520)에서, 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신할 수 있다. 이때, 코딩된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. In step 520, the coded emotion information may be transmitted to the second user terminal through the emotion information transmitting unit of the first user terminal. At this time, the amplitude and the time of the corresponding vibration can be matched differently according to the coded emotion information.

단계(530)에서, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 코딩된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.In step 530, it is possible to switch to the corresponding vibration according to the received emotion information. At this time, the amplitude and the time of the corresponding vibration can be matched differently according to the coded emotion information.

단계(540)에서, 상기 진동을 제2 사용자에게 전달할 수 있다. 다시 말해, 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 시각장애인들만을 위한 기술만이 아니라, 자신의 감정을 정확하게 전달할 수 없는 사람들도 아주 쉽게 자신의 감정을 전달하기 위해 사용될 수 있다.
In step 540, the vibration may be communicated to the second user. In other words, the method and device for extracting and delivering emotion information based on the proposed camera shooting effect is not only for the blind people but also for those who can not accurately convey their own feelings. Can be used.

도 6은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 사용자 간의 감정정보를 전달하는 동작을 설명하기 위한 도면이다. 6 is a diagram for explaining an operation of transferring emotion information between users of the emotion information extracting and delivering apparatus according to an embodiment of the present invention.

제1 사용자가 감정정보 추출 및 전달을 위해 제1 사용자 단말(610)을 착용하고, 앞서 설명한 감정 진동을 블루투스(630)를 통해 제2 사용자 단말(620)로 제1 사용자의 감정정보를 전달할 수 있다. 예를 들어, 영유아가 감정정보 추출 및 전달 장치를 착용하고, 감정 진동을 엄마에게 전달할 수 있다. 대다수의 엄마들이 영유아들이 유치원에서 잘 활동하고 있는지, 혹시 아이가 다른 아이들에게 소외를 당해 우울하거나 슬프지는 않은지 등 아이들이 표현하기 힘든 감정을 미리 알기 힘들다. 하지만 제안하는 감정정보 추출 및 전달 방법 및 장치를 통해 많은 사고들을 미연에 예방할 수 있다. The first user may wear a first user terminal 610 for extracting and delivering emotional information and transmit the emotion vibration of the first user to the second user terminal 620 via the Bluetooth 630 have. For example, an infant can wear an emotional information extracting and transmitting device, and transmit emotional vibration to a mother. Most mothers find it difficult to know beforehand whether the children are working well in kindergarten, whether the child is alienated by other children and is not depressed or sad. However, many accidents can be prevented in advance through the proposed method and device for extracting and transmitting information.

감정정보 추출 및 전달 장치는 아이의 생체신호를 측정하여 현재 아이의 감정상태, 스트레스 수준 등을 분석하여 감정정보 추출 및 전달 장치를 착용하고 있는 엄마나 보호자에게 제공할 수 있다. 이러한 기술은 치매나 어른 돌봄이 서비스 등에 있어서 미래기술로서 활용가능하고 생업에 바쁜 자식들을 위한 새로운 가족간의 유대강화 서비스로 활용할 수 있다.
The apparatus for extracting and transmitting emotional information can measure the emotional state, the stress level, etc. of the child by measuring the biological signal of the child and provide the emotional information extracting and delivering apparatus to the mother or the guardian wearing the emotional information. This technique can be utilized as a future technology for dementia and adult care services and can be utilized as a new family tie-up service for children who are busy in business.

도 7은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 구성을 설명하기 위한 도면이다.7 is a diagram for explaining a configuration of an apparatus for extracting and transmitting emotion information according to an embodiment of the present invention.

감정정보 추출 및 전달 장치는 감정정보 수신부(710), 진동 생성부(720), 감정정보 송신부(730), 센서(740), 코딩부(750)를 포함할 수 있다. The apparatus for extracting and transmitting emotion information may include an emotion information receiving unit 710, a vibration generating unit 720, an emotion information transmitting unit 730, a sensor 740, and a coding unit 750.

감정정보 수신부(710)는 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신할 수 있다. 또한, 제2 사용자 단말의 감정정보 수신부(710)는 제1 사용자 단말로부터 제1 사용자의 감정정보를 수신할 수 있다.The emotion information receiving unit 710 analyzes the non-metabolic zone image according to a predetermined camera grammar based on the camera shooting effect of the non-metabolic zone image, and extracts the feeling information of the non-metabolic zone image according to the analysis result And receive the coded emotion information. In addition, the emotion information receiver 710 of the second user terminal may receive the emotion information of the first user from the first user terminal.

진동 생성부(720)는 감정정보 수신부(710)에서 수신한 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. 그리고, 감정정보에 따라 대응하는 진동을 미리 정해진 주기로 생성하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 또한, 진동 생성부(720)는 햅틱 모터를 포함하고, 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달할 수 있다. The vibration generating unit 720 can switch to the corresponding vibration according to the feeling information received by the feeling information receiving unit 710. [ At this time, the amplitudes and times of the corresponding vibrations can be matched differently according to the emotion information. The corresponding vibration may be generated in a predetermined cycle according to the emotion information, and a predetermined idle period may be included between the periods. The vibration generating unit 720 may include a haptic motor, and may transmit the corresponding vibration to the user according to the feeling information through the haptic motor.

감정정보 송신부(730)는 코딩된 제1 사용자의 감정정보를 제2 사용자에게 송신할 수 있다. 예를 들어, 블루투스를 통해 제1 사용자의 감정정보를 제2 사용자의 감정정보 수신부로 송신함으로써 사용자 간의 감정정보 추출 및 전달이 가능하다. The emotion information transmitting unit 730 may transmit the emotion information of the coded first user to the second user. For example, the emotion information of the first user is transmitted to the emotion information receiving unit of the second user via the Bluetooth, so that the emotion information extraction and transmission between the users can be performed.

센서(740)는 제1 사용자의 감정정보를 추출할 수 있다. 센서(740)는 제1 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분 등의 신호를 추출할 수 있다. 예를 들어, 센서는 PPG(Photopletymography센서와 EDA(Electrodermal Activity) 센서를 포함할 수 있다. PPG(Photopletymography) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. 감정정보 추출 및 전달 장치는 앞서 설명한 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 이외에도 이러한 센서를 이용사여 사용자간의 감정정보 추출 및 전달을 수행할 수 있다. The sensor 740 may extract emotion information of the first user. The sensor 740 can extract signals such as heartbeat, heartbeat signal, balance, skin conductivity, stimulation, excitement, etc. of the first user. For example, a sensor may include a PPG (Photopletymography sensor and an Electrodermal Activity (EDA) sensor), a PPG sensor that senses heart rate, The electrodermal activity (EDA) sensor can sense skin conductance, arousal, excitement, etc. The emotional information extracting and transmitting device can be used to detect emotions based on the above- In addition to extracting and delivering information, it is also possible to extract and transmit emotion information between users using such a sensor.

코딩부(750)는 센서(740)에서 추출된 감정정보를 코딩할 수 있다. 예를 들어, 제1 사용자의 감정정보를 코딩부(750)를 통해 코딩한 후, 코딩된 제1 사용자의 감정정보를 감정정보 송신부(710)를 통해 제2 사용자 단말로 송신할 수 있다. The coding unit 750 can code the emotion information extracted from the sensor 740. [ For example, after the emotion information of the first user is encoded through the coding unit 750, the emotion information of the coded first user may be transmitted to the second user terminal through the emotion information transmission unit 710. [

제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 화면해설방송 저작을 위한 감정정보 추출, 시각장애인들을 위해 제공되는 화면해설방송의 한계를 개선하여 카메라 문법을 통해 정형화된 형식으로 영상을 분석하고, 해당감정을 전달할 수 있다. 또한, PPG와 EDA 생리신호를 기반으로 사용자간의 감정 추출 및 전달이 가능하다. 또한, 제안하는 방법은 웨어러블 형태로, 감정정보를 햅틱 패러미터 변형을 통해 재해석하여 진동의 형태로 전달할 수 있다. The method and apparatus for extracting and transmitting emotional information based on the proposed camera shooting effect can be classified into a form of emotional information extraction for screen commentary broadcast work, Analyze the image, and convey the emotion. In addition, emotion extraction and transmission between users based on PPG and EDA physiological signals are possible. In addition, the proposed method can be rewritten as a wearable form, and the emotion information can be re - analyzed through haptic parameter modification and transmitted in the form of vibration.

따라서, 향후 집에서 즐기는 4DX느낌의 시청 경험이 가능해질 수 있다. 많은 시각장애인들이 영상시청의 어려움에도 불구하고 4DX를 제공하는 영화관을 자주 찾고 있다. 햅틱이 대사 혹은 오디오정보에서 제공하지 못하는 정보를 전달하여 몰입감 있는 시청경험을 주기 때문이다. 제안하는 방법을 통해 이러한 문제점을 개선하고 가정에서 TV를 시청할 때 활용할 수 있다. 또한, 기존의 영상과 시각정보중심의 방송제작 및 전송에서, 본 발명의 실시예에 따른 규칙기반으로 영상을 후분석한 햅틱 브로드캐스팅이 가능하다. 또한, 가족간의 유대를 강화하고 감정변화에 따른 안전사고를 미연에 방지하기 위해 부모와 아이, 타지에 있는 노약자와 자식들이 감정정보를 주고받을 수 있다.
Therefore, it is possible to enjoy viewing experience of 4DX at home in the future. Many people with visual impairments are often looking for cinemas that offer 4DX, despite the difficulty of viewing video. This is because the haptic transmits information that can not be provided in the dialogue or audio information and gives an immersive viewing experience. The proposed method improves these problems and can be utilized when watching TV at home. In addition, haptic broadcasting in which the image is rear-analyzed based on the rule according to the embodiment of the present invention in the conventional production and transmission of broadcasting based on the image and the time information is possible. Also, in order to strengthen family ties and to prevent safety accidents caused by emotional changes, parents and children, elderly people and children in Taji can exchange emotional information.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (14)

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법에 있어서,
비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계;
상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계; 및
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계
를 포함하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.A method for extracting and transmitting emotion information based on a camera shooting effect,
The non-metabolic zone image is analyzed based on the camera shooting effect of the non-metabolic zone image, the non-metabolic zone image is analyzed according to a predetermined camera grammar, the extracted information is extracted and coded according to the analysis result, Receiving information through a user terminal;
Switching to a corresponding vibration according to the feeling information received through the user terminal; And
And transmitting the vibration to the user through the user terminal
And extracting and transmitting the emotion information based on the camera photographing effect. 제1항에 있어서,
상기 미리 정해진 카메라문법은,
상기 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응되는
카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.The method according to claim 1,
The predetermined camera grammar includes:
The emotion information corresponding to the camera shooting effect of the non-metabolic zone image and the editing effect of the image correspond
A method of extracting and transmitting emotion information based on camera shooting effect. 제1항에 있어서,
상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계는,
상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.The method according to claim 1,
Wherein the step of switching to the corresponding vibration according to the emotion information received via the user terminal comprises:
The amplitude and time of the corresponding vibration are matched differently according to the emotion information
A method of extracting and transmitting emotion information based on camera shooting effect. 제1항에 있어서,
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는,
상기 진동은 미리 정해진 주기로 전달하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함하는
카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.The method according to claim 1,
Wherein the step of transmitting the vibration to the user through the user terminal comprises:
Wherein the vibration is transmitted in a predetermined period, and the period including a predetermined idle period
A method of extracting and transmitting emotion information based on camera shooting effect. 제1항에 있어서,
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는,
상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 하는
카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.The method according to claim 1,
Wherein the step of transmitting the vibration to the user through the user terminal comprises:
The vibration corresponding to the emotion information is repeatedly transmitted to the user so that the user can recognize the vibration corresponding to the emotion information through learning
A method of extracting and transmitting emotion information based on camera shooting effect. 사용자 간의 감정정보 추출 및 전달 방법에 있어서,
제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계;
상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계;
상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계; 및
상기 진동을 제2 사용자에게 전달하는 단계
를 포함하는 사용자 간의 감정정보 추출 및 전달 방법.A method for extracting and transmitting emotion information between users,
Extracting emotion information of a first user through a sensor of a first user terminal and coding the emotion information;
Transmitting the coded emotion information to a second user terminal through an emotion information transmitting unit of the first user terminal;
Switching to a corresponding vibration according to the received emotion information; And
Transmitting the vibration to a second user
And transmitting the emotion information to the user. 제6항에 있어서,
제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는,
상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출하는
사용자 간의 감정정보 추출 및 전달 방법.The method according to claim 6,
Wherein the step of extracting the emotion information of the first user through the sensor of the first user terminal and coding the emotion information comprises:
A signal of the user's heartbeat, heartbeat signal, balance, skin conductivity, excitation, and excitement is extracted through the sensor
A method for extracting and transmitting emotion information between users. 제6항에 있어서,
상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계는,
상기 수신된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
사용자 간의 감정정보 추출 및 전달 방법.The method according to claim 6,
Wherein the step of switching to the corresponding vibration according to the received emotion information comprises:
The amplitude and the time of the corresponding vibration are differently matched and switched according to the received emotion information
A method for extracting and transmitting emotion information between users. 감정정보 추출 및 전달 장치에 있어서,
비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신 받는 감정정보 수신부;
제1 사용자의 감정정보를 추출하기 위한 센서;
상기 추출된 감정정보를 코딩하는 코딩부;
상기 코딩된 제1 사용자의 감정정보를 제2 사용자에게 송신하는 감정정보 송신부; 및
상기 감정정보 수신부에서 수신된 감정정보에 따라 대응하는 진동으로 전환하는 진동 생성부
를 포함하는 감정정보 추출 및 전달 장치.An apparatus for extracting and transmitting emotion information,
The non-metabolic zone image is analyzed based on the camera shooting effect of the non-metabolic zone image, the non-metabolic zone image is analyzed according to a predetermined camera grammar, the extracted information is extracted and coded according to the analysis result, An emotion information receiving unit receiving information;
A sensor for extracting emotion information of a first user;
A coding unit for coding the extracted emotion information;
An emotion information transmitter for transmitting emotion information of the coded first user to a second user; And
And a vibration generating unit for converting the vibration into a corresponding vibration according to the feeling information received by the feeling information receiving unit,
And an emotion information extracting and transmitting unit. 제9항에 있어서,
상기 감정정보 수신부는,
상기 제1 사용자의 감정정보를 수신하는
감정정보 추출 및 전달 장치.10. The method of claim 9,
Wherein the emotion information receiver comprises:
Receiving the emotion information of the first user
Emotion information extraction and delivery device. 제9항에 있어서,
상기 진동 생성부는,
상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
감정정보 추출 및 전달 장치.10. The method of claim 9,
The vibration generating unit may include:
The amplitude and time of the corresponding vibration are matched differently according to the emotion information
Emotion information extraction and delivery device. 제9항에 있어서,
상기 진동 생성부는,
상기 진동을 미리 정해진 주기로 생성하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함하는
감정정보 추출 및 전달 장치.10. The method of claim 9,
The vibration generating unit may include:
And the vibration is generated at a predetermined period, and the predetermined interval including the predetermined idle period
Emotion information extraction and delivery device. 제9항에 있어서,
상기 진동 생성부는 햅틱 모터를 포함하고, 상기 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달하는
감정정보 추출 및 전달 장치.10. The method of claim 9,
The vibration generator includes a haptic motor, and transmits a corresponding vibration to the user according to emotion information through the haptic motor
Emotion information extraction and delivery device. 제9항에 있어서,
상기 센서는,
상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 추출하는
감정정보 추출 및 전달 장치.10. The method of claim 9,
The sensor includes:
Extracts signals of the user's heartbeat, heartbeat signal, balance, skin conductivity, excitation, and excitement
Emotion information extraction and delivery device.
KR1020140074097A 2014-06-18 2014-06-18 Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects KR101719868B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140074097A KR101719868B1 (en) 2014-06-18 2014-06-18 Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects
PCT/KR2015/005987 WO2015194807A1 (en) 2014-06-18 2015-06-15 Method and apparatus for extracting and transferring emotion information on basis of camera photography effect

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140074097A KR101719868B1 (en) 2014-06-18 2014-06-18 Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects

Publications (2)

Publication Number Publication Date
KR20150145292A true KR20150145292A (en) 2015-12-30
KR101719868B1 KR101719868B1 (en) 2017-03-27

Family

ID=54935738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140074097A KR101719868B1 (en) 2014-06-18 2014-06-18 Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects

Country Status (2)

Country Link
KR (1) KR101719868B1 (en)
WO (1) WO2015194807A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044714A (en) * 2018-10-19 2020-04-29 한국과학기술원 Method and apparatus of reproducing camera work

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7505491B2 (en) * 2019-06-28 2024-06-25 ソニーグループ株式会社 Information processing device, information processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (en) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> Apparatus, method and program for producing contents linked with external equipment, and apparatus, method and program for reproducing contents linked with external equipment
KR20100061582A (en) * 2008-10-08 2010-06-08 삼성전자주식회사 Apparatus and method for providing emotion expression service in mobile communication terminal
KR20110041065A (en) * 2009-10-15 2011-04-21 에스케이텔레콤 주식회사 System, server, terminal and method for delivering haptic contents during video call
KR101376148B1 (en) * 2009-03-10 2014-03-27 에스케이텔레콤 주식회사 Method for Transferring Vibration during Video Call and Mobile Communication Terminal therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295170A (en) * 2004-03-31 2005-10-20 Brother Ind Ltd Voice communication equipment
KR101314609B1 (en) * 2007-01-17 2013-10-07 엘지전자 주식회사 method for transmitting and receiving sentimental information and apparatus thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (en) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> Apparatus, method and program for producing contents linked with external equipment, and apparatus, method and program for reproducing contents linked with external equipment
KR20100061582A (en) * 2008-10-08 2010-06-08 삼성전자주식회사 Apparatus and method for providing emotion expression service in mobile communication terminal
KR101376148B1 (en) * 2009-03-10 2014-03-27 에스케이텔레콤 주식회사 Method for Transferring Vibration during Video Call and Mobile Communication Terminal therefor
KR20110041065A (en) * 2009-10-15 2011-04-21 에스케이텔레콤 주식회사 System, server, terminal and method for delivering haptic contents during video call

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044714A (en) * 2018-10-19 2020-04-29 한국과학기술원 Method and apparatus of reproducing camera work

Also Published As

Publication number Publication date
WO2015194807A1 (en) 2015-12-23
KR101719868B1 (en) 2017-03-27

Similar Documents

Publication Publication Date Title
US20220286728A1 (en) Information processing apparatus and information processing method, display equipped with artificial intelligence function, and rendition system equipped with artificial intelligence function
US10593167B2 (en) Crowd-based haptics
US9848244B2 (en) Method of providing user specific interaction using device and digital television (DTV), the DTV, and the user device
KR20200130231A (en) Direct live entertainment using biometric sensor data for detection of neural conditions
EP2795909B1 (en) Using haptic technologies to provide enhanced media experiences
US11113884B2 (en) Techniques for immersive virtual reality experiences
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
JP7254772B2 (en) Methods and devices for robot interaction
KR20020062325A (en) Virtual creature displayed on a television
KR101719868B1 (en) Method and Apparatus for Transmitting and Extracting of Emotion Information based on camera effects
US20230039530A1 (en) Automated generation of haptic effects based on haptics data
CN109804407B (en) Care maintenance system and server
Guedes et al. Subjective evaluation of 360-degree sensory experiences
JP2015185019A (en) External connection device of information communication device and program for external connection device of information communication device
WO2018083852A1 (en) Control device and recording medium
US20230224539A1 (en) Remote engagement system
KR101664144B1 (en) Method and System for providing stability by using the vital sound based smart device
KR102092920B1 (en) Apparatus and method for providing private contents based on user recognition
CN214587406U (en) Story teller for children
CN112150869A (en) Control method and device of child story machine, child story machine and service system
KR102668933B1 (en) Apparatus and method for providing customized service
US20220303636A1 (en) Providing dynamic media captioning and augmented/virtual reality feedback in home network environments
WO2023164730A1 (en) Remote engagement system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4