WO2015194807A1 - 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치 - Google Patents

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치 Download PDF

Info

Publication number
WO2015194807A1
WO2015194807A1 PCT/KR2015/005987 KR2015005987W WO2015194807A1 WO 2015194807 A1 WO2015194807 A1 WO 2015194807A1 KR 2015005987 W KR2015005987 W KR 2015005987W WO 2015194807 A1 WO2015194807 A1 WO 2015194807A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion information
user
vibration
extracting
transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/005987
Other languages
English (en)
French (fr)
Inventor
김지은
최경현
류호경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry University Cooperation Foundation IUCF HYU filed Critical Industry University Cooperation Foundation IUCF HYU
Publication of WO2015194807A1 publication Critical patent/WO2015194807A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Definitions

  • the present invention relates to a method and apparatus for extracting and transmitting emotion information of an image in a non-metabolism section in broadcast audio.
  • DVS Descriptive Video Service
  • Screen-narration broadcasting is a service where voice actors comment on changing scenes, expressions or gestures of characters, and images processed without dialogue in order to enhance the understanding and interest of visually-impaired people who are watching TV based only on sound.
  • screen commentary broadcasts are subjectively interpreted by the voice actors without any special rules, and it is almost impossible to continuously provide information such as the emotions of the characters and the mood of the scene.
  • most broadcast producers and distributors have not provided screen commentary broadcasts that are expensive and hinder the visually impaired TV immersion. 44% are enforcing a law that requires screen commentary. Therefore, high cost, low-efficiency screen commentary broadcasting is required.
  • An object of the present invention is to provide a method and apparatus for improving the limitation of the information of the visually impaired, in the case of the video material mainly visual information.
  • Descriptive Video Service (DVS) according to the prior art is often subjective interpretation of the voice actors without special rules, and it is impossible to continue to provide information such as the emotions of the characters, the mood of the scene that changes from time to time It is intended to provide a method and apparatus for ameliorating the problem.
  • the method for extracting and transmitting emotion information based on the camera photographing effect proposed by the present invention analyzes the non-metabol section image according to a predetermined camera grammar based on the camera photographing effect of the non-metabol section image. Extracting and coding the emotion information of the non-metabolized section image according to the analysis result, and receiving the coded emotion information through a user terminal, by corresponding vibration according to the emotion information received through the user terminal. Switching, and transmitting the vibration to the user through the user terminal.
  • the predetermined camera grammar may correspond to emotion information according to a camera photographing effect of the non-metabolized section image and an editing effect of the image.
  • the step of switching to the corresponding vibration according to the emotion information received through the user terminal may be switched by matching the amplitude and time of the corresponding vibration differently according to the emotion information.
  • the transmitting of the vibration to the user through the user terminal may include transmitting the vibration at a predetermined cycle, and may include a predetermined rest period between the cycles.
  • the transmitting of the vibration to the user through the user terminal may allow the user to recognize the vibration corresponding to the emotion information through learning by repeatedly transmitting the vibration corresponding to the emotion information to the user.
  • the method for extracting and transferring emotion information between users proposed by the present invention includes extracting emotion information of a first user and coding the emotion information through a sensor of a first user terminal. Transmitting the coded emotion information to a second user terminal through an emotion information transmitter of a terminal, converting the coded emotion information into a corresponding vibration according to the received emotion information, and transmitting the vibration to a second user. Can be.
  • Extracting the emotion information of the first user through the sensor of the first user terminal and coding the emotion information extracts the signals of the heartbeat, heart rate, balance, skin conductivity, stimulation, excitement of the user through the sensor can do.
  • the step of switching to the corresponding vibration according to the received emotion information may be switched by matching the amplitude and time of the corresponding vibration differently according to the received emotion information.
  • the apparatus for extracting and transmitting emotion information proposed by the present invention analyzes the non-metabol section image according to a predetermined camera grammar based on a camera photographing effect of the non-metabol section image, and analyzes the result of the analysis.
  • the emotion information receiving part of the non-metabol section image is extracted and coded, an emotion information receiving unit receiving the coded emotion information, a sensor for extracting emotion information of a first user, a coding unit coding the extracted emotion information;
  • An emotion information transmitter for transmitting the emotion information of the first user to the emotion information receiver of the second user may include a vibration generator for converting the emotion information of the first user into a corresponding vibration according to the emotion information received from the emotion information receiver.
  • the vibration generating unit may switch by matching the amplitude and time of the corresponding vibration differently according to the emotion information.
  • the vibration generating unit may generate the vibration at a predetermined cycle, and may include a predetermined rest period between the cycles.
  • the vibration generating unit may include a haptic motor, and transmit a corresponding vibration to the user according to the emotion information through the haptic motor.
  • the sensor may extract a signal of the user's heartbeat, heartbeat signal, balance, skin conductivity, stimulus, excitement.
  • high-cost, low-efficiency screen-narration broadcasting can be solved through camera effect grammar and emotional haptic pattern technology.
  • information such as the emotions of the characters, the mood of the scene that changes from time to time may be transmitted to the user through vibration.
  • FIG. 1 is a flowchart illustrating a method of extracting and transmitting emotion information based on a camera photographing effect according to an embodiment of the present invention.
  • FIG. 2 is an illustration for explaining emotion information extracted according to a camera grammar according to an embodiment of the present invention.
  • FIG. 3 is an illustration for explaining a process of switching to a corresponding vibration according to the emotion information according to an embodiment of the present invention.
  • FIG. 4 is an exemplary view of a device for extracting and transmitting emotion information according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of extracting and transferring emotion information between users according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining an operation of transmitting emotion information between users of the emotion information extraction and delivery apparatus according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining the configuration of the emotion information extraction and delivery apparatus according to an embodiment of the present invention.
  • the proposed method and apparatus for extracting and transmitting emotion information based on a camera photographing effect is a technology for extracting emotion information of an image in a non-metabolism section from broadcast audio and transmitting it as a non-verbal haptic pattern.
  • the method of extracting the emotion information from the image is 'Affective Cinematography', which is mainly used for the filmmakers to express the emotions of the actors.
  • a plurality of emotion information (joy, surprise, disgust, fear, warmth, sadness, etc.) may be extracted according to the 'angle'.
  • the emotion information extracted by analyzing various camera grammars is added to the broadcast signal, and a plurality of combinations of vibration amplitude, time, etc., called 'emotion vibrator', are performed through the Bluetooth communication technology of the user's terminal worn by the viewer. Emotions can be conveyed.
  • the 'emotion vibrator' technology uses the second user terminal to extract a plurality of emotion information of the first user extracted through the physiological signal analysis by the first user terminal near for the Bluetooth communication. This may be received and transmitted to the second user as a vibration.
  • FIG. 1 is a flowchart illustrating a method of extracting and transmitting emotion information based on a camera photographing effect according to an embodiment of the present invention.
  • the proposed method for extracting and transmitting emotion information based on the camera photographing effect analyzes the non-metabol section image according to a predetermined camera grammar based on the camera photographing effect of the non-metabol section image and the ratio according to the analysis result. Extracting and coding emotion information of a metabolic section image, receiving the coded emotion information through a user terminal 110, and converting the emotion information into corresponding vibrations according to the emotion information received through the user terminal 120. ), And transmitting the vibration to the user through the user terminal (130).
  • the non-metabolized section image may be analyzed according to a predetermined camera grammar based on the camera photographing effect of the non-metabolized section image.
  • the emotion information of the non-metabolized section image may be extracted and coded according to the analysis result. Completion of the coded emotion information may be received through the user terminal.
  • the predetermined camera grammar may correspond to the emotion information according to the camera shooting effect of the non-metabol section image and the editing effect of the image.
  • a method of extracting emotion information from an image may use camera shooting and editing effects, which are mainly used by an image producer to express an emotion of an actor by using 'affective cinematography'.
  • seven emotion information may be extracted according to the 'motion', 'frame', and 'angle' of the camera.
  • the seven emotion information may include emotion information of joy, surprise, disgust, fear, anger, sadness and tenderness.
  • Such emotion information is not limited to the embodiment only. For example, if the screen is shaken (motion: tilting), multiple screens pass quickly (frame: short shot), and the screen is angled (canted), the feeling of 'fear' It can be a basic grammar of photography to convey the.
  • FIG. 2 is an illustration for explaining emotion information extracted according to a camera grammar according to an embodiment of the present invention.
  • seven emotions that may be extracted according to a motion 211, a framing 212, and an angle 213 of camera effects 210 may be extracted. 220).
  • the extracted emotion information may be a joy 221.
  • the motion 211 is Vertigo, POV Object, Discover, the framing 212 is Fast, and the angle 213 is Canted angle, the extracted emotion information is surprise ( 222).
  • the extracted emotion information may be disgust 223.
  • the extracted emotion information is fear 224.
  • the motion 211 is a character dolly, expand dolly, the framing 212 is a close-up show, and the angle 213 is high-angle, the emotion information extracted is sad ( Sadness) (226).
  • the extracted emotion information is tender (227). May be).
  • the image producer may extract the emotion information of the image by using a camera photographing effect and an editing effect mainly used to express the emotion of the actor.
  • Emotion information extracted according to such a camera grammar is not limited only to the embodiment.
  • step 120 it may be switched to the corresponding vibration in accordance with the emotion information received through the user terminal.
  • the amplitude and time of the corresponding vibration may be differently matched and switched according to the emotion information.
  • the vibration corresponding to each emotion information may be transmitted at a predetermined cycle, and may include a predetermined rest period between the cycles. If the vibration is continuously transmitted without sufficient rest period, the vibration corresponding to the emotion information cannot be distinguished accurately.
  • FIG. 3 is an illustration for explaining a process of switching to a corresponding vibration according to the emotion information according to an embodiment of the present invention.
  • the emotion information of the non-metabolized section image may be extracted and received through the user terminal, and the coded emotion information may be converted into a corresponding vibration according to the emotion information.
  • emotion information of pleasure when emotion information of pleasure is extracted, it may be switched to vibration having a waveform of pleasure 310 of FIG. 3. In this case, the amplitude 311 and the time 312 of the corresponding vibration may be changed and matched according to the emotion information.
  • the waveform of enjoyment 310 has an amplitude 311 of 1.9 V, a time 312, in other words a period of 100 ms.
  • the waveform of the surprise 320 has an amplitude 311 of 1.9v and 2.8v, and can transmit the vibration of each amplitude sequentially for 5 seconds at a time 312 of 150ms and 650ms.
  • the vibration of the square wave shown in FIG. 3 is not limited to the exemplary embodiment, and may have a vibration pattern of another type such as a linear wave, a sine wave, a triangular wave, and the like.
  • the vibration corresponding to each emotion information may be transmitted at a predetermined cycle, and may include a predetermined rest period between the cycles. If the vibration is continuously transmitted without sufficient rest period, the vibration corresponding to the emotion information cannot be distinguished accurately.
  • the vibration may be transmitted to the user through the user terminal.
  • the user can recognize the vibration corresponding to the emotion information through learning.
  • the emotion information extracted by analyzing the various camera grammars is added to the broadcast signal, and a plurality of emotions can be transmitted through a combination of amplitude, time, and the like of the 'emotional vibration' through the Bluetooth communication technology worn by the viewer. .
  • a more immersive TV viewing experience can be provided to the visually impaired.
  • FIG. 4 is an exemplary view of a device for extracting and transmitting emotion information according to an embodiment of the present invention.
  • the apparatus for extracting and transmitting emotion information may include a sensor 410, a haptic motor 420, a blue tooth 430, an on / off & pairing button 440, and a battery 450. .
  • the sensor 410 may include a PPG (Photopletymography) 411 sensor and an EDA (Electrodermal Activity) 412 sensor.
  • a PPG (Photopletymography) sensor 411 may sense a heart rate, a heart rate signal (HRV), a balance, and the like.
  • the EDA (Electrodermal Activity) 412 sensor can sense skin conductance, arousal, excitement, and the like.
  • the apparatus for extracting and transmitting emotion information may use the sensor to extract and transmit emotion information between users.
  • the emotion information may be transmitted and received using the Bluetooth 430, and the received emotion information may be transmitted to the user by vibration using the haptic motor 420.
  • the on / off & pairing button 440 may be used to control power and pairing, and may include a battery 450 for power supply. Another embodiment of the apparatus for extracting and transmitting emotion information will be described in more detail with reference to FIGS. 5 to 6.
  • FIG. 5 is a flowchart illustrating a method of extracting and transferring emotion information between users according to an embodiment of the present invention.
  • the method for extracting and transferring emotion information between users extracting emotion information of a first user through a sensor of a first user terminal and coding the emotion information (510), the coding is performed through the emotion information transmitter of the first user terminal. Transmitting the received emotion information to the second user terminal (520), converting the corresponding emotion information into a corresponding vibration according to the received emotion information (530), and transmitting the vibration to the second user (540). Can be.
  • the emotion information of the first user may be extracted through the sensor of the first user terminal, and the emotion information may be coded.
  • a user's heartbeat, heartbeat signal, balance, skin conductivity, stimulus, and excitation signals may be extracted through the sensor.
  • the sensor may include a PPG (Photopletymography) sensor and an EDA (Electrodermal Activity) sensor.
  • a PPG (Photopletymography) sensor may sense a heart rate, a heart rate signal (HRV), a balance, and the like.
  • An EDA (Electrodermal Activity) sensor can sense skin conductance, arousal, excitement, and the like.
  • the coded emotion information may be transmitted to the second user terminal through the emotion information transmitter of the first user terminal.
  • the amplitude and time of the corresponding vibration may be differently matched and switched according to the coded emotion information.
  • step 530 it may be switched to the corresponding vibration in accordance with the received emotion information.
  • the amplitude and time of the corresponding vibration may be differently matched and switched according to the coded emotion information.
  • the vibration may be transmitted to the second user.
  • the proposed method and apparatus for extracting and transmitting emotion information based on the camera shooting effect is not only a technology for the visually impaired, but also for those who cannot accurately convey their emotions to easily convey their emotions. Can be used.
  • FIG. 6 is a view for explaining an operation of transmitting emotion information between users of the emotion information extraction and delivery apparatus according to an embodiment of the present invention.
  • the first user may wear the first user terminal 610 to extract and transmit emotion information, and transmit the emotion vibration of the first user to the second user terminal 620 through the Bluetooth 630 as described above.
  • an infant may wear an emotion information extraction and delivery device, and may transmit an emotion vibration to a mother. It is difficult for most mothers to know in advance what emotions are difficult for children to express, such as whether young children are doing well in kindergarten or if their child is alienated and depressed or sad. However, many accidents can be prevented through the proposed method and device for extracting and transmitting emotional information.
  • the emotion information extraction and delivery device may measure the child's biosignal and analyze the current emotional state, stress level, etc. of the child and provide the information to the mother or guardian wearing the emotion information extraction and delivery device.
  • This technology can be used as a future technology for dementia and adult care services, and can be used as a new family strengthening service for busy children.
  • FIG. 7 is a view for explaining the configuration of the emotion information extraction and delivery apparatus according to an embodiment of the present invention.
  • the apparatus for extracting and transmitting emotion information may include an emotion information receiver 710, a vibration generator 720, an emotion information transmitter 730, a sensor 740, and a coding unit 750.
  • the emotion information receiving unit 710 analyzes the non-metabol section image according to a predetermined camera grammar based on the camera photographing effect of the non-metabol section image, and extracts the emotion information of the non-metabol section image according to the analysis result. Coding, and receives the coded emotion information.
  • the emotion information receiver 710 of the second user terminal may receive the emotion information of the first user from the first user terminal.
  • the vibration generator 720 may switch to the corresponding vibration according to the emotion information received by the emotion information receiver 710. At this time, the amplitude and time of the corresponding vibration may be differently matched and switched according to the emotion information.
  • the vibration may be generated at a predetermined cycle according to the emotion information, and may include a predetermined rest period between the cycles.
  • the vibration generating unit 720 may include a haptic motor, and transmit a corresponding vibration to the user according to the emotion information through the haptic motor.
  • the emotion information transmitter 730 may transmit the coded emotion information of the first user to the second user. For example, by transmitting the emotion information of the first user to the emotion information receiver of the second user through Bluetooth, it is possible to extract and transmit emotion information between users.
  • the sensor 740 may extract emotion information of the first user.
  • the sensor 740 may extract a signal of the first user's heartbeat, heartbeat signal, balance, skin conductivity, stimulus, excitement, and the like.
  • the sensor may include a PPG (Photopletymography sensor) and an EDA (Electrodermal Activity) sensor.
  • the PPG (Photopletymography) sensor may sense a heart rate, a heart rate signal (HRV), a balance, and the like.
  • the EDA (Electrodermal Activity) sensor can sense skin conductance, arousal, excitement, etc.
  • the emotion information extraction and transmission device is based on the above-mentioned camera shooting effect. In addition to information extraction and transmission, the sensor may be used to extract and transmit emotion information between users.
  • the coding unit 750 may code the emotion information extracted by the sensor 740. For example, after the emotion information of the first user is coded through the coding unit 750, the coded emotion information of the first user may be transmitted to the second user terminal through the emotion information transmitter 710.
  • the proposed method and device for extracting and transmitting emotion information based on the camera shooting effect improve the limitation of screen description broadcasting provided for the visually impaired and extracting the emotional information for the visually impaired. Analyze the image and convey the emotion. In addition, based on PPG and EDA physiological signals, it is possible to extract and transfer emotions between users.
  • the proposed method may be in a wearable form, and the emotion information may be reinterpreted through haptic parameter transformation and transmitted in the form of vibration.
  • the viewing experience of 4DX feeling enjoyed at home in the future may be possible.
  • Many visually impaired people are frequently looking for movie theaters that offer 4DX despite the difficulty of viewing.
  • haptics deliver immersive viewing experiences by delivering information that cannot be provided in dialogue or audio information.
  • the proposed method can be used to improve this problem and to watch TV at home.
  • haptic broadcasting that post-analyzes the video based on rules according to an embodiment of the present invention is possible.
  • the elderly and children in other places can exchange emotion information.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치가 제시된다. 본 발명에서 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계를 포함할 수 있다.

Description

카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치
본 발명은 방송 오디오에서 비대사 구간에 영상의 감정정보를 추출하고, 이를 전달하는 방법 및 장치에 관한 것이다.
TV를 자유롭게 시청하는 비장애인들과 달리, 시각정보가 주가 되는 영상물의 경우, 시각장애인들의 정보의 한계는 심각하다. 일부 선진 방송국은 이런 비대사 연기에 대한 시각장애인의 불편함을 해소하기 위해 화면해설방송 (Descriptive Video Service: DVS)를 지원하고 있다. 화면해설방송이란 소리에만 의존하여 TV를 시청하는 시각장애인들에게 영상에 대한 이해와 흥미를 높이기 위하여, 장면의 전환, 등장인물의 표정이나 몸짓, 대사 없이 처리되는 영상 등을 성우가 해설하는 서비스이다. 하지만, 현재 제공되고 있는 대부분의 화면해설방송은 특별한 규칙 없이 성우의 주관적 해석을 입힌 경우가 대부분이고, 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 계속 제공하는 것이 거의 불가능하다. 따라서 대부분의 방송 제작사와 보급사에서는 비용도 비싸고, 시각장애인의 TV몰입에 오히려 방해가 되는 화면해설방송을 제공하지 않아 왔으나, 최근 미국과 영국에서는 화면해설방송을 법제화하여 2014년부터 전체 TV 프로그램의 44%에 화면해설을 지원해야 한다는 법안을 시행 중이다. 따라서, 이에 대비하여 고비용, 저효율 화면해설방송을 필요로 한다.
본 발명이 이루고자 하는 기술적 과제는 시각정보가 주가 되는 영상물의 경우, 시각장애인들의 정보의 한계를 개선하기 위한 방법 및 장치를 제공하는데 있다. 종래기술에 따른 화면해설방송 (Descriptive Video Service: DVS)는 특별한 규칙 없이 성우의 주관적 해석을 입힌 경우가 대부분이고, 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 계속 제공하는 것이 불가능하여 이러한 문제점을 개선하기 위한 방법 및 장치를 제공하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계를 포함할 수 있다.
상기 미리 정해진 카메라문법은 상기 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응될 수 있다.
상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계는 상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는 상기 진동은 미리 정해진 주기로 전달하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다.
상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는 상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 사용자 간의 감정정보 추출 및 전달 방법은 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계, 상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계, 상기 진동을 제2 사용자에게 전달하는 단계를 포함할 수 있다.
제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는 상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출할 수 있다.
상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계는 상기 수신된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 감정정보 추출 및 전달 장치는 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신 받는 감정정보 수신부, 제1 사용자의 감정정보를 추출하기 위한 센서, 상기 추출된 감정정보를 코딩하는 코딩부, 상기 제1 사용자의 감정정보를 제2 사용자의 감정정보 수신부로 송신하는 감정정보 송신부, 상기 감정정보 수신부에서 수신된 감정정보에 따라 대응하는 진동으로 전환하는 진동 생성부를 포함할 수 있다.
상기 진동 생성부는 상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
상기 진동 생성부는 상기 진동을 미리 정해진 주기로 생성하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다.
상기 진동 생성부는 햅틱 모터를 포함하고, 상기 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달할 수 있다.
상기 센서는 상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 추출할 수 있다.
본 발명의 실시예들에 따르면 고비용, 저효율 화면해설방송을 카메라효과 문법과 감정 햅틱 패턴기술을 통해 해결할 수 있다. 다시 말해, 영상물의 수시로 변하는 등장인물의 감정, 장면의 분위기 등의 정보를 진동을 통해 사용자에게 전달할 수 있다. 뿐만 아니라, 제안하는 감정정보 추출 및 전달 장치를 통해 사용자 간의 감정정보 추출 및 전달이 가능하다.
도 1은 본 발명의 일 실시예에 따른 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 카메라문법에 따라 추출된 감정정보를 설명하기 위한 예시이다.
도 3은 본 발명의 일 실시예에 따른 감정정보에 따라 대응하는 진동으로 전환하는 과정을 설명하기 위한 예시이다.
도 4는 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 간의 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 사용자 간의 감정정보를 전달하는 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 구성을 설명하기 위한 도면이다.
제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 방송 오디오에서 비대사 구간에 영상의 감정정보를 추출하고, 이를 비언어적 방식인 햅틱 패턴으로 전달하는 기술이다.
영상에서 감정정보를 추출하는 방법은 '어펙티브 시네마토그래피(Affective Cinematography)'로 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과, 예를 들어 카메라의 '모션', '프레임', '각도'에 따라 복수의 감정정보(기쁨, 놀람, 혐오, 공포, 따뜻함, 슬픔 등)를 추출할 수 있다. 이러한 다양한 카메라문법을 분석하여 추출한 감정정보는 방송신호에 덧붙여져서, 시청자가 착용하는 사용자단말의 블루투스 통신기술을 통해 '감정 진동(Emotive vibrator)'이라고 하는 진동의 진폭, 시간 등의 조합으로 복수의 감정이 전달될 수 있다. '감정 진동(Emotive vibrator)' 기술은 영상정보에서 추출된 감정정보의 입력 이외에도 블루투스 통신을 위해 가까이 있는 제1 사용자 단말이 생리신호분석을 통해 추출한 제1 사용자의 복수의 감정정보를 제2 사용자 단말이 수신 받아 제2 사용자에게 진동으로 전달될 수도 있다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법은 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계(110), 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계(120), 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계(130)를 포함할 수 있다.
단계(110)에서, 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석할 수 있다. 그리고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩 할 수 있다. 이수, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받을 수 있다. 이때, 미리 정해진 카메라문법은 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응될 수 있다.
예를 들어, 영상에서 감정정보를 추출하는 방법은 '어펙티브 시네마토그래피(Affective Cinematography)'로 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과를 이용할 수 있다. 실시예에 따르면, 카메라의 '모션', '프레임', '각도'에 따라 7가지 감정정보를 추출할 수 있다. 이때, 7가지 감정정보는 즐거움(joy), 놀람(surprise), 혐오감(disgust), 두려움(fear), 화남(anger), 슬픔(sadness) 다정함(tender) 의 감정정보를 포함할 수 있고, 이러한 감정정보는 실시예일뿐 한정되지 않는다. 예를 들어, 화면이 떨리면서(모션: Tilting), 여러 화면이 빠르게 지나가고(프레임: short shot), 화면각도가 비스듬한 상태(각도: Canted)로 구성되는 영상의 경우, '두려움(fear)'이라는 감정을 전달하기 위한 촬영의 기본문법일 수 있다.
도 2를 참조하여 카메라문법에 따라 추출된 감정정보를 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 카메라문법에 따라 추출된 감정정보를 설명하기 위한 예시이다.
도 2를 참조하면, 카메라촬영효과(camera effects)(210)의 모션(motion)(211), 프레임(framing)(212), 각도(angle)(213)에 따라 추출할 수 있는 7가지 감정(220)을 나타내었다.
예를 들어, 모션(motion)(211)이 Whip-pan with a bouncy motion이고, 프레임(framing)(212)이 Full or medium일 경우, 추출되는 감정정보는 즐거움(joy)(221)일 수 있다.
모션(motion)(211)이 Vertigo, POV Object, Discover이고, 프레임(framing)(212)이 Fast이고, 각도(angle)(213)가 Canted angle일 경우, 추출되는 감정정보는 놀람(surprise)(222)일 수 있다.
모션(motion)(211)이 Pan이고, 프레임(framing)(212)이 Close-up일 경우, 추출되는 감정정보는 혐오감(disgust)(223)일 수 있다.
모션(motion)(211)이 Tilt, Inventory POV, Dark voyeur이고, 프레임(framing)(212)이 Shot이고, 각도(angle)(213)가 Canted angle일 경우, 추출되는 감정정보는 두려움(Fear)(224)일 수 있다.
모션(motion)(211)이 abrupt cuts, Tension to camera이고, 프레임(framing)(212)이 Close-up Shot이고, 각도(angle)(213)가 Low-Angle일 경우, 추출되는 감정정보는 화남(Anger)(225)일 수 있다.
모션(motion)(211)이 character Dolly, Expand Dolly이고, 프레임(framing)(212)이 Close-up Show이고, 각도(angle)(213)가 High-Angle일 경우, 추출되는 감정정보는 슬픔(Sadness)(226)일 수 있다.
모션(motion)(211)이 Draw in이고, 프레임(framing)(212)이 Long shot이고, 각도(angle)(213)가 High-Angle일 경우, 추출되는 감정정보는 다정함(Tender)(227)일 수 있다.
이와 같이 영상제작자가 연기자의 감정을 표현하는데 주로 사용되는 카메라촬영효과 및 편집효과를 이용하여 영상의 감정정보를 추출할 수 있다. 이러한 카메라문법에 따라 추출되는 감정정보는 실시예일뿐 한정되지 않는다.
단계(120)에서, 상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. 그리고, 각 감정정보에 따라 대응하는 진동은 미리 정해진 주기로 전달하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 만약 충분한 휴지기간 없이 진동을 연속적으로 전달할 경우, 감정정보에 대응하는 진동을 정확하게 구분할 수 없기 때문이다.
도 3을 참조하여, 감정정보에 따라 대응하는 진동으로 전환하는 과정을 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 감정정보에 따라 대응하는 진동으로 전환하는 과정을 설명하기 위한 예시이다.
비대사 구간 영상의 감정정보를 추출하여 코딩된 감정정보를 사용자 단말을 통해 수신 받아, 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 예를 들어, 즐거움의 감정정보가 추출되었을 경우, 도 3의 즐거움(310)의 파형을 갖는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭(311), 시간(312)을 다르게 매칭하여 전환할 수 있다.
예를 들어, 즐거움(310)의 파형은 진폭(311)이 1.9V이고, 시간(312), 다시 말해 주기가 100ms이다. 또한, 놀람(320)의 파형은 진폭(311)이 1.9v와 2.8v이고, 각 진폭의 진동을 150ms 와 650ms의 시간(312)씩 순차적으로 5초간 전달해 줄 수 있다.
도 3에 나타낸 구형파의 진동은 실시예일뿐 한정되지 않고, 선형파, 사인파, 삼각파 등 이와 다른 형태의 진동 패턴을 가질 수 있다.
이러한 방법으로 놀람(320), 혐오감(330), 두려움(340), 화남(350), 슬픔(360), 다정함(370)의 감정정보에 따라 대응하는 진동의 진폭(311), 시간(312)을 다르게 매칭함으로써, 각 감정정보 마다 고유의 진동패턴을 갖도록 할 수 있다.
그리고, 각 감정정보에 따라 대응하는 진동은 미리 정해진 주기로 전달하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 만약 충분한 휴지기간 없이 진동을 연속적으로 전달할 경우, 감정정보에 대응하는 진동을 정확하게 구분할 수 없기 때문이다.
단계(130)에서, 상기 진동을 상기 사용자 단말을 통해 사용자에게 전달할 수 있다. 상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 할 수 있다. 다시 말해, 이러한 다양한 카메라문법을 분석해 추출한 감정정보는 방송신호에 덧붙여져서, 시청자가 착용하는 블루투스 통신기술을 통해 '감정 진동'이라는 진동의 진폭, 시간 등의 조합으로 복수의 감정이 전달될 수 있다. 이러한 진동정보를 전달하여 더욱 몰입감 있는 TV시청 경험을 시각장애인에게 제공해 줄 수 있다.
도 4는 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 예시도이다.
감정정보 추출 및 전달 장치는 센서(410), 햅틱 모터(haptic motor)(420), 블루투스(blue tooth)(430), on/off & 페어링 버튼(440), 배터리(450)을 포함할 수 있다.
센서(410)는 PPG(Photopletymography)(411) 센서와 EDA(Electrodermal Activity)(412) 센서를 포함할 수 있다. PPG(Photopletymography)(411) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity)(412) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. 감정정보 추출 및 전달 장치는 앞서 설명한 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 이외에도 이러한 센서를 이용사여 사용자간의 감정정보 추출 및 전달을 수행할 수 있다.
감정정보는 블루투스(430)를 이용하여 송수신할 수 있고, 수신한 감정정보는 햅틱 모터(420)를 이용하여 사용자에게 진동으로 전달될 수 있다. 또한 on/off & 페어링 버튼(440)을 이용하여 전원 및 페어링을 제어할 수 있고, 전원 공급을 위한 배터리(450)를 포함할 수 있다. 이러한 감정정보 추출 및 전달 장치의 또 다른 실시예에 대하여 도 5 내지 6을 참조하여 더욱 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 사용자 간의 감정정보 추출 및 전달 방법을 설명하기 위한 흐름도이다.
사용자 간의 감정정보 추출 및 전달 방법은 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계(510), 상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계(520), 상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계(530), 상기 진동을 제2 사용자에게 전달하는 단계(540)를 포함할 수 있다.
단계(510)에서, 제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩할 수 있다. 이때, 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출할 수 있다. 센서는 PPG(Photopletymography) 센서와 EDA(Electrodermal Activity) 센서를 포함할 수 있다. PPG(Photopletymography) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다.
단계(520)에서, 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신할 수 있다. 이때, 코딩된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
단계(530)에서, 상기 수신된 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 코딩된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다.
단계(540)에서, 상기 진동을 제2 사용자에게 전달할 수 있다. 다시 말해, 제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 시각장애인들만을 위한 기술만이 아니라, 자신의 감정을 정확하게 전달할 수 없는 사람들도 아주 쉽게 자신의 감정을 전달하기 위해 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 사용자 간의 감정정보를 전달하는 동작을 설명하기 위한 도면이다.
제1 사용자가 감정정보 추출 및 전달을 위해 제1 사용자 단말(610)을 착용하고, 앞서 설명한 감정 진동을 블루투스(630)를 통해 제2 사용자 단말(620)로 제1 사용자의 감정정보를 전달할 수 있다. 예를 들어, 영유아가 감정정보 추출 및 전달 장치를 착용하고, 감정 진동을 엄마에게 전달할 수 있다. 대다수의 엄마들이 영유아들이 유치원에서 잘 활동하고 있는지, 혹시 아이가 다른 아이들에게 소외를 당해 우울하거나 슬프지는 않은지 등 아이들이 표현하기 힘든 감정을 미리 알기 힘들다. 하지만 제안하는 감정정보 추출 및 전달 방법 및 장치를 통해 많은 사고들을 미연에 예방할 수 있다.
감정정보 추출 및 전달 장치는 아이의 생체신호를 측정하여 현재 아이의 감정상태, 스트레스 수준 등을 분석하여 감정정보 추출 및 전달 장치를 착용하고 있는 엄마나 보호자에게 제공할 수 있다. 이러한 기술은 치매나 어른 돌봄이 서비스 등에 있어서 미래기술로서 활용가능하고 생업에 바쁜 자식들을 위한 새로운 가족간의 유대강화 서비스로 활용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 감정정보 추출 및 전달 장치의 구성을 설명하기 위한 도면이다.
감정정보 추출 및 전달 장치는 감정정보 수신부(710), 진동 생성부(720), 감정정보 송신부(730), 센서(740), 코딩부(750)를 포함할 수 있다.
감정정보 수신부(710)는 비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신할 수 있다. 또한, 제2 사용자 단말의 감정정보 수신부(710)는 제1 사용자 단말로부터 제1 사용자의 감정정보를 수신할 수 있다.
진동 생성부(720)는 감정정보 수신부(710)에서 수신한 감정정보에 따라 대응하는 진동으로 전환할 수 있다. 이때, 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환할 수 있다. 그리고, 감정정보에 따라 대응하는 진동을 미리 정해진 주기로 생성하고, 주기 사이에는 미리 정해진 휴지기간을 포함할 수 있다. 또한, 진동 생성부(720)는 햅틱 모터를 포함하고, 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달할 수 있다.
감정정보 송신부(730)는 코딩된 제1 사용자의 감정정보를 제2 사용자에게 송신할 수 있다. 예를 들어, 블루투스를 통해 제1 사용자의 감정정보를 제2 사용자의 감정정보 수신부로 송신함으로써 사용자 간의 감정정보 추출 및 전달이 가능하다.
센서(740)는 제1 사용자의 감정정보를 추출할 수 있다. 센서(740)는 제1 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분 등의 신호를 추출할 수 있다. 예를 들어, 센서는 PPG(Photopletymography센서와 EDA(Electrodermal Activity) 센서를 포함할 수 있다. PPG(Photopletymography) 센서는 심장박동(heart rate), 심박신호(HRV), 밸런스(valence) 등을 센싱 할 수 있다. EDA(Electrodermal Activity) 센서는 피부 전도도(skin conductance), 자극(arousal), 흥분(excitement) 등을 센싱 할 수 있다. 감정정보 추출 및 전달 장치는 앞서 설명한 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 이외에도 이러한 센서를 이용사여 사용자간의 감정정보 추출 및 전달을 수행할 수 있다.
코딩부(750)는 센서(740)에서 추출된 감정정보를 코딩할 수 있다. 예를 들어, 제1 사용자의 감정정보를 코딩부(750)를 통해 코딩한 후, 코딩된 제1 사용자의 감정정보를 감정정보 송신부(710)를 통해 제2 사용자 단말로 송신할 수 있다.
제안하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치는 화면해설방송 저작을 위한 감정정보 추출, 시각장애인들을 위해 제공되는 화면해설방송의 한계를 개선하여 카메라 문법을 통해 정형화된 형식으로 영상을 분석하고, 해당감정을 전달할 수 있다. 또한, PPG와 EDA 생리신호를 기반으로 사용자간의 감정 추출 및 전달이 가능하다. 또한, 제안하는 방법은 웨어러블 형태로, 감정정보를 햅틱 패러미터 변형을 통해 재해석하여 진동의 형태로 전달할 수 있다.
따라서, 향후 집에서 즐기는 4DX느낌의 시청 경험이 가능해질 수 있다. 많은 시각장애인들이 영상시청의 어려움에도 불구하고 4DX를 제공하는 영화관을 자주 찾고 있다. 햅틱이 대사 혹은 오디오정보에서 제공하지 못하는 정보를 전달하여 몰입감 있는 시청경험을 주기 때문이다. 제안하는 방법을 통해 이러한 문제점을 개선하고 가정에서 TV를 시청할 때 활용할 수 있다. 또한, 기존의 영상과 시각정보중심의 방송제작 및 전송에서, 본 발명의 실시예에 따른 규칙기반으로 영상을 후분석한 햅틱 브로드캐스팅이 가능하다. 또한, 가족간의 유대를 강화하고 감정변화에 따른 안전사고를 미연에 방지하기 위해 부모와 아이, 타지에 있는 노약자와 자식들이 감정정보를 주고받을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법에 있어서,
    비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 사용자 단말을 통해 수신 받는 단계;
    상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계; 및
    상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계
    를 포함하는 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  2. 제1항에 있어서,
    상기 미리 정해진 카메라문법은,
    상기 비대사 구간 영상의 카메라촬영효과 및 상기 영상의 편집효과에 따라 감정정보가 대응되는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  3. 제1항에 있어서,
    상기 사용자 단말을 통해 수신된 상기 감정정보에 따라 대응하는 진동으로 전환하는 단계는,
    상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  4. 제1항에 있어서,
    상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는,
    상기 진동은 미리 정해진 주기로 전달하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함하는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  5. 제1항에 있어서,
    상기 진동을 상기 사용자 단말을 통해 사용자에게 전달하는 단계는,
    상기 사용자에게 상기 감정정보에 대응하는 진동을 반복적으로 전달 함으로써 상기 사용자가 학습을 통해 상기 감정정보에 대응하는 진동을 인지하도록 하는
    카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법.
  6. 사용자 간의 감정정보 추출 및 전달 방법에 있어서,
    제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계;
    상기 제1 사용자 단말의 감정정보 송신부를 통해 상기 코딩된 감정정보를 제2 사용자 단말로 송신하는 단계;
    상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계; 및
    상기 진동을 제2 사용자에게 전달하는 단계
    를 포함하는 사용자 간의 감정정보 추출 및 전달 방법.
  7. 제6항에 있어서,
    제1 사용자 단말의 센서를 통해 제1 사용자의 감정정보를 추출하고 상기 감정정보를 코딩하는 단계는,
    상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 상기 센서를 통해 추출하는
    사용자 간의 감정정보 추출 및 전달 방법.
  8. 제6항에 있어서,
    상기 수신된 감정정보에 따라 대응하는 진동으로 전환하는 단계는,
    상기 수신된 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
    사용자 간의 감정정보 추출 및 전달 방법.
  9. 감정정보 추출 및 전달 장치에 있어서,
    비대사 구간 영상의 카메라촬영효과를 기반으로 하여 미리 정해진 카메라문법에 따라 상기 비대사 구간 영상을 분석하고, 상기 분석 결과에 따라 상기 비대사 구간 영상의 감정정보를 추출하여 코딩하고, 상기 코딩된 감정정보를 수신 받는 감정정보 수신부;
    제1 사용자의 감정정보를 추출하기 위한 센서;
    상기 추출된 감정정보를 코딩하는 코딩부;
    상기 코딩된 제1 사용자의 감정정보를 제2 사용자에게 송신하는 감정정보 송신부; 및
    상기 감정정보 수신부에서 수신된 감정정보에 따라 대응하는 진동으로 전환하는 진동 생성부
    를 포함하는 감정정보 추출 및 전달 장치.
  10. 제9항에 있어서,
    상기 감정정보 수신부는,
    상기 제1 사용자의 감정정보를 수신하는
    감정정보 추출 및 전달 장치.
  11. 제9항에 있어서,
    상기 진동 생성부는,
    상기 감정정보에 따라 대응하는 진동의 진폭, 시간을 다르게 매칭하여 전환하는
    감정정보 추출 및 전달 장치.
  12. 제9항에 있어서,
    상기 진동 생성부는,
    상기 진동을 미리 정해진 주기로 생성하고, 상기 주기 사이에는 미리 정해진 휴지기간을 포함하는
    감정정보 추출 및 전달 장치.
  13. 제9항에 있어서,
    상기 진동 생성부는 햅틱 모터를 포함하고, 상기 햅틱 모터를 통해 감정정보에 따라 대응하는 진동을 사용자에게 전달하는
    감정정보 추출 및 전달 장치.
  14. 제9항에 있어서,
    상기 센서는,
    상기 사용자의 심장박동, 심박신호, 밸런스, 피부 전도도, 자극, 흥분의 신호를 추출하는
    감정정보 추출 및 전달 장치.
PCT/KR2015/005987 2014-06-18 2015-06-15 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치 Ceased WO2015194807A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0074097 2014-06-18
KR1020140074097A KR101719868B1 (ko) 2014-06-18 2014-06-18 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2015194807A1 true WO2015194807A1 (ko) 2015-12-23

Family

ID=54935738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005987 Ceased WO2015194807A1 (ko) 2014-06-18 2015-06-15 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101719868B1 (ko)
WO (1) WO2015194807A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114008566A (zh) * 2019-06-28 2022-02-01 索尼集团公司 信息处理装置、信息处理方法和程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102464944B1 (ko) * 2018-10-19 2022-11-09 한국과학기술원 카메라 워크를 재현하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2005295170A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 音声通信装置
KR20100061582A (ko) * 2008-10-08 2010-06-08 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
KR101314609B1 (ko) * 2007-01-17 2013-10-07 엘지전자 주식회사 감성 정보 송수신 방법 및 감성 정보 송수신 장치
KR101376148B1 (ko) * 2009-03-10 2014-03-27 에스케이텔레콤 주식회사 영상 통화 중 진동을 전달하기 위한 방법과 이를 위한 이동통신 단말기

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110041065A (ko) * 2009-10-15 2011-04-21 에스케이텔레콤 주식회사 영상통화 중 햅틱컨텐츠 전달 시스템, 서버, 단말기 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2005295170A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 音声通信装置
KR101314609B1 (ko) * 2007-01-17 2013-10-07 엘지전자 주식회사 감성 정보 송수신 방법 및 감성 정보 송수신 장치
KR20100061582A (ko) * 2008-10-08 2010-06-08 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
KR101376148B1 (ko) * 2009-03-10 2014-03-27 에스케이텔레콤 주식회사 영상 통화 중 진동을 전달하기 위한 방법과 이를 위한 이동통신 단말기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114008566A (zh) * 2019-06-28 2022-02-01 索尼集团公司 信息处理装置、信息处理方法和程序
US12101576B2 (en) 2019-06-28 2024-09-24 Sony Group Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
KR20150145292A (ko) 2015-12-30
KR101719868B1 (ko) 2017-03-27

Similar Documents

Publication Publication Date Title
US20210344991A1 (en) Systems, methods, apparatus for the integration of mobile applications and an interactive content layer on a display
US9848244B2 (en) Method of providing user specific interaction using device and digital television (DTV), the DTV, and the user device
KR20200130231A (ko) 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
JP7254772B2 (ja) ロボットインタラクションのための方法及びデバイス
CN112840294B (zh) 信息处理装置、信息处理方法和程序
WO2017122957A1 (ko) 디스플레이장치 및 그 제어방법
US20150077234A1 (en) System of wearable devices with sensors for synchronization of body motions based on haptic prompts
KR20230039768A (ko) 촬영 방법, 장치, 전자기기 및 컴퓨터 판독 가능 저장매체
US11173375B2 (en) Information processing apparatus and information processing method
WO2018207768A1 (ja) 動画の配信方法
WO2011071206A1 (ko) 상황과 문맥 정보에 기반한 사용자 맞춤형 콘텐츠를 생성하는 방법 및 장치
WO2015194807A1 (ko) 카메라촬영효과를 기반으로 한 감정정보 추출 및 전달 방법 및 장치
Oskooyee et al. Neuro movie theatre: A real-time internet-of-people based mobile application
WO2020235749A1 (ko) 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US20170246534A1 (en) System and Method for Enhanced Immersion Gaming Room
Tennent et al. The machine in the ghost: augmenting broadcasting with biodata
CN113875227A (zh) 信息处理设备、信息处理方法和程序
WO2016204334A1 (ko) 실감형 인터랙티브 콘텐츠에 기반한 운동시스템 및 그 방법
JP2025049065A (ja) システム
CN108777165A (zh) 一种评测社交状态的方法及装置
WO2024025877A1 (en) Data collection device
KR20140006424A (ko) 음원기반 체감진동 구현방법
WO2023101373A1 (ko) 영상 플레이어 상에서의 콘텐츠 변환 장치 및 방법
CN214587406U (zh) 一种儿童故事机
JP2023138127A (ja) 運動支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15809790

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15809790

Country of ref document: EP

Kind code of ref document: A1