WO2020159093A1 - 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 - Google Patents

생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 Download PDF

Info

Publication number
WO2020159093A1
WO2020159093A1 PCT/KR2020/000255 KR2020000255W WO2020159093A1 WO 2020159093 A1 WO2020159093 A1 WO 2020159093A1 KR 2020000255 W KR2020000255 W KR 2020000255W WO 2020159093 A1 WO2020159093 A1 WO 2020159093A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
partial content
data
biometric data
highlight image
Prior art date
Application number
PCT/KR2020/000255
Other languages
English (en)
French (fr)
Inventor
이홍구
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to JP2021539378A priority Critical patent/JP2022516640A/ja
Priority to US17/420,138 priority patent/US20220067376A1/en
Publication of WO2020159093A1 publication Critical patent/WO2020159093A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Definitions

  • the present invention provides a method and apparatus for generating a highlight image using biometric data.
  • a head-mounted display (hereinafter referred to as an'HMD device') is formed in a structure that can be worn on the user's head so that the user can experience a spatial and temporal experience similar to that of the user. It is a display device that provides images related to virtual reality (VR), augmented reality (AR), and/or mixed reality (MR).
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • Such an HMD device is composed of a body formed in a goggle form so as to be worn on a user's eye area, and a wear part formed in a band form connected to the body to fix the body to the user's head.
  • the main body is equipped with a display, a portable terminal device such as a smartphone, or a display device connected to a PC such as a monitor is mounted.
  • a portable terminal device such as a smartphone
  • a display device connected to a PC such as a monitor
  • a user can view and experience various multimedia contents
  • an HMD device or an electronic device connected to the HMD device can provide a highlight image related to the multimedia content viewed or experienced by the user.
  • the HMD device or the electronic device analyzes multimedia content and provides a scene in which the user is interested or interested in the multimedia content or is inferred as a highlight image.
  • the highlight image provided in this way is simply composed of scenes inferred that the user is interested or interested or interesting in the multimedia content, and thus may be different from scenes in which the user actually felt interested or interested or interesting. .
  • the problem to be solved by the present invention is to provide a method and apparatus for generating a highlight image using biometric data.
  • the problem to be solved by the present invention is to provide a method and apparatus for generating a customized highlight image using biometric data.
  • a method and apparatus for generating a highlight image using biometric data are provided.
  • a head mounted display configured to acquire biometric data including at least one of a user's EEG and gaze data Providing a multimedia content through a (Head-Mounted Display, HMD) device; Obtaining biometric data associated with the multimedia content through the HMD device; Detecting at least one partial content noticed by the user based on the obtained biometric data; Inferring the emotional state of the user associated with the detected at least one partial content; And generating a highlight image according to the inferred emotional state.
  • HMD Head-Mounted Display
  • the communication unit Storage unit; And a processor operatively connected to the communication unit and the storage unit, wherein the processor is configured to acquire biometric data including at least one of a user's EEG and gaze data (Head-Mounted Display, HMD).
  • HMD Head-Mounted Display
  • the present invention can provide a user-specified highlight image by generating a highlight image associated with the multimedia content using the user's biometric data obtained while the user is viewing or experiencing the multimedia content.
  • the present invention can provide a user-focused highlight image focused on the user, thereby increasing user satisfaction.
  • FIG. 1 is a schematic diagram for explaining a highlight image generation system using biometric data according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram for explaining an HMD device according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram for describing an electronic device according to an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart for describing a method of generating a highlight image related to multimedia content based on biometric data of a user in an electronic device according to an embodiment of the present invention.
  • 5A, 5B, 5C, and 5D are exemplary views for explaining a method of generating a highlight image related to multimedia content based on biometric data of a user in an electronic device according to an embodiment of the present invention.
  • the highlight providing system is not limited, and may include all devices configured to acquire a user's gaze, and obtain bio-data such as a user's brain waves.
  • the highlight providing system includes a head mounted display (HMD) device, as well as a sensor that contacts/wears a part of the user's body, such as a headset, smart ring, smart watch, earset, earphone, etc. It may include an included device, a content output device for outputting multimedia content related to virtual reality, augmented reality, and/or mixed reality, and an electronic device for managing them.
  • the HMD device has a display unit
  • the highlight providing system may include only the HMD device and the electronic device.
  • the biometric data may represent various signals generated from the user's body according to the user's conscious and/or unconscious (eg, breathing, heartbeat, metabolism, etc.) behavior, such as the user's pulse, blood pressure, and brain waves.
  • FIG. 1 is a schematic diagram for explaining a highlight image generation system using biometric data according to an embodiment of the present invention.
  • the highlight image generation system 1000 is a system for generating a highlight image using biometric data including at least one of a user's EEG and gaze data, and an HMD device for acquiring the user's biometric data
  • the apparatus 100 may include a content output device 200 for outputting multimedia content and an electronic device 300 for generating a highlight image associated with the multimedia content.
  • the content output device 200 may not be included in the highlight image generation system 1000.
  • the HMD device 100 is mounted on the user's head and provides multimedia content for the virtual reality to the user so that the user can experience a spatial and temporal experience similar to the real life, and at the same time, obtains the user's biometric data and is in progress of the virtual experience
  • multimedia content may be interactive, such as non-interactive video such as a movie, animation, advertisement, or promotional video, and games, electronic manuals, electronic encyclopedias, or promotional videos, etc.
  • the image may be a 3D image, and a stereoscopic image may be included.
  • the HMD device 100 is formed in a structure that can be worn on the user's head, and is implemented in a form that processes various multimedia contents for virtual reality inside the HMD device 100, or provides multimedia content to a part of the HMD device 100.
  • the provided content output device 200 may be mounted and implemented in a form of processing multimedia content inside the mounted content output device 200.
  • one surface of the display unit may be arranged to face the user's face so that the user can check multimedia contents when the user wears the HMD device 100.
  • a receiving space 101 for accommodating the content output device 200 may be formed in a part of the HMD device 100.
  • one surface of the content output device 200 eg, one surface where the display unit of the content output device 200 is located
  • the content output device 200 may include a portable terminal device such as a smart phone or a tablet PC, or a portable monitor connected to a PC and capable of outputting multimedia content provided from the PC.
  • At least one sensor for acquiring user's EEG or gaze data may be formed on one side of the HMD device 100.
  • the at least one sensor may include an EEG sensor that measures the EEG of the user and/or an eye tracking sensor that tracks the user's gaze.
  • at least one sensor is formed at a position where a user's eyes or face can be photographed or a position where the user's skin is contactable, and when the user wears the HMD device 100, photographs the user's eyes or face, Analyze the captured image to obtain the user's gaze data or contact the user's skin to obtain EEG data such as the user's electroencephalography (EGG), electromyography (EMG) or electrocardiogram (ECG) signals can do.
  • EEG electroencephalography
  • EMG electromyography
  • ECG electrocardiogram
  • the HMD device 100 is described as including at least one sensor that acquires the user's EEG and/or gaze data, but is not limited thereto, and the EMD of the user through a separate module from the HMD device 100 And/or at least one sensor that acquires gaze data is mounted in the HMD housing.
  • the expression HMD device 100 is intended to include these modules or to assume the modules themselves.
  • the HMD device 100 may acquire biometric data of the user according to a request of the content output device 200 or the electronic device 300 and transmit the obtained biometric data to the content output device 200 or the electronic device 300. have.
  • the HMD device 100 displays the multimedia content through the display unit of the HMD device 100 to obtain the user's biometric data, and the multimedia content through at least one sensor provided in the HMD device 100. Biometric data associated with may be obtained. The HMD device 100 may transmit the obtained biometric data to the electronic device 300.
  • the HMD device 100 acquires biometric data related to multimedia content output through the content output device 200, and obtains the obtained biometric data Data may be transferred to the electronic device 300.
  • the electronic device 300 is connected to communicate with the HMD device 100 and/or the content output device 200, provides multimedia content to the HMD device 100 or the content output device 200, and the HMD device 100 ) Is a device that generates a highlight image related to multimedia content based on biometric data obtained through ), and may include a personal computer (PC), a laptop, a workstation, and a smart TV.
  • PC personal computer
  • laptop a laptop
  • workstation a smart TV.
  • the electronic device 300 may extract the biometric characteristic data from the biometric data acquired through the HMD device 100.
  • the electronic device 300 may extract the EEG characteristic data from the EEG data, or extract the EEG characteristic data from the gaze data.
  • the EEG characteristic data may include a band power of a specific frequency region of the EEG or an energy ratio of an Alpha wave and a Beta wave of the EEG.
  • the gaze feature data may include a gaze gaze time at which the user gaze is gaze, a gaze tracking time at which the user gaze tracks a specific object of multimedia content, or the number of times the user's eyes are blinking.
  • the biometric data is not limited thereto, and various biometric data may be included.
  • the electronic device 300 may extract the biometric characteristic data from the biometric data acquired through the HMD device 100 based on a deep learning algorithm learned to extract the biometric characteristic data.
  • the electronic device 300 may be trained to extract EEG characteristic data from EEG data, or based on a deep learning algorithm learned to extract EEG characteristic data from EEG data, such as EEG characteristic data and Eight characteristic data.
  • deep learning algorithms include Deep Neural Network (DNN), Convolutional Neural Network (CNN), Deep Convolution Neural Network (DCNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), SSD (Single Shot Detector).
  • DNN Deep Neural Network
  • CNN Convolutional Neural Network
  • DCNN Deep Convolution Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • DBN Deep Belief Network
  • SSD Single Shot Detector
  • the electronic device 300 may detect at least one partial content of interest by the user based on the biometric feature data, and infer or determine a user's emotional state associated with the detected at least one partial content.
  • the partial content is at least a part of the multimedia content, and at least one scene data may be included.
  • scene data may mean each frame constituting multimedia content.
  • the electronic device 300 may detect at least one partial content associated with at least one of the EEG and gaze feature data.
  • the specific condition may include a case in which each feature data falls above or below a corresponding threshold.
  • the threshold of each feature data is determined in advance to detect at least one partial content according to each feature data, and may have different values for each feature data. For example, when the band power of a specific frequency region of the EEG or the energy ratio of the alpha wave and the beta wave of the EEG is greater than or equal to each threshold, the electronic device 300 may use at least one partial content corresponding to the corresponding band power or energy ratio. Can be detected as the focused partial content.
  • the electronic device 300 may display at least one partial content corresponding to the gaze gazing time or gaze tracking time by the user. It can be detected as, or at least one partial content corresponding to the number of blinks of the eye can be detected as the partial content that the user has noticed.
  • the electronic device 300 may include at least one associated with the EEG feature data when a specific condition is satisfied, the gaze feature data satisfies a specific condition, or both the EEG feature data and the gaze feature data satisfy a specific condition. Partial content can be detected.
  • the electronic device 300 may detect based on a deep learning algorithm configured to detect partial content that is highly related to emotion based on biometric feature data.
  • the electronic device 300 is based on a deep learning algorithm configured to extract partial content that the user has noticed based on the band power of a specific frequency region of the EEG characteristic data or the energy ratio of the alpha wave and the beta wave of the EEG.
  • the electronic device 300 may generate partial content with a high degree of attention of the user based on a deep learning algorithm configured to extract the partial content of the user's attention based on the gaze gaze time or the number of blinks as gaze feature data. Can decide.
  • the deep learning algorithm may be at least one of DNN, CNN, DCNN, RNN, RBM, DBN, and SSD.
  • the present invention is not limited to the above, and the electronic device 300 may use more various algorithms as long as the partial content can be determined based on the biometric characteristic data.
  • the electronic device 300 provides multimedia content (eg, a game or video) to check biometric data according to the user's perception and/or concentration, and the user's biometric data obtained through the provided multimedia content By learning, it is possible to detect at least one partial content related to biometric data similar to or matching the learned biometric data as partial content that the user has noticed.
  • multimedia content eg, a game or video
  • the electronic device 300 may group the detected at least one partial content and biometric data associated with the at least one partial content into one or more groups. For example, the electronic device 300 may use at least one partial content and at least one partial content having similar characteristics among at least one partial content and biometric data associated with the at least one partial content using a machine learning technique or the like. Can be grouped into groups. Such a machine learning technique may include a k-means algorithm or a Gaussian Mixture Mode (GMM), a random forest model, and the like, but is not limited thereto, and various techniques for grouping may be used. Can.
  • GMM Gaussian Mixture Mode
  • the electronic device 300 may analyze scenes of at least one partial content belonging to each group to infer a user's emotional state for each group.
  • the emotional state may mean the joy, surprise, sadness, anger, fear, and disgust of the user who perceives an object, landscape, atmosphere, color, or music belonging to each of the scenes included in at least one partial content. have.
  • the electronic device 300 may infer the user's emotional state for a specific group as “joy”.
  • the electronic device 300 may finally determine the user's emotional state based on a classification algorithm configured to classify the user's emotional state based on the partial content.
  • the classification algorithm may be at least one of a random forest, Gaussian na_ive Bayes (GNB), locally weighted na_ive Bay (LNB), and support vector machine (SVM).
  • GNB Gaussian na_ive Bayes
  • LNB locally weighted na_ive Bay
  • SVM support vector machine
  • the present invention is not limited to the above, and the electronic device 300 may use more various algorithms as long as it can extract a user's emotion based on partial content. Using this, the electronic device 300 analyzes scenes corresponding to at least one partial content to recognize an object, landscape, atmosphere, color, or music, etc. belonging to the scene, and recognizes the recognized object, landscape, atmosphere, color, and music. Emotion state of the user corresponding to at least one of the can be inferred.
  • the electronic device 300 may receive a user input for at least one partial content of each group in order to obtain user's emotional state information for at least one partial content of each group.
  • the electronic device 300 provides an interface screen for acquiring a user's input for at least one partial content of each group through the HMD device 100, and through the interface screen, the user can select at least It is possible to receive an input for an emotional state that is felt by recognizing one partial content.
  • the interface screen includes a display space representing partial content of each group and an input space for inputting an emotional state such as user's joy, surprise, sadness, anger, fear and disgust for each group, or associated with the emotional state
  • a graphic space for tagging each group may be included.
  • the electronic device 300 may determine the user's emotional state for the specific group as “joy”. In various embodiments, the electronic device 300 may obtain at least one content related to biometric data and biometric data obtained after the user's emotional state for each group is inferred or determined, and biometric data similar to or matching the corresponding biometric data. It can be grouped into a group containing. In various embodiments, the electronic device 300 may infer the user's emotional state by various combinations. For example, even if the detected facial expression is a smiling expression, when the detected music corresponds to sad music, the electronic device 300 may infer the user's emotional state as sadness.
  • the electronic device 300 may generate a highlight image using at least one partial content of each group corresponding to the inferred emotional state. Specifically, the electronic device 300 may arrange at least one partial content belonging to each group in an order of arrangement, and generate a highlight image including or editing the arranged at least one partial content.
  • the arrangement order includes, but is not limited to, a time order, an order in which the user's emotional state is heightened, an order in which the user's attention and/or concentration is high, and the like, but may include various orders.
  • At least one partial content detected from game image data is grouped into three groups, and the emotional state for at least one partial content corresponding to the first group is “joy”, and corresponds to the second group If the emotional state of the at least one partial content is “sadness”, and the emotional state of the at least one partial content corresponding to the third group is “horror”, the electronic device 300 includes at least one corresponding to the first group. Arrange the partial content, the at least one partial content corresponding to the second group, and the at least one partial content corresponding to the third group according to the time sequence, the user's emotional state, or the order in which the user's emotional state is heightened. It can be arranged in the order of high attention and/or concentration.
  • the electronic device 300 may generate at least one partial content of the first group, the second group, and the third group arranged as described above as a highlight image. In various embodiments, the electronic device 300 may generate a highlight image through combining, editing, or applying effects to at least one partial content.
  • the electronic device 300 is described as generating a highlight image related to multimedia content based on biometric data obtained through the HMD device 100, but is not limited thereto, and the electronic device 300 is not provided. Instead, the HMD device 100 may generate the highlight image associated with the multimedia content based on the obtained biometric data by performing the above-described operation of the electronic device 300.
  • the present invention can provide a user-specific highlight image associated with multimedia content.
  • the HMD device 100 including the display unit is described. 1 and 2, the HMD device 100 includes a communication unit 110, a display unit 120, a storage unit 130 sensor 140, and a processor 150.
  • the communication unit 110 connects the HMD device 100 to communicate with an external device.
  • the communication unit 110 may be connected to the electronic device 300 using wired/wireless communication to transmit and receive various information.
  • the wired communication includes at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a recommended standard232 (RS-232), a power line communication, or a plain old telephone service (POTS).
  • WiFi wireless fidelity
  • Bluetooth low-power Bluetooth
  • BLE Zigbee (Zigbee)
  • NFC near field communication
  • magnetic secure transmission Magnetic Secure Transmission
  • RF radio frequency
  • BAN body area network
  • the communication unit 110 may receive multimedia content from the electronic device 300, and may transmit biometric data obtained through the sensor 140 to the electronic device 300.
  • the display unit 120 may display various contents (eg, text, images, videos, icons, banners or symbols) to the user. Specifically, the display unit 120 may display multimedia content received from the electronic device 300. In various embodiments, the display unit 120 may display an interface screen for inputting or tagging the emotion state information of the user related to at least one partial content grouped based on the user's biometric data.
  • contents eg, text, images, videos, icons, banners or symbols
  • the display unit 120 may display multimedia content received from the electronic device 300.
  • the display unit 120 may display an interface screen for inputting or tagging the emotion state information of the user related to at least one partial content grouped based on the user's biometric data.
  • the storage unit 130 may store various data used to generate a highlight image related to multimedia content based on the user's biometric data. Specifically, the storage unit 130 may store biometric data of the user acquired through the sensor 140. The storage unit 130 may store multimedia content provided from the electronic device.
  • the storage unit 130 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD) Memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , A storage medium of at least one type of a magnetic memory, a magnetic disk, or an optical disk.
  • the HMD device 100 may operate in connection with a web storage that performs a storage function of the storage unit 130 on the Internet.
  • the sensor 140 includes at least one sensor used to acquire the user's biometric data, and may include, for example, a gaze tracking sensor that tracks a user's gaze and/or an EEG measurement sensor that measures a user's brain waves.
  • the gaze tracking sensor includes a camera sensor that photographs the user's eyes or face, outputs an image captured through the camera sensor as gaze data, or analyzes the captured image to determine position coordinates for the user's gaze. Indicating gaze data can be output.
  • various methods may be used to track a user's gaze, and in addition to image analysis, a contact lens method (a gaze tracking method using the reflected light of a mirror built-in contact lens or a magnetic field of a coil built-in contact lens) or sensor attachment
  • the user's gaze may be tracked using a method (a gaze tracking method using an electric field according to eye movement by attaching a sensor around the eye).
  • the EEG measurement sensor may include at least one EEG (Electroencephalogram) sensor, a MEG (Magnetoencephalography) sensor and/or a Near-Infrared Spectrometer (NIRS).
  • the EEG measuring sensor may measure EEG of various frequencies generated from a body part of a user in contact or electrical/optical frequencies that change according to the activation state of the brain and output the EEG data.
  • the processor 150 is operably connected to the communication unit 110, the display unit 120, the storage unit 130, and the sensor 140, and displays the multimedia content received from the electronic device 300 through the communication unit 110. While displaying through 120 and displaying multimedia content, the biometric data of the user acquired through the sensor 140 may be transmitted to the electronic device 300.
  • the HMD device 100 having the display unit has been described, but when the content output device 200 is mounted on the HMD device 100 without the display unit, the processor 150 displays the content output device 200. While displaying the multimedia content, the user's biometric data acquired through the sensor 140 may be transmitted to the electronic device 300.
  • the processor 150 displays multimedia content through the display unit 120, and the living body obtained through the sensor 140 Biometric feature data can be extracted from the data.
  • the processor 150 may detect at least one partial content that the user has noticed based on the extracted biometric feature data.
  • the processor 150 may infer an emotional state of the user associated with the detected at least one partial content, and generate a highlight image according to the inferred emotional state.
  • FIG. 3 is a schematic diagram for describing an electronic device according to an embodiment of the present invention.
  • the electronic device 300 includes a communication unit 310, a display unit 320, a storage unit 330, and a processor 340.
  • the communication unit 310 connects the service providing server 200 to communicate with an external device.
  • the communication unit 310 is connected to the user terminal 100 using wired/wireless communication to transmit and receive various information.
  • the communication unit 310 may transmit multimedia content to the HMD device 100 and receive biometric data of the user obtained through the sensor 140 from the HMD device 100.
  • the display unit 320 may display various contents (for example, text, images, videos, icons, banners or symbols) to the user.
  • the display unit 320 may display an interface screen indicating biometric data of the user received from the HMD device 100.
  • the display unit 320 may display multimedia content or at least one partial content.
  • the display 320 may display a highlight image.
  • the storage unit 330 may store various data used to generate a highlight image related to multimedia content using the user's biometric data.
  • the storage unit 330 may store multimedia content to be provided to the HMD device 100 and may store biometric data received from the HMD device 100.
  • the storage unit 330 may store various data used or generated by the operation of the processor 340.
  • the storage unit 330 may store at least one partial content and/or a highlight image.
  • the processor 340 is operably connected to the communication unit 310, the display unit 320, and the storage unit 330, and delivers multimedia content to the HMD device 100 through the communication unit 310, and the HMD device 100 While the multimedia content is being displayed, the biometric data of the user acquired through the sensor 140 of the HMD device 100 may be received.
  • the processor 340 may extract the biometric feature data from the received biometric data, and detect at least one partial content that the user has noted based on the extracted biometric feature data. Specifically, the processor 340 may extract EEG feature data from EEG data and/or extract eye feature data from the EEG data.
  • the processor 340 may extract biometric feature data, detect partial content, and determine a user's emotional state based on a deep learning algorithm and/or a classification/regression analysis algorithm.
  • the processor 340 is deep learning trained to extract EEG feature data and/or eye feature data from user's EEG data and/or eye data obtained through the sensor 140 of the HMD device 100 EEG characteristic data and/or gaze characteristic data may be extracted based on an algorithm.
  • the deep learning algorithm may be at least one of DNN, CNN, DCNN, RNN, RBM, DBN, and SSD.
  • the present invention is not limited to the above, and the processor 340 may use more various algorithms as long as it can extract biometric feature data based on the biometric data received from the HMD device 100.
  • the processor 340 may detect at least one partial content associated with the EEG or gaze feature data that satisfies a specific condition as partial content that the user has noted.
  • the partial content noticed by the user may include a frame corresponding to each of the scenes noticed by the user.
  • certain conditions may include when the power of a band in a specific frequency region of the EEG or the energy ratio of the alpha and beta waves of the EEG is greater than or equal to each threshold and/or the gaze gazing time or gaze tracking time is greater than or equal to each threshold, or blink It may include a case where the number of times is less than or equal to a threshold.
  • the processor 340 may detect the corresponding partial content based on a deep learning algorithm configured to detect partial content having a high relationship with emotion based on the biometric characteristic data.
  • the processor 340 is based on a deep learning algorithm configured to extract partial content that the user noticed based on the band power of a specific frequency region of the EEG characteristic data or the energy ratio of the alpha wave and the beta wave of the EEG.
  • Partial content with high user attention can be determined.
  • the processor 340 may determine partial content with a high user's attention based on a deep learning algorithm configured to extract partial data of the user's attention based on the gaze gaze time or the number of blinks as the gaze feature data. Can.
  • the deep learning algorithm may be at least one of DNN, CNN, DCNN, RNN, RBM, DBN, and SSD.
  • the present invention is not limited to the above, and the processor 340 may use more various algorithms as long as it can determine partial content based on biometric feature data.
  • the processor 340 may infer the emotional state of the user associated with the detected at least one partial content, and generate a highlight image associated with the multimedia content according to the inferred emotional state. Specifically, the processor 340 may use a machine learning technique to classify the partial content of the user's attention into a specific number of groups by using biometric data associated with at least one partial content of the user's attention.
  • the machine learning technique may include a k-average algorithm, a Gaussian mixture model, or a random forest model, but is not limited thereto, and various techniques for grouping may be used. Also, the specific number may be determined in advance by a user or automatically by a machine learning algorithm.
  • the processor 340 may cluster similar or matching biometric data and at least one partial content corresponding to the biometric data into the same group. When the difference between the biometric data falls below a threshold, the processor 340 may determine that the biometric data are similar or match each other.
  • the processor 340 may analyze scenes belonging to at least one partial content corresponding to each group to infer a user's emotional state for each group.
  • the processor 340 may finally determine the user's emotional state based on a classification algorithm configured to classify the user's emotional state based on at least one partial content.
  • the classification algorithm may be at least one of random forest, GNB, LNB, and SVM.
  • the present invention is not limited to the above, and the processor 340 may use more various algorithms as long as it can extract a user's emotion based on the partial content.
  • the processor 340 analyzes scenes corresponding to at least one partial content, recognizes objects, scenery, atmosphere, color, or music belonging to the scene, among recognized objects, landscape, atmosphere, color, and music. At least one user's emotional state may be inferred.
  • the processor 340 may detect a face in each scene, recognize the facial expression of the detected face, and infer the user's emotional state according to the recognized facial expression.
  • the electronic device 300 may recognize an expression using an artificial neural network algorithm, but is not limited thereto, and various techniques for face recognition may be used.
  • the recognized facial expression is a smiling expression
  • the electronic device 300 may infer the user's emotional state as joy, and when the recognized facial expression is a crying expression, the user's emotional state may be inferred as sadness.
  • the electronic device 300 may use a reasoning algorithm to infer the user's emotional state according to the recognized facial expression, but is not limited thereto, and various techniques for inferring the user's emotional state according to the facial expression may be used.
  • the processor 340 may recognize color and music in each scene, and infer a user's emotional state according to the recognized color and music. For example, if the perceived color is dark and the recognized music is dark music, the processor 340 may infer the user's emotional state as fear.
  • the processor 340 may receive a user input for at least one partial content of each group to obtain user's emotional state information for at least one partial content of each group.
  • the electronic device 300 provides an interface screen for acquiring a user's input for at least one partial content of each group through the HMD device 100, and through the interface screen, the user can select at least It is possible to receive an input for an emotional state that is felt by recognizing one partial content.
  • the interface screen may include a display space indicating partial content of each group and an input space for inputting a user's emotional state for each group.
  • the interface screen may include a display space and a graphic space for tagging tags associated with the emotional state in each group. For example, when a tag tagged by a user in relation to a specific group corresponds to “horror”, the processor 340 may determine a user's emotional state for a specific group as “horror”.
  • the processor 340 provides sample multimedia data for inferring the user's emotional state through the HMD device 100 prior to the operation for generating the highlight image, and the user's emotion regarding the sample multimedia data from the user By obtaining an input indicating a state, sample multimedia data and the obtained emotional state can be used to determine a user's emotional state for each group.
  • the processor 340 provides an interface screen for obtaining a user's emotional state for a certain video through the HMD device 100, and information indicating a user's emotional state for a specific video through the interface screen Can be obtained.
  • the interface screen may include a display space for displaying a random video and an input space for inputting emotion information representing emotions that the user feels when viewing the corresponding video.
  • the processor 340 may map the input emotion information and a random video, and learn the mapped emotion information and a random video. have. Through this, the processor 340 may infer a video similar to or matched with the learned video as emotion information mapped to the learned video when inferring a user's emotional state for each group to generate a highlight image.
  • the processor 340 may receive user input for each group in order to correct a user's emotional state inferred with respect to each group.
  • the processor 340 provides an interface screen for acquiring from the user emotion information indicating a user's emotional state for a group in which the user's emotional state has already been inferred through the HMD device 100, and the interface screen. Through this, the emotional state of the user for the corresponding group may be corrected using the emotion information obtained from the user.
  • the interface screen may include a display space displaying at least one partial content belonging to each group and an input space for inputting emotion information indicating a user's emotional state with respect to the group.
  • the processor 340 sets the emotion state inferred in relation to the specific group from “horror”. It can be corrected with “hate”.
  • the processor 340 may select or input a user to correct each group, at least one partial content belonging to each group, biometric data related to the partial content, and an inferred emotional state associated with each group. I can receive it.
  • the processor 340 may correct each group, at least one partial content belonging to each group, biometric data related to the partial content, and an inferred emotional state associated with each group through the HMD device 100.
  • Interface screen includes at least one partial content belonging to each group, biometric data related to the partial content, and various graphic objects (eg, text, images, icons, etc.) for correcting (or correcting) the inferred emotional state associated with each group. It may include.
  • the graphic object may be configured to be moved or modified by the user.
  • the user may move at least one partial content and biometric data belonging to a specific group to another group through the interface screen, modify an inferred emotional state related to a specific group, or at least one partial content or biometric data belonging to a specific group Various actions such as deleting data or changing a tag representing an emotional state from “sadness” to “despair” can be performed.
  • the present invention can accurately check the emotional state of the user regarding at least one partial content corresponding to each group according to the user's input or selection.
  • the processor 340 may generate a highlight image using at least one partial content belonging to each group. Specifically, the processor 340 may arrange the at least one partial content of each group according to the arrangement order, and generate the highlight image including the arranged at least one partial content.
  • the arrangement order includes, but is not limited to, a time order, an order in which the user's emotional state is elevated, an order in which the user's attention and/or concentration is high or low, or an order in which the user feels funny or unfun, and the like. Order may be included.
  • the processor 340 may determine the order in which the user's emotional state is heightened, the order in which the user's attention and/or concentration is high or low, or the order in which the user feels fun or not having fun, based on the biometric feature data. For example, the processor 340 determines the order from which the peak value of the energy ratio of the alpha wave and the beta wave of the brain wave is low to high, in order of increasing emotional state, or of the band power of a specific frequency region of the brain wave. If the peak value is high, it may be determined that the user's attention and/or concentration is high, or the user feels that the user is having fun, and is not limited thereto, and various methods may be used.
  • At least one partial content detected from video data such as a movie is grouped into four groups, and the emotional state for at least one partial content corresponding to the first group is “pleasure”, and corresponding to the second group
  • the emotion state for at least one partial content is “sadness”, the emotion state for at least one partial content corresponding to the third group is “fear”, and the emotion for at least one partial content corresponding to the fourth group
  • the processor 340 may arrange at least one partial content in the order of the first group, the second group, the third group, and the fourth group according to time order.
  • the processor 340 when the user's emotional state is increased in order of sadness, fear, relief, and pleasure, the processor 340 arranges at least one partial content in order of the second group, third group, fourth group, and first group. can do. In various embodiments, when the user's attention and/or concentration is high in the order of the fourth group, the first group, the second group, and the third group, the processor 340 may include a fourth group, a first group, a second group, and a third group At least one partial content may be arranged in a group order. In various embodiments, the processor 340 may arrange at least one partial content in the order of partial content including the object of interest of the user.
  • the processor 340 analyzes the user's gaze data and EEG data, recognizes an object in which the user's gaze is located a specific number of times or a certain time or more in at least one partial content as an object of interest, and the recognized object At least one partial content may be arranged in the order of included partial contents.
  • the processor 340 may arrange at least one partial content including the object of interest of the user in the order of increasing the emotional state of the user.
  • the processor 340 extracts at least one partial content included in the object of interest of the user among at least one partial content belonging to each group, and checks biometric data of the user associated with the extracted at least one partial content Therefore, the user's emotional state may be arranged in an increasing order.
  • the processor 340 may generate a highlight image including at least one partial content arranged in this way.
  • the processor 340 may generate at least one partial content as a highlight image through combining, editing, or applying effects.
  • the present invention can generate and provide a user-customized highlight image according to a user's emotional state, and provide a user-focused highlight image focused on the user, thereby increasing user satisfaction.
  • the processor 340 performs reference biometric feature data (eg, reference EEG feature data and/or reference gaze feature data) to detect at least one partial content that the user noticed prior to an operation for generating a highlight image.
  • reference biometric feature data eg, reference EEG feature data and/or reference gaze feature data
  • the processor 340 provides multimedia image data for obtaining the EEG data corresponding to the user's comfortable state to the HMD device 100, and while the user is viewing the multimedia image data from the HMD device 100 The acquired EEG data may be received.
  • the processor 340 may provide multimedia image data to the HMD device 100 that includes a guide phrase for allowing a user to stare at the white cross, where a white cross is located on a black desktop.
  • the processor 340 may further provide audio data corresponding to calm music to the HMD device 100 so that the user feels comfortable.
  • the processor 340 extracts EEG characteristic data from the obtained EEG data and extracts the EEG characteristic
  • the data can be set as reference EEG characteristic data.
  • the processor 340 may detect at least one partial content focused and/or noted by the user using the reference EEG feature data set as described above.
  • the processor 340 may compare the extracted EEG characteristic data and the reference EEG characteristic data, and when the difference between the two data is greater than or equal to a threshold, the processor 340 may determine at least one partial content related to the obtained EEG data as partial content that the user has noted.
  • the processor 340 when the user's gaze data obtained through the sensor 140 is received while the user gazes at the white cross from the HMD device 100, the processor 340 extracts gaze characteristic data from the obtained gaze data,
  • the extracted gaze feature data may be set as reference gaze feature data.
  • the processor 340 may detect at least one partial content focused and/or noted by the user using the reference gaze feature data set as described above.
  • the processor 340 may compare the extracted gaze feature data with the reference gaze feature data to determine, when the difference between the two data is greater than or equal to a threshold, at least one partial content related to the obtained EEG data as a partial content that the user has noted.
  • the processor 340 may learn gaze data obtained while the user gazes at a specific location from the HMD device 100 in order to predict a location where the gaze of the user gazes. For example, the processor 340 provides multimedia image data for obtaining the gaze data representing the user's gaze movement to the HMD device 100, and acquires the multimedia image data while the user views the multimedia image data from the HMD device 100 Gaze data can be received. For example, the processor 340 may provide multimedia image data to the HMD device 100 configured such that each of the white dots on the black background screen blinks at various locations.
  • the processor 340 learns the acquired gaze data, After learning, the gaze data received from the HMD device 100 may be used to predict a location where the user gaze gazes.
  • the above-described reference biometric data setting operation may be selectively performed. For example, when the processor 340 detects partial content that the user has noticed through learning, a reference biometric data setting operation may not be performed.
  • interface screen space and graphic objects included in the interface screen are not limited to the above, and may be configured in various ways to obtain specific data.
  • FIG. 4 is a schematic flowchart for describing a method of generating a highlight image related to multimedia content based on biometric data of a user in an electronic device according to an embodiment of the present invention.
  • the HMD device 100 and the electronic device 300 are described as operating separately, but are not limited thereto, and all operations of FIG. 4 are performed with one HMD device 100 or the HMD device 100. It may be performed by the connectable content output device 200.
  • the electronic device 300 provides multimedia content through the HMD device 100 configured to acquire biometric data including at least one of a user's brainwave and gaze data (S400).
  • the electronic device 300 may obtain biometric data related to multimedia content through the HMD device 100 (S410).
  • the electronic device 300 detects at least one partial content that the user has noted based on the obtained biometric data (S420).
  • the electronic device 300 may extract biometric feature data from the acquired biometric data, and detect at least one partial content that the user has noted based on the extracted biometric feature data.
  • the electronic device 300 infers the emotional state of the user associated with the detected at least one partial content (S430), and generates a highlight image according to the inferred emotional state (S440).
  • the electronic device 300 groups the detected at least one partial content and biometric data associated with the at least one partial content into one or more groups, and analyzes scenes of at least one partial content of each group to each group. It can be inferred the emotional state of the user.
  • the electronic device 300 may generate a highlight image using at least one partial content of each group corresponding to the inferred emotional state.
  • 5A, 5B, 5C, and 5D are exemplary views for explaining a method of generating a highlight image related to multimedia content based on biometric data of a user in an electronic device according to an embodiment of the present invention.
  • a method of generating a highlight image related to multimedia content corresponding to a movie will be described based on the user's biometric data.
  • the electronic device 300 may provide the multimedia content 500 as shown in (a) of FIG. 5A through the HMD device 100. While the multimedia content 500 is displayed through the HMD device 100, the electronic device 300 may acquire biometric data of the user from the HMD device 100 and extract biometric feature data from the obtained biometric data.
  • EEG characteristic data extracted from EEG data may be represented as a graph of the energy ratio of alpha and beta waves of the EEG over time as shown in FIG. 5A (b).
  • the time may be a reproduction time of the multimedia content 500.
  • the electronic device 300 may detect at least one partial content in which the energy ratio of the alpha wave and the beta wave of the brain wave corresponds to a threshold value (a) or higher in the multimedia content. At least one partial content whose energy ratio is greater than or equal to the threshold value (a) corresponds to the first partial content 502 corresponding to the playing time H1, the second partial content 504 corresponding to the playing time H2, and the playing time H3 It may include a third portion of the content (506).
  • the electronic device 300 may group the detected at least one partial content and EEG data associated with the partial content into one or more groups. For example, the electronic device 300 may group at least one partial content and EEG data associated with the partial content that are similar or matched to each other by using a k-average algorithm.
  • the grouped at least one partial content and EEG data associated with the partial content may be displayed in a graph as shown in FIG. 5B.
  • At least one partial content and EEG data associated with the partial content may be grouped into two groups including a first group 510 and a second group 520.
  • the electronic device 300 analyzes the scenes of the first partial content 502, the second partial content 504, and the third partial content 506 belonging to each of the two groups, and thus the user's emotional state for each group Can be inferred. Specifically, the electronic device 300 uses the first learning content 502, the second learning content 504, and the third learning content 506 using a machine learning technique (eg, deep learning and/or classification algorithm, etc.) The user's emotional state and the second partial content 504 and the third portion of the first group to which the first partial content 502 belongs by analyzing the objects, scenery, atmosphere, color, or music included in each of the scenes of the The user's emotional state with respect to the second group to which the content 506 belongs may be inferred.
  • a machine learning technique eg, deep learning and/or classification algorithm, etc.
  • the electronic device 300 detects a face in each scene of the first partial content 502, the second partial content 504, and the third partial content 506, and recognizes the facial expression of the detected face
  • the user's emotional state according to the recognized facial expression may be inferred.
  • the electronic device 300 may infer the user's emotional state with respect to the first group 510 as “joy”. If the facial expression recognized in relation to the second partial content 504 is an expressionless expression, and the facial expression recognized in relation to the third partial content 506 is a sad expression, the electronic device 300 is a user for the second group 520. Can be inferred as "bad".
  • the electronic device 300 maps the inferred emotional state (joy) with respect to the first group 510 and the first group 510 as shown in FIG. 5C, and the second group 520 and the second group 520 In relation to the inferred emotional state (bad) can be mapped.
  • the electronic device 300 may generate a highlight image using at least one partial content belonging to each of the first group 510 and the second group 520 in which the emotional state is inferred. Specifically, the electronic device 300 may arrange at least one partial content according to an arrangement order, and generate a highlight image including the arranged at least one partial content. For example, when the playback time order is in the order of the first, second, and third partial content, the electronic device 300 may display the first, second, and third partial content 502 in the playback time order as shown in (a) of FIG. 5D. , 504, 506, and a highlight image including the arranged first, second, and third partial contents 502, 504, 506.
  • the electronic device 300 may display the second, third, and third emotions in the order in which the user's emotions are increased, as shown in FIG.
  • the first partial content 504, 506, 502 may be arranged, and a highlight image including the arranged second, third, and first partial content 504, 506, 502 may be generated.
  • the electronic device 300 has high attention and/or concentration of the user as shown in (c) of FIG. 5D.
  • the generated highlight image may be reproduced in the HMD device 100, the content output device 200, or the electronic device 300.
  • the electronic device 300 may generate a highlight image through combining and/or editing at least one partial content, and the like, but is not limited thereto, to any one or more partial contents of at least one partial content.
  • Various effects can also be applied.
  • Various effects include, but are not limited to, text/icon/image input, compositing, overlay, light bleed, color inversion, black and white-to-color transition, and specific color emphasis.
  • a user-specific highlight image can be provided by generating a highlight image associated with the multimedia content using the biometric data of the user obtained while the user views or experiences the multimedia content.
  • the present invention can provide a user-focused highlight image focused on the user, thereby increasing user satisfaction.
  • the apparatus and method according to an embodiment of the present invention may be implemented in a form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • Computer-readable media may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the computer-readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. Includes hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • the above-described medium may be a transmission medium such as an optical or metal line, a waveguide including a carrier wave that transmits a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Cardiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치가 제공된다. 본 발명의 실시예에 따른 하이라이트 생성 장치의 프로세서에 의해서 수행되는 사용자의 생체 데이터를 이용한 하이라이트 영상 생성 방법에 있어서, 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하는 단계; 상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하는 단계; 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하는 단계; 상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하는 단계; 및 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계를 포함한다.

Description

생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
본 발명은 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치를 제공한다.
최근, 정보 통신 기술 및 네트워크 기술이 발달됨에 따라 디바이스는 다양한 기능들을 갖는 멀티미디어형 휴대기기로 진화하고 있으며, 근래 들어서는 사용자의 생체 신호 또는 디바이스 주변에서 발생하는 신호들을 감지할 수 있는 센서들을 구비하고 있다.
그 중 헤드 마운트 디스플레이 장치(Head-Mounted Display, HMD)(이하, 'HMD 장치'라 함)는, 사용자의 머리에 착용 가능한 구조로 형성되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능할 수 있도록 사용자에게 가상현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및/또는 혼합 현실(Mixed Reality, MR)에 관련된 영상을 제공하는 디스플레이 장치이다. 이와 같은 HMD 장치는, 사용자의 눈 부위에 착용 가능하도록 고글(goggle) 형태로 형성되는 본체와, 본체에 연결되어 본체를 사용자의 머리에 고정시킬 수 있도록 밴드 형태로 형성되는 착용부로 구성된다. 여기서, 본체에는 가상 현실 영상을 출력하는 수단으로서, 디스플레이가 구비되거나, 스마트폰 등과 같은 휴대용 단말 장치가 설치되거나, 모니터 등과 같이 PC 등에 연결되는 디스플레이 장치가 실장된다. 이러한 HMD 장치를 이용하여 사용자는 다양한 멀티미디어 콘텐츠를 시청 및 체험할 수 있으며, HMD 장치 또는 HMD 장치에 연결되는 전자 장치는 사용자가 시청하거나 체험한 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 제공할 수 있다. 이러한 HMD 장치 또는 전자 장치는 일반적으로 멀티미디어 콘텐츠를 분석하여 멀티미디어 콘텐츠에서 사용자가 흥미 또는 관심을 가지거나 재미있다고 유추되는 장면들을 하이라이트 영상으로 편집하여 제공한다.
그러나, 이와 같이 제공된 하이라이트 영상은 단순히 멀티미디어 콘텐츠에서 사용자가 흥미 또는 관심을 가지거나 재미있다고 유추되는 장면들로 구성되므로, 사용자가 실제로 흥미 또는 관심을 가지거나 재미있다고 느낀 장면들과 차이가 있을 수 있다.
따라서, 사용자가 실제로 흥미 또는 관심을 가지거나 재밌다고 느낀 장면들이 편집된 하이라이트 영상을 생성하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 생체 데이터를 이용한 사용자 맞춤형 하이라이트 영상을 생성하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치를 제공한다. 본 발명의 실시예에 따른 하이라이트 생성 장치의 프로세서에 의해서 수행되는 사용자의 생체 데이터를 이용한 하이라이트 영상 생성 방법에 있어서, 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하는 단계; 상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하는 단계; 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하는 단계; 상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하는 단계; 및 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 하이라이트 영상 생성 장치는, 통신부; 저장부; 및 상기 통신부 및 상기 저장부와 동작 가능하도록 연결된 프로세서를 포함하고, 상기 프로세서는, 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하고, 상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하고, 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하고, 상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하고, 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자가 멀티미디어 콘텐츠를 시청 또는 체험하는 동안 획득된 사용자의 생체 데이터를 이용하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성함으로써, 사용자 맞춤형 하이라이트 영상을 제공할 수 있다.
또한, 본 발명은 사용자가 주목하는 오브젝트 중심의 하이라이트 영상을 제공할 수 있어 사용자의 만족도를 높일 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 HMD 장치를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 전자 장치를 설명하기 위한 개략도이다.
도 4는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 방법을 설명하기 위한 개략적인 순서도이다.
도 5a, 도 5b, 도 5c 및 도 5d는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 관한 하이라이트 영상을 생성하는 방법을 설명하기 위한 예시도들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 발명에서, 하이라이트 제공 시스템은 제한되지 않고, 사용자의 시선을 획득하고, 사용자의 뇌파 등과 같은 생체 데이터를 획득하도록 구성된 모든 장치를 포함할 수 있다. 예를 들어, 하이라이트 제공 시스템은 HMD(Head Mounted Display) 장치뿐만 아니라, 헤드셋, 스마트링, 스마트 와치, 이어셋, 이어폰 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 멀티미디어 콘텐츠를 출력하는 콘텐츠 출력 장치와, 이들을 관리하는 전자 장치를 포함할 수 있다. 예를 들어, HMD 장치가 표시부를 구비하는 경우 하이라이트 제공 시스템은 HMD 장치 및 전자 장치만을 포함할 수 있다. 여기서 생체 데이터는 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 하이라이트 영상 생성 시스템(1000)은 사용자의 뇌파 및 시선 데이터 등 중 적어도 하나를 포함하는 생체 데이터를 이용하여 하이라이트 영상을 생성하는 시스템으로서, 사용자의 생체 데이터를 획득하기 위한 HMD 장치(100), 멀티미디어 콘텐츠를 출력하는 콘텐츠 출력 장치(200) 및 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 전자 장치(300)를 포함할 수 있다. 다양한 실시예에서, HMD 장치(100)가 표시부를 구비하는 경우 콘텐츠 출력 장치(200)는 하이라이트 영상 생성 시스템(1000)에 포함되지 않을 수 있다.
HMD 장치(100)는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 멀티미디어 콘텐츠를 제공함과 동시에, 사용자의 생체 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 멀티미디어 콘텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브(non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽(Stereoscopic) 영상이 포함될 수 있다.
HMD 장치(100)는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실을 위한 다양한 멀티미디어 콘텐츠를 HMD 장치(100) 내부에서 처리하는 형태로 구현되거나, HMD 장치(100)의 일부에 멀티미디어 콘텐츠를 제공하는 콘텐츠 출력 장치(200)가 장착되고 장착된 콘텐츠 출력 장치(200) 내부에서 멀티미디어 콘텐츠를 처리하는 형태로 구현될 수 있다.
HMD 장치(100)가 표시부를 구비하는 경우 사용자가 HMD 장치(100)를 착용할 시 사용자가 멀티미디어 콘텐츠를 확인할 수 있도록 표시부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.
다양한 실시예에서 HMD 장치(100)의 일부에는 콘텐츠 출력 장치(200)를 수용할 수 있는 수용 공간(101)이 형성될 수 있다. 수용 공간(101) 내에 콘텐츠 출력 장치(200)가 수용된 경우 콘텐츠 출력 장치(200)의 일면(예: 콘텐츠 출력 장치(200)의 표시부가 위치된 일면)이 사용자의 얼굴에 대향하도록 배치될 수 있다. 예를 들면, 콘텐츠 출력 장치(200)는 스마트폰, 태블릿 PC 등과 같은 휴대용 단말장치 또는 PC에 연결되어 PC로부터 제공되는 멀티미디어 콘텐츠를 출력할 수 있는 휴대용 모니터 등을 포함할 수 있다.
HMD 장치(100)의 일측에는 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 적어도 하나의 센서는 사용자의 뇌파를 측정하는 뇌파 센서 및/또는 사용자의 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 다양한 실시예에서 적어도 하나의 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 장치(100)를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득하거나 사용자의 피부에 접촉되어 사용자의 뇌전도 신호(electroencephalography, EEG), 근전도 신호(electromyography, EMG) 또는 심전도 신호(electrocardiogram, ECG) 등과 같은 뇌파 데이터를 획득할 수 있다. 본 명세서에서는 HMD 장치(100)가 사용자의 뇌파 및/또는 시선 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 장치(100)와 별도의 모듈을 통해 사용자의 뇌파 및/또는 시선 데이터를 획득하는 적어도 하나의 센서가 HMD 하우징에 장착되는 형식으로 구현될 수 있다. HMD 장치(100)라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.
HMD 장치(100)는 콘텐츠 출력 장치(200) 또는 전자 장치(300)의 요청에 따라 사용자의 생체 데이터를 획득하고, 획득된 생체 데이터를 콘텐츠 출력 장치(200) 또는 전자 장치(300)로 전달할 수 있다.
HMD 장치(100)는 표시부가 포함되는 경우 사용자의 생체 데이터를 획득하기 위해 멀티미디어 콘텐츠를 HMD 장치(100)의 표시부를 통해서 표시하고, HMD 장치(100)에 구비된 적어도 하나의 센서를 통해서 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득할 수 있다. HMD 장치(100)는 획득된 생체 데이터를 전자 장치(300)로 전달할 수 있다.
콘텐츠 출력 장치(200)가 HMD 장치(100)의 수용 공간(101)에 수용된 경우 HMD 장치(100)는 콘텐츠 출력 장치(200)를 통해서 출력되는 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하고, 획득된 생체 데이터를 전자 장치(300)로 전달할 수 있다.
전자 장치(300)는 HMD 장치(100) 및/또는 콘텐츠 출력 장치(200)와 통신 가능하도록 연결되고, HMD 장치(100) 또는 콘텐츠 출력 장치(200)로 멀티미디어 콘텐츠를 제공하며, HMD 장치(100)를 통해서 획득된 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 디바이스로서, PC(Personal Computer), 노트북, 워크스테이션(workstation), 스마트 TV 등을 포함할 수 있다.
전자 장치(300)는 HMD 장치(100)를 통해서 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 예를 들어, 전자 장치(300)는 뇌파 데이터로부터 뇌파 특징 데이터를 추출하거나, 시선 데이터로부터 시선 특징 데이터를 추출할 수 있다. 뇌파 특징 데이터는 뇌파의 특정 주파수 영역의 대역 전력(Band Power) 또는 뇌파의 알파(Alpha)파와 베타(Beta)파의 에너지 비율 등을 포함할 수 있다. 또한, 시선 특징 데이터는 사용자의 시선이 응시된 시선 응시 시간, 사용자의 시선이 멀티미디어 콘텐츠의 특정 오브젝트를 추적한 시선 추적 시간 또는 사용자의 눈이 깜박인 눈 깜박임 횟수 등을 포함할 수 있다. 이러한 생체 데이터는 이에 한정하지 않고, 다양한 생체 데이터가 포함될 수 있다.
다양한 실시에에서, 전자 장치(300)는 생체 특징 데이터를 추출하도록 학습된 딥 러닝 알고리즘에 기초하여, HMD 장치(100)를 통해서 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 예를 들어, 전자 장치(300)는, 뇌파 데이터로부터 뇌파 특징 데이터를 추출하도록 학습되거나, 시선 데이터로부터 시선 특징 데이터를 추출하도록 학습된 딥 러닝 알고리즘에 기초하여, 뇌파 특징 데이터, 시선 특징 데이터와 같은 다양한 생체 특징 데이터를 추출할 수 있다. 이때, 딥 러닝 알고리즘은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), DCNN(Deep Convolution Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고, 전자 장치(300)는 생체 데이터를 기초로 생체 특징 데이터를 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
전자 장치(300)는 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하고, 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추 또는 판단할 수 있다. 여기서, 부분 콘텐츠는 멀티미디어 콘텐츠의 적어도 일부로서, 적어도 하나의 장면 데이터가 포함될 수 있다. 예를 들어, 장면 데이터는 멀티미디어 콘텐츠를 구성하는 각 프레임을 의미할 수 있다.
구체적으로, 전자 장치(300)는 뇌파 및 시선 특징 데이터 중 적어도 하나가 특정 조건을 만족하는 경우 해당 뇌파 및 시선 특징 데이터 중 적어도 하나에 연관된 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 여기서, 특정 조건은 각 특징 데이터가 해당 임계치 이상 또는 이하에 해당하는 경우를 포함할 수 있다. 각 특징 데이터의 임계치는 각 특징 데이터에 따라 적어도 하나의 부분 콘텐츠를 검출하기 위해 미리 정해지고, 특징 데이터별로 서로 다른 값을 가질 수 있다. 예를 들어, 전자 장치(300)는 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율이 각각의 임계치 이상인 경우 해당 대역 전력 또는 에너지 비율에 대응하는 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다. 전자 장치(300)는 시선 응시 시간 또는 시선 추적 시간이 각각의 임계치 이상이거나, 눈 깜박임 횟수가 임계치 이하인 경우 해당 시선 응시 시간 또는 시선 추적 시간에 대응하는 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출하거나, 해당 눈 깜박임 횟수에 대응하는 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다. 다양한 실시예에서 전자 장치(300)는 뇌파 특징 데이터가 특정 조건을 만족하거나, 시선 특징 데이터가 특정 조건을 만족하거나, 뇌파 특징 데이터 및 시선 특징 데이터 모두가 특정 조건을 만족하는 경우 이에 연관된 적어도 하나의 부분 콘텐츠를 검출할 수 있다.
다양한 실시에에서, 전자 장치(300)는 생체 특징 데이터에 기반하여 감정과 연관성이 높은 부분 콘텐츠를 검출하도록 구성된 딥 러닝 알고리즘에 기초하여 검출할 수 있다. 예를 들어, 전자 장치(300)는 뇌파 특징 데이터의 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율을 기반으로, 사용자가 주목한 부분 컨텐츠를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 다른 예를 들어, 전자 장치(300)는 시선 특징 데이터로서 시선 응시 시간 또는 눈 깜박임 횟수를 기반으로 사용자가 주목한 부분 콘텐츠를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 이때, 딥 러닝 알고리즘은, DNN, CNN, DCNN, RNN, RBM, DBN, SSD 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 전자 장치(300)는 생체 특징 데이터를 기초로 부분 콘텐츠를 결정할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
다양한 실시예에서 전자 장치(300)는 사용자의 인지 및/또는 집중에 따른 생체 데이터를 확인하기 위해 멀티미디어 콘텐츠(예: 게임 또는 동영상 등)를 제공하고, 제공된 멀티미디어 콘텐츠를 통해서 획득된 사용자의 생체 데이터를 학습하여 학습된 생체 데이터와 유사하거나 일치하는 생체 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다.
전자 장치(300)는 검출된 적어도 하나의 부분 콘텐츠 및 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 예를 들어, 전자 장치(300)는 머신 러닝 기법 등을 이용하여 적어도 하나의 부분 콘텐츠 및 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터 중 비슷한 성격을 가지는 적어도 하나의 부분 콘텐츠 및 그에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 이러한 머신 러닝 기법은 k-평균 알고리즘(k-means algorithm) 또는 가우시안 혼합 모델(Gaussian Mixture Mode, GMM), 랜덤 포레스트 모델 등을 포함할 수 있으며, 이에 한정되지 않고, 그룹화를 위한 다양한 기법이 이용될 수 있다.
전자 장치(300)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 여기서, 감정 상태는 적어도 하나의 부분 콘텐츠에 포함된 장면들 각각에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인지한 사용자가 느끼는 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 등을 의미할 수 있다. 예를 들어, 특정 그룹의 적어도 하나의 부분 콘텐츠에 해당하는 장면들이 게임 아이템 획득에 관련되는 경우 전자 장치(300)는 특정 그룹에 대한 사용자의 감정 상태를 “기쁨”으로 유추할 수 있다. 전자 장치(300)는 부분 콘텐츠에 기반하여 사용자의 감정 상태를 분류하도록 구성된 분류 알고리즘에 기초하여, 사용자의 감정 상태를 최종적으로 결정할 수 있다. 예를 들어, 분류 알고리즘은, 랜덤 포레스트(random forest), GNB(Gaussian na_ive Bayes), LNB(locally weighted na_ive Bay), 및 SVM(support vector machine) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 전자 장치(300)는 부분 콘텐츠를 기초로 사용자의 감정을 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다. 이를 이용하여 전자 장치(300)는 적어도 하나의 부분 콘텐츠에 해당하는 장면들을 분석하여 장면에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인식하고, 인식된 오브젝트, 풍경, 분위기, 색감 및 음악 등 중 적어도 하나에 해당하는 사용자의 감정 상태를 유추할 수 있다.
다양한 실시예에서 전자 장치(300)는 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 감정 상태 정보를 획득하기 위해 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 수신할 수 있다. 예를 들어, 전자 장치(300)는 HMD 장치(100)를 통해서 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 사용자가 각 그룹의 적어도 하나의 부분 콘텐츠를 인지하여 느끼는 감정 상태에 대한 입력을 수신할 수 있다. 여기서, 인터페이스 화면은 각 그룹의 부분 콘텐츠를 나타내는 표시 공간 및 각 그룹에 대한 사용자의 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 등의 감정 상태를 입력하기 위한 입력 공간을 포함하거나, 감정 상태에 연관된 태그(tag)를 각 그룹에 태깅(tagging)하기 위한 그래픽 공간을 포함할 수 있다. 인터페이스 화면을 통해서 특정 그룹의 적어도 하나의 부분 콘텐츠에 관련하여 입력된 감정 상태 정보가 “기쁨”이면 전자 장치(300)는 특정 그룹에 대한 사용자의 감정 상태를 “기쁨”으로 판단할 수 있다. 다양한 실시예에서 전자 장치(300)는 각 그룹에 대한 사용자의 감정 상태가 유추 또는 판단된 이후에 획득되는 생체 데이터와 생체 데이터에 연관된 적어도 하나의 콘텐츠를, 해당 생체 데이터와 유사하거나 일치하는 생체 데이터가 포함된 그룹으로 그룹화할 수 있다. 다양한 실시예에서 전자 장치(300)는 다양한 조합에 의해서 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 검출된 얼굴의 표정이 웃는 표정이더라도 검출된 음악이 슬픈 음악에 해당하는 경우 전자 장치(300)는 사용자의 감정 상태를 슬픔으로 유추할 수 있다.
전자 장치(300)는 이와 같이 유추된 감정 상태에 해당하는 각 그룹의 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다. 구체적으로, 전자 장치(300)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠를 배열 순서에 따라 배열하고, 배열된 적어도 하나의 부분 콘텐츠를 포함하거나 편집한 하이라이트 영상을 생성할 수 있다. 여기서, 배열 순서는 시간 순서, 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높은 순서 등을 포함하지만, 이에 한정되지 않으며, 다양한 순서가 포함될 수 있다. 예를 들어, 게임 영상 데이터로부터 검출된 적어도 하나의 부분 콘텐츠가 3개의 그룹으로 그룹화되고, 제1 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “기쁨”이고, 제2 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “슬픔”이며, 제3 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “공포”인 경우 전자 장치(300)는 제1 그룹에 해당하는 적어도 하나의 부분 콘텐츠, 제2 그룹에 해당하는 적어도 하나의 부분 콘텐츠 및 제3 그룹에 해당하는 적어도 하나의 부분 콘텐츠를 시간 순서에 따라 배열하거나, 사용자의 감정 상태가 고조되는 순서에 따라 배열하거나, 사용자의 주목도 및/또는 집중도가 높은 순서에 따라 배열할 수 있다. 전자 장치(300)는 이와 같이 배열된 제1 그룹, 제2 그룹 및 제3 그룹별 적어도 하나의 부분 콘텐츠를 하이라이트 영상으로서 생성할 수 있다. 다양한 실시예에서 전자 장치(300)는 적어도 하나의 부분 콘텐츠에 대한 결합, 편집 또는 효과 적용 등을 통해 하이라이트 영상을 생성할 수도 있다.
제시된 실시예에서는 전자 장치(300)가 HMD 장치(100)를 통해서 획득된 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 것으로 기재하였으나, 이에 한정되지 않으며, 전자 장치(300)를 구비하지 않고, HMD 장치(100)가 상술한 전자 장치(300)의 동작을 수행함으로써, 획득된 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성할 수도 있다.
이를 통해서, 본 발명은 멀티미디어 콘텐츠에 연관된 사용자 맞춤형 하이라이트 영상을 제공할 수 있다.
하기에서는 상술한 HMD 장치(100) 및 전자 장치(300)에 대해서 도 2 및 도 3을 참조하여 보다 상세하게 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 HMD 장치를 설명하기 위한 개략도이다. 제시된 실시예에서는 표시부를 포함하는 HMD 장치(100)를 서술하도록 한다. 도 1 및 도 2를 참조하면, HMD 장치(100)는 통신부(110), 표시부(120), 저장부(130) 센서(140) 및 프로세서(150)를 포함한다.
통신부(110)는 HMD 장치(100)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(110)는 유/무선 통신을 이용하여 전자 장치(300)와 연결되어 다양한 정보를 송수신할 수 있다. 여기서, 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함하고, 무선 통신은 WiFi(wireless fidelity), 블루투스, 저전력 블루투스(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 등 중 적어도 하나를 포함할 수 있다. 구체적으로, 통신부(110)는 전자 장치(300)로부터 멀티미디어 콘텐츠를 수신하고, 전자 장치(300)로 센서(140)를 통해서 획득된 생체 데이터를 전달할 수 있다.
표시부(120)는 사용자에게 각종 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부(120)는 전자 장치(300)로부터 수신된 멀티미디어 콘텐츠를 표시할 수 있다. 다양한 실시예에서 표시부(120)는 사용자의 생체 데이터에 기반하여 그룹화된 적어도 하나의 부분 콘텐츠에 관련된 사용자의 감정 상태 정보를 입력 또는 태깅하기 위한 인터페이스 화면을 표시할 수 있다.
저장부(130)는 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 저장부(130)는 센서(140)를 통해서 획득된 사용자의 생체 데이터를 저장할 수 있다. 저장부(130)는 전자 장치로부터 제공된 멀티미디어 콘텐츠를 저장할 수 있다.
다양한 실시예에서 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. HMD 장치(100)는 인터넷(internet)상에서 상기 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
센서(140)는 사용자의 생체 데이터를 획득하기 위해 사용되는 적어도 하나의 센서를 포함하고, 예를 들어 사용자의 시선을 추적하는 시선 추적 센서 및/또는 사용자의 뇌파를 측정하는 뇌파 측정 센서를 포함할 수 있다. 예를 들어, 시선 추적 센서는 사용자의 눈 또는 얼굴을 촬영하는 카메라 센서를 포함하고, 카메라 센서를 통해서 촬영된 영상을 시선 데이터로서 출력하거나, 촬영된 영상을 분석하여 사용자의 시선에 대한 위치 좌표를 나타내는 시선 데이터를 출력할 수 있다. 다양한 실시예에서 사용자의 시선을 추적하기 위해 다양한 방식이 사용될 수 있으며, 영상 분석 이외에 콘택트 렌즈 방식(거울 내장 콘택트 렌즈의 반사된 빛이나, 코일 내장 콘택트 렌즈의 자기장을 이용하는 시선 추적 방식) 또는 센서 부착 방식(눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하는 시선 추적 방식) 등을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 뇌파 측정 센서는 적어도 하나의 EEG(Electroencephalogram) 센서, MEG(Magnetoencephalography) 센서 및/또는 NIRS(Near-Infrared Spectrometer) 등을 포함할 수 있다. 뇌파 측정 센서는 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 혹은 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정하여 뇌파 데이터로 출력할 수 있다.
프로세서(150)는 통신부(110), 표시부(120), 저장부(130) 및 센서(140)와 동작 가능하게 연결되며, 통신부(110)를 통해서 전자 장치(300)로부터 수신된 멀티미디어 콘텐츠를 표시부(120)를 통해서 표시하고, 멀티미디어 콘텐츠를 표시하는 동안 센서(140)를 통해서 획득된 사용자의 생체 데이터를 전자 장치(300)로 전달할 수 있다. 제시된 실시예에서는 표시부를 구비한 HMD 장치(100)에 대해서 설명하였으나, 표시부를 구비하지 않고 콘텐츠 출력 장치(200)가 HMD 장치(100)에 실장되는 경우 프로세서(150)는 콘텐츠 출력 장치(200)의 표시부가 멀티미디어 콘텐츠를 표시하는 동안 센서(140)를 통해서 획득된 사용자의 생체 데이터를 전자 장치(300)로 전달할 수 있다.
다양한 실시예에서 하이라이트 영상 생성 시스템(1000)이 별도의 전자 장치(300)를 구비하지 않는 경우 프로세서(150)는 표시부(120)를 통해서 멀티미디어 콘텐츠를 표시하고, 센서(140)를 통해서 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 프로세서(150)는 추출된 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 프로세서(150)는 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추하고, 유추된 감정 상태에 따라 하이라이트 영상을 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 전자 장치를 설명하기 위한 개략도이다.
도 1 및 도 3을 참조하면, 전자 장치(300)는 통신부(310), 표시부(320), 저장부(330) 및 프로세서(340)를 포함한다.
통신부(310)는 서비스 제공 서버(200)가 외부 장치와 통신 가능하도록 연결한다. 상기 통신부(310)는 유/무선 통신을 이용하여 사용자 단말(100)과 연결되어 다양한 정보를 송수신할 수 있다. 구체적으로, 통신부(310)는 HMD 장치(100)로 멀티미디어 콘텐츠를 전달하고, HMD 장치(100)로부터 센서(140)를 통해서 획득된 사용자의 생체 데이터를 수신할 수 있다.
표시부(320)는 사용자에게 각종 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 표시부(320)는 HMD 장치(100)로부터 수신된 사용자의 생체 데이터를 나타내는 인터페이스 화면을 표시할 수 있다. 다양한 실시예에서 표시부(320)는 멀티미디어 콘텐츠 또는 적어도 하나의 부분 콘텐츠를 표시할 수 있다. 다양한 실시예에서 표시부(320)는 하이라이트 영상을 표시할 수 있다.
저장부(330)는 사용자의 생체 데이터를 이용하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 상기 저장부(330)는 HMD 장치(100)로 제공하기 위한 멀티미디어 콘텐츠를 저장하고, HMD 장치(100)로부터 수신된 생체 데이터를 저장할 수 있다. 다양한 실시예에서 저장부(330)는 프로세서(340)의 동작에 의해서 사용 또는 생성되는 다양한 데이터를 저장할 수 있다. 특히, 저장부(330)는 적어도 하나의 부분 콘텐츠 및/또는 하이라이트 영상을 저장할 수 있다.
프로세서(340)는 통신부(310), 표시부(320) 및 저장부(330)와 동작 가능하게 연결되며, 통신부(310)를 통해서 HMD 장치(100)로 멀티미디어 콘텐츠를 전달하고, HMD 장치(100)로부터 멀티미디어 콘텐츠가 표시되는 동안 HMD 장치(100)의 센서(140)를 통해서 획득된 사용자의 생체 데이터를 수신할 수 있다. 프로세서(340)는 수신된 생체 데이터로부터 생체 특징 데이터를 추출하고, 추출된 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 구체적으로, 프로세서(340)는 뇌파 데이터로부터 뇌파 특징 데이터를 추출 및/또는, 시선 데이터로부터 시선 특징 데이터를 추출할 수 있다.
프로세서(340)는 딥 러닝 알고리즘 및/또는 분류/회기 분석 알고리즘에 기초하여 생체 특징 데이터를 추출하고, 부분 콘텐츠를 검출하며, 사용자의 감정 상태를 결정할 수 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)의 센서(140)를 통해서 획득된 사용자의 뇌파 데이터 및/또는 시선 데이터로부터, 뇌파 특징 데이터 및/또는 시선 특징 데이터를 추출하도록 학습된 딥 러닝 알고리즘에 기초하여 뇌파 특징 데이터 및/또는 시선 특징 데이터를 추출할 수 있다. 이때, 딥 러닝 알고리즘은 DNN, CNN, DCNN, RNN, RBM, DBN, SSD 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서(340)는 HMD 장치(100)로부터 수신된 생체 데이터를 기초로 생체 특징 데이터를 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
프로세서(340)는 추출된 뇌파 또는 시선 특징 데이터가 특정 조건을 만족하면 특정 조건에 만족하는 뇌파 또는 시선 특징 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다. 여기서, 사용자가 주목한 부분 콘텐츠는 사용자가 주목한 장면들 각각에 해당하는 프레임을 포함할 수 있다. 예를 들어, 특정 조건은 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율이 각각의 임계치 이상인 경우 및/또는 시선 응시 시간 또는 시선 추적 시간이 각각의 임계치 이상이거나, 눈 깜박임 횟수가 임계치 이하인 경우를 포함할 수 있다.
프로세서(340)는 생체 특징 데이터에 기반하여 감정과 연관성이 높은 부분 콘텐츠를 검출하도록 구성된 딥 러닝 알고리즘에 기초하여 해당 부분 콘텐츠를 검출할 수 있다. 예를 들어, 프로세서(340)는 뇌파 특징 데이터의 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율을 기반으로 사용자가 주목한 부분 컨텐츠를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 다른 예를 들어, 프로세서(340)는 시선 특징 데이터로서 시선 응시 시간 또는 눈 깜박임 횟수를 기반으로 사용자가 주목한 부분 데이터를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 이때, 딥 러닝 알고리즘은, DNN, CNN, DCNN, RNN, RBM, DBN, SSD 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서(340)는 생체 특징 데이터를 기초로 부분 콘텐츠를 결정할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
프로세서(340)는 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추하고, 유추된 감정 상태에 따라 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성할 수 있다. 구체적으로, 프로세서(340)는 사용자가 주목한 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 이용하여 사용자가 주목한 부분 콘텐츠를 특정 개수의 그룹으로 분류하기 위해 머신 러닝 기법을 이용할 수 있다. 이러한 머신 러닝 기법은 k-평균 알고리즘, 가우시안 혼합 모델, 또는 랜덤 포레스트 모델 등을 포함할 수 있으며, 이에 한정되지 않고, 그룹화를 위한 다양한 기법이 이용될 수 있다. 또한, 특정 개수는 사용자에 의해서 미리 정해지거나 머신 러닝 알고리즘에 의해서 자동으로 정해질 수 있다. 예를 들어, 프로세서(340)는 서로 유사하거나 일치하는 생체 데이터 및 해당 생체 데이터에 대응하는 적어도 하나의 부분 콘텐츠를 동일한 그룹으로 클러스터링(clustering)할 수 있다. 프로세서(340)는 생체 데이터들 간의 차이가 임계치 이하에 해당하는 경우 해당 생체 데이터들을 서로 유사하거나 일치한다고 판단할 수 있다.
프로세서(340)는 각 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 속한 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 프로세서(340)는 적어도 하나의 부분 콘텐츠에 기반하여 사용자의 감정 상태를 분류하도록 구성된 분류 알고리즘을 기초로, 사용자의 감정 상태를 최종적으로 결정할 수 있다. 예를 들어, 분류 알고리즘은, 랜덤 포레스트, GNB, LNB, 및 SVM 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서(340)는 부분 콘텐츠를 기초로 사용자의 감정을 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다. 이를 이용하여 프로세서(340)는 적어도 하나의 부분 콘텐츠에 해당하는 장면들을 분석하여 장면에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인식하고, 인식된 오브젝트, 풍경, 분위기, 색감 및 음악 등 중 적어도 하나에 해당하는 사용자의 감정 상태를 유추할 수 있다.
다양한 실시예에서, 프로세서(340)는 각 장면에서 얼굴을 검출하고, 검출된 얼굴의 표정을 인식하여 인식된 표정에 따른 사용자의 감정 상태를 유추할 수 있다. 전자 장치(300)는 인공 신경망 알고리즘을 이용하여 표정을 인식할 수 있으며, 이에 한정되지 않고, 얼굴 인식을 위한 다양한 기법이 이용될 수 있다. 인식된 표정이 웃는 표정인 경우 전자 장치(300)는 사용자의 감정 상태를 기쁨으로 유추하고, 인식된 표정이 우는 표정인 경우 사용자의 감정 상태를 슬픔으로 유추할 수 있다. 전자 장치(300)는 인식된 표정에 따른 사용자의 감정 상태를 유추하기 위해 추론 알고리즘을 이용할 수 있으며, 이에 한정되지 않고, 표정에 따른 사용자의 감정 상태를 유추하기 위한 다양한 기법이 이용될 수 있다. 다양한 실시예에서 프로세서(340)는 각 장면에서의 색감 및 음악을 인식하고, 인식된 색감 및 음악에 따른 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 인식된 색감이 어두운 색이고, 인식된 음악이 어두운 분위기의 음악인 경우 프로세서(340)는 사용자의 감정 상태를 공포로 유추할 수 있다.
다양한 실시예에서 프로세서(340)는 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 감정 상태 정보를 획득하기 위해 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 수신할 수 있다. 예를 들어, 전자 장치(300)는 HMD 장치(100)를 통해서 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 사용자가 각 그룹의 적어도 하나의 부분 콘텐츠를 인지하여 느끼는 감정 상태에 대한 입력을 수신할 수 있다. 여기서, 인터페이스 화면은 각 그룹의 부분 콘텐츠를 나타내는 표시 공간 및 각 그룹에 대한 사용자의 감정 상태를 입력하기 위한 입력 공간을 포함할 수 있다. 다양한 실시예에서 인터페이스 화면은 표시 공간과 함께 감정 상태에 연관된 태그를 각 그룹에 태깅하기 위한 그래픽 공간을 포함할 수 있다. 예를 들어, 특정 그룹에 관련하여 사용자에 의해서 태깅된 태그가 “공포”에 해당하는 경우 프로세서(340)는 특정 그룹에 대한 사용자의 감정 상태를 “공포”로 판단할 수 있다.
다양한 실시예에서 프로세서(340)는 하이라이트 영상을 생성하기 위한 동작 이전에 HMD 장치(100)를 통해서 사용자의 감정 상태를 유추하기 위한 샘플 멀티미디어 데이터를 제공하고, 사용자로부터 샘플 멀티미디어 데이터에 관한 사용자의 감정 상태를 나타내는 입력을 획득하여 샘플 멀티미디어 데이터 및 획득된 감정 상태를 각 그룹에 대한 사용자의 감정 상태를 판단하기 위해 사용할 수 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)를 통해서 임의의 동영상에 대한 사용자의 감정 상태를 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 특정 동영상에 대한 사용자의 감정 상태를 나타내는 정보를 획득할 수 있다. 인터페이스 화면은 임의의 동영상을 표시하기 위한 표시 공간 및 해당 동영상을 보고 사용자가 느끼는 감정을 나타내는 감정 정보를 입력하기 위한 입력 공간을 포함할 수 있다. 인터페이스 화면을 통해서 사용자로부터 특정 동영상에 관한 사용자의 감정 상태를 나타내는 감정 정보가 입력되면 프로세서(340)는 입력된 감정 정보와 임의의 동영상을 매핑하고, 매핑된 감정 정보 및 임의의 동영상을 학습할 수 있다. 이를 통해서 프로세서(340)는 하이라이트 영상을 생성하기 위해 각 그룹에 대한 사용자의 감정 상태를 유추할 시 학습된 동영상과 유사하거나 일치하는 동영상을 학습된 동영상에 매핑된 감정 정보로서 유추할 수 있다.
다양한 실시예에서 프로세서(340)는 각 그룹에 관련하여 유추된 사용자의 감정 상태를 보정하기 위해 각 그룹에 대한 사용자의 입력을 수신할 수도 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)를 통해서 사용자의 감정 상태가 이미 유추된 그룹에 대한 사용자의 감정 상태를 나타내는 감정 정보를 사용자로부터 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 사용자로부터 획득된 감정 정보를 이용하여 해당 그룹에 대한 사용자의 감정 상태를 보정할 수 있다. 인터페이스 화면은 각 그룹에 속한 적어도 하나의 부분 콘텐츠를 표시하는 표시 공간 및 해당 그룹에 대한 사용자의 감정 상태를 나타나는 감정 정보를 입력하기 위한 입력 공간을 포함할 수 있다. 특정 그룹에 관련하여 유추된 감정 상태가 “공포”이고, 인터페이스 화면을 통해서 사용자로부터 획득된 감정 정보가 “혐오”인 경우 프로세서(340)는 특정 그룹에 관련하여 유추된 감정 상태를 “공포”에서 “혐오”로 보정할 수 있다.
다양한 실시예에서 프로세서(340)는 각 그룹, 각 그룹에 속한 적어도 하나의 부분 콘텐츠, 해당 부분 콘텐츠에 관련된 생체 데이터 및 각 그룹에 관련하여 유추된 감정 상태 등을 보정하기 위한 사용자의 선택 또는 입력을 수신할 수 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)를 통해서 각 그룹, 각 그룹에 속한 적어도 하나의 부분 콘텐츠, 해당 부분 콘텐츠에 관련된 생체 데이터 및 각 그룹에 관련하여 유추된 감정 상태 등을 보정하기 위한 인터페이스 화면을 제공할 수 있다. 인터페이스 화면은 각 그룹에 속한 적어도 하나의 부분 콘텐츠, 부분 콘텐츠에 관련된 생체 데이터 및 각 그룹에 관련하여 유추된 감정 상태를 수정(또는 보정)하기 위한 다양한 그래픽 객체(예: 텍스트, 이미지, 아이콘 등)를 포함할 수 있다. 이러한 그래픽 객체는 사용자에 의해서 이동 또는 수정 가능하도록 구성될 수 있다. 사용자는 인터페이스 화면을 통해 특정 그룹에 속한 적어도 하나의 부분 콘텐츠 및 생체 데이터를 다른 그룹으로 이동시키거나, 특정 그룹에 관련하여 유추된 감정 상태를 수정하거나, 특정 그룹에 속한 적어도 하나의 부분 콘텐츠 또는 생체 데이터를 삭제하거나, 감정 상태를 나타내는 태그를 “슬픔”에서 “절망”으로 변경하는 등의 다양한 동작을 수행할 수 있다. 이를 통해서 본 발명은 사용자의 입력 또는 선택 등에 따라 각 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 관한 사용자의 감정 상태를 정확하게 확인할 수 있다.
각 그룹에 대한 사용자의 감정 상태를 유추 또는 판단하는 동작이 완료되면 프로세서(340)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다. 구체적으로, 프로세서(340)는 전자 장치(300)는 각 그룹의 적어도 하나의 부분 콘텐츠를 배열 순서에 따라 배열하고, 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성할 수 있다. 여기서, 배열 순서는 시간 순서, 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높거나 낮은 순서 또는 사용자가 재밌다고 느끼거나 재미없다고 느끼는 순서 등을 포함하지만, 이에 한정되지 않으며, 다양한 순서가 포함될 수 있다. 프로세서(340)는 생체 특징 데이터에 기반하여 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높거나 낮은 순서 또는 사용자가 재밌다고 느끼거나 재미없다고 느끼는 순서 등을 판단할 수 있다. 예를 들어, 프로세서(340)는 뇌파의 알파파 및 베타파의 에너지 비율의 피크(peek)치가 낮은 순에서 높은 순을 감정 상태가 고조되는 순서로서 판단하거나, 뇌파의 특정 주파수 영역의 대역 전력의 피크치가 높으면 사용자의 주목 및/또는 집중도가 높거나 사용자가 재밌다고 느끼는 것으로 판단할 수 있으며, 이에 한정되지 않고, 다양한 방식이 이용될 수 있다.
하기에서는 영화 등과 같은 동영상 데이터로부터 검출된 적어도 하나의 부분 콘텐츠가 4개의 그룹으로 그룹화되고, 제1 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “즐거움”이고, 제2 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “슬픔”이고, 제3 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “두려움”이고, 제4 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “안도” 이며, 시간 순서가 제1 그룹에서 제4 그룹 순인 경우 배열 순서에 따라 부분 콘텐츠를 배열하는 실시예를 설명하도록 한다. 이러한 경우 프로세서(340)는 시간 순서에 따라 제1 그룹, 제2 그룹, 제3 그룹 및 제4 그룹 순으로 적어도 하나의 부분 콘텐츠를 배열할 수 있다. 다양한 실시예에서 사용자의 감정 상태가 슬픔, 두려움, 안도, 즐거움 순으로 고조되는 경우 프로세서(340)는 제2 그룹, 제3 그룹, 제4 그룹 및 제1 그룹 순으로 적어도 하나의 부분 콘텐츠를 배열할 수 있다. 다양한 실시예에서 사용자의 주목 및/또는 집중도가 제4 그룹, 제1 그룹, 제2 그룹 및 제3 그룹 순으로 높은 경우 프로세서(340)는 제4 그룹, 제1 그룹, 제2 그룹 및 제3 그룹 순으로 적어도 하나의 부분 콘텐츠를 배열할 수 있다. 다양한 실시예에서 프로세서(340)는 사용자의 관심 객체가 포함된 부분 콘텐츠 순으로 적어도 하나의 부분 콘텐츠를 배열할 수도 있다. 예를 들어, 프로세서(340)는 사용자의 시선 데이터 및 뇌파 데이터를 분석하여 적어도 하나의 부분 콘텐츠에서 사용자의 시선이 특정 횟수 이상 또는 특정 시간 이상 위치하는 오브젝트를 관심 객체로서 인식하고, 인식된 오브젝트가 포함된 부분 콘텐츠 순으로 적어도 하나의 부분 콘텐츠를 배열할 수도 있다. 다양한 실시예에서 프로세서(340)는 사용자의 관심 객체가 포함된 적어도 하나의 부분 콘텐츠를 사용자의 감정 상태가 고조되는 순으로 배열할 수도 있다. 예를 들어, 프로세서(340)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠 중 사용자의 관심 객체에 포함된 적어도 하나의 부분 콘텐츠를 추출하고, 추출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 생체 데이터를 확인하여 사용자의 감정 상태가 고조되는 순으로 배열할 수도 있다.
프로세서(340)는 이와 같이 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성할 수 있다. 예를 들어, 프로세서(340)는 적어도 하나의 부분 콘텐츠를 결합, 편집 또는 효과 적용을 통해 하이라이트 영상으로 생성할 수 있다.
이를 통해서 본 발명은 사용자의 감정 상태에 따른 사용자 맞춤형 하이라이트 영상을 생성 및 제공할 수 있고, 사용자가 주목하는 오브젝트 중심의 하이라이트 영상을 제공할 수 있어 사용자의 만족도를 높일 수 있다.
다양한 실시예에서 프로세서(340)는 하이라이트 영상을 생성하기 위한 동작 이전에 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하기 위해 기준 생체 특징 데이터(예: 기준 뇌파 특징 데이터 및/또는 기준 시선 특징 데이터)를 설정할 수 있다. 예를 들어, 프로세서(340)는 사용자가 편안한 상태에 해당하는 뇌파 데이터를 획득하기 위한 멀티미디어 영상 데이터를 HMD 장치(100)로 제공하고, HMD 장치(100)로부터 사용자가 멀티미디어 영상 데이터를 시청하는 동안 획득된 뇌파 데이터를 수신할 수 있다. 예를 들어, 프로세서(340)는 검은색의 바탕 화면 상에 흰색 십자가가 위치하고, 사용자가 흰색 십자가를 응시하도록 하기 위한 안내 문구가 포함된 멀티미디어 영상 데이터를 HMD 장치(100)로 제공할 수 있다. 다양한 실시예에서 프로세서(340)는 사용자가 편안함을 느끼도록 하기 위한 잔잔한 음악에 해당하는 오디오 데이터를 HMD 장치(100)로 더 제공할 수도 있다. HMD 장치(100)로부터 사용자가 흰색 십자가를 응시하는 동안 센서(140)를 통해서 획득된 사용자의 뇌파 데이터가 수신되면 프로세서(340)는 획득된 뇌파 데이터로부터 뇌파 특징 데이터를 추출하고, 추출된 뇌파 특징 데이터를 기준 뇌파 특징 데이터로 설정할 수 있다. 프로세서(340)는 이와 같이 설정된 기준 뇌파 특징 데이터를 이용하여 사용자가 집중 및/또는 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 프로세서(340)는 추출된 뇌파 특징 데이터와 기준 뇌파 특징 데이터를 비교하여 두 데이터의 차이가 임계치 이상인 경우 획득된 뇌파 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로 판단할 수 있다.
다양한 실시예에서 HMD 장치(100)로부터 사용자가 흰색 십자가를 응시하는 동안 센서(140)를 통해서 획득된 사용자의 시선 데이터가 수신되면 프로세서(340)는 획득된 시선 데이터로부터 시선 특징 데이터를 추출하고, 추출된 시선 특징 데이터를 기준 시선 특징 데이터로 설정할 수 있다. 프로세서(340)는 이와 같이 설정된 기준 시선 특징 데이터를 이용하여 사용자가 집중 및/또는 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 프로세서(340)는 추출된 시선 특징 데이터와 기준 시선 특징 데이터를 비교하여 두 데이터의 차이가 임계치 이상인 경우 획득된 뇌파 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로 판단할 수 있다.
다양한 실시예에서 프로세서(340)는 사용자의 시선이 응시하는 위치를 예측하기 위해 HMD 장치(100)로부터 사용자가 특정 위치를 응시하는 동안 획득된 시선 데이터를 학습할 수 있다. 예를 들어, 프로세서(340)는 사용자의 시선 움직임을 나타내는 시선 데이터를 획득하기 위한 멀티미디어 영상 데이터를 HMD 장치(100)로 제공하고, HMD 장치(100)로부터 사용자가 멀티미디어 영상 데이터를 시청하는 동안 획득된 시선 데이터를 수신할 수 있다. 예를 들어, 프로세서(340)는 검은색의 바탕 화면 상의 흰색의 점들 각각이 다양한 위치에서 점멸되도록 구성된 멀티미디어 영상 데이터를 HMD 장치(100)로 제공할 수 있다.
HMD 장치(100)로부터 사용자가 흰색의 점들 각각이 점멸되는 다양한 위치에 시선을 두는 동안 센서(140)를 통해서 획득된 사용자의 시선 데이터가 수신되면 프로세서(340)는 획득된 시선 데이터를 학습함으로써, 학습 이후에 HMD 장치(100)로부터 수신되는 시선 데이터를 이용하여 사용자의 시선이 응시하는 위치를 예측할 수 있다.
상술한 기준 생체 데이터 설정 동작은 선택적으로 이루어질 수 있다. 예를 들어, 프로세서(340)가 학습을 통해서 사용자가 주목한 부분 콘텐츠를 검출하는 경우 기준 생체 데이터 설정 동작이 수행되지 않을 수 있다.
상술한 인터페이스 화면 및 인터페이스 화면에 포함되는 공간 및 그래픽 객체 등은 상술한 내용으로 한정되지 않으며, 특정 데이터를 획득하기 위해 다양한 방식으로 구성될 수 있다.
도 4는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 방법을 설명하기 위한 개략적인 순서도이다. 이하에서는 편의를 위해 HMD 장치(100)와 전자 장치(300)가 분리되어 동작하는 것으로 설명되나, 이에 제한되지 않고, 도 4 의 모든 동작은 하나의 HMD 장치(100) 또는 HMD 장치(100)와 연결가능한 콘텐츠 출력 장치(200)에서 수행될 수도 있다.
도 1 및 도 4를 참조하면, 전자 장치(300)는 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 HMD 장치(100)를 통해서 멀티미디어 콘텐츠를 제공한다(S400). 전자 장치(300)는 HMD 장치(100)를 통해서 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득할 수 있다(S410). 전자 장치(300)는 획득된 생체 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출한다(S420). 구체적으로, 전자 장치(300)는 획득된 생체 데이터로부터 생체 특징 데이터를 추출하고, 추출된 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 전자 장치(300)는 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추하고(S430), 유추된 감정 상태에 따라 하이라이트 영상을 생성한다(S440). 구체적으로, 전자 장치(300)는 검출된 적어도 하나의 부분 콘텐츠 및 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화하고, 각 그룹의 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 전자 장치(300)는 이와 같이 유추된 감정 상태에 해당하는 각 그룹의 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다.
도 5a, 도 5b, 도 5c 및 도 5d는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 관한 하이라이트 영상을 생성하는 방법을 설명하기 위한 예시도들이다. 제시된 실시예에서는 사용자의 생체 데이터에 기반하여 영화에 해당하는 멀티미디어 콘텐츠에 관한 하이라이트 영상을 생성하는 방법을 설명하도록 한다.
도 1 및 도 5a를 참조하면, 전자 장치(300)는 HMD 장치(100)를 통해서 도 5a의 (a)와 같은 멀티미디어 콘텐츠(500)를 제공할 수 있다. HMD 장치(100)를 통해서 멀티미디어 콘텐츠(500)가 표시되는 동안 전자 장치(300)는 HMD 장치(100)로부터 사용자의 생체 데이터를 획득하고, 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 예를 들어, 생체 데이터가 뇌파 데이터인 경우 뇌파 데이터로부터 추출된 뇌파 특징 데이터는 도 5a의 (b)와 같은 시간별 뇌파의 알파파 및 베타파의 에너지 비율에 대한 그래프로서 나타낼 수 있다. 여기서, 시간은 멀티미디어 콘텐츠(500)의 재생 시간일 수 있다. 전자 장치(300)는 멀티미디어 콘텐츠에서 뇌파의 알파파 및 베타파의 에너지 비율이 임계치(a) 이상에 해당하는 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 에너지 비율이 임계치(a) 이상에 해당하는 적어도 하나의 부분 콘텐츠는 재생 시간 H1에 해당하는 제1 부분 콘텐츠(502), 재생 시간 H2에 해당하는 제2 부분 콘텐츠(504) 및 재생 시간 H3에 해당하는 제3 부분 콘텐츠(506)를 포함할 수 있다. 전자 장치(300)는 이와 같이 검출된 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 예를 들어, 전자 장치(300)는 k-평균 알고리즘을 이용하여 서로 유사하거나 일치되는 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 이와 같이 그룹화된 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터는 도 5b와 같은 그래프로 표시될 수 있다.
도 5b를 참조하면, 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터는 제1 그룹(510) 및 제2 그룹(520)을 포함하는 2개의 그룹으로 그룹화될 수 있다. 제1 그룹(510)에 제1 부분 콘텐츠(502)가 포함되고, 제2 그룹(520)에 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)가 포함되는 경우 제1 부분 콘텐츠(502)는 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)와 서로 다른 성격을 가지고, 제2 부분 콘텐츠(504)는 제3 부분 콘텐츠(506)와 서로 유사하거나 일치하는 성격을 갖는다고 볼 수 있다.
전자 장치(300)는 이와 같이 2개의 그룹 각각에 속하는 제1 부분 콘텐츠(502), 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)의 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 구체적으로, 전자 장치(300)는 머신 러닝 기법(예: 딥 러닝 및/또는 분류 알고리즘 등)을 이용하여 제1 부분 콘텐츠(502), 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)의 장면들 각각에 포함된 오브젝트, 풍경, 분위기, 색상 또는 음악 등을 분석하여 제1 부분 콘텐츠(502)가 속한 제1 그룹에 대한 사용자의 감정 상태 및 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)가 속한 제2 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 전자 장치(300)는 제1 부분 콘텐츠(502), 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506) 각각의 장면에서 얼굴을 검출하고, 검출된 얼굴의 표정을 인식하여 인식된 표정에 따른 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 제1 부분 콘텐츠(502)에 관련하여 인식된 표정이 웃는 표정인 경우 전자 장치(300)는 제1 그룹(510)에 대한 사용자의 감정 상태를 “기쁨”으로 유추할 수 있다. 제2 부분 콘텐츠(504)에 관련하여 인식된 표정이 무표정이고, 제3 부분 콘텐츠(506)에 관련하여 인식된 표정이 슬픈 표정인 경우 전자 장치(300)는 제2 그룹(520)에 대한 사용자의 감정 상태를 “나쁨”으로 유추할 수 있다. 전자 장치(300)는 도 5c와 같이 제1 그룹(510)과 제1 그룹(510)에 관련하여 유추된 감정 상태(기쁨)을 매핑하고, 제2 그룹(520)과 제2 그룹(520)에 관련하여 유추된 감정 상태(나쁨)을 매핑할 수 있다.
전자 장치(300)는 이와 같이 감정 상태가 유추된 제1 그룹(510) 및 제2 그룹(520) 각각에 속하는 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다. 구체적으로, 전자 장치(300)는 배열 순서에 따라 적어도 하나의 부분 콘텐츠를 배열하고, 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성할 수 있다. 예를 들어, 재생 시간 순서가 제1, 제2 및 제3 부분 콘텐츠 순인 경우 전자 장치(300)는 도 5d의 (a)와 같이 재생 시간 순서로 제1, 제2 및 제3 부분 콘텐츠(502, 504, 506)를 배열하고, 배열된 제1, 제2 및 제3 부분 콘텐츠(502, 504, 506)를 포함하는 하이라이트 영상을 생성할 수 있다. 다양한 실시예에서 사용자의 감정이 고조된 순서가 제2, 제3 및 제1 부분 콘텐츠 순인 경우 전자 장치(300)는 도 5d의 (b)와 같이 사용자의 감정이 고조된 순서로 제2, 제3 및 제1 부분 콘텐츠(504, 506, 502)를 배열하고, 배열된 제2, 제3 및 제1 부분 콘텐츠(504, 506, 502)를 포함하는 하이라이트 영상을 생성할 수 있다. 다양한 실시예에서 사용자의 주목 및/또는 집중도가 높은 순서가 제2, 제1 및 제3 부분 콘텐츠 순인 경우 전자 장치(300)는 도 5d의 (c)와 같이 사용자의 주목 및/또는 집중도가 높은 순서로 제2, 제1 및 제3 부분 콘텐츠(504, 502, 506)를 배열하고, 배열된 제2, 제1 및 제3 부분 콘텐츠(504, 502, 506)를 포함하는 하이라이트 영상을 생성할 수 있다. 생성된 하이라이트 영상은 HMD 장치(100), 콘텐츠 출력 장치(200) 또는 전자 장치 (300)에서 재생될 수 있다.
다양한 실시 예에서, 전자 장치(300)는 적어도 하나의 부분 콘텐츠를 결합 및/또는 편집 등을 통해 하이라이트 영상을 생성할 수 있으며, 이에 한정되지 않고, 적어도 하나의 부분 콘텐츠 중 어느 하나 이상의 부분 콘텐츠에 다양한 효과를 적용할 수도 있다. 다양한 효과는 텍스트/아이콘/이미지 입력, 합성, 오버레이, 빛 번짐, 색상 반전, 흑백-컬러 전환, 특정 색 강조 등을 포함하며, 이에 한정되지 않는다.
이와 같이 본 발명은 사용자가 멀티미디어 콘텐츠를 시청 또는 체험하는 동안 획득된 사용자의 생체 데이터를 이용하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성함으로써, 사용자 맞춤형 하이라이트 영상을 제공할 수 있다.
또한, 본 발명은 사용자가 주목하는 오브젝트 중심의 하이라이트 영상을 제공할 수 있어 사용자의 만족도를 높일 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: HMD 장치
200: 콘텐츠 출력 장치
300: 전자 장치
1000: 하이라이트 영상 생성 시스템

Claims (15)

  1. 하이라이트 생성 장치의 프로세서에 의해서 수행되는 사용자의 생체 데이터를 이용한 하이라이트 영상 생성 방법에 있어서,
    사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하는 단계;
    상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하는 단계;
    상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하는 단계;
    상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하는 단계; 및
    상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  2. 제1항이 있어서, 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 부분 데이터를 검출하는 단계는,
    상기 획득된 생체 데이터로부터 생체 특징 정보를 추출하는 단계; 및
    상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  3. 제2항에 있어서, 상기 생체 특징 데이터는,
    상기 시선 데이터로부터 추출된 시선 특징 데이터 및 상기 뇌파 데이터로부터 추출된 뇌파 특징 데이터 중 적어도 하나를 포함하고,
    상기 시선 특징 데이터는,
    상기 사용자의 시선이 응시된 시선 응시 시간, 상기 사용자의 시선이 상기 멀티미디어 콘텐츠의 특정 오브젝트를 추적한 시선 추적 시간 또는 상기 사용자의 눈이 깜박인 눈 깜박임 횟수를 포함하고,
    상기 뇌파 특징 데이터는,
    뇌파의 특정 주파수 영역의 대역 전력(Band Power) 또는 상기 뇌파의 알파(Alpha)파와 베타(Beta)파의 에너지 비율을 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  4. 제3항에 있어서, 상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는 단계는,
    상기 뇌파의 특정 주파수 영역의 대역 전력 또는 상기 뇌파의 알파파와 베타파의 에너지 비율이 각각의 임계치 이상이면 상기 대역 전력 또는 상기 에너지 비율에 연관된 적어도 하나의 부분 콘텐츠를 검출하는 단계인, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  5. 제3항에 있어서, 상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는 단계는,
    상기 시선 응시 시간 또는 상기 시선 추적 시간이 각각의 임계치 이상이면 상기 시선 응시 시간 또는 상기 시선 추적 시간에 연관된 적어도 하나의 부분 콘텐츠를 검출하는 단계이거나,
    상기 눈 깜박임 횟수가 임계치 이하이면 상기 눈 깜박임 횟수에 연관된 적어도 하나의 부분 콘텐츠를 검출하는 단계인, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  6. 제1항에 있어서, 상기 검출된 적어도 하나의 부분 콘텐츠를 이용하여 상기 사용자의 감정 상태를 유추하는 단계는,
    상기 검출된 적어도 하나의 부분 콘텐츠 및 상기 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화하는 단계;
    상기 하나 이상의 그룹에 대응하는 감정 상태를 유추하는 단계; 및
    상기 유추된 감정 상태와 상기 하나 이상의 그룹을 매핑하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  7. 제6항에 있어서, 상기 하나 이상의 그룹에 대응하는 감정 상태를 유추하는 단계는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 상기 하나 이상의 그룹에 대한 사용자의 감정 상태를 유추하는 단계인, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  8. 제6항에 있어서, 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠를 기 설정된 배열 순서에 따라 배열하는 단계; 및
    상기 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  9. 제8항에 있어서, 상기 배열 순서는,
    시간 순서, 상기 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높은 순서 중 적어도 일부를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  10. 통신부;
    저장부; 및
    상기 통신부 및 상기 저장부와 동작 가능하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하고,
    상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하고,
    상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하고,
    상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하고,
    상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  11. 제10항이 있어서, 상기 프로세서는,
    상기 획득된 생체 데이터로부터 생체 특징 정보를 추출하고, 상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  12. 제10항에 있어서, 상기 프로세서는,
    상기 검출된 적어도 하나의 부분 콘텐츠 및 상기 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화하고, 상기 하나 이상의 그룹에 대응하는 감정 상태를 유추하고, 상기 유추된 감정 상태와 상기 하나 이상의 그룹을 매핑하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  13. 제12항에 있어서, 상기 프로세서는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 상기 하나 이상의 그룹에 대한 사용자의 감정 상태를 유추하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  14. 제12항에 있어서, 상기 프로세서는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠를 기 설정된 배열 순서에 따라 배열하고, 상기 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  15. 제10항에 있어서, 상기 멀티미디어 콘텐츠는,
    상기 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상 및 비-인터랙티브(non-interactive) 영상을 포함하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
PCT/KR2020/000255 2019-01-28 2020-01-07 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 WO2020159093A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021539378A JP2022516640A (ja) 2019-01-28 2020-01-07 生体データを利用したハイライト映像生成方法及びその装置
US17/420,138 US20220067376A1 (en) 2019-01-28 2020-01-07 Method for generating highlight image using biometric data and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0010448 2019-01-28
KR1020190010448A KR102168968B1 (ko) 2019-01-28 2019-01-28 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2020159093A1 true WO2020159093A1 (ko) 2020-08-06

Family

ID=71842216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000255 WO2020159093A1 (ko) 2019-01-28 2020-01-07 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치

Country Status (4)

Country Link
US (1) US20220067376A1 (ko)
JP (1) JP2022516640A (ko)
KR (1) KR102168968B1 (ko)
WO (1) WO2020159093A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021045391A1 (ko) 2019-09-03 2021-03-11 주식회사 엘지화학 아크릴계 에멀젼 점착제 조성물
WO2022059817A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 이미지 및 동영상의 대사와 배경으로 알 수 있는 메타 정보 인지의 ai 최소 문맥 탐구 방법
WO2022059818A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 동영상 검색에서 크라우드 메타 정보들의 서사 구성 방법
US11663790B2 (en) * 2021-08-18 2023-05-30 Optum, Inc. Dynamic triggering of augmented reality assistance mode functionalities
KR102675120B1 (ko) * 2021-10-13 2024-06-12 김지민 영상 제공 및 뇌파 측정 장치 및 그 동작 방법
US20230345090A1 (en) * 2022-04-26 2023-10-26 Dish Network L.L.C. Systems and methods for generating summary media content based on biometric information
WO2024009944A1 (ja) * 2022-07-07 2024-01-11 Ｖｉｅ株式会社 情報処理方法、記録媒体、及び情報処理装置
WO2024166510A1 (ja) * 2023-02-06 2024-08-15 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20150039113A (ko) * 2013-09-30 2015-04-09 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
KR20180028931A (ko) * 2016-09-09 2018-03-19 소니 주식회사 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method
US9176582B1 (en) * 2013-04-10 2015-11-03 Google Inc. Input system
US9807291B1 (en) * 2014-01-29 2017-10-31 Google Inc. Augmented video processing
US20170078742A1 (en) * 2014-03-10 2017-03-16 Nokia Technologies Oy Method and apparatus for video processing
WO2015182834A1 (ko) * 2014-05-27 2015-12-03 엘지전자 주식회사 이동단말기 및 그 제어방법
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
JP2017211862A (ja) * 2016-05-26 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018152039A (ja) * 2017-03-09 2018-09-27 株式会社ＡＯＩ Ｐｒｏ． 映像評価のリサーチシステム
WO2018218356A1 (en) * 2017-05-30 2018-12-06 Interaxon Inc. Wearable computing device with electrophysiological sensors
US11122258B2 (en) * 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20150039113A (ko) * 2013-09-30 2015-04-09 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
KR20180028931A (ko) * 2016-09-09 2018-03-19 소니 주식회사 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONG WOOK, SK OPEN API. [ THE 50TH TDF] 09 EYE-BRAIN BASED VR INTERFACE TECHNOLOGY -LOOXID LAPS CEP CHA, 14 December 2017 (2017-12-14), Retrieved from the Internet <URL:https://www.youtube.com/watch?v=dzJj2yzV6E8> *

Also Published As

Publication number Publication date
KR20200093235A (ko) 2020-08-05
KR102168968B1 (ko) 2020-10-22
JP2022516640A (ja) 2022-03-01
US20220067376A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
WO2020159093A1 (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
US12053301B2 (en) Classifying facial expressions using eye-tracking cameras
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US9600715B2 (en) Emotion detection system
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
Curran et al. Understanding digitally-mediated empathy: An exploration of visual, narrative, and biosensory informational cues
WO2020251135A1 (ko) 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
US20210113129A1 (en) A system for determining emotional or psychological states
WO2021246700A1 (ko) 사용자 상태를 예측하기 위한 방법 및 그 장치
US20230043838A1 (en) Method for determining preference, and device for determining preference using same
WO2020032400A1 (ko) 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
Tejada et al. Building and validation of a set of facial expression images to detect emotions: a transcultural study
Singh et al. Multi-modal Expression Detection (MED): A cutting-edge review of current trends, challenges and solutions
KR101434624B1 (ko) 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법
WO2024111728A1 (ko) 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템
CN117524417A (zh) 自闭症康复训练系统、方法、设备及介质
WO2020235770A1 (ko) 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스
Chin et al. An affective interaction system using virtual reality and brain-computer interface
Kosmyna et al. Decoding visual imagery using eeg/eog glasses: A pilot study
KR102277894B1 (ko) 개인화된 영상 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법
El Kaliouby et al. Eliciting, capturing and tagging spontaneous facialaffect in autism spectrum disorder
KR102216905B1 (ko) 개인화된 영상 및 음성 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법
US20230123330A1 (en) Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same
Chin et al. Personality trait and facial expression filter-based brain-computer interface
Cheng et al. An ambient multimedia user experience feedback framework based on user tagging and EEG biosignals

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748364

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021539378

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20748364

Country of ref document: EP

Kind code of ref document: A1