KR20200093235A - 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 - Google Patents

생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR20200093235A
KR20200093235A KR1020190010448A KR20190010448A KR20200093235A KR 20200093235 A KR20200093235 A KR 20200093235A KR 1020190010448 A KR1020190010448 A KR 1020190010448A KR 20190010448 A KR20190010448 A KR 20190010448A KR 20200093235 A KR20200093235 A KR 20200093235A
Authority
KR
South Korea
Prior art keywords
user
partial content
data
biometric data
emotional state
Prior art date
Application number
KR1020190010448A
Other languages
English (en)
Other versions
KR102168968B1 (ko
Inventor
이홍구
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to KR1020190010448A priority Critical patent/KR102168968B1/ko
Priority to US17/420,138 priority patent/US20220067376A1/en
Priority to JP2021539378A priority patent/JP2022516640A/ja
Priority to PCT/KR2020/000255 priority patent/WO2020159093A1/ko
Publication of KR20200093235A publication Critical patent/KR20200093235A/ko
Application granted granted Critical
Publication of KR102168968B1 publication Critical patent/KR102168968B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Cardiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치가 제공된다. 본 발명의 실시예에 따른 하이라이트 생성 장치의 프로세서에 의해서 수행되는 사용자의 생체 데이터를 이용한 하이라이트 영상 생성 방법에 있어서, 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하는 단계; 상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하는 단계; 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하는 단계; 상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하는 단계; 및 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계를 포함한다.

Description

생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치{APPARATUS AND METHOD FOR GENERATING HIGHLIGHT VIDEO USING BIOLOGICAL DATA}
본 발명은 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치를 제공한다.
최근, 정보 통신 기술 및 네트워크 기술이 발달됨에 따라 디바이스는 다양한 기능들을 갖는 멀티미디어형 휴대기기로 진화하고 있으며, 근래 들어서는 사용자의 생체 신호 또는 디바이스 주변에서 발생하는 신호들을 감지할 수 있는 센서들을 구비하고 있다.
그 중 헤드 마운트 디스플레이 장치(Head-Mounted Display, HMD)(이하, 'HMD 장치'라 함)는, 사용자의 머리에 착용 가능한 구조로 형성되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능할 수 있도록 사용자에게 가상현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및/또는 혼합 현실(Mixed Reality, MR)에 관련된 영상을 제공하는 디스플레이 장치이다. 이와 같은 HMD 장치는, 사용자의 눈 부위에 착용 가능하도록 고글(goggle) 형태로 형성되는 본체와, 본체에 연결되어 본체를 사용자의 머리에 고정시킬 수 있도록 밴드 형태로 형성되는 착용부로 구성된다. 여기서, 본체에는 가상 현실 영상을 출력하는 수단으로서, 디스플레이가 구비되거나, 스마트폰 등과 같은 휴대용 단말 장치가 설치되거나, 모니터 등과 같이 PC 등에 연결되는 디스플레이 장치가 실장된다. 이러한 HMD 장치를 이용하여 사용자는 다양한 멀티미디어 콘텐츠를 시청 및 체험할 수 있으며, HMD 장치 또는 HMD 장치에 연결되는 전자 장치는 사용자가 시청하거나 체험한 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 제공할 수 있다. 이러한 HMD 장치 또는 전자 장치는 일반적으로 멀티미디어 콘텐츠를 분석하여 멀티미디어 콘텐츠에서 사용자가 흥미 또는 관심을 가지거나 재미있다고 유추되는 장면들을 하이라이트 영상으로 편집하여 제공한다.
그러나, 이와 같이 제공된 하이라이트 영상은 단순히 멀티미디어 콘텐츠에서 사용자가 흥미 또는 관심을 가지거나 재미있다고 유추되는 장면들로 구성되므로, 사용자가 실제로 흥미 또는 관심을 가지거나 재미있다고 느낀 장면들과 차이가 있을 수 있다.
따라서, 사용자가 실제로 흥미 또는 관심을 가지거나 재밌다고 느낀 장면들이 편집된 하이라이트 영상을 생성하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 생체 데이터를 이용한 사용자 맞춤형 하이라이트 영상을 생성하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치를 제공한다. 본 발명의 실시예에 따른 하이라이트 생성 장치의 프로세서에 의해서 수행되는 사용자의 생체 데이터를 이용한 하이라이트 영상 생성 방법에 있어서, 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하는 단계; 상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하는 단계; 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하는 단계; 상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하는 단계; 및 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 하이라이트 영상 생성 장치는, 통신부; 저장부; 및 상기 통신부 및 상기 저장부와 동작 가능하도록 연결된 프로세서를 포함하고, 상기 프로세서는, 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하고, 상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하고, 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하고, 상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하고, 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자가 멀티미디어 콘텐츠를 시청 또는 체험하는 동안 획득된 사용자의 생체 데이터를 이용하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성함으로써, 사용자 맞춤형 하이라이트 영상을 제공할 수 있다.
또한, 본 발명은 사용자가 주목하는 오브젝트 중심의 하이라이트 영상을 제공할 수 있어 사용자의 만족도를 높일 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 HMD 장치를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 전자 장치를 설명하기 위한 개략도이다.
도 4는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 방법을 설명하기 위한 개략적인 순서도이다.
도 5a, 도 5b, 도 5c 및 도 5d는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 관한 하이라이트 영상을 생성하는 방법을 설명하기 위한 예시도들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 발명에서, 하이라이트 제공 시스템은 제한되지 않고, 사용자의 시선을 획득하고, 사용자의 뇌파 등과 같은 생체 데이터를 획득하도록 구성된 모든 장치를 포함할 수 있다. 예를 들어, 하이라이트 제공 시스템은 HMD(Head Mounted Display) 장치뿐만 아니라, 헤드셋, 스마트링, 스마트 와치, 이어셋, 이어폰 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 멀티미디어 콘텐츠를 출력하는 콘텐츠 출력 장치와, 이들을 관리하는 전자 장치를 포함할 수 있다. 예를 들어, HMD 장치가 표시부를 구비하는 경우 하이라이트 제공 시스템은 HMD 장치 및 전자 장치만을 포함할 수 있다. 여기서 생체 데이터는 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 생체 데이터를 이용한 하이라이트 영상 생성 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 하이라이트 영상 생성 시스템(1000)은 사용자의 뇌파 및 시선 데이터 등 중 적어도 하나를 포함하는 생체 데이터를 이용하여 하이라이트 영상을 생성하는 시스템으로서, 사용자의 생체 데이터를 획득하기 위한 HMD 장치(100), 멀티미디어 콘텐츠를 출력하는 콘텐츠 출력 장치(200) 및 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 전자 장치(300)를 포함할 수 있다. 다양한 실시예에서, HMD 장치(100)가 표시부를 구비하는 경우 콘텐츠 출력 장치(200)는 하이라이트 영상 생성 시스템(1000)에 포함되지 않을 수 있다.
HMD 장치(100)는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 멀티미디어 콘텐츠를 제공함과 동시에, 사용자의 생체 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 멀티미디어 콘텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브(non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽(Stereoscopic) 영상이 포함될 수 있다.
HMD 장치(100)는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실을 위한 다양한 멀티미디어 콘텐츠를 HMD 장치(100) 내부에서 처리하는 형태로 구현되거나, HMD 장치(100)의 일부에 멀티미디어 콘텐츠를 제공하는 콘텐츠 출력 장치(200)가 장착되고 장착된 콘텐츠 출력 장치(200) 내부에서 멀티미디어 콘텐츠를 처리하는 형태로 구현될 수 있다.
HMD 장치(100)가 표시부를 구비하는 경우 사용자가 HMD 장치(100)를 착용할 시 사용자가 멀티미디어 콘텐츠를 확인할 수 있도록 표시부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.
다양한 실시예에서 HMD 장치(100)의 일부에는 콘텐츠 출력 장치(200)를 수용할 수 있는 수용 공간(101)이 형성될 수 있다. 수용 공간(101) 내에 콘텐츠 출력 장치(200)가 수용된 경우 콘텐츠 출력 장치(200)의 일면(예: 콘텐츠 출력 장치(200)의 표시부가 위치된 일면)이 사용자의 얼굴에 대향하도록 배치될 수 있다. 예를 들면, 콘텐츠 출력 장치(200)는 스마트폰, 태블릿 PC 등과 같은 휴대용 단말장치 또는 PC에 연결되어 PC로부터 제공되는 멀티미디어 콘텐츠를 출력할 수 있는 휴대용 모니터 등을 포함할 수 있다.
HMD 장치(100)의 일측에는 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 적어도 하나의 센서는 사용자의 뇌파를 측정하는 뇌파 센서 및/또는 사용자의 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 다양한 실시예에서 적어도 하나의 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 장치(100)를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득하거나 사용자의 피부에 접촉되어 사용자의 뇌전도 신호(electroencephalography, EEG), 근전도 신호(electromyography, EMG) 또는 심전도 신호(electrocardiogram, ECG) 등과 같은 뇌파 데이터를 획득할 수 있다. 본 명세서에서는 HMD 장치(100)가 사용자의 뇌파 및/또는 시선 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 장치(100)와 별도의 모듈을 통해 사용자의 뇌파 및/또는 시선 데이터를 획득하는 적어도 하나의 센서가 HMD 하우징에 장착되는 형식으로 구현될 수 있다. HMD 장치(100)라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.
HMD 장치(100)는 콘텐츠 출력 장치(200) 또는 전자 장치(300)의 요청에 따라 사용자의 생체 데이터를 획득하고, 획득된 생체 데이터를 콘텐츠 출력 장치(200) 또는 전자 장치(300)로 전달할 수 있다.
HMD 장치(100)는 표시부가 포함되는 경우 사용자의 생체 데이터를 획득하기 위해 멀티미디어 콘텐츠를 HMD 장치(100)의 표시부를 통해서 표시하고, HMD 장치(100)에 구비된 적어도 하나의 센서를 통해서 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득할 수 있다. HMD 장치(100)는 획득된 생체 데이터를 전자 장치(300)로 전달할 수 있다.
콘텐츠 출력 장치(200)가 HMD 장치(100)의 수용 공간(101)에 수용된 경우 HMD 장치(100)는 콘텐츠 출력 장치(200)를 통해서 출력되는 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하고, 획득된 생체 데이터를 전자 장치(300)로 전달할 수 있다.
전자 장치(300)는 HMD 장치(100) 및/또는 콘텐츠 출력 장치(200)와 통신 가능하도록 연결되고, HMD 장치(100) 또는 콘텐츠 출력 장치(200)로 멀티미디어 콘텐츠를 제공하며, HMD 장치(100)를 통해서 획득된 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 디바이스로서, PC(Personal Computer), 노트북, 워크스테이션(workstation), 스마트 TV 등을 포함할 수 있다.
전자 장치(300)는 HMD 장치(100)를 통해서 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 예를 들어, 전자 장치(300)는 뇌파 데이터로부터 뇌파 특징 데이터를 추출하거나, 시선 데이터로부터 시선 특징 데이터를 추출할 수 있다. 뇌파 특징 데이터는 뇌파의 특정 주파수 영역의 대역 전력(Band Power) 또는 뇌파의 알파(Alpha)파와 베타(Beta)파의 에너지 비율 등을 포함할 수 있다. 또한, 시선 특징 데이터는 사용자의 시선이 응시된 시선 응시 시간, 사용자의 시선이 멀티미디어 콘텐츠의 특정 오브젝트를 추적한 시선 추적 시간 또는 사용자의 눈이 깜박인 눈 깜박임 횟수 등을 포함할 수 있다. 이러한 생체 데이터는 이에 한정하지 않고, 다양한 생체 데이터가 포함될 수 있다.
다양한 실시에에서, 전자 장치(300)는 생체 특징 데이터를 추출하도록 학습된 딥 러닝 알고리즘에 기초하여, HMD 장치(100)를 통해서 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 예를 들어, 전자 장치(300)는, 뇌파 데이터로부터 뇌파 특징 데이터를 추출하도록 학습되거나, 시선 데이터로부터 시선 특징 데이터를 추출하도록 학습된 딥 러닝 알고리즘에 기초하여, 뇌파 특징 데이터, 시선 특징 데이터와 같은 다양한 생체 특징 데이터를 추출할 수 있다. 이때, 딥 러닝 알고리즘은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), DCNN(Deep Convolution Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고, 전자 장치(300)는 생체 데이터를 기초로 생체 특징 데이터를 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
전자 장치(300)는 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하고, 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추 또는 판단할 수 있다. 여기서, 부분 콘텐츠는 멀티미디어 콘텐츠의 적어도 일부로서, 적어도 하나의 장면 데이터가 포함될 수 있다. 예를 들어, 장면 데이터는 멀티미디어 콘텐츠를 구성하는 각 프레임을 의미할 수 있다.
구체적으로, 전자 장치(300)는 뇌파 및 시선 특징 데이터 중 적어도 하나가 특정 조건을 만족하는 경우 해당 뇌파 및 시선 특징 데이터 중 적어도 하나에 연관된 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 여기서, 특정 조건은 각 특징 데이터가 해당 임계치 이상 또는 이하에 해당하는 경우를 포함할 수 있다. 각 특징 데이터의 임계치는 각 특징 데이터에 따라 적어도 하나의 부분 콘텐츠를 검출하기 위해 미리 정해지고, 특징 데이터별로 서로 다른 값을 가질 수 있다. 예를 들어, 전자 장치(300)는 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율이 각각의 임계치 이상인 경우 해당 대역 전력 또는 에너지 비율에 대응하는 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다. 전자 장치(300)는 시선 응시 시간 또는 시선 추적 시간이 각각의 임계치 이상이거나, 눈 깜박임 횟수가 임계치 이하인 경우 해당 시선 응시 시간 또는 시선 추적 시간에 대응하는 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출하거나, 해당 눈 깜박임 횟수에 대응하는 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다. 다양한 실시예에서 전자 장치(300)는 뇌파 특징 데이터가 특정 조건을 만족하거나, 시선 특징 데이터가 특정 조건을 만족하거나, 뇌파 특징 데이터 및 시선 특징 데이터 모두가 특정 조건을 만족하는 경우 이에 연관된 적어도 하나의 부분 콘텐츠를 검출할 수 있다.
다양한 실시에에서, 전자 장치(300)는 생체 특징 데이터에 기반하여 감정과 연관성이 높은 부분 콘텐츠를 검출하도록 구성된 딥 러닝 알고리즘에 기초하여 검출할 수 있다. 예를 들어, 전자 장치(300)는 뇌파 특징 데이터의 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율을 기반으로, 사용자가 주목한 부분 컨텐츠를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 다른 예를 들어, 전자 장치(300)는 시선 특징 데이터로서 시선 응시 시간 또는 눈 깜박임 횟수를 기반으로 사용자가 주목한 부분 콘텐츠를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 이때, 딥 러닝 알고리즘은, DNN, CNN, DCNN, RNN, RBM, DBN, SSD 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 전자 장치(300)는 생체 특징 데이터를 기초로 부분 콘텐츠를 결정할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
다양한 실시예에서 전자 장치(300)는 사용자의 인지 및/또는 집중에 따른 생체 데이터를 확인하기 위해 멀티미디어 콘텐츠(예: 게임 또는 동영상 등)를 제공하고, 제공된 멀티미디어 콘텐츠를 통해서 획득된 사용자의 생체 데이터를 학습하여 학습된 생체 데이터와 유사하거나 일치하는 생체 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다.
전자 장치(300)는 검출된 적어도 하나의 부분 콘텐츠 및 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 예를 들어, 전자 장치(300)는 머신 러닝 기법 등을 이용하여 적어도 하나의 부분 콘텐츠 및 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터 중 비슷한 성격을 가지는 적어도 하나의 부분 콘텐츠 및 그에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 이러한 머신 러닝 기법은 k-평균 알고리즘(k-means algorithm) 또는 가우시안 혼합 모델(Gaussian Mixture Mode, GMM), 랜덤 포레스트 모델 등을 포함할 수 있으며, 이에 한정되지 않고, 그룹화를 위한 다양한 기법이 이용될 수 있다.
전자 장치(300)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 여기서, 감정 상태는 적어도 하나의 부분 콘텐츠에 포함된 장면들 각각에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인지한 사용자가 느끼는 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 등을 의미할 수 있다. 예를 들어, 특정 그룹의 적어도 하나의 부분 콘텐츠에 해당하는 장면들이 게임 아이템 획득에 관련되는 경우 전자 장치(300)는 특정 그룹에 대한 사용자의 감정 상태를 “기쁨”으로 유추할 수 있다. 전자 장치(300)는 부분 콘텐츠에 기반하여 사용자의 감정 상태를 분류하도록 구성된 분류 알고리즘에 기초하여, 사용자의 감정 상태를 최종적으로 결정할 수 있다. 예를 들어, 분류 알고리즘은, 랜덤 포레스트(random forest), GNB(Gaussian na_ive Bayes), LNB(locally weighted na_ive Bay), 및 SVM(support vector machine) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 전자 장치(300)는 부분 콘텐츠를 기초로 사용자의 감정을 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다. 이를 이용하여 전자 장치(300)는 적어도 하나의 부분 콘텐츠에 해당하는 장면들을 분석하여 장면에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인식하고, 인식된 오브젝트, 풍경, 분위기, 색감 및 음악 등 중 적어도 하나에 해당하는 사용자의 감정 상태를 유추할 수 있다.
다양한 실시예에서 전자 장치(300)는 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 감정 상태 정보를 획득하기 위해 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 수신할 수 있다. 예를 들어, 전자 장치(300)는 HMD 장치(100)를 통해서 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 사용자가 각 그룹의 적어도 하나의 부분 콘텐츠를 인지하여 느끼는 감정 상태에 대한 입력을 수신할 수 있다. 여기서, 인터페이스 화면은 각 그룹의 부분 콘텐츠를 나타내는 표시 공간 및 각 그룹에 대한 사용자의 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 등의 감정 상태를 입력하기 위한 입력 공간을 포함하거나, 감정 상태에 연관된 태그(tag)를 각 그룹에 태깅(tagging)하기 위한 그래픽 공간을 포함할 수 있다. 인터페이스 화면을 통해서 특정 그룹의 적어도 하나의 부분 콘텐츠에 관련하여 입력된 감정 상태 정보가 “기쁨”이면 전자 장치(300)는 특정 그룹에 대한 사용자의 감정 상태를 “기쁨”으로 판단할 수 있다. 다양한 실시예에서 전자 장치(300)는 각 그룹에 대한 사용자의 감정 상태가 유추 또는 판단된 이후에 획득되는 생체 데이터와 생체 데이터에 연관된 적어도 하나의 콘텐츠를, 해당 생체 데이터와 유사하거나 일치하는 생체 데이터가 포함된 그룹으로 그룹화할 수 있다. 다양한 실시예에서 전자 장치(300)는 다양한 조합에 의해서 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 검출된 얼굴의 표정이 웃는 표정이더라도 검출된 음악이 슬픈 음악에 해당하는 경우 전자 장치(300)는 사용자의 감정 상태를 슬픔으로 유추할 수 있다.
전자 장치(300)는 이와 같이 유추된 감정 상태에 해당하는 각 그룹의 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다. 구체적으로, 전자 장치(300)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠를 배열 순서에 따라 배열하고, 배열된 적어도 하나의 부분 콘텐츠를 포함하거나 편집한 하이라이트 영상을 생성할 수 있다. 여기서, 배열 순서는 시간 순서, 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높은 순서 등을 포함하지만, 이에 한정되지 않으며, 다양한 순서가 포함될 수 있다. 예를 들어, 게임 영상 데이터로부터 검출된 적어도 하나의 부분 콘텐츠가 3개의 그룹으로 그룹화되고, 제1 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “기쁨”이고, 제2 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “슬픔”이며, 제3 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “공포”인 경우 전자 장치(300)는 제1 그룹에 해당하는 적어도 하나의 부분 콘텐츠, 제2 그룹에 해당하는 적어도 하나의 부분 콘텐츠 및 제3 그룹에 해당하는 적어도 하나의 부분 콘텐츠를 시간 순서에 따라 배열하거나, 사용자의 감정 상태가 고조되는 순서에 따라 배열하거나, 사용자의 주목도 및/또는 집중도가 높은 순서에 따라 배열할 수 있다. 전자 장치(300)는 이와 같이 배열된 제1 그룹, 제2 그룹 및 제3 그룹별 적어도 하나의 부분 콘텐츠를 하이라이트 영상으로서 생성할 수 있다. 다양한 실시예에서 전자 장치(300)는 적어도 하나의 부분 콘텐츠에 대한 결합, 편집 또는 효과 적용 등을 통해 하이라이트 영상을 생성할 수도 있다.
제시된 실시예에서는 전자 장치(300)가 HMD 장치(100)를 통해서 획득된 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 것으로 기재하였으나, 이에 한정되지 않으며, 전자 장치(300)를 구비하지 않고, HMD 장치(100)가 상술한 전자 장치(300)의 동작을 수행함으로써, 획득된 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성할 수도 있다.
이를 통해서, 본 발명은 멀티미디어 콘텐츠에 연관된 사용자 맞춤형 하이라이트 영상을 제공할 수 있다.
하기에서는 상술한 HMD 장치(100) 및 전자 장치(300)에 대해서 도 2 및 도 3을 참조하여 보다 상세하게 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 HMD 장치를 설명하기 위한 개략도이다. 제시된 실시예에서는 표시부를 포함하는 HMD 장치(100)를 서술하도록 한다. 도 1 및 도 2를 참조하면, HMD 장치(100)는 통신부(110), 표시부(120), 저장부(130) 센서(140) 및 프로세서(150)를 포함한다.
통신부(110)는 HMD 장치(100)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(110)는 유/무선 통신을 이용하여 전자 장치(300)와 연결되어 다양한 정보를 송수신할 수 있다. 여기서, 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함하고, 무선 통신은 WiFi(wireless fidelity), 블루투스, 저전력 블루투스(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 등 중 적어도 하나를 포함할 수 있다. 구체적으로, 통신부(110)는 전자 장치(300)로부터 멀티미디어 콘텐츠를 수신하고, 전자 장치(300)로 센서(140)를 통해서 획득된 생체 데이터를 전달할 수 있다.
표시부(120)는 사용자에게 각종 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부(120)는 전자 장치(300)로부터 수신된 멀티미디어 콘텐츠를 표시할 수 있다. 다양한 실시예에서 표시부(120)는 사용자의 생체 데이터에 기반하여 그룹화된 적어도 하나의 부분 콘텐츠에 관련된 사용자의 감정 상태 정보를 입력 또는 태깅하기 위한 인터페이스 화면을 표시할 수 있다.
저장부(130)는 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 저장부(130)는 센서(140)를 통해서 획득된 사용자의 생체 데이터를 저장할 수 있다. 저장부(130)는 전자 장치로부터 제공된 멀티미디어 콘텐츠를 저장할 수 있다.
다양한 실시예에서 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. HMD 장치(100)는 인터넷(internet)상에서 상기 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
센서(140)는 사용자의 생체 데이터를 획득하기 위해 사용되는 적어도 하나의 센서를 포함하고, 예를 들어 사용자의 시선을 추적하는 시선 추적 센서 및/또는 사용자의 뇌파를 측정하는 뇌파 측정 센서를 포함할 수 있다. 예를 들어, 시선 추적 센서는 사용자의 눈 또는 얼굴을 촬영하는 카메라 센서를 포함하고, 카메라 센서를 통해서 촬영된 영상을 시선 데이터로서 출력하거나, 촬영된 영상을 분석하여 사용자의 시선에 대한 위치 좌표를 나타내는 시선 데이터를 출력할 수 있다. 다양한 실시예에서 사용자의 시선을 추적하기 위해 다양한 방식이 사용될 수 있으며, 영상 분석 이외에 콘택트 렌즈 방식(거울 내장 콘택트 렌즈의 반사된 빛이나, 코일 내장 콘택트 렌즈의 자기장을 이용하는 시선 추적 방식) 또는 센서 부착 방식(눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하는 시선 추적 방식) 등을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 뇌파 측정 센서는 적어도 하나의 EEG(Electroencephalogram) 센서, MEG(Magnetoencephalography) 센서 및/또는 NIRS(Near-Infrared Spectrometer) 등을 포함할 수 있다. 뇌파 측정 센서는 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 혹은 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정하여 뇌파 데이터로 출력할 수 있다.
프로세서(150)는 통신부(110), 표시부(120), 저장부(130) 및 센서(140)와 동작 가능하게 연결되며, 통신부(110)를 통해서 전자 장치(300)로부터 수신된 멀티미디어 콘텐츠를 표시부(120)를 통해서 표시하고, 멀티미디어 콘텐츠를 표시하는 동안 센서(140)를 통해서 획득된 사용자의 생체 데이터를 전자 장치(300)로 전달할 수 있다. 제시된 실시예에서는 표시부를 구비한 HMD 장치(100)에 대해서 설명하였으나, 표시부를 구비하지 않고 콘텐츠 출력 장치(200)가 HMD 장치(100)에 실장되는 경우 프로세서(150)는 콘텐츠 출력 장치(200)의 표시부가 멀티미디어 콘텐츠를 표시하는 동안 센서(140)를 통해서 획득된 사용자의 생체 데이터를 전자 장치(300)로 전달할 수 있다.
다양한 실시예에서 하이라이트 영상 생성 시스템(1000)이 별도의 전자 장치(300)를 구비하지 않는 경우 프로세서(150)는 표시부(120)를 통해서 멀티미디어 콘텐츠를 표시하고, 센서(140)를 통해서 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 프로세서(150)는 추출된 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 프로세서(150)는 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추하고, 유추된 감정 상태에 따라 하이라이트 영상을 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 전자 장치를 설명하기 위한 개략도이다.
도 1 및 도 3을 참조하면, 전자 장치(300)는 통신부(310), 표시부(320), 저장부(330) 및 프로세서(340)를 포함한다.
통신부(310)는 서비스 제공 서버(200)가 외부 장치와 통신 가능하도록 연결한다. 상기 통신부(310)는 유/무선 통신을 이용하여 사용자 단말(100)과 연결되어 다양한 정보를 송수신할 수 있다. 구체적으로, 통신부(310)는 HMD 장치(100)로 멀티미디어 콘텐츠를 전달하고, HMD 장치(100)로부터 센서(140)를 통해서 획득된 사용자의 생체 데이터를 수신할 수 있다.
표시부(320)는 사용자에게 각종 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 표시부(320)는 HMD 장치(100)로부터 수신된 사용자의 생체 데이터를 나타내는 인터페이스 화면을 표시할 수 있다. 다양한 실시예에서 표시부(320)는 멀티미디어 콘텐츠 또는 적어도 하나의 부분 콘텐츠를 표시할 수 있다. 다양한 실시예에서 표시부(320)는 하이라이트 영상을 표시할 수 있다.
저장부(330)는 사용자의 생체 데이터를 이용하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 상기 저장부(330)는 HMD 장치(100)로 제공하기 위한 멀티미디어 콘텐츠를 저장하고, HMD 장치(100)로부터 수신된 생체 데이터를 저장할 수 있다. 다양한 실시예에서 저장부(330)는 프로세서(340)의 동작에 의해서 사용 또는 생성되는 다양한 데이터를 저장할 수 있다. 특히, 저장부(330)는 적어도 하나의 부분 콘텐츠 및/또는 하이라이트 영상을 저장할 수 있다.
프로세서(340)는 통신부(310), 표시부(320) 및 저장부(330)와 동작 가능하게 연결되며, 통신부(310)를 통해서 HMD 장치(100)로 멀티미디어 콘텐츠를 전달하고, HMD 장치(100)로부터 멀티미디어 콘텐츠가 표시되는 동안 HMD 장치(100)의 센서(140)를 통해서 획득된 사용자의 생체 데이터를 수신할 수 있다. 프로세서(340)는 수신된 생체 데이터로부터 생체 특징 데이터를 추출하고, 추출된 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 구체적으로, 프로세서(340)는 뇌파 데이터로부터 뇌파 특징 데이터를 추출 및/또는, 시선 데이터로부터 시선 특징 데이터를 추출할 수 있다.
프로세서(340)는 딥 러닝 알고리즘 및/또는 분류/회기 분석 알고리즘에 기초하여 생체 특징 데이터를 추출하고, 부분 콘텐츠를 검출하며, 사용자의 감정 상태를 결정할 수 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)의 센서(140)를 통해서 획득된 사용자의 뇌파 데이터 및/또는 시선 데이터로부터, 뇌파 특징 데이터 및/또는 시선 특징 데이터를 추출하도록 학습된 딥 러닝 알고리즘에 기초하여 뇌파 특징 데이터 및/또는 시선 특징 데이터를 추출할 수 있다. 이때, 딥 러닝 알고리즘은 DNN, CNN, DCNN, RNN, RBM, DBN, SSD 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서(340)는 HMD 장치(100)로부터 수신된 생체 데이터를 기초로 생체 특징 데이터를 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
프로세서(340)는 추출된 뇌파 또는 시선 특징 데이터가 특정 조건을 만족하면 특정 조건에 만족하는 뇌파 또는 시선 특징 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로서 검출할 수 있다. 여기서, 사용자가 주목한 부분 콘텐츠는 사용자가 주목한 장면들 각각에 해당하는 프레임을 포함할 수 있다. 예를 들어, 특정 조건은 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율이 각각의 임계치 이상인 경우 및/또는 시선 응시 시간 또는 시선 추적 시간이 각각의 임계치 이상이거나, 눈 깜박임 횟수가 임계치 이하인 경우를 포함할 수 있다.
프로세서(340)는 생체 특징 데이터에 기반하여 감정과 연관성이 높은 부분 콘텐츠를 검출하도록 구성된 딥 러닝 알고리즘에 기초하여 해당 부분 콘텐츠를 검출할 수 있다. 예를 들어, 프로세서(340)는 뇌파 특징 데이터의 뇌파의 특정 주파수 영역의 대역 전력 또는 뇌파의 알파파와 베타파의 에너지 비율을 기반으로 사용자가 주목한 부분 컨텐츠를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 다른 예를 들어, 프로세서(340)는 시선 특징 데이터로서 시선 응시 시간 또는 눈 깜박임 횟수를 기반으로 사용자가 주목한 부분 데이터를 추출하도록 구성된 딥 러닝 알고리즘에 기초하여, 사용자의 주목도가 높은 부분 콘텐츠를 결정할 수 있다. 이때, 딥 러닝 알고리즘은, DNN, CNN, DCNN, RNN, RBM, DBN, SSD 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서(340)는 생체 특징 데이터를 기초로 부분 콘텐츠를 결정할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다.
프로세서(340)는 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추하고, 유추된 감정 상태에 따라 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성할 수 있다. 구체적으로, 프로세서(340)는 사용자가 주목한 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 이용하여 사용자가 주목한 부분 콘텐츠를 특정 개수의 그룹으로 분류하기 위해 머신 러닝 기법을 이용할 수 있다. 이러한 머신 러닝 기법은 k-평균 알고리즘, 가우시안 혼합 모델, 또는 랜덤 포레스트 모델 등을 포함할 수 있으며, 이에 한정되지 않고, 그룹화를 위한 다양한 기법이 이용될 수 있다. 또한, 특정 개수는 사용자에 의해서 미리 정해지거나 머신 러닝 알고리즘에 의해서 자동으로 정해질 수 있다. 예를 들어, 프로세서(340)는 서로 유사하거나 일치하는 생체 데이터 및 해당 생체 데이터에 대응하는 적어도 하나의 부분 콘텐츠를 동일한 그룹으로 클러스터링(clustering)할 수 있다. 프로세서(340)는 생체 데이터들 간의 차이가 임계치 이하에 해당하는 경우 해당 생체 데이터들을 서로 유사하거나 일치한다고 판단할 수 있다.
프로세서(340)는 각 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 속한 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 프로세서(340)는 적어도 하나의 부분 콘텐츠에 기반하여 사용자의 감정 상태를 분류하도록 구성된 분류 알고리즘을 기초로, 사용자의 감정 상태를 최종적으로 결정할 수 있다. 예를 들어, 분류 알고리즘은, 랜덤 포레스트, GNB, LNB, 및 SVM 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서(340)는 부분 콘텐츠를 기초로 사용자의 감정을 추출할 수 있는 한, 보다 다양한 알고리즘을 이용할 수 있다. 이를 이용하여 프로세서(340)는 적어도 하나의 부분 콘텐츠에 해당하는 장면들을 분석하여 장면에 속하는 오브젝트, 풍경, 분위기, 색감 또는 음악 등을 인식하고, 인식된 오브젝트, 풍경, 분위기, 색감 및 음악 등 중 적어도 하나에 해당하는 사용자의 감정 상태를 유추할 수 있다.
다양한 실시예에서, 프로세서(340)는 각 장면에서 얼굴을 검출하고, 검출된 얼굴의 표정을 인식하여 인식된 표정에 따른 사용자의 감정 상태를 유추할 수 있다. 전자 장치(300)는 인공 신경망 알고리즘을 이용하여 표정을 인식할 수 있으며, 이에 한정되지 않고, 얼굴 인식을 위한 다양한 기법이 이용될 수 있다. 인식된 표정이 웃는 표정인 경우 전자 장치(300)는 사용자의 감정 상태를 기쁨으로 유추하고, 인식된 표정이 우는 표정인 경우 사용자의 감정 상태를 슬픔으로 유추할 수 있다. 전자 장치(300)는 인식된 표정에 따른 사용자의 감정 상태를 유추하기 위해 추론 알고리즘을 이용할 수 있으며, 이에 한정되지 않고, 표정에 따른 사용자의 감정 상태를 유추하기 위한 다양한 기법이 이용될 수 있다. 다양한 실시예에서 프로세서(340)는 각 장면에서의 색감 및 음악을 인식하고, 인식된 색감 및 음악에 따른 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 인식된 색감이 어두운 색이고, 인식된 음악이 어두운 분위기의 음악인 경우 프로세서(340)는 사용자의 감정 상태를 공포로 유추할 수 있다.
다양한 실시예에서 프로세서(340)는 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 감정 상태 정보를 획득하기 위해 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 수신할 수 있다. 예를 들어, 전자 장치(300)는 HMD 장치(100)를 통해서 각 그룹의 적어도 하나의 부분 콘텐츠에 대한 사용자의 입력을 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 사용자가 각 그룹의 적어도 하나의 부분 콘텐츠를 인지하여 느끼는 감정 상태에 대한 입력을 수신할 수 있다. 여기서, 인터페이스 화면은 각 그룹의 부분 콘텐츠를 나타내는 표시 공간 및 각 그룹에 대한 사용자의 감정 상태를 입력하기 위한 입력 공간을 포함할 수 있다. 다양한 실시예에서 인터페이스 화면은 표시 공간과 함께 감정 상태에 연관된 태그를 각 그룹에 태깅하기 위한 그래픽 공간을 포함할 수 있다. 예를 들어, 특정 그룹에 관련하여 사용자에 의해서 태깅된 태그가 “공포”에 해당하는 경우 프로세서(340)는 특정 그룹에 대한 사용자의 감정 상태를 “공포”로 판단할 수 있다.
다양한 실시예에서 프로세서(340)는 하이라이트 영상을 생성하기 위한 동작 이전에 HMD 장치(100)를 통해서 사용자의 감정 상태를 유추하기 위한 샘플 멀티미디어 데이터를 제공하고, 사용자로부터 샘플 멀티미디어 데이터에 관한 사용자의 감정 상태를 나타내는 입력을 획득하여 샘플 멀티미디어 데이터 및 획득된 감정 상태를 각 그룹에 대한 사용자의 감정 상태를 판단하기 위해 사용할 수 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)를 통해서 임의의 동영상에 대한 사용자의 감정 상태를 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 특정 동영상에 대한 사용자의 감정 상태를 나타내는 정보를 획득할 수 있다. 인터페이스 화면은 임의의 동영상을 표시하기 위한 표시 공간 및 해당 동영상을 보고 사용자가 느끼는 감정을 나타내는 감정 정보를 입력하기 위한 입력 공간을 포함할 수 있다. 인터페이스 화면을 통해서 사용자로부터 특정 동영상에 관한 사용자의 감정 상태를 나타내는 감정 정보가 입력되면 프로세서(340)는 입력된 감정 정보와 임의의 동영상을 매핑하고, 매핑된 감정 정보 및 임의의 동영상을 학습할 수 있다. 이를 통해서 프로세서(340)는 하이라이트 영상을 생성하기 위해 각 그룹에 대한 사용자의 감정 상태를 유추할 시 학습된 동영상과 유사하거나 일치하는 동영상을 학습된 동영상에 매핑된 감정 정보로서 유추할 수 있다.
다양한 실시예에서 프로세서(340)는 각 그룹에 관련하여 유추된 사용자의 감정 상태를 보정하기 위해 각 그룹에 대한 사용자의 입력을 수신할 수도 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)를 통해서 사용자의 감정 상태가 이미 유추된 그룹에 대한 사용자의 감정 상태를 나타내는 감정 정보를 사용자로부터 획득하기 위한 인터페이스 화면을 제공하고, 인터페이스 화면을 통해서 사용자로부터 획득된 감정 정보를 이용하여 해당 그룹에 대한 사용자의 감정 상태를 보정할 수 있다. 인터페이스 화면은 각 그룹에 속한 적어도 하나의 부분 콘텐츠를 표시하는 표시 공간 및 해당 그룹에 대한 사용자의 감정 상태를 나타나는 감정 정보를 입력하기 위한 입력 공간을 포함할 수 있다. 특정 그룹에 관련하여 유추된 감정 상태가 “공포”이고, 인터페이스 화면을 통해서 사용자로부터 획득된 감정 정보가 “혐오”인 경우 프로세서(340)는 특정 그룹에 관련하여 유추된 감정 상태를 “공포”에서 “혐오”로 보정할 수 있다.
다양한 실시예에서 프로세서(340)는 각 그룹, 각 그룹에 속한 적어도 하나의 부분 콘텐츠, 해당 부분 콘텐츠에 관련된 생체 데이터 및 각 그룹에 관련하여 유추된 감정 상태 등을 보정하기 위한 사용자의 선택 또는 입력을 수신할 수 있다. 예를 들어, 프로세서(340)는 HMD 장치(100)를 통해서 각 그룹, 각 그룹에 속한 적어도 하나의 부분 콘텐츠, 해당 부분 콘텐츠에 관련된 생체 데이터 및 각 그룹에 관련하여 유추된 감정 상태 등을 보정하기 위한 인터페이스 화면을 제공할 수 있다. 인터페이스 화면은 각 그룹에 속한 적어도 하나의 부분 콘텐츠, 부분 콘텐츠에 관련된 생체 데이터 및 각 그룹에 관련하여 유추된 감정 상태를 수정(또는 보정)하기 위한 다양한 그래픽 객체(예: 텍스트, 이미지, 아이콘 등)를 포함할 수 있다. 이러한 그래픽 객체는 사용자에 의해서 이동 또는 수정 가능하도록 구성될 수 있다. 사용자는 인터페이스 화면을 통해 특정 그룹에 속한 적어도 하나의 부분 콘텐츠 및 생체 데이터를 다른 그룹으로 이동시키거나, 특정 그룹에 관련하여 유추된 감정 상태를 수정하거나, 특정 그룹에 속한 적어도 하나의 부분 콘텐츠 또는 생체 데이터를 삭제하거나, 감정 상태를 나타내는 태그를 “슬픔”에서 “절망”으로 변경하는 등의 다양한 동작을 수행할 수 있다. 이를 통해서 본 발명은 사용자의 입력 또는 선택 등에 따라 각 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 관한 사용자의 감정 상태를 정확하게 확인할 수 있다.
각 그룹에 대한 사용자의 감정 상태를 유추 또는 판단하는 동작이 완료되면 프로세서(340)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다. 구체적으로, 프로세서(340)는 전자 장치(300)는 각 그룹의 적어도 하나의 부분 콘텐츠를 배열 순서에 따라 배열하고, 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성할 수 있다. 여기서, 배열 순서는 시간 순서, 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높거나 낮은 순서 또는 사용자가 재밌다고 느끼거나 재미없다고 느끼는 순서 등을 포함하지만, 이에 한정되지 않으며, 다양한 순서가 포함될 수 있다. 프로세서(340)는 생체 특징 데이터에 기반하여 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높거나 낮은 순서 또는 사용자가 재밌다고 느끼거나 재미없다고 느끼는 순서 등을 판단할 수 있다. 예를 들어, 프로세서(340)는 뇌파의 알파파 및 베타파의 에너지 비율의 피크(peek)치가 낮은 순에서 높은 순을 감정 상태가 고조되는 순서로서 판단하거나, 뇌파의 특정 주파수 영역의 대역 전력의 피크치가 높으면 사용자의 주목 및/또는 집중도가 높거나 사용자가 재밌다고 느끼는 것으로 판단할 수 있으며, 이에 한정되지 않고, 다양한 방식이 이용될 수 있다.
하기에서는 영화 등과 같은 동영상 데이터로부터 검출된 적어도 하나의 부분 콘텐츠가 4개의 그룹으로 그룹화되고, 제1 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “즐거움”이고, 제2 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “슬픔”이고, 제3 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “두려움”이고, 제4 그룹에 해당하는 적어도 하나의 부분 콘텐츠에 대한 감정 상태가 “안도” 이며, 시간 순서가 제1 그룹에서 제4 그룹 순인 경우 배열 순서에 따라 부분 콘텐츠를 배열하는 실시예를 설명하도록 한다. 이러한 경우 프로세서(340)는 시간 순서에 따라 제1 그룹, 제2 그룹, 제3 그룹 및 제4 그룹 순으로 적어도 하나의 부분 콘텐츠를 배열할 수 있다. 다양한 실시예에서 사용자의 감정 상태가 슬픔, 두려움, 안도, 즐거움 순으로 고조되는 경우 프로세서(340)는 제2 그룹, 제3 그룹, 제4 그룹 및 제1 그룹 순으로 적어도 하나의 부분 콘텐츠를 배열할 수 있다. 다양한 실시예에서 사용자의 주목 및/또는 집중도가 제4 그룹, 제1 그룹, 제2 그룹 및 제3 그룹 순으로 높은 경우 프로세서(340)는 제4 그룹, 제1 그룹, 제2 그룹 및 제3 그룹 순으로 적어도 하나의 부분 콘텐츠를 배열할 수 있다. 다양한 실시예에서 프로세서(340)는 사용자의 관심 객체가 포함된 부분 콘텐츠 순으로 적어도 하나의 부분 콘텐츠를 배열할 수도 있다. 예를 들어, 프로세서(340)는 사용자의 시선 데이터 및 뇌파 데이터를 분석하여 적어도 하나의 부분 콘텐츠에서 사용자의 시선이 특정 횟수 이상 또는 특정 시간 이상 위치하는 오브젝트를 관심 객체로서 인식하고, 인식된 오브젝트가 포함된 부분 콘텐츠 순으로 적어도 하나의 부분 콘텐츠를 배열할 수도 있다. 다양한 실시예에서 프로세서(340)는 사용자의 관심 객체가 포함된 적어도 하나의 부분 콘텐츠를 사용자의 감정 상태가 고조되는 순으로 배열할 수도 있다. 예를 들어, 프로세서(340)는 각 그룹에 속하는 적어도 하나의 부분 콘텐츠 중 사용자의 관심 객체에 포함된 적어도 하나의 부분 콘텐츠를 추출하고, 추출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 생체 데이터를 확인하여 사용자의 감정 상태가 고조되는 순으로 배열할 수도 있다.
프로세서(340)는 이와 같이 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성할 수 있다. 예를 들어, 프로세서(340)는 적어도 하나의 부분 콘텐츠를 결합, 편집 또는 효과 적용을 통해 하이라이트 영상으로 생성할 수 있다.
이를 통해서 본 발명은 사용자의 감정 상태에 따른 사용자 맞춤형 하이라이트 영상을 생성 및 제공할 수 있고, 사용자가 주목하는 오브젝트 중심의 하이라이트 영상을 제공할 수 있어 사용자의 만족도를 높일 수 있다.
다양한 실시예에서 프로세서(340)는 하이라이트 영상을 생성하기 위한 동작 이전에 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하기 위해 기준 생체 특징 데이터(예: 기준 뇌파 특징 데이터 및/또는 기준 시선 특징 데이터)를 설정할 수 있다. 예를 들어, 프로세서(340)는 사용자가 편안한 상태에 해당하는 뇌파 데이터를 획득하기 위한 멀티미디어 영상 데이터를 HMD 장치(100)로 제공하고, HMD 장치(100)로부터 사용자가 멀티미디어 영상 데이터를 시청하는 동안 획득된 뇌파 데이터를 수신할 수 있다. 예를 들어, 프로세서(340)는 검은색의 바탕 화면 상에 흰색 십자가가 위치하고, 사용자가 흰색 십자가를 응시하도록 하기 위한 안내 문구가 포함된 멀티미디어 영상 데이터를 HMD 장치(100)로 제공할 수 있다. 다양한 실시예에서 프로세서(340)는 사용자가 편안함을 느끼도록 하기 위한 잔잔한 음악에 해당하는 오디오 데이터를 HMD 장치(100)로 더 제공할 수도 있다. HMD 장치(100)로부터 사용자가 흰색 십자가를 응시하는 동안 센서(140)를 통해서 획득된 사용자의 뇌파 데이터가 수신되면 프로세서(340)는 획득된 뇌파 데이터로부터 뇌파 특징 데이터를 추출하고, 추출된 뇌파 특징 데이터를 기준 뇌파 특징 데이터로 설정할 수 있다. 프로세서(340)는 이와 같이 설정된 기준 뇌파 특징 데이터를 이용하여 사용자가 집중 및/또는 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 프로세서(340)는 추출된 뇌파 특징 데이터와 기준 뇌파 특징 데이터를 비교하여 두 데이터의 차이가 임계치 이상인 경우 획득된 뇌파 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로 판단할 수 있다.
다양한 실시예에서 HMD 장치(100)로부터 사용자가 흰색 십자가를 응시하는 동안 센서(140)를 통해서 획득된 사용자의 시선 데이터가 수신되면 프로세서(340)는 획득된 시선 데이터로부터 시선 특징 데이터를 추출하고, 추출된 시선 특징 데이터를 기준 시선 특징 데이터로 설정할 수 있다. 프로세서(340)는 이와 같이 설정된 기준 시선 특징 데이터를 이용하여 사용자가 집중 및/또는 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 프로세서(340)는 추출된 시선 특징 데이터와 기준 시선 특징 데이터를 비교하여 두 데이터의 차이가 임계치 이상인 경우 획득된 뇌파 데이터에 연관된 적어도 하나의 부분 콘텐츠를 사용자가 주목한 부분 콘텐츠로 판단할 수 있다.
다양한 실시예에서 프로세서(340)는 사용자의 시선이 응시하는 위치를 예측하기 위해 HMD 장치(100)로부터 사용자가 특정 위치를 응시하는 동안 획득된 시선 데이터를 학습할 수 있다. 예를 들어, 프로세서(340)는 사용자의 시선 움직임을 나타내는 시선 데이터를 획득하기 위한 멀티미디어 영상 데이터를 HMD 장치(100)로 제공하고, HMD 장치(100)로부터 사용자가 멀티미디어 영상 데이터를 시청하는 동안 획득된 시선 데이터를 수신할 수 있다. 예를 들어, 프로세서(340)는 검은색의 바탕 화면 상의 흰색의 점들 각각이 다양한 위치에서 점멸되도록 구성된 멀티미디어 영상 데이터를 HMD 장치(100)로 제공할 수 있다.
HMD 장치(100)로부터 사용자가 흰색의 점들 각각이 점멸되는 다양한 위치에 시선을 두는 동안 센서(140)를 통해서 획득된 사용자의 시선 데이터가 수신되면 프로세서(340)는 획득된 시선 데이터를 학습함으로써, 학습 이후에 HMD 장치(100)로부터 수신되는 시선 데이터를 이용하여 사용자의 시선이 응시하는 위치를 예측할 수 있다.
상술한 기준 생체 데이터 설정 동작은 선택적으로 이루어질 수 있다. 예를 들어, 프로세서(340)가 학습을 통해서 사용자가 주목한 부분 콘텐츠를 검출하는 경우 기준 생체 데이터 설정 동작이 수행되지 않을 수 있다.
상술한 인터페이스 화면 및 인터페이스 화면에 포함되는 공간 및 그래픽 객체 등은 상술한 내용으로 한정되지 않으며, 특정 데이터를 획득하기 위해 다양한 방식으로 구성될 수 있다.
도 4는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성하는 방법을 설명하기 위한 개략적인 순서도이다. 이하에서는 편의를 위해 HMD 장치(100)와 전자 장치(300)가 분리되어 동작하는 것으로 설명되나, 이에 제한되지 않고, 도 4 의 모든 동작은 하나의 HMD 장치(100) 또는 HMD 장치(100)와 연결가능한 콘텐츠 출력 장치(200)에서 수행될 수도 있다.
도 1 및 도 4를 참조하면, 전자 장치(300)는 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 HMD 장치(100)를 통해서 멀티미디어 콘텐츠를 제공한다(S400). 전자 장치(300)는 HMD 장치(100)를 통해서 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득할 수 있다(S410). 전자 장치(300)는 획득된 생체 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출한다(S420). 구체적으로, 전자 장치(300)는 획득된 생체 데이터로부터 생체 특징 데이터를 추출하고, 추출된 생체 특징 데이터에 기반하여 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 전자 장치(300)는 검출된 적어도 하나의 부분 콘텐츠에 연관된 사용자의 감정 상태를 유추하고(S430), 유추된 감정 상태에 따라 하이라이트 영상을 생성한다(S440). 구체적으로, 전자 장치(300)는 검출된 적어도 하나의 부분 콘텐츠 및 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화하고, 각 그룹의 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 전자 장치(300)는 이와 같이 유추된 감정 상태에 해당하는 각 그룹의 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다.
도 5a, 도 5b, 도 5c 및 도 5d는 본 발명의 실시예에 따른 전자 장치에서 사용자의 생체 데이터에 기반하여 멀티미디어 콘텐츠에 관한 하이라이트 영상을 생성하는 방법을 설명하기 위한 예시도들이다. 제시된 실시예에서는 사용자의 생체 데이터에 기반하여 영화에 해당하는 멀티미디어 콘텐츠에 관한 하이라이트 영상을 생성하는 방법을 설명하도록 한다.
도 1 및 도 5a를 참조하면, 전자 장치(300)는 HMD 장치(100)를 통해서 도 5a의 (a)와 같은 멀티미디어 콘텐츠(500)를 제공할 수 있다. HMD 장치(100)를 통해서 멀티미디어 콘텐츠(500)가 표시되는 동안 전자 장치(300)는 HMD 장치(100)로부터 사용자의 생체 데이터를 획득하고, 획득된 생체 데이터로부터 생체 특징 데이터를 추출할 수 있다. 예를 들어, 생체 데이터가 뇌파 데이터인 경우 뇌파 데이터로부터 추출된 뇌파 특징 데이터는 도 5a의 (b)와 같은 시간별 뇌파의 알파파 및 베타파의 에너지 비율에 대한 그래프로서 나타낼 수 있다. 여기서, 시간은 멀티미디어 콘텐츠(500)의 재생 시간일 수 있다. 전자 장치(300)는 멀티미디어 콘텐츠에서 뇌파의 알파파 및 베타파의 에너지 비율이 임계치(a) 이상에 해당하는 적어도 하나의 부분 콘텐츠를 검출할 수 있다. 에너지 비율이 임계치(a) 이상에 해당하는 적어도 하나의 부분 콘텐츠는 재생 시간 H1에 해당하는 제1 부분 콘텐츠(502), 재생 시간 H2에 해당하는 제2 부분 콘텐츠(504) 및 재생 시간 H3에 해당하는 제3 부분 콘텐츠(506)를 포함할 수 있다. 전자 장치(300)는 이와 같이 검출된 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 예를 들어, 전자 장치(300)는 k-평균 알고리즘을 이용하여 서로 유사하거나 일치되는 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터를 하나 이상의 그룹으로 그룹화할 수 있다. 이와 같이 그룹화된 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터는 도 5b와 같은 그래프로 표시될 수 있다.
도 5b를 참조하면, 적어도 하나의 부분 콘텐츠 및 부분 콘텐츠에 연관된 뇌파 데이터는 제1 그룹(510) 및 제2 그룹(520)을 포함하는 2개의 그룹으로 그룹화될 수 있다. 제1 그룹(510)에 제1 부분 콘텐츠(502)가 포함되고, 제2 그룹(520)에 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)가 포함되는 경우 제1 부분 콘텐츠(502)는 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)와 서로 다른 성격을 가지고, 제2 부분 콘텐츠(504)는 제3 부분 콘텐츠(506)와 서로 유사하거나 일치하는 성격을 갖는다고 볼 수 있다.
전자 장치(300)는 이와 같이 2개의 그룹 각각에 속하는 제1 부분 콘텐츠(502), 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)의 장면들을 분석하여 각 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 구체적으로, 전자 장치(300)는 머신 러닝 기법(예: 딥 러닝 및/또는 분류 알고리즘 등)을 이용하여 제1 부분 콘텐츠(502), 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)의 장면들 각각에 포함된 오브젝트, 풍경, 분위기, 색상 또는 음악 등을 분석하여 제1 부분 콘텐츠(502)가 속한 제1 그룹에 대한 사용자의 감정 상태 및 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506)가 속한 제2 그룹에 대한 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 전자 장치(300)는 제1 부분 콘텐츠(502), 제2 부분 콘텐츠(504) 및 제3 부분 콘텐츠(506) 각각의 장면에서 얼굴을 검출하고, 검출된 얼굴의 표정을 인식하여 인식된 표정에 따른 사용자의 감정 상태를 유추할 수 있다. 예를 들어, 제1 부분 콘텐츠(502)에 관련하여 인식된 표정이 웃는 표정인 경우 전자 장치(300)는 제1 그룹(510)에 대한 사용자의 감정 상태를 “기쁨”으로 유추할 수 있다. 제2 부분 콘텐츠(504)에 관련하여 인식된 표정이 무표정이고, 제3 부분 콘텐츠(506)에 관련하여 인식된 표정이 슬픈 표정인 경우 전자 장치(300)는 제2 그룹(520)에 대한 사용자의 감정 상태를 “나쁨”으로 유추할 수 있다. 전자 장치(300)는 도 5c와 같이 제1 그룹(510)과 제1 그룹(510)에 관련하여 유추된 감정 상태(기쁨)을 매핑하고, 제2 그룹(520)과 제2 그룹(520)에 관련하여 유추된 감정 상태(나쁨)을 매핑할 수 있다.
전자 장치(300)는 이와 같이 감정 상태가 유추된 제1 그룹(510) 및 제2 그룹(520) 각각에 속하는 적어도 하나의 부분 콘텐츠를 이용하여 하이라이트 영상을 생성할 수 있다. 구체적으로, 전자 장치(300)는 배열 순서에 따라 적어도 하나의 부분 콘텐츠를 배열하고, 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성할 수 있다. 예를 들어, 재생 시간 순서가 제1, 제2 및 제3 부분 콘텐츠 순인 경우 전자 장치(300)는 도 5d의 (a)와 같이 재생 시간 순서로 제1, 제2 및 제3 부분 콘텐츠(502, 504, 506)를 배열하고, 배열된 제1, 제2 및 제3 부분 콘텐츠(502, 504, 506)를 포함하는 하이라이트 영상을 생성할 수 있다. 다양한 실시예에서 사용자의 감정이 고조된 순서가 제2, 제3 및 제1 부분 콘텐츠 순인 경우 전자 장치(300)는 도 5d의 (b)와 같이 사용자의 감정이 고조된 순서로 제2, 제3 및 제1 부분 콘텐츠(504, 506, 502)를 배열하고, 배열된 제2, 제3 및 제1 부분 콘텐츠(504, 506, 502)를 포함하는 하이라이트 영상을 생성할 수 있다. 다양한 실시예에서 사용자의 주목 및/또는 집중도가 높은 순서가 제2, 제1 및 제3 부분 콘텐츠 순인 경우 전자 장치(300)는 도 5d의 (c)와 같이 사용자의 주목 및/또는 집중도가 높은 순서로 제2, 제1 및 제3 부분 콘텐츠(504, 502, 506)를 배열하고, 배열된 제2, 제1 및 제3 부분 콘텐츠(504, 502, 506)를 포함하는 하이라이트 영상을 생성할 수 있다. 생성된 하이라이트 영상은 HMD 장치(100), 콘텐츠 출력 장치(200) 또는 전자 장치 (300)에서 재생될 수 있다.
다양한 실시 예에서, 전자 장치(300)는 적어도 하나의 부분 콘텐츠를 결합 및/또는 편집 등을 통해 하이라이트 영상을 생성할 수 있으며, 이에 한정되지 않고, 적어도 하나의 부분 콘텐츠 중 어느 하나 이상의 부분 콘텐츠에 다양한 효과를 적용할 수도 있다. 다양한 효과는 텍스트/아이콘/이미지 입력, 합성, 오버레이, 빛 번짐, 색상 반전, 흑백-컬러 전환, 특정 색 강조 등을 포함하며, 이에 한정되지 않는다.
이와 같이 본 발명은 사용자가 멀티미디어 콘텐츠를 시청 또는 체험하는 동안 획득된 사용자의 생체 데이터를 이용하여 멀티미디어 콘텐츠에 연관된 하이라이트 영상을 생성함으로써, 사용자 맞춤형 하이라이트 영상을 제공할 수 있다.
또한, 본 발명은 사용자가 주목하는 오브젝트 중심의 하이라이트 영상을 제공할 수 있어 사용자의 만족도를 높일 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: HMD 장치
200: 콘텐츠 출력 장치
300: 전자 장치
1000: 하이라이트 영상 생성 시스템

Claims (15)

  1. 하이라이트 생성 장치의 프로세서에 의해서 수행되는 사용자의 생체 데이터를 이용한 하이라이트 영상 생성 방법에 있어서,
    사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하는 단계;
    상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하는 단계;
    상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하는 단계;
    상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하는 단계; 및
    상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  2. 제1항이 있어서, 상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 부분 데이터를 검출하는 단계는,
    상기 획득된 생체 데이터로부터 생체 특징 정보를 추출하는 단계; 및
    상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  3. 제2항에 있어서, 상기 생체 특징 데이터는,
    상기 시선 데이터로부터 추출된 시선 특징 데이터 및 상기 뇌파 데이터로부터 추출된 뇌파 특징 데이터 중 적어도 하나를 포함하고,
    상기 시선 특징 데이터는,
    상기 사용자의 시선이 응시된 시선 응시 시간, 상기 사용자의 시선이 상기 멀티미디어 콘텐츠의 특정 오브젝트를 추적한 시선 추적 시간 또는 상기 사용자의 눈이 깜박인 눈 깜박임 횟수를 포함하고,
    상기 뇌파 특징 데이터는,
    뇌파의 특정 주파수 영역의 대역 전력(Band Power) 또는 상기 뇌파의 알파(Alpha)파와 베타(Beta)파의 에너지 비율을 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  4. 제3항에 있어서, 상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는 단계는,
    상기 뇌파의 특정 주파수 영역의 대역 전력 또는 상기 뇌파의 알파파와 베타파의 에너지 비율이 각각의 임계치 이상이면 상기 대역 전력 또는 상기 에너지 비율에 연관된 적어도 하나의 부분 콘텐츠를 검출하는 단계인, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  5. 제3항에 있어서, 상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는 단계는,
    상기 시선 응시 시간 또는 상기 시선 추적 시간이 각각의 임계치 이상이면 상기 시선 응시 시간 또는 상기 시선 추적 시간에 연관된 적어도 하나의 부분 콘텐츠를 검출하는 단계이거나,
    상기 눈 깜박임 횟수가 임계치 이하이면 상기 눈 깜박임 횟수에 연관된 적어도 하나의 부분 콘텐츠를 검출하는 단계인, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  6. 제1항에 있어서, 상기 검출된 적어도 하나의 부분 콘텐츠를 이용하여 상기 사용자의 감정 상태를 유추하는 단계는,
    상기 검출된 적어도 하나의 부분 콘텐츠 및 상기 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화하는 단계;
    상기 하나 이상의 그룹에 대응하는 감정 상태를 유추하는 단계; 및
    상기 유추된 감정 상태와 상기 하나 이상의 그룹을 매핑하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  7. 제6항에 있어서, 상기 하나 이상의 그룹에 대응하는 감정 상태를 유추하는 단계는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 상기 하나 이상의 그룹에 대한 사용자의 감정 상태를 유추하는 단계인, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  8. 제6항에 있어서, 상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는 단계는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠를 기 설정된 배열 순서에 따라 배열하는 단계; 및
    상기 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성하는 단계를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  9. 제8항에 있어서, 상기 배열 순서는,
    시간 순서, 상기 사용자의 감정 상태가 고조되는 순서, 사용자의 주목 및/또는 집중도가 높은 순서 중 적어도 일부를 포함하는, 하이라이트 영상 생성 장치에서의 생체 데이터를 이용한 하이라이트 영상 생성 방법.
  10. 통신부;
    저장부; 및
    상기 통신부 및 상기 저장부와 동작 가능하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 데이터를 획득하도록 구성된 헤드 마운트 디스플레이(Head-Mounted Display, HMD) 장치를 통해서 멀티미디어 콘텐츠를 제공하고,
    상기 HMD 장치를 통해서 상기 멀티미디어 콘텐츠에 연관된 생체 데이터를 획득하고,
    상기 획득된 생체 데이터에 기반하여 상기 사용자가 주목한 적어도 하나의 부분 콘텐츠를 검출하고,
    상기 검출된 적어도 하나의 부분 콘텐츠에 연관된 상기 사용자의 감정 상태를 유추하고,
    상기 유추된 감정 상태에 따라 하이라이트 영상을 생성하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  11. 제10항이 있어서, 상기 프로세서는,
    상기 획득된 생체 데이터로부터 생체 특징 정보를 추출하고, 상기 추출된 생체 특징 데이터에 기반하여 상기 적어도 하나의 부분 콘텐츠를 검출하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  12. 제10항에 있어서, 상기 프로세서는,
    상기 검출된 적어도 하나의 부분 콘텐츠 및 상기 적어도 하나의 부분 콘텐츠에 연관된 생체 데이터를 하나 이상의 그룹으로 그룹화하고, 상기 하나 이상의 그룹에 대응하는 감정 상태를 유추하고, 상기 유추된 감정 상태와 상기 하나 이상의 그룹을 매핑하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  13. 제12항에 있어서, 상기 프로세서는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠의 장면들을 분석하여 상기 하나 이상의 그룹에 대한 사용자의 감정 상태를 유추하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  14. 제12항에 있어서, 상기 프로세서는,
    상기 하나 이상의 그룹에 속하는 적어도 하나의 부분 콘텐츠를 기 설정된 배열 순서에 따라 배열하고, 상기 배열된 적어도 하나의 부분 콘텐츠를 포함하는 하이라이트 영상을 생성하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
  15. 제10항에 있어서, 상기 멀티미디어 콘텐츠는,
    상기 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상 및 비-인터랙티브(non-interactive) 영상을 포함하는, 생체 데이터를 이용한 하이라이트 영상 생성 장치.
KR1020190010448A 2019-01-28 2019-01-28 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 KR102168968B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190010448A KR102168968B1 (ko) 2019-01-28 2019-01-28 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
US17/420,138 US20220067376A1 (en) 2019-01-28 2020-01-07 Method for generating highlight image using biometric data and device therefor
JP2021539378A JP2022516640A (ja) 2019-01-28 2020-01-07 生体データを利用したハイライト映像生成方法及びその装置
PCT/KR2020/000255 WO2020159093A1 (ko) 2019-01-28 2020-01-07 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010448A KR102168968B1 (ko) 2019-01-28 2019-01-28 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200093235A true KR20200093235A (ko) 2020-08-05
KR102168968B1 KR102168968B1 (ko) 2020-10-22

Family

ID=71842216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010448A KR102168968B1 (ko) 2019-01-28 2019-01-28 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치

Country Status (4)

Country Link
US (1) US20220067376A1 (ko)
JP (1) JP2022516640A (ko)
KR (1) KR102168968B1 (ko)
WO (1) WO2020159093A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021045391A1 (ko) 2019-09-03 2021-03-11 주식회사 엘지화학 아크릴계 에멀젼 점착제 조성물
WO2022059818A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 동영상 검색에서 크라우드 메타 정보들의 서사 구성 방법
WO2022059817A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 이미지 및 동영상의 대사와 배경으로 알 수 있는 메타 정보 인지의 ai 최소 문맥 탐구 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663790B2 (en) * 2021-08-18 2023-05-30 Optum, Inc. Dynamic triggering of augmented reality assistance mode functionalities
US20230345090A1 (en) * 2022-04-26 2023-10-26 Dish Network L.L.C. Systems and methods for generating summary media content based on biometric information
WO2024009944A1 (ja) * 2022-07-07 2024-01-11 Ｖｉｅ株式会社 情報処理方法、記録媒体、及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20180028931A (ko) * 2016-09-09 2018-03-19 소니 주식회사 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method
US9176582B1 (en) * 2013-04-10 2015-11-03 Google Inc. Input system
KR102333704B1 (ko) * 2013-09-30 2021-12-01 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
US9807291B1 (en) * 2014-01-29 2017-10-31 Google Inc. Augmented video processing
EP3117627A4 (en) * 2014-03-10 2017-08-23 Nokia Technologies OY Method and apparatus for video processing
US20170199570A1 (en) * 2014-05-27 2017-07-13 Lg Electronics Inc. Mobile terminal and control method therefor
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
JP2017211862A (ja) * 2016-05-26 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018152039A (ja) * 2017-03-09 2018-09-27 株式会社ＡＯＩ Ｐｒｏ． 映像評価のリサーチシステム
EP3629912A4 (en) * 2017-05-30 2021-03-03 InteraXon Inc. PORTABLE COMPUTER DEVICE WITH ELECTROPHYSIOLOGICAL SENSORS
US11122258B2 (en) * 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20180028931A (ko) * 2016-09-09 2018-03-19 소니 주식회사 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SK open API,"[제 50 회 TDF] 09 시선-뇌파기반 VR 인터페이스 기술 - 채용욱 룩시드랩스 CEP", 유튜브 영상(https://www.youtube.com/watch?v=dzJj2yzV6E8) 2017.12.14. 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021045391A1 (ko) 2019-09-03 2021-03-11 주식회사 엘지화학 아크릴계 에멀젼 점착제 조성물
WO2022059818A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 동영상 검색에서 크라우드 메타 정보들의 서사 구성 방법
WO2022059817A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 이미지 및 동영상의 대사와 배경으로 알 수 있는 메타 정보 인지의 ai 최소 문맥 탐구 방법

Also Published As

Publication number Publication date
KR102168968B1 (ko) 2020-10-22
JP2022516640A (ja) 2022-03-01
WO2020159093A1 (ko) 2020-08-06
US20220067376A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
KR102168968B1 (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
US20210295025A1 (en) Classifying facial expressions using eye-tracking cameras
US10517521B2 (en) Mental state mood analysis using heart rate collection based on video imagery
US11056225B2 (en) Analytics for livestreaming based on image analysis within a shared digital environment
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US11151610B2 (en) Autonomous vehicle control using heart rate collection based on video imagery
US10843078B2 (en) Affect usage within a gaming context
JP6125670B2 (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
KR20200127969A (ko) 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
US20220319536A1 (en) Emotion recognition method and emotion recognition device using same
US20170095192A1 (en) Mental state analysis using web servers
KR20210004951A (ko) 신경 생리학적 상태의 검출을 위한 센서 데이터를 사용하는 컨텐츠 생성 및 제어
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
US20230043838A1 (en) Method for determining preference, and device for determining preference using same
Han et al. Blowing your mind: a conceptual framework of augmented reality and virtual reality enhanced cultural visitor experiences using EEG experience measures
KR102186580B1 (ko) 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
US20200226012A1 (en) File system manipulation using machine learning
Koelstra Affective and Implicit Tagging using Facial Expressions and Electroencephalography.
US20230282080A1 (en) Sound-based attentive state assessment
KR20200132446A (ko) 감정 라벨링 방법 및 이를 이용한 감정 라벨링용 디바이스
Branco Computer-based facial expression analysis for assessing user experience
KR102647730B1 (ko) 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
KR102277894B1 (ko) 개인화된 영상 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법
US20240134454A1 (en) System and method for controlling digital cinematic content based on emotional state of characters

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right