KR101944630B1 - 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법 - Google Patents

감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법 Download PDF

Info

Publication number
KR101944630B1
KR101944630B1 KR1020170112539A KR20170112539A KR101944630B1 KR 101944630 B1 KR101944630 B1 KR 101944630B1 KR 1020170112539 A KR1020170112539 A KR 1020170112539A KR 20170112539 A KR20170112539 A KR 20170112539A KR 101944630 B1 KR101944630 B1 KR 101944630B1
Authority
KR
South Korea
Prior art keywords
video
user
video content
emotional state
processing device
Prior art date
Application number
KR1020170112539A
Other languages
English (en)
Other versions
KR20180028931A (ko
Inventor
프라모드 친탈라푸디
나바룬 고스와미
헤만트 사드흐와니
마드흐베쉬 슐리브하비
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180028931A publication Critical patent/KR20180028931A/ko
Application granted granted Critical
Publication of KR101944630B1 publication Critical patent/KR101944630B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

한 명 이상의 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법의 다양한 양태들이 본원에 개시된다. 시스템은 비디오-처리 디바이스를 포함하고, 비디오-처리 디바이스는 비디오-처리 디바이스 상에서 제1 비디오 콘텐츠를 보는 제1 사용자의 감정 상태의 변화를 검출한다. 하나 이상의 시간 순간에 제1 사용자의 감정 상태의 검출된 변화 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹이 변화된 감정 상태와 연관될 수 있다. 제1 사용자의 감정 상태의 검출된 변화에 기초하여, 제1 비디오 콘텐츠의 영상 프레임들의 연관된 하나 이상의 그룹의 사용에 의해 제2 비디오 콘텐츠가 발생된다.

Description

감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법{SYSTEM AND METHOD FOR PROCESSING VIDEO CONTENT BASED ON EMOTIONAL STATE DETECTION}
본 개시내용의 다양한 실시예들은 비디오 콘텐츠를 처리하는 시스템 및 방법에 관한 것이다. 더욱 구체적으로, 본 개시내용의 다양한 실시예들은 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법에 관한 것이다.
비디오 처리 기술들의 분야에서의 최근의 진보들은 다양한 전자 디바이스들의 기능성들 및 연관된 응용들을 확장시켰다. 종래에는, 비디오 편집 목적들을 위해 비디오를 처리하는 데 고가의 머신들이 사용되었다. 그러나, 비디오 편집 및 연관된 디바이스들의 비용은 비디오-처리 디바이스들 및 비디오 처리 기술들의 계속되는 진보들로 인해 시간이 지남에 따라 감소되고 있다. 디지털 비디오 프레임 시퀀스들의 비디오 편집을 위한 다양한 도구를, 애플리케이션들, 머신들, 및/또는 디바이스들이 가전 제품(CE), 미디어, 및/또는 영화 제작 및 영화의 후반 제작 산업과 같은 다양한 산업들에서 널리 사용되고 있다. 현재, 캡처된 비디오 콘텐츠의 조작은 시간 소모 과정일 수 있다. 또한, 균일한 품질 결과들을 발생하기 위해 높은 레벨의 전문화가 요구될 수 있다. 비디오 편집 기술들에서의 소정 레벨의 자동화가 부상하였지만, 여전히 후처리 기술들은 방대한 계산적 자원들을 요구할 수 있으므로, 소비자 사용을 위해 비실용적일 수 있다. 그러므로, 진보되고 효율적인 기술 또는 시스템이 요구될 수 있고, 여기서 사람의 요소가 디지털 비디오 콘텐츠의 빠르고 질적인 처리를 위해 지능적 방식으로 이용될 수 있다.
또한, 종래의 전통적인 방식들의 추가 제한들 및 단점들이 본원의 나머지 부분에서 도면을 참조하여 기술된 바와 같이, 본 개시내용의 일부 양태들과의 설명된 시스템들의 비교를 통해, 본 기술 분야의 통상의 기술자에게 명백하게 될 것이다.
청구범위에 보다 완전히 기술된 바와 같이, 도면들 중 적어도 하나에 실질적으로 도시되거나, 그와 관련하여 설명된 것과 같은 한 명 이상의 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법이 제공된다.
본 개시내용의 이들 및 다른 특징들과 장점들은 유사한 참조 번호들이 전체에 걸쳐 유사한 부분들을 참조하는, 첨부 도면과 함께, 본 개시내용의 다음의 상세한 설명을 검토하면 알 수 있다.
도 1은 본 개시내용의 실시예에 따른, 한 명 이상의 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 네트워크 환경을 도시한 블록도이다.
도 2는 본 개시내용의 실시예에 따른, 한 명 이상의 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 예시적인 비디오-처리 디바이스의 블록도를 도시한다.
도 3은 본 개시내용의 실시예에 따른, 한 명 이상의 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 개시된 시스템 및 방법의 구현을 위한 예시적인 시나리오를 도시한다.
도 4a 및 4b는 본 개시내용의 실시예에 따른, 한 명 이상의 사용자의 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 예시적인 방법의 구현을 위한 플로우 차트를 총체적으로 도시한다.
다음에 설명된 구현들은 감정 상태 검출에 기초하여 비디오를 처리하는 개시된 시스템 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은 비디오 처리 디바이스 상에서 제1 비디오 콘텐츠를 보는 제1 사용자의 감정 상태의 변화를 검출할 수 있는 비디오-처리 디바이스를 포함할 수 있다. 하나 이상의 시간 순간에 제1 사용자의 감정 상태의 검출된 변화 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹이 변화된 감정 상태와 연관될 수 있다. 제2 비디오 콘텐츠는 제1 비디오 콘텐츠의 영상 프레임들의 연관된 하나 이상의 그룹의 사용에 의해 발생될 수 있다. 제2 비디오 콘텐츠의 발생은 제1 사용자의 감정 상태의 검출된 변화에 기초할 수 있다.
실시예에 따르면, 감정 상태는 보통(neutral), 기쁨, 슬픔, 분노, 경멸, 두려움, 놀라움, 혼란스러움, 및/또는 다정함(tender) 감정에 대응할 수 있다. 제1 사용자의 변화된 감정 상태와 연관된 레벨은 연관(association)을 위해 비디오-처리 디바이스 상에서 제1 비디오 콘텐츠를 보는 동안 결정될 수 있다. 제1 사용자의 복수의 감정 상태는 제1 사용자가 제1 비디오 콘텐츠를 볼 수 있는 동안 모니터될 수 있다. 모니터링은 비디오-처리 디바이스에 통신 결합된 영상-캡처링 디바이스(image-capturing device)의 사용에 의해 캡처된 제1 사용자의 하나 이상의 영상 또는 비디오 및/또는 제1 사용자와 연관된 하나 이상의 웨어러블 디바이스로부터 수신된 센서 데이터에 기초할 수 있다.
실시예에 따르면, 변화된 감정 상태와 연관된 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹이 제2 비디오 콘텐츠의 발생을 위해 선택될 수 있다. 복수의 비디오 콘텐츠 아이템이 제1 사용자의 복수의 상이한 감정 상태의 검출에 기초하여 제1 비디오 콘텐츠로부터 동시에 발생될 수 있다.
실시예에 따르면, 제2 사용자가 비디오-처리 디바이스 상에서 제1 비디오 콘텐츠를 보는 동안, 제2 사용자의 감정 상태의 변화가 검출될 수 있다. 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 다른 그룹은 제2 사용자의 변화된 감정 상태와 연관될 수 있다. 이 연관은 제1 비디오 콘텐츠가 하나 이상의 다른 시간 순간에 제2 사용자의 감정 상태의 검출된 변화 동안 보여지는 동안 발생할 수 있다.
실시예에 따르면, 제2 비디오 콘텐츠와 제3 비디오 콘텐츠는 제1 사용자 및 제2 사용자의 감정 상태의 검출된 변화에 기초하여 동시에 발생될 수 있다. 제3 비디오 콘텐츠는 제1 비디오 콘텐츠의 영상 프레임들의 연관된 하나 이상의 다른 그룹의 사용에 의해 발생될 수 있다. 제1 비디오 콘텐츠는 제1 사용자의 감정 상태의 검출된 변화에 기초하여 자동으로 편집될 수 있다.
실시예에 따르면, 발생된 제2 비디오 콘텐츠는 제1 사용자의 감정 상태의 검출된 변화에 기초하여 제1 비디오 콘텐츠로부터 자동으로 발생된 감정 비디오 하이라이트들(emotional video highlights)에 대응할 수 있다. 비디오-처리 디바이스 상에서 보여진 복수의 비디오 콘텐츠 아이템 각각으로부터 선택된 영상 프레임들의 하나 이상의 그룹은 제1 사용자의 감정 상태의 검출된 변화에 기초하여 단일 비디오 콘텐츠를 발생하도록 조합될 수 있다.
도 1은 본 개시내용의 실시예에 따른, 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 네트워크 환경을 도시한 블록도이다. 도 1을 참조하면, 예시적인 네트워크 환경(100)이 도시된다. 네트워크 환경(100)은 비디오-처리 디바이스(102), 서버(104), 통신 네트워크(106), 영상-캡처링 유닛(108), 복수의 감정 상태(110), 및 제1 사용자(112)와 제2 사용자(114)와 같은 한 명 이상의 사용자를 포함할 수 있다. 비디오-처리 디바이스(102)는 디스플레이 화면(116) 및 디스플레이 화면(116) 상에 제공되는 애플리케이션 인터페이스(118)를 포함할 수 있다. 하나 이상의 웨어러블 디바이스(120)가 또한 도시된다. 복수의 감정 상태(110)는 제1 사용자(112) 및/또는 제2 사용자(114)와 연관될 수 있다. 비디오-처리 디바이스(102)는 통신 네트워크(106)를 통해, 서버(104), 및/또는 하나 이상의 웨어러블 디바이스(120)에 통신 결합될 수 있다. 제1 사용자(112)와 제2 사용자(114)와 같은 한 명 이상의 사용자는 비디오-처리 디바이스(102)와 연관될 수 있다.
비디오-처리 디바이스(102)는 통신 네트워크(106)를 통해, 서버(104)로부터 처리될 하나 이상의 비디오 콘텐츠 아이템을 수신하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 실시예에 따르면, 하나 이상의 비디오가 유선 또는 무선 통신 매체를 통해 외부 저장 매체, 또는 다른 전자 디바이스와 같은 외부 디바이스들로부터 처리하기 위해 비디오-처리 디바이스(102)에 전달될 수 있다. 비디오-처리 디바이스(102)의 예들은 컴퓨팅 디바이스, 비디오 편집기 머신, 스마트폰, 랩탑, 스마트 텔레비전(TV), 모션-캡처 시스템, 카메라, 액션 캠, 캠코더, 태블릿 컴퓨터, 프로젝터, 및/또는 다른 비디오-처리 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다.
서버(104)는 복수의 캡처된 비디오를 저장하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 서버(104)는 비디오-처리 디바이스(102)와 같은 원격 전자 디바이스에 통신 결합될 수 있다. 서버(104)는 클라우드 기반 서버, 웹 서버, 데이터베이스 서버, 파일 서버, 애플리케이션 서버, 또는 이들의 조합일 수 있다. 서버(104)는 본 기술 분야의 통상의 기술자들에게 널리 공지된 여러 기술들의 사용에 의해 구현될 수 있다.
통신 네트워크(106)는 비디오-처리 디바이스(102)가 서버(104)와 통신할 수 있는 매체를 포함할 수 있다. 통신 네트워크(106)는 유선 또는 무선 통신 네트워크일 수 있다. 통신 네트워크(106)의 예들은 근거리 네트워크(LAN), 무선 근거리 네트워크(WLAN), 클라우드 네트워크, 롱텀 에볼루션(LTE) 네트워크, 기존 전화 서비스(POTS), 도시 지역 네트워크(MAN), 및/또는 인터넷을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜들에 따라, 통신 네트워크(106)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 트랜스퍼 프로토콜(HTTP), 파일 트랜스퍼 프로토콜(FTP), 지그비(ZigBee), EDGE, 적외선(IR), IEEE 802.11, 802.16, 롱텀 에볼루션(LTE), 라이트 피델리티(Li-Fi), 및/또는 다른 셀룰러 통신 프로토콜들, 사물 인터넷(IOT) 통신 프로토콜, 또는 블루투스(BT) 통신 프로토콜들을 포함할 수 있지만, 이들로 제한되지 않는다.
영상-캡처링 유닛(108)은 한 명 이상의 사용자의 하나 이상의 영상 또는 비디오를 캡처하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 실시예에 따르면, 영상-캡처링 유닛(108)은 비디오-처리 디바이스(102)의 내장형 카메라 또는 영상 센서라고 할 수 있다. 대안적으로, 영상-캡처링 유닛(108)은 비디오-처리 디바이스(102)에 접속된 외부 카메라일 수 있다.
복수의 감정 상태(110)는 비디오-처리 디바이스(102)에 의해 검출된 한 명 이상의 사용자의 감정 상태들을 나타낸다. "EM1, EM2, EM3,...,EMn"과 같은 복수의 감정 상태(110)는 보통, 기쁨, 슬픔, 분노, 경멸, 두려움, 놀라움, 혼란스러움, 및/또는 다정함 감정들을 포함할 수 있다. 복수의 감정 상태(110)는 영상-캡처링 유닛(108)에 의해 캡처된 한 명 이상의 사용자의 하나 이상의 영상 또는 비디오에 기초하여 검출될 수 있다. 실시예에 따르면, 한 명 이상의 사용자 각각은 비디오-처리 디바이스(102)에 통신 결합될 수 있는 하나 이상의 웨어러블 디바이스(120) 중 하나의 웨어러블 디바이스와 연관될 수 있다. 웨어러블 디바이스로부터 수신된 센서 데이터는 한 명 이상의 사용자의 감정 상태의 변화를 모니터링하기 위해 더 이용될 수 있다.
디스플레이 화면(116)은 캡처된 비디오들의 편집을 가능하게 하도록 애플리케이션 인터페이스(118)를 렌더링하도록 구성될 수 있는 적합한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 실시예에 따르면, 디스플레이 화면(116)은 비디오-처리 디바이스(102)의 일부로서 구현될 수 있다. 디스플레이 화면(116)은 액정 디스플레이(LCD), 발광 다이오드(LED) 기반 디스플레이, 유기 LED 디스플레이 기술, 레티나 디스플레이 기술 및/또는 이와 유사한 것과 같은 몇 가지 공지된 기술들을 통해 실현될 수 있다.
애플리케이션 인터페이스(118)는 비디오-처리 디바이스(102)의 디스플레이 화면(116) 상에 제공될 수 있다. 애플리케이션 인터페이스(118)는 비디오-처리 디바이스(102)에서 비디오 편집 과정을 용이하게 할 수 있다. 애플리케이션 인터페이스(118)는 비디오-처리 디바이스(102)에 사전 저장될 수 있다. 애플리케이션 인터페이스(118)는 비디오-처리 디바이스(102)에서 처리하기 위해 수집된 비디오 콘텐츠 및 대응하는 비디오 프레임들을 제공하도록 구성될 수 있다.
하나 이상의 웨어러블 디바이스(120)는 웨어러블 전자 장치 및/또는 전자 이식물들이라고 할 수 있다. 하나 이상의 웨어러블 디바이스(120)는 센서 데이터를 비디오-처리 디바이스(102) 또는 서버(104)와 같은, 접속된 디바이스에 전달하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 하나 이상의 웨어러블 디바이스(120)는 제1 사용자(112)와 제2 사용자(114)와 같은 사용자가 착용할 수 있다. 예를 들어, 사용자가 착용하는 스마트 안경, 스마트 밴드, 또는 스마트 워치는 사용자의 칼로리 섭취량, 태워진 칼로리, 수면 패턴들, 및/또는 발한 또는 심박수와 같은 생리적 파라미터들, 또는 신체적 활동을 측정하는 데 사용될 수 있다. 하나 이상의 웨어러블 디바이스(120)의 예들은 웨어러블 심전도계, (배란 주기를 예측하고, 심박수, 산소 포화도, 호흡수, 및/또는 혈압과 같은 생리적 파라미터를 모니터링하기 위해 사람의 몸에 부착되거나, 착용되거나, 또는 이식될 수 있는) 생체에 적합한 센서, "건강보험 마이크로칩 RFID 이식물"과 같은 이식가능한 무선 주파수 디바이스, 및/또는 사용자의 감정 상태들의 추적을 위해, 제1 사용자(112) 또는 제2 사용자(114)와 같은 사용자의 생리적 파라미터들의 모니터링에 관련된 센서 데이터를 제공할 수 있는 다른 그러한 웨어러블 또는 이식가능한 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다. 실시예에 따르면, 하나 이상의 웨어러블 디바이스(120)가 사용되지 않을 수 있고 감정 상태들은 영상-캡처링 유닛(108)에 의해 캡처되는 대로 사용자의 비디오의 사용에 의해 검출될 수 있다.
동작 시에, 비디오-처리 디바이스(102)는 하나 이상의 비디오 콘텐츠를 수신하도록 구성될 수 있다. 하나 이상의 비디오 콘텐츠는 통신 네트워크(106)를 통해, 서버(104)로부터 수신될 수 있다. 실시예에 따르면, 하나 이상의 비디오 콘텐츠는 유선 또는 무선 통신 매체를 통해, 외부 저장 디바이스와 같은 외부 디바이스로부터 수신될 수 있다. 비디오-처리 디바이스(102)는 애플리케이션 인터페이스(118)를 통해, 수신된 하나 이상의 비디오 콘텐츠의 적어도 제1 비디오 콘텐츠를 제공하도록 구성될 수 있다. 실시예에 따르면, 제1 비디오는 제1 사용자(112)와 같은 사용자로부터 수신된 입력에 기초하여 제공될 수 있다. 대안적으로, 비디오-처리 디바이스(102)는 사용자 정의된 순서로, 하나 이상의 비디오 콘텐츠를 처리하기 위해 하나 이상의 사전 구성된 설정들을 포함할 수 있다.
실시예에 따르면, 제1 사용자(112)와 같은 한 명 이상의 사용자는 비디오-처리 디바이스(102)의 디스플레이 화면(116) 상에서 제1 비디오 콘텐츠를 볼 수 있다. 비디오-처리 디바이스(102)는 영상-캡처링 유닛(108)의 사용에 의해, 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 볼 수 있는 제1 사용자(112)의 하나 이상의 영상 또는 비디오를 캡처할 수 있다. 비디오-처리 디바이스(102)는 제1 사용자(112)가 제1 비디오 콘텐츠를 보는 동안 제1 사용자(112)의 감정들을 계속 모니터링하도록 구성될 수 있다. 감정들은 제1 사용자(112)의 캡처된 하나 이상의 영상 또는 비디오의 분석에 기초하여 모니터될 수 있다.
실시예에 따르면, 비디오-처리 디바이스(102)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 제1 사용자(112)의 감정 상태의 변화를 검출하도록 구성될 수 있다. 감정 상태의 변화는 제1 사용자(112)의 복수의 감정 상태(110) 중에서, 보통과 같은 제1 감정 상태로부터 기쁨과 같은 제2 감정 상태로의 전이에 대응할 수 있다.
실시예에 따르면, 비디오-처리 디바이스(102)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 동안 제1 사용자(112)의 변화된 감정 상태와 연관된 레벨을 결정하도록 구성될 수 있다. 결정된 레벨은 감정 상태의 정도에 대응할 수 있다. 예를 들어, 중간 정도 기쁨 또는 흥분 감정 상태(moderately happy or excited emotional state)와 같은 기쁨의 정도는 제1 사용자(112)가 제1 비디오 콘텐츠를 보고 있을 때 검출될 수 있다.
실시예에 따르면, 비디오-처리 디바이스(102)는 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 흥분 감정 상태와 같은 변화된 감정 상태와 연관시키도록 구성될 수 있다. 이 연관은 제1 비디오 콘텐츠가 비디오-처리 디바이스(102) 상에서 보여질 때 하나 이상의 시간 순간에 제1 사용자(112)의 감정 상태의 검출된 변화 동안 발생할 수 있다.
실시예에 따르면, 비디오-처리 디바이스(102)는 변화된 감정 상태와 연관된 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 선택하도록 구성될 수 있다. 비디오-처리 디바이스(102)는 변화된 감정 상태와 연관된 영상 프레임들의 선택된 하나 이상의 그룹의 사용에 의해 제2 비디오 콘텐츠를 발생하도록 구성될 수 있다. 발생된 제2 비디오 콘텐츠는 제1 사용자(112)의 검출된 변화된 감정 상태에 기초하여 제1 비디오 콘텐츠로부터 동적으로 발생된, 흥분 감정 하이라이트들(excited emotional highlights)과 같은 감정 하이라이트들에 대응할 수 있다.
실시예에 따르면, 제1 사용자(112)와 제2 사용자(114)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 동시에 볼 수 있다. 이러한 실시예에서, 비디오-처리 디바이스(102)는 제1 사용자(112)와 제2 사용자(114)의 감정들을 동시에 모니터링하도록 구성될 수 있다. 제1 사용자(112) 외에, 비디오-처리 디바이스(102)는 제2 사용자(114)의 감정 상태의 검출된 변화 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 다른 그룹을 제2 사용자(114)의 변화된 감정 상태와 더 연관시킬 수 있다. 비디오-처리 디바이스(102)는 제2 사용자(114)와 함께 제1 사용자(112)의 검출된 변화된 감정 상태에 기초하여 제2 비디오 콘텐츠 및 또 하나의 비디오를 동시에 발생하도록 구성될 수 있다.
실시예에 따르면, 비디오-처리 디바이스(102)는 일, 월, 또는 연 동안 보여진 모든 콘텐츠 아이템들에 대한 복수의 감정 상태(110) 각각에 관련된 감정 하이라이트들을 발생하도록 구성될 수 있다. 실시예에 따르면, 제1 사용자(112)는 복수의 비디오-처리 디바이스에서 다양한 미디어 콘텐츠를 볼 수 있다. 복수의 비디오-처리 디바이스는 비디오-처리 디바이스(102)와 유사할 수 있다. 이러한 실시예에서, 복수의 비디오-처리 디바이스에서 발생된 감정 하이라이트들은 중앙 저장을 위해 서버(104)에 전달될 수 있다. 서버(104)는 다음에 복수의 비디오-처리 디바이스 상에서 보여진 미디어 콘텐츠의 세그먼트들을 포함할 수 있는, 감정 하이라이트들인, 슬픔 감정 하이라이트들(sad emotional highlights), 기쁨 감정 하이라이트들(happy emotional highlights) 또는 분노 감정 하이라이트들(anger emotional highlights)을 발생할 수 있다. 세그먼트들은 복수의 감정 상태(110) 중 하나 이상의 감정 상태와 연관된 영상 프레임들의 하나 이상의 그룹에 대응할 수 있다.
도 2는 본 개시내용의 실시예에 따른, 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 예시적인 비디오-처리 디바이스의 블록도를 도시한다. 도 2는 도 1에서의 요소들과 함께 설명된다. 도 2를 참조하면, 비디오-처리 디바이스(102)가 도시된다. 비디오-처리 디바이스(102)는 비디오 프로세서(202)와 같은 하나 이상의 프로세서, 메모리(204), I/O 디바이스(206)와 같은 하나 이상의 입/출력(I/O) 디바이스, 감정 분석기(208), 및 네트워크 인터페이스(210)를 포함할 수 있다. I/O 디바이스(206) 내에 영상-캡처링 유닛(108), 디스플레이 화면(116), 및 애플리케이션 인터페이스(118)가 더 도시된다.
비디오 프로세서(202)는 메모리(204), I/O 디바이스(206), 감정 분석기(208), 및 네트워크 인터페이스(210)에 통신 결합될 수 있다. 네트워크 인터페이스(210)는 비디오 프로세서(202)의 제어 하에서, 통신 네트워크(106)를 통해, 서버(104)와 통신할 수 있다.
비디오 프로세서(202)는 메모리(204) 내에 저장된 명령어들의 세트를 실행하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 비디오 프로세서(202)는 본 기술 분야에 공지된 많은 프로세서 기술들에 기초하여 구현될 수 있다. 비디오 프로세서(202)의 예들은 X86 기반 프로세서, X86-64 기반 프로세서, 축약형 명령어 세트 컴퓨팅(RISC) 프로세서, 주문형 집적 회로(ASIC) 프로세서, 복합형 명령어 세트 컴퓨팅(CISC) 프로세서, 중앙 처리 장치(CPU), 명시적 병렬 명령어 세트(EPIC) 프로세서, 긴 명령어 워드(VLIW) 프로세서, 및/또는 다른 프로세서들 또는 제어 회로들일 수 있다.
메모리(204)는 비디오 프로세서(202)에 의해 실행 가능한 머신 코드 및/또는 명령어들의 세트를 저장하도록 구성될 수 있는 적합한 논리, 회로, 및/또는 인터페이스들을 포함할 수 있다. 메모리(204)는 처리될 하나 이상의 캡처된 비디오 및 처리되거나 편집된 비디오들을 저장하도록 더 구성될 수 있다. 메모리(204)는 애플리케이션 인터페이스(118) 및 한 명 이상의 사용자에 의해 프리셋된 하나 이상의 구성 가능한 설정을 저장하도록 더 구성될 수 있다. 메모리(204)는 운영 체제들 및 연관된 애플리케이션들을 저장하도록 더 구성될 수 있다. 메모리(204)의 구현의 예들은 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 전기적으로 소거 가능하고 프로그램 가능한 리드 온리 메모리(EEPROM), 하드 디스크 드라이브(HDD), 고상 드라이브(SSD), CPU 캐시, 및/또는 시큐어 디지털(SD) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
I/O 디바이스(206)는 제1 사용자(112)와 같은 한 명 이상의 사용자로부터 입력을 수신하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. I/O 디바이스(206)는 한 명 이상의 사용자에 출력을 제공하도록 더 구성될 수 있다. I/O 디바이스(206)는 비디오 프로세서(202)와 통신하도록 동작할 수 있는 다양한 입력 및 출력 디바이스들을 포함할 수 있다. 입력 디바이스들의 예들은 영상-캡처링 유닛(108), 터치 화면, 키보드, 적외선 센서, 마우스, 조이스틱, 마이크로폰, 모션 센서, 광 센서, 지리적 공간 위치 검출 센서와 같은 하나 이상의 센서, 및/또는 도킹 스테이션을 포함할 수 있지만, 이들로 제한되지 않는다. 출력 디바이스들의 예들은 디스플레이 화면(116), 프로젝터 화면, 및/또는 스피커를 포함할 수 있지만, 이들로 제한되지 않는다.
감정 분석기(208)는 영상-캡처링 유닛(108)에 의해 캡처된 하나 이상의 영상 또는 비디오를 분석하도록 구성될 수 있는 적합한 논리, 회로, 및/또는 인터페이스들을 포함할 수 있다. 감정 분석기(208)는 제1 사용자(112)와 제2 사용자(114)와 같은 한 명 이상의 사용자와 연관된 하나 이상의 웨어러블 디바이스(120)로부터 수신된 센서 데이터를 분석하도록 더 구성될 수 있다. 감정 분석기(208)는 수신된 하나 이상의 영상 또는 비디오 및/또는 센서 데이터의 분석에 기초하여 한 명 이상의 사용자의 감정 상태의 변화들을 계속 검출하도록 구성될 수 있다. 실시예에 따르면, 감정 분석기(208)는 비디오 프로세서(202)의 일부일 수 있다. 대안적으로, 감정 분석기(208)는 비디오-처리 디바이스(102) 내의 별도의 프로세서 또는 회로로서 구현될 수 있다. 실시예에 따르면, 감정 분석기(208) 및 비디오 프로세서(202)는 감정 분석기(208) 및 비디오 프로세서(202)의 기능들을 수행하는 통합된 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 실시예에 따르면, 감정 분석기(208)는 실행 시 비디오 프로세서(202)에 의해 비디오-처리 디바이스(102)의 기능들을 수행할 수 있는, 메모리(204) 내에 저장된 명령어들의 세트로서 구현될 수 있다.
네트워크 인터페이스(210)는 (도 1에 도시한 것과 같은) 통신 네트워크(106)를 통해, 서버(104)와 통신하도록 구성될 수 있는 적합한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(210)는 통신 네트워크(106)와의 비디오-처리 디바이스(102)의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 네트워크 인터페이스(210)는 안테나, 무선 주파수(RF) 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 인터페이스(210)는 통신 네트워크(106)와 유선 또는 무선 통신을 통해 통신할 수 있다. 무선 통신은 이동 통신들을 위한 글로벌 시스템(GSM), 엔헌스트 데이터 GSM 환경(EDGE), 광대역 코드 분할 다중 액세스(W-CDMA), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 블루투스, 롱텀 에볼루션(LTE), 무선 피델리티(Wi-Fi)(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), 광-피델리티(Li-Fi), 음성 인터넷 프로토콜(VoIP), Wi-MAX, 이메일용 프로토콜, 인스턴트 메시징, 및/또는 단문 메시지 서비스(SMS)와 같은, 통신 표준들, 프로토콜들 및 기술들 중 하나 이상을 사용할 수 있다.
동작 시에, 비디오 프로세서(202)는 네트워크 인터페이스(210)의 사용에 의해, 하나 이상의 비디오 콘텐츠를 수신하도록 구성될 수 있다. 하나 이상의 비디오 콘텐츠는 통신 네트워크(106)를 통해, 서버(104)로부터 수신될 수 있다. 실시예에 따르면, 하나 이상의 비디오 콘텐츠는 유선 또는 무선 통신 매체를 통해, 외부 저장 디바이스와 같은 외부 디바이스로부터 수신될 수 있다. 비디오 프로세서(202)는 애플리케이션 인터페이스(118)를 통해, 수신된 하나 이상의 비디오 콘텐츠의 적어도 제1 비디오 콘텐츠를 제공하도록 구성될 수 있다.
실시예에 따르면, 제1 사용자(112)와 같은 한 명 이상의 사용자는 비디오-처리 디바이스(102)의 디스플레이 화면(116) 상에서 제1 비디오 콘텐츠를 볼 수 있다. 비디오 프로세서(202)는 영상-캡처링 유닛(108)의 사용에 의해, 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 볼 수 있는 제1 사용자(112)의 하나 이상의 영상 또는 비디오를 캡처할 수 있다. 감정 분석기(208)는 제1 사용자(112)가 제1 비디오 콘텐츠를 보는 동안 제1 사용자(112)의 감정들을 계속 모니터링하도록 구성될 수 있다. 감정들은 제1 사용자(112)의 캡처된 하나 이상의 영상 또는 비디오의 분석에 기초하여 모니터될 수 있다.
실시예에 따르면, 감정 분석기(208)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 제1 사용자(112)의 감정 상태의 변화를 검출하도록 구성될 수 있다. 감정 상태의 변화는 제1 사용자(112)의 복수의 감정 상태(110) 중에서, 보통과 같은 제1 감정 상태로부터 기쁨과 같은 제2 감정 상태로의 전이에 대응할 수 있다. 제1 사용자(112)의 감정 상태의 변화는 제1 사용자(112)의 감정들의 모니터링에 기초하여 검출될 수 있다.
실시예에 따르면, 얼굴 표정의 변화, 손 또는 얼굴의 움직임, 사용자가 앉은 위치, 및/또는 몸 자세를 포함하는 하나 이상의 팩터는 제1 사용자(112)의 감정 상태를 나타낼 수 있다. 단독으로 또는 조합하여 취해진 이러한 하나 이상의 팩터는 제1 사용자(112)의 감정 상태의 검출의 정확성을 증가시킬 수 있다. 예를 들어, 제1 비디오를 보고 있는 동안 머리의 뒤쪽에 양손이 위치하고 얼굴이 위쪽으로 기울어져 있는 것은 느슨한 감정 상태를 나타낼 수 있다. 반면, 제1 비디오를 보고 있는 동안 머리의 위쪽에 양손이 위치하고 얼굴이 아래로 기울어져 있는 것은 좋지 않은(또는 매우 슬픈) 감정 상태를 나타낼 수 있다.
종래의 감정 검출 기술들에서, 소정의 미리 특정된 얼굴 표정들 또는 생물학적 건강 파라미터들이 미리 특정된 감정들 중에서 사용자의 특정한 감정을 검출하기 위해 사용될 수 있다. 그러나, 사람의 감정들 및 감정 표현들 또는 바디 랭귀지의 정도는 나라마다 또는 지역마다 등과 같이 지리적 위치들에 따라 다를 수 있다. 더구나, 나이 및 성별이 또한 사용자들이 그들의 감정들을 어떻게 표현하는지에 영향을 줄 수 있다. 따라서, 영상 처리 기술들의 사용에 의한 감정 검출은 복수의 감정 상태(110)의 정확한 검출을 위해 맞춤화될 필요가 있을 수 있다.
실시예에 따르면, 감정 분석기(208)는 제1 사용자(112)와 같은 사용자에 대한 특정한 감정을 검출하는 데 사용될 감정 검출 기술들을 조정하기 위해 비디오-처리 디바이스(102)의 지리적 위치 정보를 이용하도록 구성될 수 있다. 예를 들어, 상이한 얼굴 표정 방식 또는 설정들이 비디오-처리 디바이스(102)의 현재의 지리적 위치 정보에 기초하여 감정 검출에 적용될 수 있다. 이러한 얼굴 표정 방식 또는 설정들은 지리적 위치에 특정한 미리 맵핑된 얼굴 특징들에 따라 감정 표현들 또는 바디 랭귀지를 검출하도록 맞추어질 수 있다. 실시예에 따르면, 감정 분석기(208)는 제1 사용자(112)의 연령대 또는 성별에 기초하여 감정 검출 기술들을 맞춤화하도록 구성될 수 있다. 대안적으로, 동일한 설정들 또는 감정 검출 기술들이 다양한 연령대들, 지리적 위치들, 또는 남성 및 여성 개인에 대해 사용될 수 있다. 감정 검출 기술들은 제1 사용자(112)와 같은 사용자의 감정 상태의 검출 및/또는 인식을 위해 얼굴 표정, 손 또는 얼굴의 움직임, 사용자가 앉은 위치, 및/또는 몸 자세의 분석이라고 할 수 있다.
실시예에 따르면, 감정 분석기(208)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 동안 제1 사용자(112)의 변화된 감정 상태와 연관된 레벨을 결정하도록 구성될 수 있다. 결정된 레벨은 감정 상태의 정도에 대응할 수 있다. 예를 들어, 중간 정도 기쁨 또는 흥분 감정 상태와 같은 기쁨의 정도가 제1 사용자(112)가 제1 비디오 콘텐츠를 보고 있을 때 검출될 수 있다.
실시예에 따르면, 제1 사용자(112)는 하나 이상의 웨어러블 디바이스(120)와 연관될 수 있다. 이러한 실시예에서, 비디오 프로세서(202)는 제1 사용자(112)의 복수의 감정 상태(110)와 같은 감정들을 모니터링하기 위해 하나 이상의 웨어러블 디바이스(120)로부터 센서 데이터를 더 수신할 수 있다. 비디오 프로세서(202)는 영상 처리 기술들에 기초하여 제1 사용자(112)의 감정 상태의 검출된 변화를 유효화하기 위해 센서 데이터를 더 이용하도록 구성될 수 있다. 센서 데이터는 혈압, 발한, 심박수, 체온 등과 같은 사람의 다양한 생리적 파라미터들의 측정 값들에 대응할 수 있다. 예를 들어, 높은 발한율과 결합된 영상 처리 기술들의 사용에 의한 하나 이상의 팩터의 분석에 기초하여 검출된 슬픔 또는 불안 감정 상태는 높은 불안 레벨을 확인할 수 있다. 실시예에 따르면, 비디오 프로세서(202)는 영상 처리 기술들의 사용에 의한 하나 이상의 팩터의 분석에 기초하여 제1 비디오 콘텐츠에서 사용자가 골프를 치거나, 카트를 타거나, 크리켓을 하거나, 또는 다른 스포츠를 하는 것과 같은, 사용자의 현재 상태를 검출하도록 구성될 수 있다. 이러한 경우에, 감정 분석기(208)는 제1 사용자(112)의 감정들을 모니터링하기 위해 그에 따라 사람의 다양한 생리적 파라미터들의 기본 레벨을 조정하도록 구성될 수 있다. 사용자(112)가 특정한 장면에 흥분하는 경우에서, 감정들은 새로운 레벨까지 런타임에서 계산될 수 있고 따라서 흥분하는 순간들이 배타적으로 캡처 및 기록될 수 있다. 비디오 프로세서(202)는 영상-캡처링 유닛(108)과 같은 카메라로부터의 모든 영상 프레임들을 기록하는 것 대신에 새로운 비디오로서 흥분 감정 상태와 연관된 영상 프레임들의 소정의 그룹들을 저장하도록 구성될 수 있다.
실시예에 따르면, 비디오 프로세서(202)는 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 흥분 감정 상태와 같은 변화된 감정 상태와 연관시키도록 구성될 수 있다. 이 연관은 제1 비디오 콘텐츠가 비디오-처리 디바이스(102) 상에서 보여질 때 하나 이상의 시간 순간에 제1 사용자(112)의 감정 상태의 검출된 변화 동안 발생할 수 있다. 예를 들어, "150" 영상 프레임들의 제1 그룹은 제1 비디오 콘텐츠의 타임스탬프 "00:01:25" 내지 "00:01:30"("시간:분:초" 형식)일 수 있다. 보통의 감정 상태로부터 흥분 감정 상태로의 제1 사용자(112)의 감정 상태의 제1 변화는 제1 비디오 콘텐츠의 재생 중에 시간 순간 "00:01:28"에서 검출될 수 있다. 제1 사용자(112)의 감정 상태의 검출된 변화 전과 후의 2초는 흥분 감정 상태와 같은 변화된 감정 상태와 연관될 수 있다. 유사하게, "150" 영상 프레임들의 제2 그룹은 제1 비디오 콘텐츠의 타임스탬프 "00:02:30" 내지 "00:02:35"일 수 있다. 보통의 감정 상태로부터 흥분 감정 상태로의 제1 사용자(112)의 감정 상태의 제2 변화는 제1 비디오 콘텐츠의 재생 중에 시간 순간 "00:02:33"에서 검출될 수 있다. 제1 사용자(112)의 감정 상태의 검출된 변화 전과 후의 2초(총 5초)는 흥분 감정 상태와 연관될 수 있다. 따라서, 영상 프레임들의 다른 그룹들은 제1 비디오 콘텐츠의 재생 중에 흥분 감정 상태와 연관될 수 있다.
실시예에 따르면, 비디오 프로세서(202)는 변화된 감정 상태와 연관된 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 선택하도록 구성될 수 있다. 예를 들어, "150" 영상 프레임들의 제1 그룹, "150" 영상 프레임들의 제2 그룹, 및 제1 사용자(112)의 흥분 감정 상태와 연관된 영상 프레임들의 다른 그룹들이 선택될 수 있다. 비디오 프로세서(202)는 복수의 감정 상태(110) 중 적어도 하나와 연관되지 않을 수 있는 제1 비디오 콘텐츠의 영상 프레임들을 필터링하도록 구성될 수 있다. 보통의 감정 상태와 연관된 영상 프레임들이 또한 필터링 제거될 수 있다.
실시예에 따르면, 비디오 프로세서(202)는 영상 프레임들의 선택된 하나 이상의 그룹의 재생 시간에 따라 변화된 감정 상태와 연관된 영상 프레임들의 선택된 하나 이상의 그룹을 합치도록 구성될 수 있다. 실시예에 따르면, 비디오 프로세서(202)는 합치는 동작의 결과로서 변화된 감정 상태와 연관된 영상 프레임들의 선택된 하나 이상의 그룹을 포함할 수 있는 제2 비디오 콘텐츠를 발생하도록 구성될 수 있다. 그러므로, 제1 비디오 콘텐츠의 자동 편집이 제1 사용자(112)의 감정 상태의 검출된 변화에 기초하여 수행될 수 있다. 발생된 제2 비디오 콘텐츠는 제1 사용자(112)의 검출된 변화된 감정 상태에 기초하여 제1 비디오 콘텐츠로부터 동적으로 발생된, 흥분 감정 하이라이트들과 같은 감정 하이라이트들에 대응할 수 있다.
실시예에 따르면, 감정 분석기(208)는 비디오-처리 디바이스(102) 상의 제1 비디오 콘텐츠의 재생 중에, 보통으로부터 슬픔, 분노, 경멸, 두려움, 놀라움, 혼란스러움, 다정함과 같은 다른 피크 감정들로의 제1 사용자(112)의 감정 상태들의 상이한 변화들(또는 전이들)을 검출하도록 구성될 수 있다. 예를 들어, 보통 감정 상태로부터 슬픔 감정 상태로의 제1 사용자(112)의 감정 상태의 제3 및 제4 변화는 제1 비디오 콘텐츠의 재생 중에 시간 순간 "00:03:20" 및 "00:20:10"에서 검출될 수 있다. 따라서, 슬픔 감정 상태의 검출 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 제3 그룹 및 영상 프레임들의 제4 그룹은 슬픔 감정 상태와 연관될 수 있다. 비디오 프로세서(202)는 다음에 슬픔 감정 상태와 연관된 영상 프레임들의 제3 그룹 및 영상 프레임들의 제4 그룹의 사용에 의해 제3 비디오 콘텐츠를 발생할 수 있다. 실시예에 따르면, 제2 비디오 콘텐츠와 제3 비디오 콘텐츠는 제1 비디오 콘텐츠로부터 동시에 발생될 수 있다. 실시예에 따르면, 감정 분석기(208)는 비디오-처리 디바이스(102) 상의 제1 비디오 콘텐츠의 재생 중에, 한 피크 감정으로부터 기쁘고 다음에 슬프고, 다시 기쁜 것과 같은 또 하나의 피크 감정으로의 제1 사용자(112)의 감정 상태들의 상이한 변화들(또는 전이들)을 검출하도록 구성될 수 있다. 예를 들어, 비디오-처리 디바이스(102)는 TV일 수 있다. 제1 사용자(112)는 TV에서 크리켓 게임을 볼 수 있다. 타자가 공을 공중에 높이 치는 경우에, 제1 사용자(112)는 그것이 6점타일 것이라고 추정하지만, 곧 공은 필더에 의해 잡히는 것을 볼 수 있다. 이러한 시나리오에서, 감정 분석기(208)는 제1 비디오 콘텐츠의 단일 장면에 대해 (6점타가 추정되는 시간에) 슬픔에서 기쁨으로 (공이 잡히는 시간에) 다시 슬픔으로 등과 같이, 한 피크 감정으로부터 또 하나의 피크 감정으로의 제1 사용자(112)의 감정 상태들의 상이한 변화들(또는 전이들)을 빨리 검출하도록 구성될 수 있다.
실시예에 따르면, 제1 사용자(112)와 제2 사용자(114)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 동시에 볼 수 있다. 이러한 실시예에서, 감정 분석기(208)는 제1 사용자(112)와 제2 사용자(114)의 감정들을 동시에 모니터링하도록 구성될 수 있다. 제1 사용자(112) 외에, 감정 분석기(208)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 제2 사용자(114)의 감정 상태의 변화를 검출하도록 구성될 수 있다. 제2 사용자(114)의 검출된 변화된 감정 상태에 응답하여, 비디오 프로세서(202)는 제2 사용자(114)의 감정 상태의 검출된 변화 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 다른 그룹을 제2 사용자(114)의 변화된 감정 상태와 더 연관시킬 수 있다. 비디오 프로세서(202)는 제2 사용자(114)와 함께 제1 사용자(112)의 검출된 변화된 감정 상태에 기초하여 제2 비디오 콘텐츠 및 또 하나의 비디오를 동시에 발생하도록 구성될 수 있다. 다르게 말하면, 감정 분석기(208)는 제1 사용자(112)와 제2 사용자(114)와 같은 복수의 사용자의 감정들을 동시에 모니터링하도록 구성될 수 있다. 따라서, 복수의 사용자가 텔레비전(TV) 프로그램과 같은 제1 비디오 콘텐츠를 보고 있는 동안 복수의 상이한 감정 하이라이트가 자동으로 발생될 수 있다. 복수의 상이한 감정 비디오 하이라이트는 상이한 비디오에 대응할 수 있고, 여기서 각각의 비디오는 복수의 사용자의 각각의 사용자의 특정한 검출된 감정 상태와 연관된 영상 프레임들의 복수의 그룹을 포함할 수 있다. 예를 들어, 3명의 사용자, 존, 잭, 및 짐이 TV 프로그램을 볼 수 있다. 존이 TV 프로그램을 보는 동안 흥분되고 슬프게 되는 순간들이 감정 분석기(208)에 의해 검출될 수 있다. 결과적으로, 2가지 감정 비디오 하이라이트인, 슬픔 비디오 하이라이트(sad video highlight)와 흥분 비디오 하이라이트(excited video highlight)가 발생될 수 있다. 슬픔 비디오 하이라이트는 존의 검출된 슬픔 감정 상태로 태그된 영상 프레임들의 그룹들을 모두 포함할 수 있다. 흥분 비디오 하이라이트는 존의 검출된 흥분 감정 상태로 태그된 영상 프레임들의 그룹들을 모두 포함할 수 있다. TV 프로그램의 다른 영상 프레임들은 발생된 감정 비디오 하이라이트들로부터 필터링 및 배제될 수 있다. 유사하게, 잭과 짐은 TV 프로그램을 보고 있는 때에 소정의 순간들에서 흥분 및/또는 슬프게 될 수 있다. 감정 상태들의 변화는 각 개인마다 다를 수 있고, 한 사용자는 비디오 콘텐츠의 특정 장면을 보는 동안 흥분되지 않을 수 있는 반면 다른 사용자는 동일한 장면을 보는 동안 흥분될 수 있다. 그러므로, 존에 대한 감정 상태 전이 검출에 기초하여 발생된 2개의 감정 비디오 하이라이트들과 유사하게, 상이한 감정 비디오 하이라이트들이 잭과 존에 대해 발생될 수 있다.
실시예에 따르면, 복수의 상이한 감정 하이라이트는 복수의 사용자가 텔레비전 TV 프로그램과 같은 제1 비디오 콘텐츠를 보는 동안 동시에 발생될 수 있다. 복수의 상이한 감정 하이라이트는 주 TV 프로그램이 디스플레이되는 동안 TV 상에서 동시에 재생될 수 있다. 복수의 상이한 감정 하이라이트의 재생은 주 TV 프로그램이 TV 화면의 다른 부분 상에서 재생되는 동안, TV 디스플레이 화면의 한 부분에서의 모든 사용자들에 대한 픽처-인-픽처 윈도우들과 같은 다양한 디스플레이 메커니즘에 의해 발생할 수 있다. 이러한 경우에, 비디오-처리 디바이스(102)는 TV 자체일 수 있거나 또는 TV와 통합될 수 있다. 실시예에 따르면, 존, 잭, 및 짐의 흥분 감정 상태와 같은, 특정한 감정에 대해 복수의 사용자의 조합된 감정 비디오 하이라이트를 발생하는 것이 바람직할 수 있다. 따라서, 비디오 프로세서(202)는 존, 잭, 및 짐의 검출된 흥분 감정 상태로 태그된 영상 프레임들의 그룹들을 모두 포함할 수 있는 단일의 조합된 흥분된 비디오 하이라이트를 발생하고 디스플레이할 수 있다. 바꾸어 말하면, 각각의 사용자에 대한 모든 흥분된 순간들이 TV 상에 재생될 수 있다. 슬픔 비디오 하이라이트들 다음의 기쁨 감정 하이라이트들, 그 이후의 흥분 감정 하이라이트들과 같은 감정 비디오 하이라이트들의 디스플레이의 시퀀스가 구성 가능할 수 있고 사용자에 의해 요구되는 대로 설정될 수 있다는 것을 이해할 수 있다. 또한, TV 프로그램을 보는 동안, 존과 같은 특정 사용자, 또는 존, 잭, 및 짐과 같은 복수의 사용자 모두의 기쁜 순간들과 같은, 단지 특정한 감정 비디오 하이라이트의 디스플레이가 애플리케이션 인터페이스(118)의 사용에 의해 또한 구성 가능할 수 있다. 실시예에 따르면, 사용자의 검출된 감정 상태, 사용자의 검출된 감정 상태의 레벨, 및/또는 사용자 이름 또는 사용자의 섬네일 영상이 또한 TV와 같은 비디오-처리 디바이스(102) 상의 발생된 감정 비디오 하이라이트들의 재생 시에 디스플레이될 수 있다.
실시예에 따르면, (제2 비디오 콘텐츠와 같은) 발생된 감정 비디오 하이라이트들의 재생은 선택된 모드에 기초하여 제어될 수 있다. 제1 사용자(112)와 같은 사용자는 비디오-처리 디바이스(102)의 디스플레이 화면(116) 상에 제공된 애플리케이션 인터페이스(118)의 사용에 의해 복수의 모드로부터 특정 모드를 선택할 수 있다. 복수의 모드는 스포츠 모드, 정상 또는 디폴트 모드, 무드 노드, 또는 조합 무드 모드를 포함할 수 있다. 스포츠 모드는 감정 상태들의 전이의 변화의 검출에 관련된 구성 설정이라고 할 수 있고, 여기서 감정 상태의 검출에 대한 임계치는 정상 모드 또는 무드 모드와 같은 다른 모드들과 비교하여 변화될 수 있다. 스포츠 모드에서, 감정 분석기(208)는 제1 사용자(112)의 감정들을 모니터링하기 위해 그에 따라 사람의 다양한 생리적 파라미터들의 기본 레벨을 조정하도록 구성될 수 있다. 정상 모드에서, 복수의 감정 상태(110) 모두는 비디오-처리 디바이스(102)에 의해 검출 및 처리될 수 있다. 무드 모드가 선택되는 경우에, 기쁨 감정 상태 및 그것의 연관된 레벨들과 같은 특정 감정 상태가 그 선택된 특정 무드의 배타적인 감정 비디오 하이라이트를 발생하기 위해 비디오-처리 디바이스(102)에 의해 모니터 및 검출될 수 있다. 무드 모드는 복수의 감정 상태(110) 중 하나에 대응할 수 있다. 조합 무드 모드는 비디오-처리 디바이스(102)에 의해 검출 및 처리될 복수의 감정 상태(110) 중 2개 이상의 감정 상태를 선택하기 위해 사용될 수 있다.
실시예에 따르면, 감정 상태들의 전이의 모니터링 및 검출에 대하여, 복수의 사용자와 같은 알려진 사용자들에 대해 우선순위 리스트가 정해질 수 있다. 예를 들어, 복수의 사용자가 TV를 볼 수 있다. 복수의 사용자 중 한 명은 우선순위 리스트에서 높은 우선순위 사용자로서 정해질 수 있다. 이러한 경우에, 감정 분석기(208)는 복수의 사용자 중 특정 사용자가 우선순위 리스트로부터 높은 우선순위 사용자로서 식별되면, 복수의 사용자 중 그 특정 사용자의 감정 상태의 변화의 검출을 동적으로 전환할 수 있다.
실시예에 따르면, 제1 사용자(112)와 같은 사용자는 제1 비디오 콘텐츠와 같은 비디오를 보지 않을 수 있지만, 외부 카메라에 의해 캡처된 비디오에 포함될 수 있거나 라이브 비디오 슛의 부분일 수 있다. 이러한 경우에, 사용자의 감정 상태들 및 감정 상태들의 변화들이 비디오 슛 동안 사용자가 착용한 하나 이상의 웨어러블 디바이스(120)에 의해 검출될 수 있다. 비디오 프로세서(202)는 외부 카메라로부터 기록된 비디오를 그리고 하나 이상의 웨어러블 디바이스(120)로부터 사용자의 감정 상태들의 변화들에 관련된 정보를 수신할 수 있다. 비디오 프로세서(202)는 수신된 기록된 비디오의 영상 프레임들의 하나 이상의 그룹을 하나 이상의 웨어러블 디바이스(120)로부터의 정보에 기초하여 상이한 변화된 감정 상태들과 연관시키도록 구성될 수 있다. 하나 이상의 감정 비디오 하이라이트는 다음에 제1 비디오 콘텐츠로부터의 제2 비디오 콘텐츠의 발생에 대해 설명된 것과 유사한 과정에서 발생될 수 있다.
실시예에 따르면, 복수의 비디오 콘텐츠 아이템이 감정 상태 검출에 기초하여 복수의 비디오 콘텐츠 아이템을 편집할 의도로 비디오-처리 디바이스(102) 상에서 한 명 이상의 사용자에 의해 보여질 수 있다. 이러한 실시예에서, 비디오 프로세서(202)는 제1 사용자(112)와 같은 한 명 이상의 사용자의 감정 상태들의 검출된 변화에 기초하여, 단일 비디오 콘텐츠를 발생하기 위해 복수의 비디오 콘텐츠 아이템 각각으로부터 선택된 영상 프레임들의 하나 이상의 그룹을 조합하도록 구성될 수 있다.
실시예에 따르면, 도 1에 설명된 것과 같은, 비디오-처리 디바이스(102)에 의해 수행된 기능성들 또는 동작들은 비디오 프로세서(202) 및/또는 감정 분석기(208)에 의해 수행될 수 있다. 비디오 프로세서(202) 및/또는 감정 분석기(208)에 의해 수행된 다른 동작들은 도 3 및 도 4의 설명으로부터 이해될 수 있다.
도 3은 본 개시내용의 실시예에 따른, 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 개시된 시스템 및 방법의 구현을 위한 예시적인 시나리오를 도시한다. 도 3은 도 1 및 도 2에서의 요소들과 함께 설명된다. 도 3을 참조하면, 애플리케이션 인터페이스(118) 상에서 재생되는 제1 비디오(302), 제1 비디오(302)의 복수의 세그먼트(302a 내지 302e), 및 하나 이상의 비디오 하이라이트(304 내지 308)가 도시된다. 비디오-처리 디바이스(102)(도 1)에 내장된 영상-캡처링 유닛(108)이 더 도시된다.
예시적인 시나리오에 따르면, 제1 사용자(112)는 비디오-처리 디바이스(102) 상에서 제1 비디오(302)를 보는 동안 제1 비디오(302)를 편집하기를 원할 수 있다. 복수의 감정 상태(110)에는 수치 값이 할당될 수 있다. 보통, 슬픔, 및 기쁨 감정 상태들에는 각각 "0", "1", 및 "2"의 수치 값이 할당될 수 있다. 복수의 감정 상태(110) 각각은 슬픔의 정도(또는 레벨)를 나타낼 수 있는 1.1, 1.2, 1.3,..., 1.9와 같은 레벨들로 더 세분될 수 있고, 여기서 1.1은 가장 낮은 레벨의 슬픔을 표시할 수 있고 1.9는 그 순서로 가장 높은 레벨의 슬픔을 표시할 수 있다. 유사하게, 2.1은 가장 낮은 레벨의 기쁨을 표시할 수 있고 2.9는 그 순서로 가장 높은 레벨의 기쁨을 표시할 수 있다. 실시예에 따르면, "*.1" 내지 "*.4"의 레벨 점수는 감정 상태의 "레벨 1"(낮은 레벨)로 그룹화될 수 있다. 유사하게, "*.5" 내지 "*.7"의 레벨 점수는 감정 상태의 "레벨 2"(중간 레벨)로 그룹화될 수 있다. 그리고 마지막으로, "*.8" 내지 "*.9"의 레벨 점수는 감정 상태의 "레벨 3"으로 그룹화될 수 있다. 예를 들어, "2.1 내지 2.4", "2.5 내지 2.7", 및 "2.8 내지 2.9"의 범위는 낮은 레벨, 중간 레벨, 및 높은 레벨의 기쁨을 표시할 수 있다. 유사하게, 다른 감정 카테고리들에 대해, 낮은, 중간 및 높은 레벨 범위들이 정해질 수 있다.
실시예에 따르면, 감정 분석기(208)는 제1 비디오(302)의 재생 시간 "00:05:05"에서 비디오-처리 디바이스(102) 상에서 제1 비디오(302)를 보는 제1 사용자(112)의 감정 상태의 변화를 검출하도록 구성될 수 있다. 감정 상태의 변화는 보통 "0"과 같은 제1 감정 상태로부터 기쁨 "2"와 같은 제2 감정 상태로의 전이에 대응할 수 있다. 타임스탬프 "00:05:00" 내지 "00:05:10"에서 시작할 수 있고 연속하는 "300" 영상 프레임들을 포함할 수 있는 제1 비디오(302)의 제1 세그먼트(302a)는 검출된 기쁨 감정 상태를 나타낼 수 있는 수치 값 "2"와 연관될 수 있다. 또한, 감정 분석기(208)는 제1 사용자(112)의 기쁨 감정 상태와 같은 변화된 감정 상태의 "2.8"의 레벨을 결정하도록 구성될 수 있다. 레벨 "2.8"은 기쁨의 "레벨 3"을 표시할 수 있다.
감정 분석기(208)는 제1 비디오(302)의 재생 시간 "00:10:23"에서 제1 비디오(302)를 보는 제1 사용자(112)의 보통 "0"으로부터 기쁨 "2" 감정 상태로의 제2 전이를 검출하도록 구성될 수 있다. 따라서, 타임스탬프 "00:10:20" 내지 "00:10:25"에서 시작할 수 있고 연속하는 "150" 영상 프레임들을 포함할 수 있는 제1 비디오(302)의 제2 세그먼트(302b)는 검출된 기쁨 감정 상태를 나타낼 수 있는 수치 값 "2"와 연관될 수 있다. 또한, 감정 분석기(208)는 제1 사용자(112)의 기쁨 감정 상태의 "2.6"의 레벨을 결정하도록 구성될 수 있다. 레벨 "2.6"은 중간 정도 기쁨과 같은 기쁨의 "레벨 2"를 표시할 수 있다.
또한, 제1 비디오(302)의 재생 시간 "00:15:12"에서, 감정 분석기(208)는 제1 비디오(302)를 보는 제1 사용자(112)의 보통 "0"으로부터 슬픈 "1" 감정 상태로의 제3 전이를 검출하도록 구성될 수 있다. 따라서, 타임스탬프 "00:15:10" 내지 "00:15:13"(3초 세그먼트)에서 시작할 수 있고 연속하는 "150" 영상 프레임들을 포함할 수 있는 제1 비디오(302)의 제3 세그먼트(302c)는 검출된 슬픔 감정 상태를 나타낼 수 있는 수치 값 "1"과 연관될 수 있다. 또한, 감정 분석기(208)는 제1 사용자(112)의 슬픔 감정 상태의 "2.5"의 레벨을 결정하도록 구성될 수 있다. 레벨 "2.5"는 중간 정도 슬픈 것과 같은 슬픔의 "레벨 2"를 표시할 수 있다. 유사하게, 타임스탬프 "00:18:10" 내지 "00:18:20"(10초 세그먼트)에서 시작할 수 있고 연속하는 "300" 영상 프레임들을 포함할 수 있는 제1 비디오(302)의 제4 세그먼트(302d)는 검출된 기쁨 감정 상태를 나타낼 수 있는 수치 값 "2"와 연관될 수 있다. 매우 기쁨과 같은 기쁨의 "레벨 3"을 표시할 수 있는 "2.9"의 레벨이 결정될 수 있다. 마지막으로, 타임스탬프 "00:55:00" 내지 "00:55:05"(5초 세그먼트)에서 시작할 수 있고 연속하는 "150" 영상 프레임들을 포함할 수 있는 제1 비디오(302)의 제5 세그먼트(302e)는 검출된 슬픔 감정 상태를 나타낼 수 있는 수치 값 "1"과 연관될 수 있다. 매우 슬픈 것과 같은 슬픔의 "레벨 3"을 표시할 수 있는 "2.9"의 레벨이 결정되어 제5 세그먼트(302e)의 영상 프레임들에 할당될 수 있다.
제1 사용자(112)의 감정 상태들의 검출된 변화들에 기초하여, 비디오 프로세서(202)는 제1 비디오 하이라이트들(304)을 발생하기 위해 제1 세그먼트(302a), 제2 세그먼트(302b), 및 제4 세그먼트(302d)를 선택하도록 구성될 수 있다. 제1 비디오 하이라이트들(304)은 결정된 레벨에 관계없이 기쁨 감정 하이라이트들일 수 있다. 대안적으로, 제1 사용자(112)의 감정 상태들의 검출된 변화들 및 결정된 레벨에 기초하여, 비디오 프로세서(202)는 제2 비디오 하이라이트들(306)을 발생하기 위해 제1 세그먼트(302a) 및 제4 세그먼트(302d)를 선택하도록 구성될 수 있다. 제2 비디오 하이라이트들(306)은 제1 비디오(302)로부터 자동으로 편집된 기쁨 감정 상태의 "레벨 3"의 감정 하이라이트들을 포함할 수 있다.
실시예에 따르면, 비디오 프로세서(202)는 제3 비디오 하이라이트들(308)을 발생하기 위해 제3 세그먼트(302c) 및 제5 세그먼트(302e)를 선택하도록 구성될 수 있다. 제3 비디오 하이라이트들(308)은 제1 비디오(302)로부터 동적으로 편집된 슬픔 감정 하이라이트들일 수 있다. 그러므로, 사람의 감정 검출에 기초하여, 제1 비디오(302)는 소비자 사용을 위해 준비된 빠르고, 질적이고, 효율적인 방식으로 자동으로 편집될 수 있다.
도 4a 및 4b는 본 개시내용의 실시예에 따른, 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 예시적인 방법의 구현을 위한 플로우 차트를 총체적으로 도시한다. 도 4a 및 4b를 참조하면, 플로우 차트(400)가 도시된다. 플로우 차트(400)는 도 1, 2, 및 3에서의 요소들과 함께 설명된다. 방법은 플로우 차트(400)에 따라, 비디오-처리 디바이스(102)에서 구현될 수 있다. 방법은 단계 402에서 시작하고 단계 404로 진행한다.
단계 404에서, 하나 이상의 비디오 콘텐츠가 비디오-처리 디바이스(102)에 의해 수신될 수 있다. 하나 이상의 비디오 콘텐츠는 통신 네트워크(106)를 통해 서버(104)로부터 수신될 수 있다. 실시예에 따르면, 하나 이상의 비디오 콘텐츠가 유선 또는 무선 통신 매체를 통해, 외부 저장 디바이스와 같은 외부 디바이스로부터 수신될 수 있다. 단계 406에서, 수신된 하나 이상의 비디오 콘텐츠의 적어도 제1 비디오 콘텐츠가 비디오-처리 디바이스(102)에서 제공될 수 있다. 제1 비디오 콘텐츠는 애플리케이션 인터페이스(118)를 통해 제공될 수 있다. 실시예에 따르면, 제1 비디오가 제1 사용자(112)와 같은 사용자로부터 수신된 입력에 기초하여 제공될 수 있다. 대안적으로, 비디오-처리 디바이스(102)는 사용자 정의된 순서로, 하나 이상의 비디오 콘텐츠를 처리하기 위해 하나 이상의 사전 구성된 설정들을 포함할 수 있다.
단계 408에서, 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 볼 수 있는 제1 사용자(112)의 하나 이상의 영상 또는 비디오가 영상-캡처링 유닛(108)의 사용에 의해 캡처될 수 있다. 단계 410에서, 제1 사용자(112)와 연관된 하나 이상의 웨어러블 디바이스(120)로부터의 센서 데이터가 비디오-처리 디바이스(102)에 의해 수신될 수 있다.
단계 412에서, 제1 비디오 콘텐츠를 보는 제1 사용자(112)의 감정들이 비디오-처리 디바이스(102)에 의해 계속 모니터될 수 있다. 감정들은 제1 사용자(112)의 캡처된 하나 이상의 영상 또는 비디오 및/또는 수신된 센서 데이터에 기초하여 모니터될 수 있다. 단계 414에서, 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 제1 사용자(112)의 감정 상태의 변화가 검출될 수 있다. 감정 상태의 변화는 제1 사용자(112)의 복수의 감정 상태(110) 중에서, 보통과 같은 제1 감정 상태로부터 기쁨과 같은 제2 감정 상태로의 전이에 대응할 수 있다.
단계 416에서, 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 동안 제1 사용자(112)의 변화된 감정 상태와 연관된 레벨이 결정될 수 있다. 결정된 레벨은 검출된 변화된 감정 상태의 정도에 대응할 수 있다. 단계 418에서, 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹이 기쁨 감정 상태와 같은 변화된 감정 상태와 연관될 수 있다. 이 연관은 제1 비디오 콘텐츠가 비디오-처리 디바이스(102) 상에서 보여질 때 하나 이상의 시간 순간에 제1 사용자(112)의 감정 상태의 검출된 변화(또는 전이) 동안 발생할 수 있다.
단계 420에서, 제2 감정 상태와 같은 변화된 감정 상태와 연관된 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹이 선택될 수 있다. 영상 프레임들의 하나 이상의 그룹의 선택의 예가 도 3에 도시된다. 단계 422에서, 복수의 감정 상태(110) 중 적어도 하나와 연관되지 않을 수 있는 제1 비디오 콘텐츠의 영상 프레임들이 필터링될 수 있다. 보통의 감정 상태와 연관된 영상 프레임들이 또한 필터링 제거될 수 있다.
단계 424에서, 변화된 감정 상태와 연관된 영상 프레임들의 선택된 하나 이상의 그룹이 합쳐질 수 있다. 영상 프레임들의 선택된 하나 이상의 그룹이 영상 프레임들의 선택된 하나 이상의 그룹의 재생 시간에 따라 미리 결정된 순서로 합쳐질 수 있다. 단계 426에서, 변화된 감정 상태와 연관된 영상 프레임들의 선택된 하나 이상의 그룹을 포함할 수 있는 제2 비디오 콘텐츠가 발생될 수 있다. 발생된 제2 비디오 콘텐츠는 제1 사용자(112)의 감정 상태들의 검출된 변화에 기초하여 제1 비디오 콘텐츠로부터 동적으로 발생된, 기쁨 또는 슬픔 감정 하이라이트들과 같은 감정 하이라이트들에 대응할 수 있다. 제어는 종료 단계 428로 넘어갈 수 있다. 대안적으로, 실시예에 따르면, 복수의 비디오 콘텐츠 아이템이 제1 사용자(112)의 복수의 상이한 감정 상태의 검출에 기초하여 제1 비디오 콘텐츠로부터 동시에 발생될 수 있다.
본 개시내용의 실시예에 따르면, 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템이 개시된다. 비디오-처리 디바이스(102)(도 1)와 같은 시스템은 (이후 비디오 프로세서(202) 및/또는 감정 분석기(208)(도 2))라고 하는 하나 이상의 회로를 포함할 수 있다. 감정 분석기(208)는 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 제1 사용자(112)의 감정 상태의 변화를 검출하도록 구성될 수 있다. 비디오 프로세서(202)는 하나 이상의 시간 순간에 제1 사용자(112)의 감정 상태의 검출된 변화 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 변화된 감정 상태와 연관시키도록 구성될 수 있다. 비디오 프로세서(202)는 제1 사용자의 감정 상태의 검출된 변화에 기초하여, 제1 비디오 콘텐츠의 영상 프레임들의 연관된 하나 이상의 그룹의 사용에 의해 제2 비디오 콘텐츠를 발생하도록 더 구성될 수 있다.
본 개시내용의 다양한 실시예들은 비일시적 컴퓨터 판독 가능 매체 및/또는 저장 매체, 및/또는 그에 머신 코드가 저장되어 있는 비일시적 머신 판독 가능 매체 및/또는 저장 매체, 및/또는 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하기 위해 머신 및/또는 컴퓨터에 의해 실행 가능한 명령어들의 세트를 제공할 수 있다. 비디오-처리 디바이스(102) 내의 명령어들의 세트는 머신 및/또는 컴퓨터로 하여금 비디오-처리 디바이스(102) 상에서 제1 비디오 콘텐츠를 보는 제1 사용자(112)의 감정 상태의 변화의 검출을 포함하는 단계들을 수행하게 할 수 있다. 하나 이상의 시간 순간에 제1 사용자(112)의 감정 상태의 검출된 변화 동안 보여진 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹이 변화된 감정 상태와 연관될 수 있다. 제2 비디오 콘텐츠는 제1 사용자의 감정 상태의 검출된 변화에 기초하여, 제1 비디오 콘텐츠의 영상 프레임들의 연관된 하나 이상의 그룹의 사용에 의해 발생될 수 있다.
본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합에서 실현될 수 있다. 본 개시내용은 적어도 하나의 컴퓨터 시스템에서 중앙 집중 방식으로, 또는 상이한 요소들이 여러 상호접속된 컴퓨터 시스템들에 걸쳐 분포될 수 있는 분배 방식으로 실현될 수 있다. 본원에 설명된 방법들을 수행하도록 적응된 컴퓨터 시스템 또는 다른 장치가 맞추어질 수 있다. 하드웨어와 소프트웨어의 조합은 로드되고 실행될 때, 그것이 본원에 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 부분을 포함하는 하드웨어에서 실현될 수 있다.
본 개시내용은 또한 본원에 설명된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고, 컴퓨터 시스템에서 로드되고 실행될 때, 이들 방법을 수행할 수 있는 컴퓨터 프로그램 제품 내에 내장될 수 있다. 본 맥락에서 컴퓨터 프로그램은 정보 처리 능력을 갖는 시스템으로 하여금 특정한 기능을 직접, 또는 a) 또 하나의 언어, 코드 또는 표시로의 변환; b) 상이한 재료 형태에서의 재생 중 어느 하나 또는 둘 다 이후에 수행하게 하도록 의도된 명령어들의 세트의 임의의 표현을, 임의의 언어, 코드 또는 표시로 나타낸다.
본 개시내용이 소정의 실시예들을 참조하여 설명되었지만, 본 개시내용의 범위에서 벗어나지 않고서 다양한 변화들이 이루어질 수 있고 등가물들이 대체될 수 있다는 것을 본 기술 분야의 통상의 기술자들은 이해할 것이다. 또한, 많은 수정들이 그것의 범위에서 벗어나지 않고서 본 개시내용의 교시들에 특정한 상황 또는 재료를 적응시키도록 이루어질 수 있다. 그러므로, 본 개시내용은 개시된 특정한 실시예로 제한되지 않고, 본 개시내용은 첨부된 청구범위의 범위 내에 드는 모든 실시예들을 포함할 것이라는 것이 의도된다.

Claims (20)

  1. 비디오 콘텐츠를 처리하는 시스템으로서, 상기 시스템은
    비디오-처리 디바이스 내의 하나 이상의 회로를 포함하고, 상기 하나 이상의 회로는
    상기 비디오-처리 디바이스 상에서 제1 비디오 콘텐츠를 보는 제1 사용자의 감정 상태의 변화를 검출하고;
    상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화 동안 보여진 상기 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 상기 변화된 감정 상태와 연관시키고;
    상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여, 상기 제1 비디오 콘텐츠의 영상 프레임들의 상기 연관된 하나 이상의 그룹을 사용하여 제2 비디오 콘텐츠를 발생하고;
    상기 비디오-처리 디바이스 상에서 상기 제1 비디오 콘텐츠를 보는 제2 사용자의 감정 상태의 변화를 검출
    하도록 구성되고,
    상기 제2 사용자의 상기 감정 상태의 상기 변화는 상기 제1 사용자의 상기 감정 상태의 상기 변화의 상기 검출과 동시에 검출되는 시스템.
  2. 제1항에 있어서, 상기 감정 상태는 보통(neutral), 기쁨, 슬픔, 분노, 경멸, 두려움, 놀라움, 혼란스러움, 및 다정함(tender) 중 적어도 하나에 대응하는 시스템.
  3. 제1항에 있어서, 상기 하나 이상의 회로는 상기 연관을 위해 상기 비디오-처리 디바이스 상에서 상기 제1 비디오 콘텐츠를 보는 동안 상기 제1 사용자의 상기 변화된 감정 상태와 연관된 레벨을 결정하도록 구성되는 시스템.
  4. 제1항에 있어서, 상기 하나 이상의 회로는 상기 비디오-처리 디바이스에 통신 결합된 영상-캡처링 디바이스(image-capturing device)를 사용하여 캡처된 상기 제1 사용자의 하나 이상의 영상 또는 비디오 및 상기 제1 사용자와 연관된 하나 이상의 웨어러블 디바이스로부터 수신된 센서 데이터 중 하나 이상에 기초하여 상기 제1 비디오 콘텐츠를 보는 상기 제1 사용자의 복수의 감정 상태를 모니터링하도록 더 구성되는 시스템.
  5. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제2 비디오 콘텐츠의 상기 발생을 위해 상기 변화된 감정 상태와 연관된 상기 제1 비디오 콘텐츠의 영상 프레임들의 상기 하나 이상의 그룹을 선택하도록 더 구성되는 시스템.
  6. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제1 사용자의 복수의 상이한 감정 상태의 검출에 기초하여 상기 제1 비디오 콘텐츠로부터 복수의 비디오 콘텐츠 아이템을 동시에 발생하도록 더 구성되는 시스템.
  7. 삭제
  8. 제1항에 있어서, 상기 하나 이상의 회로는 하나 이상의 다른 시간 순간에 상기 제2 사용자의 상기 감정 상태의 상기 검출된 변화 동안 보여진 상기 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 다른 그룹을 상기 제2 사용자의 상기 변화된 감정 상태와 연관시키도록 더 구성되는 시스템.
  9. 제8항에 있어서, 상기 하나 이상의 회로는 상기 제1 사용자와 상기 제2 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여 상기 제2 비디오 콘텐츠와 제3 비디오 콘텐츠를 동시에 발생하도록 더 구성되고, 상기 제3 비디오 콘텐츠는 상기 제1 비디오 콘텐츠의 영상 프레임들의 상기 연관된 하나 이상의 다른 그룹을 사용하여 발생되는 시스템.
  10. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여 상기 제1 비디오 콘텐츠를 자동으로 편집하도록 구성되는 시스템.
  11. 제1항에 있어서, 상기 발생된 제2 비디오 콘텐츠는 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여 상기 제1 비디오 콘텐츠로부터 자동으로 발생된 감정 비디오 하이라이트들(emotional video highlights)에 대응하는 시스템.
  12. 제1항에 있어서, 상기 하나 이상의 회로는 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여 단일 비디오 콘텐츠를 발생하기 위해 상기 비디오-처리 디바이스 상에서 보여진 복수의 비디오 콘텐츠 아이템 각각으로부터 선택된 영상 프레임들의 하나 이상의 그룹을 조합하도록 구성되는 시스템.
  13. 비디오 콘텐츠를 처리하는 방법으로서, 상기 방법은
    비디오-처리 디바이스 내의 하나 이상의 회로에 의해, 상기 비디오-처리 디바이스 상에서 제1 비디오 콘텐츠를 보는 제1 사용자의 감정 상태의 변화를 검출하는 단계;
    상기 하나 이상의 회로에 의해, 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화 동안 보여진 상기 제1 비디오 콘텐츠의 영상 프레임들의 하나 이상의 그룹을 상기 변화된 감정 상태와 연관시키는 단계;
    상기 하나 이상의 회로에 의해, 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여, 상기 제1 비디오 콘텐츠의 영상 프레임들의 상기 연관된 하나 이상의 그룹을 사용하여 제2 비디오 콘텐츠를 발생하는 단계; 및
    상기 비디오-처리 디바이스 상에서 상기 제1 비디오 콘텐츠를 보는 제2 사용자의 감정 상태의 변화를 검출하는 단계
    를 포함하고,
    상기 제2 사용자의 상기 감정 상태의 상기 변화는 상기 제1 사용자의 상기 감정 상태의 상기 변화의 상기 검출과 동시에 검출되는 방법.
  14. 제13항에 있어서, 상기 감정 상태는 보통, 기쁨, 슬픔, 분노, 경멸, 두려움, 놀라움, 혼란스러움, 및 다정함 중 적어도 하나에 대응하는 방법.
  15. 제13항에 있어서, 상기 하나 이상의 회로에 의해, 상기 연관을 위해 상기 비디오-처리 디바이스 상에서 상기 제1 비디오 콘텐츠를 보는 동안 상기 제1 사용자의 상기 변화된 감정 상태와 연관된 레벨을 결정하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서, 상기 하나 이상의 회로에 의해, 상기 비디오-처리 디바이스에 통신 결합된 영상-캡처링 디바이스를 사용하여 캡처된 상기 제1 사용자의 하나 이상의 영상 또는 비디오 및 상기 제1 사용자와 연관된 하나 이상의 웨어러블 디바이스로부터 수신된 센서 데이터 중 하나 이상에 기초하여 상기 제1 비디오 콘텐츠를 보는 상기 제1 사용자의 복수의 감정 상태를 모니터링하는 단계를 더 포함하는 방법.
  17. 제13항에 있어서, 상기 하나 이상의 회로에 의해, 상기 제2 비디오 콘텐츠의 상기 발생을 위해 상기 변화된 감정 상태와 연관된 상기 제1 비디오 콘텐츠의 영상 프레임들의 상기 하나 이상의 그룹을 선택하는 단계를 더 포함하는 방법.
  18. 제13항에 있어서, 상기 하나 이상의 회로에 의해, 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화 및 상기 연관에 기초하여 상기 제1 비디오 콘텐츠를 자동으로 편집하는 단계를 더 포함하는 방법.
  19. 제13항에 있어서, 상기 발생된 제2 비디오 콘텐츠는 상기 제1 사용자의 상기 감정 상태의 상기 검출된 변화에 기초하여 상기 제1 비디오 콘텐츠로부터 자동으로 발생된 감정 비디오 하이라이트들에 대응하는 방법.
  20. 제13항에 있어서, 상기 하나 이상의 회로에 의해, 상기 제1 사용자의 복수의 상이한 감정 상태의 검출에 기초하여 상기 제1 비디오 콘텐츠로부터 복수의 비디오 콘텐츠 아이템을 동시에 발생하는 단계를 더 포함하는 방법.
KR1020170112539A 2016-09-09 2017-09-04 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법 KR101944630B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/260,637 2016-09-09
US15/260,637 US10529379B2 (en) 2016-09-09 2016-09-09 System and method for processing video content based on emotional state detection

Publications (2)

Publication Number Publication Date
KR20180028931A KR20180028931A (ko) 2018-03-19
KR101944630B1 true KR101944630B1 (ko) 2019-01-31

Family

ID=59968913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170112539A KR101944630B1 (ko) 2016-09-09 2017-09-04 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US10529379B2 (ko)
EP (1) EP3293900A1 (ko)
JP (1) JP2018042240A (ko)
KR (1) KR101944630B1 (ko)
CN (1) CN107809673B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567844B2 (en) * 2017-02-24 2020-02-18 Facebook, Inc. Camera with reaction integration
US10636449B2 (en) * 2017-11-06 2020-04-28 International Business Machines Corporation Dynamic generation of videos based on emotion and sentiment recognition
US11249945B2 (en) * 2017-12-14 2022-02-15 International Business Machines Corporation Cognitive data descriptors
US10237615B1 (en) * 2018-02-15 2019-03-19 Teatime Games, Inc. Generating highlight videos in an online game from user expressions
US10622007B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10621983B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10566010B2 (en) * 2018-04-20 2020-02-18 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
DE102018210973A1 (de) * 2018-07-04 2020-01-09 Siemens Healthcare Gmbh Verfahren zu einem Überwachen eines Patienten während einer medizinischen Bildgebungsuntersuchung, insbesondere einer Magnetresonanzuntersuchung
CN109005464A (zh) * 2018-08-28 2018-12-14 深圳市有钱科技有限公司 视频播放方法、存储介质及计算机设备
CN109819325B (zh) * 2019-01-11 2021-08-20 平安科技（深圳）有限公司 热点视频标注处理方法、装置、计算机设备及存储介质
KR102168968B1 (ko) * 2019-01-28 2020-10-22 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR102335968B1 (ko) * 2019-05-31 2021-12-06 이화여자대학교 산학협력단 디지털 콘텐츠를 소비하는 소비자의 상태 진단 방법 및 장치
CN111586493A (zh) * 2020-06-01 2020-08-25 联想(北京)有限公司 一种多媒体文件的播放方法及装置
KR20220006926A (ko) 2020-07-09 2022-01-18 삼성전자주식회사 요약 비디오를 생성하는 디바이스 및 방법
CN114205534A (zh) * 2020-09-02 2022-03-18 华为技术有限公司 一种视频编辑方法及设备
WO2022059818A1 (ko) * 2020-09-18 2022-03-24 주식회사 사이 동영상 검색에서 크라우드 메타 정보들의 서사 구성 방법
JP2022054821A (ja) 2020-09-28 2022-04-07 マツダ株式会社 動画編集装置
US11895368B2 (en) * 2022-03-04 2024-02-06 Humane, Inc. Generating, storing, and presenting content based on a memory metric
CN115761569B (zh) * 2022-10-20 2023-07-04 之江实验室 一种基于情感分类的视频情感定位方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070186241A1 (en) * 2003-08-06 2007-08-09 Matsushita Electric Industrial Co., Ltd. Program recommendation apparatus
JP2005128884A (ja) 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
EP1582965A1 (en) 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US8593672B2 (en) * 2009-05-01 2013-11-26 Konica Minolta Business Technologies, Inc. Information equipment apparatus
US8326002B2 (en) 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
US8640021B2 (en) 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
JP2012169743A (ja) 2011-02-10 2012-09-06 Jvc Kenwood Corp 情報処理装置及び情報処理方法
US20120324491A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US20160241533A1 (en) * 2011-11-07 2016-08-18 Anurag Bist System and Method for Granular Tagging and Searching Multimedia Content Based on User's Reaction
US20130159228A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Dynamic user experience adaptation and services provisioning
US9032434B2 (en) 2012-10-12 2015-05-12 Google Inc. Unsupervised content replay in live video
KR20140094336A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
US9264770B2 (en) * 2013-08-30 2016-02-16 Rovi Guides, Inc. Systems and methods for generating media asset representations based on user emotional responses
JP6289107B2 (ja) 2014-01-14 2018-03-07 キヤノン株式会社 画像再生装置、その制御方法、および制御プログラム
US20150243325A1 (en) * 2014-02-24 2015-08-27 Lyve Minds, Inc. Automatic generation of compilation videos
US20150257706A1 (en) 2014-03-17 2015-09-17 Htc Corporation Portable electronic device and method for physiological measurement
KR20160065670A (ko) 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
CN105898567A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术（北京）有限公司 基于用户情绪的节目播放方法和系统
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US20180041552A1 (en) * 2016-08-02 2018-02-08 Facebook, Inc. Systems and methods for shared broadcasting

Also Published As

Publication number Publication date
EP3293900A1 (en) 2018-03-14
US10529379B2 (en) 2020-01-07
JP2018042240A (ja) 2018-03-15
US20180075876A1 (en) 2018-03-15
KR20180028931A (ko) 2018-03-19
CN107809673B (zh) 2021-08-06
CN107809673A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
KR101944630B1 (ko) 감정 상태 검출에 기초하여 비디오 콘텐츠를 처리하는 시스템 및 방법
US11049147B2 (en) System and method for providing recommendation on an electronic device based on emotional state detection
CN110084153B (zh) 用于自动共享图片的智能相机
US9413947B2 (en) Capturing images of active subjects according to activity profiles
KR102420100B1 (ko) 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US8125314B2 (en) Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
US20160225410A1 (en) Action camera content management system
US9886454B2 (en) Image processing, method and electronic device for generating a highlight content
US20130201344A1 (en) Smart camera for taking pictures automatically
CN109951595A (zh) 智能调节屏幕亮度的方法、装置、存储介质及移动终端
JP6211715B2 (ja) ビデオのブラウジング方法、その装置、プログラム及び記録媒体
CN107666581A (zh) 提供视频内容的方法和支持该方法的电子装置
CN108848313B (zh) 一种多人拍照方法、终端和存储介质
US20170047096A1 (en) Video generating system and method thereof
EP3104304B1 (en) Electronic apparatus and method of extracting still images
EP3340613A1 (en) Image processing method, image processing device, and program
KR102155521B1 (ko) 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치
CN112635055A (zh) 一种睡眠环境参数推荐方法、装置、设备及介质
CN110363782B (zh) 一种基于边缘识别算法的区域识别方法、装置及电子设备
US20210065869A1 (en) Versatile data structure for workout session templates and workout sessions
EP4262190A1 (en) Electronic apparatus and control method thereof
KR102456155B1 (ko) 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법
EP4116872A1 (en) A data processing method, system and computer program product in video production of a live event
JP6595292B2 (ja) 記録装置、記録装置の制御方法、記録システム、装着型情報処理装置、及びプログラム
CN116266418A (zh) 运动识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right