KR20140045412A - 환경 센싱에 기초한 비디오 하이라이트 식별 기법 - Google Patents

환경 센싱에 기초한 비디오 하이라이트 식별 기법 Download PDF

Info

Publication number
KR20140045412A
KR20140045412A KR1020137033342A KR20137033342A KR20140045412A KR 20140045412 A KR20140045412 A KR 20140045412A KR 1020137033342 A KR1020137033342 A KR 1020137033342A KR 20137033342 A KR20137033342 A KR 20137033342A KR 20140045412 A KR20140045412 A KR 20140045412A
Authority
KR
South Korea
Prior art keywords
video
video item
viewer
emotional response
item
Prior art date
Application number
KR1020137033342A
Other languages
English (en)
Inventor
스티븐 바티체
도그 버거
데이비드 로저스 3세 트레드웰
조셉 에이치 3세 메튜스
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140045412A publication Critical patent/KR20140045412A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Abstract

실시예들은 장편 비디오 콘텐트로부터 추출한 비디오 콘텐트의 부분들을 식별하고 디스플레이하는 기법에 관한 것이다. 하나의 예시적인 실시예에서, 비디오 아이템의 부분은 비디오 아이템에 대해 비디오 아이템에 대해 복수의 시청자들 각각의 감정 반응 프로파일(emotional response profile)을 수신하는 단계에 의해 제공되는데, 각 감정 반응 프로파일은 특정 시청자가 비디오 아이템을 시청하면서 나타낸 비디오 아이템에 대한 특정 시청자의 감정 반응의 시간적 상관관계를 포함한다. 방법은 또한 비디오 아이템의 제2 부분보다 더 감정적으로 자극적이라고 판단되는 비디오 아이템의 제1 부분을 감정 반응 프로파일을 사용하여 선택하는 단계와, 비디오 아이템의 제1 부분에 대한 요청에 응답하여 다른 컴퓨팅 장치로 비디오 아이템의 제2 부분은 전송하지 않으면서 비디오 아이템의 상기 제1 부분은 전송하는 단계를 더 포함한다.

Description

환경 센싱에 기초한 비디오 하이라이트 식별 기법{VIDEO HIGHLIGHT IDENTIFICATION BASED ON ENVIRONMENTAL SENSING}
재생을 위한 비디오 콘텐트의 흥미로운 부분, 예컨대 하이라이트의 식별은 종종 콘텐트 제작자에 의해 수동으로 수행된다. 따라서, 하이라이트로 선택된 부분은 광범위한 시청자의 흥미에 관해 프로듀서가 추측한 것의 대표적인 것일 수는 있으나, 임의의 특정 개인 또는 청중의 하위 그룹에 대한 것은 아니다.
비디오 시청 환경 센서로부터의 데이터에 기초하여 비디오 아이템의 일부를 선택하는 것과 관련된 다양한 실시예들이 본 명세서에서 개시된다. 예를 들어, 일 실시예는 복수의 시청자들 각각에 대한 감정 반응 프로파일(emotional response profile)을 비디오 아이템에 대해 수신하는 단계로서, 각 감정 반응 프로파일은 특정 시청자에 의해 시청될 때의 비디오 아이템에 대한 특정 시청자의 감정 반응의 시간적 상관관계를 포함하는 단계와, 그 후 비디오 아이템의 제2 부분보다 더 감정적으로 자극적이라고 판단되는 비디오 아이템의 제1 부분을 감정 반응 프로파일을 사용하여 선택하는 단계를 포함하는 방법을 제공한다. 선택된 제1 부분은 비디오 아이템의 제1 부분에 대한 요청에 응답하여 다른 컴퓨팅 장치로 전송되지만, 비디오 아이템의 제2 부분은 전송되지 않는다.
본 요약부는 이하 상세한 설명에서 자세히 설명될 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공되는 것이다. 본 요약부는 청구된 대상의 주요 특징이나 필수적 특징을 식별하도록 의도된 것이 아니며, 청구된 대상의 범위를 한정하도록 사용되는 것도 아니다. 또한, 청구된 대상은 본 명세서에 언급된 난점(disadvantage) 중 임의의 것 또는 전부를 해결하는 구현예로 한정되는 것도 아니다.
도 1은 본 발명의 실시예에 따른 비디오 시청 환경 내에서 비디오 아이템을 바라보는 시청자를 개략적으로 도시한다.
도 2a 및 2b는 본 발명의 실시예에 따라 장편 비디오 콘텐트 아이템으로부터 선택된 일부의 비디오 콘텐트를 요청을 보낸 컴퓨팅 장치로 제공하는 방법을 묘사하는 흐름도를 도시한다.
도 3은 시청자 감정 반응 프로파일, 시청 흥미 프로파일, 및 집계된 시청자 감정 반응 프로파일의 실시예를 개략적으로 도시한다.
도 4는 본 발명의 실시예에 따라 비디오 아이템의 감정적으로 자극되는 부분을 선택하여 요청을 보낸 컴퓨팅 장치로 전송되도록 하는 예시적인 상황을 개략적으로 도시한다.
전술된 것처럼, 스포츠 프리젠테이션이나 영화와 같이 하이라이트, 예고편 또는 기타 편집된(edited) 프리젠테이션으로 사용하기 위한 비디오 콘텐트 아이템 중 일부를 선택하는 것은 인간의 편집에 관한(editorial) 노력에 의존해 왔다. 최근에는, 컴퓨터 네트워크 액세스 가능형 콘텐트를 집계해서 브라우징이 용이한 포맷이 되도록 하여 콘텐트 발견을 도와주기 위해, 스크래핑(scraping)이 사용되고 있다. 스크래핑은 웹사이트와 같은 하나 이상의 콘텐트 소스로부터 정보를 취합(harvest)하고, 그 정보를 의미론적으로(semantically) 정렬하며, 사용자의 흥미에 맞추어진 정보에 그 사용자가 빠르게 액세스할 수 있도록 정렬된 정보를 제시하는 데 프로그램을 사용하는 자동화된 접근법이다.
스크래핑은 완전한 콘텐트 아이템이 스크랩 결과 내에서 식별되는 경우에는 상당히 간단할 수 있다. 예를 들어, 정지 영상, 비디오 영상, 오디오 파일 등은 콘텐트에 일률적으로 적용되는 제목, 아티스트, 키워드, 및 기타 메타데이타에 의해 전체로서 식별될 수 있다. 그러나, 내부 비디오 클립(intra-video clip)(즉, 더 큰 비디오 콘텐트 아이템 내에서 선택되는 비디오 클립)의 식별은 어려움에 직면하게 된다. 예를 들어, 많은 콘텐트 아이템은 흥미로운 클립을 식별하여 더 큰 콘텐트 아이템으로부터 별도로 끌어내도록 하는 내부 미디어 메타데이터(intra-media metadata)를 갖지 않는다. 다른 경우, 비디오 콘텐트 아이템이 분리되어 액세스될 수 있는 세그먼트의 집합(collection)으로서 저장될 수는 있다. 그러나, 이러한 세그먼트는 여전히 인간의 편집에 관한(editorial) 입력을 통해 정의될 수 있다.
따라서, 개시된 실시예들은 비디오 콘텐트의 특정 흥미에 관한 부분을 같은 비디오 콘텐트의 다른 부분과 비교하여 자동으로 식별하는 것에 관한 것으로서, 식별된 부분을 다른 부분과 분리하여 시청자에게 제시하는 것이다. 실시예들은 세그먼트 식별에 사용하기 위한 시청자 선호를 결정하도록 도와주는 영상 센서(image sensor), 깊이 센서(depth sensor), 음향 센서(acoustic sensor), 및 잠재적인 다른 센서, 예컨대 생체 센서(biometric sensor)와 같은 시청 환경 센서를 이용할 수 있다. 이러한 센서는 시스템으로 하여금 개인을 식별하고, 식별된 개인의 인간 감정 표현을 감지하며 이해하도록 해주며, 이러한 정보를 이용하여 비디오 콘텐트 아이템 중의 특별히 흥미로운 부분을 식별하도록 할 수 있다.
도 1은 비디오 아이템(도 1에서 150, 152, 및 154로 각각 도시됨)을 바라보는 사용자(도 1에서 160, 162, 및 164로 도시됨)를 개략적으로 도시하는데, 각 비디오 아이템은 본 발명의 실시예에 따른 각각의 비디오 시청 환경(100) 내에서 각각의 디스플레이(102) 상에 (디스플레이 출력(112)을 통한 출력으로서) 나타난다. 일 실시예에서, 미디어 컴퓨팅 장치(104)에 (입력(111)을 통해) 연결된 비디오 시청 환경 센서 시스템(106)은 센서 데이터를 미디어 컴퓨팅 장치(104)로 제공하여 미디어 컴퓨팅 장치(104)가 비디오 시청 환경(100) 내의 시청자 감정 반응을 감지하도록 해준다. 다양한 실시예에서, 센서 시스템(106)은 미디어 컴퓨팅 장치(104)의 주변적 또는 빌트인 컴포넌트로서 구현될 수 있다는 것을 이해할 수 있을 것이다.
결국, 비디오 아이템에 대한 시청자의 감정 반응 프로파일은 네트워크(110)를 통해 서버 컴퓨팅 장치(130)로 전송되는데, 각각의 비디오 아이템마다 복수의 시청자로부터의 감정 반응은 그 비디오 아이템에 대한 집계된 감정 반응 프로파일로 합성된다. 그 후, 그러한 비디오 아이템 중 하나로부터 취득되는 흥미롭거나 감정적으로 자극되는 비디오 클립을 구하는 요청을 보낸 시청자는 동일한 아이템의 다른 부분에 비해 더 감정적으로 자극된다고 판단된 비디오 아이템 부분의 리스트를 수신할 수 있다. 그 리스트로부터, 요청을 보낸 시청자는 시청하려는 그러한 비디오 아이템(들)의 하나 이상의 부분을 개별적으로 또는 편집본으로서 요청할 수 있다. 요청을 수신하면, 서버 컴퓨팅 장치는 그러한 비디오 아이템(들)의 비교적 덜 자극적 및/또는 덜 흥미로운 부분은 전송하지 않으면서 요청된 부분은 요청을 보낸 컴퓨팅 장치로 전송한다. 따라서, 요청을 보낸 시청자는 요청을 보낸 시청자가 흥미롭고 감정적으로 자극된다고 여길 것 같은 비디오 아이템의 세그먼트를 제공받는다. 마찬가지로, 이러한 분석은 상이한 비디오 콘텐트 아이템으로부터 취득한 잠재적으로 흥미로운 비디오 클립의 리스트를 보여주기 위해 복수의 비디오 아이템에 대해 수행될 수 있다. 이는 예컨대, 콘텐트 발견을 도와준다.
비디오 시청 환경 센서 시스템(106)은 하나 이상의 영상 센서, 깊이 센서, 및/또는 마이크나 다른 음향 센서를 포함하는 임의의 적합한 센서를 포함할 수 있는데, 이에 한정되는 것은 아니다. 이러한 센서로부터의 데이터는 시청자의 얼굴 및/또는 몸통의 자세와 제스처를 감지하기 위해 컴퓨팅 장치(104)에 의해 사용될 수 있고, 이는 미디어 컴퓨팅 장치(104)에 의해 인간 정서 표출(human affect display)과 상관관계를 갖게 될 수도 있다. 예시로서, 이러한 자세와 제스처는 미리 정의된 참조 정서 표출 데이터(reference affect display data), 예컨대 자세 및 제스처 데이터와 비교될 수 있고, 지정된 감정 상태와 연관지어질 수 있다. 본 명세서에서 사용된 "인간 정서 표출"이라는 용어는 시청중인 콘텐트에 대한 임의의 감지 가능한 인간 반응을 대표하는 것으로서, 의식적 또는 잠재의식적으로 수행되는 얼굴, 제스처, 및 목소리 표출과 같은 인간의 감정 표현 및/또는 인간의 감정적 행동의 감지 가능한 표출을 포함하되 이에 한정되지는 않는 것으로 이해될 수 있다.
미디어 컴퓨팅 장치(104)는 센서 시스템(106)으로부터 수신된 데이터를 처리하여 시청자에 의해 시청되는 비디오 아이템과 그 비디오 아이템에 대한 각 시청자의 감정 반응 사이의 시간적 관계를 생성한다. 이하 더욱 자세히 설명되는 바와 같이, 이러한 관계는 특정 비디오 아이템에 대한 시청자의 감정 반응 프로파일로서 기록될 수 있고, 시청자의 비디오 흥미를 목록화하는(cataloging) 시청 흥미 프로파일 내에 포함될 수 있다. 이것은 요청을 보낸 시청자에 대한 시청 흥미 프로파일이 나중에 검색되어(retrieved) 요청을 보낸 시청자가 흥미를 가질 수 있는 하나 이상의 비디오 아이템의 일부를 선택하는 데 사용될 수 있도록 할 수 있다.
더욱 구체적인 예시로서, 시청 환경 센서 시스템(106)으로부터 수신된 영상 데이터는 시청자의 인간 감정적 행동의 의식적 표출, 예컨대 시청자(160)가 울거나 얼굴을 가리는 영상과 같은 것을 캡처할 수 있다. 이에 응답하여, 그 비디오 아이템에 대한 시청자의 감정 반응 프로파일은 시청자가 그 아이템 당시의 시간에 겁을 먹고 있었다는 것을 나타낼 수 있다. 영상 데이터는 인간의 감정적 상태의 잠재의식적 표출도 포함할 수 있다. 이러한 상황에서, 영상 데이터는 사용자가 비디오 아이템 당시의 특정 시간에 디스플레이로부터 떨어진 곳을 보고 있었다는 것을 보여줄 수 있다. 이에 응답하여, 그 비디오 아이템에 대한 시청자의 감정 반응 프로파일은 그녀가 그 당시 지루해 했거나 주의가 산만했었다는 것을 나타낼 수 있다. 안구 추적(eye-tracking), 얼굴 표정 특성화(facial posture characterization) 및 기타 적합한 기법이 비디오 아이템(150)에 대한 시청자의 감정 자극과 참여(engagement)의 정도를 측정하는 데 이용될 수도 있다.
일부 실시예에서, 영상 센서는 인체 생리적 조건을 진단하는 스펙트럼 영역 내의 빛을 수집할 수 있다. 예를 들어, 인체 내의 혈중 산소 레벨 및/또는 심장박동수 레벨의 근사치를 계산하기 위해 적외선이 사용될 수 있다. 결국, 이러한 레벨들은 사람의 감정적 자극을 추정하는 데 사용될 수 있다.
또한, 일부 실시예에서, 미디어 컴퓨팅 장치(104)로 입력을 제공하기 위해 시청 환경 센서 시스템(106)이 아닌 다른 장치에 있는 센서가 사용될 수 있다. 예를 들어, 일부 실시예에서, 비디오 시청 환경(100) 내의 시청자(160)가 갖고 있는 모바일 컴퓨팅 장치(140) (예컨대, 모바일 전화, 랩톱, 태블릿 컴퓨터) 내에 포함되는 가속도계 및/또는 다른 센서가 그 시청자에 대한 제스처 기반 또는 기타 감정적인 표출을 감지할 수 있다.
도 2a 및 2b는 장편 비디오 콘텐트로부터 선택된 비디오 콘텐트의 잠재적으로 흥미로운 부분을 요청을 보낸 컴퓨팅 장치로 제공하기 위한 방법(200)의 실시예에 관한 흐름도를 도시한다. 묘사된 실시예는 도 1, 2a 및 2b에 참조된 하드웨어의 실시예를 포함하는 임의의 적합한 하드웨어를 통해 구현될 수 있으나, 이에 한정되는 것은 아님을 이해할 수 있을 것이다.
도 2a에 도시된 것처럼, 미디어 컴퓨팅 장치(104)는 본 명세서에서 개시되는 다양한 작업을 구현하기 위하여 로직 서브시스템(116)에 의해 실행 가능한 명령어를 보유할 수 있는 데이터 보유 서브시스템(114)을 포함한다. 또한, 미디어 컴퓨팅 장치(104)는 로직 서브시스템(116)에 의해 실행 가능한 명령어를 저장하도록 구성되는 분리가능형 컴퓨터 판독가능 저장 매체(118)를 포함하거나 이를 수락하도록 구성될 수도 있다. 서버 컴퓨팅 장치(130)는 데이터 보유 서브시스템(134), 로직 서브시스템(136), 및 분리가능형 컴퓨터 저장 매체(138)를 포함하는 것으로 묘사된다.
일부 실시예에서, 시청자의 모바일 장치 상의 센서로부터의 센서 데이터는 미디어 컴퓨팅 장치로 제공될 수 있다. 또한, 바라보고 있는 비디오 아이템과 관련된 부가 콘텐트가 시청자의 모바일 장치로 제공될 수도 있다. 따라서, 일부 실시예에서, 모바일 컴퓨팅 장치(140)는 미디어 컴퓨팅 장치(104) 및/또는 서버 컴퓨팅 장치(130)에 등록될 수 있다. 적합한 모바일 컴퓨팅 장치는 모바일 전화 및 휴대용 개인 컴퓨팅 장치(예컨대, 랩톱, 태블릿, 및 기타 컴퓨팅 장치)를 포함하나, 이에 한정되는 것은 아니다.
도 2에 도시된 것처럼, 모바일 컴퓨팅 장치(140)는 데이터 보유 서브시스템(144), 로직 서브시스템(146), 및 컴퓨터 저장 매체(148)를 포함한다. 본 명세서에서 참조되는 이러한 데이터 보유 서브시스템, 로직 서브시스템, 및 컴퓨터 저장 매체의 측면들은 이하 더욱 자세히 설명될 것이다.
도면부호 202에서, 방법(200)은 비디오 시청 환경 센서, 및 잠재적으로는 모바일 컴퓨팅 장치(140)나 다른 적합한 센서 포함 장치로부터의 센서 데이터를 수집하는 단계를 포함한다. 도면부호 204에서, 방법(200)은 센서 데이터의 입력을 수신하는 미디어 컴퓨팅 장치로 센서 데이터를 전송하는 단계를 포함한다. 영상 센서 데이터, 깊이 센서 데이터, 음향 센서 데이터, 생체 센서 데이터 등을 포함하는 임의의 적합한 센서 데이터가 수집될 수 있으나, 이에 한정되는 것은 아니다.
도면부호 206에서, 방법(200)은 센서 데이터의 입력으로부터 비디오 시청 환경 내의 시청자의 신원을 결정하는 단계를 포함한다. 일부 실시예에서, 시청자의 신원은 센서 데이터에 의해 수집된 영상 데이터와 시청자의 개인 프로파일에 저장된 영상 데이터의 비교로부터 수립될 수 있다. 예를 들어, 시청자의 신원을 수립하도록 비디오 시청 환경으로부터 수집된 영상 데이터에 포함된 얼굴과 시청자의 프로파일 내에 저장된 영상 간의 얼굴 유사성 비교가 사용될 수 있다. 시청자의 신원은 음향 데이터 또는 임의의 적합한 다른 데이터로부터 결정될 수도 있다.
도면부호 208에서, 방법(200)은 시청자에 대한 감정 반응 프로파일을 생성하는 단계를 포함하는데, 감정 반응 프로파일은 비디오 시청 환경에서 디스플레이 중인 비디오 아이템에 대한 시청자의 감정 반응의 시간적 상관관계를 나타낸다. 다르게 말하면, 비디오 아이템에 대한 시청자의 감정 반응 프로파일은 그 시청자의 감정적 표현과 행동적 표출을 비디오 아이템 내에서 시간 위치의 함수로서 인덱싱한다.
도 3은 시청자 감정 반응 프로파일(304)의 실시예를 개략적으로 도시한다. 도 3에 도시된 바와 같이, 시청자 감정 반응 프로파일(304)은 하나 이상의 비디오 시청 환경 센서로부터 수신된 센서 정보를 사용하여 하나 이상의 미디어 컴퓨팅 장치(104) 및 서버 컴퓨팅 장치(130) 상에서 실행되는 시맨틱 마이닝 모듈(302)에 의해 생성된다. 센서로부터의 데이터 및 비디오 아이템 정보(303)(예컨대, 감정 반응이 일어난 비디오 아이템 내에서 감정 반응 데이터가 수집되었을 때 시청자가 바라보는 특정 비디오 아이템을 식별하는 메타데이터)를 사용하여, 시맨틱 마이닝 모듈(302)은 시청자의 감정 반응을 비디오 아이템 내의 시간 위치의 함수로서 캡처하는 시청자 감정 반응 프로파일(304)을 생성한다.
도 3에 도시된 예시에서, 시맨틱 마이닝 모듈(302)은 비디오 시청 환경 센서에 의해 감지되는 다양한 행동 및 기타 표현 데이터(예컨대, 생리적 데이터)에 감정 식별을 배정한다. 시맨틱 마이닝 모듈(302)은 비디오 아이템과 동기화된 시간 순서에 따라 예를 들어, 비디오 아이템 내에서 일어나는 다양한 이벤트, 장면, 및 액션의 시간에 의해 시청자의 감정 표현을 인덱싱한다. 따라서, 도 3에 도시된 예시에서, 비디오 아이템의 시간 인덱스 1에서는 시맨틱 마이닝 모듈(302)이 생리적 데이터(예컨대, 심장박동수 데이터) 및 인간 정서 표출 데이터(예컨대, 보디랭귀지 지수)에 기초하여 시청자가 지루해 했고 주위가 산만했었다는 것을 기록한다. 이후의 시간 인덱스 2에서는, 시청자 감정 반응 프로파일(304)이 시청자가 행복했고 비디오 아이템에 흥미를 가졌었다는 것을 나타내는 반면, 시간 인덱스 3에서는 시청자가 겁을 먹고 있기는 했지만 비디오 아이템에 몰입하여 집중하고 있었다는 것을 나타낸다.
도 3은 단일 변수의 플롯으로 도시된 비한정적이고 예시적인 시청자 감정 반응 프로파일(306)의 그래픽 표현을 보여준다. 시청자 감정 반응 프로파일(306)은 단일 변수의 플롯(예컨대 감정 상태)으로서 시간의 함수로 도시되었으나, 감정 반응 프로파일이 임의의 적합한 양을 나타내는 임의의 적합한 개수의 변수를 포함할 수도 있음이 이해될 것이다.
일부 실시예에서, 시맨틱 마이닝 모듈(302)은 비디오 아이템에 대한 시청자의 감정 반응과 시청자의 일반적인 기질(temper) 사이를 구별하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 시맨틱 마이닝 모듈(302)은 시청자의 주의가 디스플레이 장치에 집중되지 않았을 때 감지되는 인간 정서 표출을 무시하거나, 사용자의 주의 집중 상태에 관한 정보를 이러한 상황에서 기록할 수 있다. 따라서, 예시적 상황으로서, 만약 시청자가 비디오 시청 환경 외부에서 비롯된 시끄러운 소음 때문에 눈에 띄게 짜증을 내면, 시맨틱 마이닝 모듈(302)은 감지된 짜증을 비디오 아이템의 탓으로 돌리지 않도록 구성될 수도 있고, 비디오 아이템에 대한 시청자의 감정 반응 프로파일 내의 시간적 위치에 짜증을 기록하지 않도록 구성될 수도 있다. 비디오 시청 환경 센서로서 영상 센서가 포함되는 실시예에서는, 시청자의 주의가 디스플레이 장치 및/또는 비디오 아이템 상에 집중되는 정도를 결정하도록 적합한 안구 추적 및/또는 얼굴 위치 추적 기법이 이용될 수 있다.
비디오 아이템에 대한 시청자의 감정 반응 프로파일(304)이 분석되어서 시청자에게 긍정적이거나 부정적인 반응을 유발하는 장면(scene)/대상(object)/발생(occurrence)의 유형을 결정할 할 수도 있다. 예를 들어, 도 3에 도시된 예시에서, 장면 묘사를 포함하는 비디오 아이템 정보는 센서 데이터 및 시청자의 감정 반응과 상관관계를 가지게 된다. 이러한 분석의 결과는 그 후 시청 흥미 프로파일(308)에서 수집될 수 있다. 시청 흥미 프로파일(308)은 과거의 미디어 경험에 대한 시청자의 감정 반응으로부터 판단되는, 비디오 미디어에 대한 시청자의 호불호를 목록화한다. 시청 흥미 프로파일은 복수의 감정 반응 프로파일로부터 생성되는데, 각각의 감정 반응 프로파일은 시청자가 이전에 봤던 비디오 아이템에 대한 시청자의 감정 반응과 시간적으로 상관관계를 갖는다. 다르게 말하면, 특정 비디오 아이템에 대한 시청자의 감정 반응 프로파일은 시청자의 감정적 표현 및 행동적 표출을 비디오 아이템 내에서 시간 위치의 함수로서 조직화한다. 시청자가 더 많은 비디오 아이템을 보면, 시청자의 시청 흥미 프로파일은 최근에 보게 된 비디오 아이템에 대한 시청자의 감정 반응 내에서 표현된 것으로서 시청자의 변화하는 기호 및 흥미를 반영하도록 변경될 수 있다.
시청자가 보는 다른 콘텐트 아이템에 대해 이러한 분석을 수행하고, 도 3의 도면부호 310에 도시된 것처럼, 그 후 유사한 감정 반응을 유발하는 상이한 콘텐트 아이템의 부분들 사이의 유사성을 결정함으로써, 시청자의 잠재적인 호불호가 결정될 수 있고, 그 후 장래에 시청되는 것 및/또는 프리젠테이션을 위한 비디오 클립 하이라이트에 대한 콘텐트 추천을 찾는 데 사용될 수 있다. 예를 들어, 도 3은 시청자가 배우 A와 C보다 배우 B를 선호하고, 장소 유형 A에 비해 장소 유형 B를 선호한다는 것을 도시한다. 또한, 이러한 분석은 시청 환경 내의 복수의 시청자들 각각에 대해 수행될 수도 있다.
도 2a로 돌아가서, 방법(200)은 도면부호 212에서 복수의 시청자들 각각으로부터의 감정 반응 프로파일을 비디오 아이템을 위해 수신하는 단계를 포함한다. 따라서, 같은 비디오 아이템에 대한 많은 시청자들의 감정 반응들은 도면부호 212에서 추가적인 처리를 위해 수신된다. 이들 감정 반응은 상이한 시간에 수신될 수도 있고(예를 들어, 상이한 시간에 시청되는 상이한 시청자에 의해 검색되는 비디오 아이템의 경우) 또는 동시적으로 수신될 수도 있다(예를 들어, 생방송 TV로 중계되는 이벤트의 경우). 한번 수신되면, 감정 반응은 이하 설명되는 바와 같이 실시간으로 분석되거나 및/또는 추후의 분석을 위해 저장될 수 있다.
도면부호 214에서, 방법(200)은 비디오 아이템에 대한 집계된(aggregated) 감정 반응 프로파일을 형성하기 위해 상이한 시청자로부터 복수의 감정 반응 프로파일을 집계하는 단계를 포함한다. 일부 실시예에서, 방법(200)은 도면부호 216에서 집계된 감정 반응 프로파일의 그래픽적 묘사를 제시하는 단계를 포함한다. 이러한 뷰(view)는 비디오 아이템 중의 감정적으로 자극되고 흥미로운 부분을 동일한 아이템의 다른 부분으로부터 단번에 구별하는 법을 시청자에게 제공하고, 또한 시청자가 보려는 비디오 콘텐트 부분을 선택하는 메커니즘(예컨대, 집계된 프로파일이 비디오 콘텐트 프리젠테이션을 제어하는 사용자 인터페이스 요소로서 동작함)을 제공할 수 있다.
또한, 일부 실시예에서, 이러한 뷰는 콘텐트 제공자 및/또는 광고 제공자에게 제공되어 이들 제공자가 시청자(및/또는 다양한 마켓 세그먼트 내의 시청자)와 감정적 연관성을 맺는 비디오 아이템의 부분을 발견할 수 있도록 한다. 예를 들어, 생방송 상황에서, 이러한 뷰를 수신하는 콘텐트 제공자는 시청중인 청중을 사로잡고 청중과 더 연관되는 방식에 관한 추천 사항을 방송 진행자에게 실시간으로 제공하면서, 그렇지 않으면 채널을 변경하려는 유혹을 받을지도 모르는 시청자들을 잠재적으로 잠재적으로 유지한다.
예를 들어, 도 3은 비디오 아이템에 대한 집계된 감정 반응 프로파일(314)의 실시예를 도시한다. 도 3에 도시된 바와 같이, 비디오 아이템에 대한 복수의 감정 반응 프로파일은 도면부호 312에서 시간적으로 상관관계를 가져서 집계된 감정 반응 프로파일(314)를 생성하는데, 각각의 프로파일은 상이한 시청자 및/또는 동일 시청자의 상이한 시청 세션(session)으로부터 비롯된다. 게다가, 일부 실시예에서, 집계된 감정 반응 프로파일(314)은 복수의 시청자들에 관한 변화하는 정도(degree)와 즐거움 레벨, 감정적 경험에 대해 촉발된 비디오 아이템에 관한 특성을 식별하기 위해 임의의 적합한 방식(예컨대, 비디오 아이템 장르에 의해, 배우에 의해, 감독에 의해, 작가에 의해 등)에 따라 비디오 아이템 정보와 상관관계를 가질 수도 있다. 또한, 집계된 감정 반응 프로파일은 후술되는 것처럼 소셜 네트워크 정보에 기초하여 필터링될 수도 있다.
도 2a로 돌아가서, 방법(200)은 도면부호 218에서 비디오 아이템의 흥미로운 부분에 대한 요청을 수신하는 단계를 포함하는데, 이 요청은 요청하는 시청자의 신원을 포함한다. 예를 들어, 요청을 보낸 시청자가 비디오 스크랩 사이트(video scrape site)에 도달한 경우, 요청을 보낸 시청자의 모바일 또는 미디어 컴퓨팅 장치가 켜진 경우, 또는 요청을 보낸 시청자로부터 모바일, 미디어 또는 기타 컴퓨팅 장치로의 입력에 의해 요청이 일어날 수 있다. 요청을 보낸 시청자의 신원은 앞서 언급된 시청자 신원 결정 계획을 포함하여 임의의 적합한 방식으로 수신될 수 있으나, 이에 한정되지는 않는 것으로 이해될 수 있다.
일부 실시예에서, 요청은 요청을 보낸 시청자에 의해 제공되는 검색어 및/또는 필터 조건을 포함할 수 있는데, 비디오 콘텐트의 제1 부분의 선택이 검색어 및/또는 필터 조건에 적어도 부분적으로 기초하도록 할 수 있다. 그러나, 본 발명의 범주로부터 벗어나지 않는다면, 요청을 보낸 시청자는 이러한 검색어 및/또는 필터 조건을 절차 내에서 임의의 적합한 시점에 제공할 수도 있다.
도면부호 220에서, 방법(200)은 감정 반응 프로파일을 사용하여, 비디오 아이템의 제2 부분보다 더 감정적으로 자극적이라고 판단되는 비디오 아이템의 제1 부분을 선택하는 단계를 포함한다. 따라서, 집계된 시청 청중(예컨대, 집계된 감정 반응 프로파일을 구성하는 감정 반응 프로파일의 시청자)이 청중 내에서 감정적 리액션을 더 적게 유발시킨 다른 부분에 비해 비교적 더 흥미를 가졌던 비디오 아이템의 부분을 식별하기 위해 감정 반응이 사용될 수 있다. 그 결과, 장편 비디오 미디어에 대한 크라우드소싱된(crowd-sourced) 감정 반응 정보의 결과로서 비디오 미디어의 흥미로운 부분이 선택 및/또는 요약될 수 있다.
일부 실시예에서, 크라우드소싱된 결과는 잠재적으로 긍정적으로 상관관계를 갖는 시청자(예컨대, 사회적 관계 또는 시청자들 간의 다른 링크에 의해 결정되어 시청자와 비슷한 방식으로 비디오 아이템에 대해 반응할 가능성이 있는 사람들)의 그룹에 대한 감정 반응 프로파일에 의해 가중치를 부여할 수 있다. 따라서, 일부 실시예에서, 그룹 멤버에 대한 감정 반응 프로파일은 멤버가 아닌 자들에 비해 더 높은 가중치를 가질 수 있다. 가중치가 한번 배정되면, 임의의 적합한 방식에 따라 선택이 수행될 수 있다. 가중치는 임의의 적합한 방식으로 배정될 수 있는데, 예를 들어, 0부터 1 사이의 값이 될 수 있다. 일 실시예에서는, 비디오 아이템 내의 다양한 시간 위치에서의 감정적 자극의 평균 크기(mean magnitude)를 확인하기 위해 시간의 함수로서 가중 산술 평균이 계산될 수 있다. 그 결과, 이러한 선택 결과는 가중치가 적용되지 않은 선택 결과(예컨대, 집계된 감정 반응 프로파일 전부에 가중치를 적용하지 않은 선택 결과)에 비해 시청자가 비교적 더 흥미로워할 가능성이 높아질 수 있다.
또한, 일부 실시예에서, 그룹(또는 그룹의 멤버)에 대한 가중치는 시청자 입력에 기초할 수 있다. 예를 들어, 가중치는 변화하는 사회적 연결의 레벨 및/또는 시청자의 소셜 네트워크 내에서의 친밀함에 기초할 수 있다. 다른 실시예에서, 가중치는 시청자에 의해 배정된 신뢰도 등급(confidence rating)에 기초할 수 있는데, 이것은 시청자가 흥미롭다고 여기는 비디오 아이템의 부분을 식별하는 그룹의(또는 멤버의) 기호 및/또는 능력에 대한 시청자의 신임 및 신뢰의 상대적 레벨을 반영한다. 일부 다른 실시예에서, 신뢰도 등급은 시청자 입력 없이도 인구통계학적 그룹(demographic group) 특성과 같은 특성에 따라 그룹 멤버 흥미와 시청자 흥미 사이의 양의 상관관계를 시사하면서 배정될 수 있다. 감정 반응 프로파일에 가중치를 부여하기 위한 이들 방법은 예시적인 목적으로 제시된 것일 뿐이고, 어느 방식으로 제한하도록 의도된 것이 아니라는 점이 이해될 수 있을 것이다.
도 4는 전술된 예시적 실시예들을 도시하는 3개의 예시적 선택 상황을 개략적으로 보여준다. 상황(402)에서, 비디오 아이템의 제1 부분(404)은 가중치가 적용되지 않은 집계된 감정 반응 프로파일(314)에 기초하여 선택된다. 이러한 실시예에서, 비디오 아이템의 제1 부분을 선택하는 것은 집계된 감정 반응 프로파일 내의 비디오 콘텐트 아이템의 제1 부분에 대한 감정 반응의 크기(magnitude)에 기초하여 선택하는 것을 포함한다. 도 4에서는, 비디오 아이템에 의해 집계된 시청 청중 내에서 유발된 감정 자극의 상대적 정도를 판정하기 위해 미리 선택된 경계값(406)이 사용된다. 미리 선택된 경계값(406)은 임의의 적합한 방법(예컨대, 절대적인 값 또는 콘텐트 유형 및 비디오 아이템이 요청되는 하루 중의 시간에 관해 광고주에게 바람직한 흥미 레벨에 대응하는 값과 같은 함수 값)으로 정의될 수 있다. 따라서, 제1 부분(404)은 미리 선택된 경계값(406)을 초과하는(허용 범위 내에서) 비디오 아이템의 부분에 대응한다.
상황(410)에서, 집계된 시청자 감정 반응 프로파일(314)은 요청을 보낸 시청자의 소셜 네트워크 내의 시청자들에 의해 가중치가 부여된다. 따라서, 비디오 아이템 중의 제1 부분의 선택은 요청을 보낸 시청자의 소셜 네트워크에 속하는 시청자들에 대응하는 집계된 감정 반응 프로파일의 부분집합을 사용하는 것에 기초한다. 소셜 네트워크는 시청자의 흥미가 네트워크 멤버의 총체적 흥미와 특히 상관관계를 잘 가질 수 있도록 시청자에 대한 소셜 링크를 갖춘 사람들의 임의의 적합한 모임일 수도 있는 것으로 이해될 수 있을 것이다. 이러한 네트워크는 사용자 정의(user-defined)될 수도 있고, 사용자들 사이의 공통적 특성(예컨대, 동창 관계)에 의해 자동적으로 정의될 수도 있다. 상황(410)에서는, 가중된 감정 반응 프로파일(412)이 제1 부분(404)을 식별하기 위해 미리 선택된 경계값(406)과 함께 사용된다. 집계된 감정 반응 프로파일(314)은 점선으로 도시되는데, 이는 참조를 위한 것일 뿐이다. 요청을 보낸 시청자의 소셜 네트워크에 기초하여 제1 부분을 선택하는 단계는 요청을 보낸 시청자의 인접 소셜 연결과 관련되고 흥미로운 비디오 아이템 중의 일부를 요청을 보낸 시청자에게 제공할 수 있다. 이것은 요청을 보낸 시청자에 관해 선택된 제1 부분의 개인화 정도를 향상시킬 수 있다.
상황(420)에서, 집계된 시청자 감정 반응 프로파일(314)은 요청을 보낸 시청자가 속한 인구통계학적 그룹 내의 시청자들에 의해 가중치가 부여된다. 따라서, 비디오 아이템 중의 제1 부분의 선택은 요청을 보낸 시청자의 인구통계학적 그룹에 속하는 시청자들에 대응하는 집계된 감정 반응 프로파일의 부분집합을 사용하는 것에 기초한다. 인구통계학적 그룹은 전체 사용자들 사이에서보다 그룹 멤버들 사이에서의 흥미가 잠재적으로 더 높은 상관관계를 갖도록 이끄는 임의의 적합한 특성에 기초하여 정의될 수 있는 것으로 이해될 수 있을 것이다. 가중된 감정 반응 프로파일(422)은 그 후 제1 부분(404)을 식별하기 위해 미리 선택된 경계값(406)과 함께 사용된다. 집계된 감정 반응 프로파일(314)은 점선으로 도시되는데, 이는 참조를 위한 것일 뿐이다. 요청을 보낸 시청자의 인구통계학적 그룹에 기초하여 제1 부분을 선택하는 단계는 요청을 보낸 시청자로 하여금 요청을 보낸 시청자와 유사한 기호 및 흥미를 갖는 사람들이 흥미를 갖는 비디오 아이템 중의 일부를 발견하도록 도울 수 있다.
추가적인 개인화는 검색어 및/또는 시청자 정의된 시청 흥미와 같은 시청자에 의해 제공된 필터(viewer-provided filter)를 사용함으로써 인식될 수 있는 것으로 이해될 수 있다. 예를 들어, 일부 실시예에서, 제1 부분의 선택은 요청을 보낸 시청자의 시청 흥미 프로파일(308)에도 기초할 수 있다. 일부 실시예에서, 선택은 도 4 내의 도면부호 430에 도시된 바와 같이 요청을 보낸 시청자에 의해 공급된 검색어 및/또는 필터 조건에 더 기초할 수도 있다.
반면 다른 실시예에서, 비디오 아이템의 제1 부분의 선택은 시청자에 의해 선택되는 감정 반응 프로파일의 부분집합에 기초할 수도 있다. 예를 들어, 시청자는 오로지 시청자의 소셜 네트워크의 감정 반응 프로파일에만 기초하는 비디오 아이템의 선택된 부분 및 다른 콘텐트(예컨대, 하이라이트 리스트, 시청자 리액션 비디오, 및 후술되는 리액션 하이라이트 리스트)를 수신하도록 선택할 수 있다. 이 방식으로 감정 반응 프로파일을 필터링함으로써, 가중치가 적용되거나 적용되지 않은 집계된 감정 반응 프로파일을 대신하여, 사용자 경험에서의 개인화의 상대적 레벨은 향상될 수 있다.
도 2a로 돌아가서, 방법(200)은 도면부호 222에서 비디오 아이템의 제1 부분을 비롯하여 감정 반응 프로파일에 기초한 비디오 아이템의 다른 부분도 포함하는 하이라이트 리스트를 생성하는 단계를 포함한다. 따라서, 특정 비디오 아이템에 대하여, 감정적으로 자극되는 리스트 및/또는 비디오 아이템의 흥미로운 부분이 조립된다. 일부 실시예에서, 하이라이트 리스트는 태그나 코멘트 또는 기타 시청자 공급된 주석에 의해, 그래픽 표현(예컨대, 열지도(heatmap))에 의해, 또는 비디오 아이템에 의한 시청 청중 내의 상대적인 감정 자극을 요청을 보낸 시청자와 통신하는 임의의 기타 적합한 통신 방식에 의해 감정 자극의 정도(예컨대, 집계된 감정 반응 프로파일 내에 기록된 감정 반응의 크기)에 따라 순위가 매겨질 수 있다.
선택사항으로서, 도면부호 222는 비디오 시청 환경 센서에 의해 기록되는 인간 정서 표출에 의해 표현된 비디오 콘텐트 아이템에 대한 특정 시청자의 감정적, 신체적, 및/또는 행동적 반응을 포함하는 시청자 리액션 비디오 클립을 생성하는 도면부호 224에서의 단계를 포함한다. 이러한 시청자 리액션 클립은, 기록된 시청자의 선택으로서, 비디오 아이템의 관련 부분과 함께 저장 및/또는 동시에 표시될 수 있어서, 요청을 보낸 시청자가 비디오 아이템과 그 비디오 아이템에 대한 기록된 시청자의 감정 리액션을 시청할 수 있도록 한다. 따라서, 스포츠 이벤트의 감정적으로 자극되는 부분을 찾는 요청을 보낸 시청자는 그 이벤트에 대한 다른 시청자의 리액션 클립도 볼 수 있다. 다른 실시예에서, 시청자 리액션 클립은 요청을 보낸 시청자의 소셜 네트워크 및/또는 인구통계학적 그룹 내에서의 시청자들로부터 선택될 수 있는데, 이는 요청을 보낸 시청자가 시청자 리액션 클립에서 보게 되는 다른 시청자의 리액션을 경험하는 친밀감을 더욱 개인화할 수 있도록 한다.
일부 실시예에서, 도면부호 222는 감정 반응 프로파일을 통해 선택된 비디오 콘텐트 아이템의 복수의 부분에 대한 하나 이상의 시청자 각각의 리액션을 캡처하는 비디오 클립을 포함하는 시청자 리액션 하이라이트 클립 리스트를 생성하는 도면부호 226에서의 단계를 포함한다. 이러한 시청자 리액션 하이라이트 클립 리스트는 선택된 비디오 아이템의 흥미로운 부분으로 대체로 동일하게 여겨진 그 클립에 대한 다른 시청자의 감정 리액션을 참조하여 생성될 수 있는데, 요청을 보낸 시청자가 이러한 시청자 리액션 클립을 직접 검색하는 것 및/또는 유명하거나 감정적으로 자극되는 시청자 리액션 클립을 한눈에 보는 것이 가능해진다.
도 2a의 설명은 명확성을 위해 단일 비디오 아이템의 일부를 선택하는 것에 집중되었으나, 일부 실시예에서는 복수의 부분들이 복수의 비디오 아이템 각각으로부터 선택될 수 있는 것으로 이해될 것이다. 따라서, 도 2b로 돌아가서, 방법(200)은 복수의 비디오 아이템들 중의 부분들의 리스트를 구축하는 도면부호 228에서의 단계와, 각 부분들의 리스트를 전송하는 도면부호 230에서의 단계를 포함한다. 일부 실시예에서, 비디오 아이템 및/또는 전술된 바와 같은 시청자 리액션 클립에 대한 하이라이트 리스트는 각 부분의 리스트와 함께 전송될 수 있다. 또한, 일부 실시예에서, 도면부호 230은 각 비디오 아이템에 대한 집계된 감정 반응 프로파일의 그래픽적 묘사를 리스트와 함께 전송하는 도면부호 232에서의 단계를 포함할 수 있다.
도면부호 234에서, 방법(200)은 요청된 비디오 아이템의 제1 부분에 대한 요청을 수신하는 단계를 포함한다. 요청을 수신하는 도면부호 234에서의 단계는 단일의 요청된 비디오 아이템의 제1 부분에 대한 요청을 수신하는 단계 및/또는 각각의 요청된 비디오 아이템들로부터 선택된 복수의 부분들에 대해 수신하는 단계를 포함할 수 있다.
일부 실시예에서, 요청된 비디오 아이템(들)에 대한 요청은 요청을 보낸 시청자에 의해 제공되는 검색어 및/또는 필터 조건을 포함할 수 있다. 이러한 실시예에서, 검색어 및/또는 필터 조건은 요청을 보낸 시청자가 검색어 및/또는 필터 조건에서 제공된 기준(예컨대 시청 선호도)에 따라 비디오 아이템들의 제1 부분들의 리스트를 자세히 점검(sort through)할 수 있도록 한다.
도면부호 234에서 수신된 요청에 응답하여, 방법(200)은 비디오 콘텐트 아이템의 제2 부분은 전송하지 않으면서 비디오 콘텐트 아이템의 제1 부분은 요청을 보낸 컴퓨팅 장치로 전송하는 도면부호 236에서의 단계를 포함한다. 예를 들어, 도 4에 도시된 각각의 상황은 요청을 보낸 컴퓨팅 장치로 전송될 제1 부분(404)을 도시하는데, 각각의 제1 부분(404)(전술된 바에 따른)에 비해 감정적으로 덜 자극된다고 판단되며 전송되지 않을 나머지 부분도 역시 도시한다. 일부 실시예에서는, 비디오 아이템의 감정적으로 자극되는 다른 부분도 전송될 수 있다는 것이 이해될 것이다. 예를 들어, 도 4의 상황 410 및 420 각각은 비디오 아이템의 다른 부분에 비해 감정적으로 자극된다고 판단된 추가적인 부분(405)(망상선으로 도시됨)을 포함한다. 일부 실시예에서, 이들 추가적인 부분은 요청에 응답하여 전송될 수 있다.
비디오 아이템들의 제1 부분이 하나를 초과하여 요청되는 경우의 일부 실시예에서는, 도면부호 236이 각각의 제1 부분을 단일 비디오 작품(single video composition)으로서 전송하는 단계를 포함할 수 있다. 또한, 일부 실시예에서, 도면부호 236은 시청자 리액션 비디오 클립을 전송하는 도면부호 238에서의 단계를 포함할 수 있다. 도면부호 240에서, 전송되는 비디오 아이템(들)의 부분(또는 부분들)은 디스플레이용 출력이다.
앞서 소개된 바와 같이, 일부 실시예에서, 본 명세서에서 설명된 방법 및 절차는 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템과 연계될 수 있다. 특히, 본 명세서에서 설명되는 방법 및 절차는 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 기타 컴퓨터 프로그램 제품으로 구현될 수 있다.
도 2a는 하나 이상의 전술된 방법 및 절차를 수행할 수 있는 컴퓨팅 시스템을 단순화된 형태로 도시하는데, 이에 한정되는 것은 아니다. 본 발명의 범주로부터 벗어나는 것이 아니라면 사실상 임의의 컴퓨터 아키텍처가 사용될 수 있는 것으로 이해될 것이다. 다른 실시예에서, 컴퓨팅 시스템은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치 등의 형태를 취할 수 있다.
컴퓨팅 시스템은 로직 서브시스템(예를 들어, 도 2a의 모바일 컴퓨팅 장치(104)의 로직 서브시스템(116), 도 2a의 모바일 컴퓨팅 장치(140)의 로직 서브시스템(146), 및 도 2a의 서버 컴퓨팅 장치(130)의 로직 서브시스템(136))과 데이터 보유 서브시스템(예컨대, 도 2a의 모바일 컴퓨팅 장치(104)의 데이터 보유 서브시스템(114), 도 2a의 모바일 컴퓨팅 장치(140)의 데이터 보유 서브시스템(144), 도 2a의 서버 컴퓨팅 장치(130)의 데이터 보유 서브시스템(134))를 포함한다. 컴퓨팅 시스템은 디스플레이 서브시스템, 통신 서브시스템, 및/또는 도 2a에 도시되지 않은 다른 컴포넌트를 선택적으로 포함할 수 있다. 컴퓨팅 시스템은 예를 들어, 키보드, 마우스, 게임 콘트롤러, 카메라, 마이크, 및/또는 터치 스크린 등과 같은 사용자 입력 장치를 선택적으로 포함할 수도 있다.
로직 서브시스템은 하나 이상의 명령어를 실행하도록 구성되는 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성의 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업을 수행하고, 데이터 유형을 구현하며, 하나 이상의 장치의 상태를 변형하고, 또는 그 밖의 원하는 결과에 이르도록 구현될 수 있다.
로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 이에 갈음하여, 로직 서브시스템은 하드웨어나 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어나 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글코어 또는 멀티코어일 수 있고, 그 위에서 실행되는 프로그램은 병렬 또는 분산 처리용으로 구성될 수도 있다. 로직 서브시스템은 둘 이상의 장치를 통해 분산되는 개별 컴포넌트를 선택적으로 포함할 수 있으며, 이들은 원격으로 위치되거나 협조되어 처리되도록 구성될 수 있으며 이들 양자일 수도 있다. 로직 서브시스템의 하나 이상의 측면은 가상화될 수도 있고 클라우드 컴퓨팅 환경에서 구성되는 원격으로 액세스 가능한 네트워크화된 컴퓨팅 장치에 의해 실행될 수도 있다.
데이터 보유 서브시스템은 본 명세서에서 설명된 방법 및 절차를 구현하는 로직 서브시스템에 의해 실행 가능한 명령어 및/또는 데이터를 보유하도록 구성되는 하나 이상의 물리적이고 비일시적인 장치일 수 있다. 이러한 방법 및 절차가 구현될 때, 데이터 보유 서브시스템은 변환(예컨대, 다른 데이터를 보유하도록)될 수 있다.
데이터 보유 서브시스템은 분리가능형 매체 및/또는 빌트인 장치를 포함할 수 있다. 데이터 보유 서브시스템은 무엇보다도 광학적 메모리 장치(예컨대, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 장치(예컨대, RAM, EPROM, EEPROM 등) 및/또는 자기적 메모리 장치(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브 테이프 드라이브, MRAM 등)를 포함할 수 있다. 데이터 보유 서브시스템은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차 액세스, 위치 주소 매김(location addressable), 파일 주소 매김(file addressable) 및 콘텐트 주소 매김(content addressable)의 특성 중 하나 이상을 갖춘 장치를 포함할 수 있다. 일부 실시예에서, 로직 서브시스템 및 데이터 보유 서브시스템은 주문형 집적 회로 또는 시스템 온 칩과 같은 하나 이상의 공통 장치로 통합될 수 있다.
도 2a는 또한 분리가능형 컴퓨터 저장 매체 형태(예를 들어, 도 2a의 모바일 컴퓨팅 장치(104)의 분리가능형 컴퓨터 저장 매체(118), 도 2a의 모바일 컴퓨팅 장치(140)의 분리가능형 컴퓨터 저장 매체(148), 및 도 2a의 서버 컴퓨팅 장치(130)의 분리가능형 컴퓨터 저장 매체(138))인 데이터 보유 서브시스템의 한 측면을 도시하는데, 이것은 데이터 및/또는 본 명세서에서 설명된 방법 및 절차를 구현하는 실행 가능한 명령어를 저장 및/또는 전송하는 데 사용될 수 있다. 분리가능형 컴퓨터 저장 매체는 여러가지 중에서도 CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, 및/또는 플로피 디스크의 형태를 택할 수 있다.
데이터 보유 서브시스템은 하나 이상의 물리적이고 비일시적인 장치를 포함하는 것으로 이해될 것이다. 그에 반해, 본 명세서에서 설명된 명령어들의 일부 실시예적 측면들은 적어도 유한한 기간에 대해서는 물리적 장치에 의해 보유되지 않는 순수한 신호(예컨대, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 더욱이, 본 발명에 관한 데이터 및/또는 다른 형태의 정보는 순수한 신호에 의해 전파될 수 있다.
"모듈", "프로그램", 및 "엔진"이라는 용어는 하나 이상의 특정한 기능을 수행하도록 구현되는 컴퓨팅 시스템의 한 측면을 설명하기 위해 사용될 수 있다. 일부의 경우, 이러한 모듈, 프로그램, 또는 엔진은 데이터 보유 서브시스템에 의해 보유되는 명령어를 실행하는 로직 서브시스템을 통해 인스턴스화될 수 있다. 상이한 모듈, 프로그램, 및/또는 엔진은 같은 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화될 수 있음이 이해될 것이다. 마찬가지로, 같은 모듈, 프로그램, 및/또는 엔진이 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 인스턴스화 될 수도 있다. "모듈", "프로그램", 및 "엔진"이라는 용어는 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 등의 각각이나 이들의 그룹을 망라하는 것을 의미한다.
본 명세서에서 사용된 "서비스"는 다수의 사용자 세션을 가로질러 실행될 수 있고 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에서 이용 가능한 애플리케이션 프로그램일 수 있다. 일부 실시예에서, 서비스는 클라이언트로부터의 요청에 응답하여 서버 상에서 실행될 수 있다.
디스플레이 서브시스템이 포함될 경우, 데이터 보유 서브시스템에 의해 보유되는 데이터의 시각적 표현을 표시하기 위해 사용될 수 있다. 본 명세서에서 설명된 방법 및 절차는 데이터 보유 서브시스템에 보유되는 데이터를 변경하고, 그에 따라 데이터 보유 서브시스템의 상태를 변환하며, 디스플레이 서브시스템의 상태도 마찬가지로 변환되어 기저의 데이터에 대한 변화를 시각적으로 표현한다. 디스플레이 서브시스템은 임의의 유형의 기법을 사실상 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 로직 서브시스템 및/또는 데이터 보유 서브시스템과 공유된 장소에서 결합될 수도 있고, 또는 이러한 디스플레이 장치가 주변 디스플레이 장치가 될 수도 있다.
본 명세서에서 설명된 구성 및/또는 접근법은 사실상 예시적인 것일 뿐이고, 이들 구체적인 실시예들 또는 예시들은 다양한 변형예가 가능하므로 한정적인 의미로 고려되지는 않는다. 본 명세서에서 설명된 구체적인 루틴 또는 방법은 하나 이상의 임의의 개수의 프로세싱 전략을 대표한다. 도시된 다양한 동작들은 도시된 순서에 따라 수행될 수도 있으나, 다른 순서에 따르거나, 병렬적이거나, 일부 경우를 생략하여 수행될 수도 있다. 마찬가지로, 앞서 설명된 절차들의 순서도 변경될수 있다.
본 발명의 대상은 본 명세서에 개시된 여러 가지 절차, 시스템 및 구성, 및 기타 특징, 기능, 동작, 및/또는 속성의 신규하고 비자명한 조합 및 하위조합 모두를 포함할 뿐만 아니라 이들의 균등물도 포함하는 것이다.

Claims (10)

  1. 장편 비디오 콘텐트(longer video content)로부터 추출한 비디오 콘텐트 부분들(portions of video content)을 편집(compiling)하고 요청을 보낸 컴퓨팅 장치(requesting computing device)로 공급(provisioning)하는 컴퓨팅 장치에서 사용되는 방법으로서,
    비디오 아이템에 대해 복수의 시청자들 각각의 감정 반응 프로파일(emotional response profile)을 수신하는 단계 - 각 감정 반응 프로파일은 특정 시청자가 상기 비디오 아이템을 시청하면서 나타낸 상기 비디오 아이템에 대한 상기 특정 시청자의 감정 반응의 시간적 상관관계를 포함함 - 와,
    상기 비디오 아이템의 제2 부분보다 더 감정적으로 자극적이라고 판단되는 상기 비디오 아이템의 제1 부분을 상기 감정 반응 프로파일을 사용하여 선택하는 단계와,
    상기 비디오 아이템의 상기 제1 부분에 대한 요청에 응답하여 다른 컴퓨팅 장치로 상기 비디오 아이템의 상기 제2 부분은 전송하지 않으면서 상기 비디오 아이템의 상기 제1 부분은 전송하는 단계
    를 포함하는 비디오 콘텐트의 편집 및 공급 방법.
  2. 제1항에 있어서,
    상기 비디오 아이템의 제1 부분을 선택하는 상기 단계는 다른 감정 반응 프로파일보다 요청을 보낸 시청자(requesting viewer)가 속한 소셜 네트워크에 속하는 시청자들에 해당하는 상기 감정 반응 프로파일에 가중치를 더 많이 부여하는 단계를 포함하는
    비디오 콘텐트의 편집 및 공급 방법.
  3. 제1항에 있어서,
    상기 비디오 아이템의 제1 부분을 선택하는 상기 단계는 다른 감정 반응 프로파일보다 요청을 보낸 시청자가 속한 인구통계학적 그룹(demographic group)에 속하는 시청자들에 해당하는 상기 감정 반응 프로파일에 가중치를 더 많이 부여하는 단계를 포함하는
    비디오 콘텐트의 편집 및 공급 방법.
  4. 제1항에 있어서,
    상기 비디오 아이템의 상기 제1 부분을 포함하면서 상기 감정 반응 프로파일에 기초하는 상기 비디오 아이템의 다른 부분도 포함하는 하이라이트 리스트를 생성하는 단계
    를 더 포함하는 비디오 콘텐트의 편집 및 공급 방법.
  5. 제1항에 있어서,
    상기 비디오 아이템에 대한 상기 특정 시청자의 신체적 반응을 포함하는 시청자 리액션 비디오 클립을 생성하는 단계
    를 더 포함하고,
    상기 제1 부분을 전송하는 단계는 상기 시청자 리액션 비디오 클립을 전송하는 단계를 포함하는
    비디오 콘텐트의 편집 및 공급 방법.
  6. 제5항에 있어서,
    상기 감정 반응 프로파일을 통해 선택된 상기 비디오 아이템의 복수의 부분에 대한 하나 이상의 시청자 각각의 리액션을 캡처하는 비디오 클립을 포함하는 시청자 리액션 하이라이트 클립 리스트를 생성하는 단계
    를 더 포함하는 비디오 콘텐트의 편집 및 공급 방법.
  7. 제1항에 있어서,
    상기 비디오 아이템의 상기 제1 부분을 선택하는 단계는 복수의 감정 반응 프로파일을 집계하여 상기 비디오 아이템에 대한 집계된(aggregated) 감정 반응 프로파일을 형성하는 단계와, 그 후 상기 집계된 감정 반응 프로파일 내에서 상기 비디오 아이템의 상기 제1 부분에 대한 감정 반응의 크기(magnitude)에 기초하여 상기 비디오 아이템의 상기 제1 부분을 선택하는 단계를 더 포함하는
    비디오 콘텐트의 편집 및 공급 방법.
  8. 제1항에 있어서,
    다른 비디오 아이템들에 대한 감정 반응 프로파일들을 수신하는 단계와,
    상기 다른 비디오 아이템들 각각에 대해
    상기 감정 반응 프로파일들을 해당 비디오 아이템에 대한 집계된 감정 반응 프로파일로 집계하는 단계와,
    상기 집계된 감정 반응 프로파일 내에서 상기 제1 부분에 대한 감정 반응의 크기에 기초하여 상기 비디오 아이템의 상기 제1 부분을 선택하는 단계와,
    상기 다른 비디오 아이템의 각각의 제2 부분은 전송하지 않으면서 상기 다른 비디오 아이템의 하나 이상의 각각의 제1 부분은 전송하는 단계
    를 더 포함하는 비디오 콘텐트의 편집 및 공급 방법.
  9. 제8항에 있어서,
    상기 비디오 아이템의 상기 제1 부분을 전송하는 단계는 상기 다른 비디오 아이템의 하나 이상의 상기 각각의 제1 부분을 단일 비디오 작품(single video composition)으로서 전송하는 단계를 포함하는
    비디오 콘텐트의 편집 및 공급 방법.
  10. 제1항에 있어서,
    상기 요청은 검색어를 포함하고,
    상기 비디오 아이템의 상기 제1 부분을 선택하는 단계는 상기 비디오 아이템이 상기 제1 부분을 선택할 때 상기 검색어에 기초하여 필터링하는 단계를 포함하는
    비디오 콘텐트의 편집 및 공급 방법.
KR1020137033342A 2011-06-17 2012-06-15 환경 센싱에 기초한 비디오 하이라이트 식별 기법 KR20140045412A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/163,379 US20120324491A1 (en) 2011-06-17 2011-06-17 Video highlight identification based on environmental sensing
US13/163,379 2011-06-17
PCT/US2012/042672 WO2012174381A2 (en) 2011-06-17 2012-06-15 Video highlight identification based on environmental sensing

Publications (1)

Publication Number Publication Date
KR20140045412A true KR20140045412A (ko) 2014-04-16

Family

ID=47354842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033342A KR20140045412A (ko) 2011-06-17 2012-06-15 환경 센싱에 기초한 비디오 하이라이트 식별 기법

Country Status (7)

Country Link
US (1) US20120324491A1 (ko)
EP (1) EP2721831A4 (ko)
JP (1) JP2014524178A (ko)
KR (1) KR20140045412A (ko)
CN (1) CN103609128A (ko)
TW (1) TW201301891A (ko)
WO (1) WO2012174381A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019226031A1 (ko) * 2018-05-25 2019-11-28 Kim John Woo Shik 반응 비디오를 위한 에디터를 포함하는 멀티 윈도우 감상 시스템 및 이를 이용한 반응 비디오의 제작방법
US10511888B2 (en) 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content

Families Citing this family (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8898316B2 (en) * 2007-05-30 2014-11-25 International Business Machines Corporation Enhanced online collaboration system for viewers of video presentations
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10911829B2 (en) * 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10289898B2 (en) * 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10628985B2 (en) 2017-12-01 2020-04-21 Affectiva, Inc. Avatar image animation using translation vectors
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US10762582B2 (en) * 2012-07-19 2020-09-01 Comcast Cable Communications, Llc System and method of sharing content consumption information
US9247225B2 (en) * 2012-09-25 2016-01-26 Intel Corporation Video indexing with viewer reaction estimation and visual cue detection
US20140096167A1 (en) * 2012-09-28 2014-04-03 Vringo Labs, Inc. Video reaction group messaging with group viewing
US9032434B2 (en) * 2012-10-12 2015-05-12 Google Inc. Unsupervised content replay in live video
US20140115032A1 (en) 2012-10-23 2014-04-24 General Instrument Corporation Preserving a consumption context for a user session
US8832721B2 (en) * 2012-11-12 2014-09-09 Mobitv, Inc. Video efficacy measurement
US9544647B2 (en) 2012-11-21 2017-01-10 Google Technology Holdings LLC Attention-based advertisement scheduling in time-shifted content
KR20140072720A (ko) * 2012-12-05 2014-06-13 삼성전자주식회사 콘텐츠 제공 장치, 콘텐츠 제공 방법, 영상표시장치 및 컴퓨터 판독가능 기록매체
US20150301725A1 (en) * 2012-12-07 2015-10-22 Sriganesh Madhvanath Creating multimodal objects of user responses to media
US9721010B2 (en) 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
KR20140094336A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
US9749710B2 (en) * 2013-03-01 2017-08-29 Excalibur Ip, Llc Video analysis system
US9292923B2 (en) 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
US9729920B2 (en) * 2013-03-15 2017-08-08 Arris Enterprises, Inc. Attention estimation to control the delivery of data and audio/video content
FR3004054A1 (fr) * 2013-03-26 2014-10-03 France Telecom Generation et restitution d'un flux representatif d'un contenu audiovisuel
US9681186B2 (en) * 2013-06-11 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for gathering and presenting emotional response to an event
JP6191278B2 (ja) * 2013-06-26 2017-09-06 カシオ計算機株式会社 情報処理装置、コンテンツ課金システム及びプログラム
US9264770B2 (en) * 2013-08-30 2016-02-16 Rovi Guides, Inc. Systems and methods for generating media asset representations based on user emotional responses
CN104461222B (zh) * 2013-09-16 2019-02-05 联想(北京)有限公司 一种信息处理的方法和电子设备
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
JP6154728B2 (ja) * 2013-10-28 2017-06-28 日本放送協会 視聴状態推定装置およびそのプログラム
CN104681048A (zh) * 2013-11-28 2015-06-03 索尼公司 多媒体读取控制装置、曲线获取装置、电子设备、曲线提供装置及方法
US20160234551A1 (en) * 2013-12-02 2016-08-11 Dumbstruck, Inc. Video reaction processing
EP2882194A1 (en) * 2013-12-05 2015-06-10 Thomson Licensing Identification of a television viewer
US9426525B2 (en) * 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
CN104918067A (zh) * 2014-03-12 2015-09-16 乐视网信息技术（北京）股份有限公司 对视频热度进行曲线处理的方法和系统
CN108670230B (zh) * 2014-03-14 2019-11-22 上海万泽精密铸造有限公司 自闭症患者用随身佩戴装置的工作方法
CN104837036B (zh) * 2014-03-18 2018-04-10 腾讯科技（北京）有限公司 生成视频看点的方法、服务器、终端及系统
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
CN104837059B (zh) * 2014-04-15 2019-01-08 腾讯科技（北京）有限公司 视频处理方法、装置和系统
WO2015179047A1 (en) 2014-05-21 2015-11-26 Pcms Holdings, Inc Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording
US9832538B2 (en) * 2014-06-16 2017-11-28 Cisco Technology, Inc. Synchronizing broadcast timeline metadata
US20150370474A1 (en) * 2014-06-19 2015-12-24 BrightSky Labs, Inc. Multiple view interface for video editing system
US11016728B2 (en) * 2014-07-09 2021-05-25 International Business Machines Corporation Enhancing presentation content delivery associated with a presentation event
US9724588B1 (en) 2014-07-11 2017-08-08 ProSports Technologies, LLC Player hit system
US9398213B1 (en) 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US9305441B1 (en) 2014-07-11 2016-04-05 ProSports Technologies, LLC Sensor experience shirt
WO2016007969A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Playbook processor
US9474933B1 (en) 2014-07-11 2016-10-25 ProSports Technologies, LLC Professional workout simulator
WO2016007970A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Whistle play stopper
WO2016033545A1 (en) * 2014-08-29 2016-03-03 Sling Media Inc. Systems and processes for delivering digital video content based upon excitement data
US10264175B2 (en) 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11863848B1 (en) 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows
US10536758B2 (en) 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US10433030B2 (en) 2014-10-09 2019-10-01 Thuuz, Inc. Generating a customized highlight sequence depicting multiple events
US10419830B2 (en) 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
US10192583B2 (en) 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
CN104349206A (zh) * 2014-11-26 2015-02-11 乐视致新电子科技（天津）有限公司 一种电视信息处理方法、装置及系统
US9992553B2 (en) * 2015-01-22 2018-06-05 Engine Media, Llc Video advertising system
JP6417232B2 (ja) * 2015-02-09 2018-10-31 日本放送協会 映像評価装置およびそのプログラム
WO2016144218A1 (en) * 2015-03-09 2016-09-15 Telefonaktiebolaget Lm Ericsson (Publ) Method, system and device for providing live data streams to content-rendering devices
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9659218B1 (en) 2015-04-29 2017-05-23 Google Inc. Predicting video start times for maximizing user engagement
US10749923B2 (en) 2015-06-08 2020-08-18 Apple Inc. Contextual video content adaptation based on target device
US10785180B2 (en) * 2015-06-11 2020-09-22 Oath Inc. Content summation
US10198161B2 (en) 2015-06-18 2019-02-05 Faysee Inc. Communicating reactions to media content
US9785834B2 (en) * 2015-07-14 2017-10-10 Videoken, Inc. Methods and systems for indexing multimedia content
US10158983B2 (en) 2015-07-22 2018-12-18 At&T Intellectual Property I, L.P. Providing a summary of media content to a communication device
US9792953B2 (en) * 2015-07-23 2017-10-17 Lg Electronics Inc. Mobile terminal and control method for the same
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
KR102376700B1 (ko) 2015-08-12 2022-03-22 삼성전자주식회사 비디오 컨텐츠 생성 방법 및 그 장치
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
CN106503022B (zh) * 2015-09-08 2020-12-01 北京邮电大学 推送推荐信息的方法和装置
US10057651B1 (en) * 2015-10-05 2018-08-21 Twitter, Inc. Video clip creation using social media
US10148808B2 (en) 2015-10-09 2018-12-04 Microsoft Technology Licensing, Llc Directed personal communication for speech generating devices
US10262555B2 (en) 2015-10-09 2019-04-16 Microsoft Technology Licensing, Llc Facilitating awareness and conversation throughput in an augmentative and alternative communication system
US9679497B2 (en) * 2015-10-09 2017-06-13 Microsoft Technology Licensing, Llc Proxies for speech generating devices
CN105898340A (zh) * 2015-11-30 2016-08-24 乐视网信息技术（北京）股份有限公司 现场直播中的关键点提示方法、服务器、用户终端和系统
US9916866B2 (en) * 2015-12-22 2018-03-13 Intel Corporation Emotional timed media playback
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
CN105872765A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技（天津）有限公司 制作视频集锦的方法、装置、电子设备、服务器及系统
US20170249558A1 (en) * 2016-02-29 2017-08-31 Linkedin Corporation Blending connection recommendation streams
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10529379B2 (en) * 2016-09-09 2020-01-07 Sony Corporation System and method for processing video content based on emotional state detection
US10045076B2 (en) * 2016-11-22 2018-08-07 International Business Machines Corporation Entertainment content ratings system based on physical expressions of a spectator to scenes of the content
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
CN106802946B (zh) * 2017-01-12 2020-03-27 合一网络技术(北京)有限公司 视频分析方法及装置
CN107071579A (zh) * 2017-03-02 2017-08-18 合网络技术（北京）有限公司 多媒体资源处理方法及装置
AU2018263287A1 (en) * 2017-05-05 2020-01-02 5i Corporation Pty. Limited Devices, systems and methodologies configured to enable generation, capture, processing, and/or management of digital media data
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
CN108932451A (zh) * 2017-05-22 2018-12-04 北京金山云网络技术有限公司 音视频内容分析方法及装置
US11062359B2 (en) 2017-07-26 2021-07-13 Disney Enterprises, Inc. Dynamic media content for in-store screen experiences
JP6447681B2 (ja) * 2017-08-09 2019-01-09 カシオ計算機株式会社 情報処理装置、情報処理方法、及びプログラム
CN109547859B (zh) * 2017-09-21 2021-12-07 腾讯科技（深圳）有限公司 视频片段的确定方法和装置
US10636449B2 (en) * 2017-11-06 2020-04-28 International Business Machines Corporation Dynamic generation of videos based on emotion and sentiment recognition
KR102429901B1 (ko) 2017-11-17 2022-08-05 삼성전자주식회사 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
EP3503565B1 (en) * 2017-12-22 2022-03-23 Vestel Elektronik Sanayi ve Ticaret A.S. Method for determining of at least one content parameter of video data
US10783925B2 (en) 2017-12-29 2020-09-22 Dish Network L.L.C. Methods and systems for an augmented film crew using storyboards
US10834478B2 (en) 2017-12-29 2020-11-10 Dish Network L.L.C. Methods and systems for an augmented film crew using purpose
US10453496B2 (en) * 2017-12-29 2019-10-22 Dish Network L.L.C. Methods and systems for an augmented film crew using sweet spots
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
CN110062283A (zh) * 2018-01-18 2019-07-26 深圳光峰科技股份有限公司 一种播放影片的方法、影片播放机及影片服务器
US10419790B2 (en) * 2018-01-19 2019-09-17 Infinite Designs, LLC System and method for video curation
CN108391164B (zh) * 2018-02-24 2020-08-21 Oppo广东移动通信有限公司 视频解析方法及相关产品
US11373404B2 (en) 2018-05-18 2022-06-28 Stats Llc Machine learning for recognizing and interpreting embedded information card content
US11601721B2 (en) * 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11025985B2 (en) 2018-06-05 2021-06-01 Stats Llc Audio processing for detecting occurrences of crowd noise in sporting event television programming
US11264048B1 (en) 2018-06-05 2022-03-01 Stats Llc Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
CN110611824B (zh) * 2018-06-14 2021-12-24 连株式会社 精彩视频产生方法、使用其的精彩视频产生装置以及介质
US10701416B2 (en) * 2018-10-12 2020-06-30 Disney Enterprises, Inc. Content promotion through automated curation of content clips
JP6754412B2 (ja) * 2018-11-07 2020-09-09 スカパーＪｓａｔ株式会社 体験記録システム及び体験記録方法
JP2020077229A (ja) * 2018-11-08 2020-05-21 スカパーＪｓａｔ株式会社 コンテンツ評価システム及びコンテンツ評価方法
US10983812B2 (en) * 2018-11-19 2021-04-20 International Business Machines Corporation Replaying interactions with a graphical user interface (GUI) presented in a video stream of the GUI
US10943125B1 (en) 2018-12-13 2021-03-09 Facebook, Inc. Predicting highlights for media content
US10798425B1 (en) 2019-03-24 2020-10-06 International Business Machines Corporation Personalized key object identification in a live video stream
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
WO2020242435A1 (en) * 2019-05-24 2020-12-03 Hewlett-Packard Development Company, L.P. Embedded indicators
CN110418148B (zh) * 2019-07-10 2021-10-29 咪咕文化科技有限公司 视频生成方法、视频生成设备及可读存储介质
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11798282B1 (en) 2019-12-18 2023-10-24 Snap Inc. Video highlights with user trimming
US11610607B1 (en) 2019-12-23 2023-03-21 Snap Inc. Video highlights with user viewing, posting, sending and exporting
US11538499B1 (en) * 2019-12-30 2022-12-27 Snap Inc. Video highlights with auto trimming
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
CN114205534A (zh) * 2020-09-02 2022-03-18 华为技术有限公司 一种视频编辑方法及设备
US11843820B2 (en) * 2021-01-08 2023-12-12 Sony Interactive Entertainment LLC Group party view and post viewing digital content creation
US11750883B2 (en) * 2021-03-26 2023-09-05 Dish Network Technologies India Private Limited System and method for using personal computing devices to determine user engagement while viewing an audio/video program
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11849160B2 (en) * 2021-06-22 2023-12-19 Q Factor Holdings LLC Image analysis system
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708335B1 (en) * 1999-08-18 2004-03-16 Webtv Networks, Inc. Tracking viewing behavior of advertisements on a home entertainment system
US9292516B2 (en) * 2005-02-16 2016-03-22 Sonic Solutions Llc Generation, organization and/or playing back of content based on incorporated parameter identifiers
US7593618B2 (en) * 2001-03-29 2009-09-22 British Telecommunications Plc Image processing for analyzing video content
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US7607097B2 (en) * 2003-09-25 2009-10-20 International Business Machines Corporation Translating emotion to braille, emoticons and other special symbols
EP1582965A1 (en) * 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US7689556B2 (en) * 2005-01-31 2010-03-30 France Telecom Content navigation service
US20060218573A1 (en) * 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
US20070214471A1 (en) * 2005-03-23 2007-09-13 Outland Research, L.L.C. System, method and computer program product for providing collective interactive television experiences
US20060224046A1 (en) * 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
US7742111B2 (en) * 2005-05-06 2010-06-22 Mavs Lab. Inc. Highlight detecting circuit and related method for audio feature-based highlight segment detection
US20070203426A1 (en) * 2005-10-20 2007-08-30 Kover Arthur J Method and apparatus for obtaining real time emotional response data over a communications network
US20070150916A1 (en) * 2005-12-28 2007-06-28 James Begole Using sensors to provide feedback on the access of digital content
WO2008129356A2 (en) * 2006-03-13 2008-10-30 Imotions-Emotion Technology A/S Visual attention and emotional response detection and display system
KR100763236B1 (ko) * 2006-05-09 2007-10-04 삼성전자주식회사 생체 신호를 이용하는 동영상 편집 장치 및 방법
US20080103907A1 (en) * 2006-10-25 2008-05-01 Pudding Ltd. Apparatus and computer code for providing social-network dependent information retrieval services
US20080155587A1 (en) * 2006-12-20 2008-06-26 General Instrument Corporation Video Content Targeting System and Method
JP2008205861A (ja) * 2007-02-20 2008-09-04 Matsushita Electric Ind Co Ltd 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体
US20090088610A1 (en) * 2007-03-02 2009-04-02 Lee Hans C Measuring Physiological Response to Media for Viewership Modeling
US20080295126A1 (en) * 2007-03-06 2008-11-27 Lee Hans C Method And System For Creating An Aggregated View Of User Response Over Time-Variant Media Using Physiological Data
JP4539712B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP5020838B2 (ja) * 2008-01-29 2012-09-05 ヤフー株式会社 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法
WO2010001512A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 印象度抽出装置および印象度抽出方法
JP2010026871A (ja) * 2008-07-22 2010-02-04 Nikon Corp 情報処理装置及び情報処理システム
US8925001B2 (en) * 2008-09-12 2014-12-30 At&T Intellectual Property I, L.P. Media stream generation based on a category of user expression
US20100107075A1 (en) * 2008-10-17 2010-04-29 Louis Hawthorne System and method for content customization based on emotional state of the user
JP2010206447A (ja) * 2009-03-03 2010-09-16 Panasonic Corp 視聴端末装置、サーバ装置および参加型番組共有システム
US8161504B2 (en) * 2009-03-20 2012-04-17 Nicholas Newell Systems and methods for memorializing a viewer's viewing experience with captured viewer images
US9015757B2 (en) * 2009-03-25 2015-04-21 Eloy Technology, Llc Merged program guide
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US20110154386A1 (en) * 2009-12-22 2011-06-23 Telcordia Technologies, Inc. Annotated advertisement referral system and methods
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
AU2011352069A1 (en) * 2010-12-30 2013-08-01 Trusted Opinion, Inc. System and method for displaying responses from a plurality of users to an event
US9026476B2 (en) * 2011-05-09 2015-05-05 Anurag Bist System and method for personalized media rating and related emotional profile analytics
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511888B2 (en) 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
US11218771B2 (en) 2017-09-19 2022-01-04 Sony Corporation Calibration system for audience response capture and analysis of media content
WO2019226031A1 (ko) * 2018-05-25 2019-11-28 Kim John Woo Shik 반응 비디오를 위한 에디터를 포함하는 멀티 윈도우 감상 시스템 및 이를 이용한 반응 비디오의 제작방법

Also Published As

Publication number Publication date
JP2014524178A (ja) 2014-09-18
WO2012174381A3 (en) 2013-07-11
EP2721831A2 (en) 2014-04-23
WO2012174381A2 (en) 2012-12-20
EP2721831A4 (en) 2015-04-15
US20120324491A1 (en) 2012-12-20
TW201301891A (zh) 2013-01-01
CN103609128A (zh) 2014-02-26

Similar Documents

Publication Publication Date Title
KR20140045412A (ko) 환경 센싱에 기초한 비디오 하이라이트 식별 기법
US9363546B2 (en) Selection of advertisements via viewer feedback
TWI558186B (zh) 基於環境感測之視訊選擇
TWI536844B (zh) 基於興趣的視訊資料流
US11064257B2 (en) System and method for segment relevance detection for digital content
JP6752819B2 (ja) 感情検出システム
US9106958B2 (en) Video recommendation based on affect
AU2020200239A1 (en) System and method for user-behavior based content recommendations
WO2011126901A2 (en) Social context for inter-media objects
US20140068406A1 (en) Fluid user model system for personalized mobile applications
US11812105B2 (en) System and method for collecting data to assess effectiveness of displayed content
JP2023519608A (ja) ユーザデバイスからデータを収集するシステム及び方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid