KR20140117394A - 개인의 반응과 함께 콘텐츠를 소비하는 기법 - Google Patents

개인의 반응과 함께 콘텐츠를 소비하는 기법 Download PDF

Info

Publication number
KR20140117394A
KR20140117394A KR1020147019066A KR20147019066A KR20140117394A KR 20140117394 A KR20140117394 A KR 20140117394A KR 1020147019066 A KR1020147019066 A KR 1020147019066A KR 20147019066 A KR20147019066 A KR 20147019066A KR 20140117394 A KR20140117394 A KR 20140117394A
Authority
KR
South Korea
Prior art keywords
individual
content
response
video
individuals
Prior art date
Application number
KR1020147019066A
Other languages
English (en)
Inventor
잉농 당
세르지오 파올란토니오
시우민 린
동메이 장
시앙 카오
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140117394A publication Critical patent/KR20140117394A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Computer Hardware Design (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Marketing (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

콘텐츠에 대한 개인의 반응을 획득하고 개인의 반응을 콘텐츠와 함께 출력하는 기법이 본 명세서에 기술되어 있다. 이 기법은 콘텐츠가 개인에게 디스플레이되는 경우 개인의 반응을 획득하는 것을 포함할 수 있다. 반응은 개인의 비디오를 캡처함으로써 획득될 수 있다. 개인의 반응 및 콘텐츠는 다른 개인에게 동시에 출력될 수 있다. 이들 기법은 또한 콘텐츠 및 개인의 반응이 또 다른 개인에게 출력되는 경우 이 또 다른 개인의 반응을 획득하는 것을 포함한다.

Description

개인의 반응과 함께 콘텐츠를 소비하는 기법{CONSUMPTION OF CONTENT WITH REACTIONS OF AN INDIVIDUAL}
점점 더 많은 수의 개인들이 비디오, 음악, 이미지, 전자 문서 등과 같은 콘텐츠를 소비하고 있다. 이들 개인들은 종종 예를 들어 콘텐츠에 대해 코멘트를 제공하고 및/또는 그 콘텐츠를 다른 개인에게 추천함으로써 콘텐츠에 대해 상호작용한다. 이들 접근방식은 콘텐츠와의 몇몇 상호작용을 제공할 수 있지만, 콘텐츠를 상호작용 방식으로 소비하는 기회는 점점 증가하고 있다.
상세한 설명은 첨부된 도면을 참조하여 설명한다. 도면에서, 참조 번호의 가장 왼쪽의 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 상이한 도면에서의 동일한 참조 부호의 사용은 유사하거나 동일한 항목 또는 특징을 나타낼 수 있다.
도 1은 하나 이상의 개인이 보고 있는 콘텐츠에 대한 이들 개인의 반응을 얻고 콘텐츠가 하나 이상의 다른 개인에게 보여질 때 콘텐츠와 함께 상기 반응을 제공하는 예시적인 아키텍처를 나타낸다.
도 2(a) 및 도 2(b)는 콘텐츠에 대한 개인의 반등을 획득하고, 그 이후 콘텐츠 및 개인의 반응을 출력하는 예시적인 프로세스를 나타낸다.
도 3은 콘텐츠에 대한 개인의 반응을 획득하고 및/또는 반응 및 콘텐츠를 동시에 출력하기 위한 예시적인 사용자 인터페이스를 도시한다.
도 4는 특정 콘텐츠가 캡처될 때 그 특정 콘텐츠에 대한 개인의 반응을 캡처하기 위한 예시적인 장치를 도시한다.
도 5는 하나 이상의 개인에게 출력될 수 있는 콘텐츠의 하나 이상의 섹션을 결정하기 위한 예시적인 프로세스를 도시한다.
도 6 및 도 7은 본원에 기재된 기술을 이용한 예시적인 프로세스를 나타낸다.
본 발명은 부분적으로, 콘텐츠에 대한 개인의 반응을 획득하고 동시에 출력되도록 반응 및 콘텐츠를 제공하는 것에 관한 것이다. 개인의 반응은 콘텐츠가 출력되는 동안 개인의 비디오를 캡처하고, 개인의 오디오를 캡처하고 및/또는 콘텐츠에 대한 개인의 신체적 응답을 모니터링함으로써 획득될 수 있다. 몇몇 경우, 개인의 반응은 개인의 명시적인 인지(knowledge) 및 동의하에 콘텐츠와 연관된다. 예를 들어, 개인의 반응은 콘텐츠와 연관된 메타데이터로서 저장될 수 있고 및/또는 콘텐츠와 함께 하나 이상의 서버에 저장될 수 있다.
그 후, 개인의 반응 및 콘텐츠는 하나 이상의 개인에게 출력되도록 제공될 수 있다. 예를 들어, 개개의 반응 및 콘텐츠는 다른 개인에게 동시에 출력(예를 들어, 디스플레이)될 수 있다. 개개의 반응 및 콘텐츠가 출력되는 경우, 다른 개인의 반응이 얻어질 수 있다. 예를 들어, 다른 개인의 반응은 다른 개인이 개인의 반응 및 콘텐츠를 보는 동안 다른 개인의 비디오 또는 오디오를 캡처함으로써 획득될 수 있다. 이후, 다른 개인의 반응은 유사하게 출력될 수 있다. 즉, 다른 개인의 반응과 콘텐츠는 또 다른 개인에게 동시에 출력(예를 들어, 디스플레이)될 수 있다. 몇몇 경우, 콘텐츠는 개개의 반응 및 다른 개인(들)의 반응과 동시에 출력될 수 있다. 이러한 기술을 구현함으로써, 개인은 특정 콘텐츠를 볼 수 있을 뿐만 아니라 이 콘텐츠에 대한 다른 개인의 반응도 볼 수 있으며, 이는 개인의 전체적인 보기(viewing) 경험을 향상시킨다.
섹션 제목과 해당 요약을 비롯한 이러한 간략한 소개는, 독자의 편의를 위해 제공되며, 특허 청구의 범위 및 전술한 섹션들을 제한하려는 것은 아니다. 또한, 아래에 상세히 설명된 기술은 다수의 방식으로 또한 여러 상황에서 구현될 수 있다. 보다 상세히 후술하는 바와 같이, 하나의 예시적인 구현 및 상황은 다음의 도면을 참조하여 제공된다. 그러나, 다음의 구현 및 상황은 여러 것들 중 하나 불과하다는 것을 이해해야 한다.
개요
도 1은 콘텐츠에 대한 하나 이상의 개인의 반응을 획득하고 그 반응을 콘텐츠와 함께 제공하는 예시적인 아키텍처(100)를 도시한다. 본 명세서에서, 기술들은 네트워크(들)(106)를 통해 서비스 제공자(104)와 통신하는 장치(102)의 맥락에서 설명된다. 예를 들어, 장치(102)는 콘텐츠 및 이 콘텐츠에 대한 하나 이상의 개인의 반응을 획득 및/또는 제공하기 위해 서비스 제공자(104)와 통신할 수 있다.
아키텍처(100)에서, 장치(102)는 데이터를 처리하도록 구성된 하드웨어 및/또는 소프트웨어 자원의 임의의 조합을 포함할 수 있다. 장치(102)는 예를 들면, 개인용 컴퓨터, 랩탑 컴퓨터, 휴대폰, 태블릿 장치, 개인 휴대 정보 단말기(PDA) 등을 포함하는 임의의 개수의 컴퓨팅 장치로 구현될 수 있다. 장치(102)는 하나 이상의 프로세서(108), 메모리(110), 마이크(112), 카메라(114), 다른 센서(들)(116), 및 네트워크 인터페이스(들)(118)를 구비한다. 카메라(114)는 예를 들어 비디오 카메라, 웹 카메라, 디지털 스틸 카메라 등을 포함할 수 있다. 다른 센서(들)(116)는 예를 들어 심박수 모니터, 혈압 모니터, 시선 추적 장치 등을 포함할 수 있다.
메모리(110)는 애플리케이션 및 데이터를 저장하도록 구성될 수 있다. 장치(102)에서 실행되는 반응 모듈(120)과 같은 애플리케이션은 콘텐츠에 대한 하나 이상의 개인의 반응을 획득하고 및/또는 이 반응을 콘텐츠와 함께 동시에 출력되도록 제공하기 위한 동작을 수행할 수 있다. 이하에서 더 상세히 설명되는 바와 같이, 반응 모듈(120)은 서비스 제공자(104)와 협력하여 하나 이상의 동작을 수행할 수 있다.
메모리(110)는 도 1에서 단일 유닛으로 도시되어 있지만, 메모리(110)(및 본 명세서에서 설명된 모든 다른 메모리)는 하나의 컴퓨터 판독가능 매체 또는 이들의 조합을 포함할 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및/또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 그 밖의 다른 데이터와 같은 정보를 저장하기 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 상 변화 메모리(PRAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 다른 유형의 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 전기적 소거가능 프로그램 가능 읽기 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨팅 장치에 의해 액세스되는 정보를 저장하는 데 사용될 수 있는 임의의 다른 비 전송 매체를 포함하나, 여기에 국한되지는 않는다.
이와 대조적으로, 통신 매체는 반송파 또는 다른 전송 메커니즘과 같은 변조 데이터 신호에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 구현할 수 있다. 본원에서 정의된 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다.
도 1의 예에서. 장치(102)는 네트워크(들)(106)를 통해 서비스 제공자(104)와 통신한다. 네트워크(들)(106)는 셀룰러 네트워크, 무선 네트워크, 근거리 통신망 및 인터넷과 같은 다수의 상이한 유형의 네트워크 중 임의의 하나 또는 이들의 조합을 포함할 수 있다. 한편, 서비스 제공자(104)는 처리 및 저장 기능을 갖는 하나 이상의 장치(들)(122)에서 호스팅될 수 있다. 장치(들)(122)는 예를 들어 서버, 개인용 컴퓨터 또는 랩탑 컴퓨터를 비롯하여, 임의의 수의 장치로 구현될 수 있다. 일 예에서, 장치(들)(122)는 데이터 센터 또는 클라우드 컴퓨팅 환경에서 하나 이상의 서버를 포함한다. 장치(들)(122)는 프로세서(들)(124), 메모리(126) 및 네트워크 인터페이스(들)(128)를 갖추고 있다.
메모리(126)는 애플리케이션 및 데이터를 저장하도록 구성될 수 있다. 장치(122)에서 실행되는 반응 서비스 모듈(130)과 같은 애플리케이션은 콘텐츠 및 이 콘텐츠에 대한 반응을 획득 및/또는 제공하기 위한 동작들을 수행할 수 있다. 몇몇 경우에서, 반응 서비스 모듈(130)은 예를 들어 클라우드 컴퓨팅 환경에서 장치(102)에 대한 원격 자원으로서 구현된다. 본 명세서에서, 반응 서비스 모듈(130)은 장치(102)에 콘텐츠를 제공하고, 장치(102)로부터 개인의 반응을 수신하며, 콘텐츠와 반응을 연관시키고, 및/또는 반응 및/또는 콘텐츠를 장치(102) 및 또 다른 장치에 제공하기 위한 동작들을 수행할 수 있다. 이러한 경우에, 장치(102)는 콘텐츠 및/또는 반응을 출력(예를 들어, 콘텐츠 및/또는 반응을 디스플레이)하고 개인의 반응을 획득(예를 들어, 개인의 반응을 캡처)하는 작업을 수행할 수 있다.
한편, 다른 경우에서, 장치(102)는 콘텐츠 및/또는 콘텐츠에 대한 반응을 획득 및/또는 제공하기 위한 동작을 로컬로 수행할 수 있다. 예를 들어, 장치(102)의 반응 모듈(120)은 개인에게 콘텐츠를 출력하고, 콘텐츠에 대한 개인의 반응을 획득하며, 개인의 반응을 콘텐츠와 연관시키고, 및/또는 반응과 콘텐츠를 개인 및/또는 다른 개인에게 출력하기 위한 동작들을 수행할 수 있다. 본 명세서에 기재된 기술들은 많은 경우에서 장치(102)에 의해 실행되는 것으로 예시되어 있지만, 이들 기술은 서비스 제공자(104)에 의해 또는 이 서비스 제공자(104)와 협력하여 유사하게 구현될 수 있다.
아키텍처(100)는 또한 콘텐츠(134) 및 콘텐츠(136)에 대한 반응을 저장하는 데이터 저장소(132)를 포함한다. 콘텐츠(134)는 예를 들어 비디오, 오디오, 디지털 텍스트, 이미지 등을 포함할 수 있다. 콘텐츠는 장치(102), 서비스 제공자(104) 및/또는 다른 장치에 의해 미리 생성될 수 있다. 도 1에 도시된 바와 같이, 콘텐츠(134)는 콘텐츠(134)에 대한 하나 이상의 반응(136)과 연관될 수 있다. 반응(136)은 일반적으로 공지된 기술을 이용하여 콘텐츠(134)와 연관될 수 있다. 이러한 기술은 예를 들어, 반응(136)을 콘텐츠(134)에 대한 메타데이터로서 저장하는 것, 콘텐츠(134)를 반응(136)에 대한 메타데이터로서 저장하는 것, 반응(136) 및 콘텐츠(134)를 메모리 내의 동일 위치에 동시에 저장하는 것, 반응(136)과 콘텐츠(134) 간의 상관관계를 나타내는 데이터를 저장하는 것 등을 포함할 수 있다.
반응(136)은 일반적으로 콘텐츠(134)에 대한 하나 이상의 개인의 하나 이상의 관찰가능 동작을 포함할 수 있다. 예컨대, 반응(136)은 얼굴 표정(예를 들면, 웃는 얼굴, 찌푸린 얼굴 등), 신체 움직임(예를 들어, 머리 움직임, 팔 운동, 안구 움직임 등), 소리(예를 들면, 웃음, 고함, 울음, 스피치 등), 신경 반응, 심장 박동(예를 들면, 심박수의 증가 또는 감소), 혈압(예를 들어, 혈압의 증가 또는 감소) 등을 포함할 수 있다. 소정의 경우, 반응(136)은 대안적으로, 또는 추가적으로, 예를 들어 비디오 카메라를 물체, 다른 개인 및/또는 동물에 조준하는 하나 이상의 개인과 같은 하나 이상의 개인의 반응을 포함할 수 있다. 이러한 경우, 반응(136)은 다른 개인 및/또는 동물의 반응을 포함할 수 있다.
반응(136)은 이미지를 캡처하고, 이미지들의 시퀀스를 캡처하고, 하나 이상의 개인의 비디오를 캡처하고, 하나 이상의 개인의 오디오를 캡처하고, 텍스트 입력을 획득하고 및/또는 신체의 움직임, 신경 반응, 심장 박동 및/또는 혈압을 모니터링함으로써 획득될 수 있다. 반응(136)은 비디오 카메라, 마이크, 안구 추적 장치, 심장 박동 모니터, 혈압 모니터 등과 같은 장비를 통해 획득될 수 있다. 본 발명의 여러 측면들은 비디오의 형태로 얻어진 반응을 기술하고 있지만, 반응은 추가적으로 또는 대안적으로, 오디오, 이미지, 텍스트, 및/또는 물리적 움직임, 신경 반응, 심장 박동 및/또는 혈압의 모니터링을 통해 생성된 다른 데이터의 형태로 얻어질 수 있다.
반응(136)은 개인의 명시적 인지 및 동의하에 얻어질 수 있다. 몇몇 경우, 반응이 획득되기 전에, 통지가 개인에게 제공된다. 이 통지는 개인이 콘텐츠를 소비할 때 개인의 반응을 얻기 위한 승인을 개인에게 요청할 수 있다. 또한, 통지는 반응을 콘텐츠와 연관시키고 및/또는 반응을 콘텐츠와 함께 출력하기 위한 승인을 개인에게 요청할 수 있다. 이렇게 함으로써, 개인은 개인의 반응을 획득 및/또는 사용할 권한을 제공할 수 있다.
몇몇 구현예에서, 반응(136)은 반응(136)을 출력하는데 이용될 수 있는 하나 이상의 아바타(예를 들어, 캐릭터)와 연관된다. 본 명세서에서, 반응(136)은 콘텐츠와 함께 출력(예를 들어, 디스플레이)되는 하나 이상의 아바타에 의해 구현되도록 변환될 수 있다. 즉, 아바타는 아바타가 개인의 반응과 동일하거나 유사한 반응을 표현하도록 개인의 반응을 출력하도록 구성될 수 있다. 예를 들어, 아바타는 개인의 반응에서 캡처되는 동일한 또는 유사한 얼굴 표현, 신체 움직임 및/또는 소리를 표현할 수 있다. 몇몇 경우, 이는 개인의 외관 및/또는 아이덴티티를 출력하지 않고도 개인의 반응이 출력될 수 있도록 해준다. 본 발명의 여러 측면은 아바타를 이용하지 않고 출력되는 개개의 반응을 설명하고 있지만, 반응은 대안적으로, 또는 추가적으로, 예를 들어, 개인의 반응에 해당하는 애니메이션 아바타를 디스플레이함으로써 아바타를 통해 출력될 수 있다.
데이터 저장소(132)는 장치(102), 서비스 제공자(104) 및/또는 다른 장치에 액세스가능한 임의의 위치에 배치될 수 있다. 소정의 경우, 데이터 저장소(132)는 장치(102)의 메모리(110)에 위치한다. 다른 경우에 데이터 저장소(132)는 장치(들)(122)의 메모리(126)에 또는 다른 콘텐츠 제공자 장치에 위치한다. 데이터 저장소(132)는 도 1에서 단일 유닛으로 도시되어 있지만, 데이터 저장소(132)는 하나 이상의 장치에 위치한 두 개 이상의 유닛을 포함할 수 있다. 예를 들어, 데이터 저장소(132)는 콘텐츠(134)를 저장하는 제1 데이터 저장소 및 반응(136)을 저장하는 제2 데이터 저장소를 포함할 수 있다. 일부 구현예에서, 제2 데이터 저장소는 장치(102)에 위치하는 한편, 제2 데이터 저장소는 장치(들)(122)에 위치한다. 다른 구현예에서, 제1 데이터 저장소는 장치(들)(122)에 위치하는 한편, 제2 데이터 저장소는 장치(102)에 위치한다. 이렇게 함으로써, 콘텐츠(134)는 반응(136)과 독립적으로 및/또는 원격으로 저장될 수 있다.
도 2(a) 및 도 2(b)는 콘텐츠(204)에 대한 개인(202)의 반등을 획득하고, 콘텐츠(204) 및 개인(202)의 반응을 출력하는 예시적인 프로세스(200)를 나타낸다. 콘텐츠(204)는, 예를 들어, 비디오, 노래, 디지털 이미지, 디지털 텍스트 등을 포함할 수 있다. 도 2(a)에서, 장치(206)는 개인(202)이 콘텐츠(204)를 소비(예를 들어, 보기, 듣기 등)하는 때에 개인(202)의 반응 비디오(208)를 캡처함으로써 반응을 취득한다. 본 명세서에서, 반응 비디오(208)는 장치(206)와 연관된 비디오 카메라를 통하여 캡처된다. 도시되지는 않았지만, 장치(206)는 추가적으로 또는 대안적으로, 개인(202)의 오디오를 캡처하고, 텍스트 입력을 획득하고 및/또는 개인(202)의 신체의 움직임, 신경 반응, 심박수 및/또는 혈압을 모니터링함으로써 반응을 얻을 수 있다. 장치(206)는 개인(202)의 명시적인 인지 및 동의하에 반응을 취득한다.
도 2(b)에서, 개인(202)의 반응 비디오(208)는 콘텐츠(204)와 동시에 출력될 수 있다. 반응 비디오(208) 및 콘텐츠(204)는 장치(206) 또는 다른 장치를 통해 출력될 수 있다. 도시된 바와 같이, 반응 비디오(208)는 콘텐츠(204)와 동시에 장치를 통해 개인(212)에 디스플레이된다. 반응 비디오(208) 및 콘텐츠(204)는 반응 비디오(208)가 콘텐츠(204)에 동기화되도록 출력될 수 있다. 예컨대, 개인(202)이 콘텐츠(204)의 특정 섹션을 보고 있는 동안 특정 반응을 나타내면, 개인(202)의 이 특정 반응은 개인(212)이 콘텐츠(204)의 특정 섹션을 보고 있는 동안 개인(212)에게 디스플레이될 수 있다. 이렇게 함으로써, 콘텐츠(204)가 개인(212)에 의해 소비되고 있을 때 개인(212)은 개인(202)의 반응을 볼 수 있다. 도 2(b)는 반응 비디오(208)가 개인(212)에게 출력되는 것을 도시하고 있지만, 반응 비디오(208)는 대안적으로, 또는 부가적으로, 개인(202)에게도 출력될 수 있다.
몇몇 구현예에서, 반응 비디오(208)는 콘텐츠(204)와 연관되어 저장되고 이후에 하나 이상의 장치에 출력된다. 다른 구현예에서, 반응 비디오(208) 및 콘텐츠(204)는 라이브 방식으로 출력된다. 다시 말해, 장치(206)가 개인(202)의 반응 비디오(208)를 캡처하는 동안, 개인(212)은 반응 비디오(208)를 볼 수 있다. 이 구현에서, 콘텐츠(204)는 개인(202) 및 개인(212)이 콘텐츠(204)의 동일한 부분들을 동시에 볼 수 있도록 동기화될 수 있다. 몇몇 경우, 콘텐츠(204)가 디스플레이되는 동안 콘텐츠(204)의 적어도 일부분 상에 반응 비디오(208)가 디스플레이된다.
한편, 개인(212)에 의해 반응 비디오(208) 및 콘텐츠(204)가 소비되는 동안, 장치는 반응 비디오(208) 및 콘텐츠(204)에 대한 개인(212)의 반응을 얻을 수 있다. 예를 들어, 개인(212)이 반응 비디오(208) 및 콘텐츠(204)를 보고 있을 때 장치는 개인(212)의 비디오를 캡처할 수 있고, 개인(212)의 오디오를 캡처할 수 있고, 및/또는 개인(212)의 신체의 움직임, 신경 반응, 심장 박동 및/또는 혈압을 모니터링할 수 있다. 장치는 개인(212)의 명시적 인지 및 동의하에 개인(212)의 반응을 취득한다. 개인(212)의 얻어진 반응 및 콘텐츠(204)는 다른 장치 또는 장치(206)에 동시에 출력(예를 들어, 동시에 디스플레이)될 수 있다. 위에서 설명한 바와 유사하게, 개인(212)의 반응은 콘텐츠(204)에 동기화될 수 있다.
몇몇 경우, 개인(212)이 개인(202)의 반응 비디오(208)를 라이브 방식으로 보는 동안, 개인(202)은 개인(212)의 반응을 라이브 방식으로 본다. 이 경우, 콘텐츠(204)는 라이브 콘텐츠, 즉 라이브 비디오, 비디오 게임 등과 같은 동기화되는 콘텐츠를 포함할 수 있다. 이것은 개인(202) 및 개인(212)이 라이브 방식으로 서로의 반응을 볼 수 있도록 해준다.
몇몇 구현예에서, 콘텐츠(204)에 대한 반응은 임의의 수의 개인에 대해 획득된다. 예를 들어, 콘텐츠(204)가 다른 개인에 의해 소비될 때마다, 콘텐츠(204)에 대한 다른 개인의 반응이 얻어질 수 있다. 이러한 반응들 중 하나 이상은 콘텐츠(204)와 동시에 출력될 수 있다. 몇몇 예에서, 반응의 적어도 일부는 예를 들어 반응이 얻어졌을 때의 시간 및/또는 반응과 연관된 개인(즉, 반응을 나타내는 개인)과 반응을 소비하게 될 개인의 개인 정보에 기초하여 콘텐츠(204)와 함께 출력되도록 선택된다. 예를 들어, 획득된 가장 최근의 반응(예를 들면, 몇 분, 몇 시간, 몇 일 전에 획득된 반응)인 하나 이상의 반응이 출력될 수 있다. 추가적으로, 또는 대안적으로, 반응을 소비하게 될 개인의 개인 정보와 유사한 개인 정보에 관련된 하나 이상의 반응이 출력될 수 있다. 예를 들어, 개인 정보는 개인의 위치, 개인의 관심사, 개인의 나이 등을 포함할 수 있다. 개인 정보는 개인의 명시적인 인지 및 동의하에 활용된다.
예시적인 사용자 인터페이스
도 3은 콘텐츠(304)에 대한 개인(302)의 반응을 획득하고 및/또는 반응 및 콘텐츠(304)를 동시에 출력하기 위한 예시적인 사용자 인터페이스(300)를 도시한다. 사용자 인터페이스(300)는 예를 들어 브라우저 및/또는 애플리케이션을 통해 디스플레이될 수 있다. 몇몇 예에서, 사용자 인터페이스(300)는 온라인 소셜 네트워킹 사이트와 같은 온라인 사이트에 의해 디스플레이된다.
사용자 인터페이스(300)는 개인(302)이 콘텐츠(304)를 소비(예를 들어, 보고, 듣는 등)하는 동안 개인(302)의 비디오(306)가 캡처되고 개인(302)이 다른 개인의 하나 이상의 반응 비디오(308-314)를 볼 수 있게 해줄 수 있다. 몇몇 경우, 개인(302)이 콘텐츠(304)의 소비를 시작하기 전 및 개인(302)의 비디오(306)가 캡처되기 전에 통보(316)(예를 들어, 경고 박스)가 개인(302)에 제시된다.
통보(316)는 개인(302)이 콘텐츠(304)를 소비하는 경우 개인(302)의 반응을 획득하기 위해 개인(302)으로부터 승인을 요청할 수 있다. 도시된 바와 같이, 통보(316)는 권한을 제공 또는 부여하기 위한 계속 버튼 및 취소 버튼을 포함할 수 있다. 계속 버튼을 선택하는 것에 응답하여, 콘텐츠(304)가 출력되고 개인(302)의 비디오(306)가 캡처될 수 있다. 한편, 취소 버튼의 선택에 응답하여, 콘텐츠(304)는 개인(302)의 비디오(306)의 캡처없이 출력될 수 있다. 도시되어 있지 않지만, 통보(316)는 또한 반응을 콘텐츠(304)와 연관시키고 및/또는 비디오(306)가 캡처된 이후 비디오(306)를 콘텐츠(304)와 함께 출력하기 위한 승인을 개인(302)으로부터 요청할 수 있다.
콘텐츠(304)의 소비 중에, 개인(302)은 또한 다른 개인의 반응 비디오(308-314) 중 하나 이상을 소비할 수 있다. 반응 비디오(308-314)는 앞서 기록된 하나 이상의 비디오 및/또는 하나 이상의 라이브 비디오를 포함할 수 있다. 개인(302)이 콘텐츠(304)를 보고 있는 동안, 개인(302)의 비디오(306)가 녹화될 수 있다. 녹화가 완료되면, 비디오(306)는 업로드 버튼(318)을 통해 업로드될 수 있다. 비디오(306)는 요청시 하나 이상의 장치에 배포하기 위해 예를 들어 서비스 제공자(예를 들어, 서비스 공급자(104))에 업로드될 수 있다.
비디오(306)를 업로드한 후, 개인(302)이 콘텐츠(304)와 함께 반응 비디오(308-314)를 본 방식과 유사한 방식으로 하나 이상의 다른 개인이 콘텐츠(304)와 함께 비디오(306)를 볼 수 있도록 비디오(306)는 콘텐츠(304)와 연관될 수 있다. 몇몇 예에서, 비디오(306)는 하나 이상의 다른 개인이 볼 수 있도록 사용자 인터페이스(300)에 제공된다. 비디오(306)는 반응 비디오(308-314)가 제공되는 사용자 인터페이스(300)에 제공될 수 있다.
몇몇 구현예에서, 개인(302)은 개인(302)이 콘텐츠(304)에 대한 비디오(306)를 생성하였다는 것을 나타내는 메시지를 하나 이상의 다른 개인에게 전송할 수 있다. 몇몇 경우, 메시지는 비디오(306) 및 콘텐츠(304)를 액세스하기 위한 온라인 사이트에 대한 링크를 포함한다. 링크를 선택하는 것에 응답하여, 하나 이상의 개인은 콘텐츠(304)와 함께 비디오(306)를 볼 수 있는 온라인 사이트로 안내될 수 있다. 하나 이상의 다른 개인은 온라인 소셜 네트워킹 사이트와 같은 온라인 커뮤니티와 연관될 수 있다. 한편, 사용자 인터페이스(300)는 또한 코멘트를 입력할 입력 필드(320), 및 다른 개인에 의해 제출된 이전의 코멘트(322 및 324)를 포함한다.
예시적인 반응 캡처
도 4는 콘텐츠가 캡처될 때 개인(402)의 반응을 캡처하기 위한 예시적인 장치(400)를 도시한다. 본 명세서에서 장치(400)는 개인(402)의 비디오를 갭처(예를 들어, 기록)하는 전면 카메라(404) 및 콘텐츠를 캡처(예를 들어, 기록)하는 후면 카메라(406)를 포함한다. 기록하는 동안, 장치(400)는 콘텐츠가 후면 카메라(406)를 통해 캡쳐되는 동안, 전면 카메라(404)를 통해 개인(402)의 반응을 캡처한다. 개인(402)의 반응은 캡처중인 콘텐츠에 대한 반응을 포함할 수 있다.
이 예에서는, 개인(402)은 차량(408)의 비디오 및 차량(408)에 대한 개인(402)의 반응을 캡처하기 위해 장치(400)를 이용한다. 예를 들어, 개인이 개인(402)에게 접근하는 차량(408)의 비디오를 기록하는 경우, 장치(400)는 또한 개인(402)의 불안해하는 얼굴 표정을 기록할 수 있다. 여기서, 장치(400)는 녹화 버튼(410)을 선택하여 녹화를 시작할 수 있다. 기록 이후, 차량(408)의 비디오와 개인(402)의 반응은 서로에 대해 연관되어 저장될 수 있고 및/또는 장치(400) 및/또는 다른 장치에 출력될 수 있다. 개인(402)의 반응 및 차량(408)의 비디오는 디스플레이에 동시에 출력되어 개인은 차량(408)에 대한 개인(402)의 반응을 볼 수 있다.
예시적인 콘텐츠 분석
도 5는 하나 이상의 개인에게 출력될 수 있는 콘텐츠의 하나 이상의 섹션을 결정하기 위한 예시적인 프로세스(500)를 도시한다. 여기서, 하나 이상의 섹션은 개인(508-512)이 콘텐츠(514)를 소비할 때 얻어진 하나 이상의 반응(502-506)에 기초하여 결정될 수 있다. 예시되어 있는 바와 같이, 반응(502)은 콘텐츠(514)와 연관된 시간(516)에서 개인(508)으로부터 얻어지고, 반응(504)은 시간(516)에서 개인(510)으로부터 구해지며, 반응(506)은 시간(518)에서 개인(512)으로부터 얻어진다. 여기서, 반응(502 및 504)은 시간(516)에서 동시에 얻어졌다.
일 구현예에서, 반응이 얻어지고 콘텐츠(514)와 연관될 때 분석이 수행된다. 이 분석은 반응에 대응하는 콘텐츠(514)의 섹션을 결정할 수 있다. 예를 들어, 분석은 반응(502)이 콘텐츠(514)에서 시간(516)과 연관되어 있는 것으로 결정하고 시간(516)에 해당하는 콘텐츠(514)의 섹션을 선택할 수 있다.
이후, 다른 개인이 콘텐츠(514)를 소비할 때, 콘텐츠(514)의 선택된 섹션은 다른 개인에게 출력될 수 있다. 몇몇 경우, 콘텐츠(514)의 선택된 섹션은 반응(502)과 함께 출력된다. 이렇게 함으로써, 다른 개인은 또 다른 개인이 흥미를 가질 수 있는 콘텐츠의 섹션을 소비할 수 있다.
몇몇 구현예에서, 콘텐츠(514)의 섹션은 둘 이상의 반응에 기초하여 선택될 수 있다. 여기서, 여러 사람이 동시에 반응을 표명할 때, 그 콘텐츠(514)의 섹션은 선택될 수 있다. 예를 들어, 시간(516)에 해당하는 콘텐츠의 섹션은 시간(516)에서 얻어진 반응(502 및 504)에 기초하여 선택될 수 있다.
또한, 몇몇 실시예에서, 콘텐츠(514)의 섹션은 특정 유형의 반응이 얻어질 때 선택될 수 있다. 특정 유형의 반응은 예를 들어 미소, 찌푸린 얼굴, 머리 움직임, 팔 운동, 웃음, 고함, 외침 등을 포함할 수 있다. 몇몇 경우, 콘텐츠(514)의 섹션은 사전결정된 수의 개인이 그 섹션에서 특정 유형의 반응을 표현할 때 선택된다.
몇몇 예에서, 콘텐츠(514)는 개인의 하나 이상의 반응에 대응하는 시간에 위치하는 하나 이상의 표시자와 함께 제시될 수 있다. 표시자는 임의의 시간(516 또는 518)에 대해 도 5에 도시된 원과 유사할 수 있다. 표시자는 진행 표시 줄(520)과 같은 진행 표시 줄에 표시될 수 있다. 몇몇 예에서, 개인이 하나 이상의 표시자 중 하나를 선택하면, 개인은 또 다른 개인의 반응에 대응하는 콘텐츠(514)의 섹션을 소비할 수 있다. 몇몇 예에서, 하나 이상의 개인의 반응에 대응하는 표시자를 제시함으로써, 개인은 하나 이상의 개인이 흥미를 가진 콘텐츠(514)의 섹션을 소비하기로 선택할 수 있다.
예시적인 프로세스
도 6 및 도 7은 본 명세서에 기재된 기술을 사용하는 예시적인 프로세스(600 및 700)를 나타낸다. 설명의 용이성을 위해, 프로세스(600 및 700)는 도 1의 아키텍처(100)에서 수행되는 것으로 설명된다. 예를 들어, 프로세스(600 및 700)의 개별 동작 중 하나 이상은 장치(102) 및/또는 서비스 제공자(104)에 의해 수행될 수 있다. 그러나, 프로세스(600 및 700)는 다른 아키텍쳐에서 수행될 수 있다. 또한, 아키텍처(100)는 다른 프로세스를 수행하기 위해 사용될 수 있다.
프로세스(600 및 700)(및 본 명세서에서 설명된 각 프로세스)는 논리적 흐름도로 예시되어 있는데, 논리적 흐름도의 각 동작은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있는 일련의 동작을 나타낸다. 소프트웨어의 맥락에서, 동작은 하나 이상의 프로세서에 의해 실행될 때 기재된 동작을 수행하는, 하나 이상의 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 실행가능 명령어를 나타낸다. 일반적으로, 컴퓨터 실행가능 명령어는 특정 기능을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 동작이 설명되는 순서는 한정하는 것으로 해석되도록 의도되지 않으며, 설명된 동작은 임의의 수는 프로세스를 구현하기 위해 임의의 순서로 및/또는 병렬로 조합될 수 있다.
특히, 도 6은 콘텐츠가 하나 이상의 개인들에 출력될 때 콘텐츠에 대한 하나 이상의 개인의 하나 이상의 반응을 취득하고, 콘텐츠와 함께 하나 이상의 반응을 출력하기 위한 프로세스(600)를 도시한다. 프로세스(600)는 하나 이상의 개인에게 콘텐츠를 출력하기 위한 동작(602)을 포함한다. 콘텐츠는 예를 들어 도 1의 장치(102)와 같은 하나 이상의 개인들과 연관된 장치를 통해 출력될 수 있다. 콘텐츠가 출력되는 동안, 하나 이상의 개인의 하나 이상의 반응을 얻기 위한 동작(604)이 수행될 수 있다. 동작(604)은 하나 이상의 개인의 명시적 인지 및 동의가 있는 경우에 예를 들어 하나 이상의 개인의 비디오를 캡처하고, 하나 이상의 개인의 오디오를 캡쳐하고 및/또는 하나 이상의 개인의 신체 움직임, 신경 반응, 심장 박동 및/또는 혈압을 모니터링하는 것을 포함할 수 있다.
프로세스(600)는 또한 하나 이상의 개인의 하나 이상의 반응을 콘텐츠와 연관시키기 위한 동작(606)을 포함한다. 예를 들어, 하나 이상의 반응은 콘텐츠와 연관되어 예를 들어, 하나 이상의 개인과 연관된 장치(예를 들어, 장치(102)) 및/또는 서비스 제공자(예를 들어, 서비스 제공자(104))에 저장될 수 있다. 몇몇 경우, 프로세스(600)는 출력될 콘텐츠의 하나 이상의 섹션을 선택하기 위한 동작(608)을 포함한다. 콘텐츠의 하나 이상의 섹션은 특정 유형의 반응과 연관된 콘텐츠의 섹션일 수 있다. 다른 경우, 프로세스(600)는 동작(608)을 수행하지 않고 동작(606)으로부터 동작(610)으로 진행할 수 있다.
프로세스(600)는 또한 하나 이상의 개인 또는 하나 이상의 다른 개인에게 동시에 출력되도록 하나 이상의 반응 및 콘텐츠를 제공하기 위한 동작(610)을 포함한다. 하나 이상의 반응 및 콘텐츠는 하나 이상의 개인과 연관된 장치(예를 들어, 장치(102)) 및/또는 하나 이상의 다른 개인과 연관된 다른 장치 통해 출력될 수 있다. 몇몇 경우, 작업(608)이 수행될 때, 동작(610)은 동작(608)에서 선택된 콘텐츠의 하나 이상의 섹션을 제공하는 동작을 포함할 수 있다.
또한, 프로세스(600)는 콘텐츠 및 하나 이상의 개인의 하나 이상의 반응이 하나 이상의 다른 개인에게 출력하는 동안 하나 이상의 다른 개인의 하나 이상의 반응을 얻기 위한 동작(612)을 포함한다. 그 후, 프로세스(600)는 동작(606)으로 되돌아가 동작(612)으로부터 얻어진 하나 이상의 반응을 콘텐츠와 연관시킬 수 있다. 그런 다음, 프로세스는 콘텐츠의 하나 이상의 섹션을 선택하기 위한 동작(608) 및 출력되는 콘텐츠 및 하나 이상의 다른 개인의 하나 이상의 반응을 동시에 제공하기 위한 동작(610)을 수행할 수 있다. 몇몇 경우, 콘텐츠는 동작(612)에서 얻어진 하나 이상의 다른 개인의 하나 이상의 반응 및 동작(604)에서 얻어진 하나 이상의 개인의 하나 이상의 반응과 함께 하나 이상의 추가의 개인에게 출력된다. 동작(612)은 하나 이상의 추가의 개인의 하나 이상의 반응을 얻기 위해 수행될 수 있다. 몇몇 예에서, 프로세스(600)는 사전결정된 횟수로 동작(606-612)을 수행한다. 대안적으로, 또는 부가적으로, 프로세스(600)는 콘텐츠의 사전결정된 개수의 섹션이 동작(608)에 의해 선택될 때까지 동작(606-612)을 수행할 수 있다.
한편, 도 7은 콘텐츠를 제공하고 콘텐츠에 대한 반응을 획득하고, 콘텐츠와 반응을 제공하기 위한 프로세스(700)를 도시한다. 프로세스(700)는 장치(102)와 같은 장치에 콘텐츠를 제공하는 동작(702)을 포함한다. 몇몇 예에서, 콘텐츠는 스트리밍 형식으로 서비스 제공자(예를 들어, 서비스 제공자(104))에 의해 제공될 수 있다. 프로세스(700)는 장치를 통해 하나 이상의 개인에게 콘텐츠를 출력하기 위한 동작(704)을 포함한다. 콘텐츠가 출력되는 동안, 동작(706)은 콘텐츠에 대한 하나 이상의 개인의 하나 이상의 반응을 얻기 위해 수행될 수 있다. 작업(706)은 개인와 연관된 장치(예를 들면, 장치(102))에 의해 수행될 수 있다.
또한, 프로세스(700)는 서비스 제공자(104)와 같은 서비스 제공자에 하나 이상의 반응을 제공하기 위한 동작(708)을 포함한다. 프로세스(700)는 또한 하나 이상의 반응을 콘텐츠와 연관지어 저장하는 동작(710)을 포함한다. 동작(710)은 서비스 제공자에 의해 수행될 수 있다. 또한, 프로세스(700)는 하나 이상의 장치에게 콘텐츠 및 하나 이상의 개인의 하나 이상의 반응을 제공하기 위한 동작(712)을 포함한다. 일부 경우, 서비스 제공자는 하나 이상의 장치로부터의 요구에 응답하여 동작(712)을 수행한다.
결론
본 발명은 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 본 발명은 전술한 바와 같은 특정 특징 또는 동작들에 반드시 국한될 필요는 없다. 그 보다, 전술한 특정 특징 및 동작들은 실시예들을 구현하기 위한 예시적인 형식으로 개시되어 있다.

Claims (15)

  1. 하나 이상의 프로세서와,
    상기 하나 이상의 프로세서에 의해 액세스가능하고 동작들을 실행하도록 상기 하나 이상의 프로세서에 의해 실행가능한 반응 모듈을 저장하는 메모리를 포함하되,
    상기 동작들은
    콘텐츠가 캡처 또는 디스플레이되는 경우 상기 콘텐츠에 대한 개인의 반응을 획득하는 동작과,
    상기 개인의 반응을 상기 콘텐츠와 연관시키는 동작과,
    하나 이상의 개인에게 디스플레이하기 위해 상기 개인의 반응 및 상기 콘텐츠를 제공하는 동작- 상기 개인의 반응 및 상기 콘텐츠는 상기 하나 이상의 개인에게 동시에 디스플레이됨 -
    을 포함하는,
    시스템.
  2. 제1항에 있어서,
    상기 콘텐츠를 캡처하는 제1 비디오 카메라와,
    상기 콘텐츠가 상기 제1 비디오 카메라에 의해 캡처되는 경우 상기 개인의 반응을 캡처하는 제2 비디오 카메라
    를 더 포함하는 시스템.
  3. 제1항에 있어서,
    상기 개인의 반응을 획득하는 동작은 상기 개인의 비디오를 캡처하는 동작, 상기 개인의 오디오를 캡처하는 동작 및 상기 개인의 물리적 응답을 모니터링하는 동작 중 하나 이상을 포함하는
    시스템.
  4. 제1항에 있어서,
    상기 연관시키는 동작은 상기 개인의 반응을 상기 콘텐츠와 연관된 메타데이터로서 저장하는 동작을 포함하는
    시스템.
  5. 제1항에 있어서,
    상기 연관시키는 동작은 네트워크를 통해 상기 시스템에 액세스가능한 하나 이상의 서버에 상기 개인의 반응 및 상기 콘텐츠를 저장하는 동작을 포함하는
    시스템.
  6. 제1항에 있어서,
    상기 동작들은 상기 개인의 반응과 함께 상기 콘텐츠를 디스플레이하는 동작을 더 포함하는
    시스템.
  7. 제6항에 있어서,
    상기 개인의 반응은 상기 콘텐츠가 디스플레이되는 동안 상기 콘텐츠의 적어도 일부분 상에 디스플레이되는
    시스템.
  8. 제1항에 있어서,
    상기 제공하는 동작은 상기 개인의 반응을 표현하는 디스플레이용 아바타를 제공하는 동작을 포함하는
    시스템.
  9. 제1항에 있어서,
    상기 제공하는 동작은 상기 개인의 반응 및 상기 콘텐츠를 소셜 네트워킹 사이트에 동시에 디스플레이하기 위해 상기 개인의 반응 및 상기 콘텐츠를 상기 소셜 네트워킹 사이트에 제공하는 동작을 포함하는
    시스템.
  10. 제1항에 있어서,
    상기 동작들은
    상기 개인의 반응을 획득하기 전에 상기 개인에게 통보를 제공하는 동작을 더 포함하되, 상기 통보는 상기 콘텐츠가 캡처되는 동안 또는 상기 개인에게 디스플레이되는 동안 또는 둘 모두에서 상기 개인이 녹화될 것임을 나타내는
    시스템.
  11. 제1항에 있어서,
    상기 동작들은
    상기 개인의 반응에 적어도 부분적으로 기초하여, 특정 유형의 반응과 연관된 상기 콘텐츠의 하나 이상의 섹션을 선택하는 동작을 더 포함하는
    시스템.
  12. 개인에게 콘텐츠를 출력하는 단계와,
    상기 콘텐츠가 상기 개인에게 출력되는 동안 상기 콘텐츠에 대한 상기 개인의 반응을 획득하는 단계와,
    하나 이상의 개인에게 출력되도록 상기 개인의 반응 및 상기 콘텐츠를 제공하는 단계- 상기 개인의 반응 및 상기 콘텐츠는 상기 하나 이상의 개인이게 동시에 출력됨 -
    를 포함하는 컴퓨터 구현 방법.
  13. 제12항에 있어서,
    상기 개인의 반응을 획득하는 단계는 상기 개인의 비디오를 캡처하는 단계, 상기 개인의 오디오를 캡처하는 단계 및 상기 개인의 물리적 응답을 모니터링하는 단계 중 하나 이상을 포함하는
    컴퓨터 구현 방법.
  14. 제12항에 있어서,
    상기 콘텐츠는 비디오 데이터 및 오디오 데이터 중 하나 이상을 포함하는
    컴퓨터 구현 방법.
  15. 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서로 하여금 청구항 제12항 내지 제14항 중 어느 한 항의 방법을 수행하게 명령어들을 저장하는 하나 이상의 컴퓨터 판독가능 매체.
KR1020147019066A 2012-01-10 2013-01-09 개인의 반응과 함께 콘텐츠를 소비하는 기법 KR20140117394A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/347,546 US9571879B2 (en) 2012-01-10 2012-01-10 Consumption of content with reactions of an individual
US13/347,546 2012-01-10
PCT/US2013/020709 WO2013106352A1 (en) 2012-01-10 2013-01-09 Consumption of content with reactions of an individual

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004543A Division KR102180716B1 (ko) 2012-01-10 2013-01-09 개인의 반응과 함께 콘텐츠를 소비하는 기법

Publications (1)

Publication Number Publication Date
KR20140117394A true KR20140117394A (ko) 2014-10-07

Family

ID=48744891

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207004543A KR102180716B1 (ko) 2012-01-10 2013-01-09 개인의 반응과 함께 콘텐츠를 소비하는 기법
KR1020147019066A KR20140117394A (ko) 2012-01-10 2013-01-09 개인의 반응과 함께 콘텐츠를 소비하는 기법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207004543A KR102180716B1 (ko) 2012-01-10 2013-01-09 개인의 반응과 함께 콘텐츠를 소비하는 기법

Country Status (6)

Country Link
US (2) US9571879B2 (ko)
EP (1) EP2802969A4 (ko)
JP (1) JP6261515B2 (ko)
KR (2) KR102180716B1 (ko)
CN (1) CN104040467B (ko)
WO (1) WO2013106352A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133850A1 (en) * 2019-12-26 2021-07-01 Organic Intelligence Technologies, Inc. Analyzing media based on non-human animal input
KR20220053358A (ko) * 2020-10-22 2022-04-29 숙명여자대학교산학협력단 감정 객체 분석 방법 및 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI425935B (zh) * 2011-10-19 2014-02-11 Pixart Imaging Inc 具心跳量測功能的光學式觸控器、手持式電子裝置以及提高量測心跳準確率的方法
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
JP6369462B2 (ja) * 2013-05-30 2018-08-08 ソニー株式会社 クライアント装置、制御方法、システム、およびプログラム
EP3272126A1 (en) 2015-03-20 2018-01-24 Twitter, Inc. Live video stream sharing
US10721499B2 (en) * 2015-03-27 2020-07-21 Twitter, Inc. Live video streaming services
US20170046065A1 (en) * 2015-04-07 2017-02-16 Intel Corporation Avatar keyboard
JP2017054241A (ja) * 2015-09-08 2017-03-16 株式会社東芝 表示制御装置、方法及びプログラム
CN108431795A (zh) * 2015-09-16 2018-08-21 爱奇 用于信息捕获和呈现的方法和设备
US10105608B1 (en) 2015-12-18 2018-10-23 Amazon Technologies, Inc. Applying participant metrics in game environments
US10931676B2 (en) * 2016-09-21 2021-02-23 Fyfo Llc Conditional delivery of content over a communication network including social sharing and video conference applications using facial recognition
US11206462B2 (en) 2018-03-30 2021-12-21 Scener Inc. Socially annotated audiovisual content
EP3550817B1 (en) 2018-04-06 2023-06-07 Nokia Technologies Oy Apparatus and method for associating images from two image streams
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
WO2020084972A1 (ja) * 2018-10-22 2020-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、コンテンツ管理システム、プログラム、及び、データ構造
KR20200063777A (ko) * 2018-11-28 2020-06-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2020184122A1 (ja) * 2019-03-11 2020-09-17 ソニー株式会社 情報処理装置、および情報処理システム
FR3094856B1 (fr) * 2019-04-02 2021-04-30 Unique Entertainment Experience Procede de génération d’un element multimedia au cours de la lecture d’un media, terminal, systeme
US11936948B1 (en) * 2023-01-24 2024-03-19 Roku, Inc. Method and system for generating a visual composition of user reactions in a shared content viewing session

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050210393A1 (en) 2000-07-05 2005-09-22 Forgent Networks, Inc. Asynchronous collaboration via audio/video annotation
JP4595998B2 (ja) 2001-02-06 2010-12-08 ソニー株式会社 コンテンツ再生装置、コンテンツ受信装置、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US6585521B1 (en) 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
WO2003067448A1 (en) 2002-02-02 2003-08-14 E-Wings, Inc. Distributed system for interactive collaboration
US7003139B2 (en) 2002-02-19 2006-02-21 Eastman Kodak Company Method for using facial expression to determine affective information in an imaging system
KR100547339B1 (ko) * 2003-02-06 2006-01-26 엘지전자 주식회사 북마크 키를 이용한 재생장치 및 그 방법
JP4335642B2 (ja) 2003-11-10 2009-09-30 日本電信電話株式会社 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
JP4543694B2 (ja) 2004-02-17 2010-09-15 富士ゼロックス株式会社 コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
JP2005277989A (ja) * 2004-03-26 2005-10-06 Oki Electric Ind Co Ltd 通信端末装置およびその画像提供方法
JP2005317151A (ja) * 2004-04-30 2005-11-10 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ同期再生方法、マルチメディアデータ同期再生装置およびマルチメディアデータ同期再生プログラム
US20060020966A1 (en) * 2004-07-22 2006-01-26 Thomas Poslinski Program guide with integrated progress bar
KR20060021544A (ko) 2004-09-03 2006-03-08 (주) 엘지텔레콤 이동통신단말기 사용자의 표정인식을 이용한 방송 선호도조사방법
US20070005812A1 (en) 2005-06-29 2007-01-04 Intel Corporation Asynchronous communicative exchange
US20070203426A1 (en) 2005-10-20 2007-08-30 Kover Arthur J Method and apparatus for obtaining real time emotional response data over a communications network
US20080059994A1 (en) 2006-06-02 2008-03-06 Thornton Jay E Method for Measuring and Selecting Advertisements Based Preferences
US20080043089A1 (en) * 2006-06-16 2008-02-21 Auerbach Philip Real time interactive entertainment
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
US20080184122A1 (en) 2007-01-13 2008-07-31 Grant Michael A System and method for conducting on-line discussions.
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US8166109B2 (en) * 2007-06-21 2012-04-24 Cisco Technology, Inc. Linking recognized emotions to non-visual representations
US20090052645A1 (en) * 2007-08-22 2009-02-26 Ravi Prakash Bansal Teleconference system with participant feedback
US20090167839A1 (en) 2007-12-27 2009-07-02 Desmond Ottmar Methods and apparatus for providing communication between multiple television viewers
US8646017B2 (en) * 2008-01-14 2014-02-04 At&T Intellectual Property I, L.P. Method and apparatus for providing collaborative viewing of a media stream
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8223185B2 (en) * 2008-03-12 2012-07-17 Dish Network L.L.C. Methods and apparatus for providing chat data and video content between multiple viewers
KR20090121016A (ko) 2008-05-21 2009-11-25 박영민 시청자 반응 측정 방법 및 시스템
US20090307189A1 (en) 2008-06-04 2009-12-10 Cisco Technology, Inc. Asynchronous workflow participation within an immersive collaboration environment
US20090327425A1 (en) 2008-06-25 2009-12-31 Microsoft Corporation Switching between and dual existence in live and recorded versions of a meeting
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
JP2010219733A (ja) * 2009-03-16 2010-09-30 Brother Ind Ltd 会議記録装置、会議記録方法および会議記録プログラム
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US9559869B2 (en) 2010-05-04 2017-01-31 Qwest Communications International Inc. Video call handling
US8963987B2 (en) * 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
JP5724283B2 (ja) * 2010-10-15 2015-05-27 ソニー株式会社 情報処理装置、同期方法およびプログラム
US9697919B2 (en) * 2010-12-29 2017-07-04 Westinghouse Electric Company, Llc Anti-vibration tube support plate arrangement for steam generators
US9507416B2 (en) * 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
US8767033B2 (en) * 2011-03-09 2014-07-01 Sony Corporation System and method for providing viewing room services for network based content
US9363361B2 (en) * 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
US8949333B2 (en) * 2011-05-20 2015-02-03 Alejandro Backer Systems and methods for virtual interactions
US9119111B2 (en) * 2011-08-12 2015-08-25 Alcatel Lucent Method and apparatus for controlling wireless uplink sessions
US9060107B2 (en) * 2011-11-23 2015-06-16 Verizon Patent And Licensing Inc. Video responses to messages
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133850A1 (en) * 2019-12-26 2021-07-01 Organic Intelligence Technologies, Inc. Analyzing media based on non-human animal input
US11910781B2 (en) 2019-12-26 2024-02-27 Organic Intelligence Technologies, Inc. Analyzing media based on non-human animal input
KR20220053358A (ko) * 2020-10-22 2022-04-29 숙명여자대학교산학협력단 감정 객체 분석 방법 및 장치

Also Published As

Publication number Publication date
JP2015510308A (ja) 2015-04-02
US10045077B2 (en) 2018-08-07
US20130179911A1 (en) 2013-07-11
KR102180716B1 (ko) 2020-11-19
EP2802969A4 (en) 2015-01-21
KR20200020014A (ko) 2020-02-25
US9571879B2 (en) 2017-02-14
JP6261515B2 (ja) 2018-01-17
US20170099519A1 (en) 2017-04-06
EP2802969A1 (en) 2014-11-19
WO2013106352A1 (en) 2013-07-18
CN104040467B (zh) 2018-10-16
CN104040467A (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
US10045077B2 (en) Consumption of content with reactions of an individual
US10423512B2 (en) Method of collecting and processing computer user data during interaction with web-based content
US11632590B2 (en) Computer-implemented system and method for determining attentiveness of user
US20200342979A1 (en) Distributed analysis for cognitive state metrics
US9646046B2 (en) Mental state data tagging for data collected from multiple sources
US9934425B2 (en) Collection of affect data from multiple mobile devices
KR20130122535A (ko) 웹서비스들을 이용한 심리 상태 분석
US20130218663A1 (en) Affect based political advertisement analysis
CN115735361A (zh) 生成和访问用于产品的视频内容
US11812105B2 (en) System and method for collecting data to assess effectiveness of displayed content
KR20190039617A (ko) 렌더링 동안 하나 이상의 효과로 클라이언트 장치에 의해 획득한 비디오 데이터를 증강하기 위한 아키텍처
US20220318551A1 (en) Systems, devices, and/or processes for dynamic surface marking
US20210295186A1 (en) Computer-implemented system and method for collecting feedback
US20200226012A1 (en) File system manipulation using machine learning
US20220318550A1 (en) Systems, devices, and/or processes for dynamic surface marking
US11995904B2 (en) Systems, devices, and/or processes for dynamic surface marking
WO2014106216A1 (en) Collection of affect data from multiple mobile devices
WO2022207145A1 (en) Systems, devices, and/or processes for dynamic surface marking

Legal Events

Date Code Title Description
N231 Notification of change of applicant
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
A107 Divisional application of patent