KR20150086289A - 온라인 비디오에 대한 자동화된 섬네일 선택 - Google Patents

온라인 비디오에 대한 자동화된 섬네일 선택 Download PDF

Info

Publication number
KR20150086289A
KR20150086289A KR1020157014556A KR20157014556A KR20150086289A KR 20150086289 A KR20150086289 A KR 20150086289A KR 1020157014556 A KR1020157014556 A KR 1020157014556A KR 20157014556 A KR20157014556 A KR 20157014556A KR 20150086289 A KR20150086289 A KR 20150086289A
Authority
KR
South Korea
Prior art keywords
balance
video frames
video
measurement
way
Prior art date
Application number
KR1020157014556A
Other languages
English (en)
Inventor
소피 레브레히트
마이클 제이 타르
데보라 존슨
마크 데스노이에르
선일 말리야 카사라고드
Original Assignee
카네기 멜론 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카네기 멜론 유니버시티 filed Critical 카네기 멜론 유니버시티
Publication of KR20150086289A publication Critical patent/KR20150086289A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

비디오 스트림으로부터 추출된 최선의 섬네일에 대한 액세스가 제공된다. 시각적 이미지의 지각으로부터 두뇌 및 행동에 의해 생성된 선호(preferences)를 포함하는 모델과 함께 구성된 처리 장치를 이용하여, 주어진 비디오에 대한 최선의 섬네일이 선택되고, 저장되고, 그리고/또는 표시된다.

Description

온라인 비디오에 대한 자동화된 섬네일 선택{AUTOMATED THUMBNAIL SELECTION FOR ONLINE VIDEO}
[관련출원의 상호참조]
본 출원은 2012년 11월 14일 출원된 미국 예비출원 제61/796,555호에 기초로 하며, 이의 우선권을 주장하며, 그의 전문이 여기에서 참조로 포함된다. 이 출원은 WO 2013/131104호로 공개된 PCT 국제출원 PCT/US2013/028945호와 관련되어 있으며, 그의 전문이 여기에서 참조로 포함된다.
[정부권리]
본 발명은 국립과학재단(National Science Foundation) NSFIIP1216835의 정부 지원에 의해 이루어졌다. 정부는 이 발명에 대해 특정한 권리를 갖는다.
수십년 동안, 심리학자들은 지각과 감정을 별개의 과정으로 간주하였다. 지각 시스템은 시각적 정보를 보고 감정 네트워크가 감정적 특성을 평가한다고 추정되었다. 그러나 본 출원인의 연구는 이러한 과정들이 분리될 수 없으며, 일부 감정적인 구성요소가 실제로 지각 과정과 긴밀하게 연관됨을 보여준다(Lebrecht, S., Bar, M., Barrett, L. F. & Tarr, M. J. Micro-Valences: Perceiving Affective Valence in Everyday Objects). Frontiers in Psychology 3, (2012)). 본 출원인은 밸런스(valence) -양에서 음을 나타내는 감정 차원(Russell, J. A. A circumplex model of affect. Journal of personality and social psychology 39, 1161-1178 (1980))- 가 대부분의 시각적 정보에서 나타나며, 지각 표현의 일부로 부호화된다는 것을 보여주었다. 본 출원인은 밸런스 지각(valence perception)이 저수준의 지각 특징 및 관련 연상, 또는 행동에 영향을 미치는 단일 밸런스 "점수"로서 두뇌가 출력하는 전체 요지를 가져오는 매우 유사한 특징의 조합으로부터 기인하는 것을 보여주었다.
이 연구의 근저에 있는 두 번째의 기본 생각은 밸런스(valence)가 행동에 영향을 미칠 정도로 강하거나 명백할 필요가 없다는 것이다. 대부분의 연구자들은 일반적으로 강하게 감정적인 대상들이나 장면들을 연구한다(Greenwald, A. G., McGhee, D. E. & Schwartz, J. L. 암묵적 인지 내의 개인적 차이의 측정: 암묵적 연관 시험(Measuring individual differences in implicit cognition: the implicit association test). J Pers Soc Psychol 74, 1464-1480 (1998); Avero, P. & Calvo, M. G. 정서적 장면의 화면과 감정적 기폭: 지각 유사성 및 범주 연관성의 역할(Affective priming with pictures of emotional scenes: the role of perceptual similarity and category relatedness). Span J Psychol 9, 10-18 (2006); Calvo, M. G. & Avero, P. 중심오목부근 시야 내의 정서적 화면의 감정적 기폭: 좌측 시야 우위(Affective priming of emotional pictures in parafoveal vision: Left visual field advantage). Cognitive, Affective, & Behavioral Neuroscience 8, 41 (2008); Rudrauf, D., David, O., Lachaux, J. P., Kovach, C. K., et al. 복부 시각 스트림 및 정서-관련 구조 사이의 빠른 상호작용은 2-경로 설계에 의존(Rapid interactions between the ventral visual stream and emotion-related structures rely on a two-pathway architecture). J Neurosci 28, 2793-2803 (2008); Colibazzi, T., Posner, J., Wang, Z., Gorman, D., et al. 유도된 감정 경험 동안 신경 시스템의 밸런스 및 각성 조장(Neural systems subserving valence and arousal during the experience of induced emotions). Emotion 10, 377-389 (2010); Weierich, M. R., Wright, C. I., Negreira, A., Dickerson, B. C. & Barrett, L. F. 감정적 뇌의 차원으로서의 새로움(Novelty as a dimension in the affective brain). Neuroimage 49, 2871-2878 (2010)). 이는 감정인식을 고정하는 데 도움이 되지만, 일상에서 만나는 일반적인 대상들에 대해서는 거의 설명하지 못하고 있다. 그들이 마주치는 거의 모든 시각적 정보에 가치를 인식하고, 일반적으로 감정 연구자에 의해 "중성(neutral)"으로 간주되는 대상은 실제로 자동적으로 "마이크로"-밸런스(valence)의 인식을 발생시킨다. 이 연구는 일련의 지각, 인지, 및 뇌영상 패러다임을 포함하는 통합된 정신 및 뇌 접근에 의해 확인되었다. 본 출원인은 (a) 개인의 마이크로-밸런스를 측정할 수 있다는 것, (b) 이는 선택과 연관된다는 것, (c) 이는 강하게 감정적인 대상에 대해 부호화하는 동일한 신경 메커니즘에 의해 부호화된다는 것, 및 (d) 밸런스(valence)는 대상에 대해 배타적으로 부호화하는 영역에 의해 처리된다는 것을 성공적으로 입증할 수 있었다(Lebrecht, S. & Tarr, M. 암묵적 측정을 통한 대상의 마이크로-밸런스 정의(Defining an object's micro-valence through implicit measures). Journal of Vision 10, 966 (2010); Lebrecht, S., Bar, M., Sheinberg, D. L. & Tarr, M. J. 마이크로-밸런스(Micro-Valence): 명목상 중성인 시각 대상이 감정 밸런스를 갖는다(Micro-Valence: Nominally neutral visual objects have affective valence). Journal of Vision 11, 856-856 (2011); Lebrecht, S., Johnson, D. & Tarr, M. J. [in revision] 감정적 어휘의 기폭 점수(The Affective Lexical Priming Score). Psychological Methods).
행동 실험을 통하여, 본 출원인은 제한된 인구통계적 집단에서 밸런스 지각에 강한 일치가 존재한다는 것을 발견하였다. 이전에는 "중성"으로 간주되었던 대상의 지각 내의 이러한 현저한 일치는 소비자 행동 분야에 대한 의미있는 잠재력을 제공한다. 밸런스 지각이 정량화될 수 있는 연속체로 동작한다는 증거가 이어지는 fMRI 실험을 통해 밝혀졌다. 특정한 관심사로, 본 출원인은 마이크로-밸런스가 강한 밸런스를 부호화하는 것과 동일한 신경 시스템에 의해 부호화되는 것을 발견하였다. 이는 밸런스 강도가 위상적으로(topologically) 조직화될 수 있음을 시사한다. 관심영역(Region of Interest, ROI) 분석은 또한 밸런스 지각이 백분율 신호 변화의 함수로 변하는 것을 보여준다.
최근, 온라인 비디오의 지형이 주로 사용자-생성 콘텐츠를 특징으로 하는 것으로부터 TV 에피소드, 뉴스 클립, 및 사용자가 TV에서 보는 것과 동일한 무삭제판 영화 등과 같은 더 많은 프리미엄 콘텐츠 비디오를 전달하는 것으로 현저하게 변하고 있다. 온라인으로 사용가능한 전문적으로 제작된 콘텐츠 양의 증가는 비디오 길이의 대응하는 증가를 가져왔으며, 상영전(pre-roll) 및 스트림내(in-stream) 비디오 광고에 대한 더 많은 기회를 생성하고 있다; 광고자는 이미 그 이점을 취하기 시작하였다. 컴스코어(comScore®)에 의하면 유튜브(YouTube®)가 2010년 6월 이후 연속 24개월 동안 매달 시청되는 전체 비디오의 면에서 온라인 비디오 시장을 장악하고 있지만, 프리미엄 콘텐츠에 대한 주도적인 플랫폼인 훌루(Hulu®)가 가장 높은 비디오 광고 시청 수를 나타내었다("ComScore가 진화하는 웹 비디오 풍경을 측정하기 위하여 Video Metrix 2.0을 출시한다." ComScore는 비디오 측정 서비스 개선을 발표하고 2010년 6월의 비디오 매트릭스 순위를 공개한다. July 15, 2010. comScore. Web. 15 Jun. 2012, http://www.comscore.com/Press_Events/ Press_Releases/2010/7/comScore_Launches_Video_Metrix_2.0_to_Measure_ Evolving_Web_Video_Landscape). 수년 이내에 긴 형태의 온라인 비디오의 수가 실질적으로 계속 성장할 것으로 전망되므로, 스트림내 비디오 광고의 수도 유사한 증가가 예상된다.
대량판매 시장의 기회가 디지털 광고 공간에 놓여있지만, 웹 커머스 산업 내의 디지털 비디오의 사용으로부터 오는 기회가 간과되어서는 안된다. 디지털 비디오는 지금, 예를 들면 구매 시점에서 제품 시연을 위해 사용되고 있다. 온라인 소비 및 경쟁이 증가함에 따라, 이러한 유형의 비디오가 이미 경쟁력 우위를 제공하고 있다 - 제품 비디오를 제공하는 인터넷 소매점이 비디오 설명이 있는 제품에 대해서 판매가 증가하고 환불이 줄어드는 것을 보여주었다. 2009년에, 온라인 구두판매의 강력한 조직인 자포스닷컴(Zappos.com®)은 비디오 설명이 있는 제품에 대해 6-30% 범위의 증가된 판매를 보고하였다(구두 쇼핑 방법의 변화: 판매 촉진을 위해 소매점에서 스트리밍 비디오를 사용하는 방법에 대한 Zappos.com 부장 Rico Nasol과의 인터뷰. Video. Streaming Media West: FOXBusiness.com, December 4, 2009. http://video.foxbusiness.com/v/3951649/ changing-the-wayyou- shop-for-shoes/).
본 발명의 일 양상에서, 하나 이상의 처리 장치에 의해 수행되는 방법은 비디오 스트림으로부터 가장 높은 포지티브(positive) 감정 밸런스(Affective Valence)를 갖는 비디오 프레임에 대한 데이터를 검색하는 것을 포함하며, 그리하여 가장 효과적인 대표 섬네일(thumbnail)의 기능을 한다.
본 발명의 실시형태는 하나 이상의 다음의 구현들을 포함할 수 있다. 시각적인 지각 동안 생성되며 인간 뇌 내에서 선택 및 의사결정 구조 정보를 주는 신호인 감정 밸런스(Affective Valance)가 행동 방법을 사용하여 실험적으로 평가될 수 있다. 감정 밸런스(Affective Valance)는 또한 기능적 자기공명영상(functional magnetic resonance imaging, fMRI)을 사용하여 평가될 수 있다.
본 발명의 다른 양상에서, 신경 시스템에 의해 부호화되기 위하여 비디오 프레임이 강한 또는 각성 감정 지각을 생성할 필요는 없으며, 강한 감정 정보는 정보를 교환하고 행동을 유도하기 위하여 이미지를 요구하는 산업 영역에 대한 근본적인 통찰을 나타내는 것을 이해한다. 또한, 이 신경 연속체로부터 직접 연관된 밸런스 지각을 판독하는 능력은 온라인 비디오 출판인과 광고자가 이익을 얻을 수 있는 제품으로 해석되어야 하는 가치있는 수단을 제공한다.
본 발명의 다른 양상에서, 이미지들의 밸런스(valence of images)에 대한 정신 및 신경 부호화의 실험적 방법은 신뢰할 수 있는 예측을 발생시킬 수 있는 다루기 쉬운 모델로 해석된다.
도 1. 도면의 오른쪽은 비디오 스트림으로부터 섬네일이 추출되고 계산 모델을 통해 추천 섬네일을 출력하는 방법을 나타낸다. 왼쪽의 3개의 박스는 계산 모델의 구성요소를 나타낸다.
도 2는 실시예의 하나 이상의 기능이 구현될 수 있는 컴퓨터 시스템의 예를 도시한다.
일 실시형태에서, 크라우드-컴퓨팅 모델(crowd-compute model)을 사용하여 비디오 스트림으로부터 가장 시각적으로 매력적인 섬네일을 예측한다 (도 1). 이 시스템은 감정 밸런스 지각, 빅(big) 데이터, 컴퓨터 비전 및 기계 학습을 통합하는 계산적으로 집약적인 모델이다.
일 예로, 섬네일 추출 모델은 3개의 가중치(weight)를 갖는 가중된 평균 크라우드-컴퓨팅 모델이다: [1] 밸런스 지각(행동), [2] 밸런스의 신경 표현(뇌), 및 [3] 크라우드-소싱된 밸런스 지각. 행동 가중치(behavioral weight)를 생성하기 위하여, 일 실시예에서, 많은 수의 섬네일과 그 지각된 밸런스 점수를 포함하는 데이터베이스가 사용된다. 섬네일의 밸런스를 산출하기 위하여, 이미지 유사도 메트릭을 사용하여 새로운 섬네일을 데이터베이스 내의 가장 유사한 섬네일과 매칭시킨다. 뇌 가중치를 생성하기 위하여, 섬네일 데이터베이스가 지각된 밸런스의 추정치와 같이 그 연관된 신경 응답에 연결되는 점을 제외하고 유사한 기술이 사용된다.
일 예에서, 참가자들은 18-60세의 정상 또는 정상으로 교정된 시력을 가진다. MRI 참가자들은 오른손잡이이며 MRI 참가를 위한 방법-특이적(method-specific) 금기 및 신경학적 및 정신과적 질환 검사를 받았다.
일 예에서, 비디오로부터의 섬네일을 위해 행동 데이터가 수집되며, 섬네일은 예를 들면 여러 크기의 컬러 사진 스크린샷으로 정의된다. 섬네일은, 일 예에서, 다음의 카테고리들을 나타낸다: 뉴스, 스포츠, TV, 음악, 교육, 사용자-생성 콘텐츠, 스크린캐스트(screencasts), 데모 비디오(demonstration video), 마케팅 및 광고. 일 예에서, MR 데이터는 위에서 열거된 다른 카테고리들의 각각으로부터의 다수의 대표적인 섬네일에 대해 수집된다.
일 예에서, 행동 데이터는 온라인 크라우드-소싱 플랫폼들(online crowd-sourcing platforms)을 통해 수집되며, 일 예에서, 이는 다량의 인간 응답 데이터가 다양한 다른 인구통계 집단으로부터 신속하게 획득될 수 있는, 메커니컬 터크(Mechnical Turk)이다.
일 예에서, 섬네일의 지각된 밸런스는 이전에 일상 대상의 밸런스와 그 내재된 신경 표현을 예측하는 데 사용된 "생일 태스크(Birthday Task)"의 버전을 사용한 측정이다. 임의의 주어진 시험에서, 참여자들에게는 동일한 비디오로부터 3개의 섬네일이 제시되며 가장 보기를 원하는 비디오를 클릭하도록 요구받는다. 실험의 이 부분이 두 번째로 반복되고, 참여자들은 가장 보고 싶지 않은 비디오를 클릭하도록 요구받는다(순서는 참여자들에 걸쳐 균형이 잡히게 한다). 세 개 한 벌(triplet)의 각각이, 일 예에서, 한 벌 내에 나타나는 이미지의 수와 1000ms 이하의 값을 곱한 시간만큼 제시되며, 각 조건에서 응답의 일관성을 확립하기 위하여, 비디오 프레임은 고유한 한 벌 내에서 반복된다. 최고 및 최저 조건들은 각각 밸런스의 포지티브 및 네거티브 차원들을 인덱싱하기 위해 설계된다.
일 예에서, 통계 소프트웨어 패키지를 이용하여 데이터가 분석된다. 각 섬네일에 대한 밸런스 점수를 계산하기 위하여, 최고 조건에서 특정 프레임이 선택된 횟수와 최저 조건에서 그 프레임이 선택된 횟수의 차이가 취해진다. 각 참가자에 대한 각 섬네일의 밸런스가 계산되고, 또한 각 섬네일에 대한 단일 평균 그룹 점수를 생성하기 위하여 개별 참가자 점수를 평균한다. 일 실시예에서, 상기 모델은 정해진 파라미터에 기초하여 각 섬네일에 대한 그룹 평균 점수를 동적으로 조절할 수 있다. 예를 들면, 그룹 점수는 모든 참가자의 데이터로부터 계산될 수 있으며, 또는 특정한 나이 범위 또는 다른 인구통계에 기초하는 부분집합으로부터 계산될 수 있다. 이는 모델이 서로 다른 사용자 인구통계 그룹에 대해 최선의 섬네일을 예측하는 것을 허용한다.
일 예에서, 그 내재된 신경 응답에 기초한 각 섬네일에 대한 밸런스 및 강도 값을 포함하는 점수를 생성하기 위하여 fMRI 실험이 사용된다. 일 예에서, 실험을 수행하기 위하여 컴퓨터 프로그래밍 언어가 사용된다. 섬네일은, 일 예에서, MR-호환 고해상도 24인치 LCD 시각 디스플레이(예를 들면, Cambridge Research BOLDScreen)에 제시되며 참가자들은 헤드 코일에 부착된 거울을 통해 이를 본다. 참가자들은 1500ms 이하의 시간 동안 검은 화면 중앙에 위치한 섬네일을 보고, 섬네일에 대해 1-10에서 변할 수 있는 연속 숫자 눈금으로 유쾌감을 평가하도록 요구된다. 이 관심 태스크(attention task)는 밸런스의 연속적 지각을 나타내는 피질 영역 위치를 성공적으로 찾아낸 이전의 fMRI 실험 내에 있었다. 버튼 응답은 MR-호환 응답 글러브(glove) 또는 버튼 박스를 사용하여 기록된다. 참가자들은 섬네일이 화면상에 있는 동안 또는 응답 윈도우 동안 응답할 수 있다. 실험적 시도들은 표준 기능적 MRI 실행 기반으로 신호를 최대화하고 잡음을 최소화하도록 구조화된다. 실험의 fMRI 부분 이후에, 각 참가자는 일련의 인구통계적 질문을 완수한다.
일 예에서, 일 예에서, 32채널 위상 어레이 헤드 코일을 갖춘 Siemens 3T Verio MR 스캐너를 사용하여 전체 뇌 영상촬영이 수행된다. MR 중앙의 머리 고정 시스템을 사용하여 머리의 움직임이 최소화된다. 고해상도 T1 강조 3D MPRAGE 해부학적 영상이 촬영되고(예를 들면 1mm 등방 복셀; 40 슬라이스)로 이어서 경사 에코, 에코-플래너 시퀀스(예를 들면, TR=1900ms, TE=2.98ms)를 사용하여 기능적 영상이 수집된다. 전처리 이전에, 각 대상에 대하여 과도한 머리 움직임 또는 희귀한 신호 인공물의 존재를 식별하기 위하여 면밀한 데이터 품질 확인이 수행된다. 3mm 이상 움직인 참가자들은 분석에서 제외된다. EPI 영상은 슬라이스 시간 획득, 움직임에 대해 교정되고, 표준 공간(Talairach)으로 정규화되며, 8mm FWHM 등방 가우시안 커널로 공간적으로 평탄화된다.
일 예에서, 기능적 데이터는, 예를 들면, SPM8을 이용하여 분석되어 일반 선형 모델의 추정 하에 대상 내 통계 모델을 구성한다. 실험 조건들에 걸친 활성화를 비교하기 위하여, 대상-특정적인 고정 효과 모델(subject-specific fixed effects model)을 이용하여 효과들이 산출되며 이때 세션 효과들은 혼동으로 처리된다. 개별 대상 효과를 비교하기 위하여, 상기 산출값들은 대상이 임의의 효과가 되는 제2 수준 그룹 분석으로 들어간다. 통계 테스트는 각 복셀(voxel)에 대해 0의 대비 값(contrast value)에 대한 하나의 샘플 t-테스트(one-sample t-test)이다. 전체 뇌 대비는 특정 영역 내의 신호의 정량적 변화를 나타내는 관심영역(Region of Interest, ROI) 분석에 의해 뒷받침된다.
일 예에서, 관심영역 분석은, 예를 들면, SPM8 ROI MARSBAR Toolbox를 이용해 수행된다. ROI들은 지지 연구로부터의 좌표에 기초하여 해부학적으로 정의되며, 기능적으로는 언바이어스드 대비들(unbiased contrasts)를 이용하여 정의된다. 밸런스 처리의 위치로 찾아내고 밸런스 연속에 대한 증거를 추출한 우리의 이전 연구로부터의 MNI 좌표를 이용하여 우측 하전두고랑(Inferior Frontal Sulcus) 내에 중심이 맞추어진 영역이 선택된다. ROI들은 예를 들면, 정의된 영역의 중심으로부터 연장된 8mm 반경 내의 복셀들을 포함한다. 선택적 평균화가 각 조건과 연관된 피크 백분율 신호 변화의 추출을 허용할 것이다. 이 분석에서, 섬네일 반복에 걸친 평균화에 의하여 각 섬네일이 조건으로 취급된다. 추가적으로, 통합된 백분율 신호 변화가 각 섬네일로부터 추출된다. ROI 데이터는, 예를 들면, MATLAB과 Prism을 이용하여 시각화된다. 전체 뇌 데이터가, 예를 들면, MRICRON과 SPM Surfrend Toolbox의 조합을 사용하여 시각화된다.
일 예에서, 하전두고랑 및 전두엽 피질 내의 주위 영역 내에서 더 강한 BOLD 응답을 갖는 섬네일이 더 긍정적인 지각 밸런스를 가지며, 이는 사용자가 이것을 클릭하기 쉬운 것을 의미한다.
일 실시예에서, 새로운 섬네일의 스트림(예를 들면, 비디오)이 위의 방법을 사용하여 수립된 행동 및 뇌 섬네일 공간으로 매핑된다. 일 예에서, 새로운 섬네일 프로브를 뇌 및 행동 데이터베이스 내의 공지의 밸런스를 갖는 기준 섬네일과 매칭시키기 위하여 Scene Gist14(Leeds, D. D., D. A. Seibert, J. A. Pyles, and M. J. Tarr. "대상 표현의 시각적 및 의미론적 성분의 해결(Unraveling the Visual and Semantic Components of Object Representation)" 11th Annual Meeting of the Vision Sciences Society. Poster. May 6, 2011. Address)가 사용된다. Scene Gist는 각 이미지를 성분의 가중된 세트로 표현하여 동작하며(주성분 분석으로부터 유도됨), 각 성분은 자연적인 장면의 공통적인 공간적 주파수 특성을 포착한다. 특징들은 성분 가중치들(component weights)로 간주된다. 컴퓨터 비전 내의 많은 다른 이미지 표현 접근과 달리, Scene Gist는 색상을 포함한다(이는 밸런스 지각에서 중요한 성분일 수 있다). 전체적으로, 이는 섬네일 이미지 내의 장면을 매칭하기에 중요한 개별 대상보다는 장면의 요지를 처음으로 부호화할 때 활성화되는 시각적 처리의 초기 단계를 모델링하기 위하여 설계되었다.
일 실시예에서, 섬네일 추출기 모델(thumbnail extractor model)은 뇌 및 행동 데이터베이스 모두 내에서 가장 가까운 기준 섬네일의 세트에 프로브 섬네일을 매칭시키기 위하여 Scene Gist를 이용함으로써 작동한다. 뇌 데이터베이스에 관하여, 일단 Scene Gist가 가장 가까운 기준 섬네일을 식별하면, 프로브는 기준 섬네일의 밸런스 점수에 기초하여 프로브에 밸런스 점수를 할당한다. 이 점수는 모델 내에서 뇌 가중치를 제공한다. 그러나, Scene Gist가 프로브 섬네일을 매우 다른 밸런스의 기준 섬네일로 매핑할 가능성이 있다. 따라서 모델 내의 각 데이터베이스에 주어진 가중치는 이미지 매칭 성공의 기준 집합 내의 분산을 고려한다. 이는 만일 프로브 섬네일이 상반되는 밸런스를 갖는 다양한 기준 섬네일에 매핑되면, 분산이 높고 그 특정 프로브 섬네일에 대한 뇌 데이터베이스 상의 전체 가중치가 낮을 것임을 의미하며, 이에 따라 잠재적으로 잘못된 예측을 제어한다.
일 예에서, 뇌 및 행동 데이터베이스로부터의 예측을 실증하기 위하여, 프로브 섬네일에 대한 밸런스 지각은 크라우드소싱된다(crowd sourced). 이는 크라우드컴퓨팅 모델 내의 세 번째 가중치를 구성한다. 상기 크라우드 소싱(crowd sourcing)은 먼저 기술된 생일 태스크(Birthday Task)의 짧은 버전이다. 이는 다수의 참가자에 걸쳐 섬네일 예측의 빠른 실증을 허용한다.
뇌 및 행동 데이터베이스에 대한 가중치는 Scene Gist의 수행 내에서 분산의 함수로 변한다. 일 예에서, 초기 가중치를 설정하고, 실세계의 클릭률을 모니터링하고, 이를 클릭 데이터 기반으로 조정함으로써, 각 성분의 가중치가 시도되고 테스트된다. 일단 가중치가 설정되면, 주어진 섬네일에 대한 전체 예측 점수는 세 모델 성분의 가중된 평균으로 구성된다. 이 가중된 점수는 고객 요청에 기초하여 모델을 통해 분석된 인구통계적 정보 기반으로 변한다.
일 실시예에서, 시스템은 다른 사용자 그룹에 대해 특정적인 섬네일을 전달할 수 있다. 일 예에서, 고객이 사용하는 인구통계적 변수가 그 사용자 그룹을 정의하는 데 사용되어 동일한 데이터가 데이터베이스에 기여하는 참가자로부터 수집될 수 있다. 이 정보와 함께, 모델은 특정한 인구통계에 기초하는 섬네일의 검색에 선택적으로 제한될 수 있다. 일 예에서, 시스템은 주로 크리켓을 보는 40 내지 60 세의 코카시안(Caucasian) 남성에 대한 스포츠 섬네일을 선택한다. 동적이며, 사용자-지정적(user-specific) 예측을 얻기 위하여, 나이, 성별, 인종, 민족성, 교육수준, 수입, 관심사, 취미, 자주 방문하는 웹사이트, 소셜 네트워크 참가, 일간 TV 사용, 일간 온라인 사용, 및 추정 온라인 비디오 시청 빈도에 관한 질문을 포함하는 일련의 질문이 형성된다. 이들 인구통계학적 질문은 사용자를 정의하는 데 함께 사용되는 고객-공급된 질문으로 증강되어 우리의 제품이 가장 효과적으로 목표한 섬네일 선택들(thumbnail selections)을 생성하도록 할 수 있다.
일 실시예에서, 의미론, 색상 구성, 복잡성, 사람 및 동물을 포함하되 이에 제한되지 않는 것을 포함하는 각 프레임의 더 미세한 기술자(descriptors)를 추출하기 위하여 컴퓨터 비전 방법이 사용된다(기술자의 수는 사용가능한 서로 다른 방법들의 강건성에 따라 제한된다).
일 실시예에서, 크라우드-소싱을 통한 밸런스에 대해 태깅된 프레임을 사용하여, 이들 기술자 중 어떤 것이 밸런스 내의 분산의 가장 큰 양을 설명하는지 탐구하기 위하여 다수의 계산 도구가 사용된다. 일 예에서, 밸런스 예측에 대한 이러한 불연속적 접근의 유효성을 확립하기 위하여 반분적인(split-half), 시험-일반화(test-generalize) 방법이 사용된다.
시스템은 다양한 애플리케이션 내에서 사용될 수 있다. 편집 비디오는, 예를 들면, TV 쇼, 영화, 웹 에피소드(webisodes), 예고편(trailers) 및 NBC, Fox, ABC, ESPN, 및 CNN과 같은 주요 상업 방송 네트워크로부터의 클립들(clips)을 포함한다. 편집 비디오들의 소유자들을 위한 본 발명의 유용성은 부분적으로 증가된 클릭률에 있으며 이는 사이트 상에서 보내는 시간, 사용자 참여 및 광고 수입의 증가를 의미한다.
일 예에서, 시스템은 비디오 마케팅 및 광고에 사용될 수 있다. 온라인 비디오의 인기는 대량판매 매체 및 소비자에게 접근할 수 있는 브랜드에 대한 새로운 도구로의 역할을 할 수 있는 그 잠재력을 반영한다. 마케팅 부문의 비디오들은 콘텐츠로서 배치되는 전통적인 비디오 광고로부터 제품 시연 및 지도 비디오까지의 범위에 있다. 이러한 유형의 마케팅 비디오 각각은 변환율, 브랜드 로열티, 및 인터넷 판매자에 대해서는 판매 및 장바구니 크기의 증가를 보여주고 있다.
일 예에서, 시스템은 교육 비디오로서 사용될 수 있다. 이는 온라인 비디오 산업에서 성장하는 부문이다.
기술된 기능을 수행하는 시스템은 기능을 수행하도록 공지된 방법으로 구성된 범용 컴퓨터를 포함할 수 있다. 기술된 기능을 수행하는 개체는 단일 프로세서 내에 또는 예를 들면, 분석 프로세서, 식별 프로세서, 지정 프로세서, 계산 프로세서, 비디오 디스플레이 프로세서, 비디오 프레임 분석 프로세서, 밸런스 데이터 프로세서 등과 같이 분리된 프로세서 내에 존재하도록 구성될 수 있다. 이들 개체들은 예시로서 나타난 도 2 도시의 컴퓨터 시스템(1000)과 같은 컴퓨터 시스템에 의해 구현될 수 있다. 본 발명의 실시예들은 이러한 컴퓨터 시스템(1000)에 의해 실행되는 프로그램가능 코드와 같이 구현될 수 있다. 이 명세서를 읽은 후에, 이 분야의 기술자에게는 모바일 시스템 및 설계 등을 포함하는 다른 컴퓨터 시스템 및/또는 컴퓨터 설계를 사용하여 발명을 구현하는 법이 명백하게 될 것이다.
컴퓨터 시스템(1000)은 프로세서(1004)와 같은 하나 이상의 프로세서를 포함한다. 프로세서(1004)는 임의의 유형의 프로세서일 수 있으며, 특별한 목적의 또는 범용의 디지털 신호 프로세서를 포함하되 이에 제한되지 않는다. 프로세서(1004)는 통신 하부구조(1006)(예를 들면, 버스 또는 네트워크)에 연결되어 있다.
컴퓨터 시스템(1000)은 또한 하나 이상의 입력 장치(1005)에 연결된 사용자 입력 인터페이스(1003)와 하나 이상의 디스플레이(1009)에 연결된 디스플레이 인터페이스(1007)를 포함한다. 입력 장치(1005)는, 예를 들면, 마우스 또는 터치패드와 같은 포인팅 장치, 키보드, 저항성 또는 용량성 터치스크린과 같은 터치스크린 등을 포함할 수 있다.
컴퓨터 시스템(1000)은 또한 주 메모리(1008)를 포함하며, 이는 바람직하게는 임의 접근 메모리(RAM)이고, 또한 보조 메모리(1010)를 더 포함할 수 있다. 보조 메모리(1010)는, 예를 들면, 하드디스크 드라이브(1012) 및/또는 플로피디스크 드라이브, 자기테이프 드라이브, 광디스크 드라이브 등의 이동식(removable) 저장 드라이브(1014)를 포함할 수 있다. 이동식 저장 드라이브(1014)는 공지된 방식으로 이동식 저장 유닛(1018)으로부터 읽거나 및/또는 이에 쓸 수 있다. 이동식 저장 유닛(1018)은 플로피디스크, 자기테이프, 광디스크 등을 나타내며, 이는 이동식 저장 드라이브(1014)에 의해 읽히거나 써질 수 있다. 이해될 수 있는 바와 같이, 이동식 저장 유닛(1018)은 컴퓨터 소프트웨어 및/또는 데이터가 저장된 컴퓨터 사용 가능한 저장매체를 포함한다.
대안적인 구현에서는, 보조 메모리(1010)가 컴퓨터 프로그램 또는 다른 명령이 컴퓨터 시스템(1000) 내로 로드되도록 허용하는 다른 유사한 수단을 포함할 수 있다. 이러한 수단은, 예를 들면, 이동식 저장 유닛(1022) 및 인터페이스(1020)를 포함할 수 있다. 이러한 수단의 예는 (비디오 게임 장치에서 이전에 발견되는 것과 같은) 프로그램 카트리지 및 카트리지 인터페이스, (EPROM, 또는 PROM 또는 플래시 메모리와 같은) 이동식 메모리 칩 및 연관된 소켓, 및 소프트웨어 및 데이터가 이동식 저장 유닛(1022)으로부터 컴퓨터 시스템(1000)으로 전달되도록 허용하는 다른 이동식 저장 유닛(1022) 및 인터페이스(1020)를 포함할 수 있다. 대안적으로, 컴퓨터 시스템(1000)의 프로세서(1004)를 이용하여, 이동식 저장 유닛(1022)으로부터 프로그램이 실행되거나 그리고/또는 데이터가 접근될 수 있다.
컴퓨터 시스템(1000)은 또한 통신 인터페이스(1024)를 포함할 수 있다. 통신 인터페이스(1024)는 컴퓨터 시스템(1000)과 외부 장치 사이에서 소프트웨어 및 데이터가 전달되도록 허용한다. 통신 인터페이스(1024)의 예는 모뎀, (이더넷 카드와 같은) 네트워크 인터페이스, 통신 포트, 개인용 컴퓨터 메모리 카드 국제 협회(Personal Computer Memory Card International Association, PCMCIA) 슬롯 및 카드 등을 포함한다. 통신 인터페이스(1024)를 통해 전달된 소프트웨어 및 데이터는 신호(1028)의 형태일 수 있으며, 이는 전자, 전자기, 광, 또는 통신 인터페이스(1024)에 의해 수신될 수 있는 다른 신호일 수 있다. 이러한 신호(1028)는 통신 경로(1026)를 통해 통신 인터페이스(1024)로 제공된다. 통신 경로(1026)는 신호(1028)를 전달하고 와이어 또는 케이블, 광섬유, 전화선, 무선 링크, 무선전화 링크, 무선 주파수 링크, 또는 임의의 다른 적합한 통신 채널을 이용하여 구현될 수 있다. 예를 들면, 통신 경로(1026)는 채널의 조합을 이용하여 구현될 수 있다.
"컴퓨터 프로그램 매체" 및 "컴퓨터 사용가능 매체" 용어는 일반적으로 이동식 저장 드라이브(1014), 하드디스크 드라이브(1012) 내에 장착된 하드디스크, 및 신호(1028)와 같은 매체를 의미한다. 이러한 컴퓨터 프로그램 제품은 소프트웨어를 컴퓨터 시스템(1000)에 제공하기 위한 수단이다. 그러나 이러한 용어는 또한 여기에서 개시된 컴퓨터 프로그램을 구현하는 (전기, 광학 또는 전자기 신호 등과 같은) 신호를 포함한다.
컴퓨터 프로그램(또한 컴퓨터 제어 로직으로도 지칭됨)은 주 메모리(1008) 및/또는 보조 메모리(1010) 내에 저장된다. 컴퓨터 프로그램은 또한 통신 인터페이스(1024)를 통해 수신될 수도 있다. 이러한 컴퓨터 프로그램은, 실행되면, 컴퓨터 시스템(1000)이 여기에서 논의된 본 발명의 실시예를 구현할 수 있도록 한다. 따라서, 이러한 컴퓨터 프로그램은 컴퓨터 시스템(1000)의 제어기를 나타낸다. 여기에서 실시예는 소프트웨어를 이용하여 구현되며, 소프트웨어는 컴퓨터 프로그램 제품(1030) 내에 저장되고, 몇몇 예를 제공하자면, 이동식 저장 드라이브(1014), 하드디스크 드라이브(1012) 또는 통신 인터페이스(1024)를 이용하여 컴퓨터 시스템(1000)으로 로드될 수 있다.
대안적인 실시예들은 하드웨어, 펌웨어, 또는 소프트웨어 또는 이들의 임의의 조합 내의 제어 로직으로 구현될 수 있다.
본 발명의 실시예는 예시를 위해서만 여기에서 기재되었으며 본 발명의 범위를 벗어나지 않으면서 다양한 변화와 변경이 이루어질 수 있음을 이해할 것이다.
위에서 서술된 실시예들에서, 모바일 장치는 메모리 내에 다수의 애플리케이션 모듈(또한 컴퓨터 프로그램 또는 소프트웨어로도 지칭됨)을 저장하며, 이는 실행되면 모바일 장치가 여기에서 논의된 본 발명의 실시예를 구현할 수 있도록 한다. 이 분야의 당업자들은, 소프트웨어가 컴퓨터 프로그램 제품에 저장될 수 있으며, 몇몇 예를 제공하자면, 이동식 저장 디스크 또는 드라이브, 하드디스크 드라이브, 또는 통신 인터페이스와 같은 임의의 공지된 장치를 사용하여 모바일 장치로 로드될 수 있음을 이해할 것이다.
다른 대안으로서, 이 분야의 기술자는, 컴퓨팅 효율성을 더 증가시키기 위하여 이 분야에서 공지된 바와 같이, 언어 또는 표현 자체의 계층적 처리가 질의 응답 처리 내에 포함될 수 있음을 이해할 것이다.
이들 프로그램 명령은 프로세서 상에서 실행되는 명령이 예시에서 지정된 기능을 구현하기 위한 수단을 창조하는 위한 기계를 제조하도록 프로세서로 제공될 수 있다. 컴퓨터 프로그램 명령은 프로세서에 의해 실행되어 프로세서에 의해 일련의 동작 단계가 수행되도록 하고 컴퓨터-구현된 프로세스를 생성하여 프로세서 상에서 실행되는 명령이 예시에서 지정된 기능을 구현하는 단계를 제공할 수 있다. 따라서, 도면은 지정된 기능을 수행하기 위한 수단의 조합, 지정된 기능을 수행하기 위한 단계의 조합, 및 지정된 기능을 수행하기 위한 프로그램 명령 수단의 조합을 뒷받침한다.
청구된 시스템은 프로세서 및 디스플레이, 키보드, 마우스, 마이크로폰 또는 카메라와 같은 입력장치, 스피커와 같은 출력장치, 하드 드라이브 등을 갖는 컴퓨터와 같은 처리 시스템을 사용하여 구현될 수 있다. 이 시스템은 청구범위에 개시된 기능을 수행하기 위한 수단들을 포함한다(노출 수단, 계산 수단, 저장 수단, 제공 수단, 상관 수단, 등)
본 명세서에서 본 발명의 원리가 설명되었지만 이 설명은 단지 예시적인 것이며 본 발명의 범위를 제한하는 것이 아님이 이 분야의 기술자에게 이해될 것이다. 따라서, 첨부된 특허청구범위에 의하여 본 발명의 진정한 정신과 범위내에 포함되는 모든 변경을 포함하는 것으로 의도된다. 또한, 본 발명이 구체적인 바람직한 실시형태와 관련하여 설명되었지만, 다양한 변화와 변경이 이 분야의 기술자에게 제안될 수 있으며, 본 발명은 첨부된 특허청구범위 내에 포함되는 그러한 변화와 변경을 포함하는 것으로 의도된다.
참조
1. Lebrecht, S., Bar, M., Barrett, L. F. & Tarr, M. J. Micro-Valences: Perceiving Affective Valence in Everyday Objects. Frontiers in Psychology 3, (2012).
2. Russell, J. A. A circumplex model of affect. Journal of personality and social psychology 39, 1161-1178 (1980).
3. Greenwald, A. G., McGhee, D. E. & Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. J Pers Soc Psychol 74, 1464-1480 (1998).
4. Avero, P. & Calvo, M. G. Affective priming with pictures of emotional scenes: the role of perceptual similarity and category relatedness. Span J Psychol 9, 10-18 (2006).
5. Calvo, M. G. & Avero, P. Affective priming of emotional pictures in parafoveal vision: Left visual field advantage. Cognitive, Affective, & Behavioral Neuroscience 8, 41 (2008).
6. Rudrauf, D., David, O., Lachaux, J. P., Kovach, C. K., et al. Rapid interactions between the ventral visual stream and emotion-related structures rely on a two-pathway architecture. J Neurosci 28, 2793-2803 (2008).
7. Colibazzi, T., Posner, J., Wang, Z., Gorman, D., et al. Neural systems subserving valence and arousal during the experience of induced emotions. Emotion 10, 377-389 (2010).
8. Weierich, M. R., Wright, C. I., Negreira, A., Dickerson, B. C. & Barrett, L. F. Novelty as a dimension in the affective brain. Neuroimage 49, 2871-2878 (2010).
9. Lebrecht, S. & Tarr, M. Defining an object's micro-valence through implicit measures. Journal of Vision 10, 966 (2010).
10. Lebrecht, S., Bar, M., Sheinberg, D. L. & Tarr, M. J. Micro-Valence: Nominally neutral visual objects have affective valence. Journal of Vision 11, 856-856 (2011).
11. Lebrecht, S., Johnson, D. & Tarr, M. J. [in revision] The Affective Lexical Priming Score. Psychological Methods.
12. Lang, P. J., Bradley, M. M. & Cuthbert, B. N. International affective picture system (IAPS): Technical manual and affective ratings. NIMH Center for the Study of Emotion and Attention (1997).
13. Leeds, D. D., D. A. Seibert, J. A. Pyles, and M. J. Tarr. "Unraveling the Visual and Semantic Components of Object Representation." 11th Annual Meeting of the Vision Sciences Society. Poster. May 6, 2011. Address.
14. Oliva, A. & Torralba, A. Modeling the shape of the scene: A holistic representation of the spatial envelope. International Journal of Computer Vision 42, 145-175 (2001).
15. Verna, Paul. "Top Digital Trends for 2012." Top Digital Trends for 2012. December, 2011. http://www.theaimagency.com/wp-content/uploads/2012/03/15111_eMarketer_Top_Digital_Trends_2012.pdf.
16. "ComScore Releases April 2012 U.S. Online Video Rankings." May 18, 2012. comScore. Web. 15 Jun. 2012. <http://www.comscore.com/Press_Events/Press_Releases/2012/5/5/comScore_Releases_April_2012_U.S._Online_Video_Rankings.
17. IAB Internet Advertising Revenue Report. 2007 Full Year Results. PricewaterhouseCoopers, May 23, 2008. http://www.iab.net/media/file/IAB_PwC_2007_full_year.pdf.
18. IAB Internet Advertising Report. 2011 Full Year Results. PricewaterhouseCoopers, April 18, 2012. <http://www.iab.net/media/file/IAB_Internet_Advertising_Revenue_Report_FY_2011.pdf.
19. VanBoskirk, Shar. US Interactive Marketing Forecast, 2011 to 2016. Forrester Research, August 24, 2011.
20. "ComScore Launches Video Metrix 2.0 to Measure Evolving Web Video Landscape." ComScore announces improvements to video measurement service and releases Video Metrix rankings for June 2010. July 15, 2010. comScore. Web. 15 Jun. 2012. http://www.comscore.com/Press_Events/Press_Releases/2010/7/ comScore_Launches_Video_Metrix_2.0_to_Measure_Evolving_Web_Video_Landscape.
21. Explosive Online Video Growth Coming From Greater Engagement Around Premium Programming. Interview with Eli Goodman, comScore Media Evangelist, from Beet.TV's 2012 Executive Retreat. Video. Beet.TV Executive Retreat, Vieques, Puerto Rico: Beet.TV, March 29, 2012. Print. http:// www.beet.tv/2012/03/comscore-eli-goodman.html.
22. Digital Video Advertising Trends: 2012. An annual study examining growth in digital video advertising. Break Media, 2011.
23. Changing the Way You Shop for Shoes. Interview with Zappos.com's Senior Manager Rico Nasol on how the retailer is using streaming video to boost sales. Video. Streaming Media West: FOXBusiness.com, December 4, 2009. http://video.foxbusiness.com/v/3951649/changing-the-wayyou- shop-for-shoes/.

Claims (26)

  1. 다수의 비디오 프레임을 포함하는 비디오 스트림으로부터 최적 비디오 프레임을 결정하기 위한 자동화된 방법으로서,
    각 비디오 프레임의 원하는 특성을 지시하는 데이터를 얻기 위하여, 처리 장치를 사용하여, 상기 비디오 프레임들의 각각을 분석하는 단계;
    비디오 스트림 내에서, 상기 원하는 특성의 수준이 미리결정된 임계 수준을 넘는 하나 이상의 비디오 프레임들을 식별하는 단계; 및
    상기 하나 이상의 식별된 비디오 프레임을 최적 비디오 프레임으로 지정하는 단계;를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 원하는 특성을 지시하는 데이터는 밸런스 데이터(valence date)를 포함하는,
    방법.
  3. 제2항에 있어서,
    상기 식별된 비디오 프레임은 미리결정된 임계 수준 이상의 양의 감정 밸런스(Affective Valence)를 갖는 비디오 프레임을 포함하는,
    방법.
  4. 제3항에 있어서,
    상기 감정 밸런스가,
    처리 장치를 사용하여, 적어도 하나의 개체를 밸런스-측정 패러다임에 노출시키는 단계로서, 상기 적어도 하나의 개체가 상기 다수의 비디오 프레임에 노출되며 상기 비디오 프레임 중 적어도 하나를 향한 응답을 제공하도록 요청받는, 단계;
    각 응답에 기초하여 상기 다수의 비디오 프레임들 각각에 대한 밸런스 값을 계산하는 단계; 및
    저장 매체 내에 각 밸런스 값을 저장하는 단계로서, 상기 응답 및 상기 응답이 주어진 속도가 상기 다수의 비디오 프레임들 중 상기 적어도 하나를 향한 개인의 암묵적(implicit) 태도와 관련된 추론을 할 수 있게 하는, 단계;
    에 의하여 결정되는,
    방법.
  5. 제4항에 있어서,
    저장된 상기 밸런스 값은 이전에 노출된 적이 없는 비디오 프레임들에 노출되었을 때 개체가 어떻게 반응할 것인지를 예측하는 데 사용되는,
    방법.
  6. 제4항에 있어서,
    처리 장치를 사용하여, 상기 적어도 하나의 개체가 다수의 밸런스-측정 패러다임들에 노출되며, 이들 각각에서 적어도 하나의 개체는 다수의 비디오 프레임들에 노출되며 상기 다수의 비디오 프레임 중 적어도 하나를 향한 응답을 제공하며;
    각 응답에 기초하여 상기 다수의 비디오 프레임들의 각각에 대한 밸런스 값을 계산하며;
    저장 매체 내에 각 밸런스 값을 저장하는,
    방법.
  7. 제6항에 있어서,
    행동 밸런스 측정 기술을 포함하는 제1 밸런스-측정 패러다임 및 뇌영상 밸런스 측정 기술을 포함하는 제2 밸런스 측정 패러다임을 포함하는,
    방법.
  8. 제7항에 있어서,
    상기 패러다임들 각각에 대한 상기 비디오 프레임들 중 특정한 하나에 대한 밸런스 값이 상관됨으로써(correlated), 상기 비디오 프레임들 중 상기 특정한 하나에 대한 밸런스 값의 신뢰 수준을 평가하는 기초를 제공하는,
    방법.
  9. 제8항에 있어서,
    상관된 상기 밸런스 값은 밸런스의 분포 표현(distributed representation)을 제공하는 데 사용되는,
    방법.
  10. 제4항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 행동 밸런스 측정 기술을 포함하는,
    방법.
  11. 제4항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 뇌영상 밸런스 측정 기술을 포함하는,
    방법.
  12. 제4항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 포지티브 차원(positive dimension)의 밸런스를 측정하는,
    방법.
  13. 제4항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 네거티브 차원(negative dimension)의 밸런스를 측정하는,
    방법.
  14. 다수의 비디오 프레임들을 포함하는 비디오 스트림으로부터 최척 비디오 프레임을 결정하는 자동화된 시스템으로서,
    각 비디오 프레임의 원하는 특성을 지시하는 데이터를 얻기 위하여 상기 비디오 프레임의 각각을 분석하도록 구성되고, 비디오 스트림 내에서 상기 원하는 특성의 수준이 미리결정된 임계 수준 이상인 하나 이상의 비디오 프레임을 식별하도록 구성되며, 상기 하나 이상의 식별된 비디오 프레임들을 최선의 비디오 프레임으로 지정하도록 구성된 프로세서를
    포함하는,
    시스템.
  15. 제14항에 있어서,
    상기 원하는 특성을 지시하는 데이터는 밸런스 데이터를 포함하는,
    시스템.
  16. 제15항에 있어서,
    상기 식별된 비디오 프레임은 미리결정된 임계 수준 이상의 양의 감정 밸런스를 갖는 비디오 프레임을 포함하는,
    시스템.
  17. 제16항에 있어서,
    상기 감정 밸런스는 처리 장치에 의해 결정되며,
    상기 처리 장치는 적어도 하나의 개체를 밸런스-측정 패러다임에 노출시키도록 구성되며, 이때 상기 적어도 하나의 개체는 상기 다수의 비디오 프레임에 노출되고 상기 비디오 프레임 중 적어도 하나를 향한 응답을 제공하도록 요청받으며,
    상기 처리 장치는 각 응답에 기초하여 상기 다수의 비디오 프레임들 각각에 대한 밸런스 값을 계산하도록 구성되며,
    상기 처리 장치는 저장 매체 내에 각 밸런스 값을 저장하도록 구성되며, 이때 상기 응답 및 상기 응답이 주어진 속도가 상기 다수의 비디오 프레임들 중 상기 적어도 하나를 향한 개인의 암묵적(implicit) 태도와 관련된 추론을 할 수 있게 하는,
    시스템.
  18. 제17항에 있어서,
    저장된 상기 밸런스 값은 이전에 노출된 적이 없는 비디오 프레임에 노출되었을 때 개체가 어떻게 반응할 것인지를 예측하는 데 사용되는,
    시스템.
  19. 제17항에 있어서,
    상기 적어도 하나의 개체는, 처리 장치를 사용하여, 다수의 밸런스-측정 패러다임들에 노출되고, 이들 각각에서 적어도 하나의 개체가 다수의 비디오 프레임에 노출되며 상기 다수의 비디오 프레임들 중 적어도 하나를 향한 응답을 제공하며,
    상기 처리 장치는, 각 응답에 기초하여 상기 다수의 비디오 프레임의 각각에 대한 밸런스 값을 계산하며 저장 매체 내에 각 밸런스 값을 저장하도록, 추가로 구성되는,
    시스템.
  20. 제19항에 있어서,
    제1 밸런스-측정 패러다임은 행동 밸런스 측정 기술을 포함하고 제2 밸런스 측정 패러다임은 뇌영상 밸런스 측정 기술을 포함하는,
    시스템.
  21. 제20항에 있어서,
    상기 패러다임 각각에 대한 상기 비디오 프레임의 특정한 하나에 대한 밸런스 값은 상관됨으로써(correlated), 상기 비디오 프레임의 상기 특정한 하나에 대한 밸런스 값의 신뢰 수준을 평가하는 기초를 제공하는,
    시스템.
  22. 제21항에 있어서,
    상관된 밸런스 값은 밸런스의 분포 표현(distributed representation)을 제공하는 데 사용되는,
    시스템.
  23. 제17항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 행동 밸런스 측정 기술을 포함하는,
    시스템.
  24. 제17항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 뇌영상 밸런스 측정 기술을 포함하는,
    시스템.
  25. 제17항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 포지티브 차원(positive dimension)의 밸런스를 측정하는,
    시스템.
  26. 제17항에 있어서,
    상기 적어도 하나의 밸런스-측정 패러다임은 네거티브 차원(negative dimension)의 밸런스를 측정하는,
    시스템.
KR1020157014556A 2012-11-14 2013-11-14 온라인 비디오에 대한 자동화된 섬네일 선택 KR20150086289A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261796555P 2012-11-14 2012-11-14
US61/796,555 2012-11-14

Publications (1)

Publication Number Publication Date
KR20150086289A true KR20150086289A (ko) 2015-07-27

Family

ID=50731686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157014556A KR20150086289A (ko) 2012-11-14 2013-11-14 온라인 비디오에 대한 자동화된 섬네일 선택

Country Status (6)

Country Link
US (1) US9501779B2 (ko)
EP (1) EP2920671A4 (ko)
JP (1) JP2016506553A (ko)
KR (1) KR20150086289A (ko)
CA (1) CA2891483A1 (ko)
WO (1) WO2014078530A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591050B1 (en) * 2013-02-28 2017-03-07 Google Inc. Image recommendations for thumbnails for online media items based on user activity
US9715731B2 (en) 2014-12-29 2017-07-25 Neon Labs Inc. Selecting a high valence representative image
JP6019162B1 (ja) * 2015-04-15 2016-11-02 ヤフー株式会社 作成装置、作成方法及び作成プログラム
US10068616B2 (en) 2017-01-11 2018-09-04 Disney Enterprises, Inc. Thumbnail generation for video
JP6419240B2 (ja) * 2017-03-17 2018-11-07 ヤフー株式会社 解析装置、解析方法、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039664A1 (en) * 1999-12-02 2001-06-07 The General Hospital Corporation Method and apparatus for measuring indices of brain activity
WO2002080027A1 (en) * 2001-03-29 2002-10-10 British Telecommunications Public Limited Company Image processing
EP2062206A4 (en) * 2006-09-07 2011-09-21 Procter & Gamble METHODS OF MEASURING EMOTIONAL RESPONSE AND PREFERENCE OF CHOICE
WO2008092474A1 (en) * 2007-01-31 2008-08-07 Telecom Italia S.P.A. Method and system to improve automated emotional recognition
US20080255949A1 (en) 2007-04-13 2008-10-16 Lucid Systems, Inc. Method and System for Measuring Non-Verbal and Pre-Conscious Responses to External Stimuli
US8001108B2 (en) 2007-10-24 2011-08-16 The Invention Science Fund I, Llc Returning a new content based on a person's reaction to at least two instances of previously displayed content
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
US20110077996A1 (en) * 2009-09-25 2011-03-31 Hyungil Ahn Multimodal Affective-Cognitive Product Evaluation
US8335715B2 (en) 2009-11-19 2012-12-18 The Nielsen Company (Us), Llc. Advertisement exchange using neuro-response data
SG2014013619A (en) 2010-10-21 2014-07-30 Holybrain Bvba Method and apparatus for neuropsychological modeling of human experience and purchasing behavior

Also Published As

Publication number Publication date
WO2014078530A1 (en) 2014-05-22
JP2016506553A (ja) 2016-03-03
US9501779B2 (en) 2016-11-22
US20150302428A1 (en) 2015-10-22
EP2920671A4 (en) 2016-08-17
EP2920671A1 (en) 2015-09-23
CA2891483A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
Boksem et al. Brain responses to movie trailers predict individual preferences for movies and their population-wide commercial success
Venkatraman et al. Predicting advertising success beyond traditional measures: New insights from neurophysiological methods and market response modeling
Jai et al. Seeing it is like touching it: Unraveling the effective product presentations on online apparel purchase decisions and brain activity (an fMRI study)
US11481791B2 (en) Method and apparatus for immediate prediction of performance of media content
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
EP2317463A1 (en) Generating ratings predictions using neuro-response data
US20100215289A1 (en) Personalized media morphing
CN103608831A (zh) 通过观众反馈的广告选择
US20120290409A1 (en) Marketing material enhanced wait states
US20140316881A1 (en) Estimation of affective valence and arousal with automatic facial expression measurement
Thomas et al. Uncovering the computational mechanisms underlying many-alternative choice
US20130102854A1 (en) Mental state evaluation learning for advertising
US9501779B2 (en) Automated thumbnail selection for online video
US20140058828A1 (en) Optimizing media based on mental state analysis
Cruz et al. Neuromarketing and the advances in the consumer behaviour studies: a systematic review of the literature
Schwabe et al. Gist perception of image composition in abstract artworks
US20130238394A1 (en) Sales projections based on mental states
Heidenreich et al. If at first you don't adopt-Investigating determinants of new product leapfrogging behavior
Lada et al. The roles of brand experience in forming loyalty intention
Ellerweg Make frame rate studies useful for system designers
Roemer et al. Eye tracking as a research method for social media
Zonyfar et al. E-government in the public health sector: kansei engineering method for redesigning website
Li et al. Unveiling the secrets of online consumer choice: A deep learning algorithmic approach to evaluate and predict purchase decisions through EEG responses
LT6753B (lt) Universalus neuromarketingo būdas
WO2014105266A1 (en) Optimizing media based on mental state analysis

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination