KR20190022637A - 미디어 디스플레이와 동기화된 컨텐츠 아이템의 제시 - Google Patents

미디어 디스플레이와 동기화된 컨텐츠 아이템의 제시 Download PDF

Info

Publication number
KR20190022637A
KR20190022637A KR1020197001223A KR20197001223A KR20190022637A KR 20190022637 A KR20190022637 A KR 20190022637A KR 1020197001223 A KR1020197001223 A KR 1020197001223A KR 20197001223 A KR20197001223 A KR 20197001223A KR 20190022637 A KR20190022637 A KR 20190022637A
Authority
KR
South Korea
Prior art keywords
user
product
video frame
video
interest
Prior art date
Application number
KR1020197001223A
Other languages
English (en)
Other versions
KR102315474B1 (ko
Inventor
크리스토퍼 윌리엄 존스
마크 제랄드 달’시
지 비올 리
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20190022637A publication Critical patent/KR20190022637A/ko
Application granted granted Critical
Publication of KR102315474B1 publication Critical patent/KR102315474B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Abstract

온라인 시스템은 동기화된 방식으로 사용자가 시청하는 비디오와 함께 관련 제품을 디스플레이하며, 이는 사용자가 비디오를 시청하는 동안에 관련 컨텐츠(예컨대, 사용자에게 추천된 제품)를 탐색하도록 허용한다. 온라인 시스템은 사용자에게 디스플레이될 비디오 프레임의 시퀀스를 포함하는 비디오를 수신하고, 비디오는 특정 테마, 예컨대 축구 경기와 연관될 수 있고, 하나 이상의 비디오 프레임은 관심 지점("Q 지점"이라 지칭됨)을 포함할 수 있다. 온라인 시스템은 대응하는 비디오 프레임과 연관된 Q 지점을 검출 또는 수신하며, 비디오 프레임 내의 Q 지점은 비디오 프레임 내의 관심 객체를 식별한다. 온라인 시스템은 또한, 사용자에게 맞춰진 관련 제품을 선택하기 위해 사용자의 사용자 프로필 정보를 검출된 지점과 상관시킨다.

Description

미디어 디스플레이와 동기화된 컨텐츠 아이템의 제시
본 명세서는 일반적으로 온라인 컨텐츠 배포에 관한 것으로서, 더욱 구체적으로는 사용자가 열람 또는 시청하는 미디어(예컨대, 비디오)와 동기화된 사용자로의 관련 컨텐츠 아이템의 제시에 관한 것이다.
컨텐츠 제공자는 온라인 시스템 내에 특정 청중에 타겟팅된 컨텐츠를 생성한다. 사용자는 온라인 시스템으로부터 수신된 컨텐츠와 상호작용한다. 소셜 네트워킹 시스템과 같은 온라인 시스템의 출현과 함께 컨텐츠 제공자는 온라인 시스템의 사용자들 사이에서 참여를 상당히 증가시키기 위해 온라인 시스템 내에서 효과적으로 스폰서되는 컨텐츠를 생성하도록 온라인 시스템에 더욱 의존해 왔다. 예컨대, 사용자는 비디오, 이를테면 축구 경기의 라이브 방송 비디오 또는 축구 경기의 사전녹화된 비디오를 시청하기 위해 사용자 장치(예컨대, 스마트폰)를 사용할 수 있고, 사용자는 비디오에 제시되는 임의의 제품(예컨대, 축구 경기에서 선수가 착용하는 스포츠 유니폼)에 관심이 있을 수 있고, 비디오를 시청하는 동안에 제품에 관해 예컨대, 제품의 가격에 관해 더 많은 것을 습득하고자 할 수 있다. 추가로, 열람 사용자는 비디오를 시청한 이후 비디오에 제시되는 제품을 구매하는데 관심이 있을 수 있지만, 그는/그녀는 그가/그녀가 비디오를 시청하는 동안 관심이 있었던 모든 제품을 기억하지 못할 수 있다. 하지만, 온라인 컨텐츠 배포의 현재 솔루션은 사용자가 동기화된 방식으로 사용자에게 관심이 있을 가능성이 높은 관련 제품을 탐색하면서 비디오 또는 온라인 이벤트(예컨대, 이벤트의 라이브 비디오 스트리밍 또는 컨텐츠 제공자로부터의 사전녹화된 비디오)를 시청하는 것을 가능하게 하는 플랫폼을 제공하지 않는다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따른 사용자로의 비디오의 디스플레이와 동기화된 추천 제품의 제시를 위한 시스템 환경의 블록도이다.
도 2는 일실시예에 따른 도 1에 도시된 온라인 시스템의 블록도를 도시한다.
도 3a는 일실시예에 따른 동기화된 방식으로 사용자에게 비디오 및 추천 제품을 제시하는 예시적인 사용자 인터페이스를 도시한다.
도 3b는 일실시예에 따른 동기화된 방식으로 사용자에게 비디오 및 추천 제품을 제시하는 다른 예시적인 사용자 인터페이스를 도시한다.
도 4는 일실시예에 따른 사용자에게 디스플레이되는 비디오에서 관심 지점(또한, "Q 지점"으로도 지칭됨)을 검출하는 예시를 도시하는 선 다이어그램을 도시한다.
도 5는 일실시예에 따른 동기화된 방식으로 사용자가 시청하는 비디오의 디스플레이와 함께 비디오와 연관된 추천 제품을 제시하는 프로세스를 도시하는 예시적인 흐름도를 도시한다.
도면 및 이하의 설명은 오로지 예시를 위해 특정 실시예를 기술한다. 당업자는 하기의 설명을 통해 본 명세서에 나타난 구성 및 방법의 대안적인 실시예들이 본 명세서에 기술된 본 발명의 원리에서 벗어남이 없이 이용될 수 있음을 용이하게 인식할 것이다. 이제 첨부 도면들에 그 예가 도시되는 실시예들을 참조한다. 어디에서든 실현가능한 유사하거나 비슷한 도면부호들이 도면에서 사용될 수 있고 유사하거나 비슷한 기능을 가리킴을 유의하여야 한다.
본 명세서의 실시예는 동기화된 방식으로 사용자가 열람 또는 시청하는 미디어 컨텐츠, 가령 비디오와 함께 추천 제품을 제시하기 위한 시스템 (또는 컴퓨터 구현 방법이나 비-일시적 컴퓨터 판독가능한 매체)을 포함한다. 예컨대, 온라인 시스템은 비디오와 동기화된 관련 제품(예컨대, 스폰서된 컨텐츠 아이템)의 스크롤링 캐러셀(carousel)과 함께 비디오를 사용자에게 디스플레이를 위해 제공하여 비디오에 보여지는 제품이 캐러셀에 포함되도록 하고 사용자는 구매를 위해 디스플레이된 제품을 선택할 수 있다.
방법의 일실시예는 사용자에게 디스플레이될 비디오 프레임 시퀀스를 포함하는 비디오를 수신하는 단계를 포함한다. 입력 비디오는 컨텐츠 제공자가 제공한 사전-녹화된 비디오 또는 라이브 방송 비디오일 수 있다. 비디오는 특정 테마, 예컨대, 축구 경기와 연관될 수 있고, 하나 이상의 비디오 프레임은 관심 지점을 포함할 수 있다. 본 명세서에서 관심 지점("Q 지점"으로도 지칭됨)은 사용자에게 관심이 될 가능성이 높은 특정 제품과 관련된 수신된 비디오의 비디오 프레임에서 디스플레이되는 객체를 지칭한다. 야구 경기 비디오에서 예시적인 관심 지점은 수신된 비디오의 대응되는 비디오 프레임 내에서 캡처된 야구 선수가 착용한 특정 브랜드의 야구화 한 켤레일 수 있다. 일실시예로, 개시된 방법은 입력 비디오에 포함된 대응되는 비디오 프레임과 연관된 Q 지점을 검출한다. 다른 실시예에서, 대응되는 비디오 프레임과 연관된 Q 지점은 관련 제품과 함께 동기화된 디스플레이를 위한 비디오를 분석하는 편집자에 의해 선택된다. 비디오 프레임에서 검출된 Q 지점은 대응되는 비디오 프레임을 나타내는 인덱스(예컨대, 타임스탬프나 프레임 번호)를 가진다. 예컨대, 수신된 비디오에 포함된 200번째 비디오 프레임과 연관된 Q 지점은 비디오 프레임에서 캡처된 선수가 착용한 인기 있는 브랜드의 셔츠를 식별할 수 있다.
개시된 방법은 대응되는 비디오 프레임에서 검출된 Q 지점에 기반하여 관련 제품을 선택한다. 전술한 예를 들면, 개시된 방법은 추천 제품으로서 대응되는 비디오 프레임에서 선수가 착용한 셔츠와 동일한 브랜드 및 동일한 스타일의 셔츠를 선택할 수 있고, 사용자에게 제시하기 위해 추천 제품으로서 동일한 브랜드의 신발이나 바지와 같은 추가 제품을 선택할 수 있다. 일부 실시예로, 개시된 방법은 사용자의 사용자 프로필 정보와 검출된 Q 지점을 상관시키고, 상관관계에 기반하여 검출된 Q 지점과 연관된 하나 이상의 관련 제품을 선택하며, 이는 온라인 시스템과의 향상된 사용자 경험뿐 아니라 사용자의 선호도와 추천 제품 사이의 더 양호한 매칭을 허용한다. 일례로, 개시된 방법은 그녀의 사용자 프로필 정보에 기반하여 사용자가 여성이라고 결정한 이후에 오로지 여성의 의류만을 선택한다. 개시된 방법은 동기화된 방식으로 선택된 제품의 스크롤링 캐러셀(예컨대, 스폰서된 컨텐츠 아이템)과 함께 비디오를 사용자에게 디스플레이를 위해 제공하여서, 사용자가 구매를 위해 또는 북마크하기 위해 캐러셀에 포함된 제품을 선택할 수 있도록 한다.
사용자가 시청하는 비디오와 동기화된 방식으로 추천 제품을 제시하기 위한 개시된 방법은 사용자 및 추천 제품을 제공하는 컨텐츠 제공자에게 다양한 이점을 제공한다. 첫째로, 개시된 방법은 온라인 시스템의 사용자들이 동시에 "시청 및 쇼핑"을 하도록 가능하게 하고, 사용자가 그가/그녀가 현재 시청하는 비디오와 연관된 추천 제품을 액세스하고 탐색하도록 허용한다. 둘째로, 사용자에게 추천하기 위해 랜덤하게 선택된 제품과 비교할 때, 개시된 방법은 사용자가 더 관심이 있을 가능성이 높거나 사용자 프로필 정보에 따라 사용자의 선호도에 더 잘 매칭하는 제품을 사용자에게 제시할 때 사용자에 대한 더 나은 타겟팅을 가능하게 한다. 셋째로, 개시된 방법은 온라인 시스템의 저장소에 로컬로 추천 제품을 기술하는 정보를 저장함으로써 비디오와 연관된 추천 제품의 빠른 생성 및 제시를 가능하게 한다. 추가로, 개시된 방법은 그들의 제품 및/또는 서비스의 낮은-퍼널(low-funnel) 제품 판매 및 중간 퍼널(mid-funnel) 고려사항을 유도하기 위한 수단으로서 비디오를 사용하는 것에 관심이 있는 컨텐츠 제공자(예컨대, 광고주)를 위해 더 나은 컨텐츠 배포 서비스를 허용한다.　
도 1은 일실시예에 따른 사용자에 대한 비디오의 디스플레이와 동기화된 추천 제품의 제시를 위한 시스템 환경(100)의 블록도이다. 도 1에서, 시스템 환경(100)은 하나 이상의 클라이언트 장치(110A-110B), 컨텐츠 제공자 시스템(120) 및 네트워크(140)를 통해 연결된 온라인 시스템(130)을 포함한다. 오로지 2개의 클라이언트 장치(110A-110B), 하나의 컨텐츠 제공자 시스템(120) 및 하나의 온라인 시스템(130)이 예시의 목적으로 도 1에 도시된다. 시스템 환경(100)의 다른 실시예는 네트워크(140)를 통한 다수의 클라이언트 장치(110), 다수의 컨텐츠 제공자 시스템(120) 및 다수의 온라인 시스템(130)을 가질 수 있다. 추가로, 도시되지 않은 다른 실시예에서, 온라인 시스템(130)에 의해 수행되는 기능은 클라이언트 장치(110A-110B) 상에서 실행되는 소프트웨어 애플리케이션(예를 들어, 클라이언트 애플리케이션(112A-112B))에 의해 실현된다. 유사하게, 도 1의 다양한 엔티티에 의해 수행되는 기능은 상이한 실시예에서 서로 다를 수 있다.
클라이언트 장치(110)는 기능, 가령 디지털 컨텐츠의 소비(예컨대, 클라이언트 장치에 디스플레이되는 비디오를 시청), 소프트웨어 애플리케이션의 실행, 네트워크(140) 상의 웹 서버에 의해 호스팅되는 웹사이트를 탐색, 추천 제품을 구매하는 등을 수행하기 위해 사용자에 의해 사용되는 전자 장치이다. 예시적인 클라이언트 장치(110)는 스마트폰이나 태블릿, 랩탑 또는 데스크탑 컴퓨터를 포함한다. 클라이언트 장치(110)는 또한, 사용자가 비디오 및 다른 컨텐츠를 열람할 수 있는 디스플레이 장치를 포함하거나 및/또는 그와 인터페이싱한다. 추가로, 클라이언트 장치(110)는 사용자가 기능, 가령 디지털 컨텐츠를 열람, 선택 및 소비하는 것을 수행하기 위해 클라이언트 장치(110)와 상호작용할 수 있는, 가령 물리적이거나 및/또는 온-스크린 버튼과 같은 사용자 인터페이스(UI)를 제공한다.
일실시예로, 클라이언트 장치(110) 각각은 사용자가 비디오를 재생하고 비디오와 또는 비디오와 함께 디스플레이된 추천 제품과 상호작용하도록 허용하는 클라이언트 장치(110) 상에서 실행되는 클라이언트 애플리케이션(112)을 더 포함한다. 예컨대, 클라이언트 애플리케이션(112)은 특정 비디오를 시청하기 위한 요청을 클라이언트 장치(110)의 사용자로부터 수신하고, 클라이언트 애플리케이션은 요청된 비디오에 대해 추천된 제품뿐 아니라 요청된 비디오를 제시하기 위한 명령어를 온라인 시스템(130)으로부터 수신한다. 클라이언트 애플리케이션(112)은 또한, 사용자가 비디오를 일시정지, 정지 또는 재생하도록 허용하고, 사용자가 비디오를 시청하면서 추천 제품과 상호작용, 예컨대, 추천 제품의 이미지를 드래그/버튼을 클릭하거나, 이후의 열람 및 탐색을 위해 또는 추천 제품의 즉각적인 구매를 위해 추천 제품을 북마크하도록 허용한다. 예컨대, 사용자가 추천 제품 아이템과 상호작용(예컨대, 버튼을 클릭)한 이후에, 추천 제품은 비디오가 임의의 일시정지 없이 재생을 계속하는 동안 북마크되며, 이는 사용자가 비디오 재생의 임의의 중단 없이 비디오를 연속하여 시청하는 것을 가능하게 한다. 또 다른 예시로, 사용자는 이하에서 더 완전히 기술되는 바와 같이 비디오가 일시정지되거나 일시정지되지 않고 추천 제품의 세부 정보를 가지는 외부 웹페이지(예컨대, 추천 제품을 위한 쇼핑 카트를 위한 웹페이지, 또는 추천 제품의 브랜드의 공식 웹사이트)로 안내될 수 있다.
일부 실시예로, 클라이언트 애플리케이션(112)은 또한, 온라인 시스템(130) 상에 개인 사용자 프로필을 생성하고, 온라인 시스템(130)이 제공한 컨텐츠에 액세스하고 상호작용하기 위해 온라인 시스템(130)에 등록하도록 허용한다. 사용자의 사용자 프로필은 사용자의 선호도 정보 또는 사용자의 개인 관심사(예컨대, 구매 관심)을 나타낼 수 있다. 일실시예로, 클라이언트 애플리케이션(112)은 사용자의 선호도 또는 개인 관심사에 따라 사용자에게 맞추어진 제품을 추천하기 위해 온라인 시스템(130)으로 비디오의 사용자의 사용자 프로필 정보를 제공한다.
컨텐츠 제공자 시스템(120)은 클라이언트 장치(110)뿐만 아니라 온라인 시스템(130)으로 컨텐츠를 제공하는 온라인 시스템이며, 컨텐츠 제공자 시스템(120)은 상이한 컨텐츠 제공자(예컨대, 광고주, 온라인 배포자)를 포함할 수 있다. 일실시예로, 컨텐츠 제공자 시스템(120)은 그것의 제품, 서비스 및 브랜드 이름을 프로모션하는 컨텐츠 아이템을 제공한다. 예컨대, 컨텐츠 제공자 시스템(120)을 사용하는 컨텐츠 제공자(예컨대, 소매 또는 브랜드 소유자)는 컨텐츠 제공자에 의해 타겟팅되는 사용자에게 디스플레이하기 위해 온라인 시스템으로 비디오를 제공한다. 컨텐츠 아이템에 의해 기술되는 제품은 후보 제품에 의해 공유되는 관련 테마를 갖는 비디오를 시청하는 사용자에게 디스플레이하기 위한 후보 제품, 예컨대, 축구 경기의 비디오에 대한 축구화가 된다.
또한, 컨텐츠 제공자 시스템(120)의 컨텐츠 제공자는 컨텐츠 아이템에 의해 기술되는 제품의 세부 정보를 제공한다. 예시적인 세부 정보는 제품 설명, 가령 브랜드, 출시 날짜, 크기, 추천 제품의 가격 및 상이한 색상과 크기의 제품의 이미지에 관한 정보를 포함한다. 쇼핑 카드를 위한 웹페이지 및 전술한 제품의 브랜드의 공식 웹사이트는 추천 제품의 세부 정보를 포함한다. 일부 실시예로, 컨텐츠 아이템에 의해 기술된 제품의 세부 정보는 사용자가 시청하는 비디오의 동기화된 디스플레이에서 사용자에게 추천 제품의 제시를 생성하기 위해 온라인 시스템(130)으로 제공된다.
일부 실시예로, 컨텐츠 제공자 시스템(120)은 또한, 온라인 시스템(130)으로 다양한 소스(예컨대, 신문, 라이브 방송 프로그램, 매거진)로부터의 패션 업데이트와 같은 정보를 제공할 수 있고, 패션 업데이트는 현재 패션 트렌드를 나타낼 수 있다. 패션 업데이트는 아래에 기술되는 바와 같이 사용자에게 추천 제품을 더 잘 선택하기 위해 사용될 수 있다.
온라인 시스템(130)은 사용자의 클라이언트 장치(110)가 사용자가 시청하는 비디오를 갖는 추천 제품 세트와 함께 비디오를 디스플레이하도록, 즉 비디오의 디스플레이 아래에 스크롤링 캐러셀에 추천 제품 세트를 디스플레이하도록 지시한다. 온라인 시스템(130)은 비디오의 비디오 프레임에서 관심 지점 또는 Q 지점을 검출하거나 비디오의 편집자에 의해 선택된 비디오 프레임에서 Q 지점을 수신하고 검출된 Q 지점과 관련된 제품을 식별한다. 전술한 바와 같이, Q 지점은 비디오의 대응하는 비디오 프레임에서 캡처된 특정 관심 객체를 식별하고, Q 지점의 위치는 대응하는 비디오 프레임의 타임 스탬프 또는 프레임 번호에 의해 표시될 수 있다. Q 지점으로 식별된 예시적인 관심 객체는 Q 지점을 포함하는 비디오 프레임에서 캡처된 선수가 착용한 의상(예컨대, 셔츠, 바지)을 포함한다. 예컨대, 골프 경기에 관한 비디오에 대하여, 대응하는 Q 지점에 의해 식별된 관심 객체는 대응하는 비디오 프레임에서 선수가 착용한 특정 색상, 타입 또는 브랜드를 갖는 골프 클럽 샤프트일 수 있다. 일부 실시예로, 온라인 시스템(130)은 비디오 프레임에서 하나의 관심 객체를 식별하는 오로지 하나의 Q 지점을 결정할 수 있다.
검출된 Q 지점에 기반하여, 온라인 시스템(130)은 그것 자신의 데이터베이스 또는 외부 소스, 예컨대 컨텐츠 제공자의 웹사이트로부터 검출된 Q 지점에 의해 식별된 관심 객체에 관한 세부 정보를 요청하고 수집한다. 일례로, 온라인 시스템(130)은 컨텐츠 제공자 시스템(130)으로부터 수신된 컨텐츠 아이템에 의해 기술된 제품에 관한 세부 정보(예컨대, 브랜드 이름, 가격)를 분석하고, 비디오를 시청하는 사용자와 연관된 사용자 프로필 정보뿐만 아니라 수신된 세부 정보에 기반하여, 온라인 시스템(130)은 사용자가 시청하는 비디오와 함께 사용자에게 디스플레이하기 위한 하나 이상의 제품을 선택하고, 비디오를 갖는 이러한 디스플레이를 위해 선택된 특정 제품은 또한, "추천 제품"으로 지칭된다.
온라인 시스템(130)은 추천 제품에 관한 세부 정보(예컨대, 브랜드 이름, 가격, 이미지)를 선택, 조립 및/또는 정렬하고, 사용자에게 디스플레이되는 비디오와 동시에 추천 제품의 제시를 클라이언트 장치(110)로 제공한다.
사용자를 위해 클라이언트 장치(110) 상에 디스플레이되는 비디오와 연관된 추천 제품을 클라이언트 장치(110)로 제공하는 동안, 온라인 시스템(130)은 또한, 클라이언트 장치(110)를 통해 사용자로부터의 요청을 프로세싱할 수 있다. 일례로, 시청 사용자가 예컨대, 아래 도 3a에 더 완전히 기술되는 바와 같이 "buy now" 버튼을 클릭하거나 추천 제품 이미지를 드래그함으로써 비디오를 시청하면서 추천 제품과 상호작용할 때, 온라인 시스템(130)은 사용자가 현재 시청하는 비디오를 방해하거나 방해하지 않고 사용자를 제품의 구매를 위한 외부 웹페이지로 안내하기 위해 클라이언트 장치(110)로 지시를 제공한다.
네트워크(140)는 클라이언트 장치(110), 컨텐츠 제공자 시스템(120) 및 온라인 시스템(130) 사이에서 통신을 가능하게 한다. 일실시예에서, 네트워크(140)는 인터넷을 포함하고, 표준 통신 기술 및/또는 프로토콜, 예컨대 클라우드 컴퓨팅을 사용한다. 다른 실시예로, 네트워크(140)는 커스텀 및/또는 전용 데이터 통신 기술을 사용할 수 있다.
도 2는 일실시예에 따른 도 1에 도시된 온라인 시스템(130)의 블록도를 도시한다. 도 2에서, 온라인 시스템(130)은 인터페이스 모듈(210), 비디오 분석 모듈(220), 청중 분석 모듈(230), 제품 선택 모듈(240), 비디오 데이터 스토어(250), 제품 데이터 스토어(260), 분석 데이터 스토어(270) 및 청중 데이터 스토어(280)를 포함한다. 도 2에 제시된 상이한 모듈 및 데이터 스토어는 오로지 하나의 실시예만을 보여주며, 도시되지 않은 대안의 실시예에서, 추가적이거나 및/또는 상이한 모듈 및/또는 데이터 스토어, 가령 행위 로그, 에지 스토어 및 뉴스 피드 관리자가 온라인 서버(130)에 포함될 수 있다. 마찬가지로, 도 2에 포함된 다양한 엔티티들에 의해 수행되는 기능은 상이한 실시예들에서 상이할 수 있다.
온라인 시스템(130)의 행위 로그(도 2에는 미도시)는 온라인 시스템(130) 내부 및/또는 외부의 사용자 행위를 저장한다. 행위의 예시는 다른 사용자와의 연결관계를 추가하기, 메시지를 다른 사용자에게 송신하기, 이미지를 업로드하기, 다른 사용자로부터의 메시지를 읽기, 다른 사용자와 관련된 컨텐츠를 열람하기, 다른 사용자가 게시한 이벤트에 참여하기, 그 외 다른 것을 포함한다. 또한, 다수의 행위가 객체 및 하나 이상의 특정 사용자와 연관되며, 그래서 이런 행위들은 또한 그 사용자와 관련되고 이런 행위는 행위 로그에 저장된다.
에지 스토어(도 2에는 미도시)는 온라인 시스템(130) 상에 사용자 및 다른 객체 사이의 연결을 기술하는 정보를 에지로 저장한다. 일부 에지는 사용자에 의해 정의될 수 있고, 사용자가 다른 사용자들과의 관계를 명시할 수 있게 해준다. 예컨대, 사용자는 가령 친구, 직장동료, 파트너 등과 같은 사용자의 실생활 관계에 상응하는 다른 사용자들과의 에지를 생성할 수 있다. 다른 에지는 사용자가 가령 온라인 시스템(130) 상의 페이지에 대한 관심을 표현하고, 온라인 시스템(130)의 다른 사용자들과 링크를 공유하며, 온라인 시스템(130)의 다른 사용자들에 의해 행해진 게시물에 코멘트하는 것과 같이 온라인 시스템(130)에서 객체와 상호작용할 때 생성된다. 온라인 시스템(130) 내의 사용자 및 객체는 에지 스토어에 저장된 에지에 의해 연결된 소셜 그래프 내의 노드로 표현될 수 있다.
일실시예에서, 온라인 시스템(130)은 사용자에게 제시되는 "뉴스피드"를 통하여 사용자가 관심 있을 것 같은 소식을 식별한다. 사용자에게 표시되는 소식은 사용자와 연결된 추가 사용자에 의해 행해진 행위를 서술하고 추가 사용자를 식별한다. 일부 실시예에서, 사용자에 의해 수행된 행위를 서술하는 소식은 행위를 취한 사용자와 연결되지 않은 사용자에 의해 접근가능할 수 있다. 뉴스피드 관리자(도 2에는 미도시)는 행위 로그 및 에지 스토어 내의 정보에 기반하여 사용자에게 제시하기 위한 소식을 생성할 수 있거나, 컨텐츠 스토어에 포함된 후보 소식을 선택할 수 있다. 하나 이상의 후보 소식이 뉴스피드 관리자에 의해 선택되고 사용자에게 표시될 수 있다.
인터페이스 모듈(210)은 비디오와 동기화된 추천 제품의 스크롤링 캐러셀과 함께 사용자의 클라이언트 장치에서 사용자에게 비디오를 디스플레이하는 지시를 생성하여, 비디오에 보여지는 제품이나 유사 제품이 캐러셀에 포함되도록 하고 사용자가 구매를 위해 캐러셀에 포함된 제품을 선택할 수 있도록 한다. 일실시예에서, 인터페이스 모듈(210)은 추천 제품 아이템들의 세트뿐만 아니라 사용자에게 디스플레이하기 위한 비디오를 수신하고, 사용자에 의해 시청되는 비디오와 함께 추천 제품을 디스플레이하기 위한 지시를 생성한다. 비디오와 관련된 입력 데이터는 비디오 데이터 스토어(250)에 저장되는 한편, 추천 제품과 관련된 데이터는 제품 데이터 스토어(260)에 저장된다.
사용자에게 클라이언트 장치(110)에서 비디오의 디스플레이와 함께 추천 제품을 디스플레이하기 위한 지시와 관련하여, 인터페이스 모듈(210)은 선택된 추천 제품의 컨텐츠, 특정 제시 스타일, 포맷(예컨대, 수평 스크롤링, 페이드-인/페이드-오프) 또는 클라이언트 장치(110)의 동일한 사용자 인터페이스 상의 비디오의 디스플레이에 대한 추천 제품의 위치뿐 아니라 제품의 스크롤링 캐러셀에 어떤 추천 제품이 포함될 지를 명시할 수 있다. 추천 제품 아이템에 포함되어야 하는 컨텐츠의 카테고리와 관련하여, 인터페이스 모듈(210)은 대응하는 추천 제품의 이미지, 브랜드 소유자 정보(예를 들어, 브랜드 이름), 가격, 크기 또는 추가 정보를 포함하도록 결정할 수 있고, 이는 아래 도 3a에서 완전히 설명된다.
일례로, 제시 스타일 또는 포맷과 관련하여, 인터페이스 모듈(210)은 추천 제품 아이템을 제시하는 스크롤링 캐러셀을 사용하도록 결정할 수 있다. 스크롤링 캐러셀에서, 사용자에게 디스플레이되는 비디오 프레임에서 검출된 Q 지점과 연관된 하나의 추천 제품 또는 다수의 추천 제품이 포함되고, 현재 추천 제품은 비디오의 비디오 프레임에서 다음의 Q 지점이 나타날 때까지 디스플레이될 수 있다. 다음 Q 지점이 비디오 프레임에 나타날 때, 캐러셀은 현재 디스플레이되는 추천 제품을 다음 Q 지점과 연관된 하나 이상의 추천 제품으로 동적으로 교체한다. 예컨대, 캐러셀은 하나의 Q 지점에 대한 제1 제품을 향해 자동으로 스크롤링하고, 이후 다음의 Q 지점에 대한 다음의 제품을 향해 자동-스크롤링하여서, 사용자는 비록 사용자가 그 제품에 관한 더 많은 정보를 얻기 위해 임의의 시간에 제품을 클릭하거나 제품 상에 마우스를 가져갈 수 있지만, 단순히 비디오를 시청하고 제품의 자동-스크롤을 볼 수 있도록 한다. 캐러셀 또는 추천 제품의 제시의 다른 형태는 도 3a-3b에서 아래에 더 완전히 기술되는 바와 같이 사용자가 시청하는 비디오의 디스플레이 위에, 그 아래에 또는 그 옆에 제시될 수 있다.
일부 실시예로, 인터페이스 모듈(210)은 또한, 클라이언트 장치(110)로부터 청중 데이터를 수신하고, 청중 데이터는 청중 데이터 스토어(280)에 저장된다. 일실시예로, 청중 데이터는 비디오의 사용자의 사용자 프로필 정보를 포함하고, 사용자 프로필 정보는 사용자의 성별, 사용자에 대한 제시를 위해 추천 제품을 선택하는데 사용될 수 있는 선호도 또는 개인 관심사(예컨대, 구매 관심)를 포함할 수 있고, 선택된 추천 제품은 사용자의 선호도나 개인 관심사에 따라 선택된다.
인터페이스 모듈(210)은 또한, 컨텐츠 제공자 시스템(120)으로부터 추천 제품에 관한 세부 제품 정보를 수신하고, 제품 정보는 제품 데이터 스토어(260)에 저장된다. 일부 실시예로, 인터페이스 모듈(210)은 또한, 컨텐츠 제공자 시스템(120)으로부터 과거 기간(예컨대, 지난 24시간 또는 지난 주)에서의 패션 업데이트와 같은 정보를 수신하고, 패선 업데이트는 트렌드를 결정하기 위해 제품 선택 모듈(240)을 위해 분석 데이터 스토어(270)에 저장되어서, 이하에서 더 완전히 기술되는 바와 같이 온라인 시스템(130)의 사용자들의 더 나은 타겟팅과 추천 제품의 더 나은 선택을 허용한다. 컨텐츠 제공자 시스템(120)은 캐러셀에 포함할 특정 제품을 선택할 수 있고, 이들을 온라인 시스템에 표시하거나, 온라인 시스템은 어떤 제품을 캐러셀에 포함할 지를 선택할 수 있다.
일부 실시예로, 인터페이스 모듈(210)은 또한, 사용자에게 디스플레이되는 추천 제품 아이템에 관한 사용자의 요청을 클라이언트 장치(110)를 통해 수신하고, 사용자의 요청에 응답하여 클라이언트 장치(110)로 지시를 제공한다. 예컨대, 추천 제품을 구매하려는 사용자의 요청에 응답하여(예컨대, 사용자는 도 3a에서 아래에 더 완전히 기술되는 바와 같이 "buy now" 버튼을 클릭할 수 있음), 인터페이스 모듈(210)은 사용자가 추천 제품에 대해 지불하도록 허용하는 외부 구매 웹페이지로 사용자를 안내하기 위해 클라이언트 장치(110)로 지시를 제공하고, 사용자에게 현재 디스플레이되는 비디오는 사용자가 구매 웹페이지로 안내되고 이를 열람하는 동안에 일시정지되거나 일시정지되지 않을 수 있다. 다른 예로, 추천 제품에 관한 세부사항을 배우고자 하는 사용자의 요청에 응답하여(예컨대, 사용자는 도 3a에서 아래에 더 완전히 기술되는 바와 같이 추천 제품 이미지를 클릭 할 수 있음), 인터페이스 모듈(210)은 사용자를 추천 제품의 브랜드 소유자의 공식 웹사이트로 안내하기 위한 지시를 클라이언트 장치(110)로 제공한다.
비디오 분석 모듈(220)은 사용자에게 디스플레이될 비디오의 시각적 특징을 추출하고 비디오 데이터 스토어(250)에 비디오 및 그것의 관련 시각적 특징을 저장한다. 비디오의 시각적 특징에 기반하여, 비디오 분석 모듈(220)은 비디오의 비디오 프레임에서 Q 지점을 검출하고, 이는 대응하는 비디오 프레임에서 하나 이상의 관심 객체를 식별한다. Q 지점에 의해 식별되는 관심 객체는 사용자가 구매하고자 하는 잠재적 제품일 수 있다. 결정된 Q 지점 및 관련 데이터(예컨대, 식별된 관심 객체 및 검출된 Q 지점과 연관된 비디오 프레임 인덱스)는 분석 데이터 스토어(270)에 저장된다. 일실시예에서, 비디오 분석 모듈(220)은 비디오의 각각의 비디오 프레임을 분석하고 비디오 프레임이 Q 지점을 포함하는지 여부를 검출한다. Q 지점 검출의 프레임 별 분석에 대한 상세한 설명은 도 4를 참조하여 아래에서 설명된다.
비디오 프레임에서 Q 지점을 결정하기 위해, 비디오 분석 모듈(220)은 수동-기반 방법 및 기계-기반 분석 모두를 이용할 수 있다. 예컨대, 수동-기반 방법으로, 사람은 비디오 프레임 내의 Q 지점과 식별된 Q 지점과 연관된 관심 객체(예컨대, 선수가 착용한 특정 브랜드의 신발)를 수동으로 식별한다. 예를 들어, 온라인 시스템(130)의 관리자는 비디오를 시청하며 비디오 프레임에서 브랜드 이름 티셔츠를 입은 선수를 식별한다. 관리자는 비디오 프레임에서 Q 지점으로서 선수를 그리고 브랜드 이름 티셔츠를 대응되는 관심 객체를 수동으로 표시한다(예컨대, Q-지점 로그에서 엔트리를 로그한다). 기계-기반 분석을 사용하여, 비디오 분석 모듈(220)은 비디오의 비디오 프레임의 시각적 특징을 추출하기 위해 이미지 프로세싱 기술, 가령 에지 검출, 블롭 추출, 히스토그램 분석, 픽셀 강도 필터링, 그라디언트 필터링, 패턴 인식, 또는 스케일-불변 특징 변환을 사용한다. 대안으로, 비디오 분석 모듈(225)은 비디오 프레임의 시각적 특징을 추출하기 위해 이미지 특징 추출 모델을 적용하고, 여기서 추출 모델은 트레이닝 이미지의 대규모 코퍼스(corpus)를 컴퓨팅 클러스터에 대한 다양한 분산형 배치 최적화 절차 및 비동기식 스토캐스틱 그라디언트 하강 절차를 사용하여 트레이닝된다. 추출된 시각적 특징은 가능한 관심 객체, 예컨대, 식별된 객체와 연관된 비디오 프레임 내의 특정 브랜드 로고를 갖는 셔츠, 신발을 식별하기 위해 사용될 수 있다.
이제 도 4로 전환하면, 도 4는 일실시예에 따른 사용자에게 디스플레이되는 비디오에서 관심 지점(또한, "Q 지점"으로도 지칭됨)을 검출하는 예시를 도시하는 선 다이어그램을 도시한다. 도 4에서, 시간 레이블(405)(예컨대, 405A-405N) 시퀀스에 대응하는 비디오 프레임(410)(예컨대, 410A-410N) 시퀀스는 비디오의 비디오 프레임을 디스플레이하는 타임라인(420)에 포함된다. 타임라인(420)은 각 비디오 프레임(410)에 대해, 전체 비디오 프레임 시퀀스(410) 사이에서 비디오 프레임의 타임스탬프와 관련된 상대적인 위치를 나타내는 타임 레이블(405)를 보여준다. 예컨대, 비디오 프레임(410A)은 시간 레이블(405A)에 대응하고; 비디오 프레임(410B)은 시간 레이블(405B)에 대응하고, 비디오 프레임(410N)은 프레임 레이블(405N)에 대응한다.
하나 이상의 비디오 프레임(410)은 하나 이상의 Q 지점을 가질 수 있고, 비디오 프레임 내의 각 Q 지점은 비디오 프레임 내의 관심 객체를 식별한다. 예컨대, 비디오 프레임(410C)은 비디오 프레임(410C)에서 검출된 선수를 식별하는 Q 지점을 가지고; 반면에 비디오 프레임(410A, 410B)은 비디오 프레임(410A, 410B)이 축구 경기의 시작, 가령 축구장 위의 푸른 하늘을 캡처하기 때문에 Q 지점을 갖지 않는다. 전술한 바와 같이, 비디오 분석 모듈(220)은 다양한 이미지 프로세싱 기술을 사용하여 Q 지점을 검출하기 위해 각 비디오 프레임의 시각적 특징을 분석한다. 비디오 프레임의 각 Q 지점은 비디오의 다른 비디오 프레임 간의 상대적 위치, 즉 타임 스탬프 또는 프레임 번호를 나타내는 인덱스를 가진다.
청중 분석 모듈(230)은 인터페이스 모듈(210)에 의해 수집된 청중 데이터 스토어(280)에 저장되는 청중 데이터를 수신하고, 타겟 사용자의 선호도 및 개인 관심사(예컨대, 구매 관심사)를 결정한다. 일실시예로, 청중 분석 모듈(230)은 인터페이스 모듈(210)에 의해 이미 수집된 사용자 프로필 정보로부터 직접 사용자 선호도 정보를 결정한다. 예컨대, 사용자 프로필 정보에 포함된 취미(예컨대, 축구 애호가)는 사용자가 축구 경기에 관심이 있다고 나타낼 수 있고, 사용자는 축구 경기 비디오를 시청하면서 축구 유니폼, 축구화 및 축구공을 구매하는데 관심이 있을 수 있다. 다른 실시예로, 청중 분석 모듈(230)은 기계-기반 분석을 통해 수집된 청중 데이터에 기반하여, 예컨대 다양한 타입의 타겟 청중과 관련된 트레이닝 데이터의 코퍼스(corpus)에 기반하여 모델을 트레이닝하기 위해 기계 학습 기술을 사용하여, 사용자 선호도 정보를 결정한다.
제품 선택 모듈(240)은 컨텐츠 제공자가 제공한 컨텐츠 아이템 및/또는 온라인 시스템(130)에 의해 선별된 제품 카탈로그로부터 검출된 Q 지점과 연관된 추천 제품을 선택한다. 추천 제품에 관한 정보, 가령 추천 제품의 이미지는 제품 데이터 스토어(260)에 저장된다. 일실시예에서, 제품 선택 모듈(240)은 검출된 Q 지점에 의해 식별된 관심 대상, 관심 대상에 의해 식별된 후보 제품의 제품 정보뿐 아니라 사용자와 연관된 청중 데이터에 포함된 사용자 프로필 정보를 분석하고, 사용자에 대한 동기화된 디스플레이를 위한 추천 제품을 결정한다. 예컨대, 식별된 관심 객체뿐 아니라 사용자 프로필 정보에 기반하여, 제품 선택 모듈(240)은 후보 제품 또는 유사 제품이 사용자에 대한 제시를 위한 추천 제품으로서 선택될 수 있는지를 결정한다. 일례로, 검출된 Q 지점에 대응하는 비디오 프레임에서 캡처된 관심 객체는 축구 경기 비디오에서 남성 축구 선수가 착용한 매우 인기 있는 브랜드의 셔츠일 수 있다. 제품 선택 모듈(240)은 동일한 브랜드 소유자로부터 스타일과 색상이 동일한 셔츠 및 상이한 색상 또는 상이한 브랜드의 하나 이상의 유사한 셔츠를 추천 제품으로 선택한다. 제품 선택 모듈(240)은 사용자 프로필 정보에 기반하여 다른 관련 제품, 가령 이 브랜드의 여성을 위한 셔츠, 신발, 바지를 더 선택할 수 있다.
일실시예로, 오로지 하나의 추천 제품이 대응하는 비디오 프레임에서 검출된 단일 Q 지점에 대해 선택된다; 다른 실시예로, 다수의 상이한 추천 제품이 대응하는 비디오 프레임에서 검출된 단일 Q 지점에 대해 선택된다. 일부 실시예로, 추천 제품은 Q 지점에 의해 식별된 관심 객체와 동일하거나 유사한 특징(예컨대, 동일한 브랜드 및 스타일)을 공유한다. 일례로, 하나의 추천 제품은 대응하는 Q 지점에 의해 식별되는 관심 대상(예를 들어, 비디오에서 선수가 착용하는 축구 유니폼)과 정확히 동일한 제품일 수 있다. 다른 예로, 추천 제품은 동일한 브랜드의 제품일 수 있지만, 상이한 성별을 위한 것, 예컨대, 동일한 스타일의 셔츠이지만 여성을 위한 것일 수 있다. 일부 실시예에서, 온라인 시스템(130)은 비디오를 시청하는 사용자와 연관된 사용자 프로필 정보에 기반하여 추천 제품을 선택하여, 사용자에게 제시된 추천 제품이 사용자의 선호도 또는 구매 관심사와 매칭할 가능성이 높도록 한다.
일부 실시예로, 제품 선택 모듈(240)은 분석 데이터 스토어(270)에 저장된 트렌드와 관련된 데이터(예컨대, 수집된 패션 업데이트)에 기반하여 트렌드를 결정하고, 사용자에 대한 동기화된 디스플레이를 위해 트렌드에 기반하여 추천 제품을 선택한다. 일실시예로, 제품 선택 모듈(240)은 다양한 이미지 분석 기술을 사용하여 트렌드를 결정한다. 일례로, 제품 선택 모듈(240)은 최근 패션 이벤트에서 캡처된 유명인의 드레싱(의상, 신발, 보석류)의 사진을 분석하고 트렌드를 결정한다. 제품 선택 모듈(240)은 인터페이스 모듈(210)이 적절한 컨텐츠 제공자(예컨대, 광고주) 및 결정된 트렌드에 매칭하는 제품에 관한 정보를 검색 및 수집하도록 지시할 수 있다. 제품 선택 모듈(240)은 사용자의 사용자 프로필 정보뿐만 아니라 검색된 결과에 기반하여 추천 제품을 선택한다.
비디오 데이터 스토어(250)는 인터페이스 모듈(210)에 의해 수신되고 Q 지점을 검출하기 위해 비디오 분석 모듈(220)에 의해 사용되는 비디오를 저장한다. 일실시예로, 비디오 데이터 스토어(250)는 수신된 비디오의 모든 비디오 프레임을 저장하고, 비디오 프레임은 타임스탬프 또는 프레임 번호에 의해 인덱싱될 수 있다. 전술한 바와 같이, 비디오의 컨텐츠는 특정 테마, 예컨대, 스포츠 게임 또는 컨텐츠 제공자가 제공하는 특정 제품의 프로모션과 연관될 수 있다. 전술한 바와 같이, 기록된 비디오의 일부 비디오 프레임은 Q 지점 및 Q 지점에 의해 식별된 대응하는 관심 객체를 포함할 수 있다.
제품 데이터 스토어(260)는 비디오 분석 모듈(220)에 의해 결정된 관심 객체와 같은 후보 제품 및 제품 선택 모듈(240)에 의해 결정된 추천 제품의 제품 정보를 저장한다. 후보 제품의 제품 정보는 정보, 가령 제품 카테고리(예컨대, 의류, 음식, 소비자 가전 장치 등), 브랜드(예컨대, 브랜드 이름, 브랜드 이력), 출시 날짜, 가격, 크기, 성별뿐 아니라 제품에 관한 추가 컨텐츠 아이템을 포함할 수 있다.
분석 데이터 스토어(270)는 결정된 Q 지점 및 비디오 분석 모듈(220)에 의해 결정된 Q 지점에 의해 식별된 관심 객체에 관한 정보뿐 아니라 특정 기간(예컨대, 지난주)에 걸쳐 인터페이스 모듈(210)에 의해 수집된 정보(예컨대, 패션 업데이트)를 저장한다. 각 검출된 Q 지점은 Q 지점에 의해 식별된 관심 객체의 정보뿐 아니라 Q 지점을 갖는 대응하는 비디오 프레임의 인덱스(예컨대, 타임스탬프나 프레임 번호)를 포함한다. 일실시예로, 관심 객체의 정보는 관심 객체를 갖는 비디오 프레임, 객체 타입(예컨대, 사람, 사람이 착용한 의상, 또는 골프 클럽 샤프트나 축구공과 같은 장비), 브랜드 소유자, 색상 등의 인덱스를 더 포함할 수 있다. 분석 데이터 스토어(270)에 저장된 패션 업데이트는 기간에 걸쳐 트렌드(패션 트렌드)를 결정하기 위해 사용되고, 패션 업데이트는 라이브 방송 또는 다른 미디어에 의해 캡처된 유명인의 드레싱(예컨대, 의상이나 신발)의 이미지, 또는 신문, 매거진이나 패션쇼에서 특정된 인기 있는 패션 용어일 수 있다.
청중 데이터 스토어(280)는 클라이언트 장치(110)로부터 인터페이스 모듈(210)에 의해 수신된 청중 데이터를 저장하고, 예시적인 청중 데이터는 클라이언트 장치(110)의 사용자에 관한 사용자 프로필 정보, 가령 성별, 개인 취미(예컨대, 스포츠나 선호되는 스포츠 타입) 및 추가 개인 관심사(예컨대, 구매 관심사)를 포함한다. 또한, 청중 데이터 스토어는 청중 분석 모듈(230)에 의해 사용자와 연관된 결정된 사용자 선호도를 저장한다.
도 3a-3b는 일실시예에 따른 동시에 사용자에게 추천 제품과 함께 비디오를 제시하는 상이한 예시적인 사용자 인터페이스를 도시한다. 도 3a는 추천 제품을 비디오 쇼의 비디오 프레임이 보여줄 때 제시되는 하나의 추천 제품(340)을 포함하는 예시적인 사용자 인터페이스(300)를 도시한다. 도 3b는 비디오 쇼의 비디오 프레임이 추천 제품 중 하나를 보여줄 때 다수의 추천 제품을 포함하는 또 다른 예시적인 사용자 인터페이스(350)를 도시한다.
도 3a에서, 예시적인 사용자 인터페이스(300)는 사용자 인터페이스(300)의 상반부를 점유하는 현재 비디오 프레임(310)에 의해 표현되는 비디오, 및 사용자 인터페이스(300)의 하반부를 점유하는 스크롤링 제품 캐러셀(320)을 포함한다. 현재 비디오 프레임(310)은 사용자 인터페이스(300)에서 사용자에게 디스플레이된다. 비디오의 현재 비디오 프레임(310)은 야구 선수(311), 셔츠(312), 야구 선수가 착용하는 한 쌍의 반바지(313) 및 한 쌍의 야구 신발(314), 및 야구 선수(311)가 잡는 야구 방망이(315) 및 야구 방망이(315)에 의해 타격되기 전에 야구공(316)을 배치하는데 사용되는 야구공 타격 티(tee)(317)로부터 멀리 이동하는 야구공(316)과 같은 장비를 보여준다.
일부 실시예로, 비디오 분석 모듈(220)은 현재 비디오 프레임을 분석하고 예컨대, 현재 비디오 프레임(310)의 객체 인식에 기반하여 현재 비디오의 Q 지점으로서 야구 선수(311)를 검출한다. 비디오 분석 모듈(220)은 셔츠(312), 반바지(313), 신발(314), 야구 방망이(315), 야구공(316) 및 타격 티(317)를 포함하는 검출된 Q 지점에 대응하는 객체의 일부 또는 전부를 식별한다.
제품 선택 모듈(240)은 전술한 바와 같이 검출된 Q 지점과 연관된 하나 이상의 추천 제품을 선택한다. 선택된 추천 제품은 도 3a에 도시되는 스크롤링 제품 캐러셀(320)에 포함되고, 여기서 제품 캐러셀(320) 내의 추천 제품은 비디오의 비디오 프레임의 디스플레이와 동기화되어 디스플레이되어서 현재 비디오 프레임에 보여지는 관심 객체(예컨대, 야구 셔츠(312), 반바지(313) 및 신발(314)이 캐러셀에 포함되도록 한다. 스크롤링 제품 캐러셀(320)은 비디오의 현재 비디오 프레임과 함께 동시에 디스플레이하기 위해 선택된 추천 제품에 대한 하나의 예시적인 제시 스타일이다. 도 3a에 도시되는 바와 같이, 스크롤링 제품 캐러셀(320)은 캐러셀 에지(321A) 및 캐러셀(321B)에 의해 둘러싸여 있고, 추천 제품(예컨대, 여기서는 330 및 340)은 수평 방향, 예컨대 좌측에서 우측으로 보여지도록 동기화된다.
추천 제품, 예컨대 330 또는 340은 사용자 인터페이스(300) 상에 디스플레이되는 컨텐츠 아이템을 지칭한다. 추천 제품은 동기화된 디스플레이를 위해 추천 제품의 정보에 따라 디스플레이되며, 예컨대 이 추천 제품에 대해서는 추천 제품 이미지(332), 제품 이름이나 브랜드 이름(333), 가격 태그(334) 및 "buy now" 버튼(335)이다. 일부 실시에로, "buy now" 버튼(335)은 사용자가 현재 재생되는 비디오를 중단하거나 중단하지 않고 제품을 구매하기 위한 외부 쇼핑 카트 또는 체크-아웃 웹페이지로 안내되도록 허용한다. 일례로, 사용자가 "buy now" 버튼(335)을 클릭한 이후 현재 재생되는 비디오가 일시정지되면, 사용자는 제품을 구매할지 여부를 결정하기 이전에 체크-아웃 웹페이지에 디스플레이되는 추천 제품의 세부 제품 정보를 열람하기 위해 시간을 소비할 수 있다. 다른 예로, 사용자는 임의의 중단 없이 비디오 시청을 종료하기를 선호한다. 이 경우, 현재 재생되는 비디오는 사용자가 "buy now" 버튼(335)을 클릭한 이후 (일시정지되는 대신에) 재생을 계속하고, 추천 제품은 이후의 열람을 위해 저장 또는 북마크된다.
도 3a에 도시된 스크롤링 제품 캐러셀(320)은 추천 제품을 보여주는 현재 비디오 프레임과 함께 오로지 하나의 추천 제품(330)(예컨대, 야구 셔츠(332)와 동일하거나 유사함)을 제시한다. 스크롤링 제품 캐러셀(320)은 또한, 다음의 비디오 프레임에서 검출된 Q 지점과 연관된 다음의 추천 제품, 예컨대 추천 제품(340)(이를테면, 야구 방망이(315)와 동일하거나 유사함)을 포함한다. 다음의 추천 제품(340)은 다음의 Q 지점과 연관된 다음의 비디오 프레임이 다음의 타임 슬롯에서 재생될 때 제시된다. 일실시예로, 현재의 추천 제품(예컨대, 추천 제품 아이템(330))에서 다음의 추천 제품(예컨대, 추천 제품 아이템(340))으로 변경할 때, 스크롤링 제품 캐러셀(320)은, 가령 현재 추천 제품(330)의 이미지로부터 페이드 아웃하고 다음의 추천 제품(340)의 이미지로 페이드 인하는 것과 같은 다음의 것(예컨대, 추천 제품 아이템(340))으로 현재의 것(예컨대, 추천 제품 아이템(330))을 점진적으로 교체하는 효과를 갖도록 좌측으로 시프트 또는 이동할 수 있다. 도시되지 않은 대안의 실시예로, 스크롤링 제품 캐러셀(320)은 현재 추천 제품을 디스플레이하는 것에서 다음의 추천 제품을 디스플레이하는 것으로 변환할 때 우측으로 시프트할 수 있다.
도 3a에 도시된 추천 제품(330, 340)뿐 아니라 비디오(310)를 제시하는 것은 오로지 하나의 예시이며, 도시되지 않은 대안의 실시예에서 상이한 스타일 또는 포맷의 제시가 사용될 수 있다. 일례로, 사용자 인터페이스(300)는 도 3a에 도시된 스크롤링 제품 캐러셀(320)을 사용하는 대신에 추천 제품의 상이한 제시 포맷을 가질 수 있다; 현재 비디오 프레임을 위해 제시되는 추천 제품의 수는 다양할 수 있고, 이는 아래 도 3b에서 더 완전히 기술된다. 또한, 비디오(310)와 추천 제품(330, 340) 사이의 상대적인 위치는 현재 비디오 프레임과 연관된 추천 제품이 현재 비디오 프레임과 동시에 제시되는 한 다양할 수 있다. 예컨대, 추천 제품은 현재 비디오 프레임(310)의 위에, 좌측에 또는 우측에 디스플레이될 수 있다. 추가로, 추천 제품에 포함된 컨텐츠 및/또는 스타일은 다양할 수 있고, 예컨대 "buy now" 버튼(335)과는 상이한 "bookmark" 버튼(여기서는 미도시)이 추천 제품 내에 포함될 수 있어서, 열람 사용자가 이후의 열람이나 탐색을 위해 저장된 추천 제품을 편리하게 북마크하는 것을 허용한다.
도 3b는 일실시예에 따른, 사용자가 시청하는 비디오의 현재 비디오 프레임(360)의 디스플레이와 동기화되어 제시되는 다수의 추천 제품을 포함하는 또 다른 예시적인 사용자 인터페이스(350)를 도시한다. 도 3a에 도시되는 예시적인 사용자 인터페이스(300)와 유사하게, 사용자 인터페이스(350)는 또한, 사용자에게 디스플레이되는 현재 비디오 프레임(360)에 의해 표현되는 비디오 및 캐러셀 에지(371A) 및 캐러셀(371B)에 의해 둘러싸인 제품 캐러셀(370)을 포함한다. 현재 비디오 프레임(360)은 현재 비디오 프레임, 예를 들어 자동차에서 관심 객체를 식별하는, 검출된 Q 지점을 가진다. 도 3a에 도시된 추천 제품(330, 340)의 디스플레이와 비교할 때, 도 3b에 도시된 예시적인 사용자 인터페이스(350)는 추천 제품(380, 385, 390)의 상이한 제시를 이용하고, 추천 제품 중 둘(즉, 380 및 385)은, 추천 제품(380, 385)이 현재 비디오 프레임(360)에 도시된 자동차, 예컨대 동일한 자동차 제조사지만 상이한 색상인 자동차와 관련되기 때문에 현재 비디오 프레임(360)과 함께 제시된다. 스크롤링 제품 캐러셀(370)은 또한, 다음의 추천 제품(390)으로서 동일하거나 유사한 제품을 보여주는 다음의 비디오 프레임과 함께 제시되는 다음의 추천 제품(390)을 포함한다.
도 5는 일실시예에 따른, 사용자가 시청하는 비디오와 함께 검출된 Q 지점과 연관된 추천 제품을 선택 및 제시하는, 비디오에서 Q 지점을 검출하는 프로세스를 도시하는 예시적인 흐름도(500)를 도시한다. 초기에, 온라인 시스템(130)은 사용자로의 디스플레이를 위한 비디오를 수신(510)하고, 비디오는 컨텐츠 제공자로부터의 사전-녹화된 비디오 또는 컨텐츠 제공자로부터의 라이브 방송 비디오일 수 있다. 비디오를 수신한 이후, 온라인 시스템(130)은 예컨대 비디오의 각 비디오 프레임을 분석함으로써 비디오의 대응하는 비디오 프레임과 연관된 Q 지점을 검출한다(520). 비디오 프레임 내의 각 검출된 Q 지점은 비디오 프레임에서 관심 객체, 예컨대 야구 경기 비디오에서 선수를 식별한다(530). 온라인 시스템(130)은 식별된 관심 객체와 연관된 추천 제품을 사용자의 사용자 프로필 정보에 기반하여 선택한다(540). 예컨대, 온라인 시스템(130)은 예컨대, 식별된 선수가 착용한 T-셔츠, 캡, 반바지와 같은 식별된 객체와 연관된 하나 이상의 제품을 식별하고, 비디오 프레임에 보여지는 식별된 제품과 동일하거나 유사한 하나 이상의 제품을 선택한다. 온라인 시스템(130)은 사용자 프로필 정보에 기반하여 제품 선택을 향상시킬 수 있어서 온라인 시스템(130)은 사용자의 선호도(예컨대, 구매 관심사)에 매칭하는 추천 제품을 선택할 수 있도록 한다. 온라인 시스템(130)은 스크롤링 제품 캐러셀에 추천 제품을 포함시키고, 사용자에게 동일하거나 유사한 제품을 보여주는 대응하는 비디오 프레임과 동시에 추천 제품을 사용자에게 제시한다.
추가적인 구성 정보
본 발명의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로, 배타적이거나 개시된 정확한 형태들로 본 발명을 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 발명의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.
본 명세서에 설명된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 발명에 기술된 실시예들은 또한, 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
또한, 본 발명의 실시예들은 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생산된 제품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 발명의 범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 본 출원이 기초로 하는 제출되는 청구범위에 의해 정의되는 것으로 의도되었다. 따라서, 본 발명의 실시예들의 개시는 설명을 위한 것이며, 본 발명의 범위를 제한하고자 하는 것이 아니다. 본 발명의 범위는 이하의 청구범위에 개시된다.

Claims (22)

  1. 사용자에게 디스플레이하기 위해 복수의 비디오 프레임을 포함하는 비디오를 수신하는 단계;
    각 비디오 프레임에 대해:
    비디오 프레임의 시각적 특징을 분석하는 단계; 및
    비디오 프레임의 시각적 특징의 분석에 기반하여 비디오 프레임에서 하나 이상의 관심 지점을 검출하는 단계;
    복수의 비디오 프레임에서 검출된 관심 지점에 기반하여 하나 이상의 제품을 선택하는 단계; 및
    디스플레이를 위해, 사용자에게 디스플레이되는 대응하는 비디오 프레임과 함께 선택된 제품을 제공하는 단계를 포함하고,
    비디오 프레임 내의 관심 지점은 비디오 프레임 내의 객체와 연관되고, 비디오 프레임 내의 객체는 하나 이상의 제품과 관련되며,
    선택된 제품과 선택된 제품을 보여주는 대응하는 비디오 프레임은 사용자 인터페이스에서 사용자에게 동시에 디스플레이되는 컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    디스플레이를 위해, 대응하는 비디오 프레임과 함께 선택된 제품을 제공하는 단계는:
    사용자에게 현재 디스플레이되는 각 비디오 프레임에 대해:
    비디오 프레임이 검출된 관심 지점을 갖는지 여부를 결정하는 단계; 및
    비디오 프레임에서 검출된 관심 지점과 연관된 하나 이상의 제품을 선택하는 단계를 포함하는 컴퓨터 구현 방법.
  3. 제 2 항에 있어서,
    디스플레이를 위해, 사용자에게 보여지는 디스플레이 인터페이스의 제1 부분에서 비디오 프레임을 제공하는 단계; 및
    디스플레이를 위해, 디스플레이 인터페이스의 제2 부분에 위치한 제품의 스크롤링 캐러셀(scrolling carousel)에서 하나 이상의 선택된 제품을 제공하는 단계를 더 포함하고,
    선택된 제품 중 적어도 하나는 비디오 프레임에 보여지는 제품과 동일하거나 유사한 것인 컴퓨터 구현 방법.
  4. 제 3 항에 있어서,
    디스플레이를 위해, 제품의 스크롤링 캐러셀에서 하나 이상의 선택된 제품을 제공하는 단계는:
    디스플레이 인터페이스의 제2 부분에서 하나 이상의 도구를 디스플레이하는 단계를 포함하고,
    사용자는 하나 이상의 도구를 통해 디스플레이된 제품과 상호작용하는 컴퓨터 구현 방법.
  5. 제 4 항에 있어서,
    디스플레이 인터페이스의 제2 부분에 디스플레이되는 하나 이상의 도구는:
    사용자가 디스플레이된 제품을 구매하기 위한 구매 도구; 및
    사용자가 디스플레이된 제품을 북마크하기 위한 북마크 도구 중 하나를 포함하는 컴퓨터 구현 방법.
  6. 제 1 항에 있어서,
    비디오 프레임 내의 관심 지점은 비디오 프레임과 연관된 타임스탬프 및 비디오 프레임의 프레임 번호 중 하나에 의해 식별되는 컴퓨터 구현 방법.
  7. 제 1 항에 있어서,
    비디오 프레임에서 검출된 관심 지점과 연관된 선택된 제품은 비디오 프레임에서 식별된 객체에 의해 관련된 제품의 하나 이상의 특징을 공유하는 컴퓨터 구현 방법.
  8. 제 1 항에 있어서,
    사용자와 연관된 사용자 프로필 정보를 분석하는 단계;
    사용자 프로필 정보의 분석에 기반하여 제품에 대한 사용자 선호도를 도출하는 단계; 및
    제품에 대한 도출된 사용자 선호도에 기반하여 제품의 선택을 업데이트하는 단계를 더 포함하는 컴퓨터 구현 방법.
  9. 제 1 항에 있어서,
    비디오 프레임의 시각적 특징을 분석하는 단계는:
    복수의 시각적 특징을 추출하기 위해 비디오 프레임에 트레이닝된 이미지 특징 추출 모델을 적용하는 단계;
    추출된 시각적 특징에 기반하여 비디오 프레임 내의 객체를 식별하는 단계; 및
    식별된 객체와 연관된 하나 이상의 아이템을 식별하는 단계를 포함하고,
    각 식별된 아이템은 사용자가 관심이 있을 가능성이 높은 제품에 대응하는 컴퓨터 구현 방법.
  10. 제 1 항에 있어서,
    사용자에게 디스플레이되는 비디오는 사전-녹화된 비디오 및 실시간으로 사용자에게 스트리밍되는 방송 비디오 중 하나인 컴퓨터 구현 방법.
  11. 온라인 시스템의 사용자에게 컨텐츠를 제공하기 위한 기회를 검출하는 단계;
    비디오의 비디오 프레임에서 검출된 관심 지점에 기반하여 사용자에게 디스플레이하기 위한 비디오 및 복수의 선택된 제품을 포함하는 컨텐츠 아이템을 제공하는 단계;
    사용자로부터 비디오를 재생하는 표시를 수신하는 단계;
    비디오를 재생하고, 비디오의 재생과 동기화된 방식으로 복수의 선택된 제품 각각을 디스플레이하는 단계;
    사용자에 의한 선택된 제품 중 하나와의 상호작용을 수신하는 단계; 및
    사용자에게 제품을 기술하는 컨텐츠로의 액세스를 제공하는 단계를 포함하고,
    선택된 제품 및 선택된 제품을 보여주는 대응하는 비디오 프레임은 사용자 인터페이스에서 사용자에게 동시에 디스플레이되는 컴퓨터 구현 방법.
  12. 제 11 항에 있어서,
    제품을 기술하는 컨텐츠는 제품의 세부 제품 정보를 포함하고, 제품 정보는: 가격, 구매 방법, 스타일, 크기, 색상, 성별 및 제품의 브랜드 이름 중 적어도 하나를 포함하는 컴퓨터 구현 방법.
  13. 컴퓨터 프로세서에 의해 실행될 때, 프로세서로 하여금:
    사용자에게 디스플레이하기 위해 복수의 비디오 프레임을 포함하는 비디오를 수신하는 단계;
    각 비디오 프레임에 대해:
    비디오 프레임의 시각적 특징을 분석하는 단계; 및
    비디오 프레임의 시각적 특징의 분석에 기반하여 비디오 프레임에서 하나 이상의 관심 지점을 검출하는 단계;
    복수의 비디오 프레임에서 검출된 관심 지점에 기반하여 하나 이상의 제품을 선택하는 단계; 및
    디스플레이를 위해, 사용자에게 디스플레이되는 대응하는 비디오 프레임과 함께 선택된 제품을 제공하는 단계를 수행하도록 야기하는 컴퓨터 프로그램 명령어를 저장하고,
    비디오 프레임 내의 관심 지점은 비디오 프레임 내의 객체와 연관되고, 비디오 프레임 내의 객체는 하나 이상의 제품과 관련되며,
    선택된 제품과 선택된 제품을 보여주는 대응하는 비디오 프레임은 사용자 인터페이스에서 사용자에게 동시에 디스플레이되는 비-일시적 컴퓨터 판독가능한 저장 매체.
  14. 제 13 항에 있어서,
    디스플레이를 위해, 대응하는 비디오 프레임과 함께 선택된 제품을 제공하는 단계는:
    사용자에게 현재 디스플레이되는 각 비디오 프레임에 대해:
    비디오 프레임이 검출된 관심 지점을 갖는지 여부를 결정하는 단계; 및
    비디오 프레임에서 검출된 관심 지점과 연관된 하나 이상의 제품을 선택하는 단계를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
  15. 제 14 항에 있어서,
    디스플레이를 위해, 사용자에게 보여지는 디스플레이 인터페이스의 제1 부분에서 비디오 프레임을 제공하는 단계; 및
    디스플레이를 위해, 디스플레이 인터페이스의 제2 부분에 위치한 제품의 스크롤링 캐러셀(scrolling carousel)에서 하나 이상의 선택된 제품을 제공하는 단계를 더 포함하고,
    선택된 제품 중 적어도 하나는 비디오 프레임에 보여지는 제품과 동일하거나 유사한 것인 비-일시적 컴퓨터 판독가능한 저장 매체.
  16. 제 15 항에 있어서,
    제품의 스크롤링 캐러셀에서 하나 이상의 선택된 제품을 제시하는 단계는:
    디스플레이 인터페이스의 제2 부분에서 하나 이상의 도구를 디스플레이하는 단계를 포함하고,
    사용자는 하나 이상의 도구를 통해 디스플레이된 제품과 상호작용하는 비-일시적 컴퓨터 판독가능한 저장 매체.
  17. 제 16 항에 있어서,
    디스플레이 인터페이스의 제2 부분에 디스플레이되는 하나 이상의 도구는:
    사용자가 디스플레이된 제품을 구매하기 위한 구매 도구; 및
    사용자가 디스플레이된 제품을 북마크하기 위한 북마크 도구 중 하나를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
  18. 제 13 항에 있어서,
    비디오 프레임 내의 관심 지점은 비디오 프레임과 연관된 타임스탬프 및 비디오 프레임의 프레임 번호 중 하나에 의해 식별되는 비-일시적 컴퓨터 판독가능한 저장 매체.
  19. 제 13 항에 있어서,
    비디오 프레임에서 검출된 관심 지점과 연관된 선택된 제품은 비디오 프레임에서 식별된 객체에 의해 관련된 제품의 하나 이상의 특징을 공유하는 비-일시적 컴퓨터 판독가능한 저장 매체.
  20. 제 13 항에 있어서,
    사용자와 연관된 사용자 프로필 정보를 분석하는 단계;
    사용자 프로필 정보의 분석에 기반하여 제품에 대한 사용자 선호도를 도출하는 단계; 및
    제품에 대한 도출된 사용자 선호도에 기반하여 제품의 선택을 업데이트하는 단계를 더 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
  21. 제 13 항에 있어서,
    비디오 프레임의 시각적 특징을 분석하는 단계는:
    복수의 시각적 특징을 추출하기 위해 비디오 프레임에 트레이닝된 이미지 특징 추출 모델을 적용하는 단계;
    추출된 시각적 특징에 기반하여 비디오 프레임 내의 객체를 식별하는 단계; 및
    식별된 객체와 연관된 하나 이상의 아이템을 식별하는 단계를 포함하고,
    각 식별된 아이템은 사용자가 관심이 있을 가능성이 높은 제품에 대응하는 비-일시적 컴퓨터 판독가능한 저장 매체.
  22. 제 13 항에 있어서,
    사용자에게 디스플레이되는 비디오는 사전-녹화된 비디오 및 실시간으로 사용자에게 스트리밍되는 방송 비디오 중 하나인 비-일시적 컴퓨터 판독가능한 저장 매체.
KR1020197001223A 2016-07-25 2017-07-24 미디어 디스플레이와 동기화된 컨텐츠 아이템의 제시를 위한 컴퓨터 구현 방법 및 비-일시적 컴퓨터 판독가능한 저장 매체 KR102315474B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/218,319 2016-07-25
US15/218,319 US10643264B2 (en) 2016-07-25 2016-07-25 Method and computer readable medium for presentation of content items synchronized with media display
PCT/US2017/043529 WO2018022507A1 (en) 2016-07-25 2017-07-24 Presentation of content items synchonized with media display

Publications (2)

Publication Number Publication Date
KR20190022637A true KR20190022637A (ko) 2019-03-06
KR102315474B1 KR102315474B1 (ko) 2021-10-22

Family

ID=60988701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001223A KR102315474B1 (ko) 2016-07-25 2017-07-24 미디어 디스플레이와 동기화된 컨텐츠 아이템의 제시를 위한 컴퓨터 구현 방법 및 비-일시적 컴퓨터 판독가능한 저장 매체

Country Status (7)

Country Link
US (1) US10643264B2 (ko)
JP (1) JP6952763B2 (ko)
KR (1) KR102315474B1 (ko)
AU (1) AU2017301426A1 (ko)
CA (1) CA3029258A1 (ko)
IL (1) IL264287A (ko)
WO (1) WO2018022507A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025422A (ko) * 2019-08-27 2021-03-09 주식회사 앱플러 비디오 인터렉션 선택지에 의한 다중 비디오 스트림 기반의 상품 추천 방법
KR20210038280A (ko) * 2019-09-29 2021-04-07 주식회사 작당모의 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치
KR102500962B1 (ko) * 2022-01-11 2023-02-17 주식회사 세이어바웃 동영상 기반 외주 중개 및 매칭 서비스 플랫폼 서버 및 그 플랫폼 서버의 동작 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503378B2 (en) * 2013-03-06 2022-11-15 David A. Taylor Media sharing and communication system
US10387940B2 (en) * 2016-10-10 2019-08-20 International Business Machines Corporation Interactive decision support based on preferences derived from user-generated content sources
US10628870B2 (en) * 2016-10-10 2020-04-21 International Business Machines Corporation Offering personalized and interactive decision support based on learned model to predict preferences from traits
JP2018163460A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US11074635B2 (en) * 2018-05-25 2021-07-27 Target Brands, Inc. Real-time recommendation monitoring dashboard
JP7211899B2 (ja) * 2018-07-03 2023-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法及び情報処理装置
KR102530264B1 (ko) * 2018-08-08 2023-05-09 삼성전자 주식회사 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US10937011B1 (en) * 2018-09-11 2021-03-02 Rodan & Fields, Llc System and method for monitoring and updating content for an e-commerce platform
WO2020113080A1 (en) * 2018-11-29 2020-06-04 Kingston Joseph Peter Systems and methods for integrated marketing
GB2579816B (en) * 2018-12-14 2021-11-10 Sony Interactive Entertainment Inc Player identification system and method
CN110933472B (zh) * 2019-12-02 2021-10-22 深圳市云积分科技有限公司 一种用于实现视频推荐的方法和装置
WO2021132738A1 (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US11157558B2 (en) 2020-02-26 2021-10-26 The Toronto-Dominion Bank Systems and methods for controlling display of video content in an online media platform
US11589124B1 (en) * 2020-04-14 2023-02-21 Worldpay Limited Methods and systems for seamlessly transporting objects between connected devices for electronic transactions
US11706167B2 (en) * 2020-06-29 2023-07-18 Snap Inc. Generating and accessing video content for products
US11051067B1 (en) 2020-08-14 2021-06-29 Global Sports & Entertainment Marketing, LLC Interactive video overlay
CN112866762A (zh) * 2020-12-31 2021-05-28 北京达佳互联信息技术有限公司 获取视频关联信息的处理方法、装置、电子设备、服务器
CN113015012B (zh) * 2021-02-26 2023-05-02 北京达佳互联信息技术有限公司 直播数据处理方法、装置、计算机设备以及存储介质
CN113645474A (zh) * 2021-07-26 2021-11-12 阿里巴巴（中国）有限公司 互动信息的处理方法、显示方法及电子设备
CN114173163B (zh) * 2021-12-15 2023-06-20 北京达佳互联信息技术有限公司 数据处理方法、装置、计算机设备及介质
CN114697761B (zh) * 2022-04-07 2024-02-13 脸萌有限公司 一种处理方法、装置、终端设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238036A (ja) * 2001-02-07 2002-08-23 Fujitsu Ltd 放送方法、および、放送方法を放送局装置に実行させるプログラム
US20110162002A1 (en) * 2009-11-13 2011-06-30 Jones Anthony E Video synchronized merchandising systems and methods
US20150245103A1 (en) * 2014-02-24 2015-08-27 HotdotTV, Inc. Systems and methods for identifying, interacting with, and purchasing items of interest in a video
US20160110607A1 (en) * 2013-03-14 2016-04-21 Aperture Investments, Llc Systems and methods for processing video content to identify objects and associate information with identified objects

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297233A (ja) * 2000-04-14 2001-10-26 Rope:Kk 情報表示システムおよび情報表示方法
US8204273B2 (en) 2007-11-29 2012-06-19 Cernium Corporation Systems and methods for analysis of video content, event notification, and video content provision
JP2009193498A (ja) * 2008-02-18 2009-08-27 Oki Electric Ind Co Ltd コンテンツ配信システム、分析サーバおよび広告カスタマイズ方法
US20110307294A1 (en) * 2010-06-10 2011-12-15 International Business Machines Corporation Dynamic generation of products for online recommendation
US9355330B2 (en) * 2011-04-12 2016-05-31 National University Of Singapore In-video product annotation with web information mining
US20150215674A1 (en) 2011-12-21 2015-07-30 Hewlett-Parkard Dev. Company, L.P. Interactive streaming video
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9349076B1 (en) 2013-12-20 2016-05-24 Amazon Technologies, Inc. Template-based target object detection in an image
US11151630B2 (en) * 2014-07-07 2021-10-19 Verizon Media Inc. On-line product related recommendations
WO2016147797A1 (ja) * 2015-03-16 2016-09-22 富士フイルム株式会社 商品推奨装置、商品推奨方法及びプログラム
US10021458B1 (en) * 2015-06-26 2018-07-10 Amazon Technologies, Inc. Electronic commerce functionality in video overlays
US9805766B1 (en) * 2016-07-19 2017-10-31 Compal Electronics, Inc. Video processing and playing method and video processing apparatus thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238036A (ja) * 2001-02-07 2002-08-23 Fujitsu Ltd 放送方法、および、放送方法を放送局装置に実行させるプログラム
US20110162002A1 (en) * 2009-11-13 2011-06-30 Jones Anthony E Video synchronized merchandising systems and methods
US20160110607A1 (en) * 2013-03-14 2016-04-21 Aperture Investments, Llc Systems and methods for processing video content to identify objects and associate information with identified objects
US20150245103A1 (en) * 2014-02-24 2015-08-27 HotdotTV, Inc. Systems and methods for identifying, interacting with, and purchasing items of interest in a video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025422A (ko) * 2019-08-27 2021-03-09 주식회사 앱플러 비디오 인터렉션 선택지에 의한 다중 비디오 스트림 기반의 상품 추천 방법
KR20210038280A (ko) * 2019-09-29 2021-04-07 주식회사 작당모의 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치
KR102500962B1 (ko) * 2022-01-11 2023-02-17 주식회사 세이어바웃 동영상 기반 외주 중개 및 매칭 서비스 플랫폼 서버 및 그 플랫폼 서버의 동작 방법

Also Published As

Publication number Publication date
AU2017301426A8 (en) 2019-08-08
US10643264B2 (en) 2020-05-05
WO2018022507A8 (en) 2019-01-03
KR102315474B1 (ko) 2021-10-22
JP2019528599A (ja) 2019-10-10
AU2017301426A1 (en) 2019-01-17
IL264287A (en) 2019-02-28
US20180025405A1 (en) 2018-01-25
JP6952763B2 (ja) 2021-10-20
CA3029258A1 (en) 2018-02-01
WO2018022507A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
KR102315474B1 (ko) 미디어 디스플레이와 동기화된 컨텐츠 아이템의 제시를 위한 컴퓨터 구현 방법 및 비-일시적 컴퓨터 판독가능한 저장 매체
EP3516583B1 (en) Machine learning models for identifying objects depicted in image or video data
US9123061B2 (en) System and method for personalized dynamic web content based on photographic data
WO2018036456A1 (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
US9324006B2 (en) System and method for displaying contextual supplemental content based on image content
EP3425483B1 (en) Intelligent object recognizer
US8209240B2 (en) Method, apparatus, and computer readable recording medium for acquiring information on products attached to person in image data
US20100086283A1 (en) Systems and methods for updating video content with linked tagging information
US20110262103A1 (en) Systems and methods for updating video content with linked tagging information
US20160239892A1 (en) User interest-based product information recommendation system
JP2015133033A (ja) レコメンド装置、レコメンド方法、およびプログラム
US11284168B2 (en) Presenting information on similar objects relative to a target object from a plurality of video frames
US20220343372A1 (en) Video processing method and device, electronic apparatus, and storage medium
CN108876430B (zh) 一种基于人群特征的广告推送方法、电子设备及存储介质
US10474919B2 (en) Method for determining and displaying products on an electronic display device
KR20160027486A (ko) 광고 제공 장치, 광고 표시 장치, 광고 제공 방법, 및 광고 표시 방법
JP6586706B2 (ja) 画像解析装置、画像解析方法およびプログラム
US20170013309A1 (en) System and method for product placement
WO2019192455A1 (zh) 门店系统、物品搭配方法、装置及电子设备
KR102062248B1 (ko) 온라인 신문기사의 아티클 이미지를 분석하여 매칭되는 커머셜 이미지를 노출하는 방법
US20110261258A1 (en) Systems and methods for updating video content with linked tagging information
US11468675B1 (en) Techniques for identifying objects from video content
CA3171181A1 (en) System and method for analyzing videos in real-time
CN114846812A (zh) 摘要视频的生成方法、装置和服务器
US11645837B1 (en) System for constructing virtual closet and creating coordinated combination, and method therefor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right