KR102586286B1 - 상황적 디지털 미디어 처리 시스템 및 방법 - Google Patents

상황적 디지털 미디어 처리 시스템 및 방법 Download PDF

Info

Publication number
KR102586286B1
KR102586286B1 KR1020207036310A KR20207036310A KR102586286B1 KR 102586286 B1 KR102586286 B1 KR 102586286B1 KR 1020207036310 A KR1020207036310 A KR 1020207036310A KR 20207036310 A KR20207036310 A KR 20207036310A KR 102586286 B1 KR102586286 B1 KR 102586286B1
Authority
KR
South Korea
Prior art keywords
content
additional content
contextual information
video
context information
Prior art date
Application number
KR1020207036310A
Other languages
English (en)
Other versions
KR20210013588A (ko
Inventor
마이클 더블유. 베젤.
재커리 타일러 웨른버그
숀 마이클 맥레이
알렉스 제이. 슈와르츠
Original Assignee
소니 인터랙티브 엔터테인먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 엘엘씨
Publication of KR20210013588A publication Critical patent/KR20210013588A/ko
Application granted granted Critical
Publication of KR102586286B1 publication Critical patent/KR102586286B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

상황적 디지털 미디어 처리를 위한 시스템 및 방법이 개시된다. 예시적인 방법은, 사용자에게 디스플레이되는 디지털 미디어로의 소스에서 콘텐츠를 수신하는 단계, 콘텐츠 내 상황 정보를 결정하기 위해 디지털 미디어를 처리하는 단계, 결정된 상황 정보에 기반하여 적어도 하나의 네트워크에서 추가적인 콘텐츠를 검색하는 단계, 및 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위해 추가적인 콘텐츠를 전송하는 단계를 포함한다.

Description

상황적 디지털 미디어 처리 시스템 및 방법
본 기술은, 추가적인 콘텐츠가 있는 디지털 미디어의 향상된 디스플레이를 오버레이(overlay) 내에서 또는 증강 현실을 통해 제공하기 위한, 디지털 미디어를 상황적으로 처리하는 시스템 및 방법에 관한 것이다.
다양한 실시예에 따르면, 본 기술은: (a) 사용자에게 디스플레이되는 디지털 미디어로서 소스로부터 콘텐츠를 수신하는 단계; (b) 콘텐츠 내의 상황 정보를 결정하기 위해 디지털 미디어를 처리하는 단계; (c) 결정된 상황 정보에 기반하여 추가적인 콘텐츠에 대한 적어도 하나의 네트워크를 검색하는 단계; 및 (d) 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위한 추가적인 콘텐츠를 전송하는 단계를 포함하는 방법에 관한 것이다.
다양한 실시예에 따르면, 본 기술은: (a) 사용자에게 디스플레이되는 이미지 또는 비디오로 게임 콘솔로부터 라이브 콘텐츠를 수신하는 단계; (b) 키워드 또는 구문(phrases)을 감지하기 위한 광학 문자 인식, 관련된 이미지 검색 엔진을 사용하는 리버스 이미지(reverse image) 검색, 및 이미지의 특징을 인식하기 위한 머신 러닝(machine learning)을 사용하는 장면과 랜드 마크의 감지 중 어느 것을 포함하는 복수의 상황 정보 소스를 사용하여 콘텐츠 내의 상황 정보를 결정하기 위해 이미지 또는 비디오를 실시간으로 처리하는 단계; (c) 실시간으로 라이브 콘텐츠에 대해 처리된 가장 최근의 상황 정보를 저장하는 단계-여기서 가장 최근의 상황 정보는 상황 저장소의 메모리에 저장되며, 가장 최근의 상황 정보는 이미지 또는 비디오가 변경됨에 따라 변경됨-; (d) 상황 정보에 기반하여 제3자(third-party)의 추가적인 콘텐츠를 인터넷에서 검색하는 단계; 및 (e) 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위해, 제3자의 추가적인 콘텐츠를 실시간으로 전송하는 단계를 포함하는 방법에 관한 것이다.
다양한 실시예에 따르면, 본 기술은: (a) 데이터 수집 및 분석 시스템-여기서 데이터 수집 및 분석 시스템은, (i) 소스로부터 이미지 또는 비디오로 콘텐츠를 수신하고, (ii) 키워드 또는 구문을 감지하기 위한 광학 문자 인식, 관련된 이미지에 대한 검색 엔진을 사용하는 리버스 이미지 검색, 및 이미지 내 특징을 인식하기 위한 머신 러닝을 사용하는 장면과 랜드마크 감지 중 어느 것을 포함하는 복수의 상황 정보 소스를 사용하여 이미지 또는 비디오를 처리하여 상황 정보를 획득하며, (iii) 상황 정보를 기반으로 추가적인 콘텐츠에 대해 적어도 하나의 네트워크를 검색하고, (iv) 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위한 추가적인 콘텐츠를 전송하도록 구성됨-; 및 (b) 콘텐츠, 상황 정보, 및 추가적인 콘텐츠를 저장하도록 구성된 상황 저장소를 포함하는 시스템에 관한 것이다.
동일한 참조 번호는 별도의 도면에 걸쳐 동일하거나 기능적으로 유사한 요소를 지칭하며, 아래의 자세한 설명과 함께, 첨부된 도면은 명세서에 통합되고 그 일부를 형성하며, 청구된 개시를 포함하는 개념의 실시예를 추가적으로 도시하고, 이들 실시예의 다양한 원리 및 이점을 설명하는 역할을 한다.
당업자에는 용이하고 명백한 본원의 설명의 이점이 세부사항으로 개시된 내용을 모호하게 하지 않기 위해, 본원에 개시된 방법 및 시스템은 적절한 경우 도면에서, 본 개시의 실시예들을 이해하는 것과 관련된 특정 세부 사항만을 나타내는 통상적인 기호로 표현되었다.
도 1은 본 기술의 측면를 실행하기 위한 예시적인 시스템의 개략도이다.
도 2는 본원의 예시적인 방법의 흐름도이다.
도 3은 본원의 예시적인 방법의 흐름도이다.
도 4는, 본 발명의 실시예에 따른, 그래픽 사용자 인터페이스(이하 "GUI")를 디스플레이하는 예시적인 사용자 장비(이하 "UE")를 도시한다.
도 5a는 UE 내에 디스플레이된 GUI 오버레이 및 대응하는 GUI를 갖는 비디오 게임의 스크린 샷을 도시한다.
도 5b는 비디오 게임의 스크린 샷 및 GUI 오버레이의 업데이트를 도시한다.
도 5c 및 5d는 게임 플레이가 발생함에 따라 비디오 게임 및 GUI 오버레이의 스크린 샷을 집합적으로 도시한다.
도 6a 및 6b는, 비디오 게임 상에 오버레이되거나 또는 UE 내에 오버레이되는 GUI 내에서, 애플리케이션을 통한 추가적인 콘텐츠를 생성하는 데 사용되는 특징 감지를 집합적으로 도시한다.
도 7은 본 기술의 측면을 구현하는 데 사용될 수 있는 예시적인 컴퓨터 장치의 개략도이다.
본 발명은 일반적으로, 미디어와 관련된 추가적인 콘텐츠를 위한 (인터넷 검색과 같은) 검색을 위한 입력으로 상황 정보를 사용할 뿐만 아니라, 이미지 또는 비디오와 같은 미디어의 자동화된 상황적 분석을 허용하여 그 안의 상황 정보를 발견하기 위한 시스템 및 방법에 관한 것이다.
본원에 개시된 시스템 및 방법은 다양한 소스로부터 원시 데이터를 컴파일하고 데이터 소스 전반에 걸친 신뢰도 점수 및 공통성에 기반하여 결과를 평가할 수 있다. 이러한 시스템 및 방법은 가장 강력한 (가장 관련성 있는) 상황적 결과를 기반으로 추가적인 콘텐츠에 대한 실시간 인터넷 검색을 수행할 수 있다. 발견된 경우, 추가적인 콘텐츠는 디스플레이 내의 오버레이를 사용하여 현재 디스플레이된 미디어의 디스플레이를 강화시키는 데에 사용될 수 있다. (아래에서 더 자세히 설명될, 보조 콘텐츠를 모바일 장치로 전송하는 것과 같은) 추가적인 콘텐츠를 디스플레이하기 위한 다른 대체 옵션이 사용될 수 있다.
더 구체적으로, 일부 실시예에서, 본 발명은 게임 콘솔에 의해 생성된 비디오 게임 출력과 같은 실시간 또는 라이브 미디어를 캡처하는 시스템 및 방법에 관한 것이다. 입력의 다른 예에는, 몇개의 예를 들면, 텔레비전, 컴퓨터, 셋톱박스 또는 임의의 OTT(over the top, 오버더톱) 또는 OTB(on the box, 온 더 박스) 장치에 의해 생성된 비디오 출력이 포함되지만 이에 제한되지는 않는다. 전술한 바와 같이, 미디어는, 예를 들어, 임의의 유형의 이미지나 비디오 및 그로부터 캡처된 프레임을 포함할 수 있다.
라이브 미디어의 가장 최근 부분은, 캐시 또는 다른 임시 저장소에 있는, 저장소의 버퍼에 저장될 수 있다. 예를 들어, 일부 실시예에서, 게임 콘솔에서 1분 이상의 라이브 미디어가 획득되어 상황 정보를 처리하여 임시 저장소에 저장된다. 게임 콘솔에 의해 최신 라이브 미디어가 생성되면 임시 저장소가 지속적으로 업데이트된다.
플레이어, 랜드마크 등과 같은 라이브 미디어 내 인공 지능의(예: 장면 및 랜드 마크 감지) 사용을 통해, 광학 문자 인식, 리버스 이미지 검색, 및 특징 결정과 같은 복수의 수단 중 적어도 하나를 사용하여 라이브 미디어로부터 상황 정보가 추출된다.
라이브 미디어로부터 추출된 상황 정보는 추가적인 콘텐츠를 검색하기 위한 검색 입력으로 사용될 수 있다. 검색 이전에, 라이브 미디어에서 추출된 상황 정보는 관련성에 대해 평가가 이루어질 수 있다. 일반적으로, 상황 정보는 복수의 상황 정보 소스에 걸쳐 계산된 신뢰도 점수 및 공통성을 사용하여 평가될 수 있다. 일부 예에서, 상황 정보는 신뢰도 점수에 따라 가중치를 부여하여 검색어, 그리고 궁극적으로는 결과가 개선될 수도 있다.
전술한 바와 같이, 검색을 통해 발견된 추가적인 콘텐츠는 일반적으로 라이브 미디어와 관련된 콘텐츠로 설명되며, 특히, 상황적 관련성에 기반하여 선택된다. 일 실시예에서, 추가적인 콘텐츠는 비디오 게임과 관련된 참조 콘텐츠를 포함한다. 사용 중에, 사용자가 게임 콘솔(또는 기타 장치) 상에서 비디오 게임을 플레이할 때, 비디오 게임의 출력은 상황 정보를 위해 처리된다. 이러한 상황 정보는 인터넷 검색을 통해 추가적인 콘텐츠를 검색하는 데 사용된다. 참조 콘텐츠가 발견되면, 그래픽 사용자 인터페이스(GUI)에서 콘솔에 의해 비디오 게임용 오버레이가 생성되어 디스플레이된다. 일부 실시예에서, 이러한 예가 본질적으로 제한되지 않는다 하더라도, GUI에는 링크 또는 비디오 형태의 추가적인 콘텐츠가 포함되어 있다. 따라서, 일부 실시예에서, 사용자는 게임 내 환경에서 GUI의 튜토리얼, 도움말 가이드, 및 기타 추가적인 콘텐츠에 액세스할 수 있다. 또다른 예시적 실시예에서, GUI는 모바일 장치에 상주하는 애플리케이션을 통해 제공되므로, 사용자가 게임 플레이를 어렵게 하지 않고 사용자의 모바일 장치를 참조할 수 있다. 그러나 다른 실시예에서, 게임 콘솔에 헤드셋과 같은 가상 현실 하드웨어가 포함된 경우, GUI는 증강 현실 오버레이로 제공될 수 있다. 따라서, 본원에 개시된 사용자 장비는 헤드셋 및 컨트롤러와 같은 VR 하드웨어를 포함할 수 있다.
요약하면, 본 발명은, 사용자에게 자신이 플레이하는 비디오 게임과 관련된 추가적인 콘텐츠를 제공하기 위해, 게임 콘솔로부터 비디오 게임 플레이의 실시간 분석을 허용하는 시스템 및 방법을 사용한다. 일부 경우에서, 추가적인 콘텐츠는 사용자가 게임을 통해 이동함에 따라 지속적으로 업데이트된다.
일부 실시예에서, 상황 정보 및/또는 추가적인 콘텐츠를 분류하여 라이브 미디어와 함께 지식기반(knowledgebase) 또는 기타 저장소 내에 저장할 수 있다. 따라서, 네트워크(예: 인터넷) 검색에만 전적으로 의존하기보다는, 지식기반은 네트워크 검색에 추가되거나 또는 대신 참조될 수 있다.
본원의 이들 및 다른 이점은 집합적인 도면을 참조하여 본 명세서에서 보다 상세히 제공된다.
도 1은 본 발명에 따라 구성된 시스템(100)의 실시예의 개략도이다. 일부 실시예에서, 시스템(100)은 일반적으로 데이터 수집 및 분석 시스템(102), 상황 저장소(104), 및 선택적으로 지식기반(108)을 포함한다. 시스템(100)은 다른 실시 예에서 추가적인 구성 요소를 포함할 수 있다. 예를 들어, 시스템(100)은 또한 게임 콘솔 또는 미디어의 출력을 제공하는 다른 컴퓨팅 장치와 같은 소스(106)를 포함할 수 있다. 일부 실시예에서, 도 1의 분산된 실시예가 아래에 개시된 바와 같이 지식기반의 생성 및/또는 UE의 협력적 사용을 허용한다고 하더라도, 데이터 수집 및 분석 시스템(102)과 상황 저장소(104)의 기능은 도 1에 도시된 바와 같은 분산 방식으로 제공되지 않고 소스(106)에 통합될 수 있다.
UE(110)와 같은 사용자 장비(UE)는, 예를 들어, iOS 또는 Android와 같은 특정 운영체제를 실행하는 모바일 장치를 포함할 수 있다. 클라이언트측 애플리케이션은 UE(110)(도 4 참조) 상에 상주하고 UE(110)가 시스템(100)과 통신할 수 있도록 한다. 또다른 실시예에서, UE(112)는 자연어 요청을 수신하고 사용자에게 응답을 제공하는 음성 응답 또는 홈 자동화 장치를 포함할 수 있다. 다른 예시적 실시예에서, 이러한 장치는 라이브 미디어에 대한 사용자의 자연어 쿼리를 수신하는 데 사용될 수 있으며, 시스템(100)은 추가적인 콘텐츠를 포함하는 응답으로 GUI를 생성할 수 있다. 예를 들어, 사용자는 "이 레벨에 대한 도움이 필요합니다(I need help with this level)"와 같은 문구를 말함으로써 UE(110)를 활용할 수 있다. 데이터 수집 및 분석 시스템(102)은 이러한 요청을 수신하고 이러한 요청에 기반하여 상황적 분석 및 추가적인 콘텐츠 전달 프로세스를 초기화할 수 있다. 다른 실시예에서, 데이터 수집 및 분석 시스템(102)과 통신하는 클라이언트측 애플리케이션이 활성화되고 게임 플레이가 발생할 때, 상황적 처리가 자동으로 활성화된다.
일부 실시예에서, 데이터 수집 및 분석 시스템(102)은 이미지 및/또는 비디오와 같은 미디어 형태의 콘텐츠를 수신한다. 다양한 실시예에서, 미디어는 게임 콘솔의 비디오 스트림 형태로 소스(106)로부터 수신된다. 일부 실시예에서, 데이터 수집 및 분석 시스템(102)은 실시간으로 비디오 게임 플레이의 프레임을 수집하기 위해 소스(106) 상에 에이전트(agent) 또는 데몬(daemon)을 사용할 수 있다. 또다른 실시예에서, 소스(106)는 소스(106) 상의 비디오 클립 버퍼로부터 데이터 수집 및 분석 시스템(102)으로 프레임을 전송할 수 있거나, 또는 프레임은 소스(106)의 그래픽 처리 장치(GPU) 레벨에서 캡처될 수 있다.
일부 실시예에서, 데이터 수집 및 분석 시스템(102)은 복수의 상황적 분석 프로세스 중 하나 이상을 사용하여 소스(106)로부터 수신된 미디어를 처리하거나 분석하도록 구성된다. 하나 이상의 실시예에서, 데이터 수집 및 분석 시스템(102)은, 프레임에서 발견된 키워드 또는 구문을 식별하기 위해, 미디어의 프레임에서 광학 문자 인식을 수행하도록 구성된다. 예를 들어, 사용자는 소스(106) 상에서 게임을 하고 있고 초기 애플리케이션(예를 들어, 클라이언트 측 애플리케이션)은 정보 없이 비어 있다. 데이터 수집 및 분석 시스템(102)이 라이브 게임 플레이 분석을 수행함에 따라, 클라이언트측 애플리케이션은 추가적인 콘텐츠를 통해 실시간으로 업데이트된다. 일 실시예에서, 최초로, 클라이언트측 애플리케이션이 사용자가 플레이하고 있는 게임을 결정하며, 이어서 클라이언트측 애플리케이션은 현재 플레이 중인 레벨을 결정하고 해당 레벨과 관련된 가이드 및 비디오를 GUI로서 게임 디스플레이에 근접하거나 오버레이되는 프레임 상에 로드한다. 분명히, 이러한 단계의 예시적인 스크린 샷이 아래에 더 자세히 설명되어 있다. 사용자는 GUI에서 제공된 링크를 찾아보고 레벨-특징 위키와 같은 애플리케이션에서 제공되는 비디오를 볼 수 있다.
일부 경우에, 데이터 수집 및 분석 시스템(102)은 프레임에 포함된 것과 유사한 데이터를 검색하기 위해 검색 엔진을 통한 리버스 이미지 검색을 활용하도록 구성된다. 추가적인 실시예에서, 데이터 수집 및 분석 시스템(102)은 프레임을 처리하고 프레임에서 랜드마크 또는 기타 개별적인 특징을 식별하기 위해 머신 러닝을 활용하도록 대안적으로 또는 추가적으로 구성된다. 제공된 각각의 예는 데이터 수집 및 분석 시스템(102)이 프레임 내에서 상황 정보를 발견할 수 있게 한다. 일반적으로, 상황 정보는, 예를 들어, 비디오 게임 내 도메인(예: 주제), 레벨, 물체, 캐릭터, 위치, 장소 등을 식별하는 프레임의 정량화 가능한 정보를 포함한다.
일 실시예에서, 데이터 수집 및 분석 시스템(102)은 사용자가 인식 가능한 보스 전투를 하고 있다고 결정한다. 데이터 수집 및 분석 시스템(102)은 리버스 이미지 검색 데이터를 UE(110) 또는 소스(106)로 다시 공급할 것이다. 일반적으로, 데이터 수집 및 분석 시스템(102)은 게임에서 캡처된 라이브 프레임에 대해 리버스 이미지 검색을 수행한 다음 게임에 대한 일반 정보를 최초로 반환한다. 사용자가 플레이하고 데이터 수집 및 분석 시스템(102)이 사용자가 Chaos Witch Quelaag와 싸우고 있음을 감지하면(현재 게임 플레이 상황을 감지하는 예), 데이터 수집 및 분석 시스템(102)은 검색 엔진상의 검색 질의의 결과로서 그 보스 전투와 관련된 특정 링크를 반환한다.
데이터 수집 및 분석 시스템(102)은 게임이 진행되는 것을 감지하고 장면에 자동차가 있는지 결정한다. 분석 후에, 데이터 수집 및 분석 시스템(102)은 유용한 비디오 위치에 대한 링크를 제공한다. 또다른 예에서, 데이터 수집 및 분석 시스템(102)은 3D 가상 환경에서 랜드마크를 성공적으로 식별한 다음 이러한 랜드 마크와 관련된 관련 비디오 및 링크 및/또는 위키 페이지를 식별한다.
분명히, 본 발명은 비디오 게임에 제한되지 않으며, 다른 미디어 유형에 사용할 수 있는 상황 정보는 미디어 콘텐츠 자체에 따라 다르다. 예를 들어, 영화에서, 상황 정보는 영화 내에서의 장소, 캐릭터, 및 기타 유사한 데이터와 관련될 수 있다. 비 제한적인 예로서, 데이터 수집 및 분석 시스템(102)은 영화의 장면을 평가하는 데 사용될 수 있고, 장면의 위치에 대한 정보와 같은, 영화 또는 스크린에 포함된 콘텐츠에 대한 관심있는 사실을 시청자에게 제공한다.
일부 실시예에서, 일련의 프레임 각각에 타임 스탬프를 찍고 처리하여 시작지점과 종료지점을 갖는 시간 프레임에 걸쳐 상황 정보의 배치가 생성될 수 있다.
일부 실시예에서, 상황 정보의 관련성을 결정하기 위해, 추출된 상황 정보가 데이터 수집 및 분석 시스템(102)에 의해 처리된다. 획득한 각각의 상황 정보 유형(OCR, 리버스 이미지 및/또는 머신 러닝)에 대해, 신뢰도 점수가 생성된다. 키워드 및/또는 구문에 대한 신뢰도 점수는 빈도를 기반으로 할 수 있다. 예를 들어, 프레임의 배치(batch) 내 여러 프레임에 걸쳐서 키워드가 여러번 반복되는 경우, 키워드나 문구가 관련성이 있을 가능성이 높다. 이는 콘텐츠를 해당 키워드와 일치시키기 위해 인터넷을 사전 검색하여 결정될 수도 있다.
역방향 이미지 검색이 프레임에서 찾은 콘텐츠에 해당하는 콘텐츠를 가진 제3자 리소스(또는 본원에서 설명할 로컬 저장소/지식기반)에서 이미지를 검색하는 경우, 프레임이 관련성이 있는 것으로 간주되며(예: 추가적인 콘텐츠를 검색할 때 결과를 반환할 가능성이 있음), 리버스 이미지 검색에서 이미지가 거의 또는 전혀 발견되지 않는 경우(예: 신뢰도 점수가 낮거나 없음)와 반대로, 더 높은 신뢰도 점수가 반환될 것이다.
머신 러닝 프로세스는 프레임 내의 랜드마크 또는 특징의 대응 또는 매칭에 기반하여 신뢰도 점수를 반환한다. 따라서, 이러한 특정한 신뢰도 점수는 프레임의 기능이 머신 러닝 시스템에서 사용할 수 있는 기능과 얼마나 유사한가에 따라 결정된다. 예시적인 일 실시예에서, Microsoft AzureTM 플랫폼이 활용될 수 있다.
위에서 언급한 바와 같이, 상황적 평가 프로세스 각각은 개별적으로 또는 임의의 조합 및/또는 순열로 사용될 수 있다. 일 실시예에서, 모든 상황적 평가 프로세스가 함께 활용된다. 또한, 하나 보다 많은 형태의 상황적 평가 프로세스가 사용되는 경우, 데이터 수집 및 분석 시스템(102)은 개별적인 상황 평가 프로세스에 가중치를 적용할 수 있다. 비 제한적인 예로서, 역방향 이미지 검색이 사용되고 역방향 이미지 검색의 입력으로 사용된 프레임과 거의 동일한 많은 이미지가 발견된 경우, 데이터 수집 및 분석 시스템(102)은 0에서 100까지의 척도에서 90이 될 점수로 리버스 이미지 검색으로부터의 상황 정보를 제공할 것이다. 머신 러닝 프로세스가 프레임의 기능 중 5%만 확인할 수 있었다면, 데이터 수집 및 분석 시스템(102)은 그 상황적 분석 프로세스에 상대적으로 낮은 점수인 100점 만점에 10점을 할당할 수 있다. 따라서, 데이터 수집 및 분석 시스템(102)은 머신 러닝 프로세스보다 더 높은 리버스 이미지 검색에 가중치를 부여한다. 신뢰도 점수가 미리 결정된 임계값 미만이면, 데이터 수집 및 분석 시스템(102)은 머신 러닝 프로세스에 대해 모두 함께 분석을 배제할 수 있다. 분명히, 각각의 상황적 분석 프로세스에는 이와 같은 점수 임계 값이 적용될 수 있다. 다른 실시예에서, 상황 정보는 점수나 가중치 없이 원시 형식으로 사용될 수 있다.
다양한 실시예에서, 여러 유형의 상황 정보를 생성하기 위해 여러 상황적 분석 프로세스가 사용될 때. 상황 정보의 집계 모음이 생성된다. 일부 실시예에서, 상황 정보의 집계된 컬렉션은 상황 저장소(104)에 저장될 수 있다. 상황 정보의 집계된 컬렉션은 소스(106)로부터 획득된 대응하는 프레임 및/또는 미디어와 함께 저장될 수 있다.
이어서, 상황 정보는 데이터 수집 및 분석 시스템(102)에 의해 (검색 엔진을 사용한 인터넷 검색과 같은) 네트워크 검색에 대한 입력으로 사용된다. 네트워크 검색의 결과는 상황 정보에 대응하는 추가적인 콘텐츠를 포함한다. 일 실시예에서, 추가적인 콘텐츠는 게임 콘솔의 비디오 게임이 아닌 인터넷에서 획득되는 비디오 게임과 관련된 보조 또는 설명 비디오 또는 텍스트 콘텐츠를 포함한다. 즉, 일부 실시예에서, 추가적인 콘텐츠는 인터넷을 통해 액세스 가능한 제3자에 의해 유지되는 소스 또는 저장소에서 파생된 것으로 이해된다. 예를 들어, 추가적인 콘텐츠에는 비디오 게임 팬 웹사이트 또는 기타 유사한 소스에서 호스팅되는 게임 워크 스루가 포함될 수 있다. 데이터 수집 및 분석 시스템(102)은 가이드, 워크 스루, 비디오 등에 대한 실시간 링크를 생성하기 위해 풍부한 데이터 마이닝을 제공한다.
일부 실시예에서, 데이터 수집 및 분석 시스템(102)은 추가적인 콘텐츠에 기반하여 제2 형태의 신뢰도 점수 및/또는 가중치를 수행할 수 있다. 이러한 신뢰도 점수 및/또는 가중치는 추가적인 콘텐츠가 콘텐츠에서 미디어의 상황 정보에 얼마나 가깝게 대응하는지를 나타낸다. 다른 경우에, 추가적인 콘텐츠는 점수가 되지 않지만 수행된 검색 결과에서 원시 형식으로 취해진다.
데이터 수집 및 분석 시스템(102)은 요청하는 사용자에게 제공되는 소비 가능한 형식으로 추가적인 콘텐츠를 포맷한다. 일부 실시예에서, 추가적인 콘텐츠는 대화 프레임 또는 메뉴 스크린과 같은 GUI에서 소스(106)에 디스플레이된다. 추가적인 콘텐츠는 오버레이 형식으로 게임에 근접하게 디스플레이되거나 비디오 게임을 통해 사용 가능한 옵션 메뉴에서 선택될 수 있다. 또다른 예시적 실시예에서, 추가적인 콘텐츠가 UE(110)(수신 장치라고도 함)와 같은 다른 장치로 전송된다. 일부 실시예에서, 추가적인 콘텐츠는 소스(106) 및 UE(110) 또는 다른 장치 모두에 전달된다.
위에서 언급한 바와 같이, 미디어가 수신되고 상황에 따라 추출/분석되며, 추출된 상황 정보를 사용한 검색에 응답하여 추가적인 콘텐츠가 위치함에 따라 지식기반(108)이 생성된다. 일부 실시예에서, 데이터 수집 및 분석 시스템(102)은 그에 대해 수행된 상황적 분석/분석들로부터 결정된 프레임/이미지 또는 비디오에 대한 메타 데이터 태그를 생성할 수 있다. 또한, 추가적인 콘텐츠는 메타 데이터 태그 또는 레코드를 통해 프레임/이미지 또는 비디오와 연관된다.
하나 이상의 실시예에서, 게임 개발자는, 비디오 게임에 직접 내장되거나 기록 또는 기타 적절한 형식으로 지식기반(108)에 제공되는, 개발자가 생성한 상황적 데이터를 제공할 수도 있다. 일부 실시예에서, 지식기반(108)은 인공 지능을 사용하여 채워지고 리파인된다(refined). 예를 들어, 지식기반(108)에 콘텐츠가 추가되면, 이러한 시드 또는 교육 데이터를 제3자의 신뢰할 수 있는 소스와 비교하여 미디어를 처리할 때 사용되는 상황적 분석의 정확성이 결정될 수 있다. 이러한 프로세스의 결과는, 본원에 개시된 리버스 이미지 검색 및 머신 러닝 특징 감지 프로세스를 대신하거나 또는 이들에 추가하여 사용될 수 있는, 다양한 도메인 특정 데이터 세트이다. 게임 개발자는 지식기반(108) 및/또는 게임 개발 도구에 액세스하기 위해 특정 API(애플리케이션 프로그래밍 인터페이스, application programming interface)를 사용한다.
도 2는 본 발명의 예시적인 방법(200)의 흐름도를 도시한다. 일부 실시예에서, 방법은 사용자에 디스플레이되고 있는 디지털 미디어로서의 소스로부터 콘텐츠를 수신하는 단계(202)를 포함한다. 이는, 예를 들어, 게임 콘솔에서 이미지 또는 비디오 프레임을 수신하는 것이 포함될 수 있다. 이어서, 방법은 콘텐츠 내의 상황 정보를 결정하기 위해 디지털 미디어를 처리하는 단계(204)를 포함한다. 전반적으로 언급했듯이, 처리에는 OCR, 리버스 이미지 검색, 및 특징 감지를 위한 머신 러닝과 같은, 여러 헝태의 상황적 처리가 포함될 수 있다. 상황 정보가 결정되면, 방법은 결정된 상황 정보에 기반하여 추가적인 콘텐츠에 대해 적어도 하나의 네트워크를 검색하는 단계(206)를 포함한다. 위에서 언급했듯이, 이는 가능한 경우 지역 지식기반 검색이 포함될 수 있다. 추가적인 콘텐츠가 발견되면, 방법은 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위해 추가적인 콘텐츠를 전송하는 단계(208)를 포함한다.
일부 경우에, 방법은 콘텐츠 및 추가적인 콘텐츠를 포함하는 뷰(view)를 디스플레이하는 선택적 단계(210)를 포함할 수 있다. 추가적인 콘텐츠는 그래픽 사용자 인터페이스의 프레임 내에 오버레이되거나 제공된다.
일부 실시예에서, 수신 장치는 GUI에 추가적인 콘텐츠를 디스플레이하는 추가적인 콘텐츠 애플리케이션(예: 클라이언트측 애플리케이션)을 실행하는 모바일 통신 장치를 포함한다.
다양한 실시예에서, 소스는 게임 콘솔, 및 상황 저장소 내에서 지속적으로 업데이트되고 저장되는 콘텐츠로 구성된다. 일부 실시예에서, 소스는 비디오 게임에 대한 제목 또는 기타 상황 정보를 제공한다. 개발자가 비디오 게임에 상황 정보를 삽입한 경우, 이러한 상황 정보는 게임 플레이 중에 소스에서 제공될 수 있다.
위에서 언급한 바와 같이, 이러한 방법은, 상황 정보를 결정하고 상황 정보를 기반으로 미디어에 대한 다양한 추가적인 정보를 반환하기 위해, 임의의 이미지 또는 비디오 미디어와 함께 사용될 수 있다.
도 3은 본원의 보다 상세한 예시적인 방법(300)의 흐름도이다. 방법은 사용자에게 디스플레이되는 이미지 또는 비디오로서 게임 콘솔로부터 라이브 콘텐츠를 수신하는 단계(302)를 포함한다. 일부 실시예에서, 방법은, 키워드 또는 구문 감지를 위한 광학 문자 인식, 관련된 이미지 검색 엔진을 사용하는 리버스 이미지 검색, 및 머신 러닝을 사용하여 이미지의 특징을 인식하는 장면 및 랜드 마크 감지를 포함하는 복수의 상황 정보 소스를 사용하여, 콘텐츠 내에서 상황 정보를 결정하기 위해 실시간으로 이미지 또는 비디오를 처리하는 단계(304)를 포함한다.
이러한 프로세스는, 상황 정보 소스에 걸쳐 계산된 신뢰도 점수 및 공통성을 사용하여, 복수의 상황 정보 소스로부터 발견된 원시 상황 정보를 평가하는 단계(306)를 포함할 수 있다.
일부 실시예에서, 방법은 실시간으로 라이브 콘텐츠에 대해 처리된 가장 최근의 상황 정보를 저장하는 단계(308)를 포함한다. 가장 최근의 상황 정보가 이미지 또는 비디오가 변경됨(예: 지속적인 업데이트)에 따라 변경되도록, 가장 최근의 상황 정보는 상황 저장소의 메모리에 저장된다.
이어서, 방법은 상황 정보를 기반으로 제3자 추가적인 콘텐츠를 인터넷에서 검색하는 단계(310)와 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위해 제3자 추가적인 콘텐츠를 실시간으로 전송하는 단계(312)를 포함한다.
도 1 및 도 4는 UE(110) 상에 디스플레이된 예시적인 GUI(400)를 집합적으로 도시한다. 다시 한번, UE(110)는 데이터 수집 및 분석 시스템(102)이 UE(110)에 GUI 및 피드를 전송하도록 허용하는 클라이언트측 애플리케이션(402)을 실행한다. 일부 실시예에서, GUI(400)는 링크 탭(404) 및 비디오 탭(406)을 포함한다. 링크 탭(404)은 서면 튜토리얼 또는 기사와 같은 추가적인 콘텐츠에 대한 URL 링크를 포함한다. 비디오 탭(406)은 또한 추가적인 콘텐츠로 결정되는 비디오와 같은 미디어 콘텐츠에 대한 링크 또는 포인터를 포함한다.
사용자가 클라이언트측 애플리케이션(402)을 처음 시작할 때, GUI(400)는 비어있다. GUI(400)는 사용자에게 비디오 게임을 시작하도록 알리는 메시지를 포함 할 수 있다. 시스템(100)이 개방된 모바일 장치/애플리케이션(예: 애플리케이션(402))이 비디오 피드를 생성하는 특정 게임 콘솔(예: UE(110))에 링크된다는 것을 알 수 있도록, 소스(106)와 UE(110)를 연결하는 방법이 제공된다. 그러한 방법의 예로서, 방법은 중앙 집중식 인증 시스템에 대해 동일한 사용자 계정을 사용하여 인증되는 소스(106) 및 GUI(400)를 포함한다. 이는 시스템(100)이 소스(106) 및 GUI(400)를 서로 연관시키는 것을 허용할 것이다. 이러한 방법의 또다른 예는 사용자가 소스(106) 상에서 생성된 코드를 입력할 수 있도록 허용하는 GUI(400)를 포함한다. 이는 또한 시스템(100)이 소스(106) 및 GUI(400)를 서로 관련시키는 것을 허용할 것이다.
도 5a는 비디오 게임(500)의 디스플레이 위에 GUI(400)의 오버레이를 도시한다. GUI(400)는 또한 도시된 바와 같이 UE상에서 도시될 수 있다. 위에서 언급한 바와 같이, 비디오 게임(500)은, GUI(400)가 UE 상에 도시되는 동안, 게임 콘솔에 의해 그 자체로 디스플레이될 수 있다. 도시된 비디오 게임(500)의 프레임은 비디오 게임의 메인 메뉴 화면으로부터의 것이다. 게임이 진행됨에 따라, 도 5b의 비디오 게임(500)은 타이틀 또는 레벨 명칭(예: "정글 롤러(Jungle Rollers)") 및 이미지(예: 티키 캐릭터(a tiki character))와 같은 텍스트를 포함할 수 있다. 게임 콘솔에서 생성된 프레임에서 발견되는 이러한 유형의 상황 정보는 GUI(400)에 대한 상황적 분석 및 추가적인 콘텐츠 생성을 시작하도록 시스템에 알린다.
이러한 예에서, 게임 "크래시 밴디쿠트(Crash Bandicoot)"의 명칭은 상황 정보로부터 결정되며 GUI(400)의 헤더에 디스플레이된다. 워크 스루 비디오(502)와 같은 비디오 링크는 GUI(400) 내에 배치된다.
도 5c 및 5d는 비디오 게임(500)의 게임 플레이의 진행에 기초한 GUI(400)의 업데이트를 집합적으로 도시하며, 도 5c는 GUI(400) 내 새로운 비디오를 구체적으로 도시하고, 도 5d는 링크 탭 아래의 GUI(400) 내의 새로운 링크를 도시한다.
도 6a 및 6b는 비디오 게임에서 랜드 마크의 상황적 분석 및 그에 따른 랜드 마크와 관련된 추가적인 콘텐츠의 디스플레이의 또다른 예를 집합적으로 도시한다. 예를 들어, 비디오 게임(600)은 Palace of Fine Arts의 랜드마크(602)를 포함한다. 머신 러닝은 이러한 기능을 상황 정보로 인식하며, 시스템은, 위키 항목의 URL(606)과 같은, Palace of Fine Arts에 관한 추가적인 콘텐츠에 대한 링크를 포함하도록 GUI(604)를 생성하고 업데이트한다. 도시되고 설명된 바와 같이, 상황적 분석의 실시간 특성과 그에 따른 추가적인 콘텐츠 제공은 역동적이고 다양한 사용자 경험을 제공한다.
도 7은, 머신이 본원에서 논의된 방법 중 임의의 하나 이상을 수행하게 하기위한 일련의 명령어가 실행될 수 있는, 컴퓨터 시스템(1) 형태의 예시적인 머신의 개략도이다. 다양한 예시적인 실시예에서, 머신은 독립형 장치로 작동하거나 다른 머신에 연결(예: 네트워크)될 수 있다. 네트워크로 연결된 사용에서, 머신은 서버-클라이언트 네트워크 환경에서 서버 또는 클라이언트 머신의 용량으로 작동하거나, 또는 피어-투-피어(또는 분산) 네트워크 환경에서 피어 머신으로 동작할 수 있다. 예를 들어, 머신은 기지국, 개인용 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), PDA (개인휴대용단말기(Personal Digital Assistant)), 휴대폰, 휴대용 음악 플레이어(예: 동영상 전문가 그룹 오디오 레이어 3(Moving Picture Experts Group Audio Layer 3)(MP3) 플레이어와 같은 휴대용 하드 드라이브 오디오 장치), 웹 어플라이언스, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 시스템에서 수행할 작업을 지정하는 일련의 명령(순차적 또는 기타)을 실행할 수 있는 임의의 머신일 수 있다. 또한, 하나의 머신만이 도시되어 있지만, 용어 "머신"은 또한 본원에서 논의 된 방법론 중 임의의 하나 이상을 수행하기 위해 명령 세트(또는 복수의 세트)를 개별적으로 또는 공동으로 실행하는 임의의 머신 컬렉션을 포함하는 것으로 간주되어야 한다.
예시적인 컴퓨터 시스템(1)은 하나의 프로세서 또는 복수의 프로세서(5)(예: 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 또는 양쪽 모두), 및 버스(20)를 통해 서로 통신하는, 주 메모리(10)와 정적 메모리(15)를 포함한다. 컴퓨터 시스템(1)은 비디오 디스플레이(35)(예를 들어, 액정 디스플레이(LCD))를 더 포함할 수있다. 컴퓨터 시스템(1)은 또한 영숫자 입력 장치(들)(30)(예: 키보드), 커서 제어 장치(예: 마우스), 음성 인식 또는 생체 인증 장치(미도시), 드라이브 유닛(37) (디스크 드라이브 유닛이라고도 함), 신호 생성 장치(40)(예: 스피커) 및 네트워크 인터페이스 장치(45)를 포함할 수 있다. 컴퓨터 시스템(1)은 데이터를 암호화하기위한 데이터 암호화 모듈(미도시)을 더 포함할 수 있다.
드라이브 유닛(37)은, 본원에 설명된 방법론 또는 기능 중 하나 이상을 구현하거나 활용하는, 하나 이상의 명령 및 데이터 구조(예: 명령(55)) 세트가 저장된 컴퓨터 또는 머신 판독 가능 매체(50)를 포함한다. 또한, 명령어(55)는 컴퓨터 시스템(1)에 의해 실행되는 동안 메인 메모리(10) 내에 및/또는 정적 메모리(15) 내에 및/또는 프로세서(5) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 메인 메모리(10), 정적 메모리(15), 및 프로세서(5)는 또한 머신 판독 가능 매체를 구성할 수 있다.
명령(55)은, 잘 알려진 여러 전송 프로토콜(예: 하이퍼 텍스트 전송 프로토콜(HTTP)) 중 하나를 활용하여, 네트워크 인터페이스 장치(45)를 통하여, 네트워크를 통해 추가적으로 전송 또는 수신될 수 있다. 머신 판독 가능 매체(50)가 예시적인 실시예에서 단일 매체인 것으로 도시되었지만, "컴퓨터 판독 가능 매체"라는 용어는 하나 이상의 세트의 명령을 저장하는 단일 매체 또는 복수의 매체(예: 중앙 집중식 또는 분산 데이터베이스 및/또는 관련 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "컴퓨터 판독 가능 매체"라는 용어는 또한 머신에 의한 실행 명령 세트를 저장, 인코딩, 또는 전달할 수 있고, 며신이 본 출원의 방법론 중 하나 이상을 수행하도록 하거나, 또는 그러한 명령 세트에 의해 사용되거나 이와 관련된 데이터 구조를 저장, 인코딩 또는 전달할 수 있는 모든 매체를 포함하는 것으로 간주된다. 따라서 "컴퓨터 판독 가능 매체"라는 용어는 고체 상태 메모리, 광학 및 자기 매체, 및 반송파 신호를 포함하지만 이에 제한되지는 않는다. 이러한 매체는 또한, 제한 없이, 하드 디스크, 플로피 디스크, 플래시 메모리 카드, 디지털 비디오 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등을 포함할 수 있다. 본원에 설명된 예시적인 실시예는 컴퓨터, 하드웨어, 또는 소프트웨어와 하드웨어의 조합에 설치된 소프트웨어를 포함하는 운영 환경에서 구현될 수 있다.
컴퓨터 시스템(1)의 모든 구성 요소가 필요한 것은 아니므로, 필요하지 않은 경우 입력/출력(I/O) 장치(예를 들어, 입력 장치(들)(30))와 같은 컴퓨터 시스템(1)의 일부가 제거될 수 있다. 당업자라면 인터넷 서비스는 인터넷 서비스에 연결된 하나 이상의 컴퓨팅 장치에 인터넷 액세스를 제공하도록 구성될 수 있으며, 컴퓨팅 장치는 하나 이상의 프로세서, 버스, 메모리 장치, 디스플레이 장치, 입력/출력 장치 등을 포함할 수 있다는 것을 알 것이다. 또한, 당업자는 인터넷 서비스가 본원에 설명된 바와 같은 개시 내용의 임의의 실시예를 구현하기 위해 이용될 수 있는 하나 이상의 데이터베이스, 저장소, 서버 등에 연결될 수 있음을 인식할 수 있다.
아래의 청구 범위에 있는 모든 수단 또는 단계에 추가하여 기능 요소의 대응하는 구조, 재료, 작용 및 등가물은 구체적으로 청구된 다른 청구된 요소와 결합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 동작을 포함하기 위한 것이다. 본 기술에 대한 설명은 예시 및 설명의 목적으로 제시되었지만, 공개된 형태의 본 기술에 대해 총망라하거나 제한하려는 의도는 아니다. 본 기술의 범위 및 사상을 벗어나지 않으면서 당업자에게 많은 수정 및 변형이 명백할 것이다. 본 기술의 원리와 실제 적용을 가장 잘 설명하고, 당업자가 고려되는 특정한 사용에 적합한 다양한 수정을 갖는 다양한 실시예에 대한 본 기술을 이해할 수 있도록 하기 위해, 예시적인 실시예가 선택되고 설명되었다.
기술의 측면은 방법, 본 기술의 실시예에 따라, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 위에서 설명되었다. 순서도 도면 및/또는 블록 다이어그램의 각각의 블록과 순서도 도면 및/또는 블록 다이어그램의 블록 조합은 컴퓨터 프로그램 명령으로 구현될 수 있다는 것이 이해될 것이다. 컴퓨터의 프로세서 또는 기타 프로그램 가능한 데이터 처리 장치를 통해 실행되는 명령은 순서도 및/또는 블록 다이어그램 블록 또는 블록에 지정된 기능/동작을 구현하기 위한 수단을 생성하도록, 이러한 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터, 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 머신을 생성할 수 있다.
컴퓨터 판독 가능 매체에 저장된 명령이 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 지정된 기능/동작을 구현하는 명령을 포함하는 제조 물품을 생성하도록, 이러한 컴퓨터 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 기타 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 매체에 저장될 수 있다.
컴퓨터 또는 기타 프로그램 가능한 장치에서 실행되는 명령이 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 지정된 기능/동작을 구현하기 위한 프로세스를 제공하도록. 컴퓨터 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에 로드되어, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 수행되어 컴퓨터 구현 프로세스가 생성될 수 있다.
도면의 흐름도 및 블록도는 본 기술의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 설명한다. 이와 관련하여, 순서도 또는 블록 다이어그램의 각각의 블록은, 지정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는, 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 일부 대안적인 구현에서, 블록에 언급 된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 표시된 2개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 뜨는 블록은 관련된 기능에 따라 역순으로 실행될 수 있다. 또한 블록 다이어그램 및/또는 순서도 도면의 각각의 블록과 블록 다이어그램 및/또는 순서도 도면의 블록 조합은, 특정 기능이나 동작을 수행하는 특수 목적 하드웨어 기반 시스템 또는 특수 목적 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있다는 것에 주의해야 한다.
아래의 설명에서, 제한이 아닌 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 특정 실시예, 절차, 기술 등과 같은 특정 세부 사항이 제시된다. 그러나, 본 발명이 이러한 특정 세부 사항에서 벗어나는 다른 실시예에서 실시될 수 있다는 것은 당업자에게 명백할 것이다.
본 발명 전반에 걸쳐 "일 실시예"또는 "하나의 실시예"에 대한 언급은 실시 예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시 예에 포함된다는 것을 의미한다. 따라서, 본원 전반에 걸쳐 다양한 곳에서 "일 실시예에서" 또는 "하나의 실시예에서"또는 "일 실시예에 따른" (또는 유사한 의미를 갖는 다른 어구)이라는 문구의 출현은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정한 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 또한, 본원에서 논의하는 상황에 따라, 단수 용어는 복수형을 포함할 수 있고 복수 용어는 단수형을 포함할 수 있다. 유사하게, 하이픈으로 연결된 용어(예: "주문-형")는 때때로 하이픈이 없는 버전(예: "주문형")과 상호 교환적으로 사용될 수 있고, 대문자로 표시된 항목(예: "소프트웨어")은 대문자가 아닌 버전(예: "소프트웨어")과 같은 의미로 사용될 수 있으며, 복수 용어는 아포스트로피(예: PE's 또는 PEs)를 포함하거나 포함하지 않고 표시될 수 있고, 기울임꼴 용어(예: "N + 1")는 기울임 꼴이 아닌 버전(예: "N + 1")과 상호 교환하여 사용될 수 있다. 이러한 간헐적인 상호 교환 사용이 서로 일치하지 않는 것으로 간주되어서는 안된다.
또한, 일부 실시예는 태스크 또는 태스크 세트를 수행하는 "수단"의 관점에서 설명될 수 있다. 본원에서 "수단"은 프로세서, 메모리, 카메라와 같은 I/O 장치 또는 이들의 조합과 같은 구조로 표현될 수 있음을 이해할 수 있을 것이다. 대안적으로, "수단을 위한(means for)"은 기능 또는 방법 단계를 설명하는 알고리즘을 포함할 수 있으나, 다른 실시예에서, 수단을 위한"은 수학 공식, 산문 또는 순서도 또는 신호 다이어그램으로 표현된다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위한 것이며 본 발명을 제한하려는 의도가 아니다. 본원에서 사용된 바와 같이, 단수형 "a", "an" 및 "the"는 문맥이 달리 명시하지 않는 한 복수형도 포함하도록 의도된다. 본원에서 사용될 때 "포함하는" 및/또는 "포함하고 있는" 이라는 용어는 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성 요소의 존재를 특정하나, 하나 이상의 다른 기능, 정수, 단계, 연산, 요소, 구성요소 및/또는 그 그룹의 존재 또는 추가를 배제하지 않는다는 것이 더 이해될 것이다.
용어 "결합된," "연결된," "연결하는," "전기적으로 연결된" 등은 일반적으로 전기/전자적으로 연결된 상태를 지칭하기 위해 본원에서 상호 교환적으로 사용된다는 것에 주의한다. 유사하게, 제1 객체가 이러한 신호의 유형(아날로그 또는 디지털)에 관계없이 제2 객체에 (데이터 정보 또는 비-데이터/제어 정보 포함 여부인) 정보 신호를 (유선 또는 무선 수단을 통해) 전기적으로 전송 및/또는 수신하는 경우, 제1 객체는 제2 객체(또는 객체들)와 "통신"하는 것으로 간주된다. 본원에서 보여지고 논의된 다양한 도면(구성 요소 다이어그램 포함)은 단지 설명을 위한 것이며 일정한 비율로 도시되지 않았다는 것에 더 주의한다.
임의의 개시가 본원에 참조로 포함되고 그러한 포함된 개시가 본 개시와 부분적으로 및/또는 전체적으로 충돌하는 경우, 충돌 및/또는 더 넓은 개시 및/또는 더 넓은 용어 정의의 범위까지, 본원의 개시가 제어한다. 그러한 통합된 개시가 부분적으로 및/또는 전체적으로 서로 충돌하는 경우, 충돌의 정도에 따라 추후 개시가 제어된다.
본원에서 사용되는 용어는 직접 또는 간접, 전체 또는 부분, 임시 또는 영구, 즉시 또는 지연, 동기 또는 비동기, 동작 또는 비활동을 의미할 수 있다. 예를 들어, 요소가 다른 요소에 "켜짐," "연결됨," 또는 "결합됨"으로 표시될 때, 요소는 다른 요소에 직접 연결되거나 연결될 수 있고/있거나 간접 및/또는 직접 변형을 포함하는 중간 요소가 존재할 수 있다. 대조적으로, 요소가 다른 요소에 "직접 연결된" 또는 "직접 결합된" 것으로 언급될 때, 존재하는 개재 요소가 없다. 본원의 설명은 예시적이며 제한적이지 않다. 기술의 많은 변형은 본원의 내용을 검토할 때 당업자에게 명백할 것이다. 예를 들어, 기술은 이메일 위협을 차단하는 용도로 제한되지 않고 이메일, 소셜 미디어, 인스턴트 메시징 및 채팅을 포함한 모든 메시징 위협에 적용된다.
다양한 실시예가 위에서 설명되었지만, 이들은 제한이 아닌 예로서만 제시된 것임을 이해해야 한다. 설명은 본 발명의 범위를 본원에 설명된 특정 형태로 제한하려는 것이 아니다. 반대로, 본 설명은 첨부된 청구 범위에 의해 정의되고 당업자에 의해 인식되는 바와 같이 본 발명의 사상 및 범위 내에 포함될 수 있는 이러한 대안, 수정 및 등가물을 포함하도록 의도된다. 따라서, 바람직한 것의 폭과 범위는 전술한 예시적인 실시예에 의해 제한되지 않아야 한다.

Claims (20)

  1. 방법으로서, 상기 방법은:
    사용자에게 디스플레이되는 디지털 미디어로서 소스로부터 콘텐츠를 수신하는 단계;
    상기 콘텐츠 내의 상황 정보를 결정하기 위해 디지털 미디어를 처리하는 단계;
    신뢰도 점수 및 복수의 상황 정보 소스에 걸쳐 계산된 공통성을 사용하여, 상황 정보의 배치(batch)의 상황 정보를 평가하는 단계;
    상기 콘텐츠로부터 추출된 상기 상황 정보의 배치의 상기 상황 정보에 기반하여 추가적인 콘텐츠를 위한 적어도 하나의 네트워크를 검색하는 단계; 및
    상기 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위해 상기 추가적인 콘텐츠를 전송하는 단계
    를 포함하고,
    상기 디지털 미디어를 처리하는 단계는 상기 콘텐츠로부터 상기 상황 정보를 추출하기 위해 데이터를 수집하고 분석하는 단계를 포함하되, 상기 데이터를 수집하고 분석하는 단계는:
    상기 디지털 미디어의 일련의 프레임에 타임 스탬프를 찍는 단계;
    검색 엔진을 사용하여, 상기 타임 스탬프가 찍힌 디지털 미디어의 역방향 이미지 검색을 수행하는 단계;
    상기 타임 스탬프가 찍힌 디지털 미디어의 장면 감지, 개별적인 특징 감지 및 랜드마크 감지-여기서 상기 장면 감지, 상기 개별적인 특징 감지 및 상기 랜드마크 감지는 머신 러닝을 사용함- 중 하나 이상을 수행하는 단계;
    상기 역방향 이미지 검색의 각각의 결과 및 수행된 상기 감지의 결과에 가중치-여기서 상기 가중치는 상황적 평가 프로세스의 유형에 할당된 미리 정해진 값에 기반함-를 적용하는 단계; 및
    시간 프레임에 걸쳐 상기 상황 정보의 배치를 생성하는 단계이며,
    상기 신뢰도 점수는 광학 문자 인식을 통해 감지된 텍스트 데이터 그룹의 빈도에 기반한 제1 신뢰도 점수, 상기 역방향 이미지 검색을 기반으로 식별된 이미지와 연관된 제2 신뢰도 점수 및 머신 러닝에 기반하여 상기 디지털 미디어 내에서 인식된 하나 이상의 특징과 연관된 제3 신뢰도 점수에 기반하여 집계되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 콘텐츠 및 상기 추가적인 콘텐츠를 포함하는 뷰(view)를 디스플레이하는 단계를 더 포함하고,
    상기 추가적인 콘텐츠는 그래픽 사용자 인터페이스의 프레임 내에 오버레이되거나 또는 제공되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 수신 장치는 상기 추가적인 콘텐츠를 디스플레이하는 추가적인 콘텐츠 애플리케이션을 실행하는 모바일 통신 장치를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 소스는 게임 콘솔, 및 상황 저장소 내에서 지속적으로 업데이트되고 저장되는 콘텐츠를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 콘텐츠를 나타내는 상황 정보를 결정하기 위해 상기 디지털 미디어를 처리하는 단계는 키워드 또는 구문(phrases)을 감지하기 위해 상기 디지털 미디어 상에서 광학 문자 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 소스로부터 상기 콘텐츠에 대한 타이틀을 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 방법으로서, 상기 방법은:
    게임 콘솔로부터 라이브 콘텐츠를 사용자에게 디스플레이되는 이미지 또는 비디오로 수신하는 단계;
    상기 이미지 또는 비디오를 실시간으로 처리하는 단계-여기서 상기 처리하는 단계는, 키워드 또는 구문에 대한 광학 문자 인식, 관련된 이미지에 대한 검색 엔진을 사용하는 역방향 이미지 검색, 하나 이상의 장면 감지, 개별적인 특징 감지 및 랜드마크 감지 중 어느 것을 포함하는 복수의 상황 정보 소스를 사용하여 상기 라이브 콘텐츠로부터 상황 정보를 추출하기 위해 데이터를 수집하고 분석하는 단계, 상기 이미지 또는 비디오의 일련의 프레임의 타임 스탬프를 찍는 단계, 상기 역방향 이미지 검색의 각각의 결과 및 수행된 상기 감지의 결과에 가중치를 적용하는 단계, 및 정의된 시간 프레임에 걸쳐서 상황 정보의 배치(batch)를 생성하는 단계를 포함함-;
    상기 라이브 콘텐츠에 대해 실시간으로 처리된 상황 정보의 가장 최근의 배치를 저장하는 단계-여기서 상기 상황 정보의 가장 최근의 배치는 상황 저장소의 메모리 내에 저장되며, 상기 상황 정보의 가장 최근의 배치는 상기 이미지 또는 비디오가 변경됨에 따라 변경됨-;
    신뢰도 점수 및 상기 복수의 상황 정보 소스에 걸쳐 계산된 공통성을 사용하여, 상기 상황 정보의 배치의 상황 정보를 평가하는 단계;
    상기 라이브 콘텐츠로부터 추출된 상기 상황 정보의 배치의 상기 상황 정보에 기반하여 제3자의 추가적인 콘텐츠에 대하여 인터넷을 검색하는 단계; 및
    상기 소스 또는 수신 장치 중 적어도 하나와 함께 사용하기 위해, 상기 제3자의 추가적인 콘텐츠를 실시간으로 전송하는 단계
    를 포함하고,
    상기 하나 이상의 장면 감지, 상기 개별적인 특징 감지 및 상기 랜드마크 감지는 상기 이미지 내의 특징을 인식하기 위한 머신러닝을 사용하며,
    상기 가중치는 상황적 평가 프로세스의 유형에 할당된 미리 정해진 값에 기반하고,
    상기 신뢰도 점수는 광학 문자 인식을 통해 감지된 텍스트 데이터 그룹의 빈도에 기반한 제1 신뢰도 점수, 상기 역방향 이미지 검색을 기반으로 식별된 이미지와 연관된 제2 신뢰도 점수 및 머신 러닝에 기반하여 디지털 미디어 내에서 인식된 하나 이상의 특징과 연관된 제3 신뢰도 점수에 기반하여 집계되는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 상황 정보, 및 상기 검색 동안에 지식기반(knowledgebase) 내에서 발견된 상기 추가적인 콘텐츠를 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 상기 라이브 콘텐츠는 비디오 게임을 포함하며, 상기 추가적인 콘텐츠는 상기 비디오 게임과 관련된 보조 또는 설명 비디오 또는 텍스트 콘텐츠를 포함하는 것을 특징으로 하는 방법.
  10. 시스템으로서, 상기 시스템은:
    프로세서; 및
    상기 프로세서에 통신 가능하게 연결된 메모리-여기서 상기 메모리는 방법을 수행하기 위한 상기 프로세서에 의해 실행 가능한 명령을 저장함-
    를 포함하고,
    상기 방법은:
    소스로부터 이미지 또는 비디오로 콘텐츠를 수신하는 단계;
    키워드 또는 구문에 대한 광학 문자 인식, 관련된 이미지에 대한 검색 엔진을 사용하는 역방향 이미지 검색, 하나 이상의 장면 감지, 개별적인 특징 감지 및 랜드마크 감지 중 어느 것을 포함하는 복수의 상황 정보 소스를 사용하여 상기 이미지 또는 비디오를 처리하여, 상기 콘텐츠로부터 상황 정보를 추출하기 위해 데이터를 수집하고 분석하는 단계;
    상기 이미지 또는 비디오의 일련의 프레임의 타임 스탬프를 찍는 단계;
    상기 역방향 이미지 검색의 각각의 결과 및 수행된 상기 감지의 결과에 가중치-여기서 상기 가중치는 상황적 평가 프로세스의 유형에 할당된 미리 정해진 값에 기반함-를 적용하는 단계;
    타임 프레임에 걸쳐서 상황 정보의 배치를 생성하는 단계;
    상기 복수의 상황 정보의 소스에 걸쳐 계산된 공통성 및 신뢰도 점수를 사용하여, 상기 상황 정보의 배치의 상황 정보를 평가하는 단계;
    상기 콘텐츠로부터 추출된 상기 상황 정보의 배치의 상기 상황 정보에 기반하여 추가적인 콘텐츠를 위한 적어도 하나의 네트워크를 검색하는 단계;
    상기 소스 또는 또 다른 중 적어도 하나와 함께 사용하기 위해 상기 추가적인 콘텐츠를 전송하는 단계; 및
    상기 콘텐츠, 상기 상황 정보의 배치의 상기 상황 정보 및 상기 추가적인 콘텐츠를 저장하는 단계
    를 포함하고,
    상기 키워드 또는 구문을 감지, 상기 하나 이상의 장면 감지, 상기 개별적인 특징 감지 및 상기 랜드마크 감지는 상기 이미지 내에서 특징을 인식하기 위한 머신 러닝을 사용하며,
    상기 신뢰도 점수는 광학 문자 인식을 통해 감지된 텍스트 데이터 그룹의 빈도에 기반한 제1 신뢰도 점수, 상기 역방향 이미지 검색을 기반으로 식별된 이미지와 연관된 제2 신뢰도 점수 및 머신 러닝에 기반하여 디지털 미디어 내에서 인식된 하나 이상의 특징과 연관된 제3 신뢰도 점수에 기반하여 집계되는 것을 특징으로 하는 시스템.
  11. 제10항에 있어서, 상기 상황 정보와 상기 추가적인 콘텐츠를 저장하는 지식기반을 더 포함하는 것을 특징으로 하는 시스템.
  12. 제10항에 있어서, 상기 소스를 더 포함하고, 상기 소스는 상기 콘텐츠와 상기 추가적인 콘텐츠를 포함하는 뷰를 디스플레이하도록 구성되며, 상기 추가적인 콘텐츠는 그래픽 사용자 인터페이스의 프레임 내에 오버레이되거나 또는 제공되는 것을 특징으로 하는 시스템.
  13. 제10항에 있어서, 지식기반 내에서 상기 검색 동안에, 상기 상황 정보 및 상기 추가적인 콘텐츠를 저장하는 단계를 더 포함하는 것을 특징으로 하는 시스템.
  14. 제10항에 있어서, 상기 소스는 게임 콘솔, 및 상황 저장소 내에서 지속적으로 업데이트되고 저장되는 콘텐츠를 포함하는 것을 특징으로 하는 시스템.
  15. 제14항에 있어서, 상기 콘텐츠는 비디오 게임을 포함하며, 상기 추가적인 콘텐츠는 상기 게임 콘솔 상의 상기 비디오 게임이 아닌 인터넷으로부터 획득되는 상기 비디오 게임과 관련된 보조 또는 설명 비디오 또는 텍스트 콘텐츠를 포함하는 것을 특징으로 하는 시스템.
  16. 제10항에 있어서, 상기 프로세서는 상기 상황 정보에 기반하여 상기 추가적인 콘텐츠를 위한 지식 기반을 검색하도록 더 구성되는 것을 특징으로 하는 시스템.
  17. 제10항에 있어서, 상기 프로세서는 사용자로부터 상기 콘텐츠와 연관된 질의를 수신하도록 더 구성되고, 상기 상황 정보의 추출 및 상기 추가적인 콘텐츠를 위한 검색은 상기 질의에 대한 응답으로 시작되는 것을 특징으로 하는 시스템.
  18. 제1항에 있어서, 상기 상황 정보에 기반하여, 상기 추가적인 콘텐츠를 위한 지식 기반을 검색하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  19. 제1항에 있어서, 상기 사용자로부터 상기 콘텐츠와 연관된 질의를 수신하는 단계를 더 포함하며, 상기 상기 상황 정보의 결정 및 상기 추가적인 콘텐츠의 검색은 상기 질의에 대한 응답으로 시작되는 것을 특징으로 하는 방법.
  20. 제7항에 있어서, 상기 사용자로부터 상기 라이브 콘텐츠와 연관된 질의를 수신하는 단계를 더 포함하고, 상기 상황 정보의 추출 및 상기 제3자의 추가적인 콘텐츠의 검색은 상기 질의에 응답하여 시작되는 것을 특징으로 하는 방법.
KR1020207036310A 2018-05-16 2019-04-03 상황적 디지털 미디어 처리 시스템 및 방법 KR102586286B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/981,699 US11698927B2 (en) 2018-05-16 2018-05-16 Contextual digital media processing systems and methods
US15/981,699 2018-05-16
PCT/US2019/025543 WO2019221834A1 (en) 2018-05-16 2019-04-03 Contextual digital media processing systems and methods

Publications (2)

Publication Number Publication Date
KR20210013588A KR20210013588A (ko) 2021-02-04
KR102586286B1 true KR102586286B1 (ko) 2023-10-10

Family

ID=68534086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036310A KR102586286B1 (ko) 2018-05-16 2019-04-03 상황적 디지털 미디어 처리 시스템 및 방법

Country Status (6)

Country Link
US (1) US11698927B2 (ko)
EP (1) EP3794455A4 (ko)
JP (1) JP2021523480A (ko)
KR (1) KR102586286B1 (ko)
CN (1) CN112639759A (ko)
WO (1) WO2019221834A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11698927B2 (en) 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
US11200462B2 (en) * 2020-03-04 2021-12-14 Matroid, Inc. Detecting content in a real-time video stream recorded by a detection unit
US20220350660A1 (en) * 2021-05-03 2022-11-03 Dell Products, L.P. Systems and methods for establishing and managing fast data channels among modern workspaces

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110247042A1 (en) * 2010-04-01 2011-10-06 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58195957A (ja) 1982-05-11 1983-11-15 Casio Comput Co Ltd 音声によるプログラム実行方式
US4757525A (en) 1982-09-29 1988-07-12 Vmx, Inc. Electronic audio communications system with voice command features
US5274560A (en) 1990-12-03 1993-12-28 Audio Navigation Systems, Inc. Sensor free vehicle navigation system utilizing a voice input/output interface for routing a driver from his source point to his destination point
DE69327751D1 (de) 1992-07-21 2000-03-09 Pioneer Electronic Corp Plattenspieler und Methode zur Informationswiedergabe
US5890122A (en) 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US5617407A (en) 1995-06-21 1997-04-01 Bareis; Monica M. Optical disk having speech recognition templates for information access
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
GB9602701D0 (en) 1996-02-09 1996-04-10 Canon Kk Image manipulation
WO1998002223A1 (fr) 1996-07-11 1998-01-22 Sega Enterprises, Ltd. Systeme de reconnaissance vocale, procede de reconnaissance vocale et jeu les mettant en pratique
CN1103076C (zh) 1997-05-30 2003-03-12 刘达民 利用语音讯号控制游戏软件的方法及装置
US6077164A (en) 1997-08-18 2000-06-20 Liu; Da-Ming Method of using speech to control a game program, and game machine controller therefor
JP3829014B2 (ja) 1998-06-03 2006-10-04 株式会社コナミデジタルエンタテインメント ビデオゲーム装置
US7251315B1 (en) 1998-09-21 2007-07-31 Microsoft Corporation Speech processing for telephony API
TW495710B (en) 1998-10-15 2002-07-21 Primax Electronics Ltd Voice control module for control of game controller
JP2000181676A (ja) 1998-12-11 2000-06-30 Nintendo Co Ltd 画像処理装置
JP2000229172A (ja) 1999-02-10 2000-08-22 Konami Co Ltd ゲームシステムおよびゲーム用プログラムが記録されたコンピュータ読み取り可能な記憶媒体
JP4258890B2 (ja) 1999-05-26 2009-04-30 株式会社デンソー 音声認識装置、その装置を用いたナビゲーションシステム
JP2001029649A (ja) 1999-07-21 2001-02-06 Taito Corp 音声認識により音声視覚表示を行うゲーム機
US6554707B1 (en) 1999-09-24 2003-04-29 Nokia Corporation Interactive voice, wireless game system using predictive command input
US6571208B1 (en) 1999-11-29 2003-05-27 Matsushita Electric Industrial Co., Ltd. Context-dependent acoustic models for medium and large vocabulary speech recognition with eigenvoice training
US7587214B2 (en) * 2000-09-06 2009-09-08 Inselberg Interactive, Llc Method and apparatus for interactive participation at a live entertainment event
KR20000072753A (ko) 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
JP2002222436A (ja) 2000-11-22 2002-08-09 Sony Computer Entertainment Inc オブジェクト制御方法、コンピュータに実行させるためのオブジェクト制御処理プログラム、コンピュータに実行させるためのオブジェクト制御処理プログラムを記録したコンピュータ読み取り可能な記録媒体、オブジェクト制御処理プログラムを実行するプログラム実行装置
US6928433B2 (en) 2001-01-05 2005-08-09 Creative Technology Ltd Automatic hierarchical categorization of music by metadata
US7085722B2 (en) 2001-05-14 2006-08-01 Sony Computer Entertainment America Inc. System and method for menu-driven voice control of characters in a game environment
US20090119717A1 (en) * 2002-12-11 2009-05-07 Koninklijke Philips Electronics N.V. Method and system for utilizing video content to obtain text keywords or phrases for providing content related to links to network-based resources
US8930561B2 (en) * 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20050220439A1 (en) 2004-03-19 2005-10-06 Carton Owen A Interactive multimedia system and method
US8799401B1 (en) * 2004-07-08 2014-08-05 Amazon Technologies, Inc. System and method for providing supplemental information relevant to selected content in media
US20080109306A1 (en) * 2005-06-15 2008-05-08 Maigret Robert J Media marketplaces
WO2006137993A2 (en) * 2005-06-16 2006-12-28 Wordclick, Llc Method and system for automated initiation of search queries from computer displayed content
US8843467B2 (en) 2007-05-15 2014-09-23 Samsung Electronics Co., Ltd. Method and system for providing relevant information to a user of a device in a local network
EP2011017A4 (en) * 2006-03-30 2010-07-07 Stanford Res Inst Int METHOD AND APPARATUS FOR ANNOTATING MULTIMEDIA STREAMS
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
US8522289B2 (en) * 2007-09-28 2013-08-27 Yahoo! Inc. Distributed automatic recording of live event
US8959108B2 (en) 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
US8196162B2 (en) 2008-06-30 2012-06-05 Nokia Corporation Video media advertising metadata
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
EP2890149A1 (en) 2008-09-16 2015-07-01 Intel Corporation Systems and methods for video/multimedia rendering, composition, and user-interactivity
US8483715B2 (en) * 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US8515185B2 (en) * 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US8332429B2 (en) * 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US20120170914A1 (en) * 2011-01-04 2012-07-05 Sony Dadc Us Inc. Logging events in media files
US8751234B2 (en) 2011-04-27 2014-06-10 Blackberry Limited Communication device for determining contextual information
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US9646313B2 (en) 2011-12-13 2017-05-09 Microsoft Technology Licensing, Llc Gesture-based tagging to view related content
US9135344B2 (en) * 2011-12-20 2015-09-15 Bitly, Inc. System and method providing search results based on user interaction with content
US20140328570A1 (en) * 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
US9244924B2 (en) 2012-04-23 2016-01-26 Sri International Classification, search, and retrieval of complex video events
US9539514B2 (en) 2012-06-22 2017-01-10 Google Inc. Method and system for generating signatures and locating/executing associations for a game program
US8843470B2 (en) 2012-10-05 2014-09-23 Microsoft Corporation Meta classifier for query intent classification
CN104115180B (zh) * 2013-02-21 2017-06-09 索尼公司 信息处理设备、信息处理方法和程序
US9705728B2 (en) * 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
US11244022B2 (en) * 2013-08-28 2022-02-08 Verizon Media Inc. System and methods for user curated media
WO2015038749A1 (en) 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content based video content segmentation
US9367627B1 (en) * 2013-12-03 2016-06-14 Amazon Technologies, Inc. Selecting supplemental content for inclusion in a search results page
US20150279426A1 (en) 2014-03-26 2015-10-01 AltSchool, PBC Learning Environment Systems and Methods
US9177225B1 (en) 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
AU2016249106A1 (en) * 2015-04-16 2017-11-02 W.S.C. Sports Technologies Ltd. System and method for creating and distributing multimedia content
US20160317933A1 (en) 2015-05-01 2016-11-03 Lucidlogix Technologies Ltd. Automatic game support content generation and retrieval
KR102407765B1 (ko) * 2015-06-24 2022-06-10 삼성전자 주식회사 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
US10062015B2 (en) * 2015-06-25 2018-08-28 The Nielsen Company (Us), Llc Methods and apparatus for identifying objects depicted in a video using extracted video frames in combination with a reverse image search engine
US9471852B1 (en) * 2015-11-11 2016-10-18 International Business Machines Corporation User-configurable settings for content obfuscation
GB2551690A (en) * 2016-04-26 2018-01-03 Tactile Ltd Repair diagnostic system and method
CN109478192B (zh) 2016-06-02 2023-08-29 柯达阿拉里斯股份有限公司 用于提供一种或多种定制的以媒体为中心的产品的方法
US10179290B2 (en) * 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system
US10506221B2 (en) * 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US10565255B2 (en) * 2016-08-24 2020-02-18 Baidu Usa Llc Method and system for selecting images based on user contextual information in response to search queries
US20180176660A1 (en) * 2016-12-15 2018-06-21 Comigo Ltd. Systems and methods for enhancing user experience of a user watching video content
US10360466B2 (en) * 2016-12-27 2019-07-23 Facebook, Inc. Systems and methods for image description generation
US10275687B2 (en) * 2017-02-16 2019-04-30 International Business Machines Corporation Image recognition with filtering of image classification output distribution
US10565256B2 (en) * 2017-03-20 2020-02-18 Google Llc Contextually disambiguating queries
US10860854B2 (en) * 2017-05-16 2020-12-08 Google Llc Suggested actions for images
US20180349687A1 (en) * 2017-06-02 2018-12-06 International Business Machines Corporation Workflow creation by image analysis
US10528816B2 (en) * 2017-11-30 2020-01-07 Salesforce.Com, Inc. System and method for retrieving and displaying supplemental information and pertinent data using augmented reality
US11698927B2 (en) 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
US20190373322A1 (en) 2018-05-29 2019-12-05 Sony Interactive Entertainment LLC Interactive Video Content Delivery
US11122341B1 (en) * 2020-11-24 2021-09-14 International Business Machines Corporation Contextual event summary annotations for video streams

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110247042A1 (en) * 2010-04-01 2011-10-06 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval

Also Published As

Publication number Publication date
EP3794455A1 (en) 2021-03-24
KR20210013588A (ko) 2021-02-04
US11698927B2 (en) 2023-07-11
JP2021523480A (ja) 2021-09-02
US20190351331A1 (en) 2019-11-21
CN112639759A (zh) 2021-04-09
EP3794455A4 (en) 2022-01-05
WO2019221834A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
CN111143610B (zh) 一种内容推荐方法、装置、电子设备和存储介质
US10868827B2 (en) Browser extension for contemporaneous in-browser tagging and harvesting of internet content
JP6986527B2 (ja) ビデオを処理する方法及び装置
US10154104B2 (en) Intelligent delivery of actionable content
US20220391773A1 (en) Method and system for artificial intelligence learning using messaging service and method and system for relaying answer using artificial intelligence
JP6515624B2 (ja) 講義ビデオのトピックスを特定する方法及び非一時的なコンピュータ可読媒体
US10162865B2 (en) Generating image tags
KR102586286B1 (ko) 상황적 디지털 미디어 처리 시스템 및 방법
US10621220B2 (en) Method and system for providing a personalized snippet
CN109408821B (zh) 一种语料生成方法、装置、计算设备及存储介质
CN109640112B (zh) 视频处理方法、装置、设备及存储介质
US11819764B2 (en) In-game resource surfacing platform
CN111686450A (zh) 游戏的剧本生成及运行方法、装置、电子设备和存储介质
CN112532507B (zh) 用于呈现表情图像、用于发送表情图像的方法和设备
CN112995757B (zh) 视频剪裁方法及装置
CN113068077B (zh) 一种字幕文件处理方法及装置
WO2020113020A1 (en) Providing content related to objects detected in images
US20140181672A1 (en) Information processing method and electronic apparatus
CN113707179A (zh) 一种音频识别方法、装置、设备及介质
US20220339542A1 (en) Video game overlay
US20240119097A1 (en) Providing recent event information for web search queries
JP2017059177A (ja) 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
KR20170061002A (ko) 게임 봇 탐지 장치 및 방법
CN114159797A (zh) 一种文本处理方法、装置、计算机设备及存储介质
US20180357822A1 (en) Systems and methods for displaying and interacting with a dynamic real-world environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant