JP2024067037A - 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習 - Google Patents

埋め込まれた情報カードコンテンツを認識および解釈するための機械学習 Download PDF

Info

Publication number
JP2024067037A
JP2024067037A JP2024021670A JP2024021670A JP2024067037A JP 2024067037 A JP2024067037 A JP 2024067037A JP 2024021670 A JP2024021670 A JP 2024021670A JP 2024021670 A JP2024021670 A JP 2024021670A JP 2024067037 A JP2024067037 A JP 2024067037A
Authority
JP
Japan
Prior art keywords
text
video stream
metadata
character
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024021670A
Other languages
English (en)
Inventor
ストヤンシック,ミハイロ
パッカード,ウォレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stats LLC
Original Assignee
Stats LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stats LLC filed Critical Stats LLC
Publication of JP2024067037A publication Critical patent/JP2024067037A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ビデオストリームのハイライトのメタデータが、ビデオストリームに埋め込まれたカード画像から抽出される。【解決手段】ハイライトは、スポーツイベントの放送など、1人以上のユーザに対する特定の関心を有するビデオストリームのセグメントであり得る。ビデオストリームのビデオフレームに埋め込まれたカード画像が識別および処理されて、テキストを抽出する。テキスト文字は、スポーツテレビ番組のコンテンツに埋め込まれたカード画像から抽出された文字のセットで訓練された機械学習されたモデルを適用することによって認識することができる。文字ベクトルの訓練セットを前処理して、訓練セットメンバー間のメトリック距離を最大化することができる。テキストを解釈してメタデータを取得することができる。メタデータは、ビデオストリームの一部分に関連して記憶することができる。メタデータは、ハイライトに関する情報を提供してもよく、ハイライトの再生と同時に提示されてもよい。【選択図】図4

Description

関連出願の相互参照
本出願は、2018年5月18日に出願された「Machine Learning for Recognizing and Interpreting Embedded Information Card Content」に関する米国仮特許出願整理番号第62/673,412号(代理人整理番号第THU010-PROV号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2019年5月14日に出願された「Machine Learning for Recognizing and Interpreting Embedded Information Card Content」に関する米国実用特許出願整理番号第16/411,710号(代理人整理番号第THU010号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2018年5月18日に出願された「Video Processing for Enabling Sports Highlights Generation」に関する米国仮特許出願整理番号第62/673,411号(代理人整理番号第THU009-PROV号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2019年5月14日に出願された「Video Processing for Enabling Sports Highlights Generation」に関する米国実用特許出願整理番号第16/411,704号(代理人整理番号第THU009号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2018年5月18日に出願された「Video Processing for Embedded Information Card Localization and Content Extraction」に関する米国仮特許出願整理番号第62/673,413号(代理人整理番号第THU012-PROV号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2019年5月14日に出願された「Video Processing for Embedded Information Card Localization and Content Extraction」に関する米国実用特許出願整理番号第16/411,713号(代理人整理番号第THU012号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2018年6月5日に出願された「Audio Processing for Detecting Occurrences of Crowd Noise in Sporting Event Television Programming」に関する米国仮特許出願整理番号第62/680,955号(代理人整理番号第THU007-PROV号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2018年7月30日に出願された「Audio Processing for Extraction of Variable Length Disjoint Segments from Television Signal」に関する米国仮特許出願整理番号第62/712,041号(代理人整理番号第THU006-PROV号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2018年10月16日に出願された「Audio Processing for Detecting Occurrences of Loud Sound Characterized by Short-Time Energy Bursts」に関する米国仮特許出願整理番号第62/746,454号(代理人整理番号第THU016-PROV号)の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2012年8月31日に出願され、2015年6月16日に米国特許第9,060,210号として発行された、「Generating Excitement Levels for Live Performances」に関する米国実用特許出願整理番号第13/601,915に関するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2012年8月31日に出願され、2014年9月23日に米国特許第8,842,007号として発行された、「Generating Alerts for Live Performances」に関する米国実用特許出願整理番号第13/601,927に関するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2012年8月31日に出願され、2013年11月26日に米国特許第8,595,763号として発行された、「Generating Teasers for Live Performances」に関する米国実用特許出願整理番号第13/601,933に関するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2014年10月9日に出願された「Generating a Customized Highlight Sequence Depicting an Event」に関する米国実用特許出願整理番号第14/510,481号(代理人整理番号第THU001号)に関するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2015年5月12日に出願された「Generating a Customized Highlight Sequence Depicting Multiple Events」に関する米国実用特許出願整理番号第14/710,438号(代理人整理番号第THU002号)に関するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2015年10月7日に出願された「Customized Generation of Highlight Show with Narrative Component」に関する米国実用特許出願整理番号第14/877,691号(代理人整理番号第THU004号)に関するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、2016年9月14日に出願された「User Interface for Interaction with Customized Highlight Shows」に関する米国実用特許出願整理番号第15/264,928号(代理人整理番号第THU005号)に関するものであり、その全体が参照により本明細書に組み込まれる。
本文書は、マルチメディアコンテンツを配信するテレビデバイスまたはビデオサーバ上のマルチメディアコンテンツおよび関連する情報を識別し、またマルチメディアコンテンツの配信と同期してコンテンツおよびサービスを提供するために、組み込みソフトウェアアプリケーションがマルチメディアコンテンツを利用することを可能にする技術に関する。様々な実施形態は、スポーツテレビビデオコンテンツ内の重要なイベントベースのビデオセグメントを識別および抽出し、ビデオハイライトを識別し、試合前、試合中、および試合後のレビューのためにそのようなハイライトにメタデータを関連付けるために使用される自動化ビデオおよび音声分析を提供するための方法およびシステムに関する。
試合前、試合中、および試合後の対話的なアプリケーションを有する対話的な広告および強化された番組ガイドなどの拡張テレビアプリケーションが長い間構想されてきた。もともと放送テレビ用に設計された既存のケーブルシステムは、対話的テレビサービスおよび拡張(対話的)番組制作ガイドを含む、新しいアプリケーションおよびサービスのホストをサポートすることが求められている。
拡張テレビアプリケーションを可能にするためのいくつかのフレームワークが標準化されている。例としては、OpenCable(商標)拡張TVアプリケーションメッセージング仕様およびTru2way仕様が挙げられ、これらは、ケーブルビデオネットワークを介して配信される対話的なデジタルケーブルサービスを指し、対話的な番組ガイド、対話的な広告、およびゲームなどの機能を含んでいる。さらに、ケーブル事業者の「OCAP」プログラムは、eコマースショッピング、オンラインバンキング、電子番組ガイド、およびデジタルビデオ録画などの対話的なサービスを提供している。これらの取り組みにより、番組制作者/放送局が配信するビデオコンテンツと同期した第一世代のビデオ同期アプリケーションが可能となり、テレビ番組制作に付加的なデータと対話的性を提供している。
ビデオ/音声コンテンツ分析技術および対応するモバイルデバイスの最近の開発により、ライブTV番組イベントと同期して動作する高度なアプリケーションの開発において、一連の新しい可能性が開かれた。これらの新しい技術およびコンピュータビジョン、およびビデオ処理の進歩、ならびに最新のプロセッサの改善された計算能力により、メタデータを伴う高度な番組コンテンツのハイライトをリアルタイムで生成できるようになった。
埋め込まれた情報カード位置特定および埋め込まれたテキスト列認識および解釈のためのスポーツイベントテレビ番組コンテンツの自動リアルタイム処理のための方法およびシステムが提示される。少なくとも1つの実施形態では、機械学習された文字分類モデルは、スポーツイベントのテレビ番組コンテンツに埋め込まれた複数の情報カード(カード画像)から抽出された文字の訓練セットに基づいて生成される。抽出された文字画像は、多次元ベクトル空間で多次元文字ベクトルの標準化された訓練セットを生成するために処理される。次に、この訓練セットに対して主成分分析(PCA)が実施され、訓練セットのベクトル空間にまたがる直交基底ベクトルが導出される。
少なくとも1つの実施形態では、訓練セットベクトル空間の次元数は、直交基底から限られた数の代表的な直交ベクトルを選択することによって減少される。マルチクラスサポートベクターマシン(SVM)または畳み込みニューラルネットワーク(CNN)アルゴリズムなどの、既知の機械学習アルゴリズムであり得る機械学習アルゴリズム構造を利用することによって、埋め込まれた情報カードに出現するこの特定の射影された英数字文字のセットに対して分類モデルが生成される。
少なくとも1つの実施形態では、スポーツイベントテレビ番組コンテンツは、リアルタイムで処理されて、クエリ(情報カードの文字列からの埋め込まれた文字)を抽出し、埋め込まれた文字列から抽出された個々の文字画像を使用してクエリインフラストラクチャをセットアップする。別の実施形態では、個々のクエリ画像は、各クエリ文字のクエリベクトルを生成するように正規化される。その後、これらのクエリベクトルは、訓練ベクトル空間にまたがる直交基底に射影され、射影されたクエリベクトルが生成される。さらに別の実施形態では、射影されたクエリベクトルは、各射影されたクエリベクトルに事前に学習された文字分類モデルを適用することによって認識(予測)される。最後に、予測されたクエリ文字(予測された文字列を形成する)は、意味抽出によって解釈される。少なくとも1つの実施形態では、意味抽出は、様々なテレビ番組カード画像タイプにおける既知の文字列位置に基づいて、および文字列内の個々の文字の位置の知識に基づいて実施される。少なくとも1つの実施形態では、抽出された情報は、スポーツイベントビデオハイライトに関連付けられたスポーツイベントメタデータに自動的に付加される。
少なくとも1つの実施形態では、ビデオストリームからメタデータを抽出するための方法は、ビデオストリームの少なくとも1つの部分を記憶することと、ビデオストリームの部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別することと、その後、1つ以上の情報カード画像を処理してテキストを抽出することと、を含む。さらに別の実施形態では、情報カード画像から抽出されたテキストは、ビデオストリームの部分に関連付けてメタデータを生成および記憶するように解釈される。
少なくとも1つの実施形態では、ビデオストリームは、スポーツイベントの放送であってもよい。ビデオストリームの部分は、1人以上のユーザに対する特定の関心を有するとみなされるハイライトであってもよい。メタデータは、ハイライトを記述してもよい。
少なくとも1つの実施形態では、本方法は、1つ以上のカード画像を識別すること、1つ以上のカード画像を処理すること、およびテキストを解釈することのうちの少なくとも1つの間に、ユーザにビデオストリームを再生することをさらに含んでもよい。
少なくとも1つの実施形態では、本方法は、ユーザにハイライトを再生することと、ハイライトの再生中にユーザにメタデータを提示することと、をさらに含んでもよい。メタデータは、メタデータが取得されたカード画像のハイライトおよびタイムラインに関連するリアルタイム情報を提供してもよい。
少なくとも1つの実施形態では、テキストを抽出することは、1つ以上のカード画像内の1つ以上の文字列を識別することと、1つ以上の文字列の各文字に対応する1つ以上のカード画像を有するカード画像の文字画像の位置および/またはサイズを記録することと、を含んでもよい。
少なくとも1つの実施形態では、テキストを抽出することは、検出された文字境界の多重比較を実施することによって1つ以上の文字列の文字の文字境界に曖昧性解消を行うことと、互いに近づきすぎて出現する文字境界をパージすることと、をさらに含んでもよい。
少なくとも1つの実施形態では、テキストを抽出することは、低強度ピクセルカウントと高強度ピクセルカウントとの間のコントラスト比を確立することによって、1つ以上の文字列の文字に対して画像検証を実施することをさらに含んでもよい。
少なくとも1つの実施形態では、テキストを解釈することは、テキストに基づいてクエリを生成することと、n次元クエリ特徴ベクトルを生成することと、n次元クエリ特徴ベクトルを訓練セット直交基底に射影することと、射影されたn次元クエリ特徴ベクトルを分類モデルに適用して、予測されたクエリを作り出すことと、予測されたクエリからテキストの意味を抽出することと、を含んでもよい。
少なくとも1つの実施形態では、本方法は、訓練セット特徴ベクトルを生成することと、訓練セット特徴ベクトルを使用して訓練セット直交基底を導出することと、をさらに含んでもよい。
少なくとも1つの実施形態では、この方法は、訓練セット特徴ベクトルを生成することと、訓練セット特徴ベクトルおよび導出された訓練セット直交基底ベクトルを使用して分類モデルを生成することと、をさらに含んでもよい。
少なくとも1つの実施形態では、テキストを解釈することは、テキスト内の1つ以上の文字列の列長さ、テキスト内の文字境界および/または文字の位置、ならびにテキスト内の文字境界および/または文字の水平位置からなる群からの少なくとも2つの選択を使用することをさらに含んでもよい。
少なくとも1つの実施形態では、ビデオストリームの部分に関連付けてメタデータを記憶することは、クエリに関連付けられた、1つ以上のビデオフレームのビデオフレーム番号を記憶することを含んでもよい。
少なくとも1つの実施形態では、テキストを解釈することは、テキストの1つ以上の文字列の文字のフィールド位置を確認することと、文字の英数字値を確認することと、フィールド位置および英数字値を使用して1つ以上の文字列を順次解釈することと、を含んでもよい。
少なくとも1つの実施形態では、テキストを解釈することは、カード画像の各々の1つ以上のカードフィールドに関する位置および他の情報を取得することと、位置および他の情報を使用して1つ以上の文字列の1つ以上の欠落の可能性のある前部文字を補償することと、をさらに含んでもよい。
少なくとも1つの実施形態では、文字認識および分類モデルを生成するための方法は、自動ビデオハイライト生成に関連して記述される。本方法は、自動ハイライトメタデータが生成されるビデオストリームの少なくとも1つの部分を抽出および記憶することと、ビデオストリームの部分の1つ以上のビデオフレームに埋め込まれた1つ以上の情報カード画像を識別することと、1つ以上の情報カード画像を処理して複数の文字画像を抽出することと、を含む。本方法は、複数の文字画像に関連付けられた訓練特徴ベクトルを生成することと、訓練特徴ベクトルを処理することと、訓練特徴ベクトルの少なくともいくつかを使用して文字認識および分類モデルを訓練することと、その後、処理された訓練セットおよび分類モデルを記憶することと、をさらに含む。訓練特徴ベクトルは、訓練特徴ベクトルの相互メトリック距離を増加させることによって、および/または訓練特徴ベクトルを含む全体的なベクトル空間の次元数を減少させることによって、訓練特徴ベクトルの一意性を増加させる方法で処理されてもよい。
少なくとも1つの実施形態では、本方法は、訓練特徴ベクトルを生成する前に、文字画像を標準サイズおよび/または標準照明に正規化することをさらに含んでもよい。
少なくとも1つの実施形態では、訓練特徴ベクトルを生成することは、文字画像から抽出されたnピクセルのセットをn次元ベクトルにフォーマットすることを含んでもよい。
少なくとも1つの実施形態では、本方法は、訓練特徴ベクトルに対して主成分分析を実施することをさらに含んでもよい。訓練特徴ベクトルの少なくともいくつかを使用して分類モデルを訓練することは、訓練特徴直交基底ベクトルのサブセットを選択することと、直交基底ベクトルのサブセットを使用して文字認識および分類モデルを訓練することと、を含んでもよい。
少なくとも1つの実施形態では、直交基底ベクトルは、全体的な訓練特徴ベクトル空間にまたがることがってもよい。全体的な訓練特徴ベクトル空間の次元数を減少させることは、この訓練特徴ベクトル空間を十分に正確に表す限られた数の直交基底ベクトルを選択することを含んでもよい。全体的な訓練ベクトル空間の次元数を減少させることは、直交基底ベクトルの行列から導出された特異値の最大セットに対応する直交基底ベクトルのみを選択することを含んでもよい。分類モデルを記憶することは、分類モデル生成および/またはクエリ処理における後続の使用のために、限られた数の直交基底ベクトルを記憶することを含んでもよい。分類モデルを生成することは、SVMおよびCNNからなる群から選択された機械学習アルゴリズムと組み合わせて、限られた数の訓練セット直交基底ベクトルを使用することを含んでもよい。
少なくとも1つの実施形態では、本方法は、1つ以上の情報カード画像を処理してテキストを抽出することと、テキストを解釈してメタデータを取得することと、ビデオストリームの部分に関連付けてメタデータを記憶することと、をさらに含んでもよい。本方法は、ユーザにビデオストリームの部分を再生することと、ビデオストリームの部分の再生中にユーザにメタデータを提示することと、をさらに含む。ビデオストリームは、スポーツイベントの放送であってもよい。ビデオストリームの部分は、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含んでもよい。メタデータは、ハイライトを記述してもよい。
少なくとも1つの実施形態では、テキストを抽出することは、クエリとしてテキストのテキスト列を抽出することを含んでもよい。
少なくとも1つの実施形態では、テキストを抽出することは、スポーツイベント内の現在の時間、スポーツイベントの現在のフェーズ、スポーツイベントに関連する試合時計、およびスポーツイベントに関連する試合スコアのうちの少なくとも1つを抽出することを含んでもよい。
さらなる詳細および変形例は、本明細書に記載されている。
添付の図面は、説明とともに、いくつかの実施形態を示している。当業者は、図面に示される特定の実施形態は単なる例示的なものであり、範囲を限定することを意図するものではないことを認識するであろう。
クライアント/サーバの実施形態による、ハードウェアアーキテクチャを描くブロック図であり、イベントコンテンツは、ネットワーク接続されたコンテンツプロバイダを介して提供される。 別のクライアント/サーバの実施形態による、ハードウェアアーキテクチャを描くブロック図であり、イベントコンテンツは、クライアントベースの記憶デバイスに記憶される。 スタンドアロンの実施形態による、ハードウェアアーキテクチャを描くブロック図である。 一実施形態による、システムアーキテクチャの概要を描くブロック図である。 一実施形態による、カード画像、ユーザデータ、ハイライトデータ、および分類モデルに組み込むことができるデータ構造の例を描く概略ブロック図である。 ビデオストリームからのビデオフレームの例のスクリーンショット図であり、スポーツイベントテレビ番組コンテンツに見られるようなフレーム内に埋め込まれた情報カード画像を示している。 一実施形態による、フレーム内情報カードの位置特定、ならびにコンテンツの抽出およびレンダリングのためのテレビ番組コンテンツのリアルタイム受信および処理のための全体的な適用プロセスを描くフローチャートである。 一実施形態による、文字列境界ボックス抽出のための、検出および抽出された情報カード画像の内部処理を描くフローチャートである。 一実施形態による、最終的な境界された文字画像の検証および関連する位置パラメータ抽出のためのテキストボックスを処理するための方法を描くフローチャートである。 一実施形態による、埋め込まれた情報カードのテキスト画像からのクエリ生成のための方法を示描くフローチャートである。 一実施形態による、機械学習された分類モデルに基づいて抽出されたクエリ文字列の予測された英数字文字を生成するための方法を描くフローチャートである。 一実施形態による、予測されたクエリ英数字列解釈のための方法を描くフローチャートである。 一実施形態による、マルチクラスSVM分類器またはCNN分類器に基づく訓練セットベクトルの前処理および後続の分類モデル生成を描くフローチャートである。 一実施形態による、情報カード内のテキストフィールドを読み取って解釈し、ビデオハイライトメタデータをフレーム内のリアルタイム情報で更新する全体的なプロセスを描くフローチャートである。
定義
以下の定義は説明のみを目的として提示されており、範囲を制限することを意図するものではない。
・イベント:本明細書の説明の目的上、「イベント」という用語は、試合、セッション、対戦、シリーズ、パフォーマンス、番組、および/もしくはコンサートなど、またはその部分(行為、期間、クォーター、ハーフ、イニング、シーン、またはチャプター)を指す。イベントは、スポーツイベント、娯楽イベント、またはイベントの参加者のより大きな集団内の単一の個人または複数の個人のサブセットの特定のパフォーマンスなどであってもよい。スポーツ以外のイベントの例としては、テレビショー、ニュース速報、社会政治的事件、自然災害、映画、演劇、ラジオ番組、ポッドキャスト、オーディオブック、オンラインコンテンツ、および/または音楽演奏などが挙げられる。イベントは、任意の長さを有することができる。例示目的のために、本明細書ではスポーツイベントの観点から本技術を説明することが多いが、当業者は、この技術が、任意の視聴覚、音声、資格、グラフィックスベース、対話的、非対話的、またはテキストベースのコンテンツのハイライトショーを含む、他の文脈でも使用できることを認識するであろう。したがって、本説明における「スポーツイベント」という用語および任意の他のスポーツ固有の用語の使用は、1つの想定される実施形態を例示することを意図しているが、記載される技術の範囲をその1つの実施形態に限定することを意図ししているわけではない。むしろ、そのような用語は、この技術に適切な、任意の好適なスポーツ以外の文脈にまで及ぶと考えられるべきである。説明を容易にするために、「イベント」という用語はまた、イベントの視聴覚記録などのイベントの報告もしくは表現、またはイベントの報告、説明、もしくは描画を含む任意の他のコンテンツ項目を指すためにも使用される。
・ハイライト:1人以上のユーザに対する特定の関心を有するとみなされる、イベントの抜粋もしくは部分、またはイベントに関連付けられたコンテンツ。ハイライトは、任意の長さを有することができる。概して、本明細書に記載の技術は、任意の好適なイベントについて、カスタマイズされたハイライトのセット(特定の特性および/またはユーザ選好に基づいて選択され得る)を識別および提示するための機構を提供する。「ハイライト」という用語はまた、ハイライトの視聴覚記録などのハイライトの報告もしくは表現、またはハイライトの報告、説明、もしくは描画を含む任意の他のコンテンツ項目を指すためにも使用される。ハイライトは、イベント自体の描画に限定される必要はないが、イベントに関連付けられた他のコンテンツを含むことができる。例えば、スポーツイベントの場合、ハイライトとして、試合中のオーディオ/ビデオ、ならびに試合前、試合中、および試合後のインタビュー、分析、および/または解説などを含む他のコンテンツを挙げることができる。このようなコンテンツは、リニアテレビから(例えば、イベント自体を描くビデオストリームの一部として)記録することも、任意の数の他のソースから取り出すこともできる。例えば、オカレンス(プレー)、ストリング、ポゼッション、およびシーケンスを含む、様々なタイプのハイライトを提供することができ、これらのすべては、以下で定義されている。ハイライトは、固定された継続時間である必要はないが、以下で説明するように、開始オフセットおよび/または終了オフセットを組み込むことができる。
・コンテンツデリニエーター:ハイライトの開始または終了を示す1つ以上のビデオフレーム。
・オカレンス:イベント中に発生するもの。例としては、ゴール、プレー、ダウン、ヒット、セーブ、ゴール上のシュート、バスケット、スティール、スナップまたはスナップの試み、ニアミス、喧嘩、試合の開始もしくは終了、クォーター、ハーフ、ピリオド、またはイニング、ピッチ、ペナルティ、負傷、娯楽イベントでのドラマチックな出来事、歌、および/またはソロなどが挙げられる。オカレンスはまた、停電、および/または手に負えないファンとの事件などの、異常な事件でもあり得る。このようなオカレンスの検出は、ビデオストリームの特定の一部分をハイライトとして指定するかどうかを決定するための基礎として使用することができる。オカレンスは、命名を容易にするために、本明細書では「プレー」とも呼ばれるが、そのような使用法は、範囲を制限するものと解釈されるべきではない。オカレンスは、任意の長さを有してもよく、オカレンスの表現は、様々な長さを有してもよい。例えば、上記のように、オカレンスの拡張表現は、オカレンスの直前および直後の時間期間を描く映像を含み得るが、簡単な表現は、オカレンス自体のみを含み得る。任意の中間表現も提供することができる。少なくとも1つの実施形態では、オカレンスを表現するための継続時間の選択は、ユーザ選好、利用可能な時間、オカレンスに対する決定された興奮レベル、オカレンスの重要度、および/または任意の他の要因によって異なることがある。
・オフセット:ハイライトの長さを調整する量。少なくとも1つの実施形態では、ハイライトの開始時間および/または終了時間をそれぞれ調整するために、開始オフセットおよび/または終了オフセットを提供することができる。例えば、ハイライトがゴールを描く場合、ハイライトは、ゴールに続く祝賀および/またはファンの反応を含むように、(エンドオフセットを介して)数秒間延長されてもよい。オフセットは、例えば、ハイライトに利用可能な時間、ハイライトの重要度および/もしくは興奮レベル、ならびに/また任意の他の好適な要因に基づいて、自動的にまたは手動で変化するように構成することができる。
・ストリング:何らかの形で互いとリンクまたは関連している一連のオカレンス。オカレンスは、ポゼッション(以下に定義する)内で発生してもよく、複数のポゼッションにまたがってもよい。オカレンスは、シーケンス(以下に定義する)内で発生してもよく、複数のシーケンスにまたがってもよい。オカレンスは、互いに何らかの主題的または物語的なつながりがあるため、またはあるものが別のものにつながるため、または任意の別の理由で、リンクまたは関連していてもよい。ストリングの一例は、ゴールまたはバスケットにつながるパスのセットである。これは、コンピュータプログラミング分野で通常割り当てられている意味を有する「テキスト列」と混同してはならない。
・ポゼッション:イベントの任意の時間で区切られた部分。ポゼッションの開始/終了時間の区別は、イベントのタイプによって異なることがある。一方のチームが攻撃的であり得るが、もう一方のチームが防御的である特定のスポーツイベント(例えば、バスケットボールまたはサッカーなど)の場合、ポゼッションは、チームの一方がボールを有している時間期間として定義することができる。ホッケーまたはサッカーなど、パックまたはボールのポゼッションがより流動的であるスポーツでは、ポゼッションは、チームのうちの一方が他方のチームによる瞬間的な接触(ブロックされたシュートまたはセーブなど)を無視して、パックまたはボールの実質的な制御を有する時間期間にまで及ぶと考えられる。野球の場合、ポゼッションはハーフイニングとして定義される。サッカーの場合、ポゼッションは、同じチームがボールを有しているいくつかのシーケンスを含むことができる。他のタイプのスポーツイベントおよびスポーツ以外のイベントの場合、「ポゼッション」という用語は多少語弊があるかもしれないが、本明細書ではなおも例示の目的で使用されている。スポーツ以外の文脈での例としては、チャプター、シーン、行為、またはテレビセグメントなどが挙げられる。例えば、音楽コンサートの文脈では、ポゼッションは単一の曲の演奏に相当する場合がある。ポゼッションは、任意の数のオカレンスを含むことができる。
・シーケンス:1つの連続したアクションの時間期間を含むイベントの時間で区切られた部分。例えば、スポーツイベントでは、シーケンスはアクションの開始時(フェイスオフ、またはチップオフなど)に開始し、笛が吹かれてアクションの中断を示すときに終了することがある。野球またはサッカーなどのスポーツでは、シーケンスはプレーと同等である場合があり、これはオカレンスの一形態である。シーケンスは、任意の数のポゼッションを含むことができるか、またはポゼッションの一部分であってもよい。
・ハイライトショー:ユーザへの提示のために配置されたハイライトのセット。ハイライトショーは、直線的に(ビデオストリームなど)、またはユーザがどのハイライトをどの順番で視聴するかを選択できるような方法で提示されてもよい(例えば、リンクまたはサムネイルをクリックすることによって)。ハイライトショーの提示は、非対話的でもあっても対話的であってもよく、例えば、ユーザが一時停止、巻き戻し、スキップ、早送り、および/または選好の有無の伝達などを行うことを可能にする。ハイライトショーは、例えば、凝縮された試合であり得る。ハイライトショーは、単一のイベントから、または複数のイベントから、連続または非連続のハイライトを任意の数だけ含むことができ、さらには異なるタイプのイベント(例えば、異なるスポーツ、ならびに/またはスポーツおよびスポーツ以外のイベントのハイライトの組み合わせ)からのハイライトを含むこともできる。
・ユーザ/視聴者:「ユーザ」または「視聴者」という用語は、イベント、イベントの1つ以上のハイライト、またはハイライトショーを見たり、聞いたり、またはその他の方法で体験したりする個人、グループ、またはその他のエンティティを同じ意味で指す。「ユーザ」または「視聴者」という用語はまた、ある将来の時点で、イベント、イベントの1つ以上のハイライト、またはハイライトショーのいずれかを見たり、聞いたり、または他の方法で体験したりする個人、グループ、または他のエンティティを指すこともできる。「視聴者」という用語は説明の目的で使用される場合があるが、イベントに視覚的な成分が含まれている必要はないため、「視聴者」は代わりにリスナーまたはコンテンツの任意の他の消費者であってもよい。
・物語:ハイライトセグメントのセットを特定の順序でリンクする一貫したストーリー。
・興奮レベル:特定のユーザまたは一般のユーザにとって、イベントまたはハイライトがどれほど興奮するものになるかまたは興味深いものになるかを示す尺度。興奮レベルは、特定のオカレンスまたはプレーヤーに関して決定することもできる。興奮レベルを測定または評価するための様々な技術は、上記で参照した関連する用途で説明されている。説明したように、興奮レベルは、イベント内のオカレンス、およびイベントの全体的な文脈または重要度(プレーオフ試合、ペナントの影響、および/またはライバル関係など)などの他の要因によって異なる場合がある。少なくとも1つの実施形態では、興奮レベルは、イベント内の各オカレンス、ストリング、ポゼッション、またはシーケンスに関連付けることができる。例えば、ポゼッションの興奮レベルは、そのポゼッション内で発生するオカレンスに基づいて決定することができる。興奮レベルは、異なるユーザ(例えば、あるチームのファンと中立のファン)によって異なる方法で測定されてもよく、各ユーザの個人的な特性によって異なる場合がある。
・メタデータ:他のデータに関連し、他のデータに関連付けられて記憶されるデータ。一次データは、スポーツ番組またはハイライトなどのメディアであってもよい。
・カード画像:イベント、イベントの描画、またはその一部分などの、ビデオに描かれているいずれかのものに関するデータを提供するビデオフレーム内の画像。例示的なカード画像は、試合スコア、試合時計、および/またはスポーツイベントからの他の統計を含む。カード画像は、一時的に、またはビデオストリームの全継続時間にわたって出現してもよく、一時的に出現するものは、特にそれらが出現するビデオストリームの部分に関係していてもよい。
・文字画像:単一の文字に関連すると思われる画像の一部分。文字画像は、文字を取り囲む領域を含んでもよい。例えば、文字画像は、文字を取り囲む略長方形の境界ボックスを含み得る。
・文字:単語、数字、または単語もしくは数字の表現の一部となることができる記号。文字は、文字、数字、および特殊文字を含むことができ、任意の言語にあってもよい。
・文字列:文字のセットであって、それらがスポーツイベントでプレーしているチームの名前などの単一の情報に関連することを示す方法でグループ化されたもの。多くの場合、英語の文字列は水平に配置され、左から右に読み取られる。ただし、文字列は英語と他の言語とで異なって配置される場合がある。
概要
様々な実施形態によれば、スポーツイベントのテレビ番組のハイライトに関連付けられた時間ベースのメタデータを自動的に作成するための方法およびシステムが提供される。ハイライトおよび関連するフレーム内時間ベースの情報は、スポーツイベントのテレビ放送に関して同期的に抽出されてもよく、またはスポーツイベントのビデオコンテンツが、スポーツイベントのテレビ放送後にバックアップデバイスからビデオサーバを介してストリーミングされている間に抽出されてもよい。
少なくとも1つの実施形態では、ソフトウェアアプリケーションは、テレビ番組コンテンツの再生および/または受信と同期して動作して、コンテンツのハイライトに関連付けられた情報メタデータを提供する。このようなソフトウェアは、例えば、テレビデバイス自体上で、または関連するセットトップボックス(STB)上で、または番組コンテンツを受信し、その後ストリーミングする機能を有するビデオサーバ上で、またはライブ番組を含むビデオフィードを受信する機能を有するモバイルデバイス上で実行することができる。少なくとも1つの実施形態では、ハイライトおよび関連するメタデータアプリケーションは、テレビ番組コンテンツの提示と同期して動作する。
対話型テレビアプリケーションは、一次テレビディスプレイ、またはタブレット、ラップトップ、もしくはスマートフォンなどの二次ディスプレイのいずれかでテレビ番組を見ているユーザに対する、ハイライトされたテレビ番組コンテンツのタイムリーで関連性のある提示を可能にすることができる。テレビ放送コンテンツのハイライトを表すビデオクリップのセットは、ハイライトビデオクリップによって提示されるイベントをより詳細に説明する時間ベースのメタデータを含むデータベースとともに、リアルタイムで生成および/または記憶することができる。
ビデオクリップに付随するメタデータは、テキスト情報、画像のセット、および/または任意のタイプの視聴覚データなどの任意の情報であり得る。試合中および試合後のビデオコンテンツのハイライトに関連付けられたメタデータの1つのタイプは、番組コンテンツのビデオフレームのうちの1つ以上に埋め込まれた情報カード(「カード画像」)を読み取ることによって、ライブ番組コンテンツから直接抽出されたスポーツ試合パラメータに関するリアルタイムの情報を伝達する。少なくとも1つの実施形態では、記載されたシステムおよび方法は、このタイプの自動メタデータ生成を可能にし、したがって、カード画像コンテンツを、分析されたデジタルビデオストリームのビデオハイライトに関連付ける。
様々な実施形態では、デジタルビデオストリームを受信することと、カード画像の提示および抽出のためにデジタルビデオストリームの1つ以上のビデオフレームを分析することと、カード画像内のテキストボックスを位置特定することと、テキストボックス内に存在する文字の列を認識および解釈することと、を含む自動化プロセスが記載されている。
本明細書に提示される自動化メタデータ生成ビデオシステムは、ライブ放送ビデオストリームまたはコンピュータサーバを介してストリーミングされたデジタルビデオを受信することができ、コンピュータビジョンおよび機械学習技術を使用してリアルタイムでビデオストリームを処理し、埋め込まれた情報カードからメタデータを抽出することができる。
少なくとも1つの実施形態では、抽出された情報カードテキストフィールドに関連付けられた文字列が識別され、文字の列内の各文字の画像の位置およびサイズが記録される。その後、情報カードの様々なフィールドからのテキスト列内の任意の数の文字が認識され、認識された文字を有するテキスト列が解釈され、試合の現在の時間およびフェーズ、試合スコア、および/またはプレー情報などの、スポーツイベントのテレビ番組に関連するリアルタイム情報を提供する。
別の実施形態では、個々の文字画像は、埋め込まれた文字列から抽出され、その後、正規化されたクエリベクトルを生成するために使用される。次に、これらの正規化されたクエリベクトルは、訓練ベクトル空間にまたがる直交基底に射影され、この訓練ベクトルは、事前に組み立てられており、例えば、マルチクラスサポートベクターマシン(SVM)分類器(例:C.BURGES,“A Tutorial on Support Vector Machines for Pattern Recognition”,Kluwer Academic Publishers,1998)などの機械学習分類器を訓練するために使用される。射影されたクエリは、その後、例示的なSVM訓練メカニズムによって作り出された、事前に訓練された分類モデルの出力としてクエリ予測を生成するために使用される。分類モデルはSVMベースのモデルに限定されないことに留意されたい。分類モデルはまた、畳み込みニューラルネットワーク(CNN)などの他の技術を使用して、またCNNアルゴリズム機構の多数の変形例(例:Y.LeCun at al.,“Efficient NN Back Propagation”,Springer 1998)を使用して作り出すこともでき、この変形例は本明細書に提示された訓練データセットに好適である。
さらに別の実施形態では、クエリ文字予測は、事前に開発された機械学習された分類モデルに対して射影されたクエリ文字ベクトルを適用することによって生成される。このステップでは、事前に確立された分類ラベルに従って予測された文字の列が生成され、予測された英数字文字の列が認識および解釈プロセスに渡される。クエリの認識および解釈プロセスは、多数の情報カードフィールドに存在する文字の前知識および位置的理解を適用する。特定の文字グループに位置付けられた各予測された英数字文字の意味をさらに解釈し、その導出された情報をビデオハイライト生成アプリケーションが扱うビデオハイライトメタデータに付加する。
さらに別の実施形態では、文字分類モデル生成が考慮され、モデルは、スポーツイベントテレビ番組コンテンツに埋め込まれた任意の数の情報カードから抽出された文字の訓練セットに基づく。文字境界ボックスが検出され、多数の情報カードから文字が抽出される。これらの文字画像は、その後、標準化されたサイズおよび照明に正規化されて、埋め込まれた情報カードに出現する英数字文字のセットから各特定の文字に関連付けられた記述子を形成する。この方法で、各抽出された文字画像は、ベクトルの訓練セットを含む多次元ベクトル空間内のn次元ベクトルを表す。文字画像のセットを表すn次元訓練ベクトルは、一意性および相互メトリック距離を増加させるため、および訓練ベクトルの全体的なベクトル空間の次元数を減少させるためにさらに処理される。
少なくとも1つの実施形態では、主成分分析(例えば、G.Golub and F.Loan,“Matrix Computations”,Johns Hopkins Univ.Press,Baltimore,1989)は、訓練ベクトルセットに対して実施される。したがって、ベクトルの直交基底は、直交基底ベクトルが訓練セットのベクトル空間にまたがるように、訓練セットから考案される。さらに、基底ベクトルの訓練セット行列の特異値分解によって生成された、特異値の最大セットに関連付けられた最も重要な直交ベクトルのみが保持されるように、訓練セットベクトル空間の次元数は、限られた数の直交基底ベクトルを選択することによって減少される。その後、選択された訓練セット基底ベクトルは、マルチクラスSVMベースの分類器またはCNNベースの分類器などの、データセット分類に利用可能なアルゴリズム構造のうちの1つ以上を使用して分類モデル生成に後で使用するために保存される。
システムアーキテクチャ
様々な実施形態によれば、システムは、情報を受信、記憶、および提示するように装備された任意の電子デバイスまたは電子デバイスのセットに実装することができる。このような電子デバイスは、例えば、デスクトップコンピュータ、ラップトップコンピュータ、テレビ、スマートフォン、タブレット、音楽プレーヤー、音声デバイス、キオスク、セットトップボックス(STB)、ゲームシステム、ウェアラブルデバイス、および/または家庭用電子デバイスなどであってもよい。
システムは、特定のタイプの計算デバイスでの実装に関連して本明細書に記載されるが、当業者は、本明細書に記載される技術は、他の文脈で実装することができ、実際には、ユーザ入力を受信および/または処理し、ユーザに出力を提示できる任意の好適なデバイスで実装できることを認識するであろう。したがって、以下の説明は、範囲を限定するのではなく、例として様々な実施形態を例示することを意図している。
ここで図1Aを参照すると、クライアント/サーバの実施形態による、イベントのビデオストリームに埋め込まれたカード画像からメタデータを自動的に抽出するためのシステム100のハードウェアアーキテクチャを描くブロック図が示されている。ビデオストリームなどのイベントコンテンツは、ネットワーク接続されたコンテンツプロバイダ124を介して提供され得る。このようなクライアント/サーバの実施形態の例は、ウェブベースの実装形態であり、ここで1つ以上のクライアントデバイス106の各々が、通信ネットワーク104を介して、データプロバイダ(複数可)サーバ122、および/またはコンテンツプロバイダ(複数可)サーバ124を含む様々なサーバ102、114、116からのコンテンツと対話するためのユーザインターフェースを提供するブラウザまたはアプリを実行する。クライアントデバイス106からの要求に応答するコンテンツおよび/またはデータの送信は、ハイパーテキストマークアップ言語(HTML)、Java、Objective C、Python、および/またはJavaScriptなどの任意の既知のプロトコルおよび言語を使用して行うことができる。
クライアントデバイス106は、デスクトップコンピュータ、ラップトップコンピュータ、テレビ、スマートフォン、タブレット、音楽プレーヤー、音声デバイス、キオスク、セットトップボックス、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイス、および/または任意の電子デバイスなどであり得る。少なくとも1つの実施形態では、クライアントデバイス106は、当業者に既知のいくつかのハードウェア構成要素を有する。入力デバイス(複数可)151は、ユーザ150からの入力を受信する任意の構成要素(複数可)であり得、例えば、手持ち式リモコン、キーボード、マウス、スタイラス、タッチセンシティブスクリーン(タッチスクリーン)、タッチパッド、ジェスチャレセプタ、トラックボール、加速度計、五方向スイッチ、またはマイクなどを含む。入力は、例えば、ポイント、タップ、タイプ、ドラッグ、ジェスチャ、チルト、シェイク、および/またはスピーチのうちの1つ以上を含む、任意の好適なモードを介して提供することができる。表示スクリーン152は、イベントおよび/またはハイライトなどの描画を含む、情報、ビデオ、および/またはコンテンツなどをグラフィカルに表示する任意の構成要素であり得る。このような出力はまた、例えば、視聴覚コンテンツ、データ視覚化、ナビゲーション要素、グラフィック要素、またはコンテンツの選択のための情報および/もしくはパラメータを要求するクエリなどを含み得る。所望の出力のいくつかのみが一度に提示される少なくとも1つの実施形態では、スクロール機構などの動的制御が、入力デバイス(複数可)151を介して、どの情報を現在表示するかを選択するために、および/または情報を表示する方法を変更するために利用可能であってもよい。
プロセッサ157は、周知の技術に従って、ソフトウェアの指示の下でデータに対する操作を実施するための従来のマイクロプロセッサであり得る。メモリ156は、本明細書に記載の動作を実施するためのソフトウェアを実行する過程でプロセッサ157による使用のための、当技術分野で既知の構造およびアーキテクチャを有するランダムアクセスメモリであり得る。クライアントデバイス106はまた、ハードドライブ、フラッシュドライブ、光または磁気記憶デバイス、および/またはウェブベース(クラウドベース)ストレージなどであり得るローカルストレージ(図示せず)も含むことができる。
インターネット、テレビネットワーク、ケーブルネットワーク、および/またはセルラーネットワークなどの任意の好適なタイプの通信ネットワーク104は、任意の好適なプロトコルおよび技術に従って、クライアントデバイス106と、様々なサーバ(複数可)102、114、116および/またはコンテンツプロバイダ(複数可)124および/またはデータプロバイダ(複数可)122との間でデータを送信するための機構として使用することができる。インターネットに加えて、他の例としては、携帯電話ネットワーク、EDGE、3G、4G、長期的進化(LTE)、セッション開始プロトコル(SIP)、ショートメッセージピアツーピアプロトコル(SMPP)、SS7、Wi-Fi、ブルートゥース(登録商標)、ZigBee、ハイパーテキスト転送プロトコル(HTTP)、セキュアハイパーテキスト転送プロトコル(SHTTP)、および/もしくは伝送制御プロトコル/インターネットプロトコル(TCP/IP)など、ならびに/またはこれらの任意の組み合わせが挙げられる。少なくとも1つの実施形態では、クライアントデバイス106は、通信ネットワーク104を介してデータおよび/またはコンテンツの要求を送信し、要求されたデータおよび/またはコンテンツを含む応答をサーバ102、114、116から受信する。
少なくとも1つの実施形態では、図1Aのシステムは、スポーツイベントに関連して動作する。しかしながら、本明細書の教示は、スポーツ以外のイベントにも適用され、本明細書に記載の技術は、スポーツイベントへの適用に限定されないことを理解されるべきである。例えば、本明細書に記載の技術は、テレビショー、映画、ニュースイベント、試合ショー、政治活動、ビジネスショー、ドラマ、および/または他のエピソードコンテンツに関連して、またはこのような複数のイベントのために動作させるために利用することができる。
少なくとも1つの実施形態では、システム100は、イベントのビデオストリームを分析することによって、放送イベントのハイライトを識別する。この分析は、リアルタイムで実行することができる。少なくとも1つの実施形態では、システム100は、通信ネットワーク104を介して1つ以上のクライアントデバイス106に結合された1つ以上のウェブサーバ(複数可)102を含む。通信ネットワーク104は、パブリックネットワーク、プライベートネットワーク、またはインターネットなどのパブリックネットワークとプライベートネットワークとの組み合わせであってもよい。通信ネットワーク104は、LAN、WAN、有線、無線、および/または上記の組み合わせであり得る。クライアントデバイス106は、少なくとも1つの実施形態では、有線または無線接続のいずれかを介して通信ネットワーク104に接続することができる。少なくとも1つの実施形態では、クライアントデバイスはまた、DVR、PVR、または他のメディア記録デバイスなどの、イベントを受信および記録することができる記録デバイスを含み得る。そのような記録デバイスは、クライアントデバイス106の一部であり得るか、または外部であり得る。他の実施形態では、そのような記録デバイスは省略され得る。図1Aは1つのクライアントデバイス106を示しているが、システム100は、単一のタイプまたは複数のタイプの任意の数のクライアントデバイス(複数可)106を実装することができる。
ウェブサーバ(複数可)102は、クライアントデバイス(複数可)106からの要求を受信し、それらの要求にデータで応答するとともに、未承諾のアラートおよび他のメッセージを送信することができる1つ以上の物理計算デバイスおよび/またはソフトウェアを含み得る。ウェブサーバ(複数可)102は、負荷分散、キャッシング、およびクラスタリングなどのフォールトトレランスおよびスケーラビリティのための様々な戦略を採用してもよい。少なくとも1つの実施形態では、ウェブサーバ(複数可)102は、クライアント要求およびイベントに関連する情報を記憶するための、当技術分野で知られているようなキャッシング技術を含み得る。
ウェブサーバ(複数可)102は、クライアントデバイス(複数可)106から受信した要求に応答するために、1つ以上のアプリケーションサーバ(複数可)114を維持するか、または他の方法で指定することができる。少なくとも1つの実施形態では、アプリケーションサーバ(複数可)114は、クライアントデバイス(複数可)106内のクライアントアプリケーションプログラムによる使用のためのビジネスロジックへのアクセスを提供する。アプリケーションサーバ(複数可)114は、ウェブサーバ(複数可)102と同じ場所に位置し、共有され、または共同管理されてもよい。アプリケーションサーバ(複数可)114はまた、ウェブサーバ(複数可)102から離れていてもよい。少なくとも1つの実施形態では、アプリケーションサーバ(複数可)114は、1つ以上の分析サーバ(複数可)116および1つ以上のデータサーバ(複数可)118と対話して、開示された技術の1つ以上の動作を実施する。
1つ以上の記憶デバイス153は、システム100の動作に関連するデータを記憶することによって「データストア」として機能することができる。このデータは、例えば、スポーツイベントなどのイベントを提示するビデオストリームに埋め込まれたカード画像に関連するカードデータ154、1人以上のユーザ150に関連するユーザデータ155、イベントの1つ以上のハイライトに関連するハイライトデータ164、および/またはカードデータ154からテキストを予測および/または抽出するために使用することができる分類モデル165を含んでもよいが、これらに限定されない。
カードデータ154は、ビデオストリームに埋め込まれたカード画像に関連する任意の情報、例えば、カード画像自体、文字画像などのそのサブセット、文字および文字列などのカード画像から抽出されたテキスト、ならびにテキストおよび/または意味の抽出に役立つ前述のいずれかの属性を含むことができる。ユーザデータ155は、例えば、人口統計学、購入行動、ビデオストリーム視聴行動、関心、および/または選好などを含む、1人以上のユーザ150を説明する任意の情報を含むことができる。ハイライトデータ164は、ハイライト、ハイライト識別子、時間指標、カテゴリ、興奮レベル、およびハイライトに関連する他のデータを含んでもよい。分類モデル165は、機械訓練された分類モデル、クエリ、クエリ特徴ベクトル、訓練セット直交ベース、予測されたクエリ、抽出されたテキストの意味、ならびに/またはカードデータ154からのテキストおよび/もしくは意味の抽出を容易にする他の情報を含んでもよい。カードデータ154、ユーザデータ155、ハイライトデータ164、および分類モデル165については、以降で詳細に説明する。
特に、システム100の多くの構成要素は、計算デバイスであってもよく、またはそれを含んでもよい。このような計算デバイスは各々、上に示し、説明したように、クライアントデバイス106のアーキテクチャと同様のアーキテクチャを有してもよい。したがって、通信ネットワーク104、ウェブサーバ102、アプリケーションサーバ114、分析サーバ116、データプロバイダ122、コンテンツプロバイダ124、データサーバ118、および記憶デバイス153のいずれかは、クライアントデバイス106に関連して上述したように、入力デバイス151、表示スクリーン152、メモリ156、および/またはプロセッサ157を任意選択で有してもよい、1つ以上の計算デバイスを含んでもよい。
システム100の例示的な動作では、クライアントデバイス106の1人以上のユーザ150は、コンテンツプロバイダ124からのコンテンツをビデオストリームの形態で視聴する。ビデオストリームは、スポーツイベントなどのイベントを示してもよい。ビデオストリームは、既知のコンピュータビジョン技術で容易に処理することができるデジタルビデオストリームであってもよい。
ビデオストリームが表示されると、クライアントデバイス106、ウェブサーバ102、アプリケーションサーバ114、および/または分析サーバ116などのシステム100の1つ以上の構成要素が、ビデオストリームを分析し、ビデオストリーム内のハイライトを識別し、および/またはビデオストリームからメタデータを抽出してもよく、例えば、埋め込まれたカード画像および/またはビデオストリームの他の側面から抽出してもよい。この分析は、ビデオストリームのハイライトおよび/またはメタデータを識別するための要求の受信に応答して実行することができる。あるいは、別の実施形態では、ハイライトは、ユーザ150によって特定の要求がなされることなく識別することができる。さらに別の実施形態では、ビデオストリームの分析は、ビデオストリームが表示されることなく行うことができる。
少なくとも1つの実施形態では、ユーザ150は、クライアントデバイス106の入力デバイス151(複数可)を介して、ビデオストリームの分析のための特定のパラメータ(例えば、どのイベント/試合/チームを含めるか、ユーザ150がハイライトの視聴ために利用可能な時間どれくらい有しているか、どのようなメタデータが望まれているか、および/または任意の他のパラメータなど)を指定することができる。ユーザ選好はまた、必ずしもユーザ150が選好を指定する必要を伴わずにビデオストリームの分析をカスタマイズするために、1つ以上の記憶デバイス153に記憶されたユーザデータ155などからのように、ストレージから抽出することもできる。少なくとも1つの実施形態では、ユーザ選好は、例えば、ウェブサイトの訪問パターン、テレビを見るパターン、音楽を聴くパターン、オンライン購入、事前のハイライト識別パラメータ、ならびに/またはユーザ150によって実際に視聴されたハイライトおよび/もしくはメタデータなどを観察することによって、ユーザ150の観察された行動およびアクションに基づいて決定することができる。
追加的または代替的に、ユーザ選好は、ユーザ150によって明示的に提供された、事前に記憶された選好から取り出すことができる。このようなユーザ選好は、どのチーム、スポーツ、プレーヤー、および/またはイベントのタイプがユーザ150に対する関心を有しているかを示すことができ、および/またはそれらは、ハイライトに関連するどのタイプのメタデータまたは他の情報がユーザ150対する関心を有するであろうかを示すことができる。したがって、このような選好は、ビデオストリームの分析をガイドして、ハイライトを識別し、および/またはハイライトのためのメタデータを抽出するために使用することができる。
上述の1つ以上の計算デバイスを含み得る分析サーバ(複数可)116は、データプロバイダ(複数可)122からの1つ以上のイベントに関連する実況統計のライブおよび/または記録されたフィードを分析することができる。データプロバイダ(複数可)122の例としては、限定するものではないが、STATSTM、Perform(英国、ロンドン、Opta Sportsから入手可能)、およびスイス、ザンクトガレン、SportRadarなどのリアルタイムスポーツ情報のプロバイダが挙げられる。少なくとも1つの実施形態では、分析サーバ(複数可)116は、イベントに対して異なる興奮レベルのセットを生成する。このような興奮レベルは、次いで、本明細書に記載の技術に従って、システム100によって識別されるハイライトと関連付けて記憶することができる。
アプリケーションサーバ(複数可)114は、ビデオストリームを分析して、ハイライトを識別し、および/またはメタデータを抽出することができる。追加的または代替的に、このような分析は、クライアントデバイス(複数可)106によって実行されてもよい。識別されたハイライトおよび/または抽出されたメタデータは、ユーザ150に固有であってもよく、このような場合、特定のユーザ150に関連するクライアントデバイス106内のハイライトを識別することが有利であり得る。クライアントデバイス106は、上述のように、ハイライト識別および/またはメタデータ抽出のための適用可能なユーザ選好を受信、保持、および/または取得してもよい。追加的または代替的に、ハイライト生成および/またはメタデータ抽出は、グローバルに(すなわち、特定のユーザ150の選好に関係なく、一般にユーザ集団に適用可能な客観的基準を使用して)実行されてもよい。このような場合、ハイライトを識別し、および/またはアプリケーションサーバ(複数可)114内のメタデータを抽出することが有利であり得る。
ハイライト識別および/またはメタデータ抽出を容易にするコンテンツは、YouTube(登録商標)、およびMLB.comなどのウェブサイト、スポーツデータプロバイダ、テレビ局、および/またはクライアントもしくはサーバベースのDVRなどを含むコンテンツプロバイダ(複数可)124を含む任意の好適なソースから来てもよい。あるいは、コンテンツは、クライアントデバイス106に関連付けられた(または組み込まれた)DVRもしくは他の記録デバイスなどのローカルソースから来てもよい。少なくとも1つの実施形態では、アプリケーションサーバ(複数可)114は、ダウンロード、またはストリーミングコンテンツ、またはオンデマンドコンテンツ、または他の何らかの方法のいずれかとして、ユーザ150に利用可能なハイライトおよびメタデータを伴うカスタマイズされたハイライトショーを生成する。
上記のように、特定のユーザ150に関連付けられた特定のクライアントデバイス106において、ユーザ固有のハイライト識別および/またはメタデータ抽出が実行されることが有利であり得る。このような実施形態は、特にそのようなコンテンツがクライアントデバイス106においてすでに利用可能である場合、通信ネットワーク104を介して不必要に送信されるビデオコンテンツまたは他の高帯域幅コンテンツの必要性を回避することができる。
例えば、次に図1Bを参照すると、カードデータ154、ハイライトデータ164、および分類モデル165の少なくともいくつかがクライアントベースの記憶デバイス158に記憶されている一実施形態によるシステム160の例が示されており、記憶デバイス158は、クライアントデバイス106に利用可能な任意の形式のローカル記憶デバイスであってもよい。例としては、例えば、完全なスポーツイベントのビデオコンテンツなどのイベントを記録することができるDVRが挙げられる。あるいは、クライアントベースの記憶デバイス158は、デジタル形式のデータのための任意の磁気的、光学的、または電子的記憶デバイスであり得る。例としては、フラッシュメモリ、磁気ハードドライブ、CD-ROM、DVD-ROM、またはクライアントデバイス106と統合された、もしくはクライアントデバイス106と通信可能に結合された他のデバイスが挙げられる。アプリケーションサーバ(複数可)114によって提供される情報に基づいて、クライアントデバイス106は、コンテンツプロバイダ124または他のリモートソースから他のコンテンツを取り出す必要を伴わずに、クライアントベースの記憶デバイス158に記憶されたカードデータ154からメタデータを抽出し、そのメタデータをハイライトデータ164として記憶してもよい。このような構成は、帯域幅を節約することができ、クライアントデバイス106にすでに利用可能であり得る既存のハードウェアを有効に活用することができる。
図1Aに戻ると、少なくとも1つの実施形態では、アプリケーションサーバ(複数可)114は、個々のユーザ選好および/または他のパラメータに応じて、異なるハイライトを識別し、および/または異なるユーザ150に対して異なるメタデータを抽出することができる。識別されたハイライトおよび/または抽出されたメタデータは、クライアントデバイス106の表示スクリーン152などの任意の好適な出力デバイスを介してユーザ150に提示されてもよい。必要に応じて、複数のハイライトを識別し、関連するメタデータとともにハイライトショーにまとめることができる。このようなハイライトショーは、メニューを介してアクセスされ、および/または所定のシーケンスに従ってユーザ150のために再生される「ハイライトリール」またはハイライトのセットに組み立てられてもよい。ユーザ150は、少なくとも1つの実施形態では、例えば、以下の目的で、入力デバイス(複数可)151を介して、関連するメタデータのハイライト再生および/または配信を制御することができる。
・表示のための特定のハイライトおよび/またはメタデータを選択する。
・一時停止、巻き戻し、早送りを行う。
・次のハイライトにスキップする。
・ハイライトショー内の前のハイライトの最初に戻る。および/または
・その他のアクションを実施する。
このような機能に関する追加の詳細は、上記で引用した関連する米国特許出願に提供されている。
少なくとも1つの実施形態では、もう1つのデータサーバ(複数可)118が提供される。データサーバ(複数可)118は、例えば、カードデータ154、ユーザデータ155、ハイライトデータ164、および/または分類モデル165を取得または提供するために、サーバ(複数可)102、114、116のいずれかからのデータの要求に応答してもよい。少なくとも1つの実施形態では、このような情報は、データサーバ118によってアクセス可能な任意の好適な記憶デバイス153に記憶することができ、クライアントデバイス106自体、コンテンツプロバイダ(複数可)124、および/またはデータプロバイダ(複数可)122などの、任意の好適なソースから来ることができる。
ここで図1Cを参照すると、システム180がスタンドアロン環境で実装される代替の実施形態によるシステム180が示されている。図1Bに示された実施形態と同様に、カードデータ154、ユーザデータ155、ハイライトデータ164、および分類モデル165の少なくともいくつかは、DVRなどのクライアントベースの記憶デバイス158に記憶されてもよい。あるいは、クライアントベースの記憶デバイス158は、フラッシュメモリもしくはハードドライブ、またはクライアントデバイス106と統合された、もしくはクライアントデバイス106と通信可能に結合された他のデバイスであり得る。
ユーザデータ155は、ユーザ150の選好および関心を含んでもよい。このようなユーザデータ155に基づいて、システム180は、カードデータ154内のメタデータを抽出して、本明細書に記載の方法でユーザ150に提示することができる。追加的または代替的に、メタデータは、ユーザ150に固有の情報に基づかない客観的基準に基づいて抽出することができる。
ここで図1Dを参照すると、代替の実施形態によるアーキテクチャを有するシステム190の概要が示されている。図1Dでは、システム190は、コンテンツプロバイダ(複数可)124などの放送サービス、STBを有するテレビセットなどのクライアントデバイス106の形態のコンテンツ受信機、テレビ番組コンテンツを取り込んでストリーミングすることができる分析サーバ(複数可)116などのビデオサーバ、ならびに/またはテレビ番組コンテンツを受信して処理することができるモバイルデバイスおよびラップトップなどの他のクライアントデバイス106を含み、これらはすべて通信ネットワーク104などのネットワークを介して接続されている。DVRなどのクライアントベースの記憶デバイス158は、クライアントデバイス106および/または他の構成要素のいずれかに接続することができ、ビデオストリーム、ハイライト、ハイライト識別子、ならびに/またはメタデータを記憶して、クライアントデバイス106のいずれかを介してハイライトおよび/もしくは抽出されたメタデータの識別および提示を容易にすることができる。
図1A、図1B、図1C、および図1Dに描画された特定のハードウェアアーキテクチャは、単なる例示である。当業者は、本明細書に記載の技術が他のアーキテクチャを使用して実装できることを認識するであろう。本明細書に描かれている多くの構成要素は任意であり、省略され、他の構成要素と統合され、および/または他の構成要素と置き換えられてもよい。
少なくとも1つの実施形態では、システムは、スタンドアロンまたはクライアント/サーバアーキテクチャのいずれであろうと、任意の好適なコンピュータプログラミング言語で書かれたソフトウェアとして実装することができる。あるいは、それはハードウェアに実装および/または埋め込まれてもよい。
データ構造
図2は、一実施形態による、カードデータ154、ユーザデータ155、ハイライトデータ164、および分類モデル165に組み込むことができるデータ構造の例を描く概略ブロック図である。
示されるように、カードデータ154は、1つ以上のビデオストリームに埋め込まれた複数のカード画像の各々の記録を含んでもよい。カード画像の各々は、1つ以上の文字列200を含んでもよい。文字列200の各々は、n文字の記録を有することができる。このような各記録は、文字画像202、処理された文字画像203、文字境界204、サイズ205、位置206、コントラスト比207、および/または解釈208を有してもよい。文字列200の各々は、文字列200の長さ(例えば、文字、またはピクセルなどの長さ)を示す列長さ209をさらに有してもよい。
文字画像202は、単一の文字を含むカード画像の特定の部分であってもよい。処理された文字画像203は、サイズ、および/または明るさなどの正規化などの1つ以上の処理ステップの適用後の文字画像202であってもよい。
文字境界204は、文字画像202、処理された文字画像203、ならびに/または文字画像202および処理された文字画像203で表される文字の境界を示してもよい。
サイズ205は、文字画像202、処理された文字画像203、ならびに/または文字画像202および処理された文字画像203で表される文字、例えば、ピクセルのサイズであってもよい。
位置206は、カード画像内の文字画像202、処理された文字画像203、ならびに/または文字画像202および処理された文字画像203で表される文字の位置であってもよい。いくつかの例では、位置206は、2次元の位置(例えば、文字画像202、処理された文字画像203、ならびに/または文字画像202および処理された文字画像203で表される文字の角または中心のx座標およびy座標)を示してもよい。
コントラスト比207は、文字画像202、処理された文字画像203、ならびに/または文字画像202および処理された文字画像203で表される文字のコントラストの指標であってもよい。いくつかの例では、コントラスト比207は、文字画像202、処理された文字画像203、ならびに/または文字画像202および処理された文字画像203で表される文字内の、1つ以上の最も明るいピクセルの輝度値の、1つ以上の最も暗いピクセルの輝度値に対する比であってもよい。
解釈208は、文字列200を解釈するために何らかの分析が実施された後、文字画像202に表されると考えられる特定の文字、例えば、a、b、c、1、2、3、#、&などであってもよい。
図2に示されるカードデータ154の構造は、単なる例示であり、いくつかの実施形態では、ビデオストリームに埋め込まれたカード画像に関連するデータは、異なるように編成されてもよい。例えば、他の実施形態では、各文字列は、必ずしも個々の文字画像に分解されなくてもよい。むしろ、文字列は全体として解釈されてもよく、文字列の解釈に有用なデータは、文字列全体について記憶されてもよい。さらに、代替の実施形態では、具体的に上述されていないデータをカードデータ154に組み込むことができる。図2のユーザデータ155、ハイライトデータ164、および分類モデル165の構造も同様に単なる例示であり、当業者によって多くの代替案が構想され得る。
さらに示されるように、ユーザデータ155は、ユーザ150に関連する記録を含んでもよく、記録の各々は、特定のユーザ150の人口統計データ212、選好214、視聴履歴216、および購入履歴218を含んでもよい。
人口統計データ212は、年齢、性別、位置、国籍、宗教的所属、および/または教育レベルなどを含むがこれらに限定されない、任意のタイプの人口統計データを含んでもよい。
選好214は、ユーザ150が自身の選好に関して行った選択を含んでもよい。選好214は、ハイライトおよびメタデータの収集および/または表示に直接関連する場合もあれば、より一般的な性質の場合もある。いずれの場合も、選好214を使用して、ハイライトおよびメタデータの識別および/またはユーザ150への提示を容易にすることができる。
視聴履歴216は、テレビ番組、ビデオストリーム、ハイライト、ウェブページ、検索クエリ、スポーツイベント、および/またはユーザ150によって取り出され、および/または視聴された他のコンテンツをリストすることができる。
購入履歴218は、ユーザ150によって購入または要求された製品またはサービスをリストすることができる。
さらに示されるように、ハイライトデータ164は、jハイライト220の記録を含み得、その記録の各々は、特定のハイライト220のビデオストリーム222、識別子、および/またはメタデータ224を含み得る。
ビデオストリーム222は、ハイライト220を描くビデオを含んでもよく、これは、1つ以上のイベントの1つ以上のビデオストリームから取得されてもよい(例えば、ハイライト220に関連するビデオストリーム222のみを含むようにビデオストリームをトリミングすることによって)。識別子223は、ハイライト220が、それが取得されたイベントのビデオストリーム内のどこに存在するかを示す時間コードおよび/または他の指標を含んでもよい。
いくつかの実施形態では、ハイライト220の各々の記録は、ビデオストリーム222および識別子223のうちの1つのみを含んでもよい。ハイライト再生は、ユーザ150のビデオストリーム222を再生することによって、または識別子223を使用してハイライト220が取得されるイベントのビデオストリームのハイライトされた部分のみを再生することによって実行されてもよい。
メタデータ224は、ハイライト220に関する情報、例えば、イベントの日付、シーズン、およびハイライト220が取得されたイベントもしくはビデオストリームに関与したグループもしくは個人、例えば、チーム、選手、コーチ、アンカー、放送局、および/またはファンなどの情報を含んでもよい。他の情報の中で、各ハイライト220のメタデータ224は、時間225、フェーズ226、時計227、スコア228、および/またはフレーム番号229を含み得る。
時間225は、ハイライト220が取得されるビデオストリーム222内の時間、またはメタデータが利用可能であるハイライト220に関連するビデオストリーム222内の時間であってもよい。いくつかの例では、時間225は、メタデータ224を含むカード画像が表示される、ハイライト220に関連する、ビデオストリーム222内の再生時間であってもよい。
フェーズ226は、ハイライト220に関連するイベントのフェーズであってもよい。より具体的には、フェーズ226は、メタデータ224を含むカード画像が表示されるスポーツイベントの段階であってもよい。例えば、フェーズ226は、「第3のクォーター」、「第2のイニング」、または「ボトムハーフ」などであってもよい。
時計227は、ハイライト220に関連する試合時計であってもよい。より具体的には、時計227は、メタデータ224を含むカード画像が表示されるときの試合時計の状態であってもよい。例えば、時計227は、試合時計に15分47秒が表示されて表示されるカード画像の場合、「15:47」であってもよい。
スコア228は、ハイライト220に関連する試合スコアであってもよい。より具体的には、スコア228は、メタデータ224を含むカード画像が表示されるときのスコアであってもよい。例えば、スコア228は、「45-38」、「7-0」、または「30-ラブ」などであってもよい。
フレーム番号229は、ハイライト220が取得されるビデオストリーム内のビデオフレームの番号、またはハイライト220に関連するビデオストリーム222の中で、ハイライト220に最も直接的に関連するビデオフレームの番号であってもよい。より具体的には、フレーム番号229は、メタデータ224を含むカード画像が表示される、そのようなビデオフレームの番号であってもよい。
さらに示されるように、分類モデル165は、文字列200の抽出および解釈を容易にする様々な情報を含んでもよい。分類モデル165は、次に、ハイライト220のためのメタデータ224の自動生成を可能にしてもよい。具体的には、分類モデル165は、クエリ230、クエリ特徴ベクトル232、直交基底234、予測されたクエリ236、および/またはテキストの意味238を含んでもよい。
クエリ230、クエリ特徴ベクトル232、直交基底234、および予測されたクエリ236の動作は、本明細書でより詳細に記載されている。テキストの意味238は、メタデータ224に容易にコピーすることができる方法でレンダリングされた文字列200の解釈であってもよい。
図2に記載されているデータ構造は単なる例示である。当業者は、ハイライト識別および/またはメタデータ抽出の実施において、図2のデータのいくつかを省略するか、または他のデータで置き換えることができることを認識するであろう。追加的または代替的に、図2に示されていないデータは、ハイライト識別および/またはメタデータ抽出の実施に使用され得る。
カード画像
次に図3を参照すると、スポーツイベントのテレビ番組に頻繁に出現するように、カード画像の形で情報が埋め込まれたビデオストリームからのビデオフレーム300の例のスクリーンショット図が示されている。図3は、ビデオフレーム300の右下にあるカード画像310、およびビデオフレーム300の下部に沿って延びる第2のカード画像320を描いている。カード画像310、320は、試合フェーズ、現在の時計、および現在のスコアなどの埋め込まれた情報を含んでもよい。
少なくとも1つの実施形態では、カード画像310、320内の情報は、カード画像310、320内の埋め込まれたテキストの自動認識および解釈のために位置特定および処理される。次に、解釈されたテキストは、スポーツイベントのタイムライン内の特定の時点でのスポーツ試合のステータスを説明するテキストメタデータに組み立てられてもよい。
特に、カード画像310は、現在示されているスポーツイベントに関係してもよいが、第2のカード画像320は、異なるスポーツイベントに関する情報を含んでもよい。いくつかの実施形態では、現在再生中のスポーツイベントに関連するとみなされる情報を含むカード画像のみが、メタデータ生成のために処理される。したがって、範囲を制限することなく、以下の例示的な説明は、カード画像310のみが処理されることを想定している。しかしながら、代替の実施形態では、他のスポーツイベントに関連するカード画像を含めても、所与のビデオフレーム300内の複数のカード画像を処理することが望ましい場合がある。
図3に示されるように、カード画像310は、チーム名330、スコア340、先行のチームパフォーマンス350、現在の試合段階360、試合時計370、プレーステータス380、および/または他の情報390を含む、いくつかの異なるタイプのメタデータ224を提供することができる。これらの各々は、カード画像310内から抽出され、ビデオフレーム300を含むハイライト220、より具体的には、カード画像310が表示されるビデオフレーム300に対応するメタデータ224を提供するように解釈されてもよい。
メタデータ抽出
図4は、一実施形態による、例えば、クライアントデバイス106、および/または分析サーバ116のうちの1つで実行されるアプリケーションによって実行される方法400を描くフローチャートであり、方法400は、カード画像310のなどのカード画像からメタデータを抽出するために、ビデオストリーム222を受信し、ビデオフレーム300のオンザフライ処理を実施する。図1Aのシステム100は、方法400およびそれに続くシステムを実行するシステムとして参照される。しかしながら、図1Bのシステム160、図1Cのシステム180、および/または図1Dのシステム190を含むがこれらに限定されない代替のシステムを、図1Aのシステム100の代わりに使用することができる。
図4の方法400は、上で概説されたプロセスをより詳細に描いている。事前に識別されたハイライト220に対応するビデオストリーム222などのビデオストリームは、受信およびデコードされてもよい。ステップ410では、ビデオストリーム222の1つ以上のビデオフレーム300が受信され、標準サイズにサイズ変更され、そしてデコードされてもよい。ステップ420では、ビデオフレーム300を処理して、ビデオフレーム300から、図3のカード画像310などの1つ以上のカード画像を検出し、該当する場合はそれを抽出することができる。クエリ430に従って、ビデオフレーム300に有効なカード画像310が見つからない場合、方法400は、ステップ410に戻って、異なるビデオフレーム300をデコードおよび分析することができる。
有効なカード画像310が見つかった場合、ステップ440では、ビデオフレーム300をさらに処理して、検出されたカード画像310を位置特定、抽出、および処理し、カード画像310に埋め込まれたテキストボックスおよび/または文字の列を抽出および処理することができる。クエリ450に従って、カード画像310に有効な文字列200が見つからない場合、方法400は、ステップ410に戻って、新しいビデオフレーム300を処理することができる。
有効な文字列200がカード画像310に見つかった場合、方法400はステップ460に進むことができ、そこで抽出された文字列(複数可)200が認識および解釈され、対応するメタデータ224がカード画像310からの情報の解釈に基づいて生成される。様々な実施形態では、テキスト解釈のための利用可能な選択は、ビデオフレーム300で検出されたカード画像310のカード画像のタイプを決定すること、および/またはビデオフレーム300で310が検出されたカード画像に適用可能な特定のタイプのカード画像内に存在する検出されたフィールドの事前知識に基づく。
以前に示されたように、テレビ番組コンテンツに存在するカード画像の埋め込まれたテキストの検出、位置特定、および解釈は、テレビ上、STB上、またはモバイルデバイス上で完全にローカルで行われてもよい。あるいは、放送ビデオの取り込みおよびストリーミング機能を備えたリモートビデオサーバでリモートで行われてもよい。あるいは、ローカル処理とリモート処理との任意の組み合わせを使用することができる。
情報カードの文字列処理:位置特定と抽出
「極値領域」(ER)は、外側の境界ピクセルが領域自体よりも厳密に高い値を有する画像領域である(例:Neumann,J.Matas,“Real-Time Scene Text Localization and Recognition”,5th IEEE Conference on Computer Vision and Pattern Recognition,Providence,RI,June 2012)。画像内のER検出に使用される周知の方法のうちの1つは、いわゆる最大安定ER検出器またはMSER検出器を使用する。追加の検出方法により、計算の複雑さを比較的低く抑えながら、より広い範囲のERの検査が可能になる。より広い範囲のERが検査に含まれる場合、文字領域に関連する特定の機能に基づく逐次分類器を導入することができる。この分類器は、文字が存在する確率を生成するように事前に訓練することができ、その結果、文字の複数の想定される検出された境界(すなわち、文字境界204)がもたらされる。ER分類の最初の段階では、文字が存在する確率が推定され、第2の段階では、局所的に最大の確率を有するERが選択される。分類は、いくつかのより計算量の多い機能を使用することによって、さらに改善することができる。さらに、少なくとも1つの実施形態では、文字の組み合わせを検出し、ERを単語にグループ化するために、反復的で網羅的な検索が適用される。このような方法はまた、文字検出を改善するために、領域エッジをERの考慮事項に含めることもできる。最終結果は、文字境界204を表す最も高い確率で選択されたERである。
上述の文字検出器は同じ文字に対して複数の領域を生成するため、次のステップは検出された領域に曖昧性解消を行うことである。少なくとも1つの実施形態では、この曖昧性解消は、検出された文字境界204の多重比較を実施し、その後、互いに近づきすぎて出現する文字境界ボックスの形態であり得る文字境界204をパージすることを含む。結果として、1つの文字境界ボックスのみが特定の周囲内で受け入れられ、したがって、カード画像310の適切なテキストフィールドを表す文字列200の正しい形成を可能にする。
図5は、上で概説したプロセスをより詳細に実行するための方法500を描くフローチャートである。ビデオフレーム300が処理のために選択されるか、またはオプションが選択されて、各ビデオフレーム300を連続して処理する。ステップ510において、ビデオフレーム300内のカード画像310が検出された場合、それが抽出され、標準化されたサイズにサイズ変更される。次に、ステップ520において、サイズ変更されたカード画像は、例えば、コントラスト増加、ノイズ低減のための両側および中央フィルタリング、ガンマ補正、ならびに/または照明補償を含む一連のフィルタによって前処理される。
ステップ530において、2段階分類器を備えたERフィルタが作成され、ステップ540において、このカスケード分類器は、カード画像310の各画像チャネルに適用される。文字グループが検出され、さらなる処理のために1つ以上の単語ボックスのグループが抽出される。ステップ550において、個々の文字境界204を有する文字列200が、文字境界の曖昧性解消のために分析される。最後に、クリーンな文字列200が生成され、文字の位置206の周囲の各々内で1つの文字のみが受け入れられる。
図6は、文字境界204の検証のためのさらなる処理の方法600を描くフローチャートである。方法600は、ステップ610において、文字列200の抽出、重複文字の除去、および文字列200の最終処理および受け入れから開始することができる。描画されるように、曖昧性解消が行われた文字の列内の各文字は、文字画像検証のためにさらに処理することができる。
したがって、ステップ620において、各文字画像202(または処理された文字画像203)の低強度および高強度の領域において、低強度および高強度のピクセルカウントの間の所定のコントラスト比と比較するために、ピクセルカウントの比を取得することができる。ステップ620において、各文字画像202または処理された文字画像203について、高強度および低強度レベルのピクセルがグループ化およびカウントされる。
次に、ステップ630において、これらの2つのカウントの比が計算され、閾値化が施され、その結果、十分に高いコントラスト比を有する文字画像202または処理された文字画像203のみが保持される。その後、ステップ640において、検証された文字の位置境界ボックス座標(すなわち、位置206)が記録され、文字列200の解釈でさらに使用するために保存される。
代替の実施形態では、上述の文字境界ボックス検証は、文字境界の曖昧性解消に先行してもよく、または検証は、最終的な文字検証のために文字境界の曖昧性解消と組み合わせて使用されてもよい。
クエリの抽出および認識のための情報カード処理
少なくとも1つの実施形態では、以下のステップを含む自動化プロセスが実施される。ハイライト220に関連するビデオストリーム222などのデジタルビデオストリームを受信する。カード画像310の存在についてデジタルビデオストリームの1つ以上のビデオフレーム300を分析する。カード画像310を抽出する。カード画像310内の文字列200の文字の文字境界204を位置特定する。テキストボックス内にあるテキストを抽出して、文字のクエリ列を作成する。
図7は、一実施形態による情報カードクエリ生成の方法700を描くフローチャートである。ステップ710において、カード画像310は、デコードされたビデオフレーム300から抽出される。ステップ720において、カード画像310は、上述のように文字列200を識別および抽出するために処理される。ステップ730において、文字画像202がカード画像310から抽出され、正規化されたクエリ画像(例えば、クエリ230)が生成される。ステップ740において、クエリインフラストラクチャは、正規化されたクエリ文字画像(クエリ特徴ベクトル232)で入力される。
別の実施形態では、クエリ予測は、最初にクエリ特徴ベクトルを事前に開発された訓練セット直交基底(例えば、直交基底234)に射影し、次に、その結果として得られた射影されたクエリ特徴ベクトルを、分類モデル165などの機械学習された分類モデルに適用することによって生成される。予測された英数字文字の列は、事前に確立された分類ラベルに従って生成されてもよく、この予測された英数字列は、テキストの意味238を最的な抽出のために解釈プロセスに渡されてもよい。
図8は、クエリ英数字列生成およびクエリ解釈および理解につながる、クエリ認識のための処理ステップを含む方法800を描くフローチャートである。ステップ810において、直交基底234の直交基底ベクトルが、訓練セットベクトル空間にまたがってロードされる。ステップ820において、正規化されたクエリは、直交基底234に射影されてもよい。ステップ830において、事前に開発されたような分類モデル165がロードされてもよい。分類モデル165は、射影されたクエリに適用されてもよい。最後に、ステップ840において、予測された英数字文字の列が生成されてもよく、その後、解釈および意味抽出のために使用されて、テキストの意味238を生成する。
クエリの解釈および意味の抽出
少なくとも1つの実施形態では、カード画像310内に存在する1つ以上の文字列200が識別される。後続のステップは、識別された文字列200における各文字画像202の位置特定、サイズ決定、および抽出を含んでもよい。検出および抽出された文字画像202は、クエリ特徴ベクトル232に変換され、訓練セット直交基底234に射影される。その後、射影されたクエリが分類モデル165に対して適用されて、予測された英数字文字の列を作り出す。
少なくとも1つの実施形態では、予測されたクエリ英数字文字は、多数のカード画像310に存在する文字の事前の知識および位置的理解を適用する解釈プロセスに送られる。次に、特定の文字列200に位置付けられた、各予測された英数字文字に対して意味が導出され、抽出された情報は、ハイライト220に関連付けて記憶されたメタデータ224に付加される。
図9は、一実施形態による予測されたクエリ列解釈のための方法900をより詳細に描くフローチャートである。方法900は、文字列長さ、文字ボックスの位置および水平距離、ならびに意味抽出のための英数字読み取り値の考慮を組み合わせることを含む。
方法900は、文字列200について各処理されたクエリの文字カウントが、文字列200内の文字のサイズ205および位置206とともにロードされるステップ910から開始する。処理される抽出されたクエリ230に関連付けられたビデオフレーム番号および/または時間はまた、絶対時間に関連する参照のために利用可能にされてもよい。ステップ920において、列長さ209、文字のサイズ205、および/または文字の位置206は、分析において考慮されてもよい。
次に、ステップ930において、システム100は、文字列200を進め、文字列200は、文字のフィールド位置の知識、ならびに文字の英数字値の知識を適用することによって解釈されてもよい。ステップ930において、特定のカード画像310の知識および理解はまた、欠落している可能性のある前部文字を補償するために使用することもできる。最後に、ステップ940において、導出された意味が記録され(例えば、テキストの意味238)、対応するメタデータ224が形成され、現在のスポーツイベントテレビ番組および処理された埋め込まれたカード画像310に関連付けられた現在のタイムラインに関連するリアルタイム情報を提供する。
埋め込まれた情報カードから抽出されたクエリ文字の認識への適用を伴う機械学習された分類モデルの生成
少なくとも1つの実施形態では、分類モデルの生成は、畳み込みニューラルネットワークを使用して実施される。一般に、ニューラルネットワークは、文字ベクトルの訓練セットに適用される教師あり学習プロセスを通じて、既知の(望ましい)分類結果を使用して情報分類機能を開発する。訓練プロセス中に、ニューラルネットワークのアルゴリズム構造は、その重みおよびバイアスを調整して正確な分類を実施する。訓練プロセス中にニューラルネットワークの内部の重みおよびバイアスを学習するために使用される既知のアーキテクチャの一例は、バックプロパゲーションニューラルネットワークアーキテクチャ、またはフィードフォワードバックプロパゲーションニューラルネットワークアーキテクチャである。このようなネットワークに訓練データのセットが提示されると、バックプロパゲーションアルゴリズムが実際の出力と目的の出力との差を計算し、エラーをフィードバックして、エラー生成の原因となる内部ネットワークの重みおよびバイアスを修正する。分類/推論フェーズにおいて、まずニューラルネットワーク構造に事前に学習したモデルパラメータ、重み、バイアスをロードし、その後、ネットワークを通じてクエリをフィードフォワードし、その結果、ネットワーク出力にクエリの予測を表す1つ以上の識別されたラベル(複数可)が出力される。
分類モデル生成のための別の例示的なシステムでは、マルチクラスSVMが使用される。このようなSVM分類システムは、様々なネットワークアーキテクチャを構築するためにヒューリスティックに大きく依存するニューラルネットワーク学習システムなどの同等のアプローチとは根本的に異なり、訓練プロセスは常にグローバルな最小値で終わるとは限らない。対照的に、SVMは数学的に非常に明確に定義されており、グローバルな最小値を一貫して見つける訓練プロセスを有している。さらに、SVMを使用すると、訓練プロセスおよび分類目標の比較的単純で明確な幾何学的解釈があり、これにより分類モデル生成のプロセスに対する直感的な洞察が向上する。SVMは、線形的に分離できないデータセットの分類に効率的に利用でき、マルチラベル分類タスクに拡張できる。線形的に分離できないデータセットの分類のためのSVMは、元のデータセットが線形的に分離できるようになる高次元のベクトル空間にデータセットを射影するのに役立つカーネル関数の選択によって特徴付けられる。ただし、カーネル関数の選択は重要であり、ある程度のヒューリスティックとデータ依存性を含む。
少なくとも1つの実施形態では、文字分類モデル生成は、スポーツイベントのテレビ番組コンテンツに埋め込まれた1つ以上の例示的なカード画像310から抽出された文字の訓練セットに基づく。文字境界204が検出され、文字が多数のカード画像310から抽出される。このような文字境界204は、処理された文字画像203を提供するために、その後、標準サイズおよび照明に正規化され得る小さな文字画像202を含む。特徴ベクトル(またはクエリ特徴ベクトル232)は、文字画像202および/または処理された文字画像203に対して形成され、これらの特徴ベクトルは、次に、埋め込まれたカード画像310に出現する文字画像のセットからの各特定の文字に関連付けられる。
文字画像特徴形成への構造的アプローチでは、文字特徴ベクトル、またはクエリ特徴ベクトル232は、前処理された文字画像202から抽出されたnピクセルのセットに関連付けられる。これらのnピクセルは、訓練ベクトルのn次元特徴ベクトル空間内の単一の点を表すn次元ベクトルにフォーマットされる。特徴選択の主な目標は、異なるクラスの文字画像202を正しく分離する決定境界を特徴空間に構築することである。したがって、少なくとも1つの実施形態では、訓練ベクトルを表す、抽出された文字画像のセット202は、訓練ベクトルの一意性および相互メトリック距離を増加させるため、ならびに訓練ベクトルの全体的なベクトル空間の次元数を減少させるためにさらに処理される。
上記の考慮事項に従って、別の実施形態では、主成分分析(PCA)が訓練ベクトルセットに対して実施される。したがって、直交基底234の直交基底ベクトルは、直交基底ベクトルが訓練ベクトル空間にまたがるように、訓練セットから導出される。さらに、(基底ベクトルの行列の特異値分解によって生成された)特異値の最大セットに関連付けられた最も重要な直交ベクトルのみが保持されるように、訓練ベクトル空間の次元数は、限られた数の直交基底ベクトルを選択することによって減少される。選択された訓練セット基底ベクトルは、SVM分類器またはCNN分類器などの、データセット分類に利用可能なアルゴリズム構造のうちの1つ以上を使用して分類モデル生成に後で使用するために保存される。
様々な実施形態において、本明細書に記載のシステムおよび方法は、カード画像310に埋め込まれた文字列200から個々の文字画像202を抽出し、その後、文字画像202を利用してクエリ特徴ベクトル232を生成するための技術を提供する。次の処理ステップでは、これらのクエリ特徴ベクトルは、訓練ベクトル空間にまたがる直交基底234に射影されて、射影されたクエリが生成される。射影されたクエリは、その後、例示的なSVM(またはCNN)分類器によって作り出された事前訓練された分類モデルの出力として、クエリ予測または予測されたクエリ236を生成するために適用される。これらの予測されたクエリ236は、予測された文字の列を形成し、これはその後、テキストの意味238を生成するために解釈されて、最終的に、カード画像310から直接読み取られるリアルタイム情報で強化されたハイライト220のメタデータ224を生成するために使用される。
図10は、分類モデル生成の方法1000をより詳細に描くフローチャートである。少なくとも1つの実施形態では、方法1000は、文字画像202の例示的な訓練セットが多数の例示的なカード画像タイプから抽出されるステップ1010で開始する。文字画像202は、標準サイズおよび照明に正規化されて、処理された文字画像203を形成する。特徴ベクトルが導出され、ラベル付き訓練セットが生成される。少なくとも1つの実施形態では、ステップ1020において、PCA分析は、訓練ベクトル空間にまたがる直交基底234を計算することによって訓練セットに対して実施される。ステップ1030において、直交訓練ベクトルのサブセットが選択される。選択された訓練セット基底ベクトルは、ステップ1040でのクエリ処理のために保存されてもよい。ステップ1050において、分類モデル165は、直交訓練ベクトルのサブセットで訓練されてもよい。分類モデルおよび直交基底ベクトルは、ステップ1060において、将来の予測されたクエリ236の生成のために保存されてもよい。
図11は、カードの画像310内のテキストフィールドを読み取って解釈し、フレーム内リアルタイム情報でハイライト220のメタデータ224を更新する全体的な方法1100を描くフローチャートである。ステップ1110において、処理されるフィールドは、カード画像310に存在する文字の文字境界204から選択される。ステップ1120において、文字のグループが行フィールドから抽出され、テキスト列が認識され、上述のように解釈される。最後に、ステップ1130において、デコードされたビデオフレーム境界で実施されるカード画像の読み取りは、ハイライト220のために生成されたメタデータ224に埋め込まれる。
本システムおよび方法は、想定される実施形態に関して特に詳細に説明されてきた。当業者は、システムおよび方法が他の実施形態で実施され得ることを理解するであろう。まず、構成要素の特定の命名、用語の大文字の使用、属性、データ構造、また任意の他のプログラミングもしくは構造の側面は必須でも重要でもなく、機構および/または機能は、名前、フォーマット、プロトコルが異なっていてもよい。さらに、システムは、ハードウェアとソフトウェアとの組み合わせを介して、または完全にハードウェア要素内に、または完全にソフトウェア要素内に実装されてもよい。また、本明細書に記載の様々なシステム構成要素間の機能の特定の分割は、単なる例示であり、必須ではない。単一のシステム構成要素によって実施される機能は、代わりに複数の構成要素によって実施されてもよく、複数の構成要素によって実施される機能は、代わりに単一の構成要素によって実施されてもよい。
本明細書における「一実施形態」または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な場所における「一実施形態において」または「少なくとも1つの実施形態において」という句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。
様々な実施形態は、単独でまたは任意の組み合わせのいずれかで、上述の技術を実施するための任意の数のシステムおよび/または方法を含んでもよい。別の実施形態は、計算デバイスまたは他の電子デバイス内のプロセッサに上述の技術を実施させるための、非一時的なコンピュータ可読記憶媒体、およびその媒体に符号化されたコンピュータプログラムコードを含むコンピュータプログラム製品を含む。
上記のいくつかの部分は、計算デバイスのメモリ内のデータビットに対する操作のアルゴリズムおよび記号表現の観点から提示されている。これらのアルゴリズムの記述および表現は、データ処理技術の当業者が、その作業の本質を最も効果的に他の当業者に伝えるために使用される手段である。アルゴリズムはここでは、一般に、望ましい結果につながる自己矛盾のない一連のステップ(指示)であると考えられている。ステップは、物理量の物理的な操作を必要とするステップである。通常、必ずしもそうとは限らないが、これらの量は、記憶、転送、結合、比較、およびその他の方法で操作できる電気信号、磁気信号、または光信号の形をとる。主に一般的な使用法の理由から、これらの信号をビット、値、要素、記号、文字、用語、または数値などと呼ぶと便利な場合がある。さらに、一般性を失うことなく、物理量の物理的操作を必要とするステップの特定の配置をモジュールまたはコードデバイスとして参照することも便利な場合がある。
ただし、これらおよび類似の用語はすべて、適切な物理量に関連付けられており、これらの量に適用される便利なラベルにすぎないことを念頭に置くべきである。特に別段の記載がない限り、以下の説明から明らかなように、本明細書全体を通して、「処理」または「計算(computing)」または「計算(calculating)」または「表示」または「決定」などの用語を利用した説明は、コンピュータシステム、または類似の電子計算モジュールおよび/またはデバイスの動作およびプロセスを指し、コンピュータシステムのメモリもしくはレジスタまたは他のそのようなストレージ、送信デバイス、または表示デバイス内で物理的(電子的)量として表されるデータを操作および変換することを意味することが理解されよう。
特定の態様は、アルゴリズムの形態で本明細書に記載されているプロセスステップおよび命令を含む。プロセスステップおよび命令は、ソフトウェア、ファームウェア、および/またはハードウェアで具体化することができ、ソフトウェアで具体化する場合、様々なオペレーティングシステムによって使用される様々なプラットフォーム上に存在するようにダウンロードすることができ、また、様々なプラットフォームから操作できることに留意されたい。
本文書はまた、本明細書の動作を実施するための装置にも関する。この装置は、必要な目的のために特別に構築され得るか、または計算デバイスに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用計算デバイスを含み得る。そのようなコンピュータプログラムは、フロッピーディスク、光ディスク、CD-ROM、DVD-ROM、磁気光学ディスク、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、フラッシュメモリ、ソリッドステートドライブ、磁気カードもしくは光学カード、特定用途向け集積回路(ASIC)、または電子命令の記憶に適した、各々がコンピュータシステムバスに結合されている、あらゆるタイプの媒体などのコンピュータ可読記憶媒体に記憶されてもよい。プログラムおよびその関連するデータはまた、例えば、サーバ上など、リモートでホストされ、実行されてもよい。さらに、本明細書で言及される計算デバイスは、単一のプロセッサを含み得るか、または計算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本明細書に提示されるアルゴリズムおよび表示は、特定の計算デバイス、仮想化システム、または他の装置に本質的に関連していない。様々な汎用システムもまた、本明細書の教示に従ったプログラムとともにも使用され得るか、または必要な方法ステップを実施するためのより特殊な装置を構築することが便利であることが証明され得る。これらの様々なシステムに必要な構造は、ここで提供される説明から明らかになるであろう。さらに、システムおよび方法は、いかなる特定のプログラミング言語も参照して説明されていない。本明細書に記載の教示を実施するために様々なプログラミング言語を使用することができ、特定の言語への上記のあらゆる参照は、有効化および最良のモードの開示のために提供されることが理解されよう。
したがって、様々な実施形態は、コンピュータシステム、計算デバイス、もしくは他の電子デバイスを制御するためのソフトウェア、ハードウェア、および/または他の要素、あるいはこれらの任意の組み合わせまたは複数の要素を含む。このような電子デバイスは、例えば、プロセッサ、キーボード、マウス、タッチパッド、トラックパッド、ジョイスティック、トラックボール、マイク、および/もしくはこれらの任意の組み合わせなどの入力デバイス、スクリーン、および/もしくはスピーカなどの出力デバイス、メモリ、磁気記憶装置、および/もしくは光記憶装置などの長期記憶装置、ならびに/またはネットワーク接続性を含んでもよい。このような電子デバイスは、携帯型または非携帯型であってもよい。説明したシステムおよび方法を実装するために使用できる電子デバイスの例としては、デスクトップコンピュータ、ラップトップコンピュータ、テレビ、スマートフォン、タブレット、音楽プレーヤー、音声デバイス、キオスク、セットトップボックス、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイス、および/またはサーバコンピュータなどが挙げられる。電子デバイスは、例えば、Linux(登録商標)、ワシントン州レドモンド、Microsoft Corporationから入手可能なMicrosoft Windows、カリフォルニア州クパチーノ、Apple Inc.から入手可能なMac OS X、カリフォルニア州クパチーノのApple Inc.から入手可能なiOS、カリフォルニア州マウンテンビュー、Google Inc.から入手可能なAndroid、および/またはデバイス上での使用に適応された任意の他のオペレーティングシステムなどの任意のオペレーティングシステムを使用することができるが、これらに限定されない。
限られた数の実施形態が本明細書で説明されてきたが、上記の説明の利点を有する当業者は、他の実施形態が考案され得ることを理解するであろう。さらに、本明細書で使用される言語は、主に読みやすさおよび教育目的のために選択されており、主題を描画または制限するために選択されていない可能性があることに留意されたい。したがって、本開示は、範囲を例示することを意図しているが、限定することを意図していない。

Claims (48)

  1. ビデオストリームからメタデータを抽出するための方法であって、前記方法が、
    プロセッサにおいて、ビデオストリームの少なくとも1つの部分を受信することと、
    前記プロセッサにおいて、前記ビデオストリームの前記部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別することと、
    前記プロセッサにおいて、前記1つ以上のカード画像を処理してテキストを抽出することと、
    前記プロセッサにおいて、前記テキストを解釈してメタデータを取得することと、
    データストアにおいて、前記ビデオストリームの前記部分に関連付けて前記メタデータを記憶することと、を含む、方法。
  2. 前記データストアにおいて、前記ビデオストリームの前記受信された部分を記憶することをさらに含む、請求項1に記載の方法。
  3. 前記ビデオストリームが、スポーツイベントのテレビ放送を含み、
    前記ビデオストリームの前記部分が、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含み、
    前記メタデータが、前記ハイライトを記述している、請求項1に記載の方法。
  4. 出力デバイスにおいて、前記1つ以上のカード画像を識別すること、前記1つ以上のカード画像を処理すること、および前記テキストを解釈することのうちの少なくとも1つと同時に、前記ビデオストリームを出力することをさらに含む、請求項3に記載の方法。
  5. 出力デバイスにおいて、前記ハイライトを出力することと、
    前記ハイライトの出力と同時に、前記メタデータを出力することと、をさらに含み、
    前記メタデータが、
    前記ハイライトに関連するリアルタイム情報、および
    前記メタデータが取得された前記カード画像のタイムラインからなる群から選択された少なくとも1つを含む、請求項3に記載の方法。
  6. 前記テキストを抽出することが、
    前記1つ以上のカード画像内の1つ以上の文字列を識別することと、
    前記1つ以上の文字列の各文字に対応する前記1つ以上のカード画像を有するカード画像の文字画像の位置および/またはサイズを記録することと、を含む、請求項1に記載の方法。
  7. 前記テキストを抽出することが、
    検出された文字境界の多重比較を実施することによって、前記1つ以上の文字列の文字の文字境界に曖昧性解消を行うことと、
    互いに近づきすぎて出現する任意の文字境界をパージすることと、をさらに含む、請求項6に記載の方法。
  8. 前記テキストを抽出することが、低強度ピクセルカウントと高強度ピクセルカウントとの間のコントラスト比を確立することによって、1つ以上の文字列の文字に対して画像検証を実施することをさらに含む、請求項6に記載の方法。
  9. 前記テキストを解釈することが、
    前記テキストに基づいてクエリを生成することと、
    複数のn次元クエリ特徴ベクトルを生成することと、
    前記n次元クエリ特徴ベクトルを訓練セット直交基底に射影することと、
    前記射影されたn次元クエリ特徴ベクトルを分類モデルに適用して、少なくとも1つの予測されたクエリを作り出すことと、
    前記少なくとも1つの予測されたクエリから前記テキスト意味を抽出することと、を含む、請求項1に記載の方法。
  10. 複数の訓練セット特徴ベクトルを生成することと、
    前記訓練セット特徴ベクトルを使用して、前記訓練セット直交基底を導出することと、をさらに含む、請求項9に記載の方法。
  11. 複数の訓練セット特徴ベクトルを生成することと、
    前記訓練セット特徴ベクトルを使用して、前記分類モデルを生成することと、をさらに含む、請求項9に記載の方法。
  12. 前記テキストを解釈することが、
    前記テキスト内の1つ以上の文字列の列長さ、
    前記テキスト内の文字境界および/または文字の位置、
    前記テキスト内の文字境界および/または文字の水平位置からなる群からの少なくとも2つの選択を使用することをさらに含む、請求項9に記載の方法。
  13. 前記ビデオストリームの前記部分に関連付けて前記メタデータを記憶することが、クエリに関連付けられた、前記1つ以上のビデオフレームのビデオフレーム番号を記憶することを含む、請求項9に記載の方法。
  14. 前記テキストを解釈することが、
    前記テキストの1つ以上の文字列の文字のフィールド位置を確認することと、
    前記文字の英数字値を確認することと、
    前記フィールド位置および英数字値を使用して、前記1つ以上の文字列を順次解釈することと、を含む、請求項1に記載の方法。
  15. 前記テキストを解釈することが、
    前記カード画像の各々の1つ以上のカードフィールドに関する位置情報およびその他の情報を取得することと、
    前記位置情報およびその他の情報を使用して、前記1つ以上の文字列の1つ以上の欠落している可能性のある前部文字を補償することと、をさらに含む、請求項14に記載の方法。
  16. ビデオストリームからメタデータを抽出するための分類モデルを生成するための方法であって、前記方法が、
    プロセッサにおいて、前記ビデオストリームの少なくとも1つの部分を受信することと、
    プロセッサにおいて、前記ビデオストリームの前記部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別することと、
    前記プロセッサにおいて、前記1つ以上のカード画像を処理して、前記カード画像が文字を含む各場合に、複数の文字画像を抽出することと、
    前記プロセッサにおいて、前記文字画像に関連付けられた訓練特徴ベクトルを生成することと、
    前記プロセッサにおいて、前記訓練特徴ベクトルを処理することであって、前記処理することが、
    前記訓練特徴ベクトルの一意性を増加させ、
    前記訓練特徴ベクトルの相互数値距離を増加させ、および/または
    前記訓練特徴ベクトルを含む全体的なベクトル空間の次元数を減少させる方法で行われる、処理することと、
    前記プロセッサにおいて、前記訓練特徴ベクトルの少なくともいくつかを使用して、分類モデルを訓練することと、
    データストアにおいて、前記分類モデルを記憶することと、を含む、方法。
  17. 前記データストアにおいて、前記ビデオストリームの前記受信された部分を記憶することをさらに含む、請求項16に記載の方法。
  18. 前記プロセッサにおいて、前記訓練特徴ベクトルを生成する前に、前記文字画像を標準サイズおよび/または標準照明に正規化することをさらに含む、請求項16に記載の方法。
  19. 前記訓練特徴ベクトルを生成することが、前記文字画像から抽出されたnピクセルのセットをn次元ベクトルにフォーマットすることを含む、請求項16に記載の方法。
  20. 前記プロセッサにおいて、前記訓練特徴ベクトルに対して主成分分析を実施することをさらに含み、
    前記訓練特徴ベクトルの少なくともいくつかを使用して、前記分類モデルを訓練することが、
    直交基底ベクトルである前記訓練特徴ベクトルのサブセットを選択することと、
    前記直交基底ベクトルを使用して、前記分類モデルを訓練することと、を含む、請求項16に記載の方法。
  21. 前記直交基底ベクトルが、前記全体的なベクトル空間にまたがり、
    前記全体的なべクトル空間の前記次元数を減少させることが、限られた数の前記直交基底ベクトルを選択することを含み、
    前記全体的なベクトル空間の前記次元数を減少させることが、前記直交基底ベクトルの行列から導出された特異値の最大セットに対応する直交基底ベクトルのみを選択することをさらに含み、
    前記分類モデルを記憶することが、分類モデル生成および/もしくはクエリ処理における後続の使用のために、限られた数の直交基底ベクトルを記憶することを含み、ならびに/または
    前記分類モデルを生成することが、SVMおよびCNNからなる群から選択された機械学習アルゴリズムと組み合わせて、限られた数の前記直交基底ベクトルを使用することを含む、請求項20に記載の方法。
  22. 前記方法が、
    前記プロセッサにおいて、前記1つ以上のカード画像を処理してテキストを抽出することと、
    前記プロセッサにおいて、前記テキストを解釈してメタデータを取得することと、
    前記データストアにおいて、前記ビデオストリームの前記部分に関連付けて前記メタデータを記憶することと、
    出力デバイスにおいて、前記ビデオストリームの前記部分を出力することと、
    前記出力デバイスにおいて、前記ビデオストリームの
    前記部分を出力することと同時に、前記メタデータを出力することと、をさらに含み、
    前記ビデオストリームが、スポーツイベントの放送を含み、
    前記ビデオストリームの前記部分が、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含み、
    前記メタデータが、前記ハイライトを記述している、請求項16に記載の方法。
  23. 前記テキストを抽出することが、前記テキストのテキスト列をクエリとして抽出することを含む、請求項22に記載の方法。
  24. 前記テキストを抽出することが、
    前記スポーツイベント内の現在の時間、
    前記スポーツイベントの現在のフェーズ、
    前記スポーツイベントに関連する試合時計、および
    前記スポーツイベントに関連する試合スコアのうちの少なくとも1つを抽出することを含む、請求項22に記載の方法。
  25. ビデオストリームからメタデータを抽出するための非一時的なコンピュータ可読媒体であって、内部に記憶された命令を含み、前記命令は、プロセッサによって実行されたときに、
    前記ビデオストリームの少なくとも1つの部分を受信し、
    前記ビデオストリームの前記部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別し、
    前記1つ以上のカード画像を処理してテキストを抽出し、
    前記テキストを解釈してメタデータを取得し、
    データストアに前記ビデオストリームの前記部分に関連付けてて前記メタデータを記憶させるステップを実施する、非一時的なコンピュータ可読媒体。
  26. 前記ビデオストリームが、スポーツイベントのテレビ放送を含み、
    前記ビデオストリームの前記部分が、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含み、
    前記メタデータが、前記ハイライトを記述している、請求項25に記載の非一時的なコンピュータ可読媒体。
  27. 内部に記憶された命令をさらに含み、前記命令は、プロセッサによって実行されたときに、出力デバイスに、前記1つ以上のカード画像を識別することと、前記1つ以上のカード画像を処理することと、前記テキストを解釈することのうちの少なくとも1つと同時に、前記ビデオストリームを出力させる、請求項26に記載の非一時的なコンピュータ可読媒体。
  28. 内部に記憶された命令をさらに含み、前記命令は、プロセッサによって実行されたときに、
    出力デバイスに前記ハイライトを出力させ、
    前記ハイライトを出力することと同時に、前記メタデータを出力し、
    前記メタデータが、
    前記ハイライトに関連するリアルタイム情報、および
    前記メタデータが取得された前記カード画像のタイムラインからなる群から選択された少なくとも1つを含む、請求項26に記載の非一時的なコンピュータ可読媒体。
  29. 前記テキストを抽出することが、
    前記1つ以上のカード画像内の1つ以上の文字列を識別することと、
    前記1つ以上の文字列の各文字に対応する前記1つ以上のカード画像を有するカード画像の文字画像の位置および/またはサイズを記録することと、を含む、請求項25に記載の非一時的なコンピュータ可読媒体。
  30. 前記テキストを解釈することが、
    前記テキストに基づいてクエリを生成することと、
    複数のn次元クエリ特徴ベクトルを生成することと、
    前記n次元クエリ特徴ベクトルを訓練セット直交基底に射影することと、
    前記射影されたn次元クエリ特徴ベクトルを分類モデルに適用して、少なくとも1つの予測されたクエリを作り出すことと、
    前記少なくとも1つの予測されたクエリから前記テキスト意味を抽出することと、を含む、請求項25に記載の非一時的なコンピュータ可読媒体。
  31. 内部に記憶された命令をさらに含み、前記命令は、プロセッサによって実行されたときに、
    複数の訓練セット特徴ベクトルを生成し、ならびに
    前記訓練セットの特徴ベクトルを使用して、前記訓練セット直交基底を導出し、および/または前記分類モデルを生成する、請求項30に記載の非一時的なコンピュータ可読媒体。
  32. 前記テキストを解釈することが、
    前記テキストの1つ以上の文字列の文字のフィールド位置を確認することと、
    前記文字の英数字値を確認することと、
    前記フィールド位置および英数字値を使用して、前記1つ以上の文字列を順次解釈することと、を含む、請求項25に記載の非一時的なコンピュータ可読媒体。
  33. ビデオストリームからメタデータを抽出するために、分類モデルを生成するための非一時的なコンピュータ可読媒体であって、内部に記憶された命令を含み、前記命令は、プロセッサによって実行されたときに、
    前記ビデオストリームの少なくとも1つの部分を受信することと、
    前記ビデオストリームの前記部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別することと、
    前記1つ以上のカード画像を処理して、前記カード画像が文字を含む各場合に、複数の文字画像を抽出することと、
    前記文字画像に関連付けられた訓練特徴ベクトルを生成することと、
    前記訓練特徴ベクトルを処理することであって、前記処理することが、
    前記訓練特徴ベクトルの一意性を増加させ、
    前記訓練特徴ベクトルの相互数値距離を増加させ、および/または
    前記訓練特徴ベクトルを含む全体的なベクトル空間の次元数を減少させる方法で行われる、処理することと、
    前記訓練特徴ベクトルの少なくともいくつかを使用して、分類モデルを訓練することと、
    データストアに前記分類モデルを記憶させることと、を行うステップを実施する、非一時的なコンピュータ可読媒体。
  34. 内部に記憶された命令をさらに含み、前記命令は、プロセッサによって実行されたときに、前記訓練特徴ベクトルに対して主成分分析を実施し、
    前記訓練特徴ベクトルの少なくともいくつかを使用して、前記分類モデルを訓練することが、
    直交基底ベクトルである前記訓練特徴ベクトルのサブセットを選択することと、
    前記直交基底ベクトルを使用して前記分類モデルを訓練することと、を含む、請求項33に記載の非一時的なコンピュータ可読媒体。
  35. 前記直交基底ベクトルが、前記全体的なベクトル空間にまたがり、
    前記全体的なべクトル空間の次元数を減少させることが、限られた数の前記直交基底ベクトルを選択することを含み、
    前記全体的なベクトル空間の前記次元数を減少させることが、前記直交基底ベクトルの行列から導出された特異値の最大セットに対応する直交基底ベクトルのみを選択することをさらに含み、
    前記分類モデルを記憶することが、分類モデル生成および/もしくはクエリ処理における後続の使用のために、限られた数の直交基底ベクトルを記憶することを含み、ならびに/または
    前記分類モデルを生成することが、SVMおよびCNNからなる群から選択された機械学習アルゴリズムと組み合わせて、限られた数の前記直交基底ベクトルを使用することを含む、請求項34に記載の非一時的なコンピュータ可読媒体。
  36. 内部に記憶された命令をさらに含み、前記命令は、プロセッサによって実行されたときに、
    前記1つ以上のカード画像を処理してテキストを抽出し、
    前記テキストを解釈してメタデータを取得し、
    前記データストアに前記ビデオストリームの前記部分に関連付けて前記メタデータを記憶させ、
    出力デバイスに、前記ビデオストリームの前記部分を出力させ、および
    前記出力デバイスに、前記ビデオストリームの前記部分を出力することと同時に、前記メタデータを出力させるステップを実施し、
    前記ビデオストリームが、スポーツイベントの放送を含み、
    前記ビデオストリームの前記部分が、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含み、
    前記メタデータが、前記ハイライトを記述している、請求項33に記載の非一時的なコンピュータ可読媒体。
  37. ビデオストリームからメタデータを抽出するためのシステムであって、前記システムが、
    プロセッサであって、
    前記ビデオストリームの少なくとも1つの部分を受信し、
    前記ビデオストリームの前記部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別し、
    前記1つ以上のカード画像を処理してテキストを抽出し、
    前記テキストを解釈してメタデータを取得するように構成されている、プロセッサと、
    前記ビデオストリームの前記部分に関連付けて前記メタデータを記憶するように構成されたデータストアと、を備える、システム。
  38. 前記ビデオストリームが、スポーツイベントのテレビ放送を含み、
    前記ビデオストリームの前記部分が、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含み、
    前記メタデータが、前記ハイライトを記述している、請求項37に記載のシステム。
  39. 前記1つ以上のカード画像を識別すること、前記1つ以上のカード画像を処理すること、および前記テキストを解釈することのうちの少なくとも1つと同時に、前記ビデオストリームを出力するように構成された出力デバイスをさらに備える、請求項38に記載のシステム。
  40. 前記ハイライトを出力するように構成された出力デバイスをさらに備え、
    前記プロセッサが、前記ハイライトを出力することと同時に、前記メタデータを出力するようにさらに構成されており、
    前記メタデータが、
    前記ハイライトに関連するリアルタイム情報、および
    前記メタデータが取得された前記カード画像のタイムラインからなる群から選択された少なくとも1つを含む、請求項38に記載のシステム。
  41. 前記プロセッサが、
    前記1つ以上のカード画像内の1つ以上の文字列を識別することと、
    前記1つ以上の文字列の各文字に対応する前記1つ以上のカード画像を有するカード画像の文字画像の位置および/またはサイズを記録することと、によって、前記テキストを抽出するようにさらに構成されている、請求項37に記載のシステム。
  42. 前記プロセッサが、
    前記テキストに基づいてクエリを生成することと、
    複数のn次元クエリ特徴ベクトルを生成することと、
    前記n次元クエリ特徴ベクトルを訓練セット直交基底に射影することと、
    前記射影されたn次元クエリ特徴ベクトルを分類モデルに適用して、少なくとも1つの予測されたクエリを作り出すことと、
    前記少なくとも1つの予測されたクエリから前記テキスト意味を抽出することと、によって、前記テキストを解釈するようにさらに構成されている、請求項37に記載のシステム。
  43. 前記プロセッサが、
    複数の訓練セット特徴ベクトルを生成し、ならびに
    前記訓練セット特徴ベクトルを使用して、前記訓練セット直交基底を導出し、および/または分類モデルを生成するようにさらに構成されている、請求項42に記載のシステム。
  44. 前記プロセッサが、
    前記テキストの1つ以上の文字列の文字のフィールド位置を確認することと、
    前記文字の英数字値を確認することと、
    前記フィールド位置および英数字値を使用して、前記1つ以上の文字列を順次解釈することと、によって、前記テキストを解釈するようにさらに構成されている、請求項37に記載のシステム。
  45. ビデオストリームからメタデータを抽出するための分類モデルを生成するためのシステムであって、前記システムが、
    プロセッサであって、
    前記ビデオストリームの少なくとも1つの部分を受信することと、
    前記ビデオストリームの前記部分の1つ以上のビデオフレームに埋め込まれた1つ以上のカード画像を識別することと、
    前記1つ以上のカード画像を処理して、前記カード画像が文字を含む各場合に、複数の文字画像を抽出することと、
    前記文字画像に関連付けられた訓練特徴ベクトルを生成することと、
    前記訓練特徴ベクトルを処理することであって、前記処理することが、
    前記訓練特徴ベクトルの一意性を増加させ、
    前記訓練特徴ベクトルの相互数値距離を増加させ、および/または
    前記訓練特徴ベクトルを含む全体的なベクトル空間の次元数を減少させる方法で行われる、処理することと、
    前記訓練特徴ベクトルの少なくともいくつかを使用して、分類モデルを訓練することと、を行うように構成されている、プロセッサと、
    前記分類モデルを記憶するように構成されたデータストアと、を備える、システム。
  46. 前記プロセッサが、
    前記訓練特徴ベクトルに対して主成分分析を実施し、
    前記訓練特徴ベクトルの少なくともいくつかを使用して、前記分類モデルを、
    直交基底ベクトルである前記訓練特徴ベクトルのサブセットを選択することと、
    前記直交基底ベクトルを使用して前記分類モデルを訓練することと、によって訓練するようにさらに構成されている、請求項45に記載のシステム。
  47. 前記直交基底ベクトルが、前記全体的なベクトル空間にまたがり、
    前記プロセッサが、限られた数の前記直交基底ベクトルを選択することによって、前記全体的なべクトル空間の次元数を減少させるようにさらに構成されており、
    前記プロセッサが、前記直交基底ベクトルの行列から導出された特異値の最大セットに対応する直交基底ベクトルのみを選択することによって、前記全体的なベクトル空間の前記次元数を減少させるようにさらに構成されており、
    前記データストアが、分類モデル生成および/もしくはクエリ処理における後続の使用のために、限られた数の直交基底ベクトルを記憶することによって、前記分類モデルを記憶するようにさらに構成されており、ならびに/または
    前記プロセッサが、SVMおよびCNNからなる群から選択された機械学習アルゴリズムと組み合わせて、限られた数の前記直交基底ベクトルを使用することによって、前記分類モデルを生成するようにさらに構成されている、請求項46に記載のシステム。
  48. 前記プロセッサが、
    前記1つ以上のカード画像を処理してテキストを抽出し、
    前記テキストを解釈してメタデータを取得するようにさらに構成されており、
    前記データストアが、前記ビデオストリームの前記部分に関連付けて前記メタデータを記憶するようにさらに構成されており、
    前記システムが、出力デバイスであって、
    前記ビデオストリームの前記部分を出力し、および
    前記ビデオストリームの前記部分を出力することと同時に、前記メタデータを出力するように構成されている、出力デバイスをさらに備え、
    前記ビデオストリームが、スポーツイベントの放送を含み、
    前記ビデオストリームの前記部分が、1人以上のユーザに対する特定の関心を有するとみなされるハイライトを含み、
    前記メタデータが、前記ハイライトを記述している、請求項45に記載のシステム。
JP2024021670A 2018-05-18 2024-02-16 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習 Pending JP2024067037A (ja)

Applications Claiming Priority (20)

Application Number Priority Date Filing Date Title
US201862673412P 2018-05-18 2018-05-18
US201862673411P 2018-05-18 2018-05-18
US201862673413P 2018-05-18 2018-05-18
US62/673,412 2018-05-18
US62/673,411 2018-05-18
US62/673,413 2018-05-18
US201862680955P 2018-06-05 2018-06-05
US62/680,955 2018-06-05
US201862712041P 2018-07-30 2018-07-30
US62/712,041 2018-07-30
US201862746454P 2018-10-16 2018-10-16
US62/746,454 2018-10-16
US16/411,713 US11138438B2 (en) 2018-05-18 2019-05-14 Video processing for embedded information card localization and content extraction
US16/411,704 2019-05-14
US16/411,713 2019-05-14
US16/411,710 2019-05-14
US16/411,710 US11373404B2 (en) 2018-05-18 2019-05-14 Machine learning for recognizing and interpreting embedded information card content
US16/411,704 US11594028B2 (en) 2018-05-18 2019-05-14 Video processing for enabling sports highlights generation
PCT/US2019/032481 WO2019222397A1 (en) 2018-05-18 2019-05-15 Machine learning for recognizing and interpreting embedded information card content
JP2020564734A JP7485866B2 (ja) 2018-05-18 2019-05-15 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020564734A Division JP7485866B2 (ja) 2018-05-18 2019-05-15 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習

Publications (1)

Publication Number Publication Date
JP2024067037A true JP2024067037A (ja) 2024-05-16

Family

ID=68533221

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020564734A Active JP7485866B2 (ja) 2018-05-18 2019-05-15 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習
JP2020564749A Pending JP2021525031A (ja) 2018-05-18 2019-05-15 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理
JP2024021670A Pending JP2024067037A (ja) 2018-05-18 2024-02-16 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2020564734A Active JP7485866B2 (ja) 2018-05-18 2019-05-15 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習
JP2020564749A Pending JP2021525031A (ja) 2018-05-18 2019-05-15 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理

Country Status (7)

Country Link
US (8) US11373404B2 (ja)
EP (2) EP3811628A4 (ja)
JP (3) JP7485866B2 (ja)
CN (3) CN112753225B (ja)
AU (4) AU2019269599B2 (ja)
CA (2) CA3100787A1 (ja)
WO (2) WO2019222397A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373404B2 (en) 2018-05-18 2022-06-28 Stats Llc Machine learning for recognizing and interpreting embedded information card content
US11805283B2 (en) * 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US11010627B2 (en) 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US11036995B2 (en) 2019-01-25 2021-06-15 Gracenote, Inc. Methods and systems for scoreboard region detection
US10997424B2 (en) * 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US10909174B1 (en) * 2019-02-04 2021-02-02 Amazon Technologies, Inc. State detection of live feed
US11151191B2 (en) * 2019-04-09 2021-10-19 International Business Machines Corporation Video content segmentation and search
WO2020248124A1 (en) 2019-06-11 2020-12-17 WeMovie Technologies Production-as-service systems for making movies, tv shows and multimedia contents
WO2021022499A1 (en) * 2019-08-07 2021-02-11 WeMovie Technologies Adaptive marketing in cloud-based content production
US10776613B1 (en) * 2019-09-13 2020-09-15 Royal Caribbean Cruises Ltd. Facial recognition system and methods for identity credentialing and personalized services
WO2021068105A1 (en) 2019-10-08 2021-04-15 WeMovie Technologies Pre-production systems for making movies, tv shows and multimedia contents
US11837262B2 (en) * 2019-11-29 2023-12-05 Naver Corporation Electronic device for tagging event in sports play video and operating method thereof
CN111265881B (zh) * 2020-01-21 2021-06-22 腾讯科技(深圳)有限公司 一种模型训练方法、内容生成方法以及相关装置
CN111665955B (zh) * 2020-04-17 2023-06-27 北京百度网讯科技有限公司 候选字符串的处理方法、装置、电子设备及存储介质
US11170593B1 (en) 2020-05-05 2021-11-09 Royal Caribbean Cruises Ltd. Multifunction smart door device
KR20210136564A (ko) * 2020-05-08 2021-11-17 주식회사 엔씨소프트 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법
WO2021225608A1 (en) 2020-05-08 2021-11-11 WeMovie Technologies Fully automated post-production editing for movies, tv shows and multimedia contents
US11523161B2 (en) * 2020-05-15 2022-12-06 Fast Dog, LLC Exciting moment pre-cognizant notification for live events
CN111686450B (zh) * 2020-06-12 2021-09-28 腾讯科技(深圳)有限公司 游戏的剧本生成及运行方法、装置、电子设备和存储介质
CN111814642A (zh) * 2020-06-30 2020-10-23 北京玩在一起科技有限公司 一种电竞赛事数据的识别方法及系统
CN111726682B (zh) * 2020-06-30 2022-08-16 北京百度网讯科技有限公司 视频片段生成方法、装置、设备和计算机存储介质
US11070888B1 (en) 2020-08-27 2021-07-20 WeMovie Technologies Content structure aware multimedia streaming service for movies, TV shows and multimedia contents
US11412315B2 (en) * 2020-10-12 2022-08-09 Ryan Niro System and methods for viewable highlight playbacks
US11812121B2 (en) * 2020-10-28 2023-11-07 WeMovie Technologies Automated post-production editing for user-generated multimedia contents
US11166086B1 (en) * 2020-10-28 2021-11-02 WeMovie Technologies Automated post-production editing for user-generated multimedia contents
CN112328348A (zh) * 2020-11-05 2021-02-05 深圳壹账通智能科技有限公司 应用程序多语言支持方法、装置、计算机设备及存储介质
US11875133B2 (en) * 2021-02-02 2024-01-16 Rovi Guides, Inc. Methods and systems for providing subtitles
CN113095325B (zh) * 2021-05-11 2021-11-09 浙江华是科技股份有限公司 一种船舶识别方法、装置及计算机可读存储介质
US11330154B1 (en) 2021-07-23 2022-05-10 WeMovie Technologies Automated coordination in multimedia content production
US11907310B2 (en) * 2021-09-27 2024-02-20 The Yes Platform, Inc. Data correlation system and method
US11321639B1 (en) 2021-12-13 2022-05-03 WeMovie Technologies Automated evaluation of acting performance using cloud services

Family Cites Families (451)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5034516B1 (ja) 1970-08-25 1975-11-08
US20010013123A1 (en) 1991-11-25 2001-08-09 Freeman Michael J. Customized program creation by splicing server based video, audio, or graphical segments
JP3698273B2 (ja) 1995-07-20 2005-09-21 ソニー株式会社 電子番組ガイド伝送装置および方法、電子番組ガイド受信装置および方法、並びに電子番組ガイド送受信システムおよび方法
EP2309733A1 (en) 1996-03-15 2011-04-13 Gemstar Development Corporation Combination of VCR index and EPG
JPH1055412A (ja) * 1996-06-06 1998-02-24 Fujitsu Ltd 特徴ベクトルの部分固有空間への射影による特徴選択を用いたパターン認識装置及び方法
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US5850218A (en) 1997-02-19 1998-12-15 Time Warner Entertainment Company L.P. Inter-active program guide with default selection control
JPH10322622A (ja) 1997-05-16 1998-12-04 Sanyo Electric Co Ltd デジタルテレビ放送受信機
US6195458B1 (en) 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
JP3396639B2 (ja) 1998-09-30 2003-04-14 株式会社東芝 階層記憶装置及び階層記憶制御方法
US7260823B2 (en) 2001-01-11 2007-08-21 Prime Research Alliance E., Inc. Profiling and identification of television viewers
US6185527B1 (en) 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
US6557042B1 (en) 1999-03-19 2003-04-29 Microsoft Corporation Multimedia summary generation employing user feedback
US7992163B1 (en) 1999-06-11 2011-08-02 Jerding Dean F Video-on-demand navigational system
JP3738631B2 (ja) * 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
US20010026609A1 (en) 1999-12-30 2001-10-04 Lee Weinstein Method and apparatus facilitating the placing, receiving, and billing of telephone calls
US6681396B1 (en) 2000-02-11 2004-01-20 International Business Machines Corporation Automated detection/resumption of interrupted television programs
JP3566896B2 (ja) 2000-03-03 2004-09-15 株式会社リコー スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
AU2001265062A1 (en) 2000-05-23 2001-12-03 United Video Properties, Inc. Interactive television application with watch lists
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
GB0022370D0 (en) 2000-09-13 2000-10-25 Pace Micro Tech Plc Improvements to televisionn system
JP4516682B2 (ja) 2000-10-06 2010-08-04 富士通株式会社 映像記録再生装置
US7509662B2 (en) 2000-10-19 2009-03-24 Jlb Ventures, Llc Method and apparatus for generation of a preferred broadcasted programs list
WO2002043353A2 (en) 2000-11-16 2002-05-30 Mydtv, Inc. System and methods for determining the desirability of video programming events
MXPA03004002A (es) 2000-11-21 2003-08-19 Universal Electronics Inc Sistema de retorno de medios.
US7231596B2 (en) 2000-11-29 2007-06-12 Dov Koren Collaborative, fault-tolerant, scaleable, flexible, interactive real-time display and processing method and apparatus
US7174512B2 (en) 2000-12-01 2007-02-06 Thomson Licensing S.A. Portal for a communications system
KR100856768B1 (ko) 2001-02-21 2008-09-05 유나이티드 비디오 프로퍼티즈, 인크. 일련의 프로그램 녹화 방법 및 일련의 프로그램을 녹화하기 위한 사용자 장치
JP2002259720A (ja) 2001-03-02 2002-09-13 Internatl Business Mach Corp <Ibm> コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
US20020157101A1 (en) 2001-03-02 2002-10-24 Schrader Joseph A. System for creating and delivering enhanced television services
US6856757B2 (en) 2001-03-22 2005-02-15 Koninklijke Philips Electronics N.V. Apparatus and method for detecting sports highlights in a video program
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US20020178444A1 (en) 2001-05-22 2002-11-28 Koninklijke Philips Electronics N.V. Background commercial end detector and notifier
US7499077B2 (en) 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
US20050005308A1 (en) 2002-01-29 2005-01-06 Gotuit Video, Inc. Methods and apparatus for recording and replaying sports broadcasts
US7272657B2 (en) 2001-07-30 2007-09-18 Digeo, Inc. System and method for displaying video streams ranked by user-specified criteria
US6901603B2 (en) 2001-07-10 2005-05-31 General Instrument Corportion Methods and apparatus for advanced recording options on a personal versatile recorder
JP2003032654A (ja) 2001-07-16 2003-01-31 Jisedai Joho Hoso System Kenkyusho:Kk 番組関連コンテンツ生成・提示方法および番組関連コンテンツ生成・提示装置
US7574474B2 (en) 2001-09-14 2009-08-11 Xerox Corporation System and method for sharing and controlling multiple audio and video streams
US20030066077A1 (en) 2001-10-03 2003-04-03 Koninklijke Philips Electronics N.V. Method and system for viewing multiple programs in the same time slot
US7929808B2 (en) 2001-10-30 2011-04-19 Hewlett-Packard Development Company, L.P. Systems and methods for generating digital images having image meta-data combined with the image data
US8702504B1 (en) 2001-11-05 2014-04-22 Rovi Technologies Corporation Fantasy sports contest highlight segments systems and methods
US7012653B1 (en) 2001-11-30 2006-03-14 Bellsouth Intellectual Property Corporation Program restart and commercial ending notification method and system
US7194563B2 (en) 2001-12-05 2007-03-20 Scientific-Atlanta, Inc. Disk driver cluster management of time shift buffer with file allocation table structure
US7339992B2 (en) 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
US7386217B2 (en) 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
US7027460B2 (en) 2001-12-21 2006-04-11 Intel Corporation Method and system for customized television viewing using a peer-to-peer network
US20030126606A1 (en) 2001-12-27 2003-07-03 Koninklijke Philips Esectronics N.V. Hierarchical decision fusion of recommender scores
US20030126605A1 (en) 2001-12-28 2003-07-03 Betz Steve Craig Method for displaying EPG video-clip previews on demand
US7334251B2 (en) 2002-02-11 2008-02-19 Scientific-Atlanta, Inc. Management of television advertising
US20030172376A1 (en) 2002-03-11 2003-09-11 Microsoft Corporation User controlled targeted advertisement placement for receiver modules
US20030188317A1 (en) 2002-03-28 2003-10-02 Liew William J. Advertisement system and methods for video-on-demand services
US7197715B1 (en) 2002-03-29 2007-03-27 Digeo, Inc. System and method to provide customized graphical user interfaces via an interactive video casting network
JP3799288B2 (ja) 2002-04-05 2006-07-19 キヤノン株式会社 受信装置
US7073189B2 (en) 2002-05-03 2006-07-04 Time Warner Interactive Video Group, Inc. Program guide and reservation system for network based digital information and entertainment storage and delivery system
US8832754B2 (en) 2002-05-03 2014-09-09 Tvworks, Llc System and method for providing synchronized events to a television application
US8872979B2 (en) * 2002-05-21 2014-10-28 Avaya Inc. Combined-media scene tracking for audio-video summarization
US7849487B1 (en) 2002-05-31 2010-12-07 Microsoft Corporation Review speed adjustment marker
US20040003403A1 (en) 2002-06-19 2004-01-01 Marsh David J. Methods and systems for reducing information in electronic program guide and program recommendation systems
JP2005531971A (ja) * 2002-07-01 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号処理システム
JP2004072540A (ja) 2002-08-07 2004-03-04 Ricoh Co Ltd パーソナルダイジェスト配信システム、パーソナルダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラム
US7483624B2 (en) 2002-08-30 2009-01-27 Hewlett-Packard Development Company, L.P. System and method for indexing a video sequence
KR20040025073A (ko) 2002-09-18 2004-03-24 주식회사 알티캐스트 디지털 방송상에서 스케쥴 정보를 간이 채널 이미지와병기하여 텔레비젼 화면에 표시하는 방법
US8050281B2 (en) 2003-01-31 2011-11-01 Qwest Communications International Inc. Alert gateway, systems and methods
JP2004260297A (ja) 2003-02-24 2004-09-16 Ricoh Co Ltd パーソナルダイジェスト配信装置、その配信方法、その配信プログラム、およびパーソナルダイジェスト配信システム
US20040167767A1 (en) 2003-02-25 2004-08-26 Ziyou Xiong Method and system for extracting sports highlights from audio signals
US20040181807A1 (en) 2003-03-11 2004-09-16 Theiste Christopher H. System and method for scheduling digital cinema content
US20050166230A1 (en) 2003-03-18 2005-07-28 Gaydou Danny R. Systems and methods for providing transport control
JP4263933B2 (ja) * 2003-04-04 2009-05-13 日本放送協会 映像提示装置、映像提示方法及び映像提示プログラム
US8832732B2 (en) 2003-04-16 2014-09-09 Accenture Global Services Limited Controlled multi-media program review
WO2004095825A2 (en) 2003-04-21 2004-11-04 Rgb Networks, Inc. Time-multiplexed multi-program encryption system
WO2004107756A1 (en) 2003-05-30 2004-12-09 Koninklijke Philips Electronics N.V. Ascertaining show priority for recording of tv shows depending upon their viewed status
US7392477B2 (en) 2003-07-18 2008-06-24 Microsoft Corporation Resolving metadata matched to media content
US20050044570A1 (en) 2003-08-20 2005-02-24 Thomas Poslinski Caching data from multiple channels simultaneously
AU2004305792B2 (en) 2003-09-12 2007-10-04 Opentv, Inc. Method and system for controlling recording and playback of interactive applications
US20050071881A1 (en) 2003-09-30 2005-03-31 Deshpande Sachin G. Systems and methods for playlist creation and playback
JP4047264B2 (ja) * 2003-09-30 2008-02-13 株式会社東芝 動画像処理装置、動画像処理方法および動画像処理プログラム
US20050071865A1 (en) 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
US20050097451A1 (en) 2003-11-03 2005-05-05 Cormack Christopher J. Annotating media content with user-specified information
DE60318451T2 (de) 2003-11-12 2008-12-11 Sony Deutschland Gmbh Automatische Zusammenfassung für eine Vorschlagsmaschine von Fernsehprogrammen beruhend auf Verbraucherpräferenzen
US8104065B2 (en) 2003-11-13 2012-01-24 Arris Group, Inc. System to provide markers to affect rendering and navigation of content on demand
US7519322B2 (en) 2003-12-04 2009-04-14 International Business Machines Corporation Tracking locally broadcast electronic works
US8196168B1 (en) 2003-12-10 2012-06-05 Time Warner, Inc. Method and apparatus for exchanging preferences for replaying a program on a personal video recorder
US20050138659A1 (en) 2003-12-17 2005-06-23 Gilles Boccon-Gibod Personal video recorders with automated buffering
US20050149965A1 (en) 2003-12-31 2005-07-07 Raja Neogi Selective media storage based on user profiles and preferences
US7613313B2 (en) 2004-01-09 2009-11-03 Hewlett-Packard Development Company, L.P. System and method for control of audio field based on position of user
US20050154987A1 (en) 2004-01-14 2005-07-14 Isao Otsuka System and method for recording and reproducing multimedia
EP1708101B1 (en) 2004-01-14 2014-06-25 Mitsubishi Denki Kabushiki Kaisha Summarizing reproduction device and summarizing reproduction method
EP2317449A3 (en) 2004-01-16 2011-07-13 Hillcrest Laboratories, Inc. Metadata brokering server and methods
US20080193016A1 (en) 2004-02-06 2008-08-14 Agency For Science, Technology And Research Automatic Video Event Detection and Indexing
US8238721B2 (en) 2004-02-27 2012-08-07 Hollinbeck Mgmt. Gmbh, Llc Scene changing in video playback devices including device-generated transitions
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
CN1930872A (zh) 2004-03-09 2007-03-14 汤姆逊许可证公司 定制节目安排提醒的系统和方法
US7882436B2 (en) 2004-03-10 2011-02-01 Trevor Burke Technology Limited Distribution of video data
US20080320523A1 (en) 2004-04-15 2008-12-25 Ronald Alan Morris Content-progress indicator for an EPG
US8079052B2 (en) 2004-04-23 2011-12-13 Concurrent Computer Corporation Methods, apparatuses, and systems for presenting advertisement content within trick files
US8024753B1 (en) 2004-04-28 2011-09-20 Echostar Satellite, Llc Method and apparatus for parental control
JP4305269B2 (ja) 2004-04-30 2009-07-29 ソニー株式会社 信号処理装置及び方法
US20060080408A1 (en) 2004-04-30 2006-04-13 Vulcan Inc. Smart home control of electronic devices
JP2006019770A (ja) 2004-05-31 2006-01-19 Toshiba Corp 放送受信装置及び放送受信方法、音声再生装置及び音声再生方法
US20070245379A1 (en) 2004-06-17 2007-10-18 Koninklijke Phillips Electronics, N.V. Personalized summaries using personality attributes
US7290698B2 (en) 2004-08-25 2007-11-06 Sony Corporation Progress bar with multiple portions
US7774811B2 (en) 2004-08-26 2010-08-10 Sony Corporation Method and system for use in displaying multimedia content and status
CN101077003A (zh) 2004-10-15 2007-11-21 开放电视公司 加速信道变换
KR20070090170A (ko) 2004-11-30 2007-09-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 프로그램의 사용자 관심도를 추정하는 장치 및 방법
EP1825675A2 (en) 2004-12-07 2007-08-29 Koninklijke Philips Electronics N.V. Tv control arbiter applications
US7633887B2 (en) 2005-01-21 2009-12-15 Panwar Shivendra S On demand peer-to-peer video streaming with multiple description coding
JP2006211311A (ja) 2005-01-28 2006-08-10 Victor Co Of Japan Ltd ダイジェスト映像生成装置
JP4484730B2 (ja) 2005-03-01 2010-06-16 三菱電機株式会社 デジタル放送受信装置
US20060218573A1 (en) 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
FR2883441A1 (fr) 2005-03-17 2006-09-22 Thomson Licensing Sa Procede de selection de parties d'une emission audiovisuelle et dispositif mettant en oeuvre le procede
EP1869880B1 (en) 2005-03-28 2017-03-01 The DIRECTV Group, Inc. Interactive mosaic channel video stream with barker channel and guide
US7400364B2 (en) 2005-04-26 2008-07-15 International Business Machines Corporation Sub-program avoidance redirection for broadcast receivers
JP4299843B2 (ja) 2005-04-27 2009-07-22 パナソニック株式会社 映像要約装置、端末装置、映像要約システムおよび映像要約方法
US7562304B2 (en) 2005-05-03 2009-07-14 Mcafee, Inc. Indicating website reputations during website manipulation of user information
US7742111B2 (en) 2005-05-06 2010-06-22 Mavs Lab. Inc. Highlight detecting circuit and related method for audio feature-based highlight segment detection
KR20060128295A (ko) 2005-06-10 2006-12-14 엘지전자 주식회사 타 방송 채널 확인 방법
US7623677B2 (en) * 2005-06-17 2009-11-24 Fuji Xerox Co., Ltd. Methods and interfaces for visualizing activity across video frames in an action keyframe
US7532253B1 (en) 2005-07-26 2009-05-12 Pixelworks, Inc. Television channel change picture-in-picture circuit and method
US20070041706A1 (en) * 2005-08-09 2007-02-22 Sony Corporation Systems and methods for generating multimedia highlight content
US7382933B2 (en) * 2005-08-24 2008-06-03 International Business Machines Corporation System and method for semantic video segmentation based on joint audiovisual and text analysis
US8424041B2 (en) 2005-09-07 2013-04-16 Sony Corporation Method and system for downloading content to a content downloader
JP4618503B2 (ja) 2005-09-09 2011-01-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7646962B1 (en) 2005-09-30 2010-01-12 Guideworks, Llc System and methods for recording and playing back programs having desirable recording attributes
KR100755692B1 (ko) 2005-09-30 2007-09-05 삼성전자주식회사 컨텐츠 다운로드 시스템 및 방법
US20070083901A1 (en) 2005-10-12 2007-04-12 Bond Madison E System and method for customized program scheduling
JP2009512352A (ja) 2005-10-14 2009-03-19 ユナイテッド ビデオ プロパティーズ, インコーポレイテッド 1つのチューナを用いて複数の番組を録画するためのシステムおよび方法
JP2007115293A (ja) 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
NO327155B1 (no) 2005-10-19 2009-05-04 Fast Search & Transfer Asa Fremgangsmåte for å vise videodata innenfor resultatpresentasjoner i systemer for aksessering og søking av informasjon
KR100650407B1 (ko) 2005-11-15 2006-11-29 삼성전자주식회사 멀티 모달 기반의 고속 비디오 요약 생성 방법 및 그 장치
US7930419B2 (en) 2005-12-04 2011-04-19 Turner Broadcasting System, Inc. System and method for delivering video and audio content over a network
US20070212023A1 (en) 2005-12-13 2007-09-13 Honeywell International Inc. Video filtering system
US20070150603A1 (en) 2005-12-22 2007-06-28 Catalog. Com, Inc. System and method for cross-domain social networking
CN100442307C (zh) * 2005-12-27 2008-12-10 中国科学院计算技术研究所 球门检测方法
US7831112B2 (en) 2005-12-29 2010-11-09 Mavs Lab, Inc. Sports video retrieval method
US20070154163A1 (en) 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for creating aggregations of episodes of series programming in order
US9015736B2 (en) 2005-12-29 2015-04-21 Rovi Guides, Inc. Systems and methods for episode tracking in an interactive media environment
US20070154169A1 (en) 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for accessing media program options based on program segment interest
EP1969561A1 (en) * 2005-12-30 2008-09-17 Telecom Italia S.p.A. Segmentation of video sequences
CN101371274B (zh) * 2005-12-30 2012-09-19 意大利电信股份公司 视频序列的分割中的边缘比较
US20070157285A1 (en) 2006-01-03 2007-07-05 The Navvo Group Llc Distribution of multimedia content
US20070157235A1 (en) 2006-01-04 2007-07-05 Lucent Technologies Inc. Method and apparatus for reverting to a preferred program at the end of a commercial interruption
US7558809B2 (en) 2006-01-06 2009-07-07 Mitsubishi Electric Research Laboratories, Inc. Task specific audio classification for identifying video highlights
KR101299038B1 (ko) 2006-01-09 2013-08-27 톰슨 라이센싱 멀티미디어 콘텐츠 전달 방법 및 시스템
JP2007201759A (ja) 2006-01-26 2007-08-09 Sony Corp 情報処理装置および方法、並びにプログラム
US8332889B2 (en) 2006-02-10 2012-12-11 Cox Communications, Inc. Generating a personalized video mosaic in a cable services network
EP1992091A1 (en) 2006-02-17 2008-11-19 The DIRECTV Group, Inc. Dynamic viewership rating system
US20070199040A1 (en) 2006-02-23 2007-08-23 Lawrence Kates Multi-channel parallel digital video recorder
KR100764175B1 (ko) * 2006-02-27 2007-10-08 삼성전자주식회사 맞춤형 방송 서비스를 위한 동영상의 중요 자막을 검출하는장치 및 방법
US7962942B1 (en) 2006-02-28 2011-06-14 Rovi Guides, Inc. Systems and methods for enhanced trick-play functions
US20070239856A1 (en) 2006-03-24 2007-10-11 Abadir Essam E Capturing broadcast sources to create recordings and rich navigations on mobile media devices
US8316394B2 (en) 2006-03-24 2012-11-20 United Video Properties, Inc. Interactive media guidance application with intelligent navigation and display features
US8793579B2 (en) 2006-04-20 2014-07-29 Google Inc. Graphical user interfaces for supporting collaborative generation of life stories
US8682654B2 (en) 2006-04-25 2014-03-25 Cyberlink Corp. Systems and methods for classifying sports video
US20070288951A1 (en) 2006-04-28 2007-12-13 First Data Corporation Incentives for viewing advertisements
JP4770590B2 (ja) * 2006-05-26 2011-09-14 ソニー株式会社 アウトラインの作成装置および作成方法、並びに画像処理装置
US20080134043A1 (en) 2006-05-26 2008-06-05 Sony Corporation System and method of selective media content access through a recommednation engine
KR100757231B1 (ko) 2006-06-08 2007-09-10 삼성전자주식회사 Dmb 휴대단말기에 있어 복수의 채널 동시 다중화면시청 방법 및 장치
CN101110759A (zh) 2006-07-20 2008-01-23 朗迅科技公司 用于因特网协议电视网络的对等文件下载系统
US8281341B2 (en) 2006-07-31 2012-10-02 Rovi Guides, Inc. Systems and methods for providing media guidance planners
US20080030942A1 (en) * 2006-08-03 2008-02-07 Elizalde Luis E Folding Electronic Device
US8090358B2 (en) 2006-08-16 2012-01-03 At&T Intellectual Property I, L.P. Methods and computer-readable media for location-based targeted advertising
US8949895B2 (en) 2006-08-18 2015-02-03 The Directv Group, Inc. Mosaic channel video stream with personalized interactive services
US20080133327A1 (en) 2006-09-14 2008-06-05 Shah Ullah Methods and systems for securing content played on mobile devices
US20080086743A1 (en) 2006-10-06 2008-04-10 Infovalue Computing, Inc. Enhanced personal video recorder
US8296808B2 (en) 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
US20080115166A1 (en) 2006-10-26 2008-05-15 Kulvir Singh Bhogal Digital video recorder processing system
EP1919216A1 (en) 2006-10-30 2008-05-07 British Telecommunications Public Limited Company Personalised media presentation
US20080155602A1 (en) * 2006-12-21 2008-06-26 Jean-Luc Collet Method and system for preferred content identification
US20080152300A1 (en) 2006-12-22 2008-06-26 Guideworks, Llc Systems and methods for inserting advertisements during commercial skip
JP4945236B2 (ja) 2006-12-27 2012-06-06 株式会社東芝 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
JP2008167019A (ja) 2006-12-27 2008-07-17 Toshiba Corp 録画再生装置
US20080163059A1 (en) 2006-12-28 2008-07-03 Guideworks, Llc Systems and methods for creating custom video mosaic pages with local content
US20080168503A1 (en) 2007-01-08 2008-07-10 General Instrument Corporation System and Method for Selecting and Viewing Broadcast Content Based on Syndication Streams
JP5010292B2 (ja) 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
US20080178219A1 (en) 2007-01-23 2008-07-24 At&T Knowledge Ventures, Lp System and method for providing video content
JP5034516B2 (ja) 2007-01-26 2012-09-26 富士通モバイルコミュニケーションズ株式会社 ハイライトシーン検出装置
US8429683B2 (en) 2007-03-23 2013-04-23 Verizon Patent And Licensing Inc. Program viewing history
US9237308B2 (en) 2007-03-30 2016-01-12 Verizon Patent And Licensing Inc. Method and system for providing a transition between linear content and non-linear content
US8769559B2 (en) 2007-03-30 2014-07-01 Verizon Patent And Licensing Inc. Systems and methods for using incentives to increase advertising effectiveness
WO2008121986A1 (en) * 2007-03-30 2008-10-09 Google Inc. Document processing for mobile devices
WO2008127737A1 (en) 2007-04-13 2008-10-23 Building B Viewer interface for a content delivery system
JP4029915B2 (ja) 2007-04-18 2008-01-09 ソニー株式会社 通信システム
US20080270038A1 (en) 2007-04-24 2008-10-30 Hadi Partovi System, apparatus and method for determining compatibility between members of a social network
US20080271078A1 (en) 2007-04-30 2008-10-30 Google Inc. Momentary Electronic Program Guide
US20080300982A1 (en) 2007-05-31 2008-12-04 Friendlyfavor, Inc. Method for enabling the exchange of online favors
US8457768B2 (en) 2007-06-04 2013-06-04 International Business Machines Corporation Crowd noise analysis
US20080307485A1 (en) 2007-06-05 2008-12-11 Microsoft Corporation Automatic extension of recording using in-band and out-of-band data sources
US8099315B2 (en) 2007-06-05 2012-01-17 At&T Intellectual Property I, L.P. Interest profiles for audio and/or video streams
US20090025027A1 (en) 2007-07-20 2009-01-22 Michael Craner Systems & methods for allocating bandwidth in switched digital video systems based on interest
US8275764B2 (en) 2007-08-24 2012-09-25 Google Inc. Recommending media programs based on media program popularity
US7983442B2 (en) * 2007-08-29 2011-07-19 Cyberlink Corp. Method and apparatus for determining highlight segments of sport video
US8522300B2 (en) 2007-09-21 2013-08-27 Verizon Patent And Licensing Inc. Highlight management for fantasy gaming
US8750688B2 (en) 2007-09-21 2014-06-10 Echostar Technologies L.L.C. Systems and methods for selectively recording at least part of a program based on an occurrence of a video or audio characteristic in the program
JP5286732B2 (ja) 2007-10-01 2013-09-11 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US8646683B2 (en) 2007-10-31 2014-02-11 Koplar Interactive Systems International L.L.C. Method and system for device notification
US20090144777A1 (en) 2007-11-29 2009-06-04 Mobitv, Inc. Real-time most watched guide ordering and generation
US20110023077A1 (en) 2007-12-12 2011-01-27 Colin Simon Method, system and apparatus to enable convergent television accessibility on digital television panels with encryption capabilities
US9445159B2 (en) 2007-12-17 2016-09-13 Echostar Technologies L.L.C. Extended recording time apparatus, systems, and methods
US8385536B2 (en) 2008-01-09 2013-02-26 Verizon Patent And Licensing Inc. Automatic telephone number favorites list
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
US8522271B2 (en) 2008-02-14 2013-08-27 Qualcomm Incorporated Methods and apparatuses for sharing user profiles
WO2012047671A1 (en) 2010-09-27 2012-04-12 Hulu Llc Method and apparatus for interrupting an advertisement and the substitution of alternate advertisement
WO2012047672A1 (en) 2010-09-27 2012-04-12 Hulu Llc Method and apparatus for providing user control of advertising breaks associated with a media program
US7822753B2 (en) 2008-03-11 2010-10-26 Cyberlink Corp. Method for displaying search results in a browser interface
JP5243070B2 (ja) 2008-03-14 2013-07-24 ソニー株式会社 情報提供装置、受信端末、情報提供システム、情報提供方法、およびプログラム
JP2011514789A (ja) * 2008-03-20 2011-05-06 インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー ビデオ画像の小さな画面サイズへの適合方法
US20090249412A1 (en) 2008-03-25 2009-10-01 International Business Machines Corporation Managing acquisition of fee based videos
JP5135024B2 (ja) 2008-03-27 2013-01-30 株式会社東芝 コンテンツのシーン出現を通知する装置、方法およびプログラム
US7543322B1 (en) 2008-05-06 2009-06-02 International Business Machines Corporation Method for enhanced event specific features on personal video recorders
US8689103B2 (en) * 2008-05-09 2014-04-01 Apple Inc. Automated digital media presentations
EP2124451A3 (en) 2008-05-23 2014-03-26 Sony Corporation Content server, information processing apparatus, network device, content distribution method, information processing method, and content distribution system
US8447643B2 (en) 2008-06-02 2013-05-21 Melvin L. Barnes, Jr. System and method for collecting and distributing reviews and ratings
KR101474735B1 (ko) 2008-06-30 2014-12-30 삼성전자주식회사 방송수신장치 및 그의 구동방법
US8209713B1 (en) 2008-07-11 2012-06-26 The Directv Group, Inc. Television advertisement monitoring system
JP4636135B2 (ja) 2008-08-04 2011-02-23 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8867622B2 (en) 2008-08-14 2014-10-21 Broadcom Corporation Method and system for priority-based digital multi-stream decoding
US8320674B2 (en) 2008-09-03 2012-11-27 Sony Corporation Text localization for image and video OCR
US8578426B2 (en) 2008-09-10 2013-11-05 Qualcomm Incorporated Method and system for selecting media content for broadcast based on viewer preference indications
US20100071007A1 (en) 2008-09-12 2010-03-18 Echostar Global B.V. Method and Apparatus for Control of a Set-Top Box/Digital Video Recorder Using a Mobile Device
US8769682B2 (en) 2008-09-18 2014-07-01 Alcatel Lucent Mechanism for identifying malicious content, DoS attacks, and illegal IPTV services
US8635645B2 (en) 2008-09-30 2014-01-21 Qualcomm Incorporated Apparatus and methods of providing and receiving venue level transmissions and services
US20100086277A1 (en) 2008-10-03 2010-04-08 Guideworks, Llc Systems and methods for deleting viewed portions of recorded programs
US8818803B2 (en) 2008-10-27 2014-08-26 Frank Elmo Weber Character-based automated text summarization
US8875183B2 (en) 2008-10-31 2014-10-28 International Business Machines Corporation Intelligent TV mosaic for IPTV
US20100125864A1 (en) 2008-11-17 2010-05-20 Duke University Mobile remote control of a shared media resource
US9141859B2 (en) 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8427356B1 (en) 2008-11-28 2013-04-23 Uei Cayman Inc. Automatic determination and retrieval of a favorite channel
US8453185B2 (en) 2008-12-08 2013-05-28 Echostar Global B.V. Data transmission from a set-top box
US20100153983A1 (en) 2008-12-15 2010-06-17 Earl Warren Philmon Automated presence for set top boxes
US8351691B2 (en) * 2008-12-18 2013-01-08 Canon Kabushiki Kaisha Object extraction in colour compound documents
US7975285B2 (en) 2008-12-26 2011-07-05 Kabushiki Kaisha Toshiba Broadcast receiver and output control method thereof
US20110252451A1 (en) 2009-02-05 2011-10-13 Shlomo Turgeman Personal tv gateway stb/router
US9137474B2 (en) 2009-02-26 2015-09-15 At&T Intellectual Property I, L.P. Intelligent remote control
US11076189B2 (en) 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
US9215423B2 (en) 2009-03-30 2015-12-15 Time Warner Cable Enterprises Llc Recommendation engine apparatus and methods
US8769589B2 (en) 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
US20100262986A1 (en) 2009-04-08 2010-10-14 Verizon Patent And Licensing Inc. Viewing history
US20100269144A1 (en) 2009-04-17 2010-10-21 Tandberg Television, Inc. Systems and methods for incorporating user generated content within a vod environment
CN101650722B (zh) 2009-06-01 2011-10-26 南京理工大学 基于音视频融合的足球视频精彩事件检测方法
US20100319019A1 (en) 2009-06-12 2010-12-16 Frank Zazza Directing Interactive Content
US8437617B2 (en) 2009-06-17 2013-05-07 Echostar Technologies L.L.C. Method and apparatus for modifying the presentation of content
JP5424737B2 (ja) * 2009-06-23 2014-02-26 三菱電機株式会社 画像再生装置
US8458742B2 (en) 2009-06-30 2013-06-04 Echostar Technologies L.L.C. Apparatus systems and methods for securely sharing content with a plurality of receiving devices
KR20110006362A (ko) 2009-07-14 2011-01-20 엘지전자 주식회사 이동 단말기 및 이것의 방송 제어 방법
US20110016492A1 (en) 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
US8406431B2 (en) 2009-07-23 2013-03-26 Sling Media Pvt. Ltd. Adaptive gain control for digital audio samples in a media stream
EP2462523A1 (en) 2009-08-07 2012-06-13 Thomson Licensing System and method for interacting with an internet site
US8364021B2 (en) 2009-08-26 2013-01-29 Echostar Technologies L.L.C. Systems and methods for managing stored programs
US8875167B2 (en) 2009-09-21 2014-10-28 Mobitv, Inc. Implicit mechanism for determining user response to media
US20130191857A1 (en) 2009-10-02 2013-07-25 R. Edward Guinn Method and System for a Vote Based Media System
US8671089B2 (en) 2009-10-06 2014-03-11 Brightedge Technologies, Inc. Correlating web page visits and conversions with external references
US20110109801A1 (en) 2009-11-12 2011-05-12 Thomas Christopher L Method and System for Television Channel Control
US8452778B1 (en) * 2009-11-19 2013-05-28 Google Inc. Training of adapted classifiers for video categorization
KR20110062982A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 실시간 방송 컨텐츠의 방송 요약 정보 생성 방법 및 장치와, 그 제공방법 및 방송 수신 장치
EP2514198A4 (en) 2009-12-16 2013-07-03 Thomson Licensing SYSTEM AND METHOD FOR THE PROTECTION OF ADVERTISING INFORMATION MESSAGES
US20110161242A1 (en) 2009-12-28 2011-06-30 Rovi Technologies Corporation Systems and methods for searching and browsing media in an interactive media guidance application
US20110173337A1 (en) 2010-01-13 2011-07-14 Oto Technologies, Llc Proactive pre-provisioning for a content sharing session
US10455275B2 (en) 2010-02-16 2019-10-22 Comcast Cable Communications, Llc Disposition of video alerts and integration of a mobile device into a local service domain
KR20120128728A (ko) 2010-02-19 2012-11-27 톰슨 라이센싱 셋톱 박스에서의 자동 클립 발생
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
EP2618562B1 (en) 2010-02-19 2017-11-15 EchoStar Technologies L.L.C. System for searching for online versions of broadcast items
US8535131B2 (en) 2010-02-27 2013-09-17 Thuuz, LLC Method and system for an online performance service with recommendation module
US8437620B2 (en) 2010-03-05 2013-05-07 Intel Corporation System, method, and computer program product for custom stream generation
US20110231887A1 (en) 2010-03-10 2011-09-22 West R Michael Peters Methods and systems for audio-video clip sharing for internet-delivered television programming
US8140570B2 (en) 2010-03-11 2012-03-20 Apple Inc. Automatic discovery of metadata
GB2479343A (en) 2010-03-26 2011-10-12 British Broadcasting Corp EPG showing a list of additional episodes in the same TV series when a TV programme is selected
WO2011127140A1 (en) 2010-04-06 2011-10-13 Statsheet, Inc. Systems for dynamically generating and presenting narrative content
US8855470B2 (en) 2010-04-06 2014-10-07 Time Warner Cable Enterprises Llc Use of multiple embedded messages in program signal streams
US8688434B1 (en) 2010-05-13 2014-04-01 Narrative Science Inc. System and method for using data to automatically generate a narrative story
US9912721B2 (en) 2010-05-14 2018-03-06 Highlight Broadcast Network, Llc Systems and methods for providing event-related video sharing services
US9564148B2 (en) 2010-05-18 2017-02-07 Sprint Communications Company L.P. Isolation and modification of audio streams of a mixed signal in a wireless communication device
US8520088B2 (en) * 2010-05-25 2013-08-27 Intellectual Ventures Fund 83 Llc Storing a video summary as metadata
US8995685B2 (en) 2010-05-28 2015-03-31 Echostar Technologies L.L.C. Apparatus, systems and methods for limiting output volume of a media presentation device
WO2011152014A1 (ja) 2010-06-01 2011-12-08 パナソニック株式会社 コンテンツ処理装置、テレビジョン受像機、及びコンテンツ処理方法
US9213986B1 (en) 2010-06-29 2015-12-15 Brian K. Buchheit Modified media conforming to user-established levels of media censorship
FR2962290A1 (fr) 2010-06-30 2012-01-06 Alcatel Lucent Procede d'affichage de contenus audiovisuels adaptes et serveur correspondant
JP2012029019A (ja) 2010-07-23 2012-02-09 Hitachi Consumer Electronics Co Ltd コンテンツ再生装置
JP5669471B2 (ja) 2010-07-26 2015-02-12 株式会社アイ・オー・データ機器 端末装置およびプログラム
EP2606628A2 (en) 2010-08-19 2013-06-26 Thomson Licensing Personalization of information content by monitoring network traffic
US8677428B2 (en) 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
US20120052941A1 (en) 2010-08-28 2012-03-01 Mo Cheuong K Method and system for multiple player, location, and operator gaming via interactive digital signage
JP2012060385A (ja) 2010-09-08 2012-03-22 Fujitsu Ltd 継承通信管理装置及び継承通信管理方法
US20130174196A1 (en) 2010-09-17 2013-07-04 Thomson Licensing Method and system for determining identity/presence of a mobile device user for control and interaction in content distribution
WO2012042097A1 (en) 2010-09-30 2012-04-05 Nokia Corporation Method, apparatus and computer program product for summarizing multimedia content
EP2635040A4 (en) 2010-10-25 2016-08-24 Samsung Electronics Co Ltd SOCIAL NETWORK SHARING METHOD AND SERVER FOR TELEVISION BROADCAST CONTENT, AND SERVICE RECEPTION METHOD AND DEVICE FOR SOCIAL NETWORK BASED SHARING OF TELEVISION BROADCAST CONTENT
US8875276B2 (en) 2011-09-02 2014-10-28 Iota Computing, Inc. Ultra-low power single-chip firewall security device, system and method
US8548303B2 (en) 2010-11-03 2013-10-01 Cisco Technology, Inc. Reconciling digital content at a digital media device
US8923607B1 (en) 2010-12-08 2014-12-30 Google Inc. Learning sports highlights using event detection
GB2486257B (en) 2010-12-09 2015-05-27 Samsung Electronics Co Ltd Multimedia system and method of recommending multimedia content
WO2012093407A2 (en) 2011-01-04 2012-07-12 Tata Consultancy Services Limited Logo recognition
US9137585B2 (en) 2011-01-13 2015-09-15 BlackArrow, INC Method and apparatus for inserting advertisements in content
US9288511B2 (en) 2011-02-18 2016-03-15 Futurewei Technologies, Inc. Methods and apparatus for media navigation
US8689258B2 (en) 2011-02-18 2014-04-01 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing an initial portion of a media content event
US20130332962A1 (en) 2011-02-28 2013-12-12 Telefonaktiebolaget L M Ericsson (Publ) Electronically communicating media recommendations responsive to preferences for an electronic terminal
US9357154B2 (en) 2011-03-11 2016-05-31 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing missed media content
US8606090B2 (en) 2011-03-17 2013-12-10 Sony Corporation Sport program chaptering
WO2013106024A1 (en) 2011-04-05 2013-07-18 Planetmac, Llc Wireless audio dissemination system
US8973068B2 (en) 2011-04-08 2015-03-03 Verizon Patent And Licensing Inc. Video on demand delivery optimization over combined satellite and wireless broadband networks
US20120263439A1 (en) 2011-04-13 2012-10-18 David King Lassman Method and apparatus for creating a composite video from multiple sources
US20120278834A1 (en) 2011-04-27 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems, and methods for discerning user action with regard to commercials
US20120278837A1 (en) 2011-04-29 2012-11-01 Sling Media Inc. Presenting related content during a placeshifting session
US20120284745A1 (en) 2011-05-06 2012-11-08 Echostar Technologies L.L.C. Apparatus, systems and methods for improving commercial presentation
US9153033B2 (en) * 2011-05-11 2015-10-06 Kabushiki Kaisha Toshiba Medical image processing apparatus and method thereof
EP2525569A1 (en) 2011-05-20 2012-11-21 Eldon Technology Limited Enhanced programme preview content
US20120324491A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US8966513B2 (en) 2011-06-29 2015-02-24 Avaya Inc. System and method for processing media highlights
US8639706B1 (en) 2011-07-01 2014-01-28 Google Inc. Shared metadata for media files
CN102254160B (zh) * 2011-07-12 2013-06-12 央视国际网络有限公司 视频比分的检测识别方法及装置
KR20140053989A (ko) 2011-07-27 2014-05-08 톰슨 라이센싱 가변 실시간 버퍼 및 장치
JP2014527337A (ja) 2011-07-28 2014-10-09 トムソン ライセンシング オーディオ較正のシステムおよび方法
CN102263907B (zh) * 2011-08-04 2013-09-18 央视国际网络有限公司 比赛视频的播放控制方法及其片段信息的生成方法和装置
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US8627349B2 (en) 2011-08-23 2014-01-07 Echostar Technologies L.L.C. User interface
US10217117B2 (en) 2011-09-15 2019-02-26 Stephan HEATH System and method for social networking interactions using online consumer browsing behavior, buying patterns, advertisements and affiliate advertising, for promotions, online coupons, mobile services, products, goods and services, entertainment and auctions, with geospatial mapping technology
US20130074109A1 (en) 2011-09-20 2013-03-21 Sidebar, Inc. Television listing user interface based on trending
CN102427507B (zh) * 2011-09-30 2014-03-05 北京航空航天大学 一种基于事件模型的足球视频集锦自动合成方法
US9930311B2 (en) 2011-10-20 2018-03-27 Geun Sik Jo System and method for annotating a video with advertising information
US9077947B2 (en) 2011-11-09 2015-07-07 Microsoft Technology Licensing, Llc Presenting linear and nonlinear content via DVR
US9215507B2 (en) 2011-11-21 2015-12-15 Verizon Patent And Licensing Inc. Volume customization
US8812499B2 (en) 2011-11-30 2014-08-19 Nokia Corporation Method and apparatus for providing context-based obfuscation of media
US9967621B2 (en) 2011-12-15 2018-05-08 Rovi Technologies Corporation Dynamic personalized program content
GB201122276D0 (en) 2011-12-23 2012-02-01 Mubi Uk Ltd Method and apparatus for accessing media
JP2013157962A (ja) 2012-01-31 2013-08-15 Toshiba Corp 電子機器、外部機器、電子機器の制御方法、電子機器の制御プログラム
US9438487B2 (en) 2012-02-23 2016-09-06 Ericsson Ab Bandwith policy management in a self-corrected content delivery network
JP2013175854A (ja) 2012-02-24 2013-09-05 Sharp Corp 録画再生装置および録画再生システム
US20130226983A1 (en) 2012-02-29 2013-08-29 Jeffrey Martin Beining Collaborative Video Highlights
JP5510484B2 (ja) 2012-03-21 2014-06-04 カシオ計算機株式会社 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム
US9137578B2 (en) 2012-03-27 2015-09-15 Roku, Inc. Method and apparatus for sharing content
US9467723B2 (en) 2012-04-04 2016-10-11 Time Warner Cable Enterprises Llc Apparatus and methods for automated highlight reel creation in a content delivery network
US20130268955A1 (en) 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
US20130283162A1 (en) 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
WO2013166456A2 (en) 2012-05-04 2013-11-07 Mocap Analytics, Inc. Methods, systems and software programs for enhanced sports analytics and applications
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9767259B2 (en) 2012-05-07 2017-09-19 Google Inc. Detection of unauthorized content in live multiuser composite streams
US20130326575A1 (en) 2012-05-30 2013-12-05 Disney Enterprise, Inc. Social Media Driven Generation of a Highlight Clip from a Media Content Stream
US9792285B2 (en) 2012-06-01 2017-10-17 Excalibur Ip, Llc Creating a content index using data on user actions
US8990418B1 (en) 2012-06-01 2015-03-24 Google Inc. Providing data feeds for video programs
US9965129B2 (en) 2012-06-01 2018-05-08 Excalibur Ip, Llc Personalized content from indexed archives
US9094708B2 (en) 2012-06-08 2015-07-28 Rovi Guides, Inc. Methods and systems for prioritizing listings based on real-time data
US9648379B2 (en) 2012-06-11 2017-05-09 At&T Intellectual Property I, L.P. Complimentary content based recording of media content
AU2013206449A1 (en) 2012-06-20 2014-01-16 Visa International Service Association Multi-channel remote payment apparatuses, methods and systems
US8995823B2 (en) 2012-07-17 2015-03-31 HighlightCam, Inc. Method and system for content relevance score determination
US20140032329A1 (en) 2012-07-26 2014-01-30 Jvl Ventures, Llc Systems, methods, and computer program products for generating a feed message
US20140028917A1 (en) 2012-07-30 2014-01-30 General Instrument Corporation Displaying multimedia
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US8842007B2 (en) 2012-08-31 2014-09-23 Thuuz, Inc. Generating alerts for live performances
US9060210B2 (en) 2012-08-31 2015-06-16 Thuuz, Inc. Generating excitement levels for live performances
US9237386B2 (en) 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US8595763B1 (en) 2012-08-31 2013-11-26 Thuuz, Inc. Generating teasers for live performances
US20140074866A1 (en) 2012-09-10 2014-03-13 Cisco Technology, Inc. System and method for enhancing metadata in a video processing environment
US10091552B2 (en) 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
US9092415B2 (en) 2012-09-25 2015-07-28 Rovi Guides, Inc. Systems and methods for automatic program recommendations based on user interactions
US20140111542A1 (en) * 2012-10-20 2014-04-24 James Yoong-Siang Wan Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text
SG2014013403A (en) 2012-10-24 2014-10-30 Right Brain Interface N V Video Presentation Interface With Enhanced Navigation Features
US20150296246A1 (en) 2012-11-09 2015-10-15 Camelot Strategic Solutions Limited Audio visual interfaces
US20140139555A1 (en) 2012-11-21 2014-05-22 ChatFish Ltd Method of adding expression to text messages
US9762944B2 (en) 2012-11-28 2017-09-12 Rovi Guides, Inc. Systems and methods for presenting content simultaneously in different forms based on parental control settings
US9292160B2 (en) 2012-11-30 2016-03-22 Verizon and Redbox Digital Entertainment Services, LLC Systems and methods for presenting media program accessibility information
US9300939B2 (en) 2012-11-30 2016-03-29 Verizon Patent And Licensing Inc. Methods and systems for resolving conflicts in a multi-tuner digital video recording system
US8774596B2 (en) 2012-12-10 2014-07-08 Futurewei Technologies, Inc. Context driven video prioritization and bookmarking
US9451202B2 (en) 2012-12-27 2016-09-20 Echostar Technologies L.L.C. Content-based highlight recording of television programming
US9363028B2 (en) 2013-01-25 2016-06-07 Time Warner Cable Enterprises Llc Apparatus and methods for catalog data distribution
US9008429B2 (en) * 2013-02-01 2015-04-14 Xerox Corporation Label-embedding for text recognition
JP2014157460A (ja) 2013-02-15 2014-08-28 Sharp Corp コンテンツ発見支援装置、コンテンツ表示システム及びプログラム
JP2014187687A (ja) 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
US9621960B2 (en) 2013-03-13 2017-04-11 Echostar Technologies L.L.C. Majority rule selection of media content
US9204186B2 (en) 2013-03-13 2015-12-01 Comcast Cable Communications, Llc Buffering content
US10880609B2 (en) 2013-03-14 2020-12-29 Comcast Cable Communications, Llc Content event messaging
US10142700B2 (en) 2013-03-15 2018-11-27 DISH Technologies L.L.C. Television service provided social networking service
US9258614B2 (en) 2013-03-15 2016-02-09 Time Warner Cable Enterprises Llc System and method for resolving scheduling conflicts in multi-tuner devices and systems
US9602875B2 (en) 2013-03-15 2017-03-21 Echostar Uk Holdings Limited Broadcast content resume reminder
US9253533B1 (en) 2013-03-22 2016-02-02 Amazon Technologies, Inc. Scene identification
US9407971B2 (en) 2013-03-27 2016-08-02 Adobe Systems Incorporated Presentation of summary content for primary content
US10080054B2 (en) 2013-04-26 2018-09-18 Texas Instruments Incorporated Automatic time extension of program recording
US20140325556A1 (en) 2013-04-26 2014-10-30 Microsoft Corporation Alerts and web content over linear tv broadcast
US10068614B2 (en) 2013-04-26 2018-09-04 Microsoft Technology Licensing, Llc Video service with automated video timeline curation
US20150319510A1 (en) * 2014-04-30 2015-11-05 General Instrument Corporation Interactive viewing experiences by detecting on-screen text
US8973038B2 (en) 2013-05-03 2015-03-03 Echostar Technologies L.L.C. Missed content access guide
US20140333841A1 (en) 2013-05-10 2014-11-13 Randy Steck Modular and scalable digital multimedia mixer
US20140351045A1 (en) 2013-05-23 2014-11-27 LNO (Official.fm) SA System and Method for Pairing Media Content with Branded Content
US9715902B2 (en) 2013-06-06 2017-07-25 Amazon Technologies, Inc. Audio-based annotation of video
US9930404B2 (en) 2013-06-17 2018-03-27 Echostar Technologies L.L.C. Event-based media playback
US9378772B2 (en) 2013-06-27 2016-06-28 Rovi Guides, Inc. Systems and methods for visualizing storage availability of a DVR
US9848249B2 (en) 2013-07-15 2017-12-19 Echostar Technologies L.L.C. Location based targeted advertising
US11134304B2 (en) 2013-07-31 2021-09-28 Time Warner Cable Enterprises Llc Methods and apparatus that facilitate channel switching during commercial breaks and/or other program segments
US10362351B2 (en) 2013-08-19 2019-07-23 Tivo Solutions, Inc. Dynamic tuner allocation
US9066156B2 (en) 2013-08-20 2015-06-23 Echostar Technologies L.L.C. Television receiver enhancement features
US9247136B2 (en) 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
CA2924065C (en) 2013-09-13 2018-05-15 Arris Enterprises, Inc. Content based video content segmentation
US20150078726A1 (en) 2013-09-17 2015-03-19 Babak Robert Shakib Sharing Highlight Reels
US9113200B2 (en) 2013-09-30 2015-08-18 Verizon Patent And Licensing Inc. Live channel switching and return during commercial breaks
KR20150043111A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 컨텐츠 요약 서버, 컨텐츠 제공 시스템 및 이의 컨텐츠 요약 방법
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
US20150110462A1 (en) 2013-10-21 2015-04-23 Sling Media, Inc. Dynamic media viewing
US9642008B2 (en) 2013-10-25 2017-05-02 Lookout, Inc. System and method for creating and assigning a policy for a mobile communications device based on personal data
US10867635B2 (en) * 2013-11-11 2020-12-15 Vimeo, Inc. Method and system for generation of a variant video production from an edited video production
US9578377B1 (en) 2013-12-03 2017-02-21 Venuenext, Inc. Displaying a graphical game play feed based on automatically detecting bounds of plays or drives using game related data sources
JP5875637B2 (ja) * 2013-12-19 2016-03-02 キヤノン株式会社 画像処理装置、画像処理方法
US9420333B2 (en) 2013-12-23 2016-08-16 Echostar Technologies L.L.C. Mosaic focus control
US9860477B2 (en) 2013-12-23 2018-01-02 Echostar Technologies L.L.C. Customized video mosaic
US20150189377A1 (en) 2013-12-27 2015-07-02 United Video Properties, Inc. Methods and systems for adjusting user input interaction types based on the level of engagement of a user
JP6307892B2 (ja) * 2014-01-20 2018-04-11 富士通株式会社 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
DE102014201802A1 (de) 2014-01-31 2015-08-20 Bilfinger Mce Gmbh Schutzzaun
US9779775B2 (en) 2014-02-24 2017-10-03 Lyve Minds, Inc. Automatic generation of compilation videos from an original video based on metadata associated with the original video
US9380342B2 (en) 2014-02-28 2016-06-28 Rovi Guides, Inc. Systems and methods for control of media access based on crowd-sourced access control data and user-attributes
US9641791B2 (en) 2014-03-03 2017-05-02 Microsoft Technology Licensing, Llc Bandwidth aware digital video recording (DVR) scheduling
KR102217186B1 (ko) 2014-04-11 2021-02-19 삼성전자주식회사 요약 컨텐츠 서비스를 위한 방송 수신 장치 및 방법
US9583149B2 (en) 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
US9959744B2 (en) 2014-04-25 2018-05-01 Motorola Solutions, Inc. Method and system for providing alerts for radio communications
US20150334461A1 (en) 2014-05-14 2015-11-19 Looq System Inc. Methods and systems for dynamically recommending favorite channels or programs
US9288551B2 (en) 2014-06-05 2016-03-15 Echostar Technologies L.L.C. Systems and methods for viewer-incentivized targeted commercials
US9443158B1 (en) 2014-06-22 2016-09-13 Kristopher Haskins Method for computer vision to recognize objects marked for identification with a bigram of glyphs, and devices utilizing the method for practical purposes
WO2016006729A1 (ko) * 2014-07-08 2016-01-14 삼성전자 주식회사 전자 장치 및 이의 컨텐츠 제공 방법
US9805268B2 (en) 2014-07-14 2017-10-31 Carnegie Mellon University System and method for processing a video stream to extract highlights
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
US9681176B2 (en) 2014-08-27 2017-06-13 Echostar Technologies L.L.C. Provisioning preferred media content
US9681196B2 (en) 2014-08-27 2017-06-13 Echostar Technologies L.L.C. Television receiver-based network traffic control
US9628861B2 (en) 2014-08-27 2017-04-18 Echostar Uk Holdings Limited Source-linked electronic programming guide
JP6394184B2 (ja) * 2014-08-27 2018-09-26 富士通株式会社 判定プログラム、方法、及び装置
US9936248B2 (en) 2014-08-27 2018-04-03 Echostar Technologies L.L.C. Media content output control
CA3032680A1 (en) 2014-08-29 2016-03-03 Thuuz, Inc. Systems and processes for delivering digital video content based upon excitement data
US20160073172A1 (en) 2014-09-05 2016-03-10 Echostar Uk Holdings Limited Broadcast event notifications
US9565474B2 (en) 2014-09-23 2017-02-07 Echostar Technologies L.L.C. Media content crowdsource
US10536758B2 (en) 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US10433030B2 (en) 2014-10-09 2019-10-01 Thuuz, Inc. Generating a customized highlight sequence depicting multiple events
US10419830B2 (en) 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
US20170228600A1 (en) * 2014-11-14 2017-08-10 Clipmine, Inc. Analysis of video game videos for information extraction, content labeling, smart video editing/creation and highlights generation
US10432296B2 (en) 2014-12-31 2019-10-01 DISH Technologies L.L.C. Inter-residence computing resource sharing
US9800938B2 (en) 2015-01-07 2017-10-24 Echostar Technologies L.L.C. Distraction bookmarks for live and recorded video
US9626594B2 (en) * 2015-01-21 2017-04-18 Xerox Corporation Method and system to perform text-to-image queries with wildcards
US10129608B2 (en) 2015-02-24 2018-11-13 Zepp Labs, Inc. Detect sports video highlights based on voice recognition
US10965965B2 (en) * 2015-03-06 2021-03-30 Arris Enterprises Llc Detecting of graphical objects to identify video demarcations
US9740952B2 (en) * 2015-06-16 2017-08-22 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for real time automated caption rendering testing
US20170054982A1 (en) * 2015-08-19 2017-02-23 Hitachi, Ltd. Real time video stream processing systems and methods thereof
AU2015261614A1 (en) 2015-09-04 2017-03-23 Musigma Business Solutions Pvt. Ltd. Analytics system and method
US10390082B2 (en) * 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos
US10580140B2 (en) * 2016-05-23 2020-03-03 Intel Corporation Method and system of real-time image segmentation for image processing
TWI604221B (zh) 2016-05-27 2017-11-01 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
JP2018005397A (ja) 2016-06-29 2018-01-11 株式会社リコー 画像処理装置、画像読取装置およびプログラム
US10681391B2 (en) * 2016-07-13 2020-06-09 Oath Inc. Computerized system and method for automatic highlight detection from live streaming media and rendering within a specialized media player
JP6857983B2 (ja) 2016-08-25 2021-04-14 Jcc株式会社 メタデータ生成システム
US10056116B2 (en) 2016-10-18 2018-08-21 Thuuz, Inc. Data processing system for automatically generating excitement levels with improved response times using prospective data
US10466777B2 (en) * 2016-12-07 2019-11-05 LogMeln, Inc. Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets
US10410060B2 (en) * 2017-12-14 2019-09-10 Google Llc Generating synthesis videos
US10417500B2 (en) * 2017-12-28 2019-09-17 Disney Enterprises, Inc. System and method for automatic generation of sports media highlights
US10939182B2 (en) * 2018-01-31 2021-03-02 WowYow, Inc. Methods and apparatus for media search, characterization, and augmented reality provision
US10595101B2 (en) * 2018-03-15 2020-03-17 International Business Machines Corporation Auto-curation and personalization of sports highlights
US11373404B2 (en) 2018-05-18 2022-06-28 Stats Llc Machine learning for recognizing and interpreting embedded information card content

Also Published As

Publication number Publication date
US11138438B2 (en) 2021-10-05
US20220327829A1 (en) 2022-10-13
US20240169729A1 (en) 2024-05-23
AU2019268359A1 (en) 2021-01-07
CN112753226B (zh) 2024-01-02
CN112753225B (zh) 2024-04-16
EP3811628A1 (en) 2021-04-28
AU2019268359B2 (en) 2024-05-30
AU2019269599A1 (en) 2020-12-24
EP3811627A4 (en) 2022-05-25
US11373404B2 (en) 2022-06-28
EP3811628A4 (en) 2022-05-25
US11594028B2 (en) 2023-02-28
CN112753226A (zh) 2021-05-04
JP2021524686A (ja) 2021-09-13
CN117880585A (zh) 2024-04-12
AU2024202817A1 (en) 2024-05-16
WO2019222397A1 (en) 2019-11-21
AU2019269599B2 (en) 2024-03-07
AU2024202313B2 (en) 2024-05-30
JP7485866B2 (ja) 2024-05-17
US11615621B2 (en) 2023-03-28
US20220027631A1 (en) 2022-01-27
US20190354763A1 (en) 2019-11-21
CA3100788A1 (en) 2019-11-21
EP3811627A1 (en) 2021-04-28
US20190354764A1 (en) 2019-11-21
US20230230377A1 (en) 2023-07-20
CN112753225A (zh) 2021-05-04
JP2021525031A (ja) 2021-09-16
AU2024202313A1 (en) 2024-05-02
CA3100787A1 (en) 2019-11-21
WO2019222409A1 (en) 2019-11-21
US20190356948A1 (en) 2019-11-21
US20230222797A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
JP7485866B2 (ja) 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習
US20190373322A1 (en) Interactive Video Content Delivery
US11025985B2 (en) Audio processing for detecting occurrences of crowd noise in sporting event television programming
US11922968B2 (en) Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
US20200037022A1 (en) Audio processing for extraction of variable length disjoint segments from audiovisual content
CN118158470A (zh) 用于嵌入信息卡定位和内容提取的视频处理

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240314