JP7033587B2 - 映像ハイライトを自動的に製作する方法及びシステム - Google Patents

映像ハイライトを自動的に製作する方法及びシステム Download PDF

Info

Publication number
JP7033587B2
JP7033587B2 JP2019518600A JP2019518600A JP7033587B2 JP 7033587 B2 JP7033587 B2 JP 7033587B2 JP 2019518600 A JP2019518600 A JP 2019518600A JP 2019518600 A JP2019518600 A JP 2019518600A JP 7033587 B2 JP7033587 B2 JP 7033587B2
Authority
JP
Japan
Prior art keywords
ground
raw input
highlight
player
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518600A
Other languages
English (en)
Other versions
JP2019522948A (ja
Inventor
オズ，ガル
リーベルマン，ヨアフ
シャウリ，アビ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixellot Ltd
Original Assignee
Pixellot Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixellot Ltd filed Critical Pixellot Ltd
Publication of JP2019522948A publication Critical patent/JP2019522948A/ja
Application granted granted Critical
Publication of JP7033587B2 publication Critical patent/JP7033587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明の実施例は、グランドにおけるスポーツのイベントの１つ以上の映像ストリームから映像ハイライトを製作することに関する。より詳細には、本発明の実施例は、共有および格納のための映像ハイライトの自動製作に関する。
スポーツ及び他のイベントの量は増加し続けているのでハイライト映像の重要性は増大している。ほとんどの視聴者はこれらのイベントの多くを見たがっているが、限られた量の時間であるため、イベントの重要部分の映像ハイライトの重要性は増加している。
以下の説明は本発明を最初に理解するための概要である。その概要は必ずしも鍵となる要素を識別するものではなく、本発明の範囲を限定するものでもなく、単に以下の説明の導入部分として機能するものである。
本発明の一つの特徴は、グランドの１つ以上の映像ストリームからハイライト映像を自動的に製作する方法を提供し、グランドの最も近くに配置された少なくとも１つのカメラによって捉えられた調整された生入力を受信し、特徴を抽出し、前記調整された生入力を特徴ベクトルに変換し、セグメントを作り、それぞれの前記セグメントの特定イベントを確認し、前記イベントのそれぞれがハイライトであるかどうかを決定し、消費のために前記ハイライトを出力する。
本発明のこれらの、さらなる、及びまたは他の特徴及び又は利点は詳細な説明に示されており、おそらく詳細な説明から推察でき、及び又は本発明の実施により学習できる。
本発明の主題は、明細書の結びに特に指摘され明白にクレームされている。しかしながら、本発明の、目的、特徴、および利点と共に、構成および操作方法は、添付した図面と共に以下の詳細な説明を参照することにより最も良く理解される。
本発明のある実施例に従って、開示された主題の実施例が行われるシステムのための例示の環境の図である。 計算装置のコンピュータアーキテクチャの例示のブロック図である。 グランドのスポーツイベントの映像ストリームからハイライトを製作する例示のコンピュータアーキテクチャを示す図である。 グランドのスポーツイベントの映像ストリームからハイライトを製作する例示の方法のフローチャートである。
図示の簡略化及び明瞭化のため図示された構成要素は必ずしも一定の比率で描かれているとは限らないことが分かるだろう。例えば、構成要素の幾つかの寸法は明瞭化のために他の構成要素に対して誇張されている。さらに適当であると考えられる場合には、対応又は類似の構成要素を含む図の間では参照符号が繰り返される。
以下の詳細な説明では、本発明の完全な理解のため、多数の特定の詳細が示される。しかしながら、当業者によれば、本発明はこれらの特定の詳細を有していなくても実施可能であることが理解されるだろう。他の例では、本発明を不明瞭にしないように、周知の方法、手順、及び構成は詳細に説明されていない。
本発明は、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法、システム及びコンピュータプログラム製品に関する。
本発明の実施例は、以下においてより詳細に説明されるように、例えば、１つ以上のプロセッサ及びシステムメモリのような特別な用途又は通常の用途のコンピュータハードウェアを備え又は使用してもよい。本発明の範囲内の実施例は、コンピュータで実行可能な命令及び又はデータ構造を実行又は格納するための物理的及び他のコンピュータで読み取り可能な媒体を含んでいてもよい。コンピュータで実行可能な命令を格納するコンピュータで読み取り可能な媒体はコンピュータ記憶媒体である。
コンピュータ記憶媒体デバイスは、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＧＰＵメモリ及び他のタイプのメモリを含んでいる。
「通信ネットワーク」は、コンピュータシステム及び又はモジュールの間で電子データの送信をすることのできる１つ以上のデータリンクとして定義される。情報がネットワーク又は他の通信接続（ハードワイヤード、ワイヤレス、又はハードワイヤード又はワイヤレスの組合せ）を介してコンピュータに伝送又は供給される時、コンピュータは伝送媒体としてその接続を適切に競う。
さらに、各種コンピュータシステムにより、コンピュータで実行可能な命令又はデータ構造の形式のプログラムコード手段は伝送媒体からコンピュータ記憶媒体デバイスに（又は逆もまた同じ）自動的に伝送可能である。
この文書を通して、「ウェブサイト」は、最初のファイル、又はホームページと呼ばれる「ウェブページ」、及び通常のさらなるファイル又は「ウェブページ」を含む、ワールドワイドウェブ（www）ファイルの関連の集まりである。「ウェブサイト」という用語は集合的に使用され、「ウェブサイト」及び「ウェブページ」を含む。
本発明は、パーソナルコンピュータ（例えば、ラップトップ、デスクトップ、タブレットコンピュータ）、又は一つの場所から別の場所に容易に伝送する移動装置（例えば、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、移動電話又は携帯電話）を含む他のタイプの計算装置のような、多くのタイプのコンピュータシステムの構成を有するネットワークコンピュータ環境で実施可能であることを、当業者は理解するだろう。
サーバは、通常、上記定義した「コンピュータ」に従って、通信ネットワーク又はインターネットを含む他のコンピュータネットワークのような通信媒体によりアクセス可能な、リモートコンピュータ又はリモートコンピュータシステム、又はその中のコンピュータプログラムである。「サーバ」は、同じ又は他のコンピュータの他のコンピュータプログラム（及びそれらのユーザ）のために、サービスを提供又は機能を実行する。サーバはまた、バーチャルマシン、コンピュータのエミュレーションに基づくソフトウェアを含んでいてもよい。
中央処理装置（ＣＰＵ）は、例えば、サーバで使用されるもの、コンピュータおよび他のコンピュータ化された装置のような、コンピュータプロセッサである、１つ以上のプロセッサにより形成されている。例えば、プロセッサは、ＡＭＤ及びインテルからのＸ８６プロセッサ、インテルからのＸｅｎｏｎ（登録商標）及びＰｅｎｔｉｕｍ（登録商標）、及びそれらの組合せを含んでいてもよい。
画像処理装置（ＧＰＵ）は、映像及び画像の性能を管理及び上げるために使用されるシングルチッププロセッサである。ＧＰＵは画像計算及び処理を最適化するすべての計算及び処理を実行する。ＧＰＵの例は、米国、カリフォルニア州、サンタクララ市のＮＶＩＤＩＡ製であり、ＧｅＦｏｒｃｅＴＭの製品を含んでいる。図１を参照すると、図１は、メインサーバとしても公知なホームサーバ１０４に連結されるネットワーク１０２を含む、システム１００のための例示の環境の図を示している。ホームサーバ１０４は、本発明に従って各種処理を実行する。ネットワークは、例えば、ローカルエリアネットワーク（ＬＡＮ）又は広域エリアネットワーク（ＷＡＮ）のような通信ネットワークであり、インターネットのような公共ネットワークを含む。図１に示されているように、ネットワーク１０２は、ネットワークの組合せ及び又は複数のネットワークであってもよく、例えば、セルラー通信網を含む。ここで使用される「連結（Linked）」はハードワイヤード又はワイヤレスリンクの両方、直接か間接のいずれか、及びお互いの電子及び又はデータ通信におけるサーバ、コンポーネント等を含むコンピュータを配置することを含む。
カメラ１０６は、グランド１０８に最も近く配置された１つ以上のカメラを表しており、映像ハイライトが製作されるイベントを代表するスポーツイベントを自動的に撮影し、ネットワーク１０２に接続され、本発明に従って処理するホームサーバ１０４に記録された映像を送る。別の実施例によれば、カメラ１０６により捉えられた映像は、コンパクトディスク、デジタル仮想ディスク等の大容量記憶装置１１０に置かれ、ネットワーク１０２を介して管理者に供給される。別の実施例では、映像はリアルタイムで処理される。ホームサーバ１０４は、多数のさらなるサーバ機能及び操作を提供するため、１つ以上のコンポーネント、エンジン、モジュール等を含むアーキテクチャである。説明の目的のため、ホームサーバ１０４は、例えば、www.hs.comのユニフォームリソースロケータ（URL）を有していてもよい。
ホームサーバ１０４の例示のブロック図を示す図２を参照する。ホームサーバ１０４は、１つ以上のプロセッサの中央処理ユニット（ＣＰＵ）２０４、及び１つ以上のプロセッサの画像処理装置（ＧＰＵ）２０６から形成されるコンピュータ化された処理ユニット２０２、１つ以上のメモリ装置２０４，１つ以上のインターフェース２１０、１つ以上の入力／出力装置２２６を含んでいる。プロセッサ２０２は、キャッシュメモリのような各種タイプのコンピュータ記憶媒体を含んでいてもよい。中央処理ユニット２０２はＣＰＵ２０４及びＧＰＵ２０６が例えば電子的に接続されるようになっており、メモリデバイス２１４、インターフェース２２０、大容量記憶装置２３０、Ｉ／Ｏ装置２４０及びディスプレイ装置２５０を含んでいる。
中央処理ユニット２０４は、マイクロプロセッサを含む１つ以上のプロセッサから形成され、さらに詳述されるホームサーバ１０４の機能及び操作を実行する。画像形成装置（ＧＰＵ）２０６はＣＰＵ２０４と並列計算することができ、コンピュータ化された処理ユニット２０２がＣＰＵ２０４とＧＰＵ２０６のいずれか又は両方と機能する。
メモリデバイス２１０はＣＰＵ２０４及びＧＰＵ２０６と連結され、揮発性メモリ及び又は非揮発性メモリのような各種コンピュータ記憶媒体を含んでいる。大容量記憶装置２３０は磁気ディスク、光学ディスクのような各種コンピュータ記憶媒体を含んでいる。図１に示されているように、特定の大容量記憶装置はハードディスクドライブ２３２である。大容量記憶装置２３０はリムーバブル記憶装置２３４を含んでいる。Ｉ／Ｏ装置２４０は、ホームサーバ１０４がユーザインターフェース２２２、ネットワークインターフェース２２４及び周辺インターフェース２２６のような他のシステム、装置及びユーザと相互に作用可能な各種インターフェースを含んでいる。
より詳細には、図３のコンピュータアーキテクチャ３００に示されている。ホームサーバ１０４は、ネットワーク通信モジュール３０２（オプション）、低レベル処理モジュール３０４、ラフセグメンテーションモジュール３０６、分析モジュール３０８及び消費のための出力の選択３１０を含んでいる。ネットワーク通信モジュール３０２はホームサーバ１０４との間でのすべての通信を取り扱い、オプションである。
低レベル処理モジュール３０４は特徴３１４を抽出する。それは調整された生入力３３０を特徴ベクトルに変換する（例えば、入力画像中の輪郭及びエッジ）。例えば、低レベル処理モジュールは撮影されるバスケットコート上のバスケットゲームのバスケットの周囲の動きを検出する。
ラフセグメンテーションモジュール３０６は抽出された特徴３１４を低レベル処理モジュール３０４によって処理するために機能する。モジュール３０６は、所定の基準に従って、各種閾値を抽出された特徴３１４に適用し、イベントに焦点を当てるかどうかを決定する。バスケットゲームに関連した以前に参照された例、検出された特徴ベクトルに帰することで、バスケットボールの周囲の動きが監視される。バスケットボールの周囲の動きが持続されない場合、イベントは非イベントと考えられ、落とされる。バスケットゴールの周囲の動きが持続される場合、これはイベント３１６であり、分析のため、分析モジュール３０８に進む。
分析モジュール３０８はイベントがハイライトに相応しいイベント３１８かどうかを決定するために機能し、消費モジュールのための出力選択モジュール３１０に出力する。幾つかの実施例によれば、分析モジュール３０８は機械学習又は「ディープラーニング」を含む処理によりその分析を行う。機械学習において、モジュールは、既知のイベント及び不知のイベント３４０の大量のサンプルをプログラミングすることでイベントであるものをプログラムされ又は教えられる。例えば、機械学習モジュールは、「ゴール」及び「ノーゴール」の大量のサンプルを体験することでイベントがサッカーのゴールか又はゴールでないかを決定することができる。同様に、バスケット映像の周囲のノイズはそれがバスケットのボールのダンクショットかどうかを調べるために分析される。このモジュールは、その機械学習により、ラフセグメントがダンクシュートであることを決定し、消費のための出力選択により処理されるようになっている。
消費のための出力選択モジュール３１０は分析モジュール３１８から入力として受信したハイライト３１８を分類すると共にタグをつける。幾つかの実施例によれば、タグ付けは、例えば、参加者（例えば、個々のプレーヤ又はチーム）のハイライトの時間、リアルタイム及びゲーム時間、ゲームのポイント、フィールド／コートの位置、ゲームに特有のハイライトのタイプ、例えば、レイアップ、ダンクシュート及びイベントのサンプルの起こりそうなことであってもよい。さらに、モジュール３１０はハイライトが使用される方法、例えばパッケージングのタイプを決定する。一実施例によれば、使用法は、ハイライトフィルムのハイライト、凝縮されたゲーム、リプレイ、コマーシャルタイムブレイク、プレーヤ特有のハイライト等としてである。モジュール３１０の出力はハイライトのパッケージング３１２であり、大容量記憶装置２３０又はクラウドに格納可能である。それは、例えば、ソーシャルメディアサイト、映像共有サイト又はその他の場所のように、お互いに共有するために使用可能である。幾つかの実施例によれば、ユーザは出力された所望なハイライト及びパッケージングのタイプを選択するように促されてもよい（ユーザの嗜好３４０）。
図４はグランドの映像ストリームからハイライト映像を製作するための例示の方法４００のフローチャートを示している。図４の方法はスタートブロック４０２で開始する。幾つかの実施例によると、その方法は、所定時間及びすべてのブロックを通過するたびに生入力４０４を受信することを意味するリアルタイムで実施される。
ブロック４０２では、カメラが調整され、グランド／コート上の特定点（位置）がカメラから映像に変換されるようになっている。音声は映像と同調する。これは必要な準備段階である。
その後、方法はブロック４０４に移動し、ホームサーバ１０４は、実際のイベント時間と同様、通常イベントの音声と共に、調整された映像の形式で、調整された生入力を受信する。音声は、通常、（スポーツイベントの場合には）スコアボードの変更のような他の出来事と同様に、映像により調整される。音声は、周囲の音声、例えばイベント自体により生じたノイズを含み、プレーヤ及び群集音、放送局の解説等により生じたノイズを含む。映像は、プレーヤ、カメラが集中するグランドの各種エリア、群集の例えば座っていたり立っていたりその間で移動したりしている映像を含む。また、スコアボードの変更及び、ハーフ、クォータ、及び他の分割方法、例えば全ゲーム時間の開始、中間、終了等の時間のようなピリオドゲーム中の経過時間等のイベントでの出来事もある。入力は、例えば、さらに詳細なスコアボードの映像、ゲーム時刻の映像、エンドユーザがソーシャルメディア等から収集した統計としてのクラウドタグ付けを含んでいてもよい。
その方法はブロック４０６に移動し、低レベル処理４０６がホームサーバ１０４によって行われる。この低レベル処理では、調整された生入力は、例えば、映像及び視覚的特徴、音声、及びスコアボードの変更、ゲームのピリオド等のゲームの経過時間の、特徴に分解される。幾つかの実施例では、幾つかの実施例では、低レベル処理４０６は、以下の通りである。
・カメラ１１０から捉えられた映像、調整された映像：調整された映像の処理は、映像がカメラの視野の各点に関する情報により処理されるようになっており、各点がカメラの画像にどのように変換されるかが知られるようになっている。例えば、映像は、グランドの一定エリアを認識し、例えば、背番号又は他の識別方法によって、スタープレーヤ又はキーパフォーマンスプレーヤの一定のプレーヤを認識することで処理され、各種プレーヤがグランド上でどのように動いているかを認識し、ゴールネット、センターサークルのようなグランドの重要位置を認識する。調整された映像は、ゴールにシュートを打ったり、ネットにボールをダンクシュートするためにゴールネットの近くでジャンプしたりするような、ゲームに特有な特徴的なプレーヤの動きを処理することも含む。チアリーダ又は他のグループのようなエンターテイメントが行う時のゲーム中の中断、コンテスト、試合場で飛ぶ屋内気球、Ｔシャツ及びホットドッグ、及び群衆に分配される他の物体のような、全体的なアーチファクトも処理される。
・周囲の音声：周囲の音声の処理は、中断時の声援及び拍手喝采、タイムアウト、プレイの停止、群衆の歌、ゴール時やゲームの終了時に演奏される音楽、チームを声援して勢いをつけるために群衆を興奮させるための音楽、グランドの笛、ボールのノイズや叫び声を含むプレーヤのノイズ、レフリーの笛等の音の形で、群衆の音声のような、音声レベル（振幅及び周波数）及びその上昇及び降下のための周囲の音声を分析することを含む。
・解説者の音声として知られる解説者／アナウンサーの音声：高い調子で早いスピーチは通常重要なイベントを示すので、解説者の音声の処理は解説者の音声レベルを分析することを含む。同じことは音調の変化のため解説者の音声を正しく分析することを保持する。また、解説者の音声は、ゲームの重要なイベントを示す、「スコア」、「ゴール」、「ゴールのネット」等のような特有の言葉を有する会話を分析可能である。また、会話認識は、「ゴール」という単語の発音を長く伸ばすような解説者の特有の言い回し、特定のサッカー解説者に知られた言い回しを探すようにプログラミングされることもできる。
・スコアボード：スコアボードは、スコアの変化、ゲームの時間、ピリオドの終了、プレイの停止時間、タイムアウト等のゲーム時間のイベントから監視される。何のイベントがゲーム時間に基づき発生するのかを見るため、スコアボードが分析され、ゲームの経過時間を決定する。スコアボードは、ハイライトで表示される短時間で急にチームが得点するようなゲームの短時間を決定するために使用されることもできる。
・群衆のタグ付け：群衆のタグ付けは、ゲーム中のあるイベントと関連する入力を受信することを含む。例えば、群衆の仲間が特定の時間に得点したゴールにコメントしてもよく、これらの群衆のコメントは、Facebook（登録商標）、Instagram（登録商標）、Twitter（登録商標）のようなソーシャルネットワークを介してもよく、これらは、例えば、実際の時刻で見て、それをソーシャルメディアメールの実際の時間と比較することにより、ゲームの各種時点に結び付けられる。
・プレーヤの追跡：プレーヤの追跡において、ホームサーバ１０４は、特定のプレーヤが速度を上げたり、遅くしたり、或いはグランドの各種位置へ移動する時、特定のプレーヤ及び彼らの特定の動きを探す。例えば、かなり長い時間、プレーヤがグランドの攻撃側にいる場合、プレーヤはハイライトの主題であるゴールを入れ又は得点をアシストする。また、プレーヤの交代及び交代の時間は重要なイベントを示す。例えば、バスケットボールでは、良いプレイをしたプレーヤは通常ゲームの終わりに交代し、群衆はそのプレーヤに声援や拍手喝采等を与える。
その後、方法はホームサーバ１０４がラフセグメンテーションを行うブロック４０８に移動する。セグメントが映像の低レベル処理４０６に基づき作られ、各セグメントの特定のイベントが識別される。例えば、一定の時間、周囲及び解説者のノイズを有する映像があった場合、これはセグメントとして識別されると共にそのセグメントの特定のイベントを識別する価値のあるセグメントとなる。このセグメントが所定の閾値を通過した場合、そのセグメントはハイライトのために可能なセグメントとして維持される。
その後、その方法はブロック４１０に移動し、一実施例による分析がディープラーニング処理のような機械学習（ＭＬ）処理により行われ、この段階で、新しい特徴ベクトルが元の調整された生入力データから抽出される。あるセグメントがハイライトであるかどうかの決定はこの新しい特徴ベクトルから引き出される。機械学習処理は、オフライン処理を使用して、異なるセグメントがハイライト（又はそうでない）と定義されるかどうかを学習するディープラーニングネットワークで実行されてもよい。ここで使用される「ディープラーニング」は、複雑な構造又はそうではなく多重非線形変換から成る多重処理レイヤーを使用することにより、データに高レベルなアブストラクトを形成するように試みる１セットのアルゴリズムに基づく機械学習の枝分かれである。
前述したディープラーニングは、例えば、２段階処理である、第１の段階は、（通常、人間の入力により）ハイライトが特定のイベントとして特徴付けられる学習段階であり、各特定のイベントが学習される。ホームサーバ１０４は、学習されたイベントの大サイズのサンプルから学習された一定のイベントを有する特定のイベントを認識するように最終的に訓練される。一実施例によれば、信号の特徴、画像の特徴、音声の特徴及び映像の特徴は特徴バケットに入れられ、その特徴バケットはディープラーニング機構に向かう。学習のための入力イベントが多い程、ハイライトの分類エラーの可能性は最小化される。さらに、ハイライトはそれらがハイライトかどうかを決定する最終ステップとして重み付けされると共にフィルタリングされてもよい。次に、ディープラーニングの結果はセグメントに加えられ、それがハイライトかどうか及びそれが、ゴール、良いプレイ等のどんなタイプのハイライトかを決定する。
一旦ディープラーニングが完了すると、その方法はブロック４１２に移動し、ディープラーニングによりハイライトであると決定されたイベントは消費のための出力となる。出力されたハイライトは関連の分類決定と出力されたハイライトのタイプを示すメタデータ
を含む。
その後、その方法はブロック４１４に移動し、パッケージングのタイプが選択される。一実施例によれば、それは所定のデフォルトタイプに基づく。別の実施例によれば、それはユーザの嗜好に基づき、例えば、ユーザが所望の出力されたハイライト及び該ハイライトのためのパッケージングのタイプを選択するようにシステムによって促される。パッケージングは、例えば、すべてのゲームの動きが考慮される凝縮されたゲーム及びゲームの「ストーリー」を述べる短いバージョン（通常、５～１０分間）が作られ、タイムアウト等、ゲームに活気がないことをシステムが確認すると共にリプレイとしてハイライトを導入する特定の中継、ユーザが興奮する瞬間に焦点を当てるハイライトフィルム、例えば、幾つかのゲームハイライト又は放送広告のための時間に囲まれる一連の動作で特定のプレーヤに焦点を当てるクリップのようなパーソナルクリップである。
一実施例によれば、その方法はブロック４１６に移動し、終了する。別の実施例によれば、映像がリアルタイムで処理され、その方法はブロック４０４に移動し、次の調整された生入力を処理する。
本発明の実施例の方法及び又はシステムの実施は、手動、自動、又はその組み合わせで選択したタスクを実行又は完成することを含むことができる。さらに、本発明の方法及び又はシステムの実施の実際の器具及び機器によれば、幾つかのタスクは、動作システムを使用して、ハードウェアにより、ソフトウェアにより又はファームウェアにより又はその組み合わせにより、実施可能である。
例えば、本発明の実施例により選択されたタスクを実行するハードウェアはクリップ又は回路として実施可能である。ソフトウェアとして、本発明の実施例により選択されたタスクな適切な動作システムを使用してコンピュータにより実行される複数のソフトウェアの命令として実施可能である。
本発明の一実施例において、ここに説明された方法及び又はシステムの実施例による１つ以上のタスクは、複数の命令を実行するためのコンピュータプラットフォームのようなデータプロセッサにより実行される。選択的に、データプロセッサは、命令及び又はデータを格納する揮発性メモリ、及び又は命令及び又はデータを格納するための磁気ハードディスク及び又はリムーバブルメディアのような非一時的記憶媒体等の被揮発性記憶装置を含んでいる。ディスプレイ及び又はキーボード又はマウスのようなユーザ入力装置もまた選択的に供給される。
ここには、本発明のある特徴が示され、説明されているが、多くの修正、代用、変形、及び均等物が当業者であれば浮かぶだろう。したがって、添付した請求項は本発明の精神の範囲内にあるすべてのそのような修正及び変形をカバーするように意図されていることが理解されるべきである。

Claims (18)

  1. グランドの１つ以上の映像ストリームからハイライト映像を自動的に製作する方法であって、
    前記グランドの最も近くに配置された少なくとも１つのカメラによって捉えられた調整された生入力であって、音声と調整された映像と実際のイベント時間とを含み、音声と映像が同調された、調整された生入力を受信することと、
    特徴を抽出し、前記調整された生入力を、低レベル処理を加えることによって特徴ベクトルに変換し、前記低レベル処理は、グランドについての情報、一定のプレーヤについての情報、及び各プレーヤがグランドでどのように動いているかについての情報を含む、前記少なくとも１つのカメラの視野内の地点に関する既存の情報を使用することと、
    前記特徴ベクトルからセグメントを作り、ラフセグメンテーションを適用することによってそれぞれの前記セグメントの特定イベントを識別し、前記ラフセグメンテーションは、所定の基準に従って定義される複数の閾値を抽出された特徴に適用してイベントに焦点を当て続けるかどうかを決定することと、
    解析アルゴリズムを適用することによって前記イベントのそれぞれがハイライトであるかどうかを決定することと、
    消費のために前記ハイライトを出力し、消費のために出力されるパッケージのタイプを決定することと、
    を含む方法。
  2. 前記調整された生入力の受信は所定時間毎のリアルタイムで行われる請求項１の方法。
  3. 前記パッケージのタイプは、
    ・凝縮されたゲーム
    ・リプレイ
    ・ハイライトフィルム
    ・個人のクリップ
    の少なくとも１つを含む請求項１の方法。
  4. ユーザの嗜好に基づき前記パッケージのタイプを決定することをさらに含む請求項１の方法。
  5. 前記イベントのそれぞれがハイライトかどうかを決定することは、さらにディープラーニングプロセスに基づく請求項１の方法。
  6. 前記音声は周囲の音声を含む請求項１の方法。
  7. 前記音声は解説者の音声を含む請求項１の方法。
  8. 前記捉えられた生入力は、
    ・特定プレーヤ
    ・グランドの各種エリア
    ・スコアボード
    ・ゲーム時計
    ・グランドのプレーヤの活動の動画
    ・相対的時間
    ・ユーザの収集した統計
    の少なくとも１つを含む請求項１の方法。
  9. 前記生入力を記憶媒体に記憶することと通信ネットワークを介してアクセスを供給することをさらに含む請求項１の方法。
  10. グランドの１つ以上の映像ストリームからハイライト映像を自動的に製作するシステムであって、
    １つ以上のプロセッサを含むホームサーバと、
    １セット以上の命令を記憶する１つ以上の非一時的なコンピュータ読み取り可能な媒体と、
    を備え、１つ以上のプロセッサにより実行される時、該１つ以上のプロセッサに、
    前記グランドの最も近くに配置された少なくとも１つのカメラによって捉えられた調整された生入力であって、音声と調整された映像と実際のイベント時間とを含み、音声と映像が同調された、調整された生入力を受信することと、
    特徴を抽出し、前記調整された生入力を、低レベル処理を加えることによって特徴ベクトルに変換し、前記低レベル処理は、グランドについての情報、一定のプレーヤについての情報、及び各プレーヤがグランドでどのように動いているかについての情報を含む、前記少なくとも１つのカメラの視野内の地点に関する既存の情報を使用することと、
    前記特徴ベクトルからセグメントを作り、ラフセグメンテーションを適用することによってそれぞれの前記セグメントの特定イベントを識別し、前記ラフセグメンテーションは、所定の基準に従って定義される複数の閾値を抽出された特徴に適用してイベントに焦点を当て続けるかどうかを決定することと、
    解析アルゴリズムを適用することによって前記イベントのそれぞれがハイライトであるかどうかを決定することと、
    消費のために前記ハイライトを出力し、消費のために出力されるパッケージのタイプを決定することと、
    を実行させるシステム。
  11. 前記調整された生入力の受信は所定時間毎のリアルタイムで行われる請求項１０のシステム。
  12. 前記パッケージのタイプは、
    ・凝縮されたゲーム
    ・リプレイ
    ・ハイライトフィルム
    ・個人のクリップ
    の少なくとも１つを含む請求項１０のシステム。
  13. ユーザの嗜好に基づき前記パッケージのタイプを決定することをさらに含む請求項１０のシステム。
  14. 前記イベントのそれぞれがハイライトかどうかを決定することは、さらにディープラーニングプロセスに基づく請求項１０のシステム。
  15. 前記音声は周囲の音声を含む請求項１０のシステム。
  16. 前記音声は解説者の音声を含む請求項１０のシステム。
  17. 前記捉えられた生入力は、
    ・特定プレーヤ
    ・グランドの各種エリア
    ・スコアボード
    ・ゲーム時計
    ・グランドのプレーヤの活動の動画
    ・相対的時間
    ・ユーザの収集した統計
    の少なくとも１つを含む請求項１０のシステム。
  18. 通信ネットワークをさらに備え、前記１つ以上のプロセッサはさらに、
    前記生入力を記憶媒体に記憶することと前記通信ネットワークを介してアクセスを供給すること実行する請求項１０のシステム。
JP2019518600A 2016-06-20 2017-06-19 映像ハイライトを自動的に製作する方法及びシステム Active JP7033587B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662352026P 2016-06-20 2016-06-20
US62/352,026 2016-06-20
PCT/IL2017/050678 WO2017221239A2 (en) 2016-06-20 2017-06-19 Method and system for automatically producing video highlights

Publications (2)

Publication Number Publication Date
JP2019522948A JP2019522948A (ja) 2019-08-15
JP7033587B2 true JP7033587B2 (ja) 2022-03-10

Family

ID=60783387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518600A Active JP7033587B2 (ja) 2016-06-20 2017-06-19 映像ハイライトを自動的に製作する方法及びシステム

Country Status (9)

Country Link
US (1) US10970554B2 (ja)
EP (1) EP3473016B1 (ja)
JP (1) JP7033587B2 (ja)
CN (1) CN109691124B (ja)
BR (1) BR112018076452A2 (ja)
CA (1) CA3028328A1 (ja)
IL (1) IL263851B (ja)
MX (1) MX2018016323A (ja)
WO (1) WO2017221239A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6482263B1 (en) 2000-10-06 2002-11-19 Memc Electronic Materials, Inc. Heat shield assembly for crystal pulling apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2580937B (en) * 2019-01-31 2022-07-13 Sony Interactive Entertainment Europe Ltd Method and system for generating audio-visual content from video game footage
CN113574866B (zh) 2019-02-28 2024-08-02 斯塔特斯公司 校准捕捉广播视频的移动相机的系统及方法
CN110012348B (zh) * 2019-06-04 2019-09-10 成都索贝数码科技股份有限公司 一种赛事节目自动集锦系统及方法
GB2587627B (en) * 2019-10-01 2023-05-03 Sony Interactive Entertainment Inc Apparatus and method for generating a recording
US11277461B2 (en) * 2019-12-18 2022-03-15 The Nielsen Company (Us), Llc Methods and apparatus to monitor streaming media
US11561610B2 (en) 2020-03-11 2023-01-24 Moea Technologies, Inc. Augmented audio conditioning system
DE102020117372A1 (de) * 2020-07-01 2022-01-05 SPORTTOTAL TECHNOLOGY GmbH Verfahren und System zur automatischen Analyse von Sportveranstaltungen
CN112291574B (zh) * 2020-09-17 2023-07-04 上海东方传媒技术有限公司 一种基于人工智能技术的大型体育赛事内容管理系统
CN112738557A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN113569942B (zh) * 2021-07-26 2024-04-05 上海明略人工智能(集团)有限公司 短视频事件分类方法、系统、电子设备及存储介质
CN114011030A (zh) * 2021-11-29 2022-02-08 同济大学 一种智能透明篮板
GB2622466A (en) * 2022-07-01 2024-03-20 Genius Sports Ss Llc Automatic alignment of video streams

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007073349A1 (en) 2005-12-19 2007-06-28 Agency For Science, Technology And Research Method and system for event detection in a video stream
JP2009095013A (ja) 2007-09-24 2009-04-30 Fuji Xerox Co Ltd ビデオ要約システムおよびビデオ要約のためのコンピュータプログラム
US20140176708A1 (en) 2012-12-21 2014-06-26 Robert Bosch Gmbh System And Method For Detection Of High-Interest Events In Video Data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143354B2 (en) * 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7143352B2 (en) * 2002-11-01 2006-11-28 Mitsubishi Electric Research Laboratories, Inc Blind summarization of video content
US7802188B2 (en) * 2004-05-13 2010-09-21 Hewlett-Packard Development Company, L.P. Method and apparatus for identifying selected portions of a video stream
JP2007060606A (ja) * 2005-08-25 2007-03-08 Yoshiaki Ito ビデオの自動構造抽出・提供方式からなるコンピュータプログラム
US7558809B2 (en) 2006-01-06 2009-07-07 Mitsubishi Electric Research Laboratories, Inc. Task specific audio classification for identifying video highlights
CN100531352C (zh) * 2007-08-10 2009-08-19 西安交通大学 一种检测足球比赛视频精彩片段的方法
US7983442B2 (en) * 2007-08-29 2011-07-19 Cyberlink Corp. Method and apparatus for determining highlight segments of sport video
CN101477633B (zh) * 2009-01-21 2010-08-25 北京大学 自动估计图像和视频的视觉显著度的方法
US8923607B1 (en) * 2010-12-08 2014-12-30 Google Inc. Learning sports highlights using event detection
CN102427507B (zh) * 2011-09-30 2014-03-05 北京航空航天大学 一种基于事件模型的足球视频集锦自动合成方法
US20140328570A1 (en) * 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
US9805268B2 (en) * 2014-07-14 2017-10-31 Carnegie Mellon University System and method for processing a video stream to extract highlights
CN104123396B (zh) * 2014-08-15 2017-07-07 三星电子（中国）研发中心 一种基于云电视的足球视频摘要生成方法及装置
CN104199933B (zh) * 2014-09-04 2017-07-07 华中科技大学 一种多模态信息融合的足球视频事件检测与语义标注方法
US10572735B2 (en) * 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007073349A1 (en) 2005-12-19 2007-06-28 Agency For Science, Technology And Research Method and system for event detection in a video stream
JP2009095013A (ja) 2007-09-24 2009-04-30 Fuji Xerox Co Ltd ビデオ要約システムおよびビデオ要約のためのコンピュータプログラム
US20140176708A1 (en) 2012-12-21 2014-06-26 Robert Bosch Gmbh System And Method For Detection Of High-Interest Events In Video Data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6482263B1 (en) 2000-10-06 2002-11-19 Memc Electronic Materials, Inc. Heat shield assembly for crystal pulling apparatus

Also Published As

Publication number Publication date
US10970554B2 (en) 2021-04-06
IL263851A (en) 2019-01-31
CN109691124A (zh) 2019-04-26
BR112018076452A2 (pt) 2019-04-09
EP3473016A4 (en) 2020-02-26
CA3028328A1 (en) 2017-12-28
EP3473016A2 (en) 2019-04-24
JP2019522948A (ja) 2019-08-15
US20200311433A1 (en) 2020-10-01
CN109691124B (zh) 2021-07-27
MX2018016323A (es) 2019-09-05
IL263851B (en) 2021-08-31
WO2017221239A3 (en) 2018-02-08
WO2017221239A2 (en) 2017-12-28
EP3473016B1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
JP7033587B2 (ja) 映像ハイライトを自動的に製作する方法及びシステム
US10987596B2 (en) Spectator audio analysis in online gaming environments
US10643492B2 (en) Remote multiplayer interactive physical gaming with mobile computing devices
CN109145784B (zh) 用于处理视频的方法和装置
US9278288B2 (en) Automatic generation of a game replay video
US20230206731A1 (en) Systems and methods for generation of virtual sporting events
US10293260B1 (en) Player audio analysis in online gaming environments
JP6673221B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110505519A (zh) 一种视频剪辑方法、电子设备及存储介质
US10864447B1 (en) Highlight presentation interface in a game spectating system
KR20210025711A (ko) 게임 클립 인기 기반 제어 기법
US10363488B1 (en) Determining highlights in a game spectating system
CN111147871B (zh) 直播间歌唱识别方法、装置及服务器、存储介质
US20230338840A1 (en) Systems and methods for manipulation of outcomes for virtual sporting events
WO2022178385A1 (en) Micro-level and macro-level predictions in sports
JP2018525675A (ja) 過去のブロードキャストテキストを用いてライブテキストブロードキャストコンテンツを生成する方法およびデバイス
JP2023528756A (ja) アクティビティの現実世界データを用いた現実世界アクティビティ・シミュレーション増強
CN114339423B (zh) 短视频生成方法、装置、计算设备及计算机可读存储介质
JP7314605B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
GB2533924A (en) An apparatus, a method, a circuitry, a multimedia communication system and a computer program product for selecting field-of-view of interest
CN107133561A (zh) 事件处理方法和装置
WO2017087641A1 (en) Recognition of interesting events in immersive video
US20230116986A1 (en) System and Method for Generating Daily-Updated Rating of Individual Player Performance in Sports
CN114268814B (zh) 音乐视频的获取方法、装置和存储介质及电子设备
CN113542774B (zh) 视频同步方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R150 Certificate of patent or registration of utility model

Ref document number: 7033587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150