JPWO2020174383A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020174383A5
JPWO2020174383A5 JP2021535241A JP2021535241A JPWO2020174383A5 JP WO2020174383 A5 JPWO2020174383 A5 JP WO2020174383A5 JP 2021535241 A JP2021535241 A JP 2021535241A JP 2021535241 A JP2021535241 A JP 2021535241A JP WO2020174383 A5 JPWO2020174383 A5 JP WO2020174383A5
Authority
JP
Japan
Prior art keywords
audiovisual segment
audiovisual
time interval
padding
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021535241A
Other languages
English (en)
Other versions
JP2022521120A (ja
JP7450623B2 (ja
Publication date
Priority claimed from US16/283,912 external-priority patent/US10832734B2/en
Application filed filed Critical
Publication of JP2022521120A publication Critical patent/JP2022521120A/ja
Publication of JPWO2020174383A5 publication Critical patent/JPWO2020174383A5/ja
Application granted granted Critical
Publication of JP7450623B2 publication Critical patent/JP7450623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. 方法であって、
    第1の未パディング視聴覚セグメントを示す情報を含んだ第1の未パディング視聴覚セグメント・データ・セットを受け取ることであって、前記第1の未パディング視聴覚セグメントが、人間の聴衆のためにスポーツ大会で記録した視聴覚データに相当する、前記受け取ることと、
    前記第1の未パディング・セグメントの前または後あるいはその両方で生じるパディング時間間隔のセットを決定することと、
    パディング時間間隔の前記セットの各所与のパディング時間間隔に対して、
    前記第1の未パディング視聴覚セグメントが、前記所与のパディング時間間隔を通じて続き、機械学習(ML)アルゴリズムにより決定されるスポーツ視聴者関心値を有する場合に、前記所与のパディング時間間隔を特徴づけるであろうそれぞれの対応する前記スポーツ視聴者関心値を決定すること、および
    前記所与のパディング時間間隔に対するパディング視聴覚セグメントが、前記所与のパディング時間間隔に対し決定された前記スポーツ視聴者関心値で特徴づけられるように、前記所与のパディング時間間隔に対する前記パディング視聴覚セグメントを生成することと、
    第1のパディング済視聴覚セグメントを示す情報を含んだ第1のパディング済視聴覚セグメント・データ・セットを取得するために、パディング時間間隔の前記セットの各パディング時間間隔に対応する前記パディング視聴覚セグメントで、前記第1の未パディング視聴覚セグメントを組み立てることと、
    全体として考慮して前記第1のパディング済視聴覚セグメントのスポーツ視聴者関心値を、前記MLアルゴリズムにより決定することと
    を含む、方法。
  2. 全体として考慮した前記第1のパディング済視聴覚セグメントの前記スポーツ視聴者関心値に少なくとも部分的に基づいて、スポーツ・ハイライト・リールに含めるために、前記第1の未パディング視聴覚セグメントを選択すること
    をさらに含む、請求項1に記載の方法。
  3. 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、前記所与のパディング時間間隔に対して合成視聴覚セグメントを生成することを含む、請求項1または2のいずれかに記載の方法。
  4. 各所与のパディング時間間隔に対する前記合成視聴覚セグメントの前記生成が、敵対的生成ネットワーク(GAN)によって実施される、請求項3に記載の方法。
  5. 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、前記MLアルゴリズムによって決定される既知のスポーツ視聴者関心値を有する1つまたは複数の既存の視聴覚セグメントを組み立てることを含む、請求項1ないし4のいずれかに記載の方法。
  6. 前記第1の未パディング視聴覚セグメントの直前に生じる第1のパディング時間間隔、および前記第1の未パディング視聴覚セグメントの直後に生じる第2のパディング時間間隔、の2つのパディング時間間隔があり、
    前記第1および第2のパディング時間間隔が、少なくとも実質的に等しい期間である、
    請求項1ないし5のいずれかに記載の方法。
  7. 方法であって、
    第1の未パディング視聴覚セグメントを示す情報を含んだ第1の未パディング視聴覚セグメント・データ・セットを受け取ることと、
    前記第1の未パディング・セグメントの前または後あるいはその両方で生じるパディング時間間隔のセットを決定することと、
    パディング時間間隔の前記セットの各所与のパディング時間間隔に対して、
    前記第1の未パディング視聴覚セグメントが、前記所与のパディング時間間隔を通じて続き、機械学習(ML)アルゴリズムにより決定される視聴者関心値を有する場合に、前記所与のパディング時間間隔を特徴づけるであろうそれぞれの対応する前記視聴者関心値を決定すること、および
    前記所与のパディング時間間隔に対する合成視聴覚セグメントが、前記所与のパディング時間間隔に対して決定された前記視聴者関心値で特徴づけられるように、前記所与のパディング時間間隔に対する前記合成視聴覚セグメントを生成することと、
    第1のパディング済視聴覚セグメントを示す情報を含んだ第1のパディング済視聴覚セグメント・データ・セットを取得するために、パディング時間間隔の前記セットの各パディング時間間隔に対応する前記合成視聴覚セグメントで、前記第1の未パディング視聴覚セグメントを組み立てることと、
    全体として考慮して前記第1のパディング済視聴覚セグメントの視聴者関心値を、前記MLアルゴリズムにより決定することと
    を含む、方法。
  8. 全体として考慮した前記第1のパディング済視聴覚セグメントの前記視聴者関心値に少なくとも部分的に基づいて、より大きいビデオ上演に含めるために、前記第1の未パディング視聴覚セグメントを選択すること、
    をさらに含む、請求項7に記載の方法。
  9. 各所与のパディング時間間隔に対する前記合成視聴覚セグメントの前記生成が、敵対的生成ネットワーク(GAN)によって実施される、請求項7または8のいずれかに記載の方法。
  10. 前記合成視聴覚セグメントが、人間の視聴者に理解できない、請求項7ないし9のいずれかに記載の方法。
  11. (i)前記第1の未パディング視聴覚セグメントの直前に生じる第1のパディング時間間隔、および(ii)前記第1の未パディング視聴覚セグメントの直後に生じる第2のパディング時間間隔、の2つのパディング時間間隔があり、
    前記第1および第2のパディング時間間隔が、少なくとも実質的に等しい期間である、
    請求項7ないし10のいずれかに記載の方法。
  12. 複数の訓練データ・セットで前記MLアルゴリズムを訓練することであって、各訓練データ・セットが、(i)視聴覚セグメントを示す情報を含んだ視聴覚セグメント・データ・セット、および(ii)視聴者関心値を含む、前記訓練すること
    をさらに含み、
    各所与のパディング時間間隔に対する前記合成視聴覚セグメントの前記生成が、前記複数の訓練データ・セットに基づく、
    請求項7ないし11のいずれかに記載の方法。
  13. 方法であって、
    複数の履歴視聴覚セグメント・データ・セットを受け取ることであって、各履歴視聴覚セグメント・データ・セットが、履歴視聴覚セグメントの情報を含む、前記受け取ることと、
    第1の未パディング視聴覚セグメントを示す情報を含んだ第1の未パディング視聴覚セグメント・データ・セットを受け取ることと、
    前記第1の未パディング・セグメントの前または後あるいはその両方で生じるパディング時間間隔のセットを決定することと、
    パディング時間間隔の前記セットの各所与のパディング時間間隔に対して、前記第1の未パディング視聴覚セグメントが、前記所与のパディング時間間隔を通じて続いた場合、所与のパディング時間間隔が含んでいたであろうものに似た視聴覚コンテンツを前記パディング視聴覚セグメントが有するように、1つまたは複数の履歴視聴覚セグメントからパディング視聴覚セグメントを生成することと、
    第1のパディング済視聴覚セグメントを示す情報を含んだ第1のパディング済視聴覚セグメント・データ・セットを取得するために、パディング時間間隔の前記セットの各パディング時間間隔に対応する前記パディング視聴覚セグメントで、前記第1の未パディング視聴覚セグメントを組み立てることと、
    全体として考慮して前記第1のパディング済視聴覚セグメントの視聴者関心値を、MLアルゴリズムにより決定することと
    を含む、方法。
  14. 全体として考慮した前記第1のパディング済視聴覚セグメントの前記視聴者関心値に少なくとも部分的に基づいて、より大きいビデオ上演に含めるために、前記第1の未パディング視聴覚セグメントを選択すること
    をさらに含む、請求項13に記載の方法。
  15. 複数の訓練データ・セットで前記MLアルゴリズムを訓練することであって、各訓練データ・セットが、視聴覚セグメントを示す情報を含んだ視聴覚セグメント・データ・セット、および視聴者関心値を含む、前記訓練すること
    をさらに含み、
    前記複数の履歴視聴覚セグメント・データ・セットが、前記複数の訓練データ・セットの前記視聴覚セグメントである、
    請求項13または14のいずれかに記載の方法。
  16. 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、単一の履歴視聴覚セグメントの少なくとも一部を選択することによって実施される、請求項13ないし15のいずれかに記載の方法。
  17. 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、複数の履歴視聴覚セグメントの一部を組み立てることを含む、請求項13ないし16のいずれかに記載の方法。
  18. 前記第1の未パディング視聴覚セグメントの直前に生じる第1のパディング時間間隔、および前記第1の未パディング視聴覚セグメントの直後に生じる第2のパディング時間間隔、の2つのパディング時間間隔があり、
    前記第1および第2のパディング時間間隔が、少なくとも実質的に等しい期間である、
    請求項13ないし17のいずれかに記載の方法。
  19. コンピュータ可読ストレージ媒体であって、請求項1ないし18のいずれかに記載の方法を実施するために、処理回路で読み取ることができ、前記処理回路による実行のための命令を格納する、コンピュータ可読ストレージ媒体。
  20. コンピュータ・プログラムであって、請求項1ないし18のいずれかに記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
JP2021535241A 2019-02-25 2020-02-25 機械学習のための動的視聴覚セグメント・パディング Active JP7450623B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/283,912 US10832734B2 (en) 2019-02-25 2019-02-25 Dynamic audiovisual segment padding for machine learning
US16/283,912 2019-02-25
PCT/IB2020/051586 WO2020174383A1 (en) 2019-02-25 2020-02-25 Dynamic audiovisual segment padding for machine learning

Publications (3)

Publication Number Publication Date
JP2022521120A JP2022521120A (ja) 2022-04-06
JPWO2020174383A5 true JPWO2020174383A5 (ja) 2022-06-06
JP7450623B2 JP7450623B2 (ja) 2024-03-15

Family

ID=72143024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021535241A Active JP7450623B2 (ja) 2019-02-25 2020-02-25 機械学習のための動的視聴覚セグメント・パディング

Country Status (5)

Country Link
US (2) US10832734B2 (ja)
JP (1) JP7450623B2 (ja)
CN (1) CN113439277A (ja)
GB (1) GB2596463B (ja)
WO (1) WO2020174383A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824487B2 (en) * 2018-07-17 2020-11-03 Xandr Inc. Real-time data processing pipeline and pacing control systems and methods
US10997464B2 (en) * 2018-11-09 2021-05-04 Adobe Inc. Digital image layout training using wireframe rendering within a generative adversarial network (GAN) system
US10832734B2 (en) * 2019-02-25 2020-11-10 International Business Machines Corporation Dynamic audiovisual segment padding for machine learning
EP4104110A4 (en) * 2020-02-13 2024-02-28 Stats Llc DYNAMIC PREDICTION OF SHOT TYPE USING A CUSTOMIZED DEEP NEURAL NETWORK
CN118055199A (zh) * 2022-11-17 2024-05-17 北京字跳网络技术有限公司 视频剪辑方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327518A (en) 1991-08-22 1994-07-05 Georgia Tech Research Corporation Audio analysis/synthesis system
US5793888A (en) 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
CA2167748A1 (en) 1995-02-09 1996-08-10 Yoav Freund Apparatus and methods for machine learning hypotheses
US5596159A (en) 1995-11-22 1997-01-21 Invision Interactive, Inc. Software sound synthesis system
US6266068B1 (en) 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
US6513025B1 (en) 1999-12-09 2003-01-28 Teradyne, Inc. Multistage machine learning process
US7024033B2 (en) 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US20030131362A1 (en) 2002-01-09 2003-07-10 Koninklijke Philips Electronics N.V. Method and apparatus for multimodal story segmentation for linking multimedia content
US7142645B2 (en) * 2002-10-04 2006-11-28 Frederick Lowe System and method for generating and distributing personalized media
JP2006058874A (ja) 2004-08-20 2006-03-02 Mitsubishi Electric Research Laboratories Inc マルチメディア中の事象を検出する方法
US8126763B2 (en) 2005-01-20 2012-02-28 Koninklijke Philips Electronics N.V. Automatic generation of trailers containing product placements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9047374B2 (en) * 2007-06-08 2015-06-02 Apple Inc. Assembling video content
US8207989B2 (en) 2008-12-12 2012-06-26 Microsoft Corporation Multi-video synthesis
US9247225B2 (en) 2012-09-25 2016-01-26 Intel Corporation Video indexing with viewer reaction estimation and visual cue detection
US10068614B2 (en) * 2013-04-26 2018-09-04 Microsoft Technology Licensing, Llc Video service with automated video timeline curation
US10269390B2 (en) 2015-06-11 2019-04-23 David M. DeCaprio Game video processing systems and methods
WO2017223530A1 (en) 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN107707931B (zh) 2016-08-08 2021-09-10 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
US11024009B2 (en) 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US10074038B2 (en) 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10043109B1 (en) 2017-01-23 2018-08-07 A9.Com, Inc. Attribute similarity-based search
US10474880B2 (en) 2017-03-15 2019-11-12 Nec Corporation Face recognition using larger pose face frontalization
CN107464210B (zh) 2017-07-06 2020-02-21 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN108256627A (zh) 2017-12-29 2018-07-06 中国科学院自动化研究所 视听信息互生装置及其基于循环对抗生成网络的训练系统
US11615208B2 (en) * 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
US10832734B2 (en) 2019-02-25 2020-11-10 International Business Machines Corporation Dynamic audiovisual segment padding for machine learning

Similar Documents

Publication Publication Date Title
CN107707931B (zh) 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN111683209B (zh) 混剪视频的生成方法、装置、电子设备及计算机可读存储介质
JP7252362B2 (ja) 動画を自動編集する方法及びポータブル型端末
GB2596463A (en) Dynamic audiovisual segment padding for machine learning
US8542982B2 (en) Image/video data editing apparatus and method for generating image or video soundtracks
US10747802B1 (en) Image recommendations for thumbnails for online media items based on user activity
CA3028328A1 (en) Method and system for automatically producing video highlights
US10055413B2 (en) Identifying media content
US20100332567A1 (en) Media Playlist Generation
US10762130B2 (en) Method and system for creating combined media and user-defined audio selection
CN105340278A (zh) 自动前卷和后卷制作
CN109219825A (zh) 装置和相关联方法
JP5620474B2 (ja) アンカーモデル適応装置、集積回路、AV(AudioVideo)デバイス、オンライン自己適応方法、およびそのプログラム
WO2023040520A1 (zh) 视频配乐方法、装置、计算机设备和存储介质
JPWO2020174383A5 (ja)
JP7302256B2 (ja) ハイライト動画生成プログラム、ハイライト動画生成方法および情報処理装置
JP2017028507A (ja) 動画再生プログラム、装置、及び方法
CN114339423A (zh) 短视频生成方法、装置、计算设备及计算机可读存储介质
US20230353798A1 (en) Method and system of generating on-demand video of interactive activities
JP7485023B2 (ja) 映像処理装置、映像処理方法、訓練装置、及び、プログラム
CN103559898A (zh) 多媒体文件播放方法、播放装置和系统
CN113938619A (zh) 一种基于浏览器的视频合成方法、系统、储存装置
WO2021240678A1 (ja) 映像処理装置、映像処理方法、及び、記録媒体
JP6361430B2 (ja) 情報処理装置及びプログラム
JP2010193026A (ja) 画像再生装置、画像再生方法およびプログラム