JPWO2020174383A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020174383A5 JPWO2020174383A5 JP2021535241A JP2021535241A JPWO2020174383A5 JP WO2020174383 A5 JPWO2020174383 A5 JP WO2020174383A5 JP 2021535241 A JP2021535241 A JP 2021535241A JP 2021535241 A JP2021535241 A JP 2021535241A JP WO2020174383 A5 JPWO2020174383 A5 JP WO2020174383A5
- Authority
- JP
- Japan
- Prior art keywords
- audiovisual segment
- audiovisual
- time interval
- padding
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims 23
- 238000010801 machine learning Methods 0.000 claims 10
- 238000004590 computer program Methods 0.000 claims 1
Claims (20)
- 方法であって、
第1の未パディング視聴覚セグメントを示す情報を含んだ第1の未パディング視聴覚セグメント・データ・セットを受け取ることであって、前記第1の未パディング視聴覚セグメントが、人間の聴衆のためにスポーツ大会で記録した視聴覚データに相当する、前記受け取ることと、
前記第1の未パディング・セグメントの前または後あるいはその両方で生じるパディング時間間隔のセットを決定することと、
パディング時間間隔の前記セットの各所与のパディング時間間隔に対して、
前記第1の未パディング視聴覚セグメントが、前記所与のパディング時間間隔を通じて続き、機械学習(ML)アルゴリズムにより決定されるスポーツ視聴者関心値を有する場合に、前記所与のパディング時間間隔を特徴づけるであろうそれぞれの対応する前記スポーツ視聴者関心値を決定すること、および
前記所与のパディング時間間隔に対するパディング視聴覚セグメントが、前記所与のパディング時間間隔に対し決定された前記スポーツ視聴者関心値で特徴づけられるように、前記所与のパディング時間間隔に対する前記パディング視聴覚セグメントを生成することと、
第1のパディング済視聴覚セグメントを示す情報を含んだ第1のパディング済視聴覚セグメント・データ・セットを取得するために、パディング時間間隔の前記セットの各パディング時間間隔に対応する前記パディング視聴覚セグメントで、前記第1の未パディング視聴覚セグメントを組み立てることと、
全体として考慮して前記第1のパディング済視聴覚セグメントのスポーツ視聴者関心値を、前記MLアルゴリズムにより決定することと
を含む、方法。 - 全体として考慮した前記第1のパディング済視聴覚セグメントの前記スポーツ視聴者関心値に少なくとも部分的に基づいて、スポーツ・ハイライト・リールに含めるために、前記第1の未パディング視聴覚セグメントを選択すること
をさらに含む、請求項1に記載の方法。 - 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、前記所与のパディング時間間隔に対して合成視聴覚セグメントを生成することを含む、請求項1または2のいずれかに記載の方法。
- 各所与のパディング時間間隔に対する前記合成視聴覚セグメントの前記生成が、敵対的生成ネットワーク(GAN)によって実施される、請求項3に記載の方法。
- 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、前記MLアルゴリズムによって決定される既知のスポーツ視聴者関心値を有する1つまたは複数の既存の視聴覚セグメントを組み立てることを含む、請求項1ないし4のいずれかに記載の方法。
- 前記第1の未パディング視聴覚セグメントの直前に生じる第1のパディング時間間隔、および前記第1の未パディング視聴覚セグメントの直後に生じる第2のパディング時間間隔、の2つのパディング時間間隔があり、
前記第1および第2のパディング時間間隔が、少なくとも実質的に等しい期間である、
請求項1ないし5のいずれかに記載の方法。 - 方法であって、
第1の未パディング視聴覚セグメントを示す情報を含んだ第1の未パディング視聴覚セグメント・データ・セットを受け取ることと、
前記第1の未パディング・セグメントの前または後あるいはその両方で生じるパディング時間間隔のセットを決定することと、
パディング時間間隔の前記セットの各所与のパディング時間間隔に対して、
前記第1の未パディング視聴覚セグメントが、前記所与のパディング時間間隔を通じて続き、機械学習(ML)アルゴリズムにより決定される視聴者関心値を有する場合に、前記所与のパディング時間間隔を特徴づけるであろうそれぞれの対応する前記視聴者関心値を決定すること、および
前記所与のパディング時間間隔に対する合成視聴覚セグメントが、前記所与のパディング時間間隔に対して決定された前記視聴者関心値で特徴づけられるように、前記所与のパディング時間間隔に対する前記合成視聴覚セグメントを生成することと、
第1のパディング済視聴覚セグメントを示す情報を含んだ第1のパディング済視聴覚セグメント・データ・セットを取得するために、パディング時間間隔の前記セットの各パディング時間間隔に対応する前記合成視聴覚セグメントで、前記第1の未パディング視聴覚セグメントを組み立てることと、
全体として考慮して前記第1のパディング済視聴覚セグメントの視聴者関心値を、前記MLアルゴリズムにより決定することと
を含む、方法。 - 全体として考慮した前記第1のパディング済視聴覚セグメントの前記視聴者関心値に少なくとも部分的に基づいて、より大きいビデオ上演に含めるために、前記第1の未パディング視聴覚セグメントを選択すること、
をさらに含む、請求項7に記載の方法。 - 各所与のパディング時間間隔に対する前記合成視聴覚セグメントの前記生成が、敵対的生成ネットワーク(GAN)によって実施される、請求項7または8のいずれかに記載の方法。
- 前記合成視聴覚セグメントが、人間の視聴者に理解できない、請求項7ないし9のいずれかに記載の方法。
- (i)前記第1の未パディング視聴覚セグメントの直前に生じる第1のパディング時間間隔、および(ii)前記第1の未パディング視聴覚セグメントの直後に生じる第2のパディング時間間隔、の2つのパディング時間間隔があり、
前記第1および第2のパディング時間間隔が、少なくとも実質的に等しい期間である、
請求項7ないし10のいずれかに記載の方法。 - 複数の訓練データ・セットで前記MLアルゴリズムを訓練することであって、各訓練データ・セットが、(i)視聴覚セグメントを示す情報を含んだ視聴覚セグメント・データ・セット、および(ii)視聴者関心値を含む、前記訓練すること
をさらに含み、
各所与のパディング時間間隔に対する前記合成視聴覚セグメントの前記生成が、前記複数の訓練データ・セットに基づく、
請求項7ないし11のいずれかに記載の方法。 - 方法であって、
複数の履歴視聴覚セグメント・データ・セットを受け取ることであって、各履歴視聴覚セグメント・データ・セットが、履歴視聴覚セグメントの情報を含む、前記受け取ることと、
第1の未パディング視聴覚セグメントを示す情報を含んだ第1の未パディング視聴覚セグメント・データ・セットを受け取ることと、
前記第1の未パディング・セグメントの前または後あるいはその両方で生じるパディング時間間隔のセットを決定することと、
パディング時間間隔の前記セットの各所与のパディング時間間隔に対して、前記第1の未パディング視聴覚セグメントが、前記所与のパディング時間間隔を通じて続いた場合、所与のパディング時間間隔が含んでいたであろうものに似た視聴覚コンテンツを前記パディング視聴覚セグメントが有するように、1つまたは複数の履歴視聴覚セグメントからパディング視聴覚セグメントを生成することと、
第1のパディング済視聴覚セグメントを示す情報を含んだ第1のパディング済視聴覚セグメント・データ・セットを取得するために、パディング時間間隔の前記セットの各パディング時間間隔に対応する前記パディング視聴覚セグメントで、前記第1の未パディング視聴覚セグメントを組み立てることと、
全体として考慮して前記第1のパディング済視聴覚セグメントの視聴者関心値を、MLアルゴリズムにより決定することと
を含む、方法。 - 全体として考慮した前記第1のパディング済視聴覚セグメントの前記視聴者関心値に少なくとも部分的に基づいて、より大きいビデオ上演に含めるために、前記第1の未パディング視聴覚セグメントを選択すること
をさらに含む、請求項13に記載の方法。 - 複数の訓練データ・セットで前記MLアルゴリズムを訓練することであって、各訓練データ・セットが、視聴覚セグメントを示す情報を含んだ視聴覚セグメント・データ・セット、および視聴者関心値を含む、前記訓練すること
をさらに含み、
前記複数の履歴視聴覚セグメント・データ・セットが、前記複数の訓練データ・セットの前記視聴覚セグメントである、
請求項13または14のいずれかに記載の方法。 - 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、単一の履歴視聴覚セグメントの少なくとも一部を選択することによって実施される、請求項13ないし15のいずれかに記載の方法。
- 各所与のパディング時間間隔に対する前記パディング視聴覚セグメントの前記生成が、複数の履歴視聴覚セグメントの一部を組み立てることを含む、請求項13ないし16のいずれかに記載の方法。
- 前記第1の未パディング視聴覚セグメントの直前に生じる第1のパディング時間間隔、および前記第1の未パディング視聴覚セグメントの直後に生じる第2のパディング時間間隔、の2つのパディング時間間隔があり、
前記第1および第2のパディング時間間隔が、少なくとも実質的に等しい期間である、
請求項13ないし17のいずれかに記載の方法。 - コンピュータ可読ストレージ媒体であって、請求項1ないし18のいずれかに記載の方法を実施するために、処理回路で読み取ることができ、前記処理回路による実行のための命令を格納する、コンピュータ可読ストレージ媒体。
- コンピュータ・プログラムであって、請求項1ないし18のいずれかに記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/283,912 US10832734B2 (en) | 2019-02-25 | 2019-02-25 | Dynamic audiovisual segment padding for machine learning |
US16/283,912 | 2019-02-25 | ||
PCT/IB2020/051586 WO2020174383A1 (en) | 2019-02-25 | 2020-02-25 | Dynamic audiovisual segment padding for machine learning |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022521120A JP2022521120A (ja) | 2022-04-06 |
JPWO2020174383A5 true JPWO2020174383A5 (ja) | 2022-06-06 |
JP7450623B2 JP7450623B2 (ja) | 2024-03-15 |
Family
ID=72143024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021535241A Active JP7450623B2 (ja) | 2019-02-25 | 2020-02-25 | 機械学習のための動的視聴覚セグメント・パディング |
Country Status (5)
Country | Link |
---|---|
US (2) | US10832734B2 (ja) |
JP (1) | JP7450623B2 (ja) |
CN (1) | CN113439277A (ja) |
GB (1) | GB2596463B (ja) |
WO (1) | WO2020174383A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10824487B2 (en) * | 2018-07-17 | 2020-11-03 | Xandr Inc. | Real-time data processing pipeline and pacing control systems and methods |
US10997464B2 (en) * | 2018-11-09 | 2021-05-04 | Adobe Inc. | Digital image layout training using wireframe rendering within a generative adversarial network (GAN) system |
US10832734B2 (en) * | 2019-02-25 | 2020-11-10 | International Business Machines Corporation | Dynamic audiovisual segment padding for machine learning |
EP4104110A4 (en) * | 2020-02-13 | 2024-02-28 | Stats Llc | DYNAMIC PREDICTION OF SHOT TYPE USING A CUSTOMIZED DEEP NEURAL NETWORK |
CN118055199A (zh) * | 2022-11-17 | 2024-05-17 | 北京字跳网络技术有限公司 | 视频剪辑方法及装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5327518A (en) | 1991-08-22 | 1994-07-05 | Georgia Tech Research Corporation | Audio analysis/synthesis system |
US5793888A (en) | 1994-11-14 | 1998-08-11 | Massachusetts Institute Of Technology | Machine learning apparatus and method for image searching |
CA2167748A1 (en) | 1995-02-09 | 1996-08-10 | Yoav Freund | Apparatus and methods for machine learning hypotheses |
US5596159A (en) | 1995-11-22 | 1997-01-21 | Invision Interactive, Inc. | Software sound synthesis system |
US6266068B1 (en) | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
US6513025B1 (en) | 1999-12-09 | 2003-01-28 | Teradyne, Inc. | Multistage machine learning process |
US7024033B2 (en) | 2001-12-08 | 2006-04-04 | Microsoft Corp. | Method for boosting the performance of machine-learning classifiers |
US20030131362A1 (en) | 2002-01-09 | 2003-07-10 | Koninklijke Philips Electronics N.V. | Method and apparatus for multimodal story segmentation for linking multimedia content |
US7142645B2 (en) * | 2002-10-04 | 2006-11-28 | Frederick Lowe | System and method for generating and distributing personalized media |
JP2006058874A (ja) | 2004-08-20 | 2006-03-02 | Mitsubishi Electric Research Laboratories Inc | マルチメディア中の事象を検出する方法 |
US8126763B2 (en) | 2005-01-20 | 2012-02-28 | Koninklijke Philips Electronics N.V. | Automatic generation of trailers containing product placements |
US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
US9047374B2 (en) * | 2007-06-08 | 2015-06-02 | Apple Inc. | Assembling video content |
US8207989B2 (en) | 2008-12-12 | 2012-06-26 | Microsoft Corporation | Multi-video synthesis |
US9247225B2 (en) | 2012-09-25 | 2016-01-26 | Intel Corporation | Video indexing with viewer reaction estimation and visual cue detection |
US10068614B2 (en) * | 2013-04-26 | 2018-09-04 | Microsoft Technology Licensing, Llc | Video service with automated video timeline curation |
US10269390B2 (en) | 2015-06-11 | 2019-04-23 | David M. DeCaprio | Game video processing systems and methods |
WO2017223530A1 (en) | 2016-06-23 | 2017-12-28 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
CN107707931B (zh) | 2016-08-08 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 |
US11024009B2 (en) | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
US10074038B2 (en) | 2016-11-23 | 2018-09-11 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
US10043109B1 (en) | 2017-01-23 | 2018-08-07 | A9.Com, Inc. | Attribute similarity-based search |
US10474880B2 (en) | 2017-03-15 | 2019-11-12 | Nec Corporation | Face recognition using larger pose face frontalization |
CN107464210B (zh) | 2017-07-06 | 2020-02-21 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
CN108256627A (zh) | 2017-12-29 | 2018-07-06 | 中国科学院自动化研究所 | 视听信息互生装置及其基于循环对抗生成网络的训练系统 |
US11615208B2 (en) * | 2018-07-06 | 2023-03-28 | Capital One Services, Llc | Systems and methods for synthetic data generation |
US10832734B2 (en) | 2019-02-25 | 2020-11-10 | International Business Machines Corporation | Dynamic audiovisual segment padding for machine learning |
-
2019
- 2019-02-25 US US16/283,912 patent/US10832734B2/en active Active
-
2020
- 2020-02-25 JP JP2021535241A patent/JP7450623B2/ja active Active
- 2020-02-25 WO PCT/IB2020/051586 patent/WO2020174383A1/en active Application Filing
- 2020-02-25 CN CN202080014830.3A patent/CN113439277A/zh active Pending
- 2020-02-25 GB GB2113427.5A patent/GB2596463B/en active Active
- 2020-09-28 US US17/033,933 patent/US11521655B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107707931B (zh) | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 | |
CN111683209B (zh) | 混剪视频的生成方法、装置、电子设备及计算机可读存储介质 | |
JP7252362B2 (ja) | 動画を自動編集する方法及びポータブル型端末 | |
GB2596463A (en) | Dynamic audiovisual segment padding for machine learning | |
US8542982B2 (en) | Image/video data editing apparatus and method for generating image or video soundtracks | |
US10747802B1 (en) | Image recommendations for thumbnails for online media items based on user activity | |
CA3028328A1 (en) | Method and system for automatically producing video highlights | |
US10055413B2 (en) | Identifying media content | |
US20100332567A1 (en) | Media Playlist Generation | |
US10762130B2 (en) | Method and system for creating combined media and user-defined audio selection | |
CN105340278A (zh) | 自动前卷和后卷制作 | |
CN109219825A (zh) | 装置和相关联方法 | |
JP5620474B2 (ja) | アンカーモデル適応装置、集積回路、AV(AudioVideo)デバイス、オンライン自己適応方法、およびそのプログラム | |
WO2023040520A1 (zh) | 视频配乐方法、装置、计算机设备和存储介质 | |
JPWO2020174383A5 (ja) | ||
JP7302256B2 (ja) | ハイライト動画生成プログラム、ハイライト動画生成方法および情報処理装置 | |
JP2017028507A (ja) | 動画再生プログラム、装置、及び方法 | |
CN114339423A (zh) | 短视频生成方法、装置、计算设备及计算机可读存储介质 | |
US20230353798A1 (en) | Method and system of generating on-demand video of interactive activities | |
JP7485023B2 (ja) | 映像処理装置、映像処理方法、訓練装置、及び、プログラム | |
CN103559898A (zh) | 多媒体文件播放方法、播放装置和系统 | |
CN113938619A (zh) | 一种基于浏览器的视频合成方法、系统、储存装置 | |
WO2021240678A1 (ja) | 映像処理装置、映像処理方法、及び、記録媒体 | |
JP6361430B2 (ja) | 情報処理装置及びプログラム | |
JP2010193026A (ja) | 画像再生装置、画像再生方法およびプログラム |