WO2021092631A3 - Récupération de moment vidéo à base de texte faiblement supervisé - Google Patents

Récupération de moment vidéo à base de texte faiblement supervisé Download PDF

Info

Publication number
WO2021092631A3
WO2021092631A3 PCT/US2021/019816 US2021019816W WO2021092631A3 WO 2021092631 A3 WO2021092631 A3 WO 2021092631A3 US 2021019816 W US2021019816 W US 2021019816W WO 2021092631 A3 WO2021092631 A3 WO 2021092631A3
Authority
WO
WIPO (PCT)
Prior art keywords
video
text description
weakly
based video
sentences
Prior art date
Application number
PCT/US2021/019816
Other languages
English (en)
Other versions
WO2021092631A9 (fr
WO2021092631A2 (fr
Inventor
Jiawei Chen
Jenhao Hsiao
Original Assignee
Innopeak Technology, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innopeak Technology, Inc. filed Critical Innopeak Technology, Inc.
Priority to PCT/US2021/019816 priority Critical patent/WO2021092631A2/fr
Publication of WO2021092631A2 publication Critical patent/WO2021092631A2/fr
Publication of WO2021092631A3 publication Critical patent/WO2021092631A3/fr
Publication of WO2021092631A9 publication Critical patent/WO2021092631A9/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Cette demande concerne la récupération d'un moment vidéo sur la base de la description de texte. Un dispositif électronique obtient un contenu vidéo et une description de texte associées au moment vidéo. Le contenu vidéo comprend une pluralité de segments vidéo, la description de texte comprenant une ou plusieurs phrases. Une pluralité de caractéristiques visuelles sont extraites pour les segments vidéo du contenu vidéo, et une ou plusieurs caractéristiques textuelles sont extraites pour l'une ou plusieurs phrases dans la description de texte. Les caractéristiques visuelles de la pluralité de segments vidéo et les caractéristiques textuelles de l'une ou plusieurs phrases sont combinées pour générer une pluralité de scores d'alignement. Sur la base des scores d'alignement, le dispositif électronique récupère un sous-ensemble du contenu vidéo dans les segments vidéo pour la description de texte.
PCT/US2021/019816 2021-02-26 2021-02-26 Récupération de moment vidéo à base de texte faiblement supervisé WO2021092631A2 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/US2021/019816 WO2021092631A2 (fr) 2021-02-26 2021-02-26 Récupération de moment vidéo à base de texte faiblement supervisé

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2021/019816 WO2021092631A2 (fr) 2021-02-26 2021-02-26 Récupération de moment vidéo à base de texte faiblement supervisé

Publications (3)

Publication Number Publication Date
WO2021092631A2 WO2021092631A2 (fr) 2021-05-14
WO2021092631A3 true WO2021092631A3 (fr) 2021-07-01
WO2021092631A9 WO2021092631A9 (fr) 2021-07-29

Family

ID=75848748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/US2021/019816 WO2021092631A2 (fr) 2021-02-26 2021-02-26 Récupération de moment vidéo à base de texte faiblement supervisé

Country Status (1)

Country Link
WO (1) WO2021092631A2 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250690A1 (fr) * 2021-05-28 2022-12-01 Innopeak Technology, Inc. Rendu de contenu à l'aide de modèles d'analyse sémantique
WO2023018423A1 (fr) * 2021-08-13 2023-02-16 Innopeak Technology, Inc. Incorporation binaire sémantique d'apprentissage pour des représentations vidéo
CN114896450B (zh) * 2022-04-15 2024-05-10 中山大学 一种基于深度学习的视频时刻检索方法与系统
CN114925238B (zh) * 2022-07-20 2022-10-28 山东大学 一种基于联邦学习的视频片段检索方法及系统
CN115131655B (zh) * 2022-09-01 2022-11-22 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置与目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015459A1 (en) * 2000-10-13 2004-01-22 Herbert Jaeger Method for supervised teaching of a recurrent artificial neural network
US20150082349A1 (en) * 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content Based Video Content Segmentation
US20160034786A1 (en) * 2014-07-29 2016-02-04 Microsoft Corporation Computerized machine learning of interesting video sections
US20160180838A1 (en) * 2014-12-22 2016-06-23 Google Inc. User specified keyword spotting using long short term memory neural network feature extractor
US20170150235A1 (en) * 2015-11-20 2017-05-25 Microsoft Technology Licensing, Llc Jointly Modeling Embedding and Translation to Bridge Video and Language

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015459A1 (en) * 2000-10-13 2004-01-22 Herbert Jaeger Method for supervised teaching of a recurrent artificial neural network
US20150082349A1 (en) * 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content Based Video Content Segmentation
US20160034786A1 (en) * 2014-07-29 2016-02-04 Microsoft Corporation Computerized machine learning of interesting video sections
US20160180838A1 (en) * 2014-12-22 2016-06-23 Google Inc. User specified keyword spotting using long short term memory neural network feature extractor
US20170150235A1 (en) * 2015-11-20 2017-05-25 Microsoft Technology Licensing, Llc Jointly Modeling Embedding and Translation to Bridge Video and Language

Also Published As

Publication number Publication date
WO2021092631A9 (fr) 2021-07-29
WO2021092631A2 (fr) 2021-05-14

Similar Documents

Publication Publication Date Title
WO2021092631A3 (fr) Récupération de moment vidéo à base de texte faiblement supervisé
Wayne Multilingual Topic Detection and Tracking: Successful Research Enabled by Corpora and Evaluation.
Liu et al. Why is “SXSW” trending? Exploring multiple text sources for twitter topic summarization
US20240039879A1 (en) Detecting messages with offensive content
WO2021092632A3 (fr) Récupération de moment vidéo à base de texte faiblement supervisé par modélisation de l'attention croisée
KR20180105693A (ko) 디지털 미디어 컨텐츠 추출 및 자연어 프로세싱 시스템
ElSahar et al. A fully automated approach for arabic slang lexicon extraction from microblogs
US20070185857A1 (en) System and method for extracting salient keywords for videos
CA2656425C (fr) Reconnaissance de texte dans des images
WO2011028636A3 (fr) Systèmes et procédés de messagerie visuelle
Khokhlova et al. Distinguishing between irony and sarcasm in social media texts: Linguistic observations
Rühlemann et al. Windows on the mind: Pauses in conversational narrative
US20070038446A1 (en) System and method for selecting audio contents by using speech recognition
JP2019509537A5 (fr)
Palogiannidi et al. Valence, arousal and dominance estimation for English, German, Greek, Portuguese and Spanish lexica using semantic models.
WO2017188606A3 (fr) Dispositif terminal et procédé de fourniture d'informations supplémentaires
Miura et al. WSL: sentence similarity using semantic distance between words
Gibson Samoan English in New Zealand: Examples of consonant features from the UC QuakeBox
WO2022240792A3 (fr) Système et procédé de conversation textuelle avec un utilisateur, à l'aide d'un apprentissage automatique
Alam et al. Multi-lingual author identification and linguistic feature extraction—A machine learning approach
Tian et al. Sentiment classification in turn-level interactive Chinese texts of e-learning applications
Saad et al. Building and modelling multilingual subjective corpora
Karabalayeva et al. Regarding the impact of kazakh phonetic transcription on the performance of automatic speech recognition systems
Hanggarjito et al. Deixis Analysis in Film Tenet
Arsenteva et al. Phraseological units with onomatopoeic components in English and German

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21723942

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21723942

Country of ref document: EP

Kind code of ref document: A2