JP7257585B2 - 深層cca及び能動ペアワイズクエリを用いるマルチモーダル検索及びクラスタリングのための方法 - Google Patents
深層cca及び能動ペアワイズクエリを用いるマルチモーダル検索及びクラスタリングのための方法 Download PDFInfo
- Publication number
- JP7257585B2 JP7257585B2 JP2022505536A JP2022505536A JP7257585B2 JP 7257585 B2 JP7257585 B2 JP 7257585B2 JP 2022505536 A JP2022505536 A JP 2022505536A JP 2022505536 A JP2022505536 A JP 2022505536A JP 7257585 B2 JP7257585 B2 JP 7257585B2
- Authority
- JP
- Japan
- Prior art keywords
- time series
- segment
- query
- text
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 84
- 238000012549 training Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000010219 correlation analysis Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010845 search algorithm Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
Description
複数のセンサから時系列データを収集させ、教師なしにおいて、時系列データ及び関連するコメントテキストを用いてクロスモーダル検索システムを訓練させ、クエリのモダリティに応じて、時系列データの時系列セグメントから、クエリセグメントの人が読める説明として使用される、前記関連するコメントテキストを取得させ、関連する時系列セグメントが文またはキーワードのセットと一致するように、文またはキーワードのセットが与えられた、関連する時系列セグメントを取得させ、属性の第1のサブセットがキーワードのセットに一致し、属性の第2のサブセットが時系列セグメントと類似するように、時系列セグメント及びキーワードの文章またはセットが与えられた、関連する時系列セグメントを取得させる。
複数のセンサから時系列データを収集し、教師なしにおいて、時系列データ及び関連するコメントテキストを用いてクロスモーダル検索システムを訓練し、クエリのモダリティに応じて、
時系列データの時系列セグメントから、クエリセグメントの人が読める説明として使用される、前記関連するコメントテキストを取得し、関連する時系列セグメントが文またはキーワードのセットと一致するように、文またはキーワードのセットが与えられた、関連する時系列セグメントを取得し、属性の第1のサブセットがキーワードのセットに一致し、属性の第2のサブセットが時系列セグメントと類似するように、時系列セグメント及びキーワードの文章またはセットが与えられた、関連する時系列セグメントを取得する(1305)ように構成された、前記メモリと通信する1つまたは複数のプロセッサと、を有する。
教師ありの方針は、モダリティにかかわらず、同じクラスの事例が異なるクラスの事例よりも互いに近くなるように埋め込みを促進する。能動スペクトルクラスタリング及びGMMに基づく2つの能動ペアワイズクエリ選択戦略が使用される。
Claims (20)
- 深層正準相関分析(CAA)及びペアワイズクエリを備える能動学習を用いる、ペアマルチモーダルデータの学習及びクラスタリングを埋め込むためのプロセッサで実行されるコンピュータ実装方法であって、
複数のセンサから時系列データを収集し(1301)、
教師なしにおいて、前記時系列データ及び関連するコメントテキストを用いてクロスモーダル検索システムを訓練し(1303)、
クエリのモダリティに応じて、
前記時系列データの時系列セグメントから、クエリセグメントの人が読める説明として使用される、前記関連するコメントテキストを取得し(1305)、
関連する時系列セグメントが文またはキーワードのセットと一致するように、前記文またはキーワードのセットが与えられた、前記関連する時系列セグメントを取得し(1305)、
属性の第1のサブセットが前記キーワードのセットに一致し、属性の第2のサブセットが前記時系列セグメントと類似するように、前記時系列セグメント及びキーワードの文章またはセットが与えられた、関連する時系列セグメントを取得する(1305)、方法。 - 前記時系列セグメント及び前記関連するコメントテキストは、共通の潜在空間におけるポイントに変換される、請求項1に記載の方法。
- 前記クロスモーダル検索システムは、前記共通の潜在空間における前記クエリの最近傍を見つける、請求項2に記載の方法。
- 前記クロスモーダル検索システムは、マルチモーダルニューラルネットワークを使用して、前記時系列データ及び関連するコメントテキストをベクトル表現に符号化する、請求項1に記載の方法。
- 前記マルチモーダルニューラルネットワークは、時系列テキストペアのユーザ提供データベースからの事例を使用する、2段階の訓練アルゴリズムによって訓練される、請求項4に記載の方法。
- 前記訓練アルゴリズムの第1段階は、深層CCAベースの事前訓練である、請求項5の方法。
- 前記訓練アルゴリズムの第2段階は、能動クラスタリングである、請求項6に記載の方法。
- 前記能動クラスタリングは、ガウス混合モデリング(GMM)に基づくクエリペアの選択と、能動スペクトルクラスタリングを使用するクエリベースの選択とを含む、請求項7に記載の方法。
- 深層正準相関分析(CAA)及びペアワイズクエリによる能動学習を用いる、ペアマルチモーダルデータの学習及びクラスタリングを埋め込むためのコンピュータで読み取り可能なプログラムを含む非一時的なコンピュータで読み取り可能な記録媒体であって、
コンピュータで読み取り可能なプログラムがコンピュータで実行されると、
コンピュータに、
複数のセンサから時系列データを収集させ(1301)、
教師なしにおいて、前記時系列データ及び関連するコメントテキストを用いてクロスモーダル検索システムを訓練させ(1303)、
クエリのモダリティに応じて、
前記時系列データの時系列セグメントから、クエリセグメントの人が読める説明として使用される、前記関連するコメントテキストを取得させ(1305)、
関連する時系列セグメントが文またはキーワードのセットと一致するように、前記文またはキーワードのセットが与えられた、前記関連する時系列セグメントを取得させ(1305)、
属性の第1のサブセットが前記キーワードのセットに一致し、属性の第2のサブセットが前記時系列セグメントと類似するように、前記時系列セグメント及び前記キーワードの文章またはセットが与えられた、前記関連する時系列セグメントを取得させる(1305)、コンピュータで読み取り可能な記録媒体。 - 前記時系列セグメント及び前記関連するコメントテキストは、共通の潜在空間におけるポイントに変換される、請求項9に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 前記クロスモーダル検索システムは、前記共通の潜在空間における前記クエリの最近傍を見つける、請求項10に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 前記クロスモーダル検索システムは、マルチモーダルニューラルネットワークを使用して、前記時系列データ及び関連するコメントテキストをベクトル表現に符号化する、請求項9に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 前記マルチモーダルニューラルネットワークは、時系列テキストペアのユーザ提供データベースからの事例を使用する、2段階の訓練アルゴリズムによって訓練される、請求項12に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 前記訓練アルゴリズムの第1段階は、深層CCAベースの事前訓練である、請求項13に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 前記訓練アルゴリズムの第2段階は、能動クラスタリングである、請求項14に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 前記能動クラスタリングは、ガウス混合モデリング(GMM)に基づくクエリペアの選択と、能動スペクトルクラスタリングを使用するクエリベースの選択とを含む、請求項15に記載の非一時的なコンピュータで読み取り可能な記録媒体。
- 深層正準相関分析(CAA)及びペアワイズクエリによる能動学習を用いる、ペアマルチモーダルデータの学習及びクラスタリングを埋め込むためのシステムであって、
メモリと、
複数のセンサから時系列データを収集し(1301)、
教師なしにおいて、前記時系列データ及び関連するコメントテキストを用いてクロスモーダル検索システムを訓練し(1303)、
クエリのモダリティに応じて、
前記時系列データの時系列セグメントから、クエリセグメントの人が読める説明として使用される、前記関連するコメントテキストを取得し(1305)、
関連する時系列セグメントが文またはキーワードのセットと一致するように、前記文またはキーワードのセットが与えられた、前記関連する時系列セグメントを取得し(1305)、
属性の第1のサブセットが前記キーワードのセットに一致し、属性の第2のサブセットが前記時系列セグメントと類似するように、前記時系列セグメント及び前記キーワードの文章またはセットが与えられた、前記関連する時系列セグメントを取得する(1305)ように構成された、前記メモリと通信する1つまたは複数のプロセッサと、
を有する、システム。 - 前記時系列セグメント及び前記関連するコメントテキストは、共通の潜在空間におけるポイントに変換される、請求項17に記載のシステム。
- 前記クロスモーダル検索システムは、前記共通の潜在空間における前記クエリの最近傍を見つける、請求項18に記載のシステム。
- 前記クロスモーダル検索システムは、マルチモーダルニューラルネットワークを使用して、前記時系列データ及び関連するコメントテキストをベクトル表現に符号化する、請求項17に記載のシステム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962890013P | 2019-08-21 | 2019-08-21 | |
US62/890,013 | 2019-08-21 | ||
US202063021208P | 2020-05-07 | 2020-05-07 | |
US63/021,208 | 2020-05-07 | ||
US16/996,110 US20210056127A1 (en) | 2019-08-21 | 2020-08-18 | Method for multi-modal retrieval and clustering using deep cca and active pairwise queries |
US16/996,110 | 2020-08-18 | ||
PCT/US2020/047012 WO2021034941A1 (en) | 2019-08-21 | 2020-08-19 | A method for multi-modal retrieval and clustering using deep cca and active pairwise queries |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022544047A JP2022544047A (ja) | 2022-10-17 |
JP7257585B2 true JP7257585B2 (ja) | 2023-04-13 |
Family
ID=74646848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022505536A Active JP7257585B2 (ja) | 2019-08-21 | 2020-08-19 | 深層cca及び能動ペアワイズクエリを用いるマルチモーダル検索及びクラスタリングのための方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210056127A1 (ja) |
JP (1) | JP7257585B2 (ja) |
DE (1) | DE112020003909T5 (ja) |
WO (1) | WO2021034941A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106163577A (zh) | 2014-03-31 | 2016-11-23 | 艾欧泰克国际股份有限公司 | 未络合的碘的稳定组合物以及使用方法 |
CN113220865B (zh) * | 2021-04-15 | 2022-06-24 | 山东师范大学 | 一种文本相似词汇检索方法、系统、介质及电子设备 |
US20230245183A1 (en) * | 2022-01-31 | 2023-08-03 | Capital One Services, Llc | Systems and methods for generating vehicle buyback guarantees |
KR102478076B1 (ko) * | 2022-06-13 | 2022-12-15 | 주식회사 액션파워 | 음성 인식 오류 검출을 위해 학습 데이터를 생성하기 위한 방법 |
CN115203377A (zh) * | 2022-09-09 | 2022-10-18 | 北京澜舟科技有限公司 | 基于检索的模型增强训练方法、系统及存储介质 |
CN115203380B (zh) * | 2022-09-19 | 2022-12-20 | 山东鼹鼠人才知果数据科技有限公司 | 基于多模态数据融合的文本处理系统及其方法 |
CN115374191B (zh) * | 2022-10-26 | 2023-01-31 | 国网湖北省电力有限公司信息通信公司 | 一种多源数据驱动的数据中心异构设备群聚类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106127305A (zh) | 2016-06-17 | 2016-11-16 | 中国科学院信息工程研究所 | 一种针对多源异构数据的异源间相似性度量方法 |
US20190018838A1 (en) | 2016-03-22 | 2019-01-17 | Sony Corporation | Electronic device and method for text processing |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101266267B1 (ko) * | 2006-10-05 | 2013-05-23 | 스플렁크 인코퍼레이티드 | 시계열 검색 엔진 |
US20130013536A1 (en) * | 2009-12-24 | 2013-01-10 | Nec Corporation | Metric learning device, metric learning method, and recording medium |
US8521671B2 (en) * | 2010-04-30 | 2013-08-27 | The Intellisis Corporation | Neural network for clustering input data based on a Gaussian Mixture Model |
US20160110478A1 (en) * | 2014-10-17 | 2016-04-21 | General Electric Company | System and methods for quantization and featurization of time-series data |
US10867256B2 (en) * | 2015-07-17 | 2020-12-15 | Knoema Corporation | Method and system to provide related data |
US10387531B1 (en) * | 2015-08-18 | 2019-08-20 | Google Llc | Processing structured documents using convolutional neural networks |
KR20180061552A (ko) * | 2016-11-29 | 2018-06-08 | 한국전자통신연구원 | 유사사례 클러스터 기반 미래건강추이 예측모델 생성 장치 및 그 방법 |
US20190034497A1 (en) * | 2017-07-27 | 2019-01-31 | Nec Laboratories America, Inc. | Data2Data: Deep Learning for Time Series Representation and Retrieval |
-
2020
- 2020-08-18 US US16/996,110 patent/US20210056127A1/en not_active Abandoned
- 2020-08-19 DE DE112020003909.9T patent/DE112020003909T5/de active Pending
- 2020-08-19 WO PCT/US2020/047012 patent/WO2021034941A1/en active Application Filing
- 2020-08-19 JP JP2022505536A patent/JP7257585B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190018838A1 (en) | 2016-03-22 | 2019-01-17 | Sony Corporation | Electronic device and method for text processing |
CN106127305A (zh) | 2016-06-17 | 2016-11-16 | 中国科学院信息工程研究所 | 一种针对多源异构数据的异源间相似性度量方法 |
Non-Patent Citations (1)
Title |
---|
下西 雅樹、外2名,読唇のためのDCCAを用いたマルチモーダルデータ拡張,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2019年02月26日,第118巻,第426号,p.41-45 |
Also Published As
Publication number | Publication date |
---|---|
US20210056127A1 (en) | 2021-02-25 |
DE112020003909T5 (de) | 2022-05-12 |
JP2022544047A (ja) | 2022-10-17 |
WO2021034941A1 (en) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7257585B2 (ja) | 深層cca及び能動ペアワイズクエリを用いるマルチモーダル検索及びクラスタリングのための方法 | |
US11182568B2 (en) | Sentence evaluation apparatus and sentence evaluation method | |
CN107066464B (zh) | 语义自然语言向量空间 | |
US20170200077A1 (en) | End-to-end memory networks | |
US11531824B2 (en) | Cross-lingual information retrieval and information extraction | |
US20160042296A1 (en) | Generating and Using a Knowledge-Enhanced Model | |
US11520993B2 (en) | Word-overlap-based clustering cross-modal retrieval | |
CN105139237A (zh) | 信息推送的方法和装置 | |
US11874863B2 (en) | Query expansion in information retrieval systems | |
US20210319280A1 (en) | Interpretable node embedding | |
US11043208B1 (en) | Systems and methods for mixed setting training for slot filling machine learning tasks in a machine learning task-oriented dialogue system | |
EP4334861A1 (en) | Systems and methods for active curriculum learning | |
US20230094828A1 (en) | Audio file annotation | |
Korade et al. | Strengthening Sentence Similarity Identification Through OpenAI Embeddings and Deep Learning. | |
Banerjee et al. | Relation extraction using multi-encoder lstm network on a distant supervised dataset | |
WO2022233421A1 (en) | Systems and methods for real-time determinations of mental health disorders using multi-tier machine learning models based on user interactions with computer systems | |
CN117494815A (zh) | 面向档案的可信大语言模型训练、推理方法和装置 | |
JP2022544018A (ja) | 正準相関分析に基づく時系列およびテキストコメントにおける教師なしコンセプト発見およびクロスモーダル検索 | |
US20240095445A1 (en) | Systems and methods for language modeling with textual clincal data | |
CN114676227B (zh) | 样本生成方法、模型的训练方法以及检索方法 | |
US20230049418A1 (en) | Information quality of machine learning model outputs | |
CN113468311B (zh) | 一种基于知识图谱的复杂问句问答方法、装置及存储介质 | |
CN118132735B (zh) | 医疗规则库的生成方法和装置 | |
US12045700B1 (en) | Systems and methods of generative machine-learning guided by modal classification | |
CN112528026B (zh) | 关键词识别方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7257585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |