JP7345046B2 - 単語重複ベースのクラスタリングクロスモーダル検索 - Google Patents

単語重複ベースのクラスタリングクロスモーダル検索 Download PDF

Info

Publication number
JP7345046B2
JP7345046B2 JP2022504286A JP2022504286A JP7345046B2 JP 7345046 B2 JP7345046 B2 JP 7345046B2 JP 2022504286 A JP2022504286 A JP 2022504286A JP 2022504286 A JP2022504286 A JP 2022504286A JP 7345046 B2 JP7345046 B2 JP 7345046B2
Authority
JP
Japan
Prior art keywords
time series
free
form text
encoder
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504286A
Other languages
English (en)
Other versions
JP2022544019A (ja
Inventor
ユンコン チェン、
ファオ ユアン、
ドンジン ソン、
クリスチャン ルメザヌ、
ハイフォン チェン、
毅彦 溝口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Laboratories America Inc
Original Assignee
NEC Laboratories America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Laboratories America Inc filed Critical NEC Laboratories America Inc
Publication of JP2022544019A publication Critical patent/JP2022544019A/ja
Application granted granted Critical
Publication of JP7345046B2 publication Critical patent/JP7345046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

関連出願情報
本出願は、２０２０年７月１日に出願された米国非仮特許出願第１６／９１８，３５３号（これは、２０１９年７月２６日に出願された米国仮特許出願第６２／８７８，７８１号、および２０１９年７月２４日に出願された米国仮特許出願第６２／８７７，９５２号の優先権を主張する）の優先権を主張し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
本発明は、情報処理に関し、より詳細には、単語重複ベースのクラスタリングを使用した時系列データおよびテキストデータのデータセットにおける教師なしクロスモーダル検索に関する。
関連技術の説明
時系列（ＴＳ）データは、ビッグデータ時代に普及している。１つの実施例は、多数のセンサの読み取り値が複雑な時系列を形成する工業的モニタリングである。現代のデータ分析ソフトウェアは、機械学習を使用して、時系列からパターンを検出する。しかしながら、現在の分析ソフトウェアは、人間のユーザにとってあまりフレンドリーではない。例えば、次のような問題が非常に一般的である。
第１に、機械学習システムは、特定の分類タスクを実行することができるが、結果は、通常、説明なしに返される。ユーザは、より精巧で自然な方法で提示される機械分析結果を望む。
第２に、時系列データの量が増加し続けるにつれて、履歴データの自動検索が必要になる。従来、典型例のセグメントは検索クエリとして使用されていた。ただし、多くの場合、より記述的なクエリを使用する必要がある。ＳＱＬのようなデータベースクエリ言語は、より複雑な基準を表現する可能性があるが、平均的なユーザにとっては理解できない。
本発明の態様によれば、クロスモーダルデータ検索のためのコンピュータ処理システムが提供される。コンピュータ処理システムは、損失関数に基づく教師なし訓練方法を使用して共同訓練される時系列符号器とテキスト符号器とを有するニューラルネットワークを含む。損失関数は、時系列と自由形式テキストコメントとの２つの異なるモダリティの訓練セットの特徴ベクトルの類似性と、時系列および自由形式テキストコメントと、教師なし訓練方法の疑似ラベルを計算するように構成された単語重複ベースのスペクトルクラスタリング方法との互換性とを共同で評価する。コンピュータ処理システムは、訓練セットの符号化から抽出された特徴ベクトルと共に訓練セットを記憶するためのデータベースをさらに含む。符号化は、時系列符号器を使用して時系列の訓練セットを符号化し、テキスト符号器を使用して自由形式テキストコメントの訓練セットを符号化することによって得られる。コンピュータ処理システムはまた、テスト時系列およびテスト自由形式テキストコメントのうちの少なくとも１つに関連するテスト入力に対応する少なくとも１つの特徴ベクトルと共に特徴空間に挿入するために、２つの異なるモダリティのうちの少なくとも１つに対応する特徴ベクトルをデータベースから検索し、距離基準に基づいて特徴空間内の特徴ベクトルの中から最近傍の組を決定し、最近傍の組に基づいてテスト入力に対するテスト結果を出力するためのハードウェアプロセッサを含む。
本発明の他の側面によれば、クロスモーダルデータ検索のためのコンピュータ実装された方法が提供されている。この方法は、損失関数に基づく教師なし訓練方法を使用して、時系列符号器とテキスト符号器とを有するニューラルネットワークを共同で訓練することを含む。損失関数は、時系列と自由形式テキストコメントとの２つの異なるモダリティの訓練セットの特徴ベクトルの類似性と、時系列および自由形式テキストコメントと、教師なし訓練方法の疑似ラベルを計算するように構成された単語重複ベースのスペクトルクラスタリング方法との互換性とを共同で評価する。この方法はさらに、データベースに、訓練セットの符号化から抽出された特徴ベクトルと共に訓練セットを記憶することを含む。符号化は、時系列符号器を使用して時系列の訓練セットを符号化し、テキスト符号器を使用して自由形式テキストコメントの訓練セットを符号化することによって得られる。また、本方法は、テスト時系列およびテスト自由形式テキストコメントの少なくとも１つに関連するテスト入力に対応する少なくとも１つの特徴ベクトルと共に特徴空間に挿入するために、２つの異なるモダリティの少なくとも１つに対応する特徴ベクトルをデータベースから検索することを含む。この方法は、さらに、距離基準に基づいて特徴空間内の特徴ベクトルの中から最近傍の組を決定することと、最近傍の組に基づいてテスト入力に対するテスト結果を出力することとを含む。
本発明のさらに別の態様によれば、クロスモーダルデータ検索のためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、それを具体化したプログラム命令を有する非一時的なコンピュータ読み取り可能記憶媒体を含む。プログラム命令は、コンピュータに方法を実行させるために、コンピュータによって実行可能である。この方法は、損失関数に基づく教師なし訓練方法を使用して、時系列符号器とテキスト符号器とを有するニューラルネットワークを共同で訓練することを含む。損失関数は、時系列と自由形式テキストコメントとの２つの異なるモダリティの訓練セットの特徴ベクトルの類似性と、時系列および自由形式テキストコメントと、教師なし訓練方法の疑似ラベルを計算するように構成された単語重複ベースのスペクトルクラスタリング方法との互換性とを共同で評価する。この方法はさらに、データベースに、訓練セットの符号化から抽出された特徴ベクトルと共に訓練セットを記憶することを含む。符号化は、時系列符号器を使用して時系列の訓練セットを符号化し、テキスト符号器を使用して自由形式テキストコメントの訓練セットを符号化することによって得られる。また、本方法は、テスト時系列およびテスト自由形式テキストコメントの少なくとも１つに関連するテスト入力に対応する少なくとも１つの特徴ベクトルと共に特徴空間に挿入するために、２つの異なるモダリティの少なくとも１つに対応する特徴ベクトルをデータベースから検索することを含む。この方法は、さらに、距離基準に基づいて特徴空間内の特徴ベクトルの中から最近傍の組を決定することと、最近傍の組に基づいてテスト入力に対するテスト結果を出力することとを含む。
これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。
本発明の一実施形態による、例示的な計算装置を示すブロック図である
本発明の一実施形態による、例示的な発電所シナリオを示すブロック図である。
本発明の一実施形態による、時系列を自然言語で説明するための例示的なシステム／方法を示す高水準ブロック図である。
本発明の一実施形態による、テキスト記述を用いて履歴時系列を検索するための例示的なシステム／方法を示す高水準ブロック図である。
本発明の一実施形態による、例示的な系列およびテキスト記述を用いて履歴時系列を検索するための例示的なシステム／方法を示す高レベルブロック図である。
本発明の一実施形態による、例示的なクロスモーダル検索システム／方法を示す高レベルブロック図である。
本発明の一実施形態による、例示的な訓練アーキテクチャ７００を示す高レベルブロック図である。
本発明の一実施形態による、例示的な訓練方法を示すフロー図である。
本発明の一実施形態による、図７のテキスト符号器７１５の例示的なアーキテクチャを示すブロック図である。
本発明の一実施形態による、図７の時系列符号器７１０の例示的なアーキテクチャを示すブロック図である。
本発明の一実施形態による、クロスモーダル検索のための例示的な方法を示す流れ図である。
本発明の一実施形態による、入力時系列の説明を提供するための例示的なシステム／方法を示す高レベルブロック図である。
本発明の一実施形態による、自然言語入力に基づいて時系列を検索するための例示的なシステム／方法を示す高レベルブロック図である。
本発明の一実施形態による、ジョイントモダリティ検索のための例示的なシステム／方法を示す高レベルブロック図である。
本発明の実施形態によれば、単語重複ベースのクラスタリングを使用して、時系列データとテキストデータとのデータセット内の教師なしクロスモーダル検索のためのシステムおよび方法が提供される。
多くの現実世界のシナリオでは、時系列は、領域専門家によって書かれたテキストコメントでタグ付けされる。例えば、発電所の運転員がセンサの故障に気付いたとき、彼は、信号の形状、原因、解決策、および期待される将来の状態を説明する注記を書くことがある。このようなデータは、２つのモダリティ（多変量時系列およびテキスト）の組になった実施例を含む。施設は、その運用の過程で、そのような多モーダルデータを大量に蓄積している可能性がある。これらは、時系列データと人間の説明との間の相関を求めるために使用することができる。これらはまた、特定のアプリケーション領域の知識を学習するための優れたリソースでもある。これらのデータが豊富な専門知識を含んでいると仮定すると、本発明は、様々な異なるアプリケーションに対して同じことを利用する。
本発明の１つまたは複数の実施形態は、２つのテキスト間の単語重複を使用して、類似性行列に関する類似性の例を測定する。類似性行列に基づいて、例のクラスタリングが、スペクトルクラスタリングを使用して計算される。クラスタ割り当ては疑似ラベルとして使用される。本発明の１つまたは複数の実施形態は、ニューラルネットワークを使用して、ベクトル表現における時系列セグメントおよびテキストノートを符号化する。複合損失関数は、実施例擬似ラベルに基づいてベクトル表現にわたって定義される。ニューラルネットワークの訓練は、この損失関数を最小化することによって実現される。
一方、本発明の１つ以上の実施形態は、同じクラスタに割り当てられたテキストにおいて頻繁に現れるフレーズを識別する。フレーズは、与えられたデータセット内の共通概念を発見するために使用することができる。例えば、発電所の操作ログから、本発明は、「低温」、「タービン振動」等のような共通の問題を表すキーフレーズを抽出することができる。
図１は、本発明の一実施形態による例示的な計算装置１００を示すブロック図である。計算装置１００は、単語重複ベースのクラスタリングを使用して、時系列データおよびテキストデータのデータセットにおいて、教師なしクロスモーダル検索を実行するように構成される。
計算装置１００は、限定されるものではないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイル計算装置、ウェアラブル計算装置、ネットワークアプライアンス、Ｗｅｂアプライアンス、分散計算システム、プロセッサベースのシステム、および／または消費者電子装置を含む、本明細書に記載する機能を実行することができる任意のタイプの計算またはコンピュータデバイスとして実施することができる。さらに、または代替として、計算装置１００は、物理的に分離された計算装置の１つまたは複数のコンピューティングスレッド、メモリスレッド、または他のラック、スレッド、コンピューティングシャーシ、または他の構成要素として実施され得る。図１に示すように、計算装置１００は、例示的に、プロセッサ１１０、入出力サブシステム１２０、メモリ１３０、データ記憶装置１４０、通信サブシステム１５０、および／またはサーバまたは同様の計算装置に一般的に見られる他の構成要素および装置を含む。もちろん、計算装置１００は、他の実施形態では、サーバコンピュータ（例えば、様々な入力／出力装置）に一般に見られるような他のまたは追加のコンポーネントを含むことができる。さらに、いくつかの実施形態では、例示的な構成要素のうちの１つまたは複数は、別の構成要素に組み込まれてもよく、または別の方法で別の構成要素の一部を形成してもよい。例えば、いくつかの実施形態では、メモリ１３０またはその一部をプロセッサ１１０に組み込むことができる。
プロセッサ１１０は、本明細書に記載する機能を実行することができる任意のタイプのプロセッサとして実施することができる。プロセッサ１１０は、シングルプロセッサ、マルチプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、シングルまたはマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、または他のプロセッサまたは処理／制御回路として具現化されてもよい。
メモリ１３０は、本明細書で説明する機能を実行することができる任意のタイプの揮発性または不揮発性メモリまたはデータ記憶装置として実施することができる。動作において、メモリ１３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、ドライバなど、計算装置１００の動作中に使用される様々なデータおよびソフトウェアを記憶することができる。メモリ１３０は、Ｉ／Ｏサブシステム１２０を介してプロセッサ１１０に通信可能に結合され、これは、プロセッサ１１０、メモリ１３０、および計算装置１００の他の構成要素との入出力操作を容易にするための回路および／または構成要素として具現化され得る。例えば、Ｉ／Ｏサブシステム１２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェアデバイス、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、光ガイド、プリント回路基板トレースなど）、および／または入力／出力動作を容易にするための他の構成要素およびサブシステムとして具現化されてもよく、またはそうでなければそれらを含んでもよい。いくつかの実施形態では、Ｉ／Ｏサブシステム１２０は、システムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ１１０、メモリ１３０、および計算装置１００の他の構成要素とともに、単一の集積回路チップ上に組み込まれ得る。
データ記憶装置１４０は、例えば、メモリ装置および回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置などの、データの短期または長期記憶のために構成された任意のタイプの装置または複数の装置として具現化され得る。データ記憶装置１４０は、単語重複ベースのクラスタリングを使用して時系列データとテキストデータとのデータセットにおけるクロスモーダル検索のためのプログラムコード１４０Ａを記憶することができる。計算装置１００の通信サブシステム１５０は、ネットワークを介して計算装置１００と他のリモート装置との間の通信を可能にすることができる、任意のネットワークインターフェースコントローラまたは他の通信回路、装置、またはそれらの集合として実施することができる。通信サブシステム１５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）および関連プロトコル（例えば、イーサネット（登録商標）、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）など）を使用して、そのような通信を行うように構成されてもよい。
図示のように、計算装置１００は、１つまたは複数の周辺装置１６０を含むこともできる。周辺装置１６０は、任意の数の追加の入力／出力装置、インターフェース装置、および／または他の周辺装置を含むことができる。例えば、いくつかの実施形態では、周辺装置１６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイクロフォン、ネットワークインターフェース、および／または他の入力／出力装置、インターフェース装置、および／または周辺装置を含むことができる。
もちろん、計算装置１００は、当業者によって容易に企図されるように、他の要素（図示せず）を含むこともでき、特定の要素を省略することもできる。例えば、当業者によって容易に理解されるように、様々な他の入力装置および／または出力装置を、同じものの特定の実装に応じて、計算装置１００に含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、コントローラ、メモリなどを利用することもできる。処理システム１００のこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられれば、当業者によって容易に企図される。
本明細書で採用されるように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイスなど）を含むことができる。１つまたは複数のデータ処理要素は、中央処理ユニット、画像処理ユニットおよび／または別個のプロセッサまたはコンピューティング要素ベースのコントローラ（たとえば、論理ゲートなど）に含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムは、オンボードまたはオフボードにすることができるか、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）など）によって使用するために専用にすることができる１つ以上のメモリを含むことができる。
ある実施形態では、ハードウェアプロセッササブシステムは、１つ以上のソフトウェア要素を含むことができ、実行することができる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステムおよび／または１つ以上のアプリケーションおよび／または特定のコードを含むことができる。
他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用の専用回路を含むことができる。そのような回路は、１つまたは複数のアプリケーション専用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／またはプログラマブルロジックアレイ（ＰＬＡ）を含むことができる。
ハードウェアプロセッササブシステムのこれらおよび他の変形もまた、本発明の実施形態に従って企図される。
図２は、本発明の一実施形態による、例示的な発電所シナリオ２００を示すブロック図である。
発電所シナリオ２００は、燃料供給／発電機／変圧器２１０および制御室２２０を含む。
燃料供給／発電機／変圧器２１０は、制御装置２１１およびセンサ２１２を含む。
制御室２２０は、人間のオペレータ２２１と、データ分析システム２２２と、テキストログ２２３とを含む。
このように、発電所の操作の文脈において、設備の種々の部分に配置されたセンサ２１２は、発電プロセスの状態を特徴付ける時系列（ＴＳ）データ２４０を収集する。ＴＳデータは、制御室２２０内のコンピュータに設置されたデータ分析システム２２２へ送信される。１人以上の人間オペレータ２２１は、モニタ上でデータを検査し、自由形式テキストでメモを作成することができる。データが異常である場合には、原因分析や解析などの詳細を含むことが予想される。テキストノートおよび時系列データは、データベース２５０に格納され、データ分析システム２２２の一部である本明細書に記載のクロスモーダル検索システムを訓練するために使用される。
人間オペレータ２２１は、以下に説明するように、２つの方法でクロスモーダル検索システムと相互作用することができる。
本発明の１つまたは複数の実施形態は、教師なしニューラルネットワーク訓練のための方法、ならびに時系列データおよびテキストデータのためのクロスモーダル検索を使用するための方法を提供する。これら２つのモダリティの対データを含むデータベースが与えられると、訓練されたシステムは、データベースからユーザ与えられたクエリに類似するデータを検索することができる。このシステムは、クエリのモダリティと検索結果に応じて、（１）自然言語での時系列の説明、（２）テキスト記述を用いた履歴時系列の検索、（３）参照系列とテキスト記述を用いた履歴時系列の検索、の３つの例示的な用法を持つ。もちろん、本明細書に提供される本発明の教示が与えられれば、他の例示的な使用が当業者によって容易に企図される。
図３は、本発明の一実施形態による、自然言語で時系列を説明するための例示的なシステム／方法３００を示す高レベルブロック図である。
図４は、本発明の一実施形態による、テキスト記述を用いて履歴時系列を検索するための例示的なシステム／方法４００を示す高レベルブロック図である。
図５は、本発明の一実施形態による、例示的な系列およびテキスト記述を用いて履歴時系列を検索するための例示的なシステム／方法５００を示す高レベルブロック図である。
図３を参照すると、システム／方法３００は、オペレータ３０１と、クエリ時系列（ＴＳ）セグメント３０２と、データ分析システム３０３と、関連するテキスト記述３０４とを含む。時系列セグメント３０２が与えられると、データ分析システム３０３を用いて、クエリセグメント３０２の説明として機能することができる関連コメントテキスト３０４を検索する。
図４を参照すると、システム／方法４００は、オペレータ４０１と、ターゲット時系列（ＴＳ）の記述４０２と、データ分析システム４０３と、候補時系列４０４とを含む。テキスト記述（自然言語文またはキーワードのセット）４０２を与えられると、データ分析システム４０３を用いて記述に一致する時系列セグメント４０４を検索する。
図５を参照すると、システム／方法５００は、オペレータ５０１と、ターゲット時系列（ＴＳ）の記述５０２と、時系列セグメントの一例５０３と、データ分析システム５０４と、候補時系列５０５とを含む。時系列セグメント５０３およびテキスト記述５０２が与えられると、記述５０２に一致し、データ分析システム５０４を使用してクエリセグメント５０３にも類似する履歴セグメントを検索する。
図６は、本発明の一実施形態による、例示的なクロスモーダル検索システム／方法６００を示す高レベルブロック図である。
システム／方法６００は、マルチモーダルニューラルネットワークベースの符号器６１０と、訓練アルゴリズム６２０と、検索アルゴリズム６３０と、時系列（ＴＳ）およびテキスト対データベース６４０と、擬似ラベル計算方法６５０と、損失関数６６０とを含む。
クロスモーダル検索システム／方法６００は、マルチモーダルニューラルネットワーク６１０を使用して、テキストおよび時系列データをベクトル表現に符号化する。ニューラルネットワーク６１０は、ＴＳ－テキスト対６４０のユーザ提供データベース内の例を使用して、訓練アルゴリズム６３０によって訓練される。訓練アルゴリズム６２０は、特別な擬似ラベル計算方法６５０および特別な損失関数６６０を伴う。訓練は教師なしであり、このプロセスに人間が関与する必要がないことを意味する。ニューラルネットワーク符号器６１０が訓練された後、ユーザが提供したクエリによるデータベースからのデータの検索が、検索アルゴリズム６３０に従って実現される。
図７は、本発明の一実施形態による、例示的な訓練アーキテクチャ７００を示す高レベルブロック図である。
訓練アーキテクチャ７００は、データベースシステム７０５と、時系列符号器ニューラルネットワーク７１０と、テキスト符号器ニューラルネットワーク７１５と、時系列の特徴７２０と、テキストコメントの特徴７２５と、損失関数７３０と、単語重複による類似性行列を計算する方法７３５と、類似性行列７４０と、スペクトルクラスタリングアルゴリズム７４５と、テキストコメントのクラスタ割り当て７５０とを含む。
図８は、本発明の一実施形態による、例示的な訓練方法８００を示すフロー図である。
ブロック８１０で、類似性行列Ａ ７４０を計算する。ここで、Ａijは、テキストｉとテキストｊとの両方に生じる単語の数である。Ｓi（またはＳj）が文ｉ（またはｊ）内の単語の組であると仮定すると、Ａijは、以下のように２つの組の共通部分として計算することができる。
Figure 0007345046000001
ブロック８２０において、スペクトルクラスタリングアルゴリズム７４５を類似性行列Ａ ７４０に適用する。クラスタ数ｋは、ユーザによって推定される。結果は、ｉ番目の行Ｇiが、データベースからのテキストインスタンスｉが割り当てられるクラスタに対応する位置においてのみ値が１である１ホットベクトルであるクラスタ割当て行列Ｇである。各時系列セグメントに、ペアになっているテキストインスタンスと同じクラスタラベルを割り当てる。これらのクラスタは、本発明の様々な実施形態によって提供される概念のセットを形成する。
さらに詳細には、スペクトルクラスタリングにおいて、次数行列Ｄが最初に計算される。次数行列Ｄは、ｉ番目の対角要素が
Figure 0007345046000002
 である対角行列である。ラプラシアン行列Ｌ＝Ｄ－Ａが計算される。Ｌの特異値分解は、
Figure 0007345046000003
 として計算され、ここで、Ｕのｉ番目の行は、ｉ番目の訓練例のスペクトル埋め込みである。すべての訓練例のスペクトル埋め込みは、ｋ－ｍｅａｎｓなどの標準クラスタリング方法を使用してクラスタリングされる。その結果、各例はｋ個のクラスタのいずれかに割り当てられる。
ブロック８３０では、２つのシーケンス符号器、すなわち、テキスト符号器７１５および時系列符号器７１０を含むニューラルネットワークを構築する。テキスト符号器７１５は、ｇtxtによって示され、トークン化されたテキストコメントを入力として取る。ｇsrsで示される時系列符号器７１０は、時系列を入力とする。テキスト符号器のアーキテクチャを図９に示す。時系列符号器は、図１０に示すように、ワード埋め込み層が完全接続層に置き換えられていることを除いて、テキスト符号器とほぼ同じアーキテクチャを有する。符号器アーキテクチャは、一連の畳み込み層と、それに続く変換器ネットワークとを含む。畳み込み層は、ローカルコンテキスト（例えば、テキストデータのフレーズ）を捕捉する。変換器は、シーケンス内の長期依存性を符号化する。
ブロック８４０で、３つの損失、すなわち、（１）コサイン埋め込み損失Ｌpair、（２）テキストデータのクラスタリング損失Ｌt、および（３）時系列データのクラスタリング損失Ｌsを定義する。
同じペアに属する時系列セグメントの特徴ベクトルとテキストとの間の類似性を測定するＬpairは、以下のように計算される。
Figure 0007345046000004
ここで、ｕiとｖiとはｉ番目の時系列セグメントの特徴ベクトルと、ｉ番目のテキストの特徴ベクトルである。言い換えると、ｕi＝=ｇsrs（ｘi）とｖi＝=ｇtxt（ｙi）であり、ここでｘiはｉ番目の時系列セグメントであり、ｙiはｉ番目のテキストである。
Ｌs（またはＬt）は、ガウスカーネルを使用して特徴ベクトルから計算された時系列（またはテキスト）インスタンスと、ブロック８１０におけるスペクトルクラスタリングから計算された親和性値との間のペアワイズ親和性値の間の一貫性を測定する。Ｌsは、次のように定義される。
Figure 0007345046000005
ここで、ｋは、ユーザが選択したσを使用して
Figure 0007345046000006
 として定義されるガウスカーネルである。
Ｌtは、ｕの代わりにｖが使用されることを除いて、Ｌsと同様に定義される。
最後に、全体損失Ｌは、３つの損失の合計として定義される。Ｌ＝Ｌ pair ＋Ｌ s ＋Ｌ t
ブロック８５０では、符号器７１０および７１５の両方のパラメータを、全体の損失Ｌを最小化することによって共同で訓練する。より具体的には、訓練は反復して進行する。各反復において、固定サイズのデータ対のバッチがサンプリングされる。バッチに対する全体的な損失および両方の符号器７１０および７１５のパラメータに対する損失の勾配が計算される。確率的勾配降下を用いてパラメータを更新する。
ブロック８６０では、予め定義された反復回数に到達したか、または損失値が収束したことに応答して、すべての時系列セグメントとすべてのテキストとの特徴ベクトルを、それらの生形式とともにデータベース７０５に記憶する。
図９は、本発明の一実施形態による、図７のテキスト符号器７１５の例示的なアーキテクチャ９００を示すブロック図である。
アーキテクチャ９００は、単語埋め込み９１１、位置符号器９１２、畳み込み複数層９１３、正規化複数層９２１、畳み込み複数層９２２、スキップ接続９２３、正規化複数層９３１、自己注意複数層９３２、スキップ接続９３３、正規化複数層９４１、フィードフォワード複数層９４２、およびスキップ接続９４３を含む。アーキテクチャ９００は、埋め込み出力９５０を提供する。
上記の要素は、変換ネットワーク４９０を形成する。
入力はテキスト節である。入力の各トークンは、単語埋め込み層９１１によって単語ベクトルに変換される。次に、位置符号器９１２は、各トークンの位置埋め込みベクトルをトークンの単語ベクトルに追加する。結果として得られる埋め込みベクトルは、最初の畳み込み層９１３に供給され、その後、一連の残差畳み込みブロック９０１（図示および簡潔さのために１つが示されている）が続く。各残差畳み込みブロック９０１は、バッチ正規化層９２１および畳み込み層９２２と、スキップ接続９２３とを含む。次に、残差自己注意ブロック９０２がある。残差自己注意ブロック９０２は、バッチ正規化層９３１、自己注意層９３２、およびスキップ接続９３３を含む。次に、残差フィードフォワードブロック９０３がある。残差フィードフォワードブロック９０３は、バッチ正規化層９４１と、完全に接続された線形フィードフォワード層９４２と、スキップ接続９４３とを含む。このブロックからの出力ベクトル９５０は、変換ネットワーク全体の出力であり、入力テキストの特徴ベクトルである。
この特定のアーキテクチャ９００は、テキストメッセージをベクトルに符号化する目的を満たすことができる多くの可能なニューラルネットワークアーキテクチャのうちの１つにすぎない。上記の特定の実装に加えて、テキスト符号器は、再帰的ニューラルネットワークまたは１次元畳み込みニューラルネットワークの多くの変形を使用して実装することができる。これらおよび他のアーキテクチャの変形は、本明細書で提供される本発明の教示を前提として、当業者によって容易に企図される。
図１０は、本発明の一実施形態による、図７の時系列符号器７１０の例示的なアーキテクチャ１０００を示すブロック図である。
アーキテクチャ１０００は、単語埋め込み１０１１、位置符号器１０１２、畳み込み層１０１３、正規化層１０２１、畳み込み層１０２２、スキップ接続１０２３、正規化層１０３１、自己注意層１０３２、スキップ接続１０３３、正規化層１０４１、フィードフォワード層１０４２、およびスキップ接続１０４３を含む。アーキテクチャは、出力１０５０を提供する。
上記の要素は、変換ネットワーク１０９０を形成する。
入力は、固定長の時系列である。各時点におけるデータベクトルは、完全接続層によって高次元潜在ベクトルに変換される。次に、位置符号器は、各タイムポイントの潜在ベクトルに位置ベクトルを付加する。結果として得られる埋め込みベクトルは、最初の畳み込み層１０１３に供給され、その後に、一連の残差畳み込みブロック１００１（図示および簡潔さのために１つが示されている）が続く。各残差畳み込みブロック１００１は、バッチ正規化層１０２１および畳み込み層１０２２と、スキップ接続１０２３とを含む。次に、残差自己注意ブロック１００２がある。残差自己注意ブロック１００２は、バッチ正規化層１０３１、自己注意層１０３２、およびスキップ接続１０３３を含む。次に、残差フィードフォワードブロック１００３がある。残差フィードフォワードブロック１００３は、バッチ正規化層１０４１と、完全に接続された線形フィードフォワード層１０４２と、スキップ接続１０４３とを含む。このブロックからの出力ベクトル１０５０は、変換ネットワーク全体の出力であり、入力時系列の特徴ベクトルである。
この特定のアーキテクチャ１０００は、時系列をベクトルに符号化する目的を満たすことができる多くの可能なニューラルネットワークアーキテクチャのうちの１つにすぎない。さらに、時系列符号器は、再帰的ニューラルネットワークまたは時間的拡張畳み込みニューラルネットワークの多くの変形を使用して実施することができる。
図１１は、本発明の一実施形態による、クロスモーダル検索のための例示的な方法１１００を示すフロー図である。
ブロック１１１０で、時系列および／またはテキスト形式のクエリを受信する。
ブロック１１２０で、時系列符号器７１０および／またはテキスト符号器７１５を使用してクエリを処理し、特徴空間に含まれる特徴ベクトルを生成する。
ブロック１１３０で、データベース７０５からのクエリおよび特徴ベクトルの処理から得られた１つ以上の特徴ベクトルが入力された特徴空間で最近傍探索を実行して、２つのモダリティの少なくとも１つで探索結果を出力する。一実施形態では、入力モダリティは、検索結果内のその対応する出力モダリティに関連付けることができ、入力モダリティおよび出力モダリティは、いずれかの端部（本明細書で提供される教示が与えられると容易に理解されるように、その端部に対する実装および対応するシステム構成に応じた入力または出力）で同じモダリティのうちの１つまたは複数が異なるか、またはそれらを含む。
ブロック１１４０で、検索結果に応答してアクションを実行する。
例示的なアクションは、例えば、コンピュータ処理システム／電力システムにおける異常を認識し、異常が検出されるシステムを制御することを含むことができるが、これに限定されない。例えば、ハードウェアセンサまたはセンサネットワーク（例えば、メッシュ）からの時系列データの形態のクエリは、テキストメッセージをラベルとして使用して、異常な挙動（危険な、またはそうでなければ動作速度が速すぎる（例えば、モータ、ギアジャンクション）、危険な、またはそうでなければ過剰な動作熱（例えば、モータ、ギアジャンクション）、危険な、またはそうでなければ許容範囲外の整列（例えば、モータ、ギアジャンクションなど）として特徴付けることができる。処理パイプラインでは、初期入力時系列は、複数のテキストメッセージに処理され、次いで、所与のトピック（例えば、異常タイプ）に関して、よりフォーカスされた結果の出力時系列のためのテキストメッセージのサブセットを含むように再結合されることができる。したがって、装置は、実装に基づいて、オフにされ、その動作速度が低減され、アラインメント（例えば、ハードウェアベースの）手順が実行され、等々であり得る。
別の例示的なアクションは、履歴データに対する所与の出力時系列および／またはテキストコメントに等しい所与の動作状態の検出時に、オンまたはオフにすること、減速すること、スピードアップすること、位置調整することなどを含むハードウェアマシン制御機能などの他の機能を実行するために使用されるように、パラメータの経時変化の履歴をログ記録することができる動作パラメータトレーシングであり得る。
テストフェーズでは、符号器７１０，７１５、ならびに生データと利用可能な両方のモダリティの特徴とのデータベース７０５を用いて、最近傍探索を使用して、見えないクエリのための関連データを検索することができる。３つのアプリケーションシナリオのそれぞれについての具体的な手順を以下に説明する。
図１２は、本発明の一実施形態による、入力時系列の説明を提供するための例示的なシステム／方法１２００を示す高レベルブロック図である。
クエリ１２０１が任意の長さの時系列として与えられると、それは、特徴ベクトルｘ １２０３を得るために、時系列符号器１２０２をフォワードパスされる。次に、データベース１２２５から、特徴１２０４がこのベクトル（最近傍１２０５）までの最小（ユークリッドの）距離を有するｋ個のテキストインスタンスを見つける。これらのテキストインスタンスは、人間が書いた自由形式コメントであり、検索結果１２０６として返される。
図１３は、本発明の一実施形態による、自然言語入力に基づいて時系列を検索するための例示的なシステム／方法１３００を示す高レベルブロック図である。
クエリ１３０１が自由形式テキスト節（すなわち、単語または短文）として与えられると、それは、特徴ベクトルｙ １３０３を得るためにテキスト符号器１３０２を通過させられる。次いで、データベース１３２５から、特徴１３０４がｙ（最近傍１３０５）までの最小距離を有するｋ個の時系列インスタンスを見つける。これらの時系列は、クエリテキストと同じ意味クラスを持ち、したがってクエリに高い関連性を持ち、検索結果１３０６として返される。
図１４は、本発明の一実施形態による、共同モダリティ検索のための例示的なシステム／方法１４００を示す高レベルブロック図である。
クエリが（時系列セグメント１４０１、テキスト記述１４０２）の組として与えられると、時系列は、特徴ベクトルｘ １４０５を得るために時系列符号器１４０３を通過し、テキスト記述は、特徴ベクトルｙ １４０６を得るためにテキスト符号器１４０４を通過する。次に、データベース１４２５から、特徴１４０７がｘの最近傍１４０８であるｎ個の時系列セグメントと、特徴がｙの最近傍１４０８であるｎ個の時系列セグメントとを見つけ、それらの共通部分を得る。ｎ＝ｋから始める。共通部分内のインスタンスの数がｋよりも小さい場合、ｎをインクリメントし、少なくともｋ個のインスタンスが検索されるまで検索を繰り返す。これらのインスタンスは、クエリ時系列とクエリテキストとの両方に意味的に類似しており、検索結果１４０９として返される。
図２に関連する発電所運転の例示的な応用および工業的監視のより広い領域に加えて、本発明の様々な実施形態は、以下を含むがこれに限定されない、多くの他の設定で使用することができる。
インテリジェントフィットネスまたはスポーツコーチング：ゴルファー、ランナーまたはスイマーから収集されたウェアラブルセンサデータとコーチコメントとの間の検索。
ヘルスケア：遠隔患者監視センサデータと医師／看護師のメモとの間の検索。
財務：財務チャートパターンと貿易戦略ノートとの間の検索。
前述の実施例は、本明細書に提供される本発明の教示を与えられた当業者によって容易に理解されるように、単に例示的なものである。
本明細書に記載する実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、または、ハードウェアおよびソフトウェア要素の両方を含むものであってもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されないソフトウェアで実施される。
実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、またはトランスポートする任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。媒体は、半導体または固体ステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスクおよび光ディスクなどのコンピュータ読み取り可能な記憶媒体を含むことができる。
各コンピュータプログラムは、本明細書に記載する手順を実行するために、記憶媒体または装置がコンピュータによって読み取られるときに、コンピュータの操作を構成し制御するために、汎用または特殊目的のプログラム可能コンピュータによって読み取り可能な、機械読み取り可能な記憶媒体または装置（例えば、プログラムメモリまたは磁気ディスク）に実体的に記憶することができる。本発明のシステムはまた、コンピュータプログラムで構成された、コンピュータ読み取り可能な記憶媒体で実施されるものと考えることができ、その場合、構成された記憶媒体は、コンピュータを特定の所定の方法で動作させて、本明細書に記載する機能を実行させる。
プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的または間接的に結合された少なくとも１つのプロセッサを含んでもよい。メモリ要素は、プログラムコードの実際の実行中に採用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードが検索される回数を減らすために少なくとも何らかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力／出力またはＩ／Ｏ装置（キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない）は、直接または介在するＩ／Ｏコントローラを介してシステムに結合され得る。
介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするために、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、およびイーサネット（登録商標）カードは、現在使用可能なネットワークアダプタのタイプの一例に過ぎない。
本明細書において、本発明の「一実施形態」又は「一実施形態」とは、その他の変形例と同様に、その実施形態に関連して説明した特定の特徴、構造、特性等が、本発明の少なくとも一実施形態に含まれることを意味するものであり、「一実施形態において」又は「一実施形態において」の語句の出現、並びに本明細書全体の様々な箇所に出現する他の変形例は、必ずしも全て同一の実施形態を意味するものではない。しかしながら、本明細書で提供される本発明の教示を前提として、１つまたは複数の実施形態の特徴を組み合わせることができることを理解されたい。
以下の「／」、「および／または」、および「少なくとも１つ」、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」のいずれかの使用は、第１のリストされた実施例（Ａ）のみの選択、または第２のリストされた実施例（Ｂ）のみの選択、または両方の実施例（ＡおよびＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、このような句は、第１のリストされた実施例（Ａ）のみの選択、または第２のリストされた実施例（Ｂ）のみの選択、または第３のリストされた実施例（Ｃ）のみの選択、または第１および第２のリストされた実施例（ＡおよびＢ）のみの選択、または 第１および第３のリストされた実施例（ＡおよびＣ）のみの選択、または第２および第３のリストされた実施例（ＢおよびＣ）のみの選択、または３つすべての実施例（ＡおよびＢおよびＣ）の選択を包含することを意図する。これは、列挙された項目の数だけ拡張することができる。
上記は、あらゆる点で例示的かつ例示的であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許容される全範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の例示にすぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、本発明の態様を、特許法によって要求される詳細および特殊性と共に説明してきたが、特許状によって保護されることが請求され、望まれるものは、添付の特許請求の範囲に記載されている。

Claims (20)

  1. クロスモーダルデータ検索のためのコンピュータ処理システムであって、
    損失関数に基づく教師なし訓練方法を使用して共同訓練される時系列符号器（２１１）とテキスト符号器（２１２）とを有し、前記損失関数は、時系列と自由形式テキストコメントとの２つの異なるモダリティの訓練セットの特徴ベクトルの類似性と、前記時系列および前記自由形式テキストコメントと教師なし訓練方法の疑似ラベルを計算するように構成された、前記自由形式テキストコメントをクラスタリングする単語重複ベースのスペクトルクラスタリング方法により得られる疑似ラベルとの互換性と、を共同で評価する、ニューラルネットワークと、
    前記訓練セットを、前記訓練セットの符号化から抽出された特徴ベクトルと共に記憶し、前記符号化は、前記時系列符号器を使用して前記時系列の訓練セットを符号化し、前記テキスト符号器を使用して前記自由形式テキストコメントの訓練セットを符号化することによって得られた、データベース（２０５）と、
    テスト時系列およびテスト自由形式テキストコメントのうちの少なくとも１つに関連するテスト入力に対応する少なくとも１つの特徴ベクトルとともに特徴空間に挿入するための、前記２つの異なるモダリティのうちの少なくとも１つに対応する前記特徴ベクトルを前記データベースから検索し、距離基準に基づいて前記特徴空間内の前記特徴ベクトルの中から最近傍の組を決定し、前記最近傍の組に基づいて前記テスト入力に対するテスト結果を出力するためのハードウェアプロセッサ（１１０）とを含むコンピュータ処理システム。
  2. 前記単語重複ベースのスペクトルクラスタリング方法は、前記自由形式テキストコメントの２つの入力の間に存在する単語重複の量に基づいて類似値を計算する、請求項１に記載のコンピュータ処理システム。
  3. 前記ハードウェアプロセッサ（１１０）は、前記類似値に基づいて類似性行列を計算し、前記類似性行列は、前記単語重複ベースのスペクトルクラスタリング方法によって使用されて、前記自由形式テキストコメントを含む様々な入力のクラスタ割り当てを生成する、請求項２に記載のコンピュータ処理システム。
  4. 前記単語重複の量は、２組の自由形式テキストコメントの共通部分として計算される、請求項３に記載のコンピュータ処理システム。
  5. 前記単語重複ベースのスペクトルクラスタリング方法によって行われるクラスタ割り当ては、擬似ラベルとして構成される、請求項１に記載のコンピュータ処理システム。
  6. 前記クラスタ割り当ては、クラスタ割り当て行列において具現化され、前記クラスタ割り当て行列における所与の行は、所与の自由形式テキストコメントが割り当てられる前記データベースからのクラスタ割当てのそれぞれの１つに対応する位置においてのみ１の値を有する１ホットベクトルである、請求項５に記載のコンピュータ処理システム。
  7. 前記損失関数は、前記時系列および前記自由形式テキストコメントのいずれかから選択された入力ペアに対するコサイン埋め込み損失と、前記自由形式テキストコメントに対するクラスタリング損失と、前記時系列に対するクラスタリング損失とを含む、請求項１に記載のコンピュータ処理システム。
  8. 前記クラスタリング損失は、ガウスカーネルに基づく、請求項７に記載のコンピュータ処理システム。
  9. 前記テスト入力は、前記時系列符号器に適用される任意の長さの入力時系列であり、前記テスト結果を、１つ以上の自由形式テキストコメントの形式で前記入力時系列の説明として取得する、請求項１に記載のコンピュータ処理システム。
  10. 前記テスト入力は、前記テキスト符号器に適用される任意の長さの入力自由形式テキストコメントであり、前記テスト結果を、前記入力自由形式テキストコメントと同じ意味クラスを有する１つまたは複数の時系列として取得する、請求項１に記載のコンピュータ処理システム。
  11. 前記テスト入力は、前記特徴空間への挿入のための第１のベクトルを得るために前記時系列符号器に適用される任意の長さの入力時系列と、前記特徴空間への挿入のための第２のベクトルを得るために前記テキスト符号器に適用される任意の長さの入力自由形式テキストコメントとの両方を含む、請求項１に記載のコンピュータ処理システム。
  12. 前記ニューラルネットワークの複数の畳み込み層がローカルコンテキストを捕捉する、請求項１に記載のコンピュータ処理システム。
  13. 前記テスト入力は、ハードウェアシステムの異常検出のための少なくとも１つのハードウェアセンサの所与の時系列データを含む、請求項１に記載のコンピュータ処理システム。
  14. 前記ハードウェアプロセッサ（１１０）は、テスト結果に応じて前記ハードウェアシステムを制御する請求項１３に記載のコンピュータ処理システム。
  15. クロスモーダルデータ検索のためのコンピュータ実装された方法であって、
    時系列と自由形式テキストコメントとの２つの異なるモダリティの訓練セットの特徴ベクトルの類似性と、前記時系列および前記自由形式テキストコメントと教師なし訓練方法の疑似ラベルを計算するように構成された、前記自由形式テキストコメントをクラスタリングする単語重複ベースのスペクトルクラスタリング方法により得られる疑似ラベルとの互換性と、を共同で評価する損失関数に基づく教師なし訓練方法を使用して時系列符号器とテキスト符号器とを有するニューラルネットワークを共同訓練すること（３００）と、
    データベースに、前記訓練セットの、前記時系列符号器を使用して前記時系列の訓練セットを符号化し、前記テキスト符号器を使用して前記自由形式テキストコメントの訓練セットを符号化することによって得られた符号化から抽出された特徴ベクトルと共に前記訓練セットを格納すること（３３０）と、
    テスト時系列およびテスト自由形式テキストコメントの少なくとも１つに関連するテスト入力に対応する少なくとも１つの特徴ベクトルと共に特徴空間に挿入するための、前記２つの異なるモダリティの少なくとも１つに対応する前記特徴ベクトルを前記データベースから検索すること（３６０）と、
    距離基準に基づいて前記特徴空間内の前記特徴ベクトルの中から最近傍の組を決定し（３７０）、前記最近傍の組に基づいて前記テスト入力に対するテスト結果を出力することとを含むコンピュータ実装された方法。
  16. 前記単語重複ベースのスペクトルクラスタリング方法は、前記自由形式テキストコメントの２つの入力の間に存在する単語重複の量に基づいて類似値を計算する、請求項１５に記載のコンピュータ実装された方法。
  17. 類似性行列が前記類似値に基づいて計算され、前記類似性行列が前記単語重複ベースのスペクトルクラスタリング方法によって使用されて、前記自由形式テキストコメントを含む様々な入力のクラスタ割り当てを生成する、請求項１６に記載のコンピュータ実装された方法。
  18. 前記単語重複の量は、２組の自由形式テキストコメントの共通部分として計算される、請求項１７に記載のコンピュータ実装された方法。
  19. 前記単語重複ベースのスペクトルクラスタリング方法によって行われるクラスタ割り当ては、擬似ラベルとして構成される、請求項１５に記載のコンピュータ実装された方法。
  20. コンピュータにクロスモーダルデータ検索を実現する方法を実行させるためのコンピュータプログラムであって、前記コンピュータに実行させる方法は、
    時系列と自由形式テキストコメントとの２つの異なるモダリティの訓練セットの特徴ベクトルの類似性と、前記時系列および前記自由形式テキストコメントと教師なし訓練方法の疑似ラベルを計算するように構成された、前記自由形式テキストコメントをクラスタリングする単語重複ベースのスペクトルクラスタリング方法により得られる疑似ラベルとの互換性と、を共同で評価する損失関数に基づく教師なし訓練方法を使用して時系列符号器およびテキスト符号器を有するニューラルネットワークを共同訓練すること（３００）と、
    データベースに、前記訓練セットの、前記時系列符号器を使用して前記時系列の訓練セットを符号化し、前記テキスト符号器を使用して前記自由形式テキストコメントの訓練セットを符号化することによって得られた符号化から抽出された特徴ベクトルと共に前記訓練セットを格納すること（３３０）と、
    テスト時系列およびテスト自由形式テキストコメントの少なくとも１つに関連するテスト入力に対応する少なくとも１つの特徴ベクトルと共に特徴空間に挿入するための、前記２つの異なるモダリティの少なくとも１つに対応する前記特徴ベクトルを前記データベースから検索すること（３６０）と、
    距離基準に基づいて前記特徴空間内の前記特徴ベクトルの中から最近傍の組を決定し（３７０）、前記最近傍の組に基づいて前記テスト入力に対するテスト結果を出力することとを含むコンピュータプログラム。
JP2022504286A 2019-07-24 2020-07-02 単語重複ベースのクラスタリングクロスモーダル検索 Active JP7345046B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962877952P 2019-07-24 2019-07-24
US62/877,952 2019-07-24
US201962878781P 2019-07-26 2019-07-26
US62/878,781 2019-07-26
US16/918,353 US11520993B2 (en) 2019-07-24 2020-07-01 Word-overlap-based clustering cross-modal retrieval
US16/918,353 2020-07-01
PCT/US2020/040649 WO2021015936A1 (en) 2019-07-24 2020-07-02 Word-overlap-based clustering cross-modal retrieval

Publications (2)

Publication Number Publication Date
JP2022544019A JP2022544019A (ja) 2022-10-17
JP7345046B2 true JP7345046B2 (ja) 2023-09-14

Family

ID=74187911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504286A Active JP7345046B2 (ja) 2019-07-24 2020-07-02 単語重複ベースのクラスタリングクロスモーダル検索

Country Status (4)

Country Link
US (1) US11520993B2 (ja)
JP (1) JP7345046B2 (ja)
DE (1) DE112020003538T5 (ja)
WO (1) WO2021015936A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326392B (zh) * 2021-05-06 2022-11-18 武汉理工大学 基于四元组哈希的遥感图像音频检索方法
CN113377909B (zh) * 2021-06-09 2023-07-11 平安科技（深圳）有限公司 释义分析模型训练方法、装置、终端设备及存储介质
CN113127605B (zh) * 2021-06-17 2021-11-02 明品云(北京)数据科技有限公司 一种目标识别模型的建立方法、系统、电子设备及介质
TWI778683B (zh) * 2021-06-24 2022-09-21 英業達股份有限公司 基於產品配置訊息以提供測試時間預估建議系統及其方法
CN113989596B (zh) * 2021-12-23 2022-03-22 深圳佑驾创新科技有限公司 图像分类模型的训练方法及计算机可读存储介质
CN114691907B (zh) * 2022-05-31 2022-09-16 上海蜜度信息技术有限公司 一种跨模态检索的方法、设备及介质
CN116720523B (zh) * 2023-04-19 2024-02-06 贵州轻工职业技术学院 一种基于多核的深度文本聚类方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041206A (ja) 2015-08-21 2017-02-23 日本電信電話株式会社 学習装置、探索装置、方法、及びプログラム
US20180293313A1 (en) 2015-10-23 2018-10-11 Alexander G. Hauptmann Video content retrieval system
US20190205393A1 (en) 2016-07-11 2019-07-04 Peking University Shenzhen Graduate School A cross-media search method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331675B2 (en) * 2015-08-06 2019-06-25 Clarifai, Inc. Systems and methods for learning new trained concepts used to retrieve content relevant to the concepts learned
US20170161372A1 (en) * 2015-12-04 2017-06-08 Codeq Llc Method and system for summarizing emails and extracting tasks
US20180096243A1 (en) * 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
US10339421B2 (en) * 2017-03-30 2019-07-02 Toyota Motor Engineering & Manufacturing North America, Inc. RGB-D scene labeling with multimodal recurrent neural networks
US20190108448A1 (en) * 2017-10-09 2019-04-11 VAIX Limited Artificial intelligence framework
KR102008196B1 (ko) * 2017-12-05 2019-08-07 아주대학교 산학협력단 심전도 데이터를 이용한 혈중 칼륨농도 예측모델 생성장치 및 그 방법
US10540438B2 (en) * 2017-12-22 2020-01-21 International Business Machines Corporation Cognitive framework to detect adverse events in free-form text
AU2019269312A1 (en) * 2018-05-14 2020-11-19 Quantum-Si Incorporated Systems and methods for unifying statistical models for different data modalities
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041206A (ja) 2015-08-21 2017-02-23 日本電信電話株式会社 学習装置、探索装置、方法、及びプログラム
US20180293313A1 (en) 2015-10-23 2018-10-11 Alexander G. Hauptmann Video content retrieval system
US20190205393A1 (en) 2016-07-11 2019-07-04 Peking University Shenzhen Graduate School A cross-media search method

Also Published As

Publication number Publication date
US11520993B2 (en) 2022-12-06
DE112020003538T5 (de) 2022-05-05
US20210027019A1 (en) 2021-01-28
JP2022544019A (ja) 2022-10-17
WO2021015936A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7345046B2 (ja) 単語重複ベースのクラスタリングクロスモーダル検索
JP7361193B2 (ja) マルチモーダルトリプレットロスを使用した時系列およびｔｅｘｔのための教師ありクロスモーダル検索
US11604956B2 (en) Sequence-to-sequence prediction using a neural network model
US11574122B2 (en) Method and system for joint named entity recognition and relation extraction using convolutional neural network
CN108959482B (zh) 基于深度学习的单轮对话数据分类方法、装置和电子设备
JP2019008778A (ja) 画像の領域のキャプション付加
CN112329465A (zh) 一种命名实体识别方法、装置及计算机可读存储介质
JP7316721B2 (ja) 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進
US10853580B1 (en) Generation of text classifier training data
JP7257585B2 (ja) 深層ｃｃａ及び能動ペアワイズクエリを用いるマルチモーダル検索及びクラスタリングのための方法
US20210133279A1 (en) Utilizing a neural network to generate label distributions for text emphasis selection
CN113688631B (zh) 一种嵌套命名实体识别方法、系统、计算机和存储介质
JP7303195B2 (ja) 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進
US20230244869A1 (en) Systems and methods for classification of textual works
CN111639500A (zh) 语义角色标注方法、装置、计算机设备及存储介质
CN112529024A (zh) 一种样本数据的生成方法、装置及计算机可读存储介质
Xiao et al. User preference mining based on fine-grained sentiment analysis
CN114021570A (zh) 实体消歧方法、装置、设备及存储介质
CN114220505A (zh) 病历数据的信息抽取方法、终端设备及可读存储介质
US10929761B2 (en) Systems and methods for automatically detecting and repairing slot errors in machine learning training data for a machine learning-based dialogue system
JP2022544018A (ja) 正準相関分析に基づく時系列およびテキストコメントにおける教師なしコンセプト発見およびクロスモーダル検索
KR102642012B1 (ko) 전자 의무 기록을 구성하는 텍스트의 분석과 관련된 전처리를 수행하는 전자 장치
Chatterjee et al. Automated question-answering for interactive decision support in operations & maintenance of wind turbines
CN113792553A (zh) 用于自然语言处理神经网络模型的可视化分析方法和系统
CN110543544A (zh) 文本处理方法、存储介质和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7345046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350