JP6678930B2 - 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム - Google Patents
分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム Download PDFInfo
- Publication number
- JP6678930B2 JP6678930B2 JP2015170953A JP2015170953A JP6678930B2 JP 6678930 B2 JP6678930 B2 JP 6678930B2 JP 2015170953 A JP2015170953 A JP 2015170953A JP 2015170953 A JP2015170953 A JP 2015170953A JP 6678930 B2 JP6678930 B2 JP 6678930B2
- Authority
- JP
- Japan
- Prior art keywords
- classification model
- units
- combination
- training
- dedicated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
図2は、本願の発明の第1の実施形態による、NLQ分類モデルおよび該NLQ分類モデルに用いる学習システムを組み込んだコンピュータ・システムのブロック図を示す。
負の対数確率を最小にすることによって、単一のラベルを仮定する。マルチラベルを処理するために、コピー変換を使用して、2つのトレーニング・データ((x,y(1))、(x,y(2)))を得ることができ、上式で、y(1)=(1,0,0)およびy(2)=(0,0,1)である。各トレーニング・データについての損失は、l(P,(x,y(1)))=−log(o1)およびl(P,(x,y(2)))=−log(o3)となり、上式では、ソフトマックス活性化を使用して、ラベル予測レイヤ164にてoを算出することができる。
マルチラベルを処理するために、マルチラベルを確率分布y=(0.5,0,0.5)であるものと仮定する。トレーニング・データ(x、y)についてのクロス・エントロピー損失は、l(P,(x,y))=−ylog(o)となり、上式では、ラベル予測レイヤ164にてソフトマックス活性化が使用される。
マルチラベルを操作するために、ラベルをy=(1,0,1)であるものと仮定する。トレーニング例(x,y)についての二値クロス・エントロピー損失は、以下のようになる。
ここで、図6〜7を一通り参照すると、本願の発明の第2の実施形態による、分類モデルを学習するためのコンピュータ・システムおよび方法が記載される。
上記に記載されたように、本願の発明の1つまたは複数の実施形態による新規の学習技術は、NLQ分類タスクおよびトピック・カテゴライゼーション・タスクに特化しない。すなわち、本技術は、汎用性があり、任意の分類タスクに適用することができる。
第1の実施形態による図4に示されるプロセスを実装するプログラムを、保護ドメイン内でQA(質問および解)データ用に英語にてコード化し、実行した。クエリは、自然言語で入力され、分類モデルは、クエリに対する解を含むドキュメントを返す。3,133個および394個のクエリが、トレーニング・データおよび評価データ中にそれぞれ含まれていた。1,695個および158個の共起ラベルを、トレーニング・データおよび評価データ中にそれぞれ見出した。トレーニング・データに割り当てられた固有のドキュメント・ラベルの数は、526であった。
図4に示されるプロセスを実装するプログラムを、パブリック・マルチラベル・トピック・カテゴライゼーション・データについて実行した(Reuters Corpus Volume 1;RCV1)。RCV1は、23,149個のトレーニング・テキストと、103個のトピック・ラベルを備えた781,265個の評価テキストとを有する。
本開示は、クラウド・コンピューティングに関する詳細な記載を含むとはいえ、本明細書に記載される教示の実装は、クラウド・コンピューティング環境に限定されないことが予め理解される。むしろ、本願の発明の実施形態は、現在公知のまたは将来開発される他の任意の型のコンピュータ環境と併せて実装することが可能である。
オンデマンド・セルフサービス:クラウドのコンシューマは、サービス・プロバイダとの人的やり取りを要することなく、必要応じて自動的に、サーバ時間やネットワーク記憶装置などのコンピューティング能力を一方的に提供することができる。
ブロード・ネットワーク・アクセス:能力は、ネットワーク中にわたって利用可能であり、不均一なシンまたはシック・クライアント・プラットフォームによる使用を促進する標準的な機構を介してアクセスされる(例えば携帯電話、ラップトップ・コンピュータおよびPDA)。
リソース・プーリング:プロバイダのコンピューティング・リソースは、プールされ、マルチテナント・モデルを使用して複数のコンシューマに供される。その際に、異なる物理的なおよび仮想のリソースが、需要に応じてダイナミックに割り当てられる、および再度割り当てられる。コンシューマは概ね、提供されるリソースの正確な位置に関して制御しないか知識がないものの、より高い抽象化のレベルで位置を特定することができる場合がある(例えば国、国家またはデータセンター)という点で、位置的に独立しているという感覚がある。
速やかな融通性:能力は、速やかにかつ柔軟に供給されて、ある場合には自動的に、直ちにスケールアウトし、また、速やかに開放されて直ちにスケールインすることができる。コンシューマにとって、供給に利用することが可能な能力は、制限がないものと思われ、任意の時間に任意の量で獲得することができる。
測定されるサービス:クラウド・システムは、サービスの型(例えば記憶装置、処理、帯域幅およびアクティブ・ユーザ・アカウント)に適したある程度の抽象化のレベルで計測能に影響を与えることによって、リソースの使用を自動的に制御および最適化する。リソースの利用は、モニターおよび制御することができ、利用されるサービスのプロバイダとコンシューマとの双方に透明性をもたらすことを報告することができる。
サービスとしてのソフトウェア(SaaS):コンシューマに提供される能力は、クラウド・インフラストラクチャ上で動作するプロバイダのアプリケーションを使用するためのものである。アプリケーションは、ウェブ・ブラウザなどのシン・クライアント・インターフェース(例えばウェブベースのe−メール)を介して様々なクライアント・デバイスからアクセス可能である。コンシューマは、限定されたユーザに特有の構成設定である場合を除いて、サーバ、オペレーティング・システム、記憶装置、またはさらに個々のアプリケーション能力を含む基礎クラウド・インフラストラクチャを管理または制御しない。
サービスとしてのプラットフォーム(PaaS):コンシューマに提供される能力は、プログラミング言語を使用して生成され、かつクラウド・インフラストラクチャのコンシューマが作製または獲得するアプリケーションにおいて、およびプロバイダによってサポートされるツール上に展開するためのものである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、または記憶装置を含む基礎クラウド・インフラストラクチャを管理または制御しないが、展開されたアプリケーションを制御し、事によるとアプリケーション・ホスティング環境構成を有することがある。
サービスとしてのインフラストラクチャ(IaaS):コンシューマに提供される能力は、処理、記憶装置、ネットワーク、およびコンシューマが任意のソフトウェアを展開および操作することができる他の基本的なコンピューティング・リソースを供給するためのものであり、上記リソースは、オペレーティング・システムおよびアプリケーションを含むことができる。コンシューマは、基礎クラウド・インフラストラクチャを管理または制御しないが、オペレーティング・システム、記憶装置、展開されたアプリケーションを制御し、事によると精選されたネットワーキング・コンポーネントを限定的に制御することがある(例えば、ホスト・ファイアウォール)。
プライベート・クラウド:このクラウド・インフラストラクチャは、組織化のためにのみ稼働される。これは、組織または第三者によって管理されることがあり、枠内または枠外に存在することがある。
コミュニティ・クラウド:このクラウド・インフラストラクチャは、いくつかの組織によって共有され、問題(例えば課題、セキュリティ上の要請、ポリシー、およびコンプライアンス上の検討事項)を共有する特定のコミュニティをサポートする。これは、組織によっても第三者によっても管理されることがあり、枠内でも枠外でも存在することがある。
パブリック・クラウド:このクラウド・インフラストラクチャは、一般人または大きな産業上のグループに利用可能となるように運用され、クラウド・サービスを販売する組織が所有する。
ハイブリッド・クラウド:このクラウド・インフラストラクチャは、2つまたはそれを超えるクラウド(プライベート、コミュニティ、またはパブリック)の構成体であり、それらのクラウドは、固有のエンティティを残すが、データおよびアプリケーションの携帯を可能にする規格化されたまたは所有者の技術によって、共に結び付けられている(例えば、クラウド間のロード・バランスをとるためのクラウド・バースティング)。
本願の発明は、コンピュータ・システム、方法、コンピュータ・プログラム・プロダクトまたはそれらの組合せとしてもよい。コンピュータ・プログラム・プロダクトは、コンピュータ読み取り可能な記憶媒体(または複数の媒体)を含んでいてもよく、該記憶媒体は、プロセッサが本願の発明の態様を実施するためのコンピュータ読み取り可能なプログラム命令をその上に有する。
Claims (25)
- トレーニング入力と、前記トレーニング入力に割り当てられた1つまたは複数の正しいラベルとをそれぞれが有する、1つまたは複数のトレーニング・データを使用して、複数の隠れユニットおよび複数の出力ユニットを有する分類モデルを学習する、コンピュータ実装方法であって、前記コンピュータが、
前記分類モデルへの入力に対し共に出現することが予想される共起ラベルの組合せを取得することと、
前記組合せに対し、前記複数の隠れユニットから専用ユニットを準備して、前記複数の出力ユニットのうち、前記専用ユニットに接続され、かつ、前記組合せの各共起ラベルに対応する複数の関連の出力ユニットを、共に活性化させるように、前記分類モデルを初期化することと、
前記1つまたは複数のトレーニング・データを使用して、前記分類モデルをトレーニングすることと
を実行する、コンピュータ実装方法。 - 前記専用ユニットは、関連の各出力ユニットとの接続を有しており、前記分類モデルの前記初期化では、前記専用ユニットと関連の各出力ユニットとの接続は、前記専用ユニットと、前記関連の出力ユニット以外の残りの出力ユニットとの間の他の接続よりも、および前記複数の隠れユニットのうち残りの隠れユニットの少なくとも一部と、前記関連の出力ユニットを含む前記複数の出力ユニットとの間の他の接続よりも、大きさが大きな重み値を用いて初期化される、請求項1に記載の方法。
- 前記複数の隠れユニットは、1つまたは複数の隠れレイヤを形成し、前記複数の出力ユニットは、出力レイヤを形成し、前記分類モデルの前記初期化は、
前記出力レイヤと、前記出力レイヤの下の隠れレイヤとの間の重みマトリックスを初期化すること
を含み、前記重みマトリックスは、共起ラベルの組合せ用の専用行と、前記専用行以外の残りの行とを有し、前記専用行は、各共起ラベルにそれぞれが対応する列を有し、前記分類モデルの前記初期化では、前記列は、前記組合せ内の前記共起ラベルに対応する列以外の前記専用行中の残りのどの列よりも、および前記残りの行中の他の列よりも、大きさが大きな重み値を用いて初期化される、請求項1に記載の方法。 - 前記重み値は、接続のための上限値または正規化された初期化のための上界値である、請求項2に記載の方法。
- 前記重み値は、前記1つまたは複数のトレーニング・データに出現した前記組合せの頻度に基づいて変化する、請求項2に記載の方法。
- 前記重み値は、前記1つまたは複数のトレーニング・データに出現した前記組合せの頻度に基づいて変化する、請求項3に記載の方法。
- 前記分類モデルの初期化は、
ゼロの値で、前記専用ユニットと、残りの出力ユニットとの間の接続を準備することと、
無作為な初期化を用いて、前記複数の隠れユニットのうち残りの隠れユニットの少なくとも一部を準備することと
を含む、請求項2に記載の方法。 - 前記共起ラベルを取得することは、
前記1つまたは複数のトレーニング・データで共に起こった複数の組合せをリストする
ことと、
前記1つまたは複数のトレーニング・データ中の各組合せに関連する出現の頻度に基づいて前記複数の組合せからサブセットを選択することと
を含む、請求項1に記載の方法。 - 前記トレーニング入力は、自然文の形態または自然文の表現のクエリであり、正しいラベルのそれぞれは、前記クエリに対する解を有するドキュメントを識別するドキュメント識別子であり、前記分類モデルは、自然言語クエリ分類タスクを実施する、請求項1に記載の方法。
- 前記トレーニング入力は、自然文の形態または自然文の表現のテキストであり、正しいラベルのそれぞれは、前記テキストに割り当てられた属性であり、前記分類モデルは、テキスト分類タスクを実施する、請求項1に記載の方法。
- トレーニング後の前記専用ユニットはさらに、前記組合せ内の共起ラベルに関し対応する関連の前記出力ユニットを同時に活性化させる、請求項1に記載の方法。
- トレーニング入力と、前記トレーニング入力に割り当てられた1つまたは複数の正しいラベルとをそれぞれが有する、1つまたは複数のトレーニング・データを使用して、分類モデルを学習し、前記分類モデルが、複数の隠れユニットおよび複数の出力ユニットを有する、コンピュータ実装方法であって、前記コンピュータが、
前記1つまたは複数のトレーニング・データに共に出現した共起ラベルの組合せをリストすることと、
前記組合せに対し専用ユニットを準備しつつ、前記分類モデルを初期化することと、
前記1つまたは複数のトレーニング・データを使用して、前記分類モデルをトレーニングすることと
を実行し、前記専用ユニットは、前記組合せの各共起ラベルにそれぞれが対応する、複数の関連の出力ユニットとの接続を有し、前記分類モデルの前記初期化では、前記専用ユニットと関連の各出力ユニットとの接続は、残りの出力ユニットとの他の接続よりも、および前記複数の隠れユニットのうち残りの隠れユニットの少なくとも一部と、前記関連の出力ユニットを含めた複数の出力ユニットとの間の他の接続よりも、大きさが大きな重み値を用いて初期化される、コンピュータ実装方法。 - トレーニング入力と、前記トレーニング入力に割り当てられた1つまたは複数の正しいラベルとをそれぞれが有する、1つまたは複数のトレーニング・データを使用して、複数の隠れユニットおよび複数の出力ユニットを有する分類モデルを学習する、コンピュータ・システムであって、
前記分類モデルへの入力について共に出現することが予想される共起ラベルの組合せを取得するように構成された、リスティング・モジュールと、
前記組合せに対し、前記複数の隠れユニットからの専用ユニットを準備して、複数の前記出力ユニットのうち前記専用ユニットに接続され、かつ前記組合せの各共起ラベルに対応する複数の関連の出力ユニットを共に活性化させるように、前記分類モデルを初期化する、初期化モジュールと、
前記1つまたは複数のトレーニング・データを使用して、前記分類モデルをトレーニングするように構成される、トレーニング・モジュールと、
を含む、コンピュータ・システム。 - 前記専用ユニットは、関連の各出力ユニットとの接続を有しており、前記分類モデルの前記初期化では、前記専用ユニットと関連の各出力ユニットとの接続は、前記専用ユニットと、前記関連の出力ユニット以外の残りの出力ユニットとの間の他の接続よりも、および前記複数の隠れユニットのうち残りの隠れユニットの少なくとも一部と、前記関連の出力ユニットを含む前記複数の出力ユニットとの間の他の接続よりも、大きさが大きな重み値を用いて初期化される、請求項13に記載のコンピュータ・システム。
- 前記複数の隠れユニットは、1つまたは複数の隠れレイヤを形成し、前記複数の出力ユニットは、出力レイヤを形成し、前記初期化モジュールは、
前記出力レイヤと、前記出力レイヤの下の隠れレイヤとの間の重みマトリックスを初期化するように
さらに構成され、前記重みマトリックスは、前記共起ラベルの組合せ用の専用行と、前記専用行以外の残りの行とを有し、前記専用行は、各共起ラベルにそれぞれが対応する列を有し、前記分類モデルの前記初期化では、前記列は、前記組合せ内の前記共起ラベルに対応する列以外の前記専用行中の残りのどの列よりも、および前記残りの行中の他の列よりも、大きさが大きな重み値を用いて初期化される、請求項13に記載のコンピュータ・システム。 - 前記重み値は、接続のための上限値または正規化された初期化のための上界値である、請求項14に記載のコンピュータ・システム。
- 前記重み値は、前記1つまたは複数のトレーニング・データに出現した組合せの頻度に基づいて変化する、請求項14に記載のコンピュータ・システム。
- 前記初期化モジュールは、
ゼロの値で、前記専用ユニットと、残りの入力ユニットとの間の接続を準備するように、および
無作為な初期化を用いて、前記複数の隠れユニットのうち残りの隠れユニットの少なくとも一部を準備するように
さらに構成される、請求項13に記載のコンピュータ・システム。 - 前記リスティング・モジュールは、
前記1つまたは複数のトレーニング・データで共起されたラベルの複数の組合せをリストするように、および
前記1つまたは複数のトレーニング・データ中の各組合せに関連する出現の頻度に基づいて前記複数の組合せからサブセットを選択するように
さらに構成される、請求項13に記載のコンピュータ・システム。 - クラウド・コンピューティング環境で提供される、請求項13に記載のコンピュータ・システム。
- トレーニング入力と、前記トレーニング入力に割り当てられた1つまたは複数の正しいラベルとをそれぞれが有する、1つまたは複数のトレーニング・データを使用してプログラム命令を実行することによって、分類モデルを学習し、前記分類モデルが、複数の隠れユニットおよび複数の出力ユニットを有する、コンピュータ・システムであって、
前記プログラム命令を実体的に格納するメモリと、
前記メモリと通信するプロセッサと
を含み、
前記分類モデルへの入力に対し、共に出現することが予想される共起ラベルの組合せを取得し、
前記組合せに対し、前記複数の隠れユニットから専用ユニットを準備して、前記複数の出力ユニットのうち、前記専用ユニットに接続され、かつ前記組合せの各共起ラベルに対応する複数の関連の出力ユニットを共に活性化させるよう、前記分類モデルを初期化し、および
前記1つまたは複数のトレーニング・データを使用して、前記分類モデルをトレーニングするように
構成された、コンピュータ・システム。 - トレーニング入力と、前記トレーニング入力に割り当てられた1つまたは複数の正しいラベルとをそれぞれが有する、1つまたは複数のトレーニング・データを使用して分類モデルを学習し、前記分類モデルが、複数の隠れユニットおよび複数の出力ユニットを有する、コンピュータ・プログラムであって、それをもって具現化されたプログラム命令を有し、前記プログラム命令が、
前記分類モデルへの入力に対し出現することが予想される共起ラベルの組合せを取得すること、
前記組合せに対し、前記複数の隠れユニットから専用ユニットを準備して、前記複数の出力ユニットのうち、前記専用ユニットに接続され、かつ前記組合せの各共起ラベルに対応する関連の出力ユニットを共に活性化させるよう、分類モデルを初期化すること、および
前記1つまたは複数のトレーニング・データを使用して、前記分類モデルをトレーニングすること
を含むコンピュータ実装方法を前記コンピュータに実施させるように、コンピュータによって実行可能である、コンピュータ・プログラム。 - 前記専用ユニットは、関連の各出力ユニットとの接続を有しており、前記分類モデルの前記初期化では、前記専用ユニットと関連の各出力ユニットとの接続は、前記専用ユニットと、前記関連の出力ユニット以外の残りの出力ユニットとの間の他の接続よりも、および前記複数の隠れユニットのうち残りの隠れユニットの少なくとも一部と、前記関連の出力ユニットを含む複数の出力ユニットとの間の他の接続よりも、大きさが大きな重み値を用いて初期化される、請求項22に記載のコンピュータ・プログラム。
- 前記重み値は、前記1つまたは複数のトレーニング・データに出現した組合せの頻度に基づいて変化する、請求項23に記載のコンピュータ・プログラム。
- 前記共起ラベルの組合せを取得することは、
前記1つまたは複数のトレーニング・データで共起された複数の組合せをリストすること、および
前記1つまたは複数のトレーニング・データ中の各組合せに関連する出現の頻度に基づいて前記複数の組合せからサブセットを選択すること
を含む、請求項22に記載のコンピュータ・プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170953A JP6678930B2 (ja) | 2015-08-31 | 2015-08-31 | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム |
US15/251,008 US10621509B2 (en) | 2015-08-31 | 2016-08-30 | Method, system and computer program product for learning classification model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170953A JP6678930B2 (ja) | 2015-08-31 | 2015-08-31 | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017049684A JP2017049684A (ja) | 2017-03-09 |
JP6678930B2 true JP6678930B2 (ja) | 2020-04-15 |
Family
ID=58096761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015170953A Active JP6678930B2 (ja) | 2015-08-31 | 2015-08-31 | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10621509B2 (ja) |
JP (1) | JP6678930B2 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6678930B2 (ja) * | 2015-08-31 | 2020-04-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム |
JP6611053B2 (ja) * | 2015-09-17 | 2019-11-27 | パナソニックIpマネジメント株式会社 | 主題推定システム、主題推定方法およびプログラム |
KR102522924B1 (ko) * | 2016-03-18 | 2023-04-19 | 한국전자통신연구원 | 음성인식을 위한 초벌학습 장치 및 방법 |
US10606952B2 (en) | 2016-06-24 | 2020-03-31 | Elemental Cognition Llc | Architecture and processes for computer learning and understanding |
CN107590153B (zh) * | 2016-07-08 | 2021-04-27 | 微软技术许可有限责任公司 | 使用卷积神经网络的对话相关性建模 |
US10268734B2 (en) * | 2016-09-30 | 2019-04-23 | International Business Machines Corporation | Providing search results based on natural language classification confidence information |
US11069335B2 (en) * | 2016-10-04 | 2021-07-20 | Cerence Operating Company | Speech synthesis using one or more recurrent neural networks |
KR20230170119A (ko) | 2016-11-15 | 2023-12-18 | 매직 립, 인코포레이티드 | 큐보이드 검출을 위한 딥 러닝 시스템 |
US11182840B2 (en) * | 2016-11-18 | 2021-11-23 | Walmart Apollo, Llc | Systems and methods for mapping a predicted entity to a product based on an online query |
KR20210113443A (ko) * | 2017-03-17 | 2021-09-15 | 매직 립, 인코포레이티드 | 룸 레이아웃 추정 방법들 및 기술들 |
CN107766929B (zh) * | 2017-05-05 | 2019-05-24 | 平安科技(深圳)有限公司 | 模型分析方法及装置 |
CN108304429B (zh) * | 2017-05-16 | 2021-12-14 | 腾讯科技(深圳)有限公司 | 信息推荐方法、装置和计算机设备 |
US10747761B2 (en) * | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US11468286B2 (en) * | 2017-05-30 | 2022-10-11 | Leica Microsystems Cms Gmbh | Prediction guided sequential data learning method |
IL294197A (en) | 2017-09-20 | 2022-08-01 | Magic Leap Inc | A personal neural network for eye tracking |
US20210390624A1 (en) * | 2017-09-27 | 2021-12-16 | State Farm Mutual Automobile Insurance Company | Real Property Monitoring Systems and Methods for Risk Determination |
US20190114300A1 (en) * | 2017-10-13 | 2019-04-18 | Choosito! Inc. | Reading Level Based Text Simplification |
JP6568175B2 (ja) * | 2017-10-20 | 2019-08-28 | ヤフー株式会社 | 学習装置、生成装置、分類装置、学習方法、学習プログラム、および動作プログラム |
CN111373419A (zh) | 2017-10-26 | 2020-07-03 | 奇跃公司 | 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法 |
RU2678716C1 (ru) * | 2017-12-11 | 2019-01-31 | Общество с ограниченной ответственностью "Аби Продакшн" | Использование автоэнкодеров для обучения классификаторов текстов на естественном языке |
US11126789B2 (en) * | 2017-12-21 | 2021-09-21 | Battelle Energy Alliance, Llc | Method to convert a written procedure to structured data, and related systems and methods |
CN109993194A (zh) * | 2018-01-02 | 2019-07-09 | 北京京东尚科信息技术有限公司 | 数据处理方法、系统、电子设备和计算机可读介质 |
JPWO2019176806A1 (ja) | 2018-03-16 | 2021-04-08 | 富士フイルム株式会社 | 機械学習装置および方法 |
CN108763242B (zh) * | 2018-03-26 | 2022-03-08 | 广州视源电子科技股份有限公司 | 标签生成方法及装置 |
US11776036B2 (en) * | 2018-04-19 | 2023-10-03 | Adobe Inc. | Generating and utilizing classification and query-specific models to generate digital responses to queries from client device |
US11887003B1 (en) * | 2018-05-04 | 2024-01-30 | Sunil Keshav Bopardikar | Identifying contributing training datasets for outputs of machine learning models |
CN108875821A (zh) | 2018-06-08 | 2018-11-23 | Oppo广东移动通信有限公司 | 分类模型的训练方法和装置、移动终端、可读存储介质 |
CN108804718B (zh) * | 2018-06-11 | 2021-12-14 | 线粒体(北京)科技有限公司 | 数据推送方法、装置、电子设备及计算机可读存储介质 |
KR102511996B1 (ko) * | 2018-06-26 | 2023-03-20 | 에스케이텔레콤 주식회사 | 준지도 학습 방법 |
CN110874407A (zh) * | 2018-08-14 | 2020-03-10 | 中国软件与技术服务股份有限公司 | 一种增值税发票商品和服务税收分类编码识别及纠错方法 |
WO2020047750A1 (zh) * | 2018-09-04 | 2020-03-12 | 深圳先进技术研究院 | 心律失常的检测方法、装置、电子设备及计算机存储介质 |
JP7156521B2 (ja) * | 2018-11-08 | 2022-10-19 | 日本電気株式会社 | 情報処理装置、システム、方法及びプログラム |
CN109471944B (zh) * | 2018-11-12 | 2021-07-16 | 中山大学 | 文本分类模型的训练方法、装置及可读存储介质 |
CA3061717A1 (en) * | 2018-11-16 | 2020-05-16 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
JP7186591B2 (ja) * | 2018-12-03 | 2022-12-09 | 日本放送協会 | テキスト分類装置、学習装置、およびプログラム |
US11538237B2 (en) * | 2019-01-15 | 2022-12-27 | Accenture Global Solutions Limited | Utilizing artificial intelligence to generate and update a root cause analysis classification model |
US11663519B2 (en) * | 2019-04-29 | 2023-05-30 | International Business Machines Corporation | Adjusting training data for a machine learning processor |
US11748613B2 (en) * | 2019-05-10 | 2023-09-05 | Baidu Usa Llc | Systems and methods for large scale semantic indexing with deep level-wise extreme multi-label learning |
CN116401604B (zh) * | 2019-05-13 | 2024-05-28 | 北京绪水互联科技有限公司 | 进行冷头状态分类检测和寿命预测的方法 |
JP2021005211A (ja) | 2019-06-26 | 2021-01-14 | キオクシア株式会社 | 情報処理方法及び情報処理装置 |
US11461376B2 (en) * | 2019-07-10 | 2022-10-04 | International Business Machines Corporation | Knowledge-based information retrieval system evaluation |
CN110533190B (zh) * | 2019-07-18 | 2023-09-05 | 武汉烽火众智数字技术有限责任公司 | 一种基于机器学习的数据对象分析方法及装置 |
US11294884B2 (en) | 2019-08-09 | 2022-04-05 | International Business Machines Corporation | Annotation assessment and adjudication |
US11188517B2 (en) | 2019-08-09 | 2021-11-30 | International Business Machines Corporation | Annotation assessment and ground truth construction |
CN110866113B (zh) * | 2019-09-30 | 2022-07-26 | 浙江大学 | 基于稀疏自注意力机制微调伯特模型的文本分类方法 |
CN110807007B (zh) * | 2019-09-30 | 2022-06-24 | 支付宝(杭州)信息技术有限公司 | 目标检测模型训练方法、装置、系统及存储介质 |
CN110704627B (zh) * | 2019-10-15 | 2022-02-15 | 支付宝(杭州)信息技术有限公司 | 一种训练分类模型的方法及系统 |
US11379758B2 (en) * | 2019-12-06 | 2022-07-05 | International Business Machines Corporation | Automatic multilabel classification using machine learning |
CN111079813B (zh) * | 2019-12-10 | 2023-07-07 | 北京百度网讯科技有限公司 | 基于模型并行的分类模型计算方法和装置 |
CN111191789B (zh) * | 2020-01-20 | 2023-11-28 | 上海依图网络科技有限公司 | 模型优化部署系统、芯片、电子设备及介质 |
US11900070B2 (en) * | 2020-02-03 | 2024-02-13 | International Business Machines Corporation | Producing explainable rules via deep learning |
CN111401474B (zh) * | 2020-04-13 | 2023-09-08 | Oppo广东移动通信有限公司 | 视频分类模型的训练方法、装置、设备及存储介质 |
CN111581300A (zh) * | 2020-05-09 | 2020-08-25 | 山东健康医疗大数据有限公司 | 一种基于健康医疗数据的标签矩阵构建及更新方法 |
US11900272B2 (en) | 2020-05-13 | 2024-02-13 | Factset Research System Inc. | Method and system for mapping labels in standardized tables using machine learning |
CN111753895A (zh) * | 2020-06-12 | 2020-10-09 | 北京小米松果电子有限公司 | 数据处理方法、装置及存储介质 |
CN112100345A (zh) * | 2020-08-25 | 2020-12-18 | 百度在线网络技术(北京)有限公司 | 是非类问答模型的训练方法、装置、电子设备及存储介质 |
CN112380319B (zh) * | 2020-11-12 | 2023-10-17 | 平安科技(深圳)有限公司 | 一种模型训练的方法及相关装置 |
CN112734035B (zh) * | 2020-12-31 | 2023-10-27 | 成都佳华物链云科技有限公司 | 一种数据处理方法及装置、可读存储介质 |
CN113763014A (zh) * | 2021-01-05 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 物品共现关系确定方法和装置及判定模型获得方法和装置 |
CN113342983B (zh) * | 2021-06-30 | 2023-02-07 | 中国平安人寿保险股份有限公司 | 基于机器学习的简历分配方法、装置、设备及存储介质 |
CN113220864B (zh) * | 2021-07-08 | 2021-10-01 | 中航信移动科技有限公司 | 智能问答数据处理系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03122770A (ja) | 1989-10-05 | 1991-05-24 | Ricoh Co Ltd | キーワード連想文書検索方法 |
JPH06149771A (ja) | 1992-11-16 | 1994-05-31 | Hitachi Ltd | 連想記憶のためのニューラルネットワークの構成方法およびその装置 |
CN101566998B (zh) | 2009-05-26 | 2011-12-28 | 华中师范大学 | 一种基于神经网络的中文问答系统 |
US8365019B2 (en) * | 2009-06-16 | 2013-01-29 | International Business Machines Corporation | System and method for incident management enhanced with problem classification for technical support services |
US9235799B2 (en) | 2011-11-26 | 2016-01-12 | Microsoft Technology Licensing, Llc | Discriminative pretraining of deep neural networks |
US9842610B2 (en) * | 2015-06-26 | 2017-12-12 | International Business Machines Corporation | Training deep neural network for acoustic modeling in speech recognition |
JP6678930B2 (ja) * | 2015-08-31 | 2020-04-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム |
WO2017090051A1 (en) * | 2015-11-27 | 2017-06-01 | Giridhari Devanathan | A method for text classification and feature selection using class vectors and the system thereof |
US11341413B2 (en) * | 2016-08-29 | 2022-05-24 | International Business Machines Corporation | Leveraging class information to initialize a neural network language model |
US11157829B2 (en) * | 2017-07-18 | 2021-10-26 | International Business Machines Corporation | Method to leverage similarity and hierarchy of documents in NN training |
US10720151B2 (en) * | 2018-07-27 | 2020-07-21 | Deepgram, Inc. | End-to-end neural networks for speech recognition and classification |
-
2015
- 2015-08-31 JP JP2015170953A patent/JP6678930B2/ja active Active
-
2016
- 2016-08-30 US US15/251,008 patent/US10621509B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017049684A (ja) | 2017-03-09 |
US20170061330A1 (en) | 2017-03-02 |
US10621509B2 (en) | 2020-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6678930B2 (ja) | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム | |
US11568856B2 (en) | Intent authoring using weak supervision and co-training for automated response systems | |
US11593642B2 (en) | Combined data pre-process and architecture search for deep learning models | |
JP7517776B2 (ja) | 転移学習を用いた低リソース・エンティティ解決 | |
US11423307B2 (en) | Taxonomy construction via graph-based cross-domain knowledge transfer | |
US10977443B2 (en) | Class balancing for intent authoring using search | |
AU2021261643B2 (en) | Dynamically generating facets using graph partitioning | |
US20220277031A1 (en) | Guided exploration for conversational business intelligence | |
US20230076923A1 (en) | Semantic search based on a graph database | |
US20230092274A1 (en) | Training example generation to create new intents for chatbots | |
WO2022063019A1 (en) | Representational machine learning for product formulation | |
US20220198222A1 (en) | Automated generation of machine learning model pipeline combinations | |
US20220129625A1 (en) | Domain knowledge based feature extraction for enhanced text representation | |
JP2022551941A (ja) | 音声議事録からの文書の更新および実装 | |
US20190164061A1 (en) | Analyzing product feature requirements using machine-based learning and information retrieval | |
US11361031B2 (en) | Dynamic linguistic assessment and measurement | |
US20230023958A1 (en) | Online question answering, using reading comprehension with an ensemble of models | |
US20220335270A1 (en) | Knowledge graph compression | |
US11100407B2 (en) | Building domain models from dialog interactions | |
US11663412B2 (en) | Relation extraction exploiting full dependency forests | |
US20230267342A1 (en) | Iterative answer and supplemental information extraction for machine reading comprehension | |
US11556558B2 (en) | Insight expansion in smart data retention systems | |
US11995111B2 (en) | Efficient and compact text matching system for sentence pairs | |
US20210383077A1 (en) | Generating dialog system workspaces | |
US20210192133A1 (en) | Auto-suggestion of expanded terms for concepts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150902 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200210 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20200214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6678930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |