JP2024505268A - 感情認知の自動分類 - Google Patents

感情認知の自動分類 Download PDF

Info

Publication number
JP2024505268A
JP2024505268A JP2023546559A JP2023546559A JP2024505268A JP 2024505268 A JP2024505268 A JP 2024505268A JP 2023546559 A JP2023546559 A JP 2023546559A JP 2023546559 A JP2023546559 A JP 2023546559A JP 2024505268 A JP2024505268 A JP 2024505268A
Authority
JP
Japan
Prior art keywords
emotional
rules
rule
text
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023546559A
Other languages
English (en)
Inventor
マッケイ、ジョイ
デイビス、アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elaboration Inc
Original Assignee
Elaboration Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/589,512 external-priority patent/US20220245354A1/en
Application filed by Elaboration Inc filed Critical Elaboration Inc
Priority claimed from PCT/US2022/020994 external-priority patent/WO2022183138A2/en
Publication of JP2024505268A publication Critical patent/JP2024505268A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

ルールベースエンジンを用いて自然言語コンテンツ中の心理的情動を検出するためのシステムおよび方法は、自然言語コンテンツをテキスト入力として受信することと、所与の感情認知のための言語ルールと自然言語コンテンツの構成要素との間のマッチングを探索することと、ここにおいて、言語ルールのインスタンスがヒューマンディメンションを有する、マッチングした言語ルールをアクティブにし、マッチングしたルールのヒューマンディメンションを評価することと、所与の感情認知のディメンションスコアのプロファイルを取得するために、各ヒューマンディメンションをスコアリングすることと、所与の感情認知の強度インジケーションを取得するために、ディメンションスコアの取得されたプロファイル中のディメンションをアグリゲートすることと、マッチングした言語ルールを所与の感情認知および所与の感情認知のそれぞれの強度インジケーションに関係付ける様式で自然言語コンテンツを表示することとを含む。

Description

関連出願の相互参照
本出願は、それらの内容全体が参照により本明細書に組み込まれる、2022年1月31日に出願された非仮出願第17/589,512号の優先権の利益を主張し、2021年3月19日に出願された仮出願第63/163,618号の優先権の利益を主張し、2021年3月19日に出願された仮出願第63/163,621号の優先権の利益を主張し、2021年3月18日に出願された仮出願第63/162,987号の優先権の利益を主張し、2021年1月29日に出願された仮出願第63/143,730号の優先権の利益を主張する。
[1]本開示は、一般に情動を監視することに関し、詳細には自然言語コンテンツにおける感情認知の強度を分類および追跡することに関する。
[2]情動コンピューティング(affective computing)は、人間の情動を認識、解釈、処理、およびシミュレートすることができるシステムおよびデバイスの研究および開発である。情動コンピューティングは、言語学、統計学、ヒューマンファクタ、およびコンピュータサイエンスを寄せ集める学際的分野である。情動コンピューティングの一態様は、ボットおよび他のコンピュータアプリケーションが人間の自然な感情フィードバックに知的に応答することを可能にすることである。テキストの場合、情動コンピューティングは、テキストからの感情検出を含む。たいてい、テキストを正、負、または中性として分類するために、センチメント分析として知られる感情検出の形態が使用される。コンピュータソフトウェアおよびハードウェアを開発するほとんどのあらゆる大企業、ならびに大学研究、およびいくつかの新設企業は、センチメント分析のための何らかの形態のツールを含む開発プロジェクトを有する。センチメント分析の人気は、ソーシャルメディア、顧客製品コメント、およびチャットボットとの対話において広く行き渡っているニュースメディアおよび様々な顧客コメントに対する反応におけるセンチメントをより良く理解する必要に由来する。
[3]実際には、センチメント分析は、情動性感情認知状態および主観的情報を系統的に識別、抽出、定量化、および研究するための、自然言語処理、テキスト分析、計算言語学、および生物測定学の使用である。センチメント分析は、部分的には、様々なソーシャルメディアプラットフォーム、記録された会話、およびテキスト表現のための他のアウトレットなどのソースから取得される人間ダイアログの大きいデータセットの利用可能性により加速された。しかしながら、センチメント分析は、自然言語の発展的性質に対処する必要がある。たとえば、センチメント分析は、ワード、またはさらにはフレーズ全体の間の意味の微妙な差異または相違に対処する必要がある。いくつかのフレーズは、同じ考えを示すように見えることがあるが、センチメントの違いを示すことがある。センチメント分析は、コンテキストに応じて異なる意味を有し得るワードまたはフレーズに対処する必要がある。
[4]自然言語処理のために使用される技術の著しい最近の進歩にもかかわらず、センチメント分析は、典型的には手動で分類されており、したがって主観的である、トレーニングセットにひも付けされるという欠点がある。特に、テキストの大きいトレーニングデータセットの注釈は、手動で実施される。手動分類方法によるトレーニングセットは、遅くなり、性能が悪く、費用がかかる傾向がある。さらに、評価者を取得する財務的に競合的な方法、主にはMechanical Turkは、分類タスクを急いで進めることを奨励される非ネイティブスピーカーの欠点があり、煩わしいID走査および信頼できないIPアドレスフィルタ処理に限られたこれらの影響の防止を試みて、低品質の矛盾する結果が生じる。微妙な感情検出は困難であり、誤りを起こしやすい。
[5]その上、機械学習のために使用されるトレーニングセットは、言語における創造性をもたらさない。人間は、スピーチおよびライティングを通して、以前に決して書かれたまたは話されたことのない、新しい文を生成するための明らかに無限の能力を有する。実際、言語の必要なプロパティは、まさに、現況技術システムが効果的に適応することが不可能な、そのような創造性のこの許容性である。
[6]自然言語処理のための最先端技術の機械学習モデル(BERT(トランスフォーマからの双方向エンコーダ表現)、GPT2(生成事前トレーニングトランスフォーマ2)、GPT3)は、メモリ中に極めて多くのものを保持し、双方向に効果的に見ることができる一見ロバストなツールであるが、発展しつつある自然言語にはマッチしない。統計モデルは、強い統計的な、しばしば確率的な構成要素に依拠する。教師あり機械学習モデルは、それらが以前に見たことがあるもの、またはそれらが再発生するのを見た関係を予測する。混成語、俗語、特殊用語、メタファーまたは造語のような要素を含む、以前に生じたことがある文によってカプセル化され得ない、将来において作成される無数のフレーズおよび文がある。
[7]加えて、センチメント分析には意味論的欠損が依然としてあり、これは、部分的には、感情の強度を測定するための有効な方法、トレーニング目的のための選別された非代表的なデータセットの使用の欠如に起因する。さらに、語彙中心のまたはトークンベースの解決策への過剰依拠は、そのような解決策が、言語学者および技術者が経時的な意味論的シフト、陳腐化、および様々な他の言語変化を含む言語のダイナミックな性質と格闘するときの持久力を最終的に獲得するのを妨げる。
[8]したがって、センチメント分析は、いくつかの大きい問題、すなわち、トレーニングのための客観的にレーティングまたはラベリングされたデータをもつ最良基準データセットの欠如、nグラムベースの解決策の限界、真正の強度を決定する能力の欠如、ハッシュタグをパースする際の困難、および結果の厳密な検証の欠如、の欠点がある。さらに、同様のスケールの情動性レーティングが主観的に適用されているが、分類結果を検証するための堅実な手段が産業または学会内に存在しない。
[9](圧倒的にはブレーンストーミンングされた列挙を介して、および時折には高いトークン:タイプ比をもつnグラム選択を使用して)実際的なファクタを定量化するための時折の試みが社会言語学的文献に現れるが、それは、直観的で実際的な例のfMRI研究、社会的なまたは現実世界の実験、直観的な分析、ならびに精密検査および比較に主に焦点を当てる社会言語学の研究である。特定の、しかし限定された、シンタックス駆動型理論は、主にアンドルーズ構文などの個々の構文(「X knows」、たとえば、「God[only]knows」、「Who knows」という構文をもつ形容詞句および副詞句)において、またはよりいくぶん包括的には、動詞の項(目的語)を本質的に扱う、項構造として知られる、目的語関係のための特定の文法構文に焦点を当てた、構文文法の意味論的にリッチで複雑であるが動詞中心の意味論的分析において、当該分野内に存在する。
[10]好ましくは、構文になるために、言語のピースは、置換可能でモジュラーである必要がある。本質的に、これは、文法的ルールだけでなく、通例的な使用法にも焦点を生じる。社会言語学は、拡大された見方で特定のワード使用を分析する、プラグマティクス、現実世界における使用法の科学に焦点を当てている。しかしながら、構文の分析は、項構造と、形態意味ペアリングの動詞焦点分析とに焦点を当てている。認知科学、社会言語学および意味論の橋渡しをする、認知、感情、および感情認知のより効率的で、よりロバストで、より正確な検出の必要性がある。
[11]上記の「背景技術」の説明は、本開示のコンテキストを概して提示するためのものである。この背景技術のセクションで説明される範囲での、発明者の成果、ならびに出願時に場合によっては従来技術と見なされないことがある説明の態様は、本発明に対する従来技術として明示的にも暗示的にも認められない。
[0012]本開示の一実施形態によれば、一態様は、処理回路によって自然言語コンテンツを感情認知で自動的にオーグメントするための方法であり、本方法は、入力デバイスを介して、自然言語コンテンツをテキスト入力として受信することと、処理回路によって、所与の感情認知のための複数の言語ルールとテキスト入力の構成要素との間のマッチングを探索することと、ここにおいて、言語ルールのインスタンスが、少なくとも1つのヒューマンディメンションを有する、処理回路によって、マッチングした言語ルールをアクティブにし、アクティブにされたマッチングした言語ルールの少なくとも1つのヒューマンディメンションを評価することと、所与の感情認知のディメンションスコアの原型的プロファイルを取得するために、処理回路によって、各ヒューマンディメンションをスコアリングすることと、所与の感情認知の強度インジケーションを取得するために、処理回路によって、ディメンションスコアの取得されたプロファイル中のディメンションをアグリゲートすることと、マッチングした言語ルールを所与の感情認知に関係付け、所与の感情認知のそれぞれの強度インジケーションをシグナリングする様式でオーグメントされた自然言語コンテンツをディスプレイによって表示することとを含むことができる。
[0013]さらに、本開示の一実施形態によれば、さらなる態様は、タッチスクリーンディスプレイと、処理回路と、メモリとを含むことができる電子リーダーであり、ここにおいて、タッチスクリーンディスプレイは、電子ブックのテキストを表示するように構成され、処理回路は、トリガされると、感情認知状態を検出し、感情認知状態が発生した強度を決定するルールを使用して、テキストを走査し、タグ付けするように構成され、処理回路は、表示されたテキストの検出された構成要素に基づいてダイナミックおよび感情認知強度情報をリストするための1つまたは複数のサイドバーを生成し、表示するように構成され、タッチスクリーンは、ディスプレイ中の位置においてタッチされたとき、ダイナミックまたは感情認知強度を選択するように構成され、処理回路は、選択されたダイナミックまたは感情認知強度の発生を指定する色分けされたハイライトを生成し、表示するようにさらに構成される。
[0014]さらに、本開示の一実施形態によれば、さらなる態様は、心理的障害を緩和するためのシステムであり、本システムは、処理回路およびメモリを有するモバイルデバイスと、通信デバイスおよび1つまたは複数のアクチュエータを有する周辺デバイスとを含むことができ、ここにおいて、モバイルデバイスのメモリは、プログラム命令を記憶し、プログラム命令は、モバイルデバイスの処理回路によって実行されたとき、モバイルデバイスに、入力デバイスを介して、自然言語コンテンツをテキスト入力として受信することと、処理回路によって、所与の感情認知のための複数の言語ルールとテキスト入力の構成要素との間のマッチングを探索することと、ここにおいて、言語ルールのインスタンスが、少なくとも1つのヒューマンディメンションを有する、所与の感情認知の強度インジケーションを取得するために、処理回路によって、マッチングした言語ルールを検出することと、所与の感情認知の強度インジケーションが、第1のしきい値を超える負の感情認知強度に達したとき、感情認知強度を識別する第1のアクティブ化信号を送信することとを含む方法を実施させ、周辺デバイスが、通信デバイスを介して、送信された第1のアクティブ化信号を受信し、心理的障害を緩和するための感覚的気晴らしを生じるように1つまたは複数のアクチュエータをアクティブにするように構成される。
例示的な実装形態の上記の概略的な説明およびそれの以下の詳細な説明は、本開示の教示の例示的な態様にすぎない、限定的ではない。
[15]本明細書に組み込まれ、それの一部を構成する添付の図面は、1つまたは複数の実施形態を示し、明細書とともに、これらの実施形態について説明する。添付の図面は、必ずしも一定の縮尺で描かれているとは限らない。添付のグラフおよび図に示されているどんな値またはディメンションも、例示のためにすぎず、実際のまたは好ましい値またはディメンションを表すことも、表さないこともある。適用可能な場合、一部または全部の特徴は、基礎をなす特徴の説明を支援するために図示されていないことがある。
[16]例示的な実施形態の特性および利点は、添付の図面を参照しながら、以下の説明においてより詳細に提示される。
[17]本開示の例示的な態様による、信念、意見、センチメント、および感情の自動分類のためのシステムのブロック図。 [18]本開示の例示的な態様による、コンピュータシステムのブロック図。 [19]本開示の例示的な態様による、感情の自動分類のためのシステムブロック図。 [20]本開示の例示的な態様による、トレーニングアーキテクチャの図。 [21]本開示の例示的な態様による、感情分類システムの適応動作の図。 [22]本開示の例示的な態様による、言語ルールのタイプを示す図。 [23]本開示の例示的な態様による、ルールエンジンのレイヤのボトムアップスタックの図。 [24]本開示の例示的な態様による、コンピュータシステムの動作方法のフローチャート。 [25]本開示の例示的な態様による、言語ルールを使用して評価するためのステップのフローチャート。 [26]本開示の例示的な態様による、ルールを検出するためのフローチャート。 [27]本開示の例示的な態様による、スコアリングのフローチャート。 [28]本開示の例示的な態様による、ルールを検出するためのフローチャート。 [29]本開示の例示的な態様による、トークン近接性ルールの数値を決定するためのフローチャート。 [30]本開示の例示的な態様による、分類のフローチャート。 [31]本開示の例示的な態様による、ハイブリッドマルチモデル学習のフローチャート。 [32]本開示の例示的な態様による、電子リーダーを示す図。 [33]本開示の例示的な態様による、電子リーダーの動作のフローチャート。 [34]本開示の例示的な態様による、マルチメディアオーディオブックまたは視空間データセンチメント分類器のためのシステムの流れ図。 [35]本開示の例示的な態様による、マルチメディアルールエンジンのブロック図。 [36]本開示の例示的な態様による、HUNCHesに基づくルール発見エンジンのフローチャート。 [37]本開示の例示的な態様による、オーディオメディアにおけるルール発見のフローチャート。 本開示の例示的な態様による、オーディオメディアにおけるルール発見のフローチャート。 [38]スピーチ信号パターンのグラフ。 [39]本開示の例示的な態様による、ビデオ/オーディオのストリームにおけるリアルタイム感情分類の方法のフローチャート。 [40]本開示の例示的な態様による、ディスプレイデバイスを示す図。 [41]本開示の例示的な態様による、感情分類システムの適応動作のシステム図。 [42]本開示の例示的な態様による、電子ブレスレットの概略図。 本開示の例示的な態様による、電子ブレスレットの概略図。 本開示の例示的な態様による、電子ブレスレットの概略図。 [43]本開示の例示的な態様による、電子ブレスレットの回路図。 [44]本開示の例示的な態様による、社会言語学的データのためのユーザインターフェースフィーチャのシステム図。 [45]本開示の例示的な態様による、社会言語学的エンジンパイプラインの流れ図。
[46]添付の図面に関して以下に記載される説明は、開示される主題の様々な実施形態の説明として意図されており、必ずしも唯一の実施形態を表すことを意図されているとは限らない。いくつかの事例では、説明は、開示される実施形態の理解を提供するための具体的な詳細を含む。しかしながら、開示される実施形態は、それらの具体的な詳細なしに実践され得ることが当業者には明らかであろう。いくつかの事例では、よく知られている構造および構成要素は、開示される主題の概念を不明瞭にするのを避けるために、ブロック図の形態で示されることがある。
[47]本明細書で使用される「一実施形態」または「いくつかの実施形態」または「実施形態」へのいずれの言及も、本実施形態に関して説明される特定の要素、特徴、構造、または特性が、少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な場所における「一実施形態では」という句の出現は、必ずしも同じ実施形態をすべて参照しているとは限らない。とりわけ、「することができる」、「し得る」、「するかもしれない」、「してよい」、「たとえば」など、本明細書で使用される条件付き言語は、特に言及されない限り、または使用されているコンテキストの中で他の意味で理解されない限り、一般に、特定の実施形態が特定の特徴、要素、および/またはステップを含み、他の実施形態がそれらを含まないことを伝えることが意図される。加えて、本出願および添付の特許請求の範囲において使用される「a」および「an」という冠詞は、別段に規定されていない限り、「1つまたは複数」または「少なくとも1つ」を意味すると解釈されるべきである。
[48]次に、同様の参照番号は、いくつかの図全体にわたって同等のまたは対応する部分を指定している、図面を参照すると、以下の説明は、信念、意見、センチメント、および感情の自動分類のためのシステムおよび方法に関係する。本方法は、確率レイヤへの入力レイヤ、および強度を決定するためのレイヤとして、言語ルールエンジンを最適に含む。
[49]上述のように、言語は永続的に新しくなり、メモリ中に極めて多くのものを保持し、双方向に効果的に見ることができるロバストなツール(すなわち、BERT)でさえ、発展しつつある自然言語にはマッチしない。混成語、俗語、特殊用語、メタファーまたは造語のような要素を含む、以前に生じたことがある文によってカプセル化され得ない、将来において作成される無数の文がある。置換可能な構文に焦点を当て、抽出可能な信念、意見、センチメント、および感情ディメンションについてそれらをマイニングすることにより、より効率的で、よりロバストで、より正確な検出が可能になる。
[50]また、自然言語処理では、確率は、頻度が必ずしも強度に等しくなるとは限らないので、言葉の強度の劣悪なインジケータである。したがって、開示される実施形態では、確率は、自然言語入力の指定された部分に感情が存在するというインジケーションとして使用される。感情の強度は別途に決定される。
[51]テキストによって明示または暗示され得るセンチメント、感情、意見、または信念を理解しようとしてテキストを分析するために様々な技法が使用され得る。センチメントは、フィーリングによって促進される態度、考え、または判断として定義され得る。センチメントの同類は、愛、怒り、喜び、憎しみ、または恐れなどの強いフィーリングとして定義され得る、感情である。感情は、強いフィーリングとして主観的に経験され、身体の生理的および挙動的変化が伴う、意識的な精神反応を含み得る。意見は、ある事に関する信念、判断、または考え方として定義され得る。信念は、受け入れられたか、真であると見なされたか、または意見として保持された何らかのものであり得る。本開示では、「感情認知(emotio-cognition)」という用語は、それの通常の意味による、センチメント、意見および信念、感情、判断、ならびにフィーリング(情動/欲望、感情的または性的結合)、対人的/社会的な力(親和性、コミュニティ、結合、影響)、認知的要素(考え、意見、信念、スタンス)および中間のセンチメント空間(熱望、価値、モチベーション、遺憾)の各々を描写するための用語として使用される。
[52]開示される実施形態は、多数のディメンションにわたって事前スコアリングされ、意味論的センチメント論理演算のためのビルディングブロックを含んでいる、意味論的シンタックス構文を有する語彙ルールを利用する。ルール探索基準は、タグ付けをより容易な、より高速な、およびより経験的なものにし、したがって、GPU微調整(すなわち、BERT、GPT2、GPT3などの事前トレーニングされたトランスフォーマの微調整)、一致計算、または高いRAM演算の必要性を低減する。ディメンションパターンスポッティング、センチメント発生追跡、およびシーケンススポッティングを介したルール示唆は、精度増加のためのエポックを追加するために、または曖昧さ問題を解決するための複数のモデルを追加するためにリソースをタグ付け、再トレーニング、または使用する多大な量のリソースを節約することもできる。ディメンションのアグリゲーション/処理を介した他のセンチメント現象の論理的導出は、ヘビーな計算の代わりにラインごとの単純な探索およびカウント処理を可能にし、新しいもしくは特殊なトレーニングセット、新しいタスクまたは追加されたレイヤの必要性のない新規の計算(精神衛生兆候の検出)の仕方を生み出す。
[53]図1は、本開示の例示的な態様による、感情認知の自動分類のためのシステムのブロック図である。システム100は、連続的データストリーム、ソーシャルメディアダイアログ、ドキュメント、およびブック全体を含む様々なソースからテキストを受信する、テキスト入力102を含む。テキスト入力102から受信されたテキストは、データクリーニングおよびデータ正規化プロセス104を受ける。クリーニングおよびテキスト正規化のために様々なツールが利用可能であり、概して、テキストデータから不要な文字を取り除き、ワードを規格化することを伴う。どの文字が不要であるかの選定は、ユーザ依存である。たとえば、いくつかの場合には、句読点が不要であり得る。いくつかの実施形態では、特定の句読点は削除されず、代わりに、後の処理において使用され得る。特定の句読点は、コンマ、引用符、および感嘆符を含み得る。削除され得る句読点は、アット(@)記号、ハッシュタグ(#)、ドル($)、パーセント(%)、キャロット(^)、アンパーサンド(&)、およびアスタリスク(*)を含み得る。いくつかの実施形態では、HTMLタグなどのマークアップは削除され得る。いくつかの実施形態では、エモーティコンは元のまま残され得る。加えて、テキストは小文字にコンバートされ得る。クリーニングおよび正規化されたデータは、次いで、トークン化、品詞タグ付け、ステミング、およびレンマ化を含めて、前処理される106。トークン化は、テキストを個々の要素に分割する(たとえば、クリーニングされたテキストをそれらのホワイトスペースで分割する)。品詞タグ付けは、ワードトークンの品詞を識別するためにそれらのワードトークンにラベルをアタッチする。ステミングは、ワードをそれの原形に変換するプロセスである。レンマ化は、個々のワードの基本形を取得するプロセスである。別のタスクは、ストップワードを削除することであり得る。前処理されたデータは、教師なし学習プロセス108、ルールベースシステム110、および教師あり学習プロセス112のためにフォーマットされ得る。前処理されたワードをフォーマットするための典型的な方法は、グーグルのword2vecアルゴリズムを使用することである。
[54]教師なし学習プロセス108は、感情認知の分類を含めて、データを分類し得る。教師なし学習プロセス108は、ラベリングされたデータを必要としないが、代わりに、前処理されたデータをクラスにクラスタリングし得る。前処理されたデータ入力および得られた分類は、特徴/ルール示唆114のために使用され得る。示唆されたルールおよび特徴選択120は、将来の言語ルールを生成するために実施され得る。
[55]ルールベースシステム110は、所定の言語ルールを含む。所定の言語ルールは、感情認知のカテゴリーによって編成され得る。
[56]教師あり学習プロセス112は、ラベリングされたデータを必要とする。感情認知のラベリングは手動で実施され得る。教師あり学習プロセス112は、感情認知118の機械分類のために使用され得る。分類の誤りは、後の分類を改善するために調整/訂正され得る122。教師あり学習プロセス112は、確率を割り当てるそれら自体の分類を実施するために、ニューラルモデルを生成する。ニューラルモデルはまた、ルール自体上でトレーニングされる。それらは、同様の共起ベクトル、同様のPOSパターン、および同様のnグラムを位置特定し、これらを潜在的なルール/示唆された特徴として示唆する。
[57]集計およびスコアリング116は、教師なし学習プロセス108と教師あり学習プロセス112との結果に適用され得る。教師なし学習プロセス108と教師あり学習プロセス112の両方は、(たとえば、ソフトマックス関数を使用して)クラスごとに確率を出力し得る。
[58]一実装形態では、システム100の機能およびプロセスは、コンピュータ226によって実装され得る。次に、例示的な実施形態によるコンピュータ226のハードウェア記述について、図2を参照しながら説明される。図2では、コンピュータ226は、本明細書で説明されるプロセスを実施するCPU200を含む。プロセスデータおよび命令は、メモリ202に記憶され得る。これらのプロセスおよび命令はまた、ハードドライブ(HDD)またはポータブル記憶媒体などの記憶媒体ディスク204上に記憶され得るか、あるいはリモートで記憶され得る。さらに、請求される進歩は、本発明のプロセスの命令が記憶されたコンピュータ可読媒体の形態によって限定されない。たとえば、命令は、CD、DVD上に、フラッシュメモリ、RAM、ROM、PROM、EPROM、EEPROM(登録商標)、ハードディスク、または、サーバもしくはコンピュータなど、コンピュータ226が通信する任意の他の情報処理デバイスに記憶され得る。
[59]さらに、請求される進歩は、CPU200、ならびにMicrosoft(登録商標)Windows(登録商標)、UNIX(登録商標)、Oracle(登録商標)Solaris、LINUX(登録商標)、アップルmacOS(登録商標)および当業者に知られている他のシステムなどのオペレーティングシステムとともに実行される、ユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムの構成要素、あるいはそれらの組合せとして提供され得る。
[60]コンピュータ226を実現するために、ハードウェア要素は、当業者に知られている様々な回路要素によって実現され得る。たとえば、CPU200は、米国のインテル社からのXenon(登録商標)もしくはCore(登録商標)プロセッサまたは米国のAMDからのOpteron(登録商標)プロセッサであり得るか、あるいは当業者によって認識される他のプロセッサタイプであり得る。代替的に、CPU200は、当業者なら認識され得るように、FPGA、ASIC、PLD上に、または個別論理回路を使用して実装され得る。さらに、CPU200は、上記で説明された本発明のプロセスの命令を実施するために並列に協働的に動作する複数のプロセッサとして実装され得る。
[61]図2のコンピュータ226はまた、ネットワーク224とインターフェースするために、米国のインテル社からのインテルイーサネット(登録商標)PROネットワークインターフェースカードなどのネットワークコントローラ206を含む。諒解され得るように、ネットワーク224は、インターネットなどの公衆ネットワーク、またはLANもしくはWANネットワークなどのプライベートネットワーク、あるいはそれらの任意の組合せであり得、また、PSTNまたはISDNサブネットワークを含むことができる。ネットワーク224はまた、イーサネットネットワークなどのワイヤードであり得るか、またはEDGE、3Gおよび4Gワイヤレスセルラーシステムを含むセルラーネットワークなどのワイヤレスであり得る。ワイヤレスネットワークはまた、WiFi(登録商標)、Bluetooth(登録商標)、または知られている通信の任意の他のワイヤレス形態であり得る。
[62]コンピュータ226は、Hewlett Packard(登録商標)HPL2445w LCDモニタなどのディスプレイ210とインターフェースするために、米国のNVIDIA社からのNVIDIA(登録商標)GeForce(登録商標)GTXまたはQuadro(登録商標)グラフィックスアダプタなどのディスプレイコントローラ208をさらに含む。汎用I/Oインターフェース212は、キーボードおよび/またはマウス214、ならびに随意のタッチスクリーンパネル216、またはディスプレイ210上にあるかもしくはそれとは別個のハプティックデバイスとインターフェースする。汎用I/Oインターフェースはまた、Hewlett Packard(登録商標)からのOfficeJet(登録商標)またはDeskJet(登録商標)などのプリンタおよびスキャナを含む、様々な周辺機器218に接続する。I/Oインターフェース212はまた、音声入力のためにマイクロフォンに接続し、音出力のためにスピーカーおよび/またはヘッドフォンに接続し得る。マイクロフォンおよび/またはヘッドフォンは、USB、HDMI(登録商標)、または他の周辺入力接続を含む入力ポートを介してI/Oインターフェース212に接続され得る。
[63]汎用ストレージコントローラ220は、コンピュータ226の構成要素のすべてを相互接続するためのISA、EISA、VESA、PCI、または同様のものであり得る通信バス222に、記憶媒体ディスク204を接続する。ディスプレイ210、キーボードおよび/またはマウス214、ならびにディスプレイコントローラ208、ストレージコントローラ220、ネットワークコントローラ206、および汎用I/Oインターフェース212についての一般的な特徴および機能の説明は、これらの特徴が知られているので、本明細書では簡潔のために省略される。
[64]図3は、本開示の例示的な態様による、感情の自動分類のためのシステムブロック図である。システム300は、マルチメディア分類エンジン312を含む。マルチメディアは、ビデオ、オーディオ、およびテキストを含むことができる。マルチメディアは、オーディオブックなどのスクリプトまたは字幕付きのマルチメディア、ムービー、TVショー、拡張現実、または仮想現実のような視空間マルチメディアを含むことができ、これらは、トランスクライブされ、走査されてシステム300に入れられる。テキスト化されトランスクライブされたメディアは、入力テキスト302として受信される。入力テキスト302は、テキストデータを、ルール306、308、310とマッチングするのに、または機械学習モデル320に入力するのに必要な形式に変換するために、前処理エンジン304において処理される。いくつかの実施形態では、前処理されたテキストデータは、自然言語ルール(306)を通過される。ルールがテキストメディアまたはトランスクライブされたメディアにマッチングしたとき、ルールは点火されると言われる。視空間ルール310は、視覚キューのためのルールを含むことができる。オーディオスピーチルール308は、スピーチ信号のためのルールを含むことができる。
[65]感情認知センサー(314)は、文、段落、パッセージ、シーン、またはチャプターレベルで入力を処理し、各々を、所与の感情、認知、センチメント、状態ベースまたはダイナミックベースまたは特性ベースのタグで分類する。ルールがトリガされたとき、感情が検出される。また、言語ルールは、ディメンションに基づくレーティングを有する。いくつかの実施形態では、ルールのディメンション値は、ベクトルとして記憶される。感情は、ディメンションの「形状」から推論され得る。感情の特徴は、ディメンションのベクトルの形状、ディメンションの値、およびルールに関連付けられた他のベクトルからの導出された計算からの差またはそれへの類似度を含む。自然言語ルール306の出力は、感情認知センサー314および強度レーティングセンサー316に供給され、それ以外の定性的データは、科学的研究または政治的調査におけるように、集団分析のための定量的データに変換されることが可能になる。
[66]強度レーティングセンサー(316)は、ディメンションに基づいて各検出された感情の強度レーティングを決定する。いくつかの実施形態では、強度レーティングセンサー(316)は、ディメンションとして、各認知ベース、感情ベース、社会ベース、対人ベース、または状態ベースの要素のサブ構成要素に基づいて、客観的強度レーティングを割り当てる。
[67]感情認知タグ付けエンジン(318)は、テキストデータを割り当てられた感情クラスでタグ付けする。感情認知の感情および強度は、人口統計学的情報、オンラインプロファイル特徴、タイムスタンプ、ソース、ジオロケーションなどのメタデータに関連付けられ得る。集団のサンプルのアグリゲート感情認知状態の結果と、感情認知状態のラベリングとは、感情認知タグ付けエンジン318において返される。
[68]ルール発見エンジン326は、ルール示唆とも呼ばれる、新しいルールを生成することができる。機械学習モデル320は、ルール自体上でトレーニングされ得る。トレーニングされた機械学習モデル320は、同様の共起ベクトル、同様のPOSパターン、および同様のnグラムを位置特定し、これらを潜在的な新しいルールとして示唆することができる。加えて、新しいルールを生成するために、感情認知センサー(314)において検出されるような感情のパターン、ならびにディメンションパターンが使用され得る。
[69]機械学習モデルエンジン320は、BERT、RoBERTa、サポートベクターマシン、word2vec、KNNモデル、長短期記憶モデル、畳み込みニューラルネットワークモデルなど、トランスフォーマモデルの中から任意の1つまたは複数の機械学習モデルを含むことができる。
[70]統計モデルエンジン322は、1つまたは複数の統計モデルを含むことができる。統計モデルは、k平均モデル、ベイズモデル、ドキュメント探索モデル、ロジスティック回帰モデル、線形回帰モデル、多項回帰モデル、推奨行列、ランダムフォレストモデル、およびnグラム言語モデルの中から任意の1つまたは複数の統計モデルを含むことができる。各統計モデルは分類器として使用される。
[71]語彙エンジン324は、システム300において使用され得る語彙を提供する。語彙のソースは、NRCLex、Harvard Inquirer、MPQA、sentiwordnet、textblob、VADER、および特にリストされない他の語彙を含む。
[72]いくつかの実施形態では、アグリゲート感情認知アンサンブル分類器328は、感情など、最終的な答えを出力することができる。ランダムフォレストは、ワンホットコーディングを使用して、アンサンブリング分類器として使用され得る。別の実施形態では、ロジスティック回帰は、アンサンブリングのために使用され得る。さらなる実施形態では、ニューラルレイヤは、アンサンブリングの出力として使用され得る。出力は、感情認知センチメントのセンチメントおよび強度と、人口統計学的情報、オンラインプロファイル特徴、タイムスタンプ、ソース、ジオロケーションなどのメタデータとの関連付けを含むことができる。出力は、色ベースの幾何学的表現を使用した、時間期間または時点にわたるユーザ、ブランド、ビジネス、有名人、団体、トピック、ワードまたはフレーズの感情認知概要の画像またはグラフィカル表現であり得る。場合によっては、出力は、人口統計学的にまたは他の方法でセグメント化もしくはアグリゲートされたサンプルのディメンション、感情、ダイナミックス、または社会潮流についての、任意の所与の時間におけるまたは経時的な報告を含むことができる。場合によっては、出力は、経時的なまたはある時点における単一のまたはアグリゲートされたユーザの感情認知状態についての、所与の時間期間の感情認知状態の分布の生成および表示を含むことができる。
[73]図4は、本開示の例示的な態様による、トレーニングアーキテクチャの図である。発展しつつある自然言語に適応するために、トレーニングアーキテクチャ400は、機械学習モデルエンジン320を使用して、ルールを生成するための機械学習モデルをトレーニングする。機械学習モデルはまた、ルール自体上でトレーニングされる。それらは、同様の共起ベクトル、同様のPOSパターン、および同様のnグラムを位置特定し、これらを潜在的な新しいルールとして示唆する。
[74]言語ルールモデル310は、自然言語フレーズおよび文に適用され得る、プリプログラムされた言語ルールのセットから始まる。検出は、これらのルールの潜在的比較、類似度の認識、およびルール潜在的要素(ルールタイプ)の連結を使用するルールの作成を伴うことができる。ルールの作成は、しきい値を介した十分な類似度をもつストリングの識別、次いで、ワード、品詞、依存性、ステム、およびレンマとの各ワードのタプルの作成、ならびにインデックス位置に基づいて同様の項目の間でマッチングして、各タプルの協調している部分を見つけることを通して、行われ得る。結果は、次いで、随意の部分、またはワイルドカード、または近さ計算とともに、必要に応じて連結された規定ルールへと連結され得る。
[75]トレーニングアーキテクチャ400は、処理回路およびメモリを介して、複数の自然言語データ項目にアクセスするためのテキスト入力302を含む。複数の自然言語データ項目は、データリポジトリから読み取られ得るか、またはテキストのストリームとして直接入力され得る。テキストは、人間のスピーチ入力、テキストデータベース、ドキュメント、または他のテキストデータソースから生起したキャプチャ、トランスクライブ、翻訳されたテキストを含み得る。
[76]トレーニングアーキテクチャ400は、典型的には自然言語処理のためにテキストに対して実施される様々な予備プロセスを実施するためのプリプロセッサ304を含む。プリプロセッサ304は、複数の前処理された自然言語データ項目を生成するために、データ正規化、トークン化、品詞タグ付け、依存性、ステミングおよびレンマ化のための知られているソフトウェアライブラリのいずれかを利用し得る。ソフトウェアライブラリの一例は、自然言語ツールキット(NLTK)である。NLTKは、分類、トークン化、ステミング、タグ付け、およびパースのためのテキスト処理ライブラリを含む。NLTKは、レンマ化機能を有するWordNetレンマタイザ、ならびに様々な他のレンマタイザを含む。正規化は、カノニカル正規化として実施され得る。
[77]いくつかの実施形態では、トレーニングアーキテクチャ300は、複数の前処理された自然言語データ項目を、表された感情の感情および強度としてラベリングすることを伴い得る。ラベルおよび関連する自然言語データ項目は、教師あり学習モデルをトレーニングするために使用され得る。
[78]トレーニングアーキテクチャ400は、複数の前処理された自然言語データ項目を、機械学習モデルエンジン320および言語ルールモデル306に並列に提供する。トレーニングアーキテクチャ400は、自然言語データにおいて、感情を識別するために、および感情の強度を決定するために、複数のトレーニングエポックにおいて、並列に、機械学習モデルエンジン320および言語ルールモデル306のトレーニングを実施する。機械学習モデルエンジン320の各トレーニングエポックは、決定412に基づいて、言語ルールエンジン306の後続のトレーニングエポックのための特徴またはルール示唆326を生成し得る。言語ルールエンジン306の各トレーニングエポックの後に、機械学習モデルエンジン320の後続のエポックが集計され、スコアリングされる(各クラスの確率として提供される)。414において、トレーニングされた機械学習モデルエンジン320とトレーニングされた言語ルール306とを表す出力が、不揮発性メモリに記憶される。
[79]図5は、感情分類システムの適応動作のシステム図である。ルール発見エンジン326は、感情および強度情報を出力として提示しながら、新しいルールを生成することができる。
[80]動作を支援するために、感情分類システムの動作について、一例に関して説明される。この例は理解しやすいように単純化される。本開示は、決してこの例に限定されはしない。この例では、ハッシュタグ付けされたテキスト「Why am I the one who‘needs’to take out the trash? #NOTANEED」が、ファイルから、またはコンピュータシステムに入力された連続的ストリームとしてテキストを読み取ることによって入力される302。テキスト入力は、入力テキストをインデックス位置でタグ付けすることと、入力テキストをトークン化することと、入力ハッシュタグを取り出すこととを含む機能を実施する、前処理エンジン304によって処理される。いくつかの実施形態では、ハッシュタグは、関連付けられた感情を有する構成要素である。インデックス位置は、テキスト全体に対する位置を示す整数、たとえばカウンタによってまたはトークン化された入力のアレイ内で生成されるシーケンシャル番号であり得る。代替的に、インデックス位置は、ハッシュタグ付けされたテキストのシーケンス中のどこで現在のテキスト入力が生じるかを識別するベクトル位置、行番号、または何らかの入力数などのインデックスであり得る。トークン化機能は、「?」などの句読点をトークンとして選択的に取り出し得、他のものを削除し得る。本例では、「needs」の周りの引用符は、強調を示すために維持され得る。ハッシュタグは、それが感情表現としてではなく識別子として扱われ得るように、他のテキストから取り出され得る。いくつかの実施形態では、ハッシュタグは、感情の補助インジケーションとして使用され得る。この例では、ハッシュタグは、入力テキストが皮肉であることを示し得る。ハッシュタグはまた、強調、論評/ささやき、サブツイート、編成、継続的な表現、ユーモア、コンテキスト、感情、マーケティング、抗議を示すために使用され得る。
[81]自然言語エンジンは、入力テキストにマッチングする1つまたは複数のルールについて自然言語ルール306の中で探索する機能を有する。ルールは、シンタックスと混合された、いくつかの所要ワードまたはフレーズをもつテキストパターンを示し得る。本例では、「[why]」[…]+being動詞+「the one who」+動詞などのルールが、パターンマッチングおよびトリガされる。
[82]ルールは、感情用語および認知用語、ならびに感情と認知がブレンドした用語によってグループ化される。感情認知センサー314は、トリガされたルールに基づいて感情認知ラベル(怒り)を適用する機能を有する。
[83]強度レーティングセンサー316は、そのトリガされたルールのために、正、負、中性、またはヌルのスコアをもつ3つのディメンションを含むことができるディメンションをアクティブにする機能を有し、これらのディメンションは、たとえば、敬意、エゴ、非難である。ディメンションスコアの値は、そのようなものとして限定されず、所定の範囲内の数値を含むことができる。強度レーティングセンサー316は、強度スコアを取得するために、ディメンションスコアをアグリゲートする機能を有する。強度レーティングセンサー316は、強度スコアを感情認知ラベルに割り当て、所定のしきい値に対して強度スコアを比較する。所定のしきい値は、.6などの小数値、0~10の範囲内の6など、範囲内の整数、すべての感情に対して共通である60%などの割合であり得るか、または感情認知ラベルごとに設定され得る。この例では、しきい値に従って、感情強度レベルがラベリングされる(怒り--中程度)。いくつかの実施形態では、話者のベースラインが知られている場合、強度スコアは、話者に対して相対的であってもよい。
[84]メタ感情認知アグリゲータ328は、感情認知ラベルを査定し、ラベルを他の周囲ラベルと組み合わせて感情認知ラベル(たとえば、怒り___平安)のパターンを形成する機能を有する。
[85]次のレベルにおいて、ダイナミック610は、感情認知ラベルのパターンをダイナミックパターンにパターンマッチングする機能を有する。ダイナミック610は、マッチングしたダイナミックパターンに基づいて、ラベル、たとえば、許しを割り当てる。
[86]図6は、本開示の例示的な態様による、言語ルールのタイプを示す図である。自然言語入力の指定された部分に適用される、センチメント、感情、意見、および信念のための言語ルールのタイプは、以下を含むことができる。
[87]たとえば、法動詞および願望動詞、時制表記、語形変化、活用、アクセント、ならびに直接目的語、および固有名詞を含む、品詞タグ付け、シンタックス、または依存性パースを使用するルール(502)。
[88]正確、不正確、マスクまたはワイルドカードを含む、ストリングマッチングを使用するルール(504)、
[89]トークン間の距離を使用するルール(506)、
[90]句読法を使用するルール(508)、
[91]レンマ化を使用するルール(510)、
[92]ステミングを使用するルール(512)、
[93]語彙を使用するルール(514)、ならびに
[94]ワードルックアップまたは辞書を使用するルール(516)。
[95]いくつかの実施形態では、ルール構成要素は、絵文字、グリフ、エモーティコン、文字、スクリプト、および任意の他のグラフィームを含む、グラフィカルコンテンツを含み得る。自然言語入力の指定された部分に言語ルールを適用することは、1つまたは複数の言語ルールの各々について数値またはブール値を取得するという結果になる。
[96]いくつかの実施形態では、追加の言語ルールタイプは、日本語、韓国語、中国語、ベトナム語、および他のアジア言語を含む、他の世界言語に適応する。追加の言語ルールタイプは以下を含むことができる。
[97]依存性をタグ付けするルール、
[98]不変化詞を検出する1つまたは複数のルール、
[99]マーカーを検出する1つまたは複数のルール、
[100]トピック、主題、および述語を含む、構造的物語力を検出する1つまたは複数のルール、
[101]共通性によってグループ化される名詞のクラスを表す1つまたは複数のルール、
[102]主格、奪格などを含む格を検出する1つまたは複数のルール、
[103]動詞の準動詞カテゴリーを検出する1つまたは複数のルール、
[104]マウス、タッチパッド、タッチスクリーン上のクリックから意味論的情報をキャプチャするためのクリックトランスクリプションを検出するルール、
[105]いくつかの実施形態では、言語ルールは、随意の条件のためのOR演算子と、組み合わされた条件のための連結演算子とを組み込み得る。いくつかの実施形態では、言語ルールは、ルールの他の部分を指す、ルール内指示対象を含み得る。ルール内指示対象は、名詞が直前の名詞であるという条件をもつ、形容詞+名詞+名詞という、倍化または反復を含み得る。ルール内指示対象は、ルール中のプレースホルダーまたは位置要素[0]という、ルール中の位置のインデックスを含み得る。
[106]いくつかの実施形態では、言語ルールのルール内指示対象は、パターンの形態であり得る。パターンは、重複では、名詞->名詞を、非重複では、名詞!+名詞を含み得る。
[107]言語ルールは、感情または認知のタイプによってグループ化される。いくつかの実施形態では、ルールは、重要性の順序を有し得、この順序は、それを下回るルールに勝る優先、およびそれを上回るルールに劣る優先を示すように変更され得る。各言語ルールは、1つまたは複数のディメンションと、各ディメンションの値とを有する。一実施形態では、ディメンションは、センチメント、感情、感情認知態度、価値、社会的慣習、考え方、見解、態様、応答、特性、信念、意見、視点、モチベーション、バイアス、状態、マナー、アプローチ、ダイナミック、パーソナリティ特性、感情的アプローチ、感情的選定、反応、傾向、一時的状態、状態の変化、認知的態様、挙動的態様、内部条件、外部条件、フィーリング、感情、主張、態度、主張の態度、指向性態度、無指向性態度、自発的態度、意識的な感情認知、無意識的な感情認知を含み得る。一実施形態では、ディメンションは、怒り、予想、嫌悪、恐れ、喜び、悲しみ、驚き、および信用(NRCLexから)という、感情的情動を含むことができる。別の実施形態では、ディメンションは、限定はされないが、エゴ、非難、適合性、神聖さ、親切、敬意、時間(将来)、(自己)好意、承認、誠実、脆弱性、判断、孤立、目的、堅苦しさ、最小化、特異性、力、行為(活発さ)、エージェンシー、好奇心、明快さ、意図、強調、エネルギー、確信、興味、関与、ショック/驚き、緊張、スピード、ニュアンス、論理、パラノイア、信用、距離、識別、それらに付随して、尊重(自己)、尊重(他者)、客観化、アタッチメント、感情移入、および忍耐など、感情認知のファセット、構成要素、および態様を含むことができる。
[108]いくつかの実施形態では、ディメンションは、パーソナリティ特性、信念、意見、視点、態様、モチベーション、バイアス、状態、感情的アプローチ/選定、マナー、反応、対人的ダイナミックなどのカテゴリーにグループ化され得る。
[109]発明者は、完全に正確な分類でさえ、極めて限られた意味論的情報しか与えることができないことを見出した。たとえば、「精度レート」は、情動検出に関しては、有用な意味論的情報を常に反映するとは限らない。情動に関するラベルは、(25個を超える感情を6つのラベルに強制しようと試みて)あまりにも曖昧になり得る。分類は、有用なサブテキスト情報をさらに欠くことがあり、話者の認知状態のほうへの指向性を欠くことがある。分類は、フィーリングがなぜ存在するかについてヒントを提供しない。文、フレーズ、または構文は、人間の感情の複雑さおよび深度により、特定の情動および深い意味論的値にとって不十分に分類されるか、文レベルでパースされるか、しばしば複数のラベルが適用されるべき単一のクラスに強制されるか、または機械アルゴリズムによって正確に理解されることが不可能なままになる。さらに、会話がさらなる情報についてマイニングされ得る間、論証的テキスト値は、情動状態についてわずかのことしかもたらさない、固有表現認識および話者固有情報などのコンテキスト手掛かりアプローチに限定されている。
[110]トランスフォーマなどの最先端技術の存在にもかかわらず、これらは、歴史的には、(部分的には、意味論的タスクにおけるより劣悪な全般的性能により)意味論的解釈ではなく予測および翻訳タスクのみにおいて優れている。トランスフォーマは、人間の解釈能力と機械の解釈能力との間のギャップにより、最終的にはそれらの意味論的能力において限定される。特に即座のスピーチおよびテキストを解釈することにまつわる、意味論的限定の中には、入り混じった感情、複雑な感情、比喩表現ならびに(皮肉、アイロニー、丁寧さ、および受動攻撃性などの)不誠実な感情表現を識別するための能力がある。開示される実施形態は、人間の感情および認知の範囲および深度を取り扱うためのアプローチである。
[111]図7は、ルールエンジンのレイヤのボトムアップスタックである。「ディメンション」(702)は、感情認知表現の要素ならびにそれらの背後にあるフィーリングおよび考えである。いくつかの実施形態では、システムは、オブジェクト指向プログラミングを使用して実装され、感情は、ディメンションのセットをクラスの属性として有するクラスである。強度は、感情クラスのメソッドであり、ディメンションの存在に基づいて強度値を決定するために使用される。強度値は、構造化または非構造化データベースに記憶され得る。感情クラスは、属性/ディメンションの各々について原型値を有する。ディメンションの値は、3元値をもつ小さい結合価である(+1は正の力、-1は負の力、0は中性の力、およびφは非存在または適用不可、これらのうちの後者2つは等価でない)。いくつかの実施形態では、たとえば、ディメンションの値は、(1)真-偽(中性対非中性)、(2)真-偽(真対偽)、(3)潜在的に同様にヌルをもつなど、ブーリアンのレイヤを含む。値は、浮動小数点数または整数の形式であり得る。
[112]各データラインについて、これらのディメンションは、ルールがトリガされるたびにレーティングを受け取る。したがって、たとえば、以下の例
(「[why/how come]+be動詞+代名詞+[時間誇張法]+「the one/s who」+動詞」)では、これは、以下をもつ構文を示す:
(「why」または「how come」という2つの項目のうちの)随意のワードリスト項目+
be動詞+代名詞(「are you」/「am I」/「are they」/「are we」/「is he」/「is she」など)+
時間誇張法のための随意のワードリスト項目(「always」、「never」、「constantly」など)+
ファジー(不正確なストリング)(「the ones who」、「the one who」)+
ほとんど任意の動詞(「sits up front」、「pays for everything」、「brings up problems」、「gets the easy job」など)。ルールは、モジュラーであるそれらの部分を使用し、ある程度の置換をカバーする。
[113]システムは、所与の感情のコアディメンションプロファイルを検出する。異なるルールは、感情状態の様々な表現を表す、別個の部分的な、しかし強くマッチングする構成を見つける。言い換えれば、感情は、精神状態である。根本的な感情は、純粋で不合理である(たとえば、恐れ、怒り、幸せ、悲しみ)。複雑な感情は、より社会的で、より認知的である(たとえば、悲しみ、鬱状態、恥、不安、賞賛)。複雑な感情は、認知状態と感情状態が共起したとき、または複数の感情が共起しているときに生じる。ルールがアクティブにされたとき、それらは、そのような感情状態が生じているときのインジケーションを提供する。
[114]特定の感情にマッチングするディメンションが多くなるほど、その感情の強度はより高くなる。その後、強度の測度は、客観的測度になり、強度の度合いを表す。いくつかの実施形態では、同じ構文が入力テキストにおいて2回起こる場合、マッチングする構文は、両方の回において計数される。強度を測定する際に、ディメンションスコアは、ワード数に対して正規化される。したがって、強度値は密度ベースである。
[115]例示的な実施形態では、50個のディメンションがある。いくつかの実施形態では、より大きい数のディメンションがある。各ルールは、ディメンションの全セットにわたってレーティングを有する。
[116]各ルール704は、1つまたは複数のディメンションを含む。上記のルールでは、1つの例示的なディメンションはエゴである。エゴは、所与の構文から不在(それとまったく関係がない-ヌル値)であるか、中性(エゴ構成要素があるが、それが極めて均等でフェア)であるか、正(自己中心的、謙遜)であるか、または負(賞賛、嘆願、自己嫌悪など)であり得る。エゴは、このルールのためにレーティングされるディメンションである。別のディメンションは好奇心である。このルールによって検出されたこの構文は、プロアクティブに好奇心が強く、したがって、それは+1レーティングを受け取る。
[117]ルール704は、アクティブにされると、検出された感情を示す。感情が検出されると(それらが存在する文の部分において、タグ付けは、単に文レベルまたはパッセージレベルではなく、インデックス位置を介して実施され、それにより、より大きい差異および明快さが可能になり)、複雑な感情706が識別され得、これらは通常、同時的な感情からなる。たとえば、軽蔑は、プライド/謙遜と怒りの組合せである。加えて、感情認知状態は重複することが可能である。
[118]複雑なおよび根本的な感情が適切にアクティブにされると、感情のパターン708は、特定の状況では、感情が自然に他の感情にシフトするときに査定され得る。加えて、感情は、進行、エスカレート、または解消することが可能である。感情のパターン708は、感情を感情の順序付きアレイまたはストリング(たとえば、希望+期待+驚き+悲しみ)に連結することによって形成される。これらのパターンは、限られた可能性をもつスキップグラムモデルのようにいくぶんかは査定され得る。シフトする感情、進行する感情、エスカレートする感情、および解消する感情のパターンは、認識可能な感情パターンとして記憶される。
[119]感情のパターンは、興奮が転じて静穏を受け入れること、怒りが混乱にシフトし、認識に至り、そして理解が生じ、感情移入または許しが展開するにつれて愛情に戻ることなど、感情のフローを予測するために使用され得る。
[120]感情パターンはダイナミック710にビルドされる。ダイナミック710は、感情のパターンを要約する主要な感情イベントのための記述ラベルである。たとえば、「失望」のダイナミックは、希望+期待+驚き+悲しみの感情パターンのラベルである。ダイナミックは自己の内側で起こることが可能であり、これは通常、複雑な感情である。次に、ダイナミックは、他者とともに/対人的に起こることが可能であり、これは、許しのような現象であるかもしれない。そのような場合、許しは、怒り+認識+愛情の感情パターンのラベルである。
[121]ダイナミック710の上方のレイヤは、動揺または革新などの大きいイベントまたは大衆運動の圧力によってしばしばもたらされる、集団の強い感情ダイナミックのメタ結果である、社会潮流712を含み得る。大きいイベントは、切迫した現実世界のイベント(ゲームストップ株の買い占め、公人の「抹殺」、暴力への限界点など、怒りの爆発、クーデター、暴動、ポップカルチャーまたは社会トレンド、株式市場イベント)を含むことができる。これらの社会潮流は、家庭内暴力の限界点、恋に落ちること、怒りの爆発などに付随して、より小さい社会グループに存在することも可能である。社会潮流の検出は、反応/防止または資本化、あるいは少なくとも受動的な監視/識別を可能にする。そのようなイベントは、これらの社会潮流を伴う特定の以前のそのような現実世界のイベントと相関され得、それにより、同様のイベントが将来において速やかに検出または予測される可能性がある場合に、迅速な反応、防止または資本化が可能になる。自然言語ルール306を介した、1人または複数のユーザからの自然言語からの、感情認知状態、ディメンション、ダイナミック、および社会潮流の計算。
[122]いくつかの実施形態では、感情/コグニティブフローの各レベルは、分類システムが使用されているときに記憶されている履歴データに基づいて、これらのレイヤに対して予測され得る。
[123]図8は、本開示の例示的な態様による、コンピュータシステムの動作方法のフローチャートである。一実施形態は、自然言語コンテンツにおいて微妙な差異のある心理的情動を追跡するプロセスに関係する。本方法は、最初に、自然言語構文、フレーズ、または文に感情のための言語ルールを適用し、各ルールは、1つまたは複数のディメンションを有する。言語ルールを適用したことによる結果は、感情を検出し、感情の強度を決定するために使用される。機械学習モデルは、新しい言語ルールを示唆するために使用され、したがって、言語ルールの適用をオーグメントするように働く。プロセスは、テキストおよび/または音声入力と、テキスト、スピーチ、および/またはグラフィカル出力とを有するデバイスにおいて実施され得る。コンピュータプログラムは、図2におけるようなコンピュータシステムによって実行されたとき、フローチャートに示されているステップを実施する、コンピュータ可読記憶媒体に記憶された命令を含む。
[124]S802において、コンピュータ226は、自然言語コンテンツを、テキストおよび/または音声入力から導出され得るテキストとして受信するように構成される。自然言語コンテンツは、ディスクストレージ204に記憶されたファイルから読み取られ得るか、あるいはネットワークコントローラ206において受信されるデータのストリームから、キーボード214においてテキスト入力から、またはマイクロフォンを介して音声入力からのテキストから読み取られ得る。加えて、入力は、履歴アーカイブもしくはコーパスから取られた、またはソーシャルメディアもしくはユーザレビューウェブサイトなどのウェブサイトからスクレーピングされた、オンラインまたはオフラインデータベース、クエリからの、データのアグリゲーションを含むことができる。入力は、プロンプトされないかまたはプロンプトされ得、トピック、人、ブランド、団体、概念、ワード、またはワードのグループに関係することができる。入力は、調査、マーケットリサーチ、または学術的研究における参加者からトランスクライブされたかまたは他の方法で取得されたインタビューデータを含むことができる。いくつかの実施形態では、入力は、自然言語コンテンツとともに読み取られ得るタイムスタンプを含み得る。
[125]自然言語ルールエンジン306または機械学習モデルエンジン320によって取り扱われる入力テキストのサイズを超え得るテキストの大きいセクションに対して、1つのアプローチは、固定サイズのスライディングウィンドウを使用して入力を読み取ることである。随意のステップS804において、コンピュータ226は、自然言語コンテンツに固定長さの走査ウィンドウを適用するように構成される。長さは、いくつかの文字であり得る。走査ウィンドウは、走査ウィンドウの連続移動の間である数の文字だけ重複し得る。ステップS806において、コンピュータ226は、感情のヒューマンディメンションの言語特徴を取得するために、各感情の言語ルールを使用して自然言語コンテンツを評価するように構成される。上記で説明されたように、言語ルールは自然言語コンテンツにパターンマッチングされる。
[126]S808において、コンピュータ226は、各マッチングされたルールのディメンションスコアとして各ヒューマンディメンションを存在、中立、レベルまたは不在についてスコアリングするように構成される。
[127]S810において、コンピュータ226は、それぞれの感情の強度スコアを取得するために、各感情のディメンションスコアをアグリゲートするように構成される。アグリゲートされたスコアは、感情の強度を表す。いくつかの実施形態では、感情のための自然言語コンテンツにおける開始インデックスと終了インデックスとは、各特定のディメンションについて決定される。いくつかの実施形態では、インデックス付き自然言語コンテンツおよび対応するディメンションは、機械学習モデルエンジン320にフォワーディングされ得る。いくつかの実施形態では、感情のトップディメンションは、それぞれの数値(ディメンションスコア)またはマッピングされた記述子とともに機械学習モデルエンジン320にフォワーディングされ得る。開始インデックスと終了インデックスとを含む感情のパターンは、いくつかの構文、フレーズおよび文を有するパッセージ全体について記憶され得る。
[128]S812において、コンピュータ226は、ディメンションスコアに基づいて自然言語コンテンツを感情クラスとして分類するように構成される。いくつかの実施形態では、分類は、各感情クラスの確率を生成し得る。
[129]S814において、コンピュータ226は、アグリゲートされた値を感情としてラベリングし、自然言語コンテンツのために、感情ラベルのパターンなど、ラベルのコンテキストを決定するように構成される。
[130]S816において、コンピュータ226は、分類および感情ラベルのパターンをテキスト、スピーチ、および/または、グラフィカル出力として出力するように構成される。
[131]S818において、コンピュータ226は、経時的に感情ラベルを追跡するために、自然言語コンテンツ上で時間シーケンスにおいて感情ラベルのパターンおよび関連する構成要素を追跡するように構成される。各感情ラベルは、シーケンス中のそれらの順序を識別するために順序付きインデックス番号を割り当てられ得る。タイムスタンプを含む自然言語コンテンツの場合、各感情ラベルは、関連する構成要素のタイムスタンプを割り当てられ得る。
[132]図9は、本開示の例示的な態様による、言語ルールを使用して評価するためのステップのフローチャートである。S806の複数の言語ルールを使用して評価することは、以下のステップを含む。
[133]S902において、コンピュータ226は、ルールパターンマッチングを使用してルールを検出するように構成され、
[134]S904において、コンピュータ226は、各検出されたルールのヒューマンディメンションを評価するように構成される。
[135]図10は、本開示の例示的な態様による、ルールを検出するためのフローチャートである。S902のルールの検出することは、以下を含む。
[136]S1002、自然言語コンテンツにおいて感情に関係する構成要素を有する構文の存在または不在を検出する。
[137]図11は、本開示の例示的な態様による、スコアリングのフローチャートである。S808のスコアリングすることは、以下を含む。
[138]S1102、ディメンションスコアを決定するために、各ディメンションを評価する。
[139]図12は、本開示の例示的な態様による、ルールを検出するためのフローチャートである。S702の、複数の言語ルールの中で、ルールを検出することは、以下を含む。
[140]S1202、以下の数値を決定する。
[141]品詞タグ付けまたはシンタックスルール、
[142]ストリングマッチングルール、正確、不正確、マスク、またはワイルドカード、
[143]トークン近接性ルール、
[144]句読法ルール、
[145]レンマ化ルール、
[146]ステミングルール、
[147]語彙ルール、および
[148]ワードルックアップまたは辞書ベースルール。
[149]図13は、本開示の例示的な態様による、トークン近接性ルールの数値を決定するためのフローチャートである。トークン近接性ルールの数値を決定することは、自然言語コンテンツ中の指定された点からn未満のトークンの距離を有するすべてのトークンにアクセスすることを含み、ここにおいて、nは整数である。
[150]図14は、本開示の例示的な態様による、分類のフローチャートである。コンピュータ225は、教師あり学習、教師なし学習、およびルールベースシステムのいずれかを含む機械学習方法を使用してS812の分類を実施するように構成される。
[151]図15は、本開示の例示的な態様による、機械学習のフローチャートである。S1402の機械学習は、以下を含む。
[152]S1502、データリポジトリから複数の自然言語データ項目を受信する、
[153]S1504、複数の前処理された自然言語データ項目を生成するための前処理エンジンを使用して、複数の自然言語データ項目を正規化およびトークン化し、これは、分類における計算能力および時間を節約するために、データラインを正、負および中性に事前ソートすることを含み得る、
[154]S1506、複数の前処理された自然言語データ項目を、表されたセンチメント、感情、意見、または信念、および表されたセンチメント、感情、意見、または信念の強度でラベリングする、
[155]S1508、複数の前処理された自然言語データ項目を、並列に、教師なし学習エンジン、ルールベースエンジン、および教師あり学習エンジンに提供する、
[156]S1510、自然言語データにおいて、表された感情を識別するために、および感情の強度としてスカラー測度を決定するために、複数のトレーニングエポックにおいて、並列に、教師なし学習エンジン、ルールベースエンジン、および教師あり学習エンジンをトレーニングする。
[157]教師なし学習エンジンの各トレーニングエポックは、ルールベースエンジンの後続のトレーニングエポックに特徴またはルール示唆を提供し、ルールベースエンジンの各トレーニングエポックは、教師なし学習エンジンおよび教師あり学習エンジンの後続のエポックに集計およびスコアリングデータを提供する。
[158]S1512において、トレーニングされた教師なし学習エンジンと、トレーニングされたルールベースエンジンと、トレーニングされた教師あり学習エンジンとを表す出力を生成する。
[159]S1514において、ルールベースエンジンのための新しいルールを示唆するために、自然言語データ内に存在するヒューマンディメンションを、ワイルドカードまたはパターンスキップをもつおよびもたない既存のディメンションアレイにマッチングすることによって、ヒューマンディメンションをマッチングする。
[160]システムは、(テキスト内に記述され、およびそれによって検出されるように)フィーリングが行為に転じる点およびレベル(強度)の演繹または認識を可能にする。システムは、自己の内側のみで、バイパーソナル(1対1)で、対人的/マルチパーソナルまたは家族で、あるいは社会(コミュニティ、国、地域、または世界)上で、ダイナミックの認識を可能にする。システムは、感情が文、項目/段落およびパッセージ全体にわたって変動するときの、その感情の強度の追跡を可能にする。システムは、問題または著しい変化が起こったことを示し得る、(エゴディメンションを介した)アグリゲートされたセルフイメージの急転などの知覚の大きい重要なシフトの識別を可能にする。システムは、自尊心/セルフイメージと一般的楽観論との間の関係など、相関を介して、重要なファクタ間の関係をあらわにすることができる。
[161]上記の教示に照らして、多数の修正形態および変形形態が可能である。したがって、添付の特許請求の範囲内において、本発明は、本明細書で特に説明されたものとは別様に実践され得ることが理解されよう。
[162]したがって、上記の議論は、本発明の例示的な実施形態を開示および説明するものにすぎない。当業者なら理解されるように、本発明は、それの趣旨または本質的特徴から逸脱することなく他の特定の形態で具現され得る。したがって、本発明の開示は、本発明の範囲、ならびに他の請求項を限定するものではなく、例示的なものである。
[163]例示的な実装形態
[164]電子リーディングデバイス
[165]本発明の実施形態は電子リーダーを含む。電子リーダーは、専用ファームウェアと、テキストを高い明快さで最適に表示するように構成されたディスプレイとを組み込んだ(電子ブックリーダーと通例呼ばれる)専用デバイスであり得るか、あるいは典型的にはモバイルアプリケーション(アプリ)の形態のテキストリーディング用のソフトウェアで構成されたタブレットコンピュータまたはスマートフォンなどの汎用コンピューティングデバイスであり得る。電子リーダーは、概して10インチダイアゴナル以下であるディスプレイスクリーンを有し、限られたコンピュータ処理能力およびメモリを有する。たいていの場合、電子リーダーは、インターネット接続を介して、典型的にはWiFi接続を介してウェブサービスと通信することができる。いくつかの電子リーダーは、セルラー送信を介して通信するための通信モジュールを含む。
[166]マルチメディア分類エンジン312を有するシステム300は、処理の大多数が自然言語ルールエンジン306の実行に基づくので、限られた処理能力およびメモリをもつデバイスにおいて実施され得る。機械学習モデルエンジン320は、別個のコンピュータにおいてオフラインで、またはクラウドサービスにおいて実施され得る。
[167]図16は、本開示の例示的な態様による、電子リーダーを示す。電子リーダー1600は、ディスプレイスクリーン、またはタッチスクリーンディスプレイ1602を含む。ディスプレイ1602がブック1604のテキストを表示しているとき、ディスプレイは、スクロールバー(図示されず)として表示されるスクロール機能と、ボタン1606として表示されるページターニング機能とを含み得る。
[168]図17は、本開示の例示的な態様による、電子リーダーの動作のフローチャートである。S1702において、システム300は、マルチメディア分類エンジン312によって、感情的、認知的、対人的もしくは社会的ダイナミック、モチベーション、信念、意見、または心理的要素について、書かれたフィクションまたはノンフィクション作品を査定し得る。S1704において、電子ブック中のテキストは、走査され、識別された感情的、認知的またはそれ以外の状態をトリガするルール、およびそれらが発生した強度でタグ付けされる。
[169]一実施形態では、S1706において、システム300は、いくつかの感情的または認知的または社会学的または対人的ダイナミックおよび/または状態の発生を指定する色分けされたハイライトを生成し、表示し得る。一実施形態では、S1708において、システム300は、ダイナミック1610と感情強度1620とのための1つまたは複数のサイドバーを生成し、表示し得る。サイドバーは、利用可能な場合は追加されたコンテキストとともに、テキスト1604内に発生する感情的、心理的、認知的、社会学的、または対人的ダイナミックまたは状態を要約し得る。S1710において、各ダイナミック1612または状態1622は、(タッチ、マウス、キーボードなどを介して)選択すること1630によって相互作用され、それにより、電子リーダー1600は、その所与のダイナミックまたは状態のテキスト内の例1632を提示されることが可能になり得る。
[170]マルチメディアオーディオブックまたは視空間データセンチメント分類器
[171]マルチメディア分類エンジン312を有するシステム300は、処理の大多数が自然言語ルールエンジン306の実行に基づくので、限られた処理能力およびメモリをもつデバイスにおいて実施され得る。システム300は、文、フレーズ、および構文について感情分類を実施し、テキストが受信されているときにリアルタイムで感情分類を実施することができる。機械学習モデルエンジン320は、別個のコンピュータにおいてオフラインで、またはクラウドサービスにおいて実施され得る。
[172]図18は、本開示の例示的な態様による、マルチメディアオーディオブックまたは視空間データセンチメント分類器の流れ図である。
[173]オーディオブック、またはムービーもしくはTVショーのような視空間マルチメディアなどのスクリプトまたは字幕付きのマルチメディアは、システム中に走査され、テキストにトランスクライブされ得る。
[174]1802において、テキスト化されトランスクライブされたメディアは、自然言語ルールエンジン(306)を通過され、ルールにマッチングされる。
[175]感情認知センサー(314)は、文、段落、パッセージ、シーン、またはチャプターレベルで入力を処理し、各々を、所与の感情、認知、センチメント、状態ベースまたはダイナミックベースまたは社会ベースのタグで分類する。部分的なディメンションをもつ、高使用頻度非構文フック(HUNCHes:High Use Non-Construction Hooks)として知られる、漂遊ショート部分ストリングおよび選択個別ワードがテキスト内で検出され、マッチングされる。
[176]強度レーティングセンサー(316)は、テキストを分析し、ディメンションとして知られる、各認知ベース、感情ベース、社会ベース、対人ベース、または状態ベースの要素のサブ構成要素に基づいて、客観的強度レーティングを割り当てる。
[177]感情認知タグ付けエンジン(318)は、テキストデータを割り当てられたクラスでタグ付けする。
[178]時間位置協調(1804)は、テキスト情報のタグ付けされたクラスと、聴覚または視空間データまたは信号の協調されたセクションとの間のタイミングベースの関連付けを行い、これは、次いで、分類され、タグ付けされるために感情認知タグ付けエンジン(318)に送られる。
[179]システム300は、話者のオーディオまたは視覚ベースラインに対して絶対的と相対的の両方で、ならびに性別、年齢、階級、人種、アクセント、ロケールおよび他の人口統計学的情報、および状況情報のために調整された、マッチングしているオーディオまたは視覚的パターンのさらなるインスタンスを走査し、それらを当該のパターンに関連する感情認知クラスに自動的にタグ付けする。
[180]前のステップにおいて自動タグ付けされた感情クラスと協調されたテキストは、オーディオまたは視覚データによって今や保持される感情認知クラスに対するマッチングとしてテキスト中で自動的にフラグを付けられるか、またはそれの高い尤度としてフラグを付けられるようになる。
[181]図19は、マルチメディアルールエンジンのブロック図である。テキスト、視空間およびオーディオデータは、比較され、マルチメディアルール示唆として再処理され、自然言語ルールエンジン(310)、視空間ルールモジュール(306)、およびオーディオスピーチルールモジュール(308)に送り返される。
[182]オーディオまたは視覚信号およびパターン中で同様の、反対の、部分的なマッチングを示しているか、または他の方法で数学的に有意な比もしくは関係を示している後続のオーディオまたは視覚入力は、感情認知クラスの尤度を示すタグを受け取ることになる。
[183]各マルチメディアルールエンジン312のルールと示唆されたルールとの類似性、相違、反対性、および他の測定値の比較は、ルール示唆能力を改善し、各ルールのモジュラー構成要素をハイライトする。
[184]一実施形態では、HUNCHesはフックとして使用され、それにより、システムは、マルチメディアルールエンジン(312)に潜在的な新しいルールを戻して示唆する、囲んでいるテキストを分析することが可能になる。ディメンションパターンは、正および負のディメンションにマッチングするか、またはルールパターンに対して無矛盾でなければならない。
[185]特に、HUNCHesは、それら自体のディメンションを伝える非構文ベースの部分的ピース(1~2個のワード、または部分的フレーズなど)である。これらをシステム300に供給することにより、ニューラルモデル320は、これらの部分的ディメンションパターンを「マッチング」し、感情のインジケータを見つけるためのフックとしてそれらを使用することが可能になる。一例では、怒りルールは、未発見の状態であるが、エゴ+1、苛立ち+1、力+1などを有する。(「I won’t」のような)フックは、エゴ+1および力+1のみを有し得るが、それが怒りに適合し得るように十分見える場合、囲んでいるテキストは検査されることになる。これを行うために、それは、0個の矛盾したディメンションを有しなければならず、それは、マッチングしたそれの既存のディメンションを有しなければならない。これにより、ルールの置換が検出されること(両方が真の場合)、または潜在的に新しいルールになること(矛盾していない場合、しかしディメンションプロファイルが怒りのように十分見える場合)が可能になる。この技法を通して、「I[won’t/am not going to/am not gonna]take it[「one more time」、「again」、「anymore」、「at all」]などの新しい怒り構文が見つけられ、この構文は、「[一人称代名詞]+([助動詞]+[否定]+((「GOING」)+[不定動詞]または[未来動詞])+((直接目的語-代名詞))*+[ワードリスト:時間フレーズ]+「!」」のようなルールに洗練され得、ただしアスタリスクの部分は随意であり、これは、たとえば、以下のような文を与える。
I’m not going to take it anymore!
I’m not going to serve you again!
We will not bow anymore!
いくつかの感情、および所与の感情に関するいくつかのディメンションについては、2つ以上の値が許容可能であり得る。たとえば、怒りは、ぶしつけであることも、微妙な差異があることも可能であり、したがって、いずれのスコアも受け取り得る。
[186]いくつかの実施形態では、感情およびディメンションによっては、2つ以上の値が許容可能であり得る。たとえば、怒りは、中性のエゴまたは正のエゴであることが可能である(およびそのいずれかでなければならない)。他の場合には、それは、ディメンションについて1の結合価でなければならない。たとえば、怒りは強力でなければならない、怒りは特有でなければならない。連続するHUNCHesは、感情ディメンションアレイに一緒にマッチングし得る。それらはまた、感情がシフトした場合、一緒にマッチングしないことがある。
[187]図20は、本開示の例示的な態様による、HUNCHesに基づくルール発見エンジンのフローチャートである。プロセスは、ルール発見エンジン326において実施される。
[188]S2002において、HUNCHesに関連するディメンションがスコアリングされ得る。
[189]S2004において、HUNCHesが感情認知状態のプロファイルに対してマッチングされる。可能性がある感情認知状態にマッチングされるために、それらは、その状態に対して矛盾した要素またはディメンションを有し得ない。矛盾しない空のディメンションは、潜在的にマッチングされ得る。
[190]S2006において、負または正のディメンションは、別段にフラグ付けされない限り、マッチングする可能性が高くなければならない。
[191]S2008において、感情認知状態が示唆される。
[192]S2010において、新しいストリングマッチおよび囲んでいるテキストが、自然言語ルールモジュール306に戻って示唆される。
[193]S2012において、新しいストリングに対応するオーディオまたは視空間データが、対応するマルチメディアルールエンジン312に供給される。
[194]図21A、図21Bは、本開示の例示的な態様による、オーディオメディアにおけるルール発見のフローチャートである。
[195]S2102において、オーディオメディア(または視覚メディアからの音)がテキストにトランスクライブされ、入力される。場合によっては、クローズドキャプショントランスクリプトまたはスクリプトが入力されることになり得る。いくつかの実施形態では、オーディオメディアのより多くの特徴をキャプチャするために、息切れ、雑音、ジェスチャー、および他の非テキストオーディオが注釈としてトランスクライブされ得る。
[196]S2104において、感情(ならびに認知および他の要素)を検出するために、ルールが到来テキストに適用される。
[197]S2106において、ルールが首尾よく適用された入力中のインデックス位置が留意される。
[198]S2108において、フレーズ、文、パッセージ、およびチャプターレベルで強度を決定するために、ルールディメンションが計算される。
[199]S2110において、パッセージが、対応する感情(および/または他の要素)ならびにそれぞれの強度および属性で注釈を付けられる。
[200]S2112において、対応する音波または視空間データが、時間によって、パッセージ中のワードのインデックス位置と協調される。
[201]S2114において、実際のオーディオ特性、および話者のベースラインオーディオまたは視空間プロファイルと、それらのものの所与の特定の感情認知プロファイルとの間の相対関係が計算され、記憶される。
[202]S2116において、同様の、派生的な、反対のまたは別様に関係するオーディオフラグメントが現れたとき、それらが、当該の感情認知ラベルにマッチングされる。異なる感情に対して同じルールをトリガするサブパッセージまたはストリングは、学習アルゴリズムに供給される。データ中で検出された同様の音または視空間フラグメントは、同様のオーディオのまたは視空間データの既存のタグに基づいて、示唆された感情認知状態で事前タグ付けされる。オーディオまたは視覚的空間データ中で検出された同様のフラグメントは、自然言語ルールモジュール306にフィードバックされる。
[203]図22は、スピーチ信号パターンのグラフである。一実施形態では、テキスト入力2202のためのスピーチ信号パターン2210は、テキスト入力2202でインデックス付けされ2204、感情2206の開始時間および終了時間(2208)をマークするために使用される。
感情認知ダイナミックディスプレイ
[204]歴史的に、集団のいくつかのサブセットは、話されたまたは書かれたテキストにおいて感情的、認知的、社会的、信念ベース、対人的、またはメタ認知的、メタ感情的、または意思決定キューまたはダイナミックを理解するために様々なバリアを経験してきた。特に、自閉症などの状態をもつ非神経学的定型(たとえば、ニューロダイバージェント)である人々は、言語の中に存在する誤解または消失した社会的キュー、感情、および他のダイナミック要素の蓋然的に高いレートに遭遇する。所与の言語の非ネイティブスピーカーもこれらの困難に遭遇し得る。これらの集団によって消費されるメディアは、混乱しており、混同させ、紛らわしく、社会規範が理解されないおよび/またはそれを逸脱したとき、断絶、対人的葛藤または疎外、忌避および隔離につながる可能性が時々ある。また、メディアの楽しみは、社会的結合の理由により、低減されるか、またはそれについて話される可能性がより少なくなり得る。エンターテインメント会社はまた、オーディエンスが手近の感情的、対人的、信念ベース、または認知的ダイナミックでピックアップしないので、視聴者を失うかまたは視聴者の低減を経験する可能性がある。
[205]新しい状況、ダイナミック、感情、認知的状態、および社会的態様、潮流、およびダイナミックが発展するかまたは導入されると、より大きい有効性のために、分析された注釈付き字幕が機械学習アルゴリズムに供給され得る。心の理論モジュールは、正確さのために、所与の社会、性別、宗教、信念、年齢、トピック、または文化もしくはサブカルチャーに対して調整されるように、追加のイタレーションで更新され得る。
[206]トレーニングデータは、取り出されて到来メディアにマッチングされるロバストな情報により、部分的に自動化され得る。
[207]メディアは、トレーニングデータを使用して作成され、前のデータ上の注釈を使用して書き込み、収集、スプライス、妥協または模倣され得る。
[208]トレーニングデータは、聴覚的、視覚的、テキスト、多感覚、またはすべてのタイプの組合せであり得る。
[209]トレーニングデータの1つのタイプは、以下の修正を伴う、GoEmotionsデータセットを含む:欲望クラスの除去、中性ラベルの除去、および代わりに、1-中性確率スコア=保証スコアという保証スコアを導出する際の中性ラベルの使用。
[210]トレーニングデータは、限定はされないが、感情、認知および他のディメンションなどのセンチメントが、当該ケースであるために論理的に要求される上記しきい値必要性が必ずあるかまたはそれを伴うロケーション、ならびに/あるいはタグを効果的に与え、経験的ラベルを可能にする、オーサー自身が彼ら自身の感情を宣言するロケーションから供給される。
[211]感情の自動分類のためのシステム300の一実施形態は、感情認知ダイナミックディスプレイである。ダイナミックディスプレイは、感情のサブテキストデータをリアルタイムで挿入することができ、それにより、ニューロダイバージェントユーザは、彼らが進むにつれて、彼らの社会的、感情的、対人的および心の理論スキルを学習し、改良することが可能になる。
[212]自然言語ルールエンジン306は、字幕によって利用可能にされるテキスト情報中の言語パターンの迅速な決定を可能にする、構文ベースの、使用頻度の高い、および/または置換可能なフレーズからなるルールで構成される。ハッシュタグは、語彙を介して利用可能にされるだけの代わりに、入力から導出されたコンテキスト、およびコーパス、ユニグラムおよび他の存在するnグラムによって分解され、それにより、より正確で、より関連性のある自然言語処理およびセンチメント分析が提供される。同様の、部分的な、反対のディメンションパターンは、センチメントの検出のために使用される。ルールは、各ルールトリガリング構文において精神衛生兆候を検出するために使用され得るディメンションを符号化するために作成される。
[213]感情認知エンジン314は、過渡的および永続的な感情的、認知的、信念ベース、意見中心の、社会的およびパーソナリティ状態を識別するために、別個のパターンおよび組合せでアグリゲートする、モチベーション、影響、感情および認知、ならびに同様のサブ構成要素の高速でますます正確な認識を可能にする各ルールのサブ構成要素(「ディメンション」)をスコアリングするように構成される。感情は、ディメンションの「形状」から推論される。感情の特徴は、ディメンションのベクトル、ディメンションの値、およびこれらの部分からの導出された計算からの差またはそれへの類似度を含むことができる。
[214]感情認知タグ付けエンジン318は、感情的、認知的、信念、モチベーションおよび意見の状態のサブ構成要素を使用して、字幕およびスピーチの過程にわたってサブテキスト情報の展開のタグ付けおよび追跡のために構成される。感情がタグ付けされると、アグリゲート感情認知アンサンブル分類器328は、感情パターンに基づいてメタ感情状態、シフト、および組合せをタグ付けする。
[215]ルール発見エンジン326は、ギャップのある感情状態、傾向、ディメンション遷移、ならびに他のセンチメント状態およびシフトを識別、利用、演繹、および推論して、潜在的な新しいルールを示唆するように構成され、これらは、次いで、システム300にフィードバックされる。感情パターンおよびメタ感情シフト、状態、および組合せは、感情、認知、または他のセンチメント構成要素のパターン内のギャップから推論される。ルール発見エンジン326は、データ中の消失したセンチメント状態およびシフトを推論するために、あるいは意味論的、認知的、感情認知的または別様のセンチメント曖昧さを解決するために使用される情動的論理で構成される。ルール発見エンジン326は、より熟達した、より細く、より高速な区別のために、悲嘆と悲しみ、または悲しみと怒りのような、近い感情状態の間など、クラスの「エッジ」上で機械学習モデルエンジン320のトレーニングを制御するように構成される。
[216]ディスプレイ210は、よりリッチな情報、および状況アウェアネスを可能にするために、視覚ならびに聴覚(聴覚トーンおよびスピーチ)データに対して並置されたサブテキストキューを表示するように構成される。サブテキストデータは、ユーザおよび閲覧者に通知し、メディア中に描写または記述された社会的状況ならびに複雑な感情的および認知的状態をオーグメントおよび/または明瞭にするために表示される。
[217]ルール発見エンジン326は、機械学習モデルエンジン320とともに動作するように構成される。新しい状況、ダイナミック、感情、認知的状態、および社会的態様、潮流、およびダイナミックが発展するかまたは導入されると、分析された注釈付き字幕が機械学習モデルエンジン320に供給され得る。トレーニングデータは、取り出されて到来メディアにマッチングされる情報から取得され得る。トレーニングデータは、聴覚的、視覚的、テキスト、多感覚、またはすべてのモードの組合せであり得る。
[218]一実施形態では、トレーニングデータはGoEmotionsデータセットを含む。この実施形態では、GoEmotionsデータセットは、欲望クラスを削除することによって修正される。中性ラベルは、1-中性確率スコア=保証スコアのように、中性ラベルから導出された保証スコアと交換される。
[219]いくつかの実施形態では、トレーニングデータは、限定はされないが、感情、認知および他のディメンションなどのセンチメントが、当該ケースであるために論理的に要求される上記しきい値必要性が必ずあるかまたはそれを伴うソース、ならびに/あるいはタグを効果的に与え、経験的ラベルを可能にする、オーサー自身が彼ら自身の感情を宣言するソースから取得される。
[220]図23は、本開示の例示的な態様による、ビデオ/オーディオのストリームにおけるリアルタイム感情分類の方法のフローチャートである。本方法は、ストリーミングオーディオおよび/またはビデオを受信し、メモリとともにそれ自体の内蔵コンピュータを含む、タブレットコンピュータ、スマートフォン、スマートTVを含むディスプレイデバイスで実施される。
[221]S2302において、ムービーまたはテレビ番組またはストリーミングショーまたはキャプチャされた劇場プレイまたはアニメーション化ビデオソースからのシーンが、協調されたテキストトランスクリプションとともに受け取られる。
[222]S2304において、テキストデータのルールマッチングは、ルールベースエンジン306感情認知エンジン314、強度レーティングセンサー316、および感情認知タグ付けエンジン318によって実施され、これらは、テキストトランスクリプションにおいて、感情的、認知的、および他のそのような状態を強度レーティングでタグ付けする。
[223]S2306において、アグリゲート感情認知アンサンブル分類器328は、ワード共起、論証的要素、およびトピック要素に基づいてコンテキスト手掛かりを決定する。
[224]S2308において、感情認知センサー316は、場合によっては、個々のストリングまたはnグラムを3元ディメンションスコアでマークする。
[225]S2310において、視空間ルールエンジン310およびオーディオスピーチルールエンジン308が、視覚データ中で明らかなオーグメントされた情報(AugI)および状況要素(SE)、または聴覚データ中で明らかなトーン要素を検出し、メディアの別個の、しかし時間協調されたソースに入力する。
[226]S2312において、感情認知センサー314が、コンテキスト指向の意味論的情報(コンテキスト手掛かり)ならびにAugIおよびSEデータからの並置(協調および発散、ならびに各々の度合い)を実施し、各シーンについてコンテキストスコアを作成する。
[227]S2314において、括弧に入れられた感情データは、インラインで返され、閲覧者がメディアの感情的、認知的または社会的要素を正しく識別するのにより容易な時間を有し得るように、ディスプレイデバイス210における表示のためにテキストトランスクリプトに挿入される。
[228]図24は、本開示の例示的な態様による、ディスプレイデバイスを示す。例示的なディスプレイデバイス2400は、協調されたテキストトランスクリプション2412とともに、ムービーまたはテレビ番組またはストリーミングショーまたはキャプチャされた劇場プレイまたはアニメーション化ビデオソースからのシーンを表示するためのディスプレイスクリーン2402を含む。この例示的なスクリーンにおいて、括弧に入れられた感情データ2414(たとえば、感情強度ペア、「怒り-中程度」)が、インラインで返され、テキストトランスクリプト2410に挿入され、ディスプレイデバイス2400に表示される。感情強度ペアは用語のペアとして示されているが、感情強度ペア2414は、数値としての強度、あるいはある相対的サイズおよび/もしくは色のバー、または長さが変化するカラードットのセットなど、相対的な量(低、中程度、高)を示すグラフィカルシンボルを含む、他のフォーマットで表示され得ることに留意されたい。また、感情強度ペア2414は、円もしくは長方形形状の内側、またはコメントバルーンのような形状の中など、グラフィカルコンテナ中に表示され得る。加えて、単一の感情強度ペア2414が示されているが、感情強度ペアの数および/またはシーケンスは、テキストトランスクリプション2412のコンテンツに依存する。たとえば、感情強度ペア2414はパターンとして表示され得る。
[229]境界パーソナリティ障害鎮静デバイス
[230]図25は、本開示の例示的な態様による、感覚的気晴らしを伴う感情分類システムの図である。
[231]境界パーソナリティ障害(BPD)は、人が自分自身および他者に関して考えおよび感じる仕方に影響を及ぼす精神衛生障害であり、日常生活において作用する問題を引き起こす。それは、セルフイメージ問題、感情および挙動を管理する困難さ、ならびに不安定な関係性のパターンを含む。BPDの治療は、圧倒的に強く感じて自傷につながり得る感情を管理するための学習を含む。開示される実施形態は、いくつかの感情および感情のパターン、特に感情の強度に基づいてフィードバックを与えるための周辺デバイスを含む。
[232]境界パーソナリティ障害(BPD)と診断された患者は、キーボード、トランスクリプション付きの音声レコーダなどの他のテキスト入力デバイス、またはテキスト入力スクリーンを有するタッチスクリーン搭載デバイスなどのテキスト入力機能をもつデバイスからの入力を受け付けることができる、マイクロフォン搭載デバイスまたは入力デバイスを提供され得る。スピーチ信号は、テキストにコンバート/トランスクライブされ得る。テキストはデバイスに直接入力され得る(302)。デバイスは、好ましくは、患者が携帯し得るポータブル/モバイルコンピューティングデバイスである。いくつかの実施形態では、ポータブル/モバイルコンピューティングデバイスは、クラウドサービスとのデジタル通信を容易にするデバイスであり得る。
[233]テキスト入力は自然言語ルールモジュール(306)によって処理され、自然言語ルールモジュール(306)は、その場合、感情ラベルを提供し、入力を感情認知センサー(314)に受け渡す。
[234]強度レーティングセンサー(316)は、各入力のディメンションを計算し、客観的強度レーティングを割り当てる。
[235]アグリゲート強度モジュール(2504)において、移動平均およびアグリゲートスコアが計算される。
[236]瞬間強度モジュール(2502)において、瞬間強度スコアが計算される。
[237]アグリゲート強度モジュール(2504)における実行中の負の感情強度が十分高いしきい値に達したとき、システムは、場合によっては、限定はされないが、スパイシーなキャンディーの処方、Bluetoothブレスレットの振動、Bluetoothブレスレットの加熱を含む、患者のための感覚鎮静の気晴らしを生じるように、弁証法的行動療法(DBT)のために構成された周辺デバイスを介して、感覚鎮静補助(2506)をプロアクティブに処方し得る。
[238]瞬間強度モジュール(2502)における任意の所与のデータポイントが、危険しきい値を超える負の感情強度に達したとき、システムは、感覚的気晴らしを生じるために周辺デバイス2506をプロアクティブにアクティブにする。
[239]言語またはスピーチの強度監視は、強度レーティングセンサー(316)と感情認知センサー314の両方を介してレジュームする。アグリゲートまたはデータポイント強度が第1のしきい値に達したとき、様々な無作為化された感覚鎮静の気晴らしがアクティブにされる。
[240]アグリゲート強度モジュール(510)の移動平均と、瞬間強度モジュール(2504)のレーティングとが、30分以上の間、しきい値を上回って上昇しないと、日誌カードは、個人的または治療的使用のために、その経験を記入および記録するために、患者向けの中央ユニットによって処方される(2508)。
[241]他の実施形態では、感覚的気晴らしを伴う感情分類システムは、BPD以外の適用例を有する。場合によっては、アルコール、ドラッグまたは強迫的挙動に対する中毒を克服しようとしているユーザは、アフターケアリハビリテーションプログラムまたは禁酒リビングホームにおいて、再発に先立つか、または再発の、感情認知サインについて監視され、テキストのまたはトランスクライブされた入力(302)をデバイスに提供する。場合によっては、ワーカーまたはマネージャの専門通信は、ストレスまたは不安などの特定の感情認知状態のサインについて監視され、デバイスに入力される(302)。場合によっては、アグリゲート強度モジュール(2504)における実行中の負の感情強度が十分高いしきい値に達したとき、システムは、施設、リハビリテーションプログラム、または禁酒リビングホーム、または雇用者に、ユーザが再発、または極度のストレスもしくは不安のリスクに晒されていることを警告する。
[242]図26A、図26B、図26Cは、本開示の例示的な態様による、電子ブレスレットの概略図である。電子ブレスレット2600は、電子的構成要素が組み込まれたリング2612の形態であり得る。
[243]ワイヤ:
ワイヤ2610は、複数の絶縁ワイヤの束である。個々のワイヤは、正「+」または負「-」のいずれかである。ワイヤ2610は、好ましくはニクロム(ニッケルクロム)であるが、他のワイヤ材料で作られ得る。
[244]ブレスレット2612は、ワイヤレス通信のために構成された(マイクロプロセッサチップ2620に接続された)組込み通信チップを含み得る。ワイヤレス通信は、好ましくはポータブル/モバイルデバイスから信号を送信および受信するための短距離通信である。一実施形態では、通信チップは、Bluetooth、またはBluetooth低エネルギー(BLE)を使用してワイヤレス通信を実施する。
[245]スライディングウィンドウフィーチャ2614は、ガラスまたはプラスチックである。スライディングウィンドウ2614は、単一のアパーチャであるディスペンサー2616を露出する。スライディングウィンドウ2614は、マイクロソレノイドステップモーター2602で動力化される。(<5mm)。
[246]デバイス2600は、組込みマイクロプロセッサ2620によって電力供給される。マイクロプロセッサは、アセンブリボードタイプ技術を使用したワイヤおよび構成要素のための台座を含む。
[247]マイクロ電磁偏心モーター2622は、不平衡負荷を介して振動を生成するアクチュエータである。
[248]シリコーンに着座した銅板2608は、熱を提供する。
[249]デバイスは、リチウムイオン充電式バッテリー2604によって電力供給される。充電式バッテリー2604は、関連する充電インターフェース2606を有する。
[250]バンド2612上のインジケータライト2630は、ポータブル/モバイルデバイスとのペアリングのために存在する。
[251]バンド2612は、透光性であり、検出された感情に応じてLEDライトを介して色を変化させることができる。これは、重度に活性化された状態で、有害な緊張を経験しているBPDを有する人々にとって、彼らの感情を介護者または最愛の人と通信するために有用であり得る。
[252]デバイス2600の適応形態はまた、不安発作中のPTSDを有する人々を落ち着かせ、トリガされたときに感情情報を最愛の人および介護者に送信するために有用であり得る。
[253]上記の説明において、フローチャート中の任意のプロセス、説明またはブロックは、プロセスにおいて特定の論理機能またはステップを実装するための1つまたは複数の実行可能な命令を含むコードのモジュール、セグメントまたは部分を表すものとして理解されたく、代替の実装形態は、本進歩の例示的な実施形態の範囲内に含まれ、これにおいて、機能は、当業者によって理解され得るように、関与する機能に応じて、実質的に同時にまたは逆順に、を含めて、図示または説明されるものとは順序が乱れて実行され得る。
[254]感情認知プロファイラ
[255]例示的な実施形態では、感情認知分類はプロファイラとして実装され得る。
[256]テキスト入力は、分析のために自然言語ルール306に話されるかまたは他の方法で入力される。入力は、ユーザ、別の人、またはトピックに関し得る。場合によっては、ユーザは、無作為化されたジョブプロンプトに答えている彼ら自身をビデオキャプチャし得る。場合によっては、OCRまたはオーディオトランスクリプションは、(それぞれ)書かれたおよびビデオまたはオーディオカプセル化されたテキスト情報をプレーンテキストにトランスクライブする。
[257]テキストは、センチメントコンテンツについて感情認知センサー314によって分析される。
[258]感情認知センチメントは、分類の後に感情認知タグ付けエンジン318によってラベリングされる。
[259]センチメントの強度は、強度レーティングセンサー316内でディメンションを介して計算される。
[260]プロファイルは、感情認知プロファイラ内で、パーソナリティ特性、表現特性、認知特性、および感情特性ならびに価値およびバイアスを用いて生成される。
[261]人口統計学的情報は、感情認知プロファイラにおいてプロファイル情報に関連付けられる。
[262]アグリゲート感情認知アンサンブル分類器328は、日付、ジョブ、または応急に強く適合する候補のタイプに関する予測を行う。場合によっては、ユーザは、調査または質問表などによって、パーソナリティ特性、価値、認知特性、感情特性、それらの理想的な候補が示し得る価値および決定点のタイプに関する情報を入力する。
[263]所与の人をマッチ、レーティングデザイアビリティおよびフィットとして推奨するための推奨が、日付記入サイトユーザ、応急コンサルタント、または雇用マネージャに行われる。
[264]感情認知プロファイラによって集められたプロファイルは、機械学習モデルエンジン320による将来の使用のために保持および記憶される。
[265]感情認知インフォームドテクスティング/コミュニケーション
[266]例示的な実施形態では、感情認知分類は、特に、電話バンキングまたはテキストバンキングを含む、プリテキストアプリケーションとして実装され得る。
[267]ユーザは、健康的な、感情移入の、正の、社会的/(サブ)カルチャー的に提携したコミュニケーション技法および心理学に関してユーザに通知させるために、テキストのまたはトランスクライブされた入力を感情認知ガイダンス用のシステムにサブミットする。
[268]場合によっては、当該の関係は、販売関係、顧客サービス関係、仕事場関係、学術的関係、カウンセリング/コーチング関係、恋愛関係、交友関係、家族関係、元のまたはプロポーズした関係、疎遠な関係、危機にある関係、知り合い関係、または他の人間関係であり得る。
[269]不健康な、不適切な、無神経な、混乱を招く、または限られた視点の応答が1人または複数のユーザのテキストにおいて検出されたとき、ユーザは、ゲーム、モジュール、チュートリアルまたは他の教示デバイスを介して、より強いコミュニケーションアプローチについて学習するように彼らのコミュニケーションスキルを開発するようにプロンプトされる。ユーザがゲームまたはモジュールを学習することを選択するか否かにかかわらず、ユーザは、彼らが状況に関してより多くのコンテキストを入力することを望むかどうかを尋ねられる。
[270]ユーザは、彼らがコミュニケーションを再び試みることを望むかどうかを尋ねられる。
[271]ユーザがコンテキストを追加することを選定した場合、彼らは、感情認知状態および感情的または社会的状況を査定するのを助ける一連の質問に答えることができる。ユーザが追加のコンテキストを提供することを断る場合、ユーザは、彼または彼女自身の感情認知状態を査定するためのさらなる質問を尋ねられることを選択することができる。
[272]場合によっては、ユーザは、コミュニケーションまたは関係についての心配、論争、問題および希望のリストから選択することができる。
[273]ユーザは、彼らのコミュニケーション技法を変化させ、ユーザの新しい知識およびアウェアネスを組み込んでいるかまたは彼らの変化した感情認知状態を反映する新しいコミュニケーションをインプットするための機会を与えられる。
[274]ユーザは、フレッシュにスタートすることをプロンプトされる。
[275]ダイナミック/適応実施形態
[276]自発的なテキストのまたはトランスクライブされたユーザ入力が、コンピューティングデバイス、アプリ、ゲーミングコンソール、電話、またはタブレットに入力される。
[277]テキストは、前処理エンジン304に行き、自然言語ルール306によって分析され、次いで、マルチメディア分類エンジン312によって分析される。
[278]明白に述べられた(明示的)およびサブテキスト的に検出された(暗黙的)感情認知状態は、感情認知センサー314において査定され、精神状態の度合いが強度レーティングセンサー316においてスコアリングされる。
[279]ユーザ入力は、感情認知タグ付けエンジン318においてラベルを受け取る。
[280]システムは、カスタマイズされた、インタラクティブな、論証的経験をユーザに提供する、クラフティング、選択、生成、編集、もしくは他の方法で変換されたおよび/またはユーザの感情認知状態に適合する応答を提供する。場合によっては、談話は、2つ以上のコンピュータ生成および/またはガイドされたボットまたはキャラクタを伴い得る。場合によっては、談話は、従来型、仮想現実、または拡張現実ビデオゲーム中に行われ得る。場合によっては、談話は、1つまたは複数の追加の人間エージェントを伴い得る。場合によっては、談話は、ユーザまたはグループに精神療法、カウンセリング、危機または禁酒ヘルプを提供する治療ボットを伴い得る。場合によっては、談話は、ユーザに親交または助けを提供する仮想的フレンドまたはアシスタントを伴い得る。場合によっては、談話は、1つまたは複数の自動販売または顧客サポートボットを伴い得る。
[281]場合によっては、複雑さ、困難、ボリューム、スピード、配色、仲裁、プロットライン、ミニゲームおよび/またはサイドクエスト、オプション、質問、文字、警告、論評、対話、能力または提供される選定、ならびに他のそのようなカスタマイゼーションおよびカスタムアクティビティなどの環境制御は、直近のアグリゲートボット駆動型言語返答に対するユーザ応答に適応する。
[282]1人または複数のユーザからの過去の応答は、現在および将来のユーザセッション中の将来の参照のために、それぞれの反復プロンプトとペアリングされてデータベースに記憶される。
[283]社会言語学
[284]課題:
[285]歴史的に、社会言語学は、話された、書かれた、または身振りされたワードの観測および/または分析を介して、個人、個人のクラス、人々のグループ、人種、性別、社会経済的グループおよび他の人々のグループの、クローズアップした態度、信念、意見、およびセンチメントを研究する。
[286]社会言語学は、サブカルチャー、人種、性別、性、人々のサブクラス、地域間の差異などを含む、社会的ファクタとの関係においてテキストを査定する意味論の学問分野の下位区分である。社会言語学は、文化的規範、協働、期待、アイデンティティの問題、対人的な対話、および社会的コンテキストを含む、言語のコンテキストをずっと以前から研究している。
[287]人文科学および社会科学の研究者、ならびにコンピュータサイエンス分野の自然言語処理(NLP)技術者は、自発的なおよびクラフティングされたテキストおよびスピーチの分析を実施する。歴史的に、これらの研究者および専門家は、洞察を得るために、ワードをパース、クリーニング、タグ付け、注釈付けおよび分析するためのコンピュータコードを展開しなければならなかった。
[288]これらの短所は、研究者を人文科学および社会科学(心理学、社会学、応用行動科学、人類学、コミュニケーション、修辞学、女性研究、民族研究および政治学など)から遠ざけさせ、日常的な言語使用およびそれの有意性に関するリッチな論評を社会から奪ってきた。さらに、社会言語学的および認知的な言語アセスメントのための統合された計算ソリューションの一般的な欠如は、テキストおよびスピーチ通信がますます高速で極めて重要になり、社会的進歩、エクイティおよび理解の中心となっている時代における社会的進歩の加速を妨げている。
[289]さらに、自然言語、認知的および社会言語学的パイプライン自体は、困難なインストール、あらかじめ作られたデータフローへの依存およびそれらの制約、または協調に対して困難および遅延を生じる不適合なソリューションを一般に必要としてきた。
[290]従来のアプローチ:
[291]デジタルの、走査された、トランスクライブまたは翻訳されたテキストの社会言語学的研究および分析を自動化するための従来の試みは、分類および統合するための技術的ノウハウをそれぞれ必要とする一連の複数のツールを必要とした。利用可能なコーパスは、範囲、アクセシビリティおよびサイズが限られるという欠点がしばしばあり、追加のコーパスは、管理するのが困難で費用がかかる。ユーザフレンドリなスクレーピングエンジンは少数しか存在せず、基本的なパースしか提供せず、したがって、ネイティブ環境における観察者またはタグ付けの洞察、(しばしばベイズ確率を伴う)教師あり学習、(ニューラルネットワークなどの)教師なし学習を中心とした人間のセンチメント、信念、意見、または感情の分類を可能にするきめの細かい言語学的自然言語ツールを組み込まない。
[292]既存のソリューションは、トップレベル研究設計、調査スキップパターン設計、ボランティア動員、同意書の組込み、ポーリング、調査、面談、またはデータ寄与、データ取込みおよび摂取、研究監督、ならびにクエリ作成からの研究パイプライン全体をカバーする、最先端の社会調査ツールを組み込まない。同様に、既存のソリューションは、言語学的、計算量的、アグリゲーション、クラウド統合および機械学習トレーニング、テスト、および使用にわたる現代的なカスタム統計分析ツールのスイートを提供しない。
[293]既存のソリューションはまた、調査および学術的データセット、統計セット、関連するコード、および結果論文をダウンロードし、配布し、収集し、それらにコメントするためのシームレスな仕方を提供しない。最後に、既存のソリューションは、ユーザが、さらなる研究で使用するために一般大衆または学術的同輩にデータセットを戻して寄与することを可能にしない。
[294]方法
[295]社会言語学的研究の範囲を拡張させ、ならびに研究と社会の進歩のためにテキストの、聴覚的な、視覚的な、歴史的な、サブカルチャーの、集団の、地理的なメタデータを組み込むように言語学分野の外部の人文科学およびサイエンス研究を増幅させる技術が進歩するにつれて、この社会言語学的パイプラインは必要とされ、求められる。
[296]現在、社会言語学は、管理された、より狭いデータセット上で実施されている。既存のソリューションは、過度に基礎的で、あまりきめ細かくなく、進めるのに高い技術バリアがあるので、プロフェッショナルなまたは学術的な社会言語学者用の専門ツールのための計算ツールが求められている。社会言語学者用の極めて小数のユーザフレンドリなソリューションは、基本的管理、単純な探索および最頻フレーズ計算、エクスポートなどしか可能にしない、不完全なパイプラインになる傾向がある。
[297]このパイプラインは、世評管理、広告およびマーケティングアセスメント、ウイルストピック追跡における商用使用、ならびにプロパガンダおよび「フェイクニュース」検出および関連するレーティングに関する、様々なトピックの連続的で広い計算量的な言語学的分析にとって、新規で有益である。
[298]概して、データセットの性能は、しばしば、タイプおよびタスクによって変動する。既存のソリューションは、POSタグ付け、nグラム、コロケーションならびに頻度および相対頻度を示し、スクレーピングおよび基本的言語、用語または言語学的分析を可能にする。しかしながら、既存のソリューションは、ロバストで専用の学問分野駆動型の社会言語学的ツール、人文科学およびサイエンスにおける社会言語学的研究のための集中化された学術的、研究、および非営利駆動型のツール、ならびに調査研究のライフサイクル全体にわたる研究設計および展開ツールを提供しない。
[299]この方法はまた、随意のジオロケーションツール、ワードおよび用語比較ツール、談話分析および社会的対話ツール、ならびに社会言語学的センチメント分析を含む。経時的に並置されるとき、集団価値検出および態度の変化を示す言語シフトは、やはり新規であり、社会問題および社会的価値追跡のために活用されることが可能である。
[300]アドボカシーグループ、非営利的団体、および学術的研究者は現在、これらの必要性を十分に取り扱うための包括的な社会言語学的パイプライン、ならびにロバストな社会言語学的、短期的、近視的、長期的研究をエンドツーエンドで設計および作成するためのデジタル手段を有しない。公の秩序は、他の学問分野への社会言語学的パイプラインのデジタル適用から恩恵を受けることができ、営利的ブランドも、メッセージング追跡および分析、マーケットリサーチ、製品開発、フォーカスグループテスト、ならびに経時的な社会言語学的自動センチメント分析から恩恵を受けることができる。
[301]評価使用も、国家安全保障分析、法執行または警察による残虐行為監視、心理的および社会的挙動研究、ソーシャルプログラム評価、法的分析、公正で有効な雇用実施、および危機管理を含めて、このパイプラインに適用され得る。
[302]最後に、精神衛生および身体的ヘルスケア、ならびにワクチン、薬剤およびセラピストおよび医師ケアは、ヘルスケア問題、有害薬物反応、および病気監視の大量アセスメントのために包括的で統合された研究分析用の社会言語学的パイプラインを大いに必要としている。また金融マーケットは、現在、マスソーシャルメディア表現による動きに対して脆弱であり、技術的レンズを通してソーシャルメディア表現を査定、追跡および監視するための手段から恩恵を受けるはずである。
[303]方法の特徴
[304]社会言語学的エンジンは以下の特徴を提供する。
正-負-中性(PNN)極性ベースの測定、複数の感情ラベルを伴う特定の情動検出を含む、センチメント分析のために利用可能な自動化された意味論的ツールの組込み。
テキストデータ処理用のカスタムパイプラインを完全に自動化するために、ユーザによって階層的にセットアップされることが可能なシームレスなデータ処理フロー。
潜在的なサブテキスト推論情報、ワードの埋込み、文の埋込み、認知言語学的特徴、演繹的および帰納的推論のための構造意味論的マッピングおよびマーカーの表記および予測を確立、検出、および可能にする暗示的意味ツールの組込み。
限定はされないが、アルゴリズム作成のためのユーザ配分重みをもつ、言語学的特徴および形態素、音素、語彙、文レベルおよび段落レベルの構造構成要素を含む、ユーザ定義された測定可能ディメンション。
特定の、あらかじめ定義されたまたは階層化された意味論的情報のカテゴリー分類のための随意の組み込まれたしきい値決定および重み付け。
データセット上の教師あり、半教師ありおよび教師なし学習の0~n個のモデルのシームレスな展開を含む、選択可能で調整可能な機械学習の組込み。
非技術ユーザが、テキストのまたはトランスクライブされたデータの主観的ラベリングのための研究プロジェクト観察者、注釈者、被験者および評価者用のパラメータを設定するための研究設計選択を行うことを可能にする、GUIグラフィカルユーザインターフェース)ガイドされたウィザード。
中心傾向、ユーザ定義されたテーマ、コーパスまたは探索クエリにリンクされた履歴的な感情およびセンチメントスコア、ユーザ定義されたテーマ、コーパスまたは探索クエリのためのユーザ定義されたディメンションごとの暗示的意味スコア、ならびにテキストの他のユーザ定義されたシンタクティックな、音韻的、形態学的、認知言語学的、社会言語学的および意味論的な言語ディメンションに関する統計値のデータセット統計平均、移動平均、および他の方法の計算。
強度:我々の分類モデルは、強度の代理として提供される確率(分類)の代わりに感情、暗示的意味または語彙フレーム強度を分類するのに我々が気づいている唯一のものである。
[305]モデル
[306]本発明では、社会科学、コンピュータサイエンス、および人文科学の学問分野および下位分野からの研究者が、所要のコンピュータプログラミングの知識の必要なしに、オンラインおよびオフラインで得られた話されたおよび書かれた言語を分析し、機械学習および手続きコードによって分析される分析可能データセットを作成して、ユーザに洞察をもたらすことを可能にする、社会言語学的パイプラインについて説明する。
[307]研究者、非営利的団体、および他のユーザは、スピーチおよびテキストコーパスを深く分析するために社会言語学エンジンを使用することができる。テキストは、経時的に追跡されるためにタイムスライシングされるか、または時間限定分析のために制約され得る。
[308]前処理は、品詞タグ付け(ならびにPOSグラムを作成するオプション)、nグラム生成、頻度および相対頻度計算、固有表現認識、コロケーション、スキップグラム、ブートストラップされたnグラム、ブートストラップされた他の語彙、および他のNLPデータ準備機能を含む。
[309]技術的詳細
[310]コアの社会言語学エンジンシステムフローは、以下の本質的なおよび任意のカスタマイズされたステップを組み込む。
I.システムは、インターネットによっておよびそれの内でポストされ、生成され、それに返答され、デジタル化され、トランスクライブされ、常駐されたテキスト(限定はされないが、オーディオまたはビデオの話し言葉[「スピーチ」]、プレーンテキスト、マークアップされたテキストおよび絵文字、注釈を付けられた、ハイパーリンクまたはオーグメントされたテキスト、トランスクリプトされたテキストまたは翻訳されたテキストを含む)を保存し、取り込み、スクレーピングし、およびさもなければカタログ化することによって開始する。選択は、スクレーピングされ、クリーニングされ、記憶のために(それぞれ)構造化および非構造化データベースに配置される。
II.一方、社会言語学エンジンは、限定はされないが、ソーシャルメディアポスト、フォーラムポスト、Q&Aサイト返答、インターネットコメント、広告コピー、教育的コピー、書かれたまたは話された技芸の作品、および法的テキストを含む、連続的なコーパス収集およびアグリゲーションを実施する。適用可能な場合、自動タグ付けは、限定はされないが、連続的センチメント分析展開における、所与の個人またはグループの、様々なテーマおよびトピックに関しおよびそれらによってトリガされる、信念、意見、感情、およびスタンスの記憶および追跡を含む、連続的データフォーマッティング、インデックス付け、および処理/エンリッチングから開始する。データは、次いで、将来の探索のためにインデックス付けを受ける。
III.次に、管理者は、限定はされないが、ニューラルネットワーク、ランダムフォレストアルゴリズム、クラスタリングアルゴリズム、主成分アルゴリズム、行列分解アルゴリズム、ベイズ分類アルゴリズム、ルールベースエンジン、探索エンジンを含む意味論的分析ツールおよび方法を採用することによって、データが感情、センチメント、信念、および意見について処理されることを可能にする、データセットに対するセンチメント分析を展開するためのオプションを受信する。
IV.自動タグ付けが完了すると、ユーザは、パーソナルコンピュータ、スマートフォン、タブレット、またはモバイルハンドヘルドデバイス上のグラフィカルユーザインターフェースにアクセスして、調査を作成および管理するか、新しいデータを作成するか、または調査を通して記憶されたデータをタグ付けすることができる。
V.ユーザは、グラフィカルユーザインターフェースにアクセスして、既存のデータおよび将来のデータに適用され得る新しい認知言語学的構成要素タグ付けルールを作成し得る。
VI.ユーザは、データ上にクエリ駆動型カスタムビューを作成するためのグラフィカルユーザインターフェースにアクセスして、限定はされないが、学術的および科学研究の質問、ビジネスインテリジェンス、マーケティングインテリジェンス、株式市場分析、政治的キャンペーンについての洞察を含む調査質問に答えることができる。
VII.最終的に、調査、タグ付けされたデータ、ならびに新しいユーザ生成されたコーパスおよびサブコーパスは、新しいクエリがデータストアに対して実施されることを可能にするために、そのデータストアに組み込まれ得る。
VIII.同様に、新しいユーザ作成された自動タグ付けルール、クエリ駆動型カスタムビュー、データの視覚的表現、および機械学習モデル、ならびにそれらの調整可能なしきい値、パラメータ、およびハイパーパラメータは、将来のアクセス、照会のために新しい到来データをタグ付けおよびインデックス付けするために、自動タグ付けエンジンに組み込まれ得る。
IX.2つの前のステップは、データ分析統計的および機械学習性能の改善のためにデータフィードバックループを含むことを表す。
X.グラフィカルユーザインターフェースは、分析のために、選択特徴、構成要素およびパラメータとともに、選択されたデータセットをエクスポートすることを可能にする。
XI.公開またはプロジェクト完了時の、オープンソースデータストアハウスへのデータの寄与。
[311]例示的な実施形態
[312]社会学教授は、2002年以来のオンライン談話において経時的に使用される病気に関するワードの研究を行うことを希望する。
[313]前の方法は、トップワード、フレーズまたはトピックの結果が計算され、データ中でマークされ、報告されることを主に可能にするであろう。図28は、社会言語学的データのためのユーザインターフェースフィーチャのシステム図である。図29は、社会言語学的エンジンパイプラインの流れ図である。この社会言語学パイプラインは、自由形式の自発的な表現を受け取り、それを定量化可能で計算可能なデータに転じるためのそれの能力のために、新規であり、自明ではない。
[314]前に、定性的研究者は、主観的ならびにアグリゲートであった印象に焦点を当てることが主に可能であった。データセットは、年齢、癌ステージ、ロケーション、または配偶者の有無など、メタデータのみによってパースされ得る。
[315]社会言語学パイプラインはまた、部分的または純粋に定性的なデータから、相関、演算、機械学習統計的、データ分析的、クラスベースまたは予測分類を容易にするためのそれの能力のために、新規である。
[316]教授は、URLをエンジンのコーパスビルダーに入力し、コーパスビルダーは、スクレーピングされたデータを単一のテキストデータセットにアグリゲート、正規化、およびマージする。
[317]次に、ユーザは、テープレコーダーを用いて学生によって最近5年間に社会学学科によって収集されたオーディオファイルをインポートする。
[318]オーディオファイルは、テキストにトランスクライブされ、メタコーパスを付加される。各サブコーパスは、それのソースを区別するフィールドを含む。
[319]教授は、病気に関するワードの歴史的傾向を分析する目的でクエリを入力する。
[320]オーディオファイルは、以下のような、以前は定量化され得なかった自由回答式質問に対する応答について、自動的にタグ付けされる。
[321]「その時何か起こったかもう少し私にお話しいただけますか。(Could you tell me a bit more about what happened then?)」
[322]「あなたはそれにどのように対処しますか。(How do cope with that?)」
[323]「あなたはそのとき誰かからサポートしてもらいましたか。(Did you get support from anyone at the time?)」
[324]「あなたがこの経験から学んだことは何だと思いますか。(What do you think you learned from this experience?)」
[325]「あなたが学んだことを生活の別の場面にどのように応用しましたか。(How have you applied what you’ve learned to another life situation?)」
[326]これらの質問の各々について、社会言語学的パイプラインは、次に、限定はされないが、以下のようなディメンション(ならびにそれらのそれぞれのサブ構成要素)を定量化することができる。
[327]感情
[328]論点へのスタンス
[329]パーソナリティ
[330]信念
[331]視点
[332]センチメント
[333]知覚
[334]意見
[335]教授および彼女のチームは、患者および彼らの主要な介護者とともに、2年間にわたって8回の90分オーディオ記録されたインタビューを行い、これは、化学療法プロセス全体にわたって4回のインタビューを含み、フォローアップ1回化学療法が完了した。
[336]残りのインタビューからのオーディオは、トランスクライブされ、社会言語学的パイプラインに取り込まれ、ここで、PIは、データ前処理ツールを使用してオーディオインタビューをアップロードするだけであることが可能である。
[337]ファイルが処理され、テキストにトランスクライブされると、教授は電子メール通知を受信する。
[338]パイプラインのデータインポートウィザードは、研究者が、関連するフィールドの名前を宣言するか、メタデータを入力するか、またはデータセットをマージすることを可能にする。
[339]教授は、次いで、限定はされないが、(インタビュー中に癌患者によって使用されたトップワードおよびフレーズを受け取る)トークン化、インタビューから照会された用語を囲んでいる重要な用語を発見するためのコロケーション、相関、各インタビューチェックポイントおよび/またはフォローアップにおいてフィーリング、意見、または信念またはスタンスを追跡するための感情スコアなど、言語学的センチメントNLP、統計的または意味論的ツールを通してデータを実行することができる。
[340]教授は、時間、地理的ロケーションまたは他のメタデータに関して、患者によって使用された言語および/またはセンチメントを比較するために比較メトリックを実行すること、ならびに/あるいは(通常ならば定性的インタビューのために利用不可能である)データセットおよびさらなる統計的介入の中心性の測度、相関の測度およびポイントを受け取ることを選択することができる。
[341]さらに、教授は、異なるまたは同様の治療を受けている癌患者の同様の研究との推断的な比較を行い、定性的インタビューデータセットを、書き込まれた形式のインタビュー後フォローアップ調査と統合し、統計プログラムにおけるさらなる分析のためにデータセットをエクスポートし、機械学習(ユーザのグルーピング、クラスタリング、健康の予測、健康のためにどの特徴が重要であるかの査定)を実施することができる。
[342]研究が新しいデータを生成した場合、教授は、新しいデータ上でそれらの選定の機械学習アルゴリズムをトレーニングし、および/または他者による使用のためにそれをデータストアに戻して寄与することができる。
[343]教授が望む場合、彼らは、さらなる結論について、データ中のパターンを研究または発見することができる。
[344]さらに、患者はクラスタリングされ得、ケースは、異常検出のためにTテストまたは他の測度を受けることができる。
[345]教授は、たとえば、限定はされないがランダムフォレストなど、有意な特徴をハイライトするためのさらなるツールを使用することを選択することができる。
[346]機械学習を使用して、教授は、最も低い健康レベルの癌患者、彼らの関連する特徴、および/または自殺のリスクが最も高いものを検出することができる。
[347]研究論文が公開されると、教授は、データストアを介して彼女のデータセットを一般知識プールに寄与し、選択された条件または全条件でそれらの使用を承認し、他の研究者によるカテゴリー分類および使用のために彼女の研究論文を指すことができる。
[348]いくつかの実施形態について説明されたが、これらの実施形態は、単に例として提示されており、本開示の範囲を限定するものではない。実際、本明細書で説明される新規の方法、装置およびシステムは、様々な他の形態で具体化され得、さらに、本明細書で説明される方法、装置およびシステムの形態の様々な省略、置換および変更は、本開示の趣旨から逸脱することなく行われ得る。添付の特許請求の範囲およびそれらの均等物は、本開示の範囲および趣旨の中に入り得るように、そのような形態または修正を包含するものである。たとえば、この技術は、クラウドコンピューティングのために構造化され得、それにより、単一の機能は、ネットワークを介して複数の装置間で共同して共有され、処理される。
[349]記号言語学的政治分析
[350]課題
[351]政党提携およびそれの心理言語学的サブ構成要素を含む、信頼できる精度で政治的スタンスを示すことができるセンチメント分析システムは存在しない。さらに、内包的な意味論的フレーミングをもつ、トランスクライブ、翻訳、またはオーサリングされたテキストまたは(オーディオ)スピーチにおいて、政治的信念のサブテキストのきめ細かい信号をキャプチャすることができる意味論的システムは存在しない。
[352]機械学習ソリューションは、政治的スピーチの、これらの含蓄があり暗示的意味があるニュアンスを、きめ細かい結合価ベースの定量化されたフォーマットで捕捉していない。反復困難なスピーチおよびテキスト通信は大衆への影響および彼らの阻止の利益を目立たせるので(2021年1月6日の米国国会議事堂での暴動など)、これらはますます重要な機能である。
[353]機械学習は、ロバストなパーソナルプロファイル、クラスタ、ならびにコミュニティ、政党、および人々のグループ内の政治的スタンスおよびそれのサブ部分の関係を生じる仕方で、ビリーフシステム、自己および他者の結合価、またはイントラメッセージング論証的ターンのサブ構成要素の精密測定とともに、これらの認知的言語要素に適用されたことがない。
[354]政治的通信の配信と、集合的および個人的オーディエンス内の誘起および刺激された感情反応との両方における、情動(感情)検出は、社会の保護、政治的談話および自由なスピーチの理解および維持、ならびに将来の潜在的な政治的暴力の防止のために必要である。
[355]さらに、限定はされないが、意見、信念およびスタンスなど、テキストのおよび話された政治スピーチにおいて暗示され含蓄を含められたセンチメントの他の態様をさらに分類および検出するために、システムの正規化されたレーティングおよび分類セットが必要である。
[356]社会的ビリーフシステムのシフト、ヘイトクライムの低減、政党間の政治的暴力の低減、および他のプロソーシャルな平和維持の成果を測定および改善するための試みは、オンライン、セルラー、デジタル、およびアナログ通信、それらの暗示、ニュアンスおよび影響を測定するためのシステムのセットを必要とする。
[357]最後に、政治的スペクトルに沿ったポジションの測定は、政治的過激主義または国内外のテロリズムを検出するために必要である。
[358]従来のアプローチ
[359]政治的スタンスの自動分類には、信念、意見およびフィーリング(センチメント)に関するきめの細かいリッチにされたマイクロ情報がなかった。どの単一のシステムも、政治的スタンスのシフト、浮動票投票者のタイプおよび傾向、ならびに意見および政党を変える尤度を、一度にすべて確実に予測することが不可能であった。
[360]さらに、政治的信念のニュアンスを捕捉することが可能な理論認知言語学的な要素は、社会のセクタ間の比較ポイントを可能にする正規化された仕方で確実に定量化されたことがない。
[361]外国エンティティによる政治干渉の後には、そのようなシステムが必要とされる。さらに、市民への感情的および認知的影響を目立たせる仕方での政治的言語、ビデオおよびスピーチの使用は、最近数か月および数年において衆目を集めている。政治的な通信が行われている最中およびその後の、微妙な差異のあるメッセージ、およびオーディエンスへの影響の検出のためのシステムは、激しく必要とされている。
[362]さらに、政治的スペクトルのそれぞれの側における白人至上主義者および他の過激主義者グループなどのサブカルチャーの増大、ならびに彼らの社会的影響および増大する暴力は、感情的エスカレーション、および政治的暴力に向けた増大を定量化、識別、および予測するためのシステムのセットが必要であることを要求する。
[363]この問題に対する以前の解決策は、暴力自体を予測することは可能であったが、それを、通信の特定の要素中の含意および暗示的意味に連結することは不可能であった。
[364]この問題に対する以前の解決策は、認知、言語学、感情、知的プロセスおよび仮定のサブ要素、ならびに主要政党を越えた政治的スペクトルにわたるマイクロ配置に対処していない。
[365]この領域における意見、信念、センチメントおよび感情の分類は、平和な社会、脅威の検出、公的な談話、煽動防止、および人間の領域とコンピューティング領域の両方に適用される政治的オーディエンスへの洞察のために極めて重要である。
[366]方法
[367]ウェブサイトまたはさもなければデジタル化されたテキスト、トランスクライブされたオーディオの取込み、ならびに、マルチディメンションスコア、結合価、極性およびダイクシスをアグリゲートするためのそれらの言語学的前処理および後続の言語学的分析測定。
[368]マルチディメンションオーサー、話者、政党、およびニュースメディアまたはコンテンツソースの、政府的、憲法的、イデオロギー的および社会問題追跡に関する態度読取りのサブディメンションを伴った単一スコアの政治的リーンスコア(PLS:Political Lean Score)へのコンバージョン。
[369]新しいデータラインとしてのコンテンツおよびメディアスコアの連続的更新が取り込まれる。
[370]浮動票投票者尤度スコア(SVLS:Swing Voter Likelihood Scores)に関するデータラインの検出および分類、政党忠誠しきい値、経時的な連続スタンスまたは政治的イベント通信の変動レート、ならびにそれらが時間またはイベントに関して変化する度合い、およびイベントの重大度および強度の測定。
[371]中心原因および主要ファクタに従って、政治的スペクトルおよび関係する副軸に沿って、政治的アンビバレンス、開放性、フレキシビリティ、影響の受けやすさ、順応性および動きについて検出され得る、浮動票投票者のクラス。
[372]国家安全保障活動、人間とロボットの対話、教育的適用例および実験、社会的ロボットのための感情モデリング、ならびに他の情動検出セキュリティ対話において活用されるべき能力。
[373]APS3スコアは、言語学的に計算された構文およびストリングにおいて表される、力、制御、改良、方向性、性質、行為およびステータス関係などの位置を測定する。
[374]グループダイナミックス、集団間の関係、偏見またはステレオタイプ化、および組織心理学を含む、社会心理学のロボット可読測定値への変換を組み込んで実施するための能力。
[375]限定はされないが、力結合価、実施された長所スコア(EVS:Enacted Virtue Score)、比較価値スコア(CVS:Comparative Value Score)、自動ポジショニング社会的サブ構成要素スコア(APS3:Auto-Positioning Social Subcomponent Score)およびそれらのそれぞれのサブディメンションなど、認知感情言語学的な要素の計算および送信された組込み。
[376]マルチディメンション空間、抵抗、宗教、ローカリティスコア、反語的構文、修辞技法タイプ、スピーチ行為、ダイナミック心理言語学的状態変化における特徴構成要素の測定。
[377]政治的位置およびポジションに、勇敢さ、好奇心、信頼性、脆弱性、感情指数スコア(EQS)、同情、判断、および学習可能性などのサブ構成要素が関係するときの、それらに対するユーザ属性スコアリングおよび結合価導出。
[378]モデルの特徴
[379]集団的および個人的に、関連する副軸に沿って政治的スタンスおよびポジションのマイクロ分割を識別するための、所与のクラスタの原型的ユーザのプロファイル。
[380]政治的および政党的な提携を、限定はされないが、数学的、統計的およびベクトルベースの分類のためにパース、収集、および配置されることが可能な、金融的、倫理的、社会的支援、経済的、統治的範囲、市民的自由、憲法上のポジション、およびセンチメントの他の政治的セクタに関する意見とともに、きめの細かいセンチメントベースのサブ部分に分解する、政治的スタンスのためのマイクロラベルおよび副軸の包含。
[381]限定はされないが、フレーミング、概念メタファー、文学的技法、メタファー、概念ブレンディング、精神空間、語彙意味論、フレーム意味論、力ダイナミックス、および他の認知言語学サブ構成要素を含む、認知言語学の理論的構成要素は、測定され、組み込まれており、ここで、それらは、以前は、言語を通じてこれらの感情的影響の定量化および計算のためのサブ構成要素を測定するシステムの統合セット中になかった。
[382]スタンス、政治的傾向および信念に関するリッチな意味論的政治情報を捕捉するために、統計的および機械学習要素、ラベル、行列および入力へのコンバージョンを介して、定量化可能な形態で入力済みデータに適用される、意味を中心とした理論的認知言語的要素の組込み。
[383]観測または目撃されたポスティングされたコンテンツに一致しないオーディオ(ポッドキャストなど)、視覚(ビデオおよび画像など)、ならびにテキストまたはスピーチ(限定はされないが、スピーチ、論評、インタビュー、ニュース記事、コメント、ポスト、電子メール、および他の入力を含む)に応答して、ソーシャルメディアコメントにフラグを付けるためのヒューリスティック。
[384]我々のモデルは、センチメント、感情、信念、および意見のより経験的な分類、言語を使用した政党のより強いプロファイリング、より有効な分類、ならびにデータセット周りのさらなるフレキシビリティを提供する、機械学習(教師ありおよび教師なし学習)をシステムのルールベースセットと組み合わせるための特異な能力を有する。
[385]政治セクタおよび感情的推論を検出するための、メタ情報、同期されたストリーム、モデル展開、パーティショニング、知覚的結果に対するベースライン比較、および結合価計算の使用。
[386]技術的詳細
[387]ラベリングされたデータの収集能力は、副軸、テーマ、トピックおよび語彙フレームのあらかじめ定義されたリスト上で政治的提携およびスタンスについてヒューリスティックス、フィルタ処理、ロケーションベースおよびルールベースプロキシを使用することによって行われる。
[388]限定はされないが、他の人、ウェブサイト、ロケーションまたは時間期間と比較した、上記のそのようなエンティティに対する特異性のnグラムカウントおよび測度を含む、統計的および機械学習アプローチによる、人、ウェブサイト、ロケーション、または時間期間に関連付けられたシグネチャnグラムの収集統合。
[389]本システムは、限定はされないが、ツイート、トランスクライブされたスピーチを含む、様々な形態のユーザ生成されたデータのトップnグラムのテキストマイニング、およびトピックモデリングを通して、特定の政治家、公人に固有の特徴的な副軸、テーマ、トピックおよび語彙フィールドおよびフレームを識別することによって開始する。
[390]これらのシステムはまた、限定はされないが、ツイート、redditポスト、ソーシャルメディア対話からトランスクライブされたスピーチ、写真、いいねコンテンツ、および利用可能な場合はオーディオを含む、様々な形態のユーザ生成されたデータのトップnグラムのテキストマイニング、およびトピックモデリングを通して、特定のソーシャルメディアユーザに固有の特徴的な副軸、テーマ、トピックおよび語彙フィールドおよびフレームを識別することができる。
[391]これらのシステムはまた、限定はされないが、物品、ポスト、トランスクライブされたスピーチ形式ビデオ、公式アウトレットアカウントのソーシャルメディア対話、写真、いいねコンテンツ、および利用可能な場合はオーディオを含む、様々な形態のユーザ生成されたデータのトップnグラムのテキストマイニング、およびトピックモデリングを通して、特定のソーシャルメディアアウトレットに固有の特徴的な副軸、テーマ、トピックおよび語彙フィールドおよびフレームを識別することができる。
[392]これらのシステムは、次いで、統計学および機械学習を通じて事前定義および発見された副軸に基づいて、ユーザのスタンスを測定すべき論点の最終リストを定義することができる。
[393]これらのシステムは、次いで、限定はされないが、ルールベースインジケータ、たとえば、テキストマイニングおよびトピックモデリングを通じて識別される、ウイルスシグネチャnグラム採用、ワード中の支配的テーマ識別、nグラム、スキップグラムおよび品詞(POS)グラム共起および特殊コロケーション、ベイズ分類器、協調フィルタ処理、行列分解、クラスタリングアルゴリズム、LSTMニューラルネットワーク、微調整されたトランスフォーマニューラルネットワークというアプローチを含む機械学習を使用して、確実性スコアで、各論点および副軸に対するユーザスタンスを識別することができる。これらのシステムは、次いで、このデータを、年齢、人種グループ、社会経済的ステータスを示すことができるマイニングされたユーザメタデータに関連付ける。
[394]これらのシステムは、次いで、限定はされないが、ニューラルネットワーク、ベイズ分類器、k近傍法アルゴリズム、クラスタリングアルゴリズム、ロジスティック回帰、SVM、ランダムフォレストを含む機械学習アプローチを使用して、副軸の顕現したリストのスタンス類似度に基づいて、ユーザ類似度を予測することができる。
[395]これらのシステムは、次いで、限定はされないが、ルールベースインジケータ、ベイズ分類器、LSTMニューラルネットワーク、政治的データおよび公的応答に対してトレーニングされた微調整されたトランスフォーマニューラルネットワークを含む機械学習アプローチを用いて、ユーザスタンスを入力特徴として使用して、政治的提携を予測することができる。
[396]ユーザ情報の収集は、限定はされないが、同情、頑固、政治的スタンスの易変性の尤度、暴力に向かう傾向などを含む、発見されたおよびあらかじめ定義されたディメンションに関して統合され得る。
[397]これらのステップは、次いで、任意の特定の時点について繰り返され得、データの変化の分析により、単一のユーザ、ユーザの特定のグループについて、または全体として全ユーザのデータセット上で、政治運動を追跡し、経時的な政治的スタンスの傾向を識別することが可能になる。
[398]プロパガンダ、広告、および他の識別された影響ソースに晒されているユーザ生成されたデータを相互参照することによって、これらのシステムは、任意の識別された副軸上でのスタンスにおける変化の度合いを定量化することができる。
[399]特定のユーザおよび時間期間についての分析の結果は、限定はされないが、ウェブサイト、ブラウザプラグイン、スマートフォンアプリを含むGUIにおいて可視化され得る。
[400]これらのシステムはまた、単一のポスト、ビデオ、または任意の形態の到来テキスト、オーディオ、ビデオなど、単一のまたは制限されたデータポイント上でユーザのスタンスを査定するために適用され得る。
[401]偏見、差別およびバイアス検出
[402]これらの方法は、隠れたおよび明白なバイアスをそれらが認識するためにユニークであり、きめの細かい言語学的特徴は、特に自然言語から抽出され、偏見および差別ベースの表現に適用され、これは、私的および公的な人物およびエンティティ、非営利的団体、刊行物、ウェブサイトならびに他のメディアソースおよびそれらの通信媒体による、自発的なまたはクラフティングされたスピーチまたはテキストにおける、人種主義、性差別、年齢差別、同性愛者恐怖症、トランスフォビア、外国人恐怖症、セクシャルハラスメント、階級主義および有能主義の事例に適用され、微調整され得る。
[403]課題
[404]所与の人々のグループ、保護されたクラス、マイノリティ、無力なまたは不利な条件に置かれた集団に対する差別、彼らに対して保持された偏見、および彼らに関して保持された別様に負のまたはバイアスされたセンチメントの検出は、計算言語学では容易に統一的に定量化されていない。この書込みからの検出は過度にデータセット固有であるので、時間、テキストおよびバイアスにわたって確実に適用され得る形式化されたシステムは出されていない。
[405]さらに、社会言語学者、社会学者、心理学者、および倫理研究、女性研究、およびクィア研究(ならびにそれらの等価的な人文科学およびサイエンス研究)が言語をクローズアップして検査しているとき、人種的バイアスを検出するための規格として、ルールおよびキューの信頼できるセットはほとんど開発されていない。
[406]その結果、自然言語または自発なスピーチを査定するための統一的な測度はない。このため、バイアスおよび偏見の一貫した相対的度合いは確立されず、説明責任を発揮し、より迅速な社会変化を促進することは困難であった。
[407]このことは、マイノリティの苦痛が「見えない」社会を生じ、特殊な集団は、言語における決定的で統一された証明がないため、事実上、だまされて困惑されている。この影響はまた、団体および会社が、暗黙的バイアスに関しては、集合的エンティティとしてそれらのパフォーマンスおよび応答性を測定することを困難にしている。
[408]最後に、公的および私的な個人、エンティティおよびシステムが説明責任があり、査定され、改善されるように保たれ得る(ならびに、そのようなシステム、個人の通信、およびエンティティの公平な待遇におけるパフォーマンスの改善のために介入が設計される)ように、現実世界の結果は、暗黙的バイアスおよび差別のレンズから相関されるべき測度のシステムのセットを必要としている。社会は、全般的に、ならびに任意の所与の時間またはロケーションにおいて、人々のグループからのまたは彼らに対する個人的または集団的な暴力の確率を識別、防止、および検出するためにこれらのシステムによって取り扱われる、バイアス予測および度合いのための解決策を必要としている。
[409]「よそ者扱い」(白色性、異性愛規範、シスジェンダー性、または他のマジョリティステータスの規範の外側にいるかのようにマイノリティおよび抑圧されたクラスを扱うこと)、「ホワイトナイト」(マジョリティステータスメンバーが救済者として中心に置かれて、救済される必要があるかのようにマイノリティおよび抑圧されたクラスを扱うこと)、あるいは「マイクロアグレッション」(小さく、隠れており、および見逃しやすいわずかなものであり、多くの場合は無意識的であるが、集団的に心理的危害をもたらすこと)など、微妙な形態のバイアスは、列挙し、予想し、定量化することが困難である。
[410]したがって、現在まで、バイアスおよび差別の定量化のための規格化された方法はなかった。
[411]特徴
[412]本明細書のすべての統合されたアルゴリズム中のインデックスの実装による、差別検出の計算効率性。
[413]システムに入力されるインタビュー、観測および通信中に感情的およびバイアス反応をピンポイント特定するための時間およびテキストスライシング技法による、高い明快さおよび精度。
[414]含まれるアルゴリズム中のインデックスの実装による、結果にアクセスすることのさらなる計算効率性(照会スピード)。
[415]所与の入力の知覚および行為における偏見、バイアス、差別またはえこひいきの存在および度合いを示す、正規化されたスコアおよびバイアスマスタスコアのセットを出力する単一のバイアス検出システムへの多感覚入力の組込み。
[416]差別およびバイアスのレーティングおよび入力を、限定はされないが、司法決定、公正な住居アセスメント、警察の残虐行為申し立て、雇用差別、メディアバイアス、説得およびマーケティング結果、商業的ROI(インプレッションの結果、文字通り、ウェブ、タブレットおよびスマートフォンエンティティ上での、および他のメディア上での予想から販売への他のコンバージョンの両方)、ならびに社会規範アセスメントを含む、現実世界の結果に連結するための能力。
[417]多感覚データを目撃し、内部的に処理する際における観察者の暗黙的バイアス、ならびにそれ自体消費されるメディア、およびその中の作用主体に存在する暗黙的バイアスを査定することにおける機敏さ、これにより、相関および統計的結合がこれら2つの間で行われることが可能になる。
[418]差別的な話法および言語学的表現のためのパラメータに適合され、バイアスの従来の分類を越えて、インターセクシズムバイアス、出身国差別、妊娠差別、宗教差別、ペアレンタルまたはパートナーステータスおよび社会経済学的クラスの微調整された特徴に適用され得る、微調整可能な適用例。
[419]バイアスを伝える可能性があるエンティティおよび個人の予測のために、地理的、社会経済的、政治的および社会的スタンス、年齢関連、および他の特徴のプロファイルを作成して、有効な介入を行うための、他の感覚入力と一緒の、メタデータおよび計算言語学的アセスメントの使用。
[420]調整、改善および許可目的のために、タイムラインおよびロケーショントラックに対する介入を監視するための能力。
[421]性別、人種、社会経済的クラス、性的好み、身体的能力の度合い、および貧困または社会経済的指数変換の抱合的ディメンションのためにインスタンス化されたマーカーに従って、データストアにコピーおよびソートされる、自動化されたデータライン識別子を可能にする、ベース状態検出(BSD:Base State Detection)マーカー。
[422]AIがサブテキストチャネルの処理時間の効率を改善して、トレーニングラウンドとシステムのリソースの両方の低減を獲得することを可能にする、BSDマーカーアタッチメントをもつデータと到来データフロー中のデータとの間の比較信号の計算。
[423]方法
[424]バイアスおよび偏見検出のこれらのシステムは、保護されているか、マイノリティであるか、不利な条件に置かれているか、または特定の人々のクラスのほうへの差別的スタンスおよび否定的態度を定量化する。これらのシステムは、文中の特徴存在および配置によるサブテキスト言語学的キューの検出および測定を介して、ならびに、(範囲[0,n]の)インスタンス、文内相対位置(IRP:intrasentence relative position)、複数のシンタックスシーケンス、ファジーまたは正確なストリングマッチングまたはそれらの組合せ、任意のタイプの以下のカテゴリーの言語学的構文および顕著な社会言語学的特徴、ならびにそれらの関連する測定点のマイクロディメンションナル比較(MDC:microdimensional comparison)を測定することによって、差別的な言語の検出をはっきりさせる。
1.最小化
2.罪の転嫁
3.非偏見としての論点リフレーミング
4.無視
5.よそ者扱い
6.恐怖ベースの記述語
7.脅しベースの言語
8.理不尽な糾弾
9.差別的な拒否
10.動物言語
11.偏向した言語
12.ストローマン手法および誇張したあざけり
13.バイアスの正当化
14.苦痛の無効化(
15.過激主義的なフレーミング
16.反抗言語
17.犠牲者非難
18.口止め
19.明白な脅し
20.支配技法
21.尊称の主張
22.べき論
23.防衛的技法
24.ひいきにする説明形式(マンスプレイニング、ホワイトスプレイニングなど)
25.犠牲者の不認定
26.ステレオタイプ化
27.排他的言語
28.階級ベースの言語
29.長所の疑問視
30.階級ベースの性格判断
31.中傷キャンペーン
32.ダブルスタンダード
33.言語学的擬態
34.抹消および気取った態度
35.エキゾチック化
36.プレイクオリティーノスタルジア
37.マイクロインサルト
38.マジョリティ特性知覚賞賛
39.誘導尋問
40.モデルマイノリティ賞賛
41.父性化
42.適切な言語
43.犯罪者扱いする言語
44.説教
45.非人間的言語
46.純正スピーチ
47.侵入/侵害/テイクオーバー言語
48.詐欺/社会福祉事業乱用の申し立て
49.社会的スポイリングの申し立て
50.同化の苦情
51.インテリジェンス言語
52.正直さ/現実主義として偏見の主張
53.コンサベーションターミネータ
54.特殊扱いの認識の誤謬
55.偏見のある偏見否定プリアンブル/人種差別的コメントの前の修飾語
56.ユーモアとして覆い隠された偏見
57.社会的妥当性確認のためのターゲット使用
58.引き起こされた心的外傷の無効化
59.(誤った/落胆させる)一般化(「それらのうちの1つ」、「そのような誰か」)
60.指示代名詞の不定代名詞
61.だまして困惑させること
62.非人間化
63.バイアスの常態化
64.バンドワゴンの誤謬
65.偏狭さを無視するようにとの命令
66.レバレッジ/特権としてマイノリティステータスの申し立て
67.ブートストラップ神話
68.フロイト的失言の正当化
69.矮小化
70.人種差別化
71.ダブルスタンダードアサーションとしての修復的司法
72.皮肉なお世辞
73.威嚇的なマイノリティ言語
74.単一データポイントの誤謬
75.支配的言語/力のアサーション
76.低い社会的ステータスのリマインダ
77.アジテーターとしての犠牲(価値がある損害/力の主張)
78.非文明の主張
79.幼児化言語
80.愛称
81.客観化
82.性欲化
83.フェティッシュ化
84.マジョリティ指向の言語
85.不誠実の糾弾
86.長所の欠如の糾弾
87.トークン存在または成功による正当化
88.マジョリティ人種、マジョリティ民族性、権力を握っている性別、マジョリティ性的好み、健常な/障害をもたない、または他の方法で社会に特権を与えられた優位性の仮定
89.意味論的フレームで暗示された軽蔑または糾弾
90.暗黙的な迫害者教育要求
[425]実施形態
[426]これらの要素は、以下の言語学的特徴のうちの1つまたは複数をアンサンブルすることによって言語の中で区別される。
1.特徴リストから、0~nの差別的および偏見的な言語学的マーカーを発見し、ここで、各言語学的マーカーは、全体的なバイアススコアおよび差別ラベルに寄与する認知的構成要素測定(CCM:cognitive component measurement)の第2の言語埋込みを表す。
2.人々のグループの取り扱いの間の差異をハイライトし得るコーパス中のフレーズのスキップグラム、ならびに所与の人々のグループ、マイノリティ、または保護されたクラスの存在または不在、強度および度合いによる、彼らに向けられた偏見、バイアス、または差別的な観点または実践に関連付けられた、計算された認知言語学的特徴の利用可能な列挙。
3.態様のすべて、ならびに許可されたアクセス、アップロード、ライブビデオ、オーディオ、またはカメラキャプチャからのスピーチトランスクリプションにおけるマイクロエクスプレッション分析、音波分析および計算を通じて暗黙的バイアス、差別、および偏見を査定するために、人間によって観測され、ならびに機械学習アルゴリズムによって分析され、レーティングされるべき、音、画像およびビデオ、ならびにソーシャルメディアデータおよびメタデータのコーパスの随意のアセンブリ。
4.ライブ、ウェブサイトまたはソーシャルメディア対話からの、画像、ビデオ、オーディオ、書かれたまたはトランスクライブされたまたは翻訳されたテキスト、調査データ、インタビュー、またはコメント、ならびに任意の対応するメタデータを通した、観察者自身からの入力の追加の随意のキャプチャ。
5.テキストコーパス上で示された自然言語パッケージ展開を実施し、コーパスのコンテキスト中の各ワードについて品詞(POS)タグを生成し、それの対応する品詞への各ワードのマッピングを作成する。
6.適切な場合、限定はされないが、構造的依存性、およびコロケーションを含む、さらなる言語学的列挙、表記およびタグ付けを展開する。
7.限定はされないが、意味論的セグメント化、リフレーミングおよび正規化を含む、任意の顔画像の識別および前処理。
8.ユーザの感情、意図、意見を示すことができる、関連する、時間指定された、ユーザ生成されたオーディオ断片の識別および前処理。
9.入力に適用可能である場合、所与の人々のグループ、保護されたクラスまたはマイノリティに対するバイアス、差別、偏見、えこひいきを示す、管理されたコーパスまたは原型テキスト上で、ならびにトランスクライブ、翻訳、入力またはスクレーピングされた自然言語テキスト、ジェスチャー入力、顔の表情または自発的スピーチ上で、選択されたモデルをトレーニングする。
10.入力タイプに適用可能である場合、収集および前処理された顔データ上で、コンピュータビジョン感情検出モデルをトレーニングする。
11.入力に適用可能である場合、収集、識別および前処理された音、ユーザによって生成されたスピーチ上で、オーディオ感情認識モデルをトレーニングする。
12.場合によっては、画像の感情ラベルを予測し、そのラベルをユーザの既存のテキストに関連付けるために、顔の感情予測を使用する。これにより、追加の顕現したデータは、画像およびテキストデータを、彼らの応答の信用性、信用、罪の仮定、真実の仮定およびえこひいきのレベルでタグ付けすることが可能にする。
13.場合によっては、画像の感情ラベルを予測し、そのラベルをユーザの既存のテキストに関連付けるために、音の感情予測を使用する。これにより、追加の顕現したデータは、音およびテキストデータを、彼らの応答の信用性、信用、罪の仮定、真実の仮定およびえこひいきのレベルでタグ付けすることが可能にする。
14.人々のグループの取り扱いの間の差異を潜在的にハイライトする品詞グラム(POSグラム)を列挙する。
15.データ中に存在するPOSグラムおよびスキップグラムの頻度をリストし、検査する。
16.1つまたは複数の統計的アプローチを使用して、人々のグループの取り扱いの間の差異を潜在的にハイライトまたは強調するスキップグラムおよび品詞グラムを発見する。
17.必要に応じて、所与の人々のグループ、制御グループまたは一般集団に向けられた複数のコンテキスト中のバイアスの社会言語学的インジケータのアレイを含む人間生成または機械生成されたワードリストを使用して、データをオーグメントする。
18.特徴として使用すべき同様のシノグラム(意味論的に同様のnグラム)を生成するために、適宜にデータオーグメンテーション方法を適用する。
19.必要に応じて、各ワードを、識別されたワードに対して同様の意味論的意味、結合価、センチメントラベル、センチメントクラスタ、意味論的関連付けまたは極性を有するそれぞれのワードまたはワードのシーケンスからなるアレイと交換することによる、頻繁なnグラムのオーグメンテーション。
20.Word2Vec埋込み空間におけるk近傍法で、頻繁なnグラムのリストのいずれかのオーグメンテーションを拡張し、追加的に、それぞれ、リストからの反意語および類義語をソートする。
21.示されたケースのために、有意な差異、距離および極性の方向性、センチメント、結合価、クラスタ、または意味論的関連付けもしくは意味をそれぞれ有する2つ以上の用語またはワードによって区別されるスキップグラムを比較する。
22.バイアスのインジケータである特徴を見分ける、入力された、コーパスベースの、スクレーピングされた、翻訳されたまたはトランスクライブされたテキストまたはスピーチ中の列挙され、オーグメントされた特徴の存在を検出する。
23.限定はされないが、テキスト顔画像特徴を含む、検出された特徴に基づいて、適用可能なラベルごとにデータラインのスコアを計算する。
24.バイアスを定量化するために、入力からの任意のオーグメントされたデータおよび選択された特徴上で、限定はされないが、LSTM、トランスフォーマ、CNN、KNN、クラスタリング、ランダムフォレスト、線形回帰、およびベイズ確率を含む機械学習方法をトレーニングする。
25.暗黙的バイアス、差別スコア、偏見スコア、信用性スコア、真実スコア、罪の仮定スコア、およびえこひいきスコアを出力し、それらに等級を付けるために、画像およびテキストデータを使用する。
26.所与のスピーチまたはテキスト入力に関連付けられた任意のビデオ、画像または音波ファイル中のバイアス、差別、または偏見を予測するために、結果として生じたトレーニングされたモデルを使用する。
27.他の人々のグループ通信、ジェスチャー、画像、音声、またはプロファイルデータに対する、好意的な、非好意的な、および中性の顔のテキストまたは聴覚による表現および反応(ならびにそれらのサブディメンションおよび特定の感情)の比、時点またはパッセージ境界、またはワード数を分析することによる、異なる別個の人々のグループによる同様のまたは同じ通信に対するオーディオ、テキスト、コンピュータビジョン反応のアセスメント。
[427]上記の開示はまた、以下に記載される実施形態を包含する。
[428](1)処理回路によって、自然言語コンテンツを感情認知で自動的にオーグメントするための方法。本方法は、入力デバイスを介して、自然言語コンテンツをテキスト入力として受信することと、処理回路によって、所与の感情認知のための複数の言語ルールとテキスト入力の構成要素との間のマッチングを探索することと、ここにおいて、言語ルールのインスタンスが、少なくとも1つのヒューマンディメンションを有する、処理回路によって、マッチングした言語ルールをアクティブにし、アクティブにされたマッチングした言語ルールの少なくとも1つのヒューマンディメンションを評価することと、所与の感情認知のディメンションスコアの原型的プロファイルを取得するために、処理回路によって、各ヒューマンディメンションをスコアリングすることと、所与の感情認知の強度インジケーションを取得するために、処理回路によって、ディメンションスコアの取得されたプロファイル中のディメンションをアグリゲートすることと、マッチングした言語ルールを所与の感情認知に関係付け、所与の感情認知のそれぞれの強度インジケーションをシグナリングする様式でオーグメントされた自然言語コンテンツをディスプレイによって表示することとを含む。
[429](2)ヒューマンディメンションが、センチメント、感情、感情認知態度、価値、社会的慣習、考え方、見解、態様、応答、特性、信念、意見、視点、モチベーション、バイアス、状態、マナー、アプローチ、ダイナミック、パーソナリティ特性、感情的アプローチ、感情的選定、反応、傾向、一時的状態、状態の変化、認知的態様、挙動的態様、内部条件、外部条件、フィーリング、感情、主張、態度、主張の態度、指向性態度、無指向性態度、自発的態度、意識的な感情認知、無意識的な感情認知、怒り、予想、嫌悪、恐れ、喜び、悲しみ、驚き、信用、エゴ、非難、適合性、神聖さ、親切、敬意、時間、好意、承認、誠実、脆弱性、判断、孤立、目的、堅苦しさ、最小化、特異性、力、行為、エージェンシー、好奇心、明快さ、意図、強調、エネルギー、確実性、興味、関与、ショックまたは驚き、緊張、スピード、ニュアンス、論理、パラノイア、距離、識別、尊重、客観化、アタッチメント、感情移入、および忍耐の感情的情動のうちの1つまたは複数を含み、これにおいて、各ディメンションが、正の力では+1、負の力では-1、中性の力では0、および非存在または適用不可ではφのうちの1つである値を有し、およびこれにおいて、処理回路によって、各ヒューマンディメンションをスコアリングすることが、すべてのマッチングルールについてヒューマンディメンションをスコアリングすることを含む、特徴(1)の方法。
[430](3)複数の言語ルールを使用して探索するステップが、言語ルールに基づいて構文を検出することと、各検出された構文のヒューマンディメンションを評価することとをさらに含む、特徴(1)または(2)の方法。
[431](4)スコアリングするステップが、感情強度レベルを取得するために、強度インジケーションを所与の感情認知のしきい値と比較することを含む、特徴(1)~(3)のいずれかの方法。
[432](5)構文を検出するステップが、自然言語コンテンツにおいて所与の感情認知に関係する構成要素を有する構文の存在または不在を検出することをさらに含む、特徴(3)の方法。
[433](6)処理回路によって、他の言語ルールによって検出された他の感情認知と連結することによって所与の感情認知を含む感情認知のパターンを決定し、感情認知のパターンをダイナミック感情認知として識別することと、自然言語コンテンツ上で時間シーケンスにおいて関連する構成要素とともに所与の感情認知および他の感情認知を追跡することとをさらに含む、特徴(1)~(5)のいずれかの方法。
[434](7)構文を検出するステップが、品詞タグ付けまたはシンタックスルール、正確、不正確、マスク、またはワイルドカードであるストリングマッチングルール、トークン近接性ルール、句読法ルール、レンマ化ルール、ステミングルール、語彙ルール、およびワードルックアップまたは辞書ベースルールのうちの1つまたは複数の数値を決定することをさらに備える、特徴(3)の方法。
[435](8)トークン近接性ルールの数値を決定するステップが、自然言語コンテンツ中の指定された点からn個未満のトークンの距離を有するすべてのトークンにアクセスすることを備え、ここにおいて、nが正の整数である、特徴(7)の方法。
[436](9)教師あり学習と教師なし学習とのうちの少なくとも1つを実施する機械学習エンジンによって新しい言語ルールを生成することをさらに含む、特徴(1)~(8)のいずれかの方法。
[437](10)リポジトリから複数の自然言語データ項目を受信することと、複数の前処理された自然言語データ項目を生成するための前処理を使用して、受信された複数の自然言語データ項目を正規化およびトークン化することと、複数の前処理された自然言語データ項目を、表された感情認知および表された感情認知の強度でラベリングすることと、複数の前処理された自然言語データ項目を、並列に、教師なし学習エンジンおよび教師あり学習エンジンに提供することと、自然言語データにおいて、特定の感情認知を識別するために、および特定の感情認知の強度を決定するために、複数のトレーニングエポックにおいて、並列に、教師なし学習エンジンおよび教師あり学習エンジンをトレーニングすることと、ここにおいて、教師なし学習エンジンの各トレーニングエポックが、ルールベースエンジンの後続のトレーニングエポックにルール示唆を提供し、各トレーニングエポック、ルールベースエンジンが、教師なし学習エンジンおよび教師あり学習エンジンの後続のエポックに集計およびスコアリングデータを提供する、トレーニングされた教師なし学習エンジンとトレーニングされた教師あり学習エンジンとのうちの少なくとも1つを表す出力を提供することとをさらに含む、特徴(9)の方法。
[438](11)ルールベースエンジンのための新しいルールを識別するために、自然言語コンテンツ内に存在するヒューマンディメンションを、ワイルドカードまたはパターンスキップを有する既存のディメンションアレイにマッチングすることによって、ヒューマンディメンションをマッチングすることを実施する処理回路によって新しい言語ルールを生成することをさらに含む、特徴(1)~(10)のいずれかの方法。
[439](12)受信するステップが、協調されたテキストトランスクリプションとともにストリーミングライブビデオまたはアニメーション化ビデオソースの連続的読取りをさらに備え、方法が、ワード共起、論証的要素、およびトピック要素に基づいてコンテキスト手掛かりを決定することと、個々のストリングまたはnグラムを3元ディメンションスコアでマークすることと、視覚データ中で明らかなさらなる情報または聴覚データ中で明らかなトーン要素を検出し、ビデオの別個の、しかし、時間協調されたソースに入力することと、ビデオ中の各シーンについてコンテキストスコアを作成するために、コンテキスト手掛かりおよびさらなる情報からの並置を実施することとをさらに含む、特徴(1)~(11)のいずれかの方法。
[440](13)表示するステップは、所与の感情認知およびそれぞれの強度インジケーションが括弧で囲まれ、構成要素に隣接してインラインで挿入される様式でテキストトランスクリプションを表示することを含む、特徴(12)の方法。
[441](14)ルール発見エンジンによって新しい言語ルールを生成することをさらに含み、方法は、処理回路によって、自然言語コンテンツ中のフックワードまたはワードのペアを検出することと、フックワードまたはワードのペアが、可能性がある感情認知を示すかどうかを決定するために、検出されたフックワードまたはワードのペアに関連付けられた1つまたは複数のヒューマンディメンションを評価することと、可能性がある感情認知が存在するとき、フックワードまたはワードのペアを囲んでいるワードの所定のウィンドウを抽出することと、フックワードまたはワードのペアのディメンションスコアのプロファイルを取得するために、処理回路によって、1つまたは複数のヒューマンディメンションをスコアリングすることと、ディメンションスコアのプロファイルが大多数を上回るとき、フックワードまたはワードのペアおよび抽出された囲んでいるワードに基づいて、可能性がある感情認知のための新しいルールを構築することとをさらに含む、特徴(1)~(13)のいずれかの方法。
[442](15)言語ルールがマッチングされた位置におけるテキスト入力中のインデックス位置を識別することをさらに含む、特徴(1)~(14)のいずれかの方法。
[443](16)インデックス位置においてテキスト入力に感情認知およびそれぞれの強度インジケーションで注釈を付けることをさらに含む、特徴(15)の方法。
[444](17)受信するステップが、入力デバイスを介して、自然言語コンテンツをオーディオ入力として受信し、オーディオ入力をテキスト入力にトランスクライブすることをさらに備え、方法が、オーディオ入力のフラグメントを同様の音フラグメントのための記憶されたルールにマッチングし、オーディオフラグメントに、記憶されたルールの感情認知ラベルを割り当てることをさらに含む、特徴(1)~(16)のいずれかの方法。
[445](18)電子リーダーであって、タッチスクリーンディスプレイと、処理回路と、メモリとを含み、タッチスクリーンディスプレイが、電子ブックのテキストを表示するように構成され、処理回路が、トリガされると、感情認知状態を検出し、感情認知状態が発生した強度を決定するルールを使用して、テキストを走査し、タグ付けするように構成され、処理回路が、表示されたテキストの検出された構成要素に基づいてダイナミックおよび感情認知強度情報をリストするための1つまたは複数のサイドバーを生成し、表示するように構成され、タッチスクリーンが、ディスプレイ中の位置においてタッチされたとき、ダイナミックまたは感情認知強度を選択するように構成され、処理回路が、選択されたダイナミックまたは感情認知強度の発生を指定する色分けされたハイライトを生成し、表示するようにさらに構成された、電子リーダー。
[446](19)心理的障害を緩和するためのシステムであって、処理回路およびメモリを有するモバイルデバイスと、通信デバイスおよび1つまたは複数のアクチュエータを有する周辺デバイスとを含み、これにおいて、モバイルデバイスのメモリが、プログラム命令を記憶し、プログラム命令は、モバイルデバイスの処理回路によって実行されたとき、モバイルデバイスに、入力デバイスを介して、自然言語コンテンツをテキスト入力として受信することと、処理回路によって、所与の感情認知のための複数の言語ルールとテキスト入力の構成要素との間のマッチングを探索することと、ここにおいて、言語ルールのインスタンスが、少なくとも1つのヒューマンディメンションを有する、所与の感情認知の強度インジケーションを取得するために、処理回路によって、マッチングした言語ルールを検出することと、所与の感情認知の強度インジケーションが、第1のしきい値を超える感情認知強度に達したとき、感情認知強度を識別する第1のアクティブ化信号を送信することとを含む方法を実施させ、周辺デバイスが、通信デバイスを介して、送信された第1のアクティブ化信号を受信し、心理的障害を緩和するための感覚的気晴らしを生じるように1つまたは複数のアクチュエータをアクティブにするように構成された、システム。
[447](20)プログラム命令は、モバイルデバイスの処理回路によって実行されたとき、モバイルデバイスに、入力デバイスを介して、自然言語コンテンツをさらなるテキスト入力として受信し続けることと、所与の感情認知の強度インジケーションが、第2のしきい値を超える負の感情の感情強度に達したとき、負の感情の感情強度を識別する第2のアクティブ化信号を送信することとを含む方法をさらに実施させ、周辺デバイスが、送信された第2のアクティブ化信号を受信し、パーソナリティ障害を緩和するための様々な無作為化された感覚的気晴らしを生じるように1つまたは複数のアクチュエータをアクティブにするようにさらに構成された、特徴(19)のシステム。
[448](21)強度インジケーションに基づいて自然言語コンテンツ中のワードをハイライトすることと、ハイライトされたワードとともに自然言語コンテンツをディスプレイに送信することと、ビデオストリーミングセッションの過程中にディスプレイ上に拡張現実ディスプレイとしてハイライトされたワードとともに自然言語コンテンツを表示することとをさらに含む、特徴(1)の方法。
[449](22)テキストにおいて感情認知状態に関係する構成要素を有する構文の存在または不在を検出することと、ユーザがタッチスクリーン上に表示されるテキストにタッチしたとき、テキストの感情および認知の表現を表示することと、ここにおいて、表現が色ヒートマップである、をさらに含む、特徴(18)の電子リーダー。
[450](23)電子リーダーが読取り中にタッチされたときに示されるインデックス位置においてテキストに感情認知状態およびそれぞれの強度で注釈を付けることをさらに含む、特徴(18)の電子リーダー。
[451](24)マッチングした言語ルールの検出したことに応答して、モバイルデバイスが、言語ルールに基づいて、周辺デバイスの色分けされた照明をトリガするための電気信号または短い電波を送信するように構成されることをさらに含む、特徴(19)のシステム。
[452](25)周辺デバイスが、所与の感情認知の強度インジケーションに従ってLEDをアクティブにするように構成されたカラー幾何学的ディスプレイをさらに備える、特徴(19)のシステム。
[453](26)モバイルデバイスによって実施される方法が、認知感情状態の感情強度レベルを取得するために、強度インジケーションを所与の感情認知のしきい値と比較することをさらに含み、周辺デバイスが、色発光ダイオードと、バイブレータとを備え、強度インジケーションがしきい値を超えるとき、色発光ダイオードを介して、認知感情状態をブロードキャストし、バイブレータを介して、振動するように構成された、特徴(19)のシステム。
[454](27)モバイルデバイスによって実施される方法が、他の言語ルールによって検出された他の感情認知と連結することによって所与の感情認知を含む感情認知のパターンを決定し、感情認知のパターンをダイナミック感情認知として識別することをさらに含み、周辺デバイスが、LEDライトと、感情認知のシフトとしてシフトするようにLEDライトのパルシングと協調して振動する振動デバイスとを備える、特徴(19)のシステム。
[455](28)モバイルデバイスによって実施される方法は、周辺デバイスの着用者によって話されたときに受信およびトランスクライブされたオーディオ会話中に言語ルールがマッチングされた位置におけるテキスト入力中のインデックス位置を識別することをさらに備える、特徴(19)のシステム。

Claims (28)

  1. 処理回路によって、自然言語コンテンツを感情認知で自動的にオーグメントするための方法であって、前記方法は、
    入力デバイスを介して、前記自然言語コンテンツをテキスト入力として受信することと、
    前記処理回路によって、所与の感情認知のための複数の言語ルールと前記テキスト入力の構成要素との間のマッチングを探索することと、ここにおいて、前記言語ルールのインスタンスが、少なくとも1つのヒューマンディメンションを有する、
    前記処理回路によって、前記マッチングした言語ルールをアクティブにし、前記アクティブにされたマッチングした言語ルールの前記少なくとも1つのヒューマンディメンションを評価することと、
    前記所与の感情認知のディメンションスコアの原型的プロファイルを取得するために、前記処理回路によって、各ヒューマンディメンションをスコアリングすることと、
    前記所与の感情認知の強度インジケーションを取得するために、前記処理回路によって、ディメンションスコアの前記取得されたプロファイル中の前記ディメンションをアグリゲートすることと、
    前記マッチングした言語ルールを前記所与の感情認知に関係付け、前記所与の感情認知の前記それぞれの強度インジケーションをシグナリングする様式でオーグメントされた前記自然言語コンテンツをディスプレイによって表示することと
    を備える、方法。
  2. 前記ヒューマンディメンションが、センチメント、感情、感情認知態度、価値、社会的慣習、考え方、見解、態様、応答、特性、信念、意見、視点、モチベーション、バイアス、状態、マナー、アプローチ、ダイナミック、パーソナリティ特性、感情的アプローチ、感情的選定、反応、傾向、一時的状態、状態の変化、認知的態様、挙動的態様、内部条件、外部条件、フィーリング、感情、主張、態度、主張の態度、指向性態度、無指向性態度、自発的態度、意識的な感情認知、無意識的な感情認知、怒り、予想、嫌悪、恐れ、喜び、悲しみ、驚き、信用、エゴ、非難、適合性、神聖さ、親切、敬意、時間、好意、承認、誠実、脆弱性、判断、孤立、目的、堅苦しさ、最小化、特異性、力、行為、エージェンシー、好奇心、明快さ、意図、強調、エネルギー、確実性、興味、関与、ショックまたは驚き、緊張、スピード、ニュアンス、論理、パラノイア、距離、識別、尊重、客観化、アタッチメント、感情移入、および忍耐の感情的情動のうちの1つまたは複数を含み、
    ここにおいて、各ディメンションが、正の力では+1、負の力では-1、中性の力では0、および非存在または適用不可ではφのうちの1つである値を有し、
    ここにおいて、前記処理回路によって、各ヒューマンディメンションを前記スコアリングすることが、すべてのマッチングルールについてヒューマンディメンションをスコアリングすることを含む、
    請求項1に記載の方法。
  3. 前記複数の言語ルールを使用して探索する前記ステップが、
    前記言語ルールに基づいて構文を検出することと、
    各検出された構文の前記ヒューマンディメンションを評価することと
    をさらに備える、請求項1に記載の方法。
  4. スコアリングする前記ステップが、
    感情強度レベルを取得するために、前記強度インジケーションを前記所与の感情認知のしきい値と比較すること
    を備える、請求項1に記載の方法。
  5. 構文を検出する前記ステップが、
    前記自然言語コンテンツにおいて前記所与の感情認知に関係する構成要素を有する構文の存在または不在を検出すること
    をさらに備える、請求項3に記載の方法。
  6. 前記処理回路によって、他の言語ルールによって検出された他の感情認知と連結することによって前記所与の感情認知を含む感情認知のパターンを決定し、感情認知の前記パターンをダイナミック感情認知として識別することと、
    前記自然言語コンテンツ上で時間シーケンスにおいて関連する構成要素とともに前記所与の感情認知および前記他の感情認知を追跡することと
    をさらに備える、請求項1に記載の方法。
  7. 前記構文を検出する前記ステップが、
    品詞タグ付けまたはシンタックスルール、
    正確、不正確、マスク、またはワイルドカードであるストリングマッチングルール、
    トークン近接性ルール、
    句読法ルール、
    レンマ化ルール、
    ステミングルール、
    語彙ルール、および
    ワードルックアップまたは辞書ベースルール
    のうちの1つまたは複数の数値を決定することをさらに備える、請求項3に記載の方法。
  8. 前記トークン近接性ルールの前記数値を決定する前記ステップが、前記自然言語コンテンツ中の指定された点からn個未満のトークンの距離を有するすべてのトークンにアクセスすることを備え、ここにおいて、nが正の整数である、請求項7に記載の方法。
  9. 教師あり学習と教師なし学習とのうちの少なくとも1つを実施する機械学習エンジンによって新しい言語ルールを生成することをさらに備える、請求項1に記載の方法。
  10. リポジトリから複数の自然言語データ項目を受信することと、
    複数の前処理された自然言語データ項目を生成するための前処理を使用して、前記受信された複数の自然言語データ項目を正規化およびトークン化することと、
    前記複数の前処理された自然言語データ項目を、表された感情認知および前記表された感情認知の強度でラベリングすることと、
    前記複数の前処理された自然言語データ項目を、並列に、教師なし学習エンジンおよび教師あり学習エンジンに提供することと、
    前記自然言語データにおいて、特定の感情認知を識別するために、および前記特定の感情認知の強度を決定するために、複数のトレーニングエポックにおいて、並列に、前記教師なし学習エンジンおよび前記教師あり学習エンジンをトレーニングすることと、ここにおいて、前記教師なし学習エンジンの各トレーニングエポックが、ルールベースエンジンの後続のトレーニングエポックにルール示唆を提供し、各トレーニングエポック、前記ルールベースエンジンが、前記教師なし学習エンジンおよび前記教師あり学習エンジンの後続のエポックに集計およびスコアリングデータを提供する、
    前記トレーニングされた教師なし学習エンジンと前記トレーニングされた教師あり学習エンジンとのうちの少なくとも1つを表す出力を提供することと
    をさらに備える、請求項9に記載の方法。
  11. ルールベースエンジンのための新しいルールを識別するために、前記自然言語コンテンツ内に存在するヒューマンディメンションを、ワイルドカードまたはパターンスキップを有する既存のディメンションアレイにマッチングさせることによって、前記ヒューマンディメンションをマッチングすることを実施する前記処理回路によって新しい言語ルールを生成することをさらに備える、請求項1に記載の方法。
  12. 受信する前記ステップが、協調されたテキストトランスクリプションとともにストリーミングライブビデオまたはアニメーション化ビデオソースの連続的読取りをさらに備え、
    前記方法が、
    ワード共起、論証的要素、およびトピック要素に基づいてコンテキスト手掛かりを決定することと、
    個々のストリングまたはnグラムを3元ディメンションスコアでマークすることと、
    視覚データ中で明らかなさらなる情報または聴覚データ中で明らかなトーン要素を検出し、ビデオの別個の、しかし、時間協調されたソースに入力することと、
    前記ビデオ中の各シーンについてコンテキストスコアを作成するために、前記コンテキスト手掛かりおよびさらなる情報からの並置を実施することと
    をさらに備える、
    請求項1に記載の方法。
  13. 表示する前記ステップは、前記所与の感情認知およびそれぞれの強度インジケーションが括弧で囲まれ、前記構成要素に隣接してインラインで挿入される様式で前記テキストトランスクリプションを表示することを含む、請求項12に記載の方法。
  14. ルール発見エンジンによって新しい言語ルールを生成することをさらに備え、
    前記方法は、
    前記処理回路によって、前記自然言語コンテンツ中のフックワードまたはワードのペアを検出することと、
    前記フックワードまたはワードのペアが、可能性がある感情認知を示すかどうかを決定するために、前記検出されたフックワードまたはワードのペアに関連付けられた1つまたは複数のヒューマンディメンションを評価することと、
    可能性がある感情認知が存在するとき、前記フックワードまたはワードのペアを囲んでいるワードの所定のウィンドウを抽出することと、
    前記フックワードまたはワードのペアのディメンションスコアのプロファイルを取得するために、前記処理回路によって、前記1つまたは複数のヒューマンディメンションをスコアリングすることと、
    ディメンションスコアの前記プロファイルが大多数を上回るとき、前記フックワードまたはワードのペアおよび抽出された囲んでいるワードに基づいて、前記可能性がある感情認知のための新しいルールを構築することと
    をさらに備える、
    請求項1に記載の方法。
  15. 言語ルールがマッチングされた位置における前記テキスト入力中のインデックス位置を識別することをさらに備える、請求項1に記載の方法。
  16. 前記インデックス位置において前記テキスト入力に感情認知およびそれぞれの強度インジケーションで注釈を付けることをさらに備える、請求項15に記載の方法。
  17. 受信する前記ステップが、前記入力デバイスを介して、前記自然言語コンテンツをオーディオ入力として受信し、前記オーディオ入力をテキスト入力にトランスクライブすることをさらに備え、前記方法が、
    前記オーディオ入力のフラグメントを同様の音フラグメントのための記憶されたルールにマッチングし、前記オーディオフラグメントに、前記記憶されたルールの感情認知ラベルを割り当てること
    をさらに備える、請求項1に記載の方法。
  18. 電子リーダーであって、
    タッチスクリーンディスプレイと、
    処理回路と、
    メモリとを備え、ここにおいて、
    前記タッチスクリーンディスプレイが、電子ブックのテキストを表示するように構成され、
    前記処理回路が、トリガされると、感情認知状態を検出し、前記感情認知状態が発生した強度を決定するルールを使用して、前記テキストを走査し、タグ付けするように構成され、
    前記処理回路が、前記表示されたテキストの検出された構成要素に基づいてダイナミックおよび感情認知強度情報をリストするための1つまたは複数のサイドバーを生成し、表示するように構成され、
    前記タッチスクリーンが、前記ディスプレイ中の位置においてタッチされたとき、ダイナミックまたは感情認知強度を選択するように構成され、
    前記処理回路が、前記選択されたダイナミックまたは感情認知強度の発生を指定する色分けされたハイライトを生成し、表示するようにさらに構成された、
    電子リーダー。
  19. 心理的障害を緩和するためのシステムであって、
    処理回路およびメモリを有するモバイルデバイスと、
    通信デバイスおよび1つまたは複数のアクチュエータを有する周辺デバイスと
    を備え、ここにおいて、前記モバイルデバイスの前記メモリが、プログラム命令を記憶し、前記プログラム命令は、前記モバイルデバイスの前記処理回路によって実行されたとき、前記モバイルデバイスに、
    入力デバイスを介して、自然言語コンテンツをテキスト入力として受信することと、
    前記処理回路によって、所与の感情認知のための複数の言語ルールと前記テキスト入力の構成要素との間のマッチングを探索することと、ここにおいて、前記言語ルールのインスタンスが、少なくとも1つのヒューマンディメンションを有する、
    前記所与の感情認知の強度インジケーションを取得するために、前記処理回路によって、前記マッチングした言語ルールを検出することと、
    前記所与の感情認知の前記強度インジケーションが、第1のしきい値を超える感情認知強度に達したとき、前記感情認知強度を識別する第1のアクティブ化信号を送信することと
    を含む方法を実施させ、
    前記周辺デバイスが、前記通信デバイスを介して、前記送信された第1のアクティブ化信号を受信し、前記心理的障害を緩和するための感覚的気晴らしを生じるように前記1つまたは複数のアクチュエータをアクティブにするように構成された、
    システム。
  20. 前記プログラム命令は、前記モバイルデバイスの前記処理回路によって実行されたとき、前記モバイルデバイスに、
    入力デバイスを介して、前記自然言語コンテンツをさらなるテキスト入力として受信し続けることと、
    前記所与の感情認知の前記強度インジケーションが、第2のしきい値を超える負の感情の感情強度に達したとき、前記負の感情の前記感情強度を識別する第2のアクティブ化信号を送信することと
    を含む前記方法をさらに実施させ、
    前記周辺デバイスが、前記送信された第2のアクティブ化信号を受信し、前記心理的障害を緩和するための様々な無作為化された感覚的気晴らしを生じるように前記1つまたは複数のアクチュエータをアクティブにするようにさらに構成された、
    請求項19に記載のシステム。
  21. 前記強度インジケーションに基づいて前記自然言語コンテンツ中のワードをハイライトすることと、
    前記ハイライトされたワードとともに前記自然言語コンテンツを前記ディスプレイに送信することと、
    ビデオストリーミングセッションの過程中に前記ディスプレイ上に拡張現実ディスプレイとして前記ハイライトされたワードとともに前記自然言語コンテンツを表示することと
    をさらに備える、請求項1に記載の方法。
  22. 前記テキストにおいて前記感情認知状態に関係する構成要素を有する構文の存在または不在を検出することと、
    ユーザがタッチスクリーン上に表示されるテキストにタッチしたとき、前記テキストの前記感情および認知の表現を表示することと、ここにおいて、前記表現が色ヒートマップである、
    をさらに備える、請求項18に記載の電子リーダー。
  23. 前記電子リーダーが読取り中にタッチされたときに示されるインデックス位置において前記テキストに前記感情認知状態およびそれぞれの強度で注釈を付けることをさらに備える、請求項18に記載の電子リーダー。
  24. 前記マッチングした言語ルールを前記検出したことに応答して、
    前記モバイルデバイスが、前記言語ルールに基づいて、前記周辺デバイスの色分けされた照明をトリガするための電気信号または短い電波を送信するように構成される、をさらに備える、請求項19に記載のシステム。
  25. 前記周辺デバイスが、前記所与の感情認知の前記強度インジケーションに従ってLEDをアクティブにするように構成されたカラー幾何学的ディスプレイをさらに備える、請求項19に記載のシステム。
  26. 前記モバイルデバイスによって実施される前記方法が、
    認知感情状態の感情強度レベルを取得するために、前記強度インジケーションを前記所与の感情認知のしきい値と比較することをさらに備え、
    前記周辺デバイスが、色発光ダイオードと、バイブレータとを備え、前記強度インジケーションがしきい値を超えるとき、前記色発光ダイオードを介して、前記認知感情状態をブロードキャストし、前記バイブレータを介して、振動するように構成された、
    請求項19に記載のシステム。
  27. 前記モバイルデバイスによって実施される前記方法が、
    他の言語ルールによって検出された他の感情認知と連結することによって前記所与の感情認知を含む感情認知のパターンを決定し、感情認知の前記パターンをダイナミック感情認知として識別することをさらに備え、
    前記周辺デバイスが、LEDライトと、前記感情認知のシフトとしてシフトするように前記LEDライトのパルシングと協調して振動する振動デバイスとを備える、
    請求項19に記載のシステム。
  28. 前記モバイルデバイスによって実施される前記方法は、前記周辺デバイスの着用者によって話されたときに受信およびトランスクライブされたオーディオ会話中に言語ルールがマッチングされた位置における前記テキスト入力中のインデックス位置を識別することをさらに備える、請求項19に記載のシステム。
JP2023546559A 2021-03-18 2022-03-18 感情認知の自動分類 Pending JP2024505268A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202163162987P 2021-03-18 2021-03-18
US63/162,987 2021-03-18
US202163163618P 2021-03-19 2021-03-19
US202163163621P 2021-03-19 2021-03-19
US63/163,621 2021-03-19
US63/163,618 2021-03-19
US17/589,512 2022-01-31
US17/589,512 US20220245354A1 (en) 2021-01-29 2022-01-31 Automated classification of emotio-cogniton
PCT/US2022/020994 WO2022183138A2 (en) 2021-01-29 2022-03-18 Automated classification of emotio-cogniton

Publications (1)

Publication Number Publication Date
JP2024505268A true JP2024505268A (ja) 2024-02-05

Family

ID=87555233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023546559A Pending JP2024505268A (ja) 2021-03-18 2022-03-18 感情認知の自動分類

Country Status (3)

Country Link
JP (1) JP2024505268A (ja)
KR (1) KR20240004236A (ja)
CA (1) CA3207044A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117577120B (zh) * 2024-01-17 2024-04-05 清华大学 结合大语言模型的深度合成音频检测方法、系统和产品
CN117971355B (zh) * 2024-03-29 2024-06-07 苏州元脑智能科技有限公司 基于自监督学习的异构加速方法、装置、设备及存储介质
CN118504578A (zh) * 2024-05-23 2024-08-16 合肥工业大学 一种基于大语言模型和情绪词典的访谈文本细粒度抑郁情绪识别方法及电子设备

Also Published As

Publication number Publication date
CA3207044A1 (en) 2022-09-01
KR20240004236A (ko) 2024-01-11

Similar Documents

Publication Publication Date Title
Sailunaz et al. Emotion detection from text and speech: a survey
Trotzek et al. Utilizing neural networks and linguistic metadata for early detection of depression indications in text sequences
EP4285271A2 (en) Automated classification of emotio-cogniton
Ji et al. Supervised learning for suicidal ideation detection in online user content
Sykora et al. A qualitative analysis of sarcasm, irony and related# hashtags on Twitter
Soleymani et al. A survey of multimodal sentiment analysis
US20220245354A1 (en) Automated classification of emotio-cogniton
Poria et al. Fusing audio, visual and textual clues for sentiment analysis from multimodal content
Boyd et al. Did Shakespeare write Double Falsehood? Identifying individuals by creating psychological signatures with text analysis
Geng et al. Understanding the focal points and sentiment of learners in MOOC reviews: A machine learning and SC‐LIWC‐based approach
JP2024505268A (ja) 感情認知の自動分類
Sobhani Stance detection and analysis in social media
Ghosh et al. What does your bio say? Inferring Twitter users’ depression status from multimodal profile information using deep learning
Roy et al. Perceptible sentiment analysis of students' WhatsApp group chats in valence, arousal, and dominance space
Verma et al. Domain-independent deception: A new taxonomy and linguistic analysis
Begum et al. Effective techniques for depression detection on social media: a comprehensive review
Elayan et al. 'Are you having a laugh?': detecting humorous expressions on social media: an exploration of theory, current approaches and future work
Li et al. Language style matters: Personality prediction from textual styles learning
Kamarudin et al. Social media for mental health: Data, methods, and findings
Kalloniatis et al. Computational Humor Recognition: A Systematic Literature Review
Liew Fine-grained emotion detection in microblog text
Desmet Finding the online cry for help: automatic text classification for suicide prevention
Rezapour From user-generated text to insight context-aware measurement of social impacts and interactions using natural language processing
Gelbukh Sentiment analysis and opinion mining: Keynote address
Xiong Helpfulness-guided review summarization