JP6987814B2 - 自然言語会話に関連する情報の視覚的提示 - Google Patents
自然言語会話に関連する情報の視覚的提示 Download PDFInfo
- Publication number
- JP6987814B2 JP6987814B2 JP2019136153A JP2019136153A JP6987814B2 JP 6987814 B2 JP6987814 B2 JP 6987814B2 JP 2019136153 A JP2019136153 A JP 2019136153A JP 2019136153 A JP2019136153 A JP 2019136153A JP 6987814 B2 JP6987814 B2 JP 6987814B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- person
- search
- natural language
- topic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Description
本願は、2018年8月2日に出願された発明者Bernard Mont-Reynaudによる米国特許出願第16/052,930号に基づく優先権を主張する。
1.発明の分野
本発明は、概して情報を表示することに関し、より具体的には自然言語会話中の発話に関連する情報を自動で視覚的に提示することに関する。
時として、会話中に、言及したいことの名称を忘れることがある。時として、直ちに調べたいことがあるのに、特にAmazon Alexaのような音声インターフェイスを搭載した情報デバイスを使用しているときには、会話を中断せずにブラウザにアクセスすることができない場合がある。時として、会話の別の参加者が話したことに関する情報が欲しいことがある。時として、まだそれには気付いてもいないが、会話が、特定の情報を要する可能性が極めて高いものに変化する可能性がある場合がある。
本発明は、発話に関連する情報を自動で視覚的に提示するための、方法、システム、マシン、製造製品、およびコンピュータ読取可能コードに及ぶ。辞書によると、発話(utterance)とは、途切れのない一続きの話し言葉または書き言葉である。発話は、音声であろうとテキストであろうと、常に言葉によるものである。会話は順番に話をすることであり、一回の話が発話である。本明細書において、発話を自然言語表現とも呼び、これらの用語を同義で使用する。自然言語表現(natural language expression)(NLE)は、たとえば、話された1つ以上の単語、話された句、話された文、または数単語のテキストで構成される。
本明細書に記載されるすべての実施形態において、自然言語表現は、それを受けたときに、当該技術で周知のNLU技術のうちのいずれかを用いて解析することができる。NLU解析は、キーワードマッチング、品詞の検出、動作を表す単語の検出、エンティティの検出、部分パース、または全体のパースを含み得る。NLU解析は、解析されたNLEの意味を表わす解釈を構成することができる。キーワードのようなコンテンツワードの認識を用いることにより、トピックを示唆することができる。NLEの解析は、その意図の認識を含み得る。
図7〜図16はそれぞれ、発話に関連する情報を視覚的に提示するためのデータフロー700〜1600を示す。データフロー700〜1600は、アーキテクチャ100、300、および500、ならびに示され説明された必要な特徴のサブセットを含むその他のアーキテクチャにおいて、実現することができる。データフロー700〜1600を用いて、方法200、400、および600を補う、および/またはこれらの方法に代わるようにすることができる。データフロー700〜1600に記載されている要素は、他の組み合わせおよび/または順序で用いることもできる。
図8は、関連度スコアを用いて、自然言語表現に応じて情報を表示するためのデータフロー800を示す。補助システムが、関連度の低い(または無関係の)情報で会話を妨害するまたは混乱させてはならない。
図9は、複数のトピックに対する自然言語表現に応じて情報を表示するためのデータフロー900を示す。ある局面において、1つ以上のトピックを、可能性がある複数の、関心のあるトピックから、選択する。たとえば、関連度スコアをトピックごとに計算することができ、選択は、関連度スコアに基づいて行ってもよい。
図10は、複数のトピックに対する自然言語表現に応じて情報を表示するためのデータフロー1000を示す。一連の自然言語表現の間、会話が1つのトピックに留まっている場合がある。このように、ある人物が同一のトピックについて複数の自然言語表現を発話する可能性がある。
図12は、検索のためにコンセプトを用いて自然言語表現に応じて情報を表示するためのデータフロー1200を示す。ある局面において、検索入力は、トピックよりも粒度が細かくなるように選択され、たとえば、トピック内のコンセプト(粒度がより細かい分類)を選択する。コンセプトは、自然言語表現において言及されたエンティティ値(たとえば人々、場所、または物事)であってもよい。また、コンセプトは、そのインスタンスが任意の教師、任意の都市、または任意の被服製品である、Teachers(教師)、Cities(都市)、または、被服製品(Articles_of_Clothing)のようなエンティティのクラスであってもよい。自然言語質問回答システムにおいて、スロットタイプがエンティティクラスであってもよく、もしあれば、対応するスロットのエンティティ値がクラスのインスタンスである。エンティティクラスは引数であってもよく、エンティティ値はデータソースにアクセスするためのアプリケーションプログラミングインターフェイス(API)の引数の値であってもよい。いくつかの実施形態において、情報の検索はウェブAPI要求を通して行われる。
ユーザの関心モデル
自然言語表現の解析に続いて、自然言語表現103から抽出された任意のコンテンツワード、トピック、または意図に基づき、かつ現在までの会話に基づき、人物の関心のモデルを更新してもよい。いくつかの局面に従うと、ある人物の関心のモデルは、ユーザプロファイルの一部として格納される長期データ構造である。これは、天気、スポーツ、および株価のようなトピックのリストを含む。いくつかの局面に従うと、ある人物の関心のモデルは、Facebook、Mark Zuckerberg、および株式のティッカーシンボルFB、ならびに人物の子供たちの名前のような、特定のエントリを含む。いくつかの局面に従うと、ある人物の関心のモデルは、ある意図、トピック、またはエンティティのようなコンテンツワードに関連する、その人物が作成したまたは受信した表現の頻度または最新度に基づく、関心のレベルの表示を含む。
図13は、自然言語表現に応じて情報を表示しかつ他の情報を求める要求を受け入れるためのデータフロー1300を示す。本発明の局面は、人物が、どの情報が見えるかを制御し、関連があると思われる情報にアクセスすることを、可能にする。人物は他の情報を要求することもできる。
本発明のいくつかの局面は、表示空間内において関心のある領域を検出し、関心のある領域と重ならない位置に表示情報を配置する。さまざまアルゴリズムのうちのいずれかを用いることにより、関心のある領域を判断することができる。たとえば、ビデオ会議システムは、顔位置検出を実行し、顔がない位置に情報を配置することができる。関心のある領域は、視覚的または時間的頻度が高い情報の存在に基づいて検出することもできる。関心のある対象を認識し、このような対象の近くに情報を配置する、または関心のある対象を指し示す矢印もしくは関心のある対象に接するラインとともに情報を配置することができる。このような局面は、たとえば、進行中の自然言語会話に応答する拡張現実眼鏡に用いることができる。
図14は、代替の人間言語による自然言語表現に応じて情報を表示するためのデータフロー1400を示す。会話は、局地的に発生する、または、世界の異なる地域において、異なる言語を話す人々の間で発生する可能性がある。本発明の局面は、NLUを1つの言語で実行し、情報の検索を他の1つ以上の言語で実行することができる。
図15は、特定のユーザについての関連度に基づいて自然言語表現に応じて情報を表示するためのデータフロー1500を示す。表示する情報は、人物の関心に基づいておよび/または人物の関心に合わせて調整することができる。
図16は、複数の人物からの自然言語表現に応じて情報を表示するためのデータフローを示す。本発明の局面は、2人による会話の参加者双方に関連情報を提供することができる。2人による会話において、各人物に1方向で関連情報が提供される。会話に参加している人々はそれぞれ異なる情報要求を有する。
多種多様な情報を検索および表示することができる。ある局面において、人々に関する情報、たとえば、名前、位置、年齢、および関係を検索し表示する。その他の局面において、一般知識情報、たとえば、Wikipedia(登録商標)から入手できるものを検索し表示する。
図17は、ある実施形態に係る複数のデバイスをサポートするコンピュータアーキテクチャ1700を示す。コンピュータアーキテクチャ1700は、人物1711と人物1712との間の双方向会話の局面を示す。人物1711は、マルチメディアインターフェイスデバイス1713(たとえば携帯電話、コンピュータ、VR/IRヘッドセットなど)を介して音声による通信を行う。マルチメディアインターフェイスデバイス1713は、クライアントとして、ネットワーキングプロトコルを用い、クラウドネットワーク1715を介してサーバ1716に対して通信する。サーバ1716は、仮想接続をクラウドネットワーク1715を介してマルチメディアインターフェイスデバイス1714(たとえば携帯電話、コンピュータ、VR/IRヘッドセットなど)に与える。マルチメディアインターフェイスデバイス1714は、音声通信を仮想接続を介して受信する。人物1712は、同様にして、逆にマルチメディアインターフェイスデバイス1713に対して音声による通信を行うことができる。
各場合において、会話に関連する情報が自動的に提供される。ボブに対して表示される情報は、会話の進行中のアリスの発言と、近い将来においてボブに関連する可能性が高いこととによって決まる。
システムはボブに対しボストンについてのWikipediaの序文1937を表示する。
システムはアリスに対しボストンのダンキンドーナツレストランの広告1934を表示する。
ボブ:「行けない。洗濯をしなくては。」
システムはボブに対し洗剤の広告1938を表示する。
アリス:「チャーリーは行く予定。」
システムはアリスに対しチャーリーの3つの連絡先を表示する。
アリスは1つを選択する。
システムはボブに対しチャーリーの写真1939を表示する。
ボブ:「何をするの?」
アリス:「フリスビー(登録商標)か水族館。」
システムはアリスに対し天気予報1935およびニューイングランド水族館のクーポン1936を表示する。
図18Aに示される局面は、どちらもシステムから支援を受けている2人のユーザ間で対称に機能する。これに対し、図18Bは、1人のユーザである人物1861のみを支援するコンピュータアーキテクチャ1850を示す。この局面において、システムは、非常に似ているが、相互拡張とは対照的に、個人拡張ツールを人物1861に提供する。人物1862は支援を受けない。あるシナリオにおいて、人物1862は電話線の反対側にいる。別のシナリオにおいて、人物1862は人物1861のデスクの反対側にいてもよく、電話は関与していないが、人物1861のみが関連情報を受ける。第3のシナリオにおいて、人物1862は実際の人物ではないが、人物1861は何らかのテキストを口述している。すべてのシナリオにおいて、人物1861は、会話を妨げることなく、音声に関連する情報を受ける。口述のシナリオにおいて、単語の会話は独白である。図18Bに示される局面は、拡張の性質が一方向であることおよびわずかな相違点を除いて、図18Aの局面と同様である。図18Bにおいて、情報1876の関連度を計算するモジュールが露出しているが、図18Aにおいてその存在は暗示的なものにすぎない。また、図18Bにおいて、1つのデバイス1863がシステム全体の機能を提供する。いくつかの局面において、これはローカル内臓デバイスであるが、図18Aにおいて、デバイス1813は、I/O機能を実行するだけであり、おそらくは、NLUおよびその他の機能をサーバに委ねる。これらは、アーキテクチャのいくつかの変形にすぎない。インターフェイスデバイス1863は、1つ以上のマイクによって取り込まれた音声の自動音声認識をサポートし、これは、1つ以上のスピーカーを介して音声を出力し得る。インターフェイスデバイス1863は、システムが生成した支援情報を表示するために使用される表示画面を有する。
図20はウェアラブルデバイス2000を示す。ウェアラブルデバイス2000は、ストラップ2042で保持された本体2041を含み、ストラップ2042はクラスプ2043で保持されキーパー2044にたくし込まれる。時計本体2041は、情報を示すディスプレイ2047と、片側の総合制御ボタン2045と、NLEを取り込むためのマイク穴2046とを含む。
図22は、(たとえばフロントガラス2261内の)車両ヘッドアップディスプレイ2200を示す。フロントガラス2261は、バックミラー2262およびハンドル2263の後方の運転者が見ることができる。マイク2264は音声を取り込む。内部コンピュータプロセッサシステムが、取り込まれた音声に対してNLUを実行することにより、会話のトピックを判断し、関連情報を検索する。ダッシュボードに埋め込まれたプロジェクタユニット2266が、フロントガラス2261の視野内の表示領域2265上に関連情報を投影する。
図23Aは、一例としての回転ディスク2371を示す。回転ディスク2371は、非一時的なコンピュータ読取可能媒体の一例である(たとえば回転磁気ディスク)。クラウドデータセンターは、磁気ディスクを用いることにより、サーバのためのコードおよびデータを格納することができる。回転ディスク2371は、1つ以上のコンピュータによって実行されると当該コンピュータに本明細書に記載の方法およびデータフローを実行させる命令を含むコードを格納することができる。回転光ディスクおよびその他の機械的に移動する記憶媒体も意図されている。
図24Aは、一例としての、パッケージングされたシステムオンチップ(SoC)2480のはんだボール(下)側を示す。パッケージングされたSoC2480の下側は、プリント回路基板に対する表面実装はんだ付けのためのボールグリッドアレイとともに示されている。各種のチップ実装に対して各種のパッケージ形状およびサイズが可能である。システムオンチップ(SoC)デバイスは、本明細書に記載の埋込システムおよびIoTデバイスの実施形態を制御することができる。
図25Aは、一例としてのラックベースのサーバ2590を示す。ラックベースのサーバ2590は、複数のラックマウントマルチプロセッササーバブレードを含み得る。複数のラックマウントマルチプロセッササーバブレードの各々は、ネットワーク接続された多種多様なコンピュータプロセッサを含み得る。ネットワーク接続された多種多様なコンピュータプロセッサは、ソフトウェアを並列に実行することができる。
Claims (19)
- コンピュータによって実現される方法であって、前記方法は、
第1の人物の発話を含む音声信号を受けるステップと、
前記音声信号に対して音声認識を適用することにより、前記発話に対応する自然言語表現を得るステップと、
前記自然言語表現を解析することにより、前記自然言語表現に関連するトピックを特定するステップと、
前記トピックに関連する情報を検索するステップと、
前記検索から検索結果を取得するステップと、
前記検索結果を第2の人物に提供させるステップとを含み、
前記方法は、
2以上の前記検索結果のそれぞれについて関連度値を計算するステップをさらに含み、前記関連度値は、前記検索結果と前記トピックとの間の関連を表し、さらに、前記検索結果が基づく検索語と前記第2の人物の関心のモデルとの間の関連を表し、
前記モデルは、現在までの前記第1の人物と前記第2の人物との間の会話から特定されたトピックを含むように更新され、
前記関連度値は、
前記検索結果が提供される状況に基づき、
前記検索語が、前記モデル内に一致する語が無い場合は、前記モデル内に一致する語がある場合よりも低く、
前記検索結果を提供させるステップは、
前記関連度値に基づいて、前記検索結果が前記第2の人物の関心を引くと予想されるまで、前記検索結果をバッファリングし、前記検索結果が前記第2の人物の関心を引くと予想されると、前記検索結果を前記第2の人物に提供させることを含み、
前記方法は、
2以上の前記検索結果を2以上の前記検索結果のそれぞれの前記関連度値に基づいてランキングするステップをさらに含む、方法。 - 前記状況は、位置、時刻、および、曜日のうち少なくとも1つを含む、場面に応じた事情である、請求項1に記載の方法。
- 前記検索結果を提供させるステップは、前記検索結果を、前記関連度値が関連度値しきい値よりも高いことに応じて提供させることを含む、請求項1または請求項2に記載の方法。
- 前記検索結果を提供させるステップは、前記検索結果を、前記検索結果が最も高い前記関連度値を持つことに応じて提供させることを含む、請求項1または請求項2に記載の方法。
- 前記トピックについて関連レベルを計算するステップをさらに含み、前記関連レベルは、前記自然言語表現と前記トピックとの間の関連を表し、
前記検索は、前記トピックに対応する関連レベルが関連レベルしきい値よりも高いことに応じて実行される、請求項1〜請求項4のいずれか1項に記載の方法。 - 前記トピックを特定するステップは、前記自然言語表現に関連する複数のトピックを特定することを含み、
前記方法は、前記複数のトピックのそれぞれについて関連レベルを計算することを含み、前記関連レベルは、前記自然言語表現と前記トピックとの関連を表し、
前記検索は、前記関連レベルが最も高いトピックに対して実行される、請求項1〜請求項4のいずれか1項に記載の方法。 - 前記検索は、前記トピックが最近のトピックのリストに含まれていないことが確認されたことに応じて実行される、請求項1〜請求項4のいずれか1項に記載の方法。
- 前記検索結果を提供させるステップは、前記検索結果が最近提供された検索結果のリストに含まれていないことが確認されたことに応じて、前記検索結果を提供させることを含む、請求項1〜請求項7のいずれか1項に記載の方法。
- 前記トピックに関連するコンセプトを特定するステップをさらに含み、
前記検索は、前記コンセプトに関連する情報を検索することによって実行される、請求項1〜請求項8のいずれか1項に記載の方法。 - 前記検索結果を第2の人物のみに対して提供させる、請求項1〜請求項9のいずれか1項に記載の方法。
- 前記検索結果を提供させた後に、第2の人物から、言葉によらない技術による、他の情報を求める要求を、受けるステップと、
前記他の情報を取得するステップと、
前記他の情報を前記第2の人物に対して提供させるステップとをさらに含む、請求項1〜請求項9のいずれか1項に記載の方法。 - 前記検索結果を前記第2の人物に対して提供させるステップは、前記第2の人物に対応付けられたウェアラブルディスプレイデバイスの視界の中に前記検索結果を提供させるステップを含む、請求項10または請求項11に記載の方法。
- 前記検索結果を前記第2の人物に対して提供させるステップは、
前記第2の人物に対応付けられたディスプレイ内における顔の位置を検出するステップと、
前記第2の人物に対応付けられたディスプレイの、前記顔に重ならない部分に、前記検索結果を提供させるステップとをさらに含む、請求項10〜請求項12のいずれか1項に記載の方法。 - 前記検索結果を前記第2の人物に対して提供させるステップは、前記第2の人物に対応付けられた車両のヘッドアップディスプレイに前記検索結果を提供させるステップをさらに含む、請求項10〜請求項13のいずれか1項に記載の方法。
- 前記自然言語表現は第1の人間言語の自然言語表現であり、
前記方法は、前記第1の人間言語の前記自然言語表現を、第2の人間言語の自然言語表現に翻訳するステップをさらに含み、前記自然言語表現を解析するステップは、前記第2の人間言語の前記自然言語表現を解析するステップを含む、請求項10〜請求項14のいずれか1項に記載の方法。 - 前記第2の人物に関するプロファイル情報を格納するステップをさらに含み、前記関連度値は、前記第2の人物の前記プロファイル情報に基づいて計算される、請求項10〜請求項15のいずれか1項に記載の方法。
- 前記プロファイル情報はユーザからのフィードバックに依存する、請求項16に記載の方法。
- 第3の人物の第2の発話を含む第2の音声信号を受けるステップと、
前記第2の音声信号に対して音声認識を適用することにより、前記第2の発話に対応する第2の自然言語表現を得るステップと、
前記第2の自然言語表現を解析することにより、前記第2の自然言語表現に関連する第2のトピックを特定するステップと、
前記第2のトピックに関連する情報を検索するステップと、
前記検索の第2の検索結果を取得するステップと、
前記第2の検索結果を第2の人物に対して提供させるステップとをさらに含む、請求項1〜請求項17のいずれか1項に記載の方法。 - コンピュータのコンポーネントによって実行されると前記コンピュータに請求項1〜請求項18のいずれか1項に記載の方法を実行させるコンピュータ読取可能コード。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021152158A JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/052,930 | 2018-08-02 | ||
US16/052,930 US20200043479A1 (en) | 2018-08-02 | 2018-08-02 | Visually presenting information relevant to a natural language conversation |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152158A Division JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020034897A JP2020034897A (ja) | 2020-03-05 |
JP6987814B2 true JP6987814B2 (ja) | 2022-01-05 |
Family
ID=69227860
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019136153A Active JP6987814B2 (ja) | 2018-08-02 | 2019-07-24 | 自然言語会話に関連する情報の視覚的提示 |
JP2021152158A Pending JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152158A Pending JP2022008437A (ja) | 2018-08-02 | 2021-09-17 | 自然言語会話に関連する情報の視覚的提示 |
Country Status (4)
Country | Link |
---|---|
US (2) | US20200043479A1 (ja) |
JP (2) | JP6987814B2 (ja) |
KR (2) | KR102300606B1 (ja) |
CN (1) | CN110795608A (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210182342A1 (en) * | 2018-08-15 | 2021-06-17 | Nippon Telegraph And Telephone Corporation | Major point extraction device, major point extraction method, and non-transitory computer readable recording medium |
JP7142315B2 (ja) * | 2018-09-27 | 2022-09-27 | パナソニックIpマネジメント株式会社 | 説明支援装置および説明支援方法 |
US11017001B2 (en) * | 2018-12-31 | 2021-05-25 | Dish Network L.L.C. | Apparatus, systems and methods for providing conversational assistance |
US11769509B2 (en) * | 2019-12-31 | 2023-09-26 | Microstrategy Incorporated | Speech-based contextual delivery of content |
JP6841535B1 (ja) * | 2020-01-29 | 2021-03-10 | 株式会社インタラクティブソリューションズ | 会話解析システム |
US11836161B2 (en) * | 2020-02-20 | 2023-12-05 | Rovi Guides, Inc. | Systems and methods for predicting where conversations are heading and identifying associated content |
CN112002186B (zh) * | 2020-09-04 | 2022-05-06 | 语惠科技(南京)有限公司 | 一种基于增强现实技术的信息无障碍系统及方法 |
JP7341111B2 (ja) * | 2020-09-30 | 2023-09-08 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
US20220188361A1 (en) * | 2020-12-11 | 2022-06-16 | Meta Platforms, Inc. | Voice-based Auto-Completions and Auto-Responses for Assistant Systems |
CN112820284A (zh) * | 2020-12-28 | 2021-05-18 | 恒大新能源汽车投资控股集团有限公司 | 语音交互方法、装置、电子设备及计算机可读存储介质 |
US11539915B2 (en) | 2021-03-20 | 2022-12-27 | International Business Machines Corporation | Transmission confirmation in a remote conference |
LU500105B1 (en) | 2021-04-30 | 2022-11-02 | Microsoft Technology Licensing Llc | Video conference collaboration |
US11880663B2 (en) | 2021-06-30 | 2024-01-23 | Microsoft Technology Licensing, Llc | Assistant for providing information on unknown topics |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001298555A (ja) * | 2000-04-11 | 2001-10-26 | Nippon Tmi Co Ltd | 情報通信装置及び情報通信システム |
US20050165742A1 (en) * | 2003-12-30 | 2005-07-28 | Weisheke Chin | Searching previously viewed web sites |
US20080235018A1 (en) * | 2004-01-20 | 2008-09-25 | Koninklikke Philips Electronic,N.V. | Method and System for Determing the Topic of a Conversation and Locating and Presenting Related Content |
JP2007304776A (ja) * | 2006-05-10 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 文書検索装置 |
US8024329B1 (en) * | 2006-06-01 | 2011-09-20 | Monster Worldwide, Inc. | Using inverted indexes for contextual personalized information retrieval |
WO2008032329A2 (en) * | 2006-09-13 | 2008-03-20 | Alon Atsmon | Providing content responsive to multimedia signals |
US20080275701A1 (en) * | 2007-04-25 | 2008-11-06 | Xiaotao Wu | System and method for retrieving data based on topics of conversation |
JP2009157460A (ja) * | 2007-12-25 | 2009-07-16 | Hitachi Ltd | 情報提示装置及び方法 |
JP2009205579A (ja) * | 2008-02-29 | 2009-09-10 | Toshiba Corp | 音声翻訳装置およびプログラム |
GB2458309A (en) * | 2008-03-13 | 2009-09-16 | Business Partners Ltd | Search engine |
US9491573B2 (en) * | 2008-11-06 | 2016-11-08 | Texas Instruments Incorporated | Communication device for providing value-added information based upon content and/or context information |
JP5347532B2 (ja) * | 2009-01-27 | 2013-11-20 | 日本電気株式会社 | 検索サーバ、情報検索方法およびプログラム |
US8537980B2 (en) * | 2009-03-27 | 2013-09-17 | Verizon Patent And Licensing Inc. | Conversation support |
EP2629211A1 (en) * | 2009-08-21 | 2013-08-21 | Mikko Kalervo Väänänen | Method and means for data searching and language translation |
JP5075895B2 (ja) * | 2009-09-18 | 2012-11-21 | 株式会社エヌ・ティ・ティ・ドコモ | 情報検索システム及び情報検索方法 |
JP5315289B2 (ja) * | 2010-04-12 | 2013-10-16 | トヨタ自動車株式会社 | オペレーティングシステム及びオペレーティング方法 |
US20120004899A1 (en) * | 2010-07-04 | 2012-01-05 | Taymoor Arshi | Dynamic ad selection for ad delivery systems |
US9292093B2 (en) * | 2010-11-18 | 2016-03-22 | Alpine Electronics, Inc. | Interface method and apparatus for inputting information with air finger gesture |
US9092525B2 (en) * | 2011-05-09 | 2015-07-28 | Wyse Technology L.L.C. | Method and apparatus for searching non-public data using a single search query |
US10499118B2 (en) * | 2012-04-24 | 2019-12-03 | Skreens Entertainment Technologies, Inc. | Virtual and augmented reality system and headset display |
JP2014013494A (ja) * | 2012-07-04 | 2014-01-23 | Nikon Corp | 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム |
JP5831764B2 (ja) * | 2012-10-26 | 2015-12-09 | カシオ計算機株式会社 | 画像表示装置及びプログラム |
KR20140078258A (ko) * | 2012-12-17 | 2014-06-25 | 한국전자통신연구원 | 대화 인식을 통한 이동 단말 제어 장치 및 방법, 회의 중 대화 인식을 통한 정보 제공 장치 |
US9614969B2 (en) * | 2014-05-27 | 2017-04-04 | Microsoft Technology Licensing, Llc | In-call translation |
KR20160139771A (ko) * | 2015-05-28 | 2016-12-07 | 삼성전자주식회사 | 전자 장치, 정보 제공 시스템 및 그 정보 제공 방법 |
US9949056B2 (en) * | 2015-12-23 | 2018-04-17 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene |
KR102151626B1 (ko) * | 2016-01-12 | 2020-09-03 | 네이버 주식회사 | 통화 중 특정 태스크를 처리하는 장치 및 그 방법 |
US10216732B2 (en) * | 2016-09-07 | 2019-02-26 | Panasonic Intellectual Property Management Co., Ltd. | Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system |
US10085096B2 (en) * | 2016-09-30 | 2018-09-25 | Sorenson Ip Holdings, Llc | Integration of audiogram data into a device |
US10373515B2 (en) * | 2017-01-04 | 2019-08-06 | International Business Machines Corporation | System and method for cognitive intervention on human interactions |
US10102856B2 (en) * | 2017-01-20 | 2018-10-16 | Essential Products, Inc. | Assistant device with active and passive experience modes |
US10440325B1 (en) * | 2018-07-17 | 2019-10-08 | International Business Machines Corporation | Context-based natural language participant modeling for videoconference focus classification |
-
2018
- 2018-08-02 US US16/052,930 patent/US20200043479A1/en not_active Abandoned
-
2019
- 2019-03-19 KR KR1020190031067A patent/KR102300606B1/ko active IP Right Grant
- 2019-07-17 CN CN201910645112.5A patent/CN110795608A/zh not_active Withdrawn
- 2019-07-24 JP JP2019136153A patent/JP6987814B2/ja active Active
-
2020
- 2020-03-18 US US16/822,933 patent/US20200219490A1/en not_active Abandoned
-
2021
- 2021-09-03 KR KR1020210117579A patent/KR20210111236A/ko active Application Filing
- 2021-09-17 JP JP2021152158A patent/JP2022008437A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022008437A (ja) | 2022-01-13 |
JP2020034897A (ja) | 2020-03-05 |
US20200219490A1 (en) | 2020-07-09 |
CN110795608A (zh) | 2020-02-14 |
KR20210111236A (ko) | 2021-09-10 |
KR102300606B1 (ko) | 2021-09-10 |
KR20200015356A (ko) | 2020-02-12 |
US20200043479A1 (en) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6987814B2 (ja) | 自然言語会話に関連する情報の視覚的提示 | |
US11861674B1 (en) | Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems | |
US20210400235A1 (en) | Proactive In-Call Content Recommendations for Assistant Systems | |
US20170277993A1 (en) | Virtual assistant escalation | |
EP4046097A1 (en) | Generating proactive content for assistant systems | |
US20230206912A1 (en) | Digital assistant control of applications | |
US20220358727A1 (en) | Systems and Methods for Providing User Experiences in AR/VR Environments by Assistant Systems | |
US11567788B1 (en) | Generating proactive reminders for assistant systems | |
US20230164106A1 (en) | Generating Context-Aware Rendering of Media Contents for Assistant Systems | |
US20230128422A1 (en) | Voice Command Integration into Augmented Reality Systems and Virtual Reality Systems | |
EP3605527A2 (en) | Visually presenting information relevant to a natural language conversation | |
US20240045704A1 (en) | Dynamically Morphing Virtual Assistant Avatars for Assistant Systems | |
US20240112674A1 (en) | Presenting Attention States Associated with Voice Commands for Assistant Systems | |
US20240161742A1 (en) | Adaptively Muting Audio Transmission of User Speech for Assistant Systems | |
US20230283878A1 (en) | Smart Cameras Enabled by Assistant Systems | |
US20230353652A1 (en) | Presenting Personalized Content during Idle Time for Assistant Systems | |
US20240119932A1 (en) | Systems and Methods for Implementing Smart Assistant Systems | |
WO2024091266A1 (en) | System and method for generating visual captions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A603 | Late request for extension of time limit during examination |
Free format text: JAPANESE INTERMEDIATE CODE: A603 Effective date: 20210205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210917 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210929 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6987814 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |