JP6018133B2 - 情報検索装置、情報検索プログラム、および情報検索システム - Google Patents

Description

本発明は、音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する情報検索装置、当該情報検索装置に所定の動作を実行させるための情報検索プログラム、および情報検索システムに関するものである。

近年、音声認識を用いて各種処理を実行する登場してきた。特に、音声認識の認識結果に基づいて情報を検索する装置が提供されている（例えば、特許文献１）。

特許文献１には、認識文字列を表示する表示エリアを有する表示部を設け、操作入力部の入力によって挿入された区切り文字によって分離されて表示部の表示エリアに表示される技術が開示されている。これにより、特許文献１に記載の技術は、音声で複数個の文字情報（キーワード）を入力する場合に、容易な操作でキーワードの追加、削除、変更等の編集処理を行える。

特開２０１０−２８３０号公報

しかしながら、特許文献１のような技術は、認識文字列を複数個入力する場合に、入力操作を必要とする。そのため、発話を行った発話者以外の者が、その発話に対する賛同度合い（例えば、賛成／反対、良い／悪い、好き／嫌い等の意思）を反映するためには、キャンセル操作を行い入力された情報をキャンセルする必要があった。すなわち、会話に参加する者の意思を反映するためには、意志を示したい者に所定の入力タスクを要求しなければならないという課題があった。

本発明は、上記の問題を解決すべく、実際の会話音声から精度高く認識した認識結果に基づいて、会話者の意思を反映した情報検索を行うことを目的とする。

本発明に係る情報検索装置は、音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する情報検索装置であって、会話に参加する会話者が備えるウェアラブル端末と無線接続する接続手段と、前記会話者による会話音声を取得する音声取得手段と、前記会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定する認識結果特定手段と、前記ウェアラブル端末により取得された前記会話者の生体情報に基づいて、前記キーワードを聞いたときの会話者の賛同の度合いを示す会話者賛同度を決定する会話者賛同度決定手段と、前記決定された前記会話者賛同度に基づいて、前記複数のキーワードの優先度を決定する優先度決定手段と、前記認識結果と前記優先度とに基づいて、情報を検索する情報検索手段と、検索された検索結果を前記表示装置に表示する表示手段とを含むことを特徴とする。

上記の構成としたことで、実際の会話音声から精度高く認識した認識結果に基づいて、会話者の意図を反映した情報検索を行うことができるようになる。

前記優先度決定手段は、前記会話者賛同度に基づいて複数の前記会話者のうち否定的な度合いを示す会話者がいる場合に、検索条件子を変更する検索条件子変換手段を含む構成とされていてもよい。

前記ウェアラブル端末が当該ウェアラブル端末を備える前記会話者から取得した生体情報に基づいて特定した、発話の開始を示す発話開始情報を、当該ウェアラブル端末から受信する発話開始情報受信手段を含み、前記会話音声と前記発話開始情報とに基づいて、音声を発話した発話者を特定する発話者特定手段とを含み、前記優先度決定手段は、前記会話者のうち前記発話者を除いた他の会話者が備える前記ウェアラブル端末から送信された前記生体情報に基づいて特定された前記会話者賛同度に基づいて、前記キーワードの優先度を決定する構成とされていてもよい。

単語と、段階的に定義された前記会話者の賛同に関する情報とが対応付けされた会話者情報を記憶する会話者情報記憶手段と、前記キーワードと前記会話者賛同度とに基づいて前記会話者情報を更新する会話者情報更新手段とを含み、前記優先度決定手段は、前記会話者情報に基づいて前記複数のキーワードの優先度を決定する構成とされていてもよい。

前記生体情報は、脈波、脈拍、心電、脳波、体温、および体動のうち少なくとも何れか１つである構成とされていてもよい。

複数の前記ウェアラブル端末のうち何れかと一体的に形成される構成とされていてもよい。

前記ウェアラブル端末は、段階的に定義された前記会話者の賛同に関する情報と、生体情報とが対応付けされた会話者賛同データを記憶する会話者賛同データ記憶手段と、キーワードを聞いたときの前記会話者の生体情報を特定する生体情報特定手段と、特定された生体情報と、前記会話者賛同データとに基づいて、会話者の賛同度合いを示す賛同度情報を特定する賛同度情報特定手段と、特定された賛同度情報を前記情報検索装置に送信する賛同度情報送信手段とを有し、前記会話者賛同度決定手段は、前記ウェアラブル端末から送信された賛同度情報に基づいて前記会話者賛同度を決定する構成とされていてもよい。

段階的に定義された前記会話者の賛同に関する情報と、生体情報とが対応付けされた会話者賛同データを記憶する会話者賛同データ記憶手段を含み、前記ウェアラブル端末は、キーワードを聞いたときの前記会話者の生体情報を特定する生体情報特定手段と、特定された生体情報を前記情報検索装置に送信する生体情報送信手段とを有し、前記会話者賛同度決定手段は、前記ウェアラブル端末から送信された生体情報と、前記会話者賛同データとに基づいて前記会話者賛同度を決定する構成とされていてもよい。

また、本発明の情報検索プログラムは、音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示するように情報検索装置に動作制御させるための情報検索プログラムであって、前記情報検索装置に、会話に参加する会話者が備えるウェアラブル端末と無線接続する接続処理と、前記会話者による会話音声を取得する音声取得処理と、前記会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定する認識結果特定処理と、前記ウェアラブル端末により取得された前記会話者の生体情報に基づいて、前記キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同度を決定する会話者賛同度決定処理と、前記決定された前記会話者賛同度に基づいて、前記複数のキーワードの優先度を決定する優先度決定処理と、前記認識結果と前記優先度とに基づいて、情報を検索する情報検索処理と、検索された検索結果を前記表示装置に表示する表示処理とを実行させるためのものである。

また、本発明の情報検索システムは、音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する情報検索装置と、会話に参加する会話者が備えるウェアラブル端末とを備える情報検索システムであって、前記情報検索装置は、会話に参加する会話者が備えるウェアラブル端末と無線接続する接続手段と、前記会話者による会話音声を取得する音声取得手段と、前記会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定する認識結果特定手段と、前記ウェアラブル端末により取得された前記会話者の生体情報に基づいて、前記キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同度を決定する会話者賛同度決定手段と、前記決定された前記会話者賛同度に基づいて、前記複数のキーワードの優先度を決定する優先度決定手段と、前記認識結果と前記優先度とに基づいて、情報を検索する情報検索手段と、検索された検索結果を前記表示装置に表示する表示手段とを含むことを特徴とする。

本発明によれば、通常行われる会話音声から精度高く認識した認識結果に基づいて、ユーザの意図を反映した情報検索を行うことができるようになる。

情報検索システムの構成例を示すブロック図である。 情報検索装置の構成例を示すブロック図である。 ウェアラブル端末の構成の例を示すブロック図である。 会話者賛同データの格納例を示す説明図である。 情報検索システムの概念を説明するための概念図である。 情報検索処理の例を示すフローチャートである。 キーワード情報の構成の例を示す説明図である。 優先度データの構成の例を示す説明図である。 情報送信処理の例を示すフローチャートである。

以下、本発明の一実施の形態について図面を参照して説明する。本実施の形態に係る情報検索システム１０００は、複数人で発話された会話内容に基づいて情報検索処理を行い、検索した情報を表示装置に表示するものである。

図１は、情報検索システム１０００の構成の例を示すブロック図である。図１に示すように、情報検索システム１０００は、情報検索装置１００と、ウェアラブル端末２００〜２０Ｎ（Ｎは任意の整数）とを含む。情報検索装置１００は、ウェアラブル端末２００〜２０Ｎそれぞれと近距離無線通信ネットワーク３００を介して接続する。なお、以下で行う説明では、特に必要な場合を除き、ウェアラブル端末２００〜２０Ｎのうちウェアラブル端末２００を例にして説明し、ウェアラブル端末２０１〜２０Ｎは、ウェアラブル端末２００と同様の構成を備えるものとする。

図２は、情報検索装置１００の構成の例を示すブロック図である。情報検索装置１００は、モバイルタイプのパーソナルコンピュータ、ＰＮＤ（Portable Navigation Device）や専用デバイスなどの情報処理装置によって構成されるものである。以下、情報検索装置１００が、ユーザにより携帯されるスマートフォンである場合について説明する。

図２に示すように、情報検索装置１００は、制御部１０と、記憶部２０と、メモリ３０と、出力部４０と、通信部５０と、近距離無線通信部６０と、入力部７０とを含む。なお、特に図示しないが、情報検索装置１００は、一般的な情報検索装置としての機能を発揮するための構成を有する。

制御部１０は、例えばＣＰＵにより構成される。ＣＰＵなどにより構成される制御部１０は、記憶部２０に記憶された各種プログラムに従い、情報検索装置１００を構成する各要素を統括制御し、各種情報を検索する情報検索処理等の各種処理を実行するための機能を有する。制御部１０の詳細な説明は後で行う。

記憶部２０は、情報検索装置１００が使用する各種コンピュータプログラムや、情報検索装置として必要な各種情報を格納する記憶媒体である。例えば、記憶部２０は、ＲＯＭやＲＡＭなどで構成される。なお、特に図示しないが、記憶部２０は、システムソフトウェアおよびアプリケーションソフトウェア等の各種プログラムを格納するプログラム記憶部を含む。記憶部２０の詳細な説明は後で行う。

メモリ３０は、制御部１０が処理する各種情報を一時的に保持する記憶媒体である。例えば、メモリ３０は、ＲＡＭなどの半導体記憶装置により構成される。

表示部４０は、各種情報をユーザが認識可能な形で出力する機能を有する。表示部４０は、例えば、画像情報を表示する表示装置（例えば、入力機能を併せ持つタッチパネルなど）により構成される。

通信部５０は、通信ネットワークを介してデータ通信を行うための機能を有する。例えば、通信部５０は、無線ＬＡＮなどの無線通信技術により構成される。

近距離無線通信部６０は、近距離無線通信ネットワーク３００を介してデータ通信を行うための機能を有する。例えば、近距離無線通信部６０は、ＺＩＧＢＥＥ（登録商標）やＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離無線通信技術により構成される。

なお、本例では、情報検索装置１００とウェアラブル端末２００〜２０Ｎそれぞれとの接続は、近距離無線通信ネットワーク技術により行われることとしているが、リアルタイム性が損なわれない範囲において、インターネットなどの通信ネットワークを介したデータ通信が行われるように構成されていてもよい。

入力部７０は、ユーザからの指示を受け付ける機能や、音声を取得する機能を備える。すなわち、入力部７０は、音声取得手段を含む。入力部７０は、例えば、仮想的ボタンや物理的ボタン、およびマイクにより構成される。

次に制御部１０の詳細な説明を行う。
制御部１０は、接続処理部１１と、通信処理部１２と、認識結果特定部１３と、情報検索部１４とを含む。

接続処理部１１は、ウェアラブル端末２００〜２０Ｎそれぞれとペアリング処理を行うことにより通信を行える状態にする処理を実行する。

通信処理部１２は、通信部５０および近距離無線通信部６０により各種情報の送受信を行うための処理を実行する機能を有する。本例においては、通信処理部１２は、通信ネットワークを介して、ＷＥＢ上のデータを取得する処理を実行するための機能や、ウェアラブル端末２００〜２０Ｎから所定のデータを受信する処理を実行する。

認識結果特定部１３は、入力部７０（例えば、マイク）により取得した（音声取得手段により取得した）会話音声を所定のサンプリング周波数に基づいてＡ／Ｄ変換してデジタル音響信号を取得する処理や、取得したデジタル音響信号やモデルデータ（音響モデルデータや言語モデルデータなど）に基づいて発話者と発話内容とを含む認識結果を特定する処理を実行する。

情報検索部１４は、認識結果特定部１３により特定された認識結果に基づいて、通信ネットワークを介してＷＥＢ上のデータを検索する処理を実行する。本例の情報検索では、ＷＥＢ上のデータを検索する場合を例にして説明を行うが、情報検索装置１００に格納されるファイルなどのデータを検索するように構成されていてもよい。

次に記憶部２０の詳細な説明を行う。
記憶部２０は、音響モデルデータ記憶部２１と、言語モデルデータ記憶部２２と、意味推定データ記憶部２３とを含む。

音響モデルデータ記憶部２１は、音響モデルデータを格納する記憶媒体である。本例の音響モデルデータは、標準化された音響モデルデータであって、声の音響的な特徴を所定のラベル単位でモデル化したデータである。なお、情報検索装置１００が、ウェアラブル端末２００〜２０Ｎを装着する者それぞれに対応する音響モデルデータをウェアラブル端末２００〜２０Ｎそれぞれから受信することにより、音響モデルデータ記憶部２１が、会話に参加している者それぞれの音響モデルデータを格納する構成とされていてもよい。

言語モデルデータ記憶部２２は、言語モデルデータを格納する記憶媒体である。言語モデルデータは、単語とその並び方の情報を集めてモデル化したデータである。認識結果を特定するときに、音響モデルデータと並行して利用して認識結果の精度を向上させる。

意味推定データ記憶部２３は、意味推定データを格納する記憶媒体である。意味推定データは、入力音声に含まれる単語を関連する検索キーワードに置き換えるための情報である。例えば、入力音声に「近く」という単語が含まれる場合には、「半径１ｋｍ以内」という検索キーワードに置き換えるためのデータが格納される。また、入力音声に「新鮮」という単語が含まれる場合には、「現在日時、現在地エリアの旬情報」という検索キーワードに置き換えるためのデータが格納される。

なお、意味推定データは、推定処理を行う条件を含むように構成されていてもよい。例えば、意味推定データは、入力音声から特定される文章の前後の単語の内容を条件に含むように構成されていてもよい。具体的には、「魚」という単語が含まれる場合において、入力音声から特定される文章の前後において「食事」に関する単語が含まれる場合には、「魚」という単語を「魚料理」という検索キーワードに置き換えるためのデータが意味推定データとして格納されていてもよい。

なお、本例では、意味推定データと言語モデルデータとが別々に記憶される構成としているが、意味推定データを含む言語モデルデータを記憶する構成とされていてもよい。

図３は、ウェアラブル端末２００の構成の例を示すブロック図である。ウェアラブル端末２００は、身につけて持ち歩くことができる情報処理装置であり、スマートフォンや、腕時計型端末や、ヘッドマウントディスプレイなどの情報処理装置によって構成される。

図３に示すように、ウェアラブル端末２００は、制御部２１０と、記憶部２２０と、通信部２５０と、近距離無線通信部２６０と、センサ部２８０とを含む。なお、特に図示しないが、情報検索装置１００は、一般的な情報検索装置としての機能を発揮するための構成を有する。

制御部２１０は、例えばＣＰＵにより構成され、記憶部２２０に記憶された各種プログラムに従い、ウェアラブル端末２００を構成する各要素を統括制御し、発話が開始したことを示す発話開始情報の送信処理などの各種処理を実行するための機能を有する。

記憶部２２０は、各種コンピュータプログラムなどの各種情報を格納する記憶媒体である。例えば、記憶部２０は、ＲＯＭやＲＡＭなどで構成される。

通信部２５０は、通信ネットワークを介してデータ通信を行うための機能を有する。例えば、通信部２５０は、無線ＬＡＮなどの無線通信技術により構成される。

近距離無線通信部２６０は、近距離無線通信ネットワークを介してデータ通信を行うための機能を有する。例えば、近距離無線通信部２６０は、ＺＩＧＢＥＥ（登録商標）やＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離無線通信技術により構成される。

センサ部２８０は、生体情報を測定または判別する処理を実行する機能を有する。例えば、脈波センサなどにより構成される。測定または判別される生体情報は、脈拍、心電、脳波、体温、および体動などであってもよいし、これらの情報を複数測定するように構成されていてもよい。

次にウェアラブル端末２００が備える制御部２１０の詳細な説明を行う。
制御部２１０は、接続処理部２１１と、通信処理部２１２と、センサ情報処理部２１３と、判定部２１４と、データ更新処理部２１５とを含む。

接続処理部２１１は、情報検索装置１００とペアリング処理を行うことにより通信を行える状態にする処理を実行するための機能を有する。

通信処理部２１２は、近距離無線通信部２６０により各種情報の送受信を行うための処理を実行する機能を有する。本例においては、通信処理部２１２は、近距離無線通信ネットワークを介して情報検索装置１００に所定のデータ（例えば、発話開始情報や賛同度情報）を送信する処理を実行するための機能などを有する。

センサ情報処理部２１３は、センサ部２８０により測定または判別された情報をデジタル信号に変換する処理を実行する。

判定部２１４は、センサ情報処理部２１３により得られた生体情報と、記憶部２２０に格納する照合用データとに基づいて発話が開始されるか否かを判定する処理を実行する。発話が開始されると判定したときには、判定部２１４は、発話の開始を示す発話開始情報を情報検索装置１００に送信するように通信処理部２１２に指示する。

データ更新処理部２１５は、ウェアラブル端末２００上で発話テストを行い、発話が行われる際のユーザの反応に関するデータを特定し、ウェアラブル端末２００のユーザ固有の照合用データおよび会話者賛同データとするための更新処理を実行する。また、データ更新処理部２１５は、照合用データおよび会話者賛同データを、本システムを管理する装置（特に図示しないが、例えば、情報検索システム管理サーバなど）から送信される照合精度の高いデータに更新する処理を実行する。

次にウェアラブル端末２００が備える記憶部２２０の詳細な説明を行う。
記憶部２２０は、システムソフトウェアおよびアプリケーションソフトウェア等の各種プログラムを格納するプログラム記憶部と照合用データ記憶部２２１と、会話者賛同データ記憶部２２２とを含む。

照合用データ記憶部２２１は、発話時に出力されることが予測される照合用データを格納する記憶媒体である。本例の照合用データは、データ更新処理により適宜更新される。照合用データは、発話の開始時または発話の開始直前の生体の特徴を表したものである。

本例の照合用データは、各ウェアラブル端末２００〜２０Ｎを備える会話者個々に定義されたデータである。このような構成によれば、複数の者が会話に参加している場合でも、ウェアラブル端末は、精度高く取り付けられている会話者の発話を特定することができるようになる。すなわち、会話者が複数になる場合であっても、会話に参加する参加者個々に定義されたデータに基づいて発話の開始を特定することができるようになる。そのため、認識精度の高い音声認識技術を提供することができるようになる。

会話者賛同データ記憶部２２２は、キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同データを格納する記憶媒体である。図４は、会話者賛同データの格納例を示す説明図である。図４に示すように、会話者賛同データは、段階的に定義された会話者の賛同度合いに関する情報（本例では、１〜５の数値）と、生体情報とが対応付けされたデータである。生体情報は、本例では、脈波の波形データが用いられる。本例の会話者の賛同度は、１〜５の５段階に設定されており、それぞれが生体情報（本例であれば、脈波の波形データ）と対応付けされる。本例では、１に近づけば近づくほど否定的な賛同を抱いていることが示され、５に近づけば近づくほど肯定的な賛同を抱いていることが示されるように設定されている。

本例の会話者賛同データは、各ウェアラブル端末２００〜２０Ｎを備える会話者個々に定義されたデータである。このような構成によれば、複数の者が会話に参加している場合でも、ウェアラブル端末は、精度高く取り付けられている会話者の賛同度合いを特定することができるようになる。すなわち、会話者が複数になる場合であっても、会話に参加する参加者個々に定義されたデータに基づいて発話されたワードに対する賛同度合いを精度高く特定することができるようになる。そのため、通常行われる会話音声から精度高く認識した認識結果に基づいて、ユーザの意図を精度高く反映した情報検索を提供することができるようになる。

以上、情報検索システム１０００の構成について説明した。次に情報検索システム１０００により実行される情報検索処理の概念について説明する。

図５は、それぞれウェアラブル端末を取り付けた複数の会話者にて行われる情報検索システムの概念を説明するための概念図である。図４に示すように、本例の情報検索システムは、スマートフォンＳと、複数の会話者（Ｕ１，Ｕ２，Ｕ３）と、会話者それぞれに取り付けられたウェアラブル端末（Ｗ１，Ｗ２，Ｗ３）とを含む。また、スマートフォンＳはウェアラブル端末Ｗ１，Ｗ２，Ｗ３のそれぞれとペアリングされているものとして説明する。

図５に示すように、まず発話者Ｕ１は、自己が管理するスマートフォンＳの音声認識機能をＯＮする。音声認識機能がＯＮにされた状態で、発話者Ｕ１が「近くで新鮮な魚料理が食べられる店ないかな」と発話し、その発話に対して発話者Ｕ２が「暑いから煮魚よりもお刺身が食べたいな」という会話が行われるとする。

この場合において、先ず、Ｕ１およびＵ２が行った発話は、スマートフォンＳにより取得される。スマートフォンＳにより取得された会話に基づいて情報の検索が行われる。この検索においては、発話者以外のユーザの賛同度合いが考慮される。すなわち、各検索キーワードに関してキーワードを聞いたユーザの賛同度がウェアラブル端末により取得され、その賛同度に基づいて各検索キーワードに重み付け（優先度付け）が付けられる。

そして、優先度が決定されると、決定された優先度に基づいて、優先検索が実行され、検索結果がスマートフォンＳの表示画面に表示される。

以上、情報検索システム１０００の概念について説明した。次に、情報検索システム１０００の動作について図面を参照して説明する。なお、本発明に特に係わらない処理については、その詳細な説明を省略している場合がある。

図６は、情報検索システム１０００における情報検索装置１００が実行する情報検索処理の例を示すフローチャートである。情報検索処理では、音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する処理が実行される。

なお、本例の情報検索処理においては、図５の概念図で示した状況を例にして説明を行う。すなわち、情報検索装置１００を管理する発話者Ｕ１，Ｕ２，Ｕ３がそれぞれウェアラブル端末２００〜２０２を取り付けている状況において、発話者Ｕ１，Ｕ２，Ｕ３との会話を用いて検索が行われる場合を例にして説明を行う。より詳しく言えば、発話者Ｕ１の「近くで新鮮な魚料理が食べられる店ないかな」と、発話者Ｕ２の「暑いから煮魚よりもお刺身が食べたいな」とを含む「近くで新鮮な魚料理が食べられる店ないかな、暑いから煮魚よりもお刺身が食べたいな」という会話音声が認識対象としての音声情報である場合を例にして説明を行う。なお、本例では、情報検索装置１００とウェアラブル端末２００〜２０２とがペアリング処理されており、情報検索装置１００とウェアラブル端末２００〜２０２それぞれとが近距離無線通信を行える状況とされているものとする。また、ペアリングされているウェアラブル端末の数は、４以上でもよい。

情報検索処理において、先ず、情報検索装置１００は、情報検索装置１００のユーザによる処理開始指示を受け付ける（ステップＳ１０１）。例えば、情報検索装置１００は、発話者Ｕ１から情報検索装置１００の表示装置に表示される検索処理開始アイコンの選択操作を受け付ける。

処理開始時を受け付けると、情報検索装置１００は、ペアリング済のウェアラブル端末２００〜２０２に対して生体情報の推移を特定可能な状態に移行させるための指示情報を送信する（ステップＳ１０２）。

そして、ウェアラブル端末２００〜２０２に対する指示情報の送信とともに、情報検索装置１００は、音声データの取得を開始する（ステップＳ１０３）。本例では、発話者Ｕ１の「近くで新鮮な魚料理が食べられる店ないかな」という発話と、発話者Ｕ２の「暑いから煮魚よりもお刺身が食べたいな」という発話を含む「近くで新鮮な魚料理が食べられる店ないかな、暑いから煮魚よりもお刺身が食べたいな」という会話音声が認識される。

さらに、情報検索装置１００は、ペアリング済のウェアラブル端末２００〜２０２に対して生体情報を取得させるための生体情報取得指示を送信する（ステップＳ１０４）。

また、音声データ取得中に、情報検索装置１００は、ウェアラブル端末２００〜２０２から発話開始情報を受信する（ステップＳ１０５）。本例では、情報検索装置１００は、会話者Ｕ１が発話したことにより特定された発話開始情報をウェアラブル端末２００から、会話者Ｕ２が発話したことにより特定された発話開始情報をウェアラブル端末２０１から受信することとなる。なお、ウェアラブル端末２００〜２０Ｎで実行される発話開始情報の特定処理については、後で詳しく説明する。

その後、情報検索端末１００は、所定のタイミングにて音声データの取得を終了して、各ウェアラブル端末２００〜２０２に対して音声データの取得を終了したことを示す音声データ取得終了情報を送信する（ステップＳ１０６）。この所定のタイミングは、例えば、ユーザからの発話が無くなったことを検出した場合や、ユーザから終了操作を受け付けた場合などとされる。

音声データの取得が終了されると、情報検索装置１００は、取得した音声データに基づいて検索用のキーワードを特定するための認識結果特定処理を実行する（ステップＳ１０７）。

ここで、認識結果特定処理について詳しく説明する。認識結果特定処理では、情報検索装置１００が、音声データと音響モデルデータと言語モデルデータと意味推定データとに基づいて検索に用いるキーワード（検索キーワード）を特定する。より具体的に言えば、本例では、情報検索装置１００が、音声データと音響モデルデータとに基づいて、「近くで新鮮な魚料理が食べられる店ないかな、暑いから煮魚よりもお刺身が食べたいな」という文章を特定し、当該文章と言語モデルデータと意味推定データとに基づいて検索条件子を含めた『「周辺１ｋｍ」ＡＮＤ「現在日時、現在地エリアの旬情報」ＡＮＤ「魚料理」ＡＮＤ「暑いときにオススメ」ＮＯＴ「煮魚」』という検索キーワードを認識結果として特定する。

図７は、認識結果特定処理にて特定された検索キーワードに関連するキーワード情報の構成の例を示す説明図である。図７に示すように、キーワード情報は、音声データの分割データと、分割データから推定される検索キーワードとを含む。本例では、例えば、「近く」という入力音声に対応する「周辺１ｋｍ」という情報が検索キーワードとして特定されることになる。

検索キーワードが特定されると、情報検索装置１００は、各検索キーワードの発話者を特定する（ステップＳ１０８）。具体的には、情報検索装置１００は、ステップＳ１０５で受信した発話開始情報に基づいて検索キーワードに対応する発話者を特定する。

検索キーワードごとの発話者を特定すると、情報検索装置１００は、特定した検索キーワードを聞いた会話者の賛同度情報を送信させるための賛同度情報送信指示情報をウェアラブル端末に送信する（ステップＳ１０９）。本例では、ステップＳ１０８で特定した発話者に基づいて、情報検索装置１００は、会話者のうち発話者を除いた他の会話者が備えるウェアラブル端末に対して、賛同度情報送信指示情報を送信する。

ここで、「賛同度情報送信指示情報」には、キーワードが発話された位置（つまり、発話されたタイミング）を示すキーワード対応情報が含まれる。すなわち、「賛同度情報送信指示情報」は、賛同度情報送信指示情報を受信したウェアラブル端末２００〜２０２にて、キーワードに対応する賛同度を特定させるための情報を含む。本例では、「賛同度情報送信指示情報」は、キーワードが発話された位置を示すキーワード対応情報を含む構成としているが、賛同度情報送信指示情報を受信したウェアラブル端末２００〜２０２にて、キーワードに対応する賛同度を特定させるための情報であれば、本例のような構成には限らない。

その後、情報検索装置１００は、賛同度情報をウェアラブル端末から受信する（ステップＳ１１０）。

賛同度情報が受信されると、情報検索装置１００は、賛同度情報に基づいて検索キーワードの優先度を決定する優先度決定処理を実行する（ステップＳ１１１）。

ここで、優先度決定処理について詳しく説明する。本例の優先度決定処理では、優先付処理と検索条件子変換処理とが実行される。優先付処理は、会話者賛同度から得られたデータ（点数）から検索キーワードの重み付けを行うための処理が実行される。片や検索条件子変化処理は、会話者賛同度から得られたデータ（点数）から、認識結果として得られた検索条件子を変換するための処理が実行される。

図８は、優先度決定処理により特定された優先度データの構成の例を示す説明図である。優先度決定処理では、情報検索装置１００は、先ず、各会話者の賛同度合いが段階的に示された情報に基づいて、各キーワードごとの点数を特定し、キーワードごとの平均点を特定する。なお、ここでの点数は、図４にて示される会話者賛同データを用いる。すなわち、ここで用いる点数を求めるためのデータは、１〜５の段階的に定義されるデータであり、１に近づけば近づくほど賛同していない（否定的な賛同である）ことを示し、５に近づけば近づくほど賛同している（肯定的な賛同である）ことを示すデータである。

優先度決定処理においては、図８に示すように、「新鮮」というキーワードに対する賛同度情報の平均値が「４」と最も高いことから、「新鮮」というキーワードが第１ソートキーとして決定される。また、次に平均値の高い「お刺身」というキーワードが第２ソートキーとして決定される。本例では第１ソートキーと、第２ソートキーとを決定することにより、優先度を付ける構成としているが、第１ソートキーのみ、または第３以上のソートキーを決定するように構成されていてもよい。

検索条件子変換処理においては、平均値が所定のスコアを下回ったときに、検索条件子を変換する処理が実行される。言い換えれば、情報検索装置１００は、会話者賛同度合いに基づいて複数の会話者のうち否定的な賛同（賛同していないこと）を示す会話者がいる場合に検索条件子を変更する。具体的に説明すると、図８に示すように、「半径１ｋｍ」というキーワードに対するユーザＵ２の点数は「３」、ユーザＵ３の点数は「１」となっている。この平均は「２」となるので、魚料理に対する会話者の反応は好ましくなかったことがわかる。本例では「所定のスコア」として、「２」という数字を基準とする構成を採用している。そのため、情報検索装置１００は、ユーザＵ１が発話したことにより特定された「半径１ｋｍ」の検索条件子を変更する処理を実行する。すなわち、この場合であれば、「ＡＮＤ」という検索条件子を「ＮＯＴ」という検索条件子に変換する処理が実行される。

なお、検索条件子変換処理は、実行されないように構成されていてもよい。

検索キーワードの優先度を決定すると、情報検索装置１００は、決定された優先度と、検索キーワードとに基づいて情報検索を行う（ステップＳ１１２）。

情報検索が行われると、情報検索装置１００は、検索結果を表示画面に表示する（ステップＳ１１３）。そして、情報検索装置１００は、情報検索処理を終了する。

以上、情報検索処理の例について説明した。

次に、ウェアラブル端末２００〜２０Ｎが実行する情報送信処理の例を説明する。

図９は、ウェアラブル端末２００にて実行される情報送信処理の例を示すフローチャートである。情報送信処理では、ウェアラブル端末２００〜２０Ｎにより特定された各会話者の発話開始情報と賛同度情報とを情報検索装置１００に送信する処理が実行される。ここでは、発話者Ｕ１が備えるウェアラブル端末２００にて実行される情報送信処理の例を説明するが、他のウェアラブル端末（２０１〜２０Ｎ）でも同様の処理が実行されるものとする。

情報送信処理において、先ず、ウェアラブル端末２００は、情報検索装置１００から生体情報の推移を特定可能な状態に移行させるための指示情報を受信する（ステップＳ２０１）。

生体情報の推移を特定可能な状態に移行させるための指示情報を受信したウェアラブル端末２００は、生体情報取得状態に移行する（ステップＳ２０２）。すなわち、ウェアラブル端末２００は、生体情報を特定する。本例では、脈波センサが会話者Ｕ１の脈波データを特定する。

そして、ウェアラブル端末２００は、特定した生体情報と、照合用データとを照合する（ステップＳ２０３）。すなわち、生体情報と照合用データとの一致度合いを特定する。

データ照合が行われると、ウェアラブル端末２００は、発話の開始が特定できたか否かを判定する（ステップＳ２０４）。具体的には、生体情報と照合用データとの一致度合いが所定の閾値を超えているか否かを判定する。

なお、本例の判定処理は、「発話の開始が特定できるか否か」を判定する構成とされているが、「発話が開始される直前であるか否か」を判定する構成とされていてもよい。すなわち、「発話のタイミング」を特定するように構成されていてもよい。

また、脈波ではなく、脈拍や体温などの数値を計測可能なデータに基づいて判定を行う場合には、閾値となる所定の数値を超えているか否かを判定するように構成されていてもよい。このような構成によっても、ウェアラブル端末のユーザ（会話者）による発話開始時を特定することが可能である。

発話の開始が特定できないと判定したとき（ステップＳ２０４のＮ）は、ウェアラブル端末２００は、発話開始情報送信処理を終了するか否かを判定する（ステップＳ２０６）。上述した、情報検索処理では特に言及していないが、発話開始情報送信処理を終了する否かの判定は、情報検索装置１００から情報検索処理が終了したことを示す情報を受信したか否かを判定することにより行われるように構成されていればよい。

一方で、発話の開始が特定できた判定したとき（ステップＳ２０４のＹ）には、ウェアラブル端末２００は、ペアリングしている情報検索装置１００に対して発話の開始を示す発話開始情報を送信する（ステップＳ２０５）。

発話開始情報送信処理を終了しないと判定したとき（ステップＳ２０６のＮ）には、ウェアラブル端末２００は、再度ステップＳ２０３に移行してデータ照合を行う。

一方で、発話開始情報送信処理を終了すると判定したとき（ステップＳ２０６のＹ）には、ウェアラブル端末２００は、生体情報取得状態を解除し、賛同度情報送信指示を受信する（ステップＳ２０７）。

賛同度情報送信指示が受信されると、ウェアラブル端末２００は、賛同度情報送信指示に含まれるキーワードが発話された位置を示すキーワード対応情報と、自己の記憶媒体に格納した生体情報および会話者賛同データとを参照して、各検索キーワードに対応する賛同度情報を特定する（ステップＳ２０８）。なお、本例では、検索キーワードを発話した発話者が備えるウェアラブル端末である場合は、当該ウェアラブル端末に対して当該検索キーワードに関する部分についての賛同度情報送信指示が送信されない構成としているため、当該検索キーワードに対応する賛同度情報は特定されないように構成される。

各検索キーワードに対応する賛同度情報が特定されると、ウェアラブル端末２００は、情報検索装置１００に特定された賛同度情報を送信する（ステップＳ２０９）。賛同度情報が送信されると、ウェアラブル端末２００は、情報送信処理を終了する。

以上、情報送信処理の例について説明した。

以上に説明したように、本実施の形態に係る情報検索装置１００は、音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する情報検索装置であって、会話に参加する会話者（Ｕ１，Ｕ２，Ｕ３）が備えるウェアラブル端末（２００〜２０２）と無線接続し、会話者による会話音声を取得し、会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定し、ウェアラブル端末により取得された会話者の生体情報（脈波データ）に基づいて、キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同度を決定し、決定した会話者賛同度に基づいて、複数のキーワードの優先度を決定し、認識結果と優先度とに基づいて、情報を検索し、検索した検索結果を表示装置に表示する構成としている。このような構成によれば、実際の会話音声から精度高く認識した認識結果に基づいて、会話者の意図を反映した情報検索を行うことができるようになる。

また、上述した実施の形態で説明したように、情報検索装置は、会話者賛同度に基づいて複数の会話者のうち否定的な賛同を示す会話者がいる場合に、検索条件子を変更するように構成される。

また、上述した実施の形態で説明したように、ウェアラブル端末２００〜２０Ｎは、当該ウェアラブル端末を備える会話者から取得した生体情報に基づいて特定した、発話の開始を示す発話開始情報を、当該ウェアラブル端末から受信し、情報検索装置１００は、会話音声と発話開始情報とに基づいて、音声を発話した発話者を特定し、会話者のうち発話者を除いた他の会話者が備えるウェアラブル端末から送信された生体情報に基づいて特定された会話者賛同度に基づいて、キーワードの優先度を決定するように構成される。このような構成によれば、発話者以外の会話者の賛同度に基づいて検索を行うことができるようになる。そのため、より正確に発話を聞いた者の意思を反映させて検索を行うことができるようになる。

また、上述した実施の形態で特に言及していないが、情報検索装置１００は、単語と、段階的に定義された会話者の賛同度合いに関する情報とが対応付けされた会話者情報を記憶する会話者情報記憶部を備え、キーワードと会話者賛同度合いとに基づいて会話者情報を更新し、会話者情報に基づいて複数のキーワードの優先度を決定するように構成されていてもよい。このような構成によれば、ウェアラブル端末から受信したデータを用いた検索を行うときに、当該受信したデータを蓄積・管理しておくことにより、賛同度情報を取得する手段がない場合であっても、精度のある会話者の賛同度合いを考慮した優先度検索を行うことができるようになる。

また、上述した実施の形態で説明したように、生体情報は、脈波、脈拍、心電、脳波、体温、および体動のうち少なくとも何れか１つであるように構成されていてもよい。

また、上述した実施の形態では特に言及していないが、情報検索端末１００は、複数のウェアラブル端末（２００〜２０Ｎ）のうち何れかと一体的に形成される構成とされていてもよい。

また、上述した実施の形態では特に言及していないが、ウェアラブル端末２００〜２０Ｎは、情報検索装置１００と同一の機能を含むように構成されていてもよい。すなわち、上述した実施の形態においては、ウェアラブル端末２００〜２０Ｎは、音声認識機能や、情報検索機能や、他のウェアラブル端末との接続機能などの情報検索装置１００が有する機能を有さないように構成されていたが、ウェアラブル端末２００〜２０Ｎは、音声認識機能や、情報検索機能や、他のウェアラブル端末との接続機能などの情報検索装置１００が有する機能を有するように構成されていてもよい。

また、上述した実施の形態における情報検索装置１００およびウェアラブル端末２００は、自己が備える記憶装置に記憶されている各種制御プログラムに従って、上述した各種の処理を実行する。

なお、上述した実施の形態では特に言及していないが、本例の会話者賛同データは、ウェアラブル端末が備えるように構成されているが、ウェアラブル端末ではなく、情報検索端末が備えるように構成されていてもよい。このような構成の場合、情報検索システムは、ウェアラブル端末が生体情報を情報検索端末に送信し、情報検索端末が受信した生体情報に基づいて賛同度情報を特定する構成とされていればよい。

本発明は、通常行われる会話から会話に参加する者の意図を反映させた情報検索を行うのに有用である。

１００ 情報検索装置
１０，２１０ 制御部
１１，２１１ 接続処理部
１２，２１２ 通信処理部
１３ 認識結果特定部
１４ 情報検索部
２０，２２０ 記憶部
２１ 音響モデルデータ記憶部
２２ 言語モデルデータ記憶部
２３ 意味推定データ記憶部
３０ メモリ
４０ 表示部
５０，２５０ 通信部
６０，２６０ 近距離無線通信部
７０ 入力部
２００〜２０Ｎ ウェアラブル端末
２１３ センサ情報処理部
２１４ 判定部
２１５ データ更新処理部
２２１ 照合用データ記憶部
２２２ 会話者賛同データ記憶部
２８０ センサ部
３００ 近距離無線通信ネットワーク
１０００ 情報検索システム
Ｓ スマートフォン
Ｗ１，Ｗ２，Ｗ３ ウェアラブル端末
Ｕ１，Ｕ２，Ｕ３ 会話者

Claims (10)

1. 音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する情報検索装置であって、
   会話に参加する会話者が備えるウェアラブル端末と無線接続する接続手段と、
   前記会話者による会話音声を取得する音声取得手段と、
   前記会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定する認識結果特定手段と、
   前記ウェアラブル端末により取得された前記会話者の生体情報に基づいて、前記キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同度を決定する会話者賛同度決定手段と、
   前記決定された前記会話者賛同度に基づいて、前記複数のキーワードの優先度を決定する優先度決定手段と、
   前記認識結果と前記優先度とに基づいて、情報を検索する情報検索手段と、
   検索された検索結果を前記表示装置に表示する表示手段とを含む
   ことを特徴とする情報検索装置。
2. 前記優先度決定手段は、前記会話者賛同度に基づいて複数の前記会話者のうち否定的な賛同を示す会話者がいる場合に、検索条件子を変更する検索条件子変換手段を含む
   請求項１記載の情報検索装置。
3. 前記ウェアラブル端末が当該ウェアラブル端末を備える前記会話者から取得した生体情報に基づいて特定した、発話の開始を示す発話開始情報を、当該ウェアラブル端末から受信する発話開始情報受信手段を含み、
   前記会話音声と前記発話開始情報とに基づいて、音声を発話した発話者を特定する発話者特定手段とを含み、
   前記優先度決定手段は、
   前記会話者のうち前記発話者を除いた他の会話者が備える前記ウェアラブル端末から送信された前記生体情報に基づいて特定された前記会話者賛同度に基づいて、前記キーワードの優先度を決定する
   請求項１または請求項２記載の情報検索装置。
4. 単語と、段階的に定義された前記会話者の賛同度合いに関する情報とが対応付けされた会話者情報を記憶する会話者情報記憶手段と、
   前記キーワードと前記会話者賛同度とに基づいて前記会話者情報を更新する会話者情報更新手段とを含み、
   前記優先度決定手段は、前記会話者情報に基づいて前記複数のキーワードの優先度を決定する
   請求項１から請求項３のうち何れかに記載の情報検索装置。
5. 前記生体情報は、脈波、脈拍、心電、脳波、体温、および体動のうち少なくとも何れか１つである
   請求項１から請求項４のうち何れかに記載の情報検索装置。
6. 複数の前記ウェアラブル端末のうち何れかと一体的に形成される
   請求項１から請求項５のうち何れかに記載の情報検索装置。
7. 前記ウェアラブル端末は、
   段階的に定義された前記会話者の賛同度合いに関する情報と、生体情報とが対応付けされた会話者賛同データを記憶する会話者賛同データ記憶手段と、
   キーワードを聞いたときの前記会話者の生体情報を特定する生体情報特定手段と、
   特定された生体情報と、前記会話者賛同データとに基づいて、会話者の賛同度合いを示す賛同度情報を特定する賛同度情報特定手段と、
   特定された賛同度情報を前記情報検索装置に送信する賛同度情報送信手段とを有し、
   前記会話者賛同度決定手段は、
   前記ウェアラブル端末から送信された賛同度情報に基づいて前記会話者賛同度を決定する
   請求項１から請求項６のうち何れかに記載の情報検索装置。
8. 段階的に定義された前記会話者の賛同度合いに関する情報と、生体情報とが対応付けされた会話者賛同データを記憶する会話者賛同データ記憶手段を含み、
   前記ウェアラブル端末は、
   キーワードを聞いたときの前記会話者の生体情報を特定する生体情報特定手段と、
   特定された生体情報を前記情報検索装置に送信する生体情報送信手段とを有し、
   前記会話者賛同度決定手段は、
   前記ウェアラブル端末から送信された生体情報と、前記会話者賛同データとに基づいて前記会話者賛同度を決定する
   請求項１から請求項６のうち何れかに記載の情報検索装置。
9. 音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示するように情報検索装置に動作制御させるための情報検索プログラムであって、
   前記情報検索装置に、
   会話に参加する会話者が備えるウェアラブル端末と無線接続する接続処理と、
   前記会話者による会話音声を取得する音声取得処理と、
   前記会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定する認識結果特定処理と、
   前記ウェアラブル端末により取得された前記会話者の生体情報に基づいて、前記キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同度を決定する会話者賛同度決定処理と、
   前記決定された前記会話者賛同度に基づいて、前記複数のキーワードの優先度を決定する優先度決定処理と、
   前記認識結果と前記優先度とに基づいて、情報を検索する情報検索処理と、
   検索された検索結果を前記表示装置に表示する表示処理とを
   実行させるための情報検索プログラム。
10. 音声認識を用いて情報の検索を行い表示装置の表示画面に検索結果を表示する情報検索装置と、会話に参加する会話者が備えるウェアラブル端末とを備える情報検索システムであって、
    前記情報検索装置は、
    会話に参加する会話者が備えるウェアラブル端末と無線接続する接続手段と、
    前記会話者による会話音声を取得する音声取得手段と、
    前記会話音声から検索に用いる複数のキーワードと検索演算子とを含む認識結果を特定する認識結果特定手段と、
    前記ウェアラブル端末により取得された前記会話者の生体情報に基づいて、前記キーワードを聞いたときの会話者の賛同度合いを示す会話者賛同度を決定する会話者賛同度決定手段と、
    前記決定された前記会話者賛同度に基づいて、前記複数のキーワードの優先度を決定する優先度決定手段と、
    前記認識結果と前記優先度とに基づいて、情報を検索する情報検索手段と、
    検索された検索結果を前記表示装置に表示する表示手段とを含む
    ことを特徴とする情報検索システム。

Images