JP7159576B2 - 情報提示装置、情報提示システム、情報提示方法及びプログラム - Google Patents

Description

本発明は、情報提示装置、情報提示システム、情報提示方法及びプログラムに関する。

従来、会議の参加者に会議に関連する情報を提示する技術が利用されている。このような技術により、会議の参加者は、会議の関連する情報を明示的に検索することなく、会議に役立つ情報を手に入れることができる。

例えば、撮像手段により取得された文字列の画像やマイクにより取得された音声から文字情報を抽出し、抽出された文字情報に基づく支援情報を生成する技術が提案されている（特許文献１）。

しかしながら、従来の技術は、議論の内容によらず、発話や投影資料に含まれたキーワードをもとに検索した情報を提示するものであるため、提示する必要性の低い情報も提示してしまう可能性があった。

本発明は、上記に鑑みてなされたものであって、提示される情報の適切性を向上させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一形態は、発話又は表示された内容を示すテキストデータに、問いかけ側と応答側との観点に基づき分類した前記テキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けたトピック単位の議論構造化データに基づいて、問いかけ側のテキストデータと依存関係にある応答側のテキストデータの状態又は内容から、前記トピックに関連する関連情報の提示の要否を判断する情報提示判断部と、前記情報提示判断部が前記関連情報の提示要と判断した場合に、前記トピックに関連する関連情報を所定の情報ソースから取得する情報取得部と、前記議論構造化データに含まれる依存関係情報に基づいて、テキストデータ間の依存関係を階層表示によって可視化した可視化データを所定の出力装置に出力する出力部と、を備え、前記出力部は、前記情報取得部が取得した前記関連情報又は当該関連情報の一部を前記可視化データに付加するとともに、当該関連情報の提示要の判断に係る問いかけ側のテキストデータを識別可能に可視化する。

本発明によれば、提示される情報の適切性を向上させることが可能となる。

図１は、第１の実施形態に係る情報提示システムのシステム構成例を示す図である。 図２は、第１の実施形態に係る管理サーバ及びデータベースサーバのハードウェア構成例を示すブロック図である。 図３は、第１の実施形態に係る情報提示システム（管理サーバ）の機能構成例を示すブロック図である。 図４は、第１の実施形態に係るテキストデータ記憶部のデータ構造例を示す図である。 図５は、第１の実施形態に係る議論構造化データ記憶部のデータ構造例を示す図である。 図６は、第１の実施形態に係る情報記憶部のデータ構造例を示す図である。 図７は、第１の実施形態に係る情報提示システム（管理サーバ）で実行される情報提示処理の一例を示すフローチャートである。 図８は、第１の実施形態に係る情報提示システム（管理サーバ）で実行される関連情報取得処理の一例を示すフローチャートである。 図９は、第１の実施形態に係る可視化データを表示した表示画面の一例を示す図である。 図１０は、第１の実施形態に係る可視化データを表示した表示画面の他の例を示す図である。 図１１は、第２の実施形態に係る情報提示システム（管理サーバ）の機能構成例を示すブロック図である。 図１２は、第３の実施形態に係る情報提示システム（管理サーバ）の機能構成例を示すブロック図である。

以下に添付図面を参照して、情報提示装置、情報提示システム、情報提示方法及びプログラムの実施形態を詳細に説明する。以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には当業者が容易に想到できるもの、実質的に同一のもの、及びいわゆる均等の範囲のものが含まれる。以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更、及び組み合わせを行うことができる。

（第１の実施形態）
図１は、第１の実施形態に係る情報提示システム１のシステム構成例を示す図である。情報提示システム１は、会議の参加者に会議に関連する関連情報を提示するシステムである。なお、「関連情報」は、「会議」に関連する情報に限られるものではなく、任意の期間内の任意の時刻に提示又は取得される情報に関連する情報であり得る。本例に係る情報提示システム１は、管理サーバ１１、データベースサーバ１２、マイク１３、プロジェクタ１４（表示装置）、ディスプレイ１５（表示装置）、クライアント端末１６（端末）、及びネットワーク１９を含む。

マイク１３は会議の参加者の音声を集音し、音声データを生成する。音声データはネットワーク１９を介して管理サーバ１１に送信される。プロジェクタ１４は所定のスクリーンに画像（静止画又は動画）を投影する。ディスプレイ１５は画像を表示する。プロジェクタ１４及びディスプレイ１５は、ネットワーク１９を介して管理サーバ１１から送信される画像データ、制御信号等に応じて動作する。

クライアント端末１６は会議の参加者等により操作されるパーソナルコンピュータであり、ネットワーク１９を介して管理サーバ１１と接続している。データベースサーバ１２は、関連情報を含む各種データを管理（書き込み、読み出し、検索等）する、プロセッサ、記憶装置等を含むコンピュータシステムであり、ネットワーク１９を介して管理サーバ１１と接続している。

管理サーバ１１は、情報提示装置の一例である。管理サーバ１１は、関連情報を参加者に提示するための処理を行う、プロセッサ、記憶装置等を含むコンピュータシステムであり、ネットワーク１９を介してデータベースサーバ１２、マイク１３、プロジェクタ１４、ディスプレイ１５、クライアント端末１６、その他適宜なデバイスと接続している。

なお、プロジェクタ１４とディスプレイ１５とは常に両方同時に使用されなければならないものではなく、どちらか一方のみが使用されてもよい。また、ディスプレイ１５は管理サーバ１１からの制御信号だけでなく、クライアント端末１６からの制御信号に基づいて動作する場合がある。また、図１においては表示装置としてプロジェクタ１４とディスプレイ１５とが例示されているが、例えば、表示（投影）機能と入力機能とを兼ね備えたデバイス（電子黒板（インタラクティブホワイトボード）、電子情報ボード等）を利用してもよい。また、取得済みの表示内容に基づいて、管理サーバ１１からの制御により、所定の表示装置に関連情報が表示されてもよい。また、データベース機能を有するサーチエンジンを利用する場合には、情報提示システム１内にデータベースサーバ１２が含まれていなくてもよい。また、管理サーバ１１は特定のコンピュータであってもよいが、管理サーバ１１の機能をクラウドに委託する構成であってもよい。

図２は、第１の実施形態に係る管理サーバ１１及びデータベースサーバ１２のハードウェア構成例を示すブロック図である。管理サーバ１１及びデータベースサーバ１２は、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、ストレージ２４、入力デバイス２５、出力デバイス２６、及び通信Ｉ／Ｆ２７を含む。ＣＰＵ２１はＲＯＭ２３に記憶されたプログラムに従ってＲＡＭ２２をワーキングエリアとして所定の制御演算処理を行う。ストレージ２４は不揮発性メモリであって、各種プログラムや各種データを記憶する。入力デバイス２５は、使用者（システム管理者等）の操作を受け付けて外部から情報を入力するためのデバイスであり、例えばキーボード、マウス、タッチパネル等である。出力デバイス２６は、内部で生成した情報を外部に出力するためのデバイスであり、例えばディスプレイ、プリンタ等である。通信Ｉ／Ｆ２７は、ネットワーク１９を介して外部の機器との間で情報の送受信を可能にするデバイスである。なお、入力デバイス２５及び／又は出力デバイス２６が不要となる場合がある。

なお、図１及び図２に示すシステム構成及びハードウェア構成は単なる例示である。情報提示システム１は、使用状況に応じて適宜なハードウェア及びソフトウェアを利用して構築されるものとする。

図３は、第１の実施形態に係る情報提示システム１（管理サーバ１１）の機能構成例を示すブロック図である。本例に係る情報提示システム１（管理サーバ１１）は、音声データ取得部１０１、画像データ取得部１０２、テキスト化部１０３、テキストデータ記憶部１０４、議論構造化データ生成部１０５、議論構造化データ記憶部１０６、可視化データ生成部１０７、出力部１０８、操作入力部１０９、議論構造化データ編集部１１０、情報提示判断部１１１、キーワード生成部１１２、情報取得部１１３、情報記憶部１１４、及び情報表示要求受付部１１５を有する。

上記した機能構成のうち、音声データ取得部１０１、画像データ取得部１０２、テキスト化部１０３、議論構造化データ生成部１０５、可視化データ生成部１０７、出力部１０８、操作入力部１０９、議論構造化データ編集部１１０、情報提示判断部１１１、キーワード生成部１１２、情報取得部１１３、及び情報表示要求受付部１１５は、例えば、管理サーバ１１のＣＰＵ２１と、ＲＯＭ２３又はストレージ２４に記憶されたプログラムとの協働により実現される。また、テキストデータ記憶部１０４、議論構造化データ記憶部１０６、及び情報記憶部１１４は、例えば、管理サーバ１１やデータベースサーバ１２のストレージ２４等により実現される。

音声データ取得部１０１は、例えば、会議中に発せられた音声の音声データを取得する。音声データは、例えば、会議室に設置されたマイク１３を介して取得される。

画像データ取得部１０２は、会議室等に設置された表示装置（プロジェクタ１４、ディスプレイ１５等）に表示された画像の画像データを取得する。画像データは、表示装置に実際に表示された画像を撮影したデータであってもよいし、表示内容を示すコンテンツデータ等であってもよい。

テキスト化部１０３は、音声データ取得部１０１及び画像データ取得部１０２によって取得されたデータ（音声データ、画像データ）をテキスト化する。音声データをテキスト化することにより、発話内容を示したテキストデータが生成される。画像データをテキスト化することにより、表示内容を示したテキストデータが生成される。テキスト化は、公知の音声認識処理（ＡＳＲ（Automatic Speech Recognition）処理）、画像認識処理（ＯＣＲ（Optical Character Recognition）処理）等を利用して行うことができ、主に管理サーバ１１の処理能力を利用して行うことができる。音声データ、及び画像データの入力及び保持は、例えば、管理サーバ１１のストレージ２４等を利用して行われる。

テキストデータ記憶部１０４は、テキスト化部１０３で生成されたテキストデータを記憶する。図４は、テキストデータ記憶部１０４のデータ構造例を示す図である。本例に係るテキストデータ記憶部１０４は、「会議ＩＤ」、「テキストＩＤ」、「内容」、「言語」、「タイムスタンプ」、及び「認識タイプ」のカラム（項目）を用いて、テキストデータを記憶・管理する。

「会議ＩＤ」は、テキスト化の対象となった元データが取得された会議を特定するための識別子（会議毎に一意に割り当てられる識別番号）である。つまり、同一の会議ＩＤが付されたテキストデータは、同一の会議から取得されたことを意味する。「テキストＩＤ」は、テキスト化の対象となった元データを特定する識別子（テキストデータ毎に一意に割り当てる識別番号）である。テキストＩＤは、例えば後述するタイムスタンプの時系列順に、昇順の識別番号が割り当てられる。「内容」は、テキストデータそのものであり、例えば、会議中に発話又は表示された内容を示す。「言語」は、テキストデータの言語の種類を示す。「タイムスタンプ」は、テキスト化の対象となった元データの取得日時を示す。「認識タイプ」は、テキスト化に利用した認識処理の種類（本例ではＯＣＲ又はＡＳＲ）を示す。

議論構造化データ生成部１０５は、テキストデータ記憶部１０４に記憶されたテキストデータを解析することで、テキストデータ間の関係を表した議論構造化データを生成する。本例に係る議論構造化データ生成部１０５は、分類部１０５１、関係解析部１０５２、及びトピック抽出部１０５３を有する。

分類部１０５１は、テキストデータの内容を問いかけ側と応答側との観点に基づき所定のカテゴリに分類することで、テキストデータのタイプを特定する。具体的には、分類部１０５１は、テキストデータに含まれた文字列や、その内容が示す意図等を解析することで、テキストデータのタイプ（カテゴリ）を分類する。

テキストデータのタイプは、例えば、「質問」、「回答」、「提案」、「要望」、「意見」等が挙げられる。ここで、「質問」、「提案」、「要望」は、問いかけ側に分類されるタイプである。また、「回答」、「意見」は、応答側に分類されるタイプである。問いかけ側と応答側とのタイプは、テキストデータ間の文脈の中で依存関係を有する。例えば、「質問」に対する「回答」や、「提案」に対する「意見」等である。なお、テキストデータのタイプは、これらの例に限らないものとする。また、分類部１０５１は、例えば、認識タイプがＯＣＲのテキストデータ等、所定の条件に該当するテキストデータについては分類しない構成としてもよい。この場合、分類が行われないテキストデータについては、議論構造化データとして生成されないものとする。以下、タイプが「質問」のテキストデータを質問タイプのテキストデータという。また、他のタイプについても同様に表記する。

関係解析部１０５２は、テキストデータ間の依存関係を解析し、依存関係にあるテキストデータを特定する。具体的には、関係解析部１０５２は、テキストデータ間の時系列や文脈、分類部１０５１が分類したタイプ等に基づいて、テキストデータ間の依存関係を解析する。

トピック抽出部１０５３は、関係解析部１０５２で依存関係にあると判断されたテキストデータ群毎に、議論の対象となったトピックを抽出（特定）する。

議論構造化データ生成部１０５は、上記した分類部１０５１、関係解析部１０５２、及びトピック抽出部１０５３の処理結果に基づき、トピック単位の議論構造化データを生成する。そして、議論構造化データ生成部１０５は、生成した議論構造化データを議論構造化データ記憶部１０６に記憶する。なお、テキストデータからタイプ、依存関係、及びトピックを特定する方法は特に問わないものとする。例えば、公知のセマンティック技術や、自然言語処理技術、キーワード抽出技術等を用いてもよい。

議論構造化データ記憶部１０６は、議論構造化データ生成部１０５で生成された議論構造化データを記憶する。図５は、議論構造化データ記憶部１０６のデータ構造例を示す図である。図５に示すように、本例に係る議論構造化データは、「テキストＩＤ」、「内容」、「タイプ」、「依存ＩＤ」、及び「トピックＩＤ」のカラム（項目）を用いて、議論構造化データを記憶・管理する。

ここで、「テキストＩＤ」及び「内容」は、テキストデータ記憶部１０４の「テキストＩＤ」及び「内容」に対応するものである。また、「タイプ」は、分類部１０５１で分類されたテキストデータのタイプを示す。

「依存ＩＤ」は、関係解析部１０５２によって特定されたテキストデータ間の依存関係を示すものである。つまり、「依存ＩＤ」は、依存関係にあるテキストデータ間の依存関係を示す依存関係情報の一例である。具体的には、「依存ＩＤ」には、依存先のテキストデータのテキストＩＤが格納される。なお、議論の発端となった最初のテキストデータの「依存ＩＤ」は、ｎｕｌｌとなる。

「トピックＩＤ」は、トピック抽出部１０５３で抽出されたトピックを示す。なお、依存関係にあるテキストには、同一のトピックが格納される。

このように、議論構造化データは、会議中に発話又は表示された内容を示すテキストデータに、問いかけと応答との概念に基づき分類したテキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けることで構成される。

なお、図５では、依存ＩＤ（テキストＩＤ）を用いることでテキストデータ間の依存関係を階層的に表しているが、入れ子集合モデル等の別の形態で表してもよい。また、議論構造化データは、ＪＳＯＮやＸＭＬ等のテキストベースの形態で保管してもよい。

可視化データ生成部１０７は、議論構造化データを可視化した可視化データを生成する。可視化データは、テキストデータの内容や、タイプ、依存関係、トピック等を視認可能状態で表したものである。可視化の形態は特に問わないものとするが、例えばグラフや階層構造で表してもよい。

出力部１０８は、可視化データ生成部１０７で生成された可視化データを所定の出力装置に出力することで、当該可視化データを会議の参加者に提示する。具体的には、出力部１０８は、クライアント端末１６、ディスプレイ１５、プロジェクタ１４等の表示装置に可視化データを表示する。

操作入力部１０９は、会議の参加者が可視化データに対して行った操作を受け付ける。具体的には、操作入力部１０９は、クライアント端末１６、電子黒板、電子情報ボード等の入力装置を介して入力された可視化データに対する編集操作を受け付ける。

議論構造化データ編集部１１０は、操作入力部１０９が受け付けた操作内容に基づいて、操作対象の可視化データの生成元となった議論構造化データを編集する。編集内容としては、例えば、議論構造化データを構成するテキストデータ、タイプ、依存関係、及びトピックの変更や削除等が挙げられる。議論構造化データ編集部１１０によって議論構造化データが編集されると、可視化データ生成部１０７及び出力部１０８は、編集後の可視化データを表示装置に表示する。

情報提示判断部１１１は、議論構造化データ記憶部１０６に記憶されたトピック単位の議論構造化データに基づき、関連情報の提示の要否を判断する。具体的には、情報提示判断部１１１は、問いかけ側のテキストデータに依存する応答側のテキストデータの状態又は内容から、トピックに関連する関連情報の提示の要否を判断する。

上述したように、トピック単位の議論構造化データには、テキストデータのタイプと依存関係とが示されている。そのため、問いかけ側のテキストデータに依存する応答側のテキストデータの状態又は内容を解析することで、そのトピックに対する参加者間の遣り取りの状態や内容を推測することができる。例えば、質問に対し回答があったか否かは、質問タイプのテキストデータに、回答タイプのテキストデータが関連付けられているか否かで判別できる。また、質問に対し回答があった場合であっても、その回答が不明確（曖昧）か否かを、回答タイプのテキストデータに含まれる文字列（「たぶん」、「だいたい」等の曖昧言葉）や文脈等から判別できる。また、提案や要望に対しどの程度の意見が挙がったかは、提案タイプ又は要望タイプのテキストデータに関連付けられた意見タイプのテキストデータの件数を計数することで判別できる。

そこで、情報提示判断部１１１は、上記した「質問に対して回答が行われていない場合」、「不明確な回答が行われた場合」、「意見の件数が所定数以下の場合」等、議論が停滞や不十分な状態にあると考えられる場合に、関連情報の提示要と判断する。なお、提示要の判断基準はこれらに限らず、議論に有益と考えられる状態であれば他の判断基準を採用してもよい。

キーワード生成部１１２は、関連情報の提示要と判断された議論構造化データのトピックに基づき、当該トピックに関連する過去の議論構造化データから検索用のキーワードを生成する。ここで、「過去の議論構造化データ」は、関連情報の提示要と判断された議論構造化データ（テキストデータ）よりも以前に取得された、他の会議（会議ＩＤ）の議論構造化データを意味する。

キーワード生成部１１２は、過去の議論構造化データに含まれたテキストデータから、キーワードとなる文字列を抽出し、検索用のキーワードを生成する。係るキーワードは、例えば、キーワード抽出技術等を用いて抽出される。

情報取得部１１３は、関連情報の提示要と判断された議論構造化データのトピック等に基づき、外部ソース５０から関連情報を検索する。具体的には、情報取得部１１３は、検索用のクエリを生成し、クエリを外部ソース５０に送信することで、外部ソース５０からクエリに適合する関連情報を取得する。情報取得部１１３は、例えば、管理サーバ１１の処理能力を利用して実現される。

ここで、クエリは、情報検索における明確な情報要求のことである。クエリは、提示要と判断された議論構造化データのトピックである。また、クエリは、提示要と判断された議論構造化データのテキストデータから抽出した文字列（キーワード）であってもよい。また、クエリは、キーワード生成部１１２によって生成されたキーワードであってもよい。さらに、クエリは、これらのトピック、キーワードを論理演算子や他の修飾子で繋いだものであってもよい。なお、外部ソース５０は、情報ソースの一例であり、例えばＷＷＷ（World Wide Web）や社内で使用されている文書管理システム（データベースサーバ１２）等である。

情報取得部１１３は、外部ソース５０から関連情報を取得すると、取得した関連情報を提示要と判断された議論構造化データ又はテキストデータに対応付けて情報記憶部１１４に記憶する。なお、情報取得部１１３は、関連情報として、データそのもの（実データ）を取得してもよいし、実データの格納先を示したＵＲＬ（Uniform Resource Locator）又はＵＲＩ（Uniform Resource Identifier）を取得してもよい。また、情報取得部１１３が取得する関連情報の件数は１件に限らず、複数件であってもよい。

情報記憶部１１４は、情報取得部１１３が取得した関連情報を記憶する。図６は、情報記憶部１１４のデータ構造例を示す図である。本例に係る情報記憶部１１４は、「リファレンスＩＤ」、「ＵＲＬ」、「会議ＩＤ」、「テキストＩＤ」、「トピックＩＤ」及び「タイムスタンプ」のカラム（項目）を用いて、関連情報を記憶・管理する。

「リファレンスＩＤ」は、関連情報の各々を識別するための識別子である。「ＵＲＬ」は、関連情報（実データ）の格納先を示すＵＲＬ又はＵＲＩである。なお、関連情報（実データ）自体を格納する構成としてもよい。

「会議ＩＤ」、「テキストＩＤ」、「トピックＩＤ」は、関連情報の提示先となる議論構造化データ（又はテキストデータ）を特定するための情報である。「会議ＩＤ」は、提示要と判断された議論構造化データのテキストデータに関連付けられている会議ＩＤである。「テキストＩＤ」は、提示要と判断された議論構造化データのテキストデータのうち、キーワードの抽出元となったテキストデータのテキストＩＤである。「トピックＩＤ」は、関連情報の取得に用いたトピックのトピックＩＤである。「タイムスタンプ」は、関連情報の取得が行われた日時である。

なお、トピックのみを基に取得された関連情報については、テキストＩＤが「ｎｕｌｌ」となる。また、キーワード生成部１１２が生成したキーワードに基づき取得された関連情報については、テキストＩＤ及びトピックＩＤがともに「ｎｕｌｌ」となる。

可視化データ生成部１０７は、情報記憶部１１４に関連情報が記憶されると、当該関連情報を該当する議論構造化データに含め、可視化データを生成する。具体的には、可視化データ生成部１０７は、情報記憶部１１４の会議ＩＤ、テキストＩＤ、トピックＩＤに基づいて、関連情報の付加先となる議論構造化データ又はテキストデータを特定する。次いで、可視化データ生成部１０７は、関連情報又は当該関連情報の一部を該当する議論構造化データに付加した可視化データを生成する。そして、出力部１０８は、関連情報が付加された可視化データを表示装置に出力（表示）する。

これにより、会議の参加者は、可視化された議論構造化データとともに、当該議論構造化データのトピックやテキストデータに関連する関連情報又は当該関連情報の一部を観察することができる。なお、関連情報がＵＲＬ等の格納先で示されている場合には、情報取得部１１３がその格納先から取得した関連情報（実データ）又は関連情報の一部を、該当する議論構造化データに付加して表示を行うものとする。

情報表示要求受付部１１５は、関連情報の一部が表示された場合等に、クライアント端末１６、電子黒板、電子情報ボード等の入力装置を介し、関連情報（全部）を表示するための表示要求を受け付ける。情報表示要求受付部１１５は、表示要求を受け付けると、情報取得部１１３や可視化データ生成部１０７、出力部１０８等と協働することで、該当する関連情報を表示装置に表示させる。

例えば、関連情報の実データが情報記憶部１１４に記憶されている場合、情報表示要求受付部１１５は、関連情報の表示要求を受け付けると、出力部１０８と協働することで、情報記憶部１１４に記憶された該当する関連情報を表示装置に表示させる。

また、例えば、関連情報の格納先が情報記憶部１１４に記憶されている場合、情報表示要求受付部１１５は、関連情報の表示要求を受け付けると、情報取得部１１３と協働することで、その格納先から関連情報を取得し、情報記憶部１１４に記憶させる。そして、情報表示要求受付部１１５は、出力部１０８と協働することで、情報記憶部１１４に記憶された該当する関連情報を表示装置に表示させる。

次に、図７、図８を参照して、第１の実施形態に係る情報提示システム１（管理サーバ１１）で実行される処理例について説明する。図７は、第１の実施形態に係る情報提示システム１（管理サーバ１１）で実行される情報提示処理の一例を示すフローチャートである。

会議が始まると、テキスト化部１０３は、データ（音声データ、画像データ）の入力があるか否かを判定する（ステップＳ１１）。データの入力がない場合には（ステップＳ１１；Ｎｏ）、ステップＳ１６に移行する。

テキスト化部１０３は、データが入力されたと判定すると（ステップＳ１１；Ｙｅｓ）、入力されたデータをテキスト化し、テキストデータを生成する（ステップＳ１２）。生成されたテキストデータは、テキストデータ記憶部１０４に記憶される。

続いて、議論構造化データ生成部１０５（分類部１０５１、関係解析部１０５２、トピック抽出部１０５３）は、テキストデータ記憶部１０４に記憶されたテキストデータを解析し、議論構造化データを生成する（ステップＳ１３）。生成された議論構造化データは、議論構造化データ記憶部１０６に記憶される。

可視化データ生成部１０７は、議論構造化データ記憶部１０６に記憶された議論構造化データを可視化した可視化データを生成する（ステップＳ１４）。次いで、出力部１０８は、生成された可視化データを表示装置に表示（出力）する（ステップＳ１５）。

これにより、会議の参加者は、表示装置に表示された可視化データを参照することで、これまでの議論の内容や、遣り取り、トピック等を確認することができる。操作入力部１０９を介した操作により、議論構造化データが編集された場合には、その編集内容を反映した可視化データが表示装置に表示される。

続いて、可視化データ生成部１０７は、情報取得部１１３によって議論構造化データに関連する関連情報が取得されたか否かを判定する（ステップＳ１６）。より詳細には、可視化データ生成部１０７は、議論構造化データに関連する関連情報が情報記憶部１１４に記憶されたか否かを判定する。ここで、関連情報が取得されていないと判定した場合（ステップＳ１６；Ｎｏ）、ステップＳ１８に移行する。

可視化データ生成部１０７は、関連情報が取得されたと判定すると（ステップＳ１６；Ｙｅｓ）、情報記憶部１１４から関連情報の一部を読み出し、該当する議論構造化データとともに可視化データを生成する。出力部１０８は、関連情報が付加された可視化データを表示装置に表示することで、関連情報の一部を会議の参加者に提示する（ステップＳ１７）。

これにより、会議の参加者は、表示装置に表示された関連情報の一部を参照することで、議論の内容や、遣り取り、トピックに関連した情報が存在することを確認することができる。

続いて、情報表示要求受付部１１５は、関連情報の表示が要求されたか否かを判定する（ステップＳ１８）。ここで、関連情報の表示が要求されないと判定した場合（ステップＳ１８；Ｎｏ）、ステップＳ２０に移行する。

情報表示要求受付部１１５は、関連情報の表示が要求されたと判定すると（ステップＳ１８；Ｙｅｓ）、要求された関連情報を特定可能な情報を、可視化データ生成部１０７、出力部１０８、情報記憶部１１４等に通知する。次いで、出力部１０８は、該当する関連情報を情報記憶部１１４等から取得し、表示装置に表示する（ステップＳ１９）。

これにより、会議の参加者は、表示装置に表示された関連情報を参照することで、議論に役立つ情報や議論の内容に関係した過去の記録等を得ることができる。

続いて、テキスト化部１０３は、会議が終了したか否かを判定する（ステップＳ２０）。例えば、テキスト化部１０３は、音声データの入力が所定時間（例えば５分等）途絶えた場合に、会議が終了したと判定する。また、例えば、テキスト化部１０３は、マイク１３やクライアント端末１６を介して、会議の終了が明示的に指示された場合に、会議が終了したと判定する。

ここで、テキスト化部１０３が、会議が終了したと判定した場合（ステップＳ２０；Ｙｅｓ）、処理を終了する。また、テキスト化部１０３が、会議が終了していないと判定した場合には（ステップＳ２０；Ｎｏ）、ステップＳ１１に戻る。

図８は、第１の実施形態に係る情報提示システム１（管理サーバ１１）で実行される関連情報取得処理の一例を示すフローチャートである。なお、本処理は、会議が行われている間、図７に示した情報提示処理のバックグラウンドで常時又は一定時間毎に繰り返し実行されるものである。また、本処理では、質問タイプのテキストデータに対する、回答タイプのテキストデータの状態に基づき、関連情報の提示要否を判断する例を取り上げるが、提案や要望に対する意見の件数等に基づき、関連情報の提示要否を判断するものであってもよい。

まず、情報提示判断部１１１は、議論構造化データ記憶部１０６に記憶された議論構造化データをトピック単位で参照する（ステップＳ３１）。次いで、情報提示判断部１１１は、参照した議論構造化データの中に、質問タイプのテキストデータが存在するか否かを判定する（ステップＳ３２）。ここで、質問タイプのテキストデータが存在しないと判定した場合（ステップＳ３２；Ｎｏ）、情報提示判断部１１１は、関連情報の提示不要と判断し、処理を終了する。

質問タイプのテキストデータが存在すると判定した場合（ステップＳ３２；Ｙｅｓ）、情報提示判断部１１１は、参照した議論構造化データの中に、質問タイプのテキストデータに依存する、対となる回答タイプのテキストデータが存在するか否かを判定する（ステップＳ３３）。

回答タイプのテキストデータが存在すると判定した場合（ステップＳ３３；Ｙｅｓ）、情報提示判断部１１１は、その回答タイプのテキストデータを解析し、その回答内容が明確か否かを判定する（ステップＳ３４）。ここで、回答内容が明確と判定した場合には（ステップＳ３４；Ｙｅｓ）、情報提示判断部１１１は、関連情報の提示不要と判断し、処理を終了する。

一方、ステップＳ３３で回答タイプのテキストデータが存在しないと判定した場合（ステップＳ３３；Ｎｏ）、又はステップＳ３４で回答内容が不明確と判定した場合（ステップＳ３４；Ｎｏ）、情報提示判断部１１１は、ステップＳ３５に移行する。なお、回答タイプのテキストデータの有無を判定する場合には、質問タイプのテキストデータのタイムスタンプと現在の時刻とに基づき、当該タイムスタンプの時刻から所定時間（例えば、５秒等）経過した後に有無を判定することが好ましい。

続いて、情報提示判断部１１１は、参照した議論構造化データに関連する関連情報が提示（表示）済みか否かを判定する（ステップＳ３５）。より詳細には、情報提示判断部１１１は、参照した議論構造化データに関する関連情報が情報記憶部１１４に記憶されているか否かを判定する。ここで、参照した議論構造化データに関する関連情報が情報記憶部１１４に記憶されている場合、情報提示判断部１１１は、関連情報が表示済（提示済）と判定し（ステップＳ３５；Ｙｅｓ）、処理を終了する。

また、参照した議論構造化データに関する関連情報が情報記憶部１１４に記憶されていない場合、情報提示判断部１１１は、関連情報が未表示（未提示）と判定し（ステップＳ３５；Ｎｏ）、関連情報の提示要と判断する。この場合、キーワード生成部１１２は、提示要と判断された議論構造化データのトピックに基づき、過去の議論構造化データから検索用のキーワードを生成する（ステップＳ３６）。

続いて、情報取得部１１３は、提示要と判断された議論構造化データのトピック、検索用のキーワード等を含んだクエリを外部ソース５０に送信することで、関連情報を取得し（ステップＳ３７）、処理を終了する。なお、ステップＳ３７で取得された関連情報は、情報記憶部１１４に記憶され、図７で説明したステップＳ１６、Ｓ１７の処理によって、その一部が表示装置に表示されることになる。

図９は、第１の実施形態に係る可視化データを表示した表示画面Ｇ１の一例を示す図である。可視化データ生成部１０７及び出力部１０８により、議論構造化データを可視化した可視化データが表示装置の表示画面Ｇ１に表示される。

図９は、トピックＩＤが「Ｔｏｐｉｃ１」及び「Ｔｏｐｉｃ２」の議論構造化データを可視化した可視化データを示している。係る議論構造化データは、図５の議論構造化データ記憶部１０６に記憶された、トピックＩＤが「Ｔｏｐｉｃ１」及び「Ｔｏｐｉｃ２」の議論構造化データに対応する。可視化データでは、議論構造化データに含まれたテキストデータ間の依存関係が、階層表示によって識別可能に表示される。また、図９では、質問タイプ及び回答タイプのテキストデータＴ１、Ｔ２に対し、そのタイプを表すマークＭ１、Ｍ２を対応付けて表示している。

また、図１０は、第１の実施形態に係る可視化データを表示した表示画面Ｇ１の他の例を示す図であり、図９の可視化データに関連情報の一部が付加された例を示している。ここでは、質問タイプのテキストデータＴ１に対する回答タイプのテキストデータＴ２の回答内容が不明確と判断された例を示しており、画面右上の情報欄Ｐ１に関連情報の一部を表示している。より詳細には、関連情報の一部として、去年（２０ＸＸ年）の展示会の検討案が存在する旨を表示している。さらに、図１０では、関連情報を取得した際のキーワードがテキストデータＴ１の「去年」に由来している例を示しており、対応するテキストデータＴ１を強調表示している。係る対応付けは、情報記憶部１１４の「会議ＩＤ」、「テキストＩＤ」、「トピックＩＤ」等の情報から特定される。

また、情報欄Ｐ１は、関連情報の表示を要求するための操作子として機能し、情報欄Ｐ１をクリック操作等することで、関連情報の表示要求が入力される。例えば、情報欄Ｐ１には、該当する関連情報の格納先（ＵＲＬ）や、リファレンスＩＤ等がハイパーリンクとして埋め込まれている。情報表示要求受付部１１５は、情報欄Ｐ１の操作によって関連情報の表示要求を受け付けると、その関連情報を特定可能な格納先やリファレンスＩＤを情報取得部１１３や出力部１０８に通知する。そして、出力部１０８は、該当する関連情報を情報記憶部１１４等から取得し、表示装置に表示することで、会議の参加者に関連情報を提示する。なお、関連情報の表示形態は特に問わず、可視化データとともに表示させてもよいし、可視化データに重畳して表示させてもよい。

上記のように、情報提示システム１（管理サーバ１１）によれば、会議中に発話又は表示された内容を示すテキストデータに、問いかけ側と応答側との観点に基づき分類したテキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けたトピック単位の議論構造化データを生成する。また、情報提示システム１（管理サーバ１１）によれば、トピック単位の議論構造化データに基づいて、問いかけ側のテキストデータに依存する応答側のテキストデータの状態又は内容から、トピックに関連する関連情報の提示の要否を判断する。そして、情報提示システム１（管理サーバ１１）によれば、提示要と判断した場合に、トピックに関連する関連情報を外部ソース５０から取得し、取得した関連情報又は当該関連情報の一部を表示装置に出力する。

これにより、「質問に対して回答が行われていない場合」、「不明確な回答が行われた場合」、「意見の件数が所定数以下の場合」等、議論が停滞や不十分な状態にあると考えられる場合に、その議論の対象となったトピックに関連する関連情報を提示することができる。したがって、情報提示システム１（管理サーバ１１）によれば、提示された関連情報を参考にしながら、議論を進めたり不明確な内容を明確化したりできるため、提示される情報の適切性を向上させることができる。

以下、他の実施形態について図面を参照して説明する。なお、第１の実施形態と同一又は同様の作用効果を奏する箇所については同一の符号を付してその説明を省略する場合がある。

（第２の実施形態）
図１１は、第２の実施形態に係る情報提示システム２（管理サーバ１１ａ）の機能構成例を示すブロック図である。本実施形態に係る情報提示システム２（管理サーバ１１ａ）は、文書からテキストデータの取得を行うことのできる構成（テキストデータ取得部２０１）を有することを特徴とする。

テキストデータ取得部２０１は、例えば、会議の発話録や議事録等の議論に関係する文書に含まれた各センテンスを、テキストデータとして取得する。取得元の文書は、電子化された文書データであってもよいし、紙文書であってもよい。紙文書の場合、テキストデータ取得部２０１は、紙文書を撮像又はスキャンした画像にＯＣＲ等を施すことで、テキストデータを取得する。

取得されたテキストデータは、テキストデータ記憶部１０４に保管される。そして、第１の実施形態と同様、議論構造化データ生成部１０５によって解析されることで、議論構造化データが生成される。以後の処理は、第１の実施形態と同様である。

本実施形態に係る情報提示システム２（管理サーバ１１ａ）によれば、会議の発話録や議事録といった文書に対しても、可視化データ（議論構造化データ）や関連情報の提示を行うことができる。なお、図１１の機能構成に、第１の実施形態で説明した音声データ取得部１０１、画像データ取得部１０２、及びテキスト化部１０３を組み合わせた構成としてもよい。

（第３の実施形態）
図１２は、第３の実施形態に係る情報提示システム３（管理サーバ１１ｂ）の機能構成例を示すブロック図である。本実施形態に係る情報提示システム３（管理サーバ１１ｂ）は、図３の機能構成から音声データ取得部１０１、画像データ取得部１０２、テキスト化部１０３、及びテキストデータ記憶部１０４を取り除いたものである。

本実施形態では、議論構造化データ記憶部１０６に議論構造化データが既に記憶されている状態、又は、ユーザ自身が議論構造化データの生成（編集）を手動で行う構成となる。後者の場合、議論構造化データ記憶部１０６に記憶される議論構造化データの当初の状態は、タイプ、依存ＩＤ及びトピックＩＤの一部又は全部を空白としてもよい。

手動で議論構造化データの生成（編集）を行う場合、ユーザは、出力部１０８によって表示装置に表示される可視化データを確認しながら、操作入力部１０９等を介して、タイプ、依存関係、トピック等の項目を設定する。これにより、議論構造化データ編集部１１０では、操作入力部１０９の操作に応じて、操作の対象となった議論構造化データの設定を編集する。これにより、第１の実施形態と同様に関連情報の提示を行うことができる。

上記のように、本実施形態に係る情報提示システム３（管理サーバ１１ｂ）によれば、議論構造化データの自動生成が行えないような場合であっても、ユーザによって手動設定された内容に基づき、関連情報の提示の要否を判断することができる。したがって、情報提示システム３（管理サーバ１１ｂ）によれば、第１の実施形態と同様に、提示される情報の適切性を向上させることができる。なお、ユーザによって行われた操作内容を、議論構造化データを自動生成する際の学習用データとして記録する構成としてもよい。

以上、本発明の実施形態を説明したが、上記実施形態は例として提示したものであり、発明の範囲を限定することを意図するものではない。この新規な実施形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更、及び組み合わせを行うことができる。この実施形態及びその変形は発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２、３ 情報提示システム
１１、１１ａ、１１ｂ 管理サーバ
１２ データベースサーバ
１３ マイク
１４ プロジェクタ
１５ ディスプレイ
１６ クライアント端末
１９ ネットワーク
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ ストレージ
２５ 入力デバイス
２６ 出力デバイス
２７ 通信Ｉ／Ｆ
５０ 外部ソース
１０１ 音声データ取得部
１０２ 画像データ取得部
１０３ テキスト化部
１０４ テキストデータ記憶部
１０５ 議論構造化データ生成部
１０６ 議論構造化データ記憶部
１０７ 可視化データ生成部
１０８ 出力部
１０９ 操作入力部
１１０ 議論構造化データ編集部
１１１ 情報提示判断部
１１２ キーワード生成部
１１３ 情報取得部
１１４ 情報記憶部
１１５ 情報表示要求受付部
２０１ テキストデータ取得部

特開２０１４－１７０４８４号公報

Claims (11)

1. 発話又は表示された内容を示すテキストデータに、問いかけ側と応答側との観点に基づき分類した前記テキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けたトピック単位の議論構造化データに基づいて、問いかけ側のテキストデータと依存関係にある応答側のテキストデータの状態又は内容から、前記トピックに関連する関連情報の提示の要否を判断する情報提示判断部と、
   前記情報提示判断部が前記関連情報の提示要と判断した場合に、前記トピックに関連する関連情報を所定の情報ソースから取得する情報取得部と、
   前記議論構造化データに含まれる依存関係情報に基づいて、テキストデータ間の依存関係を階層表示によって可視化した可視化データを所定の出力装置に出力する出力部と、
   を備え、
   前記出力部は、前記情報取得部が取得した前記関連情報又は当該関連情報の一部を前記可視化データに付加するとともに、当該関連情報の提示要の判断に係る問いかけ側のテキストデータを識別可能に可視化する 情報提示装置。
2. 発話された音声データを取得する音声データ取得部と、
   表示された画像データを取得する画像データ取得部と、
   前記音声データ取得部及び画像データ取得部で取得されたデータを前記テキストデータに変換するテキスト化部と、
   前記テキスト化部で変換された前記テキストデータに基づいて、前記テキストデータのタイプと、他のテキストデータとの依存関係と、議題となったトピックとを特定し、トピック単位の前記議論構造化データを生成する議論構造化データ生成部と、
   を更に備える請求項１に記載の情報提示装置。
3. 議論に関係する文書から前記テキストデータを取得するテキストデータ取得部と、
   前記テキストデータ取得部で取得された前記テキストデータに基づいて、前記テキストデータのタイプと、他のテキストデータとの依存関係と、議題となったトピックとを特定し、トピック単位の前記議論構造化データを生成する議論構造化データ生成部と、
   を更に備える請求項１に記載の情報提示装置。
4. 前記情報提示判断部は、問いかけ側のテキストデータに依存する応答側のテキストデータが存在しない場合に、前記関連情報の提示要と判断する請求項１～３の何れか一項に記載の情報提示装置。
5. 前記情報提示判断部は、問いかけ側のテキストデータに依存する応答側のテキストデータの内容が不明確な場合に、前記関連情報の提示要と判断する請求項１～４の何れか一項に記載の情報提示装置。
6. 前記情報提示判断部は、問いかけ側のテキストデータに依存する応答側のテキストデータの件数が所定値未満の場合に、前記関連情報の提示要と判断する請求項１～５の何れか一項に記載の情報提示装置。
7. 前記出力部は、前記テキストデータのタイプを識別可能に可視化した前記可視化データを前記出力装置に出力する請求項１に記載の情報提示装置。
8. 前記可視化データに対する編集操作を受け付ける操作入力部と、
   前記操作入力部が受け付けた編集操作に応じて、前記可視化データに対応する前記議論構造化データを編集する議論構造化データ編集部と、
   を更に備える請求項１に記載の情報提示装置。
9. 発話又は表示された内容を示すテキストデータに、問いかけ側と応答側との観点に基づき分類した前記テキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けた議論構造化データを記憶する議論構造化データ記憶部と、
   トピック単位の前記議論構造化データに基づいて、問いかけ側のテキストデータと依存関係にある応答側のテキストデータの状態又は内容から、前記トピックに関連する関連情報の提示の要否を判断する情報提示判断部と、
   前記情報提示判断部が前記関連情報の提示要と判断した場合に、前記トピックに関連する関連情報を所定の情報ソースから取得する情報取得部と、
   前記議論構造化データに含まれる依存関係情報に基づいて、テキストデータ間の依存関係を階層表示によって可視化した可視化データを所定の出力装置に出力する出力部と、
   を有し、
   前記出力部は、前記情報取得部が取得した前記関連情報又は当該関連情報の一部を前記可視化データに付加するとともに、当該関連情報の提示要の判断に係る問いかけ側のテキストデータを識別可能に可視化する 情報提示システム。
10. 情報提示装置で実行される情報提示方法であって、
    発話又は表示された内容を示すテキストデータに、問いかけ側と応答側との観点に基づき分類した前記テキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けたトピック単位の議論構造化データに基づいて、問いかけ側のテキストデータと依存関係にある応答側のテキストデータの状態又は内容から、前記トピックに関連する関連情報の提示の要否を判断する判断工程と、
    前記判断工程で 前記関連情報の提示要と判断された場合に、前記トピックに関連する関連情報を所定の情報ソースから取得する取得工程と、
    前記議論構造化データに含まれる依存関係情報に基づいて、テキストデータ間の依存関係を階層表示によって可視化した可視化データを所定の出力装置に出力する出力工程と、
    を含み、
    前記出力工程では、前記取得工程で取得された前記関連情報又は当該関連情報の一部を前記可視化データに付加するとともに、当該関連情報の提示要の判断に係る問いかけ側のテキストデータを識別可能に可視化する 情報提示方法。
11. 発話又は表示された内容を示すテキストデータに、問いかけ側と応答側との観点に基づき分類した前記テキストデータのタイプと、他のテキストデータとの依存関係を示した依存関係情報と、議論の対象となったトピックとを対応付けたトピック単位の議論構造化データに基づいて、問いかけ側のテキストデータと依存関係にある応答側のテキストデータの状態又は内容から、前記トピックに関連する関連情報の提示の要否を判断する判断機能と、
    前記判断機能が前記関連情報の提示要と判断した場合に、前記トピックに関連する関連情報を所定の情報ソースから取得する取得機能と、
    前記議論構造化データに含まれる依存関係情報に基づいて、テキストデータ間の依存関係を階層表示によって可視化した可視化データを所定の出力装置に出力する出力機能と、
    を情報提示装置のコンピュータに実行させ、
    前記出力機能は、前記取得機能が取得した前記関連情報又は当該関連情報の一部を前記可視化データに付加するとともに、当該関連情報の提示要の判断に係る問いかけ側のテキストデータを識別可能に可視化する プログラム。

Images