JP6375592B2 - 情報処理装置及び情報処理方法並びにプログラム - Google Patents

Description

本発明は、情報処理システムに関する。

＜マインドマップ＞
独創的な着想を生み出す着想支援法として、様々な手法が既に提案され、知られている。

二次元図式的な着想支援法として、日本で広く用いられている方法として、川喜田二郎氏の紙カード式の「ＫＪ法」があげられる。また、海外では英国のTony Buzan氏による「マインドマップ（MindMap）」も普及している。その他にもさまざまな二次元図式的着想支援法が開発されている。

タスクの記述された電子付箋をデスクトップに表示させる技術が知られている（例えば、特許文献１参照）。入力された複数のタスクを記憶部に格納し、当該記憶部に格納された一のタスクと他のタスクを関連付け、当該関連付けられた複数のタスクを組織化して図表を表示する。各ユーザの作業やスケジュール、アイデア、発言内容などのタスクを他人のタスクと関連付けさせて表示することによって、各タスクの位置づけを容易に把握できるようにし、業務の効率化を図る。

また、マインドマップ等の多項目表現を作成する際に、関連する項目を情報処理装置で自動生成し、着想や文章作成等を支援する技術が知られている（例えば、非特許文献２参照）。

＜会議の会話による音声情報処理＞
会議の会話による音声情報は、議事録担当者が聞き取り、パーソナルコンピュータ（ＰＣ）などの情報処理端末を用いて手入力を行うやり方が一般的である。

会話中の発話に関心または興味のある内容かどうかを分析し可視化する技術が知られている（例えば、特許文献３参照）。

会議の音声情報から議事録を自動生成する技術が知られている（例えば、特許文献４参照）。

遠隔地でのネットワーク会議において、議事録を作成する技術が知られている（例えば、特許文献５参照）。

会議の振り返りの支援として、挙手、起立、板書などの動作解析、話者交代、話者同定から会議の重要部分を重み付けし、会議の重要部分の区間内における発話単語数、言い淀みの感動詞、声量、声量の変化率、音声のピッチ変化、顔の傾きからキーパーソンを推定する技術が知られている（例えば、特許文献６参照）。

会議の参加者間でやり取りされる会話の音声信号を認識し、単語に分解し集計することにより、会議が本論から逸れているか否かを判断する技術が知られている（例えば、特許文献７参照）。

会議中の音声情報やマインドマップなどの着想支援法を使ったシステムでは、会議の目標に対して、現在どの部分を話しているかがわからず会議が効率よく進まない。また、会議で話さなければならないトピックに対してどのトピックは十分に議論ができていて、どのトピックが不十分であるかということもその場で把握することができない。

そこで、本発明は、会議などの目標に対して、どの部分を話しているかをメンバー間で共有させることを目的とする。

開示の一実施例の情報処理装置は、
会議中の音声情報をテキストに変換するテキスト変換手段と、
前記テキスト変換手段により変換されたテキストを単語に分解する単語分解手段と、
前記単語分解手段により分解された単語に基づいて、二次元の図式で表される着想支援図を生成する着想支援図生成手段と、
前記着想支援図生成手段により生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する着想支援図表示手段と、
を備える。

開示の実施例によれば、会議などの目標に対して、どの部分を話しているかをメンバー間で共有させることができる。

情報処理システムの一実施例を示す図である。 情報処理装置の一実施例を示す模式図である。 情報処理装置の一実施例を示す図である。 情報処理装置の一実施例を示す模式図である。 情報処理装置の一実施例を示す図である。 携帯端末装置の一実施例を示す図である。 情報処理装置の一実施例を示す機能ブロック図である。 携帯端末装置の一実施例を示す機能ブロック図である。 通信システムの動作（その１）の一実施例を示すシーケンスチャートである。 通信システムの動作（その２）の一実施例を示すシーケンスチャートである。 通信システムの動作（その３）の一実施例を示すシーケンスチャートである。 マインドマップの一実施例を示す図である。 マインドマップを生成する処理の一実施例を示すフローチャートである。 マインドマップが操作された際の表示処理の一実施例を示すフローチャートである。 関連語の選択処理の一実施例を示すフローチャートである。 関連語の選択処理の一実施例を示すフローチャートである。 マインドマップを生成する処理の詳細を示すフローチャートである。 重み付け行列の一実施例を示す図である。 マインドマップの一実施例を示す図である。 マインドマップのデータフォーマットの一実施例を示す図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。

＜実施例＞
＜情報処理システム＞
図１は、情報処理システムの一実施例を示す。

情報処理システムは、会議などにおける会話による音声情報、図式的に項目間を関連づけた表現などの着想支援図を用いて、着想能力、文書能力、コミュニケーション能力の向上などの支援を行う。図式的に項目間を関連づけた表現などの着想支援図には、ＫＪ法や、マインドマップなどあるが、これらに限られない。

情報処理システムの一実施例は、着想支援図としてマインドマップにより支援を行う場合について説明する。マインドマップは、二次元の図式で表されるのが好ましい。情報処理システムの一実施例では、３人の参加者、つまり第１の参加者３１００、第２の参加者３２００、第３の参加者３３００により会議が行われる。会議は、２人の参加者で行われてもよいし、４人以上の参加者で行われてもよい。

会議システムには、情報処理装置２０００及び２１００と、携帯端末装置５０００が含まれる。

第１の参加者３１００は情報処理装置２０００を有し、第２の参加者３２００は情報処理装置２１００を有し、第３の参加者３３００は携帯端末装置５０００を有する。

会議システムには、プロジェクタ３４００と、スクリーン３５００が含まれる。プロジェクタ３４００は、スクリーン３５００に投影する。

プロジェクタ３４００は、スクリーン３５００を分割した各領域に複数の情報をそれぞれ投影する。図１に示される例では、プロジェクタ３４００は、スクリーン３５００を２つに分割した各領域に２つの情報をそれぞれ投影する。スクリーン３５００の右側の領域には、モバイルパソコン３６００から入力された画面が投影される。スクリーン３５００の左側の領域には、モバイルパソコン３６００から入力されたマインドマップ情報の画面情報が投影される。マインドマップ情報は、情報処理装置２０００、及び２１００、携帯端末装置５０００で処理されたものである。

スクリーン３５００の複数の領域に、複数の情報をそれぞれ表示することにより、参加者に、現時点の説明のポイントと、今までの会議の内容と現在の話し合いの内容を把握させることができる。また、参加者に、話し合いが不足している部分を把握させることができる。

プロジェクタ３４００に赤外線センサが備えられ、スクリーン３５００の左側に投影されている画面に手を当てることにより、該左側の画面を操作できるのが好ましい。図１に示される例では、スクリーン３５００の左側には、マインドマップが表示される。この場合、マインドマップに手を当てることにより、マインドマップを操作できる。

また、プロジェクタ３４００に赤外線センサなどの接触されたことを検出する機能がない場合には、携帯端末装置５０００や、モバイルパソコン３６００の画面に表示されるマインドマップに触れることにより、マインドマップを操作するようにしてもよい。

＜情報処理装置２０００＞
図２は、情報処理装置２０００の一実施例を示す。図２には、情報処理装置２０００の模式図を示す。

情報処理装置２０００は、腕時計に含まれる。情報処理装置２０００は、マイク２００１と、ボタン２００２と、ディスプレイ２００３とを有する。

図３は、情報処理装置２０００の一実施例を示す。図２には、情報処理装置２０００のハードウェア構成が示される。

情報処理装置２０００は、マイク２００１と、ボタン２００２と、ディスプレイ２００３と、ＲＯＭ（Read Only Memory）２００４と、プロセッサ２００５と、ＲＡＭ（Random Access Memory）２００６と、ハードウェアアクセラレータ２００７と、内蔵メモリ２００８とを有する。

マイク２００１は、第１の参加者３１００が話した音声（アナログ情報）をデジタル情報に変換する。マイク２００１は、音声入力があったことを割り込みなどの信号を使ってプロセッサ２００５に伝える。音声情報はＲＡＭ２００６に一旦保存されてもよいし、内部バッファで直接プロセッサ２００５に入力してもよい。

プロセッサ２００５は、ハードウェアアクセラレータ２００７と連携して音声認識、形態素解析、マインドマップ化と順に処理を行う。

ボタン２００２は、時計の表示切替や日付、時刻調整、ストップウォッチの開始、停止を行う機能を有する。音声認識の認識精度を高めるために音声認識の開始と終了ボタンを設けてもよい。

ディスプレイ２００３は、時計の表示を行う。

ＲＯＭ２００４は、情報処理装置２０００を起動する際に必要なブートローダ、ファイルシステム、ＯＳ(Operating System)を格納する。情報処理装置２０００の起動時にプロセッサ２００５はＲＯＭ２００４から起動プログラムを読込み、起動する。

内蔵メモリ２００８は、電源をオフする際に一時的にマインドマップ情報、音声認識、形態素解析を行うための辞書、マインドマップ化を行うためのパラメータを保持する。内蔵メモリ２００８は、不揮発メモリであるのが好ましい。

＜情報処理装置２１００＞
図４は、情報処理装置２１００の一実施例を示す。図４には、情報処理装置２１００の模式図を示す。

情報処理装置２１００は、ＩＣレコーダに含まれる。情報処理装置２１００は、マイク２１０１と、スピーカ２１０２と、ディスプレイ２１０３と、ボタン２１０４とを有する。

図５は、情報処理装置２１００の一実施例を示す。図５には、情報処理装置２１００のハードウェア構成が示される。

情報処理装置２１００は、マイク２１０１と、スピーカ２１０２と、ディスプレイ２１０３と、ボタン２１０４と、内蔵メモリ２１０５と、ＲＯＭ２１０６と、プロセッサ２１０７と、ＲＡＭ２１０８と、ハードウェアアクセラレータ２１０９とを有する。

マイク２１０１、内蔵メモリ２１０５、ＲＯＭ２１０６、プロセッサ２１０７、ＲＡＭ２１０８、及びハードウェアアクセラレータ２１０９は、それぞれ情報処理装置２０００のマイク２００１、内蔵メモリ２００８、ＲＯＭ２００４、プロセッサ２００５、ＲＡＭ２００６、及びハードウェアアクセラレータ２００７と略同一である。

スピーカ２１０２は、ICレコーダとして音声を記録した後で再生する際に、音声を出力する。

ディスプレイ２１０３は、記録したどの音声ファイルを再生するかを表示し、ボタン２１０４と連携して選択して実行するためのユーザインタフェース(UI)の役割を果たす。

＜携帯端末装置５０００＞
図6は、携帯端末装置５０００の一実施例を示す。

携帯端末装置５０００は、カメラ５００１と、ディスプレイ５００２と、ボタン５００３と、マイク５００４とを有する。

ディスプレイ５００２は、タッチパネルを有する。タッチパネルに接触することにより、種々の操作が可能である。例えば、ディスプレイ５００２に表示されたマインドマップに接触することにより、プロジェクタ３４００によりスクリーン３５００に投影されたマインドマップと同期して、マインドマップを操作することができる。具体的には、ディスプレイ５００２に表示されたマインドマップに接触することにより、ノードの挿入、削除、名前変更、切り取り、貼り付け、移動、展開又は省略などの操作を行うことができる。さらに、ディスプレイ５００２に表示されたマインドマップに接触することにより、表示全体の拡大、縮小も行うことができる。

また、ディスプレイ５００２に表示されたノードをタッチすることにより、タッチしたノードの関連語をWeb検索して表示することや、ノードの単語が含まれる一文を表示することもできる。

＜情報処理装置２０００の機能＞
図７は、情報処理装置２０００の機能の一実施例を示す。情報処理装置２１００の機能は、情報処理装置２０００の機能と略同一である。

情報処理装置２０００は、マイク２００１と、時計部２０５０と、通信部２０５４と、マインドマップデータベース２０６１と、辞書データベース２０６２とを有する。

プロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って、ＯＳ２０５１と、ミドルウェア２０５２と、エンジン部２０５３として機能する。

マイク２００１は、音声を入力してアナログ信号からデジタル信号に変換する。

時計部２０５０は通常の腕時計の機能を提供するユニットである。

ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）２０５１は、Ｌｉｎｕｘ（登録商標）やＡｎｄｒｏｉｄ（登録商標）などのマルチタスクをスケジューリングして実行することを可能とする基本ソフトウェアである。

ミドルウェア２０５２は、基本ソフトウェア上で動作しエンジン部２０５３や通信部２０５４から利用されるライブラリ群である。

通信部２０５４は、情報処理装置２０００とモバイルパソコン３６００との間で通信するための通信プロトコルなどの制御を実行する。通信プロトコルの例は、ＨＴＴＰ(Hyper Text Transfer Protocol)などである。

マインドマップデータベース２０６１は、情報処理装置２０００が生成した会議の内容をマインドマップ化した情報を格納するデータベースである。

辞書データベース２０６２は、音声認識や形態素解析、マインドマップ生成などの一連の処理の中で利用する音響モデル、単語モデル、単語間の関連モデルを格納するデータベースである。

エンジン部２０５３には、テキスト変換手段としての音声認識部２０５５と、学習手段としての単語学習部２０５６と、検索手段としての検索部２０５７と、単語分解手段、フィルタ手段としての形態素解析部２０５８と、着想支援図生成手段としてのマインドマップ生成部２０５９と、操作処理手段としてのマインドマップ操作部２０６０とが含まれる。

音声認識部２０５５は、マイク２００１から入力された音声信号の音声認識処理を行い、テキストへ変換する。音声認識部２０５５は、音声信号の音声認識処理の際に、辞書データベース２０６２に格納された音響モデル、単語モデル、単語間の関連モデルを利用するのが好ましい。音声認識部２０５５は、音声信号の音声認識処理の際に、内蔵メモリ２００８に格納された情報を利用してもよい。

単語学習部２０５６は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語が選択された際に、辞書データベース２０６２に格納された音響モデル、単語モデル、単語間の関連モデルを検索しても該当する単語が存在しない場合に新規単語として登録する。また、単語学習部２０５６は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語が選択された際に、内蔵メモリ２００８に格納された情報を検索しても該当する単語が存在しない場合に新規単語として登録する。該当する単語が存在しない場合に新規単語として登録することにより、辞書を学習させることができる。

検索部２０５７は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語をＷｅｂ検索する処理のロジック部分である。

形態素解析部２０５８は、音声認識部２０５５により音声認識することにより変換したテキストを品詞レベルの単語に分解する処理を行う。

マインドマップ生成部２０５９には、形態素解析部２０５８で品詞レベルに分解した単語が入力される。マインドマップ生成部２０５９は、形態素解析部２０５８からの単語に基づいてマインドマップを構築する。

マインドマップ操作部２０６０は、マインドマップへの操作に基づいて、該操作に応じた処理を実行する。マインドマップへの操作の例は、ノードの挿入、削除、名前変更、切り取り、貼り付け、移動、展開又は省略などの処理である。

＜携帯端末装置５０００の機能＞
図８は、携帯端末装置５０００の機能の一実施例を示す。

携帯端末装置５０００は、ハードウェア部５０５０を有する。ハードウェア部５０５０は、カメラ５００１、ディスプレイ５００２、ボタン５００３、マイク５００４、タッチパネル部５００５、バッテリ５００６、アンテナ５００７、センサ５００８、スピーカ５００９、外部メモリスロット５０１０、マインドマップデータベース５０５７、辞書データベース５０５８を有する。

カメラ５００１は、画像の撮影を行うユニットである。

ディスプレイ５００２は、マインドマップの表示やその他のアプリケーション５０５６の情報を表示する。

ボタン５００３にはホームボタンが含まれる。ホームボタンが押し下げされることによりホーム画面に遷移する処理が実行される。

マイク５００４は、音声信号をアナログ信号からデジタル信号に変換する。

タッチパネル部５００５は、タッチ（接触）によりユーザインタフェースを提供するユニットである。

バッテリ５００６は、携帯端末装置５０００に電源を供給するユニットである。

アンテナ５００７は、無線通信を行うための電波受信に利用される。

センサ５００８の例は、加速度センサ、ジャイロセンサ、赤外線センサ、ＧＰＳ(Global Positioning System）などである。

スピーカ５００９は、音声出力に使われＹｏｕｔｕｂｅ（登録商標）などの動画の再生の際に、音を出力する。

外部メモリスロット５０１０は、microＳＤカードやＳＤＨＣカードなどのメモリカードを挿入し、補助記憶として利用するためのインタフェースである。

マインドマップデータベース５０５７は、情報処理装置２０００及び情報処理装置２１００が生成した会議の内容をマインドマップ化した情報を格納するデータベースである。

辞書データベース５０５８は、音声認識や形態素解析、マインドマップ生成などの一連の処理の中で利用する音響モデル、単語モデル、単語間の関連モデルを格納するデータベースである。

ＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従って、ＯＳ５０５１、ミドルウェア５０５２、アプリケーションラッパ部５０５３、その他のアプリケーション５０５６として機能する。

ＯＳ５０５１は、Ｌｉｎｕｘ（登録商標）やＡｎｄｒｏｉｄ（登録商標）などのマルチタスクをスケジューリングして実行することを可能とする基本ソフトウェアである。

ミドルウェア５０５２は、基本ソフトウェア上で動作しエンジン部５０５４や通信部５０５５、その他のアプリケーション５０５６から利用されるライブラリ群である。

アプリケーションラッパ部５０５３は、携帯端末装置５０００上で動作するようエンジン部５０５４とミドルウェア５０５２との間のインタフェースを接続する役割を担うユニットである。アプリケーションラッパ部５０５３は、エンジン部５０５４と、通信部５０５５とを有する。

エンジン部５０５４は、図７を参照して説明したエンジン部２０５３と略同一であるため、説明を省略する。

通信部５０５５は、モバイルパソコン３６００との間で通信するための通信プロトコルなどを制御する。通信プロトコルの例は、ＨＴＴＰなどである。

その他のアプリケーション５０５６の例は、Ｔｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などの一般的なアプリケーションである。

＜通信システムの動作（その１）＞
図９は、通信システムの動作（その１）の一実施例を示すシーケンスチャートである。

図９には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って通信部２０５４としての機能を実行する処理が示される。また、図９には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従って通信部としての機能を実行する処理が示される。また、図９には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従って通信部５０５５としての機能を実行する処理が示される。

ステップＳ１では、情報処理装置２０００は、モバイルパソコン３６００に対して会議開始を要求する。このとき、接続するユーザ情報と再開するデータベース名を指定する。新規のデータベースとする場合には特に指定する必要は無い。

ステップＳ２では、会議開始要求を受けたモバイルパソコン３６００は、ユーザ認証、データベースオープン等の前処理を実施する。

ステップＳ３では、モバイルパソコン３６００は、前処理を実施した後、接続結果のＯＫあるいはＮＧとセッションＩＤを情報処理装置２０００に返信する。ここで、セッションＩＤとは会議参加者の間でのみ共有することが可能な識別子である。通信システムの動作（その１）の一実施例では、モバイルパソコン３６００は、接続結果のＯＫとセッションＩＤを情報処理装置２０００に返信する。

ステップＳ４では、情報処理装置２１００は、モバイルパソコン３６００に対して、会議ＩＤとユーザ情報を引数として接続要求を行う。

ステップＳ５では、接続要求を受けたモバイルパソコン３６００はメンバー追加の処理を行う。

ステップＳ６では、メンバーの追加処理が完了したら、モバイルパソコン３６００は情報処理装置２１００に対して接続ＯＫ（あるいはＮＧ）を返信する。

ステップＳ７では、携帯端末装置５０００は、モバイルパソコン３６００に対して、会議ＩＤとユーザ情報を引数として接続要求を行う。

ステップＳ８では、接続要求を受けたモバイルパソコン３６００はメンバー追加の処理を行う。

ステップＳ９では、メンバーの追加処理が完了したら、モバイルパソコン３６００は携帯端末装置５０００に対して接続ＯＫ（あるいはＮＧ）を返信する。

ステップＳ１０では、会議参加者の全てのデバイスがモバイルパソコン３６００に接続できたら、情報処理装置２０００から表示設定の要求を行う。ここで、ＩＰアドレスとは、表示先のＩＰアドレスであり、この例ではプロジェクタ３４００のＩＰアドレスである。この表示先設定要求は、情報処理装置２１００、携帯端末装置５０００が実施してもよい。

ステップＳ１１では、表示先設定要求を受信すると、モバイルパソコン３６００は、表示先登録を行う。

ステップＳ１２では、モバイルパソコン３６００は、プロジェクタ３４００に画面投影要求を送信する。ここで、引数のマインドマップとは、画面に投影するマインドマップ情報を指している。また、ステップＳ１１で表示先登録を行うのは、会議終了時に表示終了や表示トラブル時の再表示を行うためである。

ステップＳ１３では、プロジェクタ３４００は、画面投影要求を受信すると、画面投影処理を実行する。

ステップＳ１４以降は、プロジェクタ３４００で投影している画面を操作するために、携帯端末装置５０００でも同じ画面を表示するためのシーケンスである。

ステップＳ１４では、携帯端末装置５０００のＩＰアドレスとともに表示先設定要求をモバイルパソコン３６００に送信する。

ステップＳ１５では、モバイルパソコン３６００は表示先追加登録を行う。

ステップＳ１６では、モバイルパソコン３６００は、マインドマップ情報を携帯端末装置５０００に返信する。

ステップＳ１７では、携帯端末装置５０００は、モバイルパソコン３６００から受信したマインドマップ情報を画面に表示する。

＜通信システムの動作（その２）＞
図１０は、通信システムの動作（その２）の一実施例を示すシーケンスチャートである。

図１０には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図９には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図９には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。

ステップＳ２０では、参加者３１００が発言した音声情報を情報処理装置２０００が音声信号として入力し、音声認識、形態素解析、マインドマップ化、データベースへ保存する。

ステップＳ２１では、情報処理装置２０００はマインドマップ画面情報をモバイルパソコン３６００に送信する。

ステップＳ２２では、モバイルパソコン３６００は、自身の画面表示を更新する。

ステップＳ２３では、同じ画面を表示しているプロジェクタ３４００に表示更新を要求する。

ステップＳ２４では、同じ画面を表示している携帯端末装置５０００に表示更新を要求する。

続いて、携帯端末装置５０００でマインドマップ操作があった場合の処理について説明する。

ステップＳ２５では、携帯端末装置５０００が操作に応じて画面の表示を更新する。

ステップＳ２６では、携帯端末装置５０００からモバイルパソコン３６００へ表示更新を要求する。

ステップＳ２７では、モバイルパソコン３６００は、携帯端末装置５０００の要求を受けてプロジェクタ３４００に対して表示の更新を要求する。

ステップＳ２８では、携帯端末装置５０００は、マインドマップの表示情報をデータベースに保存するために、情報処理装置２０００へマインドマップ表示情報を送信する。

ステップＳ２９では、情報処理装置２０００はデータベースへの保存を行う。

その後、参加者３３００が発言した場合の処理について説明する。

ステップＳ３０では、参加者３３００が発言した音声情報を携帯端末装置５０００が音声信号として入力し、音声認識し、形態素解析し、マインドマップ化し、データベースへ保存する。

ステップＳ３１では、携帯端末装置５０００はマインドマップ画面情報をモバイルパソコン３６００に送信する。

ステップＳ３２では、モバイルパソコン３６００は、同じ画面を表示しているプロジェクタ３４００にも表示画面の更新を要求する。ここで、表示画面の更新を要求する際に、モバイルパソコン３６００を経由するのは、モバイルパソコン３６００がサーバとして振舞うためである。

＜通信システムの動作（その３）＞
図１１は、通信システムの動作（その３）の一実施例を示すシーケンスチャートである。

図１１には、会議を終了する際の動作が示される。図１１には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って通信部２０５４としての機能を実行する処理が示される。

ステップＳ４０では、情報処理装置２０００が接続終了要求を行う。図１１では、情報処理装置２０００により接続終了要求が実行される場合について示すが、情報処理装置２１００により接続終了要求が実行されてもよいし、携帯端末装置５０００により接続終了要求が実行されてもよい。

ステップＳ４１では、モバイルパソコン３６００は会議終了処理を行う。具体的には、モバイルパソコン３６００は、データベースを保存して閉じ、セッションをクリアし、表示をクリアするのが好ましい。また、モバイルパソコン３６００は。表示をクリアする要求を携帯端末装置５０００、プロジェクタ３４００に送信するのが好ましい。

ステップＳ４２では、会議終了処理が完了したら、情報処理装置２０００に対して接続終了結果を返信する。ここで、仮に結果がＮＧである場合には、ユーザに終了するために必要な作業を伝えるのが好ましい。

＜マインドマップを操作する際の動作＞
図１２は、マインドマップの一実施例を示す。

"XXXXX"と表示された単語のノード１２０１をタッチすると、詳細ボタン１２０２、挿入ボタン１２０３、展開ボタン１２０４、検索ボタン１２０５が表示される。展開ボタン１２０４の代わりに省略ボタン１２０６が表示されることもある。

ノード１２０１自体を再度タッチすると、"XXXXX"という文字列を編集するモードになる。例えば、"XXXXY"などと名前を変更してEnterボタンを押すと名前の変更が確定される。

新規ノードを追加する場合には、挿入ボタン１２０３をタッチして作成したい位置まで枝を伸ばし離す。そうすると、新規ノードが生成される。新規ノードの名前については、空にして名前の変更をユーザに促すようにしてもよいし、適当な名前を付けて表示するようにしてもよい。

展開ボタン１２０４をタッチした場合には、該タッチしたノードの子ノード以下のノードのうち、表示対象となっているノードが表示される。仮に、子ノード以下で省略状態となっているノードがあればそのノードは省略されたままとなる。省略ボタン１２０６の場合には展開ボタンと逆の操作となる。展開ボタン１２０４を押すと省略ボタン１２０６になり、省略ボタン１２０６を押すと展開ボタン１２０４になるのが好ましい。子ノード以下をもたないノードについてはこの展開（あるいは省略）ボタンは表示されない。

検索ボタン１２０５をタッチした際には、"XXXXX"という単語に関連する単語を設定された数、表示する。"XXXXX"という単語に関連する単語は、リング上に表示されてもよい。関連する単語に関しては、ウィキペディアなどの単語の意味を説明するサイトの関連語の部分を利用してもよい。例えば、「関連語２」を選択したとすると、"XXXXX"の子ノードとして「関連語２」が新規に追加される。このとき、辞書データベース２０６２あるいは５０５８を検索して、仮に辞書に「関連語２」がない場合には追加する学習処理も同時に行うのが好ましい。

詳細ボタン１２０２をタッチした際には、会議の発言の中で"XXXXX"が含まれる一文をマインドマップデータベース２０６１あるいは５０５７より検索してポップアップ形式で表示するのが好ましい。

＜マインドマップを生成する処理＞
図１３は、マインドマップを生成する処理を示す。

図１３には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１３には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１３には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。

ステップＳ１３０２では、会議参加者の音声情報をマイク２００１、２１０１、５００４で拾いアナログ信号からデジタル信号へ変換する。

ステップＳ１３０４では、ステップＳ１３０２により変換したデジタル音声信号を音声認識することによりテキストに変換する。

ステップＳ１３０６では、ステップＳ１３０４による音声認識の結果得られたテキストを、形態素解析し品詞レベルの単語に分解する。

ステップＳ１３０８では、ステップＳ１３０６で品詞レベルに分解された単語から、単語毎の重要度と関連度の重み付けを計算し、マインドマップ形式（木構造）のデータを生成する。この時のデータの表現方法の例は、ＸＭＬ（eXtensible Markup Language）やJSON(JavaScript Object Notation)などの記法であるのが好ましい。

ステップＳ１３１０では、ステップＳ１３０８で生成されたマインドマップ形式のデータはマインドマップデータベース２０６１、５０５７に保存される。

＜マインドマップが操作された際の表示処理＞
図１４は、マインドマップが操作された際の表示処理の一実施例を示す。

図１３には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１３には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１３には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。

ステップＳ１４０２では、ノードが選択されることにより、図１２に示されるように、検索ボタン１２０５と、詳細ボタン１２０２と、挿入ボタン１２０３と、展開ボタン１２０４又は省略ボタン１２０６の４つのボタンが表示される。

ステップＳ１４０４では、検索ボタン１２０５が押下げられたか否かを判定する。

ステップＳ１４０６では、ステップＳ１４０４で検索ボタン１２０５が押下（タッチ）された場合、関連語をＷｅｂ検索する。関連語については、ウィキペディアなどの辞書サイトにある関連語を検索する方式が利用されるのが好ましい。

ステップＳ１４０８では、ステップＳ１４０４で検索ボタンの押下（タッチ）がされない場合、詳細ボタンが押下げられたか否かを判定する。

ステップＳ１４１０では、ステップＳ１４０８で詳細ボタンの押下（タッチ）がされた場合、マインドマップデータベース２０６１、及び５０５７からノードの単語が含まれる文書を取得する。

ステップＳ１４１２では、ステップＳ１４０８で詳細ボタンの押下（タッチ）がされない場合、再度ノードが押下げられたか否かを判定する。

ステップＳ１４１４では、ステップＳ１４１２で再度ノードの押下（タッチ）がされた場合、そのノードの単語を編集できるモードに遷移する。

ステップＳ１４１６では、ステップＳ１４１２で再度ノードの押下（タッチ）がない場合、挿入ボタンが押下げられたか否かを判定する。

ステップＳ１４１８では、ステップＳ１４１６で挿入ボタンが押下げされた場合、子ノードを追加するモードに遷移し、枝が伸された後にタッチが離された場合にノードが追加される。

ステップＳ１４２０では、ステップＳ１４１６で挿入ボタンが押下げられない場合、展開ボタン又は省略ボタンが押下げられたか否かを判定する。

ステップＳ１４２２では、ステップＳ１４２０で、展開ボタン又は省略ボタンが押下げされた場合、展開ボタンの場合には非表示にされている子ノード以下を表示し、省略ボタンの場合には表示されている子ノード以下を非表示にする。

ステップＳ１４２０で、展開ボタン、省略ボタンのいずれも押下げられない場合には終了する。

ステップＳ１４２４では、ステップＳ１４０６により検索された関連語を、選択しているノードを囲むように設定された数だけ候補として表示する。または、ステップＳ１４２４では、ステップＳ１４１０により取得された文書をノードに対する吹き出しとしてポップアップ形式で表示する。または、ステップＳ１４２４では、ステップＳ１４１４により遷移した編集モードに従って、テキストフィールド及びカーソルを表示する。または、ステップＳ１４２４では、ステップＳ１４１８により追加した子ノードを表示する。または、ステップＳ１４２４では、ステップＳ１４２２による表示に従って表示する。

なお、スクリーン３５００（キャンバス）をタッチしたまま上下左右に動かした場合に、その動きに従ってマインドマップ全体が平行移動するのが好ましい。ノードをタッチしたまま上下左右に動かした場合には、その動きに従ってタッチしたノードとそのノードの子ノード以下全体が平行移動するのが好ましい。

＜関連語の選択処理＞
図１５は、関連語の選択処理の一実施例を示す。

図１５には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１５には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１５には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。

ステップＳ１５０２では、関連語を選択したイベントを受け付けると、図１２に示されるように、選択した関連語を子ノードとして追加する。

ステップＳ１５０４では、追加した関連語が、辞書データベース２０６２あるいは５０５８に登録済であるか否かを確認する。

追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みである場合、終了する。

ステップＳ１５０６では、追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みでない場合、新規単語として追加処理を行う。

追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みでない場合に、新規単語として追加処理を行うことにより、ユーザは学習させていることを意識することなく、単語を追加することができる。

＜関連語の選択処理＞
図１６は、関連語の選択処理の一実施例を示す。

図１６には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１６には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１６には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。

ステップＳ１６０２では、情報処理装置２０００のボタン２００２、情報処理装置２１００のボタン２１０４が操作されることにより、設定メニューから音声学習モードに切り替えて、音声学習に必要な定型テキストを朗読させる。また、携帯端末装置５０００では設定メニューから音声学習モードに切り替えて、音声学習に必要な定型テキストを朗読させる。朗読するテキストは、ディスプレイ２００３、２１０３、５００２に表示される。

ステップＳ１６０２では、入力された音声情報（アナログ信号）は、マイク２００１、２１０１、５００４でデジタル信号に変換される。音声認識部２０５５は、音響モデルを生成する。

ステップＳ１６０４では、ステップＳ１６０２で生成した音響モデルを、情報処理装置２０００の内蔵メモリ２００８、情報処理装置２１００の内蔵メモリ２１０５あるいは辞書データベース５０５８に保存する。以上の処理により、個人個人の指向性をもたせることができるため、認識精度を上げることができる。

＜マインドマップを生成する処理の詳細＞
図１７は、マインドマップを生成する処理の詳細を示す。

図１７には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１７には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１７には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。

ステップＳ１７０２では、品詞、種別でフィルタ処理を行う。例えば、品詞レベルに分解された単語を入力として、形態素解析で、品詞・種別でマインドマップ化において不要な品詞である単語を除外する。単語を除外することによりその後の処理を高速化することができる。

ステップＳ１７０４では、ステップＳ１７０２によるフィルタ処理後、単語連結・重み付け処理を行う。具体的には、「マインド」と「マップ」といった品詞レベルでは意味が違ってしまう単語について、連続する名詞は連結する処理を行う。また、単語（名詞）に接続する助詞から、その単語が文の中で主語として扱われているか、目的語として扱われているかを判定し、重要度の重み付けを行う。なお、この重要度は単語の出現頻度も考慮に入れるのが好ましい。文の終わりについては、意味の切れ目と判定し、マイナスの重み付けを行うのが好ましい。さらに、ユーザが事前に重要と位置付けてある単語に関してはさらに重み付けを行うものとする。

ステップＳ１７０６では、ステップＳ１７０４により個々の単語の重み付けが完了したら、重み付け行列を作成する。

図１８は、重み付け行列の一実施例を示す。

重み付け行列は、対角成分はステップＳ１７０４で求めた重要度の値が入る。対角成分以外は、単語間の関連度を数値化したものが入る。単語間の出現位置や意味的な関連から重み付けの値を決定する。

ステップＳ１７０８では、ステップＳ１７０６で重み付け行列が完成したら、マインドマップを構築する。

図１９は、マインドマップの一実施例を示す。

重要度が一番高いものがルートとなり、重要度が一番小さいものがリーフとなる。図１９に示される例では、重要度が一番高い「単語４」がルートとなり、重要度が一番小さい「単語２」がリーフとなる。

＜マインドマップのデータフォーマット＞
図２０は、マインドマップのデータフォーマットの一実施例を示す。

マインドマップは、マインドマップデータベース２０６１、５０５７に格納される。

マインドマップのデータ形式の例は、ユーザ情報、会議（イベント）情報、単語情報の３つであるのが好ましい。

ユーザ情報は、所属、名前、保有するマインドマップをセットにしたものである。ユーザ情報は、保有するマインドマップより、個々の会議のマインドマップ情報を検索して取得することができる。

会議情報は、ＩＤ、最終更新日時、作成者、マインドマップ情報をセットにしたものであり、イベント毎にデータが追加される。

単語情報は、単語とその単語を含む文書をマッピングした情報であり、この単語情報により、マインドマップの各ノードの詳細情報を取得する際に高速に処理することができる。

情報処理システムの一実施例によれば、会議中の音声情報を認識し、認識した単語の重要度を重み付けできる。さらに、情報処理システムの一実施例によれば、単語間の関連度についても重み付けしてマインドマップ形式でリアルタイムに会議中の議論している部分を全体に対してどの部分であるかを表示することができる。このようにすることにより、会議の目標に対して現在どの部分を話しているかをメンバー間で共有でき、会議の方向性をメンバー間で一致させながら効率よく会議を進行することができる。

本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。

２０００ 情報処理装置
２１００ 情報処理装置
３４００ プロジェクタ
３５００ スクリーン
３６００ モバイルパソコン
５０００ 携帯端末装置

特開２００８−１９７７６５公報 特開２００８−２８２２２８公報 特開２００７−２１８９３３公報 特開２０００−３５２９９５公報 特開２００７−１８０８２８公報 特開２００６−２７９１１１公報 特開２０１１−５５１６０公報

Claims (10)

1. 会議中の音声情報をテキストに変換するテキスト変換手段と、
   前記テキスト変換手段により変換されたテキストを単語に分解する単語分解手段と、
   前記単語分解手段により分解された単語に基づいて、二次元の図式で表される着想支援図を生成する着想支援図生成手段と、
   前記着想支援図生成手段により生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する着想支援図表示手段と、
   を備える情報処理装置。
2. 前記着想支援図生成手段により生成された着想支援図への操作に基づいて、該操作に応じた処理を実行する操作処理手段と、
   前記着想支援図を生成する際に利用する単語を格納する辞書データベースと、
   前記着想支援図に含まれる単語に関連する関連語をウェブ検索する検索手段と、
   該検索手段により検索された関連語が前記辞書データベースに含まれない場合に、該辞書データベースに登録する学習手段と
   を有する、請求項１に記載の情報処理装置。
3. 前記単語分解手段により分解された単語から、所定の属性の単語を除外するフィルタ手段
   を有し、
   前記着想支援図生成手段は、前記単語分解手段により分解された単語のうち、前記フィルタ手段により除外された単語以外の単語に基づいて、前記着想支援図を生成する、請求項１又は２に記載の情報処理装置。
4. 前記着想支援図生成手段は、前記着想支援図を生成する際に、前記単語分解手段により分解された単語のうち、連続する名詞を連結する、請求項１ないし３のいずれか１項に記載の情報処理装置。
5. 前記単語分解手段により分解された単語の重み付けを行う重み付け手段
   を有し、
   前記着想支援図生成手段は、前記着想支援図を生成する際に、前記重み付け手段により重み付けされた単語に基づいて、前記着想支援図を生成する、請求項１ないし４のいずれか１項に記載の情報処理装置。
6. 前記重み付け手段は、句点、予め指定された単語、及び名詞に後続する助詞の少なくとも１つに基づいて、単語の重み付けを行う、請求項５に記載の情報処理装置。
7. 前記着想支援図生成手段は、前記着想支援図を生成する際に、単語の重要度と単語間の関連度を表す行列を生成する、請求項１ないし６のいずれか１項に記載の情報処理装置。
8. 前記着想支援図には、マインドマップが含まれる、請求項１ないし７のいずれか１項に記載の情報処理装置。
9. 会議中の音声情報をテキストに変換し、
   前記変換されたテキストを単語に分解し、
   前記分解された単語に基づいて、二次元の図式で表される着想支援図を生成し、
   前記生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する、
   情報処理装置における情報処理方法。
10. 情報処理装置に、
    会議中の音声情報をテキストに変換し、
    前記変換されたテキストを単語に分解し、
    前記分解された単語に基づいて、二次元の図式で表される着想支援図を生成し、
    前記生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する、
    処理を実行させるプログラム。

Images