JP6859667B2 - 情報処理装置、情報処理プログラム、情報処理システム及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理プログラム及び言語処理方法に関する。

近年では、会議や講義、授業等に参加する複数の参加者間で情報を共有する手段として、板書した情報を画像データとして表示するインタラクティブホワイトボード（以下、ＩＷＢと呼ぶ）が普及しつつある。この電子黒板では、例えば表示された画像データを保存することができる。

例えば会議等において、上述した電子黒板を使用した場合、電子黒板に表示された画像データを議事録の一種として保存することが考えられる。この場合、電子黒板では、手書きで入力された文字等が、画像データとして保存される。そのため、保存された画像データには、例えば走り書きのように入力された文字等も含まれる場合があり、識字が困難な文字が存在する可能性がある。

開示の技術は、手書き入力された文字の識字を支援することを目的としている。

開示の技術は、描画装置と少なくとも１以上の端末装置とネットワークを介して通信可能な情報処理装置であって、前記描画装置から、該描画装置の利用者のユーザ情報と該描画装置で収集された音声データと、描画装置に対する操作に対応したストローク情報を含む描画データと、前記端末装置それぞれから、該端末装置の利用者のユーザ情報と前記端末装置で収集された音声データを受信する会議情報収集部と、受信した前記描画装置で収集された音声データと、受信した前記端末装置で収集された音声データとの内から、前記描画データを取得した時刻を含む所定時間において収集された時刻に近い音声データに対応する前記ユーザ情報を特定する会議情報分析部と、特定された前記ユーザ情報に対応する音声データを前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、を有し、前記会議情報分析部は、前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する、情報処理装置である。

手書き入力された文字の識字を支援できる。

情報処理システムの概要を説明する図である。 言語処理装置のハードウェア構成の一例を示す図である。 電子黒板のハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。 第一の実施形態の会議支援サーバの会議管理情報データベースの一例を示す図である。 第一の実施形態の会議情報データベースの一例を示す図である。 会議情報の収集の仕方を説明する図である。 画面描画データの収集の仕方を説明する図である。 画面描画データ取得部の処理を説明するフローチャートである。 画面描画データにより描画される画像の例を示す図である。 会議情報分析部の機能を説明する図である。 会議情報分析部の処理を説明する第一のフローチャートである。 会議情報分析部の処理を説明する第二のフローチャートである。 発話者特定部の処理を説明する図である。 ストローク情報と単語との照合を説明する図である。 電子黒板にテキストデータが表示された例を示す図である。

以下に図面を参照して実施形態について説明する。図１は、情報処理システムの概要を説明する図である。

本実施形態の情報処理システム１００は、会議支援サービスを提供する企業により機能が実装された会議支援サーバ２００と、言語処理サービスを提供する企業により機能が実装された言語処理装置３００とを有する。

本実施形態の情報処理システム１００において、言語処理装置３００は、会議支援サーバ２００から、会議情報に含まれる音声データの変換要求を受け付けると、会議支援サーバ２００から音声データを取得し、テキストデータに変換する。

図１では、会議支援サーバ２００は、例えば、オフィスで行われた会議の会議情報を蓄積する。本実施形態の会議情報は、会議を識別する会議ＩＤと、会議の参加者毎の音声データと、後述する電子黒板に描画された文字や画像の描画データとが対応付けられた情報である。会議情報の詳細は後述する。

オフィスでの会議は、例えば、電子黒板４００と、会議の参加者であるユーザＡの端末装置５００−１、ユーザＢの端末装置５００−２、ユーザＣの端末装置５００−３、ユーザＤの端末装置５００−４と、を用いて行われる。

電子黒板４００は、ディスプレイに対して手書き入力を行うことが可能であり、入力された文字や画像を描画データとして記憶する描画装置である。この会議では、例えば会議の進行役であるユーザＸが、電子黒板４００を用いて会議の進行に応じた事項を電子黒板４００に記述する。

電子黒板４００は、記述された内容を示す画面描画データを、電子黒板４００を識別する端末ＩＤ及び会議ＩＤと対応付けて、会議情報の一部として会議支援サーバ２００へ送信する。

また、端末装置５００−１、５００−２、５００−３、５００−４のそれぞれは、音声入力装置（集音装置）であるマイクを有している。各端末装置５００は、マイクから入力された音声データを記憶し、各端末装置を識別する端末ＩＤと対応付けて、会議情報の一部として会議支援サーバ２００へ送信する。言い換えれば、本実施形態において、各端末装置５００は、各端末装置５００を利用する参加者毎の音声データを端末ＩＤ及び会議ＩＤと対応付けて会議支援サーバ２００へ送信する。

本実施形態では、このようにして、１つの会議における会議情報が会議ＩＤと対応付けられた会議支援サーバ２００に蓄積される。

尚、端末装置５００−１、５００−２、５００−３、５００−４のそれぞれを区別しない場合には、端末装置５００と呼ぶ。

本実施形態の会議支援サーバ２００は、例えば、電子黒板４００から、画面描画データに含まれる文字のテキストの表示要求を受けると、言語処理装置３００に対し、音声データとテキストデータへの変換要求とを送信する。尚、このとき、音声データは端末ＩＤが対応付けられた状態で言語処理装置３００へ送信される。

言語処理装置３００は、音声データをテキストデータ（第一のテキストデータ）へ変換し、会議支援サーバ２００へ送信する。

会議支援サーバ２００は、言語処理装置３００からテキストデータを取得すると、このテキストデータと、会議情報として蓄積された音声データと、を用いて、画面描画データに含まれる文字をテキストデータ（第二のテキストデータ）に変換する。

以上のよう、本実施形態では、蓄積された会議情報と、言語処理装置３００の機能と、を用いて、電子黒板４００から取得した画面描画データにより描画される文字を、テキストデータへ変換する。よって、本実施形態によれば、例えば画面描画データを電子黒板４００に表示された際に、表示された画像において識字が困難であった場合でも、テキストデータを表示させることで、識字を支援することができる。

尚、図１では、会議に用いられる端末装置５００を４台としているが、これに限定されない。会議に用いられる端末装置５００の台数は任意であって良い。さらに、図１では、会議を行う団体の一例を企業としているが、これに限定されない。会議を行う団体は、教員機関であっても良いし、学生のグループ等であっても良い。つまり、団体とは、複数人のグループであれば良く、会議とは、複数人で議論をすることであれば良い。

また、会議支援サーバ２００機能と言語処理装置３００とは別々の装置でなくてもよく、会議支援サーバ２００が有する機能と、言語処理装置３００が有する機能とを、一台の情報処理装置により実現してもよい。あるいは、一の企業が有するシステムとして、会議支援サービス及び言語処理サービスを提供する一台以上の情報処理装置により実現してもよい。従って、本実施形態では、各団体の電子黒板４００と、端末装置５００と、会議支援サーバ２００と、により、会議支援システムを構成しても良い。さらに、各団体における会議では、電子黒板４００の代わりに、一般的に端末装置５００が用いられても良い。つまり、会議支援システムは、端末装置５００と、会議支援サーバ２００と、により形成されても良い。さらに、端末装置５００を音声入力装置としても良い。

少なくとも、端末装置５００は録音機能を有していればよく、例えば、時計型やメガネ型の装置であってもよい。但し、端末装置５００自体に情報処理システム１００とネットワークを介して通信する機能が無い場合には、会議室で利用される各端末装置５００により録音された音声データを取得して情報処理システム１００に送信する、ハブとなる中継装置が必要になる。つまり、端末装置５００は、録音した音声データが入力される音声入力装置と、情報処理システム１００にネットワークを介して音声データを送信する音声出力装置と、を有するが、音声入力装置と音声出力装置は、音声データの送受ができるように構成されていれば、一つのデバイスで構成されていても複数のデバイスで構成されていてもよい。

さらに、本実施形態の情報処理システム１００には、電子黒板４００が含まれていても良い。

以下に、本実施形態の情報処理システム１００の有する各装置について説明する。図２は、言語処理装置のハードウェア構成の一例を示す図である。

本実施形態の言語処理装置３００は、一般の情報処理装置であり、それぞれバスＢで相互に接続されている入力装置３１、出力装置３２、ドライブ装置３３、補助記憶装置３４、メモリ装置３５、演算処理装置３６及びインターフェース装置３７を有する。

入力装置３１は、例えばマウスやキーボードであり、各種の情報を入力するために用いられる。出力装置３２は、例えばディスプレイ等であり、各種信号の表示（出力）に用いられる。インターフェース装置３７は、モデム，ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。

言語処理プログラムは、言語処理装置３００を制御する各種プログラムの少なくとも一部である。言語処理プログラムは例えば記録媒体３８の配布やネットワークからのダウンロードなどによって提供される。言語処理プログラムを記録した記録媒体３８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、言語処理プログラムを記録した記録媒体３８がドライブ装置３３にセットされると、言語処理プログラムは記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。ネットワークからダウンロードされた通信プログラムは、インターフェース装置３７を介して補助記憶装置３４にインストールされる。

補助記憶装置３４は、インストールされた言語処理プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置３５は、コンピュータの起動時に補助記憶装置３４から言語処理プログラムを読み出して格納する。そして、演算処理装置３６はメモリ装置３５に格納された各プログラムに従って、後述するような各種処理を実現している。

本実施形態の会議支援サーバ２００は、一般のコンピュータであり、そのハードウェア構成は、言語処理装置３００と同様であるから、説明を省略する。

次に、図３を参照して、本実施形態の電子黒板４００のハードウェア構成を説明する。図３は、電子黒板のハードウェア構成の一例を示す図である。

本実施形態に係る電子黒板４００は、入力装置４１と、表示装置４２と、外部Ｉ／Ｆ４３と、通信Ｉ／Ｆ４４と、ＲＯＭ４５（Read Only Memory）とを有する。また、本実施形態に係る電子黒板４００は、ＲＡＭ（Random Access Memory）４６と、ＣＰＵ（Central Processing Unit）４７と、ＨＤＤ（Hard Disk Drive）４８と、集音装置４９とを有する。これらの各ハードウェアは、それぞれがバスＢ１で接続されている。

入力装置４１は、タッチパネル等であり、ユーザによる各種操作（例えば、音声テキスト変換（日本語）や音声テキスト変換（英語）等の機能の選択操作）を入力するのに用いられる。表示装置４２は、ディスプレイ等であり、各種情報（例えば、音声テキスト変換（日本語）による変換結果を示すテキスト等）を表示する。

外部Ｉ／Ｆ４３は、外部装置とのインターフェースである。外部装置には、記録媒体４３ａ等がある。これにより、電子黒板４００は、外部Ｉ／Ｆ４３を介して、記録媒体４３ａ等の読み取りや書き込みを行うことができる。なお、記録媒体４３ａには、例えば、ＵＳＢメモリやＣＤ、ＤＶＤ、ＳＤメモリカード等がある。

通信Ｉ／Ｆ４４は、電子黒板４００をネットワークＮ１等に接続するためのインターフェースである。これにより、電子黒板４００は、通信Ｉ／Ｆ４４を介して、他の装置（と通信を行うことができる。

ＨＤＤ４８は、プログラムやデータを格納している不揮発性の記憶装置である。ＨＤＤ４８に格納されるプログラムやデータには、電子黒板４００全体を制御する基本ソフトウェアであるＯＳ（Operating System）、ＯＳ上において各種機能を提供するアプリケーションプログラム等がある。

また、ＨＤＤ４８は、格納しているプログラムやデータを所定のファイルシステム及び／又はＤＢ（データベース）により管理している。なお、電子黒板４００は、ＨＤＤ４８に代えて、記録媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を有していても良い。

ＲＯＭ４５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ４５には、電子黒板４００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ４６は、プログラムやデータを一時保持する揮発性の半導体メモリである。

ＣＰＵ４７は、ＲＯＭ４５やＨＤＤ４８等の記憶装置からプログラムやデータをＲＡＭ４６上に読み出し、処理を実行することで、電子黒板４００全体の制御や機能を実現する演算装置である。

集音装置４９は、例えばマイクロフォン（マイク）等であり、電子黒板４００の周囲の音を集音する。

本実施形態に係る電子黒板４００は、図３に示すハードウェア構成を有することにより、後述するような各種処理を実現できる。

次に、図４を参照して本実施形態の端末装置５００のハードウェア構成について説明する。図４は、端末装置のハードウェア構成の一例を示す図である。

本実施形態の端末装置５００は、一般の情報処理装置であり、それぞれバスＢ２で相互に接続されている入力装置５１、出力装置５２、ドライブ装置５３、補助記憶装置５４、メモリ装置５５、演算処理装置５６、インターフェース装置５７及び集音装置５８を有する。

入力装置５１は、例えばマウスやキーボードであり、各種の情報を入力するために用いられる。出力装置５２は、例えばディスプレイ等であり、各種信号の表示（出力）に用いられる。インターフェース装置５７は、モデム，ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。

集音装置５８は、例えばマイクロフォン（マイク）等であり、端末装置５００の周囲の音を集音する。

情報処理プログラムは、端末装置５００を制御する各種プログラムの少なくとも一部である。情報処理プログラムは例えば記録媒体５９の配布やネットワークからのダウンロードなどによって提供される。情報処理プログラムを記録した記録媒体５９は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、情報処理プログラムを記録した記録媒体５９がドライブ装置５３にセットされると、情報処理プログラムは記録媒体５９からドライブ装置５３を介して補助記憶装置５４にインストールされる。ネットワークからダウンロードされた通信プログラムは、インターフェース装置５７を介して補助記憶装置５４にインストールされる。

補助記憶装置５４は、インストールされた情報処理プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置５５は、コンピュータの起動時に補助記憶装置５４から言語処理プログラムを読み出して格納する。

そして、演算処理装置５６はメモリ装置５５に格納された各プログラムに従って、後述するような各種処理を実現している。

次に、図５を参照して、情報処理システム１００の有する各装置の機能について説明する。図５は、第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。はじめに、会議支援サーバ２００の機能について説明する。

本実施形態の会議支援サーバ２００は、会議管理情報データベース２１０、会議情報データベース２２０、会議登録部２３０、会議管理部２４０、会議情報収集部２５０、会議情報分析部２６０、変換要求部２７０を有する。

会議管理情報データベース２１０は、ユーザにより開催される会議を管理するための会議管理情報が格納される。会議情報データベース２２０は、会議毎の会議情報が格納される。各データベースの詳細は後述する。

会議登録部２３０は、開催される会議に応じた新規登録の要求をユーザから受け付けると、新たに会議ＩＤを発行し、その会議を管理する会議管理情報を、会議管理情報データベース２１０へ登録する。

会議管理部２４０は、開催される会議及び開催される会議を管理する。具体的には、会議管理部２４０は、例えば会議管理情報データベース２１０に会議管理情報が格納されている会議の開催要求に合わせて、会議情報収集部２５０に会議情報の収集を開始させたりする。

会議情報収集部２５０は、会議に参加する装置（電子黒板４００や端末装置５００など）により入力された会議情報を収集する。会議情報の収集の詳細は後述する。

会議情報分析部２６０は、会議情報に含まれる画面描画データによって描画される画像に含まれる文字を、テキストデータに変換する。会議情報分析部２６０の詳細は後述する。

変換要求部２７０は、言語処理装置３００に対して、会議情報に含まれる音声データのテキストデータへの変換要求を行う。

本実施形態の変換要求部２７０は、例えば会議情報分析部２６０から、音声データの変換指示を受けて、会議情報データベース２２０に格納された音声データの変換要求を言語処理装置３００へ送信しても良い。

また、本実施形態の変換要求部２７０は、例えば会議情報収集部２５０が会議情報として音声データを取得すると、取得した音声データ及び取得元の装置を識別する端末ＩＤを変換要求と共に言語処理装置３００へ送信しても良い。

次に、言語処理装置３００について説明する。

本実施形態の言語処理装置３００は、音声変換部３１０を有する。本実施形態の言語処理装置３００は、例えば人工知能を有している。本実施形態の音声変換部３１０は、各辞書データベースを参照し、音声データをテキスト（文字）データへ変換（翻訳）する。本実施形態の音声変換部３１０は、音声データからテキストデータへの変換を行う度に、入力と出力の関係を学習し、変換の精度を高めて行く機能を有しているものとした。

次に、本実施形態の電子黒板４００と端末装置５００について説明する。本実施形態の電子黒板４００は、会議支援処理部４１０、表示制御部４２０、制御部４３０、操作制御部４４０、音声データ取得部４５０、画面描画データ取得部４６０を有する。

会議支援処理部４１０は、会議を支援するための各種の処理を行う。具体的には、例えば、会議支援サーバ２００にアクセスし、会議管理情報データベース２１０に登録されている会議リストを取得し、取得した会議リストから何れの会議に参加するかをユーザに指定させるための入力画面を表示制御部４２０に表示させる。また、会議支援処理部４１０は、電子黒板４００の画面に対して手入力された内容の画像データを会議支援サーバ２００へ送信したりする。

表示制御部４２０は、電子黒板４００における画面表示を制御する。制御部４３０は、電子黒板４００の全体的な動作を制御する。操作制御部４４０は、電子黒板４００の有する操作部材に対する操作を受け付ける。音声データ取得部４５０は、電子黒板４００に備え付けられた集音装置４９が収集する音声データを取得し、保持する。

画面描画データ取得部４６０は、電子黒板４００の有するタッチパネルに対して手書き入力された情報を取得し、画面描画データとする。

本実施形態では、タッチパネルに対し、ユーザの指やポインティングデバイス等が接触してから非接触となるまでの軌跡を１ストロークとする。１ストロークは、複数の点により表される。本実施形態の画面描画データ取得部４６０は、ストロークを示す複数の点の座標情報を、ストローク毎にストローク情報として保持する。

電子黒板４００に入力される文字や画像は、複数のストロークにより描かれる。よって本実施形態では、画面描画データとして、文字や画像を示す複数のストローク毎のストローク情報を取得する。また、本実施形態では、画面描画データとして、ストローク情報を取得した時刻を示す情報も含むものとする。本実施形態の画面描画データの取得の詳細は後述する。

本実施形態の端末装置５００は、表示制御部５１０と、操作制御部５２０、音声データ取得部５３０とを有する。表示制御部５１０は、端末装置５００の表示部における表示を制御する。操作制御部５２０は、端末装置５００に対して行われた操作と対応する処理を行う。音声データ取得部５３０は、端末装置５００が有する集音装置５８が収集した音声データを取得し、保持する。

次に、本実施形態の会議支援サーバ２００と、言語処理装置３００と、が有する各データベースについて説明する。

図６は、会議管理情報データベースの一例を示す図である。

本実施形態の会議管理情報データベース２１０は、情報の項目として、会議ＩＤを入力する項目と、会議名を入力する項目と、その会議ＩＤの会議に参加した電子黒板４００や端末装置５００の端末ＩＤを入力する項目とを有し、これらは対応付けられている。以下の説明では、会議管理情報データベース２１０において、項目「会議ＩＤ」の値と、項目「会議名」の値と、項目「端末ＩＤ」の値とを含む情報を、会議管理情報と呼ぶ。

項目「会議ＩＤ」の値は、ユーザからの登録要求に応じて登録された会議を識別するための識別子を示す。項目「会議名」の値は、会議の名称を示す。項目「会議ＩＤ」と項目「会議名」の値は、例えば会議の進行役となる参加者の端末装置５００により、会議が開催されるより前に入力されて良い。

項目「端末ＩＤ」の値は、項目「会議ＩＤ」の値により特定される会議に参加している参加者が利用している端末装置５００の端末ＩＤを示す。

端末ＩＤは、端末装置５００からインターネット等を利用して会議支援サーバ２００にアクセスし、登録された会議のうち未開催の会議の会議リストから、ユーザが参加する会議を選択し参加を指示する操作をすることで、会議支援サーバ２００により登録される。

より詳細には、ユーザによる参加を指示する操作に応じて、端末装置５００が端末ＩＤと共に会議の参加要求を会議支援サーバ２００に送信する。会議支援サーバ２００は、会議登録部２３０により、会議管理情報データベース２１０に、選択された会議の会議ＩＤに対応付けて参加要求と共に送信された端末ＩＤを登録する。

図６の例では、会議ＩＤ「００１」の会議の会議名は「マーケット戦略」であり、この会議には、端末ＩＤ「０１」、「０２」、「０３」、「０５」の端末装置５００の利用者が参加していることがわかる。つまり、本実施形態では、端末ＩＤは、端末装置５００を使用しながら会議に参加している利用者を特定する情報となる。

図７は、会議情報データベースの一例を示す図である。本実施形態の会議情報データベース２２０は、情報の項目として、会議ＩＤ、端末ＩＤ、音声データ、画面描画データを含み、項目「会議ＩＤ」と、その他の項目とが対応付けられている。以下の説明では、会議情報データベースにおいて、項目「会議ＩＤ」の値と、その他の項目の値とを含む情報を会議情報と呼ぶ。

項目「音声データ」の値は、項目「端末ＩＤ」の値が特定する端末装置５００の集音装置５８等により取得された音声データを示す。尚、音声データには、音声を取得した時刻を示す時刻情報も含まれるものとした。
項目「画面描画データ」の値は、例えば、ユーザの入力操作に応じて操作制御部４４０が表示画面に対し描画処理を行ったタイミングで電子黒板４００から送信された、電子黒板４００に描画された内容を記憶した画像データを示す。本実施形態の画面描画データには、電子黒板４００において情報が描画された時刻を示す時刻情報が含まれるものとした。

図７の例では、会議ＩＤ「００２」と、会議ＩＤ「００２」の会議において、端末ＩＤ「０１」の端末装置５００が取得した音声データ１、端末ＩＤ「０２」の端末装置５００が取得した音声データ２、端末ＩＤ「０３」の端末装置５００が取得した音声データ３、端末ＩＤ「０４」の端末装置５００が取得した音声データ４とが対応付けられている。

また、図７の例では、会議ＩＤ「００２」と、会議ＩＤ「００２」の会議において、端末ＩＤ「０５」の電子黒板４００が取得した音声データ５と、電子黒板４００が取得した画面描画データ１、２、３が対応付けられている。

この会議情報によれば、会議ＩＤ「００２」の会議において、端末ＩＤ「０１」〜「０５」の端末装置５００の利用者が発言した内容と、そのとき電子黒板４００に描画されていた内容と、がわかる。

次に、図８を参照して本実施形態の会議支援サーバ２００の会議情報収集部２５０による会議情報の収集について説明する。図８は、会議情報の収集の仕方を説明する図である。

図８では、ユーザＡ、Ｂ、Ｃ、Ｄ、Ｘが会議に参加しており、ユーザＡは端末ＩＤ「０１」の端末装置５００−１を利用し、ユーザＢは端末ＩＤ「０２」の端末装置５００−２を利用し、ユーザＣは端末ＩＤ「０３」の端末装置５００−３を利用し、ユーザＤは端末ＩＤ「０４」の端末装置５００−４を利用している。また、図８の例では、ユーザＸが会議の進行役を担っており、電子黒板４００を利用している。

ここで、本実施形態では、各参加者が利用する装置の端末ＩＤが、各ユーザのユーザＩＤと同義の情報として扱われていても良い。この場合には、各ユーザは、会議に参加する前に、各ユーザが利用する装置において、参加する予定の会議の会議ＩＤと、自身の利用する装置の端末ＩＤとを入力しても良い。

各ユーザが利用する端末装置５００、電子黒板４００は、入力された会議ＩＤを会議支援サーバ２００へ送信する。会議支援サーバ２００は、送信された情報に基づき、会議ＩＤと、各参加者が利用する装置の端末ＩＤとを対応付けた会議管理情報を生成し、会議管理情報データベース２１０に格納する。

本実施形態では、この手順により、会議支援サーバ２００において、各ユーザの音声データ等を含む会議情報を収集する準備が完了したことになる。

本実施形態では、音声データは、会議の各参加者が利用している端末装置５００の端末ＩＤと対応付けられて会議支援サーバ２００に送信される。

例えば、端末装置５００−１を利用しているユーザＡの発話は、端末装置５００−１の集音装置５８によって音声データとして収集され、端末装置５００−１の端末ＩＤと対応付けられて会議支援サーバ２００に送信される。

また、例えば、端末装置５００−３を利用しているユーザＣの発話は、端末装置５００−３の集音装置５８によって音声データとして収集され、端末装置５００−３の端末ＩＤと対応付けられて会議支援サーバ２００に送信される。言い換えれば、端末装置５００−３の集音装置５８によって収集された音声データは、端末装置５００−３のユーザのユーザ情報（端末ＩＤ）と対応付けられて会議支援サーバ２００へ送信される。

また、本実施形態では、会議の進行役を担っているユーザが電子黒板４００の利用者となる。図８の例では、電子黒板４００の端末ＩＤは、「０５」であり、電子黒板４００の利用者は、ユーザＸである。よって、ユーザＸの発話は、電子黒板４００の集音装置４９によって、音声データとして収集され、端末ＩＤ「０５」と対応付けられて会議支援サーバ２００へ送信される。言い換えれば、電子黒板４００の集音装置４９によって収集された音声データは、電子黒板４００のユーザのユーザ情報と対応付けられて会議支援サーバ２００へ送信される。

また、電子黒板４００では、ユーザＸ等によってディスプレイに手書き入力された文字や画像を、画面描画データとして記憶し、電子黒板４００の端末ＩＤと対応付けて会議支援サーバ２００へ送信する。

会議支援サーバ２００では、端末装置５００や電子黒板４００から送信される音声データや、電子黒板４００から送信される画面描画データに、各データと対応付いた端末ＩＤと子も付いた会議ＩＤを付与し、会議情報として会議情報データベース２２０へ格納する。

ここで、図９を参照して本実施形態の画面描画データの収集について説明する。図９は、画面描画データの収集の仕方を説明する図である。

図９の例では、画像Ｇ１と対応する画面描画データ１と、画像Ｇ２と対応する画面描画データ２と、画像Ｇ３と対応する画面描画データ３と、を取得する場合を示している。

本実施形態では、人が文字や文章を入力する場合には、一画書き終わったら、すぐに次の一画（１ストローク）を書くため、一画と一画の間の時間が短くなる、という点に着目している。

上記の点に着目し、本実施形態の画面描画データ取得部４６０では、ユーザの指又はポインタデバイス等が電子黒板４００のタッチパネルから離れた時から、次のストロークの入力が開始されるまでの時間が、所定期間以上となったとき、ストロークの入力が完了されたものと判定する。

言い換えれば、画面描画データ取得部４６０は、電子黒板４００のタッチパネルに対する接触が検知され、その接触が検知されなくなってから、次に接触が検知されるまでの時間が、所定時間以上となった場合に、文字の入力が完了されたものと判定する。

そして、画面描画データ取得部４６０は、タッチパネルに対する接触を検出してから、ストロークの入力が完了したものと判定されるまでに入力されたストローク情報を、画面描画データとして、取得する。

例えば、図９の例では、時刻Ｔ１１において、電子黒板４００のタッチパネルに対する接触が検知され、時刻Ｔ１２までの間、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間は所定期間未満である。そして、時刻Ｔ１２において、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間が所定期間以上となった。

この場合、電子黒板４００のユーザは、時刻Ｔ１１から時刻Ｔ１２までの期間Ｎ１の間に、ユーザが１つのかたまりと考えている情報について、手書き入力を行ったと言える。

よって、本実施形態の画面描画データ取得部４６０は、期間Ｎ１において入力されたストローク情報と、情報の入力が開始された時刻Ｔ１１とを対応付けて、画面描画データ１とし、会議支援サーバ２００へ送信する。

次に、電子黒板４００では、時刻Ｔ１３において、再度タッチパネルに対する接触が検知され、時刻Ｔ１４において、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間が所定期間以上となった。

よって、画面描画データ取得部４６０は、時刻Ｔ１３から時刻Ｔ１４までの期間Ｎ２において入力されたストローク情報を取得する。そして、画面描画データ取得部４６０は、画面描画データ１として取得したストローク情報と、期間Ｎ２において取得したストローク情報とを、時刻Ｔ１３と対応付けて、画面描画データ２とし、会議支援サーバ２００へ送信する。

このように、本実施形態では、１つ前の画面描画データ１として取得されたストローク情報を、新たに取得されたストローク情報と共に画面描画データ２として保持する。よって、本実施形態によれば、画面描画データ２を電子黒板４００に表示させれば、時刻Ｔ１４においてタッチパネル上に描画された画像Ｇ２を描画することができる。

次に、電子黒板４００では、時刻Ｔ１５において、再度タッチパネルに対する接触が検知され、時刻Ｔ１６において、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間が所定期間以上となった。

よって、画面描画データ取得部４６０は、時刻Ｔ１５から時刻Ｔ１６までの期間Ｎ３において入力されたストローク情報と、画面描画データ２として取得したストローク情報と、時刻Ｔ１５を、画面描画データ３として取得し、会議支援サーバ２００へ送信する。

よって、本実施形態によれば、画面描画データ３を電子黒板４００に表示させれば、時刻Ｔ１６おいてタッチパネル上に描画された画像Ｇ３を描画することができる。

以下に、図１０を参照して本実施形態の画面描画データ取得部４６０による処理を説明する。図１０は、画面描画データ取得部の処理を説明するフローチャートである。

本実施形態の画面描画データ取得部４６０は、手書き入力を受け付けたか否かを判定する（ステップＳ１００１）。言い換えれば、画面描画データ取得部４６０は、電子黒板４００のタッチパネルに対する接触を検知したか否かを判定する。

ステップＳ１００１において、手書き入力を受け付けない場合、画面描画データ取得部４６０は、受け付けるまで待機する。

ステップＳ１００１において、手書き入力を受け付けると、画面描画データ取得部４６０は、ストローク情報の取得を開始する（ステップＳ１００２）。

続いて、画面描画データ取得部４６０は、ストローク情報が入力されていない時間が、所定期間以上となったか否かを判定する（ステップＳ１００３）。言い換えれば、画面描画データ取得部４６０は、タッチパネルに対して接触がなくなってから所定期間以上が経過したか否かを判定している。

ステップＳ１００３において、所定期間以上でない場合、画面描画データ取得部４６０
は、ストローク情報の取得を継続する。

ステップＳ１００３において、所定期間以上である場合、画面描画データ取得部４６０は、取得したストローク情報を、直前に取得した画面描画データに含まれるストローク情報と、ステップＳ１００２でストローク情報の取得を開始した時刻とを対応付けて画面描画データとする（ステップＳ１００４）。

続いて、画面描画データ取得部４６０は、画面描画データを会議支援サーバ２００へ送信する（ステップＳ１００５）。このとき、画面描画データ取得部４６０は、画面描画データと共に、会議ＩＤと端末ＩＤとを会議支援サーバ２００へ送信する。

続いて、画面描画データ取得部４６０は、電子黒板４００の電源オフの指示を受け付けたか否かを判定する（ステップＳ１００６）。ステップＳ１００６において、電源オフの指示を受け付けていない場合、画面描画データ取得部４６０は、ステップＳ１００１へ戻る。

ステップＳ１００６において、電源オフの指示を受け付けると、画面描画データ取得部４６０は、と処理を終了する。

図１１は、画面描画データにより描画される画像の例を示す図である。図１１（Ａ）は、画面描画データ１により描画される画像Ｇ１を示す。図１１（Ｂ）は、画面描画データ２により描画される画像Ｇ２を示す。図１１（Ｃ）は、画面描画データ３により描画される画像Ｇ３を示す。

画像Ｇ１では、期間Ｎ１において取得されたストローク情報が示す画像１１１が表示されている。画像Ｇ２では、画像１１１に加え、期間Ｎ２において取得されたストローク情報が示す画像１１２が表示されている。画像Ｇ３では、画像１１１、１１２に加え、期間Ｎ３において取得されたストローク情報が示す画像１１３が表示されている。

このように、本実施形態では、電子黒板４００に、１つのかたまりとしての情報が書き込まれる毎に、画面描画データとして保存することができる。よって、本実施形態によれば、例えば文章の途中の画像や、文字を書いている途中の画像等、情報としての価値が高いとは言い難い画像データが保存されることを抑制できる。

尚、所定期間は、例えば会議に参加するユーザの板書の速度等に応じて、任意に設定されて良い。

本実施形態では、以上のようにして、会議ＩＤ毎の画面描画データが収集される。

次に、図１２を参照して、本実施形態の会議情報分析部２６０について説明する。図１２は、会議情報分析部の機能を説明する図である。

本実施形態の会議情報分析部２６０は、発話者特定部２６１、音声データ抽出部２６２、変換指示部２６３、テキスト取得部２６４、分析対象特定部２６５、単語抽出部２６６、単語選択部２６７、ストローク情報照合部２６８、テキストデータ生成部２６９、出力部２７１を有する。

本実施形態の会議情報分析部２６０は、会議情報に含まれる画面描画データに含まれる文字を、画面描画データが取得された時刻の前後に収集された音声データに基づき、テキストデータへ変換する。

会議等では、議事進行役のユーザＸは、他の参加者の発言の内容や、議題、議論の要点等を電子黒板４００に書き留めて、会議の参加者との情報共有を試みることが想定される。そのため、電子黒板４００に書き留められた文章（文字）は、電子黒板４００に対して書き込みを開始した時刻の前後において、発言された内容と近い内容となることが想定される。

本実施形態では、この点に着目し、画面描画データに含まれる時刻の前後の音声データをテキストデータに変換し、このテキストデータと、画面描画データに含まれるストローク情報とを照合しながら、ストローク情報によって示される文字をテキストデータに変換する。

発話者特定部２６１は、会議ＩＤが示す会議の会議情報に含まれる音声データに基づき、画面描画データに含まれる時刻の前後における発話者を特定する。

音声データ抽出部２６２は、会議ＩＤが示す会議の会議情報から、発話者特定部２６１が特定した発話者の、画面描画データに含まれる時刻の前後における音声データを抽出する。

変換指示部２６３は、音声データ抽出部２６２により抽出された音声データを、テキストデータへの変換指示と共に、変換要求部２７０へ渡す。変換要求部２７０は、音声データと変換要求を言語処理装置３００へ送信し、言語処理装置３００から、テキストデータを受信する。

テキスト取得部２６４は、変換要求部２７０が受信したテキストデータを取得する。

分析対象特定部２６５は、テキスト取得部２６４が取得したテキストデータのうち、分析の対象となるテキストデータを特定する。テキストデータの特定の仕方の詳細は後述する。

単語抽出部２６６は、分析対象として特定されたテキストデータから、単語を抽出する。ここで、単語抽出部２６６は、例えば、テキストデータに対して形態素解析等を行い、形態素の列に分割し、この形態素を単語として抽出しても良い。形態素とは、言語で意味を持つ最小の単位を示す。

単語選択部２６７は、単語抽出部２６６により抽出された単語から、ストローク情報と照合される単語を選択する。

ストローク情報照合部２６８は、選択された単語に含まれる文字の形状と、画面描画データに含まれるストローク情報によって示される形状とを照合し、手書き入力された文字と、テキストデータから抽出された文字とが同じ文字であるか否かを判定する。

テキストデータ生成部２６９は、ストローク情報照合部２６８による照合により、ストローク情報と各文字が一致すると判定された単語を含むテキストデータを生成する。

出力部２７１は、テキストデータ生成部２６９が生成したテキストデータを電子黒板４００へ出力する。

以下に、図１３及び図１４を参照して、本実施形態の会議情報分析部２６０の処理について説明する。

図１３は、会議情報分析部の処理を説明する第一のフローチャートである。

本実施形態の会議情報分析部２６０は、画面描画データのテキストデータへの変換指示を受けると、会議情報データベース２２０から、画面描画データを取得する（ステップＳ１３０１）。

このとき、会議情報分析部２６０は、例えば会議情報収集部２５０により、画面描画データと会議ＩＤと端末ＩＤとが会議情報データベース２２０に格納されたとき、変換指示を受けたものとしても良い。また、会議情報分析部２６０は、例えば会議ＩＤの指定を受けたとき、変換指示を受けたものとしても良い。その場合、会議情報分析部２６０は、会議情報データベース２２０に格納された会議情報から、指定された会議ＩＤと対応する画面描画データを取得しても良い。

続いて、会議情報分析部２６０は、発話者特定部２６１により、画面描画データから、時刻を示す情報を抽出する（ステップＳ１３０２）。

続いて、会議情報分析部２６０は、発話者特定部２６１により、会議情報に含まれる音声データから、画面描画データから抽出された時刻を中心とした所定時間の音声データを取得し、所定時間内の発話者を特定する（ステップＳ１３０３）。発話者特定部２６１の処理の詳細は後述する。尚、本実施形態では、所定時間は、画面描画データから抽出された時刻を中心とした所定時間としたが、これに限定されない。画面描画データから抽出された時刻は、所定時間に含まれていれば良く、所定時間の中心でなくても良い。

続いて、会議情報分析部２６０は、音声データ抽出部２６２により、特定された発話者の音声データのうち、所定時間における音声データを抽出し、変換指示部２６３により、抽出した音声データと、テキストデータへの変換指示を変換要求部２７０へ渡す（ステップＳ１３０４）。

続いて、会議情報分析部２６０は、テキスト取得部２６４により、変換要求部２７０が言語処理装置３００から受信したテキストデータ（第一のテキストデータ）を取得する（ステップＳ１３０５）。

続いて、会議情報分析部２６０は、テキストデータとストローク情報とを照合して、画面描画データ内の文字をテキストデータ（第二のテキストデータ）に変換する（ステップＳ１３０６）。ステップＳ１３０６の処理の詳細は後述する。

続いて、会議情報分析部２６０は、出力部２７１により、テキストデータを電子黒板４００へ出力する（ステップＳ１３０７）。

次に、図１４を参照して、図１３のステップＳ１３０６の処理について説明する。図１４は、会議情報分析部の処理を説明する第二のフローチャートである。

会議情報分析部２６０は、分析対象特定部２６５により、ステップ１３０５で取得したテキストデータにおいて、ステップＳ１３０２で抽出した時刻情報が示す時刻と最も近い時刻に収集された音声データに基づくテキストデータを特定する（ステップＳ１４０１）。

続いて、会議情報分析部２６０は、単語抽出部２６６により、特定したテキストデータに対して、形態素解析等を行い、形態素を単語として抽出し、単語選択部２６７により、抽出された単語のうち、最初の単語を選択する（ステップＳ１４０２）。

続いて、会議情報分析部２６０は、ストローク情報照合部２６８により、ステップＳ１３０１で取得した画面描画データに含まれるストローク情報を参照する（ステップＳ１４０３）。次に、ストローク情報照合部２６８は、ストローク情報と、選択された単語とを照合し、選択された単語が示す文字列が、ストローク情報の一部と一致するか否かを判定する（ステップＳ１４０４）。

具体的には、ストローク情報照合部２６８は、ストローク情報を公知の手書き文字認識技術等によりテキスト化し、テキスト化した結果の文字列と、選択された単語とを照合し、一致しているか否かを判定しても良い。また、ストローク情報照合部２６８は、ストローク情報により描かれるストロークの形状と、抽出された単語が示す文字列とを比較し、類似度が所定の値以上となった場合に、両者が一致していると判定しても良い。

ステップＳ１４０４において、両者が一致していないと判定された場合、会議情報分析部２６０は、後述するステップＳ１４０６へ進む。

ステップＳ１４０４において、両者が一致していると判定された場合、会議情報分析部２６０は、テキストデータ生成部２６９は、選択した単語を取得して保持する（ステップＳ１４０５）。

続いて、会議情報分析部２６０は、抽出した全ての単語について処理をしたか否かを判定する（ステップＳ１４０６）。

ステップＳ１４０６において全ての単語について処理していない場合、会議情報分析
部２６０は、ストローク情報照合部２６８は、ストローク情報において、次の照合位置を決定する（ステップＳ１４０７）。

具体的には、例えばステップＳ１４０４において照合したストローク情報が単語と一致すると判定された場合、ストローク情報照合部２６８は、ストローク情報が示すストロークのうち、照合済みのストロークの次のストロークを次の照合位置に決定する。また、ステップＳ１４０４において照合したストローク情報が単語と一致すると判定された場合、ストローク情報照合部２６８は、ストローク情報のうち、前回照合したストロークと同じストロークを次の照合位置に決定する。

続いて、会議情報分析部２６０は、単語選択部２６７により、単語抽出部２６６が抽出した単語のうち、次の単語を選択し（ステップＳ１４０８）、ステップＳ１４０３へ戻る。

ステップＳ１４０６において、全ての単語について処理した場合、テキストデータ生成部２６９は、画面描画データに含まれるストローク情報全てについて照合したか否かを判定する（ステップＳ１４０９）。

ステップＳ１４０９において、ストローク情報全てについて照合していない場合、会議情報分析部２６０は、分析対象特定部２６５により、画面描画データから抽出した時刻情報が示す時刻から次に近い時刻に収集された音声データと対応するテキストデータを特定し（ステップＳ１４１０）、ステップＳ１４０２へ戻る。

ステップＳ１４０９において、ストローク情報全てについて照合した場合、会議情報分析部２６０は、テキストデータ生成部２６９により、保持している単語をつなげて、テキストデータを生成し（ステップＳ１４１１）、処理を終了する。

本実施形態の
以下に、図１５乃至図１７を参照し、会議情報分析部２６０の処理を具体的に説明する。はじめに、図１５を参照して、会議情報分析部２６０の発話者特定部２６１の処理を説明する。

図１５は、発話者特定部の処理を説明する図である。

本実施形態の発話者特定部２６１は、画面描画データに含まれる時刻情報が示す時刻において、最も音量が大きい音声データを収集した端末装置５００のユーザを、その時刻の発話者に特定する。

図１５の例では、ある時刻において、端末装置５００−１から収集された音声データと、端末装置５００−３から収集された音声データが存在したとする。この場合、端末装置５００−１において収集された音声データの音量の方が、端末装置５００−３において収集された音声データの音量よりも大きい。

よって、発話者特定部２６１は、この時刻において、最も音量が大きい音声データを収集した端末装置５００−１のユーザを、この時刻における発話者に特定する。

また、本実施形態の端末装置５００では、例えば端末装置５００が収集した複数のユーザの音声データのうち、最も音量が大きい音声データを端末装置５００のユーザの音声データとする。

次に、図１６を参照して、会議情報分析部２６０によるストローク情報と単語との照合について説明する。図１６は、ストローク情報と単語との照合を説明する図である。

図１６の例では、画像Ｇ２と対応する画面描画データ２に含まれるストローク情報をテキストデータに変換する場合の例を示している。

この場合、会議情報分析部２６０は発話者特定部２６１により、画面描画データ２から、時刻Ｔ１３を示す時刻情報を抽出し、音声データ抽出部２６２により、時刻Ｔ１３を中心とした所定時間Ｋの間に収集された音声データを抽出する。

ここで、所定時間Ｋは、予め会議支援サーバ２００の管理者等により設定されていても良い。

図１６の例では、所定時間Ｋにおいて抽出された音声データは、音声データＳｐ１〜Ｓｐ４とした（図９参照）。音声データＳｐ１は、電子黒板４００により、時刻Ｔ１において収集されたデータのうち、最も音量が大きい音声データである。最も音量が大きい音声データは、電子黒板４００と一番近い位置にいる参加者の発話である可能性が高い。よって、本実施形態では、音声データＳｐ１の発話者はユーザＸとされる。

音声データＳｐ２は、時刻Ｔ２において収集されたデータのうち、最も音量が大きい音声データである。端末装置５００−２により、時刻Ｔ２において収集されたデータのうち、最も音量が大きい音声データである。よって音声データＳｐ２の発話者は、端末装置５００−２と一番近い位置にいるユーザＢとされる。

同様に、音声データＳｐ３は、時刻Ｔ３において収集されたデータのうち、最も音量が大きい音声データであり、音声データＳｐ３の発話者は、電子黒板４００と一番近い位置にいるユーザＸとされる。音声データＳｐ４は、時刻Ｔ４において収集されたデータのうち、最も音量が大きい音声データであり、音声データＳｐ４の発話者は、端末装置５００−１と一番近い位置にいるユーザＡとされる。

続いて、音声データＳｐ１〜Ｓｐ４は、テキストデータへの変換要求と共に言語処理装置３００へ送信される。

会議情報分析部２６０は、言語処理装置３００によりテキストデータを取得する。図１６の例では、音声データＳｐ１をテキストへ変換した結果が、テキストデータＴｘ１であり、音声データＳｐ２をテキストへ変換した結果が、テキストデータＴｘ２である。また、音声データＳｐ３をテキストへ変換した結果が、テキストデータＴｘ３であり、音声データＳｐ４をテキストへ変換した結果が、テキストデータＴｘ４である。

図１６の例では、画面描画データ２から取得した時刻Ｔ１３と最も近い時刻に収集された音声データと対応するテキストデータとして、テキストデータＴｘ３を特定する。

テキストデータＴｘ３からは、「サイド」という単語１６１、「タイムライン」という単語１６２、「時間」という単語１６３、「表示」という単語１６４、「画面ログ」という単語１６５、「保存」という単語１６６等の単語が抽出される。

よって、会議情報分析部２６０は、画面描画データ２におけるストローク情報により描画された画像１１２と、「サイド」とを照合する。

このとき、単語１６１は３文字の文字列である。よって、会議情報分析部２６０では、画像１１２において、例えば手書き文字認識により、ストローク情報が示す最初の３文字を判別し、単語１６１と、ストローク情報が示す３文字とが一致するか否かを判定する。

両者が一致する場合、会議情報分析部２６０は、単語１６１である「サイド」を、画像１１２として描画されている文字列に含まれるものとして、保持する。

本実施形態の会議情報分析部２６０は、以上のようにして、単語１６２以降についても同様の処理を行う。

図１６の例では、単語１６１〜１６６が全て画像１１２を示すストローク情報に含まれることがわかる。よって、テキストデータ生成部２６９は、単語１６１〜１６６に基づき、テキストデータ１７０を生成する。

尚、このとき、テキストデータ生成部２６９は、例えばテキストデータＴｘ３を参照して、テキストデータ１７０を生成しても良い。具体的には、例えば、テキストデータＴｘ３では、単語１６１の「サイド」と単語１６２の「タイムライン」の間には、「に」という文字がある。よって、テキストデータ生成部２６９は、単語１６１の「サイド」と単語１６２の「タイムライン」の間に「に」を挿入すればよい。

生成されたテキストデータ１７０は、図１６に示す画像Ｇ２Ａのように、画像１１２の近傍に表示されても良い。このとき、テキストデータ１７０は、例えば、画像１１１、１１２よりも輝度を下げた状態で表示されても良い。

図１７は、電子黒板にテキストデータが表示された例を示す図である。本実施形態の電子黒板４００では、例えば、電子黒板４００を利用しているユーザＸにより、テキストデータ１７０が確定されると、画像Ｇ２−１に示すように、画像１１２をテキストデータ１７０に置き換えても良い。

尚、電子黒板４００では、タッチパネルに画像Ｇ２を表示しておき、テキストデータ１７０が生成されると、画像Ｇ２−１を表示させても良い。

また、本実施形態では、テキストデータ１７０に対して、手書きで文字を上書することで、テキストデータ１７０の内容を修正したり、変更したりできる。また、本実施形態では、画像Ｇ２−１上に、テキストデータ１７０を修正したり変更するためのソフトウェアキーボード等を表示させても良い。

また、本実施形態では、例えばテキストデータ１７０が表示された画像Ｇ２−１に対して、テキストデータ１７０を確定させるための操作部品等を表示させても良い。そして、電子黒板４００は、この操作部品が操作されると、テキストデータ１７０を画面描画データ２と対応付けて会議支援サーバ２００へ送信しても良い。会議支援サーバ２００は、画面描画データ２と対応付けられたテキストデータを会議情報に含め、会議情報データベース２２０に格納しても良い。

以上のように、本実施形態によれば、電子黒板４００に対して手書き入力された文字の識字を支援できる。

本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１００ 情報処理システム
２００ 会議支援サーバ
２１０ 会議管理情報データベース
２２０ 会議情報データベース
２５０ 会議情報収集部
２６０ 会議情報分析部
２７０ 変換要求部
３００ 言語処理装置
３１０ 音声変換部
４００ 電子黒板
５００ 端末装置

特開２０１５−０４１３７３号公報

Claims (8)

1. 描画装置と少なくとも１以上の端末装置とネットワークを介して通信可能な情報処理装置であって、
   前記描画装置から、該描画装置の利用者のユーザ情報と該描画装置で収集された音声データと、描画装置に対する操作に対応したストローク情報を含む描画データと、前記端末装置それぞれから、該端末装置の利用者のユーザ情報と前記端末装置で収集された音声データを受信する会議情報収集部と、
   受信した前記描画装置で収集された音声データと、受信した前記端末装置で収集された音声データとの内から、前記描画データを取得した時刻を含む所定時間において収集された時刻に近い音声データに対応する前記ユーザ情報を特定する会議情報分析部と、
   特定された前記ユーザ情報に対応する音声データを前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、を有し、
   前記会議情報分析部は、
   前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する、情報処理装置。
2. 前記会議情報分析部は、
   前記第一のテキストデータのうち、前記描画データを取得した時刻と、収集された時刻が近い音声データに基づくテキストデータから順に、前記ストローク情報が示すストロークと照合する、請求項１記載の情報処理装置。
3. 前記会議情報分析部は、
   前記第一のテキストデータに含まれる単語を抽出し、
   抽出された単語と、前記ストローク情報が示すストロークの一部と、を照合し、
   前記単語と前記ストロークの一部が同じ文字列を示すと判定された単語を用いて、前記第二のテキストデータを生成する、請求項２記載の情報処理装置。
4. 前記所定時間において収集された前記音声データは、前記端末装置が収集した複数の利用者の音声データのうち、最も音量が大きい音声データである請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記ストローク情報は、
   前記描画装置の入力装置に対する接触が検知されてから、前記入力装置に対する接触が検知されなくなったあと、所定期間が経過するまでの間における、前記入力装置に対する操作の軌跡を示す座標情報である、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 描画装置と少なくとも１以上の端末装置とネットワークを介して通信可能な情報処理装置に、
   前記描画装置から、該描画装置の利用者のユーザ情報と該描画装置で収集された音声データと、描画装置に対する操作に対応したストローク情報を含む描画データと、前記端末装置それぞれから、該端末装置の利用者のユーザ情報と前記端末装置で収集された音声データを受信する会議情報収集処理と、
   受信した前記描画装置で収集された音声データと、受信した前記端末装置で収集された音声データとの内から、前記描画データを取得した時刻を含む所定時間において収集された時刻に近い音声データに対応する前記ユーザ情報を特定する会議情報分析処理と、
   特定された前記ユーザ情報に対応する音声データを前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求処理と、を実行させ、
   前記会議情報分析処理において、
   前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する処理を、前記情報処理装置に実行させる、情報処理プログラム。
7. 描画装置と少なくとも１以上の端末装置とネットワークを介して通信可能な情報処理装置を含む情報処理システムであって、
   前記描画装置から、該描画装置の利用者のユーザ情報と該描画装置で収集された音声データと、描画装置に対する操作に対応したストローク情報を含む描画データと、前記端末装置それぞれから、該端末装置の利用者のユーザ情報と前記端末装置で収集された音声データを受信する会議情報収集部と、
   受信した前記描画装置で収集された音声データと、受信した前記端末装置で収集された音声データとの内から、前記描画データを取得した時刻を含む所定時間において収集された時刻に近い音声データに対応する前記ユーザ情報を特定する会議情報分析部と、
   特定された前記ユーザ情報に対応する音声データを前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、を有し、
   前記会議情報分析部は、
   前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する、情報処理システム。
8. 描画装置と少なくとも１以上の端末装置とネットワークを介して通信可能な情報処理装置とを含む情報処理システムによる情報処理方法であって、前記情報処理システムが、
   前記描画装置から、該描画装置の利用者のユーザ情報と該描画装置で収集された音声データと、描画装置に対する操作に対応したストローク情報を含む描画データと、前記端末装置それぞれから、該端末装置の利用者のユーザ情報と前記端末装置で収集された音声データを受信する会議情報収集手順と、
   受信した前記描画装置で収集された音声データと、受信した前記端末装置で収集された音声データとの内から、前記描画データを取得した時刻を含む所定時間において収集された時刻に近い音声データに対応する前記ユーザ情報を特定する会議情報分析手順と、
   特定された前記ユーザ情報に対応する音声データを前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求手順と、を有し、
   前記会議情報分析手順において、
   前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する、情報処理方法。

Images