JP7069631B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、電子化を意識せずにペン及び手書きの付箋を利用する場合と同等の手軽さで、カードや台紙に記入したキーワード等の情報を電子化することを課題とし、小型内蔵カメラ、メモリ、イメージプロセッサ、通信ユニットを備えた入力デバイスと、入力デバイスによってどの紙のどの位置に情報が記入されたか等の情報を識別するための情報が埋め込まれ、無線タグが取り付けられている用紙（カード及び台紙）を用い、机上でブレインストーミングやＫＪ法を行い、記入されたペン情報、用紙情報及び無線タグの位置情報はサーバーに送信され、サーバーは、ペン情報、用紙情報、タグの位置情報を組み合わせ、それぞれの用紙に記載された文字情報、用紙上の文字情報の位置情報、用紙の位置情報を算出し格納し、格納手段内の情報は、情報処理装置によって電子化された情報として閲覧できることが開示されている。

特開２００８－１２３２６５号公報

電子付箋システムにおける付箋の作成において、手書き文字が書き込まれる場合がある。そして、その手書き文字を認識して、テキスト情報が書き込まれた付箋が作成される。しかし、手書き文字認識では誤認識することがある。一方、付箋を作成する場合、その作成者によって書きながら説明が行われる場合がある。また、付箋に対して操作が行われた場合は、その操作者によって、説明が行われる。そして、音声に対しては音声認識を行うことができる。
本発明は、付箋に手書きされた文字を単独で認識する場合に比べて、文字認識の認識結果の正解率を向上させることができる情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。なお、以下の「請求項」とあるのは、出願当初の請求項である。
請求項１の発明は、台紙に貼り付けることができる付箋の作成にあたって手書きされた文字を認識する文字認識手段と、音声を認識する音声認識手段と、前記音声認識手段の認識結果を用いて、前記文字認識手段による認識結果を修正する修正手段を有する情報処理装置である。

請求項２の発明は、前記音声認識手段は、前記付箋にかかわる音声を認識する、請求項１に記載の情報処理装置である。

請求項３の発明は、前記音声認識手段は、前記付箋について前記文字認識手段の対象となっている文字が手書きされている間における音声を認識対象とする、請求項２に記載の情報処理装置である。

請求項４の発明は、前記音声認識手段は、前記付箋を作成している操作者の音声を認識対象とする、請求項３に記載の情報処理装置である。

請求項５の発明は、前記音声認識手段は、前記付箋が操作されている間における音声を認識対象とする、請求項２に記載の情報処理装置である。

請求項６の発明は、前記音声認識手段は、前記付箋がファシリテーター又は該付箋の作成者によって操作されている間における音声を認識対象とする、請求項５に記載の情報処理装置である。

請求項７の発明は、前記音声認識手段の認識結果を前記付箋のメタ情報として付加する付加手段をさらに有する請求項１に記載の情報処理装置である。

請求項８の発明は、前記付加手段は、前記付箋に手書きされた図形を前記メタ情報として付加する、請求項７に記載の情報処理装置である。

請求項９の発明は、前記付加手段は、前記文字認識手段によって認識できなかった手書き部分を前記図形とする、請求項８に記載の情報処理装置である。

請求項１０の発明は、コンピュータを、台紙に貼り付けることができる付箋の作成にあたって手書きされた文字を認識する文字認識手段と、音声を認識する音声認識手段と、前記音声認識手段の認識結果を用いて、前記文字認識手段による認識結果を修正する修正手段として機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、付箋に手書きされた文字を単独で認識する場合に比べて、文字認識の認識結果の正解率を向上させることができる。

請求項２の情報処理装置によれば、付箋にかかわる音声の認識結果を修正に用いることができる。

請求項３の情報処理装置によれば、付箋について文字が手書きされている間における音声の認識結果を修正に用いることができる。

請求項４の情報処理装置によれば、付箋を作成している操作者の音声の認識結果を修正に用いることができる。

請求項５の情報処理装置によれば、付箋が操作されている間における音声の認識結果を修正に用いることができる。

請求項６の情報処理装置によれば、付箋がファシリテーター又はその付箋の作成者によって操作されている間における音声の認識結果を修正に用いることができる。

請求項７の情報処理装置によれば、音声認識の認識結果を付箋のメタ情報として付加することができる。

請求項８の情報処理装置によれば、付箋に手書きされた図形について、メタ情報を付加することができる。

請求項９の情報処理装置によれば、文字認識できなかった手書き部分を図形とすることができる。

請求項１０の情報処理プログラムによれば、付箋に手書きされた文字を単独で認識する場合に比べて、文字認識の認識結果の正解率を向上させることができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用した付箋システムの構成例を示す説明図である。 本実施の形態が使用される会議室等における、電子付箋端末、共有画面用端末の使用例を示す説明図である。 手書認識結果テーブルのデータ構造例を示す説明図である。 音声認識結果テーブルのデータ構造例を示す説明図である。 付箋情報テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である付箋生成装置１００は、会合において用いられる台紙と付箋（電子付箋、電子カード等ともいわれる）に関する処理を行うものであって、図１の例に示すように、付箋生成開始検知モジュール１０５、付箋情報受付モジュール１１０、文字認識モジュール１３０、音声認識モジュール１３５、対応付モジュール１４０、文字認識結果修正モジュール１４５、付箋生成モジュール１５０、付箋操作検知モジュール１５５を有している。なお、会合は、複数人が集まって話し合うことであればよく、例えば、会議、ワークショップ、アイデア抽出会、検討会、相談、議論、集会、ミーティング等を含む。本実施の形態は、電子的な付箋と台紙を利用した電子付箋システム（電子白板等ともいわれる）にかかるものである。
図２の例に示すように、付箋生成装置１００を有している共有画面用端末２００と電子付箋端末２５０は、具体的には、付箋を用いて、ファシリテーター（一般的には１人）と複数人の参加者によって行われる会合で利用される。参加者は参加者用端末としての電子付箋端末２５０を用いて、アイデア等が記載された付箋を作成する。また、ファシリテーターも、共有画面用端末２００を用いて、アイデア等が記載された付箋を作成してもよい。
一般的に、図３の例に示すように、電子付箋端末２５０として、各参加者が所持する電子付箋端末２５０Ａ、電子付箋端末２５０Ｂ等（以下、代表して電子付箋端末２５０という）のように複数ある。そして、共有画面用端末２００は、電子付箋端末２５０から付箋を受け取って、台紙（又は背景）上にその付箋を貼り付ける。ファシリテーターは共有画面用端末２００の表示装置である共有画面を用いて、その台紙上で、付箋の位置を決定又は変更したり、付箋をまとめたり（第１の付箋と第２の付箋を関連付けること、グループ形成等ともいわれる）、自らも付箋情報の作成等を行って、その会合を進行させる。なお、本実施の形態において、参加者には、ファシリテーターを含む。

付箋生成開始検知モジュール１０５は、付箋情報受付モジュール１１０と接続されている。付箋生成開始検知モジュール１０５は、共有画面用端末２００又は電子付箋端末２５０上で、付箋の生成が行われることを検知する。例えば、付箋の生成用ボタンが押下されたことを検知すればよい。

付箋情報受付モジュール１１０は、テキストデータ受付モジュール１１５、手書情報受付モジュール１２０、音声情報受付モジュール１２５を有しており、付箋生成開始検知モジュール１０５と接続されている。付箋情報受付モジュール１１０は、付箋に書き込まれる情報（データ）を受け付ける。ここで付箋に書き込まれる情報として、テキストデータ、手書きデータがある。そして、音声データは、手書きデータの認識の補助データ又は付箋のメタデータとして受け付ける。

テキストデータ受付モジュール１１５は、付箋生成モジュール１５０と接続されている。テキストデータ受付モジュール１１５は、付箋の内容となるテキストデータを受け付ける。例えば、キーボード（ディスプレイ上に表示する仮想キーボードを含む）、マウス等を用いて、参加者が打ち込んだテキストデータを受け付ける。

手書情報受付モジュール１２０は、文字認識モジュール１３０と接続されている。手書情報受付モジュール１２０は、付箋の内容となる手書きデータを受け付ける。例えば、指、ペン等を用いて、タッチパネル上に書き込まれた手書きデータを受け付ける。ここでの手書きデータは、指、ペン等の動きを示しているデータであって、ストロークデータである。ここでのストロークデータは、指、ペン等でのストロークの始点の位置座標、終点の位置座標、書き込まれた日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）情報を含んでいる。そして、文字認識モジュール１３０で文字認識の対象となり、付箋内に書き込まれるテキストデータ又は図形データとなる。
なお、手書情報受付モジュール１２０が手書きデータの受け付けを開始する契機は、付箋生成開始検知モジュール１０５が付箋の生成が行われることを検知したときである。

音声情報受付モジュール１２５は、音声認識モジュール１３５、付箋操作検知モジュール１５５と接続されている。音声情報受付モジュール１２５は、音声データを受け付ける。例えば、電子付箋端末２５０に備え付けられているマイク２５５、共有画面用端末２００に備え付けられているマイク２０５の他に、手書き用のペンに備え付けられているマイク、ユーザーの衣服等に備え付けられているウェアラブルコンピュータ内のマイク等によって受け付けられた音声のデジタルデータであってもよい。ここでの音声データには、その音声を受け付けた日時情報を含んでいてもよい。そして、音声認識モジュール１３５での音声認識対象となる。
なお、音声情報受付モジュール１２５が音声データの受け付けを開始する契機は、付箋生成開始検知モジュール１０５が付箋の生成が行われたことを検知したとき、又は、付箋操作検知モジュール１５５が付箋への操作が行われたことを検知したときである。

文字認識モジュール１３０は、付箋情報受付モジュール１１０の手書情報受付モジュール１２０、対応付モジュール１４０と接続されている。文字認識モジュール１３０は、台紙に貼り付けることができる付箋の作成にあたって手書きされた文字を認識する。また、その認識結果についての確信度を算出してもよい。ここでの確信度とは、その認識結果が正解である確率を示すものであり、高い値であるほどその認識結果の信頼性が高くなる。文字認識モジュール１３０は、例えば、既に知られている文字認識技術を用いればよい。具体的には、オンライン手書き文字認識を用いるようにしてもよい。
文字認識モジュール１３０は、文字認識処理の結果として、例えば、手書認識結果テーブル４００を生成する。図４は、手書認識結果テーブル４００のデータ構造例を示す説明図である。手書認識結果テーブル４００は、付箋ＩＤ欄４０５、開始日時欄４１０、終了日時欄４１５、手書元データ欄４２０、ユーザーＩＤ欄４２５、認識結果１欄４３０、確信度１欄４３５、認識結果２欄４４０、確信度２欄４４５を有している。付箋ＩＤ欄４０５は、本実施の形態において、付箋を一意に識別するための情報（付箋ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。ここでの付箋は、手書きが行われた付箋である。開始日時欄４１０は、手書きが開始された日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）を記憶している。終了日時欄４１５は、手書きが終了した日時を記憶している。手書元データ欄４２０は、手書きの元データ（前述のストロークデータ）を記憶している。ユーザーＩＤ欄４２５は、本実施の形態において、その手書きをしているユーザーを一意に識別するための情報（ユーザーＩＤ）を記憶している。認識結果１欄４３０は、文字認識モジュール１３０による認識結果１（確信度が１位の認識結果）を記憶している。確信度１欄４３５は、その認識結果１の確信度１を記憶している。認識結果２欄４４０は、文字認識モジュール１３０による認識結果２（確信度が２位の認識結果）を記憶している。確信度２欄４４５は、その認識結果２の確信度２を記憶している。その他に、確信度が３位以下の認識結果、確信度を記憶していてもよい。

音声認識モジュール１３５は、付箋情報受付モジュール１１０の音声情報受付モジュール１２５、対応付モジュール１４０と接続されている。音声認識モジュール１３５は、音声を認識する。音声認識モジュール１３５は、例えば、既に知られている音声認識技術を用いればよい。
また、音声認識モジュール１３５は、付箋にかかわる音声を認識するようにしてもよい。
例えば、音声認識モジュール１３５は、付箋について文字認識モジュール１３０の対象となっている文字が手書きされている間における音声を認識対象とするようにしてもよい。
また、例えば、音声認識モジュール１３５は、付箋を作成している操作者の音声を認識対象とするようにしてもよい。ここでの認識対象の音声は、付箋を作成している電子付箋端末２５０、その近辺（前述のウェアラブルコンピュータを含む）、又は電子付箋端末２５０を扱うペン等に備え付けられているマイクが受け付けた音声である。なお、共有画面上で付箋が作成される場合は、ファシリテーターの音声を認識対象とすることになり、その場合の認識対象である音声は、共有画面、その近辺、又は共有画面を扱うペン等に備え付けられているマイクが受け付けた音声となる。
また、例えば、音声認識モジュール１３５は、付箋が操作されている間における音声を認識対象とするようにしてもよい。
音声認識モジュール１３５は、付箋がファシリテーター又はその付箋の作成者によって操作されている間における音声を認識対象とするようにしてもよい。

音声認識モジュール１３５は、音声認識処理の結果として、例えば、音声認識結果テーブル５００を生成する。図５は、音声認識結果テーブル５００のデータ構造例を示す説明図である。音声認識結果テーブル５００は、付箋ＩＤ欄５０５、開始日時欄５１０、終了日時欄５１５、音声元データ欄５２０、ユーザーＩＤ欄５２５、認識結果１欄５３０、確信度１欄５３５、認識結果２欄５４０、確信度２欄５４５を有している。付箋ＩＤ欄５０５は、付箋ＩＤを記憶している。ここでの付箋は、付箋作成時又は付箋の説明時に、音声が発生された付箋である。開始日時欄５１０は、音声の録音が開始された日時を記憶している。なお、音声の発生によって録音が開始されるものであってもよい。終了日時欄５１５は、音声の録音が終了した日時を記憶している。音声元データ欄５２０は、音声の元データを記憶している。ユーザーＩＤ欄５２５は、その音声を発声したユーザーのユーザーＩＤを記憶している。認識結果１欄５３０は、音声認識モジュール１３５による認識結果１を記憶している。確信度１欄５３５は、その認識結果１の確信度１を記憶している。認識結果２欄５４０は、音声認識モジュール１３５による認識結果２を記憶している。確信度２欄５４５は、その認識結果２の確信度２を記憶している。

対応付モジュール１４０は、文字認識モジュール１３０、音声認識モジュール１３５、文字認識結果修正モジュール１４５と接続されている。対応付モジュール１４０は、文字認識モジュール１３０による文字認識結果と音声認識モジュール１３５による音声認識結果とを対応付ける。例えば、手書きデータの書き込まれた日時、音声を受け付けた日時にしたがって、文字認識結果と音声認識結果とを対応付けるようにしてもよい。また、付箋に対する操作が行われた場合に、音声情報受付モジュール１２５が受け付けた音声と、その付箋内の文字認識結果とを対応付けるようにしてもよい。

文字認識結果修正モジュール１４５は、対応付モジュール１４０、付箋生成モジュール１５０と接続されている。文字認識結果修正モジュール１４５は、音声認識モジュール１３５の認識結果を用いて、文字認識モジュール１３０による認識結果を修正する。修正方法については、図１３、図１４の例を用いて後述する。

付箋生成モジュール１５０は、付箋情報受付モジュール１１０のテキストデータ受付モジュール１１５、文字認識結果修正モジュール１４５と接続されている。付箋生成モジュール１５０は、テキストデータ受付モジュール１１５によって受け付けられたテキストデータを内容とする付箋、又は、文字認識結果修正モジュール１４５によって修正された文字の認識結果を内容とする付箋を生成する。
また、付箋生成モジュール１５０は、音声認識モジュール１３５の認識結果を付箋のメタ情報として付加するようにしてもよい。
また、付箋生成モジュール１５０は、付箋に手書きされた図形を、メタ情報として付加するようにしてもよい。この場合、文字認識モジュール１３０によって認識できなかった手書き部分を図形としてもよい。

付箋生成モジュール１５０は、付箋の生成結果として、例えば、付箋情報テーブル６００を生成する。図６は、付箋情報テーブル６００のデータ構造例を示す説明図である。付箋情報テーブル６００は、付箋ＩＤ６０２、台紙ＩＤ欄６０４、貼付位置欄６０６、サイズ欄６０８、作成日時欄６１０、作成者欄６１２、貼付日時欄６１４、色欄６１６、枠線形状欄６１８、枠線色欄６２０、枠線太さ欄６２２、所属グループ欄６２４、内容種別欄６２６、内容欄６２８、手書元データ欄６３０、作成時音声認識結果データ欄６３２、開始日時欄６３４、終了日時欄６３６、説明時音声認識結果データ欄６３８、開始日時欄６４０、終了日時欄６４２を有している。付箋ＩＤ欄６０２は、付箋ＩＤを記憶している。台紙ＩＤ欄６０４は、本実施の形態において、台紙を一意に識別するための情報（台紙ＩＤ）を記憶している。つまり、台紙ＩＤは、その付箋ＩＤの付箋が貼り付けられる台紙を示している。貼付位置欄６０６は、その付箋が貼り付けられる位置を記憶している。つまり、台紙上の貼り付け位置を記憶している。例えば、台紙のＸＹ座標系における座標である。サイズ欄６０８は、その付箋のサイズを記憶している。例えば、表示する付箋が矩形である場合は、幅と高さを記憶している。作成日時欄６１０は、その付箋が作成された日時を記憶している。作成者欄６１２は、その付箋の作成者（ユーザーＩＤ）を記憶している。又は、その付箋が作成された情報処理装置（電子付箋端末２５０又は共有画面用端末２００の機器ＩＤ）を記憶してもよい。貼付日時欄６１４は、その付箋が台紙に貼り付けられた日時を記憶している。色欄６１６は、その付箋の表示色を記憶している。枠線形状欄６１８は、その付箋の表示における枠線の形状（実線、点線、破線、波線、二重線等）を記憶している。枠線色欄６２０は、その付箋の表示における枠線の色を記憶している。枠線太さ欄６２２は、その付箋の表示における枠線の太さを記憶している。所属グループ欄６２４は、その付箋が所属しているグループに関する情報を記憶している。例えば、その付箋がグループに属しているか否かを示す情報を記憶していてもよいし、グループに属している場合は、グループＩＤやそのグループに属している他の付箋ＩＤ等を記憶していてもよい。内容種別欄６２６は、その付箋に記載された内容の種別、具体的には、「テキスト」、「手書文字認識結果」、「図形」、「画像」等を示す情報を記憶している。内容欄６２８は、その付箋に書き込まれている内容を記憶している。例えば、内容種別欄６２６が「テキスト」、「手書文字認識結果」である場合は、テキストデータであり、「図形」である場合は、ストロークデータであり、「画像」である場合は、画像データ（電子カメラ等で撮影した画像データ）である。手書元データ欄６３０は、内容種別欄６２６が「手書文字認識結果」である場合に、手書きの元データを記憶している。付箋を表示する場合は、手書文字認識結果であるテキストデータを表示してもよいし、手書き文字そのものを表示してもよい。作成時音声認識結果データ欄６３２は、その付箋の作成時における音声の認識結果データを記憶している。開始日時欄６３４は、作成時音声認識結果データ欄６３２の音声の録音が開始された日時を記憶している。終了日時欄６３６は、作成時音声認識結果データ欄６３２の音声の録音が終了した日時を記憶している。説明時音声認識結果データ欄６３８は、その付箋の説明時における音声の認識結果データを記憶している。開始日時欄６４０は、説明時音声認識結果データ欄６３８の音声の録音が開始された日時を記憶している。終了日時欄６４２は、説明時音声認識結果データ欄６３８の音声の録音が終了した日時を記憶している。

付箋操作検知モジュール１５５は、付箋情報受付モジュール１１０の音声情報受付モジュール１２５と接続されている。付箋操作検知モジュール１５５は、共有画面用端末２００又は電子付箋端末２５０上で、付箋への操作が行われることを検知する。例えば、付箋が選択された操作、付箋を拡大表示する操作（その付箋を説明するための操作）等を検知すればよい。

図２は、本実施の形態を利用した付箋システムの構成例を示す説明図である。
共有画面用端末２００（共有画面用端末２００Ａ、共有画面用端末２００Ｂ）は、付箋生成装置１００（付箋生成装置１００Ｘ、付箋生成装置１００Ｙ）を有しており、マイク２０５（マイク２０５Ａ、マイク２０５Ｂ）が接続されている。
電子付箋端末２５０（電子付箋端末２５０Ａ～電子付箋端末２５０Ｅ）は、付箋生成装置１００（付箋生成装置１００Ａ～付箋生成装置１００Ｅ）を有しており、マイク２５５（マイク２５５Ａ～マイク２５５Ｅ）が接続されている。
マイク２０５、マイク２５５は、それぞれ共有画面用端末２００、電子付箋端末２５０に内蔵されていてもよい。

共有画面用端末２００は、一般的に大画面の表示装置を備えており、ファシリテーターによって操作される。この表示装置は、参加者全員が見ることができるものである。各電子付箋端末２５０は、会合における参加者によって操作され、一般的には、各参加者が１台ずつ所持している。例えば、電子付箋端末２５０として、タブレット型端末等が使用される。
図２の例では、会議室２８０Ａには、共有画面用端末２００Ａ、電子付箋端末２５０Ａ、電子付箋端末２５０Ｂ、電子付箋端末２５０Ｃが設置されており、会合が行われる。共有画面用端末２００Ａ、電子付箋端末２５０Ａ、電子付箋端末２５０Ｂ、電子付箋端末２５０Ｃは、通信回線２９８を介してそれぞれ接続されている。通信回線２９８は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。
また、会議室２８０Ｂには、共有画面用端末２００Ｂ、電子付箋端末２５０Ｄ、電子付箋端末２５０Ｅが設置されており、会合が行われる。共有画面用端末２００Ｂ、電子付箋端末２５０Ｄ、電子付箋端末２５０Ｅは、通信回線２９８を介してそれぞれ接続されている。

そして、台紙・付箋等情報記憶装置２９４、会議室２８０Ａ内の機器、会議室２８０Ｂ内の機器は、通信回線２９９を介してそれぞれ接続されている。また、台紙・付箋等情報記憶装置２９４による機能は、クラウドサービスとして実現してもよい。

台紙・付箋等情報記憶装置２９４は、付箋に関する情報を記憶している。各共有画面用端末２００は、台紙・付箋等情報記憶装置２９４を用いて処理を行う。この場合、台紙・付箋等情報記憶装置２９４内の付箋に関する情報を複数の共有画面用端末２００で共有してもよい。つまり、共有画面用端末２００Ａが管理している台紙と付箋に関する情報を、共有画面用端末２００Ｂが利用できるようにしてもよい。特に、１つのプロジェクト内で複数の会合（例えば、会議室２８０Ａ、会議室２８０Ｂでの会合）がかかわっている場合、同じタスクに対応する付箋を他の会合における台紙に貼り付けるようにしてもよい。これによって、一方の会合において、他方の会合における同じタスクの状況を把握することができるようになる。

例えば、参加者は、電子付箋端末２５０を用いて、付箋を生成する。その場合、付箋に手書き文字が記載される。手書きは、キーボード等を用いた場合に比べて、図形を描きやすいこと、文字の大きさを変更する等をして文章にメリハリを付けることができる。つまり、作成者の意図を反映しやすく、１枚の付箋内の情報量を多くしやすい。
しかし、手書き文字のままでは、次工程への情報受け渡しや検索ができないなど、制約がある。そこで、その手書き文字を文字認識することが行われる。手書き文字に対する文字認識技術として、（１）文字形状の認識、（２）ストロークデータの認識がある。ただし、文字認識の正確さは完全ではなく、特に図形が混在すると精度が落ちる。
一方、付箋に手書きで書き込みをしながら、他の参加者に対して解説を行う場合がある。また、その後で、その付箋を説明をする場合がある。したがって、本実施の形態は、その解説、説明等での音声を認識して、手書き文字の認識結果を修正することによって、手書き文字の認識結果の精度を向上させるようにしている。

図３は、本実施の形態が使用される会議室等における、電子付箋端末２５０、共有画面用端末２００の使用例を示す説明図である。
図３（ａ）の例に示すように、会議室等内に、参加者３１１、３１２、ファシリテーター３２１が集まっている。参加者３１１は電子付箋端末２５０Ａを利用し、参加者３１２は電子付箋端末２５０Ｂを利用する。一般的に、端末装置（電子付箋端末２５０Ａ等）は参加者１人に１個付与されており、図３（ｃ）の例に示す電子付箋端末２５０のように、ノート程度の大きさ（例えば、Ａ４、Ｂ５、７～１０インチ等）のタブレット型の端末であり、指又はペン等を用いて操作されるものである。参加者によって、テキストデータ、手書きの文字、図形等が記載された付箋情報が作成される。なお、端末装置は、タブレット型の端末に限られず、キーボード、マウス等を備えたＰＣ（ノートＰＣを含む）等であってもよい。
図３（ａ）の例に示す共有画面用端末２００ｘは、プロジェクターであって、台紙及び付箋を表示する。また、共有画面用端末２００ｙは、電子白板であって、ファシリテーター３２１の指又はペン等の動きを検知して、子台紙又は付箋を台紙（表）に貼り付けること、子台紙又は付箋の移動、子台紙又は付箋の関連付け（グループ化）を行うこと等の操作を受け付けるものである。例えば、共有画面用端末２００ｙにペンが備えられており、そのペンが予め定められたペン置きから離れたこと（ファシリテーター３２１が操作するためにペンを持ち上げたこと）、そしてペンの先端の位置（ペン先端が共有画面用端末２００ｙに触れたこと等）を検知することによって、台紙、子台紙、付箋に対する操作を受け付ける。例えば、ペン置きにセンサー（ペンの重力でスイッチがオンオフとなるセンサー等）を設け、複数のペン（黒色のペン、赤色のペン、青色のペン等）のうち、どのペンが用いられているかを検知すればよい。また、共有画面用端末２００ｙの表示画面全体がタッチセンサーであり、表示画面に触れられた位置、圧力を検知すればよい。本例では、ペンのオンオフはペン置きによって制御するが、必ずしもペン置きがある必要はない。ペン側で直接オンオフを制御できるようにしても構わない。色の変更に関してもペン置きを必要とせずに、表示画面上の一部分にカラーパレットを用意しておき、目的の色をペン（又は、それに類するもの）がタッチすることで色を変更したり、ペンに色を変える指示をするための機能（ボタンやスライダ等）が備わっていたりしても構わない。
また、共有画面用端末２００は、図３（ｂ）の例に示すような電子ボードであってもよい。電子ボードは、一般的に大画面の表示装置（少なくとも、電子付箋端末２５０の表示装置よりも大きい）を有しており、その表示装置はタッチパネルであり、表示画面に触れられた位置、圧力を検知する。例えば、画面として、８０インチ等の大きさを備えたものであってもよい。

図７は、本実施の形態による処理例を示すフローチャートである。
ステップＳ７０２では、付箋生成開始検知モジュール１０５は、付箋生成開始を検知する。例えば、付箋生成開始ボタンの押下を検知する。図８（ａ）の例に示すように、付箋記載画面８００に対して、ユーザーがペン８５０を用いて手書きを行う。例えば、文字、図形が手書きされる。そして、その手書きしているときに、ユーザーは、音声を発声する。この音声は、説明用の音声（説明しながら付箋を作成する場合）、又は、独り言の音声であってもよい。ステップＳ７０４、Ｓ７０６の処理と、ステップＳ７０８、Ｓ７１０の処理は、並行して行われる。
ステップＳ７０４では、手書情報受付モジュール１２０は、手書情報を受け付ける。
ステップＳ７０６では、文字認識モジュール１３０は、文字認識を行う。
ステップＳ７０８では、音声情報受付モジュール１２５は、音声情報を受け付ける。
ステップＳ７１０では、音声認識モジュール１３５は、音声認識を行う。

ステップＳ７１２では、対応付モジュール１４０は、文字認識結果と音声認識結果を対応付ける。図９の例を用いて説明する。図９は、付箋が生成される過程を示している。
ユーザーによって、音声９５０の発声が行われながら、手書文字９１０が生成される。
付箋作成開始時９１２の後に、記入開始時９１４があり、手書文字９１０が生成され、記入終了時９１６があり、付箋作成終了時９２０に付箋が生成される。手書情報取得期間９１８は、記入開始時９１４から記入終了時９１６までである。対応付音声情報取得期間９５２は、付箋作成開始時９１２から付箋作成終了時９２０までである。対応付音声情報取得期間９５２には、少なくとも、手書情報取得期間９１８を含むようにすればよい。
手書文字９１０の認識結果、音声９５０の認識結果には、それぞれ日時情報が付加されているので（手書認識結果テーブル４００の開始日時欄４１０と終了日時欄４１５、音声認識結果テーブル５００の開始日時欄５１０と終了日時欄５１５）、その日時情報が一致するように、手書文字９１０と音声９５０の認識結果を対応付ける。なお、ここでの「一致」として、日時情報で厳密に対応付けるようにしてもよいが、一般的には、手書文字９１０が書かれている時点と、音声９５０が発生されている時点とがずれる場合もあるので、手書文字９１０の認識結果の日時に対して、予め定められた範囲の期間内における音声９５０の認識結果を対応付けるようにしてもよい。

ステップＳ７１４では、文字認識結果修正モジュール１４５は、音声認識結果を用いて文字認識結果を修正する。例えば、文字認識結果として「０（数字のゼロ）」、「Ｏ（英字のオー）」は、ほとんど区別がつかない。つまり、確信度が低くなる、又は、両者の確信度の差分が小さくなる。しかし、音声では「オーケー」と発音されているので、「Ｏ（英字のオー）」と音声認識される。この音声認識結果を用いて、文字認識結果を「Ｏ（英字のオー）」に確定する。具体的には、後述する図１３又は図１４の例に示すような修正処理を行う。
ステップＳ７１６では、付箋生成モジュール１５０は、音声認識結果をメタ情報として付与する。ここでの「メタ情報の付与」は、具体的には、図６の例で示した付箋情報テーブル６００の作成時音声認識結果データ欄６３２に音声認識結果を記憶させることである。
ステップＳ７１８では、付箋生成モジュール１５０は、付箋を生成する。

この処理が終了した後の付箋記載画面８００の表示例として、図８（ｂ）のようになる。つまり、文字認識提示領域８２０にステップＳ７１４の処理結果を表示する。。
付箋記載画面８００には、文字認識提示領域８２０、図形提示領域８２５を表示する。文字認識提示領域８２０には、ステップＳ７１４での処理結果である「おいうえＯＫ」と表示し、図形提示領域８２５には、文字認識することができなかった図形を表示する。具体的には、文字認識の確信度が予め定められた閾値よりも低いストロークデータであって、音声認識結果を用いても修正できなかった場合のストロークデータである。なお、手書きされた位置と同じ場所になるように、文字認識結果を表示する。

図１０は、本実施の形態による処理例を示すフローチャートである。
ステップＳ１００２では、付箋操作検知モジュール１５５は、付箋に対する操作を検知する。例えば、付箋の選択操作、拡大表示操作等を検知する。
ステップＳ１００４では、音声情報受付モジュール１２５は、音声情報を受け付ける。
ステップＳ１００６では、音声認識モジュール１３５は、音声認識を行う。
ステップＳ１００８では、対応付モジュール１４０は、文字認識結果と音声認識結果を対応付ける。なお、ここでの対応付けは、手書きが発生しているわけではないので、対象としている付箋における文字認識結果と音声認識結果（ステップＳ１００６での音声認識結果）を対応付けるだけである。ただし、付箋内の文字をそのまま読み上げることが多いので、文字認識結果内の順番と音声認識結果内の順番を対応付ける。図１１の例は、付箋が説明される場合の過程を示している。
付箋操作１１１０として、操作開始時１１１２の後に操作終了時１１２０がある。そこで、対象となる音声１１５０の期間は、操作開始時１１１２から操作終了時１１２０までの対応付音声情報取得期間１１５２である。

ステップＳ１０１０では、文字認識結果修正モジュール１４５は、音声認識結果を用いて文字認識結果を修正する。例えば、後述する図１４の例に示すような修正処理を行う。
ステップＳ１０１２では、付箋生成モジュール１５０は、音声認識結果をメタ情報として付与する。
ステップＳ１０１４では、付箋生成モジュール１５０は、付箋を修正する。

図１２は、本実施の形態による処理例を示すフローチャートである。図１０の例に示した処理（付箋の説明時における音声を用いた処理）における音声を取得するマイクの制御処理例を示すものである。
ステップＳ１２０２では、共有画面用端末２００で操作された付箋の付箋ＩＤを抽出する。
ステップＳ１２０４では、その共有画面用端末２００のマイク２０５をＯＮにする。つまり、共有画面用端末２００のファシリテーターが、その付箋を説明する場合に対応するためである。
ステップＳ１２０６では、その付箋ＩＤの付箋を作成したユーザーを抽出する。
ステップＳ１２０８では、そのユーザーが利用している電子付箋端末２５０のマイク２５５をＯＮにする。つまり、付箋の作成者が、その付箋を説明する場合に対応するためである。
付箋の作成者が説明することが定められている会合では、ステップＳ１２０４の処理を省略してもよい。ファシリテーターが説明することが定められている会合では、ステップＳ１２０６、Ｓ１２０８の処理を省略してもよい。会合の最初に、誰が付箋を説明するかについての規則を設定するようにし、その設定にしたがって、図１２の例に示す処理（ステップＳ１２０４の処理を省略、又は、ステップＳ１２０６、Ｓ１２０８の処理を省略）を行うようにしてもよい。

図１３は、本実施の形態による処理例を示すフローチャートである。音声認識結果を用いて文字認識結果を修正する処理例を示すものである。図７の例に示した処理で行われる。
ステップＳ１３０２では、「手書き文字の認識結果１の確信度１＜閾値Ａ」であるか否かを判断し、「手書き文字の認識結果１の確信度１＜閾値Ａ」の場合はステップＳ１３０４へ進み、それ以外の場合は処理を終了する（ステップＳ１３９９）。なお、確信度１と確信度２との差分が予め定められた値未満である場合は、ステップＳ１３０８へ進み、それ以外の場合はステップＳ１３１２へ進むようにしてもよい。
ステップＳ１３０４では、手書きが行われた日時に対応する日時の音声の認識結果を抽出する。

ステップＳ１３０６では、「その音声の認識結果１の確信度１＜閾値Ｂ」であるか否かを判断し、「その音声の認識結果１の確信度１＜閾値Ｂ」の場合はステップＳ１３０８へ進み、それ以外の場合はステップＳ１３１２へ進む。なお、閾値Ａと閾値Ｂとは、同じ値であってもよいし、異なる値であってもよい。
ステップＳ１３０８では、ユーザーに修正を促す。つまり、文字認識結果、音声認識結果の両方が不正解の確率が高いからである。なお、修正候補として、文字認識結果又は音声認識結果を選択可能に表示してもよい。
ステップＳ１３１０では、ユーザーの修正操作にしたがって、手書き文字の認識結果を修正する。
ステップＳ１３１２では、手書き文字の認識結果を音声の認識結果に修正する。つまり、文字認識結果よりも音声認識結果の方が信頼できる場合であるからである。

図１４は、本実施の形態による処理例を示すフローチャートである。音声認識結果を用いて文字認識結果を修正する処理例を示すものである。図７、図１０の例に示した処理で行われる。
ステップＳ１４０２では、「手書き文字の認識結果１の確信度１＜閾値Ａ」であるか否かを判断し、「手書き文字の認識結果１の確信度１＜閾値Ａ」の場合はステップＳ１４０４へ進み、それ以外の場合は処理を終了する（ステップＳ１４９９）。
ステップＳ１４０４では、対象としている手書き文字の前後の文字認識結果を抽出する。
ステップＳ１４０６では、音声認識結果内に、抽出した文字の組み合わせはあるか否かを判断し、ある場合はステップＳ１４０８へ進み、それ以外の場合は処理を終了する（ステップＳ１４９９）。
ステップＳ１４０８では、手書き文字の認識結果を音声の認識結果に修正する。

例えば、対象としている手書き文字の認識結果が「Ｘ」（「Ｘ」の確信度が閾値Ａ未満）であり、その前の文字が「Ａ」であり、その後の文字が「Ｂ」である場合、「Ａ」「任意の１文字」「Ｂ」の文字列（正規表現で記載した場合は「Ａ？Ｂ」）が、音声認識結果内にあるかを検索すればよい。
そして、ある場合は、ステップＳ１４０８で、手書き文字の認識結果である「Ｘ」を、音声認識結果内の「Ａ」と「Ｂ」に囲まれた文字に修正する。
なお、前後の文字を１文字としたが、複数文字であってもよい。また、修正対象である文字を１文字としたが、複数文字であってもよい。また、形態素解析等の文法処理を行って修正を行うようにしてもよい。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１５に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１５０１を用い、記憶装置としてＲＡＭ１５０２、ＲＯＭ１５０３、ＨＤ１５０４を用いている。ＨＤ１５０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いてもよい。付箋生成開始検知モジュール１０５、付箋情報受付モジュール１１０、文字認識モジュール１３０、音声認識モジュール１３５、対応付モジュール１４０、文字認識結果修正モジュール１４５、付箋生成モジュール１５０、付箋操作検知モジュール１５５等のプログラムを実行するＣＰＵ１５０１と、そのプログラムやデータを記憶するＲＡＭ１５０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１５０３と、文字認識モジュール１３０による認識結果、音声認識モジュール１３５による認識結果、手書認識結果テーブル４００、音声認識結果テーブル５００、付箋情報テーブル６００等を記憶している補助記憶装置（フラッシュ・メモリ等であってもよい）であるＨＤ１５０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１５０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１５０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１５０７、そして、それらをつないでデータのやりとりをするためのバス１５０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１５に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

また、前述の実施の形態の説明内での比較処理において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ－ＲＯＭ）、ＣＤレコーダブル（ＣＤ－Ｒ）、ＣＤリライタブル（ＣＤ－ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…付箋生成装置
１０５…付箋生成開始検知モジュール
１１０…付箋情報受付モジュール
１１５…テキストデータ受付モジュール
１２０…手書情報受付モジュール
１２５…音声情報受付モジュール
１３０…文字認識モジュール
１３５…音声認識モジュール
１４０…対応付モジュール
１４５…文字認識結果修正モジュール
１５０…付箋生成モジュール
１５５…付箋操作検知モジュール
２００…共有画面用端末
２０５、２５５…マイク
２５０…電子付箋端末
２８０…会議室
２９４…台紙・付箋等情報記憶装置
２９８、２９９…通信回線

Claims (10)

1. 台紙に貼り付けることができる付箋の作成にあたって手書きされた文字を認識する文字認識手段と、
   共有画面用端末で操作された付箋の識別子に基づき、当該識別子の付箋を作成したユーザーが利用している電子付箋端末のマイクによって取得された音声を認識する音声認識手段と、
   前記音声認識手段の認識結果を用いて、前記文字認識手段による認識結果を修正する修正手段
   を有する情報処理装置。
2. 前記音声認識手段は、前記付箋にかかわる音声を認識する、
   請求項１に記載の情報処理装置。
3. 前記音声認識手段は、前記付箋について前記文字認識手段の対象となっている文字が手書きされている間における音声を認識対象とする、
   請求項２に記載の情報処理装置。
4. 前記音声認識手段は、前記付箋を作成している操作者の音声を認識対象とする、
   請求項３に記載の情報処理装置。
5. 前記音声認識手段は、前記付箋が操作されている間における音声を認識対象とする、
   請求項２に記載の情報処理装置。
6. 前記音声認識手段は、前記付箋がファシリテーター又は該付箋の作成者によって操作されている間における音声を認識対象とする、
   請求項５に記載の情報処理装置。
7. 前記音声認識手段の認識結果を前記付箋のメタ情報として付加する付加手段
   をさらに有する請求項１に記載の情報処理装置。
8. 前記付加手段は、前記付箋に手書きされた図形を前記メタ情報として付加する、
   請求項７に記載の情報処理装置。
9. 前記付加手段は、前記文字認識手段によって認識できなかった手書き部分を前記図形とする、
   請求項８に記載の情報処理装置。
10. コンピュータを、
    台紙に貼り付けることができる付箋の作成にあたって手書きされた文字を認識する文字認識手段と、
    共有画面用端末で操作された付箋の識別子に基づき、当該識別子の付箋を作成したユーザーが利用している電子付箋端末のマイクによって取得された音声を認識する音声認識手段と、
    前記音声認識手段の認識結果を用いて、前記文字認識手段による認識結果を修正する修正手段
    として機能させるための情報処理プログラム。
    

Images