JP5950634B2 - 情報処理装置、コンピュータプログラム、情報処理方法 - Google Patents

Description

本発明は、スクリーン上に貼付された紙付箋を電子化した電子付箋データの表示を制御する情報処理装置に関する。

複数人で新しい知識を創出する方法として、ブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、アイデアを１つずつカードに書き込み、それらを共有しながらアイデアを発散させていく。また、これらのアイデアを収束する方法として、ＫＪ法と呼ばれる方法が知られている。ＫＪ法では、アイデアの内容について、内容の近いもの同士を集めて分類するグループ化を繰り返し、グループ間の関係性を整理するという方法である。そして、この作業の中で、アイデアの本質の発見や新たなアイデアの創出が行われる。

ブレインストーミングやＫＪ法では、前述のカードとして糊付き付箋紙（ポスト・イット（商標）など）を用い、その糊付き付箋紙をホワイトボードなどに貼りつけて進める方法が良く用いられる。更に、プロジェクタを用いてプレゼンテーション資料などの画像をホワイトボードに投影しながら、そのホワイトボード上で付箋紙を貼付する場合もある。

特許文献１では、画像が投影されているホワイトボード上に書き込まれた手書きの情報や、該ホワイトボード上に貼り付けられた付箋紙の情報を撮影する技術について開示している。特許文献１では、プロジェクタとデジタルカメラとを連携させ、付加情報（手書きの情報や付箋紙の情報）を撮影するタイミングで、プロジェクタからの投影画像を非表示にすることにより、付加情報のみが撮影された撮影画像を得ている。そして、撮影直前の投影画像と、当該撮影された撮影画像とを対応付けて記録しておくことで、後で再生を行う際にそれらを合成して表示できるようにしている。

また一方、特許文献２では、端末装置のタッチパネル上で書き込んだ電子データをサーバに送信し、該サーバは受信した電子データをディスプレイ上の対応する位置に表示する会議支援システムが開示されている。

特開２００６−１８４３３３号公報 特開２０１１−９０４８６号公報

特許文献１に記載されているように、ホワイトボードに貼り付けられた紙の付箋を撮影して得られる電子データ（撮影画像）を投影画像と関連付けて記録しておくことで、後で記録結果を再生する際には、投影画像と撮影画像とを合成表示できるようにしている。すなわち、特許文献１では、ユーザが再生モードに切り替え、更に再生する投影画像を選択すれば、関連する撮影画像を該投影画像に合成して表示させることができる。しかしながら、特許文献１では、撮影画像を再生したい場合、モード切替や画像選択などのユーザからの指示が必要であり、ユーザの手間がかかってしまい、ブレインストーミングを行っている最中に電子データを再生するような用途には適していない。

また、特許文献２は、タッチパネルから入力された電子データをすぐにディスプレイに表示するものであり、紙の付箋を撮影して得られる撮影画像を表示するようなことについては考慮されていない。

特許文献１の「紙付箋を撮影して電子化する技術」に、特許文献２の「電子データをすぐにディスプレイに表示する技術」を組み合わせた場合、付箋を撮影すると、その撮影画像をすぐにホワイトボードに投影することが考えられる。しかしながら、付箋の撮影画像をすぐに投影すると、ホワイトボードに紙の付箋が貼られたままの状態で撮影画像が投影されてしまうことになる。また、撮影時や再生時の誤差等により撮影画像の再生位置は若干のズレが生じる可能性がある。したがって、ホワイトボードに紙の付箋が貼られたままの状態で撮影画像が投影されると、紙付箋内に書き込まれている文字と当該撮影画像内の文字とが少しズレて重なるので、どちらの文字も見にくくなってしまう。

また、特許文献１〜２では、紙付箋を用いたブレインストーミングなどの会議を、複数の遠隔地間で共同して行うような形態については想定していなかった。

上記課題を解決するために、本発明の情報処理装置は、電子付箋の画像を第１のスクリーンに表示するように制御する情報処理装置であって、記憶装置に登録されている電子付箋データの貼付状態情報と貼付場所の情報を用いて、前記電子付箋データについて、対応する紙付箋がスクリーン上に貼付され、且つ当該紙付箋が貼付されているスクリーンが前記第１のスクリーンであるか判定する第１の判定手段と、前記第１の判定手段で、前記電子付箋データの貼付状態情報により前記対応する紙付箋が貼付されていない或いは前記電子付箋データの貼付場所の情報により当該紙付箋が貼付されているスクリーンが前記第１のスクリーンでない別のスクリーンと判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示するように制御する一方、記第１の判定手段で、前記電子付箋データの添付状態情報により前記対応する紙付箋が貼付されており、且つ前記電子付箋データの添付場所の情報により前記対応する紙付箋が前記第１のスクリーン上に貼付されていると判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示しないように制御する表示制御手段と、を有することを特徴とする。

本発明によれば、複数の遠隔地に居るユーザが、それぞれの遠隔地に用意されているホワイトボードを利用して、ブレインストーミングなどの会議を同時に行えるようになる。更に、紙付箋の貼付状況と貼付場所とに応じて、対応する電子付箋の表示／非表示を自動的に切り替えるように構成したので、紙付箋の上に電子付箋の画像が重なって見にくくなることを防ぐことができる。

情報処理システムの最小構成を示す図である。 サーバ（情報処理装置）の構成を示す図である。 紙付箋を電子付箋化する処理のフローチャートである。 一定時間が経過したら自動的に撮影する処理のフローチャートである。 人感センサの検知状態で自動的に撮影する処理のフローチャートである。 付箋画像抽出処理の詳細を示すブロック図である。 電子付箋のデータ構造を示す図である。 実施例１の電子付箋を表示する処理のフローチャートである。 紙付箋の状態遷移を検出する一例を示すフローチャートである。 複数の情報処理システムを示す図である。 電子付箋の表示に関する処理のフローチャートである。 電子付箋の表示にフローを説明する図である。 複数の会議支援システムにおける、付箋の表示方法の遷移を示す図である。 サーバＰＣの制御方法に関するフローチャートである。 携帯端末を用いた情報処理システムを示す図である。 携帯端末の構成を示す図である。 実施例２の電子付箋を表示する処理のフローチャートである。 付箋の表示方法の遷移を示す図である 電子付箋のデータ構造を示す図である。 電子付箋のデータ構造を示す図である。 電子付箋のデータ構造を示す図である。 電子付箋のデータ構造を示す図である。

［実施例１］
図１は本実施形態における情報処理システムの最小構成を示す図である。本情報処理システムは、情報処理装置としてのサーバ１１１、撮影装置としてのデジタルカメラ１１３、表示装置１１５で構成される。表示装置１１５はさらにプロジェクタ１１２とホワイトボード１１４からなり、プロジェクタ１１２が投影した画像が、ホワイトボード１１４上に表示される。なお、本実施例の情報処理システムは、ブレインストーミングなどの会議や、ＫＪ法などで利用可能であるが、利用用途はこれらに限るものではない。

なお、本実施形態では、糊付き付箋（ポスト・イット（商標）など）がホワイトボードなどのスクリーンに貼られた場合を用いて説明するが、本発明は、糊付き付箋に限るものではなく、文書やカードがテープ等を用いて貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材（プラスチックや布など）であってもよい。

以下の実施形態では、ホワイトボード（スクリーン）に貼られた付箋や文書を、その素材とは無関係に、紙付箋（または紙文書）と呼ぶこととする。また、その紙付箋に対して撮影やスキャン等を行うことにより電子化した付箋データを電子付箋（または電子文書）と呼んで区別することとする。

本実施例１では、図１の情報処理システムが１箇所の拠点（例えばある会議室内）に設置され、１つのホワイトボード上で、紙付箋を貼付したり電子付箋を表示したりする場合について説明する。

図２はサーバ（情報処理装置）１１１の構成を示す図である。サーバ１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、外部Ｉ／Ｆ２０８からなり、それらはシステムバス２０４で接続されている。キーボードＩ／Ｆ２０５を介して接続されているキーボード２０９は、ユーザからの各種操作を受け付ける。ディスプレイＩ／Ｆ２０６にはプロジェクタ１１２が接続され、サーバ１１１はプロジェクタ１１２を介してホワイトボードに画像を投影する。外部Ｉ／Ｆ２０８にはデジタルカメラ１１３が接続され、サーバ１１１はデジタルカメラ１１３で撮影した紙付箋の画像を取りこんで、電子付箋（付箋データ）を作成することができる。また、本実施形態では、ユーザがキーボード２０９を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ１１２で表示させることができるものとする。

ＣＰＵ（プロセッサ）２０１は、サーバ１１１全体の制御を行うものであり、ＲＯＭ２０３や外部メモリ２１１などに記憶されたプログラムをＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、サーバ１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。

次に、本システムの動作について説明する。図３は、本システムにおいて、紙付箋を撮影することで得られる付箋の画像を用いて、電子付箋（付箋データ）を作成して登録したり変更したりする処理のフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。

ブレインストーミングでは、ユーザのアイデアを紙付箋に書き込み、それらをホワイトボード１１４に貼りつけて進める。ここでは、紙付箋が３枚貼られ、ホワイトボード１１４の状態が図１８の１８００のようになっている状態から説明する。なお、本実施形態では、図９のように、参考資料（プレゼンテーション画像など）が投影されていない状態で、紙付箋を貼り付けてブレインストーミングを行う例について説明するが、本発明はこれに限るものではない。特許文献１のようにプレゼンテーション画像を投影している状態で紙付箋を貼り付けるような場合にも、本発明を適用することは可能である。

まずユーザからの撮影要求を検知したデジタルカメラ１１３は、ホワイトボード１１４の画像を撮影する（ステップＳ３０１）。デジタルカメラ１１３で撮影されたデータは、サーバ１１１の外部Ｉ／Ｆ２０８を通して、ＲＡＭ２０２に格納される。本実施形態のように参考資料を投影していない状態でブレインストーミングを行う場合、撮影した画像には、紙付箋の画像と、投影中の電子付箋の画像とが含まれることになる。

なお、参考資料を投影している状態で紙付箋を貼付するような形態で本発明を適用する場合は、そのまま撮影すると、撮影画像には参考資料の画像も含まれることになる。したがって、このような形態で本発明を適用する場合には、例えば、撮影画像と参考資料の画像との差分を求めることで、撮影画像から参考資料の画像を除いた画像を得て、当該得た画像に対してステップＳ３０２以降の処理を行うようにすればよい。

ステップＳ３０２では、撮影画像から付箋画像を抽出し、当該抽出した付箋画像から電子付箋データを生成する。図１８の１８００に示す通り、ホワイトボード１１４には３枚の紙付箋が貼られているので、３枚分の付箋画像が得られる。付箋画像を含む電子付箋のデータ構造に関しては後述する。

図６は、付箋画像抽出処理（ステップＳ３０２）の詳細手順を示す図である。サーバのＣＰＵ２０１がプログラムを実行することにより、図６の各処理部６０２〜６０５として機能する。

デジタルカメラ１１３で撮影されてサーバ１１１のＲＡＭ２０２に格納された撮影画像データ６０１に対して、まず、輪郭抽出部６０２による輪郭抽出処理と、色判定部６０３による色判定処理とを行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出できる。また、色判定処理により、各オブジェクト（紙付箋や文字）の色を抽出できる。次に、付箋領域判定部６０４による付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトで、且つホワイトボードの色（白の背景色）と異なる色を有するオブジェクトの領域を付箋領域として判定する。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むかどうか判定するように構成すれば、より精度よく付箋領域を判定することが可能である。そして、付箋領域切り出し部６０５において紙付箋の１枚１枚に対応した付箋領域の部分画像（付箋画像）を切り出す付箋領域切り出し処理が行われ、当該抽出された付箋画像に基づいて電子付箋データ６０６が生成される。なお、このとき、付箋画像に対してＯＣＲ処理を行って付箋内部に記入された文字画像のテキストデータを求めたり、付箋画像に対してベクトル化処理を行って文字画像のベクトルデータを求めたりするように構成してもよい。

電子付箋のデータ構造は、図７の７０１に示す通りである。それぞれの電子付箋が、ヘッダー部７０２とデータ部７０３を有する。ヘッダー部７０２には、各電子付箋を識別するための「ＩＤ」、対応する紙付箋が貼付された時刻を示す「貼付時間」、対応する紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す「貼付状態ＯＮ／ＯＦＦ」、紙付箋の貼付場所を示す「貼付場所情報」、付箋データの表示を行う表示装置１１５を識別するための「表示端末情報」、表示装置における電子付箋の表示座標を示す「表示端末内貼付座標」、紙付箋を電子化して作成された電子付箋であるかキーボード等を介して入力作成された電子付箋であるかを示す「初期入力状態（紙／電子）」情報、紙付箋が貼付された際に表示されていた参考資料（プレゼンテーション画像）があればその資料を特定するための「同時表示の参考資料情報」、などの情報からなる。データ部７０３は、デジタルカメラ１１３で撮影された画像から切り出した付箋画像の画像データを含む。なお、データ部７０３には、その画像データにＯＣＲ処理を施した場合はそのＯＣＲ処理結果のテキストを示すＯＣＲデータ、ベクトル化処理を施した場合はベクトルデータが更に格納されることになる。

電子付箋のデータ構造の具体例を図１９に示す。ここでは、図１８の１０００の紙付箋１の付箋画像から電子付箋１が生成されたものとする。電子付箋１のヘッダー部１９０２の内容は次の通りである。ＩＤが１、貼付された時間が１０時０分０秒、対応する紙付箋１が貼付されたままの状態であるので貼付状態がＯＮ、貼付場所は会議室１、表示端末の情報はサーバ１１１、表示端末内貼付座標は（Ｘ１，Ｙ１）、初期入力状態は紙付箋、同時表示の参考資料は無し、であったとする。また、データ部１９０３の内容は、画像データがｄａｔａ１．ｊｐｇというファイル名で格納されており、ＯＣＲ処理とベクトル化処理とが行われていない場合はＯＣＲデータとベクトル化データとがｎｕｌｌである。

図３のフローチャートのステップＳ３０３では、ステップＳ３０２で生成した電子付箋に含まれる付箋画像それぞれを順に処理対象として、サーバ１１１の記憶装置（外部メモリもしくはＲＡＭ）に既に登録済みの電子付箋と比較し、同じ付箋画像の電子付箋データが既に登録されているか否かを照合する。Ｓ３０３の照合結果に基づき、Ｓ３０２で抽出した付箋画像がサーバ１１１の記憶装置に登録済みの電子付箋と異なると判定した場合は、ステップＳ３０４で新たな付箋が追加されたと判定してステップ３０５に進む。ステップＳ３０５では、当該付箋画像に基づいて作成された電子付箋データを、新たな電子付箋データとしてサーバ１１１に登録する。

ステップＳ３０６では、Ｓ３０２で抽出した付箋画像全ての処理を行ったか判断し、未処理の他の付箋画像があると判定した場合は、ステップＳ３０３に戻って他の付箋画像の処理を実行する。例えば、図９の紙付箋１の付箋画像の処理を行った時点では、まだ、紙付箋２（１８０２）の付箋画像と、紙付箋３（１８０３）の付箋画像とが残っているので、ステップＳ３０３に戻って次の付箋画像を処理対象とする。

また、ステップＳ３０３の照合結果に基づき、Ｓ３０２で抽出した付箋画像がサーバ１１１に登録済みの電子付箋データのいずれかと一致すると判定した場合は、紙付箋のホワイトボード上の貼付位置が移動された（もしくは一旦剥離された紙付箋が再貼付された）とステップＳ３０４で判定し、ステップＳ３０７に進む。なお、ステップＳ３０４において、サーバは、当該一致すると判定した登録済み電子付箋データの「貼付状態」情報がＯＮであった場合に、紙付箋のホワイトボード上の貼付位置が移動されたものと判定する。また、ステップＳ３０４において、サーバは、当該一致すると判定した登録済み電子付箋データの「貼付状態」情報がＯＦＦであった場合、更に、表示端末内貼付座標情報を参照し、Ｓ３０２で抽出した付箋画像の位置が電子付箋の投影位置と異なれば、一旦剥離された紙付箋が再貼付されたと判定する。このとき、Ｓ３０２で抽出した付箋画像の位置が電子付箋の投影位置と同じであれば、投影中の付箋画像が撮影されたものと判定できる。

ステップＳ３０７では、当該一致すると判定された登録済みの電子付箋データを更新する。ここでは、紙付箋が貼付されているホワイトボード上の位置に基づいて、表示装置において電子付箋が表示されるべき座標を示す「表示端末内貼付座標」の情報が更新される。また、紙付箋の貼付位置が移動されたと判断した場合もしくは紙付箋が再貼付されたと判断した場合は、対応する電子付箋の「貼付状態」情報をＯＮにする。

ステップＳ３０８では、Ｓ３０２で抽出した付箋画像全ての処理を行ったか判断し、未処理の他の付箋画像があると判定した場合は、ステップＳ３０３に戻って他の付箋画像の処理を実行する。

ステップＳ３０６またはＳ３０８で、Ｓ３０２で抽出した付箋画像全ての処理を行ったと判定した場合はステップＳ３０９に進み、剥離された紙付箋があるか否か判定する。ここでは、登録済み電子付箋データのうち、貼付状態がＯＮ状態であるにも関わらず、Ｓ３０３の照合でいずれの付箋画像にも一致すると判定されなかった登録済み電子附箋データを、対応する紙付箋が剥離された登録済み電子付箋データであると判定する。

ステップＳ３０９で剥離された紙付箋があると判定された場合は、ステップＳ３１０に進み、剥離された紙付箋に対応する登録済み電子付箋データの「貼付状態」情報をＯＦＦに変更し、処理を終了する。

次に、電子付箋を表示する処理について、図８のフローチャートで説明する。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。

ステップＳ８０２において、サーバ１１１は、登録された電子付箋データのヘッダー部を解析する。図１８の１８００の紙付箋を図３のフローチャートの処理に従って電子化した時点では、電子付箋は３枚登録されたことになるので、まずは電子付箋１について、電子付箋データのヘッダー部を解析する。

ステップＳ８０３において、サーバ１１１は、ステップＳ８０２で解析された電子付箋データの「貼付状態」情報がＯＮであるか否か判定し、ＯＮであればステップＳ８０４に進み、ＯＦＦであればステップＳ８０５に進む。例えば、紙付箋を電子化した直後は、紙付箋は貼付されている状態であるので、電子付箋１のヘッダー部１００２の「貼付状態」情報はＯＮとなっており、ステップＳ８０４に進む。

ステップＳ８０４において、サーバ１１１は、「貼付状態」情報がＯＮであると判定した電子付箋データを非表示とする。図１８の１８００の例では、「貼付状態」情報がＯＮの電子付箋１は非表示にする。これは、紙付箋１（１８０１）がホワイトボードに貼られている状態で、電子付箋１の付箋画像を投影してしまうと、電子付箋の文字画像が紙付箋の文字に重なって投影されるので、画像のズレやボケの影響により、どちらも見にくくなってしまうからである。

ステップＳ８０５において、サーバ１１１は、「貼付状態」情報がＯＦＦであると判定した電子付箋データを表示する。すなわち、紙付箋が剥離されたと判断した場合は、当該剥離された紙付箋に対応する電子付箋を表示する。

ステップＳ８０６において、サーバ１１１は、未処理の電子付箋データがあるか否か判定し、他の電子付箋データがあると判定した場合は、ステップＳ８０２に戻って次の電子付箋データの解析を行う。図１８の１８００の例では、電子付箋１を非表示と判定した後、残りの電子付箋２、電子付箋３についても同様の処理を繰り返し行うことになる。

図１８の１８００の例では、紙付箋１〜３がホワイトボードに貼付されたままの状態であるので、サーバ１１１からプロジェクタ１１２に転送される表示データには、その電子付箋データは存在しない。

以上説明したように、紙付箋がまだ貼られている場合は、電子付箋化しても非表示にすることで、紙付箋の内容が見やすくできる効果がある。

次に、ホワイトボード１１４に貼付されている紙付箋が、図１８の１８００の状態から１８１０の状態に遷移した場合について、図３及び図８のフローチャートを用いて説明する。図１８の１８１０は、ホワイトボード１１４に貼付されていた１８００の紙付箋１が剥がされた状態である。

ステップＳ３０１で、撮影要求を検知したデジタルカメラ１１３は、ホワイトボード１１４の画像を撮影する。デジタルカメラ１１３で撮影されたデータは、サーバ１１１の外部Ｉ／Ｆ２０８を通して、ＲＡＭ２０２に格納される。

次に、ホワイトボード１１４の画像から、付箋画像を抽出して、当該抽出した付箋画像から電子付箋データを生成する（ステップＳ３０２）。図１８の１８１０のホワイトボード１１４には２枚の紙付箋（１８１２、１８１３）が貼られているので、２枚分の電子付箋データが得られる。

ステップＳ３０２で生成された２枚の電子付箋データのそれぞれは、既に登録されている３枚の電子付箋データと照合される（ステップＳ３０３）。ステップＳ３０２で生成された２枚の電子付箋データは既に登録済みであると判定され、ステップＳ３０７に進んで登録済みの電子付箋データの更新が行われる。ステップＳ３０９において、サーバは、既に登録済みの電子付箋データのうち、ステップＳ３０３で一致の判定されることがなかった電子付箋データ（１８１０の例では電子付箋１）に対応する紙付箋１が剥離されていると判定する。したがって、電子付箋１については、対応する紙付箋１が剥がされたことになるので、電子付箋１のサーバ登録データの「貼付状態」情報をＯＮからＯＦＦへ変更する（ステップＳ３１０）。

サーバ１１１に登録されている電子付箋データが変更されたので、それに伴って表示内容も変更する。図８のフローチャートにおいて、ステップＳ８０２で電子付箋１のヘッダー部を解析した結果、「貼付状態」情報がＯＮからＯＦＦに変更されているので、ステップＳ８０５に進み、電子付箋１を表示することになる。なお、電子付箋２と電子付箋３については、「貼付状態」情報がＯＮのままなので、非表示のままである。したがって、サーバ１１１のディスプレイＩ／Ｆ２０６からプロジェクタ１１２に転送される表示データには、電子付箋１（１８２１）のデータのみ存在する。すなわち、１８１０のホワイトボード１１４上に電子付箋１が投影されることになるので、図１８の１８２０のように、電子付箋１（１８２１）が表示され、紙付箋２（１８２２）と紙付箋３（１８３３）が実際に貼りつけられている状態となる。

以上説明したように、紙付箋が剥がされた直後は、対応する電子付箋が自動的に表示されることになる。なお、ユーザは、サーバ１１１のキーボードやマウス（不図示）を用いた操作により、投影されている電子付箋の表示位置を変えたり、表示消去したりすることができる。例えば、複数人で会議を行っている場合、ホワイトボードの前で議論しているユーザが紙付箋を貼り付けると、その紙付箋は電子化されることになる。その紙付箋が剥がされると対応する電子付箋が自動的に表示されるので、サーバ（情報処理装置）１１１の近くで議論に参加しているユーザ（例えば議長）が当該表示されている電子付箋を操作できるようになる。

なお、本実施形態では、ホワイトボード１１４の画面の撮影をユーザからの撮影要求をトリガーとして行っていたが、例えば一定時間が経過するごとに自動的に撮影しても良い。その場合は、図４のフローチャートに示すように、ステップＳ４０１で、デジタルカメラ１１３は一定時間が経過したら自動的に撮影する。そして、ステップＳ４０２において、サーバ１１１は一枚前に撮影した画像と同じであるか判定し、同じであればステップＳ４０１に戻り、異なっていればステップＳ３０２に進む。すなわち、ホワイトボード上の紙付箋の貼付状態が変化している場合はステップＳ３０２に進むことになる。ステップＳ３０２以降の処理は図３と同様であるので、説明を省略する。

また別の方法として、図５のフローチャートに示すように、ホワイトボード１１４の近傍に人感センサを設置し、人感センサを作動させておく（ステップＳ５０１）。人感センサが所定範囲（例えばホワイトボードの前）に人を検知してから非検知に変わった時点をトリガーとして（ステップＳ５０２）、デジタルカメラ１１３がホワイトボード１１４を撮影する（ステップＳ３０１）ようにしても良い。ステップＳ３０２以降の処理は図３と同様であるので、説明を省略する。

なお、本実施形態では、紙付箋の電子付箋化に言及したが、更に、ホワイトボード１１４に直書きしたデータに関しても電子化を行うように構成しても構わない。

［実施例２］
実施例１では、図１の情報処理システムを１箇所（例えばある会議室内）に設置し、１つのホワイトボード上で紙付箋を貼付したり、それを電子化した電子付箋を表示したりする場合の表示方法について説明した。

実施例２では、図１に示した情報処理システムを複数の遠隔地それぞれに設置し、各遠隔地をネットワークで結んで共同で会議を行う場合について説明する。すなわち、実施例２では、複数の異なる場所それぞれに設置したホワイトボード上に、各場所に居るユーザが紙付箋を貼付すると、その紙付箋を電子化して他の場所のホワイトボード上に投影されるようにする。以下では、２ヶ所の遠隔地（図１０の１０１０、１０２０）で会議を共同開催する例を示すが、２ヶ所に限るものではなく、更に多くの遠隔地間で共同開催するようにしてもよい。

図１０は、本実施形態における情報処理システムの構成を示す図である。サーバＰＣ１００１は、ネットワーク１００２上に設置され、各遠隔地（１０１０，１０２０）の情報処理装置（ＰＣ１０１１，ＰＣ１０２１）と接続されているものとする。各遠隔地のＰＣ１０１１及びＰＣ１０２１は、サーバＰＣ１００１とデータのやり取りを行い、各表示装置（１０１５，１０２５）での表示を制御する。なお、図１０の構成例では、サーバＰＣ１００１をネットワーク上に設けているが、これに限るものではなく、ＰＣ１０１１やＰＣ１０２１がサーバとしての機能を兼用するように構成しても構わない。

遠隔地１０１０には、表示制御装置としてのＰＣ１０１１、撮影装置としてのデジタルカメラ１０１３、表示装置１０１５で構成される。表示装置１０１５はさらにプロジェクタ１０１２とホワイトボード１０１４からなり、プロジェクタ１０１２が投影した画像が、ホワイトボード１０１４上に表示される。

遠隔地１０２０には、表示制御装置としてのＰＣ１０２１、撮影装置としてのデジタルカメラ１０２３、表示装置１０２５で構成される。表示装置１０２５はさらにプロジェクタ１０２２とホワイトボード１０２４からなり、プロジェクタ１０２２が投影した画像が、ホワイトボード１０２４上に表示される。

なお、遠隔地１０１０の場所を会議室１、遠隔地１０２０の場所を会議室２としたとき、二つの会議室は、ネットワークで接続されているサーバＰＣ１００１を経由して、表示データのやり取りを行う。なお、音声については、周知の技術を用いた既存の電話会議システム、ＴＶ会議システム、ＷＥＢ会議システムなどを利用し、会議における音声のやり取りを行う。これらの音声の通信については、周知の技術を応用すればよいので、本実施例では説明を省略する。

また、サーバＰＣ１００１、ＰＣ１０１１、ＰＣ１０２１の内部構成については、図２で示したものと同様な構成で構わないので、詳細説明は省略する。

各遠隔地のＰＣ１０１１、ＰＣ１０２１が紙付箋を電子付箋化する処理フローは、実施例１の図３（または、図４、図５）の処理フローと同様である。ただし、各ＰＣ１０１１やＰＣ１０２１が、Ｓ３０５やＳ３０７やＳ３１０においてデータの登録や変更を行う際は、Ｓ３０２で生成した電子付箋データに基づいて登録や変更に必要なデータをサーバＰＣ１００１に送信して、登録や更新を行うことになる。

図１０に示す構成で、会議室１と会議室２をネットワークで結び、２ヶ所同時に、ともに紙付箋を使用して会議を行う例を説明する。紙付箋は、会議室１・会議室２のいずれのホワイトボードにおいても貼付可能である。紙付箋の貼付と剥離とに応じて、各遠隔地のホワイトボード上に電子付箋が表示される一例を、図１３に示す。

図１３において、会議室１のホワイトボードにおいて、貼付される紙付箋と、表示される電子付箋との状態遷移を、１３１０ａ、１３１０ｂ、１３１０ｃ、１３１０ｄの順に示す。また、サーバＰＣ１００１の記憶装置には図７のような電子付箋データが格納されるが、この格納される電子付箋データを模式的に示すと、１３２０ａ、１３２０ｂ、１３２０ｃ、１３２０ｄのように遷移することになる。なお、サーバＰＣ１００１は、実際には、各電子付箋を付箋画像としてＲＡＭ上に展開する必要は無いが、説明を行いやすくするために、図１３では仮想の電子ホワイトボード（１３２０ａ、１３２０ｂ、１３２０ｃ、１３２０ｄ）を用いて状態遷移を示した。さらに、会議室２のホワイトボードにおける状態の遷移を、１３３０ａ、１３３０ｂ、１３３０ｃ、１３３０ｄの順に示す。

まず、会議室１において、ユーザにより新たな紙付箋１３１１ａがホワイトボード１３１０上に貼付されたものとする（１３１０ａ）。このとき、図３の紙付箋を電子付箋化する処理にしたがって、ＰＣ１０１１は、紙付箋１３１１ａを電子付箋データ１３２１ａに変換して、サーバＰＣ１００１に送信して登録する。サーバＰＣ１００１は受信した電子付箋データ１３２１ａを記憶装置に格納する。サーバＰＣ１００１の記憶装置に格納される電子付箋データ１３２１ａは、例えば、図２０のデータ２００１のような形式である。図２０のデータ２００１の例では、ヘッダー部２００２の内容は次の通りになる。電子付箋のＩＤが１、貼付された時間が１０時０分０秒、対応する紙付箋がホワイトボードに貼付状態であるかどうかを示す貼付状態情報はＯＮ、貼付場所（紙付箋が貼付されたホワイトボードがある場所）は会議室１、表示端末の情報はＰＣ１０１１、表示端末内貼付座標は（Ｘ１，Ｙ１）、初期入力状態は紙付箋、同時表示の参考資料は無し、である。また、データ部２００３の内容は、画像データがｄａｔａ１．ｊｐｇというファイル名で格納されており、ＯＣＲデータとベクトル化データがｎｕｌｌである。

サーバＰＣ１００１の記憶装置に電子付箋データが新たに登録されたり更新されたりすると、各ＰＣ（１０１１、１０２１）は、その電子付箋データを取得し、貼付状態情報と貼付場所の情報とに基づいて、その電子付箋データに対応する付箋画像を表示するか否か判定する。図１７は、本実施例２における電子付箋を表示する処理のフローチャートであり、ＰＣ１０１１、ＰＣ１０２１のそれぞれで実行される。

Ｓ１７０１において、ＰＣ（１０１１もしくは１０２１）は、サーバＰＣ１００１から電子付箋データを受信する。ステップＳ１７０２において、ＰＣは、受信した電子付箋データの１つを処理対象として、その電子付箋データのヘッダー部を解析する（Ｓ１７０２）。そして、ステップＳ１７０３において、ＰＣは、貼付状態情報がＯＮで、且つ、貼付場所情報が該ＰＣが設置されている場所に一致するか判定する。Ｓ１７０３でＹＥＳと判定した場合は、ステップＳ１７０４に進み、ＰＣは、その電子付箋データを非表示にする。一方、Ｓ１７０３でＮＯと判定した場合は、ステップＳ１７０５に進み、ＰＣは、その電子付箋データに対応する付箋画像を表示する。ステップＳ１７０６では、未処理の電子付箋データがあるか否か判定し、他の電子付箋データがあると判定した場合は、ステップＳ１７０２に戻って次の電子付箋データの解析を行う。特に、図１７では、貼付状態情報に加えて貼付場所の情報に基づき、電子付箋データの表示・非表示を切り替えている点が、図８とは異なる。

具体例について説明する。まず、図１３の会議室１のホワイトボード１３１０ａのように、紙付箋１３１１ａが貼付されたままの状態であった例について説明する。このとき、会議室１のＰＣ１０１１は、サーバＰＣ１００１から電子付箋データ１３２１ａ（図２０の２００１）を受信すると（Ｓ１７０１）、該電子付箋データのヘッダー部を解析する（ステップＳ１７０２）。その解析結果、貼付状態情報が『ＯＮ』、貼付場所が『会議室１』であることが判明する。ＰＣ１０１１が設置されている会議室は会議室１であるため、ステップ１７０３において、ＰＣ１０１１は『Ｙｅｓ』と判定する。よって、ＰＣ１０１１は、電子付箋データ１３２１ａ（図２０の２００１）を非表示にする（Ｓ１７０４）。

一方、会議室２のＰＣ１０２１は、サーバＰＣ１００１から電子付箋データ１３２１ａ（図２０の２００１）を受信すると（Ｓ１７０１）、該電子付箋データのヘッダー部を解析する（ステップＳ１７０２）。その解析結果、貼付状態情報が『ＯＮ』、貼付場所が『会議室１』であることが判明する。ＰＣ１０２１が設置されている会議室は会議室２であるため、ステップ１７０３において、ＰＣ１０２１は『Ｎｏ』と判定する。よって、ＰＣ１０２１は、電子付箋データ（図２０の２００１）に対応する付箋画像１３３１ａをホワイトボード１３３０ａ上に投影して表示するように制御する（Ｓ１７０５）。

この結果、会議室１のホワイトボードに貼付された紙付箋１３１１ａに対応する付箋画像１３３１ａが、会議室２のホワイトボード上に表示されるので、各ホワイトボードの内容が一致することになる。つまり、会議室１と会議室２とで会議に参加するメンバーの見ている情報が同一となり、会議を正しく進行することができる。また、貼付されている状態の紙付箋に重ねて、対応する付箋画像が投影されることもないので、見にくくなることも防ぐことができる。

次に、会議室１のホワイトボード１３１０ｂ〜１３１０ｄのように、紙付箋１３１２ｂが貼付され、その後、１３１２ｃに示すように、その紙付箋が剥がされた場合について、説明する。

まず、紙付箋１３１２ｂが会議室１のホワイトボード１３１０ｂ上に貼付される。紙付箋１３１２ｂは、電子付箋１３２２ｂに変換され、サーバＰＣ１００１の記憶装置に格納される。電子付箋１３２２ｂは、例えば、図２０のデータ２０１１のような形式である。図２０のデータ２０１１の例では、ヘッダー部２０１２の内容は次の通りになる。電子付箋のＩＤが２、貼付された時間が１０時５分０秒、貼付状態情報はＯＮ、貼付場所は会議室１、表示端末の情報はＰＣ１０１１、表示端末内貼付座標は（Ｘ２，Ｙ２）、初期入力状態は紙付箋、同時表示の参考資料は無し、である。また、データ部２０１３の内容は、画像データがｄａｔａ２．ｊｐｇというファイル名で格納されており、ＯＣＲデータとベクトル化データがｎｕｌｌである。

その後、会議室１において、紙付箋１３１２ｂが１３１２ｃのように剥がされると、その剥がされた結果を、ＰＣ１０１１がサーバＰＣ１００１にその旨を通知する。サーバＰＣ１００１は電子付箋データ１３２２ｂ（図２０の２０１１）のヘッダー部２０１２の貼付状態情報を、図２１のデータ２１１１のヘッダー部２１１２に示すように、ＯＦＦへ変更する。次に、会議室１のＰＣ１０１１は、サーバＰＣ１００１から電子付箋データ１３２２ｃ（図２１の２１１１）を受信すると、その電子付箋データのヘッダー部（図２１の２１１２）を解析する（ステップＳ１７０２）。解析結果、貼付状態情報２１１４が『ＯＦＦ』、貼付場所情報が『会議室１』であることが判明する。次に、ＰＣ１０１１は、貼付状態情報が『ＯＦＦ』のため、ステップ１７０３においてＮＯと判定し、ステップＳ１７０５において電子付箋の付箋画像１３１２ｄをホワイトボード１３１０ｄ上に投影して表示させる。

一方、会議室２のＰＣ１０２１は、紙付箋１３１２ｂが貼付されている状態のとき、サーバＰＣから受信した電子付箋データ１３２２ｂ（図２０の２０１１）を解析し、貼付場所が異なるため、ステップ１７０３においてＮＯと判定する。よって、ＰＣ１０２１は、電子付箋の付箋画像１３３２ｂをホワイトボード１３３０ｂに投影するように制御する。その後、紙付箋１３１２ｂが剥離されたときの電子付箋データ１３２２ｃ（図２１の２１１１）に関しても、解析の結果、貼付場所が異なるため、ステップ１７０３においてＮＯと判定し、電子付箋の付箋画像１３３２ｂをホワイトボード１３３０ｄに投影したままにする。

上述したように、会議室１と会議室２とで会議に参加するメンバーの見ている情報が同一となり、会議を正しく進行することができる。また、貼付されている状態の紙付箋に重ねて、対応する付箋画像が投影されることもないので、見にくくなることも防ぐことができる。

なお、会議室２のホワイトボード上に紙付箋を貼付する場合の説明は、会議室１に紙付箋を貼付する場合と同様であるので、詳しい説明は省略する。

図１４は、サーバＰＣ１００１における動作を示すフローチャートである。前述したように、ＰＣ１０１１やＰＣ１０２１は、各遠隔地のホワイトボード上で紙付箋の新たな貼付や移動や剥離が行われると、図３のＳ３０５やＳ３０７やＳ３１０において、サーバへデータを登録したりサーバのデータを更新したりする。すなわち、ＰＣ１０１１やＰＣ１０２１は、新規登録用の電子付箋データを送信してきたり、更新用のデータを送信してきたりする。サーバＰＣ１００１は、ステップＳ１４０１において、それらのデータを受信すると、ステップＳ１４０２において、記憶装置に電子付箋データを登録したり、電子付箋データの更新を行ったりする。その後、ステップＳ１４０３において、サーバＰＣ１００１は、接続されている全てのＰＣ（１０１１、１０２１）に対して、当該追加登録された電子付箋データや、更新された電子付箋データを送信する。各ＰＣは、図１７を用いて前述したように、当該サーバＰＣから送信されてきた電子付箋データ応じて、電子付箋の付箋画像の表示・非表示を切り替える。

以上説明したように、実施例２では、紙付箋の貼付状態の情報と紙付箋の貼付場所の情報とに基づいて、複数の遠隔地それぞれにおいて、対応する電子付箋をスクリーンに表示させるか否かを切り替えるようにした。したがって、複数の遠隔地それぞれにホワイトボードを設置して紙付箋を貼付することを可能とするとともに、別々の場所にいながらにして、当該貼付された紙付箋の情報を相互に共有できる。

［実施例３］
実施例１では、ひとつの情報処理システムにおいて、ホワイトボードに貼付された紙付箋と、それを電子化した電子付箋の表示方法について説明した。また、実施例２では、図１に示した情報処理システムを複数の遠隔地に用意し、複数の場所から、同時にひとつの会議を開催する場合について説明した。

実施例３では、実施例１の状況に携帯端末を含めて会議を開催する場合、あるいは、実施例２において、複数の参加場所のひとつとして、携帯端末を含めて会議を開催する例を示す。

図１５は、実施例３における情報処理システムの構成を示す図である。図１０の会議室２を、携帯端末（例えばタブレットＰＣ１５０１）に置き換えて説明する。携帯端末は、無線ＬＡＮルータ１５０２経由でネットワークにつながっている。もちろん、図示しない有線ＬＡＮでネットワークにつなげても構わない。

図１６は携帯端末（タブレットＰＣ１５０１）の構成の一例を示す図である。タブレットＰＣ１５０１は、ＣＰＵ１６０１、ＲＡＭ１６０２、ＲＯＭ１６０３、ディスプレイ１６０５、外部メモリＩ／Ｆ１６０６、外部Ｉ／Ｆ１６０７からなり、それらはシステムバス１６０４で接続されている。さらに、タブレットＰＣ１５０１は、内蔵のカメラである撮像部１６０８を持つ。さらに、タッチパネル機能を有する表示部（内蔵ディスプレイ）１６０９を備えている。

ＣＰＵ１６０１は、タブレットＰＣ１５０１全体の制御を行うものであり、ＲＯＭ１６０３、ＲＡＭ１６０２、外部メモリＩ／Ｆ１６０６に接続された外部メモリ（ＨＤＤなど）１６１０に記憶されたプログラムを読み込み、各種処理を実行する。ＲＯＭ１６０３は、ＣＰＵ１６０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ１６０２は、ワークメモリとして用いられる。

タブレットＰＣ１５０１は、タブレットＰＣ１５０１のディスプレイ（表示部１６０９）を用い、サーバＰＣ１００１に記憶される仮想の電子ホワイトボードを表示する。もちろん、ディスプレイＩ／Ｆ１６０５を用い、プロジェクタや一般的なモニタにつなぎ、タブレットＰＣ１５０１が備えるディスプレイ以外で表示しても構わない。

タブレットＰＣ１５０１では、紙付箋を電子化する代わりに、ユーザのタッチパネル操作により直接電子付箋を生成し、サーバＰＣ１００１に電子付箋を送付する。図１１と図１２において、その生成方法を説明する。

図１１は、タブレットＰＣ１５０１の表示部１６０９において、電子付箋を生成するフローチャートである。表示部１６０９には、ホワイトボードを模した画面が表示され、その表示画面上で、電子付箋を貼付したい場所をユーザに位置指定させる（ステップＳ１１０１）。タブレットＰＣ１５０１のＣＰＵ１６０１は、ユーザにより指定された位置の座標を取得する（Ｓ１１０２）。その後、ＣＰＵ１６０１は、画面上に、付箋生成画面を表示する（Ｓ１１０３）。その付箋生成画面において、新規付箋のデータをユーザに入力させる（Ｓ１１０４）。ユーザによるデータ入力が終了すると、ＣＰＵ１６０１は、その入力されたデータを含む電子付箋を表示部に表示し（Ｓ１１０５）、さらに、サーバＰＣ１００１に当該作成した電子付箋データを送付する。なお、サーバＰＣに電子付箋データを送付する以前に、ステップＳ１１０５において表示部１６０９に電子付箋データを表示する例を説明したがこれに限るものではない。例えば実施例２と同様に、一旦サーバＰＣ１００１へデータを送信した後、サーバから、更新されたその他の電子付箋データと一緒にまとめて受信して、タブレットＰＣ１５０１の表示部１６０９に表示するように構成しても良い。

電子付箋データを生成する際の画面の一例を図１２に示す。ステップ１１０１において、タブレットＰＣのディスプレイ１２１０において、１２１１の位置がユーザによりタップされて指定されたとする。ＣＰＵ１６０１は、指定された位置１２１１の座標を取得する。そして、１２２０に示すように、さらに位置１２１１の近傍に、ＣＰＵ１６０１は、付箋生成画面１２２１を表示する（Ｓ１１０３）。ユーザによって、電子付箋として表示させたいテキストなどのデータ入力が終了すると、１２３０に示すように、ＣＰＵ１６０１は、指定した座標位置１２１１に電子付箋１２３１を表示する。

タブレットＰＣ１５０１で作成された電子付箋データであっても、作成された電子付箋データのデータ構成２２１０（図２２）は、紙付箋から作成した電子付箋データのデータ形式と同様のものとする。すなわち、図２２に示すように、タブレットＰＣで作成された電子付箋データ２２０１も、ヘッダー部２２０２とデータ部２２０３から構成される。このとき、図２２のヘッダー部２２０２の貼付状態情報は、紙でないため『ＯＦＦ』になり、また、初期入力状態が『電子』となる。貼付場所情報については、『携帯端末１』としている。なお、携帯端末の名称は、サーバにアクセスし、同一会議に参加することが決定した時点で、他の参加デバイスと名称が同一にならないように決められることが望ましい。

タブレットＰＣ１５０１の表示部１６０９は、全て電子付箋を扱うことになるため、電子付箋データはすべて表示されることになる。

なお、撮像部１６０８を持つので、それを利用し、紙に記載した情報を撮影し、それを電子付箋の入力データとして、サーバＰＣ１００１へ送付しても良い。

また、ここでは、タブレットＰＣ１５０１を用いて説明したが、一般的なノートＰＣであっても、デスクトップＰＣであっても構わない。このように、実施例１や２で説明した本発明の情報処理システムに対し、携帯端末などを用いて会議に参加することが可能である。

（その他の実施例）
上述した実施形態では、情報処理装置のＣＰＵ（プロセッサ）がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。

また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 電子付箋の画像を第１のスクリーンに表示するように制御する情報処理装置であって、
   記憶装置に登録されている電子付箋データの貼付状態情報と貼付場所の情報を用いて、前記電子付箋データについて、対応する紙付箋がスクリーン上に貼付され、且つ当該紙付箋が貼付されているスクリーンが前記第１のスクリーンであるか判定する第１の判定手段と、
   前記第１の判定手段で、前記電子付箋データの貼付状態情報により前記対応する紙付箋が貼付されていない或いは前記電子付箋データの貼付場所の情報により当該紙付箋が貼付されているスクリーンが前記第１のスクリーンでない別のスクリーンと判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示するように制御する一方、
   前記第１の判定手段で、前記電子付箋データの添付状態情報により前記対応する紙付箋が貼付されており、且つ前記電子付箋データの添付場所の情報により前記対応する紙付箋が前記第１のスクリーン上に貼付されていると判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示しないように制御する表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 紙付箋が貼付された前記第１のスクリーンを撮影した撮影画像から付箋画像を抽出し、当該抽出した付箋画像の電子付箋データを生成する付箋画像抽出手段と、
   前記付箋画像抽出手段で生成された電子付箋データをサーバに送信することにより、前記記憶装置に登録させる登録手段と、
   を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記付箋画像抽出手段で生成された電子付箋データと、前記記憶装置に既に登録済みの電子付箋データとを比較することにより、前記スクリーンに新たな紙付箋が貼付されたのか、前記スクリーン上に貼付されていた紙付箋が移動されたのか、前記スクリーン上に貼付されていた紙付箋が剥離されたのか判定する第２の判定手段を更に有し、
   前記第２の判定手段で前記スクリーンに新たな紙付箋が貼付されたと判定した場合、前記登録手段は、前記付箋画像抽出手段で生成された電子付箋データを前記サーバに送信することにより、前記記憶装置へ新たに登録させ、
   前記第２の判定手段で前記スクリーン上に貼付されていた紙付箋が移動されたと判定した場合、前記登録手段は、当該移動された紙付箋の位置情報を前記サーバに送信することにより、前記記憶装置に登録済みの電子付箋データにおける表示位置情報を更新し、
   前記第２の判定手段で前記スクリーン上に貼付されていた紙付箋が剥離されたと判定した場合、前記登録手段は、当該紙付箋が剥離されたことを示す情報を前記サーバに送信することにより、前記記憶装置に登録済みの電子付箋データについて、紙付箋の貼付状態を示す情報を貼付されていないことを示す情報に更新させることを特徴とする請求項２に記載の情報処理装置。
4. 前記第２の判定手段は、前記付箋画像抽出手段で生成された電子付箋データと、前記記憶装置に既に登録済みの電子付箋データとを比較することにより、前記スクリーンに新たな紙付箋が貼付されたのか、前記スクリーン上に貼付されていた紙付箋が移動されたのか、前記スクリーン上に以前貼付されていた紙付箋が一旦剥離された後に再貼付されたのか、前記スクリーン上に貼付されていた紙付箋が剥離されたのかを判定し、
   前記第２の判定手段で前記スクリーン上に以前貼付されていた紙付箋が一旦剥離された後に再貼付されたと判定した場合、前記登録手段は、再貼付されたことを示す情報を前記サーバに送信することにより、前記記憶装置に登録済みの電子付箋データについて、紙付箋の貼付状態を示す情報を貼付されていることを示す情報に更新することを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御手段は、更に、前記第１のスクリーン上に参考資料を表示するように制御でき、
   前記登録手段により登録される前記電子付箋データには、対応する紙付箋が前記第１のスクリーン上に貼付されていたときに表示されていた前記参考資料を特定するための情報が含まれることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記撮影画像は、ユーザの撮影指示に応じて撮影された画像であることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
7. 前記撮影画像は、一定時間ごとに自動的に撮影された画像で且つ１枚前に撮影された画像と異なる画像であることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
8. 前記撮影画像は、人感センサが人を検知している状態から非検知の状態に変わるのに応じて撮影された画像であることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段によって前記スクリーン上に表示するように制御された電子付箋の画像について、その表示位置をユーザの指示に基づいて変更する表示位置変更手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段によって前記スクリーン上に表示するように制御された電子付箋の画像について、ユーザの指示に基づいてその表示を消去する表示消去手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記紙付箋は、糊付き付箋、紙文書、カードの少なくともいずれかを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記スクリーンは、ホワイトボードであることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として、コンピュータを機能させるためのコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
15. 電子付箋の画像を第１のスクリーンに表示するように制御する情報処理装置によって実行される情報処理方法であって、
    前記情報処理装置の第１の判定手段が、記憶装置に登録されている電子付箋データの貼付状態情報と貼付場所の情報を用いて、前記電子付箋データについて対応する紙付箋がスクリーン上に貼付され、且つ当該紙付箋が貼付されているスクリーンが前記第１のスクリーンであるか判定する第１の判定ステップと、
    前記情報処理装置の表示制御手段が、前記第１の判定ステップで前記電子付箋データの貼付状態情報により前記対応する紙付箋が貼付されていない或いは前記電子付箋データの貼付場所の情報により当該紙付箋が貼付されているスクリーンが前記第１のスクリーンでない別のスクリーンと判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示するように制御する一方、前記第１の判定ステップで、前記電子付箋データの添付状態情報により前記対応する紙付箋が貼付されており、且つ前記電子付箋データの添付場所の情報により前記対応する紙付箋が前記第１のスクリーン上に貼付されていると判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示しないように制御する表示制御ステップと、
    を有することを特徴とする情報処理方法。
16. 第１のスクリーンの表示制御を行う第１の情報処理装置と、第２のスクリーンの表示制御を行う第２の情報処理装置と、前記第１の情報処理装置および前記第２の情報処理装置と通信するサーバとを含む情報処理システムであって、
    前記第１の情報処理装置は、
    紙付箋が貼付された前記第１のスクリーンを撮影した撮影画像から付箋画像を抽出し、
    当該抽出した付箋画像の情報と前記紙付箋の貼付状態を示す貼付状態情報と前記紙付箋が貼付された場所を示す貼付場所情報とを含む電子付箋データを生成する第１の付箋画像抽出手段と、
    前記第１の付箋画像抽出手段で生成された電子付箋データを、前記サーバに送信して記憶装置に登録させる第１の登録手段と、
    前記サーバから、前記付箋画像の情報と前記貼付状態情報と前記貼付場所情報とを含む前記電子付箋データを受信する第１の受信手段と、
    前記第１の受信手段で受信した電子付箋データについて、前記貼付状態情報と前記貼付場所情報とに基づいて、対応する紙付箋がスクリーン上に貼付され、且つ当該紙付箋が貼付されているスクリーンが前記第１のスクリーンであるか判定する第１の判定手段と、
    前記第１の判定手段で、前記電子付箋データの貼付状態情報により前記対応する紙付箋が貼付されていない或いは前記電子付箋データの貼付場所の情報により当該紙付箋が貼付されているスクリーンが前記第１のスクリーンでない別のスクリーンと判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示するように制御する一方、前記第１の判定手段で、前記電子付箋データの添付状態情報により前記対応する紙付箋が貼付されており、且つ前記電子付箋データの添付場所の情報により前記対応する紙付箋が前記第１のスクリーン上に貼付されていると判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第１のスクリーンに表示しないように制御する第１の表示制御手段と、
    を有し、
    前記第２の情報処理装置は、
    紙付箋が貼付された前記第２のスクリーンを撮影した撮影画像から付箋画像を抽出し、
    当該抽出した付箋画像の情報と前記紙付箋の貼付状態を示す貼付状態情報と前記紙付箋が貼付された場所を示す貼付場所情報とを含む電子付箋データを生成する第２の付箋画像抽出手段と、
    前記第２の付箋画像抽出手段で生成された電子付箋データを、前記サーバに送信して記憶装置に登録させる第２の登録手段と、
    前記サーバから、前記付箋画像の情報と前記貼付状態情報と前記貼付場所情報とを含む前記電子付箋データを受信する第２の受信手段と、
    前記第２の受信手段で受信した電子付箋データについて、前記貼付状態情報と前記貼付場所情報とに基づいて、対応する紙付箋がスクリーン上に貼付され、且つ当該紙付箋が貼付されているスクリーンが前記第２のスクリーンであるか判定する第２の判定手段と、
    前記第２の判定手段で、前記電子付箋データの貼付状態情報により前記対応する紙付箋が貼付されていない或いは前記電子付箋データの貼付場所の情報により当該紙付箋が貼付されているスクリーンが前記第２のスクリーンでない別のスクリーンと判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第２のスクリーンに表示するように制御する一方、前記第２の判定手段で、前記電子付箋データの添付状態情報により前記対応する紙付箋が貼付されており、且つ前記電子付箋データの添付場所の情報により前記対応する紙付箋が前記第２のスクリーン上に貼付されていると判定した電子付箋データに関しては、その対応する電子付箋の画像を前記第２のスクリーンに表示しないように制御する第２の表示制御手段と、
    を有し、
    前記サーバは、
    前記第１の情報処理装置および前記第２の情報処理装置から送信された、前記電子付箋データを受信して前記記憶装置に登録する受信手段と、
    前記記憶装置に登録した前記電子付箋データを、前記第１の情報処理装置および前記第２の情報処理装置へ送信する送信手段と、
    を有することを特徴とする情報処理システム。
    

Images