JP6066706B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理システムの制御方法、情報処理装置、プログラムに関するものである。

多数のユーザによる情報の登録や読み出しを制御する電子掲示板システム（以下、単に電子掲示板と呼ぶ）がある。電子掲示板は各種の情報の伝達やユーザ間のコミュニケーションを広く行うために利用されている。このような電子掲示板では、ユーザが情報端末を介して電子掲示板に登録したい情報をネットワーク接続されたサーバに送信する。サーバで受信された情報は、サーバによって管理される電子掲示板に登録され、情報端末は登録された情報を読み出すことで情報端末の表示部に表示する。電子掲示板の中にはテキスト情報であるコメント文だけでなく写真等の画像も扱えるものもある（特許文献１）。

また、画像中の特定のパターンを検出する類似画像検出技術がある。画像の特徴となる点（特徴点）を検出する技術を用いて、任意の画像の特徴点情報同士を比較し、その近似度を調べることでそれらが一致しているかを検出するものである。検索対象の画像を複数登録しておき、入力画像をそれら全てと比較し、近似度を調べることで、入力画像がどの登録画像に近いかを判定できる。またこの技術は、画像全体のみならず、画像の一部に対しても適用出来る。このため、物体の撮影画像を登録しておけば、撮像画像中に、目的の物体が存在するかを調べる事が出来る。登録画像については、目的の物体の画像そのものの他、目的の物体を検出したらその近傍に位置する物体を登録することで、撮像画像中に元々目的の物体が存在していなくても検出可能とするものもある（特許文献２）。

特開2001-101114号公報 特開2012-63850号公報

特許文献１の電子掲示板でユーザが紙資料に手書きした情報を電子掲示板に登録する場合には、ユーザは手書きした情報を含んだ紙資料を撮像し、撮像した画像を電子掲示板に登録することになる。ここで、電子掲示板に登録された画像内に写っている手書き部分の情報（手書きコメント）に対してユーザがコメントを追加しようとして、情報端末を介して情報（電子コメント）を追加入力する場合、電子コメントは前述の画像に対して追加される。しかしながら、画像内には複数の手書き部分の情報（複数の手書きコメント）が含まれている可能性があり、その場合、あとで電子コメントと画像を参照した際に、追加入力された電子コメントは画像中のどの手書き部分に対するコメントであるのかが分かりにくい。つまり、ユーザが、紙資料に手書きした部分に対して追加コメントをしたとしても、紙資料に手書きした情報は独立したオブジェクトとして扱われていないため、入力された電子コメントを、そのコメントが向けられた部分に関連付けて、すなわち画像ではなく手書きした部分の情報（手書きコメント）に関連付けて管理することができない。その結果、あとでコメントを参照する際に、画像内の手書きコメントと電子コメントとの関係がわかりづらいという課題がある。

本発明は上記従来例に鑑みてなされたもので、紙媒体を撮影して得た画像の一部に係る電子的なコメントを、その対象との関連付けをわかりやすく表示し、また取得できる情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラムを提供することを目的とする。

上記目的を達成するために本発明は以下の構成を有する。

オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、前記手書きコメント情報の座標情報と共に入力する手書きコメント入力手段と、
ユーザ指示に基づいて、前記手書きコメント情報に対する電子コメント情報を入力する電子コメント入力手段と、
前記手書きコメント入力手段で入力された手書きコメント情報と、前記電子コメント入力手段で入力された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理手段と、
前記スレッド情報について、前記オリジナル画像の中で近傍に存在するパターンの特徴パターン情報を検出し、該特徴パターン情報を前記スレッド情報と関連付けて管理する特徴パターン管理手段と、
前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像の上に、スレッド表示するスレッド表示手段とを有し、
前記スレッド情報のスレッド表示は、前記スレッド情報の指定の位置から前記パターンに向けて表示させる。

本発明により、手書き入力による情報と情報端末からの入力による情報とを一括で直観的に参照することができる。直観的とは、例えば電子コメントの重畳表示を行うためのトリガとなる特徴パターンが、手書きコメントと離れている場合でも、ユーザーに意識させることなく電子コメントを適切に重畳表示する事が出来る。

情報処理システムの全体構成図 システム構成要素の構成図 紙資料を説明する図 電子ペンにおける電子ペン軌跡情報の送信処理に関するフローチャート 通信端末における電子ペンの移動軌跡を示す座標の算出処理に関するフローチャート 通信端末における手書きコメント軌跡情報の取得処理に関するフローチャート 紙資料の説明図 電子掲示板の説明図 サーバにおける手書きコメント情報の取得処理に関するフローチャート 電子掲示板の説明図 サーバにおける特徴パターン登録処理に関するフローチャート 電子掲示板の説明図 電子掲示板の説明図 情報端末における電子入力フォームの入力処理に関するフローチャート 検索画面の説明図 検索結果画面の説明図 参照ファイルパス入力画面の説明図 スレッド情報の説明図 特徴パターン情報の説明図 サーバにおけるスレッド管理処理に関するフローチャート 情報端末３００が撮像部３０６による撮像画像に対してスレッド情報を重畳表示させる場合の情報端末における重畳表示処理に関するフローチャート 情報端末３００が撮像部３０６による撮像画像に対してスレッド情報を重畳表示させる場合のサーバにおける重畳表示処理に関するフローチャート 情報端末における重畳画像生成処理に関するフローチャート 異なる特徴パターン位置でのスレッド表示例の説明図 スレッド表示の説明図

＜第１の実施形態＞
以下、本発明を実施するための最良の形態について図面を用いて説明する。

（システム構成）
図１は、本発明の第１の実施形態を示す情報処理システムの装置構成を示す図である。図１において、オリジナル画像（オリジナルデータ）が印刷された紙資料１０は複数ユーザへの配布物でもよいし、掲示板への掲示物でもよい。電子ペン１００は無線通信により１対１で通信端末２００と接続される。通信端末２００とサーバ４００と情報端末３００はＬＡＮなどのネットワーク５０を介して接続される。電子ペン１００は紙資料１０に対して文字や図形を手書き追記するデバイスであり、電子ペン１００の軌跡情報（電子ペン軌跡情報）を通信端末２００に送信する。

通信端末２００は受信した電子ペン軌跡情報から、手書き追記している際の電子ペン１００の軌跡情報（手書きコメント軌跡情報）を抽出してサーバ４００に送信する。

サーバ４００は受信した手書きコメント軌跡情報に基づいて手書きコメント情報を生成する。また、サーバ４００は、情報端末３００から電子コメント情報および参照ファイル情報を受信する。なお、本実施形態において、オリジナルデータ、手書きコメント情報、電子コメント情報、参照ファイル情報のことをまとめて電子掲示板情報と呼び、サーバ４００で記憶され、管理されている。

情報端末３００は、サーバ４００の管理する電子掲示板情報を表示部に表示する。また、情報端末３００は、表示部に表示された電子掲示板情報に対してユーザが入力した電子コメント情報や参照ファイル情報を、サーバ４００に送信する。また、情報端末３００はカメラなどの撮像部を備え、この撮像部で紙資料１０を撮影して紙資料１０の画像を表示部に表示する。なおこの際に情報端末３００は、表示部の表示される撮像画像に電子掲示板情報を重畳表示することもできる。情報端末３００が撮像部を備えていない場合は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどで外部接続したカメラなどの撮像手段を利用する形態でもよい。

（電子ペン）
図２（ａ）は本実施形態における電子ペン１００の構成を説明するものである。筆記部１０５はペンで実現され、インクカートリッジ内のインクを使って文字や図形を紙資料１０に可視状態で筆記する。筆圧検知部１０４は筆圧センサで実現され、紙資料１０１に筆記する際のペンにかかる筆圧を検知する。電子ペンデータ送信部１０１は赤外線を発信する赤外線発信装置および超音波を発信する超音波発信装置で実現され、通信端末２００に電子ペン軌跡情報を送信する。記憶部１０３はＲＡＭやＲＯＭなどのメモリで実現され、制御部１０２が必要とする一時的なデータなどをメモリに記憶する。制御部１０２は電子ペン１００を統括的に制御するものであり、記憶部１０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。制御部１０２は筆圧検知部１０４で加圧開始を検知すると電子ペンデータ送信部１０１に加圧開始を意味する加圧開始信号を赤外線発信するよう制御する。また、制御部１０２は筆圧検知部１０４で加圧終了を検知すると電子ペンデータ送信部１０１に加圧終了を意味する加圧終了信号を赤外線発信するよう制御する。また、制御部１０２は加圧開始から加圧終了までの時間内において一定周期で超音波発信するよう電子ペンデータ送信部１０１を制御する。電子ペンデータ送信部１０１の発信する超音波信号は、後述するように電子ペンの位置情報を表す信号である。

（通信端末）
図２（ｂ）は本実施形態における通信端末２００の構成を説明するものである。電子ペンデータ受信部２０４は１つの赤外線受信センサと２つの超音波受信センサを有するレシーバで実現される。電子ペンデータ受信部２０４は電子ペン１００の電子ペンデータ送信部１０１から発信された赤外線信号と超音波信号から成る電子ペン軌跡情報を受信する。ネットワーク通信部２０１はＬＡＮ Ｉ／Ｆで実現され、ネットワーク５０を介してサーバ４００に手書きコメント軌跡情報を送信する。記憶部２０３はＲＯＭやＲＡＭ、ＨＤＤ等のメモリで実現され、制御部２０２で利用する一時データや電子ペン軌跡情報、手書きコメント軌跡情報などを記憶する。制御部２０２は各部を統括的に制御するものであり、記憶部２０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。制御部２０２は電子ペンデータ受信部２０４で受信した電子ペン軌跡情報を記憶部２０３に記憶するよう制御する。制御部２０２は記憶部２０３から読み出した電子ペン軌跡情報から手書きコメント軌跡情報を抽出してサーバ４００に送信するようネットワーク通信部２０１を制御する。制御部２０２はユーザーの電子ペンによる筆跡動作に応じて、電子ペンから軌跡情報を受信し、紙面座標を算出するフロー（図５）や、また一連の筆跡を手書きコメント軌跡情報として抽出するためのフロー（図６）を実施する。

（サーバ）
図２（ｃ）はサーバ４００の構成を説明するものである。ネットワーク通信部４０１はＬＡＮ Ｉ／Ｆで実現され、ネットワーク５０を介して通信端末２００と情報端末３００とで様々なデータを送受信する。記憶部４０３はＲＡＭやＲＯＭやＨＤＤなどのメモリで実現され、本実施形態における電子掲示板情報を記憶する。またネットワーク通信部４０１は、コメント情報を受信し、記憶部４０３に記憶する。電子掲示板情報には、紙面に印刷された画像の内容と同じ内容のオリジナルデータ、スレッド情報、一時的な保存データなどが含まれる。

制御部４０２は各部を統括的に制御するものであり、記憶部４０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。

さらに、制御部４０２はコメント種別判定部４１１と手書きコメント入力部４１２とスレッド管理部４１３と印刷レイアウト部４１４と特徴抽出部４１５と特徴パターン管理部４１６から構成される。

コメント種別判定部４１１はネットワーク通信部４０１から受信したコメント情報が手書きコメント情報か電子コメント情報か参照ファイル情報のいずれの種別に属するものであるかを判定する。本実施形態ではサーバ４００と情報端末３００、サーバ４００と通信端末２００はＨＴＴＰプロトコルで通信するものとし、コメント情報の送受信においてはコメント種別の識別子（コメント識別子）をあわせて送受信する。このコメント種別の識別子が参照されることで、受信されたコメント情報のコメント種別が判別される。

受信されたコメント情報が手書きコメント情報のコメント種別に属するものであるとコメント種別判定部４１１が判定した場合、受信されたコメント情報は手書きコメント軌跡情報である。そのため、手書きコメント入力部４１２は、手書きコメント軌跡情報をビットマップ化して手書きコメント情報を生成し、この手書きコメント情報を記憶部４０３に記憶する。生成された手書きコメント情報はスレッド管理部４１３で管理される。

受信されたコメント情報が電子コメント情報もしくは参照ファイル情報のコメント種別に属するものであるとコメント種別判定部４１１が判定した場合、受信されたコメント情報は電子コメント情報もしくは参照ファイル情報である。これら電子コメント情報もしくは参照ファイル情報はスレッド管理部４１３によって管理される。

スレッド管理部４１３は手書きコメント情報および電子コメント情報および参照ファイル情報それぞれに関連づけたスレッド情報を生成し、記憶部４０３に記憶する。このスレッド情報とは、図１８を用いて後述するように、手書きコメント情報、電子コメント情報、参照ファイル情報のそれぞれの情報の親子関係やそれぞれの情報が入力された際の位置関係を示すデータテーブルのことである。スレッド管理部４１３は手書きコメント情報もしくは電子コメント情報もしくは参照ファイル情報の追加に応じてスレッド情報の更新を行う。

印刷レイアウト部４１４は情報端末３００から電子掲示板情報の印刷要求を受信した場合に電子掲示板情報の印刷レイアウトを有する印刷データを生成する。本実施形態においては、印刷レイアウト部４１４は後述のオリジナルデータ７００に記憶部４０３に記憶したスレッド情報を重ねて表示した電子掲示板表示結果を印刷対象とする。印刷は情報端末３００にインストールされたプリンタドライバを用いて、情報端末３００に接続された不図示のプリンタに対して印刷指示をすることで実現する。すなわち、情報端末３００は電子掲示板情報の印刷を指示する印刷指示手段を有し、この印刷指示手段によって電子掲示板情報が印刷されることになる。

特徴抽出部４１５はオリジナルデータ７００からテキストパターン、図形パターンなどの特徴パターンを抽出する。本実施形態では特徴パターンの抽出のために、公知の特徴点検出技術、及び特徴量抽出技術を利用する。例えば、特徴抽出部４１５は指定されたコメント周辺の画像について特徴点を検出し、その特徴点数が所定の閾値より大きい場合、それら特徴点を含む矩形領域を、特徴パターンとして抽出する。また、同時に特徴量の計算も行う。この特徴パターンの位置は、その特徴点を含む矩形領域の左上端の座標として定義される。なお、特徴パターンの検出方法は上記方法に限るものではなく、他の方法を用いても良い。

特徴パターン管理部４１６は特徴パターン情報テーブルを生成し、記憶部４０３に保存する。特徴パターン情報テーブルとは、図１９を用いて後述するように、特徴パターンの位置や特徴点自身を識別するための情報を示す特徴パターン情報の一覧を保持するデータテーブルである。特徴パターン管理部４１６は、新規スレッドが追加される度に、特徴パターン情報テーブルを更新する。

（情報端末）
図２（ｄ）は情報端末３００の構成を説明するものである。ネットワーク通信部３０１はＬＡＮ Ｉ／Ｆで実現され、ネットワーク５０を介してサーバ４００とで様々なデータを送受信する。記憶部３０３はＲＡＭやＲＯＭやＨＤＤなどのメモリで実現され、本実施形態において制御部３０２で利用する一時的な保存データなどを記憶する。

表示部３０４はディスプレイ（タッチパネルも含む）等に代表される表示装置で実現され、電子掲示板情報や撮像部３０６で撮像した画像などを表示する。入力部３０５はタッチパネルやマウス、キーボード等に代表される入力装置で実現され、ユーザからの入力操作を受け付ける。撮像部３０６はカメラなどに代表される撮像手段で実現され、紙資料の撮像画像を取得するものである。

制御部３０２は各部を統括的に制御するものであり、記憶部３０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。

さらに、制御部３０２は電子掲示板表示部３１１、電子コメント入力部３１２、参照ファイル入力部３１３、検索部３１４、重畳処理部３１５で構成される。

電子掲示板情報表示部３１１はサーバ４００から取得した電子掲示板情報を表示部３０４に表示する。また、電子掲示板情報表示部３１１は、ユーザからの電子コメントの入力を受け付けるための電子入力フォームを表示する。

電子コメント入力部３１２は電子入力フォームに対してユーザが入力部３０５を用いて入力した文字列（電子コメント）を取得し、電子コメント情報としてサーバ４００へ送信する。参照ファイル入力部３１３は電子入力フォームに対してユーザが入力部３０５を用いて入力した参照ファイルへのパス（参照ファイルパス）を取得し、参照ファイル情報としてサーバ４００へ送信する。検索部３１４は、電子入力フォームに対してユーザが入力部３０５を用いて入力した検索キーに基づいて、検索処理を行う。

重畳処理部３１５は撮像部３０６によって撮像された紙資料の画像を表示部３０４に表示するとともに、電子掲示板情報を紙資料の画像に重畳表示する。

（手書きコメント入力）
図３は、本実施形態における紙資料１０の紙面を説明するものである。紙資料１０には、オリジナルデータの内容としてオブジェクト１１０が印刷されている。

本実施形態では紙面の座標系を（Ｘｐａｐｅｒ，Ｙｐａｐｅｒ）で表現し、紙資料１０の上部中央に電子ペンデータ受信部２０４を実現するレシーバを配置して紙面原点２６０（０，０）としている。これは後述のオリジナルデータ７００の上部中央を座標原点とした電子掲示板との整合性をとるためである。紙資料１０は紙面の座標系において（−Ｘｐ，０）、（Ｘｐ，０）、（−Ｘｐ，Ｙｐ）、（Ｘｐ，Ｙｐ）の各位置を頂点とする矩形である。そのために、手書きコメントの入力に当たっては、紙資料を例えば板などの平面上に置き、その上部中央にレシーバを置く。

ユーザは紙資料１０上に電子ペン１００で手書きコメントを筆記開始する際に手書きコメント開始領域２５１をチェックする。次に、手書きコメントである「ＡＢＣ」を筆記する。

２１１から２１６は「ＡＢＣ」における筆記検知部１０４で検知する加圧開始ポイントに相当する。２２１から２２６は「ＡＢＣ」における筆記検知部１０４で検知する加圧終了ポイントに相当する。

ユーザは手書きコメントの筆記終了後に手書きコメント終了領域２５２をチェックするものとする。

図４は、電子ペン１００が通信端末２００に一連の電子ペン軌跡情報を送信するフローを説明するものである。

Ｓ１００１において、電子ペン１００の制御部１０２は筆圧検知部１０４で加圧開始を検知したか判定する。加圧開始を検知した場合はＳ１００２に進み、制御部１０２は電子ペンデータ送信部１０１から赤外線で加圧開始信号を送信するよう制御する。次に制御部１０２はＳ１００３で超音波信号を送信する。そして、Ｓ１００４にて制御部１０２は筆圧検知部１０４で加圧終了を検知するまで一定周期で超音波信号を送信し続ける。制御部１０２は加圧終了を検知するとＳ１００５にて、電子ペンデータ送信部１０１から赤外線で加圧終了信号を送信するよう制御する。加圧開始信号を送信してから加圧終了信号を送信するまでの超音波信号が一連の電子ペン軌跡情報である。

図５は、通信端末２００が電子ペン１００から一連の電子ペン軌跡情報を受信し、電子ペンの移動軌跡を示す座標（紙面座標）を算出するフローを説明するものである。

Ｓ２００１において、制御部２０２は電子ペンデータ受信部２０４で赤外線の加圧開始信号を受信したかどうかを判定する。加圧開始信号を受信した場合は、Ｓ２００２に進む。

次に、Ｓ２００２において、制御部２０２は電子ペンデータ受信部２０４で超音波信号を受信したかどうかを判定する。超音波信号が受信されていないと判定された場合、処理はＳ２００４へ進む。

超音波信号が受信されたと判定された場合は、Ｓ２００３にて、制御部２０２は２つの超音波受信センサで受信した超音波信号の受信時間の差および２つの超音波センサ間の距離から電子ペンの紙面座標を算出する。なお紙面座標については図７を用いて後述する。

次に、制御部２０２はＳ２００４において、電子ペンデータ受信部２０４で赤外線の加圧終了信号を受信したかどうかを判定する。加圧終了信号が受信されていないと判定された場合は、処理はＳ２００２に戻る。加圧終了信号が受信されたと判定された場合は、加圧開始から加圧終了までの一連のペン軌跡情報の取得を終了する。すなわち、制御部２０２は、図５に示される処理フローを実行することによって、連続的に受信される電子ペン軌跡情報から、電子ペンの移動軌跡を示す紙面座標の情報を順次算出する。なお、以下においては、Ｓ２００３にて算出された電子ペンの移動軌跡を示す紙面座標の情報のことも含めて、電子ペン軌跡情報と呼ぶ。

図６は、通信端末２００において、図３の手書きコメント「ＡＢＣ」を１つの手書きコメント軌跡情報とするフローを説明するものである。すなわち、図６の処理フローを制御部２０２が実行することで、制御部２０２は一連の電子ペン軌跡情報から手書きコメント軌跡情報を抽出する。

Ｓ２０１１にて、制御部２０２は図５の処理フローで算出された電子ペンの紙面座標の情報を含む、電子ペン軌跡情報を取得する。

次に、Ｓ２０１２にて制御部２０２は手書きコメント開始フラグがＯＮであるかを判定する。手書きコメント開始フラグは記憶部２０３で記憶されており、初期値はＯＦＦである。

Ｓ２０１２にて、手書きコメント開始フラグがＯＦＦの場合は、Ｓ２０１３で、制御部２０２はペン軌跡情報の示す電子ペンの紙面座標が手書きコメント開始領域２５１内であるかどうかを判定する。電子ペンの紙面座標が手書きコメント開始領域２５１内ではない場合は、Ｓ２０１１に戻る。電子ペンの紙面座標が手書きコメント開始領域２５１内である場合は、制御部２０２はＳ２０１４にて手書きコメント開始フラグをＯＮにしてＳ２０１１に戻る。

Ｓ２０１２にて、手書きコメント開始フラグがＯＮであった場合は、Ｓ２０１５にて制御部２０２は電子ペン軌跡情報の示す電子ペンの紙面座標が手書きコメント終了領域２５２内であるかどうかを判定する。電子ペンの紙面情報が手書きコメント終了領域２５２内ではない場合は、Ｓ２０１６にて制御部２０２は電子ペン軌跡情報を手書きコメント軌跡情報の一部として記憶部２０３に記憶し、Ｓ２０１１に戻る。電子ペンの紙面情報が手書きコメント終了領域２５２内である場合は、Ｓ２０１７にて制御部２０２は手書きコメント開始フラグをＯＦＦにする。Ｓ２０１８にて、制御部２０２は、Ｓ２０１６において記憶部２０３で記憶した、手書きコメント開始から終了までの一連の電子ペン軌跡情報群を１つの手書きコメント軌跡情報（例えば「ＡＢＣ」）としてサーバ４００に送信する。またこの送信の際には、制御部２０２は手書きコメント軌跡情報に、手書きコメント軌跡情報が手書きコメント情報に属する種別の情報であることを示す手書きコメント識別子を含めて送信する。

図７は図３で説明した紙面座標計算の結果である手書きコメント軌跡情報を説明する図である。２３１や２３２などの座標は紙面座標計算の結果得られる座標の例である。そして、紙面座標計算を２１１から２１６の各加圧開始ポイントと対応する２２１から２２６の各加圧終了ポイントに対して順に行った結果得られた一連の電子ペン軌跡情報群２４０が手書きコメント軌跡情報「ＡＢＣ」である。

図８は、本実施形態における紙資料１０に対応するオリジナルデータ７００を説明するものである。記憶部４０３はオリジナルデータ７００を記憶している。なお、本実施形態において、オリジナルデータ７００とは、紙資料１０に印刷された画像の元データであり、オリジナルデータ７００に印刷処理が施されることで紙資料１０が印刷される。オブジェクト７１０はオリジナルデータ７００中に含まれるオブジェクトである。この例では手書きコメント７２１はオリジナルデータ７００にはふくまれない。しかし手書きコメントを書き込んだ原稿を撮影したオリジナルデータであれば、その中に手書きコメントのパターンを含むことになる。

本実施形態では電子掲示板の座標系を（Ｘｂｂｓ，Ｙｂｂｓ）で表現し、オリジナルデータ７００の上部中央を電子掲示板原点７０１（０，０）としている。オリジナルデータ７００における電子掲示板原点７０１は、紙資料１０における紙面原点２６０と対応している。オリジナルデータ７００は電子掲示板座標系において（−Ｘｏ，０）、（Ｘｏ，０）、（−Ｘｏ，Ｙｏ）、（Ｘｏ，Ｙｏ）の４点で構成される矩形領域で表現される。

図９は、サーバ４００の手書きコメント入力部４１２で手書きコメント軌跡情報をビットマップ化して手書きコメント情報を取得するフローを説明するものである。図９において、図３の手書きコメント軌跡情報２４０「ＡＢＣ」を例に説明する。

記憶部４０３はオリジナルデータ７００を記憶している。

手書きコメント入力部４１２では、Ｓ４００１において、Ｓ２０１８で通信端末２００が送信した手書きコメント軌跡情報２４０および手書きコメント識別子を受信する。この手書きコメント軌跡情報２４０は、紙面座標系（Ｘｐａｐｅｒ，Ｙｐａｐｅｒ）で表現された手書きコメントの座標情報を含む。

次に、Ｓ４００２にて、手書きコメント入力部４１２は、受信した手書きコメント軌跡情報２４０に含まれる紙面座標系で表現された手書きコメントの座標情報を、電子掲示板の座標系（Ｘｂｂｓ，Ｙｂｂｓ）に変換する。変換処理は、紙資料１０のサイズとオリジナルデータ７００のサイズを元に予め変換係数を決定しておくことで実現する。

図１０は手書きコメント軌跡情報２４０を電子掲示板の座標系（Ｘｂｂｓ，Ｙｂｂｓ）に変換した結果を示す例であり、７１１や７１２に代表される座標を得る。

次に、Ｓ４００３にて、手書きコメント入力部４１２は、座標変換された手書きコメント軌跡情報の座標群を包含する矩形の最小の矩形サイズ７２０を算出し、この最小の矩形の左上の座標（−Ｘｗ１，Ｙｗ１）と、最小の矩形の右下の座標（Ｘｗ２，Ｙｗ２）を得る。

次に、Ｓ４００４において、手書きコメント入力部４１２は、座標変換された手書きコメント軌跡情報の座標での画像データに色を付けてビットマップとして描画する。そして、手書きコメント入力部４１２は、手書きコメントをビットマップ化した矩形サイズ７２０のビットマップ７２１を生成して、記憶部４０３に記憶する。そして、手書きコメント入力部４１２は、記憶部４０３に記憶されたビットマップ７２１へのファイルパスとビットマップの左上座標（−Ｘｗ１，Ｙｗ１）とＳ４００１で受信された手書きコメント識別子を手書きコメント情報としてスレッド管理部４１３に送信する。

図１１は、コメントの近傍領域に存在する特徴パターンを検出して登録するフローである。例えばこのフローを実施した場合、コメントデータ７２１とオブジェクト７１０とが図１２（ｂ）のような位置関係にある時、先頭コメントであるコメントデータ７２１（「ＡＢＣ」）から見て右下の領域にある特徴パターン７１０を検出する。この処理はサーバ４００の特徴パターン管理部４１６により実施され、後述する図２０のスレッド管理処理において、新規スレッドが追加された時に実施される（Ｓ４０２１）。また、この時入力として、新規に追加されたスレッドのスレッド情報が与えられる。なおコメントデータ７４１は電子コメントであり、本実施形態においては特徴抽出の対象としていない。

Ｓ４０６１にて、特徴パターン管理部は、図１２（ｃ）に図示されるように、指定されたスレッドの先頭コメントの中心位置を原点とし、まず原点７１６を中心にオリジナルデータを十字に分割する。続いて、分割された領域それぞれについて、原点７１６を一つの頂点とする探索範囲（Ｗｓ，Ｈｓ）だけの大きさを持つ矩形領域７１７を探索領域として定義する。（Ｗｓ，Ｈｓ）は変数であり、その初期値は（０，０）とする。

次に、Ｓ４０６２にて、探索距離Ｗｓ，Ｈｓをそれぞれ所定の大きさ分増加させることで、探索領域７１７を拡大させる。これを４つの探索領域それぞれについて行う。

次に、Ｓ４０６３にて、前記各探索領域内の画像を特徴抽出部４１５に渡して各領域に特徴パターンが含まれるか否かを判定する。

Ｓ４０６３において特徴パターンが検出されなかった場合、Ｓ４０６４にて、原稿端まで調べたかを検出する。原稿端まで調べた場合処理を終了し、調べていない場合、Ｓ４０６２へ移行する。なお原稿端に達するまでの繰り返し回数は領域ごとに異なる可能性があるので、原稿端に達していない領域についてのみ探索を続行すればよい。

Ｓ４０６３において、特徴パターンが検出された場合、Ｓ４０６５にてその特徴パターンの情報を、後述する特徴パターン情報として特徴パターン情報テーブルに追記する。図１９の特徴パターン情報２６０１のｘ方向相対位置は、先頭コメントのコメント座標（Ｘｃｏｍ）から特徴パターンのｘ座標までの相対位置（Ｘｍ）である。ｙ方向の相対位置も同様である。また関連スレッドＩＤの値は、入力として与えられたスレッド情報に含まれる、新規スレッドのスレッドＩＤである。先頭コメントのコメント座標は、一定位置に決めておけばよいが、たとえば図１２（ｂ）などでは、座標系に平行で、コメントを含む最小の矩形領域の左上角などで定義される。

（電子入力フォーム）
図１３は、電子入力フォームを説明するものである。図１３は、サーバ４００の記憶部４０３に記憶されている電子掲示板情報を、情報端末３００がサーバ４００から受信して、電子掲示板情報表示部３１１によって電子掲示板情報を表示した一例を示す。表示された情報には、オリジナルデータに加えて、手書きコメント７２１が、その軌跡情報に基づいてオリジナルデータに重畳されて表示されている。

ここで、ユーザが入力部３０５を介して表示部３０４に表示された電子掲示板情報が表示されている領域内の座標を選択指示すると、電子掲示板情報表示部３１１は電子入力フォーム７３０を表示する。図１３は、手書きコメント（ビットマップ）７２１の領域内の座標が選択指示されたことを示す。この場合、電子掲示板情報表示部３１１は手書きコメント７２１の座標から（Δｘ１、Δｙ１）だけずらしたオフセット位置（−Ｘｗ１＋Δｘ１， Ｙｗ１＋Δｙ１）に電子入力フォーム７３０を表示する。ユーザが入力部３０５を介して手書きコメント７２１の領域外の座標を選択指示した場合、電子掲示板情報表示部３１１は、選択指示された座標に応じた位置に電子入力フォーム７３０を表示する。

電子入力フォーム７３０は、文字列入力領域（文字列入力部）７３１と電子コメント追加ボタン７３２とキーワード検索ボタン７３３と画像検索ボタン７３４と動画検索ボタン７３５と参照ファイル添付ボタン（添付部）７３６を含む。

図１４は、電子入力フォーム７３０で入力するフローを説明するものである。Ｓ３０１１にて、電子掲示板情報表示部３１１は、ユーザが入力部３０５を介して表示部３０４に表示されている領域の座標が選択指示されたかどうかを検知し、すなわち入力開始イベントを検知すると、その選択指示された座標が電子掲示板情報の領域内であるか否かを判定する。Ｓ３０１２において電子掲示板情報表示部３１１は、電子掲示板情報の領域内の座標が選択指示されたと判定した場合、電子入力フォーム７３０をオフセット位置に表示し、電子掲示板情報の領域外の座標が選択指示されたと判定した場合、電子入力フォーム７３０を選択指示された座標に応じた位置に表示する。このときに電子コメント入力部３１２は、電子入力フォーム７３０を表示した位置の座標を、記憶部３０３に記憶する。

次に、Ｓ３０１３にて、電子コメント入力部３１２は、ユーザが入力部３０５を介して文字列入力領域７３１に文字入力したか否かを判定する。文字入力されたと判定した場合、電子コメント入力部３１２は、入力された文字列を記憶部３０３に記憶する。

Ｓ３０１４で電子コメント入力部３１２は、電子コメント追加ボタン７３２が押下されたか否かを判定する。Ｓ３０１４で、電子コメント追加ボタン７３２が押下されたと判定した場合、Ｓ３０１５にて、電子コメント入力部３１２が、記憶部３０３に記憶された電子入力フォーム７３０の座標および文字列入力領域７３１に入力された文字列を電子コメント情報としてサーバ４００に送信する。またこの電子コメント情報の送信の際に、電子コメント入力部３１２は電子コメント情報に、送信するコメント情報が電子コメント情報に属する種別の情報であることを示す電子コメント識別子を含めて送信する。

Ｓ３０１４にて、電子コメント追加ボタン７３２が押下されていないと判定した場合は、Ｓ３０１６にてキーワード検索ボタン７３３もしくは画像検索ボタン７３４あるいは動画検索ボタン７３５がユーザ指示に基づいて押下されたか否かを判定する。

いずれかの検索ボタンが押下されたと判定した場合は、Ｓ３０１７にて、検索部３１４がそれぞれのタイプの検索に割り当てられたＷｅｂ検索エンジンを用いて、文字列入力領域７３１に入力された文字列を検索する。この文字列の検索については公知の検索技術を用いるため詳細な説明は割愛する。

この時、電子掲示板情報表示部３１１はユーザがボタン選択によって選択した検索エンジンを用いた、入力文字列の検索結果を表示部３０５に表示する。この際に、検索部３１４はＳ３０１８にて、Ｓ３０１７の検索処理の検索結果を記憶部３０３に記憶する。電子掲示板情報表示部３１１は検索エンジン画面において非表示ボタンの押下により検索エンジン画面を非表示にできる。

Ｓ３０１３にて、文字列入力領域７３１に文字入力されたと判定された場合は、電子掲示板情報表示部３１１は、Ｓ３０１９で参照ファイル添付ボタン７３６がユーザ指示によって押下されたか否かを判定する。参照ファイル添付ボタン７３６が押下されたと判定された場合は、Ｓ３０２０にて、電子掲示板情報表示部３１１は、参照ファイルパス入力画面（図１７参照）を表示する。そして、参照ファイルパス入力画面で入力された参照ファイルパスを参照ファイル入力部３１３が記憶部３０３に記憶する。参照ファイルには画像ファイル、動画ファイル、文書ファイル、音声ファイル、検索部３１４が記憶した検索結果などに代表される電子ファイルが含まれる。

また、参照ファイル入力部３１３は、参照ファイルを参照するための参照ファイルアクセスボタンを表示すべき位置の座標（参照ファイルアクセスボタンの座標）を、電子入力フォームが表示された位置の座標に基づいて算出する。本実施形態において具体的に算出される座標は、電子入力フォームの座標を（Δｘ２，０）ずらした位置の座標である。

そして参照ファイル入力部３１３は、参照ファイルパスと参照ファイルアクセスボタンの座標の情報を、サーバ４００に参照ファイル情報として送信する。この送信の際に、参照ファイル入力部３１３は参照ファイル情報に、送信するファイル情報が参照ファイル情報に属する種別の情報であることを示す参照ファイル識別子を含めて送信する。ここまでがＳ３０２０の処理である。なお、前述した参照ファイルアクセスボタンは、参照ファイルを参照するためにユーザ指示によって選択される画像オブジェクトである。

Ｓ３０２１では、電子コメント追加ボタンや添付ボタン、検索ボタンの押下という入力終了イベントが検知されたことで、電子掲示板情報表示部３１１が電子入力フォーム７３０を非表示にする。

次に、Ｓ３０２２にて電子掲示板情報表示部３１１は、電子入力フォーム７３０を表示した座標に入力結果を表示する。ここで、手書きコメント７２１がユーザ指示によって選択されて電子入力フォーム７３０が表示された場合に、電子入力フォームへの入力内容が電子コメントであれば電子コメント情報７４１（図１２（ａ）等参照）が表示される。例えば、図１２（ａ）の手書きコメント７２１が選択された場合に、電子コメント情報７４１（文字列「ＤＥＦ」）は電子入力フォーム７３０の座標と同じ座標の（−Ｘｗ１＋Δｘ１，Ｙｗ１＋Δｙ１）に表示される。またさらに手書きコメント７２１がユーザ指示によって選択されて電子入力フォーム７３０が表示された場合に、電子入力フォームへの入力内容が添付ファイルであれば、参照ファイルアクセスボタン７４２が表示される。例えば、図１２（ａ）の手書きコメント７２１がさらに選択された場合に、図１２（ｂ）のように参照ファイルアクセスボタン７４２は電子入力フォーム７３０が表示された座標から所定の位置ずらされた座標（−Ｘｗ１＋Δｘ１＋Δｘ２， Ｙｗ１＋Δｙ１）に表示される。

図１５は、検索エンジン画面７５１を説明するものである。検索エンジン画面７５１は文字列入力領域７３１で入力された文字列がキーワード欄７５２で表示される。そして、検索結果は検索結果欄７５３に表示される。次へボタン７５４は次ページの検索結果を表示するためのものである。非表示ボタン７５５は検索エンジン画面を閉じるものである。

図１６は、検索結果欄７５３を説明するものである。画像７５３（ａ）はキーワード検索結果例である。画像７５３（ｂ）は画像検索結果例をである。画像７５４（ｃ）動画検索結果例である。

図１７は、参照ファイルパス入力画面７６１を説明するものである。参照ファイルパス入力欄７６２は添付したい参照ファイルを入力するものである。決定ボタン７６３は参照ファイルパス入力欄７６２で入力された参照ファイルを添付するよう決定するものである。キャンセルボタン７６４は参照ファイルパス入力画面を閉じるものである。なお、本実施形態において、参照ファイルパスは情報端末３００の記憶部３０３に記憶されているファイルへのパスとする。しかし、参照ファイルパスの送信とともにファイルを情報端末３００からサーバ４００にアップロード（送信）するような実施形態では以下のような構成をとってもよい。すなわち、参照ファイルサーバ４００へ参照ファイルパスが送信される際に、参照ファイル入力部３１３はサーバ４００の記憶部４０３にアップロードし、参照ファイルパスを参照ファイルのアップロード先のパスへと変換して送信する。これにより参照ファイルがサーバ４００へアップロードされてそのファイルへのパスが記憶されるので、参照ファイルがどの情報端末３００からも参照することが可能となる。

（スレッド情報）
図１８は、サーバ４００におけるスレッド管理部４１３（図２（ｃ）参照）で管理するスレッド情報を説明するものである。スレッド管理部４１３は複数のスレッド情報を管理する。１つのスレッド情報は１つのスレッドヘッダと１つ以上のコメント情報もしくは０以上の参照ファイル情報から構成される木構造で表現される。

スレッドヘッダ情報８０１は以下の情報を含む。
スレッドＩＤ：スレッドＩＤはスレッドを一意に特定するための情報であり、スレッド識別子である。
先頭コメントＩＤ：先頭コメントＩＤは当該スレッドの先頭となるコメント情報のコメントＩＤを示す。
スレッド座標（Ｘｔｈｒｅａｄ）：スレッド座標（Ｘｔｈｒｅａｄ）は電子掲示板座標系（Ｘｂｂｓ、Ｙｂｂｓ）において表示される当該スレッド情報のＸｔｈｒｅａｄ座標を示す。
スレッド座標（Ｙｔｈｒｅａｄ）：スレッド座標（Ｙｔｈｒｅａｄ）は電子掲示板座標系において表示される当該スレッド情報のＹｔｈｒｅａｄ座標を示す。
スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）：スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）は電子掲示板座標系において表示される当該スレッドのＸｂｂｓ軸方向のサイズを示す。
スレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）：スレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）は電子掲示板座標系において表示される当該スレッドのＹｂｂｓ軸方向のサイズを示す。

コメント情報８０２は以下の情報を含む。
コメントＩＤ：コメントＩＤはコメントを一意に特定するための情報である。
親コメントＩＤ：親コメントＩＤは当該コメントの親ノードであるコメント情報のコメントＩＤである。当該コメントが先頭コメントである場合は親ノードは無い。
子コメントＩＤ：子コメントＩＤは当該コメントの子ノードであるコメント情報のコメントＩＤである。親コメント情報は複数の子コメント情報を持つことができる。親コメントＩＤおよび子コメントＩＤは、コメントの親子関係を示すコメント親子情報とまとめて呼ぶことができる。
参照ファイルＩＤ：参照ファイルＩＤは当該コメント情報に関連する参照ファイルの参照ファイルＩＤである。コメント情報は複数の参照ファイル情報を持つことができる。またたとえば値がナルであれば参照ファイル情報を持たないことも示すことができる。したがって参照ファイルＩＤは、参照ファイルの有無を示す参照ファイル有無情報と考えることもできる。
タイプ：タイプは当該コメント情報の種別が手書きコメントであるビットマップか電子コメントである文字列かを示すコメントタイプの識別子である。
データ：データは手書きコメント情報であればビットマップファイル名であり、電子コメント情報であれば文字列データである。
コメント座標（Ｘｃｏｍ）：コメント座標（Ｘｃｏｍ）は電子掲示板座標系において表示される当該コメント情報のＸｂｂｓ座標を示す。
コメント座標（Ｙｃｏｍ）：コメント座標（Ｙｃｏｍ）は電子掲示板座標系において表示される当該コメント情報のＹｂｂｓ座標を示す。
コメントサイズ（ＸＳＩＺＥｃｏｍ）：コメントサイズ（ＸＳＩＺＥｃｏｍ）は電子掲示板座標系において表示される当該コメントのＸｂｂｓ軸方向のサイズを示す。
コメントサイズ（ＹＳＩＺＥｃｏｍ）：コメントサイズ（ＹＳＩＺＥｃｏｍ）は電子掲示板座標系に表示する当該コメントのＹｂｂｓ軸方向のサイズを示す。コメントサイズ（ＸＳＩＺＥこｍ）とコメントサイズ（ＹＳＩＺＥｃｏｍ）はコメント情報のタイプがビットマップの場合に使用される。タイプが文字列の場合は、サーバ４００側で定義した文字サイズから文字列サイズが算出される。ここでコメントサイズ情報は、表示される際のコメント表示サイズである。
重畳対象：重畳対象情報は、当該コメント情報を重畳表示の対象とするか否かを示す。予めサーバ側設定で常に重畳表示対象としてもよいし、先頭コメントＩＤから最大Ｎ個まで重畳表示対象とするような設定でも構わない。この最大数Ｎはユーザ指示に基づいて入力される数値で設定される構成であってもよい。後述の図１８のコメント情報８０５（ｂ）ではＮ＝３としている。

参照ファイル情報８０３は以下の情報を含む。
参照ファイルＩＤ：参照ファイルＩＤは参照ファイル情報を一意に特定するための情報である。
親コメントＩＤ：親コメントＩＤは当該参照ファイル情報の親ノードであるコメント情報のコメントＩＤである。すなわち関連するコメント情報を示す関連コメント情報ということができる。
タイプ：タイプは当該参照ファイル情報の種別を示すものである。種別には例えば、動画や音声、文書、図面、ＵＲＬ、ショートカットなどが挙げられる。種別に対応したアプリケーションで再生できる。
データ：データは参照ファイル情報の参照ファイルパスを示す。このデータはすなわち参照ファイルデータである。
アクセスボタン座標（Ｘａｃｃ）：アクセスボタン座標（Ｘａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＸｂｂｓ座標を示す。
アクセスボタン座標（Ｙａｃｃ）：アクセスボタン座標（Ｙａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＹｂｂｓ座標を示す。
アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）：アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＸｂｂｓ軸方向のサイズを示す。
アクセスボタンサイズ（ＹＳＩＺＥａｃｃ）：アクセスボタンサイズ（ＹＳＩＺＥａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＹｂｂｓ軸方向のサイズを示す。ここでアクセスボタンは、参照ファイルアイコンでもよい。この場合座標及びサイズはそれぞれ、参照ファイルアイコンの表示位置を示す参照ファイルアイコン表示座標と、参照ファイルアイコンの表示サイズを示す参照ファイルアイコン表示サイズ情報ということができる。

スレッド８０４はスレッド情報の木構造を表した例である。スレッド８０４は１つのスレッドヘッダと５個のコメント情報と３個の参照ファイル情報に基づいて構成される。コメントＩＤ＝３のコメント情報はコメントＩＤ＝４とコメントＩＤ＝５の２つの子コメント情報を有する。コメントＩＤ＝４のコメント情報は参照ファイルＩＤ＝２と参照ファイルＩＤ＝３の２つの参照ファイル情報を有している。

スレッドヘッダ情報８０５（ａ）はスレッド８０４のスレッドヘッダを表した例である。コメント情報８０５（ｂ）はスレッド８０４のコメント情報のリストを表した例である。参照ファイル情報８０５（ｃ）はスレッド８０４の参照ファイル情報のリストを表した例である。ここで、親コメントＩＤ＝０は親コメント情報を持たない先頭コメント情報であることを意味する。子コメントＩＤ＝０は子コメント情報を持たない末端のコメント情報であることを意味する。参照ファイルＩＤ＝０は参照ファイル情報を持たないことを意味する。すなわち、親コメントＩＤ＝０のコメント情報がコメント木の根であり、子コメントＩＤ＝０のコメント情報および参照ファイル情報がコメント木の葉である。重畳対象＝１は重畳対象とすることを意味する。重畳対象＝０は重畳対象としないことを意味する。

（特徴パターン情報）
図１９はサーバ４００における特徴パターン管理部４１６で管理される特徴パターン情報を説明するものである。特徴パターンとは、オリジナルデータから抽出したパターンの特徴を示す情報である。特徴パターン管理部４１６は複数の特徴パターン情報２６０１を管理する。具体的には、個々の特徴パターン情報をレコードとして構成される特徴パターン情報テーブルとして管理する。１つの特徴パターン情報は、以下の情報を含む。
特徴パターンＩＤ：特徴パターンＩＤは、特徴パターンを一意に特定するための情報である。
特徴点情報パス：特徴点情報パスは、特徴パターンの特徴点群の特徴量情報を含む特徴点情報を格納したファイルへのパスである。
ｘ方向相対位置（Ｘｍ）：ｘ方向相対位置は、この特徴点に紐づけられたスレッドからみた、この特徴パターンのｘ方向の相対位置情報である。
ｙ方向相対位置（Ｙｍ）：ｙ方向相対位置は、この特徴点に紐づけられたスレッドからみた、この特徴パターンのｙ方向の相対位置情報である。
関連スレッドＩＤ：この特徴パターンに紐づけられたスレッドのスレッドＩＤである。

特徴パターン情報テーブル２６０１（ａ）はスレッド８０４へ紐づけられた特徴パターン情報をレコードとして持つ特徴パターン情報テーブルを表した例である。

（スレッド管理）
図２０はサーバ４００におけるスレッド管理処理を説明するものである。スレッド管理部４１３は、Ｓ４０１１にてコメントの追加が発生したか否かを判定する。具体的にはスレッド管理部４１３がコメント情報（手書きコメント情報および電子コメント情報）あるいは参照ファイル情報を受信した場合、コメントの追加が発生したと判定する。

コメントの追加が発生したと判定した場合は、Ｓ４０１２にて、スレッド管理部４１３は新規スレッドを生成する必要があるか否かを判定する。具体的にはスレッド管理部４１３は、コメント情報に含まれる座標情報が、記憶部３０３に記憶されているスレッド情報内の各コメント情報８０２の表示領域内もしくは各参照ファイル情報８０３の参照ファイルアクセスボタンの領域内を示す情報でない場合、新規スレッドの生成が必要と判定する。コメント情報に含まれる座標情報が、記憶部３０３に記憶されているスレッド情報内の各コメント情報の表示領域内もしくは参照ファイルアクセスボタンの領域内を示す情報である場合、新規スレッドの生成は不要と判定される。

新規スレッドの生成が必要と判定された場合は、スレッド管理部４１３はＳ４０１３にて、新規のスレッドヘッダ８０１を生成することで新規スレッドを生成する。なお、以降のスレッド管理部４１３の実行する処理は生成した新規スレッドの情報に関しての処理となる。新規スレッドの生成が必要と判定されない場合は、以降のスレッド管理部４１３の実行する処理は該当する既存スレッドの情報に関しての処理となる。

次にスレッド管理部４１３はＳ４０１４にて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。具体的にはコメント種別判定部４１１は入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が手書きコメント情報であるか否かを判定し、判定結果をスレッド管理部４１３に送信する。そしてスレッド管理部４１３は受信した判定結果に基づいて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。入力されたコメント情報が手書きコメント情報であった場合は、スレッド管理部４１３はＳ４０１５で、入力されたコメント情報を、手書きコメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。

Ｓ４０１４にて手書きコメント情報でなかった場合は、Ｓ４０１６にて入力されたコメント情報が電子コメント情報であるか否かを判定する。具体的にはコメント種別判定部４１１は入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が電子コメント情報であるか否かを判定し、判定結果をスレッド管理部４１３に送信する。そしてスレッド管理部４１３は受信した判定結果に基づいて、入力されたコメント情報が電子コメント情報であるか否かを判定する。入力されたコメント情報が電子コメント情報であった場合は、スレッド管理部４１３はＳ４０１７で、入力されたコメント情報を、電子コメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。

Ｓ４０１６にて、電子コメント情報でなかった場合は入力されたのは参照ファイル情報であるから、Ｓ４０１８にてスレッド管理部４１３は参照ファイル情報を、スレッド表示できるようにスレッド情報のフォーマットに変換する。

スレッド管理部４１３はＳ４０１９にて、スレッド情報のフォーマット（図１８の符号８０２、８０３参照）に変換されたコメント情報もしくは参照ファイル情報を入力対象のスレッド情報に追加し、さらに、スレッドヘッダを更新して、スレッド情報を記憶部４０３に記憶する。

スレッド管理部４１３はＳ４０２０において、Ｓ４０１２と同様にして今回処理したスレッドが新規スレッドであったかどうかを調べる。

Ｓ４０２０において新規スレッドであったと判定した場合は、Ｓ４０２１にて、新規スレッドの近傍に存在する特徴パターンを登録する。具体的には、新規スレッドのスレッド情報を入力として図１１の特徴パターン登録フローを実施する。

なお、スレッド管理部４１３によって管理されるスレッド情報は、情報端末３００によってサーバ４００の記憶部４０３から読み出される場合がある。また、記憶部４０３に記憶されるオリジナルデータも情報端末３００によって読み出され、スレッド情報が付加されて表示部３０４に表示される場合がある。この場合、サーバ４００は記憶部４０３に記憶するスレッド情報ならびにオリジナルデータ７００を情報端末３００へ送信する。そして情報端末３００の制御部３０２はオリジナルデータ７００を電子掲示板座標系において表示し、そのオリジナルデータ７００上にスレッド情報を重ねて表示する。

具体的には、制御部３０２は、スレッド情報のスレッドヘッダによって１スレッドを表示するために用いられるコメント情報ならびに参照ファイル情報を取得する。そして制御部３０２は、取得したコメント情報および参照ファイルのデータとタイプに基づいて、ビットマップあるいは文字列あるいは参照ファイルアクセスボタンの画像オブジェクトを生成する。また制御部３０２は、コメント情報および参照ファイル情報それぞれの座標情報（コメント座標、アクセスボタン座標）およびサイズ情報（コメントサイズ、アクセスボタンサイズ）を取得する。そして制御部３０２は、取得した座標情報およびサイズ情報に基づいて、生成した画像オブジェクトをオリジナルデータ７００上に重畳表示すべく、オリジナルデータ７００上に画像オブジェクトを合成した画像を生成する。そして制御部３０２は、合成された画像を表示部３０４に表示する。合成されて得られる画像データは、スレッド情報（コメント情報および参照ファイル情報）の各情報が入力された際の各情報の入力あるいは表示の位置関係が保たれた画像であり、１つのスレッドとしてスレッド状に表示される。このような表示をスレッド表示と呼ぶ。

図１８のスレッド情報（スレッドヘッダ８０５（ａ）、コメント情報８０５（ｂ）、参照ファイル情報８０５（ｃ））がオリジナルデータ７００にスレッド表示される場合、表示される画像は図２５（ａ）に示されるような画像となる。つまり情報端末３００がオリジナルデータ７００とともにスレッド情報を読みだしてスレッド表示する場合、表示される画面の大きさには制限がないため、全てのスレッド情報をオリジナルデータ７００に重ね合わせてスレッド表示する。このような場合、重畳処理部３１５は、スレッド情報の全てに対してコメント情報の「重畳対象」の情報を「重畳対象＝１」としてスレッド表示する。スレッド情報の全てを表示するのか、一部を表示するのか（例えば先頭コメントからＮ個）をユーザ指示に基づいて切り替える構成をとってもよい。

（重畳表示）
本実施形態の電子掲示板システムにおいて、紙資料１０に入力された手書きコメントは、ビットマップデータとして電子化される。そして、ビットマップ化された手書きコメントはオリジナルデータ７００とともに情報端末３００の表示部３０３に表示される。そして、手書きコメントに対して手書きコメントを追記したユーザあるいは他のユーザは情報端末３００を介して電子コメントを追加することができる。

このような電子掲示板システムにおいて、紙資料１０に手書き追記したユーザは、その手書きコメントに対する他のユーザからのコメントを見たい場合がある。または、手書きコメントが追加される前の紙資料１０を配布されたユーザは、他のユーザによって既に追加されている手書きコメントあるいは電子コメントをすぐに見たい場合がある。このようなユースケースに応えるべく、紙資料１０を情報端末３００の撮像部３０６で撮像すると、撮像画像に手書きコメントや電子コメントなどが重畳された画像が、リアルタイムで表示部３０４に表示される処理について図２１、２１、２５を用いて説明する。

図２１は、重畳表示に関する情報端末３００の処理を説明する図である。この処理により情報端末３００は、撮像部３０６で撮像して表示部３０４に表示した紙資料１０の画像に対し、記憶部３０３に記憶しているスレッド情報を、紙資料１０の画像上の特徴パターンの位置に基づいて、重ね合わせて表示することができる。

Ｓ３０５０にて、重畳処理部３１５は、サーバー４００より、特徴パターン情報テーブル２６０１（ａ）をダウンロードし、記憶部３０３に記憶する。

Ｓ３０５１にて、撮像部３０６は紙資料１０を撮像し、撮像画像（図２５の符号３００１）を制御部３０２の重畳処理部３１５へ送信する。そして制御部３０２の重畳処理部３１５は、撮像画像３００１から特徴パターン１１０を検出したかを判定する。なお特徴パターンは、パターンを検出した際に紙面座標系と電子掲示板座標系との対応関係をとることが可能となるパターンである。これにより、電子掲示板座標系で管理されているコメント情報のビットマップおよび文字列や参照ファイルアクセスボタンなどの画像オブジェクトを、撮像画像３００１内の適切な位置に重畳して表示することができる。

撮像画像３００１から特定の特徴パターンを検出するために、本実施形態では公知の特徴点検出技術、及び特徴量抽出技術を利用する（例えばＳＵＲＦ）。重畳処理部３１５はこれら公知技術を用いて、撮像画像から特徴量情報を抽出し、これを記憶部３０３に格納された特徴パターン情報テーブル中の各特徴パターンの特徴量情報と比較することで、特徴パターンの検出を行う。本実施形態において特徴量の比較方法は問わない、一例としてＲＡＮＳＡＣの利用等が挙げられる。

上記特徴パターンの検出と共に、オリジナルデータ上の特徴パターン７１０に対する撮像画像上の特徴パターンの拡大率を算出する。拡大率とは、特徴パターンの電子掲示板座標系での大きさに対する、画面上の大きさである。

重畳処理部３１５が特徴パターンを検出した場合は、Ｓ３０５２にて、重畳処理部３１５は該特徴パターンの情報（特徴パターン情報）を含むスレッド情報取得要求を、サーバ４００に対して送信する。また、検出した特徴パターンの画面座標上での位置を、記憶部３０３に格納する。

そしてＳ３０５３において重畳処理部３１５は、Ｓ３０５２での該特徴パターン情報のＩＤの送信の応答としての情報をサーバ４００から受信する。

次に、Ｓ３０５４にて、重畳処理部３１５は、Ｓ３０５３で受信した情報にスレッド情報が含まれているかどうかを判定する。すなわち、重畳処理部３１５はスレッド情報を受信したかを判定する。

スレッド情報を受信したと判定した場合は、Ｓ３０５５にて重畳処理部３１５は、受信したスレッド情報、及びステップＳ３０５１で取得した特徴パターンの画面上の位置を用いて、重畳表示するための画像オブジェクトを生成する。この処理は図２３を用いて後述する。

そして、Ｓ３０５６で重畳処理部３１５は生成した画像オブジェクトを、撮影部３０６で撮像した画像上の該特徴パターンの検知位置に基づく位置に重畳して、スレッド表示する。画面上のスレッド位置を算出するために、重畳処理部３１５はまず、特徴パターン情報（２６０１）の相対位置（Ｘｍ，Ｙｍ）に対してＳ３０５１で求めた拡大率を乗じることで、画面上の座標単位と一致するよう計算する。次に、ステップＳ３０５１で取得した特徴パターンの位置に、この相対位置（Ｘｍ，Ｙｍ）を減算する。

重畳処理部３１５はＳ３０５５で生成した画像オブジェクトを前記拡大率を基に画面上のサイズに適合するように拡大・縮小したうえで、前記スレッド位置に描画する。

Ｓ３０５４でスレッド情報を受信していないと判定した場合は、重畳処理部３１５は重畳すべき画像オブジェクトを生成しない。

なお、Ｓ３０５１では複数の類似度の高いパターンが複数検出される可能性がある。その場合、類似度の最も高いものを表示する構成としても良いし、それぞれのスレッド情報をユーザーに提示し、どちらを重畳表示させるか選択させる構成としても良い。

図２３は、スレッド情報と特徴パターン情報２６０１を基にしたスレッドを表現する画像オブジェクトを生成するフローを説明するものである。このフローは情報端末３００の重畳処理部３１５で実施される。

Ｓ３０７０にて、重畳処理部３１５は特徴パターン情報２６０１のｘ方向相対位置及び、ｙ方向相対位置の値の正負から、特徴パターンの位置が、スレッドの始点の位置（先頭位置）から見て右上、右下、左上、左下、どの方向にあるかを調べる。例えばｘ方向相対位置が正で、かつｙ方向相対位置が正の場合、特徴パターンの位置は右下にあると判定する。それぞれ正負が逆の場合は、左右上下を反転した結果となる。

Ｓ３０７１にて、スレッド情報に含まれるコメントが、特徴パターンの方角へ伸びるような位置関係になるように、コメントの位置を再計算する。コメントの座標は図３で示した通り、ｘ方向は右が正、ｙ方向は下が正となるよう定義されている。また、電子コメントは、追加される度に（Δｘ１，Δｙ１）だけ、移動される。ここでは、Δｘ１，Δｙ１が正の場合について述べる。Δｘ１，Δｙ１が正の場合、スレッドは右下に向かって伸びるような格好となる。特徴パターンが右下以外の方向にある場合、その方角に応じてそれぞれのコメント情報８０２のｘ座標又はｙ座標または両方を、先頭コメント（親コメントの存在しないコメント）の左辺上・縦方向の中心位置を原点として対称になるように座標の再計算を行う。

Ｓ３０７２において、再計算された座標を持つコメント情報８０２毎に、コメント情報８０２に含まれる「重畳対象」の情報に基づいて重畳表示の対象となるコメント情報の画像オブジェクトを生成する。重畳表示の対象となっていない場合、処理対象のスレッドの先頭コメントは透明度１００％のオブジェクトとして描画する。なお重畳処理部３１５は、コメント情報の画像オブジェクトを生成する際に、重畳表示の対象となるコメント情報のコメントＩＤを親コメントＩＤとして持つ参照ファイル情報について、参照ファイルアクセスボタンの画像オブジェクトを生成する。また重畳処理部３１５は、重畳表示の対象とならないコメント情報のコメントＩＤを親コメントＩＤとして持つ参照ファイル情報については、参照ファイルアクセスボタンの画像オブジェクトを生成せず、重畳対象とはしない。以上で生成される画像オブジェクトは、スレッド情報中の各座標情報に基づき、コメント情報およびファイル情報の互いの位置関係が保たれる位置に表示されるように生成されている。すなわち、図２５（ｂ）に示されるように手書きコメント７２１と電子コメント７４１、７４３、参照ファイルアクセスボタン７４２がスレッド状に並ぶことになる。

図２２は、重畳表示に関し、図２１のＳ３０５２で送信されたスレッド情報取得要求を処理するサーバ４００の処理を説明する図である。Ｓ４０５１にて、制御部４０２は情報端末３００からＳ３０５２のスレッド情報取得要求を受信したか否かを判定する。スレッド情報取得要求には重畳処理部３１５が検知した特徴パターンの情報を含む。

スレッド情報取得要求を受信した場合は、Ｓ４０５２にて、制御部４０２の特徴パターン管理部４１６は、特徴パターン情報テーブルを用いて受信した特徴パターン情報に対応するスレッド情報を検索する。

次に、Ｓ４０５４にて制御部４０２は、最近傍のスレッド情報の領域が特徴パターン（パターン７１０）の領域に対して予め定めた距離内に存在するか否かを判定する。具体的には、制御部４０２は、最近傍のスレッド情報に含まれるスレッドヘッダのスレッド座標と、Ｓ４０５２で抽出した領域の電子掲示板座標系における座標との距離が所定の閾値以内であるかを判定する。

Ｓ４０５４にて、「存在する」と判定された場合はＳ４０５５で制御部４０２は、Ｓ４０５２での検索結果であるスレッド情報を、Ｓ４０５１で受信したスレッド情報取得要求の応答として情報に含めると決定する。Ｓ４０５４にて、「存在しない」と判定された場合は、Ｓ４０５６にて制御部４０２は、Ｓ４０５１で受信したスレッド情報取得要求の応答としての情報にスレッド情報を含めないと決定する。

そして、Ｓ４０５７にて制御部４０２は、Ｓ４０５５あるいはＳ４０５６で決定されたように、スレッド情報取得要求の応答としての情報を情報端末３００に送信する。

以上で説明した図２１および図２２の処理が実行されることにより、図２５（ｂ）のように撮像部３０６で撮像した画像３００１に対して手書きコメント、電子コメント、参照ファイルアクセスボタンをスレッド表示することができる。これによって、ユーザは、紙資料１０を撮像するだけで、手書きコメントに対して追加された電子コメントを簡単に取得でき、また、スレッド表示されているのでコメント間の関係性をユーザは把握しやすくなる。

また、特徴パターンが右下（１１０）、右上（１１１）、左上（１１２）、左下（１１３）にあった場合、それぞれスレッド表示は図２４（ａ）〜図２４（ｄ）のようになる。手書き文字２１０は実際にペンのインクにより紙に記録された文字列である。図２４のように、特徴パターンの存在位置に応じてスレッドの伸長方向を変更することにより、ユーザーは特徴パターンが存在する領域にカメラを向けやすくなる。これにより、撮像画像から特徴パターンが外れる事による重畳表示の無効化をユーザーの特別な意識なしに回避することが可能となる。例えば、図２４（ｃ）のように特徴パターンが左上（１１２）にあった場合、単にスレッドを右下に伸ばしてしまうとユーザーはスレッドの先を読もうとして、カメラを右下に向けてしまう事が予想される。これにより、特徴パターン７１０が撮像画像中に含まれなくなってしまい、重畳表示が不可能となる。本実施例のようにスレッドを左上に伸長すれば、ユーザーがスレッドの先を読もうとしてカメラを左上に向けても、その方角に特徴パターン７１０があるため、撮像画像中に特徴パターン７１０が含まれなくなる状況は生まれにくくなる。

なお、上述した図２１、２１の処理フローは、情報端末３００が撮像部３０６による撮像画像に対してスレッド情報を重畳表示させる場合の処理フローであって、図２５（ｂ）のような画像が表示部３０４に表示される。ここで、情報端末３００は、前述した図２５（ａ）のようにオリジナル画像７００に対してスレッド情報を重畳して表示させる表示モードと、図２５（ｂ）のように撮像画像３００１に対してスレッド情報を重畳して表示させる表示モードとを選択するモード選択手段を有していてもよい。

なお、本例は多数のオリジナルデータと印刷物を利用する場合においても適用可能である。これは、複数の電子ペンを用意し、各オリジナルデータの印刷物とその電子ペンが１対１の対応付けが可能な構成としておく事によって可能である。

以上の構成及び手順により、カメラ付き携帯端末を利用して、紙資料を撮影中に該携帯端末のディスプレイに表示される紙資料画像の上に、電子コメントを重畳させて表示する。また手書きコメントは、紙資料に書き込まれるとともに、その軌跡情報が入力される。そして、撮影している画像内からリアルタイムに画像検出技術により、手書きコメント入力位置近傍の特徴パターンが検出され、当該検出した特徴パターンに関連づけて入力された電子コメントを保存管理し、また重畳表示する。このため、電子コメントは手書きコメントの手書き文字に直に関連付けられることがなく、文字色が薄かったり、文字形状が丸みを帯びているために特徴点を抽出が困難なことがあるという、手書きコメントに対する関連付けの困難さという課題を解決している。

またこのことにより、本来重畳表示のトリガとすべき手書きコメントと、実際のトリガにした特徴パターンとが離れてしまっても、特徴パターンと電子コメントとの位置関係は維持されるため、ユーザーが望んだとおりに電子コメントを表示出来る。

これらにより、あとでコメントを参照する際に、画像内の手書きコメントと電子コメントとの関係がわかりづらいという課題を解決している。

＜その他の実施形態＞
以上の実施形態において、手書きコメント情報を入力する方法は超音波を発する電子ペン100を用いた座標計算によるものであったが別手法によるものであってもよい。すなわち、予め決まったドットパターンが印刷された特別な用紙に電子ペンで筆記し、電子ペンに付属された撮影部で軌跡に応じたドットパターンを読み取る。サーバは該特別な用紙のドットパターン情報を記憶しており、電子ペンから送信された軌跡情報を元に電子掲示板座標系で手書きコメントのビットマップを生成する。以上の方法であってもよい。

また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、前記手書きコメント情報の座標情報と共に入力する手書きコメント入力手段と、
   ユーザ指示に基づいて、前記手書きコメント情報に対する電子コメント情報を入力する電子コメント入力手段と、
   前記手書きコメント入力手段で入力された手書きコメント情報と、前記電子コメント入力手段で入力された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理手段と、
   前記スレッド情報について、前記オリジナル画像の中で近傍に存在するパターンの特徴パターン情報を検出し、該特徴パターン情報を前記スレッド情報と関連付けて管理する特徴パターン管理手段と、
   前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像の上に、スレッド表示するスレッド表示手段とを有し、
   前記スレッド情報のスレッド表示は、前記スレッド情報の指定の位置から前記パターンに向けて表示させることを特徴とする情報処理システム。
2. 前記スレッド表示手段で表示した前記スレッド情報のスレッド表示への入力開始イベントを検知すると電子入力フォームを表示し、入力終了イベントを検知すると表示した前記電子入力フォームを非表示にする電子入力フォームの表示手段をさらに有することを特徴とする請求項１記載の情報処理システム。
3. 前記電子入力フォームの表示手段は、前記入力開始イベントを検知すると、前記スレッド情報に重ならない位置に電子入力フォームを表示することを特徴とする請求項２記載の情報処理システム。
4. 前記電子入力フォームは、文字列入力を受け付ける文字列入力部と、前記文字列入力部で入力した文字列で検索する検索部と、参照ファイルを添付する添付部とを有することを特徴とする請求項２記載の情報処理システム。
5. 前記電子コメント入力手段は、前記電子入力フォームの文字列入力部で入力した文字列を電子コメントとして入力することを特徴とする請求項４記載の情報処理システム。
6. 前記電子コメント入力手段は、前記電子入力フォームの添付部から参照ファイルを入力し、参照ファイルにアクセスする参照ファイルアイコンを生成することを特徴とする請求項４記載の情報処理システム。
7. 前記スレッド管理手段は、
   スレッド表示手段で表示されたスレッド情報のスレッド表示を含まない領域への入力開始イベントを検知した場合、スレッド情報を新規に生成して、生成したスレッド情報への入力と判定し、
   スレッド表示手段で表示されたスレッド情報のスレッド表示を含む領域への入力開始イベントを検知した場合には、スレッド情報を新規に生成せず、該スレッド情報への入力と判定することを特徴とする請求項１記載の情報処理システム。
8. ユーザ指示に基づいて、前記手書きコメント情報に対する参照ファイル情報を入力する参照ファイル入力手段を有し、
   前記スレッド管理手段は、前記手書きコメント入力手段で手書きコメントが入力された場合、もしくは、前記電子コメント入力手段で電子コメントが入力された場合、もしくは、前記参照ファイル入力手段で参照ファイルが入力された場合の各々において、前記スレッド情報を更新することを特徴とする請求項１記載の情報処理システム。
9. 前記スレッド情報は、
   スレッドを識別する１つのスレッド識別子と、
   １つ以上の手書きコメントもしくは電子コメントから成るコメント情報と、
   ０以上の参照ファイル情報とを有し、
   前記コメント情報は、コメント情報を識別するコメント識別子と、コメントの親子関係を示すコメント親子情報と、参照ファイルを有するか否かを示す参照ファイル有無情報と、
   コメントデータと、コメントを表示するコメント座標と、コメント表示サイズを示すコメントサイズ情報と、を有し、
   前記参照ファイル情報は、参照ファイル情報を識別する参照ファイル識別子と、関連するコメント情報を示す関連コメント情報と、参照ファイルデータと、参照ファイルアイコンを表示する参照ファイルアイコン表示座標と、参照ファイルアイコンの表示サイズを示す参照ファイルアイコン表示サイズ情報とを有することを特徴とする請求項１記載の情報処理システム。
10. 前記スレッド情報は、スレッドに含まれるコメント情報を重畳表示の対象とするか否かを示す重畳対象情報を含むことを特徴とする請求項９記載の情報処理システム。
11. 情報端末の撮影部で撮影した画像にスレッド情報を重畳表示する重畳表示手段を有することを特徴とする請求項１記載の情報処理システム。
12. 情報端末の撮影部で撮影した画像から特徴パターンを検出し、検出した特徴パターンに対応するスレッド情報を重畳表示する重畳表示手段を有することを特徴とする請求項１１記載の情報処理システム。
13. 前記重畳対象情報で重畳表示の対象となっている手書きコメントおよび電子コメントおよび参照ファイルのみ重畳表示することを特徴とする請求項１０記載の情報処理システム。
14. 前記オリジナル画像と前記スレッド情報とを合成した印刷データを生成する生成手段を有することを特徴とする請求項１記載の情報処理システム。
15. オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、前記手書きコメント情報の座標情報と共に入力する手書きコメント入力工程と、
    ユーザ指示に基づいて、前記手書きコメント情報に対する電子コメント情報を入力する電子コメント入力工程と、
    前記手書きコメント入力工程で入力された手書きコメント情報と、前記電子コメント入力工程で入力された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理工程と、
    前記スレッド情報について、前記オリジナル画像の中で近傍に存在するパターンの特徴パターン情報を検出し、該特徴パターン情報を前記スレッド情報と関連付けて管理する特徴パターン管理工程と、
    前記スレッド管理工程で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像の上に、スレッド表示するスレッド表示工程とを有し、
    前記スレッド情報のスレッド表示は、前記スレッド情報の始点の位置から前記パターンに向けて表示されることを特徴とする情報処理方法。
16. 請求項１乃至１４のいずれか一項に記載の情報処理システムとしてコンピュータを機能させるためのプログラム。

Images