JP5678521B2 - 電子会議装置、情報表示方法、プログラム - Google Patents

Description

本発明は、手書き情報を電子的に画像化して参加者に提示する電子会議装置に関し、特に、画像化された手書き情報を関連付けて記憶する電子会議装置に関する。

電子情報ボードが学校の授業や会議のプレゼンテーションで使用されるようになってきた。電子情報ボードとは、黒板や電子情報ボードに相当するボード上にコンピュータ画面を表示し、タッチパネル等の入力装置によりユーザの操作を受け付け、操作結果をコンピュータ画面に反映させる入出力装置である。

コンピュータ画面の表示にはいくつかの方法があり、液晶やプラズマなどのフラットパネルを用いるタイプ、フロント型プロジェクタを用いるタイプ、リア型のプロジェクタを用いるタイプ等がある。いずれも、４０インチ〜６０インチ程度のサイズの大型の画面にコンピュータ画面を表示することができる。

図１は、フロントプロジェクタ型の電子会議装置の外観例を示す図である。ＰＣ３００には電子情報ボード４００とフロント型のプロジェクタ２００が接続されている。プロジェクタ２００は、ＰＣ３００の表示画面と同じ画面を電子情報ボードに大きく映すことができる。

話し手が電子情報ボード４００のタッチパネル機能を用いて、映されているコンピュータ画面に直接タッチすることで、タッチした位置に応じてＰＣ３００を操作することが可能である。

例えば、接続したＰＣ３００上で動かす、電子情報ボード４００のアプリケーションソフトウエアがこれらの機器と一緒に提供されている。このアプリケーションソフトウエアは、
（１）黒板の役割をする画面を表示してタッチパネルを介して手書き文字などの描画を受け付ける機能
（２）受け付けた手書き文字をコンピュータ画面に重畳して描く機能
などを提供する。

このような電子情報ボード４００を用いた会議などでは、共通の資料が表示される画面を多数の参加者が目視しながら会議が進行する。すなわち参加者が共通の問題として認識している議題を中心にその解決方法を見つけるため議論を行う形態を取ることが多い。もし議題が複数あるのなら、司会者（以下、単にユーザという）が議題を１つ選び、その議題を中心に議論を進めることになる。

会議においてユーザは、電子情報ボード４００を用いてスクリーンショットをとりながら議論を進めることができるが、各スクリーンショットの関連が分かりにくくなるという問題がある。また、複数の議論がある場合、参加者は１つの議論に集中しがちで他の議題を忘れがちである。

この点について、議論に関連して残しておきたいメモ等の画面イメージを、当該議論に関する表示内容と関連付けて管理可能にする技術が提案されている（例えば、特許文献１参照。）。特許文献１には、参加者が表示部分を選択すると、選択した部分だけを表示する画面を生成し、参加者のメモ書きの入力を受け付ける電子会議装置が開示されている。

しかしながら、特許文献１に記載の電子会議装置では、資料の一部とメモを関連付けることしかできず、メモが会議の全体とどのよう関わるのかが分かりにくいという問題がある。例えば、議題というのはいくつかの項目が階層構造をなしていることが多いが、特許文献１に開示された方法では、メモが階層のどの資料と関わるのか分からない。

本発明は、上記課題に鑑み、電子情報ボードを使用して議論をする際、途中で記憶した電子情報ボード上のスクリーンショットを、現在議論している議題毎に構造化して管理することができる電子会議装置、情報表示方法及びプログラムを提供することを目的とする。

本発明は、情報入力領域に対する入力位置を検出する位置検出手段（例えば、位置検出部１２）と、時系列の前記入力位置の軌跡を軌跡画像として可視化する軌跡画像生成手段（例えば、軌跡画像処理部１４）と、軌跡画像を表示する表示手段（例えば、プロジェクタ２００）と、を有する電子会議装置であって、前記表示手段に表示された軌跡画像（例えば、起点議題画像）の記憶命令を受け付ける第一の軌跡画像記憶受け付け手段（例えば、議題ページ指定ボタン３５）と、軌跡画像の一部である一部軌跡画像（例えば、議題画像）の選択と該一部軌跡画像の記憶命令を受け付ける第三の軌跡画像記憶受け付け手段（例えば、議題指定開始ボタン３６，議題指定終了ボタン３９）と、前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記表示手段が表示している軌跡画像に一意の識別情報を付与し、前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた一部軌跡画像に一意の前記識別情報を付与して第一記憶部（例えば、画像記憶部２０）に記憶する軌跡画像記憶手段（例えば、画像データ登録部１９）と、前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付けることで前記軌跡画像記憶手段が付与した前記識別情報、及び、前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けることで前記軌跡画像記憶手段が付与した前記識別情報を、親画像の前記識別情報として第三記憶部（例えば、親画像ＩＤ一次記憶部２２）に記憶する識別情報記憶手段（例えば、親画像ＩＤ更新部１７）と、前記第一又は第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記第三記憶部にすでに記憶されていた前記識別情報を親画像識別情報とし、前記第一又は第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記軌跡画像記憶手段が付与した前記識別情報を子画像識別情報とし、親画像識別情報と子画像識別情報を対応づけて第二記憶部に記憶する対応情報記憶手段と、を有することを特徴とする。

また、本発明の一形態において、軌跡画像の記憶命令を受け付ける第二の軌跡画像記憶受け付け手段（例えば、スクリーンショットボタン３４）を有し、前記軌跡画像記憶手段は、前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けた前記軌跡画像に一意の前記識別情報を付与して前記第一記憶部に記憶し、前記識別情報記憶手段は、前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記第三記憶部に記憶されていた前記識別情報を親画像識別情報とし、前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記軌跡画像記憶手段が付与した前記識別情報を子画像識別情報とし、親画像識別情報と子画像識別情報を対応づけて前記第二記憶部に記憶する、ことを特徴とする。

電子情報ボードを使用して議論をする際、途中で記憶した電子情報ボード上のスクリーンショットを、現在議論している議題毎に構造化して管理することができる電子会議装置、情報表示方法及びプログラムを提供することができる。

フロントプロジェクタ型の電子情報ボードの外観例を示す図である。 ＰＣのハードウェア構成図の一例である。 電子会議装置の機能ブロック図の一例である。 ユーザ情報の一例を示す図である。 軌跡画像が表示されていない初期状態の画面の一例を示す図である。 ユーザにより議題が描画された画面の一例を示す図である。 ユーザが議題を選択した際の画面の一例を示す図である。 スクリーンショットが表示された画面の一例を示す図である。 描画欄に閉曲線が描かれた画面の一例を示す図である。 ユーザが新たに描画欄に手書きした軌跡画像の一例を示す図である。 「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された議題画像の下層のスクリーンショットが表示された画面の一例を示す図である。 初期状態の画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像記憶部、画像構造記憶部及び親画像ＩＤ一次記憶部を模式的に示す図の一例である。 画像構造記憶部に記憶された階層構造の一例を示す。 電子会議で画像記憶部に記憶された画像データの階層構造を模式的に示す図の一例である。 スクリーンショットボタンが押下された際の電子会議装置の処理手順を示すフローチャート図の一例である。 議題指定開始ボタンが押下された際の電子会議装置の処理手順を示すフローチャート図の一例である。 画像追加フローの処理手順を示すフローチャート図の一例である。 議題画像表示フローの処理手順を示すフローチャート図の一例である。 議題一覧ボタンが押下された際の制御部の処理手順を示すフローチャート図の一例である。 議題画像の変形例を示す図の一例である。 画像情報を位置情報とした画像記憶部の一例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。なお、全体構成図については図１と同様であるので省略する。図１に示したように、ＰＣ３００には電子情報ボード４００とフロント型のプロジェクタ２００が接続されている。プロジェクタ２００は、フラットパネルディスプレイでもリア型のプロジェクタでもよい。電子情報ボード４００とＰＣ３００とが接続されることで電子会議装置１００を構成している。なお、プロジェクタ２００とＰＣ３００は汎用的なものを使用できる。

〔電子会議装置１００の概略〕
説明を容易にするため、本実施形態の電子会議装置１００の概略的な特徴部を、図２０を用いて説明しておく。電子会議装置１００は、ユーザが手書きした軌跡画像を階層的に管理することを特徴の１つとする。なお、本実施形態のユーザとは電子情報ボード４００に手書きする者をいう。

図２０では、ユーザが４つの議題が記述された起点議題画像（ＩＤ＝１）を４つの議題画像（ＩＤ＝２，７，８，９）に仕分けている。そして、ユーザは４つの議題画像の１つ（ＩＤ＝２）の下層に別の４つの議題が記述された起点議題画像（ＩＤ＝４）を対応づけている。また、電子会議装置１００は、４つの画像データの１つ（ＩＤ＝２）の下層にスクリーンショット（ＩＤ＝３）を対応づけている。

さらに、ユーザは、起点議題画像（ＩＤ＝４）を４つの議題画像（ＩＤ＝５，１０，１１，１２）に仕分け、４つの議題画像の１つ（ＩＤ＝５）の下層にスクリーンショット（ＩＤ＝６）を対応づけている。

このように電子会議装置１００は、ユーザが議題を展開させても各画像データの親子関係を連鎖的に記憶している。したがって、本実施形態の電子会議装置１００は、手書きされた画像を階層的に管理することができる。例えば会議では１つの議題が議論される過程で細分化されたり、細分化の前後で様々な画像が手書きされるが、電子会議装置１００はこれらの手書きされた内容を階層的に管理でき、全ての画像を互いに対応づけて管理することが可能になる。

〔構成〕
図２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）３００のハードウェア構成図の一例である。ＰＣ３００は、コンピュータと同様、それぞれバスで相互に接続されているＣＰＵ３０１、ＲＰＭ３０２、ＲＡＭ３０３、外部Ｉ／Ｆ３０４、通信装置３０５、入力装置３０６、表示制御部３０７及び記憶装置３０８を有する。ＣＰＵ３０１は、ＯＳ（Operating System）及びプログラム３１０を記憶装置３０８から読み出して、ＲＡＭ３０３を作業メモリにして実行する。

プログラム３１０は、電子会議システムの一般的な機能である、ユーザがタッチパネルを操作した位置の位置情報を取得する機能、一連の位置情報を軌跡として表示する機能、等を提供する。また、プログラム３１０は後述する電子会議装置１００の特徴部を提供する。プログラム３１０は、一般的なワープロアプリやプレゼンアプリと連携して、アドインプログラムのように実行されることもできる。この場合、プレゼンアプリが生成した画面が電子情報ボード４００に表示され、プレゼンアプリの画面に対し文字などが表示される。以下、プログラム３１０と一般的なアプリケーションの機能を区別しないで説明する。

ＲＡＭ３０３は必要なデータを一時保管する作業メモリ（主記憶メモリ）になり、ＲＯＭ３０２にはＢＩＯＳや初期設定されたデータ、起動用のプログラム等が記憶されている。

外部Ｉ／Ｆ３０４はＵＳＢケーブル等のケーブルや、可搬型の記憶媒体３２０を装着するインタフェースである。記憶媒体２０は、ＵＳＢメモリ等のフラッシュメモリ、ＣＤ−ＲＯＭ等の光記憶媒体等である。本実施形態では外部Ｉ／Ｆ３０４に電子情報ボード側のタッチパネルが接続されている。なお、外部Ｉ／Ｆ３０４は有線でなく無線で電子情報ボード４００と接続されてもよい。この場合、外部Ｉ／Ｆ３０４はＢｌｕｅｔｏｏｔｈや無線ＬＡＮの通信装置である。

通信装置３０５は、ＬＡＮカードやイーサネット（登録商標）カードと呼ばれ、ＣＰＵ３０１からの指示によりネットワークを介して接続されたコンピュータにデータを送信する。

入力装置３０６は、キーボード、マウスなど、ユーザの様々な操作指示を受け付けるユーザインターフェイスである。また、本実施形態では、電子情報ボード４００のタッチパネルも入力装置である。

表示制御部３０７は、プログラム３１０が指示する画面情報に基づき所定の解像度や色数等でプロジェクタ２００に画面情報を出力している。この画面情報は、ＰＣ３００にプロジェクタ２００を接続しない場合にディスプレイに表示される画面を描画するためのものである。グラフィックボードや分配器を使用することで、プロジェクタ２００とディスプレイの両方に同時に画面を表示することもできる。

記憶装置３０８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリなどの不揮発メモリを実体とし、ＯＳ及びプログラム３１０等、を記憶している。プログラム３１０は、記憶媒体３２０に記憶された状態又は不図示のサーバからダウンロードされる態様で配布される。

図３は、電子会議装置１００の機能ブロック図の一例を示す。電子会議装置１００は、ＣＰＵ３０１がプログラム３１０を実行することで実現される、映像出力部１１、位置検出部１２、アプリ画面生成部１３、軌跡画像処理部１４、制御部１５、議題画像取得部１６、画像データ登録部１９、構造登録部１８，親画像ＩＤ更新部１７、を有する。また、電子会議装置１００は、ＲＡＭ３０３や記憶装置３０８を実体とする、親画像ＩＤ一次記憶部２２、画像記憶部２０、画像構造記憶部２１及びユーザ情報記憶部２３を有する。

位置検出部１２は、ユーザがスタイラスペン５００等で接触した（タッチした）電子情報ボード４００のタッチパネル上の位置を、静電容量、圧力や形状の変化として検出する。位置検出部１２が所定のサイクル時間毎に、位置を検出することで、スタイラスペン５００の先端の軌跡が得られる。この位置は、例えば電子情報ボード４００の左上角を原点としたピクセル単位のＸ，Ｙ座標である。なお、ユーザはスタイラスペン５００を使用しなくても指先などで電子情報ボード４００を操作することができる。また、位置検出部１２はタッチパネル側が有していてもよい。なお、映像とスタイラスペン５００の位置が一致するように、予め位置合わせが行われている。

また、電子情報ボード４００の描画位置は、接触位置でなく光学的なペンの光点の照射位置（接触しても非接触でもよい）として検出してもよい。また、ペンの先頭の軌跡をカメラで撮影して位置情報を検出することもできる。

制御部１５は、電子会議装置１００の全体を制御する。例えば、位置検出部１２が検出した位置情報を筆跡とするか又はコマンドの操作として受け付けるかを判断したり、画像データの記憶等を制御する。

軌跡画像処理部１４は、位置検出部１２が検出した位置情報を、所定の線幅で時系列に連結することにより軌跡画像を生成し、映像出力部１１に出力する。線幅や線の色はユーザが選択できるようになっている。

アプリ画面生成部１３は、プログラム３１０が生成する電子会議用のアプリ画面情報を生成し、映像出力部１１に出力する。電子会議用の画面は種々あるが、ここでは、後述する描画欄３１、議題表示欄３２、スクリーンショット表示欄３３及びコマンドボタン欄３０が表示されるとする。

映像出力部１１は、軌跡画像とアプリ画面情報を合成して画面の画像データを生成し、プロジェクタ２００に送出する。例えば、軌跡画像のレイヤをアプリ画面のレイヤに重畳させればよい。

画像データ登録部１９は、映像出力部１１がプロジェクタ２００に表示している映像のうち、軌跡画像の全体又は一部を画像記憶部２０に保存する。より具体的には、プログラム３１０が表示しているコマンドボタンにユーザがタッチしたことを、制御部１５が位置情報に基づき検出し、軌跡画像の全体又は一部を画像記憶部２０に保存する。これにより、画像記憶部２０には後述する描画欄３１の軌跡画像のスクリーンショットや議題画像、起点議題画像が記憶される。なお、スクリーンショットや議題画像、起点議題画像を区別しない場合、単に「画像データ」という。

構造登録部１８は、画像記憶部２０に登録されたスクリーンショット、議題画像、及び、起点議題画像の階層構造を画像構造記憶部２１に登録する。構造登録部１８の処理については後述する。

親画像ＩＤ更新部１７は、親画像ＩＤ一次記憶部２２に記憶された、現在の軌跡画像の親画像の画像ＩＤを更新する。すなわち、現在の軌跡画像が記憶された場合、その画像データは、親画像ＩＤ一次記憶部２２に記憶された画像ＩＤの画像データの子画像として画像記憶部２０に記憶される。

画像記憶部２０は、上記のように、映像出力部１１が表示しているスクリーンショット、議題画像及び起点議題画像を保存する。画像構造記憶部２１は、画像記憶部２０に保存されている画像データの階層構造を保存する。親画像ＩＤ一時記憶部２２は、現在の軌跡画像の親画像の画像ＩＤを記憶する。図１２以下に画像記憶部２０、画像構造記憶部２１及び親画像ＩＤ一次記憶部２２の一例を示すが詳細は後述する。

ユーザ情報記憶部２３は、ユーザ情報を記憶する。図４（ａ）は、ユーザ情報の一例を示す図である。ユーザ情報は対になったユーザ名とパスワードを有する。電子会議装置１００の利用開始前に、ユーザが電子情報ボードを操作してユーザ名とパスワードを入力する。

図４（ｂ）は電子情報ボードに表示された入力画面の一例を示す。制御部１５は、入力されたユーザ名とパスワードの組がユーザ情報記憶部２３に記憶されているか否かに基づき、ユーザを認証する。認証が成立した場合、制御部１５はそのユーザに当該電子会議装置１００の使用を許可する。

〔初期画面〕
図５は、軌跡画像が表示されていない初期状態の画面一例を示す。映像出力部１１は、プロジェクタ２００を介して、アプリ画面生成部１３が生成したアプリ画面情報に従い図示する画面を電子情報ボード４００に表示する。

この画面は、描画欄３１、議題表示欄３２、スクリーンショット表示欄３３及びコマンドボタン欄３０を有する。描画欄３１は、ユーザが文字等を手書きする領域である。特に、本実施形態では、ユーザは議論の際、描画欄３１に議題及び議論に必要な情報を描く。描画欄３１に表示される画像はその一部か全体かを問わずに軌跡画像と呼ぶ。

議題表示欄３２には、ユーザによって指定された議題画像が表示される。議題画像とは、議題指定開始ボタン３６が押下されてから議題指定終了ボタン３９が押下されるまでにユーザが指定した軌跡画像の一部をいう。本実施形態では、ユーザが指定するのは議題が含まれる軌跡画像となるので、「議題画像」と呼ぶが、議題以外の軌跡画像を指定することもできる。議題表示欄３２には、複数の議題画像を表示することができる。

スクリーンショット表示欄３３は、スクリーンショットボタン３４が押下された際の描画欄３１の軌跡画像の縮小画像が表示される。すなわち、描画欄３１の全体の軌跡画像が表示されるが、本実施形態ではスクリーンショットボタン３４により記憶される画像データを「スクリーンショット」という。スクリーンショット表示欄３３には複数のスクリーンショットを表示することができる。

コマンドボタン欄３０は、スクリーンショットボタン３４、議題ページ指定ボタン３５、議題指定開始ボタン３６、全消去ボタン３７、及び、議題一覧ボタン３８を有する。スクリーンショットボタン３４が選択されると、画像データ登録部１９は描画欄３１の軌跡画像の全体を１つの画像に変換し、画像記憶部２０に登録する。画像データのフォーマットは主にjpeg、html、pdf、bmp等であるが、位置情報の生データを記憶してもよい。

議題ページ指定ボタン３５が選択されると、画像データ登録部１９は描画欄３１の軌跡画像の全体を１つの画像に変換し、画像記憶部２０に登録する。議題ページ指定ボタン３５が押下された描画欄３１の画像データは階層構造の親画像となる。

本実施形態では、ユーザが議題ページ指定ボタン３５を押下するのは議論すべき内容が多岐に渡る１つ以上の議題が手書きされた際であるので、この時の描画欄３１の画像を「起点議題画像」と呼ぶ。当然ながら、ユーザは、描画欄３１に議題が含まれていない状態で、議題ページ指定ボタン３５を押下することもできる。

なお、議題ページ指定ボタン３５を押下することで画像データの登録構造の階層が深くなっていく。

議題指定開始ボタン３６が押下されてから議題指定終了ボタン３９が押下されるまで、制御部１５は、映像出力部１１を議題指定開始モードに切り替える。議題指定開始モードに切り替わった映像出力部１１は、軌跡画像処理部１４が生成した線画像が囲む閉曲線の中の軌跡画像を、画像データ登録部１９に出力する。画像データ登録部１９は、議題画像を画像記憶部２０に記憶する。

全消去ボタン３７は、描画欄３１に表示されている全ての軌跡を消去するためのボタンである。この場合、議題表示欄３２の議題画像とスクリーンショット表示欄３３のスクリーンショットは消去されない。

議題一覧表示ボタン３８は、記憶部２０に記憶された画像データを、階層構造を再現して表示するためのボタンである。議題一覧表示ボタン３８の押下により図２０のように画像データが階層構造に従って表示される。

〔画面遷移〕
以下、画面の遷移を用いて電子会議装置１００の動作を説明する。
図６（ａ）は、ユーザにより議題が描画された画面の一例を示す図である。ユーザはスタイラスペン５００を使用して４つの議題を手書きした。
１．議題ＡＡＡＡＡＡＡＡＡＡ
２．議題ＢＢＢＢＢＢＢＢＢＢ
３．議題ＣＣＣＣＣＣＣＣＣＣ
４．議題ＤＤＤＤＤＤＤＤＤＤ
図６（ａ）の状態で、ユーザが議題ページ指定ボタン３５を押下した。したがって、図６の描画欄３１の画像データは起点議題画像となる。制御部１５は、位置情報に基づき議題ページ指定ボタン３５が押下されたことを検出し、アプリ画面生成部１３に描画欄３１の強調表示を要求する。この強調表示は、描画欄３１の現在の軌跡画像が、起点議題画像であることを示すためのものである。なお、起点議題画像は画像記憶部２０に記憶される。

図６（ｂ）では、強調表示として、描画欄３１の右上に「議題ページ」と表示されている。描画欄３１の枠の色を変えたり、背景色を変えるなど、描画欄３１の軌跡画像が起点議題画像であることがわかればよい。

次に、ユーザが描画欄３１の４つの議題から議論する議題を指定する。このため、ユーザは議題指定開始ボタン３６を押下し、指定対象の議題を囲む閉曲線を手書きするので、軌跡画像処理部１６は閉曲線の軌跡画像を生成する。

図６（ｃ）は、閉曲線４１が描かれた描画欄３１の一例を示す。図６（ｃ）では１番目の「議題ＡＡＡＡＡＡＡＡＡＡ」が閉曲線４１で囲まれている。

なお、ユーザが議題指定開始ボタン３６を押下すると、議題指定開始ボタン３６は不要になり終了を受け付けるボタンが必要になるので制御部１５はアプリ画面生成部１３に、議題指定開始ボタン３６を議題指定終了ボタン３９に切り替えて表示するよう要求する。

閉曲線４１を手書きすると次に、ユーザは議題指定終了ボタン３９を押下する。制御部１５は議題指定終了ボタン３９の押下を検出すると、閉曲線４１が描かれたか否かを判定する。例えば、軌跡が所定長以上であることを条件に、軌跡の最初の位置情報と最後の位置情報を比較し、両者が所定の距離内であれば閉曲線４１が描かれたと判定する。そして、制御部１５は閉曲線４１が議題を囲んでいるか否かを判定する。例えば、閉曲線４１の外接矩形と議題の外接矩形を生成し、閉曲線４１の外接矩形が議題の外接矩形を完全に囲んでいる場合に、制御部１５は閉曲線４１が議題を囲んでいると判定する。また、ユーザの操作性を考慮して、２つの外接矩形が９割程度の面積において重畳していれば、閉曲線４１が議題を囲んでいると判定してもよいし、２つの外接矩形が一部でも重畳していれば、閉曲線４１が議題を囲んでいると判定してもよい。なお、両者の位置情報は位置検出部１２により明らかである。

閉曲線４１が議題を囲んでいる場合、制御部１５は軌跡画像処理部１４が生成した閉曲線４１が含む議題の軌跡画像を画像記憶部２０に記憶し、その軌跡画像を議題表示欄３２に表示するようアプリ画面生成部１３に要求する。これにより、画面の議題表示欄３２にユーザが選択した議題画像が表示される。

図７（ａ）は、ユーザが議題を選択した際の画面の一例を示す図である。これまで説明したように１番目の「議題ＡＡＡＡＡＡＡＡＡＡ」が閉曲線４１で囲まれているとともに、議題表示欄３２に「議題ＡＡＡＡＡＡＡＡＡＡ」と記述された議題画像４２が表示されている。この議題画像４２は、議題表示欄３２の「議題ＡＡＡＡＡＡＡＡＡＡ」は点線の閉曲線で囲まれているが、この点線の閉曲線は、ユーザが手書きした閉曲線４１と同じ形状である。制御部１５が議題だけでなく閉曲線４１も議題表示欄３２に表示するのは議題の区切りを明示するためであるが、閉曲線を表示しなくてもよいし、表示した際の閉曲線を点線にしなくてもよい。

なお、ユーザが議題指定終了ボタン３９を押下すると、議題指定終了ボタン３９は不要になり議題の指定を受け付けるボタンが必要になるので、制御部１５はアプリ画像生成部に、議題指定終了ボタン３９を議題指定開始ボタン３６に切り替えて表示するよう要求する。

続いて、ユーザが議論を進めるために、描画欄３１を消去したとする。電子会議装置１００において描画欄３１を消去するため、ユーザは全消去ボタン３７を押下する。制御部１５は、位置情報に基づき、全消去ボタン３７が押下されたことを検出し、アプリ画面生成部１３に描画欄３１の軌跡画像を全て消去するよう要求する。これにより、描画欄３１の軌跡画像は全て消去される。なお、議題表示欄３２の議題画像４２は消去されない。また、画像記憶部２０の議題画像も消去されない。

図７（ｂ）は全消去ボタン３７が押下された画面の一例を示す図である。描画欄３１の４つの議題と１番目の議題を指定した閉曲線が全て消去されている。このような状態にすることで、これから描画欄３１に表示される軌跡画像が、議題表示欄３２に表示されている議題画像についてのものであることをユーザが一目で把握することができる。すなわち、議論の対象となる議題を表示したまま、参加者がより詳細な項目について議論できるようになる。

図７（ｃ）は、ユーザが新たに描画欄３１に手書きした軌跡画像の一例を示す図である。ユーザは「議題ＡＡＡＡＡＡＡＡＡ」について下位の項目となる「ＡＢＣ」を描画欄３１に手書きした。この描画欄３１の軌跡画像をユーザが保存したいと考えた場合、ユーザはスクリーンショットボタン３４を押下する。

制御部１５は、位置情報に基づきスクリーンショットボタン３４の押下を検出し、映像出力部１１が描画欄３１に表示している軌跡画像を画像データ登録部１９に記憶するよう要求し、また、アプリ画面生成部１３にスクリーンショットをスクリーンショット表示欄３３に表示するよう要求する。これにより、「ＡＢＣ」と手書きされた軌跡画像の画像データが画像記憶部２０に記憶される。また、画面のスクリーンショット表示欄３３に「ＡＢＣ」と手書きされた軌跡画像のスクリーンショット４３が表示される。

図８（ａ）はスクリーンショット４３が表示された画面の一例を示す。スクリーンショットボタン３４が押下されたことによって、スクリーンショット表示欄３３にスクリーンショット４３が表示されている。

図８（ａ）によれば、議題画像４２が議題表示欄３２に、その議題の項目がスクリーンショット表示欄３３に表示されている。ユーザが全消去ボタン３７を押下してもスクリーンショット表示欄３３のスクリーンショット４３は消えないので、描画欄３１に過去のスクリーンショット４３を表示したまま、ユーザは描画欄３１に次々と項目を手書きすることができる。そして、常に議題が表示されているので、その描画欄３１の軌跡画像がどの議題についてのものかを容易に把握できる。

続いて、ユーザが全消去ボタン３７を押下して、新たな議題を手書きしたとする。制御部１５は、位置情報に基づき、全消去ボタン３７が押下されたことを検出し、アプリ画面生成部１３に描画欄３１の軌跡画像を全て消去するよう要求する。これにより、描画欄３１の軌跡画像は全て消去される。なお、議題表示欄３２の議題画像４２とスクリーンショット表示欄３３のスクリーンショット４３は消去されない。

図８（ｂ）は新たな議題の一例を示す。ユーザは４つの議題を手書きしている。
１．議題ＡＡＡＡＡａａａａａ
２．議題ＢＢＢＢＢｂｂｂｂｂ
３．議題ＣＣＣＣＣｃｃｃｃｃ
４．議題ＤＤＤＤＤｄｄｄｄｄ
図８（ｂ）の状態で、ユーザが議題ページ指定ボタン３５を押下した。これにより、図８（ｂ）の描画欄３１の画像データが起点軌跡画像となる。制御部１５は、位置情報に基づき議題ページ指定ボタン３５が押下されたことを検出し、アプリ画面生成部１３に描画欄３１の強調表示を要求する。この起点軌跡画像も画像記憶部２０に記憶される。

図８（ｃ）は新たに起点議題画像が指定された画面の一例を示す。議題表示欄３２に表示された議題画像４２は消去されない。これにより、ユーザは過去に議論された議題を確認することができる。また、議題ページ指定ボタン３５が押下されたことにより、描画欄３１の右上に「議題ページ」と表示されている。

一方、スクリーンショット表示欄３３に表示されたスクリーンショット４３は消去される。スクリーンショット４３は議題と関連付けられているので、議題が変わればスクリーンショット４３も初期化すべきだからである。ただし、画像記憶部２０にはスクリーンショット４３が記憶されている。このため、制御部１５は、位置情報に基づき、議題ページ指定ボタン３５が押下されたことを検出し、アプリ画面生成部１３に、スクリーンショット表示欄３３のスクリーンショットの表示を終了するよう要求する。

次に、ユーザが描画欄３１の４つの議題から議論する議題を指定する。上記のように、ユーザは議題指定開始ボタン３６を押下し、指定対象の議題を囲む閉曲線を手書きする。また、ユーザは、閉曲線の手書きの後、議題指定終了ボタン３９を押下する。

図９（ａ）は、描画欄３１に閉曲線４４が描かれた画面の一例を示す。図９（ａ）では１番目の「議題ＡＡＡＡＡａａａａａ」が閉曲線４４で囲まれている。制御部１５は、上述したように、閉曲線４４が描かれたか否かを判定する。閉曲線４４が手書きされた場合、制御部１５は軌跡画像処理部１４が生成した閉曲線４４に含まれる議題画像を画像記憶部２０に記憶し、その議題画像を議題表示欄３２に表示するようアプリ画面生成部１３に要求する。これにより、画面の議題表示欄３２にユーザが選択した議題が表示される。

ここで、議題表示欄３２にはすでに議題「ＡＡＡＡＡＡＡＡＡＡ」と記述された議題画像４２が表示されている。このためアプリ画面生成部１３は、議題「ＡＡＡＡＡＡＡＡＡＡ」と議題「ＡＡＡＡＡａａａａａ」の階層構造を明示する。具体的には、２つの議題画像４２と４５を線で結ぶ。図９（ｂ）は、議題表示欄３２の２つの議題画像４２，４５が線で結ばれた画面の一例を示す。こうすることで、ユーザは、議題「ＡＡＡＡＡａａａａａ」が議題「ＡＡＡＡＡＡＡＡＡＡ」の下の階層の議題であることを把握できる。階層構造の検出については、後述する。

続いて、ユーザが全消去ボタン３７で押下したとする。制御部１５は、位置情報に基づき、全消去ボタン３７が押下されたことを検出し、アプリ画面生成部１３に描画欄３１の軌跡画像を全て消去するよう要求する。これにより、描画欄３１の軌跡画像は全て消去される。なお、議題表示欄３２の議題画像４２，４５は消去されない。

図９（ｃ）は、描画欄３１が全消去された画面の一例を示す。議題表示欄３２には議題の階層構造が表示されているので、これから描画欄３１に表示される軌跡画像が、議題表示欄３２に表示されている議題についてのものであることをユーザが一目で把握することができる。

図１０は、ユーザが新たに描画欄３１に手書きした軌跡画像の一例を示す図である。ユーザは「議題ＡＡＡＡＡａａａａａ」について下位の項目となる「ａｂｃ」を描画欄３１に手書きした。この描画欄３１の軌跡画像をユーザが保存したいと考えた場合、ユーザはスクリーンショットボタン３４を押下する。

制御部１５は、位置情報に基づきスクリーンショットボタン３４の押下を検出し、映像出力部１１が描画欄３１に表示している軌跡画像を画像データ登録部１９に記憶するよう要求し、また、アプリ画面生成部１３にスクリーンショットをスクリーンショット表示欄３３に表示するよう要求する。これにより、「ａｂｃ」と手書きされた軌跡画像のスクリーンショット４６が画像記憶部２０に記憶される。また、画面のスクリーンショット表示欄３３に「ａｂｃ」と手書きされた軌跡画像のスクリーンショット４６が表示される。

続いて、ユーザが「議題ＡＡＡＡＡＡＡＡＡＡ」の議論を反芻するため、議題表示欄３２の「議題ＡＡＡＡＡＡＡＡＡＡ」を押下した。制御部１５は、位置情報に基づき議題表示欄３２の「議題ＡＡＡＡＡＡＡＡＡＡ」が選択されたことを検出し、アプリ画面生成部１３に「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された議題画像の下層のスクリーンショット４３をスクリーンショット表示欄３３に表示するよう要求する。また、制御部１５は、アプリ画面生成部１３に「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された議題画像の下層のスクリーンショット４３のいずれか（例えば、一番最初のスクリーンショット）を描画欄３１に表示するよう要求する。

図１１は、「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された議題画像の下層のスクリーンショットが表示された画面の一例を示す。議題表示欄３２の「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された議題画像４２が強調表示（反転）されている。これにより、ユーザは現在のスクリーンショット４３や描画欄３１の軌跡画像が「議題ＡＡＡＡＡＡＡＡＡＡ」に関するものであることを一目で把握できる。

また、ユーザがスクリーンショット表示欄３３のスクリーンショット４３を押下すれば、制御部１５は、位置情報に基づきスクリーンショット４３が選択されたことを検出し、アプリ画面生成部１３にそのスクリーンショット４３を描画欄３１に表示するよう要求する。このように、ユーザはいつでも過去の議題のスクリーンショットを呼び出すことができる。

このようにして会議への参加者は議題だけでなく、議題と議題の階層構造を把握できる。会議において複数の議論がある場合、参加者が１つの議題に集中して議論することを繰り替え、次々と議題を消化していく。しかし、過去の議題については意識から離れてしまうこともある。議題がいくつかの小さな議題に細分化できるような場合、過去の議題が密接に関係するので、過去の関連する議題を把握しながら議論したい場合がある。

本実施形態の電子会議装置１００は、過去の議題を可視化したまま現在の議題を表示し、また、議題について手書きされたスクリーンショットを見ながら参加者が議論できるので、各スクリーンショットがどの議題を議論している際のスクリーンショットか一目で把握できる。

〔階層構造の記憶〕
上記のような画面を実現するための階層構造の記憶について、図６〜図１０の画面を参照しながら説明する。

図１２（ａ）は何も記憶されていない画像記憶部２０を模式的に示し、図１２（ｂ）は何も記憶されていない画像構造記憶部２１を模式的に示し、図１２（ｃ）は何も記憶されていない親画像ＩＤ一次記憶部２２を模式的に示す。例えば、電子会議装置１００が起動した直後はこのような状態になる。

画像記憶部２０の画像ＩＤは画像記憶部２０に登録される各画像データを識別するＩＤであり、議題フラグはその画像データが議題画像であることを示すフラグであり、画像情報には手書きされた各種の画像データが登録される。

図６（ａ）にてユーザが議題ページ指定ボタン３５を押下すると、制御部１５が位置情報に基づき議題ページ指定ボタン３５の押下を検出し、画像データ登録部１９は、アプリ画面生成部１３が生成している描画欄３１の軌跡画像（起点議題画像）を画像記憶部２０に記憶する。

図１３（ａ）の画像記憶部２０に示すように、画像情報に描画欄３１の軌跡画像である４つの議題が記述された起点議題画像の画像データが登録されている。制御部１５は、この画像データに画像ＩＤを付与する。画像ＩＤは重複しなければよいが、ここでは数字の「１」からの整数値であるとする。数字以外にアルファベットや記号など、一意に識別できれば何を画像ＩＤとしてもよい。

また、制御部１５が位置情報に基づき議題ページ指定ボタン３５の押下を検出すると、親画像ＩＤ更新部１７が、議題ページ指定ボタン３５が押下された際の画像データの画像ＩＤを、親画像ＩＤ一次記憶部２２に登録する。これにより、階層構造を記憶することが可能になる。図１３（ａ）では親画像ＩＤ一次記憶部２２に「１」と記述されている。

なお、図１３等では画像記憶部２０に"画像データ"が登録されるとしたが、軌跡画像を構成する時系列な位置情報を画像記憶部２０に登録してもよい。図２７は、画像情報を位置情報とした画像記憶部２０の一例を示す図である。位置情報が時系列に登録されていれば、軌跡画像処理部１４はいつでも可視化（軌跡画像に変換する）ことができる。一般に、位置情報のような数値データは画像データよりもサイズが小さいので、ＰＣ３００の記憶装置３０８の容量を節約できる。

次に、図６（ｃ）にてユーザが議題指定終了ボタン３９を押下すると、制御部１５が位置情報に基づき議題指定終了ボタン３９の押下を検出し、画像データ登録部１９は軌跡画像処理部１４が生成した閉曲線と議題が含まれる軌跡画像の画像データを画像記憶部２０に記憶する。

図１４（ａ）の画像記憶部２０の画像情報に、議題画像４２である「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された画像データが登録されている。画像データ登録部１９は、この画像データに「２」という画像ＩＤを付与する。

また、画像データ登録部１９は、議題指定終了ボタン３９が押下された際の画像データの議題フラグをＴＲｕｅに設定する。こうすることでこの画像データが、ユーザが閉曲線４１で指定した議題画像であることが明かとなる。

また、構造登録部１８は、画像記憶部２０に２つめ以降の画像データが登録されると、画像データを画像記憶部２０に登録する毎にその画像データの親子関係を画像構造記憶部２１に登録する。ここでは、議題指定終了ボタン３９の押下により議題画像４２が指定されると、構造登録部１８は議題画像４２の親画像がどの画像データか画像構造記憶部２１に記憶する。

図１４（ｂ）に示すように、具体的には、構造登録部１８は、親画像ＩＤ一次記憶部２２に登録されている画像ＩＤを画像構造記憶部２１の「親画像ＩＤ」に登録し、議題画像４２に付与した「２」という画像ＩＤを、画像構造記憶部２１の「子画像ＩＤ」に登録する。

また、親画像ＩＤ更新部１７は、議題指定終了ボタン３９が押下されたことで、画像記憶部２０に登録された画像データの画像ＩＤを、親画像ＩＤ一次記憶部２２に登録する。図１４（ｃ）に示すように、親画像ＩＤ一次記憶部２２に「２」が登録される。これにより、以降において議題画像４２とスクリーンショットを関連付けることができ、画像記憶部２０に登録される全ての画像データの親子関係を登録できる。

次に、図７（ｃ）にて、ユーザがスクリーンショットボタン３４を押下すると、制御部１５は、位置情報に基づきスクリーンショットボタン３４の押下を検出し、画像データ登録部１９は、映像出力部１１が描画欄３１に表示している軌跡画像を画像記憶部２０に記憶する。

図１５（ａ）の画像記憶部２０に示すように、画像情報にスクリーンショット４３の画像データが登録されている。画像データ登録部１９は、この画像データに「３」という画像ＩＤを付与する。

また、構造登録部１８は上述したように、スクリーンショット４３の画像データと、親画像である議題画像４２との親子関係を画像構造記憶部２１に登録する。すなわち、構造登録部１８は、親画像ＩＤ一次記憶部２２に登録されている画像ＩＤを画像構造記憶部２１の「親画像ＩＤ」に登録し、スクリーンショット４３の画像データに付与された「３」という画像ＩＤを、画像構造記憶部２１の「子画像ＩＤ」に登録する。

次に、図８（ｂ）にて、ユーザが議題ページ指定ボタン３５を押下すると、制御部１５は、位置情報に基づき議題ページ指定ボタン３５の押下を検出し、画像データ登録部１９は、映像出力部１１が生成している描画欄３１の軌跡画像（起点議題画像）を画像記憶部２０に記憶する。

図１６（ａ）の画像記憶部２０に示すように、画像情報に起点議題画像の画像データが登録されている。画像データ登録部１９は、この画像データに「４」という画像ＩＤを付与する。

また、構造登録部１８は、起点議題画像の画像データと、「議題ＡＡＡＡＡＡＡＡＡＡ」が記述された議題画像４２との親子関係を画像構造記憶部２１に登録する。すなわち、構造登録部１８は、制御部１５が議題ページ指定ボタン３５の押下を検出すると、親画像ＩＤ一次記憶部２２に登録されている画像ＩＤを画像構造記憶部２１の「親画像ＩＤ」に登録し、起点議題画像に付与した「４」という画像ＩＤを、画像構造記憶部２１の「子画像ＩＤ」に登録する。図８（ｂ）の描画欄３１の４つの議題は「議題ＡＡＡＡＡＡＡＡＡＡ」と関連のある議題なので、図８（ｂ）の起点議題画像の画像データと「議題ＡＡＡＡＡＡＡＡＡＡ」の議題画像４２との親子関係を登録することで、議題の階層構造を記憶できる。

また、親画像ＩＤ更新部１７は、議題ページ指定ボタン３５が押下された際の画像記憶部２０の画像データの画像ＩＤを、親画像ＩＤ一次記憶部２２に登録する。したがって、図１６（ｃ）では親画像ＩＤ一次記憶部２２に「４」が登録される。これにより、画像ＩＤが「４」の起点議題画像に、下位層の画像データを関連付けることができる。

次に、図９（ａ）にて議題「ＡＡＡＡＡａａａａ」が閉曲線で囲まれた後、議題指定終了ボタン３９が押下された場合、制御部１５は、位置情報に基づき議題指定終了ボタン３９が押下されたことを検出し、画像データ登録部１９は、軌跡画像処理部１４が生成した閉曲線に含まれる議題画像を画像記憶部２０に記憶する。

図１７（ａ）の画像記憶部２０に示すように、画像情報に「議題ＡＡＡＡＡａａａａａ」が記述された議題画像４５が登録されている。画像データ登録部１９は、この画像データに「５」という画像ＩＤを付与する。

また、画像データ登録部１９は、議題指定終了ボタン３９が押下された際の画像データの議題フラグをＴＲｕｅに設定する。図１７（ｂ）では画像ＩＤが５の画像データの議題フラグがＴＲｕｅなる。

また、構造登録部１８は、親画像ＩＤ一次記憶部２２に登録されている画像ＩＤを画像構造記憶部２１の「親画像ＩＤ」に登録し、議題画像４５の画像データに付与した「５」という画像ＩＤを、画像構造記憶部２１の「子画像ＩＤ」に登録する。

また、親画像ＩＤ更新部１７は、議題指定終了ボタン３９が押下された際の画像データの画像ＩＤを、親画像ＩＤ一次記憶部２２に登録する。これにより、議題画像に下位の画像データを関連付けることができ、画像記憶部２０に登録される全ての画像データの親子関係を登録できる。

次に、図１０（ａ）にて、ユーザがスクリーンショットボタン３４を押下すると、制御部１５は、位置情報に基づきスクリーンショットボタン３４の押下を検出し、画像データ登録部１９は、映像出力部１１が描画欄３１に表示している軌跡画像を画像記憶部２０に記憶する。

図１８（ａ）の画像記憶部２０に示すように、画像情報にスクリーンショット４６の画像データが登録されている。画像データ登録部１９は、この画像データに「６」という画像ＩＤを付与する。

また、構造登録部１８は、親画像ＩＤ一次記憶部２２に登録されている画像ＩＤを画像構造記憶部２１の「親画像ＩＤ」に登録し、スクリーンショット４６の画像データに付与した「６」という画像ＩＤを、画像構造記憶部２１の「子画像ＩＤ」に登録する。

このように、画像記憶部２０、画像構造記憶部２１及び親画像ＩＤ一次記憶領域に画像データや画像ＩＤを登録していくことで、各画像データの階層構造を記憶することができる。画像構造記憶部２１を参照することで、例えば画像ＩＤ＝６の画像データの親画像は画像ＩＤ＝５の画像データであること、画像ＩＤ＝５の画像データの親画像は画像ＩＤ＝４の画像データであること、画像ＩＤ＝４の画像データの親画像は画像ＩＤ＝２の画像データであることが判明する。制御部１５は、このように画像ＩＤを辿ることで、あるスナップショットが手書きされた議題だけでなく、その議題の親の議題を特定することができる。

また、図９（ｂ）に示した、議題画像４２、４５同士（議題「ＡＡＡＡＡａａａａａ」と議題「ＡＡＡＡＡＡＡＡＡＡ」の接続）は、画像記憶部２０において議題フラグがＴｒｕｅの画像データを抽出し、順番に線で接続すればよいことになる。

〔画像データの階層構造〕
さらに会議が進行すると、画像記憶部２０や画像構造記憶部２１には画像データや画像ＩＤが記憶されていく。図１９は、画像構造記憶部２１に記憶された階層構造の一例を示す。このような状態で、画面の議題一覧ボタン３８が押下されると、制御部１５が階層構造を表示する。

図２０は電子会議で画像記憶部２０に記憶された画像データの階層構造を模式的に示す図の一例である。制御部１５は、画像構造記憶部２１を参照して、図２０のような階層構造の全体をプロジェクタ２００から表示する。表示手順については後述する。

〔動作手順〕
以下、画面の表示や画像記憶部２０等への画像データの登録についてフローチャート図を用いて説明する。

図２１（ａ）は、スクリーンショットボタン３４が押下された際の電子会議装置１００の処理手順を示すフローチャート図の一例である。

スクリーンショットボタン３４が押下されると制御部１５は画像追加フローを実行する（Ｓ１０）。この処理により画像記憶部２０には、スクリーンショットの画像データが登録される。

次に、制御部１５は、アプリ画面生成部１３にスクリーンショットをスクリーンショット表示欄３３に表示させる（Ｓ２０）。

図２１（ｂ）は、議題ページ指定ボタン３５が押下された際の電子会議装置１００の処理手順を示すフローチャート図の一例である。

議題ページ指定ボタン３５が押下されると制御部１５は画像追加フローを実行する（Ｓ１０）。この処理により画像記憶部２０には、議題画像の画像データが登録される。

次に、親画像ＩＤ更新部１７は、議題ページ指定ボタン３５が押下されたことで画像データに付与された画像ＩＤを、親画像ＩＤ一次記憶部２２に登録する（Ｓ３０）。

図２２（ａ）は、議題指定開始ボタン３６が押下された際の電子会議装置１００の処理手順を示すフローチャート図の一例である。

議題指定開始ボタン３６が押下されると制御部１５は、アプリ画面生成部１３に、議題指定開始ボタン３６を議題指定終了ボタン３９に切り替えて表示するよう要求する（Ｓ４０）。

図２２（ｂ）は、議題指定終了ボタン３９が押下された際の電子会議装置１００の処理手順を示すフローチャート図の一例である。

制御部１５が議題指定終了ボタン３９の押下を検出すると、制御部１５は閉曲線か否かを判定し、閉曲線の場合は手書きされた議題と閉曲線の外接矩形が重なっているか否かを判定する（Ｓ５０）。

議題を指定する閉曲線が検出された場合、制御部１５は画像追加フローを実行する（Ｓ１０）。この処理により画像記憶部２０には、議題画像が登録される。

次に、親画像ＩＤ更新部１７は、議題ページ指定ボタン３５が押下されることで画像データに付与された画像ＩＤを、親画像ＩＤ一次記憶部２２に登録する（Ｓ３０）。

次に、制御部１５は、議題画像表示フローを実行する（Ｓ２００）。これにより、制御部１５は、議題表示欄３２に表示される全ての画像データ（議題画像ＩＤ）を特定できる。

画像データ登録部１９は、画像記憶部２０に登録した議題画像の画像データの議題フラグをＴｒｕｅに設定する（Ｓ６０）。

次に、制御部１５は、議題画像ＩＤにて特定される全ての議題の議題画像を表示する（Ｓ７０）。

図２３は、画像追加フローの処理手順を示すフローチャート図の一例である。
まず、画像データ登録部１９は、画像データを画像記憶部２０に登録する（Ｓ１１０）。登録される画像データは以下の２つである。
・スクリーンショットボタン３４又は議題ページ指定ボタン３５が押下された場合：描画欄３１の全体の軌跡画像の画像データ
・議題指定終了ボタン３９が押下された場合：閉曲線で囲まれた議題画像
次に、画像データ登録部１９は、新たに画像記憶部２０に登録した画像データに画像ＩＤを付与する（Ｓ１２０）。この画像ＩＤは例えば整数の連番である。

次に、画像データ登録部１９は、親画像ＩＤ一次記憶部２２に画像ＩＤが記憶されているか否かを判定する（Ｓ１３０）。親画像ＩＤ一次記憶部２２に画像ＩＤが記憶されている場合（Ｓ１３０のＹｅｓ）、画像データ登録部１９が登録した画像データに親画像が存在することになるので、構造登録部１８は画像構造記憶部２１に親子関係（レコード）を登録する（Ｓ１４０）。具体的には、「親画像ＩＤ」は、親画像ＩＤ一次記憶部２２に記憶された画像ＩＤであり、「子画像ＩＤ」はステップＳ１２０で画像データ登録部１９が新たに付与した画像ＩＤである。

図２４は、議題画像表示フローの処理手順を示すフローチャート図の一例である。この処理では、画像データに付与された画像ＩＤを入力値として利用する。

まず、議題画像取得部１６は、入力値である画像ＩＤを検索キーに設定する（Ｓ２１０）。
そして、議題画像取得部１６は、画像記憶部２０からレコードを１つずつ読み出す（Ｓ２２０）。

まず、そのレコードの議題フラグがＴｒｕｅか否かを判定する（Ｓ２３０）。議題フラグがＴｒｕｅの場合（Ｓ２３０のＹｅｓ）、その画像データは議題画像の画像データになるので、議題画像取得部１６は検索キーを戻り値配列に格納する（Ｓ２４０）。

次に、議題画像取得部１６は、検索キーを不図示の議題画像ＩＤ記憶部の配列の先頭に格納する（Ｓ２５０）。

次に、議題画像取得部１６は、検索キーに一致する「子画像ＩＤ」を画像構造記憶部２１から検索する（Ｓ２６０）。

検索キーに一致する「子画像ＩＤ」が画像構造記憶部２１に登録されている場合（Ｓ２７０のＹｅｓ）、議題画像取得部１６は、「子画像ＩＤ」に対応づけられた「親画像ＩＤ」を新たに検索キーに設定する（Ｓ２８０）。

そして、議題画像取得部１６は、ステップＳ２３０以下の処理を繰り返す。例えば、次の検索キーの画像ＩＤの議題フラグがＴｒｕｅでない場合（Ｓ２３０のＮｏ）、その画像データは議題画像でないので、処理はステップＳ２６０に進み、検索キーに一致する「子画像ＩＤ」を画像構造記憶部２１から検索する（Ｓ２６０）。そして、議題画像取得部１６は、その「子画像ＩＤ」に対応づけられた「親画像ＩＤ」を新たに検索キーに設定し（Ｓ２８０）、ステップＳ２３０以下の処理を繰り返す。

この処理により、議題画像ＩＤ記憶部には、画像データの画像ＩＤが階層構造に従って、記憶される。図１９の画像構造記憶部２１を例にすると、ステップＳ２１０の画像ＩＤを「５」とすれば、議題画像ＩＤ記憶部には「５」「２」が格納され、ステップＳ２１０の画像ＩＤを「１０」とすれば、議題画像ＩＤ記憶部には「１０」「２」が格納される（画像ＩＤ１０の画像データは議題「ＡＡＡＡＡｂｂｂｂｂ」の画像である）。

よって、アプリ画面生成部１３は画像ＩＤが「５」と「２」の画像データ、又は、画像ＩＤが「１０」と「２」の画像データを議題表示欄３２に関連付けて表示することができる。

なお、ステップＳ２４０の戻り値を利用すれば、直接の階層構造だけでなく、ステップＳ２１０の画像ＩＤよりも上位の全ての階層構造を取得できる。例えば、ステップＳ２１０の画像ＩＤを「１０」とすれば、議題画像ＩＤ記憶部には「１０」「２」が格納され、戻り値配列には「１０」「２」が格納される。

制御部１５は、戻り値配列の最も大きい値「１０」を１つ小さくし、ステップ２３０からの処理を繰り返す。すると、議題画像ＩＤ記憶部には「１０」「２」に続き「５」「２」が格納され、戻り値配列には「５」「２」が格納される。したがって、いずれも議題画像の画像データとして、画像ＩＤ＝２の画像データには、画像ＩＤ＝５、１０の画像データが下位の階層として関連していることがわかる。制御部１５は、これを利用して図２６のような議題画像を議題表示欄３２に表示することができる。

図２５は、議題一覧ボタン３８が押下された際の制御部１５の処理手順を示すフローチャート図の一例である。これにより図２０の階層構造が表示される。

制御部１５は、位置情報に基づき議題一覧ボタン３８が押下されたことを検出し、画像ＩＤ＝１に対応づけられた全ての「子画像ＩＤ」を第１テーブルに登録する（Ｓ３１０）。図１９を例にすると、第１テーブルには｛２，７，８，９｝の画像ＩＤが登録される。これは第１層の画像データの画像ＩＤとなる。

次に、制御部１５は、第１テーブルに登録された画像ＩＤを順番に取り出し、画像ＩＤに対応づけられた全ての「子画像ＩＤ」を画像ＩＤ毎に第２テーブルに登録する（Ｓ３２０）。第２テーブルは４つ生成され、画像ＩＤ＝２の第２テーブルには｛３，４｝が、画像ＩＤ＝７の第２テーブルには｛−（なし）｝が、画像ＩＤ＝８の第２テーブルには｛−｝が、画像ＩＤ＝９の第２テーブルには｛−｝が、登録される。第２テーブルの画像ＩＤは、第２層の画像データの画像ＩＤとなる。

次に、制御部１５は、第２テーブルに登録された画像ＩＤを順番に取り出し、画像ＩＤに対応づけられた全ての画像ＩＤを画像ＩＤ毎に第３テーブルに登録する（Ｓ３３０）。第３テーブルは２つ生成され、画像ＩＤ＝３の第３テーブルには｛−｝が、画像ＩＤ＝４の第３テーブルには｛５，１０，１１，１２｝が、登録される。第３テーブルの画像ＩＤは、第３層の画像データの画像ＩＤとなる。

次に、制御部１５は、第３テーブルに登録された画像ＩＤを順番に取り出し、画像ＩＤに対応づけられた全ての画像ＩＤを画像ＩＤ毎に第４テーブルに登録する（Ｓ３４０）。第４テーブルは１つ生成され、画像ＩＤ＝５の第４テーブルには｛６｝が、登録される。第４テーブルの画像ＩＤは、第４層の画像データの画像ＩＤとなる。

制御部１５は、同様の処理を「親画像ＩＤ」に対応づけられた画像ＩＤがなくなるまで繰り返す（Ｓ３５０）。

以上の処理で各テーブルには階層毎の画像ＩＤが登録されるので、階層順にテーブルを参照し、テーブル内の画像ＩＤを展開することで、図２０の階層構造が得られる。すなわち、制御部１５は、画像ＩＤに基づき画像記憶部２０から画像データを読み出し、サムネイル画像等を生成すると共に、画像間を線で結ぶなどすることで、図２０のような階層構造を表示することができる。

１１ 映像出力部
１２ 位置検出部
１３ アプリ画面生成部
１４ 軌跡画像処理部
１５ 制御部
１６ 議題画像取得部
１７ 親画像ＩＤ更新部
１８ 構造登録部
１９ 画像データ登録部
２０ 画像記憶部
２１ 画像構造記憶部
２２ 親画像ＩＤ一次記憶部
２３ ユーザ情報記憶部
１００ 電子会議装置
２００ プロジェクタ
３００ ＰＣ
４００ 電子情報ボード
５００ スタイラスペン

特開２００７−２８０２３５号公報

Claims (12)

1. 情報入力領域に対する入力位置を検出する位置検出手段と、
   時系列の前記入力位置の軌跡を軌跡画像として可視化する軌跡画像生成手段と、
   軌跡画像を表示する表示手段と、を有する電子会議装置であって、
   前記表示手段に表示された軌跡画像の記憶命令を受け付ける第一の軌跡画像記憶受け付け手段と、
   軌跡画像の一部である一部軌跡画像の選択と該一部軌跡画像の記憶命令を受け付ける第三の軌跡画像記憶受け付け手段と、
   前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記表示手段が表示している軌跡画像に一意の識別情報を付与し、前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた一部軌跡画像に一意の前記識別情報を付与して第一記憶部に記憶する軌跡画像記憶手段と、
   前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付けることで前記軌跡画像記憶手段が付与した前記識別情報、及び、前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けることで前記軌跡画像記憶手段が付与した前記識別情報を、親画像の前記識別情報として第三記憶部に記憶する識別情報記憶手段と、
   前記第一又は第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記第三記憶部にすでに記憶されていた前記識別情報を親画像識別情報とし、前記第一又は第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記軌跡画像記憶手段が付与した前記識別情報を子画像識別情報とし、親画像識別情報と子画像識別情報を対応づけて第二記憶部に記憶する対応情報記憶手段と、
   を有することを特徴とする電子会議装置。
2. 前記表示手段に表示された第二軌跡画像の記憶命令を受け付ける第二の軌跡画像記憶受け付け手段、を有し、
   前記軌跡画像記憶手段は、前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けた第二軌跡画像に一意の前記識別情報を付与して前記第一記憶部に記憶し、
   前記識別情報記憶手段は、前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記第三記憶部に記憶されていた前記識別情報を親画像識別情報とし、前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記軌跡画像記憶手段が付与した前記識別情報を子画像識別情報とし、親画像識別情報と子画像識別情報を対応づけて前記第二記憶部に記憶する、ことを特徴とする請求項１記載の電子会議装置。
3. 前記軌跡画像生成手段が可視化した軌跡画像をリアルタイムに表示する第一の欄と、
   前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付けたことで、前記第一記憶部に記憶された第二軌跡画像を表示する第二の欄と、を含む画面情報を生成する画面生成手段、を有することを特徴とする請求項２記載の電子会議装置。
4. 前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けたことで、前記第一記憶部に記憶された一部軌跡画像を表示する第三の欄、を含む画面情報を生成する画面生成手段、 を有することを特徴とする請求項２記載の電子会議装置。
5. 前記軌跡画像記憶手段は、一部軌跡画像に所定のフラグを対応づけて前記第一記憶部に記憶しておき、
   前記画面生成手段は、前記第三の欄に一部軌跡画像を表示する際、前記第二記憶部に記憶された任意の子画像識別情報に対応づけられた親画像識別情報、及び、該親画像識別情報が子画像識別情報となっている親画像識別情報のうち、前記第一記憶部に前記フラグが対応づけられている一部軌跡画像を前記第一記憶部から読み出して、互いに関連付けて表示する、ことを特徴とする請求項４記載の電子会議装置。
6. 前記第一記憶部に記憶された画像データの一覧表示の命令を受け付ける一覧表示受け付け手段、を有し、
   前記画面生成手段は、前記第二記憶部に記憶された親画像識別情報と子画像識別情報の対応付けにより得られる階層を再現して、複数の前記画像データの一覧をツリー状に表示する、ことを特徴とする請求項３又は４記載の電子会議装置。
7. ユーザ毎の認証情報を記憶したユーザ情報記憶手段を有し、
   ユーザの認証が成立した場合に、使用を許可することを特徴とする請求項１から６いずれか１項記載の電子会議装置。
8. 前記第一記憶部に記憶される軌跡画像又は一部軌跡画像は、前記位置検出手段が検出した時系列の入力位置である、ことを特徴とする請求項４から７いずれか１項記載の電子会議装置。
9. 前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付ける軌跡画像は、１つ以上の議題が手書きされた軌跡画像であり、
   前記第二の軌跡画像記憶受け付け手段が記憶命令を受け付ける第二軌跡画像は、議題について手書きされた軌跡画像である、
   ことを特徴とする請求項２又は３記載の電子会議装置。
10. 前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付ける一部軌跡画像は、１つ以上の議題が手書きされた軌跡画像から選択された１つの議題が記述されている軌跡画像である、ことを特徴とする請求項２記載の電子会議装置。
11. 位置検出手段が、情報入力領域に対する入力位置を検出するステップと、
    軌跡画像生成手段が、時系列の前記入力位置の軌跡を軌跡画像として可視化するステップと、
    表示手段が、軌跡画像を表示するステップと、を有する情報表示方法であって、
    第一の軌跡画像記憶受け付け手段が、前記表示手段に表示された軌跡画像の記憶命令を受け付けるステップと、
    第三の軌跡画像記憶受け付け手段が、軌跡画像の一部である一部軌跡画像の選択と該一部軌跡画像の記憶命令を受け付けるステップと、
    軌跡画像記憶手段が、前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記表示手段が表示している軌跡画像に一意の識別情報を付与し、前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた一部軌跡画像に一意の前記識別情報を付与して第一記憶部に記憶するステップと、
    識別情報記憶手段が、前記第一の軌跡画像記憶受け付け手段が記憶命令を受け付けることで前記軌跡画像記憶手段が付与した前記識別情報、及び、前記第三の軌跡画像記憶受け付け手段が記憶命令を受け付けることで前記軌跡画像記憶手段が付与した前記識別情報を、親画像の前記識別情報として第三記憶部に記憶するステップと、
    対応情報記憶手段が、前記第一又は第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記第三記憶部にすでに記憶されていた前記識別情報を親画像識別情報とし、前記第一又は第三の軌跡画像記憶受け付け手段が記憶命令を受け付けた時に前記軌跡画像記憶手段が付与した前記識別情報を子画像識別情報とし、親画像識別情報と子画像識別情報を対応づけて第二記憶部に記憶するステップと、
    を有することを特徴とする情報表示方法。
12. 情報入力領域に対する入力位置を検出する位置検出手段と、
    時系列の前記入力位置の軌跡を軌跡画像として可視化する軌跡画像生成手段と、
    軌跡画像を表示する表示手段と、を有するコンピュータに、
    前記表示手段に表示された軌跡画像の記憶命令を受け付ける第一の軌跡画像記憶受け付けステップと、
    軌跡画像の一部である一部軌跡画像の選択と該一部軌跡画像の記憶命令を受け付ける第三の軌跡画像記憶受け付けステップと、
    前記第一の軌跡画像記憶受け付けステップにより記憶命令を受け付けた時に前記表示手段が表示している軌跡画像に一意の識別情報を付与し、前記第三の軌跡画像記憶受け付けステップにより記憶命令を受け付けた一部軌跡画像に一意の前記識別情報を付与して第一記憶部に記憶する軌跡画像記憶ステップと
    前記第一の軌跡画像記憶受け付けステップにより記憶命令が受け付けられることで前記軌跡画像記憶ステップにより付与された前記識別情報、及び、前記第三の軌跡画像記憶受け付けステップにより記憶命令が受け付けられることで前記軌跡画像記憶ステップにより付与された前記識別情報を、親画像の前記識別情報として第三記憶部に記憶する識別情報記憶ステップと、
    前記第一又は第三の軌跡画像記憶受け付けステップにより記憶命令が受け付けられた時に前記第三記憶部にすでに記憶されていた前記識別情報を親画像識別情報とし、前記第一又は第三の軌跡画像記憶受け付けステップにより記憶命令が受け付けられた時に前記軌跡画像記憶ステップにより付与された前記識別情報を子画像識別情報とし、親画像識別情報と子画像識別情報を対応づけて第二記憶部に記憶する対応情報記憶ステップと、
    を実行させるプログラム。

Images