JP5846378B2 - 情報管理方法及び情報管理システム - Google Patents

Description

本発明は、電子ファイルの管理技術に関し、特に、カメラによって撮影された画像データと、それに関連する電子ファイルとを対応付けて管理する技術に関する。

特許文献１に、付箋紙の情報と電子ファイルと関連付けて管理する技術が開示されている。これによれば、電子ファイルの画像が表示されたスクリーンに付箋紙が貼付され、その付箋紙の情報がカメラによって撮影され、撮影された画像情報から電子ファイルの表示ページ及び付箋紙が特定され、付箋紙の情報と電子ファイルと表示ページとの関係が記録される。

特開２００１−１４３０３号公報

実際のワークショップ等においては、スクリーン上に複数の電子ファイルの画像が表示され、かつ、それらの電子ファイルが同一のページを含んでいる場合がある。同一のページは同一の画像情報を含むため、複数のファイルの同一のページのそれぞれに付箋紙が貼付された場合には、画像情報に基づいて電子ファイルを識別する特許文献１の技術では、付箋紙の情報と電子ファイルと表示ページとの関係を正しく特定することができない。

本発明の代表的な一例を示せば次の通りである。すなわち、計算機と、前記計算機に接続される第１カメラと、前記計算機に接続される画像表示装置と、を有する情報管理システムによって実行される情報管理方法であって、前記計算機は、前記第１カメラに接続される通信部と、前記通信部に接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有し、前記情報管理方法は、前記画像表示装置が、前記計算機によって出力された複数の電子ファイルの画像を画面上に表示する第１手順と、前記第１カメラが、付箋が貼られた前記画面を撮影する第２手順と、前記プロセッサが、前記画面が撮影された時刻に前記画像表示装置が表示した画像のデータを取得する第３手順と、前記プロセッサが、前記第２手順において撮影された画像から、前記付箋の画像のデータを抽出する第４手順と、前記プロセッサが、前記撮影された画面において前記付箋が貼られた位置を特定する第５手順と、前記プロセッサが、前記画面が撮影された時刻に前記画像表示装置が表示した画像に含まれる前記複数の電子ファイルの画像の表示位置と、前記付箋が貼られた位置と、の関係に基づいて、前記付箋に関連する電子ファイルを特定する第６手順と、前記プロセッサが、前記付箋の画像のデータに基づいて、前記付箋の識別情報を特定する第７手順と、前記プロセッサが、前記付箋の識別情報と、前記付箋の画像のデータと、前記付箋に関連する電子ファイルと、を関連付ける管理情報を、前記記憶装置に格納する第８手順と、を含み、前記第６手順は、前記プロセッサが、前記付箋に関連する電子ファイルの画像のうち、前記付箋に関連する範囲を特定する手順を含み、前記第８手順は、前記付箋の画像のデータと、前記特定された範囲を示す情報と、を関連付ける情報を含む前記管理情報を、前記記憶装置に格納する手順を含むことを特徴とする。

本発明の一実施形態によれば、スクリーン上に複数の電子ファイルが表示されている場合であっても、付箋と電子ファイルとの関連を適切に特定し、記録することができる。

本発明の実施形態の情報管理システムの構成を示すブロック図である。 本発明の実施形態の情報管理システムの機能ブロック図である。 本発明の実施形態のＰＣのハードウェア構成のブロック図である。 本発明の実施形態の情報管理システムによって実行される関連登録処理の概要の説明図である。 本発明の実施形態の情報管理システムによって実行される関連登録処理のフローチャートである。 本発明の実施形態の情報管理システムによって実行される、画像補正式の算出処理のフローチャートである。 本発明の実施形態の情報管理システムにおいて使用される付箋紙に表示された識別情報の具体例の説明図である。 本発明の実施形態の情報管理システムによって保持される関連管理データベースの説明図である。 本発明の実施形態の情報管理システムによって実行される関連電子ファイル表示処理の概要の説明図である。 本発明の実施形態の情報管理システムによって実行される関連電子ファイル表示処理のフローチャートである。 本発明の実施形態の情報管理システムが付箋間の関係を認識して登録する処理の説明図である。 本発明の実施形態の情報管理システムが付箋間の関係を認識して登録する処理の別の例の説明図である。 本発明の実施形態の情報管理システムが付箋間の関係に基づいて電子ファイルの画像を表示する処理の説明図である。 本発明の実施形態の情報管理システムがオブジェクトと付箋紙とを関連付ける処理の説明図である。 本発明の実施形態の情報管理システムがオブジェクトに関連付けられた電子ファイルの画像を表示する処理の説明図である。

以下、図面を用いて本発明の実施形態を説明する。

図１は、本発明の実施形態の情報管理システムの構成を示すブロック図である。

本実施形態の情報管理システムは、パーソナルコンピュータ（ＰＣ）１０１、カメラ１０２Ａ、カメラ１０２Ｂ、プロジェクタ１０３及びストレージ１０４からなる。

カメラ１０２Ａは、ＰＣ１０１に接続され、付箋紙１１１Ａ〜１１１Ｄ等が貼付された模造紙１１０を含む領域を撮影し、撮影した画像データをＰＣ１０１に送信する。

プロジェクタ１０３は、ＰＣ１０１に接続され、ＰＣ１０１から出力された電子ファイルの画像１２１Ａ〜１２１Ｅ等をスクリーン１２０に投影する。

カメラ１０２Ｂは、スクリーン１２０の少なくとも一部を含む領域を撮影し、撮影した画像データをＰＣ１０１に送信する。

ストレージ１０４は、ＰＣ１０１に接続され、ＰＣ１０１によって書き込まれたデータを保持し、ＰＣ１０１からの参照要求に応じてデータをＰＣ１０１に参照させる。具体的には、例えばスクリーン１２０に投影される画像の情報を含む電子ファイルは、ストレージ１０４に格納され、ＰＣ１０１によって参照される。

ＰＣ１０１の構成については後述する（図２、図３参照）。

図１に示す情報管理システムには種々の用途があり得るが、その一例は、システム開発の上流工程におけるワークショップの支援である。例えば、現状の業務マニュアル等に基づいて現状の業務フローの全体俯瞰図を作成し、そこに、業務担当者からの聞き取り等の調査によって検討された課題をプロットする作業を支援することが想定される。この場合、調査によって得られた文書、静止画像又は動画像等がプロジェクタ１０３によってスクリーン１２０に表示され、模造紙１１０に業務フローの全体俯瞰図が描画され、その全体俯瞰図上に、調査によって検討された課題を記入した付箋紙１１１Ａ等が貼付される。

例えば、調査の結果として得られた文書等がスクリーン１２０に表示され、そこから、「ユーザが困惑している」という課題が抽出された場合、その課題を示す「ユーザが困惑」という文字列が記載された付箋紙１１１Ａが模造紙１１０に貼付される。なお、ここでの「ユーザ」とは、本実施形態の情報管理システムのユーザ（例えばワークショップの参加者）ではなく、開発しようとするシステムのユーザであり、例えば聞き取り調査等の対象者である。このとき、その課題に対応する文書等の画像（例えば画像１２１Ｅ）は、例えば、ユーザが困惑している状況を説明する文書、その状況を表現する静止画像または動画像等である。

図１には付箋紙１１１Ａ等が貼付された模造紙１１０を示したが、それ以外のものを用いることもできる。例えば、模造紙１１０の代わりに、黒板又はホワイトボードのようなパネルを用いてもよい。また、付箋紙１１１Ａ等として、市販されている一般的な付箋紙、すなわち、裏面の少なくとも一部に弱い粘着剤が塗布された、容易に貼り替え可能な紙片を用いてもよいが、表面に文字等を筆記可能であり、かつ、容易に貼り替え可能な付箋であれば、どのようなものを用いてもよい。例えば、粘着テープ又は押しピン等によって貼り付けられた紙の付箋を用いてもよいし、紙以外の素材、例えば表面に筆記可能なマグネットシート等の付箋を用いてもよい。

プロジェクタ１０３及びスクリーン１２０は、画像表示装置の一例であり、任意の種類の画像表示装置によって置き換えることができる。例えば液晶ディスプレイ装置が用いられる場合、スクリーン１２０は、ＰＣ１０１に接続された液晶ディスプレイ装置の画面によって置き換えられる。

また、図１には二つのカメラ１０２Ａ及び１０２Ｂを示したが、それらの一方を省略することもできる。後述するように、カメラ１０２Ｂは、付箋紙と電子ファイルとを関連付ける情報を登録するときに使用され、カメラ１０２Ａは、付箋紙に関連付けられた電子ファイルを読み出して表示するときに使用される。すなわち、例えば全ての付箋紙と電子ファイルとを関連付ける情報の登録が終了した後、カメラ１０２Ｂは不要となる。このため、登録が終了した後で、カメラ１０２Ｂをカメラ１０２Ａとして設置して使用することができる。

図２は、本発明の実施形態の情報管理システムの機能ブロック図である。

カメラ１０２Ａは、模造紙１１０に貼付された少なくとも一つの付箋紙１１１Ａ等の画像を撮影する撮像部２０６Ａと、撮影された画像データをＰＣ１０１に送信する通信部２０７Ａと、を有する。カメラ１０２Ｂは、スクリーン１２０を撮影する撮像部２０６Ｂと、撮影された画像データをＰＣ１０１に送信する通信部２０７Ｂと、を有する。

ＰＣ１０１は、カメラ１０２Ａ及び１０２Ｂと通信する通信部２０１と、画像認識部２０２と、処理部２０３と、表示部２０４と、ファイル検索部２０５と、を有する。通信部２０１は、カメラ１０２Ａ及び１０２Ｂと通信し、画像データを受信する。画像認識部２０２は、カメラ１０２Ａ等から受信した画像の認識を行う。ファイル検索部２０５は、ストレージ１０４に格納されたファイルを検索する。表示部２０４は、プロジェクタによって表示される画面のデータを出力する。処理部２０３は、画像認識の結果に従って、画像データと電子ファイルとを関連付ける情報を登録する処理、及び、出力されるべき電子ファイルを特定する処理等を行う。これらの処理の具体的な内容については後述する。

図３は、本発明の実施形態のＰＣ１０１のハードウェア構成のブロック図である。

ＰＣ１０１は、プロセッサ、記憶装置３０２、通信インターフェース（Ｉ／Ｆ）３０３、入出力装置３０４及びこれらを接続する通信線３０５を有する計算機である。

プロセッサ３０１は、記憶装置３０２に格納されたプログラムを実行することによって、ＰＣ１０１の種々の機能を実現する。

記憶装置３０２は、例えば半導体メモリ、磁気ディスク装置又はその他の種類の記憶装置であってもよいし、それらの組み合わせであってもよい。プロセッサ３０１によって実行される種々のプログラム及びプロセッサ３０１によって参照される種々のデータが記憶装置３０２に格納される。

通信Ｉ／Ｆ３０３は、ＰＣ１０１と、その外部の機器との間の通信を制御するインターフェースである。図３には一つの通信Ｉ／Ｆ３０３のみを示すが、実際にはＰＣ１０１が複数の通信Ｉ／Ｆ３０３、例えば、いわゆるネットワークインターフェースカード、ＵＳＢ（Universal Serial Bus）コントローラ、ＤＶＩ（Digital Visual Interface）コントローラ又はＨＤＭＩ（High-Definition Multimedia Interface）コントローラ等を有してもよい。

入出力装置３０４は、ユーザからの入力を受け付ける例えばキーボード及びマウス等の入力装置、並びに、ユーザに情報を出力する例えば液晶ディスプレイ装置のような出力装置を含む。

なお、図１及び図２に示したストレージ１０４は、ＰＣ１０１の内部の記憶装置３０２であってもよいし、通信Ｉ／Ｆを介してＰＣ１０１に接続されたファイルサーバであってもよい。ＰＣ１０１の外部の（すなわち通信Ｉ／Ｆを介して接続された）ファイルサーバは、例えばＮＡＳ（Network Attached Storage）等によって実現することができる。ストレージ１０４がＰＣ１０１の外部にあっても、そこに格納される電子ファイル等のデータは、ＰＣ１０１によって処理されるときに、少なくとも一時的には記憶装置３０２に格納される。

なお、図２に示すＰＣ１０１の各部は、プロセッサ３０１が記憶装置３０２に格納されたプログラムを実行し、必要に応じて通信Ｉ／Ｆ３０３等を制御することによって実現される機能である。例えば、通信部２０１は、プロセッサ３０１が通信プログラムを実行し、通信Ｉ／Ｆ３０３（例えばＵＳＢコントローラ等）を制御することによって実現される。表示部２０４は、プロセッサ３０１が表示プログラムを実行し、通信Ｉ／Ｆ３０３（例えばＤＶＩコントローラ等）を制御することによって実現される。すなわち、以下の説明においてＰＣ１０１の各部が実行する処理は、実際には、プロセッサ３０１が、記憶装置３０２に格納されたプログラムに従い、必要に応じて通信Ｉ／Ｆ３０３等を制御することによって実行される。

次に、本実施形態の情報管理システムによって実行される処理について説明する。本実施形態の情報管理システムは、スクリーン１２０に表示された電子ファイルと、付箋紙１１１Ａ等との関連を特定し、それらを関連付ける情報を登録する処理（関連登録処理）と、その関連付けの情報に従って、模造紙１１０に貼付された付箋紙１１１Ａ等に関連付けられた電子ファイルをスクリーン１２０に表示する処理（関連電子ファイル表示処理）と、を実行する。最初に、関連登録処理について説明する。

図４は、本発明の実施形態の情報管理システムによって実行される関連登録処理の概要の説明図である。

図４の例では、図１と同様に、画像１２１Ａ〜１２１Ｅがスクリーン１２０上に表示されている。さらに、画像１２１Ｅに関連する課題を示す文字列「ユーザが困惑」が記載された付箋紙１１１Ａが作成されている。この場合において、画像１２１Ｅを含む電子ファイル（以下、電子ファイル１２１Ｅとも記載する）と、付箋紙１１１Ａとを関連付ける情報を登録する処理を説明する。

本実施形態の情報管理システムのユーザ（付箋紙１１１Ａに記載された「ユーザ」とは異なる）は、電子ファイル１２１Ｅを付箋紙１１１Ａに関連する電子ファイルとして登録しようとするときに、付箋紙１１１Ａを、その少なくとも一部が画像１２１Ｅと重なるようにスクリーン１２０上に貼付する。そして、カメラ１０２Ｂがスクリーン１２０を撮影する。ＰＣ１０１は、撮影された画像データをカメラ１０２Ｂから取得し、画像認識を行うことによって、付箋紙１１１Ａを識別し、その貼付位置（すなわちスクリーン１２０上の座標）を識別する。

さらに、カメラ１０２Ｂは、ＰＣ１０１に、スクリーン１２０を撮影した時刻ｔを送信する。ＰＣ１０１は、プロジェクタ１０３に出力し、時刻ｔにスクリーン１２０に投影された画像データ（スクリーン１２０上のレイアウト情報を含む）を保存する。

そして、ＰＣ１０１は、付箋紙１１１Ａの貼付位置と、スクリーン１２０上のレイアウト情報から特定される各画像の表示位置と、の関係に基づいて、付箋紙１１１Ａと関連する画像１２１Ｅを特定し、付箋紙１１１Ａと電子ファイル１２１Ｅとを関連付ける情報をストレージ１０４に登録する。時刻ｔに表示されていた画像１２１Ｅが、それを含むファイルのｎページ目であることが特定された場合、そのことを示す情報が併せて登録されてもよい。

次に、関連登録処理の詳細について、図５等を参照して説明する。ここでは、図４に示すように画像１２１Ｅに関連する付箋紙１１１Ａが貼付された場合を例示しながら説明する。

図５は、本発明の実施形態の情報管理システムによって実行される関連登録処理のフローチャートである。

最初に、ＰＣ１０１は、プロジェクタ１０３の表示エリアを撮影し、画像補正式を算出する（ステップ５０１）。これは、ＰＣ１０１が出力し、プロジェクタ１０３によって表示された画面上の座標と、カメラ１０２Ｂによって撮影された画像の座標と、の対応関係を特定する処理である。

具体的には、カメラ１０２Ｂは必ずしもスクリーン１２０に対して正対していないため、長方形の画像が出力されてもそれが歪んだ四角形として撮影される場合がある。この場合、撮影された画像の中で、本来長方形として出力されたはずの図形の四隅の位置がわかれば、どのように画像が歪んでいるかがわかり、歪んでいる画像を本来の歪んでいない画像に変換するための式を特定することができる。ステップ５０１において実行される処理の詳細について、図６を参照して説明する。

図６は、本発明の実施形態の情報管理システムによって実行される、画像補正式の算出処理のフローチャートである。

まず、ＰＣ１０１の表示部２０４が、画面の四隅に輝点を表示する画像のデータを出力し、プロジェクタ１０３がそれをスクリーン１２０上に表示する（ステップ６０１）。

次に、カメラ１０２Ｂが、その画像が表示されたスクリーン１２０を撮影する（ステップ６０２）。

次に、ＰＣ１０１が撮影された四輝点によって特定される四角形を本来の比率の長方形に変換する式（画像補正式）を特定する（ステップ６０３）。具体的には、ＰＣ１０１の通信部２０１がカメラ１０２Ｂから撮影された画像データを取得し、画像認識部２０２が取得した画像における四輝点の位置を特定し、処理部２０３が、出力した画像における四輝点の位置と、撮影された画像における四輝点の位置とを比較することによって、画像補正式を特定する。

なお、上記のように長方形の四隅に相当する四輝点を表示する方法は、所定のパターンの画像を表示して、それに基づいて特定画像補正式を特定する方法の一例であり、所定のパターンとして上記の四輝点以外のパターンを用いてもよい。

続いて、図５のステップ５０２以降の処理を説明する。

ステップ５０１が実行された後、プロジェクタ１０３は、複数の電子ファイルの画像（例えば画像１２１Ａ〜１２１Ｅ）をスクリーン１２０に投影する（ステップ５０２）。

次に、カメラ１０２Ｂは、付箋紙が貼付されたスクリーン１２０（例えば、図４に示す付箋紙１１１Ａが貼付されたスクリーン１２０）を撮影する（ステップ５０３）。具体的には、カメラ１０２Ｂの撮像部２０６Ｂがスクリーン１２０を撮影し、通信部２０７Ａが撮影した画像データをＰＣ１０１に送信する。ＰＣ１０１の通信部２０１がその画像データを受信し、後述するように、画像認識部２０２及び処理部２０３等がその画像データに対する処理を行う。

次に、ＰＣ１０１は、カメラ１０２Ｂがスクリーン１２０を撮影した時刻におけるスクリーンデータ（具体的には、カメラ１０２Ｂがスクリーン１２０を撮影した時刻における、スクリーン１２０に投影された画像のレイアウトを特定できる情報）を取得し、それをストレージ１０４に保持する（ステップ５０４）。

具体的には、ＰＣ１０１の処理部２０３が、スクリーン１２０に表示される電子ファイルの画像の表示位置を示すデータをＰＣ１０１のオペレーティングシステム（図示省略）から取得する。このデータに基づいて、スクリーン１２０上の任意の点がどの電子ファイルの画像に含まれるかを特定できる。

カメラ１０２Ｂは、ステップ５０３の撮影と同時に、ＰＣ１０１に対して所定の信号を送り、ＰＣ１０１の処理部２０３はその信号を受信するとスクリーンデータを保存する。あるいは、処理部２０３がスクリーンデータをリアルタイムで記録し、カメラ１０２Ｂが撮影を行った時刻とスクリーンデータの記録時刻とを照合して、撮影時刻と一致する（又は最も近い）記録時刻を有するスクリーンデータを保存してもよい。

次に、ＰＣ１０１の処理部２０３は、ステップ５０３において撮影された画像を、ステップ５０１において特定された画像補正式によって補正する（ステップ５０５）。

次に、ＰＣ１０１の画像認識部２０２は、補正された画像を認識し、付箋紙（図４の例では付箋紙１１１Ａ）の画像を切り出す（ステップ５０６）。このような、撮影された画像から特定の画像の部分を抽出する処理は、公知の画像認識技術を用いて実現することができる。

次に、ＰＣ１０１の処理部２０３は、スクリーン１２０上の付箋紙１１１Ａの位置を特定する（ステップ５０７）。例えば、処理部２０３は、左上の角の位置を付箋紙１１１Ａの位置として特定してもよい。

次に、ＰＣ１０１の処理部２０３は、ステップ５０４で取得したスクリーンデータを用いて、付箋紙１１１Ａの位置に表示されていた電子ファイル（図４の例では電子ファイル１２１Ｅ）を特定する（ステップ５０８）。具体的には、処理部２０３は、ステップ５０７で特定された付箋紙１１１Ａの位置が、ステップ５０４で取得したスクリーンデータによって特定される画像１２１Ｅの表示領域内である場合、電子ファイル１２１Ｅを付箋紙１１１Ａに関連する電子ファイルとして特定する。

実際のスクリーン１２０には、多数の画像が隙間なく表示されている場合があり、そこに付箋紙を貼付すると、一つの付箋紙が複数の画像に跨ることとなり、画像との関連付けが難しくなる。上記のように付箋紙の所定の一点（例えば左上の角）の位置を付箋紙の位置として扱うことによって、一つの付箋紙が複数の画像に跨る場合であってもそれを所望の電子ファイルと正しく対応付けることができる。

なお、上記のステップ５０７及び５０８は、付箋紙と電子ファイルの画像との位置関係に基づいて付箋紙に関連する電子ファイルを特定する処理の一例であり、上記以外の方法によって付箋紙に関連する電子ファイルが特定されてもよい。例えば、処理部２０３は、付箋紙１１１Ａの左上の角ではなく、右上の角、左下の角、右下の角、のいずれかの位置を付箋紙１１１Ａの位置として特定してもよいし、付箋紙の少なくとも一部が電子ファイルの画像の領域に含まれていれば、その電子ファイルを付箋紙に関連するものとして特定してもよい。

あるいは、処理部２０３は、付箋紙１１１Ａの左上の角、右上の角、左下の角、右下の角、の全部を付箋紙１１１Ａの位置として特定してもよい。その場合、処理部２０３は、電子ファイルの画像と重なる付箋紙１１１Ａの角の位置に応じて、電子ファイルと付箋紙１１１Ａとの関連の種類を判定してもよい。

例えば、処理部２０３は、付箋紙１１１Ａの左上の角が画像１２１Ｅの領域に含まれる場合、電子ファイル１２１Ｅを付箋紙１１１Ａに関連する電子ファイルとして特定し、さらに、その関連の種類が第１の関連の種類であると特定し、付箋紙１１１Ａの右上の角が画像１２１Ｅの領域に含まれる場合、電子ファイル１２１Ｅを付箋紙１１１Ａに関連する電子ファイルとして特定し、さらに、その関連の種類が第２の関連の種類であると特定してもよい。この場合、特定された関連の種類を示す情報が、付箋紙１１１Ａと電子ファイル１２１Ｅとを関連付ける情報に含めて登録される。情報管理システムのユーザは、画像１２１Ｅの領域に重なるように貼付する付箋紙１１１Ａの角を選択することによって、登録される関連の種類を選択することができる。

さらに、付箋紙に関連する電子ファイルが特定されるだけでなく、付箋紙に関連するその電子ファイルのデータ範囲が特定されてもよい。このようなデータ範囲の特定については後述する。

次に、処理部２０３（又は画像認識部２０２）は、付箋紙１１１Ａの画像から、そこに記載された文字列（図４の例では「ユーザが困惑」）を認識する（ステップ５０９）。これは、公知の光学文字認識技術によって実現することができる。

次に、処理部２０３（又は画像認識部２０２）は、付箋紙（図４の例では付箋紙１１１Ａ）の画像から、付箋紙の識別情報（ＩＤ）を特定する（ステップ５１０）。例えば、処理部２０３は、画像認識部２０２が行った付箋紙の画像認識の結果に応じてＩＤを特定してもよい。具体的には、例えば、処理部２０３は、二つの付箋紙の画像が類似する（すなわちそれらの特徴量の類似度が所定の値を超える）場合、それらの二つの画像が同一の付箋紙の画像であると判定して、それらに同一のＩＤを与えてもよい。

あるいは、処理部２０３は、付箋紙の画像から抽出されたテキストに応じてＩＤを特定してもよい。具体的には、例えば、処理部２０３は、二つの付箋紙の画像から抽出された文字列が同一である場合に、それらの二つの画像が同一の付箋紙の画像であると判定して、それらに同一のＩＤを与えてもよい。

同一の付箋紙が複数回にわたって撮影されたために複数の画像が得られる場合があるが、上記のような画像の類似又は抽出されたテキストの一致に基づく方法によれば、それらの画像が同一の付箋紙の画像として識別される。

なお、上記のように、画像の類似又は抽出されたテキストの一致に基づく識別方法が採用された場合、画像の特徴量の情報又は抽出されたテキストそのものが画像の識別情報として使用されてもよい。

あるいは、処理部２０３は、付箋紙の一部の領域に表示された識別情報（例えば図７参照）を読み取ることによって、付箋紙を識別してもよい。

図７は、本発明の実施形態の情報管理システムにおいて使用される付箋紙に表示された識別情報の具体例の説明図である。

例えば、図７に示すように、付箋紙１１１Ａの周囲の領域に付箋紙１１１Ａを識別するためのパターンが表示されてもよい。この例では付箋紙１１１Ａの周囲に領域７０１〜７０８が設けられ、それぞれの領域が塗りつぶされているか否かによって付箋紙１１１Ａが識別される。この方法によれば、２５６枚の付箋紙を一意に識別することができる。

このような識別情報の表示は一例であり、例えば、バーコード、２次元バーコード、又は、識別番号を示す数字等が付箋紙の所定の領域に表示され、それによる識別が行われてもよい。このように、誤認識が起こりにくい識別情報を付箋紙の一部の領域に表示し、その識別情報を用いて付箋紙を識別し、それ以外の領域の画像情報及びテキスト情報を付箋紙の識別に用いないことによって、付箋紙の記載内容が例えば誤記の訂正等のために変更された場合であっても、変更前と変更後の付箋紙の画像を同一の付箋紙の画像として識別することができる。

次に、ＰＣ１０１の処理部２０３は、付箋紙と、それに関連すると特定された電子ファイルと、を関連付ける情報を関連管理データベース（ＤＢ）８００（図８参照）に登録する（ステップ５１１）。例えば、図４に示すように、付箋紙１１１Ａと電子ファイル１２１Ｅとが関連すると特定された場合、付箋紙１１１ＡのＩＤと、付箋紙１１１Ａの画像データと、電子ファイル１２１Ｅの識別情報と、を関連付ける情報が関連管理ＤＢ８００に登録される。関連管理ＤＢ８００は、電子ファイル１２１Ｅ等と同様にストレージ１０４に格納されてもよいし、それとは別にＰＣ１０１の記憶装置３０２に格納されてもよい。

上記のように、付箋紙が貼付されたスクリーン１２０を撮影した時刻のスクリーンデータを取得し（ステップ５０４）、撮影された画像からスクリーン１２０上の付箋紙の位置を特定し（ステップ５０７）、それらを照合することによって、スクリーン１２０上に複数の電子ファイルの画像が表示されていた場合であっても、貼付された付箋紙に関連付けられるべき電子ファイルを正しく特定することができる（ステップ５０８）。この特定を行うために、撮影された画像に含まれる電子ファイルの表示画像（例えばカメラ１０２Ｂが撮影した画像１２１Ｅ等）を認識する必要がないため、仮に複数の電子ファイルが同一の画像を含んでいたとしても、誤った電子ファイルを特定することはない。

図８は、本発明の実施形態の情報管理システムによって保持される関連管理ＤＢ８００の説明図である。

本実施形態の関連管理ＤＢ８００は、ＩＤ８０１、時刻８０２、画像８０３、特徴量８０４、テキスト８０５、関連ファイル８０６、元画像８０７及び切り出し位置８０８の各項目のデータを含む。

ＩＤ８０１は、図５のステップ５１０において特定された付箋紙の識別情報である。ただし、既に説明したように、画像の類似又は抽出されたテキストの一致に基づく識別方法が採用された場合、関連管理ＤＢ８００はＩＤ８０１を含まなくてもよい。

時刻８０２は、図５のステップ５０３において付箋紙が貼付されたスクリーン１２０の画像が撮影された時刻である。

画像８０３は、図５のステップ５０６において切り出された付箋紙の画像の識別情報である。図８の画像８０３は付箋紙の画像のファイル名を示すが、その画像のファイルの所在を示すパス名を含んでもよい。

特徴量８０４は、画像認識部２０２によって抽出される付箋紙の画像の特徴量である。この特徴量は、ＩＤ８０１の値を決定するために使用されてもよい（図５のステップ５１０）。特徴量としては、ＳＵＲＦ（Speeded-Up Robust Features）特徴量又はＳＩＦＴ（Scale-Invariant Feature Transform）特徴量といった公知のものを使用することができる。

テキスト８０５は、図５のステップ５０９において認識されたものであり、特徴量８０４と同様、ＩＤ８０１の値を決定するために使用することができる。

関連ファイル８０６は、図５のステップ５０８において特定された、付箋紙に関連する電子ファイルの識別情報、具体的には例えばその電子ファイルのファイル名であり、その電子ファイルの所在を示すパス名を含んでもよい。図５を参照して説明したように、関連の種類が特定された場合には、その関連の種類ごとに（図８の例では、「種別１」「種別２」等に分類して）電子ファイルの識別情報を登録することができる。さらに、付箋紙に関連する電子ファイルのデータ範囲が特定された場合には、そのデータ範囲（例えばページ番号、又は動画のフレーム番号等）を示す情報が登録されてもよい。

図８の例では一つの付箋紙の画像８０３に関連する一つの電子ファイルの識別情報が登録されているが、一つの付箋紙の画像８０３に関連する複数の電子ファイルの識別情報が登録されてもよい。

元画像８０７は、付箋紙の画像が切り出される前の、付箋紙を含むスクリーン１２０の画像の識別情報、すなわち、図５のステップ５０３において撮影された画像（又はステップ５０５において補正された画像）の識別情報である。

切り出し位置８０８は、ステップ５０６において切り出された付箋紙の画像の元画像における位置であり、例えば、切り出された長方形の付箋紙の画像の左上と右下の角の座標値である。

図８の例では、レコード８１１及びレコード８１２に、それぞれ、ＩＤ８０１の値「１」及び「２」によって識別される、異なる付箋紙に関する情報が登録されている。ここでは、ＩＤ「１」によって識別される付箋紙が、文字列「ユーザが困惑」が記載された付箋紙１１１Ａであり、ＩＤ「２」によって識別される付箋紙が、文字列「店員が無知」が記載された付箋紙１１１Ｂである場合について説明する。

レコード８１１に登録されたＩＤ「１」によって識別される付箋紙１１１Ａの画像のファイル名は「ｘ．ｊｐｇ」であり、その付箋紙に、電子ファイル「Ｅ」の「ｓ−ｅ」が関連付けられている。この例において、電子ファイル「Ｅ」（例えば電子ファイル１２１Ｅ）は動画ファイルであり、「ｓ−ｅ」はｓ番目のフレームからｅ番目のフレームまでの範囲を示す。一方、レコード８１２に登録されたＩＤ「２」によって識別される付箋紙１１１Ｂの画像のファイル名は「ｙ．ｊｐｇ」であり、その付箋紙に、電子ファイル「Ｃ」の「ｐ．３」が関連付けられている。この例において、電子ファイル「Ｃ」（例えば電子ファイル１２１Ｃ）は複数のページを含む静止画のファイルであり、「ｐ．３」は３番目のページを示す。

レコード８１３には、レコード８１１に登録されたものと同じ付箋紙（すなわちＩＤ「１」によって識別される付箋紙１１１Ａ）に関する情報が登録されている。レコード８１３に登録されたＩＤ「１」によって識別される付箋紙の画像のファイル名は「ｚ．ｊｐｇ」であり、その付箋紙に、電子ファイル「Ｃ」の「ｐ．３」が関連付けられている。

これは、例えば、電子ファイル「Ｅ」のフレームｓからフレームｅまでの画像と重なるようにスクリーン１２０に貼付された付箋紙１１１Ａをカメラ１０２Ｂが撮影し、その後、情報管理システムのユーザが付箋紙１１１Ｂを電子ファイル「Ｃ」の第３ページの画像と重なるように貼付して、その付箋紙１１１Ｂをカメラ１０２Ｂが撮影し、さらにその後、情報管理システムのユーザが付箋紙１１１Ａを電子ファイル「Ｃ」の第３ページの画像と重なるように貼り替えて、その付箋紙１１１Ａをカメラ１０２Ｂが撮影したことを意味する。それらの撮影の間に付箋紙１１１Ａが書き換えられていなければ、レコード８１１の特徴量８０４「ｘｘｘｘ」とレコード８１３の特徴量８０４「ｚｚｚｚ」とは類似するはずである。

なお、付箋紙１１１Ａと電子ファイル「Ｅ」のフレームｓからフレームｅまでの画像とを関連付ける処理は、例えば次のように行われる。まず、プロジェクタ１０３が電子ファイル「Ｅ」の動画をフレームｓで静止した状態でスクリーン１２０に表示し、ユーザが付箋紙１１１Ａをその画像と重なるように貼付して、カメラ１０２Ｂが撮影する。次に、付箋紙１１１Ａはそのままで、プロジェクタ１０３が電子ファイル「Ｅ」のフレームｅをスクリーン１２０に表示し、それをカメラ１０２Ｂが撮影する。これによって、付箋紙１１１Ａと関連付けられる動画ファイルの範囲の始点と終点が登録される。

電子ファイル「Ｅ」が複数ページのテキスト情報又は静止画像情報を含む場合にも、上記と同様の方法で開始ページ及び終了ページを指定することによって、付箋紙１１１Ａに関連付けられる電子ファイル「Ｅ」の範囲を登録することができる。

また、レコード８１１の関連ファイル８０６の電子ファイル「Ｅ」は「種別１」に分類され、レコード８１３の関連ファイル８０６の電子ファイル「Ｃ」は「種別２」に分類されている。これは、例えば、情報管理システムのユーザが電子ファイル「Ｅ」の画像と付箋紙１１１Ａの左上の角とが重なるように付箋紙１１１Ａを貼付し、電子ファイル「Ｃ」の画像と付箋紙１１１Ａの右上の角とが重なるように付箋紙１１１Ａを貼付したことを意味する。

次に、関連電子ファイル表示処理について説明する。

図９は、本発明の実施形態の情報管理システムによって実現される関連電子ファイル表示処理の概要の説明図である。

図９に示す付箋紙１１１Ａ等が貼付された模造紙１１０は、図１に示したものと同様である。カメラ１０２Ａは、関連ファイルの表示対象の付箋紙を含む少なくとも一つの付箋紙を撮影する。この撮影は、関連ファイルの表示対象の付箋紙が特定可能となるように行われる。例えば、カメラ１０２Ａが関連ファイルの表示対象である一つの付箋紙のみを撮影してもよい。カメラ１０２Ａが複数の付箋紙を撮影する場合、例えば、情報管理システムのユーザが関連ファイルの表示対象の付箋紙を指示する。具体的には、例えば、ユーザが関連ファイルの表示対象の付箋紙（例えば付箋紙１１１Ａ）を指差した（又は、指し棒若しくはレーザポインタ等によって指示した）状態をカメラ１０２Ａが撮影してもよい。

ＰＣ１０１は、撮影された画像を認識することによって、指示された付箋紙を特定し、その付箋紙に関連付けられた電子ファイル（例えば電子ファイル１２１Ｅ）を特定し、プロジェクタ１０３がその電子ファイルの画像（例えば画像１２１Ｅ）をスクリーン１２０に表示する。

なお、図９には画像１２１Ｅが図４と同様のスクリーン１２０に表示される例を示したが、スクリーン１２０以外の出力装置によっては画像１２１Ｅが表示されてもよい。例えば、ＰＣ１０１の入出力装置３０４に含まれる表示装置によって画像１２１Ｅが表示されてもよい。

次に、関連電子ファイル表示処理の詳細について、図１０等を参照して説明する。ここでは、図９に示すように、画像１２１Ｅに関連付けられた付箋紙１１１Ａが指示された場合を例示しながら説明する。

図１０は、本発明の実施形態の情報管理システムによって実行される関連電子ファイル表示処理のフローチャートである。

最初に、カメラ１０２Ａが、複数の付箋紙１１１Ａ等が貼付された模造紙を撮影する（ステップ１００１）。このとき、関連ファイルの表示対象の付箋紙はまだ指示されていない。次に、ステップ１００１で撮影された画像をＰＣ１０１がカメラ１０２Ａから取得し、その画像を補正して保存する（ステップ１００２）。ステップ１００２の補正は、図５のステップ５０１及び５０５と同様の目的で行われるものである。このため、ステップ１００２は、ステップ５０１における四輝点の代わりに所定の長方形（例えば模造紙１１０自体の輪郭）を利用することによって、ステップ５０１と同様の方法で実行されてもよい。

次に、カメラ１０２Ａが、ユーザによって指示された関連ファイルの表示対象の付箋紙を含む画像（すなわち、ユーザの指、指し棒又はレーザポインタ等によって模造紙１１０上の点を指示する情報を含む画像）を撮影し、ＰＣ１０１がその画像から指示された位置を特定する（ステップ１００３）。そして、ＰＣ１０１は、特定された位置に基づいて、指示された位置に貼付されている付箋紙を特定する（ステップ１００４）。指示された位置は、画像認識部２０２が画像に含まれるユーザの指等を認識することによって特定される。

例えば、ユーザが対象の付箋紙１１１Ａを指差した場合、付箋紙１１１Ａの表面の一部がユーザの指９０１によって隠れるため、ステップ１００４で撮影された付箋紙１１１Ａの画像を用いて、付箋紙を識別するための画像のマッチングを実行することができない。このため、ステップ１００４では指示された位置のみを特定し、その位置に貼付されていた付箋紙１１１Ａはステップ１００１において撮影された画像に基づいて特定される。

次に、ＰＣ１０１は、ステップ１００４において特定された付箋紙（例えば付箋紙１１１Ａ）の画像を、ステップ１００１において撮影された画像から切り出す（ステップ１００５）。この切り出しの具体的な方法は図５のステップ５０６と同様であってよい。

次に、ＰＣ１０１は、ステップ１００５において切り出された付箋の画像に関連付けられた電子ファイルの識別情報を関連管理ＤＢ８００から取り出す（ステップ１００６）。例えば、図７に示したような識別情報に基づいて付箋紙が識別される場合、ＰＣ１０１の画像認識部２０２がステップ１００５において切り出された画像を認識して識別情報を抽出し、処理部２０３がその識別情報と一致するＩＤ８０１を有するレコードの関連ファイル８０６に登録された電子ファイルの識別情報を取り出してもよい。あるいは、画像の類似又は抽出されたテキストの一致に基づいて付箋紙が識別される場合、ＰＣ１０１の画像認識部２０２がステップ１００５において切り出された画像を認識してその画像の特徴量又はテキストを抽出し、それと一致又は類似する特徴量８０４又はテキスト８０５を有するレコードを処理部２０３が特定し、そのレコードの関連ファイル８０６に登録された電子ファイルの識別情報を取り出してもよい。

次に、プロジェクタ１０３が、ステップ１００６において特定された電子ファイルの画像（例えば画像１２１Ｅ）をスクリーン１２０に表示する（ステップ１００７）。具体的には、ＰＣ１０１のファイル検索部２０５が、ステップ１００６において取り出された識別情報によって識別される電子ファイル（例えば電子ファイル１２１Ｅ）をストレージ１０４から読み出し、表示部２０４がその電子ファイルの表示をプロジェクタ１０３に指示する。これによって、例えば、ユーザによって指示された付箋紙１１１Ａに関連する電子ファイルの画像１２１Ｅがスクリーン１２０に表示される。

なお、図８の例では、ＩＤ「１」によって識別される付箋紙に、ファイル「Ｅ」及びファイル「Ｃ」の二つが関連付けられている。このような場合において、ユーザがＩＤ「１」によって識別される付箋紙を指示した場合、ファイル検索部２０５は、ファイル「Ｅ」及びファイル「Ｃ」を検索し、表示部２０４は、それらの二つのファイルの画像を並べてスクリーン１２０上に表示するようにプロジェクタ１０３に指示してもよい。この例において、ファイル「Ｅ」及びファイル「Ｃ」はそれぞれ種別１及び種別２に分類されているため、ユーザからさらに表示すべき種別が指定された場合には、その指定された種別に該当するファイルの画像をスクリーン１２０上に表示してもよい。あるいは、それぞれのファイルの画像と、それぞれのファイルの種別を示す情報と、をスクリーン１２０上に表示してもよい。

以下、関連登録処理及び関連電子ファイル表示処理の変形例について説明する。

既に説明したように、本実施形態の情報管理システムは、例えばシステム開発の上流工程におけるワークショップの支援に用いることができる。実際のワークショップでは、複数の付箋紙１１１Ａ等が、それらの相互の関係に応じた模造紙１１０上の位置に配置され、さらに、必要に応じてその関係を示す線、図形又は記号等が模造紙１１０上に表示されることがある。このような場合に、模造紙１１０上の複数の付箋紙１１１Ａ等の配置、及び、模造紙１１０上に記載された線、図形又は記号等のパターンを認識することによって、複数の付箋紙１１１Ａ等の相互の関係を特定し、登録することができる。さらに、特定された関係に基づいて、指示された付箋紙に関連する電子ファイルを表示することもできる。このような付箋紙間の関係の登録及びそれに基づく表示について、図１１〜図１３を参照して説明する。

図１１は、本発明の実施形態の情報管理システムが付箋間の関係を認識して登録する処理の説明図である。

図１１には、複数の付箋紙１１１Ａ等を含む木構造が模造紙１１０上に表示される例を示す。この例において、模造紙１１０には付箋紙１１１Ａ〜１１１Ｅが貼付され、さらに、各付箋紙の木構造における親子関係を示す線１１０１が模造紙１１０上に表示される。この例において、付箋紙１１１Ａの子は付箋紙１１１Ｂ及び１１１Ｃであり、付箋紙１１１Ｂの子は付箋紙１１１Ｄ及び１１１Ｅである。これらの付箋紙１１１Ａ〜１１１Ｅ及び線１１０１がカメラ１０２Ａによって撮影される。例えば、ＰＣ１０１の画像認識部２０２が付箋紙１１１Ａ〜１１１Ｅ及び線１１０１の画像を認識し、処理部２０３がその認識結果に基づいて上記の親子関係を特定し、その親子関係を示す情報を例えばストレージ１０４に登録する。

具体的には、例えば、処理部２０３は、認識された付箋紙１１１Ａ〜１１１Ｅの画像にそれぞれコード「Ｃ１」〜「Ｃ５」を与え、さらに模造紙１１０全体の認識結果から特定された上記の親子関係をコード「Ｃ１」〜「Ｃ５」によって表現するテーブル１１０２を登録してもよい。

なお、上記のコードの付与は、図５のステップ５１０と同様の方法によって行うことができる。このため、上記のコードの代わりに関連管理ＤＢ８００のＩＤ８０１を用い、テーブル１１０２を作成する代わりに、関連管理ＤＢ８００に各付箋紙の親付箋紙及び子付箋紙のＩＤを登録するフィールドを追加してもよい。

図１２は、本発明の実施形態の情報管理システムが付箋間の関係を認識して登録する処理の別の例の説明図である。

図１１には木構造が模造紙１１０上に表示される例を示したが、他の構造が表示される場合もある。図１２には、複数の付箋紙１１１Ａ等を含むマトリクスが表示される例（図１２（Ａ））、プロセスが表示される例（図１２（Ｂ））及び包含関係を示す図が表示される例（図１２（Ｃ））を示す。

図１２（Ａ）の例では、付箋紙１１１Ａが「い」行の「Ａ」列に、付箋紙１１１Ｂが「ろ」行の「Ｂ」列に、付箋紙１１１Ｃが「い」行の「Ｃ」列に、付箋紙１１１Ｄが「は」行の「Ｂ」列に、付箋紙１１１Ｅが「は」行の「Ｃ」列に、それぞれ配置される。この場合、図１１の例と同様に各付箋紙にコードが与えられ、それぞれの付箋紙が属する行及び列を示すテーブル１２０１が作成及び登録される。図１１の場合と同様、テーブル１２０１の代わりに、各付箋紙が属する行及び列を登録するフィールドが関連管理ＤＢ８００に追加されてもよい。

図１２（Ｂ）の例では、付箋紙１１１Ａ〜１１１Ｄが左から右方向に一列に並べられ、さらに、付箋紙１１１Ｄの下に付箋紙１１１Ｅが配置され、付箋紙１１１Ｃから付箋紙１１１Ｅに向かう矢印１２０２が記載されている。この左右方向の配置及び矢印は、前後関係（例えば各付箋紙に記載された課題が発生する順序）を示しており、付箋紙１１１Ａの後に付箋紙１１１Ｂが、付箋紙１１１Ｂの後に付箋紙１１１が、付箋紙１１１Ｃの後に付箋紙１１１Ｄ及び１１１Ｅが、それぞれ対応付けられる。この場合も、図１１の例と同様に各付箋紙にコードが与えられ、このプロセス図によって特定される付箋紙の前後関係を示すテーブル１２０３が作成及び登録される。また、図１１の場合と同様、テーブル１２０３の代わりに、各付箋紙の前後の付箋紙のＩＤを登録するフィールドが関連管理ＤＢ８００に追加されてもよい。

図１２（Ｃ）の例では、付箋紙１１１Ｂ及び１１１Ｃが付箋紙１１１Ａに包含され、付箋紙１１１Ｄが付箋紙１１１Ａに包含されることを示す図形１２０４が表示されている。これは、例えば付箋紙１１１Ｂ及び１１１Ｃに記載された課題が付箋紙１１１Ａに記載された課題に包含され、付箋紙１１１Ｄに記載された課題が付箋紙１１１Ａに記載された課題に包含されることを意味する。この場合も、図１１の例と同様に各付箋紙にコードが与えられ、付箋紙の包含関係（親子関係）を示すテーブル１２０５が作成及び登録される。また、図１１の場合と同様、テーブル１２０５の代わりに、各付箋紙を包含する付箋紙及び各付箋紙に包含される付箋紙のＩＤを登録するフィールドが関連管理ＤＢ８００に追加されてもよい。

図１３は、本発明の実施形態の情報管理システムが付箋間の関係に基づいて電子ファイルの画像を表示する処理の説明図である。

図１３には、例として、図１１に示す木構造に基づいてテーブル１１０２に示す付箋紙間の関係が登録された場合の電子ファイルの表示を示す。この例において、さらに、付箋紙１１１Ｄ及び１１１Ｅにそれぞれ電子ファイル１３０１及び１３０２が関連付けられているが、付箋紙１１１Ｂには電子ファイルが関連付けられていない。この場合において、付箋紙１１１Ｂがユーザによって指示された場合（図１０のステップ１００３）、図１０で説明した関連電子ファイル表示処理によれば、付箋紙１１１Ｂに関連付けられている電子ファイルがないため、スクリーン１２０には画像が表示されない。しかし、図１３の例では、付箋紙１１１Ｂの子に相当する付箋紙１１１Ｄ及び１１１Ｅに関連付けられた電子ファイル１３０１及び１３０２の画像がスクリーン１２０に表示される。

このように表示される範囲をユーザが指定してもよい。例えば、ユーザは、１世代下の子の付箋紙に関連付けられた電子ファイルを表示する、２世代下までの子の付箋紙に関連付けられた電子ファイルを表示する、１世代上の親の付箋紙に関連付けられた電子ファイルと１世代下の子の付箋紙に関連付けられた電子ファイルの両方を表示する、等の条件を指定してもよい。

次に、電子ファイルが関連付けられた付箋紙を、さらに任意のオブジェクトに関連付けて、その関連付けに基づいて電子ファイルを表示する例について図１４及び図１５を参照して説明する。

図１４は、本発明の実施形態の情報管理システムがオブジェクトと付箋紙とを関連付ける処理の説明図である。

図１４に示す図表１４０１は、例えば、ワークショップにおいて作成された業務フローの全体俯瞰図等であり、模造紙１１０に貼付された付箋紙の記載内容及び模造紙１１０に書き込まれた図等を清書したものであってもよいし、紙に印刷されたものであってもスクリーン１２０等に表示されたものであってもよい。この図表１４０１に、例えば、「困惑」という文字列を含む星型の図形のオブジェクト１４０２が表示されている。

例えば、このオブジェクト１４０２が、ワークショップで使用された付箋紙１１１Ａに関連するものである場合、ユーザは、付箋紙１１１Ａをオブジェクト１４０２に重なるように（具体的には例えば付箋紙１１１Ａの左上の角がオブジェクト１４０２の範囲に含まれるように）貼付し、それをカメラ１０２Ａ（又はカメラ１０２Ｂ）が撮影する。

ＰＣ１０１は、図５に示したものと同様の方法によって、付箋紙１１１Ａとオブジェクト１４０２とを関連付ける。具体的には、例えば、関連管理ＤＢ８００に、付箋紙１１１Ａとオブジェクト１４０２とを関連付ける情報を追加してもよい。付箋紙１１１Ａには既に電子ファイル１２１Ｅが関連付けられているため、結局、付箋紙１１１Ａを介してオブジェクト１４０２と電子ファイル１２１Ｅとが関連付けられる。

図１５は、本発明の実施形態の情報管理システムがオブジェクトに関連付けられた電子ファイルの画像を表示する処理の説明図である。

図１４に示すようにオブジェクト１４０２と電子ファイル１２１Ｅとが関連付けられた後、ユーザがオブジェクト１４０２を指示し、それをカメラ１０２Ａ（又はカメラ１０２Ｂ）が撮影する。ＰＣ１０１は、撮影された画像を取得し、図１０に示したものと同様の方法によって、指示されたオブジェクト１４０２を特定し、関連管理ＤＢ８００に基づいて、オブジェクト１４０２に関連付けられた電子ファイル１２１Ｅを特定し、特定された電子ファイル１２１Ｅの画像の表示をプロジェクタ１０３に指示する。プロジェクタ１０３は、電子ファイル１２１Ｅの画像をスクリーン１２０に表示する。なお、図９の場合と同様、プロジェクタ１０３及びスクリーン１２０の代わりに別の表示装置が使用されてもよい。

以上の通り、本発明の実施形態の情報管理システムは、スクリーン上に複数の電子ファイルが表示されている場合であっても、付箋と電子ファイルとの関連を適切に特定し、記録することができる。さらに、付箋が指示されたことを検出して、それに関連する電子ファイルを出力することができる。

１０１ パーソナルコンピュータ（ＰＣ）
１０２Ａ、１０２Ｂ カメラ
１０３ プロジェクタ
１０４ ストレージ
１１０ 模造紙
１１１Ａ〜１１１Ｅ 付箋紙
１２０ スクリーン
１２１Ａ〜１２１Ｅ 電子ファイルの画像

Claims (8)

1. 計算機と、前記計算機に接続される第１カメラと、前記計算機に接続される画像表示装置と、を有する情報管理システムによって実行される情報管理方法であって、
   前記計算機は、前記第１カメラに接続される通信部と、前記通信部に接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有し、
   前記情報管理方法は、
   前記画像表示装置が、前記計算機によって出力された複数の電子ファイルの画像を画面上に表示する第１手順と、
   前記第１カメラが、付箋が貼られた前記画面を撮影する第２手順と、
   前記プロセッサが、前記画面が撮影された時刻に前記画像表示装置が表示した画像のデータを取得する第３手順と、
   前記プロセッサが、前記第２手順において撮影された画像から、前記付箋の画像のデータを抽出する第４手順と、
   前記プロセッサが、前記撮影された画面において前記付箋が貼られた位置を特定する第５手順と、
   前記プロセッサが、前記画面が撮影された時刻に前記画像表示装置が表示した画像に含まれる前記複数の電子ファイルの画像の表示位置と、前記付箋が貼られた位置と、の関係に基づいて、前記付箋に関連する電子ファイルを特定する第６手順と、
   前記プロセッサが、前記付箋の画像のデータに基づいて、前記付箋の識別情報を特定する第７手順と、
   前記プロセッサが、前記付箋の識別情報と、前記付箋の画像のデータと、前記付箋に関連する電子ファイルと、を関連付ける管理情報を、前記記憶装置に格納する第８手順と、を含み、
   前記第６手順は、前記プロセッサが、前記付箋に関連する電子ファイルの画像のうち、前記付箋に関連する範囲を特定する手順を含み、
   前記第８手順は、前記付箋の画像のデータと、前記特定された範囲を示す情報と、を関連付ける情報を含む前記管理情報を、前記記憶装置に格納する手順を含むことを特徴とする情報管理方法。
2. 前記情報管理方法は、さらに、
   前記画像表示装置が、前記計算機によって出力された所定のパターンの画像を表示する手順と、
   前記第１カメラが、前記所定のパターンの画像を撮影する手順と、
   前記プロセッサが、前記撮影された所定のパターンの画像に基づいて、前記計算機によって出力された画像と前記画像表示装置によって表示された画像との対応関係を特定する手順と、を含み、
   前記第６手順は、前記プロセッサが、前記特定された対応関係に基づいて、前記計算機が出力した画像から前記複数の電子ファイルの画像の表示位置を特定する手順を含むことを特徴とする請求項１に記載の情報管理方法。
3. 前記情報管理方法は、さらに、
   前記プロセッサが、文字認識を行うことによって、前記付箋の画像のデータからテキスト情報を抽出する手順を含み、
   前記第８手順は、前記プロセッサが、前記付箋の画像のデータと、前記抽出されたテキスト情報と、を関連付ける情報を含む前記管理情報を、前記記憶装置に格納する手順を含むことを特徴とする請求項１に記載の情報管理方法。
4. 前記付箋は、前記付箋を識別するための情報が表示された領域を含み、
   前記第７手順は、前記プロセッサが、前記付箋を識別するための情報を認識することによって、前記付箋の識別情報を特定する手順を含むことを特徴とする請求項１に記載の情報管理装置。
5. 前記情報管理システムは、さらに、前記計算機に接続される第２カメラを有し、
   前記情報管理方法は、さらに、
   前記第２カメラが、前記付箋を含む領域を撮影する第９手順と、
   前記プロセッサが、前記第９手順において撮影された画像から、前記付箋の画像のデータを抽出する第１０手順と、
   前記プロセッサが、前記付箋の画像のデータに基づいて、前記付箋の識別情報を特定し、前記特定された識別情報及び前記管理情報に基づいて、前記付箋に関連付けられた電子ファイルを特定する第１１手順と、
   前記画像表示装置が、前記特定された電子ファイルの画像を表示する第１２手順と、を含むことを特徴とする請求項１に記載の情報管理方法。
6. 前記第９手順において撮影された前記領域の画像は、複数の前記付箋の画像、及び、前記領域内の点を指示する画像を含み、
   前記第１０手順は、前記第２カメラが、前記付箋を含む領域内の点を指示する情報を含む画像を撮影する手順と、前記前記プロセッサが、前記付箋を含む領域内の点を指示する情報を含む画像に基づいて、前記指示された点の位置に貼られた付箋を特定し、前記特定された付箋の画像のデータを抽出する手順を含み、
   前記第１１手順は、前記プロセッサが、前記特定された付箋の識別情報を特定する手順を含むことを特徴とする請求項５に記載の情報管理方法。
7. 計算機と、前記計算機に接続される第１カメラと、前記計算機に接続される画像表示装置と、を有し、
   前記計算機は、前記第１カメラに接続される通信部と、前記通信部に接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有し、
   前記画像表示装置は、前記計算機によって出力された複数の電子ファイルの画像を画面上に表示し、
   前記第１カメラは、付箋が貼られた前記画面を撮影し、
   前記計算機は、
   前記画面が撮影された時刻に前記画像表示装置が表示した画像のデータを取得し、
   前記撮影された画像から、前記付箋の画像のデータを抽出し、
   前記撮影された画面において前記付箋が貼られた位置を特定し、
   前記画面が撮影された時刻に前記画像表示装置が表示した画像に含まれる前記複数の電子ファイルの画像の表示位置と、前記付箋が貼られた位置と、の関係に基づいて、前記付箋に関連する電子ファイルを特定し、
   前記付箋に関連する電子ファイルの画像のうち、前記付箋に関連する範囲を特定し、
   前記付箋の画像のデータに基づいて、前記付箋の識別情報を特定し、
   前記付箋の識別情報と、前記付箋の画像のデータと、前記付箋に関連する電子ファイルと、を関連付ける管理情報を、前記記憶装置に格納し、
   前記管理情報は、前記付箋の画像のデータと、前記特定された範囲を示す情報と、を関連付ける情報を含むことを特徴とする情報管理システム。
8. 前記計算機に接続される第２カメラをさらに有し、
   前記第２カメラは、前記付箋を含む領域を撮影し、
   前記計算機は、
   前記第２カメラによって撮影された画像から、前記付箋の画像のデータを抽出し、
   前記前記第２カメラによって撮影された画像から抽出された付箋の画像のデータに基づいて、前記付箋の識別情報を特定し、前記特定された識別情報及び前記管理情報に基づいて、前記付箋に関連付けられた電子ファイルを特定し、
   前記画像表示装置は、前記特定された電子ファイルの画像を表示することを特徴とする請求項７に記載の情報管理システム。