JP6003633B2 - 会議資料作成支援プログラム，会議資料作成支援方法及び会議資料作成支援装置 - Google Patents

Description

本発明は，会議資料作成支援プログラム，会議資料作成支援方法及び会議資料作成支援装置に関する。

一般的に，会議では，パソコンなどで作成した会議資料を配付してまたはそれをプロジェクタで表示しながらプレゼンを行い，ホワイトボードに議論した内容を記録し，会議終了時にそのホワイトボードの記録をスマートホンなどの携帯端末で撮影して会議の撮影データとして保存することが行われている。そして，既に行われた会議資料と会議の撮影データを参照しながら議事録を作成したり，次回の会議資料の作成したりすることが行われている。

特開２００６−９２３６８号公報 特表２００４−５３１７９１号公報 特表２００７−５１８２９５号公報 特開２００６−２９３９３６号公報

Linking Presentation Documents Using Image Analysis, Berna Erol and Jonathan J. Hull

会議が複数回行われる場合は，上記の会議資料の準備や議事録の作成が繰り返される。そのような場合，以前の会議資料やそれに関連する撮影データを参照することが行われる。しかし，それらの関連するデータをマニュアルで抽出することは煩わしく，業務の効率化の妨げになる。

先行技術文献には，様々なデータを自動的に相互に関連付ける方法が開示されている。しかし，それらは単純に時間や場所の近さで関連付けを行うにすぎず，会議に無関係のデータまで抽出してしまい，かえって効率化の妨げになる。逆に，先行技術文献には，撮影された画像を解析して他のドキュメントとの共通キーワードを検出して関連付けを行うことも開示されている。しかし，画像解析は精度が低く且つ処理が複雑で現実的なシステムではない。

そこで，本実施の形態の目的は，会議に関連するデータを高い精度で検出し，関連するデータを効率的に抽出することができる会議資料作成支援プログラム，会議資料作成支援方法及び会議資料作成支援装置を提供することにある。

会議資料作成支援プログラムの第１の側面は，会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援処理工程をコンピュータに実行させる会議資料作成支援プログラムであって，
前記会議資料作成支援処理工程は，
入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する工程と，
入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する工程と，
ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する工程とを有する。

第１の側面によれば，会議資料作成時に関連するデータを自動で抽出して提示することができる。

本実施の形態における会議資料作成支援プログラムの全体の処理工程を示すフローチャート図である。 本実施の形態における会議資料作成支援システムの構成図である。 スマートホンなどでの撮影時のデータ取得処理のフローチャート図である。 パソコンなどでのドキュメントデータに対する操作取得処理のフローチャート図である。 操作の監視処理S32で監視する監視対象の操作内容表を示す図である。会議 サーバの支援プログラムによる全体の処理を示すフローチャート図である。 支援プログラムが図６において会議関連情報か否か判定した撮影データとドキュメントデータのプロパティの一例を示す図である。 図６の撮影データの判定処理S44の詳細なフローチャート図である。 判定用基準値の一例を示す図である。 図６のドキュメントデータの判定処理S47の詳細なフローチャート図である。 判定用基準操作をリストアップした判定条件表の一例を示す図である。 図６の関連付けとデータベースへの蓄積処理S49の詳細なフローチャート図である。 図１の関連データ検索処理S12の詳細なフローチャート図である。 図１３の関連データの判定処理の詳細なフローチャート図である。 ユーザ自ら撮影データを会議関連情報データベースに格納した場合に行われる判定用基準値の再計算処理（図１のS15）のフローチャート図である。

図１は，本実施の形態における会議資料作成支援プログラムの全体の処理工程を示すフローチャート図である。図１を参照して全体の処理工程を説明し，その後，各処理について詳述する。

図１において，操作監視工程S0は，会議資料を作成するパソコンや，会議においてホワイトボードなどに記録された画像を撮影するスマートホンやパッド端末などが実行する支援プログラムの処理であり，ユーザがパソコンでドキュメントを閲覧したり編集したり出力する操作や，ユーザがスマートホンやパッド端末のカメラ機能で撮影する操作などを監視し，そのような操作が発生した場合に，ドキュメントに対する操作内容や，撮影データの撮影時に設定された撮影パラメータなどを常時記録し続ける処理である。

ドキュメントは，例えばプレゼンテーションソフトウエアによって作成される会議資料やワープロソフトウエアによって作成される会議資料であり，プレゼンの時にプロジェクタで表示されたり印刷して配布されたりするデータである。撮影データは，スマートホンやパッド端末，のカメラ機能によりまたは通信機能付きデジタルカメラにより撮影されたデータである。

ドキュメントの操作内容には，少なくともドキュメントを作成，編集，閲覧する操作，印刷する操作，プロジェクタに出力する操作などが含まれる。また，撮影パラメータには，少なくともシャッター速度，ISO感度，絞り値，ズーム倍率，マクロモードのオン・オフなどのカメラ設定値が含まれる。

会議資料作成支援プログラム（以下，簡単のために支援プログラム）は，例えば，パソコンやスマートホン等の端末機器と，それと通信可能なサーバとにインストールされる。そして，端末機器とサーバコンピュータがこの支援プログラムを実行することで，パソコンで生成されたドキュメントデータやスマートホンで撮影された撮影データから会議関連データを選別してデータベースに蓄積し，その後の会議資料作成時に，作成資料と関連するドキュメントデータや撮影データを自動的に抽出して提示することで，会議資料作成の支援機能を提供する。

まず，支援プログラムは，操作監視処理S0を実行した端末機器からそれが記録した操作内容や撮影パラメータなどをドキュメントデータや撮影データと共に入力し（S1)，入力データの種類（撮影データかドキュメントデータかの種類）を判定する（S2)。この判定は，単に入力されるドキュメントデータや撮影データに付加される識別子や属性データを参照することで判定可能である。

入力されたデータが撮影データの場合，支援プログラムは，まず，撮影データに付加されている撮影時のカメラの設定値（撮影パラメータ）を取得する(S3)。そして，支援プログラムは，撮影データが会議関連の撮影データか否かを判定するための判定用基準値１２を取得し（S4)，入力された撮影データの撮影パラメータが判定用基準値１２の範囲内にあるか否かに基づいて，その撮影データの会議との関連性を判定する（S5)。具体的には，撮影パラメータが予め決められた判定用基準値の範囲（シャッター速度であれば手ぶれが生じないような範囲）に該当すれば，会議との関連性がありという判定を行う。

一方，入力されたデータがドキュメントデータの場合，支援プログラムは，ドキュメントデータのプロパティを取得する（S6)。このドキュメントデータのプロパティには，例えば，第１に，ドキュメントファイルの拡張子（pptやdoc）が含まれ，ドキュメントデータのファイル名から抽出できる。さらに，ドキュメントデータのプロパティには，第２に，ドキュメントに含まれるキーワードリストとその回数が含まれる。このようなキーワードリストや回数は，既存のツールソフトウエアによりドキュメントに含まれる文字データを解析することで抽出することができる。このキーワードリストとその回数のプロパティ情報は，工程S8の判定工程で会議に関連ありと判定された後に抽出されてもよい。そして，このプロパティ情報は，関連データ検索処理S12で利用される。

さらに，支援プログラムは，ドキュメントデータに付加して入力される操作履歴を取得する（S7)。この操作履歴には，ドキュメントを作成，編集，閲覧した場合の操作，印刷操作，プロジェクタに出力する操作など，少なくとも会議関連資料か否かを判定するのに必要な操作と，その日時が含まれる。

そして，支援プログラムは，入力されたドキュメントデータの拡張子と操作履歴に基づいて会議との関連性を判定する（S8)。判定方法としては，例えば，ドキュメントデータの拡張子が会議資料のドキュメントとして広く利用されている拡張子と一致し，操作履歴に判定用基準操作，例えば印刷操作やプロジェクタへの出力操作など，が含まれている場合に，会議との関連性ありと判定する。

支援プログラムは，上記のように会議と関連性ありと判定された撮影データやドキュメントデータを，会議と関連性ありを示す識別子を付加する関連付け処理を行い（S9)，会議関連性ある情報としてデータベース１１に蓄積する（S10)。

図１の工程S2〜S8は，撮影データとドキュメントデータについて，会議に関連性があるか否かを判定する判定処理S14であり，このような判定処理により，パソコンやスマートホンなどの端末機器から入力されるドキュメントデータや撮影データのうち，会議に関連性があるデータを選別して，会議関連情報データベース１１に蓄積することができる。

操作監視処理を実行した端末機器から入力される撮影データやドキュメントデータのうち，会議に関連性があるものを会議関連情報データベース１１に蓄積することを継続して行う一方で，支援プログラムは，ユーザがある会議資料を閲覧したり編集することに応答して，会議関連情報データベース１１から閲覧中の会議資料と関連性の高い会議関連情報を抽出し，ユーザのパソコンやスマートホン等の端末機器に提示する。

具体的には，支援プログラムは，ユーザがある会議資料を閲覧したときに操作監視処理S0を実行した端末機器から入力される関連情報の検索要求を受信した場合（S11)，その会議資料（ドキュメントデータや撮影データなど）と関連性のあるデータを，会議関連情報データベース１１を検索して抽出し（S12)，抽出した関連性のあるデータを，ユーザのパソコンやスマートホン等の端末機器に出力する（S13)。これに応答して，図示していないが，ユーザのパソコンやスマートホンには，閲覧中の会議資料に関連する情報として，サーバから送信された関連性のあるデータが提示される。

関連性があるか否かを判定する関連データの抽出工程S12では，例えば，ドキュメントデータ同士では，プロパティ情報として取得したキーワードが一致するか否かにより判定し，ドキュメントデータと撮影データ間では，ドキュメントデータをプロジェクタに出力している時間帯と撮影データの撮影日時とが一致又は近いかにより判定し，撮影データ間では，撮影時間や撮影場所が一致するか近いかにより判定する。この判定処理において，キーワードなどに関連性について重み付けがされている場合は，その重み付けに基づいて，抽出するデータを絞り込んでも良い。

さらに，支援プログラムは，ユーザが自らある撮影データについて会議に関連ありと判断した場合に，その撮影データの撮影パラメータに基づいて判定用基準値１２を補正する機能を有する。ユーザは，ある撮影データについて会議に関連ありと判断した場合は，その撮影データに会議関連ありの識別子を付加して会議関連情報データベース１１に格納する。そのようなユーザによる関連付け処理S14に応答して，支援プログラムは，会議に関連ありと判断された撮影データの撮影パラメータが判定用閾値１２の範囲と異なっている場合は，判定用閾値の再計算処理を実行し，再計算した判定用閾値を新たな閾値１２として書き換える（S15)。

この判定用閾値の再計算処理S15では，それ以降の撮影データの会議関連性判定処理S5で，その撮影パラメータが判定用閾値１２の範囲内に入るように，または近づくように，新たな判定用閾値を再計算する。

以上のように本実施の形態の支援プログラムによれば，ユーザは，特別の操作をすることなく，閲覧中または編集中に，そのドキュメントデータや撮影データに関連するデータを自動的に提示されるので，会議資料作成に利用することができる。

図２は，本実施の形態における会議資料作成支援システムの構成図である。会議資料作成支援システム（以下，簡単のために支援システム）は，複数の端末機器１，２，３と，それと通信回線を介して通信可能なサーバ４とを有する。端末機器１は，例えばカメラ機能を有する端末でありスマートホン，パッド端末や通信機能付きカメラなどである。端末機器１は，撮影部１０と撮影が行われたことを監視して撮影データと撮影パラメータを取得する監視部１２と，それをサーバに送信する送信部１３とを有する。

端末機器２は，例えば会議用のドキュメントを作成し，プリンタに出力して印刷したり，プロジェクタに出力するパソコンである。端末機器２は，入出力部２１と，ドキュメントデータの閲覧や印刷やプロジェクタへの出力などの操作を監視しその操作履歴を取得し履歴蓄積部２４に格納する監視部２２と，監視部２２が取得した操作履歴とドキュメントデータと共にサーバに送信する送信部２３とを有する。

端末機器３は，会議後に会議用のドキュメントデータや撮影データを閲覧し編集するパソコンである。端末機器３は，入出力部３１と，ドキュメントデータや撮影データの閲覧などを監視する監視部３２と，監視部３２が検出したドキュメントデータや撮影データの閲覧をトリガにして，閲覧対象の閲覧データをサーバ４に送信する送信部３３と，閲覧データに関連するデータとしてサーバ４が抽出した関連データを受信する受信部３４とを有する。受信した関連データは，入出力部３１の表示部に表示される。

サーバ４は，端末機器１，２などから送信される上記のデータを受信する入力データ受信部４１と，入力されたデータが撮影データかドキュメントデータかを判定する入力データ種別判定部４２と，撮影データの撮影パラメータを抽出する撮影パラメータ抽出部４３と，その撮影パラメータと判定用基準値蓄積部４８内の判定用基準値とを比較して会議との関連を判定する会議関連判定部４４と，ドキュメントデータのプロパティを取得し操作履歴の操作内容を抽出する操作内容抽出部４５と，抽出した操作内容とプロパティ内の拡張子などに基づいてそのドキュメントデータが会議関連か否かを判定する会議関連判定部４６と，会議と関連性ありと判定された撮影データやドキュメントデータを，会議と関連性ありを示す識別子を付加して，会議関連性ある情報としてデータベース１１に蓄積する関連付け処理部４７とを有する。

さらに，サーバ４は，端末機器３で会議関連のデータが閲覧された際に端末機器３から送信される閲覧データを受信する関連データ受信部５３と，その閲覧データに関連するデータを会議関連情報データベース１１で検索し抽出する関連データ検索部５１と，抽出した関連データを端末機器３に送信する関連データ送信部５２とを有する。

また，サーバ４は，ユーザが自ら撮影データを会議関連ありのデータとして会議関連情報データベース１１に格納した場合，それをトリガにして，その撮影データの撮影パラメータが判定用基準値と異なっている場合に，前述の通り判定用基準値を再計算して修正する判定用基準値再計算部５０とを有する。

次に，支援プログラムによる詳細な処理について説明する。支援プログラムの大部分はサーバ４により実行されるが，一部の支援プログラムは，端末機器によっても実行される。

図３は，スマートホンなどでの撮影時のデータ取得処理のフローチャート図である。スマートホンにインストールされている支援プログラムによる撮影データ取得処理S21では，撮影イベントの発生を監視し（S22)，撮影イベントが発生したら，撮影イベントにより撮像された画像を含む撮影データを取得する（S23)。それと共に，撮影データの撮影パラメータを取得し（S24)，撮影日時と望ましくは撮影場所も取得し（S25)，それらのデータを組み合わせた１つのデータを作成し，それに撮影データであることをサーバが判別可能とするための撮影データフラグONのフラグ付加する（S26)。そして，そのデータをサーバ４に送信する（S17)。スマートホンの支援プログラムは，上記の処理S22〜S27を撮影のたびに繰り返す。撮影のデータであることをサーバ側で判別可能とするために撮影データフラグを付けたが，判別可能とするための手法はフラグ以外でも良い。

図４は，パソコンなどでのドキュメントデータに対する操作取得処理のフローチャート図である。パソコンなどにインストールされている支援プログラムによるドキュメントデータの操作取得処理S31では，ワープロソフトやプレゼンテーションソフトによるドキュメントに対する操作の発生を監視し（S32)，操作イベントが発生したら，操作したドキュメントデータを取得し（S33)，操作内容を取得し（S34)，操作日時を取得する（S35)。そして，支援プログラムは，ドキュメントデータと操作内容と操作日時とを対応付けて操作履歴として記録し（S36)，ドキュメントデータと操作内容と操作日時とを組み合わせてサーバに送信するための１つのデータとして作成し，撮影データではないこと示す撮影データフラグOFFを付加し（S37)，そのデータをサーバ４に送信する（S38)。操作の監視処理S32では，全ての操作イベントを監視するのではなく，会議に関連する判定をするために必要な操作内容に絞って監視する。撮影データフラグOFF以外の方法でサーバが撮影データでないことを判別できるようにしてもよい。

上記の処理S32〜S38は，監視対象の操作イベント毎に繰り返される。

図５は，操作の監視処理S32で監視する監視対象の操作内容表を示す図である。会議に関連するドキュメントデータか否か等を判定するために必要最小限の操作内容を監視対象にする。会議に関連するドキュメントデータとしては，図５に示した「新規作成」「データ内容を画面に出力」「画面への出力を終了」を監視すれば，ドキュメントデータの新規作成と，編集と，閲覧の履歴を知ることができる。新規作成中や編集中や閲覧中の全ての操作イベントを操作履歴として収集する必要はない。これにより，作成され編集されたドキュメントデータを検出することができ，そのファイル名の拡張子やプロパティ内の属性データなどから会議資料用のワープロドキュメントやプレゼンテーションソフトによるドキュメントであることを判別可能になる。

さらに，図５に示した「データ内容をプリンタへ出力」を監視すれば，会議用の配付資料としてドキュメントを印刷した可能性のある履歴を知ることができる。また，図５に示した「データ内容をプロジェクタへ出力」「プロジェクタへの出力を終了」を監視すれば，会議で使用されている時間から会議が開催された会議日時などの履歴を知ることができる。

図６は，サーバの支援プログラムによる全体の処理を示すフローチャート図である。サーバの処理S40では，端末機器から入力される撮影データ及びそれ以外のデータを受信すると（S41のYes)，受信したデータが撮影データであるかどうかを撮影フラグで判定する（S42)。

支援プログラムは，撮影データの場合は，撮影データのプロパティ情報及び撮影パラメータとを取得する処理を行い（S43)，プロパティ情報に含まれている撮影パラメータ（例えばExifファイル）または別途取得した撮影パラメータが，判定用基準値のパラメータの範囲内にあるか否かに基づいて，撮影データが会議に関連する撮影データか否かの判定処理を行う（S44)。会議関連の撮影データと判定されたら（S45のYes)，関連付け処理を行い会議関連情報データベースに記録する（S49)。

一方，支援プログラムは，撮影データ以外のデータの場合は，そのプロパティ情報と，操作履歴と，キーワードリストの取得処理を行う（S46)。プロパティ情報には，ワープロ文書やプレゼン文書の属性データが含まれている。操作履歴は端末装置からドキュメントデータと共に送信されてくる。そして，ドキュメントデータ内のキーワードリストとその回数を，それを抽出するツールソフトウエアにより取得する。そして，支援プログラムは，プロパティ情報と操作履歴とに基づいて，ドキュメントデータが会議に関連するデータか否かの判定処理を行い（S47)，会議関連データの場合は（S48のYes)，関連付け処理を行い会議関連情報データベース１１に記録する（S49)。この判定処理S47では，プロパティ情報がワープロ文書やプレゼン文書の属性データを含んでいて，または，ファイル名の拡張子がそれらを示す拡張子である若しくはプロパティ内の属性データがワープロ文書やプレゼン文書を示す場合であって，操作履歴にプリンタへの出力やプロジェクタへの出力が含まれている場合などは，会議関連のドキュメントデータであると判定する。

図７は，支援プログラムが図６において会議関連情報か否か判定した撮影データとドキュメントデータのプロパティの一例を示す図である。したがって，会議関連情報と判定された場合も同様のプロパティを有する。

撮影データ６０は，画像データとプロパティとを有し，プロパティには，撮影データを示すデータ属性（例えばJPEGイメージ）と，撮影パラメータを有するExifファイルと，撮影日時と，場所が含まれている。一方，ドキュメントデータは，ドキュメント内容データとプロパティとを有し，プロパティには，ワープロ文書またはプレゼン文書を示すデータ属性と，操作履歴と，キーワードリストが含まれる。キーワードリストは，例えば回数が多い順などの重要度順のキーワードのリストである。

図８は，図６の撮影データの判定処理S44の詳細なフローチャート図である。また，図９は，判定用基準値の一例を示す図である。支援プログラムは，入力データから撮影データの撮影パラメータを取得する（S51)。さらに，支援プログラムは，判定用基準値蓄積部から判定用基準値表１２（図９）を取得する（S52)。そして，支援プログラムは，判定項目番号を１に設定してから（S53)，項目番号に対応するカメラ設定値について撮影パラメータから取得し(S54)，その撮影パラメータのカメラ設定値が判定用基準値と一致するか否か，つまり判定用基準値の条件を満たすか否かを判定する（S55)。

支援プログラムの処理によれば，上記の判定処理S55が全ての項目について判定されるまで繰り返され（S56,S57)，全ての項目が判定用基準値と一致またはその条件と合致する場合に，会議に関連する撮影データであると判定され（S58)，１つの項目でも判定用基準値の条件と合致しない場合に，会議に関連しない撮影データであると判定される（S59)。

図９の判定用基準値表には，シャッター速度とISO感度と絞り値とズーム倍率とマクロモードの基準値が示されている。これらの基準値について説明する。

シャッター速度とISO感度とは，撮影データがぶれ防止を重視して撮影されたか否かを判定するための撮影パラメータである。すなわち，会議中に記録されたホワイトボードを撮影する場合，ホワイトボードに記載された図や文字が手ぶれにより判読できなくならないように注意して撮影されると考えられる。撮影対象のホワイトボードは，会議の書記などにより会議参加者全員に分かりやすい大きさや太さ，及びレイアウトで書かれるのが一般的であるので，ある程度の大きさを有する静止物であって，人間が見やすい光源環境下でスマートホンを手持ちで撮影することを考えると，手ぶれが発生しないレベルのシャッター速度の範囲にある撮影データは，会議に関連する可能性の高いデータであると見なすことができる。そのようなシャッター速度の範囲は，図９に示されるように，例えば1/20〜1/100秒である。

同様の理由から，撮影対象のホワイトボードは，明るい環境下で手ぶれを抑制するシャッター速度で撮影されるので，暗い場合に利用されるようにISO感度を上げて撮影することは行われない。ISO感度を上げると，撮像した電気信号が増幅され同時に暗電流ノイズも増幅され，ざらついて読みにくい文字になる。したがって，会議関連の撮影データの場合は，ISO感度は低い範囲になると考えられる。つまり，ISO感度の範囲は，図９に示されるとおり，50〜120である。

以上のシャッター速度とISO感度の条件を組み合わせて判定することで，手ぶれを防止して撮影された撮影データであることを判定することができ，会議に関連する可能性のある撮影データを判別できる。

次に，絞り値とズーム倍率とは，撮影データがぼけ防止を重視して撮影されたか否かを判定するための撮影パラメータである。すなわち，絞り値とズーム倍率は被写界深度に関連する。被写界深度が深くなるような絞り値（絞りを絞る，F値大）とズーム倍率（低い）の場合に，会議関連の可能性がある撮影データであると判定できる。撮影対象の会議中記録されたホワイトボードは，比較的近距離からホワイトボード全ての画像を画角一杯に納めるように撮影される。したがって，十分な深さの被写界深度を持つような絞り値の範囲にしないと，撮影対象の中心までの距離と周辺までの距離が異なっているので，中心だけピントが合い，周辺はピンぼけになり，周辺の文字がぼけてしまい判読不能になることが予想される。そこで，絞り値の判定基準値は，図９に示されるとおり，例えばF2.4〜F3.2の範囲の絞りを絞り込んだ大きなF値である。

さらに，光学ズームの場合には，ズーム倍率が高い（望遠）場合は被写界深度が浅く，低い（広角）場合は深い。上記のように被写界深度を深くするためにはズーム倍率が低い広角にすることが必要である。したがって，ズーム倍率の判定基準値は，図９に示されるとおり，例えば１倍〜４倍のズーム倍率が低い範囲である。

そこで，絞り値とズーム倍率の条件を組み合わせて判定することで，ぼけを防止して撮影された撮影データであることを判定することができ，会議に関連する可能性のある撮影データを判別できる。なお，近年普及しているスマートホンに搭載されるカメラには絞り値の設定はできないものが多いので，その場合はズーム倍率だけで判定する。

さらに，マクロモードがON/OFFについては，ホワイトボードを撮影する場合は，通常マクロモードはOFFである。したがって，マクロモードON/OFFの判定基準値は，図９に示されるとおり，マクロモードOFF設定である。このマクロモードOFFを判定基準値に加えることで，会議関連の撮影データか否かを比較的高い精度で判定することもができる。

図１０は，図６のドキュメントデータの判定処理S47の詳細なフローチャート図である。また，図１１は，判定用基準操作をリストアップした判定条件表の一例を示す図である。支援プログラムは，パソコンから送信された入力データからドキュメントデータに対して過去に行われた操作内容履歴を取得し（S61)，図１１の予め決められた会議に関連するかどうかを判定するための判定条件表を取得する（S62）。そして，支援プログラムは，判定番号１を設定して（S63)，設定された判定項目番号の「会議と判定する操作内容」に対応する操作履歴が存在するかどうかを，工程S61で取得した操作内容履歴の中から検索する（S64)。検索した結果，設定された判定項目番号の「会議と判定する操作内容」が操作内容履歴内に存在すれば（S65のYes)，会議に関連するドキュメントデータであると判定される（S69)。全ての項目を判定してもその項目が工程S65で操作内容履歴内に存在しない場合は（S65のNo，S66のYes)，会議に関連しないドキュメントデータであると判定される（S68)。全ての項目を判定するまで行われる（S67)。

図１１の判定条件表には，ドキュメントデータが会議に関連すると判定する操作内容（判定用基準操作）がリストアップされており，具体的には「データ内容をプリンタに出力」と「データ内容をプロジェクタへ出力」という操作内容が挙げられている。これらの操作内容が操作履歴にあると，会議配布のためにプリンタで印刷した，または会議でプロジェクタで投影した可能性があると判定できるからである。

図１２は，図６の関連付けとデータベースへの蓄積処理S49の詳細なフローチャート図である。支援プログラムは，会議に関連すると判定されたデータ（情報）には，会議関連有りを示す識別子を付与する（S71)。そして，支援プログラムは，そのデータを会議関連情報データベース１１に格納し（S72），そのデータのファイル名と格納場所（アドレス）との対応付けをしてデータベース化する（S73)。

［関連データの抽出と提示］
以上の処理により，ユーザが新規に作成し編集したドキュメントデータと撮影した撮影データのうち，会議に関連する可能性の高いドキュメントデータと撮影データが，会議関連情報データベース１１内に，ユーザが会議関連の操作をするたびに格納される。

そして，ユーザがそのデータベースに格納されているデータをパソコンなどで閲覧して何らかの処理をしようとしたとき，支援プログラムは，そのデータと類似するまたは関連するデータをデータベースから抽出して，ユーザのパソコンを介して自動的に提供する。その具体的な処理について以下説明する。

図１３は，図１の関連データ検索処理S12の詳細なフローチャート図である。図１３のフローチャートには左側にパソコンやパッド端末などの端末機器側での支援プログラムの処理が，右側にサーバでの支援プログラムの処理が示されている。

まず，端末機器側の支援プログラムは，何らかのファイルが閲覧のために開かれることを監視し(S81)，開かれたら（S81のYes)，そのファイル名とともに検索要求をサーバに送信する（S82)。

それに応答して，サーバ側の支援プログラムは，その検索要求をファイル名と共に受信し(S83)，ファイル名と格納場所を対応付けたデータベースから受信した検索要求のファイル名を検索する（S84)。そして，支援プログラムは，受信したファイル名と一致するデータを検出したら（S85のYes)，S87-S90の関連データの検索処理を行い，検出しなければ（S85のNo)，端末機器に検索結果「会議関連データではない」を送信し，端末機器の支援プログラムはそれを受信する（S86)。

サーバ側の支援プログラムは，工程S85で検出したファイル名に一致するデータを会議関連情報データベース１１から取得し（S87)，取得したデータのプロパティと，データベース内に格納されている他のデータのプロパティとを比較し，関連するデータか否かの判定を行う(S88)。具体的な比較，判定方法は後述する。さらに，サーバ側の支援プログラムは，比較結果として近いと判定されたものから規定数のデータをリストアップし（S89)，その検索結果としてリストアップされたデータまたはそのファイル名やサムネールデータを検索要求を送信してきた端末機器に送信する（S90)。

端末機器側の支援プログラムは，送信されてきた検索結果としてのデータを受信し（S91)，受信したデータを画面に表示して，ユーザに提供する（S92)。ユーザへの提供の方法は，送信されてきたデータへのリンク情報やリンク付きのファイル名やサムネイルなどを表示するなど，様々な方法が可能である。

図１４は，図１３の関連データの判定処理の詳細なフローチャート図である。この処理は，サーバ側の支援プログラムによる処理である。会議関連情報データベース１１内に格納されている撮影データとドキュメントデータのプロパティは，図７で説明したとおりである。図１４の関連データの判定処理では，このプロパティ内の情報を比較して一致するものを関連データとして判定する。

図１４のフローチャートに示されるとおり，端末機器側から送信されてきた検索要求の対象のデータがドキュメントデータの場合，サーバ側の支援プログラムは，データベース内の他のドキュメントデータまたは撮影データと比較することになるので，工程S101,S103のYesに該当する。すなわち，ドキュメントデータ間の比較判定の処理S102では，プロパティ内のキーワードリストに同じキーワードを有する場合に関連データと判定する。ドキュメントデータのプロパティ内に，キーワードリストが回数順（頻出順）に並べられている場合は，より回数が多いキーワード同士で一致するほど関連性が高い（より近い）と判定できる。または，一致するキーワードが多いほど関連性が高い（より近い）と判定できる。そこで，支援プログラムの処理の一例として，回数が多いキーワードほど重み付けを重くし，一致するキーワード毎にその重みを乗じて合計値を算出し，その合計値順に他のドキュメントデータを並べることが望ましい。

ドキュメントデータと撮影データとの比較判定処理S104では，ドキュメントデータのプロジェクタに出力中の時間帯と，撮影データの撮影時間とが一致または近い場合に，関連データと判定する。

一方，端末機器側から送信されてきた検索要求の対象のデータが撮影データの場合，サーバ側の支援プログラムは，データベース内の他のドキュメントデータまたは撮影データと比較することになるので，工程S103,S105のYesに該当する。すなわち，撮影データと他のドキュメントデータとの比較判定は，前述の工程S104である。また，支援プログラムは，撮影データと他の撮影データとの比較判定では，工程S106に示すとおり，撮影日時が一致または近い場合や，撮影場所が同じまたは近接する場合に，関連データと判定する。

［撮影データの判定基準値の再計算］
図１５は，ユーザ自ら撮影データを会議関連情報データベースに格納した場合に行われる判定用基準値の再計算処理（図１のS15）のフローチャート図である。この判定用基準値の再計算処理は，サーバ側の支援プログラムが行う。

前提として，ユーザは自分の意志で撮影データを会議に関連すると判断して会議関連データベースに格納したり，あるいは会議関連データの識別子を付加することができる。その場合，ユーザがその撮影データは会議に関連すると判断したことを意味する。そこで，それをトリガにして，その撮影データの撮影パラメータ値が判定用基準値の範囲から外れている場合は，ユーザが自ら判定した撮影データの撮影パラメータに基づいて判定用基準値の範囲を再計算して再設定する。

まず，支援プログラムは，ユーザの意思により会議関連データベースに格納された撮影データの撮影パラメータを取得し（S111)，現在の判定用基準値表（図９）を取得し（S112)，判定項目番号を１に設定し（S113)，その判定項目番号に対応する撮影パラメータの値を取得する（S114)。そして，支援プログラムは，その判定項目の判定用基準値が範囲を有する場合に（S115のYes),取得した撮影パラメータの値が判定用基準値の範囲に入っているか否かを判定する（S116)。すなわち，取得した撮影パラメータの値が，判定用基準値の範囲内に入っている場合は（S116のYes)，その撮影パラメータの判定用基準値の再計算は不要となる。その場合は，全ての項目を判定するまで(S120,S121），判定項目順に上記判定を繰り返し行う。判定項目の判定用基準値が範囲を有しない場合も（S115のNo），判定用基準値の再計算は不要であり，工程S120,S121を行う。

逆に，取得した撮影パラメータの値が，判定用基準値の範囲内に入っていない場合は（S116のNo)，その撮影パラメータの判定用基準値の再計算処理を行う（S117-S119)。支援プログラムは，再計算処理では，まず，項目番号に対応する値の現状の判定用基準値の下限から上限値までの幅を取得し，その幅をWとおき（S117)，さらに，今回データベースに格納されたデータを含めてデータベース内の撮影データの判定項目番号に対応する撮影パラメータの平均値を取得し，平均値をXとおき（S118)，その判定項目番号に対応する撮影パラメータ値を，下限値X-W/2上限値X+W/2に変更する（S119)。つまり，平均値Xを中心とし上下幅Wの範囲に変更する。これが再計算後の撮影パラメータ値の範囲になる。

上記のような再計算をすることで，ユーザが自らの意思で会議関連撮影データと指定して会議関連情報データベースに格納した場合，その撮影データの撮影パラメータが判定用基準値の範囲から外れていた場合に，ユーザの意思に沿って，判定用基準値の範囲を格納した撮影データの撮影パラメータ値を含むようにまたは近づくように修正することができる。このように再計算をすることで，会議関連撮影データを抽出するための判定用基準値の範囲をユーザにカスタマイズさせることができる。

上記の判定用基準値再計算処理では、判定用基準値の幅Wを一定に保って上限値と下限値を再計算しているが，会議関連情報データベースに格納された撮影データの撮影パラメータ値が正規分布に基づいていると仮定して，その最頻値からの割合で上限値と下限値を設定するようにしてもよい。その場合，幅Wは変動する。

以上のとおり，本実施の形態によれば，会議で撮影された可能性の高い撮影データを，会議での撮影に適した撮影パラメータに基づいて判定して，会議関連情報データベースに格納しているので，会議に関連性のうすい撮影データを除外して会議関連情報データベースを構築することができる。また，判定用基準値から外れているが，ユーザの意思により会議関連の撮影データと判定された場合には，その撮影パラメータに基づいて判定用基準値を修正しているので，ユーザにカスタマイズした会議関連撮影データをデータベースに収集することができる。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）
会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援処理工程をコンピュータに実行させる会議資料作成支援プログラムであって，
前記会議資料作成支援処理工程は，
入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する工程と，
入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する工程と，
ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する工程とを有する会議資料作成支援プログラム。

（付記２）
付記１において，
前記会議関連撮影データの判定用基準値は，所定範囲のシャッター速度と，ISO感度と，絞り値と，ズーム倍率のいずれかを有する会議資料作成支援プログラム。

（付記３）
付記２において，
前記会議関連撮影データの判定用基準値において，前記シャッター速度は１／２０乃至１／１００秒，前記ISO感度は５０乃至１２０，前記絞り値はF2.4乃至F3.2，ズーム倍率１乃至４倍である会議資料作成支援プログラム。

（付記４）
付記１において，
さらに，ユーザにより任意の撮影データが前記会議関連情報として指定された場合に，当該指定された撮影データの撮影パラメータに基づいて，前記指定された撮影データの撮影データが前記判定用基準値に含まれるようにまたは近づくように，前記判定用基準値を修正する工程を有する会議資料作成支援プログラム。

（付記５）
会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援方法であって，
コンピュータが，入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する工程と，
コンピュータが，入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する工程と，
コンピュータが，ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する工程とを有する会議資料作成支援方法。

（付記６）
付記５において，
前記会議関連撮影データの判定用基準値は，所定範囲のシャッター速度と，ISO感度と，絞り値と，ズーム倍率のいずれかを有する会議資料作成支援方法。

（付記７）
付記５において，
前記会議関連撮影データの判定用基準値において，前記シャッター速度は１／２０乃至１／１００秒，前記ISO感度は５０乃至１２０，前記絞り値はF2.4乃至F3.2，ズーム倍率１乃至４倍である会議資料作成支援方法。

（付記８）
付記５において，
さらに，ユーザにより任意の撮影データが前記会議関連情報として指定された場合に，当該指定された撮影データの撮影パラメータに基づいて，前記指定された撮影データの撮影データが前記判定用基準値に含まれるようにまたは近づくように，前記判定用基準値を修正する工程を有する会議資料作成支援方法。

（付記９）
会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援装置であって，
入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する手段と，
入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する手段と，
ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する手段とを有する会議資料作成支援装置。

（付記１０）
付記９において，
さらに，ユーザにより任意の撮影データが前記会議関連情報として指定された場合に，当該指定された撮影データの撮影パラメータに基づいて，前記指定された撮影データの撮影データが前記判定用基準値に含まれるようにまたは近づくように，前記判定用基準値を修正する手段を有する会議資料作成支援装置。

S5, S9, S10：撮影データ関連性判定とDB格納工程
S8, S9, S10：ドキュメントデータ関連性判定とDB格納工程
S12：関連データ検索工程

Claims (6)

1. 会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援処理工程をコンピュータに実行させる会議資料作成支援プログラムであって，
   前記会議資料作成支援処理工程は，
   入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する工程と，
   入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する工程と，
   ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する工程とを有する会議資料作成支援プログラム。
2. 請求項１において，
   前記会議関連撮影データの判定用基準値は，所定範囲のシャッター速度と，ISO感度と，絞り値と，ズーム倍率のいずれかを有する会議資料作成支援プログラム。
3. 請求項２において，
   前記会議関連撮影データの判定用基準値において，前記シャッター速度は１／２０乃至１／１００秒，前記ISO感度は５０乃至１２０，前記絞り値はF2.4乃至F3.2，ズーム倍率１乃至４倍である会議資料作成支援プログラム。
4. 請求項１において，
   さらに，ユーザにより任意の撮影データが前記会議関連情報として指定された場合に，当該指定された撮影データの撮影パラメータに基づいて，前記指定された撮影データの撮影データが前記判定用基準値に含まれるようにまたは近づくように，前記判定用基準値を修正する工程を有する会議資料作成支援プログラム。
5. 会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援方法であって，
   コンピュータが，入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する工程と，
   コンピュータが，入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する工程と，
   コンピュータが，ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する工程とを有する会議資料作成支援方法。
6. 会議に関連する撮影データとドキュメントデータとを自動的に抽出する会議資料作成支援装置であって，
   入力される撮影データの撮影パラメータが，会議関連撮影データの判定用基準値と一致するか否かを判定し，一致する入力撮影データを会議関連情報としてデータベースに格納する手段と，
   入力されるドキュメントデータの作成中の操作履歴が，会議関連ドキュメントデータの判定用基準操作を有するか否かを判定し，有する入力ドキュメントデータを会議関連情報として前記データベースに格納する手段と，
   ドキュメントデータまたは撮影データへのアクセス時に，前記アクセスされたドキュメントデータまたは撮影データの属性データと相関性のある属性データを有する他のドキュメントデータまたは撮影データを前記データベースから抽出して提示する手段とを有する会議資料作成支援装置。

Images