JP4269727B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、会議などの映像及び電子メールを処理する装置や、当該処理の方法や、当該処理のプログラムに関し、特に、会議などの映像に電子メールを関連付けて会議などの映像及び電子メールを利用する会議などの記録装置や、記録方法や、記録プログラムに関する。
【０００２】
【従来の技術】
例えば、日常業務において、会議の参加者全員に会議資料をプロジェクターなどの機器を用いて画像表示して、当該会議資料を参照しながら発言者が説明を行うといった形式の会議が頻繁に行われている。
このような会議に利用されるプレゼンテーションツールとしては、会議資料であるプレゼンテーション資料を作成するマイクロソフト社製のＰｏｗｅｒＰｏｉｎｔ（同社の商標）や、プレゼンテーション資料の画像をコンピュータから出力してスクリーン上へ投射することなどにより提示する液晶プロジェクターなどがある。
【０００３】
また、会議を記録として残すために、会議をビデオカメラで撮影する場合もある。このような会議資料を用いたプレゼンテーション会議では、会議資料と撮影記録されたビデオ・データ（映像）とを関連付けて記録や保存することが再利用の面から有効である。
このような日常業務において開催される会議をビデオに撮影することや、会議で使用された資料をそのビデオ・データと一緒に電子的にまとめて記録することを行う技術が幾つか提案されている。
【０００４】
「ドキュメント処理方法および装置並びにプログラム」では、講演者と受講者が一堂に会することなくセミナー等のイベントを開催し、イベントの内容を容易に再利用することができるドキュメント処理方法および装置並びにプログラムとして、複数ページで構成されるドキュメントが各ページ毎に切り替えられて提示された際に、当該ページが切り替えられた切替時刻の情報を、係るドキュメントに関連する動画像中に、当該動画像の撮影が開姶された時刻との相対的な時刻として記録することにより、当該切替時刻に基づいてドキュメントをぺージ毎に切り替えて提示することが図られている（例えば、特許文献１参照。）。
【０００５】
「テレビ会議装置」では、端末からの映像と共に蓄積された資料映像や過去の画像などを所望の形態で提示して利用することや、会議の履歴を蓄積して所望の形態で表示させて閲覧することなど、多様な利用を可能とするために、資料映像を含む参照情報の映像データを蓄積する蓄積手段と端末からのコマンドを解釈するコマンド解釈手段を有するテレビ会議装置を用いて、端末からの映像を含む複数の映像データを一つの映像に合成することが図られている（例えば、特許文献２参照。）。
【０００６】
「資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体」では、会議等におけるプレゼンテーションで用いられる資料とこの資料を説明する映像・音声とを対応付けて記録することにより、資料と映像・音声とを同期させて再生することを可能とするものとして、利用者の選択操作に応じて選択された資料を出力する資料出力手段、前記資料と対応する映像・音声を入力する映像・音声入力手段、前記選択操作と入力操作を検出する検出手段を有し、検出された選択操作情報および入力操作情報をインデックスとするインデックス・ファイルを作成して蓄積する記録システムにより、資料と映像・音声とを同期させて再生することが図られている（例えば、特許文献３参照。）。
【０００７】
「情報配信システム及び情報送信装置及び情報受信装置」では、講師が講義の進行に合わせて画面上にあるスライド切り替えボタンのクリック操作により表示スライドを切り替えた場合に、当該ボタン・クリック操作のイベント処理としてスライドを切り替え、且つ講師によるスライド切り替え操作のイベント処理としてスライド特定情報（スライド画像のファイル名）とイベント発生時の画像再生位置に関する情報（映像蓄積開始時間からの経過時間）とを関連付けて蓄積することにより、撮影された映像データとこの映像データと同期を取って表示されるスライドのスライド・データとを組み合わせた同期コンテンツの配信を放送型サービスの形式で効率的に行うことが図られている（例えば、特許文献４参照。）。
【０００８】
「情報配信システム及び情報送信装置及び情報受信装置」では、講師がスライド切り替えを行おうとして次のページのスライドに切り替えるボタンをクリックした場合に、当該ボタン・クリック操作をイベントとして、当該イベント処理としてスライド切り替え処理を実行し、更にスライドに相当するファイル名を取得して当該ファイル名をスライドを特定するための情報であるスライド特定情報とし、そして、当該スライド特定情報がライブ映像と同様の回線経路を経て送信され、その過程で暗号化や復号化されることにより、送信側では、送信側で発生する映像と、送信側で選択的に表示されているスライドとを組み合わせて、複数の情報受信装置に対して送信して、受信側では、送信された映像を再生して、再生する映像と同期を取りながらスライドを表示する、動的なナビゲーションを行うことが図られている（例えば、特許文献５参照。）。
【０００９】
【特許文献１】
特開２００２−２３２８５８号公報
【特許文献２】
特開２００１−３１３９１５号公報
【特許文献３】
特開２００２−１０９０９９号公報
【特許文献４】
特開２００２−２０９２００号公報
【特許文献５】
特開２０００−１１５７３６号公報
【００１０】
【発明が解決しようとする課題】
上述の従来技術は、いずれも、利用者のイベントを取得して、取得したイベント情報に基づいて会議資料（講義資料ないしスライド）と会議映像（講義映像ないしライブ映像）を同期させるものであった。具体的には、利用者による端末のボタン・クリックのイベントを取得して、当該ボタン・クリック時のスライドなどの資料と映像再生位置を特定し、両者を組にして記録することにより、会議資料と会議映像を関連付けるものであった。
【００１１】
しかしながら、上述のような従来の技術では、例えばマイクロソフト社製のＰｏｗｅｒＰｏｉｎｔ（同社の商標）などのようにスライドの電子的な会議資料に関する特定のアプリケーションに依存したものが多く、広く普及している電子メールの情報を利用することができないといった不具合があった。
つまり、会議資料と会議映像を関連付けるためのデータを特定のアプリケーションで取得若しくは収集する場合には、利用者がその特定のアプリケーションの使い方を知っている若しくは学習する必要があった。
【００１２】
また、従来技術では、利用環境として、有線ＬＡＮや無線ＬＡＮを仮定したものが多く、会議の度に会議主催者と会議参加者が変わるような会議、例えば、賃貸の会議場で開催される企業セミナーなどにおいては、有線ＬＡＮや無線ＬＡＮを敷設し、ネットワークを介して、利用者からの情報を取得するまたは利用者が上記のようなアプリケーションを利用することが困難であった。
【００１３】
本発明は、このような従来の事情に鑑み為されたもので、会議などの映像情報と電子メールの情報とを関連付けることや、当該関連付けに基づく処理を行うことができる情報処理装置や情報処理方法などを提供することを目的とする。
更に具体的には、本発明は、例えば、利用者が日常的に使用している電子メール・クライアントや携帯電話の電子メール機能などを使用して、会議などを記録した映像に対する関連する情報を提供してこれらを関連付けることや、これらの会議などの記録映像と関連する情報とをウェブ・ブラウザやウェブ・フォン（ウェブ機能付き携帯電話）などにより活用することを可能とすることを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る情報処理装置では、次のような処理を行う。
すなわち、映像情報取得手段が映像情報を取得し、映像情報記録手段が映像情報取得手段により取得される映像情報を記録し、電子メール受信手段が電子メールを受信し、電子メール情報記録手段が電子メール受信手段により受信される電子メールの情報を記録する。また、映像情報電子メール情報関連付け手段が映像情報と電子メール情報とを関連付け、処理実行手段が映像情報電子メール情報関連付け手段による関連付けに基づいて処理を実行する。
【００１５】
従って、会議などの映像情報と電子メールの情報とを関連付けることや、当該関連付けに基づく処理を行うことができる。
ここで、映像情報としては、種々なものが用いられてもよく、例えば、会議や講義や発表などの種々なものの映像情報が用いられてもよい。
また、映像情報としては、例えば、リアルタイムで取得されるようなものが用いられ、複数のフレームから構成される動画像が用いられる。
また、例えば、映像情報には、音声の情報などが付加されてもよい。
【００１６】
また、電子メールとしては、種々なものが用いられてもよく、例えば、映像情報に係る会議などに関する情報内容を有する電子メールが用いられ、映像情報に係る会議などにおいて参加者によりリアルタイムに作成や送信などされる電子メールが用いられる。
また、電子メールとしては、映像情報に係る会議などに、係る会議などの途中にまたは会議などの終了後に、参加者により作成され、非同期に送信される電子メールを用いることもできる。
ここで、電子メールとしては、会議中に参加者が映像情報に係る会議などに関する情報内容と当該情報内容に関連した時刻を、情報内容ごとに、またはまとめて、リアルタイムに、若しくは非同期に作成や送信などされる電子メールを用いることもできる。
【００１７】
また、映像情報記録手段や、電子メール情報記録手段としては、例えば、メモリや、データベースなどを用いて構成することが可能である。
また、映像情報と電子メール情報とを関連付ける仕方としては、種々な仕方が用いられてもよく、例えば、時刻や、情報内容や、電子メールの送信者などに基づいて関連付けを行うことが可能である。
【００１８】
また、映像情報記録手段により記録する映像情報や、電子メール情報と関連付ける映像情報としては、例えば、映像情報取得手段により取得される映像情報の全部であってもよく、或いは、一部であってもよい。
また、電子メール情報記録手段により記録する電子メール情報や、映像情報と関連付ける電子メール情報としては、例えば、電子メール受信手段により受信される電子メールの情報の全部であってもよく、或いは、一部であってもよい。
また、電子メールの情報としては、例えば、電子メールに添付されるテキストや音（音声を含む）や画像の情報が用いられてもよい。
【００１９】
また、映像情報と電子メール情報との関連付けに基づく処理（処理実効手段により実行される処理）としては、種々な処理が用いられてもよく、例えば、映像情報の処理や、電子メール情報の処理や、映像情報と電子メール情報との両方の処理などを用いることができる。
【００２０】
本発明に係る情報処理装置では、一構成例として、映像情報電子メール情報関連付け手段は、一連の電子メール情報のうちの一部の情報を関連付ける。
従って、一連の電子メールとして一通の電子メールを例とすると、当該電子メールの情報の全てを関連付けてもよく、或いは、当該電子メール中のメッセージ部分の情報内容のみを関連付けるなどといったように一部の情報を関連付けてもよい。
【００２１】
本発明に係る情報処理装置では、一構成例として、映像情報電子メール情報関連付け手段は、一連の映像情報のうちの一部の情報を関連付ける。
従って、一連の映像情報として同一の会議の映像情報を例とすると、当該映像情報の全てを関連付けてもよく、或いは、当該映像情報中の特定部分の情報内容のみを関連付けるといったように一部の情報を関連付けてもよい。
【００２２】
本発明に係る情報処理装置では、一構成例として、次のような処理を行う。
すなわち、電子メール時刻情報特定手段が電子メールに関する時刻情報を特定し、映像情報フレーム特定手段が電子メール時刻情報特定手段により特定される時刻情報に対応する映像情報のフレームを特定する。そして、映像情報電子メール情報関連付け手段は、電子メールの情報と、当該電子メールに関する時刻情報に対応する映像情報のフレームの情報とを関連付ける。
【００２３】
従って、電子メールの情報と映像情報のフレームの情報とを、互いの時刻情報が対応するように、関連付けることができ、また、当該関連付けを利用することができる。
ここで、時刻情報としては、例えば、時、分、秒といった情報の全て或いは一部を用いることができ、また、例えば、年、月、日、曜日などといった情報の全て或いは一部が含まれてもよい。
【００２４】
また、時刻情報としては、例えば、一般的に統一して使用されている絶対的な時刻の情報が用いられてもよく、或いは、会議などの開始時点を時刻ゼロとするような相対的な時刻の情報が用いられてもよい。
また、電子メールに関する時刻情報としては、例えば、当該電子メールに含まれる時刻に関する情報や、当該電子メールの受信などの処理に係る時刻に基づいて特定することが可能である。
【００２５】
本発明に係る情報処理装置では、一構成例として、電子メール時刻情報特定手段は、電子メールの送信時刻の情報と、電子メールの受信時刻の情報と、電子メールの作成時刻の情報とのいずれかを特定する。
従って、電子メールの情報と、当該電子メールの送信時刻や受信時刻や作成時刻に対応する映像情報のフレームの情報とを関連付けることができ、また、当該関連付けを利用することができる。
【００２６】
本発明に係る情報処理装置では、一構成例として、電子メール時刻情報特定手段は、電子メールの送信時刻或いは受信時刻の情報と、電子メールの作成者による作成速度の情報と、電子メールのデータ量の情報に基づいて、電子メールの作成時刻の情報を特定する。
従って、電子メールの情報と、当該電子メールに関して推測的に特定される作成時刻に対応する映像情報のフレームの情報とを関連付けることができる。例えば、会議などでは、電子メールの作成時に対応する映像情報のフレームの情報と当該電子メールの情報内容との関連性が高いと考えられる。
【００２７】
一例として、電子メールの送信時刻を用いた場合には、｛作成時刻＝送信時刻−（データ量／作成速度）｝であるとみなすことが可能である。
他の例として、電子メールの受信時刻を用いた場合には、｛作成時刻＝受信時刻−送信側から受信側への伝送に要する所定の時間−（データ量／作成速度）｝であるとみなすことが可能である。
【００２８】
ここで、電子メールの作成者による情報の作成速度としては、種々なものが用いられてもよく、例えば、各電子メール毎に個別の作成者に係る作成速度が用いられてもよく、この場合に、一人の作成者について平均的な作成時刻が用いられてもよく、或いは、複数の作成者について共通に平均的な作成速度が用いられてもよい。
【００２９】
また、電子メールのデータ量としては、例えば、電子メールに含まれる全てのデータの量が用いられてもよく、或いは、電子メールに含まれるメッセージ部分のテキスト文のデータの量（例えば、文字数若しくはバイト数）のみといったように一部のデータの量が用いられてもよい。
【００３０】
本発明に係る情報処理装置では、一構成例として、部分映像情報生成手段が映像情報フレーム特定手段により特定されるフレームを含む複数のフレームから構成される部分映像情報を生成し、そして、映像情報電子メール情報関連付け手段は部分映像情報生成手段により生成される部分映像情報を関連付ける。
従って、電子メールの情報と、当該電子メールの時刻情報などに対応する映像情報のフレームを含む複数のフレームの情報（部分映像情報）とを関連付けることができ、また、当該関連付けを利用することができる。
【００３１】
ここで、部分映像情報としては、種々な情報が用いられてもよく、例えば、映像情報フレーム特定手段により特定されるフレーム及びその前後の幾つかのフレームから構成されるような情報を用いることができる。
また、部分映像情報を構成するフレームの数としては、種々な数が用いられてもよい。
【００３２】
本発明に係る情報処理装置では、一構成例として、電子メール送信アドレス情報特定手段が電子メールの送信アドレス情報を特定し、そして、映像情報電子メール情報関連付け手段は電子メール送信アドレス情報特定手段により特定される送信アドレス情報に基づいて関連付けの情報を生成する。
従って、電子メールの送信アドレス情報に基づく関連付けを利用することができる。
【００３３】
ここで、電子メールの送信アドレス情報としては、種々な情報が用いられてもよく、例えば、送信者が複数存在するような場合には、全ての送信者のアドレス情報が用いられてもよく、或いは、一部の送信者のアドレス情報が用いられてもよい。
また、電子メールの送信アドレス情報としては、例えば、当該電子メールに含まれる送信アドレスに関する情報に基づいて特定することが可能である。
【００３４】
また、例えば、処理実行手段は、電子メール送信アドレス情報特定手段により特定される電子メールの送信アドレス情報に基づいて処理を行うことが可能であり、具体的には、各送信アドレス毎に電子メール情報や映像情報や或いはこれら両方の情報などを処理することや、特定の送信アドレスについてのみ電子メール情報や映像情報や或いはこれら両方の情報などを処理することが可能である。
【００３５】
本発明に係る情報処理装置では、一構成例として、電子メール頻度情報検出手段が電子メールに関する頻度の情報を検出し、そして、映像情報電子メール情報関連付け手段は電子メール頻度情報検出手段により検出される頻度情報に基づいて関連付けを行う。
従って、電子メールに関する頻度情報に基づく関連付けを利用することができる。
【００３６】
ここで、電子メールに関する頻度としては、種々なものが用いられてもよく、例えば、所定の時間内に発生した特定或いは不特定の者による電子メールの作成の頻度や、所定の時間内に発生した特定或いは不特定の者による電子メールの送信の頻度や、所定の時間内に発生した特定或いは不特定の者からの電子メールの受信の頻度や、所定の時間内に発生した特定或いは不特定の者からの電子メールの送信或いは受信の頻度などを用いることができる。
【００３７】
また、例えば、処理実行手段は、電子メール頻度情報検出手段により検出される電子メールに関する頻度の情報に基づいて処理を行うことが可能であり、具体的には、頻度の高さの順序に従って電子メール情報や映像情報や或いはこれら両方の情報などを処理することや、頻度が高いものについてのみ電子メール情報や映像情報や或いはこれら両方の情報などを処理することが可能である。
【００３８】
本発明に係る情報処理装置では、一構成例として、映像情報電子メール情報関連付け手段は、電子メール頻度情報検出手段により検出される頻度情報に基づく頻度が所定の閾値と比べて高い電子メールについて関連付けを行う。
従って、例えば、頻度が比較的に高い電子メールについてのみ関連付けを行うことができ、頻度が比較的に低い電子メールについては関連付けから除外することが可能である。
【００３９】
ここで、頻度に関する所定の閾値としては、種々な値が用いられてもよい。
また、頻度が所定の閾値と等しい場合には、例えば、頻度が所定の閾値と比べて高い場合と同様な処理が為されてもよく、或いは、頻度が所定の閾値と比べて低い場合と同様な処理が為されてもよい。
【００４０】
本発明に係る情報処理装置では、一構成例として、映像情報電子メール情報関連付け手段は、映像情報電子メール情報関連付け情報記憶手段を有する。そして、映像情報電子メール情報関連付け情報記憶手段は、映像情報と電子メール情報との関連付けの情報を記憶する。
従って、当該関連付けの情報を利用して処理を実行することができる。
【００４１】
ここで、映像情報と電子メール情報との関連付けの情報としては、種々な形式の情報が用いられてもよい。
また、映像情報電子メール情報関連付け情報記憶手段としては、例えば、メモリや、データベースなどを用いて構成することが可能である。
【００４２】
本発明に係る情報処理装置では、一構成例として、映像情報電子メール情報関連付け手段の映像情報電子メール情報関連付け情報記憶手段は、リンク或いはハイパーリンクを表現することが可能な形式のファイルを用いて、映像情報と電子メール情報との関連付けの情報を記憶する。
従って、リンクやハイパーリンクを利用することが可能となる。
【００４３】
ここで、リンク或いはハイパーリンクを表現することが可能な形式としては、種々な形式が用いられてもよく、例えば、ＨＴＭＬや、ＳＭＩＬや、マイクロソフト社の提唱する各種メディアの同期を表現するＨＴＭＬ＋ＴＩＭＥや、ＸＭＬなどを用いることができる。
【００４４】
本発明に係る情報処理装置では、一構成例として、処理実行手段は、映像情報と電子メール情報との一方に関する情報に基づいて、他方に関する処理を実行する。
従って、例えば、映像情報と電子メール情報との関連付けに基づいて、一方の情報の特定などに応じて、対応する他方の情報を処理することができる。
【００４５】
本発明に係る情報処理装置では、一構成例として、処理実行手段は、映像情報出力手段と、電子メール情報出力手段を有する。そして、映像情報出力手段は映像情報を出力し、電子メール情報出力手段は電子メール情報を出力する。
従って、例えば、映像情報と電子メール情報との関連付けに基づいて、映像情報と電子メール情報を互いに関連付けて出力することができる。
【００４６】
ここで、映像情報を出力する態様としては、種々な態様が用いられてもよく、例えば、画面に表示する態様や、紙面に印刷する態様や、音（音声を含む）で出力する態様や、外部の装置へ出力する態様や、無線又は有線により送信する態様などを用いることができる。
また、電子メール情報を出力する態様としては、種々な態様が用いられてもよく、例えば、画面に表示する態様や、紙面に印刷する態様や、音（音声を含む）で出力する態様や、外部の装置へ出力する態様や、無線又は有線により送信する態様などを用いることができる。
【００４７】
本発明に係る情報処理装置では、一構成例として、処理実行手段の映像情報出力手段は外部の通信装置に対して映像情報を出力し、処理実行手段の電子メール情報出力手段は外部の通信装置に対して電子メール情報を出力する。なお、出力としては、例えば、無線又は有線による送信が用いられてもよい。
従って、例えば、関連付けられた映像情報や電子メール情報を外部の通信装置により閲覧など利用することができる。
ここで、外部の通信装置としては、種々なものが用いられてもよい。
【００４８】
本発明に係る情報処理装置では、一構成例として、外部の通信装置として、携帯型の通信装置を用いることが可能である。
従って、例えば、関連付けられた映像情報や電子メール情報を携帯型の通信装置により閲覧など利用することができる。
ここで、携帯型の通信装置としては、種々なものが用いられてもよく、例えば、携帯電話端末や、ＰＨＳ（Personal Handy phone System）端末や、ノート型のパーソナルコンピュータなどを用いることができる。
【００４９】
本発明に係る情報処理装置では、一構成例として、処理実行手段は、関連電子メール通知情報提示手段を有する。関連電子メール通知情報提示手段は、映像情報が提示されるに際して、映像情報電子メール情報関連付け手段により当該映像情報に関連付けられる電子メールの存在を通知するための情報を提示する。
従って、例えば、映像情報が画面表示などされるに際して、当該映像情報に関連する電子メールの存在を通知することができる。
【００５０】
ここで、提示としては、例えば、画面表示や、音（音声を含む）出力などのように、種々なものが用いられてもよい。
また、電子メールの存在を通知するための情報としては、種々な情報が用いられてもよく、例えば、アイコンの情報などを用いることができる。
また、映像情報と、当該映像情報に関連付けられる電子メールの存在を通知するための情報とは、例えば、同時に、または、当該映像情報と電子メールの存在を通知する情報とが同期して、同一の画面上などに提示される。
【００５１】
また、一連の映像情報のうちの幾つかの時刻部分にそれぞれ関連付けられた電子メールが存在するような場合には、例えば、それぞれの時刻部分の映像情報が提示される時点を含む所定の長さの時間だけ、それぞれに関連付けられた電子メールの存在を通知するための情報を提示するような態様が用いられる。
【００５２】
本発明に係る情報処理装置では、一構成例として、電子メールソート手段が、電子メールに関してソートを行う。
従って、例えば、電子メール情報などの並び順序を利用し易いものとすることができる。
【００５３】
ここで、どのような基準に基づいて電子メールに関してソートを行うかとしては、種々な態様が用いられてもよい。
また、ソートする対象としては、必ずしも電子メールの情報に限られず、例えば、電子メールに関連付けられた映像情報や、映像情報と電子メール情報との関連付けの情報などをソートするような態様が用いられてもよい。
【００５４】
また、例えば、処理実行手段は、電子メールソート手段によるソート結果に基づいて処理を行うことが可能であり、具体的には、ソート結果の順序に従って電子メール情報や映像情報や或いはこれら両方の情報などを処理することが可能である。
【００５５】
本発明に係る情報処理装置では、一構成例として、電子メールソート手段は、電子メールに関する時刻情報と、電子メールの送信アドレス情報と、電子メールに関する頻度の情報とのいずれかに基づいて、電子メールに関してソートを行う。
従って、時刻や、送信アドレスや、頻度に基づいて、電子メール情報などを利用し易い順序とすることができる。
【００５６】
本発明に係る情報処理装置では、一構成例として、映像情報取得手段は、映像を撮像して映像情報を取得する映像撮像手段を用いて構成される。
従って、会議などの映像の情報をリアルタイムで取得することができ、取得した映像情報と電子メール情報とを関連付けることが可能である。
ここで、映像撮像手段としては、例えば、動画像を撮像するカメラなどの種々なものが用いられてもよい。
【００５７】
本発明に係る情報処理装置では、一構成例として、電子メール受信手段は、外部の通信装置から送信される電子メールを受信する。また、外部の通信装置として、携帯型の通信装置を用いることが可能である。
従って、携帯型の通信装置から送信される電子メールを受信して、当該電子メールの情報と映像情報とを関連付けることが可能である。
【００５８】
本発明に係る情報処理装置では、一構成例として、映像情報取得手段は所定のイベントの映像情報をリアルタイムに取得し、電子メール受信手段は当該所定のイベントに出席している者により操作される通信装置からリアルタイムに送信される電子メールを受信する。
【００５９】
従って、例えば、リアルタイムに取得した所定のイベントの映像情報と、当該イベントに出席している者が当該映像情報を見て思ったことなどを記載した電子メールの情報とを関連付けることができ、また、後に、イベントに出席した者などにより、当該関連付けに基づいて画面表示される映像情報や電子メール情報を閲覧することなどができる。
ここで、所定のイベントとしては、例えば、会議や、講義や、発表などのように、種々なものが用いられてもよい。
【００６０】
以下で、更に、本発明に係る構成例を示す。
本発明に係る情報処理装置では、一構成例として、電子メール頻度情報検出手段は、電子メールの件名、タイトル、サブジェクト若しくは題名または本文または添付情報等からテキスト・データ形式として単語情報を抽出するテキスト情報抽出手段またはいわゆる形態素解析手段を有し、テキスト情報抽出手段または形態素解析手段から抽出された単語情報から当該単語情報に関する統計情報を計算する統計情報計算手段を有する、ことを特徴とする。
【００６１】
すなわち、本発明に係る情報処理装置では、一例として、電子メール頻度情報検出手段は、電子メールの件名、タイトル、サブジェクト若しくは題名または本文または添付情報等からテキスト・データ形式として単語情報を抽出するテキスト情報抽出手段またはいわゆる形態素解析手段を用いて構成される。同じく、電子メール頻度情報検出手段は、テキスト情報抽出手段または形態素解析手段から抽出された単語情報から当該単語情報に関する統計情報を計算する統計情報計算手段を用いて構成される。
【００６２】
従って、例えば、電子メールの件名、タイトル、サブジェクト若しくは題名または添付情報等からテキスト・データとして抽出された単語情報、或いはいわゆる形態素として抽出された単語情報および品詞情報などに基づいた電子メールに関連する頻度情報を利用することができる。
【００６３】
本発明に係る情報処理装置では、一構成例として、電子メール情報出力手段は、電子メール情報を図的に表示する図的表示手段を有する、ことを特徴とする。従って、例えば、利用者は、電子メール情報を図的に把握することができる。ここで、電子メール情報の図的表現としては、アイコンによる表現或いはいわゆるタイムラインによる表現などを用いることができる。
【００６４】
本発明に係る情報処理装置では、一構成例として、図的表示手段は、統計情報計算手段により計算された単語情報等に関する統計情報を図的に表示する、ことを特徴とする。
従って、例えば、利用者は、電子メール情報に関する統計情報を図的に把握することができる。
【００６５】
ここで、電子メール情報に関連する統計情報の図的表現としては、頻度グラフ（度数グラフ）による表現、パイ・チャートによる表現、折れ線グラフによる表現、統計結果をアイコンに代表させた表現、複数の統計結果を表すアイコンを関連性により直線や曲線や折れ線や矢印等で結合若しくは隣接させた表現、統計結果をテキスト若しくは文字列に代表させた表現、複数の統計結果を表すテキスト若しくは文字列を直線や曲線や折れ線や矢印等で結合若しくは隣接させた表現などを用いることができる。
【００６６】
本発明に係る情報処理装置では、一構成例として、統計情報計算手段は、単一もしくは複数の電子メールに関して、重複して出現した単語若しくは重複なしで出現した単語、利用者から取得したキーワード、所定の時間単位、所定の意味的単位、所定の映像情報から取得した映像情報に関する単位など所定の基準により選択した単語、またはいわゆるLatent Semantic Analysis（ＬＳＡ）法若しくはいわゆる双対尺度法若しくはいわゆる数量化三類若しくはいわゆる数量化四類若しくはいわゆるコレスポンデンス分析（Cor respondence Analysis）乃至対応分析等に基づいて単語情報等に関する統計情報を計算する、ことを特徴とする。
【００６７】
従って、利用者は、単一若しくは複数の電子メールに関して、重複して出現する単語とその単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
同じく、利用者は、単一若しくは複数の電子メールに関して、重複しない単語、すなわち珍しい単語（特異な単語）とその単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
【００６８】
同じく、利用者は、単一若しくは複数の電子メールに関して、利用者が指定したキーワードに対応する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
同じく、利用者は、単一若しくは複数の電子メールに関して、所定の単位時間に出現する単語に基づいて計算された統計結果に関連する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
【００６９】
同じく、利用者は、単一若しくは複数の電子メールに関して、いわゆるLatent Semantic Analysis（ＬＳＡ）法に基づいて計算された統計結果に関連する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
同じく、利用者は、単一若しくは複数の電子メールに関して、いわゆる双対尺度法に基づいて計算された統計結果に関連する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
同じく、利用者は、単一若しくは複数の電子メールに関して、いわゆる数量化三類に基づいて計算された統計結果に関連する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
同じく、利用者は、単一若しくは複数の電子メールに関して、いわゆる数量化四類に基づいて計算された統計結果に関連する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
同じく、利用者は、単一若しくは複数の電子メールに関して、いわゆるコレスポンデンス分析乃至対応分析に基づいて計算された統計結果に関連する単語を含む電子メールおよび当該電子メールに対応する映像情報を特定し、利用することができる。
【００７０】
本発明に係る情報処理装置では、一構成例として、映像情報取得手段は、映像情報取得若しくは前記映像情報電子メール関連付け手段による関連付けの時間的な基準となる時刻情報を映像情報に設定する、または、映像情報から取得する、ことを特徴とする。
従って、電子メールの情報と映像情報とを時刻情報に基づいて関連付ける場合の時間的な基準を与える、または得ることができる。
【００７１】
本発明に係る情報処理装置では、一構成例として、映像情報出力手段は、電子メール情報の時刻情報に基づいて単一若しくは複数の部分映像情報を繰り返し、または時間的に連続して、若しくは順次映像情報を出力する、ことを特徴とする。
従って、利用者は、電子メール情報に関連付けられた単一の部分映像情報と電子メール情報とを繰り返し視聴することができる。
また、利用者は、電子メール情報に関連付けられた複数の部分映像情報と電子メール情報とをまとめて、すなわち時間的に連続して、若しくは順次視聴することができる。
【００７２】
本発明に係る情報処理装置では、一構成例として、部分映像情報生成手段は、所定の時間若しくは利用者から取得した時間に基づいて部分映像情報を生成する、ことを特徴とする。
従って、前述の部分映像情報を構成するフレーム数を所定の時間若しくは利用者から取得した時間に基づいて特定することができる。よって、集約される部分映像情報の全体的な長さ（時間）を特定することができる。
【００７３】
本発明に係る情報処理装置では、一構成例として、映像情報出力手段は、所定の時間若しくは利用者から取得した時間に基づいて単一若しくは複数の部分映像情報を繰り返し、または時間的に連続して、若しくは順次映像情報を出力する、ことを特徴とする。
従って、映像情報を出力する場合に、出力される部分映像の出力時間（表示時間）を特定することができる。よって、利用者は集約される部分映像情報の全体的な長さ（時間）を指定することができる。
【００７４】
本発明に係る技術思想は、方法の発明として実現することもできる。
例えば、本発明に係る情報処理方法では、映像情報を取得するとともに、送信されてくる電子メールを受信し、取得した映像情報と取得した電子メールの情報とを関連付け、当該関連付けに基づいて処理を実行する。
【００７５】
本発明に係る技術思想は、プログラムの発明として実現することもできる。
例えば、本発明に係るプログラムでは、映像情報を取得する機能と、取得した映像情報を映像情報記録メモリに記録する機能と、電子メールを受信する機能と、受信した電子メールの情報を電子メール情報記録メモリに記録する機能と、映像情報と電子メール情報とを関連付ける機能と、当該関連付けに基づいて処理を実行する機能と、をコンピュータにより実現する。
【００７６】
ここで、映像情報記録メモリや、電子メール情報記録メモリとしては、それぞれ、種々なものが用いられてもよい。
また、コンピュータとしては、種々なものが用いられてもよい。
また、プログラムとしては、種々なものが用いられてもよい。
【００７７】
本発明に係る技術思想は、プログラムを記憶した記憶媒体として実現することもできる。
例えば、本発明に係る記憶媒体では、コンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記憶している。そして、当該プログラムは、映像情報を取得する処理と、取得した映像情報を映像情報記録メモリに記録する処理と、電子メールを受信する処理と、受信した電子メールの情報を電子メール情報記録メモリに記録する処理と、映像情報と電子メール情報とを関連付ける処理と、当該関連付けに基づいて処理を実行する処理を、当該コンピュータに実行させる。
【００７８】
ここで、記憶媒体としては、種々なものが用いられてもよく、例えば、フロッピー（登録商標）ディスクや、ＣＤ（Compact Disc）−ＲＯＭ（Read Only Memory）や、ＤＶＤ（Digital Video Disc）などを用いることができる。
【００７９】
【発明の実施の形態】
本発明に係る実施例を図面を参照して説明する。
本実施例では、会議の映像の情報や会議時に参加者の通信装置から送信される電子メールの情報を記録することや当該記録情報を提供することを行う会議記録装置として、本発明を実施した場合を示す。
【００８０】
本発明の第１実施例に係る会議記録装置を説明する。
図１には、本例の会議記録装置１の一構成例を示してある。
本例の会議記録装置は、電子メール送受信部１１と、電子メール記録部１２と、電子メール提示部１３と、会議映像撮像部１４と、会議映像記録部１５と、会議映像再生部１６と、会議映像電子メール間関連付け部１７から構成されている。
【００８１】
電子メール送受信部１１、電子メール記録部１２、電子メール提示部１３、会議映像撮像部１４、会議映像記録部１５、会議映像再生部１６、及び会議映像電子メール間関連付け部１７は、図１中の矢印で示されるように、会議記録装置１の内部のネットワーク又はデータ回線及び制御回線ないし回路を介して相互に接続される。
【００８２】
具体的には、電子メール送受信部１１、電子メール記録部１２、会議映像電子メール間関連付け部１７、及び電子メール提示部１３は、電子メールに関する内部ネットワーク又はデータ回線及び制御回線並びに回路で接続され、電子メールに関するデータが伝送される。
また、会議映像撮像部１４、会議映像記録部１５、会議映像電子メール間関連付け部１７、及び会議映像再生部１６は、会議映像に関する内部ネットワーク又はデータ回線及び制御回線並びに回路で接続され、会議映像に関するデータが伝送される。
【００８３】
電子メール送受信部１１及び電子メール記録部１２は、一般的な電子メール・サーバー或いはデータベース或いはパーソナル・コンピュータ若しくはハードディスクなどから構成される。
電子メール提示部１３は、一般的なディスプレイ等から構成される。
会議映像撮像部１４は、一般的なデジタル・ビデオ・カメラ等から構成される。
【００８４】
本実施例では、会議の発表者が会議の参加者に対して発表を行っている場面を想定して、説明を行う。
会議発表者は、例えばマイクロソフト社製のＰｏｗｅｒＰｏｉｎｔ（同社の商標）などを液晶プロジェクターを用いて発表している状況を会議映像撮像部１４のデジタル・ビデオ・カメラで撮影し、映像記録部１５に記録する。
【００８５】
一方、会議参加者は、記録されている会議映像に対してメモを取りたい或いはコメントを残したいような場合に、会議記録装置１に対して外部の電子メール・クライアント若しくは電子メール機能を搭載する携帯電話などを用いて、電子メール送受信部１１に対応する電子メールの宛先に対して、メモ或いはコメントの内容を電子メールにより送信する。
【００８６】
なお、会議参加者としては、通常、会議発表者以外の会議参加者のことを示すが、会議発表者が含まれてもよい。
また、電子メールの宛先としては、例えば、電子メール・アドレスが用いられ、本例では、“mail-server@example.com”というアドレスが用いられるとする。
【００８７】
ここで、電子メール送受信部１１は、利用者（本例では、会議参加者）が使用する外部の電子メール・クライアント或いは電子メール機能を搭載する携帯電話などと、一般的には、外部の電子メール・サーバーを介して、電子メールを送受信する。つまり、電子メール送受信部１１は、外部のネットワークと接続され、利用者が使用する外部の電子メール・クライアント或いは電子メール機能を搭載する携帯電話及び外部の電子メール・サーバーと直接的若しくは間接的に接続されている。
【００８８】
まず、会議記録装置１の動作例を概説する。
電子メール送受信部１１は、利用者から送信される電子メールを受信し、受信した電子メール・データを電子メール記録部１２に渡す。
電子メール記録部１２は、当該電子メール・データを記録ないし蓄積や保存する。また、電子メール記録部１２は、記録した電子メール・データを会議映像電子メール間関連付け部１７へ出力する。
【００８９】
会議映像撮像部１４は、発表者による発表の場面等を撮影し、撮影した会議映像データを会議映像記録部１５へ出力する。
会議映像記録部１５は、会議映像撮影部１４により撮影された会議映像データを記録し、記録した会議映像データを会議映像電子メール間関連付け部１７へ出力する。
【００９０】
会議映像電子メール間関連付け部１７は、例えば、電子メール送受信部１１から抽出された電子メール・データ及び会議映像撮像部１４から抽出された特定フレームを入力し、入力した電子メール・データと特定フレームとの関連付けを図り、電子メールの特定のページと当該電子メールのページに対応した部分の会議映像データとを関連付ける。
【００９１】
会議映像再生部１６は、会議映像電子メール間関連付け部１７を参照して、会議映像電子メール間関連付け部１７に記録されている会議映像電子メール間関連付けデータから関連する会議映像記録部１５に記録されている会議映像データを特定し、当該会議映像データを再生する。
電子メール提示部１３は、会議映像電子メール間関連付け部１７を参照して、会議映像電子メール間関連付け部１７に記録されている会議映像電子メール間関連付けデータから関連する電子メール記録部１２に記録された電子メール・データを特定し、当該電子メール・データを提示する。
【００９２】
次に、会議記録装置１における会議映像電子メール間関連付けに関する処理の手続きの一例を示す。
図２には、このような手続きの一例を示してある。
会議記録装置１における会議映像電子メール間関連付けの処理の手続きは、会議映像撮像処理（ステップＳ１）、会議映像記録処理（ステップＳ２）、電子メール受信処理（ステップＳ３）、電子メール記録処理（ステップＳ４）、会議映像電子メール関連付け処理（ステップＳ５）、会議映像撮影終了検査処理（ステップＳ６）から構成される。
【００９３】
会議映像撮像処理では、会議映像撮像部１４が会議映像を撮影し、撮影した会議映像データを会議映像記録部１５へ出力する（ステップＳ１）。
会議映像記録処理では、会議映像記録部１５が会議映像撮影部１４から入力した会議映像データを記録して保持する（ステップＳ２）。
【００９４】
電子メール受信処理では、電子メール送受信部１１が利用者から送信される電子メールを受信し、受信した電子メール・データを電子メール記録部１２へ出力する（ステップＳ３）。
電子メール記録処理では、電子メール記録部１２が電子メール送受信部１１から入力した電子メール・データを記録して保持する（ステップＳ４）。
【００９５】
会議映像電子メール関連付け処理では、会議映像電子メール間関連付け部１７が、会議映像記録部１５に記録されている前記会議映像データと電子メール記録部１２に記録されている前記電子メール・データとを関連付け、当該関連付けられた会議映像データと電子メール・データの組をテーブル・データの形式で、会議映像電子メール間関連付けデータとして構造化し、当該テーブル・データ（会議映像電子メール間関連付けデータ）を内部メモリに保持する（ステップＳ５）。
【００９６】
会議映像撮影終了検査処理では、前記会議映像データの撮影が終了したか否かを検査し（ステップＳ６）、撮影が終了していた場合には、一連の手続きを終了する。一方、撮影が終了していない場合には、上記した会議映像撮影処理（ステップＳ１）から上記した会議映像電子メール間関連付け処理（ステップＳ５）を繰り返して行う。
【００９７】
なお、上記図２に示した処理手順では、会議映像撮像処理（ステップＳ１）及び会議映像記録処理（ステップＳ２）の手続きと、電子メール受信処理（ステップＳ３）及び電子メール記録処理（ステップＳ４）の手続きとが、独立して並行に処理される。
【００９８】
他の処理手順例として、電子メール受信処理（ステップＳ３）及び電子メール記録処理（ステップＳ４）の手続きが会議映像撮像処理（ステップＳ１）及び会議映像記録処理（ステップＳ２）の手続きに後続して処理されるように実行することも可能であり、逆に、会議映像撮像処理（ステップＳ３）及び会議映像記録処理（ステップＳ２）の手続きが電子メール受信処理（ステップＳ３）及び電子メール記録処理（ステップＳ４）の手続きに後続して処理されるように実行することも可能である。
【００９９】
図３には、テーブル・データとして表現された会議映像電子メール間関連付けデータの一例を示してある。
当該テーブル・データは、例えば“test.mpg”などといった電子メール・データＩＤと例えば“mail1”などといった会議映像データＩＤとの組として表現することができる。
【０１００】
ここで、電子メール・データＩＤは、電子メール・データを特定するための識別子（ＩＤ）であり、電子メール記録部１２により電子メール・データを記録する時点で特定される。
また、会議映像データＩＤは、会議映像データを特定するための識別子（ＩＤ）であり、会議映像記録部１５により特定される。
【０１０１】
利用者は、会議映像再生部１６及び電子メール提示部１３を利用して、会議映像とそれに関連した電子メールを関連付けて、或いはまとめて参照することができる。
ここで、会議映像再生部１６は、利用者により指定された会議映像に対応する会議映像データＩＤを特定し、当該会議映像データＩＤに対応する会議映像データを利用者に提示する。
【０１０２】
上述のように、会議映像に関連する電子メールは、会議映像電子メール間関連付けデータとして構造化されて、関連付けられているため、電子メール提示部１３は、当該会議映像電子メール間関連付けデータを参照することにより、会議映像再生部１６により再生される会議映像データのＩＤに関連付けられている電子メールＩＤを特定することが可能であり、当該電子メールＩＤに対応する電子メールを利用者に提示することができる。
【０１０３】
以上のように、本例の会議記録装置では、電子メール・データと会議映像データとを関連付けて構造化することができ、また、当該関連付けのデータを蓄積することにより、当該関連付けデータに基づいて、会議映像データを再生することや、電子メール・データを提示することができる。
【０１０４】
本発明の第２実施例に係る会議記録装置を説明する。
なお、上記第１実施例の図１に示したのと同様な処理部１１〜１７については同一の符号を用いて示し、上記第１実施例の図２に示したのと同様な処理（ステップＳ１〜ステップＳ６）については同一の符号を用いて示す。
【０１０５】
図４には、本例の会議記録装置２の構成例を示してある。
本例の会議記録装置２は、上記第１実施例の図１に示した会議記録装置１の構成に、更に、電子メール送受信時刻特定部２１と、電子メールソート部２２と、フレーム特定部２３を付加した構成となっている。
【０１０６】
電子メール送受信時刻特定部２１は、電子メール記録部１２及び電子メールソート部２２と接続され、電子メール記録部１２に記録されている電子メール・データを入力し、当該電子メール・データの受信時刻を特定し、特定した電子メールの当該受信時刻データを電子メールソート部２２へ出力する。
【０１０７】
電子メール・ソート部２２は、電子メール記録部１２、電子メール送受信時刻特定部２１、及び会議映像電子メール間関連付け部１７と接続され、電子メール記録部１２に記録されている電子メール・データを入力し、また、電子メール送受信時刻特定部２１から前記特定された電子メールの受信時刻データを入力し、当該電子メールの受信時刻データに基づいて、電子メール・データをソートし、ソートした電子メールの識別子（ＩＤ）及び当該電子メール（或いは、当該電子メールの識別子）に対応する受信時刻データを会議映像電子メール間関連付け部１７へ出力する。
【０１０８】
フレーム特定部２３は、会議映像記録部１５及び会議映像電子メール間関連付け部１７と接続され、会議映像電子メール間関連付け部１７から会議映像データに対応する会議映像データの識別子（ＩＤ）及び当該会議映像データに関連付けられた電子メールに対応する受信時刻データを入力し、また、会議映像記録部１５から会議映像データを入力し、電子メールの受信時刻データに対応する会議映像データ中のフレームを特定し、特定したフレームのフレーム番号（或いは、タイム・スタンプ）を会議映像電子メール間関連付け部１７へ出力する。
【０１０９】
次に、会議記録装置２における会議映像電子メール間関連付けに関する処理の手続きの一例を示す。
図５には、このような手続きの一例を示してある。
本例の会議記録装置２における会議映像電子メール間関連付けに関する処理の手続きは、上記第１実施例の図２に示した会議映像電子メール間関連付けに関する処理の手続きにおける会議映像撮像処理（ステップＳ１）、会議映像記録処理（ステップＳ２）、電子メール受信処理（ステップＳ３）、電子メール記録処理（ステップＳ４）、会議映像電子メール関連付け処理（ステップＳ５）、会議映像撮影終了検査処理（ステップＳ６）の各処理に、更に、電子メール送受信時刻特定処理（ステップＳ１１）、電子メールソート処理（ステップＳ１２）、及びフレーム特定処理（ステップＳ１３）を加えて構成される。
【０１１０】
なお、電子メール送受信時刻特定処理（ステップＳ１１）は電子メール記録処理（ステップＳ４）の後に行われ、電子メールソート処理（ステップＳ１２）は電子メール送受信時刻特定処理（ステップＳ１１）の後に行われ、フレーム特定処理（ステップＳ１３）は会議映像記録処理（ステップＳ２）や電子メールソート処理（ステップＳ１２）の後に行われ、会議映像電子メール関連付け処理（ステップＳ５）はフレーム特定処理（ステップＳ１３）の後に行われる。
【０１１１】
ここで、本例では、上記第１実施例の図２に示した会議映像電子メール間関連付けに関する処理の手続きにおける会議映像撮像処理（ステップＳ１）、会議映像記録処理（ステップＳ２）、電子メール受信処理（ステップＳ３）、電子メール記録処理（ステップＳ４）、会議映像電子メール関連付け処理（ステップＳ５）、会議映像撮影終了検査処理（ステップＳ６）の各処理については、同様であるため、説明を省略する。
【０１１２】
電子メール送受信時刻特定処理では、電子メール送受信時刻特定部２１が、電子メール記録部１２に記録されている電子メール・データを入力し、当該電子メール・データの受信時刻を特定し、特定した電子メールの当該受信時刻データを電子メール・ソート部２２へ出力する（ステップＳ１１）。
【０１１３】
電子メールソート処理では、電子メールソート部２２が、電子メール記録部１２に記録されている電子メール・データを入力し、また、電子メール送受信時刻特定部２１から前記特定された電子メールの受信時刻データを入力し、当該電子メールの受信時刻データに基づいて、電子メール・データをソートし、ソートした電子メールの識別子及び当該電子メール（或いは、当該電子メールの識別子）に対応する受信時刻データを会議映像電子メール間関連付け部１７へ出力する（ステップＳ１２）。
【０１１４】
フレーム特定処理では、フレーム特定部２３が、会議映像電子メール間関連付け部１７から会議映像データに対応する会議映像データの識別子及び当該会議映像データに関連付けられた電子メールに対応する受信時刻データを入力し、また、会議映像記録部１５から会議映像データを入力し、電子メールの受信時刻データに対応する会議映像データ中のフレームを特定し、特定したフレームのフレーム番号（或いは、タイム・スタンプ）を会議映像電子メール間関連付け部１７へ出力する（ステップＳ１３）。
【０１１５】
図６には、テーブル・データとして表現された会議映像電子メール間関連付けデータの一例を示してある。
本例の会議映像電子メール間関連付けデータ（テーブル・データ）は、上記第１実施例の図３に示した会議映像電子メール間関連付けデータ（テーブル・データ）に、更に、電子メールの受信時刻データ及び会議映像データのフレーム番号のデータを加えた構成となっている。
【０１１６】
図６の例では、電子メールが３通、それぞれ２００２年１２月１０日の１０時０１分００秒と、同日の１０時０２分００秒と、同日の１０時０３分００秒に受信され、これらに対応する会議映像のフレームの番号がそれぞれ１８００、３６００、５４００であることが記録されている。
【０１１７】
会議映像再生部１６は、上記のような会議映像電子メール間関連付けデータを参照することにより、電子メールの受信時刻に対応した会議映像のフレームを特定することが可能となり、これにより、例えば、特定されたフレームから会議映像の再生を開始することや、或いは特定されたフレームで会議映像の再生を停止することなどのように、種々な会議映像の制御を行うことが可能となる。このため、利用者は、例えば、電子メールの受信時刻に対応した会議映像の特定フレームから会議映像の再生を開始させて閲覧することなどができる。
【０１１８】
電子メール提示部１３は、上記のような会議映像電子メール間関連付けデータを参照することにより、例えば、会議映像の特定フレームに対応した電子メールを提示することなどができる。このため、利用者は、例えば、会議映像の再生中において、電子メールの受信時刻に対応した特定フレームを再生した時点で、当該特定フレームに関連付けられた電子メールの内容を参照することなどが可能となる。
【０１１９】
このように、本例のように会議映像電子メール間関連付けデータを構成することにより、会議映像に関連する電子メールを、例えば受信時刻順に、会議映像の特定のフレームに関連させることができ、当該関連付けに基づいて、会議映像と電子メールを利用者に対して再生や提示することが可能となる。
なお、本例では、電子メールの受信時刻を特定して用いる場合を示したが、例えば、電子メールの送信時刻や作成時刻などを特定して用いることも、同様に、可能である。
【０１２０】
以上のように、本例の会議記録装置２では、電子メールの受信時刻又は送信時刻などを特定し、特定した電子メールの受信時刻又は送信時刻などに基づいて電子メールをソートし、ソートした電子メールの受信時刻又は送信時刻などに対応した会議映像のタイム・スタンプに応じた会議映像のフレームを特定し、当該電子メールと当該特定したフレームとを関連付けることにより、例えば、当該特定フレームから会議映像データの再生を開始することや、或いは当該特定フレームで会議映像データの再生を終了することなどができ、種々な会議映像データの制御を行うことができる。
【０１２１】
なお、本例では、会議映像データと電子メール・データとを関連付ける前の段階で電子メールをソートすることにより、当該関連付けなどの効率化を図ったが、例えば、利用者に対して電子メール・データなどを提示するに際してソートを行うと、利用者にとって見やすく把握し易い順序で複数の電子メールなどを提示することが可能となる。
【０１２２】
本発明の第３実施例に係る会議記録装置を説明する。
なお、上記第１実施例の図１に示したのと同様な処理部１１〜１７や上記第２実施例の図４に示したのと同様な処理部２１〜２３については同一の符号を用いて示し、上記第１実施例の図２に示したのと同様な処理（ステップＳ１〜ステップＳ６）や上記第２実施例の図５に示したのと同様な処理（ステップＳ１１〜ステップＳ１３）については同一の符号を用いて示す。
【０１２３】
図７には、本例の会議記録装置３の構成例を示してある。
本例の会議記録装置３は、上記第２実施例の図４に示した会議記録装置２の構成に、更に、電子メールデータ計量部３１と、利用者プロファイル取得部３２と、電子メール制御時刻予測部３３と、会議映像編集部３４と、電子メール送信アドレス特定部３５と、電子メール頻度計量部３６と、電子メールインデックス部３７を付加した構成となっている。
【０１２４】
電子メールデータ計量部３１は、電子メール記録部１２及び電子メール制御時刻予測部３３と接続され、電子メール記録部１２に記録されている電子メール・データを入力し、当該電子メール・データの内容のデータ量を計量し、計量した電子メール・データのデータ量を電子メール制御時刻予測部３３へ出力する。
なお、電子メール・データの内容のデータ量としては、本例では、主として、テキスト・データ部分のデータ量を計量する。
【０１２５】
利用者プロファイル取得部３２は、電子メール制御時刻予測部３３と接続され、利用者のデータ生成速度などの利用者プロファイル・データを利用者から取得して記録し、当該利用者プロファイル・データを電子メール制御時刻予測部３３へ出力する。
【０１２６】
ここで、利用者のデータ生成速度は、例えば、利用者が電子メールの内容を生成するために、キーボードを使用してテキストをタイピングする場合において１文字当たりに要する時間などで定義される。
具体的には、例えば、電子メールの内容が半角のアスキー・コードのみで構成されている場合には、１０００バイトは１０００文字に相当する。このようなとき、１０００文字を利用者が１００秒でタイプ入力できたとすると、当該利用者のデータ生成速度は、１０文字毎秒又は１０バイト毎秒であると表現することができる。
【０１２７】
また、利用者プロファイルを利用者から取得する方法としては、例えば、事前に利用者に一定の文字数をタイプ入力してもらって、その時間を計測し、文字数と当該計測時間に基づいてデータ生成速度を計算することができ、或いは、このようなデータ生成速度を事前に多数計測し、この平均的な統計データを既定値として利用することも可能である。
【０１２８】
電子メール制御時刻予測部３３は、電子メール送受信時刻特定部２１、電子メール・データ計量部３１、利用者プロファイル取得部３３、及び電子メールソート部２２と接続され、電子メール送受信時刻特定部２１から当該電子メール送受信時刻特定部２１により特定された電子メールの送信時刻や受信時刻を入力し、電子メールデータ計量部３１から当該電子メールのデータ量を入力し、利用者プロファイル取得部３２から利用者プロファイル・データを入力し、入力した電子メールの送信時刻や受信時刻、電子メールのデータ量、及び利用者プロファイル・データに基づいて、電子メールの生成開始時刻などといった電子メールの制御時刻を予測し、当該予測した電子メール制御時刻（予測電子メール制御時刻）を電子メールソート部２２へ出力する。
【０１２９】
ここで、本例の電子メール送受信時刻特定部２１は、電子メールから当該電子メールの送信時刻を特定する機能や、電子メールから当該電子メールの受信時刻を特定する機能を有しており、特定した電子メール送信時刻や電子メール受信時刻を電子メール制御時刻予測部３３へ出力する。
【０１３０】
なお、例えば、電子メールの送信日時の情報や受信日時の情報の代わりに或いはこれらの情報と共に、新規メール作成の指示を受け付けた日時の情報が電子メールに付加されて送信されるような場合には、受信した電子メールに付加された当該情報に基づいて新規メール作成の指示を受け付けた日時（作成時刻）を特定することも可能である。
【０１３１】
一例として、受信した電子メールに付加された“Ｘ−Ｍａｉｌｅｒ”ヘッダを参照して送信側の電子メールソフトの判定を行い、この結果、電子メールの送受信日時ではなく新規メール作成の指示を受け付けた日時を“Ｄａｔｅ：”ヘッダとして設定する電子メールソフトから受信した電子メールであった場合には、当該“Ｄａｔｅ：”ヘッダの値を受信した電子メールの生成開始時刻として用いることも可能である。
【０１３２】
次に、会議記録装置３における会議映像電子メール間関連付けに関する処理の手続きの一例を示す。
図８には、このような手続きの一例を示してある。
本例の会議記録装置３における会議映像電子メール間関連付けに関する処理の手続きは、上記第２実施例の図５に示した会議映像電子メール間関連付けに関する処理の手続きにおける会議映像撮像処理（ステップＳ１）、会議映像記録処理（ステップＳ２）、電子メール受信処理（ステップＳ３）、電子メール記録処理（ステップＳ４）、会議映像電子メール関連付け処理（ステップＳ５）、会議映像撮影終了検査処理（ステップＳ６）、電子メール送受信時刻特定処理（ステップＳ１１）、電子メールソート処理（ステップＳ１２）、フレーム特定処理（ステップＳ１３）の各処理に、更に、電子メールデータ計量処理（ステップＳ２１）、利用者プロファイル取得処理（ステップＳ２２）、電子メール制御時刻予測処理（ステップＳ２３）を加えて構成される。
【０１３３】
なお、電子メールデータ計量処理（ステップＳ２１）は電子メール送受信時刻特定処理（ステップＳ１１）の後に行われ、利用者プロファイル取得処理（ステップＳ２２）は電子メールデータ計量処理（ステップＳ２１）の後に行われ、電子メール制御時刻予測処理（ステップＳ２３）は利用者プロファイル取得処理（ステップＳ２２）の後に行われ、電子メールソート処理（ステップＳ１２）は電子メール制御時刻予測処理（ステップＳ２３）の後に行われる。
【０１３４】
ここで、本例では、上記第２実施例の図５に示した会議映像電子メール間関連付けに関する処理の手続きにおける会議映像撮像処理（ステップＳ１）、会議映像記録処理（ステップＳ２）、電子メール受信処理（ステップＳ３）、電子メール記録処理（ステップＳ４）、会議映像電子メール関連付け処理（ステップＳ５）、会議映像撮影終了検査処理（ステップＳ６）、電子メール送受信時刻特定処理（ステップＳ１１）、電子メールソート処理（ステップＳ１２）、フレーム特定処理（ステップＳ１３）の各処理については、同様であるため、説明を省略する。
【０１３５】
電子メールデータ計量処理では、電子メールデータ計量部３１が、電子メール記録部１２に記録されている電子メール・データを入力し、当該電子メール・データの内容のうちの主としてテキスト・データ部分のデータ量を計量し、計量した電子メール・データのデータ量を電子メール制御時刻予測部３３へ出力する（ステップＳ２１）。
【０１３６】
利用者プロファイル取得処理では、利用者プロファイル取得部３２が、利用者のデータ生成速度などの利用者プロファイル・データを利用者から取得して記録し、当該利用者プロファイル・データを電子メール制御時刻予測部３３へ出力する（ステップＳ２２）。
【０１３７】
電子メール制御時刻予測処理では、電子メール制御時刻予測部３３が、電子メール送受信時刻特定部２１から当該電子メール送受信時刻特定部２１により特定された電子メールの送信時刻や受信時刻を入力し、電子メールデータ計量部３１から当該電子メールのデータ量を入力し、利用者プロファイル取得部３２から利用者プロファイル・データを入力し、入力した電子メールの送信時刻や受信時刻、電子メールのデータ量、及び利用者プロファイル・データに基づいて、当該電子メールの生成開始時刻などの電子メールの制御時刻を予測し、当該予測した電子メール制御時刻を電子メールソート部２２へ出力する（ステップＳ２３）。
【０１３８】
ここで、上記した電子メール制御時刻予測処理（ステップＳ２３）において、電子メール制御時刻予測部３３が、電子メールの送信時刻や受信時刻、電子メールのデータ量、及び利用者プロファイル・データに基づいて、電子メールの生成時刻を予測する方法の一例を示す。
【０１３９】
本例では、電子メールの送信時刻をｔ＿ｓｅｎｄで表し、電子メールの受信時刻をｔ＿ｒｅｃｅｉｖｅで表し、電子メールのデータ量をａｍｏｕｎｔ（バイト）で表し、利用者プロファイル・データに含まれる利用者のデータ生成速度をｓｐｅｅｄ（バイト／秒）で表し、電子メールの予測生成時刻をｔ＿ｐｒｅｄｉｃｔで表す。
【０１４０】
（１）電子メールの送信時刻ｔ＿ｓｅｎｄが特定できる場合には、電子メールの予測生成時刻ｔ＿ｐｒｅｄｉｃｔは、式１のように定義することができる。
【０１４１】
【数１】

【０１４２】
（２）電子メールの送信時刻が特定できず、電子メールの受信時刻ｔ＿ｒｅｃｅｉｖｅが特定できる場合には、電子メールの予測生成時刻ｔ＿ｐｒｅｄｉｃｔは、式２のように定義することができる。
【０１４３】
【数２】

【０１４４】
ここで、上記した式２では、電子メールを利用者の電子メール・クライアント或いは電子メール機能付きの携帯電話から送信して、電子メール送受信部１１が当該電子メールを受信するまでに要した時間（電子メール伝送時間）をｔ＿ｄｅｌａｙで表している。
当該電子メール伝送時間ｔ＿ｄｅｌａｙとしては、例えば、事前に既定値として適切な値が設定されてもよく、或いは、多数の電子メールの伝送時間を計測して、その平均値などの値が用いられてもよい。
【０１４５】
図９には、テーブル・データとして表現された会議映像電子メール間関連付けデータの一例を示してある。
本例の会議映像電子メール間関連付けデータ（テーブル・データ）は、上記第２実施例の図６に示した会議映像電子メール間関連付けデータ（テーブル・データ）に、更に、電子メールの予測制御時刻データを加えた構成となっている。
【０１４６】
図９の例では、電子メールが３通、それぞれ２００２年１２月１０日の１０時００分３０秒と、同日の１０時０１分３０秒と、同日の１０時０２分３０秒に生成されたと予測され、また、これらに対応する会議映像のフレームの番号がそれぞれ９００、２７００、４５００であることを記録している。
【０１４７】
以上のように、本例の会議記録装置３では、電子メールのデータ量を計量し、当該計量した電子メールのデータ量と、利用者プロファイルから取得した利用者のデータ生成速度と、電子メール送受信時刻特定部２１により特定した電子メールの送信時刻又は受信時刻とから、電子メールの生成時刻などの電子メール制御時刻を予測し、当該予測した電子メール生成制御時刻に基づいて電子メールをソートし、当該ソートした電子メールについて予測された電子メール制御時刻に対応したタイム・スタンプに応じた会議映像のフレームを特定し、係る電子メールと特定フレームとを関連付けることにより、例えば、当該特定フレームから会議映像データの再生を開始することや、或いは当該特定フレームで会議映像データの再生を終了することなどができる。
【０１４８】
次に、会議記録装置３の会議映像電子メール間関連付け部１７によりファイルを生成する手続きの一例を示す。
上記図８に示した会議映像電子メール関連付け処理（ステップＳ５）では、例えば、その内部手続きとして、ファイル生成処理を行うことも可能である。
当該ファイル生成処理では、会議映像電子メール間関連付け部１７は、会議映像と電子メールに関する各データ（会議映像電子メール間関連付けデータ）を、例えばＨＴＭＬ、ＳＭＩＬ、ＨＴＭＬ＋ＴＩＭＥ、ＸＭＬなどのように、リンクないしハイパーリンクを表現することが可能な形式でファイルとして生成する。
【０１４９】
図１０には、（ＨＴＭＬ＋ＴＩＭＥ）形式で表現された会議映像電子メール間関連付けデータの一例を示してある。
図１０の例に係る（ＨＴＭＬ＋ＴＩＭＥ）のコードでは、上記図９に示されるそれぞれの電子メール・データＩＤ（“mail1”、“mail2”、“mail3”）に対応する３通の電子メールの内容をそれぞれ“mail1.txt”、“mail2.txt”、“mail3.txt”として外部ファイル化してあり、会議映像データ“test.mpg”と各電子メールの電子メール予測生成時刻に対する相対時刻で関連付けた場合を示してある。
【０１５０】
また、図１１には、ＳＭＩＬ形式で表現された会議映像電子メール間関連付けデータの一例を示してある。
図１１の例に係るＳＭＩＬのコードでは、上記図１０と同様に、上記図９に示されるそれぞれの電子メール・データＩＤ（“mail1”、“mail2”、“mail3”）に対応する３通の電子メールの内容をそれぞれ“mail1.txt”、“mail2.txt”、“mail3.txt”として外部ファイル化してあり、会議映像データ“test.mpg”と各電子メールの電子メール予測生成時刻に対する相対時刻で関連付けた場合を示してある。
【０１５１】
なお、図１１においては、会議映像データ“te st.mpg狽ニ電子メール“mail1.txt”、“mail2.txt”、“mail3.txt”との関連はanchorタグによって表現され、anchorタグのcoords属性により、電子メール情報の提示位置を制御するための情報を記述している。
【０１５２】
また、会議映像データ“test.mpg”は、２００２年１２月１０日９時５９分３０秒（９：５９：３０）から毎秒３０フレームで撮影されたものと仮定する。
また、図１０に示した会議映像電子メール間関連付けデータは、先頭からの再生時において、１分目、２分目、及び３分目に、それぞれ“mail1.txt”、“mail2.txt”、“mail3.txt”のデータに利用者を注目させるために、各電子メールのインデックスとして、アイコン“icon.png”を５秒間提示することを表現している。
【０１５３】
ここで、電子メールのインデックスとしては、例えば、会議映像電子メール間関連付け部１７と接続する電子メールインデックス部３７を設けて、当該電子メールインデックス部３７により、電子メールと当該電子メールに対応する電子メールのインデックスとしてのアイコンとを関連付けるようにすることも可能である。
【０１５４】
以上のように、本例の会議記録装置３では、会議映像と電子メールに関するデータを、ＨＴＭＬ、ＳＭＩＬ、ＨＴＭＬ＋ＴＩＭＥ、ＸＭＬなどのようにリンクないしハイパーリンクを表現可能な形式でファイルとして生成することができる。
また、本例の会議記録装置３では、ユーザインタフェース（ＵＩ）の一例として、会議映像の再生時において、アイコンなどを特定時間表示することにより、会議映像の再生時刻に対応する電子メールを利用者に注目させることができる。
【０１５５】
次に、会議記録装置３による会議映像の編集機能の一例を示す。
会議映像編集部３４は、会議映像記録部１５及び会議映像電子メール間関連付け部１７と接続され、会議映像記録部１５から当該会議映像記録部１５に記録されている会議映像データを入力し、会議映像電子メール間関連付け部１７から会議映像電子メール間関連付けデータを入力し、入力した会議映像データについて電子メールの受信時刻或いは予測生成時刻などに対応した特定フレームを特定した結果に基づいて、当該特定フレームを含む会議映像を編集して、当該編集結果を当該電子メールに関連する部分会議映像データとして生成し、当該生成した部分会議映像データを会議映像記録部１５へ出力する。
【０１５６】
また、会議映像編集部３４において、部分会議映像データを生成する場合、関連付けられた電子メールの内容をいわゆるテロップとして部分会議映像データ中に埋め込む、あるいは画像的に重ねあわせるように処理することができる。
【０１５７】
利用者は、会議映像再生部１６を利用して、上記のような電子メールに関連した部分会議映像データのみを視聴することができる。また、利用者は、会議映像再生部１６及び電子メール提示部１３を利用して、部分会議映像データを再生して、当該部分会議映像データに関連する電子メールを参照することができる。
なお、会議映像編集部３４としては、例えば、部分会議映像データを構造化して、外部のディスクやＣＤ−ＲＯＭやＤＶＤなどの記録媒体に記録するような構成とすることも可能である。
【０１５８】
以上のように、本例の会議記録装置３では、映像編集や映像要約の一例として、会議映像の特定フレームを含む複数フレームから部分映像データを生成し、当該部分映像データのみ、又は当該部分映像データと当該部分映像データに関連する電子メールを再生ないし提示することができる。
【０１５９】
次に、会議記録装置３において、電子メールの送信アドレス毎に会議映像データと電子メール・データを構造化する方法の一例を示す。
電子メール送信アドレス特定部３５は、電子メール記録部１２及び会議映像電子メール間関連付け部１７と接続され、電子メール記録部１２から当該電子メール記録部１２に記録されている電子メールを入力し、当該電子メールの送信アドレスを特定し、特定した送信アドレスを会議映像電子メール間関連付け部１７へ出力する。
【０１６０】
この場合、会議映像電子メール間関連付け部１７は、電子メール送信アドレス特定部３５から入力される電子メールの送信アドレスを含めて、会議映像電子メール間関連付けデータを構造化する。
【０１６１】
図１２には、テーブル・データとして表現された会議映像電子メール間関連付けデータの一例を示してある。
本例の会議映像電子メール間関連付けデータ（テーブル・データ）は、上記図９に示した会議映像電子メール間関連付けデータ（テーブル・データ）に、更に、電子メール送信アドレスのデータを加えた構成となっている。
【０１６２】
電子メール提示部１３及び会議映像再生部１６は、会議映像電子メール間関連付けデータを参照して、例えば、電子メール送信アドレス毎に、電子メール・データ及びそれに関連する会議映像を提示ないし再生する。
また、会議映像編集部３４は、当該会議映像電子メール間関連付けデータを参照して、例えば、電子メール送信アドレス毎に、電子メール・データ及びそれに関連する会議映像を編集し、編集した部分会議映像データを会議映像記録部１５へ出力する。
【０１６３】
これにより、利用者は、電子メール提示部１３及び会議映像再生部１６を使用して、電子メール送信アドレス毎に、電子メール・データを参照することができ、また、電子メール送信アドレス毎に、電子メール・データに関連する会議映像データ又は部分会議映像データを視聴することができる。
【０１６４】
以上のように、本例の会議記録装置３では、電子メールの送信アドレスの特定とこれに基づく映像要約の一例として、電子メールから送信アドレスを特定し、当該特定した送信アドレスに対応する電子メール及び当該電子メールに関連する会議映像を提示ないし再生することができる。
【０１６５】
次に、会議記録装置３における電子メールの頻度を利用したいわゆるコラボラティブ・フィルタリングの一例を示す。
電子メール頻度計量部３６は、会議映像電子メール間関連付け部１７と接続され、会議映像電子メール間関連付け部１７の会議映像電子メール間関連付けデータを入力し、所定の単位時間当たりの電子メール生成頻度或いは電子メール送受信頻度を計量し、計量した電子メール生成頻度或いは電子メール送受信頻度に基づいて、入力した会議映像電子メール間関連付けデータを再構成し、当該再構成した会議映像電子メール間関連付けデータを更新後のものとして会議映像電子メール間関連付け部１７へ出力する。
【０１６６】
ここで、所定の単位時間当たり電子メール生成頻度としては、例えば、所定の単位時間として５分間の単位時間が設定された場合には、当該５分間に生成された電子メールの総数を表す。
また、所定の単位時間当たり電子メール送受信頻度としては、例えば、所定の単位時間として５分間の単位時間が設定された場合には、当該５分間に受信された電子メールの総数もしくは送信された電子メールの総数を表す。なお、受信の総数と、送信の総数と、受信と送信とを合わせた総数とで、任意のものが用いられてもよい。
【０１６７】
なお、頻度を計量するための所定の単位時間としては、例えば、利用者により指定されてもよく、或いは、予め設定されてもよい。
また、当該所定の単位時間を計時する開始時点としては、例えば、種々な時点が用いられてもよく、利用者により指定されてもよく、或いは、予め設定されてもよい。
【０１６８】
電子メール頻度計量部３６では、例えば、所定の単位時間当たりの電子メールの生成頻度と当該電子メール生成頻度に対する既定の閾値とを比較し、所定の単位時間当たりの電子メールの生成頻度が当該閾値と比べて大きい（高い）場合に、対応する電子メール・データと当該電子メールに関連する会議映像データに関連するデータを会議映像電子メール間関連付けデータとして残すこととし、一方、所定の単位時間当たりの電子メールの生成頻度が当該閾値と比べて小さい（低い）場合には、対応する電子メール・データと当該電子メールに関連する会議映像データに関連するデータを会議映像電子メール間関連付けデータから削除することにより、会議映像電子メール間関連付けデータを再構成する。
【０１６９】
或いは、電子メール頻度計量部３６では、例えば、所定の単位時間当たりの電子メールの送受信頻度と当該電子メール送受信頻度に対する既定の閾値とを比較し、所定の単位時間当たりの電子メールの送受信頻度が当該閾値と比べて大きい（高い）場合には、対応する電子メール・データと当該電子メールに関連する会議映像データに関連するデータを会議映像電子メール間関連付けデータとして残すこととし、一方、所定の単位時間当たりの電子メールの送受信頻度が当該閾値と比べて小さい（低い）場合には、対応する電子メール・データと当該電子メールに関連する会議映像データに関連するデータを会議映像電子メール間関連付けデータから削除することにより、会議映像電子メール間関連付けデータを再構成する。
【０１７０】
このように会議映像電子メール間関連付けデータを再構成することにより、利用者は、例えば、利用者の集団が多くの電子メールを生成した時刻や或いは多くの電子メールを送受信した時刻に対応する会議映像データとそれに関連する電子メールを視聴や参照することが可能となる。
【０１７１】
以上のように、本例の会議記録装置３では、コラボラティブ・フィルタリングにより頻度が高い電子メールに関する情報を抽出する一例として、利用者により指定などされる単位時間における電子メールに関する頻度に応じて、電子メールや当該電子メールに関連する会議映像を提示ないし再生することができる。
【０１７２】
次に、以上の実施例（第１実施例〜第３実施例）で示したような会議記録装置１〜３により実現されるユーザインタフェースの一例を示す。
なお、会議記録装置１〜３では、例えば、当該会議記録装置１〜３に備えられたディスプレイ画面などに会議映像データや電子メール・データなどを表示などする機能と共に或いは当該機能の代わりに、利用者の携帯端末装置などのような外部の通信装置に対して会議映像データや電子メール・データなどを送信して当該外部の通信装置により会議映像データや電子メール・データなどを表示などさせるような機能が備えられてもよい。
【０１７３】
図１３には、会議記録装置１〜３によるユーザインタフェース４１の一例として画面表示例を示してある。
同図に示したユーザインタフェース４１は、ビデオ提示領域５１、ビデオ提示制御ボタン５２、及び関連する電子メールに関する情報５３といった要素を有して構成されている。
【０１７４】
ここで、ビデオ提示領域５１及びビデオ提示制御ボタン５２は、会議映像再生部１６に対応するユーザインタフェースである。
また、関連する電子メールに関する情報５３は、電子メール提示部１３に対応するユーザインタフェースである。
【０１７５】
ビデオ提示領域５１は、会議映像データを提示する。
ビデオ提示制御ボタン５２は、例えば、再生開始ボタンや再生終了ボタンなどから構成されており、会議映像データの再生或いは再生の終了などの制御を指示するイベントを利用者から取得し、当該取得した制御イベントを会議映像再生部１６へ出力する。会議映像再生部１６は、入力される制御イベントに応じて、会議映像データの再生開始や再生終了などを行う。
【０１７６】
関連する電子メールに関する情報５３は、同図においては、例えばハイパーリンクの形式で表現されている。そして、利用者が、当該関連する電子メールに関する情報５３に係るタイトル文字をマウスなどのポインタでクリックすると、電子メール提示部１３により電子メールの内容が提示される構成となっている。
【０１７７】
なお、以上の実施例（第１実施例〜第３実施例）では、会議映像撮像部１４の機能により映像撮像手段から成る映像情報取得手段が構成されており、会議映像記録部１５の機能により映像情報記録手段が構成されており、電子メール送受信部１１の受信に係る機能により電子メール受信手段が構成されており、電子メール記録部１２の機能により電子メール情報記録手段が構成されており、会議映像電子メール間関連付け部１７の機能により映像情報電子メール情報関連付け情報記憶手段を有する映像情報電子メール情報関連付け手段が構成されている。
【０１７８】
また、以上の実施例（第１実施例〜第３実施例）では、会議映像再生部１６の機能により映像情報出力手段が構成されており、電子メール提示部１３の機能により電子メール情報出力手段が構成されており、映像情報出力手段の機能や電子メール情報出力手段の機能により処理実行手段が構成されている。
また、上記した実施例（第２実施例、第３実施例）では、電子メール送受信時刻特定部２１の機能により電子メール時刻情報特定手段が構成されており、電子メールソート部２２の機能により電子メールソート手段が構成されており、フレーム特定部２３の機能により映像情報フレーム特定手段が構成されている。
【０１７９】
また、上記した実施例（第３実施例）では、電子メールデータ計量部３１の機能や利用者プロファイル取得部３２の機能や電子メール制御時刻予測部３３の機能により電子メール時刻情報特定手段が構成されており、会議映像編集部３４の機能により部分映像情報生成手段が構成されており、電子メール送信アドレス特定部３５の機能により電子メール送信アドレス情報特定手段が構成されており、電子メール頻度計量部３６の機能により電子メール頻度情報検出手段が構成されており、電子メールインデックス部３７の機能により処理実行手段が有する関連電子メール通知情報提示手段が構成されている。
【０１８０】
本発明の第４実施例に係る会議記録装置を説明する。
なお、上記第１実施例の図１に示したのと同様な処理部１１〜１７については同一の符号を用いて示す。
図１４には、本例の会議記録装置４の構成例を示してある。
本例の会議記録装置４は、上記第１実施例の図１に示した会議記録装置１の構成に、更に、時刻情報設定取得部６１と、テキスト情報抽出部６２と、形態素解析部６３と、統計情報計算部６４と、図的表示部６５と、提示時間指定部６６を付加した構成となっている。
【０１８１】
時刻情報設定取得部６１は、映像記録部１５と接続され、会議映像記録部１５において記録されている会議映像の時刻情報を取得または設定する。
具体的には、時刻情報設定取得部６１は、会議映像撮像部１４から会議映像が撮像開始された時刻または撮像が終了した時刻のいずれか若しくは両方を会議映像記録部１５に記録する、或いは会議映像記録部１５から取得する。
【０１８２】
なお、時刻情報設定取得部６１を上記第２実施例におけるフレーム特定部２３に接続し、会議映像記録部１５から取得した会議映像が撮像開始された時刻または撮像が終了した時刻のいずれか若しくは両方を用いて、フレームを特定するために利用することができる。
【０１８３】
テキスト情報抽出部６２は、電子メール記録部１２、会議映像記録部１５、形態素解析部６３および統計情報計算部６４に接続される。
テキスト情報抽出部６２は、電子メール記録部１２から電子メール情報の件名（題名、タイトル、サブジェクト）または本文または添付情報からテキスト情報を抽出する。
【０１８４】
また、テキスト情報抽出部６２に文字認識装置あるいは一般的なＯＣＲを備えることにより、テキスト情報抽出部６２は、会議映像記録部１５からテキスト情報を抽出する。
テキスト情報抽出部６２は、抽出したテキスト情報を形態素解析部６３または統計情報計算部６４に出力する。
【０１８５】
形態素解析部６３は、テキスト情報抽出部６２および統計情報計算部６４に接続され、テキスト情報抽出部６２から抽出されたテキスト情報を入力し、形態素を抽出し、抽出した形態素や品詞情報など形態素情報を統計情報計算部６４に出力する。
【０１８６】
統計情報計算部６４は、テキスト情報抽出部６２、形態素解析部６３および会議映像電子メール間関連付け部１７に接続される。
統計情報計算部６４は、テキスト情報抽出部６２からテキスト情報を入力する。一方、統計情報計算部６４は、形態素解析部６３から形態素および品詞情報など形態素情報を入力し、各種の統計計算を処理し、統計計算結果を会議映像電子メール間関連付け部１７に出力する。
【０１８７】
ここで、統計情報計算部６４において処理される統計計算としては、例えば、重複して出現した単語若しくは重複なしで出現した単語、利用者から取得したキーワード、所定の時間単位、所定の意味的単位、所定の映像情報から取得した映像情報に関する単位など所定の基準により選択した単語、またはいわゆるLatent Semantic Analysis（ＬＳＡ）法若しくはいわゆる双対尺度法若しくはいわゆる数量化三類若しくはいわゆる数量化四類若しくはいわゆるコレスポンデンス分析乃至対応分析等に基づく統計計算を行うことができる。
【０１８８】
所定の時間単位の統計計算は、例えば、１分ごとや５分ごとの電子メールの受信数もしくは形態素部６２によって抽出された形態素ごとに統計処理を行うことができる。なお、所定の時間単位は、既定値を利用することもできるし、利用者によって指定されることもできる。
【０１８９】
所定の意味的単位の統計計算は、例えば、プレゼンテーション資料を用いた会議の場合、当該プレゼンテーションのページ単位などの単位ごとに統計処理を行うことができる。なお、所定の意味的単位は、既定値を利用することもできるし、利用者によって指定されることもできる。
【０１９０】
また、Latent Semantic Analysis（ＬＳＡ）法は、テキスト・コーパスに適用される統計計算に基づく語（単語）の文脈的な意味を抽出し、表現する方法論である（例えば、http://lsa.colorado.edu/を参照）。類似の統計手法として、電子メール中の単語と電子メールの関係、或いは、電子メール中の単語と電子メールの送信者の関係、或いは、電子メール中の単語と映像情報から抽出されたテキストの単語の関係などの関係を抽出するために、双対尺度法や数量化三類や数量化四類やコレスポンデンス分析乃至対応分析を用いることができる。
【０１９１】
会議映像電子メール間関連付け部１７は、統計情報計算部６４から入力された統計計算結果に基づいて、会議映像情報と電子メール情報を関連付ける。
図１５には、会議映像電子メール間関連付け部１７において管理される、統計情報計算部６４から入力された統計結果である統計情報テーブルの一例を示してある。
【０１９２】
統計情報テーブルは、見出し語、品詞、電子メール・データＩＤおよび頻度のデータから構成され、会議映像電子メール間関連付け部１７の内部メモリに保持される。
ここで、形態素ＩＤは、各形態素を識別するための識別子であり、頻度は、例えば、同一会議中に受信した全電子メールにおける形態素の出現頻度を表す。
図１５においては、例えば、「東京」という（見出し語に一致する）形態素が、名詞であり、電子メール・データＩＤが“mail1”である電子メールに含まれ、３回出現したことを示している。
【０１９３】
図的表示部６５は、会議映像電子メール間関連付け部１７と接続され、統計計算結果に基づいて関連付けられた会議映像情報と電子メール情報を図的に表現する。
ここで、電子メール情報の図的表現としては、アイコンによる表現或いはいわゆるタイムラインによる表現などを用いることができる。
【０１９４】
また、電子メール情報に関連する統計情報の図的表現としては、頻度グラフ（度数グラフ）による表現、パイ・チャートによる表現、折れ線グラフによる表現、統計結果をアイコンに代表させた表現、複数の統計結果を表すアイコンを関連性により直線や曲線や折れ線や矢印等で結合若しくは隣接させた表現、統計結果をテキスト若しくは文字列に代表させた表現、複数の統計結果を表すテキスト若しくは文字列を直線や曲線や折れ線や矢印等で結合若しくは隣接させた表現などを用いることができる。
【０１９５】
図１６には、双対尺度法によって表現される電子メール送信者と電子メール中の単語の関係を表すイメージの一例を示してある。
同図に示されるように、電子メール情報が表現された場合、利用者が各単語をクリックすることによって、その単語に対応する電子メール情報の内容を全文表示し、同時に、当該電子メールと同期して映像情報を提示するように構成することもできる。
【０１９６】
提示時間指定部６６は、会議映像電子メール間関連付け部１７に接続され、電子メール情報および映像情報を提示するための時間を指定するための提示時間情報を会議映像電子メール間関連付け部１７に出力する。
利用者が提示時間指定部６６に対して提示時間情報を提供することによって、利用者は電子メール提示部１３によって提示される電子メール情報および会議映像再生部１６によって提示される映像情報の提示時間を制御することが可能となり、電子メール情報の時刻情報に基づいた単一若しくは複数の部分映像情報を繰り返し、または時間的に連続して、若しくは順次映像情報を視聴することが可能となる。
【０１９７】
また、前述の会議映像編集部３４としては、同様に提示時間指定部６６を構成することによって、所定の時間若しくは利用者から取得した時間に基づいて部分映像情報を編集することができる。
【０１９８】
ここで、本発明に係る情報処理装置や情報処理方法などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
【０１９９】
また、本発明に係る情報処理装置や情報処理方法などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Compact Disc）−ＲＯＭ等のコンピュータにより読み取り可能な記憶媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを記憶媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【０２００】
【発明の効果】
以上説明したように、本発明によると、例えば、会議などの利用者が、日常的に使用している電子メール・クライアントや携帯電話の電子メール機能などを使用して、会議などを記録した映像に対して関連する情報をリアルタイムに提供してこれらの情報を関連付けることができ、また、会議などの記録映像や関連する情報をウェブ・ブラウザやウェブ・フォン（ウェブ機能付き携帯電話）などを介して利用者に対して提供することも可能であり、利用者は電子メールとその電子メールに関連付けられた会議などの映像とを相互に有効に活用することができる。
【０２０１】
また、携帯電話のように日常的に利用している機器を使用できるので、従来技術のような特定アプリケーションを使用する場合と異なり、利用者は新たに機器を利用するために学習することが不要である。
さらに、有線ＬＡＮや無線ＬＡＮを敷設することなく、有線ＬＡＮや無線ＬＡＮがないような会議室や会議場で開催される会議などの映像に対して電子メールに基づいてインデキシングを行うことができる。
【０２０２】
このように、例えば、利用者は、日常的に利用している電子メール・クライアントなどを使用して、リアルタイムで素早く且つ簡易に会議などの映像に対するインデキシングを行うことが可能であり、更に、利用者がインデキシングした会議などの映像や当該映像に関連する電子メールに対して容易にアクセスすることが可能であり、利用者にとって会議内容を振り返ることや会議内容を参照することが非常に容易となり、実用性が高い。
【図面の簡単な説明】
【図１】 本発明の第１実施例に係る会議記録装置の構成例を示す図である。
【図２】 本発明の第１実施例に係る会議映像電子メール間関連付け手続きの処理の手順の一例を示すフローチャート図である。
【図３】 本発明の第１実施例に係る会議映像電子メール間関連付け手続きにより構造化される、関連付けられた会議映像データと電子メール・データとの組のテーブル・データの一例を示す図である。
【図４】 本発明の第２実施例に係る会議記録装置の構成例を示す図である。
【図５】 本発明の第２実施例に係る会議映像電子メール間関連付け手続きの処理の手順の一例を示すフローチャート図である。
【図６】 本発明の第２実施例に係る会議映像電子メール間関連付け手続きにより構造化される、関連付けられた会議映像データと電子メール・データとの組のテーブル・データの一例を示す図である。
【図７】 本発明の第３実施例に係る会議記録装置の構成例を示す図である。
【図８】 本発明の第３実施例に係る会議映像電子メール間関連付け手続きの処理の手順の一例を示すフローチャート図である。
【図９】 本発明の第３実施例に係る会議映像電子メール間関連付け手続きにより構造化される、関連付けられた会議映像データと電子メール・データとの組のテーブル・データの一例を示す図である。
【図１０】 （ＨＴＭＬ＋ＴＩＭＥ）形式で表現された会議映像電子メール間関連付けデータの一例を示す図である。
【図１１】 ＳＭＩＬ形式で表現された会議映像電子メール間関連付けデータの一例を示す図である。
【図１２】 本発明の第３実施例に係る会議映像電子メール間関連付け手続きにより構造化される、関連付けられた会議映像データと電子メール・データとの組のテーブル・データの他の一例を示す図である。
【図１３】 ユーザインタフェースの一例を示す図である。
【図１４】 本発明の第４実施例に係る会議記録装置の構成例を示す図である。
【図１５】 本発明の第４実施例に係る統計計算手続きにより構造化される統計情報テーブル・データの一例を示す図である。
【図１６】 電子メール情報の図的表現の一例を示す図である。
【符号の説明】
１、２、３・・会議記録装置、 １１・・電子メール送受信部、
１２・・電子メール記録部、 １３・・電子メール提示部、
１４・・会議映像撮像部、 １５・・会議映像記録部、
１６・・会議映像再生部、 １７・・会議映像電子メール間関連付け部、
２１・・電子メール送受信時刻特定部、 ２２・・電子メールソート部、
２３・・フレーム特定部、 ３１・・電子メールデータ計量部、
３２・・利用者プロファイル取得部、 ３３・・電子メール制御時刻予測部、
３４・・会議映像編集部、 ３５・・電子メール送信アドレス特定部、
３６・・電子メール頻度計量部、 ３７・・電子メールインデックス部、
４１・・ユーザインタフェース、 ５１・・ビデオ提示領域、
５２・・ビデオ提示制御ボタン、 ５３・・関連する電子メールに関する情報、
６１・・時刻情報設定取得部、 ６２・・テキスト情報抽出部、
６３・・形態素解析部、 ６４・・統計情報計算部、 ６５・・図的表示部、
６６・・提示時間指定部、

Claims (5)

1. 映像フレーム及び当該映像フレームに関する時刻情報を含む映像情報を取得する映像情報取得手段と、
   前記映像情報取得手段により取得された映像情報を記録する映像情報記録手段と、
   電子メールを受信する電子メール受信手段と、
   前記電子メール受信手段により受信された電子メールの情報を記録する電子メール情報記録手段と、
   電子メールに関する時刻情報を特定する電子メール時刻情報特定手段と、
   前記映像情報記録手段に記録される映像情報の映像フレームのうち、前記電子メール時刻情報特定手段により特定された電子メールに関する時刻情報に対応した時刻の映像フレームを特定する映像フレーム特定手段と、
   電子メールの情報と、当該電子メールに関する時刻情報に基づいて前記映像フレーム特定手段により特定された映像フレームの情報とを関連付けた関連付け情報を蓄積する蓄積手段と、
   を備えたことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記電子メール時刻情報特定手段は、電子メールの送信時刻の情報と、電子メールの受信時刻の情報と、電子メールの作成時刻の情報とのいずれかを特定する、
   ことを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置において、
   前記電子メール時刻情報特定手段は、電子メールの送信時刻或いは受信時刻の情報と、電子メールの作成者による作成速度の情報と、電子メールのデータ量の情報に基づいて、電子メールの作成時刻の情報を特定する、
   ことを特徴とする情報処理装置。
4. 請求項１乃至請求項３のいずれか１項に記載の情報処理装置において、
   前記映像フレーム特定手段により特定された映像フレーム及びその前後の複数の映像フレームから構成される部分映像情報を生成する部分映像情報生成手段を備え、
   前記蓄積手段は、前記部分映像情報生成手段により生成された部分映像情報を、該当する電子メールの情報に対して関連付けた関連付け情報を蓄積する、
   ことを特徴とする情報処理装置。
5. コンピュータに、
   映像フレーム及び当該映像フレームに関する時刻情報を含む映像情報を取得する映像情報取得機能と、
   前記映像情報取得機能により取得された映像情報を記録する映像情報記録機能と、
   電子メールを受信する電子メール受信機能と、
   前記電子メール受信機能により受信された電子メールの情報を記録する電子メール情報記録機能と、
   電子メールに関する時刻情報を特定する電子メール時刻情報特定機能と、
   前記映像情報記録機能により記録される映像情報の映像フレームのうち、前記電子メール時刻情報特定機能により特定された電子メールに関する時刻情報に対応した時刻の映像フレームを特定する映像フレーム特定機能と、
   電子メールの情報と、当該電子メールに関する時刻情報に基づいて前記映像フレーム特定機能により特定された映像フレームの情報とを関連付けた関連付け情報を蓄積する蓄積機能と、
   を実現させるためのプログラム。

Images