JP4774164B2 - 文書作成プログラム、及び文書作成プログラムを記録した記録媒体 - Google Patents
文書作成プログラム、及び文書作成プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4774164B2 JP4774164B2 JP2001159416A JP2001159416A JP4774164B2 JP 4774164 B2 JP4774164 B2 JP 4774164B2 JP 2001159416 A JP2001159416 A JP 2001159416A JP 2001159416 A JP2001159416 A JP 2001159416A JP 4774164 B2 JP4774164 B2 JP 4774164B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- multimedia data
- displayed
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文書作成システム、文書作成サーバ、文書作成プログラム、及び文書作成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来技術において、動画データを利用する機能を提供するものとして、例えば、特開２０００−１５２１８０号公報が開示するところの「光ディスク、ビデオデータ編集装置、編集プログラムを記録したコンピュータ読み取り可能な記憶媒体、光ディスクの再生装置、再生プログラムを記録したコンピュータ読み取り可能な記録媒体」が存在する。以下、従来技術１とする。
【０００３】
本従来技術１は、ＤＶＤなど光ディスクに記録された動画データなどの編集、記録、再生方法に関するものである。この従来技術１によれば、動画データをそのまま保存し、動画データファイルと、再生開始、終了時刻などの情報とを持つポインタテーブルを編集し、それに従って再生するよう構成されている。
【０００４】
また、同様の技術としては、特開平１０−０４０１８８号公報が開示するところの「マルチメディアメール送信および受信装置」が存在する。以下、従来技術２とする。
【０００５】
本従来技術２は、マルチメディアメール、特にメールに添付された動画ファイルの構造と配信方式に関するものである。本従来技術２において、動画データファイルは、予め用意されているものであるか、その場で録音されたものであるため、動画編集機能に関する記述はなされていない。
【０００６】
更に、同様の技術としては、特開平０８−２７２９８９号公報が開示するところの「映像使用による資料作成支援システム」が存在する。以下、従来技術３とする。
【０００７】
本従来技術３は、予め録画された動画データの一部を指定し、その部分を含むマルチメディア文書を作成する環境に関するものである。本従来技術３において、再生範囲は、動画再生中に「ここから」および「ここまで」ボタンを押すことで指定されるため、指定操作は簡単ではない。また、動画データは、指定された範囲のみが文書に添付されるため、作成された文書から指定範囲以外を再生することはできない。更に、文書作成環境を含むため、ユーザの好みの文書作成アプリケーションを利用することはできない。
【０００８】
【発明が解決しようとする課題】
また、上記従来技術２又は３に開示されている技術では、計算機の能力が向上したために、動画や音声をなどのマルチメディア情報を含む文書が利用可能になっているが、効果的なデータの作成方法については以前課題が多い。
【０００９】
これは、例えば、長時間の動画データを閲覧するには長い時間がかかるため、必要なシーンだけを記録した動画データが要求される。しかし、長時間記録された動画データから必要な部分をみつけることは一般に困難である。特に、従来技術３のように、動画再生時に、必要な時間範囲の開始時刻、終了時刻にボタンを押すという操作は、再生時には、現在再生されている動画は見えても、その前後の状況が不明なため、その現在が必要な範囲の開始時であると判断することがむつかしい。
【００１０】
また、上記の動画撮影時に生じる様々な事象としては、様々な可能性が考えられる。しかしながら、情報の記録時に、通常の記録以外に、その再生、検索のための特別な行動をとることは、記録者や被写体にとって負担となる。
【００１１】
更に、従来技術では、長時間のマルチメディア情報のうち必要な部分を指定する方法について考えられてきた。しかし、この「必要とする部分」というのは、閲覧する人間の価値感によって決定されるものであり、原理的に一意に決められるものではない。
【００１２】
そのため、文書を作成するために部分を切り出した人間と、その文書を閲覧する人間では、その「必要とする部分」が異なる可能性がある。例えば、会議シーンのうちあるひとつの発言を切り出した場合、それを再生して閲覧する人間は、その発言だけでは足りず、その直前の発言と連続して再生することによって、初めてその意味を十分に理解できるかもしれない。
また、一般にマルチメディアデータはデータ量が多い。特に上記のように、表示されるかどうか不明な指定範囲外のデータも含めるとすると膨大なデータ量となる可能性がある。
【００１３】
また、ある長時間メディアの一部分を含む文書を表示した場合、同じメディアデータの他の部分について言及した文書を作成する可能性は高いと考えられる。例えば、ある会議シーンを撮影した動画データを含めた電子メールによって、その会議での議論を補足する議論をする場合、メールの返信には、同じ会議記録データの別の部分を参照する可能性が高い。
【００１４】
また、文書を作成するアプリケーションには様々な種類があり、それぞれの操作方法を習得するには、ある程度の訓練が一般には必要である。したがって、あるアプリケーションの操作に習熟しているユーザが、同様な機能を持つ他のアプリケーションを利用するには、二重の訓練が必要となるため、それぞれのユーザは特定のアプリケーションだけを主に利用する場合が多い。
【００１５】
更にまた、文書作成アプリケーションへ受け渡すデータとして、指定したプログラムを起動する機能を持つことが必要である。
このように、上記各従来技術では、メール等に添付する動画データの編集を行う際の機能に関して開示されていないか、若しくは、ユーザに対して簡易な機能として提供されていなく、更に、メールにより提供された動画データの再生領域が完全に限定されているため、送信側のユーザにとっても受信側のユーザにとっても、利用価値の高い動画データ若しくは編集機能を提供するには至らなかった。
【００１６】
従って、本発明は、上記問題に鑑みなされたもので、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することを可能とする文書作成システム、文書作成サーバ、文書作成プログラム、及び文書作成プログラムを記録した記録媒体を提供することを目的とする。
【００１７】
【課題を解決するための手段】
係る目的を達成するために、本発明は、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムであって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする。
【００１８】
これにより、本発明では、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。
【００１９】
即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００３３】
即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００３４】
更に、本発明は、前記表示編集手段が、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とする。
【００３５】
これにより、本発明では、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。また、マルチメディアデータ自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【００４６】
また、本発明は、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムを記録した記録媒体であって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする文書作成プログラムを記録した記録媒体である。
【００４７】
これにより、本発明では、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。
【００４８】
即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００４９】
更に、本発明は、前記表示編集手段が、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とする。
【００５０】
これにより、本発明では、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。また、マルチメディアデータ自体を、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【００５７】
【発明の実施の形態】
〔本発明の特徴〕
本発明を説明するにあたり、本発明の特徴を先に述べる。
【００５８】
本発明は、動画撮影時に生じた様々な事象を、時間の流れを空間的な広がりに変換して表示することで、動画表示時に現在の動画情報と同時に、その前後の状況を表現することができることを利用し、このように時間的に変化するマルチメディア情報のなかから、必要な部分だけを選択する操作を容易にし、価値の高いマルチメディア文書を簡単に作成する環境を提供するものである。
【００５９】
また、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用して、撮影時の情報を保存するものである。
【００６０】
更に、本発明は、発言時刻だけでなく、その位置を記録、表示することにより、より精度の高い情報を提示するものである。
【００６１】
また、本発明は、範囲指定されたデータを表示する際に簡単な操作で、指定範囲外のデータを表示する手段を提供するものである。
【００６２】
また、本発明は、マルチメディア情報自体をネットワーク中にひとつだけ保存しておき、文書中には必要な部分だけを指し示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化するものである。
【００６３】
また、本発明は、部分指定されたマルチメディアデータを表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することにより、文書作成の操作全体を簡易化するものである。
【００６４】
更に、本発明は、作成したマルチメディア文書を、 ネットワークを使って他のユーザに簡単に送信する手段を持つことにより、 操作性を向上させ、また文書の利用価値を高めることが目的である。
また、本発明は、マルチメディアデータの部分を指定する手段と、文書を作成する手段とを別個のアプリケーションとすることで、様々な文書作成アプリケーションを利用するユーザが、部分指定プログラムを容易に利用できるようにするものである。
【００６５】
また、本発明は、文書作成アプリケーションへ受け渡すデータとして、指定したプログラムを起動する機能を持ち、一般に利用者の多い標準的なデータ形式であるＨＴＭＬまたはＸＭＬ形式のデータを採用することで、多くの文書作成アプリケーションに対応した利便性の高いマルチメディア文書作成環境を提供するものである。
【００６６】
以上のような具体的な目的を達成するために、本発明は、まず、時間的に変化するマルチメディアデータを記録する第１の記録手段と、上記記録手段と同時に動作し、イベントの発生時刻を記録する第２の記録手段と、第１の記録手段で記録されたデータを時間的に表示する第１の表示手段と、上記第１の表示手段と同期して第２の記録手段で記録されたデータを空間的に表示する手段と、第１の記録手段で記録されたデータの特定の部分をユーザが指定する手段と、第１の記録手段で記録されたデータのうち、上記指定手段で指定された部分を表示するためのデータを生成する手段とを有することを特徴とするものである。
【００６７】
これにより、本発明は、時間的に変化するマルチメディア情報の中から、必要な部分だけを容易に選択し、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００６８】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を記録する第２の記録手段として、音の発生時刻を記録する手段を有することを特徴とするものである。
【００６９】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００７０】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を記録する第２の記録手段として、音の発生時刻とその位置を記録する手段を有することを特徴とするものである。
【００７１】
これにより、本発明は、発言時刻だけでなく、その位置を記録表示することにより、より精度の高い情報を呈示することが可能となる。
【００７２】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を記録する第２の記録手段として、筆記具による加筆時刻を記録する手段を有することを特徴とするものである。
【００７３】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００７４】
また、本発明は、上記のような特徴のほかに、更に、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、表示時に文書閲覧ユーザの操作により、指定された部分以外も表示可能なデータを生成することを特徴とするものである。
【００７５】
これにより、本発明は、範囲指定されたデータを表示する際に、簡単な操作により指定範囲外のデータを表示する手段を提供することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【００７６】
また、本発明は、上記のような特徴のほかに、更に、指定手段で指定された部分を表示するためのデータとして、表示対象となるマルチメディアファイルを識別する情報と、時間部分を表す情報と、を含むデータを生成することを特徴とするものである。
【００７７】
これにより、本発明は、マルチメディア情報自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化することが可能となる。
【００７８】
また、本発明は、上記のような特徴のほかに、更に、ネットワークを介して接続されたクライアントに、指定する所定の部分の修正をユーザに入力させ、修正後の所定の部分を指定するデータを生成させる。また、本発明は、文書閲覧ユーザの操作により、第１の記録手段で記録されたデータのうち、上記指定手段で指定された部分を表示するためのデータとして、表示時に文書閲覧ユーザの操作により、上記のような機能を実行可能なデータを生成することを特徴とするものである。
【００７９】
これにより、本発明は、部分指定されたマルチメディア情報を表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することが可能となり、文書作成の操作全体を簡易化することが可能となる。
【００８０】
また、本発明は、上記のような特徴のほかに、更に、作成した文書を、電子メールとして送信する手段を有することを特徴とするものである。
【００８１】
これにより、本発明は、作成したマルチメディア文書を、ネットワークを使って他のユーザに簡単に送信することが可能となり、操作性を向上させ、また文書の利用価値を高めることが可能となる。
【００８２】
また、本発明は、文書データを作成するためにコンピュータを、あらかじめ記録された 時間的に変化するマルチメディアデータを時間的に表示する第１の表示手段と、上記データと同時に記録したイベントの発生時刻データを上記第１の表示手段と同期して空間的に表示する第２の表示手段と、上記第１の表示手段で表示するデータの特定の時間部分をユーザが指定する手段と、上記第１の表示手段で表示するデータのうち、上記指定手段で指定された部分を表示するためのデータを含む文書を作成する手段として機能させることを特徴とするものである。
【００８３】
これにより、本発明は、時間的に変化するマルチメディア情報の中から、必要な部分だけを容易に選択し、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００８４】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻を表示する手段として機能させることを特徴とするものである。
【００８５】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００８６】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻とその位置を表示する手段として機能させることを特徴とするものである。
【００８７】
これにより、本発明は、発言時刻だけでなく、その位置を記録表示することにより、より精度の高い情報を呈示することが可能となる。
【００８８】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを筆記具による加筆時刻を表示する手段として機能させることを特徴とするものである。
【００８９】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００９０】
また、本発明は、上記のような特徴のほかに、更に、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、指定された部分以外も表示可能なデータを生成するよう機能させることを特徴とするものである。
【００９１】
これにより、本発明は、範囲指定されたデータを表示する際に、簡単な操作により指定範囲外のデータを表示する手段を提供することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【００９２】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された部分を表示するためのデータとして、表示対象となるマルチメディアファイルを識別する情報と、時間部分を表す情報と、を出力するよう機能させることを特徴とするものである。
【００９３】
これにより、本発明は、マルチメディア情報自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化することが可能となる。
【００９４】
また、本発明は、上記のような特徴のほかに、更に、ネットワークを介して接続されたクライアントに、指定する所定の部分の修正をユーザに入力させ、修正後の所定の部分を指定するデータを生成させる。また、本発明は、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、上記のような機能を実行可能なデータを生成するよう機能させることを特徴とするものである。
【００９５】
これにより、本発明は、部分指定されたマルチメディア情報を表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することが可能となり、文書作成の操作全体を簡易化することが可能となる。
【００９６】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータをシステム標準のアプリケーション間通信バッファに出力するよう機能させることを特徴とするものである。
【００９７】
これにより、本発明は、マルチメディア情報の部分を指定する手段と、文書を作成する手段と、を別個のアプリケーションとすることが可能となるため、様々な文書作成アプリケーションを利用するユーザが、部分指定プログラムを容易に利用することが可能となる。
【００９８】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータとして、ＨＴＭＬまたはＸＭＬ形式のデータを生成するよう機能させることを特徴とするものである。
【００９９】
これにより、本発明は、指定したプログラムを起動する機能を持ち、一般に利用者の多い標準的なデータ形式であるＨＴＭＬ又はＸＭＬ形式のデータを採用することで、多くの文書作成アプリケーションに対応した利便性の高いマルチメディア文書作成環境を提供することが可能となる。
【０１００】
また、本発明は、文書データを作成するためにコンピュータを、あらかじめ記録された時間的に変化するマルチメディアデータを時間的に表示する第１の表示手段と、上記データと同時に記録したイベントの発生時刻データを上記第１の表示手段と同期して空間的に表示する第２の表示手段と、上記第１の表示手段で表示するデータの、特定の時間部分をユーザが指定する手段と、上記第１の表示手段で表示するデータのうち、上記指定手段で指定された部分を表示するためのデータを含む文書を作成する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０１】
これにより、本発明は、時間的に変化するマルチメディア情報の中から、必要な部分だけを容易に選択し、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【０１０２】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻を表示する手段として機能させるための プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０３】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【０１０４】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻とその位置を表示する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０５】
これにより、本発明は、発言時刻だけでなく、その位置を記録表示することにより、より精度の高い情報を呈示することが可能となる。
【０１０６】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを筆記具による加筆時刻を表示する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０７】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【０１０８】
また、本発明は、上記のような特徴のほかに、更に、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、指定された部分以外も表示可能なデータを生成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０９】
これにより、本発明は、範囲指定されたデータを表示する際に、簡単な操作により指定範囲外のデータを表示する手段を提供することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【０１１０】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された部分を表示するためのデータとして、表示対象となるマルチメディアファイルを識別する情報と、時間部分を表す情報を出力するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１１】
これにより、本発明は、マルチメディア情報自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化することが可能となる。
【０１１２】
また、本発明は、上記のような特徴のほかに、更に、ネットワークを介して接続されたクライアントに、指定する所定の部分の修正をユーザに入力させ、修正後の所定の部分を指定するデータを生成させる。また、本発明は、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、上記のような機能を実行可能なデータを生成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１３】
これにより、本発明は、部分指定されたマルチメディア情報を表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することが可能となり、文書作成の操作全体を簡易化することが可能となる。
【０１１４】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータをシステム標準のアプリケーション間通信バッファに出力するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１５】
これにより、本発明は、マルチメディア情報の部分を指定する手段と、文書を作成する手段と、を別個のアプリケーションとすることが可能となるため、様々な文書作成アプリケーションを利用するユーザが、部分指定プログラムを容易に利用することが可能となる。
【０１１６】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータとして、ＨＴＭＬまたはＸＭＬ形式のデータを生成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１７】
これにより、本発明は、指定したプログラムを起動する機能を持ち、一般に利用者の多い標準的なデータ形式であるＨＴＭＬ又はＸＭＬ形式のデータを採用することで、多くの文書作成アプリケーションに対応した利便性の高いマルチメディア文書作成環境を提供することが可能となる。
【０１１８】
以下、本発明を好適に実施した形態について、図面を用いて詳細に説明する。
【０１１９】
〔一実施形態〕
本発明の一実施形態について、以下に説明する。以下の説明では、本実施形態を計算機上で動作するソフトウエアとする。
【０１２０】
（一実施形態の構成）
図１は、本実施形態による文書作成を実現するシステムを示すブロック図である。
【０１２１】
図１を参照すると、本実施形態によるシステム構成は、ＣＲＴモニタ６、キーボード７、マウス８が接続された表示編集計算機５が、ネットワーク１０を経由して動画サーバ１に接続している。この表示編集計算機５としては、汎用コンピュータ（パーソナルコンピュータ等）が適用できる。
【０１２２】
また、本実施形態では、動画サーバ１に記録システム２０が接続されている。この記録システム２０は、カメラ２、マイクロホンアレイ３、ペンスイッチ４を有して構成され、これらで取得された動画データや、動画記録時に計測された音源方向データや、ペン書き込みデータ（ホワイトボード書き込みデータ）等は、動画サーバ１に接続された映像情報データベース９に記録され、保持される。
【０１２３】
以下の説明では、これらのデータが動画サーバ１に接続された映像情報データベース９に既に記録されているものとして、動作を説明する。但し、上記のようなデータを映像情報データベース９に記録する際の動作としては、通常のＶＲＴ等の録画機能を適用することで実現することが可能である。
【０１２４】
（一実施形態の動作）
次に、上記の構成を有する本実施形態によるシステムの動作について、図面を用いて詳細に説明する。但し、本実施形態における各動作は、これら機能を実現するためのプログラム（アプレット等）が予め動画サーバ１に格納されており、必要に応じて読み出され実行されることで、実現されるものである。
【０１２５】
・データ選択動作
まず、上記構成において、ユーザが映像情報データベース９に格納された各データを選択する際の動作について説明する。
【０１２６】
まず、ユーザより、このデータ選択を実現する機能が選択されると、この機能を実現するためのプログラムが起動し、表示編集計算機５上で実行され、表示編集計算機５に接続されたＣＲＴモニタ６上に、図２に示すような画面（動画データ選択画面）を表示する。従って、ユーザは、この動画データ選択画面より、対象とする動画データを選択する。
【０１２７】
また、図２に示す動画データ選択画面では、予め記録された動画データファイルに関する記録日時と長さとが表示されている。ユーザは、この表示に基づいて、リストアップされた動画データファイルのいずれかを、マウス８等でクリックし、選択する。但し、動画データ選択画面に表示する情報としては、上記の情報（記録日時、長さ）とに限定されず、どのような動画データファイルであるかをユーザに認識させる程度の情報であれば、いかなるものも適用することが可能である。
【０１２８】
・範囲指定操作
次に、上記のようにして、対象とする動画データが選択されると、本実施形態では、図７に示す画面（範囲選択画面）がＣＲＴモニタ６に表示され、ユーザに対して動画データにおける時間範囲指定が求められる。
【０１２９】
図７を参照して説明すると、範囲選択画面は、画面上部から、イベント時刻表示領域、動画像表示領域、操作ボタンの各領域に分かれている。
【０１３０】
・・イベント時刻表示領域
図７におけるイベント時刻表示領域には、動画撮影時に同時に記録されたイベントの発生時刻が、縦方向の時間軸に沿って空間的に表示されている。また、イベント時刻表示領域は、左から、時刻表示欄（図中“時刻”と表示）、発話方向表示欄（図中“発話方向”と表示）、ホワイトボード書き込み表示欄（図中“ＷＢ”と表示）、スクロールバーに分かれている。
【０１３１】
・・・時刻表示欄
上記イベント時刻表示領域において、時刻表示欄は、右側の各欄（発話方向表示欄、ホワイトボード書き込み表示欄、スクロールバー）に表示される各イベントの記録時刻を示す。
【０１３２】
・・・発話方向表示欄
上記イベント時刻表示領域において、発話方向表示欄は、横軸が、図３に示すマイクロホンアレイで計測した音源の方向を示し、縦軸が時刻表示欄に示される記録時刻を表す。
【０１３３】
また、発話方向表示欄中、灰色の帯で示されたマークは、動画像表示領域において縦方向の位置に対応する話者から、時刻表示領域において対応する時刻に発言があったことを表している。即ち、横軸の方向が下の動画表示領域と対応するように構成し、且つ、画面上、音源マークの真下に対応する方向の動画表示領域が音源方向となる。また、動画像表示領域で現在表示している時刻は、イベント表示欄中に横線で示される。
【０１３４】
このように表示することで、いずれの話者がどの時刻に程度の時間で発言をしていたかを、ユーザに視覚的に判別させることが可能となる。
【０１３５】
・・・ホワイトボード書き込み表示欄
また、上記イベント表示領域において、ホワイトボード書き込み領域は、縦軸が時刻表示欄に示される記録時刻に対応し、ホワイトボードへの書き込みのあった時刻を表示している。
【０１３６】
このように表示することで、どの時刻にどの程度の時間でホワイトボードに書き込みが行われたかを、ユーザに視覚的に判別させることが可能となる。
【０１３７】
・・・スクロールバー
更に、上記イベント表示領域において、スクロールバーは、中央のマークをマウスでドラッグすることで、イベント時刻表示を上下(時間的には前後)に移動することが可能である。即ち、スクロールバーにおいて、帯状のマークが示されている領域が、時刻表示領域において表示されている時間範囲であり、スクロールバーにおける帯状のマークを上下に移動させることにより、表示する時間帯を移動させることを可能とする。
【０１３８】
また、イベント時刻表示は、動画再生中には時間進行とともに上に移動する。
【０１３９】
更に、ユーザがイベント時刻表示領域をマウスでクリックすると、ポインタ位置に対応した時刻から動画が表示される。これによりユーザは任意の時刻の動画を再生表示することができる。
【０１４０】
・・動画像表示領域
また、範囲選択画面における動画像表示領域には、記録された動画データが再生表示される。但し、上述にもあるように、この動画像表示領域の横軸と、発話方向表示領域の横軸とは、対応している。
【０１４１】
・・操作ボタン
また、範囲選択画面における操作ボタンは、通常の動画表示ツールと同様に、動画データを「停止」、「再生」させるためのボタンを表示するとよい。
【０１４２】
以上のように、範囲選択画面を上記のような表示とすることにより、本実施形態では、動画データの時間の流れをユーザが一目で視覚的に理解できるように構成することが可能となる。
【０１４３】
これは、例えば、図７を例にして説明すると、現在動画が表示されている時刻が、ホワイトボードへの書き込みが終了した直後であり、「Ａ」さんが発言中であり、「Ｃ」さんの発言が始まる直前であることが、ユーザにとって視覚的に判別できる。
【０１４４】
次に、ユーザが範囲指定を行う際の操作を図８を用いて説明する。
【０１４５】
図８では、図７と同じシーンを再生中に、ある（「Ｃ」さんの）発言に対応する時間範囲が選択されている。
【０１４６】
これは、ユーザが、マウスドラッグ、つまり、イベント時刻表示欄の選択開始時刻(図８では１０：３８頃)に対応する位置をマウスでポイントし、まずボタンを押下する。次にボタンを押下したまま、ポインタを移動し、選択終了時刻(図８では１０：４３頃)をポイントし、そこでマウスボタンを離すことにより、時間範囲が指定される。
【０１４７】
これに対し、この操作を受けたプログラムは、指定された時間範囲(１０：３８頃から１０：４３頃)の表示色を変化させ、この範囲が選択されたことを示す。
【０１４８】
この状態で、表示された選択範囲を例えばダブルクリックすることにより、本実施形態では、選択された時間だけの動画データを選択する。つまり、選択された領域における上端を動画再生の開始時刻とし、この領域における下端を再生する動画の終了時刻とする。また、このように選択された領域をクリック（ダブルクリック）することにより、選択された分だけの動画データが再生される。
【０１４９】
これにより、選択された時間領域が所望の範囲かどうか確認することができる。また、この状態で、表示された選択領域の上辺、下辺自身をマウスドラッグすることで、選択範囲を調整することができるよう構成するとよい。
【０１５０】
このようにイベント時刻表示を空間的に表示しながら、時間範囲を空間的に指定するので、本実施形態では、単に動画を再生しながら、指定の開始、終了時刻を選択する方法に比べ、ユーザが簡単に正確な範囲を指定することが可能となる。
【０１５１】
・コピー動作
次に、上記のようにユーザにより指定された時間範囲の利用法を説明する。
【０１５２】
図８のように表示された選択範囲内にポインタを移動させた状態でマウスの右ボタンをクリックすると、図９に示すメニューが表示される。
【０１５３】
この図９に示されたメニューにおいて、「コピー（ｍｏｄｅ：０，ｍｏｄｅ：１，ｍｏｄｅ：２）」のいずれかを選択すると、それぞれのモードに従った形式で、表示している動画データを示す情報と、選択された時間範囲を示す情報(その内容と形式は後述する)とが、システム標準のアプリケーション間通信バッファ(クリップボード)内へコピーされる。
【０１５４】
また、この状態で本動作を実行するプログラムとは独立した、ＨＴＭＬドキュメント作成ソフトウエアの表示画面上で、クリップボード内のデータを作成中のドキュメントに貼り付ける操作を行うことにより、クリップボードに記録された動画データと時間範囲とが、作成中のデータにコピーされる。
【０１５５】
この際、当然のことながら、ＨＴＭＬドキュメント作成ソフトウエアでは、コピーされた動画データ以外に、テキスト、画像など（そのデータ形式で表現できる）任意のデータを含んだドキュメントを作成することができる。
【０１５６】
このように、システム標準のアプリケーション間通信バッファを介することにより、どんなドキュメント作成プログラムにも情報をコピーすることができるので、ユーザは好みのアプリケーションを使用して、ドキュメントを作成することができる。
【０１５７】
勿論、コピーや貼り付け操作にキーボード操作を利用しても良い。または、図８の指定範囲領域からメール作成アプリケーションへドラッグ・アンド・ドロップ操作（指定領域をマウスでポイントしてボタンを押下したままメール作成アプリケーションへポインタを移動し、そこでボタンを離す）を行うことにより、画像データ（画像データにおける再生時間帯を指定する動画範囲指定データ）を編集・コピーするよう構成してもよい。
【０１５８】
・表示動作
上記操作によって作成された動画範囲指定データを含むドキュメントデータは、ＨＴＭＬデータ表示ツール(ブラウザ)で表示させることができる。
【０１５９】
例えば、メール全体は図１０のように表示される。このように、会議のシーンを記録した動画の中の特定の質問発言を指定して、そのメールが、その質問に対する回答であることを明示することができる。
【０１６０】
ここで、ユーザが「ビデオ」と下線つきで表示された領域をマウスクリックすると、図１１に示す別のウインドウが自動的に開き、指定範囲内の動画を再生するよう構成する。ここではモード２（ｍｏｄｅ：２）でコピーされたデータを張りつけた場合を示す。
【０１６１】
この状態では指定された時間範囲のみを再生するが、ここで「全体表示」ボタンを押すと、指定範囲以外の任意の時刻を表示するため、表示が図１３のように変化する。図１３に示す画面は図７とほぼ同じであり、指定範囲以外の時刻の動画データを再生することができるよう構成したものである。
【０１６２】
この表示モードにすることで、ドキュメントを閲覧するユーザは、指定範囲だけでは理解しずらい話の前後の文脈を把握することが可能となるため、ドキュメント作成者が指定した時間範囲だけでなく、任意の時刻のデータを再生することが可能となる。
【０１６３】
即ち、本実施形態において、メールに含ませて相手へ送信する情報には、画像データが含まれておらず、この画像データにおける再生時間帯を指定するデータ（動画範囲指定データ）が含まれている。従って、メールを受信したユーザは、この動画範囲指定データにリンクされた項目をクリックして選択することにより、対象の動画データの指定範囲を再生することが可能となる。また、本実施形態では、発信者と受信者とが同一の動画サーバ１と接続されていることが必要となる。但し、動画サーバ１において、対象の動画データをＷＷＷ上に公開することで、ＬＡＮ等の専用回線だけでなく、インターネット等を利用したシステム構成とすることが可能となる。即ち、ネットワーク１０をインターネットやＬＡＮ及びインターネットの併用とすることが可能であり、各ユーザでこれらネットワークを介して動画データを共有するよう構成するとよいことを示している。この際、動画データの再生に関して、パスワード等による制限を設けることで、より安全にシステム運用を行うことが可能となる。
【０１６４】
また、図１３の表示は、右下に「編集」ボタンがあることだけが図７と異なる。更に、図１３に示す画面において、ユーザが「編集」ボタンを押すと、図７と全く同じ表示、機能となり、メールを受けとったユーザが、新たに範囲を指定することが可能となる。
【０１６５】
従って、その機能を使って別の時間範囲を選択し、例えば、同じ会議中の別の質問発言を選択して、図１４のようなメールを作成することができる。
【０１６６】
この例のように、ある動画データをつかったドキュメントを閲覧したユーザが、その動画データの他の時間領域を指定した別のドキュメントを作成する可能性は高いと考えられる。その場合、図２のようなデータ選択ステップを踏むことなしに、このように表示モードを変更するだけで、簡単に範囲指定操作を開始できる。
【０１６７】
・データ構造
ここで、上記において、コピー又は転送されるデータについて説明する。このデータは、再生する動画ファイル名と表示モードと再生開始と終了時刻とを表す情報であり、次のようなＨＴＭＬ形式のデータ（時間範囲指定データ）とするとよい。
【０１６８】
・・時間範囲指定データ
上の例は、「2001.02.21.10.13.mpg」という動画データファイルを(src=)、「モード（ｍｏｄｅ：）１」で(displaymode=)、「６０５秒から６１３秒まで」の範囲で(start=,end=)、再生を指示するデータである。
【０１６９】
このように、コピーデータには動画データ自身は含んでいないため、データ量は非常に小さくてすむ。また、データ形式をＨＴＭＬ形式とすることにより、ユーザは自分の好みの、ＨＴＭＬ形式の文書を作成可能なアプリケーションを使って、動画データを含む文書を作成することが可能となる。
【０１７０】
更に、このコピーデータを例えば、ＨＴＭＬ形式のメール作成、送受信アプリケーションに貼りつけることによって、動画を含むメール作成を簡単に行うことが可能となり、このように作成したメールを、そのまま送信することも可能となる。
【０１７１】
（一実施形態の具体例）
次に、本実施形態の具体的な例を、図面を用いて説明する。
【０１７２】
・記録システム２０
まず、本具体例における動画データの記録システム２０としては、図１に示すように、カメラ（ビデオカメラ）２とマイクロホンアレイ３とペンスイッチ４とを有して構成される。
【０１７３】
この構成において、カメラ２とマイクロホンアレイ３とは、図３に示すような構成を有する。図３を参照すると、本具体例におけるカメラ２とマイクロホンアレイ３とは、カメラ２のレンズに対し、複数のマイクロホン３１，３２が設けられ、これにより、音源の方向が判別可能なように構成されている。
【０１７４】
このマイクロホンアレイ３は、会議などのシーンを動画として記録しておき、後からユーザが必要とする部分だけを簡単に参照するための機能を実現するためのものである。本実施形態では、このマイクロホンアレイを利用して音源方向を計測、記録し、動画再生時に表示するよう構成する。
【０１７５】
また同時に、記録システム２０は、ホワイトボードへの書き込み時刻を計測する。これは、図４のように、ペン先４２がボードに触れるとスイッチが導通するようにマーカペン４１にスイッチ４４を装着し、そのスイッチ４４の導通した時刻を逐次検知することで実現する。
【０１７６】
また、これら記録システム２０で記録されたデータは、動画サーバ１に接続された映像情報データベース９に記録しておく。この動画サーバ１は、汎用コンピュータやワークステーション等の計算機で構成することが可能である。
【０１７７】
ここで、映像情報データベース９に記録される動画データは、周知のＭＰＥＧアルゴリズム等で圧縮符号化し、撮影開始日時に“.mpg”という拡張子をつけたファイル名で記録するものとする。また、音源方向データは、図５に示すように、一定レベル以上の音が記録された時刻と、推定された音源方向と、を対にした表の形で、動画データファイル名の拡張子を“.voi”に変えたファイル名で記録するものとする。更にまた、ホワイトボード書き込みデータは、図６に示すように、書き込みのあった時刻を羅列する形式で、動画データファイル名の拡張子を“.wb”に変えたファイル名で記録するものとする。但し、これらの構成は、上記に限定されず、本発明の主旨を逸脱しない限り種々変形されるものである。
【０１７８】
・動画サーバ１及び映像情報データベース９
次に、上記のように取得された動画データ、音源方向データ、ホワイトボード書き込みデータが映像情報データベース９へ記録されると、動画サーバ１は、要求に応じて、これらを表示編集する計算機（表示編集計算機５）に送信する。また、表示編集計算機５からのリクエストに応じて、後述のアプレットとそれに渡すパラメータを含むＨＴＭＬデータとを送信する。
【０１７９】
これは、例えば、表示編集計算機５上のＨＴＭＬブラウザで表示されたＨＴＭＬドキュメントのコピーデータ部分をユーザがマウスクリックなどで指定すると、“videoserver”というホスト名の動画サーバ１に、以下に示すようなリクエスト（動画データ要求命令）が通知されることにより、実行される。
【０１８０】
・・動画データ要求命令
この動画データ要求命令に対し、動画サーバ１は、そのリクエストに含まれるパラメータを読み取り、表示編集計算機５上で後述の表示編集プログラムを指定されたパラメータ設定で実行するためのデータを送信する。これは、例えば、次のようなデータ（表示編集プログラム設定データ）である。
【０１８１】
・表示編集プログラム設定データ
上のＨＴＭＬデータ（表示編集プログラム設定データ）をＨＴＭＬブラウザで表示することにより、表示編集プログラム(''videodisplay.class'')が以下に示すようなパラメータ設定で実行される。
【０１８２】
・表示編集プログラム設定パラメータ
このように、送信には周知のＨＴＴＰプロトコルを利用する。これは動画サーバでＨＴＴＰサーバプログラムを実行しておくことで実現できる。
【０１８３】
・表示編集プログラム
また、本具体例における表示編集プログラムは、動画サーバから送信されるアプレットとして実現する。
【０１８４】
この表示編集プログラムにおいて、表示編集に指定可能なパラメータとその意味は以下の通りとする。
【０１８５】
・パラメータ説明
src：元になる動画、静止画のファイル名。また、拡張子を“.voi”,“.wb”としたファイル名をそれぞれ、音源方向データ、書き込みデータとして認識する。
start,end：動画の指定範囲の開始と終了時刻。ファイルの初めからの相対時間(秒)で表す。
Displaymode：表示モード。以下のように“0”から“2”の値をとる。
・“0”：（ｍｏｄｅ：０）図７に示す範囲指定可能な全体表示。
・“1”：（ｍｏｄｅ：１）図１３に示す範囲指定不可能な全体表示。
・“2”：（ｍｏｄｅ：２）図１１に示すモード１への変更ボタンを持つ指定部分のみの表示。
【０１８６】
これらのパラメータを受け取った表示編集プログラムは、指定された動画データなどを、指定された方法で表示する。
【０１８７】
・表示編集プログラム
また、表示編集プログラムの構造を、図１２に示し、次に各部分の動作を説明する。
【０１８８】
・・動画像表示部５３
指定された動画データを動画サーバ１より受信し、操作処理部５１の指示にしたがい、ＣＲＴモニタ６の画面上に再生表示する。
【０１８９】
・・時刻表示部５２
指定された音源方向データとホワイトボード書き込みデータとを動画サーバ１より受信し、操作処理部５１からの指示にしたがい、ＣＲＴモニタ６の画面上に再生表示する。
【０１９０】
・・操作処理部５１
マウスクリックなどのユーザ操作を取り込み、以下のように、それぞれの操作に応じて動画像表示部５３、時刻表示部５２に指示を出す。
・時刻表示部５２でのクリック。
・動画像表示部５３にポインタ位置に対応する時刻からの再生を指示する。
・時刻表示部５２でのドラッグ。
・時刻表示部５２にドラッグ範囲の色変化を指示し、対応する時間範囲を記憶する。
・選択された時刻指定範囲でのダブルクリック。
・動画像表示部５３に指定範囲の再生を指示する。
・指定範囲での右ボタンクリック。
・コピーデータ生成部５４に、現在の指定範囲と動画データでのコピーデータ生成を指示する。
・全体表示ボタンクリック。
・表示編集プログラム全体の表示モードを“1”に変更し、再表示する。
・編集ボタンクリック プログラム全体の表示モードを“0”に変更し、再表示する。
【０１９１】
・・コピーデータ生成部５４
操作処理部５１からの指示にしたがい、コピーデータを生成し、システム標準通信バッファに書き込む。
【０１９２】
以上、説明したように、本実施形態では、記録システム２０、動画サーバ１、表示編集計算機５として、それぞれ異る計算機を利用したが、それらの幾つかの機能を一つの計算機で実現することもできる。
【０１９３】
また、通信には標準的なＨＴＴＰプロトコルを利用したが、標準外の特別なプロトコルを利用しても同様に実現できる。
【０１９４】
また、、コピーデータとして、ＨＴＭＬ形式のデータを生成したが、HTMLの機能をＸＭＬ形式で定義したＸＨＴＭＬ形式など利用しても同様に実現できる。
【０１９５】
また、再生するデータとして動画を利用したが、その他に、音声、３次元動画など、時間的に変化するデータを利用しても、同様の効果が得られる。
【０１９６】
更に、範囲指定機能と表示機能とを一つのプログラムの異なる動作モードとして実現したが、それぞれの動作モードを個別のプログラムとしても実現しても良い。
【０１９７】
【発明の効果】
以上、説明したように、本発明によれば、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムであって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とし、これにより、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【０２０４】
更に、本発明によれば、前記表示編集手段は、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とし、これにより、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【０２０５】
更に、本発明によれば、マルチメディアデータ自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【０２１０】
また、本発明によれば、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムを記録した記録媒体であって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする文書作成プログラムを記録し、これにより、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【０２１１】
更に、本発明によれば、前記表示編集手段は、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とし、これにより、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【０２１２】
更に、本発明によれば、マルチメディアデータ自体を、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態によるシステム構成を示すブロック図である。
【図２】本発明の一実施形態による動画データ選択画面の例を示す図である。
【図３】本発明の一実施形態によるカメラ２とマイクロホンアレイ３との外観を示す斜視図である。
【図４】本発明の一実施形態によるペンスイッチ４の構成を示すブロック図である。
【図５】本発明の一実施形態による音源方向データのデータ構造の例を示すテーブルである。
【図６】本発明の一実施形態によるホワイトボード書き込みデータのデータ構造の例を示すテーブルである。
【図７】本発明の一実施形態によるＣＲＴモニタ６に表示される範囲選択画面の例を示す図である。
【図８】本発明の一実施形態による範囲選択画面の例において時間範囲指定の例を示す図である。
【図９】本発明の一実施形態におけるモード選択の表示画面例を示す図である。
【図１０】本発明の一実施形態において送信されるメールの例を示す図である。
【図１１】本発明の一実施形態においてメールの受信側端末で再生される動画データの表示画面例を示す図である。
【図１２】本発明の一実施形態による表示編集プログラムのソフトウェア構成を示すブロック図である。
【図１３】本発明の一実施形態によるメール受信側の端末で表示される範囲選択画面の例を示す図である。
【図１４】本発明の一実施形態による受信者からの返信メールの例を示す図である。
【符号の説明】
１ 動画サーバ
２ カメラ（レンズ）
３ マイクロホンアレイ
４ ペンスイッチ
５ 表示編集計算機
６ ＣＲＴモニタ
７ キーボード
８ マウス
９ 映像情報データベース
１０ ネットワーク
２０ 記録システム
３１、３２ マイクロホン
４１ マーカペン
４２ ペン先
４３ バネ
４４ スイッチ
５１ 操作処理部
５２ 時刻表示部
５３ 動画像表示部
５４ コピーデータ生成部
【発明の属する技術分野】
本発明は、文書作成システム、文書作成サーバ、文書作成プログラム、及び文書作成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来技術において、動画データを利用する機能を提供するものとして、例えば、特開２０００−１５２１８０号公報が開示するところの「光ディスク、ビデオデータ編集装置、編集プログラムを記録したコンピュータ読み取り可能な記憶媒体、光ディスクの再生装置、再生プログラムを記録したコンピュータ読み取り可能な記録媒体」が存在する。以下、従来技術１とする。
【０００３】
本従来技術１は、ＤＶＤなど光ディスクに記録された動画データなどの編集、記録、再生方法に関するものである。この従来技術１によれば、動画データをそのまま保存し、動画データファイルと、再生開始、終了時刻などの情報とを持つポインタテーブルを編集し、それに従って再生するよう構成されている。
【０００４】
また、同様の技術としては、特開平１０−０４０１８８号公報が開示するところの「マルチメディアメール送信および受信装置」が存在する。以下、従来技術２とする。
【０００５】
本従来技術２は、マルチメディアメール、特にメールに添付された動画ファイルの構造と配信方式に関するものである。本従来技術２において、動画データファイルは、予め用意されているものであるか、その場で録音されたものであるため、動画編集機能に関する記述はなされていない。
【０００６】
更に、同様の技術としては、特開平０８−２７２９８９号公報が開示するところの「映像使用による資料作成支援システム」が存在する。以下、従来技術３とする。
【０００７】
本従来技術３は、予め録画された動画データの一部を指定し、その部分を含むマルチメディア文書を作成する環境に関するものである。本従来技術３において、再生範囲は、動画再生中に「ここから」および「ここまで」ボタンを押すことで指定されるため、指定操作は簡単ではない。また、動画データは、指定された範囲のみが文書に添付されるため、作成された文書から指定範囲以外を再生することはできない。更に、文書作成環境を含むため、ユーザの好みの文書作成アプリケーションを利用することはできない。
【０００８】
【発明が解決しようとする課題】
また、上記従来技術２又は３に開示されている技術では、計算機の能力が向上したために、動画や音声をなどのマルチメディア情報を含む文書が利用可能になっているが、効果的なデータの作成方法については以前課題が多い。
【０００９】
これは、例えば、長時間の動画データを閲覧するには長い時間がかかるため、必要なシーンだけを記録した動画データが要求される。しかし、長時間記録された動画データから必要な部分をみつけることは一般に困難である。特に、従来技術３のように、動画再生時に、必要な時間範囲の開始時刻、終了時刻にボタンを押すという操作は、再生時には、現在再生されている動画は見えても、その前後の状況が不明なため、その現在が必要な範囲の開始時であると判断することがむつかしい。
【００１０】
また、上記の動画撮影時に生じる様々な事象としては、様々な可能性が考えられる。しかしながら、情報の記録時に、通常の記録以外に、その再生、検索のための特別な行動をとることは、記録者や被写体にとって負担となる。
【００１１】
更に、従来技術では、長時間のマルチメディア情報のうち必要な部分を指定する方法について考えられてきた。しかし、この「必要とする部分」というのは、閲覧する人間の価値感によって決定されるものであり、原理的に一意に決められるものではない。
【００１２】
そのため、文書を作成するために部分を切り出した人間と、その文書を閲覧する人間では、その「必要とする部分」が異なる可能性がある。例えば、会議シーンのうちあるひとつの発言を切り出した場合、それを再生して閲覧する人間は、その発言だけでは足りず、その直前の発言と連続して再生することによって、初めてその意味を十分に理解できるかもしれない。
また、一般にマルチメディアデータはデータ量が多い。特に上記のように、表示されるかどうか不明な指定範囲外のデータも含めるとすると膨大なデータ量となる可能性がある。
【００１３】
また、ある長時間メディアの一部分を含む文書を表示した場合、同じメディアデータの他の部分について言及した文書を作成する可能性は高いと考えられる。例えば、ある会議シーンを撮影した動画データを含めた電子メールによって、その会議での議論を補足する議論をする場合、メールの返信には、同じ会議記録データの別の部分を参照する可能性が高い。
【００１４】
また、文書を作成するアプリケーションには様々な種類があり、それぞれの操作方法を習得するには、ある程度の訓練が一般には必要である。したがって、あるアプリケーションの操作に習熟しているユーザが、同様な機能を持つ他のアプリケーションを利用するには、二重の訓練が必要となるため、それぞれのユーザは特定のアプリケーションだけを主に利用する場合が多い。
【００１５】
更にまた、文書作成アプリケーションへ受け渡すデータとして、指定したプログラムを起動する機能を持つことが必要である。
このように、上記各従来技術では、メール等に添付する動画データの編集を行う際の機能に関して開示されていないか、若しくは、ユーザに対して簡易な機能として提供されていなく、更に、メールにより提供された動画データの再生領域が完全に限定されているため、送信側のユーザにとっても受信側のユーザにとっても、利用価値の高い動画データ若しくは編集機能を提供するには至らなかった。
【００１６】
従って、本発明は、上記問題に鑑みなされたもので、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することを可能とする文書作成システム、文書作成サーバ、文書作成プログラム、及び文書作成プログラムを記録した記録媒体を提供することを目的とする。
【００１７】
【課題を解決するための手段】
係る目的を達成するために、本発明は、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムであって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする。
【００１８】
これにより、本発明では、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。
【００１９】
即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００３３】
即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００３４】
更に、本発明は、前記表示編集手段が、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とする。
【００３５】
これにより、本発明では、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。また、マルチメディアデータ自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【００４６】
また、本発明は、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムを記録した記録媒体であって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする文書作成プログラムを記録した記録媒体である。
【００４７】
これにより、本発明では、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。
【００４８】
即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００４９】
更に、本発明は、前記表示編集手段が、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とする。
【００５０】
これにより、本発明では、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。また、マルチメディアデータ自体を、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【００５７】
【発明の実施の形態】
〔本発明の特徴〕
本発明を説明するにあたり、本発明の特徴を先に述べる。
【００５８】
本発明は、動画撮影時に生じた様々な事象を、時間の流れを空間的な広がりに変換して表示することで、動画表示時に現在の動画情報と同時に、その前後の状況を表現することができることを利用し、このように時間的に変化するマルチメディア情報のなかから、必要な部分だけを選択する操作を容易にし、価値の高いマルチメディア文書を簡単に作成する環境を提供するものである。
【００５９】
また、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用して、撮影時の情報を保存するものである。
【００６０】
更に、本発明は、発言時刻だけでなく、その位置を記録、表示することにより、より精度の高い情報を提示するものである。
【００６１】
また、本発明は、範囲指定されたデータを表示する際に簡単な操作で、指定範囲外のデータを表示する手段を提供するものである。
【００６２】
また、本発明は、マルチメディア情報自体をネットワーク中にひとつだけ保存しておき、文書中には必要な部分だけを指し示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化するものである。
【００６３】
また、本発明は、部分指定されたマルチメディアデータを表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することにより、文書作成の操作全体を簡易化するものである。
【００６４】
更に、本発明は、作成したマルチメディア文書を、 ネットワークを使って他のユーザに簡単に送信する手段を持つことにより、 操作性を向上させ、また文書の利用価値を高めることが目的である。
また、本発明は、マルチメディアデータの部分を指定する手段と、文書を作成する手段とを別個のアプリケーションとすることで、様々な文書作成アプリケーションを利用するユーザが、部分指定プログラムを容易に利用できるようにするものである。
【００６５】
また、本発明は、文書作成アプリケーションへ受け渡すデータとして、指定したプログラムを起動する機能を持ち、一般に利用者の多い標準的なデータ形式であるＨＴＭＬまたはＸＭＬ形式のデータを採用することで、多くの文書作成アプリケーションに対応した利便性の高いマルチメディア文書作成環境を提供するものである。
【００６６】
以上のような具体的な目的を達成するために、本発明は、まず、時間的に変化するマルチメディアデータを記録する第１の記録手段と、上記記録手段と同時に動作し、イベントの発生時刻を記録する第２の記録手段と、第１の記録手段で記録されたデータを時間的に表示する第１の表示手段と、上記第１の表示手段と同期して第２の記録手段で記録されたデータを空間的に表示する手段と、第１の記録手段で記録されたデータの特定の部分をユーザが指定する手段と、第１の記録手段で記録されたデータのうち、上記指定手段で指定された部分を表示するためのデータを生成する手段とを有することを特徴とするものである。
【００６７】
これにより、本発明は、時間的に変化するマルチメディア情報の中から、必要な部分だけを容易に選択し、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００６８】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を記録する第２の記録手段として、音の発生時刻を記録する手段を有することを特徴とするものである。
【００６９】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００７０】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を記録する第２の記録手段として、音の発生時刻とその位置を記録する手段を有することを特徴とするものである。
【００７１】
これにより、本発明は、発言時刻だけでなく、その位置を記録表示することにより、より精度の高い情報を呈示することが可能となる。
【００７２】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を記録する第２の記録手段として、筆記具による加筆時刻を記録する手段を有することを特徴とするものである。
【００７３】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００７４】
また、本発明は、上記のような特徴のほかに、更に、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、表示時に文書閲覧ユーザの操作により、指定された部分以外も表示可能なデータを生成することを特徴とするものである。
【００７５】
これにより、本発明は、範囲指定されたデータを表示する際に、簡単な操作により指定範囲外のデータを表示する手段を提供することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【００７６】
また、本発明は、上記のような特徴のほかに、更に、指定手段で指定された部分を表示するためのデータとして、表示対象となるマルチメディアファイルを識別する情報と、時間部分を表す情報と、を含むデータを生成することを特徴とするものである。
【００７７】
これにより、本発明は、マルチメディア情報自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化することが可能となる。
【００７８】
また、本発明は、上記のような特徴のほかに、更に、ネットワークを介して接続されたクライアントに、指定する所定の部分の修正をユーザに入力させ、修正後の所定の部分を指定するデータを生成させる。また、本発明は、文書閲覧ユーザの操作により、第１の記録手段で記録されたデータのうち、上記指定手段で指定された部分を表示するためのデータとして、表示時に文書閲覧ユーザの操作により、上記のような機能を実行可能なデータを生成することを特徴とするものである。
【００７９】
これにより、本発明は、部分指定されたマルチメディア情報を表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することが可能となり、文書作成の操作全体を簡易化することが可能となる。
【００８０】
また、本発明は、上記のような特徴のほかに、更に、作成した文書を、電子メールとして送信する手段を有することを特徴とするものである。
【００８１】
これにより、本発明は、作成したマルチメディア文書を、ネットワークを使って他のユーザに簡単に送信することが可能となり、操作性を向上させ、また文書の利用価値を高めることが可能となる。
【００８２】
また、本発明は、文書データを作成するためにコンピュータを、あらかじめ記録された 時間的に変化するマルチメディアデータを時間的に表示する第１の表示手段と、上記データと同時に記録したイベントの発生時刻データを上記第１の表示手段と同期して空間的に表示する第２の表示手段と、上記第１の表示手段で表示するデータの特定の時間部分をユーザが指定する手段と、上記第１の表示手段で表示するデータのうち、上記指定手段で指定された部分を表示するためのデータを含む文書を作成する手段として機能させることを特徴とするものである。
【００８３】
これにより、本発明は、時間的に変化するマルチメディア情報の中から、必要な部分だけを容易に選択し、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【００８４】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻を表示する手段として機能させることを特徴とするものである。
【００８５】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００８６】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻とその位置を表示する手段として機能させることを特徴とするものである。
【００８７】
これにより、本発明は、発言時刻だけでなく、その位置を記録表示することにより、より精度の高い情報を呈示することが可能となる。
【００８８】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを筆記具による加筆時刻を表示する手段として機能させることを特徴とするものである。
【００８９】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【００９０】
また、本発明は、上記のような特徴のほかに、更に、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、指定された部分以外も表示可能なデータを生成するよう機能させることを特徴とするものである。
【００９１】
これにより、本発明は、範囲指定されたデータを表示する際に、簡単な操作により指定範囲外のデータを表示する手段を提供することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【００９２】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された部分を表示するためのデータとして、表示対象となるマルチメディアファイルを識別する情報と、時間部分を表す情報と、を出力するよう機能させることを特徴とするものである。
【００９３】
これにより、本発明は、マルチメディア情報自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化することが可能となる。
【００９４】
また、本発明は、上記のような特徴のほかに、更に、ネットワークを介して接続されたクライアントに、指定する所定の部分の修正をユーザに入力させ、修正後の所定の部分を指定するデータを生成させる。また、本発明は、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、上記のような機能を実行可能なデータを生成するよう機能させることを特徴とするものである。
【００９５】
これにより、本発明は、部分指定されたマルチメディア情報を表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することが可能となり、文書作成の操作全体を簡易化することが可能となる。
【００９６】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータをシステム標準のアプリケーション間通信バッファに出力するよう機能させることを特徴とするものである。
【００９７】
これにより、本発明は、マルチメディア情報の部分を指定する手段と、文書を作成する手段と、を別個のアプリケーションとすることが可能となるため、様々な文書作成アプリケーションを利用するユーザが、部分指定プログラムを容易に利用することが可能となる。
【００９８】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータとして、ＨＴＭＬまたはＸＭＬ形式のデータを生成するよう機能させることを特徴とするものである。
【００９９】
これにより、本発明は、指定したプログラムを起動する機能を持ち、一般に利用者の多い標準的なデータ形式であるＨＴＭＬ又はＸＭＬ形式のデータを採用することで、多くの文書作成アプリケーションに対応した利便性の高いマルチメディア文書作成環境を提供することが可能となる。
【０１００】
また、本発明は、文書データを作成するためにコンピュータを、あらかじめ記録された時間的に変化するマルチメディアデータを時間的に表示する第１の表示手段と、上記データと同時に記録したイベントの発生時刻データを上記第１の表示手段と同期して空間的に表示する第２の表示手段と、上記第１の表示手段で表示するデータの、特定の時間部分をユーザが指定する手段と、上記第１の表示手段で表示するデータのうち、上記指定手段で指定された部分を表示するためのデータを含む文書を作成する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０１】
これにより、本発明は、時間的に変化するマルチメディア情報の中から、必要な部分だけを容易に選択し、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【０１０２】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻を表示する手段として機能させるための プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０３】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【０１０４】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを音の発生時刻とその位置を表示する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０５】
これにより、本発明は、発言時刻だけでなく、その位置を記録表示することにより、より精度の高い情報を呈示することが可能となる。
【０１０６】
また、本発明は、上記のような特徴のほかに、更に、イベントの発生時刻を表示する第２の表示手段として、コンピュータを筆記具による加筆時刻を表示する手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０７】
これにより、本発明は、発言や筆記具による加筆という、特に会議シーンの撮影といった状況で、人間にとって自然な行動を採用することにより、撮影時に被写体に特別な負担をかけることなく、有効な事象情報を利用することが可能となる。
【０１０８】
また、本発明は、上記のような特徴のほかに、更に、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、指定された部分以外も表示可能なデータを生成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１０９】
これにより、本発明は、範囲指定されたデータを表示する際に、簡単な操作により指定範囲外のデータを表示する手段を提供することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【０１１０】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された部分を表示するためのデータとして、表示対象となるマルチメディアファイルを識別する情報と、時間部分を表す情報を出力するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１１】
これにより、本発明は、マルチメディア情報自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを示すポインタ情報だけを含めることによってデータ量を削減し、文書の扱いを簡単化することが可能となる。
【０１１２】
また、本発明は、上記のような特徴のほかに、更に、ネットワークを介して接続されたクライアントに、指定する所定の部分の修正をユーザに入力させ、修正後の所定の部分を指定するデータを生成させる。また、本発明は、第１の記録手段で記録されたデータのうち、指定手段で指定された部分を表示するためのデータとして、文書閲覧ユーザの操作により、上記のような機能を実行可能なデータを生成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１３】
これにより、本発明は、部分指定されたマルチメディア情報を表示した際に、簡単に同じデータの別の部分を指定する操作方法を提供することが可能となり、文書作成の操作全体を簡易化することが可能となる。
【０１１４】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータをシステム標準のアプリケーション間通信バッファに出力するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１５】
これにより、本発明は、マルチメディア情報の部分を指定する手段と、文書を作成する手段と、を別個のアプリケーションとすることが可能となるため、様々な文書作成アプリケーションを利用するユーザが、部分指定プログラムを容易に利用することが可能となる。
【０１１６】
また、本発明は、上記のような特徴のほかに、更に、時間部分指定手段で指定された範囲を表示するためのデータとして、ＨＴＭＬまたはＸＭＬ形式のデータを生成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０１１７】
これにより、本発明は、指定したプログラムを起動する機能を持ち、一般に利用者の多い標準的なデータ形式であるＨＴＭＬ又はＸＭＬ形式のデータを採用することで、多くの文書作成アプリケーションに対応した利便性の高いマルチメディア文書作成環境を提供することが可能となる。
【０１１８】
以下、本発明を好適に実施した形態について、図面を用いて詳細に説明する。
【０１１９】
〔一実施形態〕
本発明の一実施形態について、以下に説明する。以下の説明では、本実施形態を計算機上で動作するソフトウエアとする。
【０１２０】
（一実施形態の構成）
図１は、本実施形態による文書作成を実現するシステムを示すブロック図である。
【０１２１】
図１を参照すると、本実施形態によるシステム構成は、ＣＲＴモニタ６、キーボード７、マウス８が接続された表示編集計算機５が、ネットワーク１０を経由して動画サーバ１に接続している。この表示編集計算機５としては、汎用コンピュータ（パーソナルコンピュータ等）が適用できる。
【０１２２】
また、本実施形態では、動画サーバ１に記録システム２０が接続されている。この記録システム２０は、カメラ２、マイクロホンアレイ３、ペンスイッチ４を有して構成され、これらで取得された動画データや、動画記録時に計測された音源方向データや、ペン書き込みデータ（ホワイトボード書き込みデータ）等は、動画サーバ１に接続された映像情報データベース９に記録され、保持される。
【０１２３】
以下の説明では、これらのデータが動画サーバ１に接続された映像情報データベース９に既に記録されているものとして、動作を説明する。但し、上記のようなデータを映像情報データベース９に記録する際の動作としては、通常のＶＲＴ等の録画機能を適用することで実現することが可能である。
【０１２４】
（一実施形態の動作）
次に、上記の構成を有する本実施形態によるシステムの動作について、図面を用いて詳細に説明する。但し、本実施形態における各動作は、これら機能を実現するためのプログラム（アプレット等）が予め動画サーバ１に格納されており、必要に応じて読み出され実行されることで、実現されるものである。
【０１２５】
・データ選択動作
まず、上記構成において、ユーザが映像情報データベース９に格納された各データを選択する際の動作について説明する。
【０１２６】
まず、ユーザより、このデータ選択を実現する機能が選択されると、この機能を実現するためのプログラムが起動し、表示編集計算機５上で実行され、表示編集計算機５に接続されたＣＲＴモニタ６上に、図２に示すような画面（動画データ選択画面）を表示する。従って、ユーザは、この動画データ選択画面より、対象とする動画データを選択する。
【０１２７】
また、図２に示す動画データ選択画面では、予め記録された動画データファイルに関する記録日時と長さとが表示されている。ユーザは、この表示に基づいて、リストアップされた動画データファイルのいずれかを、マウス８等でクリックし、選択する。但し、動画データ選択画面に表示する情報としては、上記の情報（記録日時、長さ）とに限定されず、どのような動画データファイルであるかをユーザに認識させる程度の情報であれば、いかなるものも適用することが可能である。
【０１２８】
・範囲指定操作
次に、上記のようにして、対象とする動画データが選択されると、本実施形態では、図７に示す画面（範囲選択画面）がＣＲＴモニタ６に表示され、ユーザに対して動画データにおける時間範囲指定が求められる。
【０１２９】
図７を参照して説明すると、範囲選択画面は、画面上部から、イベント時刻表示領域、動画像表示領域、操作ボタンの各領域に分かれている。
【０１３０】
・・イベント時刻表示領域
図７におけるイベント時刻表示領域には、動画撮影時に同時に記録されたイベントの発生時刻が、縦方向の時間軸に沿って空間的に表示されている。また、イベント時刻表示領域は、左から、時刻表示欄（図中“時刻”と表示）、発話方向表示欄（図中“発話方向”と表示）、ホワイトボード書き込み表示欄（図中“ＷＢ”と表示）、スクロールバーに分かれている。
【０１３１】
・・・時刻表示欄
上記イベント時刻表示領域において、時刻表示欄は、右側の各欄（発話方向表示欄、ホワイトボード書き込み表示欄、スクロールバー）に表示される各イベントの記録時刻を示す。
【０１３２】
・・・発話方向表示欄
上記イベント時刻表示領域において、発話方向表示欄は、横軸が、図３に示すマイクロホンアレイで計測した音源の方向を示し、縦軸が時刻表示欄に示される記録時刻を表す。
【０１３３】
また、発話方向表示欄中、灰色の帯で示されたマークは、動画像表示領域において縦方向の位置に対応する話者から、時刻表示領域において対応する時刻に発言があったことを表している。即ち、横軸の方向が下の動画表示領域と対応するように構成し、且つ、画面上、音源マークの真下に対応する方向の動画表示領域が音源方向となる。また、動画像表示領域で現在表示している時刻は、イベント表示欄中に横線で示される。
【０１３４】
このように表示することで、いずれの話者がどの時刻に程度の時間で発言をしていたかを、ユーザに視覚的に判別させることが可能となる。
【０１３５】
・・・ホワイトボード書き込み表示欄
また、上記イベント表示領域において、ホワイトボード書き込み領域は、縦軸が時刻表示欄に示される記録時刻に対応し、ホワイトボードへの書き込みのあった時刻を表示している。
【０１３６】
このように表示することで、どの時刻にどの程度の時間でホワイトボードに書き込みが行われたかを、ユーザに視覚的に判別させることが可能となる。
【０１３７】
・・・スクロールバー
更に、上記イベント表示領域において、スクロールバーは、中央のマークをマウスでドラッグすることで、イベント時刻表示を上下(時間的には前後)に移動することが可能である。即ち、スクロールバーにおいて、帯状のマークが示されている領域が、時刻表示領域において表示されている時間範囲であり、スクロールバーにおける帯状のマークを上下に移動させることにより、表示する時間帯を移動させることを可能とする。
【０１３８】
また、イベント時刻表示は、動画再生中には時間進行とともに上に移動する。
【０１３９】
更に、ユーザがイベント時刻表示領域をマウスでクリックすると、ポインタ位置に対応した時刻から動画が表示される。これによりユーザは任意の時刻の動画を再生表示することができる。
【０１４０】
・・動画像表示領域
また、範囲選択画面における動画像表示領域には、記録された動画データが再生表示される。但し、上述にもあるように、この動画像表示領域の横軸と、発話方向表示領域の横軸とは、対応している。
【０１４１】
・・操作ボタン
また、範囲選択画面における操作ボタンは、通常の動画表示ツールと同様に、動画データを「停止」、「再生」させるためのボタンを表示するとよい。
【０１４２】
以上のように、範囲選択画面を上記のような表示とすることにより、本実施形態では、動画データの時間の流れをユーザが一目で視覚的に理解できるように構成することが可能となる。
【０１４３】
これは、例えば、図７を例にして説明すると、現在動画が表示されている時刻が、ホワイトボードへの書き込みが終了した直後であり、「Ａ」さんが発言中であり、「Ｃ」さんの発言が始まる直前であることが、ユーザにとって視覚的に判別できる。
【０１４４】
次に、ユーザが範囲指定を行う際の操作を図８を用いて説明する。
【０１４５】
図８では、図７と同じシーンを再生中に、ある（「Ｃ」さんの）発言に対応する時間範囲が選択されている。
【０１４６】
これは、ユーザが、マウスドラッグ、つまり、イベント時刻表示欄の選択開始時刻(図８では１０：３８頃)に対応する位置をマウスでポイントし、まずボタンを押下する。次にボタンを押下したまま、ポインタを移動し、選択終了時刻(図８では１０：４３頃)をポイントし、そこでマウスボタンを離すことにより、時間範囲が指定される。
【０１４７】
これに対し、この操作を受けたプログラムは、指定された時間範囲(１０：３８頃から１０：４３頃)の表示色を変化させ、この範囲が選択されたことを示す。
【０１４８】
この状態で、表示された選択範囲を例えばダブルクリックすることにより、本実施形態では、選択された時間だけの動画データを選択する。つまり、選択された領域における上端を動画再生の開始時刻とし、この領域における下端を再生する動画の終了時刻とする。また、このように選択された領域をクリック（ダブルクリック）することにより、選択された分だけの動画データが再生される。
【０１４９】
これにより、選択された時間領域が所望の範囲かどうか確認することができる。また、この状態で、表示された選択領域の上辺、下辺自身をマウスドラッグすることで、選択範囲を調整することができるよう構成するとよい。
【０１５０】
このようにイベント時刻表示を空間的に表示しながら、時間範囲を空間的に指定するので、本実施形態では、単に動画を再生しながら、指定の開始、終了時刻を選択する方法に比べ、ユーザが簡単に正確な範囲を指定することが可能となる。
【０１５１】
・コピー動作
次に、上記のようにユーザにより指定された時間範囲の利用法を説明する。
【０１５２】
図８のように表示された選択範囲内にポインタを移動させた状態でマウスの右ボタンをクリックすると、図９に示すメニューが表示される。
【０１５３】
この図９に示されたメニューにおいて、「コピー（ｍｏｄｅ：０，ｍｏｄｅ：１，ｍｏｄｅ：２）」のいずれかを選択すると、それぞれのモードに従った形式で、表示している動画データを示す情報と、選択された時間範囲を示す情報(その内容と形式は後述する)とが、システム標準のアプリケーション間通信バッファ(クリップボード)内へコピーされる。
【０１５４】
また、この状態で本動作を実行するプログラムとは独立した、ＨＴＭＬドキュメント作成ソフトウエアの表示画面上で、クリップボード内のデータを作成中のドキュメントに貼り付ける操作を行うことにより、クリップボードに記録された動画データと時間範囲とが、作成中のデータにコピーされる。
【０１５５】
この際、当然のことながら、ＨＴＭＬドキュメント作成ソフトウエアでは、コピーされた動画データ以外に、テキスト、画像など（そのデータ形式で表現できる）任意のデータを含んだドキュメントを作成することができる。
【０１５６】
このように、システム標準のアプリケーション間通信バッファを介することにより、どんなドキュメント作成プログラムにも情報をコピーすることができるので、ユーザは好みのアプリケーションを使用して、ドキュメントを作成することができる。
【０１５７】
勿論、コピーや貼り付け操作にキーボード操作を利用しても良い。または、図８の指定範囲領域からメール作成アプリケーションへドラッグ・アンド・ドロップ操作（指定領域をマウスでポイントしてボタンを押下したままメール作成アプリケーションへポインタを移動し、そこでボタンを離す）を行うことにより、画像データ（画像データにおける再生時間帯を指定する動画範囲指定データ）を編集・コピーするよう構成してもよい。
【０１５８】
・表示動作
上記操作によって作成された動画範囲指定データを含むドキュメントデータは、ＨＴＭＬデータ表示ツール(ブラウザ)で表示させることができる。
【０１５９】
例えば、メール全体は図１０のように表示される。このように、会議のシーンを記録した動画の中の特定の質問発言を指定して、そのメールが、その質問に対する回答であることを明示することができる。
【０１６０】
ここで、ユーザが「ビデオ」と下線つきで表示された領域をマウスクリックすると、図１１に示す別のウインドウが自動的に開き、指定範囲内の動画を再生するよう構成する。ここではモード２（ｍｏｄｅ：２）でコピーされたデータを張りつけた場合を示す。
【０１６１】
この状態では指定された時間範囲のみを再生するが、ここで「全体表示」ボタンを押すと、指定範囲以外の任意の時刻を表示するため、表示が図１３のように変化する。図１３に示す画面は図７とほぼ同じであり、指定範囲以外の時刻の動画データを再生することができるよう構成したものである。
【０１６２】
この表示モードにすることで、ドキュメントを閲覧するユーザは、指定範囲だけでは理解しずらい話の前後の文脈を把握することが可能となるため、ドキュメント作成者が指定した時間範囲だけでなく、任意の時刻のデータを再生することが可能となる。
【０１６３】
即ち、本実施形態において、メールに含ませて相手へ送信する情報には、画像データが含まれておらず、この画像データにおける再生時間帯を指定するデータ（動画範囲指定データ）が含まれている。従って、メールを受信したユーザは、この動画範囲指定データにリンクされた項目をクリックして選択することにより、対象の動画データの指定範囲を再生することが可能となる。また、本実施形態では、発信者と受信者とが同一の動画サーバ１と接続されていることが必要となる。但し、動画サーバ１において、対象の動画データをＷＷＷ上に公開することで、ＬＡＮ等の専用回線だけでなく、インターネット等を利用したシステム構成とすることが可能となる。即ち、ネットワーク１０をインターネットやＬＡＮ及びインターネットの併用とすることが可能であり、各ユーザでこれらネットワークを介して動画データを共有するよう構成するとよいことを示している。この際、動画データの再生に関して、パスワード等による制限を設けることで、より安全にシステム運用を行うことが可能となる。
【０１６４】
また、図１３の表示は、右下に「編集」ボタンがあることだけが図７と異なる。更に、図１３に示す画面において、ユーザが「編集」ボタンを押すと、図７と全く同じ表示、機能となり、メールを受けとったユーザが、新たに範囲を指定することが可能となる。
【０１６５】
従って、その機能を使って別の時間範囲を選択し、例えば、同じ会議中の別の質問発言を選択して、図１４のようなメールを作成することができる。
【０１６６】
この例のように、ある動画データをつかったドキュメントを閲覧したユーザが、その動画データの他の時間領域を指定した別のドキュメントを作成する可能性は高いと考えられる。その場合、図２のようなデータ選択ステップを踏むことなしに、このように表示モードを変更するだけで、簡単に範囲指定操作を開始できる。
【０１６７】
・データ構造
ここで、上記において、コピー又は転送されるデータについて説明する。このデータは、再生する動画ファイル名と表示モードと再生開始と終了時刻とを表す情報であり、次のようなＨＴＭＬ形式のデータ（時間範囲指定データ）とするとよい。
【０１６８】
・・時間範囲指定データ
【０１６９】
このように、コピーデータには動画データ自身は含んでいないため、データ量は非常に小さくてすむ。また、データ形式をＨＴＭＬ形式とすることにより、ユーザは自分の好みの、ＨＴＭＬ形式の文書を作成可能なアプリケーションを使って、動画データを含む文書を作成することが可能となる。
【０１７０】
更に、このコピーデータを例えば、ＨＴＭＬ形式のメール作成、送受信アプリケーションに貼りつけることによって、動画を含むメール作成を簡単に行うことが可能となり、このように作成したメールを、そのまま送信することも可能となる。
【０１７１】
（一実施形態の具体例）
次に、本実施形態の具体的な例を、図面を用いて説明する。
【０１７２】
・記録システム２０
まず、本具体例における動画データの記録システム２０としては、図１に示すように、カメラ（ビデオカメラ）２とマイクロホンアレイ３とペンスイッチ４とを有して構成される。
【０１７３】
この構成において、カメラ２とマイクロホンアレイ３とは、図３に示すような構成を有する。図３を参照すると、本具体例におけるカメラ２とマイクロホンアレイ３とは、カメラ２のレンズに対し、複数のマイクロホン３１，３２が設けられ、これにより、音源の方向が判別可能なように構成されている。
【０１７４】
このマイクロホンアレイ３は、会議などのシーンを動画として記録しておき、後からユーザが必要とする部分だけを簡単に参照するための機能を実現するためのものである。本実施形態では、このマイクロホンアレイを利用して音源方向を計測、記録し、動画再生時に表示するよう構成する。
【０１７５】
また同時に、記録システム２０は、ホワイトボードへの書き込み時刻を計測する。これは、図４のように、ペン先４２がボードに触れるとスイッチが導通するようにマーカペン４１にスイッチ４４を装着し、そのスイッチ４４の導通した時刻を逐次検知することで実現する。
【０１７６】
また、これら記録システム２０で記録されたデータは、動画サーバ１に接続された映像情報データベース９に記録しておく。この動画サーバ１は、汎用コンピュータやワークステーション等の計算機で構成することが可能である。
【０１７７】
ここで、映像情報データベース９に記録される動画データは、周知のＭＰＥＧアルゴリズム等で圧縮符号化し、撮影開始日時に“.mpg”という拡張子をつけたファイル名で記録するものとする。また、音源方向データは、図５に示すように、一定レベル以上の音が記録された時刻と、推定された音源方向と、を対にした表の形で、動画データファイル名の拡張子を“.voi”に変えたファイル名で記録するものとする。更にまた、ホワイトボード書き込みデータは、図６に示すように、書き込みのあった時刻を羅列する形式で、動画データファイル名の拡張子を“.wb”に変えたファイル名で記録するものとする。但し、これらの構成は、上記に限定されず、本発明の主旨を逸脱しない限り種々変形されるものである。
【０１７８】
・動画サーバ１及び映像情報データベース９
次に、上記のように取得された動画データ、音源方向データ、ホワイトボード書き込みデータが映像情報データベース９へ記録されると、動画サーバ１は、要求に応じて、これらを表示編集する計算機（表示編集計算機５）に送信する。また、表示編集計算機５からのリクエストに応じて、後述のアプレットとそれに渡すパラメータを含むＨＴＭＬデータとを送信する。
【０１７９】
これは、例えば、表示編集計算機５上のＨＴＭＬブラウザで表示されたＨＴＭＬドキュメントのコピーデータ部分をユーザがマウスクリックなどで指定すると、“videoserver”というホスト名の動画サーバ１に、以下に示すようなリクエスト（動画データ要求命令）が通知されることにより、実行される。
【０１８０】
・・動画データ要求命令
【０１８１】
・表示編集プログラム設定データ
【０１８２】
・表示編集プログラム設定パラメータ
【０１８３】
・表示編集プログラム
また、本具体例における表示編集プログラムは、動画サーバから送信されるアプレットとして実現する。
【０１８４】
この表示編集プログラムにおいて、表示編集に指定可能なパラメータとその意味は以下の通りとする。
【０１８５】
・パラメータ説明
src：元になる動画、静止画のファイル名。また、拡張子を“.voi”,“.wb”としたファイル名をそれぞれ、音源方向データ、書き込みデータとして認識する。
start,end：動画の指定範囲の開始と終了時刻。ファイルの初めからの相対時間(秒)で表す。
Displaymode：表示モード。以下のように“0”から“2”の値をとる。
・“0”：（ｍｏｄｅ：０）図７に示す範囲指定可能な全体表示。
・“1”：（ｍｏｄｅ：１）図１３に示す範囲指定不可能な全体表示。
・“2”：（ｍｏｄｅ：２）図１１に示すモード１への変更ボタンを持つ指定部分のみの表示。
【０１８６】
これらのパラメータを受け取った表示編集プログラムは、指定された動画データなどを、指定された方法で表示する。
【０１８７】
・表示編集プログラム
また、表示編集プログラムの構造を、図１２に示し、次に各部分の動作を説明する。
【０１８８】
・・動画像表示部５３
指定された動画データを動画サーバ１より受信し、操作処理部５１の指示にしたがい、ＣＲＴモニタ６の画面上に再生表示する。
【０１８９】
・・時刻表示部５２
指定された音源方向データとホワイトボード書き込みデータとを動画サーバ１より受信し、操作処理部５１からの指示にしたがい、ＣＲＴモニタ６の画面上に再生表示する。
【０１９０】
・・操作処理部５１
マウスクリックなどのユーザ操作を取り込み、以下のように、それぞれの操作に応じて動画像表示部５３、時刻表示部５２に指示を出す。
・時刻表示部５２でのクリック。
・動画像表示部５３にポインタ位置に対応する時刻からの再生を指示する。
・時刻表示部５２でのドラッグ。
・時刻表示部５２にドラッグ範囲の色変化を指示し、対応する時間範囲を記憶する。
・選択された時刻指定範囲でのダブルクリック。
・動画像表示部５３に指定範囲の再生を指示する。
・指定範囲での右ボタンクリック。
・コピーデータ生成部５４に、現在の指定範囲と動画データでのコピーデータ生成を指示する。
・全体表示ボタンクリック。
・表示編集プログラム全体の表示モードを“1”に変更し、再表示する。
・編集ボタンクリック プログラム全体の表示モードを“0”に変更し、再表示する。
【０１９１】
・・コピーデータ生成部５４
操作処理部５１からの指示にしたがい、コピーデータを生成し、システム標準通信バッファに書き込む。
【０１９２】
以上、説明したように、本実施形態では、記録システム２０、動画サーバ１、表示編集計算機５として、それぞれ異る計算機を利用したが、それらの幾つかの機能を一つの計算機で実現することもできる。
【０１９３】
また、通信には標準的なＨＴＴＰプロトコルを利用したが、標準外の特別なプロトコルを利用しても同様に実現できる。
【０１９４】
また、、コピーデータとして、ＨＴＭＬ形式のデータを生成したが、HTMLの機能をＸＭＬ形式で定義したＸＨＴＭＬ形式など利用しても同様に実現できる。
【０１９５】
また、再生するデータとして動画を利用したが、その他に、音声、３次元動画など、時間的に変化するデータを利用しても、同様の効果が得られる。
【０１９６】
更に、範囲指定機能と表示機能とを一つのプログラムの異なる動作モードとして実現したが、それぞれの動作モードを個別のプログラムとしても実現しても良い。
【０１９７】
【発明の効果】
以上、説明したように、本発明によれば、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムであって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とし、これにより、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【０２０４】
更に、本発明によれば、前記表示編集手段は、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とし、これにより、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【０２０５】
更に、本発明によれば、マルチメディアデータ自体は、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【０２１０】
また、本発明によれば、イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムを記録した記録媒体であって、コンピュータを、前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする文書作成プログラムを記録し、これにより、送信側及び受信側のユーザにとって簡易な機能で容易に動画データを編集することが可能となる。即ち、本発明によれば、時間的に変化するマルチメディアデータの中から、必要な部分だけを容易に選択することで、価値の高いマルチメディア文書を簡単に作成する環境を提供することが可能となる。
【０２１１】
更に、本発明によれば、前記表示編集手段は、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とし、これにより、範囲指定されたマルチメディアデータを表示する際に、簡単な操作により指定範囲外のマルチメディアデータを表示することが可能となり、ユーザ毎に異なる要求に対応することが可能となる。
【０２１２】
更に、本発明によれば、マルチメディアデータ自体を、ネットワーク中に一つだけ保存しておき、文書中には必要な部分だけを指定するポインタ情報を含めるだけでよいため、送信対象のデータ量が削減され、文書の扱いを簡単化することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態によるシステム構成を示すブロック図である。
【図２】本発明の一実施形態による動画データ選択画面の例を示す図である。
【図３】本発明の一実施形態によるカメラ２とマイクロホンアレイ３との外観を示す斜視図である。
【図４】本発明の一実施形態によるペンスイッチ４の構成を示すブロック図である。
【図５】本発明の一実施形態による音源方向データのデータ構造の例を示すテーブルである。
【図６】本発明の一実施形態によるホワイトボード書き込みデータのデータ構造の例を示すテーブルである。
【図７】本発明の一実施形態によるＣＲＴモニタ６に表示される範囲選択画面の例を示す図である。
【図８】本発明の一実施形態による範囲選択画面の例において時間範囲指定の例を示す図である。
【図９】本発明の一実施形態におけるモード選択の表示画面例を示す図である。
【図１０】本発明の一実施形態において送信されるメールの例を示す図である。
【図１１】本発明の一実施形態においてメールの受信側端末で再生される動画データの表示画面例を示す図である。
【図１２】本発明の一実施形態による表示編集プログラムのソフトウェア構成を示すブロック図である。
【図１３】本発明の一実施形態によるメール受信側の端末で表示される範囲選択画面の例を示す図である。
【図１４】本発明の一実施形態による受信者からの返信メールの例を示す図である。
【符号の説明】
１ 動画サーバ
２ カメラ（レンズ）
３ マイクロホンアレイ
４ ペンスイッチ
５ 表示編集計算機
６ ＣＲＴモニタ
７ キーボード
８ マウス
９ 映像情報データベース
１０ ネットワーク
２０ 記録システム
３１、３２ マイクロホン
４１ マーカペン
４２ ペン先
４３ バネ
４４ スイッチ
５１ 操作処理部
５２ 時刻表示部
５３ 動画像表示部
５４ コピーデータ生成部
Claims (4)
- イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムであって、
コンピュータを、
前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、
前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、
前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする文書作成プログラム。 - 前記表示編集手段は、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、
前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とする請求項１記載の文書作成プログラム。 - イベントを含むマルチメディアデータと共に、前記イベントの発生時刻を記録したサーバにネットワークを介して接続するクライアントにおける文書作成プログラムを記録した記録媒体であって、
コンピュータを、
前記ネットワークを介して前記サーバから前記マルチメディアデータを取得し、取得したマルチメディアデータを表示編集して再生する表示編集手段として機能させ、
前記表示編集手段は、前記サーバから得られたマルチメディアデータリストからマルチメディアデータがユーザにより選択されると、選択されたマルチメディアデータを前記サーバから取得し、取得したマルチメディアデータに含まれる動画の撮影と同時に記録された前記イベントの発生時刻を、時間軸に対応付けて表示し、前記動画に含まれる話者による書き込みが行われた区間を示す書き込み情報と、前記話者による発話区間及び発話方向を示す発話方向情報とを、前記時間軸に沿って表示し、前記発話方向情報を、前記動画に含まれる話者の表示位置に対応させて表示した範囲選択画面を生成し、
前記表示編集手段は、前記範囲選択画面に表示された時間軸の選択開始時刻と選択終了時刻とが前記ユーザにより指定されると、指定された時間範囲を表示し、表示された時間範囲に含まれる前記マルチメディアデータを、前記ネットワークを介して前記サーバに要求し、前記サーバから前記要求に対応する前記マルチメディアデータを取得し、取得した前記マルチメディアデータを再生する処理を実行することを特徴とする文書作成プログラムを記録した記録媒体。 - 前記表示編集手段は、前記時間範囲に含まれる期間以外のデータと、前記時間範囲に含まれる期間を指定するデータとを取得し、
前記時間範囲に含まれる期間を指定するデータは、表示対象となる前記マルチメディアデータを識別する情報と、前記時間範囲に含まれる期間を指定する情報とを含むことを特徴とする請求項３記載の文書作成プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001159416A JP4774164B2 (ja) | 2001-05-28 | 2001-05-28 | 文書作成プログラム、及び文書作成プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001159416A JP4774164B2 (ja) | 2001-05-28 | 2001-05-28 | 文書作成プログラム、及び文書作成プログラムを記録した記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002354452A JP2002354452A (ja) | 2002-12-06 |
| JP2002354452A5 JP2002354452A5 (ja) | 2008-07-10 |
| JP4774164B2 true JP4774164B2 (ja) | 2011-09-14 |
Family
ID=19003001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001159416A Expired - Fee Related JP4774164B2 (ja) | 2001-05-28 | 2001-05-28 | 文書作成プログラム、及び文書作成プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4774164B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100747444B1 (ko) | 2004-02-24 | 2007-08-09 | 엘지전자 주식회사 | 이동통신단말기의 동영상 전송 방법 |
| JP2008293219A (ja) | 2007-05-23 | 2008-12-04 | Ricoh Co Ltd | コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体 |
| JP2009124516A (ja) * | 2007-11-15 | 2009-06-04 | Sharp Corp | 動画編集装置、再生装置、動画編集方法、及び再生方法 |
| US10200206B2 (en) * | 2016-03-11 | 2019-02-05 | Fuji Xerox Co., Ltd. | Method and system for contextualizing and targeting inquiries in remote meetings |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3526067B2 (ja) * | 1993-03-15 | 2004-05-10 | 株式会社東芝 | 再生装置及び再生方法 |
| JP3185505B2 (ja) * | 1993-12-24 | 2001-07-11 | 株式会社日立製作所 | 会議録作成支援装置 |
| JP3565445B2 (ja) * | 1994-11-30 | 2004-09-15 | キヤノン株式会社 | 映像表示装置 |
| JPH08297624A (ja) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | 電子会議システム |
| WO1997009683A1 (fr) * | 1995-09-01 | 1997-03-13 | Hitachi, Ltd. | Systeme de mediatisation d'informations multimedia contenant des informations audio |
| JP3671476B2 (ja) * | 1995-11-07 | 2005-07-13 | ソニー株式会社 | 受信装置 |
| JP2000023130A (ja) * | 1998-06-30 | 2000-01-21 | Toshiba Corp | テレビ会議システム |
-
2001
- 2001-05-28 JP JP2001159416A patent/JP4774164B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002354452A (ja) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3826604B2 (ja) | プレゼンテーション資料のシナリオ生成装置およびシナリオ生成方法 | |
| US8353406B2 (en) | System, method, and computer readable medium for creating a video clip | |
| US6774939B1 (en) | Audio-attached image recording and playback device | |
| US8363058B2 (en) | Producing video and audio-photos from a static digital image | |
| US7820901B2 (en) | Information management method, information management program, and information management device | |
| JP2008172582A (ja) | 議事録作成再生装置 | |
| JP2008293219A (ja) | コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体 | |
| KR20080047847A (ko) | 동적 영상물 재생 장치 및 방법 | |
| JPH056251A (ja) | コンピユータシステム上に上映を事前記録、編集及び再生するための装置 | |
| JP2006339878A (ja) | マルチメディアコンテンツの編集端末、編集方法、プログラム | |
| JP2006148730A (ja) | 会議システム及び会議情報提供方法 | |
| JP2000099524A (ja) | マルチメディア情報視聴装置 | |
| JP4774164B2 (ja) | 文書作成プログラム、及び文書作成プログラムを記録した記録媒体 | |
| US11503148B2 (en) | Asynchronous short video communication platform based on animated still images and audio | |
| JP2011155329A (ja) | 映像コンテンツ編集装置，映像コンテンツ編集方法および映像コンテンツ編集プログラム | |
| JP2000267639A (ja) | 情報処理装置 | |
| JP4686990B2 (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2000098985A (ja) | マルチメディア情報処理装置 | |
| US20230199138A1 (en) | Information processing device, information processing program, and recording medium | |
| JP5324108B2 (ja) | コンピュータシステム、動画像編集方法、プログラム、動画像編集端末 | |
| JP2005167822A (ja) | 情報再生装置及び情報再生方法 | |
| JP2005228297A (ja) | 実物キャラクター型動画像情報物の制作方法，実物キャラクター型動画像情報物の再生方法，記録媒体 | |
| US20020056097A1 (en) | Multimedia feature article for global network viewing | |
| JPH08272989A (ja) | 映像使用による資料作成支援システム | |
| TW498234B (en) | Activity record/record broadcasting device of HTML/activeX document |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080522 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080522 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110506 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110627 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |