JP6295634B2

JP6295634B2 - 情報処理システム及びプログラム

Info

Publication number: JP6295634B2
Application number: JP2013261220A
Authority: JP
Inventors: 新宮　淳; 淳新宮
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2013-12-18
Filing date: 2013-12-18
Publication date: 2018-03-20
Anticipated expiration: 2033-12-18
Also published as: JP2015119320A

Description

本発明は、情報処理システム及びプログラムに関する。

動画データと、字幕等の文字情報を同期させて再生することがある。例えば、特許文献１には、ビデオ再生中にリプレイキーが押下された場合には、再生箇所の直前の字幕開始位置に戻って再生を再開することが開示されている。

特開２００３−２３６０７号公報

本発明の目的は、ユーザの書込に対応する動画データにおける再生位置の選択が容易となる情報処理システム及びプログラムを提供することにある。

請求項１に係る発明は、それぞれ撮影時刻が記録された複数の撮影画像を含む動画データを取得する動画データ取得手段と、ユーザの入力に基づく書込データを前記動画データの再生中に取得する書込データ取得手段と、前記書込データと同期再生する前記動画データの再生位置の候補を、該書込データの書込時刻より前の撮影時刻を含み設定する設定手段と、前記書込データについて前記設定手段により設定された再生位置の候補に基づいて決定した再生位置から前記動画データを再生させる手段と、を含む情報処理システムである。

請求項２に係る発明は、前記書込データに基づいて、該書込データの書込時刻からの巻き戻し時間を算出する算出手段をさらに含み、前記設定手段は、前記書込データの書込時刻から該書込データについて前記算出手段により算出された巻き戻し時間を戻した第１の時刻から、該書込時刻以後の第２の時刻までの時間範囲から、前記動画データの再生位置の１以上の候補を設定する請求項１に記載の情報処理システムである。

請求項３に係る発明は、前記第１の時刻から前記第２の時刻までの時間範囲に撮影時刻が含まれる撮影画像の中から、撮影画像の画像特徴に基づいて１以上の撮影画像を選択する選択手段をさらに含み、前記設定手段は、前記設定手段により選択された１以上の撮影画像のそれぞれの撮影時刻を前記再生位置の候補としてそれぞれ設定する請求項２に記載の情報処理システムである。

請求項４に係る発明は、前記算出手段は、前記書込データの書込開始時刻から書込終了時刻までの時間間隔、前記書込データに含まれるデータ量、過去の書込データからの経過時間の少なくともいずれかに基づいて、該書込データの巻き戻し時間を算出する請求項２又は３に記載の情報処理システムである。

請求項５に係る発明は、前記再生させる手段は、前記書込データと、該書込データについて前記設定手段により設定された再生位置の候補からユーザに選択された再生位置からの前記動画データとを同時に再生させる請求項１乃至４のいずれかに記載の情報処理システムである。

請求項６に係る発明は、前記動画データ取得手段により取得された動画データを画面上に再生する再生手段と、前記再生手段により前記動画データが再生されている間にユーザから書込要求を受け付けた場合に、前記画面に表示されている前記動画データの撮影画像よりも撮影時刻が前の時点の撮影画像を該ユーザの指定に応じて書込用画面に表示させる手段と、前記書込用画面に表示された撮影画像と、前記ユーザから受け付けた書込データとを関連付けて記録する記録手段と、をさらに含む請求項１乃至５のいずれかに記載の情報処理システムである。

請求項７に係る発明は、それぞれ撮影時刻が記録された複数の撮影画像を含む動画データを取得する動画データ取得手段と、ユーザの入力に基づく書込データを前記動画データの再生中に取得する書込データ取得手段と、前記書込データと同期再生する前記動画データの再生位置の候補を、該書込データの書込時刻より前の撮影時刻を含み設定する設定手段と、前記書込データについて前記設定手段により設定された再生位置の候補に基づいて決定した再生位置から前記動画データを再生させる手段としてコンピュータを機能させるためのプログラムである。

請求項１及び７に係る発明によれば、本構成を有さない場合と比較して、ユーザの書込に対応する動画データにおける再生位置の選択が容易となる。

請求項２に係る発明によれば、書込に応じた長さの時間範囲から、書込に対応する動画データにおける再生位置の設定が可能となる。

請求項３に係る発明によれば、書込前後にある動画データにおける特徴的なシーンのいずれかに基づいて書込に対応する再生位置の設定が可能となる。

請求項４に係る発明によれば、本構成を有さない場合と比較して、書込について巻き戻しが必要な時間の算出精度が向上する。

請求項５に係る発明によれば、本構成を有さない場合と比較して、ユーザの書込に対応する動画データにおける再生位置の選択が容易となる。

請求項６に係る発明によれば、本構成を有さない場合と比較して、動画データに含まれる撮影画像のうち、ユーザが書込を所望する撮影画像の選択が容易となる。

本実施形態に係る情報処理システムのシステム構成図である。データ管理装置が備える機能の一例を示した機能ブロック図である。ビデオデータ管理テーブルの一例を示す図である。メモデータ管理テーブルの一例を示す図である。ビデオデータの記録処理のシーケンス図である。メモデータの記録処理のシーケンス図である。ビデオデータとメモデータの同期再生処理のシーケンス図である。第２の実施例においてユーザ端末により実行される処理のフロー図である。サマリー表示画面の一例を示す図である。候補表示画面の一例を示す図である。ビデオデータの再生画面の一例を示す図である。書き込み画面の一例を示す図である。他の一例に係るビデオデータの記録処理のシーケンス図である。他の一例に係るメモデータの記録処理のシーケンス図である。

以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。

［１．システム構成例］
図１には、本実施形態に係る情報処理システム１のシステム構成図を示した。図１に示されるように、情報処理システム１は、データ管理装置１０、撮像装置２０、１以上のユーザ端末３０を含み、データ管理装置１０、撮像装置２０、ユーザ端末３０はそれぞれネットワークＮＷを介して相互にデータ通信可能となっている。

撮像装置２０は、例えばハードウェア構成として、制御部（ＣＰＵ等）、記憶部（メモリ、ハードディスク等）、通信部（ネットワークインターフェースカード等）、入力部（マウス、キーボード、タッチパネル等）、表示部（液晶ディスプレイ等）、撮像部（カメラ等）を備え、撮像部により撮影したビデオデータをデータ管理装置１０に送信する。

ユーザ端末３０は、例えばハードウェア構成として、制御部（ＣＰＵ等）、記憶部（メモリ、ハードディスク等）、通信部（ネットワークインターフェースカード等）、入力部（マウス、キーボード、タッチパネル等）、表示部（液晶ディスプレイ等）を備え、入力部によりユーザから受け付けた操作に応じて生成したメモデータをデータ管理装置１０に送信する。

データ管理装置１０は、例えば、ハードウェア構成として、制御部（ＣＰＵ等）、記憶部（メモリ、ハードディスク等）、通信部（ネットワークインターフェースカード等）を備え、撮像装置２０から受信したビデオデータと、ユーザ端末３０から受信したメモデータとを関連付けて管理する。また、例えば、データ管理装置１０は、ユーザ端末３０から、メモの指定を受け付けた場合に、指定されたメモに関連するビデオデータにおける再生位置の候補を、ビデオデータ及びメモデータに基づき選択し、選択した再生位置の候補をユーザ端末３０に提供する。そして、データ管理装置１０は、ユーザ端末３０から再生位置の候補から選択された再生位置に応じて、ユーザ端末３０にビデオデータを再生させる。以下、データ管理装置１０に備えられる機能の一例について説明する。

［２．機能ブロック例］
図２は、データ管理装置１０が備える機能の一例を示した機能ブロック図である。図２に示されるように、データ管理装置１０は、ビデオデータ取得部１１、メモデータ取得部１２、記録制御部１３、データ格納部１４、再生メモ特定部１５、巻き戻し時間算出部１６、表示データ生成部１７、表示データ提供部１８を備える。

データ管理装置１０に備えられる上記各部の機能は、制御部、記憶部、通信部を備えたコンピュータであるデータ管理装置１０が、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってデータ管理装置１０に供給されることとしてもよいし、インターネット等のデータ通信網を介して供給されることとしてもよい。以下、図２に示される各部の機能の詳細について説明する。

ビデオデータ取得部１１は、撮像装置２０により撮影されたビデオデータを取得する。例えば、ビデオデータは、動画像を構成する各フレーム画像と、各フレーム画像の撮影時刻と、ビデオデータの識別情報（ビデオＩＤ）、データ名、データ形式、解像度、ビデオデータが関連するプロジェクトのプロジェクトＩＤ等の属性情報を含むこととしてよい。

メモデータ取得部１２は、ユーザ端末３０からメモデータを取得する。例えば、メモデータは、メモの内容を示す画像データ又はテキストデータ、ユーザ端末３０におけるメモの入力開始時刻及び入力終了時刻、メモに対応するビデオデータを識別するビデオＩＤ、メモデータの入力者のユーザＩＤ、メモデータが関連するプロジェクトのプロジェクトＩＤ等を含むこととしてよい。

記録制御部１３は、ビデオデータ取得部１１により取得されたビデオデータと、メモデータ取得部１２により取得されたメモデータに基づいて、データ格納部１４にデータを記録する。

例えば、記録制御部１３は、ビデオデータ取得部１１により取得されたビデオデータをデータ格納部１４に記録する。この際、記録制御部１３は、ビデオデータに含まれるフレーム画像や音声データに基づく特徴量を演算し、特徴量の変化点（例えば特徴量が閾値を超える点）に基づいて、ビデオデータに１以上の代表場面（シーン）を設定し、各代表場面のシーン情報（例えばシーンＩＤ、撮影時刻、サムネイル画像等）をデータ格納部１４に記録することとしてもよい。

また、記録制御部１３は、メモデータ取得部１２により取得されたメモデータをデータ格納部１４に記録する。この際、記録制御部１３は、メモデータ取得部１２により取得されたメモデータのうち、一のメモデータについての入力開始時刻又は入力終了時刻と、他のメモデータの入力開始時刻又は入力終了時刻との差が閾値以下である場合には、当該一のメモデータと他のメモデータとを同一のメモグループとしてデータ格納部１４に記録することとしてもよい。また、記録制御部１３は、後述するプレイバック算出部によりメモデータ取得部１２により取得された各メモデータについて算出された巻き戻し時間に基づいて、メモデータ取得部１２により取得されたメモデータのうち、一のメモデータについての入力開始時刻から当該一のメモデータについて算出された巻き戻し時間を戻した撮影時刻と、他のメモデータについての入力開始時刻から当該他のメモデータについて算出された巻き戻し時間を戻した撮影時刻との差が閾値以下である場合には、当該一のメモデータと他のメモデータとを同一のメモグループとしてデータ格納部１４に記録することとしてもよい。

データ格納部１４は、記録制御部１３により記録されるデータを格納する。例えば、データ格納部１４は、ビデオデータ取得部１１により取得されたビデオデータと、ビデオデータに関する管理情報を格納したビデオデータ管理テーブルと、メモデータ取得部１２により取得されたメモデータとメモデータに関する管理情報を格納したメモデータ管理テーブルを格納することとしてよい。以下、データ格納部１４に格納されるデータの一例について説明する。

図３には、データ格納部１４に格納されるビデオデータ管理テーブルの一例を示した。図３に示されるように、ビデオデータ管理テーブルは、第１のビデオデータ管理テーブルと、第２のビデオデータ管理テーブルを含む。図３（Ａ）に示される第１のビデオデータ管理テーブルは、ビデオＩＤ、プロジェクトＩＤ、データ名、データ形式、解像度を関連付けて格納している。そして、図３（Ｂ）に示される第２のビデオデータ管理テーブルは、ビデオＩＤ、フレームＩＤ、フレームのデータ、フレームの撮影時刻、代表シーン特定情報、サムネイル画像情報を関連付けて格納している。データ管理装置１０は、ビデオデータに含まれる音声データについても撮影時刻と関連付けて記憶することとしてよい。

図４には、データ格納部１４に格納されるメモデータ管理テーブルの一例を示した。図４に示されるように、メモデータ管理テーブルは、メモＩＤ、関連付け先のビデオＩＤ、入力開始時刻、入力終了時刻、メモのイメージデータのパス、巻き戻し時間、確定再生位置情報、メモグループＩＤを関連付けて格納している。なお、巻き戻し時間とは、メモＩＤにより識別されるメモデータについて巻き戻し時間算出部１６により算出された巻き戻し時間を示し、確定再生位置情報とは、メモＩＤにより識別されるメモデータについてユーザにより指定されたビデオデータにおける再生位置（撮影時刻）の情報を示す。

再生メモ特定部１５は、データ格納部１４により格納されたメモデータのうち、ビデオデータと同期再生するメモデータを特定する。例えば、再生メモ特定部１５は、ユーザ端末３０から受け付けたメモＩＤに基づいて同期再生するメモデータを特定することとしてよい。

巻き戻し時間算出部１６は、算出対象とするメモデータ（例えば、再生メモ特定部１５により特定されたメモとしてもよいし、記録されたメモデータを順次対象に設定してもよい）について、メモデータの入力開始時刻（又は入力開始時刻から入力終了時刻までの間の時刻）から、メモデータがビデオデータに対応していると推定される時刻までの巻き戻し時間を算出する。以下、巻き戻し時間算出部１６によるメモデータの巻き戻し時間の算出処理を、具体例により説明する。

例えば、巻き戻し時間算出部１６は、メモデータの入力開始時刻から入力終了時刻までの時間間隔（Δｔ）に基づいて、メモデータの巻き戻し時間（ＴＢ）を算出することとしてよい。一例としては、巻き戻し時間算出部１６は、ａは０より大きく、ｂは０以上の定数として、メモデータの巻き戻し時間ＴＢを、ＴＢ＝ａ・ΔＴ＋ｂとして算出することとしてよい。

また、巻き戻し時間算出部１６は、メモデータの軌跡の長さ（Ｃ）、又は／及び、メモデータの画素数（Ｄ）に基づいて、メモデータの巻き戻し時間（ＴＢ）を算出することとしてよい。一例としては、巻き戻し時間算出部１６は、ｃ、ｄは０以上（ただしどちらか一方が少なくとも０より大きい）、ｅは０以上の定数として、メモデータの巻き戻し時間ＴＢを、ＴＢ＝ｃ・Ｃ＋ｄ・Ｄ＋ｅとして算出することとしてよい。

また、巻き戻し時間算出部１６は、対象のメモデータの前に記録されたメモデータ（直前メモデータ）からの経過時間（Ｅ）に基づいて、メモデータの巻き戻し時間（ＴＢ）を算出することとしてよい。一例としては、巻き戻し時間算出部１６は、ｆは０より大きく、ｇは０以上の定数、メモデータ間の平均の時間間隔をＥ_ａｖｇとして、メモデータの巻き戻し時間ＴＢを、ＴＢ＝ｆ・（Ｆ／Ｆ_ａｖｇ）＋ｇ、又はＴＢ＝ｆ・Ｆ＋ｇとして算出することとしてよい。

また、巻き戻し時間算出部１６は、上記の算出方法を組み合わせてメモデータの巻き戻し時間を算出することとしてもよいし、上記の定数ａ〜ｇは、ユーザごとに学習して設定することとしてもよい。

表示データ生成部１７は、データ格納部１４に格納されたビデオデータとメモデータに基づく表示データを生成する。例えば、表示データ生成部１７は、再生メモ特定部１５により特定されたメモデータと、同期して再生するビデオデータの再生位置の候補を表示する表示データを生成することとしてもよい。この場合には、表示データ生成部１７は、再生メモ特定部１５により特定されたメモデータと、当該メモデータの入力開始時刻から、当該メモデータについて算出された巻き戻し時間を戻した巻き戻し基準時刻と、当該メモデータの入力基準時刻（入力開始時刻から入力終了時刻までの間で設定した時刻）との間から選択された１以上の再生開始位置の候補とを表示する表示データを生成することとしてよい。また、表示データ生成部１７は、再生メモ特定部１５により特定されたメモデータと、当該メモデータの入力開始時刻から、当該メモデータについて算出された巻き戻し時間を戻した巻き戻し基準時刻に対応する撮影時刻からのビデオデータを再生させるようにしてもよい。また、表示データ生成部１７は、ビデオデータから抽出した代表場面と、メモデータとを記録された時刻で対応付けて表示する表示データを生成することとしてもよい。

表示データ提供部１８は、表示データ生成部１７により生成された表示データをユーザ端末３０に提供する。

［３．情報処理システム１において実行される処理の例示］
次に、図５乃至図１２に基づいて、情報処理システム１において実行される処理の一例について詳細に説明する。

［３−１．第１の実施例］
まず、情報処理システム１において実行される第１の実施例に係る処理を、図５乃至図７に示したシーケンス図に基づいて説明する。

［３−１−１．ビデオデータの記録処理］
図５には、ビデオデータの記録処理のシーケンス図を示した。図５に示されるように、撮像装置２０は、例えばユーザ端末３０（又はユーザ）からプロジェクトＩＤを受け付けるとともに（Ｓ１０１）、ビデオデータの記録要求を受け付けると、データ管理装置１０に、プロジェクトＩＤを送信するとともに、ビデオデータの登録を要求する（Ｓ１０２）。

データ管理装置１０は、ビデオデータの登録要求を受け付けると、撮像装置２０と時刻を同期させた後に（Ｓ１０３）、登録されるビデオデータを識別するビデオＩＤを発行して（Ｓ１０４）、発行したビデオＩＤを撮像装置２０に送信する（Ｓ１０５）。例えば、データ管理装置１０は、発行したビデオＩＤについて第１のビデオデータ管理テーブルに新たなレコードを追加するとともに、追加したレコードにおいてビデオＩＤとプロジェクトＩＤと関連付けて記憶しておくこととしてよい。

撮像装置２０は、データ管理装置１０からビデオＩＤを受信した後に、ビデオを撮影し（Ｓ１０６）、撮影されたビデオデータをビデオＩＤとともにデータ管理装置１０に順次送信する（Ｓ１０７）。ビデオデータには、予め定められた時間間隔ごとに撮影されたフレーム画像と、フレーム画像の撮影時刻と、音声データ、データ名、データ形式、解像度等の情報を含むこととしてよい。

データ管理装置１０は、撮像装置２０から受信したビデオデータを順次記録する（Ｓ１０８）。例えば、データ管理装置１０は、撮像装置２０から受信したビデオデータに含まれるデータ名、データ形式、解像度等の情報を、ビデオデータのＩＤに関連付けて第１のビデオデータ管理テーブルに格納し、ビデオデータに含まれるフレーム画像と、フレーム画像の撮影時刻とを第２のビデオデータ管理テーブルに順次格納することとしてよい。

撮像装置２０は、ビデオ撮影を終了しない場合には（Ｓ１０９：Ｎ）、Ｓ１０６に戻り処理を繰り返し、ビデオ撮影を終了する場合には（Ｓ１０９：Ｙ）、データ管理装置１０にビデオＩＤと共にビデオ撮影の終了を通知する（Ｓ１１０）。

データ管理装置１０は、撮像装置２０からビデオＩＤに係るビデオ撮影の終了の通知を受けると、終了に係るビデオＩＤについて記録されたビデオデータについて特徴量を算出する（Ｓ１１１）。例えば、データ管理装置１０は、ビデオデータの各フレーム画像の画像特徴量を算出することとしてよい。

データ管理装置１０は、ビデオデータについて算出した特徴量の変化に基づいて、ビデオデータに１以上のシーン区分を設定する（Ｓ１１２）。例えば、データ管理装置１０は、ビデオデータの各フレーム画像について、前フレーム画像からの画像特徴量の変化量を算出し、算出した変化量が閾値以上のフレーム画像の位置をシーン区分に設定することとしてよい。

次に、データ管理装置１０は、Ｓ１１２で設定したシーンが区分される位置のフレーム画像のサムネイル画像を生成し（Ｓ１１３）、シーン区分の情報とサムネイル画像の情報を含む付加データを、例えば第２のビデオデータ管理テーブルに保存することとしてよい（Ｓ１１４）。

以上が、情報処理システム１において実行されるビデオデータの記録処理の一例である。次に、ビデオデータの記録処理と並行して実行される、メモデータの記録処理について説明する。

［３−１−２．メモデータの記録処理］
図６には、メモデータの記録処理のシーケンス図を示した。図６に示されるように、ユーザ端末３０は、例えばユーザからプロジェクトＩＤを受け付け（Ｓ２０１）、受け付けたプロジェクトＩＤをデータ管理装置１０に送信する（Ｓ２０２）。

データ管理装置１０は、ユーザ端末３０から受信したプロジェクトＩＤをキーとして、第１のビデオデータ管理テーブルから、当該プロジェクトＩＤに関連付けられたビデオＩＤのリストを検索し、検索されたビデオＩＤのリストをユーザ端末３０に送信する（Ｓ２０３）。ここで、ビデオＩＤのリストには、各ビデオＩＤの属性情報を含むこととしてよい。

ユーザ端末３０は、例えばユーザから、データ管理装置１０から受信したビデオＩＤのリストから１つのビデオＩＤの選択を受け付け（Ｓ２０４）、選択されたビデオＩＤをデータ管理装置１０に送信する（Ｓ２０５）。

データ管理装置１０は、ユーザ端末３０からユーザに選択されたビデオＩＤを受信すると、ユーザ端末３０との時刻同期を実行して（Ｓ２０６）、ユーザ端末３０からのメモデータの送信を待機する。

ユーザ端末３０では、ユーザによるメモ入力が開始されない場合には（Ｓ２０７：Ｎ）、待機し、ユーザによるメモ入力が開始された場合には（Ｓ２０７：Ｙ）、入力開始時刻を記録するとともに（Ｓ２０８）、入力されたデータを記録する（Ｓ２０９）。ユーザ端末３０は、ユーザによるメモ入力が終了していない場合には（Ｓ２１０：Ｎ）、Ｓ２０９による入力されたデータの記録を継続し、ユーザによるメモ入力が終了した場合には（Ｓ２１０：Ｙ）、入力終了時刻を記録する（Ｓ２１１）。なお、ユーザ端末３０は、例えば、ユーザからメモ入力の終了指示を受け付けたり、メモ送信の指示を受け付けたりした場合に、メモ入力を終了すると判断することとしてよい。

ユーザ端末３０は、Ｓ２０８で記録した入力開始時刻、Ｓ２１１で記録した入力終了時刻、Ｓ２０９で記録した入力データ、ビデオＩＤを含むメモデータをデータ管理装置１０に送信する（Ｓ２１２）。

データ管理装置１０は、ユーザ端末３０から受信したメモデータをデータ格納部１４に記録する（Ｓ２１３）。例えば、データ管理装置１０は、ユーザ端末３０から受信したメモデータに、メモＩＤを付与し、メモＩＤ、ビデオＩＤ、入力開始時刻、入力終了時刻、入力データを関連付けてメモデータ管理テーブルに記録することとしてよい。

ユーザ端末３０は、Ｓ２１２でデータ管理装置１０にメモデータの送信を終えると、Ｓ２０７に戻ってそれ以降の処理を繰り返す。以上が、メモデータの記録処理の一例である。

［３−１−３．ビデオデータとメモデータの同期再生処理］
次に、ビデオデータ、メモデータの記録終了後に実行される、ビデオデータとメモデータの同期再生処理について説明する。

図７には、ビデオデータとメモデータの同期再生処理のシーケンス図を示した。図７に示されるように、ユーザ端末３０は、例えばユーザからビデオＩＤの指定を受け付けると（Ｓ３０１）、受け付けたビデオＩＤをデータ管理装置１０に送信する（Ｓ３０２）。

データ管理装置１０は、ユーザ端末３０からビデオＩＤを受信すると、受信したビデオＩＤについて記録されたビデオデータとメモデータとの少なくとも一部をそれぞれ対応付けて表示するサマリー表示画面（図９参照）を生成して（Ｓ３０３）、生成したサマリー表示画面をユーザ端末３０に送信する（Ｓ３０４）。例えば、データ管理装置１０は、ユーザ端末３０から受信したビデオＩＤについて第２のビデオデータ管理テーブルに記憶されているサムネイル画像と、当該ビデオＩＤについてメモデータ管理テーブルに記憶されているメモのイメージとを、それぞれに関連付けられている時刻情報に基づくリスト表示をサマリー表示画面に含めることとしてよい。

ユーザ端末３０は、データ管理装置１０から受信したサマリー表示画面を表示部に表示させる（Ｓ３０５）。以下、ユーザ端末３０で表示されるサマリー表示画面の一例について説明する。

図９には、サマリー表示画面の一例を示した。図９に示されるように、サマリー表示画面２００には、時刻座標軸２０１と、サムネイル画像の表示欄２０２と、メモの表示欄２０３とを含む。時刻座標軸２０１は、ビデオＩＤにより識別されるビデオの撮影時刻の開始から終了までの時間に対応する座標系であり、上から下に向けて時間が進むことを示している。サムネイル画像の表示欄２０２では、サムネイル画像が対応する撮影時刻に基づいて、時刻座標軸２０１において対応する位置に配置されている。また、メモの表示欄２０３についても、メモが対応する入力開始時刻（又は入力終了時刻）に基づいて、時刻座標軸２０１において対応する位置に配置されている。

ユーザ端末３０は、サマリー表示画面において表示されたメモのうち１つの選択を受け付けると（Ｓ３０６）、受け付けたメモのメモＩＤをデータ管理装置１０に送信する（Ｓ３０７）。

データ管理装置１０は、ユーザ端末３０からメモＩＤを受信すると、受信したメモＩＤについてメモデータ管理テーブルに記憶されるデータに基づいて巻き戻し時間を算出する（Ｓ３０８）。なお、データ管理装置１０は、メモＩＤについての巻き戻し時間の算出処理は、上述した巻き戻し時間算出部１６により実行することとしてよく、算出した巻き戻し時間は、メモＩＤに関連付けてメモデータ管理テーブルに記録することとしてよい。また、データ管理装置１０は、ユーザ端末３０から受信したメモＩＤについてメモデータ管理テーブルにおいて既に巻き戻し時間が記憶されている場合には、当該記憶された巻き戻し時間を読み込むこととしてもよい。

データ管理装置１０は、メモＩＤについて記憶される入力開始時刻と、Ｓ３０８で算出した巻き戻し時間とに基づいて、メモＩＤの再生開始位置の候補を選択する（Ｓ３０９）。例えば、データ管理装置１０は、メモＩＤについて記憶される入力開始時刻から、Ｓ３０８で算出した巻き戻し時間を戻した開始基準時と、メモＩＤの入力終了時刻から予め定められた時間を延長した終了基準時の時間範囲に含まれる１以上の代表シーン（又は、フレーム画像の画像特徴量が閾値を超えて変化する変化点）に対応する撮影時刻を、メモＩＤの再生開始位置の候補として選択することとしてよい。なお、選択されたメモＩＤについて同一グループＩＤのメモＩＤがある場合には、同一グループＩＤの時系列的に並べたときに、最初のメモＩＤについて算出した開始基準時から、最後のメモＩＤの入力終了時刻から予め定められた時間を延長した終了基準時までの時間範囲に含まれる１以上の代表シーンに対応する撮影時刻を、メモＩＤの再生開始位置の候補として選択することとしてもよい。この際、再生開始位置の候補の数は予め定められた数となるように選択してもよい。

データ管理装置１０は、Ｓ３０９で選択したメモＩＤの再生開始位置の候補に基づいて、メモＩＤの再生開始位置の候補を表示する候補表示画面（図１０を参照）を生成し（Ｓ３１０）、生成した候補表示画面をユーザ端末３０に送信する（Ｓ３１１）。

ユーザ端末３０は、データ管理装置１０から受信した候補表示画面を表示部に表示させる（Ｓ３１２）。以下、ユーザ端末３０で表示される候補表示画面の一例について説明する。

図１０には、候補表示画面の一例を示した。図１０に示されるように、候補表示画面３００には、Ｓ３０９で選択されたそれぞれの再生開始位置の候補に対応したサムネイル画像を表示する候補表示欄３０１と、Ｓ３０６で選択されたメモの表示欄３０２と、候補表示欄３０１で選択されている（例えば点線で囲まれている）サムネイル画像に対応する撮影時刻から再生されるビデオデータを表示するビデオデータ表示欄３０３、確定ボタン３０４、戻るボタン３０５を含む。

ユーザ端末３０は、候補表示画面３００に対してのユーザの操作に基づいてメモＩＤについての再生開始位置の選択（例えば、候補表示欄３０１からサムネイル画像が選択された状態で、確定ボタン３０４の押下）を受け付けると（Ｓ３１３）、受け付けた再生開始位置の情報をデータ管理装置１０に送信する（Ｓ３１４）。

データ管理装置１０は、ユーザ端末３０から受信した再生開始位置（すなわち、選択されたサムネイル画像に対応する撮影時刻）の情報を、メモＩＤに関連付けて記録する（Ｓ３１５）。例えば、データ管理装置１０は、メモＩＤについてメモデータ管理テーブルに記憶されるレコードの確定再生位置情報の欄に、ユーザ端末３０から受信した再生開始位置の情報を記録することとしてよい。

データ管理装置１０は、メモＩＤについて再生開始位置を記録した後に、記録した再生開始位置から再生されるビデオデータをユーザ端末３０に送信する（Ｓ３１６）。データ管理装置１０は、ビデオデータをストリーミング配信してもよいし、ビデオデータをユーザ端末３０に既に配信済みである場合には、再生開始位置を通知するようにしてもよい。

ユーザ端末３０は、データ管理装置１０から受信したビデオデータを再生し（Ｓ３１７）、ビデオデータの再生画面とメモデータとを共に表示部に表示させる。例えば、ユーザ端末３０は、ビデオデータを図１０のビデオデータ表示欄に表示させることとしてよい。

また、図１０に示された候補表示画面において戻るボタンが押下された場合には、Ｓ３０５に戻り、それ以降の処理を繰り返すこととしてもよい。

以上が第１の実施例に係る処理の説明である。なお、図６及び図７の処理は、複数のユーザ端末３０がそれぞれ同時に実行することとしてもよい。

［３−２．第２の実施例］
次に、情報処理システム１において実行される第２の実施例に係る処理について図８に示されたフロー図を参照しながら説明する。第２の実施例においては、撮像装置２０又はデータ管理装置１０が、撮像装置２０で撮影されたビデオデータをユーザ端末３０に順次送信し、ユーザ端末３０は受信したビデオデータを順次再生することとする。そして、ユーザ端末３０は、ユーザから書き込み操作を受け付けた場合に、再生したビデオデータのフレーム画像の中から関連づけ先フレーム画像を選択し、選択したフレーム画像上の表示位置と、ユーザから受け付けた書き込み情報とを関連づけて記録し、記録した書き込み情報をユーザ端末３０の記憶部又はデータ管理装置１０に記録することとする。なお、以下に説明するフロー図は、ユーザ端末３０において実行される処理を説明するものである。

図８に示されるように、ユーザ端末３０は、撮像装置２０又はデータ管理装置１０からビデオデータを受信して取得し（Ｓ４０１）、取得したビデオデータを記憶部に記憶するとともに（Ｓ４０２）、記憶部に記憶されたビデオデータを順次再生する（Ｓ４０３）。

図１１には、ビデオデータの再生画面の一例を示した。図１１に示されるように、ビデオデータの再生画面４００には、再生されるビデオデータを表示する表示画面４０１と、書き込みモードを開始するための書き込みモードボタン４０２とを含む。

ユーザ端末３０は、ビデオデータの再生中に書き込みモードの開始を検知しない場合には（Ｓ４０４：Ｎ）、Ｓ４０１に戻ってそれ以降の処理を繰り返し、ビデオデータの再生中に書き込みモードの開始を検知した場合には（Ｓ４０４：Ｙ）、Ｓ４０５に進む。ここで、ユーザ端末３０は、書き込みモードの開始は、例えば図１１に示される再生画面４００に含まれる書き込みモードボタン４０２が押下された場合に検知することとしてよい。

ユーザ端末３０は、書き込みモードの開始を検知した場合には、書き込みモードの開始時刻（ＴＡ）を記録するとともに、書き込みモードの開始時刻（ＴＡ）に対応するフレーム画像を初期状態として設定した書き込み画面を表示する（Ｓ４０５）。

図１２には、書き込み画面の一例を示した。図１２に示されるように、書き込み画面５００には、書き込み対象とするフレーム画像を表示する書き込み対象画像表示領域５０１と、書き込み対象画像表示領域５０１に表示されるフレーム画像を更新する操作を行うための指定領域５０２と、書き込みを実行する実行ボタン５０３と、書き込みをクリアーするクリアボタン５０４を含む。ここで、指定領域５０２は、例えば、書込対象の画像の撮影時刻を指定するスライダーにより実現することとしてよい。

ユーザ端末３０は、例えば書き込み画面における指定領域に対するユーザの操作に基づいて、書き込み位置（書き込み対象画像）の更新が行われる場合には（Ｓ４０６：Ｙ）、指定領域に対して指定された操作に基づき決定した撮影時刻に対応するフレーム画像を特定し、特定したフレーム画像を書き込み対象画像表示領域に表示させることで、書き込み画面を更新する（Ｓ４０７）。

ユーザ端末３０は、書き込み画面の更新が行われない場合（Ｓ４０６：Ｎ）、又は書き込み画面の更新が行われた後（Ｓ４０７）のいずれかにおいて、書き込み画面に対する書き込み入力が開始されない場合には（Ｓ４０８：Ｎ）、Ｓ４０６に戻り、書き込み画面に対する書き込み入力が開始された場合には（Ｓ４０８：Ｙ）、Ｓ４０９に進む。

そして、ユーザ端末３０は、書き込み入力が開始された時点で、書き込み対象画像表示領域に表示されるフレーム画像の撮影時刻を指定書き込み時刻ＴＢとして記録し（Ｓ４０９）、書き込み対象画像表示領域に対してユーザから入力されたデータを記録する（Ｓ４１０）。

ユーザ端末３０は、ユーザからの入力が終了しない場合には（Ｓ４１１：Ｎ）、Ｓ４１０に戻って入力データの記録を継続し、入力が終了した場合（すなわち、書き込み画面の実行ボタンが押下された場合）には（Ｓ４１１：Ｙ）、書き込みモードの開始時刻ＴＡ、指定書き込み時刻ＴＢ、入力データを書き込みＩＤ（メモＩＤ）に関連づけて記録する。ユーザ端末３０は、書き込みモードの開始時刻ＴＡ、指定書き込み時刻ＴＢ、入力データを書き込みＩＤ（メモＩＤ）に関連づけて記憶部に記録してもよいし、データ管理装置１０に送信してデータ管理装置１０に記憶させることとしてもよい。

ユーザ端末３０は、処理を終了しない場合には（Ｓ４１３：Ｎ）、Ｓ４０１に戻ってそれ以降の処理を繰り返し、処理を終了する場合には（Ｓ４１３：Ｙ）、処理を終える。

なお、ユーザ端末３０又はデータ管理装置１０が、ユーザから書き込みＩＤの指定を受け付けた場合には、当該書き込みＩＤに関連づけられた指定書き込み時刻と、書き込みモードの開始時刻ＴＡと、入力データとから例えば巻き戻し時間算出部１６により算出された巻き戻し時間に基づいて特定した時刻とにそれぞれ対応するビデオデータのフレーム画像を再生開始位置の候補としてユーザに提供することとしてよい。

［他の一例に係るビデオデータの記録処理の説明］
ここで、図１３に示されたシーケンス図に基づいて、ビデオデータの記録処理の他の例について説明する。情報処理システム１では、図５に示したシーケンス図に代えて、図１３に示したシーケンス図による処理を実行することとしてよい。

図１３に示されるように、撮像装置２０は、ビデオ撮影を開始すると（Ｓ５０１）、データ管理装置１０にアクセスして、データ管理装置１０と時刻を同期（第１の時刻同期処理）する（Ｓ５０２）。

撮像装置２０は、データ管理装置１０との時刻の同期後に、ビデオ撮影の開始時刻を記録し（Ｓ５０３）、ビデオ撮影を実行して、ビデオデータを記録する（Ｓ５０４）。撮像装置２０は、ビデオ撮影を終了しない場合には（Ｓ５０５：Ｎ）、Ｓ５０４に戻り、ビデオ撮影を継続し、ビデオ撮影を終了する場合には（Ｓ５０５：Ｙ）、ビデオ撮影を終了するとともに、ビデオ撮影の終了時刻を記録する（Ｓ５０６）。そして、撮像装置２０は、データ管理装置１０に対してプロジェクトＩＤの提供を要求する（Ｓ５０７）。

データ管理装置１０は、撮像装置２０からプロジェクトＩＤの提供要求を受け付けると、必要に応じてプロジェクトＩＤを発行して（Ｓ５０８）、発行したプロジェクトＩＤを撮像装置２０に通知する（Ｓ５０９）。なお、データ管理装置１０は、撮像装置２０からの要求に係るプロジェクトについて既にプロジェクトＩＤが発行されている場合には、既に発行されたプロジェクトＩＤを撮像装置２０に通知することとしてよい。

撮像装置２０は、データ管理装置１０からプロジェクトＩＤを受け取ると、第１の時刻同期処理が成功していない場合には（Ｓ５１０：Ｎ）、データ管理装置１０と時刻を同期（第２の時刻同期処理）する（Ｓ５１１）。

撮像装置２０は、第１の時刻同期処理が成功している場合（Ｓ５１０：Ｙ）、又は第２の時刻同期処理を実行後に、プロジェクトＩＤと、記録されたビデオデータとをデータ管理装置１０に送信する（Ｓ５１２）。

データ管理装置１０は、撮像装置２０から受信したプロジェクトＩＤに関連付けてビデオデータを保存する（Ｓ５１３）。

次に、データ管理装置１０は、保存したビデオデータについて特徴量を算出する（Ｓ５１４）。例えば、データ管理装置１０は、ビデオデータの各フレーム画像の画像特徴量を算出することとしてよい。

データ管理装置１０は、ビデオデータについて算出した特徴量の変化に基づいて、ビデオデータに１以上のシーン区分を設定する（Ｓ５１５）。例えば、データ管理装置１０は、ビデオデータの各フレーム画像について、前フレーム画像からの画像特徴量の変化量を算出し、算出した変化量が閾値以上のフレーム画像の位置をシーン区分に設定することとしてよい。

次に、データ管理装置１０は、Ｓ５１５で設定したシーンが区分される位置のフレーム画像のサムネイル画像を生成し（Ｓ５１６）、シーン区分の情報とサムネイル画像の情報を含む付加データを、例えば第２のビデオデータ管理テーブルに保存することとしてよい（Ｓ５１７）。

以上が、情報処理システム１において実行されるビデオデータの記録処理の一例である。以上説明した図１３のシーケンス図に係る処理では、撮像装置２０は、ネットワークに接続していない場合でもビデオデータの記録を行い、ネットワークに接続可能な状態となった後に、記録したビデオデータをデータ管理装置１０にアップロードし、アップロード時にデータ管理装置１０と時刻同期が行われる。そして、データ管理装置１０がアップロード時に用いるプロジェクトＩＤにより、ビデオデータと対応するメモデータとが関連付けられる。

［他の一例に係るメモデータの記録処理の説明］
次に、図１４に示されたシーケンス図に基づいて、メモデータの記録処理の他の例について説明する。情報処理システム１では、図６に示したシーケンス図に代えて、図１４に示したシーケンス図による処理を実行することとしてよい。

ユーザ端末３０は、ユーザの操作に基づいて、メモ入力を開始すると（Ｓ６０１）、データ管理装置１０にアクセスして、データ管理装置１０と時刻を同期（第１の時刻同期処理）する（Ｓ６０２）。

ユーザ端末３０は、データ管理装置１０との時刻の同期後に、メモ入力の開始時刻を記録し（Ｓ６０３）、入力されたメモデータを記録する（Ｓ６０４）。ユーザ端末３０は、メモデータの入力が終了しない場合には（Ｓ６０５：Ｎ）、Ｓ６０４に戻り、メモデータの記録を継続し、メモデータの入力が終了する場合には（Ｓ６０５：Ｙ）、メモデータの入力終了時刻を記録する（Ｓ６０６）。そして、ユーザ端末３０は、データ管理装置１０に対してプロジェクトＩＤの提供を要求する（Ｓ６０７）。

データ管理装置１０は、ユーザ端末３０からプロジェクトＩＤの提供要求を受け付けると、必要に応じてプロジェクトＩＤを発行して（Ｓ６０８）、発行したプロジェクトＩＤをユーザ端末３０に通知する（Ｓ６０９）。なお、データ管理装置１０は、ユーザ端末３０からの要求に係るプロジェクトについて既にプロジェクトＩＤが発行されている場合には、既に発行されたプロジェクトＩＤをユーザ端末３０に通知することとしてよい。

ユーザ端末３０は、データ管理装置１０からプロジェクトＩＤを受け取ると、第１の時刻同期処理が成功していない場合には（Ｓ６１０：Ｎ）、データ管理装置１０と時刻を同期（第２の時刻同期処理）する（Ｓ６１１）。

ユーザ端末３０は、第１の時刻同期処理が成功している場合（Ｓ６１０：Ｙ）、又は第２の時刻同期処理を実行後に、プロジェクトＩＤと、記録されたメモデータとをデータ管理装置１０に送信する（Ｓ６１２）。

データ管理装置１０は、ユーザ端末３０から受信したプロジェクトＩＤに関連付けてメモデータを保存する（Ｓ６１３）。

以上が、情報処理システム１において実行されるメモデータの記録処理の一例である。以上説明した図１４のシーケンス図に係る処理では、ユーザ端末３０は、ネットワークに接続していない場合でもメモの記録を行い、ネットワークに接続可能な状態となった後に、記録したメモをデータ管理装置１０にアップロードし、アップロード時にデータ管理装置１０と時刻同期が行われる。そして、ユーザ端末３０がアップロード時に用いるプロジェクトＩＤにより、メモデータと対応するビデオデータとが関連付けられる。

本発明は、上記の実施形態に限定されるものではない。例えば、ユーザ端末３０が、データ管理装置１０の機能を備え、ビデオデータの記録と、メモの記録とを実行してもよい。また、ユーザ端末３０が、撮像装置２０、データ管理装置１０の両者の機能を備え、ビデオデータの撮影と、メモの入力受付と記録とを１台で実行してもよい。この場合には、ユーザ端末３０は、図２に示される機能ブロック図の各機能を備えることとしてよい。

なお、データ管理装置１０は、メモとビデオとの同期再生要求を受け付けた場合に、当該メモの入力開始時刻から当該メモについて算出された巻き戻し時間を戻した再生開始位置から当該ビデオを再生させるようにしてもよい。

Claims

それぞれ撮影時刻が記録された複数の撮影画像を含む動画データを取得する動画データ取得手段と、
ユーザの入力に基づく書込データを前記動画データの再生中に取得する書込データ取得手段と、
前記書込データと同期再生する前記動画データの再生位置の候補を、該書込データの書込時刻より前の撮影時刻を含み設定する設定手段と、
前記書込データについて前記設定手段により設定された再生位置の候補に基づいて決定した再生位置から前記動画データを再生させる手段と、を含む
情報処理システム。
前記書込データに基づいて、該書込データの書込時刻からの巻き戻し時間を算出する算出手段をさらに含み、
前記設定手段は、前記書込データの書込時刻から該書込データについて前記算出手段により算出された巻き戻し時間を戻した第１の時刻から、該書込時刻以後の第２の時刻までの時間範囲から、前記動画データの再生位置の１以上の候補を設定する
請求項１に記載の情報処理システム。
前記第１の時刻から前記第２の時刻までの時間範囲に撮影時刻が含まれる撮影画像の中から、撮影画像の画像特徴に基づいて１以上の撮影画像を選択する選択手段をさらに含み、
前記設定手段は、前記設定手段により選択された１以上の撮影画像のそれぞれの撮影時刻を前記再生位置の候補としてそれぞれ設定する
請求項２に記載の情報処理システム。
前記算出手段は、前記書込データの書込開始時刻から書込終了時刻までの時間間隔、前記書込データに含まれるデータ量、過去の書込データからの経過時間の少なくともいずれかに基づいて、該書込データの巻き戻し時間を算出する
請求項２又は３に記載の情報処理システム。
前記再生させる手段は、前記書込データと、該書込データについて前記設定手段により設定された再生位置の候補からユーザに選択された再生位置からの前記動画データとを同時に再生させる
請求項１乃至４のいずれかに記載の情報処理システム。
前記動画データ取得手段により取得された動画データを画面上に再生する再生手段と、
前記再生手段により前記動画データが再生されている間にユーザから書込要求を受け付けた場合に、前記画面に表示されている前記動画データの撮影画像よりも撮影時刻が前の時点の撮影画像を該ユーザの指定に応じて書込用画面に表示させる手段と、
前記書込用画面に表示された撮影画像と、前記ユーザから受け付けた書込データとを関連付けて記録する記録手段と、をさらに含む
請求項１乃至５のいずれかに記載の情報処理システム。
それぞれ撮影時刻が記録された複数の撮影画像を含む動画データを取得する動画データ取得手段と、
ユーザの入力に基づく書込データを前記動画データの再生中に取得する書込データ取得手段と、
前記書込データと同期再生する前記動画データの再生位置の候補を、該書込データの書込時刻より前の撮影時刻を含み設定する設定手段と、
前記書込データについて前記設定手段により設定された再生位置の候補に基づいて決定した再生位置から前記動画データを再生させる手段
としてコンピュータを機能させるためのプログラム。