JP5524871B2 - 映像情報提示方法、映像情報提示装置及び映像情報提示プログラム - Google Patents

Description

本発明は、映像にアノテーションを付与する技術に関する。

非特許文献１には、映像の任意の時刻に対するアノテーションを受け付け、受け付けたアノテーションと映像とを関連付けて提示する技術が記載されている。非特許文献１に記載の技術では、映像を再生しているときにコメント（アノテーション）を付与する操作を行うと、操作を行ったときの再生時刻に対してコメントが登録される。そして、映像を再生するときに、その再生時刻に登録されているコメントを映像再生と同期して表示している。また、付与されているコメントを選択すると、そのコメントが登録された再生時刻から映像が通常再生される。これにより、映像に付与したアノテーションを閲覧するとき、映像再生と関連付けることで映像内容を確認することができるので、アノテーションの意味を理解することが容易となった。

嶌田、外３名、「映像シーン連動型コミュニケーションからのノウハウ百科事典の生成」、信学技報、社団法人電子情報通信学会、２００９年３月、AI2008-70、p.35-40

しかしながら、例えば、映像をスロー再生して気づいたことをアノテーションとして登録した場合には、後でアノテーションを閲覧するときにも映像をスロー再生した方がより分かりやすくなる。同様に、あるシーンＡを通常再生し、その後早送りしてシーンＢを通常再生し、シーンＡとシーンＢとを比較してアノテーションを付与した場合には、そのアノテーションを閲覧するときにもシーンＡ、シーンＢを続けて再生した方が分かりやすくなる。また、アノテーションとして映像へのマーキングや関連資料を添付した場合には、映像再生中のどのタイミングでマーキングを提示するか、関連資料をどのように提示するかを指定できると、より分かりやすくこれらのアノテーションを提示できる。

従来技術では、アノテーションと映像再生の制御とを関連付けることはできなかった。そのため、映像をスロー再生や一時停止しないと理解することが困難な場合や、複数のシーンを比較したい場合など、自分の意見や主張を表すアノテーションを簡単に付与することができなかった。

本発明は、上記に鑑みてなされたものであり、映像に付与されるアノテーションを分かりやすく提示することを目的とする。

第１の本発明に係る映像情報提示方法は、蓄積手段に蓄積された映像の任意の時刻に対するアノテーションと当該アノテーションを提示する際の前記映像の再生方法を示す映像再生ルールとを受け付けて前記蓄積手段に蓄積させるステップと、前記蓄積手段から映像、当該映像に付与されたアノテーション及び当該アノテーションに対応する前記映像再生ルールを読み出し、前記アノテーションを提示する際に前記映像再生ルールに基づいて前記映像を再生するステップと、を有し、前記アノテーションと映像再生ルールを蓄積させるステップは、前記アノテーションを受け付けるときに実行した前記映像の再生に関する操作に基づいて前記映像再生ルールを作成することを特徴とする。

上記映像情報提示方法において、前記アノテーションは、テキストデータ、前記映像に対して描画された図形データ、電子ファイルのいずれか、またはこれらの組み合わせであることを特徴とする。

第２の本発明に係る映像情報提示装置は、映像を蓄積した蓄積手段と、前記映像の任意の時刻に対するアノテーションと当該アノテーションを提示する際の前記映像の再生方法を示す映像再生ルールとを受け付けて前記蓄積手段に蓄積させる受付手段と、前記蓄積手段から映像、当該映像に付与されたアノテーション及び当該アノテーションに対応する前記映像再生ルールを読み出し、前記アノテーションを提示する際に前記映像再生ルールに基づいて前記映像を再生する提示手段と、を有し、前記受付手段は、前記アノテーションを受け付けるときに実行した前記映像の再生に関する操作に基づいて前記映像再生ルールを作成することを特徴とする。

上記映像情報提示装置において、前記アノテーションは、テキストデータ、前記映像に対して描画された図形データ、電子ファイルのいずれか、またはこれらの組み合わせであることを特徴とする。

第３の本発明に係る映像情報提示プログラムは、上記映像情報提示方法をコンピュータに実行させることを特徴とする。

本発明によれば、映像に付与されるアノテーションを分かりやすく提示することができる。

本実施の形態における映像情報提示装置の構成を示す機能ブロック図である。 映像にアノテーションを付与する処理の流れを示すフローチャートである。 アノテーションを受け付けるユーザインタフェースを示す図である。 利用者の操作内容とその際に記録する映像再生ルールの対応を示す具体例である。 映像とアノテーションを提示する処理の流れを示すフローチャートである。 アノテーションと映像を提示する具体例を説明するための図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態における映像情報提示装置の構成を示す機能ブロック図である。同図に示す映像情報提示装置は、登録部１１、蓄積管理部１２、提示部１３、および受付部１４を備える。映像情報提示装置が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは映像情報提示装置が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

登録部１１は、映像ファイルを読み取り、読み取った映像へメタデータを付与し、映像とメタデータを蓄積管理部１２に出力する。メタデータとしては、映像のタイトル、概要、ジャンル、アクセス権に関する情報などの映像全体に対するメタデータと、映像を話題ごとのシーンに分割したシーンの区間情報、タイトル、概要などのシーンに対するメタデータがある。

蓄積管理部１２は、登録部１１が出力した映像とメタデータ、および受付部１４が出力したアノテーションと映像再生ルールを蓄積し、蓄積したデータを提示部１３の要求に応じて提示部１３へ出力する。

提示部１３は、映像、メタデータ、アノテーション、および映像再生ルールの転送要求を蓄積管理部１２に出力し、蓄積管理部１２から映像、メタデータ、アノテーション、および映像再生ルールを受信して、映像の一覧の提示、選択された映像の再生、映像とアノテーションの提示を行う。映像再生ルールを受信した場合は、その映像再生ルールに従って映像を再生する。映像再生ルールとは、利用者がアノテーションを入力しているときに行った映像に対する操作内容を示すものであり、例えば、映像再生の一時停止、スロー再生などの操作種別、タイミング、継続時間を含む。

受付部１４は、映像に対するアノテーションを受け付けるとともに、映像に対する操作を受け付けて映像再生ルールを記録し、アノテーションと映像再生ルールを蓄積管理部１２へ出力する。受付部１４が受け付けるアノテーションには、テキストデータ、映像に対して描画されたマーキング、別の映像ファイルなどの電子ファイルがある。

次に、本実施の形態における映像情報提示装置の処理について説明する。映像情報提示装置は、大きく分けて、映像を視聴していたときにアノテーションを付与する処理と、映像とアノテーションを提示する処理を行う。

まず、映像にアノテーションを付与する処理について説明する。蓄積管理部１２には、登録部１１により映像とそのメタデータが予め登録されているものとする。

図２は、映像にアノテーションを付与する処理の流れを示すフローチャートである。

まず、提示部１３が、蓄積管理部１２で管理している映像の一覧を受信して利用者に提示し、利用者から視聴したい映像の選択を受け付ける（ステップＳ１１）。

利用者が映像を選択すると、提示部１３は、蓄積管理部１２から選択された映像を受信して再生する（ステップＳ１２）。

そして、提示部１３が映像を再生している間、受付部１４は、利用者からアノテーションを受け付けるとともに、利用者が映像再生を操作した内容を示す映像再生ルールを記録しておく（ステップＳ１３）。利用者からアノテーションを受け付けるためのユーザインタフェース、映像再生ルールの具体例については後述する。

続いて、受付部１４は、利用者から受け付けたアノテーションと記録した映像再生ルールを蓄積管理部１２に登録する（ステップＳ１４）。蓄積管理部１２では、アノテーションを選択された映像の再生時刻に関連付けて管理し、映像再生ルールをアノテーションに関連付けて管理する。アノテーションが関連付けられる再生時刻は、利用者がアノテーションの入力を開始したときの映像の再生時刻である。

選択した映像の視聴が終わり、続けて映像を視聴する場合はステップＳ１１へ戻り、映像を視聴しない場合は処理を終了する（ステップＳ１５）。

ここで、アノテーションを受け付けるユーザインタフェースについて説明する。図３は、アノテーションを受け付けるユーザインタフェースを示す図である。

図３の左上の領域において利用者が選択した映像が再生される。映像に対してシーン区間が設定されている場合、区間提示部１３２において再生中のシーン区間を示す。再生制御ボタン１３１により、通常再生、一時停止、コマ送り、早送り、コマ戻し、早戻しなどの再生制御を行うことができる。操作履歴記録ボタン１３３を押下することで、操作履歴記録モードのオンオフを切り替えることができる。操作履歴記録モードがオンの場合、再生制御ボタン１３１により操作された映像再生についての操作内容を示す映像再生ルールを作成し記録する。

ユーザインタフェースには、アノテーションのタイトル、コメントを入力するためのテキストボックス１３４、１３５が設けられている。マウスなどの入力手段を用いて画面に表示されているカーソル（図示せず）をテキストボックス１３４、１３５上に移動させると再生中の映像が一時停止し、テキストボックス１３４、１３５にコメント等を書き込むことができる。利用者がテキストボックス１３４、１３５にタイトル、コメントを入力して書き込みボタンを押下すると、再生中の映像を一時停止したときの再生時刻に関連付けられて入力されたタイトル、コメント等のアノテーションが付与されて蓄積管理部１２に登録される。このとき、映像再生ルールも蓄積管理部１２に登録される。

添付ボタン１３６を押下することで、関連資料を選択してコメントに添付できる。

描画ボタン１３７を押下することで、映像へマーキングなどの描画を行うことができる。利用者がアノテーションを閲覧するときの関連資料やマーキングなどを提示するタイミングは、添付ボタン１３６や描画ボタン１３７が押下されたときの再生時刻とする。

ユーザインタフェースの右側の欄１３８には、登録されたアノテーションの情報が表示される。

利用者は、これらの機能を用いて映像にアノテーションを付与する。

続いて、利用者がアノテーションを付与し、映像再生ルールを記録する具体例について説明する。

図４は、利用者の操作内容とその際に記録する映像再生ルールの対応を示す具体例である。同図の操作内容欄には、利用者が映像１の再生時刻１分にコメントＡを登録したときの操作手順が記載されており、映像再生ルール欄には、操作内容欄の操作手順に基づいて記録される、コメントＡに対する映像１の再生方法を決定する映像再生ルールが記載されている。

まず、手順１で、再生時刻１分において、テキストボックス１３４、１３５にマウスオーバーされたので、映像１の再生を一時停止し、コメントの入力を受け付ける。手順２で、利用者はコメントの背景をテキストボックス１３４、１３５に入力した。

手順３で、操作履歴記録ボタン１３３がクリックされ、操作履歴記録モードがオンとなる。これ以降、映像１に対する再生制御の操作内容が映像再生ルールとして記録される。

手順４、５の通常再生、３秒後にスロー再生する操作から、１分から１分３秒までを通常再生する映像再生ルールが記録される。

手順５、６のスロー再生、２秒後に一時停止する操作から、１分３秒から１分５秒までをスロー再生する映像再生ルールが記録される。

手順７、８、９で、利用者は解説の記載や映像１へのマーキング等を行った。

手順１０、１１の一時停止、６秒後に通常再生する操作から、１分５秒から６秒間一時停止する映像再生ルールが記録される。

手順１２の再生時刻１分１０秒のときに映像ファイルを添付する操作から、１分５秒から１分１０秒までを通常再生する映像再生ルールが記録される。手順１２のとき、つまり再生時刻１分１０秒に、添付ボタン１３６が押下されたので映像１は自動的に一時停止となる。なお、操作履歴記録モードでは、利用者が直接行った操作に従って映像再生ルールを設定しているので、映像情報提示装置側で映像再生を停止する場合などは映像再生ルールに反映されない。

手順１３の添付ファイルの再生開始から６秒後に映像１を通常再生する操作から、１分１０秒から添付ファイルの映像を６秒目から開始する映像再生ルールが記録される。このように、映像再生ルールに添付ファイルなどを提示するタイミングを記録してもよい。

手順１４の再生時刻１分２０秒で再生を停止する操作から、１分２０秒で再生を停止する映像再生ルールが記録される。

手順１５で、利用者は添付ファイルの映像と映像１とを比較した意見を記載した。

手順１６で、操作履歴記録ボタン１３３がクリックされ、操作履歴記録モードがオフとなる。これ以降は映像再生ルールは記録されない。

手順１７で、利用者は映像１の３分１５秒から始まるシーン２を選択した。

手順１８で、操作履歴記録ボタン１３３がクリックされ、操作履歴記録モードがオンとなる。ここから再び映像１の再生制御の操作が映像再生ルールとして記録される。

手順１９のシーン２を再生する操作から、シーン２の先頭である３分１５秒から再生する映像再生ルールが記録される。

手順２０で、利用者はシーン１とシーン２を比較した内容を記載した。

手順２１で、操作履歴記録ボタン１３３がクリックされ、操作履歴記録モードがオフとなる。これ以降は映像再生ルールは記録されない。

手順２２で、書き込みボタンがクリックされ、利用者が記載したテキストデータ、映像へのマーキング、添付ファイルなどのアノテーションと、記録された映像再生ルールが蓄積管理部１２に登録される。

次に、映像とアノテーションを提示する処理について説明する。

図５は、映像とアノテーションを提示する処理の流れを示すフローチャートである。映像には既にアノテーションが付与されているものとする。

まず、提示部１３が、蓄積管理部１２で管理している映像の一覧を蓄積管理部１２から受信して利用者に提示し、利用者から視聴したい映像の選択を受け付ける（ステップＳ２１）。

利用者が映像を選択すると、提示部１３は、蓄積管理部１２から選択された映像とその映像に付与されたアノテーションを受信して再生する（ステップＳ２２）。アノテーションは、ユーザインタフェースの右側の欄１３８に表示される。

利用者がアノテーションを選択すると、蓄積管理部１２に蓄積された映像再生ルールに従って映像を再生するとともに、マーキング、添付ファイルなどアノテーションの詳細な内容の提示を行う（ステップＳ２３）。アノテーションの選択は、ユーザインタフェースの右側の欄１３８に表示されたアノテーションをクリックすることで行われる。

続けて別の映像を視聴する場合はステップＳ２１へ戻り、映像を視聴しない場合は処理を終了する（ステップＳ２４）。

ここで、映像とアノテーションを提示する具体例について説明する。

図６は、図４で付与したアノテーションと映像を提示する具体例を説明するための図である。

図６（１）で示すように、提示部１３は、利用者が選択した映像を再生しながら、再生時刻に合わせて付与されたアノテーションをユーザインタフェースの右側の欄１３８に提示する。

利用者がアノテーションをクリックして選択すると、図６（２）で示すように、テキストデータの提示、映像へのマーキング、添付ファイルの再生などとともに、付与されたアノテーションが登録された再生時刻から映像再生ルールに従って映像を再生する。選択されたアノテーションに対応する映像再生ルールは、蓄積管理部１２から読み出す。

図６（２）をより具体的に説明する。コメントＡのアノテーションが選択されると、コメントＡが登録された再生時刻１分から映像１の再生が開始する。コメントＡに対応する映像再生ルールに従って再生時刻１分３秒から１分５秒までをスロー再生し、再生時刻１分５秒で６秒間映像再生を一時停止する。ここで、映像１にマーキングが描画され、マーキングについての解説等が提示される。そして、再生時刻１分５秒から１分１０秒まで映像１が通常再生される。再生時刻１分１０秒において、添付ファイルの映像も６秒目から同時に再生される。映像１の再生時刻が１分２０秒となると、映像１のシーン２（再生時刻３分１５秒）から再生が開始される。

以上説明したように、本実施の形態によれば、映像に対するアノテーションを受け付けるときに、映像再生を操作した内容を示す映像再生ルールを記録しておき、アノテーションを提示するときに、映像再生ルールに基づいて映像再生を制御することにより、アノテーションと映像をより分かりやすく提示することができる。

１１…登録部
１２…蓄積管理部
１３…提示部
１４…受付部
１３１…再生制御ボタン
１３２…区間提示部
１３３…操作履歴記録ボタン
１３４…テキストボックス
１３６…添付ボタン
１３７…描画ボタン

Claims (5)

1. 蓄積手段に蓄積された映像の任意の時刻に対するアノテーションと当該アノテーションを提示する際の前記映像の再生方法を示す映像再生ルールとを受け付けて前記蓄積手段に蓄積させるステップと、
   前記蓄積手段から映像、当該映像に付与されたアノテーション及び当該アノテーションに対応する前記映像再生ルールを読み出し、前記アノテーションを提示する際に前記映像再生ルールに基づいて前記映像を再生するステップと、を有し、
   前記アノテーションと映像再生ルールを蓄積させるステップは、前記アノテーションを受け付けるときに実行した前記映像の再生に関する操作に基づいて前記映像再生ルールを作成することを特徴とする映像情報提示方法。
2. 前記アノテーションは、テキストデータ、前記映像に対して描画された図形データ、電子ファイルのいずれか、またはこれらの組み合わせであることを特徴とする請求項１記載の映像情報提示方法。
3. 映像を蓄積した蓄積手段と、
   前記映像の任意の時刻に対するアノテーションと当該アノテーションを提示する際の前記映像の再生方法を示す映像再生ルールとを受け付けて前記蓄積手段に蓄積させる受付手段と、
   前記蓄積手段から映像、当該映像に付与されたアノテーション及び当該アノテーションに対応する前記映像再生ルールを読み出し、前記アノテーションを提示する際に前記映像再生ルールに基づいて前記映像を再生する提示手段と、を有し、
   前記受付手段は、前記アノテーションを受け付けるときに実行した前記映像の再生に関する操作に基づいて前記映像再生ルールを作成することを特徴とする映像情報提示装置。
4. 前記アノテーションは、テキストデータ、前記映像に対して描画された図形データ、電子ファイルのいずれか、またはこれらの組み合わせであることを特徴とする請求項３記載の映像情報提示装置。
5. 請求項１又は２に記載の映像情報提示方法をコンピュータに実行させることを特徴とする映像情報提示プログラム。