JP6232632B1 - 動画再生プログラム、動画再生装置、動画再生方法、動画配信システム及びメタデータ作成方法 - Google Patents

Abstract

【課題】動画に映し出されたアイテムに視聴者が関心を持ったときに、動画中のアイテムの情報を視聴者に簡易な方法で提供すること。【解決手段】表示部と入力部とを備えた動画再生装置に、次の（１）〜（３）を実行させる。（１）動画データに含まれるフレームを順次切り替えて前記表示部に表示することによって、動画を前記表示部に表示すること。（２）前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定すること。（３）前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示すること。【選択図】図１

Description

本発明は、動画再生プログラム、動画再生装置、動画再生方法、動画配信システム及びメタデータ作成方法に関する。

近年、動画コンテンツをユーザー側の端末（例えばタブレット型端末、スマートフォン、パーソナルコンピュータなど）で視聴することが行われている。例えば特許文献１〜３には、ドラマなどの放送番組をユーザー側の端末で視聴することが記載されている。

特開２０１２−１１９８３３号公報 特開２００７−３０６３９９号公報 特開２００４−２３４２５号公報

視聴者が動画の中に映し出された物（以下、「アイテム」と呼ぶことがある）に関心を持ったとき、その視聴者が、その情報の収集を試みることがある。例えば、視聴者がドラマを視聴しているときに、主人公の持っているバッグを購入したいと考え、そのバッグの販売ウェブサイトをインターネット上で探そうとすることがある。

しかし、動画に映し出されたアイテムを視聴者が検索しようとしても、検索キーワードが分からなければ、目的とするアイテムの情報を探すことは困難である。また、目的とするアイテムの情報を得るまでの作業（例えば、検索キーワードの選択、検索サイトへのアクセス、検索された情報群からの取捨選択など）が多くなるほど、離脱率が高くなってしまい、せっかくのビジネスチャンスを逃すおそれがある。また、仮に視聴者がアイテムに関する情報サイトにたどり着いたとしても、そのサイトの信頼性が問題となることもある。具体的には、目的とするアイテムの販売ウェブサイトを検索できたとしても、その販売ウェブサイトの信頼性に視聴者が疑問を持ってしまうと、そのアイテムの購入に躊躇してしまうため、この場合にもビジネスチャンスを逃すことになる。

一方、動画に映し出されたアイテムに対して視聴者が関心を持ったときに、そのアイテムに関する情報まで視聴者を誘導できるシステムがあれば、例えばアイテムの製造業者等が動画製作者のスポンサーになるなど、ビジネスチャンスを広げることができる。このような面からも、動画中のアイテムの情報を視聴者に簡易な方法で提供できることは重要である。

本発明は、動画に映し出されたアイテムに視聴者が関心を持ったときに、動画中のアイテムの情報を視聴者に簡易な方法で提供することを目的とする。

上記の目的を達成するための主たる発明は、表示部と入力部とを備えた動画再生装置に、動画データに含まれるフレームを順次切り替えて前記表示部に表示することによって、動画を前記表示部に表示すること、前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定すること、及び、前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示することを実行させる動画再生プログラムであって、前記フレームに少なくとも２つの前記アイテム領域が設定されているとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含されており、前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることを特徴とする。

本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、動画に映し出されたアイテムに視聴者が関心を持ったときに、動画中のアイテムの情報を視聴者に簡易な方法で提供することができる。

図１Ａ〜図１Ｄは、本実施形態の概要の説明図である。 図２は、動画再生前に表示される動画一覧画面の説明図である。 図３は、動画再生時の基本画面の説明図である。 図４Ａ〜図４Ｃは、アイコン表示部２１Ｂの枠表示ボタン２１１の説明図である。 図５Ａ〜図５Ｄは、アイコン表示部２１Ｂの演者アイコン２１２の説明図である。 図６Ａ〜図６Ｄは、音楽アイコン２１３の説明図である。 図７Ａ〜図７Ｄは、場所アイコン２１４の説明図である。 図８は、本実施形態の動画配信システムを示す図である。 図９は、動画データとメタデータの説明図である。 図１０は、動画表示部２１Ａに表示する画像の生成処理のフロー図である。 図１１Ａ及び図１１Ｂは、１画面上（１フレーム上）に２つのアイテム領域が設定された場合の説明図である。 図１２は、メタデータの作成方法の概念説明図である。 図１３Ａ〜図１３Ｄは、ユーザー端末１０がパーソナルコンピュータの場合の説明図である。 図１４Ａは、アイテム領域以外の領域が入力部によって選択された様子の説明図である。図１４Ｂは、ユーザー端末１０が取得する取得データの説明図である。

後述する明細書及び図面の記載から、少なくとも以下の事項が明らかとなる。

表示部と入力部とを備えた動画再生装置に、動画データに含まれるフレームを順次切り替えて前記表示部に表示することによって、動画を前記表示部に表示すること、前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定すること、及び、前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示することを実行させることを特徴とする動画再生プログラムが明らかとなる。このような動画再生プログラムによれば、動画中のアイテムの情報を視聴者が簡易に取得できる。

前記フレームを前記表示部に表示する際に、前記フレームに設定された前記アイテム領域を示す画像を前記表示部に表示することが望ましい。これにより、動画中のアイテムの情報を視聴者が簡易に取得できる。

前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム情報としてアイテム画像が表示されるが望ましい。これにより、動画中のアイテムの情報を視聴者が簡易に取得することができる。

前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域の近傍に前記アイテム画像が表示されるが望ましい。これにより、アイテム情報を取得できることを視聴者が認識しやすくなる。

前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム情報がストックされたことを示すストック情報表示部に前記アイテム画像が表示されることが望ましい。これにより、アイテム情報がストックされたことを視聴者が認識しやすくなる。

前記ストック情報表示部は、前記動画を表示する動画表示部の外側に配置されており、
前記入力部によって、前記動画表示部に設定された前記アイテム領域から前記ストック情報表示部に向かって操作されたときに、前記ストック情報表示部に前記アイテム画像が表示されることが望ましい。これにより、アイテム情報をストックさせる操作が、視聴者に理解され易い。

前記アイテム情報としてイベント情報が予め設定されており、前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記イベント情報に従った処理が実行されることによって、前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることが望ましい。また、前記イベント情報は、設定されたアドレスのウェブページを表示することであり、前記ウェブページを表示することによって、前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることが好ましい。これにより、動画中のアイテムの情報を視聴者が簡易に取得することができる。

前記フレームに少なくとも２つの前記アイテム領域が設定されているとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含されており、前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることが望ましい。これにより、どちらのアイテム領域とも視聴者が選択可能になる。

前記アイテム領域以外の領域が前記入力部によって選択されたときに、選択された領域の近傍の画像を前記フレームから抽出することが望ましい。これにより、視聴者の嗜好情報を取得することができる。

表示部と、入力部と、制御部とを備え、前記制御部は、動画データに含まれるフレームを順次切り替えて前記表示部に表示することによって、動画を前記表示部に表示し、前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定し、前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示することを特徴とする動画再生装置が明らかとなる。このような動画再生装置によれば、動画中のアイテムの情報を視聴者が簡易に取得することができる。

動画データと、前記動画データに対応するメタデータとに基づいて動画を再生する動画再生方法であって、動画データに含まれるフレームを順次切り替えて表示部に表示することによって、動画を前記表示部に表示すること、前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定すること、及び、前記表示部に表示された前記フレームに設定された前記アイテム領域が入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示することを行うことを特徴とする動画再生方法が明らかとなる。このような動画再生方法によれば、動画中のアイテムの情報を視聴者が簡易に取得することができる。

動画データと、前記動画データに対応するメタデータとを配信する動画配信システムであって、フレームを順次切り替えて動画再生装置の表示部に表示させることによって動画を前記表示部に表示させるための前記動画データを配信するサーバーと、前記フレームにアイテム領域を予め設定し、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定するための前記メタデータを配信するサーバーと、前記表示部に表示された前記フレームに設定された前記アイテム領域が前記動画再生装置の入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示させるためのプログラムを配信するサーバーとを備えることを特徴とする動画配信システムが明らかとなる。このような動画配信システムによれば、動画中のアイテムの情報を視聴者が簡易に取得することができる。

また、メタデータを作成するメタデータ作成方法であって、前記動画データに含まれるフレームの中から複数のキーフレームを抽出すること、抽出されたキーフレームの画像に基づいて、当該キーフレームに対応する前記アイテム領域を設定すること、前記キーフレームに対応する前記アイテム領域と、別の前記キーフレームに対応する前記アイテム領域とに基づいて、前記キーフレーム以外の前記フレームに対応する前記アイテム領域を補間して設定することを行うことを特徴とするメタデータ作成方法が明らかとなる。このようなメタデータ作成方法によれば、メタデータ作成時の作業量を軽減することができる。

前記フレームに少なくとも２つの前記アイテム領域が設定されるとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含される場合、前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域が選択されるように、２つの前記アイテム領域の優先順位を設定することが望ましい。これにより、どちらのアイテム領域とも視聴者が選択可能になる。

＝＝＝実施形態＝＝＝
＜概要＞
図１Ａ〜図１Ｄは、本実施形態の概要の説明図である。

図１Ａに示すように、ユーザー端末１０（視聴者の例えばタブレット型端末やスマートフォンなど）のタッチパネル１１上で動画（例えばドラマ）が再生されている。画面上には、女優がバッグを持っている様子が映し出されている。動画データに含まれるフレーム（静止画）には予めアイテム領域が設定されており、ここでは、画面上のバッグの領域に予めアイテム領域が設定されている。アイテム領域を示す枠４１（図中の矩形の点線）は、動画再生中に表示しても良いし、動画の視聴に邪魔であれば非表示にしても良い。動画の再生時にはフレーム（静止画）が順次切り替えられて表示されるため、動画上（フレーム上）のバッグの占める領域は刻々と変化することになるが、動画に追随するようにアイテム領域も刻々と変化するように設定されており、アイテム領域を示す枠４１（図中の矩形の点線）も刻々と変形する。

図１Ｂに示すように、ユーザー端末１０は、予め動画に設定されているアイテム領域がタッチ操作（指で触れる操作）されたことを検出すると、そのアイテム領域に対応付けられているアイテム画像４２Ａ（例えばサムネイル画像）を表示する。視聴者は、仮にアイテム領域を示す枠４１（図中の矩形の点線）が非表示だとしても、動画内のバッグに興味を持ったときにタッチパネル１１上のバッグをタッチするとバッグのアイテム画像４２Ａが表示されるため、そのバッグの関連情報を取得できることを認識できる。

更に、図１Ｂに示すように、ユーザー端末１０は、予め動画に設定されているアイテム領域がスワイプ操作（画面上で指を滑らせる操作）されたことを検出すると、そのアイテム領域に対応付けられているアイテム情報をストック情報として記憶する。図１Ｃに示すように、ユーザー端末１０は、所定のアイテム情報がストック情報として記憶されると、タッチパネル１１上のストック情報表示部２１Ｃにストック情報（ストックされたアイテム情報）に対応するアイテム画像４２Ｃ（例えばサムネイル画像）を表示する。すなわち、視聴者は、動画内のバッグに興味を持ったときに、タッチパネル１１上のバッグを下にスワイプすると、そのバッグのアイテム情報をストックさせることができるとともに、そのバッグのアイテム情報をユーザー端末１０に記憶させたことをストック情報表示部２１Ｃで確認できる。

図１Ｄに示すように、ユーザー端末１０は、ストック情報表示部２１Ｃに表示されたアイテム画像４２Ｃの領域がタッチ操作（指でポンと触れる操作）されたことを検出すると、そのアイテム画像４２Ｃ（アイテム情報）に対応付けられているイベント情報に従った処理を行う。ここでは、バッグのアイテム情報に対して、バッグの販売元のウェブページのアドレスが対応付けられており、視聴者がバッグのアイテム画像４２Ｃをタッチ操作すると、タッチパネル１１（表示部１２）上に、そのバッグのウェブページが表示されることになる。なお、バッグのウェブページの表示画面は、バッグに関するアイテム情報であるとともに、バッグのアイテム画像４２Ｄでもある。ウェブページの表示方法は、図１Ｄに示すように再生中の動画とともにマルチ画面として表示しても良いし、単独で表示しても良い。また、イベント情報に従った処理は、ウェブページの表示に限られるものではない。

＜操作画面＞
図２は、動画再生前に表示される動画一覧画面の説明図である。ユーザー端末１０は、本実施形態の動画再生プログラムが起動されると、再生可能な動画の一覧（動画一覧画面）を表示する。ユーザー端末１０は、再生可能な動画ごとに、サムネイル画像、タイトル、概要説明文などを表示する。ユーザー端末１０は、動画一覧画面のサムネイル画像の領域がタッチ操作されたことを検出すると、そのサムネイル画像に対応付けられている動画の再生を行うことになる。

なお、ユーザー端末１０は、既に再生した動画に対してストック情報が記憶されていれば、動画一覧画面にストック情報に対応するアイテム画像４２を表示する。なお、ユーザー端末１０は、動画一覧画面に表示されたアイテム画像４２の領域がタッチ操作されたことを検出すると、そのアイテム画像４２に対応付けられているイベント情報に従った処理を行うことになる。

図３は、動画再生時の基本画面の説明図である。この基本画面上には、主に動画表示部２１Ａと、アイコン表示部２１Ｂと、ストック情報表示部２１Ｃとが設けられている。

動画表示部２１Ａには、再生された動画が表示される。基本画面上のリモコンアイコン２２がタッチ操作されると、動画表示部２１Ａにコントローラー２２Ａ（コントロール画像）が表示される（若しくは表示中のコントローラー２２Ａが非表示となる）。ユーザー端末１０は、コントローラー２２Ａ上の操作に応じて動画の再生・早送り・巻き戻しなどを制御する。

アイコン表示部２１Ｂには、各種アイコンが表示される。ここでは、アイコン表示部２１Ｂには、枠表示ボタン２１１、演者アイコン２１２、音楽アイコン２１３、場所アイコン２１４などが表示されている。これらのアイコンの説明については、後述する。基本画面上のインフォメーションアイコン２３がタッチ操作されると、アイコン表示部２１Ｂに表示中のアイコン群が非表示となる（若しくは、非表示のアイコンが表示される）。

ストック情報表示部２１Ｃには、ストック情報（ストックさせたアイテム情報）に対応するアイテム画像４２Ｃが表示される。ストック情報表示部２１Ｃは、動画表示部２１Ａの下に配置されている。これにより、図１Ｂに示すようなスワイプ操作する方向にストック情報表示部２１Ｃが配置されることになるため、アイテム情報をストックさせる操作が、視聴者に理解され易い。なお、既に説明したように、ユーザー端末１０は、ストック情報表示部２１Ｃに表示されたアイテム画像４２Ｃの操作に応じて、そのアイテム画像４２Ｃ（アイテム情報）に対応付けられているイベント情報に従った処理を行うことになる。

基本画面上には、他にも、ウェブページを表示するためのブラウザ表示部２１Ｄを設けることもできる（図１Ｄ参照）。

図４Ａ〜図４Ｃは、アイコン表示部２１Ｂの枠表示ボタン２１１の説明図である。枠表示ボタン２１１は、アイテム領域を示す枠４１の表示・非表示を選択するためのボタンである。

図４Ａに示すように、本実施形態では、動画上のバッグの占める領域にアイテム領域が設定されており、設定されているアイテム領域に従って、アイテム領域を示す枠４１（図中の矩形の点線）が表示される。視聴者は、動画表示部２１Ａに枠４１が表示されていることを認識することによって、その枠４１に何らかの情報が対応付けられていることに気付くことができる。また、枠４１の中にバッグの画像（動画上のバッグの画像）があることから、視聴者は、枠４１にバッグの情報が関連付けられていることを推測できる。

図４Ｂに示すように、ユーザー端末１０は、枠表示ボタン２１１がタッチ操作されたことを検出し、枠４１を非表示にする旨の指示があったことを検出すると、表示中のフレームに対してアイテム領域が設定されていても、動画表示部２１Ａの枠４１を非表示とする。これにより、視聴者は、枠４１の表示を気にせずに、動画の視聴に集中することができ、動画を楽しむことができる。特に、刻々と変形する枠４１が動画に重なって表示されると視聴者が興ざめするおそれがあるため、枠４１を非表示にできることは望ましい形態である。

図４Ｃに示すように、枠４１が非表示であっても、フレーム（静止画）に対してアイテム領域が設定されており、そのアイテム領域が視聴者にタッチ操作されれば、ユーザー端末１０は、枠４１が表示されている場合と同様に、処理を行う。すなわち、図４Ｃに示すように、ユーザー端末１０は、予め動画に設定されているアイテム領域がタッチ操作（指で触れる操作）されたことを検出すると、そのアイテム領域に対応付けられているアイテム画像４２Ａ（例えばサムネイル画像）を表示する。そして、ユーザー端末１０は、予め動画に設定されているアイテム領域がスワイプ操作（画面上で指を滑らせる操作）されたことを検出すると、そのアイテム領域に対応付けられているアイテム情報をストック情報として記憶する。

図５Ａ〜図５Ｄは、アイコン表示部２１Ｂの演者アイコン２１２の説明図である。動画上に演者（女優や男優など）が映し出される場面（フレーム）では、その演者に関する情報がアイテム情報として予め対応付けられている。ユーザー端末１０は、演者に関するアイテム情報が対応付けられているときには、アイコン表示部２１Ｂの演者アイコン２１２を変色（例えば、白色から緑色に変色）させて表示する。視聴者は、演者アイコン２１２の色が変化したことを認識することによって、動画中に映し出されている演者の関連情報を取得できることを認識できる。

図５Ａに示すように、ユーザー端末１０は、演者アイコン２１２がタッチ操作されたことを検出すると、そのフレームに対して演者に関するアイテム情報が対応付けられていれば、そのアイテム情報に対応付けられたアイテム画像４２Ｂ（例えば、演者のサムネイル画像）を表示する。ここでは、画面上に二人の演者が映し出されており、このフレームに二人の演者に関するアイテム情報が対応付けられているため、視聴者が演者アイコン２１２をタッチ操作すると、その二人の演者に関するアイテム画像４２Ｂ（サムネイル画像）が表示される。

図５Ｂに示すように、ユーザー端末１０は、いずれかの演者のアイテム画像４２Ｂ（サムネイル画像）がスワイプ操作されたことを検出すると、演者のアイテム情報をストック情報として記憶する。また、図５Ｃに示すように、ユーザー端末１０は、ストック情報（ストックされたアイテム情報）に対応するアイテム画像４２Ｃとして、演者のサムネイル画像をストック情報表示部２１Ｃに表示する。また、図５Ｄに示すように、ユーザー端末１０は、ストック情報表示部２１Ｃに表示された演者のアイテム画像４２Ｃがタッチ操作されたことを検出すると、そのアイテム画像４２Ｃ（アイテム情報）に対応付けられているイベント情報に従った処理として、例えば芸能事務所のウェブページにおける当該演者の紹介ページを表示する。

図６Ａ〜図６Ｄは、音楽アイコン２１３の説明図である。動画上で音楽（いわゆるＢＧＭ）が流れる場面（フレーム）では、その音楽に関する情報がアイテム情報として予め対応付けられている。ユーザー端末１０は、そのフレームに音楽に関するアイテム情報が対応付けられているときには、アイコン表示部２１Ｂの音楽アイコン２１３を変色させて表示する。視聴者は、音楽アイコン２１３の色が変化したことを認識することによって、動画上に流れている音楽の関連情報を取得できることを認識できる。

図６Ａに示すように、ユーザー端末１０は、音楽アイコン２１３がタッチ操作されたことを検出すると、そのフレームに対して音楽に関するアイテム情報が対応付けられていれば、そのアイテム情報に対応付けられたアイテム画像４２Ｂ（例えば、ジャケット画像）を表示する。図６Ｂに示すように、ユーザー端末１０は、アイテム画像４２Ｂ（ジャケット画像）がスワイプ操作されたことを検出すると、音楽のアイテム情報をストック情報として記憶する。また、図６Ｃに示すように、ユーザー端末１０は、ストック情報（ストックされたアイテム情報）に対応するアイテム画像４２Ｃとして、音楽のジャケット画像をストック情報表示部２１Ｃに表示する。また、図６Ｄに示すように、ユーザー端末１０は、ストック情報表示部２１Ｃに表示された音楽のアイテム画像４２Ｃがタッチ操作されたことを検出すると、そのアイテム画像４２Ｃ（アイテム情報）に対応付けられているイベント情報に従った処理として、その音楽を販売しているウェブページを表示する。

図７Ａ〜図７Ｄは、場所アイコン２１４の説明図である。動画中に例えばランドマークが映し出されている場面（フレーム）では、そのフレームに対して場所に関する情報がアイテム情報として予め対応付けられている。ユーザー端末１０は、そのフレームに対して場所に関するアイテム情報が対応付けられているときには、アイコン表示部２１Ｂの場所アイコン２１４を変色させて表示する。視聴者は、場所アイコン２１４の色が変化したことを認識することによって、動画上に映し出されている場所の関連情報を取得できることを認識できる。

図７Ａに示すように、ユーザー端末１０は、場所アイコン２１４がタッチ操作されたことを検出すると、そのフレームに対して場所に関するアイテム情報が対応付けられていれば、そのアイテム情報に対応付けられたアイテム画像４２Ｂ（例えば、サムネイル画像）を表示する。図７Ｂに示すように、ユーザー端末１０は、アイテム画像４２Ｂがスワイプ操作されたことを検出すると、場所のアイテム情報をストック情報として記憶する。また、図７Ｃに示すように、ユーザー端末１０は、ストック情報に対応するアイテム画像４２Ｃとして、その場所のサムネイル画像をストック情報表示部２１Ｃに表示する。また、図７Ｄに示すように、ユーザー端末１０は、ストック情報表示部２１Ｃに表示された場所のアイテム画像４２Ｃがタッチ操作されたことを検出すると、そのアイテム画像４２Ｃに対応づけられているイベント情報に従った処理として、その場所を紹介するウェブページを表示したり、その場所の地図を表示したり、その場所までの経路情報を表示したり、その場所の紹介文を表示したりする。

＜全体構成＞
図８は、本実施形態の動画配信システムを示す図である。動画配信システムは、動画配信サーバー１と、メタデータ配信サーバー３と、ユーザー端末１０とを含んで構成されている。動画配信サーバー１やメタデータ配信サーバー３とユーザー端末１０は、通信ネットワーク９を介して通信可能に接続されている。通信ネットワーク９は、例えばインターネット、電話回線網、無線通信網、ＬＡＮ、ＶＡＮなどであり、ここではインターネットを想定している。

動画配信サーバー１は、多数の動画コンテンツを配信するためのサーバーである。本実施形態では、動画配信サーバー１は、ストリーミング形式で動画データをユーザー端末１０に配信する。但し、動画データの配信方法は、ダウンロード形式でも良いし、プログレッシブダウンロード形式でも良い。

メタデータ配信サーバー３は、前述のアイテム情報（アイテム画像４２、イベント情報、アイテム領域などのアイテムに関する情報）を含むメタデータを配信するためのサーバーである。本実施形態では、メタデータの一部（後述する参照データ）を動画再生前にプリロード形式にて配信するとともに、メタデータの一部（後述するフレーム対応データ）をプログレッシブダウンロード形式で配信する。但し、メタデータの配信方法は、これに限られるものではなく、例えばダウンロード形式でも良いし、ストリーミング形式でも良い。本実施形態では、説明の便宜のためメタデータを動画データと切り離して説明しているが、メタデータが動画データ（動画ファイル）に格納されていてもよい。

なお、メタデータ配信サーバー３のメタデータは、メタデータ作成端末７によって作成されたものである。メタデータ作成端末７によるメタデータ作成方法については後述する。

ユーザー端末１０は、動画再生可能な情報端末（動画再生装置）である。ここでは、ユーザー端末１０は、タブレット型の携帯端末を想定している。ユーザー端末１０は、不図示のＣＰＵ、メモリ、記憶装置、通信モジュール、タッチパネル１１（表示部１２、入力部１３）などのハードウェアを備えている。ユーザー端末１０には、動画再生プログラムがインストールされており、ユーザー端末１０が動画再生プログラムを実行することによって、前述の各種動作が実現されることになる。動画再生プログラムは、プログラム配信サーバー５からユーザー端末１０にダウンロードすることが可能である。

ユーザー端末１０は、タブレット型の携帯端末に限られるものではなく、例えばスマートフォンでも良いし、パーソナルコンピュータでも良い。ユーザー端末１０がスマートフォンの場合には、タブレット型の携帯端末と同様に、タッチパネル１１によって表示部１２及び入力部１３が構成されることになる。ユーザー端末１０がパーソナルコンピュータの場合には、表示部１２は例えば液晶ディスプレイ等によって構成され、入力部１３はマウスやキーボード等によって構成されることになる。なお、ユーザー端末１０がパーソナルコンピュータの場合の操作方法等については別の実施形態として後述する。

ユーザー端末１０は、表示部１２と、入力部１３とを備えている。表示部１２は、各種画面を表示するための機能である。本実施形態では、表示部１２は、タッチパネル１１のディスプレイや、そのディスプレイの表示を制御するコントローラー等によって実現されている。入力部１３は、ユーザーからの指示を入力・検出するための機能である。本実施形態では、入力部１３は、タッチパネル１１のタッチセンサー等によって実現されている。なお、本実施形態では、表示部１２及び入力部１３が主にタッチパネル１１によって実現されているが、表示部１２及び入力部１３が、別々の部品で構成されても良い。制御部１５は、ユーザー端末１０を制御する機能である。制御部１５は、動画データを処理して動画を再生（表示）するための機能や、メタデータ（後述）を処理するための機能などを有する。動画データやメタデータの処理については、後で明らかとなる。また、制御部１５は、ウェブページの情報を取得して、ウェブページを表示させるブラウザ機能なども有する。本実施形態では、制御部１５は、不図示のＣＰＵや、動画再生プログラムを記憶したメモリ及び記憶装置等によって実現されている。

通信部１７は、通信ネットワーク９に接続するための機能である。通信部１７は、動画配信サーバー１から動画データを受信したり、メタデータ配信サーバー３からメタデータを受信したり、動画配信サーバー１やメタデータ配信サーバー３にデータを要求したりする。

動画データ記憶部は、動画データを記憶する機能である。なお、動画データ記憶部は、ストリーミング形式の配信の場合には動画データを一時的に記憶し、ダウンロード形式の配信の場合にはダウンロードされた動画データを記憶して保持する。また、メタデータ記憶部は、メタデータを記憶する機能である。また、ストック情報記憶部は、ストックされたアイテム情報を動画データに対応付けて記憶する機能である。

図９は、動画データとメタデータの説明図である。

動画データは、連続したフレーム（画像データ）から構成されている。ユーザー端末１０の動画データ処理部は、動画配信サーバー１から受信した動画データから各フレームを生成し、生成したフレームを順次切り替えて表示部１２に表示させて、動画を再生することになる。

メタデータは、フレーム対応データと、参照データとを有する。

フレーム対応データは、動画データのフレームに対応付けられたメタデータである。フレーム対応データは、プログレッシブダウンロード形式でメタデータ配信サーバー３からユーザー端末１０に配信され、ユーザー端末１０のメタデータ記憶部に記憶されることになる。
フレーム対応データは、タイムコードと、アイテム情報とを備えている。タイムコードは、フレームに対応付けるためのデータ（動画に同期させるためのデータ）である。フレーム対応データのアイテム情報は、アイテムＩＤと、アイテム領域設定データとから構成されている。アイテムＩＤは、参照データに記憶されているアイテム情報に対応付けるための識別子である。アイテム領域設定データは、アイテム領域を設定するためのデータである。本実施形態では、アイテム領域は矩形であるため、アイテム領域設定データは、矩形の領域を設定するために必要な対角の２点の座標のデータから構成されている。但し、アイテム領域は矩形に限られるものではなく、例えばアイテム領域が円形でも良く、この場合、アイテム領域設定データは、例えば中心点の座標と半径のデータから構成される。このように、フレームに対してアイテム領域（アイテム領域設定データ）が予め設定されている。但し、全てのフレームに対してアイテム領域を設定する必要はなく、例えばアイテムの表示されないフレームに対しては、アイテム領域が設定されていなくても良い。後述するように、フレームが順次切り替わるのに応じて、アイテム領域が順次切り替えられて設定されることになる。また、後述するように、アイテム領域設定データは、アイテム領域の設定に用いられるだけでなく、アイテム領域を示す枠４１（例えば図１Ａ参照）の画像の生成にも用いられる。

参照データは、アイテム情報の内容を定義するためのデータである。参照データは、動画再生前にプリロード形式にてメタデータ配信サーバー３からユーザー端末１０に配信され、ユーザー端末１０のメタデータ記憶部に記憶されることになる。
参照データは、アイテムＩＤと、属性データと、アイテム画像データと、イベント情報とを備えている。アイテムＩＤは、アイテム情報の識別子である。属性データは、アイテム情報の属性を示すデータであり、ここでは、「枠」、「演者」、「音楽」、「場所」の４種類である。但し、属性の種類は、これに限られるものではない。アイテム画像データは、アイテム画像４２のデータであり、例えばサムネイル画像のデータである。イベント情報は、ストック情報表示部２１Ｃに表示されたアイテム画像４２（４２Ｃ）が操作されたときに、ユーザー端末１０が行うべき処理を設定するための情報である。例えば、イベント情報として、ブラウザ部を起動することや、表示すべきウェブページのアドレスなどが設定されている。

なお、参照データを設けずに、アイテム情報の内容をフレーム対応データの中で定義することも可能である。但し、イベント情報などはデータ量が多いため、イベント情報をフレーム対応データに含めてしまうとフレーム対応データのデータ量が多くなってしまい、この結果、ユーザー端末１０の処理の負荷が増大してしまう。これに対し、本実施形態では、参照データを設けることによって、フレーム対応データのデータ量を軽減させることができる。

図１０は、動画表示部２１Ａに表示する画像の生成処理のフロー図である。例えば図１Ａに示す動画表示部２１Ａの画面を表示する際に、ユーザー端末１０の制御部１５は、およそ次の処理を行うことになる。
まず、制御部１５は、動画データ記憶部の動画データに基づいて、表示すべきフレーム（静止画）を生成する（Ｓ００１）。次に、制御部１５は、当該フレームに対応するタイムコードのフレーム対応データをメタデータ記憶部から取得する（Ｓ００２）。すなわち、制御部１５は、当該フレームに対応付けられているアイテム情報を取得する。制御部１５は、フレーム対応データにアイテム領域設定データが含まれており、且つ、枠４１を表示するように枠表示ボタン２１１が設定されている場合には、アイテム領域設定データに基づいて、アイテム領域を示す枠４１の画像（図１Ａに示す矩形の点線の画像）を生成する（Ｓ００３）。そして、制御部１５は、動画データのフレーム（静止画）に枠４１の画像を重ね合わせた画像を生成する（Ｓ００４）。このように生成された画像が動画表示部２１Ａに表示されることになる。制御部１５は、動画再生のために各フレーム（静止画）を動画表示部２１Ａに次々と表示する際に、上記の処理を繰り返し行うことになる。各フレームに設定されているアイテム領域の座標が異なるため、制御部１５が各フレームを次々と表示すると、アイテム領域を示す枠４１も刻々と変形することになる。

なお、アイコン表示部２１Ｂの画面を表示する際には、ユーザー端末１０の制御部１５は、およそ次の処理を行うことになる。まず、制御部１５は、前述のＳ００２で取得したフレーム対応データのアイテムＩＤをキーにして参照データを参照し、アイテム情報の属性データを取得する。そして、制御部１５は、その属性データの有無に基づいて、アイコン表示部２１Ｂの各アイコンの色を決定し、決定した色に応じてアイコン表示部２１Ｂに各種アイコンを表示する。これにより、動画再生中に、表示中の画面にアイテム情報が対応付けられているときには、そのアイテム情報に対応したアイコン表示部２１Ｂのアイコンが変色（例えば、白色から緑色に変色）して表示されることになる。

ユーザー端末１０の制御部１５は、図１Ｂに示すように動画表示部２１Ａにタッチ操作が行われたとき、およそ次の処理を行うことになる。まず、制御部１５は、タッチ操作（指で触れる操作）された座標をタッチパネル１１（入力部１３）から取得する。また、制御部１５は、タッチ操作時のフレーム対応データをメタデータ記憶部から取得し、タッチ操作時のアイテム領域設定データを取得する。そして、制御部１５は、タッチ操作された座標と、アイテム領域設定データに基づいて設定されているアイテム領域とを比較して、タッチ操作された座標がアイテム領域の範囲内か否かを判断する。制御部１５は、タッチ操作された座標がアイテム領域の範囲内であれば、そのアイテム領域のアイテムＩＤをキーにして参照データを参照し、対応するアイテム画像４２（例えばサムネイル画像）を取得し、タッチ操作された座標の近傍にアイテム画像４２Ａを表示する。

更に、ユーザー端末１０の制御部１５は、図１Ｂに示すようにスワイプ操作（画面上で指を滑らせる操作）が行われたとき、そのアイテム情報をストック情報記憶部に記憶させる。また、ユーザー端末１０の制御部１５は、ストック情報記憶部にアイテム情報が記憶されていれば、そのアイテム情報に対応するアイテム画像４２（例えばサムネイル画像）を取得し、そのアイテム画像４２をストック情報表示部２１Ｃの所定領域に表示する。これにより、図１Ｃに示すように、タッチパネル１１（表示部１２）上のストック情報表示部２１Ｃにストック情報（ストックされたアイテム情報）に対応するアイテム画像４２Ｃ（例えばサムネイル画像）が表示されることになる。

また、ユーザー端末１０の制御部１５は、図１Ｄに示すようにストック情報表示部２１Ｃにタッチ操作が行われたとき、およそ次の処理を行うことになる。まず、制御部１５は、タッチ操作（指で触れる操作）された座標をタッチパネル１１（入力部１３）から取得する。また、制御部１５は、ストック情報表示部２１Ｃに表示中のアイテム画像４２Ｃの領域を取得する。そして、制御部１５は、タッチ操作された座標と、ストック情報表示部２１Ｃに表示中のアイテム画像４２Ｃの領域とを比較して、タッチ操作された座標がストック情報表示部２１Ｃのアイテム画像４２Ｃの範囲内か否かを判断する。制御部１５は、タッチ操作された座標がストック情報表示部２１Ｃのアイテム画像４２Ｃの範囲内であれば、そのアイテム画像４２のアイテムＩＤをキーにして参照データを参照し、対応するアイテム情報のイベント情報を取得し、イベント情報に従った処理（例えば所定のウェブページの表示など）を実行する。

図１１Ａは、１画面上（１フレーム上）に２つのアイテム領域が設定された場合の説明図である。図中の右側には、このフレームに対応するタイムコードのフレーム対応データが示されている。このフレーム対応データには、２つのアイテム領域設定データが含まれている。２つのアイテム領域設定データの示すアイテム領域は、画面上のバッグの領域と洋服の領域にそれぞれ対応するように設定されている。このように、フレーム対応データに２以上のアイテム領域設定データが含まれている場合には、図中の左側に示すように、制御部１５は、それぞれのアイテム領域設定データに基づいて、アイテム領域を示す枠４１（図中の矩形の点線）を複数表示する。

２以上のアイテム領域が設定された場合、２つのアイテム領域の重複領域が存在することがある。例えば、図１１Ａに示すように、画面上でバッグと洋服の領域が重なると、２つのアイテム領域が一部重複することになる。このように２つのアイテム領域が一部重複したときに、その重複領域がタッチ操作された場合には、ユーザー端末１０の制御部１５は、優先順位の高いアイテム領域が選択されたものと判断する。アイテム領域の優先順位は、予めフレーム対応データに設定することが可能であり、この場合、ユーザー端末１０の制御部１５は、フレーム対応データで設定された優先順位に従って、どちらのアイテム領域が選択されたかを判断することになる。

図１１Ｂは、１画面上（１フレーム上）に２つのアイテム領域が設定された場合の別の説明図である。図１１Ｂに示すように、一方のアイテム領域の全範囲が、他方のアイテム領域の範囲に包含されることがある。ここでは、バッグのアイテム領域４１（＃１）が、洋服のアイテム領域４１（＃２）の範囲に完全に包含されている。このように、一方のアイテム領域の全範囲が他方のアイテム領域の範囲に包含される場合には、包含された側のアイテム領域（ここではバッグのアイテム領域４１（＃１））が、包含する側のアイテム領域４１（＃２）よりも優先順位が高くなるように、フレーム対応データが設定されている。これにより、２つのアイテム領域の重複領域がタッチ操作された場合には、ユーザー端末１０の制御部１５は、包含された側のアイテム領域（ここではバッグのアイテム領域４１（＃１））が選択されたものと判断する。したがって、どちらのアイテム領域とも視聴者に選択可能にすることができる。

＜メタデータの作成方法＞
本実施形態では、図９に示すように、動画データの各フレームにフレーム対応データ（メタデータ）が対応付けられており、フレーム対応データには、アイテム領域を設定するためのアイテム領域設定データが設定される。アイテム領域は、画面に表示されている所定のアイテム（例えばバッグ）に追随するように設定される必要があるため、アイテム領域設定データ（２つの座標）は、フレームごとに設定される必要がある。但し、動画データには多数のフレームがあるため（例えば１秒間あたり３０フレーム）、全フレーム分のフレーム対応データを１つずつ設定する作業は、膨大な作業量となる。そこで、本実施形態では、次のようにフレーム対応データを設定し、作業量を軽減させている。

図１２は、メタデータの作成方法の概念説明図である。以下に説明するメタデータの作成処理は、図８に示すメタデータ作成端末７によって行われる。

まず、メタデータ作成端末７は、メタデータ（フレーム対応データ）を作成すべき動画データを取得する。動画データは、動画配信サーバー１からメタデータ作成端末７にダウンロードされることになる。

次に、メタデータ作成端末７は、多数のフレームを含む動画データの中から、時間間隔をあけてキーフレームを抽出する。キーフレームは、予め設定された所定の時間間隔（例えば数秒間隔）おきに抽出されたフレームでも良いし、動画内のシーンに応じて任意に選択されたフレームでも良い。動きの激しい箇所ではキーフレームの時間間隔を短くし、動きの緩やかな箇所ではキーフレームの時間間隔を長くすることが望ましい。抽出されるキーフレームの数は、動画データに含まれるフレームの数よりも大幅に少ない数となる。

次に、メタデータ作成端末７は、それぞれのキーフレーム上の所定のアイテム（ここではバッグ）の占める領域に合わせて、アイテム領域を設定するための２つの座標（矩形の枠４１の対角の２点の座標）を設定する。ここでは、キーフレームＡに対して座標（ＸＡ１，ＹＡ１）及び座標（ＸＡ２，ＹＡ２）が設定され、キーフレームＢに対して座標（ＸＢ１，ＹＢ１）及び座標（ＸＢ２，ＹＢ２）が設定され、キーフレームＣに対して座標（ＸＣ１，ＹＣ１）及び座標（ＸＣ２，ＹＣ２）が設定されたものとする。

アイテム領域を設定するための２つの座標を設定するとき、メタデータ作成端末７は、ディスプレイ上にキーフレームの画面を表示する。作業者は、表示されたキーフレーム上の所定のアイテムの画像（ここではバッグの画像）が包含されるように入力装置（例えばマウス）を用いて２点の座標を設定する。メタデータ作成端末７は、作業者によって入力された２点の座標の位置を、キーフレームに対応付けて記憶する。このように、キーフレームを表示させ、映像（キーフレームの画面）を見ながらアイテム領域を設定できるので、アイテム領域の設定作業が便利になる。

次に、メタデータ作成端末７は、各フレームに対応するフレーム対応データ（メタデータ）を作成するとともに、フレーム対応データにアイテム領域設定データを設定する。このとき、キーフレームに対応するアイテム領域設定データには、作業者の入力した２点の座標が設定される。例えば、キーフレームＡに対応するアイテム領域設定データには、アイテム領域設定データとして、座標（ＸＡ１，ＹＡ１）及び座標（ＸＡ２，ＹＡ２）が設定される。一方、キーフレーム以外のフレームに対応するアイテム領域設定データには、当該フレームの前後の２つのキーフレームに対して入力された座標を用いて補間された座標が設定される。例えば、キーフレームＡとキーフレームＢの間のフレームのアイテム領域設定データには、座標（ＸＡ１，ＹＡ１）及び座標（ＸＢ１，ＹＢ１）によって補間された座標と、座標（ＸＡ２，ＹＡ２）及び座標（ＸＢ２，ＹＢ２）によって補間された座標とが設定されることになる。このように、補間処理によってアイテム領域設定データが設定されるため、フレームに対する２点の座標の設定処理を省略することができるので、設定作業の作業量を軽減させることができる。

キーフレーム以外のフレームに対応するアイテム領域を補間して設定する方法として、２点の座標を直線補間して座標を算出する方法（いわゆる直線補間）とは別に、画像解析を利用する方法もある。例えば、メタデータ作成端末７は、キーフレームＡにおいて作業者の入力した座標（ＸＡ１，ＹＡ１）及び座標（ＸＡ２，ＹＡ２）で定まる矩形領域（アイテム領域に相当）の画像を抽出し、その矩形領域内の画像の特徴量（例えば色情報など）を抽出する。同様に、メタデータ作成端末７は、キーフレームＢにおいて作業者の入力した座標（ＸＢ１，ＹＢ１）及び座標（ＸＢ２，ＹＢ２）で定まる矩形領域の画像を抽出し、その矩形領域内の画像の特徴量を抽出する。そして、メタデータ作成端末７は、キーフレームＡとキーフレームＢの間の各フレームから、キーフレームＡで抽出された２つの特徴量とキーフレームＢで抽出された特徴量と範囲内の画像（例えば所定の色範囲の画像）を抽出し、抽出された画像を囲む矩形領域に基づいて、そのフレームに対応するアイテム領域設定データを補間しても良い。

なお、メタデータ作成端末７は、１つのフレームに対して、２つのアイテム領域設定データを設定することも可能である。また、メタデータ作成端末７は、２つのアイテム領域設定データを設定する際に、２つのアイテム領域が一部重複する場合には、アイテム領域の優先順位を設定することが可能である。特に、一方のアイテム領域の全範囲が他方のアイテム領域の範囲に包含される場合（図１１Ｂ参照）、メタデータ作成端末７は、包含された側のアイテム領域（例えば図１１Ｂのバッグのアイテム領域）が、包含する側のアイテム領域（例えば図１１Ｂの洋服のアイテム領域）よりも優先順位が高くなるように、フレーム対応データに優先順位を設定することが望ましい。

本実施形態では、メタデータ作成端末７は、メタデータの作成を依頼されたメタデータ作成代行業者のコンピュータを想定しており、このコンピュータには、上記の処理（図１２に示す処理）をコンピュータに実行させるためのプログラムがインストールされている。そして、本実施形態では、メタデータ作成代行業者が、作成したメタデータをメタデータ配信サーバー３（図８参照）にアップロードすることを想定している。但し、上記の処理（図１２に示す処理）をコンピュータに実行させるためのプログラムをインターネット上で開放して、不特定の者（例えばアフィリエイター）がこのプログラムを自らのコンピュータにインストールできるようにして、これらの者が作成したメタデータをメタデータ配信サーバー３にアップロードできるようにしても良い。この場合、メタデータ配信サーバー３は、メタデータとともに、その作成者の情報（作成者情報）と、その作成者に対するユーザーの評価情報とを関連づけて記憶することが望ましい。これにより、ユーザーは、作成者の評価情報に基づいて、信頼性の高いメタデータを選んでダウンロードすることが可能になる。

＜小括＞
上記の実施形態では、動画再生プログラムは、表示部１２と入力部１３とを備えたユーザー端末１０（動画再生装置）に、動画データに含まれるフレームを順次切り替えて表示部１２に表示させ、これにより動画を表示部１２に表示（再生）させている。このとき、フレームにはアイテム領域が予め設定されており（図９参照）、ユーザー端末１０は、フレームが順次切り替わるのに応じて、アイテム領域を切り替えて設定する。これにより、動画に追随するようにアイテム領域が刻々と変化するように設定される。そして、ユーザー端末１０は、表示部１２に表示されたフレームに設定されたアイテム領域が入力部１３によって選択されたときに、アイテム領域に対応付けられたアイテム情報（例えば図１Ｂのアイテム画像４２Ａ、図１Ｃのアイテム画像４２Ｃ、図１Ｄのアイテム画像４２Ｄ等）を表示部１２に表示させる。これにより、動画中のアイテムの情報を視聴者が簡易に取得することができる。

上記の実施形態では、フレームを表示部１２に表示する際に、フレームに設定されたアイテム領域を示す枠４１の画像を表示部１２に表示させている。これにより、フレームに設定されたアイテム領域の範囲を認識することができる。但し、図４Ｂ及び図４Ｃに示すように、枠４１を非表示とすることも可能である。また、アイテム領域を示す画像は、枠４１に限られるものではなく、例えば半透明の矩形画像でも良い。

上記の実施形態では、表示中のフレームに設定されたアイテム領域が入力部１３によって選択されたときに、アイテム情報としてアイテム画像が表示される（例えば図１Ｂのアイテム画像４２Ａや、図１Ｃのアイテム画像４２Ｃ、図１Ｄのアイテム画像４２Ｄ等）。これにより、動画中のアイテムの情報を視聴者が簡易に取得することができる。

また、上記の実施形態では、表示中のフレームに設定されたアイテム領域が入力部１３によって選択されたときに、アイテム領域の近傍にアイテム画像４２Ａ（図１Ｂ、図４Ｃ参照）が表示される。これにより、アイテム情報を取得できることを視聴者が認識しやすくなる。

また、上記の実施形態では、表示中のフレームに設定されたアイテム領域が入力部１３によって選択されたときに、ストック情報表示部２１Ｃにアイテム画像４２Ｃが表示される（図１Ｃ参照）。これにより、アイテム情報がストックされたことを視聴者が認識しやすくなる。なお、表示中のフレームに設定されたアイテム領域が入力部１３によって選択されたときに、アイテム領域の近傍にアイテム画像４２Ａを表示したり（図１Ｂ参照）、ストック情報表示部２１Ｃにアイテム画像４２Ｃを表示したりするのではなく、直ちにイベント情報に従った処理を実行して、例えばウェブページなどを表示しても良い。

上記の実施形態では、ストック情報表示部２１Ｃが動画表示部２１Ａの下側（外側）に配置されており、入力部１３によって下側にスワイプ操作（動画表示部２１Ａのアイテム領域からストック情報表示部２１Ｃに向かって指を滑らせる操作）されたときに、ストック情報表示部２１Ｃにアイテム画像４２Ｃが表示される（図１Ｂ及び図１Ｃ参照）。これにより、図１Ｂに示すようなスワイプ操作する方向にストック情報表示部２１Ｃが配置されることになるため、アイテム情報をストックさせる操作が、視聴者に理解され易い。なお、ストック情報表示部２１Ｃが動画表示部２１Ａの外側に配置されるのであれば、ストック情報表示部２１Ｃの配置は動画表示部２１Ａの下側に限られるものではなく、例えば、ストック情報表示部２１Ｃが動画表示部２１Ａの右側に配置されても良い。この場合、入力部１３によって右側にスワイプ操作（動画表示部２１Ａのアイテム領域からストック情報表示部２１Ｃに向かって指を滑らせる操作）されたときに、ストック情報表示部２１Ｃにアイテム画像４２Ｃが表示されることが望ましい。また、後述するように、スワイプ操作の代わりに、ドラッグ・アンド・ドロップ操作でも良い。

上記の実施形態では、アイテム情報としてイベント情報が予め設定されており（図９参照）、表示中のフレームに設定されたアイテム領域が入力部１３によって選択されたときに、イベント情報に従った処理が実行されることによって、アイテム領域に対応付けられたアイテム情報が表示部に表示される（図１Ｄ参照）。これにより、動画中のアイテムの情報を視聴者が簡易に取得することができる。

上記の実施形態では、イベント情報は、設定されたアドレスのウェブページを表示することであり、ウェブページを表示することによって、アイテム領域に対応付けられたアイテム情報が表示部１２に表示される（図１Ｄ参照）。但し、イベント情報は、ウェブページを表示することに限られるものではなく、他の処理であってもよい。

上記の図１１Ｂに示す実施形態では、フレームに少なくとも２つのアイテム領域が設定されているとともに、アイテム領域４１（＃１）の全範囲が、アイテム領域４１（＃２）に包含されている。このような状況下では、表示中のフレームに設定された２つのアイテム領域の重複領域が入力部によって選択されたときに、アイテム領域４１（＃１）に対応付けられたアイテム情報（この場合、バッグのアイテム情報）が表示部１２に表示されることが望ましい。これにより、どちらのアイテム領域とも視聴者が選択可能になる。

なお、上記の実施形態には、動画再生プログラムが開示されているだけではなく、ユーザー端末１０（動画再生装置）や、動作再生方法や、動画配信システム（図８参照）や、メタデータ作成方法（図１２参照）なども開示されている。

＝＝＝別の実施形態＝＝＝
＜ユーザー端末１０がパーソナルコンピュータの場合＞
図１３Ａ〜図１３Ｄは、ユーザー端末１０がパーソナルコンピュータの場合の説明図である。既に説明したように、ユーザー端末１０は、タブレット型の携帯端末ではなく、例えばパーソナルコンピュータでも良い。

図１３Ａに示すように、ユーザー端末１０（ここでは視聴者のパーソナルコンピュータ）の表示部１２（ここでは液晶ディスプレイ）上で動画（例えばドラマ）が再生されている。前述の実施形態と同様に、動画データに含まれるフレーム（静止画）には予めアイテム領域が設定されており、ここでは、画面上のバッグの領域に予めアイテム領域が設定されている。また、前述の実施形態と同様に、アイテム領域を示す枠４１（図中の矩形の点線）が、動画再生中に表示されている。

図１３Ｂに示すように、ユーザー端末１０は、入力部１３である不図示のマウスの操作によってカーソルがアイテム領域に入ったこと（アイテム領域が入力部１３によって選択されたこと）を検出すると、そのアイテム領域に対応付けられているアイテム画像４２Ａ（例えばサムネイル画像）を表示する。若しくは、ユーザー端末１０は、入力部１３である不図示のマウスの操作によってアイテム領域がクリック操作（マウスのボタンを押す操作）され、アイテム領域が入力部１３によって選択されたことを検出すると、そのアイテム領域に対応付けられているアイテム画像４２Ａ（例えばサムネイル画像）を表示する。

更に、ユーザー端末１０は、前述のマウス操作によってアイテム画像４２Ａが表示された状態でアイテム領域又はアイテム画像４２Ａがドラッグ・アンド・ドロップ操作（マウスのボタンが押された状態でカーソルを移動させ、その後にボタンを放す操作）されたことを検出すると、そのアイテム領域に対応付けられているアイテム情報をストック情報として記憶する。若しくは、ユーザー端末１０は、前述のマウス操作によってアイテム画像４２Ａが表示された状態でアイテム領域又はアイテム画像４２Ａがクリック操作されたことを検出すると、そのアイテム領域に対応付けられているアイテム情報をストック情報として記憶する。図１３Ｃに示すように、ユーザー端末１０は、所定のアイテム情報がストック情報として記憶されると、表示部１２上のストック情報表示部２１Ｃにストック情報（ストックされたアイテム情報）に対応するアイテム画像４２Ｃ（例えばサムネイル画像）を表示する。

図１３Ｄに示すように、ユーザー端末１０は、ストック情報表示部２１Ｃに表示されたアイテム画像４２Ｃの領域がクリック操作されたことを検出すると、そのアイテム画像４２Ｃ（アイテム情報）に対応付けられているイベント情報に従った処理を行う。

上記のように、ユーザー端末１０は、タブレット型の携帯端末ではなく、例えばパーソナルコンピュータであっても、前述の実施形態と同様の効果を得ることができる。

＜アイテム領域以外の領域が入力部によって選択された場合＞
上記の実施形態では、表示中のフレームに設定されたアイテム領域が入力部１３によって選択された場合を想定している。但し、上記の実施形態のようにアイテム領域を視聴者に選択させるようなインターフェース環境下では、視聴者が、アイテム領域以外の領域が入力部１３によって選択する可能性があり、このときに視聴者の選択した領域には、その視聴者の興味のある画像があると推測できる。そして、視聴者の嗜好情報は、ビジネス上の重要な情報となり得る。

図１４Ａは、アイテム領域以外の領域が入力部によって選択された様子の説明図である。ここでは、視聴者が、表示中の男優のネクタイの領域をタッチ操作している。このような場合、この視聴者が、男優のネクタイに興味を持っていると推測できる。

図１４Ｂは、ユーザー端末１０が取得する取得データの説明図である。アイテム領域以外の領域が入力部によって選択されたとき、ユーザー端末１０は、選択された領域の近傍の画像をフレームから抽出して、抽出データを取得する。また、抽出データには、抽出元の動画を特定するための動画データ名の情報と、抽出元のフレームのタイムコード情報と、入力部によって選択された座標（タッチ操作された座標）とを対応付けることが望ましい。また、ユーザー端末１０が、予め視聴者の属性情報（性別、年齢などの情報）を取得している場合には、その属性情報も抽出データに対応付けることが望ましい。そして、ユーザー端末１０は、図１４Ｂに示す取得データ（嗜好情報）を所定のデータ取得業者の宛先に送信すれば、データ取得業者は、ビジネス上の重要な情報となり得る視聴者の嗜好情報を取得することが可能である。

なお、ここでは、抽出データは静止画であるが、抽出データが、動画であっても良い。この場合、ユーザー端末１０は、アイテム領域以外の領域が入力部によって選択されたタイミングの前後における複数のフレームを抽出するとともに、抽出された各フレームから選択された領域の近傍の画像を抽出することによって、抽出データとなる動画を取得すると良い。

＝＝＝その他＝＝＝
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更・改良され得ると共に、本発明には、その等価物が含まれることは言うまでもない。

１ 動画配信サーバー、３ メタデータ配信サーバー、
５ プログラム配信サーバー、７ メタデータ作成端末、
９ 通信ネットワーク、１０ ユーザー端末、
１１ タッチパネル、１２ 表示部、１３ 入力部、
１５ 制御部、１７ 通信部、
２１ 基本画面、２１Ａ 動画表示部、２１Ｂ アイコン表示部、
２１Ｃ ストック情報表示部、２１Ｄ ブラウザ表示部、
２２ リモコンアイコン、２２Ａ コントローラー、
２３ インフォメーションアイコン、
４１ 枠（アイテム領域を示す画像）、
４２ アイテム画像、
４２Ａ 動画表示部に表示されたアイテム画像、
４２Ｂ アイコン表示部に表示されたアイテム画像、
４２Ｃ ストック情報表示部に表示されたアイテム画像、
４２Ｄ ブラウザ表示部に表示されたアイテム画像、
２１１ 枠表示ボタン、２１２ 演者アイコン、
２１３ 音楽アイコン、２１４ 場所アイコン

Claims (13)

1. 表示部と入力部とを備えた動画再生装置に、
   動画データに含まれるフレームを順次切り替えて前記表示部に表示することによって、動画を前記表示部に表示すること、
   前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定すること、及び、
   前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示すること
   を実行させる動画再生プログラムであって、
   前記フレームに少なくとも２つの前記アイテム領域が設定されているとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含されており、
   前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることを特徴とする動画再生プログラム。
2. 請求項１に記載の動画再生プログラムであって、
   前記フレームを前記表示部に表示する際に、前記フレームに設定された前記アイテム領域を示す画像を前記表示部に表示することを特徴とする動画再生プログラム。
3. 請求項１又は２に記載の動画再生プログラムであって、
   前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム情報としてアイテム画像が表示されることを特徴とする動画再生プログラム。
4. 請求項３に記載の動画再生プログラムであって、
   前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域の近傍に前記アイテム画像が表示されることを特徴とする動画再生プログラム。
5. 請求項３に記載の動画再生プログラムであって、
   前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム情報がストックされたことを示すストック情報表示部に前記アイテム画像が表示されることを特徴とする動画再生プログラム。
6. 請求項５に記載の動画再生プログラムであって、
   前記ストック情報表示部は、前記動画を表示する動画表示部の外側に配置されており、
   前記入力部によって、前記表示部に表示された前記フレームに設定された前記アイテム領域が選択され、選択された前記アイテム領域が当該アイテム領域から前記ストック情報表示部に向かって操作されたときに、前記ストック情報表示部に前記アイテム画像が表示されることを特徴とする動画再生プログラム。
7. 請求項１〜６のいずれかに記載の動画再生プログラムであって、
   前記アイテム情報としてイベント情報が予め設定されており、
   前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記イベント情報に従った処理が実行されることによって、前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることを特徴とする動画再生プログラム。
8. 請求項７に記載の動画再生プログラムであって、
   前記イベント情報は、設定されたアドレスのウェブページを表示することであり、
   前記ウェブページを表示することによって、前記アイテム領域に対応付けられたアイテム情報が前記表示部に表示されることを特徴とする動画再生プログラム。
9. 請求項１〜８のいずれかに記載の動画再生プログラムであって、
   前記アイテム領域以外の領域が前記入力部によって選択されたときに、選択された領域の近傍の画像を前記フレームから抽出することを特徴とする動画再生プログラム。
10. 表示部と、入力部と、制御部とを備え、
    前記制御部は、
    動画データに含まれるフレームを順次切り替えて前記表示部に表示することによって、動画を前記表示部に表示し、
    前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定し、
    前記表示部に表示された前記フレームに設定された前記アイテム領域が前記入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示するとともに、
    前記フレームに少なくとも２つの前記アイテム領域が設定されているとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含されており、前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示する
    ことを特徴とする動画再生装置。
11. 動画データと、前記動画データに対応するメタデータとに基づいて動画を再生する動画再生方法であって、
    動画データに含まれるフレームを順次切り替えて表示部に表示することによって、動画を前記表示部に表示すること、
    前記フレームにアイテム領域が予め設定されており、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定すること、
    前記表示部に表示された前記フレームに設定された前記アイテム領域が入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示すること、及び、
    前記フレームに少なくとも２つの前記アイテム領域が設定されているとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含されており、前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示すること
    を行うことを特徴とする動画再生方法。
12. 動画データと、前記動画データに対応するメタデータとを配信する動画配信システムであって、
    フレームを順次切り替えて動画再生装置の表示部に表示させることによって動画を前記表示部に表示させるための前記動画データを配信する動画配信サーバーと、
    前記フレームにアイテム領域を予め設定し、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定するための前記メタデータを配信するメタデータ配信サーバーと、
    前記表示部に表示された前記フレームに設定された前記アイテム領域が前記動画再生装置の入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示させるためのプログラムを配信するプログラム配信サーバーと
    を備え、
    前記メタデータ配信サーバーの配信する前記メタデータにおいて、前記フレームに少なくとも２つの前記アイテム領域が設定されているとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含されており、
    前記プログラム配信サーバーの配信する前記プログラムは、前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記動画再生装置に、前記一方の前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示させることを実行させる
    ことを特徴とする動画配信システム。
13. 動画データと、前記動画データに対応するメタデータとを配信する動画配信システムの前記メタデータを作成するメタデータ作成方法であって、
    前記動画配信システムは、
    フレームを順次切り替えて動画再生装置の表示部に表示させることによって動画を前記表示部に表示させるための前記動画データを配信する動画配信サーバーと、
    前記フレームにアイテム領域を予め設定し、前記フレームが順次切り替わるのに応じて、前記アイテム領域を切り替えて設定するための前記メタデータを配信するメタデータ配信サーバーと、
    前記表示部に表示された前記フレームに設定された前記アイテム領域が前記動画再生装置の入力部によって選択されたときに、前記アイテム領域に対応付けられたアイテム情報を前記表示部に表示させるためのプログラムを配信するプログラム配信サーバーと
    を備え、
    前記メタデータ配信サーバーに配信させる前記メタデータを作成するメタデータ作成端末は、
    前記フレームに少なくとも２つの前記アイテム領域が設定されるとともに、一方の前記アイテム領域の全範囲が、他方の前記アイテム領域に包含される場合、
    前記表示部に表示された前記フレームに設定された２つの前記アイテム領域の重複領域が前記入力部によって選択されたときに、前記一方の前記アイテム領域が選択されるように、２つの前記アイテム領域の優先順位を設定する
    ことを特徴とするメタデータ作成方法。
    
    

Images