JP5309322B2 - 管理サーバ及びビデオコンテンツ処理方法 - Google Patents

Description

本発明は、動画コンテンツの配信システムに関し、特に、ユーザが要求するビデオコンテンツの検索及び結合をし、結合されたビデオコンテンツを提供する技術に関する。

従来、複数のビデオコンテンツの中から、指定した条件と類似する映像を高速に検索する技術が知られている（例えば、特許文献１参照）。

また、複数のビデオコンテンツを動画の繋ぎ目にエフェクト処理を挿入すること、複数のビデオコンテンツの繋ぎ目の不自然さを解消する連続再生システムが知られている（例えば、特許文献２参照）。
特開２００７−２０１９５号公報 特開２００６−１２１２６７号公報

前述した従来の、類似する映像を高速に検索する技術は、ビデオコンテンツから抽出された各フレームの特徴に基づいて、ユーザが望むビデオコンテンツ中のシーンを高速検索する技術である。しかし、ビデオコンテンツを個々に利用することを目的としており、検索結果として複数のビデオコンテンツが出力された場合にも、検索された複数のコンテンツを組み合わせて一つのコンテンツとして利用することは考慮されていない。

また、従来の連続再生システムでは、複数のビデオコンテンツを繋ぎ合わせ、自然な一つの動画ファイルとして利用することを可能とする。しかし、このシステムは、１個単位のビデオコンテンツを取り扱うものであり、ビデオコンテンツから特定のシーンを抜き取り、結合するものではない。

本発明の目的は、ユーザが希望するシーンを集めたビデオコンテンツを生成するシステムを提供することであり、また、生成されたビデオコンテンツの目的に合致しない不要な動画データを、他のユーザが再利用可能とするシステムを提供することである。

本発明の代表的な一例を示せば以下の通りである。すなわち、格納されたビデオコンテンツを配信する配信サーバを備えるビデオコンテンツ配信システムに備わり、前記配信サーバに格納されたビデオコンテンツを管理する管理サーバであって、前記管理サーバは、前記配信サーバへ接続するために必要な情報を記憶する配信サーバ情報記憶部と、前記配信サーバに格納されたビデオコンテンツのメタ情報を収集するメタ情報収集処理手段と、前記収集されたメタ情報を記憶するメタ情報記憶部と、前記メタ情報記憶部に記憶されたメタ情報を検索することによって、ユーザによって指定された条件に合致するビデオコンテンツを特定する検索処理手段と、前記特定されたビデオコンテンツを取得し、所定の条件に従った効果を使用して、前記取得されたビデオコンテンツを結合する動画結合処理手段と、前記結合されたビデオコンテンツを格納する結合動画記憶部と、前記結合されたビデオコンテンツを送信する結合動画配信手段と、を備え、前記動画結合処理手段は、前記ユーザによって指定された各シーンの長さの制限を含む所定の条件に従って、シーンの長さが所定の長さより短い場合当該シーンを除外し、シーンの長さが所定の長さより長い場合当該シーンを除外することによって、前記各シーンの長さの制限に合致するビデオコンテンツを、前記特定されたビデオコンテンツから抽出し、前記抽出されたビデオコンテンツを取得し、前記ユーザによって指定されたシーンを結合するための画面効果を示す所定の条件に従って、前記取得されたビデオコンテンツを結合する。

本発明の実施形態によると、動画共有システムに格納されているが視聴される機会の少ないビデオコンテンツや、ビデオコンテンツ製作者が撮影したが、不要として利用しなかった映像を他のシステム利用者が有用な資材として新たなビデオコンテンツに利用する機会を提供することが可能となる。また、ビデオコンテンツの再利用を図ることが可能となる。

以下、本発明の実施の形態について図面に基づいて説明する。

図１は、本発明の実施の形態の画像処理システムの全体の構成を示すブロック図である。

本実施の形態の画像処理システムは、ビデオコンテンツ２００を保持する配信サーバ１１０及び配信サーバ１１０に保持されたビデオコンテンツ２００を管理する管理サーバ１００を備える。管理サーバ１００及び配信サーバ１１０は、ネットワーク１４０によって接続されている。また、ネットワーク１４０には、ビデオコンテンツ２００の配信を要求するユーザ端末１２０が接続されている。

管理サーバ１００は、配信サーバ１１０に保持されたビデオコンテンツ２００及びそれらのメタ情報を管理し、メタ情報を用いてビデオコンテンツ２００を検索し、ビデオコンテンツ２００を結合し、結合されたビデオコンテンツ２００を配信する。管理サーバ１００は、配信サーバリスト１０２、メタ情報記憶部１０３、結合動画記憶部１０４、メタ情報収集処理手段１０５、結合動画配信手段１０６、検索処理手段１０７及び動画結合処理手段１０８を備える。

配信サーバリスト１０２は、管理サーバ１００に接続されている配信サーバ１１０のＩＰアドレス等の情報を記憶する。メタ情報記憶部１０３は、配信サーバ１１０から収集したメタ情報を記憶する。結合動画記憶部１０４は、動画結合処理手段１０８によって作成されたビデオコンテンツ２００を記憶する。

メタ情報収集処理手段１０５は、配信サーバ１１０に保持されたビデオコンテンツ２００のメタ情報部２０２（図３参照）からメタ情報を収集し、収集されたメタ情報をメタ情報記憶部１０３に記憶する。結合動画配信手段１０６は、結合動画記憶部１０４に保持されているビデオコンテンツ２００をユーザ端末１２０に配信する。検索処理手段１０７は、メタ情報記憶部１０３に記憶されているメタ情報を用いて、ユーザ端末１２０によって指定された条件に合致するシーンを検索する。動画結合処理手段１０８は、ユーザ端末１２０からの指示に従ってビデオコンテンツ２００を結合し、新しいビデオコンテンツ２００を作成する。

配信サーバ１１０は、ビデオコンテンツ２００を保持し、保持されたビデオコンテンツ２００の特徴を解析し、保持されたビデオコンテンツ２００を配信する。配信サーバ１１０は、ビデオコンテンツ送信手段１１２、解析処理手段１１３及び記憶部１１４を備える。

ビデオコンテンツ送信手段１１２は、記憶部１１４に記憶されているビデオコンテンツ２００をユーザ端末１２０に配信する。解析処理手段１１３は、ビデオコンテンツ２００の特徴を解析する。記憶部１１４は、ビデオコンテンツ２００を記憶する。

なお、１台の配信サーバ１１０を図示したが、配信サーバ１１０は複数備わってもよい。

ネットワーク１４０は、インターネット、ＬＡＮ又はＷＡＮのいずれで構成してもよい。

図２は、本発明の実施の形態の管理サーバ１００のハードウェアの構成を示すブロック図である。

管理サーバ１００は、プロセッサ（ＣＰＵ）１００１、メモリ１００２、補助記憶装置１００３、入力装置１００４、出力装置１００５及びネットワークインターフェース１００６を備える。

プロセッサ１００１は、メモリ１００２に格納されているプログラムを実行し、ハードウェア全体を制御するプロセッサである。

メモリ１００２は、プロセッサ１００１によって実行されるプログラムを格納する。メモリ１００２は、例えば、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）のような半導体メモリで構成することができる。また、補助記憶装置１００３に格納されたプログラム及びデータが必要に応じて読み出され、読み出されたデータはメモリ１００２に格納される。

補助記憶装置１００３は、ハードディスクドライブ等の不揮発性記憶装置であり、メタ情報収集処理手段１０５、結合動画配信手段１０６、検索処理手段１０７及び動画結合処理手段１０８を実現するためのプログラムが格納されている。

入力装置１００４は、ユーザによる情報の入力を受け付ける。入力装置１００４は、例えば、キーボード及び／又はマウス等を含む。

出力装置１００５は、ユーザへの情報を表示する。出力装置１００５は、例えば、液晶表示装置のようなディスプレイ装置又はプリンタ等を含む。

ネットワークインターフェース１００６は、ネットワーク１４０と接続するためのインターフェースである。

ここまで、管理サーバ１００のハードウェアの構成について説明したが、配信サーバ１１０も同じハードウェアを備える。なお、ビデオコンテンツ送信手段１１２及び解析処理手段１１３は、プロセッサ１００１がメモリ１００２に格納されているプログラムを実行することによって実現される。

次に、本発明の実施の形態の配信サーバ１１０の動作について説明する。

配信サーバ１１０は、ユーザ端末１２０が作成し、公開するためにアップロードしたビデオコンテンツ２００を記憶部１１４に記憶している。ビデオコンテンツ送信手段１１２は記憶部１１４に記憶されたビデオコンテンツ２００を送信する。これによって、配信サーバ１１０は、動画配信サービスを提供している。

本発明の実施の形態では、配信サーバ１１０は、解析処理手段１１３によって、記憶部１１４に記憶されたビデオコンテンツ２００の特徴を定期的に解析し、解析結果を該当ビデオコンテンツ２００のメタ情報部２０２に記録する。このとき、既に、特徴が解析されているビデオコンテンツ２００については、新たに特徴を解析する必要はない。

次に、管理サーバ１００の動作について説明する。

管理サーバ１００は、このビデオコンテンツ配信システムに参加している配信サーバ１１０のＩＰアドレス等の配信サーバ１１０へアクセスするために必要な情報を配信サーバリスト１０２に格納している。メタ情報収集処理手段１０５は、配信サーバリスト１０２に情報が格納されている配信サーバ１１０から、配信サーバ１１０によって保持されているビデオコンテンツ２００のメタ情報を収集し、収集したメタ情報をメタ情報記憶部１０３に記憶する。

検索処理手段１０７は、ユーザ端末１２０が指定した条件に合致するシーンをメタ情報部１０３に記憶するメタ情報から検索し、この条件に合致するシーンが、どの配信サーバ１１０に保持されるどのビデオコンテンツ２００の何分何秒から何分何秒までであるかを、検索結果として出力する。

動画結合処理手段１０８は、検索処理手段１０７によって出力された検索結果を受け取り、ユーザ端末１２０による指定に合致するシーンを配信サーバ１１０から収集する。そして、収集したシーンを結合して新しいビデオコンテンツ２００を作成し、作成したビデオコンテンツ２００を結合動画記憶部１０４に記憶する。

結合動画配信手段１０６は、動画結合処理手段１０８で作成され、結合動画記憶部１０４に記憶された新ビデオコンテンツ２００を、ユーザ端末１２０へ配信する。

図３は、本発明の実施の形態のビデオコンテンツ２００の構成を示す図である。

ビデオコンテンツ２００は、動画部２０１及びメタ情報部２０２を含む。

動画部２０１は、映像本体である。メタ情報部２０２は、ビデオ撮影時又はコンテンツ作成時に、ユーザによって記録される撮影日時、撮影場所、撮影内容及びコメント等の情報をメタ情報として保持する。

図４は、本発明の実施の形態のビデオコンテンツ２００の特徴を解析する処理のフローチャートである。このビデオコンテンツ２００の特徴解析処理は、配信サーバ１１０の解析処理手段１１３において実行される。

まず、解析処理手段１１３は、格納されているビデオコンテンツ２００の一覧を記憶部１１４から入手する（ステップ３００）。次に、入手した一覧の先頭から順に、ビデオコンテンツ２００を選択し（ステップ３０１）、ステップ３０１で選択されたビデオコンテンツ２００の解析済フラグが「ＯＮ」になっているか否かを判定する（ステップ３０２）。

ステップ３０２における判定の結果、解析済フラグが「ＯＮ」であると判定された場合は、ビデオコンテンツ２００の特徴を解析することなく、ステップ３０６に進む。一方、解析済フラグが「ＯＮ」ではないと判定された場合は、ステップ３０３に進み、ビデオコンテンツ２００の特徴を解析する。

ステップ３０３では、ビデオコンテンツ２００の特徴を解析し、解析結果を出力する。この特徴解析は、ビデオコンテンツ２００の各フレームに含まれる画像の特徴量を抽出し、予め記録された画像の特徴量と一致しているかを判定する。そして、一致すると判定された特徴量に対応するテキストを解析結果とすることができる。その後、解析されたビデオコンテンツ２００のメタ情報部２０２に、解析結果を追記し（ステップ３０４）、解析されたビデオコンテンツ２００の解析済フラグを「ＯＮ」に設定する（ステップ３０５）。

その後、ステップ３００で一覧を取得した全てのビデオコンテンツ２００の解析済フラグが「ＯＮ」に設定されているか否かを判定する（ステップ３０６）。その結果、全てのビデオコンテンツ２００が解析済でない場合は、ステップ３０１に戻り、未解析のビデオコンテンツ２００を解析する。一方、全てのビデオコンテンツ２００が解析済である場合は、このビデオコンテンツ２００の特徴解析処理を終了する。

図５は、本発明の実施の形態のビデオコンテンツ２００のメタ情報を配信サーバ１１０から収集する処理のフローチャートである。このメタ情報収集処理は、管理サーバ１００のメタ情報収集処理手段１０５において実行される。

まず、メタ情報収集処理手段１０５は、配信サーバリスト１０２を参照し、管理サーバ１００によって管理されている配信サーバ１１０の一覧を取得する（ステップ４００）。そして、取得した一覧から、配信サーバ１１０の情報を先頭から順に読み出し、配信サーバ１１０を選択する（ステップ４０１）。

次に、選択された配信サーバ１１０にメタ情報の送信を要求し、配信サーバ１１０が保持する全ビデオコンテンツ２００のメタ情報部２０２からメタ情報を受信し（ステップ４０２）、配信サーバ１１０から受信したメタ情報をメタ情報記憶部１０３へ記憶する（ステップ４０３）。

最後に、配信サーバリスト１０２に含まれる全ての配信サーバ１１０からメタ情報を収集したか否かを判定する（ステップ４０４）。まだ、メタ情報を収集していない配信サーバ１１０がある場合は、配信サーバ選択ステップ４０１に戻り、次の配信サーバ１１０からメタ情報を収集する。一方、全配信サーバ１１０からメタ情報を収集している場合は、このメタ情報収集処理を終了する。

図６は、本発明の実施の形態の動画を結合する処理のフローチャートである。この動画結合処理は、管理サーバ１００の動画結合処理手段１０８において実行される。

まず、動画結合処理手段１０８は、検索処理手段１０７によって出力された検索結果を受信する（ステップ５００）。次に、ユーザ端末１２０によるユーザの指定に従って検索結果を整列する（ステップ５０１）。ここで、ユーザは、シーンの長さ順、時系列等の条件を指定することができる。

続いて、一つのシーンの長さを制限するか否かの指定をユーザ端末１２０から受け付ける（ステップ５０２）。シーンの長さを制限する場合は、ステップ５０３に進む。一方、シーンの長さを制限しない場合は、ステップ５０４に進む。

ステップ５０３では、制限の対象となるシーンの長さを指定し、検索結果から制限対象となるシーンを除外する。例えば、１シーンが短すぎる場合は、映像としての価値が低いため、結合すべき動画から除外するとよい。１シーンが長すぎる場合は、結合された動画の再生時間が全体として長時間になるため、結合すべき動画から長いシーンを除外するとよい。また、長いシーンを除外することにより、長い１シーンによって視聴者が飽きる状況を防ぐこともできる。

次に、ステップ５０４では、動画と動画との繋ぎ目を自然に見せるために画面効果を入れるか否かの指定をユーザ端末１２０から受け付ける。動画の間に画面効果を入れる場合は、ステップ５０５に進む。一方、動画の間に画面効果を入れない場合は、ステップ５０６に進む。

ステップ５０５では、動画と動画との間に挿入される画面効果を選択し、選択された画面効果を動画と動画との間に挿入する。

ステップ５０６では、ステップ５０１において整列した順にビデオコンテンツ２００を結合し、各ビデオコンテンツ２００間に画面効果を挿入して、新たなビデオコンテンツ２００を作成する。

最後に、ステップ５０７では、ステップ５０６で作成された新たなビデオコンテンツ２００を結合動画記憶部１０４に記憶し、動画結合処理手段１０８を終了する。

本発明の適用例を以下に示す。

学校の運動会などのイベント等で、子供を撮影する保護者の姿をよく見ることができる。この様にして保護者が自分の子供を撮影した場合に、撮影対象となっている保護者の子供とは別の子供が映っていることがある。このビデオコンテンツを撮影した保護者にとって、自分の子供と異なる子供が映ったシーンは不要なものである。しかし、違う子供が写ったシーンは、偶然に撮影されていた別の子供の保護者にとっては、有用なシーンとなる可能性がある。

この様に、イベント等を複数のビデオカメラで撮影する場合に、撮影者自身が撮影した映像だけでなく、目的とする対象が映っている他の撮影者が撮影したシーンをも収集し、収集したシーンを結合することによって、同じシーンを複数の角度から撮影したビデオコンテンツを手軽に作成することが可能となる。

本発明の実施の形態の画像処理システムの全体の構成を示すブロック図である。 本発明の実施の形態の管理サーバのハードウェアの構成を示すブロック図である。 本発明の実施の形態のビデオコンテンツの構成を示す図である。 本発明の実施の形態の実施の形態のビデオコンテンツの特徴を解析する処理のフローチャートである。 本発明の実施の形態のビデオコンテンツのメタ情報を配信サーバから収集する処理フローチャートである。 本発明の実施の形態の動画を結合する処理のフローチャートである。

符号の説明

１００ 管理サーバ
１００１ ＣＰＵ
１００２ メモリ
１００３ 補助記憶装置
１００４ 入力装置
１００５ 出力装置
１００６ ネットワークインターフェース
１０２ 配信サーバリスト
１０３ メタ情報記憶部
１０４ 結合動画記憶部
１０５ メタ情報収集処理手段
１０６ 結合動画配信手段
１０７ 検索処理手段
１０８ 動画結合処理手段
１１０ 配信サーバ
１１２ ビデオコンテンツ送信手段
１１３ 解析処理手段
１１４ 記憶部
１４０ ネットワーク
１２０ ユーザ
２００ ビデオコンテンツ
２０１ 動画部
２０２ メタ情報部

Claims (3)

1. 格納されたビデオコンテンツを配信する配信サーバと、前記配信サーバに格納されたビデオコンテンツを管理する管理サーバと、を備えるビデオコンテンツ配信システムにおける管理サーバであって、
   前記配信サーバへ接続するために必要な情報を記憶する配信サーバ情報記憶部と、
   前記配信サーバに格納されたビデオコンテンツのメタ情報を収集するメタ情報収集処理手段と、
   前記収集されたメタ情報を記憶するメタ情報記憶部と、
   前記メタ情報記憶部に記憶されたメタ情報を検索することによって、ユーザによって指定された条件に合致するビデオコンテンツを特定する検索処理手段と、
   前記特定されたビデオコンテンツを取得し、所定の条件に従った効果を使用して、前記取得されたビデオコンテンツを結合する動画結合処理手段と、
   前記結合されたビデオコンテンツを格納する結合動画記憶部と、
   前記結合されたビデオコンテンツを送信する結合動画配信手段と、を備え、
   前記動画結合処理手段は、
   前記ユーザによって指定された各シーンの長さの制限を含む所定の条件に従って、シーンの長さが所定の長さより短い場合当該シーンを除外し、シーンの長さが所定の長さより長い場合当該シーンを除外することによって、前記各シーンの長さの制限に合致するビデオコンテンツを、前記特定されたビデオコンテンツから抽出し、
   前記抽出されたビデオコンテンツを取得し、
   前記ユーザによって指定されたシーンを結合するための画面効果を示す所定の条件に従って、前記取得されたビデオコンテンツを結合することを特徴とする管理サーバ。
2. 前記動画結合処理手段は、
   所定の条件に従って前記特定されたビデオコンテンツの検索結果を整列し、
   前記ユーザによって指定された各シーンの長さの制限を含む所定の条件に従って、前記各シーンの長さの制限に合致するビデオコンテンツを、前記特定され、かつ、整列されたビデオコンテンツから抽出することを特徴とする請求項１に記載の管理サーバ。
3. 格納されたビデオコンテンツを配信する配信サーバ、及び、前記配信サーバに格納されたビデオコンテンツを管理する管理サーバを備えるビデオコンテンツ配信システムにおけるビデオコンテンツ処理方法であって、
   前記管理サーバは、メタ情報記憶部を有し、
   前記方法は、
   前記配信サーバに格納されたビデオコンテンツのメタ情報を収集し、
   前記収集されたメタ情報を前記メタ情報記憶部に記憶させ、
   前記メタ情報記憶部に記憶されたメタ情報を検索することによって、ユーザによって指定された条件に合致するビデオコンテンツを特定し、
   前記特定されたビデオコンテンツを前記配信サーバから取得し、
   前記ユーザによって指定された各シーンの長さの制限を含む所定の条件に従って、シーンの長さが所定の長さより短い場合当該シーンを除外し、シーンの長さが所定の長さより長い場合当該シーンを除外することによって、前記各シーンの長さの制限に合致するビデオコンテンツを、前記特定されたビデオコンテンツから抽出し、
   前記抽出されたビデオコンテンツを取得し、
   前記ユーザによって指定されたシーンを結合するための画面効果を示す所定の条件に従って、前記取得されたビデオコンテンツを結合することを特徴とするビデオコンテンツ処理方法。

Images