JP6087395B2 - 動画像配信装置、及びプログラム - Google Patents

Description

本発明は、動画像配信装置、及びプログラムに関する。

一般にデータ量の多い動画像を配信等する場合には、ＭＰＥＧ（Motion Picture Experts Group）所定の方法等により符号化し、圧縮処理されている。動画像データは一連の静止画（フレーム）として表現されるが、こうした符号化方法では、ある時点での静止画全体を含み、予測を用いずに符号化されるフレーム（以下、キーフレームと呼ぶ）と、前後に出現するキーフレームからの差分等、キーフレームの情報を利用して再生されるフレーム（予測フレームと呼ぶ）とを含むデータとして、動画像データが生成される。このため、ある動画像データの配信中に、他の動画像データを割り込み配信する場合に、仮に配信中の動画像データの配信を予測フレームの直前で中断して他の動画像データ（キーフレームが含まれる）を配信し、その後、元の動画像データを予測フレームから配信を再開すると、他の動画像データに含まれていたキーフレームに基づいてフレームの画像が生成されるので、画像が乱れることとなる。

つまり、こうした割り込み配信を行うには、配信中の動画像データの配信を、必ずキーフレームの直前で中断しなければならない。

なお、動画像の再生技術において、所定の間隔で挿入されるフレーム間圧縮されていないキーフレームと、前フレームとの差分データを含む差分フレームにより構成されるフレーム間圧縮画像をモニタに静止画像として表示するビデオゲーム装置であって、静止画像表示を指示するポーズ入力の時機が、差分フレームを表示する時機である時、次のキーフレームが現れるまでポーズ処理を保留してキーフレームのみにおいて静止画像表示を行うビデオゲーム装置が、特許文献１に開示されている。

特開平８−２２１０４５号公報

上述のように、上記従来の動画像データの配信技術では、ある動画像データの配信中に、他の動画像データの割り込み配信を行うには、配信中の動画像データの配信を、必ずキーフレームの直前で中断しなければならず、割り込みタイミングが自由にできないという問題点があった。

すなわち、例えばライブ中継等の動画像データを配信しているとき、タイトルをスーパーインポーズした画像が終了したそのタイミングで、広告用の動画像データを割り込み配信しようとすると、タイトルのスーパーインポーズが終了した時点のフレームが、キーフレームとなっていなければ画像が乱れる結果となるが、従来の動画像データの配信においては、タイトルのスーパーインポーズが終了した時点のフレームがキーフレームとなっているとは限らず、次のキーフレームの位置まで待って割り込み配信を行うこととなり、結果として配信側にとって意図しないタイミングで広告用の動画像データが配信されることとなっていた。

本発明は上記実情に鑑みて為されたもので、配信者が意図したタイミングにできるだけ近いタイミングで、割り込み配信を可能とする動画像配信装置、及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、複数の動画像データを連続して配信する動画像配信装置であって、前記動画像データはそれぞれ、再生の起点となり得るキーフレームを少なくとも一つ含み、前記配信の対象とする動画像データの元となる動画像元データを受け入れる手段と、前記受け入れた動画像元データを所定の方法で符号化して、前記配信の対象とする動画像データを生成する生成手段と、追加動画像データとともに、当該追加動画像を配信するべきタイミングを指定するタイミング指定情報を受け入れる手段と、を含み、前記生成手段は、前記タイミング指定情報により指定されるタイミングで配信されているべき動画像データと、それ以外の動画像データとで、前記キーフレームの挿入頻度を異ならせることとしたものである。

またここで、前記生成手段は、前記タイミング指定情報により指定されるタイミングで配信されているべき動画像データについては、キーフレームのみを含んだ動画像データとして生成してもよい。

本発明の一態様に係るプログラムは、コンピュータを、複数の動画像データを連続して配信する配信手段であって、前記動画像データがそれぞれ、再生の起点となり得るキーフレームを少なくとも一つ含む配信手段と、前記配信の対象とする動画像データの元となる動画像元データを受け入れる手段と、前記受け入れた動画像元データを所定の方法で符号化して、前記配信の対象とする動画像データを生成する生成手段と、追加動画像データとともに、当該追加動画像を配信するべきタイミングを指定するタイミング指定情報を受け入れる手段と、として機能させ、前記生成手段として機能させる際には、前記タイミング指定情報により指定されるタイミングで配信されているべき動画像データと、それ以外の動画像データとで、前記キーフレームの挿入頻度を異ならせることとしたものである。

本発明によれば、配信者が意図したタイミングにできるだけ近いタイミングで、割り込み配信が可能となる。

本発明の実施の形態に係る動画像配信装置の例を表す構成ブロック図である。 本発明の実施の形態に係る動画像配信装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る動画像配信装置が扱うデータの内容例を表す説明図である。 本発明の実施の形態に係る動画像配信装置による動画像データの生成処理例を表すフローチャート図である。 本発明の実施の形態に係る動画像配信装置によるプレイリストデータの生成処理例を表すフローチャート図である。 本発明の実施の形態に係る動画像配信装置が配信する動画像データの再生例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る動画像配信装置１は、図１に例示するように、制御部１１と、記憶部１２と、通信部１３とを含んで構成され、ネットワーク等の通信手段を介して端末２との間で通信可能に接続される。

ここで制御部１１はＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の一例では、この制御部１１は、配信の対象とする動画像データの元となる動画像元データを受け入れ、当該受け入れた動画像元データを所定の方法で符号化して、配信の対象とする動画像データを生成する。ここで符号化の方法は、例えばＭＰＥＧ等で定められた方法であり、生成される動画像データはそれぞれ、静止画の全体を含み、再生の起点となり得るキーフレーム（ＭＰＥＧであればＩフレームに相当するフレーム）を少なくとも一つ含む。

またこの制御部１１は、追加動画像データとともに、当該追加動画像データを配信するべきタイミングを指定するタイミング指定情報を受け入れる。そして制御部１１は、当該タイミング指定情報により指定されるタイミングで配信されているべき動画像データと、それ以外の動画像データとで、キーフレームの挿入頻度を異ならせる。

制御部１１はさらに、受け入れたタイミング指定情報で指定されるタイミングの直後にあるキーフレームを検索し、当該キーフレームの直前のフレームで配信を中断して、当該タイミング指定情報とともに受け入れた追加動画像に基づいて生成される動画像データを割り込んで配信する。制御部１１は、当該割り込んで配信した動画像データの配信が終了すると、中断していた動画像データの配信を再開する。この制御部１１の動作については後に詳しく述べる。

記憶部１２は、ディスクデバイスやメモリデバイス等であり、制御部１１によって実行されるプログラムを保持している。この記憶部１２に保持されるプログラムは、ＤＶＤ−ＲＯＭ等のコンピュータ可読、かつ非一時的（Non-transitory）な記憶媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。本実施の形態では、この記憶部１２は、制御部１１のワークメモリとしても動作する。

通信部１３は、ネットワークインタフェース等であり、制御部１１から入力される指示に従って、指示された宛先に対してネットワークを介してデータを送出する。またこの通信部１３はネットワークを介して受信したデータを制御部１１に出力する。

また端末２は、例えばスマートフォンや、パーソナルコンピュータ等のデバイスであり、ＭＰＥＧ等の方式で符号化された動画像データを受信して、当該受信した動画像データに基づいて動画像の再生処理を行う。この端末２による再生処理の方法は広く知られているので、ここでの詳しい説明を省略する。

本実施の形態において動画像配信装置１の制御部１１は、機能的には図２に例示するように、元データ受入部３１と、追加動画像受入部３２と、動画像データ生成部３３と、プレイリスト生成部３４と、配信制御部３５とを含んで構成される。

元データ受入部３１は、配信の対象とする動画像データの元となる動画像元データを受け入れる。本実施の形態において動画像元データは、再生時刻「０」から「Ｔ」までの動画像を表すデータであり、具体的には単位時間あたりＮフレーム（Ｎは１以上の自然数）の一連の静止画像データ（ＲＡＷデータ）であってもよいし、当該ＲＡＷデータを、ＭＰＥＧその他の所定の方法で符号化したデータ（この場合は、単位時間あたりＮフレーム分の、キーフレームと予測フレームとの組）であってもよい。また元データ受入部３１は、この再生時刻「０」から「Ｔ」までの全体を一度に受け入れる必要はなく、例えばΔＴ（ΔＴ＜Ｔ）ずつ逐次的に受け入れてもよい。

本実施の形態の例では、この元データ受入部３１は、動画像元データに含まれる各フレームのデータを、当該フレームの先頭（再生時刻「０」の位置）から昇順に付されたフレーム番号に関連付けて記憶部１２に格納する（図３（ａ））。ここでの例では単位時間あたりＮフレームとしているので、フレーム番号Ｆ（Ｆは１以上の自然数）のフレームが再生されるべき時刻（再生時刻）はＦ／Ｎで表される。

追加動画像受入部３２は、配信の対象となった動画像データの配信中に割り込んで配信するべき少なくとも一つの動画像データと、当該動画像データを割り込んで再生するべき再生時刻（配信中の動画像データの再生時刻）を表すタイミング指定情報とを受け入れて、これらを関連付けて、追加動画像データベースとして記憶部１２に格納する（図３（ｂ））。

動画像データ生成部３３は、元データ受入部３１が受け入れた動画像元データを所定の方法で符号化し、配信の対象となる動画像データを生成する。本実施の形態の一例において、この動画像データ生成部３３は、元データ受入部３１が受け入れた動画像元データを所定の時間（例えば１秒）ごとの動画像情報に分割し、分割して得られた各動画像情報を符号化して、配信の対象となる上記所定の時間ごとの動画像データを生成する。

一例として動画像データ生成部３３は、図４に例示する処理を実行する。すなわち、動画像データ生成部３３は、動画像元データとして単位時間あたりＮフレーム分のＲＡＷデータを、Ｎフレームずつ、つまりフレーム番号Ｆ＝ｆiから、Ｆ＝ｆi＋Ｎ−１までのフレームのデータを取り出す（Ｓ１）。ここでｉ＝１，２，…なる整数であり、ｉは当初は「１」に初期化されているものとする。また、ｆ1＝０、ｆn+1＝ｆn＋Ｎとする。

また動画像データ生成部３３は、記憶部１２に格納されている追加動画像データベースに記録されたタイミング指定情報を参照し、再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、当該タイミング指定情報で指定される時刻が含まれているか否か（タイミング指定情報が複数あれば、そのいずれかが含まれているか否か）を調べる（Ｓ２）。

ここで再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、当該タイミング指定情報で指定される時刻が含まれていなければ（Noならば）、つまり、処理Ｓ１で取り出したフレームのデータの再生中に割り込んで再生する追加動画像データがなければ、動画像データ生成部３３は、当該取り出したフレームのうち、先頭のフレーム（再生時刻が最も早いフレーム）ｆiをキーフレーム（例えばＭＰＥＧにおけるＩフレーム）として、処理Ｓ１で取り出したフレームのデータを符号化する（第１符号化したデータを取得：Ｓ３）。この処理Ｓ３における符号化においては、例えばｍフレーム（ｍは２≦ｍ≦Ｎなる整数）ごとのフレームをキーフレームとして、残りのフレーム（キーフレームとしていないフレームのデータ）を、直前のキーフレームのデータを用いて再生される予測フレーム（例えばＭＰＥＧにおけるＰフレームまたはＢフレーム）として符号化する。

そして動画像データ生成部３３は、符号化により得られた動画像データをプレイリスト生成部３４に出力し（Ｓ４）、さらに符号化していないフレームのデータがあるか否か（フレーム番号ｆi+1＝ｆi＋Ｎのデータがあるか）を調べる（Ｓ５）。ここで符号化していないフレームのデータがあれば（Yesならば）、動画像データ生成部３３は、ｉを「１」だけインクリメントして（Ｓ６）、処理Ｓ１に戻って処理を続ける。また処理Ｓ５において符号化していないフレームのデータがなければ（Noならば）、動画像データ生成部３３は処理を終了する。

また処理Ｓ２において、再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、当該タイミング指定情報で指定される時刻が含まれていれば（Yesならば）、つまり、処理Ｓ１で取り出したフレームのデータの再生中に割り込んで再生する追加動画像データがあるならば、動画像データ生成部３３は、当該取り出したフレームのうち、先頭のフレーム（再生時刻が最も早いフレーム）ｆiをキーフレーム（例えばＭＰＥＧにおけるＩフレーム）として、処理Ｓ１で取り出したフレームのデータを符号化する（第２符号化したデータを取得：Ｓ７）。この処理Ｓ７における符号化においては、例えばｍ′フレーム（ｍ′は１≦ｍ′＜ｍ≦Ｎなる整数）ごとのフレームをキーフレームとして、残りのフレーム（キーフレームとしていないフレームのデータ）を、直前のキーフレームのデータを用いて再生される予測フレーム（例えばＭＰＥＧにおけるＰフレームまたはＢフレーム）として符号化する。なお、ｍ′＝１の場合はすべてのフレームをキーフレームとして符号化する（つまり、キーフレームのみを含んだ動画像データを生成する）こととなる。そして動画像データ生成部３３は、処理Ｓ４に移行して処理を続ける。

なお、ここでの説明では、動画像データ生成部３３が処理Ｓ３，Ｓ７において、第１符号化または第２符号化の処理を行うこととして説明したが、本実施の形態では、例えば処理Ｓ１と処理Ｓ２との間で、第１符号化したデータと、第２符号化したデータとをそれぞれ生成しておき、処理Ｓ３では当該事前に生成したデータのうち、第１符号化したデータを取得することとし、処理Ｓ７では当該事前に生成したデータのうち、第２符号化したデータを取得することとしてもよい。

これら追加動画像受入部３２と、動画像データ生成部３３との動作により、追加動画像データが割り込んで配信されるべき時刻を表すタイミング指定情報により指定されるタイミングで配信されているべき動画像データ（その配信中に追加動画像データが割り込んで配信される動画像データ）と、それ以外の動画像データ（その配信中に追加動画像データが割り込んで配信されることがない動画像データ）とで、キーフレームの挿入頻度が異ならされる。

プレイリスト生成部３４は、動画像データ生成部３３が、動画像元データを分割し、当該分割された動画像情報をそれぞれ符号化して得た複数の動画像データを受け入れる。ここで受け入れる動画像データのうち、その配信中に追加動画像データが割り込んで配信される動画像データは図４の処理Ｓ７にて第２符号化された動画像データ（ｍ′フレームごとにキーフレームが含まれる動画像データ）であり、その配信中に追加動画像データが割り込んで配信されることがない動画像データは図４の処理Ｓ３にて第１符号化された動画像データ（ｍ′＜ｍなる、ｍフレームごとにキーフレームが含まれる動画像データ）となっている。

プレイリスト生成部３４は、動画像データ生成部３３が出力する動画像データ（Ｆ＝ｆiから、Ｆ＝ｆi＋Ｎ−１の動画像元データを符号化したデータ）を、その配信順を表す情報である値ｉに関連付けて記憶部１２に格納する（図３（ｃ））。また、このプレイリスト生成部３４は、次の処理を実行する。すなわちプレイリスト生成部３４は、図５に示すように、変数ｉを「１」に初期化し、空のプレイリストデータを生成して記憶部１２に格納してから（初期化処理：Ｓ１１）、配信順の値ｉに関連付けて記憶部１２に格納した動画像データを読み出す（Ｓ１２）。また、記憶部１２に格納されている追加動画像データベースに記録されたタイミング指定情報を参照し、処理Ｓ１２で読み出した動画像データの再生時間である再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、当該タイミング指定情報で指定される時刻が含まれているか否か（タイミング指定情報が複数あれば、そのいずれかが含まれているか否か）を調べる（Ｓ１３）。

ここで、再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、当該タイミング指定情報で指定される時刻が含まれていなければ（Noならば）、つまり、処理Ｓ１２で読み出した動画像データの配信中に追加動画像データを割り込み配信しないならば、プレイリスト生成部３４は、プレイリストデータの末尾に、配信順を表す値ｉを追記する（Ｓ１４）。そして配信順の値ｉ＋１に関連付けて記憶部１２に格納された動画像データがあるか否かを調べ（Ｓ１５）、配信順の値ｉ＋１に関連付けて記憶部１２に格納された動画像データがあるならば（Yesならば）、ｉを「１」だけインクリメントして（Ｓ１６）、処理Ｓ１２に戻って処理を続ける。またこの処理Ｓ１５において、配信順の値ｉ＋１に関連付けて記憶部１２に格納された動画像データがなければ（Noならば）、プレイリスト生成部３４は、処理を終了するか、あるいは配信順の値ｉ＋１に関連付けて動画像データを記憶部１２に格納するまで待機する。

プレイリスト生成部３４は、また、処理Ｓ１３において、再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、タイミング指定情報で指定される時刻が含まれていたときには（Yesならば）、処理Ｓ１２で読み出した動画像データに含まれるキーフレームのうち、タイミング指定情報で指定される時刻に最も近いキーフレーム（あるいはタイミング指定情報で指定される時刻の直後にあるキーフレーム、以下、これらをまとめて分割位置キーフレームと呼ぶ）を検索する（Ｓ１７）。

プレイリスト生成部３４は、処理Ｓ１２で読み出した動画像データを、その先頭のフレームから処理Ｓ１７の検索により見出した分割位置キーフレームの一つ前のフレームまでの部分（第１部分）と、処理Ｓ１７の検索により見出した分割位置キーフレームから最後のフレームまでの部分（第２部分）とに分割して、配信順ｉと、第１部分と第２部分とのいずれであるかを識別する情報（部分識別情報と呼ぶ；例えば配信順ｉに連接して第１部分については符号「ａ」を付し、第２部分については符号「ｂ」を付すものでもよい）とに関連付けて記憶部１２に格納する（Ｓ１８）。

プレイリスト生成部３４は、配信順ｉと第１部分であることを表す部分識別情報とをプレイリストデータの末尾に追記し、さらに処理Ｓ１３において再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に含まれると判断されたタイミング指定情報に関連付けて記憶部１２に格納されている追加動画像データを特定する情報（例えば追加動画像データのファイル名等）をプレイリストデータの末尾に追記し、次いで、配信順ｉと第２部分であることを表す部分識別情報とをプレイリストデータの末尾に追記する（Ｓ１９）。そしてプレイリスト生成部３４は、処理Ｓ１５に移行して処理を続ける。

配信制御部３５は、プレイリスト生成部３４が生成しているプレイリストデータを記憶部１２から読み出して、当該プレイリストデータの先頭から順に、記録されている情報を取り出す。そして配信制御部３５は、取り出した情報で特定される動画像データを記憶部１２から読み出して、動画像データを要求している端末２に対して配信する。ここで動画像データを要求する端末２を認証して管理し、当該端末２を特定する情報（ネットワークアドレス等）を得て、配信を行う処理については広く知られているので、詳しい説明を省略する。

本実施の形態は、以上の構成を備えており、次のように動作する。以下の例では、本実施の形態の動画像配信装置１には、単位時間あたりＮフレーム分のＲＡＷデータが動画像元データとして入力されるものとする。また動画像配信装置１は、利用者から予め、動画像データの配信中に割り込んで配信されるべき追加動画像データと、その割り込みの時点（動画像データの再生時刻）を表すタイミング指定情報との入力を受けて、図３（ｂ）に例示した追加動画像データベースを記憶部１２に格納しておくものとする。

動画像配信装置１は、入力された動画像元データを受け入れて記憶し、当該記憶した動画像元データを予め定めた単位で、例えばＮフレームずつ取り出す。ここで動画像配信装置１がｉ回目に取り出したＮフレーム分のデータは、動画像元データの先頭からｆi＋１番目から、ｆi＋Ｎ−１番目のフレームのデータとなる。

動画像配信装置１は、また、記憶部１２に格納されている追加動画像データベースに記録されたタイミング指定情報を参照し、取り出したＮフレーム分のデータから得られる動画像データの再生中に追加動画像データを割り込んで配信するか否か、つまり再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、タイミング指定情報で指定される時刻が含まれているか否かを調べる。

ここで、取り出したＮフレーム分のデータから得られる動画像データの再生中に追加動画像データを割り込んで配信しないと判断したときには、動画像配信装置１は、当該取り出したＮフレーム分のデータについて、例えば従来と同様に、ｍフレーム（ｍは２≦ｍ≦Ｎなる整数）ごとのフレームをキーフレームとして、残りのフレーム（キーフレームとしていないフレームのデータ）を、直前のキーフレームのデータを用いて再生される予測フレーム（例えばＭＰＥＧにおけるＰフレームまたはＢフレーム）として符号化して、動画像データを生成する。本実施の形態の一例では、ｍ＝Ｎ、つまり取り出したＮフレーム分のデータの最初のフレームのみをキーフレームとし、残るフレームを予測フレームとして符号化して、動画像データを生成する。

動画像配信装置１は、この符号化の結果として得られた動画像データを、取り出した回数ｉを、配信順を表す情報として、この配信順を表す情報に関連付けて記憶部１２に蓄積する。

また、取り出したＮフレーム分のデータから得られる動画像データの再生中に追加動画像データを割り込んで配信すると判断したときには、動画像配信装置１は、当該取り出したＮフレーム分のデータについて、ｍ′フレーム（ｍ′は１≦ｍ′＜ｍ≦Ｎなる整数）ごとのフレームをキーフレームとして、残りのフレーム（キーフレームとしていないフレームのデータ）を、直前のキーフレームのデータを用いて再生される予測フレーム（例えばＭＰＥＧにおけるＰフレームまたはＢフレーム）として符号化して動画像データを生成する。本実施の形態のある例では、ｍ′＝１とする。この場合、すべてのフレームがキーフレームとして符号化される。動画像配信装置１は、この符号化の結果として得られた動画像データを、取り出した回数ｉを、配信順を表す情報として、この配信順を表す情報に関連付けて記憶部１２に蓄積する。

この符号化の処理により、動画像配信装置１の記憶部１２には、図３（ｃ）に例示したように、配信の対象となる一連の動画像データが配信順を表す情報に関連付けて格納される。

また動画像配信装置１は、この符号化の処理と並行して、動画像の配信のためのプレイリストを生成して配信を実行する。つまり動画像配信装置１は、ｊ＝１から順にｊ＝１，２，３…と昇順にカウントしつつ、動画像元データを分割し、符号化して得られた複数の動画像データのうち、再生時刻ｆj／Ｎから（ｆj＋Ｎ−１）／Ｎまでの間の動画像データ（配信順ｊに関連付けられている動画像データ）を読み出して配信を行う。このとき動画像配信装置１は、読み出したｊ番目の配信順の動画像データを配信する間に、割り込み配信をするべき追加動画像データがあるか否かを調べる。つまり、読み出したｊ番目の配信順の動画像データに対応する再生時刻ｆj／Ｎから（ｆj＋Ｎ−１）／Ｎまでの間の時刻を表すタイミング指定情報が追加動画像データベースに記録されているか否かを調べる。

ここで、読み出したｊ番目の配信順の動画像データを配信する間に、割り込み配信をするべき追加動画像データがなければ、動画像配信装置１は、プレイリストデータに当該動画像データを特定する情報（例えば配信順の情報ｊ）を追記する。また、読み出したｊ番目の配信順の動画像データを配信する間に、割り込み配信をするべき追加動画像データがあれば、動画像配信装置１は、読み出した動画像データに含まれるキーフレームのうち、タイミング指定情報で指定される時刻に最も近いキーフレームを検索する。動画像配信装置１は、検索により見出したキーフレームを分割位置キーフレームとし、読み出した動画像データの最初のフレームから、分割位置キーフレームの一つ前のフレームまでのフレームを第１部分、分割位置キーフレームから、読み出した動画像データの最後のフレームまでのフレームを第２部分として、ｊ番目の配信順の動画像データを、第１部分の動画像データと第２部分の動画像データとに分割する。

本実施の形態では、この分割位置キーフレームを含んだ動画像データが、キーフレームのみの動画像データとして符号化されているので、どのフレームも分割位置キーフレームとなり得る。つまり、フレームの単位で分割が可能となっている。

動画像配信装置１は、ここで分割して得られた動画像データを、配信順ｊ、及び、第１部分と第２部分とのいずれであるかを識別する部分識別情報に関連付けて記憶部１２に格納する。ここでは配信順ｊの動画像データを分割して得た第１部分の動画像データをｊａ（例えばｊ＝３ならば「３ａ」）、第２部分の動画像データをｊｂ（例えばｊ＝３ならば「３ｂ」）としたものとする。

動画像配信装置１は、そして、第１部分の動画像データｊａと、割り込み配信をするべき追加動画像データを特定する情報と、第２部分の動画像データｊｂとをこの順に、プレイリストデータに追記する。

この処理により、例えば配信順が「３」である動画像データの配信中に、追加動画像データを配信するべきタイミングが含まれる場合、プレイリストデータは、
１，２，３ａ，Ｘ，３ｂ，４…
という順となる。ここでＸは追加動画像データを意味するものとする。

動画像配信装置１は、こうしてプレイリストデータを生成しつつ、プレイリストデータの先頭から順に、当該プレイリストデータに記録された情報で特定される動画像データを、端末２に対して配信する。そして端末２では、このプレイリストによって定められる動画像データを受信し、当該受信した動画像データを再生する。

この場合は、端末２において図６（ａ）に例示するように、配信順１，２の動画像データが再生された後、配信順「３」の動画像データの第１部分（動画像データ３ａ）が再生され、次に追加動画像データＸが再生され、次いで配信順「３」の動画像データの第２部分（動画像データ３ｂ）が再生され、以下、配信順４以降の動画像データが再生される。

上述の例では、配信順が１，２，４…の動画像データについては従来と同様、ｍフレーム（ここでの例ではｍ＝Ｎとしている）に一つがキーフレームとなっている。また、配信順が「３」である動画像データについては、すべてのフレームがキーフレームであるので、追加動画像データの割り込み配信のタイミングがフレーム単位で設定可能となる。これより、例えばタイトルのスーパーインポーズが終了した時点のタイミングを表すタイミング指定情報に関連付けて広告用の動画像データを追加動画像データとして設定することで、タイトルのスーパーインポーズが終了した時点のフレームをキーフレームとして符号化し、このタイトルのスーパーインポーズが終了した時点のフレームの前後で広告用の動画像データを割り込み配信できるようになり、配信側にとって意図したタイミングで広告等、追加的な動画像データが配信可能となる。

なお、ここでの例では、追加動画像データは、配信対象となっている動画像データに単に割り込んで配信され、割り込み配信後、割り込み前の時点の続きから配信が再開されることとしていたが本実施の形態はこれだけに限られない。

例えば追加動画像データの再生時間がτであるとき、動画像配信装置１は次のように動作してもよい。この例では動画像配信装置１は、追加動画像データベースに追加動画像データを格納する際、当該追加動画像データの割り込み配信のタイミングを表すタイミング指定情報のほか、この追加動画像データの再生時間の長さτを、追加動画像データに関連付けて格納する。

動画像配信装置１は、動画像元データの入力を受け入れて記憶し、当該記憶した動画像元データを予め定めた単位で、例えばＮフレームずつ取り出す。動画像配信装置１は、また、記憶部１２に格納されている追加動画像データベースに記録されたタイミング指定情報と追加動画像データの長さτとを参照し、取り出したＮフレーム分のデータから得られる動画像データの再生中に追加動画像データの再生開始時点または再生終了時点が含まれるか否か、つまり再生時刻ｆi／Ｎから（ｆi＋Ｎ−１）／Ｎまでの間に、タイミング指定情報で指定される時刻ｔｓ（再生開始時点）が含まれている（ｆj／Ｎ≦ｔｓ≦（ｆj＋Ｎ−１）／Ｎである）か、または当該時刻ｔｓ＋τで表される時刻（再生終了時点）が含まれる（ｆj／Ｎ≦ｔｅ≦（ｆj＋Ｎ−１）／Ｎである）か否かを調べる。

ここで、取り出したＮフレーム分のデータから得られる動画像データの再生中に追加動画像データの再生開始時点または再生終了時点が含まれないと判断したときには、動画像配信装置１は、当該取り出したＮフレーム分のデータについて、例えば従来と同様に、ｍフレーム（ｍは２≦ｍ≦Ｎなる整数）ごとのフレームをキーフレームとして、残りのフレーム（キーフレームとしていないフレームのデータ）を、直前のキーフレームのデータを用いて再生される予測フレーム（例えばＭＰＥＧにおけるＰフレームまたはＢフレーム）として符号化して、動画像データを生成する。本実施の形態の一例では、ｍ＝Ｎ、つまり取り出したＮフレーム分のデータの最初のフレームのみをキーフレームとし、残るフレームを予測フレームとして符号化して、動画像データを生成する。

動画像配信装置１は、この符号化の結果として得られた動画像データを、取り出した回数ｉを配信順を表す情報として、この配信順を表す情報に関連付けて記憶部１２に蓄積する。

また、取り出したＮフレーム分のデータから得られる動画像データの再生中に追加動画像データの再生開始時点または再生終了時点が含まれると判断したときには、動画像配信装置１は、当該取り出したＮフレーム分のデータについて、ｍ′フレーム（ｍ′は１≦ｍ′＜ｍ≦Ｎなる整数）ごとのフレームをキーフレームとして、残りのフレーム（キーフレームとしていないフレームのデータ）を、直前のキーフレームのデータを用いて再生される予測フレーム（例えばＭＰＥＧにおけるＰフレームまたはＢフレーム）として符号化して動画像データを生成する。本実施の形態のある例では、ｍ′＝１とする。この場合、すべてのフレームがキーフレームとして符号化される。動画像配信装置１は、この符号化の結果として得られた動画像データを、取り出した回数ｉを配信順を表す情報として、この配信順を表す情報に関連付けて記憶部１２に蓄積する。

この符号化の処理により、動画像配信装置１の記憶部１２には、図３（ｃ）に例示したように、配信の対象となる一連の動画像データが配信順を表す情報に関連付けて格納される。

また動画像配信装置１は、この符号化の処理と並行して、動画像の配信のためのプレイリストを生成して配信を実行する。つまり動画像配信装置１は、追記フラグを「１」にセットし、ｊ＝１から順にｊ＝１，２，３…と昇順にカウントしつつ、動画像元データを分割し、符号化して得られた複数の動画像データのうち、再生時刻ｆj／Ｎから（ｆj＋Ｎ−１）／Ｎまでの間の動画像データ（配信順ｊに関連付けられている動画像データ）を読み出して配信を行う。このとき動画像配信装置１は、読み出したｊ番目の配信順の動画像データを配信する時間に、割り込み配信をするべき追加動画像データの再生開始時点または再生終了時点が含まれるか否かを調べる。つまり、読み出したｊ番目の配信順の動画像データに対応する再生時刻ｆj／Ｎから（ｆj＋Ｎ−１）／Ｎまでの間に、追加動画像データベースに記録されているかタイミング指定情報が表す時刻ｔｓが含まれる（ｆj／Ｎ≦ｔｓ≦（ｆj＋Ｎ−１）／Ｎである）または、タイミング指定情報が表す時刻ｔｓに対応する追加動画像データの再生時間の長さτを加算した時刻ｔｅ＝ｔｓ＋τが含まれる（ｆj／Ｎ≦ｔｅ≦（ｆj＋Ｎ−１）／Ｎである）か否かを調べる。

ここで、読み出したｊ番目の配信順の動画像データを配信するべき時間に、割り込み配信をするべき追加動画像データの再生開始時点または再生終了時点が含まれなければ、動画像配信装置１は、追記フラグを参照し、追記フラグが「１」であれば、プレイリストデータに当該動画像データを特定する情報（例えば配信順の情報ｊ）を追記する。ここで追記フラグが「０」であれば、追記を行わない。

また、読み出したｊ番目の配信順の動画像データを配信する間に、割り込み配信をするべき追加動画像データの再生開始時点または再生終了時点が含まれるならば、動画像配信装置１は、読み出した動画像データに含まれるキーフレームのうち、タイミング指定情報で指定される時刻に最も近いキーフレームを検索する。動画像配信装置１は、検索により見出したキーフレームを分割位置キーフレームとし、読み出した動画像データの最初のフレームから、分割位置キーフレームの一つ前のフレームまでのフレームを第１部分、分割位置キーフレームから、読み出した動画像データの最後のフレームまでのフレームを第２部分として、ｊ番目の配信順の動画像データを、第１部分の動画像データと第２部分の動画像データとに分割する。

動画像配信装置１は、ここで分割して得られた動画像データを、配信順ｊ、及び、第１部分と第２部分とのいずれであるかを識別する部分識別情報に関連付けて記憶部１２に格納する。ここでは配信順ｊの動画像データを分割して得た第１部分の動画像データをｊａ（例えばｊ＝３ならば「３ａ」）、第２部分の動画像データをｊｂ（例えばｊ＝３ならば「３ｂ」）としたものとする。

動画像配信装置１は、そして、読み出したｊ番目の配信順の動画像データを配信するべき時間に、割り込み配信をするべき追加動画像データの再生開始時点が含まれるときには、第１部分の動画像データｊａと、割り込み配信をするべき追加動画像データを特定する情報とをこの順に、プレイリストデータに追記し、追記フラグを「０」とする。

また動画像配信装置１は、読み出したｊ番目の配信順の動画像データを配信するべき時間に、割り込み配信をするべき追加動画像データの再生終了時点が含まれるときには、その第２部分の動画像データｊｂをプレイリストデータに追記し、追記フラグを「１」とする。

この処理により、例えば配信順が「３」である動画像データの配信中に、追加動画像データの再生開始時点が含まれ、配信順が「５」である動画像データを配信すべき時間の間に追加動画像データの再生終了時点が含まれる場合、プレイリストデータは、
１，２，３ａ，Ｘ，５ｂ，６…
という順となる。ここでＸは追加動画像データを意味するものとする。

動画像配信装置１は、こうしてプレイリストデータを生成しつつ、プレイリストデータの先頭から順に、当該プレイリストデータに記録された情報で特定される動画像データを、端末２に対して配信する。そして端末２では、このプレイリストによって定められる動画像データを受信し、当該受信した動画像データを再生する。

この例の場合は、端末２において図６（ｂ）に例示するように、配信順１，２の動画像データが再生された後、配信順「３」の動画像データの第１部分（動画像データ３ａ）が再生され、次に追加動画像データＸが再生される。この追加動画像データＸが再生されている時間は、実際には配信順「３」の動画像データの第２部分（動画像データ３ｂ）、配信順「４」の動画像データ、配信順「５」の動画像データの第１部分（動画像データ５ａ）が再生されるべき時間であるが（本来のタイムライン）、本実施の形態のここでの例では、追加動画像データＸがこれらの代わりに再生されることとなり、これら配信順「３」の動画像データの第２部分（動画像データ３ｂ）、配信順「４」の動画像データ、配信順「５」の動画像データの第１部分（動画像データ５ａ）はスキップされる。

つまり、追加動画像データＸの再生が終了すると、次いで配信順「５」の動画像データの第２部分（動画像データ５ｂ）が再生され、以下、配信順６以降の動画像データが再生される。

本実施の形態のこの例では、あたかも、配信対象の動画像データの配信は、追加動画像データの有無に関わらず続けられており、追加動画像データの配信終了後、その時点から配信対象の動画像データの配信が再開されたかのように処理される。この例では配信対象の動画像データの一部は配信されないこととなるが、実時間で配信されるべき動画像などの場合に用いることができる。

また本実施の形態の動画像配信装置１は、追加動画像データを、配信対象となっている動画像データに単に割り込んで配信し、割り込み配信後、割り込み前の時点の続きから配信対象の動画像データの配信を再開する図６（ａ）に例示するプレイリストデータ（以下、第１種プレイリストデータと呼ぶ）と、追加動画像データを、配信対象となっている動画像データに割り込んで配信した後、割り込み配信の終了の時点で配信されているべきであった（追加動画像データを配信しなければその時点で配信しているはずであった）動画像データの続きから配信する、図６（ｂ）に例示するプレイリストデータ（以下、第２種プレイリストデータと呼ぶ）との双方を生成してもよい。

この例では、実時間の配信では、第２種プレイリストデータを用いて配信を行い、実時間の配信でないとき（タイムシフト再生の要求に応答する場合等）には、第１種プレイリストデータを用いて配信を行うようにしてもよい。

さらに、本実施の形態においては、配信制御部３５が、プレイリストデータを記憶部１２から読み出して、当該プレイリストデータの先頭から順に、記録されている情報を取り出し、当該取り出した情報で特定される動画像データを記憶部１２から読み出して配信する際に、当該取り出した情報で特定される動画像データが追加動画像データであったときには、配信先の端末２ごとに、配信する追加動画像データを異ならせてもよい。

この場合、同じタイミングで割り込み配信の対象となる追加動画像データを複数用意しておく。そして動画像配信装置１が、配信先となった端末２に係る条件（例えば端末２の利用者に関する情報や、端末２の所在する地域の情報等）に基づいて、複数用意された追加動画像データのうち、どの追加動画像データを配信するかを選択して配信することとすればよい。

１ 動画像配信装置、２ 端末、１１ 制御部、１２ 記憶部、１３ 通信部、３１ 元データ受入部、３２ 追加動画像受入部、３３ 動画像データ生成部、３４ プレイリスト生成部、３５ 配信制御部。

Claims (3)

1. 複数の動画像データを連続して複数の端末のそれぞれへ配信する動画像配信装置であって、前記動画像データはそれぞれ、再生の起点となり得るキーフレームを少なくとも一つ含み、
   前記配信の対象とする動画像データの元となる動画像元データを受け入れる手段と、
   前記受け入れた動画像元データを所定の方法で符号化して、前記配信の対象とする動画像データを生成する生成手段と、
   追加動画像データとともに、当該追加動画像を配信するべきタイミングを指定するタイミング指定情報を受け入れる追加動画像データ受入手段と、
   前記生成された動画像データを前記複数の端末のそれぞれへ配信する配信手段と、
   を含み、
   前記生成手段は、前記タイミング指定情報により指定されるタイミングで配信されているべき動画像データと、それ以外の動画像データとで、前記キーフレームの挿入頻度を異ならせ、
   前記追加動画像データ受入手段は、同じタイミングで配信されるべき追加動画像データを複数受け入れ、
   前記配信手段は、前記タイミング指定情報により指定されるタイミングで、当該タイミングで配信されるべきものとして前記複数受け入れた追加動画像データのうち、配信先の端末に係る条件に基づいて選択した追加動画像データを割り込み配信する動画像配信装置。
2. 請求項１記載の動画像配信装置であって、
   前記生成手段は、前記タイミング指定情報により指定されるタイミングで配信されているべき動画像データについては、キーフレームのみを含んだ動画像データとして生成する動画像配信装置。
3. コンピュータを、
   複数の動画像データを連続して複数の端末のそれぞれへ配信する配信手段であって、前記動画像データがそれぞれ、再生の起点となり得るキーフレームを少なくとも一つ含む配信手段と、
   前記配信の対象とする動画像データの元となる動画像元データを受け入れる手段と、
   前記受け入れた動画像元データを所定の方法で符号化して、前記配信の対象とする動画像データを生成する生成手段と、
   追加動画像データとともに、当該追加動画像を配信するべきタイミングを指定するタイミング指定情報を受け入れる追加動画像データ受入手段と、
   前記生成された動画像データを前記複数の端末のそれぞれへ配信する配信手段と、
   として機能させ、
   前記生成手段として機能させる際には、前記タイミング指定情報により指定されるタイミングで配信されているべき動画像データと、それ以外の動画像データとで、前記キーフレームの挿入頻度を異ならせ、
   前記追加動画像データ受入手段として機能させる際には、同じタイミングで配信されるべき追加動画像データを複数受け入れ、
   前記配信手段として機能させる際には、前記タイミング指定情報により指定されるタイミングで、当該タイミングで配信されるべきものとして前記複数受け入れた追加動画像データのうち、配信先の端末に係る条件に基づいて選択した追加動画像データを割り込み配信する
   プログラム。

Images