JP5147278B2

JP5147278B2 - 映像配信装置およびキーフレーム配信方法

Info

Publication number: JP5147278B2
Application number: JP2007101865A
Authority: JP
Inventors: 博史峯; 信二木村; 薫小西; 友和一木; 尚久脊古
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-04-09
Filing date: 2007-04-09
Publication date: 2013-02-20
Anticipated expiration: 2027-04-09
Also published as: CN101287106A; US20080263605A1; CN101287106B; US8413197B2; JP2008259119A

Description

本発明は、ネットワークを介した映像配信技術に係り、特に、早送り等の特殊再生を実現する映像配信装置、映像受信装置およびキーフレーム配信方法に関する。

近年、インターネットに代表されるネットワーク技術の発展により、映画等の映像コンテンツのネットワークを介したＶＯＤ（Video On Demand）配信が普及している。ＶＯＤ配信において、従来の映像配信サーバからＰＣ（Personal Computer）へのストリーミング配信に加え、テレビに接続したＳＴＢ（Set Top Box）、あるいは、ＳＴＢの機能を内蔵したテレビをクライアントとするＶＯＤ配信システムが立ち上がりつつある。

これらＶＯＤ配信システムにおいて、ネットワークを介したストリーミング配信であっても、従来のビデオ装置で広く実現されている早送り、巻戻し等の特殊再生（トリックプレイ）を行いたいという要求がある。この要求に応えるためには、映像配信サーバにおいて、特殊再生を考慮した映像ストリームを生成し、ＳＴＢ等のクライアントに配信する必要がある。

特殊再生を実現するために、特許文献１記載のビデオサーバ装置では、圧縮符号化されている映像データからフレーム内符号化を行っているフレーム（キーフレーム）のみを含む映像ストリームを生成し、任意の倍速で送信する技術が開示されている。

特開平１０−０３２８０９号公報

前記従来の手法において、任意倍速再生を実現するためには映像コンテンツには一定の間隔でキーフレームが含まれていることを仮定しており、映像コンテンツからキーフレームを読み出して配信する間隔を一定値として算出し、その間隔にしたがってキーフレームを配信している。

しかしながら、映像コンテンツに含まれるキーフレームの間隔は一定であるとは限らず、特に、ＶＢＲ（Variable Bit Rate）の映像コンテンツでは圧縮効率向上のために動画の動きの激しさによってキーフレームの挿入間隔が大きく変化することがある。また、ＣＢＲ（Constant Bit Rate）の映像コンテンツであっても、符号化アルゴリズムによってはキーフレームの挿入間隔が変化し、符号化後の映像コンテンツの編集および伝送時のエラー等のためにキーフレームが失われることがあり、キーフレームが一定間隔で出現しない映像コンテンツが存在する。

特許文献１の手法をキーフレームが一定の間隔で含まれていない映像コンテンツに対して適用した場合、キーフレームの間隔が疎な部分では映像コンテンツの再生時刻が加速し、キーフレームの間隔が密な部分では映像コンテンツの再生時刻が減速することになり、送信するキーフレームの配信時刻と再生時間との間にずれが生じる可能性があった。また、キーフレームの欠落がある映像コンテンツに対して適用した場合、特殊再生を長時間続けるとキーフレームの配信時刻と再生時間との間のずれが蓄積し、特殊再生時の配信時間とコンテンツの再生時間の不一致が顕著になる可能性があった。

本発明の目的は、キーフレームのみを送信する特殊再生において、キーフレームが一定の間隔で含まれていない映像コンテンツを対象とする場合であっても、キーフレームの送信フレームレートを一定に保ち、かつ、キーフレームの配信時刻と実際の映像コンテンツの再生時間との不一致を最小限にとどめる映像配信装置、映像受信装置およびキーフレーム配信方法を提供することにある。

前記課題を解決するために、本発明は、周期実行する映像配信サーバの配信制御部において、キーフレーム情報を用いて周期配信時刻に最も近い配信時刻を持つキーフレームを送信する。

映像配信サーバの配信制御部は、一定周期で実行する。キーフレーム情報は、映像コンテンツに含まれる各キーフレームについて、コンテンツファイル内のオフセット、キーフレームサイズ、配信時刻の情報を格納する。配信制御部は、周期実行する毎にキーフレーム情報を参照し、周期実行時の時刻に再生倍率を考慮した配信時刻に最も近いキーフレームを選択して配信する。このとき、映像コンテンツに含まれるキーフレームの間隔によっては、同一フレームが複数回配信される場合もある。

配信制御部の実行周期、および、再生倍率は、配信サーバの設定、あるいは、クライアントからの要求に含める。実行周期には正数を指定する。実行周期は、映像コンテンツに含まれるキーフレームの間隔および再生倍率とは独立に、送信フレームレートを規定する。再生倍率に、１よりも大きな値を指定した場合は早送り、１よりも小さな小数を指定した場合はスロー再生、負数を指定した場合は巻戻し（逆再生）となる。

クライアントは、特殊再生時は映像ストリームに含まれる時刻情報を無視し、キーフレームを１枚分受信する毎に復号化し表示すればよい。

本発明によれば、周期実行する映像配信サーバの配信制御部において、キーフレーム情報を用いて周期配信時刻に最も近い配信時刻を持つキーフレームを送信することによって、キーフレームのみを送信する特殊再生において、キーフレームが一定の間隔で含まれていない映像コンテンツを対象とする場合であっても、キーフレームの送信フレームレートを一定に保ち、かつ、キーフレームの配信時刻と実際の映像コンテンツの再生時間との不一致を最小限にとどめることができる。

以下、本発明の実施の形態について、実施例を用い図面を参照しながら説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。

図１を参照して、実施例１の映像配信システムを説明する。ここで、図１は映像配信システムのブロック図である。映像配信システム５００は、ネットワーク１０９に接続された映像配信サーバ１０１とクライアント装置１０６とから構成される。映像配信サーバ１０１は、配信制御部１０２と記憶装置と１０３からなる。配信制御部１０２は、映像配信サーバ１０１の動作を制御する。記憶装置１０３は、内蔵ハードディスクドライブ（ＨＤＤ）、ＳＡＮ（Storage Area Network）接続のストレージ装置等であり、映像コンテンツの符号化データであるコンテンツファイル１０４およびキーフレーム情報１０５を格納する。

クライアント装置１０６は、ＰＣ、ＳＴＢ等であり、再生制御部１０７および映像再生部１０８からなる。映像配信サーバ１０１とクライアント装置１０６は、インターネット、ＬＡＮ（Local Area Network）等のネットワーク１０９を介して接続されている。なお、１台の映像配信サーバ１０１に対して、複数のクライアント装置１０６が、ネットワーク１０９を介して接続されていてもよい。

クライアント装置１０６の再生制御部１０７は、ユーザの操作に応じて映像配信サーバ１０１に対して配信要求を送信する。映像配信サーバ１０１の配信制御部１０２は、受信した配信要求に応じて記憶装置１０３内のコンテンツファイル１０４を読み出し、クライアント装置１０６に配信する。クライアント装置１０６の映像再生部１０８は、受信した映像コンテンツの符号化データを復号化し、モニタ、テレビ等の表示デバイスに連続画像として表示する。

図２を参照して、映像配信サーバの配信制御部の内部構成を説明する。ここで、図２は配信制御部のハードウェアブロック図である。図２において、配信制御部１０２は、ＣＰＵ（Central Processing Unit）２０１、Ｉ／Ｏ（Input/Output）インタフェース２０２、主記憶メモリ２０３、プログラム記憶領域２０４からなる。プログラム記憶領域２０４は、ＲＯＭ（Read Only Memory）等の不揮発性の記憶デバイスであり、配信制御アプリケーションプログラム２０５を格納する。プログラム記憶領域２０４は、記憶装置１０３内に確保された領域であってもよい。

配信制御部１０２は、プログラム記憶領域２０４から配信制御アプリケーションプログラム２０５を主記憶メモリ２０３に読み込み、ＣＰＵ２０１で実行することによって映像配信サーバ１０１の動作を制御する。換言すれば、映像配信サーバ１０１の機能は、配信制御アプリケーションプログラム２０５によって実現される。配信制御部１０２は、Ｉ／Ｏインタフェース２０２を介して記憶装置１０３等のデバイスおよびネットワーク１０９にアクセスする。

なお、クライアント装置１０６の再生制御部１０７および映像再生部１０８についても、プログラム記憶領域２０４に格納されるソフトウェアはそれぞれ異なるが、配信制御部１０２と同様の構成である。

図３を参照して、映像配信サーバの記憶装置に格納されるキーフレーム情報を説明する。ここで、図３はキーフレーム情報を説明する図である。図３において、キーフレーム情報１０５は、対応するコンテンツファイル１０４に含まれる全てのキーフレームについて、キーフレーム番号１１、オフセット１２、サイズ１３、配信時刻１４の各情報を格納する。キーフレーム番号１１は、コンテンツファイル１０４に含まれるキーフレームのファイルの先頭からの通し番号である。キーフレームＩｊはｊ番目のキーフレームを示す。オフセットｐｊは、キーフレームＩｊのコンテンツファイル１０４内の位置を示すオフセットバイトである。サイズｌｊは、キーフレームＩｊの大きさを示すバイトサイズである。配信時刻ｉｊは、キーフレームＩｊを通常（等速）配信した場合の配信タイミングを示す情報である。配信時刻ｉｊは、コンテンツファイル１０４の先頭を０としたミリ秒単位の時刻情報である。これらの情報は、コンテンツファイル１０４の内容を解析するアプリケーションツールを用いて予め生成しておく。なお、配信時刻ｉｊは、もっと細かい単位であっても、もっと荒い単位であってもよい。

図４を参照して、クライアント装置が映像配信サーバへネットワークを介して送信する配信要求を説明する。ここで、図４は配信要求を説明する図である。図４において、配信要求４０１は、配信対象となるコンテンツファイル１０４を識別するＵＲＩ（Uniform Resource Identifier）、コンテンツファイル１０４内の配信開始位置を時間単位で指示する開始時刻Ｔ０、再生倍率Ｎを格納する。ここで、再生倍率Ｎが１以外の場合、特殊再生の要求となる。
配信要求４０１は、ユーザの操作に応じてクライアント装置１０６の再生制御部１０７で生成され、映像配信サーバ１０１の配信制御部１０２で解釈される。

図５を参照して、映像配信サーバの配信制御部の処理フローを説明する。ここで、図５は配信処理部の配信処理フロー図である。図５において、最初に、配信制御部１０２は、配信要求４０１を受信し、配信要求４０１からＵＲＩ、開始時刻Ｔ０、再生倍率Ｎの各情報を取得し、ＵＲＩに指定されたコンテンツファイル１０４をオープンする等の配信の準備を行う（Ｓ５０１）。再生倍率Ｎが１の場合は通常配信であるため説明を省略し、以下、再生倍率（Ｎ）が１以外の特殊再生の場合について説明する。なお、配信制御部１０２において、周期実行された回数をカウントする変数をｋとすると、配信開始時ではｋ＝０である。

次に、配信制御部１０２は、配信時刻がコンテンツファイル１０４の再生時間範囲に収まっているかを判定する（Ｓ５０２）。ここで、配信制御部１０２が周期実行される間隔すなわち実行周期をＴとすると、ｋ回目の周期実行時の配信時刻ｔｋは、ｔｋ＝Ｔ０＋Ｎ×ｋ×Ｔとして表される。配信時刻ｔｋが再生時間範囲に収まっていない場合は、配信制御部１０２は、配信が終了したとみなして処理を終了する。配信時刻ｔｋが再生時間範囲に収まっている場合は、配信制御部１０２は、ステップ５０３に進む。

配信制御部１０２は、コンテンツファイル１０４に対応するキーフレーム情報１０５を参照し、配信時刻がｔｋをこえないキーフレームＩｊの配信時刻ｉｊを取得する（Ｓ５０３）。このとき、キーフレーム情報１０５を毎回先頭から順に検索してもよいが、２回目以降は前回配信したキーフレームＩｋ−１を基点として検索することによって検索効率を向上することができる。

次に、配信制御部１０２は、同様にキーフレーム情報１０５を参照し、配信時刻がｔｋ以上のキーフレームＩｊ＋１の配信時刻ｉｊ＋１を取得する（Ｓ５０４）。

配信制御部１０２は、キーフレームＩｊがキーフレームＩｊ＋１よりも配信時刻ｔｋに近いかを判定する（Ｓ５０５）。これは、キーフレームＩｊの配信時刻ｉｊとｔｋとの差分と、キーフレームＩｊ＋１の配信時刻ｉｊ＋１とｔｋとの差分を比較することによって行う。すなわち、配信制御部１０２は、不等式｜ｉｊ − ｔｋ｜＜｜ｉｊ＋１ − ｔｋ｜が成り立つかどうかを判定する。配信制御部１０２は、不等式が成り立つ場合ステップ５０６に処理を進め、不等式が成り立たない場合ステップ５０７に進む。

ステップ５０６では、配信制御部１０２は、キーフレームＩｊを、配信時刻ｔｋに最も近いキーフレームＩｋとして選択し、ステップ５０８に進む。ステップ５０７では、配信制御部１０２は、キーフレームＩｊ＋１を、配信時刻ｔｋに最も近いキーフレームＩｋとして選択し、ステップ５０８に進む。

配信制御部１０２は、選択したキーフレームＩｋについて、キーフレーム情報１０５を参照してオフセットｐｋおよびサイズｌｋを取得し、コンテンツファイル１０４からキーフレームＩｋに該当する部分を読み出し、クライアント装置１０６に送信する（Ｓ５０８）。配信制御部１０２は、次の実行周期が来るまで待つ。次の実行周期が来ると、周期実行された回数をカウントする変数ｋを１増加し（Ｓ５０９）、ステップ５０２に戻る。

上記ステップ５０２からステップ５０９までの処理を繰り返すことにより、配信制御部１０２は、周期実行される度に、キーフレーム情報１０５を参照し、コンテンツファイル１０４から、配信時刻ｔｋに最も近い配信時刻ｉｋを持つキーフレームＩｋを読み出し、クライアント装置１０６に送信する。

図６を参照して、配信制御部の処理による映像配信サーバからクライアント装置への、時間経過にあわせたコンテンツファイルのキーフレーム送信を説明しよう。ここで、図６はコンテンツファイルのキーフレーム送信を説明する図である。図６において、図６（ａ）はコンテンツファイルに含まれるキーフレームを説明する図である。また、図６（ｂ）は特殊再生においてキーフレームが送信される間隔を説明する図である。図６において、特殊再生においてキーフレームが送信される間隔は、コンテンツファイル１０４に含まれるキーフレームの間隔とは独立であり、配信制御部１０２の実行周期Ｔとなる。したがって、映像配信サーバ１０１からクライアント装置１０６に対して送信されるキーフレームのフレームレートは、１／Ｔで一定となる。

図７を参照して、クライアント装置の特殊再生の処理手順を説明する。ここで、図７はクライアント装置の動作フロー図である。図７において、最初に、クライアント装置１０６の再生制御部１０７は、ユーザからの操作に応じて、配信要求４０１を映像配信サーバ１０１へ送信する（Ｓ７０１）。

次に、再生制御部１０７は、映像再生部１０８に対して特殊再生であることを指示する。この指示により、映像再生部１０８は、再生動作を、通常の動作から特殊再生の動作へ切り替える（Ｓ７０２）。映像再生部１０８は、映像配信サーバ１０１が送信したキーフレームを一枚分受信する（Ｓ７０３）。このとき、ユーザが終了操作を行った場合、再生制御部１０７からの指示で受信処理を中止する。また、タイムアウトを設定し、キーフレームを完全に受信しない場合でも受信処理を中止することができる。このタイムアウト値には、一枚のキーフレームを受信するのに必要な時間よりも大きく、その次のキーフレームが送られてくる時間よりも小さい値を指定すればよく、たとえば、映像配信サーバ１０１の配信制御部１０２の実行周期Ｔと同じ値を設定すればよい。

再生制御部１０７は、映像再生部１０８の受信処理の終了が、ユーザからの終了操作によるものかを判定する（Ｓ７０４）。終了操作によるものであった場合は、再生制御部１０７は、映像再生処理を終了し、終了操作によるものでなかった場合は、ステップ７０５に進む。

映像再生部１０８は、完全なキーフレームを受信したかを判定する（Ｓ７０５）。完全なキーフレームを受信していない場合は、映像再生部１０８は、受信した不完全なキーフレームを破棄し、次のキーフレームを受信するためにステップ７０３に戻る。完全なキーフレームを受信した場合、映像再生部１０８は、ステップ７０６に進む。

映像再生部１０８は、受信したキーフレームを復号化し、表示デバイスに一枚の静止画像として表示する（Ｓ７０６）。このとき、映像再生部１０８は、キーフレームのデータの一部に時刻情報あるいは音声情報が含まれていたとしても無視すればよい。映像再生部１０８は、画像の表示を維持したまま、処理をステップ７０３に戻す。

上記ステップ７０３からステップ７０６までの処理を繰り返すことにより、映像再生部１０８は、映像配信サーバ１０１から送信されるキーフレームを受信する度に復号化して表示し、更新周期Ｔの連続画像として表示する。

以上に説明したように、本実施例によれば、周期実行する映像配信サーバ１０１の配信制御部１０２において、キーフレーム情報１０５を用いて周期配信時刻ｔｋに最も近い配信時刻ｉｋを持つキーフレームＩｋを送信する。したがって、キーフレームが一定の間隔で含まれていないコンテンツファイル１０４を対象とする場合であっても、キーフレームの送信フレームレートを一定に保つことができる。また、コンテンツファイル１０４に含まれるキーフレームの間隔が大きく変動する場合であっても、配信制御部１０２は、実行周期Ｔで、キーフレームの間隔が疎な部分では同じキーフレームを重複して送信し、キーフレームの間隔が密な部分ではキーフレームを飛ばして送信する。したがって、特殊再生を長時間続けた場合であっても、送信するキーフレームの配信時刻と、映像コンテンツの再生時間との不一致を最小限にとどめることができる。

図８を参照して、実施例２を説明する。ここで、図８は映像配信システムのブロック図である。図８において、映像配信システム５００Ａは、ネットワーク１０９に接続された通信制御サーバ８０１と、映像配信サーバ１０１と、クライアント装置１０６とから構成される。通信制御サーバ８０１は、通信制御部８０２からなる。通信制御部８０２は、図２に示した映像配信サーバ１０１の配信制御部１０２と同様の構成で実現される。通信制御部８０２は、クライアント装置１０６から配信要求４０１を受け付け、配信要求４０１に応じて映像配信サーバ１０１に配信指示を送信する。また、通信制御部８０２は、ネットワーク１０９を構成するルータ、スイッチまたはネットワーク１０９の通信帯域を管理するＳＩＰ（Session Initiation Protocol）サーバ等の通信制御装置に対して帯域確保指示を送信する（破線矢印）ことにより、ネットワーク１０９の通信帯域を制御する。なお、図８では、通信サーバ８０１および映像配信サーバ１０１は異なる装置として示したが、ネットワーク１０９の通信帯域を管理するＳＩＰサーバ等を含め、同一装置内において時分割方式等で実行される複数または単一のアプリケーションプログラムとして実現されていてもよい。

図９を参照して、通信制御サーバの通信制御部が、通信制御装置に対して送信する帯域確保指示を説明する。ここで、図９は帯域確保指示を説明する図である。図９において、帯域確保指示９０１は、送信元アドレス、送信先アドレス、帯域幅Ｒからなり、ネットワーク１０９において、送信元アドレスから送信先アドレスに対する通信帯域を、帯域幅Ｒ分確保することを指示する。ここで、送信元アドレスは映像配信サーバ１０１のネットワークアドレスであり、送信先アドレスはクライアント装置１０６のネットワークアドレスである。帯域幅Ｒは、クライアント装置１０６の優先度（たとえば課金の有無等）をもとに適切な値を決定すればよい。

図１０を参照して、通信制御サーバの通信制御部が、映像配信サーバに対して送信する配信指示を説明する。ここで、図１０は配信指示を説明する図である。図１０において、配信指示２０は、配信要求４０１に含まれるＵＲＩ、開始時刻Ｔ０、再生倍率Ｎに加え、映像配信サーバ１０１の配信制御部１０２の周期実行の周期を指定する実行周期Ｔと、帯域確保指示９０１によってネットワーク１０９に確保した帯域幅Ｒを含む。ここで、実行周期Ｔを指定することにより、通信制御サーバ８０１は、映像配信サーバ１０１が送信するキーフレームのフレームレートを制御することができる。通信制御サーバ８０１は、映像コンテンツに格納されるキーフレームのおおよそのバイトサイズが判明しているならば、帯域幅Ｒを超えない実行周期Ｔを求めて指定することも可能である。

図１１を参照して、通信制御サーバの通信制御部の処理手順を説明する。ここで、図１１は通信制御部の処理フロー図である。図１１において、最初に、通信制御部８０２は、クライアント装置１０６から配信要求４０１を受信し、ＵＲＩ、開始時刻Ｔ０、再生倍率Ｎの各情報を取得する（Ｓ３１）。次に、通信制御部８０２は、適当な帯域幅Ｒを決定し、ネットワーク１０９の通信制御装置に対して帯域確保指示９０１を送信する（Ｓ３２）。次に、通信制御部８０２は、適当な実行周期Ｔを決定し、映像配信サーバ１０１に対して配信指示１１０１を送信する（Ｓ３３）。

通信制御部８０２は、映像配信サーバ１０１がキーフレームの送信を完了するのを待つ（Ｓ３４）。ここで、通信制御部８０２は、映像配信サーバ１０１から明示的に送信完了通知を受け取ることによって送信の完了を認識するか、あるいは、映像コンテンツの配信時間、開始時刻Ｔ０、および、再生倍率Ｎから送信完了時間を求め、その時間だけ待機すればよい。最後に、通信制御部８０２は、ステップ３２で確保した帯域を解放するために、ネットワーク１０９の通信制御装置に対して帯域解放指示を送信する（Ｓ３５）。ここで、帯域解放指示は、たとえば、帯域確保指示９０１の帯域幅Ｒに負の値を指定したものでよい。

以上の処理により、通信制御サーバ８０１の通信制御部８０２は、クライアント装置１０６からの配信要求４０１にしたがって、ネットワーク１０９に対して帯域確保指示９０１を送信することによって帯域幅Ｒを確保し、映像配信サーバ１０１に対して確保した帯域幅Ｒおよび実行周期Ｔを含む配信指示１００１を送信することによって映像配信サーバ１０１の特殊再生時の配信フレームレートおよび送信帯域幅を制御する。

図１２を参照して、映像配信サーバの配信制御部における帯域幅を考慮したキーフレーム送信の処理手順を説明する。ここで、図１２は帯域幅を考慮したキーフレーム送信の処理手順の一部を説明するフロー図である。ここで、図１２は、図５のステップ５０８を、図１２の処理で置き換えることにより、帯域幅Ｒを考慮したキーフレーム送信を実現する。ステップ５０８を除く全体の処理手順は実施例１と同様であり、ここでは説明を省略する。

ステップ４１では、前段までのステップ、すなわち、ステップ５０６またはステップ５０７で選択したキーフレームＩｋについて、通信制御サーバ８０１に指定された帯域幅（Ｒ）を超えることなく送信可能であるかを判定する。これは、前回送信したキーフレームＩｌのサイズＬｌおよび送信時刻ｔｌ、現在の配信時刻ｔｋ、帯域幅（Ｒ）について、不等式Ｌｌ／（ｔｋ−ｔｌ）＜Ｒが成り立つかどうかによって判定する。不等式が成り立つ場合は、ステップ４２に進む。不等式が成り立たない場合は、キーフレームの送信処理を行わず、次のステップ、すなわち、ステップ５０９に進む。なお、前回送信したキーフレームが存在しない、すなわち、最初のキーフレームについての場合は、不等式が成り立つものとすればよい。

ステップ４２では、ステップ５０８と同様の処理で、選択したキーフレームＩｋを送信する。次に、ステップ４３では、最後に送信したキーフレームＩｌの情報を、キーフレームＩｋの情報で更新する。すなわち、最後にキーフレームＩｌのサイズＬｌをＬｋとし、最後にキーフレームを送信した時刻ｔｌをｔｋとする。

以上の処理により、映像配信サーバ１０１の配信制御部１０２は、キーフレーム送信時に、通信制御サーバ８０１に指定された帯域幅Ｒを超えるキーフレームの送信をスキップすることにより、送信するキーフレームの帯域を制御する。

以上に説明したように、本発明によれば、特殊再生を行う場合に、通信制御サーバ８０１から、通信帯域の制御が可能なネットワーク１０９に対して帯域確保指示９０１を用いて帯域幅Ｒの確保を行い、映像配信サーバ１０１に対して帯域幅Ｒを含む配信指示１００１を送信することにより、クライアント装置１０６へ送信するキーフレームの帯域を制御することができる。

映像配信システムのブロック図である。配信制御部のハードウェアブロック図である。キーフレーム情報を説明する図である。配信要求を説明する図である。配信処理部の配信処理フロー図である。コンテンツファイルのキーフレーム送信を説明する図である。クライアント装置の動作フロー図である。配信帯域の制御を行う映像配信システムを表す。帯域確保指示を説明する図である。配信指示を説明する図である。通信制御部の処理フロー図である。帯域幅を考慮したキーフレーム送信の処理手順の一部を説明するフロー図である。

符号の説明

２０…配信指示、１０１…映像配信サーバ、１０２…配信制御部、１０３…記憶装置、１０４…コンテンツファイル、１０５…キーフレーム情報、１０６…クライアント装置、１０７…再生制御部、１０８…映像再生部、１０９…ネットワーク、２０１…ＣＰＵ、２０２…Ｉ／Ｏインタフェース、２０３…主記憶メモリ、２０４…プログラム記憶領域、２０５…配信制御アプリケーションプログラム、４０１…配信要求、５００…映像配信システム、８０１…通信制御サーバ、８０２…通信制御部、９０１…帯域確保指示。

Claims

ネットワークを介して接続されたクライアント装置に、映像コンテンツファイルに含まれるキーフレームを送信することによって、特殊再生を実現させる映像配信装置において、
複数のキーフレームを含む前記コンテンツファイルと、それぞれのキーフレームについて、前記映像コンテンツファイル中のそれぞれのキーフレームを特定するキーフレーム番号と等速再生する際に前記映像コンテンツファイルの先頭からｊ番目のキーフレームＩ _ｊの相対配信時刻を示す相対配信時刻ｉ _ｊとを含むキーフレーム情報とを格納する記憶装置と、
特殊再生において、予め定められた周期Ｔで前記キーフレームを配信する配信制御部と、
を備え、
前記配信制御部は、特殊再生のｋ周期番目において、前記キーフレーム情報を参照し、相対配信時刻ｉ _ｋが相対配信時刻ｔ _ｋに最も近いキーフレームを選択し、選択したキーフレームをｋ番目のキーフレームＩ _ｋとして送信し、
ここで、ｔ _ｋ＝Ｔ _０＋Ｎ×ｋ×Ｔであり、
Ｔ _０は、再生開始位置を示す映像コンテンツファイルの先頭を基準とする時刻であり、
Ｎは、特殊再生速度倍率であり、
前記配信制御部は、前記ｋ周期番目の前記キーフレームの選択において、前記キーフレームＩ _ｋが持つべき相対配信時刻ｔ _ｋより前のキーフレームの相対配信時刻ｉ _ｊと相対配信時刻ｔ _ｋとの絶対差｜ｔ _ｋ −ｉ _ｊ｜と、前記相対配信時刻ｔ _ｋ以降のキーフレームの相対配信時刻ｉ _ｊ＋１と相対配信時刻ｔ _ｋとの絶対差｜ｉ _ｊ＋１ −ｔ _ｋ｜と、を比較することにより、前記相対配信時刻ｔ _ｋに最も近い相対配信時刻ｉ _ｋを持つキーフレームを、キーフレームＩ _ｋとして選択することを特徴とする映像配信装置。
請求項１に記載の映像配信装置であって、
前記周期Ｔを制御することにより、キーフレームの配信フレームレートを制御することを特徴とする映像配信装置。
請求項１または請求項２に記載の映像配信装置であって、
最後に送信したキーフレームのサイズを次の配信時刻から前記最後に送信したキーフレームの送信時刻を引いた差で除した値と、帯域幅とを比較し、前記帯域幅を超えるキーフレームの送信をスキップすることにより、キーフレーム送信の帯域制限を行うことを特徴とする映像配信装置。
請求項３記載の映像配信装置の通信を制御する通信制御装置であって、
映像受信装置からの要求にしたがってネットワークの通信帯域幅を確保させ、確保させた通信帯域幅および周期配信時刻を配信指示情報として前記映像配信装置に送信することにより、前記映像配信装置の配信帯域および配信フレームレートを制御することを特徴とする通信制御装置。
映像配信サーバとネットワークを介して接続されたクライアント装置に、記憶装置が保持する複数のキーフレームを含むコンテンツファイルからキーフレームを選択して、周期Ｔにて配信する映像配信装置におけるキーフレーム配信方法において、
ｋ周期番目のキーフレームＩ_ｋの相対配信時刻ｔ_ｋをｔ_ｋ＝Ｔ_０＋Ｎ×ｋ×Ｔとして、
ここで、Ｔ_０は、再生開始位置を示す映像コンテンツファイルの先頭を基準とする時刻であり、Ｎは、特殊再生速度倍率であり、
前記コンテンツファイルと、それぞれのキーフレームについて、前記映像コンテンツファイル中のそれぞれのキーフレームを特定するキーフレーム番号と等速再生する際に前記映像コンテンツファイルの先頭からｊ番目のキーフレームＩ_ｊの相対配信時刻を示す相対配信時刻ｉ_ｊとを含むキーフレーム情報とを格納するステップと、
前記ｋ周期番目の前記キーフレームの選択において、キーフレームＩ_ｋが持つべき相対配信時刻ｔ_ｋより前のキーフレームの相対配信時刻ｉ_ｊと相対配信時刻ｔ_ｋとの絶対差｜ｔ_ｋ−ｉ_ｊ｜と、前記相対配信時刻ｔ_ｋ以降のキーフレームの相対配信時刻ｉ_ｊ＋１と相対配信時刻ｔ_ｋとの絶対差｜ｉ_ｊ＋１−ｔ_ｋ｜と、を比較することにより、前記相対配信時刻ｔ_ｋに最も近い相対配信時刻ｉ_ｋを持つキーフレームを、キーフレームＩ_ｋとして選択するステップと、
選択したキーフレームＩ_ｋを送信するステップと、
を含むキーフレーム配信方法。
請求項５に記載のキーフレーム配信方法であって、
前記周期Ｔを制御することにより、キーフレームの配信フレームレートを制御することを特徴とするキーフレーム配信方法。
請求項５または請求項６に記載のキーフレーム配信方法であって、
最後に送信したキーフレームのサイズを次の配信時刻から前記最後に送信したキーフレームの送信時刻を引いた差で除し、
除した値と、帯域幅とを比較し、
前記帯域幅を超えるキーフレームの送信をスキップすることを特徴とするキーフレーム配信方法。