JP5310718B2

JP5310718B2 - 映像再生装置、映像配信システム、映像再生方法およびプログラム

Info

Publication number: JP5310718B2
Application number: JP2010503923A
Authority: JP
Inventors: 和男浅見
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-03-21
Filing date: 2009-03-19
Publication date: 2013-10-09
Anticipated expiration: 2029-03-19
Also published as: WO2009116619A1; JPWO2009116619A1

Description

本発明は、映像配信技術に関し、特に映像再生レートを変更する処理に関するものである。

近年、ＦＴＴＨやＮＧＮ等のネットワークサービスが提供され、一般家庭においても高速で高品質なネットワーク接続環境を利用できるようになった。高速で高品質なネットワークが利用できることで、高ビットレートでリアルタイム性が要求される映像コンテンツの配信サービスを利用する基盤が整備されてきた。コンテンツ配信サービスもＶｏＤ(Video on Demand)のような事業者が用意したコンテンツの中から視聴するだけでなく、ユーザが放送コンテンツを指定により、または自動的にサーバ上で録画して視聴するｎＤＶＲ(network-based Digital Video Recorder)と呼ばれる新たな映像視聴サービスについても一部の国でサービスの提供が始められている。

テレビ放送のように映像コンテンツをネットワーク経由で視聴する場合、映像配信サーバはプレーヤに対してコンテンツの先頭から順次ストリームを送出するのみであるが、ＶｏＤやｎＤＶＲ等の蓄積コンテンツを要求に応じて配信する映像サービスでは、早送り、巻き戻し、一時停止と言ったトリックプレイ機能を提供する事が一般的である。特に放送コンテンツを自動的に録画するｎＤＶＲでは、録画結果から見たいシーンを見つけるために、早送り等を頻繁に使用するなどトリックプレイ機能は今まで以上に重要になっている。

関連する蓄積コンテンツの早送り方式の一例が特許文献１に記載されている。この方式は２倍速の早送りを実現するため、読出し処理を２倍のレートで実施した上でデータに付加されたデコードと再生に関する時刻情報を２分の１の値に変更した上で、時刻情報に従ってデコードと再生処理を実施する。これによりコンテンツの２倍速での早送りを実現している。

また、他の蓄積コンテンツの早送り方式の一例が特許文献２に記載されている。この方式は指定された早送り倍率に従い、フレーム単位で間引き処理を実施した後にデコードを実施している。フレーム単位での間引きを行うことで、画像のフレームスキップを実現し、早送りを実現している。
特開２００２−３５４４１９号公報特開２００６−２９５６４５号公報

しかし、特許文献１及び２の方式では、再生速度の変更を指示してから実際に再生速度が変化するまでに遅延が生じる問題がある。パケット交換ネットワークでは過負荷や伝送経路の変更によってパケットの到着間隔に揺らぎが発生する。映像配信システムではこの揺らぎが再生映像のフレームレートの変動の要因になるため、映像再生装置は揺らぎを吸収するジッタバッファを備える必要がある。映像再生装置のジッタバッファには一般的に数百ｍｓｅｃから数秒程度の映像パケットがバッファリングされている。

映像再生装置側にパケットが蓄積しているため、サーバが再生速度を変更した映像データを配信したとしても、数百ｍｓｅｃから数秒間は、映像再生速度が変化しないことになる。ユーザが早送りや巻き戻しなどのトリックプレイを行うときは表示される映像を見ながら操作を実施するため、快適な操作のためにレスポンスタイムを削減することは重要である。

本発明の目的は、映像再生速度を変更するときに、要求と実際に映像再生速度が変化するまでのレスポンスタイムを短縮する映像再生装置、映像配信装置、映像配信システムおよびプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、以下の特徴を有することとする。

本発明は上記の課題を解決するために、以下のような特徴を備える。
映像再生装置は、映像配信装置から配信されたパケットを受信する受信手段と、映像データのジッタを吸収するバッファリング手段と、パケットから映像データを取得するデパケタイズ手段と、映像データをデコードするデコード手段と、デコードされた映像を表示する表示手段と、ユーザからの映像再生速度の変更指示を取得する再生速度変更指示入力手段と、映像再生速度の変更指示を映像配信装置に要求する再生速度変更要求手段と、クロックを備えてデコード及び表示のタイミングを決定する時刻管理手段と、バッファリング手段内部の映像データの時刻情報と時刻管理手段のクロック値を変更する時刻情報変更手段を備える。

また、映像配信装置は、エンコードされた映像データを記憶するコンテンツ記憶手段と、コンテンツ記憶手段に保持されているコンテンツの情報を管理するコンテンツ情報管理手段と、ユーザからの再生速度の変更要求を受け付ける再生速度変更受付手段と、コンテンツ記憶手段からコンテンツを指定された読出しレートで読み出す映像データ読出し手段と、読み出された映像データをパケット化するパケタイズ手段と、パケットにデコード処理と再生処理に必要な同期時刻情報を設定する時刻情報設定手段と、時刻情報の設定が完了したパケットをネットワークに送出する送出手段と、映像データ読出し手段と時刻情報設定手段に再生倍率を通知する再生速度変更手段とを備える。

再生速度変更指示入力手段を介してユーザが再生速度の変更を要求すると、再生速度変更要求手段は映像配信装置に対して再生速度変更コマンドと希望する再生速度倍率を通知する。映像配信装置の再生速度変更手段は要求された再生速度倍率に従い、映像データ読出し手段に読み出しレートを再生速度倍率に変更する指示を行う。また、時刻情報設定手段には付加する時刻情報のクロックレートを再生速度倍率で割った値に更新する指示を行う。パケットに付加する時刻情報のクロックレートを変更することにより、映像再生装置は時刻情報に従うことで、要求した映像再生速度での映像再生が可能になる。再生速度変更受付手段は、再生速度変更を実施する前に送出したパケットに付加した時刻情報を再生速度変更点の時刻として映像再生装置に通知する。

映像再生装置の時刻情報変更手段は、映像配信装置から通知された時刻情報以下の時刻を持つパケットをバッファリング手段中から検索する。当該パケットに付加された時刻情報を再生速度変更後のパケットと同一の時刻増加率になるように付け替える。時刻情報変更手段は時刻情報の書き換えを行った後、最も小さい時刻情報を取得し、時刻管理手段にクロック値として設定する。パケットの時刻情報書き換え及び時刻管理手段へのクロック値指定を行うことで時刻管理手段は直ちにバッファリング手段の中のパケットをデコードし、再生を実施する。また、以降のパケットの時刻情報も希望した再生速度に相当する増分に書き換えているため、直ちに希望したフレームレートでの映像再生が可能になる。

本発明によれば、再生速度を変更した場合、直ちに表示映像の再生速度が変化する。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
本発明の第一の実施の形態は、図１に示す映像配信システム１００である。映像配信システム１００は、映像配信装置２００と、映像再生装置３００と、ネットワーク５００から構成されている。

映像配信装置２００は映像コンテンツを保持し、要求した端末に対して映像コンテンツの配信を行う装置であり、図２に示す通りコンテンツ記憶手段２０１、映像データ読み出し手段２０２、パケタイズ手段２０３、時刻情報設定手段２０４、送出手段２０５、コンテンツ情報管理手段２０６、再生速度変更手段２０７、再生速度変更受付手段２０８から構成されている。

映像再生装置３００は映像配信装置２００に対して映像の配信を要求し、配信された映像コンテンツを受信し再生する装置であり、図３に示す通り受信手段３０１、バッファリング手段３０２、デパケタイズ手段３０３、デコード手段３０４、表示手段３０５、再生速度変更指示入力手段３０６、再生速度変更要求手段３０７、時刻情報変更手段３０８、時刻管理手段３０９から構成されている。

ネットワーク５００は映像配信装置２００と映像再生装置３００が接続されたネットワークまたはバスである。

これらの手段はそれぞれ以下に示すように動作する。ここでは説明を容易にするため音声データの処理とエラー処理などに関しては省略している。

映像配信装置２００の構成要素について説明する。
コンテンツ記憶手段２０１は１つ以上の映像コンテンツを格納し、保持する記憶手段である。

コンテンツ情報管理手段２０６は、コンテンツ記憶手段２０１が保持している映像コンテンツの識別子や符号化ビットレート情報などのコンテンツ情報を保持し管理する手段である。本例ではこの情報はコンテンツ記憶手段２０１内部に映像コンテンツと共に記憶され、コンテンツ情報管理手段２０６が読み出しているが、他の記憶手段から取得するか、ユーザまたは管理者が直接情報を入力しても良い。

コンテンツ読み出し手段２０２はコンテンツ記憶手段２０１から、指定された映像コンテンツを指定されたビットレートで読み出す手段である。通常再生時には、コンテンツ情報管理手段２０６から当該映像コンテンツの符号化ビットレート情報を取得し、そのビットレートに従ってコンテンツの読み出し処理を実施する。再生速度を上昇させるときには読み出しレートを増加し、再生速度を低下させるときは読み出しレートを減少させる処理を行う。

パケタイズ手段２０３はコンテンツ読み出し手段２０２が読み出した映像コンテンツをネットワーク５００へ送出するにあたり適当なサイズに分割し、規格に合わせたヘッダ等の管理情報を付加してパケット化する手段である。パケット化の規格について本発明は特に指定しないが、映像再生装置３００で再生同期処理を行うために用いる時刻情報が付加できる必要がある。

時刻情報設定手段２０４はパケタイズ手段２０３で生成されたパケットに対して、時刻情報を付加する手段である。時刻情報設定手段２０４は内部に時刻情報を生成するためのクロックカウンタを持っている。パケタイズ手段２０３が出力したパケットの時刻情報部分に対して、このクロックカウンタの値を付加する処理を行う。映像再生装置３００ではこの時刻情報に従って映像のデコードと表示を行うことで一定のレートで映像を再生させることが可能になる。本発明では時刻情報をパケットのヘッダ部分に付加することを想定しているが、時刻情報の位置については特に限定しない。ペイロード内部に存在する場合や、パケットヘッダ以外の別の管理領域にある場合などでも本発明は有効である。

送出手段２０５は時刻情報設定手段２０４で処理したパケットをネットワーク５００に接続されている映像再生装置３００に対して送出する手段である。本発明では送出方法としてインターネットへのユニキャスト送信を想定しているがこれに限らなくても本発明は有効である。またネットワーク５００がＮＧＮ網等の優先配送制御をサポートするＩＰネットワークである場合はパケットに優先度情報を付加しても良い。

再生速度変更受付手段２０８はネットワーク５００に接続されている映像再生装置３００から再生速度の変更要求を受け付ける手段である。映像再生装置３００は再生速度変更要求メッセージとして希望する再生速度の倍率を通知する。再生速度変更受付手段２０８は再生速度変更手段２０７に対して、指定倍率での再生速度変更を指示する。再生速度の変更が可能になった場合は、再生速度変更受付メッセージを送出することで、映像再生装置３００に対して再生速度の変更完了を通知する。再生速度変更受付メッセージには、再生速度変更手段２０７が時刻情報設定手段２０４から取得した、再生速度変更点時刻の情報を含んでいる。本発明ではメッセージの転送は映像コンテンツデータとは別のセッションを使用することを想定しているが、これに限らず送出手段２０５が使用しているセッションを使用する方法などであってもよい。また、現在の再生速度から再生速度を減少させる場合には、再生速度変更受付メッセージを通知した後に再生速度変更手段２０７に対して、指定倍率での再生速度変更を指示する。

再生速度変更手段２０７は配信する映像コンテンツの再生速度を変更するため、映像データ読み出し手段２０２に対してコンテンツの読み出しレートの変更を指示し、時刻情報設定手段２０４に対してカウンタの増加割合であるクロックレートを変更する指示を行う手段である。新たな再生速度の倍率は再生速度変更受付手段２０８から通知される。映像データの読み出しレートにこの再生速度倍率をかけた値を新たな映像データの読み出しレートに決定し、データの読み出しの処理を変更する。時刻情報設定手段２０４の内部カウンタをこの再生速度倍率で割った値を新たなクロックレートとして設定する。続いて、新たなクロックレートを設定する直前にパケットに付加した時刻情報を再生速度変更点時刻として再生速度変更受付手段２０８に通知する。

以上の手段とその動作により、映像配信装置２００は映像再生装置３００が要求した倍率での映像配信を行う。また、再生速度変更点時刻を映像再生装置３００側に通知することで、パケットの内どこから再生速度が変更されたかを映像再生装置３００側でも特定することが可能になる。

つづいて映像再生装置３００の構成要素について説明する。
受信手段３０１はネットワーク５００に接続された映像配信装置２００から配信される映像コンテンツデータを受信する手段である。

バッファリング手段３０２は受信手段３０１で受信した映像データを蓄積し、パケットの到着ジッタを吸収すると共にデコードまで映像データを待機させるための手段である。バッファリング手段３０２の別の機能として、時刻情報変更手段３０８と連携し、指定された時刻情報を持つ映像データを検索して、その時刻情報を書き換える処理を実施することがある。

デパケタイズ手段３０３はパケットからペイロードを取り出して結合し、映像データに変換する手段である。デパケタイズ手段３０３の出力はデコード手段３０４でデコード可能なデータ形式に変換される。映像配信装置２００が付加した時刻情報がパケットヘッダに存在する場合は、デパケタイズ手段３０３はデパケタイズ後の映像データに対して時刻情報を付加する処理を実施する。

時刻管理手段３０９はデコード手段３０４に対して、デコード及び映像再生のタイミングを決定するための時刻情報を供給する手段である。内部にクロックを持ち、あらかじめ決定されたクロックレートで一様増加するカウンタを備えている。このカウンタ値は常にデコード手段３０４に供給されている。

デコード手段３０４は映像データをデコードし、ビットマップデータを取得する手段である。デコード処理を実施するタイミングは時刻管理手段３０９のカウンタ値を使用して決定する。デコード手段３０４は、バッファリング手段３０２内に蓄積しているパケットの内、時刻管理手段３０９のカウンタ値以下の時刻情報を持つパケットが存在するときにデコード処理を実施する。デコード手段３０４は、バッファリング手段３０２からパケットを取り出し、デパケタイズ手段３０３を用いてデパケタイズ処理を実施する。このパケットの取り出しとデパケタイズの処理を行い、１ピクチャ分の映像データを取得した上で、映像コーデックを使用してデコード処理を実施する。デコードが完了した映像は、表示手段３０５に送り表示させる。

表示手段３０５はビットマップデータを受け取り、映像を表示する手段である。本例ではこの表示手段３０５はモニタなどの映像表示デバイスを持つことを想定しているが、映像出力端子のみを備え、別の映像表示機器へ映像を転送する形態でも良い。

再生速度変更指示入力手段３０６はユーザから映像再生速度の変更の指示を受け付ける手段である。本発明では再生速度の変更の受付手段については特定しない。ユーザインターフェースの再生速度変更ボタン等によって指示を受け付けることを想定しているが、数値入力やスライドバーなど他の方法であっても良い。

再生速度変更要求手段３０７は再生速度の変更要求を、映像配信装置２００の再生速度変更受付手段２０８に対して通知する手段である。再生速度変更指示入力手段３０６から再生速度の変更を受け付け、再生速度の倍率を決定し、再生速度変更要求メッセージに含めて映像配信装置２００に対して送信する。要求した再生速度の変更が認められた場合には、再生速度変更受付メッセージを受信する。このメッセージを受信したときには、時刻情報変更手段３０８に対して映像配信装置２００から同時に取得した再生速度変更点時刻の情報と共に再生レート変更の処理を指示する。

時刻情報変更手段３０８は再生レート変更の高速化を実現するため、バッファリング手段３０２が保持している映像パケットの時刻情報の付け替えと、時刻管理手段３０９が保持するカウンタ値の変更を実施する手段である。この処理は再生速度変更要求手段３０７が、映像配信装置２００から再生速度変更受付メッセージを受信したタイミングで実行される。

時刻情報変更手段３０８の内部処理について、図４を用いて説明する。時刻情報変更手段３０８は再生速度変更要求手段３０７から現在の再生速度に対する再生速度の変更倍率４２１(値はk)と再生速度変更点時刻４２２(値は時刻４)を取得する。

バッファリング手段３０２内部には、映像パケットが蓄積されている。映像パケットは、パケットヘッダ４１１、時刻情報４１２、ペイロード４１３から構成されている。時刻情報検索変更手段４０１はバッファリングされているパケットの時刻情報を検索し、再生速度変更点時刻４２２以下の時刻情報を持つパケット(ここでは時刻４、３、２、１が該当する)を抽出する。ここで、書き換える前の時刻情報をT、再生速度変更点時刻をT_change、再生速度の変更倍率をkとして、次式(１)で算出する新たな時刻情報T_newで書き換える。

T_new = (T - T_change)/k + T_change ・・・(１)

書き換えが完了した後、カウンタ値設定手段４０２はバッファリング手段３０２内部に蓄積されているパケットの内、最も小さい時刻情報４１４を取得し、時刻管理手段３０９の新たなカウンタ値４３１として設定する。

以上の手段により、映像再生装置３００は映像配信装置３００が配信した映像パケットのデコードと表示を実施する。また、映像再生装置３００が再生速度変更を要求した時は、映像配信装置２００から再生速度変更前のパケットを識別するための時刻情報を取得し、バッファリング手段３０２に蓄積済みの再生速度変更要求前に配信されたパケットに対して時刻情報の付け替えを実施する。この付け替え処理を実施することにより、パケットの時刻情報の上昇レートを再生速度変更要求後のパケットの上昇レートと同一にする。付け替えを実施した後、バッファリング手段３０２中に存在する最も小さい時刻情報の値を時刻管理手段３０９のカウンタ値として設定することにより、次のデコード処理が待たされることなく実施される。

本例では、バッファリング手段３０２は受信手段の３０１の後段に配置され、映像パケットをバッファリングする構成になっているが、これ以外の構成であっても良い。図５に示すように、デパケタイズ後の映像データをバッファリングする構成でも良い。この場合は、デパケタイズ手段で取得したペイロードに対して時刻情報をコピーする処理を実施する。さらに図６に示すように、デコード後のビットマップデータをバッファリングする構成であっても良い。この場合はデパケタイズ手段３０３からの出力データ及びデコード手段３０４の出力データもパケットに付加されていた時刻情報をコピーする処理を実施する。また、表示手段３０５が、時刻管理手段３０９から時刻情報の供給を受けて映像表示のタイミングを判断し、バッファリング手段３０２からビットマップデータを取得して表示を実施する。

本例では、映像再生システム１００はネットワーク５００で接続された２つの装置から構成されるが、映像配信装置２００が映像配信手段として、映像再生装置３００が映像再生手段として、ネットワーク５００がバスとして１つの筐体内にある映像再生装置を構成していても本発明は有効である。

次に、映像再生装置３００が映像の再生速度を変更する処理について、図７のシーケンス図を参照して詳細に説明する。以下では説明を簡単にするためにエラー処理についての記述を省略している。

まず映像配信装置２００が映像配信を開始する(ステップＳＴ７０１)。この映像再生開始に関する処理については本例では特に方式を特定しない。映像配信装置２００は映像再生装置３００に対して映像配信を継続する(ステップＳＴ７０２)。

映像再生装置３００から映像配信装置２００の再生速度変更要求受付手段２０８に対して、再生速度の変更の要求を実施する(ステップＳＴ７０３)。この時、再生速度変更要求メッセージには再生速度倍率kが含まれている。

映像配信装置２００は配信処理を一時停止し(ステップＳＴ７０４)、映像データ読み出し手段２０２が持つ映像データ読み出しレートをk倍する(ステップＳＴ７０５)。また、時刻情報設定手段２０４が保持している現時点の時刻情報を保存し(ステップＳＴ７０６)、クロックレートを１/k倍した値を新たなクロックレートとして設定する(ステップＳＴ７０７)。

再生速度変更の準備が完了した後、映像配信を再開する(ステップＳＴ７０８)。この再開により、k倍の再生を実現する映像ストリームが映像再生装置３００に対して配信される(ステップＳＴ７０９)。

再生速度変更受付手段２０８から映像再生装置３００の再生速度変更要求手段３０７に対して、再生速度変更受付メッセージを送信する(ステップＳＴ７１０)。この再生速度変更受付メッセージには、ステップＳＴ７０６で取得した再生速度変更時刻情報が含まれている。

次に映像再生装置３００では、映像のデコード及び表示を一時停止し(ステップＳＴ７１１)、ステップＳＴ７１０で取得した時刻情報に従い、バッファリング手段３０２内部のパケットの時刻情報を書き換える(ステップＳＴ７１２)。続いて書き換えが完了したバッファリング手段３０２の内、最も小さな時刻情報を取得し、この値で時刻管理手段３０９のカウンタ値を変更する(ステップＳＴ７１３)。

以上の処理が完了した後映像再生装置３００は再び映像のデコード及び表示を再開する(ステップＳＴ７１４)。

上記で説明した、本実施の形態の効果について説明する。本実施の形態では、映像再生装置３００内部にバッファリングされているパケットに対して、そのデコード及び表示に関わる時刻情報を書き換える機能を備えた構成となっている。そのため、映像再生速度を変更した時点で既にバッファリング済みであるパケットであっても、再生速度変更後のパケットと同じ時刻情報増加率に補正することが可能である。そのため、直ちに目的の速度で映像を再生することができる。

また、本実施の形態では、時刻情報を書き換えた後再生を実施するため、通常レスポンスを向上させるときに実施するパケット破棄を行う必要がない。そのため映像を欠落させることなく表示することが可能になる。

（実施例１）
次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。映像配信装置２００のコンテンツ情報管理手段には、図８に示すコンテンツ管理情報８００が格納されている。このコンテンツ管理情報８００は、映像コンテンツデータを識別するためのファイル名８０１、コンテンツの内容を示すコンテンツ名８０２、映像コンテンツがエンコードされたときのビットレート３０３から構成されている。

ユーザがコンテンツ名「野球中継」を選択した場合、映像データ読み出し手段２０２は、コンテンツファイルvdata002.mp4を、毎秒２Ｍｂｉｔの速度で読み出す処理を実施する。本実施例では、コンテンツファイルはMPEG-4コーデックにより圧縮されているものとする。

パケタイズ処理について図９を用いて説明する。映像データ読み出し手段２０２から読み出された映像データ９０１は、パケタイズ手段２０３においてパケット単位へ分割される。本発明においてパケット化の規格には特に制限はないが、本実施例では、ＩＥＴＦＲＦＣ３０１６ “RTP Payload Format for MPEG-4 Audio/Visual Streams”を用いることとする。これにより時刻情報設定手段２０４が付加する時刻情報はＲＴＰヘッダのタイムスタンプに記録される。

映像データ９０１はネットワーク転送に適したサイズに分割され、ペイロード９１３となる。ＲＴＰヘッダ９１１を付加したのち、時刻情報設定手段２０４に出力する。この段階ではＲＴＰヘッダのタイムスタンプ９１２には値を設定しない。

パケタイズ処理が完了した後、時刻情報設定手段２０４において時刻情報の生成と付加を実施する。時刻情報の生成は、MPEG-4のピクチャ単位で行われる。通常再生時にはこの時刻情報は９０ｋＨｚのクロックレートで生成される値であり、フレームレートが３０ｆｐｓの映像コンテンツであれば、１ピクチャあたり３０００ずつ上昇する値となる。図９では、０から始まる時刻情報９２１がピクチャ単位で生成され、各パケットのタイムスタンプ９３２に付加される。同一ピクチャであれば、パケットが異なっていても同一の時刻情報が付加される。

時刻情報設定手段２０４から出力されたパケットは、送出手段２０５によって映像再生装置３００に向けてネットワーク３００に送出される。

続いて、映像再生速度を２倍に変更する場合の映像配信装置２００の処理について説明する。先の例と同じくコンテンツ名「野球中継」を再生中に、再生速度変更受付手段２０８が再生速度を２倍に変更する再生速度変更要求メッセージを受信する。

再生速度変更手段２０７は現在コンテンツを読み出しているビットレートである２Ｍｂｐｓに再生速度倍率２をかけ、４Ｍｂｐｓの読み出し速度を新たなビットレートとして映像データ読み出し手段２０２に指定する。この後映像データ読み出し手段２０２は映像データを４Ｍｂｐｓの速度で読み出す処理を実施する。

また、再生速度変更手段２０７は時刻情報設定手段２０４が時刻情報を生成するクロックレートである９０ｋＨｚを再生速度倍率２で割り、４５ｋＨｚを新たなクロックレートとして時刻情報設定手段２０４に設定する。

以上の設定情報の変更により、映像配信装置２００は図１０に示すように、再生途中から再生速度が２倍となるパケットの送出を行う。また、再生速度変更受付手段２０８は再生速度変更点時刻(図１０で示す６０００)を再生速度変更受付メッセージに含めて映像再生装置３００に通知する。

次に、映像再生速度を２倍に変更する場合の映像再生装置３００内部の処理について説明する。再生速度を２倍に変更する要求を行った再生速度変更要求手段３０７は、再生速度変更受付手段２０８から、再生速度変更受付メッセージを受信する。メッセージ内部から再生速度変更点時刻(本例では６０００)を取得し、再生速度変更手段３０８に再生速度倍率である２と共に通知する。

時刻情報変更手段３０８は、再生処理を一時停止した後、バッファリング手段３０２に対してパケット内部の時刻情報の付け替えを実施する。付け替えの具体例を図１１に示す。時刻情報変更手段３０８は再生速度変更要求手段３０７から、再生速度倍率１１１１(本例での値は２)と、再生速度変更点時刻１１１２(本例での値は６０００)を受け取る。時刻情報検索変更手段４０１はバッファリング手段３０２にバッファリングされているＲＴＰパケットのタイムスタンプを検索し、タイムスタンプに６０００を持つＲＴＰパケット１１０３を取得する。続いて６０００以下の時刻情報を持つパケットに対して、式(１)の演算で求めた新たな時刻情報を付加する。具体的には、ＲＴＰパケット１１０３では、(６０００ − ６０００)/２＋６０００＝６０００となり、ＲＴＰパケット１１０２では、(３０００ − ６０００)/２＋６０００＝４５００となり、ＲＴＰパケット１１０１では (０ − ６０００)/２＋６０００＝３０００となる。パケットの付け替えが完了した後、カウンタ値設定手段４０２は最も小さな時刻情報１１１３(本例での値は３０００)を取得し、時刻管理手段３０９が持つカウンタ値として設定する。

上記の設定が完了した後、時刻情報変更手段３０８は再生処理を再開する。図１２に示すようにパケットの時刻情報を付け替えたことによって、バッファリング手段３０２にバッファリングされたパケットの時刻情報の増加率はすべて再生速度変更後のものと同一になり、すべてのパケットが２倍の速度で再生可能になる。また、時刻管理手段３０９が持つカウンタをバッファリング手段３０２内部の最も早くデコードされるべきパケットの時刻情報で書き換えているため、再生処理の再開時に直ちに再生が実施される。

（実施例２）
次に第２の例を挙げて本発明を実施する動作を説明する。

図１３は映像配信装置１３００のブロック図である。映像配信手段１３００は、スケーラブルコンテンツ配信手段１３０１、レイヤ別コンテンツ読み出し手段１３０２、パケタイズ手段１３０３、時刻情報設定手段１３０４、送出手段１３０５、スケーラブルコンテンツ情報管理手段１３０６、再生速度変更手段１３０７、再生速度変更受付手段１３０８から構成される。

スケーラブルコンテンツ記憶手段１３０１は映像スケーラブルコーデックでエンコードされた映像コンテンツを記憶する手段である。本実施例では映像コンテンツはＨ.２６４／ＳＶＣ (Scalable Video Coding)コーデックで圧縮され、基本レイヤと２つの拡張レイヤ(第１拡張レイヤ、第２拡張レイヤ)から構成されるものとする。第１拡張レイヤは基本レイヤとあわせてデコードすることで、基本レイヤのみデコードした結果以上の画像品質を得られる基本レイヤの上位に位置するビットストリームである。第２拡張レイヤは基本レイヤと第１拡張レイヤと共にデコードすることで基本レイヤと第１拡張レイヤのみデコードした結果以上の画像品質を得られる第１拡張レイヤの上位に位置するビットストリームである。本実施例ではSN比スケーラブルエンコードの設定で、コンテンツのビットレートは図１４に示すようにそれぞれ各レイヤ１Ｍｂｐｓずつ、コンテンツ全体で３Ｍｂｐｓとする。本発明はＳＮスケーラブル設定に限らず、空間スケーラブル設定、時間スケーラブル設定等であっても有効である。

スケーラブルコンテンツ情報管理手段１３０６はコンテンツ記憶手段１３０１が記憶しているコンテンツ情報１４０１を保持し、必要に応じて再生速度変更手段１３０７に提供する手段である。

レイヤ別コンテンツ読み出し手段１３０２はスケーラブルコンテンツ記憶手段１３０１から、指定されたレイヤのストリームを指定されたビットレートで読み出す手段である。読出しに際し、レイヤ別コンテンツ読み出し手段１３０２は再生速度変更手段１３０７からスケーラブルコンテンツ記憶手段１３０１に記憶されているコンテンツ中のどのレイヤを読み出すか、またそれぞれのレイヤの読出しビットレートの指定を受ける。本実施例における通常再生時には基本レイヤから第２拡張レイヤまでの全ストリームを受信端末に送出するため、再生速度変更手段１３０７はレイヤ別コンテンツ読み出し手段１３０２に対して、基本レイヤ、第１拡張レイヤ、第２拡張レイヤをそれぞれ１Mbpsで読み出す指示を行う。

レイヤ別コンテンツ読み出し手段１３０２はスケーラブルコンテンツ記憶手段１３０１中のＨ.２６４／ＳＶＣストリームを読み出し、そのデータをパケタイズ手段１３０３へ送出する。早送り再生を実施する時は再生速度変更手段１３０７が決定した各レイヤ別の読出しビットレートに従って読み出し処理を行う。

再生速度変更手段１３０７は再生速度変更要求受付手段１３０８から再生速度倍率を取得し、映像コンテンツの各レイヤ別読出しビットレートの変更を決定する手段である。再生速度変更手段１３０７はスケーラブルコンテンツ情報管理手段１３０６から配信するコンテンツのレイヤ情報とビットレート情報を取得する。また、ユーザから使用可能ネットワーク帯域の指定を受ける。各レイヤ別の配信ビットレートの算出方法については図１４を元に説明する。再生速度変更手段１３０７はユーザから使用可能ネットワーク帯域Ballの指定を受ける。本実施例ではＢａｌｌ＝３Ｍｂｐｓとする。この使用可能ネットワーク帯域Ｂａｌｌを超えない範囲で基本レイヤのストリームのビットレートに再生速度の倍率をかけて早送り再生時の基本レイヤ読出しビットレートを算出する。再生速度倍率が１.５倍の時１.５Ｍｂｐｓ、２.０倍の時２Ｍｂｐｓ、２.５倍の時２.５Ｍｂｐｓ、３.０倍の時３Ｍｂｐｓとなる。

再生速度の倍率が１.５倍の時には基本レイヤの読出しビットレートは１.５Ｍｂｐｓであり、使用可能ネットワーク帯域Ｂａｌｌとの差から使用していない帯域が１.５Ｍｂｐｓとなる。基本レイヤだけでなく、基本レイヤの上位レイヤである第１拡張レイヤを１.５倍速で送出しても使用帯域は(１.５＋１.５)＝３Ｍｂｐｓとなり、使用可能ネットワーク帯域Ｂａｌｌを超えることはない。このように上位の拡張レイヤを含めてビットレートを上昇させた場合でも使用可能ネットワーク帯域Ｂａｌｌを超えない場合は上位の拡張レイヤも含めて送出する処理を行っても良い。この時は受信端末上では基本レイヤのみを送出したとき以上の画質で早送り映像を視聴することが可能になる。しかし本実施例では再生速度の倍率が２.０倍を超えるときは基本レイヤと同じ割合で第１拡張レイヤの読出しビットレートを向上させると (２.０＋２．０)＝４Ｍｂｐｓとなり、使用可能ネットワーク帯域Ｂａｌｌを超える。この場合は第１拡張レイヤの送出は行わずに、空き帯域を残したまま基本レイヤのみ２Ｍｂｐｓでの送出を決定する。

パケタイズ及び送出については実施例１で述べた処理と同等である。時刻情報の付加については、時刻情報の生成に関しては実施例１と同じであるが、異なるレイヤであっても、同一のピクチャを構成する場合は同じ時刻情報を付加する処理を行う。

再生速度を変化させた場合の映像再生の処理について図１５を用いて説明する。映像再生装置１５００は受信手段１５０１、バッファリング手段１５０２、デパケタイズ手段１５０３、スケーラブルコンテンツデコード手段１５０４、表示手段１５０５、再生速度変更指示入力手段１５０６、再生速度変更要求手段１５０７、時刻情報変更手段１５０８、時刻管理手段１５０９から構成される。

映像再生装置１５００のスケーラブルコンテンツデコード手段１５０４は、デパケタイズ手段から出力されたスケーラブル映像データをデコードしてビットマップを表示する手段である。

映像配信装置１３００が第２拡張レイヤを送出しなかった時、スケーラブルコンテンツデコード手段１５０４は、第１、基本の２つの拡張レイヤを用いてデコードを実施し、粗いビットマップ映像を出力する。また、第２、第１拡張レイヤを送出しなかった時、スケーラブルコンテンツデコード手段１５０４は基本レイヤのみデコードし、より粗いビットマップ映像を出力する。

再生速度を変更する場合には、時刻情報変更手段は実施例１と同様にバッファリング手段１５０２内部のパケットを検索する。検索の結果、再生速度変更時刻以下の複数のレイヤのパケットが取得される。その各パケットに対して式１によって時刻情報を付け替える。また、付け替えた結果パケットが持つ最も小さな時刻情報を時刻管理手段１５０９のクロックカウンタに設定する。

以上により、映像配信装置１３００は映像の再生速度を増加させるときに、指定されたビットレートを超えることなく、映像を送出することが可能になる。また、映像再生装置１５００は再生速度を増加させる要求を出した後、直ちに再生映像のフレームレートを増加させることが可能になる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、映像配信装置、映像再生装置の機能を実現するためのプログラムを各装置に読込ませて実行することにより各装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。また、各装置の機能が他の装置によりまとめて実現されたり、追加の装置により機能が分散されて実現される形態も本発明の範囲内である。

なお、この出願は、２００８年３月２１日に出願した、日本特許出願番号２００８−０７３９２５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、例えば、ＶｏＤプレーヤやｎＤＶＲプレーヤ等の映像再生クライアントと言った用途に適用できる。また、ＨＤＤレコーダなどの映像再生装置と言った用途にも適用可能である。

本発明の第一の実施の形態を示すシステム構成図である。本発明の第一の実施の形態の映像配信装置内部のブロック図である。本発明の第一の実施の形態の映像再生装置内部のブロック図である。本発明の第一の実施の形態の時刻情報の付け替え処理を示す図である。本発明の第一の実施の形態の映像再生装置の他の構成を示すブロック図である。本発明の第一の実施の形態の映像再生装置の他の構成を示すブロック図である。本発明の第一の実施の形態の映像再生速度変更処理を示すシーケンス図である。本発明の第一の実施の形態のコンテンツ情報を示す図である。本発明の第一の実施の形態のパケタイズ処理と時刻情報変更処理を示す図である。本発明の第一の実施の形態における再生速度変更時のパケットを示す図である。本発明の第一の実施の形態の再生装置側での時刻情報の変更方法を示す図である。本発明の第一の実施の形態の時刻情報を示すグラフである。本発明の第二の実施の形態の映像配信装置内部のブロック図である。本発明の第二の実施の形態実施の形態のコンテンツ情報を示す図である。本発明の第二の実施の形態実施の形態の映像再生装置内部のブロック図である。

Claims

映像データを貯留するバッファリング手段と、内部のクロックに応じてカウンタ値を増加させながら前記カウンタ値に基づき同期用の時刻情報を生成し、生成した前記時刻情報を供給する時刻管理手段と、供給された前記時刻情報以下の時刻情報が付加されている前記映像データをデコードするデコード手段と、映像データに付加されている時刻情報を変更し、時刻管理手段に対して時刻の設定を行う時刻情報変更手段を備え、
前記時刻情報変更手段は、前記バッファリング手段内部に貯留された映像データの内、ある時刻情報を持つ映像データを選択し、選択された映像データの時刻情報を変更する時刻情報検索変更手段と、前記時刻情報検索変更手段による時刻情報の変更の終了後に前記バッファリング手段内部に貯留された映像データの持つ時刻情報のうち、最も小さい時刻情報を取得し、取得した前記時刻情報を、前記時刻管理手段に前記カウンタ値として設定するカウンタ値設定手段を備えたことを特徴とする映像再生装置。
前記時刻情報検索変更手段は、特定の時刻以下の時刻情報を持つ映像データを抽出し、前記抽出された映像データの時刻情報を変更することを特徴とする請求項１記載の映像再生装置。
前記時刻情報検索変更手段は、前記抽出された映像データの時刻情報の増加率を、抽出されなかった映像データの時刻情報の増加率と等しくなるように前記抽出された映像データの時刻情報を変更することを特徴とする請求項２記載の映像再生装置。
前記時刻情報検索変更手段が映像データを選択または抽出するときに用いる時刻情報は、映像配信装置から取得することを特徴とする請求項１乃至３のいずれか１項に記載の映像再生装置。
前記映像データはＲＴＰパケット化された映像コンテンツであり、前記映像データの時刻情報はＲＴＰタイムスタンプであることを特徴とする請求項１乃至４のいずれか１項に記載の映像再生装置。
前記映像データはスケーラブルコーデックでエンコードされた映像コンテンツであることを特徴とする請求項１乃至５のいずれか１項に記載の映像再生装置。
請求項４から６のいずれか１項に記載の映像再生装置と、映像の再生速度を変更する際、再生速度を変更した映像データを特定することが可能な時刻情報を映像再生装置に通知する再生速度変更手段を備えたことを特徴とする映像配信装置とによって構成されることを特徴とする映像配信システム。
映像再生装置と映像配信装置はバス接続されていることを特徴とする請求項７記載の映像配信システム。
映像再生装置に、映像データをバッファリング手段に貯留するバッファリング処理と、内部のクロックに応じてカウンタ値を順次増加させながら前記カウンタ値に基づき同期用の時刻情報を生成し、生成した前記時刻情報を供給する時刻管理処理と、供給された前記時刻情報以下の時刻情報が付加されている前記映像データをデコードするデコード処理と、映像データに付加されている時刻情報を変更し、時刻管理手段に対して時刻の設定を行う時刻情報変更処理を実行させ、
前記時刻情報変更処理は、前記バッファリング手段内部に貯留された映像データの内、ある時刻情報を持つ映像データを選択し、選択された映像データの時刻情報を変更する時刻情報検索変更処理と、前記時刻情報検索変更処理による時刻情報の変更の終了後に前記バッファリング処理で貯留された映像データの持つ時刻情報のうち、最も小さい時刻情報を取得し、取得した前記時刻情報を、前記カウンタ値として設定するカウンタ値設定処理を含むことを特徴とするプログラム。
前記時刻情報検索変更処理では、特定の時刻以下の時刻情報を持つ映像データを抽出し、前記抽出された映像データの時刻情報を変更することを特徴とする請求項９記載のプログラム。
前記時刻情報検索変更処理では、前記抽出された映像データの時刻情報の増加率を、抽出されなかった映像データの時刻情報の増加率と等しくなるように前記抽出された映像データの時刻情報を変更することを特徴とする請求項１０記載のプログラム。
前記時刻情報検索変更処理で映像データを選択または抽出するときに用いる時刻情報は、映像配信装置から取得することを特徴とする請求項９乃至１１のいずれか１項に記載のプログラム。
前記映像データはＲＴＰパケット化された映像コンテンツであり、前記映像データの時刻情報はＲＴＰタイムスタンプであることを特徴とする請求項９乃至１２のいずれか１項に記載のプログラム。
映像データをバッファリング手段に貯留し、
内部のクロックに応じてカウンタ値を増加させながら前記カウンタ値に基づき同期用の時刻情報を生成し、生成した前記時刻情報を供給し、
前記バッファリング手段内部に貯留された映像データの内、ある時刻情報を持つ映像データを選択し、選択された映像データの時刻情報を変更し、
時刻情報の変更の終了後に前記バッファリング手段内部に貯留された映像データの持つ時刻情報のうち、最も小さい時刻情報を取得し、取得した前記時刻情報を、前記カウンタ値として設定し、
供給された前記時刻情報以下の時刻情報が付加されている前記映像データをデコードする
ことを特徴とする映像再生方法。