JP3749715B2

JP3749715B2 - 画像データ送出装置および画像データ送出方法

Info

Publication number: JP3749715B2
Application number: JP2003080750A
Authority: JP
Inventors: 功今井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-03-24
Filing date: 2003-03-24
Publication date: 2006-03-01
Anticipated expiration: 2023-03-24
Also published as: JP2004289629A

Description

【０００１】
【発明の属する技術分野】
本発明は記憶メディアに格納された動画像ストリームを送出する画像データ送出装置および画像データ送出方法に関する。
【０００２】
【従来の技術】
現在、動画像圧縮方式として一般的となっているＭＰＥＧ２規格においては、フレーム内符号化およびフレーム間予測符号化を用いた圧縮符号化方式が用いられている。圧縮符号化によって得られるピクチャは３種類である。すなわちイントラピクチャ（Ｉピクチャ）と呼ばれる単独で再生可能なピクチャ、Ｉピクチャからの順方向差分データにより生成されるＰピクチャ、前後の双方の画像との差分情報を用いて生成されるＢピクチャである。
【０００３】
ＭＰＥＧ２が高品質の動画圧縮技術の標準として普及するにしたがって、ＭＰＥＧ２で圧縮符号化された動画像ストリームの早送り、巻き戻し、スキップなどの特殊再生（トリックプレイ）を行いたいという要求が発生するようになっている。
【０００４】
圧縮符号化された動画像ストリームを送出するシステムとしては、例えば、所定の画面から再生を開始できるようにするために、圧縮データとは別のサブデータ（ＧＯＰデータやインデックスデータ）を作成するシステムが知られている（例えば、特許文献１参照。）。
【０００５】
また、例えば、２倍速再生用や３倍速再生用といった特殊再生専用の動画像ストリームを予め個々に作成し、それを通常再生用の動画像ストリームと共にビデオサーバのディスクストレージに予め蓄積しておくという手法も知られている。
【０００６】
【特許文献１】
特開平１１−３４１４３７号公報
【０００７】
【発明が解決しようとする課題】
しかし、特殊再生専用の動画像ストリームを通常再生用の動画像ストリームと共にディスクストレージに予め蓄積しておく方式では、大容量のディスクストレージが必要となるという問題が生じる。
【０００８】
本発明は上述の事情を考慮してなされたものであり、特殊再生専用に生成された動画像ストリームを予めディスクストレージなどの記憶メディアに用意しておくことなく、動画像ストリームの特殊再生を実現することが可能な動画像送出装置および動画像送出方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、記憶メディアに格納された動画像ストリームを送出する画像データ送出装置において、フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力する手段と、前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成する手段と、前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納する手段と、前記動画像ストリームの特殊再生要求に応答して、前記動画像ストリームに対応する制御情報に基づき、前記記憶メディアに格納された動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームを選択的に取得することにより、特殊再生用の動画像ストリームを生成するストリーム生成手段と、前記ストリーム生成手段によって生成された特殊再生用の動画像ストリームが前記特殊再生要求で指定された倍速率と前記生成された特殊再生用の動画像ストリームのデータ量とに基づいて規定される所定の送出速度で送出されるように、前記生成された特殊再生用の動画像ストリームのデータ量と前記指定された倍速率とに基づいて前記特殊再生用の動画像ストリームの送出速度を制御する送出速度制御手段とを具備することを特徴とする。
【００１０】
この画像データ送出装置においては、圧縮符号化された動画像ストリームの入力時には、当該動画像ストリームの解析が行われ、その動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報が生成される。生成された制御情報と動画像ストリームは記憶メディアに格納される。そして、特殊再生が要求されると、制御情報に基づいて、動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームが選択的に取得され、これによって特殊再生用の動画像ストリームが生成される。よって、特殊再生専用の動画像ストリームを予め記憶メディアに用意しておく必要が無くなるので、放送番組などの動画像ストリームを多数記憶する場合であっても、記憶メディアの容量不足などの問題は生じない。さらに、出力時には、既に生成されている制御情報に従って必要なフレーム群を容易に取り出すことができるので、特殊再生要求を受けてから特殊再生専用の動画像ストリームを送出するまでの応答性も改善される。さらに、生成された特殊再生用の動画像ストリームのデータ量と前記指定された倍速率とに基づいて、前記特殊再生用の動画像ストリームの送出速度が制御される。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１３】
図１には、本発明の一実施形態に係るビデオサーバ１１の構成が示されている。このビデオサーバ１１は、ディスク記憶装置１２に格納されたＭＰＥＧ２の動画像ストリームを送出する画像データ送出装置である。ビデオサーバ１１は、例えば放送局において放送番組の自動送出装置として用いられる。送出対象の各放送番組は、ＭＰＥＧ２によって圧縮符号化された動画像ストリームとしてディスク記憶装置１２に蓄積される。
【００１４】
ビデオサーバ１１はコンピュータによって実現されており、図示のように、ＣＰＵ１０１、システムコントローラ１０２、メモリ１０３、ネットワークインタフェースユニット１０４、エンコーダインタフェースユニット１０５、ディスクインタフェースユニット１０６、および複数のデコーダインタフェースユニット１０７，１０８を備えている。
【００１５】
ＣＰＵ１０１はビデオサーバ１１の動作を制御するプロセッサであり、メモリ１０３にロードされたオペレーティングシステムおよびビデオ送出制御プログラムを実行する。ビデオ送出制御プログラムは動画像ストリームの蓄積および送出を制御するプログラムである。このビデオ送出制御プログラムには、早送り再生、逆戻し再生などの特殊再生（以下、トリックプレイと称する）を実現するための機能も含まれており、トリックプレイ時にはそのトリックプレイ用の動画像ストリームの生成および送出処理が実行される。
【００１６】
システムコントローラ１０２はＣＰＵ１０１のプロセッサバスとＰＣＩバスのようなシステムバス１００とを接続するブリッジデバイスであり、ここにはメモリ１０３を制御するメモリコントローラも内蔵されている。ネットワークインタフェースユニット１０４はＬＡＮなどのネットワーク１０との通信を行う通信デバイスであり、ネットワーク１０上の操作端末１６との通信を行う。操作端末１６は、ビデオサーバ１１に対して動画像ストリームの蓄積要求および再生要求（通常再生要求、トリックプレイ要求）を送信する。通常再生要求は、例えば番組送出予定情報に従って定期的に操作端末１６からビデオサーバ１１に送信される。また、トリックプレイ要求は、必要に応じて操作端末１６からビデオサーバ１１に送信される。トリックプレイ要求には、再生対象の動画像ストリームを識別する情報の他、倍速率、再生方向（順方向、逆方向）、送出チャネル番号を指定する情報も含まれている。
【００１７】
エンコーダインタフェースユニット１０５はＭＰＥＧ２エンコーダ１３との通信を行い、ＭＰＥＧ２エンコーダ１３から圧縮符号化された動画像ストリームを受信する。ＭＰＥＧ２エンコーダ１３は、例えばＶＴＲなどから出力される動画像データをＭＰＥＧ２の動画像圧縮符号化方式で圧縮符号化することにより、圧縮符号化された動画像ストリーム（ＭＰＥＧ２ストリーム）を生成する。ＭＰＥＧ２の動画像圧縮符号化方式ではフレーム内符号化（イントラ符号化）とフレーム間予測符号化（インター符号化）とが併用される。圧縮符号化された動画像ストリームには、上述したように、イントラ符号化で得られるＩピクチャと、インター符号化で得られるＰピクチャおよびＢピクチャとの３種類のフレームが含まれている。
【００１８】
ディスクインタフェースユニット１０６は、ディスク記憶装置１２との間のデータの入出力を行う。デコーダインタフェースユニット１０７，１０８は、それぞれ動画像ストリームの送出チャネルとして使用されるものであり、これらデコーダインタフェースユニット１０７，１０８にはそれぞれＭＰＥＧ２デコーダ１４，１５が接続されている。デコーダインタフェースユニット１０７，１０８の各々は、例えばＳＣＳＩインタフェースなどから構成されている。
【００１９】
ＭＰＥＧ２デコーダ１４，１５の各々は、圧縮符号化された動画像ストリーム（ＭＰＥＧ２ストリーム）をデコードする。ＭＰＥＧ２デコーダ１４，１５の各々は、通常は、ＭＰＥＧ２動画像ストリームに埋め込まれているタイムスタンプ情報で指定されるタイミングに従ってその動画像ストリーム内の各フレームをデコードおよび再生出力する処理を実行するが（以下、通常モードと云う）、タイムスタンプ情報とは無関係に、動画像ストリームに含まれる各フレームを受信する度にそのフレームを順次デコードおよび再生出力することもできる（以下、プッシュモードと云う）。
【００２０】
ＭＰＥＧ２においては、タイムスタンプ情報としては、例えば、ＰＴＳ（表示タイミングを扱う）、ＤＴＳ（デコードを行うタイミングを扱う）、ＰＣＲ（ストリームの中でのＰＣＲが埋められたパケットの時刻位置をあらわす）などが規定されている。これらタイムスタンプ情報はビデオサーバ１１から送出される動画像ストリームをリアルタイムに再生するために用いられるものである。プッシュモードにおいては、ＭＰＥＧ２デコーダ１４，１５の各々は、タイムスタンプ情報を無視してデコード動作を行う（ビデオサーバ１１からプッシュ型で送られてくるストリームを順次デコードおよび再生する）。この場合、動画像ストリームに含まれる各フレームはその受信の度に順次デコードおよび再生出力され、次のフレームが受信されるまでは前のフレームに対応する映像が出力され続ける。
【００２１】
ＭＰＥＧ２デコーダ１４，１５の各々によってデコードおよび再生出力された動画像データは、それらＭＰＥＧ２デコーダ１４，１５にそれぞれ対応して設けられた番組送信装置に映像データとして送られる。
【００２２】
次に、トリックプレイを実現するためにビデオサーバ１１に設けられた機能について説明する。
【００２３】
Ａ）メタデータ作成
ビデオサーバ１１は、エンコーダ１３からの動画像ストリーム（ＭＰＥＧ２ストリーム）の入力時に、その入力された動画像ストリームを解析（パース）することによってオペレーショナルメタデータを作成する。オペレーショナルメタデータは、入力される動画像ストリームに含まれる各フレーム毎にその開始位置とフレーム種別（Ｉフレーム、Ｐフレーム、Ｂフレーム）を示す制御情報である（以下、メタデータと云う）。
【００２４】
作成されたメタデータは、動画像ストリームに対応付けられた状態でディスク記憶装置１２に格納される。これにより、ディスク記憶装置１２には、複数の動画像ストリームとそれら動画像ストリームそれぞれに対応する複数のメタデータとが一対一に関係付けられて記憶される。
【００２５】
ある動画像ストリームとそれに対応するメタデータとの関係を図２に示す。
【００２６】
図２（ａ）はＭＰＥＧ２の動画像ストリームに含まれるフレーム群の構成を示している。Ｉピクチャのデータサイズは、Ｐピクチャ，Ｂピクチャよりも大きい。図２（ｂ）はメタデータのデータ構造を示している。メタデータはＭＰＥＧ２の動画像ストリームに含まれる各フレーム毎に、そのフレーム種別情報（Ｉ，Ｐ，Ｂ）と、フレームオフセット情報と、バイトオフセット情報とを含む。
【００２７】
フレームオフセット情報は当該フレームがＭＰＥＧ２動画像ストリームの先頭フレームから何番目のフレームであるかを示し、またバイトオフセット情報は当該フレームがＭＰＥＧ２動画像ストリームの先頭から何バイト目のデータであるかを示す。これらフレームオフセット情報およびバイトオフセット情報は、動画像ストリームに含まれる各フレームの開始位置を示す情報として用いられる。
【００２８】
ここで、ＭＰＥＧ２動画像ストリームのデコード順と再生（プレゼンテーション）順について説明する。
【００２９】
Ｂピクチャはそれよりも時間的に後方のＩ，Ｐピクチャを参照が蔵して使用するので、Ｂピクチャを含むＭＰＥＧ２ストリームにおいては、デコードを行うフレームの順番と再生（プレゼンテーション）を行うフレームの順番とが異なることになる。
【００３０】
いま、ＭＰＥＧ２動画像ストリームが、そのストリーム順で
I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B
というフレーム順で並んでいるとする（ＧＯＰ＝１６フレーム）。
【００３１】
この場合、そのデコード順は、
I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B
0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1 (順序１０の桁)
1,2,3,4,5,6,7,8,9,0,1,2,3,4,5,6 (順序１の桁)
であり、再生順は、
I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B
0,0,0,0,0,0,0,1,0,0,1,1,1,1,1,1 (順序１０の桁)
1,4,2,3,7,5,6,0,8,9,3,1,2,6,4,5 (順序１の桁)
となる。
【００３２】
図２の例においては、フレーム番号はそのデコード順を表している。なお、ＩピクチャとＰピクチャだけを対象とするストリームの場合には、デコード順と再生順とが逆転することはない。
【００３３】
Ｂ）出力時のトリミング機能
ビデオサーバ１１は、特殊再生要求（トリックプレイ要求）で再生指定されたＭＰＥＧ２の動画像ストリームに対応するメタデータを参照することにより、その動画像ストリームから必要なフレームを選択的に取り出して、トリック再生用の動画像ストリームを生成する。例えば、Ｉピクチャだけを選んでトリック再生用の動画像ストリームを生成すれば、デコーダ１４，１５の各々はその動画像ストリームに含まれるＩピクチャをビデオサーバ１１の出力順番に合せて再生を行うことができる。順方向のトリックプレイにおいては、Ｉピクチャの他に、Ｐピクチャ，Ｂピクチャを含む場合も正しく再生することができる。
【００３４】
Ｃ）ストリームの送出タイミング制御
ビデオサーバ１１は、トリック再生用の動画像ストリームを任意の送出速度（ｂｐｓ）で送出チャネルから対応するデコーダに送出することができる。出力時のトリミングを行うフレームの選び方と出力するスピードの組み合わせにより、さまざまな倍速率での早送りや巻き戻しのトリックプレイ映像を得ることが出来る。もちろん、トリミング時のフレームの選び方によっては、元の動画像ストリームに対応する通常の送出速度で送出しても、所望の倍速率のトリックプレイ映像を得ることが出来る。
【００３５】
次に、図３を参照して、ビデオサーバ１１の動作の概要について説明する。
【００３６】
入力時には、エンコーダ１３によって得られた動画像ストリームのパースを行い、動画像ストリームに対応するメタデータの生成を行う。メタデータは動画像ストリームと一緒にディスク記憶装置１２に格納されるが、メタデータのデータ量はストリーム本体と比較して十分に小さい。このため、倍速率が互いに異なる何種類ものトリックプレイ専用の動画像ストリームをディスク記憶装置１２に予め保持しておく方式に比べ、必要なストレージサイズを大幅に低減することが可能となる。
【００３７】
出力時には、メタデータを参照することにより、動画像ストリームから必要なフレームを取り出すトリミング処理を行って、たとえばＩピクチャだけを取り出したストリームを作成して出力する。また、単純にＩピクチャだけ取り出すだけではなく、Ｐピクチャについても動画像ストリームから取り出し、Ｂピクチャだけを取り除いたストリームを生成しても良い。
【００３８】
高倍速率での早送りを行う場合などは、単に送出レートを高めるとデコーダ側の動作が追いつかずにオーバーフローが発生してしまうことがあるが、トリミング処理によってトリックプレイ用の送出ストリームに含まれるフレーム数自体（送出ストリームのデータ量）を削減することにより、デコーダ側の処理の破綻を未然に防止することができる。
【００３９】
ＣＰＵ１０１の使用についてはＭＰＥＧ２ストリームのパースはＣＰＵ１０１に負担をかける作業ではあるが、入力時に一度パースを行っておけば、出力時には既に作成されているメタデータを用いて様々な倍速率のトリックプレイ用のストリームを容易に生成できるので、限られた一定の時間内にトリックプレイ用ストリームの送出を開始することが出来る。
【００４０】
次に、図４を参照して、トリミング処理で生成されるトリックプレイ用ストリームの例を説明する。
【００４１】
図４（ａ）は元の動画像ストリームに含まれるフレーム群の構成を示している。いま、３倍速で逆方向再生（リバース再生）を行う場合を想定する。トリックプレイ要求によってリバース再生の開始点と終了点が指定されたとする。トリミング処理では、指定された開始点のフレーム位置から逆方向にメタデータを順次辿ることにより、開始点から終了点までに属するフレームそれぞれのフレーム種別が調べられる。そして、指定された開始点から順にＩピクチャの抽出が行われる。
【００４２】
元の動画像ストリームにおいて、開始点と終了点との間にＩ_０，Ｉ_１，Ｉ_２の３つのＩピクチャが図４（ａ）のように配置されている場合、図４（ｂ）に示すように、Ｉ_２，Ｉ_１，Ｉ_０という並びの３つのＩピクチャから構成されるトリックプレイ用のストリームが生成される。
【００４３】
放送番組用のＭＰＥＧ２動画像ストリームからＩピクチャだけを抽出してトリックプレイ用のストリームを生成した場合、その生成されたストリームのデータサイズは元の動画像ストリームのデータサイズよりも大幅に低減される。データサイズの低減率は元の動画像ストリームに依存するが、いま、例えば元の動画像ストリームのデータサイズに対して１／６程度になったとする。この場合、もし、生成されたストリームを元の動画像ストリームに対応する送出速度で送出すると、デコーダからは６倍速のリバース再生に対応する映像が出力される。よって、生成されたストリームを元の動画像ストリームに対応する送出速度の１／２の速度で伝送すれば、３倍速のリバース再生に対応する映像が出力される。
【００４４】
すなわち、デコーダは現在再生出力中のフレームの次のフレームが受信されるまでは現在再生出力中のフレームに対応する映像の出力を維持するので、送出速度を例えば通常レートの１／２に制御すれば、Ｉ_２，Ｉ_１，Ｉ_０それぞれの映像は、通常の１／３０秒単位ではなく、その倍の１／１５秒単位で切り替わることとなる。このように、生成されたトリックプレイ用のストリームの送出速度は、指定された倍速率と生成されたトリックプレイ用のストリームのデータ量とに基づいて決定される。
【００４５】
なお、ストリームの平均送出速度を制御すればよいので、たとえば、Ｉ_２，Ｉ_１，Ｉ_０それぞれのデータの送出タイミングを制御して、それらＩ_２，Ｉ_１，Ｉ_０それぞれのデータを所定の時間間隔をあけて間欠的に送出するようにしてもよい。上述したようにトリックプレイで使用するプッシュモードにおいてはデコーダはタイムスタンプ情報を参照せずに受信フレームを順次デコードするので、トリックプレイ用のストリームにはタイムスタンプ情報などを埋め込む必要はない。
【００４６】
生成されるトリックプレイ用ストリームのデータ量の値は、どのフレーム種別を選択するかに応じて、統計的に求めることが出来る。よって、図５のテーブル３００に示すように、トリックプレイで使用される倍速率毎（−の倍速率はリバース再生を示す）に、選択すべきフレーム種別と送出スピードとの関係をトリックプレイ管理情報として予め規定しておくことことが出来る。入力時のパースによって動画像フレーム毎にその特性に応じたテーブル３００を動的に生成することも可能であるが、プレビューや頭出しのような多くの一般的な用途においては、指定された倍速率と実際の再生速度とが多少ずれても問題は生じない。
【００４７】
次に、図６を参照して、テーブル３００を用いて実行されるトリミング処理とストリーム送出速度制御処理について説明する。
【００４８】
図６に示されているように、ビデオ送出制御プログラム４００には、トリミング処理部４０１、送出ストリーム組み立て部４０２、およびストリーム送信部４０３が設けられている。
【００４９】
トリミング処理部４０１は、トリックプレイ要求で指定された倍速率に従ってテーブル３００を参照することによって、選択対象とすべきフレーム種別を決定し、そしてそのフレーム種別のフレームを、メタデータを参照しながら動画像ストリームから順次取り出す。例えば、図５のテーブル３００の例では、順方向の２倍速再生または３倍速再生の場合は元のＭＰＥＧ２動画像ストリームからＩピクチャとＰピクチャとを取り出し、順方向の４倍速再生の場合には元のＭＰＥＧ２動画像ストリームからＩピクチャのみを取り出す。また、逆方向再生の場合には、常にＩピクチャのみを取り出す。取り出された個々のフレームは送出フレーム組み立て部４０２に送られ、そしてその送出フレーム組み立て部４０２にてトリックプレイ用の送出ストリームの組み立てが行われる。
【００５０】
ストリーム送信部４０３は、トリックプレイ要求で指定された倍速率に従ってテーブル３００を参照することによって、送出フレームの送出速度を決定し、そして組み立て部４０２によって得られた送出ストリームをその速度で送出するための制御を行う。
【００５１】
次に、図７および図８を参照して、ビデオ送出制御プログラム４００によって実行される入力時および出力時それぞれの動作について説明する。
【００５２】
図７のフローチャートは入力時の処理を示している。ＣＰＵ１０１はビデオ送出制御プログラム４００を実行することにより、以下の処理を行う。
【００５３】
ＣＰＵ１０１は、エンコーダ１３から出力されるＭＰＥＧ２動画像ストリームをエンコーダインタフェースユニット１０５を通じて入力しながらその動画像ストリームを解析し（ステップＳ１０１）、その動画像ストリームに含まれるフレーム毎にその開始位置（フレームオフセット、バイトオフセット）とフレーム種別（Ｉ，Ｐ，Ｂ）を示すメタデータを作成する（ステップＳ１０２）。そして、ＣＰＵ１０１は、作成されたメタデータと動画像ストリームとを対応付けてディスク記憶装置１２に格納する（ステップＳ１０３）。
【００５４】
なお、実際にはトリックプレイ要求を受ける前までの期間にメタデータを作成すればよいので、エンコーダ１３から出力されるＭＰＥＧ２動画像ストリームをディスク記憶装置１２に格納した後に、そのＭＰＥＧ２動画像ストリームを解析してメタデータを作成するようにしても良い。
【００５５】
図８のフローチャートは出力時の処理を示している。ＣＰＵ１０１は、操作端末１６から再生要求を受けると、それがトリックプレイ要求であるか、通常再生要求であるかを判別する（ステップＳ２０１）。通常再生要求であれば（ステップＳ２０１のＮＯ）、ＣＰＵ１０１は、その通常再生要求で指定された動画像ストリームをディスクインタフェースユニット１０６を通じてディスク記憶装置１２からメモリ１０３上に読み出し、そしてデコーダインタフェースユニット１０７または１０８を通じて、その動画像ストリームのヘッダ部などに埋め込まれているビットレート情報等で指定される通常の送出速度でデコーダ１４または１５に送出する（ステップＳ２０２）。
【００５６】
受信した再生要求がトリックプレイ要求であれば（ステップＳ２０１のＹＥＳ）、ＣＰＵ１０１は、トリックプレイ要求で指定された動画像ストリームからトリックプレイ用の送出ストリームを生成する処理を実行する（ステップＳ２０３）。このステップＳ２０３では、テーブル３００を参照することによって、トリックプレイ要求で指定された倍速率に対応する選択フレーム種別が決定され、そしてそのフレーム種別のフレームを動画像ストリームから取り出す処理が、トリックプレイ要求で指定された動画像ストリームに対応するメタデータを用いて実行される。次いで、ＣＰＵ１０１は、トリックプレイ要求で指定された倍速率に対応する送出速度を決定し、ステップＳ２０３で作成された送出ストリームをその送出速度で送出する（ステップＳ２０４）。なおステップＳ２０３において、トリックプレイ要求で指定された倍速率に対応する選択フレーム種別と送出速度の双方を決定しても良い。
【００５７】
上述したように、トリックプレイ時にはデコーダをプッシュモードで動作させることが必要であるので、通常モードおよびプッシュモードそれぞれに対応するデコーダを使用する場合には、そのデコーダの動作モードを設定する処理が行われる。この様子を図９のフローチャートに示す。
【００５８】
すなわち、図９のフローチャートに示されているように、受信した再生要求がトリックプレイ要求であれば（ステップＳ２０１のＹＥＳ）、ＣＰＵ１０１は、ストリーム送出先のデコーダに所定のモード設定コマンドを送信することにより、そのデコーダをプッシュモードに設定する（ステップＳ２１１）。また、受信した再生要求が通常再生要求であれば（ステップＳ２０１のＮＯ）、ＣＰＵ１０１は、ストリーム送出先のデコーダに別のモード設定コマンドを送信することにより、そのデコーダを通常モードに設定する（ステップＳ２１２）。
【００５９】
図１０のフローチャートには、図８のステップＳ２０３で実行される送出ストリーム生成処理の手順が示されている。
【００６０】
ＣＰＵ１０１は、選択対象とすべきフレーム種別を決定した後、トリックプレイ要求で指定されるトリックプレイ開始点から順にメタデータを参照することによって動画像ストリーム内のフレーム種別を検出し、当該フレームが送出ストリームの生成に必要なフレーム種別であるかどうかを判断する（ステップＳ３０１）。当該フレームが送出ストリームの生成に必要なフレーム種別であれば（ステップＳ３０１のＹＥＳ）、ＣＰＵ１０１は、メモリ１０３上に用意された送出ストリーム生成用のバッファ上に当該フレームのデータを追加する（ステップＳ３０２）。送出ストリームの生成に必要なフレーム種別ではない場合には（ステップＳ３０１のＮＯ）、ステップＳ３０２の処理はスキップされる。
【００６１】
この後、ＣＰＵ１０１は、メタデータを参照するフレーム位置をインクリメント（リバース再生時はデクリメント）しながら（ステップＳ３０３）、終了点のフレームに対する処理が完了するまで上述のステップＳ３０１，Ｓ３０２の処理を繰り返し実行する（ステップＳ３０４）。
【００６２】
以上のように、本実施形態によれば、入力時に動画像ストリームからメタデータを生成しておき、出力時にそのメタデータを用いてトリックプレイ用のストリームを生成するという仕組みを用いることにより、トリックプレイ専用の動画像データを予めストレージ上に用意しておくという方式に比し、必要なディスク容量を大幅に低減することが可能となる。また、トリミング処理と送出速度制御との併用によって倍速率を制御しているので、出力時には、特定のフレーム種別のフレームを元の動画像ストリームから抽出するという簡単なトリミング処理を行うのみで、様々な倍速率のトリックプレイを実現することが可能となる。
【００６３】
なお、本例では、ＭＰＥＧ２ストリームの通常再生を時間情報に従って実行するという通常のＭＰＥＧ２デコーダを用いることを前提にそのデコーダの動作モード設定を行ったが、トリックプレイ時には、受信フレームをその受信順に順次デコードするという動作を実行するトリックプレイ専用のデコーダにトリックプレイ用ストリームを送出するという方法を用いることにより、デコーダの動作モード設定を行わずとも、トリックプレイを実現することが出来る。
【００６４】
次に、図１１を参照して、通常再生とトリックプレイとの間の優先度制御について説明する。
【００６５】
上述したように、ビデオデコーダ１１は複数のストリーム送出チャネルを利用することにより、通常再生とトリックプレイとを同時並行して行うことが出来る。この場合、本実施形態においては、ＣＰＵ１０１およびメモリ１０３を含むリソースの割り当てを制御することにより、トリックプレイ用のストリーム生成・送出処理よりも優先して、通常再生用のストリーム送出処理に対してリソースを割り当てるというリソース管理が行われる。
【００６６】
すなわち、トリックプレイの映像については、たとえその画像の出力が遅れて、与えた倍速率よりも若干低くなって動作しても、それほど利用者に違和感を与えることはない。つまり３倍速の早送りがたとえば少し遅れ２．５倍速になってもそれが致命的な問題とはならない。一方、通常再生用の映像についてはその再生速度に遅れが生じることは実際上許されない。このようにトリックプレイ可能なビデオサーバ１１においては、ストリーム種別によって優先度をコントロールことが重要である。
【００６７】
ビデオサーバ１１のビデオ送出制御プログラム４００内またはＯＳ内などにリソース割り当ての優先度制御機構を組み込むことにより、例えば、トリックプレイ用のＩ／Ｏの優先度を低くして出力を行うといった制御を行うことが出来る。すなわち、ビデオサーバ１１ではストレージとして機能するディスク記憶装置１２のＩ／Ｏの揺らぎを吸収するために大容量のバッファメモリをメモリ１０３上にまたは専用メモリ上に装備し、スレッドなどの動作単位ごとに優先度を設定し、Ｉ／Ｏを行うスレッドには高い優先度を設定して安定した送出を行う。複数の送出ストリーム間に優先度を設定し、トリックプレイ用の送出にはメモリバッファ領域使用をおさえ（あるいは空き領域を適時取得するようなメモリ管理をおこなって）、トリックプレイ用の送出スレッドについても通常のスレッドと比較して低い実行優先度を設定することで、トリックプレイ中でも他のストリーム入出力に影響を及ぼすことの少ない、安定動作のできるビデオサーバを構築することができる。
【００６８】
なお、ビデオサーバ１１の構成は、ネットワークを介してクライアント端末に動画像ストリームを配信するビデオオンデマンドシステムにも適用することが出来る。この場合、デコーダはクライアント端末内に設けることもできる。再生要求（通常再生要求、トリックプレイ要求）は、ネットワークを介してクライアント端末からビデオサーバ１１に送信される。
【００６９】
クライアント端末がトリックプレイ要求を送信したときは、そのクライアント端末のデコーダは自動的にプッシュモードに設定される。この場合、ビデオサーバ１１は、デコーダの動作モードを考慮すること無く、生成したトリックプレイ用の動画像ストリームの送出速度を自由に制御することが出来る。
【００７０】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
【発明の効果】
以上詳述したように本発明によれば、特殊再生専用に生成された動画像ストリームを予めディスクストレージなどの記憶メディアに用意しておくことなく、動画像ストリームの特殊再生を容易に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るビデオサーバの構成を示すブロック図。
【図２】同実施形態のビデオサーバによって生成されるメタデータのデータ構造の例を示す図。
【図３】同実施形態のビデオサーバによって実行される入力時および出力時の動作を説明するための図。
【図４】同実施形態のビデオサーバによって生成されるトリックプレイ用ストリームの例を示す図。
【図５】同実施形態のビデオサーバ内に保持されている管理情報テーブルの例を示す図。
【図６】同実施形態のビデオサーバが図５の管理情報テーブルを用いて実行するストリーム生成および送出処理を説明するための図。
【図７】同実施形態のビデオサーバが入力時に実行する処理の手順を示すフローチャート。
【図８】同実施形態のビデオサーバが出力時に実行する処理の手順を示すフローチャート。
【図９】同実施形態のビデオサーバが出力時に実行するデコーダの動作モード設定処理を説明するフローチャート。
【図１０】同実施形態のビデオサーバによって実行される送出ストリーム生成処理の手順を示すフローチャート。
【図１１】同実施形態のビデオサーバによって実行される優先度制御処理を説明するための図。
【符号の説明】
１１…ビデオサーバ、１２…ディスク記憶装置、１３…エンコーダ、１４，１５…デコーダ、１６…操作端末、１０１…ＣＰＵ、１０３…メモリ、１０５…エンコーダインタフェースユニット、１０６…ディスクインタフェースユニット、１０７，１０８…デコーダインタフェースユニット。

Claims

記憶メディアに格納された動画像ストリームを送出する画像データ送出装置において、
フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力する手段と、
前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成する手段と、
前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納する手段と、
前記動画像ストリームの特殊再生要求に応答して、前記動画像ストリームに対応する制御情報に基づき、前記記憶メディアに格納された動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームを選択的に取得することにより、特殊再生用の動画像ストリームを生成するストリーム生成手段と、
前記ストリーム生成手段によって生成された特殊再生用の動画像ストリームが前記特殊再生要求で指定された倍速率と前記生成された特殊再生用の動画像ストリームのデータ量とに基づいて規定される所定の送出速度で送出されるように、前記生成された特殊再生用の動画像ストリームのデータ量と前記指定された倍速率とに基づいて前記特殊再生用の動画像ストリームの送出速度を制御する送出速度制御手段とを具備することを特徴とする画像データ伝送装置。
前記特殊再生用の送出ストリームに含まれるフレーム群がその受信タイミングに合わせて順次デコードされるように、前記特殊再生用の送出ストリームの送出先となるデコーダを制御する手段をさらに具備することを特徴とする請求項１記載の画像データ送出装置。
前記記憶メディアに格納された動画像ストリームをその動画像ストリームに対応する所定の送出速度で送出する通常送出処理を実行する手段と、
前記画像データ送出装置に設けられたプロセッサおよびメモリを含むリソースの割り当てを制御し、前記ストリーム生成手段による前記特殊再生用の動画像ストリームの生成処理よりも優先して前記通常送出処理に対して前記リソースを割り当てるリソース管理手段とをさらに具備することを特徴とする請求項１記載の画像データ送出装置。
記憶メディアに格納された動画像ストリームを送出する画像データ送出装置において、
フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力する手段と、
前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成する手段と、
前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納する手段と、
特殊再生で使用される倍速率毎に、送出対象とすべきフレーム種別とストリーム送出速度とを規定する管理情報を記憶する手段と、
前記管理情報と前記動画像ストリームの特殊再生要求で指定された倍速率とに基づいて、前記記憶メディアに格納された動画像ストリームから取得すべきフレーム種別を決定すると共に、前記制御情報に基づいて、前記決定されたフレーム種別のフレーム群を前記動画像ストリームから取得することによって、特殊再生用の動画像ストリームを生成するストリーム生成手段と、
前記ストリーム生成手段によって生成された特殊再生用の動画像ストリームが前記特殊再生要求で指定された倍速率と前記生成された特殊再生用の動画像ストリームのデータ量とに基づいて規定される所定の送出速度で送出されるように、前記管理情報と前記特殊再生要求で指定された倍速率とに基づいて、前記特殊再生用の動画像ストリームの送出速度を制御する送出速度制御手段とを具備することを特徴とする画像データ伝送装置。
記憶メディアに格納された動画像ストリームを送出する画像データ送出装置において、
フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力する手段と、
前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成する手段と、
前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納する手段と、
前記動画像ストリームの特殊再生要求に応答して、前記動画像ストリームに対応する制御情報に基づき、前記記憶メディアに格納された動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームを選択的に取得することにより、特殊再生用の動画像ストリームを生成するストリーム生成手段と、
前記記憶メディアに格納された動画像ストリームをその動画像ストリームに対応する所定の送出速度で送出する通常送出処理を実行する手段と、
前記画像データ送出装置に設けられたプロセッサおよびメモリを含むリソースの割り当てを制御し、前記ストリーム生成手段による前記特殊再生用の動画像ストリームの生成処理よりも優先して前記通常送出処理に対して前記リソースを割り当てるリソース管理手段とを具備することを特徴とする画像データ送出装置。
記憶メディアに格納された動画像ストリームを送出する画像データ送出方法において、
フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力するステップと、
前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成するステップと、
前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納するステップと、
前記動画像ストリームの特殊再生要求に応答して、前記動画像ストリームに対応する制御情報に基づき、前記記憶メディアに格納された動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームを選択的に取得することにより、特殊再生用の動画像ストリームを生成するストリーム生成ステップと、
前記ストリーム生成ステップによって生成された特殊再生用の動画像ストリームが前記特殊再生要求で指定された倍速率と前記生成された特殊再生用の動画像ストリームのデータ量とに基づいて規定される所定の送出速度で送出されるように、前記生成された特殊再生用の動画像ストリームのデータ量と前記指定された倍速率とに基づいて前記特殊再生用の動画像ストリームの送出速度を制御する送出速度制御ステップとを具備することを特徴とする画像データ送出方法。
記憶メディアに格納された動画像ストリームを送出する画像データ送出方法において、
フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力するステップと、
前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成するステップと、
前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納するステップと、
前記動画像ストリームの特殊再生要求を受けた場合、前記動画像ストリームの特殊再生で使用される倍速率毎に送出対象とすべきフレーム種別とストリーム送出速度との関係を示す管理情報と、前記特殊再生要求で指定された倍速率とに基づいて、前記動画像ストリームから取り出すべきフレーム種別およびストリーム送出速度を決定するステップと、
前記決定されたフレーム種別のフレームを前記制御情報に基づいて前記動画像ストリームから取り出すことにより、特殊再生用の動画像ストリームを生成するステップと、
前記生成された特殊再生用の動画像ストリームを前記決定されたストリーム送出速度で送出するステップとを具備することを特徴とする画像データ送出方法。
記憶メディアに格納された動画像ストリームを送出する画像データ送出装置に適用される画像データ送出方法であって、
フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力するステップと、
前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成するステップと、
前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納するステップと、
前記動画像ストリームの特殊再生要求に応答して、前記動画像ストリームに対応する制御情報に基づき、前記記憶メディアに格納された動画像ストリームから、少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームを選択的に取得することにより、特殊再生用の動画像ストリームを生成するストリーム生成ステップと、
前記記憶メディアに格納された動画像ストリームをその動画像ストリームに対応する所定の送出速度で送出する通常送出処理を実行するステップと、
前記画像データ送出装置に設けられたプロセッサおよびメモリを含むリソースの割り当てを制御し、前記ストリーム生成ステップによる前記特殊再生用の動画像ストリームの生成処理よりも優先して前記通常送出処理に対して前記リソースを割り当てるリソース管理ステップとを具備することを特徴とする画像データ送出方法。