JP3749715B2

JP3749715B2 - Image data transmitting apparatus and image data transmitting method

Info

Publication number: JP3749715B2
Application number: JP2003080750A
Authority: JP
Inventors: 功今井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-03-24
Filing date: 2003-03-24
Publication date: 2006-03-01
Anticipated expiration: 2023-03-24
Also published as: JP2004289629A

Description

【０００１】
【発明の属する技術分野】
本発明は記憶メディアに格納された動画像ストリームを送出する画像データ送出装置および画像データ送出方法に関する。
【０００２】
【従来の技術】
現在、動画像圧縮方式として一般的となっているＭＰＥＧ２規格においては、フレーム内符号化およびフレーム間予測符号化を用いた圧縮符号化方式が用いられている。圧縮符号化によって得られるピクチャは３種類である。すなわちイントラピクチャ（Ｉピクチャ）と呼ばれる単独で再生可能なピクチャ、Ｉピクチャからの順方向差分データにより生成されるＰピクチャ、前後の双方の画像との差分情報を用いて生成されるＢピクチャである。
【０００３】
ＭＰＥＧ２が高品質の動画圧縮技術の標準として普及するにしたがって、ＭＰＥＧ２で圧縮符号化された動画像ストリームの早送り、巻き戻し、スキップなどの特殊再生（トリックプレイ）を行いたいという要求が発生するようになっている。
【０００４】
圧縮符号化された動画像ストリームを送出するシステムとしては、例えば、所定の画面から再生を開始できるようにするために、圧縮データとは別のサブデータ（ＧＯＰデータやインデックスデータ）を作成するシステムが知られている（例えば、特許文献１参照。）。
【０００５】
また、例えば、２倍速再生用や３倍速再生用といった特殊再生専用の動画像ストリームを予め個々に作成し、それを通常再生用の動画像ストリームと共にビデオサーバのディスクストレージに予め蓄積しておくという手法も知られている。
【０００６】
【特許文献１】
特開平１１−３４１４３７号公報
【０００７】
【発明が解決しようとする課題】
しかし、特殊再生専用の動画像ストリームを通常再生用の動画像ストリームと共にディスクストレージに予め蓄積しておく方式では、大容量のディスクストレージが必要となるという問題が生じる。
【０００８】
本発明は上述の事情を考慮してなされたものであり、特殊再生専用に生成された動画像ストリームを予めディスクストレージなどの記憶メディアに用意しておくことなく、動画像ストリームの特殊再生を実現することが可能な動画像送出装置および動画像送出方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、記憶メディアに格納された動画像ストリームを送出する画像データ送出装置において、フレーム内符号化およびフレーム間予測符号化を用いて圧縮符号化された動画像ストリームを入力する手段と、前記入力された動画像ストリームを解析して、当該動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報を生成する手段と、前記入力された動画像ストリームおよび前記生成された制御情報を前記記憶メディアに格納する手段と、前記動画像ストリームの特殊再生要求に応答して、前記動画像ストリームに対応する制御情報に基づき、前記記憶メディアに格納された動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームを選択的に取得することにより、特殊再生用の動画像ストリームを生成するストリーム生成手段と、前記ストリーム生成手段によって生成された特殊再生用の動画像ストリームが前記特殊再生要求で指定された倍速率と前記生成された特殊再生用の動画像ストリームのデータ量とに基づいて規定される所定の送出速度で送出されるように、前記生成された特殊再生用の動画像ストリームのデータ量と前記指定された倍速率とに基づいて前記特殊再生用の動画像ストリームの送出速度を制御する送出速度制御手段とを具備することを特徴とする。
【００１０】
この画像データ送出装置においては、圧縮符号化された動画像ストリームの入力時には、当該動画像ストリームの解析が行われ、その動画像ストリームに含まれるフレーム毎にその開始位置およびフレーム種別を示す制御情報が生成される。生成された制御情報と動画像ストリームは記憶メディアに格納される。そして、特殊再生が要求されると、制御情報に基づいて、動画像ストリームから少なくともフレーム内符号化フレームを含む所定のフレーム種別のフレームが選択的に取得され、これによって特殊再生用の動画像ストリームが生成される。よって、特殊再生専用の動画像ストリームを予め記憶メディアに用意しておく必要が無くなるので、放送番組などの動画像ストリームを多数記憶する場合であっても、記憶メディアの容量不足などの問題は生じない。さらに、出力時には、既に生成されている制御情報に従って必要なフレーム群を容易に取り出すことができるので、特殊再生要求を受けてから特殊再生専用の動画像ストリームを送出するまでの応答性も改善される。さらに、生成された特殊再生用の動画像ストリームのデータ量と前記指定された倍速率とに基づいて、前記特殊再生用の動画像ストリームの送出速度が制御される。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１３】
図１には、本発明の一実施形態に係るビデオサーバ１１の構成が示されている。このビデオサーバ１１は、ディスク記憶装置１２に格納されたＭＰＥＧ２の動画像ストリームを送出する画像データ送出装置である。ビデオサーバ１１は、例えば放送局において放送番組の自動送出装置として用いられる。送出対象の各放送番組は、ＭＰＥＧ２によって圧縮符号化された動画像ストリームとしてディスク記憶装置１２に蓄積される。
【００１４】
ビデオサーバ１１はコンピュータによって実現されており、図示のように、ＣＰＵ１０１、システムコントローラ１０２、メモリ１０３、ネットワークインタフェースユニット１０４、エンコーダインタフェースユニット１０５、ディスクインタフェースユニット１０６、および複数のデコーダインタフェースユニット１０７，１０８を備えている。
【００１５】
ＣＰＵ１０１はビデオサーバ１１の動作を制御するプロセッサであり、メモリ１０３にロードされたオペレーティングシステムおよびビデオ送出制御プログラムを実行する。ビデオ送出制御プログラムは動画像ストリームの蓄積および送出を制御するプログラムである。このビデオ送出制御プログラムには、早送り再生、逆戻し再生などの特殊再生（以下、トリックプレイと称する）を実現するための機能も含まれており、トリックプレイ時にはそのトリックプレイ用の動画像ストリームの生成および送出処理が実行される。
【００１６】
システムコントローラ１０２はＣＰＵ１０１のプロセッサバスとＰＣＩバスのようなシステムバス１００とを接続するブリッジデバイスであり、ここにはメモリ１０３を制御するメモリコントローラも内蔵されている。ネットワークインタフェースユニット１０４はＬＡＮなどのネットワーク１０との通信を行う通信デバイスであり、ネットワーク１０上の操作端末１６との通信を行う。操作端末１６は、ビデオサーバ１１に対して動画像ストリームの蓄積要求および再生要求（通常再生要求、トリックプレイ要求）を送信する。通常再生要求は、例えば番組送出予定情報に従って定期的に操作端末１６からビデオサーバ１１に送信される。また、トリックプレイ要求は、必要に応じて操作端末１６からビデオサーバ１１に送信される。トリックプレイ要求には、再生対象の動画像ストリームを識別する情報の他、倍速率、再生方向（順方向、逆方向）、送出チャネル番号を指定する情報も含まれている。
【００１７】
エンコーダインタフェースユニット１０５はＭＰＥＧ２エンコーダ１３との通信を行い、ＭＰＥＧ２エンコーダ１３から圧縮符号化された動画像ストリームを受信する。ＭＰＥＧ２エンコーダ１３は、例えばＶＴＲなどから出力される動画像データをＭＰＥＧ２の動画像圧縮符号化方式で圧縮符号化することにより、圧縮符号化された動画像ストリーム（ＭＰＥＧ２ストリーム）を生成する。ＭＰＥＧ２の動画像圧縮符号化方式ではフレーム内符号化（イントラ符号化）とフレーム間予測符号化（インター符号化）とが併用される。圧縮符号化された動画像ストリームには、上述したように、イントラ符号化で得られるＩピクチャと、インター符号化で得られるＰピクチャおよびＢピクチャとの３種類のフレームが含まれている。
【００１８】
ディスクインタフェースユニット１０６は、ディスク記憶装置１２との間のデータの入出力を行う。デコーダインタフェースユニット１０７，１０８は、それぞれ動画像ストリームの送出チャネルとして使用されるものであり、これらデコーダインタフェースユニット１０７，１０８にはそれぞれＭＰＥＧ２デコーダ１４，１５が接続されている。デコーダインタフェースユニット１０７，１０８の各々は、例えばＳＣＳＩインタフェースなどから構成されている。
【００１９】
ＭＰＥＧ２デコーダ１４，１５の各々は、圧縮符号化された動画像ストリーム（ＭＰＥＧ２ストリーム）をデコードする。ＭＰＥＧ２デコーダ１４，１５の各々は、通常は、ＭＰＥＧ２動画像ストリームに埋め込まれているタイムスタンプ情報で指定されるタイミングに従ってその動画像ストリーム内の各フレームをデコードおよび再生出力する処理を実行するが（以下、通常モードと云う）、タイムスタンプ情報とは無関係に、動画像ストリームに含まれる各フレームを受信する度にそのフレームを順次デコードおよび再生出力することもできる（以下、プッシュモードと云う）。
【００２０】
ＭＰＥＧ２においては、タイムスタンプ情報としては、例えば、ＰＴＳ（表示タイミングを扱う）、ＤＴＳ（デコードを行うタイミングを扱う）、ＰＣＲ（ストリームの中でのＰＣＲが埋められたパケットの時刻位置をあらわす）などが規定されている。これらタイムスタンプ情報はビデオサーバ１１から送出される動画像ストリームをリアルタイムに再生するために用いられるものである。プッシュモードにおいては、ＭＰＥＧ２デコーダ１４，１５の各々は、タイムスタンプ情報を無視してデコード動作を行う（ビデオサーバ１１からプッシュ型で送られてくるストリームを順次デコードおよび再生する）。この場合、動画像ストリームに含まれる各フレームはその受信の度に順次デコードおよび再生出力され、次のフレームが受信されるまでは前のフレームに対応する映像が出力され続ける。
【００２１】
ＭＰＥＧ２デコーダ１４，１５の各々によってデコードおよび再生出力された動画像データは、それらＭＰＥＧ２デコーダ１４，１５にそれぞれ対応して設けられた番組送信装置に映像データとして送られる。
【００２２】
次に、トリックプレイを実現するためにビデオサーバ１１に設けられた機能について説明する。
【００２３】
Ａ）メタデータ作成
ビデオサーバ１１は、エンコーダ１３からの動画像ストリーム（ＭＰＥＧ２ストリーム）の入力時に、その入力された動画像ストリームを解析（パース）することによってオペレーショナルメタデータを作成する。オペレーショナルメタデータは、入力される動画像ストリームに含まれる各フレーム毎にその開始位置とフレーム種別（Ｉフレーム、Ｐフレーム、Ｂフレーム）を示す制御情報である（以下、メタデータと云う）。
【００２４】
作成されたメタデータは、動画像ストリームに対応付けられた状態でディスク記憶装置１２に格納される。これにより、ディスク記憶装置１２には、複数の動画像ストリームとそれら動画像ストリームそれぞれに対応する複数のメタデータとが一対一に関係付けられて記憶される。
【００２５】
ある動画像ストリームとそれに対応するメタデータとの関係を図２に示す。
【００２６】
図２（ａ）はＭＰＥＧ２の動画像ストリームに含まれるフレーム群の構成を示している。Ｉピクチャのデータサイズは、Ｐピクチャ，Ｂピクチャよりも大きい。図２（ｂ）はメタデータのデータ構造を示している。メタデータはＭＰＥＧ２の動画像ストリームに含まれる各フレーム毎に、そのフレーム種別情報（Ｉ，Ｐ，Ｂ）と、フレームオフセット情報と、バイトオフセット情報とを含む。
【００２７】
フレームオフセット情報は当該フレームがＭＰＥＧ２動画像ストリームの先頭フレームから何番目のフレームであるかを示し、またバイトオフセット情報は当該フレームがＭＰＥＧ２動画像ストリームの先頭から何バイト目のデータであるかを示す。これらフレームオフセット情報およびバイトオフセット情報は、動画像ストリームに含まれる各フレームの開始位置を示す情報として用いられる。
【００２８】
ここで、ＭＰＥＧ２動画像ストリームのデコード順と再生（プレゼンテーション）順について説明する。
【００２９】
Ｂピクチャはそれよりも時間的に後方のＩ，Ｐピクチャを参照が蔵して使用するので、Ｂピクチャを含むＭＰＥＧ２ストリームにおいては、デコードを行うフレームの順番と再生（プレゼンテーション）を行うフレームの順番とが異なることになる。
【００３０】
いま、ＭＰＥＧ２動画像ストリームが、そのストリーム順で
I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B
というフレーム順で並んでいるとする（ＧＯＰ＝１６フレーム）。
【００３１】
この場合、そのデコード順は、
I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B
0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1 (順序１０の桁)
1,2,3,4,5,6,7,8,9,0,1,2,3,4,5,6 (順序１の桁)
であり、再生順は、
I,P,B,B,P,B,B,P,B,B,P,B,B,P,B,B
0,0,0,0,0,0,0,1,0,0,1,1,1,1,1,1 (順序１０の桁)
1,4,2,3,7,5,6,0,8,9,3,1,2,6,4,5 (順序１の桁)
となる。
【００３２】
図２の例においては、フレーム番号はそのデコード順を表している。なお、ＩピクチャとＰピクチャだけを対象とするストリームの場合には、デコード順と再生順とが逆転することはない。
【００３３】
Ｂ）出力時のトリミング機能
ビデオサーバ１１は、特殊再生要求（トリックプレイ要求）で再生指定されたＭＰＥＧ２の動画像ストリームに対応するメタデータを参照することにより、その動画像ストリームから必要なフレームを選択的に取り出して、トリック再生用の動画像ストリームを生成する。例えば、Ｉピクチャだけを選んでトリック再生用の動画像ストリームを生成すれば、デコーダ１４，１５の各々はその動画像ストリームに含まれるＩピクチャをビデオサーバ１１の出力順番に合せて再生を行うことができる。順方向のトリックプレイにおいては、Ｉピクチャの他に、Ｐピクチャ，Ｂピクチャを含む場合も正しく再生することができる。
【００３４】
Ｃ）ストリームの送出タイミング制御
ビデオサーバ１１は、トリック再生用の動画像ストリームを任意の送出速度（ｂｐｓ）で送出チャネルから対応するデコーダに送出することができる。出力時のトリミングを行うフレームの選び方と出力するスピードの組み合わせにより、さまざまな倍速率での早送りや巻き戻しのトリックプレイ映像を得ることが出来る。もちろん、トリミング時のフレームの選び方によっては、元の動画像ストリームに対応する通常の送出速度で送出しても、所望の倍速率のトリックプレイ映像を得ることが出来る。
【００３５】
次に、図３を参照して、ビデオサーバ１１の動作の概要について説明する。
【００３６】
入力時には、エンコーダ１３によって得られた動画像ストリームのパースを行い、動画像ストリームに対応するメタデータの生成を行う。メタデータは動画像ストリームと一緒にディスク記憶装置１２に格納されるが、メタデータのデータ量はストリーム本体と比較して十分に小さい。このため、倍速率が互いに異なる何種類ものトリックプレイ専用の動画像ストリームをディスク記憶装置１２に予め保持しておく方式に比べ、必要なストレージサイズを大幅に低減することが可能となる。
【００３７】
出力時には、メタデータを参照することにより、動画像ストリームから必要なフレームを取り出すトリミング処理を行って、たとえばＩピクチャだけを取り出したストリームを作成して出力する。また、単純にＩピクチャだけ取り出すだけではなく、Ｐピクチャについても動画像ストリームから取り出し、Ｂピクチャだけを取り除いたストリームを生成しても良い。
【００３８】
高倍速率での早送りを行う場合などは、単に送出レートを高めるとデコーダ側の動作が追いつかずにオーバーフローが発生してしまうことがあるが、トリミング処理によってトリックプレイ用の送出ストリームに含まれるフレーム数自体（送出ストリームのデータ量）を削減することにより、デコーダ側の処理の破綻を未然に防止することができる。
【００３９】
ＣＰＵ１０１の使用についてはＭＰＥＧ２ストリームのパースはＣＰＵ１０１に負担をかける作業ではあるが、入力時に一度パースを行っておけば、出力時には既に作成されているメタデータを用いて様々な倍速率のトリックプレイ用のストリームを容易に生成できるので、限られた一定の時間内にトリックプレイ用ストリームの送出を開始することが出来る。
【００４０】
次に、図４を参照して、トリミング処理で生成されるトリックプレイ用ストリームの例を説明する。
【００４１】
図４（ａ）は元の動画像ストリームに含まれるフレーム群の構成を示している。いま、３倍速で逆方向再生（リバース再生）を行う場合を想定する。トリックプレイ要求によってリバース再生の開始点と終了点が指定されたとする。トリミング処理では、指定された開始点のフレーム位置から逆方向にメタデータを順次辿ることにより、開始点から終了点までに属するフレームそれぞれのフレーム種別が調べられる。そして、指定された開始点から順にＩピクチャの抽出が行われる。
【００４２】
元の動画像ストリームにおいて、開始点と終了点との間にＩ_０，Ｉ_１，Ｉ_２の３つのＩピクチャが図４（ａ）のように配置されている場合、図４（ｂ）に示すように、Ｉ_２，Ｉ_１，Ｉ_０という並びの３つのＩピクチャから構成されるトリックプレイ用のストリームが生成される。
【００４３】
放送番組用のＭＰＥＧ２動画像ストリームからＩピクチャだけを抽出してトリックプレイ用のストリームを生成した場合、その生成されたストリームのデータサイズは元の動画像ストリームのデータサイズよりも大幅に低減される。データサイズの低減率は元の動画像ストリームに依存するが、いま、例えば元の動画像ストリームのデータサイズに対して１／６程度になったとする。この場合、もし、生成されたストリームを元の動画像ストリームに対応する送出速度で送出すると、デコーダからは６倍速のリバース再生に対応する映像が出力される。よって、生成されたストリームを元の動画像ストリームに対応する送出速度の１／２の速度で伝送すれば、３倍速のリバース再生に対応する映像が出力される。
【００４４】
すなわち、デコーダは現在再生出力中のフレームの次のフレームが受信されるまでは現在再生出力中のフレームに対応する映像の出力を維持するので、送出速度を例えば通常レートの１／２に制御すれば、Ｉ_２，Ｉ_１，Ｉ_０それぞれの映像は、通常の１／３０秒単位ではなく、その倍の１／１５秒単位で切り替わることとなる。このように、生成されたトリックプレイ用のストリームの送出速度は、指定された倍速率と生成されたトリックプレイ用のストリームのデータ量とに基づいて決定される。
【００４５】
なお、ストリームの平均送出速度を制御すればよいので、たとえば、Ｉ_２，Ｉ_１，Ｉ_０それぞれのデータの送出タイミングを制御して、それらＩ_２，Ｉ_１，Ｉ_０それぞれのデータを所定の時間間隔をあけて間欠的に送出するようにしてもよい。上述したようにトリックプレイで使用するプッシュモードにおいてはデコーダはタイムスタンプ情報を参照せずに受信フレームを順次デコードするので、トリックプレイ用のストリームにはタイムスタンプ情報などを埋め込む必要はない。
【００４６】
生成されるトリックプレイ用ストリームのデータ量の値は、どのフレーム種別を選択するかに応じて、統計的に求めることが出来る。よって、図５のテーブル３００に示すように、トリックプレイで使用される倍速率毎（−の倍速率はリバース再生を示す）に、選択すべきフレーム種別と送出スピードとの関係をトリックプレイ管理情報として予め規定しておくことことが出来る。入力時のパースによって動画像フレーム毎にその特性に応じたテーブル３００を動的に生成することも可能であるが、プレビューや頭出しのような多くの一般的な用途においては、指定された倍速率と実際の再生速度とが多少ずれても問題は生じない。
【００４７】
次に、図６を参照して、テーブル３００を用いて実行されるトリミング処理とストリーム送出速度制御処理について説明する。
【００４８】
図６に示されているように、ビデオ送出制御プログラム４００には、トリミング処理部４０１、送出ストリーム組み立て部４０２、およびストリーム送信部４０３が設けられている。
【００４９】
トリミング処理部４０１は、トリックプレイ要求で指定された倍速率に従ってテーブル３００を参照することによって、選択対象とすべきフレーム種別を決定し、そしてそのフレーム種別のフレームを、メタデータを参照しながら動画像ストリームから順次取り出す。例えば、図５のテーブル３００の例では、順方向の２倍速再生または３倍速再生の場合は元のＭＰＥＧ２動画像ストリームからＩピクチャとＰピクチャとを取り出し、順方向の４倍速再生の場合には元のＭＰＥＧ２動画像ストリームからＩピクチャのみを取り出す。また、逆方向再生の場合には、常にＩピクチャのみを取り出す。取り出された個々のフレームは送出フレーム組み立て部４０２に送られ、そしてその送出フレーム組み立て部４０２にてトリックプレイ用の送出ストリームの組み立てが行われる。
【００５０】
ストリーム送信部４０３は、トリックプレイ要求で指定された倍速率に従ってテーブル３００を参照することによって、送出フレームの送出速度を決定し、そして組み立て部４０２によって得られた送出ストリームをその速度で送出するための制御を行う。
【００５１】
次に、図７および図８を参照して、ビデオ送出制御プログラム４００によって実行される入力時および出力時それぞれの動作について説明する。
【００５２】
図７のフローチャートは入力時の処理を示している。ＣＰＵ１０１はビデオ送出制御プログラム４００を実行することにより、以下の処理を行う。
【００５３】
ＣＰＵ１０１は、エンコーダ１３から出力されるＭＰＥＧ２動画像ストリームをエンコーダインタフェースユニット１０５を通じて入力しながらその動画像ストリームを解析し（ステップＳ１０１）、その動画像ストリームに含まれるフレーム毎にその開始位置（フレームオフセット、バイトオフセット）とフレーム種別（Ｉ，Ｐ，Ｂ）を示すメタデータを作成する（ステップＳ１０２）。そして、ＣＰＵ１０１は、作成されたメタデータと動画像ストリームとを対応付けてディスク記憶装置１２に格納する（ステップＳ１０３）。
【００５４】
なお、実際にはトリックプレイ要求を受ける前までの期間にメタデータを作成すればよいので、エンコーダ１３から出力されるＭＰＥＧ２動画像ストリームをディスク記憶装置１２に格納した後に、そのＭＰＥＧ２動画像ストリームを解析してメタデータを作成するようにしても良い。
【００５５】
図８のフローチャートは出力時の処理を示している。ＣＰＵ１０１は、操作端末１６から再生要求を受けると、それがトリックプレイ要求であるか、通常再生要求であるかを判別する（ステップＳ２０１）。通常再生要求であれば（ステップＳ２０１のＮＯ）、ＣＰＵ１０１は、その通常再生要求で指定された動画像ストリームをディスクインタフェースユニット１０６を通じてディスク記憶装置１２からメモリ１０３上に読み出し、そしてデコーダインタフェースユニット１０７または１０８を通じて、その動画像ストリームのヘッダ部などに埋め込まれているビットレート情報等で指定される通常の送出速度でデコーダ１４または１５に送出する（ステップＳ２０２）。
【００５６】
受信した再生要求がトリックプレイ要求であれば（ステップＳ２０１のＹＥＳ）、ＣＰＵ１０１は、トリックプレイ要求で指定された動画像ストリームからトリックプレイ用の送出ストリームを生成する処理を実行する（ステップＳ２０３）。このステップＳ２０３では、テーブル３００を参照することによって、トリックプレイ要求で指定された倍速率に対応する選択フレーム種別が決定され、そしてそのフレーム種別のフレームを動画像ストリームから取り出す処理が、トリックプレイ要求で指定された動画像ストリームに対応するメタデータを用いて実行される。次いで、ＣＰＵ１０１は、トリックプレイ要求で指定された倍速率に対応する送出速度を決定し、ステップＳ２０３で作成された送出ストリームをその送出速度で送出する（ステップＳ２０４）。なおステップＳ２０３において、トリックプレイ要求で指定された倍速率に対応する選択フレーム種別と送出速度の双方を決定しても良い。
【００５７】
上述したように、トリックプレイ時にはデコーダをプッシュモードで動作させることが必要であるので、通常モードおよびプッシュモードそれぞれに対応するデコーダを使用する場合には、そのデコーダの動作モードを設定する処理が行われる。この様子を図９のフローチャートに示す。
【００５８】
すなわち、図９のフローチャートに示されているように、受信した再生要求がトリックプレイ要求であれば（ステップＳ２０１のＹＥＳ）、ＣＰＵ１０１は、ストリーム送出先のデコーダに所定のモード設定コマンドを送信することにより、そのデコーダをプッシュモードに設定する（ステップＳ２１１）。また、受信した再生要求が通常再生要求であれば（ステップＳ２０１のＮＯ）、ＣＰＵ１０１は、ストリーム送出先のデコーダに別のモード設定コマンドを送信することにより、そのデコーダを通常モードに設定する（ステップＳ２１２）。
【００５９】
図１０のフローチャートには、図８のステップＳ２０３で実行される送出ストリーム生成処理の手順が示されている。
【００６０】
ＣＰＵ１０１は、選択対象とすべきフレーム種別を決定した後、トリックプレイ要求で指定されるトリックプレイ開始点から順にメタデータを参照することによって動画像ストリーム内のフレーム種別を検出し、当該フレームが送出ストリームの生成に必要なフレーム種別であるかどうかを判断する（ステップＳ３０１）。当該フレームが送出ストリームの生成に必要なフレーム種別であれば（ステップＳ３０１のＹＥＳ）、ＣＰＵ１０１は、メモリ１０３上に用意された送出ストリーム生成用のバッファ上に当該フレームのデータを追加する（ステップＳ３０２）。送出ストリームの生成に必要なフレーム種別ではない場合には（ステップＳ３０１のＮＯ）、ステップＳ３０２の処理はスキップされる。
【００６１】
この後、ＣＰＵ１０１は、メタデータを参照するフレーム位置をインクリメント（リバース再生時はデクリメント）しながら（ステップＳ３０３）、終了点のフレームに対する処理が完了するまで上述のステップＳ３０１，Ｓ３０２の処理を繰り返し実行する（ステップＳ３０４）。
【００６２】
以上のように、本実施形態によれば、入力時に動画像ストリームからメタデータを生成しておき、出力時にそのメタデータを用いてトリックプレイ用のストリームを生成するという仕組みを用いることにより、トリックプレイ専用の動画像データを予めストレージ上に用意しておくという方式に比し、必要なディスク容量を大幅に低減することが可能となる。また、トリミング処理と送出速度制御との併用によって倍速率を制御しているので、出力時には、特定のフレーム種別のフレームを元の動画像ストリームから抽出するという簡単なトリミング処理を行うのみで、様々な倍速率のトリックプレイを実現することが可能となる。
【００６３】
なお、本例では、ＭＰＥＧ２ストリームの通常再生を時間情報に従って実行するという通常のＭＰＥＧ２デコーダを用いることを前提にそのデコーダの動作モード設定を行ったが、トリックプレイ時には、受信フレームをその受信順に順次デコードするという動作を実行するトリックプレイ専用のデコーダにトリックプレイ用ストリームを送出するという方法を用いることにより、デコーダの動作モード設定を行わずとも、トリックプレイを実現することが出来る。
【００６４】
次に、図１１を参照して、通常再生とトリックプレイとの間の優先度制御について説明する。
【００６５】
上述したように、ビデオデコーダ１１は複数のストリーム送出チャネルを利用することにより、通常再生とトリックプレイとを同時並行して行うことが出来る。この場合、本実施形態においては、ＣＰＵ１０１およびメモリ１０３を含むリソースの割り当てを制御することにより、トリックプレイ用のストリーム生成・送出処理よりも優先して、通常再生用のストリーム送出処理に対してリソースを割り当てるというリソース管理が行われる。
【００６６】
すなわち、トリックプレイの映像については、たとえその画像の出力が遅れて、与えた倍速率よりも若干低くなって動作しても、それほど利用者に違和感を与えることはない。つまり３倍速の早送りがたとえば少し遅れ２．５倍速になってもそれが致命的な問題とはならない。一方、通常再生用の映像についてはその再生速度に遅れが生じることは実際上許されない。このようにトリックプレイ可能なビデオサーバ１１においては、ストリーム種別によって優先度をコントロールことが重要である。
【００６７】
ビデオサーバ１１のビデオ送出制御プログラム４００内またはＯＳ内などにリソース割り当ての優先度制御機構を組み込むことにより、例えば、トリックプレイ用のＩ／Ｏの優先度を低くして出力を行うといった制御を行うことが出来る。すなわち、ビデオサーバ１１ではストレージとして機能するディスク記憶装置１２のＩ／Ｏの揺らぎを吸収するために大容量のバッファメモリをメモリ１０３上にまたは専用メモリ上に装備し、スレッドなどの動作単位ごとに優先度を設定し、Ｉ／Ｏを行うスレッドには高い優先度を設定して安定した送出を行う。複数の送出ストリーム間に優先度を設定し、トリックプレイ用の送出にはメモリバッファ領域使用をおさえ（あるいは空き領域を適時取得するようなメモリ管理をおこなって）、トリックプレイ用の送出スレッドについても通常のスレッドと比較して低い実行優先度を設定することで、トリックプレイ中でも他のストリーム入出力に影響を及ぼすことの少ない、安定動作のできるビデオサーバを構築することができる。
【００６８】
なお、ビデオサーバ１１の構成は、ネットワークを介してクライアント端末に動画像ストリームを配信するビデオオンデマンドシステムにも適用することが出来る。この場合、デコーダはクライアント端末内に設けることもできる。再生要求（通常再生要求、トリックプレイ要求）は、ネットワークを介してクライアント端末からビデオサーバ１１に送信される。
【００６９】
クライアント端末がトリックプレイ要求を送信したときは、そのクライアント端末のデコーダは自動的にプッシュモードに設定される。この場合、ビデオサーバ１１は、デコーダの動作モードを考慮すること無く、生成したトリックプレイ用の動画像ストリームの送出速度を自由に制御することが出来る。
【００７０】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
【発明の効果】
以上詳述したように本発明によれば、特殊再生専用に生成された動画像ストリームを予めディスクストレージなどの記憶メディアに用意しておくことなく、動画像ストリームの特殊再生を容易に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るビデオサーバの構成を示すブロック図。
【図２】同実施形態のビデオサーバによって生成されるメタデータのデータ構造の例を示す図。
【図３】同実施形態のビデオサーバによって実行される入力時および出力時の動作を説明するための図。
【図４】同実施形態のビデオサーバによって生成されるトリックプレイ用ストリームの例を示す図。
【図５】同実施形態のビデオサーバ内に保持されている管理情報テーブルの例を示す図。
【図６】同実施形態のビデオサーバが図５の管理情報テーブルを用いて実行するストリーム生成および送出処理を説明するための図。
【図７】同実施形態のビデオサーバが入力時に実行する処理の手順を示すフローチャート。
【図８】同実施形態のビデオサーバが出力時に実行する処理の手順を示すフローチャート。
【図９】同実施形態のビデオサーバが出力時に実行するデコーダの動作モード設定処理を説明するフローチャート。
【図１０】同実施形態のビデオサーバによって実行される送出ストリーム生成処理の手順を示すフローチャート。
【図１１】同実施形態のビデオサーバによって実行される優先度制御処理を説明するための図。
【符号の説明】
１１…ビデオサーバ、１２…ディスク記憶装置、１３…エンコーダ、１４，１５…デコーダ、１６…操作端末、１０１…ＣＰＵ、１０３…メモリ、１０５…エンコーダインタフェースユニット、１０６…ディスクインタフェースユニット、１０７，１０８…デコーダインタフェースユニット。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data transmitting apparatus and an image data transmitting method for transmitting a moving image stream stored in a storage medium.
[0002]
[Prior art]
Currently, in the MPEG2 standard, which is generally used as a moving picture compression system, a compression coding system using intraframe coding and interframe prediction coding is used. There are three types of pictures obtained by compression coding. In other words, it is a picture that can be reproduced independently called an intra picture (I picture), a P picture that is generated from forward difference data from the I picture, and a B picture that is generated by using difference information between both images before and after. .
[0003]
As MPEG2 becomes widespread as a standard for high-quality video compression technology, there is a demand for special playback (trick play) such as fast-forwarding, rewinding, and skipping of a video stream compressed and encoded by MPEG2. It has become.
[0004]
As a system for sending a compression-encoded moving image stream, for example, a system for creating sub-data (GOP data or index data) different from compressed data so that playback can be started from a predetermined screen Is known (for example, see Patent Document 1).
[0005]
Further, for example, a moving image stream dedicated to special playback such as for 2 × speed playback or 3 × speed playback is individually created in advance and stored in advance in the disk storage of the video server together with the moving image stream for normal playback. Techniques are also known.
[0006]
[Patent Document 1]
JP 11-341437 A
[0007]
[Problems to be solved by the invention]
However, the method of pre-accumulating the moving image stream dedicated for special reproduction together with the moving image stream for normal reproduction in the disk storage causes a problem that a large capacity disk storage is required.
[0008]
The present invention has been made in consideration of the above-mentioned circumstances, and realizes special reproduction of a moving picture stream without preparing a moving picture stream generated exclusively for special reproduction in a storage medium such as a disk storage in advance. It is an object of the present invention to provide a moving image sending apparatus and a moving image sending method that can be used.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides a moving image compressed and encoded using intra-frame encoding and inter-frame predictive encoding in an image data transmitting apparatus for transmitting a moving image stream stored in a storage medium. Means for inputting a stream; means for analyzing the input moving image stream; generating control information indicating a start position and a frame type for each frame included in the moving image stream; and the input moving image Means for storing the image stream and the generated control information in the storage medium, and in response to the special reproduction request for the moving image stream, the image stream and the generated control information are stored in the storage medium based on the control information corresponding to the moving image stream. A frame of a predetermined frame type including at least an intra-frame encoded frame from the recorded video stream. By acquiring the 択的, and stream generating means for generating a moving picture stream for special playbackThe special reproduction moving image stream generated by the stream generation means is defined based on the double speed rate specified in the special reproduction request and the data amount of the generated special reproduction moving image stream. A transmission for controlling the transmission speed of the moving picture stream for special reproduction based on the generated data amount of the moving picture stream for special reproduction and the designated double speed rate. With speed control meansIt is characterized by comprising.
[0010]
In this image data transmitting apparatus, when a compressed and encoded moving image stream is input, the moving image stream is analyzed, and control information indicating the start position and the frame type for each frame included in the moving image stream Is generated. The generated control information and moving image stream are stored in a storage medium. When special playback is requested, based on the control information, a frame of a predetermined frame type including at least an intra-frame encoded frame is selectively acquired from the video stream, whereby a video stream for special playback is obtained. Is generated. Therefore, there is no need to prepare a special reproduction-only moving image stream in the storage medium in advance, so even when a large number of moving image streams such as broadcast programs are stored, problems such as insufficient storage medium capacity arise. Absent. Furthermore, at the time of output, the necessary frame group can be easily extracted according to the control information that has already been generated, so the responsiveness from receiving a special playback request until sending a video stream dedicated to special playback is also improved. TheFurthermore, the transmission speed of the special reproduction moving image stream is controlled based on the data amount of the generated special reproduction moving image stream and the designated double speed rate.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0013]
FIG. 1 shows the configuration of a video server 11 according to an embodiment of the present invention. The video server 11 is an image data sending device that sends an MPEG2 moving image stream stored in the disk storage device 12. The video server 11 is used, for example, as a broadcast program automatic transmission device in a broadcasting station. Each broadcast program to be transmitted is stored in the disk storage device 12 as a moving image stream compressed and encoded by MPEG2.
[0014]
The video server 11 is realized by a computer, and includes a CPU 101, a system controller 102, a memory 103, a network interface unit 104, an encoder interface unit 105, a disk interface unit 106, and a plurality of decoder interface units 107 and 108 as shown in the figure. I have.
[0015]
The CPU 101 is a processor that controls the operation of the video server 11 and executes an operating system and a video transmission control program loaded in the memory 103. The video transmission control program is a program for controlling the accumulation and transmission of moving image streams. This video transmission control program also includes a function for realizing special playback (hereinafter referred to as trick play) such as fast forward playback and reverse playback. During trick play, a video stream for the trick play is included. Generation and transmission processing is executed.
[0016]
A system controller 102 is a bridge device that connects a processor bus of the CPU 101 and a system bus 100 such as a PCI bus, and a memory controller that controls the memory 103 is also incorporated therein. The network interface unit 104 is a communication device that performs communication with the network 10 such as a LAN, and performs communication with the operation terminal 16 on the network 10. The operation terminal 16 transmits a moving image stream accumulation request and a reproduction request (normal reproduction request, trick play request) to the video server 11. The normal reproduction request is periodically transmitted from the operation terminal 16 to the video server 11 according to, for example, program transmission schedule information. The trick play request is transmitted from the operation terminal 16 to the video server 11 as necessary. In addition to information for identifying a moving image stream to be reproduced, the trick play request includes information for specifying a double speed rate, a reproduction direction (forward direction, reverse direction), and a transmission channel number.
[0017]
The encoder interface unit 105 communicates with the MPEG2 encoder 13 and receives a compressed video stream from the MPEG2 encoder 13. The MPEG2 encoder 13 generates a compression-encoded moving image stream (MPEG2 stream) by compressing and encoding moving image data output from, for example, a VTR using an MPEG2 moving image compression encoding method. In the MPEG2 moving image compression coding system, intraframe coding (intra coding) and interframe prediction coding (intercoding) are used in combination. As described above, the compression-coded moving image stream includes three types of frames: an I picture obtained by intra coding and a P picture and a B picture obtained by inter coding.
[0018]
The disk interface unit 106 performs data input / output with the disk storage device 12. The decoder interface units 107 and 108 are used as transmission channels for moving picture streams, and MPEG2 decoders 14 and 15 are connected to the decoder interface units 107 and 108, respectively. Each of the decoder interface units 107 and 108 is composed of, for example, a SCSI interface.
[0019]
Each of the MPEG2 decoders 14 and 15 decodes a compression-coded moving image stream (MPEG2 stream). Each of the MPEG2 decoders 14 and 15 normally executes a process of decoding, reproducing and outputting each frame in the moving picture stream according to the timing specified by the time stamp information embedded in the MPEG2 moving picture stream ( (Hereinafter referred to as the normal mode), each frame included in the moving picture stream can be sequentially decoded and reproduced and output (hereinafter referred to as push mode) regardless of the time stamp information.
[0020]
In MPEG2, as time stamp information, for example, PTS (handles display timing), DTS (handles timing for decoding), PCR (represents the time position of a packet in which PCR is embedded in a stream), etc. Is stipulated. These time stamp information is used for reproducing a moving image stream sent from the video server 11 in real time. In the push mode, each of the MPEG2 decoders 14 and 15 performs a decoding operation ignoring the time stamp information (sequentially decodes and reproduces a stream sent by the push type from the video server 11). In this case, each frame included in the moving image stream is sequentially decoded and reproduced and output each time it is received, and video corresponding to the previous frame is continuously output until the next frame is received.
[0021]
The moving image data decoded and reproduced and output by each of the MPEG2 decoders 14 and 15 is sent as video data to a program transmission apparatus provided corresponding to each of the MPEG2 decoders 14 and 15.
[0022]
Next, functions provided in the video server 11 for realizing trick play will be described.
[0023]
A) Create metadata
When the video server 11 inputs a moving image stream (MPEG2 stream) from the encoder 13, the video server 11 analyzes (parses) the input moving image stream to create operational metadata. The operational metadata is control information indicating the start position and the frame type (I frame, P frame, B frame) for each frame included in the input video stream (hereinafter referred to as metadata).
[0024]
The created metadata is stored in the disk storage device 12 in a state associated with the moving image stream. As a result, the disk storage device 12 stores a plurality of moving image streams and a plurality of metadata corresponding to each of the moving image streams in a one-to-one relationship.
[0025]
FIG. 2 shows the relationship between a certain video stream and the corresponding metadata.
[0026]
FIG. 2A shows the structure of a frame group included in a moving picture stream of MPEG2. The data size of I picture is larger than that of P picture and B picture. FIG. 2B shows the data structure of metadata. The metadata includes frame type information (I, P, B), frame offset information, and byte offset information for each frame included in the MPEG2 moving image stream.
[0027]
The frame offset information indicates the number of the frame from the head of the MPEG2 video stream, and the byte offset information indicates the number of bytes of data from the head of the MPEG2 video stream. . These frame offset information and byte offset information are used as information indicating the start position of each frame included in the moving image stream.
[0028]
Here, the decoding order and reproduction (presentation) order of the MPEG2 moving image stream will be described.
[0029]
Since the B picture uses the I and P pictures that are later in time as references, the order of the frames for decoding and the order of the frames for reproduction (presentation) are included in the MPEG2 stream including the B picture. Will be different.
[0030]
Now, MPEG2 video stream is
I, P, B, B, P, B, B, P, B, B, P, B, B, P, B, BI, P, B, B, P, B, B, P, B, B, P, B, B, P, B, B
(GOP = 16 frames).
[0031]
In this case, the decoding order is
I, P, B, B, P, B, B, P, B, B, P, B, B, P, B, B
0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1 (order 10 digits)
1,2,3,4,5,6,7,8,9,0,1,2,3,4,5,6 (order 1 digit)
And the playback order is
I, P, B, B, P, B, B, P, B, B, P, B, B, P, B, B
0,0,0,0,0,0,0,1,0,0,1,1,1,1,1,1 (10 digits in order)
1,4,2,3,7,5,6,0,8,9,3,1,2,6,4,5 (order 1 digit)
It becomes.
[0032]
In the example of FIG. 2, the frame number represents the decoding order. Note that in the case of a stream that targets only an I picture and a P picture, the decoding order and the playback order are not reversed.
[0033]
B) Trimming function during output
The video server 11 refers to the metadata corresponding to the MPEG2 moving image stream designated for reproduction by the special reproduction request (trick play request), thereby selectively extracting necessary frames from the moving image stream. A moving image stream for reproduction is generated. For example, if only an I picture is selected and a moving image stream for trick reproduction is generated, each of the decoders 14 and 15 reproduces the I picture included in the moving image stream in accordance with the output order of the video server 11. Can do. In the forward trick play, it is possible to correctly reproduce a picture including a P picture and a B picture in addition to an I picture.
[0034]
C) Stream transmission timing control
The video server 11 can send a trick play moving image stream from a sending channel to a corresponding decoder at an arbitrary sending speed (bps). Depending on the combination of how to select the frame to be trimmed at the time of output and the output speed, it is possible to obtain trick play images of fast forward and rewind at various speeds. Of course, depending on how to select a frame at the time of trimming, a trick play video with a desired double speed rate can be obtained even if the frame is sent at a normal sending speed corresponding to the original moving image stream.
[0035]
Next, an outline of the operation of the video server 11 will be described with reference to FIG.
[0036]
At the time of input, the moving picture stream obtained by the encoder 13 is parsed to generate metadata corresponding to the moving picture stream. The metadata is stored in the disk storage device 12 together with the moving image stream, but the amount of metadata data is sufficiently small compared to the stream body. For this reason, it is possible to significantly reduce the required storage size compared to a method in which several types of trick-play-only moving image streams having different speed rates are held in the disk storage device 12 in advance.
[0037]
At the time of output, a trimming process for extracting a necessary frame from the moving image stream is performed by referring to the metadata, and for example, a stream in which only an I picture is extracted is generated and output. Further, not only the I picture but also the P picture may be extracted from the moving picture stream to generate a stream from which only the B picture is removed.
[0038]
When fast-forwarding at a high speed rate, etc., if the transmission rate is simply increased, the decoder side operation may not catch up and overflow may occur, but the frames included in the trick-play transmission stream by trimming processing By reducing the number itself (the amount of data in the transmission stream), it is possible to prevent the processing failure on the decoder side.
[0039]
As for the use of the CPU 101, the parsing of the MPEG2 stream is an operation that puts a burden on the CPU 101. However, once parsing is performed at the time of input, it is used for trick play with various double speed ratios using metadata already created at the time of output. Therefore, the trick play stream can be sent out within a limited time.
[0040]
Next, an example of a trick play stream generated by the trimming process will be described with reference to FIG.
[0041]
FIG. 4A shows a configuration of a frame group included in the original moving image stream. Assume a case where reverse playback (reverse playback) is performed at 3 × speed. It is assumed that the reverse playback start point and end point are specified by a trick play request. In the trimming process, the frame type of each frame belonging from the start point to the end point is checked by sequentially tracing the metadata in the reverse direction from the frame position of the designated start point. Then, I pictures are extracted in order from the designated start point.
[0042]
In the original video stream, I is between the start point and the end point.₀, I₁, I₂When the three I pictures are arranged as shown in FIG. 4A, as shown in FIG.₂, I₁, I₀A stream for trick play composed of three I pictures arranged in the sequence is generated.
[0043]
When a trick play stream is generated by extracting only I pictures from an MPEG2 moving picture stream for a broadcast program, the data size of the generated stream is significantly reduced from the data size of the original moving picture stream. . The reduction rate of the data size depends on the original moving image stream, but now, for example, it is assumed that it becomes about 1/6 with respect to the data size of the original moving image stream. In this case, if the generated stream is sent out at a sending speed corresponding to the original moving image stream, a video corresponding to 6 × reverse playback is output from the decoder. Therefore, if the generated stream is transmitted at half the transmission speed corresponding to the original moving image stream, video corresponding to 3 × speed reverse reproduction is output.
[0044]
That is, the decoder maintains the video output corresponding to the frame currently being reproduced and output until the next frame of the frame currently being reproduced and output is received, so that the transmission speed is controlled to, for example, ½ of the normal rate. I₂, I₁, I₀Each video is switched in units of 1/15 second, not in units of 1/30 second as usual. As described above, the transmission speed of the generated trick play stream is determined based on the designated double speed rate and the data amount of the generated trick play stream.
[0045]
In addition, since it is only necessary to control the average transmission speed of the stream, for example, I₂, I₁, I₀I control each data transmission timing, and I₂, I₁, I₀Each data may be transmitted intermittently at a predetermined time interval. As described above, in the push mode used in trick play, the decoder sequentially decodes the received frames without referring to the time stamp information, so that it is not necessary to embed time stamp information or the like in the trick play stream.
[0046]
The value of the data amount of the generated trick play stream can be statistically determined according to which frame type is selected. Therefore, as shown in the table 300 of FIG. 5, the relationship between the frame type to be selected and the transmission speed is shown in the trick play management information for each double speed rate used in trick play (the negative double speed ratio indicates reverse reproduction). Can be defined in advance. Although it is possible to dynamically generate a table 300 according to the characteristics for each moving image frame by parsing at the time of input, in many general applications such as preview and cueing, a specified double speed is provided. There is no problem even if the rate and the actual playback speed are slightly different.
[0047]
Next, trimming processing and stream transmission speed control processing executed using the table 300 will be described with reference to FIG.
[0048]
As shown in FIG. 6, the video transmission control program 400 includes a trimming processing unit 401, a transmission stream assembly unit 402, and a stream transmission unit 403.
[0049]
The trimming processing unit 401 determines the frame type to be selected by referring to the table 300 according to the double speed rate specified in the trick play request, and the frame of the frame type is determined while referring to the metadata. Extract sequentially from the image stream. For example, in the example of the table 300 in FIG. 5, in the case of forward double speed playback or triple speed playback, the I picture and P picture are extracted from the original MPEG2 moving image stream, and in the case of forward quadruple speed playback. Only the I picture is extracted from the original MPEG2 moving image stream. In the case of backward reproduction, only the I picture is always taken out. The extracted individual frames are sent to the sending frame assembling unit 402, and the sending frame assembling unit 402 assembles a sending stream for trick play.
[0050]
The stream transmission unit 403 determines the transmission speed of the transmission frame by referring to the table 300 according to the double speed rate specified in the trick play request, and transmits the transmission stream obtained by the assembly unit 402 at that speed. Control.
[0051]
Next, with reference to FIG. 7 and FIG. 8, operations at the time of input and output executed by the video transmission control program 400 will be described.
[0052]
The flowchart of FIG. 7 shows processing at the time of input. The CPU 101 executes the following process by executing the video transmission control program 400.
[0053]
The CPU 101 analyzes the moving picture stream while inputting the MPEG2 moving picture stream output from the encoder 13 through the encoder interface unit 105 (step S101), and the start position (frame offset) for each frame included in the moving picture stream. , Byte offset) and metadata indicating the frame type (I, P, B) are created (step S102). The CPU 101 associates the created metadata with the moving image stream and stores them in the disk storage device 12 (step S103).
[0054]
Actually, it is only necessary to create metadata before a trick play request is received. Therefore, after the MPEG2 moving image stream output from the encoder 13 is stored in the disk storage device 12, the MPEG2 moving image stream is stored. Analysis may be performed to create metadata.
[0055]
The flowchart in FIG. 8 shows processing at the time of output. When receiving the reproduction request from the operation terminal 16, the CPU 101 determines whether it is a trick play request or a normal reproduction request (step S201). If it is a normal reproduction request (NO in step S201), the CPU 101 reads out the moving image stream designated by the normal reproduction request from the disk storage device 12 to the memory 103 through the disk interface unit 106, and the decoder interface unit 107 or Through 108, the data is sent to the decoder 14 or 15 at a normal sending speed specified by the bit rate information or the like embedded in the header portion of the moving picture stream (step S202).
[0056]
If the received reproduction request is a trick play request (YES in step S201), the CPU 101 executes processing for generating a trick play output stream from the moving image stream specified in the trick play request (step S203). In this step S203, by referring to the table 300, the selected frame type corresponding to the double speed rate specified in the trick play request is determined, and the process of extracting the frame type frame from the moving image stream is the trick play request. This is executed using metadata corresponding to the moving image stream specified in. Next, the CPU 101 determines a transmission speed corresponding to the double speed specified by the trick play request, and transmits the transmission stream created in step S203 at the transmission speed (step S204). In step S203, both the selected frame type and the transmission speed corresponding to the double speed rate specified in the trick play request may be determined.
[0057]
As described above, since it is necessary to operate the decoder in the push mode during trick play, when a decoder corresponding to each of the normal mode and the push mode is used, a process for setting the operation mode of the decoder is performed. Is called. This state is shown in the flowchart of FIG.
[0058]
That is, as shown in the flowchart of FIG. 9, if the received reproduction request is a trick play request (YES in step S201), the CPU 101 transmits a predetermined mode setting command to the stream destination decoder. Thus, the decoder is set to the push mode (step S211). If the received reproduction request is a normal reproduction request (NO in step S201), the CPU 101 transmits another mode setting command to the stream destination decoder to set the decoder to the normal mode (step S201). S212).
[0059]
The flowchart of FIG. 10 shows the procedure of the transmission stream generation process executed in step S203 of FIG.
[0060]
After determining the frame type to be selected, the CPU 101 detects the frame type in the moving image stream by sequentially referring to the metadata from the trick play start point specified by the trick play request, and the frame is transmitted. It is determined whether the frame type is necessary for stream generation (step S301). If the frame is a frame type necessary for generating the output stream (YES in step S301), the CPU 101 adds the data of the frame to the output stream generation buffer prepared in the memory 103 (step S302). ). If the frame type is not necessary for generating the transmission stream (NO in step S301), the process in step S302 is skipped.
[0061]
Thereafter, the CPU 101 increments the frame position referring to the metadata (decrements during reverse playback) (step S303), and repeatedly executes the processes of steps S301 and S302 described above until the process for the end frame is completed. (Step S304).
[0062]
As described above, according to the present embodiment, by using a mechanism in which metadata is generated from a moving image stream at the time of input and a stream for trick play is generated using the metadata at the time of output. Compared with a method in which video data dedicated to play is prepared in advance in the storage, the required disk capacity can be greatly reduced. In addition, since the double speed ratio is controlled by the combined use of the trimming process and the sending speed control, at the time of output, various processes can be performed simply by performing a simple trimming process of extracting a frame of a specific frame type from the original moving image stream. It is possible to realize trick play at a high speed rate.
[0063]
In this example, the operation mode of the decoder is set on the assumption that a normal MPEG2 decoder that performs normal reproduction of the MPEG2 stream according to time information is used. However, during trick play, received frames are sequentially received in the order of reception. By using a method of sending a trick play stream to a decoder dedicated to trick play that executes an operation of decoding, trick play can be realized without setting the operation mode of the decoder.
[0064]
Next, priority control between normal reproduction and trick play will be described with reference to FIG.
[0065]
As described above, the video decoder 11 can perform normal playback and trick play in parallel by using a plurality of stream transmission channels. In this case, in the present embodiment, by controlling the allocation of resources including the CPU 101 and the memory 103, the resources for the stream playback process for normal playback have priority over the stream generation / send process for trick play. Resource management is performed.
[0066]
That is, the trick play video does not give the user a sense of incongruity even if the output of the image is delayed and operates at a slightly lower rate than the given double speed rate. In other words, even if the fast forward at 3 times becomes, for example, 2.5 times faster with a slight delay, it is not a fatal problem. On the other hand, a delay in the playback speed of the normal playback video is not allowed in practice. Thus, in the video server 11 capable of trick play, it is important to control the priority according to the stream type.
[0067]
By incorporating a resource allocation priority control mechanism in the video transmission control program 400 or the OS of the video server 11, for example, control is performed such that the priority of trick play I / O is lowered and output is performed. I can do it. That is, the video server 11 is equipped with a large-capacity buffer memory on the memory 103 or on a dedicated memory in order to absorb fluctuations in I / O of the disk storage device 12 functioning as a storage, and for each operation unit such as a thread. A priority is set, and a high priority is set for a thread that performs I / O to perform stable transmission. Set priority between multiple sending streams, use memory buffer area for trick play sending (or perform memory management to obtain free space in a timely manner), and send thread for trick play By setting a lower execution priority than a normal thread, it is possible to construct a video server capable of stable operation with little influence on other stream input / output even during trick play.
[0068]
The configuration of the video server 11 can also be applied to a video on demand system that distributes a moving image stream to a client terminal via a network. In this case, the decoder can be provided in the client terminal. The reproduction request (normal reproduction request, trick play request) is transmitted from the client terminal to the video server 11 via the network.
[0069]
When the client terminal transmits a trick play request, the decoder of the client terminal is automatically set to the push mode. In this case, the video server 11 can freely control the transmission speed of the generated trick play moving image stream without considering the operation mode of the decoder.
[0070]
Further, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
[0071]
【The invention's effect】
As described above in detail, according to the present invention, special reproduction of a moving image stream can be easily realized without preparing a moving image stream generated exclusively for special reproduction in a storage medium such as a disk storage in advance. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a video server according to an embodiment of the present invention.
FIG. 2 is an exemplary view showing an example of the data structure of metadata generated by the video server of the embodiment.
FIG. 3 is a view for explaining operations at the time of input and output executed by the video server of the embodiment.
FIG. 4 is a view showing an example of a trick play stream generated by the video server of the embodiment.
FIG. 5 is an exemplary view showing an example of a management information table held in the video server of the embodiment.
6 is an exemplary view for explaining stream generation and transmission processing executed by the video server according to the embodiment using the management information table of FIG. 5;
FIG. 7 is an exemplary flowchart illustrating a procedure of processing executed by the video server according to the embodiment at the time of input.
FIG. 8 is an exemplary flowchart illustrating a procedure of processing executed by the video server according to the embodiment at the time of output.
FIG. 9 is an exemplary flowchart for explaining an operation mode setting process of the decoder which the video server according to the embodiment executes at the time of output.
FIG. 10 is an exemplary flowchart illustrating the procedure of a transmission stream generation process which is executed by the video server according to the embodiment;
FIG. 11 is an exemplary view for explaining priority control processing executed by the video server according to the embodiment;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Video server, 12 ... Disk storage device, 13 ... Encoder, 14, 15 ... Decoder, 16 ... Operation terminal, 101 ... CPU, 103 ... Memory, 105 ... Encoder interface unit, 106 ... Disk interface unit, 107, 108 ... Decoder interface unit.

Claims

In an image data transmitting apparatus for transmitting a moving image stream stored in a storage medium,
Means for inputting a moving image stream compression-coded using intra-frame coding and inter-frame prediction coding;
Means for analyzing the input moving image stream and generating control information indicating a start position and a frame type for each frame included in the moving image stream;
Means for storing the input moving image stream and the generated control information in the storage medium;
A frame of a predetermined frame type including at least an intra-frame encoded frame from the moving image stream stored in the storage medium based on control information corresponding to the moving image stream in response to the special reproduction request for the moving image stream by selectively obtaining and a stream generating means for generating a moving picture stream for special playback,
A special reproduction moving image stream generated by the stream generation means is defined based on a double rate specified in the special reproduction request and a data amount of the generated special reproduction moving image stream. A sending speed for controlling the sending speed of the moving picture stream for special playback based on the generated data amount of the moving picture stream for special playback and the designated double speed rate so that the moving picture stream is sent at a sending speed. An image data transmission apparatus comprising: a control unit .

The apparatus further comprises means for controlling a decoder serving as a transmission destination of the special reproduction transmission stream so that a frame group included in the special reproduction transmission stream is sequentially decoded in accordance with the reception timing. The image data transmitting apparatus according to claim 1.

Means for executing normal sending processing for sending a moving image stream stored in the storage medium at a predetermined sending speed corresponding to the moving image stream;
The allocation of resources including a processor and a memory provided in the image data transmission device is controlled, and the normal transmission processing is prioritized over the generation processing of the moving image stream for special reproduction by the stream generation means. 2. The image data transmitting apparatus according to claim 1, further comprising resource management means for allocating resources.

In an image data transmitting apparatus for transmitting a moving image stream stored in a storage medium,
Means for inputting a moving image stream that has been compression-encoded using intra-frame coding and inter-frame prediction coding;
Means for analyzing the input moving image stream and generating control information indicating a start position and a frame type for each frame included in the moving image stream;
Means for storing the input moving image stream and the generated control information in the storage medium;
Means for storing management information for defining a frame type to be transmitted and a stream transmission speed for each double speed ratio used in special reproduction;
Based on the management information and the double rate specified in the special reproduction request for the moving image stream, a frame type to be acquired from the moving image stream stored in the storage medium is determined, and based on the control information Stream generation means for generating a moving image stream for special reproduction by acquiring a frame group of the determined frame type from the moving image stream;
A special reproduction moving image stream generated by the stream generation means is defined based on a double rate specified in the special reproduction request and a data amount of the generated special reproduction moving image stream. Sending speed control means for controlling the sending speed of the moving picture stream for special playback based on the management information and the double speed rate specified in the special playback request so that it is sent at a sending speed. An image data transmission device.

Image data transmission for transmitting a moving image stream stored in a storage medium In the dispensing device,
Means for inputting a moving image stream that has been compression-encoded using intra-frame coding and inter-frame prediction coding;
Means for analyzing the input moving image stream and generating control information indicating a start position and a frame type for each frame included in the moving image stream;
Means for storing the input moving image stream and the generated control information in the storage medium;
A frame of a predetermined frame type including at least an intra-frame encoded frame from the moving image stream stored in the storage medium based on control information corresponding to the moving image stream in response to the special reproduction request for the moving image stream Stream generation means for generating a moving image stream for special reproduction by selectively acquiring
Means for executing normal sending processing for sending a moving image stream stored in the storage medium at a predetermined sending speed corresponding to the moving image stream;
The allocation of resources including a processor and a memory provided in the image data transmission device is controlled, and the normal transmission processing is prioritized over the generation processing of the moving image stream for special reproduction by the stream generation means. An image data transmission device comprising resource management means for allocating resources.

In an image data transmission method for transmitting a moving image stream stored in a storage medium,
Inputting a video stream that has been compression-encoded using intra-frame coding and inter-frame prediction coding;
Analyzing the input moving image stream and generating control information indicating a start position and a frame type for each frame included in the moving image stream;
Storing the input moving image stream and the generated control information in the storage medium;
A frame of a predetermined frame type including at least an intra-frame encoded frame from the moving image stream stored in the storage medium based on control information corresponding to the moving image stream in response to the special reproduction request for the moving image stream A stream generation step for generating a video stream for special playback by selectively acquiring
The moving image stream for special playback generated by the stream generating step is defined based on a double speed rate specified in the special playback request and a data amount of the generated moving image stream for special playback. A sending speed for controlling the sending speed of the moving picture stream for special playback based on the data amount of the generated moving picture stream for special playback and the specified double speed rate so that the moving picture stream is sent at a sending speed. An image data transmission method comprising: a control step.

In an image data transmission method for transmitting a moving image stream stored in a storage medium,
Inputting a video stream that has been compression-encoded using intra-frame coding and inter-frame prediction coding;
Analyzing the input moving image stream and generating control information indicating a start position and a frame type for each frame included in the moving image stream;
Storing the input moving image stream and the generated control information in the storage medium;
When receiving a special playback request for the video stream, management information indicating a relationship between a frame type to be transmitted and a stream transmission speed for each double speed rate used in the special playback of the video stream; Determining a frame type and a stream transmission speed to be extracted from the moving picture stream based on a double speed ratio specified in the reproduction request;
Generating a moving image stream for special reproduction by extracting the frame of the determined frame type from the moving image stream based on the control information;
The generated moving image stream for special playback at the determined stream transmission speed An image data transmitting method comprising the steps of:

An image data sending method applied to an image data sending device for sending a moving image stream stored in a storage medium,
Inputting a video stream that has been compression-encoded using intra-frame coding and inter-frame prediction coding;
Analyzing the input moving image stream and generating control information indicating a start position and a frame type for each frame included in the moving image stream;
Storing the input moving image stream and the generated control information in the storage medium;
In response to the special playback request for the moving image stream, based on control information corresponding to the moving image stream, a predetermined frame type including at least an intra-frame encoded frame from the moving image stream stored in the storage medium. A stream generation step of generating a moving image stream for special playback by selectively acquiring frames;
Executing a normal transmission process of transmitting a moving image stream stored in the storage medium at a predetermined transmission speed corresponding to the moving image stream;
The allocation of resources including a processor and a memory provided in the image data transmission device is controlled, and the normal transmission process is prioritized over the generation process of the moving image stream for special reproduction in the stream generation step. And a resource management step of allocating resources.