JP6107127B2 - 画像出力装置、画像出力方法および画像出力プログラム - Google Patents

Description

本発明は、画像出力装置、画像出力方法および画像出力プログラムに関し、特に、早送り再生処理および早戻し再生処理の少なくとも一方を行うことが可能な画像出力装置、画像出力方法および画像出力プログラムに関する。

ＩＰＴＶ規定 ＶＯＤ仕様、ＩＰＴＶＦＪ ＳＴＤ−０００２ １．１版、ＩＰＴＶフォーラム、２０１０年７月３０日（非特許文献１）およびＩＰＴＶ規定 ＣＤＮスコープ サービスアプローチ仕様、ＩＰＴＶＦＪ ＳＴＤ−０００６ １．３版、ＩＰＴＶフォーラム、２０１０年７月３０日（非特許文献２）には、ＩＰ（Internet Protocol）ネットワークを用いたＶＯＤ（Video On Demand）サービスによる番組の配信技術が開示されている。

具体的には、番組の情報を配信する映像コンテンツサーバは、受信側の装置から要求された番組の情報を当該受信側の装置へＵＤＰ（User Datagram Protocol）に従って配信する。

また、映像コンテンツサーバは、通常の再生速度に対応する番組の情報の他に、たとえば受信側の装置により指定された倍速値の早送り再生処理または早戻し再生処理等の、トリック再生用の番組の情報を当該受信側の装置へ送信する。映像コンテンツサーバは、ＩフレームＴＳ方式に従ってトリック再生用の番組の情報を送信する際、以下の処理を行う。

すなわち、映像コンテンツサーバは、ストリームにおいてＩフレーム以外のＰフレームおよびＢフレームを破棄し、Ｉフレームのみ送信する。また、映像コンテンツサーバは、指定された倍速値での再生が受信側の装置において可能となるような時間間隔で、Ｉフレームの画像データを受信側の装置へパケットを用いて送信する。

ＩＰＴＶ規定 ＶＯＤ仕様、ＩＰＴＶＦＪ ＳＴＤ−０００２ １．１版、ＩＰＴＶフォーラム、２０１０年７月３０日 ＩＰＴＶ規定 ＣＤＮスコープ サービスアプローチ仕様、ＩＰＴＶＦＪ ＳＴＤ−０００６ １．３版、ＩＰＴＶフォーラム、２０１０年７月３０日

非特許文献１および非特許文献２に記載の技術では、受信側の装置は、パケットを受信したタイミングで当該パケットに含まれるＩフレームをデコードすることにより、ＩフレームＴＳ方式によるトリック再生を行う。したがって、受信側の装置がＩフレームを再生するタイミングは、映像コンテンツサーバのタイミングに従うことになる。

また、たとえば、映像コンテンツサーバは、ＴＣＰ（Transmission Control Protocol）に従って番組の情報を送信する場合がある。ＴＣＰでは、映像コンテンツサーバおよび受信側の装置間における送受信においてパケットのロスが発生すると、ロスしたパケットが再送されるので、映像コンテンツサーバおよび受信側の装置間の通信は保証される。

したがって、映像コンテンツサーバは、受信側の装置からトリック再生の要求を受けると、Ｉフレームをデコードすべきタイミングを考慮することなくベストエフォートでＩフレームを受信側の装置へ送信する。

受信側の装置は、受信したＩフレームをバッファに蓄積し、たとえばＰＴＳ（Presentation Time Stamp）を用いてデコードすべきタイミングを自ら設定し、設定したタイミングにおいてＩフレームをデコードすることによりＩフレームを再生する。

また、ＰＶＲ（Private Video Recorder）は、番組の情報を含むファイルに基づいて、番組を再生する。ＰＶＲがトリック再生を行う場合、ＰＶＲは、たとえばＰＴＳを用いて自ら設定したタイミングにおいてファイルからＩフレームを取得し、取得したＩフレームを再生する。

ここで、連続するＩフレームのＰＴＳが示すタイミングの間隔は、ばらついている場合が多い。このため、受信側の装置およびＰＶＲがＰＴＳに基づいてトリック再生を行う際、映像コンテンツサーバからの伝送経路において不規則な遅延が発生しない場合においても、Ｉフレームが再生されるタイミングの間隔がばらつく。

また、映像コンテンツサーバからの伝送経路において不規則な遅延が発生すると、受信側の装置およびＰＶＲが再生すべきタイミングより遅延したタイミングでＩフレームを受ける場合がある。この場合、受信側の装置およびＰＶＲにおいて、Ｉフレームが再生されるタイミングの間隔がばらつく。

このように、Ｉフレームが再生されるタイミングの間隔がばらつくと、トリック再生は、滑らかさが欠けるぎくしゃくしたものとなってしまう。

この発明は、上述の課題を解決するためになされたもので、その目的は、早送り再生処理または早戻し再生処理において、画像の表示間隔のばらつきを抑制することが可能な画像出力装置、画像出力方法および画像出力プログラムを提供することである。

（１）上記課題を解決するために、この発明のある局面に係わる画像出力装置は、基本画像、および上記基本画像を参照することにより作成される関連画像を出力するための画像出力装置であって、上記基本画像と、上記関連画像と、上記基本画像および上記関連画像を出力すべき出力タイミングを示すタイミング情報とを取得するための画像データ取得部と、上記タイミング情報の示す上記出力タイミングに従って上記基本画像および上記関連画像を出力するための出力処理部と、早送り再生処理および早戻し再生処理の少なくとも一方において、上記タイミング情報の示す上記出力タイミングを用いて上記基本画像を選択的に出力する場合と比べて、出力される上記基本画像間の間隔のばらつきが少なくなるような上記基本画像の出力タイミングである調整出力タイミングを設定するためのスケジューリング部とを備え、上記出力処理部は、早送り再生処理および早戻し再生処理の少なくとも一方において、上記調整出力タイミングに従って上記基本画像を選択的に出力する。

このような構成により、早送り再生処理または早戻し再生処理の少なくとも一方において、基本画像が出力されるタイミングの間隔のばらつきを抑制することができる。

これにより、基本画像の表示間隔のばらつきが抑制された早送り再生または早戻し再生を視聴者に対して提供することができるので、基本画像の表示間隔がばらついたときに視聴者が感じる違和感を軽減し、安定した表示を行うことができる。

（２）好ましくは、上記スケジューリング部は、早送り再生処理および早戻し再生処理の少なくとも一方において、上記タイミング情報の示す上記出力タイミングを用いて上記基本画像を選択的に出力する場合の上記基本画像の出力タイミングである基本出力タイミングを補正することにより、上記調整出力タイミングを設定する。

このような構成により、倍速再生に必要な出力タイミングを取得しながら、当該出力タイミングの間隔を補正することができる。

（３）好ましくは、上記スケジューリング部は、早送り再生処理および早戻し再生処理の少なくとも一方において、時間軸上で連続する複数の単位期間を設定し、上記単位期間において出力可能な複数の上記基本画像の上記調整出力タイミングを等間隔に設定する。

このような構成により、各単位期間において、基本画像が出力されるタイミングの間隔のばらつきを無くすことができるので、視聴者が感じる違和感をより軽減し、より安定した表示を行うことができる。

また、時間軸上で連続する複数の単位期間を設定することにより、等間隔の調整出力タイミングを容易に設定することができる。

（４）より好ましくは、上記スケジューリング部は、連続する２つの上記単位期間において、後の上記単位期間において出力可能な上記基本画像の枚数から前の上記単位期間において出力可能または出力する上記基本画像の枚数を差し引いた値が所定のしきい値より大きい場合、上記後の単位期間において出力する上記基本画像の枚数を制限し、制限した枚数の上記基本画像の上記調整出力タイミングを設定する。

このような構成により、連続する２つの単位期間において、前の単位期間に出力する基本画像の枚数と後の単位期間に出力する枚数との差を小さくすることができる。

これにより、前の単位期間において基本画像が出力されるタイミングの間隔と後の単位期間において基本画像が出力されるタイミングの間隔とのギャップを小さくすることができる。

（５）より好ましくは、上記スケジューリング部は、上記後の単位期間において出力する上記基本画像の枚数を制限する際に、上記前の単位期間から離れた上記基本出力タイミングの上記基本画像を優先して設定する。

このような構成により、基本画像を適切に選択し、選択した基本画像を後の単位期間において出力することができる。

また、たとえば番組の情報の伝送経路において遅延が発生したことにより前の単位期間に出力すべき基本画像が後の単位期間に出力され得る状態において、当該基本画像に対して調整出力タイミングを設定してしまうことを避けることができる。

これにより、基本出力タイミングに対してより遅れたタイミングで基本画像を出力してしまうことを防ぐことができる。

（６）より好ましくは、上記スケジューリング部は、連続する２つの上記単位期間において、前の上記単位期間において出力可能な上記基本画像の枚数から後の上記単位期間において出力可能な上記基本画像の枚数を差し引いた値が所定のしきい値より大きい場合、上記前の単位期間において出力する上記基本画像の枚数を制限し、制限した枚数の上記基本画像の上記調整出力タイミングを設定する。

このような構成により、連続する２つの単位期間において、前の単位期間に出力する基本画像の枚数と後の単位期間に出力する枚数との差を小さくすることができる。

これにより、前の単位期間において基本画像が出力されるタイミングの間隔と後の単位期間において基本画像が出力されるタイミングの間隔とのギャップを小さくすることができる。

（７）より好ましくは、上記スケジューリング部は、上記前の単位期間において出力する上記基本画像の枚数を制限する際に、上記後の単位期間から離れた上記基本出力タイミングの上記基本画像を優先して設定する。

このような構成により、基本画像を適切に選択し、選択した基本画像を前の単位期間において出力することができる。

（８）より好ましくは、上記スケジューリング部は、上記調整出力タイミングが設定されなかった上記基本画像の上記調整出力タイミングを、上記後の単位期間におけるタイミングに設定する。

このような構成により、連続する２つの単位期間において、前の単位期間に出力する基本画像の枚数と後の単位期間に出力する枚数との差をより小さくすることができる。

これにより、前の単位期間において基本画像が出力されるタイミングの間隔と後の単位期間において基本画像が出力されるタイミングの間隔とのギャップをより小さくすることができる。

また、調整出力タイミングが設定されなかった基本画像が後の単位期間において出力されるので、基本画像の欠落を抑制することができる。

（９）より好ましくは、上記スケジューリング部は、上記単位期間において出力可能な上記基本画像の枚数が所定のしきい値より大きい場合、上記単位期間において出力する上記基本画像の枚数を制限し、制限した枚数の上記基本画像の上記調整出力タイミングを設定する。

このような構成により、各単位期間において出力される基本画像の枚数のばらつきを簡易に抑制することができる。

（１０）好ましくは、上記画像出力装置は、さらに、上記基本画像を蓄積するためのバッファにおける上記基本画像の量および上記基本画像の上記基本出力タイミングの少なくとも一方についての所定条件が満たされるか否かを判断するためのバッファ監視部を備え、上記スケジューリング部は、上記バッファ監視部によって上記所定条件が満たされると判断された場合、早送り再生処理および早戻し再生処理の少なくとも一方において、上記タイミング情報の示す上記出力タイミングを用いて上記基本画像を選択的に出力する場合の上記基本画像の出力タイミングである基本出力タイミング、を上記基本画像の上記調整出力タイミングとして設定する。

このような構成により、バッファの状況に応じて、基本画像の出力タイミングを調整出力タイミングおよび基本出力タイミング間で適切に切り替えることができる。

（１１）より好ましくは、上記バッファ監視部は、上記バッファに蓄積された上記基本画像の量が所定値以下となる場合、上記所定条件を満たすと判断する。

このような構成により、バッファにおける基本画像の蓄積量が十分でないため調整出力タイミングの設定を適切に行うことが困難である可能性が高い場合に、基本出力タイミングに従って基本画像を出力することができる。

また、たとえば早送り再生処理および早戻し再生処理の開始において、バッファに基本画像が蓄積されるまで待つことなく基本画像を出力することができる。

これにより、ユーザが早送り再生処理または早戻し再生処理の開始操作を行ってから再生処理または早戻し再生処理を視聴するまでの待機時間を短縮することができる。

（１２）より好ましくは、上記スケジューリング部は、時間軸上で連続する複数の単位期間を設定し、上記バッファ監視部は、所定タイミングにおいて、対象の上記単位期間の次の上記単位期間において出力すべき上記基本画像が上記バッファに蓄積されていない場合、上記所定条件を満たすと判断する。

このような構成により、対象の単位期間における調整出力タイミングの設定を適切に行うことが困難である可能性が高い場合に、基本出力タイミングに従って基本画像を出力することができる。

また、たとえば早送り再生処理および早戻し再生処理の開始において、バッファに基本画像が蓄積されるまで待つことなく、基本画像を出力することができる。

これにより、ユーザが早送り再生処理または早戻し再生処理の開始操作を行ってから再生処理または早戻し再生処理を視聴するまでの待機時間を短縮することができる。

（１３）好ましくは、上記スケジューリング部は、早送り再生処理または早戻し再生処理の再生速度が変更され、かつ変更後の上記再生速度の大きさが変更前の上記再生速度より大きい場合、上記バッファにおける上記基本画像のうち、上記変更後において出力すべき上記基本画像を上記バッファから選別し、選別した上記基本画像の上記調整出力タイミングを設定する。

このような構成により、変更前においてバッファに蓄積された基本画像を変更後に出力することができるので、バッファに基本画像が蓄積される速度に関わらず、再生速度が変更されたタイミングから早送り再生処理または早戻し再生処理が開始されるまでの遅延時間を短縮することができる。

これにより、早送り再生処理または早戻し再生処理において、再生速度の変更処理をスムーズに行うことができる。

（１４）好ましくは、上記基本画像はＩフレーム（Intra-coded Frame）であり、上記関連画像はＰフレーム（Predicted Frame）またはＢフレーム（Bi-directional Predicted Frame）である。

このような構成により、ＭＰＥＧ２の方式またはＨ．２６４／ＡＶＣの方式において、早送り再生処理または早戻し再生処理を適切に行うことができる。

（１５）上記課題を解決するために、この発明のある局面に係わる画像出力方法は、基本画像、および上記基本画像を参照することにより作成される関連画像を出力するための画像出力装置における画像出力方法であって、上記基本画像と、上記関連画像と、上記基本画像および上記関連画像を出力すべき出力タイミングを示すタイミング情報とを取得するステップと、上記タイミング情報の示す上記出力タイミングに従って上記基本画像および上記関連画像を出力するステップと、早送り再生処理および早戻し再生処理の少なくとも一方において、上記タイミング情報の示す上記出力タイミングを用いて上記基本画像を選択的に出力する場合と比べて、出力される上記基本画像間の間隔のばらつきが少なくなるような上記基本画像の出力タイミングである調整出力タイミングを設定するステップと、早送り再生処理および早戻し再生処理の少なくとも一方において、上記調整出力タイミングに従って上記基本画像を選択的に出力するステップとを含む。

このような構成により、早送り再生処理または早戻し再生処理の少なくとも一方において、基本画像が出力されるタイミングの間隔のばらつきを抑制することができる。

これにより、基本画像の表示間隔のばらつきが抑制された早送り再生または早戻し再生を視聴者に対して提供することができるので、基本画像の表示間隔がばらついたときに視聴者が感じる違和感を軽減し、安定した表示を行うことができる。

（１６）上記課題を解決するために、この発明のある局面に係わる画像出力プログラムは、基本画像、および上記基本画像を参照することにより作成される関連画像を出力するための画像出力装置において用いられる画像出力プログラムであって、コンピュータに、上記基本画像と、上記関連画像と、上記基本画像および上記関連画像を出力すべき出力タイミングを示すタイミング情報とを取得するステップと、上記タイミング情報の示す上記出力タイミングに従って上記基本画像および上記関連画像を出力するステップと、早送り再生処理および早戻し再生処理の少なくとも一方において、上記タイミング情報の示す上記出力タイミングを用いて上記基本画像を選択的に出力する場合と比べて、出力される上記基本画像間の間隔のばらつきが少なくなるような上記基本画像の出力タイミングである調整出力タイミングを設定するステップと、早送り再生処理および早戻し再生処理の少なくとも一方において、上記調整出力タイミングに従って上記基本画像を選択的に出力するステップとを実行させるためのプログラムである。

このような構成により、早送り再生処理または早戻し再生処理の少なくとも一方において、基本画像が出力されるタイミングの間隔のばらつきを抑制することができる。

これにより、基本画像の表示間隔のばらつきが抑制された早送り再生または早戻し再生を視聴者に対して提供することができるので、基本画像の表示間隔がばらついたときに視聴者が感じる違和感を軽減し、安定した表示を行うことができる。

本発明によれば、早送り再生処理または早戻し再生処理において、画像の表示間隔のばらつきを抑制することができる。

本発明の実施の形態に係る番組配信システムの構成を示す図である。 本発明の実施の形態に係るＳＴＢが受信する番組の情報の一例を示す図である。 本発明の実施の形態に係る通常再生およびトリック再生において送信されるフレームの一例を示す図である。 本発明の実施の形態に係るサーバがＩフレームを選択的にＳＴＢへ送信することによりトリック再生を行う際の動作の一例を示すシーケンス図である。 本発明の実施の形態に係るＳＴＢがＩフレームを選択的に表示装置へ出力することによりトリック再生を行う際の動作の一例を示すシーケンス図である。 本発明の実施の形態に係るＳＴＢが早送り再生処理においてＩフレームを選択的に出力する際の時間間隔の一例を示す図である。 本発明の実施の形態に係るＳＴＢの構成を示す図である。 本発明の実施の形態に係るＳＴＢがトリック再生を行う際に利用するＳＥマップの一例を示す図である。 本発明の実施の形態に係るスケジューリング部の構成を示す図である。 本発明の実施の形態に係るＳＴＢが４倍速の早送り再生処理を行う際に、スケジューリング部が算出する基本出力タイミングの一例を示す図である。 本発明の実施の形態に係るＳＴＢが４倍速の早戻し再生処理を行う際に、スケジューリング部が算出する基本出力タイミングの一例を示す図である。 本発明の実施の形態に係るスケジューリング部が各単位期間の暫定出力枚数に基づいてＩフレームの枚数を制限する一例を示す図である。 本発明の実施の形態に係るスケジューリング部が各単位期間の暫定出力枚数に基づいてＩフレームの枚数を制限する他の例を示す図である。 本発明の実施の形態に係るスケジューリング部が各単位期間の暫定出力枚数に基づいてＩフレームの枚数を制限する他の例を示す図である。 本発明の実施の形態に係るＩフレーム選別部により選別されるＩフレームの一例を示す図である。 本発明の実施の形態に係る調整出力タイミング設定部が設定する調整出力タイミングの一例を示す図である。 本発明の実施の形態に係るバッファに蓄積されたＩフレームの量がトリック再生中に減少する一例を示す図である。 本発明の実施の形態に係るバッファに蓄積されたＩフレームの量のトリック再生開始時における時間変化の一例を示す図である。 本発明の実施の形態に係るバッファ監視部が監視する各単位期間におけるＩフレームを基本出力タイミングに応じて並べた一例を示す図である。 本発明の実施の形態に係るＳＴＢが再生処理を行う際の動作手順の一例を定めたフローチャートである。 本発明の実施の形態に係るＳＴＢが早送り再生処理または早戻し再生処理を行う際の動作手順の一例を定めたフローチャートである。 本発明の実施の形態に係るＳＴＢが調整出力タイミングに従ってＩフレームを出力する際の動作手順の一例を定めたフローチャートである。 本発明の実施の形態に係るＳＴＢが各単位期間の暫定出力枚数に基づいて、Ｉフレームの枚数を設定する際の動作手順の一例を定めたフローチャートである。 本発明の実施の形態に係るＳＴＢが各単位期間の暫定出力枚数に基づいて、Ｉフレームの枚数を設定する際の動作手順の他の一例を定めたフローチャートである。 本発明の実施の形態に係るＳＴＢが各単位期間におけるＩフレームの出力枚数の上限を設定する際の動作手順の一例を定めたフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

［番組配信システムの概要］
図１は、本発明の実施の形態に係る番組配信システムの構成を示す図である。

図１を参照して、番組配信システム１０は、配信装置２０１と、画像出力装置１０１とを備える。画像出力装置１０１は、ネットワーク１１を介して配信装置２０１と接続されている。

配信装置２０１は、基本画像を示す基本画像データ、および基本画像データを参照することにより作成される関連画像を示す関連画像データを送信する。基本画像データおよび関連画像データには、基本画像または関連画像を表示すべきタイミングを示すタイミング情報の一例であるＰＴＳが含まれる。基本画像、関連画像およびＰＴＳについては、後述する。

番組配信システム１０は、たとえばＩＰネットワークを用いたＶＯＤサービスによる番組の配信を行う。この場合、配信装置２０１は、たとえばＩＰＴＶサービスにおいてコンテンツを配信するサーバであり、また、画像出力装置１０１は、たとえばＳＴＢ（Set Top Box）である。

また、番組配信システム１０は、たとえばＤＬＮＡ（Digital Living Network Alliance）に従ってＬＡＮ（Local Area Network）を介して番組の配信を行ってもよい。この場合、配信装置２０１は、たとえばＤＬＮＡにおいてコンテンツの配信を行うＤＭＳ（Digital MediaServer）であり、また、画像出力装置１０１は、たとえばコンテンツを再生するＤＭＰ（Digital MediaPlayer）である。

以下、番組配信システム１０がＩＰネットワークを用いたＶＯＤサービスによる番組の配信を行う場合について説明する。したがって、以下、配信装置２０１は、サーバ２０１と称し、画像出力装置１０１は、ＳＴＢ１０１と称する。

なお、「サーバ」および「ＳＴＢ」を、それぞれ「ＤＭＳ」および「ＤＭＰ」と読み替えることにより、以下の説明は、番組配信システム１０がＤＬＮＡに従って番組の配信を行う場合についても同様に適用することができる。

サーバ２０１は、ＳＴＢ１０１から番組の情報を要求されると、たとえばＩＰを利用することにより、当該番組の情報を含むストリームをネットワーク１１経由でＳＴＢ１０１へ配信する。

ＳＴＢ１０１は、ネットワーク１１経由でサーバ２０１から番組の情報を含むストリームを受信し、受信したストリームを処理することにより当該番組の情報を取得する。そして、ＳＴＢ１０１は、取得した番組の情報をたとえば表示装置１５１において表示する。なお、ＳＴＢ１０１および表示装置１５１は、一体化されてもよい。

図２は、本発明の実施の形態に係るＳＴＢが受信する番組の情報の一例を示す図である。

図２を参照して、サーバ２０１が配信する番組の情報は、ＭＰＥＧ２（Moving Picture Experts Group 2）またはＨ．２６４／ＡＶＣ（Advanced Video Coding）に従った方式により符号化される。符号化された番組の情報は、図２の（Ａ）に示すＥＳ（Elementary Stream）に含められる。

より詳細には、番組の画像に関する情報は、たとえばビデオＥＳ（Video ES）に含められ、また、番組の音声に関する情報は、オーディオＥＳ（Audio ES）に含められる。ビデオＥＳおよびオーディオＥＳは、たとえば図２の（Ｂ）に示すＰＥＳ（Packetized Elementary Stream）に分割される。

ＰＥＳは、ヘッダとペイロードとを有する。ペイロードには、ビデオＥＳまたはオーディオＥＳの一部が含められる。また、ヘッダには、ペイロードに含まれるＥＳに関する情報が含められる。

具体的には、番組の画像に関連するＰＥＳのペイロードには、たとえば１枚の基本画像または１枚の関連画像の情報が含められる。そして、当該ＰＥＳのヘッダには、ペイロードに含まれる画像を出力すべき時刻を示すＰＴＳおよび当該画像をデコードすべき時刻を示すＤＴＳ（Decoding Time Stamp）が含められる。

また、番組の音声に関連するＰＥＳのペイロードには、たとえばブロック単位の音声の情報が含められる。そして、当該ＰＥＳのヘッダには、ペイロードに含まれる音声を出力すべき時刻を示すＰＴＳが含められる。

サーバ２０１は、たとえばＭＰＥＧ２−ＴＳ（Transport Stream）形式における、図２の（Ｃ）に示す複数のＴＳ（Transport Stream）パケットを用いて番組の情報すなわちＰＥＳを配信する。

ＴＳパケットは、１８８バイトの大きさを持ち、ＴＳヘッダおよびＴＳペイロードを含む。ＰＥＳは、たとえば複数のＴＳパケットにおけるペイロードに分割して含められる。また、ＴＳヘッダは、当該ＴＳヘッダを含むＴＳパケットの識別情報であるＰＩＤ（Packet Identifier）を含む。ＰＩＤには、当該ＴＳパケットのペイロードに含まれる情報に対応した値が割り当てられる。

ＴＳパケットには、番組の画像に関する情報を格納するビデオＴＳパケット、番組の音声に関する情報を格納するオーディオＴＳパケット、およびＰＳＩ（Program Specific Information）を示すパケット等がある。サーバ２０１は、上記ＴＳパケットを多重化した１つのデータ列であるストリームを用いて、番組の情報をたとえばＳＴＢ１０１へ配信する。なお、ストリームには、複数の番組の情報を含めてもよい。

サーバ２０１は、番組の情報を含むＴＳパケットを用いて構成されるストリームをＩＰに従って送信する際に、上記ストリームに対して以下の処理を行う。すなわち、サーバ２０１は、送信するストリームに含まれるＴＳパケットにおいて、当該ＴＳパケットがデコードタイミング調整用のヌルパケットである場合、当該ＴＳパケットを削除する。

また、サーバ２０１がパケットを送信するタイミングを調整しながらパケットをＩＰに従ってＳＴＢ１０１へ送信しても、ＩＰではパケット毎に伝送時間のばらつきが生じるので、ＳＴＢ１０１がパケットを受信するタイミングは、サーバ２０１により調整されたタイミングと異なってしまう。

すなわち、ＩＰによるパケットの配信では、サーバ２０１におけるパケットを送信するタイミングを、ＳＴＢ１０１において再現することができない。これに対処するために、サーバ２０１は、送信するストリームに含まれるＴＳパケットを、ＳＴＢ１０１においてデコーダへ投入すべきタイミングを示すタイムスタンプ情報を含めたＴＴＳ（Timestamped TS）パケットへ変換する。

ＳＴＢ１０１は、ＴＴＳパケットを受信すると、受信したＴＴＳパケットのタイムスタンプ情報を参照することにより、当該ＴＴＳパケットを適切なタイミングでデコーダへ投入することができる。

サーバ２０１は、複数のＴＴＳパケットを複数のグループに分割し、各グループをたとえばＴＣＰパケットのペイロードに含める。サーバ２０１は、ＴＣＰパケットにＩＰヘッダを付加した後、たとえばネットワーク１１経由でＳＴＢ１０１へ送信することにより、番組の情報をＳＴＢ１０１へ配信する。

ＳＴＢ１０１は、番組の情報を含むＴＣＰ／ＩＰパケットをサーバ２０１から受信する。ＳＴＢ１０１は、受信したＴＣＰ／ＩＰパケットに含まれるＴＣＰパケットのヘッダにおけるシーケンス番号を用いて、サーバ２０１から送信されるＴＣＰ／ＩＰパケットの欠損があるか否かを把握する。

ＳＴＢ１０１は、ＴＣＰ／ＩＰパケットの欠損があった場合、サーバ２０１に対して再送を要求する。サーバ２０１は、ＳＴＢ１０１から再送の要求があった場合、要求されたＴＣＰ／ＩＰパケットをＳＴＢ１０１へ再送する。

すなわち、ＳＴＢ１０１において、ＴＣＰ／ＩＰパケットの到着が保証されている。また、サーバ２０１およびＳＴＢ１０１間の通信速度は、サーバ２０１の配信速度、ネットワーク１１の転送速度およびＳＴＢ１０１の受信速度に応じたベストエフォートの速度となる。

たとえば、サーバ２０１における処理負荷が大きい場合、または通信量の増大によりネットワーク１１の転送速度が落ちている場合等において、通信速度が低下する場合がある。この場合、ＳＴＢ１０１では、必要なデータが必要なタイミングで到着しない。すなわち、ＳＴＢ１０１は、表示すべきタイミングで画像を表示できなくなる。

一方、ＳＴＢ１０１は、ＴＣＰ／ＩＰパケットの欠損がない場合、サーバ２０１からＴＣＰ／ＩＰパケットを受信すると、受信したＴＣＰ／ＩＰパケットからＴＴＳパケットを取得する。そして、ＳＴＢ１０１は、ＴＴＳパケットからタイムスタンプ情報を削除したＴＳパケットを、当該タイムスタンプ情報が示すタイミングでデコードする。

ＳＴＢ１０１は、ＴＳパケットからＰＥＳを取得し、取得したＰＥＳに含まれる基本画像または関連画像をデコードするとともに、当該基本画像または当該関連画像のＰＴＳを取得する。

そして、ＳＴＢ１０１は、デコードした基本画像または関連画像をＰＴＳが示す出力タイミングで表示装置１５１へ出力する。

表示装置１５１は、ＳＴＢ１０１から基本画像または関連画像を受けると、受けたタイミングで基本画像または関連画像を表示する。

［サーバにより配信される画像の一例］
図３は、本発明の実施の形態に係る通常再生およびトリック再生において送信されるフレームの一例を示す図である。

図３を参照して、図３の（Ａ）および（Ｂ）の横軸は、時間を示す。ＳＴＢ１０１が受信する番組は、たとえば図３の（Ａ）に示すように複数の静止画を用いて構成される動画である。なお、上記静止画１つ分の画像を、フレームと称する。すなわち、ＳＴＢ１０１が受信する番組の情報は、複数のフレームを用いて構成される。

１フレームを描画するために必要な画像データは、ピクチャである。また、１フレームの一部を描画するために必要な画像データは、スライスである。すなわち、ピクチャは、複数のスライスを用いて構成される。

たとえば、ＭＰＥＧ２の方式では、ピクチャは、Ｉピクチャ（Intra Picture）、Ｐピクチャ（Predictive Picture）およびＢピクチャ（Bi-directionally Predictive-Picture）の３種類のピクチャがある。また、Ｈ．２６４／ＡＶＣの方式では、スライスには、Ｉスライス（Intra Slice）、Ｐスライス（Predictive Slice）またはＢスライス（Bi-predictive Slice）の３種類のスライスがある。なお、Ｈ．２６４／ＡＶＣの方式では、１ピクチャにおいて、Ｉスライス、ＰスライスまたはＢスライスが混在してもよい。

Ｉピクチャは、１フレームにおけるフレーム内符号化によって得られるピクチャである。従って、Ｉピクチャ単独で１フレームを作成することができる。ＰピクチャまたはＢピクチャは、複数のフレームにおけるフレーム間予測符号化によって得られるピクチャである。従って、ＰピクチャまたはＢピクチャは、他のピクチャを参照することにより１フレームを作成することができる。

Ｉスライスは、当該スライスが含まれるフレーム内の予測のみで符号化することにより得られるスライスである。Ｐスライスは、当該スライスが含まれるフレーム内の予測符号化および１つの参照ピクチャを使用したフレーム間予測符号化により得られるスライスである。また、Ｂスライスは、当該スライスが含まれるフレーム内の予測符号化および１つまたは２つの参照ピクチャを使用したフレーム間予測符号化により得られるスライスである。

従って、Ｉスライスは、自己が含まれるフレームの画像データに基づいて作成される。一方、ＰスライスまたはＢスライスは、自己が含まれるフレームの画像データおよび当該フレーム以外のフレームの画像データに基づいて作成される。

また、Ｉピクチャは、Ｉスライスのみによって構成される。以下、Ｉピクチャを用いて作成されるフレームを、Ｉフレーム（Intra-coded Frame）と称する。Ｉフレームは、前述の基本画像に相当し、Ｉフレームの画像データであるＩピクチャは、基本画像データに相当する。

ＭＰＥＧ２の方式において、Ｐピクチャを用いて作成されるフレームを、Ｐフレーム（Predicted Frame）と称し、Ｂピクチャを用いて作成されるフレームを、Ｂフレーム（Bi-directional Predicted Frame）と称する。

また、Ｈ．２６４／ＡＶＣの方式において、Ｐスライスを含むフレームを、Ｐフレーム（Predicted Frame）と称し、Ｂスライスを含むフレームを、Ｂフレーム（Bi-directional Predicted Frame）と称する。ＰフレームおよびＢフレームは、前述の関連画像に相当する。ＰフレームまたはＢフレームの画像データは、関連画像データに相当する。

図３の（Ａ）に示すように、ＳＴＢ１０１は、通常再生において、ＰＴＳが示す出力タイミングに従って、Ｉフレーム、ＰフレームおよびＢフレームを表示装置１５１へ出力する。

また、早送り再生または早戻し再生といった可変速再生等のトリック再生において、他のフレームの画像データを参照しなくてもよいＩフレームが用いられる。具体的には、以下の処理を行うことによりＳＴＢ１０１においてトリック再生が実現される。

すなわち、ＳＴＢ１０１は、たとえば２倍速の早送り再生処理において、図３の（Ｂ）に示すように、ＰＴＳが示す出力タイミングでＩフレームを出力する場合の再生速度と比べて、２倍の再生速度でＩフレームを選択的に出力する。

これにより、通常再生においてＩフレームを出力する時間間隔の半分の時間間隔で当該Ｉフレームが出力されるので、２倍速の早送り再生が実現される。

また、早戻し再生は、早送り再生の方向と逆方向に再生させること以外は、早送り再生と同様の処理により実現される。

［Ｉフレームが配信される際のシーケンス］
ＳＴＢ１０１は、以下に示す各フローチャートおよび各シーケンスの各ステップを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。

図４は、本発明の実施の形態に係るサーバがＩフレームを選択的にＳＴＢへ送信することによりトリック再生を行う際の動作の一例を示すシーケンス図である。

図４を参照して、ここでは、ユーザが要求したコンテンツをＳＴＢ１０１が出力している状況を想定する。

まず、ＳＴＢ１０１は、コンテンツに関するコンテンツデータすなわち番組の情報をネットワーク１１経由でサーバ２０１から受信する（ステップＳ１０２）。

次に、ＳＴＢ１０１は、たとえばユーザから４倍速の早送り再生の要求を受ける（ステップＳ１０４）。

次に、ＳＴＢ１０１は、サーバ２０１とのＴＣＰによるセッションを切断する（ステップＳ１０６）。

次に、ＳＴＢ１０１は、４倍速の早送り再生のストリーミング要求（ＨＴＴＰ ＧＥＴ）をサーバ２０１へ送信する（ステップＳ１０８）。この際、ＳＴＢ１０１およびサーバ２０１間のＴＣＰによるセッションは再確立される。

次に、サーバ２０１は、ＳＴＢ１０１からストリーミング要求を受信すると、４倍速の早送り再生のストリーミングが可能である場合、ストリーミング応答（ＨＴＴＰ ＯＫ）をＳＴＢ１０１へ送信する（ステップＳ１１０）。

次に、サーバ２０１は、１番目のＩフレームの画像データをＳＴＢ１０１へ送信する（ステップＳ１１２）。

次に、ＳＴＢ１０１は、１番目のＩフレームをサーバ２０１から受信すると、Ｉフレームの蓄積を開始する（ステップＳ１１４）。

次に、サーバ２０１は、たとえばユーザによる早送り再生の停止要求を受けるまで、またはコンテンツの最終部に到達するまで、２番目以降のＩフレームの画像データを順次ＳＴＢ１０１へ送信する（ステップＳ１１６〜ステップＳ１２２）。

以上のような動作により、トリック再生のためのサーバ２０１主導によるＩフレームの選択が行われる。

なお、Ｉフレームの画像データは、上記ステップＳ１１２、およびステップＳ１１６からステップＳ１２２までにおいて、サーバ２０１、ネットワーク１１およびＳＴＢ１０１によるベストエフォートで送信される。

ＳＴＢ１０１は、番組配信システム１０におけるＩフレームの配信速度が表示装置１５１へＩフレームを出力する速度より速い場合、Ｉフレームを蓄積することができる。

図５は、本発明の実施の形態に係るＳＴＢがＩフレームを選択的に表示装置へ出力することによりトリック再生を行う際の動作の一例を示すシーケンス図である。

図５を参照して、ここでは、ユーザが要求したコンテンツをＳＴＢ１０１が出力している状況を想定する。

まず、ＳＴＢ１０１は、コンテンツに関するコンテンツデータすなわち番組の情報をネットワーク１１経由でサーバ２０１から受信する（ステップＳ１５２）。

次に、ＳＴＢ１０１は、たとえばユーザから４倍速の早送り再生の要求を受ける（ステップＳ１５４）。

次に、ＳＴＢ１０１は、サーバ２０１とのＴＣＰによるセッションを切断する（ステップＳ１５６）。

次に、ＳＴＢ１０１は、たとえば１秒分の早送りに必要な画像データとして、０秒から４秒までの画像データのストリーミング要求（ＨＴＴＰ ＧＥＴ、０〜４ｓｅｃ）をサーバ２０１へ送信する（ステップＳ１５８）。この際、ＳＴＢ１０１およびサーバ２０１間のＴＣＰによるセッションは再確立される。

次に、サーバ２０１は、ＳＴＢ１０１からストリーミング要求を受信すると、０秒から４秒までの画像データの送信が可能である場合、ストリーミング応答（ＨＴＴＰ ＯＫ）をＳＴＢ１０１へ送信する（ステップＳ１６０）。

次に、サーバ２０１は、０秒から４秒までの画像データを含むストリームをＳＴＢ１０１へ送信する（ステップＳ１６２）。

次に、ＳＴＢ１０１は、０秒から４秒までの画像データを含むストリームをＳＴＢ１０１から受信すると、受信したストリームからＩフレームを選択し、選択したＩフレームを蓄積する（ステップＳ１６４）。

以上のような動作により、トリック再生のためのＳＴＢ１０１主導によるＩフレームの選択が行われる。

なお、０秒から４秒までの画像データは、上記ステップＳ１６２において、サーバ２０１、ネットワーク１１およびＳＴＢ１０１によるベストエフォートで送信される。

ＳＴＢ１０１は、番組配信システム１０におけるＩフレームの配信速度が表示装置１５１へＩフレームを出力する速度より速い場合、Ｉフレームを蓄積することができる。

［トリック再生時に生ずる問題点］
再び図３を参照して、ＳＴＢ１０１は、たとえば２倍速の早送り再生処理において、図３の（Ｂ）に示すように、ＰＴＳが示す出力タイミングでＩフレームを出力する場合（図３の（Ａ））の再生速度と比べて、２倍の再生速度でＩフレームを選択的に出力する。

より詳細には、通常再生におけるＩフレームＩ１〜Ｉ５の出力タイミングは、ＰＴＳが示すタイミングであり、具体的には、時刻ｔａ１〜ｔａ５である。

また、２倍速の早送り再生処理時におけるＩフレームＩ１〜Ｉ５の出力タイミングは、具体的には、時刻ｔｂ１〜ｔｂ５である。

２倍速の早送り再生処理において、ＩフレームＩ１が出力されてからＩフレームＩ２が出力されるまでの時間間隔ＩＮＴ１すなわち時刻ｔｂ２と時刻ｔｂ１との差は、通常再生における時刻ｔａ２と時刻ｔａ１との差の１／２である。

また、２倍速の早送り再生処理において、ＩフレームＩ２が出力されてからＩフレームＩ３が出力されるまでの時間間隔ＩＮＴ２すなわち時刻ｔｂ３と時刻ｔｂ２との差は、通常再生における時刻ｔａ３と時刻ｔａ２との差の１／２である。

また、２倍速の早送り再生処理において、ＩフレームＩ３が出力されてからＩフレームＩ４が出力されるまでの時間間隔ＩＮＴ３すなわち時刻ｔｂ４と時刻ｔｂ３との差は、通常再生における時刻ｔａ４と時刻ｔａ３との差の１／２である。

また、２倍速の早送り再生処理において、ＩフレームＩ４が出力されてからＩフレームＩ５が出力されるまでの時間間隔ＩＮＴ４すなわち時刻ｔｂ５と時刻ｔｂ４との差は、通常再生における時刻ｔａ５と時刻ｔａ４との差の１／２である。

すなわち、２倍速の早送り再生処理において連続するＩフレームが出力される時間間隔は、当該連続するＩフレームのＰＴＳが示す出力タイミングの時間間隔に応じた値となる。

しかしながら、図３の（Ａ）に示すように、連続するＩフレームのＰＴＳが示すタイミングの間隔は、ばらついている場合が多い。この場合、図３の（Ｂ）に示すように、早送り再生処理において、連続するＩフレームが出力される時間間隔ＩＮＴ１〜ＩＮＴ４がばらついてしまう。

また、連続するＩフレームのＰＴＳが示すタイミングの間隔がばらついていない場合においても、サーバ２０１およびＳＴＢ１０１間の伝送経路において不規則な遅延が発生すると、ＳＴＢ１０１がＩフレームを選択的に出力する際の時間間隔は以下のようにばらついてしまう。

図６は、本発明の実施の形態に係るＳＴＢが早送り再生処理においてＩフレームを選択的に出力する際の時間間隔の一例を示す図である。

図６を参照して、図６の（Ａ）および（Ｂ）の横軸は、時間を示す。ここでは、たとえば早送り再生処理または早戻し再生処理において、図６の（Ａ）に示すようにＩフレームＩ１〜Ｉ９をＳＴＢ１０１が出力する場合を想定する。

この場合におけるフレームＩ１〜Ｉ９の出力タイミングは、たとえば時刻ｔｃ１〜ｔｃ９である。また、各Ｉフレーム間の間隔は、一定の間隔すなわち間隔ＩＮＴＣｏｍであるとする。

たとえば、図６の（Ｂ）に示す時刻ｔｒ１から時刻ｔｒ２までの期間Ｔｎｔにおいてサーバ２０１およびＳＴＢ１０１間の伝送経路において問題が発生し、ＳＴＢ１０１が、期間ＴｎｔにおいてＩフレームを受信できない状況を想定する。この状況において、ＳＴＢ１０１が出力するＩフレームは以下のようになる。

すなわち、ＳＴＢ１０１は、時刻ｔｃ１，ｔｃ２において、図６の（Ａ）に示す場合と同様にＩフレームＩ１，Ｉ２を出力する。そして、時刻ｔｃ２および時刻ｔｃ３の間における時刻ｔｒ１においてサーバ２０１およびＳＴＢ１０１間の伝送経路に問題が発生するが、たとえばＳＴＢ１０１が自己のバッファにＩフレームＩ３，Ｉ４を蓄積していた場合、ＳＴＢ１０１は、時刻ｔｃ３，ｔｃ４において、図６の（Ａ）に示す場合と同様にＩフレームＩ３，Ｉ４を出力することが可能である。

次に、ＳＴＢ１０１は、時刻ｔｃ６および時刻ｔｃ７の間における時刻ｔｒ２においてサーバ２０１およびＳＴＢ１０１間の伝送経路における問題が解決するまでＩフレームＩ５以降を受信できないので、Ｉフレームを出力しない。

次に、ＳＴＢ１０１は、たとえば時刻ｔｒ２においてＩフレームＩ５〜Ｉ７を受信し、時刻ｔｄ５，ｔｄ６，ｔｄ７において連続してＩフレームＩ５〜Ｉ７を出力する。ＳＴＢ１０１は、時刻ｔｃ８以降は通常の動作に戻り、時刻ｔｃ８，ｔｃ９において、図６の（Ａ）に示す場合と同様にＩフレームＩ８，Ｉ９を出力する。

ＳＴＢ１０１は、ＩフレームＩ１〜Ｉ４，Ｉ８，Ｉ９については間隔ＩＮＴＣｏｍにおいて出力する。しかしながら、ＳＴＢ１０１は、ＩフレームＩ４，Ｉ５間、ＩフレームＩ５，Ｉ６間、ＩフレームＩ６，Ｉ７間およびＩフレームＩ７，Ｉ８間において、それぞれ間隔ＩＮＴＣｏｍと異なる間隔ＩＮＴＩｒｒ１、間隔ＩＮＴＩｒｒ２、間隔ＩＮＴＩｒｒ３および間隔ＩＮＴＩｒｒ４でＩフレームを出力してしまう。

したがって、図６の（Ｂ）に示すように、ＩフレームＩ４〜Ｉ８が出力される時間間隔がばらついてしまう。トリック再生を視聴するユーザは、たとえば図３の（Ｂ）および図６の（Ｂ）に示すタイミングでＳＴＢ１０１からＩフレームが出力される場合、トリック再生の再生間隔が長くなったり短くなったりするので、違和感を生じてしまう。

そこで、本発明の実施の形態に係るＳＴＢ１０１では、以下のような構成および動作により、Ｉフレームが出力される時間間隔のばらつきを抑制する。

［ＳＴＢの構成］
図７は、本発明の実施の形態に係るＳＴＢの構成を示す図である。

図７を参照して、ＳＴＢ（画像出力装置）１０１は、通信部２１と、制御部（画像データ取得部）２２と、指示受付部２３と、バッファ２４と、記憶部２５と、マップ作成部２６と、トリック再生処理部２７と、通常再生処理部２８と、画像データ出力部（出力処理部）２９とを備える。

トリック再生処理部２７は、バッファ監視部３０と、スケジューリング部３１と、Ｉフレーム転送部３２とを含む。なお、記憶部２５およびバッファ２４は、ＳＴＢ１０１の外部に設けられてもよい。

通信部２１は、インターネット等のネットワーク１１を介してサーバ２０１とパケットの送受信を行う。

記憶部２５は、ＨＤＤ（Hard Disk Drive）またはディスクドライブ等の記憶装置であり、番組の情報を含むストリームを保持する。

指示受付部２３は、たとえばユーザによる番組の選択、再生、録画、トリック再生および停止等の指示を受付ける。そして、指示受付部２３は、ユーザから受けた指示に応じた制御命令を制御部２２へ出力する。

制御部２２は、番組の情報である基本画像と、関連画像と、基本画像および関連画像を出力すべき出力タイミングを示すタイミング情報とを取得する。基本画像は、たとえばＩフレームであり、また、関連画像は、たとえばＰフレームおよびＢフレームである。タイミング情報は、たとえばＰＴＳまたは後述するＳＥマップである。

より詳細には、制御部２２は、指示受付部２３から制御命令を受けると、受けた制御命令に基づいてＳＴＢ１０１の動作を制御する。具体的には、制御部２２は、たとえばユーザにより選択された番組の再生に関する制御命令を受けると、選択された番組がＩＰに従って配信される番組である場合、サーバ２０１に対して当該番組の情報の配信を通信部２１経由で要求する。

そして、制御部２２は、サーバ２０１から送信されてくる番組の情報を含むストリームを通信部２１経由で取得し、取得したストリームをバッファ２４に蓄積する。

また、制御部２２は、たとえば選択された番組が記憶部２５に保存された番組である場合、当該番組の情報を含むファイルを記憶部２５から取得し、バッファ２４に蓄積する。そして、制御部２２は、番組の再生処理命令を通常再生処理部２８へ出力する。

通常再生処理部２８は、制御部２２から再生処理命令を受けると、バッファ２４に蓄積されたストリームまたはファイルからＩフレーム、Ｐフレーム、Ｂフレームまたは音声の情報を含むＰＥＳを取得する。

そして、通常再生処理部２８は、取得したＰＥＳのペイロードおよびヘッダを分離し、ペイロードからビデオＥＳまたはオーディオＥＳを取得する。また、通常再生処理部２８は、ヘッダからＰＴＳおよびＤＴＳを取得する。

通常再生処理部２８は、ＰＴＳまたはＤＴＳが示すタイミングに従って、ＰＥＳに含まれるビデオＥＳまたはオーディオＥＳを画像データ出力部２９へ出力する。

画像データ出力部２９は、具体的にはデコーダであり、通常再生処理部２８からビデオＥＳおよびオーディオＥＳを受けると、受けたビデオＥＳおよびオーディオＥＳからそれぞれ番組の画像および番組の音声を再生する。そして、画像データ出力部２９は、再生した番組の画像および番組の音声をたとえば表示装置１５１へ出力する。

また、制御部２２は、たとえばユーザにより選択された番組の録画に関する制御命令を受けると、選択された番組がＩＰに従って配信される番組である場合、サーバ２０１に対して当該番組の情報の配信を通信部２１経由で要求する。

そして、制御部２２は、サーバ２０１から送信されてくる番組の情報であるストリームを通信部２１経由で取得し、取得したストリームを記憶部２５に保存する。

［ＳＥマップ］
図８は、本発明の実施の形態に係るＳＴＢがトリック再生を行う際に利用するＳＥマップの一例を示す図である。

図２および図８を参照して、マップ作成部２６は、たとえば記憶部２５に保存されるストリームに含まれるＩフレームに関するＳＥマップ８１を作成する。

具体的には、マップ作成部２６は、たとえば図２の（Ｃ）に示すＴＳストリームが記憶部２５に保存される場合、ストリームを前方から解析する。マップ作成部２６は、Ｉフレームを見つけると、見つけたＩフレームの表示時刻であるＰＴＳ、ＴＳストリームにおける開始位置およびＴＳストリームにおける終了位置を取得する。

具体的には、マップ作成部２６は、たとえば１番目のＩフレームであるＩフレーム−１を見つけると、Ｉフレーム−１のＰＴＳである０．０ｓｅｃ、開始位置であるＴＳ−０１および終了位置であるＴＳ−０８を取得する。マップ作成部２６は、ＴＳ−０１からＴＳ−０８までのパケットのサイズを合計することによりＩフレーム−１のサイズを把握する。

そして、マップ作成部２６は、取得したＰＴＳ、開始位置および終了位置に基づいて、Ｉフレーム−１の識別番号、表示時刻、格納位置およびサイズをＳＥマップ８１に書込む。

同様に、マップ作成部２６は、たとえば２番目のＩフレームであるＩフレーム−２を見つけると、Ｉフレーム−２のＰＴＳである１．０ｓｅｃ、開始位置であるＴＳ−１５および終了位置であるＴＳ−２１を取得し、取得したＰＴＳ、開始位置および終了位置に基づいて、Ｉフレーム−２の識別番号、表示時刻、格納位置およびサイズをＳＥマップ８１に書込む。

また、マップ作成部２６は、たとえば３番目のＩフレームであるＩフレーム−３を見つけると、Ｉフレーム−３のＰＴＳである１．５ｓｅｃ、開始位置であるＴＳ−３４および終了位置であるＴＳ−４２を取得し、取得したＰＴＳ、開始位置および終了位置に基づいて、Ｉフレーム−３の識別番号、表示時刻、格納位置およびサイズをＳＥマップ８１に書込む。

マップ作成部２６は、たとえば作成したＳＥマップ８１を録画したストリームと関連付けて記憶部２５に保存する。なお、ＳＥマップは、たとえば番組の情報に予め付随する場合もある。

［トリック再生］
再び図７を参照して、制御部２２は、番組の再生中においてたとえばユーザによる早送り再生処理または早戻し再生処理に関する制御命令を受けると、再生している番組がＩＰに従って配信される番組である場合、サーバ２０１に対して当該番組のストリーミング要求を通信部２１経由で要求する。

この際、制御部２２は、たとえば４倍速の早送り再生処理を行う場合、サーバ２０１に対してストリーミング要求（４ｘ）を通信部２１経由で要求する。

そして、制御部２２は、サーバ２０１からストリーミング応答ＯＫを通信部２１経由で受信した後、送信されてくるＩフレームを取得する。制御部２２は、取得したＩフレームをバッファ２４に蓄積するとともに、４倍速の早送り再生処理を行う旨を含む番組のトリック再生処理命令をトリック再生処理部２７へ出力する。

マップ作成部２６は、バッファ２４に蓄積されたＩフレームのＰＴＳ、格納位置およびサイズを取得することにより、ＳＥマップを作成する。

なお、制御部２２は、たとえば４倍速の早送り再生処理を行う場合、サーバ２０１に対してストリーミング要求（０〜４ｓｅｃ）を通信部２１経由で要求してもよい。

この場合、制御部２２は、サーバ２０１からストリーミング応答ＯＫを通信部２１経由で受信した後、送信されてくる０秒から４秒までの画像データを含むストリームを取得する。制御部２２は、取得したＩフレームをバッファ２４に蓄積するとともに、４倍速の早送り再生処理を行う旨を含む番組のトリック再生処理命令をトリック再生処理部２７へ出力する。

マップ作成部２６は、バッファ２４に蓄積されたストリームを解析することによりＩフレームのＰＴＳ、ストリームにおける開始位置およびストリームにおける終了位置を取得する。

そして、マップ作成部２６は、取得したＩフレームのＰＴＳ、ストリームにおける開始位置およびストリームにおける終了位置に基づいて、ＳＥマップを作成する。

図９は、本発明の実施の形態に係るスケジューリング部の構成を示す図である。

図９を参照して、スケジューリング部３１は、基本出力タイミング算出部４０と、単位期間設定部４１と、枚数カウント部４２と、枚数設定部４３と、調整出力タイミング設定部４４と、Ｉフレーム選別部４５とを含む。

基本出力タイミング算出部４０は、制御部２２からたとえば４倍速の早送り再生処理を行う旨を含むトリック再生処理命令を受けると、タイミング情報が示す出力タイミングを用いてＩフレームを選択的に出力する場合の当該Ｉフレームの出力タイミングである基本出力タイミングを算出する。

図１０は、本発明の実施の形態に係るＳＴＢが４倍速の早送り再生処理を行う際に、スケジューリング部が算出する基本出力タイミングの一例を示す図である。

より詳細には、図１０を参照して、たとえばＳＴＢ１０１がＩフレーム−３１６、Ｉフレーム−３１７およびＩフレーム−３１８等の順に、Ｉフレームを選択的に出力して４倍速の早送り再生を行う場合、図１０の（Ａ）に示すＳＥマップ８２がマップ作成部２６により作成される。

基本出力タイミング算出部４０は、ＳＥマップ８２における表示時刻を用いて当該Ｉフレームの出力タイミングである基本出力タイミングを算出する。具体的には、まず、基本出力タイミング算出部４０は、当該表示時刻を早送り再生処理の倍速の値である４で除することにより、図１０の（Ｂ）に示す換算タイミングＲＴを得る。

そして、基本出力タイミング算出部４０は、１番目に出力する予定のＩフレーム−３１６の換算タイミングＲＴである１０６．５０ｓｅｃを基点として、各Ｉフレームの換算タイミングＲＴとの差を計算することにより、図１０の（Ｃ）に示す基本出力タイミングＢＯＴを算出する。

具体的には、基本出力タイミング算出部４０は、たとえば２番目に出力する予定のＩフレーム−３１７の換算タイミングＲＴが１０６．７５ｓｅｃであるので、１０６．７５ｓｅｃと１０６．５０ｓｅｃとの差である０．２５ｓｅｃを、Ｉフレーム−３１７の基本出力タイミングＢＯＴとして算出する。

基本出力タイミング算出部４０は、３番目に出力する予定のＩフレーム−３１８以降についても、同様の計算を行い、各Ｉフレームの基本出力タイミングＢＯＴを算出する。

図１１は、本発明の実施の形態に係るＳＴＢが４倍速の早戻し再生処理を行う際に、スケジューリング部が算出する基本出力タイミングの一例を示す図である。

図１１を参照して、たとえばＳＴＢ１０１がＩフレーム−４３２、Ｉフレーム−４３１およびＩフレーム−４３０等の順に、Ｉフレームを選択的に出力して４倍速の早戻し再生を行う場合、図１１の（Ａ）に示すＳＥマップ８３がマップ作成部２６により作成される。

基本出力タイミング算出部４０は、ＳＥマップ８３における表示時刻を用いて当該Ｉフレームの出力タイミングである基本出力タイミングを算出する。具体的には、まず、基本出力タイミング算出部４０は、当該表示時刻を早戻し再生処理の倍速の値であるマイナス４で除することにより、図１１の（Ｂ）に示す換算タイミングＲＴを得る。

そして、基本出力タイミング算出部４０は、１番目に出力する予定のＩフレーム−４３２の換算タイミングＲＴであるマイナス１３１．００ｓｅｃを基点として、各Ｉフレームの換算タイミングＲＴとの差を計算することにより、図１１の（Ｃ）に示す基本出力タイミングＢＯＴを算出する。

具体的には、基本出力タイミング算出部４０は、たとえば２番目に出力する予定のＩフレーム−４３１の換算タイミングＲＴがマイナス１３０．７５ｓｅｃであるので、マイナス１３０．７５ｓｅｃとマイナス１３１．００ｓｅｃとの差である０．２５ｓｅｃを、Ｉフレーム−４３１の基本出力タイミングＢＯＴとして算出する。

基本出力タイミング算出部４０は、３番目に出力する予定のＩフレーム−４３０以降についても、同様の計算を行い、各Ｉフレームの基本出力タイミングＢＯＴを算出する。

基本出力タイミング算出部４０は、各Ｉフレームについて算出した基本出力タイミングを枚数カウント部４２、Ｉフレーム選別部４５および調整出力タイミング設定部４４へ出力する。

再び図９を参照して、単位期間設定部４１は、制御部２２からトリック再生処理命令を受けると、複数の連続する単位期間たとえばＵ（ｎ）を設定する。ここで、ｎは１以上の整数であり、Ｕ（ｎ）の期間の長さはたとえば１秒である。なお、Ｕ（ｎ）の期間は任意の値たとえば０．５秒でもよい。

単位期間の長さがたとえば１秒のとき、１番目の単位期間であるＵ（１）の開始時刻および終了時刻は、それぞれゼロ秒および１秒となる。また、２番目の単位期間であるＵ（２）の開始時刻および終了時刻は、それぞれ１秒および２秒となる。

単位期間設定部４１は、枚数カウント部４２、枚数設定部４３、Ｉフレーム選別部４５、調整出力タイミング設定部４４およびバッファ監視部３０へ設定した単位期間の情報を出力する。

枚数カウント部４２は、単位期間設定部４１から複数の単位期間Ｕ（ｎ）を受けると、基本出力タイミング算出部４０により算出された基本出力タイミングに基づいて、各単位期間Ｕ（ｎ）に対応する暫定出力枚数ＴＣ（ｎ）をカウントする。

より詳細には、枚数カウント部４２は、各単位期間Ｕ（ｎ）の開始時刻および終了時刻の間に含まれる基本出力タイミングを有するＩフレームの枚数を、各単位期間Ｕ（ｎ）の暫定出力枚数ＴＣ（ｎ）としてカウントする。

具体的には、再び図１０を参照して、図１０の（Ｄ）に示す単位期間は、ＳＴＢがたとえば４倍速の早送り再生処理を行う場合、図１０の（Ｃ）に示す基本出力タイミングＢＯＴが含まれる単位期間Ｕ（ｎ）を示す。

Ｉフレーム−３１６からＩフレーム−３１９までの基本出力タイミングＢＯＴは、１番目の単位期間であるＵ（１）の開始時刻であるゼロ秒および終了時刻である１秒の間に含まれる。したがって、枚数カウント部４２は、１番目の単位期間Ｕ（１）における暫定出力枚数ＴＣ（１）を４枚とカウントする。

また、Ｉフレーム−３２０からＩフレーム−３２２までの基本出力タイミングＢＯＴは、２番目の単位期間であるＵ（２）の開始時刻である１秒および終了時刻である２秒の間に含まれる。したがって、枚数カウント部４２は、２番目の単位期間Ｕ（２）における暫定出力枚数ＴＣ（２）を３枚とカウントする。

また、再び図１１を参照して、図１１の（Ｄ）に示す単位期間は、ＳＴＢがたとえば４倍速の早戻し再生処理を行う場合、図１１の（Ｃ）に示す基本出力タイミングＢＯＴが含まれる単位期間Ｕ（ｎ）を示す。

Ｉフレーム−４３２からＩフレーム−４２８までの基本出力タイミングＢＯＴは、１番目の単位期間であるＵ（１）の開始時刻であるゼロ秒および終了時刻である１秒の間に含まれる。したがって、枚数カウント部４２は、１番目の単位期間Ｕ（１）における暫定出力枚数ＴＣ（１）を５枚とカウントする。

また、Ｉフレーム−４２７からＩフレーム−４２５までの基本出力タイミングＢＯＴは、２番目の単位期間であるＵ（２）の開始時刻である１秒および終了時刻である２秒の間に含まれる。したがって、枚数カウント部４２は、２番目の単位期間Ｕ（２）における暫定出力枚数ＴＣ（２）を３枚とカウントする。

枚数カウント部４２は、カウントした単位期間Ｕ（ｎ）における暫定出力枚数ＴＣ（ｎ）を枚数設定部４３へ出力する。

再び図９を参照して、枚数設定部４３は、枚数カウント部４２から受けた単位期間Ｕ（ｎ）における暫定出力枚数ＴＣ（ｎ）に応じて、単位期間Ｕ（ｎ）における確定出力枚数を設定する。

枚数設定部４３は、たとえば、連続する２つの単位期間Ｕ（ｍ），Ｕ（ｍ＋１）について、単位期間Ｕ（ｍ＋１）において出力可能な暫定出力枚数ＴＣ（ｍ＋１）から単位期間Ｕ（ｍ）において出力可能な暫定出力枚数ＴＣ（ｍ）を差し引いた値が所定のしきい値より大きい場合、単位期間Ｕ（ｍ＋１）において出力するＩフレームの枚数を制限する。ここで、ｍは１以上の整数である。

図１２は、本発明の実施の形態に係るスケジューリング部が各単位期間の暫定出力枚数に基づいてＩフレームの枚数を制限する一例を示す図である。

図１２を参照して、図１２の（Ａ）および（Ｂ）の横軸は、時間を示す。図１２の（Ａ）には、連続する単位期間Ｕ（ｎ−１），Ｕ（ｎ），Ｕ（ｎ＋１），Ｕ（ｎ＋２）において、各単位期間に含まれる基本出力タイミングを有するＩフレームが示される。

たとえば、単位期間Ｕ（ｎ−１）には、ＩＡ１からＩＡ４までの４枚のＩフレームの基本出力タイミングが含まれる。また、単位期間Ｕ（ｎ）には、ＩＢ１からＩＢ３までの３枚のＩフレームの基本出力タイミングが含まれる。

また、単位期間Ｕ（ｎ＋１）には、ＩＣ１からＩＣ６までの６枚のＩフレームの基本出力タイミングが含まれる。また、単位期間Ｕ（ｎ＋２）には、ＩＤ１からＩＤ４までの４枚のＩフレームの基本出力タイミングが含まれる。

これらの場合における各Ｉフレームは、各Ｉフレームの基本出力タイミングが示す時刻の位置において示されているものとする。また、各Ｉフレームの基本出力タイミングは等間隔でないものとする。

枚数設定部４３は、図１２の（Ａ）に示すように、連続する単位期間Ｕ（ｎ−１），Ｕ（ｎ），Ｕ（ｎ＋１），Ｕ（ｎ＋２）にそれぞれ対応する暫定出力枚数ＴＣ（ｎ−１），ＴＣ（ｎ），ＴＣ（ｎ＋１），ＴＣ（ｎ＋２）を枚数カウント部４２から受ける。

暫定出力枚数ＴＣ（ｎ−１）は、図１２の（Ａ）に示すようにたとえば４である。同様に、暫定出力枚数ＴＣ（ｎ），ＴＣ（ｎ＋１），ＴＣ（ｎ＋２）は、それぞれ３，６，４である。

枚数設定部４３は、連続する単位期間における暫定出力枚数の差が所定のしきい値より大きいか否かを評価する。たとえば、所定のしきい値が２である場合、ＴＣ（ｎ）とＴＣ（ｎ−１）との差は、３と４との差であるマイナス１に相当するので、上記しきい値より小さい。

したがって、枚数設定部４３は、単位期間Ｕ（ｎ）において出力するＩフレームの枚数を制限せず、単位期間Ｕ（ｎ）における確定出力枚数ＤＣ（ｎ）をＴＣ（ｎ）と同じ３に設定する。

同様に、ＴＣ（ｎ＋１）とＴＣ（ｎ）との差は、６と３との差すなわち３であり、上記しきい値より大きい。したがって、枚数設定部４３は、単位期間Ｕ（ｎ＋１）において出力するＩフレームの枚数を制限する。

枚数設定部４３は、単位期間Ｕ（ｎ＋１）において出力するＩフレームの枚数を、たとえばＴＣ（ｎ）である３と上記しきい値である２との和である５枚に制限する。そして、枚数設定部４３は、単位期間Ｕ（ｎ＋１）における確定出力枚数ＤＣ（ｎ＋１）を５枚に設定する。

また、たとえば、ＴＣ（ｎ＋２）とＴＣ（ｎ＋１）との差は、４と６との差すなわちマイナス２であり、上記しきい値より小さい。

したがって、枚数設定部４３は、単位期間Ｕ（ｎ＋２）において出力するＩフレームの枚数を制限せず、単位期間Ｕ（ｎ＋２）における確定出力枚数ＤＣ（ｎ＋２）をＴＣ（ｎ＋２）と同じ４に設定する。

なお、枚数設定部４３は、上記暫定出力枚数ＴＣ（ｍ）を用いる構成に限らず、Ｉフレームを出力中または出力済みである単位期間Ｕ（ｍ）のＩフレームの出力枚数を用いてもよい。

また、上記では、説明を簡単にするために暫定出力枚数同士の比較を行う例について説明したが、後の単位期間Ｕ（ｍ＋１）における暫定出力枚数ＴＣ（ｍ＋１）と前の単位期間Ｕ（ｍ）における確定出力枚数ＤＣ（ｍ）とを比較する動作であってもよい。

また、枚数設定部４３は、たとえば連続する２つの単位期間Ｕ（ｍ），Ｕ（ｍ＋１）について、単位期間Ｕ（ｍ）において出力可能な暫定出力枚数ＴＣ（ｍ）から単位期間Ｕ（ｍ＋１）において出力可能な暫定出力枚数ＴＣ（ｍ＋１）を差し引いた値が所定のしきい値より大きい場合、単位期間Ｕ（ｍ）において出力するＩフレームの枚数を制限する。ここで、ｍは１以上の整数である。

図１３は、本発明の実施の形態に係るスケジューリング部が各単位期間の暫定出力枚数に基づいてＩフレームの枚数を制限する他の例を示す図である。

図１３を参照して、図１３の（Ａ）および（Ｂ）の横軸は、時間を示す。図１３の（Ａ）には、連続する単位期間Ｕ（ｋ−１），Ｕ（ｋ），Ｕ（ｋ＋１），Ｕ（ｋ＋２）において、各単位期間に含まれる基本出力タイミングを有するＩフレームが示される。

たとえば、単位期間Ｕ（ｋ−１）には、ＩＥ１からＩＥ４までの４枚のＩフレームの基本出力タイミングが含まれる。また、単位期間Ｕ（ｋ）には、ＩＦ１からＩＦ６までの６枚のＩフレームの基本出力タイミングが含まれる。

また、単位期間Ｕ（ｋ＋１）には、ＩＧ１からＩＧ３までの３枚のＩフレームの基本出力タイミングが含まれる。また、単位期間Ｕ（ｋ＋２）には、ＩＨ１からＩＨ４までの４枚のＩフレームの基本出力タイミングが含まれる。

これらの場合における各Ｉフレームは、各Ｉフレームの基本出力タイミングが示す時刻の位置において示されているものとする。また、各Ｉフレームの基本出力タイミングは等間隔でないものとする。

枚数設定部４３は、図１３の（Ａ）に示すように、連続する単位期間Ｕ（ｋ−１），Ｕ（ｋ），Ｕ（ｋ＋１），Ｕ（ｋ＋２）にそれぞれ対応する暫定出力枚数ＴＣ（ｋ−１），ＴＣ（ｋ），ＴＣ（ｋ＋１），ＴＣ（ｋ＋２）を枚数カウント部４２から受ける。

暫定出力枚数ＴＣ（ｋ−１）は、図１３の（Ａ）に示すようにたとえば４である。同様に、暫定出力枚数ＴＣ（ｋ），ＴＣ（ｋ＋１），ＴＣ（ｋ＋２）は、それぞれ６，３，４である。

枚数設定部４３は、連続する単位期間における暫定出力枚数の差が所定のしきい値より大きいか否かを評価する。たとえば、所定のしきい値が２である場合、ＴＣ（ｋ−１）とＴＣ（ｋ）との差は、４と６との差であるマイナス２に相当するので、上記しきい値より小さい。

したがって、枚数設定部４３は、単位期間Ｕ（ｋ−１）において出力するＩフレームの枚数を制限せず、単位期間Ｕ（ｋ−１）における確定出力枚数ＤＣ（ｋ−１）をＴＣ（ｋ−１）と同じ４に設定する。

同様に、ＴＣ（ｋ）とＴＣ（ｋ＋１）との差は、６と３との差すなわち３であり、上記しきい値より大きい。したがって、枚数設定部４３は、単位期間Ｕ（ｋ）において出力するＩフレームの枚数を制限する。

枚数設定部４３は、単位期間Ｕ（ｋ）において出力するＩフレームの枚数を、たとえばＴＣ（ｋ＋１）である３と上記しきい値である２との和である５枚に制限する。

この場合、単位期間Ｕ（ｋ）において出力可能なＩフレームの枚数が５枚に制限されるので、ＴＣ（ｋ）である６枚のうち１枚余る。枚数設定部４３は、余った１枚をたとえば次の単位期間Ｕ（ｋ＋１）に対応するＴＣ（ｋ＋１）である３に加えることにより、単位期間Ｕ（ｋ＋１）における暫定出力枚数ＴＣ（ｋ＋１）を４枚に設定する。

また、たとえば、ＴＣ（ｋ＋１）とＴＣ（ｋ＋２）との差は、４と４との差すなわちゼロであり、上記しきい値より小さい。

したがって、枚数設定部４３は、単位期間Ｕ（ｋ＋１）において出力するＩフレームの枚数を制限せず、単位期間Ｕ（ｋ＋１）における確定出力枚数ＤＣ（ｋ＋１）をＴＣ（ｋ＋１）と同じ４に設定する。

そして、枚数設定部４３は、設定した各単位期間の確定出力枚数ＤＣ（ｎ）をＩフレーム選別部４５経由で調整出力タイミング設定部４４へ出力する。

また、たとえば早送り再生処理または早戻し再生処理における再生速度が大きい場合、単位期間あたりの暫定出力枚数が、ＳＴＢ１０１が出力可能な単位期間あたりの出力枚数を上回ることが考えられる。

そこで、枚数設定部４３は、たとえば単位期間Ｕにおいて出力可能なＩフレームの枚数が所定のしきい値より大きい場合、単位期間Ｕにおいて出力するＩフレームの枚数を制限する。

図１４は、本発明の実施の形態に係るスケジューリング部が各単位期間の暫定出力枚数に基づいてＩフレームの枚数を制限する他の例を示す図である。

具体的には、図１４を参照して、図１４の（Ａ）および（Ｂ）の横軸は、時間を示す。図１４の（Ａ）には、単位期間Ｕ（ｊ）に含まれる基本出力タイミングを有するＩフレームすなわちＩフレームＩ１〜Ｉ３２が示される。

この場合における各Ｉフレームは、各Ｉフレームの基本出力タイミングが示す時刻の位置において示されているものとする。また、各Ｉフレームの基本出力タイミングは等間隔であってもよいし、等間隔でなくてもよい。

枚数設定部４３は、図１４の（Ａ）に示すように、単位期間Ｕ（ｊ）に対応する暫定出力枚数ＴＣ（ｊ）を枚数カウント部４２から受ける。暫定出力枚数ＴＣ（ｊ）は、図１４の（Ａ）に示すようにたとえば３２である。

枚数設定部４３は、ＴＣ（ｊ）が所定のしきい値より大きいか否かを評価する。所定のしきい値がたとえば８である場合、ＴＣ（ｊ）は３２であるので、当該しきい値より大きい。

したがって、枚数設定部４３は、単位期間Ｕ（ｊ）において出力するＩフレームの枚数を制限する。枚数設定部４３は、単位期間Ｕ（ｊ）において出力するＩフレームの枚数を、たとえば上記しきい値と同じ８枚に制限する。

枚数設定部４３は、単位期間Ｕ（ｊ）における確定出力枚数ＤＣ（ｊ）を８枚に設定する。そして、枚数設定部４３は、設定した単位期間Ｕ（ｊ）の確定出力枚数ＤＣ（ｊ）をＩフレーム選別部４５経由で調整出力タイミング設定部４４へ出力する。

再び図７および９を参照して、Ｉフレーム選別部４５は、たとえば、早送り再生処理または早戻し再生処理の再生速度の大きさが変更された際、変更後の再生速度の大きさが変更前の再生速度より大きい場合、バッファ２４に蓄積されたＩフレームを選別する。

より詳細には、制御部２２は、番組の早送り再生処理または早戻し再生処理を行っている際に、ユーザにより再生速度の大きさが変更されると、以下の処理を行う。

すなわち、制御部２２は、変更前の再生速度の大きさが変更後の再生速度より大きい場合、たとえば８倍速から４倍速に変更された場合、バッファ２４に蓄積されたＩフレームを消去する。

この際、制御部２２は、たとえば８倍速から４倍速に再生速度が変更された旨を含む再生速度変更情報をＩフレーム選別部４５へ出力する。

Ｉフレーム選別部４５は、８倍速から４倍速に再生速度が変更された旨を含む再生速度変更情報を受けると、変更前の再生速度の大きさが変更後の再生速度より大きいことを把握する。この場合、Ｉフレーム選別部４５は、バッファ２４に蓄積されたＩフレームを選別しない。

一方、制御部２２は、変更後の再生速度の大きさが変更前の再生速度より大きい場合、たとえば４倍速から８倍速に変更された場合、バッファ２４に蓄積されたＩフレームを消去しない。

この際、制御部２２は、たとえば４倍速から８倍速に再生速度が変更された旨を含む再生速度変更情報をＩフレーム選別部４５へ出力する。

Ｉフレーム選別部４５は、４倍速から８倍速に再生速度が変更された旨を含む再生速度変更情報を受けると、変更後の再生速度の大きさが変更前の再生速度より大きいことを把握する。この場合、Ｉフレーム選別部４５は、バッファ２４に蓄積されたＩフレームを選別する。

図１５は、本発明の実施の形態に係るＩフレーム選別部により選別されるＩフレームの一例を示す図である。

具体的には、図１５を参照して、図１５の（Ａ）および（Ｂ）の横軸は、時間を示す。Ｉフレーム選別部４５は、たとえば再生速度変更情報を受けたタイミングにおいて、マップ作成部２６におけるＳＥマップ８２または８３を参照することにより、バッファ２４に蓄積されたＩフレームを確認する。ここでは、バッファ２４に蓄積されたＩフレームは、４倍速の再生速度において用いるＩフレームである。

そして、Ｉフレーム選別部４５は、たとえば基本出力タイミング算出部４０から受けた基本出力タイミングおよび単位期間設定部４１から受けた単位期間Ｕ４１，Ｕ４２，Ｕ４３，Ｕ４に基づいて、図１５の（Ａ）に示すように各単位期間に含まれる基本出力タイミングを有するＩフレームを把握する。

また、再生速度が４倍速から８倍速へ２倍に変更されたので、図１５の（Ｂ）に示す８倍速における単位期間Ｕ８１および単位期間Ｕ８２は、それぞれ単位期間Ｕ４１，Ｕ４２および単位期間Ｕ４３，Ｕ４４に相当する。

したがって、Ｉフレーム選別部４５は、単位期間Ｕ８１において出力すべきＩフレームがＩフレームＩ１〜Ｉ８であると把握する。また、Ｉフレーム選別部４５は、単位期間Ｕ８２において出力すべきＩフレームがＩフレームＩ９〜Ｉ１６であると把握する。

また、ＳＴＢ１０１が単位期間においてたとえばＩフレームを４枚出力する場合、Ｉフレーム選別部４５は、単位期間Ｕ８１において出力すべきＩフレームとしてＩフレームＩ１〜Ｉ８から４枚選別する。また、Ｉフレーム選別部４５は、単位期間Ｕ８２において出力すべきＩフレームとしてＩフレームＩ９〜Ｉ１６から４枚選別する。

この際、Ｉフレーム選別部４５は、たとえばＩフレームを１枚おきに選別する。具体的には、Ｉフレーム選別部４５は、単位期間Ｕ８１において出力すべきＩフレームとしてＩフレームＩ１，Ｉ３，Ｉ５，Ｉ７を選別する。また、Ｉフレーム選別部４５は、単位期間Ｕ８２において出力すべきＩフレームとしてＩフレームＩ９，Ｉ１１，Ｉ１３，Ｉ１５を選別する。

そして、Ｉフレーム選別部４５は、選別しなかったＩフレームたとえばＩフレームＩ２，Ｉ４，Ｉ６，Ｉ８，Ｉ１０，Ｉ１２，Ｉ１４，Ｉ１６についての情報を制御部２２へ通知する。

制御部２２は、選別しなかったＩフレームＩ２，Ｉ４，Ｉ６，Ｉ８，Ｉ１０，Ｉ１２，Ｉ１４，Ｉ１６についての情報をＩフレーム選別部４５から受けると、ＩフレームＩ２，Ｉ４，Ｉ６，Ｉ８，Ｉ１０，Ｉ１２，Ｉ１４，Ｉ１６に関連するデータをバッファ２４から消去する。

また、Ｉフレーム選別部４５は、選別したＩフレームたとえばＩフレームＩ１，Ｉ３，Ｉ５，Ｉ７，Ｉ９，Ｉ１１，Ｉ１３，Ｉ１５についての情報を調整出力タイミング設定部４４へ出力する。

再び図９を参照して、調整出力タイミング設定部４４は、枚数設定部４３から各単位期間Ｕ（ｎ）の確定出力枚数ＤＣ（ｎ）を受けると、以下の処理を行う。すなわち、調整出力タイミング設定部４４は、たとえば、ＰＴＳ等の基本出力タイミングを用いてＩフレームを選択的に出力する場合と比べて、出力されるＩフレーム間の間隔のばらつきが少なくなるようなＩフレームの出力タイミングである調整出力タイミングを設定する。

この際、調整出力タイミング設定部４４は、たとえば、基本出力タイミング算出部４０が算出した各Ｉフレームについての基本出力タイミングを補正することにより、調整出力タイミングを設定する。

図１６は、本発明の実施の形態に係る調整出力タイミング設定部が設定する調整出力タイミングの一例を示す図である。

図１６を参照して、図１６の（Ａ）、（Ｂ）、（Ｃ）および（Ｄ）の横軸は、時間を示す。以下、調整出力タイミングについて概念的な説明を行う。すなわち、図１６の（Ｂ）には、ＩフレームＩ１〜Ｉ４が基本出力タイミングに従って選択的に出力される場合のタイミングが示されている。

この場合におけるＩフレームＩ１の出力タイミングおよびＩフレームＩ２の出力タイミングの間隔は、間隔Ｂ１である。また、ＩフレームＩ２の出力タイミングおよびＩフレームＩ３の出力タイミングの間隔は、間隔Ｂ２である。また、ＩフレームＩ３の出力タイミングおよびＩフレームＩ４の出力タイミングの間隔は、間隔Ｂ３である。ここで、間隔Ｂ１は、間隔Ｂ２より大きいとする。また、間隔Ｂ３は、間隔Ｂ２より大きいとする。

図１６の（Ａ）には、ＩフレームＩ１〜Ｉ４が好ましくない出力タイミングに従って選択的に出力される場合のタイミングが示されている。

この場合におけるＩフレームＩ１の出力タイミングおよびＩフレームＩ２の出力タイミングの間隔は、間隔ＮＧ１である。また、ＩフレームＩ２の出力タイミングおよびＩフレームＩ３の出力タイミングの間隔は、間隔ＮＧ２である。また、ＩフレームＩ３の出力タイミングおよびＩフレームＩ４の出力タイミングの間隔は、間隔ＮＧ３である。ここで、間隔ＮＧ１は、間隔Ｂ１より大きいとする。また、間隔ＮＧ２は、間隔Ｂ１より小さいとする。また、間隔ＮＧ３は、間隔Ｂ３より大きいとする。

すなわち、図１６の（Ａ）に示す間隔ＮＧ１，ＮＧ２，ＮＧ３は、図１６の（Ｂ）に示す間隔Ｂ１，Ｂ２，Ｂ３と比べて、出力されるＩフレーム間の出力タイミング間隔のばらつきが大きくなっている。

トリック再生を視聴するユーザは、たとえば図１６の（Ａ）に示すタイミングでＳＴＢ１０１からＩフレームが出力される場合、トリック再生の再生間隔が長くなったり短くなったりするので、違和感を生じてしまう。

図１６の（Ｃ）には、ＩフレームＩ１〜Ｉ４がたとえば調整出力タイミング設定部４４により設定された好ましい出力タイミングすなわち調整出力タイミングに従って選択的に出力される場合のタイミングが示されている。

この場合におけるＩフレームＩ１の出力タイミングおよびＩフレームＩ２の出力タイミングの間隔は、図１６の（Ｂ）に示す間隔Ｂ１と同じ大きさを有する間隔Ｇ１である。また、ＩフレームＩ２の出力タイミングおよびＩフレームＩ３の出力タイミングの間隔は、図１６の（Ｂ）に示す間隔Ｂ１と同じ大きさを有する間隔Ｇ２である。また、ＩフレームＩ３の出力タイミングおよびＩフレームＩ４の出力タイミングの間隔は、図１６の（Ｂ）に示す間隔Ｂ３と同じ大きさを有する間隔Ｇ３である。

すなわち、図１６の（Ｃ）に示す間隔は、図１６の（Ｂ）に示す間隔Ｂ２を間隔Ｂ１と同じ大きさとした場合の間隔である。したがって、図１６の（Ｃ）におけるＩフレームの間隔のばらつきは、図１６の（Ｂ）におけるＩフレームの間隔のばらつきと比べて小さい。

これにより、図１６の（Ｂ）に示すタイミングで出力されるＩフレームにより構成されるトリック再生の再生間隔のばらつきと比べて、トリック再生の再生間隔のばらつきを抑制することができる。

また、たとえば、図１６の（Ｃ）に示すタイミングでＳＴＢ１０１からＩフレームが出力される場合、図１６の（Ｂ）に示すタイミングでＳＴＢ１０１からＩフレームが出力される場合と比べて、トリック再生を視聴するユーザの違和感が低減される。

たとえば、調整出力タイミング設定部４４は、単位期間Ｕ１において出力可能なＩフレームの調整出力タイミングを等間隔に設定する。

図１６の（Ｄ）には、ＩフレームＩ１〜Ｉ４がたとえば調整出力タイミング設定部４４により設定されたより好ましい調整出力タイミングに従って選択的に出力される場合のタイミングが示されている。

この場合におけるＩフレームＩ１の出力タイミングおよびＩフレームＩ２の出力タイミングの間隔は、間隔Ｇｃｏｍである。また、ＩフレームＩ２の出力タイミングおよびＩフレームＩ３の出力タイミングの間隔は、間隔Ｇｃｏｍと同じ大きさである。また、ＩフレームＩ３の出力タイミングおよびＩフレームＩ４の出力タイミングの間隔は、間隔Ｇｃｏｍと同じ大きさである。

すなわち、図１６の（Ｄ）では、図１６の（Ｃ）に示す場合と比べて、出力されるＩフレーム間の出力タイミングの間隔のばらつきが小さい。

これにより、図１６の（Ｃ）に示すタイミングで出力されるＩフレームにより構成されるトリック再生の再生間隔のばらつきと比べて、トリック再生の再生間隔のばらつきを抑制することができる。

また、たとえば、図１６の（Ｄ）に示すタイミングでＳＴＢ１０１からＩフレームが出力される場合、図１６の（Ｃ）に示すタイミングでＳＴＢ１０１からＩフレームが出力される場合と比べて、トリック再生を視聴するユーザの違和感が低減される。

再び図１２を参照して、具体的には、調整出力タイミング設定部４４は、図１２の（Ｂ）に示すように、枚数設定部４３から確定出力枚数ＤＣ（ｎ−１）である４を受けると、単位期間の長さである１秒を４で除した２５０ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｎ−１）において出力可能なＩフレームＩＡ１〜ＩＡ４の基本出力タイミングの間隔が２５０ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１２の（Ｂ）には、ＩフレームＩＡ１〜ＩＡ４の調整出力タイミングが示す時刻の位置においてＩフレームＩＡ１〜ＩＡ４が示される。このように、ＩフレームＩＡ１〜ＩＡ４の間隔は、図１２の（Ａ）に示す場合と異なり、等間隔すなわち間隔Ａｃｏｍとなる。

同様に、調整出力タイミング設定部４４は、枚数設定部４３から確定出力枚数ＤＣ（ｎ）である３を受けると、単位期間の長さである１秒を３で除した３３３ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｎ）において出力可能なＩフレームＩＢ１〜ＩＢ３の基本出力タイミングの間隔が３３３ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１２の（Ｂ）には、ＩフレームＩＢ１〜ＩＢ３の調整出力タイミングが示す時刻の位置においてＩフレームＩＢ１〜ＩＢ３が示される。このように、ＩフレームＩＢ１〜ＩＢ３の間隔は、図１２の（Ａ）に示す場合と異なり、等間隔すなわち間隔Ｂｃｏｍとなる。

調整出力タイミング設定部４４は、枚数設定部４３から確定出力枚数ＤＣ（ｎ＋１）である５を受けると、単位期間の長さである１秒を５で除した２００ミリ秒を算出する。

単位期間Ｕ（ｎ＋１）におけるＤＣ（ｎ＋１）である５枚は、ＴＣ（ｎ＋１）である６枚が制限された値である。この場合、調整出力タイミング設定部４４は、連続する２つの単位期間Ｕ（ｎ），Ｕ（ｎ＋１）において、後の単位期間Ｕ（ｎ＋１）におけるＩフレームのうち、前の単位期間であるＵ（ｎ）から離れた基本出力タイミングを有するＩフレームの調整出力タイミングを優先して設定する。

具体的には、後の単位期間Ｕ（ｎ＋１）におけるＩフレームＩＣ１〜ＩＣ６のうち、Ｕ（ｎ）から離れた基本出力タイミングを有するＩフレームＩＣ６の優先順位が最も高く、ＩフレームＩＣ１の優先順位が最も低い。

したがって、調整出力タイミング設定部４４は、ＩフレームＩＣ６からＩフレームＩＣ２までの順に、５枚のＩフレームについて調整出力タイミングを設定する。なお、調整出力タイミング設定部４４により調整出力タイミングが設定されなかったＩフレームＩＣ１は、ＳＴＢ１０１から出力されない。

この際、調整出力タイミング設定部４４は、単位期間Ｕ（ｎ＋１）においてＩフレームＩＣ２〜ＩＣ６の基本出力タイミングの間隔が２００ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１２の（Ｂ）には、ＩフレームＩＣ２〜ＩＣ６の調整出力タイミングが示す時刻の位置においてＩフレームＩＣ２〜ＩＣ６が示される。このように、ＩフレームＩＣ２〜ＩＣ６の間隔は、図１２の（Ａ）に示す場合より広い間隔を有する等間隔すなわち間隔Ｃｃｏｍとなる。

また、調整出力タイミング設定部４４は、枚数設定部４３から確定出力枚数ＤＣ（ｎ＋２）である４を受けると、単位期間の長さである１秒を４で除した２５０ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｎ＋２）において出力可能なＩフレームＩＤ１〜ＩＤ４の基本出力タイミングの間隔が２５０ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１２の（Ｂ）には、ＩフレームＩＤ１〜ＩＤ４の調整出力タイミングが示す時刻の位置においてＩフレームＩＤ１〜ＩＤ４が示される。このように、ＩフレームＩＤ１〜ＩＤ４の間隔は、図１２の（Ａ）に示す場合と異なり、等間隔すなわち間隔Ｄｃｏｍとなる。

上記のように、図１２の（Ａ）の場合すなわち基本出力タイミングが示す時刻に基づいて複数のＩフレームがＳＴＢ１０１から選択的に出力される場合、単位期間Ｕ（ｎ−１），Ｕ（ｎ），Ｕ（ｎ＋１），Ｕ（ｎ＋２）において出力される枚数は、それぞれ４枚、３枚、６枚および４枚となる。また、複数のＩフレームが出力されるタイミング間の間隔は一定ではない。

トリック再生を視聴するユーザは、たとえば上記のタイミングでＳＴＢ１０１からＩフレームが出力される場合、トリック再生の再生間隔が長くなったり短くなったりするので、違和感を生じてしまう。

一方、図１２の（Ｂ）の場合すなわち調整出力タイミングが示す時刻に基づいて複数のＩフレームがＳＴＢ１０１から選択的に出力される場合、単位期間Ｕ（ｎ−１），Ｕ（ｎ），Ｕ（ｎ＋１），Ｕ（ｎ＋２）において出力される枚数は、それぞれ４枚、３枚、５および４枚となる。また、各Ｉフレームが出力されるタイミングの間隔は、各単位期間において一定である。

このように、複数のＩフレームが出力されるタイミング間の間隔が各単位期間において一定であるので、Ｉフレームが出力されるタイミング間の間隔のばらつきを抑制することができる。

また、各単位期間において出力されるＩフレームの枚数のばらつきを抑えることができるので、Ｉフレームが出力されるタイミング間の間隔のばらつきを効果的に抑制することができる。

たとえば、上記のタイミングでＳＴＢ１０１からＩフレームが出力される場合、トリック再生の再生間隔の変化が抑制されているので、トリック再生を視聴するユーザの違和感が低減される。

また、再び図１３を参照して、調整出力タイミング設定部４４は、図１３の（Ｂ）に示すように、枚数設定部４３から確定出力枚数ＤＣ（ｋ−１）である４を受けると、単位期間の長さである１秒を４で除した２５０ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｋ−１）において出力可能なＩフレームＩＥ１〜ＩＥ４の基本出力タイミングの間隔が２５０ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１３の（Ｂ）には、ＩフレームＩＥ１〜ＩＥ４の調整出力タイミングが示す時刻の位置においてＩフレームＩＥ１〜ＩＥ４が示される。このように、ＩフレームＩＥ１〜ＩＥ４の間隔は、図１３の（Ａ）に示す場合と異なり、等間隔すなわち間隔Ｅｃｏｍとなる。

同様に、調整出力タイミング設定部４４は、枚数設定部４３から確定出力枚数ＤＣ（ｋ）である５を受けると、単位期間の長さである１秒を５で除した２００ミリ秒を算出する。

単位期間Ｕ（ｋ）におけるＤＣ（ｋ）である５枚は、ＴＣ（ｋ）である６枚が制限された値である。この場合、調整出力タイミング設定部４４は、連続する２つの単位期間Ｕ（ｋ），Ｕ（ｋ＋１）において、前の単位期間Ｕ（ｋ）におけるＩフレームのうち、後の単位期間であるＵ（ｋ＋１）から離れた基本出力タイミングを有するＩフレームの調整出力タイミングを優先して設定する。

具体的には、前の単位期間Ｕ（ｋ）におけるＩフレームＩＦ１〜ＩＦ６のうち、Ｕ（ｋ＋１）から離れた基本出力タイミングを有するＩフレームＩＦ１の優先順位が最も高く、ＩフレームＩＦ６の優先順位が最も低い。

したがって、調整出力タイミング設定部４４は、ＩフレームＩＦ１からＩフレームＩＦ５までの順に、５枚のＩフレームについて調整出力タイミングを設定する。

この際、調整出力タイミング設定部４４は、単位期間Ｕ（ｋ）においてＩフレームＩＦ１〜ＩＦ５の基本出力タイミングの間隔が２００ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１３の（Ｂ）には、ＩフレームＩＦ１〜ＩＦ５の調整出力タイミングが示す時刻の位置においてＩフレームＩＦ１〜ＩＦ５が示される。このように、ＩフレームＩＦ１〜ＩＦ５の間隔は、図１３の（Ａ）に示す場合より広い間隔を有する等間隔すなわち間隔Ｆｃｏｍとなる。

なお、調整出力タイミング設定部４４は、上述したように、たとえば単位期間Ｕ（ｋ）において調整出力タイミングが設定されなかったＩフレームの調整出力タイミングを、後の単位期間である単位期間Ｕ（ｋ＋１）におけるタイミングに設定する。

調整出力タイミング設定部４４は、枚数設定部４３から確定出力枚数ＤＣ（ｋ＋１）である４を受けると、単位期間の長さである１秒を４で除した２５０ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｋ＋１）において出力可能なＩフレームＩＦ６，ＩＧ１〜ＩＧ３の基本出力タイミングの間隔が２５０ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１３の（Ｂ）には、ＩフレームＩＦ６，ＩＧ１〜ＩＧ３の調整出力タイミングが示す時刻の位置においてＩフレームＩＦ６，ＩＧ１〜ＩＧ３が示される。このように、ＩフレームＩＦ６，ＩＧ１〜ＩＧ３の間隔は、図１３の（Ａ）に示す場合と異なり、等間隔すなわち間隔Ｇｃｏｍとなる。

また、調整出力タイミング設定部４４は、枚数設定部４３から確定出力枚数ＤＣ（ｋ＋２）である４を受けると、単位期間の長さである１秒を４で除した２５０ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｋ＋２）において出力可能なＩフレームＩＨ１〜ＩＨ４の基本出力タイミングの間隔が２５０ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

図１３の（Ｂ）には、ＩフレームＩＨ１〜ＩＨ４の調整出力タイミングが示す時刻の位置においてＩフレームＩＨ１〜ＩＨ４が示される。このように、ＩフレームＩＨ１〜ＩＨ４の間隔は、図１３の（Ａ）に示す場合と異なり、等間隔すなわち間隔Ｈｃｏｍとなる。

上記のように、図１３の（Ａ）の場合すなわち基本出力タイミングが示す時刻に基づいて複数のＩフレームがＳＴＢ１０１から選択的に出力される場合、単位期間Ｕ（ｋ−１），Ｕ（ｋ），Ｕ（ｋ＋１），Ｕ（ｋ＋２）において出力される枚数は、それぞれ４枚、６枚、３枚および４枚となる。また、複数のＩフレームが出力されるタイミング間の間隔は一定ではない。

トリック再生を視聴するユーザは、たとえば上記のタイミングでＳＴＢ１０１からＩフレームが出力される場合、トリック再生の再生間隔が長くなったり短くなったりするので、違和感を生じてしまう。

一方、図１３の（Ｂ）の場合すなわち調整出力タイミングが示す時刻に基づいて複数のＩフレームがＳＴＢ１０１から選択的に出力される場合、単位期間Ｕ（ｋ−１），Ｕ（ｋ），Ｕ（ｋ＋１），Ｕ（ｋ＋２）において出力される枚数は、それぞれ４枚、５枚、４および４枚となる。また、複数のＩフレームが出力されるタイミング間の間隔は、各単位期間において一定である。

このように、複数のＩフレームが出力されるタイミング間の間隔が各単位期間において一定であるので、Ｉフレームが出力されるタイミング間の間隔のばらつきを抑制することができる。

また、各単位期間において出力されるＩフレームの枚数のばらつきを抑えることができるので、Ｉフレームが出力されるタイミング間の間隔のばらつきを効果的に抑制することができる。

たとえば、上記のタイミングでＳＴＢ１０１からＩフレームが出力される場合、トリック再生の再生間隔の変化が抑制されているので、トリック再生を視聴するユーザの違和感が低減される。

また、再び図１４を参照して、調整出力タイミング設定部４４は、図１４の（Ｂ）に示すように、枚数設定部４３から確定出力枚数ＤＣ（ｊ）である８を受けると、単位期間の長さである１秒を８で除した１２５ミリ秒を算出する。

そして、調整出力タイミング設定部４４は、単位期間Ｕ（ｊ）において出力可能な８枚のＩフレームの基本出力タイミングの間隔が１２５ミリ秒となるように補正する。調整出力タイミング設定部４４は、補正した基本出力タイミングを調整出力タイミングとして設定する。

なお、８枚のＩフレームは、任意に選別される。この場合、８枚のＩフレームは、たとえば基本出力タイミングの順に等枚数おきに選別される。具体的には、８枚のＩフレームは、たとえばＩフレームＩ１を最初の１枚に選別すると、ＩフレームＩ５、ＩフレームＩ９、ＩフレームＩ１３、ＩフレームＩ１７、ＩフレームＩ２１、ＩフレームＩ２５およびＩフレームＩ２９の順に３枚おきに選別される。また、最初の１枚の選択は、任意である。

また、調整出力タイミング設定部４４により調整出力タイミングが設定されなかったＩフレームＩ１，Ｉ５，Ｉ９，Ｉ１３，Ｉ１７，Ｉ２１，Ｉ２５，Ｉ２９以外のＩフレームは、ＳＴＢ１０１から出力されない。

図１４の（Ｂ）には、ＩフレームＩ１，Ｉ５，Ｉ９，Ｉ１３，Ｉ１７，Ｉ２１，Ｉ２５，Ｉ２９の調整出力タイミングが示す時刻の位置においてＩフレームＩ１，Ｉ５，Ｉ９，Ｉ１３，Ｉ１７，Ｉ２１，Ｉ２５，Ｉ２９が示される。このように、ＩフレームＩ１，Ｉ５，Ｉ９，Ｉ１３，Ｉ１７，Ｉ２１，Ｉ２５，Ｉ２９の間隔は、等間隔すなわち間隔Ｇｃｏｍとなる。

このように、単位期間において出力可能なＩフレームの枚数が制限される場合において、制限されないＩフレームとしていずれのＩフレームが選別されても、出力されるタイミング間の間隔のばらつきを抑制することができる。

また、再び図９を参照して、調整出力タイミング設定部４４は、後述するバッファ監視部３０からバッファ残量不足情報を受けると、たとえば各Ｉフレームの基本出力タイミングを当該各Ｉフレームの調整出力タイミングとして設定する。以下、調整出力タイミング設定部４４が上記設定を行うモードを基本出力モードとも称する。

調整出力タイミング設定部４４は、バッファ監視部３０からバッファ回復情報を受けると、たとえば基本出力タイミングを用いてＩフレームを選択的に出力する場合と比べて、出力されるＩフレーム間の間隔のばらつきが少なくなるようなＩフレームの出力タイミングである調整出力タイミングを設定する。以下、調整出力タイミング設定部４４が上記設定を行うモードを調整出力モードとも称する。

また、再び図７および図９を参照して、調整出力タイミング設定部４４は、Ｉフレーム選別部４５から選別したＩフレームについての情報を受けると、当該Ｉフレームについて上記方法により調整出力タイミングを設定する。

調整出力タイミング設定部４４は、各Ｉフレームに設定した調整出力タイミングを当該各Ｉフレームの識別番号と共にＩフレーム転送部３２へ出力する。

Ｉフレーム転送部３２は、調整出力タイミングおよびＩフレームの識別番号を調整出力タイミング設定部４４から受けると、バッファ２４に蓄積されたＩフレームの中から該当するＩフレームを抽出し、抽出したＩフレームを画像データ出力部２９へ出力する。

より詳細には、Ｉフレーム転送部３２は、マップ作成部２６におけるＳＥマップ８２または８３を参照することにより、上記識別番号に対応するＩフレームの格納位置およびサイズを取得する。

Ｉフレーム転送部３２は、上記識別番号に対応するＩフレームの格納位置およびサイズに基づいて、当該Ｉフレームをバッファ２４から取得する。

そして、Ｉフレーム転送部３２は、当該調整出力タイミングにおいて、取得したＩフレームを画像データ出力部２９へ出力する。

画像データ出力部２９は、Ｉフレーム転送部３２からＩフレームを受けると、受けたＩフレームから画像を再生する。そして、画像データ出力部２９は、再生した画像をたとえば表示装置１５１へ出力する。表示装置１５１は、画像データ出力部２９から受けた画像を表示する。

バッファ監視部３０は、基本画像および関連画像を蓄積するためのバッファ２４におけるＩフレームの量およびＩフレームの基本出力タイミングの少なくとも一方についての所定条件が満たされるか否かを判断する。

図１７は、本発明の実施の形態に係るバッファに蓄積されたＩフレームの量がトリック再生中に減少する一例を示す図である。

図１７を参照して、横軸は時間を示し、縦軸はバッファ２４に蓄積されたＩフレームの量を示す。バッファ監視部３０は、たとえばバッファ２４に蓄積されたＩフレームの量が所定値以下となる場合、上記所定条件を満たすと判断する。この所定値は、たとえばＳＴＢ１０１が各単位期間に出力するＩフレームの平均枚数に設定される。

具体的には、バッファ監視部３０は、たとえばバッファ２４に蓄積されたＩフレームの量を確認する。より詳細には、バッファ監視部３０は、たとえば所定時間ｄｔ毎にマップ作成部２６におけるＳＥマップ８２または８３を参照することにより、バッファ２４に蓄積されたＩフレームの量を確認する。

バッファ監視部３０は、時刻ｔ０，ｔ１，ｔ２においてバッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が上記所定値より大きいことを把握する。

バッファ監視部３０は、時刻ｔ３においてバッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が上記所定値以下となったことを把握する。そして、バッファ監視部３０は、以下の処理を行う。

すなわち、バッファ２４に蓄積されたＩフレームの枚数が平均枚数以下となることは、上記タイミングが含まれる単位期間Ｕ２の次の単位期間Ｕ３におけるＩフレームはすべて揃っていない可能性が高いことを意味する。

この場合、単位期間Ｕ３において、調整出力タイミングが適切に設定されない可能性があるため、バッファ監視部３０は、調整出力タイミング設定部４４を基本出力モードで動作させるために、バッファ残量不足情報を調整出力タイミング設定部４４へ出力する。

これにより、ＳＴＢ１０１は、単位期間Ｕ３においては、たとえば基本出力タイミングに従ってＩフレームを出力する。

また、バッファ監視部３０は、時刻ｔ４においてバッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が引き続き上記所定値以下であることを把握する。

バッファ監視部３０は、時刻ｔ５においてバッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が上記所定値より大きいことを把握する。

そして、バッファ監視部３０は、バッファ２４に蓄積されたＩフレームの量が上記所定値より大きくなったことを把握したタイミングでバッファの蓄積量が回復したと判断する。バッファ監視部３０は、バッファの蓄積量が回復したと判断すると、以下の処理を行う。

すなわち、バッファ２４に蓄積されたＩフレームの枚数が平均枚数より大きくなることは、上記タイミングが含まれる単位期間Ｕ３の次の単位期間Ｕ４におけるＩフレームはすべて揃っている可能性が高いことを意味する。

この場合、バッファ監視部３０は、単位期間Ｕ４において、調整出力タイミング設定部４４を調整出力モードで動作させるために、バッファ回復情報を調整出力タイミング設定部４４へ出力する。

ＳＴＢ１０１は、単位期間Ｕ４においては、たとえば調整出力タイミングに従ってＩフレームを出力する。

これにより、ＳＴＢ１０１は、調整出力タイミングを設定することが困難であると予想される単位期間Ｕ３において、基本出力タイミングに従ってＩフレームを出力することができる。

また、ＳＴＢ１０１は、バッファにおけるＩフレームの量が回復した単位期間Ｕ４において、調整出力タイミングに従ってＩフレームを出力することができる。

図１８は、本発明の実施の形態に係るバッファに蓄積されたＩフレームの量のトリック再生開始時における時間変化の一例を示す図である。

図１８を参照して、横軸は時間を示し、縦軸はバッファ２４に蓄積されたＩフレームの量を示す。この所定値は、たとえばＳＴＢ１０１が各単位期間に出力すると予想されるＩフレームの平均枚数に設定される。

具体的には、バッファ監視部３０は、たとえば所定時間ｄｔ毎にバッファ２４に蓄積されたＩフレームの量を確認する。バッファ監視部３０は、時刻ｔ０すなわちトリック再生を開始した時刻において、バッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が上記所定値以下であることを把握する。

そして、バッファ監視部３０は、調整出力タイミング設定部４４を基本出力モードで動作させるために、バッファ残量不足情報を調整出力タイミング設定部４４へ出力する。

バッファ監視部３０は、時刻ｔ１，ｔ２においてバッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が上記所定値以下であることを把握する。

バッファ監視部３０は、時刻ｔ３においてバッファ２４に蓄積されたＩフレームの量を確認し、バッファ２４に蓄積されたＩフレームの量が上記所定値より大きくなったことを把握する。

そして、バッファ監視部３０は、調整出力タイミング設定部４４を調整出力モードで動作させるために、バッファ回復情報を調整出力タイミング設定部４４へ出力する。

ＳＴＢ１０１は、単位期間Ｕ３においては、たとえば調整出力タイミングに従ってＩフレームを出力する。

これにより、トリック再生の開始において、Ｉフレームがある程度バッファ２４に蓄積されるまで待つことなく、ＳＴＢ１０１は、基本出力タイミングに従ってＩフレームを出力することができる。

また、ＳＴＢ１０１は、バッファに十分な量のＩフレームが蓄積された後は、調整出力タイミングに従ってＩフレームを出力することができる。

図１９は、本発明の実施の形態に係るバッファ監視部が監視する各単位期間におけるＩフレームを基本出力タイミングに応じて並べた一例を示す図である。

図１９を参照して、図１９の（Ａ）および（Ｂ）の横軸は、時間を示す。たとえば、バッファ監視部３０は、所定タイミングにおいて、対象の単位期間Ｕｔの次の単位期間Ｕｎにおいて出力すべきＩフレームがバッファ２４に蓄積されていない場合、上記所定条件を満たすと判断する。所定タイミングは、たとえば対象の単位期間の直前の単位期間Ｕｂにおける任意のタイミングたとえばタイミングｔｊに設定される。

具体的には、バッファ監視部３０は、たとえばタイミングｔｊにおいて、単位期間設定部４１から受けた単位期間に基づいて、対象の単位期間Ｕｔの次の単位期間Ｕｎの開始時刻および終了時刻を把握する。

バッファ監視部３０は、たとえばバッファ２４に蓄積されたＩフレームの基本出力タイミングを確認する。より詳細には、バッファ監視部３０は、たとえばマップ作成部２６におけるＳＥマップ８２または８３を参照することにより、バッファ２４に蓄積されたＩフレームの基本出力タイミングを確認する。

バッファ監視部３０は、たとえば図１９の（Ａ）に示すように、単位期間Ｕｎの開始時刻以降の基本出力タイミングを有するＩフレームがバッファ２４に蓄積されていない場合、上記所定条件を満たすと判断する。バッファ監視部３０は、上記所定条件が満たされると判断すると、以下の処理を行う。

すなわち、単位期間Ｕｎの開始時刻以降の基本出力タイミングを有するＩフレームがバッファ２４に蓄積されていないということは、対象の単位期間ＵｔにおけるＩフレームがすべて揃っていない可能性が高いことを意味する。

この場合、対象の単位期間Ｕｔにおいて、調整出力タイミングが適切に設定されない可能性があるため、バッファ監視部３０は、調整出力タイミング設定部４４を基本出力モードで動作させるために、バッファ残量不足情報を調整出力タイミング設定部４４へ出力する。

これにより、ＳＴＢ１０１は、対象の単位期間Ｕｔにおいては、たとえば基本出力タイミングに従ってＩフレームを出力する。

また、バッファ監視部３０は、たとえば図１９の（Ｂ）に示すように、単位期間Ｕｎの開始時刻以降の基本出力タイミングを有するＩフレームがバッファ２４に蓄積されている場合、バッファの蓄積量が回復したと判断する。バッファ監視部３０は、バッファの蓄積量が回復したと判断すると、以下の処理を行う。

すなわち、単位期間Ｕｎの開始時刻以降の基本出力タイミングを有するＩフレームがバッファ２４に蓄積されているということは、対象の単位期間ＵｔにおけるＩフレームはすべて揃っていることを意味する。

この場合、バッファ監視部３０は、対象の単位期間Ｕｔにおいて、調整出力タイミング設定部４４を調整出力モードで動作させるために、バッファ回復情報を調整出力タイミング設定部４４へ出力する。

ＳＴＢ１０１は、対象の単位期間Ｕｔにおいては、たとえば調整出力タイミングに従ってＩフレームを出力する。

これにより、ＳＴＢ１０１は、調整出力タイミングを設定することが困難であると予想される図１９の（Ａ）の対象の単位期間Ｕｔにおいて、基本出力タイミングに従ってＩフレームを出力することができる。

また、ＳＴＢ１０１は、バッファにおけるＩフレームの量が回復した場合は、調整出力タイミングに従ってＩフレームを出力することができる。

［ＳＴＢ１０１の基本動作］
図２０は、本発明の実施の形態に係るＳＴＢが再生処理を行う際の動作手順の一例を定めたフローチャートである。

図２０を参照して、ここでは、ユーザが要求したコンテンツをＳＴＢ１０１が出力している状況を想定する。

まず、ＳＴＢ１０１は、たとえばコンテンツに関する基本画像の画像データと、関連画像の画像データと、基本画像および関連画像のタイミング情報であるＰＴＳ等をネットワーク１１経由でサーバ２０１から取得する（ステップＳ２０２）。

次に、ＳＴＢ１０１は、ＰＴＳが示すタイミングに従って、基本画像または関連画像をたとえば表示装置１５１へ出力する（ステップＳ２０４）。

そして、ＳＴＢ１０１は、ユーザによる再生処理の終了命令を受けるまで、再生処理を継続する（ステップＳ２０６でＮＯ）。

また、ＳＴＢ１０１は、ユーザによる早送り再生処理または早戻し再生処理の開始命令を受けるまで、再生処理を継続する（ステップＳ２０８でＮＯおよびステップＳ２０２）。

一方、ＳＴＢ１０１は、ユーザによる早送り再生処理または早戻し再生処理の開始命令を受けると（ステップＳ２０８でＹＥＳ）、早送り再生処理または早戻し再生処理を開始する（ステップＳ２１０）。

次に、ＳＴＢ１０１は、ユーザによる早送り再生処理または早戻し再生処理の終了命令を受けるまで、早送り再生処理または早戻し再生処理を継続する（ステップＳ２１２でＮＯおよびステップＳ２１０）。

また、ＳＴＢ１０１は、早送り再生処理または早戻し再生処理を行っている状態においてユーザによる早送り再生処理または早戻し再生処理の終了命令を受けると（ステップＳ２１２でＹＥＳ）、再生処理へ戻る（ステップＳ２０２）。

また、ＳＴＢ１０１は、再生処理を行っている状態においてユーザによる再生処理の終了命令を受けると、再生処理を終了する（ステップＳ２０６でＹＥＳ）。

［早送り再生処理または早戻し再生処理における動作］
図２１は、本発明の実施の形態に係るＳＴＢが早送り再生処理または早戻し再生処理を行う際の動作手順の一例を定めたフローチャートである。

図２１を参照して、以下の動作は、ＳＴＢ１０１が図２０に示すステップＳ２１０およびステップＳ２１２を行う際の動作を詳細に示したものである。

まず、ＳＴＢ１０１は、選択的に出力するためのＩフレームのバッファ２４への蓄積を開始する（ステップＳ２５０）。

次に、ＳＴＢ１０１は、バッファに蓄積されたＩフレームの基本出力タイミングを算出する（ステップＳ２５２）。

次に、ＳＴＢ１０１は、たとえばバッファ監視部３０が所定条件を満たすと判断する場合すなわちバッファ２４においてＩフレームが十分に蓄積されていない場合（ステップＳ２５４でＮＯ）、基本出力タイミングに従ってＩフレームを選択的に出力する（ステップＳ２５８）。

そして、ＳＴＢ１０１は、ユーザによる早送り再生処理または早戻し再生処理の終了命令を受けるまで、早送り再生処理または早戻し再生処理を継続する（ステップＳ２１２でＮＯおよびステップＳ２５２）。

一方、ＳＴＢ１０１は、たとえばバッファ監視部３０が所定条件を満たすと判断しない場合すなわちバッファ２４においてＩフレームが十分に蓄積された場合（ステップＳ２５４でＹＥＳ）、調整出力タイミングに従ってＩフレームを選択的に出力する（ステップＳ２５６）。

そして、ＳＴＢ１０１は、ユーザによって早送り再生処理または早戻し再生処理の再生速度が変更されるまで、早送り再生処理または早戻し再生処理を継続する（ステップＳ２６０でＮＯ）。

一方、ＳＴＢ１０１は、ユーザによる早送り再生処理または早戻し再生処理の再生速度が変更された場合（ステップＳ２６０でＹＥＳ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、変更後の再生速度の大きさが変更前の再生速度の大きさより小さい場合（ステップＳ２６２でＮＯ）、早送り再生処理または早戻し再生処理を継続する。

一方、ＳＴＢ１０１は、変更後の再生速度の大きさが変更前の再生速度の大きさより大きい場合（ステップＳ２６２でＹＥＳ）、バッファ２４に蓄積されたＩフレームのうち、変更後の早送り再生処理または早戻し再生処理に用いることが可能なＩフレームを選別する（ステップＳ２６４）。

次に、ＳＴＢ１０１は、調整出力タイミングに従って選別したＩフレームを出力する（ステップＳ２５６）。

また、ＳＴＢ１０１は、早送り再生処理または早戻し再生処理を行っている状態においてユーザによる早送り再生処理または早戻し再生処理の終了命令を受けると（ステップＳ２１２でＹＥＳ）、早送り再生処理または早戻し再生処理を終了する。

なお、ＳＴＢ１０１は、上記ステップＳ２５８において、バッファ２４においてＩフレームが十分に蓄積されていない場合であっても、当該Ｉフレームを用いて調整出力タイミングを設定してもよい。

具体的には、ＳＴＢ１０１は、たとえば直近の単位期間において本来４枚のＩフレームを出力すべき場合であって、バッファ２４において３枚しか蓄積されていないとき、バッファ２４に蓄積された３枚のＩフレームを当該直近の単位期間において等間隔に出力してもよい。

［調整出力タイミングに従ってＩフレームを出力する際の動作］
図２２は、本発明の実施の形態に係るＳＴＢが調整出力タイミングに従ってＩフレームを出力する際の動作手順の一例を定めたフローチャートである。

図２２を参照して、以下の動作は、ＳＴＢ１０１が図２１に示すステップＳ２５６を行う際の動作を詳細に示したものである。

まず、ＳＴＢ１０１は、時間軸上で連続する複数の単位期間Ｕ（ｎ）を設定する（ステップＳ３０２）。

次に、ＳＴＢ１０１は、たとえば各単位期間Ｕ（ｎ）の開始時刻および終了時刻の間に含まれる基本出力タイミングを有するＩフレームの枚数を、各単位期間Ｕ（ｎ）の暫定出力枚数ＴＣ（ｎ）としてカウントする（ステップＳ３０４）。

次に、ＳＴＢ１０１は、各単位期間Ｕ（ｎ）の暫定出力枚数ＴＣ（ｎ）に基づいて、各単位期間Ｕ（ｎ）の確定出力枚数ＤＣ（ｎ）を設定する（ステップＳ３０６）。

次に、ＳＴＢ１０１は、各単位期間Ｕ（ｎ）の長さおよび確定出力枚数ＤＣ（ｎ）に基づいて、各単位期間Ｕ（ｎ）におけるＩフレームの調整出力タイミングを設定する（ステップＳ３０８）。

次に、ＳＴＢ１０１は、設定した調整出力タイミングでＩフレームを出力する（ステップＳ３１０）。

［各単位期間におけるＩフレームの枚数制限］
図２３は、本発明の実施の形態に係るＳＴＢが各単位期間の暫定出力枚数に基づいて、Ｉフレームの枚数を設定する際の動作手順の一例を定めたフローチャートである。

図２３を参照して、以下の動作は、ＳＴＢ１０１が図２２に示すステップＳ３０６を行う際の動作の一例を詳細に示したものである。

まず、ＳＴＢ１０１は、たとえば図２２に示すステップＳ３０４においてカウントした後の単位期間Ｕ（ｎ＋１）における暫定出力枚数ＴＣ（ｎ＋１）と、前の単位期間Ｕ（ｎ）における暫定出力枚数ＴＣ（ｎ）との差が所定のしきい値Ｔｈ１より大きい場合（ステップＳ３５２でＹＥＳ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、前の単位期間Ｕ（ｎ）における暫定出力枚数ＴＣ（ｎ）と所定のしきい値Ｔｈ１との和を、後の単位期間Ｕ（ｎ＋１）における確定出力枚数ＤＣ（ｎ＋１）に設定する（ステップＳ３５４）。

一方、ＳＴＢ１０１は、後の単位期間Ｕ（ｎ＋１）における暫定出力枚数ＴＣ（ｎ＋１）と、前の単位期間Ｕ（ｎ）における暫定出力枚数ＴＣ（ｎ）との差が所定のしきい値Ｔｈ１以下である場合（ステップＳ３５２でＮＯ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、後の単位期間Ｕ（ｎ＋１）における暫定出力枚数ＴＣ（ｎ＋１）を、後の単位期間Ｕ（ｎ＋１）における確定出力枚数ＤＣ（ｎ＋１）に設定する（ステップＳ３５６）。

なお、上記ステップＳ３５２において、ＳＴＢ１０１が暫定出力枚数に関する判断のタイミングを最も遅らせた場合、当該タイミングは、前の単位期間Ｕ（ｎ）および後の単位期間Ｕ（ｎ＋１）の区切りのタイミングとなる。

すなわち、ＳＴＢ１０１は、確定出力枚数ＤＣ（ｎ＋１）を、上記区切りのタイミングにおけるバッファ２４の蓄積状況に応じた値とすることができる。これは、単位期間Ｕ（ｎ）においてバッファ２４に蓄積されたＩフレームを単位期間Ｕ（ｎ＋１）において出力することが可能であることを意味する。

したがって、図２３に示す動作は、バッファ２４におけるＩフレームの蓄積量が十分でない場合に適している。

図２４は、本発明の実施の形態に係るＳＴＢが各単位期間の暫定出力枚数に基づいて、Ｉフレームの枚数を設定する際の動作手順の他の一例を定めたフローチャートである。

図２４を参照して、以下の動作は、ＳＴＢ１０１が図２２に示すステップＳ３０６を行う際の動作の一例を詳細に示したものである。

まず、ＳＴＢ１０１は、たとえば図２２に示すステップＳ３０４においてカウントした前の単位期間Ｕ（ｋ）における暫定出力枚数ＴＣ（ｋ）と、後の単位期間Ｕ（ｋ＋１）における暫定出力枚数ＴＣ（ｋ＋１）との差が所定のしきい値Ｔｈ２より大きい場合（ステップＳ４０２でＹＥＳ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、後の単位期間Ｕ（ｋ＋１）における暫定出力枚数ＴＣ（ｋ＋１）と所定のしきい値Ｔｈ２との和を、前の単位期間Ｕ（ｋ）における確定出力枚数ＤＣ（ｋ）に設定する（ステップＳ４０４）。

次に、ＳＴＢ１０１は、後の単位期間Ｕ（ｋ＋１）における暫定出力枚数ＴＣ（ｋ＋１）および前の単位期間Ｕ（ｋ）における暫定出力枚数ＴＣ（ｋ）の和と、前の単位期間Ｕ（ｋ）における確定出力枚数ＤＣ（ｋ）との差を、後の単位期間Ｕ（ｋ＋１）における暫定出力枚数ＴＣ（ｋ＋１）に設定する（ステップＳ４０８）。

一方、ＳＴＢ１０１は、前の単位期間Ｕ（ｋ）における暫定出力枚数ＴＣ（ｋ）と、後の単位期間Ｕ（ｋ＋１）における暫定出力枚数ＴＣ（ｋ＋１）との差が所定のしきい値Ｔｈ２以下である場合（ステップＳ４０２でＮＯ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、前の単位期間Ｕ（ｋ）において、暫定出力枚数ＴＣ（ｋ）を確定出力枚数ＤＣ（ｋ）に設定する（ステップＳ４０６）。

なお、上記ステップＳ４０２において、ＳＴＢ１０１が暫定出力枚数に関する判断のタイミングを最も遅らせた場合、当該タイミングは、前の単位期間Ｕ（ｋ）の開始時刻となる。

すなわち、ＳＴＢは、確定出力枚数ＤＣ（ｋ），ＤＣ（ｋ＋１）を上記タイミングで決定することができる。

これにより、ＳＴＢ１０１は、上記ステップＳ４０８において、暫定出力枚数ＴＣ（ｋ＋１）を、暫定出力枚数ＴＣ（ｋ）と確定出力枚数ＤＣ（ｋ）との差だけ増すことができる。

すなわち、ＳＴＢ１０１は、前の単位期間において調整出力タイミングが設定されなかったＩフレームを後の単位期間において出力することができるので、基本画像の欠落を抑制することができる。

また、単位期間Ｕ（ｋ），Ｕ（ｋ＋１）において出力すべきＩフレームが単位期間Ｕ（ｋ）の開始時刻までにバッファ２４に蓄積されていることが好ましいので、図２４に示す動作は、バッファ２４においてＩフレームが十分蓄積されている場合に適している。

図２５は、本発明の実施の形態に係るＳＴＢが各単位期間におけるＩフレームの出力枚数の上限を設定する際の動作手順の一例を定めたフローチャートである。

図２５を参照して、以下の動作は、ＳＴＢ１０１が図２２に示すステップＳ３０６を行う際の動作の一例を詳細に示したものである。

まず、ＳＴＢ１０１は、たとえば図２２に示すステップＳ３０４においてカウントした単位期間Ｕ（ｊ）における暫定出力枚数ＴＣ（ｊ）が所定のしきい値Ｔｈ３より大きい場合（ステップＳ４５２でＹＥＳ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、所定のしきい値Ｔｈ２を単位期間Ｕ（ｊ）における確定出力枚数ＤＣ（ｊ）に設定する（ステップＳ４５４）。

一方、ＳＴＢ１０１は、単位期間Ｕ（ｊ）における暫定出力枚数ＴＣ（ｊ）が所定のしきい値Ｔｈ３以下である場合（ステップＳ４５２でＮＯ）、以下の処理を行う。

すなわち、ＳＴＢ１０１は、単位期間Ｕ（ｊ）において、暫定出力枚数ＴＣ（ｊ）を確定出力枚数ＤＣ（ｊ）に設定する（ステップＳ４５６）。

なお、上記ステップＳ４５２において、ＳＴＢ１０１が暫定出力枚数に関する判断のタイミングを最も遅らせた場合、当該タイミングは、単位期間Ｕ（ｊ）の開始時刻となる。

すなわち、ＳＴＢ１０１は、確定出力枚数ＤＣ（ｊ）を、単位期間Ｕ（ｊ）の開始時刻におけるバッファ２４の蓄積状況に応じた値とすることができる。これは、単位期間Ｕ（ｊ）の開始時刻までにバッファ２４に蓄積されたＩフレームを単位期間Ｕ（ｊ）において出力することが可能であることを意味する。

したがって、図２５に示す動作は、バッファ２４におけるＩフレームの蓄積量が十分でない場合に適している。

また、番組の情報すなわちストリームの中には、単位期間Ｕ（ｊ）において出力すべきＩフレームの枚数が一定となるように作成されたストリームがある。具体的には、たとえば１秒当たり１枚のＩフレームを含むストリームについて４倍速の早送り再生または早戻し再生を行う際、ＳＴＢは、１秒あたり４枚のＩフレームを出力する。

この場合、上記所定のしきい値Ｔｈ３を４に設定することにより、各単位期間Ｕ（ｊ）において出力されるＩフレームの枚数のばらつきを簡易に抑制することができる。

したがって、図２５に示す動作は、単位期間Ｕ（ｊ）において出力すべきＩフレームの枚数が一定となるように作成されたストリームについて早送り再生または早戻し再生を行う場合にも適している。

ところで、Ｉフレームが出力される時間間隔がばらついてしまうと、当該Ｉフレームにより構成されるトリック再生を視聴する場合、トリック再生の再生間隔が長くなったり短くなったりするので、違和感のあるトリック再生を視聴してしまう。

これに対して、本発明の実施の形態に係る画像出力装置では、制御部２２は、基本画像と、関連画像と、基本画像および関連画像を出力すべき出力タイミングを示すタイミング情報の一例であるＰＴＳとを取得する。画像データ出力部２９は、ＰＴＳの示す出力タイミングに従って基本画像および関連画像を出力する。スケジューリング部３１は、早送り再生処理および早戻し再生処理の少なくとも一方において、ＰＴＳの示す出力タイミングを用いて基本画像を選択的に出力する場合と比べて、出力される基本画像間の間隔のばらつきが少なくなるような基本画像の出力タイミングである調整出力タイミングを設定する。そして、画像データ出力部２９は、早送り再生処理および早戻し再生処理の少なくとも一方において、調整出力タイミングに従って基本画像を選択的に出力する。

このような構成により、早送り再生処理または早戻し再生処理の少なくとも一方において、基本画像が出力されるタイミングの間隔のばらつきを抑制することができる。

これにより、基本画像の表示間隔のばらつきが抑制された早送り再生または早戻し再生を視聴者に対して提供することができるので、基本画像の表示間隔がばらついたときに視聴者が感じる違和感を軽減し、安定した表示を行うことができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、早送り再生処理および早戻し再生処理の少なくとも一方において、ＰＴＳの示す出力タイミングを用いて基本画像を選択的に出力する場合の基本画像の出力タイミングである基本出力タイミングを補正することにより、調整出力タイミングを設定する。

このような構成により、倍速再生に必要な出力タイミングを取得しながら、当該出力タイミングの間隔を補正することができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、早送り再生処理および早戻し再生処理の少なくとも一方において、時間軸上で連続する複数の単位期間を設定し、単位期間において出力可能な複数の基本画像の調整出力タイミングを等間隔に設定する。

このような構成により、各単位期間において、基本画像が出力されるタイミングの間隔のばらつきを無くすことができるので、視聴者が感じる違和感をより軽減し、より安定した表示を行うことができる。

また、時間軸上で連続する複数の単位期間を設定することにより、等間隔の調整出力タイミングを容易に設定することができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、連続する２つの単位期間Ｕ（ｎ），Ｕ（ｎ＋１）において、後の単位期間Ｕ（ｎ＋１）において出力可能な基本画像の暫定出力枚数ＴＣ（ｎ＋１）から前の単位期間Ｕ（ｎ）において出力可能または出力する基本画像の暫定出力枚数ＴＣ（ｎ）を差し引いた値が所定のしきい値より大きい場合、後の単位期間Ｕ（ｎ＋１）において出力する基本画像の確定出力枚数ＤＣ（ｎ＋１）を制限し、制限した確定出力枚数ＤＣ（ｎ＋１）の基本画像の調整出力タイミングを設定する。

このような構成により、連続する２つの単位期間Ｕ（ｎ），Ｕ（ｎ＋１）において、前の単位期間Ｕ（ｎ）に出力する基本画像の確定出力枚数ＤＣ（ｎ）と後の単位期間Ｕ（ｎ＋１）に出力する確定出力枚数ＤＣ（ｎ＋１）との差を小さくすることができる。

これにより、前の単位期間Ｕ（ｎ）において基本画像が出力されるタイミングの間隔と後の単位期間Ｕ（ｎ＋１）において基本画像が出力されるタイミングの間隔とのギャップを小さくすることができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、後の単位期間Ｕ（ｎ＋１）において出力する基本画像の確定出力枚数ＤＣ（ｎ＋１）を制限する際に、前の単位期間Ｕ（ｎ）から離れた基本出力タイミングの基本画像を優先して設定する。

このような構成により、基本画像を適切に選択し、選択した基本画像を後の単位期間Ｕ（ｎ＋１）において出力することができる。

また、たとえば番組の情報の伝送経路において遅延が発生したことにより前の単位期間Ｕ（ｎ）に出力すべき基本画像が後の単位期間Ｕ（ｎ＋１）に出力され得る状態において、当該基本画像に対して調整出力タイミングを設定してしまうことを避けることができる。

これにより、基本出力タイミングに対してより遅れたタイミングで基本画像を出力してしまうことを防ぐことができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、連続する２つの単位期間Ｕ（ｋ），Ｕ（ｋ＋１）において、前の単位期間Ｕ（ｋ）において出力可能な基本画像の暫定出力枚数ＴＣ（ｋ）から後の単位期間Ｕ（ｋ＋１）において出力可能な基本画像の暫定出力枚数ＴＣ（ｋ＋１）を差し引いた値が所定のしきい値より大きい場合、前の単位期間Ｕ（ｋ）において出力する基本画像の確定出力枚数ＤＣ（ｋ）を制限し、制限した確定出力枚数ＤＣ（ｋ）の基本画像の調整出力タイミングを設定する。

このような構成により、連続する２つの単位期間Ｕ（ｋ），Ｕ（ｋ＋１）において、前の単位期間Ｕ（ｋ）に出力する基本画像の確定出力枚数ＤＣ（ｋ）と後の単位期間Ｕ（ｋ＋１）に出力する確定出力枚数ＤＣ（ｋ＋１）との差を小さくすることができる。

これにより、前の単位期間Ｕ（ｋ）において基本画像が出力されるタイミングの間隔と後の単位期間Ｕ（ｋ＋１）において基本画像が出力されるタイミングの間隔とのギャップを小さくすることができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、前の単位期間Ｕ（ｋ）において出力する基本画像の確定出力枚数ＤＣ（ｋ）を制限する際に、後の単位期間Ｕ（ｋ＋１）から離れた基本出力タイミングの基本画像を優先して設定する。

このような構成により、基本画像を適切に選択し、選択した基本画像を前の単位期間Ｕ（ｋ）において出力することができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、調整出力タイミングが設定されなかった基本画像の調整出力タイミングを、後の単位期間Ｕ（ｋ＋１）におけるタイミングに設定する。

このような構成により、連続する２つの単位期間Ｕ（ｋ），Ｕ（ｋ＋１）において、前の単位期間Ｕ（ｋ）に出力する基本画像の確定出力枚数ＤＣ（ｋ）と後の単位期間Ｕ（ｋ＋１）に出力する確定出力枚数ＤＣ（ｋ＋１）との差をより小さくすることができる。

これにより、前の単位期間Ｕ（ｋ）において基本画像が出力されるタイミングの間隔と後の単位期間Ｕ（ｋ＋１）において基本画像が出力されるタイミングの間隔とのギャップをより小さくすることができる。

また、調整出力タイミングが設定されなかった基本画像が後の単位期間Ｕ（ｋ＋１）において出力されるので、基本画像の欠落を抑制することができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、単位期間Ｕ（ｊ）において出力可能な基本画像の暫定出力枚数ＴＣ（ｊ）が所定のしきい値より大きい場合、単位期間Ｕ（ｊ）において出力する基本画像の確定出力枚数ＤＣ（ｊ）を制限し、制限した枚数の基本画像の調整出力タイミングを設定する。

このような構成により、各単位期間Ｕ（ｊ）において出力される基本画像の確定出力枚数ＤＣ（ｊ）のばらつきを簡易に抑制することができる。

また、本発明の実施の形態に係る画像出力装置では、バッファ監視部３０は、バッファ２４における基本画像の量および基本画像の基本出力タイミングの少なくとも一方についての所定条件が満たされるか否かを判断する。そして、スケジューリング部３１は、バッファ監視部３０によって所定条件が満たされると判断された場合、早送り再生処理および早戻し再生処理の少なくとも一方において、ＰＴＳの示す出力タイミングを用いて基本画像を選択的に出力する場合の基本画像の出力タイミングである基本出力タイミング、を基本画像の調整出力タイミングとして設定する。

このような構成により、バッファ２４の状況に応じて、基本画像の出力タイミングを調整出力タイミングおよび基本出力タイミング間で適切に切り替えることができる。

また、本発明の実施の形態に係る画像出力装置では、バッファ監視部３０は、バッファ２４に蓄積された基本画像の量が所定値以下となる場合、所定条件を満たすと判断する。

このような構成により、バッファ２４における基本画像の蓄積量が十分でないため調整出力タイミングの設定を適切に行うことが困難である可能性が高い場合に、基本出力タイミングに従って基本画像を出力することができる。

また、たとえば早送り再生処理および早戻し再生処理の開始において、バッファに基本画像が蓄積されるまで待つことなく基本画像を出力することができる。

これにより、ユーザが早送り再生処理または早戻し再生処理の開始操作を行ってから再生処理または早戻し再生処理を視聴するまでの待機時間を短縮することができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、時間軸上で連続する複数の単位期間Ｕｂ，Ｕｔ，Ｕｎを設定し、バッファ監視部３０は、所定タイミングにおいて、対象の単位期間Ｕｔの次の単位期間Ｕｎにおいて出力すべき基本画像がバッファ２４に蓄積されていない場合、所定条件を満たすと判断する。

このような構成により、対象の単位期間Ｕｔにおける調整出力タイミングの設定を適切に行うことが困難である可能性が高い場合に、基本出力タイミングに従って基本画像を出力することができる。

また、たとえば早送り再生処理および早戻し再生処理の開始において、バッファに基本画像が蓄積されるまで待つことなく、基本画像を出力することができる。

これにより、ユーザが早送り再生処理または早戻し再生処理の開始操作を行ってから再生処理または早戻し再生処理を視聴するまでの待機時間を短縮することができる。

また、本発明の実施の形態に係る画像出力装置では、スケジューリング部３１は、早送り再生処理または早戻し再生処理の再生速度が変更され、かつ変更後の再生速度の大きさが変更前の再生速度より大きい場合、バッファ２４における基本画像のうち、変更後において出力すべき基本画像をバッファ２４から選別し、選別した基本画像の調整出力タイミングを設定する。

このような構成により、変更前においてバッファ２４に蓄積された基本画像を変更後に出力することができるので、バッファ２４に基本画像が蓄積される速度に関わらず、再生速度が変更されたタイミングから早送り再生処理または早戻し再生処理が開始されるまでの遅延時間を短縮することができる。

これにより、早送り再生処理または早戻し再生処理において、再生速度の変更処理をスムーズに行うことができる。

また、本発明の実施の形態に係る画像出力装置では、基本画像はＩフレーム（Intra-coded Frame）であり、関連画像はＰフレーム（Predicted Frame）またはＢフレーム（Bi-directional Predicted Frame）である。

このような構成により、ＭＰＥＧ２の方式またはＨ．２６４／ＡＶＣの方式において、早送り再生処理または早戻し再生処理を適切に行うことができる。

なお、本発明の実施の形態に係る画像出力装置は、ＭＰＥＧ２−ＴＳ規格に従うストリームの処理を行なう構成であるとしたが、これに限定するものではない。他の規格に従うストリームの処理を行なう構成であってもよい。

また、本発明の実施の形態に係る画像出力装置は、早送り再生処理および早戻し再生処理を行なう構成であるとしたが、これに限定するものではない。画像出力装置は、早送り再生処理または早戻し再生処理のいずれかを行う構成であってもよい。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 番組配信システム
１１ ネットワーク
２１ 通信部
２２ 制御部（画像データ取得部）
２３ 指示受付部
２４ バッファ
２５ 記憶部
２６ マップ作成部
２７ トリック再生処理部
２８ 通常再生処理部
２９ 画像データ出力部（出力処理部）
３０ バッファ監視部
３１ スケジューリング部
３２ Ｉフレーム転送部
４０ 基本出力タイミング算出部
４１ 単位期間設定部
４２ 枚数カウント部
４３ 枚数設定部
４４ 調整出力タイミング設定部
４５ Ｉフレーム選別部
１０１ 画像出力装置
１５１ 表示装置
２０１ 配信装置

Claims (14)

1. 基本画像、および前記基本画像を参照することにより作成される関連画像を出力するための画像出力装置であって、
   前記基本画像と、前記関連画像と、前記基本画像および前記関連画像を出力すべき出力タイミングを示すタイミング情報とを取得するための画像データ取得部と、
   前記タイミング情報の示す前記出力タイミングに従って前記基本画像および前記関連画像を出力するための出力処理部と、
   早送り再生処理および早戻し再生処理の少なくとも一方において、前記タイミング情報の示す前記出力タイミングを用いて前記基本画像を選択的に出力する場合と比べて、出力される前記基本画像間の間隔のばらつきが少なくなるような前記基本画像の出力タイミングである調整出力タイミングを設定するためのスケジューリング部とを備え、
   前記出力処理部は、早送り再生処理および早戻し再生処理の少なくとも一方において、前記調整出力タイミングに従って前記基本画像を選択的に出力し、
   前記スケジューリング部は、早送り再生処理および早戻し再生処理の少なくとも一方において、時間軸上で連続する複数の単位期間を設定し、前記単位期間において出力可能な複数の前記基本画像の前記調整出力タイミングを等間隔に設定する、画像出力装置。
2. 前記スケジューリング部は、連続する２つの前記単位期間において、後の前記単位期間において出力可能な前記基本画像の枚数から前の前記単位期間において出力可能または出力する前記基本画像の枚数を差し引いた値が所定のしきい値より大きい場合、前記後の単位期間において出力する前記基本画像の枚数を制限し、制限した枚数の前記基本画像の前記調整出力タイミングを設定する、請求項１に記載の画像出力装置。
3. 前記スケジューリング部は、前記後の単位期間において出力する前記基本画像の枚数を制限する際に、前記前の単位期間から離れた基本出力タイミングの前記基本画像を優先して設定し、
   前記基本出力タイミングは、前記タイミング情報の示す前記出力タイミングを用いて前記基本画像を選択的に出力する場合の前記基本画像の出力タイミングである、請求項２に記載の画像出力装置。
4. 前記スケジューリング部は、連続する２つの前記単位期間において、前の前記単位期間において出力可能な前記基本画像の枚数から後の前記単位期間において出力可能な前記基本画像の枚数を差し引いた値が所定のしきい値より大きい場合、前記前の単位期間において出力する前記基本画像の枚数を制限し、制限した枚数の前記基本画像の前記調整出力タイミングを設定する、請求項１に記載の画像出力装置。
5. 前記スケジューリング部は、前記前の単位期間において出力する前記基本画像の枚数を制限する際に、前記後の単位期間から離れた基本出力タイミングの前記基本画像を優先して設定し、
   前記基本出力タイミングは、前記タイミング情報の示す前記出力タイミングを用いて前記基本画像を選択的に出力する場合の前記基本画像の出力タイミングである、請求項４に記載の画像出力装置。
6. 前記スケジューリング部は、前記調整出力タイミングが設定されなかった前記基本画像の前記調整出力タイミングを、前記後の単位期間におけるタイミングに設定する、請求項５に記載の画像出力装置。
7. 前記スケジューリング部は、前記単位期間において出力可能な前記基本画像の枚数が所定のしきい値より大きい場合、前記単位期間において出力する前記基本画像の枚数を制限し、制限した枚数の前記基本画像の前記調整出力タイミングを設定する、請求項１から請求項６のいずれか１項に記載の画像出力装置。
8. 前記画像出力装置は、さらに、
   前記基本画像を蓄積するためのバッファにおける前記基本画像の量および前記基本画像の基本出力タイミングの少なくとも一方についての所定条件が満たされるか否かを判断するためのバッファ監視部を備え、
   前記スケジューリング部は、前記バッファ監視部によって前記所定条件が満たされると判断された場合、早送り再生処理および早戻し再生処理の少なくとも一方において、基本出力タイミングを前記基本画像の前記調整出力タイミングとして設定し、
   前記基本出力タイミングは、前記タイミング情報の示す前記出力タイミングを用いて前記基本画像を選択的に出力する場合の前記基本画像の出力タイミングである、請求項１から請求項７のいずれか１項に記載の画像出力装置。
9. 前記バッファ監視部は、前記バッファに蓄積された前記基本画像の量が所定値以下となる場合、前記所定条件を満たすと判断する、請求項８に記載の画像出力装置。
10. 前記バッファ監視部は、所定タイミングにおいて、対象の前記単位期間の次の前記単位期間において出力すべき前記基本画像が前記バッファに蓄積されていない場合、前記所定条件を満たすと判断する、請求項８に記載の画像出力装置。
11. 前記スケジューリング部は、早送り再生処理または早戻し再生処理の再生速度が変更され、かつ変更後の前記再生速度の大きさが変更前の前記再生速度より大きい場合、前記基本画像を蓄積するためのバッファにおける前記基本画像のうち、前記変更後において出力すべき前記基本画像を前記バッファから選別し、選別した前記基本画像の前記調整出力タイミングを設定する、請求項１から請求項１０のいずれか１項に記載の画像出力装置。
12. 前記基本画像はＩフレーム（Intra-coded Frame）であり、前記関連画像はＰフレーム（Predicted Frame）またはＢフレーム（Bi-directional Predicted Frame）である、請求項１から請求項１１のいずれか１項に記載の画像出力装置。
13. 基本画像、および前記基本画像を参照することにより作成される関連画像を出力するための画像出力装置における画像出力方法であって、
    前記基本画像と、前記関連画像と、前記基本画像および前記関連画像を出力すべき出力タイミングを示すタイミング情報とを取得するステップと、
    前記タイミング情報の示す前記出力タイミングに従って前記基本画像および前記関連画像を出力するステップと、
    早送り再生処理および早戻し再生処理の少なくとも一方において、前記タイミング情報の示す前記出力タイミングを用いて前記基本画像を選択的に出力する場合と比べて、出力される前記基本画像間の間隔のばらつきが少なくなるような前記基本画像の出力タイミングである調整出力タイミングを設定するステップと、
    早送り再生処理および早戻し再生処理の少なくとも一方において、前記調整出力タイミングに従って前記基本画像を選択的に出力するステップとを含み、
    前記調整出力タイミングを設定するステップにおいては、早送り再生処理および早戻し再生処理の少なくとも一方において、時間軸上で連続する複数の単位期間を設定し、前記単位期間において出力可能な複数の前記基本画像の前記調整出力タイミングを等間隔に設定する、画像出力方法。
14. 基本画像、および前記基本画像を参照することにより作成される関連画像を出力するための画像出力装置において用いられる画像出力プログラムであって、
    コンピュータに、
    前記基本画像と、前記関連画像と、前記基本画像および前記関連画像を出力すべき出力タイミングを示すタイミング情報とを取得するステップと、
    前記タイミング情報の示す前記出力タイミングに従って前記基本画像および前記関連画像を出力するステップと、
    早送り再生処理および早戻し再生処理の少なくとも一方において、前記タイミング情報の示す前記出力タイミングを用いて前記基本画像を選択的に出力する場合と比べて、出力される前記基本画像間の間隔のばらつきが少なくなるような前記基本画像の出力タイミングである調整出力タイミングを設定するステップと、
    早送り再生処理および早戻し再生処理の少なくとも一方において、前記調整出力タイミングに従って前記基本画像を選択的に出力するステップとを実行させるためのプログラムであり、
    前記調整出力タイミングを設定するステップにおいては、早送り再生処理および早戻し再生処理の少なくとも一方において、時間軸上で連続する複数の単位期間を設定し、前記単位期間において出力可能な複数の前記基本画像の前記調整出力タイミングを等間隔に設定する、画像出力プログラム。
    
    

Images