JP4682159B2 - ストリーム再生装置 - Google Patents

Description

この発明は、記録媒体に記録されたビデオデータとオーディオデータを含むマルチメディアデータストリームを再生する機能を備えたストリーム再生装置に関する。

近年、ウエブや放送局からビデオデータとオーディオデータを含むマルチメディアデータストリームを受信して記録し、この記録されたマルチメディアデータストリームを読み出して再生する機能を備えた端末が増えている。例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末には、地上波ディジタル放送受信機を備え、この受信機により同放送の１セグメント放送を受信してそのデータストリームを記録し再生する機能を備えた端末がある。この種の端末では、記録されたデータストリームを再生する場合、復号したＰＥＳ（Packetized Elementary Stream）のヘッダからＰＴＳ（Presentation Time Stamp）を検出し、このＰＴＳを自端末のＳＴＣ（System Time Clock）カウンタの時刻と比較し、一致したタイミングで復号したビデオデータ及びオーディオデータのフレームをそれぞれ表示デバイス及びスピーカへ出力する。

しかし、記録されたデータストリームを任意のＩＤＲ（ITUT H.264における同期フレーム）から再生する場合、ＳＴＣカウンタには対象ＩＤＲの先頭ＴＳ（Transport Stream）パケットより後の最初に出現するＰＣＲ（Program Clock Reference）が設定されることがある。この場合、ＰＣＲが上記ＩＤＲのＰＴＳよりも時間的に新しかったとすると、当該ＰＴＳは既に過去のものになるため、当該ＩＤＲの再生が行われないことになる。すなわち、記録されたデータストリームの、ユーザが希望するフレーム位置から再生が行われない。

一方、記録されたマルチメディアデータストリームの再生方法の一つとして、ＴＳパケットごとにパケット受信時刻を付加して記録し、再生の際にはその先頭となるＴＳパケットの到着時間をＳＴＣとして設定する手法が提案されている（例えば、特許文献１を参照。）。
特開２００２−１５５２７号公報

ところが、前記特許文献に記載された手法では、ＴＳパケットごとにその受信時刻を記録する必要があり、またこの受信時刻の記録情報がなければデータストリームを再生することができない。

この発明は上記事情に着目してなされたもので、その目的とするところは、パケットの受信時刻を記録することなく先頭フレームから確実に再生することを可能にしたストリーム再生装置を提供することにある。

上記目的を達成するためにこの発明の一観点は、複数種のメディアデータがパケット多重され、この多重化された複数のパケットのうち同期フレームを含むパケットに当該同期フレームの再生時刻を指定するタイムスタンプ情報が挿入されると共に、上記複数のパケットに一定の周期でメディア間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを、記憶媒体から読み出して再生するストリーム再生装置において、
上記記憶媒体に記憶されたマルチメディアデータストリームを、任意に指定された再生開始位置に対応するパケットから読み出す手段と、上記再生開始位置から読み出された複数のパケットから、最初に出現するプログラム時刻基準参照値を検出する手段と、上記再生開始位置から読み出された複数のパケットのうち同期フレームを含むパケットから、上記タイムスタンプ情報を検出する手段と、上記検出されたプログラム時刻基準参照値と上記検出されたタイムスタンプ情報とを比較してその前後関係を判定する手段と、上記前後関係の判定結果に基づき、上記検出されたプログラム時刻基準参照値と、上記検出されたタイムスタンプ情報と、上記プログラム時刻基準参照値が挿入される周期と、上記タイムスタンプ情報と上記プログラム時刻基準参照値との間の初期遅延時間とを選択的に用いて、上記タイムスタンプ情報より時間的に先行する先行プログラム時刻基準参照値を算出する算出手段と、上記算出された先行プログラム時刻基準参照値を含むパケットを生成し、この生成されたパケットを上記再生開始位置から読み出された最初のパケットの前方に配置する手段とを具備することを特徴とするものである。

したがって、記録されたマルチメディアデータストリームを任意の同期フレームから再生する場合に、プログラム時刻基準参照値とタイムスタンプ情報との前後関係に応じて先行するプログラム時刻基準参照値が算出され、この先行するプログラム時刻基準参照値を挿入したパケットが上記の同期フレームを含むパケットの時間的前方に配置される。このため、上記検出されたプログラム時刻基準参照値が上記検出されたタイムスタンプ情報よりも時間的に古い場合は勿論のこと、上記検出されたプログラム時刻基準参照値が上記検出されたタイムスタンプ情報よりも時間的に新しく当該タイムスタンプ情報が過去のものとなる場合でも、上記先行するプログラム時刻基準参照値を挿入したパケットにより上記任意の同期フレームから再生を開始することが可能となる。また、受信したストリームを記憶媒体に記憶する際にパケットごとにその受信時刻を記録する必要がなく、また受信時刻が記憶されていないストリームであっても任意の位置から確実に復号再生することができる。
すなわち、パケットの受信時刻を記録することなく先頭フレームから確実に再生することを可能にしたストリーム再生装置を提供することができる。

以下、図面を参照してこの発明の実施形態を説明する。
この発明に係わるストリーム再生装置の一実施形態は、地上ディジタル放送の１セグメント放送（以下、ワンセグ放送と呼ぶ）を受信してその受信データストリームを記憶し、この記憶された受信データストリームを読み出して再生する機能を備えた携帯端末である。

地上ディジタル放送のワンセグ放送では、ビデオデータはITUT H.264方式により符号化され、オーディオデータはMPEG2 AAC（Moving Picture Coding Experts Group-2 Adaptive Audio Coding）方式で符号化される。この符号化されたビデオデータ及びオーディオデータはMPEG-2 SystemsのＴＳ（Transport Stream）パケットに格納されて、送信される。ＴＳパケットのヘッダにはＰＩＤ（Packet Indentifer）、ＥＩ（tranport_error_indicator）などが挿入される。受信端末は、ヘッダ内のＰＩＤから当該ＴＳパケットのペイロード部のデータ（ＥＳ；Elementary Stream）のメディアを認識し、分離処理を行う。またISDB-T（Integrated Services Digital Broadcasting-errestrial）では、ＴＳパケットの後段にＲＳ（Redundant Slice）符号が付加されるため、ＲＳ符号による誤り訂正の結果をＥＩに反映させることで、受信端末は当該ＴＳパケット内のエラーの有無を判定することができる。

またＴＳパケットには、一定の間隔（１００msec）で、メディア間の同期をとるためのＰＣＲ（Program Clock Reference）と呼ばれるプログラム時刻基準参照値が挿入される。受信端末は、ＰＣＲが挿入されたＴＳパケットを受信すると、ＳＴＣ（System Time Clock）カウンタの時刻値をこのＰＣＲの値に同期させる。そして、上記分離されたメディアごとのＥＳを復号し、ＰＥＳヘッダ内のＰＴＳ（Presentation Time Stamp）と上記ＳＴＣカウンタの時刻値とを比較し、一致したタイミングで復号されたビデオデータ及びオーディオデータのフレームをそれぞれ表示デバイス及びスピーカへ出力する。

図１は、この発明に係わるストリーム再生装置の一実施形態である携帯端末の構成を示すブロック図である。
この携帯端末は、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、記憶ユニット４と、ディジタル放送受信ユニット５と、電源ユニット６とから構成される。

同図において、先ず通話モードが設定されている状態では、ユーザインタフェースユニット３のマイクロホン３２から出力されたユーザの送話音声信号がベースバンドユニット２のエンコーダ２３に入力される。また、カメラ（ＣＡＭ）３１から出力されたビデオ信号もエンコーダ２３に入力される。エンコーダ２３は、オーディオ符号化部と、ビデオ符号化部と、パケット多重部を備える。オーディオ符号化部は、上記送話音声信号をCELP（Code Excited Liner Predictive coding）所定の符号化方式で符号化する。ビデオ符号化部２３は、上記ビデオ信号を例えばMPEG-4（Moving Picture Coding Experts Group-4）方式に従い符号化する。パケット多重部は、上記符号化されたオーディオデータ及び符号化されたビデオデータをそれぞれパケット化したのち、MPEGのシステム規格で規定される多重化フォーマットに従い多重化する。このパケット多重部から出力された送信マルチメディアデータは、制御モジュール２１においてさらに宛先情報などの種々の制御情報が多重化されたのち、無線ユニット１の送信回路（ＴＸ）１５に供給される。

送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式やＱＡＭ（Quadrature Amplitude Modulation）方式等のディジタル変調方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この変調された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。

これに対し、基地局から無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば直交復調方式と、拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御モジュール２１から指示される。

上記復調器から出力された受信パケットデータはベースバンドユニット２に入力される。そして、このベースバンドユニット２内において、制御モジュール２１を介してデコーダ２２に入力される。デコーダ２２は、パケット分離部と、オーディオ再生部と、ビデオ再生部とを備える。上記受信パケットデータはパケット分離部によりオーディオパケットとビデオパケットとに分離される。そして、オーディオパケットはオーディオ再生部に、またビデオパケットはビデオ再生部にそれぞれ入力される。オーディオ再生部は、入力されたオーディオパケットをデパケットしたのちオーディオデータに復号する。この復号されたオーディオフレームは、アナログ信号に変換されたのちユーザインタフェースユニット３のスピーカ３５から受話音声として拡声出力される。ビデオ再生部は、入力されたビデオパケットをデパケットしたのち、例えばＭＰＥＧ４方式に従いビデオフレームに復号する。この復号されたビデオフレームはユーザインタフェースユニット３の表示デバイス３４に表示される。表示デバイス３４は、例えばＬＣＤ（Liquid Crystal Display）３３からなる。

一方、ディジタル放送視聴モードが設定されている状態において、図示しない放送局から送信された放送信号は、アンテナ５１を介してディジタル放送受信ユニット５で受信復調される。そして、上記受信復調された受信放送データは、ベースバンドユニット２の制御モジュール２１を介してデコーダ２２に入力される。デコーダ２２は、上記入力された受信放送データをパケット分離部でオーディオパケットとビデオパケットに分離する。そして、オーディオパケットをオーディオ再生部でデパケットしたのちオーディオフレームに復号する。また、ビデオパケットをビデオ再生部でデパケットしたのちビデオフレームに復号する。

例えば、地上波ディジタル放送のワンセグ放送では、先に述べたようにオーディオデータはMPEG2 AAC方式で符号化され、ビデオデータはITUT H.264方式で符号化されている。この場合、上記オーディオ再生部及びビデオ再生部はそれぞれ、上記オーディオパケット及びビデオパケットをこれらの符号化方式に対応する復号方式により復号する。上記復号されたオーディオ信号はユーザインタフェースユニット３のスピーカ３５から拡声出力され、ビデオ信号は表示デバイス３４に表示される。

また、ディジタル放送録画モードが設定されている場合には、ディジタル放送受信ユニット５で受信復調されたディジタル放送データは、制御モジュール２１の制御の下で記憶ユニット４に記憶される。記憶ユニット４は、記録媒体として例えばＮＡＮＤ型フラッシュメモリ又はハードディスクを使用する。なお、記憶ユニット４には、送受信メールやウエブサイトからダウンロードされコンテンツデータ、電話帳データ、発着信履歴及び各種管理用データも記憶される。

なお、電源ユニット６には、リチウムイオン電池等のバッテリ６１と、このバッテリ６１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路６２と、電圧生成回路（ＰＳ）６３とが設けられている。電圧生成回路６３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ６１の出力電圧をもとに所定の電源電圧Ｖccを生成する。

ところで、上記制御モジュール２１及びデコーダ２２は、上記記憶ユニット４に記憶されたディジタル放送データを再生するために必要な機能として、次のような機能を備えている。図２はその機能構成を示すブロック図である。
すなわち、制御モジュール２１はＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなる内部メモリとを備えたもので、上記放送データの再生を制御する機能とて、再生制御部２１１と、エラー状況検出部２１２と、ＰＣＲ検出部２１３と、ＰＴＳ検出部２１４と、ＰＣＲ算出部２１５と、ＰＣＲパケット生成部２１６と、パケット転送部２１７とを備えている。これらの機能はいずれもアプリケーション・プログラムを上記ＣＰＵに実行させることにより実現される。

再生制御部２１１は、再生対象のＴＳパケットの転送を制御するもので、再生時にその先頭フレームを含むＴＳパケットについてはＰＴＳ検出部２１４に入力し、上記再生先頭フレームに続く各フレームで最初に出現するＰＣＲを含むＴＳパケットはＰＣＲ検出部２１３に入力する。エラー状況検出部２１２は、ＴＳパケット内のＥＩをもとにＴＳパケット内のエラーの有無を検出し、このエラーの有無の検出結果をＰＣＲ算出部２１５に入力する。ＰＣＲ検出部２１３は、入力されたＴＳパケットのアダプテーション・フィールド（Adaptation Field）からＰＣＲを検出し、この検出されたＰＣＲをＰＣＲ算出部２１５に入力する。ＰＴＳ検出部２１４は、ＴＳパケットのＰＥＳヘッダからＰＴＳを検出し、この検出したＰＴＳをＰＣＲ算出部２１５に入力する。

ＰＣＲ算出部２１５は、ＰＣＲとＰＴＳとの前後関係とこれらＰＣＲ及びＰＴＳのエラーの有無に基づいて初期ＰＣＲ０を算出し、この算出された初期ＰＣＲ０をＰＣＲパケット生成部２１６に入力する。上記初期ＰＣＲ０の算出にあたりＰＣＲ算出部２０５は、先ずＰＣＲとＰＴＳとを比較する。そして、ＰＴＳがＰＣＲより未来ならば、つまり時間的に新しければ、ＰＣＲからＰＣＲ周期分だけ減算してＰＣＲ０を算出する。また、ＰＴＳがＰＣＲより過去ならば、つまり時間的に旧ければ、ＰＴＳから初期遅延時間分だけ減算してＰＣＲ０を算出する。初期遅延時間はＰＴＳとＰＣＲとの差分を示す固定値であり、ARIB TR14で記載されている推奨値１．５sec、或いはITUT H.264で定義されたＳＥＩ（Supplemental Enhancement Information）中に含まれるinitial_cpb_removal_delayのような符号化情報に示される値が用いられる。

またＰＣＲ算出部２１５は、ＰＴＳが挿入されたＴＳパケットのエラーの有無の検出結果が「エラー有」ならば、ＰＣＲからＰＣＲ周期分だけ減算してＰＣＲ０を算出する。さらに、ＰＣＲ検出部２１３からＰＣＲが入力されることなく、再生制御部２１１から全てのＴＳパケットの読み込みが終了したことが通知されると、ＰＴＳから初期遅延時間分だけ減算したＰＣＲ０を作成する。

ＰＣＲパケット生成部２１６は、上記ＰＣＲ算出部２１５により算出された初期ＰＣＲ０を持つＴＳパケットを生成し、パケット転送部２１７に入力する。パケット転送部２１７は、上記生成されたＰＣＲパケットを再生制御部２１１から転送される記録ストリームの前段に付加して、後述するパケット分離部２１８に転送する。

一方、デコーダ２２はＤＳＰ（Digital Signal Processor）からなり、パケット分離部２２１と、ビデオ再生部２２２と、オーディオ再生部２２３と、ＳＴＣ再生部２２４とを備えている。なお、これらの機能は前述した通話モードにおける受信パケットデータの復号処理、及びディジタル放送視聴モードにおける受信放送データの復号処理を行う機能と共用される。

パケット分離部２２１は、上記パケット転送部２１７から転送された記録ストリームをビデオのＴＳパケットとオーディオのＴＳパケットに分離し、これらのＴＳパケットをそれぞれビデオ再生部２２２及びオーディオ再生部２２３に入力する。また、上記ＴＳパケットのＰＣＲをＳＴＣ再生部２２４に供給する。ＳＴＣ再生部２２４は、上記パケット分離部２２１から供給されたＰＣＲをもとにＳＴＣの時刻をＰＣＲの値に同期させる。ビデオ再生部２２２は、上記パケット分離部２２１から供給されたビデオのＴＳパケットをデパケットしたのちビデオフレームに復号する。そして、この復号ビデオフレームのＰＴＳを上記ＳＴＣ再生部２２４が生成したＳＴＣと比較し、一致したタイミングで表示デバイス３４へ出力する。オーディオ再生部２２３は、上記パケット分離部２２１から供給されたオーディオＴＳパケットをデパケットしたのちオーディオフレームに復号する。そして、この復号されたオーディオフレームのＰＴＳを上記ＳＴＣ再生部２２４により生成されたＳＴＣと比較し、一致したタイミングでスピーカ３５へ出力する。

次に、以上のように構成された携帯端末における記録ストリームの再生動作を説明する。図３は、上記制御モジュール２１による記録ストリームの再生制御手順と内容を示すフローチャートである。
なお、ここでは例えば図３に示すように記録ストリームＳＡが記憶ユニット４に記憶されており、この記憶ストリームＳＡ中のＴ０がユーザにより頭出し再生始点として指定された場合を例にとって説明する。

再生制御部２１１は、先ずステップＳ１０において記憶ユニット４をアクセスし、上記指定された頭出し再生始点Ｔ０に対応するＴＳパケットを読み込む。続いて再生制御部２１１は、ＴＳパケットを読み込むことができたかどうかをステップＳ１１で判定し、ＴＳパケットを読み込むことができた場合には当該ＴＳパケットが同期フレームか否かをステップＳ１２で判定する。この判定の結果、上記読み込んだＴＳパケットが同期フレームだったとすると、再生制御部２１１は当該ＴＳパケットを先頭同期フレームとしてＰＴＳ検出部２１４に転送する。ＰＴＳ検出部２１４は、ステップＳ１３により、上記転送されたＴＳパケットからＰＴＳを抽出して、この抽出したＰＴＳをＰＴＳ１として保存する。また再生制御部２１１は、エラー状況検出部２１２に上記ＴＳパケットを転送する。エラー状況検出部２１２は、ステップＳ１４により、上記転送されたＴＳパケットからＥＩを抽出して、この抽出されたＥＩをエラー状況を表す情報ＥＩ＿ＰＴＳ１として保存する。

一方、上記ステップＳ１２による判定の結果、上記読み込んだＴＳパケットが先頭同期フレーム以外のＴＳパケットだったとする。この場合再生制御部２１１は、上記読み込んだＴＳパケットのＰＩＤが、ＰＣＲが挿入されたＴＳパケットのＰＩＤであるか否かをステップＳ１５で判定し、ＰＣＲが挿入されたＴＳパケットのＰＩＤでなければステップＳ１０によるＴＳパケットの読み込み処理に戻る。

これに対しステップＳ１５により判定の結果、上記読み込んだＴＳパケットのＰＩＤが、ＰＣＲが挿入されたＴＳパケットのＰＩＤだったとする。この場合再生制御部２１１は、上記読み込んだＴＳパケットをＰＣＲ検出部２１３に転送する。ＰＣＲ検出部２１３は、ステップＳ１６において、上記読み込んだＴＳパケットからＰＣＲを抽出すると共に、その値をＰＣＲ１として保存する。また、再生制御部２１１は、上記読み込んだＴＳパケットをエラー状況検出部２１２に転送する。エラー状況検出部２１２は、上記転送されたＴＳパケットからＥＩを抽出して、この抽出されたＥＩをもとにエラーの有無をステップＳ１７で判定する。この判定の結果、上記ＰＣＲを含むＴＳパケットのエラー状況が「エラー有」ならば、再生制御部２１１はステップＳ１０に戻って次のＴＳパケットの読み込み処理を行う。

これに対し「エラー無し」だったとする。この場合ＰＣＲ算出部２１５は、挿入すべきＰＣＲ０の算出処理を以下のように開始する。すなわち、先ずステップＳ１４にて保存したＥＩ＿ＰＴＳ１のエラー状況からエラーの有無をステップＳ１８で判定する。この判定の結果、ＥＩ＿ＰＴＳ１のエラー状況が「エラー無し」だったとする。この場合ＰＣＲパケット算出部２１５は、ステップＳ１９に移行してＰＣＲ１とＰＴＳ１とを比較し、ＰＣＲ１＜ＰＴＳ１ならば、つまりＰＴＳ１がＰＣＲ１より時間的に後（未来）ならば、ステップＳ２０に移行してＰＣＲ１からＰＣＲ周期を減算した値をＰＣＲ０とし、ＰＣＲパケット生成部２１６に転送する。図５にこのときの受信時刻とＰＣＲ／ＰＴＳ値との関係を示す。

これに対し上記ステップステップＳ１８による判定の結果、「エラー有」だったとする。この場合ＰＣＲ算出部２１５は、ステップＳ２０に移行してＰＣＲ１からＰＣＲ間隔を減算した値をＰＣＲ０とし、この値をＰＣＲパケット生成部２１６に転送する。図７にこのときの受信時刻とＰＣＲ／ＰＴＳ値との関係を示す。

一方、上記ステップＳ１９により判定の結果、ＰＣＲ１＞＝ＰＴＳ１ならば、つまりＰＴＳ１がＰＣＲ１以前（過去）だったならば、ＰＣＲパケット算出部２１５はステップＳ２１に移行してＰＴＳ１から初期遅延量だけ減算した値をＰＣＲ０とし、この値をＰＣＲパケット生成部２１６に転送する。図６にこのときの受信時刻とＰＣＲ／ＰＴＳ値との関係を示す。

なお、上記ステップＳ１８によるＥＩ＿ＰＴＳ１のエラー状況の判定が行われない状態のまま、すべてのＴＳパケットの読み込みが終了したことがステップＳ１１で検出されると、ＰＣＲ算出部２１５はステップＳ２１に移行して、ＰＴＳ１から初期遅延時間を減算した値をＰＣＲ０とする。そして、この値ＰＣＲ０をＰＣＲパケット生成部２１６に転送する。図８にこのときの受信時刻とＰＣＲ／ＰＴＳ値との関係を示す。

なお、上記初期遅延時間としては、システムで予め決められた推奨値（例えば１．５sec）を用いてもよいし、またITUT H.264で定義されたＳＥＩ（Supplemental Enhancement Information）中に含まれるinitial_cpb_removal_delayのような符号化情報の値を用いてもよい。

以上のようにＰＣＲ算出部２１５から算出されたＰＣＲ０が転送されると、ＰＣＲパケット生成部２１６はステップＳ２２において、上記転送されたＰＣＲ０を含むＴＳパケットを図４のＰ１′のように生成する。そして、この生成されたＰＣＲ０を含むＴＳパケットＰ１′をパケット転送部２１７に入力する。パケット転送部２１７は、上記ＰＣＲパケット生成部２１６により生成されたＰＣＲ０を含むＴＳパケットＰ１′を再生制御部２１１から転送されるＴＳパケットＰ４の前段にステップＳ２２により挿入し、ステップＳ２３によりデコーダ２２のパケット分離部２１８へ転送する。

デコーダ２２は、上記制御モジュール２２１から、図４のＳＣに示すようにＰＣＲ０を含むＴＳパケットＰ１′を先頭として、上記記憶ユニット４から読み出されたＴＳパケットＰ４，Ｐ５，Ｐ６，…が順次転送されると、先ずパケット分離部２２１によりこれらのＴＳパケットＰ１′，Ｐ４，Ｐ５，Ｐ６，…をビデオのＴＳパケットとオーディオのＴＳパケットに分離する。そして、ビデオのＴＳパケットを、ビデオ再生部２２２によりデパケットしたのちビデオフレームに復号する。またオーディオのＴＳパケットを、オーディオ再生部２２３によりデパケットしたのちオーディオフレームに復号する。

またそれと並行してデコーダ２２は、上記制御モジュール２２１から転送された、ＰＣＲ０を含むＴＳパケットＰ１′を先頭とするＴＳパケットのストリームをＳＴＣ再生部２２４に供給してそのＰＣＲの値をもとにＳＴＣの時刻をＰＣＲの値に同期させる。そして、上記復号されたビデオフレームのＰＴＳを上記ＳＴＣ再生部２２４が生成したＳＴＣと比較し、一致したタイミングで上記ビデオフレームを表示デバイス３４へ出力する。また、同様に上記復号されたオーディオフレームのＰＴＳを上記ＳＴＣ再生部２２４により生成されたＳＴＣと比較し、一致したタイミングで上記オーディオフレームをスピーカ３５へ出力する。かくして、表示デバイス３４ではビデオフレームが映像として表示され、またこのビデオフレームと時間的に対応するオーディオフレームがスピーカから音声として拡声出力される。

以上のようにこの実施形態では、記憶ユニット４に記憶された記録データストリームが、任意の頭出し再生始点Ｔ０に対応するＴＳパケットから読み出された場合に、制御モジュール２１において、先ずＰＣＲが挿入されたＴＳパケットを検出する。そして、ＰＣＲが挿入されたＴＳパケットが検出されると、当該ＰＣＲのエラーの有無を判定すると共に、先頭同期フレームに挿入されたＰＴＳのエラーの有無を判定する。またそれと共に、ＰＣＲにエラーがなければ当該ＰＣＲとＰＴＳとの前後関係を判定する。そして、このＰＣＲとＰＴＳとの前後関係と、上記ＰＴＳにおけるエラーの有無に基づいて、ＰＣＲの周期又はＰＣＲとＰＴＳとの間の初期遅延時間を選択的に使用して初期ＰＣＲ０を算出し、この初期ＰＣＲ０を含むＴＳパケットＰ１′を上記任意の頭出し再生始点Ｔ０に対応するＴＳパケットの前段に挿入して、デコーダ２２による復号再生処理に供するようにしている。

具体的には、
（１）ＰＣＲ及びＰＴＳともエラーが無く、かつＰＣＲ＜ＰＴＳの場合には、ＰＣＲからＰＣＲ周期分だけ減算して初期ＰＣＲ０を算出し、この初期ＰＣＲ０を挿入したＴＳパケットＰ１′を上記任意の頭出し再生始点Ｔ０のＴＳパケットの前段に挿入して復号再生処理に供する。

（２）ＰＣＲにはエラーがないが、ＰＴＳにエラーがある場合には、ＰＣＲからＰＣＲ周期分だけ減算して初期ＰＣＲ０を算出し、この初期ＰＣＲ０を挿入したＴＳパケットＰ１′を上記任意の頭出し再生始点Ｔ０のＴＳパケットの前段に挿入して復号再生処理に供する。

（３）ＰＣＲ及びＰＴＳともエラーは無いが、ＰＣＲ＞＝ＰＴＳの場合には、ＰＴＳから初期遅延時間分だけ減算して初期ＰＣＲ０を算出し、この初期ＰＣＲ０を挿入したＴＳパケットＰ１′を上記任意の頭出し再生始点Ｔ０のＴＳパケットの前段に挿入して復号再生処理に供する。

（４）記録ストリームの最後までＰＣＲが挿入されたＴＳパケットが検出されなかった場合には、ＰＴＳから初期遅延時間分だけ減算した初期ＰＣＲ０を作成し、この初期ＰＣＲ０を挿入したＴＳパケットＰ１′を上記任意の頭出し再生始点Ｔ０のＴＳパケットの前段に挿入して復号再生処理に供する。

したがってこの実施形態によれば、記録されたデータストリームを任意の同期フレームから再生する場合に、初期ＰＣＲ０が算出されてこの初期ＰＣＲ０を挿入したＴＳパケットＰ１′が上記任意の同期フレームを含むＴＳパケットの時間的前方に挿入され復号再生処理が行われる。このため、ＰＣＲが上記同期フレームのＰＴＳよりも時間的に古い場合は勿論のこと、ＰＣＲが上記同期フレームのＰＴＳよりも時間的に新しく当該ＰＴＳが過去のものになる場合でも、上記初期ＰＣＲ０を挿入したＴＳパケットＰ１′により上記任意の同期フレームから再生を開始することができる。すなわち、常に記録データストリーム中のユーザが希望するフレーム位置から再生を開始することが可能となる。

しかも、ＰＴＳ及びＰＣＲのエラーの有無を考慮して初期ＰＣＲ０が算出されるので、携帯端末において劣悪な無線環境の下で受信したマルチメディアデータストリームを記録ユニット４に記録した後再生する場合にも、より信頼性の高い復号再生処理を行うことが可能となる。
また、受信したストリームを記憶媒体に記憶する際にＴＳパケットごとにその受信時刻を記録する必要がなく、また受信時刻が記憶されていないストリームであっても任意の位置から確実に復号再生することができる利点がある。

なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではＰＣＲとＰＴＳとの前後関係ばかりでなく、ＰＣＲ及びＰＴＳのエラーの有無も考慮して初期ＰＣＲ０を算出するようにした。しかし、これに限定されるものではなく、ＰＣＲとＰＴＳとの前後関係のみに基づいて初期ＰＣＲ０を算出するようにしてもよい。

また前記実施形態では、携帯端末において、地上ディジタル放送のワンセグ放送により受信したマルチメディアデータストリームを記録再生する場合を例にとって説明した。しかし、それに限らず、携帯端末において、ウエブ上のコンテンツサーバ等から無線伝送路を介してマルチメディアデータストリームからなるコンテンツをダウンロードして記憶再生する場合にも、同様に適用可能である。

また、上記したように地上ディジタル放送のワンセグ放送により受信するか、又はコンテンツサーバから無線伝送路を介してダウンロードしたマルチメディアデータストリームを記憶した記録媒体（メモリカード等）を端末に装着し、この記録媒体から上記マルチメディアデータストリームを読み出して復号再生する場合にも、この発明は適用可能である。

その他、ストリーム再生装置の種類やその構成、制御モジュールによる復号再生制御の手順とその内容、デコーダの構成、マルチメディアデータストリームのフォーマット等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わるストリーム再生装置の一実施形態である携帯端末の構成を示すブロック図である。 図１に示した携帯端末の要部である制御モジュール及びデコーダの機能構成を示すブロック図である。 図２に示した制御モジュールによる記録ストリームの再生制御手順と内容を示すフローチャートである。 記録ストリームと再生ストリームと転送ストリームとの関係を示す図である。 図３に示した再生制御による初期ＰＣＲ０の算出処理の第１の例を示す図である。 図３に示した再生制御による初期ＰＣＲ０の算出処理の第２の例を示す図である。 図３に示した再生制御による初期ＰＣＲ０の算出処理の第３の例を示す図である。 図３に示した再生制御による初期ＰＣＲ０の算出処理の第４の例を示す図である。

符号の説明

１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…記憶ユニット、５…ディジタル放送受信ユニット、１１…移動通信用アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御モジュール、２２…デコーダ、２３…エンコーダ、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…入力デバイス、３４…表示デバイス、３５…スピーカ、２１１…再生制御部、２１２…エラー状況検出部、２１３…ＰＣＲ検出部、２１４…ＰＴＳ検出部、２１５…ＰＣＲ算出部、２１６…ＰＣＲパケット生成部、２１７…パケット転送部、２２１…パケット分離部、２２２…ビデオ再生部、２２３…オーディオ再生部、２２４…ＳＴＣ再生部。

Claims (7)

1. 複数種のメディアデータがパケット多重され、この多重化された複数のパケットのうち同期フレームを含むパケットに当該同期フレームの再生時刻を指定するタイムスタンプ情報が挿入されると共に、前記複数のパケットに一定の周期でメディア間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを、記憶媒体から読み出して再生するストリーム再生装置において、
   前記記憶媒体に記憶されたマルチメディアデータストリームを、任意に指定された再生開始位置に対応するパケットから読み出す手段と、
   前記再生開始位置から読み出された複数のパケットから、最初に出現するプログラム時刻基準参照値を検出する手段と、
   前記再生開始位置から読み出された複数のパケットのうち同期フレームを含むパケットから、前記タイムスタンプ情報を検出する手段と、
   前記検出されたプログラム時刻基準参照値と前記検出されたタイムスタンプ情報とを比較してその前後関係を判定する手段と、
   前記前後関係の判定結果に基づき、前記検出されたプログラム時刻基準参照値と、前記検出されたタイムスタンプ情報と、前記プログラム時刻基準参照値が挿入される周期と、前記タイムスタンプ情報と前記プログラム時刻基準参照値との間の初期遅延時間とを選択的に用いて、前記タイムスタンプ情報より時間的に先行する先行プログラム時刻基準参照値を算出する算出手段と、
   前記算出された先行プログラム時刻基準参照値を含むパケットを生成し、この生成されたパケットを前記再生開始位置から読み出された最初のパケットの前方に配置する手段と
   を具備することを特徴とするストリーム再生装置。
2. 前記算出手段は、
   前記検出されたプログラム時刻基準参照値が前記検出されたタイムスタンプ情報より時間的に古い場合に、当該プログラム時刻基準参照値から当該プログラム時刻基準参照値が挿入される周期分を減算して前記先行プログラム時刻基準参照値を算出する手段と、
   前記検出されたプログラム時刻基準参照値が前記検出されたタイムスタンプ情報より時間的に新しい場合に、当該タイムスタンプ情報から前記初期遅延時間分を減算して前記先行プログラム時刻基準参照値を算出する手段と
   を備えることを特徴とする請求項１記載のストリーム再生装置。
3. 前記検出されたプログラム時刻基準参照値及びタイムスタンプ情報のエラーの有無を判定する手段を、さらに具備し、
   前記算出手段は、前記前後関係の判定結果と、前記エラーの有無の判定結果とに基づき、前記検出されたプログラム時刻基準参照値と、前記検出されたタイムスタンプ情報と、前記プログラム時刻基準参照値が挿入される周期と、前記タイムスタンプ情報と前記プログラム時刻基準参照値との間の初期遅延時間とを選択的に用いて、前記タイムスタンプ情報より時間的に先行するプログラム時刻基準参照値を算出することを特徴とする請求項１記載のストリーム再生装置。
4. 前記算出手段は、
   前記検出されたプログラム時刻基準参照値が前記検出されたタイムスタンプ情報より時間的に旧く、かつ当該プログラム時刻基準参照値及びタイムスタンプ情報にエラーが無い場合に、当該プログラム時刻基準参照値から当該プログラム時刻基準参照値が挿入される周期分を減算して前記先行プログラム時刻基準参照値を算出する手段と、
   前記タイムスタンプ情報のみにエラーがある場合に、前記検出されたプログラム時刻基準参照値から当該プログラム時刻基準参照値が挿入される周期分を減算して前記先行プログラム時刻基準参照値を算出する手段と、
   前記検出されたプログラム時刻基準参照値が前記検出されたタイムスタンプ情報より時間的に新しく、かつ当該プログラム時刻基準参照値及びタイムスタンプ情報にエラーが無い場合に、当該タイムスタンプ情報から前記初期遅延時間分を減算して前記先行プログラム時刻基準参照値を算出する手段と
   を備えることを特徴とする請求項３記載のストリーム再生装置。
5. 前記算出手段は、
   前記再生開始位置から読み出された複数のパケットからプログラム時刻基準参照値が検出されなかった場合に、前記検出されたタイムスタンプ情報から前記初期遅延時間分を減算して前記先行プログラム時刻基準参照値を算出する手段
   を、さらに備えることを特徴とする請求項４記載ストリーム再生装置。
6. 複数種のメディアデータがパケット多重され、この多重化された複数のパケットのうち同期フレームを含むパケットに当該同期フレームの再生時刻を指定するタイムスタンプ情報が挿入されると共に、前記複数のパケットに一定の周期でメディア間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを、記憶媒体から読み出して再生するストリーム再生装置において、
   前記記憶媒体に記憶されたマルチメディアデータストリームを、任意に指定された再生開始位置に対応するパケットから読み出す手段と、
   前記再生開始位置から読み出された複数のパケットから、最初に出現するプログラム時刻基準参照値を検出する手段と、
   前記再生開始位置から読み出された複数のパケットのうち同期フレームを含むパケットから、前記タイムスタンプ情報を検出する手段と、
   前記検出されたプログラム時刻基準参照値と前記検出されたタイムスタンプ情報とを比較してその前後関係を判定する手段と、
   前記前後関係の判定の結果、前記検出されたプログラム時刻基準参照値が前記検出されたタイムスタンプ情報より時間的に古い場合に、当該プログラム時刻基準参照値から当該プログラム時刻基準参照値が挿入される周期分を減算して前記先行プログラム時刻基準参照値を算出する手段と
   を具備することを特徴とするストリーム再生装置。
7. 複数種のメディアデータがパケット多重され、この多重化された複数のパケットのうち同期フレームを含むパケットに当該同期フレームの再生時刻を指定するタイムスタンプ情報が挿入されると共に、前記複数のパケットに一定の周期でメディア間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを、記憶媒体から読み出して再生するストリーム再生装置において、
   前記記憶媒体に記憶されたマルチメディアデータストリームを、任意に指定された再生開始位置に対応するパケットから読み出す手段と、
   前記再生開始位置から読み出された複数のパケットから、最初に出現するプログラム時刻基準参照値を検出する手段と、
   前記再生開始位置から読み出された複数のパケットのうち同期フレームを含むパケットから、前記タイムスタンプ情報を検出する手段と、
   前記検出されたプログラム時刻基準参照値と前記検出されたタイムスタンプ情報とを比較してその前後関係を判定する手段と、
   前記前後関係の判定の結果、前記検出されたプログラム時刻基準参照値が前記検出されたタイムスタンプ情報より時間的に新しい場合に、当該タイムスタンプ情報から前記初期遅延時間分を減算して前記先行プログラム時刻基準参照値を算出する手段と
   を備えることを特徴とするストリーム再生装置。

Images