JP5032179B2 - ストリーム再生装置及びメディアデータ復号方法 - Google Patents

Description

この発明は、ビデオデータやオーディオデータ等を含むマルチメディアデータストリームを受信し再生する機能を備えたストリーム再生装置及びメディアデータ復号方法に関する。

近年、ウエブや放送局からビデオデータやオーディオデータ等を含むマルチメディアデータストリームを受信して再生する機能を備えた端末が増えている。例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末には、地上デジタル放送の１セグメント放送（以後ワンセグ放送と略称する）を受信する機能を備え、この受信機により同放送のワンセグ放送を受信してそのマルチメディアデータストリームを再生する機能を備えた端末がある。

この種の端末では、受信されたマルチメディアデータストリームを再生する際に、デコーダのクロックを送信側のエンコーダのクロックに同期させる必要がある。そこで、送信側においてMPEG-2 SystemsのＴＳ（Transport Stream）パケットのヘッダに、一定の間隔（１００msec）で、メディア間の同期をとるためのＰＣＲ（Program Clock Reference）と呼ばれるプログラム時刻基準参照値を挿入する。受信端末は、ＰＣＲが挿入されたＴＳパケットを受信すると、ＳＴＣ（System Time Clock）カウンタの時刻値をこのＰＣＲの値に同期させる。この状態で、ＴＳパケットのヘッダに挿入されているＰＩＤ（Packet Indentifer）をもとに、当該ＴＳパケットのペイロード部のデータ（ＥＳ；Elementary Stream）のメディアを認識して分離する。そして、各ＴＳパケットから分離したメディアごとのＥＳを復号し、ＰＥＳ（Packetaized Elementary Stream）ヘッダ内のＰＴＳ（Presentation Time Stamp）と上記ＳＴＣカウンタの時刻値とを比較して、一致したタイミングで復号されたビデオデータ及びオーディオデータのフレームをそれぞれ表示デバイス及びスピーカへ出力する（例えば、非特許文献１を参照。）。
「改訂版 デジタル放送教科書（上）」、亀山渉、花村剛監修、２００４年１０月１１日、株式会社インプレスコミュニケーションズ、ｐ８０−９０。

ところが、上記MPEG-2 Systemsのストリーム再生装置には次のような解決すべき課題があった。すなわち、MPEG-2 Systemsのストリーム再生装置で使用されるチューナの中には、消費電力を抑制するために、伝送クロックの速度を例えば８MHzから４MHzに低下させて受信復調処理するものがある。このような場合、チューナから出力される受信データストリームはＴＳパケットごとにサンプリングタイミングの誤差（ジッタ）を含んだものとなる。また、一般にMPEG-2 Systemsのストリーム再生装置で使用されるチューナでは、受信データストリーム中でNULLパケットを検出すると、このNULLパケットを破棄するようにしている。このため、チューナから出力されるデータストリームのＴＳパケット間の時間間隔は一定ではなくなる。

一方、上記チューナから出力されたデータストリームはトランスポートストリーム・インタフェース（ＴＳＩＦ）介してバッファに一旦蓄積される。そして、１ＴＳパケット分が蓄積されるごとにＴＳＩＦから割り込み信号が発生され、この割り込み信号を受けてＴＳ分離部が上記バッファからＴＳパケットを１パケットずつ読み出し、そのヘッダの内容に応じてペイロード部のメディアデータを分離してデコーダに供給するようにしている。しかし、このＴＳ分離処理をソフトウエアで実現しようとした場合、１ＴＳパケットごとに割り込み信号を発生するとそのたびにタスクスイッチが必要になり、オーバヘッドが非常に大きくなる。そこで、MPEG-2 Systemsのストリーム再生装置の中には、例えば複数のＴＳパケットをバッファに蓄積して、これらのＴＳパケットをまとめてＴＳ分離処理するようにしたものもある。ところが、このようにＴＳパケットを複数パケットずつバッファリングする処理を行うと、この処理においてＴＳパケットごとにランダムな処理遅延が発生する。

以上のように従来のストリーム再生装置では、チューナで発生するＴＳパケット間のサンプリングタイミングの誤差や、NULLパケットの破棄によるＴＳパケット間の時間間隔の変化、ＴＳ分離処理において発生するＴＳパケット間のランダムな処理遅延の影響により、実際にＴＳ分離処理によりＰＣＲを分離抽出したときのタイミングが、本来ＰＣＲにより示される基準タイミングと同期しない値になってしまう。この結果、上記分離抽出したＰＣＲをもとにＳＴＣカウンタの時刻値を調整すると、以後のビデオデータやオーディオデータの復号処理用バッファにおいてオーバフローやアンダフローが発生して、復号処理用バッファが破綻を来すおそれがあった。

この発明は上記事情に着目してなされたもので、その目的とするところは、パケット間にランダムな処理遅延が発生する場合でも、復号処理に使用するシステムタイムクロックの値を送信側のクロック値に近い値に維持するようにし、これにより復号処理用バッファが破綻を起こす確率を低減して再生品質の向上を図ったストリーム再生装置及びメディアデータ復号方法を提供することにある。

上記目的を達成するためにこの発明の一つの観点は、複数種のメディアデータがパケット多重されこの多重化された複数のパケットに周期的に送受間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを受信してこの受信されたマルチメディアデータストリームを出力する受信手段と、この受信手段から出力されたマルチメディアデータストリームからパケットごとにメディアデータを分離する分離手段と、この分離手段により分離されたメディアデータを復号する復号手段を備えるストリーム再生装置であって、
上記受信手段から出力されたマルチメディアデータストリームのパケットに対し当該パケットが上記受信手段から出力された時点での受信時刻値を発生する受信時刻発生手段と、プログラム時刻基準参照値の置換手段とを新たに備える。そして、この置換手段により、上記受信手段から出力されたマルチメディアデータストリーム中から上記プログラム時刻基準参照値が挿入されたパケットを検出し、このパケットに挿入されたプログラム時刻基準参照値を、当該パケットに対し上記受信時刻発生手段により発生された受信時刻値に置換する。そして、この置換手段により置換された受信時刻値をもとにシステム時計のシステム時刻値を補正するように構成したものである。

したがってこの発明によれば、マルチメディアデータストリームを送信する際に送信側で周期的に付与されたプログラム時刻基準参照値が、上記マルチメディアデータストリームが受信手段から出力された時点での受信時刻値に置換される。このため、例えば受信手段において、伝送クロックの速度変換が行われたり、またNULLパケットの破棄が行われることにより、受信データストリームのパケット間の時間差が変化したとしても、さらにマルチメディアデータストリームの分離処理においてパケットごとの分離処理に要する時間のばらつきにより分離処理後のパケット間の時間差が変化したとしても、これらのパケット間の時間差の変化を考慮した時刻値をシステム時計に設定することが可能となる。すなわち、簡易な補正でありながら送信側のクロックと大きく逸脱することのないクロックをシステム時計に設定することができる。したがって、メディアデータを復号するために使用するバッファにおけるオーバフローやアンダフローの発生を抑制し、これにより復号処理用バッファに破綻が生じにくくすることができる。

すなわち、この発明によれば、パケット間にランダムな処理遅延が発生する場合でも、復号処理に使用するシステムタイムクロックの値を送信側のクロック値に近い値に維持することができ、これにより復号処理用バッファが破綻を起こす確率を低減して再生品質の向上を図ったストリーム再生装置及びメディアデータ復号方法を提供することができる。

以下、図面を参照してこの発明の実施形態を説明する。
この発明に係わるストリーム再生装置の一実施形態は、地上デジタル放送のワンセグ放送を受信してその受信データストリームを記憶し、この記憶された受信データストリームを読み出して再生する機能を備えた携帯端末である。

地上デジタル放送のワンセグ放送では、ビデオデータはITUT H.264方式により符号化され、オーディオデータはMPEG2 AAC（Moving Picture Coding Experts Group-2 Adaptive Audio Coding）方式で符号化される。この符号化されたビデオデータ及びオーディオデータの各ＥＳ（Elementary Stream）はそれぞれパケット化されてＰＥＳ（Packetaized Elementary Stream）となったのち、MPEG-2 SystemsのＴＳ（Transport Stream）パケットのペイロードに格納されて送信される。ＴＳパケットの長さは１８８バイトの固定長である。

ＴＳパケットのヘッダには、図５に示すようにＴＳパケットの先頭を示す同期バイト、ＴＳパケットの誤りを示すトランスポート・エラー表示、ＴＳパケット中のＰＥＳ、セクションなどの先頭バイトが含まれていることを示すペイロードユニット開始表示、ＴＳパケットのプライオリティを示すトランスポート・プライオリティ、ＴＳパケットの種類を識別するＰＩＤ（Packet Indentifer）、スクランブルモードを示すトランスポート・スクランブル制御、アダプテーション・フィールドの状態を示すアダプテーション・フィールド制御、ＰＩＤごとのパケットの連続性を示すコンティニュイティ・カウンタ、アダプテーション・フィールドが挿入される。このうち、アダプテーション・フィールドにはオプションフィールドが設けられ、このオプションフィールドにＰＣＲ（Program Clock Reference）と呼ばれるプログラム時刻基準参照値が挿入される。このＰＣＲは２７MHzでカウントする時計の現在時刻を示す値である。このＰＣＲは、受信端末が自己のＳＴＣ（System Time Clock）カウンタの時刻値を送信側のクロックに同期させるために使用される。

図１は、この発明に係わるストリーム再生装置の一実施形態である携帯端末の構成を示すブロック図である。
この携帯端末は、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、記憶ユニット４と、デジタル放送受信ユニット５と、電源ユニット６とから構成される。

同図において、先ず通話モードが設定されている状態では、ユーザインタフェースユニット３のマイクロホン３２から出力されたユーザの送話音声信号がベースバンドユニット２のエンコードユニット２３に入力される。また、カメラ（ＣＡＭ）３１から出力されたビデオ信号もエンコードユニット２３に入力される。エンコードユニット２３は、オーディオ符号化部と、ビデオ符号化部と、パケット多重部を備える。オーディオ符号化部は、上記送話音声信号をCELP（Code Excited Liner Predictive coding）所定の符号化方式で符号化する。ビデオ符号化部２３は、上記ビデオ信号を例えばMPEG-4（Moving Picture Coding Experts Group-4）方式に従い符号化する。パケット多重部は、上記符号化されたオーディオデータ及び符号化されたビデオデータをそれぞれパケット化したのち、MPEGのシステム規格で規定される多重化フォーマットに従い多重化する。このパケット多重部から出力された送信マルチメディアデータは、制御ユニット２１においてさらに宛先情報などの種々の制御情報が多重化されたのち、無線ユニット１の送信回路（ＴＸ）１５に供給される。

送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でデジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式やＱＡＭ（Quadrature Amplitude Modulation）方式等のデジタル変調方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この変調された送信無線周波信号は、送信電力増幅器で所定の送信電力レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。

これに対し、基地局から無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でデジタル復調する。復調方式としては、例えば直交復調方式と、拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御ユニット２１から指示される。

上記復調器から出力された受信データストリームはベースバンドユニット２に入力される。そして、このベースバンドユニット２内において、制御ユニット２１によりメディアごとに分離されてデコードユニット２２に入力される。デコードユニット２２は、オーディオ復号部と、ビデオ復号部とを備える。オーディオ復号部は、入力されたオーディオパケットをデパケットしたのちオーディオデータに復号する。この復号されたオーディオデータは、デジタル信号からアナログ信号に変換されたのちユーザインタフェースユニット３のスピーカ３５から受話音声として拡声出力される。ビデオ復号部は、入力されたビデオパケットをデパケットしたのち、例えばMPEG-4方式に従いビデオフレームに復号する。この復号されたビデオフレームはユーザインタフェースユニット３の表示デバイス３４に表示される。表示デバイス３４は、例えばＬＣＤ（Liquid Crystal Display）３３からなる。

一方、デジタル放送視聴モードが設定されている状態において、図示しない放送局から送信された放送信号は、アンテナ５１を介してデジタル放送受信ユニット５で受信復調される。そして、上記受信復調により得られたＴＳデータは、ベースバンドユニット２の制御ユニット２１においてヘッダに挿入されているＰＤＩをもとにメディアごとに分離されたのち、デコードユニット２２に入力される。デコードユニット２２は、上記したようにオーディオ復号部とビデオ復号部を備え、上記入力されたオーディオパケットをオーディオ復号部でデパケットしたのちオーディオフレームに復号する。また、ビデオパケットをビデオ復号部でデパケットしたのちビデオフレームに復号する。

例えば、地上デジタル放送のワンセグ放送では、先に述べたようにオーディオデータはMPEG-2 AAC方式で符号化され、ビデオデータはITUT H.264方式で符号化されている。この場合、上記オーディオ復号部及びビデオ復号部はそれぞれ、上記オーディオパケット及びビデオパケットをこれらの符号化方式に対応する復号方式により復号する。上記復号されたオーディオデータは、デジタル信号からアナログ信号に変換されたのちユーザインタフェースユニット３のスピーカ３５から拡声出力され、ビデオ信号は表示デバイス３４に表示される。

なお、デジタル放送録画モードが設定されている場合には、デジタル放送受信ユニット５で受信復調されたデジタル放送データは、制御ユニット２１の制御の下で記憶ユニット４に記憶される。記憶ユニット４は、記録媒体として例えばＮＡＮＤ型フラッシュメモリ又はハードディスクを使用する。なお、記憶ユニット４には、送受信メールやウエブサイトからダウンロードされコンテンツデータ、電話帳データ、発着信履歴及び各種管理用データも記憶される。

電源ユニット６には、リチウムイオン電池等のバッテリ６１と、このバッテリ６１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路６２と、電圧生成回路（ＰＳ）６３とが設けられている。電圧生成回路６３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ６１の出力電圧をもとに所定の電源電圧Ｖccを生成する。

ところで、上記制御ユニット２１及びデコードユニット２２は、この発明に係わる機能として次のような機能を備えている。図２はその機能構成を示すブロック図である。
すなわち、制御ユニット２１はＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなる内部メモリとを備えたもので、上記受信されたＴＳデータをリアルタイムに再生するための機能として、トランスポートストリーム・インタフェース（ＴＳＩＦ）２１１と、ＦＩＦＯ（First-in First-out）メモリからなるＴＳバッファ２１２と、ＴＳ分離部２１３と、ＳＴＣ制御部２１４と、システムタイムクロック（ＳＴＣ；System Time Clock）カウンタ２１５を備えている。なお、これらの各機能部の処理はいずれも上記ＲＯＭに格納されたアプリケーション・プログラムを上記ＣＰＵに実行させることにより実現される。

ＴＳＩＦ２１１は、デジタル放送受信ユニット５から入力されたＴＳパケットをＴＳバッファ２１２に蓄積させるもので、１ＴＳパケットが蓄積されるごとに当該ＴＳパケットにＳＴＣカウンタ２１５の時刻値を付加する。そして、ＴＳバッファ２１２に予め設定された数パケット分のＴＳパケットが蓄積されるごとに、ＴＳ分離部２１３に対し割り込み信号を発生する。

ＴＳ分離部２１３は、上記ＴＳＩＦ２１１から割り込み信号が発生されるごとにＴＳバッファ２１２からＴＳパケットを内部バッファに読み込み、この読み込んだＴＳパケットについてメディア分離処理を行う。このメディア分離処理では、ＴＳヘッダを解析してＰＩＤを識別し、このＰＩＤの識別結果に基づいてペイロード部に挿入されたメディアデータをデコードユニット２２へ出力する処理が行われる。またそれと共にメディア分離処理では、ＰＣＲの挿入の有無を判定し、ＰＣＲが挿入されている場合にはこのＰＣＲを前記ＴＳＩＦ２１１により付加された受信時刻値を用いて置換し、この置換後のＰＣＲ′をＳＴＣ制御部２１４へ出力する処理が行われる。

ＳＴＣ制御部２１４は、上記ＴＳ分離部２１３から出力されたＰＣＲ′をもとにＳＴＣカウンタ２１５のカウント値を調整する。このＳＴＣカウンタ２１５のカウント値、つまり携帯端末のシステム時刻値はデコードユニット２２に与えられると共に、先に述べたＰＣＲ′の置換処理のためにＴＳＩＦ２１１にも与えられる。

デコードユニット２２は、オーディオ復号部２２１と、ビデオ復号部２２２と、オーディオ用バッファ２２３と、ビデオ用バッファ２２４と、デジタル・アナログ変換器（ＤＡＣ）２２５とを備えている。オーディオ用バッファ２２３及びビデオ用バッファ２２４はそれぞれ、上記ＴＳ分離部２１３から出力されたオーディオパケット及びビデオパケットを後段の復号処理のために一時蓄積する。

オーディオ復号部２２１は、上記オーディオ用バッファ２２３からオーディオパケットを読み込んでオーディオデータに復号すると共に、ＰＥＳヘッダに挿入されているＰＴＳを上記ＳＴＣカウンタ２１５のシステム時刻値とを比較して、一致したタイミングで上記オーディオデータを出力する。このオーディオデータはデジタル・アナログ変換器（ＤＡＣ）２２５によりアナログ信号に変換されたのちスピーカ３５から出力される。

ビデオ復号部２２２は、上記ビデオ用バッファ２２４からビデオパケットを読み込んでビデオデータに復号すると共に、ＰＥＳヘッダに挿入されているＰＴＳを上記ＳＴＣカウンタ２１５のシステム時刻値とを比較し、一致したタイミングで上記ビデオデータを表示デバイス３３へ出力して表示させる。

次に、以上のように構成された携帯端末によるＴＳ分離動作を説明する。
デジタル放送視聴モードが設定されている状態において、図示しない放送局から送信された放送信号はアンテナ５１を介してデジタル放送受信ユニット５で受信復調される。デジタル放送受信ユニット５では、低消費電力化のために例えば本来の８MHzの１／２となる４MHzに設定された伝送クロックを使用する。また、ＴＳデータにおいてNULLパケットが検出されると、このNULLパケットを破棄して後続のＴＳパケットを詰めて転送する。

上記デジタル放送受信ユニット５から転送されたＴＳデータはベースバンドユニット２の制御ユニット２１に入力される。制御ユニット２１では、ＴＳＩＦ２１１により上記ＴＳパケットのバッファリング処理が以下のように行われる。図３はその制御手順と制御内容を示すフローチャートである。

すなわち、ＴＳデータが転送されるとＴＳＩＦ２１１は、先ずステップＳ３１においてこのＴＳデータをＴＳバッファ２１２に蓄積させる。そして、１ＴＳパケット分のデータが蓄積されたことがステップＳ３２で検出されると、ステップＳ３３において上記蓄積された１ＴＳパケットに対しこの時点での受信時刻値を付加する。この受信時刻値にはＳＴＣカウンタ２１５の時刻値が用いられる。以後同様に、ＴＳバッファ２１２にＴＳパケットが１パケット分蓄積されるごとに、当該ＴＳパケットに対しこの時点でのＳＴＣカウンタ２１５の時刻値が付与される。図６は、以上のように受信時刻値ｔ１，ｔ２，ｔ３，…が付与されたＴＳパケットＴＳＰ１，ＴＳＰ２，ＴＳＰ３，…の蓄積状態の一例を示すものである。

またＴＳＩＦ２１１は、上記受信時刻の付与制御を行いながら、予め設定された数パケット分のＴＳデータが上記ＴＳバッファ２１２に蓄積されたか否かをステップＳ３４で監視する。そして、数パケット分のＴＳパケットが蓄積されるとステップＳ３５に移行して割り込み信号を発生し、この割り込み信号をＴＳ分離部２１３に通知する。
ＴＳＩＦ２１１は、以上の処理をステップＳ３６において視聴終了が検出されるまで繰り返し実行する。

一方、ＴＳ分離部２１３では次のような処理が行われる。図４はその制御手順と制御内容を示すフローチャートである。すなわち、視聴中においてＴＳ分離部２１３は、ステップＳ４２において上記ＴＳＩＦ２１１からの割り込み信号の発生を監視する。そして、割り込み信号が発生すると、ステップＳ４３に移行してここでＴＳバッファ２１２からＴＳパケットを内部バッファに読み込む。

この状態でＴＳ分離部２１３は、ステップＳ４５において上記内部バッファに読み込んだ個々のＴＳパケットについて、そのヘッダと当該ヘッダに含まれるアダプテーション・フィールドを解析する。例えば、ＴＳヘッダに挿入されたＰＩＤをＰＩＤフィルタを用いて識別する。図７はその処理の一例を示すもので、用意されたＰＩＤフィルタを探索することによりＰＩＤが示すパケットの種別が判定される。このとき、ＰＩＤフィルタの構成によっては、探索対象のＰＩＤを検出できるまでの時間が図７に示すＴ１，Ｔ２に示すように様々な値をとることになり、これが分離処理後のＴＳパケット間の時間差にばらつきが発生する一因になる。

上記ＰＩＤ判定の結果、対象ＴＳパケットのＰＩＤがＰＩＤフィルタに設定されていなければ、ＴＳ分離部２１３は以下の分離のための処理を行わずにステップＳ５１に移行する。そして、まだ視聴中であればステップＳ４４に戻り、内部バッファに読み込まれた未解析のＴＳパケットに対するヘッダ解析処理を繰り返し実行する。

一方、上記ＰＩＤの判定の結果、対象ＴＳパケットのＰＩＤがＰＩＤフィルタに設定されていたとする。この場合ＴＳ分離部２１３は、ステップＳ４７においてアダプテーション・フィールドにＰＣＲが挿入されているか否かを判定し、さらにＰＣＲが挿入されていた場合には当該ＰＣＲのＰＩＤがＰＩＤフィルタに設定されているか否かを判定する。この判定の結果、アダプテーション・フィールドにＰＣＲが挿入されていて、かつ当該ＰＣＲのＰＩＤがＰＩＤフィルタに設定されていれば、ステップＳ４８において当該ＰＣＲを上記ＴＳＩＦ２１１により付与された受信時刻値に基づいて置換する。

上記ＰＣＲの置換手法には、最初に検出されたＰＣＲを基準に置換を行う第１の手法と、直前に置換したＰＣＲの値を基準に置換を行う第２の手法がある。
第１の手法は次のようなものである。すなわち、上記ＴＳデータ中において最初のＰＣＲ０が検出されたときには、この最初のＰＣＲ０をそのままＳＴＣ制御部２１４に与えて、このＰＣＲ０をもとにＳＴＣカウンタ２１５のシステム時刻値を補正させる。またそれと共に、上記最初のＰＣＲ０と、当該ＰＣＲ０が挿入されたＴＳパケットの受信時刻値ｔ０をＴＳ分離部２１３内のメモリに保存しておく。次に、上記ＴＳデータ中において２個目以降のＰＣＲｉ（ｉ＝１以上の整数）が検出されたとき、当該ＰＣＲｉが挿入されたパケットの受信時刻値ｔｉ（ｉ＝１以上の整数）と、上記保存された最初に検出されたＰＣＲ０及びＴＳパケットの受信時刻値ｔ０とをもとに、
ＰＣＲ′ｉ＝ＰＣＲ０＋（ｔｉ−ｔ０） …(1)
なる演算を行って時刻値ＰＣＲ′ｉを算出し、上記ＰＣＲｉをこの算出されたＰＣＲ′ｉに置換する。

第２の置換手法は次のようなものである。すなわち、上記ＴＳデータ中において最初のＰＣＲ０が検出されたときには、この最初のＰＣＲ０をそのままＳＴＣ制御部２１４に与えて、このＰＣＲ０をもとにＳＴＣカウンタ２１５のシステム時刻値を補正させる。そして、上記最初のＰＣＲ０と、当該ＰＣＲ０が挿入されたＴＳパケットの受信時刻値ｔ０をＴＳ分離部２１３内のメモリに保存する。

次に、上記ＴＳデータ中において２個目のＰＣＲ１が検出されると、この２個目のＰＣＲ１が挿入されたＴＳパケットの受信時刻値ｔ１と、上記内部メモリに保存された前回のＰＣＲ０の値及びその受信時刻値ｔ０とをもとに、
ＰＣＲ′１＝ＰＣＲ０＋（ｔ１−ｔ０） …(2)
なる演算を行って時刻値ＰＣＲ′１を算出し、上記今回検出されたＰＣＲ１を上記算出された時刻値ＰＣＲ′１に置換する。そして、この置換後の時刻値ＰＣＲ′１と、受信時刻値ｔ１を次回の時刻値の計算のために内部メモリに保存する。

以後同様に、ＴＳデータ中から３個目以降のＰＣＲ２，ＰＣＲ３，…が検出されるごとに、そのＴＳパケットの受信時刻値ｔ２，ｔ３，…と、内部メモリに保存された前回の置換後のＰＣＲ′１，ＰＣＲ′２，…及びその受信時刻値ｔ１，ｔ２，…をもとに、上記(2)式と同様の演算を行って時刻値ＰＣＲ′２，ＰＣＲ′３，…を算出して、上記受信されたＰＣＲ２，ＰＣＲ３，…を上記算出されたＰＣＲ′２，ＰＣＲ′３，…に置換する。そして、この置換後のＰＣＲ′２，ＰＣＲ′３，…とそのＴＳパケットの受信時刻値ｔ２，ｔ３，…を次回の保管用時刻値の算出のために内部メモリに保存する。

すなわち、第２の手法では、ＴＳデータ中においてＰＣＲｉ（ｉ＝１以上の整数）が検出されるごとに、この今回検出されたＰＣＲｉが挿入されたパケットの受信時刻値ｔｉと、前回検出されたＰＣＲ（ｉ−１）を置換した値ＰＣＲ′（ｉ−１）と、その受信時刻値ｔ（ｉ−１）とをもとに、
ＰＣＲ′ｉ＝ＰＣＲ′（ｉ−１）＋（ｔｉ−ｔ（ｉ−１）） …(3)
なる演算が行われて置換用の時刻値ＰＣＲ′ｉが算出され、上記今回検出されたＰＣＲｉがこの算出された置換用の時刻値ＰＣＲ′ｉに置換される。そして、この置換されたＰＣＲ′ｉと受信時刻値ｔｉが、次回検出されるＰＣＲ（ｉ＋１）の置換用の時刻値ＰＣＲ′（ｉ＋１）を算出するための情報として内部メモリに保存される。

そうしてＰＣＲの置換処理が終了すると、ＴＳ分離部２１３は当該置換後のＰＣＲ′の値をステップＳ４９によりＳＴＣ制御部２１４に通知する。この結果、ＳＴＣ制御部２１４によりＳＴＣカウンタ２１５の時刻値が上記置換後のＰＣＲ′の値に基づいて調整され、この調整されたシステム時刻値がデコードユニット２２に与えられる。

またそれと共にＴＳ分離部２１３は、ステップＳ５０において、対象ＴＳパケットのペイロード部に挿入されたメディアデータを上記ＰＩＤの識別結果に基づいて分離し、デコードユニット２２の該当する復号部へ転送する。したがって、デコードユニット２２のオーディオ復号部２２１及びビデオ復号部２２２ではそれぞれ、上記調整されたＳＴＣカウンタ２１５のシステム時刻値に従い、上記ＴＳ分離部２１３から転送されたオーディオデータ及びビデオデータの復号再生処理が行われる。

デコードユニット２２のオーディオ復号部２２１及びビデオ復号部２２２では、上記復号処理中に復号処理用のバッファ２２３，２２４におけるオーディオデータ及びビデオデータのバッファリング量を監視し、オーバフロー又はアンダフローが発生しそうになると、サンプルのドロップ処理又はインサート処理を行う。例えば、バッファ２２３，２２４におけるオーディオデータ及びビデオデータのバッファリング量をそれぞれ予め設定した第１及び第２のしきい値と比較する。そして、バッファリング量が第１のしきい値を超えると、オーバフローが発生する可能性があるため、復号後のデータの間引き処理を行う。例えば、ビデオデータであればフレームの間引き処理を、またオーディオデータであればＰＣＭサンプルの間引き処理を行う。これに対し、上記復号処理用のバッファ２２３，２２４のバッファリング量が第２のしきい値を下回った場合には、アンダフローが発生する可能性があるので、復号後のデータに同一のデータを挿入する処理を行う。例えば、ビデオデータであればフレームの挿入を行い、オーディオデータであればＰＣＭサンプルの挿入を行う。

なお、上記データの間引き又は挿入処理は、復号処理前のＥＳデータに対し行うことも可能である。ただし、この場合ビデオデータ及びオーディオデータともフレーム単位でしか間引くことができず、またビデオデータはフレーム間で参照して符号化されているため、復号前にフレームのＥＳデータを間引き／挿入処理すると他のフレームにも影響することから、復号後のデータに対し間引き／挿入処理する方が好ましい。

なお、上記ステップＳ４７においてアダプテーション・フィールドにＰＣＲが含まれていないと判定されるか、又は挿入されていても当該ＰＣＲのＰＩＤがＰＩＤフィルタに設定されていない場合には、ＴＳ分離部２１３は当該ＴＳパケットにおけるＰＣＲの置換処理を省略してステップＳ５０に移行し、ここで対象ＴＳパケットのペイロード部に挿入されたメディアデータを分離してデコードユニット２２の該当する復号部へ転送する。また、ユーザが視聴終了操作を行うか、又は着信等の他のイベントが発生して視聴モードが一時的に解除されると、ＴＳ分離部２１３は視聴の終了をステップＳ４１又はステップＳ５１により検出してＴＳ分離処理を終了する。

以上述べたようにこの実施形態では、デジタル放送受信ユニット５により受信復調されたＴＳデータをＴＳＩＦ２１１によりＴＳバッファ２１２に蓄積する際に、各ＴＳパケットに対しＳＴＣカウンタ２１５の時刻値を当該ＴＳパケットの受信時刻値として付与する。そして、ＴＳ分離部２１３において、上記ＴＳバッファ２１２からＴＳパケットを読み込んでＴＳ分離処理を行う際に、ＴＳパケットに挿入されているＰＣＲを上記付与された受信時刻値に基づいて置換し、この置換されたＰＣＲ′をＳＴＣ制御部２１４に与えてＳＴＣカウンタ２１５のシステム時刻値を調整するようにしている。

したがって、デジタル放送受信ユニット５において伝送クロックの速度変換が行われたりNULLパケットの破棄が行われて、受信データストリームのパケット間の時間差が変化したとしても、またＴＳ分離処理においてＴＳパケットごとの分離処理に要する時間のばらつきにより分離処理後のパケット間の時間差が変化したとしても、これらのＴＳパケット間の時間差の変化を考慮してＳＴＣカウンタ２１５のシステム時刻値を調整することが可能となる。

すなわち、簡易な補正でありながら送信側のクロックと大きく逸脱することのないクロックをＳＴＣカウンタ２１５から発生させることができる。したがって、デコードユニット２２の復号用のバッファ２２３，２２４においてオーバフローやアンダフローが発生し難くすることができ、これにより復号用のバッファ２２３，２２４が破綻する可能性を小さくすることができる。この効果は、据置型のテレビジョン受信機のように大容量の復号用バッファを設けることが困難な携帯端末においては、特に有効である。

またこの実施形態では、ＳＴＣカウンタ２１５の時刻値をＰＣＲ置換用の受信時刻値として用いたので、上記置換用の受信時刻値を発生するために専用の計時カウンタを設ける場合に比べ、計時カウンタの数を減らしてその分ベースバンドユニット２の回路規模又はソフトウエア構成を小型化することができる。

さらに、上記したようにＰＣＲの置換処理を行ったからといってもＳＴＣカウンタ２１５の時刻値が送信側との間で完全に同期が保たれるわけではなく、その差分の蓄積により復号処理用のバッファ２２３，２２４でオーバフロー又はアンダフローが発生する可能性は残る。そこで本実施形態では、デコードユニット２２のオーディオ復号部２２１及びビデオ復号部２２２においてそれぞれオーディオデータ及びビデオデータのバッファリング量を監視し、オーバフロー又はアンダフローが発生しそうになると、サンプルのドロップ処理又はインサート処理を行うようにしている。したがって、たとえ復号処理用のバッファ２２３，２２４でオーバフロー又はアンダフローが発生しそうになっても、上記サンプルのドロップ処理又はインサート処理によりオーバフロー又はアンダフローの発生を回避することができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではＳＴＣカウンタ２１５の時刻値をＰＣＲ置換用の受信時刻値として用いたが、ＳＴＣカウンタ２１５とは別の計時カウンタを設け、この計時カウンタの時刻値をＰＣＲ置換用の受信時刻値として用いるようにしてもよい。一般に、携帯端末のベースバンドユニット２には複数のクロック発生回路が存在する。このため、これら複数のクロック発生回路の中から適当なクロック発生回路を選択し、その時刻値を置換用の受信時刻値として使用することは可能である。

また前記実施形態では、携帯端末においてワンセグ放送を受信し視聴する場合を例にとって説明したが、据置型のデジタルテレビジョン受信機においてデジタル放送を受信して視聴する場合にも、この発明は適用可能である。その他、ストリーム再生装置の種類やその構成、制御ユニットによるＴＳ分離制御の手順と内容、デコードユニットの構成、マルチメディアデータストリームのフォーマット等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わるストリーム再生装置の一実施形態である携帯端末の構成を示すブロック図である。 図１に示した携帯端末の要部である制御ユニット及びデコードユニットの機能構成を示すブロック図である。 図２に示した制御ユニットのＴＳＩＦによる制御手順と制御内容を示すフローチャートである。 図２に示した制御ユニットのＴＳ分離部による制御手順と制御内容を示すフローチャートである。 MPEG-2 ＴＳパケットの構造を示す図である。 図３に示したＴＳＩＦの制御により受信時刻情報が付加されたＴＳパケットの構成を示す図である。 ＴＳパケットのＰＩＤフィルタリング処理の一例を示す図である。

符号の説明

１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…記憶ユニット、５…デジタル放送受信ユニット、６…電源ユニット、１１…移動通信用アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御ユニット、２２…デコードユニット、２３…エンコードユニット、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…入力デバイス、３４…表示デバイス、３５…スピーカ、２１１…トランスポートストリーム・インタフェース（ＴＳＩＦ）、２１２…ＴＳバッファ、２１３…ＴＳ分離部、２１４…ＳＴＣ制御部、２１５…システムタイムクロック（ＳＴＣ）カウンタ、２２１…オーディオデコードユニット２２２…ビデオデコードユニット２２３…オーディオ用バッファ、２２４…ビデオ用バッファ、２２５…デジタル・アナログ変換器（ＤＡＣ）。

Claims (6)

1. 複数種のメディアデータがパケット多重されこの多重化された複数のパケットに周期的に送受間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを受信してこの受信されたマルチメディアデータストリームを出力する受信手段と、この受信手段から出力されたマルチメディアデータストリームからパケットごとにメディアデータを分離する分離手段と、この分離手段により分離されたメディアデータを復号する復号手段とを備えるストリーム再生装置であって、
   前記受信手段から出力されたマルチメディアデータストリームのパケットに対し、当該パケットが前記受信手段から出力された時点での受信時刻値を発生する受信時刻発生手段と、
   前記受信手段から出力されたマルチメディアデータストリーム中から前記プログラム時刻基準参照値が挿入されたパケットを検出し、このパケットに挿入されたプログラム時刻基準参照値を、当該パケットに対し前記受信時刻発生手段により発生された受信時刻値に基づいて置換する置換手段と、
   前記置換手段により置換された時刻値をもとにシステム時計のシステム時刻値を補正する手段と
   を具備することを特徴とするストリーム再生装置。
2. 前記受信時刻発生手段は、前記マルチメディアデータストリーム中のパケットごとに、当該パケットが前記受信手段により受信された時点での前記システム時計のシステム時刻値を受信時刻値として使用することを特徴とする請求項１記載のストリーム再生装置。
3. 前記置換手段は、
   前記マルチメディアデータストリーム中において最初に検出されたプログラム時刻基準参照値ＰＣＲ０と、当該プログラム時刻基準参照値ＰＣＲ０が挿入されたパケットの受信時刻値ｔ０を保存する手段と、
   前記マルチメディアデータストリーム中において次回以降に検出されたプログラム時刻基準参照値ＰＣＲｉ（ｉ＝１以上の整数）を、当該プログラム時刻基準参照値ＰＣＲｉが挿入されたパケットの受信時刻値ｔｉ（ｉ＝１以上の整数）と、前記保存されたプログラム時刻基準参照値ＰＣＲ０及びパケットの受信時刻値ｔ０とをもとに、
   ＰＣＲ′ｉ＝ＰＣＲ０＋（ｔｉ−ｔ０）
   により表される時刻値ＰＣＲ′ｉに置換する演算手段と
   を備えることを特徴とする請求項１記載のストリーム再生装置。
4. 前記置換手段は、
   前記マルチメディアデータストリーム中においてプログラム時刻基準参照値ＰＣＲｉ（ｉ＝１以上の整数）が検出されるごとに、この今回検出されたプログラム時刻基準参照値ＰＣＲｉが挿入されたパケットの受信時刻値ｔｉと、前回検出されたプログラム時刻基準参照値ＰＣＲ（ｉ−１）の置換後の時刻値ＰＣＲ′（ｉ−１）と、当該プログラム時刻基準参照値ＰＣＲ（ｉ−１）が挿入されたパケットの受信時刻値ｔ（ｉ−１）とをもとに、
   ＰＣＲ′ｉ＝ＰＣＲ′（ｉ−１）＋（ｔｉ−ｔ（ｉ−１））
   により表される時刻値ＰＣＲ′ｉを算出し、前記今回検出されたプログラム時刻基準参照値ＰＣＲｉを前記算出された時刻値ＰＣＲ′ｉに置換する演算手段と、
   前記演算手段により置換されたプログラム時刻基準参照値ＰＣＲｉの時刻値ＰＣＲ′ｉと、当該プログラム時刻基準参照値ＰＣＲｉが挿入されたパケットの受信時刻値ｔｉを、次回受信されるプログラム時刻基準参照値ＰＣＲ（ｉ＋１）の置換用時刻値ＰＣＲ′（ｉ＋１）を算出するための情報として保存する手段と
   を備えることを特徴とする請求項１記載のストリーム再生装置。
5. 前記復号手段は、
   前記分離されたメディアデータを一時保存するバッファメモリと、
   前記システム時計のシステム時刻値に同期して前記バッファメモリからメディアデータを読み出し復号する手段と、
   前記バッファメモリに保存されるメディアデータのデータ量を第１及び第２のしきい値とそれぞれ比較し、前記バッファメモリに保存されるメディアデータのデータ量が第１のしきい値を超えた場合に前記復号前又は復号後のメディアデータを間引く処理を行い、前記バッファメモリに保存されるメディアデータのデータ量が第２のしきい値を下回った場合に前記復号前又は復号後のメディアデータにデータを挿入する処理を行う制御手段と
   を備えることを特徴とする請求項１記載のストリーム再生装置。
6. 複数種のメディアデータがパケット多重されこの多重化された複数のパケットに周期的に送受間の同期をとるためのプログラム時刻基準参照値が挿入されたマルチメディアデータストリームを受信し、このマルチメディアデータストリームに含まれるメディアデータを復号するメディアデータ復号方法であって、
   前記受信したマルチメディアデータストリームのパケットから得た前記プログラム時刻基準参照値を、このパケットの受信タイミングを示す受信時刻値に基づいて修正し、
   この修正されたプログラム時刻基準参照値をもとにシステム時計のシステム時刻値を補正することを特徴とするメディアデータ復号方法。

Images