JPH09311689A - 情報出力装置 - Google Patents

Abstract

(57)【要約】 【課題】 オーディオ情報及びビデオ情報の同期の調整
制御を、調整した情報の再生結果における影響を考慮し
て実行可能な情報出力装置を提供する。 【解決手段】 ビデオ情報とオーディオ情報の再生タイ
ミングの差である差分Ｃに基づき、ビデオの再生がオー
ディオの再生より遅れており、ビデオの輝度情報が所定
値以下である場合には、ビデオデコーダ７４にビデオ情
報から１フレーム分の情報を読み飛ばすようにさせ、逆
にビデオの再生がオーディオの再生より早く、ビデオの
輝度情報が所定値以下である場合には、ビデオデコーダ
７４にビデオ情報から１フレーム分の情報を繰り返して
再生させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オーディオ情報及
びビデオ情報が時系列に多重化されたトランスポートス
トリームを情報供給装置から供給してもらい、そのトラ
ンスポートストリームに基づいて所定の外部出力処理を
実行する情報出力装置に関する。

【０００２】

【従来の技術】従来、カラオケ端末装置自体に再生すべ
きオーディオ情報（カラオケ伴奏用）及びビデオ情報
（歌詞テロップや背景映像用）を記憶する場合は、各カ
ラオケ端末装置において大型の記憶装置が必要となるた
め、カラオケ端末装置からセンタ装置に曲をリクエスト
し、そのリクエストした曲の情報をセンタ装置から送信
してもらい、それをカラオケ端末装置で受信して再生出
力するものが考えられている。さらに通信の高速化やセ
ンタ装置での記憶容量を少なくするために、例えばＭＰ
ＥＧ（Moving Picture Image Coding Experts Group ）
等の情報圧縮用符号化規格に基づいて情報圧縮された情
報を送信し、カラオケ端末装置側で圧縮された情報を解
凍して再生出力することが考えられている。

【０００３】この場合、情報の解凍・再生の処理速度の
違いや、情報通信時におけるデータの損失等の外部の要
因が発生する可能性があり、その際にオーディオ情報と
ビデオ情報との同期をとりながら再生するには、これら
の外部要因に対して再生速度を調節してやる必要が生じ
る。例えば、カラオケの場合にはその目的からオーディ
オ情報の方が重要であるため、他方のビデオ情報の再生
を調節することが考えられ、一時的にビデオ情報の一部
をスキップして再生速度を早めたり、一時的にビデオ情
報の一部をフリーズして再生速度を遅らせたりすること
となる。

【０００４】しかしながら、このようにビデオ情報を作
為的に操作して再生する場合には、再生した画面上に少
なからず何等かの影響を及ぼすことになるため、この影
響を考慮して再生調節制御を実行することが好ましい。
また、上記カラオケの場合には、その目的からオーディ
オ情報を優先して他方のビデオ情報の再生を調節するこ
ととしたが、逆に、ビデオ情報の方が重要であるため、
他方のオーディオ情報の再生を調節する場合も考えられ
る。例えば利用者が希望するときに希望する映画等を見
ることができるようにしたビデオ・オン・デマンド（Ｖ
ＯＤ）サービスにおける映画用の情報等である。

【０００５】この場合にオーディオ情報の再生を調節す
る方法として、一時的にオーディオ情報の再生周波数を
高速化して再生速度を上げたり、逆に再生周波数を低速
化して再生速度を下げたりすることが考えられる。しか
しながら、このようにオーディオ情報を作為的に操作し
て再生する場合には、再生した音声に少なからず影響を
及ぼすことになるため、この影響を考慮して再生調節制
御を実行することが好ましい。

【０００６】なお、これらはカラオケ用情報や映画用情
報に限定されることなく、ビデオ付き音楽情報やゲーム
情報等のように、オーディオ情報とビデオ情報を含む外
部出力用情報を供給するものであれば同様に適用でき
る。そして、近年のマルチメディア技術の発展に伴い、
適用範囲はますます拡大していくと思われる。

【０００７】本発明は、情報圧縮を施した状態で供給さ
れたオーディオ情報及びビデオ情報の再生出力に際し、
いずれか一方の情報の再生処理を調整して両情報の同期
のとるための調整制御を、その調整した情報の再生結果
における影響を考慮して実行させることを目的とする。

【０００８】

【課題を解決するための手段及び発明の効果】上記目的
を達成するためになされた請求項１に記載の発明は、所
定の情報圧縮用符号化規格に基づき、所定のアクセス・
ユニット毎にいつ再生するかを示す時刻管理情報をヘッ
ダ部分に含む形式でパケット化した状態のオーディオ情
報及びビデオ情報が時系列に多重化されたトランスポー
トストリームを情報供給装置から供給してもらい、その
トランスポートストリームに基づいて所定の外部出力処
理を実行する情報出力装置において、情報供給装置から
供給されたトランスポートストリームを、オーディオ情
報及びビデオ情報のパケットに分離する分離手段と、該
分離手段によって分離されたオーディオ情報及びビデオ
情報の内、基本情報として設定されている方のパケット
より時刻管理情報を読み出し、再生すべき所定の時刻に
なった場合には、オーディオ情報あるいはビデオ情報を
再生して演奏音あるいは映像として出力する基本情報再
生出力手段と、分離手段によって分離されたオーディオ
情報及びビデオ情報の内、基本情報ではなく従属情報と
して設定されているオーディオ情報あるいはビデオ情報
を、基本情報再生出力手段において対応する基本情報と
してのオーディオ情報あるいはビデオ情報が復号化され
るタイミングを基準として再生し、演奏音あるいは映像
として出力する従属情報再生出力手段と、基本情報と従
属情報の再生タイミングが所定以上ずれた場合には、従
属情報の再生状態に影響を与える所定の物理量に基づく
所定条件が成立した場合に限って、再生タイミングのず
れを解消させる方向へ従属情報の再生処理を調整する再
生処理調整手段とを備えることを特徴とする情報出力装
置である。

【０００９】なお、オーディオ情報及びビデオ情報の内
のいずれが基本情報でいずれが従属情報であるかは、情
報供給装置側で予め設定されていてもよいが、請求項２
に示すように、分離手段によって分離されたオーディオ
側あるいはビデオ側いずれかのパケットを基本情報とし
て設定するかを指定するための指定手段を備えれば、情
報出力装置側で任意に設定できる。これは、例えばオー
ディオ情報を基本情報とする例えばカラオケ用の情報し
か使用しない場合であれば、情報供給装置側で一律に設
定するようにしてもよいが、一つの情報出力装置でオー
ディオ情報が基本情報である例えばカラオケ用の情報と
ビデオ情報が基本情報である例えば映画用の情報とを両
方再生出力できるようにした場合には、情報供給装置側
において、送信する情報の種類、すなわち上述の例であ
ればカラオケか映画かによって、オーディオ情報あるい
はビデオ情報のいずれを基本情報とするかを識別する情
報を設定しておかなくてはならず、情報作成時にいちい
ち指定して設定する処理が必要となる。それに対して、
情報出力装置側で指定手段により任意に指定できるよう
にしておけば、情報供給装置側からは送信対象の情報の
種類に関わりなく、従来通り送信するだけでよくなる。

【００１０】また、例えばカラオケ用の情報などのよう
に基本情報がオーディオ情報であり従属情報がビデオ情
報の場合には、請求項３に示すように、そのビデオ情報
における輝度情報および／または圧縮率情報を、従属情
報の再生状態に影響を与える所定の物理量として設定す
ることが考えられる。

【００１１】一方、例えば映画用の情報などのように基
本情報がビデオ情報であり従属情報がオーディオ情報の
場合には、請求項４に示すように、そのオーディオ情報
における音量情報を、従属情報の再生状態に影響を与え
る所定の物理量として設定することが考えられる。

【００１２】本発明の情報出力装置は、情報供給装置か
ら供給されたオーディオ情報及びビデオ情報を含むトラ
ンスポートストリームに基づく所定の外部出力処理をさ
せるのであるが、その際、次のように実行する。つま
り、トランスポートストリーム（以下、ＴＳと略記す
る。）で供給された情報を出力するため、情報出力装置
においては、分離手段がそのＴＳをオーディオ側及びビ
デオ側のパケットに分離する。そして、基本情報再生出
力手段が、その分離されたオーディオ情報及びビデオ情
報の内、基本情報として設定されている方のパケットよ
り時刻管理情報を読み出し、再生すべき所定の時刻にな
った場合にはオーディオ情報あるいはビデオ情報を再生
して演奏音あるいは映像として出力する。また、従属情
報再生出力手段は、従属情報として設定されているオー
ディオ情報あるいはビデオ情報を、基本情報再生出力手
段において対応する基本情報としてのオーディオ情報あ
るいはビデオ情報が復号化されるタイミングを基準とし
て再生し、演奏音あるいは映像として出力する。

【００１３】このように、オーディオ情報及びビデオ情
報を再生出力するのであるが、例えば情報の解凍・再生
の処理速度の違いや情報通信時におけるデータの損失等
に起因して、基本情報と従属情報の再生タイミングが所
定以上ずれることがある。この場合に、本発明の情報出
力装置では、再生処理調整手段が、従属情報の再生状態
に影響を与える所定の物理量に基づく所定条件が成立し
た場合に限って、再生タイミングのずれを解消させる方
向へ従属情報の再生処理を調整する。

【００１４】つまり、基本情報と従属情報の再生タイミ
ングのずれに対して再生タイミングのずれを解消させる
方向へ従属情報の再生処理を調整するのであるが、これ
を従属情報の再生状態に影響を与える所定の物理量に基
づく所定条件が成立した場合に限って実行するため、調
整した情報（従属情報）の再生結果における影響を考慮
した適切な調整が実現できるのである。

【００１５】例えば基本情報がオーディオ情報であり従
属情報がビデオ情報の場合には、従属情報の再生状態に
影響を与える所定の物理量として、ビデオ情報における
輝度情報および／または圧縮率情報を設定することが考
えられることを上述した。この場合には、例えば輝度情
報に基づき、再生画面が比較的暗いと推定できる場合に
限って調整することが好ましい。つまり、ビデオ情報の
調整としては、例えば一時的にビデオ情報の一部をスキ
ップして再生速度を早めたり、一時的にビデオ情報の一
部をフリーズして再生速度を遅らせたりすることとが考
えられるが、このようなスキップやフリーズを再生画面
が比較的明るいときに実行すると、調整による画面への
影響が目立ってしまう。そのため、輝度情報に基づいて
画面が比較的明るい場合には再生速度の調整をおこなわ
ず、比較的暗い場合に再生速度の調整を行えば、調整に
よる画面の影響が目立つことがない。

【００１６】なお、輝度情報に基づいて画面の明るさを
推定するようにしたが、圧縮率情報に基づいて推定した
り、あるいは輝度情報と圧縮率情報の両方に基づいて推
定するようにしてもよい。輝度情報は画面の明るさに関
するものであるが、圧縮率情報の場合には主に画面の動
きを反映したものとなる。つまり、一般的に圧縮率は動
きの多い画面では低く、動きの少ない画面では高くなる
傾向にある。そのため、例えば動きの多い画面でスキッ
プすると、視聴者がその動き自体を眼で追っていた場合
にスキップしたことが明瞭に認知されてしまう。したが
って、動きの少ない、特に静止画面のような状態にてス
キップしてもその影響は少なくなる。

【００１７】一方、基本情報がビデオ情報であり従属情
報がオーディオ情報の場合には、従属情報の再生状態に
影響を与える所定の物理量として、オーディオ情報にお
ける音量情報を設定することが考えられることを上述し
た。この場合には、例えば音量情報に基づき、再生音の
音量が小さい場合に限って調整すれば、その調整の影響
が聴く者に認識されにくいため、好ましい。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態を詳し
く説明する。 ［第１の実施形態］図１は情報出力装置６０の構成を示
すブロック図、図２はこの情報出力装置６０を含む情報
供給システム１０の構成を示すブロック図である。

【００１９】本情報供給システム１０は、情報供給装置
２０と情報出力装置６０とが、同軸ケーブル等で構成さ
れる伝送路９０を介して接続されて構成されている。ま
た、情報供給装置２０にはエンコード装置５０が付属し
ているが、このエンコード装置５０は情報供給装置２０
に着脱可能である。なお、図２では情報出力装置６０を
１台だけ図示してあるが、複数の情報出力装置６０が１
台の情報供給装置２０に接続されるのが普通である。ま
た、伝送路９０は、有線・無線のいかんを問わず、あら
ゆるものが考えられる。

【００２０】エンコード装置５０は、情報供給装置２０
が情報出力装置６０へ供給するための情報を外部より入
力にするために用いるものであり、ここでは、オーディ
オ及びビデオの３種類の情報をエンコードする。オーデ
ィオ及びビデオの情報については、外部から入力された
アナログのオーディオ信号やビデオ信号をエンコードし
てデジタルデータ列に変換し、ＭＰＥＧ２規格に従って
ＰＥＳパケット化する。ビデオＰＥＳパケット及びオー
ディオＰＥＳパケットは、図３（Ａ）及び（Ｂ）に示す
ように、ヘッダ部と実効データ部とから構成されてい
る。ヘッダ部は、パケットの開始コード・パケット長・
ヘッダ長・再生時刻管理情報などから構成される。な
お、パケットを識別するためのＰＩＤ（Ｐacket Ｉdent
ification ）はパケット開始コードに含まれている。

【００２１】続いて、情報供給装置２０の構成について
説明する。上記エンコード装置５０が情報供給装置２０
に接続されているときには、図１に示すように、エンコ
ード装置５０から出力されたビデオＰＥＳパケットは情
報供給装置２０の入力インタフェース２１に入力され、
同じく出力されたとしてのオーディオＰＥＳパケットは
入力インタフェース２２に入力される構造である。

【００２２】入力インタフェース２１に入力されたビデ
オＰＥＳパケットは、バス２４を介して映像記憶装置制
御部２７に転送され、映像記憶装置制御部２７により、
基本情報記憶手段又は従属情報記憶手段としての映像記
憶装置２８の所定の領域に書き込まれ記憶される。一
方、入力インタフェース２２に入力されたオーディオＰ
ＥＳパケットは、バス２４を介して音声記憶装置制御部
２５に転送され、音声記憶装置制御部２５により、基本
情報記憶手段または従属情報記憶手段としての音声記憶
装置２６の所定の領域に書き込まれ記憶される。映像記
憶装置２８及び音声記憶装置２６に記憶されているＰＥ
Ｓパケット化されたビデオデータ及びオーディオデータ
は、映像記憶装置制御部２７及び音声記憶装置制御部２
５によってそれぞれ読み出しが可能である。

【００２３】前記映像記憶装置制御部２７は、映像記憶
装置２８に記憶されているビデオデータを読み出してビ
デオ緩衝メモリ３１に転送し、前記音声記憶装置制御部
２５は、音声記憶装置２６に記憶されているオーディオ
データを読み出してオーディオ緩衝メモリ３２に転送す
ることができる。

【００２４】ビデオ緩衝メモリ３１では、映像記憶装置
制御部２７から送られてくるビデオデータを一旦記憶し
て、マルチプレクサ３５からの要求に応じて出力するこ
とができる。同様に、オーディオ緩衝メモリ３２は、音
声記憶装置制御部２５から送られてくるオーディオデー
タを一旦記憶して、マルチプレクサ３５からの要求に応
じて出力することができる。

【００２５】多重化手段としてのマルチプレクサ３５
は、２つの緩衝メモリ３１，３２から送られてくるビデ
オデータのＰＥＳパケット列とオーディオデータのＰＥ
Ｓパケット列とを多重化して１本のトランスポートスト
リーム（ＴＳ）とし、出力インタフェース３６を通して
ヘッドエンド３７に出力することができる。

【００２６】なお、図示は省略しているが、この情報供
給装置２０には、前述したビデオ緩衝メモリ３１、オー
ディオ緩衝メモリ３２、マルチプレクサ３５および出力
インタフェース３６からなるデータ出力機構が複数設け
られており、ヘッドエンド３７は、これら複数のデータ
出力機構から送られてくるＴＳを各出力インタフェース
３６に割り当てられているチャンネルにて伝送路９０に
送出することができる。また、ヘッドエンド３７は、モ
デム４７から送られてくる信号を双方向通信用のチャン
ネルで伝送路９０へ送出し、また、伝送路９０から双方
向通信用のチャンネルで入力された信号をモデム４７に
転送することができる。

【００２７】モデム４７は、バス２４を介して制御手段
としての入出力制御部３０に接続されており、入出力制
御部３０は、モデム４７およびヘッドエンド３７を介し
て、伝送路９０によって接続されている情報出力装置６
０にデータを送信したり、情報出力装置６０からのデー
タを受け取ることができる。また、入出力制御部３０
は、前述した情報供給装置２０の各部の動作を制御する
ことができる。

【００２８】次に、図１を参照して情報出力装置６０の
構成について説明する。図１に示すように、情報出力装
置６０は、情報出力装置６０の各部の動作を制御するた
めの制御手段及び選択手段としての中央制御装置６１を
備えている。この中央制御装置６１は周知のマイクロコ
ンピュータとして構成されている。中央制御装置６１に
は、キーボード（図示略）を有する入力手段としての入
力装置６３が接続されており、入力装置６３を操作すれ
ば、中央制御装置６１に各種のデータや指示を入力する
ことができる。また、中央制御装置６１は、モデム６２
を介して伝送路９０に接続されており、前述の双方向通
信用のチャンネルを使用して情報供給装置２０の入出力
制御部３０と通信することができる。

【００２９】さらに、伝送路９０には、受信手段として
のチューナ６４が接続されている。チューナ６４は、中
央制御装置６１の指示に応じてチャンネルを選択し、そ
の選択されたチャンネルで送信されてくる情報を受信す
ることができる。チューナ６４によって受信された情報
は、分離手段としてのシステムデコーダ６５に送出され
る。このシステムデコーダ６５は、チューナ６４によっ
て受信され転送されてくるＴＳ（トランスポートストリ
ーム）を、ビデオＰＥＳパケットとオーディオＰＥＳパ
ケットとに分離し、それぞれビデオバッファ７３、オー
ディオバッファ６６に出力することができる。

【００３０】オーディオデコーダ６７は、オーディオバ
ッファ６６よりオーディオＰＥＳパケットを読み出して
復号し、アナログのオーディオ信号としてアンプ６９に
出力することができる。アンプ６９は、オーディオ信号
を増幅してスピーカ７０に送り、音声出力させることが
できる。

【００３１】また、ビデオデコーダ７４は、ビデオバッ
ファ７３よりビデオＰＥＳパケットを読み出して復号
し、アナログのビデオ信号として映像表示装置７５に出
力することができる。この映像表示装置７５にはモニタ
テレビ７６が接続されており、このモニタテレビ７６に
おいて再生した映像を表示することができる。

【００３２】前述のオーディオデコーダ６７とビデオデ
コーダ７４は、基本情報再生出力手段又は従属情報再生
出力手段として機能する。また、再生時刻管理部８２
は、中央制御装置６１の指示にしたがって、オーディオ
情報とビデオ情報のどちらが基本情報であるかを判断
し、基本情報に対する従属情報のずれを基準として、そ
の従属情報側のずれを解消させるような再生の調整要求
を行なう。

【００３３】次に、本実施形態の情報供給システム１０
の動作について説明する。ここでは、情報供給装置２０
の映像記憶装置２８及び音声記憶装置２６には、カラオ
ケ用の背景映像のビデオデータ及びオーディオデータが
ＰＥＳパケット列状態で記憶されている。そして、カラ
オケ１曲に対する背景映像は複数のものが候補として準
備されており、所定の順番あるいはランダムに選択され
て出力されることとなっている。

【００３４】まず、情報出力装置６０の利用者が、入力
装置６３を操作して所望のカラオケ情報の供給を要求す
ると、中央制御装置６１はこのカラオケ情報の送出要求
をモデム６２を通し、伝送路９０を介して情報供給装置
２０に送信する。一方、情報供給装置２０では、入出力
制御部３０がモデム４７を通してこの要求を受信する。
次に、入出力制御部３０は、指定されたカラオケ情報の
オーディオデータと選択された背景映像のビデオデータ
の読み出しと入出力制御部３０が選定したデータ出力機
構のビデオ緩衝メモリ３１、オーディオ緩衝メモリ３２
への転送を、映像記憶装置制御部２７及び音声記憶装置
制御部２５にそれぞれ指示する。

【００３５】さらに、入出力制御部３０は、上記の選定
したデータ出力機構の出力インタフェース３６に割り当
てられているチャンネルを、映画情報を要求してきた情
報出力装置６０に通知する。情報出力装置６０では、中
央制御装置６１がチューナ６４にチャンネルの選択を指
示する。こうして情報出力装置６０は、そのチャンネル
によりＴＳ（トランスポートストリーム）が送信されて
くるのを待つ。

【００３６】次に、情報供給装置２０では、映像記憶装
置制御部２７が映像記憶装置２８から所定のビデオデー
タを読み出してビデオ緩衝メモリ３１に転送し、また音
声記憶装置制御部２５が音声記憶装置２６から所定のオ
ーディオデータを読み出してオーディオ緩衝メモリ３２
に転送する。

【００３７】ビデオ緩衝メモリ３１及びオーディオ緩衝
メモリ３２からそれぞれ読み出されたビデオデータ及び
オーディオデータはマルチプレクサ３５に入力する。マ
ルチプレクサ３５は、その２つの緩衝メモリ３１，３２
から送られてくるビデオデータのＰＥＳパケット列とオ
ーディオデータのＰＥＳパケット列とを多重化して１本
のＴＳを生成し、出力インタフェース３６を通してヘッ
ドエンド３７に出力する。ヘッドエンド３７は、このＴ
Ｓを所定のチャンネルにて伝送路９０へ送出する。

【００３８】情報出力装置６０では、チューナ６４が上
記指定されたチャンネルによりそのＴＳを受信すること
となる。このＴＳを受信した時点からの情報出力装置６
０における動作について、図４〜７も参照して説明す
る。

【００３９】図４は、システムデコーダ６５において実
行される処理である。まず最初のステップＳ１にて、Ｔ
Ｓパケットを取得したかどうかを判断する。ＴＳパケッ
トを取得した場合には、Ｓ２へ移行して、そのＰＩＤの
解読を行なう。ＴＳパケットは、オーディオＰＥＳ、ビ
デオＰＥＳのいずれであっても、図３の（Ａ），（Ｂ）
に示すように共通のヘッダ部を有しており、そのパケッ
ト開始コードにＰＩＤが含まれている。したがって、Ｓ
２ではそのＰＩＤを解読し、その解読結果に応じてＳ
３，Ｓ４の判断を行なう。

【００４０】つまり、取得したＴＳパケットがオーディ
オＰＥＳパケットであれば（Ｓ３：ＹＥＳ）、Ｓ５に移
行してオーディオバッファ６６に振り分ける。また、ビ
デオＰＥＳパケットであれば（Ｓ４：ＹＥＳ）、Ｓ６に
移行してビデオバッファ７３に振り分ける。

【００４１】Ｓ５，Ｓ６の処理終了後はＳ１に戻り、次
のＴＳパケットを待つ。このようにして、ＰＩＤに基づ
いてオーディオバッファ６６、ビデオバッファ７３に振
り分けられたオーディオＰＥＳパケット、ビデオＰＥＳ
パケットは、それぞれオーディオデコーダ６７、ビデオ
デコーダ７４に読み出されて所定の処理を実行する。

【００４２】なお、再生時刻管理部８２は、オーディオ
デコーダ６７及びビデオデコーダ７４から送られた再生
時刻管理情報に基づいて、ビデオデコーダ７４に再生時
における調整要求（フリーズ・スキップ・調整不要のい
ずれか）を行なう。まず、この再生時刻管理部８２での
処理について図５のフローチャートを参照して説明す
る。

【００４３】最初のステップＳ１１においては、ビデオ
デコーダ７４からビデオ再生時刻管理情報（Ａ）を取得
する。このビデオ再生時刻管理情報（Ａ）は、ビデオＰ
ＥＳパケット中のヘッダ部（図３（Ａ）参照）より読み
出したものである。同様に、Ｓ１２では、オーディオデ
コーダ６７からオーディオ再生時刻管理情報（Ｂ）を取
得する。このオーディオ再生時刻管理情報（Ｂ）は、オ
ーディオＰＥＳパケット中のヘッダ部（図３（Ｂ）参
照）より読み出したものである。

【００４４】そして、続くＳ１３では、ビデオ再生時刻
管理情報Ａとオーディオ再生時刻管理情報Ｂとの差分Ｃ
（＝Ａ−Ｂ）を算出し、Ｓ１４ではその差分Ｃが所定値
α１よりも大きいか否かを判断する。なお、所定値α１
は、α１＞０とする。もしも、差分Ｃが所定値α１より
も大きければ（Ｓ１４：ＹＥＳ）、Ｓ１８へ移行し、再
生の調整要求として「フリーズ要求」をビデオデコーダ
７４に出力する。

【００４５】一方、Ｓ１４で否定判断、すなわち差分Ｃ
が所定値α１以下である場合は、Ｓ１５へ移行し、差分
Ｃが所定値α２よりも大きいか否かを判断する。なお、
所定値α２はα１よりも小さい値であり、α２＞０であ
る。もしも、差分Ｃが所定値α２よりも大きければ（Ｓ
１５：ＹＥＳ）、Ｓ１６へ移行し、ビデオデコーダ７４
から輝度情報（Ｙ）を取得する。

【００４６】そして、Ｓ１７にて、その輝度情報Ｙが所
定の閾値γ（Ｙ）以下であるかどうかを判断する。もし
も、輝度情報Ｙが所定の閾値γ（Ｙ）以下であれば（Ｓ
１７：ＹＥＳ）、Ｓ１８へ移行してフリーズ要求をビデ
オデコーダ７４に出力することとなるが、輝度情報Ｙが
所定の閾値γ（Ｙ）よりも大きければ（Ｓ１７：Ｎ
Ｏ）、Ｓ１９へ移行し、再生の調整要求として「調整不
要」をビデオデコーダ７４に出力する。

【００４７】また、Ｓ１５で否定判断である場合には、
Ｓ２０へ移行して、差分Ｃが所定値α２以下であり且つ
所定値β２以上の所定範囲内であるかどうかを判断す
る。所定値β２はα２よりも小さい値であり、β２＜０
である。もしも、差分Ｃが上述の所定範囲内である場合
（α２≧Ｃ≧β２）には（Ｓ２０：ＹＥＳ）、Ｓ１９へ
移行して再生の調整要求として「調整不要」をビデオデ
コーダ７４に出力する。

【００４８】一方、Ｓ２０で否定判断、つまりここでは
差分Ｃが所定値β２より小さい場合を意味し、この場合
にはＳ２１へ移行して、さらに差分Ｃが所定値β１より
も小さいかどうかを判断する。なお、所定値β１はβ２
よりも小さい値である。もしも、差分Ｃが所定値β１よ
りも小さければ（Ｓ２１：ＹＥＳ）、そのまますぐにＳ
２４へ移行し、再生の調整要求として「スキップ要求」
をビデオデコーダ７４に出力する。

【００４９】しかし、Ｓ２１で否定判断、つまりβ２＞
Ｃ≧β１の場合には、さらに輝度情報Ｙに関する条件が
成立した場合にだけＳ２４へ移行する。つまり、Ｓ２２
にて輝度情報Ｙを取得し、Ｓ２３にて、その輝度情報Ｙ
が所定の閾値γ（Ｙ）以下であるかどうかを判断する。
もしも、輝度情報Ｙが所定の閾値γ（Ｙ）以下であれば
（Ｓ２３：ＹＥＳ）、Ｓ２４へ移行してスキップ要求を
ビデオデコーダ７４に出力するが、輝度情報Ｙが所定の
閾値γ（Ｙ）よりも大きければ（Ｓ２３：ＮＯ）、Ｓ１
９へ移行して再生の調整要求として「調整不要」をビデ
オデコーダ７４に出力する。

【００５０】このように、Ｓ１８，Ｓ１９，Ｓ２４にお
いていずれかの調整要求をしてから本処理は終了するの
であるが、ここで、差分Ｃの大きさと輝度情報Ｙの大き
さに基づく条件に関して整理しておく。なお、差分Ｃを
比較する所定値は、上述の説明でも判る通りα１＞α２
＞０＞β２＞β１である。 （１）Ｃ＞α１の場合は無条件にフリーズ要求となり、
α１≧Ｃ＞α２の場合は、さらにＹ≦γ（Ｙ）が成立し
た場合に限ってフリーズ要求となる。 （２）Ｃ＜β１の場合は無条件にスキップ要求となり、
β１≦Ｃ＜β２の場合は、さらにＹ≦γ（Ｙ）が成立し
た場合に限ってスキップ要求となる。 （３）上記（１）及び（２）以外の場合には調整不要と
なる。つまり、α１≧Ｃ＞α２であるがＹ＞γ（Ｙ）の
場合、α２≧Ｃ≧β２の場合、β１≦Ｃ＜β２であるが
Ｙ＞γ（Ｙ）の場合である。

【００５１】次に、オーディオデコーダ６７での処理を
図６を参照して説明する。まずＳ３１にて、オーディオ
バッファ６６よりオーディオＰＥＳパケットを読み出
し、続くＳ３２にて、そのオーディオＰＥＳパケットの
中のヘッダ部（図３（Ｂ）参照）より再生時刻管理情報
を読み出す。

【００５２】そしてＳ３３では、再生すべき時刻になっ
ているかどうかを判断する。このＳ３３での再生時刻か
どうかは、基本の同期信号がリセットされてからオーデ
ィオデコーダ６７が再生処理を開始し、この基本となる
同期信号が再生時刻管理情報と一致した場合にＳ３３で
肯定判断となる。

【００５３】Ｓ３３で肯定判断、つまり再生時刻になっ
ていれば、Ｓ３４に移行し、再生時刻管理情報を再生時
刻管理部８２に送る。この再生時刻管理情報が上述した
図５のＳ１２で取得されるオーディオ再生時刻管理情報
Ｂとなる。その後、Ｓ３５に移行し、オーディオＰＥＳ
パケットを復号してアナログのオーディオ信号としてア
ンプ６９に出力する。

【００５４】次に、ビデオデコーダ７４での処理を図６
を参照して説明する。まずＳ４１にて、ビデオＰＥＳパ
ケットの残りがあるかどうかを判断し、もし残りがなけ
れば（Ｓ４１：ＮＯ）、Ｓ４２へ移行して、ビデオバッ
ファ７３よりビデオＰＥＳパケットを読み出し、続くＳ
４３にて、そのＰＥＳパケットの中のヘッダ部（図３
（Ａ）参照）より読み出した再生時刻管理情報を再生時
刻管理部８２に送る。この再生時刻管理情報が上述した
図５のＳ１１で取得されるビデオ再生時刻管理情報Ａと
なる。Ｓ４３の処理後、あるいはＳ４１で肯定判断つま
り前回のビデオＰＥＳパケットの残りがあった場合に
は、Ｓ４４にて復号処理を実行する。

【００５５】このＳ４４での復号処理を行なうと、復号
した所定単位のビデオ情報に関する輝度情報が検知でき
るので、Ｓ４５にて、その輝度情報を再生時刻管理部８
２に送る。この輝度情報が上述した図５のＳ１６あるい
はＳ２２で取得される輝度情報Ｙとなる。

【００５６】Ｓ４５の処理後は、Ｓ４６へ移行して１フ
レームの復号が完了したかどうかを判断する。もしも完
了していなければ（Ｓ４６：ＮＯ）、Ｓ４１へ戻るが、
完了していれば（Ｓ４６：ＹＥＳ）、Ｓ４７へ移行し
て、再生時刻管理部８２からの調整要求を判断する。

【００５７】Ｓ４７にて調整要求が「調整不要」だと判
断された場合は、Ｓ４８へ移行して通常通り復号した１
フレームを映像表示装置７５に出力する。この出力され
た１フレーム分のアナログビデオ信号はモニタテレビ７
６に表示されることとなる。しかし、調整要求が「スキ
ップ要求」であると判断された場合は、そのままＳ４１
へ戻るので、その１フレーム分の出力は実行されないこ
ととなる。逆に、調整要求が「フリーズ要求」であると
判断された場合は、Ｓ４９へ移行して１フレーム分の出
力をした後、さらにＳ４８へ移行して１フレーム分の出
力を実行する。

【００５８】このように、本情報出力装置６０において
は、トランスポートストリーム形式で供給されたものを
オーディオ側及びビデオ側のＰＥＳパケットに分離し、
オーディオ情報及びビデオ情報として再生出力するので
あるが、例えば情報の解凍・再生の処理速度の違いや情
報通信時におけるデータの損失等に起因して、オーディ
オ情報とビデオ情報の再生タイミングが所定以上ずれる
ことがある。この場合に、本第１の実施形態では、ビデ
オ情報側を従属情報として、その再生状態に影響を与え
る所定の物理量に基づく所定条件が成立した場合に限っ
て、再生タイミングのずれを解消させる方向へビデオ情
報の再生処理を調整している。

【００５９】つまり、上述した図５の処理の結果を整理
して説明した（１）〜（３）の場合の（１）及び（２）
の場合である。つまり、基本的にはビデオとオーディオ
の再生タイミングの差である差分Ｃに基づき、ビデオの
再生がオーディオの再生より遅れている場合には、ビデ
オデコーダ７４にビデオ情報から一画面再生分の情報
（１フレーム）を読み飛ばす（フレームスキップ）よう
にさせ、ビデオ再生がオーディオ再生より早い場合に
は、ビデオデコーダ７４にビデオ情報から１フレーム分
を繰り返して再生（フレームフリーズ）させるのであ
る。

【００６０】但し、単に差分Ｃだけに基づくのではな
く、輝度情報Ｙにも基づいている。つまり、上記図５の
処理でいえば、α１≧Ｃ＞α２の場合は、さらにＹ≦γ
（Ｙ）が成立した場合に限ってフリーズ要求となり、成
立しなければ調整をしない。また、β１≦Ｃ＜β２の場
合は、さらにＹ≦γ（Ｙ）が成立した場合に限ってスキ
ップ要求となり、成立しなければ調整をしない。すなわ
ち、輝度情報Ｙが所定値γ（Ｙ）以下であることが加重
要件となっているのである。

【００６１】これは、上記α１≧Ｃ＞α２の場合及びβ
１≦Ｃ＜β２の場合は、再生画面が比較的暗いと推定で
きる場合に限って調整することを意味している。ビデオ
情報の調整としてのスキップやフリーズを再生画面が比
較的明るいときに実行すると、調整による画面への影響
が目立ってしまう。そのため、輝度情報に基づいて画面
が比較的明るい場合には再生速度の調整をおこなわず、
比較的暗い場合に再生速度の調整を行うのである。これ
により、調整による画面の影響が目立つことがない。

【００６２】なお、第１の実施形態では、輝度情報に基
づいて画面の明るさを推定するようにしたが、圧縮率情
報に基づいて推定したり、あるいは輝度情報と圧縮率情
報の両方に基づいて推定するようにしてもよい。輝度情
報は画面の明るさに関するものであるが、圧縮率情報の
場合には主に画面の動きを反映したものとなる。つま
り、一般的に圧縮率は動きの多い画面では低く、動きの
少ない画面では高くなる傾向にある。そのため、例えば
動きの多い画面でスキップすると、視聴者がその動き自
体を眼で追っていた場合にスキップしたことが明瞭に認
知されてしまう。したがって、動きの少ない、特に静止
画面のような状態にてスキップしてもその影響は少なく
なる。

【００６３】以上説明した第１の実施形態では、カラオ
ケ用の情報を供給する場合を例にとったため、オーディ
オ情報を基本情報とし、ビデオ情報を従属情報とした例
を説明したが、例えば映画用の情報等であれば、逆にビ
デオ情報の方がプライオリティが高いと考えられるため
これを基本情報とし、オーディオ情報を従属情報として
捉えた方がよい場合もある。

【００６４】そこで、ビデオ情報が基本情報でオーディ
オ情報を従属情報の場合の第２の実施形態について、以
下、説明する。 ［第２の実施形態］基本的なハード構成は上記第１の実
施形態と何等変わらないので、機能説明等は省略する
が、例えば、情報供給装置２０の映像記憶装置２８及び
音声記憶装置２６には、映画のビデオデータ及びオーデ
ィオデータがＰＥＳパケット列状態で記憶されており、
音声記憶装置２６には、その映画に対応する３種類（日
本語、英語、仏語）のオーディオデータがＰＥＳパケッ
ト列状態で記憶されていることを前提とし、情報出力装
置６０から所望の言語での音声を指定して映画のための
情報を送信してもらう場合を例にして動作説明をする。
また、動作説明としては、上記第１の実施形態の図５〜
図７での処理に対応するものとして、図８〜図１０のフ
ローチャートを用いて説明する。

【００６５】まず、再生時刻管理部８２での処理を図８
のフローチャートを参照して説明する。本別実施形態の
場合、再生時刻管理部８２は、オーディオデコーダ６７
及びビデオデコーダ７４から送られた再生時刻管理情報
に基づいて、オーディオデコーダ６７に再生時における
調整要求（低速化・高速化・調整不要のいずれか）を行
なう。

【００６６】図８の最初のステップＳ１１１において
は、オーディオデコーダ６７からオーディオ再生時刻管
理情報（Ｂ）を取得し、Ｓ１１２では、ビデオデコーダ
７４からビデオ再生時刻管理情報（Ａ）を取得する。そ
して、続くＳ１１３では、オーディオ再生時刻管理情報
Ｂとビデオ再生時刻管理情報Ａとの差分Ｄ（＝Ｂ−Ａ）
を算出する。

【００６７】Ｓ１１４ではその差分Ｄが所定値α11より
も大きいか否かを判断する。もしも、差分Ｄが所定値α
11よりも大きければ（Ｓ１１４：ＹＥＳ）、Ｓ１１８へ
移行し、再生の調整要求として「低速化要求」をオーデ
ィオデコーダ６７に出力する。一方、Ｓ１１４で否定判
断、すなわち差分Ｄが所定値α11以下である場合は、Ｓ
１１５へ移行し、差分Ｄが所定値α12よりも大きいか否
かを判断する。なお、所定値α12はα11よりも小さい値
であり、α12＞０である。もしも、差分Ｄが所定値α12
よりも大きければ（Ｓ１１５：ＹＥＳ）、Ｓ１１６へ移
行し、オーディオデコーダ６７から音量情報（Ｖ）を取
得する。

【００６８】そして、Ｓ１１７にて、その音量情報Ｖが
所定の閾値γ（Ｖ）以下であるかどうかを判断する。も
しも、音量情報Ｖが所定の閾値γ（Ｖ）以下であれば
（Ｓ１１７：ＹＥＳ）、Ｓ１１８へ移行して低速化要求
をオーディオデコーダ６７に出力することとなるが、音
量情報Ｖが所定の閾値γ（Ｖ）よりも大きければ（Ｓ１
１７：ＮＯ）、Ｓ１１９へ移行して再生の調整要求とし
て「調整不要」をオーディオデコーダ６７に出力する。

【００６９】また、Ｓ１１５で否定判断である場合に
は、Ｓ１２０へ移行して、差分Ｄが所定値α12以下であ
り且つ所定値β12以上の所定範囲内であるかどうかを判
断する。所定値β12はα12よりも小さい値であり、β12
＜０である。もしも、差分Ｄが上述の所定範囲内である
場合（α12≧Ｄ≧β12）には（Ｓ１２０：ＹＥＳ）、Ｓ
１１９へ移行して再生の調整要求として「調整不要」を
オーディオデコーダ６７に出力する。一方、Ｓ１２０で
否定判断、つまりここでは差分Ｄが所定値β12より小さ
い場合を意味し、この場合にはＳ１２１へ移行して、さ
らに差分Ｄが所定値β11よりも小さいかどうかを判断す
る。なお、所定値β11はβ12よりも小さい値である。も
しも、差分Ｄが所定値β11よりも小さければ（Ｓ１２
１：ＹＥＳ）、そのまますぐにＳ１２４へ移行し、再生
の調整要求として「高速化要求」をオーディオデコーダ
６７に出力する。

【００７０】しかし、Ｓ１２１で否定判断、つまりβ12
＞Ｄ≧β11の場合には、さらに音量情報Ｖに関する条件
が成立した場合にだけＳ１２４へ移行する。つまり、Ｓ
１２２にて音量情報Ｖを取得し、Ｓ１２３にて、その音
量情報Ｖが所定の閾値γ（Ｖ）以下であるかどうかを判
断する。もしも、音量情報Ｖが所定の閾値γ（Ｖ）以下
であれば（Ｓ１２３：ＹＥＳ）、Ｓ１２４へ移行して高
速化要求をオーディオデコーダ６７に出力するが、音量
情報Ｖが所定の閾値γ（Ｖ）よりも大きければ（Ｓ１２
３：ＮＯ）、Ｓ１１９へ移行して再生の調整要求として
「調整不要」をオーディオデコーダ６７に出力する。

【００７１】このように、Ｓ１１８、Ｓ１１９、Ｓ１２
４のいずれかの要求をして本処理は終了するのである
が、ここで、差分Ｄの大きさと音量情報Ｖの大きさに基
づく条件に関して整理しておく。なお、差分Ｄを比較す
る所定値は、上述の説明でも判る通りα11＞α12＞０＞
β12＞β11である。 （イ）Ｄ＞α11の場合は無条件に低速化要求となり、α
11≧Ｄ＞α12の場合は、さらにＶ≦γ（Ｖ）が成立した
場合に限って低速化要求となる。 （ロ）Ｄ＜β11の場合は無条件に高速化要求となり、β
11≦Ｄ＜β12の場合は、さらにＶ≦γ（Ｖ）が成立した
場合に限って高速化要求となる。 （ハ）上記（イ）及び（ロ）以外の場合には調整不要と
なる。つまり、α11≧Ｄ＞α12であるがＶ＞γ（Ｖ）の
場合、α12≧Ｄ≧β12の場合、β11≦Ｄ＜β12であるが
Ｖ＞γ（Ｖ）の場合である。

【００７２】次に、ビデオデコーダ７４での処理を図９
を参照して説明する。まずＳ１３１にて、ビデオバッフ
ァ７３よりビデオＰＥＳパケットを読み出し、続くＳ１
３２にて、そのビデオＰＥＳパケットの中のヘッダ部
（図３（Ａ）参照）より再生時刻管理情報を読み出す。

【００７３】そしてＳ１３３では、再生すべき時刻にな
っているかどうかを判断し、再生時刻になっていれば
（Ｓ１３３：ＹＥＳ）、Ｓ１３４に移行し、再生時刻管
理情報を再生時刻管理部８２に送る。この再生時刻管理
情報が上述した図８のＳ１１２で取得されるビデオ再生
時刻管理情報Ａとなる。その後、Ｓ１３５に移行し、ビ
デオＰＥＳパケットを復号してアナログのビデオ信号と
して映像表示装置７５に出力する。

【００７４】次に、オーディオデコーダ６７での処理を
図１０を参照して説明する。まずＳ１４１にて、オーデ
ィオバッファ６６よりオーディオＰＥＳパケットを読み
出し、続くＳ１４２にて、そのＰＥＳパケットの中のヘ
ッダ部（図３（Ｂ）参照）より読み出した再生時刻管理
情報を再生時刻管理部８２に送る。この再生時刻管理情
報が上述した図５のＳ１１１で取得されるオーディオ再
生時刻管理情報Ｂとなる。Ｓ１４２の処理後、Ｓ１４３
にて復号処理を実行する。

【００７５】このＳ１４４での復号処理を行なうと、復
号した所定単位のオーディオ情報に関する音量情報が検
知できるので、Ｓ１４４にて、その音量情報を再生時刻
管理部８２に送る。この音量情報が上述した図５のＳ１
１６あるいはＳ１２２で取得される音量情報Ｖとなる。

【００７６】Ｓ１４４の処理後は、Ｓ１４５へ移行し
て、再生時刻管理部８２からの調整要求を判断する。Ｓ
１４５にて調整要求が「調整不要」だと判断された場合
は、Ｓ１４７へ移行して通常通り復号したオーディオ情
報をアンプ６９に出力する。この出力されたオーディオ
情報はスピーカ７０より出力されることとなる。また、
調整要求が「低速化要求」であると判断された場合は、
Ｓ１４６へ移行して、通常よりも低速で出力されるよう
な処理を実行する。逆に、調整要求が「高速化要求」で
あると判断された場合は、Ｓ１４８へ移行して通常より
も高速で出力されるような処理を実行する。

【００７７】このように、第２の実施形態では、オーデ
ィオ情報側を従属情報とし、その再生状態に影響を与え
る所定の物理量に基づく所定条件が成立した場合に限っ
て、再生タイミングのずれを解消させる方向へオーディ
オ情報の再生処理を調整している。

【００７８】つまり、上述した図８の処理の結果を整理
して説明した（イ）〜（ハ）の場合の（イ）及び（ハ）
の場合である。基本的にはオーディオとビデオの再生タ
イミングの差である差分Ｄに基づき、オーディオの再生
がビデオの再生より遅れている場合には、オーディオデ
コーダ６７からの出力が通常よりも低速となるように制
御し、オーディオ再生がビデオ再生より早い場合には、
オーディオデコーダ６７からの出力が通常よりも高速と
なるように制御するのである。

【００７９】但し、単に差分Ｄだけに基づくのではな
く、音量情報Ｖにも基づいている。つまり、上記図８の
処理でいえば、α11≧Ｄ＞α12の場合は、さらにＶ≦γ
（Ｖ）が成立した場合に限って低速化要求となり、成立
しなければ調整をしない。また、β11≦Ｄ＜β12の場合
は、さらにＶ≦γ（Ｖ）が成立した場合に限って高速化
要求となり、成立しなければ調整をしない。すなわち、
音量情報Ｖが所定値γ（Ｖ）以下であることが加重要件
となっているのである。

【００８０】これは、上記α11≧Ｄ＞α12の場合及びβ
11≦Ｄ＜β12の場合は、再生音の音量が比較的小さい推
定できる場合に限って調整することを意味している。再
生音の音量が小さい場合に限って調整すれば、その調整
の影響が聴く者に認識されにくいため、好ましいからで
ある。

【００８１】以上、本発明の実施の形態について説明し
たが、本発明はこのような実施形態に限定されるもので
はなく、本発明の主旨を逸脱しない範囲でさまざまに実
施できることは言うまでもない。例えば、上記各実施形
態では、所定の情報圧縮用符号化規格としてＭＰＥＧ２
を例にとったがそれに限定されることはなく、ＭＰＥＧ
１やＪＰＥＧ等でもよい。

【図面の簡単な説明】

【図１】 情報出力装置の構成を示すブロック図であ
る。

【図２】 情報供給システムの構成を示すブロック図で
ある。

【図３】 （Ａ）はビデオＰＥＳパケットのデータ構成
を示す説明図、（Ｂ）はオーディオＰＥＳパケットのデ
ータ構成を示す説明図である。

【図４】 情報出力装置のシステムデコーダにおいて実
行される処理を示すフローチャートである。

【図５】 第１の実施形態の場合の再生時刻管理部にお
いて実行される処理を示すフローチャートである。

【図６】 第１の実施形態の場合のオーディオデコーダ
において実行される処理を示すフローチャートである。

【図７】 第１の実施形態の場合のビデオデコーダにお
いて実行される処理を示すフローチャートである。

【図８】 第２の実施形態の場合の再生時刻管理部にお
いて実行される処理を示すフローチャートである。

【図９】 第２実施形態の場合のビデオデコーダにおい
て実行される処理を示すフローチャートである。

【図１０】 第２の実施形態の場合のオーディオデコー
ダにおいて実行される処理を示すフローチャートであ
る。

【符号の説明】

１０…情報供給システム ２０…情報供給装
置 ２５…音声記憶装置制御部 ２６…音声記憶装
置 ２７…映像記憶装置制御部 ２８…映像記憶装
置 ３５…マルチプレクサ ３６…出力インタ
フェース ６０…情報出力装置 ６１…中央制御装
置 ６２…モデム ６３…入力装置 ６４…チューナ ６５…システムデ
コーダ ６６…オーディオバッファ ６７…オーディオ
デコーダ ６９…アンプ ７０…スピーカ ７３…ビデオバッファ ７４…ビデオデコ
ーダ ７５…映像表示装置 ７６…モニタテレ
ビ ８２…再生時刻管理部 ９０…伝送路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 所定の情報圧縮用符号化規格に基づき、
   所定のアクセス・ユニット毎にいつ再生するかを示す時
   刻管理情報をヘッダ部分に含む形式でパケット化した状
   態のオーディオ情報及びビデオ情報が時系列に多重化さ
   れたトランスポートストリームを情報供給装置から供給
   してもらい、そのトランスポートストリームに基づいて
   所定の外部出力処理を実行する情報出力装置において、 前記情報供給装置から供給されたトランスポートストリ
   ームを、オーディオ情報及びビデオ情報のパケットに分
   離する分離手段と、 該分離手段によって分離されたオーディオ情報及びビデ
   オ情報の内、基本情報として設定されている方のパケッ
   トより前記時刻管理情報を読み出し、再生すべき所定の
   時刻になった場合には、オーディオ情報あるいはビデオ
   情報を再生して演奏音あるいは映像として出力する基本
   情報再生出力手段と、 前記分離手段によって分離されたオーディオ情報及びビ
   デオ情報の内、前記基本情報ではなく従属情報として設
   定されているオーディオ情報あるいはビデオ情報を、前
   記基本情報再生出力手段において対応する基本情報とし
   てのオーディオ情報あるいはビデオ情報が復号化される
   タイミングを基準として再生し、演奏音あるいは映像と
   して出力する従属情報再生出力手段と、 前記基本情報と従属情報の再生タイミングが所定以上ず
   れた場合には、前記従属情報の再生状態に影響を与える
   所定の物理量に基づく所定条件が成立した場合に限っ
   て、前記再生タイミングのずれを解消させる方向へ前記
   従属情報の再生処理を調整する再生処理調整手段と、 を備えることを特徴とする情報出力装置。
2. 【請求項２】 前記分離手段によって分離されたオーデ
   ィオ側あるいはビデオ側いずれかのパケットを前記基本
   情報として設定するかを指定するための指定手段を備え
   ることを特徴とする請求項１に記載の情報出力装置。
3. 【請求項３】 前記基本情報がオーディオ情報であり、
   前記従属情報がビデオ情報の場合には、そのビデオ情報
   における輝度情報および／または圧縮率情報が、前記従
   属情報の再生状態に影響を与える所定の物理量として設
   定されていることを特徴とする請求項１又は２に記載の
   情報出力装置。
4. 【請求項４】 前記基本情報がビデオ情報であり、前記
   従属情報がオーディオ情報の場合には、そのオーディオ
   情報における音量情報が、前記従属情報の再生状態に影
   響を与える所定の物理量として設定されていることを特
   徴とする請求項１又は２に記載の情報出力装置。