JP5087985B2

JP5087985B2 - データ処理装置、データ処理方法、及びプログラム

Info

Publication number: JP5087985B2
Application number: JP2007119096A
Authority: JP
Inventors: 雅弘大塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-27
Filing date: 2007-04-27
Publication date: 2012-12-05
Anticipated expiration: 2027-04-27
Also published as: JP2008278190A; US20080267590A1

Description

本発明は、データ処理装置、データ処理方法、及びプログラムに関し、特に、例えば、TV(テレビジョン受像機)等の装置のコストを削減することができるようにするデータ処理装置、データ処理方法、及びプログラムに関する。

図１は、従来のTVの一例の構成を示すブロック図である。

外部入力部１１には、例えば、地上ディジタル放送で送信されてくる、MPEG(Moving Picture Experts Group)の規格に準拠したMPEGストリームとしての、例えば、S(Transport Stream)が入力される。外部入力部１１は、MPEGストリームを、多重分離部１２に供給す
る。

多重分離部１２は、外部入力部１１からのMPEGストリームから、例えば、画像(video)データのES(Elementary Stream)（以下、適宜、画像ストリームともいう）と、音声(audio)データのES（以下、適宜、音声ストリームともいう）とを分離し、メモリ部１３に供給する。

メモリ部１３は、多重分離部１２から供給される画像ストリームと音声ストリームとを一時記憶し（バッファリングし）、デコーダ部１４に供給する。

すなわち、メモリ部１３は、後段のデコーダ部１４に供給される画像ストリーム及び音声ストリームのデータ量を調整するために、多重分離部１２から供給される画像ストリームと音声ストリームとを一時記憶し、デコーダ部１４に供給する。

デコーダ部１４は、メモリ部１３からの画像ストリームを、例えば、MPEGの規格に準拠した方式でデコードし、その結果得られるベースバンドの画像データを、外部出力部１５に供給する。また、デコーダ部１４は、メモリ部１３からの音声ストリームをデコードし、その結果得られるベースバンドの音声データを、外部出力部１５に供給する。

外部出力部１５は、デコーダ部１４からの画像データを、図示せぬディスプレイに供給して、対応する画像を表示させるとともに、デコーダ部１４からの音声データを、図示せぬスピーカに供給して、対応する音声（音）を出力させる。

次に、図２は、図１のメモリ部１３及びデコーダ部１４の構成例を示すブロック図である。

メモリ部１３は、画像バッファ１３Ｖ、及び音声バッファ１３Ａから構成される。

画像バッファ１３Ｖには、多重分離部１２から画像ストリームが供給される。画像バッファ１３Ｖは、多重分離部１２からの画像ストリームを一時記憶し、デコーダ部１４に供給する。なお、画像バッファ１３Ｖは、いわゆるVBV(Video Buffering Verifier)バッファに相当する。

音声バッファ１３Ａには、多重分離部１２から音声ストリームが供給される。音声バッファ１３Ａは、多重分離部１２からの音声ストリームを一時記憶し、デコーダ部１４に供給する。

デコーダ部１４は、画像デコーダ１４Ｖ、及び音声デコーダ１４Ａから構成される。

画像デコーダ１４Ｖには、画像バッファ１３Ｖから画像ストリームが供給される。画像デコーダ１４Ｖは、画像バッファ１３Ｖからの画像ストリームをデコードし、その結果得られる画像データを出力する。

音声デコーダ１４Ａには、音声バッファ１３Ａから音声ストリームが供給される。音声デコーダ１４Ａは、音声バッファ１３Ａからの音声ストリームをデコードし、その結果得られる音声データを出力する。

ところで、TVでは、地上ディジタル放送等で放送されてくるコンテンツの他に、コンテンツが記録された記録媒体からコンテンツを再生する再生装置、その他の外部機器（外部の機器）から入力されるコンテンツの画像が表示されることがある。

ここで、外部機器から入力されるコンテンツとしては、例えば、DVD(Digital Versatile Disc)に記録されたコンテンツ（DVDコンテンツ）や、ディジタルカメラ（スチルカメラ、ビデオカメラ）で得られたMPEG1等に準拠したコンテンツ等の、いわゆるSD(Standard Definition)画質の画像（以下、適宜、SD画像という）のコンテンツがある。

一方、近年においては、HD(High Definition)画質の画像（以下、適宜、HD画像という）の撮影が可能なディジタルカメラや、ディジタル放送番組としてのHD画像のコンテンツの録画が可能な録画装置、ブルーレイディスク等のHD画像のコンテンツの記録が可能な可能なメディア等が普及しつつある。

さらに、PC(Personal Computer)の高機能化により、HD画像のコンテンツを扱うことができる編集ツールが登場し、編集によって、SD画像とHD画像とが入り混じったコンテンツが作成されることが予想される。

したがって、今後は、TVにおいて、SD画像のコンテンツ（以下、適宜、SDコンテンツという）の他、HD画像のコンテンツ（以下、適宜、HDコンテンツという）や、SD画像とHD画像とが入り混じったコンテンツを扱う必要が生じることが予想される。

そこで、特許文献１には、SD画像のMPEGストリームと、HD画像のMPEGストリームとの両方のデコード（復号）を行うことが可能な装置が開示されている。

特開2000-165816号公報

TVにおいて、SDコンテンツ、HDコンテンツ、及びSDコンテンツとHDコンテンツとが入り混じったコンテンツのすべて、つまり、SDコンテンツとHDコンテンツとの両方を扱う方法としては、TVに、SDコンテンツを処理するブロックと、HDコンテンツを処理するブロックとの両方を設ける方法が考えられる。

図３は、そのようなTVの構成例を示している。

図３において、外部入力部２１には、SDコンテンツ、又はHDコンテンツのMPEGストリームが入力される。外部入力部２１は、MPEGストリームが、SDコンテンツのMPEGストリームである場合、そのMPEGストリームを、SD処理部２２に供給し、MPEGストリームがHDコンテンツのMPEGストリームである場合、そのMPEGストリームを、HD処理部２３に供給する。

SD処理部２２は、多重分離部３２、メモリ部３３、デコーダ部３４、及び外部出力部３５で構成され、外部入力部２１からのSDコンテンツのMPEGストリームを処理する。

すなわち、SD処理部２２を構成する多重分離部３２、メモリ部３３、デコーダ部３４、及び外部出力部３５は、外部入力部２１からのSDコンテンツのMPEGストリームに対して、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５と同様の処理を施して、その結果得られるSD画像と、そのSD画像に付随する音声（以下、適宜、SD音声という）とを出力する。

ここで、多重分離部３２、メモリ部３３、デコーダ部３４、及び外部出力部３５は、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５とそれぞれ同様に構成されるため、その説明は省略する。

一方、HD処理部２３は、多重分離部４２、メモリ部４３、デコーダ部４４、及び外部出力部４５で構成され、外部入力部２１からのHDコンテンツのMPEGストリームを処理する。

すなわち、HD処理部２３を構成する多重分離部４２、メモリ部４３、デコーダ部４４、及び外部出力部４５は、外部入力部２１からのHDコンテンツのMPEGストリームに対して、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５と同様の処理を施して、その結果得られるHD画像と、そのHD画像に付随する音声（以下、適宜、HD音声という）とを出力する。

ここで、多重分離部４２、メモリ部４３、デコーダ部４４、及び外部出力部４５は、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５とそれぞれ同様に構成されるため、その説明は省略する。

以上のように、TVに、SDコンテンツのMPEGストリームを処理するブロックとしてのSD処理部２２と、HDコンテンツを処理するブロックとしてのHD処理部２３とを設ける場合には、TVのコストが大になる。さらに、回路基板の面積が増加し、TVが大型化する。また、SDコンテンツとHDコンテンツとが入り混じったコンテンツのMPEGストリームを適切に処理することができないことがあり得ることが予想される。

TVのコストが大になること等を防止するには、図１に示したように、MPEGストリームを処理するブロック（以下、適宜、MPEG処理ブロックという）としての多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５を、１セットだけ、TVに設けることが望ましい。

但し、TVに、１セットのMPEG処理ブロックとしての多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５を設けて、SDコンテンツとHDコンテンツの両方のMPEGストリームを処理する場合には、SDコンテンツと、HDコンテンツとでは、メモリ部１３に必要とされる記憶容量が異なるため、メモリ部１３の記憶容量、すなわち、図２の画像バッファ１３Ｖ及び音声バッファ１３Ａのバッファサイズを大にする必要がある。

ここで、図４を参照し、画像（SD画像及びHD画像）を例にして、SDコンテンツとHDコンテンツのそれぞれに必要な画像バッファ１３Ｖのバッファサイズについて説明する。

すなわち、図４左から１番目は、１ピクチャのSD画像のデータ量D_Sと、１ピクチャのHD画像のデータ量D_Hとを示している。

HD画像のデータ量D_Hは、SD画像のデータ量D_Sよりも多い（SD画像のデータ量D_Sは、HD画像のデータ量D_Hよりも少ない）ので、HD画像を処理する場合には、SD画像を処理する場合よりも大きなバッファサイズの画像バッファ１３Ｖが必要となる。

図４左から２番目は、SDコンテンツに含まれるSD画像に適切なバッファサイズの画像バッファ１３Ｖを示している。

すなわち、図４左から２番目では、SD画像に適切な画像バッファ１３Ｖのバッファサイズが、必要十分なデータ量のSD画像を記憶することができるサイズV_sになっている。

バッファサイズV_Sの画像バッファ１３Ｖによれば、１ピクチャがデータ量D_SのSD画像を、必要十分なデータ量（多すぎることもないし、少なすぎることもないデータ量）だけ記憶することができる。

しかしながら、図４左から２番目では、バッファサイズV_Sが、１ピクチャのHD画像のデータ量D_Hより小さくなっており、したがって、バッファサイズV_Sの画像バッファ１３Ｖでは、必要十分なデータ量のHD画像を記憶することができない。

図４左から３番目（右から１番目）は、HDコンテンツに含まれるHD画像に適切なバッファサイズの画像バッファ１３Ｖを示している。

すなわち、図４左から３番目では、HD画像に適切な画像バッファ１３Ｖのバッファサイズが、必要十分なデータ量のSD画像を記憶することができるサイズV_sよりも大きい、必要十分なデータ量のHD画像を記憶することができるサイズV_Hになっている。

バッファサイズV_Hの画像バッファ１３Ｖによれば、１ピクチャがデータ量D_HのHD画像を、必要十分なデータ量だけ記憶することができる。

また、バッファサイズV_Hの画像バッファ１３Ｖによれば、１ピクチャがデータ量がHD画像よりも小のSD画像を、必要十分なデータ量を越えるデータ量だけ記憶することができる。

以上のように、画像バッファ１３Ｖのバッファサイズを、SD画像に適切なバッファサイズV_Sとすると、必要十分なデータ量のHD画像を記憶することができなくなり、最悪の場合には、デコーダ部１４の処理が破綻するおそれがあるため、画像バッファ１３Ｖのバッファサイズは、必要十分なデータ量のHD画像を記憶することができる、HD画像に適切なバッファサイズV_Hとする必要がある。

そして、画像バッファ１３Ｖのバッファサイズを、HD画像に適切なバッファサイズV_Hとすることで、デコーダ部１４では、SD画像及びHD画像の両方を処理することができる。

しかしながら、画像バッファ１３Ｖのバッファサイズを、HD画像に適切なバッファサイズV_Hとする場合には、画像バッファ１３Ｖにおいて、HD画像よりも小のデータ量D_SのSD画像を、必要以上に記憶することができるため、画像バッファ１３Ｖ、又は音声バッファ１３Ａのうちの一方としての、例えば、音声バッファ１３Ａの記憶内容がクリアされるバッファフラッシュ(flush)が行われた場合に、音声が出力されない無音の時間が長時間続き、ユーザに不快感を与えることがあり得る。

ここで、図５ないし図７を参照して、音声バッファ１３Ａのバッファフラッシュが行われた場合に、無音の時間が長時間続くことについて説明する。

図５は、MPEGストリームの例を模式的に示している。

図５において、MPEGストリームには、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれている。

ここで、第１音声ストリームは、例えば、日本語の音声データであり、第２音声ストリームは、例えば、英語の音声データである。

以上のように、MPEGストリームに、第１音声ストリーム及び第２音声ストリームの２種類の音声ストリームが含まれる場合において、第１音声ストリーム、又は第２音声ストリームのうちの一方の音声ストリームとしての、例えば、第１音声ストリームが出力されているときに、ユーザが、音声の出力を、いま出力されている第１音声ストリームから、他方の音声ストリームとしての第２音声ストリームに切り換えるように操作を行うと、無音の時間が長時間続くことがある。

すなわち、図６は、SDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示している。

図６左は、SD画像に適切なバッファサイズの画像バッファ１３Ｖの記憶内容を示している。

図６左において、SDコンテンツに適切なバッファサイズは、サイズV_Sとなっており、バッファサイズV_Sの画像バッファ１３Ｖは、例えば、２ピクチャ分（ないし３ピクチャ分）のSD画像を記憶することができるようになっている。

いま、図６左の上から１番目に示すように、バッファサイズV_Sの画像バッファ１３Ｖに、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合、画像バッファ１３Ｖに記憶されている最も古いn番目のSD画像#nのデコードのタイミングとなると、n番目のSD画像#nは、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。

また、図６左の上から２番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+1番目のSD画像#n+1の次の、n+2番目のSD画像#n+2が、画像バッファ１３Ｖに供給されて記憶される。

そして、画像バッファ１３Ｖに記憶されている最も古いn+1番目のSD画像#n+1のデコードのタイミングとなると、n+1番目のSD画像#n+1は、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。

また、図６左の上から３番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+2番目のSD画像#n+2の次の、n+3番目のSD画像n+3が、画像バッファ１３Ｖに供給されて記憶される。

以下、同様に、画像バッファ１３Ｖに対するSD画像の読み書きが行われる。

一方、図６右は、SD画像に付随するSD音声に適切なバッファサイズの音声バッファ１３Ａの記憶内容を示している。

図６右において、SD音声に適切なバッファサイズは、サイズV_S'となっており、バッファサイズV_S'の音声バッファ１３Ａは、例えば、２ピクチャ分ないし３ピクチャ分）のSD画像に付随するSD音声を記憶することができるようになっている。

すなわち、画像バッファ１３Ｖに記憶される画像と、音声バッファ１３Ａに記憶される音声とは、ほぼ同一時刻に出力すべき画像と音声（対応する画像と音声）になっており、したがって、画像バッファ１３Ｖにおいて、図６左の上から１番目に示したように、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合には、音声バッファ１３Ａには、図６右の上から１番目に示すように、n番目のSD画像#nに付随するSD音声#nと、n+1番目のSD画像#n+1に付随するSD音声#n+1が記憶される。

ここで、図５に示したように、MPEGストリームに、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれており、その第１音声ストリームと第２音声ストリームのうちの、例えば、第１音声ストリームを出力することが選択されている場合には、多重分離部１２（図１）は、音声ストリームについては、MPEGストリームから、第１音声ストリームを分離して、メモリ部１３の音声バッファ１３Ａに供給する。

したがって、第１音声ストリームに含まれるSD音声を、SD第１音声というとともに、第２音声ストリームに含まれるSD音声を、SD第２音声ということとすると、いまの場合、メモリ部１３の音声バッファ１３Ａには、n番目のSD画像#nに付随するSD第１音声#nと、n+1番目のSD画像#n+1に付随するSD第１音声#n+1が記憶される。

音声バッファ１３Ａに記憶された音声も、画像バッファ１３Ｖに記憶された画像と同様に、デコードのタイミングとなると、音声バッファ１３Ａから読み出され、後段のデコーダ部１４に供給される。

これにより、画像と音声とは、同期（AV(Audio Visual)同期）をとった状態で出力される。

上述したように、音声バッファ１３Ａには、画像バッファ１３Ｖに記憶される画像に対応する音声が記憶されるから、図６左で説明したように、SD画像#nが、画像バッファ１３Ｖから読み出され、さらに、前段の多重分離部１２から、n+2番目のSD画像#n+2が、画像バッファ１３Ｖに供給されて記憶されるときに（近いタイミングで）、音声バッファ１３Ａから、SD画像#nに付随するSD第１音声#nが読み出され、また、前段の多重分離部１２から、n+2番目のSD画像#n+2に付随するSD第１音声#n+2が、音声バッファ１３Ａに供給されて記憶される。

しかしながら、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、図６右の上から２番目に示すように、音声バッファ１３Ａのバッファフラッシュ、すなわち、音声バッファ１３Ａに記憶されているSD第１音声#n及び#n+1の破棄が実行される（音声バッファ１３Ａの記憶内容がクリアされる）。そして、その後、多重分離部１２（図１）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部１３の音声バッファ１３Ａに供給する。

なお、多重分離部１２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ１３Ａのバッファフラッシュを行ったときに、音声バッファ１３Ａに記憶されていた最新のSD第１音声#n+1の次の順番のSD第２音声#n+2から、音声バッファ１３Ａへの供給を開始する。

したがって、音声バッファ１３Ａのバッファフラッシュの直後、音声バッファ１３Ａには、図６右の上から３番目に示すように、SD第２音声#n+2及び#n+3が記憶される。

そして、音声バッファ１３Ａに記憶されたSD第２音声#n+2は、画像バッファ１３Ｖに記憶されている、SD第２音声#n+2が付随するSD画像#n+2の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部１４に供給される。

したがって、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、画像バッファ１３Ｖのバッファフラッシュは行われないので、SD画像は、連続して出力されるが、音声バッファ１３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ１３Ｖに記憶されていたSD画像#n及び#n+1に付随するSD音声（SD第１音声）#n及び#n+1は破棄され、その結果、SD画像#n及び#n+1の出力時には、無音となる。

そして、バッファフラッシュ後に音声バッファ１３Ａに記憶された最も古いSD第２音声#n+2が付随するSD画像#n+2の出力時から、SD音声（SD第２音声）の出力が再開される。

したがって、画像バッファ１３Ｖ、及び音声バッファ１３Ａのバッファサイズが、SDコンテンツに適切なバッファサイズとなっている場合には、SD第１音声、又はSD第２音声のうちの一方から他方に、出力を切り換えるときに、無音の時間が生じるが、その時間は、僅かな時間である。

一方、画像バッファ１３Ｖ、及び音声バッファ１３Ａのバッファサイズが、HDコンテンツに適切なバッファサイズとなっており、したがって、画像バッファ１３Ｖに、必要以上のSD画像を記憶することができる場合には、SD第１音声、又はSD第２音声のうちの一方から他方に、出力を切り換えるときに、長時間の無音が生じる。

すなわち、図７は、HDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示している。

図７左は、HD画像に適切なバッファサイズの画像バッファ１３Ｖに記憶されたSD画像の記憶内容を示している。

図７左において、HDコンテンツに適切なバッファサイズは、サイズV_Hとなっており、バッファサイズV_Hの画像バッファ１３Ｖは、例えば、１０ピクチャ（以上）分のSD画像を記憶することができるようになっている。

いま、図７左の上から１番目に示すように、バッファサイズV_Hの画像バッファ１３Ｖに、n番目のSD画像#nないしn+9番目のSD画像#n+9が記憶されている場合、画像バッファ１３Ｖに記憶されている最も古いn番目のSD画像#nのデコードのタイミングとなると、n番目のSD画像#nは、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。

また、図７左の上から２番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+9番目のSD画像#n+9の次の、n+10番目のSD画像#n+10が、画像バッファ１３Ｖに供給されて記憶される。

また、図７左の上から３番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+10番目のSD画像#n+10の次の、n+11番目のSD画像n+11が、画像バッファ１３Ｖに供給されて記憶される。

一方、図７右は、HD画像に付随するHD音声に適切なバッファサイズの音声バッファ１３Ａの記憶内容を示している。

図７右において、HD音声に適切なバッファサイズは、サイズV_H'となっており、バッファサイズV_H'の音声バッファ１３Ａは、図７左のバッファサイズV_Hの画像バッファ１３Ｖが記憶することができる１０ピクチャ（以上）分のSD画像に対応する、１０ピクチャ（以上）分のSD画像に付随するSD音声を記憶することができるようになっている。

したがって、画像バッファ１３Ｖにおいて、図７左の上から１番目に示したように、n番目のSD画像#nないしn+9番目のSD画像#n+9が記憶されている場合には、音声バッファ１３Ａには、図７右の上から１番目に示すように、そのSD画像#nないし#n+9にそれぞれ付随するSD音声#nないし#n+9が記憶される。

したがって、いまの場合、メモリ部１３の音声バッファ１３Ａには、SD第１音声#nないし#n+9が記憶される。

そして、音声バッファ１３Ａに記憶された最も古いSD第１音声#nは、AV同期がとれるように、音声バッファ１３Ａから読み出され、後段のデコーダ部１４に供給される。さらに、前段の多重分離部１２から、音声バッファ１３Ａに記憶されている最新のSD第１音声#n+9の次のSD第１音声#n+10が、音声バッファ１３Ａに供給されて記憶される。

ここで、図６で説明した場合と同様に、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、音声バッファ１３Ａのバッファフラッシュが行われ、図７右の上から２番目に示すように、音声バッファ１３Ａに記憶されているSD第１音声#nないし#n+9は破棄される。さらに、多重分離部１２（図１）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部１３の音声バッファ１３Ａに供給する。

図６で説明したように、多重分離部１２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ１３Ａのバッファフラッシュを行ったときに、音声バッファ１３Ａに記憶されていた最新のSD第１音声の次の順番のSD第２音声から、音声バッファ１３Ａへの供給を開始する。

したがって、音声バッファ１３Ａのバッファフラッシュの直後、音声バッファ１３Ａには、図７右の上から３番目に示すように、バッファフラッシュ時に音声バッファ１３Ａに記憶されていた最新のSD第１音声#n+9の次のSD第２音声#n+10からの１０ピクチャ分のSD第２音声#n+10ないし#n+19が記憶される。

そして、音声バッファ１３Ａに記憶されたSD第２音声#n+10ないし#n+19のうちの、最も古いSD第２音声#n+10は、画像バッファ１３Ｖに記憶されている、SD第２音声#n+10が付随するSD画像#n+10の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部１４に供給される。

したがって、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、画像バッファ１３Ｖのバッファフラッシュは行われないので、SD画像は、連続して出力されるが、音声バッファ１３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ１３Ｖに記憶されていたSD画像#nないし#n+9に付随するSD音声（SD第１音声）#nないし#n+9は破棄され、その結果、SD画像#nないし#n+9の出力時には、無音となる。

そして、その後のSD画像#n+10の出力時から、SD音声（SD第２音声）の出力が再開される。

したがって、SD画像#nないし#n+9が表示されている間、つまり、１０ピクチャ分の時間という長時間、無音が続くことになる。

以上のように、画像バッファ１３Ｖのバッファサイズを、HD画像に適切なバッファサイズV_Hとした場合には、画像バッファ１３Ｖにおいて、HD画像よりも小のデータ量D_SのSD画像を、必要以上に記憶することができるため、音声バッファ１３Ａのバッファフラッシュが行われると、無音の時間が長時間続くことがある。

このような長時間の無音は、画像についても生じ得る。すなわち、例えば、MPEGストリームに、画像ストリームとして、第１の種類の画像ストリームと、第２の種類の画像ストリームとが含まれ、ユーザの操作等に応じて、画像の出力を、第１又は第２の種類の画像ストリームのうちの一方から他方に切り換える場合には、画像バッファ１３Ｖのバッファフラッシュを行う必要があり、この画像バッファ１３Ｖのバッファフラッシュに伴い、画像が表示されない（又は、画像がフリーズ(freeze)する）無画の時間が長時間続くことがある。

なお、例えば、図７において、音声バッファ１３Ａのバッファフラッシュ後に音声バッファ１３Ａに記憶されたSD第２音声#n+10ないし#n+19の読み出しを、即座に開始すれば（いわゆる、フリーラン(Free Run)で、音声の出力を開始すれば）、無音の時間が生じることを防止することができるが、この場合、AV同期をとることができず、すなわち、SD画像と、そのSD画像に付随するSD音声とが、ずれて出力され、ユーザに不快感を与えることになる。

そこで、メモリ部１３に、SD第１音声を含む第１音声ストリームを記憶するバッファと、SD第２音声を含む第２音声ストリームを記憶するバッファとを設ける方法が考えられる。

すなわち、図８は、図１のメモリ部１３の他の構成例を示している。

なお、図中、図２の場合と対応する部分については、同一の符号を付してある。

すなわち、図８のメモリ部１３は、１つの音声バッファ１３Ａに代えて、２つの音声バッファ１３Ａ₁及び１３Ａ₂が設けられているとともに、スイッチSWが新たに設けられている他は、図２のメモリ部１３と同様に構成されている。

図８では、多重分離部１２が、MPEGストリームから、画像ストリーム、第１音声ストリーム、及び第２音声ストリームを分離し、画像ストリームを画像バッファ１３Ｖに、第１音声ストリームを音声バッファ１３Ａ₁に、第２音声ストリームを、音声バッファ１３Ａ_２に、それぞれ供給する。

音声バッファ１３Ａ₁は、多重分離部１２から供給される第１音声ストリームを一時記憶し、スイッチSWの２つの端子のうちの一方に供給する。

音声バッファ１３Ａ₂は、多重分離部１２から供給される第２音声ストリームを一時記憶し、スイッチSWの２つの端子のうちの他方に供給する。

スイッチSWは、ユーザの操作等に従い、２つの端子のうちのいずれか一方の端子を選択し、これにより、音声バッファ１３Ａ₁、又は１３Ａ₂のうちのいずれか一方から供給される音声ストリームを、音声デコーダ１４Ａに供給する。

以上のように、メモリ部１３を、２つの音声バッファ１３Ａ₁及び１３Ａ₂と、スイッチSWとを設けて構成することにより、音声の出力を、第１音声ストリームの音声、又は第２音声ストリームの音声のうちの一方から他方に切り換えるときに、その切り換えに応じて、スイッチSWの選択を変換することで、図７で説明したような長時間の無音が生じることを防止することができる。

しかしながら、この場合、２つの音声バッファ１３Ａ₁及び１３Ａ₂と、スイッチSWとが必要となるため、TVのコストが大になる。

また、MPEGストリームに、第１の種類の画像ストリームと、第２の種類の画像ストリームとが含まれ、画像の出力を、第１又は第２の種類の画像ストリームのうちの一方から他方に切り換える場合をも考慮すると、画像バッファ１３Ｖも、第１の種類の画像ストリームを記憶するバッファと、第２の種類の画像ストリームを記憶するバッファとの２つのバッファに変更しなければならず、コストがさらに大になる。

ところで、図１のTVにおいて、図６及び図７で説明したように、音声の出力を、第１音声ストリーム、又は第２音声ストリームのうちの、例えば、第１音声ストリームから第２音声ストリームに切り換える場合において、音声バッファ１３Ａのバッファフラッシュ後に、多重分離部１２が、バッファフラッシュの直前に音声バッファ１３Ａに記憶されていた最新のSD第１音声の次の順番のSD第２音声から、音声バッファ１３Ａへの供給を開始するのは、多重分離部１２に供給されるMPEGストリームが、地上波ディジタル放送等の放送で送信されてくる、いわばプッシュ(push)型のストリームであることによる。

ここで、プッシュ型のストリームとは、送信側から、受信側の状態に関係なく送信されてくるストリームである。一方、送信側から、受信側の要求等に応じて送信されてくるストリームは、プル(pull)型のストリームと呼ばれる。

メモリ部１３が、図２に示したように、１つの音声バッファ１３Ａしか有せず、MPEGストリームに、第１音声ストリームと第２音声ストリームとの２種類の音声ストリームが含まれる場合には、１つの音声バッファ１３Ａでは、１種類の音声ストリームしか記憶することができないので、多重分離部１２では、MPEGストリームから、第１音声ストリームと第２音声ストリームのうちのいずれか一方の音声ストリームだけを分離して、音声バッファ１３Ａに供給する必要があり、そのために、他方の音声ストリームは破棄される。

MPEGストリームにおいて、あるSD画像に対応するSD第１音声とSD第２音声とは、近い位置に多重化されており、したがって、あるSD画像に対応するSD第１音声が、MPEGストリームから分離され、音声バッファ１３Ａに記憶されている場合には、そのSD画像に対応するSD第２音声は、既に破棄されてしまっていることが多い。

このため、音声の出力を、第１音声ストリームから第２音声ストリームに切り換える場合においては、多重分離部１２は、音声バッファ１３Ａのバッファフラッシュ後、バッファフラッシュの直前に音声バッファ１３Ａに記憶されていた最新のSD第１音声の次のSD第２音声から、MPEGストリームからの分離を開始し、音声バッファ１３Ａに供給する。

一方、多重分離部１２に供給されるMPEGストリームが、プル型のストリームである場合には、多重分離部１２で破棄したSD第２音声の再度の供給を要求することにより、無音の時間が生じることを防止する方法が考えられる。

すなわち、外部入力部１１（図１）を介して、多重分離部１２に供給されるMPEGストリームが、例えば、DVDプレーヤ等の、ディスク状の記録媒体（ディスク状記録媒体）を再生する再生装置から供給されるMPEGストリームである場合には、ディスク状記録媒体の回転数等から、多重分離部１２が破棄したSD第２音声を認識し、そのSD第２音声の再度の読み出しを、再生装置に要求して、そのSD第２音声を、再生装置から再度取得することにより、無音の時間が生じることを防止する方法が考えられる。

しかしながら、多重分離部１２が破棄したSD第２音声を認識し、そのSD第２音声の再度の読み出しを、再生装置に要求して、そのSD第２音声を、再生装置から取得する処理を行うハードウェア、又はソフトウェアを、別途開発することは、容易なことではない。

また、ディスク状記録媒体に記録されているMPEGストリームが、例えば、ディジタルカメラで撮影された動画等のように、ファイルに格納されている場合に、そのファイルにおける、SD第２音声の位置が分からないときには、再生装置から、多重分離部１２が破棄したSD第２音声を再度取得することは難しい。

本発明は、このような状況に鑑みてなされたものであり、装置のコストを削減すること（装置のコストが大になることを防止すること）ができるようにするものである。

本発明の第１の側面のデータ処理装置は、少なくとも、第１の種類の画像データ及び第２の種類の画像データを含む画像データと、音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理装置において、前記画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定するバッファサイズ設定手段と、前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御するバッファ制御手段とを備え、ユーザの操作に応じて、第１の種類の画像データ、又は第２の種類の画像データのうちの一方の画像データから他方の画像データに、出力が切り換えられるときに、前記第１のバッファはクリアされる。

本発明の第１の側面のデータ処理方法又はプログラムは、上述の第１の側面のデータ処理装置に対応するデータ処理方法又はプログラムである。

以上のような第１の側面においては、画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズが、ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定されるとともに、音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズが、ビットストリームに含まれるコーデックの情報に基づいて設定され、第１のバッファのオーバーフローを防止するための閾値が、第１のバッファサイズに対応する値に設定されることにより、第１のバッファのバッファサイズが、第１のバッファサイズに制御されるとともに、第２のバッファのオーバーフローを防止するための閾値が、第２のバッファサイズに対応する値に設定されることにより、第２のバッファのバッファサイズが、第２のバッファサイズに制御される。そして、ユーザの操作に応じて、第１の種類の画像データ、又は第２の種類の画像データのうちの一方の画像データから他方の画像データに、出力が切り換えられるときに、第１のバッファがクリアされる。

本発明の第２の側面のデータ処理装置は、少なくとも、画像データと、第１の種類の音声データ及び第２の種類の音声データを含む音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理装置において、前記画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定するバッファサイズ設定手段と、前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御するバッファ制御手段とを備え、ユーザの操作に応じて、第１の種類の音声データ、又は第２の種類の音声データのうちの一方の音声データから他方の音声データに、出力が切り換えられるときに、前記第２のバッファはクリアされる。
本発明の第２の側面のデータ処理方法又はプログラムは、上述の第２の側面のデータ処理装置に対応するデータ処理方法又はプログラムである。
以上のような第２の側面においては、画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズが、ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定されるとともに、音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズが、ビットストリームに含まれるコーデックの情報に基づいて設定され、第１のバッファのオーバーフローを防止するための閾値が、第１のバッファサイズに対応する値に設定されることにより、第１のバッファのバッファサイズが、第１のバッファサイズに制御されるとともに、第２のバッファのオーバーフローを防止するための閾値が、第２のバッファサイズに対応する値に設定されることにより、第２のバッファのバッファサイズが、第２のバッファサイズに制御される。そして、ユーザの操作に応じて、第１の種類の音声データ、又は第２の種類の音声データのうちの一方の音声データから他方の音声データに、出力が切り換えられるときに、第２のバッファがクリアされる。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して提供することができる。

また、データ処理装置は、独立した装置であっても良いし、独立した装置を構成する内部ブロックであっても良い。

本発明の第１の側面及び第２の側面によれば、装置のコストを削減することができる。

以下、図面を参照して、本発明の実施の形態について説明する。

図９は、本発明を適用したTVの一実施の形態の構成例を示すブロック図である。

まず、図９のTVの概要について説明する。

TVは、画音コンテンツをUSB(Universal Serial Bus)やEthernet（登録商標）等から取り込む外部入力部５１と、それら多重化されたデータをAudioやVideoなどの各種データに振り分ける多重分離部５２と、各種データを保持するメモリ部５３と、メモリ部５３のデータを処理（デコード）するデコーダ部５４等からなる。

各種高機能な録画機や記録メディアの登場により、外部入力部５１からは多種多様なコンテンツが取り込まれる事が期待されている。CPU(Central Processing Unit)の高機能化等により、各種フォーマットを取り扱い可能な多重分離部５２やデコーダ部５４を備えるChipが多々存在する。

一方、メモリ部５３に関しては、なるべく共有等の工夫を行う事でメモリ使用量を少なくする事が求められる。

TVでは、画音コンテンツを再生する際に、メモリ部５３内のVideoのESバッファ（後述する図１０の画像バッファ５３Ｖ）で取り込まれるシーケンスヘッダの情報より、プロファイル情報、画サイズ情報、VBVバッファ情報、ビットレート情報を取得し、これらの情報を元にESバッファサイズ（後述する図１０の画像バッファ５３Ｖのバッファサイズ）を変更する。

この際、TVでは、画サイズとプロファイル情報の一致を確認した後に、この２つの情報を主たる判断値として利用し、得られた画サイズが包括されるプロファイルで規定されている最大トータルVBVバッファ量をESバッファサイズとして利用する。プロファイル情報と画サイズ情報の不一致や、MPEG1などプロファイル規定がないものについては、TVは、画サイズ情報に優先度を持たせて、プロファイル規定最大VBV値に設定する。この際、TVは、VBVバッファ情報やビットレート情報を元にVerifyや微調整を行い細かい設定を行う。TVは、VBVバッファ情報やビットレート情報は正しくない値や大きく外れた値が入っている可能性を考慮して、変更に対して範囲を持たせて範囲外の値の場合は利用しない。

TVが、シーケンスヘッダが来る毎にダイナミックにESバッファを変更する事で、HD/SDが入り混じるコンテンツ等であっても、バッファflush時に破棄される情報量を最小に抑える事ができ、無音時間や無画時間（Freeze時間）の縮小、及び、AV同期を合わせての再再生が可能となり、ユーザの不快感を減少させる事が可能となる。また、このシステムにより、放送などのpush型と上記のようなpull型を同じメモリ領域で扱うことが可能となり、コスト削減に繋がる。

なお、本来はVBVバッファ情報をもとにバッファサイズを決定する事が理想であるが、この部分の情報が正しくないコンテンツも数多く存在している為、この情報のみでの実現は現実的ではない。もともとVBVは理想条件のもとで動作する事を仮定しての値であり、現実のデコーダの実現方式を規定しているものではない為、必要量よりも小さい値が書かれている場合はバッファの破綻をきたす恐れがあり危険である。また、ビットレートに関しても、規格上の最大ビットレートが書かれている場合が多く、この情報を主としてバッファサイズを決定した場合、ESバッファサイズをダイナミックに変更しない場合と同じ効果しか得られない可能性が高い。従って、TVにおいて、VBVバッファ情報やビットレート情報は判定情報のVerifyや微調整に使用し、最終判断材料としては用いない事により、現実的に存在する数多くのフォーマットファイルに対応することができる。

以下、図９のTVについて、詳細に説明する。

図９において、TVは、外部入力部５１、多重分離部５２、メモリ部５３、デコーダ部５４、外部出力部５５、及び制御部５６等から構成される。

外部入力部５１は、例えば、地上ディジタル放送その他の放送を受信し、MPEGストリームを出力するチューナや、USBや、LAN，IEEE(Institute of Electrical and Electronics Engineers)1394の規格に準拠した通信を、図示せぬ外部機器と行うことで、MPEGストリームを受信して出力する通信インタフェース、メモリスティック（登録商標）等のメモリカードその他の記録媒体からMPEGストリームを読み出して出力するドライブ等であり、外部入力部５１が出力するMPEGストリームは、多重分離部５２に供給される。

多重分離部５２は、外部入力部５１からのMPEGストリームから、例えば、画像データのESである画像ストリームと、音声データのESである音声ストリームとを分離し、メモリ部５３に供給する。

さらに、多重分離部５２は、外部入力部５１からのMPEGストリームから、そこに含まれる画像データ及び音声データに関する情報としてのシーケンスヘッダその他の各種のヘッダ（の情報）を分離し、制御部５６に供給する。

メモリ部５３は、多重分離部５２から供給される画像ストリームと音声ストリームとを一時記憶し（バッファリングし）、デコーダ部５４に供給する。

すなわち、メモリ部５３は、後段のデコーダ部５４に供給される画像ストリーム及び音声ストリームのデータ量を調整するために、多重分離部５２から供給される画像ストリームと音声ストリームとを一時記憶し、デコーダ部５４に供給する。

デコーダ部５４は、メモリ部５３からの画像ストリームを、例えば、MPEGの規格に準拠した方式でデコードし、その結果得られるベースバンドの画像データを、外部出力部５５に供給する。また、デコーダ部５４は、メモリ部５３からの音声ストリームをデコードし、その結果得られるベースバンドの音声データを、外部出力部５５に供給する。

外部出力部５５は、デコーダ部５４からの画像データを、図示せぬLCD(Liquid Crystal Display)や、有機EL(Organic Electroluminescence)ディスプレイ等のディスプレイに供給して、対応する画像を表示させるとともに、デコーダ部５４からの音声データを、図示せぬスピーカに供給して、対応する音声（音）を出力させる。

制御部５６は、CPU５７，RAM(Random Access Memory)５８、及びEEPROM(Electrically Erasable Programmable Read Only Memory)５９等から構成され、多重分離部５２からの情報に基づき、メモリ部５３を制御する。

すなわち、CPU５７は、EEPROM５９に記憶されたプログラムを実行することにより、メモリ部５３を制御するバッファ制御処理等を行う。

RAM５８は、CPU５７の動作上必要なデータ等を一時記憶する。

EEPROM５９は、CPU５７が実行するプログラム等を記憶する。

なお、CPU５７が実行するプログラムは、EEPROM５９にあらかじめ記憶させておく他、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に記録し、そのようなリムーバブル記録媒体から、TVのEEPROM５９にインストールすることができる。

また、プログラムは、ディジタル放送等の無線の伝送媒体を介して、又は、インターネット等の有線の伝送媒体を介して、TVに送信し、TVでは、そのようにして送信されてくるプログラムを、EEPROM５９にインストールすることができる。

以上のようなリムーバブル記録媒体や伝送媒体を利用した、EEPROM５９へのプログラムのインストールの手法は、EEPROM５９に記憶されているプログラムのバージョンアップにも利用することができる。

次に、図１０は、図９のメモリ部５３、デコーダ部５４、及び制御部５６の構成例を示すブロック図である。

メモリ部５３は、１つの画像バッファ５３Ｖ、及び１つの音声バッファ５３Ａから構成される。

画像バッファ５３Ｖには、多重分離部５２から画像ストリームが供給される。画像バッファ５３Ｖは、多重分離部５２からの画像ストリームを一時記憶し、デコーダ部５４に供給する。なお、画像バッファ５３Ｖは、VBVバッファに相当する。

音声バッファ５３Ａには、多重分離部５２から音声ストリームが供給される。音声バッファ５３Ａは、多重分離部５２からの音声ストリームを一時記憶し、デコーダ部５４に供給する。

デコーダ部５４は、画像デコーダ５４Ｖ、及び音声デコーダ５４Ａから構成される。

画像デコーダ５４Ｖには、画像バッファ５３Ｖから画像ストリームが供給される。画像デコーダ５４Ｖは、画像バッファ５３Ｖからの画像ストリームをデコードし、その結果得られる画像データを出力する。

音声デコーダ５４Ａには、音声バッファ５３Ａから音声ストリームが供給される。音声デコーダ５４Ａは、音声バッファ５３Ａからの音声ストリームをデコードし、その結果得られる音声データを出力する。

制御部５６は、バッファサイズ設定部６１、及びバッファ制御部６２から構成される。ここで、制御部５６では、図９のCPU５７が、EEPROM５９に記憶されたプログラムを実行することで、バッファサイズ設定部６１、及びバッファ制御部６２として機能する。

バッファサイズ設定部６１には、多重分離部５２から、シーケンスヘッダ等のヘッダが供給される。バッファサイズ設定部６１は、画像バッファ５３Ｖのバッファサイズと、音声バッファ５３Ａのバッファサイズとを、多重分離部５２からのヘッダ等に基づいて設定し、それらのバッファサイズを表すサイズ情報を、バッファ制御部６２に供給する。

バッファ制御部６２は、画像バッファ５３Ｖのバッファサイズを、バッファサイズ設定部６１からのサイズ情報が表すバッファサイズに制御するとともに、音声バッファ５３Ａのバッファサイズを、バッファサイズ設定部６１からのサイズ情報が表すバッファサイズに制御する。

次に、図１１のフローチャートを参照して、図１０の制御部５６が行うバッファ制御処理について説明する。

制御部５６のバッファサイズ設定部６１は、多重分離部５２からシーケンスヘッダ等のヘッダが供給されると、ステップＳ１１において、そのヘッダ等に基づいて、画像バッファ５３Ｖのバッファサイズと、音声バッファ５３Ａのバッファサイズとを設定し、それぞれのバッファサイズを表すサイズ情報を、バッファ制御部６２に供給して、処理は、ステップＳ１２に進む。

すなわち、バッファサイズ設定部６１は、多重分離部５２からのヘッダのうちの、例えば、シーケンスヘッダに含まれるプロファイルや、画サイズ、VBVバッファサイズ、ビットレート等の情報に基づき、画像バッファ５３Ｖが、多重分離部５２からの画像ストリームを一時記憶するのに適切なバッファサイズを求めるとともに、コーデックの情報に基づき、音声バッファ５３Ａが、多重分離部５２からの音声ストリームを一時記憶するのに適切なバッファサイズを求め、それぞれのバッファサイズを表すサイズ情報を、バッファ制御部６２に供給する。

ステップＳ１２では、バッファ制御部６２は、画像バッファ５３Ｖのバッファサイズと、音声バッファ５３Ａのバッファサイズとのそれぞれを、バッファサイズ設定部６１からのサイズ情報が表すバッファサイズに制御する。

すなわち、バッファ制御部６２は、バッファサイズ設定部６１からのサイズ情報に従い、画像バッファ５３Ｖのバッファサイズを、多重分離部５２からの画像ストリームを一時記憶するのに適切なバッファサイズに制御するとともに、音声バッファ５３Ａのバッファサイズを、多重分離部５２からの音声ストリームを一時記憶するのに適切なバッファサイズに制御する。

そして、例えば、次のシーケンスヘッダが、多重分離部５２からバッファサイズ設定部６１に供給されるのを待って、処理は、ステップＳ１２からステップＳ１１に戻り、以下、同様の処理が繰り返される。

以上のように、制御部５６では、画像バッファ５３Ｖのバッファサイズが、多重分離部５２からの画像ストリームを記憶するのに適切なバッファサイズに制御されるとともに、音声バッファ５３Ａのバッファサイズが、多重分離部５２からの音声ストリームを記憶するのに適切なバッファサイズに制御される。

次に、図１２を参照して、制御部５６による、画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズの制御について説明する。

図１２左は、バッファサイズが最大のバッファサイズVに制御された画像バッファ５３Ｖを示している。

ここで、画像バッファ５３Ｖの最大のバッファサイズVは、例えば、TVで扱う最もデータ量（データレート）の大の画像を、必要十分なデータ量だけ記憶することができるサイズになっており、例えば、画像バッファ５３Ｖを構成するハードウェアであるメモリの記憶容量に等しい。

図１２右は、多重分離部５２からの画像ストリームを記憶するのに適切なバッファサイズに制御された画像バッファ５３Ｖを示している。

いま、多重分離部５２から画像バッファ５３Ｖに供給される画像ストリームとして、SDコンテンツの画像ストリームと、HDコンテンツの画像ストリームとがあり、１ピクチャのSD画像のデータ量が、データ量D_Sであり、１ピクチャのHD画像のデータ量が、データ量D_Sより大のデータ量D_Hであるとする。

制御部５６は、多重分離部５２から画像バッファ５３Ｖに供給される画像ストリームが、SDコンテンツの画像ストリームである場合、画像バッファ５３Ｖのバッファサイズを、必要十分なデータ量のSD画像を記憶することができるバッファサイズV_sに制御する。ここで、図１２では、バッファサイズV_Sは、例えば、２ピクチャ程度分のSD画像を記憶することができるバッファサイズになっている。

また、制御部５６は、多重分離部５２から画像バッファ５３Ｖに供給される画像ストリームが、HDコンテンツの画像ストリームである場合、画像バッファ５３Ｖのバッファサイズを、必要十分なデータ量のHD画像を記憶することができるバッファサイズV_Hに制御する。ここで、図１２では、バッファサイズV_Hは、バッファサイズV_Sより大で、例えば、２ピクチャ程度分のHD画像を記憶することができるバッファサイズになっている。

制御部５６は、音声バッファ５３Ａのバッファサイズも、画像バッファ５３Ｖのバッファサイズと同様に、音声バッファ５３Ａが多重分離部５２から供給される音声ストリームを一時記憶するのに適切なバッファサイズに制御する。

以上のように、制御部５６が、画像バッファ５３Ｖと音声バッファ５３Ａそれぞれのバッファサイズを、多重分離部５２から供給されるESを一時記憶するのに適切なバッファサイズに、ダイナミックに制御することにより、画像バッファ５３Ｖと音声バッファ５３Ａに相当するバッファそれぞれを複数設けずに、すなわち、TVのコストが大になることを防止しつつ、前述の図７で説明した、バッファフラッシュ時に、無音や無画の時間が長時間続くことを防止することができる。

次に、図１３及び図１４を参照して、制御部５６によって適切なバッファサイズに制御された画像バッファ５３Ｖと音声バッファ５３Ａの動作について説明する。

なお、図１３及び図１４では、例えば、前述の図５に示した、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれるMPEGストリームが、外部入力部５１から多重分離部５２に供給され、多重分離部５２では、MPEGストリームから、画像ストリームが分離されて、画像バッファ５３Ｖに供給されるとともに、MPEGストリームから、第１音声ストリーム、又は第２音声ストリームが分離されて、音声バッファ５３Ａに供給されることとする。

図１３は、多重分離部５２からメモリ部５３に供給される画像ストリーム及び音声ストリームが、例えば、SDコンテンツの画像ストリーム及び音声ストリームである場合の、画像バッファ５３Ｖ、及び音声バッファ５３Ａの記憶内容を示している。

すなわち、図１３左は、SD画像に適切なバッファサイズに制御された画像バッファ５３ＶのSD画像の記憶内容を示している。

図１３左において、SDコンテンツに適切なバッファサイズは、サイズV_Sとなっており、バッファサイズV_Sの画像バッファ５３Ｖは、例えば、２ピクチャ（ないし３ピクチャ）分のSD画像を記憶することができるようになっている。

いま、図１３左の上から１番目に示すように、バッファサイズV_Sの画像バッファ５３Ｖに、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合、画像バッファ５３Ｖに記憶されている最も古いn番目のSD画像#nのデコードのタイミングとなると、n番目のSD画像#nは、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。

また、図１３左の上から２番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+1番目のSD画像#n+1の次の、n+2番目のSD画像#n+2が、画像バッファ５３Ｖに供給されて記憶される。

そして、図１３左の上から２番目では、画像バッファ５３Ｖに記憶されている最も古いn+1番目のSD画像#n+1のデコードのタイミングとなると、n+1番目のSD画像#n+1は、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。

また、図１３左の上から３番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+2番目のSD画像#n+2の次の、n+3番目のSD画像n+3が、画像バッファ５３Ｖに供給されて記憶される。

以下、同様に、画像バッファ５３Ｖに対するSD画像の読み書きが行われる。

一方、図１３右は、SD画像に付随するSD音声に適切なバッファサイズに制御された音声バッファ５３ＡのSD音声の記憶内容を示している。

図１３右において、SD音声に適切なバッファサイズは、サイズV_S'となっており、バッファサイズV_S'の音声バッファ５３Ａは、例えば、２ピクチャ（ないし３ピクチャ）分のSD画像に付随するSD音声を記憶することができるようになっている。

すなわち、前述の図６で説明した場合と同様に、画像バッファ５３Ｖと音声バッファ５３Ａとには、対応する画像と音声とがそれぞれ記憶されるようになっており、したがって、画像バッファ５３Ｖにおいて、図１３左の上から１番目に示したように、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合には、音声バッファ５３Ａには、図１３右の上から１番目に示すように、n番目のSD画像#nに付随するSD音声#nと、n+1番目のSD画像#n+1に付随するSD音声#n+1が記憶される。

ここで、外部入力部５１から多重分離部５２に供給されるMPEGストリームが、例えば、図５に示したように、１つの画像ストリームと、２種類の音声ストリームである第１音声ストリーム及び第２音声ストリームとを含むMPEGストリームであり、第１音声ストリームと第２音声ストリームのうちの、例えば、第１音声ストリームを出力することが選択されている場合には、多重分離部５２（図９）は、音声ストリームについては、MPEGストリームから、第１音声ストリームを分離して、メモリ部５３の音声バッファ５３Ａに供給する。

したがって、第１音声ストリームに含まれるSD音声を、SD第１音声というとともに、第２音声ストリームに含まれるSD音声を、SD第２音声ということとすると、いまの場合、メモリ部５３の音声バッファ５３Ａには、n番目のSD画像#nに付随するSD第１音声#nと、n+1番目のSD画像#n+1に付随するSD第１音声#n+1が記憶される。

音声バッファ５３Ａに記憶されたSD音声は、そのSD音声が付随する、画像バッファ５３Ｖに記憶されたSD画像とAV同期をとることができるタイミングで、音声バッファ５３Ａから読み出され、後段のデコーダ部５４に供給される。

上述したように、音声バッファ５３Ａには、画像バッファ５３Ｖに記憶される画像に対応する音声が記憶されるから、図１３左で説明したように、SD画像#nが、画像バッファ５３Ｖから読み出され、さらに、前段の多重分離部５２から、n+2番目のSD画像#n+2が、画像バッファ５３Ｖに供給されて記憶されるときに（近いタイミングで）、音声バッファ５３Ａから、SD画像#nに付随するSD第１音声#nが読み出され、前段の多重分離部５２から、n+2番目のSD画像#n+2に付随するSD第１音声#n+2が、音声バッファ５３Ａに供給されて記憶される。

しかしながら、音声バッファ５３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、音声バッファ５３Ａのバッファフラッシュが行われ、図１３右の上から２番目に示すように、音声バッファ５３Ａに記憶されているSD第１音声#n及び#n+1が破棄される。

そして、多重分離部５２（図９）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部５３の音声バッファ５３Ａに供給する。

すなわち、多重分離部５２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ５３Ａのバッファフラッシュを行ったときに、音声バッファ５３Ａに記憶されていた最新のSD第１音声#n+1の次の順番のSD第２音声#n+2から、音声バッファ５３Ａへの供給を開始する。

したがって、音声バッファ５３Ａのバッファフラッシュの直後、音声バッファ５３Ａには、図１３右の上から３番目に示すように、SD第２音声#n+2及び#n+3が記憶される。

そして、音声バッファ５３Ａに記憶されたSD第２音声#n+2は、画像バッファ５３Ｖに記憶されている、SD第２音声#n+2が付随するSD画像#n+2の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部５４に供給される。

したがって、音声バッファ５３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、画像バッファ５３Ｖのバッファフラッシュは行われないので、SD画像は、連続して出力されるが、音声バッファ５３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ５３Ｖに記憶されていたSD画像#n及び#n+1に付随するSD音声（SD第１音声）#n及び#n+1は破棄され、その結果、SD画像#n及び#n+1の出力時には、無音となる。すなわち、僅かな時間だけ、無音の時間が生じる。

そして、バッファフラッシュ後に音声バッファ５３Ａに記憶された最も古いSD第２音声#n+2が付随するSD画像#n+2の出力時から、SD音声（SD第２音声#n+2）の出力が再開される。

次に、図１４は、多重分離部５２からメモリ部５３に供給される画像ストリーム及び音声ストリームが、例えば、HDコンテンツの画像ストリーム及び音声ストリームである場合の、画像バッファ５３Ｖ、及び音声バッファ５３Ａの記憶内容を示している。

すなわち、図１４左は、HD画像に適切なバッファサイズに制御された画像バッファ５３ＶのHD画像の記憶内容を示している。

図１４左において、HDコンテンツに適切なバッファサイズは、サイズV_Hとなっており、バッファサイズV_Hの画像バッファ５３Ｖは、例えば、２ピクチャ（ないし３ピクチャ）分のHD画像を記憶することができるようになっている。

いま、図１４左の上から１番目に示すように、バッファサイズV_Hの画像バッファ５３Ｖに、n番目のHD画像#nと、n+1番目のHD画像#n+1が記憶されている場合、画像バッファ５３Ｖに記憶されている最も古いn番目のHD画像#nのデコードのタイミングとなると、n番目のHD画像#nは、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。

また、図１４左の上から２番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+1番目のHD画像#n+1の次の、n+2番目のHD画像#n+2が、画像バッファ５３Ｖに供給されて記憶される。

そして、画像バッファ５３Ｖに記憶されている最も古いn+1番目のHD画像#n+1のデコードのタイミングとなると、n+1番目のHD画像#n+1は、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。

また、図１４左の上から３番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+2番目のHD画像#n+2の次の、n+3番目のHD画像n+3が、画像バッファ５３Ｖに供給されて記憶される。

以下、同様に、画像バッファ５３Ｖに対するHD画像の読み書きが行われる。

一方、図１４右は、HD画像に付随するHD音声に適切なバッファサイズに制御された音声バッファ５３ＡのHD音声の記憶内容を示している。

図１４右において、HD音声に適切なバッファサイズは、サイズV_H'となっており、バッファサイズV_H'の音声バッファ５３Ａは、例えば、２ピクチャ（ないし３ピクチャ）分のHD画像に付随するHD音声を記憶することができるようになっている。

すなわち、画像バッファ５３Ｖと音声バッファ５３Ａとには、対応する画像と音声とがそれぞれ記憶されるようになっており、したがって、画像バッファ５３Ｖにおいて、図１４左の上から１番目に示したように、n番目のHD画像#nと、n+1番目のHD画像#n+1が記憶されている場合には、音声バッファ５３Ａには、図１４右の上から１番目に示すように、n番目のHD画像#nに付随するHD音声#nと、n+1番目のHD画像#n+1に付随するHD音声#n+1が記憶される。

したがって、第１音声ストリームに含まれるHD音声を、HD第１音声というとともに、第２音声ストリームに含まれるHD音声を、HD第２音声ということとすると、いまの場合、メモリ部５３の音声バッファ５３Ａには、n番目のHD画像#nに付随するHD第１音声#nと、n+1番目のHD画像#n+1に付随するHD第１音声#n+1が記憶される。

音声バッファ５３Ａに記憶されたHD音声は、そのHD音声が付随する、画像バッファ５３Ｖに記憶されたHD画像とAV同期をとることができるタイミングで、音声バッファ５３Ａから読み出され、後段のデコーダ部５４に供給される。

上述したように、音声バッファ５３Ａには、画像バッファ５３Ｖに記憶される画像に対応する音声が記憶されるから、図１４左で説明したように、HD画像#nが、画像バッファ５３Ｖから読み出され、さらに、前段の多重分離部５２から、n+2番目のHD画像#n+2が、画像バッファ５３Ｖに供給されて記憶されるときに（近いタイミングで）、音声バッファ５３Ａから、HD画像#nに付随するHD第１音声#nが読み出され、前段の多重分離部５２から、n+2番目のHD画像#n+2に付随するHD第２音声#n+2が、音声バッファ５３Ａに供給されて記憶される。

しかしながら、音声バッファ５３Ａから、HD第１音声#nが読み出されるときに、ユーザが、音声の出力を、HD第１音声からHD第２音声に切り換えるように操作を行うと、音声バッファ５３Ａのバッファフラッシュが行われ、図１４右の上から２番目に示すように、音声バッファ５３Ａに記憶されているHD第１音声#n及び#n+1が破棄される。

すなわち、多重分離部５２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ５３Ａのバッファフラッシュを行ったときに、音声バッファ５３Ａに記憶されていた最新のHD第１音声#n+1の次の順番のHD第２音声#n+2から、音声バッファ５３Ａへの供給を開始する。

したがって、音声バッファ５３Ａのバッファフラッシュの直後、音声バッファ５３Ａには、図１４右の上から３番目に示すように、HD第２音声#n+2及び#n+3が記憶される。

そして、音声バッファ５３Ａに記憶されたHD第２音声#n+2は、画像バッファ５３Ｖに記憶されている、HD第２音声#n+2が付随するHD画像#n+2の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部５４に供給される。

したがって、音声バッファ５３Ａから、HD第１音声#nが読み出されるときに、ユーザが、音声の出力を、HD第１音声からHD第２音声に切り換えるように操作を行うと、画像バッファ５３Ｖのバッファフラッシュは行われないので、HD画像は、連続して出力されるが、音声バッファ５３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ５３Ｖに記憶されていたHD画像#n及び#n+1に付随するHD音声（HD第１音声）#n及び#n+1は破棄され、その結果、HD画像#n及び#n+1の出力時には、無音となる。すなわち、僅かな時間だけ、無音の時間が生じる。

そして、バッファフラッシュ後に音声バッファ５３Ａに記憶された最も古いHD第２音声#n+2が付随するHD画像#n+2の出力時から、HD音声（HD第２音声#n+2）の出力が再開される。

以上のように、画像バッファ５３Ｖと音声バッファ５３Ａそれぞれのバッファサイズが、多重分離部５２から供給される音声ストリームを一時記憶するのに適切なバッファサイズに、ダイナミックに変更されることにより、画像バッファ５３Ｖと音声バッファ５３Ａに相当するバッファそれぞれを複数設けずに、すなわち、TVのコストが大になることを防止しつつ、画像バッファ５３Ｖと音声バッファ５３Ａとのうちの一方の音声バッファ５３Ａのバッファフラッシュ時に、無音の時間が長時間続くことを防止することができる。

なお、同様に、画像バッファ５３Ｖと音声バッファ５３Ａとのうちの他方の画像バッファ５３Ｖのバッファフラッシュ時においても、無画の時間が長時間続くことを防止することができる。すなわち、例えば、MPEGストリームに、画像ストリームとして、第１の種類の画像ストリームと、第２の種類の画像ストリームとが含まれ、ユーザの操作等に応じて、画像の出力を、第１又は第２の種類の画像ストリームのうちの一方から他方に切り換える場合には、画像バッファ５３Ｖのバッファフラッシュを行う必要があるが、この画像バッファ５３Ｖのバッファフラッシュ時にも、無画の時間が長時間続くことを防止することができる。

次に、制御部５６は、上述したように、画像バッファ５３Ｖと音声バッファ５３Ａそれぞれのバッファサイズを、多重分離部５２から供給されるESを一時記憶するのに適切なバッファサイズに、ダイナミックに制御するが、この、制御部５６によるバッファサイズの制御では、例えば、ハードウェアであるメモリの記憶領域から、画像バッファ５３Ｖと音声バッファ５３Ａとして確保する記憶領域のサイズそれぞれを変更することにより、画像バッファ５３Ｖと音声バッファ５３Ａのバッファサイズそれぞれを、実際に変更する他、画像バッファ５３Ｖと音声バッファ５３Ａとして確保するメモリの記憶領域のサイズは変更せずに、画像バッファ５３Ｖと音声バッファ５３Ａのオーバーフローを防止するための閾値（以下、適宜、オーバーフロー閾値という）それぞれを制御することにより、画像バッファ５３Ｖと音声バッファ５３Ａのバッファサイズそれぞれを、いわば、実質的に（仮想的に）変更することができる。

すなわち、図１５は、オーバーフロー閾値を制御することにより、画像バッファ５３Ｖのバッファサイズが実質的に変更されることを説明する図である。

図１５左から１番目は、固定のバッファサイズVの画像バッファ５３Ｖを示している。

いま、バッファサイズVの所定の割合の値V_thを、バッファサイズVの画像バッファ５３Ｖのオーバーフローを防止するための閾値（オーバーフロー閾値）THとして採用することとすると、可能であれば、画像デコーダ５４Ｖは、画像バッファ５３Ｖに記憶されるデータのデータ量（蓄積量）が、オーバーフロー閾値THである値V_thを越えないように、画像バッファ５３Ｖからのデータの読み出しを行う。さらに、可能であれば、多重分離部５２は、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値V_thを越えないように、画像バッファ５３Ｖへのデータの書き込みを行う。

この場合、制御部５６（図１０）のバッファサイズ設定部６１において、例えば、SD画像を記憶するのに適切な画像バッファ５３ＶのバッファサイズV_Sや、HD画像を記憶するのに適切な画像バッファ５３ＶのバッファサイズV_Hを設定した後、バッファ制御部６２において、画像バッファ５３Ｖのオーバーフロー閾値THを、適切なバッファサイズV_SやV_Hに対応する値としての、例えば、適切なバッファサイズV_SやV_Hの所定の割合の値に設定することにより、画像バッファ５３Ｖのバッファサイズを、実質的に、適切なバッファサイズV_SやV_Hに制御することができる。

すなわち、図１５左から２番目は、オーバーフロー閾値THが、HD画像に適切なバッファサイズV_Hに対応する値V_HTに設定された画像バッファ５３Ｖを示している。

この場合、可能であれば、画像デコーダ５４Ｖでは、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値V_HTを越えないように、画像バッファ５３Ｖからのデータの読み出しが行われ、さらに、可能であれば、多重分離部５２において、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値V_HTを越えないように、画像バッファ５３Ｖへのデータの書き込みが行われる。その結果、画像バッファ５３Ｖのバッファサイズは、実質的に、HD画像に適切なバッファサイズV_Hとなる。

図１５左から３番目（右から１番目）は、オーバーフロー閾値THが、SD画像に適切なバッファサイズV_Sに対応する値V_STに設定された画像バッファ５３Ｖを示している。

この場合、可能であれば、画像デコーダ５４Ｖでは、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値V_STを越えないように、画像バッファ５３Ｖからのデータの読み出しが行われ、さらに、可能であれば、多重分離部５２において、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値V_STを越えないように、画像バッファ５３Ｖへのデータの書き込みが行われる。その結果、画像バッファ５３Ｖのバッファサイズは、実質的に、SD画像に適切なバッファサイズV_Sとなる。

音声バッファ５３Ａについても、画像バッファ５３Ｖと同様に、オーバーフロー閾値を設定することで、そのバッファサイズを実質的に制御することができる。

なお、画像バッファ５３Ｖにおいて（音声バッファ５３Ａについても同様）、蓄積量が、オーバーフロー閾値THを越え、オーバーフロー状態となった場合には、例えば、バッファフラッシュを行って、オーバーフロー状態となっている画像バッファ５３Ｖに記憶されているデータ（画像ストリーム）を破棄してから、多重分離部５２から新たに供給される画像ストリームを記憶することができる。

但し、オーバーフロー閾値THが大きい値から小さい値に変更された直後において、画像バッファ５３Ｖがオーバーフロー状態になった場合には、上述したようなオーバーフローを解消するためのデータの破棄は、制限される。

すなわち、図１６は、オーバーフロー閾値THが大きい値から小さい値に変更されるときの画像バッファ５３Ｖを示している。

図１６左から１番目では、画像バッファ５３Ｖには、n番目のHD画像#nと、n+1番目のHD画像#n+1とが記憶されており、また、画像バッファ５３Ｖの蓄積量は、HD画像についてのオーバーフロー閾値V_HT以下になっている。

画像バッファ５３Ｖに記憶されているHD画像#n及び#n+1は、順次読み出され、後段のデコーダ部５４に供給される。

いま、n+1番目のHD画像#n+1の次の画像以降がSD画像となっていることとすると、多重分離部５２から画像バッファ５３Ｖには、n+2番目の画像として、SD画像#n+2が供給され、n+3番目の画像として、SD画像#n+3が供給される。以下、同様に、多重分離部５２から画像バッファ５３Ｖには、SD画像が供給される。

また、多重分離部５２から画像バッファ５３ＶにSD画像の供給が開始されると、画像バッファ５３Ｖのオーバーフロー閾値THは、HD画像についてのオーバーフロー閾値V_HTから、SD画像についてのオーバーフロー閾値VS_Tに変更される。

図１６左から２番目は、多重分離部５２から画像バッファ５３ＶへのSD画像の供給が開始され、n+1番目のHD画像#n+1と、n+2番目のSD画像#n+2、及びn+3番目のSD画像#n+3とが記憶されている状態の画像バッファ５３Ｖを示している。

図１６左から２番目では、上述したように、画像バッファ５３Ｖのオーバーフロー閾値THが、大きい値の、HD画像についてのオーバーフロー閾値V_HTから、小さい値の、SD画像についてのオーバーフロー閾値V_STに変更されているため、HD画像#n+1、並びに、SD画像#n+2及び#n+3が記憶されている画像バッファ５３Ｖは、蓄積量がオーバーフロー閾値V_STを越えて、オーバーフロー状態になっている。

この場合、オーバーフロー状態の画像バッファ５３Ｖに記憶されているHD画像#n+1、並びに、SD画像#n+2及び#n+3が破棄されてしまうと、画像が途切れることになる。

そこで、オーバーフロー閾値THが大きい値から小さい値に変更された直後において、画像バッファ５３Ｖがオーバーフロー状態になった場合には、オーバーフローを解消するためのデータの破棄は、制限される。

図１６左から３番目（右から１番目）は、n+1番目のHD画像#n+1がデコーダ部５４に読み出された直後の画像バッファ５３Ｖを示している。

図１６左から３番目では、図１６左から２番目に示した状態の画像バッファ５３Ｖから、HD画像#n+1が読み出され、SD画像#n+2及び#n+3だけが記憶された状態になっており、その結果、蓄積量が、オーバーフロー閾値V_ST以下となって、オーバーフロー状態が解消している。

画像バッファ５３Ｖのオーバーフロー閾値THが、大きい値の、HD画像についてのオーバーフロー閾値V_HTから、小さい値の、SD画像についてのオーバーフロー閾値V_STに変更され、画像バッファ５３Ｖがオーバーフロー状態になった場合には、上述のように、画像バッファ５３Ｖからの画像の読み出しが行われ、これにより、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値V_ST以下となって、画像バッファ５３Ｖのオーバーフロー状態が解消するまでは、オーバーフローを解消するためのデータの破棄は制限される。

そして、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値V_ST以下となって、画像バッファ５３Ｖのオーバーフロー状態が解消した後は、可能であれば、画像デコーダ５４Ｖでは、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値V_STを越えないように、画像バッファ５３Ｖからのデータの読み出しが行われ、さらに、可能であれば、多重分離部５２において、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値V_STを越えないように、画像バッファ５３Ｖへのデータの書き込みが行われる。

なお、画像バッファ５３Ｖは、例えば、リングバッファで構成することができる。

すなわち、図１７は、リングバッファを用いた画像バッファ５３Ｖの構成例を模式的に示している。

図１７上において、円周は、リングバッファとしての画像バッファ５３Ｖの記憶領域を表している。

また、図１７上において、円周上の四角形（□）で示す読み出しポイントRPは、画像バッファ５３Ｖからのデータの読み出し位置（アドレス）を表し、円周上の三角形（△）で示す書き込みポイントWPは、画像バッファ５３Ｖへのデータの書き込み位置（アドレス）を表す。

いま、読み出しポイントRP、及び書き込みポイントWPが、図１７上の円周上を、時計回りに回転し、読み出しポイントRPの位置からデータが読み出され、書き込みポイントWPの位置にデータが書き込まれることとすると、読み出しポイントRPと、書き込みポイントWPとは、互いに、一方が他方を追い越さないように制御される。

さらに、読み出しポイントRPから、時計回りに、書き込みポイントWPまでのデータ量Vcが、画像バッファ５３Ｖの蓄積量であり、この蓄積量が、オーバーフロー閾値THを越えないように、画像バッファ５３Ｖからのデータ読み出しや、画像バッファ５３Ｖへのデータの書き込みが制御される。

なお、画像バッファ５３Ｖに記憶されているデータの破棄（画像バッファ５３Ｖのバッファフラッシュ）は、例えば、図１７下に示すように、読み出しポイントRPを、書き込みポイントＷPの位置に移動すること等の、書き込みポイントＷPと、読み出しポイントRPとの位置を一致させることによって行うことができる。

次に、画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズと、制御部５６による、画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズの制御とについて、さらに説明する。

画像バッファ５３Ｖ及び音声バッファ５３Ａの最大のバッファサイズは、TVで処理をすることを想定している画像及び音声のうちの、最もデータ量が大の画像及び音声のデータ量に基づいて決定される。

現在行われているディジタル放送の画像及び音声が、最もデータ量が大の画像及び音声であるとすると、本件発明者の経験によれば、画像バッファ５３Ｖのバッファサイズとしては、1.5MB(Mega Byte)を採用し、音声バッファ５３Ａのバッファサイズとしては、128KB(Kilo Byte)を採用することが望ましい。

なお、0xに続く値が１６進数を表し、1KBが1024B(Byte)であり、１MBが1024KBであるとすると、1.5MBは、１６進数で、0x180000Bと表すことができ、128KBは、１６進数で、0x20000Bと表すことができる。

いま、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズそのものを変更せずに、図１５で説明したように、オーバーフロー閾値を制御することにより、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを、実質的に変更することとすると、制御部５６において、オーバーフロー閾値は、シーケンスヘッダ等の情報から計算により求めることもできるし、あらかじめ作成された、シーケンスヘッダ等の情報とオーバーフロー閾値とが対応付けられたテーブルを参照することにより求めることもできる。

制御部５６は、シーケンスヘッダ等に基づき、画像バッファ５３Ｖ及び音声バッファ５３Ａのオーバーフロー閾値として、以下のような値を設定する。

すなわち、例えば、シーケンスヘッダにおける画サイズ、つまり、シーケンスヘッダ(Sequence_Header)におけるhorizontal_size_valueとvertical_size_valueとから把握される画像の横×縦の画素数が、1920×1080画素以上である場合（画サイズが、いわゆるFull-HDサイズ以上のサイズである場合）、画像バッファ５３Ｖのオーバーフロー閾値は、例えば、約1.2MB(=0x130000B)に設定される。

さらに、例えば、シーケンスヘッダにおける画サイズが、352×240画素以下であり、かつ、計算上64KB以下である場合、画像バッファ５３Ｖのオーバーフロー閾値は、例えば、約64KB(=0x10000B)に設定される。

また、例えば、シーケンスヘッダにおける、音声データのサンプリング周波数が、48kHzであり、ビットレートが、192kbpsであり、コーデック（Codec)がAAC(Advanced Audio Coding)である場合、音声バッファ５３Ａのオーバーフロー閾値は、例えば、約123KB(=0x1ec00B)に設定される。

次に、制御部５６において、再生対象（TVで処理する対象）の画像に適した画像バッファ５３Ｖのバッファサイズは、シーケンスヘッダ、さらには、その他の必要な情報に基づき、例えば、以下のようにして求めることができる。

すなわち、いま、再生対象のMPEGストリームが、例えば、プル型のストリームであり、ファイルに格納されていることとする。

また、再生対象のMPEGストリームが格納されたファイルを選択するときに、サーバやInfoファイル等から取得することができるフォーマット情報を、Aと表す。さらに、MPEGストリームのシーケンスヘッダやピクチャヘッダから取得することができる情報として、画サイズ、ビットレート、VBVバッファサイズ(VBV_Buffer_Size)、プロファイル(Profile)、レベル(Level)、及び画像のコーデックがMPEG1かどうかを表す情報（以下、適宜、MPEG1フラグという）があり、画サイズをBと、ビットレートをCと、VBVバッファサイズをDと、プロファイル及びレベルをEと、MPEG1フラグをFと、それぞれ表す。

ここで、MPEG1フラグFは、full_pel_forward_vector値等の複数の値より、画像のコーデックがMPEG1であるかどうかが判別されて設定される。

また、MPEG2のプロファイルによって決まるVBVバッファの最大のサイズ（最大VBVサイズ）をGと表し、画像バッファ５３Ｖにデータを記憶しておくことができる時間（許容時間）をH[ミリ秒]と表す。

ここで、許容時間Hは、経験則で決定される。

制御部５６は、フォーマット情報A、プロファイル及びレベルE、並びに、MPEG1フラグFにより、プロファイルやフォーマットの一致などを確認し、プロファイル毎に割り当てた「テーブル」を選択する。

なお、プロファイルが不一致であった場合に「テーブル」として何を選ぶかは、過去の傾向等より導き出されている。また、MPEG1ではプロファイルは規定されていないが、経験則より、仮想プロファイルを割り当てる。この時選んだプロファイルを、Iと表す。

次に、制御部５６は、画サイズＢに基づき、テーブル内から画サイズ適正バッファサイズJを選択する。なお、「テーブル」は、MPEG規格、及び、経験則より事前に作成されている。

その後、制御部５６は、ビットレートC及び許容時間Hより期待するバッファ量tmp1を、例えば、式tmp1=C×Hにより導く。

そして、制御部５６は、得られたビットレートCが正しいとは限らないため、バッファ量tmp1を補正し、新たなバッファ量tmp1'を求める。

すなわち、制御部５６は、バッファ量tmp1がプロファイルIで規定されている最大VBVサイズGよりも大きい場合には、新たなバッファ量tmp1'を、最大VBVサイズGとする(tmp1'=G)。また、制御部５６は、バッファ量tmp1がプロファイルIで規定されている最大VBVサイズGよりも大きくない場合には、バッファ量tmp1を、そのまま、新たなバッファ量tmp1'とする(tmp1'=tmp1=C×H)。

さらに、制御部５６は、得られたビットレートCが正しいとは限らないため、VBVバッファサイズDを補正し、新たなVBVバッファサイズtmp2を求める。

すなわち、制御部５６は、VBVバッファサイズDがプロファイルIで規定されている最大VBVサイズGよりも大きい場合には、新たな最大VBVバッファサイズtmp2を、最大VBVサイズGとする(tmp2=G)。また、制御部５６は、VBVバッファサイズDがプロファイルIで規定されている最大VBVサイズGよりも大きくない場合には、VBVバッファサイズDを、そのまま、新たなVBVバッファサイズtmp2とする(tmp2=D)。

そして、制御部５６は、再生対象の画像に適した画像バッファ５３Ｖのバッファサイズtmpを、例えば、式tmp=(α×J+β×tmp1'+γ×tmp2)/3に従って求める。

ここで、係数α，β、及びγは、経験則によりあらかじめ求められた重み係数である。

なお、バッファサイズtmpが小さすぎる値の場合は、TVが正しく動作しない可能性があるので、制御部５６は、バッファサイズtmpが、あらかじめ決められた最小値MINより小さい場合には、バッファサイズtmpを、最小値MINに補正する(tmp=MIN)。

ここで、最小値MINは、MPEG2プロファイルで規定されている値よりなどから決まる。なお、MPEG1ではプロファイルがないので、最小値MINとしては、非常に小さい値が算出される可能性がある。また、最小値MINは、実際には、TVで使用するIC(Integrated Circuit)の制約などを考慮して決められる。

次に、制御部５６において、再生対象の音声に適した音声バッファ５３Ａのバッファサイズは、MPEGストリームに含まれる各種のヘッダ、さらには、その他に必要な情報に基づき、例えば、以下のようにして求めることができる。

また、再生対象のMPEGストリームが格納されたファイルを選択するときに、サーバやInfoファイル等から取得することができるコーデックの情報（コーデック情報）を、Aと表す。

さらに、MPEGストリームのヘッダから取得することができる情報として、コーデック情報、ビットレート、及びサンプリング周波数があり、そのコーデック情報をBと、ビットレートをCと、サンプリング周波数をDと、それぞれ表す。

また、音声バッファ５３Ａにデータを記憶しておくことができる時間（許容時間）をE[ミリ秒]と表す。

ここで、許容時間Eは、経験則で決定される。

制御部５６は、コーデック情報A及びBから、コーデックの一致を確認し、コーデック毎に割り当てた基準バッファ量Kを選択する。

なお、制御部５６は、基準バッファ量Kについては、内部でテーブル化していて、一致するものを選択する。また、コーデックが不一致であった場合に、基準バッファ量Kとして何を選ぶかも、過去の傾向等より導き出されており、テーブルから選択することができる。

次に、制御部５６は、サンプリング周波数Dより割合係数αを求める。

そして、制御部５６は、再生対象の音声に適した音声バッファ５３Ａのバッファサイズtmpを、例えば、式tmp=α×C×Kに従って求める。

なお、MPEGストリームのヘッダから取得することができる情報が間違っている可能性もあるので、制御部５６は、バッファサイズtmpが、あらかじめ決められた最小値MINより小さい場合には、バッファサイズtmpを、最小値MINに補正し（tmp=MIN)、バッファサイズtmpが、あらかじめ決められた最大値MAXより大きい場合には、バッファサイズtmpを、最大値MAXに補正する（tmp=MAX)。

ここで、最大値MAXは、例えば、メモリサイズ、及び、コーデック情報より決められる。また、最小値MINは、例えば、コーデック情報より算出可能な、デコードするのに必要な最小サンプルや、TVに使用するICの制約などを考慮して決められる。

なお、例えば、ディジタル放送等で放送されるプッシュ型のMPEGストリームを処理するTV等の装置には、そのプッシュ型のMPEGストリームをデコードするデコーダと、プッシュ型のMPEGストリームを一時記憶するメモリ領域とを用いて、ディジタルスチルカメラや、HDのディジタルビデオカメラ(HD-CAM)等で撮影した動画のMPEGストリーム、その他の、スゴ録（商標）等のレコーダやVaio（商標）等のPC等のDLNA(Digital Living Network Alliance)サーバとして機能する、プル型のMPEGストリームを出力する装置からの、そのプル型のMPEGストリームを処理することが要請されている。

これは、プッシュ型のMPEGストリームを処理するデコーダ及びメモリ領域とは別に、プル型のMPEGストリームを処理するデコーダ及びメモリ領域を設けると、コストや、基板面積、消費電力が増大するからである。

しかしながら、プッシュ型のMPEGストリームを処理するデコーダ及びメモリ領域を用いて、プル型のMPEGストリームを処理する場合において、MPEGストリームに、複数種類の画像（例えば、SD画像とHD画像等）のエレメンタリストリームや、複数種類の音声（例えば、日本語の音声と英語の音声等）のエレメンタリストリーム、複数種類の字幕（例えば、日本語の字幕と英語の字幕等）のエレメンタリストリームが含まれるときに、出力する画像等を、ある種類の画像等から他の種類の画像等に切り換える操作、すなわち、例えば、DVDの再生中に、音声を日本語から英語に切り換える操作等がされると、その切り換えのために、エレメンタリストリームを記憶するメモリ領域としてのES(Elementary Stream)バッファのバッファフラッシュをする必要がある。

そして、ESバッファのバッファフラッシュが行われると、前述の図７で説明したように、ESバッファのバッファサイズによっては、切り換え後の画像等の出力が開始されるまでに長時間を要し、ユーザに不快感を与えることになる。

そこで、プッシュ型のMPEGストリームを処理するデコーダ及びメモリ領域を用いて、プル型のMPEGストリームを処理する場合には、ESバッファ（例えば、図１０の画像バッファ５３Ｖ及び音声バッファ５３Ａ）のバッファサイズ（ESバッファのオーバーフロー閾値）を、プッシュ型のMPEGストリームを処理するときと、プル型のMPEGストリームを処理するときとで変更し、これにより、例えば、DVDから再生されたMPEGストリーム等のプル型のMPEGストリームの処理中において、出力する画像等の切り換えのために、バッファフラッシュが行われたときに、切り換え後の画像等の出力が開始されるまでの時間を短くすることができる。

すなわち、プル型のMPEGストリームを処理するときに、プッシュ型のMPEGストリームを処理するときよりも、ESバッファのバッファサイズを小さくすることで、バッファフラッシュ時に破棄される画像等のデータ量が少なくなり、その結果、切り換え後の画像等の出力が開始されるまでの時間を短くすることができる。

なお、図９のTVにおいて、ファイルに格納されたMPEGストリームを再生対象とする場合には、その再生対象とするMPEGストリームが格納されたファイルを選択するときに、各種ファイルの情報を認識することができることが多い（Infoファイルや、サーバより情報を取得することができる）ので、その情報に基づいて、ESバッファとしての画像バッファ５３Ｖや音声バッファ５３Ａのバッファサイズ（オーバーフロー閾値）を変更することができる。

例えば、ファイルに格納された再生対象のMPEGストリームが、MPEG2-TSであることが認識された場合には、MPEG-TSは、HD-CAMで撮影されたコンテンツのストリームや、ディジタル放送で放送されたコンテンツのストリームである可能性が高いので、HDコンテンツであることが多い。そこで、再生対象のMPEGストリームが、MPEG2-TSである場合には、TVでは、画像バッファ５３Ｖのバッファサイズを、HDコンテンツに適した大きい値の、例えば、約1.2MBに変更することができる。

また、例えば、ファイルに格納された再生対象のMPEGストリームが、MPEG2-PS(Program Stream)であることが認識された場合には、そのMPEGストリームは、DVDに記録されたコンテンツのストリーム等の、SDコンテンツのストリームである可能性が高い。そこで、TVでは、再生対象のMPEGストリームが、MPEG2-PSである場合には、画像バッファ５３Ｖのバッファサイズを、SDコンテンツに適した小さな値の、例えば、約256KBに変更することができる。

さらに、例えば、ファイルに格納された再生対象のMPEGストリームが、MPEG1システムストリームであることが認識された場合には、そのMPEGストリームについては、最大で、SDコンテンツのMPEG2-PSを処理するときと同様のバッファサイズが必要となる可能性がある。そこで、TVでは、再生対象のMPEGストリームが、MPEG1システムストリームである場合には、画像バッファ５３Ｖのバッファサイズを、例えば、上述した、SDコンテンツに適した約256KBに変更することができる。

また、図９のTVでは、多重分離部５２から音声バッファ５３Ａに供給される音声ストリームのコーデックに基づいて、音声バッファ５３Ａのバッファサイズを変更することができる。

例えば、音声ストリームのコーデックが、AACである場合には、約128KBに、MPEG-Audioである場合には、約32KBに、LPCM(Linear Pulse-Code Modulation)である場合には、約64KBに、AC3(Audio Code number 3)である場合には、約64KBに、それぞれ、音声バッファ５３Ａのバッファサイズを変更することができる。

なお、再生対象とするMPEGストリームが格納されたファイルを選択するときに認識することができる情報にのみ基づき、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを制御する場合には、ファイルの途中で、コーデックや、画サイズ、HD/SDが変更されているMPEGストリームに対応することが困難となる。

そこで、再生対象とするMPEGストリームに含まれるシーケンスヘッダ等のヘッダにも基づいて、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを、ダイナミックに制御することにより、コーデック等が途中で変更されているMPEGストリームに対して、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを適切なバッファサイズに変更することができる。

以上のように、図９のTVでは、MPEGストリームから、必要なESを分離して一時記憶し、デコードする処理を行っている最中に得られるシーケンスヘッダ等に含まれるプロファイル情報や、画サイズ、VBVバッファサイズ、ビットレート等に基づいて、画像バッファ５３Ｖのバッファサイズを、ダイナミックに制御することにより、画像バッファ５３Ｖ又は音声バッファ５３Ａのうちの一方のバッファフラッシュが行われた場合に、無画又は無音の時間を短くして、迅速に、AV同期がとれた画像と音声の出力を行うことができる。

さらに、図９のTVでは、画像ストリームを記憶するESバッファとして、１つの画像バッファ５３Ｖだけが設けられているので、例えば、SD画像の画像ストリームを記憶するESバッファと、HD画像の画像ストリームを記憶するESバッファといったように、画像の種類ごとにESバッファを設ける場合に比較して、コストを削減することができる。

また、図９のTVにおいて、多重分離部５２、メモリ部５３、デコーダ部５４、外部出力部５５、及び制御部５６を、ストリーム処理部ということとすると、図９のTVでは、例えば、HDコンテンツとSDコンテンツとを、単一のストリーム処理部で処理することができるので、HDコンテンツを処理するストリーム処理部と、SDコンテンツを処理するストリーム処理部とを別に設ける場合に比較して、メモリやCPU等の削減が可能となり、その結果、コストを削減することができる。

さらに、基板面積の縮小が可能となり、装置の小型化を図ることができる。

また、消費電力の削減を図ることができる。

さらに、例えば、HDコンテンツとSDコンテンツとが入り混じるMPEGストリームの再生をスムーズに行うことが可能となり、ユーザに不快感を与えることを防止することができる。

また、MPEGストリームに、音声ストリームとして、第１及び第２の種類の音声ストリームが含まれる場合において、ユーザの操作に応じて、出力する音声を、第１又は第２の種類の音声ストリームのうちの一方の音声ストリームから、他方の音声ストリームに切り換えるときに、音声バッファ５３Ａのバッファフラッシュによって生じる無音の時間、及び、AV同期があった画像と音声の出力が開始されるまでの時間を短縮することができる。同様に、MPEGストリームに、画像ストリームとして、第１及び第２の種類の画像ストリームが含まれる場合において、ユーザの操作に応じて、出力する画像を、第１又は第２の種類の画像ストリームのうちの一方の画像ストリームから、他方の画像ストリームに切り換えるときに、画像バッファ５３Ｖのバッファフラッシュによって生じる無画の時間、及び、AV同期があった画像と音声の出力が開始されるまでの時間を短縮することができる。

その結果、無音の時間や、無画の時間、AV同期があった画像と音声の出力が開始されるまでの時間が長時間となることによって、ユーザに不快感を与えることを防止することができる。

なお、音声バッファ５３Ａについては、多重分離部５２から音声バッファ５３Ａに供給される音声ストリームのコーデック（符号化の方法（方式））に基づき、そのコーデックの音声ストリームに適したバッファサイズに、音声バッファ５３Ａのバッファサイズを制御することができる。

そして、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズの両方を、適切なバッファサイズに制御することにより、画像バッファ５３Ｖ及び音声バッファ５３Ａの両方のバッファフラッシュが行われた場合に、AV同期があった画像と音声の出力が開始されるまでの時間を短縮することができ、AV同期があった画像と音声の出力が開始されるまでの時間が長時間となることによって、ユーザに不快感を与えることを防止することができる。

さらに、例えば、ディジタル放送等で放送されてくるMPEGストリーム等の、プッシュ型のMPEGストリームと、ディジタルカメラで撮影された動画のMPEGストリーム等の、プル型のMPEGストリームとを、単一のストリーム処理部で処理することができ、コストを削減することができる。

以上、本発明を、TVに適用した場合について説明したが、本発明は、その他、例えば、コンテンツを再生するプレーヤ等に適用可能である。

また、処理の対象とするビットストリームは、MPEGストリームに限定されるものではない。さらに、メモリ部５３には、画像及び音声以外のメディアのES（例えば、字幕のES等）を記憶するESバッファをさらに設け、TVでは、そのESバッファのバッファサイズを、画像バッファ５３Ｖ及び音声バッファ５３Ａと同様に、適切なバッファサイズに制御することができる。

ここで、本明細書において、コンピュータ（例えば、図９のCPU５７）に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のTVの一例の構成を示すブロック図である。メモリ部１３及びデコーダ部１４の構成例を示すブロック図である。 SDコンテンツを処理するブロックと、HDコンテンツを処理するブロックとが設けられたTVの構成例を示すブロック図である。 SDコンテンツとHDコンテンツのそれぞれに必要な画像バッファ１３Ｖのバッファサイズを説明する図である。 MPEGストリームの例を示す図である。 SDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示す図である。 HDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示す図である。メモリ部１３の他の構成例を示すブロック図である。本発明を適用したTVの一実施の形態の構成例を示すブロック図である。メモリ部５３、デコーダ部５４、及び制御部５６の構成例を示すブロック図である。バッファ制御処理を説明するフローチャートである。画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズの制御を説明する図である。画像バッファ５３Ｖと音声バッファ５３Ａの記憶内容を示す図である。画像バッファ５３Ｖと音声バッファ５３Ａの記憶内容を示す図である。オーバーフロー閾値を制御することにより、画像バッファ５３Ｖのバッファサイズが実質的に変更されることを説明する図である。オーバーフロー閾値THが大きい値から小さい値に変更されるときの画像バッファ５３Ｖの記憶内容を示す図である。リングバッファを用いた画像バッファ５３Ｖの構成例を示す図である。

符号の説明

５１外部入力部，５２多重分離部，５３メモリ部，５３Ａ音声バッファ，５３Ｖ画像バッファ，５４デコーダ部，５４Ａ音声デコーダ，５４Ｖ画像デコーダ，５５外部出力部，５６制御部，５７ CPU，５８ RAM，５９ EEPROM，６１バッファサイズ設定部，６２バッファ制御部

Claims

少なくとも、第１の種類の画像データ及び第２の種類の画像データを含む画像データと、音声データとを含んだ、MPEG(Moving Picture Experts Group)の規格に準拠したビットストリームを処理するデータ処理装置において、
前記画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定するバッファサイズ設定手段と、
前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御するバッファ制御手段と
を備え、
ユーザの操作に応じて、第１の種類の画像データ、又は第２の種類の画像データのうちの一方の画像データから他方の画像データに、出力が切り換えられるときに、前記第１のバッファはクリアされる
データ処理装置。
少なくとも、第１の種類の画像データ及び第２の種類の画像データを含む画像データと、音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理方法において、
前記画像のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定し、
前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御し、
ユーザの操作に応じて、第１の種類の画像データ、又は第２の種類の画像データのうちの一方の画像データから他方の画像データに、出力が切り換えられるときに、前記第１のバッファをクリアする
ステップを含むデータ処理方法。
少なくとも、第１の種類の画像データ及び第２の種類の画像データを含む画像データと、音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理を、コンピュータに行わせるプログラムにおいて、
前記画像のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定し、
前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御し、
ユーザの操作に応じて、第１の種類の画像データ、又は第２の種類の画像データのうちの一方の画像データから他方の画像データに、出力が切り換えられるときに、前記第１のバッファをクリアする
ステップを含むプログラム。
少なくとも、画像データと、第１の種類の音声データ及び第２の種類の音声データを含む音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理装置において、
前記画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定するバッファサイズ設定手段と、
前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御するバッファ制御手段と
を備え、
ユーザの操作に応じて、第１の種類の音声データ、又は第２の種類の音声データのうちの一方の音声データから他方の音声データに、出力が切り換えられるときに、前記第２のバッファはクリアされる
データ処理装置。
少なくとも、画像データと、第１の種類の音声データ及び第２の種類の音声データを含む音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理方法において、
前記画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定し、
前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御し、
ユーザの操作に応じて、第１の種類の音声データ、又は第２の種類の音声データのうちの一方の音声データから他方の音声データに、出力が切り換えられるときに、前記第２のバッファをクリアする
ステップを含むデータ処理方法。
少なくとも、画像データと、第１の種類の音声データ及び第２の種類の音声データを含む音声データとを含んだ、MPEGの規格に準拠したビットストリームを処理するデータ処理を、コンピュータに行わせるプログラムにおいて、
前記画像データを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズを、前記ビットストリームに含まれるシーケンスヘッダの情報に基づいて設定するとともに、前記音声データを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズを、前記ビットストリームに含まれるコーデックの情報に基づいて設定し、
前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御し、
ユーザの操作に応じて、第１の種類の音声データ、又は第２の種類の音声データのうちの一方の音声データから他方の音声データに、出力が切り換えられるときに、前記第２のバッファをクリアする
ステップを含むプログラム。