JP4289753B2 - 再生方法及び装置と表示装置 - Google Patents
再生方法及び装置と表示装置 Download PDFInfo
- Publication number
- JP4289753B2 JP4289753B2 JP2000032258A JP2000032258A JP4289753B2 JP 4289753 B2 JP4289753 B2 JP 4289753B2 JP 2000032258 A JP2000032258 A JP 2000032258A JP 2000032258 A JP2000032258 A JP 2000032258A JP 4289753 B2 JP4289753 B2 JP 4289753B2
- Authority
- JP
- Japan
- Prior art keywords
- real
- image
- time information
- digital data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、記録されたデジタルデータ列を入力して再生する再生方法及び装置と表示装置に関するものである。
【０００２】
【従来の技術】
近年、衛星やケーブル放送を用いたデジタルテレビ放送が普及してきている。このようなデジタル放送の実現により、放送される画像の画質や音声品質の向上、また圧縮技術を利用した番組種類数や情報量の増大、インタラクティブ・サービスなどの新しいサービスの提供、受信形態の進化、など多くの新たな展開が期待されている。
【０００３】
図１７は、衛星放送を用いた従来のデジタル放送受信装置の構成を示すブロック図である。
【０００４】
この受信装置は、衛星放送によって送信された情報をアンテナ１で受信し、この受信したテレビ情報は、受信装置８においてチューナ２で選局、復調される。その後、非図示の誤り訂正処理や、必要であれば課金対応やデスクランブル（スクランブル解除）処理等がなされる。次に、ＴＶ情報として多重されている各種データを多重信号分離回路３で、それぞれのデータに分離する。こうして分離された各データは、画像情報、音声情報、その他の付加データとなる。更に、これら分離された各データを復号回路４で復号し、その復号された各データの内、画像情報と音声情報は、Ｄ／Ａ変換回路５でアナログ信号に変換され、外部に接続された表示装置であるＴＶ受像機６で表示及び音声出力される。尚、付加データは番組サブデータとしての役割を果たすために、各種機能に関与している。
【０００５】
更に、この衛星放送を記録再生するときは記録再生装置（ＤＶＤ／ＶＴＲ）７で行う。この記録再生装置７の一例は、記録再生可能なＤＶＤ（デジタル・ビデオ・ディスク・ドライブ）やデジタルＶＴＲである。受信装置８と記録再生装置７との間はデータバス等で接続されており、この記録再生装置７における記録方式はデジタル記録方式であり、ビットストリーム記録される。なお、前記ＤＶＤやデジタルＶＴＲ（例えばＤ−ＶＨＳ方式ＶＴＲ）を用いたビットストリーム記録に限らず、その他の民生用デジタル記録方式であるＤＶＣでもビットストリーム記録をサポートしており、各種ディスク媒体を用いたデジタル記録装置等でも、必要であればフォーマット変換をするなどしてデジタルテレビ放送を記録することが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来からある地上波放送、及び上述したデジタルテレビ放送を加えても、テレビ番組を家庭のテレビに表示する方法としては、基本的に放送局から送信されてくる画像をそのまま表示するのが一般的である。また同様に、テレビ放送を記録したＶＴＲを再生する際も、記録時のデータをそのまま再生するように設計されている。
【０００７】
即ち、テレビ放送の表示、又はＶＴＲの再生表示等を、個々のユーザが状況に応じて、より効果的に、その表示形態を変化させることは、従来の技術では極めて困難である。このような機能は、デジタルテレビ放送の発展の上で、今後、より多チャンネル化、多プログラム化していく過程でも、効果的な表示方法であり、新たな機能を追加していく観点からも必要不可欠なものの一つと考えられるが、このような機能の実現は未だなされていないのが現状である。
【０００８】
本発明は上記従来例に鑑みてなされたもので、ユーザの視覚的効果を向上させ、ユーザ・インターフェースを向上できる再生方法及び装置と表示装置を提供することを目的とする。
【０００９】
又本発明の目的は、例えば、再生時に意味のない属性のオブジェクトを判定して、そのオブジェクトの再生を制御できる再生方法及び装置と表示装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために本発明の再生装置は以下のような構成を備える。即ち、
記録されたデジタルデータ列を再生する再生装置であって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生手段とを有し、
前記判定手段は、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする。
【００１１】
上記目的を達成するために本発明の表示装置は以下のような構成を備える。即ち、
再生装置により再生されたデジタルデータを入力して、当該デジタルデータにより表わされる画像を表示する表示装置であって、
前記デジタルデータにより表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて表示させる表示制御手段とを有し、
前記判定手段は、前記デジタルデータに多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする。
【００１２】
上記目的を達成するために本発明の再生方法は以下のような工程を備える。即ち、
記録されたデジタルデータ列を再生する再生方法であって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定工程と、
前記判定工程で前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生工程とを有し、
前記判定工程で、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする。
【００１３】
【発明の実施の形態】
従来抱えている問題を解決するため、本発明の実施の形態では、デジタルテレビ放送の受信、表示方法、及びテレビ情報を記録再生する記録再生装置の再生表示方法に関して、効果的な再生表示方法としての新たな機能を提案し、従来のデジタルテレビ放送の符号化方式として採用されているＭＰＥＧ２の技術に加え（或は、ＭＰＥＧ２を置き換えて）、近年標準化が図られているＭＰＥＧ４の技術を利用し放送系を構成することによって実現する。
【００１４】
ＭＰＥＧ４の詳細な説明は後述するが、ＭＰＥＧ４符号化の特徴でもあるオブジェクトの概念を用いることによって、画像中の各オブジェクト単位での出力制御、表示制御が可能になり、ＭＰＥＧ４テレビ放送を記録再生する装置又は表示する装置で、所定のオブジェクト属性データを有する画像データについて、オリジナルとは表示形態を変えて出力することができる。
【００１５】
例えば、所定のオブジェクト情報がリアルタイムな画像オブジェクト（その画像が放送された時点でのみ意味を持つもので、例えば時刻表示や天気予報等のオブジェクト等）であった場合、テレビ情報を記録再生装置で再生する際、過去において記録したオリジナルの表示形態で、その記録画像をそのまま再生表示することなく、その記録された画像の内、リアルタイムな画像オブジェクトを非表示にするよう制御したり、または現在の時刻に対応させて時刻表示等を変更して（置換処理）表示するよう制御することができる。
【００１６】
このようなオブジェクトとしては、画像の背景や話者、ＣＧ等の画像、さらには、話者の音声などを扱い、ＭＰＥＧ４の符号化方式としては、それぞれのオブジェクト単位にを符号化／復号化し、各オブジェクトを組み合わせることで１つのシーンを表現する構成である。
【００１７】
本実施の形態に係る具体的な表示制御機能としては、ＭＰＥＧ４を記録再生する装置、又は再生した情報を表示する装置に関して、各オブジェクトについて定義した属性情報（オブジェクト情報）に基づいて、所定のオブジェクト情報からなるオブジェクトについては、記録時（オリジナル画像）と再生時とで表示形態を変更するように制御するものである、
本実施の形態を実現することによって、特に放送時の時刻情報などのリアルタイム情報を、現時刻に対応して表示変更することが容易に実現でき、従来にはない、テレビ放送の記録再生に新しい機能を追加する上で効果が大きい。
【００１８】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１９】
［実施の形態１］
本実施の形態では、デジタル放送される、ＭＰＥＧ４符号化方式で符号化された画像信号を受信して記録及び再生する場合で説明する。まず最初に、ＭＰＥＧ４に関する技術を分野ごとに分けて詳細に説明する。
【００２０】
＜規格の全体構成＞
ＭＰＥＧ４規格は大きく４項目からなる。このうちの３項目は、ＭＰＥＧ２と類似しており、ビジュアル・パート、オーディオ・パート、システム・パート、である。
（１）ビジュアル・パート
自然画、合成画、動画、静止画などを扱うオブジェクト符号化方式が規格として定められている。
【００２１】
伝送路誤りの訂正や修復に適した符号化方式、同期再生機能、階層符号化が含まれている。表現上、『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像までを含める。
（２）オーディオ・パート
自然音、合成音、効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオ・パートやオーディオ・パートでは複数の符号化方式を規定し、各々のオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫をしている。
（３）システム・パート
符号化された映像オブジェクトや音声オブジェクトの多重化処理と、その逆の分離処理を規定している。更にバッファ・メモリや時間軸制御と再調整機能もこのパートに含まれる。
【００２２】
上記パート（１）、（２）で符号化した映像オブジェクトや音声オブジェクトは、シーンのなかのオブジェクトの位置や出現時刻、消滅時刻などを記したシーン構成情報と共にシステム・パートの多重化ストリームに統合される。
【００２３】
このように符号化された信号の復号化処理としては、受信したビットストリームから、各々のオブジェクトを分離／復号化し、シーン構成情報に基づき、シーンを再構成する。
・オブジェクトの符号化
ＭＰＥＧ２では、フレーム或はフィールドを単位としていたが、コンテンツの再利用や編集を実現するために、ＭＰＥＧ４では映像データやオーディオ・データをオブジェクト（物体）として扱う。
【００２４】
これらオブジェクトには、以下のような種類がある。
【００２５】
・音声
・自然画像（背景映像：２次元固定映像）
・自然画像（主被写体映像：背景なし）
・合成画像
・文字情報
これらを同時に入力して符号化処理をする場合のシステム構成例を、図１８に処理ブロック図として示した。
【００２６】
上記オブジェクトのそれぞれは、音声オブジェクト符号化器５００１、自然画像オブジェクト符号化器５００２、合成画像オブジェクト符号化器５００３、文字オブジェクト符号化器５００４にて、各々符号化処理される。これと同時に、上記の各オブジェクトのシーン内での関連を、シーン構成情報として、シーン記述情報符号化器５００５にて符号化し、上述の各符号化オブジェクト情報とともに、データ多重化器５００６にて、ＭＰＥＧ４ビットストリームへとエンコード処理される。
【００２７】
このように符号化側では、このような複数のビジュアル・オブジェクトやオーディオ・オブジェクトの組み合せを定義して、一つのシーン（画面）を表現する。このうちビジュアル・オブジェクトに関しては、自然画像と、コンピュータ・グラフィックス等の合成画像とを組み合せたシーンも構成できる。
【００２８】
以上のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像と、その音声の同期再生が可能になる。またＭＰＥＧ４ビットストリーム状態で、送信及び受信或は記録再生を行うことができる。
【００２９】
このように符号化されたビットストリームのデコード処理は、そのエンコード処理の逆処理を行う。即ち、データ分離器５００７にて、ＭＰＥＧ４ビットストリームを、各オブジェクト毎に分離、分配する。それを受けて、音声、自然画像、合成画像、文字等の各オブジェクトは、それぞれ対応する復号器５００８〜５０１１によりオブジェクト・データに復号される。また、シーン記述情報も同時にシーン記述復号器５０１２にて復号され、これらの復号情報を用いて、シーン合成器５０１３にて、元のシーンを再合成する。
【００３０】
更に、このデコード（復号）側では、シーンのビジュアル・オブジェクトの位置やオーディオ・オブジェクトの順番などといった部分的な変更が可能である。これらオブジェクト位置は、ドラッグ操作により変更でき、言語の変更などは、ユーザがオーディオ・オブジェクトを変更することで可能になる。
【００３１】
ここでは複数のオブジェクトを自由に組み合せてシーンを合成するために、次の４項目を規定している。
（ａ）オブジェクト符号化
ビジュアル・オブジェクトやオーディオ・オブジェクト、及びそれらを組み合せたＡＶ（オーディオ・ビジュアル）オブジェクトを符号化対象とする。
（ｂ）シーン合成
ビジュアル・オブジェクトやオーディオ・オブジェクト及びＡＶオブジェクトを所望のシーンに構成するためのシーン構成情報と合成方式を規定するために、ＶＲＭＬ(Virtual Realty Modeling Language)をモディファイした言語を用いる。
（ｃ）多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリ・ストリーム）の形式などを決める。
【００３２】
このストリームをネットワークに流したり、記録装置に格納するときのサービス品質ＱＯＳ(Quality Of Service)も設定可能である。このＱＯＳパラメータには、最大伝送速度、誤り率、伝送方式などの伝送路条件や、復号化能力などが設けられている。
（ｄ）ユーザの操作（インタラクション）
ビジュアル・オブジェクトやオーディオ・オブジェクトをユーザ端末側で合成する方式を定義する。
【００３３】
ＭＰＥＧ４のユーザ端末では、ネットワークや記録装置から送られてくるデータを、エレメンタリ・ストリームに分離して、各オブジェクトごとに復号化する。こうして、複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にして、シーンを再構成する。
【００３４】
ユーザの操作（編集）を考慮に入れた、システム構成例を図１９に例示する。また、ビデオオブジェクトに関しての、ＶＯＰ処理回路ブロックを、図２０にエンコーダ側を、図２１にデコーダ側をそれぞれ例示する。
・ＶＯＰ(Video Object Plane)
ＭＰＥＧ４における映像の符号化は、対象となる映像オブジェクトを、形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をＶＯＰという。
【００３５】
図２２は、ＶＯＰの符号化及び復号化の全体を構成を示すブロック図である。例えば、画像が人物と背景の２つのオブジェクトから構成されている場合、各フレームを２つのＶＯＰに分割して符号化する。
【００３６】
各ＶＯＰを構成する情報は、図２３（ａ）に示すように、オブジェクトの形状情報、動き情報、テキスチャ情報となる。一方、復号器では、ビットストリームをＶＯＰ毎に分離し、これらを個別に復号した後、これらを合成して画像を表示する。
【００３７】
このようにＶＯＰ構造を導入することにより、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のＶＯＰに分割し、個別に符号化／復号化することができる。
【００３８】
なお、ＶＯＰ数が“１”で、オブジェクト形状が矩形の場合は、図２３（ｂ）に示すように、従来と同様のフレーム単位の符号化となる。
【００３９】
ＶＯＰには三種類の予測方式があり、面内符号化（Ｉ−ＶＯＰ）、前方向予測（Ｐ−ＶＯＰ）、双方向予測（Ｂ−ＶＯＰ）がある。この予測方式における予測単位は、１６×１６画素のマクロブロックで行う。
【００４０】
双方向予測ＶＯＰ（Ｂ−ＶＯＰ）は、ＭＰＥＧ１、ＭＰＥＧ２のＢピクチャと同じく、過去のＶＯＰと未来のＶＯＰから両方向予測するＶＯＰである。そして、マクロブロック単位に、直接符号化／前方符号化／後方符号化／双方符号化の四種類のモードを選択可能としている。
【００４１】
双方向予測符号化は、ＭＢ又はブロック単位でモードを切り替え可能で、Ｐ−ＶＯＰの動きベクトルのスケーリングで双方向予測する。
・形状(Shape)符号化
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化及び復号化の際に既知でなければならない。また、後ろにある物体が透けて見えるガラスのような物体を表現するためには、その物体がどれだけの透明度を有するかを示す情報が必要となる。この物体の形状及び物体の透明度の情報を合わせて形状情報と呼ぶ。その形状情報の符号化を形状符号化と呼ぶ。
・サイズ変換処理
２値形状符号化は、画素毎に物体の内側か、外側かの境界を符号化していく手法であるため、符号化すべき画素数が少ないほど発生する符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号化が劣化して受信側に伝送されることになる。よって、サイズ変換で元の情報がどの程度劣化するかを測定し、所定の閾値以下のサイズ変換誤差が得られる限りは、できるだけ小さなサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横１／２倍、縦横１／４倍の３種類が挙げられる。
【００４２】
各ＶＯＰの形状情報は、８ビットのα値として与えられ、次のように定義される。
【００４３】
α＝０：該当ＶＯＰの外側
α＝１〜２５４：他のＶＯＰと半透明状態で表示
α＝２５５：該当ＶＯＰのみの表示領域
２値形状符号化は、α値が“０”或は“２５５”のみをとる場合であり、該当ＶＯＰの内側と外側のみで形状が表現される。また多値形状符号化は、α値が“０”から“２５５”の全ての値を取りうる場合であり、複数のＶＯＰ同士が半透明で重なる状態を表現することができる。
【００４４】
テキスチャ符号化と同様に、１６×１６画素のブロック単位に１画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は、形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。ＭＰＥＧ４では、動き補償予測したブロック単位の形状情報を、２値形状符号化する。
【００４５】
［フェザーリング］
その他、２値形状の場合でも、境界部は滑らかに不透明から透明に変えたい場合、フェザーリング（境界形状のスムーズ化）を使う。このフェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリング・フィルタモードがある。一定に不透明な多値形状には、定アルファモードがあり、フェザーリングとの組み合わせが可能である。
・テキスチャ符号化
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド／フレーム単位のＤＣＴ、量子化、予測符号化、可変長符号化の順に処理する。
【００４６】
ＤＣＴは、８×８画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合に、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、４タップの２次元フィルタを掛けることで、ＤＣＴ変換係数に大きな擬似ピークが出る現象を防ぐ。
【００４７】
量子化は、ＩＴＵ−Ｔ勧告Ｈ．２６３の量子化器、或はＭＰＥＧ２の量子化器のいずれかを使う。いまＭＰＥＧ２量子化器を使えば、直流成分の非線形量子化やＡＣ成分の周波数重み付けが可能になる。
【００４８】
この量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し、冗長成分を削除する。特にＭＰＥＧ４では、直流成分と交流成分の両方に対して予測符号化する。
【００４９】
テキスチャ符号化のＡＣ／ＤＣ予測符号化は、隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方を予測に使う。直流係数ｘを符号化する場合、｜ａ−ｂ｜＜｜ｂ−ｃ｜ならｃを、｜ａ−ｂ｜≧｜ｂ−ｃ｜ならａを、それぞれ予測に使う。
【００５０】
交流係数ｘを予測する場合、直流係数と同様に予測値を選んだのち、各ブロックの量子化スケール値（ＱＰ）で正規化する。
【００５１】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００５２】
また交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数値を用いる。但し、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００５３】
その後、交流成分は、ジグザグスキャンしてから、３次元（Ｌａｓｔ，Ｒｕｎ，Ｌｅｖｅｌ）可変長符号化する。ここで、Ｌａｓｔは“０”以外の係数の終わりを示す１ビットの値、Ｒｕｎは“０”の継続長、Ｌｅｖｅｌは非ゼロ係数の値である。
【００５４】
面内符号化した直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルのいずれかを使う。
・動き補償
ＭＰＥＧ４では、任意の形状のビデオ・オブジェクトプレーン（Video Object Plane：ＶＯＰ）を符号化することができる。ＶＯＰには、予測の種類によって面内符号化（Ｉ−ＶＯＰ）、前方向予測符号化（Ｐ−ＶＯＰ）、双方向予測符号化（Ｂ−ＶＯＰ）があり、予測単位は１６ライン×１６画素、又は８ライン×８画素のマクロブロックを使う。従って、ＶＯＰの境界上に跨るマクロブロックも存在することになる。このＶＯＰ境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）とポリゴンマッチング（オブジェクト部分のみのマッチング）を行なう。
・ウェーブレット符号化
ウェーブレット変換とは、１つの孤立波関数を拡大／縮小／平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、特にＣＧ画像と自然画像の合成を扱うとき、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。
【００５５】
このウェーブレット符号化の効果としては、画像をブロック分割せず一括して符号化できるため、低ビットレートでもブロックひずみが発生しないとか、モスキート雑音も減少できる点が挙げられる。このように、ＭＰＥＧ４の静止画符号化モードでは、低解像度かつ低画質の画像から、高解像度かつ高画質までの幅広いスケーラビリティ、処理の複雑性、符号化効率のトレードオフを、アプリケーションに応じて選択できる構成となっている。
・階層符号化（スケーラビリティ）
スケーラビリティを実現するために、図２４のようなシンタックスの階層構造を構成する。
【００５６】
この階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。
【００５７】
空間スケーラビリティの場合、ベースレイヤは低解像度の動画像、（ベースレイヤ＋補強レイヤ）は高解像度の動画像を表す。
【００５８】
更に、画像全体の画質を階層的に向上させる他に、画像中の物体領域のみの画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは、画像全体を低いフレームレートで符号化したもの、補強レイヤは、画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものとなる。
【００５９】
［時間スケーラビリティ］図２４（ａ）
時間スケーラビリティは、フレーム速度を階層化する。補強レイヤのオブジェクトのフレーム速度を早くすることができる。階層化の有無は、オブジェクト単位で設定できる。補強レイヤのタイプは２つで、タイプ１は、ベースレイヤのオブジェクトの１部で構成する。タイプ２は、ベースレイヤと同じオブジェクトで構成する。
【００６０】
［空間スケーラビリティ］図２４（ｂ）
空間スケーラビリティは、空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能である。ベースレイヤは、補強レイヤの予測に使う。
・スプライト符号化
スプライトとは、３次元空間における画中の背景などのように、オブジェクト全体が統一的な移動・回転・変形等で表現できる平面的なオブジェクトのことであり、この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００６１】
このスプライト符号化の区別は４種あり、静的／動的とオンライン／オフラインで分かれる。詳しく説明すると、オブジェクトのデータを予め復号化器に送り、グローバル動き係数だけをリアルタイムに伝送することで実現する構成で、テンプレートの直接変換で得る手法の静的スプライト、時間的に前のスプライトから予測符号化して得る手法である動的スプライト、事前に面内符号化（Ｉ−ＶＯＰ）として符号化され、復号器側に伝送する手法であるオフライン・スプライト、符号化中に符号化器と復号化器で同時に作成する手法であるオンラインスプライトである。
【００６２】
このスプライト符号化に関して検討されている技術として、スタティック・スプライト(Static Sprite)符号化、ダイナミック・スプライト(Dynamic Sprite)符号化、グローバル動き補償などの、方式（ツール）がある。
【００６３】
［スタティック・スプライト符号化］
スタティック・スプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。この切り出した一部の画像は、平行移動、拡大、縮小、回転等様々な変形を表現することができる。これについて図２５（ｂ）に図示したように、画像の移動・回転・拡大・変形等、３次元空間での視点移動などを表現することをワープと呼ぶ。
【００６４】
図２５（ａ）は、このワープの種類を示している。このワープの種類には、遠近法変換、アフィン変換、等方拡大（ａ）／回転（θ）／移動（ｃ，ｆ）、平行移動の手法があり、図２５（ａ）の各式で表され、各係数によって移動・回転・拡大・変形等を表わすことができる。また、スプライトの生成は、符号化開始前にオフラインで行われる。
【００６５】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することにより、スタティック・スプライト符号化が実現される。
【００６６】
図２６は、スプライト画像の一例を示す図で、全体の背景画像内の囲まれた一部の領域をワープすることになる。具体的には、例えばこの背景には、テニス試合における観客席等の背景画像、ワープ部にはプレーヤ等の動きのある部分を含んだ画像が入ることになる。また、スタティック・スプライト符号化では、幾何変換パラメータのみを符号化して予測誤差を符号化しない。
【００６７】
［ダイナミック・スプライト符号化］
スタティック・スプライト符号化方式では、符号化前にスプライトを生成しておくのに対し、ダイナミック・スプライト符号化方式では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティック・スプライト符号化とは異なっている。
【００６８】
［グローバル動き補償（ＧＭＣ）］
グローバル動き補債とは、オブジェクト全体の動きを、ブロックに分割することなく、１つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像となる点、予測誤差を符号化する点でスタティック・スプライト符号化と同様である。但し、スプライトを格納するためメモリを必要としないこと、形状情報が不要であることにおいて、スタティック・スプライト符号化、及びダイナミック・スプライト符号化とは異なる。これは画面全体の動きや、ズームを含む画像などにおいて効果がある。
・シーン構造記述情報
シーン構成情報でオブジェクト合成する。ＭＰＥＧ４では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図した通りのシーンに合成できる。
【００６９】
このシーン構成情報には、オブジェクトの表示時間や表示位置などがある。これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。
【００７０】
このシーン構成情報を記述する言語には、ＶＲＭＬを修正したＢＩＦＳ(Binary Format for Scenes)と、Ｊａｖａを用いたＡＡＶＳ(Adaptive Audio-Visual Session Fomat)がある。ＢＩＦＳは、ＭＰＥＧ４のシーン構成情報を２値で記述する形式。ＡＡＶＳはＪａｖａをベースとしており、自由度が大きく、ＢＩＦＳを補う位置付けにある。
【００７１】
このシーン記述情報の構成例を、図２７に示す。
・シーン記述
シーン記述は、ＢＩＦＳ(Binary Fomat for Scenes)により行われる。ここでは、ＶＲＭＬとＢＩＦＳ共通の概念であるシーングラフとノードを中心に説明する。ノードは光源、形状、材質、色、座標などの属性や座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、３次元空間中の各物体の配置や見え方は、シーングラフと呼ばれる木を頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードに、メディアオブジェクト、例えば、ＭＰＥＧ４ビデオのビットストリームを同期をとって割当てれば、他のグラフィックスとともに動画を３次元空間内に合成して出力できる。
【００７２】
また、ＶＲＭＬとの差異は、下記の通りである。
【００７３】
ＭＰＥＧ４システムでは
１．ＭＰＥＧ４ビデオＶＯＰ号化の２次元オーバーラップ関係記述とＭＰＥＧ４オーディオの合成記述
２．連続メディアストリームの同期処理
３．オブジェクトの動的振る舞い表現（例えばスプライト）
４．伝送形式（バイナリー）を標準化
５．セッション中にシーン記述を動的に変更
をＢＩＦＳでサポートする。
【００７４】
ＶＲＭＬのノードのうち、Extrusion，Script，Proto，Extem Protoなどがサポートされていない以外は、ＶＲＭＬノードのほぼ全てがＢＩＦＳでサポートされている。
【００７５】
ＢＩＦＳで新たに加えられたＭＰＥＧ４特別ノードには、以下のものがある。
１．２Ｄ／３Ｄ合成のためのノード
２．２Ｄグラフィックスやテクストのためのノード
３．アニメーションノード
４．オーディオノード
特筆すべきは、ＶＲＭＬでは背景など特殊なノードを除き２Ｄ合成はサポートされていなかったが、ＢＩＦＳでは、テキストやグラフィックオーバーレイ、更に、ＭＰＥＧ４ビデオＶＯＰ符号化を画素を単位として扱えるよう記述が拡張されている。
【００７６】
アニメーションノードには、３Ｄメッシュで構成された顔などＭＰＥＧ４のＣＧ画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加、属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。ＢＩＦＳは、ＶＲＭＬの予約語、ノード識別子、属性値をほぼ一対一のバイナリデータに置き換えることにより実現できる。
・ＭＰＥＧ４オーディオ
図２８は、ＭＰＥＧ４オーディオの符号化方式の種類を示す図である。
【００７７】
オーディオ及び音声の符号化には、パラメトリック符号化、ＣＥＬＰ符号化、時間／周波数変換符号化が含まれる。更に、ＳＮＨＣオーディオの機能も取り入れ、ＳＡ（Structured Audio：構造化オーディオ）符号化とＴＴＳ（Text to Speech：テキスト音声合成）符号化が含まれる。ＳＡはＭＩＤＩを含む合成楽音の構造的記述言語であり、ＴＴＳは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００７８】
図２９は、オーディオ符号化方式の構成を示す図である。
【００７９】
図２９において、入力音声信号を前処理し（２０１）、信号分割２０２でパラメトリック符号化器、ＣＥＬＰ符号化器、時間／周波数符号化器の３つの符号化器を使い分けるように、帯域に応じて信号分割し、それぞれ適した符号化器に入力する。また信号分析制御２０３では、入力した音声信号を分析し、その信号に応じた、各符号化器への分類のための制御情報等を発生させる。続いて、それぞれ別の符号化器である、パラメトリック符号化コア２０４、ＣＥＬＰ符号化コア２０５、時間／周波数変換符号化コア２０６では、各符号化方式に基づいた符号化処理がなされる。これら３種の符号化方式についてはこの後説明する。こうして符号化されたオーディオデータのうち、パラメトリック符号化コア２０４、ＣＥＬＰ符号化コア２０５の出力は小ステップ強化回路２０７に入力され、また、時間／周波数変換符号化コア２０６の出力及び小ステップ強化回路２０７の出力は、大ステップ強化回路２０８に入力される。これら小ステップ強化回路２０７及び大ステップ強化回路２０８とは、各符号化コアの符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化回路２０８から出力されたオーディオデータは、符号化された音声ビットストリームとなる。
【００８０】
以上が図２９の音声符号化方式の構成の説明である。
【００８１】
次に、図２８を参照しながら、各符号化方式について説明する。
・パラメトリック符号化
音声信号、楽音信号を周波数や、振幅、ピッチ等のパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化（ＨＶＸＣ：Harmonic Vector Excitation Coding）符号化と、楽音信号用の個別スペクトル（ＩＬ：Individual Line）符号化が含まれる。
・ＨＶＸＣ符号化
主として２ｋビット／秒〜４ｋビット／秒の音声符号化を目的としており、音声信号を音声信号を有声音と無声音とに分類し、有声音は線形予測係数（ＬＰＣ：Linear Prediction Coefficient）の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
・ＩＬ符号化
６ｋビット／秒〜１６ｋビット／秒の楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
・ＣＥＬＰ符号化(Code Excited Linear Prediction cording)
入力音声信号を、スペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力音声信号から線形予測分析によって算出される線形予測係数によって表される。
【００８２】
ＭＰＥＧ４のＣＥＬＰ符号化には、帯域幅４ｋＨｚの狭帯域ＣＥＬＰと帯域幅８ｋＨｚの広帯域ＣＥＬＰがあり、狭帯域（ＮＢ：Narrow Band）ＣＥＬＰは、３．８５ｋビット／秒〜１２．２ｋビット／秒、広帯域（ＷＢ：Wide Band）ＣＥＬＰは１３．７ｋビット／秒〜２４ｋビット／秒の間においてビットレートの選択が可能である。
・時間／周波数（Ｔ／Ｆ）変換符号化
高音質を目指す符号化方式である。ＡＡＣ(Advanced Audio Coding)に準拠する方式、及びＴｗｉｎＶＱ（Transform-domain Weighted Interleave Vector Quantization：変換領域重み付けインターリーブベクトル量子化）が、これに含まれる。
【００８３】
この時間／周波数（Ｔ／Ｆ）変換符号化構成には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化するしくみになっている。
【００８４】
・ＡＡＣ準拠方式
オーディオ信号をＤＣＴ等で周波数変換し、聴覚マスキング効果を利用しながら適応量子化するしくみである。適応ビットレートは、２４ｋビット／秒〜６４ｋビット／秒までである。
・ＴｗｉｎＶＱ方式
オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のＭＤＣＴ係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化するしくみである。適応ビットレートは、６ｋビット／秒〜４０ｋビット／秒までである。
・システム構成
ＭＰＥＧ４のシステム・パートでは、多重化、分離、合成（コンポジション）を定義する。以下、図３０を用いて説明する。
【００８５】
多重化では、まず映像符号化器やオーディオ符号化器からの出力となる各オブジェクトや、その時空間配置を記述したシーン構成情報などのエレメンタリ・ストリームごとに、アクセス・ユニット・レイヤでパケット化する。アクセス・ユニットレイヤでは、アクセス・ユニット単位に同期を取るためのタイム・スタンプや参照クロックなどをヘッダとして付加する。パケット化したストリームは、次にFlexMuxレイヤで、表示や誤り耐性の単位で多重化されTransMuxレイヤに送られる。
【００８６】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で、１本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、ＭＰＥＧ４では定義せず、インターネットのプロトコルであるＵＤＰ／ＩＰ(user datagram protocol/internet protocol)やＭＰＥＧ２のトランスポート・ストリーム（ＴＳ）、ＡＴＭ(asynchronous transfer mode)のＡＡＬ２(ATM adaptaion layer 2)、電話回線利用のテレビ電話用多重化方式（ＩＴＵ−Ｔ勧告Ｈ．２２３）、デジタル・オーディオ放送などの既存のネットワーク・プロトコルが利用可能である。
【００８７】
システム・レイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセス・ユニット・レイヤやFlexMuxレイヤをバイパスすることも可能である。
【００８８】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ（ＤＢ：Decoding Buffer）を設け、各オブジェクトの到着時刻や復号化時間のずれを吸収する。合成の前にもバッファ（ＣＢ：Composition Buffer）を設けて表示時間を調整する。
・ビデオストリームの基本構造
図３１に、レイヤー構造を示す。
【００８９】
各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとは、start code，end code，ＩＤ，形状，サイズ他、各種符号化情報である。
【００９０】
［ビデオストリーム］
ビデオのストリームは複数のセッションで構成される。ここで、セッションとは、一連の完結したシーケンスのことである。
［ＶＳ］（ビデオセッション）は、複数のオブジェクトで構成される。
［ＶＯ］（ビデオオブジェクト）
［ＶＯＬ］（ビデオ・オブジェクト・レイヤー）は、複数のレイヤーを含んだオブジェクト単位のシーケンス
［ＧＯＶ］（ビデオ・オブジェクト・プレーンのグループ）は、複数のレイヤーで構成される。
［ＶＯＰ］（ビデオ・オブジェクト・プレーン）は、複数のプレーンで構成される。
（プレーン：フレーム毎のオブジェクト）
・誤り耐性を有したビットストリーム構造
ＭＰＥＧ４では、移動体通信（無線通信）等に対応すべく、符号化方式自体が伝送誤りに対して耐性を有している。しかし今までの標準方式では、誤り訂正は主にシステム側で行っていた。一方、ＰＨＳ等のネットワークでは、誤り率が非常に高く、システム側でも訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。
【００９１】
このことを考慮してＭＰＥＧ４では、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも、可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とした。
【００９２】
ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
（１）Reversible VLC（ＲＶＬＣ）と双方向復号（図３２）
復号の途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能となる。このような順方向と同時に、逆方向からも復号可能な可変長符号を採用することにより“双方向復号”が実現できる。
（２）重要情報の複数回伝送（図３３（ａ））
重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化することができる。例えば、各ＶＯＰを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に誤りによってこのビデオパケットが消失しても、前記構造により次のビデオパケットから復号処理を再開できるが、このビデオパケットにはタイムスタンプがないため、結局表示タイミングがわからないことになる。そのため各ビデオパケットにＨＥＣ(Header Extension Code)というフラグを立てて、この後にタイムスタンプ等の重要情報を付加できる構造を導入した。このＨＥＣフラグの後には、タイムスタンプとＶＯＰの符号化モードタイプが付加できる構造になっている。
【００９３】
同期はずれが生じた場合、次の同期回復マーカ（ＲＭ）から復号を開始するが、各ビデオパケットにはそのために必要な情報（そのパケットに含まれる最初のＭＢの番号と、そのＭＢに対する量子化ステップサイズ）がＲＭ直後に配置されている。その後にＨＥＣフラグが挿入され、ＨＥＣ＝１の場合にはＴＲ及びＶＣＴがその直後に付加される。これらＨＥＣ情報により、仮に先頭のビデオパケットが復号できずに廃棄されても、ＨＥＣ＝１と設定したビデオパケット以降の復号及び表示が正しく行われることになる。ここでＨＥＣを“１”にするか否かは符号化側で自由に設定できる。
（３）データ・パーティショニング（図３３（ｂ））
エンコーダ側では、ＭＢ単位の符号化処理を操り返してビットストリームを構成しているため、途中に誤りが混入すると、それ以降のＭＢデータは復号できないことになる。
【００９４】
一方、複数のＭＢ情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置する場合を考える。各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入して、それ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【００９５】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（ＤＣＴ係数等）とにグループ分けするデータ・パーティショニング手法(Data Partitionig)が採用されている。また、グループの境目には、モーション・マーカ(Motion Marker)を配置している。
【００９６】
仮に動きベクトル情報の途中に誤りが混入していても、ＭＭの後にくるＤＣＴ係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するＭＢデータは、ＤＣＴ係数と共に正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
（４）可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだＭＢ群は“ビデオパケット”と呼ばれ、その中に何個のＭＢを含めるかは符号化側で自由に設定することができる。可変長符号（ＶＬＣ：Variable Length Code）を使用しているビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能となる。
・バイト・アラインメント
情報の多重化がバイトの整数倍単位で行われるというシステムとの整合性をとり、ビットストリームはバイト・アラインメント(Byte Alignment)構造となっている。このバイト・アラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。更にこのスタッフビットは、ビデオパケット内のエラーチャック符号としても使用される。
【００９７】
スタッフビットは“０１１１１”のように、最初の１ビットのみが“０”で、それ以外が全て“１”であるような符号で構成されている。つまり、ビデオパケット内の最後のＭＢまで正しく復号されれば、その次に来る符号は必ず“０”であり、その後、スタッフビットの長さより１ビットだけ少ない“１”が連続しているはずである。従って、もしこのルールに反したパターンが検出された場合は、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【００９８】
以上がＭＰＥＧ４の技術に関する説明である。なお、上記した説明は、日経エレクトロニクス１９９７．９．２２号ｐ．１４７〜ｐ．１６８「国際標準規格ＭＰＥＧ４の概要決まる」、社団法人 映像情報メディア学会テキスト１９９７．１０．２「見えてきたＭＰＥＧ４の全貌」、日本工業技術センター１９９７．２．３セミナー資料「ＭＰＥＧ４の最新標準化動向と画像圧縮技術に、明記されている。
【００９９】
続いて、本発明の実施の形態に係るＭＰＥＧ４システムの具体的な説明を行う。
【０１００】
図１は、本発明の実施の形態に係るシステム全体の構成を示すブロック図である。
【０１０１】
図１において、１１はＭＰＥＧ４符号化方式のデジタルテレビ放送受信器、１２は記録及び再生装置、１３は表示装置である。テレビ放送受信器１１はセットトップボックス（ＳＴＢ）等の受信機器であり、記録再生装置１２はＤＶＤ、ハードディスク（ＨＤ）等を用いたホームサーバ、又はデジタルＶＴＲ等である。また表示装置１３は、テレビジョン（ＴＶ）やディスプレイ等が代表的な製品形態の表示装置である。このシステムでは、テレビ放送受信器１１で受信したテレビ放送を表示装置１３に表示するとともに、記録再生装置１２に記録することができる。また表示装置１３は、記録再生装置１２から再生した画像を表示することができる。
【０１０２】
図２は、このテレビ放送受信器１１の詳細な構成を示すブロック図である。
【０１０３】
デジタルテレビ放送データを、その通信形態に応じて受信する。即ち、衛星による放送のときは衛星アンテナ１２により、また通信ケーブルを介しての放送のときはケーブル放送端末１３から受信する。そして衛星による放送ではチューナ１４により、またケーブルテレビ放送の場合にはチューナ１５で選局、受信のための調整を行う。こうして衛星テレビ放送、もしくはケーブルテレビ放送から受信したテレビ情報は、データ選択器１６にて一方のデータ列が選択され、復調回路１７で復調され、誤り訂正回路１８で誤り訂正について処理される。
【０１０４】
テレビ放送データ及び必要なコマンドデータ等を外部装置と送受信するための通信手段がインターフェース部（Ｉ／Ｆ）１９である。このインターフェース部（Ｉ／Ｆ）１９は、デジタル通信の代表的インターフェースである、例えばＩＥＥＥ１３９４シリアルバス等を採用し、デジタル通信に必要なデータ送受信処理回路、ケーブル（バス）を接続するコネクタ等を備えている。また、このテレビ放送受信器１１の各部を制御しているのがシステムコントローラ２０である。また、スイッチ等の入力手段を備えた指示入力部２１からユーザの各種操作指示等が入力される。以上が図２のテレビ放送受信器１１の説明である。
【０１０５】
図３は、本実施の形態に係る記録再生装置１２の詳細構成を示すブロック図である。
【０１０６】
テレビ放送データやＡＶデータの入出力は、インターフェース部（Ｉ／Ｆ）３１を介して行われる。このインターフェース部３１は、テレビ放送受信器１１及び表示装置１３との間でデータ通信が可能な、互換性を備えたものである。
【０１０７】
テレビ放送を受信して記録する際には、テレビ放送受信器１１から送られたテレビデータをインターフェース部（Ｉ／Ｆ）３１により入力し、記録処理回路３２で記録形態に適したデータ形式に変換して記録媒体３３に記録する記録処理を行う。ここでは誤り訂正符号などの付加データの追加や、必要に応じて圧縮方式（フォーマット）の変換等のデータ処理がなされる。こうして記録処理回路３２で記録処理されたテレビデータは、非図示の記録ヘッドから記録媒体３３に記録される。
【０１０８】
次に、記録媒体３３に記録された画像データの再生時は、記録媒体３３に記録されているビデオデータ（テレビデータ）を非図示の再生ヘッドで再生する。こうして再生されたビデオデータは、再生処理回路３５で記録処理とは逆の処理でデータの復元や誤り訂正を行う。
【０１０９】
次に、こうして再生処理されたビデオデータに関して、ＭＰＥＧ４の符号化方式に基づいた復号化方式で復号する。このＭＰＥＧ４での符号化、復号化方法については既に説明したとおりである。ここでの手順は、まず多重データ分離回路３６で、多重されている各種データを画像データ、音声データ、その他のシステムデータに分離する。次いで分離した各データをデコーダ３７で復号して、表示／音声出力制御部３８で、その復号されたデータの出力処理を制御する。また復号した各オブジェクトに関して、オブジェクト置換処理部４１を用いて、本実施の形態に係る特徴である、元の画像を記録した際の実時間的な画像オブジェクト（時刻や天気予報等）等のような所定の属性を有するオブジェクトを非表示にするか、又は非表示の上、更に現在の情報（現時刻等）に差し替えるなどのオブジェクト置換処理を行なう。この処理に際してポイントとなる、デコーダ３７、表示／音声出力制御部３８及びオブジェクト置換処理部４１の各部の構成及びその動作についての詳細な説明は後述する。
【０１１０】
オブジェクト置換処理部４１の出力も踏まえた表示及び音声出力制御部３８の出力は、再生したＡＶデータとして、インターフェース部（Ｉ／Ｆ）３１を介して表示装置１３に伝送される。システムコントローラ３９は、記録媒体の回転制御や記録／再生動作を制御するサーボ処理部３４や、表示及び出力制御部３８、オブジェクト置換処理部４１を始めとして、装置各部の動作制御を行なう。また、ユーザからのコマンド入力は指示入力部４０から行われる。
【０１１１】
次にＭＰＥＧ４デジタルテレビ放送のビットストリームの構成について説明する。
【０１１２】
図６は、ＭＰＥＧ４ビットストリームの構成を示した図である。
【０１１３】
ここでは、オブジェクト１から５（５１〜５５）までのデータスペースに、番組内容、展開に応じてオブジェクトの種類は異なるが、例えば自然画像オブジェクトや音声オブジェクト、コンピュータ・グラフィック（以下ＣＧ）等の合成画像オブジェクトなどが入る。一例として、例えばニュース番組の場合では、背景オブジェクト（スプライト）、人物画像、その他の自然画像オブジェクト、天気予報や時間表示といった合成画像オブジェクト、更には音声オブジェクトなどがこれらに該当する。加えてビットストリームには、システムデータとして、シーン記述情報５６と、追加データ５７とが多重される。この追加データ５７には、時間情報５８や、オブジェクト情報５９、およびその他の情報６０が含まれる。更に、このオブジェクト情報５９には、オブジェクト１〜５（５１〜５５）に該当する各オブジェクトのそれぞれに関した、属するジャンルを示すジャンルコード６１、オブジェクトの詳細を示すオブジェクトコード６２、及びその放送局に固有であるオブジェクトであった時などに必要となる放送局コード６３を含んでいる。
【０１１４】
本実施の形態では、オブジェクト情報５９に含まれる、これら３つのコード（６１〜６３）からオブジェクト毎の属性を判別して、オブジェクト置換処理の対象とする、リアルタイム的な画像オブジェクトを決定する。
【０１１５】
続いて、このオブジェクト情報５９に関して、イメージ的に説明した概念図を図７に示し、これを用いて説明する。
【０１１６】
図７は、オブジェクト情報５９の構成をイメージ的に示し、各放送局ごとに対応させたコード構成の概念図である。図６で説明したオブジェクト情報５９の構成は、具体的には図７に示した様に分類して表される。
【０１１７】
ジャンルコード６１は、例として「ニュース」、「プロ野球」、「ワイドショー」…等のような番組の内容を示す情報で、またオブジェクトコード６２は、「ニュース」では「時間表示オブジェクト」、「天気画像オブジェクト」、「人物画像オブジェクト」…等のように、表示される対象に関する情報である。他のジャンル「プロ野球」、「ワイドショー」等に関しても同様に、図示したように構成され、このようなデータ構成が各放送局毎に存在している様子を表している。このようなオブジェクト情報の構成を表すコードを、各放送局毎に、又は各局共通で同一コードを用いたりして、各種オブジェクトに対して一覧として構成されていることがベースとなっている。そして、放送局側と、視聴者側の機器とが同一のコードを相互理解できるように設定されている。
【０１１８】
次に図３の記録／再生装置１２の構成で説明したデコーダ３７、表示及び音声出力制御部３８、オブジェクト置換処理部４１の各部の動作を詳細に述べ、オブジェクト置換処理について具体的に説明する。
【０１１９】
図５は、オブジェクト置換処理部４１の構成を示すブロック図で、前述の図３と共通する部分は同じ番号で示し、それらの説明を省略する。
【０１２０】
図５において、再生処理されたビデオデータを多重化データ分離回路３６で分離し、デコーダ３７に含まれる音声復号回路６１、画像復号回路６２、システムデータ復号回路６３でそれぞれのデータを復号する。
【０１２１】
このうち音声データは、音声復号回路７１で復号され、ステレオオーディオデータ（Ａ（Ｌ）、Ａ（Ｒ））として表示及び音声出力制御部３８内の音声出力制御部６４に入力され、音量や音場定位の調整、及び主／副音声など音声多重への対応等が実施されて、出力する音声が選択された後、インターフェース部（Ｉ／Ｆ）３１から画像データと同期して、混合して伝送される。
【０１２２】
また画像データは、画像データ中の各画像オブジェクトに夫々対応させて復号処理を行なう複数の同様の復号部を有する画像復号回路７２で復号される。こうして復号された画像データは、オブジェクトの数相当の画像データ（ｖ（１）〜（ｎ））となり、表示及び音声出力制御部３８内の表示出力制御部６５で表示に関する様々な処理や制御が施される。ここでの表示出力制御には、所定オブジェクトに対して表示する／しないの出力制御や、複数のオブジェクトやキャラクタ生成した画像などを合成して一つの出力画像としたりするものが含まれる。こうして表示出力制御された画像データは、インターフェース（Ｉ／Ｆ）部３１から伝送される。
【０１２３】
また、システムデータ（シーン記述データや追加データを含む）については、まずシステムデータ復号回路７３で復号される。ここで復号されたシステムデータの中から、時間情報検出部６６を用いて、システムデータ中の追加データに含まれる時間情報（クロックデータ）を検出する。こうして検出された時間情報はシステムコントローラ３９に入力され、記録時間判定の基準として用いることができる。また、システムデータ復号回路７３により復号されたシステムデータのうち、シーン記述に関するデータはシーン記述データ変換回路６８に入力される。その他のシステムデータ及び追加データは、システムコントローラ３９に各種コマンドとして入力され、オブジェクト情報はここに含まれる。
【０１２４】
シーン記述データ変換回路６８の出力は、音声出力制御部６４及び表示出力制御部６５における、シーンの基本形態の出力に用いられ、かつシステムコントローラ３９にも通知される。
【０１２５】
ビデオデータを再生している際、時間情報検出部６６で検出する時間は過去のものである。このとき、所定の属性を有するオブジェクトに関して、非表示処理、又はオブジェクト置換処理を実行する。システムコントローラ３９は、この時間情報検出部６６の検出結果とオブジェクト情報とから、リアルタイム属性を有する時刻情報が含まれているか否かを判別し、リアルタイムの属性を有する所定のオブジェクトが存在する時は、この所定のオブジェクトの表示に関して、表示出力制御部６５に命令して、この所定オブジェクトの表示を行わないようにする（非表示処理）。
【０１２６】
また非表示にしたオブジェクトに代えて、新たに生成するオブジェクト（キャラクタ）で置換・表示することもできる。この場合は非表示処理に加え、オブジェクト置換処理部４１内の置換処理部６９に命令して、対象とするオブジェクトに代えて、別のオブジェクトを用いて置換処理を実行する。具体的には、置き換えることが可能なリアルタイム属性のオブジェクトとして、「時刻表示オブジェクト」があるが、これを例にして説明する。メモリ（ＲＯＭ）７４に保持されているキャラクタ画像の原データを活用して、キャラクタ発生部７０で、時刻表示のオブジェクトに置き換わる時刻表示のキャラクタ画像を生成する。このときの現時刻の情報は、カレンダー（時計）機能部６７からシステムコントローラ３９を介して入手され、その入手した現時刻の時刻表示キャラクタ画像を生成する。置換処理部６９は、その生成した現時刻の時刻表示キャラクタ画像を、あたかも原画像に表示されていたオリジナルの時刻表示オブジェクトと同じになるようにその表示位置を示す情報等を付加した上で表示出力制御部６５に入力し、表示出力制御部６５で画像データに合成して表示する。
【０１２７】
以上が、記録／再生装置１２により再生されるオブジェクトの非表示処理、およびオブジェクト置換処理の説明である。
【０１２８】
なお、再生したオブジェクトの非表示処理は、再生データの時間情報の検出手段を用いることに限らず、再生データについては、全て過去のデータであると認識できるので、再生時にリアルタイム属性を有する所定のオブジェクトについては、全てを非表示の対象とすることもできる。また、時間情報が何らかの障害によって、または始めからデータが欠落している時も、同様に対応することができる。
【０１２９】
ここでは、オブジェクト置換処理については「時刻表示」について説明したが、その他の画像オブジェクトについても本発明は適用できる。
【０１３０】
もちろん、再生画像のオリジナルなオブジェクトをそのまま表示させることもできる。本実施の形態を用いれば、例えば図８に示したように、再生したオリジナルの画像オブジェクト（表示位置：Ｘ，Ｙ）と、前記した手順で生成したキャラクタからなる置き換える画像オブジェクトとで、スイッチ２０１を任意に切り替えることによって、表示する画像オブジェクト（表示位置：Ｘ，Ｙ）を任意に選択することもできる。また位置データを調整すれば、オブジェクトの表示位置を移動させることも可能である。
【０１３１】
次に、この記録再生装置１２が出力したＡＶデータを表示する表示装置１３について説明する。
【０１３２】
図４は、本実施の形態に係る表示装置１３の詳細な構成を示すブロック図である。
【０１３３】
この表示装置１３は、バスを介してインターフェース部（Ｉ／Ｆ）２２からＡＶデータを入力する。この入力したＡＶデータのうち音声データは、音声制御部２３により、画像データの表示に同期したタイミングで出力され、Ｄ／Ａコンバータ２５でアナログ信号に変換された後、ステレオ・スピーカ２７から出力されて再生される。また画像データは、表示制御部２４に入力されて表示タイミング、表示形態の調整がなされ、Ｄ／Ａコンバータ２６でアナログ信号に変換された後、ＣＲＴ２８に表示される。システムコントローラ２９は、これら各部の制御を行い、ユーザからの表示調整指示等の指示入力は、指示入力部３０から入力されてシステムコントローラ２９に送られる。
【０１３４】
以上が、本実施の形態の表示装置１３の説明である。なお、この表示装置１３の構成は、本発明の特徴に影響ないので、図４に示した形態のものに限らず、例えば液晶フラットディスプレイ（ＬＣＤ）等であっても何ら問題はない。
【０１３５】
続いて、本発明の実施の形態に係る表示形態の例を図示して、これを説明する。
【０１３６】
図９は、記録画像であるオンエア（オリジナル）画像１０１と、その記録画像を再生した再生画像１０２に非表示処理を施した時の例を示す図である。
【０１３７】
ここでは過去に記録したオンエア画像１０１には、オンエア時の時刻の「時刻表示オブジェクト（１０：２３）」が含まれているが、現在の再生画像１０２では、この「時刻表示オブジェクト」が非表示とされて表示されている。
【０１３８】
図１０は、図９の「時刻表示」とは異なる例を示す図で、その他のリアルタイム属性を有する情報として「天気予報」の画像オブジェクトに適用した例を示す図である。ここでも図９と同様に、記録画像であるオンエア（オリジナル）画像１０５に含まれる「天気予報」の画像オブジェクト１０７は、その記録画像を再生した再生画像１０６では非表示処理が施されて表示されていない。
【０１３９】
図１１は、記録画像であるオンエア（オリジナル）画像１０３と、その記録画像を再生した再生画像１０４にオブジェクト置換処理を施した時の例を示す図である。
【０１４０】
ここでは過去に記録したオンエア画像１０３には、オンエア時の時刻の「時刻表示オブジェクト（１０：２３）」１０８が含まれているが、現在の再生画像１０４では「時刻表示オブジェクト」を、その画像が再生されている現在の時刻を示すキャラクタで生成した「時刻表示オブジェクト（７：４５）」１０９に置き換えて表示している。
【０１４１】
続いて、本発明の実施の形態１における画像オブジェクトの非表示処理、及び画像オブジェクトの置換処理に関する動作手順を図１２のフローチャートを参照して説明する。
【０１４２】
図３及び図５で説明したＭＰＥＧ４のビデオデータを記録再生できる記録再生装置１２において、まずステップＳ０１で、記録再生装置１２は再生動作に伴って記録媒体３３よりビデオデータを再生し、ステップＳ２で、その再生したビデオデータをデコードした後、ステップＳ０３で、そのビデオデータを構成する画像オブジェクトについて、オブジェクト情報を解析してそれぞれの属性を調べる。
【０１４３】
このオブジェクト情報に示された各種コードを基にして解析を行った結果、リアルタイムの属性であることを示すコードを有する画像オブジェクトがあるか否かを判別し（ステップＳ０４）、そのような画像オブジェクトがある場合はステップＳ０５に進み、そのリアルタイム属性の画像オブジェクトを非表示にするかを判断する。一方ステップＳ０４で、リアルタイム属性の画像オブジェクトが無い場合、及びステップＳ０５で、そのリアルタイム属性の画像オブジエクトをあえて非表示にしないときにはステップＳ０６に進み、再生画像をそのまま表示出力する。
【０１４４】
ステップＳ０５で、そのリアルタイム属性の画像オブジェクトを非表示にする場合はステップＳ０７に進み、先に説明した方法でオブジェクト非表示処理を実行する。更に、ステップＳ０８に進み、その非表示処理を実行した上で、そのリアルタイムな画像オブジェクトに対応する現在の情報を基にして、新規の画像オブジェクト（キャラクタ）をオブジェクト置換処理部４１で作成して置換するかどうかを判断し、置換処理を実行しない場合はステップＳ０９に進み、そのリアルタイムな画像オブジェクトのみを非表示にした表示形態で表示出力を行う。
【０１４５】
一方、ステップＳ０８で、置換処理を実行する場合はステップＳ１０に進み、先に説明した方法でオブジェクト置換処理を実行する。このオブジェクト置換処理では、現在の情報を基にして新規にキャラクタ画像（例えば現時刻等）を発生させ、これを画像オブジェクトとして、その他の再生画像データ（オブジェクト）に合成して表示出力する（ステップＳ１１）。
【０１４６】
本実施の形態１は、オブジェクトに関する情報を解析することによって、ビデオ再生時の表示形態を制御するもので、これまでに説明したようなリアルタイム属性の画像オブジェクト以外でも本発明は容易に適用できる。
【０１４７】
本実施の形態１を用いて、上記の如く構成した装置やシステムによって、ユーザに対して、より親切で視覚効果の高いビデオ再生表示が可能になる。具体的には、テレビ番組を記録したビデオの再生時に、現在の時刻とは異なるオンエア・ビデオでの表示時刻を表示させなくすること、また或は、ビデオが再生される時点の時刻情報と置き換えて表示することができ、視聴者の混同を未然に防ぐことができる。
【０１４８】
また、本実施の形態１によれば、所定のオブジェクトの再生出力を制御することができるので、その他の効果として所定オブジェクトのみに関してダビング回数を規制するなど、著作権的な観点からも効果が期待できる。
【０１４９】
［実施の形態２］
続いて本発明の実施の形態２について説明する。この実施の形態２では、前述の実施の形態１で説明した所定オブジェクトに関した非表示処理機能、オブジェクト置換処理機能を表示装置に設けた構成で説明する。
【０１５０】
図１３は、本発明の実施の形態２に係るＭＰＥＧ４のビデオデータを記録再生する記録再生装置７１の構成を示すブロック図で、前述の図３の構成と共通する部分は同じ番号で示し、それらの説明を省略する。この記録再生装置７１は前述の図３で説明した記録再生装置１２におけるオブジェクト置換処理部４１を備えていない構成である。
【０１５１】
この記録再生装置７１は、再生時、ＭＰＥＧ４のビデオデータをデコードして得たＡＶデータ、及びデコード時に検出したオブジェクト情報と（オンエア時の）時間情報とを含んだサブデータをインターフェース部（Ｉ／Ｆ）３１からバスを介して外部の機器へ出力する。
【０１５２】
図１４は、本実施の形態２に係るＭＰＥＧ４のオブジェクト画像表示に対応した表示装置７２の構成を示すブロック図で、前述の図４の構成と共通する部分は同じ番号で示し、それらの説明を省略する。
【０１５３】
この表示装置７２は、図１３の記録再生装置７１から出力され伝送されたＡＶデータ及びサブデータをインターフェース部（Ｉ／Ｆ）２２から入力し、サブデータからＡＶデータに附随する時間情報を時間情報検出部５１で、オブジェクト情報をオブジェクト情報検出部５２でそれぞれ検出する。
【０１５４】
システムコントローラ２９は、この時間情報検出部５１で検出した入力ＡＶデータの時間情報から、そのデータが記録された時刻を判別し、カレンダー機能部５６からの現在の時刻と比較して、異なっている時は所定の属性を有するオブジェクトに関して、オブジェクトの非表示処理、置換処理を実行する。このとき、システムコントローラ２９は、オブジェクト情報検出部５２で検出したオブジェクト情報から判別し、リアルタイム的な所定の属性を有すオブジェクトが存在する時は、この所定のオブジェクトの表示に関して、オブジェクト毎の表示制御が可能である表示出力制御部２４に命令して、この所定オブジェクトの表示を行わないように非表示処理する。また或は、その非表示にしたオブジェクトに代えて新たに生成するオブジェクト（キャラクタ）で置換することもでき、この場合は非表示処理に加え、オブジェクト置換処理部５３に命令して、対象とするオブジェクトに代えて別のオブジェクトを用いて置換表示処理を実行する。
【０１５５】
具体的には、置き換える事が可能なオブジェクトの中身として、「時刻表示オブジェクト」があるが、これを例にして説明すると、メモリ（ＲＯＭ）５５に保持されているキャラクタ画像を活用して、キャラクタ発生部５４でオブジェクトに置き換わる時刻表示のキャラクタ画像を生成する。この時点での現時刻の情報は、カレンダー（時計）機能部５６からシステムコントローラ２９を介して入手し、それを基に現時刻の時刻表示キャラクタ画像を生成する。オブジェクト置換処理部５３は、この生成した現時刻の時刻表示キャラクタ画像を、あたかもオリジナルの時刻表示オブジェクトと差し替えるように、その表示位置等を指定した上で表示出力制御部２４に入力し、その表示出力制御部２４により、入力した画像データに合成して表示する。
【０１５６】
以上が入力したＡＶデータにおける画像データ中の所定オブジェクトに関する非表示処理、およびオブジェクト置換処理の説明である。
【０１５７】
以上説明したように、本実施の形態２に係る表示装置において、非表示処理、或は非表示処理に加えてオブジェクト置換処理がなされた入力画像の表示形態は、前述の実施の形態１で例示したのと同様に、例えば図９、図１０、図１１に類似する形態で表示される。
【０１５８】
ここでは、オブジェクトの置換処理を「時刻表示」の場合で説明したが、その他の画像オブジェクトについても同様に本実施の形態を適用できる。もちろん、記録画像に含まれているオブジェクトをそのまま表示させてもよい。
【０１５９】
また本実施の形態２においても、例えば前述の図８に示したように、入力したオリジナルの画像オブジェクト（表示位置：Ｘ，Ｙ）と、前記した手順で生成したキャラクタからなる置き換える画像オブジェクトとを、スイッチ２０１を切り替えることによって、任意に選択して、表示する画像オブジェクト（表示位置：Ｘ，Ｙ）を決定することもできる。また表示画像の位置データを調整すれば、オブジェクトの表示位置を移動させることも可能である。
【０１６０】
続いて、発明の実施の形態２に係る表示装置７２における画像オブジェクトの非表示処理及び画像オブジェクトの置換処理に関する動作手順を図１５のフローチャートを参照して説明する。
【０１６１】
ここでは図１４を参照して説明したＭＰＥＧ４のＡＶデータを表示可能な表示装置７２において、表示装置７２はＡＶデータと附随するサブデータの入力（ステップＳ２１）に際して、サブデータ内の時間情報を検出、解析し（ステップＳ２２）、ＡＶデータが記録された時間を示す時刻情報を入手する。更に、入力画像データを構成する画像オブジェクトについて、オブジェクト情報を解析して属性を調べる（ステップＳ２３）。次にステップＳ２４に進み、このオブジェクト情報に示された各種コードを基にして解析を行った結果、リアルタイム的な属性であることを示すコードを有する画像オブジェクトがあるか判別し、その様な属性を有するオブジェクトがある場合はステップＳ２５に進み、そのリアルタイム属性の画像オブジェクトを非表示にするか判断する。
【０１６２】
ステップＳ２４でリアルタイム属性の画像オブジェクトが無い場合、およびステップＳ２５で、そのリアルタイム属性の画像オブジェクトをあえて非表示にしないときにはステップＳ２６に進み、入力画像をそのまま表示出力する。
【０１６３】
またステップＳ２５で、そのリアルタイム属性の画像オブジェクトを非表示にする場合はステップＳ２７に進み、先に説明した方法でオブジェクト非表示処理を実行する。更に、ステップＳ２７で非表示処理を実行した上で、そのリアルタイムな画像オブジェクトに対応する現在の情報を基にした新規の画像オブジェクト（キャラクタ）を、オブジェクト置換処理部５３とキャラクタ発生部５４で作成し、置換することもできる。
【０１６４】
これには、ステップＳ２７でオブジェクト非表示処理を実行した後ステップＳ２８に進み、オブジェクト置換処理を実行するか判断する。ここで置換処理を実行しない場合はステップＳ２９に進み、そのリアルタイムな画像オブジェクトのみを非表示にした表示形態で表示出力を行う。
【０１６５】
一方、ステップＳ２８で置換処理を実行する場合はステップＳ３０に進み、先に読明した方法でオブジェクト置換処理を実行する。このステップＳ３０のオブジェクト置換処理では、現在の情報を基にして新規にキャラクタ画像を発生させ、これを画像オブジェクトとして、その他の入力画像データ（オブジェクト）に合成して表示・出力する（ステップＳ３１）。
【０１６６】
本発明の実施の形態２は、オブジェクトに関する情報を解析することによって、ビデオ表示時の表示形態を制御しているものであり、これまでに説明したようなリアルタイム的な属性の画像オブジェクト以外でも本発明は容易に適用できる。
【０１６７】
また本実施の形態２に係る表示装置によって、ユーザに対してより親切で視覚効果の高いビデオ表示が可能になる。具体的には、ビデオデータを入力した表示装置において、現在の時刻とは異なる時刻表示オブジェクト等を有する入力画像について、その時刻表示オブジェクトを非表示制御すること、又は、その再生される時点の時刻情報に置換して表示することが可能になり、視聴者の混同を未然に防ぐことができる。
【０１６８】
＜その他の実施形態＞
その他の実施形態として、これまで説明してきた本実施の形態の前提となるＭＰＥＧ４符号化方式のビデオデータ（テレビデータ）を、ＭＰＥＧ２符号化方式のビデオデータ（テレビデータ）の一部に組み込んだ上で実現する時の実施形態について説明する。
【０１６９】
図１６は、ＭＰＥＧ２符号化方式のデジタルテレビ放送で用いられる、ＭＰＥＧ２データストリームの伝送形式であるＭＰＥＧ２トランスポート・ストリームの構造を示す図である。ここで、図１６について説明する。
【０１７０】
ＭＰＥＧ２トランスポート・ストリームは、固定長のトランスポート・パケットによって多重・分離される。このトランスポート・パケットのデータ構造は、図１６に示したように階層的に表され、それぞれ図示した項目を含む。
【０１７１】
順に説明すると、８ビットの同期信号（ｓｙｎｃ）、パケット内のビットエラーの有無を示す誤り表示（エラー・インジケータ）、このパケットのペイロードから新たなユニットが始まることを示すユニット開始表示、このパケットの重要度を示すプライオリティ（パケット優先度）、個別ストリームの属性を示す識別情報ＰＩＤ(Packet Identification Data)、スクランブルの有無・種別を示すスクランブル制御、このパケットのアダプテーション・フィールドの有無及びペイロードの有無を示すアダプテーションフィールド制御、同じＰＩＤをもつパケットが途中で一部棄却されたかどうかを検出するための情報である巡回カウンタ、付加情報や、スタッフィング・バイトをオプションで入れることができるアダプテーション・フィールド、及びペイロード（情報）が含まれている。
【０１７２】
更に、このアダプテーション・フィールドは、フィールド長、及びその他の個別ストリームに関する各種項目と、オプショナル・フィールド、スタッフィング・バイト（無効データ・バイト）が入り、本実施の形態では付加データの一つとしてＭＰＥＧ４のビットストリームをこのフィールドに多重する。ＭＰＥＧ２テレビ放送のトランスポート・パケットはこのように構成される。
【０１７３】
ここで、上記で説明したトランスポートストリームを用いたＭＰＥＧ２方式のテレビ放送において、ＭＰＥＧ２のシステムデータに付加データとして多重したＭＰＥＧ４ビットストリームに、所望の画像オブジェクト及び時間情報やオブジェクト情報等のシステムデータを組み込んだ場合を考えて、本実施の形態に係る所定オブジェクトの非表示処理、オブジェクト置換処理を実現する。
【０１７４】
このとき図１６に示したように、微小なデータ量であるＣＧ（時刻表示画像や天気予報画像など）等からなる画像オブジェクト（図１６のオブジェクトＡ，Ｂ，Ｃ）、各オブジェクトのシーン記述情報（ＢＩＦＳ）、システムデータとして時間情報及び画像オブジェクトを識別するためのオブジェクト情報などをＭＰＥＧ４ビットストリームとして、ＭＰＥＧ２のシステムデータ中の前記アダプテーションフィールドの所定領域に多重させて送信することで実現する。またＭＰＥＧ４データを多重した領域の前（または前後）には、ＭＰＥＧ４データの存在を示すＩＤを付加しておき、これをデータ識別に用いる。
【０１７５】
ＭＰＥＧ２の一部に組み込まれた前記ＣＧ等の画像データについては、実施の形態１及び２で説明した本来のＭＰＥＧ４ビデオデータの如く、オブジェクトの非表示処理やオブジェクト置換処理も可能として構成される。
【０１７６】
この場合は、ＭＰＥＧ２のビットストリームからＭＰＥＧ４の存在を示すＩＤを識別し、ＭＰＥＧ４データを個別に抽出できさえすれば、そこから画像オブジェクト、オブジェクト情報、時間情報をそれぞれ抽出できるので、必要に応じた所定画像オブジェクトの非表示処理や、置換処理を行って表示制御することは、前述の実施の形態１又は２の構成から容易であり、その方法や動作については、既に説明した方法や動作と同様である。
【０１７７】
このように構成することで、ＭＰＥＧ４テレビ放送に限らず、ＭＰＥＧ４データを組み込んだＭＰＥＧ２テレビ放送、又はビデオデータにおいても本発明は適用できる。
【０１７８】
また、ＭＰＥＧ２とＭＰＥＧ４とでは、共通化できる符号／復号化回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的に実現できるというメリットもある。もちろん、ソフトデコーダの場合でも、システムの効率化は図れる。
【０１７９】
上記の如く構成することによって、本実施の形態の非表示処理や置換処理を適用する、例えば時刻表示や天気予報などのリアルタイムな画像オブジェクトは微小データである場合も多いので、ＭＰＥＧ２テレビ放送にＭＰＥＧ４オブジェクトを多重したシステムに適応し易いという効果もある。
【０１８０】
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１８１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８２】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８３】
以上説明したように本実施の形態によれば、記録されたデジタルデータにおいて意味のある実時間属性のオブジェクトなど、記録した当時（過去）においては価値があったが、再生している時点では特に意味を持たない属性のオブジェクトを非表示処理したり、又は、再生時の時刻に対応して表示変更することできるので、今までには無い、テレビ放送の再生に関して新規な機能を追加する上で効果が高い。
【０１８４】
また本実施の形態を用いて、上記の如く構成した装置やシステムによって、ユーザに対してより親切で、より視覚効果の高いビデオ再生表示が可能になり、ユーザ・インターフェースの質を大きく向上できる。
【０１８５】
また本実施の形態は、所定の属性のオブジェクトの再生出力を制御することができるので、その他の効果として所定オブジェクトのみに関して、例えばダビング回数を規制するなど、著作権的な観点からも効果が期待できる。
【０１８６】
また本実施の形態によれば、ＭＰＥＧ２符号化方式でのテレビ放送システムに、ＭＰＥＧ４のビットストリームを組み込むことが可能であり、既存のシステムを活用する点でも有効である。
【０１８７】
又本実施の形態によれば、デジタルテレビ放送においては、パーソナルコンピュータ（ＰＣ）との融合も容易になり、現在、ＰＣデスクトップ上で行っているようなレイアウト設定などを、テレビ画像に関してもカスタマイズにできるので、テレビ放送とＰＣとの親和性も良くなり、またデジタル複合製品の分野において市場拡大の効果が期待できる。
【０１８８】
【発明の効果】
以上説明したように本発明によれば、ユーザの視覚的効果を向上させ、ユーザ・インターフェースを向上できるという効果がある。
【０１８９】
又本発明によれば、例えば、再生時に意味のない属性のオブジェクトを判定して、そのオブジェクトの再生を制御できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る表示システムの構成を示すブロック図である。
【図２】本発明の実施の形態１に係るデジタルテレビ放送受信装置の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る記録再生装置の構成を示すブロック図である。
【図４】本発明の実施の形態１に係る表示装置の構成を示すブロック図である。
【図５】図３の記録再生装置の構成をより詳細に説明するためのブロック図である。
【図６】ＭＰＥＧ４データのビットストリーム構成を説明するための図である。
【図７】ＭＰＥＧ４データのビットストリームに含まれるオブジェクト情報の構成を説明する概念図である。
【図８】通常画像と置換処理した画像との表示切り替えを説明するための図である。
【図９】本実施の形態における表示例を示す図である。
【図１０】本実施の形態における表示例を示す図である。
【図１１】本実施の形態における表示例を示す図である。
【図１２】本発明の実施の形態１に係る動作手順を説明するフローチャートである。
【図１３】本発明の実施の形態２に係る記録再生装置の構成を示すブロック図である。
【図１４】本実施の形態２に係る表示装置の構成を示すブロック図である。
【図１５】本発明の実施の形態２に係る動作手順を説明するフローチャートである。
【図１６】ＭＰＥＧ２データのトランスポートストリーム構成を説明するための図である。
【図１７】従来のデジタルテレビ放送受信システムの構成を表した図である。
【図１８】ＭＰＥＧ４の符号化及び復号処理の流れを説明するブロック図である。
【図１９】ＭＰＥＧ４システムにおけるユーザの操作（編集）を考慮に入れた構成例を示す図である。
【図２０】符号化側のＶＯＰ処理回路ブロックを説明するためのブロック図である。
【図２１】復号側のＶＯＰ処理回路ブロックを説明するためのブロック図である。
【図２２】ＶＯＰの符号化及び復号化の全体を構成を示すブロック図である。
【図２３】ＶＯＰを構成する情報を説明する図で、図２３（ａ）は、オブジェクト単位の符号化の場合を示し、図２３（ｂ）は、フレーム単位の符号化の場合の情報の構成を示している。
【図２４】階層符号化におけるスケーラビリティを説明する図で、図２４（ａ）は時間スケーラビリティの場合を示し、図２４（ｂ）は空間スケーラビリティの場合を示す。
【図２５】画像の移動・回転・拡大・変形等、３次元空間での視点移動などを表現するワープを説明する図である。
【図２６】スプライト画像の一例を示す図である。
【図２７】シーン記述情報の構成例を説明する図である。
【図２８】ＭＰＥＧ４オーディオの符号化方式の種類を示す図である。
【図２９】オーディオ信号の符号化方式を説明するブロック図である。
【図３０】ＭＰＥＧ４における符号化ビットストリームの生成を説明する図である。
【図３１】ＭＰＥＧ４のレイヤー構造を説明する図である。
【図３２】双方向復号可能な可変長符号化を説明する図である。
【図３３】ＭＰＥＧ４において誤り耐性を強化する例を説明する図である。
【発明の属する技術分野】
本発明は、記録されたデジタルデータ列を入力して再生する再生方法及び装置と表示装置に関するものである。
【０００２】
【従来の技術】
近年、衛星やケーブル放送を用いたデジタルテレビ放送が普及してきている。このようなデジタル放送の実現により、放送される画像の画質や音声品質の向上、また圧縮技術を利用した番組種類数や情報量の増大、インタラクティブ・サービスなどの新しいサービスの提供、受信形態の進化、など多くの新たな展開が期待されている。
【０００３】
図１７は、衛星放送を用いた従来のデジタル放送受信装置の構成を示すブロック図である。
【０００４】
この受信装置は、衛星放送によって送信された情報をアンテナ１で受信し、この受信したテレビ情報は、受信装置８においてチューナ２で選局、復調される。その後、非図示の誤り訂正処理や、必要であれば課金対応やデスクランブル（スクランブル解除）処理等がなされる。次に、ＴＶ情報として多重されている各種データを多重信号分離回路３で、それぞれのデータに分離する。こうして分離された各データは、画像情報、音声情報、その他の付加データとなる。更に、これら分離された各データを復号回路４で復号し、その復号された各データの内、画像情報と音声情報は、Ｄ／Ａ変換回路５でアナログ信号に変換され、外部に接続された表示装置であるＴＶ受像機６で表示及び音声出力される。尚、付加データは番組サブデータとしての役割を果たすために、各種機能に関与している。
【０００５】
更に、この衛星放送を記録再生するときは記録再生装置（ＤＶＤ／ＶＴＲ）７で行う。この記録再生装置７の一例は、記録再生可能なＤＶＤ（デジタル・ビデオ・ディスク・ドライブ）やデジタルＶＴＲである。受信装置８と記録再生装置７との間はデータバス等で接続されており、この記録再生装置７における記録方式はデジタル記録方式であり、ビットストリーム記録される。なお、前記ＤＶＤやデジタルＶＴＲ（例えばＤ−ＶＨＳ方式ＶＴＲ）を用いたビットストリーム記録に限らず、その他の民生用デジタル記録方式であるＤＶＣでもビットストリーム記録をサポートしており、各種ディスク媒体を用いたデジタル記録装置等でも、必要であればフォーマット変換をするなどしてデジタルテレビ放送を記録することが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来からある地上波放送、及び上述したデジタルテレビ放送を加えても、テレビ番組を家庭のテレビに表示する方法としては、基本的に放送局から送信されてくる画像をそのまま表示するのが一般的である。また同様に、テレビ放送を記録したＶＴＲを再生する際も、記録時のデータをそのまま再生するように設計されている。
【０００７】
即ち、テレビ放送の表示、又はＶＴＲの再生表示等を、個々のユーザが状況に応じて、より効果的に、その表示形態を変化させることは、従来の技術では極めて困難である。このような機能は、デジタルテレビ放送の発展の上で、今後、より多チャンネル化、多プログラム化していく過程でも、効果的な表示方法であり、新たな機能を追加していく観点からも必要不可欠なものの一つと考えられるが、このような機能の実現は未だなされていないのが現状である。
【０００８】
本発明は上記従来例に鑑みてなされたもので、ユーザの視覚的効果を向上させ、ユーザ・インターフェースを向上できる再生方法及び装置と表示装置を提供することを目的とする。
【０００９】
又本発明の目的は、例えば、再生時に意味のない属性のオブジェクトを判定して、そのオブジェクトの再生を制御できる再生方法及び装置と表示装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために本発明の再生装置は以下のような構成を備える。即ち、
記録されたデジタルデータ列を再生する再生装置であって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生手段とを有し、
前記判定手段は、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする。
【００１１】
上記目的を達成するために本発明の表示装置は以下のような構成を備える。即ち、
再生装置により再生されたデジタルデータを入力して、当該デジタルデータにより表わされる画像を表示する表示装置であって、
前記デジタルデータにより表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて表示させる表示制御手段とを有し、
前記判定手段は、前記デジタルデータに多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする。
【００１２】
上記目的を達成するために本発明の再生方法は以下のような工程を備える。即ち、
記録されたデジタルデータ列を再生する再生方法であって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定工程と、
前記判定工程で前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生工程とを有し、
前記判定工程で、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする。
【００１３】
【発明の実施の形態】
従来抱えている問題を解決するため、本発明の実施の形態では、デジタルテレビ放送の受信、表示方法、及びテレビ情報を記録再生する記録再生装置の再生表示方法に関して、効果的な再生表示方法としての新たな機能を提案し、従来のデジタルテレビ放送の符号化方式として採用されているＭＰＥＧ２の技術に加え（或は、ＭＰＥＧ２を置き換えて）、近年標準化が図られているＭＰＥＧ４の技術を利用し放送系を構成することによって実現する。
【００１４】
ＭＰＥＧ４の詳細な説明は後述するが、ＭＰＥＧ４符号化の特徴でもあるオブジェクトの概念を用いることによって、画像中の各オブジェクト単位での出力制御、表示制御が可能になり、ＭＰＥＧ４テレビ放送を記録再生する装置又は表示する装置で、所定のオブジェクト属性データを有する画像データについて、オリジナルとは表示形態を変えて出力することができる。
【００１５】
例えば、所定のオブジェクト情報がリアルタイムな画像オブジェクト（その画像が放送された時点でのみ意味を持つもので、例えば時刻表示や天気予報等のオブジェクト等）であった場合、テレビ情報を記録再生装置で再生する際、過去において記録したオリジナルの表示形態で、その記録画像をそのまま再生表示することなく、その記録された画像の内、リアルタイムな画像オブジェクトを非表示にするよう制御したり、または現在の時刻に対応させて時刻表示等を変更して（置換処理）表示するよう制御することができる。
【００１６】
このようなオブジェクトとしては、画像の背景や話者、ＣＧ等の画像、さらには、話者の音声などを扱い、ＭＰＥＧ４の符号化方式としては、それぞれのオブジェクト単位にを符号化／復号化し、各オブジェクトを組み合わせることで１つのシーンを表現する構成である。
【００１７】
本実施の形態に係る具体的な表示制御機能としては、ＭＰＥＧ４を記録再生する装置、又は再生した情報を表示する装置に関して、各オブジェクトについて定義した属性情報（オブジェクト情報）に基づいて、所定のオブジェクト情報からなるオブジェクトについては、記録時（オリジナル画像）と再生時とで表示形態を変更するように制御するものである、
本実施の形態を実現することによって、特に放送時の時刻情報などのリアルタイム情報を、現時刻に対応して表示変更することが容易に実現でき、従来にはない、テレビ放送の記録再生に新しい機能を追加する上で効果が大きい。
【００１８】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１９】
［実施の形態１］
本実施の形態では、デジタル放送される、ＭＰＥＧ４符号化方式で符号化された画像信号を受信して記録及び再生する場合で説明する。まず最初に、ＭＰＥＧ４に関する技術を分野ごとに分けて詳細に説明する。
【００２０】
＜規格の全体構成＞
ＭＰＥＧ４規格は大きく４項目からなる。このうちの３項目は、ＭＰＥＧ２と類似しており、ビジュアル・パート、オーディオ・パート、システム・パート、である。
（１）ビジュアル・パート
自然画、合成画、動画、静止画などを扱うオブジェクト符号化方式が規格として定められている。
【００２１】
伝送路誤りの訂正や修復に適した符号化方式、同期再生機能、階層符号化が含まれている。表現上、『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像までを含める。
（２）オーディオ・パート
自然音、合成音、効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオ・パートやオーディオ・パートでは複数の符号化方式を規定し、各々のオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫をしている。
（３）システム・パート
符号化された映像オブジェクトや音声オブジェクトの多重化処理と、その逆の分離処理を規定している。更にバッファ・メモリや時間軸制御と再調整機能もこのパートに含まれる。
【００２２】
上記パート（１）、（２）で符号化した映像オブジェクトや音声オブジェクトは、シーンのなかのオブジェクトの位置や出現時刻、消滅時刻などを記したシーン構成情報と共にシステム・パートの多重化ストリームに統合される。
【００２３】
このように符号化された信号の復号化処理としては、受信したビットストリームから、各々のオブジェクトを分離／復号化し、シーン構成情報に基づき、シーンを再構成する。
・オブジェクトの符号化
ＭＰＥＧ２では、フレーム或はフィールドを単位としていたが、コンテンツの再利用や編集を実現するために、ＭＰＥＧ４では映像データやオーディオ・データをオブジェクト（物体）として扱う。
【００２４】
これらオブジェクトには、以下のような種類がある。
【００２５】
・音声
・自然画像（背景映像：２次元固定映像）
・自然画像（主被写体映像：背景なし）
・合成画像
・文字情報
これらを同時に入力して符号化処理をする場合のシステム構成例を、図１８に処理ブロック図として示した。
【００２６】
上記オブジェクトのそれぞれは、音声オブジェクト符号化器５００１、自然画像オブジェクト符号化器５００２、合成画像オブジェクト符号化器５００３、文字オブジェクト符号化器５００４にて、各々符号化処理される。これと同時に、上記の各オブジェクトのシーン内での関連を、シーン構成情報として、シーン記述情報符号化器５００５にて符号化し、上述の各符号化オブジェクト情報とともに、データ多重化器５００６にて、ＭＰＥＧ４ビットストリームへとエンコード処理される。
【００２７】
このように符号化側では、このような複数のビジュアル・オブジェクトやオーディオ・オブジェクトの組み合せを定義して、一つのシーン（画面）を表現する。このうちビジュアル・オブジェクトに関しては、自然画像と、コンピュータ・グラフィックス等の合成画像とを組み合せたシーンも構成できる。
【００２８】
以上のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像と、その音声の同期再生が可能になる。またＭＰＥＧ４ビットストリーム状態で、送信及び受信或は記録再生を行うことができる。
【００２９】
このように符号化されたビットストリームのデコード処理は、そのエンコード処理の逆処理を行う。即ち、データ分離器５００７にて、ＭＰＥＧ４ビットストリームを、各オブジェクト毎に分離、分配する。それを受けて、音声、自然画像、合成画像、文字等の各オブジェクトは、それぞれ対応する復号器５００８〜５０１１によりオブジェクト・データに復号される。また、シーン記述情報も同時にシーン記述復号器５０１２にて復号され、これらの復号情報を用いて、シーン合成器５０１３にて、元のシーンを再合成する。
【００３０】
更に、このデコード（復号）側では、シーンのビジュアル・オブジェクトの位置やオーディオ・オブジェクトの順番などといった部分的な変更が可能である。これらオブジェクト位置は、ドラッグ操作により変更でき、言語の変更などは、ユーザがオーディオ・オブジェクトを変更することで可能になる。
【００３１】
ここでは複数のオブジェクトを自由に組み合せてシーンを合成するために、次の４項目を規定している。
（ａ）オブジェクト符号化
ビジュアル・オブジェクトやオーディオ・オブジェクト、及びそれらを組み合せたＡＶ（オーディオ・ビジュアル）オブジェクトを符号化対象とする。
（ｂ）シーン合成
ビジュアル・オブジェクトやオーディオ・オブジェクト及びＡＶオブジェクトを所望のシーンに構成するためのシーン構成情報と合成方式を規定するために、ＶＲＭＬ(Virtual Realty Modeling Language)をモディファイした言語を用いる。
（ｃ）多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリ・ストリーム）の形式などを決める。
【００３２】
このストリームをネットワークに流したり、記録装置に格納するときのサービス品質ＱＯＳ(Quality Of Service)も設定可能である。このＱＯＳパラメータには、最大伝送速度、誤り率、伝送方式などの伝送路条件や、復号化能力などが設けられている。
（ｄ）ユーザの操作（インタラクション）
ビジュアル・オブジェクトやオーディオ・オブジェクトをユーザ端末側で合成する方式を定義する。
【００３３】
ＭＰＥＧ４のユーザ端末では、ネットワークや記録装置から送られてくるデータを、エレメンタリ・ストリームに分離して、各オブジェクトごとに復号化する。こうして、複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にして、シーンを再構成する。
【００３４】
ユーザの操作（編集）を考慮に入れた、システム構成例を図１９に例示する。また、ビデオオブジェクトに関しての、ＶＯＰ処理回路ブロックを、図２０にエンコーダ側を、図２１にデコーダ側をそれぞれ例示する。
・ＶＯＰ(Video Object Plane)
ＭＰＥＧ４における映像の符号化は、対象となる映像オブジェクトを、形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をＶＯＰという。
【００３５】
図２２は、ＶＯＰの符号化及び復号化の全体を構成を示すブロック図である。例えば、画像が人物と背景の２つのオブジェクトから構成されている場合、各フレームを２つのＶＯＰに分割して符号化する。
【００３６】
各ＶＯＰを構成する情報は、図２３（ａ）に示すように、オブジェクトの形状情報、動き情報、テキスチャ情報となる。一方、復号器では、ビットストリームをＶＯＰ毎に分離し、これらを個別に復号した後、これらを合成して画像を表示する。
【００３７】
このようにＶＯＰ構造を導入することにより、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のＶＯＰに分割し、個別に符号化／復号化することができる。
【００３８】
なお、ＶＯＰ数が“１”で、オブジェクト形状が矩形の場合は、図２３（ｂ）に示すように、従来と同様のフレーム単位の符号化となる。
【００３９】
ＶＯＰには三種類の予測方式があり、面内符号化（Ｉ−ＶＯＰ）、前方向予測（Ｐ−ＶＯＰ）、双方向予測（Ｂ−ＶＯＰ）がある。この予測方式における予測単位は、１６×１６画素のマクロブロックで行う。
【００４０】
双方向予測ＶＯＰ（Ｂ−ＶＯＰ）は、ＭＰＥＧ１、ＭＰＥＧ２のＢピクチャと同じく、過去のＶＯＰと未来のＶＯＰから両方向予測するＶＯＰである。そして、マクロブロック単位に、直接符号化／前方符号化／後方符号化／双方符号化の四種類のモードを選択可能としている。
【００４１】
双方向予測符号化は、ＭＢ又はブロック単位でモードを切り替え可能で、Ｐ−ＶＯＰの動きベクトルのスケーリングで双方向予測する。
・形状(Shape)符号化
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化及び復号化の際に既知でなければならない。また、後ろにある物体が透けて見えるガラスのような物体を表現するためには、その物体がどれだけの透明度を有するかを示す情報が必要となる。この物体の形状及び物体の透明度の情報を合わせて形状情報と呼ぶ。その形状情報の符号化を形状符号化と呼ぶ。
・サイズ変換処理
２値形状符号化は、画素毎に物体の内側か、外側かの境界を符号化していく手法であるため、符号化すべき画素数が少ないほど発生する符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号化が劣化して受信側に伝送されることになる。よって、サイズ変換で元の情報がどの程度劣化するかを測定し、所定の閾値以下のサイズ変換誤差が得られる限りは、できるだけ小さなサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横１／２倍、縦横１／４倍の３種類が挙げられる。
【００４２】
各ＶＯＰの形状情報は、８ビットのα値として与えられ、次のように定義される。
【００４３】
α＝０：該当ＶＯＰの外側
α＝１〜２５４：他のＶＯＰと半透明状態で表示
α＝２５５：該当ＶＯＰのみの表示領域
２値形状符号化は、α値が“０”或は“２５５”のみをとる場合であり、該当ＶＯＰの内側と外側のみで形状が表現される。また多値形状符号化は、α値が“０”から“２５５”の全ての値を取りうる場合であり、複数のＶＯＰ同士が半透明で重なる状態を表現することができる。
【００４４】
テキスチャ符号化と同様に、１６×１６画素のブロック単位に１画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は、形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。ＭＰＥＧ４では、動き補償予測したブロック単位の形状情報を、２値形状符号化する。
【００４５】
［フェザーリング］
その他、２値形状の場合でも、境界部は滑らかに不透明から透明に変えたい場合、フェザーリング（境界形状のスムーズ化）を使う。このフェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリング・フィルタモードがある。一定に不透明な多値形状には、定アルファモードがあり、フェザーリングとの組み合わせが可能である。
・テキスチャ符号化
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド／フレーム単位のＤＣＴ、量子化、予測符号化、可変長符号化の順に処理する。
【００４６】
ＤＣＴは、８×８画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合に、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、４タップの２次元フィルタを掛けることで、ＤＣＴ変換係数に大きな擬似ピークが出る現象を防ぐ。
【００４７】
量子化は、ＩＴＵ−Ｔ勧告Ｈ．２６３の量子化器、或はＭＰＥＧ２の量子化器のいずれかを使う。いまＭＰＥＧ２量子化器を使えば、直流成分の非線形量子化やＡＣ成分の周波数重み付けが可能になる。
【００４８】
この量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し、冗長成分を削除する。特にＭＰＥＧ４では、直流成分と交流成分の両方に対して予測符号化する。
【００４９】
テキスチャ符号化のＡＣ／ＤＣ予測符号化は、隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方を予測に使う。直流係数ｘを符号化する場合、｜ａ−ｂ｜＜｜ｂ−ｃ｜ならｃを、｜ａ−ｂ｜≧｜ｂ−ｃ｜ならａを、それぞれ予測に使う。
【００５０】
交流係数ｘを予測する場合、直流係数と同様に予測値を選んだのち、各ブロックの量子化スケール値（ＱＰ）で正規化する。
【００５１】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００５２】
また交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数値を用いる。但し、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００５３】
その後、交流成分は、ジグザグスキャンしてから、３次元（Ｌａｓｔ，Ｒｕｎ，Ｌｅｖｅｌ）可変長符号化する。ここで、Ｌａｓｔは“０”以外の係数の終わりを示す１ビットの値、Ｒｕｎは“０”の継続長、Ｌｅｖｅｌは非ゼロ係数の値である。
【００５４】
面内符号化した直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルのいずれかを使う。
・動き補償
ＭＰＥＧ４では、任意の形状のビデオ・オブジェクトプレーン（Video Object Plane：ＶＯＰ）を符号化することができる。ＶＯＰには、予測の種類によって面内符号化（Ｉ−ＶＯＰ）、前方向予測符号化（Ｐ−ＶＯＰ）、双方向予測符号化（Ｂ−ＶＯＰ）があり、予測単位は１６ライン×１６画素、又は８ライン×８画素のマクロブロックを使う。従って、ＶＯＰの境界上に跨るマクロブロックも存在することになる。このＶＯＰ境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）とポリゴンマッチング（オブジェクト部分のみのマッチング）を行なう。
・ウェーブレット符号化
ウェーブレット変換とは、１つの孤立波関数を拡大／縮小／平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、特にＣＧ画像と自然画像の合成を扱うとき、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。
【００５５】
このウェーブレット符号化の効果としては、画像をブロック分割せず一括して符号化できるため、低ビットレートでもブロックひずみが発生しないとか、モスキート雑音も減少できる点が挙げられる。このように、ＭＰＥＧ４の静止画符号化モードでは、低解像度かつ低画質の画像から、高解像度かつ高画質までの幅広いスケーラビリティ、処理の複雑性、符号化効率のトレードオフを、アプリケーションに応じて選択できる構成となっている。
・階層符号化（スケーラビリティ）
スケーラビリティを実現するために、図２４のようなシンタックスの階層構造を構成する。
【００５６】
この階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。
【００５７】
空間スケーラビリティの場合、ベースレイヤは低解像度の動画像、（ベースレイヤ＋補強レイヤ）は高解像度の動画像を表す。
【００５８】
更に、画像全体の画質を階層的に向上させる他に、画像中の物体領域のみの画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは、画像全体を低いフレームレートで符号化したもの、補強レイヤは、画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものとなる。
【００５９】
［時間スケーラビリティ］図２４（ａ）
時間スケーラビリティは、フレーム速度を階層化する。補強レイヤのオブジェクトのフレーム速度を早くすることができる。階層化の有無は、オブジェクト単位で設定できる。補強レイヤのタイプは２つで、タイプ１は、ベースレイヤのオブジェクトの１部で構成する。タイプ２は、ベースレイヤと同じオブジェクトで構成する。
【００６０】
［空間スケーラビリティ］図２４（ｂ）
空間スケーラビリティは、空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能である。ベースレイヤは、補強レイヤの予測に使う。
・スプライト符号化
スプライトとは、３次元空間における画中の背景などのように、オブジェクト全体が統一的な移動・回転・変形等で表現できる平面的なオブジェクトのことであり、この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００６１】
このスプライト符号化の区別は４種あり、静的／動的とオンライン／オフラインで分かれる。詳しく説明すると、オブジェクトのデータを予め復号化器に送り、グローバル動き係数だけをリアルタイムに伝送することで実現する構成で、テンプレートの直接変換で得る手法の静的スプライト、時間的に前のスプライトから予測符号化して得る手法である動的スプライト、事前に面内符号化（Ｉ−ＶＯＰ）として符号化され、復号器側に伝送する手法であるオフライン・スプライト、符号化中に符号化器と復号化器で同時に作成する手法であるオンラインスプライトである。
【００６２】
このスプライト符号化に関して検討されている技術として、スタティック・スプライト(Static Sprite)符号化、ダイナミック・スプライト(Dynamic Sprite)符号化、グローバル動き補償などの、方式（ツール）がある。
【００６３】
［スタティック・スプライト符号化］
スタティック・スプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。この切り出した一部の画像は、平行移動、拡大、縮小、回転等様々な変形を表現することができる。これについて図２５（ｂ）に図示したように、画像の移動・回転・拡大・変形等、３次元空間での視点移動などを表現することをワープと呼ぶ。
【００６４】
図２５（ａ）は、このワープの種類を示している。このワープの種類には、遠近法変換、アフィン変換、等方拡大（ａ）／回転（θ）／移動（ｃ，ｆ）、平行移動の手法があり、図２５（ａ）の各式で表され、各係数によって移動・回転・拡大・変形等を表わすことができる。また、スプライトの生成は、符号化開始前にオフラインで行われる。
【００６５】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することにより、スタティック・スプライト符号化が実現される。
【００６６】
図２６は、スプライト画像の一例を示す図で、全体の背景画像内の囲まれた一部の領域をワープすることになる。具体的には、例えばこの背景には、テニス試合における観客席等の背景画像、ワープ部にはプレーヤ等の動きのある部分を含んだ画像が入ることになる。また、スタティック・スプライト符号化では、幾何変換パラメータのみを符号化して予測誤差を符号化しない。
【００６７】
［ダイナミック・スプライト符号化］
スタティック・スプライト符号化方式では、符号化前にスプライトを生成しておくのに対し、ダイナミック・スプライト符号化方式では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティック・スプライト符号化とは異なっている。
【００６８】
［グローバル動き補償（ＧＭＣ）］
グローバル動き補債とは、オブジェクト全体の動きを、ブロックに分割することなく、１つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像となる点、予測誤差を符号化する点でスタティック・スプライト符号化と同様である。但し、スプライトを格納するためメモリを必要としないこと、形状情報が不要であることにおいて、スタティック・スプライト符号化、及びダイナミック・スプライト符号化とは異なる。これは画面全体の動きや、ズームを含む画像などにおいて効果がある。
・シーン構造記述情報
シーン構成情報でオブジェクト合成する。ＭＰＥＧ４では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図した通りのシーンに合成できる。
【００６９】
このシーン構成情報には、オブジェクトの表示時間や表示位置などがある。これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。
【００７０】
このシーン構成情報を記述する言語には、ＶＲＭＬを修正したＢＩＦＳ(Binary Format for Scenes)と、Ｊａｖａを用いたＡＡＶＳ(Adaptive Audio-Visual Session Fomat)がある。ＢＩＦＳは、ＭＰＥＧ４のシーン構成情報を２値で記述する形式。ＡＡＶＳはＪａｖａをベースとしており、自由度が大きく、ＢＩＦＳを補う位置付けにある。
【００７１】
このシーン記述情報の構成例を、図２７に示す。
・シーン記述
シーン記述は、ＢＩＦＳ(Binary Fomat for Scenes)により行われる。ここでは、ＶＲＭＬとＢＩＦＳ共通の概念であるシーングラフとノードを中心に説明する。ノードは光源、形状、材質、色、座標などの属性や座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、３次元空間中の各物体の配置や見え方は、シーングラフと呼ばれる木を頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードに、メディアオブジェクト、例えば、ＭＰＥＧ４ビデオのビットストリームを同期をとって割当てれば、他のグラフィックスとともに動画を３次元空間内に合成して出力できる。
【００７２】
また、ＶＲＭＬとの差異は、下記の通りである。
【００７３】
ＭＰＥＧ４システムでは
１．ＭＰＥＧ４ビデオＶＯＰ号化の２次元オーバーラップ関係記述とＭＰＥＧ４オーディオの合成記述
２．連続メディアストリームの同期処理
３．オブジェクトの動的振る舞い表現（例えばスプライト）
４．伝送形式（バイナリー）を標準化
５．セッション中にシーン記述を動的に変更
をＢＩＦＳでサポートする。
【００７４】
ＶＲＭＬのノードのうち、Extrusion，Script，Proto，Extem Protoなどがサポートされていない以外は、ＶＲＭＬノードのほぼ全てがＢＩＦＳでサポートされている。
【００７５】
ＢＩＦＳで新たに加えられたＭＰＥＧ４特別ノードには、以下のものがある。
１．２Ｄ／３Ｄ合成のためのノード
２．２Ｄグラフィックスやテクストのためのノード
３．アニメーションノード
４．オーディオノード
特筆すべきは、ＶＲＭＬでは背景など特殊なノードを除き２Ｄ合成はサポートされていなかったが、ＢＩＦＳでは、テキストやグラフィックオーバーレイ、更に、ＭＰＥＧ４ビデオＶＯＰ符号化を画素を単位として扱えるよう記述が拡張されている。
【００７６】
アニメーションノードには、３Ｄメッシュで構成された顔などＭＰＥＧ４のＣＧ画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加、属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。ＢＩＦＳは、ＶＲＭＬの予約語、ノード識別子、属性値をほぼ一対一のバイナリデータに置き換えることにより実現できる。
・ＭＰＥＧ４オーディオ
図２８は、ＭＰＥＧ４オーディオの符号化方式の種類を示す図である。
【００７７】
オーディオ及び音声の符号化には、パラメトリック符号化、ＣＥＬＰ符号化、時間／周波数変換符号化が含まれる。更に、ＳＮＨＣオーディオの機能も取り入れ、ＳＡ（Structured Audio：構造化オーディオ）符号化とＴＴＳ（Text to Speech：テキスト音声合成）符号化が含まれる。ＳＡはＭＩＤＩを含む合成楽音の構造的記述言語であり、ＴＴＳは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００７８】
図２９は、オーディオ符号化方式の構成を示す図である。
【００７９】
図２９において、入力音声信号を前処理し（２０１）、信号分割２０２でパラメトリック符号化器、ＣＥＬＰ符号化器、時間／周波数符号化器の３つの符号化器を使い分けるように、帯域に応じて信号分割し、それぞれ適した符号化器に入力する。また信号分析制御２０３では、入力した音声信号を分析し、その信号に応じた、各符号化器への分類のための制御情報等を発生させる。続いて、それぞれ別の符号化器である、パラメトリック符号化コア２０４、ＣＥＬＰ符号化コア２０５、時間／周波数変換符号化コア２０６では、各符号化方式に基づいた符号化処理がなされる。これら３種の符号化方式についてはこの後説明する。こうして符号化されたオーディオデータのうち、パラメトリック符号化コア２０４、ＣＥＬＰ符号化コア２０５の出力は小ステップ強化回路２０７に入力され、また、時間／周波数変換符号化コア２０６の出力及び小ステップ強化回路２０７の出力は、大ステップ強化回路２０８に入力される。これら小ステップ強化回路２０７及び大ステップ強化回路２０８とは、各符号化コアの符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化回路２０８から出力されたオーディオデータは、符号化された音声ビットストリームとなる。
【００８０】
以上が図２９の音声符号化方式の構成の説明である。
【００８１】
次に、図２８を参照しながら、各符号化方式について説明する。
・パラメトリック符号化
音声信号、楽音信号を周波数や、振幅、ピッチ等のパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化（ＨＶＸＣ：Harmonic Vector Excitation Coding）符号化と、楽音信号用の個別スペクトル（ＩＬ：Individual Line）符号化が含まれる。
・ＨＶＸＣ符号化
主として２ｋビット／秒〜４ｋビット／秒の音声符号化を目的としており、音声信号を音声信号を有声音と無声音とに分類し、有声音は線形予測係数（ＬＰＣ：Linear Prediction Coefficient）の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
・ＩＬ符号化
６ｋビット／秒〜１６ｋビット／秒の楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
・ＣＥＬＰ符号化(Code Excited Linear Prediction cording)
入力音声信号を、スペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力音声信号から線形予測分析によって算出される線形予測係数によって表される。
【００８２】
ＭＰＥＧ４のＣＥＬＰ符号化には、帯域幅４ｋＨｚの狭帯域ＣＥＬＰと帯域幅８ｋＨｚの広帯域ＣＥＬＰがあり、狭帯域（ＮＢ：Narrow Band）ＣＥＬＰは、３．８５ｋビット／秒〜１２．２ｋビット／秒、広帯域（ＷＢ：Wide Band）ＣＥＬＰは１３．７ｋビット／秒〜２４ｋビット／秒の間においてビットレートの選択が可能である。
・時間／周波数（Ｔ／Ｆ）変換符号化
高音質を目指す符号化方式である。ＡＡＣ(Advanced Audio Coding)に準拠する方式、及びＴｗｉｎＶＱ（Transform-domain Weighted Interleave Vector Quantization：変換領域重み付けインターリーブベクトル量子化）が、これに含まれる。
【００８３】
この時間／周波数（Ｔ／Ｆ）変換符号化構成には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化するしくみになっている。
【００８４】
・ＡＡＣ準拠方式
オーディオ信号をＤＣＴ等で周波数変換し、聴覚マスキング効果を利用しながら適応量子化するしくみである。適応ビットレートは、２４ｋビット／秒〜６４ｋビット／秒までである。
・ＴｗｉｎＶＱ方式
オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のＭＤＣＴ係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化するしくみである。適応ビットレートは、６ｋビット／秒〜４０ｋビット／秒までである。
・システム構成
ＭＰＥＧ４のシステム・パートでは、多重化、分離、合成（コンポジション）を定義する。以下、図３０を用いて説明する。
【００８５】
多重化では、まず映像符号化器やオーディオ符号化器からの出力となる各オブジェクトや、その時空間配置を記述したシーン構成情報などのエレメンタリ・ストリームごとに、アクセス・ユニット・レイヤでパケット化する。アクセス・ユニットレイヤでは、アクセス・ユニット単位に同期を取るためのタイム・スタンプや参照クロックなどをヘッダとして付加する。パケット化したストリームは、次にFlexMuxレイヤで、表示や誤り耐性の単位で多重化されTransMuxレイヤに送られる。
【００８６】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で、１本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、ＭＰＥＧ４では定義せず、インターネットのプロトコルであるＵＤＰ／ＩＰ(user datagram protocol/internet protocol)やＭＰＥＧ２のトランスポート・ストリーム（ＴＳ）、ＡＴＭ(asynchronous transfer mode)のＡＡＬ２(ATM adaptaion layer 2)、電話回線利用のテレビ電話用多重化方式（ＩＴＵ−Ｔ勧告Ｈ．２２３）、デジタル・オーディオ放送などの既存のネットワーク・プロトコルが利用可能である。
【００８７】
システム・レイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセス・ユニット・レイヤやFlexMuxレイヤをバイパスすることも可能である。
【００８８】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ（ＤＢ：Decoding Buffer）を設け、各オブジェクトの到着時刻や復号化時間のずれを吸収する。合成の前にもバッファ（ＣＢ：Composition Buffer）を設けて表示時間を調整する。
・ビデオストリームの基本構造
図３１に、レイヤー構造を示す。
【００８９】
各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとは、start code，end code，ＩＤ，形状，サイズ他、各種符号化情報である。
【００９０】
［ビデオストリーム］
ビデオのストリームは複数のセッションで構成される。ここで、セッションとは、一連の完結したシーケンスのことである。
［ＶＳ］（ビデオセッション）は、複数のオブジェクトで構成される。
［ＶＯ］（ビデオオブジェクト）
［ＶＯＬ］（ビデオ・オブジェクト・レイヤー）は、複数のレイヤーを含んだオブジェクト単位のシーケンス
［ＧＯＶ］（ビデオ・オブジェクト・プレーンのグループ）は、複数のレイヤーで構成される。
［ＶＯＰ］（ビデオ・オブジェクト・プレーン）は、複数のプレーンで構成される。
（プレーン：フレーム毎のオブジェクト）
・誤り耐性を有したビットストリーム構造
ＭＰＥＧ４では、移動体通信（無線通信）等に対応すべく、符号化方式自体が伝送誤りに対して耐性を有している。しかし今までの標準方式では、誤り訂正は主にシステム側で行っていた。一方、ＰＨＳ等のネットワークでは、誤り率が非常に高く、システム側でも訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。
【００９１】
このことを考慮してＭＰＥＧ４では、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも、可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とした。
【００９２】
ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
（１）Reversible VLC（ＲＶＬＣ）と双方向復号（図３２）
復号の途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能となる。このような順方向と同時に、逆方向からも復号可能な可変長符号を採用することにより“双方向復号”が実現できる。
（２）重要情報の複数回伝送（図３３（ａ））
重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化することができる。例えば、各ＶＯＰを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に誤りによってこのビデオパケットが消失しても、前記構造により次のビデオパケットから復号処理を再開できるが、このビデオパケットにはタイムスタンプがないため、結局表示タイミングがわからないことになる。そのため各ビデオパケットにＨＥＣ(Header Extension Code)というフラグを立てて、この後にタイムスタンプ等の重要情報を付加できる構造を導入した。このＨＥＣフラグの後には、タイムスタンプとＶＯＰの符号化モードタイプが付加できる構造になっている。
【００９３】
同期はずれが生じた場合、次の同期回復マーカ（ＲＭ）から復号を開始するが、各ビデオパケットにはそのために必要な情報（そのパケットに含まれる最初のＭＢの番号と、そのＭＢに対する量子化ステップサイズ）がＲＭ直後に配置されている。その後にＨＥＣフラグが挿入され、ＨＥＣ＝１の場合にはＴＲ及びＶＣＴがその直後に付加される。これらＨＥＣ情報により、仮に先頭のビデオパケットが復号できずに廃棄されても、ＨＥＣ＝１と設定したビデオパケット以降の復号及び表示が正しく行われることになる。ここでＨＥＣを“１”にするか否かは符号化側で自由に設定できる。
（３）データ・パーティショニング（図３３（ｂ））
エンコーダ側では、ＭＢ単位の符号化処理を操り返してビットストリームを構成しているため、途中に誤りが混入すると、それ以降のＭＢデータは復号できないことになる。
【００９４】
一方、複数のＭＢ情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置する場合を考える。各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入して、それ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【００９５】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（ＤＣＴ係数等）とにグループ分けするデータ・パーティショニング手法(Data Partitionig)が採用されている。また、グループの境目には、モーション・マーカ(Motion Marker)を配置している。
【００９６】
仮に動きベクトル情報の途中に誤りが混入していても、ＭＭの後にくるＤＣＴ係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するＭＢデータは、ＤＣＴ係数と共に正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
（４）可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだＭＢ群は“ビデオパケット”と呼ばれ、その中に何個のＭＢを含めるかは符号化側で自由に設定することができる。可変長符号（ＶＬＣ：Variable Length Code）を使用しているビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能となる。
・バイト・アラインメント
情報の多重化がバイトの整数倍単位で行われるというシステムとの整合性をとり、ビットストリームはバイト・アラインメント(Byte Alignment)構造となっている。このバイト・アラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。更にこのスタッフビットは、ビデオパケット内のエラーチャック符号としても使用される。
【００９７】
スタッフビットは“０１１１１”のように、最初の１ビットのみが“０”で、それ以外が全て“１”であるような符号で構成されている。つまり、ビデオパケット内の最後のＭＢまで正しく復号されれば、その次に来る符号は必ず“０”であり、その後、スタッフビットの長さより１ビットだけ少ない“１”が連続しているはずである。従って、もしこのルールに反したパターンが検出された場合は、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【００９８】
以上がＭＰＥＧ４の技術に関する説明である。なお、上記した説明は、日経エレクトロニクス１９９７．９．２２号ｐ．１４７〜ｐ．１６８「国際標準規格ＭＰＥＧ４の概要決まる」、社団法人 映像情報メディア学会テキスト１９９７．１０．２「見えてきたＭＰＥＧ４の全貌」、日本工業技術センター１９９７．２．３セミナー資料「ＭＰＥＧ４の最新標準化動向と画像圧縮技術に、明記されている。
【００９９】
続いて、本発明の実施の形態に係るＭＰＥＧ４システムの具体的な説明を行う。
【０１００】
図１は、本発明の実施の形態に係るシステム全体の構成を示すブロック図である。
【０１０１】
図１において、１１はＭＰＥＧ４符号化方式のデジタルテレビ放送受信器、１２は記録及び再生装置、１３は表示装置である。テレビ放送受信器１１はセットトップボックス（ＳＴＢ）等の受信機器であり、記録再生装置１２はＤＶＤ、ハードディスク（ＨＤ）等を用いたホームサーバ、又はデジタルＶＴＲ等である。また表示装置１３は、テレビジョン（ＴＶ）やディスプレイ等が代表的な製品形態の表示装置である。このシステムでは、テレビ放送受信器１１で受信したテレビ放送を表示装置１３に表示するとともに、記録再生装置１２に記録することができる。また表示装置１３は、記録再生装置１２から再生した画像を表示することができる。
【０１０２】
図２は、このテレビ放送受信器１１の詳細な構成を示すブロック図である。
【０１０３】
デジタルテレビ放送データを、その通信形態に応じて受信する。即ち、衛星による放送のときは衛星アンテナ１２により、また通信ケーブルを介しての放送のときはケーブル放送端末１３から受信する。そして衛星による放送ではチューナ１４により、またケーブルテレビ放送の場合にはチューナ１５で選局、受信のための調整を行う。こうして衛星テレビ放送、もしくはケーブルテレビ放送から受信したテレビ情報は、データ選択器１６にて一方のデータ列が選択され、復調回路１７で復調され、誤り訂正回路１８で誤り訂正について処理される。
【０１０４】
テレビ放送データ及び必要なコマンドデータ等を外部装置と送受信するための通信手段がインターフェース部（Ｉ／Ｆ）１９である。このインターフェース部（Ｉ／Ｆ）１９は、デジタル通信の代表的インターフェースである、例えばＩＥＥＥ１３９４シリアルバス等を採用し、デジタル通信に必要なデータ送受信処理回路、ケーブル（バス）を接続するコネクタ等を備えている。また、このテレビ放送受信器１１の各部を制御しているのがシステムコントローラ２０である。また、スイッチ等の入力手段を備えた指示入力部２１からユーザの各種操作指示等が入力される。以上が図２のテレビ放送受信器１１の説明である。
【０１０５】
図３は、本実施の形態に係る記録再生装置１２の詳細構成を示すブロック図である。
【０１０６】
テレビ放送データやＡＶデータの入出力は、インターフェース部（Ｉ／Ｆ）３１を介して行われる。このインターフェース部３１は、テレビ放送受信器１１及び表示装置１３との間でデータ通信が可能な、互換性を備えたものである。
【０１０７】
テレビ放送を受信して記録する際には、テレビ放送受信器１１から送られたテレビデータをインターフェース部（Ｉ／Ｆ）３１により入力し、記録処理回路３２で記録形態に適したデータ形式に変換して記録媒体３３に記録する記録処理を行う。ここでは誤り訂正符号などの付加データの追加や、必要に応じて圧縮方式（フォーマット）の変換等のデータ処理がなされる。こうして記録処理回路３２で記録処理されたテレビデータは、非図示の記録ヘッドから記録媒体３３に記録される。
【０１０８】
次に、記録媒体３３に記録された画像データの再生時は、記録媒体３３に記録されているビデオデータ（テレビデータ）を非図示の再生ヘッドで再生する。こうして再生されたビデオデータは、再生処理回路３５で記録処理とは逆の処理でデータの復元や誤り訂正を行う。
【０１０９】
次に、こうして再生処理されたビデオデータに関して、ＭＰＥＧ４の符号化方式に基づいた復号化方式で復号する。このＭＰＥＧ４での符号化、復号化方法については既に説明したとおりである。ここでの手順は、まず多重データ分離回路３６で、多重されている各種データを画像データ、音声データ、その他のシステムデータに分離する。次いで分離した各データをデコーダ３７で復号して、表示／音声出力制御部３８で、その復号されたデータの出力処理を制御する。また復号した各オブジェクトに関して、オブジェクト置換処理部４１を用いて、本実施の形態に係る特徴である、元の画像を記録した際の実時間的な画像オブジェクト（時刻や天気予報等）等のような所定の属性を有するオブジェクトを非表示にするか、又は非表示の上、更に現在の情報（現時刻等）に差し替えるなどのオブジェクト置換処理を行なう。この処理に際してポイントとなる、デコーダ３７、表示／音声出力制御部３８及びオブジェクト置換処理部４１の各部の構成及びその動作についての詳細な説明は後述する。
【０１１０】
オブジェクト置換処理部４１の出力も踏まえた表示及び音声出力制御部３８の出力は、再生したＡＶデータとして、インターフェース部（Ｉ／Ｆ）３１を介して表示装置１３に伝送される。システムコントローラ３９は、記録媒体の回転制御や記録／再生動作を制御するサーボ処理部３４や、表示及び出力制御部３８、オブジェクト置換処理部４１を始めとして、装置各部の動作制御を行なう。また、ユーザからのコマンド入力は指示入力部４０から行われる。
【０１１１】
次にＭＰＥＧ４デジタルテレビ放送のビットストリームの構成について説明する。
【０１１２】
図６は、ＭＰＥＧ４ビットストリームの構成を示した図である。
【０１１３】
ここでは、オブジェクト１から５（５１〜５５）までのデータスペースに、番組内容、展開に応じてオブジェクトの種類は異なるが、例えば自然画像オブジェクトや音声オブジェクト、コンピュータ・グラフィック（以下ＣＧ）等の合成画像オブジェクトなどが入る。一例として、例えばニュース番組の場合では、背景オブジェクト（スプライト）、人物画像、その他の自然画像オブジェクト、天気予報や時間表示といった合成画像オブジェクト、更には音声オブジェクトなどがこれらに該当する。加えてビットストリームには、システムデータとして、シーン記述情報５６と、追加データ５７とが多重される。この追加データ５７には、時間情報５８や、オブジェクト情報５９、およびその他の情報６０が含まれる。更に、このオブジェクト情報５９には、オブジェクト１〜５（５１〜５５）に該当する各オブジェクトのそれぞれに関した、属するジャンルを示すジャンルコード６１、オブジェクトの詳細を示すオブジェクトコード６２、及びその放送局に固有であるオブジェクトであった時などに必要となる放送局コード６３を含んでいる。
【０１１４】
本実施の形態では、オブジェクト情報５９に含まれる、これら３つのコード（６１〜６３）からオブジェクト毎の属性を判別して、オブジェクト置換処理の対象とする、リアルタイム的な画像オブジェクトを決定する。
【０１１５】
続いて、このオブジェクト情報５９に関して、イメージ的に説明した概念図を図７に示し、これを用いて説明する。
【０１１６】
図７は、オブジェクト情報５９の構成をイメージ的に示し、各放送局ごとに対応させたコード構成の概念図である。図６で説明したオブジェクト情報５９の構成は、具体的には図７に示した様に分類して表される。
【０１１７】
ジャンルコード６１は、例として「ニュース」、「プロ野球」、「ワイドショー」…等のような番組の内容を示す情報で、またオブジェクトコード６２は、「ニュース」では「時間表示オブジェクト」、「天気画像オブジェクト」、「人物画像オブジェクト」…等のように、表示される対象に関する情報である。他のジャンル「プロ野球」、「ワイドショー」等に関しても同様に、図示したように構成され、このようなデータ構成が各放送局毎に存在している様子を表している。このようなオブジェクト情報の構成を表すコードを、各放送局毎に、又は各局共通で同一コードを用いたりして、各種オブジェクトに対して一覧として構成されていることがベースとなっている。そして、放送局側と、視聴者側の機器とが同一のコードを相互理解できるように設定されている。
【０１１８】
次に図３の記録／再生装置１２の構成で説明したデコーダ３７、表示及び音声出力制御部３８、オブジェクト置換処理部４１の各部の動作を詳細に述べ、オブジェクト置換処理について具体的に説明する。
【０１１９】
図５は、オブジェクト置換処理部４１の構成を示すブロック図で、前述の図３と共通する部分は同じ番号で示し、それらの説明を省略する。
【０１２０】
図５において、再生処理されたビデオデータを多重化データ分離回路３６で分離し、デコーダ３７に含まれる音声復号回路６１、画像復号回路６２、システムデータ復号回路６３でそれぞれのデータを復号する。
【０１２１】
このうち音声データは、音声復号回路７１で復号され、ステレオオーディオデータ（Ａ（Ｌ）、Ａ（Ｒ））として表示及び音声出力制御部３８内の音声出力制御部６４に入力され、音量や音場定位の調整、及び主／副音声など音声多重への対応等が実施されて、出力する音声が選択された後、インターフェース部（Ｉ／Ｆ）３１から画像データと同期して、混合して伝送される。
【０１２２】
また画像データは、画像データ中の各画像オブジェクトに夫々対応させて復号処理を行なう複数の同様の復号部を有する画像復号回路７２で復号される。こうして復号された画像データは、オブジェクトの数相当の画像データ（ｖ（１）〜（ｎ））となり、表示及び音声出力制御部３８内の表示出力制御部６５で表示に関する様々な処理や制御が施される。ここでの表示出力制御には、所定オブジェクトに対して表示する／しないの出力制御や、複数のオブジェクトやキャラクタ生成した画像などを合成して一つの出力画像としたりするものが含まれる。こうして表示出力制御された画像データは、インターフェース（Ｉ／Ｆ）部３１から伝送される。
【０１２３】
また、システムデータ（シーン記述データや追加データを含む）については、まずシステムデータ復号回路７３で復号される。ここで復号されたシステムデータの中から、時間情報検出部６６を用いて、システムデータ中の追加データに含まれる時間情報（クロックデータ）を検出する。こうして検出された時間情報はシステムコントローラ３９に入力され、記録時間判定の基準として用いることができる。また、システムデータ復号回路７３により復号されたシステムデータのうち、シーン記述に関するデータはシーン記述データ変換回路６８に入力される。その他のシステムデータ及び追加データは、システムコントローラ３９に各種コマンドとして入力され、オブジェクト情報はここに含まれる。
【０１２４】
シーン記述データ変換回路６８の出力は、音声出力制御部６４及び表示出力制御部６５における、シーンの基本形態の出力に用いられ、かつシステムコントローラ３９にも通知される。
【０１２５】
ビデオデータを再生している際、時間情報検出部６６で検出する時間は過去のものである。このとき、所定の属性を有するオブジェクトに関して、非表示処理、又はオブジェクト置換処理を実行する。システムコントローラ３９は、この時間情報検出部６６の検出結果とオブジェクト情報とから、リアルタイム属性を有する時刻情報が含まれているか否かを判別し、リアルタイムの属性を有する所定のオブジェクトが存在する時は、この所定のオブジェクトの表示に関して、表示出力制御部６５に命令して、この所定オブジェクトの表示を行わないようにする（非表示処理）。
【０１２６】
また非表示にしたオブジェクトに代えて、新たに生成するオブジェクト（キャラクタ）で置換・表示することもできる。この場合は非表示処理に加え、オブジェクト置換処理部４１内の置換処理部６９に命令して、対象とするオブジェクトに代えて、別のオブジェクトを用いて置換処理を実行する。具体的には、置き換えることが可能なリアルタイム属性のオブジェクトとして、「時刻表示オブジェクト」があるが、これを例にして説明する。メモリ（ＲＯＭ）７４に保持されているキャラクタ画像の原データを活用して、キャラクタ発生部７０で、時刻表示のオブジェクトに置き換わる時刻表示のキャラクタ画像を生成する。このときの現時刻の情報は、カレンダー（時計）機能部６７からシステムコントローラ３９を介して入手され、その入手した現時刻の時刻表示キャラクタ画像を生成する。置換処理部６９は、その生成した現時刻の時刻表示キャラクタ画像を、あたかも原画像に表示されていたオリジナルの時刻表示オブジェクトと同じになるようにその表示位置を示す情報等を付加した上で表示出力制御部６５に入力し、表示出力制御部６５で画像データに合成して表示する。
【０１２７】
以上が、記録／再生装置１２により再生されるオブジェクトの非表示処理、およびオブジェクト置換処理の説明である。
【０１２８】
なお、再生したオブジェクトの非表示処理は、再生データの時間情報の検出手段を用いることに限らず、再生データについては、全て過去のデータであると認識できるので、再生時にリアルタイム属性を有する所定のオブジェクトについては、全てを非表示の対象とすることもできる。また、時間情報が何らかの障害によって、または始めからデータが欠落している時も、同様に対応することができる。
【０１２９】
ここでは、オブジェクト置換処理については「時刻表示」について説明したが、その他の画像オブジェクトについても本発明は適用できる。
【０１３０】
もちろん、再生画像のオリジナルなオブジェクトをそのまま表示させることもできる。本実施の形態を用いれば、例えば図８に示したように、再生したオリジナルの画像オブジェクト（表示位置：Ｘ，Ｙ）と、前記した手順で生成したキャラクタからなる置き換える画像オブジェクトとで、スイッチ２０１を任意に切り替えることによって、表示する画像オブジェクト（表示位置：Ｘ，Ｙ）を任意に選択することもできる。また位置データを調整すれば、オブジェクトの表示位置を移動させることも可能である。
【０１３１】
次に、この記録再生装置１２が出力したＡＶデータを表示する表示装置１３について説明する。
【０１３２】
図４は、本実施の形態に係る表示装置１３の詳細な構成を示すブロック図である。
【０１３３】
この表示装置１３は、バスを介してインターフェース部（Ｉ／Ｆ）２２からＡＶデータを入力する。この入力したＡＶデータのうち音声データは、音声制御部２３により、画像データの表示に同期したタイミングで出力され、Ｄ／Ａコンバータ２５でアナログ信号に変換された後、ステレオ・スピーカ２７から出力されて再生される。また画像データは、表示制御部２４に入力されて表示タイミング、表示形態の調整がなされ、Ｄ／Ａコンバータ２６でアナログ信号に変換された後、ＣＲＴ２８に表示される。システムコントローラ２９は、これら各部の制御を行い、ユーザからの表示調整指示等の指示入力は、指示入力部３０から入力されてシステムコントローラ２９に送られる。
【０１３４】
以上が、本実施の形態の表示装置１３の説明である。なお、この表示装置１３の構成は、本発明の特徴に影響ないので、図４に示した形態のものに限らず、例えば液晶フラットディスプレイ（ＬＣＤ）等であっても何ら問題はない。
【０１３５】
続いて、本発明の実施の形態に係る表示形態の例を図示して、これを説明する。
【０１３６】
図９は、記録画像であるオンエア（オリジナル）画像１０１と、その記録画像を再生した再生画像１０２に非表示処理を施した時の例を示す図である。
【０１３７】
ここでは過去に記録したオンエア画像１０１には、オンエア時の時刻の「時刻表示オブジェクト（１０：２３）」が含まれているが、現在の再生画像１０２では、この「時刻表示オブジェクト」が非表示とされて表示されている。
【０１３８】
図１０は、図９の「時刻表示」とは異なる例を示す図で、その他のリアルタイム属性を有する情報として「天気予報」の画像オブジェクトに適用した例を示す図である。ここでも図９と同様に、記録画像であるオンエア（オリジナル）画像１０５に含まれる「天気予報」の画像オブジェクト１０７は、その記録画像を再生した再生画像１０６では非表示処理が施されて表示されていない。
【０１３９】
図１１は、記録画像であるオンエア（オリジナル）画像１０３と、その記録画像を再生した再生画像１０４にオブジェクト置換処理を施した時の例を示す図である。
【０１４０】
ここでは過去に記録したオンエア画像１０３には、オンエア時の時刻の「時刻表示オブジェクト（１０：２３）」１０８が含まれているが、現在の再生画像１０４では「時刻表示オブジェクト」を、その画像が再生されている現在の時刻を示すキャラクタで生成した「時刻表示オブジェクト（７：４５）」１０９に置き換えて表示している。
【０１４１】
続いて、本発明の実施の形態１における画像オブジェクトの非表示処理、及び画像オブジェクトの置換処理に関する動作手順を図１２のフローチャートを参照して説明する。
【０１４２】
図３及び図５で説明したＭＰＥＧ４のビデオデータを記録再生できる記録再生装置１２において、まずステップＳ０１で、記録再生装置１２は再生動作に伴って記録媒体３３よりビデオデータを再生し、ステップＳ２で、その再生したビデオデータをデコードした後、ステップＳ０３で、そのビデオデータを構成する画像オブジェクトについて、オブジェクト情報を解析してそれぞれの属性を調べる。
【０１４３】
このオブジェクト情報に示された各種コードを基にして解析を行った結果、リアルタイムの属性であることを示すコードを有する画像オブジェクトがあるか否かを判別し（ステップＳ０４）、そのような画像オブジェクトがある場合はステップＳ０５に進み、そのリアルタイム属性の画像オブジェクトを非表示にするかを判断する。一方ステップＳ０４で、リアルタイム属性の画像オブジェクトが無い場合、及びステップＳ０５で、そのリアルタイム属性の画像オブジエクトをあえて非表示にしないときにはステップＳ０６に進み、再生画像をそのまま表示出力する。
【０１４４】
ステップＳ０５で、そのリアルタイム属性の画像オブジェクトを非表示にする場合はステップＳ０７に進み、先に説明した方法でオブジェクト非表示処理を実行する。更に、ステップＳ０８に進み、その非表示処理を実行した上で、そのリアルタイムな画像オブジェクトに対応する現在の情報を基にして、新規の画像オブジェクト（キャラクタ）をオブジェクト置換処理部４１で作成して置換するかどうかを判断し、置換処理を実行しない場合はステップＳ０９に進み、そのリアルタイムな画像オブジェクトのみを非表示にした表示形態で表示出力を行う。
【０１４５】
一方、ステップＳ０８で、置換処理を実行する場合はステップＳ１０に進み、先に説明した方法でオブジェクト置換処理を実行する。このオブジェクト置換処理では、現在の情報を基にして新規にキャラクタ画像（例えば現時刻等）を発生させ、これを画像オブジェクトとして、その他の再生画像データ（オブジェクト）に合成して表示出力する（ステップＳ１１）。
【０１４６】
本実施の形態１は、オブジェクトに関する情報を解析することによって、ビデオ再生時の表示形態を制御するもので、これまでに説明したようなリアルタイム属性の画像オブジェクト以外でも本発明は容易に適用できる。
【０１４７】
本実施の形態１を用いて、上記の如く構成した装置やシステムによって、ユーザに対して、より親切で視覚効果の高いビデオ再生表示が可能になる。具体的には、テレビ番組を記録したビデオの再生時に、現在の時刻とは異なるオンエア・ビデオでの表示時刻を表示させなくすること、また或は、ビデオが再生される時点の時刻情報と置き換えて表示することができ、視聴者の混同を未然に防ぐことができる。
【０１４８】
また、本実施の形態１によれば、所定のオブジェクトの再生出力を制御することができるので、その他の効果として所定オブジェクトのみに関してダビング回数を規制するなど、著作権的な観点からも効果が期待できる。
【０１４９】
［実施の形態２］
続いて本発明の実施の形態２について説明する。この実施の形態２では、前述の実施の形態１で説明した所定オブジェクトに関した非表示処理機能、オブジェクト置換処理機能を表示装置に設けた構成で説明する。
【０１５０】
図１３は、本発明の実施の形態２に係るＭＰＥＧ４のビデオデータを記録再生する記録再生装置７１の構成を示すブロック図で、前述の図３の構成と共通する部分は同じ番号で示し、それらの説明を省略する。この記録再生装置７１は前述の図３で説明した記録再生装置１２におけるオブジェクト置換処理部４１を備えていない構成である。
【０１５１】
この記録再生装置７１は、再生時、ＭＰＥＧ４のビデオデータをデコードして得たＡＶデータ、及びデコード時に検出したオブジェクト情報と（オンエア時の）時間情報とを含んだサブデータをインターフェース部（Ｉ／Ｆ）３１からバスを介して外部の機器へ出力する。
【０１５２】
図１４は、本実施の形態２に係るＭＰＥＧ４のオブジェクト画像表示に対応した表示装置７２の構成を示すブロック図で、前述の図４の構成と共通する部分は同じ番号で示し、それらの説明を省略する。
【０１５３】
この表示装置７２は、図１３の記録再生装置７１から出力され伝送されたＡＶデータ及びサブデータをインターフェース部（Ｉ／Ｆ）２２から入力し、サブデータからＡＶデータに附随する時間情報を時間情報検出部５１で、オブジェクト情報をオブジェクト情報検出部５２でそれぞれ検出する。
【０１５４】
システムコントローラ２９は、この時間情報検出部５１で検出した入力ＡＶデータの時間情報から、そのデータが記録された時刻を判別し、カレンダー機能部５６からの現在の時刻と比較して、異なっている時は所定の属性を有するオブジェクトに関して、オブジェクトの非表示処理、置換処理を実行する。このとき、システムコントローラ２９は、オブジェクト情報検出部５２で検出したオブジェクト情報から判別し、リアルタイム的な所定の属性を有すオブジェクトが存在する時は、この所定のオブジェクトの表示に関して、オブジェクト毎の表示制御が可能である表示出力制御部２４に命令して、この所定オブジェクトの表示を行わないように非表示処理する。また或は、その非表示にしたオブジェクトに代えて新たに生成するオブジェクト（キャラクタ）で置換することもでき、この場合は非表示処理に加え、オブジェクト置換処理部５３に命令して、対象とするオブジェクトに代えて別のオブジェクトを用いて置換表示処理を実行する。
【０１５５】
具体的には、置き換える事が可能なオブジェクトの中身として、「時刻表示オブジェクト」があるが、これを例にして説明すると、メモリ（ＲＯＭ）５５に保持されているキャラクタ画像を活用して、キャラクタ発生部５４でオブジェクトに置き換わる時刻表示のキャラクタ画像を生成する。この時点での現時刻の情報は、カレンダー（時計）機能部５６からシステムコントローラ２９を介して入手し、それを基に現時刻の時刻表示キャラクタ画像を生成する。オブジェクト置換処理部５３は、この生成した現時刻の時刻表示キャラクタ画像を、あたかもオリジナルの時刻表示オブジェクトと差し替えるように、その表示位置等を指定した上で表示出力制御部２４に入力し、その表示出力制御部２４により、入力した画像データに合成して表示する。
【０１５６】
以上が入力したＡＶデータにおける画像データ中の所定オブジェクトに関する非表示処理、およびオブジェクト置換処理の説明である。
【０１５７】
以上説明したように、本実施の形態２に係る表示装置において、非表示処理、或は非表示処理に加えてオブジェクト置換処理がなされた入力画像の表示形態は、前述の実施の形態１で例示したのと同様に、例えば図９、図１０、図１１に類似する形態で表示される。
【０１５８】
ここでは、オブジェクトの置換処理を「時刻表示」の場合で説明したが、その他の画像オブジェクトについても同様に本実施の形態を適用できる。もちろん、記録画像に含まれているオブジェクトをそのまま表示させてもよい。
【０１５９】
また本実施の形態２においても、例えば前述の図８に示したように、入力したオリジナルの画像オブジェクト（表示位置：Ｘ，Ｙ）と、前記した手順で生成したキャラクタからなる置き換える画像オブジェクトとを、スイッチ２０１を切り替えることによって、任意に選択して、表示する画像オブジェクト（表示位置：Ｘ，Ｙ）を決定することもできる。また表示画像の位置データを調整すれば、オブジェクトの表示位置を移動させることも可能である。
【０１６０】
続いて、発明の実施の形態２に係る表示装置７２における画像オブジェクトの非表示処理及び画像オブジェクトの置換処理に関する動作手順を図１５のフローチャートを参照して説明する。
【０１６１】
ここでは図１４を参照して説明したＭＰＥＧ４のＡＶデータを表示可能な表示装置７２において、表示装置７２はＡＶデータと附随するサブデータの入力（ステップＳ２１）に際して、サブデータ内の時間情報を検出、解析し（ステップＳ２２）、ＡＶデータが記録された時間を示す時刻情報を入手する。更に、入力画像データを構成する画像オブジェクトについて、オブジェクト情報を解析して属性を調べる（ステップＳ２３）。次にステップＳ２４に進み、このオブジェクト情報に示された各種コードを基にして解析を行った結果、リアルタイム的な属性であることを示すコードを有する画像オブジェクトがあるか判別し、その様な属性を有するオブジェクトがある場合はステップＳ２５に進み、そのリアルタイム属性の画像オブジェクトを非表示にするか判断する。
【０１６２】
ステップＳ２４でリアルタイム属性の画像オブジェクトが無い場合、およびステップＳ２５で、そのリアルタイム属性の画像オブジェクトをあえて非表示にしないときにはステップＳ２６に進み、入力画像をそのまま表示出力する。
【０１６３】
またステップＳ２５で、そのリアルタイム属性の画像オブジェクトを非表示にする場合はステップＳ２７に進み、先に説明した方法でオブジェクト非表示処理を実行する。更に、ステップＳ２７で非表示処理を実行した上で、そのリアルタイムな画像オブジェクトに対応する現在の情報を基にした新規の画像オブジェクト（キャラクタ）を、オブジェクト置換処理部５３とキャラクタ発生部５４で作成し、置換することもできる。
【０１６４】
これには、ステップＳ２７でオブジェクト非表示処理を実行した後ステップＳ２８に進み、オブジェクト置換処理を実行するか判断する。ここで置換処理を実行しない場合はステップＳ２９に進み、そのリアルタイムな画像オブジェクトのみを非表示にした表示形態で表示出力を行う。
【０１６５】
一方、ステップＳ２８で置換処理を実行する場合はステップＳ３０に進み、先に読明した方法でオブジェクト置換処理を実行する。このステップＳ３０のオブジェクト置換処理では、現在の情報を基にして新規にキャラクタ画像を発生させ、これを画像オブジェクトとして、その他の入力画像データ（オブジェクト）に合成して表示・出力する（ステップＳ３１）。
【０１６６】
本発明の実施の形態２は、オブジェクトに関する情報を解析することによって、ビデオ表示時の表示形態を制御しているものであり、これまでに説明したようなリアルタイム的な属性の画像オブジェクト以外でも本発明は容易に適用できる。
【０１６７】
また本実施の形態２に係る表示装置によって、ユーザに対してより親切で視覚効果の高いビデオ表示が可能になる。具体的には、ビデオデータを入力した表示装置において、現在の時刻とは異なる時刻表示オブジェクト等を有する入力画像について、その時刻表示オブジェクトを非表示制御すること、又は、その再生される時点の時刻情報に置換して表示することが可能になり、視聴者の混同を未然に防ぐことができる。
【０１６８】
＜その他の実施形態＞
その他の実施形態として、これまで説明してきた本実施の形態の前提となるＭＰＥＧ４符号化方式のビデオデータ（テレビデータ）を、ＭＰＥＧ２符号化方式のビデオデータ（テレビデータ）の一部に組み込んだ上で実現する時の実施形態について説明する。
【０１６９】
図１６は、ＭＰＥＧ２符号化方式のデジタルテレビ放送で用いられる、ＭＰＥＧ２データストリームの伝送形式であるＭＰＥＧ２トランスポート・ストリームの構造を示す図である。ここで、図１６について説明する。
【０１７０】
ＭＰＥＧ２トランスポート・ストリームは、固定長のトランスポート・パケットによって多重・分離される。このトランスポート・パケットのデータ構造は、図１６に示したように階層的に表され、それぞれ図示した項目を含む。
【０１７１】
順に説明すると、８ビットの同期信号（ｓｙｎｃ）、パケット内のビットエラーの有無を示す誤り表示（エラー・インジケータ）、このパケットのペイロードから新たなユニットが始まることを示すユニット開始表示、このパケットの重要度を示すプライオリティ（パケット優先度）、個別ストリームの属性を示す識別情報ＰＩＤ(Packet Identification Data)、スクランブルの有無・種別を示すスクランブル制御、このパケットのアダプテーション・フィールドの有無及びペイロードの有無を示すアダプテーションフィールド制御、同じＰＩＤをもつパケットが途中で一部棄却されたかどうかを検出するための情報である巡回カウンタ、付加情報や、スタッフィング・バイトをオプションで入れることができるアダプテーション・フィールド、及びペイロード（情報）が含まれている。
【０１７２】
更に、このアダプテーション・フィールドは、フィールド長、及びその他の個別ストリームに関する各種項目と、オプショナル・フィールド、スタッフィング・バイト（無効データ・バイト）が入り、本実施の形態では付加データの一つとしてＭＰＥＧ４のビットストリームをこのフィールドに多重する。ＭＰＥＧ２テレビ放送のトランスポート・パケットはこのように構成される。
【０１７３】
ここで、上記で説明したトランスポートストリームを用いたＭＰＥＧ２方式のテレビ放送において、ＭＰＥＧ２のシステムデータに付加データとして多重したＭＰＥＧ４ビットストリームに、所望の画像オブジェクト及び時間情報やオブジェクト情報等のシステムデータを組み込んだ場合を考えて、本実施の形態に係る所定オブジェクトの非表示処理、オブジェクト置換処理を実現する。
【０１７４】
このとき図１６に示したように、微小なデータ量であるＣＧ（時刻表示画像や天気予報画像など）等からなる画像オブジェクト（図１６のオブジェクトＡ，Ｂ，Ｃ）、各オブジェクトのシーン記述情報（ＢＩＦＳ）、システムデータとして時間情報及び画像オブジェクトを識別するためのオブジェクト情報などをＭＰＥＧ４ビットストリームとして、ＭＰＥＧ２のシステムデータ中の前記アダプテーションフィールドの所定領域に多重させて送信することで実現する。またＭＰＥＧ４データを多重した領域の前（または前後）には、ＭＰＥＧ４データの存在を示すＩＤを付加しておき、これをデータ識別に用いる。
【０１７５】
ＭＰＥＧ２の一部に組み込まれた前記ＣＧ等の画像データについては、実施の形態１及び２で説明した本来のＭＰＥＧ４ビデオデータの如く、オブジェクトの非表示処理やオブジェクト置換処理も可能として構成される。
【０１７６】
この場合は、ＭＰＥＧ２のビットストリームからＭＰＥＧ４の存在を示すＩＤを識別し、ＭＰＥＧ４データを個別に抽出できさえすれば、そこから画像オブジェクト、オブジェクト情報、時間情報をそれぞれ抽出できるので、必要に応じた所定画像オブジェクトの非表示処理や、置換処理を行って表示制御することは、前述の実施の形態１又は２の構成から容易であり、その方法や動作については、既に説明した方法や動作と同様である。
【０１７７】
このように構成することで、ＭＰＥＧ４テレビ放送に限らず、ＭＰＥＧ４データを組み込んだＭＰＥＧ２テレビ放送、又はビデオデータにおいても本発明は適用できる。
【０１７８】
また、ＭＰＥＧ２とＭＰＥＧ４とでは、共通化できる符号／復号化回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的に実現できるというメリットもある。もちろん、ソフトデコーダの場合でも、システムの効率化は図れる。
【０１７９】
上記の如く構成することによって、本実施の形態の非表示処理や置換処理を適用する、例えば時刻表示や天気予報などのリアルタイムな画像オブジェクトは微小データである場合も多いので、ＭＰＥＧ２テレビ放送にＭＰＥＧ４オブジェクトを多重したシステムに適応し易いという効果もある。
【０１８０】
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１８１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８２】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８３】
以上説明したように本実施の形態によれば、記録されたデジタルデータにおいて意味のある実時間属性のオブジェクトなど、記録した当時（過去）においては価値があったが、再生している時点では特に意味を持たない属性のオブジェクトを非表示処理したり、又は、再生時の時刻に対応して表示変更することできるので、今までには無い、テレビ放送の再生に関して新規な機能を追加する上で効果が高い。
【０１８４】
また本実施の形態を用いて、上記の如く構成した装置やシステムによって、ユーザに対してより親切で、より視覚効果の高いビデオ再生表示が可能になり、ユーザ・インターフェースの質を大きく向上できる。
【０１８５】
また本実施の形態は、所定の属性のオブジェクトの再生出力を制御することができるので、その他の効果として所定オブジェクトのみに関して、例えばダビング回数を規制するなど、著作権的な観点からも効果が期待できる。
【０１８６】
また本実施の形態によれば、ＭＰＥＧ２符号化方式でのテレビ放送システムに、ＭＰＥＧ４のビットストリームを組み込むことが可能であり、既存のシステムを活用する点でも有効である。
【０１８７】
又本実施の形態によれば、デジタルテレビ放送においては、パーソナルコンピュータ（ＰＣ）との融合も容易になり、現在、ＰＣデスクトップ上で行っているようなレイアウト設定などを、テレビ画像に関してもカスタマイズにできるので、テレビ放送とＰＣとの親和性も良くなり、またデジタル複合製品の分野において市場拡大の効果が期待できる。
【０１８８】
【発明の効果】
以上説明したように本発明によれば、ユーザの視覚的効果を向上させ、ユーザ・インターフェースを向上できるという効果がある。
【０１８９】
又本発明によれば、例えば、再生時に意味のない属性のオブジェクトを判定して、そのオブジェクトの再生を制御できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る表示システムの構成を示すブロック図である。
【図２】本発明の実施の形態１に係るデジタルテレビ放送受信装置の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る記録再生装置の構成を示すブロック図である。
【図４】本発明の実施の形態１に係る表示装置の構成を示すブロック図である。
【図５】図３の記録再生装置の構成をより詳細に説明するためのブロック図である。
【図６】ＭＰＥＧ４データのビットストリーム構成を説明するための図である。
【図７】ＭＰＥＧ４データのビットストリームに含まれるオブジェクト情報の構成を説明する概念図である。
【図８】通常画像と置換処理した画像との表示切り替えを説明するための図である。
【図９】本実施の形態における表示例を示す図である。
【図１０】本実施の形態における表示例を示す図である。
【図１１】本実施の形態における表示例を示す図である。
【図１２】本発明の実施の形態１に係る動作手順を説明するフローチャートである。
【図１３】本発明の実施の形態２に係る記録再生装置の構成を示すブロック図である。
【図１４】本実施の形態２に係る表示装置の構成を示すブロック図である。
【図１５】本発明の実施の形態２に係る動作手順を説明するフローチャートである。
【図１６】ＭＰＥＧ２データのトランスポートストリーム構成を説明するための図である。
【図１７】従来のデジタルテレビ放送受信システムの構成を表した図である。
【図１８】ＭＰＥＧ４の符号化及び復号処理の流れを説明するブロック図である。
【図１９】ＭＰＥＧ４システムにおけるユーザの操作（編集）を考慮に入れた構成例を示す図である。
【図２０】符号化側のＶＯＰ処理回路ブロックを説明するためのブロック図である。
【図２１】復号側のＶＯＰ処理回路ブロックを説明するためのブロック図である。
【図２２】ＶＯＰの符号化及び復号化の全体を構成を示すブロック図である。
【図２３】ＶＯＰを構成する情報を説明する図で、図２３（ａ）は、オブジェクト単位の符号化の場合を示し、図２３（ｂ）は、フレーム単位の符号化の場合の情報の構成を示している。
【図２４】階層符号化におけるスケーラビリティを説明する図で、図２４（ａ）は時間スケーラビリティの場合を示し、図２４（ｂ）は空間スケーラビリティの場合を示す。
【図２５】画像の移動・回転・拡大・変形等、３次元空間での視点移動などを表現するワープを説明する図である。
【図２６】スプライト画像の一例を示す図である。
【図２７】シーン記述情報の構成例を説明する図である。
【図２８】ＭＰＥＧ４オーディオの符号化方式の種類を示す図である。
【図２９】オーディオ信号の符号化方式を説明するブロック図である。
【図３０】ＭＰＥＧ４における符号化ビットストリームの生成を説明する図である。
【図３１】ＭＰＥＧ４のレイヤー構造を説明する図である。
【図３２】双方向復号可能な可変長符号化を説明する図である。
【図３３】ＭＰＥＧ４において誤り耐性を強化する例を説明する図である。
Claims (15)
- 記録されたデジタルデータ列を再生する再生装置であって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生手段とを有し、
前記判定手段は、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする再生装置。 - 前記実時間的な情報に係る属性は、前記デジタルデータ列の記録時において意味のある実時間的な情報を有するオブジェクトに対して設定されることを特徴とする請求項１に記載の再生装置。
- 前記実時間的な情報を有するオブジェクトは、時刻情報の表示画像であることを特徴とする請求項２に記載の再生装置。
- 現時刻を計時する計時手段を更に有し、
前記再生手段は、前記実時間的な情報に係る属性を有するオブジェクトを、前記計時手段による計時に基づいて生成されるオブジェクトに置き換えることを特徴とする請求項１乃至３のいずれか１項に記載の再生装置。 - 記録されたデジタルデータ列を再生する再生装置であって、
前記記録されたデジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて、前記デジタルデータ列により表される画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、当該オブジェクトの再生形態を変化させて再生する再生手段とを有し、
前記実時間的な情報に係る属性を有するオブジェクトが、天気情報の表示画像であることを特徴とする再生装置。 - 前記再生手段は、前記実時間的な情報に係る属性を有するオブジェクトを、非表示にすることを特徴とする請求項５に記載の再生装置。
- 再生装置により再生されたデジタルデータを入力して、当該デジタルデータにより表わされる画像を表示する表示装置であって、
前記デジタルデータにより表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて表示させる表示制御手段とを有し、
前記判定手段は、前記デジタルデータに多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする表示装置。 - 再生装置により再生されたデジタルデータを入力して、当該デジタルデータにより表わされる画像を表示する表示装置であって、
前記デジタルデータに多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて、前記デジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定手段と、
前記判定手段により前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、当該オブジェクトの表示形態を変化して表示させる表示制御手段とを有し、
前記実時間的な情報に係る属性を有するオブジェクトが、天気情報の表示画像であることを特徴とする表示装置。 - 複数の画像データが多重化された状態で記録されたデジタルデータ列を再生する再生装置であって、
前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて、前記デジタルデータ列に実時間的な情報に係る画像データが含まれるか否かを判定する判定手段と、
前記デジタルデータ列から各画像データを分離する分離手段と、
前記判定手段により前記実時間的な情報に係る画像データが含まれると判定されると、前記分離手段により分離された各画像データのうち、前記実時間的な情報に係る画像データにより表わされる画像の再生形態を変化させて再生する再生手段とを有し、
前記実時間的な情報に係る画像データが、天気情報の表示画像データであることを特徴とする再生装置。 - 再生装置から複数の画像データが多重化されたデジタルデータを入力して、当該デジタルデータにより表わされる画像を表示する表示装置であって、
前記デジタルデータに多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて、前記デジタルデータ列に実時間的な情報に係る画像データが含まれるか否かを判定する判定手段と、
前記デジタルデータから各画像データを分離する分離手段と、
前記判定手段により前記実時間的な情報に係る画像データが含まれると判定されると、前記分離手段により分離された各画像データのうち、前記実時間的な情報に係る画像データにより表わされる画像の表示形態を変化して表示させる表示制御手段とを有し、
前記実時間的な情報に係る画像データが、天気情報の表示画像データであることを特徴とする表示装置。 - 記録されたデジタルデータ列を再生する再生方法であって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定工程と、
前記判定工程で前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生工程とを有し、
前記判定工程で、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とする再生方法。 - 複数の画像データが多重化された状態で記録されたデジタルデータ列を再生する再生方法であって、
前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて、前記デジタルデータ列に実時間的な情報に係る画像データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各画像データを分離する分離工程と、
前記判定工程で前記実時間的な情報に係る画像データが含まれると判定されると、前記分離された各画像データのうち、前記実時間的な情報に係る画像データにより表わされる画像の再生形態を変化させて再生する再生工程とを有し、
前記実時間的な情報に係る画像データが、天気情報の表示画像データであることを特徴とする再生方法。 - 記録されたデジタルデータ列の再生をコンピュータに実行させるためのプログラムであって、
前記記録されたデジタルデータ列により表わされる画像に実時間的な情報に係る属性を有するオブジェクトが含まれるか否かを判定する判定工程と、
前記判定工程で前記実時間的な情報に係る属性を有するオブジェクトが含まれると判定されると、前記実時間的な情報に係る属性を有するオブジェクトを、現在の情報に基づくオブジェクトに置き換えて再生する再生工程とを有し、
前記判定工程で、前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて前記判定を行うことを特徴とするプログラム。 - 複数の画像データが多重化された状態で記録されたデジタルデータ列の再生をコンピュータに実行させるためのプログラムであって、
前記デジタルデータ列に多重化された、各オブジェクトの詳細を示すオブジェクト情報に基づいて、前記デジタルデータ列に実時間的な情報に係る画像データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各画像データを分離する分離工程と、
前記判定工程で前記実時間的な情報に係る画像データが含まれると判定されると、前記分離された各画像データのうち、前記実時間的な情報に係る画像データにより表わされる画像の再生形態を変化させて再生する再生工程とを有し、
前記実時間的な情報に係る画像データが、天気情報の表示画像データであることを特徴とするプログラム。 - 請求項１３又は１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000032258A JP4289753B2 (ja) | 2000-02-09 | 2000-02-09 | 再生方法及び装置と表示装置 |
| US09/779,532 US7054539B2 (en) | 2000-02-09 | 2001-02-09 | Image processing method and apparatus |
| EP01301174A EP1124379A3 (en) | 2000-02-09 | 2001-02-09 | Method and apparatus for inhibiting reproduction of parts of a recording |
| EP12184434.4A EP2538667A3 (en) | 2000-02-09 | 2001-02-09 | Method and apparatus for image processing which inhibits reproduction of parts of a recording |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000032258A JP4289753B2 (ja) | 2000-02-09 | 2000-02-09 | 再生方法及び装置と表示装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001223990A JP2001223990A (ja) | 2001-08-17 |
| JP2001223990A5 JP2001223990A5 (ja) | 2007-03-29 |
| JP4289753B2 true JP4289753B2 (ja) | 2009-07-01 |
Family
ID=18556887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000032258A Expired - Fee Related JP4289753B2 (ja) | 2000-02-09 | 2000-02-09 | 再生方法及び装置と表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4289753B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220121776A1 (en) * | 2020-10-21 | 2022-04-21 | Verint Americas Inc. | System and method of automated determination of use of sensitive information and corrective action for improper use |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003111078A (ja) * | 2001-09-27 | 2003-04-11 | Fujitsu Ltd | コンテンツ符号化装置、コンテンツ復号化装置、コンテンツ配信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ符号化方法、コンテンツ復号化方法、コンテンツ符号化プログラム、およびコンテンツ復号化プログラム |
| JPWO2003039146A1 (ja) * | 2001-10-29 | 2005-02-24 | シャープ株式会社 | デジタルデータ記録装置 |
| JP2006295799A (ja) * | 2005-04-14 | 2006-10-26 | Sharp Corp | コンテンツ再生装置およびコンテンツ再生システム |
| WO2016194563A1 (ja) * | 2015-06-02 | 2016-12-08 | ソニー株式会社 | 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置 |
-
2000
- 2000-02-09 JP JP2000032258A patent/JP4289753B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220121776A1 (en) * | 2020-10-21 | 2022-04-21 | Verint Americas Inc. | System and method of automated determination of use of sensitive information and corrective action for improper use |
| US11972017B2 (en) * | 2020-10-21 | 2024-04-30 | Verint Americas Inc. | System and method of automated determination of use of sensitive information and corrective action for improper use |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001223990A (ja) | 2001-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| US7054539B2 (en) | Image processing method and apparatus | |
| US7788690B2 (en) | Receiving apparatus and method | |
| Haskell et al. | Digital video: an introduction to MPEG-2 | |
| Koenen | MPEG-4 multimedia for our time | |
| Puri et al. | MPEG‐4: An object‐based multimedia coding standard supporting mobile applications | |
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| JP2008245325A (ja) | 動画像符号化方法 | |
| JP2012085348A (ja) | 画像復号化装置および画像復号化方法 | |
| JP3927713B2 (ja) | 放送受信装置およびその方法 | |
| JP4306850B2 (ja) | 放送受信装置およびその方法 | |
| Schafer | MPEG-4: a multimedia compression standard for interactive applications and services | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP4401463B2 (ja) | 放送受信装置及びその方法 | |
| KR20000022500A (ko) | 복수의 화상 정보의 부호화 방법, 부호화 장치, 복호화 및 합성방법, 복호화 및 합성 장치, 및 상기 방법을 기록한 기록 매체 | |
| JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
| JPH104539A (ja) | データ多重化方法及び多重データ再生装置 | |
| Puri et al. | Overview of the MPEG Standards | |
| JP2001016582A (ja) | 画像処理装置およびその方法 | |
| JPH10285593A (ja) | 画像伝送用データ構造，画像伝送方法，画像復号化装置，及びデータ記録媒体 | |
| Law et al. | The MPEG-4 Standard for Internet-based multimedia applications | |
| Puri et al. | AT&T Labs, Red Bank, New Jersey | |
| Danielsen | MPEG-4 for DTV | |
| JP2005159878A (ja) | データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070209 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080811 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090327 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090331 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4289753 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |