JP4401463B2 - 放送受信装置及びその方法 - Google Patents
放送受信装置及びその方法 Download PDFInfo
- Publication number
- JP4401463B2 JP4401463B2 JP02082199A JP2082199A JP4401463B2 JP 4401463 B2 JP4401463 B2 JP 4401463B2 JP 02082199 A JP02082199 A JP 02082199A JP 2082199 A JP2082199 A JP 2082199A JP 4401463 B2 JP4401463 B2 JP 4401463B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- information
- layout setting
- image object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は放送受信装置およびその方法に関し、例えば、ディジタルテレビ放送を受信し、画像およびサウンドの再生が可能な放送受信装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、衛星放送やケーブル放送を用いたディジタルテレビ放送が開始された。ディジタル放送の実現により、画像やサウンドの品質向上、圧縮技術を利用した番組の種類や量の増大、インタラクティブサービスなど新しいサービスの提供、受信形態の進化など多くの効果が期待される。
【０００３】
図1は衛星放送を用いたディジタル放送受信機10の構成例を示すブロック図である。
【０００４】
まず、放送衛星によって送信されたテレビ(TV)情報がアンテナ1で受信される。受信されたTV情報はチューナ2で選局され復調される。その後、図示しないが、誤り訂正処理、必要であれば課金処理やデスクランブル処理などが行われる。次に、TV情報として多重化されている各種データを多重信号分離回路3で分離する。TV情報は画像情報、サウンド情報およびその他の付加データに分離される。分離された各データは復号回路4で復号される。こうして復号された各データのうち画像情報とサウンド情報はD/A変換回路5でアナログ化され、テレビジョン受像機(TV)6で再生される。一方、付加データは、番組サブデータとしての役割をもち各種機能に関与する。
【０００５】
さらに、受信されたTV情報の記録再生にはVTR7が利用される。受信機10とVTR7との間はIEEE1394などのディジタルインタフェイスで接続されている。このVTR7は、ディジタル記録方式の記録形態を備え、例えばD-VHS方式などによりTV情報をビットストリーム記録する。なお、D-VHS方式のビットストリーム記録に限らず、その他の民生用ディジタル記録方式であるDVフォーマットや、各種ディスク媒体を用いたディジタル記録装置などでもディジタルテレビ放送のTV情報を記録することが可能である。ただし、フォーマット変換が必要になる場合がある。
【０００６】
【発明が解決しようとする課題】
地上波放送およびディジタルテレビ放送におけるテレビ番組を家庭のテレビジョンで再生する場合、放送局から送られてくる映像をそのまま表示するのが普通である。言い換えれば、効果的に表示形態（レイアウト）を変化させる行為、例えば、必要に応じて映像中の物体を表示させたりさせなかったり、物体のサイズを変えたりすることは行われていない。このような表示形態を効果的に変化させる機能は、ディジタルテレビ放送の発展に伴う多チャンネル化および多プログラム化の過程で、効果的な表示方法の新機能を追加していくという観点から是非必要なものの一つと考えられる。
【０００７】
レイアウトを設定したい状況として次の例があげられる。例えば、曜日や時間帯に応じて、主として必要とする情報を拡大表示したり、または不必要な情報を非表示とする場合がある。しかし、現状ではレイアウト設定は困難である。
【０００８】
本発明は、上述の問題を解決するためのものであり、ディジタルテレビ放送における画像の新たな再生機能を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１０】
本発明にかかる放送受信装置は、テレビ放送のディジタルデータ列を受信する受信手段と、受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号手段と、復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御手段と、ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶手段とを有し、前記制御手段は、現時刻が前記期間に含まれる場合、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする。
【００１２】
本発明にかかる放送受信方法は、テレビ放送のディジタルデータ列を受信する受信工程と、受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号工程と、復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御工程と、ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶工程とを有し、前記制御工程においては、現時刻が前記期間に含まれる場合は、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする。
【００１４】
【発明の実施の形態】
［概要］
本実施形態は、MPEG4符号化の特徴であるオブジェクトの概念を用いることによって、オブジェクト単位での表示位置の変更を可能にし、ユーザ固有のレイアウトの画像（映像）表示を実現する。オブジェクトとは、背景画像、話者およびその音声などであり、MPEG4符号化はそれぞれのオブジェクトを符号化/復号して、各オブジェクトを組み合わせることで一つのシーンを表現する。
【００１５】
本実施形態の具体的なレイアウト設定機能は、MPEG4を用いた放送システムにおいて、リアルタイム画像情報の表示に関して、表示する画像をオブジェクト単位で操作することが可能であり、時間帯に応じて任意のレイアウトの画像（映像）表示を設定する機能を有する。この時間帯に対応されたレイアウトには、所定位置およびユーザが任意に設定した位置が含まれる。
【００１６】
このように、本実施形態によれば、曜日や時間帯に応じて、任意の情報を優先した表示レイアウトによるテレビ画面表示が可能となる。また、デフォルト設定のレイアウトを有するほか、ユーザが好むレイアウトを任意に設定することもできる。従って、ディジタルテレビ放送を視聴するユーザの視覚的効果およびユーザインタフェイスの質を向上することができ、テレビ放送の映像表示に新しい機能を追加することができる。
【００１７】
以下では、本発明にかかる一実施形態の受信装置として、MPEG4符号化方式を用いるディジタルテレビ放送を受信する受信装置の構成例を説明するが、まずMPEG4に関する技術を分野ごとに分けて詳細に説明する。
【ＭＰＥＧ４の概要】
［規格の全体構成］
MPEG4規格は大きな四つの項目からなる。このうち三つの項目はMPEG2と類似していて、ビジュアルパート、オーディオパートおよびシステムパートである。
●ビジュアルパート
自然画、合成画、動画および静止画などを扱うオブジェクト符号化方式が規格として定められている。また、伝送路誤りの訂正や修復に適した符号化方式、同期再生機能および階層符号化が含まれている。表現上『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像まで含む。
●オーディオパート
自然音、合成音および効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオパートやオーディオパートでは複数の符号化方式を規定し、それぞれのオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫がされている。
●システムパート
符号化された映像オブジェクトやサウンドオブジェクトの多重化処理と、その逆の分離処理を規定する。さらにバッファメモリや時間軸制御と再調整機能もこのパートに含まれる。上記のビジュアルパートおよびオーディオパートで符号化された映像オブジェクトやサウンドオブジェクトは、シーンのなかのオブジェクトの位置や出現時刻および消滅時刻などを記したシーン構成情報とともにシステムパートの多重化ストリームに統合される。復号処理としては、受信したビットストリームから、それぞれのオブジェクトを分離/復号し、シーン構成情報に基づきシーンを再構成する。
［オブジェクトの符号化］
MPEG2ではフレームあるいはフィールドを単位として符号化するが、コンテンツの再利用や編集を実現するために、MPEG4では映像データやオーディオデータをオブジェクト（物体）として扱う。オブジェクトには以下のような種類がある。
【００１８】
サウンド
自然画像（背景映像: 二次元固定映像）
自然画像（主被写体映像: 背景なし）
合成画像
文字画像
これらを同時に入力し符号化処理する場合のシステム構成例を図2に示す。サウンドオブジェクト符号化器5001、自然画像オブジェクト符号化器5002、合成画像オブジェクト符号化器5003および文字オブジェクト符号化器5004により、オブジェクトはそれぞれ符号化処理される。この符号化と略同時に、シーン内における各オブジェクトの関連を示すシーン構成情報を、シーン記述情報符号化器5005により符号化する。符号化されたオブジェクト情報およびシーン記述情報は、データ多重化器5006によりMPEG4ビットストリームへエンコード処理される。
【００１９】
このようにエンコード側では、複数のビジュアルオブジェクトやオーディオオブジェクトの組み合わせを定義して、一つのシーン（画面）を表現する。ビジュアルオブジェクトに関しては、自然画像とコンピュータグラフィクスなどの合成画像とを組み合わせたシーンも構成できる。また、上記のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像とその音声との同期再生が可能になる。なお、前記のビットストリーム状態で送受信または記録再生が行われる。
【００２０】
デコード処理は、先のエンコード処理の逆処理である。データ分離器5007により、MPEG4ビットストリームを各オブジェクトに分離し分配する。分離されたサウンド、自然画像、合成画像および文字などのオブジェクトは、対応する復号器5008から5011によりオブジェクトデータへ復号される。また、シーン記述情報も略同時に復号器5012により復号される。これらの復号情報を用いて、シーン合成器5013は、元のシーンを合成する。
【００２１】
デコード側では、シーンに含まれるビジュアルオブジェクトの位置や、オーディオオブジェクトの順番など、部分的な変更が可能である。オブジェクト位置はドラッグにより変更でき、言語の変更などはユーザがオーディオオブジェクトを変更することで可能になる。
【００２２】
複数のオブジェクトを自由に組み合わせてシーンを合成するために、次の四つの項目が規定されている。
●オブジェクト符号化
ビジュアルオブジェクトおよびオーディオオブジェクト、並びに、それらを組み合わせたAV（オーディオビジュアル）オブジェクトを符号化対象とする。
●シーン合成
ビジュアルオブジェクト、オーディオオブジェクトおよびAVオブジェクトを所望するシーンに構成するためのシーン構成情報と合成方式とを規定するために、Virtual Reality Modeling Language(VRML)をモディファイした言語を用いる。
●多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリストリーム）の形式などを定める。このストリームをネットワークに流したり、記録装置に格納するときのサービス品質QOS(Quality of Service)も設定可能である。QOSパラメータには、最大伝送速度、誤り率および伝送方式などの伝送路条件や復号能力などが設けられている。
●ユーザの操作（インタラクション）
ビジュアルオブジェクトやオーディオオブジェクトを、ユーザ端末側で合成する方式を定義する。MPEG4のユーザ端末は、ネットワークや記録装置から送られてくるデータを、エレメンタリストリームに分離して、各オブジェクトごとに復号する。複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にしてシーンを再構成する。
【００２３】
ユーザ操作（編集）を考慮に入れたシステムの構成例を図3に示す。また、ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図を図4に、デコーダ側のブロック図を図5に示す。
［VOP(Video Object Plane)］
MPEG4における映像の符号化は、対象の映像オブジェクトを形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をVOPという。図6はVOPの符号化および復号の全体構成を示すブロック図である。
【００２４】
例えば、画像が人物と背景の二つのオブジェクトから構成されている場合、各フレームを二つのVOPに分割して符号化する。各VOPを構成する情報は、図7Aに示されるように、オブジェクトの形状情報、動き情報およびテクスチャ情報である。一方、復号器は、ビットストリームをVOP毎に分離し個別に復号した後、これらを合成して画像を形成する。
【００２５】
このように、VOP構造の導入により、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のVOPに分割し、個別に符号化/復号することができる。なお、VOPの数が1で、オブジェクト形状が矩形の場合は、図7Bに示すように、従来からのフレーム単位の符号化になる。
【００２６】
VOPには三種類の予測方式として、面内符号化(I-VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)がある。予測単位は16×16画素のマクロブロック(MB)である。
【００２７】
双方向予測B-VOPは、MPEG1およびMPEG2のBピクチャと同じく、過去のVOPおよび未来のVOPの両方向からVOPを予測する方式である。そして、マクロブロック単位に直接符号化/前方符号化/後方符号化/双方符号化の四種類のモードが選択可能である。そしてこのモードは、MBまたはブロック単位に切り替えることが可能である。P-VOPの動きベクトルのスケーリングで双方向予測する。
［形状(Shape)符号化］
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化および復号の際に既知でなければならない。また、後方にある物体が透けて見えるガラスのような物体を表現するためには、物体の透明度を表す情報が必要になる。この物体の形状および物体の透明度の情報を合わせて形状情報と呼ぶ。そして、形状情報の符号化を形状符号化と呼ぶ。
［サイズ変換処理］
二値形状符号化は、画素毎に物体の外側にあるのか内側にあるのかを判定して、境界画素を符号化する手法である。従って、符号化すべき画素数が少ないほど発生符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号が劣化して受信側に伝送されることになる。従って、サイズ変換により元の情報がどの程度劣化するかを測定し、所定のしきい値以下のサイズ変換誤差が得られる限りは、できるだけ小さなマクロブロックサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げられる。
【００２８】
各VOPの形状情報は、8ビットのα値として与えられ、次のように定義される。
【００２９】
α = 0: 該当VOPの外側
α = 1〜254: 他のVOPと半透明状態で表示
α = 255: 該当VOPのみの表示領域
二値形状符号化は、α値が0あるいは255をとる場合であり、該当VOPの内側と外側のみで形状が表現される。多値形状符号化は、α値が0から255のすべての値を取り得る場合で、複数のVOP同士が半透明で重畳された状態を表現することができる。
【００３０】
テキスチャ符号化と同様に16×16画素のブロック単位に一画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。MPEG4では、動き補償予測したブロック単位の形状情報を二値形状符号化する。
●フェザーリング
その他、二値形状の場合でも、境界部を不透明から透明に滑らかに変化させたい場合はフェザーリング（境界形状のスムージング）を使う。フェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリングフィルタモードがある。不透明度が一定な多値形状には、定アルファモードがあり、フェザーリングと組み合わせが可能である。
［テクスチャ符号化］
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド/フレーム単位のDCT(Discrete Cosine Tranfer)、量子化、予測符号化および可変長符号化の順に処理する。
【００３１】
DCTは8×8画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合は、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、4タップの二次元フィルタ処理を施すことで、DCT係数に大きな擬似ピークが発生する現象を防ぐ。
【００３２】
量子化はITU-T勧告H.263の量子化器あるいはMPEG2の量子化器の何れかを使う。MPEG2量子化器を使えば、直流成分の非線形量子化やAC成分の周波数重み付けが可能になる。
【００３３】
量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し冗長成分を削除する。とくに、MPEG4では直流成分と交流成分の両方に対して予測符号化する。
【００３４】
テクスチャ符号化のAC/DC予測符号化は、図8に示すように、注目ブロックに隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方の量子化係数を予測に使う。例えば、注目ブロックの直流係数xを予測する場合、対応する隣接ブロックの直流係数がa、bおよびcならば次のようになる。
【００３５】
|a - b| ＜ |b - c| ならば直流係数cを予測に使う
|a - b| ≧ |b - c| ならば直流係数aを予測に使う
注目ブロックの交流係数Xを予測する場合も、上記と同様に予測に使う係数を選んだ後、各ブロックの量子化スケール値QPで正規化する。
【００３６】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と、左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００３７】
交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数を用いる。ただし、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００３８】
その後、交流成分は、ジグザグスキャンされ、三次元(Last,RunおよびLevel)可変長符号化される。ここで、Lastはゼロ以外の係数の終りを示す1ビットの値、Runはゼロの継続長、Levelは非ゼロ係数の値である。
【００３９】
面内符号化された直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルの何れかを使う。
［動き補償］
MPEG4では任意の形状のビデオオブジェクトプレーン(VOP)を符号化することができる。VOPには、前述したように、予測の種類によって面内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方向予測符号化(B-VOP)があり、予測単位は16ライン×16画素または8ライン×8画素のマクロブロックを使う。従って、VOPの境界上に跨るマクロブロックも存在することになる。このVOP境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）およびポリゴンマッチング（オブジェクト部分のみのマッチング）を行う。
［ウェーブレット符号化］
ウェーブレット(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、とくにコンピュータグラフィックス(CG)画像と自然画像とが合成された画像を扱う場合に、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。ウェーブレット符号化は、画像をブロック分割せず一括して符号化することができるため、低ビットレートでもブロック歪みが発生せず、モスキート雑音も減少できる。このように、MPEG4の静止画像符号化モードは、低解像度かつ低画質の画像から高解像度かつ高画質の画像までの幅広いスケーラビリティ、処理の複雑性および符号化効率のトレードオフの関係をアプリケーションに応じて調整できる。
［階層符号化（スケーラビリティ）］
スケーラビリティを実現するために、図9Aおよび9Bに示すようなシンタックスの階層構造を構成する。階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにおいてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。空間スケーラビリティの場合、ベースレイヤは低解像度の動画像を、「ベースレイヤ+補強レイヤ」で高解像度の動画像を表す。
【００４０】
さらに、画像全体の画質を階層的に向上させるほかに、画像中の物体領域のみ画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは画像全体を低いフレームレートで符号化したもの、補強レイヤは画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものになる。
●時間スケーラビリティ
図9Aに示す時間スケーラビリティは、フレーム速度を階層化し、補強レイヤのオブジェクトのフレーム速度を速くすることができる。階層化の有無はオブジェクト単位で設定できる。補強レイヤのタイプは二つで、タイプ1はベースレイヤのオブジェクトの一部で構成する。タイプ2はベースレイヤと同じオブジェクトで構成する。
●空間スケーラビリティ
図9Bに示す空間スケーラビリティは空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能で、補強レイヤの予測に使用される。
［スプライト符号化］
スプライトとは、三次元空間画像における背景画像などのように、オブジェクト全体が統一的に移動、回転、変形などを表現できる平面的なオブジェクトのことである。この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００４１】
スプライト符号化は四種、静的/動的およびオンライン/オフラインに区別される。詳しく説明すると、オブジェクトデータを予め復号器に送り、グローバル動き係数だけをリアルタイムに伝送する構成であって、テンプレートオブジェクトの直接変換で得られる静的スプライト。時間的に前のスプライトからの予測符号化により得られる動的スプライト。事前に面内符号化(I-VOP)により符号化され、復号器側に伝送されるオフラインスプライト。符号化中に符号化器および復号器で同時に作成されるオンラインスプライトがある。
【００４２】
スプライト符号化に関して検討されている技術には、スタティックスプライト(Static Sprite)符号化、ダイナミックスプライト(Dynamic Sprite)符号化、グローバル動き補償などがある。
●スタティックスプライト符号化
スタティックスプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。切り出された一部の画像は、平行移動、拡大/縮小、回転など様々な変形を表現することができる。これについて図10Aに示すように、画像の移動、回転、拡大/縮小、変形などにより三次元空間における視点移動を表現することをワープと呼ぶ。
【００４３】
ワープの種類には遠近法変換、アフィン変換、等方拡大(a)/回転(θ)/移動(c, f)および平行移動があり、図10Bの各式で表される。図10Bに示す式の係数によって移動、回転、拡大/縮小、変形などが表される。また、スプライトの生成は符号化開始前にオフラインで行われる。
【００４４】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することでスタティックスプライト符号化は実現される。図11に示すスプライト（背景）画像に含まれる一部領域がワープされることになる。例えば、背景画像はテニスの試合における観客席などの画像であり、ワープされる領域はテニスプレーヤなどの動きのあるオブジェクトを含んだ画像である。また、スタティックスプライト符号化においては、幾何変換パラメータのみを符号化して、予測誤差を符号化しない。
●ダイナミックスプライト符号化
スタティックスプライト符号化では符号化前にスプライトが生成される。これに対して、ダイナミックスプライト符号化では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティックスプライト符号化とは異なる。
●グローバル動き補償(GMC)
グローバル動き補償とは、オブジェクト全体の動きを、ブロックに分割することなく、一つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像になる点、予測誤差を符号化する点では、スタティックスプライト符号化と同様である。ただし、スプライトを格納するためのメモリを必要としないこと、形状情報が不要であることは、スタティックスプライト符号化およびダイナミックスプライト符号化とは異なる。画面全体の動きや、ズームを含む画像などにおいて効果がある。
［シーン構造記述情報］
シーン構成情報によりオブジェクトは合成される。MPEG4では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図したとおりのシーンに合成できる。
【００４５】
シーン構成情報には、オブジェクトの表示時間や表示位置などが含まれ、これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。シーン構成情報を記述する言語には、VRMLを修正したBIFS(Binary Format for Scenes)とJava(TM)を用いたAAVS(Adaptive Audio-Visual Session Format)がある。BIFSは、MPEG4のシーン構成情報を二値で記述する形式。AAVSはJava(TM)をベースとし、自由度が大きくBIFSを補う位置付けにある。図12はシーン記述情報の構成例を示す図である。
［シーン記述］
シーン記述はBIFSによって行われる。ここでは、VRMLとBIFS共通の概念であるシーングラフとノードを中心に説明する。
【００４６】
ノードは光源、形状、材質、色および座標などの属性や、座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、三次元空間中の各物体の配置や見え方は、シーングラフと呼ばれる木を、頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードにメディアオブジェクト、例えば、MPEG4ビデオのビットストリームを同期をとって割当てれば、他のグラフィクスと伴に動画を三次元空間内に合成して表示することができる。
【００４７】
また、VRMLとの差異は下記のとおりである。MPEG4システムでは次をBIFSでサポートする。
【００４８】
(1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記述と、MPEG4オーディオの合成記述
(2)連続メディアストリームの同期処理
(3)オブジェクトの動的振る舞い表現（例えばスプライト）
(4)伝送形式（バイナリ）を標準化
(5)セッション中にシーン記述を動的に変更
VRMLのノードのうちExtrusion、Script、ProtoおよびExtemProtoなどがサポートされていない以外は、VRMLノードのほぼすべてがBIFSでサポートされている。BIFSで新たに加えられたMPEG4特別ノードには、以下のものがある。
【００４９】
(1)2D/3D合成のためのノード
(2)2Dグラフィクスやテクストのためのノード
(3)アニメーションノード
(4)オーディオノード
特筆すべきは、VRMLでは背景など特殊なノードを除き2D合成はサポートされていなかったが、BIFSでは、テキストやグラフィックオーバレイ、さらにMPEG4ビデオVOP符号化を画素単位で扱えるように記述が拡張されている。
【００５０】
アニメーションノードには、3Dメッシュで構成された顔などMPEG4のCG画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加および属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。BIFSは、VRMLの予約語、ノード識別子および属性値をほぼ一対一にバイナリデータに置き換えることにより実現できる。
［MPEG4オーディオ］
図13にMPEG4オーディオの符号化方式の種類を示す。オーディオおよびサウンドの符号化には、パラメトリック符号化、CELP(Code Excited Linear Prediction)符号化、時間/周波数変換符号化が含まれる。さらに、SNHC(Synthetic Natural Hybrid Coding)オーディオの機能も取り入れ、SA（Structured Audio: 構造化オーディオ）符号化とTTS（Text to Speech: テキストサウンド合成）符号化が含まれる。SAはMIDI(Music Instrument Degital Interface)を含む合成楽音の構造的記述言語であり、TTSは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００５１】
図14にオーディオ符号化方式の構成を示す。図14において、入力サウンド信号を前処理(201)し、パラメトリック符号化(204)、CELP符号化(205)および時間/周波数符号化(206)の三つの符号化を使い分けるように、帯域に応じて信号分割(202)し、それぞれに適した符号化器へ入力する。また、信号分析制御(203)により、入力オーディオ信号が分析され、入力オーディオ信号を各符号化器へ割り当てるための制御情報などが発生される。
【００５２】
続いて、それぞれ別の符号化器であるパラメトリック符号化コア(204)、CELP符号化コア(205)、時間/周波数変換符号化コア(206)は、各符号化方式に基づいた符号化処理を実行する。これら三種の符号化方式については後述する。パラメトリック符号化およびCELP符号化されたオーディオデータは、小ステップ強化(207)され、時間/周波数変換符号化および小ステップ強化されたオーディオデータは、大ステップ強化(208)される。なお、小ステップ強化(207)および大ステップ強化(208)は、各符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化されたオーディオデータは、符号化されたサウンドビットストリームになる。
【００５３】
以上が図14のオーディオ符号化方式の構成の説明であるが、次に、図13を参照しながら各符号化方式について説明する。
●パラメトリック符号化
音声信号や楽音信号を含むサウンド信号を周波数、振幅およびピッチなどのパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化(HVXC: Harmonic Vector Excitation Coding)と、楽音信号用の個別スペクトル(IL: Individual Line)符号化が含まれる。
【００５４】
HVXC符号化は、主として2k〜4kbpsの音声符号化を目的とし、音声信号を有声音と無声音に分類し、有声音は線形予測係数(LPC: Linear Prediction Coefficient)の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
【００５５】
IL符号化は、6k〜16kbpsの楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
●CELP符号化
入力サウンド信号をスペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力サウンド信号から線形予測分析によって算出される線形予測係数によって表される。MPEG4のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8kHzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CELPは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.7k〜24kbpsの間においてビットレートの選択が可能である。
●時間/周波数変換符号化
高音質を目指す符号化方式である。AAC(Advanced Audio Coding)に準拠する方式、およびTwinVQ（Transform-domain Weighted Interleave Vector Quantization: 変換領域重み付けインタリーブベクトル量子化）がこれに含まれる。この時間/周波数変換符号化には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化する仕組みになっている。
【００５６】
AAC準拠方式は、オーディオ信号をDCTなどで周波数変換し、聴覚マスキング効果を利用しながら適応量子化する仕組みである。適応ビットレートは24k〜64kbpsである。
【００５７】
TwinVQ方式は、オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のMDCT係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化する仕組みである。適応ビットレートは6k〜40kbpsである。
［システム構造］
MPEG4のシステムパートでは、多重化、分離および合成（コンポジション）を定義する。以下、図15を用いてシステム構造を説明する。
【００５８】
多重化においては、映像符号化器やオーディオ符号化器からの出力である各オブジェクトや、各オブジェクトの時空間配置を記述したシーン構成情報などのエレメンタリストリームごとに、アクセスユニットレイヤでパケット化される。アクセスユニットレイヤでは、アクセスユニット単位に同期を取るためのタイムスタンプや参照クロックなどがヘッダとして付加される。パケット化されたストリームは、次に、FlexMuxレイヤで表示や誤り耐性の単位で多重化され、TransMuxレイヤへ送られる。
【００５９】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、MPEG4では定義されず、インターネットのプロトコルであるUDP/IP(User Datagram Protocol/Internet Protocol)やMPEG2のトランスポートストリーム(TS)、ATM(Asynchronous Transfer Mode)のAAL2(ATM Adaptation layer2)、電話回線利用のテレビ電話用多重化方式（ITU-T勧告H.223）、および、ディジタルオーディオ放送などの既存のネットワークプロトコルが利用可能である。
【００６０】
システムレイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセスユニットレイヤやFlexMuxレイヤをバイパスすることも可能である。
【００６１】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ(DB: Decoding Buffer)を設け、各オブジェクトの到達時刻や復号時間のずれを吸収する。合成の前にもバッファ(CB: Composition Buffer)を設けて表示タイミングを調整する。
［ビデオストリームの基本構造］
図16にレイヤ構造を示す。各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとはstart code、end code、ID、形状およびサイズほかの各種符号情報である。
●ビデオストリーム
ビデオストリームは複数のセッションで構成される。セッションとは、一連の完結したシーケンスのことである。
【００６２】
VS: セッションは複数のオブジェクトで構成される
VO: ビデオオブジェクト
VOL: オブジェクトは複数のレイヤを含むオブジェクト単位のシーケンス
GOV: オブジェクトは複数のレイヤで構成される
VOP: オブジェクトレイヤは複数のプレーンで構成される
ただし、プレーンはフレーム毎のオブジェクト
［誤り耐性を有するビットストリーム構造］
MPEG4は、移動体通信（無線通信）などに対応すべく、符号化方式自体が伝送誤りに対する耐性を有している。既存の標準方式における誤り訂正は主にシステム側で行っているが、PHS(Personal Handy phone System)などのネットワークでは誤り率が非常に高く、システム側では訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。これを考慮して、MPEG4は、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とされている。ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
●Reversible VLC(RVLC)と双方向復号
図17に示すように、復号途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能になる。このような順方向と同時に逆方向からも復号可能な可変長符号により「双方向復号」が実現される。
●重要情報の複数回伝送
図18に示すように、重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化する。例えば、各VOPを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に、誤りによってこのビデオパケットが消失しても、前記の双方向復号構造により次のビデオパケットから復号が再開できるが、このビデオパケットにはタイムスタンプがないため、結局、表示タイミングがわからないことになる。そのため各ビデオパケットにHEC(Header Extension Code)というフラグを立て、この後にタイムスタンプなどの重要情報を付加できる構造が導入された。HECフラグの後には、タイムスタンプとVOPの符号化モードタイプとが付加できる。
【００６３】
同期はずれが生じた場合は、次の同期回復マーカ(RM)から復号が開始されるが、各ビデオパケットにはそのために必要な情報、そのパケットに含まれる最初のMBの番号およびそのMBに対する量子化ステップサイズがRM直後に配置されている。その後にHECフラグが挿入され、HEC=‘1’の場合にはTRおよびVCTがその直後に付加される。これらHEC情報により、仮に、先頭のビデオパケットが復号できずに廃棄されても、HEC=‘1’と設定したビデオパケット以降の復号および表示は正しく行われることになる。なお、HECを‘1’にするか否かは符号化側で自由に設定できる。
●データパーティショニング
符号化側では、MB単位の符号化処理を繰り返してビットストリームを構成するため、途中に誤りが混入すると、それ以降のMBデータは復号できない。一方、複数のMB情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置し、各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入してそれ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【００６４】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（DCT係数など）とにグループ分けするデータパーティショニング手法(Data Partitioning)が採用されている。また、グループの境目にはモーションマーカ(MM: Motion Marker)が配置される。
【００６５】
仮に、動きベクトル情報の途中に誤りが混入していても、MMの後にくるDCT係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するMBデータはDCT係数とともに正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
●可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだMB群は「ビデオパケット」と呼ばれ、その中に何個のMBを含めるかは符号化側で自由に設定することができる。可変長符号(VLC: Variable Length Code)を使用するビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能になる。
［バイトアライメント］
システムとの整合性をとるために、情報の多重化はバイトの整数倍単位で行われる。ビットストリームは、バイトアラインメント(Byte alignment)構造となっている。バイトアラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。さらにこのスタッフビットは、ビデオパケット内のエラーチェック符号としても使用される。
【００６６】
スタッフビットは‘01111’のように、最初の1ビットが‘0’で、それ以外のビットがすべて‘1’であるような符号で構成されている。つまりビデオパケット内の最後のMBまで正しく復号されれば、その次に来る符号は必ず‘0’であり、その後にはスタッフビットの長さより1ビット分だけ短い‘1’の連続があるはずである。もし、このルールに反したパターンが検出された場合、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【００６７】
以上、「国際標準規格MPEG4の概要決まる」（日経エレクトロニス 1997.9.22号 p.147-168）、「見えてきたMPEG4の全貌」（社団法人映像情報メディア学会テキスト 1997.10.2）、「MPEG4の最新標準化動向と画像圧縮技術」（日本工業技術センター セミナー資料 1997.2.3）などを参考にして、MPEG4の技術に関して説明した。
【第１実施形態】
［構成］
以下、本発明にかかる一実施形態のテレビ放送受信装置を図面を参照して詳細に説明する。図19は本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図である。
【００６８】
ディジタルテレビ放送の信号は、その放送形態に応じて、衛星放送のときは衛星アンテナ21およびチューナ23により、ケーブル放送のときはケーブル22を介してチューナ24により、選局され受信される。こうして衛星放送もしくはケーブル放送から受信されたテレビ情報は、データ選択器43により一方のデータ列が選択され、復調回路25で復調され、誤り訂正回路26で誤り訂正される。
【００６９】
ここで、テレビ放送データを外部装置に伝送する場合、または外部装置からビデオデータやコマンド等を入力する場合には、ディジタルインタフェイスを用いて外部装置とのディジタル通信を行なう。ディジタル通信のためのコネクタ及び、データ処理用回路等で構成される受信装置のインタフェイス部がDIF46である。このディジタルインタフェイスはIEEE1394シリアルバス等で構成され、接続先の装置としてはVTR等が一例として考えられる。
【００７０】
続いて、誤り訂正回路26で処理されたテレビ情報は、多重データ分離回路27により多重されている各データ、つまり画像データ、サウンドデータおよびその他のシステムデータ（追加データ）に分離される。このうち、サウンドデータは、サウンド復号回路28で復号され、ステレオオーディオデータA(L),A(R)になり、サウンド制御部30により音量や音場定位の調整および主/副音声などサウンド多重への対応が処理された後、出力するサウンドが選択され、ディジタル-アナログコンバータ(D/A)29によりアナログ信号に変換されて、スピーカ31により再生される。
【００７１】
一方、画像データは、画像データ中の各オブジェクトにそれぞれに対応して復号処理を行う複数の復号器からなる画像復号回路32で復号される。この復号方式は、既に説明したMPEG4の画像復号方式に基づくオブジェクト単位の復号である。復号された画像データは、オブジェクトの数に相当する画像v(1)からv(i)になり、表示制御部34により表示に基づく様々な処理が施される。
【００７２】
表示制御部34が行う表示制御とは、各オブジェクトを合成して一つの出力画像としたり、各オブジェクトを表示するか否か、各オブジェクトの拡大/縮小、どこに表示するかなどを行う。さらに、表示制御は、オブジェクトとキャラクタ発生回路40で発生されたキャラクタ画像（時間表示やインデックスタイトルなど）との合成などの各種表示処理も行う。これらの表示制御は、各オブジェクトの配置情報、すなわちシーン記述データ変換回路39からのシーン記述情報に基づき、システムコントローラ38の制御に応じて行われるものである。
【００７３】
形成された表示画像は、D/A33でアナログ化されCRT35に表示されるか、もしくは、ディジタル信号のまま液晶ディスプレイ(LCD)44などに送られて表示される。
【００７４】
他方、システムデータ（シーン記述データや追加データを含む）はシステムデータ復号回路36で復号される。復号されたシステムデータの中からは、時間情報検出部37によりシステムデータ中の追加情報に含まれれる時間情報（クロックデータ）が検出される。検出された時間情報はシステムコントローラ38へ入力され、レイアウト設定におけるコマンド発生の基準になる。また、復号されたシステムデータの中から、シーン記述に関するデータがシーン記述データ変換部39に入力される。その他のシステムデータ（オブジェクトの内容をコマンドで表すオブジェクト情報はここに含まれる）は、システムコントローラ38に各種コマンドとして入力される。なお、追加データには、番組のタイトルインデックスなど、ドキュメントなども含まれていてもよい。
【００７５】
オブジェクト情報は、各テレビ局で共通のコマンドセット（コード）、もしくは局毎に設定されたコマンドセット（コード）等により、各オブジェクトにタイトル的に割当てられる。受信時、オブジェクト情報を解析することで、対応するオブジェクトの内容を判別し分類することができる。本実施形態では、このオブジェクト情報を利用して、指定されたオブジェクト情報をもつオブジェクトを設定された位置に配置する、レイアウト設定機能を実現する。
【００７６】
シーン記述データ変換部39で構成されたシーン記述データを用いて、表示制御部34における各オブジェクトの配置や合成、サウンド制御部30における音量や音場定位などの設定が行われる。また、システムコントローラ38の制御に基づき、シーン記述データ変換部39を調整し、表示制御部34を制御することで、基本レイアウトとは異なる配置にオブジェクトをレイアウトする、つまりレイアウトが設定された場合の配置制御を行うことができる。このレイアウト設定方法については後述する。
【００７７】
また、オブジェクトとしては受信されていない表示画像、例えば時間表示画面やタイトルインデックスなどを受信装置内部で生成するときは、キャラクタ発生回路40が用いられる。システムコントローラ38の制御により、追加データに含まれる時間データもしくは受信機内のカレンダー（時計）機能部47から入手した時間情報などから、キャラクタデータが保存されているROMなどのメモリ42を用いて、時間表示キャラクタが生成される。タイトルインデックスも同様である。ここで生成された画像は、表示制御部34において合成などが行われる。
【００７８】
また、ユーザは指示入力部45を介して、レイアウト設定のための各種指示入力をはじめとする各種コマンドを入力することができる。ユーザの指示入力に基づき、レイアウト設定処理における表示出力制御や位置調整を行うことができる。すなわち、レイアウト位置の補正や、新規設定値の入力は指示入力部45から行われる。指示入力値に応じてシステムコントローラ38は、所望の出力（表示、再生）形態が得られるように各部の動作を適切に制御する。
［レイアウトの設定］
本実施形態におけるレイアウト設定は、時間帯または曜日等の単位を組み合わせた時間軸により分類される。レイアウト設定した形態により実際の表示を行なう際には、現時刻を含む時間帯に分類されているレイアウト設定データが有れば、該データに対応して所定のレイアウト設定動作が実行される。レイアウト設定を分類する際のキーとなる現時刻を判別するための時間情報の入手先としては二つある。一つは図19に示した自装置内のカレンダー（時計）機能部47、もう一つはシステムデータ内に含まれる時間情報であり、どちらを用いても本実施形態は実現可能である。
【００７９】
所定の時間帯または曜日に対応して、画像に含まれる指定オブジェクトを所定の配置で表示するレイアウト設定は、以下の方法で実行することができる。即ち、ユーザが任意に設定したレイアウト設定データを所定の時間帯または曜日によって区切って分別してメモリ41に保持し、これを利用する。
【００８０】
ここで、具体的なレイアウトの設定方法を説明する。図20はレイアウト設定する際の位置データの設定方法を説明する図、図21はレイアウト設定する際のイメージと指示の入力方法とを説明する図である。
【００８１】
オブジェクトの位置設定には二つの方法がある。第一の方法はシーン記述データで規定される基本レイアウトを位置補正（シフト）する方法であり、第二の方法はユーザが任意の場所にオブジェクトの位置を新規に設定する方法である。両者は、ユーザの操作に応じて、図20に示すセレクタ302で選択可能である。
【００８２】
まず、第一の方法であるシフトする方法について説明する。オブジェクトとして画像データが入力され、そのオブジェクトの基本位置はシーン記述データで指定される位置データ(X0,Y0)で表される。ユーザがオブジェクトのシフトを望む場合、加算器301により補正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな位置データ(X',Y')がオブジェクトのレイアウト設定データになる。次に第二の方法である新規設定する方法について説明する。基本位置データに関係なく、全く新たにオブジェクトの位置(X,Y)を設定し、これを基本位置データに代わる位置データ(X',Y')にする。このようにして、ユーザが設定したレイアウト設定用の位置データを、シーン記述データで規定される基本レイアウトのオブジェクト位置データに置き換えて、表示する。
【００８３】
以上が指定画像オブジェクトのレイアウトを設定する方法の説明である。対象となるオブジェクトを判別するオブジェクト情報もレイアウト設定データの一部として必要なデータである。表示処理はシステムコントローラ38により制御されるが、このときの制御データ、対象オブジェクトを判別するためのオブジェクト情報およびレイアウト設定データ、及び設定したレイアウト表示を実行する時間帯または曜日の時間単位コマンドを入力し、各々を対応させたユーザレイアウト設定データとしてメモリ41に保持しておく。
【００８４】
次に図21について説明する。図21はこれまでに説明した位置の設定方法を図示したものである。CRTなどの表示装置303において、操作の対象になる基本位置にあるオブジェクト306（位置は（X0，Y0））を、シフト位置307までシフトしたとき、その時の補正量を基本位置データに加えて、最終的な位置データ（レイアウト設定データ）は、（X’，Y’）＝（X0＋ΔX，Y0＋ΔY）になる。また、ユーザが任意で新規に新規設定位置308にオブジェクトを配置した場合は、その位置データ（レイアウト設定データ）は（X’，Y’）＝（X，Y）になる。図20で説明した設定方法は、このように図示される。
【００８５】
また、図21には指示入力部45に含まれるポインティングデバイスの一例としてマウス304およびリモートコントローラ305を示す。画面を見ながらマウス304を使ったり、リモートコントローラ305の方向入力キー（十字キー、ジョイスティックおよびジョイパッドなどでもよい）を使うことによって、自由なオブジェクトの移動を容易に操作することが可能である。なお、オブジェクトを移動する位置および新たに設定する位置は、画面の四隅や中央などプリセットされた幾つかの位置から選ぶような構成をとることもできる。
【００８６】
また、オブジェクトの拡大については、表示制御部34において、対象とするオブジェクトの大きさを例えば整数等の既定値ずつ倍率を上げ／下げすることにより、オブジェクトサイズを任意に変更して、バックグラウンドとなる背景画像に合成するように処理する。また、オブジェクトを表示しない場合には、表示制御部34において、オブジェクトの合成時に、対象となるオブジェクトを表示画面に合成しないように処理することによって対応する。
【００８７】
次に、音声オブジェクトへの対処について説明する。図22は、レイアウト設定データに応じた、音声オブジェクトの出力制御を説明するための図である。ステレオ入力された音声オブジェクト91に対して、L側,R側をそれぞれアンプ92，93において、システムコントローラ94の制御に基づいたゲイン96，95に基づいて出力レベルを調整する。この出力がオーディオ出力となり、オーディオ(L)出力97，(R)出力98を得る。システムコントローラ94においてレイアウト設定データに応じてゲイン95，96を制御することによって、左右の出力レベルのバランス、音量を調整することができ、左右間の音場定位を制御することができる。即ち、レイアウト設定時にこのゲインの値を調整することにより、音声オブジェクトのレイアウト変更を実現する。このようにして、音量の調節や音場定位の設定が可能となる。
【００８８】
ここで図23を参照して、音像、音場定位について説明を補足する。図23に示す左スピーカ（SP-L）と右スピーカ（SP-R）から出力される音量のバランス（比率）と全体の音量レベルを調整することによって、音場空間上に音像を定めることを、音場定位の設定という。音場空間は、視聴位置と左右スピーカを結ぶ空間上に存在し、音像は左右及び前後の２軸上を移動し、音場空間上の適当な位置に設定することができる。この概念を用いて、レイアウト設定データにより左右音声出力レベル及び音量の調整を施し、左右スピーカからの出力を調整することによって、レイアウト変更に伴い音場定位を設定する。なお、サラウンドスピーカ等を用いて位相、残響成分を利用することにより、音場定位を360°自由に、3次元的に設定することも可能になる。
【００８９】
以上説明したようにして、ユーザによるレイアウト設定が可能である。
【００９０】
所定の期間（時間帯や曜日など）毎で分別して、設定したレイアウト設定データを記憶しておくことができる。この記憶場所は、EEPROMなどの不揮発性メモリ41が利用される。システムコントローラ38は、ユーザがレイアウト設定した時間帯や曜日、もしくはデフォルト設定されている時間帯や曜日に該当する時刻を時間情報から検出することにより、メモリ41に記憶されている該当する時間帯、または曜日等に応じたレイアウト設定データを読み出す。そして、メモリ41から読み出したレイアウト設定データを基に、シーン記述データ変換部39及び表示制御部34を制御し、設定されたレイアウトで画像表示及びサウンド再生を行なう。
【００９１】
続いて、レイアウト設定データについて説明する。レイアウト設定データには、予めプログラムされ保持されているデフォルトの設定データ、および、ユーザが設定したデータがある。ユーザ設定データは、基本的には、シーン記述データから得られるオブジェクト配置情報を基にして、オブジェクト配置情報に加え、ユーザがレイアウト設定したときのオブジェクトの有無や位置をデータ化して、各部の制御データおよび対象となるオブジェクト情報とともに、レイアウト設定データとして記憶すればよい。シーン記述データについては図12を用いて既に説明したが、各シーンを構成するオブジェクトをツリー型に配列し、それぞれのオブジェクトが表示されるべき時間や、表示されるべき位置を指定するための情報である。
【００９２】
また、その他のレイアウト設定データの構成として、図24に示すように、そのオブジェクトを表示するか否かを示すオン/オフデータ、表示位置をXおよびY軸で二次元表現したときの表示位置データ、並びに、大きさを示すデータを保持することによって、対象となるオブジェクトのレイアウト設定データとして活用することができる。
【００９３】
図25は一般的なMPEG4ビットストリームの構成を示す図である。図25のオブジェクト1から5までのデータベースに番組内容、（番組に応じてオブジェクトの種類は異なるが）自然画像オブジェクト、サウンドオブジェクトおよびCGなどのオブジェクトが組み込まれている。一例として、ニュース番組においては、背景オブジェクト（スプライト）、人物、その他の自然画像オブジェクト、天気予報や時刻表示等の合成画像オブジェクトおよびサウンドオブジェクトなどが該当する。加えて、ビットストリームにはシステムデータとして、シーン記述情報および追加データが多重化されている。追加データには、時間情報やオブジェクト情報、及びその他の情報が含まれる。また、オブジェクト情報は、オブジェクト1〜5に該当する各オブジェクトのそれぞれの、属するジャンルを示すジャンルコード、オブジェクトの詳細を示すオブジェクトコード、及びその放送局固有のオブジェクトであった場合に必要となる放送局コードを含んでいる。
【００９４】
図26および図27はユーザによる画面設定例を示す図である。
【００９５】
レイアウト設定モードに移行後、ユーザは画面をみながら、上述した方法によりレイアウト設定を実行する。
【００９６】
放送局から送られてくる画像をそのまま通常表示したのが、図26及び図27に示す基本画像401である。
【００９７】
本実施形態によればレイアウトが任意に設定可能であるから、図26に示すように、平日朝（例えば7時〜8時）の時間帯は、基本画像401内の時間表示オブジェクト402を拡大して表示するように、予めレイアウト設定することができる。尚、この時間帯は任意に設定できることは上述した通りである。
【００９８】
また図27に示すように、休日朝の時間帯は、基本画像401から時間表示オブジェクト403を消去し、天気予報オブジェクト404を拡大し、更に位置を変更して表示するように、レイアウト設定することも可能である。
【００９９】
このように、各種オブジェクトに対して曜日や時間帯を適宜組み合わせて、設定したい時間帯毎に、レイアウト変更した画面を表示できる。こうして一度レイアウト設定した後は、現在時刻が設定時間帯に含まれていた場合に、保持してあるレイアウト設定データを読み出し、レイアウト変更機能が作動する。そして、オブジェクト情報から対象とするオブジェクトを判別し、所定の配置にレイアウトを変更して自動表示することが可能になる。
【０１００】
尚、以上説明したレイアウト設定はユーザによる設定に限らず、予め設定された所定の時間帯で機能するように、受信装置の工場出荷時に組み込まれるデフォルト設定であってもよい。
【０１０１】
以下、図28及び図29を参照して、オブジェクト情報及びレイアウト設定データについて詳細に説明する。図28はオブジェクト情報の詳細構成を、各放送局毎に対応させたコード構成の概念図である。また、図29はレイアウト設定データの構造の概念図である。
【０１０２】
図25で説明したオブジェクト情報の詳細構成は、具体的には図28に示した様に分類される。図28に示すように、ジャンルコードは、例えば「ニュース」「プロ野球」「ワイドショー」…等に分類される。またオブジェクトコードは、例えばジャンルコードが「ニュース」であれば、「時間表示オブジェクト」「天気画像オブジェクト」「人物画像オブジェクト」…等に分類される。ジャンルコードが「プロ野球」や「ワイドショー」である場合に関しても同様に、オブジェクトコードが図示されるように構成される。そしてこのようなオブジェクト情報の詳細構成が、各放送局毎に存在している。このようなオブジェクト情報の構成を示すコードが、各放送局毎、または各局共通のコード等により、各種オブジェクトに対する一覧として予め作成されている。そして、放送局側と視聴者側の受信装置とにおいて、同一のコードを相互理解できるように設定されている。
【０１０３】
またレイアウト設定データは、図29に示すように「デフォルト設定モード」と「ユーザ設定モード」を両立させることが考えられる。
【０１０４】
デフォルト設定モードは初期設定のモードであり、例えば曜日と時間帯に応じて、朝の「おはよう」モード（機能：時間表示を大きくする、音量を上げる、等）、夜の「おやすみ」モード（機能：音量を抑え目にする、等）、平日朝の「お出かけ」モード（機能：時間表示と天気予報画像を大きくする、等）、土日朝の「休日」モード（機能：時計表示を消す、等）などが考えられる。そして、それぞれのデフォルト設定モード毎に、レイアウト変更の対象とするオブジェクトのオブジェクト情報、デフォルト設定されている位置データ、各部の制御データ、さらに放送局データ等が必要なデータとして保持されている。
【０１０５】
また、ユーザ設定モードは、ユーザの任意の時間帯や曜日毎に、上述した設定方法でレイアウト設定を行い、それぞれの時間帯ごとにレイアウト変更の対象とするオブジェクトのオブジェクト情報、設定した位置データ、各部の制御データ、さらに放送局データ等を、レイアウト設定データとして保持する。尚、図29においては、ユーザ設定1「月曜の19:00〜21:00」、ユーザ設定2「水曜の21:00〜22:00」、ユーザ設定3「月、水、金の12:00〜13:00」、ユーザ設定4「毎日7:30〜8:30」の時間帯がそれぞれユーザ設定されている。ユーザ設定モードにおいては、人物やテロップ等の各種画像オブジェクトや音声オブジェクトに関しても、任意のレイアウト設定が可能である。また、放送局データを用いて、放送局を指定条件として機能させることもできる。
［動作手順］
図30および図31は本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャートで、図30はユーザがレイアウトを設定する際のフロー、図31はテレビ映像の表示におけるフローである。
【０１０６】
図30に示すレイアウト設定モードにおいて、レイアウトの変更表示を行ないたい時間帯を入力する（ステップS1）。この時間帯としては、ユーザが年、月、曜日、日、時間、分、等の単位を用いて、曜日ごと、日ごと、または開始時刻から終了時刻、等の設定の単独または複数の組み合わせとして入力することで設定される。さらに、毎週、隔週、何日間等の期間の入力も可能とする。
【０１０７】
続いて、テレビ情報中の画像データを構成する各オブジェクトの内、レイアウトを変更する対象オブジェクトが選択される（ステップS2）。そして、ユーザは、選択（指定）した対象オブジェクトを任意に配置する（ステップS3）。尚この時、オブジェクトの表示のオン／オフも同時に設定する。対象としたオブジェクトの配置が完了すると、レイアウト設定を終了するか否かが判断され（ステップS4）、他のオブジェクトについてもレイアウトを設定する場合はステップS2へ戻り、対象オブジェクトの選択および配置を繰り返す。レイアウト設定が終了ならば、レイアウトが設定された各オブジェクトの位置がデータ化される。そして、各オブジェクトのオブジェクト情報、位置データおよび各部の制御データが統合され、更に入力された時間帯を対応させて、レイアウト設定データとしてメモリ41に格納される（ステップS5）。尚、レイアウト設定データとして、放送局（チャンネル）のデータを付加しても良い。
【０１０８】
図31に示す表示モードにおいて、テレビ情報を受信し（ステップS11）、その時の時刻を示す時間情報を検出する（ステップS12）。時間情報は、受信装置内のカレンダー（時計）機能部47、もしくはテレビ放送システムデータから入手し、検出する。
【０１０９】
続いて、検出された時間情報に基づいて現在時刻をコマンドとし、該時刻に対応するレイアウト設定データが既にメモリ41に保存されているか否かが判断される（ステップS13）。現在時刻に該当するレイアウト設定データが保存されていない場合は、放送局から送られてくるそのままの基本レイアウトでテレビ放送の映像を表示する（ステップS14）。
【０１１０】
現在時刻に該当するレイアウト設定データが保存されている場合は、メモリ41から該当するレイアウト設定データを再生し（ステップS15）、そのレイアウト設定データに記録されているオブジェクト情報が出現したら、その対象オブジェクトのレイアウトを変更する制御が行えるようにスタンバイする。即ち、ステップS16では、レイアウト設定の対象外のオブジェクトは基本レイアウトで表示され、レイアウト設定の対象オブジェクトは、その対象オブジェクトの表示タイミング（シーン）において、設定されたレイアウトで表示される。
【０１１１】
番組が終了したり、別のチャネルに移行して新たな番組の受信が開始されるまでは、ステップS14またはステップS16の表示状態が維持される。新たな番組の受信が開始された場合は、現行のレイアウト設定がリセットされ、フローはステップS11のテレビ放送受信の初期状態から繰り返される。
【０１１２】
以上説明したように本実施形態によれば、曜日や時間帯に応じて、任意の情報を優先した表示レイアウトによるテレビ画面表示が可能となる。従って、ユーザの好みに応じた映像表示が可能になり、視覚的および聴覚的ユーザインタフェイスの質的向上を期待することができ、ユーザに対してより自由度のあるテレビ番組表示が、簡単な操作で容易に実現される。
【第２実施形態】
以下、本発明にかかる第2実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１１３】
第2実施形態においては、MPEG4以外の符号化方式で符号化された画像をMPEG4の一つオブジェクトとして利用、代用したテレビ放送におけるオブジェクトのレイアウト設定について説明する。
【０１１４】
ここでは、自然画像符号化方式にMPEG2を用いた例を説明する。つまり、MPEG2で符号化された画像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビットストリームに多重化されて伝送され、これを受信して表示するテレビ放送受信装置に関する説明を行う。なお、第2実施形態におけるレイアウトの設定方法は、第1実施形態で説明したものと同様であり、テレビ放送受信装置の基本構成および動作は図19により説明したものと同様である。ただし、第2実施形態におけるテレビ放送の復号方法に関係して、図19に示すサウンド復号回路28、画像復号回路32およびシステムデータ復号回路36の細部が異なるので、これらを図32および図33を用いて説明する。
【０１１５】
図32は、送信側である放送局において、MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部である。データ多重化器5006は、図2で説明したサウンド、自然画像、合成画像、文字およびシーン記述情報の各オブジェクトの符号化器5001〜5005からの出力をMPEG4のビットストリームに多重化するとともに、MPEG2方式の業務用放送機器や中継システムまたはDVD(Digital Video Disc)の再生などにより抽出されるMPEG2ビットストリーム61を、MPEG4のビットストリームへ多重化する。
【０１１６】
図33はMPEG4ビットストリームを復号する側、つまりテレビ放送受信装置に搭載される復号部の構成例である。図33に示される復号部は、第2実施形態のテレビ放送受信装置を構成する復号系およびそれに関連する回路であるサウンド復号回路28、画像復号回路32、システムデータ復号回路36およびシーン記述データ変換部39などに含まれる。
【０１１７】
受信されたMPEG4ビットストリームは、復号前にデータ分離器5007によりそれぞれのデータに分離される。分離された各データのうちMPEG4のオブジェクトであるサウンド、自然画像、合成画像、文字およびシーン記述情報は、各オブジェクトに対応する復号部5008〜5012において復号される。また、MPEG4のオブジェクトとともに多重化されたMPEG2のデータは、MPEG4のオブジェクトの復号器とは別に設けられた専用のMPEG2デコーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4の画像復号回路32の一部を利用した構成であってもよい。
【０１１８】
こうして復号されたサウンド、画像およびシステムデータであるシーン記述データからテレビ番組の映像を表示するための情報が構成され、各オブジェクトおよびMPEG2データがシーン合成部5013でテレビ出力すべき形態に合成され、シーン情報として出力される。
【０１１９】
続いて、第1実施形態で説明したレイアウトの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ放送の映像を表示する場合の説明を図26を用いて行う。第2実施形態では、図26又は図27に示すニュース番組において自然画像オブジェクトを扱う際の一例として、領域405に表示される中継画像オブジェクトがMPEG2画像であるとする。その他のオブジェクトはMPEG4のデータからなる。すなわち、MPEG2画像を含むMPEG4のテレビ放送の映像表示例である。このときのMPEG4のビットストリーム例を図34に示す。
【０１２０】
図34に示すMPEG4のビットストリームには、MPEG2のデータストリームである中継画像のデータがオブジェクト2として多重化されている。MPEG2のデータストリームは、一般的にオーディオ、ビデオおよびシステムデータ（MPEG2付加情報）の三種のデータから構成される。オブジェクト2には、伝送に関する所定のタイミング調整に従い、所定量毎のセグメントに分けられたMPEG2データストリームがそれぞれ多重化される。MPEG2とMPEG4とでは、下位レベルで共通化可能な符号化/復号回路もあるので、必要であれば共通化して、符号化/復号に関する無駄を避けた処理を行う。
【０１２１】
このように、MPEG2方式により符号化された画像および/またはサウンドデータを含むMPEG4方式のTV放送であっても、第1実施形態で説明したようなレイアウト設定が可能になる。
【０１２２】
表示画像のレイアウト設定データについては、第1実施形態と同様に、シーン記述情報から得られるオブジェクト配置情報を基に、ユーザによりレイアウトが変更されたオブジェクトの位置データを算出し、時間帯、対象とするオブジェクト情報および各部の制御データを対応させ、更に必要であれば、放送局（チャンネル）データを付加して、レイアウト設定データとして記憶しておく。また、表示に関する動作も第1実施形態と同様である。
【０１２３】
第2実施形態は、MPEG2画像が多重化されたMPEG4のテレビ放送であるから、MPEG2コンテンツ、例えば現場中継などに用いる画像中継システムなどとの複合する場合に、MPEG2装置の出力を、複雑なデータ変換を介さずに、MPEG4の放送システムに流用でき、MPEG2とMPEG4との親和性から扱いも容易である。なお、中継画像などに限らず、代表的なMPEG2映像装置であるDVDを用いた資料映像表示などの多重画像出力例や、または他のMPEG2装置を用いた場合にも、勿論利用可能である。
【０１２４】
また、MPEG2とMPEG4とでは、共通化できる符号化/復号回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的である。勿論、ソフトウェアデコーダの場合でもシステムの効率化は図れる。また、MPEG2とMPEG4を混在させたシステムの場合、時間情報の入手はMPEG2のシステムデータに含まれるタイムスタンプを用いることもできる。
【０１２５】
以上説明したように本実施形態によれば、第1実施形態の効果に加えて、MPEG2で符号化されたテレビ情報を、MPEG4テレビシステムにも流用できるようにしたので、従来あるコンテンツをそのまま使え、かつMPEG2をわざわざMPEG4にデータ変換する必要もないので、扱いが容易であり非常に効果的である。
【第３実施形態】
以下、本発明にかかる第3実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１２６】
本実施形態のレイアウト設定の対象オブジェクトは、放送データに含まれているオブジェクトに限らず、受信装置内で生成された画像であってもよい。このような受信装置内で生成される画像の例としては、文字情報などからなる時間情報およびタイトル、並びに、CGその他のグラフィックスなどが考えられる。本実施形態は、時間情報、タイトルおよびグラフィックスなどの表示位置を、特定の時間帯には通常時と異なるレイアウトとなるように、自動的に変化させるものである。
【０１２７】
キャラクタ画像、例えば時間情報に関しては、MPEG4ビットストリームの追加データに含まれて送られてくる時間表示の基になる時間データや、テレビ放送受信装置内のカレンダー（時計）機能等を利用して、キャラクタ発生部40で生成される。さらに、キャラクタ発生部40は、追加データ中に受信装置内のカレンダー機能に対応した時間表示を行わせるコマンドが存在する場合、または、システムコントローラ38により独自に時間表示命令が発行された場合、これに従い、カレンダー機能を用いてそれぞれのコマンドに応じた時間表示画像を出力する。なお、実際に時間表示画像を生成する、つまりキャラクタ発生動作の役割を担うのはキャラクタ発生部40およびキャラクタのデータが格納されたメモリ42であり、画像の合成は表示制御部34が行い、システムコントローラ38はそれらを制御することで時間表示画像を生成させ表示させる。
【０１２８】
なお、MPEG2データストリームのサブコード内に一情報として含まれるタイムスタンプを利用しても同様の動作を実現できる。タイトルやグラフィックスに関する画像生成も同様であり、追加データに含まれたコマンドに従い、適切なタイミングで所定の画像が生成、合成、表示される。このように、受信装置内で生成された画像を、放送データに含まれるオブジェクトの如く扱うようにすれば、より扱いやすいシステムが構築できる。
【０１２９】
本実施形態の受信装置内で生成したキャラクタや画像のレイアウト設定に関しては、生成されたキャラクタや画像の表示位置、大きさ、表示オン／オフ等によって示されるレイアウト位置（オブジェクト位置）をデータ化し、その位置データ、設定する時間帯情報、そのキャラクタや画像（オブジェクト）の識別情報、および、キャラクタや画像の生成動作の制御を含む各部の制御データを、レイアウト設定データとして記憶しておく。なお、位置データの設定は図20および図21で説明した方法と同様である。これに加えて、メモリ42から読み出すキャラクタ生成用データや、キャラクタ発生部40で生成するキャラクタの生成動作をコマンドに対応させて制御し、適切なキャラクタを生成させる。
【０１３０】
発生されたキャラクタや画像は、第1実施形態と同様、受信されたオブジェクトと合成され表示される。
【０１３１】
本実施形態によれば、第1実施形態の効果に加えて、受信装置内で生成したキャラクタや画像に対しても、レイアウト設定機能を実現することができるので、通信（伝送）にかかる負荷を低減する効果を有する。
【０１３２】
このように、ディジタルテレビ放送において、パーソナルコンピュータ(PC)との融合も容易になり、現在、PCのデスクトップ上で行っているようなレイアウト設定などを、テレビ映像に対してもカスタマイズできるので、テレビ放送とPCとの相性もよくなり、また、ディジタル複合製品の分野において市場拡大の効果が期待できる。
【変形例】
上述した第2実施形態においては、MPEG4のオブジェクトの一つとして、MPEG2のデータストリームを組み込んだ構成について説明した。更に、MPEG2のシステムデータに付加データとして、レイアウト設定に関する各種情報を組み込んでも本発明は適用可能であり、実質的なMPEG4ビットストリーム同様の効果が得られる。
【０１３３】
ここで、テレビ情報としてのMPEG2データストリームにMPEG4データストリームを多重する方法について説明する。
【０１３４】
一般的なMPEG4のデータストリーム構成は、上述した図25に示す通りである。図35は、MPEG2のデータストリームの伝送形式を示す、MPEG2トランスポートストリーム構造を示す図である。図35を用いて、MPEG4データストリームをMPEG2データストリームに多重する方法を説明する。
【０１３５】
MPEG2トランスポートストリームは、固定長のトランスポートパケットによって多重され分離される。トランスポートパケットのデータ構造は、図35に示すように階層的に表され、それぞれ図35に示す項目を含む。それら項目を順に説明すると、8ビットの「同期信号(sync)」、パケット内のビットエラーの有無を示す「誤り表示（エラーインジケータ）」、このパケットのペイロードから新たなユニットが始まることを示す「ユニット開始表示」、このパケットの重要度を示す「プライオリティ（パケット優先度）」、個別ストリームの属性を示す「識別情報PID(Packet Identification)」、スクランブルの有無および種別を示す「スクランブル制御」、このパケットのアダプテーションフィールドの有無およびペイロードの有無を示す「アダプテーションフィールド制御」、同じPIDをもつパケットが途中で一部棄却されたかどうかを検出するための情報である「巡回カウンタ」、付加情報や、スタッフィングバイトをオプションで入れることができる「アダプテーションフィールド」、並びに、ペイロード（画像やサウンドの情報）である。アダプテーションフィールドは、フィールド長、その他の個別ストリームに関する各種項目、オプショナルフィールド、並びに、スタッフィングバイト（無効データバイト）からなる。
【０１３６】
本実施形態においては、テレビ情報のサブ画像またはサウンドデータしてのMPEG4のデータストリーム、および、それを識別するためのIDをオプショナルフィールドにおける付加データの一つと見做し、オプショナルフィールド内に多重する。
【０１３７】
つまり、メインであるテレビ情報の構成はMPEG2データストリーム（トランスポートストリーム）である。そして、図35に一例を示すように、データ量としては微かな写真（自然）画像、CG、文字などの画像オブジェクト（オブジェクトAおよびB）、サウンドオブジェクト（オブジェクトC）、シーン記述情報(BIFS)、並びに、その他必要なデータ（サブデータ）を組み合わせたMPEG4データストリームを構成する。このMPEG4データストリームを、MPEG2のシステムデータ中のオプショナルフィールドの一部として多重させることで、MPEG2とMPEG4とのデータストリーム多重伝送が実現される。
【０１３８】
尚、前記微小な画像オブジェクトは、本発明に係るMPEG4のオブジェクトの如く、任意のレイアウト設定が可能なように構成される。このレイアウト設定に関する方法及び動作については、既に説明した各実施形態における方法や動作と同様である。また、レイアウト設定の際の時間情報として、MPEG2のタイムスタンプを用いることもできる。
【０１３９】
また、キャラクタ発生手段によって、受信装置内で生成した画像をレイアウト設定する為の情報を、MPEG2のシステムデータに多重することでも可能である。
【０１４０】
このように構成することで、MPEG4テレビ放送に限らず、MPEG2、またはその他のテレビ放送においても本発明は適用できる。また、MPEG2符号化方式からなるテレビ放送システムに、MPEG4のビットストリームを組み込むことが可能である。従って、既存のテレビ放送システムを活用することも可能となる。
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１４１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【発明の効果】
以上説明したように本発明によれば、ディジタルテレビ放送における画像（映像）の新たな再生機能を提供することができる。
【図面の簡単な説明】
【図１】衛星放送を用いたディジタル放送受信機の構成例を示すブロック図、
【図２】複数種類のオブジェクトを同時に入力し符号化処理する構成例を示すブロック図、
【図３】ユーザ操作（編集）を考慮に入れたシステムの構成例を示す図、
【図４】ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図、
【図５】ビデオオブジェクトに関するVOP処理回路のデコーダ側のブロック図、
【図６】 VOPの符号化および復号の全体構成を示すブロック図、
【図７Ａ】 VOPを構成する情報を示す図、
【図７Ｂ】 VOPを構成する情報を示す図、
【図８】テキスチャ符号化のAC/DC予測符号化を説明するための図、
【図９Ａ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図９Ｂ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図１０Ａ】ワープを説明する図、
【図１０Ｂ】ワープの種類を説明する図、
【図１１】ワープを説明する図、
【図１２】シーン記述情報の構成例を示す図、
【図１３】 MPEG4オーディオの符号化方式の種類を示す図、
【図１４】オーディオ符号化方式の構成を示す図、
【図１５】 MPEG4のシステム構造を説明する図、
【図１６】 MPEG4のレイヤ構造を説明する図、
【図１７】双方向復号を説明する図、
【図１８】重要情報の複数回伝送を説明する図、
【図１９】本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図、
【図２０】レイアウト設定する際の位置データの設定方法を説明する図、
【図２１】レイアウト設定する際のイメージと指示の入力方法とを説明する図、
【図２２】レイアウト設定データに応じた音声オブジェクトの出力制御を説明するための図、
【図２３】音像及び音場定位についての補足説明のための図、
【図２４】レイアウト設定データの構成を説明する図、
【図２５】一般的なMPEG4ビットストリームの構成を示す図、
【図２６】本実施形態による映像の表示形態例を示す図、
【図２７】本実施形態による映像の表示形態例を示す図、
【図２８】オブジェクト情報のコード構成の概念を示す図、
【図２９】レイアウト設定データの構造の概念を示す図、
【図３０】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図３１】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図３２】 MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部の構成例を示すブロック図、
【図３３】テレビ放送受信装置に搭載される復号部の構成例を示すブロック図、
【図３４】 MPEG2画像を含むMPEG4のビットストリーム例を示す図、
【図３５】 MPEG2データストリームにMPEG4データストリームを多重する方法を説明する図、である。
【発明の属する技術分野】
本発明は放送受信装置およびその方法に関し、例えば、ディジタルテレビ放送を受信し、画像およびサウンドの再生が可能な放送受信装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、衛星放送やケーブル放送を用いたディジタルテレビ放送が開始された。ディジタル放送の実現により、画像やサウンドの品質向上、圧縮技術を利用した番組の種類や量の増大、インタラクティブサービスなど新しいサービスの提供、受信形態の進化など多くの効果が期待される。
【０００３】
図1は衛星放送を用いたディジタル放送受信機10の構成例を示すブロック図である。
【０００４】
まず、放送衛星によって送信されたテレビ(TV)情報がアンテナ1で受信される。受信されたTV情報はチューナ2で選局され復調される。その後、図示しないが、誤り訂正処理、必要であれば課金処理やデスクランブル処理などが行われる。次に、TV情報として多重化されている各種データを多重信号分離回路3で分離する。TV情報は画像情報、サウンド情報およびその他の付加データに分離される。分離された各データは復号回路4で復号される。こうして復号された各データのうち画像情報とサウンド情報はD/A変換回路5でアナログ化され、テレビジョン受像機(TV)6で再生される。一方、付加データは、番組サブデータとしての役割をもち各種機能に関与する。
【０００５】
さらに、受信されたTV情報の記録再生にはVTR7が利用される。受信機10とVTR7との間はIEEE1394などのディジタルインタフェイスで接続されている。このVTR7は、ディジタル記録方式の記録形態を備え、例えばD-VHS方式などによりTV情報をビットストリーム記録する。なお、D-VHS方式のビットストリーム記録に限らず、その他の民生用ディジタル記録方式であるDVフォーマットや、各種ディスク媒体を用いたディジタル記録装置などでもディジタルテレビ放送のTV情報を記録することが可能である。ただし、フォーマット変換が必要になる場合がある。
【０００６】
【発明が解決しようとする課題】
地上波放送およびディジタルテレビ放送におけるテレビ番組を家庭のテレビジョンで再生する場合、放送局から送られてくる映像をそのまま表示するのが普通である。言い換えれば、効果的に表示形態（レイアウト）を変化させる行為、例えば、必要に応じて映像中の物体を表示させたりさせなかったり、物体のサイズを変えたりすることは行われていない。このような表示形態を効果的に変化させる機能は、ディジタルテレビ放送の発展に伴う多チャンネル化および多プログラム化の過程で、効果的な表示方法の新機能を追加していくという観点から是非必要なものの一つと考えられる。
【０００７】
レイアウトを設定したい状況として次の例があげられる。例えば、曜日や時間帯に応じて、主として必要とする情報を拡大表示したり、または不必要な情報を非表示とする場合がある。しかし、現状ではレイアウト設定は困難である。
【０００８】
本発明は、上述の問題を解決するためのものであり、ディジタルテレビ放送における画像の新たな再生機能を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１０】
本発明にかかる放送受信装置は、テレビ放送のディジタルデータ列を受信する受信手段と、受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号手段と、復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御手段と、ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶手段とを有し、前記制御手段は、現時刻が前記期間に含まれる場合、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする。
【００１２】
本発明にかかる放送受信方法は、テレビ放送のディジタルデータ列を受信する受信工程と、受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号工程と、復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御工程と、ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶工程とを有し、前記制御工程においては、現時刻が前記期間に含まれる場合は、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする。
【００１４】
【発明の実施の形態】
［概要］
本実施形態は、MPEG4符号化の特徴であるオブジェクトの概念を用いることによって、オブジェクト単位での表示位置の変更を可能にし、ユーザ固有のレイアウトの画像（映像）表示を実現する。オブジェクトとは、背景画像、話者およびその音声などであり、MPEG4符号化はそれぞれのオブジェクトを符号化/復号して、各オブジェクトを組み合わせることで一つのシーンを表現する。
【００１５】
本実施形態の具体的なレイアウト設定機能は、MPEG4を用いた放送システムにおいて、リアルタイム画像情報の表示に関して、表示する画像をオブジェクト単位で操作することが可能であり、時間帯に応じて任意のレイアウトの画像（映像）表示を設定する機能を有する。この時間帯に対応されたレイアウトには、所定位置およびユーザが任意に設定した位置が含まれる。
【００１６】
このように、本実施形態によれば、曜日や時間帯に応じて、任意の情報を優先した表示レイアウトによるテレビ画面表示が可能となる。また、デフォルト設定のレイアウトを有するほか、ユーザが好むレイアウトを任意に設定することもできる。従って、ディジタルテレビ放送を視聴するユーザの視覚的効果およびユーザインタフェイスの質を向上することができ、テレビ放送の映像表示に新しい機能を追加することができる。
【００１７】
以下では、本発明にかかる一実施形態の受信装置として、MPEG4符号化方式を用いるディジタルテレビ放送を受信する受信装置の構成例を説明するが、まずMPEG4に関する技術を分野ごとに分けて詳細に説明する。
【ＭＰＥＧ４の概要】
［規格の全体構成］
MPEG4規格は大きな四つの項目からなる。このうち三つの項目はMPEG2と類似していて、ビジュアルパート、オーディオパートおよびシステムパートである。
●ビジュアルパート
自然画、合成画、動画および静止画などを扱うオブジェクト符号化方式が規格として定められている。また、伝送路誤りの訂正や修復に適した符号化方式、同期再生機能および階層符号化が含まれている。表現上『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像まで含む。
●オーディオパート
自然音、合成音および効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオパートやオーディオパートでは複数の符号化方式を規定し、それぞれのオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫がされている。
●システムパート
符号化された映像オブジェクトやサウンドオブジェクトの多重化処理と、その逆の分離処理を規定する。さらにバッファメモリや時間軸制御と再調整機能もこのパートに含まれる。上記のビジュアルパートおよびオーディオパートで符号化された映像オブジェクトやサウンドオブジェクトは、シーンのなかのオブジェクトの位置や出現時刻および消滅時刻などを記したシーン構成情報とともにシステムパートの多重化ストリームに統合される。復号処理としては、受信したビットストリームから、それぞれのオブジェクトを分離/復号し、シーン構成情報に基づきシーンを再構成する。
［オブジェクトの符号化］
MPEG2ではフレームあるいはフィールドを単位として符号化するが、コンテンツの再利用や編集を実現するために、MPEG4では映像データやオーディオデータをオブジェクト（物体）として扱う。オブジェクトには以下のような種類がある。
【００１８】
サウンド
自然画像（背景映像: 二次元固定映像）
自然画像（主被写体映像: 背景なし）
合成画像
文字画像
これらを同時に入力し符号化処理する場合のシステム構成例を図2に示す。サウンドオブジェクト符号化器5001、自然画像オブジェクト符号化器5002、合成画像オブジェクト符号化器5003および文字オブジェクト符号化器5004により、オブジェクトはそれぞれ符号化処理される。この符号化と略同時に、シーン内における各オブジェクトの関連を示すシーン構成情報を、シーン記述情報符号化器5005により符号化する。符号化されたオブジェクト情報およびシーン記述情報は、データ多重化器5006によりMPEG4ビットストリームへエンコード処理される。
【００１９】
このようにエンコード側では、複数のビジュアルオブジェクトやオーディオオブジェクトの組み合わせを定義して、一つのシーン（画面）を表現する。ビジュアルオブジェクトに関しては、自然画像とコンピュータグラフィクスなどの合成画像とを組み合わせたシーンも構成できる。また、上記のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像とその音声との同期再生が可能になる。なお、前記のビットストリーム状態で送受信または記録再生が行われる。
【００２０】
デコード処理は、先のエンコード処理の逆処理である。データ分離器5007により、MPEG4ビットストリームを各オブジェクトに分離し分配する。分離されたサウンド、自然画像、合成画像および文字などのオブジェクトは、対応する復号器5008から5011によりオブジェクトデータへ復号される。また、シーン記述情報も略同時に復号器5012により復号される。これらの復号情報を用いて、シーン合成器5013は、元のシーンを合成する。
【００２１】
デコード側では、シーンに含まれるビジュアルオブジェクトの位置や、オーディオオブジェクトの順番など、部分的な変更が可能である。オブジェクト位置はドラッグにより変更でき、言語の変更などはユーザがオーディオオブジェクトを変更することで可能になる。
【００２２】
複数のオブジェクトを自由に組み合わせてシーンを合成するために、次の四つの項目が規定されている。
●オブジェクト符号化
ビジュアルオブジェクトおよびオーディオオブジェクト、並びに、それらを組み合わせたAV（オーディオビジュアル）オブジェクトを符号化対象とする。
●シーン合成
ビジュアルオブジェクト、オーディオオブジェクトおよびAVオブジェクトを所望するシーンに構成するためのシーン構成情報と合成方式とを規定するために、Virtual Reality Modeling Language(VRML)をモディファイした言語を用いる。
●多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリストリーム）の形式などを定める。このストリームをネットワークに流したり、記録装置に格納するときのサービス品質QOS(Quality of Service)も設定可能である。QOSパラメータには、最大伝送速度、誤り率および伝送方式などの伝送路条件や復号能力などが設けられている。
●ユーザの操作（インタラクション）
ビジュアルオブジェクトやオーディオオブジェクトを、ユーザ端末側で合成する方式を定義する。MPEG4のユーザ端末は、ネットワークや記録装置から送られてくるデータを、エレメンタリストリームに分離して、各オブジェクトごとに復号する。複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にしてシーンを再構成する。
【００２３】
ユーザ操作（編集）を考慮に入れたシステムの構成例を図3に示す。また、ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図を図4に、デコーダ側のブロック図を図5に示す。
［VOP(Video Object Plane)］
MPEG4における映像の符号化は、対象の映像オブジェクトを形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をVOPという。図6はVOPの符号化および復号の全体構成を示すブロック図である。
【００２４】
例えば、画像が人物と背景の二つのオブジェクトから構成されている場合、各フレームを二つのVOPに分割して符号化する。各VOPを構成する情報は、図7Aに示されるように、オブジェクトの形状情報、動き情報およびテクスチャ情報である。一方、復号器は、ビットストリームをVOP毎に分離し個別に復号した後、これらを合成して画像を形成する。
【００２５】
このように、VOP構造の導入により、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のVOPに分割し、個別に符号化/復号することができる。なお、VOPの数が1で、オブジェクト形状が矩形の場合は、図7Bに示すように、従来からのフレーム単位の符号化になる。
【００２６】
VOPには三種類の予測方式として、面内符号化(I-VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)がある。予測単位は16×16画素のマクロブロック(MB)である。
【００２７】
双方向予測B-VOPは、MPEG1およびMPEG2のBピクチャと同じく、過去のVOPおよび未来のVOPの両方向からVOPを予測する方式である。そして、マクロブロック単位に直接符号化/前方符号化/後方符号化/双方符号化の四種類のモードが選択可能である。そしてこのモードは、MBまたはブロック単位に切り替えることが可能である。P-VOPの動きベクトルのスケーリングで双方向予測する。
［形状(Shape)符号化］
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化および復号の際に既知でなければならない。また、後方にある物体が透けて見えるガラスのような物体を表現するためには、物体の透明度を表す情報が必要になる。この物体の形状および物体の透明度の情報を合わせて形状情報と呼ぶ。そして、形状情報の符号化を形状符号化と呼ぶ。
［サイズ変換処理］
二値形状符号化は、画素毎に物体の外側にあるのか内側にあるのかを判定して、境界画素を符号化する手法である。従って、符号化すべき画素数が少ないほど発生符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号が劣化して受信側に伝送されることになる。従って、サイズ変換により元の情報がどの程度劣化するかを測定し、所定のしきい値以下のサイズ変換誤差が得られる限りは、できるだけ小さなマクロブロックサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げられる。
【００２８】
各VOPの形状情報は、8ビットのα値として与えられ、次のように定義される。
【００２９】
α = 0: 該当VOPの外側
α = 1〜254: 他のVOPと半透明状態で表示
α = 255: 該当VOPのみの表示領域
二値形状符号化は、α値が0あるいは255をとる場合であり、該当VOPの内側と外側のみで形状が表現される。多値形状符号化は、α値が0から255のすべての値を取り得る場合で、複数のVOP同士が半透明で重畳された状態を表現することができる。
【００３０】
テキスチャ符号化と同様に16×16画素のブロック単位に一画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。MPEG4では、動き補償予測したブロック単位の形状情報を二値形状符号化する。
●フェザーリング
その他、二値形状の場合でも、境界部を不透明から透明に滑らかに変化させたい場合はフェザーリング（境界形状のスムージング）を使う。フェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリングフィルタモードがある。不透明度が一定な多値形状には、定アルファモードがあり、フェザーリングと組み合わせが可能である。
［テクスチャ符号化］
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド/フレーム単位のDCT(Discrete Cosine Tranfer)、量子化、予測符号化および可変長符号化の順に処理する。
【００３１】
DCTは8×8画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合は、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、4タップの二次元フィルタ処理を施すことで、DCT係数に大きな擬似ピークが発生する現象を防ぐ。
【００３２】
量子化はITU-T勧告H.263の量子化器あるいはMPEG2の量子化器の何れかを使う。MPEG2量子化器を使えば、直流成分の非線形量子化やAC成分の周波数重み付けが可能になる。
【００３３】
量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し冗長成分を削除する。とくに、MPEG4では直流成分と交流成分の両方に対して予測符号化する。
【００３４】
テクスチャ符号化のAC/DC予測符号化は、図8に示すように、注目ブロックに隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方の量子化係数を予測に使う。例えば、注目ブロックの直流係数xを予測する場合、対応する隣接ブロックの直流係数がa、bおよびcならば次のようになる。
【００３５】
|a - b| ＜ |b - c| ならば直流係数cを予測に使う
|a - b| ≧ |b - c| ならば直流係数aを予測に使う
注目ブロックの交流係数Xを予測する場合も、上記と同様に予測に使う係数を選んだ後、各ブロックの量子化スケール値QPで正規化する。
【００３６】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と、左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００３７】
交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数を用いる。ただし、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００３８】
その後、交流成分は、ジグザグスキャンされ、三次元(Last,RunおよびLevel)可変長符号化される。ここで、Lastはゼロ以外の係数の終りを示す1ビットの値、Runはゼロの継続長、Levelは非ゼロ係数の値である。
【００３９】
面内符号化された直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルの何れかを使う。
［動き補償］
MPEG4では任意の形状のビデオオブジェクトプレーン(VOP)を符号化することができる。VOPには、前述したように、予測の種類によって面内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方向予測符号化(B-VOP)があり、予測単位は16ライン×16画素または8ライン×8画素のマクロブロックを使う。従って、VOPの境界上に跨るマクロブロックも存在することになる。このVOP境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）およびポリゴンマッチング（オブジェクト部分のみのマッチング）を行う。
［ウェーブレット符号化］
ウェーブレット(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、とくにコンピュータグラフィックス(CG)画像と自然画像とが合成された画像を扱う場合に、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。ウェーブレット符号化は、画像をブロック分割せず一括して符号化することができるため、低ビットレートでもブロック歪みが発生せず、モスキート雑音も減少できる。このように、MPEG4の静止画像符号化モードは、低解像度かつ低画質の画像から高解像度かつ高画質の画像までの幅広いスケーラビリティ、処理の複雑性および符号化効率のトレードオフの関係をアプリケーションに応じて調整できる。
［階層符号化（スケーラビリティ）］
スケーラビリティを実現するために、図9Aおよび9Bに示すようなシンタックスの階層構造を構成する。階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにおいてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。空間スケーラビリティの場合、ベースレイヤは低解像度の動画像を、「ベースレイヤ+補強レイヤ」で高解像度の動画像を表す。
【００４０】
さらに、画像全体の画質を階層的に向上させるほかに、画像中の物体領域のみ画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは画像全体を低いフレームレートで符号化したもの、補強レイヤは画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものになる。
●時間スケーラビリティ
図9Aに示す時間スケーラビリティは、フレーム速度を階層化し、補強レイヤのオブジェクトのフレーム速度を速くすることができる。階層化の有無はオブジェクト単位で設定できる。補強レイヤのタイプは二つで、タイプ1はベースレイヤのオブジェクトの一部で構成する。タイプ2はベースレイヤと同じオブジェクトで構成する。
●空間スケーラビリティ
図9Bに示す空間スケーラビリティは空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能で、補強レイヤの予測に使用される。
［スプライト符号化］
スプライトとは、三次元空間画像における背景画像などのように、オブジェクト全体が統一的に移動、回転、変形などを表現できる平面的なオブジェクトのことである。この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００４１】
スプライト符号化は四種、静的/動的およびオンライン/オフラインに区別される。詳しく説明すると、オブジェクトデータを予め復号器に送り、グローバル動き係数だけをリアルタイムに伝送する構成であって、テンプレートオブジェクトの直接変換で得られる静的スプライト。時間的に前のスプライトからの予測符号化により得られる動的スプライト。事前に面内符号化(I-VOP)により符号化され、復号器側に伝送されるオフラインスプライト。符号化中に符号化器および復号器で同時に作成されるオンラインスプライトがある。
【００４２】
スプライト符号化に関して検討されている技術には、スタティックスプライト(Static Sprite)符号化、ダイナミックスプライト(Dynamic Sprite)符号化、グローバル動き補償などがある。
●スタティックスプライト符号化
スタティックスプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。切り出された一部の画像は、平行移動、拡大/縮小、回転など様々な変形を表現することができる。これについて図10Aに示すように、画像の移動、回転、拡大/縮小、変形などにより三次元空間における視点移動を表現することをワープと呼ぶ。
【００４３】
ワープの種類には遠近法変換、アフィン変換、等方拡大(a)/回転(θ)/移動(c, f)および平行移動があり、図10Bの各式で表される。図10Bに示す式の係数によって移動、回転、拡大/縮小、変形などが表される。また、スプライトの生成は符号化開始前にオフラインで行われる。
【００４４】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することでスタティックスプライト符号化は実現される。図11に示すスプライト（背景）画像に含まれる一部領域がワープされることになる。例えば、背景画像はテニスの試合における観客席などの画像であり、ワープされる領域はテニスプレーヤなどの動きのあるオブジェクトを含んだ画像である。また、スタティックスプライト符号化においては、幾何変換パラメータのみを符号化して、予測誤差を符号化しない。
●ダイナミックスプライト符号化
スタティックスプライト符号化では符号化前にスプライトが生成される。これに対して、ダイナミックスプライト符号化では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティックスプライト符号化とは異なる。
●グローバル動き補償(GMC)
グローバル動き補償とは、オブジェクト全体の動きを、ブロックに分割することなく、一つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像になる点、予測誤差を符号化する点では、スタティックスプライト符号化と同様である。ただし、スプライトを格納するためのメモリを必要としないこと、形状情報が不要であることは、スタティックスプライト符号化およびダイナミックスプライト符号化とは異なる。画面全体の動きや、ズームを含む画像などにおいて効果がある。
［シーン構造記述情報］
シーン構成情報によりオブジェクトは合成される。MPEG4では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図したとおりのシーンに合成できる。
【００４５】
シーン構成情報には、オブジェクトの表示時間や表示位置などが含まれ、これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。シーン構成情報を記述する言語には、VRMLを修正したBIFS(Binary Format for Scenes)とJava(TM)を用いたAAVS(Adaptive Audio-Visual Session Format)がある。BIFSは、MPEG4のシーン構成情報を二値で記述する形式。AAVSはJava(TM)をベースとし、自由度が大きくBIFSを補う位置付けにある。図12はシーン記述情報の構成例を示す図である。
［シーン記述］
シーン記述はBIFSによって行われる。ここでは、VRMLとBIFS共通の概念であるシーングラフとノードを中心に説明する。
【００４６】
ノードは光源、形状、材質、色および座標などの属性や、座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、三次元空間中の各物体の配置や見え方は、シーングラフと呼ばれる木を、頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードにメディアオブジェクト、例えば、MPEG4ビデオのビットストリームを同期をとって割当てれば、他のグラフィクスと伴に動画を三次元空間内に合成して表示することができる。
【００４７】
また、VRMLとの差異は下記のとおりである。MPEG4システムでは次をBIFSでサポートする。
【００４８】
(1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記述と、MPEG4オーディオの合成記述
(2)連続メディアストリームの同期処理
(3)オブジェクトの動的振る舞い表現（例えばスプライト）
(4)伝送形式（バイナリ）を標準化
(5)セッション中にシーン記述を動的に変更
VRMLのノードのうちExtrusion、Script、ProtoおよびExtemProtoなどがサポートされていない以外は、VRMLノードのほぼすべてがBIFSでサポートされている。BIFSで新たに加えられたMPEG4特別ノードには、以下のものがある。
【００４９】
(1)2D/3D合成のためのノード
(2)2Dグラフィクスやテクストのためのノード
(3)アニメーションノード
(4)オーディオノード
特筆すべきは、VRMLでは背景など特殊なノードを除き2D合成はサポートされていなかったが、BIFSでは、テキストやグラフィックオーバレイ、さらにMPEG4ビデオVOP符号化を画素単位で扱えるように記述が拡張されている。
【００５０】
アニメーションノードには、3Dメッシュで構成された顔などMPEG4のCG画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加および属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。BIFSは、VRMLの予約語、ノード識別子および属性値をほぼ一対一にバイナリデータに置き換えることにより実現できる。
［MPEG4オーディオ］
図13にMPEG4オーディオの符号化方式の種類を示す。オーディオおよびサウンドの符号化には、パラメトリック符号化、CELP(Code Excited Linear Prediction)符号化、時間/周波数変換符号化が含まれる。さらに、SNHC(Synthetic Natural Hybrid Coding)オーディオの機能も取り入れ、SA（Structured Audio: 構造化オーディオ）符号化とTTS（Text to Speech: テキストサウンド合成）符号化が含まれる。SAはMIDI(Music Instrument Degital Interface)を含む合成楽音の構造的記述言語であり、TTSは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００５１】
図14にオーディオ符号化方式の構成を示す。図14において、入力サウンド信号を前処理(201)し、パラメトリック符号化(204)、CELP符号化(205)および時間/周波数符号化(206)の三つの符号化を使い分けるように、帯域に応じて信号分割(202)し、それぞれに適した符号化器へ入力する。また、信号分析制御(203)により、入力オーディオ信号が分析され、入力オーディオ信号を各符号化器へ割り当てるための制御情報などが発生される。
【００５２】
続いて、それぞれ別の符号化器であるパラメトリック符号化コア(204)、CELP符号化コア(205)、時間/周波数変換符号化コア(206)は、各符号化方式に基づいた符号化処理を実行する。これら三種の符号化方式については後述する。パラメトリック符号化およびCELP符号化されたオーディオデータは、小ステップ強化(207)され、時間/周波数変換符号化および小ステップ強化されたオーディオデータは、大ステップ強化(208)される。なお、小ステップ強化(207)および大ステップ強化(208)は、各符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化されたオーディオデータは、符号化されたサウンドビットストリームになる。
【００５３】
以上が図14のオーディオ符号化方式の構成の説明であるが、次に、図13を参照しながら各符号化方式について説明する。
●パラメトリック符号化
音声信号や楽音信号を含むサウンド信号を周波数、振幅およびピッチなどのパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化(HVXC: Harmonic Vector Excitation Coding)と、楽音信号用の個別スペクトル(IL: Individual Line)符号化が含まれる。
【００５４】
HVXC符号化は、主として2k〜4kbpsの音声符号化を目的とし、音声信号を有声音と無声音に分類し、有声音は線形予測係数(LPC: Linear Prediction Coefficient)の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
【００５５】
IL符号化は、6k〜16kbpsの楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
●CELP符号化
入力サウンド信号をスペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力サウンド信号から線形予測分析によって算出される線形予測係数によって表される。MPEG4のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8kHzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CELPは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.7k〜24kbpsの間においてビットレートの選択が可能である。
●時間/周波数変換符号化
高音質を目指す符号化方式である。AAC(Advanced Audio Coding)に準拠する方式、およびTwinVQ（Transform-domain Weighted Interleave Vector Quantization: 変換領域重み付けインタリーブベクトル量子化）がこれに含まれる。この時間/周波数変換符号化には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化する仕組みになっている。
【００５６】
AAC準拠方式は、オーディオ信号をDCTなどで周波数変換し、聴覚マスキング効果を利用しながら適応量子化する仕組みである。適応ビットレートは24k〜64kbpsである。
【００５７】
TwinVQ方式は、オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のMDCT係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化する仕組みである。適応ビットレートは6k〜40kbpsである。
［システム構造］
MPEG4のシステムパートでは、多重化、分離および合成（コンポジション）を定義する。以下、図15を用いてシステム構造を説明する。
【００５８】
多重化においては、映像符号化器やオーディオ符号化器からの出力である各オブジェクトや、各オブジェクトの時空間配置を記述したシーン構成情報などのエレメンタリストリームごとに、アクセスユニットレイヤでパケット化される。アクセスユニットレイヤでは、アクセスユニット単位に同期を取るためのタイムスタンプや参照クロックなどがヘッダとして付加される。パケット化されたストリームは、次に、FlexMuxレイヤで表示や誤り耐性の単位で多重化され、TransMuxレイヤへ送られる。
【００５９】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、MPEG4では定義されず、インターネットのプロトコルであるUDP/IP(User Datagram Protocol/Internet Protocol)やMPEG2のトランスポートストリーム(TS)、ATM(Asynchronous Transfer Mode)のAAL2(ATM Adaptation layer2)、電話回線利用のテレビ電話用多重化方式（ITU-T勧告H.223）、および、ディジタルオーディオ放送などの既存のネットワークプロトコルが利用可能である。
【００６０】
システムレイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセスユニットレイヤやFlexMuxレイヤをバイパスすることも可能である。
【００６１】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ(DB: Decoding Buffer)を設け、各オブジェクトの到達時刻や復号時間のずれを吸収する。合成の前にもバッファ(CB: Composition Buffer)を設けて表示タイミングを調整する。
［ビデオストリームの基本構造］
図16にレイヤ構造を示す。各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとはstart code、end code、ID、形状およびサイズほかの各種符号情報である。
●ビデオストリーム
ビデオストリームは複数のセッションで構成される。セッションとは、一連の完結したシーケンスのことである。
【００６２】
VS: セッションは複数のオブジェクトで構成される
VO: ビデオオブジェクト
VOL: オブジェクトは複数のレイヤを含むオブジェクト単位のシーケンス
GOV: オブジェクトは複数のレイヤで構成される
VOP: オブジェクトレイヤは複数のプレーンで構成される
ただし、プレーンはフレーム毎のオブジェクト
［誤り耐性を有するビットストリーム構造］
MPEG4は、移動体通信（無線通信）などに対応すべく、符号化方式自体が伝送誤りに対する耐性を有している。既存の標準方式における誤り訂正は主にシステム側で行っているが、PHS(Personal Handy phone System)などのネットワークでは誤り率が非常に高く、システム側では訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。これを考慮して、MPEG4は、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とされている。ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
●Reversible VLC(RVLC)と双方向復号
図17に示すように、復号途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能になる。このような順方向と同時に逆方向からも復号可能な可変長符号により「双方向復号」が実現される。
●重要情報の複数回伝送
図18に示すように、重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化する。例えば、各VOPを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に、誤りによってこのビデオパケットが消失しても、前記の双方向復号構造により次のビデオパケットから復号が再開できるが、このビデオパケットにはタイムスタンプがないため、結局、表示タイミングがわからないことになる。そのため各ビデオパケットにHEC(Header Extension Code)というフラグを立て、この後にタイムスタンプなどの重要情報を付加できる構造が導入された。HECフラグの後には、タイムスタンプとVOPの符号化モードタイプとが付加できる。
【００６３】
同期はずれが生じた場合は、次の同期回復マーカ(RM)から復号が開始されるが、各ビデオパケットにはそのために必要な情報、そのパケットに含まれる最初のMBの番号およびそのMBに対する量子化ステップサイズがRM直後に配置されている。その後にHECフラグが挿入され、HEC=‘1’の場合にはTRおよびVCTがその直後に付加される。これらHEC情報により、仮に、先頭のビデオパケットが復号できずに廃棄されても、HEC=‘1’と設定したビデオパケット以降の復号および表示は正しく行われることになる。なお、HECを‘1’にするか否かは符号化側で自由に設定できる。
●データパーティショニング
符号化側では、MB単位の符号化処理を繰り返してビットストリームを構成するため、途中に誤りが混入すると、それ以降のMBデータは復号できない。一方、複数のMB情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置し、各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入してそれ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【００６４】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（DCT係数など）とにグループ分けするデータパーティショニング手法(Data Partitioning)が採用されている。また、グループの境目にはモーションマーカ(MM: Motion Marker)が配置される。
【００６５】
仮に、動きベクトル情報の途中に誤りが混入していても、MMの後にくるDCT係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するMBデータはDCT係数とともに正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
●可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだMB群は「ビデオパケット」と呼ばれ、その中に何個のMBを含めるかは符号化側で自由に設定することができる。可変長符号(VLC: Variable Length Code)を使用するビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能になる。
［バイトアライメント］
システムとの整合性をとるために、情報の多重化はバイトの整数倍単位で行われる。ビットストリームは、バイトアラインメント(Byte alignment)構造となっている。バイトアラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。さらにこのスタッフビットは、ビデオパケット内のエラーチェック符号としても使用される。
【００６６】
スタッフビットは‘01111’のように、最初の1ビットが‘0’で、それ以外のビットがすべて‘1’であるような符号で構成されている。つまりビデオパケット内の最後のMBまで正しく復号されれば、その次に来る符号は必ず‘0’であり、その後にはスタッフビットの長さより1ビット分だけ短い‘1’の連続があるはずである。もし、このルールに反したパターンが検出された場合、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【００６７】
以上、「国際標準規格MPEG4の概要決まる」（日経エレクトロニス 1997.9.22号 p.147-168）、「見えてきたMPEG4の全貌」（社団法人映像情報メディア学会テキスト 1997.10.2）、「MPEG4の最新標準化動向と画像圧縮技術」（日本工業技術センター セミナー資料 1997.2.3）などを参考にして、MPEG4の技術に関して説明した。
【第１実施形態】
［構成］
以下、本発明にかかる一実施形態のテレビ放送受信装置を図面を参照して詳細に説明する。図19は本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図である。
【００６８】
ディジタルテレビ放送の信号は、その放送形態に応じて、衛星放送のときは衛星アンテナ21およびチューナ23により、ケーブル放送のときはケーブル22を介してチューナ24により、選局され受信される。こうして衛星放送もしくはケーブル放送から受信されたテレビ情報は、データ選択器43により一方のデータ列が選択され、復調回路25で復調され、誤り訂正回路26で誤り訂正される。
【００６９】
ここで、テレビ放送データを外部装置に伝送する場合、または外部装置からビデオデータやコマンド等を入力する場合には、ディジタルインタフェイスを用いて外部装置とのディジタル通信を行なう。ディジタル通信のためのコネクタ及び、データ処理用回路等で構成される受信装置のインタフェイス部がDIF46である。このディジタルインタフェイスはIEEE1394シリアルバス等で構成され、接続先の装置としてはVTR等が一例として考えられる。
【００７０】
続いて、誤り訂正回路26で処理されたテレビ情報は、多重データ分離回路27により多重されている各データ、つまり画像データ、サウンドデータおよびその他のシステムデータ（追加データ）に分離される。このうち、サウンドデータは、サウンド復号回路28で復号され、ステレオオーディオデータA(L),A(R)になり、サウンド制御部30により音量や音場定位の調整および主/副音声などサウンド多重への対応が処理された後、出力するサウンドが選択され、ディジタル-アナログコンバータ(D/A)29によりアナログ信号に変換されて、スピーカ31により再生される。
【００７１】
一方、画像データは、画像データ中の各オブジェクトにそれぞれに対応して復号処理を行う複数の復号器からなる画像復号回路32で復号される。この復号方式は、既に説明したMPEG4の画像復号方式に基づくオブジェクト単位の復号である。復号された画像データは、オブジェクトの数に相当する画像v(1)からv(i)になり、表示制御部34により表示に基づく様々な処理が施される。
【００７２】
表示制御部34が行う表示制御とは、各オブジェクトを合成して一つの出力画像としたり、各オブジェクトを表示するか否か、各オブジェクトの拡大/縮小、どこに表示するかなどを行う。さらに、表示制御は、オブジェクトとキャラクタ発生回路40で発生されたキャラクタ画像（時間表示やインデックスタイトルなど）との合成などの各種表示処理も行う。これらの表示制御は、各オブジェクトの配置情報、すなわちシーン記述データ変換回路39からのシーン記述情報に基づき、システムコントローラ38の制御に応じて行われるものである。
【００７３】
形成された表示画像は、D/A33でアナログ化されCRT35に表示されるか、もしくは、ディジタル信号のまま液晶ディスプレイ(LCD)44などに送られて表示される。
【００７４】
他方、システムデータ（シーン記述データや追加データを含む）はシステムデータ復号回路36で復号される。復号されたシステムデータの中からは、時間情報検出部37によりシステムデータ中の追加情報に含まれれる時間情報（クロックデータ）が検出される。検出された時間情報はシステムコントローラ38へ入力され、レイアウト設定におけるコマンド発生の基準になる。また、復号されたシステムデータの中から、シーン記述に関するデータがシーン記述データ変換部39に入力される。その他のシステムデータ（オブジェクトの内容をコマンドで表すオブジェクト情報はここに含まれる）は、システムコントローラ38に各種コマンドとして入力される。なお、追加データには、番組のタイトルインデックスなど、ドキュメントなども含まれていてもよい。
【００７５】
オブジェクト情報は、各テレビ局で共通のコマンドセット（コード）、もしくは局毎に設定されたコマンドセット（コード）等により、各オブジェクトにタイトル的に割当てられる。受信時、オブジェクト情報を解析することで、対応するオブジェクトの内容を判別し分類することができる。本実施形態では、このオブジェクト情報を利用して、指定されたオブジェクト情報をもつオブジェクトを設定された位置に配置する、レイアウト設定機能を実現する。
【００７６】
シーン記述データ変換部39で構成されたシーン記述データを用いて、表示制御部34における各オブジェクトの配置や合成、サウンド制御部30における音量や音場定位などの設定が行われる。また、システムコントローラ38の制御に基づき、シーン記述データ変換部39を調整し、表示制御部34を制御することで、基本レイアウトとは異なる配置にオブジェクトをレイアウトする、つまりレイアウトが設定された場合の配置制御を行うことができる。このレイアウト設定方法については後述する。
【００７７】
また、オブジェクトとしては受信されていない表示画像、例えば時間表示画面やタイトルインデックスなどを受信装置内部で生成するときは、キャラクタ発生回路40が用いられる。システムコントローラ38の制御により、追加データに含まれる時間データもしくは受信機内のカレンダー（時計）機能部47から入手した時間情報などから、キャラクタデータが保存されているROMなどのメモリ42を用いて、時間表示キャラクタが生成される。タイトルインデックスも同様である。ここで生成された画像は、表示制御部34において合成などが行われる。
【００７８】
また、ユーザは指示入力部45を介して、レイアウト設定のための各種指示入力をはじめとする各種コマンドを入力することができる。ユーザの指示入力に基づき、レイアウト設定処理における表示出力制御や位置調整を行うことができる。すなわち、レイアウト位置の補正や、新規設定値の入力は指示入力部45から行われる。指示入力値に応じてシステムコントローラ38は、所望の出力（表示、再生）形態が得られるように各部の動作を適切に制御する。
［レイアウトの設定］
本実施形態におけるレイアウト設定は、時間帯または曜日等の単位を組み合わせた時間軸により分類される。レイアウト設定した形態により実際の表示を行なう際には、現時刻を含む時間帯に分類されているレイアウト設定データが有れば、該データに対応して所定のレイアウト設定動作が実行される。レイアウト設定を分類する際のキーとなる現時刻を判別するための時間情報の入手先としては二つある。一つは図19に示した自装置内のカレンダー（時計）機能部47、もう一つはシステムデータ内に含まれる時間情報であり、どちらを用いても本実施形態は実現可能である。
【００７９】
所定の時間帯または曜日に対応して、画像に含まれる指定オブジェクトを所定の配置で表示するレイアウト設定は、以下の方法で実行することができる。即ち、ユーザが任意に設定したレイアウト設定データを所定の時間帯または曜日によって区切って分別してメモリ41に保持し、これを利用する。
【００８０】
ここで、具体的なレイアウトの設定方法を説明する。図20はレイアウト設定する際の位置データの設定方法を説明する図、図21はレイアウト設定する際のイメージと指示の入力方法とを説明する図である。
【００８１】
オブジェクトの位置設定には二つの方法がある。第一の方法はシーン記述データで規定される基本レイアウトを位置補正（シフト）する方法であり、第二の方法はユーザが任意の場所にオブジェクトの位置を新規に設定する方法である。両者は、ユーザの操作に応じて、図20に示すセレクタ302で選択可能である。
【００８２】
まず、第一の方法であるシフトする方法について説明する。オブジェクトとして画像データが入力され、そのオブジェクトの基本位置はシーン記述データで指定される位置データ(X0,Y0)で表される。ユーザがオブジェクトのシフトを望む場合、加算器301により補正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな位置データ(X',Y')がオブジェクトのレイアウト設定データになる。次に第二の方法である新規設定する方法について説明する。基本位置データに関係なく、全く新たにオブジェクトの位置(X,Y)を設定し、これを基本位置データに代わる位置データ(X',Y')にする。このようにして、ユーザが設定したレイアウト設定用の位置データを、シーン記述データで規定される基本レイアウトのオブジェクト位置データに置き換えて、表示する。
【００８３】
以上が指定画像オブジェクトのレイアウトを設定する方法の説明である。対象となるオブジェクトを判別するオブジェクト情報もレイアウト設定データの一部として必要なデータである。表示処理はシステムコントローラ38により制御されるが、このときの制御データ、対象オブジェクトを判別するためのオブジェクト情報およびレイアウト設定データ、及び設定したレイアウト表示を実行する時間帯または曜日の時間単位コマンドを入力し、各々を対応させたユーザレイアウト設定データとしてメモリ41に保持しておく。
【００８４】
次に図21について説明する。図21はこれまでに説明した位置の設定方法を図示したものである。CRTなどの表示装置303において、操作の対象になる基本位置にあるオブジェクト306（位置は（X0，Y0））を、シフト位置307までシフトしたとき、その時の補正量を基本位置データに加えて、最終的な位置データ（レイアウト設定データ）は、（X’，Y’）＝（X0＋ΔX，Y0＋ΔY）になる。また、ユーザが任意で新規に新規設定位置308にオブジェクトを配置した場合は、その位置データ（レイアウト設定データ）は（X’，Y’）＝（X，Y）になる。図20で説明した設定方法は、このように図示される。
【００８５】
また、図21には指示入力部45に含まれるポインティングデバイスの一例としてマウス304およびリモートコントローラ305を示す。画面を見ながらマウス304を使ったり、リモートコントローラ305の方向入力キー（十字キー、ジョイスティックおよびジョイパッドなどでもよい）を使うことによって、自由なオブジェクトの移動を容易に操作することが可能である。なお、オブジェクトを移動する位置および新たに設定する位置は、画面の四隅や中央などプリセットされた幾つかの位置から選ぶような構成をとることもできる。
【００８６】
また、オブジェクトの拡大については、表示制御部34において、対象とするオブジェクトの大きさを例えば整数等の既定値ずつ倍率を上げ／下げすることにより、オブジェクトサイズを任意に変更して、バックグラウンドとなる背景画像に合成するように処理する。また、オブジェクトを表示しない場合には、表示制御部34において、オブジェクトの合成時に、対象となるオブジェクトを表示画面に合成しないように処理することによって対応する。
【００８７】
次に、音声オブジェクトへの対処について説明する。図22は、レイアウト設定データに応じた、音声オブジェクトの出力制御を説明するための図である。ステレオ入力された音声オブジェクト91に対して、L側,R側をそれぞれアンプ92，93において、システムコントローラ94の制御に基づいたゲイン96，95に基づいて出力レベルを調整する。この出力がオーディオ出力となり、オーディオ(L)出力97，(R)出力98を得る。システムコントローラ94においてレイアウト設定データに応じてゲイン95，96を制御することによって、左右の出力レベルのバランス、音量を調整することができ、左右間の音場定位を制御することができる。即ち、レイアウト設定時にこのゲインの値を調整することにより、音声オブジェクトのレイアウト変更を実現する。このようにして、音量の調節や音場定位の設定が可能となる。
【００８８】
ここで図23を参照して、音像、音場定位について説明を補足する。図23に示す左スピーカ（SP-L）と右スピーカ（SP-R）から出力される音量のバランス（比率）と全体の音量レベルを調整することによって、音場空間上に音像を定めることを、音場定位の設定という。音場空間は、視聴位置と左右スピーカを結ぶ空間上に存在し、音像は左右及び前後の２軸上を移動し、音場空間上の適当な位置に設定することができる。この概念を用いて、レイアウト設定データにより左右音声出力レベル及び音量の調整を施し、左右スピーカからの出力を調整することによって、レイアウト変更に伴い音場定位を設定する。なお、サラウンドスピーカ等を用いて位相、残響成分を利用することにより、音場定位を360°自由に、3次元的に設定することも可能になる。
【００８９】
以上説明したようにして、ユーザによるレイアウト設定が可能である。
【００９０】
所定の期間（時間帯や曜日など）毎で分別して、設定したレイアウト設定データを記憶しておくことができる。この記憶場所は、EEPROMなどの不揮発性メモリ41が利用される。システムコントローラ38は、ユーザがレイアウト設定した時間帯や曜日、もしくはデフォルト設定されている時間帯や曜日に該当する時刻を時間情報から検出することにより、メモリ41に記憶されている該当する時間帯、または曜日等に応じたレイアウト設定データを読み出す。そして、メモリ41から読み出したレイアウト設定データを基に、シーン記述データ変換部39及び表示制御部34を制御し、設定されたレイアウトで画像表示及びサウンド再生を行なう。
【００９１】
続いて、レイアウト設定データについて説明する。レイアウト設定データには、予めプログラムされ保持されているデフォルトの設定データ、および、ユーザが設定したデータがある。ユーザ設定データは、基本的には、シーン記述データから得られるオブジェクト配置情報を基にして、オブジェクト配置情報に加え、ユーザがレイアウト設定したときのオブジェクトの有無や位置をデータ化して、各部の制御データおよび対象となるオブジェクト情報とともに、レイアウト設定データとして記憶すればよい。シーン記述データについては図12を用いて既に説明したが、各シーンを構成するオブジェクトをツリー型に配列し、それぞれのオブジェクトが表示されるべき時間や、表示されるべき位置を指定するための情報である。
【００９２】
また、その他のレイアウト設定データの構成として、図24に示すように、そのオブジェクトを表示するか否かを示すオン/オフデータ、表示位置をXおよびY軸で二次元表現したときの表示位置データ、並びに、大きさを示すデータを保持することによって、対象となるオブジェクトのレイアウト設定データとして活用することができる。
【００９３】
図25は一般的なMPEG4ビットストリームの構成を示す図である。図25のオブジェクト1から5までのデータベースに番組内容、（番組に応じてオブジェクトの種類は異なるが）自然画像オブジェクト、サウンドオブジェクトおよびCGなどのオブジェクトが組み込まれている。一例として、ニュース番組においては、背景オブジェクト（スプライト）、人物、その他の自然画像オブジェクト、天気予報や時刻表示等の合成画像オブジェクトおよびサウンドオブジェクトなどが該当する。加えて、ビットストリームにはシステムデータとして、シーン記述情報および追加データが多重化されている。追加データには、時間情報やオブジェクト情報、及びその他の情報が含まれる。また、オブジェクト情報は、オブジェクト1〜5に該当する各オブジェクトのそれぞれの、属するジャンルを示すジャンルコード、オブジェクトの詳細を示すオブジェクトコード、及びその放送局固有のオブジェクトであった場合に必要となる放送局コードを含んでいる。
【００９４】
図26および図27はユーザによる画面設定例を示す図である。
【００９５】
レイアウト設定モードに移行後、ユーザは画面をみながら、上述した方法によりレイアウト設定を実行する。
【００９６】
放送局から送られてくる画像をそのまま通常表示したのが、図26及び図27に示す基本画像401である。
【００９７】
本実施形態によればレイアウトが任意に設定可能であるから、図26に示すように、平日朝（例えば7時〜8時）の時間帯は、基本画像401内の時間表示オブジェクト402を拡大して表示するように、予めレイアウト設定することができる。尚、この時間帯は任意に設定できることは上述した通りである。
【００９８】
また図27に示すように、休日朝の時間帯は、基本画像401から時間表示オブジェクト403を消去し、天気予報オブジェクト404を拡大し、更に位置を変更して表示するように、レイアウト設定することも可能である。
【００９９】
このように、各種オブジェクトに対して曜日や時間帯を適宜組み合わせて、設定したい時間帯毎に、レイアウト変更した画面を表示できる。こうして一度レイアウト設定した後は、現在時刻が設定時間帯に含まれていた場合に、保持してあるレイアウト設定データを読み出し、レイアウト変更機能が作動する。そして、オブジェクト情報から対象とするオブジェクトを判別し、所定の配置にレイアウトを変更して自動表示することが可能になる。
【０１００】
尚、以上説明したレイアウト設定はユーザによる設定に限らず、予め設定された所定の時間帯で機能するように、受信装置の工場出荷時に組み込まれるデフォルト設定であってもよい。
【０１０１】
以下、図28及び図29を参照して、オブジェクト情報及びレイアウト設定データについて詳細に説明する。図28はオブジェクト情報の詳細構成を、各放送局毎に対応させたコード構成の概念図である。また、図29はレイアウト設定データの構造の概念図である。
【０１０２】
図25で説明したオブジェクト情報の詳細構成は、具体的には図28に示した様に分類される。図28に示すように、ジャンルコードは、例えば「ニュース」「プロ野球」「ワイドショー」…等に分類される。またオブジェクトコードは、例えばジャンルコードが「ニュース」であれば、「時間表示オブジェクト」「天気画像オブジェクト」「人物画像オブジェクト」…等に分類される。ジャンルコードが「プロ野球」や「ワイドショー」である場合に関しても同様に、オブジェクトコードが図示されるように構成される。そしてこのようなオブジェクト情報の詳細構成が、各放送局毎に存在している。このようなオブジェクト情報の構成を示すコードが、各放送局毎、または各局共通のコード等により、各種オブジェクトに対する一覧として予め作成されている。そして、放送局側と視聴者側の受信装置とにおいて、同一のコードを相互理解できるように設定されている。
【０１０３】
またレイアウト設定データは、図29に示すように「デフォルト設定モード」と「ユーザ設定モード」を両立させることが考えられる。
【０１０４】
デフォルト設定モードは初期設定のモードであり、例えば曜日と時間帯に応じて、朝の「おはよう」モード（機能：時間表示を大きくする、音量を上げる、等）、夜の「おやすみ」モード（機能：音量を抑え目にする、等）、平日朝の「お出かけ」モード（機能：時間表示と天気予報画像を大きくする、等）、土日朝の「休日」モード（機能：時計表示を消す、等）などが考えられる。そして、それぞれのデフォルト設定モード毎に、レイアウト変更の対象とするオブジェクトのオブジェクト情報、デフォルト設定されている位置データ、各部の制御データ、さらに放送局データ等が必要なデータとして保持されている。
【０１０５】
また、ユーザ設定モードは、ユーザの任意の時間帯や曜日毎に、上述した設定方法でレイアウト設定を行い、それぞれの時間帯ごとにレイアウト変更の対象とするオブジェクトのオブジェクト情報、設定した位置データ、各部の制御データ、さらに放送局データ等を、レイアウト設定データとして保持する。尚、図29においては、ユーザ設定1「月曜の19:00〜21:00」、ユーザ設定2「水曜の21:00〜22:00」、ユーザ設定3「月、水、金の12:00〜13:00」、ユーザ設定4「毎日7:30〜8:30」の時間帯がそれぞれユーザ設定されている。ユーザ設定モードにおいては、人物やテロップ等の各種画像オブジェクトや音声オブジェクトに関しても、任意のレイアウト設定が可能である。また、放送局データを用いて、放送局を指定条件として機能させることもできる。
［動作手順］
図30および図31は本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャートで、図30はユーザがレイアウトを設定する際のフロー、図31はテレビ映像の表示におけるフローである。
【０１０６】
図30に示すレイアウト設定モードにおいて、レイアウトの変更表示を行ないたい時間帯を入力する（ステップS1）。この時間帯としては、ユーザが年、月、曜日、日、時間、分、等の単位を用いて、曜日ごと、日ごと、または開始時刻から終了時刻、等の設定の単独または複数の組み合わせとして入力することで設定される。さらに、毎週、隔週、何日間等の期間の入力も可能とする。
【０１０７】
続いて、テレビ情報中の画像データを構成する各オブジェクトの内、レイアウトを変更する対象オブジェクトが選択される（ステップS2）。そして、ユーザは、選択（指定）した対象オブジェクトを任意に配置する（ステップS3）。尚この時、オブジェクトの表示のオン／オフも同時に設定する。対象としたオブジェクトの配置が完了すると、レイアウト設定を終了するか否かが判断され（ステップS4）、他のオブジェクトについてもレイアウトを設定する場合はステップS2へ戻り、対象オブジェクトの選択および配置を繰り返す。レイアウト設定が終了ならば、レイアウトが設定された各オブジェクトの位置がデータ化される。そして、各オブジェクトのオブジェクト情報、位置データおよび各部の制御データが統合され、更に入力された時間帯を対応させて、レイアウト設定データとしてメモリ41に格納される（ステップS5）。尚、レイアウト設定データとして、放送局（チャンネル）のデータを付加しても良い。
【０１０８】
図31に示す表示モードにおいて、テレビ情報を受信し（ステップS11）、その時の時刻を示す時間情報を検出する（ステップS12）。時間情報は、受信装置内のカレンダー（時計）機能部47、もしくはテレビ放送システムデータから入手し、検出する。
【０１０９】
続いて、検出された時間情報に基づいて現在時刻をコマンドとし、該時刻に対応するレイアウト設定データが既にメモリ41に保存されているか否かが判断される（ステップS13）。現在時刻に該当するレイアウト設定データが保存されていない場合は、放送局から送られてくるそのままの基本レイアウトでテレビ放送の映像を表示する（ステップS14）。
【０１１０】
現在時刻に該当するレイアウト設定データが保存されている場合は、メモリ41から該当するレイアウト設定データを再生し（ステップS15）、そのレイアウト設定データに記録されているオブジェクト情報が出現したら、その対象オブジェクトのレイアウトを変更する制御が行えるようにスタンバイする。即ち、ステップS16では、レイアウト設定の対象外のオブジェクトは基本レイアウトで表示され、レイアウト設定の対象オブジェクトは、その対象オブジェクトの表示タイミング（シーン）において、設定されたレイアウトで表示される。
【０１１１】
番組が終了したり、別のチャネルに移行して新たな番組の受信が開始されるまでは、ステップS14またはステップS16の表示状態が維持される。新たな番組の受信が開始された場合は、現行のレイアウト設定がリセットされ、フローはステップS11のテレビ放送受信の初期状態から繰り返される。
【０１１２】
以上説明したように本実施形態によれば、曜日や時間帯に応じて、任意の情報を優先した表示レイアウトによるテレビ画面表示が可能となる。従って、ユーザの好みに応じた映像表示が可能になり、視覚的および聴覚的ユーザインタフェイスの質的向上を期待することができ、ユーザに対してより自由度のあるテレビ番組表示が、簡単な操作で容易に実現される。
【第２実施形態】
以下、本発明にかかる第2実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１１３】
第2実施形態においては、MPEG4以外の符号化方式で符号化された画像をMPEG4の一つオブジェクトとして利用、代用したテレビ放送におけるオブジェクトのレイアウト設定について説明する。
【０１１４】
ここでは、自然画像符号化方式にMPEG2を用いた例を説明する。つまり、MPEG2で符号化された画像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビットストリームに多重化されて伝送され、これを受信して表示するテレビ放送受信装置に関する説明を行う。なお、第2実施形態におけるレイアウトの設定方法は、第1実施形態で説明したものと同様であり、テレビ放送受信装置の基本構成および動作は図19により説明したものと同様である。ただし、第2実施形態におけるテレビ放送の復号方法に関係して、図19に示すサウンド復号回路28、画像復号回路32およびシステムデータ復号回路36の細部が異なるので、これらを図32および図33を用いて説明する。
【０１１５】
図32は、送信側である放送局において、MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部である。データ多重化器5006は、図2で説明したサウンド、自然画像、合成画像、文字およびシーン記述情報の各オブジェクトの符号化器5001〜5005からの出力をMPEG4のビットストリームに多重化するとともに、MPEG2方式の業務用放送機器や中継システムまたはDVD(Digital Video Disc)の再生などにより抽出されるMPEG2ビットストリーム61を、MPEG4のビットストリームへ多重化する。
【０１１６】
図33はMPEG4ビットストリームを復号する側、つまりテレビ放送受信装置に搭載される復号部の構成例である。図33に示される復号部は、第2実施形態のテレビ放送受信装置を構成する復号系およびそれに関連する回路であるサウンド復号回路28、画像復号回路32、システムデータ復号回路36およびシーン記述データ変換部39などに含まれる。
【０１１７】
受信されたMPEG4ビットストリームは、復号前にデータ分離器5007によりそれぞれのデータに分離される。分離された各データのうちMPEG4のオブジェクトであるサウンド、自然画像、合成画像、文字およびシーン記述情報は、各オブジェクトに対応する復号部5008〜5012において復号される。また、MPEG4のオブジェクトとともに多重化されたMPEG2のデータは、MPEG4のオブジェクトの復号器とは別に設けられた専用のMPEG2デコーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4の画像復号回路32の一部を利用した構成であってもよい。
【０１１８】
こうして復号されたサウンド、画像およびシステムデータであるシーン記述データからテレビ番組の映像を表示するための情報が構成され、各オブジェクトおよびMPEG2データがシーン合成部5013でテレビ出力すべき形態に合成され、シーン情報として出力される。
【０１１９】
続いて、第1実施形態で説明したレイアウトの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ放送の映像を表示する場合の説明を図26を用いて行う。第2実施形態では、図26又は図27に示すニュース番組において自然画像オブジェクトを扱う際の一例として、領域405に表示される中継画像オブジェクトがMPEG2画像であるとする。その他のオブジェクトはMPEG4のデータからなる。すなわち、MPEG2画像を含むMPEG4のテレビ放送の映像表示例である。このときのMPEG4のビットストリーム例を図34に示す。
【０１２０】
図34に示すMPEG4のビットストリームには、MPEG2のデータストリームである中継画像のデータがオブジェクト2として多重化されている。MPEG2のデータストリームは、一般的にオーディオ、ビデオおよびシステムデータ（MPEG2付加情報）の三種のデータから構成される。オブジェクト2には、伝送に関する所定のタイミング調整に従い、所定量毎のセグメントに分けられたMPEG2データストリームがそれぞれ多重化される。MPEG2とMPEG4とでは、下位レベルで共通化可能な符号化/復号回路もあるので、必要であれば共通化して、符号化/復号に関する無駄を避けた処理を行う。
【０１２１】
このように、MPEG2方式により符号化された画像および/またはサウンドデータを含むMPEG4方式のTV放送であっても、第1実施形態で説明したようなレイアウト設定が可能になる。
【０１２２】
表示画像のレイアウト設定データについては、第1実施形態と同様に、シーン記述情報から得られるオブジェクト配置情報を基に、ユーザによりレイアウトが変更されたオブジェクトの位置データを算出し、時間帯、対象とするオブジェクト情報および各部の制御データを対応させ、更に必要であれば、放送局（チャンネル）データを付加して、レイアウト設定データとして記憶しておく。また、表示に関する動作も第1実施形態と同様である。
【０１２３】
第2実施形態は、MPEG2画像が多重化されたMPEG4のテレビ放送であるから、MPEG2コンテンツ、例えば現場中継などに用いる画像中継システムなどとの複合する場合に、MPEG2装置の出力を、複雑なデータ変換を介さずに、MPEG4の放送システムに流用でき、MPEG2とMPEG4との親和性から扱いも容易である。なお、中継画像などに限らず、代表的なMPEG2映像装置であるDVDを用いた資料映像表示などの多重画像出力例や、または他のMPEG2装置を用いた場合にも、勿論利用可能である。
【０１２４】
また、MPEG2とMPEG4とでは、共通化できる符号化/復号回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的である。勿論、ソフトウェアデコーダの場合でもシステムの効率化は図れる。また、MPEG2とMPEG4を混在させたシステムの場合、時間情報の入手はMPEG2のシステムデータに含まれるタイムスタンプを用いることもできる。
【０１２５】
以上説明したように本実施形態によれば、第1実施形態の効果に加えて、MPEG2で符号化されたテレビ情報を、MPEG4テレビシステムにも流用できるようにしたので、従来あるコンテンツをそのまま使え、かつMPEG2をわざわざMPEG4にデータ変換する必要もないので、扱いが容易であり非常に効果的である。
【第３実施形態】
以下、本発明にかかる第3実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１２６】
本実施形態のレイアウト設定の対象オブジェクトは、放送データに含まれているオブジェクトに限らず、受信装置内で生成された画像であってもよい。このような受信装置内で生成される画像の例としては、文字情報などからなる時間情報およびタイトル、並びに、CGその他のグラフィックスなどが考えられる。本実施形態は、時間情報、タイトルおよびグラフィックスなどの表示位置を、特定の時間帯には通常時と異なるレイアウトとなるように、自動的に変化させるものである。
【０１２７】
キャラクタ画像、例えば時間情報に関しては、MPEG4ビットストリームの追加データに含まれて送られてくる時間表示の基になる時間データや、テレビ放送受信装置内のカレンダー（時計）機能等を利用して、キャラクタ発生部40で生成される。さらに、キャラクタ発生部40は、追加データ中に受信装置内のカレンダー機能に対応した時間表示を行わせるコマンドが存在する場合、または、システムコントローラ38により独自に時間表示命令が発行された場合、これに従い、カレンダー機能を用いてそれぞれのコマンドに応じた時間表示画像を出力する。なお、実際に時間表示画像を生成する、つまりキャラクタ発生動作の役割を担うのはキャラクタ発生部40およびキャラクタのデータが格納されたメモリ42であり、画像の合成は表示制御部34が行い、システムコントローラ38はそれらを制御することで時間表示画像を生成させ表示させる。
【０１２８】
なお、MPEG2データストリームのサブコード内に一情報として含まれるタイムスタンプを利用しても同様の動作を実現できる。タイトルやグラフィックスに関する画像生成も同様であり、追加データに含まれたコマンドに従い、適切なタイミングで所定の画像が生成、合成、表示される。このように、受信装置内で生成された画像を、放送データに含まれるオブジェクトの如く扱うようにすれば、より扱いやすいシステムが構築できる。
【０１２９】
本実施形態の受信装置内で生成したキャラクタや画像のレイアウト設定に関しては、生成されたキャラクタや画像の表示位置、大きさ、表示オン／オフ等によって示されるレイアウト位置（オブジェクト位置）をデータ化し、その位置データ、設定する時間帯情報、そのキャラクタや画像（オブジェクト）の識別情報、および、キャラクタや画像の生成動作の制御を含む各部の制御データを、レイアウト設定データとして記憶しておく。なお、位置データの設定は図20および図21で説明した方法と同様である。これに加えて、メモリ42から読み出すキャラクタ生成用データや、キャラクタ発生部40で生成するキャラクタの生成動作をコマンドに対応させて制御し、適切なキャラクタを生成させる。
【０１３０】
発生されたキャラクタや画像は、第1実施形態と同様、受信されたオブジェクトと合成され表示される。
【０１３１】
本実施形態によれば、第1実施形態の効果に加えて、受信装置内で生成したキャラクタや画像に対しても、レイアウト設定機能を実現することができるので、通信（伝送）にかかる負荷を低減する効果を有する。
【０１３２】
このように、ディジタルテレビ放送において、パーソナルコンピュータ(PC)との融合も容易になり、現在、PCのデスクトップ上で行っているようなレイアウト設定などを、テレビ映像に対してもカスタマイズできるので、テレビ放送とPCとの相性もよくなり、また、ディジタル複合製品の分野において市場拡大の効果が期待できる。
【変形例】
上述した第2実施形態においては、MPEG4のオブジェクトの一つとして、MPEG2のデータストリームを組み込んだ構成について説明した。更に、MPEG2のシステムデータに付加データとして、レイアウト設定に関する各種情報を組み込んでも本発明は適用可能であり、実質的なMPEG4ビットストリーム同様の効果が得られる。
【０１３３】
ここで、テレビ情報としてのMPEG2データストリームにMPEG4データストリームを多重する方法について説明する。
【０１３４】
一般的なMPEG4のデータストリーム構成は、上述した図25に示す通りである。図35は、MPEG2のデータストリームの伝送形式を示す、MPEG2トランスポートストリーム構造を示す図である。図35を用いて、MPEG4データストリームをMPEG2データストリームに多重する方法を説明する。
【０１３５】
MPEG2トランスポートストリームは、固定長のトランスポートパケットによって多重され分離される。トランスポートパケットのデータ構造は、図35に示すように階層的に表され、それぞれ図35に示す項目を含む。それら項目を順に説明すると、8ビットの「同期信号(sync)」、パケット内のビットエラーの有無を示す「誤り表示（エラーインジケータ）」、このパケットのペイロードから新たなユニットが始まることを示す「ユニット開始表示」、このパケットの重要度を示す「プライオリティ（パケット優先度）」、個別ストリームの属性を示す「識別情報PID(Packet Identification)」、スクランブルの有無および種別を示す「スクランブル制御」、このパケットのアダプテーションフィールドの有無およびペイロードの有無を示す「アダプテーションフィールド制御」、同じPIDをもつパケットが途中で一部棄却されたかどうかを検出するための情報である「巡回カウンタ」、付加情報や、スタッフィングバイトをオプションで入れることができる「アダプテーションフィールド」、並びに、ペイロード（画像やサウンドの情報）である。アダプテーションフィールドは、フィールド長、その他の個別ストリームに関する各種項目、オプショナルフィールド、並びに、スタッフィングバイト（無効データバイト）からなる。
【０１３６】
本実施形態においては、テレビ情報のサブ画像またはサウンドデータしてのMPEG4のデータストリーム、および、それを識別するためのIDをオプショナルフィールドにおける付加データの一つと見做し、オプショナルフィールド内に多重する。
【０１３７】
つまり、メインであるテレビ情報の構成はMPEG2データストリーム（トランスポートストリーム）である。そして、図35に一例を示すように、データ量としては微かな写真（自然）画像、CG、文字などの画像オブジェクト（オブジェクトAおよびB）、サウンドオブジェクト（オブジェクトC）、シーン記述情報(BIFS)、並びに、その他必要なデータ（サブデータ）を組み合わせたMPEG4データストリームを構成する。このMPEG4データストリームを、MPEG2のシステムデータ中のオプショナルフィールドの一部として多重させることで、MPEG2とMPEG4とのデータストリーム多重伝送が実現される。
【０１３８】
尚、前記微小な画像オブジェクトは、本発明に係るMPEG4のオブジェクトの如く、任意のレイアウト設定が可能なように構成される。このレイアウト設定に関する方法及び動作については、既に説明した各実施形態における方法や動作と同様である。また、レイアウト設定の際の時間情報として、MPEG2のタイムスタンプを用いることもできる。
【０１３９】
また、キャラクタ発生手段によって、受信装置内で生成した画像をレイアウト設定する為の情報を、MPEG2のシステムデータに多重することでも可能である。
【０１４０】
このように構成することで、MPEG4テレビ放送に限らず、MPEG2、またはその他のテレビ放送においても本発明は適用できる。また、MPEG2符号化方式からなるテレビ放送システムに、MPEG4のビットストリームを組み込むことが可能である。従って、既存のテレビ放送システムを活用することも可能となる。
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１４１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【発明の効果】
以上説明したように本発明によれば、ディジタルテレビ放送における画像（映像）の新たな再生機能を提供することができる。
【図面の簡単な説明】
【図１】衛星放送を用いたディジタル放送受信機の構成例を示すブロック図、
【図２】複数種類のオブジェクトを同時に入力し符号化処理する構成例を示すブロック図、
【図３】ユーザ操作（編集）を考慮に入れたシステムの構成例を示す図、
【図４】ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図、
【図５】ビデオオブジェクトに関するVOP処理回路のデコーダ側のブロック図、
【図６】 VOPの符号化および復号の全体構成を示すブロック図、
【図７Ａ】 VOPを構成する情報を示す図、
【図７Ｂ】 VOPを構成する情報を示す図、
【図８】テキスチャ符号化のAC/DC予測符号化を説明するための図、
【図９Ａ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図９Ｂ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図１０Ａ】ワープを説明する図、
【図１０Ｂ】ワープの種類を説明する図、
【図１１】ワープを説明する図、
【図１２】シーン記述情報の構成例を示す図、
【図１３】 MPEG4オーディオの符号化方式の種類を示す図、
【図１４】オーディオ符号化方式の構成を示す図、
【図１５】 MPEG4のシステム構造を説明する図、
【図１６】 MPEG4のレイヤ構造を説明する図、
【図１７】双方向復号を説明する図、
【図１８】重要情報の複数回伝送を説明する図、
【図１９】本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図、
【図２０】レイアウト設定する際の位置データの設定方法を説明する図、
【図２１】レイアウト設定する際のイメージと指示の入力方法とを説明する図、
【図２２】レイアウト設定データに応じた音声オブジェクトの出力制御を説明するための図、
【図２３】音像及び音場定位についての補足説明のための図、
【図２４】レイアウト設定データの構成を説明する図、
【図２５】一般的なMPEG4ビットストリームの構成を示す図、
【図２６】本実施形態による映像の表示形態例を示す図、
【図２７】本実施形態による映像の表示形態例を示す図、
【図２８】オブジェクト情報のコード構成の概念を示す図、
【図２９】レイアウト設定データの構造の概念を示す図、
【図３０】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図３１】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図３２】 MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部の構成例を示すブロック図、
【図３３】テレビ放送受信装置に搭載される復号部の構成例を示すブロック図、
【図３４】 MPEG2画像を含むMPEG4のビットストリーム例を示す図、
【図３５】 MPEG2データストリームにMPEG4データストリームを多重する方法を説明する図、である。
Claims (15)
- テレビ放送のディジタルデータ列を受信する受信手段と、
受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号手段と、
復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御手段と、
ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶手段とを有し、
前記制御手段は、現時刻が前記期間に含まれる場合は、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする放送受信装置。 - 前記ディジタルデータ列は、第１の方式により符号化された画像オブジェクトと、第２の方式により符号化された画像オブジェクトとを含むディジタルデータ列であることを特徴とする請求項１に記載の放送受信装置。
- 前記制御手段は、前記画像オブジェクト単位に再生形態を制御することを特徴とする請求項１又は２に記載の放送受信装置。
- 前記制御手段は、前記システムデータに含まれるオブジェクト情報に基づいて制御対象の画像オブジェクトを識別することを特徴とする請求項１乃至３のいずれかに記載の放送受信装置。
- 更に、計時機能を有する計時手段を備え、
前記制御手段は、前記現時刻の情報を前記計時手段より取得することを特徴とする請求項１乃至４のいずれかに記載の放送受信装置。 - 前記制御手段は、前記現時刻の情報を前記システムデータに含まれる時間情報より取得することを特徴とする請求項１乃至４のいずれかに記載の放送受信装置。
- 前記記憶手段は、複数の前記レイアウト設定データそれぞれを各々の期間を示す情報と関連付けて前記記憶媒体に記憶し、
前記制御手段は、前記記憶媒体に記憶された複数の前記レイアウト設定データそれぞれの中に、前記現時刻を含む期間に関連付けられたレイアウト設定データが存在するか否かを判定し、存在する場合、前記シーン記述データ及び該存在するレイアウト設定データに基づいて前記画像オブジェクトの再生形態を制御することを特徴とする請求項１乃至６のいずれかに記載の放送受信装置。 - 更に、画像オブジェクトの再生形態の変更方法を曜日、時間帯及び放送局に対応づけてマニュアル設定するための設定手段を備え、
前記設定手段により設定された再生形態の変更方法は、前記画像オブジェクトのオブジェクト情報とともに、前記レイアウト設定データとして前記記憶手段により記憶されることを特徴とする請求項７記載の放送受信装置。 - 前記制御手段は、前記記憶手段により記憶されたレイアウト設定データのうち、前記現時刻を含む期間に関連付けられたレイアウト設定データを読み出し、該レイアウト設定データに対応付けされた前記オブジェクト情報に対応する画像オブジェクトの再生形態を変更することを特徴とする請求項８記載の放送受信装置。
- 前記設定手段は、前記画像オブジェクトの再生の有無の変更方法、前記画像オブジェクトの位置の変更方法、及び前記画像オブジェクトのサイズの変更方法のうち、いずれか１つ以上を前記再生形態の変更方法として設定することを特徴とする請求項８記載の放送受信装置。
- 前記制御手段は、前記復号された画像データに含まれる画像オブジェクトのうち、前記設定手段により再生形態の変更方法が設定された画像オブジェクトについては前記シーン記述データ及び前記レイアウト設定データに従って再生形態を制御し、再生形態の変更方法が設定されていない画像オブジェクトについては前記シーン記述データに従って再生形態を制御することを特徴とする請求項８乃至１０のいずれかに記載の放送受信装置。
- テレビ放送のディジタルデータ列を受信する受信工程と、
受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号工程と、
復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御工程と、
ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶工程とを有し、
前記制御工程においては、現時刻が前記期間に含まれる場合は、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする放送受信方法。 - 前記ディジタルデータ列は、第１の方式により符号化された画像オブジェクトと、第２の方式により符号化された画像オブジェクトとを含むディジタルデータ列であることを特徴とする請求項１２に記載の放送受信方法。
- コンピュータに、
テレビ放送のディジタルデータ列を受信する受信工程と、
受信されたディジタルデータ列から画像データおよびシステムデータを復号する復号工程と、
復号されたシステムデータに含まれるシーン記述データに基づき、復号された画像データに含まれる画像オブジェクトの再生形態を制御する制御工程と、
ユーザの指示入力に基づいて生成される、前記画像オブジェクトの再生形態の変更方法を示すレイアウト設定データを、期間を示す情報と関連付けて記憶媒体に記憶する記憶工程と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記制御工程においては、現時刻が前記期間に含まれる場合は、前記レイアウト設定データに従って前記シーン記述データを変換することにより、前記画像オブジェクトの再生形態を変更するよう制御することを特徴とする記録媒体。 - 前記ディジタルデータ列は、第１の方式により符号化された画像オブジェクトと、第２の方式により符号化された画像オブジェクトとを含むディジタルデータ列であることを特徴とする請求項１４に記載の記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02082199A JP4401463B2 (ja) | 1999-01-28 | 1999-01-28 | 放送受信装置及びその方法 |
| EP99309804A EP1018840A3 (en) | 1998-12-08 | 1999-12-07 | Digital receiving apparatus and method |
| US11/466,515 US8081870B2 (en) | 1998-12-08 | 2006-08-23 | Receiving apparatus and method |
| US11/466,631 US7788690B2 (en) | 1998-12-08 | 2006-08-23 | Receiving apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02082199A JP4401463B2 (ja) | 1999-01-28 | 1999-01-28 | 放送受信装置及びその方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000224581A JP2000224581A (ja) | 2000-08-11 |
| JP2000224581A5 JP2000224581A5 (ja) | 2006-03-09 |
| JP4401463B2 true JP4401463B2 (ja) | 2010-01-20 |
Family
ID=12037714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02082199A Expired - Fee Related JP4401463B2 (ja) | 1998-12-08 | 1999-01-28 | 放送受信装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4401463B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7193635B2 (en) | 2001-04-18 | 2007-03-20 | Matsushita Electric Industrial Co., Ltd. | Portable terminal, overlay output method, and program therefor |
| JP2003111078A (ja) * | 2001-09-27 | 2003-04-11 | Fujitsu Ltd | コンテンツ符号化装置、コンテンツ復号化装置、コンテンツ配信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ符号化方法、コンテンツ復号化方法、コンテンツ符号化プログラム、およびコンテンツ復号化プログラム |
| EP1753244B1 (en) * | 2002-01-22 | 2010-04-14 | Microsoft Corporation | Methods and systems for start code emulation prevention and data stuffing |
| US10271069B2 (en) | 2016-08-31 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selective use of start code emulation prevention |
-
1999
- 1999-01-28 JP JP02082199A patent/JP4401463B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000224581A (ja) | 2000-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8081870B2 (en) | Receiving apparatus and method | |
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| US7054539B2 (en) | Image processing method and apparatus | |
| Koenen | MPEG-4 multimedia for our time | |
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| JP3927713B2 (ja) | 放送受信装置およびその方法 | |
| JP4306850B2 (ja) | 放送受信装置およびその方法 | |
| US20030046691A1 (en) | Data processing apparatus and method | |
| US20080260290A1 (en) | Changing the Aspect Ratio of Images to be Displayed on a Screen | |
| JP3803349B2 (ja) | 画像復号化装置および画像復号化方法 | |
| JP4401463B2 (ja) | 放送受信装置及びその方法 | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
| JP7001639B2 (ja) | システム | |
| JP2001016582A (ja) | 画像処理装置およびその方法 | |
| JP2021016190A (ja) | データ出力方法 | |
| KR20050090463A (ko) | 비디오 시퀀스 내에서 에러 전달을 예방하기 위한 방법 및장치 | |
| Puri et al. | Overview of the MPEG Standards | |
| Law et al. | The MPEG-4 Standard for Internet-based multimedia applications | |
| JP6790218B2 (ja) | データ出力方法 | |
| Danielsen | MPEG-4 for DTV | |
| JP6860310B2 (ja) | 放送受信システム | |
| JP2021090224A (ja) | 出力制御方法 | |
| JP2021007273A (ja) | 出力制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060124 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060124 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20060124 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080724 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091026 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091028 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |