JPH10257454A - グラフィクス生成装置 - Google Patents

Abstract

(57)【要約】 【課題】ＭＰＥＧデコーダの出力に３次元グラフィクス
をオンスクリーン表示する際に、高速でかつＡ／Ｖとの
同期の精度が良いシステムが求められていた。 【解決手段】複数個の専用プロセサにグラフィクス表示
の負荷を分担させ、それらをＭＰＥＧ表示系のタイミン
グで動作させることにより、同期表示とパイプライン動
作を実現。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はグラフィクスの生成
装置に関する。

【０００２】

【従来の技術】ＭＰＥＧ等のディジタル圧縮符号化技術
により、テレビジョン信号の情報量を削減し、伝送チャ
ネルを有効活用したディジタル衛星放送が実用化されて
いる。伝送はＭＰＥＧシステム規格であるトランスポー
トストリーム（以下ＴＳ）形式が用いられ、映像と音声
の組を基調としたプログラム（番組）がパケット化さ
れ、これらが一つの伝送チャネル内に複数組多重化され
る。伝送される情報がディジタルデータであることか
ら、放送業者が映像、音声に加えて番組ガイド情報を付
加的に送り、視聴者であるユーザが画面上に表示された
番組表からチャネル選択や番組予約をすることが可能に
なるなど、従来のアナログ地上波の放送には無かった新
しいサービスも含まれている。

【０００３】一方、ディジタル映像を記録する蓄積メデ
ィアではＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅ
Ｄｉｓｃ：ディジタル多目的ディスク）に代表される光
ディスクにＭＰＥＧ圧縮された映像と音声をシステムを
ＭＰＥＧシステムで定義されたプログラムストリーム
（ＰＳ）形式が用いられ、単一プログラムにサブピクチ
ャと呼ばれるグラフィック画像、テキストデータなどの
付加情報を多重できるデータ構造になっている。

【０００４】テレビジョンやＶＴＲ等の民生用映像機器
で、映像とグラフィックデータを多重する、いわゆるオ
ンスクリーンディスプレイ（以下ＯＳＤ）は初期のチャ
ネル番号等を表示する簡単なものから１６色程度のカラ
ー表示へ、またディジタル衛星放送受信機では番組ガイ
ドを２５６色カラーで表示可能なものも存在する。現在
ではパーソナルコンピュータのアプリケーションにおけ
る傾向と同じく３次元表示を行うことによりユーザによ
り直感的なインタフェースを提供することを目指す方向
にある。放送または蓄積メディアをソースとする動画像
と音声にグラフィックを重畳する場合には各出力の同期
を考慮せねばならず、少なくともＬｉｐＳｙｎｃの精度
は求められると予想される。というのは、例えば、ＭＰ
ＥＧ動画上の人物とグラフィックで生成されたアニメー
ションが会話をする等のアプリケーションが想定される
からである。同期に関するパラメータとしてＭＰＥＧシ
ステム規格では映像や音声エレメントの表示時刻を規定
するプレゼンテーションタイムスタンプ（Ｐｒｅｓｅｎ
ｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：ＰＴＳ）あるい
はデコーディングタイムスタンプ（Ｄｅｃｏｄｉｎｇ
Ｔｉｍｅ Ｓｔａｍｐ：ＤＴＳ）が基準時刻であるプロ
グラムクロックリファレンス（Ｐｒｏｇｒａｍ Ｃｌｏ
ｃｋ Ｒｅｆｅｒｅｎｃｅ：ＰＣＲ、ＴＳの場合）また
はシステムクロックリファレンス（Ｓｙｓｔｅｍ Ｃｌ
ｏｃｋ Ｒｅｆｅｒｅｎｃｅ：ＳＣＲ、ＰＳの場合）の
上で設定可能である。

【０００５】また、実時間で動作する３次元のグラフィ
ックを生成するには、通常ポリゴンの集合で表現される
物体の頂点座標および頂点におけるＲＧＢ振幅、すなわ
ち、色の計算（以下ジオメトリ計算と略す）および計算
された座標値と色から各ポリゴンの表面を陰影と陰面処
理を施しながら描画するレンダリング処理を高速に行う
必要がある。

【０００６】図２に３次元グラフィック機能を有するデ
ィジタル放送受信用ＭＰＥＧデコーダの構成例を示す。
複数組のプログラムが多重されたＴＳパケットはデマル
チプレクサ１に入力され、パケットバッファ２に一旦蓄
えられた後、ユーザが選択するプログラムに属するビデ
オエレメントとオーディオエレメントがフィルタリング
されてＭＰＥＧビデオ／オーディオデコーダ４へ送ら
れ、システム制御情報、番組ガイドに必要な情報または
グラフィクス表示に関連する実行可能なプログラムデー
タがマイクロプロセサ５のデータバスを介してメインメ
モリ６へ送られる。番組ガイドを表示するためのデータ
の構成は例えば特開平８−７０４５１号公報に記載され
た方法に従えばよい。図３は時間軸上でのパケットを模
式的に示したものである。固定長ＴＳパケットのヘッダ
にはパケットの属性を表すパケットＩＤ（ＰＩＤ）が含
まれ、デマルチプレクサ１はこのＰＩＤによりフィルタ
リングを行う。ＭＰＥＧビデオ／オーディオデコーダ４
に送るデータはＴＳパケットからヘッダを取り除いたペ
イロード部分であり、ＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥ
ｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ：パケット化エレメ
ンタリストリーム）を構成している。ＰＥＳはＰＥＳヘ
ッダを先頭にした可変長パケットであり、ＰＥＳヘッダ
に続くアクセスユニット、すなわちビデオであればピク
チャ、オーディオであればオーディオフレームのデコー
ド時刻ＤＴＳおよび／または表示時刻ＰＴＳをＰＥＳヘ
ッダに含んでいる。ＭＰＥＧビデオ／オーディオデコー
ダ４はこれらの時間情報を用いて映像出力と音声出力信
号の同期再生を行う。また時刻の基準となるＰＣＲに関
しては、ＴＳパケットのヘッダにＰＣＲを含むものがプ
ログラムを構成するパケットの中に少なくとも１種類あ
り、デマルチプレクサがＰＣＲ値からシステムクロック
の再生を行う。ＭＰＥＧビデオ／オーディオデコーダ４
は接続されたデコーダメモリ３を用いて圧縮されたＭＰ
ＥＧビデオ／オーディオデータを一時保管し、デコード
およびデコードされたデータを表示するためのバッファ
リングを行う。デコードされた映像信号はレンダリング
／混合回路７でグラフィクスと混合される。デコードさ
れた音声信号は音声出力となる。マイクロプロセサはメ
インメモリ６に蓄えた番組ガイドに必要な情報またはグ
ラフィクス表示に関連する実行可能なプログラムデータ
を用いて３次元グラフィクスに必要なジオメトリ計算お
よびテクスチャ（模様）データの構築を行う。描画すべ
き３次元オブジェクトは予め決められている場合と、伝
送される実行可能なプログラムから生成する場合がある
が、ともにオブジェクトを空間座標を頂点とするポリゴ
ンに分割する。オブジェクトの位置は実行プログラムに
よる指示またはユーザインタフェース１１からの指示、
例えば、リモコンやマウス等のポインティングデバイス
による指示により回転や平行移動が加えられる。次にユ
ーザの視点と光源を設定し、頂点における反射強度の計
算が行われる。さらにマイクロプロセサ５はポリゴンに
貼付するテクスチャデータをメインメモリ６から転送
し、ポリゴン頂点とテクスチャデータのアドレスとの対
応を設定する。通常、図２の例のようにマイクロプロセ
サ５はここまでのジオメトリ計算を担当することが一般
的である。その理由は前述のように伝送される実行プロ
グラムやユーザからの入力によりオブジェクトの形状お
よび位置を柔軟に変化させられるためである。マイクロ
プロセサ５は計算したポリゴン描画パラメータをレンダ
リング／混合回路７に供給する。レンダリング回路７は
各ポリゴンについて線分の両端の座標と色を計算し、走
査線方向に画素の補間を行いながらフレームバッファ８
に対して描画を行う。あるいはポリゴンに貼付すべきテ
クスチャのアドレス値を計算しテクスチャバッファ１０
からテクスチャデータを読み出すことにより描画を行
う。Ｚバッファ９は画素の奥行きに相当する数値を保管
するバッファであり、視点に対して最も手前にある画素
に対してのみ描画を行うためのスイッチの役割を果た
す。これにより陰面処理が施される。フレームバッファ
８は２フレーム分の容量を有し、描画が完成したフレー
ムについてＲＧＢから色差ＹＵＶへデータ変換とＭＰＥ
Ｇデコードされた映像との混合の後、出力される。未完
成のフレームについては表示を見合わせ、旧フレームを
繰り返し表示する。

【０００７】

【発明が解決しようとする課題】ところが従来の方法で
は、第一にグラフィクスの描画および表示タイミングは
ＭＰＥＧと独立しており、時刻が特定されないため動画
像と同期したグラフィクス表示を要求するアプリケーシ
ョンに対応できないという問題と、第二に上記を実現す
るにはグラフィクス描画に対する余裕度を確保する必要
があるが、ジオメトリ計算など複数の処理を一つのマイ
クロプロセサで行うためデータバスのトラフィックが速
度を決める主要因となっており、これに対してはバス幅
拡大と周波数増加以外の手段で高速化を図りにくいとい
う問題があった。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、ストリーム解析を行うプロセサとジオメトリ計算を
行うプロセサとテクスチャを生成するプロセサとポリゴ
ンを描画するプロセサを設け、ＭＰＥＧデコードの時間
基準であるシステムクロックを発生するカウンタとグラ
フィクスの表示タイミングを決定するディスプレイ制御
回路を設ける。ここで四つのプロセサは各々の処理に関
する命令コードを保持するメモリとメモリをアクセスす
るための独立のデータバスを有し、ＭＰＥＧデコーダの
表示系タイミング信号が供給される。さらにポリゴンを
描画するプロセサは描画するフレームに付随するＤＴＳ
値とカウンタが供給する現在時刻とを比較することによ
り描画処理の開始を決定する手段を有し、ディスプレイ
制御回路は表示するフレームに付随するＰＴＳ値と現在
時刻との比較することにより表示の開始を決定する手段
を有する。

【０００９】

【発明の実施の形態】本発明の実施例を図面を用いて説
明する。図１は実施の一例を表すブロック図である。デ
マルチプレクサ１はＴＳパケットを受信し、内部のパケ
ット同期回路１０１にてヘッダを検索し、ＰＩＤフィル
タ回路１０２にて所望のストリームを抽出する。ビデオ
およびオーディオストリームはＭＰＥＧビデオ／オーデ
ィオデコード回路４へ送られ、システム制御情報、番組
ガイドに必要な情報またはグラフィクス表示に関連する
実行可能なプログラムデータはＴＳパケットのヘッダを
含んだ形でパケットバッファ２に蓄積される。

【００１０】ストリーム解析プロセサ５１はパケットバ
ッファ２から読み出したストリームデータをインストラ
クションメモリ６３内のストリーム解析コードにしたが
って解析し、結果をテーブルとしてサービス情報データ
バッファ６１へ格納する。パケットバッファ２はデュア
ルポートメモリで構成し、書込みアドレスと読出しアド
レスが独立に入力可能な構成であってもよいし、書込み
優先に設定したうえで読出し制御を読出しリクエストに
対するアクノレッジ信号の組み合わせ等のハードウエア
手段により行ってもよい。メモリアクセスのタイミング
はＭＰＥＧビデオ／オーディオデコード回路４から供給
される表示系のフレーム／フィールドパルスを基準に行
う。したがってパケットバッファ２の容量は平均入力レ
ートに最大待ち時間を掛け合わせたビット量以上である
必要がある。これに関しては後述するが、プロセサレベ
ルでのパイプライン動作およびシステム全体での同期動
作に係わる。パケットデータの入出力とストリーム解析
コードの読出しは独立の信号線を用いるので両者のアク
セスが競合することはない。これはストリーム解析プロ
セサ５１がＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃ
ｔｉｏｎ ＳｅｔＣｏｍｐｕｔｅｒ）構造の場合にパイ
プライン処理の乱れが少なく、処理の高速化に寄与す
る。信号線のビット幅は命令が固定長の場合にはその命
令語と同じにしておけば１サイクル１命令の関係が常に
保たれる。解析コードは伝送された実行形式のプログラ
ムにより置換することも可能、すなわち、ダウンローダ
ブルである。選択した番組独自の解析プログラムで効率
よくプロセサを利用できることになる。ＴＳパケットの
ヘッダがＰＣＲを含む場合にはシステムクロックカウン
タ１２の内容を更新する。システムクロックカウンタ１
２はデマルチプレクサ１で再生されるシステムクロック
２７ＭＨｚまたはその分周クロックで動作させるため、
デマルチプレクサ１でのＰＣＲと略同一に保たれてい
る。システムクロックカウンタ１２のカウンタ値は後段
のＰＣＲを必要とする各プロセッサおよびＭＰＥＧビデ
オ／オーディオデコード回路４へ供給する。さらにスト
リーム解析プロセサ５１はユーザが選択する番組に属す
るＰＩＤの組をデマルチプレクサ１に供給する。これは
ユーザインタフェース１１からの入力により番組／チャ
ネル切り替えが指示された場合に必須の動作である。

【００１１】ジオメトリ計算プロセサ５２はサービス情
報データバッファ６１から番組情報あるいは描画すべき
３次元オブジェクトのデータを読み出し、ポリゴンの設
定と頂点データの計算を行う。ストリーム解析プロセサ
５１と同様に専用線で接続されたインストラクションメ
モリ６４内のジオメトリ計算コードに従い、またユーザ
インタフェース１１からの指示によってオブジェクトの
形状や位置に変更を加えながら頂点座標および色の計算
を行う。メモリアクセスのタイミングはＭＰＥＧビデオ
／オーディオデコード回路４から供給される表示系のフ
レーム／フィールドパルスを基準に行う。計算結果をポ
リゴン描画パラメータバッファ６２にテーブルとして格
納する。グラフィクスの表示領域はこの段階で決定する
ため、ジオメトリ計算プロセサ５２は必要に応じてＭＰ
ＥＧビデオ／オーディオデコード回路４にパン／スキャ
ン用パラメータを供給し、例えばＭＰＥＧビデオ信号の
中心部がグラフィクスに隠れることを防止するような制
御も可能である。

【００１２】テクスチャ生成プロセサ５３はジオメトリ
計算プロセサ５２と同様にサービス情報データバッファ
６１から番組情報あるいは伝送されたテクスチャデータ
を読み出し、インストラクションメモリ６５内のテクス
チャ生成コードに従ってポリゴンに貼付すべきテクスチ
ャを生成する。番組名などの文字列をポリゴンに貼付す
る場合にはフォントデータからビットマップに展開し、
テクスチャバッファ１０にインデクスとともに格納す
る。ここでサービス情報データバッファ６１からの読出
しに関してはジオメトリ計算プロセサ５２と読出し側デ
ータバスを共有しているため、アクセス権の調停が必要
となる。一つの方法として両者を信号線で直結し、ラウ
ンドロビン式に優先権を受け渡し可能にするやり方があ
る。また、データバッファ６１側で両者からのリクエス
トを受けてアクノレッジ信号をトグル式に出す方法もあ
る。メモリアクセスのタイミングはＭＰＥＧビデオ／オ
ーディオデコード回路４から供給される表示系のフレー
ム／フィールドパルスを基準に行う。

【００１３】ポリゴン描画プロセサ７０はインストラク
ションメモリ７１内のポリゴン描画コードに従い、ポリ
ゴン描画パラメータバッファ６２とテクスチャバッファ
１０から必要に応じてデータを読出しながらフレームバ
ッファ８に対して描画を行う。この際、Ｚバッファ中に
書き込んだ各画素の奥行きデータを参照し陰面処理す
る。メモリアクセスのタイミングはＭＰＥＧビデオ／オ
ーディオデコード回路４から供給される表示系のフレー
ム／フィールドパルスを基準に行うが、グラフィクスフ
レーム（ビデオにおけるピクチャに相当）にＤＴＳが付
随しているならばシステムクロックカウンタ１２のＰＣ
Ｒ値と比較しＤＴＳ時刻の近くまで描画を行わなくする
こともできる。これによりビデオおよびオーディオとの
同期出力の調整が可能である。

【００１４】フレームメモリ８からの読出しはディスプ
レイ制御回路７２が行う。読出しタイミングはＭＰＥＧ
ビデオ／オーディオデコード回路４から供給され、デコ
ーダメモリ３内のフレームバッファかビデオデータを読
み出すタイミングと共通である。２フレームの容量を持
つフレームメモリ８により描画途中のグラフィクスが読
み出されることがないように制御されるが、読み出され
るフレームにＰＴＳが付随している場合には同期合わせ
のために同一フレームの連続読出しや未完成フレームの
読出しも行える。これによりビデオおよびオーディオと
の同期出力が得られる。読み出したグラフィックデータ
はＲＧＢ／ＹＵＶ変換回路７３にてフォーマット変換を
施され、画素混合回路７４でＭＰＥＧビデオデータに混
合または重畳され、映像出力を得る。

【００１５】図４は五つのグラフィクス生成に係わる処
理を時間軸で並べたものである。１コマが１フレームを
表しその半分、すなわち、フィールド期間の前半を前段
バッファからのデータ読出し、後半を後段バッファへの
書込み期間と定義すれば読み書きの衝突は起こらずバッ
ファ６１、６２および１０は通常のシングルポートメモ
リでよく、バス調停のための制御回路も不要である。図
４はフルアニメーショングラフィクスであっても個々の
プロセサが１フレーム期間内で処理を終えられれば描画
が可能であることを示している。

【００１６】

【発明の効果】複数のプロセサを設け、処理をＭＰＥＧ
の表示系のタイミングを基準に行うことにより、並列処
理によるパイプライン効果が期待でき、ＭＰＥＧ出力と
グラフィクス出力の同期管理が行える。

【図面の簡単な説明】

【図１】本発明における実施の一例を示すブロック図。

【図２】従来例を示すブロック図。

【図３】パケットのフィルタリングに関する説明図。

【図４】プロセサ間のパイプライン動作を示すタイミン
グチャート。

【符号の説明】

１…デマルチプレクサ、 ２…パケットバッファ、 ４…ＭＰＥＧビデオ／オーディオデコーダ、 ５１…ストリーム解析プロセサ、 ５２…ジオメトリ計算プロセサ、 ５３…テクスチャ生成プロセサ、 ５４…ポリゴン描画プロセサ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】時間軸を共有し１組の番組を形成するビデ
   オ／オーディオ信号の組が圧縮符号化され、番組情報お
   よびオンスクリーン表示のためのデータとともに多重化
   されたデータストリームから上記ビデオ／オーディオ信
   号を復号し、ビデオ信号出力にオンスクリーン表示を行
   う装置において、 第一のメモリ手段に蓄えられた解析コードに従ってスト
   リームの内容を解析し、番組情報およびオンスクリーン
   表示のためのデータを第一のバッファに格納する第一の
   プロセサと、第二のメモリ手段に蓄えられた計算コード
   に従って上記格納された番組情報およびオンスクリーン
   表示のためのデータからオンスクリーン表示の姿態を計
   算し描画パラメータを第二のバッファに格納する第二の
   プロセサと、第三のメモリ手段に蓄えられた生成コード
   に従って上記格納された番組情報およびオンスクリーン
   表示のためのデータからオンスクリーン表示において用
   いるテクスチャを生成し第三のバッファに格納する第三
   のプロセサと、第四のメモリ手段に蓄えられた描画コー
   ドに従って上記格納された描画パラメータおよびテクス
   チャからポリゴンをフレームメモリに描画する第四のプ
   ロセサを有し、 上記第一から第四のプロセサが各々処理を開始するタイ
   ミングは上記ビデオ／オーディオ信号の表示タイミング
   に同期していることを特徴とするグラフィクス生成装
   置。
2. 【請求項２】請求項１において、上記第一、第二および
   第三のバッファへの書込みタイミングと上記バッファか
   らの読出しタイミングは各プロセサ間で同一であるグラ
   フィクス生成装置。
3. 【請求項３】請求項１において、上記オンスクリーン表
   示のタイミングは上記オンスクリーン表示のためのデー
   タにタイムスタンプとして含まれ、上記ビデオ／オーデ
   ィオ信号の表示タイミングよりも優先されて表示される
   グラフィクス生成装置。