JP4462132B2

JP4462132B2 - 画像特殊効果装置，グラフィックスプロセッサ，プログラム

Info

Publication number: JP4462132B2
Application number: JP2005195221A
Authority: JP
Inventors: 彰博高島; 雅昭志野; 琢横山; 英之清水
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-07-04
Filing date: 2005-07-04
Publication date: 2010-05-12
Anticipated expiration: 2025-07-04
Also published as: CN100481890C; US7843461B2; JP2007013874A; US20070002048A1; CN1893564A

Description

本発明は、テクスチャマッピングによってビデオデータを任意の形状に変形するための画像特殊効果装置や、その画像特殊効果装置で使用するグラフィックスプロセッサ等に関する。

放送・業務用のノンリニア編集システムを構成する装置の一つに、画像特殊効果装置（エフェクタ）が存在する。放送・業務用の画像特殊効果装置は、ビデオデータ（動画データ）に対して、ハードウェア回路によって拡大，縮小，回転等の変形処理を施す装置である。

従来の放送・業務用の画像特殊効果装置では、ハードウェア規模の大型化や高価格化を避けるため、メーカ側が変形パターンを予め何通りかに限定しており、その限定されたパターンでのみ変形を施すことが可能になっている。

一方、コンピュータグラフィックスの分野では、比較的安価な画像処理専用プロセッサであるグラフィックスプロセッサを使用して、テクスチャマッピングという画像変形手法が行われている。テクスチャマッピングは、仮想３次元空間上にポリゴンを組み合わせて作成したモデルに、画像（テクスチャ）を貼り付ける手法である。

グラフィックスプロセッサには、周知のように、ジオメトリ処理を担当する頂点シェーダ（Vertex Shader）と、レンダリング処理を担当するピクセルシェーダ（Pixel Shader）とが搭載されている。そして近年は、これらのシェーダがプログラマブルになったグラフィックスプロセッサが主流になりつつある。

ところで、テクスチャマッピングでは、表示画面上でのモデルのサイズ（このサイズは、視点からモデルまでの距離に応じて縮小される）によっては、貼り付けたテクスチャの縁が表示画面のピクセルに沿ってギザギザに見える現象であるエイリアシングが発生する。グラフィックスプロセッサでは、このエイリアシングを抑制するためにミップマップ方式を採用している。ミップマップ方式は、同じ画像を離散的な複数通りの縮小率（１，１／２，１／４，１／８，…）で縮小したテクスチャを予めメモリに格納しておき、表示画面上でのモデルの縮小率に近い縮小率のテクスチャを選択する方式である（例えば、特許文献１参照）。

特開２００２−８３３１６号公報（段落番号０００４）

従来の放送・業務用の画像特殊効果装置では、前述のように、変形パターンが限定されており、ユーザが任意に変形パターンを決定することは不可能である。

そして、ビデオデータを任意の形状に変形するためのハードウェア回路を放送・業務用の画像特殊効果装置に追加しようとすると、ハードウェア規模の大型化や高価格化を招いてしまう。

これに対し、コンピュータグラフィックス分野で使用されているグラフィックスプロセッサでは、テクスチャマッピングによって画像を任意の形状に変形することができる。しかし、グラフィックスプロセッサは、次の（１）〜（４）の理由から、放送・業務分野でビデオデータを処理するのには適していない。

（１）ミップマップ方式による画質劣化
ミップマップ方式では、表示画面上でのモデルの縮小率が予め用意したテクスチャの縮小率と一致しない場合には、エイリアスを十分に抑制することができない。そのため、放送・業務分野で要求される画質を満たさない。

（２）色空間変換による画質劣化
グラフィックスプロセッサは、ＲＧＢ色空間の画像データを処理するように構成されている。このため、放送・業務分野で扱われるＹＵＶ（輝度・色差）空間のビデオデータにテクスチャマッピングを施すためには、グラフィックスプロセッサの入力段と出力段で、色空間の変換処理（ＹＵＶ空間からＲＧＢ空間への変換と、ＲＧＢ空間からＹＵＶ空間への変換）を行う必要がある。しかし、ＹＵＶ空間とＲＧＢ空間とでは表現できる色の範囲が異なるため、色空間変換を行ったときに、入力映像と同じ画像を得られる保証がない。

（３）画像データの解像度の制約
グラフィックスプロセッサでは、８ビットまでの解像度の画像データしか処理することができない。そのため、放送・業務分野で主流となっている１０ビットの高画質なビデオデータを処理することができない。

（４）処理速度の制約
グラフィックスプロセッサでは、ビデオデータの解像度が高い場合、ビデオデータをテクスチャとして格納するメモリへのアクセスに要する時間が長くなるので、ビデオデータをリアルタイムに処理することが困難になる。

本発明は、上述の点に鑑み、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、且つ、ハードウェア規模の大型化や高価格化を招くことなく、テクスチャマッピングによってビデオデータを任意の形状に変形できるようにすることを課題としてなされたものである。

本発明は、プログラム可能なシェーダを搭載するとともに、画像データとして所定ビットずつのＲ，Ｇ，Ｂの情報と所定ビットずつの透明度を表す情報αとを出力するためのディスプレイインタフェースを設けたグラフィックスプロセッサと、制御部と、ビデオデータとしてＹＵＶ（輝度・色差）信号が供給され、ハードウェア回路で構成されるビデオ処理ブロックと含んでおり、このグラフィックスプロセッサは、仮想３次元空間上でのモデルの形状の情報が供給されることに応じて、この仮想３次元空間の座標を表示画面上の２次元座標に変換し、この表示画面に貼り付ける画像のテクスチャ座標と、この表示画面上でのモデルの縮小率とを算出する処理と、このテクスチャ座標及び縮小率の情報を、Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当ててディスプレイインタフェースから出力する処理とを実行するようにプログラムされており、この制御部は、グラフィックスプロセッサのディスプレイインタフェースから出力されたＲ，Ｇ，Ｂ，αのビットのうちこのテクスチャ座標及び縮小率の情報が割り当てられたビットからこのテクスチャ座標及び縮小率の情報を再構築し、このビデオ処理ブロックは、供給されたビデオデータを、この制御部によって再構築されたこの縮小率の情報に応じたプリフィルタ係数でフィルタリングするプリフィルタと、このプリフィルタでフィルタリングされたビデオデータが書き込まれるメモリと、この制御部によって再構築されたこのテクスチャ座標の情報をリードアドレスとして、このメモリからビデオデータを読み出すテクスチャメモリコントローラとを備えた画像特殊効果装置である。

また本発明は、このグラフィックスプロセッサや、プログラム可能なシェーダを搭載した既存のグラフィックスプロセッサをこのグラフィックスプロセッサとして機能させるプログラムである。

本発明では、テクスチャマッピングの処理のうち、画質に関係しない処理である、画像の変形形状等に関する情報（テクスチャ座標及び縮小率）を算出・出力する処理は、既存のプログラム可能なグラフィックスプロセッサをプログラムすることによって行う。

すなわち、従来からの一般的なグラフィックスプロセッサの使用方法では、テクスチャ座標や縮小率の情報はグラフィックスプロセッサの内部でのみ利用され、グラフィックスプロセッサからは最終的に変形された画像データとして所定ビットずつのＲ，Ｇ，Ｂの情報と所定ビットの透明度を表す情報αとがディスプレイインタフェースから出力されるのに対し、テクスチャ座標や縮小率の情報そのものを、Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて、グラフィックスプロセッサのディスプレイインタフェースから出力するようにプログラムする。

こうしたテクスチャ座標や縮小率の情報の算出・出力処理に要する時間は、ビデオデータの解像度にかかわらず一定であり、リアルタイムに処理することが十分可能である。

他方、画質に関係する処理であるビデオデータ自体に対する処理は、グラフィックスプロセッサの出力情報に基づき、ハードウェア回路で構成されたビデオ処理ブロックによって行う。

すなわち、制御部により、グラフィックスプロセッサのディスプレイインタフェースから出力されたＲ，Ｇ，Ｂ，αのビットのうちテクスチャ座標及び縮小率の情報が割り当てられたビットから、テクスチャ座標及び縮小率の情報が再構築される。
ビデオ処理ブロックでは、供給されたビデオデータであるＹＵＶ（輝度・色差）信号）が、制御部によって再構築された縮小率の情報に応じてフィルタリング（縮小）される。そして、このフィルタリングされたビデオデータがメモリに書き込まれた後、制御部によって再構築されたテクスチャ座標の情報をリードアドレスとしてこのメモリからビデオデータが読み出されることにより、ビデオデータが表示画面上のモデルに貼り付けられる。したがって、表示画面上でのモデルの縮小率に応じて最適にプリフィルタリングされたビデオデータが貼り付けられるので、十分にエイリアスを抑制することができる。

また、このようにグラフィックスプロセッサとは別のハードウェア回路でビデオデータを処理することにより、ＹＵＶ空間の画像データをそのまま（ＲＧＢ空間に変換することなく）処理することや、１０ビットの高画質なビデオデータを処理することが可能になる。

これにより、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、テクスチャマッピングによってビデオデータを変形することができる。

また、画像の変形形状等に関する情報のほうは、比較的安価なグラフィックスプロセッサを使用して算出するので、ハードウェア規模の大型化や高価格化を招くことなく、ビデオデータを任意の形状に変形することができる。

本発明によれば、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、且つ、ハードウェア規模の大型化や高価格化を招くことなく、テクスチャマッピングによってビデオデータを任意の形状に変形することができるという効果が得られる。

以下、本発明を図面を用いて具体的に説明する。図１は、本発明に係る画像特殊効果装置の構成例を示すブロック図である。この画像特殊効果装置１は、テレビ放送局等においてノンリニア編集システムの一部として用いられる装置である。画像特殊効果装置１は、操作パネル２と、ＣＰＵ３と、グラフィックスプロセッサ４と、バッファメモリ５と、４系統のビデオ処理ブロック６と、重畳回路７と、小型メモリカード用のスロット８と、ネットワーク通信用の通信インタフェース９とを含んでいる。グラフィックスプロセッサ４は、画像特殊効果装置１の筐体の表面に設けられたグラフィックスプロセッサ用のスロット（図示略）に装着されている。各ビデオ処理ブロック６には、それぞれ１台ずつＶＴＲ５１（５１（１）〜５１（４））が接続されている。

操作パネル２では、３次元コンピュータグラフィックス用のアプリケーションソフトウェアを利用して、仮想３次元空間上でのモデルの作成や、テクスチャとして用いるビデオデータ（最大４系統）の指定や、各種パラメータ（モデルの表面の属性，視点，光源，透明度，表示画面の解像度，テクスチャスペース，複数系統のビデオデータを重畳する場合の奥行き方向の位置関係等）の設定を行う。

ＣＰＵ３は、操作パネル２の操作等に基づき、画像特殊効果装置１の各部を制御するとともに、各ＶＴＲ５１を制御する。

グラフィックスプロセッサ４は、プログラム可能なシェーダを搭載した既存の（市販されている）グラフィックスプロセッサである。ただし、このグラフィックスプロセッサ４は、プログラムされた処理の内容に特徴を有している。

図２は、グラフィックスプロセッサ４の構成の概要を示すブロック図である。グラフィックスプロセッサ４には、外部のＣＰＵとの間でデータを送受信するためのＡＧＰインタフェース１１と、ジオメトリ処理を担当する頂点シェーダ（Vertex Shader）１２と、レンダリング処理を担当するピクセルシェーダ（Pixel Shader）１３と、メモリインタフェース１４と、画像データ（８ビットずつのＲ，Ｇ，Ｂの情報と、透明度を表す８ビットの情報α）を出力するためのディスプレイインタフェース１５とが設けられている。

この画像特殊効果装置１におけるグラフィックスプロセッサ４の処理を説明する前に、従来からの一般的な使用方法でグラフィックスプロセッサ４を使用した場合のグラフィックスプロセッサ４の処理を、図３を用いて説明する。

外部のＣＰＵから、作成されたモデルを構成するポリゴンの頂点情報や各種パラメータが供給されると、頂点シェーダ１２が、仮想３次元空間の座標を、表示画面上の２次元座標（スクリーン座標）に変換する（ステップＳ１）。そして、表示画面のピクセル単位で、表示画面上のモデルに貼り付ける画像のテクスチャ座標Ｘ，Ｙと、表示画面上でのモデルの縮小率ｓとを算出する（ステップＳ２）。なお、ステップＳ２では、光源が設定されている場合には、光源処理のためのライティング（lighting）係数Ｌもピクセル単位で算出し、複数系統のテクスチャが指定されている場合には、それらのテクスチャの奥行き方向の位置関係を示す奥行き情報Ｚもピクセル単位で算出する。

続いて、ピクセルシェーダ１３が、メモリインタフェース１４を介して、外部のメモリ（ＤＲＡＭ）にミップマップ方式で格納されているテクスチャのうち縮小率ｓに近い縮小率のテクスチャを、座標Ｘ，Ｙをリードアドレスとして読み出す（ステップＳ３）。そして、そのテクスチャのＲ，Ｇ，Ｂデータをディスプレイインタフェース１５から出力する（ステップＳ４）。なお、ステップＳ４では、パラメータとして透明度が設定されている場合には透明度情報αもディスプレイインタフェース１５から出力する。

これに対し、この画像特殊効果装置１におけるグラフィックスプロセッサ４の処理は、図４に示す通りである。

操作パネル２の操作によってモデルの作成とパラメータの設定とが行われると、ＣＰＵ３は、作成されたモデルを構成するポリゴンの頂点情報と、設定されたパラメータと、グラフィックスプロセッサ４から出力すべき情報を指示するＩＤとを、グラフィックスプロセッサ４のＡＧＰインタフェース１１（図２）に供給する。

なお、このＩＤで指示される情報には、テクスチャ座標の情報と、表示画面上でのモデルの縮小率の情報とが必ず含まれる。さらに、パラメータとして光源が設定されている場合には、光源処理のためのライティング係数も含まれる。さらに、複数系統のビデオデータを重畳する場合の奥行き方向の位置関係がパラメータとして設定されている場合には、その位置関係を示す奥行き情報も含まれる。

ＣＰＵ３からこれらの情報，パラメータ及びＩＤが供給されると、頂点シェーダ１２が、仮想３次元空間の座標を、表示画面上の２次元座標（スクリーン座標）に変換する（ステップＳ１１）。そして、表示画面のピクセル単位で、表示画面上のモデルに貼り付ける画像のテクスチャ座標Ｘ，Ｙと、表示画面上でのモデルの縮小率ｓとを算出する（ステップＳ１２）。なお、ステップＳ１２では、光源が設定されている場合には、ライティング係数Ｌもピクセル単位で算出し、複数系統のビデオデータが指定されている場合には、それらのビデオデータの奥行き方向の位置関係を示す奥行き情報Ｚもピクセル単位で算出する。

このステップＳ１１，Ｓ１２までの処理は、図３のステップＳ１，Ｓ２までの処理と同様である。図５は、ステップＳ１１で変換されたスクリーン座標（表示画面）上のモデルと、ステップＳ１２で算出されたテクスチャ座標とを例示する図である。この例では、表示画面上の波形のモデル６１の表示位置に、テクスチャ空間のうちの斜線で囲んだ部分のテクスチャ座標の画像が貼り付けられる。

続いて、ピクセルシェーダ１３が、ＣＰＵ３からのＩＤで指示されたテクスチャ座標，縮小率等の情報を、Ｒ，Ｇ，Ｂ，αのビットに割り当てる（ステップＳ１３）。すなわち、頂点シェーダ１２によって算出されたテクスチャ座標Ｘ，Ｙ及び縮小率ｓの情報は、必ずこれらのビットに割り当てる。また、ライティング係数や奥行き情報がこのＩＤで指示されている場合には、頂点シェーダ１２によって算出されたライティング係数Ｌや奥行き情報Ｚも、Ｒ，Ｇ，Ｂ，αのビットに割り当てる。

そして、Ｒ，Ｇ，Ｂ，αのビットに割り当てたこれらの情報を、ディスプレイインタフェース１５から出力する（ステップＳ１４）。

図６は、このステップＳ１３でのテクスチャ座標Ｘ，Ｙの割当ての様子を例示する図である。この例では、３２ビット浮動小数点方式で算出されたテクスチャ座標Ｘ，Ｙを、整数部１４ビット、小数部４ビットの１８ビット固定小数点方式に変換して、Ｒの下位２ビットと、Ｇの８ビットと、Ｂの８ビットとに分割して割り当てている。縮小率ｓも（ライティング係数Ｌや奥行き情報Ｚが算出されている場合にはそれらも）、同様にしてＲの残りのビットやαのビットに割り当てる。

このようにして、グラフィックスプロセッサ４は、表示画面のピクセル単位のテクスチャ座標Ｘ，Ｙ，縮小率ｓ等の情報を、ディスプレイインタフェース１５から出力するようにプログラムされている。なお、このプログラムを、例えばＣＤ−ＲＯＭのようなパッケージメディアとして有償または無償で配布するようにすれば、ユーザは、既に自分が所有しているグラフィックスプロセッサを、この画像特殊効果装置１におけるグラフィックスプロセッサ４として使用することが可能になる。

図１に示すように、グラフィックスプロセッサ４から出力されたピクセル単位のテクスチャ座標Ｘ，Ｙ，縮小率ｓ等の情報は、バッファメモリ５に送られる。

バッファメモリ５には、ＣＰＵ３による初期化処理として、表示画面の全ピクセルに対応する記憶領域に、表示画面の背景部分（図５の例では背景６２）の明るさ及び色を示す１０ビットのＹＵＶ（輝度・色差）信号の値が書き込まれている。そして、この初期化されているバッファメモリ５に、グラフィックスプロセッサ４からのテクスチャ座標Ｘ，Ｙ，縮小率ｓ等の情報が上書きされる。したがって、バッファメモリ５内の記憶領域のうち、テクスチャ座標Ｘ，Ｙ，縮小率ｓ等の情報を上書きされなかったピクセル（＝表示画面の背景部分のピクセル）に対応する記憶領域には、この初期化値としてのＹＵＶ信号の値がそのまま残る。

なお、バッファメモリ５には、スロット８によって小型メモリカードから読み出した情報や、通信インタフェース９によってネットワーク経由で受信した情報も、上書きすることが可能になっている。

図７は、各ビデオ処理ブロック６の構成を示すブロック図である。ビデオ処理ブロック６は、ハードウェア回路で構成されており、プリフィルタ部２１と、テクスチャメモリコントローラ２２と、テクスチャメモリ２３と、補間回路２４と、光源処理回路２５と、同期分離回路２６とが設けられている。プリフィルタ部２１は、フィルタ係数算出回路２７と、Ｈ方向プリフィルタ２８と、ＨＶスキャンコンバータ２９と、Ｖ方向プリフィルタ３０とで構成されている。

プリフィルタ部２１及び同期分離回路２６には、各ビデオ処理ブロック６に接続されているＶＴＲ５１（図１）で再生されたビデオデータ（１０ビットのＹＵＶ（輝度・色差）信号）が供給される。同期分離回路２６は、このビデオデータから垂直同期信号ｖｓを分離し、その垂直同期信号ｖｓを図１のＣＰＵ３に送る。

ＣＰＵ３は、この垂直同期信号ｖｓに同期して、ビデオデータの１フレーム毎に、バッファメモリ５から表示画面の全ピクセルに対応する記憶領域の記憶情報を順次読み出す。

ＣＰＵ３は、初期化値（背景のＹＵＶ信号の値）以外の値が読み出されたピクセルについては、ＣＰＵ３内部のＲＡＭを用いて、テクスチャ座標Ｘ，Ｙ，縮小率ｓ，ライティング係数Ｌ，奥行き情報Ｚを再構築する。すなわち、例えば図６のようにテクスチャ座標Ｘ，ＹがＲの下位２ビットとＧの８ビットとＢの８ビットとに分割して割り当てられている場合には、それらのビットからテクスチャ座標Ｘ，Ｙを再構築する。

ＣＰＵ３は、このようにして再構築した情報のうち、テクスチャ座標Ｘ，Ｙの情報を各ビデオ処理ブロック６のテクスチャメモリコントローラ２２（図７）に供給し、縮小率ｓの情報を各ビデオ処理ブロック６のプリフィルタ部２１（図７）に供給し、ライティング係数Ｌを各ビデオ処理ブロック６の光源処理回路２５（図７）に供給し、奥行き情報Ｚを重畳回路７に供給する。

また、ＣＰＵ３は、初期化値（背景のＹＵＶ信号の値）が読み出されたピクセルについては、その初期化値のデータをそのまま各ビデオ処理ブロック６のテクスチャメモリコントローラ２２に供給する。

図７に示すように、各ビデオ処理ブロック６のプリフィルタ部２１では、フィルタ係数算出回路２７が、ＣＰＵ３（図１）からの縮小率ｓに応じてビデオデータを縮小するためのフィルタ係数Ｆを算出し、そのフィルタ係数ＦをＨ方向プリフィルタ２８及びＶ方向プリフィルタ３０に与える。

Ｈ方向プリフィルタ２８は、ＶＴＲ５１（図１）から供給されたビデオデータを、このフィルタ係数Ｆでフィルタリング（画面水平方向にフィルタリング）して、ＨＶスキャンコンバータ２９に送る。

ＨＶスキャンコンバータ２９は、内部のメモリに１フレーム分のビデオデータを書き込んだ後、そのメモリから画面垂直方向に各ピクセルのデータを読み出すことにより、ビデオデータをスキャンコンバートする。そして、スキャンコンバートしたビデオデータをＶ方向プリフィルタ３０に送る。

Ｖ方向プリフィルタ３０は、このビデオデータをフィルタ係数Ｆでフィルタリング（画面垂直方向にフィルタリング）する。

Ｖ方向プリフィルタ３０でフィルタリングされたビデオデータは、プリフィルタ部２１からテクスチャメモリコントローラ２２に送られる。

テクスチャメモリコントローラ２２は、このビデオデータをテクスチャメモリ２３に書き込んだ後、ＣＰＵ３（図１）からのテクスチャ座標Ｘ，Ｙをリードアドレスとして、テクスチャメモリ２３から表示画面のピクセル毎のビデオデータを読み出す（表示画面の解像度とビデオデータの解像度とが等しい場合には、表示画面のピクセルに対応する画素位置のデータを読み出す。表示画面の解像度がビデオデータの解像度よりも高い場合には、表示画面のピクセルの近傍の複数（４つまたは８つ）の画素位置のデータを読み出す）。そして、読み出したビデオデータを補間回路２４に送る。

ただし、表示画面のピクセルのうち、ＣＰＵ３（図１）から初期化値（背景のＹＵＶ信号の値）のデータが供給されたピクセルについては、テクスチャメモリコントローラ２２は、テクスチャメモリ２３の読出しを行わず、その初期化値をそのまま補間回路２４に送る。

補間回路２４は、表示画面の１つのピクセルに対して複数の画素位置のデータが送られた場合（前述のように表示画面の解像度がビデオデータの解像度よりも高い場合）には、それらの複数のデータを直線補間することにより、表示画面のピクセルに対応したデータを生成する。そして、生成したデータを光源処理回路２５に送る。それ以外の場合には、補間回路２４は、テクスチャメモリ２３から送られたデータをそのまま光源処理回路２５に送る。

光源処理回路２５は、表示画面のピクセルのうち、ＣＰＵ３（図１）からライティング係数Ｌが供給されたピクセルについては、補間回路２４からのビデオデータに対して、このライティング係数Ｌに応じた光源処理（反射光や影の表現）を行う。それ以外のピクセルについては、光源処理回路２５は、補間回路２４から送られたビデオデータをそのまま出力する。

各ビデオ処理ブロック６の光源処理回路２５から出力されたビデオデータは、図１に示すように、重畳回路７に供給される。重畳回路７は、ＣＰＵ３（図１）から奥行き情報Ｚが供給される場合には、この奥行き情報Ｚに応じて、各ビデオ処理ブロック６からの複数系統（最大４系統）のビデオデータを重畳する。それ以外の場合（すなわち１つのビデオ処理ブロック６からのみビデオデータが供給される場合）には、重畳回路７は、供給されたビデオデータをそのまま出力する。

重畳回路７から出力されたビデオデータ（１０ビットのＹＵＶ信号）は、画像特殊効果装置１に接続された画像記録装置やモニタ等（図示略）に送られる。

以上に説明したように、この画像特殊効果装置１では、テクスチャマッピングの処理のうち、画質に関係しない処理である、画像の変形形状等に関する情報（テクスチャ座標Ｘ，Ｙ，縮小率ｓ，ライティング係数Ｌ，奥行き情報Ｚ）を算出・出力する処理は、既存のプログラム可能なグラフィックスプロセッサ４をプログラムすることによって行う。

すなわち、従来からの一般的なグラフィックスプロセッサの使用方法では、テクスチャ座標や縮小率等の情報はグラフィックスプロセッサの内部でのみ利用され、グラフィックスプロセッサからは最終的に変形された画像データが出力されるのに対し、テクスチャ座標や縮小率等の情報そのものをグラフィックスプロセッサ４のディスプレイインタフェース１５から出力するようにプログラムする。

こうしたテクスチャ座標や縮小率等の情報の算出・出力処理に要する時間は、ビデオデータの解像度にかかわらず一定であり、リアルタイムに処理することが十分可能である。

他方、画質に関係する処理であるビデオデータ自体に対する処理は、グラフィックスプロセッサ４の出力情報に基づき、ハードウェア回路で構成されたビデオ処理ブロック６によって行う。ビデオ処理ブロック６では、入力したビデオデータが、プリフィルタ部２１において、グラフィックスプロセッサ４からの縮小率ｓの情報に応じてフィルタリング（縮小）される。そして、テクスチャメモリ２３に書き込まれた後、グラフィックスプロセッサ４からのテクスチャ座標Ｘ，Ｙの情報をリードアドレスとしてテクスチャメモリ２３からビデオデータが読み出される（グラフィックスプロセッサ４からライティング係数Ｌや奥行き情報Ｚも出力された場合には、それらの情報に応じて光源処理や重畳回路７での重畳処理が施される）ことにより、ビデオデータが表示画面上のモデルに貼り付けられる。したがって、表示画面上でのモデルの縮小率に応じて最適にプリフィルタリングされたビデオデータが貼り付けられるので、十分にエイリアスを抑制することができる。

また、このようにグラフィックスプロセッ４とは別のハードウェア回路であるビデオ処理ブロック６でビデオデータを処理することにより、ＹＵＶ空間のビデオデータをそのまま（ＲＧＢ空間に変換することなく）処理することや、１０ビットの高画質なビデオデータを処理することが可能になる。

また、画像の変形形状等に関する情報のほうは、比較的安価なグラフィックスプロセッサ４を使用して算出するので、ハードウェア規模の大型化や高価格化を招くことなく、ビデオデータを任意の形状に変形することができる。

さらに、例えばグラフィックスプロセッサ４と同じプログラムを行ったグラフィックスプロセッサを搭載したパーソナルコンピュータにより、オフライン（画像特殊効果装置１が近くにない状態）でテクスチャ座標Ｘ，Ｙや縮小率ｓ等を算出し、その後、その算出した情報を小型メモリカードやネットワークを介して画像特殊効果装置１に供給し（スロット８によって小型メモリカードから読み出してバッファメモリ５に書き込んだり、通信インタフェース９で受信してバッファメモリ５に書き込み）、その情報に基づいて画像特殊効果装置１のビデオ処理ブロック６で実際にビデオデータを貼り付けることもできる。したがって、テクスチャマッピングのためのワークフローを改善することもできる。

なお、以上の例では、画像特殊効果装置１に４系統のビデオ処理ブロック６を設けているが、ビデオ処理ブロック６の系統数を３系統以下にしたり５系統以上にしてもよいことはもちろんである。

本発明に係る画像特殊効果装置の構成例を示すブロック図である。図１のグラフィックスプロセッサの構成の概要を示すブロック図である。従来からの一般的な使用方法でのグラフィックスプロセッサの処理を示す図である。図１の画像特殊効果装置におけるグラフィックスプロセッサの処理を示す図である。スクリーン座標上のモデルと、そのモデルに貼り付ける画像のテクスチャ座標とを例示する図である。図４の処理におけるＲ，Ｇ，Ｂのビットへのテクスチャ座標の割当ての様子を例示する図である。図１のビデオ処理ブロックの構成を示すブロック図である。

符号の説明

１画像特殊効果装置、２操作パネル、３ＣＰＵ、４グラフィックスプロセッサ、５バッファメモリ、６ビデオ処理ブロック、７重畳回路、８小型メモリカード用のスロット、９通信インタフェース、１１ＡＧＰインタフェース、１２頂点シェーダ、１３ピクセルシェーダ、１４メモリインタフェース、１５ディスプレイインタフェース、２１プリフィルタ部、２２テクスチャメモリコントローラ、２３テクスチャメモリ、２４補間回路、２５光源処理回路、２６同期分離回路、２７フィルタ係数算出回路、２８Ｈ方向プリフィルタ、２９ＨＶスキャンコンバータ、３０Ｖ方向プリフィルタ、５１（１）〜５１（４）ＶＴＲ、６１表示画面上のモデル、６２表示画面の背景

Claims

プログラム可能なシェーダを搭載するとともに、画像データとして所定ビットずつのＲ，Ｇ，Ｂの情報と所定ビットの透明度を表す情報αとを出力するためのディスプレイインタフェースを設けたグラフィックスプロセッサと、
制御部と、
ビデオデータとしてＹＵＶ（輝度・色差）信号が供給され、ハードウェア回路で構成されるビデオ処理ブロックと
を含んでおり、
前記グラフィックスプロセッサは、
仮想３次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想３次元空間の座標を表示画面上の２次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する処理と、
前記テクスチャ座標及び前記縮小率の情報を、前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力する処理と
を実行するようにプログラムされており、
前記制御部は、
前記グラフィックスプロセッサの前記ディスプレイインタフェースから出力された前記Ｒ，Ｇ，Ｂ，αのビットのうち前記テクスチャ座標及び前記縮小率の情報が割り当てられたビットから前記テクスチャ座標及び前記縮小率の情報を再構築し、
前記ビデオ処理ブロックは、
供給された前記ビデオデータを、前記制御部によって再構築された前記縮小率の情報に応じたプリフィルタ係数でフィルタリングするプリフィルタと、
前記プリフィルタでフィルタリングされたビデオデータが書き込まれるメモリと、
前記制御部によって再構築された前記テクスチャ座標の情報をリードアドレスとして、前記メモリからビデオデータを読み出すテクスチャメモリコントローラと
を備えた
画像特殊効果装置。
請求項１に記載の画像特殊効果装置において、
前記グラフィックスプロセッサは、
光源処理における係数を算出する処理をさらに実行し、前記係数の情報も前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力するようにプログラムされており、
前記制御部は、
前記グラフィックスプロセッサの前記ディスプレイインタフェースから出力された前記Ｒ，Ｇ，Ｂ，αのビットのうち前記係数の情報が割り当てられたビットから前記係数の情報も再構築し、
前記ビデオ処理ブロックは、
前記メモリから読み出されたビデオデータに対し、前記制御部によって再構築された前記係数に応じた光源処理を行う光源処理回路
をさらに備えた
画像特殊効果装置。
請求項１または２に記載の画像特殊効果装置において、
前記グラフィックスプロセッサは、
複数系統のビデオデータを重畳して表示する場合の奥行き方向の情報を算出する処理をさらに実行し、前記奥行き方向の情報も前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力するようにプログラムされており、
前記制御部は、
前記グラフィックスプロセッサの前記ディスプレイインタフェースから出力された前記Ｒ，Ｇ，Ｂ，αのビットのうち前記奥行き方向の情報が割り当てられたビットから前記奥行き方向の情報も再構築し、
前記ビデオ処理ブロックは、
複数系統のビデオデータを並列して処理するために前記プリフィルタ，前記メモリ及び前記テクスチャメモリコントローラを複数系統備えるとともに、各系統の前記メモリから読み出されたビデオデータを、前記制御部によって再構築された前記奥行き方向の情報に応じて重畳する重畳回路をさらに備えた
画像特殊効果装置。
プログラム可能なシェーダを搭載するとともに、画像データとして所定ビットずつのＲ，Ｇ，Ｂの情報と所定ビットの透明度を表す情報αとを出力するためのディスプレイインタフェースを設けたグラフィックスプロセッサにおいて、
仮想３次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想３次元空間の座標を表示画面上の２次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する処理と、
前記テクスチャ座標の情報及び前記縮小率の情報を、前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力する処理とを実行するようにプログラムされた
グラフィックスプロセッサ。
請求項４に記載のグラフィックスプロセッサにおいて、
光源処理における係数を算出する処理をさらに実行し、前記係数の情報も前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力するようにプログラムされた
グラフィックスプロセッサ。
請求項４または５に記載のグラフィックスプロセッサにおいて、
複数系統のビデオデータを重畳して表示する場合の奥行き方向の情報を算出する処理をさらに実行し、前記奥行き方向の情報も前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力するようにプログラムされた
グラフィックスプロセッサ。
プログラム可能なシェーダを搭載するとともに、画像データとして所定ビットずつのＲ，Ｇ，Ｂの情報と所定ビットの透明度を表す情報αとを出力するためのディスプレイインタフェースを設けたグラフィックスプロセッサに、
仮想３次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想３次元空間の座標を表示画面上の２次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する手順と、
前記テクスチャ座標の情報及び前記縮小率の情報を、前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力する手順と
を実行させるためのプログラム。
請求項７に記載のプログラムにおいて、
前記グラフィックスプロセッサに、
光源処理における係数を算出する処理をさらに実行し、前記係数の情報も前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力する手順
を実行させるためのプログラム。
請求項７または８に記載のプログラムにおいて、
前記グラフィックスプロセッサに、
複数系統のビデオデータを重畳して表示する場合の奥行き方向の情報を算出する処理をさらに実行し、前記奥行き方向の情報も前記Ｒ，Ｇ，Ｂ，αのうちのいずれかのビットに分割して割り当てて前記ディスプレイインタフェースから出力する手順
を実行させるためのプログラム。