JP5744197B2

JP5744197B2 - ウィンドウ合成装置

Info

Publication number: JP5744197B2
Application number: JP2013519242A
Authority: JP
Inventors: 隆文春日; 隆明加瀬; 加藤　義幸; 義幸加藤; 聖崇加藤; 鳥居　晃; 晃鳥居; 雅樹濱田; 栄斉米澤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2011-06-10
Filing date: 2011-06-10
Publication date: 2015-07-08
Anticipated expiration: 2031-06-10
Also published as: CN103608858A; JPWO2012168984A1; US20130321449A1; WO2012168984A1; DE112011105323T5

Description

この発明は、複数のウィンドウを合成して描画するウィンドウ合成装置に関する。

グラフィックス描画では、矩形状等の領域内に図形またはフォント等を描画することによりウィンドウが生成される。この生成された描画済みの複数のウィンドウを合成することにより表示ウィンドウを生成する技術が知られている。この技術によれば、表示ウィンドウの生成に必要な描画済みの複数のウィンドウの何れかに更新が発生した場合に、更新が発生したウィンドウのみを再描画することにより表示ウィンドウを生成できるため、高速な描画が可能である。

グラフィックス描画では、描画する図形またはフォント等といったオブジェクトのマスク処理またはウィンドウ間の前後関係を把握するために、ステンシルバッファが使用される。ステンシルバッファは、グラフィックス描画において、オブジェクト同士の重なりにより描画しなくてよい領域をピクセル単位で制御可能にする。このステンシルバッファを使用することにより、表示ウィンドウの生成に必要な描画済みウィンドウの何れかに更新が発生した場合に、更新が発生したウィンドウのみを再描画し、この再描画したウィンドウのみを表示ウィンドウに合成することにより表示ウィンドウを生成できるので、上述した方式より高速な描画が可能となる。

関連する技術として、特許文献１は、ステンシルバッファに加え、グラフィックス制御プレーンと呼ばれるいくつかのプレーンを用いることにより描画を高速化することができるウィンドウ合成装置を開示している。

特許第３４１３２０１号公報

ところで、グラフィックス描画では、オブジェクトの輪郭を滑らかに表現するためにアンチエイリアス処理を施すことがある。デジタルグラフィックスでは、ピクセル単位よりも細かく描画することができないため、オブジェクトの輪郭にジャギーと呼ばれるギザギザが発生する。アンチエイリアス処理は、ピクセルをサブピクセルに分割することにより、カバレッジ（オブジェクトがピクセルをカバーしている割合）を算出し、背景色とオブジェクト色をカバレッジによりブレンドした色を描画色として描画する処理である。

特許文献１に示された従来のウィンドウ合成装置では、表示ウィンドウの生成に必要な描画済みの複数のウィンドウの何れかに更新が発生し、更新したウィンドウを表示ウィンドウに合成する場合、更新したウィンドウのオブジェクトのうち、他のウィンドウと重なる領域は、前面になるウィンドウのみが描画されるため、背景色が描画されない。このために、アンチエイリアス処理を適用できず、高画質の表示ウィンドウを高速に生成できないという課題がある。

この発明は、上記のような課題を解決するためになされたもので、高画質の表示ウィンドウを高速に生成できるウィンドウ合成装置を提供することを目的とする。

この発明に係るウィンドウ合成装置は、描画済みウィンドウに含まれるピクセルの描画色と前記ピクセルの背景色を当該ピクセルの透明度情報であるα値に基づいてブレンドするブレンド処理を行って前記描画済みウィンドウを表示ウィンドウに合成し、前記表示ウィンドウに合成された前記描画済みウィンドウに更新が発生した場合に、前記表示ウィンドウの前記ブレンド処理が行われたピクセルの前記ブレンド処理後の描画色、前記ブレンド処理に用いた前記描画済みウィンドウのピクセルの描画色、および前記ブレンド処理で用いたα値とから前記ブレンド処理でブレンドされた背景色を算出して、前記更新が発生した描画済みウィンドウのピクセルの描画色と前記算出した背景色のブレンド処理を行う２次元描画エンジンと、２次元描画エンジンにより合成された表示ウィンドウを表示させる表示制御部とを備えたものである。

この発明に係るウィンドウ合成装置によれば、表示ウィンドウを構成するウィンドウが更新される場合に、背景色とのブレンド処理が行われた表示ウィンドウのピクセルについて、ブレンド処理で用いられた背景色と更新されたウィンドウのピクセルの描画色のブレンドを改めて行うことができ、高画質の表示ウィンドウを高速に生成できる。

この発明の実施の形態１に係るウィンドウ合成装置が含まれる画像合成装置の構成を示すブロック図である。この発明の実施の形態１に係るウィンドウ合成装置において行われるウィンドウの描画を説明するための図である。この発明の実施の形態１に係るウィンドウ合成装置において行われる表示ウィンドウの合成を説明するための図である。この発明の実施の形態１に係るウィンドウ合成装置において行われる表示ウィンドウの合成処理を示すフローチャートである。この発明の実施の形態１に係るウィンドウ合成装置において行われる表示ウィンドウの再合成を説明するための図である。この発明の実施の形態１に係るウィンドウ合成装置において行われる表示ウィンドウの再合成処理を説明するためのフローチャートである。この発明の実施の形態１に係るウィンドウ合成装置において使用されるピクセル値の構成を説明するための図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るウィンドウ合成装置が含まれる画像合成装置の構成を示すブロック図である。この画像合成装置は、ウィンドウ合成装置１、ＣＰＵ（Central Processing Unit）２、ＶＲＡＭ（Video Random Access Memory）１０および表示装置１１を備えている。

ウィンドウ合成装置１は、複数のウィンドウを合成して描画する。このウィンドウ合成装置１の詳細は後述する。ＣＰＵ２は、例えば汎用的なマイクロコンピュータから構成されており、ウィンドウ合成装置１に対する描画情報の設定等を行って、ウィンドウ合成装置１の全体を制御する。

ＶＲＡＭ１０は、ウィンドウ合成装置１から送られてくる描画の中間結果および描画結果等を格納するフレームバッファである。表示装置１１は、ウィンドウ合成装置１から送られてくる表示データに従った表示を行う。

次に、ウィンドウ合成装置１の詳細を説明する。ウィンドウ合成装置１は、ＣＰＵ制御部３、２次元（２Ｄ）描画エンジン４、ベクターエンジン５、ピクセル演算部６、ウィンドウ制御部７、ＶＲＡＭ制御部８および表示制御部９を備えている。

ＣＰＵ制御部３は、ＣＰＵ２から送られてくる命令をデコードし、命令の対象となるウィンドウ合成を行うために必要な２次元描画エンジン４、ベクターエンジン５、ピクセル演算部６、ウィンドウ制御部７、ＶＲＡＭ制御部８および表示制御部９に対して各種情報を設定し、これらを制御する。

２次元描画エンジン４は、ＣＰＵ制御部３からの制御に応じて、ＢｉｔＢＬＴ（bit block transfer）またはＦｉｌｌ等といった２次元グラフィックス描画を行う。ベクターエンジン５は、画像を、点の座標とそれを結ぶ線または面の方程式のパラメータおよび塗りつぶしまたは特殊効果等の描画情報として表現されたデータから色のついたピクセルの羅列として表現されたビットマップデータに変換する。

ピクセル演算部６は、ピクセルに対し、カラーキーテスト、αテスト、カラートランスフォーム、αブレンドおよびディザリング等といったピクセル演算を実行する。ウィンドウ制御部７は、ウィンドウ番号の制御を行う。

ＶＲＡＭ制御部８は、ウィンドウ合成装置１の各構成要素によるＶＲＡＭ１０へのアクセスを一元管理する。表示制御部９は、ＶＲＡＭ１０からＶＲＡＭ制御部８を経由して表示データを読み出し、表示装置１１に送る。

なお、図１に示す画像合成装置では、ＣＰＵ２、ＶＲＡＭ１０および表示装置１１は、ウィンドウ合成装置１と別体に設けられているが、これらはウィンドウ合成装置１と一体に構成することもできる。

上記のように構成されるウィンドウ合成装置１の動作を説明する。ＣＰＵ制御部３は、ＣＰＵ２から送られてくる命令に従って２次元描画エンジン４およびベクターエンジン５を起動し、複数のウィンドウを描画させる。この描画により生成された描画データは、ＶＲＡＭ制御部８を介してＶＲＡＭ１０に格納される。また、ウィンドウ制御部７は、ウィンドウを描画する際に、ウィンドウ単位で１つのウィンドウ番号を描画するピクセルに付加する。

表示ウィンドウを生成する場合、２次元描画エンジン４は、ＶＲＡＭ１０に格納されている描画済みウィンドウを読み出し、ウィンドウ番号が付加されているピクセルのみを表示ウィンドウに合成する。この際、アンチエイリアス処理の対象となるピクセルにアンチエイリアス処理の対象であることを示すブレンドフラグが付加される。

表示ウィンドウを構成する描画済みウィンドウに更新が発生した場合、２次元描画エンジン４は、更新された描画済みウィンドウをＶＲＡＭ１０から読み出し、表示ウィンドウのピクセルに付加されているウィンドウ番号と描画済みウィンドウのピクセルに付加されているウィンドウ番号を比較し、一致した場合にのみピクセル値を更新する。この場合、更新が発生したウィンドウのピクセルのうち、表示面に現われるピクセルのみが表示ウィンドウに再合成される対象となる。また、ウィンドウ番号が一致したピクセルのうちブレンドフラグが付加されているピクセルにはブレンド処理が施される。

図２は、ウィンドウ合成装置１において行われるウィンドウの描画を説明するための図である。大きい矩形がウィンドウ全体を示し、微小矩形がピクセルを示している。微小矩形内の数字は各ピクセルのウィンドウ番号を示している。描画前は、全ピクセルのウィンドウ番号は「０」である。描画の際は、描画するウィンドウを構成するピクセルのウィンドウ番号のみが更新される。このウィンドウ合成装置１では、描画するウィンドウ毎に同一のウィンドウ番号が付加される。図２に示す例では、ウィンドウ１のウィンドウ番号を「１」としている。このため、描画したピクセルのウィンドウ番号は「１」となる。

図３は、ウィンドウ合成装置１において行われる表示ウィンドウの合成を説明するための図である。図４は、ウィンドウ合成装置１において行われる表示ウィンドウの合成処理を示すフローチャートである。表示ウィンドウの合成では、まず、ウィンドウ１がＢｉｔＢＬＴで表示ウィンドウに合成される。次いで、ウィンドウ２（図示しない）がＢｉｔＢＬＴで表示ウィンドウに合成されることにより、表示ウィンドウが完成する。このＢｉｔＢＬＴの際に、全ピクセルに対して図４に示すフローチャートが適用される。

表示ウィンドウの合成処理では、まず、ＳＲＣピクセルのリードが行われる（ステップＳＴ１１）。すなわち、ＢｉｔＢＬＴの転送元となる描画済みウィンドウのピクセルであるＳＲＣ（source）ピクセルがＶＲＡＭ（フレームバッファ）１０から読み出される。

次いで、ステップＳＴ１１で読み出されたピクセルのウィンドウ番号（描画ＳＷ）がＢｉｔＢＬＴ中のウィンドウに割り当てられているウィンドウ番号（ＳＷ）と一致しているかどうかが調べられる（ステップＳＴ１２）。このステップＳＴ１２において、一致していないことが判断されると、そのピクセルは描画する必要がないので、シーケンスはステップＳＴ１７に進む。

一方、ステップＳＴ１２において、一致していることが判断されると、α値が「１」であるかどうかが調べられる（ステップＳＴ１３）。すなわち、ステップＳＴ１１で読み出されたピクセルの透明度情報であるα値が「１」であるか否かが調べられる。このステップＳＴ１３において、α値が「１」であることが判断されると、シーケンスはステップＳＴ１６に進む。すなわち、アンチエイリアス処理では、α値が「１」である場合は、背景色と描画色のαブレンドを実施しなくてよいため、ＳＲＣピクセル値がそのままＤＳＴ（destination）ピクセル値として表示ウィンドウに描画される。

一方、ステップＳＴ１３において、α値が「１」でないことが判断されると、ブレンド合成が行われる（ステップＳＴ１４）。すなわち、アンチエイリアス処理による背景色と描画色のブレンド合成が行われてＤＳＴピクセル値が算出される。次いで、ウィンドウ番号が更新される（ステップＳＴ１５）。すなわち、ブレンド合成が行われたピクセル値にブレンドフラグを付加するためにウィンドウ番号が更新される。図３に示す例では、ブレンド合成を行ったピクセルにブレンドフラグを付加するためにウィンドウ番号が「３」に更新されている。その後、シーケンスはステップＳＴ１６に進む。

ステップＳＴ１６においては、ＤＳＴピクセルライトが行われる。すなわち、ＤＳＴピクセル値が表示ウィンドウに描画される。その後、シーケンスはステップＳＴ１７に進む。

ステップＳＴ１７においては、全ピクセルに対する処理が完了したかどうかが調べられる。このステップＳＴ１７において、全ピクセルに対する処理が完了していないことが判断されると、シーケンスはステップＳＴ１１に戻り、上述した処理が繰り返される。一方、全ピクセルに対する処理が完了したことが判断されると、表示ウィンドウの合成処理は終了する。

ここで、上述したステップＳＴ１４で行われるブレンド合成は、例えば、下記式（１）で表すことができる。
Ｄｒ’＝Ｓｒ×α＋Ｄｒ×（１−α）
Ｄｇ’＝Ｓｇ×α＋Ｄｇ×（１−α）・・・（１）
Ｄｂ’＝Ｓｂ×α＋Ｄｂ×（１−α）
ここで、
Ｄｒ：ＤＳＴピクセルＲ成分、
Ｄｇ：ＤＳＴピクセルＧ成分、
Ｄｂ：ＤＳＴピクセルＢ成分、
Ｓｒ：ＳＲＣピクセルＲ成分、
Ｓｇ：ＳＲＣピクセルＧ成分、
Ｓｂ：ＳＲＣピクセルＢ成分、
Ｄｒ’：ＤＳＴピクセルＲ成分（演算後）、
Ｄｇ’：ＤＳＴピクセルＧ成分（演算後）、
Ｄｂ’：ＤＳＴピクセルＢ成分（演算後）である。

上述した図４のフローチャートに示すウィンドウ合成処理を実行することにより、表示ウィンドウの各ピクセルがどの描画済みウィンドウのピクセル値を使用しているか否かを判別することが可能となる。さらに、表示ウィンドウの複数のピクセルのうちアンチエイリアス処理によりブレンドが適用されたピクセルを判別することが可能となる。

図５は、ウィンドウ合成装置１において行われる表示ウィンドウの再合成を説明するための図であり、表示ウィンドウとして合成される複数のウィンドウのうち、ウィンドウ１が更新された場合の例を示している。

図６は、ウィンドウ合成装置１において行われる表示ウィンドウの再合成処理を示すフローチャートである。表示ウィンドウの再合成処理では、まず、ＳＲＣピクセルのリードが行われる（ステップＳＴ２１）。すなわち、ウィンドウ１のピクセルであるＳＲＣピクセルがＶＲＡＭ（フレームバッファ）１０から読み出される。

次いで、ステップＳＴ１１で読み出されたＳＲＣピクセルのウィンドウ番号（描画ＳＷ）と更新されたウィンドウのウィンドウ番号（ＳＷ）が一致しているかどうかが調べられる（ステップＳＴ２２）。このステップＳＴ２２で一致していないことが判断された場合、シーケンスはステップＳＴ２８に進む。図５に示す例では、ウィンドウ１の合成であるので、「ＳＷ＝１」となる。したがって、ＳＲＣピクセルのウィンドウ番号が「１」でない場合に、シーケンスはステップＳＴ２８に進む。

一方、ステップＳＴ２２で一致していることが判断された場合、ＤＳＴピクセル値リードが行われる（ステップＳＴ２３）。すなわち、表示ウィンドウのピクセル値であるＤＳＴピクセル値が読み出される。

次いで、ＤＳＴピクセルのウィンドウ番号（ＤＷ）が、ブレンドフラグが付加されているウィンドウ番号（ＢＷ）に一致するかどうか、つまり、ＤＳＴピクセルにブレンドフラグが付加されているかどうかが調べられる（ステップＳＴ２４）。図５に示す例の場合、ブレンドフラグが付加されているピクセルはウィンドウ番号が「３」になっているピクセルである。

このステップＳＴ２４において、ＤＳＴピクセルにブレンドフラグが付加されていることが判断されると、次いで、ブレンド処理が行われる（ステップＳＴ２５）。すなわち、アンチエイリアス処理による背景色と描画色のブレンド合成が行われてＤＳＴピクセル値が算出される。その後、シーケンスはステップＳＴ２７に進む。

一方、ステップＳＴ２４において、ＤＳＴピクセルにブレンドフラグが付加されていないことが判断されると、次いで、ＤＳＴピクセルのウィンドウ番号（ＤＷ）が描画済みウィンドウのウィンドウ番号（ＳＷ）と一致するかどうかが調べられる（ステップＳＴ２６）。図５に示す例の場合、表示ウィンドウのピクセルのウィンドウ番号が「１」であるかどうかが調べられる。

このステップＳＴ２６において、一致しないことが判断されると、描画がキャンセルされ、シーケンスはステップＳＴ２８に進む。一方、ステップＳＴ２６において、一致することが判断されると、ウィンドウ１のピクセル値がＤＳＴピクセル値とされ、シーケンスはステップＳＴ２７に進む。

ステップＳＴ２７においては、ＤＳＴピクセル値ライトが行われる。すなわち、ＤＳＴピクセルが表示ウィンドウに描画される。その後、シーケンスはステップＳＴ２８に進む。

ステップＳＴ２８においては、全ピクセルに対する処理が完了したかどうかが調べられる。このステップＳＴ２８において、全ピクセルに対する処理が完了していないことが判断されると、シーケンスはステップＳＴ２１に戻り、上述した処理が繰り返される。一方、全ピクセルに対する処理が完了したことが判断されると、表示ウィンドウの再合成処理は終了する。

以上の処理により、ウィンドウ合成にアンチエイリアス処理を適用することが可能となっている。

ここで、上述したステップＳＴ２５で行われる再合成のブレンド処理は、例えば、下記式（２）で表すことができる。この式（２）は、逆ブレンド演算により元の背景色を算出する式とブレンドにより描画色を生成する式を１つにまとめている。
Ｄｒ’＝Ｄｒ＋（Ｓｒ’−Ｓｒ）×α
Ｄｇ’＝Ｄｇ＋（Ｓｇ’−Ｓｇ）×α・・・（２）
Ｄｂ’＝Ｄｂ＋（Ｓｂ’−Ｓｂ）×α
ここで、
Ｄｒ：ＤＳＴピクセルＲ成分、
Ｄｇ：ＤＳＴピクセルＧ成分、
Ｄｂ：ＤＳＴピクセルＢ成分、
Ｓｒ：ＳＲＣピクセルＲ成分（更新前ウィンドウ）、
Ｓｇ：ＳＲＣピクセルＧ成分（更新前ウィンドウ）、
Ｓｂ：ＳＲＣピクセルＢ成分（更新前ウィンドウ）、
Ｄｒ’：ＤＳＴピクセルＲ成分（演算後）、
Ｄｇ’：ＤＳＴピクセルＧ成分（演算後）、
Ｄｂ’：ＤＳＴピクセルＢ成分（演算後）、
Ｓｒ’：ＳＲＣピクセルＲ成分（更新後ウィンドウ）、
Ｓｇ’：ＳＲＣピクセルＧ成分（更新後ウィンドウ）、
Ｓｂ’：ＳＲＣピクセルＢ成分（更新後ウィンドウ）である。

以上のように、更新したウィンドウのオブジェクトの輪郭のうち、ウィンドウの重なりがあるピクセルについては、逆ブレンド演算により背景色を算出し、改めて背景色とオブジェクト色のブレンドを行うことにより、正しい描画色を算出できる。

図７は、ウィンドウ合成装置１において使用されるピクセル値の構成を説明するための図である。今日使われている一般的なピクセルフォーマットはＡＲＧＢフォーマットである。Ａはα値、Ｒ、ＧおよびＢはカラー値であり、それぞれ色成分の赤、青および緑を示している。ＷＡＲＧＢフォーマットを適用することにより、ウィンドウ合成時のフレームバッファに対するアドレス生成を容易にすることが可能となる。

ピクセル値をＡＲＧＢフォーマットとした場合、α値およびカラー値（ＡＲＧＢ）のアドレス生成とは別に、ウィンドウ番号（Ｗ）が格納されているアドレスを生成する必要がある。例えば、従来のウィンドウ合成装置においては、カラーバッファとステンシルバッファを別々のバッファとして備えているために、アドレスデコードが複雑になり、ひいてはウィンドウの合成処理が難しくなるという課題があった。これに対し、本発明の実施の形態１の構成によれば、ＷＡＲＧＢフォーマットを適用することにより、アドレス生成を１回にすることが可能になり、ウィンドウの合成処理を容易にすることができる。

今日、ＶＲＡＭとして使用されるＳＤＲＡＭ−ＳＤＲＭ、ＤＤＲ２−ＳＤＲＭ、ＤＤＲ３−ＳＤＲＡＭ等の大半はデータ幅が１６ビットまたは３２ビットである。このため１ピクセルを３２ビットとし、ＷＡＲＧＢフォーマットの各成分に３２ビットを割り当てることにより、さらにアドレス生成が簡易になる。例えば、Ｗ＝４ビット、Ａ＝４ビット、Ｒ＝８ビット、Ｇ＝８ビット、Ｂ＝８ビットと振り分ける。なお、振り分け方はこれに限定されず任意である。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ウィンドウ合成装置、２ＣＰＵ、３ＣＰＵ制御部、４２次元描画エンジン、５ベクターエンジン、６ピクセル演算部、７ウィンドウ制御部、８ＶＲＡＭ制御部、９表示制御部、１０ＶＲＡＭ、１１表示装置。

Claims

描画済みウィンドウに含まれるピクセルの描画色と前記ピクセルの背景色を当該ピクセルの透明度情報であるα値に基づいてブレンドするブレンド処理を行って前記描画済みウィンドウを表示ウィンドウに合成し、前記表示ウィンドウに合成された前記描画済みウィンドウに更新が発生した場合に、前記表示ウィンドウの前記ブレンド処理が行われたピクセルの前記ブレンド処理後の描画色、前記ブレンド処理に用いた前記描画済みウィンドウのピクセルの描画色、および前記ブレンド処理で用いたα値とから前記ブレンド処理でブレンドされた背景色を算出して、前記更新が発生した描画済みウィンドウのピクセルの描画色と前記算出した背景色のブレンド処理を行う２次元描画エンジンと、
前記２次元描画エンジンにより合成された表示ウィンドウを表示させる表示制御部
とを備えたウィンドウ合成装置。
ウィンドウの描画されるピクセルにウィンドウ単位でウィンドウ番号を付加するウィンドウ制御部を備え、
前記２次元描画エンジンは、前記描画済みウィンドウを前記表示ウィンドウに合成する際に、前記描画済みウィンドウ中の前記ウィンドウ番号が付加されているピクセルのみを前記表示ウィンドウに合成することを特徴とする請求項１記載のウィンドウ合成装置。
前記ピクセルのカラー値、前記α値、および前記ウィンドウ番号を含み１つのアドレスによって指定されるピクセル値が格納されるフレームバッファを備えた
ことを特徴とする請求項２記載のウィンドウ合成装置。
前記２次元描画エンジンは、前記表示ウィンドウを構成する複数の前記描画済みウィンドウのうちの１つに更新が発生した際に、更新が発生したウィンドウのピクセルのうち、表示面に現われるピクセルのみを前記表示ウィンドウに再合成することを特徴とする請求項１から請求項３のいずれか一項に記載のウィンドウ合成装置。