JP6726946B2 - レンダリング方法、レンダリング装置及び電子装置 - Google Patents

Description

本発明は、レンダリング方法、レンダリング装置及び電子装置に関する。

３Ｄ（three-dimensional）グラフィックスＡＰＩ（application program interface）標準としては、OpenＧＬ、OpenＧＬ ＥＳまたはDirect ３などがある。ＡＰＩ標準は、各フレームに対するレンダリング（rendering）を行い、映像を表示する方法を含む。

レンダリングは、幾何処理（geometry processing）段階と、ピクセル処理（pixel processing）段階とに区分される。幾何処理は、三次元空間に含まれたオブジェクトを、複数のプリミティブに分割する過程であり、ピクセル処理は、分割されたプリミティブの色相を決める過程である。

米国特許公開第２０１１／０１４８８９２号公報 米国特許公開第２０１１／０１４８９１９号公報

各フレームに対するレンダリングを行うとき、多くの演算が行われ、多くの電力が消耗される。従って、レンダリングを行うとき、演算量を減らし、メモリに接続（access）する回数を減らす必要がある。

本発明が解決しようとする課題は、ＧＰＵ（graphics processing unit）でレンダリングされたイメージについて、ディスプレイのピクセルパターンによって、ディスプレイが必要とするピクセル情報のみをフレームバッファに出力することにより、フレームバッファアクセスを最小化するレンダリング方法及びその装置を提供することである。

本発明が解決しようとする課題はまた、前記方法をコンピュータで実行させるためのプログラムを記録した記録媒体を提供することである。

なお、本実施形態がなすべき技術的課題は、前記のような技術的課題に限定されるものではなく、以下の実施形態から他の技術的課題が類推されもする。

一実施形態によるレンダリング方法は、レンダリングされたイメージを表示する装置のピクセルパターン情報を入力される段階と、前記入力されたピクセルパターン情報に相応するように、前記レンダリングされたイメージのピクセルパターンを生成する段階と、前記生成されたピクセルパターンを基に、前記レンダリングされたイメージのピクセル値をフレームバッファに出力する段階と、を含む。

前記レンダリング方法は、前記レンダリングされたイメージの少なくとも１つのタイルに係わるピクセル値を、前記生成されたピクセルパターンに相応するピクセル値として保存する段階をさらに含み、前記ピクセルパターンに相応するように保存されたピク セル値を、前記フレームバッファに出力することができる。
前記レンダリング方法は、前記タイルの開始座標値を基準に、前記ピクセルパターンを生成することができる。

前記レンダリング方法は、前記レンダリングされたイメージに該当するフレームが、前記装置に出力されるフレームであるか、他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を入力される段階をさらに含み、前記イメージ属性情報によって、前記レンダリングされたイメージのピクセルパターンを生成することができる。

前記レンダリング方法は、前記レンダリングされたイメージが、他のフレームのレンダリングに使用されるテクスチャフレームである場合、前記ピクセルパターンを利用して、前記レンダリングされたイメージの最初ピクセルパターンに復元することができる。
前記レンダリング方法は、前記レンダリングされたイメージを表示する装置のディスプレイコントローラにバイパス信号を出力することができる。

前記レンダリングされたイメージを表示する装置は、ペンタイル（PenTile）基盤ディスプレイ装置でもある。

他の実施形態によるレンダリング方法は、タイル基盤でレンダリングされた任意のフレームに係わる少なくとも１つのタイルを入力される段階と、前記少なくとも１つのタイルに係わる第１ピクセルパターンを、前記レンダリングされた任意のフレームを表示するディスプレイ装置のピクセルパターン情報に相応する第２ピクセルパターンに変換する段階と、前記変換された第２ピクセルパターンによる前記タイルに係わるピクセル値をフレームバッファに出力する段階と、を含む。

前記レンダリング方法は、前記変換された第２ピクセルパターンによる前記任意のフレームに係わる複数のタイルに係わるピクセル値を保存する段階を含み、前記ピクセルパターンに相応するように保存されたピクセル値を、前記フレームバッファに出力することができる。

前記レンダリング方法は、前記タイルの開始座標値を基準に、前記第２ピクセルパターンを生成することができる。

前記複数のタイルに係わる前記第２ピクセルパターンへの変換が終了した場合、前記任意のフレームについて保存されたピクセル値を、前記フレームバッファに出力することができる。

さらに他の実施形態によるレンダリング装置は、レンダリングされたイメージを表示する装置のピクセルパターン情報を入力されるレンダリング制御部と、前記入力されたピクセルパターン情報に相応するように、前記レンダリングされたイメージのピクセルパターンを生成するピクセルパターン生成部と、を含み、前記レンダリング制御部は、前記ピクセルパターン生成部で生成されたピクセルパターンをフレームバッファに出力する。

前記レンダリング装置は、前記レンダリングされたイメージの少なくとも１つのタイルに係わるピクセル値を、前記生成されたピクセルパターンに相応するピクセル値として保存するレイアウトバッファをさらに含み、前記レンダリング制御部は、前記レイアウトバッファに保存されたピクセルパターンに相応するピクセル値を、前記フレームバッファに出力することができる。

前記ピクセルパターン生成部は、前記タイルの開始座標値を基準に、前記ピクセルパターンを生成することができる。

前記レンダリング制御部は、前記レンダリングされたイメージに該当するフレームが、前記装置に出力されるフレームであるか、他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を入力され、前記ピクセルパターン生成部は、前記イメージ属性情報によって、前記レンダリングされたイメージのピクセルパターンを生成することができる。

前記レンダリング制御部は、前記レンダリングされたイメージが、他のフレームのレンダリングに使用されるテクスチャフレームである場合、前記ピクセルパターンを利用して、前記レンダリングされたイメージの最初ピクセルパターンに復元することができる。

前記レンダリング制御部は、前記レンダリングされたイメージを表示する装置のディスプレイコントローラにバイパス信号を出力することができる。

さらに他の実施形態による電子装置は、ホストプロセッサと、ディスプレイ装置と、前記ホストプロセッサの制御によって、オブジェクトの三次元モデルをレンダリングするグラフィックプロセッサと、前記グラフィックプロセッサでレンダリングされたイメージを保存し、前記ディスプレイ装置に出力するフレームバッファを含み、前記グラフィックプロセッサは、前記ホストプロセッサから、前記ディスプレイ装置のピクセルパターン情報を入力され、前記入力されたピクセルパターン情報に相応するように、前記レンダリングされたイメージのピクセルパターンを生成し、前記生成されたピクセルパターンによって、レンダリングされたイメージを前記フレームバッファに出力する。

前記グラフィックプロセッサは、前記レンダリングされたイメージの少なくとも１つのタイルに係わるピクセル値を、前記生成されたピクセルパターンに相応するピクセル値として保存し、前記保存されたピクセル値を、前記フレームバッファに出力することができる。

前記ホストプロセッサは、前記レンダリングされたイメージに該当するフレームが、前記ディスプレイ装置に出力されるフレームであるか、前記グラフィックプロセッサで他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を判断し、前記グラフィックプロセッサは、前記ホストプロセッサから受信されたイメージ属性情報によって、前記レンダリングされたイメージのピクセルパターンを生成することができる。

前記グラフィックプロセッサは、前記レンダリングされたイメージが、他のフレームのレンダリングに使用されるテクスチャフレームである場合、前記ピクセルパターンを利用して、前記レンダリングされたイメージの最初ピクセルパターンに復元することができる。

前記グラフィックプロセッサは、前記ディスプレイ装置を制御するディスプレイコントローラにバイパス信号を出力することができる。

前記グラフィックプロセッサは、タイル基盤レンダリングを行うことができる。
前記ディスプレイ装置は、ペンタイル基盤のディスプレイ装置でもある。

本実施形態によれば、実際ディスプレイ装置の画面に、全てのピクセルがレンダリングされたイメージの全てのカラー成分を利用して描かれないために、ディスプレイ装置に必要なピクセルデータを生成して出力することにより、メモリに出力されるデータ量を減らすことができる。

また、減少したデータをオフチップ（off-chip）メモリ、すなわち、フレームバッファに送るために、トラフィックも減らすことができる。

また、以前フレームとかかわりなく、ディスプレイの特性により、一定量の演算またはメモリアクセスを減らすことができるので、一定の性能向上を図ることができる。

三次元映像を処理する過程について説明するための図面である。 一実施形態によるレンダリング装置について説明するための図面である。 他の実施形態による電子装置について説明するための図面である。 ディスプレイ装置のピクセルパターンについて説明するための例示図である。 ディスプレイ装置のピクセルパターンについて説明するための例示図である。 ディスプレイ装置のピクセルパターンについて説明するための例示図である。 ディスプレイ装置のピクセルパターンについて説明するための例示図である。 図３に図示されたピクセルパターン生成部がピクセルパターンを生成する一例について説明するための図面である。 図３に図示されたピクセルパターン生成部がピクセルパターンを生成する他の例について説明するための図面である。 図３に図示されたピクセルパターン生成部がピクセルパターンを生成するさらに他の例について説明するための図面である。 さらに他の実施形態によるレンダリング方法について説明するためのフローチャートである。

本実施形態は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定の実施形態を図面に例示し、詳細な説明によって詳細に説明する。しかし、それは、特定の実施形態について範囲を限定するものではなく、開示された思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。実施形態の説明において、関連公知技術に係わる具体的な説明が要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。
第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

本出願で使用した用語は、ただ特定の実施形態についての説明に使用されたものであり、権利範囲を限定する意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、一つまたはその以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。

以下、実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照して説明するにあたり、同一であるか、あるいは対応する構成要素は、同一図面番号を付し、それについての重複説明は省略する。以下では、図面を参照し、本発明の実施形態について詳細に説明する。

本実施形態は、３Ｄ（three-dimensional）グラフィックスレンダリングに関するものである。３Ｄグラフィックスレンダリングは、三次元モデルを二次元画面にマッピングし、実際の画面の各ピクセルに描かれるカラーの値を計算する過程である。３Ｄグラフィックスレンダリングの処理過程について、図１を参照して説明する。

図１は、三次元映像を処理する過程について説明するための図面である。図１を参照すれば、段階１１ないし段階１７を介して、三次元映像を処理する過程を示す。段階１１ないし段階１３は、幾何処理段階であり、段階１４ないし段階１７は、ピクセル処理段階である。

段階１１は、映像を示す頂点（vertex）を生成する段階である。頂点は、映像に含まれたオブジェクト（object）を示すために生成される。

段階１２は、生成された頂点をシェーディング（shading）する段階である。頂点シェーダ（vertex shader）は、段階１１で生成された頂点の色（color）を指定し、頂点に対するシェーディングを行う。

段階１３は、プリミティブ（primitives）を生成する段階である。プリミティブは、点、線または頂点から形成される多角形（polygon）を示す。一例として、プリミティブは、頂点を連結して形成された三角形を示すこともできる。

段階１４は、プリミティブをラスタ化（rasterization）する段階である。プリミティブのラスタ化は、プリミティブを複数のフラグメント（fragments）に分割することを示す。フラグメントは、プリミティブを構成する単位であり、映像処理を行うための基本単位でもある。プリミティブは、頂点についての情報のみを含む。従って、ラスタ化する段階で、頂点と頂点との間のフラグメントを生成するとき、補間（interpolation）が行われる。

段階１５は、ピクセルをシェーディングする段階を示す。図１では、ピクセル単位でシェーディングが行われるように図示されているが、フラグメント単位でもシェーディングが行われる。例えば、ピクセルまたはフラグメントのシェーディングは、ピクセルまたはフラグメントの色を指定するものである。

段階１６は、ピクセルまたはフラグメントをテクスチャリング（texturing）する段階を示す。テクスチャリングは、ピクセルまたはフラグメントの色を指定するとき、あらかじめ生成されたイメージを利用する方法である。例えば、シェーディングは、フラグメントにいかなる色を指定するか計算を介して行うが、テクスチャリングは、あらかじめ生成されたイメージと対応するフラグメントに、イメージの色と同一の色を指定する方法である。

段階１５または段階１６の場合、それぞれのピクセルまたはフラグメントを、シェーディングまたはテクスチャリングするために、多くの演算が要求される。従って、シェーディングまたはテクスチャリングする段階をさらに効率的に行い、演算量を減らす必要がある。シェーディング過程において、演算量を減らす代表的な方法として、隠匿表面除去（ＨＳＲ：hidden surface removal、ＨＳＲ）方法がある。隠匿表面除去方法は、前に位置したオブジェクトによって隠されたオブジェクトは、シェーディングを行わない方法である。

段階１７は、テスト及びミキシング（testing and mixing）段階を示す。

段階１８は、フレームバッファに保存されたフレームを表示する段階を示す。段階１１ないし段階１７を介して生成されたフレームは、フレームバッファに保存される。フレームバッファに保存されたフレームは、ディスプレイ装置を介して表示される。

図２は、一実施形態によるレンダリング装置１００について説明するための図面である。

図２を参照すれば、レンダリング装置１００は、レンダリング制御部１１０及びピクセルパターン生成部１２０を含む。図２に図示されていないが、レンダリング装置１００は、図１に図示された段階１１ないし１７を遂行するグラフィックス・パイプラインを含む。レンダリング制御部１１０は、グラフィックス・パイプラインを介した映像処理を制御する。

レンダリング装置１００は、レンダリングされたイメージを、図１に図示されたフレームバッファ１８に出力する前に、レンダリングされたイメージを表示するディスプレイ装置のピクセルパターン情報を把握し、ピクセルパターン情報に相応するように、レンダリングされたイメージのピクセルパターンを生成する。すなわち、レンダリングされたイメージの全てのピクセルのサブピクセルであるＲ／Ｇ／Ｂ値をフレームバッファ１８に出力せず、ディスプレイ装置で具現するサブピクセル、例えば、Ｒ／ＧとＢ／Ｇとのサブピクセルで構成されたピクセルパターン、またはＲ／Ｇ，Ｂ／Ｗのサブピクセルで構成されたピクセルパターンに適するように、レンダリングされたイメージのピクセルパターンを生成する。

レンダリング制御部１１０は、レンダリング装置１００の動作を制御し、レンダリングされたイメージを表示する装置のピクセルパターン情報を入力される。
ピクセルパターン生成部１２０は、レンダリング制御部１１０から提供されたピクセルパターン情報に相応するように、レンダリングされたイメージのピクセルパターンを生成する。例えば、レンダリングされたイメージのピクセルパターンがＲ／Ｇ／Ｂであり、ディスプレイ装置のピクセルパターンがＲ／Ｇ，Ｂ／Ｇである場合、ピクセルパターン生成部１２０は、レンダリングされたイメージの最初のピクセルのサブピクセルＲ／Ｇ／Ｂを、サブピクセルＲ／Ｇに変換し、２番目のピクセルのサブピクセルＲ／Ｇ／Ｂを、サブピクセルＢ／Ｇに変換する。ディスプレイ装置のピクセルパターンが、Ｒ／Ｇ，Ｂ／Ｗである場合、ピクセルパターン生成部１２０は、レンダリングされたイメージの最初のピクセルのサブピクセルＲ／Ｇ／ＢをサブピクセルＲ／Ｇに変換し、２番目のピクセルのサブピクセルＲ／Ｇ／ＢをサブピクセルＢ／Ｗに変換する。ここで、サブピクセルＷを生成する方法は、サブピクセルＲ／Ｇ／Ｂのピクセル値を合わせ、サブピクセルＷのピクセル値を生成するか、あるいは隣接したサブピクセル値を考慮し、サブピクセルＷのピクセル値を生成することもできる。サブピクセルを変換する方法は、最初のピクセルにおいて、サブピクセルＢを捨て、サブピクセルＲ／Ｇを生成することもでき、隣接したピクセルのピクセルパターンを考慮し、サブピクセルＲ／Ｇを生成することもできる。

レンダリング制御部１１０は、ピクセルパターン生成部１２０が生成したピクセルパターンを、フレームバッファ１８（図１）に出力する。
本実施形態によるレンダリング装置１００は、実際ディスプレイ装置の画面に全てのピクセルがレンダリングされたイメージの全てのカラー成分を利用して描かれないために、かような特性を利用して、ディスプレイ装置に必要なピクセルデータを生成して出力することにより、メモリに出力されるデータ量を減らすことができる。また、実際ＲＧＢピクセルデータに比べて減少したデータを、オフチップ（off-chip）メモリ、すなわち、フレームバッファに送るために、トラフィックも減らすことができる。また、以前フレームとかかわりなく、ディスプレイの特性によって、一定量の演算またはメモリアクセスを減らすことができるので、一定の性能向上を図ることができる。

図３は、他の実施形態による電子装置について説明するための図面である。

図３を参照すれば、電子装置は、ＧＰＵ（graphics processing unit）２００、フレームバッファ２５０、ホストデバイス３００、ディスプレイ制御部４００及びディスプレイ装置５００を含む。電子装置は、３Ｄグラフィックレンダリングを利用する応用デバイスであり、例えば、携帯電話、スマートフォン、タブレット、ＴＶ（television）などを含んでもよいが、それらに限定されるものではない。

ホストデバイス３００のＧＰＵドライバ３２０は、グラフィックスＡＰＩなどを介して、アプリケーションプログラムから３Ｄグラフィックスレンダリングと係わるデータや命令などを受ける。ＧＰＵ２００内のレンダリング制御部２１０は、ＧＰＵドライバ３２０から命令を受け、それをスケジューリングし、スケジューリングされた命令を基に、グラフィックス・パイプラインを駆動する。グラフィックス・パイプラインは、ホストデバイス３００から受けた命令と、ＧＰＵドライバ３２０から伝達されたデータ／シェーダプログラムとを介して、実際３Ｄグラフィックスレンダリングを行う。タイル基盤レンダリングの場合、かようなレンダリングは、各タイルレベルで処理し、レンダリングを終えたタイルは、オフチップで送られる。全てのタイルに係わるレンダリングが終われば、オフチップメモリに１つのフレームが完成され、ディスプレイドライバ３１０／ディスプレイ制御部４００を介して出力すれば、レンダリングされた映像がディスプレイ装置５００の画面に表示される。

図１を参照して説明したように、３Ｄグラフィックスレンダリングは、幾何情報を読み取り、それを２Ｄイメージでレンダリングする過程で構成される。幾何情報を読み取る過程や、レンダリングした結果を書き込む使用する過程において、必須的にメモリアクセスが発生する。一般的に、３Ｄグラフィックス処理過程において、かようなメモリアクセスが過多に発生する傾向を示しながら、それは、電力（power）／性能（performance）特性をいずれも劣化させるために、モバイル環境において、タイル基盤のレンダリング技法を使用する。タイル基盤のレンダリングは、画面を多くのタイルに分け、各タイルを対象にレンダリングを行った後、全てのタイルに係わるレンダリングが終われば、それを画面に出力する順序に進む。各タイルの処理過程は、オンチップメモリ上で遂行され、全ての演算が終わった後、それをオフチップメモリに送るために、オフチップメモリアクセスを大きく減らすことができる。該過程において、オフチップメモリに送るタイルの内容が、以前フレームの同じ位置タイルと同一であるならば、上書きを行う必要がないために、オンチップからオフチップメモリへのトラフィックをさらに減らすことができる。

タイル基盤レンダリングは、レンダリング過程におけるオフチップメモリアクセスを最小化し、タイルの内容が以前フレームで変更された場合、レンダリングされたタイルの全ての値をオフチップメモリに書き込む。従って、以前フレームで変更された値がない場合には、メモリアクセスを大きく減らすことができるが、そうではない場合、利得を得ることができない。また、一般的な場合、かような全ての値が必要であるが、ディスプレイ装置の特性によって、結果の全ての値を使用しない場合には、不要なオフチップメモリ書き込みが発生する。

本実施形態による電子装置は、レンダリングされたイメージの全てのピクセルが全てのカラー成分を利用して描かれないために、かような特性を利用して、ディスプレイ装置に必要なピクセルデータを生成して出力することにより、メモリに出力されるデータ量を減らし、オフチップメモリに出るトラフィックを減らすことができる。また、以前フレームとかかわりなく、ディスプレイの特性によって、一定量の演算またはメモリアクセスを減らすことができるので、一定の性能向上を期待することができる。

再び図３を参照すれば、ホストデバイス３００は、３ＤグラフィックスＡＰＩを介して、ユーザアプリケーション（user application）から、レンダリングと係わる命令／データなどを受け、それを基にＧＰＵ２００を駆動する。
ＧＰＵ２００は、レンダリング制御部２１０によって制御され、レンダリング制御部２１０は、ＧＰＵドライバ３２０から受けた命令／データを直接処理したり、グラフィックス・パイプライン２３０に伝達したりする。ソースデータ、例えば、３Ｄオブジェクトなどは、グラフィックス・パイプライン２３０を通過し、変換／シェーディング（transform／shading）などの過程を経て、２Ｄフレームバッファ２５０の各ピクセルにマッピングされて描かれ、該フレームバッファ２５０をディスプレイドライバ３１０／ディスプレイ制御部４００に伝達し、ディスプレイ装置５００に当該映像が表示される。

レンダリング制御部２１０は、ホストデバイス３００から、ディスプレイ装置５００のピクセルパターン情報を入力される。例えば、ホストデバイス３００のＧＰＵドライバ３２０は、ディスプレイドライバ３１０またはホストデバイス３００の制御部（図示せず）を介して、現在使用中のディスプレイ装置５００のディスプレイ特性、例えば、Ｒ／Ｇ／Ｂパターン、各ピクセル座標に係わる色相元素パターンなどを把握することができる。また、Ｒ／Ｇ，Ｂ／Ｇなどのパターンは、配列方向において、交互に配置されるために、画面位置の１ピクセルパターンだけ保存しておけば、２Ｄ画面特定座標のピクセルパターンも知ることができる。

図４Ａないし図４Ｄは、ディスプレイ装置のピクセルパターンについて説明するための例示図である。

図４Ａには、一般的なＬＣＤ（liquid crystal display）ディスプレイのＲＧＢパターンが図示されている。Ｒ／Ｇ／Ｂが１つのピクセル４０１を構成し、かようなピクセルが画面を構成する解像度ほど存在する。

図４Ｂには、Ｒ及びＧが１つのピクセル４０２、Ｂ及びＧが１つのピクセルをなし、交互に配列される。図４Ｂに図示されたピクセルの数は、４×４である１６個であり、図４Ａに図示されたピクセルの数（１６個）と同一である。図４Ｂに図示されたピクセルパターンは、同一のピクセル数を有するが、さらに少数のサブピクセルで、同一のピクセル数を具現する。

図４Ｃには，図４Ｂと同一に、Ｒ及びＧが１つのピクセル４０３、Ｂ及びＧが１つのピクセルをなし、交互に配列されるが、１つのピクセルが菱形状に配列されるという点で違いがある。

図４Ｄには、Ｒ及びＧが１つのピクセル４０４、Ｂ及びＷが１つのピクセルをなし、交互に配列される。図４Ｄに図示されたピクセルの数は、４×４である１６個であり、図４Ａないし図４Ｃに図示されたピクセルの数（１６個）と同一である。図４Ｄに図示されたピクセルパターンにおいて、サブピクセルＷは、Ｒ／Ｇ／Ｂピクセルを合わせて生成するか、あるいは隣接したピクセルのピクセル値を利用して生成することもできる。

一般的に、図４Ｂ及び図４Ｃに図示されたピクセルパターンは、図４Ａに図示されたＲＧＢサブピクセル方式で、ｐｐｉ（pixels per inch）を高めにくい状況であるときに使用される。それは、ＲＧＢサブピクセル方式より、少ないサブピクセルで同一解像度を類似して表現することができるからである。しかし、言い換えれば、ＲＧＢサブピクセル方式より、サブピクセル個数が必然的に少ないという意味でもある。従って、完壁に全く同レベルでは表現し難く、可読性や画質に劣るという短所がある。それにもかかわらず、高解像度パネルの生産に望ましい方法のうち一つであるために、ＴＦＴ（thin film transistor）−ＬＣＤまたはＯＬＥＤ（organic light emitting diode）には、主に使用される。図４Ｂ及び図４Ｃに図示されたＲＧ／ＢＧペンタイルサブピクセル方式と、ＲＧ／ＢＷペンタイルサブピクセル方式とに分けられ、ペンタイルディスプレイまたはペンタイルパターンともいう。図４Ｂ及び図４Ｃに図示されたピクセルパターンは、ＯＬＥＤパネルに主に使用され、図４Ｄに図示されたピクセルパターンは、ＴＦＴ−ＬＣＤパネルに主に使用される。

本実施形態において、図４Ｂ及び図４Ｃに図示されたディスプレイ装置のピクセルパターンについて説明したが、それらに限定されるものではなく、レンダリングされたイメージのピクセルパターン、例えば、ＲＧＢで具現されたピクセルパターンと異なるピクセルパターンを使用する多くのディスプレイ装置が存在し、他のピクセルパターンを使用する装置に同一に適用されるということは言うまでもない。

レンダリング制御部２１０は、ディスプレイ装置５００のピクセルパターン情報を、ピクセルパターン生成部２２０に提供する。ピクセルパターン生成部２２０は、グラフィックス・パイプライン２３０を介して、レンダリングされたイメージを入力され、ディスプレイ装置５００のピクセルパターン情報に相応するように、レンダリングされたイメージのピクセルパターンを生成する。

ピクセルパターン生成部２２０は、レンダリングされたイメージのピクセルパターンを、ディスプレイ装置５００のピクセルパターンに合うように生成する。ここで、生成するということは、ピクセルパターンを変換または再配列するということと同一の意味に理解されなければならない。

ピクセルパターン生成部２２０は、サブピクセルを生成する多様な公知技術を利用して、ディスプレイ装置５００に、ピクセルパターンに適するサブピクセルを生成することができる。例えば、米国特許ＵＳ７，５８３，２７９号明細書には、ペンタイルピクセルを生成する方法が開示されている。ピクセルパターン生成部２２０がサブピクセルを生成する過程については、図５ないし図７を参照して後述する。

レンダリング制御部２１０は、グラフィックス・パイプライン２３０を介して出力されるレンダリングされたイメージが、ディスプレイ装置５００に出力されるフレームであるか、あるいはグラフィックス・パイプライン２３０を介して、他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を入力される。ピクセルパターン生成部２１０は、レンダリング制御部２１０から提供されたイメージ属性情報により、レンダリングされたイメージのピクセルパターンを基に、レンダリングされたイメージのピクセルパターンを生成する。

ホストデバイス３００のＧＰＵドライバ３２０は、ユーザプログラムであるグラフィックスＡＰＩを直接処理するために、画像を描く命令（draw call）がいかなる形式で使用されるということを知ることができる。１以上の命令が１つのフレームを描くのに使用され、描かれたフレームはすぐ画面に出力され、他のフレームのテクスチャとして使用されたり、後処理（post processing）などに使用されたりもする。このように、フレームの使用用途には自由度があるが、一般的に、ＧＰＵドライバ３２０において、計算を介して各フレームがいかように使用されるかということをあらかじめ知ることができる。また、ＡＰＩ拡張を考慮するならば、各フレームの用途を明示的に指定することもできる。従って、レンダリング制御部２１０は、イメージ属性情報を入力され、現在ピクセルパターン生成部２２０が、ディスプレイ装置５００のピクセルパターン情報に相応するピクセルパターンを生成するか否かということに係わる情報を提供する。例えば、現在グラフィックス・パイプライン２３０を介して提供されるレンダリングされたイメージが、ディスプレイ装置５００に出力されるイメージである場合には、ピクセルパターン生成部２２０は、ディスプレイ装置５００のピクセルパターン情報に相応するようにピクセルパターンを変更し、サブピクセル値を生成する。また、現在グラフィックス・パイプライン２３０を介して提供されたレンダリングされたイメージが異なるイメージのレンダリングに使用されるテクスチャイメージである場合には、ピクセルパターンを新たに生成せず、そのまま出力するか、あるいはピクセルパターンを変更した場合には、当該ピクセルパターン情報を利用して、逆に原本ＲＧＢパターンのサブピクセルを生成することもできる。

レンダリング制御部２１０は、ピクセルパターン生成部２２０が生成したピクセルパターンを、オフチップメモリであるフレームバッファ２５０に出力する前に、オンチップメモリであるレイアウトバッファ２４０（図３）に保存することができる。レイアウトバッファ２４０に保存されたレンダリングされたイメージのピクセル値を、フレームバッファ２５０に出力される時点になれば、保存されたピクセル値をフレームバッファ２５０に出力する。

レンダリング制御部２１０は、ピクセルパターン生成部２２０が、ディスプレイ装置５００のピクセルパターン情報に適するレンダリングされたイメージのピクセルパターンを生成した場合、ディスプレイ制御部４００にバイパス（bypass）信号を出力することができる。バイパス信号を受信したディスプレイ制御部４００は、フレームバッファ２５０から出力されたピクセル値に係わるパターン変換なしに、すぐにディスプレイ装置５００に出力する。すなわち、ディスプレイ制御部４００は、ディスプレイ装置５００の特性を考慮せず、フレームバッファ２５０から出力されたイメージをすぐに表示することができる。

本実施形態によるレンダリングが、タイル基盤のレンダリングである場合には、画面、すなわち、１つのフレームを多くのタイルに分け、各タイルを対象にレンダリングを行った後、全てのタイルに係わるレンダリングが終われば、それを画面に出力する順序に進められ。各タイルの処理過程は、ＧＰＵ２００内のオンチップメモリ上またはタイルバッファ（図示せず）上で遂行され、全ての演算が終了した後、それをオフチップメモリ、すなわち、フレームバッファ２５０に送るので、オフチップメモリアクセスを減らす技術である。

ピクセルパターン生成部２２０は、１つのフレームを構成する複数個のタイルのうち１つのフレームを構成する１つのタイルに係わるピクセルパターンを生成する。

レンダリング制御部２１０は、生成された１つのタイルに係わるピクセルパターンを基に、１つのタイルに係わるピクセル値をレイアウトバッファ２４０に保存する。既存タイル基盤レンダリングとは異なり、レンダリングが完了したタイルが、画面出力のためのフレームバッファ２５０に書き込まれる時点になれば、それをすぐに書き込まず、レイアウトバッファ２４０にまず保存する。そして、全てのタイルに係わるディスプレイ装置５００のピクセルパターンに相応するピクセル値がレイアウトバッファ２４０に保存されれば、フレームバッファ２５０にピクセル値を出力する。

図５は、図３に図示されたピクセルパターン生成部２２０が、ピクセルパターンを生成する一例について説明するための図面である。

図５を参照すれば、レンダリングされたイメージの１つのフレームは、ＲＧＢサブピクセルからなるピクセル５０１及び５０３が図示されている。ディスプレイ装置５００が、図４Ｂに図示されたＲ／Ｇ，Ｂ／Ｇのパターンを有している場合、ピクセルパターン生成部２２０は、レンダリングされたイメージの最初のピクセル５０１をサブピクセル５０２に変換する。２番目のピクセル５０３は、サブピクセル５０４に変換される。変換されたサブピクセルＲ／Ｇ，Ｂ／Ｇが反復されるピクセルパターンがレイアウトバッファ２４０に保存される。レンダリングされたイメージの最後のピクセルがサブピクセルＢ／Ｇに変換され、レイアウトバッファ２４０に保存された場合、レイアウトバッファ２４０に保存されたピクセル値が、フレームバッファ２５０に出力される。

図６は、図３に図示されたピクセルパターン生成部２２０が、ピクセルパターンを生成する他の例について説明するための図面である。

図６を参照すれば、レンダリングされたイメージの１つのフレームは、ＲＧＢサブピクセルからなるピクセル６０１及び６０３が図示されている。ディスプレイ装置５００が、図４Ｄに図示されたＲ／Ｇ，Ｂ／Ｗのパターンを有している場合、ピクセルパターン生成部２２０は、レンダリングされたイメージの最初のピクセル６０１をサブピクセル６０２に変換する。２番目のピクセル６０３は、サブピクセル６０４に変換される。変換されたサブピクセルＲ／Ｇ，Ｂ／Ｗが反復されるピクセルパターンがレイアウトバッファ２４０に保存される。レンダリングされたイメージの最後のピクセルがサブピクセルＢ／Ｗに変換され、レイアウトバッファ２４０に保存された場合、レイアウトバッファ２４０に保存されたピクセル値がフレームバッファ２５０に出力される。

図７は、図３に図示されたピクセルパターン生成部２２０が、ピクセルパターンを生成するさらに他の例について説明するための図面である。

図７を参照すれば、レンダリングされた多数のフレーム（第１フレームないし第Ｎフレーム）が順次に入力され、第１フレームに対して、タイル基盤レンダリングが行われる場合、第１フレームを均等に分割した第１タイルＴ１ないし第ＭタイルＴＭに対するレンダリングが行われる。レンダリングされた第１タイルＴ１に係わるピクセルパターンは、サブピクセルＲ／Ｇ／Ｂ７０１，７０３，７０５である。

ディスプレイ装置のピクセルパターンがＲＧ／ＢＧである場合、ピクセルパターン生成部２２０は、第１タイルＴ１に係わるピクセルパターン７０２ないし７０６を生成し、レイアウトバッファ２４０に保存する。それぞれのタイルに係わる開始ピクセルの座標値を基に、ピクセルパターンを生成することができる。ピクセルパターン生成部２２０は、全てのタイルＴ１ないしＴＭに係わるピクセルパターンを生成し、レイアウトバッファ２４０に保存する。レンダリング制御部２１０は、全てのタイルに係わるピクセルパターンが生成された後、レイアウトバッファ２４０に保存された第１フレームのピクセルパターン値を、フレームバッファ２５０に出力する。

一方、レンダリング制御部２１０は、レンダリング結果が画面にすぐ描かれずに他のフレームに使用される場合、すなわち、他のフレームのテクスチャイメージに再使用される場合には、レイアウトバッファ２４０を経ずに、すぐフレームバッファ２５０に書き込む。

図８は、さらに他の実施形態によるレンダリング方法について説明するためのフローチャートである。

図８を参照すれば、段階８００で、レンダリングされたイメージを表示する装置のピクセルパターン情報が入力される。レンダリングされたイメージを表示する装置は、Ｒ／Ｇ及びＢ／Ｇ、またはＲ／Ｇ及びＢ／Ｗを含むペンタイルディスプレイ装置でもあるが、それに限定されるものではなく、レンダリングされたイメージのピクセルパターン、例えば、ＲＧＢと異なるサブピクセルによって具現されたディスプレイ装置には、同一に適用することができる。

段階８０２で、入力されたピクセルパターン情報に相応するように、レンダリングされたイメージのピクセルパターンを生成する。レンダリングされたイメージのピクセルパターンをディスプレイ装置のピクセルパターンに変更し、サブピクセルを生成する。ここで、サブピクセルを生成する方法は、従来のサブピクセルを生成する多様な公知技術を利用することができるということは言うまでもない。

段階８０４で、生成されたピクセルパターンを基に、レンダリングされたイメージのピクセル値をフレームバッファに出力する。

本実施形態による装置は、プロセッサ、プログラムデータを保存して実行するメモリ、ディスクドライブのような永久保存部（permanent storage）、外部装置と通信する通信ポート、タッチパネル・キー（key）・ボタンのようなユーザインターフェース装置などを含んでもよい。ソフトウェアモジュールまたはアルゴリズムによって具現される方法は、前記プロセッサ上で実行可能なコンピュータで読み取り可能なコードまたはプログラム命令として、コンピュータで読み取り可能な記録媒体上に保存される。ここで、コンピュータで読み取り可能な記録媒体としては、磁気記録媒体（例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、及び光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc））などがある。コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。該媒体は、コンピュータによって判読可能であり、メモリに保存され、プロセッサで実行される。

本実施形態は、機能的なブロック構成及び多様な処理段階で示される。かような機能ブロックは、特定機能を実行する多様な個数のハードウェアまたは／及びソフトウェアの構成によって具現される。例えば、実施形態は、１以上のマイクロプロセッサの制御、または他の制御装置によって多様な機能を遂行することができる、メモリ、プロセッシング、ロジック（logic）、ルックアップテーブル（look-up table）のような直接回路構成を採用することができる。構成要素が、ソフトウェア・プログラミングまたはソフトウェア要素で実行されるということと類似して、本実施形態は、データ構造、プロセス、ル−チン、または他のプログラミング構成の組み合わせによって具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、ジャバ（Java（登録商標））、アセンブラ（assembler）のようなプログラミング言語またはスクリプティング言語によって具現される。機能的な側面は、１以上のプロセッサで実行されるアルゴリズムによって具現される。また、本実施形態は、電子的な環境設定、信号処理及び／又はデータ処理などのために、従来技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」のような用語は、広く使用され、機械的であって物理的な構成として限定されるものではない。前記用語は、プロセッサなどと連係し、ソフトウェアの一連の処理（routines）というような意味を含む。

本実施形態で説明する特定実行は、例示であり、いかなる方法によっても、技術的範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な側面の記載は省略されている。また、図面に図示された構成要素間の線の連結または連結部材は、機能的な連結、及び／又は物理的または回路的な連結を例示的に示したものであり、実際装置では、代替可能であるか、あるいは追加的な多様な機能的な連結、物理的な連結、または回路連結として示される。

本明細書（特に、特許請求の範囲）において、「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当する。また、範囲（range）を記載した場合、前記範囲に属する個別的な値を含むものであり（それに反する記載がなければ）、詳細な説明に、前記範囲を構成する各個別的な値を記載した通りである。最後に、方法を構成する段階について、明白に順序を記載したり、それと反する記載がなければ、前記段階は、適する順序で遂行される。必ずしも前記段階の記載順序に限定されるものではない。全ての例または例示的な用語（例えば、などなど）の使用は、単に技術的思想を詳細に説明するためのものであり、特許請求の範囲によって限定されない以上、前記の例または例示的な用語によって範囲が限定されるものではない。また、当業者は、多様な修正、組み合わせ及び変更が付加された特許請求の範囲またはその均等物の範囲内で、設計条件及びファクタによって構成されるということを理解することができるであろう。

本発明のレンダリング方法、レンダリング装置及び電子装置は、例えば、映像処理関連の技術分野に効果的に適用可能である。

１００ レンダリング装置
１１０，２１０ レンダリング制御部
１２０，２２０ ピクセルパターン生成部
２００ ＧＰＵ
２３０ グラフィックス・パイプライン
２４０ レイアウトバッファ
２５０ フレームバッファ
３００ ホストデバイス
３１０ ディスプレイドライバ
３２０ ＧＰＵドライバ
４０１，４０２，４０３，４０４，５０１，５０３，６０１，６０３ ピクセル
５００ ディスプレイ装置
５０２，５０４，６０２，６０４ サブピクセル
７０１，７０３，７０５ サブピクセルＲ／Ｇ／Ｂ
７０２，７０４，７０６ ピクセルパターン

Claims (25)

1. レンダリングされたイメージを表示する装置のピクセルパターン情報を入力される段階と、
   前記入力されたピクセルパターン情報に相応するように、前記レンダリングされたイメージのピクセルパターンを生成する段階と、
   前記生成されたピクセルパターンを基に、前記レンダリングされたイメージのピクセル値をフレームバッファに出力する段階と、を含み、さらに、
   前記レンダリングされたイメージに該当するフレームが、前記装置に出力されるフレームであるか、他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を入力される段階、を含む、
   レンダリング方法。
2. 前記レンダリングされたイメージの少なくとも１つのタイルに係わるピクセル値を、前記生成されたピクセルパターンに相応するピクセル値として保存する段階をさらに含み、
   前記ピクセルパターンに相応するように保存されたピクセル値を、前記フレームバッファに出力する、
   請求項１に記載のレンダリング方法。
3. 前記タイルの開始座標値を基準に、前記ピクセルパターンを生成する、
   請求項２に記載のレンダリング方法。
4. 前記イメージ属性情報によって、前記レンダリングされたイメージのピクセルパターンを生成する、
   請求項１乃至３いずれか一項に記載のレンダリング方法。
5. 前記レンダリングされたイメージが、他のフレームのレンダリングに使用されるテクスチャフレームである場合、前記ピクセルパターンを利用して、前記レンダリングされたイメージの最初ピクセルパターンに復元する、
   請求項４に記載のレンダリング方法。
6. 前記レンダリングされたイメージを表示する装置のディスプレイコントローラにバイパス信号を出力する段階をさらに含む、
   請求項１乃至５いずれか一項に記載のレンダリング方法。
7. 前記レンダリングされたイメージを表示する装置は、ペンタイル基盤のディスプレイ装置である、
   請求項１乃至６いずれか一項に記載のレンダリング方法。
8. タイル基盤でレンダリングされた任意のフレームに係わる少なくとも１つのタイルを入力される段階と、
   前記少なくとも１つのタイルに係わる第１ピクセルパターンを、前記レンダリングされた任意のフレームを表示するディスプレイ装置のピクセルパターン情報に相応する第２ピクセルパターンに変換する段階と、
   前記変換された第２ピクセルパターンによる前記タイルに係わるピクセル値をフレームバッファに出力する段階と、を含み、さらに、
   前記レンダリングされた任意のフレームが、他のフレームのレンダリングに使用されるテクスチャフレームであるか否かを示すイメージ属性情報を入力される段階、を含む、
   レンダリング方法。
9. 前記変換された第２ピクセルパターンによる前記任意のフレームに係わる複数のタイルに係わるピクセル値を保存する段階を含み、
   前記ピクセルパターンに相応するように保存されたピクセル値を、前記フレームバッファに出力する、
   請求項８に記載のレンダリング方法。
10. 前記タイルの開始座標値を基準に、前記第２ピクセルパターンを生成する、
    請求項８または９に記載のレンダリング方法。
11. 前記複数のタイルに係わる前記第２ピクセルパターンへの変換が終了した場合、前記任意のフレームについて保存されたピクセル値を、前記フレームバッファに出力する、
    請求項９に記載のレンダリング方法。
12. 請求項１ないし１１のうちいずれか１項に記載のレンダリング方法をコンピュータで実行させるためのプログラムを記録した記録媒体。
13. レンダリングされたイメージを表示する装置のピクセルパターン情報を入力されるレンダリング制御部と、
    前記入力されたピクセルパターン情報に相応するように、前記レンダリングされたイメージのピクセルパターンを生成するピクセルパターン生成部と、を含み、
    前記レンダリング制御部は、
    前記ピクセルパターン生成部で生成されたピクセルパターンを基に、前記レンダリングされたイメージのピクセル値をフレームバッファに出力し、さらに、
    前記レンダリングされたイメージに該当するフレームが、前記装置に出力されるフレームであるか、他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を入力される、
    レンダリング装置。
14. 前記レンダリングされたイメージの少なくとも１つのタイルに係わるピクセル値を、前記生成されたピクセルパターンに相応するピクセル値として保存するレイアウトバッファをさらに含み、
    前記レンダリング制御部は、
    前記レイアウトバッファに保存されたピクセルパターンに相応するピクセル値を、前記フレームバッファに出力する、
    請求項１３に記載のレンダリング装置。
15. 前記ピクセルパターン生成部は、
    前記タイルの開始座標値を基準に、前記ピクセルパターンを生成する、
    請求項１４に記載のレンダリング装置。
16. 前記ピクセルパターン生成部は、
    前記イメージ属性情報によって、前記レンダリングされたイメージのピクセルパターンを生成する、
    請求項１３乃至１５いずれか一項に記載のレンダリング装置。
17. 前記レンダリング制御部は、
    前記レンダリングされたイメージが、他のフレームのレンダリングに使用されるテクスチャフレームである場合、前記ピクセルパターンを利用して、前記レンダリングされたイメージの最初ピクセルパターンに復元する、
    請求項１６に記載のレンダリング装置。
18. 前記レンダリング制御部は、
    前記レンダリングされたイメージを表示する装置のディスプレイコントローラにバイパス信号を出力する、
    請求項１３乃至１７いずれか一項に記載のレンダリング装置。
19. ホストプロセッサと、
    ディスプレイ装置と、
    前記ホストプロセッサの制御によって、オブジェクトの三次元モデルをレンダリングするグラフィックプロセッサと、
    前記グラフィックプロセッサでレンダリングされたイメージを保存し、前記ディスプレイ装置に出力するフレームバッファと、を含み、
    前記グラフィックプロセッサは、
    前記ホストプロセッサから、前記ディスプレイ装置のピクセルパターン情報を入力され、前記入力されたピクセルパターン情報に相応するように、前記レンダリングされたイメージのピクセルパターンを生成し、前記生成されたピクセルパターンを基に、前記レンダリングされたイメージのピクセル値を、前記フレームバッファに出力し、
    前記ホストプロセッサは、
    前記レンダリングされたイメージに該当するフレームが、前記ディスプレイ装置に出力されるフレームであるか、前記グラフィックプロセッサで他のフレームのレンダリングに使用されるテクスチャフレームであるかということについてのイメージ属性情報を判断する、
    電子装置。
20. 前記グラフィックプロセッサは、
    前記レンダリングされたイメージの少なくとも１つのタイルに係わるピクセル値を、前記生成されたピクセルパターンに相応するピクセル値として保存し、前記保存されたピクセル値を、前記フレームバッファに出力する、
    請求項１９に記載の電子装置。
21. 前記グラフィックプロセッサは、
    前記ホストプロセッサから受信された前記イメージ属性情報によって、前記レンダリングされたイメージのピクセルパターンを生成する、
    請求項１９または２０に記載の電子装置。
22. 前記グラフィックプロセッサは、
    前記レンダリングされたイメージが、他のフレームのレンダリングに使用されるテクスチャフレームである場合、前記ピクセルパターンを利用して、前記レンダリングされたイメージの最初ピクセルパターンに復元する、
    ことを特徴とする請求項２１に記載の電子装置。
23. 前記グラフィックプロセッサは、
    前記ディスプレイ装置を制御するディスプレイコントローラにバイパス信号を出力する、
    請求項１９乃至２２いずれか一項に記載の電子装置。
24. 前記グラフィックプロセッサは、タイル基盤レンダリングを行う、
    請求項１９乃至２３いずれか一項に記載の電子装置。
25. 前記ディスプレイ装置は、ペンタイル基盤のディスプレイ装置である、
    請求項１９乃至２４いずれか一項に記載の電子装置。

Images