JPWO2007029323A1 - レンダリング表示装置 - Google Patents

Abstract

複数の画像をモニタ上に重ね合わせて表示する場合において、複雑なマスクデータなどを持つことなく、画像の重ね合わせの処理が簡素であるレンダリング表示装置を得ることを目的とする。非表示メモリ（３０１，３０２，３０３）に記録された少なくとも一の画像データが更新されたとき、更新された画像データに対応する画像よりも前面に表示するようにレイアウト情報（５０１，５０２，５０３）により指定されている画像がある場合に、転送制御部（２）は、更新された画像データと前面に表示するように指定されている画像の画像データとを全体非表示メモリ（３）に転送する。

Description

この発明は、画像データをモニタに表示するためのレンダリング表示装置に関するものである。

従来のレンダリング表示装置においては、モニタ上に複数の画像を重ね合わせて表示する場合、動画像などの更新が頻繁である画像が存在すると、マスクデータや矩形管理などの複雑な処理を用いて画像データをレンダリングし、モニタ上に表示する必要があった。また、異なるフレームレートのデータを１つのフレームメモリのみにて有効に合成してモニタに表示する画像表示システムがある（例えば特許文献１参照）。

日本国特許公開番号 特開平７−１０４７２２号公報（第１図）

特許文献１に開示されている画像表示システムは、重ね合わせの順番や更新状態などが管理されないという問題があった。本発明は、複数の画像をモニタ上に重ね合わせて表示する場合において、複雑なマスクデータなどを持つことなく、画像の重ね合わせの処理が簡素であるレンダリング表示装置を得ることを目的とする。

この発明に係るレンダリング表示装置は複数の画像の画像データを記録する非表示メモリと、複数の画像のモニタ上での表示領域や、各画像が重なり合う場合の前背面関係を示すレイアウト情報を記録するレイアウト情報記憶部と、非表示メモリから転送された画像データを前記レイアウト情報に基づいて記録する全体非表示メモリと、非表示メモリに記録された少なくとも一の画像データが更新されたとき、更新された画像データに対応する画像よりも前面に表示するように前記レイアウト情報により指定されている画像がある場合には、前記更新された画像データと前面に表示するように指定されている画像の画像データを前記全体非表示メモリに転送するように指定する転送制御部と、全体非表示メモリから転送された画像データを記録し、該画像データに対応する画像がモニタ上に表示される表示バッファと、を有することを特徴とする。

この発明は、非表示メモリに記録された画像データが更新された場合、この更新された画像データに対応する画像よりも上面に表示するように指定されている画像の画像データがある場合に、これらの画像データのみを転送することにより、マスク処理などの複雑な矩形管理を行うことなく簡単な構成で重なり合う画像の表示をすることができる。

この実施の形態１におけるレンダリング表示装置の構成を示す図である。 この実施の形態１および２における各画像展開部の動作を示すフロー図である。 この実施の形態１における更新情報管理部の動作を示すフロー図である。 この実施の形態１および２における転送制御部の動作を示すフロー図である。 この実施の形態１における画像書き込み部の構成を示す図である。 この実施の形態２におけるレンダリング表示装置の構成を示す図である。 この実施の形態２における更新情報管理部の動作を示すフロー図である。

符号の説明

２ 転送制御部
３、３１、３２ 全体非表示メモリ
４ 画像書き込み部
４Ａ 画像データ設定部
５ モニタ
８ カラーキー設定部
９ レイヤ管理部
１１、１２ 表示バッファ
３０１、３０２、３０３ 非表示メモリ
５０１、５０２、５０３ レイアウト情報記録部

発明を実施するための最良の形態を、実施例１及び実施例２にて説明する。

図１は本発明の実施の形態１におけるレンダリング表示装置の構成を示す図である。図１において、静止画像データ１０１、動画像データ１０２、文字列画像データ１０３がそれぞれ対応するデータ展開部２０１、２０２、２０３によってそれぞれ非表示メモリ３０１、３０２、３０３に展開され、記録される。データ展開部２０１、２０２、２０３は更新情報記録部４０１、４０２、４０３にそれぞれ記録されている画像データの更新情報を変更する機能も有する。レイアウト情報記録部５０１、５０２、５０３にはそれぞれ静止画像データ１０１、動画像データ１０２、文字列画像データ１０３に対応する各画像のモニタ上での表示領域や各画像が重なり合う場合の前背面関係を示すレイアウト情報が記録されている。更新情報管理部１は各更新情報記録部に記録されている更新情報のうち、ＯＮである更新情報を転送制御部２に通知する。転送制御部２は更新情報管理部１から通知された更新情報に対応する画像データを、各非表示メモリから全体非表示メモリ３に転送するように指定する。全体非表示メモリ３は各非表示メモリから転送された画像データをレイアウト情報に基づき記録する。画像書き込み部４は全体非表示メモリ３に記録されている画像データを表示バッファ１１または１２のうち現在モニタ５に表示されていない方に転送する。垂直同期監視部６はモニタ５の垂直同期信号を監視し、垂直同期信号にあわせて表示バッファ切り替え部７に対して切り替え通知を送信し、表示バッファ切り替え部７は、切り替え通知に合わせて表示バッファ１１、１２を切り替えて、モニタ５に表示される画像の画像データを切り替える。

次にこのように構成されたレンダリング表示装置の動作について、モニタ５に上面から静止画像データ１０１に対応する画像、動画像データ１０２に対応する画像、文字列画像データ１０３に対応する画像が重なって表示される場合について説明する。ここでは、モニタ５はサイズが１０２４ｘ７６８であり、静止画像データ１０１は２００ｘ１００の画素数を持ち、始点（７００，１００）から対応する静止画が表示されるように、動画像データ１０２は６４０ｘ４８０の画素数を持ち、始点（２０，５０）から対応する動画像が表示されるように、文字列画像データ１０３は始点（６００，１５０）から縦２００、横８５０の領域に対応する文字画像が表示されるものとして説明する。また、静止画像、動画像および文字画像の表示領域や各画像が重なり合う場合の前背面関係は、レイアウト情報記録部５０１、５０２、５０３にそれぞれ記録されているレイアウト情報によって指定されている。これらのレイアウト情報は各画像データに付随してあらかじめ設定されてあっても良いし、このレンダリング表示装置の使用者の操作により新たに設定されても良い。さらに、ここでは、モニタ５に上面から静止画像データ１０１、動画像データ１０２、文字列画像データ１０３に対応する画像が重なってモニタ５に表示されるように各レイアウト情報が設定されているものとして説明するが、各画像データはどのように重なっていてもよい。すなわち、静止画像データ１０１に対応する画像が最背面に表示されるように設定されていても良いし、動画像データ１０２に対応する画像が最背面に表示されるように設定されていても良い。

データ展開部２０１は静止画像データ１０１を非表示メモリ３０１に展開するとともに更新情報記録部４０１の更新情報をＯＮにして、この更新情報を更新情報管理部１に通知する。同様に、データ展開部２０２、２０３は動画像データ１０２、文字列画像データ１０３をそれぞれ非表示メモリ３０２、３０３に展開するとともに、更新情報記録部４０２、４０３の更新情報をＯＮにして、これらの更新情報を更新情報記録部１へ通知する。非表示メモリ３０１、３０２、３０３は展開された画像データを記録する。

更新情報管理部１は、更新情報の通知を受け、ＯＮである更新情報を転送制御部２へ通知する。転送制御部２は各非表示メモリに記録されている画像データのうち、通知された更新情報に対応する画像データを全体非表示メモリ３の各レイアウト情報記録部に記録されているレイアウト情報で指定された位置に、このレイアウト情報に指定された上背面関係で転送するように指定する。今、更新情報は全てＯＮになっているので、静止画像データ１０１、動画像データ１０２、文字列画像データ１０３は全て全体非表示メモリ３へと転送される。また、各レイアウト情報に基づき、一番背面のデータである文字列画像データ１０３は始点を（６００，１５０）とした領域に転送され、次に、動画像データ１０２は始点を（２０，５０）とした領域に転送され、最後に、静止画像データ１０１は始点を（７００，１００）とした領域に転送される。この結果、全体非表示メモリ３には上面から静止画像データ１０１に対応する画像、動画像データ１０２に対応する画像、文字列画像データ１０３に対応する画像が重なり合う画像の画像データが記録される。

次に、画像書き込み部４は、全体非表示メモリ３に記録されている画像データを表示バッファ１１または表示バッファ１２のうち、現在モニタ５に表示されていない画像の画像データを記録している表示バッファに転送する。ここでは、表示バッファ１１に全体非表示メモリ３の画像データが転送されたものとして説明する。表示バッファ切り替え部７は垂直同期信号監視部６からの切り替え信号に合わせて、モニタ５に表示される画像の画像データを表示バッファ１２から表示バッファ１１に切り替える。このように、垂直同期信号監視部６からの切り替え信号に合わせて表示バッファを切り替えることにより、垂直同期期間内に表示バッファの切り替えを行うこととなり、ちらつきのない画像表示を行うことが可能となる。

次に、動画像データ１０２が更新され、静止画像データ１０１、文字列画像データ１０３は更新されていない場合の動作について図２、図３、図４を用いて説明する。図２、図３、図４はそれぞれ、この場合における各データ展開部、更新情報管理部１、転送制御部２の動作を示すフロー図である。データ展開部２０１、２０２、２０３は上述の通り、静止画像データ２０１を非表示メモリ３０１へ、動画像データ２０２を非表示メモリ３０２へ、文字列画像データ１０３を非表示メモリ３０３へと展開する（ｓｔ１０１）。同時に各データ展開部は各非表示メモリに展開した画像データが更新されたものであるか否かの判定を行う（ｓｔ１０２）。判定の結果、画像データが更新されていた場合は更新情報をＯＮにし（ｓｔ１０３）、更新されていない場合は更新情報をＯＦＦにする（ｓｔ１０４）。今、静止画像データ１０１、文字列画像データ１０３は更新されておらず、動画像データ１０２のみが更新されているので、更新情報記録部４０１、４０３に記録されている更新情報はＯＦＦとなり、更新情報記録部４０２に記録されている更新情報はＯＮとなる。また、各データ展開部はそれぞれの更新情報を更新情報管理部１へ通知する（ｓｔ１０５）。更新情報管理部１は更新情報の通知を受けるとともに（ｓｔ２０１）、各レイアウト情報記録部に記録されたレイアウト情報から更新情報がＯＮの画像データの画像よりも前面に表示するように指定されている画像の画像データの更新情報をＯＮに変更する（ｓｔ２０２）。今、動画像データ１０２の更新情報がＯＮであり、レイアウト情報により動画像データ１０１に対応する画像よりも静止画像データ１０１に対応する画像が上面に表示されるように指定されているので、ｓｔ２０２において更新情報管理部１は静止画像データ１０１の更新情報である更新情報記録部４０１に記録されている更新情報をＯＦＦからＯＮに変更する。次に、更新情報管理部１はＯＮである更新情報を転送制御部２へ通知する（ｓｔ２０３）。

転送制御部２は更新情報管理部１からの通知を受け（ｓｔ３０１）、各非表示メモリに記録されている画像データのうち、通知された更新情報に対応する画像データを全体非表示メモリ３の各レイアウト情報記録部記録されているレイアウト情報で指定された位置に、レイアウト情報で指定されている前背面関係で転送するように指定する（ｓｔ３０２）。この場合は非表示メモリ３０１に記憶されている静止画像データ１０１および非表示メモリ３０２に記憶されている動画像データ３０２のみが全体非表示メモリ３へと転送される。このとき、全体非表示メモリ３に記録されている文字列画像データ１０３はそのまま使用することが可能である。その後は段落（００１４）と同様の動作で、モニタ５に各画像が互いに重なり合う画像として表示される。

このように構成されたレンダリング表示装置においては、マスク処理などの複雑な矩形管理を行うことなく簡単な構成で重なり合う画像の表示と、必要なデータ更新をちらつきなく行うことが可能である。また、表示する画像の画像データが、異なるフレームレートの動画像データであった場合であっても、モニタ５の垂直同期期間に合わせて表示されるので、ちらつきなく画像が表示されるという効果を奏する。

また、画像書き込み部４は図５に示すように、全体非表示メモリ３に記録している画像データの書き込みサイズや書き込み位置を変更する画像データ設定部４Ａを有し、画像データ設定部４Ａが変更した画像データを表示バッファ１１または表示バッファ１２に転送するような構成にしても良い。このような構成にすることにより、モニタ５に表示される画像の拡大縮小やスクロール効果のような処理も行うことが可能となる。

さらにまた、表示される画像は上述の例に限定されない。すなわち、複数の動画像同士が重なり合ってモニタ５に表示されるような構成であっても良いし、画像の数はいくつであっても良い。また、各画像の更新レートは同じであっても良いし、異なっていても良い。

図６はこの発明の実施の形態２におけるレンダリング表示装置の構成を示す図である。図６において、図１に示した相当部分には同一符号を付してその説明を省略する。図６においては、各非表示メモリに記録されている画像データは全体非表示メモリ３１または全体非表示メモリ３２のいずれかに転送される。カラーキー設定部８は全体非表示メモリ３１、３２から表示バッファ１１または表示バッファ１２へ画像を転送する際、転送を行わない透過色を設定する。レイヤ管理部９は各非表示メモリに記録されている画像データをいずれの全体非表示メモリに転送するかを指定している転送情報を転送制御部２に通知するとともに、この転送情報およびレイアウト情報に基づいて全体非表示メモリ３１、３２のいずれの非表示メモリに記録されている画像データから表示バッファ１１、１２へ転送するかの順番を決定し、画像書き込み部４に指令する。

次にこのように構成されたレンダリング表示装置の動作について、実施の形態１と同様に、モニタ５に上面から静止画像データ１０１に対応する画像、動画像データ１０２に対応する画像、文字列画像データ１０３に対応する画像が重なって表示される場合について説明する。

実施の形態１と同様に静止画像データ１０１、動画像データ１０２、文字列画像データ１０３は非表示メモリ３０１、３０２、３０３にそれぞれ転送されるとともに、更新情報
記録部４０１、４０２、４０３にそれぞれ記録されている更新情報は全てＯＮになる。更新情報管理部１はＯＮである更新情報を転送制御部２へ通知する。転送制御部２は、モニタ５に各画像を最初に表示させる初回表示の段階においては、カラーキー設定部８により設定されている透過色で全体非表示メモリ３１、３２の背景を塗りつぶし、この透過色を各表示バッファに画像転送しない画素として設定する。カラーキー設定部８が設定する透過色は任意の色を設定することが可能である。各画素がＲ、Ｇ、Ｂがそれぞれ８ビットづつの２４ビットの場合は、透過色は、例えば、ＲＧＢ（２５５，０，２５５）で設定されるマゼンダ色等に設定される。

次に、転送制御部２は通知された更新情報に対応する画像データを全体非表示メモリ３１または全体非表示メモリ３２のうちレイヤ管理部９によって指定されている全体非表示メモリに転送するように指定する。ここでは、全体非表示メモリ３１に、非表示メモリ３０１に記録されている静止画像データ１０１が転送され、全体非表示メモリ３２に、非表示メモリ３０２および非表示メモリ３０３にそれぞれ記録されている動画像データ１０２および文字列画像データ１０３が転送されるようにレイヤ管理部９によって指定されている場合について説明する。各非表示メモリに記録されている画像データがいずれの全体非表示メモリに転送されるかを示す転送情報は更新情報管理部１に通知される。従って、非表示メモリ３０１に記録されている静止画像データ１０１は全体非表示メモリ３１のレイアウト情報記録部５０１に記録されているレイアウト情報で指定された位置に、非表示メモリ３０２、３０３にそれぞれ記録されている動画像データ１０２および文字列画像データ１０３は全体非表示メモリ３２のレイアウト情報記録部５０２、５０３にそれぞれ記録されているレイアウト情報で指定された位置であり、このレイアウト情報で指定されている前背面関係で転送される。その結果、全体非表示メモリ３１には透過色を背景色とし、静止画像データ１０１に対応する画像が表示される画像の画像データが記録され、全体非表示メモリ３２には透過色を背景色とし、前面から動画像データ１０２に対応する画像、文字列画像データ１０３に対応する画像が重なり合う画像が記録される。また、レイヤ管理部９はレイアウト情報に基づいて、背面に表示されるように指定されている画像データを記録している全体非表示メモリの画像データから先に転送するように、画像書き込み部４に指令する。ここでは、全体非表示メモリ３２に記録されている画像データに対応する画像が、全体非表示メモリ３１に記録されている画像データに対応する画像よりも背面に表示されるように指定されているので、レイヤ管理部９は画像書き込み部４に全体非表示メモリ３２、全体非表示メモリ３１の順に転送するように指令する。

画像書き込み部４は、レイヤ管理部９の指令を受け、全体非表示メモリ３２に記録されている画像データ、全体非表示メモリ３１に記録されている画像データの順で、表示バッファ１１または表示バッファ１２のうち、現在モニタ５に表示されていない画像の画像データを記録している表示バッファに転送する。この際、透過色と指定されている画素は転送されない。また、ここでは表示バッファ１１に全体非表示メモリ３１、３２の画像データが転送されるものとして説明する。この結果、表示バッファ１１には上面から静止画像データ１０１に対応する画像、動画像データ１０２に対応する画像、文字列画像データ１０３に対応する画像が重なり合う画像であり、透過色が透明になった画像データが記録される。後は、実施の形態１と同様の動作によって、モニタ５に表示バッファ１１に記録されている画像データに対応する画像が表示される。

次に、実施の形態１と同様に、動画像データ１０２が更新され、静止画像データ１０１、文字列画像データ１０３は更新されていない場合の動作について図２、図７を用いて説明する。図７はこの場合における更新情報管理部１の動作を示すフロー図である。各データ展開部は実施の形態１におけるｓｔ１０１〜ｓｔ１０５と同様の動作によって、各画像データの更新情報を更新情報管理部１へと通知する。更新情報管理部１は更新情報の通知を受けるとともに（ｓｔ４０１）、各レイアウト情報記録部に記録されたレイアウト情報およびレイヤ管理部９からの転送情報に基づき、更新情報がＯＮの画像データと同一の全体非表示メモリに転送され、かつ、この画像データよりも前面に表示するように指定されている画像の画像データの更新情報をＯＮに変更する（ｓｔ４０２）。今、転送情報により更新情報がＯＮである動画像データ１０２が転送される全体非表示メモリ３２に文字列画像データ１０３も転送されるようにしていされているが、文字列画像データ１０３に対応する画像はレイアウト情報により動画像データ１０２に対応する画像よりも背面に表示するように指定されているために、いずれの更新情報も変更されない。次に、更新情報管理部１はＯＮである更新情報を転送制御部２へ通知する（ｓｔ４０３）。

転送制御部２は実施の形態１におけるｓｔ３０１〜ｓｔ３０２と同様の動作で、通知された更新情報に対応する画像データを全体非表示メモリに転送されるように指定する。この場合は、非表示メモリ３０２に記憶されている動画像データ１０２のみが全体非表示メモリ３２へと転送される。このとき、全体非表示メモリ３１に記録されている静止画像データ１０１および全体非表示メモリ３２に記録されている文字列画像データ１０３はそのまま使用することが可能である。その後は、段落（００２４）と同様の動作で、モニタ５には各画像が互いに重なり合う画像として表示される。

このように構成されたレンダリング表示装置においては、実施の形態１に記載したレンダリング表示装置に比べ、非表示メモリから全体非表メモリへの画像データの転送量を低減することが可能となる。特に、動画像のように頻繁に更新される画像の上面に、静止画のようにあまり行使されない画像を表示させる場合においては、各画像の画像データを別々の非表示メモリに転送するように指定することにより大きな効果を奏する。

また、カラーキー設定部８は透過色を設定するほかに、アルファ値を指定した透過率を設定し、画像書き込み部４はこの透過率を用いて各全体非表示メモリに記録されている画像データを表示バッファ１１または表示バッファ１２に転送するような構成にしても良い。このような構成にすることにより、モニタ５に半透明で各画像が重なり合った画像を表示することが可能となる。

以上のように、本発明にかかるレンダリング表示装置は、モニタ上に画像を重ねて表示することに適している。

Claims (5)

1. 複数の画像の画像データを記録する非表示メモリと、
   前記複数の画像のモニタ上での表示領域および各画像が重なり合う場合の前背面関係を示すレイアウト情報を記録するレイアウト情報記憶部と、
   前記非表示メモリから転送された画像データを前記レイアウト情報に基づいて記録する全体非表示メモリと、
   前記非表示メモリに記録された少なくとも一の画像データが更新されたとき、更新された画像データに対応する画像よりも前面に表示するように前記レイアウト情報により指定されている画像がある場合には、前記更新された画像データと前面に表示するように指定されている画像の画像データを前記全体非表示メモリに転送するように指定する転送制御部と、
   前記全体非表示メモリから転送されたモニタに表示する画像の画像データを記録する表示バッファと、
   を有することを特徴とするレンダリング表示装置。
2. 前記表示バッファは複数あり、
   前記表示バッファのいずれかに前記全体非表示メモリが記録している画像データを転送する画像書き込み部と、
   前記モニタの垂直同期信号に合わせて、このモニタに表示される画像を記録している表示バッファを切り替える表示バッファ切り替え部と、
   を有することを特徴とした請求項１に記載のレンダリング表示装置。
3. 前記画像データ書き込み部は前記全体非表示メモリが記録している画像データの画像サイズや表示位置を変更する画像データ設定部を有し、
   前記画像データ書き込み部は前記画像データ設定部が変更した画像データを前記表示バッファに転送することを特徴とする請求項１または請求項２のいずれかに記載のレンダリング表示装置。
4. 前記全体非表示メモリは複数あり、
   前記非表示メモリに記録された画像データをいずれの全体非表示メモリに転送するかを設定するレイヤ管理部を有し、
   前記転送制御部は、前記非表示メモリに記録された画像データが更新されたとき、前記レイヤ管理部より更新された画像データと同一の全体非表示メモリに転送される画像データであり、前記レイアウト情報により更新された画像よりも前面に表示するように指定されている画像がある場合には、この画像の画像データおよび更新された画像データを転送するように指定することを特徴とする請求項１乃至請求項３のいずれかに記載のレンダリング表示装置。
5. 前記非表示メモリに転送される画像データの透過色または透過率を設定するカラーキー設定部を有し、
   前記転送制御部は、画像データを前記透過色または前記透過率で転送するように指定することを特徴とする請求項４に記載のレンダリング表示装置。

Images