JP3818662B2

JP3818662B2 - 単一のフレームバッファを有する画像処理システム

Info

Publication number: JP3818662B2
Application number: JP52032296A
Authority: JP
Inventors: ランゲアルフォンシウスアンソニウスヨゼフデ
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1994-12-23
Filing date: 1995-11-27
Publication date: 2006-09-06
Anticipated expiration: 2015-11-27
Also published as: EP0746840A1; WO1996020470A1; DE69535693D1; EP0746840B1; US5719593A; KR970701408A; KR100362071B1; DE69535693T2; JPH09509766A

Description

〔産業上の利用分野〕
本発明は、前景画像および背景画像を処理し、共用フレームバッファに合成画像を格納するようにした画像処理システムであって、ディスプレイコントローラ手段と、このディスプレイコントローラ手段に結合されたフレームバッファ手段とを具え、前記ディスプレイコントローラ手段が、
背景入力画像を構成するディジタル背景入力ピクセルおよび少なくとも１つのディジタル前景入力画像を構成するディジタル前景入力ピクセルを受け、これら背景入力ピクセルと前景入力ピクセルとを区別する入力手段と、
前記入力ピクセルを処理し、この処理したピクセル列を前記フレームバッファ手段のメモリ素子に転送して合成画像を形成する処理手段とを具える画像処理システムに関するものである。
ビデオディスプレイの上に表示される情報は種々の形態を取ることができる。例えば、英−数文字、グラフィックイメージ、アニメーション、静止画あるいは完全な動画を表示するのが有用である。伝統的には、画像処理システムは１種類または２種類の情報を表示するように設計されてきた。代表的には、表示すべき情報は別々に格納され、表示されるときに初めて合成（多重）されるようにされてきた。ディスプレイシステムの品質が向上するのに伴って（ピクセルおよび色の分解能が向上してきた）、処理回路や画像記憶装置を組み合わせて画像処理システムのコストを低減する努力が払われてきた。
このような画像処理システムは、アメリカ特許明細書第5,243,447号から既知である。この既知のシステムではビデオ画像およびグラフィック画像の双方を合成するために単一のフレームバッファを有するビデオディスプレイシステムとなっている。このシステムでは、入力グラフィックピクセルおよびビデオピクセルを処理するディスプレイコントローラを用いている。これらのピクセルを、単一のフレームバッファ内に単一のデータフォーマットで格納している。このフレームバッファから通常のビデオ発生器でピクセルを読み出して通常のディスプレイデバイスに出力するようにしている。このフレームバッファ内のメモリ素子の位置は、ディスプレイシステム上の対応するピクセルと整合させている。上述したディスプレイコントローラは、グラフィック画像とビデオ画像とを合成して合成画像を形成するための混合器を具えている。この混合器は、伝統的なクロマ−キーング手段にしたがうものとするかまたはフレームバッファへグラフィックデータ入力ピクセルおよびビデオデータ入力ピクセルのどちらを格納するのかを決める所望のグラフィック／ビデオ合成手法にしたがうものとすることができる。その結果、合成画像において、合成された画像間において鮮鋭な切り換わり目が生じることになる。従来のシステムにおいては、画像を混合するような形態で画像を合成することはできなかった。
本発明の目的は、前景入力画像および背景入力画像を合成して単一のフレームバッファへ格納するに当たり、画像の混合が可能な画像処理システムを提供しようとするものである。本発明の他の目的は、それぞれ独立して供給され、異なるリフレッシュレートを有する入力画像を処理することができるそのようなシステムを提供しようとするものである。本発明のさらに他の目的は、画像間の切り換わり目がスムーズとなるように入力画像を合成することができる画像処理システムを提供しようとするものである。
このような目的を達成するために、本発明は、前景画像および背景画像を処理し、共用フレームバッファに合成画像を格納するようにした画像処理システムであって、
ディスプレイコントローラ手段およびこのディスプレイコントローラ手段に結合されたフレームバッファ手段を具え、
前記ディスプレイコントローラ手段が、
背景入力画像を構成するディジタル背景入力ピクセルおよび少なくとも一つの前景入力画像を構成するディジタル前景入力ピクセルを受け取り、これら背景および前景入力ピクセルを区別する入力手段と、
前記入力ピクセルを処理し、処理したピクセル列を前記フレームバッファ手段のメモリ素子へ送って合成画像を形成する処理手段とを具え、
前記ディスプレイコントローラ手段は、各入力ピクセルに対して対応する画像位置および関連するメモリ素子を決定する手段も具え、前記画像位置を決定する手段は、画像合成情報を受け取る手段およびこの受け取った合成情報を格納する手段を含み、
且つ前記処理手段は、各入力ピクセルに対してその画像位置に基づいて、当該入力ピクセルが、合成画像によって占有される全ディスプレイ領域のうちの、背景区域、混合区域、または前景区域のいずれに入るのかを決定すべく作動し、前記混合区域は、合成された画像において対応する前景画像の予め決められた領域に対応する位置として規定された混合区域位置を有しており、前記前景区域は、合成された画像において前景画像に対応し、前記混合区域の一部とならない位置として規定された前景区域位置を有しており、前記背景区域は、合成された画像において背景画像に対応し、前記混合区域または前景区域の一部とならない位置として規定された背景区域位置を有しており、前記処理手段には、
前景区域位置に対応する前景入力ピクセルの全てと、混合区域位置に対応する前景入力ピクセルのうち、ピクセルの空間選択部および各ピクセルの一部によって形成される前景ピクセルの代表的な部分と、背景区域位置に対応する背景入力ピクセルの全てと、混合区域位置に対応する背景入力ピクセルのうち、ピクセルの空間選択部と各ピクセルの一部によって形成される背景ピクセルの代表的な部分とが送られるようにした画像処理システムにおいて、
前記入力ピクセルが複数のビットを有しており、
前記フレームバッファ手段のメモリ素子は前記入力ピクセルのビットとほぼ同数のビット格納位置を有しており、
前記ディスプレイコントローラ手段が、前記混合区域位置に対応するメモリ素子のビット格納位置を第１および第２の選択部に分割する手段を具え、
混合区域位置に対応する前記前景ピクセルの代表的な部分が、各前景ピクセルの、対応するメモリ素子のビット格納位置の第１の選択部に送られる代表的な部分を含み、
混合区域位置に対応する前記背景ピクセルの代表的な部分が、各背景ピクセルの、対応するメモリ素子のビット格納位置の第２の選択部に送られる代表的な部分を含み、
前記混合区域が合成画像内に、対応する前景画像の予め決められた周縁領域に対応する部分を具え、
前記対応する位置が背景区域よりも前景区域に一層近い場合には、前記メモリ素子におけるビット格納位置の第１の選択部が、メモリ素子で利用できるビット格納位置の半数よりも多い位置を有し、前記対応する位置が前景区域よりも背景区域に一層近い場合には、メモリ素子で利用できるビット格納位置の半数よりも少ない位置を有するものとしたことを特徴とするものである。
本発明によるシステムによれば、合成画像の背景区域、前景区域および混合区域を識別することができる。背景区域とは、前景区域によって占有されていない合成画像の領域を意味する。したがって、この背景区域を用いて背景画像のピクセルだけを表示する。合成画像において前景画像によって占有される領域内においては、双方の画像のピクセルを入力として用いることができる。この領域は、混合区域および前景区域の２つの部分に分割されている。混合区域は背景画像と前景画像とを混合して表示するのに用いられるものである。前景区域は前景画像のピクセルだけを表示するのに用いられ、背景画像の対応する部分は不可視とする。混合区域を前景画像の周縁に限定することによって、両画像の変わり目をスムーズなものとすることができる。このようなスムーズな変わり目は、特にソフトなビデオ画像からシャープなグラフィック画像への変わり目のような場合に、見た目に美しいものとなる。このことは、特に背景ビデオ画像の上にアニメーション画像を重畳する場合に有利となる。さらに、スムーズな変わり目は、前景画像のエッジに沿って発生するエリアジング（“階段”画像アーチファクト）の問題を解決することができる。合成画像を表示処理する際に生じる恐れのあるオーバーシュートのような他のアーチファクトもスムーズな変わり目によってマスクすることができる。
混合区域は、前景画像の全体をカバーする大きさまで拡大することもでき、この場合には前景区域は小さくなって零となる。これによって、特に同じ大きさの背景画像と前景画像との２つの画像を混合する場合に効果がある。
フレームバッファのメモリ素子は、２つの入力ピクセルの全情報を格納することはできないので、本発明のシステムにおいては、混合区域内では双方の画像に含まれる情報を代表する部分を選択するようにする。これらの部分を、互いに独立にアクセスできるように格納することによって、画像を異なる瞬時に供給したり、異なるレートでリフレッシュすることができるようになる。
本発明によるシステムの第１の実施例においては、
前記ディスプレイコントローラ手段が、前記混合区域を第１および第２の選択部に分割する手段を具え、
前記前景ピクセルの代表的な部分が、混合区域位置の第１の選択部に対応する前景ピクセルを含み、
前記背景ピクセルの代表的な部分が、混合区域位置の第２の選択部に対応する背景ピクセルを含むようにする。
この結果としてピクセルは空間的に分散したものとなり（幾つかのピクセルは前景画像から由来しており、他のピクセルは背景画像から由来している）、通常テレビジョンを見ている場合のように、表示された合成画像を十分遠方から見るときに混合効果が得られる。画像位置の選択部は、双方の入力画像を代表する部分が良好となるように選ぶ。これを実現する一つの方法は、混合区域内において画像位置を前景入力ピクセルおよび背景入力ピクセルに対して交互に割り当てることである。このようなパターンを垂直方向および水平方向に繰り返すことによって“チェス盤”パターンにしたがった等しい寄与が得られる。
本発明の他の変形例においては、画像処理システムが前記フレームバッファ手段に結合されたデレー手段と、このデレー手段および前記フレームバッファ手段に結合されたブレンダーロジック手段とを具え、
前記デレー手段が、前記フレームバッファ手段からピクセル列を受け取る手段と、このピクセル列と同じピクセル列を１ピクセルの時間遅延させたものを発生する手段とを具え、
前記ブレンダーロジック手段が、第１および第２の入力手段と、ブレンド手段と、出力手段とを具え、
前記第１の入力手段が、前記フレームバッファ手段からピクセル列を読み出す手段を具え、
前記第２の入力手段が、前記デレー手段からピクセル列を読み出す手段を具え、
前記ブレンド手段が、前記第１の入力手段を介して受け取ったピクセルと前記第２の入力手段を介して受け取ったピクセルとをブレンドしてブレンドされたピクセルを形成する手段を具え、
前記出力手段が、前記第１の入力手段を介して受け取ったピクセルが混合区域位置に対応する場合には、前記ブレンドされたピクセルを送り出し、前記ピクセルが前景区域位置または背景区域位置に対応する場合には、第１の入力手段を介して受け取ったピクセルを送りだす手段を具える。
ピクセルを表示する以前に順次のピクセルを混合区域内において混合することによって、通常コンピュータのディスプレイモニタを見るときの場合のように接近して見たときにも、良好な混合効果が得られる。
本発明によるシステムの第２の実施例においては、
前記入力ピクセルが複数のビットを有しており、
前記フレームバッファ手段のメモリ素子は前記入力ピクセルのビットとほぼ同数のビット格納位置を有しており、
前記ディスプレイコントローラ手段が、前記混合区域位置に対応するメモリ素子のビット格納位置を第１および第２の選択部に分割する手段を具え、
混合区域位置に対応する前記前景ピクセルの代表的な部分が、各前景ピクセルの、対応するメモリ素子のビット格納位置の第１の選択部に送られる代表的な部分を含み、
混合区域位置に対応する前記背景ピクセルの代表的な部分が、各背景ピクセルの、対応するメモリ素子のビット格納位置の第２の選択部に送られる代表的な部分を含むものとする。
混合区域内においては、フレームバッファメモリ素子を用いて双方の画像から由来する情報を格納することができる。この目的のために、各メモリ素子のビット格納位置を２つの選択部に分割する。第１の選択部を用いて前景入力画像のピクセルに関連する情報を格納し、第２の選択部を用いて背景入力画像のピクセルに関連する情報を格納する。混合区域内の各ピクセルに対して、前景画像ピクセルの複数の上位桁ビットをビット格納位置の半分に格納し、背景画像ピクセルの複数の上位桁ビットを残りのビット格納位置に格納することができる。特別な注意を払わない場合には、混合効果はだいぶ粗いものとなる恐れがある。例えば、最上位桁のビット格納位置を用いて前景画像ピクセルの１ビットを格納する場合には、このビットが合成したピクセルの強度の半分に寄与することになる。したがって、ビットが変化するような前景画像ピクセルの強度が緩やかに変化する場合でも合成したピクセルの強度には大きな変化が生じるてしまう。他方、背景画像ピクセルの強度が大きく変化しても、合成したピクセルの強度の変化はきわめて小さなものとなってしまう。
本発明の変形例においては、
前記画像処理システムが、前記フレームバッファ手段に結合されたブレンダーロジック手段を具え、
前記ブレンダーロジック手段が、入力手段と、ブレンド手段と、出力手段とを具え、
前記入力手段が、前記フレームバッファ手段からピクセル列を読み出す手段を具え、
前記ブレンド手段が、前記ビット格納位置の第１の選択部から読み出した値と、ビット格納位置の第２の選択部から読み出した値とをブレンドしてブレンドされたピクセルを形成する手段を具え、
前記出力手段が、前記第１の入力手段を介して受け取ったピクセルが混合区域位置に対応する場合には、前記ブレンドされたピクセルを送り出し、前記ピクセルが前景区域位置または背景区域位置に対応する場合には、第１の入力手段を介して受け取ったピクセルを送りだす手段を具える。
この変形例においては、ブレンダーロジック手段を用いて、フレームバッファに格納されているピクセルを表示以前に処理する。混合区域内のピクセルに対しては、ブレンダーロジック手段は双方の寄与ピクセルの最上位桁のビットを検索し、双方の値を混合する。これによって良好な混合効果が得られる。
混合の質を向上するためにブレンダーロジック手段を用いる代わりに、本発明の他の変形例においては、前記システムに、前記前景入力ピクセルの合成画像に対する寄与の値を、前景入力ピクセルをビット格納位置の第１の選択部に格納される前景入力ピクセルの値のほぼ半分に選択することによって前記前景入力ピクセルを代表する部分を決定し、前記背景入力ピクセルの合成画像に対する寄与の値を、背景入力ピクセルをビット格納位置の第２の選択部に格納される背景入力ピクセルの値のほぼ半分に選択することによって前記背景入力ピクセルを代表する部分を決定する手段を設ける。
利用できるビット格納位置に入力ピクセルのビットの予め決められた選択部を格納しても、合成されたピクセルに対する入力ピクセルの寄与が常に良好となる訳ではない。この問題を解決するために、本例では背景入力ピクセルおよび前景入力ピクセルの各々の最適な寄与を決定して利用できるビット格納位置に格納する。今、例として強度レベルを８−ビット値として格納するものとする。さらに、混合区域の中間部においては、最上位ビットを前景ピクセルに割り当て、次の上位ビットを背景ピクセルに割り当て、さらに次の上位ビットを前景ピクセルに割り当てるといったように前景ピクセルおよび背景ピクセルに交互にビットを割り当てるものと仮定する。また、前景ピクセルの最高強度レベルは255であり、合成画像に対する双方の画像の寄与を等しい（半分）ものと仮定する。前景ピクセルの上位４ビットを格納することによって合成ピクセルの強度に対する寄与は170となる。この場合、合成ピクセルの最上位ビットだけを設定することによって128の好ましい寄与を実現することができる。
以下、本発明の上述した要旨およびその他の要旨を図面を参照して詳細に説明する。
〔実施例〕
図１および２は、画像の合成方法を示すものであり、図1aはディスプレイシステムにおいて表示すべき背景入力画像を示すものである。斜線を付けて示してある画像は、大きな矩形200として示してあるディスプレイ画面の全体をカバーするものである。図1bはドットを付けて前景入力画像を示し、これはディスプレイ画面200のごく一部分を占めているに過ぎない。この部分を小さな矩形210で示す。図2aおよび2bは、本発明によって背景および前景入力画像を合成し、共用フレームバッファに格納して得られる画像を示すものである。図2aにおいて、合成画像は、以後混合区域と称する小さな矩形220として示された領域内の混合画像と、以後背景区域と称する残余のディスプレイ領域230内の背景画像とから構成されている。この混合区域220は図1bの領域210に対応しており、前景入力画像によって占められている。背景区域230は、図1bの領域210を除いた図1aの領域200に対応している。前景画像によって占有されている領域（図1bの領域210）を２つの部分に分割することによって他の効果が得られる。第１の部分を用いて前景画像と背景画像とを混合したものを表示し、第２の部分を用いて前景画像を表示する。この例を図2bに示すが、この図では混合区域220を前景画像の周縁の領域に限定してある。前景領域240は前景画像の残りの部分が占めるようにしている。前景画像の周縁において画像を混合することによって前景画像と背景画像との切り換わり目をスムーズとすることができる。
本発明においては、画像はディジタルデータ要素、すなわちピクセルの列として供給されるものであることを前提としている。アナログ画像を本発明による画像処理システムへ入力画像として供給する場合には、慣例のアナログ−ディジタル変換回路を用いてディジタル化する。画像を適当なサイズに変換するのが望ましい場合には、慣例のサイズ変更回路を用いることができる。同様に、大きな画像から特定の領域を抽出したり、画像の位置を変更したりするために慣例の回路を用いることができる。このような回路を本発明と一緒に用いることができるが、これらの回路は本発明の一部を構成するものではないので、これ以上は説明しない。
前景画像は任意の種類の表示可能な情報とすることができ、例えば完全な動画、グラフィックイメージ、アニメーション、英-数文字とすることができる。同様に、背景画像もビデオ情報およびグラフィック情報を含む広範囲の表示可能な情報で構成することができる。本明細書においては、一つの背景画像および一つの前景画像を取り上げるが、もっと多くの画像に対しても同様の技術を適用することができることは明らかである。例えば、或る背景画像に第１の前景画像を重畳させ、さらにこの第１の前景画像に第２の前景画像を部分的に重畳させるようなことが可能である。本発明の画像処理システムによれば、先ず背景画像と第１の前景画像とを処理し、次に第２の前景画像を処理する際には、背景画像と第１の前景画像との合成画像を背景画像と見做し、第２の前景画像を前景画像と見做せば良い。
図３は、本発明による画像処理システムを具現した装置の実施例のブロック図である。この装置は、ディスプレイコントローラ30に結合された前景画像源10および背景画像源20を具えている。前景画像源10は、前景入力画像ピクセルの列を前景画像接続部12を経てディスプレイコントローラ30へ供給する。背景画像源20は、背景入力画像ピクセルの列を背景画像接続部22を経てディスプレイコントローラ30へ供給する。これらの画像はそれぞれ独立して供給することができ、また異なるレートでリフレッシュすることができる。ディスプレイコントローラ30は、CPU50から合成画像接続部52を経て画像合成情報を受ける。ディスプレイコントローラ30は入力ピクセルを処理し、この処理したピクセルをフレームバッファ60のメモリ素子へ転送する。これらのメモリ素子の位置はそれぞれのピクセルの画像中の位置に対応している。ビデオ発生器70はフレームバッファ60の順次のメモリ素子からピクセルを読み出し、ビデオディスプレイ80上で映出すべき対応するビデオ信号を発生する。画像源10，20、CPU50、ビデオ発生器70およびビデオディスプレイ80は既知の素子であり、本発明の要旨ではないので、これ以上は説明しない。
図４は本発明による画像処理システムの実施例の詳細なブロック図である。ディスプレイコントローラ30は、前景画像源10から前景画像接続部12を経て前景画像入力ピクセル列を受けるともに背景画像源20から背景画像接続部22を経て背景画像入力ピクセル列を受ける入力手段32を具えている。この入力手段32は、例えばシフトレジスタを用いて実現することができる。ディスプレイコントローラ30は前景ピクセルと背景ピクセルとを区別することができる。例えば、双方のピクセル列に対して別々のシフトレジスタを用いる場合には、これらのシフトレジスタの情報はそれぞれ固有である。一方、これらのピクセル列を共用I/Oバスを経て受ける場合には、ピクセルのタイプまたは画像源を識別する追加の属性情報を用いて前景と背景ピクセルを区別することができる。この属性情報は、例えばピクセル単位またはピクセルブロック単位で供給することができる。また、属性情報はピクセル列と一緒に供給するかまたは別個に供給することができる。
ディスプレイコントローラ30はさらに、各入力ピクセルに対して対応する画像位置を決定することができる。この情報はピクセルに、属性情報またはアドレス情報として加えることができる。あるいはまた、水平および垂直位置カウンタを新たな画像が入力される度にリセットしても良い。ディスプレイコントローラ30は、CPU50から合成画像接続部52を介して受けた合成情報を合成メモリ34に格納する。この合成メモリ34に格納されている合成情報によって、処理手段36は、個々の入力ピクセルを、その画像位置に基づいて、合成画像によって占有される全ディスプレイ区域の中の背景区画、混合区域または前景区域のいずれに割り当てるのかを決定する。これらの区域は図2aおよび2bに示したものである。混合区域220は、前景画像と背景画像とを混合したものを表示するために用いられるものである。前景領域240は前景画像の残りの部分を表示するために用いられる（背景画像の対応する部分は見えなくする）。残りのディスプレイ区域、すなわち背景区域230は、背景画像の残りの部分を表示するために用いられる。
上述した合成メモリ34に格納されている画像合成情報は幾つかの形態を取ることができる。その数例を以下に示す。
各画像位置に対して２ビットを有する２−ビットプレーン。第１のビットは前景ピクセルをフレームバッファ60の対応するメモリ素子へ転送（その後対応する画像位置で表示される）すべきか否かを指示する。第２のビットは、背景ピクセルをフレームバッファ60の対応するメモリ位置に転送すべきか否かを指示する。これらのビットが、前景ピクセルおよび背景ピクセルをフレームバッファ60の対応するメモリ素子へ転送すべきことを指示する場合には混合が行われる。
各画像位置に対して１ビットを有する１−ビットプレーン。このビットは、対応する画像位置を前景入力画像が占めるべきか否かを指示する。前景画像の周縁に制限された混合区域220においてのみ混合が必要な場合には、この周縁区域の巾を格納すれば足りる。図2bに示すような合成を行なう場合には、周縁領域220の全周に亘って同じピクセル巾となっているので、巾としてはただ一つの値を格納するだけで良い。ビットプレーン内に格納された情報と組み合わされたこの情報によって混合区域と前景区域とを識別することが可能となる。
図5aに示すような１次元ラン−レングス。この図は背景区域230、混合区域220および前景区域240を示すものである。ディスプレイ上のi，i+1---で表された各ラインを少なくとも一つの線分Δ_ijに分割し、或る区域から他の区域への変わり目において新たな線分を開始させる。各線分Δ_ijに対して、区域の種類と線分の長さとを記憶する。指標ｊはそれぞれのライン上でのｊ番目の変わり目を表す。例えば、ラインi+1は５つの線分を有している。また、線分の長さは処理手段36において、ループカウンタによって個々の処理を何個の連続するピクセルに対して行なう必要があるのかを指示するのに使用される。さらに、既に処理した線分の長さを加算する加ことによって当該線分の水平方向の開始位置を計算により求めることができる。また、当該線分の終了位置は水平方向の開始位置に当該線分の長さを加えることによって計算できる。このように、或る線分のライン情報（垂直位置）、水平方向の開始および終了位置を用いて当該線分を各画像区域に割り当てることができる。各線分の区域の種類を格納するから、各画像位置の対応する区域を決定することができる。
図5bに示す２次元ラン−レングスを用いることによって矩形の前景画像を処理することができる。この場合には、画像をそれぞれが多数の順次のラインを含む垂直方向の区画Δｙ_iに分割する。指標iは垂直方向の区画の番号を表す。新たな垂直方向の区画は、或るラインが一つ前のラインとは異なる区域を占める場合に開始させる。各垂直方向の区画Δｙ_iは少なくとも一つの水平方向のセグメントΔｙ_i,ｘ_jに分割する。この指標jは、水平方向のセグメントの番号を示すものである。或る区域から他の区域への変わり目において新たな水平方向のセグメントが開始される。この手法は、矩形の画像に対して採用されるので、各垂直方向の区画Δｙ_i内においては、すべてのラインは同一の水平位置において変わり目が発生する。図5bに示す合成画像は５つの区画（Δｙ_iからΔｙ₅）から構成されている。図面では、垂直方向の区画Δｙ₁に対する水平方向のセグメント（ただ１つのセグメントΔｙ₁,ｘ₁）および垂直方向の区画Δｙ₄に対する水平方向のセグメント（３つのセグメントΔｙ₄,ｘ₁〜Δｙ₄,ｘ₃）を示してある。各セグメントΔｙ_i，ｘ_jに対して区域の種類を記憶しておく。
本発明の変形例では、図４に示す合成メモリ34をディスプレイコントローラ30の外部に設けることもでき、特にビットプレーンの場合にはフレームバッファ手段60に組み込むのが好適である。あるいはまた、合成メモリ34は、図３に示すCPU50のメモリに組み込むこともできる。
処理手段36はフレームバッファ60のメモリ素子へピクセルを転送する。メモリ素子の位置はピクセルの画像位置にたいおうする。合成メモリ34内に格納した情報を用いて処理手段36は入力ピクセルを次のように処理する。
- 前景入力ピクセルが前景区域に入るものである場合には、これらをフレームバッファ60の対応するメモリ素子へ転送する。
- 前景入力ピクセルが混合区域に入るものである場合には、それを代表する部分を選択してフレームバッファ60の対応するメモリ素子へ転送する。
- 背景入力ピクセルが背景区域に入るものである場合は、これらをフレームバッファ60の対応するメモリ素子へ転送する。
- 背景入力ピクセルが混合区域に入るものである場合には、それを代表する部分を選択してフレームバッファ60の対応するメモリ素子へ転送する。
このようにして、フレームバッファ内に合成画像を形成することができる。
図６は他の実施例を示すものであり、本例ではディスプレイコントローラ30は、混合区域内の画像位置を２つの選択部に分割する手段38を具えている。第１の選択部は前景ピクセルを表示するためのものであり、第２の選択部は背景ピクセルを表示するためのものである。入力画像の双方が混合区域に対して十分に寄与するものである場合には、通常のテレビジョンを見る場合のように十分に遠い距離から見るときに、視聴者は混合の印象を受けるようになる。混合メモリ34に格納された情報を用いて、処理手段36は入力ピクセルがどの区域に入るものであるのかを決定する。混合区域に対応する入力ピクセルに対しては、処理手段36は分割手段38から供給される情報を用いて、入力ピクセルがどの選択部に入るのかを決定する。これに基づいて、処理手段は入力ピクセルを以下のように処理する。
- 前景入力ピクセルが前景区域に入るものである場合には、これらのピクセルをフレームバッファ60の対応するメモリ素子へ転送する。
- 前景入力ピクセルが混合区域の第１の選択部へ入るものである場合には、これらのピクセルをフレームバッファ60の対応するメモリ素子へ転送する。
- 背景入力ピクセルが背景区域に入るものである場合には、これらのピクセルをフレームバッファ60の対応するメモリ素子へ転送する。
- 背景入力ピクセルが混合区域の第２の選択部に入るものである場合には、これらのピクセルをフレームバッファ60の対応するメモリ素子へ転送する。
混合区域を２つの選択部に分割する幾つかの方法を説明するために、図７においては、混合区域220の点線枠を付けて示す小さな部分222を、個々のピクセル位置が見えるまで拡大して示す。図７、図8a〜8dおよび9a〜9cには、種々の選択部のパターンを示する。ハッチングしたパターンのピクセル位置は背景ピクセルを表示するために用いられるものであり、無パターン（白）のピクセル位置は前景ピクセルを表示するために用いられるものである。第１のパターンにおいては（図７）、前景ピクセルと背景ピクセルとを交互に表示する（チェス盤パターン）。この場合には、双方の画像は、混合画像全体に亘って同等の寄与をすることになる。図７に示す混合領域は３個のピクセル巾を有する周縁領域となっている。もちろん、他の巾、例えばピクセル２個分または４個分の巾とすることもできる。さらに、混合区域は、前景画像の周縁領域だけでなく他の領域とすることもできる。また、混合領域を前景画像全体の領域を占めるものとすることもできる。２つの画像を混合する際のレベルは通常α-関数で記述することができる。すなわち、前景画像ピクセルをα倍したものと、背景画像を（１−α）倍したものとで混合画像のピクセルを構成することができ、ここにαは０から１の範囲内の値である。この実施例では、個々のピクセルを混合するものではないが、十分に離れたところから見ることによって混合効果を得ることができる（空間混合）。視聴者から見たαの有効な値は、個々の入力画像から異なる個数のピクセルを選択することによって左右される（画像から選択されるピクセルの個数が多くなると合成画像に対する当該画像の寄与は大きくなり、少なくなると寄与も低くなる）。図８は、図面の上部に示すようにα-関数を混合区域に亘って変化させて或る画像から別の画像への変わり目を特にスムーズとした４つのパターンを示すものである。
例として、図８に示す混合区域は３個のピクセル巾を有する周縁領域とした。背景区域よりも前景区域に一層近い大多数の位置を用いて、前景ピクセルを表示する。周縁領域の中間の位置の半分を用いて前景ピクセルを表示する。前景区域よりも背景区域に一層近い位置の大多数を用いて背景ピクセルを表示する。図９は、４個のピクセル巾を有する周縁領域より成る混合区域を示すものである。この場合のα-関数を図面の上部に示した。
100Hzよりも低い周波数で動作するインターレースディスプレイ上に混合画像を表示する場合には、ピクセルの分離（隣接するピクセルが異なる入力画像から由来している）があるとフリッカが生じる。図７、８および９に示すパターンでは、混合区域内のピクセルは、同じ入力画像から由来する少なくとも１つの隣接するピクセルを有するようにする（垂直方向あるいは対角線方向に）ことによってフリッカを回避するようにしている。
図６の分割手段38によって混合区域を２つの選択部に分割する機能を、他の実施例では処理手段36で受け持たせることできることは明らかである。例えば、処理手段36を図10のフローチャートで示すように入力ピクセルを処理するようにプログラムすることができる。このプログラムはピクセルをチェス盤のパターンにしたがって混合するものである。
さらに他の実施例では、分割手段38の機能を図３のCPU50で実行できることも明らかである。CPU50は、合成メモリ34に格納すべき合成情報52と一緒にパターン情報をディスプレイコントローラ30へ供給することができる。例えば、合成情報52は、各画像位置に対して１ビットを割り当てた１-ビットプレーンの形態とすることができる。このビットは、前景ピクセルまたは背景ピクセルのいずれをフレームバッファの対応するメモリ素子へ転送して、その後に対応する画像位置で表示するのかを指示するものである。この場合、CPU50は、混合区域においては所望のパターンにしたがってビットを交互に割り当てることができる。あるいはまた、１次元ラン−レングスを用いる場合には、CPU50は各セグメントに対して区域の種類に応じた処理パターンを供給することができる。或るセグメントに対して混合のレベルを異ならせる必要がある場合には、CPU50は、各セグメントに対して一連のパターンを供給することができる。例えば、図9bには、３つの混合レベルを有する混合区域を示してある。この場合には、CPU50は１ピクセル長の開始パターン（α＝3/4に対応する）と、２ピクセル長の連続パターン（α＝1/2に対応する）と、１ピクセル長の停止パターン（α＝1/4に対応する）とを供給することができる。特に、画像の上縁に沿う場合には、パターンはもっと長いものとなる。
画像は、そこに含まれる情報に依存して異なるレートでリフレッシュすることができる。完全な動画の典型的なリフレッシュレートは25または30Hzであるが、テレテキストページは２秒置きにリフレッシュするだけで良い。オンスクリーンディスプレイ（OSD）情報は全くリフレッシュする必要がなく、アニメーションのグラフィック画像は30Hzよりも高いピークリフレッシュレートが必要である。このような種々の画像を処理できるようにするために、ディスプレイコントローラ30は前景入力画像および背景入力画像をそれぞれ独立に（異なる時刻に異なるリフレッシュレートで）処理できるものである必要がある。これは、フレームバッファ60として、先に格納した画像ピクセルに影響を及ぼすことなく新たな画像ピクセルを書き込むことができるものを用いることにより実現できる。このようなフレームバッファとしては、ランダムアクセスポートを有するフレームバッファ（ピクセルを独立に書き込むことができる）がある。このようなフレームバッファは、例えばNEC株式会社から製造販売されている。また、シリアル入力ポートを有し、メモリ素子へのマスクドアクセスがサポートされているフレームバッファを用いることもできる（ピクセル列を順次のメモリ素子へ格納し、ビットマスクを用いて指示される幾つかのピクセルをスキップしても先に格納したピクセルの値は影響を受けない）。このようなデバイスの例としては、NEC株式会社から製造販売されている同期GRAM（μPD481850）やミクロン・テクノロジー社から製造販売されているページモードDRAM(MT4C1668/9)がある。
図11は、本発明によるディスプレイコントローラ30およびフレームバッファ60の他の実施例を示すものである。本例においては、慣例のシリアル入出力動作をサポートするフレームバッファ60を用いる。このようなフレームバッファの例としては、同期DRAM(SDRAM)があり、これは容易に入手することができる。このようなフレームバッファを用いる場合には、ピクセル列を書き込むことによってこの列に対応するすべての順次のメモリ素子は影響を受ける（範囲内のどのメモリ素子もスキップされない）。双方の画像のピクセルより成る混合区域のピクセル列を書き込むために、ディスプレイコントローラ30は、双方の画像のピクセルに同時にアクセスできるものである必要がある。このためには、画像がそれぞれ独立して供給される場合でもそのようなことを実現するために、ディスプレイコントローラ30には、フレームバッファ60から先に格納したピクセル列を読み出すための第２の入力手段40を設ける。そこでの読み込みは、第１の入力手段32で現在受けている入力ピクセル列と同期して行なう。処理手段36は、表示区域および混合区域にしたがって第１の入力手段32で受けるピクセルを選択し、この選択したピクセルを第２の入力手段40で受けるピクセルと組み合わせる。次に、処理手段36は合成したピクセル列をフレームバッファ60へ転送する。明らかに、シリアル入出力動作は、別個のポートの形態のフレームバッファ60によってサポートできるかまたは高速双方向ポートの形態でサポートすることもできる。
図12は本発明の他の実施例を示すものであり、画像処理システムは、フレームバッファ60に結合したブレンダーロジック手段90を具えている。図６に示したものと同様のディスプレイコントローラ30は入力ピクセルを上述したように処理し、フレームバッファ60内に格納される合成画像を形成する。ブレンダーロジック手段90はフレームバッファ60からピクセルを読み出し、それらを例えば図３のビデオ発生器70に供給する。さらに、ブレンダーロジック手段90は、混合区域に対応したピクセルを転送する前にブレンドする。これによって、通常のコンピュータディスプレイの場合のようにディスプレイに接近して見る場合にも良好な混合レベルを得ることができる。ブレンダーロジック手段90は、ピクセル列を読み取る第１および第２の入力手段を具えている。第１の入力手段92はフレームバッファ60に結合されている。第２の入力手段94はデレーロジック手段100に結合されている。このデレーロジック手段100は、フリップフロップやシフトレジスタのような慣例の回路を用いて構成されており、フレームバッファ60から読み出されたピクセル列を、順次に受けるピクセル間の時間間隔に等しいデレー時間だけ遅らせるものである。ブレンダーロジック手段90はさらに、第１の入力手段92を介して受け取ったピクセルを第２の入力手段94を介して受け取ったピクセルとブレンドする手段96を具えている。例えば、双方の入力ピクセルを２で除算し（シフト動作）、その結果を加算することによって実行することができる。ブレンダーロジック手段９０にはさらにピクセルを転送するための出力手段98を設ける。合成メモリ34に格納されている情報を用いて第１の入力手段92を介して受け取ったピクセルが混合区域の一部を構成するものであるか否かを決定する。当該ピクセルが混合区域のものである場合にはブレンドされたピクセルを転送する。しかし当該ピクセルが混合区域のものでない場合には、ピクセルをブレンドすることなく転送する。本実施例では、同じ画像ライン上の直前のピクセルとブレンドする。当業者であれば他の種々のブレンド方法を適用できることは明らかである。例えば、同一のライン上のより多くの（先行するまたは後続の）ピクセルを含むように拡張したり、隣接する（先行するまたは後続の）ライン上のピクセルを含むように拡張したりするフレンド方法を採用することができる。他方、ブレンドを所定のピクセルにのみ限定することもできる。例えば、同一の入力画像から由来する順次のピクセルをブレンドする代わりに、特定のパターン情報を用いることによって、ブレンドを異なる画像から由来するピクセルに限ることもできる。
本発明の変形例においては、デレーロジック手段100およびブレンダーロジック手段90の機能を、慣例のようにディスプレイコントローラ30と組み合わせることができる。さらに、図３のビデオ発生器70の機能をディスプレイコントローラ30と組み合わせることもできる。
画像ピクセルは種々のデータフォーマットを用いて表現することができ、例えばRGBのようなカラー−スペースモデルやYUVのような輝度−基準モデルを用いることができる。ある種のデータフォーマットはグラフィック画像に一層適しており、他の種類のデータフォーマットはビデオ画像に一層適している。さらに、画像は異なるビット数を用いて表現することができる。例えば、カラーまたは輝度／彩度強度レベルに対して通常６または８ビットを用いることができる。本発明の実施例においては、個々の強度レベルに対して８ビットを用いるものとする。このようなフォーマットの例は、24ビットRGB（３つの８−ビットカラー強度レベル）および16−ビット4:2:2YUV（１つの８−ビット輝度強度レベル：２つの８−ビットカラー強度レベルで、これらを順次のピクセルに対して交互に格納する）である。さらに本実施例では、入力画像は同じデータフォーマットで供給されるものとしている。これら入力画像のフォーマットが異なる場合には、慣例の回路を用いてこれらのピクセルを共通のフォーマットに変換することができる。あるいはまた、異なるフォーマットのピクセルを、例えばフォーマットの寄与を残したまま処理し、格納するには種々の方法が既知である。本発明は使用するデータフォーマットおよびビット数とは無関係に適用できるものである。さらに、当業者は、特にYUVの場合には、一つの色成分も失われないように注意する必要があることがわかる（ＵおよびＶ色成分は通常順次のピクセルに対して交互に格納されているので、所望の混合レベルがα＝1/2の場合には、混合区域においては４個のピクセル毎に色成分を格納するのが好適である）。
図13はさらに他の実施例を示すものであり、ディスプレイコントローラ30は、混合区域位置に対応するメモリ素子のビット格納位置を２つの選択部に分割する手段44を具えている。各メモリ素子のビット格納位置の第１の選択部を用いて前景入力ピクセルを代表する部分を格納し、第２の選択部を用いて背景入力ピクセルを代表する部分を格納する。
図14は、８-ビット強度レベルを用いる場合の２つの選択部を示すものである。説明の便宜上、一つのピクセルをただ１個の８-ビットフィールドでしか示していないが、典型的にはピクセルは２つまたは３つの８-ビットフィールドで表示され、格納されるものである。各メモリ素子300は第１の選択部310と第２の選択部320とに分割されている。第１の選択部310のビット格納位置には、上位４桁のビットを格納し、第２の選択部320のビット格納位置には、下位４桁のビットを格納する。したがって、第１の選択部310には前景ピクセル330の上位４桁のビットが格納され、第２の選択部320には背景ピクセル340の上位４桁のビットが格納される。
図15は選択部の種々の変形例を示す。第２の選択部（背景画像に割り当てられている）のビット格納位置をハッチングを付けて示す。通常は、図14および15bに示すように、ビット格納位置は双方の入力画像に対して均等に割り当てられている。或る入力画像のα-係数が0.5よりも相当小さい場合には、この入力画像に対しては少数の入力ビットを割り当てるのが好適である。例えば、α=0.125とする場合には、合成ピクセルに対する前景ピクセルの完全な寄与を格納するのに５ビットを用いれば十分である（２進法を用いる場合には、前景ピクセルの最高強度は255であり、したがって５ビットを用いて格納する場合には最大の寄与は32となる）。背景ピクセルの完全な寄与を格納するためには、8ビットが必要である（最高強度:7/8×255）。理想的には、双方の寄与を完全に格納するには、13ビット（５ビット＋13ビット）を用いる。８ビットしか用いられないので、図15cの選択部は図15cの選択の好適な変形例となる。図15cにおいては、前景画像に対して３ビット（約５＊(8/13)）が割り当てられ、背景画像に対して５ビット（約８＊(8/13)）が割り当てられている。この方法を用いると、最高の混合係数（α-係数）を持つ画像に対してより多数のビット格納位置が割り当てられるように格納位置が分割されることになる。図15a〜15dの上部に示したα-係数は背景画像の可能な寄与を表している。図15bに示す選択の変形例として、図15dでは、格納位置を交互に割り当てるようにしている。
選択したピクセルビットを格納することは、メモリ素子の個々の格納位置に、メモリ素子の残余の格納位置に影響を与えることなくピクセルビットを書き込むことができるフレームバッファ60を用いることによって可能となる。このような機能は、メモリ素子格納位置に対するマスクドアクセスが可能なシリアル入力ポート付きのフレームバッファによって実行できる。このようなフレームバッファの例としては、NEC株式会社から製造販売されている同期GRAMがある。このようなフレームバッファを用いることにより、図12に示す分割手段44によってフレームバッファに対する所望のマスクパターンを与えることができる。
図16は、ピクセルビットの選択した部分を格納するようにした実施例の変形例を示す。本例では慣例のシリアル入出力動作のみをサポートするフレームバッファ60を用いている。このようなフレームバッファへのメモリ素子への書き込みを行うとメモリ素子のすべてのビット格納位置に影響を及ぼすことになる。このようなフレームバッファを用いるために、ディスプレイコントローラ30にはフレームバッファ60から既に格納されているピクセル列を読み出す第２の入力手段40を設ける。この読み出しは、第１の入力手段32を介して現在受け取っている入力ピクセル列と同期して行なう。例えば、或る瞬時において第１入力手段は混合区域に対応する前景入力ピクセルを受け取っているものと仮定するとともに選択部のビット格納位置は図14に示すようになっているものと仮定する。この場合には、前景入力ピクセルの上位４桁のビットが選択される。これは、例えばヘキサデシマル値“F”を有する最上位桁マスクニブルを有するヘキサデシマルマスク“F0”を用いてピクセル強度に対してビット毎のAND演算を施すことによって実行できる。同様に、下位の４ビットを第１の入力手段40によってフレームバッファ60から読み出したピクセル列から選択する。これは、例えばヘキサデシマルマスク“F0”を用いピクセル強度に対してビット毎のAND演算を行なうことによって実行できる。上述したように、これら下位４桁のビットは背景入力ピクセルの上位４桁のビットを含むものである。次に、双方のビット列を混合し（例えばビット毎のOR演算を実行する）、フレームバッファ60へ転送する。これらの演算を実行するのに通常のロジックを使用する代わりに、処理手段36をこれらの演算を実行するようにプログラムすることもできる。このような場合には、プログラムコードにマスクを組み入れておくか、あるいはまたデータの形態でプログラムがマスクを使用できるようにする。
本発明のさらに他の実施例においては、図17に示すように、画像処理システムに、フレームバッファ60に結合したブレンダーロジック手段110を設ける。ディスプレイコントローラ30は図13に示したものと同じものであり、入力ピクセルを上述したように処理してフレームバッファ60内に格納される合成画像を形成するものである。ブレンダーロジック手段110はフレームバッファ60からピクセルを読み出して、例えば図３に示したディスプレイ発生器70に送る。さらに、ブレンダーロジック手段110は、混合区域内のピクセルに対して、ピクセルを転送する以前に双方の選択部の格納位置から読み出した値をブレンドする。これによって、ディスプレイを通常コンピュータディスプレイを見る場合のように近くから見る場合に、良好なブレンドレベルが得られる。そのために、ブレンダーロジック手段110にはフレームバッファ60からピクセル列を読み出す手段112を設ける。ブレンダーロジック手段110は、さらに第１の選択部のビット格納位置から読み出した値と、第２の選択部のビット格納位置から読み出した値とをブレンドする手段114を設ける。ここで選択部のビット格納位置は図14に示すようなものであると仮定して、例えば以下のようにブレンドを行なう。
ヘキサデシマルマスク“0F”を用い、ピクセル強度に対してビット毎のAND演算を行なうことによって上位４桁のビット格納位置から前景入力ピクセルの上位４桁のビットを抽出する。その結果得られる値を第１のレジスタに格納する。
ヘキサデシマルマスク“F0”を用い、ピクセル強度に対してビット毎のAND演算を行なうことによって下位４桁のビット格納位置から背景入力ピクセルの上位４桁のビットを抽出する。この値を16倍して（４ビット位置だけシフトする）ビットを上位のニブルに格納されるようにする。その結果得られる値を第２のレジスタに格納する。
双方のレジスタに格納されている値を２で除算（シフト動作）して加算することによりこれらの値の平均値を演算する。
この結果得られるブレンドされたピクセルは双方の値の平均値となっている。マスクパターンは固定としても良いし、図３に示すディスプレイコントローラ30またはCPU50のような外部のコントローラから供給しても良い。ブレンダーロジック手段110にはさらにピクセルを転送する出力手段116を設ける。合成メモリ34に格納した情報を用いて入力手段112を介して受け取ったピクセルが混合区域の一部になるか否かを決定する。ピクセルが混合区域の一部となる場合には、ブレンドしたピクセルを転送する。ピクセルが混合区域の一部ではない場合には、ピクセルをブレンドせずに転送する。
本発明に変形例においては、ブレンドロジック手段110の機能を慣例のようにディスプレイコントローラ30に組み込むことができる。
格納したピクセルを表示する前にブレンダーロジック手段110を用いない場合には、混合はかなり粗雑なものとなる恐れがある。例えば、前景画像のピクセルを格納するのに最上位桁のビット格納位置を使用する場合には、このビットは合成されたピクセルの強度の半分に寄与することになる。前景画像ピクセルの強度の僅かに変化してビットが変化するような場合には、合成されたピクセルの強度が大きく変化してしまう可能性がある。他方、背景画像ピクセルの強度が大きく変化しても合成されたピクセルの強度は僅かしか変化しない可能性もある。したがって本発明の変形例においては、ブレンダーロジック手段110を用いずに良好な混合レベルが得られるように２つの方法を使用する。第１の方法は、合成されたピクセルに対して所望の混合レベルに近い値を寄与させるように選択部のビット格納位置を割り当てるものである。例えば、図14において、上位４桁のビット格納位置を背景画像に割り当てる。これによって背景画像ピクセルの寄与を最大強度15までに制限することになり、これは合成されたピクセルの最高強度の約1/16に過ぎない（255の最高強度の約1/16）。その結果、高い強度を有する入力ピクセルの最高混合レベルは約α=1/16となる。低い強度の入力ピクセルに対しては、例えば最高強度の1/8よりも小さくなり、近似的に混合レベルα=0.5が依然として得られる。
図18は14の可能な選択部を示すものである。第２の選択部（背景画像に割り当てられている）を構成するビット格納位置をハッチングを付けて示した。当業者は所望の混合レベルおよび入力画像の性質に対して、画像で使用されている強度レベルの分布および範囲に応じて最適の選択部を選ぶことができる。明らかに、図18に示した以外の選択部も使用することができる。
ブレンドロジックを使用することなく良好な混合レベルを得る第２の方法は、前景および背景の各々の入力ピクセルの最適の寄与を、利用できるビット格納位置に格納する以前に決定するものである。入力ピクセルをビット格納位置に割り当てる簡単な方法は、入力ピクセルに対して割り当てられた格納位置と同数の上位桁ビットを格納することである。この方法は、所望の混合レベルに対して寄与が最適なものとならない欠点がある。例えば、最上位ビットが前景ピクセルに割り当てられた図18gに示す選択部にしたがってビット格納位置が割り当てられているものと仮定する。さらに、前景ピクセルは最高強度255を有し、好適な混合レベルはα=0.5であると仮定する。前景ピクセルの上位４桁のビットを格納すると、混合されたピクセルの強度に対する寄与は170(128+32+8+2)となる。この場合、好適な寄与128は、合成されたピクセルの最上位ビットのみをセットするだけで良い。同様に、すべての強度レベルおよびすべての所望の混合レベルに対して最適の寄与を決定することができる。
上述した双方の方法を組み合わせることによって特に良好な混合レベルが得られることを当業者は了解することができる。これは、例えば以下のようにして実現することができる。
種々の画像において用いられている強度レベルの分布および範囲のような要素に対して入力の性質を分析する（例えば、テレテキストの性質は完全な動画とは相違している）。
所望の混合レベルを決定する。
各可能なピクセル強度に対して実行される混合レベルをすべての選択部に対して演算する。
種々の画像の分布情報を用いて平均の混合レベルを演算する。
各画像タイプ毎に、所望の混合レベルに近い平均混合レベルを達成できる選択部を選ぶ。
選んだ選択部にしたがって入力画像ピクセルを処理して最適の寄与を転送する。
明らかに、最後の工程は、典型的には図16に示す処理手段36によって実行される。他の工程の幾つかは、例えば汎用コンピュータを用いて一度だけ実行するのが最良である。その場合には、図３のCPU50を新たな種類の画像をディスプレイコントローラ30によって処理する必要がある場合には、選択情報をディスプレイコントローラ30へ供給するようにプログラムすることができる。
【図面の簡単な説明】
図１はディスプレイシステムに供給すべき前景および背景入力画像を示す図、
図２は合成画像中の前景区域、背景区域および混合区域を示す図、
図３は本発明による画像処理システムの実施例を具える装置のブロック図、
図４は図３に示した画像処理システムの一層詳細なブロック図、
図５は画像合成情報を格納するのに用いるラン−レングスを示す図、
図６は選択された背景画像ピクセルで補足された前景画像ピクセルの選択された部分をフレームバッファ内の混合区域に格納するようにした画像処理システムの実施例のブロック図、
図７、８および９は前景画像および背景画像からピクセルを選択する場合の種々のピクセル位置パターンを示す図、
図10は背景画像ピクセルの選択部で補足された前景画像ピクセルの選択部を転送する場合のプログラムのフロー図、
図11は慣例のシリアル入出力ポートを有するフレームバッファを用いた画像処理システムの実施例の図、
図12はフレームバッファに格納されたピクセルを、表示以前に、追加のブレンダーロジックを用いて処理するようにした画像処理システムの実施例のブロック図、
図13は混合区域内において、ビット格納位置の選択された部分に格納された前景画像ピクセルを代表するデータと、ビット格納位置の残余の部分に格納された背景画像ピクセルを代表するデータを格納するようにした画像処理システムの変形例のブロック図、
図14および15は、前景画像ピクセルを表すデータおよび背景画像ピクセルを表すデータを格納するための種々のビット格納位置パターンを示す図、
図16は、慣例のシリアル入出力ポートを有するフレームバッファを用いる図13に示す画像処理システムのブロック図、
図17は、フレームバッファに格納されたピクセルを、表示以前に、追加のブレンダーロジックを用いて処理するようにした図13に示す画像処理システムのブロック図、
図18は種々のビット格納位置パターンの変形例を示す図である。

Claims

前景画像および背景画像を処理し、共用フレームバッファに合成画像を格納するようにした画像処理システムであって、
ディスプレイコントローラ手段およびこのディスプレイコントローラ手段に結合されたフレームバッファ手段を具え、
前記ディスプレイコントローラ手段が、
背景入力画像を構成するディジタル背景入力ピクセルおよび少なくとも一つの前景入力画像を構成するディジタル前景入力ピクセルを受け取り、これら背景および前景入力ピクセルを区別する入力手段と、
前記入力ピクセルを処理し、処理したピクセル列を前記フレームバッファ手段のメモリ素子へ送って合成画像を形成する処理手段とを具え、
前記ディスプレイコントローラ手段は、各入力ピクセルに対して対応する画像位置および関連するメモリ素子を決定する手段も具え、前記画像位置を決定する手段は、画像合成情報を受け取る手段およびこの受け取った合成情報を格納する手段を含み、
且つ前記処理手段は、各入力ピクセルに対してその画像位置に基づいて、当該入力ピクセルが、合成画像によって占有される全ディスプレイ領域のうちの、背景区域、混合区域、または前景区域のいずれに入るのかを決定すべく作動し、前記混合区域は、合成された画像において対応する前景画像の予め決められた領域に対応する位置として規定された混合区域位置を有しており、前記前景区域は、合成された画像において前景画像に対応し、前記混合区域の一部とならない位置として規定された前景区域位置を有しており、前記背景区域は、合成された画像において背景画像に対応し、前記混合区域または前景区域の一部とならない位置として規定された背景区域位置を有しており、前記処理手段には、
前景区域位置に対応する前景入力ピクセルの全てと、混合区域位置に対応する前景入力ピクセルのうち、ピクセルの空間選択部および各ピクセルの一部によって形成される前景ピクセルの代表的な部分と、背景区域位置に対応する背景入力ピクセルの全てと、混合区域位置に対応する背景入力ピクセルのうち、ピクセルの空間選択部と各ピクセルの一部によって形成される背景ピクセルの代表的な部分とが送られるようにした画像処理システムにおいて、
前記入力ピクセルが複数のビットを有しており、
前記フレームバッファ手段のメモリ素子は前記入力ピクセルのビットとほぼ同数のビット格納位置を有しており、
前記ディスプレイコントローラ手段が、前記混合区域位置に対応するメモリ素子のビット格納位置を第１および第２の選択部に分割する手段を具え、
混合区域位置に対応する前記前景ピクセルの代表的な部分が、各前景ピクセルの、対応するメモリ素子のビット格納位置の第１の選択部に送られる代表的な部分を含み、
混合区域位置に対応する前記背景ピクセルの代表的な部分が、各背景ピクセルの、対応するメモリ素子のビット格納位置の第２の選択部に送られる代表的な部分を含み、
前記混合区域が合成画像内に、対応する前景画像の予め決められた周縁領域に対応する部分を具え、
前記対応する位置が背景区域よりも前景区域に一層近い場合には、前記メモリ素子におけるビット格納位置の第１の選択部が、メモリ素子で利用できるビット格納位置の半数よりも多い位置を有し、前記対応する位置が前景区域よりも背景区域に一層近い場合には、メモリ素子で利用できるビット格納位置の半数よりも少ない位置を有するものとしたことを特徴とする画像処理システム。
請求項１の画像処理システムにおいて、前記前景入力ピクセルの代表的な部分が、前景入力ピクセルの上位の複数のビットを含み、前記背景入力ピクセルの代表的な部分が、背景入力ピクセルの上位の複数のビットを含むことを特徴とする画像処理システム。
請求項１の画像処理システムにおいて、前記システムが、前記背景入力ピクセルの合成画像に対する寄与の値を、前景入力ピクセルをビット格納位置の第１の選択部に格納される前景入力ピクセルの値のほぼ半分に選択することによって前記前景入力ピクセルの代表的な部分を決定し、前記背景入力ピクセルの合成画像に対する寄与の値を、背景入力ピクセルをビット格納位置の第２の選択部に格納される背景入力ピクセルの値のほぼ半分に選択することによって前記背景入力ピクセルの代表的な部分を決定する手段を具えることを特徴とする画像処理システム。
請求項１の画像処理システムにおいて、
前記画像処理システムが、前記フレームバッファ手段に結合されたブレンダーロジック手段を具え、
前記ブレンダーロジック手段が、入力手段と、ブレンド手段と、出力手段とを具え、
前記入力手段が、前記フレームバッファ手段からピクセル列を読み出す手段を具え、
前記ブレンド手段が、前記ビット格納位置の第１の選択部から読み出した値と、ビット格納位置の第２の選択部から読み出した値とをブレンドしてブレンドされたピクセルを形成する手段を具え、
前記出力手段が、前記第１の入力手段を介して受け取ったピクセルが混合区域位置に対応する場合には、前記ブレンドされたピクセルを送り出し、前記ピクセルが前景区域位置または背景区域位置に対応する場合には、第１の入力手段を介して受け取ったピクセルを送りだす手段を具えることを特徴とする画像処理システム。
請求項１の画像処理システムにおいて、前記周縁領域の巾を２〜４ピクセルとすることを特徴とする画像処理システム。
請求項１〜５の画像処理システムを含むビデオディスプレイ装置。