JPH09507635A - ディジタル画像のコーディング - Google Patents

Abstract

(57)【要約】 かぶせられた画像パネル（Ｆ，Ｂ）の形態で後続表示のための、ディジタル画像のコーディングのための方法と装置が開示されている。画像の特徴のための蓄えられた情報は１つの面から別の面に異なっている。例えば、４つのみの異なった色が１つの面においてサポートされ、別の面において１６の異なった色がサポートされている。コーディングをするとき、画像の特徴を簡単な（４色の）面において指定することが可能であるかどうかについて決定がなされ、もし可能でないときにのみ、特徴がより細かい面においてコードされる。画像の特徴は、ブロックずつのベースで起こっている決定を有するブロックにブレークダウンされる。

Description

【発明の詳細な説明】 ディジタル画像のコーディング 本発明は、コンピュータで発生した画像のエンコーディングに関し、そして特 に、しかし専らではないが、対話式システム上に表わされた活気に富んだシーン のための画像のエンコーディングに関する。 そのようなシステムは許容できる質の画像を作ると同時にリアルタイムで動作 することを必要とする。コストが利用できる処理能力を制限するコンシューマシ ステムの制約内においては、画像の面を効率よくコーディングするための技術が 、限られたデータストリームから画像のリアルタイム再形成を可能にするために 要求される。コンパクトディスクに基づいたシステムの場合においては、ディス クは典型的に、秒当たり１５０Ｋｂのデータストリームを出力し、その２０Ｋｂ が音声のために保留されている。視覚的に許容できるスクリーンのリフレッシュ レートにおいて、これは、画像のコーディングのためにイメージフレーム当たり およそ８Ｋｂを許している。 より低密度の領域に対してより、画像が精密でより高密度の領域に適用された より複雑で、情報の集中的なコーディングを有し、画像を比較的高いおよび比較 的低い空間密度の領域に分離することを含んでいて、画像フレームをコードする ために必要な情報を減少させるための種々の技術が提案されて来た。そのような 技術は欧州特許出願公開明細書ＥＰ−Ａ−０３５８４９８に述べられ、そしてそ れはまた、より低い解像度（ビデオのクロミナンス）成分をより高い解像度（ル ミナンス）成分の半分のレートでコーディングすることによってデータ要求を減 少させ、すなわち、各表示画素に対して、クロミナンス情報は１画像フレームお きにリフレッシュされるのに対してルミナンス情報は毎フレームにつきリフレッ シュされる。 本発明の目的は、なかんずく、デコード時に画像の特徴の比較的簡単な再組合 わせを許すような、画像の情報密度に関して画像データをエンコードする方法を 提供することにある。 本発明によれば、キャラクタベースのディスプレス装置によって続いて起こる 表示のために、ディジタル画像をエンコーディングする方法が提供され、その方 法は： (a) 画像をキャラクタブロックのアレイに分割する； (b) 画像における各唯一のキャラクタブロックに対して、ディスプレイ装置に供 給するためのキャラクタの精細度(definition)を発生させる； (c) ディスプレイ装置のディスプレイメモリにおける記憶のために画像の各ブロ ックに対するキャラクタの参照(reference)を発生させ、各キャラクタの参照は ステップ(b)において発生させたキャラクタの精細度を参照してそのブロックの 様子を指定している、を含んでいて、 それぞれ高いおよび低い情報密度を有している少なくとも第１および第２のキ ャラクタベースの画像面を有する装置による表示のために、ステップ(b)および( c)は、各単一のキャラクタブロックに対して、そのブロックが低い情報密度で表 わされるかどうかを決定し、もしそうであれば、ディスプレイ装置の第２の画像 面のためのキャラクタの精細度とキャラクタの参照とを発生させることを選ぶこ とを含んでいることを特徴とする。 もし、適当なキャラクタの精細度が連続する現在の画像または前の画像におい てどこかよそで起こっている同一のキャラクタブロックによってすでにディスプ レイ装置に存在しないならば、エンコードされるべき画像は、ステップ(b)にお いてキャラクタブロックが唯一と判断されるような画像の連続の一部であり得る 。エンコードされるべき画像が画像の連続の一部であるところでは、ステップ(c )において、キャラクタの精細度が連続する前の画像から変化を表わすのに必要 なように表示メモリをアップデートするために発生される。 各キャラクタの精細度は、ディスプレイ装置内に蓄積された色のルックアップ テーブル（パレット）のエントリを参照してブロックの個々の画素に対して色を 定義する。そのような場合、第１の画像面に対するパレットは第２の画像面に対 するパレットより多くのエントリを有している。加えて、ステップ(b)はさらに 、唯一のキャラクタパターンにおける画素の色がディスプレイ装置に蓄えられた パレットにすでに利用できるかどうかを決定し：もしそうでないならば、パレッ ト の精細度がディスプレイ装置に供給するために発生させられることを含んでいる 。パレットが使われるところでは、ディスプレイ装置は、ステップ(c)において 各ブロックに対して発生されたキャラクタの参照が、利用できる複合のパレット から適当な１つを選択するパレットの参照に伴われているような、第１および第 ２の画像面の少なくとも１つに対して複合のパレットを蓄えるのに適して配置さ れている。 また本発明によれば、ディジタル画像を受信しそしてエンコードすることの可 能なエンコーダ装置が具えられていて、その装置は：受信した画像をキャラクタ ブロックのアレイに分割するために配置された画像分割器；画像分割器に接続さ れ、そしてアレーの各ブロックに対するキャラクタの精細度を発生することが可 能な第１のキャラクタの精細度手段；および画像分割器と第１のキャラクタの精 細度手段に接続され、そしてアレーの各ブロックに対して、それぞれのキャラク タの精細度を参照してブロックの様子を指定している第１のエンコードされた信 号を発生することが可能な第１のキャラクタの参照手段；を含んでいて、その装 置はさらに、共に接続されそして画像分割器に接続されそして第１のキャラクタ の精細度および参照手段より低い解像度においてブロックの様子を指定している 第２のエンコードされた信号を発生することが可能な第２のキャラクタの精細度 手段および第２のキャラクタの参照手段と、そして画像分割器に接続されそして 画像アレイの各ブロックに対して第１または第２のいずれのエンコードされた信 号が発生されるべきかを決定することが可能な選択手段とを含んでいることを特 徴とする。 キャラクタの精細度手段は、それぞれのルックアップテーブルに対して少なく ともアドレスを含んでいるようなブロックの様子を指定するために配置されてい るキャラクタの参照手段を有する１個またはそれ以上のカラーのルックアップテ ーブル（エンコードされた信号を受信装置に供給するための）を発生することが 適当に各可能である。キャラクタの参照手段（それぞれの情報密度エンコード段 ）は４bitまたは２bitのコードとして様子を適当にそれぞれ指定することができ 、そしてこれらのコードはそれぞれ１６または４個のカラーのルックアップテー ブルに対してアドレスを指定することができる。 なお、本発明はさらにエンコードされた画像の連続を提供し、そしてそれらの 各々は上述した方法によってエンコードされた。画像の連続は光ディスクのよう な除去可能なデータ担体に適当に記録され得、またはローカルエリアネットワー クや放送ネットワークによって１またはそれ以上の離れた受信者に送信され得る 。 さて、本発明の好ましい具体的表現が例のみによって、そして次の添付図面を 参照して記述される： 図１は、かぶせられた画像面の対を示している。 図２は、対話式グラフィックスデコーダ装置を示している。 図３は、本発明を具体化しているエンコーダ装置のブロック図である。 図４は、図２のデコーダ段のブロック図である。 画像をコーディングするための共通の技術はブロックコーディングであり、そ こでは画像中のドット（画素）は画素の矩形のブロックに分割される。ＤＣＴ(d iscrete cosine trans-formation)コーデイングのような種々の圧縮技術が、そ のときデータ圧縮を行うために使用され得る。この圧縮は限られた帯域幅の通信 リンクによる伝送を許すため、またはディスクからのデータがアクセスされるレ ートに制限があるコンパクトディスクのような媒体に蓄積を許すために必要とさ れる。そこにはまた、コンパクトディスクのような蓄積媒体上の画像の連続のた めに利用できる蓄積スペース上の制限もある。 以下の例においては、画像は８×８画素のブロックに分割される。別の大きさ も等しくよく使われ、そして形状も正方形の代わりに矩形になり得る。この場合 において、データ圧縮は、画像において２またはそれ以上のブロックに同じパタ ーンが現われるブロックを再使用することによって、そして同じブロックが動画 像の連続の連続的なフレームに使われているブロックを再使用することによって 達成される。しかるに、ブロック内の各画素はＲＧＢまたはＹＵＶのような色の 直接の表示としてコードされるけれども、ブロックが分離したテーブルに蓄積さ れているような適当な色へのアドレスとしてコードされているcolour look-up t able（ＣＬＵＴ）技術を使用することが好ましい。これはブロック当たりのコー ドされるべき情報量を減少させ、そして一層の圧縮を与える。 本システムにおいては、各コーディングブロック内に与えられる色の数に制限 が与えられている。もしブロックが画素当たりに利用できる４bitの蓄積を有す るならば、そのときそのブロック内で最大１６色が使用され得る。ブログラマブ ルなハードウェアのルックアップテーブルは、これら１６コードを実際のカラー の詳述に翻訳するために使用される。 本システムにおいては、表示された画像をつくるためにかぶせられる複合のデ ィスプレイ面がある。初めに図１を参照するに、以下の例は、幾つかのキャラク タブロックまたはブロックの部分に対する透明な前面をつくるための手段を有す る２bitの面Ｂの前に４bitの面Ｆがある場合を述べる。さらに色選択の柔軟性を 増すために、幾つかのＣＬＵＴｓが各ブロックによって指定されるべく利用でき る。 コードされるべきデータの量を減少させるために、色の小さい数のみを必要と する画像におけるブロック（例えば、ブロックＡ）が２bitの面Ｂ（ブロックＡ₂ ）においてコードされる。これらの例において、前景の４bitの面のキャラクタ （ブロックＡ₄）は透明にセットされる。２bitの面に対するブロックに許容され るべきあまりに多くの複雑性があるとき、または必要とされる色が２bitの面の ＣＬＵＴｓのセットでは役立たないところでは、そのとき、４bitの面のキャラ クタ（Ａ₄）が使用される。そのとき２bitの面のためのデータは必要でなく、そ の理由は、４bitの面は透明でないからである。 図２は、デコーダ段１２に読み出し、その出力が制御ユニット１６の制御のも とにディスプレイドライバ１４に通されるディスクリーダ１０（または、蓄積さ れたデータの他のリーダ）を有する対話式のシステムを簡単な図のかたちで示し ていて；実際の実現においては、以下に述べられるように、これらのユニットは 本発明のエンコーディング技術を取扱うために構成されたデコーダ段１２を有し て単一のユニットの中に設けられ得る。キーボード、マウスまたはジョイスティ ックのようなユーザＩ／Ｏデバイス１８がまた、ディスプレイドライバ１４の出 力を表示しているテレビジョンまたはモニタのスクリーンのようなディスプレイ ２０とともに制御ユニット１６にユーザコマンドの供給のために用意されている 。 エンコーダ装置の適当なハードウエアの形態が図３に示されていて：実際問題 としては、エンコーディングは適当にプログラムされたコンピュータ上を走って いるソフトウエアにおいて達成されるオフラインプロセスとして実行され得て、 その場合においては、図のブロックは左から右に流れているフローチャートとし て考えられるべきである。エンコードされるべきビデオ信号はフレームバッファ ２０に読出され、そこから各ブロックを形成するそれらの画素が読出される（ブ ロックリーダ２２）。各ブロックのためのデータは、そのブロックが２bitでエ ンコードされ得るかまたは４bitが必要とされるかどうかを決定するために、そ のデータについて閾値動作を行うセレクタ２４に通される。この決定に従って、 ブロックデータは２bitのエンコーダ段２６と４bitのエンコード段２８の各々に 通される。２bitの面の前面の４bitの面に関して、ブロックが２bitの面でエン コードされるべきところにおいては、透明信号Ｔｙがセレクタ２４から４bitの 面において透明としてコードされるべきブロックを引起させる４bitのエンコー ダに送られる。ブロックが４bitの面でエンコードされるべきところにおいては 、禁止信号ＩＮＨが、ブロックのどんなエンコーディングをも（前景の４bitの 面のブロックの不透明のため必要でないとして）防ぐため、２bitのエンコーダ に送られる。 各ブロックのための分離した色値をエンコードするよりもむしろ、色のルック アップテーブルがエンコードされる適当なＣＬＵＴエントリ・アドレスとともに 使用される。エンコーダ段２６，２８の各々に対して、そこには相当するＣＬＵ Ｔレファレンス・ストア３０，３２が配置され、それらを通してエンコーダは適 当なアドレス値を決定する。１個以上のとり得るＣＬＵＴが面当りにサポートさ れているところでは、エンコーダとレファレンス・ストアは、必要とされるＣＬ ＵＴと実在しているものとの間に正確なまたは使用できるつり合いがあるかどう かを決定する。使用できるつり合いは、実在しているＣＬＵＴが新しいブロック の要求に合わすために修正され得る１個またはそれ以上の使用されない色値を有 しているところに生じる。適当なＣＬＵＴが存在しないところでは、テーブル発 生器３４，３６が、それぞれのレファレンス・ストアに要求されるような別のテ ーブルを供給する。発生器３４，３６は、エンコードされるべきブロックの色を 基礎としてそれらの１つを選択するための手段を有し取り得るＣＬＵＴ配置のラ イブラリ、または使われていないＣＬＵＴ構成に入れられるべき取り得る色のラ イブラリを単に含むことができる。 エンコーディングに続いて、ブロックデータは、ＣＬＵＴｓを指定しているデ ータとともにビットストリームに結合される。ＣＬＵＴデータは、適当にはアッ プデートの形態にあって、すなわち、先行するフレームによって使われないそれ らのテーブルのみのためのＣＬＵＴデータは送られる。 デコーダのための適当なアーキテクチャが、いかにしてエンコードされたデー タが表示信号に変換されるかを説明するために図４に示されている。２個の類似 したセクション、サフィックＡまたはＢである部分は、混合器ＭＩＸによってか ぶせられるＡおよびＢチャンネルの出力をそれぞれ有する４bitおよび２bitの面 のデコーディングを取扱い、そのＭＩＸの出力は、ディジタルーアナログ変換器 ＤＡＣを介してアナログ信号に変換され、そしてそれからディスプレイ（ディス プレイドライバ１４およびスクリーン２０、図２）に通される。 各チャンネルに対し、ディスプレイメモリＤＭＥＭは画像の各ブロックに対す るキャラクタコードアドレスと他の情報を蓄積し：８×８ブロックに分割された ２５６×２２４画素のディスプレイのために、３２×２８のブロックの格子が蓄 積される。要求されるように、アドレスを供給しているＤＭＥＭの各ブロックは キャラクタメモリ（ＣＨＴ）に読出される。キャラクタメモリはＤＭＥＭと同様 、フレーム間のブランキング期間に、現在のフレームには必要でないそれらの値 を上書きしている動画像の連続の前のフレームに含まれないそれらの値でアップ デートされる。 キャラクタメモリの出力は、幾つかの利用できるルックアップテーブルＣＬＵ Ｔから適当な１つを選ぶために、ディスプレイメモリからまた出力されるスイッ チング信号によって制御されるデマルチプレクサＤＭＵＸに通される。デマルチ プレクサの出力は選ばれたＣＬＵＴから適当な色を選択するアドレスであり、Ｃ ＬＵＴの出力は前述したように混合器ＭＩＸに通される。 透明を提供するための適当な技術は、ＣＬＵＴに蓄えられた利用できる色の１ つとして“透明な”を指定することである。そのような場合において、１５カラ ー値とともに透明を蓄えている４bitの面の１つまたはそれ以上のためのＣＬＵ Ｔを有している２bitの面の前の４bitの面を有し、そして４カラー値を蓄えて いる２bitのＣＬＵＴを有している２bitの面を有していることが好ましい。もし 、透明のメカニズムが、前景のちょうどその部分が透明であることを許すならば 、そのとき、ブロックの部分でこれらの選択をすることが可能になるかも知れな い。けれども、これは８×８ブロックの各々を例えば４個の４×４bitのブロッ クに分割するための特別のコーディングを必要とするであろう。 判断されるように、２bitのブロックとしてコードされるそれらの画像のブロ ックは、４bitのコーディングを使用するそれらの半分だけの蓄積スペースと伝 送時間を占めるであろう。同時に、画像のもっと複雑な部分を扱うために４bit のコーディングを使用する柔軟性がある。明らかに、２bitまたは４bitの選択は 、面の多くのとりうる形状のただ１つであってそしてそこにはまた２以上の面も 含まれ得る。面はbitの数の他の組合せをもち得るし、そして異なったディスプ レイ順にもなり得る（例えば、２bitの面が４bitの面の前になり得る）。 与えられた開示を読むことから、他の変形が当業者にとって明らかであろう。 そのような変形は、画像の伝送と蓄積システム、ディスプレイ装置およびそれら の部品の設計、製造および使用において既知であり、そしてここに既に記述した 特徴の代わりにまたは加えて使用される他の特徴を含み得る。クレームは、この 出願において特徴の特別の組合せについて公式化されたけれども、本発明の開示 の範囲はまた、それがどれかのクレームに現在クレームしたのと同じ発明に関し ていてもそうでなくても、そしてそれが、本発明がしているように同じ技術的課 題のいくらかまたは全てを軽減しようともそうでなくても、明示的か暗示的かあ るいはそれらからの派生的にせよここに開示されたどんな新しい特徴または特徴 の新しいどんな組合せをも含んでいることが理解されるべきである。出願人は、 新しいクレームが本出願の続行中またはそこから引き出された別の出願の続行中 に、そのような特徴および／またはそのような特徴の組合せに対して公式化され 得ることをこれによって予告する。

Claims (1)

1. 【特許請求の範囲】 １．キャラクタベースのディスプレイ装置によって続いて起こる表示のために、 ディジタル画像をエンコーディングする方法であって、その方法は： （ａ）画像をキャラクタブロックのアレイに分割する； （ｂ）画像における各唯一のキャラクタブロックに対して、ディスプレイ装置 に供給するためのキャラクタの精細度を発生させる； （ｃ）ディスプレイ装置のディスプレイメモリにおける記憶のために画像の各 ブロックに対するキャラクタの参照を発生させ、各キャラクタの参照はステップ （ｂ）において発生させたキャラクタの精細度を参照してそのブロックの様子を 指定している、を含んでいて、 それぞれ高いおよび低い情報密度を有している少なくとも第１および第 ２のキャラクタベースの画像面を有する装置による表示のために、ステップ（ｂ ）および（ｃ）は、各単一のキャラクタブロックに対して、そのブロックが低い 情報密度で表されるかどうかを決定し、もしそうであれば、ディスプレイ装置の 第２の画像面のためのキャラクタの精細度とキャラクタの参照とを発生させるこ とを選ぶことを含んでいることを特徴とするディジタル画像をエンコーディング する方法。 ２．請求項１記載の方法において、もし適当なキャラクタの精細度が連続する現 在の画像または前の画像においてどこかよそで起こっている同一のキャラクタブ ロックによってすでにディスプレイ装置に存在しないならば、エンコードされる べき画像は、ステップ（ｂ）においてキャラクタブロックが唯一と判断される画 像の連続の一部であることを特徴とするディジタル画像をエンコーディングする 方法。 ３．請求項１記載の方法において、エンコードされるべき画像が画像の連続の一 部であるところでは、それと同時にステップ（ｃ）において、キャラクタの精細 度が連続する前の画像から変化を表すのに必要なように表示メモリをアップデー トするために発生されることを特徴とするディジタル画像をエンコードする方法 。 ４．請求項１記載の方法において、各キャラクタの精細度は、ディスプレイ装置 内に蓄積された色のルックアップテーブル（パレット）のエントリを参照してブ ロックの個々の画素に対して色を定義し、第１の画像面に対するパレットは第２ の画像面に対するパレットより多くのエントリを有していることを特徴とするデ ィジタル画像をエンコードする方法。 ５．請求項１記載の方法において、ステップ（ｂ）はさらに、唯一のキャラクタ パターンにおける画素の色がディスプレイ装置に蓄えられたパレットにすでに利 用できるかどうかを決定し、もしそうでないならば、パレットの精細度をディス プレイ装置に供給するために発生させることを含んでいることを特徴とするディ ジタル画像をエンコードする方法。 ６．請求項４記載の方法において、 ディスプレイ装置は、第１および第２の画像面の少なくとも１つに対して複 合のパレットを蓄え得て、そしてステップ（ｃ）において、各ブロックに対して 発生されたキャラクタの参照が、利用できる複合のパレットから適当な１つを選 択するパレットの参照に伴われていることを特徴とするディジタル画像をエンコ ードする方法。 ７．ディジタル画像を受信しそしてエンコードすることが可能なエンコーダ装置 であって、その装置は： 受信した画像をキャラクタブロックのアレイに分割するために配置された画 像分割器； 画像分割器に接続され、そしてアレーの各ブロックに対するキャラクタの精 細度を発生することが可能な第１のキャラクタの精細度手段；および 画像分割器と第１のキャラクタの精細度手段に接続され、そしてアレーの各 ブロックに対して、それぞれのキャラクタの精細度を参照してブロックの様子を 指定している第１のエンコードされた信号を発生することが可能な第１のキャラ クタの参照手段： を含んでいて、該装置はさらに 共に接続されそして画像分割器に接続されそして第１のキャラクタの精細度 および参照手段より低い解像度においてブロックの様子を指定している第２の エンコードされた信号を発生することが可能な第２のキャラクタの精細度手段お よび第２のキャラクタの参照手段と、そして画像分割器に接続されそして画像ア レイの各ブロックに対して第１または第２のいずれのエンコードされた信号が発 生されるべきかを決定することが可能な選択手段とを含んでいることを特徴とす るディジタル画像を受信しエンコードするエンコーダ装置。 ８．請求項７記載の装置において、第１および第２のキャラクタの精細度手段は １個またはそれ以上のカラーのルックアップテーブルを発生することが各々可能 であり、そして第１および第２のキャラクタの参照手段がそれぞれのルックアッ プテーブルに対してアドレスを含んでいるようなブロックの様子を指定するため に配置されていることを特徴とするディジタル画像を受信しエンコードするエン コーダ装置。 ９．請求項７記載の装置において、第１および第２のキャラクタの参照手段は、 それぞれ４ｂｉｔのコードと２ｂｉｔのコードとして様子を指定するために配置 されていることを特徴とするディジタル画像を受信しエンコードするエンコーダ 装置。 10．各画像が請求項１記載の方法によってエンコードされることを特徴とする画 像の連続信号。 11．請求項１０記載の画像の連続信号において、除去可能なデータ担体に記録さ れていることを特徴とする画像の連続信号。