JPH11511884A - 対話アプリケーション用画像データ圧縮 - Google Patents

Abstract

(57)【要約】 ２次元画素像が画素ごとに特定した絶対奥行き値を有する画像データ処理に用いる圧縮方法及び装置を説明し、奥行きデータは、画像データとともに伝送し又は記憶する前に圧縮することが要求される。画像ごとに奥行きデータを圧縮するプロセスは、パッチの画素が同一又は同様な奥行き値を有する画像の隣接する画素のパッチを決定するとともに、共通奥行き値をパッチの全ての画素に割り当てることによって開始する。次いで、同一又は同様な共通画素奥行き値を有する画素パッチを互いにグループ化し、共通奥行き値を、このようにグループ化したパッチの全ての画素に割り当て、その後、離散画素奥行き値の各々に対して、その奥行き値を有する画像の領域、すなわち、画素数についての決定を行う。これら領域のうちの最小のものに対して、関連のこれら画素の各々の奥行き値を、最も近くに存在する離散奥行き値に修正する。その後、最小領域の決定及びそれに伴う奥行き値の再割り当ては、離散奥行き値の予め設定された数Ｎ（例えば、１６又は３２）だけになるまで繰り返される。隣接画素の奥行きを参照した奥行き値の再割り当ては、Ｎ離散レベルに減少した奥行きデータがランレンズク符号化されて奥行きデータ量の十分な減少が達成される。

Description

【発明の詳細な説明】 対話アプリケーション用画像データ圧縮 本発明は、各奥行きに依存して画像の一つ又はそれ以外のものから望ましい寄 与を取り出すことによって二つ以上の画像を結合すべき場合に用いられ、画像デ ータ、特に、ビデオすなわちグラフィックイメージを伴う特定の画素奥行きデー タを処理する画像データ処理方法及び画像データ処理装置に関するものである。 二つ以上の画像面からの寄与を混成するこのような装置は、欧州特許出願公開 明細書第0634733 号に記載されている。このアプリケーションにおいて、二つ又 は三つの平坦画像が、ほぼ全ての画素に対して規定した絶対奥行き値を有する画 像の各々と構成要素マテリアルを形成する画像処理装置が設けられている。結合 に当たり、少なくとも第１及び第２画像の対応する画素の各奥行き値が比較され 、各奥行き値に依存して望ましい寄与が第１又は第２画像の最前画素から得られ る。個別に特定された絶対奥行き値を有する「背景」を適切に設ける場合、画素 ごとの比較は、簡単に三つの値のうちの最前のものの決定に拡張され、これによ って、第１又は第２面でモデル化されたスプライトを、第３面の形態の裏側に通 過させることができる。画像画素を表すために不透明値が利用できる場合、三つ の値の比較を前段階で行って、各画素に対する画像ごとの寄与を決定することが できる。 画像形態に対する奥行き分類が面ごとではなく画素ごとに基づいて行われる重 なった２次元面のこのような配置は、３次元環境画像データのリアルタイム操作 を要求することなく対話アプリケーションに対して３次元環境を発生させる比較 的簡単な方法を提供する。 欧州特許出願公開明細書第0634733 号のシステムにおいて、各画像を伴う奥行 き値は、その画像に対するビデオ情報を格納する前に圧縮され、再生中に圧縮解 除される。圧縮を、量子化及びランレングス符号化のプロセスによって行うこと ができるが、これのみでは、あるアプリケーションに対する奥行きデータの量を 減少させるには不十分な方法である。例えば、画素ごとに２４ビットで指定され る奥行きデータを有する３５２×１７６画素の画像フレームを用いると、奥行き データ記憶の際に約２５０キロバイトのメモリが必要とされるが、画像データの リアルタイム伝送に当たり、それに伴う奥行きデータの量を、代表的には２キロ バイトまで減少させる必要がある。データ値を粗量子化して、共通奥行き値を有 する画像の大領域にすることによって（これによって、奥行き値のランレングス 符号化を容易にする。）、このような減少を行うことができるが、画像の領域が 他の領域に比べて詳細な奥行き指定を必要とされず、利用できるビット量が十分 でなくなるというおそれがある。 したがって、本発明の目的は、画像を伴うのに必要とされる奥行きデータの量 を減少させる手段を提供することである。 本発明の別の目的は、画像内容及び奥行きデータ分布を考慮するようにしてデ ータ量を減少させることである。 本発明によれば、画素ごとに指定された絶対奥行き値を２次元画素画像にそれ ぞれ設け、奥行きデータを、画像データとともに伝送し又は記憶する前に圧縮す る画像データ処理方法において、前記画像ごとの奥行きデータを圧縮するプロセ スは、 ａ） パッチの画素が第１の予め設定された範囲内で同一又は同様な奥行き値 を有するように画像の隣接する画素のパッチを決定するとともに、第１共通奥行 き値を前記パッチの全ての画素に割り当てるステップと、 ｂ） 第２の予め設定された範囲内で同一又は同様な共通の画素奥行き値を有 する画素パッチをグループ化するとともに、第２共通奥行き値を、このようにグ ループ化したパッチの全ての画素に割り当てるステップと、 ｃ） 離散画素奥行き値の各々に対して、前記奥行き値を有する画像の画素数 を決定するとともに、最小画素数に対して、これら画素の各々の奥行き値を、最 も近くに存在する離散奥行き値に再割り当てするステップと、 ｄ） 前記離散奥行き値の予め設定された数Ｎのみになるまでステップｃ）を 繰り返すステップとを順に具える。 理解できるように、本発明は、奥行きデータの量を減少させる非常に適合した 技術を提供する。最初に、同様な奥行きの隣接画素を共にグループ化し、次いで 、共通奥行き値を同様な画素の全てのパッチに割り当てることによって、有効な 量 子化が画像内容に基づいてより密になり、例えば、元の奥行きデータが、相違す るが等しく離間されたＮの値である場合、（方法の別のステップ（ｅ）として設 けることができる）データのランレングス符号化によって、従来よりも多くのデ ータを減少させることができる。上記ステップ（ａ）の前に、最小の奥行き値が 非常に広い範囲にある場合に所定の量子化を行うことができ、すなわち、これら 奥行き値を、必要とされるよりも正確に指定することができる。この最初の量子 化は、奥行き値を、例えば、２５６のような第１の値まで減少させることができ 、上記方法によって行われる別の圧縮によってこれをＮ＝１６の離散奥行き値ま で減少させることができる。 後に説明するように、データの有効に減少させる別の技術によって、上記ステ ップ（ａ）の前に、画像の領域を、例えば奥行きデータが必要とされないことが 既知である場合、「除外」領域として認識することができる。奥行きデータ量及 び必要とされる処理時間の省略を、ステップａ）〜ｄ）を、前記除外領域以外の 画素の領域に対してのみ実行することよって行うことができる。 また、本発明は、２次元画素画像を規定するデータ及び画素ごとに絶対奥行き 値を規定するデータを受信し及び記憶するために配置した第１メモリと、前記奥 行きデータを画像データとともに伝送し又は記憶する前に記憶された画像の奥行 きデータを処理し及び圧縮する奥行きデータ処理及び圧縮手段とを具える画像デ ータ処理装置において、前記奥行きデータ処理及び圧縮手段は、 パッチの画素が第１の予め設定された範囲内で同一又は同様な奥行き値を有す るように画像の隣接する画素のパッチを決定するとともに、記憶された奥行き値 の各々を前記パッチの全ての画素に対して共通の奥行き値に修正するように配置 された第１比較段と、 第２の予め設定された範囲内で同一又は同様な共通の画素奥行き値を有する画 素パッチをグループ化するとともに、記憶された奥行き値の各々をこのようにグ ループ化したパッチの全ての画素に対して共通奥行き値に修正する第２比較段と 、 前記第１メモリの離散画素奥行き値の各々に対して、前記画像の画素の領域を 前記奥行き値で決定するとともに、このような領域のうちの最小のものに対して 、その領域の各画素の記憶された奥行き値の各々を最も近くに存在する離散奥行 き 値に修正する領域決定手段と、 前記第１メモリの前記奥行き値が予め設定された数Ｎのみになるまで前記領域 決定手段の繰り返し動作をトリガするために配置した計数手段とを具えることを 特徴とする画像データ処理装置に関するものである。 画像データ処理装置は、前記Ｎ離散奥行き値の状態にして前記第１メモリの奥 行きデータのランレングス符号化表示を行うことを決定する計数手段によってト リガされる第１エンコーダを更に具える。（ＭＰＥＧのような）予め設定された 符号化形態に従って画素画像データを圧縮するように配置された第２エンコーダ を更に設ける。この場合、インタリービング回路を適切に設けて、出力データス トリームの第１及び第２エンコーダの出力（並びに付加的には別のデータ源から のデータ）を結合する。 （第１比較手段によって）パッチの全ての画素に課された共通奥行き値に関し て、これは、そのパッチの画素に対して修正されていない奥行き値のうちの最大 のもの又は最小のものを具えることができ、又は上記第１の予め設定された範囲 内のある中間値を選択することができる。同様に、第２比較段によってパッチの グループに課された共通奥行き値を、個々のパッチ奥行き値のうちの最大のもの 又は最小のものとすることができ、又は（上記第２の予め設定された範囲内の） ある中間値を課すことができる。 本発明の他の態様及び利点は、添付図面を参照して本発明の好適な実施の形態 の説明から明らかにする。 図１は、ビデオオンデマンドサーバアーキティクチャに基づく遠隔マルチユー ザゲームシステムを線図的に示す。 図２は、図１のゲームシステムの端末でユーザに提供された画像を表す。 図３は、本発明の態様による構成要素のＭＰＥＧデータストリームへのインタ リービングを表す。 図４は、本発明を実施するエンコーダのブロック図である。 図５は、図４のエンコーダの一部の動作を表すフローチャートである。 図６Ａ及び６Ｂは、図２の画像に対する「除外マップ」の発生のステップを表 す。 図７は、図５の減少ステップを詳細に表すフローチャートである。 図１は、本発明の圧縮技術を適切に用いることができるリモートマルチプレー ヤゲームシステムの一例を示す。中央サーバ１０は、データ線１６を通じてリモ ートユーザステーション１２，１４にデータを出力し、リモートユーザからサー バへの通信はバックチャネル１８上で行われる。リモートユーザステーション１ ２，１４の各々は、（好適にはユーザのテレビジョン受像機とすることができる ）ディスプレイ２０と、ユーザ入力装置（ＵＩＤ）２２と、ローカル情報を発生 させるとともにサーバを用いて接続にインタフェースするセットアップボックス （ＳＴＢ）２４とを具える。 図２に示すように、適切なゲーム環境は都市の環境を具えることができ、この 場合、、ユーザは、市街で車両２６，２８，３０を運転する際に、例えば、互い に停止することを試みる。道路、建物等を具える風景を、ＭＰＥＧビデオストリ ームとしてユーザＳＴＢに提供する。各プレーヤは、ゲームの全体に亘る制御を サーバ１０のゲーム論理の区画によって処理することによって、ユーザ自身のＳ ＴＢ２４を通じてユーザ自身の車両２６の移動を制御する。サーバは、環境の相 違する視野の全てに対するＭＰＥＧデータを保持する別の領域３４を有し、これ らの視野を、ゲーム環境、走行速度、方位等の範囲内でユーザの位置に依存して ユーザに提供する。別のサーバ段は、ゲームに対する音声付属物３６と、ユーザ のＳＴＢによって提供される画像ストリーム上に置くことができるグラフィック 形態３８とを処理する。 車両２６，２８，３０の各々は、相違する角度及び高度から取り出した一連の 画像として各ＳＴＢ２４のメモリに格納される。車両を表示すべきとき、最近角 及び高度を有するスプライト画像を、格納された車両のうちの一つから選択し、 正確なサイズにスケール化し、スクリーン上に表示する。動作中、サーバ１０は 、ユーザによって見ることができる環境の一部内の車両の各々のユーザに対する 位置を識別する。この際、ＳＴＢは、サーバに供給されるビデオ背景上にある車 両スプライトの合成画像を発生させる。 図２からわかるように、車両２８〜３０のいずれかが画像の左側の道路の位置 を走行する場合、簡単な重ね合わせによって車両が建物４０の前に現れるが、こ れは明らかに不十分である。したがって、システムは、車両を曖昧にする必要が ある場合、車両が画像の区域に入る際に車両スプライトをクリップする。 図３及び４において、ユーザのＳＴＢに送信されるデータは、サーバによって ＳＴＢに供給されるＭＰＥＧ２ストリームのようなフレーム表示とする図３に示 したような形態である。フレームは、グラフィック／音声データ（Ｓ／Ｇ）に対 する部分が続く短いヘッダ部Ｈと、奥行きデータ（ＤＤ）と、ビデオ画像データ （ＶＩＤ）とを具える。ＳＴＢは、それに関連する表示スクリーンを３０回／秒 で更新するので、サーバのゲーム論理３２及び画像３４の区画は、この速度でフ レームを伝送する必要がある。 スプライトを曖昧にする必要がある場合に画像位置でスプライトのＳＴＢによ ってクリップすることができるようにするために、各画像フレームを伴う奥行き データＤＤは、そのフレームの形態の各奥行きを指定し、各画像と関連のポイン トのスプライト奥行き値とを比較することによって、車両が単にビデオ画像のト ップに描写されるか又はクリップされるかを決定することができる。 図４は、各画像フレームを符号化するエンコーダを線形的に示し、各画像フレ ームは、その画像の画素に対する各奥行きデータとともに、サーバ１０（図１） の段３４に記憶される。奥行きバッファ４４に関連するフレームバッファ４２は 、レンダリング段４６によって発生したビデオ画像データを保持し、それに対し て、奥行きバッファ（ｚバッファ）は、バッファ４２に格納された画像フレーム の各画素に対する初期奥行き値を保持する。バッファ４４の奥行き“マップ”は 、マッププロセッサ４８によって処理されて、フレームごとに伝送される必要が ある奥行きデータの全体量を減少させ、同時に、マップメモリ５０は、説明する ようにしてデータがプロセッサ４８によって変形される際に、画像ごとの現在の 奥行き値の継続中の記録を維持する。フレームバッファ４２の出力を、離散余弦 変換圧縮を既知の方法でビデオ画像に適用するＭＰＥＧエンコーダ段５２に送る 。その後、ＭＰＥＧ符号化ビデオはインタリーブ段５４に出力される。このイン タリーブ段５４は、（インタリーブ段５４の前でミキサ回路６０によって結合す ることができる）グラフィック５６及び音声５８のデータ源からの入力も受信し 、その後、インタリーブ段５４は、図３のようなＭＰＥＧフレームをアセンブル し、 データチャネル１６（図１）上に伝送するために又は（例えば光ディスク上に） 記録するためにＭＰＥＧフレームを出力する。 容易に理解できるように、ＭＰＥＧ符号化段５２は、所望の場合には連続的な ＭＰＥＧストリームを発生させることができるようにするために画像を再指令す ることができる。これは、フレーム再指令を許容することができる追加のバッフ ァリング及び各奥行きマップに対する別のバッファリングを意味し、その結果、 出力フレームにおいて、正確な奥行きマップは、関連の画像フレームを伴う。他 のアプリケーションに対して、（十分な伝送帯域幅／記憶容量がある場合、）ビ デオ画像を全てＭＰＥＧ１フレームとして符号化することができ、その結果、再 指令が要求されない。 マッププロセッサ４８によって実現される奥行きマップ減少技術を、図５のフ ローチャートによって示す。理解できるように、ソフトウェア制御されたデータ 管理処理に関する処理を以下説明するが、図示した各処理ステップを、ハードウ ェア又はハードウェア及びソフトウェアの組合せによって実現することもできる 。画像の完全な奥行きマップが利用できるとき、ステップ７０で処理を開始する 。この奥行きマップが非常に広範囲の値に対して指定される、すなわち、データ が非常に詳細に指定される場合、次のステップ７２において、奥行き値を、離散 奥行き値の最初の数Ｍに量子化する。Ｍに対する適切な値を、例えば、２５６離 散奥行き値とすることができる。 ステップ７２の量子化に次いで、ステップ７４において、最初の画素を選択し 、ステップ７６及び７８において二つの相違する（付加的な）テストを行って、 （重なり及びクリップが生じない場合に画像領域に存在するという）考察から画 素を除外するか否か、又は画素が予め設定設定されたしきい値、例えば、ディス プレイに対する任意のスプライトを１画素未満のサイズにスケール化する奥行き よりも深い奥行きを有するか否かをそれぞれ決定する。ステップ７６又は７８が 真である場合、当該画素を無視することができ、その特定の画素に対する奥行き 値がマップメモリ５０（図４）に格納されない。ステップ７６及び７８を、マッ プメモリ５０に画像に対する有効な奥行きデータの主要部分を提供する最終画素 ？／次の画素ステップ８０及び８２の制御の下で、ステップ７６及び７８を繰り 返 す。この奥行き値は、ステップ８４において、メモリ５０にＮの離散奥行き値の みが残っている（この場合、Ｎを、例えば、１６又は３２とすることができる。 ）ポイントに対して減少され、その後、ステップ８６において、メモリ５０から の減少した解像奥行きマップは、図４のインタリーブ化５４に供給される前にラ ンレングス符号化される。 図６Ａ及び６Ｂは、ステップ７６に対する除外の計算方法を示す。本例では、 図２の道路は、移動スプライトが現れる画像の領域のみを表す。これを認識する に当たり、除外マスクを、図６Ａのように各奥行き（Ｖ_MAX／ｚ）の車両の最高 に対して道路を仮想的に形成することによって発生させる。このような形成から 、（図６Ｂの）除外マップを発生させる。図５のフローチャートのステップ７６ において、マッププロセッサは、考察の下で単に特定の画素のＸＹ座標をチェッ クし、それが除外領域内にある場合（図６Ｂの斜線部）、その画素は単に無視さ れ、次の画素を考察のために選択する（ステップ８２を通じたリターンループ） 。 図５のステップ８４で実行される離散奥行き値の数のＮへの減少を、図７のフ ローチャートによって詳細に示す。減少プロセスの最初のステップ９０は、同一 又は同様な奥行き値を有する隣接する画素のパッチを予め設定された範囲に規定 することである。構成要素を決定する予め設定された範囲を有するまだパッチ化 されていない画素から繰り返し開始する、すなわち、パッチの最初の画素に対す る奥行き値のいずれかの側でパッチをセット値とする検索アルゴリズムを実行す ることによって、これらパッチを決定する。しかしながら、候補の画素は、パッ チの構成要素としての識別に基づいて選択され、パッチの全ての画素は、単一の 共通奥行き値に修正された各奥行き値を（マップメモリ５０に）有する。 次の段のステップ９２では、（パッチを単一画素と同一の小ささとすることが できる）ステップ９０によって形成されたパッチの全てに対して割り当てられた 奥行き値の各々を比較し、同一又は予め設定された量よりも小さく分離した共通 奥行き値を有するパッチに対して、このようにグループ化されたパッチ中の画素 の全ては、単一共通値に変更した奥行き値をマップメモリ５０にそれぞれ有する 。ステップ９０及び９２において適用される共通値の選択は、考察に基づく特定 の画素によって表された特定の画像形態に依存する。例えば、図２の例において 、 建物４０の側に示す画素の全ては、その建物画像の最前画素に等しい共通奥行き 値セットを有する。一方、道路面の一部を表す互いにグループ化された画素に対 して、現れると仮定された車両スプライトが道路によってクリップされるおそれ をなくすために適用されるのは、パッチごとの最大の変更されていない奥行きで ある。 共通の奥行き値のパッチを形成し、その後同様なパッチを併合して共通の奥行 き値にするので、離散画素奥行き値の数を、例えば２５６から４０に大幅に減少 させることができる。残りの減少ステップ９４〜１０４は、これら残り４０の離 散奥行き値を適応量子化して、図５のランレングス符号化段８６に起因する圧縮 を最大にする。 適応量子化の第１ステップは、マップメモリ５０に格納されたデータから離散 奥行き値の各々で画素をカバーした画素領域をそれぞれ決定することである。奥 行きデータを、画像に対応するマップとして格納することによって、これは、奥 行き値ごとに画素数を計数する場合に簡単になる。明らかに、計算に続いてこれ ら領域値を、マップメモリ５０の領域に適切に格納してその後これらを再計算す る必要を回避する。 奥行き値ごとの関連の画素領域を計算したので、これらの最小領域は、ステッ プ８６で決定される。ステップ９８において、ステップ９６によって決定される 最小領域に対する奥行き値に対して最も近くに存在する離散奥行き値が決定され 、ステップ１００において、この最小パッチ／グループの各画素に対して記憶さ れた奥行き値は、ステップ９８で見つけられた奥行き値に置換される。最小領域 に対する奥行き値の再割り当てに続いて、ステップ１０２において、離散値の数 Ｎに対する公称計数値を１減少し、ステップ１０４において、離散奥行き値の数 （例えば、Ｎ＝１６）に到達したか否かをチェックする。到達した場合、手続き は、図５のランレングス符号化段８６に移動し、そうでない場合には、減少プロ セスはステップ９４にリターンする。既に提案したように、関連の画素領域の全 てを再び決定するステップ９４よりはむしろ、格納された領域データを、適切に 呼び戻すとともに、以前のループ上のステップ９８で決定したような最も近くに 存在する奥行きの領域を以前の最小領域に付加することによって簡単に修正する 。 要約すれば、２次元画素像が画素ごとに特定した絶対奥行き値を有する画像デ ータ処理に用いる圧縮方法及び装置を説明し、奥行きデータは、画像データとと もに伝送し又は記憶する前に圧縮することが要求される。画像ごとに奥行きデー タを圧縮するプロセスは、パッチの画素が同一又は同様な奥行き値を有する画像 の隣接する画素のパッチを決定するとともに、共通奥行き値をパッチの全ての画 素に割り当てることによって開始する。次いで、同一又は同様な共通画素奥行き 値を有する画素パッチを互いにグループ化し、共通奥行き値を、このようにグル ープ化したパッチの全ての画素に割り当て、その後、離散画素奥行き値の各々に 対して、その奥行き値を有する画像の領域、すなわち、画素数についての決定を 行う。これら領域のうちの最小のものに対して、関連のこれら画素の各々の奥行 き値を、最も近くに存在する離散奥行き値に修正する。その後、最小領域の決定 及びそれに伴う奥行き値の再割り当ては、離散奥行き値の予め設定された数Ｎ（ 例えば、１６又は３２）だけになるまで繰り返される。隣接画素の奥行きを参照 した奥行き値の再割り当ては、Ｎ離散レベルに減少した奥行きデータがランレン ズク符号化されて奥行きデータ量の十分な減少が達成される。 本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が 可能である。

───────────────────────────────────────────────────── 【要約の続き】 は、Ｎ離散レベルに減少した奥行きデータがランレンズ ク符号化されて奥行きデータ量の十分な減少が達成され る。

Claims (1)

1. 【特許請求の範囲】 １．画素ごとに指定された絶対奥行き値を２次元画素画像にそれぞれ設け、奥行 きデータを、画像データとともに伝送し又は記憶する前に圧縮する画像データ処 理方法において、前記画像ごとの奥行きデータを圧縮するプロセスは、 ａ） パッチの画素が第１の予め設定された範囲内で同一又は同様な奥行き 値を有するように画像の隣接する画素のパッチを決定するとともに、第１共通奥 行き値を前記パッチの全ての画素に割り当てるステップと、 ｂ） 第２の予め設定された範囲内で同一又は同様な共通の画素奥行き値を 有する画素パッチをグループ化するとともに、第２共通奥行き値を、このように グループ化したパッチの全ての画素に割り当てるステップと、 ｃ） 離散画素奥行き値の各々に対して、前記奥行き値を有する画像の画素 数を決定するとともに、最小画素数に対して、これら画素の各々の奥行き値を、 最も近くに存在する離散奥行き値に再割り当てするステップと、 ｄ） 前記離散奥行き値の予め設定された数Ｎのみになるまでステップｃ） を繰り返すステップとを順に具えることを特徴とする画像データ処理方法。 ２．ステップａ）の前に画像の領域を除外領域と識別する別のステップを具え、 ステップａ）〜ｄ）を、前記除外領域以外の画素の領域に対してのみ実行するこ とを特徴とする請求の範囲１記載の画像データ処理方法。 ３．予め設定されたしきい値よりも大きい奥行き値を有する画素のグループの各 々を、前記除外領域と識別することを特徴とする請求の範囲２記載の画像データ 処理方法。 ４．Ｎ離散奥行き値に対して前記画像奥行きデータをランレングス符号化するス テップｅ）を更に具えることを特徴とする請求の範囲１記載の画像データ処理方 法。 ５．ステップａ）の前に、前記画像の奥行き値を予め設定された数Ｍの離散奥行 き値に量子化し、この場合、Ｍ＞Ｎとした別のステップを具えることを特徴とす る請求の範囲１記載の画像データ処理方法。 ６．２次元画素画像を規定するデータ及び画素ごとに絶対奥行き値を規定するデ ータを受信し及び記憶するために配置した第１メモリと、前記奥行きデータを画 像データとともに伝送し又は記憶する前に記憶された画像の奥行きデータを処理 し及び圧縮する奥行きデータ処理及び圧縮手段とを具える画像データ処理装置に おいて、前記奥行きデータ処理及び圧縮手段は、 パッチの画素が第１の予め設定された範囲内で同一又は同様な奥行き値を有す るように画像の隣接する画素のパッチを決定するとともに、記憶された奥行き値 の各々を前記パッチの全ての画素に対して共通の奥行き値に修正するように配置 された第１比較段と、 第２の予め設定された範囲内で同一又は同様な共通の画素奥行き値を有する画 素パッチをグループ化するとともに、記憶された奥行き値の各々をこのようにグ ループ化したパッチの全ての画素に対して共通奥行き値に修正する第２比較段と 、 前記第１メモリの離散画素奥行き値の各々に対して、前記画像の画素の領域を 前記奥行き値で決定するとともに、このような領域のうちの最小のものに対して 、その領域の各画素の記憶された奥行き値の各々を最も近くに存在する離散奥行 き値に修正する領域決定手段と、 前記第１メモリの前記奥行き値が予め設定された数Ｎのみになるまで前記領域 決定手段の繰り返し動作をトリガするために配置した計数手段とを具えることを 特徴とする画像データ処理装置。 ７．前記Ｎ離散奥行き値の状態にして前記第１メモリの奥行きデータのランレン グス符号化表示を行うことを決定する計数手段によってトリガされる第１エンコ ーダを更に具えることを特徴とする請求の範囲６記載の画像データ処理装置。 ８．予め設定された符号化形態に基づいて前記画素画像を圧縮するために配置し た第２エンコーダと、前記第１及び第２エンコーダの出力を結合して出力データ ストリームにするように配置したインタリーブ手段とを更に具えることを特徴と する請求の範囲７記載の画像データ処理装置。 ９．少なくとも一つの別のデータ源を更に具え、前記インタリーブ手段は、前記 少なくとも一つの別のデータ源からのデータを、出力データストリームの前記第 １及び第２エンコーダの出力に結合するようにも動作するようにしたことを 特徴とする請求の範囲８記載の画像データ処理装置。