JP5306317B2 - ベクトルを使用する画像処理 - Google Patents

ベクトルを使用する画像処理 Download PDF

Info

Publication number
JP5306317B2
JP5306317B2 JP2010502058A JP2010502058A JP5306317B2 JP 5306317 B2 JP5306317 B2 JP 5306317B2 JP 2010502058 A JP2010502058 A JP 2010502058A JP 2010502058 A JP2010502058 A JP 2010502058A JP 5306317 B2 JP5306317 B2 JP 5306317B2
Authority
JP
Japan
Prior art keywords
vector
parameter
representation
expression
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010502058A
Other languages
English (en)
Other versions
JP2010524332A (ja
JP2010524332A5 (ja
Inventor
ヤコブ ストレム，
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Publication of JP2010524332A publication Critical patent/JP2010524332A/ja
Publication of JP2010524332A5 publication Critical patent/JP2010524332A5/ja
Application granted granted Critical
Publication of JP5306317B2 publication Critical patent/JP5306317B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Description

本発明は、一般に画像の圧縮及び復号化に関し、特に特徴ベクトルのブロックの圧縮及び復号化に関する。
３次元グラフィックスのリアルタイムレンダリングは、モバイル端末において、ゲーム、マンマシンインタフェース、メッセージング及びｍコマースを含む多くの魅力的な用途を有している。３次元レンダリングは計算コストの高いタスクであるため、多くの場合、十分な性能を達成するためには専用のハードウェアの構築を必要とする。従って、専用ハードウェアアーキテクチャの複雑さや使用帯域幅を低減する革新的な方法が非常に重要である。
特に携帯電話機における主なボトルネックはメモリ帯域幅である。メモリ帯域幅の使用量を低減する一般的な技術は、テクスチャ圧縮である。テクスチャリングとは、レンダリングされた三角形上に画像（ここでは、テクスチャと呼ぶ）を「貼り付ける」処理を指す。テクスチャをメモリに圧縮し、アクセス中にそれらのテクスチャを伸張すれば、帯域幅の使用を大幅に削減することができる。
殆どのテクスチャ圧縮方式は、写真のような画像形式のデータの処理に集中している。しかし、プログラマブルシェーダの出現により、従来の写真画像だけでなく他の多くの種類のデータもテクスチャとして使用され始めた。従って、バンプマッピングは、安価な方法で幾何学的物体に詳細な錯覚を与える技術として普及した。更に詳細には、バンプマップ又は法線マップと呼ばれるテクスチャが面法線を揺らがせるために各画素において使用される。法線マップを生成する一般的な方法では、ポリゴンの総数が多いモデルから開始し、幾何学的単純化アルゴリズムを使用して複雑さの低いモデルを作成する。それらの２つのモデル間の「差分」は、法線マップに「焼き付け」られる。リアルタイムレンダリングの場合、法線マップは複雑さの低いモデルに適用され、より緻密な外観を与える。例えば文献［１］は、法線マップを使用して品質を維持しつつ、三角形の総数が非常に多いモデル（１５０００個のポリゴン）から三角形の総数が非常に少ないモデル（１０００個のポリゴン）にすることが可能な方法を示す。
移動デバイス及び端末はＰＣシステムより計算性能が低いため、ポリゴンの総数がより少ないモデルを使用できることは、当然移動デバイス及び端末にとって非常に魅力的である。
今日、殆どの場合、三角形等のプリミティブをレンダリングする度にローカル接空間(X, Y, Z)においてバンプマッピングが実行される。法線の長さは関係ないため、単位法線が採用される。従って、問題は３成分(X, Y, Z)を圧縮することである。ここで、X2 + Y2 + Z2 = 1である。最も単純な方式は、X, Y, ZをＲＧＢ（赤色、緑色、青色）として処理し、Ｓ３ＴＣやＤＸＴ１［２］を使用して圧縮することであるが、品質は非常に低下する。
実際には、滑らかな表面の場合、非圧縮のＲＧＢ８８８やＸＹＺ８８８でさえ、ある物体に対して十分な品質を与えない。特に滑らかな表面の場合、８ビットより多くのビット数が必要とされる。従って、ATI Technologiesは、多くの場合にＸＹＺ８８８より高い品質を可能にする圧縮形式である３Ｄｃ［１］を開発した。
３Ｄｃにおいては、Ｘ及びＹのみが圧縮され、Ｚが式（１）を使用して計算される：
Figure 0005306317
 （１）
Ｘ及びＹは別個に圧縮される。Ｘ値は４×４画素のブロックにグループ化される。それらの値の範囲は、−１２７．０００〜＋１２７．０００（あるいは、０〜２５５）であるが、多くの場合、それらの値はある区間にクラスタ化される。３Ｄｃはそのことを利用し、１６ビットを使用してその値を記す。１６ビットのうち８ビットは区間の開始に対するものであり、８ビットは区間の終了に対するものである。
この区間内において、各値は３ビットずつ使用して特定される。これは、区間内の８つの再現レベルが可能であることを意味する。再現レベルはＸ方向及びＹ方向に常に等間隔に配置される（等間隔）。しかし、一般に、Ｘ方向のそのような再現レベルの間の間隔はＹ方向の対応する間隔と異なる。この２つの直行する方向／軸の解像度が異なる再現レベルのグリッドの使用は、圧縮されるブロックの元の法線の適切な表現とは限らない。
本発明は、従来の構成の上記欠点及び他の欠点を克服する。
本発明の一般的な目的は、効率的なブロック符号化／圧縮及びブロック復号化／伸張方法及びシステムを提供することである。
この目的及び他の目的は、添付の請求の範囲により規定されるような本発明により満たされる。
簡単に説明すると、本発明は、画像を圧縮（符号化）し、圧縮（符号化）画像を伸張（復号化）する形態の画像処理を含む。
本発明によると、圧縮される画像は、複数の画像要素（画素、テクスチャ要素であるテクセル、又は体積要素であるボクセル）を含む複数のブロックに分解される。ブロック中の各画像要素は、２つ又は３つの特徴ベクトル成分を有する特徴ベクトルにより特徴付けられる。その後、画像ブロックは圧縮される。
圧縮は、ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを判定することを含む。このバウンディングセクションは、圧縮されるブロックの特徴ベクトルの少なくとも一部を含む。少なくとも１つのサイズパラメータは、Ｎ個の複数の表現ベクトルの決定論的擬似ランダムパターンを提供するために使用される。更に、特徴ベクトル空間のバウンディングセクションはそれらのベクトルを含む。ブロックの画像要素は、提供されたパターンの複数の表現ベクトルのうち１つのベクトルを画像要素の特徴ベクトルの表現として選択することにより符号化される。この選択は、画像要素の特徴ベクトルに基づいて更に実行される。選択したベクトルと関連付けられるベクトル識別子は、画像要素に割り当てられる。従って、圧縮又は符号化ブロックは、少なくとも１つのサイズパラメータの表現及びベクトル識別子のシーケンスを含む。
圧縮ブロックは、圧縮ブロックから少なくとも１つのサイズパラメータを提供することにより伸張又は復号化される。現在の画像に対する複数の表現ベクトルの決定論的擬似ランダムパターンは、提供されたサイズパラメータに基づいて提供又は再作成される。画像要素は、複数の表現ベクトルのうち１つのベクトルを画像要素の特徴ベクトルの復号化表現として選択するために、圧縮ブロックに提供される割当てベクトル識別子を使用して復号化される。
更に本発明は、ブロック圧縮器／符号器及びブロック伸張器／復号器に関する。
本発明は、元の特徴ベクトルのベクトル表現がバウンディングセクション内のグリッドを形成することに限定されない、ブロックの効率的な符号化を提供する。更に本発明は、Ｘ方向及びＹ方向に異なるサンプリングを有するという危険性を低減する。従って、決定論的擬似ランダムパターンの使用により、多くの画像ブロックに対して特徴ベクトルの更に正確な表現を提供し、それにより圧縮エラーを低減する。
本発明により提供される他の利点は、本発明の実施形態の以下の説明を読むことにより理解されるだろう。
添付の図面と共に以下の説明を参照することにより、本発明は本発明の更なる目的及び利点と共に最もよく理解されるだろう。
本発明の一実施形態に係る画像要素のブロックを圧縮する方法を示すフローチャートである。 本発明の一実施形態に係る画像要素のブロックを示す概略図である。 本発明に係るブロックの特徴ベクトルを示す図である。 本発明の一実施形態に係る表現ベクトルの決定論的擬似ランダムパターンを示す図である。 本発明の一実施形態に係る圧縮ブロックを示す概略図である。 本発明に係るブロックの特徴ベクトルを示す別の図である。 本発明の一実施形態に係る表現ベクトルの決定論的擬似ランダムパターンを示す図である。 図６の元のバウンディングセクションの軸にパターンを位置合わせするために図７のベクトルパターンを回転することを示す図である。 図１及び図１５のパターン提供ステップの一実施形態を示すフローチャートである。 本発明の一実施形態に係る図９の方法の、追加のステップを示すフローチャートである。 本発明の別の実施形態に係る図９の方法の、追加のステップを示すフローチャートである。 本発明の更なる実施形態に係る図９の方法の、追加のステップを示すフローチャートである。 図１２の方法の動作を示す図である。 本発明の一実施形態に係る決定論的擬似ランダムパターンの生成を示す図である。 本発明の一実施形態に従って圧縮ブロックを復号化する方法を示すフローチャートである。 本発明に係る画像圧縮器及び画像復号器を備えるユーザ端末を示すブロック図である。 本発明の一実施形態に係る画像圧縮器を示すブロック図である。 本発明の一実施形態に係るブロック圧縮器を示すブロック図である。 図１８のパラメータ判定器の一実施形態を示すブロック図である。 図１８のパターン提供器の一実施形態を示すブロック図である。 本発明の一実施形態に係る画像復号器を示すブロック図である。 本発明の一実施形態に係るブロック復号器を示すブロック図である。 図２２のパターン提供器の一実施形態を示すブロック図である。
図中、同一の図中符号は対応する要素又は同様の要素に対して使用される。
本発明は、画像及び図形処理に関し、特に、画像及びブロックの符号化又は圧縮、並びに符号化（圧縮）画像及びブロックの復号化又は伸張に関する。
概して本発明によれば、画像圧縮中、画像は複数のブロック又はタイルに分解又は分割される。そのような各ブロックは、特定の画像要素に関連する特性又は特徴を有する複数の画像要素を含む。ブロックは圧縮され、画像の圧縮表現を生成する。
その後、符号化画像又はグラフィックプリミティブがレンダリングされる場合、例えば画面上に表示される場合、圧縮ブロックの関連する画像要素は識別及び伸張される。それらの伸張画像要素は、元の画像又はグラフィックプリミティブの伸張表現を生成するために使用される。
本発明は、ゲーム、３次元（３Ｄ）マップ及びシーン、３Ｄメッセージ（例えばアニメーションメッセージ）、スクリーンセーバ、マンマシンインタフェース（ＭＭＩ）等の３Ｄ図形に対する使用によく適しているが、それらへの使用に限定されない。つまり本発明は、１次元（１Ｄ）画像、２次元（２Ｄ）画像又は３Ｄ画像等の他の種類の画像又は図形を圧縮するために用いられてもよい。
本発明は、バンプマップ、法線マップ又は画像を処理するのに特に適している。従来技術において周知のように、法線又は面法線は、面に対して垂直である（平面の場合）か又は面の接平面に対して垂直である（平坦でない面の場合）３Ｄベクトルを示す。
本発明において、「画像要素」という表現は、ブロック又はブロックの圧縮表現の要素を示す。結果として、そのブロックは画像又はテクスチャの一部に対応する。従って本発明によると、画像要素は、（１Ｄ、２Ｄ、３Ｄ）テクスチャのテクセル（テクスチャ要素）、（１Ｄ又は２Ｄ）画像の画素又は３Ｄ画像のボクセル（体積要素）であってもよい。一般に画像要素は、特定の画像要素特性又は特徴により特徴付けられる。本発明において、各画像要素は、画像要素と関連付けられる特徴を表す特徴ベクトルを有する。この特徴は、画像要素の外観を制御するか又は外観に影響を及ぼす。そのような特徴ベクトルの好適な実施形態は面法線であり、更に好ましくは正規化された面法線である。そのような面法線は、３つのベクトル成分又は座標、すなわちＸ成分、Ｙ成分及びＺ成分を有する。しかし、一般に画像要素毎にＸ座標及びＹ座標等の２つの法線座標のみを特定するので十分である。これは、残りの座標が上記式（１）等を使用してそれらの座標から計算できるからである。
更に以下において、用語「画像」は、本発明を使用して符号化及び復号化される任意の１Ｄ、２Ｄ又は３Ｄ画像又はテクスチャを示すために使用される。それらの画像又はテクスチャは、バンプマップ、法線マップ、写真、ゲーム形式のテクスチャ、テキスト、図面、ハイダイナミックレンジ画像及びテクスチャ等を含むがそれらに限定されない。
本発明は、各画像要素が２次元特徴ベクトルを有する画像及びブロックを圧縮及び伸張するのに特に適する画像処理を提供する。本発明の好適な実現例において、２つのベクトル成分はＸ座標及びＹ座標（あるいは、Ｘ座標及びＺ座標又はＹ座標及びＺ座標）等の正規化面法線の２つの座標を表す。以下において、Ｘ成分及びＹ成分を含む特徴ベクトルと関連して本発明を説明する。しかし、Ｘ成分、Ｙ成分、Ｚ成分のうち２つの成分の任意の他の組合せが使用できるため、これは単なる例示として考えられるべきである。非正規化法線が採用される場合、第３の成分は、本明細書で説明されるように他の２つの成分と同様に単に追加及び処理される。
本発明の画像処理は、バウンディングセクションの再構成点の均一な分布を可能にするため、ブロックを処理するのに特に適する。これは、バウンディングセクションの隣接又は近傍の２つの再構成点の間からの平均距離が完全に均一であることを意味する。これは、再構成点が１つのグリッドにわたるか又はグリッドを形成することを必要とし且つ矩形のバウンティングボックス／セクションの場合にＹ方向と比較してＸ方向の隣接又は近傍の２つの再構成点の間の異なる距離を取得するという大きな欠点を有する従来の解決策と比較されるべきである。これは、本発明がバウンディングセクションの表現ベクトルのサンプリングを改善し、それによりいずれの方向へのアンダーサンプリングの危険性も低減することを意味する。
（圧縮／符号化）
図１は、本発明の１つの面に係る画像を圧縮する（不可逆的）方法を示す。画像は、複数のブロックに分解又は分割される。そのような各ブロックは、複数の画像要素、すなわち少なくとも２つの画像要素を含む。本発明の好適な実施形態において、ブロックは、１６個の画像要素（画素、テクセル又はボクセル）を含み、2m×2n個の画像要素のサイズを有する。ここで、m=4-n及びn=0, 1, 2, 3, 4である。更に好ましくは、ｍ及びｎは双方とも２である。サイズ2m×2n又は2m×2m×2p個の画像要素のブロックを利用することもできる。ここで、m、n、pの全てが同時にゼロにならないようにという条件の下、m、n、pはゼロ又は正の整数である。図２は、本発明に係る１６個の画像要素３１０を含むブロック３００の一例を概略的に示す。図２は、画像要素３１０と関連付けられる種々の異なる特徴ベクトル又は法線３１２を概略的に更に示す。
ステップＳ１は、特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを判定することを含む。このバウンディングセクションは、ブロック中の特徴ベクトルの少なくとも一部、好ましくは全てを含む。バウンディングセクションは、一般に、特徴ベクトル空間の平行四辺形であり、特に軸平行の直角平行四辺形、すなわち正方形又は矩形である。
特定の一実施形態において、ステップＳ１は、最初にこのバウンディングセクションを規定することを含む。この規定は、ブロック中の２Ｄ特徴ベクトルの最小及び最大の第１のベクトル成分（Ｘ成分等）と最小及び最大の第２のベクトル成分（Ｙ成分等）とを識別することにより実現される。３Ｄ特徴ベクトルの場合、バウンディングセクションは平行六面体、好ましくは直角平行六面体であり、３つのベクトル成分の最小及び最大の成分が判定される。バウンディングセクションは、Xmin、Xmax、Ymin、Ymax等の識別された成分を使用して規定される。
少なくとも１つのサイズパラメータは、バウンディングセクションの識別されたベクトル成分に基づいて判定される。例えば第１の実施形態は、バウンディングボックスのサイズパラメータとして全ての４つの成分Xmin、Xmax、Ymin、Ymaxを使用できる。別の方法においては、ΔX=Xmax-Xmin及びΔY=Ymax-Ymin等のそれらの成分から計算される少なくとも２つのパラメータが代わりに使用可能である。他の方法は、Xmin、Xmax又はΔX=Xmax-Xmin、あるいはYmin、Ymax又はΔY=Ymax-Ymin等のサイズパラメータとして１つのベクトル成分のみを使用できる。前者の場合、パラメータは基本的にバウンディング平行四辺形の幅を表し、その一方で後者の場合は高さを表す。更なる方法は、ΔX/ΔY又はΔY/ΔX等の２つのパラメータのアスペクト比の表現を使用することである。本発明に従って使用される別の可能なサイズパラメータは、バウンディング平行四辺形の対角線の表現である。更に本発明において、上記提示されたパラメータのうち２つ以上のパラメータの組合せが使用可能である。従って、ステップＳ１において判定し且つ本発明のブロック圧縮において使用する少なくとも１つのサイズパラメータの具体的選択において、いくつかの可能性が存在する。しかし、バウンディングセクションの各次元のサイズ又は相対サイズを表す１つのパラメータ又は集合又は複数のパラメータが好ましい。
サイズパラメータの選択に関する重要な概念は、同一の種類のパラメータ又は複数のパラメータの同一の集合を、本発明に従って圧縮される種々のブロックに対して使用するのが好ましいことである。従って、サイズパラメータが第１のブロックに対するΔX、ΔYを含む場合、同一のパラメータの種類、すなわちΔX、ΔYは第２のブロックに対しても使用されるのが好ましいが、当然ΔX、ΔYの実際の値は２つのブロック間で異なってもよい。
次のステップＳ２は、特徴ベクトル空間のバウンディングセクションが含むＮ個の複数の表現ベクトル又は再構成点の決定論的擬似ランダムパターンを提供するために、判定されたサイズパラメータを使用する。従って、特徴ベクトル空間の表現ベクトルのグリッドを生成する従来技術と明らかに異なり、本発明は、Ｎ個の複数の表現ベクトルがＸ方向に沿う第１のベクトル距離及びＹ方向に沿う第２のベクトル距離を有するようなグリッドを形成しない決定論的擬似ランダムパターンを提供するための入力として判定されたサイズパラメータを使用する。
本技術分野において周知のように、決定論的パターンは、同一の入力、すなわちサイズパラメータが与えられた場合に、表現ベクトルの同一パターンが取得されることを暗に示す。しかし、２つの異なる入力が同一パターンを結果として与えてもよい。擬似ランダムパターンは、同一のシード状態又は入力により、すなわちサイズパラメータにより初期化される時に表現パターンの同一シーケンスが提供されることを意味する。また、パターンの擬似ランダム特性は、Ｎ個の複数の表現ベクトルがバウンディングセクション内にある程度無作為に分布し、それによりブロック中の特徴ベクトルの元の分布を更に正確に表現する非グリッドパターンを達成することを暗に示す。
図３及び図４は本発明の原理を示す。図３は、特徴ベクトル空間、この場合はＸＹ平面における２Ｄ特徴ベクトル（法線）３１２の分布を表す。図中、特徴ベクトル３１２のうち４つの特徴ベクトルのみが明示されており、ブロック中の残りの画像要素に対しては、ベクトル３１２の端点３１４に対応する点のみが示される。図面を単純化するために、特徴ベクトルのうち１つの特徴ベクトル及びその端点のみが図中符号を伴って提供される。図３は、ここではベクトル３１２の端点３１４を囲む軸平行の直角平行四辺形の形態であるバウンディングセクション３３０を更に示す。バウンディングセクション３３０のサイズは、ブロック中の特徴ベクトル３１２の最小及び最大のベクトル成分により規定される。
図４は、同一のバウンディングセクション３３０とバウンディングセクション３３０が含む端点３２４を有するＮ個の複数の表現ベクトル３２２とを示す。図面を単純化するために、図中、１つの表現ベクトル及びその端点のみが図中符号を与えられる。図から明らかに分かるように、擬似ランダムパターン３２０又はバウンディングセクション３３０内の表現ベクトル３２２の分布はグリッドとは程遠いが、依然としてＸ方向又はＹ方向のアンダーサンプリングなしでバウンディングセクション領域全体を均一にカバーすることができる。
図１に戻ると、次のステップＳ３において、Ｎ個の複数の表現ベクトルの擬似ランダムパターンの１つの表現ベクトルがブロック中の画像要素の特徴ベクトルの表現として選択される。この選択は、画像要素と関連付けられる特徴ベクトルに基づいて更に実行される。特徴ベクトルの端点に最近接する端点を有するベクトルは圧縮エラーを最小化するので、一般的な実現例ではステップＳ３においてそのようなベクトルが選択される。
次のステップＳ４は、選択したベクトルと関連付けられるベクトル識別子又は指標を画像要素に割り当てる。ステップＳ３及びＳ４は、ブロック中の画像要素毎に繰り返されるのが好ましく、これは線Ｌ１により概略的に示される。これは、そのような場合、結果として得られる圧縮ブロックの各画像要素が、Ｎ個の表現ベクトルのうち１つのベクトルの識別を可能にする割当てベクトル識別子を有することを意味する。
選択ステップＳ３及び割当てステップＳ４は、以下の擬似コードを使用して実現可能である。
for q = 0 to 15//図２に係るブロックを仮定して全ての画像要素に対して
{
minerr = MAXERR;
for i = 0 to 63//N=64の全ての表現ベクトルに対して
{
err = (fv_x[q] - rv_x[i]) × (fv_x[q] - rv_x[i]);
err = err + (fv_y[q] - rv_y[i]) × (fv_y[q] - rv_y[i]);
if err ＜ minerr
{
minerr = err;
compressed[q] = i;
}
}
}
この場合、符号化される２Ｄ特徴ベクトルは、fv_x[]（Ｘ成分が入る）及びfv_y[]（Ｙ成分が入る）に格納される。Ｎ個の表現ベクトルは、rv_x[]（Ｘ成分が入る）及びrv_y[]（Ｙ成分が入る）に格納される。行列compressed[]は、画像要素毎に、特徴ベクトルの端点から表現ベクトルの端点までの最短の距離ベクトルを結果として与える表現ベクトルと関連付けられるベクトル識別子ｉを含む。
ステップＳ１〜Ｓ６は、画像分解中に提供される全てのブロックに対して繰り返されるのが好ましい。結果として、圧縮ブロックのシーケンス又はファイルが得られる。結果として得られる圧縮ブロックは、ブロック分解で分解されたのと同一の順序で左から右及び上から下にファイルに並べられる。その後、方法は終了する。
圧縮画像は、その後の画像の表示等のレンダリングまで格納しておくためにメモリに提供される。更に圧縮画像は、別のユニットへの（無線、又は有線）送信のために圧縮ブロック表現の信号として送信機に提供される。
図１に開示された上述のブロック圧縮の結果、ブロックの圧縮表現が得られる。そのような圧縮ブロック表現５００を図５に示す。圧縮ブロック５００は、サイズパラメータ５１０、５２０、５３０、５４０の表現を含む。図中、圧縮ブロック５００は、バウンディング平行四辺形の対角線上で対向する２つの隅の座標５１０、５２０、５３０、５４０の表現を含む。
各特徴ベクトルがベクトル成分毎にＰビットを有する場合、サイズ表現５１０、５２０、５３０、５４０もＰビットを有する。別の実施形態において、サイズパラメータ表現５１０、５２０、５３０、５４０は、特徴ベクトルのベクトル成分と比較してより少ないビット数を含む。例えば、座標表現５１０、５２０、５３０、５４０はＭビットでもよい。ここで、M＜Pである。更に、異なるサイズパラメータ５１０、５２０、５３０、５４０に対して異なるビット数を使用できる。
圧縮ブロック５００はベクトル識別子５５０を更に含み、好ましくはブロックの画像要素毎に１つのそのようなベクトル識別子５５０を含む。
図２に示すようなブロックレイアウトを有する一般的な実現例において、すなわち図５のＱが１６であり、N=64個の表現ベクトルが決定論的擬似ランダムパターンに提供される場合、サイズパラメータ表現５１０、５２０、５３０、５４０毎に８ビットが使用可能である。その結果、4×8=32ビットとなる。この例示において、６４個の異なる表現ベクトルを有するため、６ビットのベクトル識別子５５０を必要とする。これにより、識別子シーケンスに対する合計ビットサイズは16×6=96ビットとなる。従って、圧縮ブロック５００の合計サイズは32+96=128ビットになる。
表現ベクトルの擬似ランダム化の利点は、ベクトル識別子５５０毎に奇数のビット数を使用できることである。従来技術に係るグリッドを使用するシステムにおいて、ベクトル識別子に対して使用される画像要素毎のビット数は２で割り切れる。これは、２で割り切れない場合にはビットを浪費せずにＭ×Ｍの表現ベクトルのグリッドを作成できないためである。例えば、５ビットのベクトル識別子を使用するグリッドは、M×M＜25=32であることを要求する。これは、Ｍが５である必要があり、従って32-25=7個のビットの組合せを浪費することを意味する。実際にはこれにより、グリッドに基づくシステムは画像要素毎に４ビット又は６ビットの識別子を使用する必要がある。しかし、本発明は５ビット又は７ビットのベクトル識別子５５０等の奇数のビット数の識別子を使用できる。
本発明は、図５に示す特定のビットレイアウトに限定されない。実際には、含む要素、すなわちサイズパラメータ表現５１０、５２０、５３０、５４０及びベクトル識別子５５０の任意の順序が使用可能である。
場合によっては、ブロックの特徴ベクトルは、必ずしもＸ軸及びＹ軸に平行な辺を有するバウンディング平行四辺形を使用することで最適に表現可能であるとは限らない。図６は、そのような一例を示す。図から分かるように、全ての特徴ベクトルを含む直角平行四辺形３３０の最小の可能なバウンディングセクションは、実際には回転されるため軸平行ではない。そのようなバウンディングセクション３３０は、２つのベクトルｖ1３４２及びｖ2３４４、並びに
Figure 0005306317
等の高さ因子のみを使用して新しい座標フレームで表される。ここで、width=||v1-v2||であり、heightは回転された平行四辺形３３０の高さである。この座標フレームの２つの軸は、単純に
Figure 0005306317
 及び
Figure 0005306317
 である。
このバウンディング平行四辺形３３０の左下の隅は
Figure 0005306317
 であり、対角線上の対向する隅は
Figure 0005306317
 により規定される。
この場合、パラメータｈは、表現ベクトルの決定論的擬似ランダムパターンを提供するためにサイズパラメータ及び入力として使用可能である。好適な実施形態において、最初にバウンディングセクション３３０は、図７に示すようなＸ軸及びＹ軸に位置合わせされる。ｈ又は上述のサイズパラメータのうちの任意のサイズパラメータ又はそれらのサイズパラメータの組合せ等の少なくとも１つのサイズパラメータは、バウンディングセクション３３０内の表現ベクトルのパターン３２０を生成するために採用される。その後、バウンディングセクション３３０及び更に重要には表現ベクトルのパターン３２０は、図６に示す元の回転位置に到達するように回転される。これは、この例において、バウンディング平行四辺形３３０の左側の辺の中点がベクトルｖ1３４２に位置合わせされるまで、バウンディング平行四辺形３３０の左下の隅(Xmin, Ymin)により規定される回転点を中心にパターン３２０を回転することを含む。その後、最も合致する表現ベクトルの選択及びベクトル識別子の割当てが上述のように実行される。
従って、回転不変な特徴ベクトル圧縮が採用される場合、最初に決定論的擬似ランダムパターンが提供され、その後回転されてバウンディング平行四辺形の辺を境界フレームの軸に位置合わせする。
この場合、圧縮ブロックは、ベクトル識別子のシーケンスに加えて２つのベクトルｖ1及びｖ2の表現、並びに表現heightを含むのが好ましい。
バウンディングセクション及び表現ベクトルの決定論的擬似ランダムパターンが必ずしも回転のみ行なわれる必要はなく、平行移動又は平行移動及び回転等の他の形態の移動も可能であることは、本発明により考慮される。
図９は、図１のベクトル提供ステップＳ２の一実施形態を示すフローチャートである。方法は、図１のステップＳ１から継続する。本実施形態において、少なくとも１つのサイズパラメータは、Ｎ個の表現ベクトルのパターンを生成する目的で決定論的擬似ランダム関数の初期シード入力として利用される。方法はステップＳ１０において開始し、ベクトルカウンタｋはゼロに設定され、シード入力はサイズパラメータに設定される。次のステップＳ１１は、表現ベクトルｖ0を出力又は得る決定論的擬似ランダム関数又は生成元にシードを入力する。次のステップＳ１２は、k=N-1であるか、すなわち必要なＮ個の表現ベクトルを得たかを調査する。k≠N-1の場合、ステップＳ１３に進み、得られた表現ベクトルｖ0はシード入力として採用され、ベクトルカウンタｋは１増分される。
上記より明らかなように、得られた表現ベクトルはｖx及びｖy等の２つのベクトル成分を含む。擬似ランダム関数又は生成元は、入力として２つの数字、すなわちｖx及びｖy、あるいはΔX及びΔY、ΔX/ΔY又はΔY/ΔX等の初期サイズパラメータを使用する。あるいは、最初に、単一の数字は、ベクトル成分又は複数のサイズパラメータに基づいて、例えばそれらを加算することにより生成される。
いずれの場合も、方法はステップＳ１３からステップＳ１１に戻り、新しい表現ベクトルｖ1が先の表現ベクトルｖ0に基づいてシード入力として出力される。ステップＳ１１〜Ｓ１３のループは、Ｎ個の表現ベクトルがv0-vN-1を得るまで繰り返される。このループにおいて、決定論的擬似ランダム関数又は生成元への入力は、k=0でない限り、次のベクトルｖkを提供するための先の表現ベクトルｖk-1である。この場合、シードはサイズパラメータである。Ｎ個の異なる表現ベクトルが提供されると、図１のステップＳ３に進む。
本実施形態は、以下の擬似コードを使用して実現される。この場合、関数RAND()は区間[0.0, 1.0]、すなわち端点０．０及び１．０を含む区間の乱数を得る。シードは、関数SEED()により設定される。この例示において、表現ベクトルはバウンディングセクションのサイズを補正するためにΔX及びΔYにより変倍される。
function generate_representation_vectors(Xmin, Xmax, Ymin, Ymax)
ΔX=Xmax-Xmin;
ΔY=Ymax-Ymin;
if ΔX==ΔY
{
SEED(ΔX×256+ΔY)//サイズパラメータに基づいて初期シードを生成する
for i = 0 to 63//N=64個の表現ベクトルを提供する
{
rv_x[i] = Xmin + ΔX × RAND();
rv_y[i] = Ymin + ΔY × RAND();
}
}
ここで、表現ベクトルのＸ座標及びＹ座標は、rv_x[]及びrv_y[]にそれぞれ格納される。
上記提示された擬似コードは、バウンディングセクションが正方形の場合に適する。しかし、ΔXがΔYと等しくない場合、一方向のアンダーサンプリングを回避することに注意が払われるべきである。同等なサンプリング特性を実際に保持する表現ベクトルのパターンを作成する１つの可能な実現例は、ΔX及びΔYの大きい方を使用してランダムな値を変倍し、バウンディングセクション外の点を単純に廃棄することである。
図１０は、ブロック圧縮方法の追加のステップを示すフローチャートである。方法は、図９のステップＳ１１から継続する。次のステップＳ２０は、新しく得られた表現ベクトルｖkがバウンディングセクションの境界線内又は境界線上に存在するかを調査する。ベクトルｖkがバウンディングセクション外にある場合、そのベクトルは廃棄され、新しいベクトルｖkが得られる（廃棄されたベクトルをシードとして使用して）。このチェック及び廃棄は、特徴ベクトル空間のバウンディングセクションが含む表現ベクトルｖkが見つけられるまで継続され、図９のステップＳ１２に進む。
そのような実現例に対する擬似コードは以下の通りである。
function generate_representation_vectors(Xmin, Xmax, Ymin, Ymax)
ΔX=Xmax-Xmin;
ΔY=Ymax-Ymin;
SEED(ΔX×256+ΔY)//サイズパラメータに基づいて初期シードを生成する
if ΔX==ΔY//正方形のバウンディングセクションの場合
{
for i = 0 to 63//N=64個の表現ベクトルを提供する
{
rv_x[i] = Xmin + ΔX × RAND();
rv_y[i] = Ymin + ΔY × RAND();
}
}
else//矩形のバウンディングセクションの場合
{
if ΔX ＞ ΔY//ΔX、ΔYの大きい方に従ってランダムな値を変倍する
Δbig = ΔX;
else
Δbig = ΔY;
for i = 0 to 63//N=64個の表現ベクトルを提供する
{
candidate_x = Δbig×RAND();//候補表現ベクトル
candidate_y = Δbig×RAND();
while NOT((candidate_x≦ΔX) AND (candidate-y≦ΔY))
{
candidate_x = Δbig×RAND();//古い候補ベクトルが廃棄される
candidate_y = Δbig×RAND();//新しい候補ベクトルが得られる
}
rv_x[i] = Xmin + candidate_x;
rv_y[i] = Ymin + candidate_y;
}
}
本発明の更なる実施形態は、得られた表現ベクトルが特徴ベクトル空間において先に得られたベクトルに近接して配置されているかを調査する。バウンディングセクションの領域の全体又は少なくともかなりの部分を可能な限り範囲に含むように適切に分布した擬似ランダムパターンを提供するために、複数の表現ベクトルがあまりに位置が接近した点で終了しないことが好ましい。
図１１は、圧縮方法の追加のステップを示すフローチャートである。方法は、図９のステップＳ１１から継続する。次のステップＳ３０は、得られたベクトルｖkと先に得られた表現ベクトルｖdとの間の距離ベクトルの長さが規定の閾値Ｔより小さいかを調査する。ここで、d=0, ..., k-1である。そのような場合、現在の候補表現ベクトルは廃棄され、新しい候補ベクトルｖkが得られてステップＳ３０で試験される。候補表現ベクトルが先のベクトルから十分に離れている場合、図９のステップＳ１２に進む。
生成される特定の擬似ランダムパターンに依存して、Ｎ個のベクトルに近づくにつれて、先に得られた表現ベクトルから最短の長さで位置付けられる新しい表現ベクトルを得ることは益々困難になるだろう。そのような場合、閾値Ｔの適応が採用される。例えば事前定義された新しい表現ベクトル数が得られ、ステップＳ３０において試験される要求を満たさずにＳ３１で廃棄される場合、閾値ＴはT1＜Tに減少される。手順は、新しい閾値Ｔ1を使用して継続され、Ｎ個のベクトルのうちいくつかの残りの表現ベクトルを得られる。新しいベクトルが減少したベクトルＴ1を使用して最後に事前定義された試行回数で得られなかった場合、この閾値の段階的な減少は複数段階で実行される。
閾値Ｔが２つの異なる閾値、すなわちベクトル成分毎に１つの閾値である２つの異なる閾値Ｔx及びＴyと交換可能であることは、本発明により考慮される。そのような場合、ステップＳ３０は、
Figure 0005306317
 であり且つ
Figure 0005306317
 であるかをチェックすることを含む。
図１１に示す上述の手順は、ポアソン分布又は少なくともポアソンのような分布に従って分布する表現ベクトルを提供する。従って、ポアソン分布は互いに対して最短距離を有する点を与える。ポアソン分布でない場合、表現ベクトルが互いに非常に近接し、その結果、バウンディングセクションの別の部分が不十分にサンプリングされるため、ポアソン分布を提供することは利点である。本発明のベクトルのサンプリングにおいて、表現ベクトルのポアソン（又はポアソンのような）分布を取得する他の方法も使用可能である。
候補表現ベクトルがバウンディングセクション内にあるかをまず調査してから、判定された表現ベクトルに近接し過ぎないことをチェックするために、図１０及び図１１に開示される実施形態の組合せが使用可能であることは、本発明が予期するところである。
図１０及び図１１に開示される実施形態のいずれかと別個であるか又はそれと組み合わされる本発明の別の実施形態を図１２に示す。方法は、図９のステップＳ１１から継続する。Ｎ個の表現ベクトルが得られると、結果として得られる決定論的擬似ランダムパターンは、各表現ベクトルをボロノイ領域又はセルの重心に反復的に移動することにより緩和される。従来技術において周知のように、Ｓが次元ｄのユークリッド空間におけるｎ個の点の集合である場合、Ｓの点ｐのボロノイ領域V(p)は、Ｓの他の点よりｐに近接する点の集合である。図１３は、表現ベクトルの端点３２４に対するそのようなボロノイ領域３２６を示す。表現ベクトルは、ボロノイ領域３２６の重心の方向を指し示すように移動される。１つのベクトルの移動が隣接する表現ベクトルのボロノイ領域３２６に影響を及ぼすため、このベクトルの移動及び緩和は反復処理で実行されるのが好ましい。
少なくともいくつかの表現ベクトルが緩和後にバウンディングセクションの境界線の方向を指し示すことを可能にするため、境界線上のボロノイ領域はバウンディングセクションの外側に１／７等のある距離だけ拡張される。
パターン緩和が完了すると、図１のステップＳ３に進む。
本発明に係る決定論的擬似ランダムパターンを生成する別の実施形態を図１４に概略的に示す。本実施形態は、サイズパラメータをシードとして使用して候補表現ベクトルを提供することを含む。必要に応じて実行されるステップは、候補表現がバウンディングセクション内に存在するかを調査し、存在しない場合はそのベクトルを廃棄する。新しい表現ベクトルは、先に提供された表現ベクトルの端点３２４を中心とする円３２８の円周上の点の方向を指し示すように無作為に提供される。新しい表現ベクトルがバウンディングセクション内にあるか否かを調査するために、必要に応じて再度チェックを実行してもよい。この手順は、表現ベクトルｖkが先のベクトルｖk-1の端点に位置付けられる円の円周の方向を指し示すようにＮ個の複数の表現ベクトルを得るために繰り返される。
複数の表現ベクトルが互いに近接して位置する端点の方向を指し示すことを防止し、それによりバウンディングセクションの一部において不十分なサンプリングを有する危険性を防止するために、別のチェック及び可能なベクトル廃棄が本実施形態において使用可能である。従って、表現ベクトルｖkは、先に提供された表現ベクトルｖd d=0, ..., k-1の端点を中心とする円が含む点の方向を指し示す場合に廃棄される。本実施形態において、ベクトルは、先に得られた表現ベクトルの端点と関連付けられ且つその端点を中心とする円の内部にある場合に廃棄される。図１４において、斜線で網掛けされた領域は、図示される円３２８の円周上で終了する次の表現ベクトルに対して利用可能ではない。
図１のステップＳ２で提供される決定論的擬似ランダムパターンは、上述の任意の実施形態に従って実行中に生成される。そのような場合、そのようなパターンは、サイズパラメータシードから開始して、圧縮されるブロック毎に生成される。別の方法は、種々のシード値に対して上述の任意の実施形態を使用して複数の種々の決定論的擬似ランダムパターンを最初に事前に計算することである。これらの事前に計算されたパターンは、テーブル又はデータベースに格納される。その結果、圧縮中、表現ベクトルは生成されない。明らかに対照的に、図１のステップＳ２のパターンの提供は、少なくとも１つのサイズパラメータをテーブル又はデータベースルックアップインデックスとして使用して決定論的擬似ランダムパターンをデータベースから提供又は検索することを含む。
上述のように、サイズパラメータが８ビットシーケンスである場合、ΔX等のサイズパラメータは28=256個の値のうち任意の値である。同様のことがＹ成分ΔYにも当てはまる。従って、そのようなサイズパラメータの256×256=65,536個の異なる組合せが存在する。これは、６５，５３６個の擬似ランダムパターンを事前に計算し且つ格納することになる。別の方法は、計算及び格納されたパターンの数を減少し、そのようなパターンの各々を特定の値の代わりにサイズパラメータの範囲又は区間と関連付けることである。例えば、t1≦ΔX＜t2の場合は第１の擬似ランダムパターンが使用され、t2≦ΔX＜t3の場合は表現ベクトルの第２のパターンが採用されるべきである。ここでt1＜t2＜t3である。別の方法は、幅パラメータをwidth=max(ΔX, ΔY)と規定し、高さパラメータをheight=min(ΔX, ΔY)と規定することである。そのような場合、それらのパラメータのアスペクト比H=height/width（0＜H≦1）は使用するパターンを選択するために使用される。例えば、s1≦H＜s2の場合は第１の擬似ランダムパラメータが使用され、s2≦H＜s3の場合は第２のベクトルパターンが使用される。ここでs1＜s2＜s3である。
これは、関連する区間内に存在する種々の初期シードが試験され、結果として得られるパターンがバウンディングセクションのいくつかの領域において不十分なサンプリングを有するパターンを廃棄する目的で調査されるという更なる利点を有する。そのような場合、最適な擬似ランダムパターンを有すると考えられるパターンのみがサイズパラメータシードの所定の区間に対して格納される。
パターンを提供することは、判定されたサイズパラメータを種々の事前定義済み区間と比較することと、サイズパラメータが存在する区間と関連付けられるデータベース中のパターンを識別することとを含む。
（伸張／復号化）
図１５は、本発明に係る圧縮画像を伸張する方法を示すフローチャートである。圧縮画像は、基本的にブロックのいくつかの圧縮表現を含む。それらのブロック表現は、上述の画像圧縮方法により生成されるのが好ましい。
一般に、方法は伸張する圧縮ブロックを識別することにより開始する。圧縮画像の全てのブロックが伸張されて、元の画像の伸張表現を生成することが可能である。あるいは、元の画像の一部のみがアクセスされる。その結果、選択された数のブロックのみが伸張される必要がある（あるいは、更に厳密には、ある特定のブロックの選択された数の画像要素が復号化される必要がある）。
正確な圧縮ブロックが識別されると、本実施形態において、ステップＳ５０は圧縮ブロックに基づいて少なくとも１つのサイズパラメータを提供する。提供ステップＳ５０は、単純に１つ以上のサイズパラメータに対して各ビット組合せを検索することにより実行され、それらをパラメータとして直接使用できる。例えば圧縮ブロックのパラメータがＰビットを含む場合、検索されたパラメータはＰビットを含む。別の実施形態において、パラメータ表現はＭビットを含む。ここでM＜Pである。そのような場合、検索されたＭビットシーケンスは、ステップＳ５０においてサイズパラメータを構成するＰビットシーケンスに拡張又は拡大される。このビットの拡張は、ＭビットシーケンスのうちP-Mビットの最下位ビット（又は最上位ビット）を複製し且つそれらを最上位ビット（又は最下位ビット）として加算してＰビットシーケンスを形成することにより実現可能である。更に上述したように、Xmin、Xmax、Ymin及びYmaxを含む圧縮ブロックからΔX及びΔYを計算する等、サイズパラメータは検索したシーケンスに基づいて更に計算可能である。
次のステップＳ５１は、特徴ベクトル空間のバウンディングセクションが含むＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを提供する目的で提供されたサイズパラメータを使用する。このＳ５１の提供は、基本的に図１の圧縮方法の対応するステップＳ２と同様に実行される。その結果、図９〜図１４に更に開示される上述の実施形態はブロック復号化において更に使用される。そのような場合、ブロック圧縮において採用された擬似ランダム関数又は生成元のコピーは、ブロック復号化においても採用される。これは、同一のサイズパラメータが与えられると、同一の擬似ランダムパターンが圧縮及び復号化の双方において生成されることを意味する。
同様に、複数の決定論的擬似ランダムパターンが事前に計算されており且つデータベースに格納される場合、ステップＳ５１は、関連するパターンをデータベースから識別及び検索する目的でステップＳ５０で提供されたサイズパラメータをパターン識別子として使用することを含むことができる。
バウンディングセクションが回転及び／又は平行移動される場合、提供されたパターンは、圧縮ブロックに含まれる上述の２つのベクトル表現に基づいて特徴ベクトル空間において回転／平行移動される。
その後、ステップＳ５２に進み、ベクトルはＮ個の表現ベクトルの中からブロック中の画像要素に対して選択される。選択されたベクトルは、画像要素の元の特徴ベクトルの復号化表現として採用される。ベクトルの選択は、圧縮ブロックに含まれ且つ画像要素と関連付けられるベクトル識別子又はインデックスに基づいて実行される。図５を参照。
画像要素の最終的な特徴ベクトル表現は、必要に応じて、２Ｄベクトルの成分及び式（１）を使用して、選択された表現ベクトルの第３のベクトル成分を計算することにより判定されてもよい。
ステップＳ５２は、ブロック中のいくつかの画像要素に対して実行される（線Ｌ２により概略的に示される）。いくつかの用途においては、単一の画像要素のみが特定のブロックから復号化される、特定のブロックの複数の画像要素が復号化される、且つ／又は特定のブロックの全ての画像要素が復号化される、ことが本発明により予期されている。
ステップＳ５０〜Ｓ５２は、復号化されるべき画像要素を含む全てのブロックに対して繰り返されるのが好ましい。これは、ステップＳ５０〜Ｓ５２のループが１度実行されることもあるが、多くの場合、異なる圧縮ブロックに対して数回及び／又は特定の圧縮ブロックに対して数回実行されることを意味する。
元の画像の伸張表現又はその一部は、復号化画像要素及びブロックに基づいて生成される。尚、いくつかの応用例において、復号化表現の単一画素をレンダリングするために、いくつかの画像要素が復号化される必要がある。例えば、３次元線形補間の間に８つの画像要素が復号化され、２次元線形補間の場合には対応する数は４つの画像要素である。このことは、当業者には周知である。その後、方法は終了する。
（本発明の実装）
本発明に係るブロック（画像）圧縮及びブロック（画像）伸張方式は、ユーザ端末、あるいは画像を処理及び／又はレンダリングするように構成される他のユニット等の一般的なデータ処理システムに提供される。そのような端末はコンピュータであってもよく、例えばＰＣ、ゲームコンソール、あるいはパーソナルデジタルアシスタント（ＰＤＡ）、モバイルユニット及び電話機等のシンクライアントである。
本発明に係る圧縮及び／又は復号化方法は、ソフトウェア、ハードウェア又はそれらの組合せとして実現されてもよい。方法又はその一部を実現するコンピュータプログラム製品は、汎用又は特に適応されたコンピュータ、プロセッサ又はマイクロプロセッサ上で実行するソフトウェア又はコンピュータプログラムを含む。ソフトウェアは、図１又は図１５及び好ましくは図９〜図１２において上述したステップの少なくとも１つを使用してコンピュータに方法を実行させるコンピュータプログラムコード要素又はソフトウェアコード部分を含む。プログラムは、磁気ディスク、ＣＤ−ＲＯＭ又はＤＶＤディスク、ＵＳＢメモリ、ハードディスク、光磁気メモリ記憶手段等の１つ以上の適切なコンピュータ可読媒体又はデータ記憶手段、ＲＡＭ又は揮発性メモリ、ＲＯＭ又はフラッシュメモリにファームウェアとして全体又は部分的に格納されてもよく、あるいはデータサーバに全体又は部分的に格納されてもよい。
（ユーザ端末）
図１６は、モバイルユニットで表されるユーザ端末１０を示す。しかし、本発明は、モバイルユニットに限定されず、ＰＣコンピュータ及びゲームコンソール等の他の端末及びデータ処理ユニットで実現可能である。本発明に直接関わるモバイルユニット１０の手段及び要素のみを図示する。
モバイルユニット１０は、モバイルユニット１０内で画像データを含むデータを処理するための（中央）処理装置（ＣＰＵ）１３を含む。グラフィックシステム１２は、画像及び図形データを管理するためにモバイルユニット１０に提供される。特にグラフィックシステム１２は、接続された画面１６又は他の表示装置上に画像をレンダリング又は表示するように構成される。モバイルユニット１０は、データを格納するために記憶装置又はメモリ１４を更に含む。画像データ、特に本発明に係る圧縮画像データがこのメモリ１４に格納されてもよい。
本発明に係る画像圧縮器２０は、一般にモバイルユニット１０に提供される。この圧縮器２０は、画像又はテクスチャを画像の圧縮表現に圧縮するように構成される。上述したように、そのような圧縮表現は、複数の圧縮ブロックのシーケンス又はファイルを含む。この画像圧縮器２０は、図示されるように、ＣＰＵ１３上で実行するソフトウェアとして提供されてもよい。あるいは又はそれに加えて、圧縮器２０は、グラフィックシステム１２又はモバイルユニット１０の他の場所に配置されてもよい。
ブロック圧縮器２０からの画像の圧縮表現は、画像を後でレンダリングするまで格納するために、（メモリ）バス１５を介してメモリ１４に提供されてもよい。あるいは又はそれに加えて、圧縮画像データは、他の外部端末又はユニットに（無線又は有線）送信するために入出力（Ｉ／Ｏ）ユニット１１に転送されてもよい。例えばＩ／Ｏユニット１１は、ユーザ端末の送信機及び受信機のチェーンを表す。Ｉ／Ｏユニット１１は、外部ユニットから画像データを受信するように更に構成される。この画像データは、画像圧縮器２０により圧縮されるべき画像又は伸張されるべき圧縮画像データであってもよい。更に、例えばグラフィックシステム１２に提供された専用テクスチャメモリに圧縮画像表現を格納できる。また、圧縮画像の一部が例えばグラフィックシステム１２のテクスチャキャッシュメモリに更に又は代わりに（一時的に）格納されてもよい。
一般に、伸張画像表現を生成するために、本発明に係る画像伸張器３０は圧縮画像を伸張するためにモバイルユニット１０に提供される。この伸張表現は、元の画像全体又はその一部に対応してもよい。画像伸張器３０は、伸張画像データをグラフィックシステム１２に提供し、一般にグラフィックシステム１２は、データが画面１６上にレンダリング又は提示される前にデータを処理する。図示されるように、画像伸張器３０はグラフィックシステム１２に配置される。あるいは又はそれに加えて、復号器３０は、ＣＰＵ１３又はモバイルユニット１０の他の場所で実行するソフトウェアとして提供可能である。
図示するように、モバイルユニット１０は、画像圧縮器２０及び画像伸張器３０の双方を備える。しかし、端末１０によっては、画像圧縮器２０のみを含むことができる。そのような場合、圧縮画像データは、画像の伸張及び可能性としてレンダリングを実行する別の端末に送信される。同様に、端末１０は画像伸張器３０のみを含むことが可能である。すなわち、圧縮器を有さない。そのような端末１０は、圧縮画像データを含む信号を別のエンティティから受信し、それを伸張して伸張画像表現を生成する。このように、圧縮画像信号は無線送信機及び受信機を使用して端末間で無線送信される。あるいは、本発明に従って端末間で画像及び圧縮画像表現を配信する他の技術が採用可能であり、例えばＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＲポートを使用するＩＲ技術及び端末間の画像データの有線転送がある。更に、接続可能であり且つ端末間で交換可能であるＵＳＢメモリを含むメモリカード又はチップがこの画像データ端末間配信に対して使用可能である。
モバイルユニット１０のユニット１１、１２、１３、２０及び３０は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。
（画像符号化器）
図１７は、本発明に係る画像圧縮器２０の一実施形態を示すブロック図である。一般に圧縮器２０は、入力画像を複数の画像要素のいくつかの画像ブロックに分解又は分割する画像分解器２２を含む。分解器２２は、１６個の画像要素（画素、テクセル又はボクセル）を含むブロック、すなわち画像要素４×４個分の一般的なサイズを有するブロックに画像を分解するように構成される。この分解器２２は、異なる入力画像を異なるサイズのブロックに分解するように構成される。そのような場合、分解器２２は入力情報を受信するのが好ましく、それにより所定の画像に対して使用するブロック形式の識別が可能になる。
画像圧縮器２０の本実施形態は、ブロック圧縮器１００を含む。このブロック圧縮器１００は、画像分解器から受信したブロックを圧縮し、圧縮ブロック表現を生成する。ブロック表現の全体のサイズは、非符号化ブロックの対応するサイズより小さい。ブロック圧縮器１００は、分解器２２からの各ブロックを順次処理（符号化）するように構成されるのが好ましい。
別の実現例において、圧縮器２０は、画像分解器２２からの複数のブロックを並列処理する複数のブロック圧縮器１００を含む。それにより、画像符号化時間の合計は短縮される。
画像圧縮器２０のユニット２２及び１００は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット２２及び１００は、画像圧縮器２０に共に実現されてもよい。あるいは、いくつかのユニットが画像処理端末の他の場所に提供される分散させた実施例も可能である。
（ブロック符号化器）
図１８は、図１７の画像圧縮器のブロック圧縮器等の本発明に係るブロック圧縮器１００の一実施形態を示すブロック図である。圧縮器１００は、特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを判定するように構成されるパラメータ判定器１１０を含む。この判定は、ブロックの特徴ベクトルの少なくとも一部に基づいてバウンディングセクションを規定することにより実行される。上述の任意のパラメータ実施形態等のサイズパラメータは、規定されたバウンディングセクションに基づいてパラメータ判定器により判定される。
パターン提供器１２０は、ベクトル空間のバウンディングセクションが含むＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを提供するために、圧縮器１００で実現される。提供器１２０は、パラメータ判定器１１０により判定される少なくとも１つのサイズパラメータに少なくとも部分的に基づいてそのパターン提供を実行する。
特定の一実施形態において、パターン提供器１２０は、接続されたパターンデータベース１５０から事前に計算された擬似ランダムパターンを検索するために判定されたサイズパラメータを使用する。そのような場合、データベースは、Ｎ個の複数の表現ベクトルの複数の異なる擬似ランダムパターンを含む。ここで、各パターンはサイズパラメータの許容される範囲又は値と関連付けられる。従って、少なくとも１つのサイズパラメータはデータベース１５０においてパターン識別子として機能し、それにより圧縮器１００による実際のブロック圧縮手順中の任意の実行中のパターン計算の必要性を緩和する。本明細書において更に説明されるように、データベース１５０の種々のパターンは、パターン提供器１２０により先に生成されていてもよい。あるいは、パターンはいくつかの他のユニットにより生成され、データベース１５０に入力するために圧縮器１００に送出される。
ベクトル選択器１３０は、ブロック中の少なくとも１つの画像要素に対して、提供されたパターンのＮ個の複数の表現ベクトルの中から１つのベクトルを選択するために、ブロック圧縮器１００で実現される。選択器１３０は、好ましくは特徴ベクトルと複数の表現ベクトルのうちの１つのベクトルとの間の差分ベクトルの最短のベクトルの長さを結果として与えるベクトルを選択することにより、画像要素の特徴ベクトルに基づいて更に選択を行なう。
ブロック圧縮器１００は、処理された画像要素にベクトル識別子を割り当てるように構成される識別子割当器１４０を含む。更にこのベクトル識別子は、ベクトル選択器１３０により選択されたベクトルと関連付けられ、そのベクトルの識別を可能にする。ベクトル選択器１３０及び識別子割当器１４０は、ベクトルを選択し、ブロック中の画像要素毎にベクトル識別子を割り当て、それによりサイズパラメータの表現及びベクトル識別子のシーケンスを含む圧縮ブロックの圧縮表現を取得する。
ブロック圧縮器１００のユニット１１０〜１４０は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット１１０〜１５０は、ブロック圧縮器１００に共に実現されてもよい。あるいは、いくつかのユニットが画像圧縮器の他の場所に提供される分散させた実施例も可能である。
図１９は、図１８のパラメータ判定器１１０の一実施形態を示す概略ブロック図である。判定器１１０は、圧縮ブロックに基づいてバウンディングセクションの長さを表す第１のサイズパラメータを判定するように構成される長さ判定器１１２を含む。長さ判定器１１２は、Xmin及びXmaxに対応する圧縮ブロックのシーケンスを検索し且つ可能性として拡張する。長さパラメータは、それらの２つの値の間の差分として計算される。すなわち、ΔX=Xmax-Xminである。
高さ判定器１１４は、バウンディングセクションの高さを表す第２のパラメータを判定するように構成される。この判定器１１４は、Ymin及びYmaxに対応する圧縮ブロックのビットシーケンスを検索し且つ可能性として拡張し、それらの値の差分として高さを計算する。すなわち、ΔY=Ymax-Yminである。
パラメータ判定器１１０のユニット１１２及び１１４は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット１１２及び１１４は、パラメータ判定器１１０に共に実現されてもよい。あるいは、いくつかのユニットがブロック圧縮器の他の場所に提供される分散させた実施例も可能である。
図２０は、図１８のパターン提供器１２０の一実施形態を示すブロック図である。提供器１２０は、シード入力に基づいて表現ベクトルを出力する決定論的擬似ランダムベクトル生成器１２２を含む。生成器１２２の初期シード入力は、パラメータ判定器の少なくとも１つのサイズパラメータである。必要に応じて後続するシードは、直前に出力された表現ベクトルである。ベクトル生成器１２２が２つ（あるいは、３つ又はそれ以上）のベクトル成分を別個に処理してもよいことは、本発明により考慮される。そのような場合、生成器１２２は、擬似ランダム関数の２つのインスタンスを有することができる。一方はＸベクトル成分を出力するためであり、他方はＹベクトル成分を出力するためである。
ベクトル廃棄器１２４は、ベクトル生成器１２２からの候補表現ベクトルを調査する目的でパターン提供器１２０に実現可能である。そのような場合、廃棄器１２４は、候補ベクトルがベクトル空間のバウンディングセクション内に存在するかを調査でき、存在しない場合はその候補ベクトルは廃棄される。それに加えて又はあるいは、廃棄器１２４は、候補ベクトルと先に生成された表現ベクトルとの間の距離ベクトルの各長さを調査する。それらの長さのうち任意の長さが最小閾値より小さい場合、候補ベクトルは廃棄される。あるいは、上述したように、ベクトル廃棄器１２４はベクトル成分毎に１つの閾値を利用できる。
パターン提供器１２０は、ベクトルの端点と関連付けられるように、パターンの表現ベクトルを各ボロノイ領域の重心に反復的に移動するように構成されるベクトル変更器を必要に応じてに含んでもよい。
別の実施形態において、最初に、ベクトル生成器１２２はサイズパラメータに基づいて初期表現ベクトルを生成する。後続する表現ベクトルは、先に生成された表現ベクトルの端点を中心とする円の円周上の点の方向を指し示すように生成される。
ベクトル廃棄器１２４は、バウンディングセクションの境界線の外側にあるベクトルを廃棄することに加えて、先に生成された表現ベクトルの端点を中心とする円が含む点の方向を指し示す表現ベクトルも廃棄する。
一実施形態において、パターン提供器１２０は、ベクトル生成器１２２のみを含む。そのような場合、生成器１２２は、バウンディングセクションが囲む領域全体にわたる効率的なベクトルのサンプリングを提供するという固有の特性を有する擬似ランダム関数／生成元を使用するのが好ましい。一例は、ポアソンディスク分布を含む。別の実施形態において、パターン提供器１２０は、ベクトル生成器１２２、並びにベクトル廃棄器１２４及びベクトル変更器１２６のうち少なくとも一方を含む。
パターン提供器１２０のユニット１２２〜１２６は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット１２２〜１２６は、パターン提供器１２０に共に実現されてもよい。あるいは、いくつかのユニットがブロック圧縮器の他の場所に提供される分散させた実施例も可能である。
（画像復号化器）
図２１は、本発明に係る画像伸張器３０の一実施形態を示すブロック図である。画像伸張器３０は、伸張するためにブロック伸張器２００に提供されるべき符号化ブロックを例えばメモリから選択するように構成されるブロック選択器３２を含むのが好ましい。ブロック選択器３２は、例えばヘッダ又はレンダリングエンジンから圧縮画像データと関連付けられる入力情報を受信するのが好ましい。所望の画像の要素を有する圧縮ブロックのアドレスは、入力情報に基づいて算出される。この算出されたアドレスは、画像内の画像要素（画素、テクセル又はボクセル）座標に依存するのが好ましい。ブロック選択器３２は、アドレスを使用してメモリから圧縮ブロックを識別する。この識別された圧縮画像ブロックは、記憶装置から取り出されてブロック伸張器２００に提供される。
画像ブロックの画像要素への（ランダム）アクセスにより、必要とされる画像の部分のみを選択的に伸張できるのが有利である。更に画像は、データが要求される任意の順序で伸張される。例えばテクスチャマッピングにおいて、テクスチャの一部のみが要求されてもよく、一般にそれらの部分は非連続的な順序で要求される。従って、本発明の画像伸張は、画像の一部又は一区分のみを処理するように有利に適用される。
選択された圧縮ブロックは、ブロック伸張器２００に転送される。伸張器２００は、画像ブロックに加えて、復号化されるべきブロックの画像要素を特定する情報を受信するのが好ましい。情報は、画像ブロック全体、すなわち画像ブロック中の全ての画像要素が復号化されるべきであることを特定できる。しかし、受信した情報は、復号化されるべき単一の画像要素又はいくつかの画像要素のみを識別できる。その後ブロック伸張器２００は、ブロック中の画像要素の伸張表現を生成する。
任意の画像合成器３４は、画像伸張器３０により提供される。この合成器は、ブロック伸張器２００から復号化した画像要素を受信し、それらを合成して画面上にレンダリング又は表示される画素を生成する。この画像合成器３４は、グラフィックシステムに提供されてもよい。
あるいは、画像伸張器３０は複数のブロック伸張器２００を含む。複数のブロック伸張器２００へのアクセス権を有することにより、画像復号器３０は複数の符号化画像ブロックを同時に処理できる。それらの複数のブロック伸張器２００は、画像伸張器３０の処理性能及び効率を向上する並列処理を可能にする。
画像伸張器３０のユニット３２、３４及び２００は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット３２、３４及び２００は、画像伸張器３０に共に実現されてもよい。あるいは、いくつかのユニットがユーザ端末の他の場所に提供される分散させた実施例も可能である。
（ブロック復号器）
図２２は、本発明に係るブロック伸張器又は復号器２００の一実施形態を示す図である。ブロック復号器２００は、圧縮ブロックに基づいて特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを提供するように構成されるパラメータ提供器２１０を含む。このパラメータの提供は、単一のビットシーケンスの検索及び必要に応じて所望のビット長を達成するようにビットシーケンスを拡張することに基づいて行なわれる。あるいは、パラメータ提供器２１０は、少なくとも１つのサイズパラメータを計算する目的で検索（及び拡張）されたデータを更に処理する。
パターン提供器２２０は、提供されたサイズパラメータに基づいてＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを判定するためにブロック復号器２００に配置される。このパターン提供器２２０は、図１８に開示される上述のブロック圧縮器のパターン提供器と同様に動作する。例えばパターン提供器２２０は、複数の異なる事前計算されたパターンを含む接続されたデータベース２５０において提供されたサイズパラメータをパターン識別子として使用できる。あるいは、パターン提供器はサイズパラメータに基づいて実行中にパターンを生成する。
その後、ベクトル選択器２４０は、現在のブロック中の画像要素の元の特徴ベクトルの復号化表現として使用されるベクトルをＮ個の表現ベクトルの中から選択する。この選択は、圧縮ブロックに含まれ且つ画像要素と関連付けられるベクトル識別子に基づいて実行される。
ブロック復号器２００のユニット２１０〜２４０は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット２１０〜２５０は、ブロック復号器２００に共に実現されてもよい。あるいは、いくつかのユニットが画像伸張器の他の場所に提供される分散させた実施例も可能である。
図２３は、図２２のパターン提供器２２０の一実施形態を示す概略ブロック図である。パターン提供器は、ベクトル生成器２２２、並びに必要に応じて設けられるベクトル廃棄器２２４及び／又はベクトル変更器２２６を含む。図２０と関連する上記説明は、パターン提供器２２０のそれらのユニットの動作に準用される。
パターン提供器２２０のユニット２２２〜２２６は、ソフトウェア、ハードウェア又はそれらの組合せとして提供されてもよい。ユニット２２２〜２２６は、パターン提供器２２０に共に実現されてもよい。あるいは、いくつかのユニットがブロック復号器の他の場所に提供される分散させた実施例も可能である。
上述において、法線、好ましくは正規化面法線を特徴ベクトルとして有する画像ブロックの処理を参照して本発明を説明した。別の実現例において、特徴ベクトルは、ＲＧＢ（赤色、緑色、青色）空間等の色空間における色ベクトルであってもよい。更に、特徴ベクトル空間の特徴ベクトルとして表現可能な他の画像要素特徴は、本発明に従って処理可能である。
添付の請求の範囲により規定される本発明の範囲から逸脱せずに、種々の変形及び変更が本発明に対して行なわれてもよいことが当業者には理解されるだろう。
（参考文献）
［１］http://www.ati.com/products/radeonx800/3DcWhitePaper.pdf ATITM RadeonTM X800 3DcTM White Paper
［２］米国特許第５，９５６，４３１号公報

Claims (26)

  1. 各々が関連する特徴ベクトルを有する複数の画像要素のブロック（３００）を圧縮する方法であって、
    判定手段が、複数の特徴ベクトルのうち少なくとも一部を含む特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを判定するステップと、
    パターン提供手段が、前記特徴ベクトル空間の前記バウンディングセクションに含まれるＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを、前記少なくとも１つのパラメータに基づいて提供するステップと、
    選択手段が、前記画像要素と関連付けられる特徴ベクトルに基づいて、少なくとも１つの画像要素について、前記Ｎ個の複数の表現ベクトルから１つの表現ベクトルを前記特徴ベクトルの表現として選択するステップと、
    割り当て手段が、前記選択した表現ベクトルと関連付けられるベクトル識別子を前記少なくとも１つの画像要素に割り当てるステップとを有し、
    パターンを提供する前記ステップは、
    ａ）前記パターン提供手段が、表現ベクトルを無作為に提供するステップと、
    ｂ）廃棄手段が、前記少なくとも１つのパラメータに基づいて判定された、前記特徴ベクトル空間の前記バウンディングセクションに前記表現ベクトルが含まれない場合に前記表現ベクトルを廃棄するステップと、
    ｃ）ベクトル提供手段が、先に提供された表現ベクトルの端点を中心とする円の円周上の点の方向を指し示す表現ベクトルを無作為に提供するステップと、
    ｄ）前記廃棄手段が、前記少なくとも１つのパラメータに基づいて判定された前記特徴ベクトル空間の前記バウンディングセクションに前記表現ベクトルが含まれない場合に前記表現ベクトルを廃棄するステップと、
    ｅ）繰り返し手段が、前記Ｎ個の複数の表現ベクトルを得るために、表現ベクトルを無作為に提供する前記ステップｃ）及び表現ベクトルを廃棄する前記ステップｄ）を繰り返すステップとを有することを特徴とする方法。
  2. パラメータを判定する前記ステップは、
    前記判定手段が、前記特徴ベクトル空間の前記バウンディングセクションの幅を表す第１のパラメータを判定するステップと、
    前記判定手段が、前記特徴ベクトル空間の前記バウンディングセクションの高さを表す第２のパラメータを判定するステップとを含むことを特徴とする請求項１記載の方法。
  3. 圧縮ブロックの画像要素の画像特徴を表す特徴ベクトルを復号化する方法であって、
    パラメータ提供手段が、前記圧縮ブロックに基づいて、特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを提供するステップと、
    パターン提供手段が、前記少なくとも１つのパラメータに基づいて、前記特徴ベクトル空間の前記バウンディングセクションが含むＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを提供するステップと、
    選択手段が、前記画像要素と関連付けられ且つ前記圧縮ブロックに含まれるベクトル識別子に基づいて、前記Ｎ個の複数の表現ベクトルから１つのベクトルを前記特徴ベクトルの復号化表現として選択するステップとを有し、
    パターンを提供する前記ステップは、
    ａ）前記パターン提供手段が、表現ベクトルを無作為に提供するステップと、
    ｂ）廃棄手段が、前記少なくとも１つのパラメータに基づいて判定された、前記特徴ベクトル空間の前記バウンディングセクションに前記表現ベクトルが含まれない場合に前記表現ベクトルを廃棄するステップと、
    ｃ）ベクトル提供手段が、先に提供された表現ベクトルの端点を中心とする円の円周上の点の方向を指し示す表現ベクトルを無作為に提供するステップと、
    ｄ）前記廃棄手段が、前記少なくとも１つのパラメータに基づいて判定された前記特徴ベクトル空間の前記バウンディングセクションに前記表現ベクトルが含まれない場合に前記表現ベクトルを廃棄するステップと、
    ｅ）繰り返し手段が、前記Ｎ個の複数の表現ベクトルを得るために、表現ベクトルを無作為に提供する前記ステップｃ）及び表現ベクトルを廃棄する前記ステップｄ）を繰り返すステップとを有することを特徴とする方法。
  4. パターンを提供する前記ステップは、
    利用手段が、決定論的擬似ランダム関数の初期シード入力として前記少なくとも１つのパラメータを利用するステップと、
    出力手段が、前記少なくとも１つのパラメータに基づいて前記決定論的擬似ランダム関数から表現ベクトルを出力するステップと、
    繰り返し手段が、前記Ｎ個の複数の表現ベクトルを得るために前記決定論的擬似ランダム関数のシード入力として先に出力された表現ベクトルを利用する、表現ベクトルを出力する前記ステップを繰り返すステップとを有することを特徴とする請求項１から３のいずれか１項に記載の方法。
  5. 廃棄手段が、前記特徴ベクトル空間の前記バウンディングセクションに前記表現ベクトルが含まれない場合に、表現ベクトルを廃棄するステップを更に有することを特徴とする請求項４記載の方法。
  6. 廃棄手段が、前記表現ベクトルから先に出力された表現ベクトルまでの距離が事前に定義した距離以内である場合に表現ベクトルを廃棄するステップを更に有することを特徴とする請求項４又は５記載の方法。
  7. 移動手段が、前記表現ベクトルの端点と関連付けられるボロノイ領域の重心に前記表現ベクトルを反復的に移動するステップを更に有することを特徴とする請求項４から６のいずれか１項に記載の方法。
  8. 前記廃棄手段が、前記表現ベクトルが、該表現ベクトルを提供するために用いられる前記先に提供された表現ベクトルとは異なる、他の先に提供された表現ベクトルの端点を中心とする円に含まれる点の方向を指し示す場合に、表現ベクトルを廃棄するステップを更に有することを特徴とする請求項１から７のいずれか１項に記載の方法。
  9. パターンを提供する前記ステップは、前記パターン提供手段が、前記少なくとも１つのパラメータに基づいて、Ｎ個の複数の表現ベクトルの複数の異なる決定論的擬似ランダムパターンを含むデータベースから、Ｎ個の複数の表現ベクトルの前記決定論的擬似ランダムパターンを提供するステップを有し、
    各決定論的擬似ランダムパターンは、前記少なくとも１つのパラメータの許容される範囲と関連付けられることを特徴とする請求項１から８のいずれか１項に記載の方法。
  10. 前記Ｎ個の複数の表現ベクトルが前記特徴ベクトル空間においてグリッドを形成しないという条件を満たすことを特徴とする請求項１から９のいずれか１項に記載の方法。
  11. コンピュータに、請求項１から１０のいずれか１項に記載の方法の各ステップを実行させるためのコンピュータプログラム。
  12. 各々が関連する特徴ベクトルを有する複数の画像要素のブロックを圧縮する圧縮器であって、
    前記特徴ベクトルの少なくとも一部を含む特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを判定するように構成されるパラメータ判定器と、
    前記少なくとも１つのパラメータに基づいて、前記特徴ベクトル空間の前記バウンディングセクションに含まれるＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを提供するように構成されるパターン提供器と、
    前記画像要素と関連付けられる特徴ベクトルに基づいて、少なくとも１つの画像要素について、前記Ｎ個の複数の表現ベクトルから１つの表現ベクトルを前記特徴ベクトルの表現として選択するように構成されるベクトル選択器と、
    前記選択した表現ベクトルと関連付けられるベクトル識別子を前記少なくとも１つの画像要素に割り当てるように構成される識別子割当器とを有し、
    前記パターン提供器は、
    ｉ）初期表現ベクトルを生成し、ｉｉ）各表現ベクトルが先に生成された表現ベクトルの端点を中心とする円の円周上の点の方向を指し示す、Ｎ−１個の追加の表現ベクトルを生成するように構成される決定論的擬似ランダムベクトル生成器と、
    前記少なくとも１つのパラメータに基づいて判定された前記特徴ベクトル空間の前記バウンディングセクションに前記ベクトル生成器により生成される表現ベクトルが含まれない場合に、前記表現ベクトルを廃棄するように構成されるベクトル廃棄器とを有することを特徴とする圧縮器。
  13. 前記パラメータ判定器は、
    前記特徴ベクトル空間の前記バウンディングセクションの幅を表す第１のパラメータを判定するように構成される長さ判定器と、
    前記特徴ベクトル空間の前記バウンディングセクションの高さを表す第２のパラメータを判定するように構成される高さ判定器とを有することを特徴とする請求項１２記載の圧縮器。
  14. 前記パターン提供器は、前記少なくとも１つのパラメータを初期シード入力として利用し且つ前記少なくとも１つのパラメータに少なくとも部分的に基づいて前記Ｎ個の複数の表現ベクトルを出力する決定論的擬似ランダムベクトル生成器を有することを特徴とする請求項１２又は１３に記載の圧縮器。
  15. 前記パターン提供器は、前記特徴ベクトル空間の前記バウンディングボックスに前記ベクトル生成器から出力される表現ベクトルが含まれない場合に、前記表現ベクトルを廃棄するように構成されるベクトル廃棄器を更に有することを特徴とする請求項１４記載の圧縮器。
  16. 前記パターン提供器は、前記ベクトル生成器から出力される表現ベクトルから先に出力された表現ベクトルまでの距離が事前に定義した距離以内である場合に前記表現ベクトルを廃棄するように構成されるベクトル廃棄器を更に有することを特徴とする請求項１４又は１５記載の圧縮器。
  17. 前記パターン提供器は、前記ベクトル生成器から出力される表現ベクトルを前記表現ベクトルの端点と関連付けられるボロノイ領域の重心に反復的に移動するように構成されるベクトル変更器を更に有することを特徴とする請求項１４から１６のいずれか１項に記載の圧縮器。
  18. 前記ベクトル廃棄器は、前記ベクトル生成器により生成される前記表現ベクトルが、該表現ベクトルを提供するために用いられる前記先に提供された表現ベクトルとは異なる、他の先に生成された表現ベクトルの端点を中心とする円により含まれる点の方向を指し示す場合に前記表現ベクトルを廃棄するように更に構成されることを特徴とする請求項１２から１７のいずれか１項に記載の圧縮器。
  19. 前記パターン提供器は、前記少なくとも１つのパラメータに基づいて、Ｎ個の複数の表現ベクトルの複数の異なる決定論的擬似ランダムパターンを含むデータベースから、Ｎ個の複数の表現ベクトルの前記決定論的擬似ランダムパターンを提供するように構成され、各パターンは、前記少なくとも１つのパラメータの許容される範囲と関連付けられることを特徴とする請求項１２から１８のいずれか１項に記載の圧縮器。
  20. 圧縮ブロックの画像要素の画像特徴を表す特徴ベクトルを復号化する復号器であって、
    前記圧縮ブロックに基づいて、特徴ベクトル空間のバウンディングセクションのサイズを表す少なくとも１つのパラメータを提供するように構成されるパラメータ提供器と、
    前記少なくとも１つのパラメータに基づいて、前記特徴ベクトル空間の前記バウンディングセクションが含むＮ個の複数の表現ベクトルの決定論的擬似ランダムパターンを提供するように構成されるパターン提供器と、
    前記画像要素と関連付けられ且つ前記圧縮ブロックに含まれるベクトル識別子に基づいて、前記Ｎ個の複数の表現ベクトルから１つのベクトルを前記特徴ベクトルの復号化表現として選択するように構成されるベクトル選択器とを有し、
    前記パターン提供器は、
    ｉ）初期表現ベクトルを生成し、ｉｉ）各表現ベクトルが先に生成された表現ベクトルの端点を中心とする円の円周上の点の方向を指し示す、Ｎ−１個の追加の表現ベクトルを生成するように構成される決定論的擬似ランダムベクトル生成器と、
    前記少なくとも１つのパラメータに基づいて判定された前記特徴ベクトル空間の前記バウンディングセクションに前記ベクトル生成器により生成される表現ベクトルが含まれない場合に、前記表現ベクトルを廃棄するように構成されるベクトル廃棄器とを有することを特徴とする復号器。
  21. 前記パターン提供器は、前記少なくとも１つのパラメータを初期シード入力として利用し且つ前記少なくとも１つのパラメータに少なくとも部分的に基づいて前記Ｎ個の複数の表現ベクトルを出力する決定論的擬似ランダムベクトル生成器を有することを特徴とする請求項２０に記載の復号器。
  22. 前記パターン提供器は、前記特徴ベクトル空間の前記バウンディングボックスに前記ベクトル生成器から出力される表現ベクトルが含まれない場合に、前記表現ベクトルを廃棄するように構成されるベクトル廃棄器を更に有することを特徴とする請求項２１記載の復号器。
  23. 前記パターン提供器は、前記ベクトル生成器から出力される表現ベクトルから先に出力された表現ベクトルまでの距離が事前に定義した距離以内である場合に前記表現ベクトルを廃棄するように構成されるベクトル廃棄器を更に有することを特徴とする請求項２１又は２２記載の復号器。
  24. 前記パターン提供器は、前記ベクトル生成器から出力される表現ベクトルを前記表現ベクトルの端点と関連付けられるボロノイ領域の重心に反復的に移動するように構成されるベクトル変更器を更に有することを特徴とする請求項２１から２３のいずれか１項に記載の復号器。
  25. 前記ベクトル廃棄器は、前記ベクトル生成器により生成される前記表現ベクトルが、該表現ベクトルを提供するために用いられる前記先に提供された表現ベクトルとは異なる、他の先に生成された表現ベクトルの端点を中心とする円により含まれる点の方向を指し示す場合に前記表現ベクトルを廃棄するように更に構成されることを特徴とする請求項２０から２４のいずれか１項に記載の復号器。
  26. 前記パターン提供器は、前記少なくとも１つのパラメータに基づいて、Ｎ個の複数の表現ベクトルの複数の異なる決定論的擬似ランダムパターンを含むデータベースから、Ｎ個の複数の表現ベクトルの前記決定論的擬似ランダムパターンを提供するように構成され、各パターンは、前記少なくとも１つのパラメータの許容される範囲と関連付けられることを特徴とする請求項２０から２５のいずれか１項に記載の復号器。
JP2010502058A 2007-04-04 2008-03-11 ベクトルを使用する画像処理 Expired - Fee Related JP5306317B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US90749307P 2007-04-04 2007-04-04
US60/907,493 2007-04-04
PCT/SE2008/050267 WO2008123822A1 (en) 2007-04-04 2008-03-11 Vector-based image processing

Publications (3)

Publication Number Publication Date
JP2010524332A JP2010524332A (ja) 2010-07-15
JP2010524332A5 JP2010524332A5 (ja) 2011-03-31
JP5306317B2 true JP5306317B2 (ja) 2013-10-02

Family

ID=39831199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010502058A Expired - Fee Related JP5306317B2 (ja) 2007-04-04 2008-03-11 ベクトルを使用する画像処理

Country Status (4)

Country Link
US (1) US8571339B2 (ja)
EP (1) EP2132713A1 (ja)
JP (1) JP5306317B2 (ja)
WO (1) WO2008123822A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2145316A4 (en) * 2007-04-04 2017-03-08 Telefonaktiebolaget LM Ericsson (publ) Vector-based image processing
US8860781B2 (en) 2009-06-30 2014-10-14 Qualcomm Incorporated Texture compression in a video decoder for efficient 2D-3D rendering
KR101675785B1 (ko) * 2010-11-15 2016-11-14 삼성전자주식회사 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
WO2013109261A1 (en) * 2012-01-18 2013-07-25 Intel Corporation Intelligent computational imaging system
JP2014186196A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 映像処理装置および映像表示システム
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
US10942909B2 (en) * 2018-09-25 2021-03-09 Salesforce.Com, Inc. Efficient production and consumption for data changes in a database under high concurrency
US11709954B2 (en) 2020-05-01 2023-07-25 Microsoft Technology Licensing, Llc Image content obfuscation using a neural network

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3077943B2 (ja) 1990-11-29 2000-08-21 シャープ株式会社 信号符号化装置
JPH07111456A (ja) 1993-10-08 1995-04-25 Takayama:Kk 音声圧縮方法および装置
JP3564896B2 (ja) * 1996-10-04 2004-09-15 ヤマハ株式会社 符号化復号方式
US6459495B1 (en) 1997-07-15 2002-10-01 Silverbrook Research Pty Ltd Dot center tracking in optical storage systems using ink dots
US5956431A (en) * 1997-10-02 1999-09-21 S3 Incorporated System and method for fixed-rate block-based image compression with inferred pixel values
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6480822B2 (en) * 1998-08-24 2002-11-12 Conexant Systems, Inc. Low complexity random codebook structure
US6400370B1 (en) * 1999-09-10 2002-06-04 Intel Corporation Stochastic sampling with constant density in object space for anisotropic texture mapping
US6807312B2 (en) * 2001-07-13 2004-10-19 Sharp Laboratories Of America, Inc. Robust codebooks for vector quantization
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
US7082217B2 (en) * 2002-10-28 2006-07-25 Web Technology Corp. Method and apparatus for image compression in block units
SE0401852D0 (sv) * 2003-12-19 2004-07-08 Ericsson Telefon Ab L M Image processing
SE526226C2 (sv) * 2003-12-19 2005-08-02 Ericsson Telefon Ab L M Bildbehandling
US7263243B2 (en) * 2003-12-29 2007-08-28 Carestream Health, Inc. Method of image registration using mutual information
US7408998B2 (en) * 2004-03-08 2008-08-05 Sharp Laboratories Of America, Inc. System and method for adaptive bit loading source coding via vector quantization
WO2006126949A1 (en) 2005-05-27 2006-11-30 Telefonaktiebolaget Lm Ericsson (Publ) Weight based image processing
WO2007084062A2 (en) 2006-01-23 2007-07-26 Telefonaktiebolaget Lm Ericsson (Publ). Image processing
JP5085642B2 (ja) 2006-04-20 2012-11-28 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画像ブロックを圧縮する方法、画像ブロックの圧縮表現を処理する方法、ブロック圧縮器、及びブロック伸張器

Also Published As

Publication number Publication date
JP2010524332A (ja) 2010-07-15
US8571339B2 (en) 2013-10-29
US20100129000A1 (en) 2010-05-27
WO2008123822A1 (en) 2008-10-16
EP2132713A1 (en) 2009-12-16

Similar Documents

Publication Publication Date Title
JP5306317B2 (ja) ベクトルを使用する画像処理
JP5085642B2 (ja) 画像ブロックを圧縮する方法、画像ブロックの圧縮表現を処理する方法、ブロック圧縮器、及びブロック伸張器
US8369629B2 (en) Image processing using resolution numbers to determine additional component values
US20180189982A1 (en) Attribute mapping to encode and decode 3d models
US7787691B2 (en) High quality image processing
US7636471B2 (en) Image processing
US7693337B2 (en) Multi-mode alpha image processing
US20040217956A1 (en) Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data
US20030038798A1 (en) Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data
US8437563B2 (en) Vector-based image processing
CN117178297A (zh) 微网格，用于计算机图形的结构化几何体
US8837842B2 (en) Multi-mode processing of texture blocks
WO2023180841A1 (en) Mesh patch sub-division
Bao et al. Context modeling based depth image compression for distributed virtual environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130415

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5306317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees