JP5584203B2 - 数値データの処理方法 - Google Patents
数値データの処理方法 Download PDFInfo
- Publication number
- JP5584203B2 JP5584203B2 JP2011512164A JP2011512164A JP5584203B2 JP 5584203 B2 JP5584203 B2 JP 5584203B2 JP 2011512164 A JP2011512164 A JP 2011512164A JP 2011512164 A JP2011512164 A JP 2011512164A JP 5584203 B2 JP5584203 B2 JP 5584203B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- index
- vectors
- lattice
- leader
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3082—Vector coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
量子化方法は、論文[1]により公知である。
量子化については、数十年に亘って研究されてきた。これら研究は、今日、レート歪理論に関して、多くの成果をもたらしている。特に、ベクトル量子化(QV)は、固定長のコード化が要求される場合には、スカラ量子化(QS)に比べて多くの利点を持っていることが証明された。また、シャノンは、n次元ベクトル量子化が十分に大きい場合は、QVのパフォーマンスは最適な理論的パフォーマンスに近いことを証明した。
インデキシングは、各量子化ベクトルに対して、インデックスを、割り当てることであり、量子化とは別の操作である。一旦コード化されると、インデックスは、デコーダーまでチャネルを介して送信される。この操作は圧縮チェーンにおいて基本的である。それは、ビットレートを決定し、曖昧さのないベクトル復号化を可能にする。公知の方法によると、一般的にメモリについては極めて安価になるが、計算については、かなり複雑になる(再帰的アルゴリズム)。又は、特別な場合(ラティスタイプ又は特別のトランケーション)にだけ動作するものである。本発明は、一般化ガウス形分布に対しインデキシングすることを可能にし、一般的なアプローチに関するもので、メモリコスト/計算コストの妥協を実現する。
インデックス法は、通常、ラティス数の増大に基づいている。したがって、ソースの分布に依存する、n次元面(又はボリューム内)のラティスベクトルをカウントできなければならない。カウントについての従来のアプローチは、生成された級数の使用に基づいている。この手順で、関数Nuが導入された。それらを使うと、ピラミッド上で(即ち、ラプラス分布の場合)カウントすることが可能になる。
本発明は、一般化ガウス分布上のカウントを可能にする一般的なアプローチを提案し、メモリコスト/演算コストの両立性を実現した。第2の特許では、この問題を解決する。
本発明の目的は、メモリ容量と時間が削減された情報処理リソースを使って実行可能なベクトル量子化ステップを含む処理方法を提案することである。
前記ベクトル(複数)lは、入力データの記述子(descripteurs)を構成する。また、前記方法は、リーダーベクトル全体の決定するステップをもつことなく、前記リーダーベクトルのインデックスI1が、逆辞書順序で、前記リーダーベクトルlに先行するベクトルの数に対応することを特徴とする。
−デジタルビデオシーケンス、
−デジタルオーディオデータ、
−デジタル3次元オブジェクト、
−デジタルアニメ3次元オブジェクト、
−データベースにおいて登録された情報、
−前記ベクトルデータの変換に由来する複数係数(例:DCT係数、ウェーブレット係数)。
−デジタル画像、
−デジタルビデオシーケンス、
−デジタルオーディオデータ、
−デジタル3次元オブジェクト、
−デジタルアニメ3次元オブジェクト、
−テキストデータベースのオブジェクト、
−データベースにおいて登録された情報、
−前記ベクトルデータの変換に由来する複数係数(例:DCT係数、ウェーブレット係数)。
これは、効率的なプロダクトコードの開発につながる。
ラティスの定義
RnにおけるラティスΛは、線形独立ベクトルai(ラティスの基底)の集合の全部の組合せで、次のように構成される。
Λ = {x│x = u1a1 + u2a2 + … unan} (1)
1つの超曲面の上のベクトルの位置は、カウントアルゴリズム(algorithme de denombrement)を使って取得することができる。このようなプロダクトコードは、デコーディングの一意性(unicite)を保証する。
ガウス分布又はラプラシアン分布について、及び、全カウントの原理に基づく種々のラティスについて、複数のカウント方法が、これまで提案されてきた。特に、ソースがラプラシアン分布の場合、ラティスZnに関して、ノルムl 1のハイパーピラミッド上にあるラティスのベクトルの全数を計算するための再帰的公式(formule recursive)が知られている。
カウントのこの公式は、0と2の間の形状ファクタpを使って、ソースの一般化ガウス分布に拡張されている。これら解法を使うと、tranctureノルムlpの内部に存在するベクトルの数を計算することができる。
しかしながら、これら解法は、インデックスをラティスZnに割り当てるアルゴリズムを提示するものではない。
また、この解法は、超曲面上にあるベクトルの数を決定するものではない。このため、プロダクトコードを使用することは困難である。
リーダーに基づく方法は、ラティスの対称性を利用する。その方法は、一定ノルムのエンベロープに対する効率的なインデキシング アルゴリズムを使う。ラティスベクトルの全数に基づいてインデックスを割り当てるのではなく、リーダーと呼ばれる、少ない数のベクトルに基づいて割り当てるものである。
また、コード化アルゴリズムにより管理されるインデックスは、エンベロープの基数よりもっと小さい。これを使うと、全カウントに基づく方法ではインデックスを付与できないベクトルに対して、バイナリ精度(precision binaire)で、インデックスを付与することができる。
第1の操作は、ベクトルが存在する一つの象限の変化に対応している。例えば、2次元のベクトル(7,−3)が第4象限にあるとする。これに対し、ベクトル(−7、−3)は第3象限にある。これらベクトルはy軸に対して対称である。
第2の操作は、象限内の対称性に対応する。例えば、ベクトル(−7、3)と(−3,7)は、2つ共に第2象限にあり、同象限の2等分線に対して、対称である。
この場合、“これらベクトルは、これらベクトルのリーダーであるベクトル(3,7)の置換及び符号変化から生成されること”が分かる。ベクトル(3,7)は、これらベクトルのリーダーベクトルである。全ての置換と符号変化を使って、リーダー(3,7)は8つのベクトルを代表することができる。
この比は、超曲面の次元と共に急速に大きくなる(表1参照)。
ノルムl 1の場合に提案するリーダーのインデックス付与方法。
原理
本発明は、逆辞書順序で、全てのベクトルを分類する分類に基づく解決方法を提案する。また、インデックスを付与しなければならないリーダーに先行するベクトルの数に応じて、インデックスを割り当てる。この場合、インデキシングは、もはやリソースを大量消費する1つのサーチアルゴリズム、又は、直接アドレッシングによるものではなく、むしろ、低コストのカウントアルゴリズムによるものである。これは、それらに関する明らかな知識に依存するものではなく、むしろ、リーダーの量に依存するもので、このようにすれば、変換表を作成しなくてもよくなる。
ノルムl1の場合、セクション3.1.1で説明した条件は数論の分割理論(theorie des partitions)に関連していることに注意しなければならない。確かに、数論では、正の整数rの分割は、正の整数の和(partとも呼ばれる)としてrを記述する方法である。rの別の分割数は、次の分割関数P(r)で与えられる:
したがって、ノルムr=5と次元d=3のハイパーピラミッドに対して、q(5,3)=5である。即ち、5つのリーダーは次のとおりである。:(0、0、5) (0、1、4)、(0、2、3)、(1、1、3)、(1、2、2)。
q(r,d) = q(r, d−1) + q(r−d, d) (3)
但し、q(r、d)=P(r)で、d≧r、q(1、d)=1、及び、q(r、0)=0。
以下に説明するように、式(3)が与えられたハイパーピラミッドの上のリーダーの全数を与えるのみならず、同式は、変換テーブルを使うことなく、リーダーに対し唯一の一群のインデックスを割り当てるのに使うことができる。
インデックス アルゴリズムの原理を説明するために、次のようにハイパーピラミッドのリーダーが、次のように逆辞書式順序で分類されていると仮定する。
v=(v1、v2、…、vn)は、一定ノルムl1の1つのエンベロープ上の1つのリーダーベクトルl=(x1、x2、…、xn)を持つラティスベクトルZnであるとする。リーダーのインデックスI1は次式で与えられる。:
ノルムrn、次元nのリーダー(その最大座標がgnに等しい)の数の計算は、数rn-gn(但し、gnより大きい部分がなく、n−1部分より小さい)の分割数を、計算することに等しい。
ベクトルν = (v1, v2, …, vn)を、一定ノルムlpの一つのエンベロープの上にある1つのリーダーベクトルl= (x1, x2, …, xn)を持つ1つのラティスベクトルZnであるとする。リーダーベクトルI1のインデックスは次式により与えられる。
v = (-20, 16, 15, -40) を、インデキシングしなければならない形状ファクターp=0.3の、一般化ガウス分布を持つ一つのソースの量子化された1つのラティスベクトルとする。置換と符号のインデックスの計算は、この研究の範囲内ではないので、また、[5,13]を使いながら簡単に実行することができるので、ここでは、リーダーベクトルのインデキシングを中心に説明する。ベクトルvに対応するリーダーベクトルは、l = (15, 16, 20, 40)である。
コーディングとデコーディングのアルゴリズムは、以下の原則に基づく。
1)初期設定
p=0.3、精度δ=0.1とする。リーダーベクトルのインデックスをI1=0とする。
2)次式のように、精度δを持つベクトルlのノルムlpを計算する。
最初にf(101)を決める。この場合、f(101)=2264である。次に、j=0に対して式(8)を使う。但し、iは41(即ち、40+1)から2264(即ち、min(+∞、2264)。次式が得られる。
I1 = 100774 + (min(f(x)), x2)− xl)
= 100774 + (min(f(23), 16)−15)
= 100774 + (min(17, 16) −15)
= 100775.
2)“if/break”テストのために、最初の《for》(《j》 の上の)が、約nnz(1)回実行される。但し、nnz(1)は、1の非0の値の数を意味する。
3)最初の《for》の各ループに対して、次のものを有している。
i. 最初の《if》のために、IAおよび7LC 。
ii.関数《min》のために、1LC。
また、この解決法は、形状パラメータ0< p≦ 2を持つ一般化ガウス分布ソースに対して役立つ。本発明の方法は、分析的で、本方法を使うと、高次ベクトル次元の使用を可能にする。
Claims (11)
- 前記処理方法は、計算において、リーダーベクトルl以外のベクトルを決定するステップを含まないことを特徴とする請求項1に記載の処理方法。
- ベクトルデータを圧縮することを更に備え、前記圧縮することは、前記リーダーベクトルインデックスIlのバイナリコード化の結果並びに少なくとも一つの符合インデックスIs、ノルムインデックスIn及び置換インデックスIpをメモリに記憶することからなる請求項1乃至4のいずれか一項に記載の処理方法。
- 前記ベクトルデータは、
デジタル画像、
デジタルビデオシーケンス、
デジタルオーディオデータ、
デジタル3次元オブジェクト、
デジタルアニメ3次元オブジェクト、
前記ベクトルデータは変換に由来する複数係数、及び
データベースにおいて登録された情報からなる群から選択したことを特徴とする請求項5に記載の処理方法。 - ベクトルデータベースにおいてサーチすることを更に備え、前記サーチすることは、一つのインデックスIl,ref並びに少なくとも一つの符号インデックスIs,ref、ノルムインデックスIn,ref及び置換インデックスIp,refを参照情報として算出することと、同一インデックスを付加されたデータをサーチすることと、からなる請求項1乃至4のいずれか一項に記載の処理方法。
- 前記ベクトルデータは、
デジタル画像、
デジタルビデオシーケンス、
デジタルオーディオデータ、
デジタル3次元オブジェクト、
デジタルアニメ3次元オブジェクト、
データベースにおいて登録された情報、及び
前記ベクトルデータは変換に由来する複数係数からなる群から選択したことを特徴とする請求項7に記載の処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR08/3017 | 2008-06-02 | ||
FR0803017A FR2931963A1 (fr) | 2008-06-02 | 2008-06-02 | Procede de traitement de donnees numeriques |
PCT/FR2009/000616 WO2009156605A2 (fr) | 2008-06-02 | 2009-05-27 | Procède de traitement de donnees numeriques |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011525728A JP2011525728A (ja) | 2011-09-22 |
JP5584203B2 true JP5584203B2 (ja) | 2014-09-03 |
Family
ID=40091259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011512164A Expired - Fee Related JP5584203B2 (ja) | 2008-06-02 | 2009-05-27 | 数値データの処理方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8660187B2 (ja) |
EP (1) | EP2289171B1 (ja) |
JP (1) | JP5584203B2 (ja) |
KR (1) | KR101627000B1 (ja) |
CN (1) | CN102084594B (ja) |
CA (1) | CA2725799C (ja) |
FR (1) | FR2931963A1 (ja) |
WO (1) | WO2009156605A2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2931964A1 (fr) * | 2008-06-02 | 2009-12-04 | Centre Nat Rech Scient | Procede de denombrement des vecteurs dans les reseaux reguliers de points. |
US8848006B2 (en) * | 2012-01-25 | 2014-09-30 | Massachusetts Institute Of Technology | Tensor displays |
CN106796765B (zh) * | 2014-10-08 | 2020-10-20 | 日本电信电话株式会社 | 非减序列判定装置、非减序列判定方法以及记录介质 |
SE538512C2 (sv) | 2014-11-26 | 2016-08-30 | Kelicomp Ab | Improved compression and encryption of a file |
SE544304C2 (en) * | 2015-04-17 | 2022-03-29 | URAEUS Communication Systems AB | Improved compression and encryption of a file |
JP2018136614A (ja) * | 2017-02-20 | 2018-08-30 | 株式会社日立製作所 | データ分散処理システム、データ分散処理方法、及びデータ分散処理プログラム |
US11709270B1 (en) | 2018-06-01 | 2023-07-25 | Cintoo SAS, France | Method of processing azimuth, elevation and range data from laser scanning an object |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02215230A (ja) * | 1989-02-15 | 1990-08-28 | Matsushita Electric Ind Co Ltd | ベクトル量子化装置 |
FR2773022B1 (fr) | 1997-12-22 | 2000-01-28 | France Telecom | Procede de codage d'un vecteur d'un reseau representatif d'un signal quantifie et procede de decodage correspondant |
FR2795589B1 (fr) | 1999-06-11 | 2001-10-05 | Centre Nat Rech Scient | Decodeur video optimal base sur les standards de type mpeg |
JP4590747B2 (ja) * | 2001-02-06 | 2010-12-01 | ソニー株式会社 | ベクトル量子化のコードブック生成方法及びコードブック生成装置 |
CA2388358A1 (en) | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for multi-rate lattice vector quantization |
EP1709743A1 (fr) * | 2004-01-30 | 2006-10-11 | France Telecom S.A. | Quantification vectorielle en dimension et resolution variables |
WO2008104725A1 (fr) | 2007-02-21 | 2008-09-04 | France Telecom | Procede de codage et decodage algebrique optimise, modules et programmes d'ordinateur associes |
FR2931964A1 (fr) | 2008-06-02 | 2009-12-04 | Centre Nat Rech Scient | Procede de denombrement des vecteurs dans les reseaux reguliers de points. |
WO2010001020A2 (fr) | 2008-06-06 | 2010-01-07 | France Telecom | Codage/decodage par plans de bits, perfectionne |
-
2008
- 2008-06-02 FR FR0803017A patent/FR2931963A1/fr not_active Withdrawn
-
2009
- 2009-05-27 WO PCT/FR2009/000616 patent/WO2009156605A2/fr active Application Filing
- 2009-05-27 EP EP09769446.7A patent/EP2289171B1/fr not_active Not-in-force
- 2009-05-27 JP JP2011512164A patent/JP5584203B2/ja not_active Expired - Fee Related
- 2009-05-27 CN CN200980125583.8A patent/CN102084594B/zh not_active Expired - Fee Related
- 2009-05-27 CA CA2725799A patent/CA2725799C/fr not_active Expired - Fee Related
- 2009-05-27 KR KR1020117000054A patent/KR101627000B1/ko not_active IP Right Cessation
- 2009-05-27 US US12/995,530 patent/US8660187B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102084594B (zh) | 2014-12-10 |
FR2931963A1 (fr) | 2009-12-04 |
KR20110033175A (ko) | 2011-03-30 |
CN102084594A (zh) | 2011-06-01 |
JP2011525728A (ja) | 2011-09-22 |
EP2289171B1 (fr) | 2018-04-25 |
WO2009156605A8 (fr) | 2010-11-04 |
WO2009156605A3 (fr) | 2010-10-07 |
WO2009156605A2 (fr) | 2009-12-30 |
EP2289171A2 (fr) | 2011-03-02 |
US8660187B2 (en) | 2014-02-25 |
KR101627000B1 (ko) | 2016-06-02 |
CA2725799C (fr) | 2019-03-12 |
US20110235719A1 (en) | 2011-09-29 |
CA2725799A1 (fr) | 2009-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Data reduction techniques for simulation, visualization and data analysis | |
JP5584203B2 (ja) | 数値データの処理方法 | |
JP7006966B2 (ja) | ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索(nns)方法 | |
KR20100085998A (ko) | 다단계 양자화 방법 및 장치 | |
EP3115908A1 (en) | Method and apparatus for multimedia content indexing and retrieval based on product quantization | |
WO2011097963A1 (zh) | 编码方法、解码方法、编码器和解码器 | |
Li et al. | Lossy scientific data compression with SPERR | |
Sun et al. | ZFP-V: Hardware-optimized lossy floating point compression | |
CN114640354A (zh) | 数据压缩方法、装置、电子设备及计算机可读存储介质 | |
JP5580295B2 (ja) | 規則的点ネットワークにおけるベクトルをカウントする方法 | |
Jain et al. | Approximate search with quantized sparse representations | |
Gersho et al. | Constrained vector quantization | |
Amin et al. | Vector quantization based lossy image compression using wavelets–a review | |
Hoang | Compact and Progressive Encodings for Task-Adaptive Queries of Scientific Data | |
Baert et al. | ATC: an Advanced Tucker Compression library for multidimensional data | |
WO2023205969A1 (zh) | 点云几何信息的压缩、解压缩及点云视频编解码方法、装置 | |
Wang et al. | Stacked product quantization for nearest neighbor search on large datasets | |
CN117972323A (zh) | 一种低秩张量数据压缩和缺失值恢复的方法及系统 | |
Mackenzie et al. | Lossy Compression Options for Dense Index Retention | |
Chen et al. | Significant improvement of lossy compression rate and speed of HPC data using perceptron parallelized compression | |
Khandelwal et al. | Lattice vector quantization with direct indexing as data differencing technique | |
EP4095712A1 (en) | Compression and search process on a group of data based on multiple strategies | |
US20240119027A1 (en) | Compression and search process on a data set based on multiple strategies | |
Ryabko et al. | Universal coding of function spaces as a model signal compression | |
Matsui et al. | Revisiting Column-Wise Vector Quantization for Memory-Efficient Matrix Multiplication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131022 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140516 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140523 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5584203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |