JPWO2007074912A1 - データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム - Google Patents
データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム Download PDFInfo
- Publication number
- JPWO2007074912A1 JPWO2007074912A1 JP2007552029A JP2007552029A JPWO2007074912A1 JP WO2007074912 A1 JPWO2007074912 A1 JP WO2007074912A1 JP 2007552029 A JP2007552029 A JP 2007552029A JP 2007552029 A JP2007552029 A JP 2007552029A JP WO2007074912 A1 JPWO2007074912 A1 JP WO2007074912A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional data
- dimensional
- base
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
立方体や円筒など幾何学形状の組み合わせでは記述できない、例えば人体など複雑な3次元物体の形状は、通常、物体表面を細かく分割した3角形や4角形(ポリゴン)の小平面の集合として表現され、その各頂点の3次元空間での座標値を並べたデータで記述される。そして、物体表面の色情報は、各ポリゴンの頂点の色として輝度値で表わされる。
典型的な3Dデータの表現の一例として、地球の表面に緯度と経度が決まっているように、物体表面に2次元の座標系(u,v)を定義し、その座標を適当な間隔で量子化した地点をポリゴン頂点とし、その3次元座標と色(r,g,b輝度値)をデータとして記憶する方法がある。この方法によれば、一つの物体の3次元形状と表面の色情報は、各画素が(x,y,z,r,g,b)の6つの要素を持つ画像として考えることができる。
3次元座標は輝度値よりも値域が広いため、3次元データは同レベルの解像度の輝度画像に比べて数倍のデータ量となる。例えば30cm×30cmの表面積を1mm間隔で量子化すると、解像度300×300=9万点の頂点データとなり、x,y,zのそれぞれを2バイト、r,g,bのそれぞれを1バイトで記述しても800キロバイトを超えるデータ量となる。すなわち、多数の物体の3次元データを利用するシステムでは、画像処理システム以上に、記憶、検索、ネットワーク伝送などの処理過程において、データ量の大きさが問題となり、データ量を圧縮する技術が必要とされている。
ポリゴン表現された3次元形状モデルのデータ量を削減するための従来の3次元形状データの圧縮装置の一例が、W.J.Schroeder,J.A.Zarge,W.E.Lorensen,″Decimation of Triangle Meshes″,Computer Graphics,26,2,1992,Pages:65−70(非特許文献2)に記載されている。図22に示すように、この従来のデータ圧縮装置2000は、頂点選択手段2001と頂点削減手段2002とから構成されている。
このような構成を有する従来のデータ圧縮装置2000は、次のように動作する。
すなわち、頂点選択手段2001において、入力の3次元データ2010中から、消去してしまっても誤差の大きくならないような頂点を選択し、頂点削減手段2002において、前記選択された頂点を消去することで、ポリゴン数を削減しデータ量を小さくした3次元データである圧縮データ2020を生成する。非特許文献2に記載の技術では、頂点選択手段2001において、隣接したポリゴンの平均の位置にあるポリゴンからの距離が短い頂点を優先的に選択し、頂点削減手段2002において、頂点を消去していく。これを指定された間引き率に達するまで繰り返す。最終的に得られる圧縮データ2020は、元のデータに比べて頂点数が削減されており、データ量が小さい。同様な技術で、削減するポリゴンの選択方法を改良する技術も多数あり、その一例として特許第3341549号公報(特許文献1)に記載の技術などがある。
他方、データ圧縮に関する技術ではないが、3次元形状データを生成する技術の一例がVolker Blanz,Thomas Vetter,″A Morphable Model For The Synthesis Of 3D Faces″,SIGGRAPH 99 Conference Proceedings,Pages:187−194(非特許文献3)に記載されている。この非特許文献3では、あらかじめ多数の顔の3次元データを集めて各データ間で対応点を決定して頂点データ化し、主成分分析を適用して100個程度の基底データを計算し、記憶しておく。1枚の顔の写真(2次元画像)が与えられたとき、記憶されている基底データの組み合わせによって、その2次元画像で表現された顔と同じ顔の3次元データを合成し、出力する。
第2の問題点は、ポリゴンを削減するため圧縮率を高めるに従って3次元データの解像度が低下することである。その理由は、圧縮後のデータの解像度すなわちポリゴン数が、元のデータのポリゴン数に対して圧縮率に比例して低下し、復元不可能であるためである。
第3の問題点は、記憶する3次元データの数が多くても圧縮率を高くできないことである。その理由は、個別の3次元データを独立に同じ方法で圧縮しているためである。
第4の問題点は、3次元データの内容に応じた最適な圧縮率や再現精度を達成できないことである。その理由は、任意の3次元データを同じ方法で圧縮するためである。
本発明の目的は、3次元データの解像度(ポリゴン数)を低下させずに高い圧縮率(データ容量を数百分の一以下に圧縮する)を実現できるデータ圧縮方法および装置を提供することにある。特に、多数の人物の顔の3次元データなど、類似した多数の物体の3次元データを効率的に圧縮し、記憶、伝送するためのデータ圧縮方法および装置を提供することにある。
本発明の第2のデータ圧縮装置は、第1のデータ圧縮装置において、前記係数計算手段で計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、新たな基底3次元データを3次元データの合成に使用する基底3次元データ群に追加する圧縮判定手段を備えることを特徴とする。
本発明の第3のデータ圧縮装置は、第1または第2のデータ圧縮装置において、前記合成対象3次元データの合成に適した複数の基底3次元データを、3次元データの合成に使用する基底3次元データ群から選択する基底データ選択手段を備えることを特徴とする。
本発明の第4のデータ圧縮装置は、第2または第3のデータ圧縮装置において、前記圧縮データに、前記結合係数に加えて、結合に使用した基底3次元データを特定する選択情報を含ませることを特徴とする。
本発明の第5のデータ圧縮装置は、第1のデータ圧縮装置において、前記合成対象3次元データを複数の部分領域に分割する領域分割手段を備え、前記係数計算手段は、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力することを特徴とする。
本発明の第6のデータ圧縮装置は、第1のデータ圧縮装置において、前記合成対象3次元データを複数の部分領域に分割する領域分割手段と、前記係数計算手段で計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データを前記領域分割手段によって複数の部分領域に分割し、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を前記係数計算手段によって部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力する圧縮判定手段とを備えることを特徴とする。
本発明の第7のデータ圧縮装置は、第5のデータ圧縮装置において、前記圧縮判定手段は、部分領域に分割して圧縮しても全体の復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データをさらに細かい部分領域に分割して部分領域ごとに結合係数を求める制御を行うことを特徴とする。
本発明の第8のデータ圧縮装置は、第5、第6または第7のデータ圧縮装置において、前記圧縮データに、前記部分領域を特定する部分領域決定データを含ませることを特徴とする。
本発明の第9のデータ圧縮装置は、第1乃至第8の何れかのデータ圧縮装置において、前記圧縮データを記憶する着脱自在な記憶装置を備えることを特徴とする。
本発明の第1のデータ復元装置は、結合係数を含む圧縮データを入力し、合成に使用された複数の基底3次元データを前記圧縮データに含まれる結合係数により結合して3次元データを復元する3次元データ復元手段を備えることを特徴とする。
本発明の第2のデータ復元装置は、合成に使用された基底3次元データ群の選択情報および結合係数を含む圧縮データを入力し、前記選択情報に基づいて圧縮対象3次元データの合成に使用された基底3次元データ群を予め定められた基底3次元データ群から抽出する基底データ読出手段と、該抽出された基底3次元データ群を前記圧縮データに含まれる結合係数により結合して3次元データを復元する3次元データ復元手段とを備えることを特徴とする。
本発明の第3のデータ復元装置は、合成に使用された基底3次元データ群の部分領域を特定する部分領域決定データおよび部分領域ごとの結合係数を含む圧縮データを入力し、前記部分領域決定データに基づいて圧縮対象3次元データの合成に使用された基底3次元データ群の部分領域を予め定められた基底3次元データ群から抽出する基底データ読出手段と、該抽出された基底3次元データ群を前記圧縮データに含まれる部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データを復元する3次元データ復元手段とを備えることを特徴とする。
本発明の第4のデータ復元装置は、第1、第2または第3のデータ復元装置において、前記圧縮データを記憶する着脱自在な記憶装置を備えることを特徴とする。
本発明の圧縮復元システムは、第1乃至第8の何れかのデータ圧縮装置および第1、第2または第3のデータ復元装置を有する圧縮復元装置と、該圧縮復元装置で生成された圧縮データを記憶する記憶装置とを備えたことを特徴とする。
本発明の第1のデータ送信装置は、第1乃至第8の何れかのデータ圧縮装置と、該データ圧縮装置が使用する参照3次元データおよび基底3次元データ群を記憶する記憶装置と、前記データ圧縮装置で生成された圧縮データを送信するデータ伝送手段とを備えたことを特徴とする。
本発明の第2のデータ送信装置は、第1のデータ送信装置において、前記データ伝送手段は、前記データ圧縮装置が前記基底3次元データ群に追加した基底3次元データを圧縮データの送信先へ伝送することを特徴とする。
本発明の第1のデータ受信装置は、第1、第2または第3のデータ復元装置と、該データ復元装置が使用する基底3次元データ群を記憶する記憶装置と、圧縮データを受信し前記データ復元装置へ入力するデータ伝送手段とを備えたことを特徴とする。
本発明の第2のデータ受信装置は、第1のデータ受信装置において、前記データ伝送手段は、追加の基底3次元データを受信したとき前記基底3次元データ群に追加することを特徴とする。
本発明のデータ伝送システムは、第1または第2のデータ送信装置と第1または第2のデータ受信装置とが通信路を通じて接続されたことを特徴とする。
本発明の第1のデータ圧縮方法は、a)対応点決定手段が、3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成するステップ、b)係数計算手段が、3次元データの合成に使用する基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を計算し、該計算した結合係数を前記入力した3次元データの圧縮データとして出力するステップ、を含むことを特徴とする。
本発明の第2のデータ圧縮方法は、第1のデータ圧縮方法において、c)圧縮判定手段が、前記ステップbで計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、新たな基底3次元データを3次元データの合成に使用する基底3次元データ群に追加するステップ、を含むことを特徴とする。
本発明の第3のデータ圧縮方法は、第1または第2のデータ圧縮方法において、d)基底データ選択手段が、前記合成対象3次元データの合成に適した複数の基底3次元データを、3次元データの合成に使用する基底3次元データ群から選択するステップ、を含むことを特徴とする。
本発明の第4のデータ圧縮方法は、第2または第3のデータ圧縮方法において、前記圧縮データに、前記結合係数に加えて、結合に使用した基底3次元データを特定する選択情報を含ませることを特徴とする。
本発明の第5のデータ圧縮方法は、a)対応点決定手段が、3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成するステップ、b)領域分割手段が、前記合成対象3次元データを複数の部分領域に分割するステップ、c)係数計算手段が、3次元データの合成に使用する同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力するステップ、を含むことを特徴とする。
本発明の第6のデータ圧縮方法は、a)対応点決定手段が、3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成するステップ、b)係数計算手段が、3次元データの合成に使用する基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を計算し、該計算した結合係数を前記入力した3次元データの圧縮データとして出力するステップ、c)圧縮判定手段が、前記ステップbで計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データを前記領域分割手段によって複数の部分領域に分割し、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を前記係数計算手段によって部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力するステップ、を含むことを特徴とする。
本発明の第7のデータ圧縮方法は、第6のデータ圧縮方法において、部分領域に分割して圧縮しても全体の復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データをさらに細かい部分領域に分割して部分領域ごとに結合係数を求めることを特徴とする。
本発明の第8のデータ圧縮方法は、第5、第6または第7のデータ圧縮方法において、前記圧縮データに、前記部分領域を特定する部分領域決定データを含ませることを特徴とする。
本発明の第9のデータ圧縮方法は、第1乃至第8の何れかのデータ圧縮方法において、前記圧縮データを着脱自在な記憶装置に記憶することを特徴とする。
本発明の第1のデータ復元方法は、3次元データ復元手段が、結合係数を含む圧縮データを入力し、合成に使用された複数の基底3次元データを前記圧縮データに含まれる結合係数により結合して3次元データを復元することを特徴とする。
本発明の第2のデータ復元方法は、a)基底データ読出手段が、合成に使用された基底3次元データ群の選択情報および結合係数を含む圧縮データを入力し、前記選択情報に基づいて圧縮対象3次元データの合成に使用された基底3次元データ群を予め定められた基底3次元データ群から抽出するステップ、3次元データ復元手段が、前記抽出された基底3次元データ群を前記圧縮データに含まれる結合係数により結合して3次元データを復元するステップ、を含むことを特徴とする。
本発明の第3のデータ復元方法は、a)基底データ読出手段が、合成に使用された基底3次元データ群の部分領域を特定する部分領域決定データおよび部分領域ごとの結合係数を含む圧縮データを入力し、前記部分領域決定データに基づいて圧縮対象3次元データの合成に使用された基底3次元データ群の部分領域を予め定められた基底3次元データ群から抽出するステップ、b)3次元データ復元手段が、前記抽出された基底3次元データ群を前記圧縮データに含まれる部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データを復元するステップ、を含むことを特徴とする。
本発明の第4のデータ復元方法は、第1、第2または第3のデータ復元方法において、前記圧縮データを着脱自在な記憶装置から入力することを特徴とする。
本発明の圧縮復元方法は、第1乃至第8の何れかのデータ圧縮方法で生成された圧縮データを記憶装置に記憶し、該記憶装置から読み出した圧縮データを第1、第2または第3のデータ復元方法で3次元データに復元することを特徴とする。
本発明の第1のデータ送信方法は、第1乃至第8の何れかのデータ圧縮方法で生成された圧縮データを、データ伝送手段を通じて伝送することを特徴とする。
本発明の第2のデータ送信方法は、第1のデータ送信方法において、前記データ伝送手段は、前記データ圧縮方法において前記基底3次元データ群に追加された基底3次元データを圧縮データの送信先へ伝送することを特徴とする。
本発明の第1のデータ受信方法は、データ伝送手段で受信した圧縮データを第1、第2または第3のデータ復元方法により3次元データに復元することを特徴とする。
本発明の第2のデータ受信方法は、第1のデータ受信方法において、前記データ伝送手段は、追加の基底3次元データを受信したとき前記データ復元方法で使用する基底3次元データ群に追加することを特徴とする。
本発明のデータ伝送方法は、第1または第2のデータ送信方法と第1または第2のデータ受信方法とを組み合わせたことを特徴とする。
本発明は、入力された3次元データを別の3次元データによって効率的に圧縮する。すなわち、参照3次元データを基準に、入力された3次元データと基底3次元データ群との間で対応する頂点を決定し、基底3次元データ群のすべてまたは基底3次元データ群中から選択した一部の基底3次元データ群を線形結合することによって入力3次元データと同じ3次元データを合成するための結合係数を計算し、この結合係数を入力3次元データの圧縮データとする。またその復元時は、圧縮データが示す結合係数に従って、合成に使用された基底3次元データを結合することによって元の3次元データを復元する。
このように本発明では、基底3次元データ群を結合する結合係数のデータ量が元の3次元データのデータ量よりも遥かに少ないことを利用する。非特許文献3とは異なり、3次元データを入力とし、この入力3次元データを基底3次元データ群の組み合わせによって合成するための結合係数を計算する。結合係数を入力3次元データの代替とすることにより、3次元データの記憶や伝送に必要なデータ量を圧縮する。さらに、結合係数の計算に用いる基底3次元データ群は、事前に集めた複数の3次元データから主成分分析によって計算した基底データであっても良いし、3次元データそのものであっても良い。
第2の効果は、圧縮された3次元データの解像度が低下しないことである。その理由は、復元される3次元データは合成に使用された基底3次元データと同じ解像度になり、これらが元の3次元データと同等以上に高解像度であれば解像度が低下しないためである。
第3の効果は、特に、大量の3次元データを記憶するデータベースシステムなどにおいて、新たに追加されるデータの記憶や伝送に必要となる記憶容量を大幅に削減できることである。その理由は、新たなデータを追加記憶する際に、既存のデータを基底3次元データに用いて新たなデータを結合係数に変換し、この結合係数を記憶すれば良いためである。
第4の効果は、入力3次元データに応じて最適な基底データを選択して用いる構成を採用すれば、データ圧縮に必要な計算量や、復号後のデータの精度劣化を抑えられることである。
第5の効果は、圧縮後のデータが秘匿性を持つことにある。その理由は、結合係数のみでは、元の3次元データが復元できないためである。
図2は本発明のデータ圧縮装置の第1の実施の形態の処理例を示すフローチャートである。
図3は本発明のデータ復元装置の第1の実施の形態のブロック図である。
図4は本発明のデータ復元装置の第1の実施の形態の処理例を示すフローチャートである。
図5は本発明のデータ圧縮装置の第2の実施の形態のブロック図である。
図6は本発明のデータ圧縮装置の第2の実施の形態の処理例を示すフローチャートである。
図7は本発明のデータ圧縮装置の第3の実施の形態のブロック図である。
図8は本発明のデータ圧縮装置の第3の実施の形態の処理例を示すフローチャートである。
図9は本発明のデータ復元装置の第2の実施の形態のブロック図である。
図10は本発明のデータ復元装置の第2の実施の形態の処理例を示すフローチャートである。
図11は本発明のデータ圧縮装置の第4の実施の形態のブロック図である。
図12は本発明のデータ圧縮装置の第4の実施の形態の処理例を示すフローチャートである。
図13は本発明のデータ圧縮装置の第5の実施の形態のブロック図である。
図14は本発明のデータ圧縮装置の第5の実施の形態の処理例を示すフローチャートである。
図15は顔の3次元データの分割方法の一例を示す図である。
図16は顔の3次元データの分割方法の他の例を示す図である。
図17は顔の3次元データの分割方法の別の例を示す図である。
図18は本発明のデータ復元装置の第3の実施の形態のブロック図である。
図19は本発明のデータ復元装置の第3の実施の形態の処理例を示すフローチャートである。
図20は本発明の圧縮復元システムの実施の形態のブロック図である。
図21は本発明のデータ伝送システムの実施の形態のブロック図である。
図22は従来のデータ圧縮装置のブロック図である。
101…対応点決定手段
102…係数計算手段
103…合成対象3次元データ
110…記憶装置
111…参照3次元データ
112…基底3次元データ群
120…入力3次元データ
130…圧縮データ
『データ圧縮装置の第1の実施の形態』
図1を参照すると、本発明のデータ圧縮装置の第1の実施の形態は、物体の形状を表す3次元データ120を入力してその圧縮データ130を出力する圧縮装置100と、それに接続された記憶装置110とで構成される。
記憶装置110には、参照3次元データ111と基底3次元データ群112とが予め記憶されている。本発明は、複数の3次元データを線形結合して3次元データ120を合成するための結合係数を3次元データ120の圧縮データとするため、合成に使用する複数の3次元データと入力の3次元データ120は頂点が対応付けられている必要がある。記憶装置110に記憶されている参照3次元データ111は、このような頂点の対応関係を決める基準となる3次元データである。また、基底3次元データ群112は、合成に使用する複数の3次元データに相当する。個々の基底3次元データは、参照3次元データ111の頂点に或る物体の3次元データの頂点を対応付けることにより生成された3次元データそのもの、或いは、そのようにして作成された多数の物体についての3次元データから主成分分析などの計算によって求めた基底データである。
圧縮装置100は、参照3次元データ111の頂点に入力の3次元データ120の頂点を対応付けた合成対象3次元データ103を作成する対応点決定手段101と、基底3次元データ群112に含まれる複数の基底3次元データを結合して合成対象3次元データ103を合成するための結合係数を計算し、この計算した結合係数を入力3次元データ120の圧縮データ130として出力する係数計算手段102とを備えている。
図2は本実施の形態のデータ圧縮装置の処理の流れを示す。図1に示すデータ圧縮装置の処理動作を図2をも参照して説明する。まず、圧縮装置100の対応点決定手段101は、3次元データ120を入力すると共に記憶装置110から参照3次元データ111を読み出し(ステップS101、S102)、参照3次元データ111の頂点に3次元データ120の頂点を対応付けた合成対象3次元データ103を作成する(ステップS103)。次に、係数計算手段102は、記憶装置110から基底3次元データ群112を読み出し(ステップS104)、基底3次元データ群を結合して合成対象3次元データ103を合成するための結合係数を計算し(ステップS105)、計算した結合係数を3次元データ120の圧縮データ130として出力する(ステップS106)。
以下、本実施の形態にかかるデータ圧縮装置の動作をより詳細に説明する。
まず、データ圧縮を行う対象の3次元データ120を入力する(ステップS101)。対象となる3次元データ120は様々なものが可能であるが、ここでは、人の顔の3次元データを圧縮する例をあげて説明する。3次元データの入力には様々な方法があるが、一例として、3次元計測装置で計測する方法がある。これには、一例として、非特許文献3に記載の計測技術を用いた計測装置を使うこともできる。この技術によって得られた3次元データは、多数の計測ポイント(頂点)について3次元座標とテクスチャ(表面の色)画像の輝度値を持つポリゴンデータとなる。ここでは一例として、入力3次元データ120は10万点の頂点を持ち、3次元座標のxyz値のそれぞれが16ビット浮動小数点、テクスチャ輝度値のrgb値のそれぞれが8ビット整数でそれぞれ表されているとする。この場合、入力3次元データ120のデータ量は100000×(3×2+3×1)バイト、すなわち約900キロバイトになる。
次に、頂点の対応関係を決める基準となる参照3次元データ111を記憶装置110から読み出す(ステップS102)。参照3次元データ111は、或る特定の人物の顔の3次元データでも良いし、基底3次元データ群112で対象とした複数の人物など、複数の人物の顔の3次元データの平均値であっても良い。ここでは一例として、参照3次元データ111は9万点の頂点を持ち、入力3次元データ120と同じく、単位が[mm]の3次元座標が3つの16ビット浮動小数点で表され、テクスチャ輝度値がRGBの3つの8ビット整数の輝度値(0から255)で表されているとする。参照3次元データ111のi番目の頂点の3次元座標を(xri,yri,zri)、テクスチャ輝度値を(rri,gri,bri)とすると、参照3次元データ111は3次元形状とテクスチャ画像それぞれが各頂点の座標値および輝度値を並べた一つのベクトルデータとして以下のように表される。
Sr=[xr1,yr1,zr1,xr2,yr2,zr2,…,xr90000,yr90000,zr90000] …(1)
Tr=[rr1,gr1,br1,rr2,gr2,br2,…,rr90000,gr90000,br90000] …(2)
次に、参照3次元データ111の各頂点に対応する入力3次元データ120の頂点を決定する(ステップS103)。これには様々な方法が適用可能であるが、一例として、最も3次元座標とテクスチャ輝度値の近い頂点を探索する方法を用いることができる。たとえば、入力3次元データ120のj番目の頂点の3次元座標を(xtj,ytj,ztj)、テクスチャ輝度を(rtj,gtj,btj)とし、次式のコスト関数Cを定義する。
C(i,j)={(xri−xtj)2+(yri−ytj)2+(zri−ztj)2}+w{(rri−rtj)2+(gri−gtj)2+(bri−btj)2} …(3)
参照3次元データ111のi番目(i=1,…,90000)の頂点に対応する入力3次元データ120の頂点は、コスト関数C(i,j)を最小化する頂点jを入力データ120の頂点の中から探すことで決定できる。また、Cの値が小さい複数の頂点を集めて平均を取った頂点を対応点として定義するなどして、精度を高めることも可能である。重みwには様々な値を用いることができるが、一例としてw=1.0としてもよい。
対応点決定がなされた入力3次元データである合成対象3次元データ103は、3次元形状データとテクスチャ画像データそれぞれが、各頂点の座標値または輝度値を並べた一つのベクトルデータとして表される。すなわち、参照3次元データ111の頂点iに対応する入力3次元データ120の頂点をj(i)とすると、合成対象3次元データの形状とテクスチャはそれぞれ次のベクトルSt、Ttで表される。
St=[xrj(1),yrj(1),zrj(1),xrj(2),yrj(2),zrj(2),…,xrj(90000),yrj(90000),zrj(90000)] …(4)
Tt=[rrj(1),grj(1),brj(1),rrj(2),grj(2),brj(2),…,rrj(90000),grj(90000),brj(90000)] …(5)
次に、あらかじめ定めた十分な数の物体の3次元データ群である基底3次元データ群112を記憶装置110から読み出す(ステップS104)。基底3次元データ群112は、次の何れのタイプでも良い。a)3次元データタイプ:基底3次元データ群112を構成するすべての基底3次元データが人物の顔の3次元データそのものを使用するタイプ。b)基底データタイプ:基底3次元データ群112を構成するすべての基底3次元データが、集めた多数の人物の顔の3次元データから計算によって求めた基底データであるタイプ。この一例としては、非特許文献3に記載の技術のように、平均3次元データと主成分分析によって得られた基底データとを用いることができる。c)混在タイプ:基底3次元データ群112を構成する一部の基底3次元データが、集めた多数の人物の顔の3次元データから計算によって求めた基底データであり、残りの基底3次元データが人物の顔の3次元データそのものであるタイプ。
何れのタイプにおいても、基底3次元データ群112は、ステップS104における対応点決定処理と同様の処理が既になされている。ここでは、基底3次元データ群112は3次元データタイプを使用するものとする。基底3次元データ群112は、3次元形状とテクスチャがベクトルで表され、参照3次元データ111の頂点jに対応する頂点をj(i)とすると、k番目の基底3次元データの3次元形状SbkとテクスチャTbkはそれぞれ以下のように表される。
Sbk=[xbkj(1),ybkj(1),zbkj(1),xbkj(2),ybkj(2),zbkj(2),…,xbkj(90000),ybkj(90000),zbkj(90000)]
…(6)
Tbk=[rbkj(1),gbkj(1),bbkj(1),rbkj(2),gbkj(2),bbkj(2),…,rbkj(90000),gbkj(90000),bbkj(90000)]
…(7)
基底3次元データの数は多いほど圧縮されたデータから復元される3次元データの精度は向上するが、データ圧縮の計算量や記憶容量が増加する。ここでは、一例として100人の人物の顔の3次元データを事前に集めたものを使用する。
次に、基底3次元データ群112を用いて合成対象3次元データ103を合成するための係数を計算する(ステップS105)。n(一例としてn=100)個の基底3次元データを用いる場合は、次式の線形最小二乗法を用いて合成対象3次元データ103の形状、テクスチャを記述するそれぞれn個の係数{αsk},{αtk}(k=1,…、100)を求める。
次に、計算された係数データ{αsk},{αtk}を入力3次元データ120の圧縮データ130として出力する(ステップS106)。一例として、係数データを16ビット浮動小数点で求める場合、係数データのデータ量は2×100×2=400バイトになる。
『データ復元装置の第1の実施の形態』
次に、図1に示した第1の実施の形態のデータ圧縮装置により生成された圧縮データから元の3次元データを復元するデータ復元装置の構成例について説明する。
図3を参照すると、データ復元装置の第1の実施の形態は、物体の形状を表す3次元データの圧縮データ220を入力して元の3次元データを出力する復元装置200と、それに接続された記憶装置210とで構成される。
記憶装置210には、データ圧縮側の図1の基底3次元データ群112と全く同一の基底3次元データ群211が予め記憶されている。
復元装置200は、データ圧縮側の図1の圧縮データ130に相当する圧縮データ220を入力し、基底3次元データ群211を圧縮データ220で示される結合係数により結合した3次元データを生成して出力する3次元データ復元手段201を備えている。
図4は本実施の形態のデータ復元装置の処理の流れを示す。復元装置200の3次元データ復元手段201は、圧縮データ220を入力すると共に記憶装置210から基底3次元データ群211を読み出し(ステップS201、S202)、基底3次元データ群211を圧縮データ220が示す結合係数に従って結合して3次元データを復元し出力する(ステップS203、S204)。
圧縮データ220を{αsk},{αtk}(k=1,…、100)、基底3次元データ群211の3次元形状とテクスチャを前記(6)、(7)式で表されるSbk、Tbkとすると、復元される3次元データの3次元形状とテクスチャを表すベクトルSt’とTt’は次式で計算される。
次に、図1のデータ圧縮装置および図3のデータ復元装置の効果について説明する。
本実施の形態のデータ圧縮装置では、基底3次元データ群112を用いて3次元データ120を復元するための係数データを当該3次元データ120の圧縮データとして生成するように構成されており、係数データは3次元データに比べてはるかにデータ量が小さいため、高い圧縮率を実現できる。ここで説明に用いた例では、入力3次元データが900キロバイトであるのに対し、係数データはわずか400バイトである。
また、本実施の形態のデータ復元装置では、復元される3次元データ230は基底3次元データ群211の組み合わせで計算され、頂点の数は基底3次元データ群211と同じになるように構成されているため、きわめて高い圧縮率を達成しているにもかかわらず、データ圧縮、復元による頂点数の減少による解像度の低下が少ない。一例としてここで説明した例では、圧縮前の入力3次元データは10万頂点、圧縮対象3次元データは9万頂点であるので、復元される3次元データは9万頂点である。従来の技術で10万頂点を9万頂点に削減した場合、データ量は10%しか減らないが、本発明ではそれよりはるかに高い圧縮率を実現できる。
なお、ここで説明に用いた、入力3次元データの頂点数、基底3次元データの数、参照3次元データの頂点数、形状データや輝度データの数やビット数などの数値はあくまで一例であり、様々に変更可能であることはいうまでもない。この点は、以下の異なる実施の形態の説明においても同様である。
『データ圧縮装置の第2の実施の形態』
図5を参照すると、データ圧縮装置の第2の実施の形態は、圧縮装置300が、対応点決定手段301および係数計算手段302に加えて圧縮判定手段303を備えている点で、図1の第1の実施の形態にかかるデータ圧縮装置と相違する。
圧縮判定手段303は、係数計算手段302で計算された結合係数および基底3次元データ群312から3次元データを復元し、この復元した3次元データと合成対象3次元データ304とを比較し、復元精度が予め定められた精度に満たない場合には、合成対象3次元データ304を基底3次元データ群312に追加した後、係数計算手段302に再計算を行わせ、復元精度が予め定められた精度を満たす場合には、係数計算手段302で計算された結合係数と合成に使用された基底3次元データ群312を特定する基底選択データとを圧縮データ330として出力する。
入力3次元データ320、参照3次元データ311および基底3次元データ群312の各データは、図1の入力3次元データ120、参照3次元データ111および基底3次元データ群112と同じであり、対応点決定手段301および係数計算手段302は図1の対応点決定手段101および係数計算手段102と機能的に同じである。
図6は本実施の形態のデータ圧縮装置の処理の流れを示す。まず、圧縮装置300の対応点決定手段301は、3次元データ320を入力すると共に記憶装置310から参照3次元データ311を読み出し、参照3次元データ311の頂点に入力3次元データ320の頂点を対応付けた合成対象3次元データ304を作成する(ステップS301〜S303)。次に、係数計算手段302は、記憶装置310から基底3次元データ群312を読み出し、基底3次元データ群312を結合して合成対象3次元データ304を合成するための結合係数を計算する(ステップS304、S305)。ここまでは、図1の実施の形態のデータ圧縮装置と同じ動作である。
次に、圧縮判定手段303は、係数計算手段302で計算された結合係数を{αsk},{αtk}(k=1,…、100)、合成に使用された基底3次元データ群を式(6)および式(7)で示されるSbkおよびTbkとすると、前述した式(10)、(11)によって3次元データ(St’とTt’)を復元し、この復元した3次元データと合成対象3次元データ(StとTt)304との誤差を計算する(ステップS306)。誤差の尺度としては様々な基準が考えられるが、その一例として、次式で示されるような、対応する頂点の間の3次元座標の距離と輝度の誤差の重み付き2乗和の値Eを誤差として用いることができる。
E=|St−St’|2+we|Tt−Tt’|2 …(12)
重み係数weには様々な値を用いることができるが、一例として1.0とする。テクスチャの再現精度を良くするように本発明を用いたい場合は、より大きい値を用いれば良い。
次に、圧縮判定手段303は、誤差Eの値が予め定められた閾値より小さいかどうかを判定する。誤差が大きすぎる場合には(ステップS307でNO)、合成対象3次元データ(StとTt)304を基底3次元データ群312に追加し(ステップS308)、追加後の基底3次元データ群312に基づいて係数計算手段302に結合係数の再計算を行わせる(ステップS304)。他方、誤差Eが予め定められた閾値より大きくない場合(ステップS307でYES)、係数計算手段302で計算された結合係数と合成に使用された基底3次元データ群312を特定するための基底選択データとを圧縮データ330として出力する(ステップS309)。
ステップS308における基底3次元データ群312への新たな3次元データの追加は、具体的には以下のような方法で行われる。
a)方法1
基底3次元データ群312を構成するすべての基底3次元データが人物の顔の3次元データそのものを使用する3次元データタイプの場合、新たな3次元データを基底3次元データ群312の最後のデータとして追加する。例えば、基底3次元データ群312に1番から100番まで番号付けされた100個の3次元データがある場合、新たな3次元データを101番目のデータとして追加する。そして、元の100個の3次元データで十分な精度で復元できた場合には、圧縮データ330には1番から100番までの基底3次元データを選択するデータを含め、1個追加した101個の3次元データで十分な精度で復元できた場合には、圧縮データ330には1番から101番までの基底3次元データを選択するデータを含める。
b)方法2
基底3次元データ群312を構成するすべての基底3次元データが多数の人物の顔の3次元データから計算によって求め、当該基底データを使用する基底データタイプの場合で、以後も同タイプを維持する場合には、元の基底3次元データ群を計算したときの3次元データ群に新たな3次元データを加えて、主成分分析などの計算をやり直し、新たな基底3次元データ群を生成する。この場合、基底3次元データ群が1つ増えるので、圧縮データ330中にどの基底3次元データ群を使用したかを示すデータを基底選択データとして含ませる。なお、基底3次元データ群を再計算する場合、基底3次元データの数は以前に比べて増やしても良いし、増やさなくても良い。
c)方法3
基底3次元データ群312を構成するすべての基底3次元データが多数の人物の顔の3次元データから計算によって求めた基底データであり、当該基底データを使用する基底データタイプの場合で、以後、混在タイプに変更する場合、あるいは、既に混在タイプである場合、方法1と同様に、新たな3次元データそのものを新たな基底3次元データとして追加する。この場合、基底3次元データが1つ増えるので、圧縮データ330中にどの基底3次元データ群を使用したかを示すデータを基底選択データとして含ませる。
方法1〜3にはそれぞれ一長一短がある。方法1および方法3は、主成分分析を行う計算時間がかからないという利点と、基底に追加した1個の3次元データのみを記憶し、また後述するデータ伝送システムでは復元側に伝送するだけで済む利点がある。なお、本実施の形態では、入力3次元データ320から導出した合成対象3次元データ304を新たな基底3次元データとして追加しているが、記憶装置310に既に記憶されている1以上の3次元データを追加するようにしても良く、その場合には既に記憶されているので新たな記憶は必要なく、また後述するデータ伝送システムにおける復元側にも既に同じ3次元データが記憶されているならば伝送する必要もない。しかし、方法1および方法3は、式(10)、(11)による復元計算が方法2より遅くなる欠点がある。
方法2は、式(8)、(9)の計算が高速に行える利点があるが、当然、主成分分析の計算に時間がかかる。また、基底をすべて計算し直すと、すべての基底(Sb1〜Sb100)が変化してしまう。式(10)、(11)による復号を行う場合、係数データを計算した時と同じ基底3次元データが必要であるため、これら100個をすべて追加して記憶しなければならず、また、後述するデータ伝送システムでは復元側に伝送しなければならない。このため、基底データを記憶する容量が膨大になるという欠点がある。
次に、本実施の形態のデータ圧縮装置の効果について説明する。
本実施の形態のデータ圧縮装置では、多様な入力3次元データを十分な精度で記述できる基底3次元データを予め用意しておくことが難しい場合にも、システムを運用しながら必要に応じて基底3次元データを追加するように構成されており、予め用意した基底3次元データが不十分なものであっても、精度を低下させずにデータ圧縮を行うことが可能となる。
『データ圧縮装置の第3の実施の形態』
図7を参照すると、データ圧縮装置の第3の実施の形態は、圧縮装置400が、対応点決定手段401および係数計算手段402に加えて基底データ選択手段403を備えている点で、図1の第1の実施の形態にかかるデータ圧縮装置と相違する。
基底データ選択手段403は、対応点決定手段401が生成した合成対象3次元データ404の合成に適した複数の基底3次元データを基底3次元データ群412から選択し、係数計算手段402に伝達する。係数計算手段402は、基底データ選択手段403により選択された複数の基底3次元データを結合して合成対象3次元データ404を合成するための結合係数を計算し、この計算した結合係数と合成に使用した複数の基底3次元データを特定する基底選択データとを圧縮データ430として出力する。
入力3次元データ420、参照3次元データ411および基底3次元データ群412の各データは、図1の入力3次元データ120、参照3次元データ111および基底3次元データ群112と同じであり、対応点決定手段401および係数計算手段402は図1の対応点決定手段101および係数計算手段102と機能的にほぼ同じである。
図8は本実施の形態のデータ圧縮装置の処理の流れを示す。まず、図7に示された圧縮装置400の対応点決定手段401は、3次元データ420を入力すると共に記憶装置410から参照3次元データ411を読み出し、参照3次元データ411の頂点に3次元データ420の頂点を対応付けた合成対象3次元データ404を作成する(ステップS401〜S403)。ここまでは、図1の実施の形態のデータ圧縮装置と同じ動作である。
次に、基底データ選択手段403は、記憶装置410から基底3次元データ群412を読み出し、その中から合成対象3次元データ404の合成に適した複数の基底3次元データを選択する(ステップS404)。具体的には、基底3次元データ群412に含まれる各基底3次元データ(Sbk、Tbk)と合成対象3次元データ(St、Tt)の相関値(類似度)Rkを、適当な重みwRを用いて、次式により計算する。
Rk=(Sbk・St)/(|Sbk||St|)+wR{(Tbk・Tt)/(|Tbk||Tt|)} …(13)
ただし、「・」はベクトルの内積を表す。
そして基底データ選択手段403は、相関値Rkが大きい基底3次元データを選択する。選択方法の一例としては、相関値Rkの大きい順に予め定められた数の基底3次元データを選択する方法や、相関値Rkが予め定められた閾値より大きい基底3次元データを全て選択する方法など、様々な方法を用いることができる。ここでは一例として、相関値Rkの値の大きい順に、上位50個の基底3次元データを基底3次元データ群412から選択するものとする。選択された50個の基底3次元データを、それに付与された番号の小さい順に、1,2,…,50番目の基底3次元データとし、3次元形状とテクスチャをそれぞれベクトル{Sbk,Tbk}で表す。さらに、基底3次元データ群412の中からどのデータを選択したかを表す基底選択データを生成する。一例として、基底3次元データ群412として100個の基底3次元データがある場合には、100ビットのデータでどの基底3次元データを選択したかを表すことができる。
ここで用いた相関値(類似度)と基底3次元データの選択方法はあくまで一例であり、このほかにも様々な方法が利用可能である。他の方法の一例としては、形状とテクスチャについて独立に相関値を計算し、それぞれについて相関値の高い50個のデータを基底3次元データとして選択する方法もある。この場合、形状とテクスチャで異なる基底3次元データが選択される場合があるので、基底3次元データ群412の中からどの基底3次元データを選択したかを表す基底選択データは、形状とテクスチャとで2組になり、合計200ビットのデータになる。
次に、係数計算手段402は、基底データ選択手段403で選択された基底3次元データ群を用いて合成対象3次元データ404を合成するための結合係数{αs1,…,αs50,αt1,…,αt50}を、式(8)、(9)によって計算する(ステップS405)。
次に、係数計算手段402は、計算した係数データと合成に使用した基底3次元データ群を特定するリストである基底選択データとを圧縮データ430として出力する(ステップS406)。
次に、本実施の形態のデータ圧縮装置の効果を説明する。
本実施の形態のデータ圧縮装置では、入力された3次元データ420に対して、最適な基底3次元データを選択してデータ圧縮を行うように構成されているので、使用する基底3次元データ数を少なくすることができる。特に、ここで説明に用いた例では、基底データ選択手段403によって基底3次元データ数が50個に削減されているので、100個の基底3次元データを用いる場合に比べ係数のデータ量が1/2に削減される。また、係数計算の計算量もその分だけ減少し、高速な処理が可能となる。ここで説明に用いた例では、式(8)、(9)によって計算する結合係数の数が1/2に削減されるため、計算時間が約半分に短縮される。さらに、同じ数の基底3次元データを使用する場合も、復元される3次元データの精度を高くすることができる。すなわち、予め50個だけの基底3次元データを用意して常にその50個を使う場合に比べ、100個のデータを用意して本実施形態のように選択的に50個を用いることにより、式(10)、(11)によって復元される3次元データと入力3次元データ420の誤差を小さくすることができる。
『データ復元装置の第2の実施の形態』
次に、図5に示した第2の実施の形態のデータ圧縮装置および図7に示した第3の実施の形態のデータ圧縮装置により生成された圧縮データから元の3次元データを復元するデータ復元装置の構成例について説明する。
図9を参照すると、データ復元装置の第2の実施の形態は、物体の形状を表す3次元データの圧縮データ520を入力して元の3次元データ530を出力する復元装置500と、それに接続された記憶装置510とで構成される。
記憶装置510には、データ圧縮側の図5の基底3次元データ群312或いは図7の基底3次元データ群412と全く同一の基底3次元データ群511が予め記憶されている。
復元装置500は、データ圧縮側の図5の圧縮データ330或いは図7の圧縮データ430に相当する圧縮データ520を入力し、この圧縮データ520に含まれる基底選択データに基づいて記憶装置510から圧縮側で合成に使用された基底3次元データ群を読み出す基底データ読出手段501と、この読み出された基底3次元データ群を圧縮データ520に含まれる結合係数により結合した3次元データ530を出力する3次元データ復元手段502とを備えている。
図10は本実施の形態のデータ復元装置の処理の流れを示す。図9に示された復元装置500の基底データ読出手段501は、圧縮データ520を受けると(ステップS501)、圧縮データ520に含まれる基底選択データに基づいて記憶装置510の基底3次元データ群511の中から圧縮側で合成に使用された基底3次元データ群を読み出す(ステップS502)。
次に、3次元データ復元手段502は、基底データ読出手段501により読み出された基底3次元データ群を、前記の式(10)、(11)によって、圧縮データ520に含まれる結合係数に従って結合して3次元データを復元し、出力する(ステップS503、S504)。
『データ圧縮装置の第4の実施の形態』
図11を参照すると、データ圧縮装置の第4の実施の形態は、圧縮装置600が、対応点決定手段601および係数計算手段603に加えて領域分割手段602を備え、記憶装置610が参照3次元データ611および基底3次元データ群613に加えて部分領域決定データ612を備えている点で、図1の第1の実施の形態にかかるデータ圧縮装置と相違する。
部分領域決定データ612は、入力3次元データ620から対応点決定手段601で作成された合成対象3次元データ604および合成に使用する基底3次元データ群613をどのような部分領域に分割するかを定義している。具体的には、前記式(4)および式(5)で示される合成対象3次元データならびに前記式(6)および式(7)で示される規定3次元データの各頂点がどの部分領域に属するかを記述したテーブルで構成される。幾つの部分領域に分割するか、各部分領域をどの程度の大きさとするかは任意である。
領域分割手段602は、部分領域決定データ612を参照して、合成対象3次元データ604および基底3次元データ群613中の個々の基底3次元データを同じ部分領域に分割し、合成対象3次元データ604の各部分領域を係数計算手段603へ出力し、基底3次元データ群613の各分割領域は記憶装置610に記憶する。なお、基底3次元データ群613が部分領域決定データ612に基づいて既に部分領域に分割されている場合には、その分割処理は省略してよい。
係数計算手段603は、同じ部分領域に分割された基底3次元データ群613を結合して合成対象3次元データ604を合成するための結合係数を部分領域ごとに計算し、この計算した部分領域ごとの結合係数を3次元データ620の圧縮データ630として出力する。このとき、圧縮データ630に、部分領域決定データ612を含めるようにしてもよい。
図12は本実施の形態のデータ圧縮装置の処理の流れを示す。まず、図11に示された圧縮装置600の対応点決定手段601は、3次元データ620を入力すると共に、記憶装置610から参照3次元データ611を読み出し、参照3次元データ611の頂点に3次元データ620の頂点を対応付けた合成対象3次元データ604を作成する(ステップS601〜S603)。ここまでは、図1の実施の形態のデータ圧縮装置と同じ動作である。
次に、領域分割手段602は、記憶装置610から部分領域決定データ612および基底3次元データ群613を読み出し(ステップS604)、その部分領域決定データ612に従って、合成対象3次元データ604および基底3次元データ群613を複数の部分領域に分割する(ステップS605)。合成対象3次元データ604のp(p=1、…、m.mは部分領域の総数)とすると、p番目の部分領域は、前記式(4)および式(5)からp番目の部分領域に属する頂点のデータを取り出して配列したベクトルStp、Ttpで定義され、k番目の基底3次元データのp番目の部分領域は、前記式(6)および式(7)からp番目の部分領域に属する頂点のデータを取り出して配列したベクトルSbkp、Tbkpで定義される。
次に、係数計算手段603は、各部分領域ごとに、基底3次元データ群613の部分領域を用いて合成対象3次元データ604の部分領域を合成するための結合係数{αskp}、{αtkp}を前記式(8)、式(9)と同様の式によって計算する(ステップS606)。
次に、係数計算手段603は、各部分領域ごとの結合係数と部分領域決定データ612とを圧縮データ630として出力する(ステップS607)。
次に本実施の形態のデータ圧縮装置の効果を説明する。
本実施の形態のデータ圧縮装置では、入力3次元データ620から導出した合成対象3次元データ604と基底3次元データ群613とを同じ複数の部分領域に分割し、分割領域毎に、基底3次元データ群を結合して合成対象3次元データを合成するための結合係数を求めているため、領域分割しない場合に比べて復元精度の良い圧縮データを得ることができる。その理由は、各部分領域ごとに前記式(8)、式(9)によって最適な結合係数が計算されるからである。
『データ圧縮装置の第5の実施の形態』
図13を参照すると、データ圧縮装置の第5の実施の形態は、圧縮装置700が、対応点決定手段701、領域分割手段702および係数計算手段703に加えて圧縮判定手段704を備えている点で、図11の第4の実施の形態にかかるデータ圧縮装置と相違する。
圧縮判定手段704は、係数計算手段703で計算された各部分領域ごとの結合係数および基底3次元データ群713の各部分領域から3次元データを復元し、この復元した3次元データと合成対象3次元データ705とを比較し、復元精度が予め定められた精度に満たない場合には、合成対象3次元データ705をさらに細かい部分領域に分割して部分領域ごとに結合係数を求める制御を行う。
入力3次元データ720、参照3次元データ711および基底3次元データ群713の各データは、図11の入力3次元データ620、参照3次元データ611および基底3次元データ群613と同じであり、対応点決定手段701、領域分割手段702および係数計算手段703は図11の対応点決定手段601、領域分割手段602および係数計算手段603と機能的に同じである。
部分領域決定データ712は、入力3次元データ720から対応点決定手段701で作成された合成対象3次元データ705および合成に使用する基底3次元データ群713をどのような部分領域に分割するかを記述した分割定義を複数含んでいる。具体的には、各分割定義は、前記式(4)および式(5)で示される合成対象3次元データならびに前記式(6)および式(7)で示される規定3次元データの各頂点がどの部分領域に属するかを記述したテーブルを有する。各々の分割定義において、幾つの部分領域に分割するか、各部分領域をどの程度の大きさとするかは任意である。分割数が1の分割定義は、実質的に分割を行わないことを示す。
図14は本実施の形態のデータ圧縮装置の処理の流れを示す。まず、圧縮装置700の対応点決定手段701は、3次元データ720を入力すると共に記憶装置710から参照3次元データ711を読み出し、参照3次元データ711の頂点に入力3次元データ720の頂点を対応付けた合成対象3次元データ705を作成する(ステップS701〜S703)。
次に、領域分割手段702は、記憶装置710から1番最初に使用する部分領域決定データ712および基底3次元データ群713を読み出し(ステップS704)、その部分領域決定データ712に従って、合成対象3次元データ705および基底3次元データ群713を複数の部分領域に分割する(ステップS705)。合成対象3次元データ705のp(p=1、…、m.mは部分領域の総数)番目の部分領域は、前記式(4)および式(5)からp番目の部分領域に属する頂点のデータを取り出して配列したベクトルStp、Ttpで定義され、k番目の基底3次元データのp番目の部分領域は、前記式(6)および式(7)からp番目の部分領域に属する頂点のデータを取り出して配列したベクトルSbkp、Tbkpで定義される。
次に、係数計算手段703は、各部分領域ごとに、基底3次元データ群713の部分領域を用いて合成対象3次元データ705の部分領域を合成するための結合係数{αskp}、{αtkp}を前記式(8)、式(9)と同様の式によって計算する(ステップS706)。
次に、圧縮判定手段704は、係数計算手段703で計算された各部分領域ごとに計算された結合係数{αskp}、{αtkp}と、合成に使用された基底3次元データ群の部分領域のベクトルSbkp、Tbkpとを用いて、前述した式(10)、(11)と同様の式によって3次元データの各部分領域を復元し、この復元した各部分領域の3次元データ(Stp’とTtp’)と合成対象3次元データの各部分領域の3次元データ(StpとTtp)との誤差を計算する(ステップS707)。誤差の尺度としては様々な基準が考えられるが、その一例として、次式で示されるような、対応する頂点の間の3次元座標の距離と輝度の誤差の重み付き2乗和の値Eを誤差として用いることができる。
E=(|Stp−Stp’|2+we|Ttp−Ttp’|2)/M …(12’)
ここで、Mは分割領域に含まれる頂点の数である。部分領域の数が2以上の場合、各部分領域ごとに式(12’)で計算された値の合計値を最終的な誤差とする。
重み係数weには様々な値を用いることができるが、一例として1.0とする。テクスチャの再現精度を良くするように本発明を用いたい場合は、より大きい値を用いれば良い。
次に圧縮判定手段704は、誤差Eの値が予め定められた閾値より小さいかどうかを判定する。誤差が大きすぎる場合には(ステップS708でNO)、領域分割手段705に制御を戻す。領域分割手段705は、部分領域をさらに細かく分割する部分領域決定データ712を記憶装置710から読み出し(ステップS709)、ステップS705以降の処理を繰り返す。これにより、より細かな部分領域ごとの結合係数が求められるので、前回と同様に所望の復元精度が得られているかどうかの判定を行う。より細かな部分領域への分割と結合係数の再計算は、満足する誤差が得られるか、それ以上細分割する部分領域決定データがなくなるまで続けられる。
他方、ステップS708において、誤差Eが予め定められた閾値より大きくない場合、圧縮判定手段704は、係数計算手段302で計算された各部分領域ごとの結合係数と部分領域決定データ712とを圧縮データ730として出力する(ステップS710)。
領域分割手段702による部分領域への分割方法としては、前述したように多段階の細かい部分領域分割法を部分領域決定データ712で予め定めておく方法がある。その一例として人の顔の場合を説明する。まず、第1の部分領域分割法としては、全体を一つの部分領域とする(すなわち分割しない)。第2の部分領域分割法としては、図15に示すように顔の上部と下部の2つの領域に分割する。第3の部分領域分割法としては、図16に示すように4領域に分割する。さらに第4の部分領域分割法としては図17に示すように8領域に分割する。このように予め多段階の部分領域分割法を部分領域決定データ712で定義しておき、まず、第1の部分領域分割法を用いて分割した部分領域についてその結合係数を算出して誤差Eを計算する。この値が予め定めた閾値より大きい場合には、第2の部分領域分割法を適用して分割した部分領域についてその結合係数を算出して誤差Eを計算する。それでも誤差Eの値が予め定めた閾値より大きい場合には、第3の部分領域、第4の部分領域、というように領域を細かく分割して、Eの値が閾値以下になるか、あらかじめ用意した最大の分割領域数になるまで処理を繰り返す。
さらに別の分割方法として、部分領域毎に計算されるEの値の大きい領域を細かく分割していき、あらかじめ定めた閾値よりEの値が小さくなったら分割をやめるという方法も採用できる。その一例としては、まず、領域分割を行わない状態を初期状態として、圧縮と復元を行い、誤差Eを計算する。次に、Eの値が閾値を超えている場合は、頂点のx座標に基づいて、平均値より大きい領域と小さい領域に分割する。ここでx座標値に基づいて分割するのはあくまで一例であり、様々な方法が利用可能である。分割された2つの領域について、再度、圧縮、復元、誤差Eの計算を部分領域毎に行う。それぞれの領域についてEを計算し、もし何れかの部分領域で誤差Eの値が閾値を超えていたら、その領域をさらに分割する。一例として、y座標がその領域の全頂点のy座標の平均値より大きいかどうかでさらに2つに分割し、全体で3つの部分領域とする。誤差Eの値が閾値を超えていなかった領域はこれで処理終了とし、新たに分割された2領域について、再度、圧縮、復元、誤差Eの計算を行い、閾値を超える場合にはさらにx座標あるいはz座標の値で分割を行う。全ての部分領域で誤差Eの値が閾値を下回るか、あらかじめ決めた分割回数に達するまで、処理を繰り返し行う。このような方法で、復元誤差Eが大きい領域を細かく分割していくことで、より誤差の少ない圧縮を効率的に行うことができる。
次に、本実施の形態のデータ圧縮装置の効果について説明する。
本実施の形態のデータ圧縮装置では、復元精度が予め定められた精度に満たない場合には、合成対象3次元データをさらに細かい部分領域に分割して結合係数を求める計算を繰り返すため、復元精度を或る値以下に保証することができる。
『データ復元装置の第3の実施の形態』
次に、図11に示した第4の実施の形態のデータ圧縮装置および図13に示した第5の実施の形態のデータ圧縮装置により生成された圧縮データから元の3次元データを復元するデータ復元装置の構成例について説明する。
図18を参照すると、データ復元装置の第3の実施の形態は、物体の形状を表す3次元データの圧縮データ820を入力して元の3次元データ830を出力する復元装置800と、それに接続された記憶装置810とで構成される。
記憶装置810には、データ圧縮側の図11の基底3次元データ群612或いは図13の基底3次元データ群713と全く同一の基底3次元データ群811が予め記憶されている。
復元装置800は、データ圧縮側の図11の圧縮データ630或いは図13の圧縮データ730に相当する圧縮データ820を入力し、この圧縮データ820に含まれる部分領域決定データに基づいて、圧縮側の合成に使用された基底3次元データ群の部分領域を基底3次元データ群811から抽出する基底データ読出手段801と、この抽出された基底3次元データ群の部分領域を圧縮データ820に含まれる部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データ830を復元する3次元データ復元手段802とを備えている。
図19は本実施の形態のデータ復元装置の処理の流れを示す。復元装置800の基底データ読出手段801は、圧縮データ820を入力すると(ステップS801)、圧縮データ820に含まれる部分領域決定データに従って、基底3次元データ群811の各基底3次元データを複数の部分領域に分割し、圧縮データ820に含まれる各部分領域ごとの結合係数と共に3次元データ復元手段802へ出力する(ステップS802)。なお、部分決定データに従って分割された基底3次元データ群が既に記憶装置810に記憶されている場合には、それらを記憶装置810から読み出すだけでよい。
次に、3次元データ復元手段802は、基底データ読出手段801により抽出された基底3次元データ群を各部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データを復元し、出力する(ステップS803、S804)。なお、結合した部分領域どうしの境界部分に対して、平滑化処理を行うようにしてもよい。
『圧縮復元システムの実施の形態』
図20を参照すると、本発明にかかる圧縮復元システムの一例は、圧縮復元装置900とそれに接続された記憶装置910および920とで構成される。
圧縮復元装置900は、圧縮装置901および復元装置902を備えている。記憶装置910は、参照3次元データ911および基底3次元データ群912を記憶し、記憶装置920は圧縮データ921を記憶する。
圧縮装置901は、物体の形状を表す3次元データ930を入力し、記憶装置910に記憶された参照3次元データ911および基底3次元データ群912を使用して、3次元データ930の圧縮処理を行い、その結果の圧縮データ921を記憶装置920に記憶する。
復元装置902は、記憶装置920から圧縮データ921を読み出し、記憶装置910に記憶された基底3次元データ群912を使用して、圧縮データ921の復元処理を行い、その結果の3次元データ940を出力する。
圧縮装置901は、図1に示した圧縮装置100を使用することができる。この場合、入力3次元データ930は入力3次元データ120に、参照3次元データ911は参照3次元データ111に、基底3次元データ群912は基底3次元データ群112に、圧縮データ921は圧縮データ130にそれぞれ対応する。またこのとき、復元装置902は図3に示した復元装置200を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図2のステップS106における出力先が記憶装置920になること、図4のステップS201における入力元が記憶装置920になることが相違するだけで、その他の動作は同じである。
また圧縮装置901は、図5に示した圧縮装置300を使用することもできる。この場合、入力3次元データ930は入力3次元データ320に、参照3次元データ911は参照3次元データ311に、基底3次元データ群912は基底3次元データ群312に、圧縮データ921は圧縮データ330にそれぞれ対応する。またこのとき、復元装置902は図9に示した復元装置500を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図6のステップS309における出力先が記憶装置920になること、図10のステップS501における入力元が記憶装置920になることが相違するだけで、その他の動作は同じである。
また圧縮装置901は、図7に示した圧縮装置400を使用することもできる。この場合、入力3次元データ930は入力3次元データ420に、参照3次元データ911は参照3次元データ411に、基底3次元データ群912は基底3次元データ群412に、圧縮データ921は圧縮データ430にそれぞれ対応する。またこのとき、復元装置902は図9に示した復元装置500を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図8のステップS406における出力先が記憶装置920になること、図10のステップS501における入力元が記憶装置920になることが相違するだけで、その他の動作は同じである。
また圧縮装置901は、図11に示した圧縮装置600を使用することもできる。この場合、入力3次元データ930は入力3次元データ620に、参照3次元データ911は参照3次元データ611に、基底3次元データ群912は基底3次元データ群613に、圧縮データ921は圧縮データ630にそれぞれ対応し、部分領域決定データ612と同じデータが記憶装置910に記憶される。またこのとき、復元装置902は図18に示した復元装置800を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図12のステップS607における出力先が記憶装置920になること、図9のステップS801における入力元が記憶装置920になることが相違するだけで、その他の動作は同じである。
また圧縮装置901は、図13に示した圧縮装置700を使用することもできる。この場合、入力3次元データ930は入力3次元データ720に、参照3次元データ911は参照3次元データ711に、基底3次元データ群912は基底3次元データ群713に、圧縮データ921は圧縮データ730にそれぞれ対応し、部分領域決定データ712と同じデータが記憶装置910に記憶される。またこのとき、復元装置902は図18に示した復元装置800を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図14のステップS710における出力先が記憶装置920になること、図9のステップS801における入力元が記憶装置920になることが相違するだけで、その他の動作は同じである。
圧縮データ921を記憶する記憶装置920は、任意の記憶装置で実現することが可能であるが、一例として、圧縮復元装置900に対して着脱自在な可搬型の読み書き可能な記憶装置で実現することができる。
次に本実施の形態の圧縮復元システムの効果を説明する。
本実施の形態では、入力3次元データ930の代わりに、基底3次元データ群912を用いて3次元データを復元するための結合係数を含む圧縮データ921を記憶するように構成されており、圧縮データ921は3次元データ930に比べてはるかにデータ量が小さいため、3次元データの記憶に必要な容量を大幅に削減することができる。
また本実施の形態では、記憶した3次元データが必要になった場合、圧縮データ921から元の3次元データを高い精度で復元することができる。
さらに記憶装置920として、可搬型の記憶装置を使用すれば、圧縮データ921を自由に持ち運ぶことができ、その記憶装置920を同様の構成を持つ別の圧縮復元システムに装着して元の3次元データを別の場所で復元するといった利用形態も実現することができる。このとき、高い圧縮率が実現されているので、少ない記憶容量の小型の記憶装置920でも数多くの3次元データの記憶が可能である。また、記憶装置920には結合係数は記憶されているが、基底3次元データ群は記憶されていないので、記憶装置920が盗難にあったとしても元の3次元データを復元することができない。これにより、データの秘匿性が確保できる。
『データ伝送システムの実施の形態』
図21を参照すると、本発明にかかるデータ伝送システムの一例は、データ送信装置1000とデータ受信装置1100とが通信路1300を通じて接続されている。データ送信装置1000は、物体の形状を表す3次元データ1010を入力し、それを圧縮した圧縮データを含む伝送データ1200を通信路1300を通じてデータ受信装置1100へ送信する機能を有し、データ受信装置1100は、伝送データ1200を受信し、それに含まれる圧縮データから3次元データ1110を復元して出力する機能を有する。
データ伝送装置1000は、圧縮装置1020と記憶装置1030と伝送装置1040とを備える。記憶装置1030には、参照3次元データ1031と基底3次元データ群1032とが記憶される。圧縮装置1020は、3次元データ1010を入力し、記憶装置1030に記憶された参照3次元データ1031および基底3次元データ群1032を使用して、3次元データ1010の圧縮処理を行い、その結果の圧縮データをデータ伝送手段1041に出力する。伝送装置1040は、圧縮装置1020から出力されるデータを指定された通信相手へ送信するデータ伝送手段1041を有する。
データ受信装置1100は、復元装置1120と記憶装置1130と伝送装置1140とを備える。記憶装置1130には、基底3次元データ群1131が記憶される。伝送装置1140は、通信路1300から伝送データ1200を受信し、復元装置1120に入力するデータ伝送手段1141を有する。復元装置1120は、データ伝送手段1141から入力した伝送データ1200に含まれる圧縮データの復元処理を記憶装置1130に記憶された基底3次元データ群1131を使用して行い、その結果の3次元データ1110を出力する。
データ送信装置1000の圧縮装置1020は、図1に示した圧縮装置100を使用することができる。この場合、入力3次元データ1010は入力3次元データ120に、参照3次元データ1031は参照3次元データ111に、基底3次元データ群1032は基底3次元データ群112に、データ伝送手段1041に出力される圧縮データは圧縮データ130にそれぞれ対応する。またこのとき、データ受信装置1100の復元装置1120は図3に示した復元装置200を使用することができる。このときの本実施の形態のデータ伝送システムの動作は、図2のステップS106における出力先がデータ伝送手段1041になること、データ伝送手段1041からデータ伝送手段1141へ伝送データ1200を送信する処理が介在すること、図4のステップS201における入力元がデータ伝送手段1141になることが相違するだけで、その他の動作は同じである。
またデータ送信装置1000の圧縮装置1020は、図5に示した圧縮装置300を使用することもできる。この場合、入力3次元データ1010は入力3次元データ320に、参照3次元データ1031は参照3次元データ311に、基底3次元データ群1032は基底3次元データ群312に、データ伝送手段1041に出力される圧縮データは圧縮データ330にそれぞれ対応する。またこのとき、データ受信装置1100の復元装置1120は図9に示した復元装置500を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図6のステップS309における出力先がデータ伝送手段1041になること、データ伝送手段1041からデータ伝送手段1141へ伝送データ1200を送信する処理が介在すること、図10のステップS501における入力元がデータ伝送手段1141になること、圧縮装置1020内の圧縮判定手段303が基底3次元データ群1032に新たな基底3次元データを追加した際に、その追加した基底3次元データをデータ伝送手段1041により通信路1300を通じてデータ伝送手段1141に送り、データ伝送手段1141が基底3次元データ群1131に追加することにより、データ送信装置1000とデータ受信装置1100との間で基底3次元データ群1032および1131の一致処理を行うことが相違するだけで、その他の動作は同じである。
またデータ送信装置1000の圧縮装置1020は、図7に示した圧縮装置400を使用することもできる。この場合、入力3次元データ1010は入力3次元データ420に、参照3次元データ1031は参照3次元データ411に、基底3次元データ群1032は基底3次元データ群412に、データ伝送手段1041に出力される圧縮データは圧縮データ430にそれぞれ対応する。またこのとき、データ受信装置1100の復元装置1120は図9に示した復元装置500を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図8のステップS406における出力先がデータ伝送手段1041になること、データ伝送手段1041からデータ伝送手段1141へ伝送データ1200を送信する処理が介在すること、図10のステップS501における入力元がデータ伝送手段1141になることが相違するだけで、その他の動作は同じである。
またデータ送信装置1000の圧縮装置1020は、図11に示した圧縮装置600を使用することもできる。この場合、入力3次元データ1010は入力3次元データ620に、参照3次元データ1031は参照3次元データ611に、基底3次元データ群1032は基底3次元データ群613に、データ伝送手段1041に出力される圧縮データは圧縮データ630にそれぞれ対応し、部分領域決定データ612と同じデータが記憶装置1030に記憶される。またこのとき、データ受信装置1100の復元装置1120は図18に示した復元装置800を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図12のステップS607における出力先がデータ伝送手段1041になること、データ伝送手段1041からデータ伝送手段1141へ伝送データ1200を送信する処理が介在すること、図19のステップS801における入力元がデータ伝送手段1141になることが相違するだけで、その他の動作は同じである。
またデータ送信装置1000の圧縮装置1020は、図13に示した圧縮装置700を使用することもできる。この場合、入力3次元データ1010は入力3次元データ720に、参照3次元データ1031は参照3次元データ711に、基底3次元データ群1032は基底3次元データ群713に、データ伝送手段1041に出力される圧縮データは圧縮データ730にそれぞれ対応し、部分領域決定データ712と同じデータが記憶装置1030に記憶される。またこのとき、データ受信装置1100の復元装置1120は図18に示した復元装置800を使用することができる。このときの本実施の形態の圧縮復元システムの動作は、図14のステップS710における出力先がデータ伝送手段1041になること、データ伝送手段1041からデータ伝送手段1141へ伝送データ1200を送信する処理が介在すること、図19のステップS801における入力元がデータ伝送手段1141になることが相違するだけで、その他の動作は同じである。
次に本実施の形態の圧縮復元システムの効果を説明する。
本実施の形態では、入力3次元データ1010の代わりに遥かにデータ量が小さい結合係数を含む圧縮データを伝送するため、通信路1300を含む伝送系の負荷を大幅に削減できる。
また、大量の3次元データを伝送する場合、受信側に必要な基底3次元データ群のみを送信し、大量の3次元データについては結合係数を含む圧縮データを伝送することによって、全体のデータ伝送容量を削減することができる。一例として、1万個の3次元データを伝送する場合において、そのうち100個の3次元データを基底3次元データ群として用いる場合を説明する。3次元データの頂点数が9万点で一つのデータ容量が800KB、結合係数を含む1つの圧縮データの容量が1KBになる場合は、全てをそのまま伝送した場合は8GBのデータ転送が必要となる。これに対して、本実施の形態によれば、まず、適当に選んだ100個のデータは、そのまま伝送して受信側の記憶装置1130に記憶し、残りの9900個の3次元データについて、圧縮を行って転送する。すると、転送データ量は(800×100+1×9900)KB=約90MBとなり、全体のデータ圧縮率はおよそ90分の1になる。
さらに、本実施の形態では、結合に使用した基底3次元データ群を伝送しないか、伝送するにしても圧縮データとは別に伝送することにより、結合係数を含む圧縮データが伝送途中で盗聴されても元の3次元データを復元することができない。よって、データ通信の秘匿性が確保できる。
以上本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。例えば、形状データとテクスチャとを含む3次元データを対象としたが、テクスチャが含まれず形状データだけから構成される3次元データの圧縮、復元に対しても適用可能である。また、圧縮判定手段303と基底データ選択手段403とを共に備えたデータ圧縮装置、領域分割手段602と基底データ選択手段403とを共に備えたデータ圧縮装置など、前述した実施の形態を組み合わせた実施の形態も考えられる。さらに、本発明のデータ圧縮装置、データ復元装置、圧縮復元システム、データ送信装置、データ受信装置、データ伝送システムは、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における圧縮装置100、復元装置200、圧縮装置300、圧縮装置400、復元装置500、圧縮装置600、圧縮装置700、復元装置800、圧縮復元装置900、データ送信装置1000、データ受信装置1100およびデータ伝送システムとして機能させる。
また、本発明の原理は、入力3次元データと、複数の物体に関する基底3次元データとの結合係数を計算し、この結合係数を送受することにより、高い圧縮率を実現することにある。このため、入力3次元データの比較すべき頂点が予め定まっている場合には、対応点決定手段及び参照3次元データを不要にすることも可能である。
Claims (57)
- 3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成する対応点決定手段と、
3次元データの合成に使用する基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を計算し、該計算した結合係数を前記入力した3次元データの圧縮データとして出力する係数計算手段とを備えることを特徴とするデータ圧縮装置。 - 前記係数計算手段で計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、新たな基底3次元データを3次元データの合成に使用する基底3次元データ群に追加する圧縮判定手段を備えることを特徴とする請求項1記載のデータ圧縮装置。
- 前記合成対象3次元データの合成に適した複数の基底3次元データを、3次元データの合成に使用する基底3次元データ群から選択する基底データ選択手段を備えることを特徴とする請求項1または2記載のデータ圧縮装置。
- 前記圧縮データに、前記結合係数に加えて、結合に使用した基底3次元データを特定する選択情報を含ませることを特徴とする請求項2または3記載のデータ圧縮装置。
- 前記合成対象3次元データを複数の部分領域に分割する領域分割手段を備え、前記係数計算手段は、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力することを特徴とする請求項1記載のデータ圧縮装置。
- 前記合成対象3次元データを複数の部分領域に分割する領域分割手段と、
前記係数計算手段で計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データを前記領域分割手段によって複数の部分領域に分割し、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を前記係数計算手段によって部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力する圧縮判定手段とを備えることを特徴とする請求項1記載のデータ圧縮装置。 - 前記圧縮判定手段は、部分領域に分割して圧縮しても全体の復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データをさらに細かい部分領域に分割して部分領域ごとに結合係数を求める制御を行うことを特徴とする請求項5記載のデータ圧縮装置。
- 前記圧縮データに、前記部分領域を特定する部分領域決定データを含ませることを特徴とする請求項5、6または7記載のデータ圧縮装置。
- 前記圧縮データを記憶する着脱自在な記憶装置を備えることを特徴とする請求項1乃至8の何れか1項に記載のデータ圧縮装置。
- 結合係数を含む圧縮データを入力し、合成に使用された複数の基底3次元データを前記圧縮データに含まれる結合係数により結合して3次元データを復元する3次元データ復元手段を備えることを特徴とするデータ復元装置。
- 合成に使用された基底3次元データ群の選択情報および結合係数を含む圧縮データを入力し、前記選択情報に基づいて圧縮対象3次元データの合成に使用された基底3次元データ群を予め定められた基底3次元データ群から抽出する基底データ読出手段と、
該抽出された基底3次元データ群を前記圧縮データに含まれる結合係数により結合して3次元データを復元する3次元データ復元手段とを備えることを特徴とするデータ復元装置。 - 合成に使用された基底3次元データ群の部分領域を特定する部分領域決定データおよび部分領域ごとの結合係数を含む圧縮データを入力し、前記部分領域決定データに基づいて圧縮対象3次元データの合成に使用された基底3次元データ群の部分領域を予め定められた基底3次元データ群から抽出する基底データ読出手段と、
該抽出された基底3次元データ群を前記圧縮データに含まれる部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データを復元する3次元データ復元手段とを備えることを特徴とするデータ復元装置。 - 前記圧縮データを記憶する着脱自在な記憶装置を備えることを特徴とする請求項10、11または12記載のデータ復元装置。
- 請求項1乃至8の何れか1項に記載されるデータ圧縮装置および請求項10、11または12に記載されるデータ復元装置を有する圧縮復元装置と、該圧縮復元装置で生成された圧縮データを記憶する記憶装置とを備えたことを特徴とする圧縮復元システム。
- 請求項1乃至8の何れか1項に記載されるデータ圧縮装置と、該データ圧縮装置が使用する参照3次元データおよび基底3次元データ群を記憶する記憶装置と、前記データ圧縮装置で生成された圧縮データを送信するデータ伝送手段とを備えたことを特徴とするデータ送信装置。
- 前記データ伝送手段は、前記データ圧縮装置が前記基底3次元データ群に追加した基底3次元データを圧縮データの送信先へ伝送することを特徴とする請求項15記載のデータ送信装置。
- 請求項10、11または12に記載されるデータ復元装置と、該データ復元装置が使用する基底3次元データ群を記憶する記憶装置と、圧縮データを受信し前記データ復元装置へ入力するデータ伝送手段とを備えたことを特徴とするデータ受信装置。
- 前記データ伝送手段は、追加の基底3次元データを受信したとき前記基底3次元データ群に追加することを特徴とする請求項17記載のデータ受信装置。
- 請求項15または16に記載されるデータ送信装置と請求項17または18に記載されるデータ受信装置とが通信路を通じて接続されたことを特徴とするデータ伝送システム。
- a)対応点決定手段が、3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成するステップ、
b)係数計算手段が、3次元データの合成に使用する基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を計算し、該計算した結合係数を前記入力した3次元データの圧縮データとして出力するステップ、を含むことを特徴とするデータ圧縮方法。 - c)圧縮判定手段が、前記ステップbで計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、新たな基底3次元データを3次元データの合成に使用する基底3次元データ群に追加するステップ、を含むことを特徴とする請求項20記載のデータ圧縮方法。
- d)基底データ選択手段が、前記合成対象3次元データの合成に適した複数の基底3次元データを、3次元データの合成に使用する基底3次元データ群から選択するステップ、を含むことを特徴とする請求項20または21記載のデータ圧縮方法。
- 前記圧縮データに、前記結合係数に加えて、結合に使用した基底3次元データを特定する選択情報を含ませることを特徴とする請求項21または22記載のデータ圧縮方法。
- a)対応点決定手段が、3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成するステップ、
b)領域分割手段が、前記合成対象3次元データを複数の部分領域に分割するステップ、
c)係数計算手段が、3次元データの合成に使用する同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力するステップ、を含むことを特徴とするデータ圧縮方法。 - a)対応点決定手段が、3次元データを入力し、頂点の対応関係を決める基準となる参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成するステップ、
b)係数計算手段が、3次元データの合成に使用する基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を計算し、該計算した結合係数を前記入力した3次元データの圧縮データとして出力するステップ、
c)圧縮判定手段が、前記ステップbで計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データを前記領域分割手段によって複数の部分領域に分割し、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を前記係数計算手段によって部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力するステップ、を含むことを特徴とするデータ圧縮方法。 - 部分領域に分割して圧縮しても全体の復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データをさらに細かい部分領域に分割して部分領域ごとに結合係数を求めることを特徴とする請求項25記載のデータ圧縮方法。
- 前記圧縮データに、前記部分領域を特定する部分領域決定データを含ませることを特徴とする請求項24、25または26記載のデータ圧縮方法。
- 前記圧縮データを着脱自在な記憶装置に記憶することを特徴とする請求項20乃至27の何れか1項に記載のデータ圧縮方法。
- 3次元データ復元手段が、結合係数を含む圧縮データを入力し、合成に使用された複数の基底3次元データを前記圧縮データに含まれる結合係数により結合して3次元データを復元することを特徴とするデータ復元方法。
- a)基底データ読出手段が、合成に使用された基底3次元データ群の選択情報および結合係数を含む圧縮データを入力し、前記選択情報に基づいて圧縮対象3次元データの合成に使用された基底3次元データ群を予め定めれた基底3次元データ群から抽出するステップ、
3次元データ復元手段が、前記抽出された基底3次元データ群を前記圧縮データに含まれる結合係数により結合して3次元データを復元するステップ、を含むことを特徴とするデータ復元方法。 - a)基底データ読出手段が、合成に使用された基底3次元データ群の部分領域を特定する部分領域決定データおよび部分領域ごとの結合係数を含む圧縮データを入力し、前記部分領域決定データに基づいて圧縮対象3次元データの合成に使用された基底3次元データ群の部分領域を予め定められた基底3次元データ群から抽出するステップ、
b)3次元データ復元手段が、前記抽出された基底3次元データ群を前記圧縮データに含まれる部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データを復元するステップ、を含むことを特徴とするデータ復元方法。 - 前記圧縮データを着脱自在な記憶装置から入力することを特徴とする請求項29、30または31記載のデータ復元方法。
- 請求項20乃至27の何れか1項に記載されるデータ圧縮方法で生成された圧縮データを記憶装置に記憶し、該記憶装置から読み出した圧縮データを請求項29、30または31に記載されるデータ復元方法で3次元データに復元することを特徴とする圧縮復元方法。
- 請求項20乃至27の何れか1項に記載されるデータ圧縮方法で生成された圧縮データを、データ伝送手段を通じて伝送することを特徴とするデータ送信方法。
- 前記データ伝送手段は、前記データ圧縮方法において前記基底3次元データ群に追加された基底3次元データを圧縮データの送信先へ伝送することを特徴とする請求項34記載のデータ送信方法。
- データ伝送手段で受信した圧縮データを請求項29、30または31に記載されるデータ復元方法により3次元データに復元することを特徴とするデータ受信方法。
- 前記データ伝送手段は、追加の基底3次元データを受信したとき前記データ復元方法で使用する基底3次元データ群に追加することを特徴とする請求項36記載のデータ受信方法。
- 請求項34または35に記載されるデータ送信方法と請求項36または37に記載されるデータ受信方法とを組み合わせたことを特徴とするデータ伝送方法。
- 頂点の対応関係を決める基準となる参照3次元データおよび3次元データの合成に使用する基底3次元データ群を記憶する記憶装置を有するコンピュータを、
3次元データを入力し、前記参照3次元データの頂点に前記入力した3次元データの頂点を対応付けた合成対象3次元データを作成する対応点決定手段と、
3次元データの合成に使用する基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を計算し、該計算した結合係数を前記入力した3次元データの圧縮データとして出力する係数計算手段として機能させることを特徴とするデータ圧縮プログラム。 - 前記コンピュータを、さらに、前記係数計算手段で計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、新たな基底3次元データを3次元データの合成に使用する基底3次元データ群に追加する圧縮判定手段として機能させることを特徴とする請求項39記載のデータ圧縮プログラム。
- 前記コンピュータを、さらに、前記合成対象3次元データの合成に適した複数の基底3次元データを、3次元データの合成に使用する基底3次元データ群から選択する基底データ選択手段として機能させることを特徴とする請求項39または40記載のデータ圧縮プログラム。
- 前記圧縮データに、前記結合係数に加えて、結合に使用した基底3次元データを特定する選択情報を含ませることを特徴とする請求項40または41記載のデータ圧縮プログラム
- 前記コンピュータを、さらに、前記合成対象3次元データを複数の部分領域に分割する領域分割手段として機能させ、かつ、前記係数計算手段は、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力することを特徴とする請求項39記載のデータ圧縮プログラム。
- 前記コンピュータを、さらに、前記合成対象3次元データを複数の部分領域に分割する領域分割手段と、前記係数計算手段で計算された結合係数および前記基底3次元データ群から3次元データを復元し、該復元した3次元データと前記合成対象3次元データとを比較し、復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データを前記領域分割手段によって複数の部分領域に分割し、同じ部分領域に分割された基底3次元データ群を結合して前記合成対象3次元データを合成するための結合係数を前記係数計算手段によって部分領域ごとに計算し、該計算した部分領域ごとの結合係数を前記入力した3次元データの圧縮データとして出力する圧縮判定手段として機能させることを特徴とする請求項39記載のデータ圧縮プログラム。
- 前記圧縮判定手段は、部分領域に分割して圧縮しても全体の復元精度が予め定められた精度に満たない場合には、前記合成対象3次元データをさらに細かい部分領域に分割して部分領域ごとに結合係数を求める制御を行うことを特徴とする請求項44記載のデータ圧縮プログラム。
- 前記圧縮データに、前記部分領域を特定する部分領域決定データを含ませることを特徴とする請求項43、44または45記載のデータ圧縮プログラム。
- 前記圧縮データを着脱自在な記憶装置に記憶することを特徴とする請求項39乃至46の何れか1項に記載のデータ圧縮プログラム。
- 3次元データの合成に使用する基底3次元データ群を記憶する記憶装置を有するコンピュータを、
結合係数を含む圧縮データを入力し、合成に使用された複数の基底3次元データを前記圧縮データに含まれる結合係数により結合して3次元データを復元する3次元データ復元手段として機能させることを特徴とするデータ復元プログラム。 - 3次元データの合成に使用する基底3次元データ群を記憶する記憶装置を有するコンピュータを、
合成に使用された基底3次元データ群の選択情報および結合係数を含む圧縮データを入力し、前記選択情報に基づいて圧縮対象3次元データの合成に使用された基底3次元データ群を前記記憶装置から読み出す基底データ読出手段と、
該読み出された基底3次元データ群を前記圧縮データに含まれる結合係数により結合して3次元データを復元する3次元データ復元手段として機能させるためのデータ復元プログラム。 - 3次元データの合成に使用する基底3次元データ群を記憶する記憶装置を有するコンピュータを、
合成に使用された基底3次元データ群の部分領域を特定する部分領域決定データおよび部分領域ごとの結合係数を含む圧縮データを入力し、前記部分領域決定データに基づいて圧縮対象3次元データの合成に使用された基底3次元データ群の部分領域を予め定められた基底3次元データ群から抽出する基底データ読出手段と、
該抽出された基底3次元データ群を前記圧縮データに含まれる部分領域ごとの結合係数により同じ部分領域ごとに結合して3次元データを復元する3次元データ復元手段として機能させるためのデータ復元プログラム。 - 前記圧縮データを着脱自在な記憶装置から入力することを特徴とする請求項48、49または50記載のデータ復元プログラム。
- 請求項39乃至46の何れか1項に記載されるデータ圧縮プログラムと請求項48、49または50に記載されるデータ復元プログラムとを含む圧縮復元プログラム。
- 請求項39乃至46の何れか1項に記載されるデータ圧縮プログラムと、コンピュータを、前記データ圧縮プログラムで生成された圧縮データを送信するデータ伝送手段として機能させるプログラムとを含むデータ送信プログラム。
- 前記データ伝送手段は、前記データ圧縮プログラムが基底3次元データ群に追加した基底3次元データを圧縮データの送信先へ伝送することを特徴とする請求項53記載のデータ送信プログラム。
- 請求項48、49または50に記載されるデータ復元プログラムと、コンピュータを、圧縮データを受信し前記データ復元プログラムへ入力するデータ伝送手段として機能させるプログラムとを含むデータ受信プログラム。
- 前記データ伝送手段は、追加の基底3次元データを受信したとき記憶装置に記憶された基底3次元データ群に追加することを特徴とする請求項55記載のデータ受信プログラム。
- 請求項53または54に記載されるデータ送信プログラムと請求項55または56に記載されるデータ受信プログラムとを含むデータ伝送プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007552029A JP4868171B2 (ja) | 2005-12-27 | 2006-12-22 | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005375138 | 2005-12-27 | ||
JP2005375138 | 2005-12-27 | ||
PCT/JP2006/326303 WO2007074912A1 (ja) | 2005-12-27 | 2006-12-22 | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
JP2007552029A JP4868171B2 (ja) | 2005-12-27 | 2006-12-22 | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007074912A1 true JPWO2007074912A1 (ja) | 2009-06-04 |
JP4868171B2 JP4868171B2 (ja) | 2012-02-01 |
Family
ID=38218133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007552029A Active JP4868171B2 (ja) | 2005-12-27 | 2006-12-22 | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US8248403B2 (ja) |
EP (1) | EP1968017A1 (ja) |
JP (1) | JP4868171B2 (ja) |
CN (1) | CN101346745B (ja) |
WO (1) | WO2007074912A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103688548A (zh) * | 2011-07-08 | 2014-03-26 | 汤姆逊许可公司 | 为具有重复结构的三维模型编码和解码位流的系统及方法 |
US9236024B2 (en) | 2011-12-06 | 2016-01-12 | Glasses.Com Inc. | Systems and methods for obtaining a pupillary distance measurement using a mobile computing device |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
US20130314401A1 (en) | 2012-05-23 | 2013-11-28 | 1-800 Contacts, Inc. | Systems and methods for generating a 3-d model of a user for a virtual try-on product |
US9483853B2 (en) | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
US9984177B2 (en) * | 2013-05-31 | 2018-05-29 | Panasonic Intellectual Property Management Co., Ltd. | Modeling device, three-dimensional model generation device, modeling method, program and layout simulator |
JP2015012580A (ja) * | 2013-07-02 | 2015-01-19 | キヤノン株式会社 | 受信装置、受信方法及びプログラム |
CN112789658A (zh) | 2018-10-02 | 2021-05-11 | 索尼公司 | 图像处理装置和方法 |
US11049285B2 (en) * | 2019-06-21 | 2021-06-29 | Disney Enterprises, Inc. | Media content validation using geometrically encoded metadata |
CN113287123A (zh) * | 2019-12-03 | 2021-08-20 | 株式会社日立高新技术 | 搜索装置、搜索程序以及等离子处理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3341549B2 (ja) | 1995-11-14 | 2002-11-05 | ミノルタ株式会社 | 3次元形状データ処理装置 |
JP3017110B2 (ja) * | 1996-10-16 | 2000-03-06 | 株式会社エイ・ティ・アール人間情報通信研究所 | イメージ生成装置およびイメージ生成方法 |
CA2388095A1 (en) | 1999-10-22 | 2001-05-03 | Activesky, Inc. | An object oriented video system |
-
2006
- 2006-12-22 JP JP2007552029A patent/JP4868171B2/ja active Active
- 2006-12-22 CN CN2006800493110A patent/CN101346745B/zh active Active
- 2006-12-22 EP EP06843680A patent/EP1968017A1/en not_active Withdrawn
- 2006-12-22 US US12/087,102 patent/US8248403B2/en active Active
- 2006-12-22 WO PCT/JP2006/326303 patent/WO2007074912A1/ja active Application Filing
-
2011
- 2011-08-30 US US13/221,299 patent/US8878839B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110311131A1 (en) | 2011-12-22 |
EP1968017A1 (en) | 2008-09-10 |
US20090040216A1 (en) | 2009-02-12 |
CN101346745A (zh) | 2009-01-14 |
CN101346745B (zh) | 2013-03-27 |
WO2007074912A1 (ja) | 2007-07-05 |
US8248403B2 (en) | 2012-08-21 |
JP4868171B2 (ja) | 2012-02-01 |
US8878839B2 (en) | 2014-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4868171B2 (ja) | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム | |
JP3901644B2 (ja) | テクスチャ画像圧縮装置及び方法、テクスチャ画像抽出装置及び方法、データ構造、記憶媒体 | |
Zhu et al. | Lossless point cloud geometry compression via binary tree partition and intra prediction | |
JP4384813B2 (ja) | 時間依存ジオメトリの圧縮 | |
WO2019153342A1 (zh) | 一种基于增强图变换的点云属性压缩方法 | |
JP5240335B2 (ja) | 3次元データ処理システム | |
Griebel et al. | An algebraic multigrid method for linear elasticity | |
JP4199170B2 (ja) | 高次元テクスチャマッピング装置、方法及びプログラム | |
Aspinwall et al. | Quivers from matrix factorizations | |
JP2013539125A (ja) | エンコード方法、エンコード装置、デコード方法及びデコード装置 | |
KR20090041843A (ko) | 복수 카메라를 이용한 실시간 입체 영상 정합 시스템 및 그방법 | |
Knapp | Mesh decimation using VTK | |
JP4005180B2 (ja) | 形状データ圧縮装置,伸長装置 | |
JP3688937B2 (ja) | 統合確率推定値生成方法、符号化方法、統合確率推定値生成装置及び記録媒体 | |
Liu et al. | Manifold-guaranteed out-of-core simplification of large meshes with controlled topological type | |
Maleika et al. | Lossless compression method for digital terrain model of seabed shape | |
WO2023155778A1 (zh) | 编码方法、装置及设备 | |
JPH09160898A (ja) | 粒子座標及び時系列粒子座標圧縮方法 | |
Adams et al. | Compact representation of contour plots for phone line transmission | |
ORAL et al. | A Brief History of 3D Mesh Compression | |
JP2002358536A (ja) | ポリゴンデータ生成装置、描画システムおよびポリゴンデータ生成方法 | |
TW202336703A (zh) | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 | |
Zhou et al. | A New Simplification Algorithm for Colored or Textured Polygonal Models | |
EP4233006A2 (en) | Devices and methods for spatial quantization for point cloud compression | |
CN116800970A (zh) | 编码、解码方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110720 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111019 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4868171 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |