JPH10336680A - データ圧縮方法 - Google Patents

データ圧縮方法

Info

Publication number
JPH10336680A
JPH10336680A JP10029843A JP2984398A JPH10336680A JP H10336680 A JPH10336680 A JP H10336680A JP 10029843 A JP10029843 A JP 10029843A JP 2984398 A JP2984398 A JP 2984398A JP H10336680 A JPH10336680 A JP H10336680A
Authority
JP
Japan
Prior art keywords
mesh
parameter
compressing
generating
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10029843A
Other languages
English (en)
Inventor
Hai Tao
ハイ・タオ
Thomas S Huang
トーマス・エス・フアン
Homer H Chen
ホーマー・エイチ・チェン
Tsae-Pyng Janice Shen
ツァエ−ピン・ジャニス・シェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Science Center LLC
Original Assignee
Rockwell Science Center LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Science Center LLC filed Critical Rockwell Science Center LLC
Publication of JPH10336680A publication Critical patent/JPH10336680A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 ３Ｄ物体のビット効率の高い動画像のための
圧縮方法を提供する。 【解決手段】 一連の離散的な時間フレームで３次元の
物体の動画像シーケンスを表わすデータは、以下のよう
にして圧縮される。物体独自の特徴を識別する。物体の
四角形のメッシュ表現を生成して物体を１つ以上の領域
に分割し、各領域をメッシュ内のノードの位置を規定す
る３つの座標マトリクスを含むメッシュにより階層的に
表現することにより物体を数学的に規定する。次に物体
の動画像に対応するメッシュにおける変化を特定できる
一組の動画像パラメータを特徴のメッシュ表現から選択
する。メッシュに対する座標マトリクスにピラミッドプ
ログレッシブ符号化を適用して各領域を圧縮する。

Description

【発明の詳細な説明】
【０００１】
【発明の背景】本発明は、３次元（３Ｄ）の物体に対し
一連の離散的な時間フレームで動画像シーケンスを表わ
すデータを圧縮するための技術に関する。
【０００２】ワールドワイドウェブ（ＷＷＷ）といった
新技術の出現により、３Ｄシーンとの遠隔的または局所
的な対話が可能になり、さらに３Ｄ仮想環境内での動画
像に全く新しい展望が開ける可能性がある。遂に、複数
のユーザがネットワークを通して仮想環境を共有するこ
とが可能になり、ユーザは環境のマルチメディアコンテ
ンツと通信および対話できる。このマルチメディアコン
テンツは、オーディオ、ビデオおよび３Ｄ物体ならびに
人間の表現を含むことが可能である。３Ｄ仮想環境にお
けるマルチメディアコンテンツの動画像には莫大な量の
データが含まれる。ネットワークにおける通信帯域幅お
よび局所的記憶媒体における空間は限定されているた
め、マルチメディアコンテンツおよび仮想環境を圧縮し
て表現することにより、通信チャネルを通したデータ伝
送に必要な時間、データを記憶から検索するのに必要な
時間、およびデータをストアするのに必要な空間量が大
幅に低減できる。さらに、通信チャネルを通して送信端
末と受信端末との間で圧縮されたデータを伝えることに
より、たとえば動画像制御におけるリアルタイムストリ
ーミングといったリアルタイムの対話型応用の可能性が
もたらされる。
【０００３】インターネットでは、通信チャネルおよび
ローカルプラットホームにおいて広範囲にわたる帯域幅
およびハードウェア能力が実現されるだろう。多くのア
プリケーションでは、明細、解像度または品質の異なる
レベルでマルチメディアコンテンツを利用できることが
必要であろう。異種のネットワーク接続、および異なる
プラットホームにおける時間が重要な復号化／レンダリ
ングにおける大きくはない劣化に対処するためには、マ
ルチメディアコンテンツについてスケーラビリティの粒
度が微細であることが必要である。スケーラビリティに
対する要求は、動画およびオーディオの符号化のための
国際標準によりサポートされる、設定された手順により
確立することができ、折衝相での帯域幅および復号器／
符号器能力に依存するであろう。仮想環境での対話は、
従来の合成ビデオフレームのレベルではなく、個々の物
体に対して与えられるべきものである。これには、さら
に優れた圧縮性能およびユーザの対話の機会の提供を可
能にするために、予めレンダリングされ、予め合成され
たマルチメディアデータに対し符号化を行なうことが必
要である。
【０００４】各３Ｄ物体を動画像化する能力は、３Ｄ環
境でのマルチメディアコンテンツとの対話における非常
に本質的な基礎である。先行技術におけるメッシュ表現
のための圧縮方法はいくつかある。（例として、ＡＣＭ
コンピュータグラフィックス手順（ACM Computer Graph
ics Proceedings ）（１９９５）第１３−２０頁のＭ．
ディアリング（M. Deering）による「幾何学的圧縮（Ge
ometric Compression）」、ならびにＩＢＭリサーチレ
ポート（IBM Research Report ）ＲＣ−２０３４０（１
９９６）のＧ．トービン（G. Taubin ）およびＪ．ロシ
ニャック（J. Rossignac）による「トポロジー的処方に
よる幾何学的圧縮（Geometric Compression through To
pological Surgery ）」参照。）動画像パラメータの圧
縮はあまり注目を集めていない。理由の一部は、動画像
パラメータの量はメッシュデータよりも少ないことが多
いからである。しかしながら、複数のユーザがネットワ
ークを通して通信するためには、このタイプのデータが
大幅に増大する可能性がある。
【０００５】２次元および３次元のコンピュータグラフ
ィックスおよびアニメーションではメッシュ（ワイヤフ
レーム）モデル化が周知の手段である。図１は、ワイヤ
フレームモデル化を行なうのに使用される一般的な手法
を示す。四角形のメッシュ１００は、物体の３Ｄ面を四
角形にして碁盤の目状に配列したものである。四角形の
頂点は、メッシュのノード１０２、１０４および１０６
といったノードである。各行（列）におけるノードの数
が同じであるという規則的な四角形のメッシュについて
考察する。すなわち、各列および行には欠けているノー
ドがない。ノードの規則性のため、メッシュのトポロジ
ーを符号化する必要はなく、ノードの位置のみを符号化
する。さらに、ノードの位置は、各々が各座標成分に対
するものであるサンプルマトリクス１１０、１１２およ
び１１４といった３つのマトリクスにより簡単に表現で
きる。既存の画像符号化ツールを容易に適用することが
できる。なぜなら、３つのマトリクスはカラー画像の
Ｙ、ＵおよびＶ（またはＲ、ＧおよびＢ）成分と考える
ことができるからである。
【０００６】上記のメッシュ表現方法は、各四角形の４
つのノードに対する共面の制約を緩和することにより三
角形のメッシュ表現に拡張できる。四角形の代わりに、
４つのノードからなる各グループは２つの三角形を規定
する。ノード構成は同一であるため、圧縮方法を直接適
用できる。しかしながら、４つのノードからなるもの各
々がいかにして２つの三角形に分割されるかを特定する
ためにはさらなる情報が必要である。すなわち、左上の
ノードから右下のノードへまたは右上のノードから左下
のノードへのいずれで分割されるのかということであ
る。このようなメッシュに対する２値情報はマトリクス
で表現可能であり、ランレングス符号化で圧縮できる。
しかしながら、このような２値マトリクスを符号化して
伝送する必要がない場合もあり得る。その例は、４つの
ノードからなるものすべてが一貫して三角形に分割され
るという規則的な三角形のメッシュである。この場合明
らかに、このような２値情報のための復号器は省略可能
である。
【０００７】メッシュ表現を、不規則な境界を有するメ
ッシュすなわちメッシュの行または列のノードの数が等
しくないメッシュに拡張できる。この問題はブロックＤ
ＣＴ（離散コサイン変換）により任意の形状の画像セグ
メントを符号化する問題に似ている。その解決法は、不
規則な四角形のメッシュに人工的なノード（外部ノー
ド）を初めにパディングし、結果生じるメッシュが規則
的になるようにして生み出される。パディングは最小で
なければならない。すなわち、すべて外部ノードからな
る行または列があってはならない。次に、復号器がもと
のノード（内部ノード）を外部ノードから見分けること
ができるようにする境界情報が符号化され復号器に伝送
される。最終的に、３つのマトリクスにより表現される
メッシュの座標情報が符号化され同様に復号器に伝送さ
れる。なお、もとのメッシュを継ぎ合わせて四角形のメ
ッシュを形成するために外部ノードはパディングされ
る。その座標は任意的に割当てることができる。実際、
この自由度を利用して符号器の性能を最大のものにする
ことができる。１つの方策では、凸集合への射影という
理論を採用することにより最適解決法が発見されてい
る。（米国特許第５，４２２，９６３号、チェン（Che
n）他による「任意的に成形された画像セグメントに対
するブロック変換符号器（Block Transform Coder for
Arbitrarily Shaped Image Segment）」）
【０００８】
【発明の概要】本発明の顕著な特徴は、３Ｄ物体のビッ
ト効率の高い動画像のための圧縮方法を提供することで
ある。この特徴は、メッシュに対する符号化方法、なら
びに動画像化された３Ｄ物体を含む３Ｄシーンの伝達お
よび記憶のための動画像パラメータの一時的シーケンス
に対する符号化方法を提供することにより実現される。
【０００９】一連の離散的時間フレームで３次元物体の
動画像シーケンスを表わすデータは以下のようにして圧
縮される。すなわち、物体の独自の特徴を識別し、物体
の四角形のメッシュ表現を生成して物体を数学的に規定
する。この規定は、物体を１つ以上の領域に分割し、各
領域をメッシュにより階層的に表現することにより行な
われる。各メッシュはメッシュ内のノード位置を規定す
る３つの座標マトリクスを含む。特徴のメッシュ表現か
ら、物体の動画像に対応するメッシュにおける変化を特
定できる一組の動画像パラメータを選択し、メッシュに
対する座標マトリクスにピラミッドプログレッシブ符号
化を適用することにより各領域のメッシュを圧縮し、動
画像シーケンスの始まりで動画像パラメータに対する初
期値をストアする。さらに、動画像シーケンスの始まり
の後の各時間フレームで、パラメータの現在の値を推定
し、先行する時間フレームに対しストアした値を現在の
値から減算することによりパラメータの値における変化
を推定し、推定した差を量子化し量子化した差にエント
ロピー符号化を適用しストアした値を復号化した値で更
新することにより、各パラメータを圧縮する。
【００１０】
【発明の説明】本発明は、一連の離散的な時間フレーム
で３次元（３Ｄ）物体の動画像シーケンスを表わすデー
タを圧縮するための技術を提供する。
【００１１】図２は、本発明の符号化技術を示すブロッ
ク図である。本発明の方法の実施において、物体の独自
の特徴が初めに識別される。次に物体の形状の四角形の
メッシュ表現が生成される。このメッシュ表現は、物体
を１つ以上の領域に分割し各領域をメッシュにより階層
的に表現することにより物体を数学的に規定する。各メ
ッシュは、そのメッシュ内のノードの位置を規定する３
つの座標マトリクスを含む。物体の動画像に対応するメ
ッシュにおける変化を特定することができる一組の動画
像パラメータが次に選択される。各時間フレームにおけ
るこのパラメータの値がパラメータ発生器２００により
特定される。パラメータ発生器２００におけるパラメー
タの発生は、予め書込まれたスクリプト、ユーザのイン
タラクション、従来のビデオシーケンスの画像解析、テ
キスト音声（ＴＴＳ）システム、または顔の動作の符号
化システム（ＦＡＣＳ）に基づくことができる。
【００１２】符号化システムは、３つのモードの動画像
パラメータのいずれが符号化され復号器に伝送されるか
を決定するためのモード判定ユニット２０２を含む。符
号化の３つのモードとは、「イントラ」、「インター」
および「ディスエーブル」である。モード判定ユニット
２０２はまた、３つのモードのいずれでメッシュデータ
が符号化され伝送されるかを決定する。動画像パラメー
タおよびメッシュデータに対するモード判定は互いに独
立したものである。したがって、動画像パラメータおよ
びメッシュの符号化モードは同一である必要はない。こ
れら３つのモードについては以下でより詳細に説明す
る。
【００１３】パラメータ予測ユニット２０４は、パラメ
ータ発生器２００から受取った現在の動画像パラメータ
と、パラメータメモリ２１０から検索したパラメータの
予測値との差分を計算する。予測ユニット２０４は、動
画像パラメータについてインターモードが選択されてい
るならば、この差分信号をパラメータ符号器２０６に送
る。イントラモードが選択されていれば、差分表現は計
算されず、予測ユニットはパラメータ発生器２００から
受取った現在の動画像パラメータを直接パラメータ符号
器２０６に送る。動画像パラメータに対しディスエーブ
ルモードが選択されていれば、現在の動画像パラメータ
は伝送されない。この場合符号化は行なわれない。
【００１４】パラメータ符号器２０６は、１）パラメー
タ予測ユニット２０４から受取った信号を量子化し、
２）量子化されたパラメータをパラメータ復号器２０８
に送り、３）量子化されたパラメータのエントロピー符
号化を行ない、４）エントロピー符号化されたパラメー
タをマルチプレクサ２１８に送る。
【００１５】インターパラメータ符号化モードが選択さ
れていれば、パラメータ復号器２０８は、１）パラメー
タ符号器２０６から受取った信号の逆量子化を行ない、
２）結果得られた信号をパラメータメモリ２１０からフ
ェッチしたストアされた信号に加算し、３）加算された
信号をパラメータメモリ２１０およびワイヤフレームシ
ンセサイザ２１２にストアする。イントラ符号化モード
が選択されていれば、パラメータ復号器２０８はパラメ
ータを逆量子化しその結果をパラメータメモリ２１０お
よびワイヤフレームシンセサイザ２１２に直接出力す
る。イントラモードの場合、パラメータ復号器２０８で
は加算は行なわれない。ディスエーブルモードがパラメ
ータ符号化に対して選択されていれば、パラメータ復号
器２０８では動作は何も行なわれない。
【００１６】動画像パラメータは選択されたメッシュの
ノードの組の動きを制御するのみである。アプリケーシ
ョンタスクに応じて、動画像パラメータの伝送との関連
で物体モデルをダウンロードするまたは緻密にするため
にメッシュデータを伝送する必要があるであろう。この
場合、パラメータ符号化モードがイネーブルされ、符号
器および復号器双方が共通の物体モデルを共有している
場合のみ物体モデル緻密化を実行できる。他の場合にお
いては、パラメータ符号化がディスエーブルされ、３Ｄ
物体の動画像は全面的にメッシュデータに依存する。ワ
イヤフレームシンセサイザ２１２はこれら２つの場合に
ついて異なる動作を行なう。その詳細については以下で
説明する。
【００１７】パラメータ符号化がイネーブルされる（す
なわちイントラまたはインターパラメータ符号化モー
ド）場合、ワイヤフレームシンセサイザ２１２はパラメ
ータ復号器２０８の出力を取込み、符号器および復号器
双方により共有されている物体モデルを用いて物体のメ
ッシュ表現を合成する。他方、パラメータ符号化がディ
スエーブルされていれば、ワイヤフレームシンセサイザ
２１２はメッシュ符号器２１６におけるローカルメモリ
の出力を取込み、これを復号化し、物体の再構成された
メッシュを発生する。
【００１８】ワイヤフレーム発生器２２０は、１）たと
えば物体のビデオデータに基づき現在のフレームで物体
のワイヤフレーム表現を生成し、２）メッシュデータを
より有用な座標系（たとえば円柱座標系）に変換し、
３）結果生じるワイヤフレームデータをメッシュ予測ユ
ニット２１４に出力する。この座標変換の目的は、デー
タをより効率的に符号化するために、もとのメッシュデ
ータよりも平滑的に表現されたメッシュデータを得るこ
とである。
【００１９】メッシュ予測ユニット２１４は、ワイヤフ
レームシンセサイザ２１２の出力と、ワイヤフレーム発
生器２２０の出力との差分を計算し、インターメッシュ
符号化モードが選択されている場合この差分信号をメッ
シュ符号器２１６に送る。イントラメッシュ符号化モー
ドが選択されていれば、メッシュ予測ユニット２１４は
ワイヤフレーム発生器２２０の出力を直接メッシュ符号
器２１６に送る。
【００２０】メッシュ符号器２１６の詳細な機能につい
ては、図３のブロック図に示されている。符号器２１６
は図２のメッシュ予測ユニット２１４からの出力信号を
取込み、１）ダウンサンプリングオペレータ３０２で２
のファクタだけメッシュデータをダウンサンプリング
し、２）ダウンサンプリングされたマトリクスを量子化
器３０４で量子化し、３）符号化されるべき次のデータ
のピラミッド層３１０（空間解像度がより低い）を形成
し、４）残余の誤差推定のためにアップサンプリングオ
ペレータ３０６で圧縮されたデータの現在の層をアップ
サンプリングし、５）もとのデータとアップサンプリン
グされたデータとの間の残余の誤差を３０７で推定し、
６）残余の誤差をエントロピー符号器３０８で符号化
し、７）符号化されたビットを図２のマルチプレクサ２
１８に伝送し、ビットをローカルメッシュメモリ３２２
にストアする。この方策の主要な利点は、計算が簡単か
つ局所的であり、並列に実行し得ることである。さら
に、同じ計算を反復してピラミッドを構成するデータの
シーケンスが生成される。各領域の境界のノードには知
覚的な損失のない量子化が必要とされる。
【００２１】再び図２を参照して、マルチプレクサ２１
８は、復号器に伝送するために、パラメータ符号器２０
６およびメッシュ符号器２１６からのビットを多重化す
る。
【００２２】ある重要な特定的な実施例では、動画像パ
ラメータの一時的なシーケンスは、パラメータ発生器２
００と予測ユニット２０４との間に次元縮小ユニット２
０３を挿入することにより圧縮される。図２の残りのプ
ロセスはこの実施例についても同じである。次元は各時
間フレームで用いられる動画像パラメータの数のことで
ある。次元縮小ユニット２０３は、１）主要な成分のサ
ブスペースへの変換、および２）次元縮小（有意成分の
選択）を行なう。
【００２３】この発明の実行の可能性は、顔の表情およ
び視覚音声に対する顔の動画像パラメータを用いて四角
形の顔のモデルを動画像化することにより示される。本
発明は種々の顔の動きを処理することができ、顔の表情
および視覚音声の動画像化のためのリアルに見えるビデ
オ画像を可能にできる。本発明の好ましい実施例は上記
のとおりである。しかしながら、当業者には修正および
さらなる実施例が明らかになるであろう。さらに、先に
図示し説明したものは等価の要素で置換えることがで
き、部分または接続を逆にするあるいは交換することが
でき、本発明の何らかの特徴については他の特徴と独立
させて利用できるであろう。結論として、実施例は包括
的ではなく例示的に捉えられるべきものであり、前掲の
特許請求の範囲は本発明の全範囲をより明らかに示すも
のである。
【図面の簡単な説明】
【図１】所与の領域のメッシュおよびそれに対応するマ
トリクスを示す先行技術によるメッシュ表現技術を表わ
す図である。
【図２】本発明の方法を示す符号化のブロック図であ
る。
【図３】ピラミッドプログレッシブ符号化技術を用いた
スケーリング可能な符号器を示すブロック図である。
【符号の説明】
２００ パラメータ発生器 ２０２ モード判定ユニット ２０４ パラメータ予測ユニット ２０６ パラメータ符号器 ２０８ パラメータ復号器 ２１０ パラメータメモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 トーマス・エス・フアン アメリカ合衆国、61801 イリノイ州、ア ーバナ、ボーター、2211 (72)発明者 ホーマー・エイチ・チェン アメリカ合衆国、91361 カリフォルニア 州、サウザンド・オークス、オークコテー ジ・コート、1616 (72)発明者 ツァエ−ピン・ジャニス・シェン アメリカ合衆国、91360 カリフォルニア 州、サウザンド・オークス、ビッグ・クラ ウド・サークル、3304

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 一連の離散的な時間フレームで３次元の
    物体の動画像シーケンスを表わすデータを圧縮する方法
    であって、 物体の独自の特徴を識別するステップと、 物体の四角形のメッシュ表現を生成し、物体を１つ以上
    の領域に分割し各々の領域をメッシュで階層的に表現す
    ることにより物体を数学的に規定するステップとを含
    み、各メッシュはメッシュ内のノードの位置を規定する
    ３つの座標マトリクスを含み、さらに、 特徴のメッシュ表現から、物体の動画像に対応するメッ
    シュにおける変化を特定できる一組の動画像パラメータ
    を選択するステップと、 メッシュに対する座標マトリクスにピラミッドプログレ
    ッシブ符号化を適用することにより各領域のメッシュを
    圧縮するステップと、 動画像シーケンスの始まりで動画像パラメータに対する
    初期値をストアするステップと、 動画像シーケンスの始まりの後の各時間フレームで、 パラメータの現在の値を推定し、 各々のパラメータを、 先行する時間フレームに対しストアした値を現在の値か
    ら減算することによりパラメータの値の変化を推定し、 推定した差を量子化し、 量子化した差にエントロピー符号化を適用し、 動画像パラメータのストアした値を復号化した値で更新
    することにより、 圧縮するステップとを含む、データ圧縮方法。
  2. 【請求項２】 四角形のメッシュ表現を生成するステッ
    プはさらに、メッシュを生成して物体の形状を特定し、
    一連の離散的な時間フレームでメッシュのシーケンスを
    生成して物体の一時的な変形を特定するステップを含
    む、請求項１に記載の方法。
  3. 【請求項３】 四角形のメッシュ表現を生成するステッ
    プはさらに、物体に対する表面の曲率基準またはユーザ
    の指定に従い物体を１つ以上の領域に分割するステップ
    を含む、請求項１に記載の方法。
  4. 【請求項４】 各領域のメッシュを圧縮するステップは
    さらに、メッシュ表現の現在のマトリクスをビットスト
    リームのスケーリング可能な層に符号化するステップを
    含む、請求項１に記載の方法。
  5. 【請求項５】 各領域のメッシュを圧縮するステップは
    さらに、メッシュ表現の残余のマトリクスをビットスト
    リームのスケーリング可能な層に符号化するステップを
    含む、請求項１に記載の方法。
  6. 【請求項６】 メッシュ表現を生成するステップにおけ
    る座標マトリクスはさらにデカルト座標マトリクスを含
    む、請求項１に記載の方法。
  7. 【請求項７】 メッシュ表現を生成するステップにおけ
    る座標マトリクスはさらに球面座標マトリクスを含む、
    請求項１に記載の方法。
  8. 【請求項８】 メッシュ表現を生成するステップにおけ
    る座標マトリクスはさらに円柱座標マトリクスを含む、
    請求項１に記載の方法。
  9. 【請求項９】 動画像パラメータに対する初期値をスト
    アするステップはさらに、初期値を０に設定するステッ
    プを含む、請求項１に記載の方法。
  10. 【請求項１０】 推定した差を量子化するステップはさ
    らに、推定した差を均一的に量子化するステップを含
    む、請求項１に記載の方法。
  11. 【請求項１１】 推定した差を量子化するステップはさ
    らに、推定した差を知覚的に量子化するステップを含
    む、請求項１に記載の方法。
  12. 【請求項１２】 各パラメータを圧縮するステップは、
    主要な成分のサブスペースへの変換を含む、請求項１に
    記載の方法。
  13. 【請求項１３】 各パラメータを圧縮するステップは、
    有意成分の選択を含む、請求項１に記載の方法。
  14. 【請求項１４】 ストアした値を更新するステップはさ
    らに、パラメータ復号化を行ない、現在の時間フレーム
    で符号化された値を復号化し、現在の復号化した値でス
    トアした値を更新するステップを含む、請求項１に記載
    の方法。
  15. 【請求項１５】 各領域のメッシュを圧縮するステップ
    はさらに、符号化のディスエーブル、インター、または
    イントラモードを選択するステップを含む、請求項１に
    記載の方法。
  16. 【請求項１６】 各動画像パラメータを圧縮するステッ
    プはさらに、符号化のディスエーブル、インター、また
    はイントラモードを選択するステップを含む、請求項１
    に記載の方法。
JP10029843A 1997-02-13 1998-02-12 データ圧縮方法 Withdrawn JPH10336680A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/799818 1997-02-13
US08/799,818 US5818463A (en) 1997-02-13 1997-02-13 Data compression for animated three dimensional objects

Publications (1)

Publication Number Publication Date
JPH10336680A true JPH10336680A (ja) 1998-12-18

Family

ID=25176837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10029843A Withdrawn JPH10336680A (ja) 1997-02-13 1998-02-12 データ圧縮方法

Country Status (5)

Country Link
US (4) US5818463A (ja)
EP (1) EP0859339B1 (ja)
JP (1) JPH10336680A (ja)
CA (1) CA2229245A1 (ja)
DE (1) DE69813926T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010508609A (ja) * 2006-11-01 2010-03-18 ソニー株式会社 モーションピクチャにおける表面キャプチャリング
KR20190047674A (ko) * 2011-02-21 2019-05-08 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215451B1 (ko) 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US7920143B1 (en) * 1997-03-27 2011-04-05 At&T Intellectual Property Ii, L.P. Method for defining animation parameters for an animation definition interface
US6549206B1 (en) * 1997-07-11 2003-04-15 France Telecom And Telediffusion De France Graphic scene animation signal, corresponding method and device
US7366670B1 (en) * 1997-08-05 2008-04-29 At&T Corp. Method and system for aligning natural and synthetic video to speech synthesis
US6567779B1 (en) * 1997-08-05 2003-05-20 At&T Corp. Method and system for aligning natural and synthetic video to speech synthesis
US6839672B1 (en) * 1998-01-30 2005-01-04 At&T Corp. Integration of talking heads and text-to-speech synthesizers for visual TTS
US6614428B1 (en) * 1998-06-08 2003-09-02 Microsoft Corporation Compression of animated geometry using a hierarchical level of detail coder
TW389866B (en) * 1998-07-01 2000-05-11 Koninkl Philips Electronics Nv Computer graphics animation method and device
US6668091B1 (en) * 1998-10-02 2003-12-23 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method
FR2782862B1 (fr) * 1998-08-29 2001-08-24 Samsung Electronics Co Ltd Procede de codage/decodage progressif d'informations de maillage tridimensionnel et dispositif de celui-ci
KR100294926B1 (ko) * 1998-08-29 2001-07-12 윤종용 점진적인 삼차원 메쉬 정보의 부호화/복호화 방법 및 장치
KR100294927B1 (ko) * 1998-08-29 2001-07-12 윤종용 점진적인 삼차원 메쉬 정보의 부호화 방법 및 그 장치
IT1314671B1 (it) * 1998-10-07 2002-12-31 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'animazione di un modellosintetizzato di volto umano pilotata da un segnale audio.
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
US6351267B1 (en) * 1998-12-10 2002-02-26 Gizmoz Ltd Fast transmission of graphic objects
JP2003503925A (ja) * 1999-06-24 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報ストリームのポスト同期
KR100605050B1 (ko) * 1999-09-08 2006-07-26 주식회사 팬택앤큐리텔 인간의 3차원 자세 검색방법 및 장치
US6741252B2 (en) 2000-02-17 2004-05-25 Matsushita Electric Industrial Co., Ltd. Animation data compression apparatus, animation data compression method, network server, and program storage media
KR100374797B1 (ko) * 2000-03-14 2003-03-03 삼성전자주식회사 삼차원 장면의 노드를 처리하는 방법 및 그 장치
GB0013764D0 (en) * 2000-06-07 2000-07-26 Koninkl Philips Electronics Nv Animated graphic image generation and coding
WO2001097173A1 (en) * 2000-06-15 2001-12-20 Lifef/X Networks, Inc. Basis functions of three-dimensional models for compression, transformation and streaming
CA2372969C (en) * 2001-02-28 2008-09-16 Samsung Electronics Co., Ltd. Encoding method and apparatus of deformation information of 3d object
US6925457B2 (en) 2001-07-27 2005-08-02 Metatomix, Inc. Methods and apparatus for querying a relational data store using schema-less queries
US7890517B2 (en) 2001-05-15 2011-02-15 Metatomix, Inc. Appliance for enterprise information integration and enterprise resource interoperability platform and methods
US7058637B2 (en) 2001-05-15 2006-06-06 Metatomix, Inc. Methods and apparatus for enterprise application integration
US6856992B2 (en) 2001-05-15 2005-02-15 Metatomix, Inc. Methods and apparatus for real-time business visibility using persistent schema-less data storage
US7302440B2 (en) * 2001-07-27 2007-11-27 Metatomix, Inc. Methods and apparatus for statistical data analysis and reduction for an enterprise application
US20030058932A1 (en) * 2001-09-24 2003-03-27 Koninklijke Philips Electronics N.V. Viseme based video coding
KR100480787B1 (ko) * 2001-11-27 2005-04-07 삼성전자주식회사 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치
US7026960B2 (en) * 2001-11-27 2006-04-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key data
EP2302930B1 (en) * 2001-11-27 2015-07-15 Samsung Electronics Co., Ltd. Coding and decoding of a bitstream with a coordinate interpolator
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
US6947045B1 (en) 2002-07-19 2005-09-20 At&T Corporation Coding of animated 3-D wireframe models for internet streaming applications: methods, systems and program products
US8421804B2 (en) 2005-02-16 2013-04-16 At&T Intellectual Property Ii, L.P. System and method of streaming 3-D wireframe animations
WO2004034625A2 (en) 2002-10-07 2004-04-22 Metatomix, Inc. Methods and apparatus for identifying related nodes in a directed graph having named arcs
US7809204B2 (en) * 2002-10-18 2010-10-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of coordinate interpolator
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US8638846B1 (en) * 2003-06-23 2014-01-28 At&T Intellectual Property Ii, L.P. Systems and methods for encoding and decoding video streams
EP1690210A2 (en) 2003-07-07 2006-08-16 Metatomix, Inc. Surveillance, monitoring and real-time events platform
JP4298749B2 (ja) * 2004-02-26 2009-07-22 三菱電機株式会社 時系列データ次元圧縮装置
US7529418B2 (en) * 2004-05-20 2009-05-05 Hewlett-Packard Development Company, L.P. Geometry and view assisted transmission of graphics image streams
US7665063B1 (en) 2004-05-26 2010-02-16 Pegasystems, Inc. Integration of declarative rule-based processing with procedural programming
US7688323B2 (en) * 2004-07-20 2010-03-30 Luxology, Llc Function portions of animation program
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
DE102004049156B4 (de) 2004-10-08 2006-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codierschema für einen ein zeitlich veränderliches Graphikmodell darstellenden Datenstrom
US8335704B2 (en) 2005-01-28 2012-12-18 Pegasystems Inc. Methods and apparatus for work management and routing
CN101223787A (zh) * 2005-07-15 2008-07-16 皇家飞利浦电子股份有限公司 针对纹理区域的图像编码器
KR101334173B1 (ko) * 2006-01-11 2013-11-28 삼성전자주식회사 그래픽 데이터 부호화 및 복호화 방법과 장치
GB2476417B (en) * 2006-01-11 2011-07-27 Samsung Electronics Co Ltd Method and apparatus for encoding/decoding graphic data
US7839407B2 (en) * 2006-01-25 2010-11-23 Pixar Methods and apparatus for accelerated animation using point multiplication
US7764288B2 (en) * 2006-01-25 2010-07-27 Pixar Methods and apparatus for accelerated animation using point multiplication and soft caching
GB2447388B (en) * 2006-01-25 2011-06-15 Pixar Methods and apparatus for determining animation variable response values in computer animation
GB2475651B (en) * 2006-01-25 2011-08-17 Pixar Methods and apparatus for determining animation variable response values in computer animation
US8924335B1 (en) 2006-03-30 2014-12-30 Pegasystems Inc. Rule-based user interface conformance methods
EP2030171A1 (en) 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
JP2010500818A (ja) * 2006-08-08 2010-01-07 デジタル メディア カートリッジ，リミティド 漫画アニメーション圧縮のためのシステムおよび方法
DE102007010664A1 (de) * 2007-03-02 2008-09-04 Deutsche Telekom Ag Verfahren und Videokommunikationssystem zur Einspeisung von Avatar-Informationen in einem Videodatenstrom
US8250525B2 (en) 2007-03-02 2012-08-21 Pegasystems Inc. Proactive performance management for multi-user enterprise software systems
US8035643B2 (en) 2007-03-19 2011-10-11 Lucasfilm Entertainment Company Ltd. Animation retargeting
US9342912B1 (en) * 2007-06-06 2016-05-17 Lucasfilm Entertainment Company Ltd. Animation control retargeting
CN101123000B (zh) * 2007-07-05 2010-06-23 广东中大讯通软件科技有限公司 一种三维图形数据的压缩处理方法
US7941758B2 (en) * 2007-09-04 2011-05-10 Apple Inc. Animation of graphical objects
KR101520649B1 (ko) * 2008-01-21 2015-05-15 삼성전자 주식회사 3차원 메쉬 모델에서의 임의 접근 가능한 메쉬 데이터의압축 및 복원 방법 및 시스템
US8224652B2 (en) * 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US10481878B2 (en) 2008-10-09 2019-11-19 Objectstore, Inc. User interface apparatus and methods
US8843435B1 (en) 2009-03-12 2014-09-23 Pegasystems Inc. Techniques for dynamic data processing
US8468492B1 (en) 2009-03-30 2013-06-18 Pegasystems, Inc. System and method for creation and modification of software applications
US8633932B1 (en) 2009-07-16 2014-01-21 Lucasfilm Entertainment Company Ltd. Animation with adjustable detail level
EP2309648A1 (en) 2009-09-14 2011-04-13 Thomson Licensing Method for encoding floating-point data, method for decoding floating-point data, and corresponding encoder and decoder
US8786610B1 (en) * 2009-12-21 2014-07-22 Lucasfilm Entertainment Company Ltd. Animation compression
US20110227919A1 (en) * 2010-03-17 2011-09-22 International Business Machines Corporation Managing object attributes in a virtual world environment
US8880487B1 (en) 2011-02-18 2014-11-04 Pegasystems Inc. Systems and methods for distributed rules processing
US9082229B1 (en) * 2011-05-10 2015-07-14 Lucasfilm Entertainment Company Ltd. Transforming animations
US10027952B2 (en) 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US9195936B1 (en) 2011-12-30 2015-11-24 Pegasystems Inc. System and method for updating or modifying an application without manual coding
WO2013188598A2 (en) 2012-06-12 2013-12-19 Trx Systems, Inc. Fusion of sensor and map data using constraint based optimization
KR102169523B1 (ko) * 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10469396B2 (en) 2014-10-10 2019-11-05 Pegasystems, Inc. Event processing with enhanced throughput
CN104680566B (zh) * 2015-02-04 2016-04-20 浙江工商大学 一种面向网格动画序列针对顶点轨迹分量降维的方法
KR102169435B1 (ko) * 2016-03-21 2020-10-23 후아웨이 테크놀러지 컴퍼니 리미티드 가중된 행렬 계수의 적응형 양자화
US10698599B2 (en) 2016-06-03 2020-06-30 Pegasystems, Inc. Connecting graphical shapes using gestures
US10698647B2 (en) 2016-07-11 2020-06-30 Pegasystems Inc. Selective sharing for collaborative application usage
US10839825B2 (en) * 2017-03-03 2020-11-17 The Governing Council Of The University Of Toronto System and method for animated lip synchronization
US11048488B2 (en) 2018-08-14 2021-06-29 Pegasystems, Inc. Software code optimizer and method
US11109065B2 (en) 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
US11567945B1 (en) 2020-08-27 2023-01-31 Pegasystems Inc. Customized digital content generation systems and methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5630017A (en) * 1991-02-19 1997-05-13 Bright Star Technology, Inc. Advanced tools for speech synchronized animation
DE69331031T2 (de) * 1992-07-27 2002-07-04 Matsushita Electric Ind Co Ltd Vorrichtung zur parallelen Bilderzeugung
JP3345473B2 (ja) * 1993-08-03 2002-11-18 株式会社日立製作所 アニメーション生成方法
US5692212A (en) * 1994-06-22 1997-11-25 Roach; Richard Gregory Interactive multimedia movies and techniques
JPH08194831A (ja) * 1995-01-19 1996-07-30 Canon Inc 画像処理方法及び装置
US5754190A (en) * 1995-06-07 1998-05-19 Advanced Micro Devices System for reproducing images utilizing image libraries
US5687097A (en) * 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
US6031549A (en) * 1995-07-19 2000-02-29 Extempo Systems, Inc. System and method for directed improvisation by computer controlled characters
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US5930379A (en) * 1997-06-16 1999-07-27 Digital Equipment Corporation Method for detecting human body motion in frames of a video sequence

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010508609A (ja) * 2006-11-01 2010-03-18 ソニー株式会社 モーションピクチャにおける表面キャプチャリング
US8330823B2 (en) 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
KR20190047674A (ko) * 2011-02-21 2019-05-08 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
KR20190047673A (ko) * 2011-02-21 2019-05-08 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
KR20200012004A (ko) * 2011-02-21 2020-02-04 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
KR20200126352A (ko) * 2011-02-21 2020-11-06 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
KR20210088479A (ko) * 2011-02-21 2021-07-14 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
KR20220026550A (ko) * 2011-02-21 2022-03-04 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치
KR20220136969A (ko) * 2011-02-21 2022-10-11 한국전자통신연구원 병렬 엔트로피 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
US5818463A (en) 1998-10-06
DE69813926D1 (de) 2003-06-05
EP0859339A2 (en) 1998-08-19
US6429870B1 (en) 2002-08-06
EP0859339A3 (en) 1999-01-20
DE69813926T2 (de) 2004-05-19
US6130679A (en) 2000-10-10
EP0859339B1 (en) 2003-05-02
US6069631A (en) 2000-05-30
CA2229245A1 (en) 1998-08-13

Similar Documents

Publication Publication Date Title
JPH10336680A (ja) データ圧縮方法
JP4444943B2 (ja) データアレイの予測符号化方法およびシステム
JP4384813B2 (ja) 時間依存ジオメトリの圧縮
JP2022526766A (ja) 点群コーディングのための方法及び装置
US20230080852A1 (en) Use of tiered hierarchical coding for point cloud compression
JPH09139940A (ja) 終端間伸縮可能なビデオデリバリシステム用デコーダ
JP2004520744A (ja) 画像の符号化と復号のための方法及び装置、それに関連する用途
CN115885317A (zh) 点云解码装置、点云解码方法及程序
JP3592168B2 (ja) 画像データの符号化復号化方法及び装置
Yang et al. Real-time 3d video compression for tele-immersive environments
KR20230146629A (ko) 메시 압축을 위한 경계 지오메트리 정보의 예측 코딩
Jovanova et al. Mpeg-4 part 25: A generic model for 3d graphics compression
WO1998058350A2 (en) Method for compressing vertex position data of 3-d graphics model into multistage using predictive residual vector quantization
TW463135B (en) Method for efficiently encoding three-dimensional graphics models
US20220394294A1 (en) Non-binary occupancy map for video based point cloud coding
JP2023548237A (ja) ３次元（３ｄ）メッシュのｕｖ座標を処理するための方法、装置及びコンピュータプログラム
Smolic et al. A survey on coding of static and dynamic 3D meshes
JP2023547173A (ja) 動的メッシュ圧縮のための方法および装置
KR20240074813A (ko) 메시 코딩에서의 변위 벡터에 대한 로컬 좌표계의 고속 계산
Smolic et al. A survey on coding of static and dynamic 3D meshes
JP2023533416A (ja) ビデオベースの点群コーディングのための条件付き再着色
CN117157671A (zh) 用于编码及解码3d点云的方法、编码器及解码器
Florea et al. L-infinite coding of 3D representations of human affect
KR19990026861A (ko) 적응적인 형태 부호화 장치 및 그 부호화 방법
Kolarov et al. Compact Description and Modeling of Multidimensional Information

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050510