JP3521412B2 - オリエンテーション補間ノードの符号化装置及び方法 - Google Patents

オリエンテーション補間ノードの符号化装置及び方法

Info

Publication number
JP3521412B2
JP3521412B2 JP2001324068A JP2001324068A JP3521412B2 JP 3521412 B2 JP3521412 B2 JP 3521412B2 JP 2001324068 A JP2001324068 A JP 2001324068A JP 2001324068 A JP2001324068 A JP 2001324068A JP 3521412 B2 JP3521412 B2 JP 3521412B2
Authority
JP
Japan
Prior art keywords
key
data
rotation
unit
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001324068A
Other languages
English (en)
Other versions
JP2002232897A (ja
Inventor
成 珍 金
道 均 金
錫 潤 鄭
相 玉 萬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020010040705A external-priority patent/KR100590522B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2002232897A publication Critical patent/JP2002232897A/ja
Application granted granted Critical
Publication of JP3521412B2 publication Critical patent/JP3521412B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は複合映像符号化に係
り、特に物体の回転情報を提供するオリエンテーション
補間ノードの符号化装置及び方法に関する。
【0002】
【従来の技術】国際マルチメディア標準の1つであるM
PEG−4 BIFS(BinaryFormat f
or Scenes)は、合成映像に使われるアニメー
ション情報を表現する多様な技術の中でキーフレーム基
盤アニメーション表現技術を支援する。キーフレーム基
盤アニメーションを構成するデータはキーとキー値であ
って、MPEG−4 BIFSは補間ノードシンタック
スを使用してこれらを表現する。これによれば、キーフ
レーム間の自然なアニメーションを提供可能に大量のキ
ーとキー値データとを必要とする。
【0003】キーフレームはコンピュータアニメーショ
ンにおいて中心となる場面を示し、キーはアニメーショ
ンが表現される時間を−∞〜+∞の間の不連続的な値と
して示し、キー値は各キーが示す時間での合成映像内の
ある物体の回転情報を示す。キーが示す時間以外の時間
に対するある物体の回転情報はその時間から最も近い前
後2つのキーに該当するキー値を補間して得られる。そ
の際、補間方法は補間ノードの種類によって変わる。
【0004】補間方法のうちの1つである物体の回転情
報を用いた補間方法は回転情報を回転軸と回転角とで表
現する。MPEG−4 BIFSは、仮想現実モデル言
語(VRML:Vietual Reality Mo
deling Language)と同様にオリエンテ
ーション補間ノードを通して前述したように回転軸と回
転角とで表示される回転情報を支援する。すなわち、オ
リエンテーション補間ノードは回転軸と回転角とを示す
各変位表現方式を使用して回転情報を表示し、これをキ
ー値として提供する。キー値データは補間特性によって
自然なアニメーションを表現する場合にデータ間の差値
が小さく分布される。
【0005】したがって、データ間差分値による符号化
方法を使用することが効率的である。MPEG−4 B
IFSで、処理する対象データのオリエンテーション補
間ノードのキーとキー値とで表現されたフィールドデー
タを符号化するに当たって大きく2種の方法が用いられ
た。それは、差分パルスコード変調(DPCM:Dif
ferential PulseCoded Modu
lation)を用いない方法とDPCMを用いる方法
である。
【0006】まず、DPCMを用いない方法は、符号化
するデータでキーやキー値によって量子化のみを実行す
る。したがって、符号化するデータの固有特性を考慮し
ないために非効率的である。DPCMを用いない方法に
ついて簡略に説明すれば、オリエンテーション補間ノー
ドのフィールドデータを入力してキー値を四元数(qu
aternion)空間での値に変換する。
【0007】次いで、キーやキー値のデータ精度を調整
して量子化し、量子化されたフィールドデータを2進法
の形態のデータとして出力する。続いて、量子化結果を
確認するために出力された2進法の形態のデータをフィ
ールドデータで逆量子化して復元し、復元された四元数
値を回転軸と回転角よりなるキー値の形に各々マッピン
グさせる。
【0008】引き続き、復元されたオリエンテーション
補間ノードのフィールドデータを記憶し、これを画面に
出力し、またこれより量子化誤差に対する視覚的歪曲を
測定する。歪曲は下記式(10)を用いて測定すること
ができる。
【0009】
【数10】
【0010】前記式(10)中、Nはフィールドデータ
の数を、εは現在符号化する値Qと復元した値であ
る下記(S1)との差を表わす。
【0011】
【数11】
【0012】次いで、DPCMを使用する方法は、連続
したデータ間の相関性を考慮することにより、前述した
DPCMを用いない方法に比べて符号化効率を高めるこ
とができる。このDPCMを使用する方法を、DPCM
を用いない方法と比較してその違いを簡略に説明すれば
次の通りである。すなわち、DPCMを使用する方法に
おいては、量子化を実行する前に復元されたキー値と、
現在符号化するキー値との差値を計算し、その差値を線
形量子化する。この方法により、このような差分計算で
得られたデータ特性は、符号化効率をある程度向上させ
ることに寄与する。
【0013】図1は、従来の一般のDPCMの原理を説
明するための図面である。DPCM部100は、加算器
102を通して以前に復元された値である下記(S2)
と現在符号化する値Qとの差Eを計算する。このよ
うに計算された値は、量子化器120で量子化された後
(この量子化された値を下記(S3)で表わす。)、受
信地に伝送され、一方逆量子化器140を通して逆量子
化される(この逆量子化された値を下記(S4)で表わ
す。)。逆DPCM部160は加算器162を通して逆
量子化された値に以前に復元された値を足して現在符号
化された値の復元値を計算する。
【0014】
【数12】
【0015】
【数13】
【0016】
【数14】
【0017】しかしながら、球面線形補間により連続し
たキー値の間を補間するオリエンテーション補間器で
は、図1に示すようなDPCM方式は高い効率を発揮す
ることができない。これは物体の回転位置を決定するキ
ー値を四元数空間上で分析すれば理解し易い。
【0018】3次元空間上で物体の回転位置を決定する
1つのキー値を四元数空間上に表現するとき(q)、こ
れは回転軸とその回転角との組み合わせの形に表現され
る。下記式(2−1)はオリエンテーション補間器がキ
ー値を表現する方法であり、下記式(2−2)はこれを
四元数に変換する式である。
【0019】
【数15】
【0020】
【数16】
【0021】前記式(2−2)から明らかなように、四
元数空間上ではもし2つ四元数が回転軸ベクトル及びそ
の回転角の値は同一であり、符号上で完全に反対なら
ば、この2つの四元数は完全に同一なものである。これ
は物理的に二回転変換は完全に同一なもので、回転変換
に影響を与える要素は回転軸方向と回転角であるだけ
で、回転軸のベクトルではないということを意味する。
したがって、物体の回転変換を示す四元数表現方法は回
転変換に影響を与える要素の回転軸方向と回転角とをよ
く表現しているものである。
【0022】一方、前記式(2−1)を用いて回転変換
を示すキー値間の時間的差分値を計算する図1に示すよ
うなDPCM方式は、回転軸ベクトルの差を考慮するの
で、経時的な回転軸方向の変化相関関係をよく反映する
ことができず、このことは符号化効率を低下させるとい
う問題を生じさせる。
【0023】
【発明が解決しようとする課題】前記問題点に鑑み、本
発明が解決しようとする課題は、回転差分行列変換を用
いた適応型DPCM処理でオリエンテーション補間ノー
ドのフィールドデータを符号化することによって時間領
域でデータの冗長度(redundancy)を除去す
ると共に、付加的に算術符号化によって量子化されたシ
ンボル間のビットの冗長度(redundancy)を
除去し、なおかつ四元数空間で回転移動の物理的特性を
反映しつつ構成要素のための付加情報を除去してデータ
伝送効率をさらに高め、そして視覚的画質歪曲度をさら
に客観的に測定することができるオリエンテーション補
間ノードの符号化装置及び方法を提供することにある。
【0024】
【課題を解決するための手段】前記課題を達成するため
に、本発明に係る請求項1のオリエンテーション補間ノ
ードの符号化装置は、三次元空間で物体の回転情報を提
供するオリエンテーション補間ノードの符号化装置にお
いて、前記オリエンテーション補間ノードをパージング
(parsing:分析)し、時間軸上で回転移動の変
移が生じた位置情報を示すキーと、その位置情報に対応
する回転情報を示すキー値とから、現在(at pre
sent)符号化するべきフィールドデータを抽出する
ためのフィールドデータ入力部と、前記キー値データを
四元数値(quaternion)に変換した後、前記
四元数値を回転差分(rotationdiffere
ntiation;回転差分)を用いて適応型差分パル
スコード変調処理し、前記キーデータ差分パルスコー
ド変調処理するための適応型差分パルスコード変調処理
部と、前記キーデータ及びキー値データとを量子化して
出力するための量子化部とを含むことを特徴とする。
【0025】本発明に係る請求項2のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項1において、
適応型差分パルスコード変調処理部が、フィールドデー
タ入力部で抽出されたキー値データを四元数値に変換す
るための四元数変換部と、フィールドデータ入力部で抽
出されたキーデータに対し、以前に復元されたキーと現
在符号化するキーとの差値を計算するための差分パルス
コード変調部と、四元数値に変換されたキー値データが
物体の最短回転移動距離で表わされる回転差分変換行列
を生成し、回転差分変換行列に基づいて新しいキー値デ
ータが生成される際に、新しいキー値データに対応する
キーデータの生成を差分パルスコード変調部に反映させ
る回転差分変換部とを含むことを特徴とする。
【0026】本発明に係る請求項3のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項2において、
回転差分変換部が、現在符号化するキー値データと、そ
れ以前に復元された回転差分変換行列を累積して得られ
たデータとの積である回転差分変換行列を生成するため
の回転差分変換行列生成部と、四元数の全ての構成要素
のうちで回転角についての構成要素の値が常に最大にな
るという条件を満たすように前記回転差分変換行列を再
定義して、回転差分変換行列に出力するための構成要素
調整部と、構成要素調整部からの出力に対応して現在復
元された回転差分変換行列を記憶すると共に、それ以前
に復元され、記憶された回転差分変換行列を供給するた
めの遅延部と、遅延部から、以前に復元され、記憶され
た回転差分変換行列を順次受け入れて、以前に復元さ
れ、記憶された回転差分変換行列を累積して得られたデ
ータを出力するための累積部とを含むことを特徴とす
る。
【0027】本発明に係る請求項4のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項3において、
構成要素調整部が、回転差分変換行列における全ての構
成要素のうちで四元数の回転角についての構成要素の値
が最大であるかを判断する条件部と、その判断の結果、
最大でなければ、物体の最短回転移動距離を有するほど
の回転位置を任意に定義して新たなキー値データを生
じ、それに対応するキーデータの発生を前記差分パルス
コード変調部に反映するキー値発生部とを含むことを特
徴とする。
【0028】本発明に係る請求項5のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項1において、
符号化装置が、量子化されたキーとキー値データとを算
術符号化するためのエントロピ符号化部を、さらに含む
ことを特徴とする。
【0029】本発明に係る請求項6のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項5において、
符号化装置が、算術符号化されたデータを2進法の形態
のストリームデータとして出力する出力部をさらに含
み、かつストリームデータの構造は、キーとキー値デー
タとが互いに独立した形態で構成されることを特徴とす
る。
【0030】本発明に係る請求項7のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項において、
符号化装置が、算術符号化されたデータを2進法の形態
のストリームデータとして出力する出力部をさらに含
み、かつストリームデータの構造は、キーとキー値デー
タとが対をなす形態に構成されることを特徴とする。
【0031】本発明に係る請求項8のオリエンテーショ
ン補間ノードの符号化装置は、前記請求項1において、
符号化装置が、出力されたデータの復元結果を画面上で
確認し、量子化誤差に対する視覚的歪曲度を測定するた
めに、復号化部を具備し、出力データが復元される際、
符号化前の情報との視覚的歪曲を回転差分値によって測
定する歪曲測定部をさらに含むことを特徴とする。
【0032】前記課題を解決するための本発明に係る請
求項9のオリエンテーション補間ノードの符号化方法
は、三次元空間で物体の回転情報を提供するオリエンテ
ーション補間ノードの符号化方法において、(a)前記
オリエンテーション補間ノードをパージング(分析)
し、時間軸上で回転移動の変移が発生した位置情報を示
したキーと、その位置情報に対応した回転情報を示した
キー値とで構成される現在符号化するフィールドデータ
を抽出する段階と、(b)前記キー値データを四元数値
に変換した後、回転差分変換行列を用いて適応型差分
ルスコード変調処理し、前記キーデータを差分パルスコ
ード変調処理する段階と、(c)前記キーデータ及び前
記キー値データを量子化して出力する段階とを含むこと
を特徴とする。
【0033】本発明に係る請求項10のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項9におい
て、(b)段階が、(b1)(a)段階で抽出されたキ
ー値データを四元数値に変換する段階と、(b2)四元
数値に変換されたキー値データを物体の最短回転移動距
離で表現した回転差分変換行列を定義する段階と、(b
3)回転差分変換行列に基づいて新たなキー値データが
生じる際、それに対応するキーデータを生じる段階と、
(b4)(a)段階で抽出されたキーデータ及び前記
(b3)段階で生じたキーデータに対し、以前に復元さ
れたキーと現在符号化するキーとの差値を計算する段階
とを含むことを特徴とする。
【0034】本発明に係る請求項11のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項10におい
て、(b2)段階で、回転差分変換行列Q’は、下記
式(1)で定義されることを特徴とする。
【0035】
【数17】
【0036】前記式(1)中、Qは四元数空間に変換
された現在符号化するキー値データを表わし、
i−1 はそれに対する以前まで復元された回転差分変換
行列を累積したデータのコンジュゲート(共役)を表わ
す。
【0037】本発明に係る請求項12のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項10におい
て、(b2)段階の後に、(b2−1)回転差分変換行
列値における四元数の全ての構成要素のうち、回転角に
ついての構成要素の値が常に最大であるという条件を満
たすかを判断する段階と、(b2−2)回転角について
の構成要素の値が常に最大であるという条件を満たさな
いときには、前記回転角についての構成要素の値が最大
になるように前記回転差分変換行列を再定義して前記
(c)段階に出力する段階と、(b2−3)回転角につ
いての構成要素の値が常に最大であるという条件を満た
すときには、そのまま出力する段階とを含むことを特徴
とする。
【0038】本発明に係る請求項13のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項12におい
て、(b2−2)段階は、回転角についての構成要素
値が常に最大であるという条件を満たさないときに、下
記式(7)を用いて新たなキー値データを生成して前記
回転差分変換行列を再定義することを特徴とする。
【0039】
【数18】
【0040】前記式(7)中、Pは新たなキー値データ
を表わし、Bは本来の現在符号化するキー値データを表
わし、Aは以前に符号化されたキー値データを表わし、
ΩはAとBとの回転角を示し、θはAとPとの間の回転
角を表わす。
【0041】本発明に係る請求項14のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項10におい
て、(b3)段階が、前記新たなキー値データが生成さ
れる際、下記式(9)を用いてキーデータを生成するこ
とを特徴とする。
【0042】
【数19】
【0043】前記式(9)中、Kは現在符号化される
現在キーデータを表わし、Ki−1は以前に符号化され
た以前キーデータを表わし、Ωは以前キー値データと本
来の現在符号化されるキー値データとの間の回転角を表
わし、θは以前キー値データと新たなキー値データとの
間の回転角を表わす。
【0044】本発明に係る請求項15のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項9におい
て、符号化方法が、(d)量子化されたキーとキー値デ
ータとを算術符号化する段階をさらに含むことを特徴と
する。
【0045】本発明に係る請求項16のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項15におい
て、符号化方法が、(e)算術符号化されたデータを2
進法の形態のストリームデータとして出力する段階をさ
らに含み、かつストリームデータの構造が、キーとキー
値データとが互いに独立した形態で構成されることを特
徴とする。
【0046】本発明に係る請求項17のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項15におい
て、符号化方法が、(e’)算術符号化されたデータを
2進法の形態のストリームデータとして出力する段階を
さらに含み、かつストリームデータの構造がキーとキー
値データとが対をなす形態に構成されることを特徴とす
る。
【0047】本発明に係る請求項18のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項9におい
て、符号化方法が、(c)段階の後に、出力データを復
元する際、符号化される前の元の情報から復元されるデ
ータの視覚的画質歪曲度を回転差分値について測定する
段階を、さらに含むことを特徴とする。
【0048】本発明に係る請求項19のオリエンテーシ
ョン補間ノードの符号化方法は、前記請求項18におい
て、視覚的歪曲度の測定の根拠となる、量子化誤差であ
るRMS(D)及び最大誤差(D)が、下記式(1
5)または下記式(16)を用いて計算されることを特
徴とする。
【0049】
【数20】
【0050】
【数21】
【0051】前記式(15)及び前記式(16)中、Q
及びQ’は符号化される前の情報と復号化された情報の
四元数値に変換されたキー値データを各々表わす。
【0052】前記課題を解決するための本発明に係る請
求項20のオリエンテーション補間ノードの符号化装置
は、三次元空間上で三次元物体を回転移動するために必
要な回転時間、回転軸、及び回転角を含む回転情報を符
号化する装置において、入力されたキー値を1つの実数
と3つの虚数とで表現した四元数空間上の四元数値に変
換する四元数変換部と、入力されたキー及び前記キー値
を許容誤差範囲内で選別的に選択するキーフレーム除去
部と、選択されたキーを線形差分処理し、選択されたキ
ー値を回転差分処理する線形/回転差分部と、差分処理
されたキーとキー値とを量子化する量子化部と、量子化
されたキー及びキー値の差分値を次の時間に入力される
キー及びキー値の量子化誤差補償のために逆量子化する
逆量子化部と、逆量子化されたキー及びキー値を累積す
る線形/回転積分部と、量子化されたキー値を線形差分
処理する線形差分部と、量子化されたキー及びキー値を
算術符号化するエントロピ符号化部とを含むことを特徴
とする。
【0053】本発明に係る請求項21のオリエンテーシ
ョン補間ノードの符号化装置は、前記請求項20におい
て、前記線形/回転差分部は、物体の現位置から回転移
動した次の位置に対する回転変換を下記式(1)で表わ
される四元数空間で回転差分式を通して連続するキーに
対応するキー値との回転差分を求めて実行することを特
徴とする。
【0054】
【数22】 前記式(1)中、Qは四元数空間に変換された現在符
号化するキー値データを表わし、 i−1 はそれに対
する以前まで復元された回転差分変換行列を累積したデ
ータのコンジュゲートを表わす。
【0055】本発明に係る請求項22のオリエンテーシ
ョン補間ノードの符号化装置は、前記請求項20におい
て、線形/回転差分処理部が、元の回転情報で指定する
回転方向と同じ方向に回転するように回転方向の補正機
能を実行する回転方向補正部を具備することを特徴とす
る。
【0056】本発明に係る請求項23のオリエンテーシ
ョン補間ノードの符号化装置は、前記請求項22におい
て、回転方向補正部が、飽和された回転情報を作って供
給する回転方向飽和部と、回転方向が変更したか否かを
判別する判別部と、その判別部の判別結果に基づいて前
記線形/回転差分部または回転方向飽和部の出力を選択
的に入力されて出力する選択部とを含むことを特徴とす
る。
【0057】本発明に係る請求項24のオリエンテーシ
ョン補間ノードの符号化装置は、前記請求項23におい
て、選択部が、判別部の判別の結果、回転方向が変更さ
れた場合、前記線形/回転差分部から出力される回転
値の代りに回転方向飽和部の出力を入力されて出力さ
せ、そうでない場合には、前記線形/回転差分処理部か
ら出力される回転差分値を入力されて出力させることを
特徴とする。
【0058】本発明に係る請求項25のオリエンテーシ
ョン補間ノードの符号化方法は、キー及びキー値を入力
されて回転情報を符号化する方法において、(a)選択
されたキーを線形差分処理して線形差分値を得て、選択
されたキー値を回転差分処理して回転差分値を得る段階
と、(b)符号化ビット数を減らすために回転差分値を
構成する4つのコンポーネントのうち、第1のコンポー
ネントを除いた残りの3つのコンポーネントのみを符号
化し、復号化部で下記式(39)を用いて復号化された
前記3つのコンポーネントから残り1つのコンポーネン
トを復号化する段階とを含むことを特徴とする。
【0059】
【数23】
【0060】前記式(39)中、下記(S36)は各々
復号化された回転差分値の3つのコンポーネントであ
り、下記(S37)はこれら3つのコンポーネントから
復元された第1のコンポーネントである。
【0061】
【数24】
【0062】
【数25】
【0063】この場合、復元された回転差分値の3つの
コンポーネントの自乗の和が量子化誤差によって1を超
える場合がある。この場合には、復号化部は前記式(3
9)を用いて下記(S37)の値を決定することができ
ない。これは下記(S37)の値がほぼ0に近い値であ
って、量子化部805が量子化することが可能な最小単
位よりも小さな値であることを意味する。物理的には1
80°に近い回転変換が行われることを意味する。
【0064】
【発明の実施の形態】以下、添付した図面に基づいて本
発明の望ましい実施の形態について詳細に説明する。本
発明は、物体の回転情報を提供するオリエンテーション
補間ノードの四元数表現方法及びデータ特性を用いてキ
ー値の冗長度(redundancy)を高め、結果的
に、データ伝送効率をさらに向上させることが可能な符
号化装置及び方法に関する。また、データ圧縮時に誤差
によって発生する視覚的画質歪曲を客観的に測定するこ
とができるエラー測定方法を提示する。
【0065】(第1実施形態) 図2は本発明に係る第1実施形態のオリエンテーション
補間ノードの符号化装置の概略的なブロック図である。
本発明に係る第1実施形態の符号化装置は、大きくオリ
エンテーション補間ードのフィールドデータ入力部2
00、フィールドデータの適応型DPCM処理部、量子
化部220、圧縮された2進法のフィールドデータ出力
部230を具備し、付加的にエントロピ符号化部225
をさらに含んで構成されている。
【0066】ここで、適応型DPCM処理部は、四元数
変換部205、DPCM部210及び回転差分変換部2
15を具備する。また、符号化装置は、出力されたデー
タの復元結果を画面上で確認し、量子化誤差に対する視
覚的歪曲度を測定するために、復号化部を具備する。復
号化部は、エントロピ復号化部235、逆量子化部24
0、逆DPCM部245、逆回転差分変換部250、逆
四元数変換部255、復元されたオリエンテーション補
間ノードのフィールドデータ出力部260及び歪曲測定
部265を具備する。
【0067】図5は、本発明に係る第1実施形態のオリ
エンテーション補間ノードの符号化方法を説明するため
のフローチャートである。以下、図2及び図5に基づい
て本発明に係る符号化装置の動作を詳細に説明する。ま
ず、符号化するオリエンテーション補間ノードのフィー
ルドデータを入力する(第500段階)。具体的には、
フィールドデータ入力部200で、入力されたVRML
データでオリエンテーション補間ノードをパージング
(分析)し、キーとキー値とで構成された符号化するフ
ィールドデータを抽出する。前記キーは時間軸上で回転
移動の変移が生じた位置情報を示し、前記キー値は位置
情報に対応する回転情報を示す。
【0068】次いで、四元数変換部205は、キー値デ
ータを四元数空間に変換した後、回転差分変換部215
は、回転差分変換式によってADPCM(Adapti
ve DPCM)処理し、キーデータをDPCM処理す
る(第510段階)。具体的には、フィールドデータ入
力部200から抽出されたキー値データKV(0≦i
≦N−1)に対するデータ間の冗長度(redunda
ncy)を除去し、データの表現精度を調整する。
【0069】本発明にあっては、特にキー値データに対
するADPCMの処理前に、四元数変換部205を経
る。四元数変換部205はキー値データ、すなわち回転
情報を1つの実数(回転角)と3つの虚数(回転軸)と
で表わされる四元数空間に変換する。次いで、回転差分
変換部215は四元数205から入力された以前のキー
値と現在のキー値との回転差分を計算する。
【0070】従来のキー値データに対するDPCMは、
現在の物体位置pと回転移動後の物体位置qに対する回
転移動距離を計算するものであるが、この回転移動距離
値は、回転軸と回転角とで構成された各構成要素別の差
値として定義される。したがって、従来のオリエンテー
ション補間ノードの符号化方法において、このような構
成要素別の差値のみを考慮する場合に、符号化するデー
タの冗長度(redundancy)が低下すると共
に、物体の移動に対する物理的特性を表現することがで
きなかった。
【0071】これにより、符号化エラーについての視覚
的効果を測定しにくいという問題点があった。また、デ
ータ復元の側面で、キー値データの全てのコンポーネン
ト毎に最大値を有する構成要素を表示するために、図7
(a)に示すように、2ビットの情報を符号化装置から
復号化装置に付加的に伝送する必要があるという短所が
あった。
【0072】したがって、本発明では、オリエンテーシ
ョン補間ノードのキー値間転移動距離を用いた符号化の
ために従来のDPCMとは異なる処理方法を、回転差分
変換部215を通して具現する。回転差分変換部215
は四元数空間で物体の回転は回転軸と回転角との組み合
わせよりなるという事実に基づき、実際の回転移動経路
に伴う回転移動距離も回転軸と回転角とを用いた回転
変換行列式を通して定義可能に、例えば図3のように
構成する。回転差分変換部215に用いられる回転差分
変換行列式の原理は次のように定義される。
【0073】物体の現位置ベクトルを、キーkey=k
i−1でキー値key_valueを下記(S5)で表
わし、物体の回転運動で下記ベクトル(S6)に対する
変位ベクトルを下記(S7)で表わすとき、四元数上で
の回転運動の式は下記式(3)で表わされる。
【0074】
【数26】
【0075】
【数27】
【0076】
【数28】
【0077】
【数29】
【0078】前記式(3)中、下記(S8)は、各々下
記(S9)に対する四元数表現である。
【0079】
【数30】
【0080】
【数31】
【0081】同様にして、キーkey=kで、四元数
上の回転運動の式は、下記式(4)で表わされる。
【0082】
【数32】
【0083】前記式(3)及び前記式(4)より、回転
差分値を求めるための行列の関係式を導出すると下記式
(5)が得られる。
【数33】
【0084】したがって、回転差分を示す四元数変換回
差分の行列関係式は、下記式(1)で定義される。
【0085】
【数34】
【0086】前記式(1)中、Qは四元数空間に変換
された現在符号化するキー値データを表わし、
i−1 はそれに対する以前まで復元された回転差分変換
行列を累積したデータのコンジュゲートを表わす。
【0087】これらの関係式に基づき、図3を参照する
と、回転差分変換部215は、回転差分変換行列生成部
300、構成要素調整部320、累積部335及び遅延
部340を具備する。回転差分変換行列生成部300
は、四元数空間に変換された現在符号化するキー値デー
タを入力し、現在符号化する回転差分変換行列が前記式
(6)で定義されて構成されている。
【0088】構成要素調整部320は、4つの構成要素
v[0]、v[1]、v[2]、v[3]で構成された
回転差分変換行列値(すなわち、回転角と回転軸)のう
ち、第1の構成要素の値v[0]=cos(θ/2)
(但し、θは回転角)が常により大きいという条件を満
足するように、現在符号化する回転差分変換行列を再定
義する。
【0089】遅延部340は、回転差分変換部215の
出力に対応して現在復元された回転差分変換行列を記憶
し、以前に復元された回転差分変換行列を提供する。累
積部335は、遅延部340から順次に移転回転差分
換行列を入力して以前まで復元された回転差分変換行列
を累積させ、その結果を回転差分変換行列生成部300
に出力する。
【0090】構成要素調整部320は、回転情報を構成
する4つの構成要素v[0]、v[1]、v[2]、v
[3]のうち、第1の構成要素の値が他の残りの3つの
構成要素の値よりも常に大きいという条件を満足するた
めに、図4に示すような原理を用いる。
【0091】すなわち、図4において物体がAからBに
Ωだけ回転移動するときには、これに対する回転差分
換行列の構成要素のうちで第1の構成要素が前記条件を
満たさない場合、Aからθだけ最短移動経路に沿って回
転した位置P(A<P<BA、0<θ<Ω)を任意に定
義して上記の条件を満たすように回転差分変換行列を再
定義する方法を使用する。
【0092】ここで、物体の回転移動時に生じる最短移
動経路の選定方法として、2つの四元数の差についての
大きさを比較する方法を使用するが、例えば、開始位置
の四元数Aから回転移動後の位置の四元数Bに向かう2
つの円弧に対する回転移動情報は、四元数Bと四元数−
Bである。
【0093】その際、四元数Aから各四元数Bと、四元
数−Bとの距離差のうちで最小値が最短回転移動経路と
選定される。したがって、このような最短移動経路を満
たす回転差分変換行列に関する関係式は、下記式(7)
で定義される。
【0094】
【数35】
【0095】前記式(7)と併せて、P点の位置をAと
Bとの中間位置(θ=Ω/2)と定義する場合、下記式
(8)が導出される。
【0096】
【数36】
【0097】したがって、生成部300から構成要素調
整部320に入力される四元数Q(q、q、q
)の第1のコンポーネントqが4つのコンポーネ
ントのうちで最大値でなければ、キー値発生部310
は、前記式(8)によって、第1構成要素が最大である
という305の条件を満たす新たな物体のキー値、すな
わち、回転情報を以前キー値と現在のキー値から定義す
る。その際、定義された新たな回転情報はフレームバッ
ファ315に記憶されると同時に、回転差分変換行列生
成部300に出力される。
【0098】フレームバッファ315は、現在符号化す
るキー値データを記憶し、キー値発生部310から生じ
たキー値データを順次に記憶してキー値発生部310に
現在及び以前回転情報を提供する。また、θによるキー
値の発生に伴うキーの発生のためにθとΩ及び該当キー
値インデックスをDPCM部210に提供する。DPC
M部210においてキーの発生式は、下記式(9)で表
わされる。
【0099】
【数37】
【0100】フィールドデータ入力部200から抽出さ
れたキーデータK、0≦i≦N−1は、DPCM部2
10に入力される。DPCM部210は、また回転差分
変換部215により新たなキーを生成する。DPCM部
210では、第1のキーデータKはそのまま出力し、
残りのキーデータは以前に復元されたキーKi−1と現
在符号化するキーKとの差値KDを計算して出力す
る。DPCM部210は、データ間の冗長度(redu
ndancy)を除去し、データ表現精度を調整するこ
とによって実際圧縮過程を実行する。
【0101】前述したように、構成要素調整部320
で、四元数の第1の構成要素の値が常に最大になるよう
に調整することによって、従来に全てのキー値毎に提供
すべき2ビットの付加情報、すなわち、4つの構成要素
のうち、何番目の構成要素が最大であるかを表示する情
報を、初期キー値を除いて復号化装置に伝送する必要が
ない。
【0102】したがって、MPEG−4 BIFS標準
によって、図7(a)に示すような従来の構文は、図7
(b)に示すような本発明によって改善された構文に変
更することができる。これによって、実際にN個のキー
値データを符号化する場合に、従来の付加情報によるビ
ット発生量に比べて2(N−1)ビットの情報量をさら
に減らすことができる。
【0103】再び図5を参照すると、第510段階の後
にADPCM処理されたキーとキー値データとを量子化
し(第520段階)、量子化された値のビットの冗長性
(redundancy)を除去するために量子化され
たキーとキー値データとを算術符号化して2進法の形態
のストリームデータとして出力する(第530段階)。
【0104】実際に符号化するデータ量を、さらに効率
よく減らすための重要な要素として、ビットの冗長度
(redundancy)を除去することが挙げられ
る。すなわち、量子化されたビットは相互の間で冗長度
(redundancy)を有しているが、これを除去
するための公知された方法として、可変長符号化(VL
C:Variable LengthCoding)方
法、シンボルパターンを用いたハフマン符号化方法等が
挙げられる。
【0105】本発明では、シンボルの発生頻度を、条件
付き確率を用いて計算してビットの冗長度(redun
dancy)を除去することができる算術的符号化方法
を使用する。図2において、エントロピ符号化部225
は、このような方法を実行し、圧縮された2進法のフィ
ールドデータ出力部230は符号化されたデータを2進
法の形態のストリームデータとして出力する。
【0106】ここで、ストリーミング段階で考慮される
事項はストリーミングサービスの形態及び機能によるス
トリームデータの構造決定問題である。図6(a)及び
図6(b)は、2種類のストリームデータの構造を示す
図面である。図6(a)はサービスのリアルタイム性を
考慮しない場合に提供される最も簡単な形のデータ構造
であって、キーデータを復元時間だけ復号化装置で遅延
現象が生じる。
【0107】図6(a)は図6(b)に比べて符号化装
置の処理費用が安く、復号化装置の処理費用は高いとい
う特性を有している。図6(b)はデータサービスのリ
アルタイム性及び付加的な機能性を提供することが可能
なデータ構造であって、1つのキーと該当キー値とを復
元すると同時に、これに対する視覚化が可能な構造であ
る。
【0108】また、こういう構造の下で付加することが
できる機能としてエラー強靭性(耐エラー性)を挙げら
れる。これは現在データに損失があっても以前データと
次に復元するデータのみあれば損失のあるデータをある
程度復元できる機能を提供することができる。図6
(a)及び図6(b)に示されたデータ構造を提供する
ために、符号化するデータは図2で200−>205−
>215−>210−>220−>225の順序を経て
符号化される。但し、225においてキー、キー値を算
術符号化する。図6(a)及び図6(b)のデータ構造
によってキーとキー値との符号化順序が変わる。
【0109】再び図5を参照すると、第530段階後
に、符号化された出力データを前述した符号化の逆過程
で復元し、その結果によって符号化装置の性能を評価す
るための視覚的歪曲度を測定する(第540段階)。歪
曲測定部265は符号化された出力データを復元すると
き、符号化以前情報との視覚的歪曲を回転差分値によっ
て測定する。このために、復号化部は図2において23
5〜260のように構成され、これらの処理過程は符号
化の逆過程である。
【0110】符号化装置の性能は、データ減縮量による
視覚的歪曲でその特性値が提供される。従来の符号化方
法は符号化器の性能を測定するために、例えば、数式1
を用いてその特性値を提供する。しかしながら、この方
法は回転のための各構成要素別に量子化誤差を計算する
ことによって前述したように四元数の特性を正しく反映
できないために、実際の回転運動に対する視覚的歪曲度
を客観的に表現できない問題がある。
【0111】したがって、本発明に係る符号化装置は、
四元数の特性を満たす面で量子化による視覚的歪曲度を
客観的に測定することが可能な改善された歪曲測定部2
65をより含む。歪曲測定部265は、物体表面内の全
ての点を単位球面上の点と見なして量子化誤差を測定す
るが、これについての基本原理は次の通りである。
【0112】量子化誤差は、この2つの回転変換の差値
と定義される。すなわち、オリエンテーション補間ノー
ドのキー値を下記(S10)とし、これを、復号化部を
通して復元したキー値を下記(S11)とする場合(但
し、下記(S12)は回転軸を、θは回転角を各々表わ
し、回転角の範囲は下記(S13)を満たす)、下記
S14)のベクトルは、単位球面上の任意の位置ベク
トルであって下記(S15)の関係を満たす。
【0113】
【数38】
【0114】
【数39】
【0115】
【数40】
【0116】
【数41】
【0117】
【数42】
【0118】
【数43】
【0119】前記(S10)と前記(S11)により、
前記(S14)の任意の位置ベクトルから下記ベクトル
S16)及び下記ベクトル(S17)への回転変換が
実行されるときに生じる量子化誤差は、下記ベクトル
(S16)と下記ベクトル(S17)との差として計算
される。量子化誤差ベクトルでは、下記(S19)が下
記(S18)の関係を成立させる。この下記(S18)
の関係式を用いて単位球面上の全ての点に対して、量子
化誤差ベクトルである下記(S19)を求める際、球面
全体に対してRMS D及び最大誤差Dは、下記式
(10)で求められる。
【0120】
【数44】
【0121】
【数45】
【0122】
【数46】
【0123】
【数47】
【0124】
【数48】
【0125】一方、前記ベクトル(S16)と前記ベク
トル(S17)との関係は、下記式(11)のような回
転変換の関係式で表わされる。
【0126】
【数49】
【0127】前記式(11)の関係式から導出される量
子化誤差ベクトルは、下記式(12)で定義される。
【0128】
【数50】
【0129】前記式(10)及び前記式(12)によっ
て新たに導出されるRMS D及び最大誤差Dは、
下記式(13)で定義される。
【0130】
【数51】
【0131】一方、前記任意の位置ベクトル(S1
4)、ベクトル(S16)及びベクトル(S17)を四
元数空間で表現すれば、下記(S20)で定義される。
【0132】
【数52】
【0133】このとき、回転変換を示す下記(S10)
と下記(S11)とを四元数空間で表現したものを各々
QとQ’とする場合、下記(S21)及び下記(S2
2)の関係式が導出される。
【0134】
【数53】
【0135】
【数54】
【0136】
【数55】
【0137】
【数56】
【0138】前記(S21)及び(S22)中、A*B
の形態は四元数乗算を表わし、Aの形態はAのコンジ
ュゲート(共役)を意味する。これら(S21)及び
(S22)の関係式によって下記式(S23)が導出さ
れる。
【0139】
【数57】
【0140】前記式(S23)中、Q”は下記ベクトル
と下記ベクトル間の回転変換関係を表わす値であって、
下記式(14)で定義される。
【0141】
【数58】
【0142】したがって、前記式(13)及び前記式
(14)を用いて、単位球面全体に対する量子化誤差の
RMS D及び最大誤差Dは、それぞれ下記式(1
5)、及び下記式(16)で定義される。
【0143】
【数59】
【0144】
【数60】
【0145】前記式(15)及び前記式(16)は、四
元数空間で物体の回転と移動に対する物理的特性を反映
しており、したがって、前記式(1)に比べてより正確
な測定値を与える。このことに基づき、本発明にあって
は、前記式(15)または前記式(16)を歪曲測定部
265で用いるように構成することによって、四元数空
間で従来の方法よりも正確かつ客観的に量子化誤差によ
る視覚的歪曲度を測定することができるという特徴を有
するものである。
【0146】(第2実施形態) 図8は、本発明に係る第2実施形態のオリエンテーショ
ン補間ノードの符号化装置の概略的なブロック図であ
る。図8を参照すると、符号化装置は大きくオリエンテ
ーション補間ノードのフィールドデータ入力部800、
フィールドデータ処理部、量子化部805、線形差分
807、圧縮された2進法のフィールドデータ出力部8
10を具備し、付加的にエントロピ符号化部809をさ
らに含む。フィールドデータ処理部は四元数変換部80
1、キーフレーム除去部802、線形/回転差分部80
3を具備し、付加的に逆量子化部806、遅延部81
9、線形/回転積分部804をさらに具備する。
【0147】四元数変換部801は、キー値を四元数値
に変換する。キーフレーム除去部802は、四元数変換
部801からの四元数値及びオリエンテーション補間ノ
ードのフィールドデータ入力部800からのキーから、
連続した時間変化による回転変換の類似性を用いて許容
誤差範囲内でキーフレーム及びキーを各々除去して選択
されたキーフレーム及びキーを出力する。
【0148】線形/回転差分部803は、選択されたキ
ー値及びキーを入力されてキーの差値と四元数値との回
差分を求める。量子化部805は、線形/回転差分
803により変換された値を量子化する。線形差分部8
07は、量子化された四元数値の線形差分を求める。エ
ントロピ符号化部809は、ビットの冗長度(redu
ndancy)を除去する。
【0149】一方、量子化器805からの出力を入力さ
れて逆量子化する逆量子化部806、逆量子化部806
の出力を遅延させる遅延部819及び遅延部819の出
力を回転積分して線形/回転差分部803にフィードバ
ックする線形/回転積分部804をさらに具備する。
【0150】また、符号化装置は、出力されたデータの
復元結果を画面上で確認し、量子化誤差に対する視覚的
歪曲度を測定するために、フィールドデータ処理部のう
ちでキーフレーム除去部802を除いた残りの処理過程
を逆に実行するための復号化部を具備する。復号化部
は、エントロピ復号化部811、線形積分部813、遅
延部821、逆量子化部814、線形/回転積分部81
5、遅延部822、逆四元数変換部816、オリエンテ
ーション補間ノードのフィールドデータ出力部817及
び歪曲測定部818を具備する。
【0151】歪曲測定部818は、データ縮小量に対し
て視覚的画質歪曲度を測定する。測定値は符号化器の特
性値として用いられる。本実施形態によって歪曲測定部
818は、回転変換の特性を反映して量子化による視覚
的画質歪曲度をさらに客観的に測定されるが、その基本
原理を説明すれば次の通りである。
【0152】量子化誤差は、元の回転変換と復元された
回転変換との差分回転変換で差分回転角として定義され
る。すなわち、オリエンテーション補間ノードに属する
1つのキー値を下記(S24)、復号化部を通して復元
されたキー値を下記(S25)とする場合(但し、下記
(S26)のベクトルは回転軸を、θは回転量を表わ
し、その範囲はθ∈[−π、π]を満たす)、下記(S
24)と下記(S25)とにより、三次元空間上の任意
の位置ベクトルである下記(S14)から下記(S1
)及び下記(S17)への回転変換が実行される際に
生じる量子化誤差は、下記(S16)と下記(S17
との差から求められる。
【0153】
【数61】
【0154】
【数62】
【0155】
【数63】
【0156】
【数64】
【0157】
【数65】
【0158】
【数66】
【0159】これは量子化誤差ベクトルで、下記(S2
8)の関係を成立させる。下記(S29)を四元数で表
現すると、下記式(17)で定義される。
【0160】
【数67】
【0161】
【数68】
【0162】
【数69】
【0163】回転変換を表わす下記(S24)と下記
(S25)とを、四元数で表現したものを各々QとQ’
とすると、下記式(18)が導出される。
【0164】
【数70】
【0165】
【数71】
【0166】
【数72】
【0167】前記式(18)中、A*Bの形態は四元数
乗算を意味し、Aの形態はAのコンジュゲート(co
njugate;共役)を意味する。そして、前記式
(18)より、下記式(19)が導出される。
【0168】
【数73】
【0169】前記式(19)中、Q”は下記(S16
と下記(S17)との回転変換関係を表わす値として、
下記式(20)で定義される。
【0170】
【数74】
【0171】
【数75】
【0172】
【数76】
【0173】したがって、前記(S16)のベクトルと
前記(S17)のベクトルとの差分回転角を下記(S2
6)とすれば、下記(S26)は、四元数変換式である
下記式(6)と前記式(20)とから導出される下記式
(21)から求められる。
【0174】
【数77】
【0175】
【数78】
【0176】
【数79】
【0177】前記式(21)中、「・」は内積(inn
ner product)を意味する。前記式(21)
は、全体のアニメーション(動画)キーフレームのう
ち、何れかの特定時間における瞬時量子化誤差を表わ
し、これを全体のアニメーション(動画)区間に対する
量子化誤差を求める式で導出する。この特定時間tにお
ける瞬時量子化誤差は、下記式(22)で表わされる。
【0178】
【数80】
【0179】前記式(22)を、オリエンテーション補
間方法を通してアニメーション(動画)を実行するキー
フレーム全体に適用すれば、このキーフレームの全区間
[y、t]における平均誤差E及び最大誤差E
を導出する式は、下記式(23)で表わされる。
【0180】
【数81】
【0181】前記式(23)中、平均誤差Eを求める
ために、区間[ti−1、t]で部分和である下記式
(24)を先に求める。
【0182】
【数82】
【0183】一方、下記(S27)が成立するため、下
記式(25)が導出される。
【0184】
【数83】
【0185】
【数84】
【0186】なお、前記式(25)では、下記(S2
8)の関数の積分区間[0、1]の定積分を求めること
が困難であるため、この(S28)の関数を近似化した
下記式(26)および下記式(27)を用いる。
【0187】
【数85】
【0188】
【数86】
【0189】
【数87】
【0190】前記式(26)(27)中、下記(S2
9)が成立している。
【0191】
【数88】
【0192】そして、前記(S28)の関数を近似化し
た前記式(26)及び前記式(27)を用いて部分和で
ある前記式(25)を変形すると、下記式(28)が導
出される。
【0193】
【数89】
【0194】前記式(28)を整理すると、下記式(2
9)が導出される。
【0195】
【数90】
【0196】また、部分和である前記式(29)におい
て、全体区間[t、t]にわたる加算を実行した
後、平均誤差Eを求めると、下記式(30)が導出さ
れる。
【0197】
【数91】
【0198】また、最大誤差Eは、各区間
[ti−1、t]での最大誤差を下記式(31)に従
って算出し、その中の最大値から求められる。
【0199】
【数92】
【0200】前記式(31)を、前記(S28)の関数
を近似化した前記式(26)及び前記式(27)を用い
て近似すれば、下記式(32)が導出される。
【0201】
【数93】
【0202】このとき、前記の全体区間[t、t
で求めた最大値は下記式(33)で表わされる。
【0203】
【数94】
【0204】したがって、歪曲測定部818は、前記式
(32)、前記式(33)に基づいて歪曲を測定するこ
とによって、四元数空間上でさらに客観的に量子化誤差
による視覚的歪曲度を測定することができる。
【0205】キーフレーム除去部802は、前述したよ
うに、連続した時間変化による回転変換の類似性を用い
て許容誤差範囲内でキーフレームを除去する。このよう
なキーフレーム除去方法は、損失符号化方法の1つであ
る。従来のMPEG−4 BIFSにおいては、キーフ
レームアニメーション(動画)を損失符号化するに際し
て、全てのキーフレームのキー値に対して一律に低いビ
ットの量子化を実行する方法を採用していた。
【0206】しかしながら、この方法によれば、実際に
それぞれのキーフレームが視覚的画質低下に寄与する程
度が反映されないために、低いビットの量子化を行えば
深刻な画質低下を引き起こすという問題がある。そこ
で、キーフレーム除去部802は、各キーフレームに対
し比較的高いビットで量子化を実行する一方、視覚的画
質をなるべく阻害しないような順序でキーフレームを除
去することにより、従来の方法とほぼ同程度の量の情報
を生成し、かつ優れた画質を保持する。
【0207】以下、図14から図19を参照しながら、
キーフレーム除去部802におけるキーフレームの除去
過程について詳細に説明する。第1段階では、図14に
示すように、黒点が元のアニメーション(動画)経路
で、n+1個の時間における各キーフレームのキー値
(=Q、Q、Q、…、Q)を表示する。
【0208】第2段階では、図15に示すように、まず
アニメーション(動画)経路にある各キーフレームのう
ち、両端に該当する2つのキーフレーム(=Q
)を選択する。このように選択された点は白(ブラ
ンク)表示されている。
【0209】第3段階では、図16に示すように、前記
の選択された両端の2つのキーフレームを除いた残りの
キーフレームのうちから1つのキーフレームを選択す
る。その際、1つのキーフレームを選択する方法は全部
でn−1通りある。図16では2つの候補を選択した例
が示され、これらのキーフレーム(=Q、Q)は斜
線の点で表示される。次いで、選択されていないn−1
の候補に対し、キーフレームのキー値を選択された全部
で3つのキーフレームであるQ、Q及びQ、また
は、Q、Q及びQを用いて球面線形補間を実行す
る。
【0210】第4段階では、元のアニメーション経路と
補間されたn−1のアニメーション(動画)経路を比較
して、アニメーション軌跡の誤差が最小となるアニメー
ション経路を選択し、このように選択されたれアニメー
ション経路より、n−1の候補キーフレームの中から選
択されたアニメーション経路に対応するキーフレームを
選択する。なお、軌跡間の誤差は、前述した平均誤差E
を用いて求めることができる。
【0211】第5段階では、図17に1例を示すよう
に、候補2の軌跡が選択される。第6段階では、図18
に示すように、選択された3つのキーフレームを除いた
残りのキーフレームの中から1つのキーフレームを選択
する。次いで、前記第3段階及び第4段階を実行する。
【0212】第7段階では、図19に1例を示すよう
に、候補1の軌跡が選択される。第8段階では、前記第
6段階及び第7段階を、平均誤差が許容誤差よりも小さ
くなるまで繰返し実行する。
【0213】線形/回転差分部803は、四元数空間で
回転差分式を通して連続するキーに対応するキー値間の
回転差分を求めるものである。従来の線形差分方法にお
いては、現在のキーに対応する物体の回転変換四元数Q
と次のキーに対応する物体の回転変換四元数Q間の
線形差分を計算し、その式は下記式(34)で表わされ
る。
【0214】
【数95】
【0215】このように四元数コンポーネント毎の差値
のみを考慮する従来の線形差分方法では、実際の回転変
換を考慮した回転差分値を表わすことができないので、
符号化するデータの冗長度(redundancy)を
減少させる。また、符号化されるビット数を減らすため
に4つの四元数コンポーネントのうち、最大値を有する
コンポーネントを除いた残りの3つのコンポーネントの
みを符号化する。このような従来の線形差分方法では、
データの復元を実行する面で、全てのキー値毎に最大値
を有するコンポーネントを表示するために、付加的に2
ビットの情報を符号化器から復号化器に向けて送信する
べきである。
【0216】したがって、本発明に係る第2実施形態に
あっては、線形/回転差分部803は、オリエンテーシ
ョン補間ノードにおけるキー値間の回転変換の差分を用
いて符号化するために、従来の線形差分方法とは異なる
線形/回転差分方法を使用する。より具体的な方法は次
の通りである。
【0217】物体の現在の位置ベクトルを下記(S6)
とし、キーkey=ki−1でキー値key_valu
eを下記(S30)とし、物体の回転運動で下記(S
6)の位置ベクトルに対する変位ベクトルを下記(S3
1)とするとき、四元数上での回転運動の式は下記式
(35)で表わされる。
【0218】
【数96】
【0219】
【数97】
【0220】
【数98】
【0221】
【数99】
【0222】前記式(35)中、下記(S32)は、下
記(S33)に対する四元数表現である。同様にして、
キーkey=kで、四元数上での回転運動式は下記式
(36)で表わされる。
【0223】
【数100】
【0224】
【数101】
【0225】
【数102】
【0226】一方、下記(S34)と下記(S35)よ
り、回転の差分値を求める行列の関係式を導出すると下
記式(37)で表わされる。
【0227】
【数103】
【0228】
【数104】
【0229】
【数105】
【0230】したがって、回転の差分を表わす四元数変
換の回転差分の行列の関係式は、下記式(1)で定義さ
れる。
【0231】
【数106】
【0232】前記式(1)中、Qは四元数空間に変換
された現在符号化するキー値データを表わし、
i−1 はそれに対する以前まで復元された回転差分変換
行列を累積したデータのコンジュゲートを表わす。
【0233】本発明に係る第2実施形態では、符号化ビ
ット数を減らすために回転の差分値を構成する4つのコ
ンポーネントのうち、第1のコンポーネントを除いた残
り3つのコンポーネントのみが符号化される。これによ
り、復号化部は3つのコンポーネントを用いて残り1つ
のコンポーネントを復元する。
【0234】具体的な復号化方法は次の通りである。符
号化された全ての回転差分値は単位四元数表現値として
表示される。したがって、回転差分を表示する四元数の
大きさ(norm)は常に1である。これに基づいて下
記式(39)によって残り1つのコンポーネントを復元
することができる。
【0235】
【数107】
【0236】前記式(39)中、下記(S36)は各々
復号化された回転差分値の3つのコンポーネントであ
り、下記(S37)はこれら3つのコンポーネントから
復元された第1のコンポーネントである。この場合、復
元された回転差分値の3つのコンポーネントの自乗の和
が量子化誤差によって1を超える場合がある。
【0237】この場合には、復号化部は前記式(39)
を用いて下記(S37)の値を決定することができな
い。これは下記(S37)の値がほぼ0に近い値であっ
て、量子化部805が量子化することが可能な最小単位
よりも小さな値であることを意味する。物理的には18
0°に近い回転変換が行われることを意味する。
【0238】
【数108】
【0239】
【数109】
【0240】したがって、復号化部では、このような場
合に、前記(S37)の値を決定することが可能な方法
を有するべきであり、さらに決定された前記(S37)
の値が他の3つのコンポーネントに与える影響を最小化
する必要がある。1例として、前記(S37)の値を量
子化の最小単位値mまたはその比例倍数値として決定す
ることができる。このような場合に、前記(S37)の
値を決定することが可能な具体的な式は、下記式(4
0)で表わされる。
【0241】
【数110】
【0242】前記式(40)中、αは比例定数であり、
mは量子化ビット数である。このような方法は、従来の
線形差分方法において全てのキー値毎に必ず与えるべき
2ビットの付加情報をこれ以上復号化器に伝送する必要
がないという長所を提供する。
【0243】また、図13に示されるように、本発明に
係る第2実施形態では、(a)の従来の線形差分方法で
のシンタックス(syntax)から(b)のシンタッ
クスを導出することが可能である。これによって、実際
にN個のキー値を符号化する場合、従来の付加情報に対
するビット発生量に比べて2Nビットの情報量をさらに
減らすことができる。
【0244】図11は、回転差分を用いた四元数符号化
において回転方向誤差を説明するための参考図である。
回転方向誤差は四元数符号化が損失符号化であるために
生じる。図11を参照すると、現在入力される回転情報
による物体の位置をQとし、以前位置をQi−1とす
るとき、位置関係は4つの領域に区分して示すことがで
きる。すなわち、最短距離に沿ってQi−1からQ
回転する場合、2つの位置関係が領域1または領域3の
場合には、Qi−1からQに反時計回り方向に回転す
る。2つの位置関係が領域2または領域4である場合に
は、Qi−1からQに進行する際、時計回り方向に回
転する。
【0245】符号化及び復号化された回転情報を使用し
て物体を回転させる場合には、元の回転情報Qi−1
対応する復号化情報である下記(S38)とQに対応
する下記(S39)の2つの値により復号化部側から物
体を回転させる。再び図11を参照すれば、下記(S3
8)に対して下記(S39)の位置が領域2と3である
場合には反時計回り方向に、領域1と4である場合には
時計回り方向に回転する。
【0246】
【数111】
【0247】
【数112】
【0248】このように、元の回転情報により物体を回
転させる場合と、復号化された回転情報を用いて物体を
回転させる場合、領域2と領域1で各々回転方向が反転
する現象が発生する。これは四元数符号化時に損失符号
化を実行するためにQと前記(S39)とが一致せず
に生じる現象であって、損失符号化では必然的に生じ
る。ところが、領域1と領域2とは決してなくせない領
域なので、回転方向が反転される現象を最小化したり、
回転方向を元の運動方向と一致させたりする動作が必要
となる。本発明に係る第2実施形態では後者の動作を付
加したものである。
【0249】回転方向の補正機能を簡単に説明すれば、
図11を参照して回転方向誤差が発生する領域1と2と
を探してから符号化する差分四元数値を強制的に制御し
て回転方向を元の回転方向と一致させるものである。領
域2でも回転方向の不一致現象が発生するが、領域2
は、領域1とは異なり、元の四元数値と復号化された四
元数値とが近づいて収束する領域であるので、回転方向
の補正機能を作動させず、領域1の場合にのみ回転方向
の補正機能を実行する。
【0250】図9及び図10は、図8に示す符号化装置
の回転方向の補正機能を説明するためのブロック図であ
る。図9を参照すると、回転方向誤差演算部950及び
判別部960は、領域1の場合を探し出す。回転方向誤
差演算部950は、図10に示されるように、3つの
回転四元数値を演算する四元数回転差演算部952、
953、954を具備する。求められた3つの回転差分
値A、B、Cは次の通りである。
【0251】<回転差分値A:Q(Qi−1> ここで回転差分値Aは、元の回転情報により時刻の区間
[ti−1、t]で物体の回転方向を表わす。
【0252】<回転差分値B:> ここで回転差分値Bは、時刻ti−1における符号化誤
差による物体の回転位置の誤差と方向とを表わす。
【0253】<回転差分値C:> ここで回転差分値Cは、時刻tにおいて符号化のため
に供給される差分四元数情報の方向を表わす。判別部9
60は、以上の3つの回転差分値A、B、Cを用いて図
11で説明する領域1を判別し、領域1の場合に選択部
980は、回転方向を飽和値として設定する回転方向飽
和部970から入力を選択して回転方向を元の回転方向
に補正させる。領域1でない場合には、選択部980
は、回転方向の補正機能を経ないように四元数回転差演
算部940の出力を選択して出力させる。
【0254】このときの動作は、前述した差分四元数値
を求めて量子化部805に供給する場合と同一である。
判別部960のさらに具体的な動作原理は次の通りであ
る。判別部960は、5つの論理判断部で構成されてい
るために5つの論理値出力を相互AND演算して出力す
る。判別部960を構成する5つの論理演算は下記(S
40)〜(S44)で表わされる。
【0255】
【数113】
【0256】前記(S40)中、下記(S45)は図1
0の回転差分値AをQとするとき、下記(S46)と
なって、4つの元素のうち、第1構成要素qを除
いた残りの3つの元素よりなる3次元ベクトルである下
記(S47)を意味し、下記(S48)は図10の回転
差分値Cで第1元素を除いた3つの元素よりなる3次元
ベクトルを意味し、下記(S49)は2つの3次元ベク
トル間の内積を意味し、内積が負である場合に論理値A
は「真(true)」であり、負でない場合には「偽
(false)」と定義する。
【0257】
【数114】
【0258】
【数115】
【0259】
【数116】
【0260】
【数117】
【0261】
【数118】
【0262】
【数119】
【0263】前記(S41)中、下記(S50)は、図
10の回転差分値Bで第1元素を除いた3つの元素より
なる3次元ベクトル下記(S51)を意味し、下記(S
52)は、図10の回転差分値Cで第1元素を除いた3
つの元素よりなる3次元ベクトルを意味し、下記(S5
3)は、2つの3次元ベクトル間の内積を意味し、内積
が負の場合には、論理値Bは「真(true)」で、負
でない場合には、論理値Bは「偽(false)」と定
義する。
【0264】
【数120】
【0265】
【数121】
【0266】
【数122】
【0267】
【数123】
【0268】
【数124】
【0269】前記(S42)中、 A,0 は前記論理式
A及びBで説明したように、図10の回転差分値Aで第
1の要素を意味し、この値の絶対値を使用して論理式C
を行った結果、一定の定数ATHよりも大きい場合に、
論理式Cは「真(true)」、そうでない場合には
「偽(false)」と定義する。その際、定数ATH
は0に近い小さな値(例えば、ATH=0.02)に設
定され、実際の動作に応じて適切な値に調整することが
できる。
【0270】
【数125】
【0271】前記(S43)中、 B,0 は、前述した
ように回転差分値Bで第1の要素を意味し、この値の絶
対値を使用して論理式Dの演算を行った結果、一定の定
数ATHよりも大きい場合に論理式Dは「真(tru
e)」、そうでない場合には「偽(false)」と定
義する。その際、定数ATHは論理式Cと同様に設定さ
れる。
【0272】
【数126】
【0273】前記式(S44)中、 C,0 は前記論理
式A及び前記論理式Bと同様に、図10の回転差分値C
における第1の要素を意味し、この値の絶対値を使用し
て論理式Eの演算を行った結果、一定の定数ATHより
大きい場合に論理式Eは「真(true)」、そうでな
い場合には「偽(false)」と定義する。その際、
定数ATHは論理式Cと同様に設定される。
【0274】また、このようにして求められた5つの論
理値全てについて下記(S54)で表わされる論理積演
算を実行すると、図9に示す判別部960の出力結果が
生成される。
【0275】
【数127】
【0276】すなわち、前記論理値が「真(tru
e)」であるならば、選択部980には、回転方向飽和
器970の出力値が入力されてその結果が出力され、前
記論理値が「偽(false)」であるなならば、選択
部980には、四元数回転差演算部940の出力値が入
力されてその結果が出力される。
【0277】次に、回転方向飽和部970の動作は、次
の通り説明される。再び図11を参照すると、領域1の
場合、復号化部で受信した回転位置情報は下記(S5
5)であり、現在入力される回転位置情報はQである
ために、復号化部では物体が時計回りの方向に回転す
る。しかしながら、元の回転方向はQi−1からQ
方向に動くようになっているので、反時計回りの方向に
回転させる必要がある。
【0278】
【数128】
【0279】したがって、図11に示す回転方向飽和部
970では、前記(S55)で表わされる位置で元の回
転方向と同じ方向、すなわち反時計回り方向に最大の動
きを有する回転位置(図11で前記(S55)で表わさ
れる位置)に回転させる必要がある。すなわち、回転方
向飽和部970において、前記(S55)で表わされる
位置で180°に近づく位置まで回転させることができ
る新たな回転情報を設定する。このように設定すること
により、回転方向を元の回転方向と一致させながら回転
位置誤差を最小化することができる。このような回転方
向飽和部970の動作を式で表わすと下記式(41)の
通りである。
【0280】
【数129】
【0281】前記式(41)中、下記(S56)は図9
に示す四元数回転差演算部940の出力値を意味し、δ
は、0に近い小さな定数(例えば、0.001)とす
ることができ、符号化の精度によって適宜決定される。
【0282】
【数130】
【0283】線形差分部807は、キー値の連続した四
元数の線形差分を求める。すなわち、線形/回転差分
803から出力された値が量子化部805を通して量子
化した後、この値の線形差分を求めることで、図12に
示されるようにして生成されるデータの冗長度がさらに
高められ、結果的により大きな符号化効率が得られるよ
うにする。このようにして、キー値データに対して実質
的に2階差分と同様の効果が得られる。
【0284】また、前記の2階差分に比べて、次のよう
な効果が得られる。線形/回転差分部803に対する方
向制御の説明で言及したように、従来の2階差分によれ
ば、前述した本発明に係る符号化に比べて損失符号化で
あるために復号化された回転情報を使用して物体を回転
させるとき、回転方向が反転する現象が発生し、この現
象は、量子化誤差が大きくなればなるほど、発生頻度が
多くなる。
【0285】換言すれば、キー値データに対する2階
は量子化誤差が大きくなる一方、本実施形態で提案さ
れた線形差分部807は、既に量子化が完了したキー値
の四元数に対して線形差分を適用することで、データの
冗長度を高める一方、量子化誤差がこれ以上発生しない
ようにすることができるという長所がもたらされる。
【0286】エントロピ符号化部809は、シンボルの
発生頻度を、条件付き確率を通して計算してビットの冗
長度(redundancy)を除去する算術的符号化
部809を用いて量子化されたデータ308の符号化効
率をさらに向上させる。これにより実際に符号化される
データ量が、より効果的に減縮される。
【0287】前述したような構成に基づいて本発明に係
る第2実施形態の符号化方法を説明すると以下の通りで
ある。本発明に係る第2実施形態例の符号化方法は、オ
リエンテーション補間ノードのフィールドデータのう
ち、キーは以前に復元された値と現在符号化する値との
差値を用いる線形差分(DPCM)に基づく。すなわ
ち、キー値データを四元数空間で回転変換の類似性を用
いて許容される誤差範囲でキーフレームを除去し、回転
差分を用いて 値を求めた後、これらを各々量子化、
線形差分及び算術符号化を通して符号化効率を向上さ
せ、復元された結果の視覚的画質歪曲度を客観的に測定
する。これを段階別に説明すれば次の通りである。
【0288】第1段階では、符号化するオリエンテーシ
ョン補間ノードのフィールドデータを入力してパージン
グ(分析)を実行する。具体的には、VRMLデータを
入力されてオリエンテーション補間ノードをパージング
(分析)し、パージング(分析)された値からキーとキ
ー値とで構成されたフィールドデータを符号化するため
にキーとキー値とを各々抽出する。
【0289】第2段階では、キーフレーム除去部802
が入力されたキーとキー値データとを許容誤差範囲内で
適宜に選択を実行する。第3段階では、線形/回転差分
部803が入力されたキーデータを線形差分処理してデ
ータ間の冗長性(redundancy)を生じさせ、
量子化部805が、これらの量子化を実行する。第4段
階では、線形/回転差分部803が入力されたキー値デ
ータを、回転差分処理を実行する。
【0290】第5段階では、前記第3段階、及び前記第
4段階で量子化部805により量子化されたキー及びキ
ー値の差分値は、次の時間に入力されるキー及びキー値
の量子化誤差を補償するために、逆量子化部806を通
して逆量子化し、遅延部819によって遅延された後、
線形/回転積分部804に累積される。このようにして
累積されたキー及びキー値は次の時間に入力されるキー
及びキー値の差分処理に用いられる。線形/回転積分部
804の累積には、下記式(42)及び式(43)が用
いられる。
【0291】
【数131】
【0292】
【数132】
【0293】前記式(42)中、下記(S57)はj番
目に生成される逆量子化された差分キーであり、前記式
(43)中、下記(S58)はj番目に生成される逆量
子化された差分キー値である。
【0294】
【数133】
【0295】
【数134】
【0296】第6段階では、量子化されたキーを提供す
るサービスの形に合せてエントロピ符号化部809に入
力して算術符号化した後、ストリーミングを実行する。
第7段階では、量子化されたキー値を、線形差分部80
7を通して線形差分した後、エントロピ符号化部809
を通して算術符号化してストリーミングを実行する。こ
のストリーミングを実行する際、特に考慮すべき事項
は、ストリーミングサービスの形態及び機能によるスト
リームデータの構造を如何に決定するかということであ
る。
【0297】すなわち、図6に示すデータ構造(a)
は、サービスのリアルタイム性を考慮しない場合のため
の最も簡単な形態である。この形態によれば、キーの復
元に要する時間だけ復号化部で遅延が発生し、(b)に
比べて符号化処理コストが低くなり、復号化部の処理コ
ストが高くなる。図6に示すデータ構造(b)は、デー
タサービスのリアルタイム性及び付加的な機能性を提供
することが可能な形態である。この形態によれば、1つ
のキーと該当キー値とを復元すると同時に、これらに対
する視覚化が可能であり、さらにエラーにも強い。
【0298】すなわち、現在データに損失が発生しても
以前データと次に復元するデータのみあれば、損失のあ
るデータをある程度までは復元できる機能を提供するこ
が可能となる。図6の(a)及び(b)のデータ構造を
生成するためにはエントロピ符号化部809でキーとキ
ー値との符号化順序のみを調整すればよい。
【0299】第8段階では、2進法のフィールドデータ
出力部810を通して入力された2進法の情報を、キー
フレーム除去部802を除いた符号化部の逆過程を通し
て復号化し、これの視覚的歪曲度を、歪曲測定部818
を通して測定して符号化部の性能を評価する。復号化部
は、前述した符号化過程の逆過程を通して復号化する。
【0300】図20〜図23は、本発明に係る第2実施
形態の復号化過程を、文法表現に変えて表わした1例で
ある。図20に示すような復号化過程が全て行われる
と、歪曲測定部818は、オリエンテーション補間ノー
ドのフィールドデータ入力部300の出力と、オリエン
テーション補間ノードのフィールドデータ出力部817
での出力とを入力されて、前記式(30)や前記式(3
3)を用いて視覚的歪曲度を客観的な数値で測定する。
このとき、用いる前記式(30)や前記式(33)は、
四元数空間上で物体の回転変換に対する物理的な特性を
反映した関係式であって、従来の前記式(1)に比べて
より客観的な測定値を提供する。
【0301】このような段階を通して符号化方法を具現
した本発明に係る第2実施形態はオリエンテーション補
間ノードのフィールドデータを符号化するに当たって、
時間領域でのデータの冗長性(redundancy)
及び量子化されたシンボル間のビットの冗長性を除去
し、四元数空間上で回転変換の物理的特性を反映してデ
ータ伝送効率をより向上させる効果を提供する。
【0302】図24及び図25は、従来のMPEG−4
BIFSのアニメーション符号化方法と本実施形態で
提案したアニメーション符号化方法の歪曲比率(Rat
e−Distortion)を示すグラフである。図2
4及び図25を参照すると、同じ誤差で本実施形態の符
号化方法が相対的に非常に少ないビットを生じているこ
とがわかる。
【0303】
【発明の効果】以上説明した通りに構成される本発明に
よれば、以下の効果を奏する。すなわち、本発明によれ
ば、オリエンテーション補間ノードのフィールドデータ
を符号化するに当たって、時間領域でデータの冗長性
(redundancy)と量子化されたシンボルとの
ビットの冗長性とを除去し、四元数空間で回転移動の物
理的特性を反映しつつも構成要素のための付加情報を除
去してデータの伝送効率をより向上させることができる
オリエンテーション補間ノードの符号化装置及び方法を
提供することができる。
【図面の簡単な説明】
【図1】従来の一般のDPCMの原理を説明するための
図面である。
【図2】本発明に係る第1実施形態におけるオリエンテ
ーション補間ノードの符号化装置の概略的なブロック図
である。
【図3】本発明に係る第1実施形態の回転差分変換部2
15に用いられる回転差分変換行列式の原理を説明する
ための図である。
【図4】本発明に係る第1実施形態の構成要素調整部3
20の原理を説明するための図である。
【図5】本発明に係る第1実施形態のオリエンテーショ
ン補間ノードの符号化方法を説明するためのフローチャ
ートである。
【図6】2種類のストリームデータの構造を示す図面で
あって、図6(a)はサービスのリアルタイム性を考慮
しない場合に提供される最も簡単な形のデータ構造を示
す図であり、図6(b)はデータサービスのリアルタイ
ム性及び付加的な機能性を提供することが可能なデータ
構造を示す図である。
【図7】データ復元の側面で、キー値データの全てのコ
ンポーネント毎に最大値を有する構成要素を表示する必
要があるということを説明するための図である。
【図8】本発明に係る第2実施形態におけるオリエンテ
ーション補間ノードの符号化装置の概略的なブロック図
である。
【図9】図8に示す符号化装置の回転方向の補正機能を
説明するためのブロック図である。
【図10】図8に示す符号化装置の回転方向の補正機能
を説明するためのブロック図である。
【図11】図8に示す符号化装置の回転方向の補正機能
を説明するためのブロック図である。
【図12】生成されるデータの冗長度を高めて、結果的
により大きな符号化効率が得られることを説明するため
の図である。
【図13】本発明に係る第2実施形態で、従来の付加情
報に対するビット発生量に比べて、2Nビットの情報量
をさらに減らすことができることを説明するための図で
ある。
【図14】図8のキーフレーム除去部802において、
キーフレームの除去過程の第1段階を説明するための図
である。
【図15】図8のキーフレーム除去部802において、
キーフレームの除去過程の第2段階を説明するための図
である。
【図16】図8のキーフレーム除去部802において、
キーフレームの除去過程の第3段階を説明するための図
である。
【図17】図8のキーフレーム除去部802において、
キーフレームの除去過程の第5段階を説明するための図
である。
【図18】図8のキーフレーム除去部802において、
キーフレームの除去過程の第6段階を説明するための図
である。
【図19】図8のキーフレーム除去部802において、
キーフレームの除去過程の第7段階を説明するための図
である。
【図20】本発明に係る第2実施形態の復号化過程を、
文法表現に変えて表わした1例の図である。
【図21】本発明に係る第2実施形態の復号化過程を、
文法表現に変えて表わした1例の図である。
【図22】本発明に係る第2実施形態の復号化過程を、
文法表現に変えて表わした1例の図である。
【図23】本発明に係る第2実施形態の復号化過程を、
文法表現に変えて表わした1例の図である。
【図24】従来のMPEG−4 BIFSのアニメーシ
ョン符号化方法と本実施形態で提案したアニメーション
符号化方法の歪曲比率(Rate−Distortio
n)を示すグラフである。
【図25】従来のMPEG−4 BIFSのアニメーシ
ョン符号化方法と本実施形態で提案したアニメーション
符号化方法の歪曲比率(Rate−Distortio
n)を示すグラフである。
【符号の説明】
200 フィールドデータ入力部 205 四元数変換部 210 DPCM部 215 回転差分変換部 220 量子化部 225 エントロピ符号化部 230 2進法のフィールドデータ出力部 235 エントロピ復号化部 240 逆量子化部 245 逆DPCM部 250 逆回転差分変換部 255 逆四元数変換部 260 フィールドデータ出力部 265 歪曲測定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鄭 錫 潤 大韓民国 漢城市 瑞草区 蚕院洞 52 −2番地 新盤浦13次アパート 328棟 601号 (72)発明者 萬 相 玉 大韓民国 漢城市 麻浦区 桃花1洞 357番地 現代アパート 111棟 302号 (56)参考文献 特開 昭63−155365(JP,A) 特開 平4−127279(JP,A) 特開 平5−189541(JP,A) 特開 平7−327231(JP,A) 特開 平8−315171(JP,A) 特開 平9−326990(JP,A) 特開2000−194843(JP,A) 特開2000−224582(JP,A) 特開2002−163678(JP,A) 三木弼一編著,多彩な映像、音声を自 在に符号化する MPEG−4のすべ て,日本,工業調査会,1998年 9月30 日,初版,p.167 ロジャー・リー 著、松田晃一+宮下 健 著訳,JAVA+VRML Jav aとVRML2.0で作るインタラクテ ィブ3Dワールド,日本,プレンティス ホール出版,1997年 6月10日,初版, p.84−86 (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 5/262 - 5/278 G06T 1/00 - 17/50 H03M 7/30 - 7/50

Claims (25)

    (57)【特許請求の範囲】
  1. 【請求項1】 三次元空間で物体の回転情報を提供する
    オリエンテーション補間ノードの符号化装置において、 前記オリエンテーション補間ノードをパージングし、時
    間軸上で回転移動の変移が生じた位置情報を示すキー
    と、その位置情報に対応する回転情報を示すキー値とか
    ら、現在、符号化するべきフィールドデータを抽出する
    ためのフィールドデータ入力部と、前記キー値データを
    四元数値(quaternion)に変換した後、前記
    四元数値を回転差分を用いて適応型差分パルスコード変
    調処理し、前記キーデータ差分パルスコード変調処理
    するための適応型差分パルスコード変調処理部と、前記
    キーデータ及びキー値データとを量子化して出力するた
    めの量子化部とを含むことを特徴とするオリエンテーシ
    ョン補間ノードの符号化装置。
  2. 【請求項2】 前記適応型差分パルスコード変調処理部
    は、前記フィールドデータ入力部で抽出されたキー値デ
    ータを四元数値に変換するための四元数変換部と、前記
    フィールドデータ入力部で抽出されたキーデータに対
    し、以前に復元されたキーと現在符号化するキーとの差
    値を計算するための差分パルスコード変調部と、四元数
    値に変換されたキー値データが物体の最短回転移動距離
    で表わされる回転差分変換行列を生成し、前記回転差分
    変換行列に基づいて新しいキー値データが生成される際
    に、前記新しいキー値データに対応するキーデータの生
    成を前記差分パルスコード変調部に反映させる回転差分
    変換部とを含むことを特徴とする請求項1に記載のオリ
    エンテーション補間ノードの符号化装置。
  3. 【請求項3】 前記回転差分変換部は、現在符号化する
    キー値データと、それ以前に復元された回転差分変換行
    列を累積して得られたデータとの積である回転差分変換
    行列を生成するための回転差分変換行列生成部と、四元
    数全ての構成要素のうちで回転角についての構成要素
    値が常に最大になるという条件を満たすように前記回転
    差分変換行列を再定義して、前記回転差分変換行列に出
    力するための構成要素調整部と、前記構成要素調整部か
    らの出力に対応して現在復元された回転差分変換行列を
    記憶すると共に、それ以前に復元され、記憶された回転
    差分変換行列を供給するための遅延部と、前記遅延部か
    ら、以前に復元され、記憶された回転差分変換行列を順
    次受け入れて、前記以前に復元され、記憶された回転
    変換行列を累積して得られたデータを出力するための
    累積部とを含むことを特徴とする請求項2に記載のオリ
    エンテーション補間ノードの符号化装置。
  4. 【請求項4】 前記構成要素調整部は、前記回転差分
    換行列における全ての構成要素のうちで四元数の回転角
    についての構成要素の値が最大であるかを判断する条件
    部と、前記判断の結果、最大でなければ、物体の最短回
    転移動距離を有する回転位置を定義して新たなキー値デ
    ータを生じ、それに対応するキーデータの発生を前記
    パルスコード変調部に反映するキー値発生部とを含む
    ことを特徴とする請求項3に記載のオリエンテーション
    補間ノードの符号化装置。
  5. 【請求項5】 前記符号化装置は、量子化されたキーと
    キー値データとを算術符号化するためのエントロピ符号
    化部を、さらに含むことを特徴とする請求項1に記載の
    オリエンテーション補間ノードの符号化装置。
  6. 【請求項6】 前記符号化装置は、前記算術符号化され
    たデータを2進法の形態のストリームデータとして出力
    する出力部をさらに含み、かつ前記ストリームデータの
    構造は、キーとキー値データとが互いに独立した形態で
    構成されることを特徴とする請求項5に記載のオリエン
    テーション補間ノードの符号化装置。
  7. 【請求項7】 前記符号化装置は、前記算術符号化され
    たデータを2進法の形態のストリームデータとして出力
    する出力部をさらに含み、かつ前記ストリームデータの
    構造は、キーとキー値データとが対をなす形態に構成さ
    れることを特徴とする請求項に記載のオリエンテーシ
    ョン補間ノードの符号化装置。
  8. 【請求項8】 前記符号化装置は、前記量子化部が出力
    した量子化されたキーデータ及びキー値データが入力さ
    れ、これらのビットの冗長度を除去して符号化するエン
    トロピ 符号化部と、エントロピ符号化部が出力したデー
    タを復号化する復号化部を具備し、前記復号化部が出力
    したフィールドデータと、符号化前のフィールドデータ
    との視覚的歪曲を回転差分値によって測定する歪曲測
    定部をさらに含むことを特徴とする請求項1に記載のオ
    リエンテーション補間ードの符号化装置。
  9. 【請求項9】 三次元空間で物体の回転情報を提供する
    オリエンテーション補間ノードの符号化方法において、
    (a)前記オリエンテーション補間ノードをパージング
    し、時間軸上で回転移動の変移が発生した位置情報を示
    したキーと、その位置情報に対応した回転情報を示した
    キー値とで構成される現在符号化するフィールドデータ
    を抽出する段階と、(b)前記キー値データを四元数値
    に変換した後、回転差分変換行列を用いて適応型差分
    ルスコード変調処理し、前記キーデータを差分パルスコ
    ード変調処理する段階と、(c)前記キーデータ及び前
    記キー値データを量子化して出力する段階とを含むこと
    を特徴とするオリエンテーション補間ノードの符号化方
    法。
  10. 【請求項10】 前記(b)段階は、(b1)前記
    (a)段階で抽出されたキー値データを四元数値に変換
    する段階と、(b2)四元数値に変換されたキー値デー
    タを物体の最短回転移動距離で表現した回転差分変換行
    列を定義する段階と、(b3)前記回転差分変換行列に
    基づいて新たなキー値データが生じる場合には、それに
    対応するキーデータを生じる段階と、(b4)前記(b
    3)段階で生じたキーデータ、または前記(b3)段階
    で新たなキー値データが生じなかった場合には(a)段
    階で抽出されたキーデータに対し、以前に復元されたキ
    ーと現在符号化するキーとの差値を計算する段階とを含
    むことを特徴とする請求項9に記載のオリエンテーショ
    ン補間ノードの符号化方法。
  11. 【請求項11】 前記(b2)段階で、回転差分変換行
    列Q’は、下記式(1)で定義されることを特徴とす
    る請求項10に記載のオリエンテーション補間ノードの
    符号化方法。 【数1】 前記式(1)中、Qは四元数空間に変換された現在符
    号化するキー値データを表わし、 i−1 はそれに対
    する以前まで復元された回転差分変換行列を累積したデ
    ータのコンジュゲート(共役)を表わす。
  12. 【請求項12】 前記(b2)段階の後に、(b2−
    1)回転差分変換行列値における四元数の全ての構成要
    素のうち、回転角についての構成要素の値が常に最大で
    あるという条件を満たすかを判断する段階と、(b2−
    2)前記回転角についての構成要素の値が常に最大であ
    るという条件を満たさないときには、前記回転角につい
    ての構成要素の値が最大になるように前記回転差分変換
    行列を再定義して前記(c)段階に出力する段階と、
    (b2−3)前記回転角についての構成要素の値が常に
    最大であるという条件を満たすときには、そのまま出力
    する段階とを含むことを特徴とする請求項10に記載の
    オリエンテーション補間ノードの符号化方法。
  13. 【請求項13】 前記(b2−2)段階は、前記回転角
    についての構成要素の値が常に最大であるという条件を
    満たさないときに、下記式(7)を用いて新たなキー値
    データを生成して前記回転差分変換行列を再定義するこ
    とを特徴とする請求項12に記載のオリエンテーション
    補間ノードの符号化方法。 【数2】 前記式(7)中、Pは新たなキー値データを表わし、B
    は本来の現在符号化するキー値データを表わし、Aは以
    前に符号化されたキー値データを表わし、ΩはAとBと
    の回転角を示し、θはAとPとの間の回転角を表わす。
  14. 【請求項14】 前記(b3)段階は、前記新たなキー
    値データが生成される際、下記式(9)を用いてキーデ
    ータを生成することを特徴とする請求項10に記載のオ
    リエンテーション補間ノードの符号化方法。 【数3】 前記式(9)中、Kは現在符号化される現在キーデー
    タを表わし、Ki−1は以前に符号化された以前キーデ
    ータを表わし、Ωは以前キー値データと本来の現在符号
    化されるキー値データとの間の回転角を表わし、θは以
    前キー値データと新たなキー値データとの間の回転角を
    表わす。
  15. 【請求項15】 前記符号化方法は、(d)量子化され
    たキーとキー値データとを算術符号化する段階を、さら
    に含むことを特徴とする請求項9に記載のオリエンテー
    ション補間ノードの符号化方法。
  16. 【請求項16】 前記符号化方法は、(e)算術符号化
    されたデータを2進法の形態のストリームデータとして
    出力する段階をさらに含み、かつ前記ストリームデータ
    の構造は、キーとキー値データとが互いに独立した形態
    で構成されることを特徴とする請求項15に記載のオリ
    エンテーション補間ノードの符号化方法。
  17. 【請求項17】 前記符号化方法は、(e’)算術符号
    化されたデータを2進法の形態のストリームデータとし
    て出力する段階をさらに含み、かつストリームデータの
    構造は、キーとキー値データとが対をなす形態に構成さ
    れることを特徴とする請求項15に記載のオリエンテー
    ション補間ノードの符号化方法。
  18. 【請求項18】 前記符号化方法は、前記(c)段階の
    後に、(d)前記(c)段階で量子化されたキーデータ
    及びキー値データについてビットの冗長度を除去して符
    号化する段階と、(e)前記(d)段階で出力したデー
    タを復号化する段階と、(f)前記(e)段階において
    出力したフィールドデータと、符号化前のフィールドデ
    ータとの視覚的歪曲度を回転差分値によって測定する段
    階とをさらに含むことを特徴とする請求項9に記載のオ
    リエンテーション補間ノードの符号化方法。
  19. 【請求項19】 前記視覚的歪曲度の測定の根拠とな
    る、量子化誤差であるRMS(D)及び最大誤差(D
    )が、下記式(15)または下記式(16)を用いて
    計算されることを特徴とする請求項18に記載のオリエ
    ンテーション補間ノードの符号化方法。 【数4】 【数5】 前記式(15)及び前記式(16)中、Q及びQ’は符
    号化される前の情報と復号化された情報の四元数値に変
    換されたキー値データを各々表わす。
  20. 【請求項20】 三次元空間上で三次元物体を回転移動
    するために必要な回転時間、回転軸、及び回転角を含む
    回転情報を符号化する装置において、入力されたキー値
    を1つの実数と3つの虚数とで表現した四元数空間上の
    四元数値に変換する四元数変換部と、入力されたキー及
    び前記キー値を許容誤差範囲内で選別的に選択するキー
    フレーム除去部と、選択されたキーを線形差分処理し、
    選択されたキー値を回転差分処理する線形/回転差分
    と、差分処理されたキーとキー値とを量子化する量子化
    部と、量子化されたキー及びキー値の差分値を次の時間
    に入力されるキー及びキー値の量子化誤差補償のために
    逆量子化する逆量子化部と、逆量子化されたキー及びキ
    ー値を累積する線形/回転積分部と、量子化されたキー
    値を線形差分処理する線形差分部と、量子化されたキー
    及びキー値を算術符号化するエントロピ符号化部とを含
    むことを特徴とするオリエンテーション補間ノードの符
    号化装置。
  21. 【請求項21】 前記線形/回転差分部は、物体の現位
    置から回転移動した次の位置に対する回転変換を、下記
    式(1)で表わされる四元数空間で回転差分式を通して
    連続するキーに対応するキー値との回転差分を求めて実
    行することを特徴とする請求項20に記載のオリエンテ
    ーション補間ノードの符号化装置。 【数6】 前記式(1)中、Qは四元数空間に変換された現在符
    号化するキー値データを表わし、 i−1 はそれに対
    する以前まで復元された回転差分変換行列を累積したデ
    ータのコンジュゲートを表わす。
  22. 【請求項22】 前記線形/回転差分部は、元の回転情
    報で指定する回転方向と同じ方向に回転するように回転
    方向の補正機能を実行する回転方向補正部を具備するこ
    とを特徴とする請求項20に記載のオリエンテーション
    補間ノードの符号化装置。
  23. 【請求項23】 前記回転方向補正部は、飽和された回
    転情報を作って供給する回転方向飽和部と、回転方向が
    変更したか否かを判別する判別部と、前記判別部の判別
    結果に基づいて前記線形/回転差分部または前記回転方
    向飽和部の出力を選択的に入力されて出力する選択部と
    を含むことを特徴とする請求項22に記載のオリエンテ
    ーション補間ノードの符号化装置。
  24. 【請求項24】 前記選択部は、前記判別部の判別の結
    果、回転方向が変更された場合、前記線形/回転差分
    から出力される回転差分値の代りに前記回転方向飽和部
    の出力を入力されて出力させ、そうでない場合、前記線
    形/回転差分処理部から出力される回転差分値を入力さ
    れて出力させることを特徴とする請求項23に記載のオ
    リエンテーション補間ノードの符号化装置。
  25. 【請求項25】キー及びキー値を入力されて回転情報を
    符号化する方法において、(a)選択されたキーを線形
    差分処理して線形差分値を得て、選択されたキー値を回
    差分処理して回転差分値を得る段階と、(b)符号化
    ビット数を減らすために回転差分値を構成する4つのコ
    ンポーネントのうち、第1のコンポーネントを除いた残
    りの3つのコンポーネントのみを符号化し、復号化部で
    下記式(39)を用いて復号化された前記3つのコンポ
    ーネントから残り1つのコンポーネントを復号化する段
    階とを含むことを特徴とするオリエンテーション補間ノ
    ードの符号化方法。 【数7】 前記式(39)中、下記(S36)は各々復号化された
    回転差分値の3つのコンポーネントであり、下記(S3
    7)はこれら3つのコンポーネントから復元された第1
    のコンポーネントである。 【数8】 【数9】
JP2001324068A 2000-10-20 2001-10-22 オリエンテーション補間ノードの符号化装置及び方法 Expired - Fee Related JP3521412B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20000061985 2000-10-20
KR2000-61985 2001-07-07
KR2001-40705 2001-07-07
KR1020010040705A KR100590522B1 (ko) 2000-10-20 2001-07-07 오리엔테이션 보간 노드의 부호화 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2002232897A JP2002232897A (ja) 2002-08-16
JP3521412B2 true JP3521412B2 (ja) 2004-04-19

Family

ID=36274084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001324068A Expired - Fee Related JP3521412B2 (ja) 2000-10-20 2001-10-22 オリエンテーション補間ノードの符号化装置及び方法

Country Status (8)

Country Link
US (1) US6834081B2 (ja)
EP (1) EP1199894B1 (ja)
JP (1) JP3521412B2 (ja)
CN (1) CN1198462C (ja)
CA (1) CA2359260C (ja)
DE (1) DE60118491T2 (ja)
ES (1) ES2261353T3 (ja)
RU (1) RU2224290C2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920143B1 (en) * 1997-03-27 2011-04-05 At&T Intellectual Property Ii, L.P. Method for defining animation parameters for an animation definition interface
JP2002163678A (ja) * 2000-09-13 2002-06-07 Monolith Co Ltd 擬似三次元画像生成方法および装置
US7181071B2 (en) * 2001-11-27 2007-02-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of orientation interpolator node
US7430497B2 (en) * 2002-10-31 2008-09-30 Microsoft Corporation Statistical model for global localization
US7502507B2 (en) * 2002-10-31 2009-03-10 Microsoft Corporation Active embedded interaction code
US7116840B2 (en) * 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
JP4037875B2 (ja) * 2005-02-24 2008-01-23 株式会社東芝 コンピュータグラフィックスデータ符号化装置、復号化装置、符号化方法、および、復号化方法
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US20120029926A1 (en) * 2010-07-30 2012-02-02 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dependent-mode coding of audio signals
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
CN104092467A (zh) * 2014-07-09 2014-10-08 无锡梵天信息技术股份有限公司 一种利用双重四元数压缩矩阵的方法
US10560678B2 (en) 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797836A (en) * 1986-11-19 1989-01-10 The Grass Valley Group, Inc. Image orientation and animation using quaternions
US5511153A (en) * 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
CA2144253C (en) 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
US6204854B1 (en) * 1998-12-04 2001-03-20 France Telecom Method and system for encoding rotations and normals in 3D generated scenes
US6559848B2 (en) * 2000-12-13 2003-05-06 Intel Corporation Coding and decoding three-dimensional data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ロジャー・リー 著、松田晃一+宮下健 著訳,JAVA+VRML JavaとVRML2.0で作るインタラクティブ3Dワールド,日本,プレンティスホール出版,1997年 6月10日,初版,p.84−86
三木弼一編著,多彩な映像、音声を自在に符号化する MPEG−4のすべて,日本,工業調査会,1998年 9月30日,初版,p.167

Also Published As

Publication number Publication date
CA2359260C (en) 2004-07-20
DE60118491D1 (de) 2006-05-18
CN1198462C (zh) 2005-04-20
EP1199894A2 (en) 2002-04-24
CA2359260A1 (en) 2002-04-20
ES2261353T3 (es) 2006-11-16
EP1199894B1 (en) 2006-04-05
DE60118491T2 (de) 2007-05-03
EP1199894A3 (en) 2003-07-09
RU2224290C2 (ru) 2004-02-20
CN1367618A (zh) 2002-09-04
US20020071488A1 (en) 2002-06-13
JP2002232897A (ja) 2002-08-16
US6834081B2 (en) 2004-12-21

Similar Documents

Publication Publication Date Title
JP3521412B2 (ja) オリエンテーション補間ノードの符号化装置及び方法
US7446771B2 (en) Method and apparatus for encoding and decoding an orientation interpolator
US7733345B2 (en) Method and apparatus for encoding and decoding position interpolator
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
WO2006112272A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
JP3699685B2 (ja) 3次元オブジェクトの形態変形情報の符号化方法及びその装置
KR100922510B1 (ko) 영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션
CN100456836C (zh) 编码设备和方法
JP3521411B2 (ja) オリエンテーション補間ノード情報の符号化装置および方法
EP0884693B1 (en) Interpolation method for binary image
KR100590522B1 (ko) 오리엔테이션 보간 노드의 부호화 장치 및 방법
JPH09261660A (ja) 輪郭線符号化方法及び輪郭線符号化装置
JP3699066B2 (ja) グラフィックアニメーションデータの符号化及び復号装置並びにその方法
US5754703A (en) Method for encoding a contour of an object in a video signal
JPH0888848A (ja) 量子化パターンコードブック構成方法
KR100192779B1 (ko) 격자벡터양자화를 이용한 호환 부호기
KR0171750B1 (ko) 피티에스 벡터양자화를 이용한 호환 부호기
JP3965360B2 (ja) 位置インタポレータの符号化/復号化方法、及び装置
JPH10187998A (ja) 映像信号における物体の輪郭線符号化方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040130

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees