JP3094390B2 - 任意形態の物体の境界を含むブロックの変換符号化装置 - Google Patents
任意形態の物体の境界を含むブロックの変換符号化装置Info
- Publication number
- JP3094390B2 JP3094390B2 JP31657196A JP31657196A JP3094390B2 JP 3094390 B2 JP3094390 B2 JP 3094390B2 JP 31657196 A JP31657196 A JP 31657196A JP 31657196 A JP31657196 A JP 31657196A JP 3094390 B2 JP3094390 B2 JP 3094390B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- unit
- transform
- coefficient
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は入力映像信号のうち
任意形態の物体の境界を含むブロックの変換符号化装置
に係り、特に任意形態の物体の境界を含む領域の復元画
質に鑑みて変換係数を選択することにより効率よく変換
符号化を達成する任意形態の物体の境界を含むブロック
の変換符号化装置に関する。
任意形態の物体の境界を含むブロックの変換符号化装置
に係り、特に任意形態の物体の境界を含む領域の復元画
質に鑑みて変換係数を選択することにより効率よく変換
符号化を達成する任意形態の物体の境界を含むブロック
の変換符号化装置に関する。
【０００２】
【従来の技術】一般に、映像信号の冗長性（redundanc
y）を無くしながらデータ量を減らすために変換符号化
を行う。変換符号化においては１画面をＮ×Ｎサイズの
ブロックに分割し、各ブロック毎に変換符号化を行って
空間領域の映像信号を周波数領域の信号に変換する。こ
の変換符号化により信号のエネルギー（変換係数値）は
主に低周波帯域に集中される。この変換符号化において
ＤＣＴ（Discrete CosineTransform)が最も幅広く使わ
れている。また、変換符号化方式は変換係数を量子化
し、量子化されたデータを可変長符号化してデータ量を
さらに圧縮させる符号化技術が提案された。
y）を無くしながらデータ量を減らすために変換符号化
を行う。変換符号化においては１画面をＮ×Ｎサイズの
ブロックに分割し、各ブロック毎に変換符号化を行って
空間領域の映像信号を周波数領域の信号に変換する。こ
の変換符号化により信号のエネルギー（変換係数値）は
主に低周波帯域に集中される。この変換符号化において
ＤＣＴ（Discrete CosineTransform)が最も幅広く使わ
れている。また、変換符号化方式は変換係数を量子化
し、量子化されたデータを可変長符号化してデータ量を
さらに圧縮させる符号化技術が提案された。
【０００３】一方、変換符号化方式はＮ×Ｎサイズの四
角ブロックについて変換符号化を行うので、任意形態の
物体の境界が特定ブロック内に含まれている場合、一般
の変換符号化を行うのは非効率的である。従って、最近
は任意形態の物体の境界がブロック内に含まれている場
合、任意形態の物体の領域とその他の背景領域とを別に
変換符号化する方式が提示された。
角ブロックについて変換符号化を行うので、任意形態の
物体の境界が特定ブロック内に含まれている場合、一般
の変換符号化を行うのは非効率的である。従って、最近
は任意形態の物体の境界がブロック内に含まれている場
合、任意形態の物体の領域とその他の背景領域とを別に
変換符号化する方式が提示された。
【０００４】図１は入力映像信号を符号化する一般の符
号化装置の構成図である。図示したように、一般の符号
化装置は映像分割部１１を備えている。該映像分割部１
１は入力映像をＮ×Ｎサイズのブロックに分割して出力
する。Ｎ×Ｎサイズのブロックはブロック制御部１２及
び第１スイッチ１３に印加される。ブロック制御部１２
はＮ×Ｎサイズの各入力ブロックが任意形態の物体の境
界を含めているかを判断し、その判断結果により第１ス
イッチ１３を制御する。第１スイッチ１３はブロック制
御部１２の制御により映像分割部１１から入力されたＮ
×Ｎサイズのブロックを第１符号化器１４または第２符
号化器１５に印加する。ブロック制御部１２による制御
を詳細に説明するに、ブロック制御部１２による判断に
より入力ブロックが任意形態の物体の境界を含めていな
ければ、入力ブロックを第１符号化器１４に印加するよ
うに第１スイッチ１３を制御し、逆に入力ブロックが任
意形態の物体の境界を含めていれば、入力ブロックを第
２符号化器１５に印加するように第１スイッチ１３を制
御する。第１符号化器１４は一般の変換符号化方式によ
り映像信号ブロックを符号化する。第２符号化器１５は
任意形態の物体の境界を含むブロックのための変換符号
化を行い、これについては後述する。
号化装置の構成図である。図示したように、一般の符号
化装置は映像分割部１１を備えている。該映像分割部１
１は入力映像をＮ×Ｎサイズのブロックに分割して出力
する。Ｎ×Ｎサイズのブロックはブロック制御部１２及
び第１スイッチ１３に印加される。ブロック制御部１２
はＮ×Ｎサイズの各入力ブロックが任意形態の物体の境
界を含めているかを判断し、その判断結果により第１ス
イッチ１３を制御する。第１スイッチ１３はブロック制
御部１２の制御により映像分割部１１から入力されたＮ
×Ｎサイズのブロックを第１符号化器１４または第２符
号化器１５に印加する。ブロック制御部１２による制御
を詳細に説明するに、ブロック制御部１２による判断に
より入力ブロックが任意形態の物体の境界を含めていな
ければ、入力ブロックを第１符号化器１４に印加するよ
うに第１スイッチ１３を制御し、逆に入力ブロックが任
意形態の物体の境界を含めていれば、入力ブロックを第
２符号化器１５に印加するように第１スイッチ１３を制
御する。第１符号化器１４は一般の変換符号化方式によ
り映像信号ブロックを符号化する。第２符号化器１５は
任意形態の物体の境界を含むブロックのための変換符号
化を行い、これについては後述する。
【０００５】一方、第１符号化器１４と第２符号化器１
５には第２スイッチ１６が切換自在に連結されている。
この第２スイッチ１６もブロック制御部１２の制御によ
り動作する。これを詳細に説明すれば、ブロック制御部
１２による判断により入力ブロックが任意形態の物体の
境界を含めていなければ第１符号化器１４の出力を選択
するように第２スイッチ１６を制御し、逆に入力ブロッ
クが任意形態の物体の境界を含めていれば、第２符号化
器１５の出力を選択するように第２スイッチ１６を制御
する。したがって、第２スイッチ１６は入力ブロックに
対する変換符号化されたデータを出力する。
５には第２スイッチ１６が切換自在に連結されている。
この第２スイッチ１６もブロック制御部１２の制御によ
り動作する。これを詳細に説明すれば、ブロック制御部
１２による判断により入力ブロックが任意形態の物体の
境界を含めていなければ第１符号化器１４の出力を選択
するように第２スイッチ１６を制御し、逆に入力ブロッ
クが任意形態の物体の境界を含めていれば、第２符号化
器１５の出力を選択するように第２スイッチ１６を制御
する。したがって、第２スイッチ１６は入力ブロックに
対する変換符号化されたデータを出力する。
【０００６】図２（Ａ）は図１の装置において第２符号
化器の詳細回路図であり、図２（Ｂ）は図２（Ａ）の第
２符号化器において変換係数選択の必要な領域を説明す
るための図である。すなわち、図２（Ａ）は従来の技術
による任意形態の物体の境界を含むブロックの変換符号
化装置である。前述した通り、第２符号化器１５は任意
形態の物体の境界が含まれたブロックのために変換符号
化を行う。変換部２１は映像分割部１１から入力された
Ｎ×ＮサイズのブロックＢｉをＤＣＴ変換してＮ×Ｎ個
の変換係数Ｆ１を生成する。この変換係数Ｆ１は係数選
択部２２に入力される。係数選択部２２は入力されたＮ
×Ｎ個の変換係数Ｆ１のうち特定したＭ個を選択し、こ
れを除いた次の変換係数は０にセットする。係数選択部
２２により選択された選択係数Ｆｓは逆変換部２３に入
力される。逆変換部２３は入力された選択係数Ｆｓを逆
変換してブロックを復元する。これを復元ブロックＢｒ
と称する。復元ブロックＢｒに反復制御部２５に入力さ
れる。反復制御部２５では入力ブロックＢｉと復元ブロ
ックＢｒの平均二乗誤差を計算し、これを予め設定され
た基準値と比較する。反復制御部２５において平均二乗
誤差を計算する際、任意形態の物体の境界を含む領域に
ついてのみ計算する。図２（Ｂ）に示したように、任意
形態の物体の境界を含む領域がＳと示されている際、平
均二乗誤差はＳ領域内の画素についてのみ計算する。反
復制御部２５により計算された平均二乗誤差が予め設定
された基準値のより大きければ、反復制御部２５は復元
ブロックＢｒ内の任意形態の物体の境界を含む領域Ｓの
画素データを入力ブロックＢｉの該当する領域の画素デ
ータに代替して得た再構成ブロックＢｒ’を構成する。
再構成ブロックＢｒ’は変換部２１に入力される。変換
部２１は入力された再構成ブロックＢｒ’をＤＣＴ変換
してＮ×Ｎ個の変換係数を生成して係数選択部２２に出
力する。係数選択部２２によりＭ個の係数が選択され、
逆変換部２３で選択された係数により逆変換を行って復
元ブロックＢｒを生成し、反復制御部２５により入力ブ
ロックＢｉと復元ブロックＢｒの平均二乗誤差を計算す
るなどの過程は平均二乗誤差が予め設定された基準値よ
り小さくなるまで繰り返して行われる。反復制御部２５
により計算された平均二乗誤差が予め設定された基準値
より小さければ係数選択部２２による係数選択を終了さ
せる。係数選択が終了されれば係数選択部２２は選択さ
れた係数を符号化器２４に出力し、符号化器２４は選択
された係数を符号化して符号化されたデータを最終的に
出力する。
化器の詳細回路図であり、図２（Ｂ）は図２（Ａ）の第
２符号化器において変換係数選択の必要な領域を説明す
るための図である。すなわち、図２（Ａ）は従来の技術
による任意形態の物体の境界を含むブロックの変換符号
化装置である。前述した通り、第２符号化器１５は任意
形態の物体の境界が含まれたブロックのために変換符号
化を行う。変換部２１は映像分割部１１から入力された
Ｎ×ＮサイズのブロックＢｉをＤＣＴ変換してＮ×Ｎ個
の変換係数Ｆ１を生成する。この変換係数Ｆ１は係数選
択部２２に入力される。係数選択部２２は入力されたＮ
×Ｎ個の変換係数Ｆ１のうち特定したＭ個を選択し、こ
れを除いた次の変換係数は０にセットする。係数選択部
２２により選択された選択係数Ｆｓは逆変換部２３に入
力される。逆変換部２３は入力された選択係数Ｆｓを逆
変換してブロックを復元する。これを復元ブロックＢｒ
と称する。復元ブロックＢｒに反復制御部２５に入力さ
れる。反復制御部２５では入力ブロックＢｉと復元ブロ
ックＢｒの平均二乗誤差を計算し、これを予め設定され
た基準値と比較する。反復制御部２５において平均二乗
誤差を計算する際、任意形態の物体の境界を含む領域に
ついてのみ計算する。図２（Ｂ）に示したように、任意
形態の物体の境界を含む領域がＳと示されている際、平
均二乗誤差はＳ領域内の画素についてのみ計算する。反
復制御部２５により計算された平均二乗誤差が予め設定
された基準値のより大きければ、反復制御部２５は復元
ブロックＢｒ内の任意形態の物体の境界を含む領域Ｓの
画素データを入力ブロックＢｉの該当する領域の画素デ
ータに代替して得た再構成ブロックＢｒ’を構成する。
再構成ブロックＢｒ’は変換部２１に入力される。変換
部２１は入力された再構成ブロックＢｒ’をＤＣＴ変換
してＮ×Ｎ個の変換係数を生成して係数選択部２２に出
力する。係数選択部２２によりＭ個の係数が選択され、
逆変換部２３で選択された係数により逆変換を行って復
元ブロックＢｒを生成し、反復制御部２５により入力ブ
ロックＢｉと復元ブロックＢｒの平均二乗誤差を計算す
るなどの過程は平均二乗誤差が予め設定された基準値よ
り小さくなるまで繰り返して行われる。反復制御部２５
により計算された平均二乗誤差が予め設定された基準値
より小さければ係数選択部２２による係数選択を終了さ
せる。係数選択が終了されれば係数選択部２２は選択さ
れた係数を符号化器２４に出力し、符号化器２４は選択
された係数を符号化して符号化されたデータを最終的に
出力する。
【０００７】前述した一般の装置において、係数選択部
２２はＮ×Ｎ個の変換係数のうちエネルギーの大きい順
にＭ個の係数を選択する。これはＮ×Ｎサイズのブロッ
ク全体領域の誤差を最小化させる方式である。しかし、
Ｎ×Ｎサイズのブロック内において意味のある部分は任
意形態の物体の境界を含めている領域なので、この変換
係数選択は非効率的な方法である。
２２はＮ×Ｎ個の変換係数のうちエネルギーの大きい順
にＭ個の係数を選択する。これはＮ×Ｎサイズのブロッ
ク全体領域の誤差を最小化させる方式である。しかし、
Ｎ×Ｎサイズのブロック内において意味のある部分は任
意形態の物体の境界を含めている領域なので、この変換
係数選択は非効率的な方法である。
【０００８】
【発明が解決しようとする課題】本発明は前述した事情
に鑑みて案出されたもので、その目的は任意形態の物体
の境界を含めたブロックの変換符号化装置において、係
数選択時全体ブロックに対する復元画質ではなく、ブロ
ック内の任意形態の物体の境界を含めた領域に対する復
元画質に鑑みた変換を行う任意形態の物体の境界を含め
たブロックの変換符号化装置を提供することである。
に鑑みて案出されたもので、その目的は任意形態の物体
の境界を含めたブロックの変換符号化装置において、係
数選択時全体ブロックに対する復元画質ではなく、ブロ
ック内の任意形態の物体の境界を含めた領域に対する復
元画質に鑑みた変換を行う任意形態の物体の境界を含め
たブロックの変換符号化装置を提供することである。
【０００９】
【課題を解決するための手段】前述した目的を達成する
ために本発明は、入力ブロックを変換して変換係数を出
力する変換部と、前記変換係数と入力ブロックを用いて
変換係数を選択して出力する変換係数選択部と、前記変
換係数選択部により選択された変換係数を逆変換して復
元ブロックを出力する逆変換部と、前記変換係数選択部
により選択された選択係数を可変長符号化する符号化部
と、入力ブロックと前記復元ブロックの平均二乗誤差を
計算してこれを予め設定された基準値と比較して係数選
択を続けるかを決定する反復制御部とを含む任意形態の
物体の境界を含むブロックの変換符号化装置を提供す
る。
ために本発明は、入力ブロックを変換して変換係数を出
力する変換部と、前記変換係数と入力ブロックを用いて
変換係数を選択して出力する変換係数選択部と、前記変
換係数選択部により選択された変換係数を逆変換して復
元ブロックを出力する逆変換部と、前記変換係数選択部
により選択された選択係数を可変長符号化する符号化部
と、入力ブロックと前記復元ブロックの平均二乗誤差を
計算してこれを予め設定された基準値と比較して係数選
択を続けるかを決定する反復制御部とを含む任意形態の
物体の境界を含むブロックの変換符号化装置を提供す
る。
【００１０】
【発明の実施の形態】以下、添付した図面に基づき本発
明の望ましい一実施例を詳述する。図３は本発明の望ま
しい一実施例による任意形態の物体の境界を含むブロッ
クの変換符号化装置の構成図である。図示したように、
本発明による任意形態の物体の境界を含むブロックの変
換符号化装置は、入力されたＮ×ＮサイズのブロックＢ
ｉをＤＣＴ変換してＮ×Ｎ個の変換係数Ｆ１を生成する
変換部３１と、前記変換係数Ｆ１と入力ブロックＢｉを
用いて変換係数を選択して出力する変換係数選択部３２
と、前記選択された選択係数Ｆｓを逆変換して復元ブロ
ックを復元する逆変換部３３と、前記選択された選択係
数Ｆｓを可変長符号化する符号化部３４，及び入力ブロ
ックＢｉと前記復元ブロックＢｒの平均二乗誤差を計算
してこれを予め設定された基準値と比較して計算された
平均二乗誤差が基準値より小さければ前記変換係数選択
部３２による係数選択を終結する制御信号を出力する反
復制御部３５とを含む。
明の望ましい一実施例を詳述する。図３は本発明の望ま
しい一実施例による任意形態の物体の境界を含むブロッ
クの変換符号化装置の構成図である。図示したように、
本発明による任意形態の物体の境界を含むブロックの変
換符号化装置は、入力されたＮ×ＮサイズのブロックＢ
ｉをＤＣＴ変換してＮ×Ｎ個の変換係数Ｆ１を生成する
変換部３１と、前記変換係数Ｆ１と入力ブロックＢｉを
用いて変換係数を選択して出力する変換係数選択部３２
と、前記選択された選択係数Ｆｓを逆変換して復元ブロ
ックを復元する逆変換部３３と、前記選択された選択係
数Ｆｓを可変長符号化する符号化部３４，及び入力ブロ
ックＢｉと前記復元ブロックＢｒの平均二乗誤差を計算
してこれを予め設定された基準値と比較して計算された
平均二乗誤差が基準値より小さければ前記変換係数選択
部３２による係数選択を終結する制御信号を出力する反
復制御部３５とを含む。
【００１１】図４は図３の変換係数選択部の詳細構成図
である。図示したように、変換係数選択部は本発明によ
る装置に入力される入力ブロックＢｉを入力され、入力
ブロックＢｉと誤差ブロックのうち一つを選択して選択
されたブロックＢｄを出力するブロック選択部４１と、
変換部３１から入力ブロックＢｉの変換係数を入力され
個別変換係数に対するパターンブロックＢｐ（ｎ）を構
成して出力し、パターンブロックを貯蔵してから選択イ
ンデックスが入力されれば選択インデックスに当たるパ
ターンブロックＢｐ（ｋ）を出力するパターン構成部４
２と、前記パターンブロックＢｐ（ｎ）のうちブロック
選択部４１から選択されたブロックＢｄと最良にマッチ
ングされるパターンブロックを選択して選択インデック
スを出力する比較部４３と、前記比較部４３により選択
された選択インデックスに当たる変換係数を復元する係
数復元部４４と、前記ブロック選択部４１により選択さ
れたブロックＢｄとパターン構成部４２から入力される
選択インデックスに当たるパターンブロックＢｐ（ｋ）
の誤差を計算して誤差ブロックを生成して前記ブロック
選択部４１に出力する誤差計算部４５と、前記反復制御
部３５から入力される制御信号に応じて前記比較部４３
によるパターンブロックの選択を終結させる終結制御部
４６とを含む。
である。図示したように、変換係数選択部は本発明によ
る装置に入力される入力ブロックＢｉを入力され、入力
ブロックＢｉと誤差ブロックのうち一つを選択して選択
されたブロックＢｄを出力するブロック選択部４１と、
変換部３１から入力ブロックＢｉの変換係数を入力され
個別変換係数に対するパターンブロックＢｐ（ｎ）を構
成して出力し、パターンブロックを貯蔵してから選択イ
ンデックスが入力されれば選択インデックスに当たるパ
ターンブロックＢｐ（ｋ）を出力するパターン構成部４
２と、前記パターンブロックＢｐ（ｎ）のうちブロック
選択部４１から選択されたブロックＢｄと最良にマッチ
ングされるパターンブロックを選択して選択インデック
スを出力する比較部４３と、前記比較部４３により選択
された選択インデックスに当たる変換係数を復元する係
数復元部４４と、前記ブロック選択部４１により選択さ
れたブロックＢｄとパターン構成部４２から入力される
選択インデックスに当たるパターンブロックＢｐ（ｋ）
の誤差を計算して誤差ブロックを生成して前記ブロック
選択部４１に出力する誤差計算部４５と、前記反復制御
部３５から入力される制御信号に応じて前記比較部４３
によるパターンブロックの選択を終結させる終結制御部
４６とを含む。
【００１２】図５は図４のパターン構成部の詳細構成図
である。図示したように、図４のパターン構成部４２は
入力されたＮ×Ｎ個の変換係数のそれぞれに対する逆変
換を行ってＮ×Ｎ個のパターンブロックＢｐ（ｎ）を構
成し、これらを前記比較部４３に出力する逆変換器５１
と、前記逆変換器５１から出力されるパターンブロック
Ｂｐ（ｎ）を貯蔵するメモリ５２と、前記比較部４３か
ら入力される選択インデックスにより前記メモリ５２に
貯蔵されているパターンブロックＢｐ（ｎ）のうち選択
インデックスに当たるパターンブロックＢｐ（ｋ）を前
記誤差計算部４５に出力する制御器５３を含む。
である。図示したように、図４のパターン構成部４２は
入力されたＮ×Ｎ個の変換係数のそれぞれに対する逆変
換を行ってＮ×Ｎ個のパターンブロックＢｐ（ｎ）を構
成し、これらを前記比較部４３に出力する逆変換器５１
と、前記逆変換器５１から出力されるパターンブロック
Ｂｐ（ｎ）を貯蔵するメモリ５２と、前記比較部４３か
ら入力される選択インデックスにより前記メモリ５２に
貯蔵されているパターンブロックＢｐ（ｎ）のうち選択
インデックスに当たるパターンブロックＢｐ（ｋ）を前
記誤差計算部４５に出力する制御器５３を含む。
【００１３】図６は図４の比較部の詳細構成図である。
図示したように、図４の比較部は前記ブロック選択部４
１により選択されたブロックＢｄと前記パターン構成部
４２に入力されるＮ×Ｎ個のパターンブロックＢｐ
（ｎ）のそれぞれの係数に対するパターンブロックとの
平均二乗誤差を計算する平均二乗誤差計算部６１と、選
択された係数のビット量について前記一つの係数をさら
に追加することにより発生するビット量の変化量を計算
するビット量変化計算部６２と、Ｎ×Ｎ個のパターンブ
ロックについて前記ビット量の変化計算部６２により計
算されるビット量変化量に対する前記平均二乗誤差計算
部６１により計算された平均二乗誤差の比が最小となる
係数のパターンブロックを選択してこれによる選択イン
デックスを出力する選択部６３を含む。
図示したように、図４の比較部は前記ブロック選択部４
１により選択されたブロックＢｄと前記パターン構成部
４２に入力されるＮ×Ｎ個のパターンブロックＢｐ
（ｎ）のそれぞれの係数に対するパターンブロックとの
平均二乗誤差を計算する平均二乗誤差計算部６１と、選
択された係数のビット量について前記一つの係数をさら
に追加することにより発生するビット量の変化量を計算
するビット量変化計算部６２と、Ｎ×Ｎ個のパターンブ
ロックについて前記ビット量の変化計算部６２により計
算されるビット量変化量に対する前記平均二乗誤差計算
部６１により計算された平均二乗誤差の比が最小となる
係数のパターンブロックを選択してこれによる選択イン
デックスを出力する選択部６３を含む。
【００１４】このように構成された本発明の望ましい一
実施例による任意形態の物体の境界を含めたブロックの
変換符号化装置の動作をさらに具体的に説明する。図３
に示した変換部３１は図１に示した一般の符号化装置の
映像分割部１１から入力されたＮ×Ｎサイズのブロック
ＢｉをＤＣＴ変換してＮ×Ｎ個の変換係数Ｆ１を生成す
る。この変換係数Ｆ１は変換係数選択部３２に入力され
る。変換係数選択部２２は入力されたＮ×Ｎ個の変換係
数と入力ブロックＢｉを用いて前記Ｎ×Ｎ個の変換係数
のうち変換係数を選択して出力する。
実施例による任意形態の物体の境界を含めたブロックの
変換符号化装置の動作をさらに具体的に説明する。図３
に示した変換部３１は図１に示した一般の符号化装置の
映像分割部１１から入力されたＮ×Ｎサイズのブロック
ＢｉをＤＣＴ変換してＮ×Ｎ個の変換係数Ｆ１を生成す
る。この変換係数Ｆ１は変換係数選択部３２に入力され
る。変換係数選択部２２は入力されたＮ×Ｎ個の変換係
数と入力ブロックＢｉを用いて前記Ｎ×Ｎ個の変換係数
のうち変換係数を選択して出力する。
【００１５】前記変換係数選択部３２により予め設定さ
れた数の変換係数が選択される過程は図４に示した変換
係数選択部３２の詳細構成図に基づき説明する。ブロッ
ク選択部４１は一番目の変換係数を選択する過程では映
像分割部１１から入力される入力ブロックＢｉを選択し
て出力し、二番目以降の変換係数を選択する過程では以
前過程で選択された変換係数に対するパターンブロック
Ｂｐ（ｋ）と入力ブロックＢｉの誤差ブロックを選択し
て出力する。
れた数の変換係数が選択される過程は図４に示した変換
係数選択部３２の詳細構成図に基づき説明する。ブロッ
ク選択部４１は一番目の変換係数を選択する過程では映
像分割部１１から入力される入力ブロックＢｉを選択し
て出力し、二番目以降の変換係数を選択する過程では以
前過程で選択された変換係数に対するパターンブロック
Ｂｐ（ｋ）と入力ブロックＢｉの誤差ブロックを選択し
て出力する。
【００１６】パターン構成部４２は変換部３１から入力
されるＮ×Ｎ個の変換係数のそれぞれに対するパターン
ブロックＢｐ（ｎ）を構成して出力し貯蔵する。また、
選択インデックスｋが入力されれば、貯蔵されたパター
ンブロックＢｐ（ｎ）のうち選択インデックスに当たる
パターンブロックＢｐ（ｋ）を出力する。前記パターン
構成部４２の作動を図５に示したパターン構成部の詳細
構成図に基づき説明する。逆変換器５１は変換部３１か
ら入力されるＮ×Ｎ個の変換係数のそれぞれに対する逆
変換を行ってＮ×Ｎ個のパターンブロックＢｐ（ｎ）を
構成して出力する。前記パターンブロックＢｐ（ｎ）は
次の比較部４３に出力され、またパターン構成部４２の
メモリ５２に貯蔵される。メモリ５２は前記逆変換器５
１から出力されるパターンブロックＢｐ（ｎ）を貯蔵す
る。制御器５３は選択インデックスｋを入力され前記メ
モリ５２に貯蔵されているパターンブロックＢｐ（ｎ）
のうち選択インデックスに当たるパターンブロックＢｐ
（ｋ）を次の誤差計算部４５に出力する。
されるＮ×Ｎ個の変換係数のそれぞれに対するパターン
ブロックＢｐ（ｎ）を構成して出力し貯蔵する。また、
選択インデックスｋが入力されれば、貯蔵されたパター
ンブロックＢｐ（ｎ）のうち選択インデックスに当たる
パターンブロックＢｐ（ｋ）を出力する。前記パターン
構成部４２の作動を図５に示したパターン構成部の詳細
構成図に基づき説明する。逆変換器５１は変換部３１か
ら入力されるＮ×Ｎ個の変換係数のそれぞれに対する逆
変換を行ってＮ×Ｎ個のパターンブロックＢｐ（ｎ）を
構成して出力する。前記パターンブロックＢｐ（ｎ）は
次の比較部４３に出力され、またパターン構成部４２の
メモリ５２に貯蔵される。メモリ５２は前記逆変換器５
１から出力されるパターンブロックＢｐ（ｎ）を貯蔵す
る。制御器５３は選択インデックスｋを入力され前記メ
モリ５２に貯蔵されているパターンブロックＢｐ（ｎ）
のうち選択インデックスに当たるパターンブロックＢｐ
（ｋ）を次の誤差計算部４５に出力する。
【００１７】比較部４３はパターン構成部４２から入力
されたパターンブロックＢｐ（ｎ）のうち前記ブロック
選択部４１から入力されたブロックＢｄと最良にマッチ
ングされるパターンブロックを選択して選択インデック
スｋを出力する。前記比較部４３によるパターンブロッ
クの選択動作を図６に示した比較部３１の詳細構成図に
基づき説明する。
されたパターンブロックＢｐ（ｎ）のうち前記ブロック
選択部４１から入力されたブロックＢｄと最良にマッチ
ングされるパターンブロックを選択して選択インデック
スｋを出力する。前記比較部４３によるパターンブロッ
クの選択動作を図６に示した比較部３１の詳細構成図に
基づき説明する。
【００１８】平均二乗誤差計算部６１は、前記パターン
構成部４２から入力されたパターンブロックＢｐ（ｎ）
と前記ブロック選択部４１から入力されたブロックＢｄ
との平均二乗誤差を未だ選択されていない全てのパター
ンブロックについてそれぞれ計算してその結果を各パタ
ーンブロックに対するΔＭＳＥ（ｎ）を出力する。ビッ
ト量変化計算部６２は、今まで選択された係数に対する
ビット量を計算して貯蔵しており、任意の係数を追加し
て選択した時のビット量変化量をそれぞれ計算して、そ
の結果を各パターンブロックに対するΔｂｉｔ（ｎ）を
出力する。選択部６３は、Ｎ×Ｎ個の係数のうち現在ま
で選択されていない全てのパターンブロックＢＰ（ｎ）
と選択ブロックＢｄとのそれぞれの平均二乗誤差ΔＭＳ
Ｅ（ｎ）と、現在まで選択されている係数の累積された
ビット量に現在まで選択されていない全ての係数それぞ
れを追加することにより得られるそれぞれのビット量変
化量Δｂｉｔ（ｎ）を入力され、この比率、言い換えれ
ば〔ΔＭＳＥ（ｎ）／Δｂｉｔ（ｎ）〕が最大となる
“ｎ”である“ｋ”を選択してそのインデックスｋを選
択インデックスとして出力する。すなわち、選択部６３
はＮ×Ｎ個の係数のうちｋ番目の係数を選択係数として
追加することにより増えるビット量変化量Δｂｉｔ
（ｋ）について、ｋ番目の係数を選択係数として追加す
ることにより減る平均二乗誤差ΔＭＳＥ（ｋ）の比が最
大となるように選択インデックスｋを出力する。
構成部４２から入力されたパターンブロックＢｐ（ｎ）
と前記ブロック選択部４１から入力されたブロックＢｄ
との平均二乗誤差を未だ選択されていない全てのパター
ンブロックについてそれぞれ計算してその結果を各パタ
ーンブロックに対するΔＭＳＥ（ｎ）を出力する。ビッ
ト量変化計算部６２は、今まで選択された係数に対する
ビット量を計算して貯蔵しており、任意の係数を追加し
て選択した時のビット量変化量をそれぞれ計算して、そ
の結果を各パターンブロックに対するΔｂｉｔ（ｎ）を
出力する。選択部６３は、Ｎ×Ｎ個の係数のうち現在ま
で選択されていない全てのパターンブロックＢＰ（ｎ）
と選択ブロックＢｄとのそれぞれの平均二乗誤差ΔＭＳ
Ｅ（ｎ）と、現在まで選択されている係数の累積された
ビット量に現在まで選択されていない全ての係数それぞ
れを追加することにより得られるそれぞれのビット量変
化量Δｂｉｔ（ｎ）を入力され、この比率、言い換えれ
ば〔ΔＭＳＥ（ｎ）／Δｂｉｔ（ｎ）〕が最大となる
“ｎ”である“ｋ”を選択してそのインデックスｋを選
択インデックスとして出力する。すなわち、選択部６３
はＮ×Ｎ個の係数のうちｋ番目の係数を選択係数として
追加することにより増えるビット量変化量Δｂｉｔ
（ｋ）について、ｋ番目の係数を選択係数として追加す
ることにより減る平均二乗誤差ΔＭＳＥ（ｋ）の比が最
大となるように選択インデックスｋを出力する。
【００１９】係数復元部４４は前記比較部４３により選
択された選択インデックスｋを入力され選択インデック
スｋに当たる変換係数を復元して出力する。出力された
変換係数が変換係数選択部３２により出力される選択係
数である。誤差計算部４５は前記ブロック選択部４１に
より選択されたブロックＢｄと前記パターン構成部４２
から入力される選択インデックスｋに当たるパターンブ
ロックＢｐ（ｋ）の誤差を計算して誤差ブロックを生成
して前記ブロック選択部４１に出力する。
択された選択インデックスｋを入力され選択インデック
スｋに当たる変換係数を復元して出力する。出力された
変換係数が変換係数選択部３２により出力される選択係
数である。誤差計算部４５は前記ブロック選択部４１に
より選択されたブロックＢｄと前記パターン構成部４２
から入力される選択インデックスｋに当たるパターンブ
ロックＢｐ（ｋ）の誤差を計算して誤差ブロックを生成
して前記ブロック選択部４１に出力する。
【００２０】終結制御部４６は前記反復制御部３５から
入力される制御信号に応じて前記比較部４３によるパタ
ーンブロック選択を終結させる。すなわち、終結制御部
４６は選択された変換係数による復元ブロックと入力ブ
ロックとの平均二乗誤差が予め設定された基準値より小
さければ変換係数選択部３２による変換係数の選択を終
結させる。
入力される制御信号に応じて前記比較部４３によるパタ
ーンブロック選択を終結させる。すなわち、終結制御部
４６は選択された変換係数による復元ブロックと入力ブ
ロックとの平均二乗誤差が予め設定された基準値より小
さければ変換係数選択部３２による変換係数の選択を終
結させる。
【００２１】今までは本発明による任意形態の物体の境
界を含めるブロックの変換符号化装置の核心部と言える
変換係数選択部３２の動作を詳細に説明して来た。逆変
換部３３は前記変換係数選択部３２により選択された変
換係数Ｆｓを逆変換して復元ブロックＢｒを生成する。
符号化器３４は前記変換係数選択部３２により選択され
た変換係数部Ｆｓを可変長符号化した符号化されたデー
タを出力する。
界を含めるブロックの変換符号化装置の核心部と言える
変換係数選択部３２の動作を詳細に説明して来た。逆変
換部３３は前記変換係数選択部３２により選択された変
換係数Ｆｓを逆変換して復元ブロックＢｒを生成する。
符号化器３４は前記変換係数選択部３２により選択され
た変換係数部Ｆｓを可変長符号化した符号化されたデー
タを出力する。
【００２２】反復制御部３５は入力ブロックＢｉと復元
ブロックＢｒの平均二乗誤差を計算し、計算された平均
二乗誤差が予め設定された基準値と比較して計算された
平均二乗誤差が基準値より小さければ前記変換係数選択
部３２による係数選択を終結させる。
ブロックＢｒの平均二乗誤差を計算し、計算された平均
二乗誤差が予め設定された基準値と比較して計算された
平均二乗誤差が基準値より小さければ前記変換係数選択
部３２による係数選択を終結させる。
【００２３】
【発明の効果】以上述べたように、本発明による任意形
態の物体の境界を含むブロックの変換符号化装置は、変
換係数を選択する際任意の係数（例えば、ｋ番目の係
数）を選択係数として追加することにより増えるビット
量変化量Δｂｉｔ（ｋ）について前記係数（ｋ番目の係
数）を選択係数として追加することによる減る平均二乗
誤差ΔＭＳＥ（ｋ）の比を最大とならせる選択係数を選
択することにより復元画質を向上させると共に必要なビ
ット量を少なくすることができる。
態の物体の境界を含むブロックの変換符号化装置は、変
換係数を選択する際任意の係数（例えば、ｋ番目の係
数）を選択係数として追加することにより増えるビット
量変化量Δｂｉｔ（ｋ）について前記係数（ｋ番目の係
数）を選択係数として追加することによる減る平均二乗
誤差ΔＭＳＥ（ｋ）の比を最大とならせる選択係数を選
択することにより復元画質を向上させると共に必要なビ
ット量を少なくすることができる。
【図１】入力映像信号を符号化する一般の符号化装置の
構成図である。
構成図である。
【図２】（Ａ）は図１の装置において第２符号化器（従
来の技術による任意形態の物体の境界を含むブロックの
変換符号化装置）の構成図、（Ｂ）は図２（Ａ）の第２
符号化器において変換係数選択が必要な領域を説明する
ための図である。
来の技術による任意形態の物体の境界を含むブロックの
変換符号化装置）の構成図、（Ｂ）は図２（Ａ）の第２
符号化器において変換係数選択が必要な領域を説明する
ための図である。
【図３】本発明の望ましい一実施例による任意形態の物
体の境界を含むブロックの変換符号化装置の構成図であ
る。
体の境界を含むブロックの変換符号化装置の構成図であ
る。
【図４】図３の変換係数選択部の詳細構成図である。
【図５】図４のパターン構成図の詳細構成図である。
【図６】図４の比較部の詳細構成図である。
３１ 変換部 ３２ 変換係数選択部 ３３ 逆変換部 ３４ 符号化器 ３５ 反復制御部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−163369（ＪＰ，Ａ) 鹿喰，「領域サポートＤＣＴを用いた 任意形状符号化の検討」，電子情報通信 学会技術研究報告，1995年12月15日，Ｖ ｏｌ．95，Ｎｏ．437，ｐｐ．61−66 （ＩＥ95−109) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H03M 7/30 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (6)
- 【請求項１】 任意形態の物体の境界を含むブロックの
変換符号化装置において、 入力ブロックを変換して変換係数を出力する変換部と、 前記変換係数と入力ブロックを用いて変換係数を選択し
て出力する変換係数選択部と、 前記変換係数選択部により選択された変換係数を逆変換
して復元ブロックを出力する逆変換部と、 前記変換係数選択部により選択された選択係数を可変長
符号化する符号化部と、 入力ブロックと前記復元ブロックの平均二乗誤差を計算
してこれを予め設定された基準値と比較して係数選択を
続けるかを決定する反復制御部とを含むことを特徴とす
る任意形態の物体の境界を含むブロックの変換符号化装
置。 - 【請求項２】 前記変換係数選択部は、 入力ブロックと誤差ブロックのうち一つを選択して出力
するブロック選択部と、 前記変換部から入力される入力ブロックの変換係数を入
力され各変換係数に対するパターンブロックを構成して
出力し、パターンブロックを貯蔵していてから選択イン
デックスが入力されれば選択インデックスに当たるパタ
ーンブロックを出力するパターン構成部と、 前記パターンブロックのうち前記ブロック選択部から選
択されたブロックと最良にマッチングされるパターンブ
ロックを選択して選択インデックスを出力する比較部
と、 前記比較部により選択された選択インデックスに当たる
変換係数を復元する係数復元部と、 前記ブロック選択部により選択されたブロックと前記パ
ターン構成部から入力される選択インデックスに当たる
パターンブロックの誤差を計算して誤差ブロックを生成
して前記ブロック選択部に出力する誤差計算部と、 前記反復制御部から入力される制御信号に応じて前記比
較部によるパターンブロックの選択を終結させる終結制
御部とを含むことを特徴とする請求項１に記載の任意形
態の物体の境界を含むブロックの変換符号化装置。 - 【請求項３】 前記パターン構成部は、 入力されるＮ×Ｎ個の変換係数のそれぞれに対する逆変
換を行ってＮ×Ｎ個のパターンブロックを構成し、これ
らを前記比較部に出力する逆変換器と、 前記逆変換器から出力されるパターンブロックを貯蔵す
るメモリと、 前記比較部から入力される選択インデックスにより前記
メモリに貯蔵しているパターンブロックのうち選択イン
デックスに当たるパターンブロックを前記誤差計算部に
出力する制御器とを含むことを特徴とする請求項２に記
載の任意形態の物体の境界を含むブロックの変換符号化
装置。 - 【請求項４】 前記比較部は、 前記ブロック選択部により選択されたブロックと前記パ
ターン構成部に入力されるＮ×Ｎ個のパターンブロック
のうち一つの係数に対するパターンブロックとの平均二
乗誤差を計算する平均二乗誤差計算部と、 既に選択された係数のビット量について前記一つの係数
をさらに追加することにより生ずるビット量を計算する
ビット量変化計算部と、 前記ビット量変化計算部により計算されるビット量変化
量と前記平均二乗誤差計算部により計算された平均二乗
誤差を用いてＮ×Ｎ個のパターンブロックのうち一つの
パターンブロックを選択する選択部とを含むことを特徴
とする請求項３に記載の任意形態の物体の境界を含むブ
ロックの変換符号化装置。 - 【請求項５】 前記ブロック選択部は、 一番目の変換係数を選択する過程では入力ブロックを選
択して出力し、二番目以降の変換係数を選択する過程で
は以前過程で選択された変換係数に対するパターンブロ
ックと入力ブロックの誤差ブロックを選択して出力する
ことを特徴とする請求項２に記載の任意形態の物体の境
界を含むブロックの変換符号化装置。 - 【請求項６】 前記選択部は、 前記ビット量変化計算部により計算されるビット量変化
量に対する前記平均二乗誤差計算部により計算された平
均二乗誤差の比が最大となる係数のパターンブロックを
選択してこれによる選択インデックスを出力することを
特徴とする請求項４に記載の任意形態の物体の境界を含
むブロックの変換符号化装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR19950044958 | 1995-11-29 | ||
| KR44958/1995 | 1995-11-29 | ||
| KR49253/1996 | 1996-10-28 | ||
| KR1019960049253A KR100228671B1 (ko) | 1995-11-29 | 1996-10-28 | 임의 형태 물체의 경계를 포함하는 블록의 변환 부호화 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09224248A JPH09224248A (ja) | 1997-08-26 |
| JP3094390B2 true JP3094390B2 (ja) | 2000-10-03 |
Family
ID=26631438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31657196A Expired - Fee Related JP3094390B2 (ja) | 1995-11-29 | 1996-11-27 | 任意形態の物体の境界を含むブロックの変換符号化装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5715004A (ja) |
| EP (1) | EP0783230B1 (ja) |
| JP (1) | JP3094390B2 (ja) |
| CN (1) | CN1104141C (ja) |
| DE (1) | DE69619644T2 (ja) |
| ES (1) | ES2174033T3 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6160503A (en) * | 1992-02-19 | 2000-12-12 | 8×8, Inc. | Deblocking filter for encoder/decoder arrangement and method with divergence reduction |
| US5828784A (en) * | 1992-07-13 | 1998-10-27 | Hitachi Denshi Kabushiki Kaisha | Data coding method and apparatus using a plurality of blocks of different length |
| KR20140071809A (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자주식회사 | 비디오 데이터의 처리 방법 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4189748A (en) * | 1977-08-23 | 1980-02-19 | Northrop Corporation | Video bandwidth reduction system using a two-dimensional transformation, and an adaptive filter with error correction |
| US5038390A (en) * | 1990-06-05 | 1991-08-06 | Kabushiki Kaisha Toshiba | Method of transform data compression using save-maps |
| JP2878796B2 (ja) * | 1990-07-03 | 1999-04-05 | 国際電気株式会社 | 音声符号化器 |
| JPH04368088A (ja) * | 1991-06-14 | 1992-12-21 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像直交変換方式における交流成分の適応符号化方式 |
| US5422963A (en) * | 1993-10-15 | 1995-06-06 | At&T Corp. | Block transform coder for arbitrarily shaped image segments |
| KR970009408B1 (ko) * | 1994-01-18 | 1997-06-13 | 대우전자 주식회사 | 인터/인트라 테이블 선택 회로 |
| WO1995022228A1 (en) * | 1994-02-15 | 1995-08-17 | Sony Corporation | Method and device for encoding image signal |
-
1996
- 1996-11-27 JP JP31657196A patent/JP3094390B2/ja not_active Expired - Fee Related
- 1996-11-27 US US08/757,871 patent/US5715004A/en not_active Expired - Lifetime
- 1996-11-28 ES ES96308597T patent/ES2174033T3/es not_active Expired - Lifetime
- 1996-11-28 EP EP19960308597 patent/EP0783230B1/en not_active Expired - Lifetime
- 1996-11-28 DE DE1996619644 patent/DE69619644T2/de not_active Expired - Lifetime
- 1996-11-29 CN CN96123416A patent/CN1104141C/zh not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 鹿喰，「領域サポートＤＣＴを用いた任意形状符号化の検討」，電子情報通信学会技術研究報告，１９９５年１２月１５日，Ｖｏｌ．９５，Ｎｏ．４３７，ｐｐ．６１−６６（ＩＥ９５−１０９） |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0783230B1 (en) | 2002-03-06 |
| EP0783230A2 (en) | 1997-07-09 |
| DE69619644T2 (de) | 2002-08-01 |
| ES2174033T3 (es) | 2002-11-01 |
| EP0783230A3 (en) | 1999-10-20 |
| JPH09224248A (ja) | 1997-08-26 |
| CN1104141C (zh) | 2003-03-26 |
| DE69619644D1 (de) | 2002-04-11 |
| CN1159684A (zh) | 1997-09-17 |
| US5715004A (en) | 1998-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3135062B2 (ja) | 画像復号化方法 | |
| JP3369422B2 (ja) | データ復号化方法及びその装置 | |
| US7505631B2 (en) | Image coding and decoding methods, image coding and decoding apparatuses, and recording media for image coding and decoding programs | |
| JPH01503509A (ja) | 一連の画像を有効に通信するための階層的符号化方法と装置 | |
| JPH0677843A (ja) | 映像データの可変長符号化／復号化方法及び装置 | |
| JP3094390B2 (ja) | 任意形態の物体の境界を含むブロックの変換符号化装置 | |
| JP2843024B2 (ja) | 変換符号化システムの変換係数選択方法及びその装置 | |
| KR100228671B1 (ko) | 임의 형태 물체의 경계를 포함하는 블록의 변환 부호화 장치 | |
| JPH07147679A (ja) | 動画像圧縮符号化方法 | |
| JP2862022B2 (ja) | 画像符号化方式 | |
| JP2887843B2 (ja) | 画像データ復元方法および装置 | |
| JPH0310486A (ja) | 動画像符号化装置 | |
| JP3930596B2 (ja) | 音声信号符号化方法 | |
| KR0134358B1 (ko) | 가변 스캔방법을 이용한 부호화 및 복호화시스템 | |
| JPS63198420A (ja) | 画像圧縮装置 | |
| JP2521359B2 (ja) | 画像符号化装置 | |
| JPH0767108A (ja) | 符号化装置と復号装置 | |
| JP2000217113A (ja) | 画像通信装置と圧縮符号化方法 | |
| JPH0583564A (ja) | 画像処理装置 | |
| JPH06113279A (ja) | 画像圧縮装置 | |
| JPH03243066A (ja) | 画像符号化方式 | |
| JPH0461584A (ja) | 符号化装置および復号化装置 | |
| JPH09284764A (ja) | 映像信号符号化方法及び映像信号符号化装置 | |
| JPH05252504A (ja) | 符号化器及び復号化器 | |
| JPH07184199A (ja) | 画像データ符号化回路およびそれを用いた圧縮データベース回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080804 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080804 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 13 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |