JP3613405B2 - 帯域圧縮信号復元装置及び帯域圧縮信号復元方法 - Google Patents

帯域圧縮信号復元装置及び帯域圧縮信号復元方法 Download PDF

Info

Publication number
JP3613405B2
JP3613405B2 JP30821794A JP30821794A JP3613405B2 JP 3613405 B2 JP3613405 B2 JP 3613405B2 JP 30821794 A JP30821794 A JP 30821794A JP 30821794 A JP30821794 A JP 30821794A JP 3613405 B2 JP3613405 B2 JP 3613405B2
Authority
JP
Japan
Prior art keywords
data
sampling data
transmission sampling
transmission
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP30821794A
Other languages
English (en)
Other versions
JPH08149465A (ja
Inventor
秀雄 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP30821794A priority Critical patent/JP3613405B2/ja
Publication of JPH08149465A publication Critical patent/JPH08149465A/ja
Application granted granted Critical
Publication of JP3613405B2 publication Critical patent/JP3613405B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

【0001】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術(図8及び図9)
発明が解決しようとする課題(図8及び図9)
課題を解決するための手段(図1、図2、図4及び図6)
作用(図1、図2、図4及び図6)
実施例
(1)帯域圧縮信号の形成(図1〜図3)
(2)第1実施例の帯域伸長デコーダ
(2−1)全体構成(図1及び図4)
(2−2)重み係数メモリの作成(図5)
(2−3)動作(図1及び図4)
(2−4)効果
(3)第2実施例の帯域伸長デコーダ(図1、図6及び図7)
(4)他の実施例
発明の効果
【0002】
【産業上の利用分野】
本発明は帯域圧縮信号復元装置に関し、例えば高品位テレビジヨン信号などのように取り扱う周波数帯域が広帯域の信号を帯域圧縮して伝送する場合に適用して好適なものである。
【0003】
【従来の技術】
例えば高品位画像を再現するためのビデオ信号は非常に広い帯域を占有するので、このような広帯域ビデオ信号をデイジタル化してビデオテープレコーダにより記録したり所定の伝送路を介して伝送する場合には、記録帯域又は伝送帯域が広くなり、ハードウエアの実現が困難となる問題がある。
【0004】
この問題を解決するため従来、広帯域のビデオ信号を帯域圧縮する方法が提案されている。この方法は、広帯域ビデオ信号をナイキスト定理を満足するサンプリング周波数fでサンプリングすることにより得たサンプリングデータを1つおきに抽出し、当該抽出したサンプリングデータのみを伝送又は記録する方法である。
この方法によれば、図8に示すように、サンプリング周波数fの1/2の周波数のサンプリング周波数fで広帯域ビデオ信号をサンプリングした場合とほぼ等価となつて、周波数帯域を60〔%〕程度まで圧縮できる。
【0005】
しかし、一つおきに抽出したサンプリングデータだけでは元の広帯域ビデオ信号を忠実に再現できないので、再生系又は受信系において所定の補間手段を用いて非伝送サンプリングデータ(すなわち記録又は伝送されなかつたサンプリングデータ)を補間する必要がある。この非伝送サンプリングデータの補間方法としては、隣接する伝送サンプリングデータを用いて平均補間する方法が一般的である。
【0006】
この帯域圧縮処理及び平均補間処理を図9に従つて具体的に説明する。すなわち帯域圧縮された記録信号又は伝送信号を形成する際には、ナイキスト定理を満足するサンプリング周波数fを用いて破線で示す広帯域ビデオ信号をサンプリングすることによりサンプリング点P1、P2、……に対応した位置のサンプリングデータを得、このうち奇数番目のサンプリング点P1、P3、……に対応する位置のサンプリングデータのみを抽出して記録又は伝送する。
【0007】
そして、復元時には、これら奇数番目のサンプリングデータの互いに隣合うサンプリングデータを平均することにより、偶数番目のサンプリング点P2、P4、……に対応する平均補間データ(図中△印)を求めるようにする。
【0008】
【発明が解決しようとする課題】
ところで、上述のような方法によれば、復元側においても一応ナイキスト定理を満足するため、広帯域ビデオ信号を再現できる。
ところが、その信号再現性は極めて悪いものとなる問題がある。何故なら、平均値補間後の広帯域ビデオ信号は、図9の一点鎖線で示すようになり、元の広帯域ビデオ信号のエンベロープとはかなり違つたエンベロープとして復元されてしまうからである。これは、元のサンプリングデータのうち非伝送サンプリングデータを参照せずに、単純に平均値補間しているためである。
【0009】
かかる課題を解決する一つの方法として、送信側において予め非伝送サンプリングデータの実際の値とこれに対応する非伝送サンプリングデータの平均補間値との誤差を検出し、この誤差を複数集めてその平均値を算出し、伝送サンプリングデータと共に当該平均値誤差データを伝送する方法が提案されている(特開昭61−131985 号公報)。
【0010】
この方法によれば、受信側において、伝送サンプリングデータから形成した平均補間データに平均値誤差データをその極性を加味しながら加えるようにしたことにより、伝送データ量をあまり増やさずに、単純に平均値補間する場合に比して、真値に近い補間データを得ることができる。
【0011】
しかしながら、この方法では、復号時に単純に誤差の平均値を極性に応じて加味しているにすぎないため、特に画像の平坦部で画質劣化が発生する問題があつた。
【0012】
本発明は以上の点を考慮してなされたもので、広帯域信号を帯域圧縮して伝送する場合に、受信した帯域圧縮された信号からほぼ元通りに近い広帯域信号を復元し得る帯域圧縮信号復元装置及び帯域圧縮信号復元方法を提案しようとするものである。
【0013】
【課題を解決するための手段】
かかる課題を解決するため第1の本発明においては、所定のサンプリング周波数f0 でサンプリングされたサンプリングデータA、B、C、……、I、J、K、……を所定間隔で抽出することにより形成された伝送サンプリングデータA、B、C、……と、互いに隣合う伝送サンプリングデータA、B、C、……を平均することにより非伝送サンプリングデータI、J、K、……に対応する平均補間データI’、J’、K’、……を形成し、平均補間データI’、J’、K’、……と真の非伝送サンプリングデータI、J、K、……との誤差εi を複数集めて平均することにより形成された平均誤差データεと、各平均補間データI’、J’、K’、……が、対応する真の非伝送サンプリングデータI、J、K、……に対して大きいか小さいかを表わす極性データQi とでなる帯域圧縮信号SD から、非伝送サンプリングデータを補間することによりサンプリング周波数f0 にほぼ等しい帯域の信号S10を復元する帯域圧縮信号復元装置20において、非伝送サンプリングデータI、J、K、……周辺の複数の伝送サンプリングデータA、B、C、……の変化の度合いに応じて非伝送サンプリングデータをクラス分類するクラス分類手段33、34と、クラス分類手段33、34により分類されたクラスに対応する重み係数αi を発生する重み係数発生手段35と、重み係数αi を極性データQi を加味した平均誤差データ±εに乗ずることにより各非伝送サンプリングデータI、J、K、……に対応した重み付けされた誤差データεi ’を求める乗算手段32と、互いに隣合う伝送サンプリングデータA、B、C、……を平均することにより非伝送サンプリングデータI、J、K、……に対応する平均補間データI’、J’、K’、……を形成する平均補間手段25と、平均補間データI’、J’、K’、……に重み付けした誤差データεi ’を加算することにより、各非伝送サンプリングデータI、J、K、……に対応する補間データI”、J”、K”、……を算出する加算手段28とを設け、重み係数発生手段35から発生する重み係数αiが、サンプリングデータに対応する学習用サンプリングデータにおける平均補間データの真値からの複数の絶対値誤差データの平均値と各非伝送サンプリング点での誤差値との比βiをクラス毎に平均化することによつて予め求められたものであるとした。
【0014】
また第2の本発明においては、所定のサンプリング周波数f0 でサンプリングされたサンプリングデータA、B、C、……、I、J、K、……を所定間隔で抽出することにより形成された伝送サンプリングデータA、B、C、……と、互いに隣合う伝送サンプリングデータA、B、C、……を平均することにより非伝送サンプリングデータI、J、K、……に対応する平均補間データI’、J’、K’、……を形成し、平均補間データI’、J’、K’、……と真の非伝送サンプリングデータI、J、K、……との誤差εi を複数集めて平均することにより形成された平均誤差データεと、各平均補間データI’、J’、K’、……が、対応する真の非伝送サンプリングデータI、J、K、……に対して大きいか小さいかを表わす極性データQi とでなる帯域圧縮信号SD から、非伝送サンプリングデータを補間することによりサンプリング周波数f0 にほぼ等しい帯域の信号S10を復元する帯域圧縮信号復元装置70において、非伝送サンプリングデータI、J、K、……周辺の複数の極性データQi のパターンを非伝送サンプリングデータI、J、K、……のクラスとし、当該クラスの情報を出力するクラス情報出力手段72と、当該クラスの情報に対応する重み係数αi を発生する重み係数発生手段73と、重み係数αi を極性データQi を加味した平均誤差データ±εに乗ずることにより各非伝送サンプリングデータI、J、K、……に対応した重み付けされた誤差データεi ’を求める乗算手段32と、互いに隣合う伝送サンプリングデータA、B、C、……を平均することにより非伝送サンプリングデータI、J、K、……に対応する平均補間データI’、J’、K’、……を形成する平均補間手段25と、平均補間データI’、J’、K’、……に重み付けした誤差データεi ’を加算することにより、各非伝送サンプリングデータI、J、K、……に対応する補間データI”、J”、K”、……を算出する加算手段28とを設けるようにした。
【0015】
【作用】
第1の発明においては、非伝送サンプリングデータI、J、K、……周辺の複数の伝送サンプリングデータA、B、C、……の変化の度合いに応じて非伝送サンプリングデータをクラス分類し、この分類されたクラスに対応する重み係数αを平均誤差データεi に乗ずることにより誤差データεi ’を得、この重み付けした誤差データεi ’を平均補間データI’、J’、K’、……に加えることによつて補間データI”、J”、K”、……を求めるようにした。またこの重み係数αが、学習用サンプリングデータにおける平均補間データの真値からの複数の絶対値誤差データの平均値と各非伝送サンプリング点での誤差値との比βをクラス毎に平均化することによつて予め求められたものであるとした。これにより、単に重み付けされていない平均誤差データεi を平均補間データI’、J’、K’、……に加えた場合に比して、一段と真値に近い補間データI”、J”、K”、……を得ることができる。
【0016】
また第2の発明においては、非伝送サンプリングデータI、J、K、……周辺の複数の極性データQi のパターンを非伝送サンプリングデータI、J、K、……のクラスの情報とし、当該クラスの情報に対応する重み係数αを発生するようにしたことにより、クラス分類のための新たな構成を付加することなく容易にクラス分類ができる。
【0017】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【0018】
(1)帯域圧縮信号の形成
ここでは先ず本発明の帯域圧縮信号復元装置を説明する前に、本発明の帯域圧縮信号復元装置による復元対象となる帯域圧縮信号(デイジタル信号)をどのように形成するかについて説明する。
【0019】
図1において、破線で示す信号Sは帯域圧縮すべき広帯域ビデオ信号で、「○」印がサンプリング周波数fによつてサンプリングされるポイントであり、A、B、C、……、I、J、K、……はそのサンプリングデータ(量子化ビツトは例えば8ビツト)である。これらのサンプリングデータのうち奇数番目のサンプリングデータ、すなわちサンプリングデータA、B、C、……を抽出して伝送又は記録することにより帯域圧縮し、デコーダ側において偶数番目のサンプリングデータI、J、K、……を補間処理によつて生成することにより元の広帯域ビデオ信号Sを復元する。
【0020】
実施例のエンコーダは、先ず一つおきに抽出したサンプリングデータA、B、C、……の互いに隣合うデータを用いて平均補間データI’、J’、K’……を形成し、次にこの平均補間データI’、J’、K’……と真のサンプリングデータI、J、K……との差を求める。そして、その差の絶対値を誤差データεとし、平均補間データI’、J’、K’……がそれぞれ真のサンプリングデータI、J、K……に対して大きいか小さいかを表わすパラメータを極性データQとする。
すなわちエンコーダは非伝送サンプリングデータI、J、K、……に対応する誤差データεと極性データQとを、次式
【数1】
Figure 0003613405
により求める。
【0021】
図1の場合、I>I’(=(A+B)/2)で、J>J’(=(B+C)/2)で、K<K’(=(C+D)/2)であるから、ε、εは負、εは正となる。図1の場合には、ε<0であるときその極性を示すビツトQを「0」、逆にε>0であるときその極性を示すビツトQを「1」とすれば、極性データQは(1)式のようになる。
【0022】
次にエンコーダは、誤差データεと極性データQとをn個のサンプリングポイントにわたつて求めた後、誤差データεの平均値を求める(以下、この平均値を平均誤差データεと呼ぶ)。ここでnはデイジタル信号処理を容易にするため、2の巾乗となるように選定する。従つてnは8、16、……等の数をとりうる。実施例ではn=8とした。そのため、平均誤差データ(8ビツトデータ)εは、次式
【数2】
Figure 0003613405
となる。また極性データQは8ビツト(Q〜Q)まとめて1サンプルのデータQで表わす。
【0023】
エンコーダは、図2に示すように、このようにして求めた平均誤差データεと、極性データQと、伝送サンプリングデータA、B、……、H(ビデオデータブロツクSVD)とをまとめてブロツクデータSを構成して、このブロツクデータSを最小単位として伝送又は記録する。
【0024】
因に、このように平均誤差データεを用いた符号化方式を平均誤差符号化方式と呼称すれば、この平均誤差符号化方式を採用した際の帯域圧縮率は、上述のように、単位ブロツクデータSが、8個の伝送サンプリングデータA〜H(それぞれ8ビツト)と、平均誤差データε(8ビツト)と、極性データQ(8ビツト)で構成されている場合には、元々のサンプリングポイントが16個であるため、次式
【数3】
Figure 0003613405
となる。すなわち広帯域ビデオ信号は62.5〔%〕に圧縮されて伝送されることになる。勿論、nを16個にすれば、広帯域ビデオ信号を50〔%〕程度に圧縮することもできる。
【0025】
実際上、このように平均誤差符号化方式を用いて広帯域ビデオ信号を圧縮する帯域圧縮エンコーダは、図3に示すような構成により実現できる。帯域圧縮エンコーダ1は、端子2にそれぞれ8ビツトデータにデイジタル変換されたサンプリングデータA、B、……、I、J、……が与えられると、これをサブサンプリングデータストア回路3に送出する。サブサンプリングデータストア回路3は、サンプリングデータA、B、……、I、J、……を一つおきに抽出することにより伝送サンプリングデータA、B……を抜き出し、これをストアする。
【0026】
また帯域圧縮エンコーダ1は、端子2に与えられたサンプリングデータA、B、……、I、J、……を直列接続された第1及び第2の遅延回路(その遅延時間はサンプリング周波数分の1)4及び5を介して平均値データ形成回路6に供給する。平均値データ形成回路6は加算回路7と1/2演算回路8とで構成されている。加算回路7には端子2に与えられたサンプリングデータが直接供給されると共に、第2の遅延回路5の出力が供給される。この結果平均値データ形成回路6からは、非伝送サンプリングデータI、J、……に対応する平均補間データI’、J’、……(図1)が出力される。
【0027】
この平均補間データI’、J’、……は差分回路9において、第1の遅延回路4の出力である真の非伝送サブサンプリングデータとの差分がとられることにより誤差データが形成される。この誤差データは平均値算出回路11及び極性判別回路12に送出される。平均値算出回路11は複数の誤差データ(実施例の場合、合計8個の誤差データ)の平均値を算出することにより平均誤差データεを形成する。極性判別回路12は、誤差データが正か負かを判別することにより極性データQを形成する。
【0028】
帯域圧縮エンコーダ1は、このようにして形成した伝送サンプリングデータA、B、C、……、極性データQ及び平均誤差データεをデータ変換回路15において図2に示すように配列することにより単位ブロツクデータSを形成し、当該単位ブロツクデータSを所定の伝送路やVTRの記録部へと送出する。
【0029】
(2)第1実施例の帯域伸長デコーダ
(2−1)全体構成
図4において、20は全体として第1実施例の帯域伸長デコーダを示し、図3について上述した帯域圧縮エンコーダ1によつて帯域圧縮されて伝送又は記録されたビデオ信号を伸長することにより、元のサンプリング周波数にほぼ等しい広帯域ビデオ信号を復元する。
【0030】
帯域伸長デコーダ20は重み係数発生部21を有し、当該重み係数発生部21において発生した重み係数αを極性が加味された平均誤差データ±εに乗じることにより新たな誤差データε’を得、当該誤差データε’を用いて補間データを形成することにより、一段と真値に近い補間データI”、J”、……を形成し得るようになされている。
【0031】
帯域伸長デコーダ20は、入力端子22に供給されたブロツクデータSを第3及び第4の遅延回路(その遅延時間はサブサンプリング周波数分の1)23及び24を介してデータ逆変換回路36及び平均値データ形成回路25に送出する。
【0032】
平均値データ形成回路25は図3について上述した帯域圧縮エンコーダ1の平均値データ形成回路6と同様の構成でなり、加算回路26によつて隣接する伝送サンプリングデータA、B、C、……間の加算演算を行い、続く1/2演算回路27よつて非伝送サンプリングデータI、J、……に対応する平均補間データI’、J’、K’、……を形成し、当該平均補間データI’、J’、K’、……を加算回路28に送出する。
【0033】
また帯域伸長デコーダ20は、ブロツクデータSに含まれる平均誤差データεをエラーレジスタ29にストアすると共に、極性データQを極性レジスタ30にストアする。極性レジスタ30は、ストアした8ビツトの極性データQのうちサブサンプリングデータに対応した極性データQをサブサンプリングタイミング毎に順次極性付与回路31に与える。
【0034】
極性付与回路31はエラーレジスタ29から与えられた平均誤差データεに、極性レジスタ30から与えられた極性データQを順次付与する。この結果極性付与回路31からは極性が加味された平均誤差データ±εが出力され、当該平均誤差データ±εが乗算器32に与えられる。
【0035】
重み係数発生部21はブロツク化回路33にブロツクデータSを入力する。ブロツク化回路33はブロツクデータSのうちビデオブロツクデータSVDを抜き出すと共に、着目する非伝送サンプリングデータI、J、……の周囲の伝送サンプリングデータA、B、……を複数個集めてブロツクを形成する。
【0036】
ADRC回路34は、ブロツク化された複数の伝送サンプリングデータA、B、……に対して適応ダイナミツクレンジ符号化処理を施すことによりパターン圧縮データを形成し、当該パターン圧縮データを重み係数メモリ35のインデツクス(すなわち読出しアドレス)として出力する。例えばそれぞれ8ビツトで表現されている各伝送サンプリングデータA、B、……を1ビツトに圧縮する。
この結果重み係数メモリ35からは、周辺の伝送サンプリングデータA、B、C、……の分布状態に応じた重み係数αが読み出され、当該重み係数αが重み係数発生部21の出力として乗算器32に与えられる。
【0037】
乗算器32では、極性が加味された平均誤差データ±εと重み係数αが掛け合わされ、この結果新たな誤差データε’が形成される。すなわち乗算器32は、次式
【数4】
Figure 0003613405
により新たな誤差データε’を求める。
この誤差データε’は、加算器28において平均補間データI’、J’、K’、……と加算されることにより最終的な補間データI”、J”、K”、……が算出される。すなわち加算器28は、次式
【数5】
Figure 0003613405
により補間データI”、J”、K”、……を求める。
【0038】
データ逆変換回路36は、第4の遅延回路24から出力されたサブサンプリングデータA、B、C、……の間に、補間データI”、J”、K”、……を挿入することにより復元画像データS10を形成する。この復元画像データS10のサンプリング周波数はfとなり、従つて帯域が元通りに伸長されたビデオ信号が得られる。
【0039】
かくして圧縮伸長デコーダ20においては、帯域圧縮されたブロツクデータSから元のサンプリング周波数にほぼ等しい広帯域ビデオ信号を復元する際、非伝送サンプリングデータの周辺の伝送サンプリングデータを用いて非伝送サンプリングデータをクラス分類し、そのクラスに応じた重み係数αを平均誤差データ±εに乗ずることによつて新たな誤差データε’を形成し、この誤差データε’を用いて、非伝送サンプリングデータに対応する補間データI”、J”、K”、……を形成するようにしたことにより、平均誤差データεをそのまま用いて補間データを形成する場合に比して、一段と真値に近い補間データI”、J”、K”、……を得ることができる。従つて復元画像の画質を向上させることができる。
【0040】
(2−2)重み係数メモリの作成
ここで重み係数メモリ35に格納するクラス毎(インデツクス毎)の重み係数は、予め学習により求めるようにする。実際上、各クラス毎の重み係数は、図5に示すような重み係数作成回路40によつて求めることができる。
【0041】
重み係数作成回路40は重心法を用いた学習により重み係数を求める。重み係数作成回路40は、入力端子41を介してサンプリング周波数fでサンプリングされたサンプリングデータ(但し、サンプリング対象とする広帯域ビデオ信号としては、図1のビデオ信号S0と同じような信号を用いる)を入力すると、これを直接平均値データ形成回路44に与えると共にそれぞれ1サンプル分の遅延時間を有する遅延回路42及び43を介して平均値データ形成回路44に与える。
平均値データ形成回路44は、加算回路45及び1/2演算回路48によつて隣接する伝送サンプリングデータ(図1のA、B、C、……に対応する)を用いて非伝送サンプリングデータの平均補間データ(図1のI’、J’、K’、……に対応する)を求め、当該平均補間データを差分回路47に与える。
【0042】
差分回路47は平均補間データと当該平均補間データに対応する真の非伝送サンプリングデータとの差分演算を行うことにより平均補間データの真値からの誤差を表わす誤差データを求める。この誤差データが絶対値化回路48により絶対値化されることにより、絶対値誤差データεが形成される。
【0043】
平均値計算回路49は、絶対値誤差データεを複数個集めてその平均値を計算することによりその平均誤差値を得、これを比率計算回路51に送出する。比率計算回路51にはまた絶対値誤差データεが遅延回路50を介して順次与えられる。この結果比率計算回路51では、平均誤差値と各非伝送サンプリング点での誤差値との比βが求められ、これが遅延回路52を介して係数学習回路53に与えられる。
【0044】
一方、入力端子41に与えられたサンプリングデータは、サブサンプリング回路54に与えられる。サブサンプリング回路54はサンプリングデータを一つおきに抽出することにより伝送サンプリングデータを形成し、当該伝送サンプリングデータをブロツク化回路55に送出する。
ここでブロツク化回路55及びADRC回路56は図4について上述したブロツク化回路33及びADRC回路34と同様の構成でなり、複数の伝送サンプリングデータを集めて形成したブロツク毎にパターン圧縮データを形成し、当該パターン圧縮データをクラス分類のインデツクス情報として係数学習回路53に送出する。
【0045】
係数学習回路53は、比率データβと当該比率データβの個数を順次積算する積算用メモリ59を有し、この積算用メモリ59にはインデツクスデコーダ57から出力されるクラス分のメモリセル59A、59B、59C、……が形成されている。
そしてインデツクスデコーダ57から出力されるクラスデータに対応したメモリセル59A、59B、59C、……に格納された比率データβを読み出して、読み出した比率データβと遅延回路52の出力である比率データβを加算回路58によつて加算した後、この加算結果を再び対応するメモリセル59A、59B、59C、……に格納する。
【0046】
この結果積算用メモリ59の各メモリセル59A、59B、59C、……にはクラス毎の比率データβの和とその個数が格納される。積算用メモリ59は、各クラスの比率データβの個数が所定の個数に達すると、そのクラスの比率データβの和と個数とを平均値計算回路60に送出する。
【0047】
平均値計算回路60は、そのクラスの比率データβの和を個数で割ることにより、比率データβの平均値を求める。かくして重み係数作成回路40においては、クラス毎の比率データβの平均値αが求められ、この平均値αが重み係数として重み係数メモリ35の対応するクラスのアドレスに格納される。このようにして各クラス毎の重み係数αが格納された重み係数メモリ35を作成することができる。
【0048】
(2−3)動作
以上の構成において、帯域伸長デコーダ20は、1サンプルおきの伝送サンプルデータ、平均値誤差データε及び極性データQでなる帯域圧縮されたブロツクデータSを入力すると、重み係数発生回路21において、注目する非伝送サンプリングデータ周辺の複数の伝送サンプリングデータを用いて注目する非伝送サンプリングデータをクラス分類する。
【0049】
例えば8個の伝送サンプリングデータを用い、かつADRC回路34によつてこれらの伝送サンプリングデータに対して1ビツトの適応ダイナミツクレンジ符号化を施すと、全体として8ビツトの符号にまとめることができる。この結果注目非伝送サンプリングデータを周辺の伝送サンプリングデータの変化の度合いに応じて256通りのクラスに分類できる。
【0050】
帯域伸長デコーダ20は、このクラス分類結果に基づいて重み係数メモリ35から、予め学習により求められた重み係数αを読み出す。帯域伸長デコーダ20はこの重み係数αを極性を加味した平均値誤差データ±εに乗ずることにより、新たな誤差データε’を得る。この結果クラスに応じた重み係数αを用いて誤差データε’を形成するようにしたことにより、補間するデータ周辺の変化の度合いをも加味した誤差データε’を得ることができる。
【0051】
帯域伸長データ20は、この誤差データε’を、隣接する伝送サンプルデータの平均により形成した平均値データI’、J’、K’、……に加えることにより、最終的な補間データI”、J”、K”、……を得る。かくしてより真値に近い誤差データε’を使つて、補間データI”、J”、K”、……を形成し得ることにより、真値に近い補間データI”、J”、K”、……を得ることができる。
【0052】
(2−4)効果
以上の構成によれば、ナイキスト定理を満足するサンプリング周波数fでサンプリングされたサンプリングデータA、B、C、……、I、J、K、……を所定間隔おきに抽出することにより形成された伝送サンプリングデータA、B、C、……と、平均値誤差データ±εとを受信したとき、各非伝送サンプリングデータI、J、K、……を周辺の伝送サンプリングデータA、B、C、……を用いてクラス分類し、そのクラスに応じた重み係数αを平均誤差データεに乗じて新たな誤差データε’を算出し、当該誤差データε’を平均補間データ±εに加えるようにしたことにより、帯域圧縮された信号Sを受信した場合でも、ほぼ元通りのデータでなる広帯域信号S10を復元することができる。
【0053】
(3)第2実施例の帯域伸長デコーダ
図4との対応部分に同一符号を付して示す図6において、70は全体として第2実施例の帯域伸長デコーダを示し、重み係数発生部71を除いて図4と同様の構成を有する。
帯域伸長デコーダ70は、伝送された極性データQに基づいて非伝送サンプリングデータI、J、K、……をクラス分類する。これにより圧縮伸長デコーダ70は、簡易な構成で容易にクラス分類処理を行うことができるようになされている。
【0054】
帯域伸長デコーダ70の重み係数発生部71はブロツク化回路72及び重み係数メモリ73によつて構成されている。ブロツク化回路72はブロツクデータSを入力すると、当該ブロツクデータSのうち極性デコーダQを抜き出すと共に、このとき注目する非伝送サンプリングデータI、J、K、……の周辺の極性データQを複数個集めてブロツクを形成する。ブロツク化回路72は、この複数の極性データQを所定の順序で並べたものをインデツクス(すなわち読出しアドレス)として重み係数メモリ73に送出するようになされている。重み係数メモリ73は、後述する学習により予め各クラス毎に求められた重み係数のうち、このインデツクスに応じたクラスの重み係数αを出力する。
【0055】
すなわちこの実施例の重み係数発生部71においては、送信側から伝送されてくる極性データQを使用してそれを所定の順序で並べることによつて注目する非伝送サンプリングデータI、J、K、……をクラス分類するようになされており、これにより周辺画素を圧縮してクラス分類する場合に比して容易に非伝送サンプリングデータI、J、K、……をクラス分類できる。この結果周辺画素を圧縮するための圧縮手段(例えば図4のADRC回路34)を省略でき、この分構成を簡易化することができる。
【0056】
実際上、ブロツク化回路72は、注目点を含めたブロツクを考え、このブロツク内の極性データQをn個集め、これを所定の順番に並べることによりnビツトの信号とする。従つてこのnビツトの信号の取り得るパターンは、2のn乗通り存在する。例えばn=5とすると、注目する非伝送サンプリングデータを32通りのパターンで表わすことができることになる。
重み係数発生部71は、このようにして得られたnビツト信号をインデツクスとして、重み係数メモリ73をアクセスし、クラスに応じた重み係数αを読み出す。
【0057】
帯域伸長デコーダ70は、以下上述の第1実施例と同様にして、この重み係数αを、極性付与回路31の出力である極性が加味された平均誤差データ±εに掛け合わせることにより、精度の高い新たな誤差データε’を得る。次に、この誤差データε’を加算回路28において、平均補間データI’、J’、K’、……に加算することにより補間データI”、J”、K”、……を得る。このようにして真値に近い補間データI”、J”、K”、……を得ることができる。
【0058】
かくして以上の構成によれば、送信側から伝送される極性データQに基づいて各非伝送サンプリングデータI、J、K、……をクラス分類するようにしたことにより、帯域圧縮された信号Sからほぼ元通りの広帯域ビデオ信号S10を復元できる簡易な構成の帯域伸長デコーダ70を実現できる。
【0059】
因に、第2実施例の重み係数メモリ73は、図7に示すような重み係数作成回路80によつて重心法を用いた学習を行うことにより作成できる。ここで図7では、図5との対応部分に同一符号を付して示している。重み係数作成回路80は、加算回路47から出力される誤差データの極性を判定する極性判定回路81を有し、この極性判定回路81により得た各非伝送サンプリング点(すなわち補間対象点)についての極性データをブロツク化回路82に送出する。
【0060】
ブロツク化回路82は、図6について上述したブロツク化回路72と同様の構成でなり、極性データをn個集めてnビツトのインデツクスデータを形成する。このインデツクスデータは、インデツクスデコーダ84によりデコードされた後、積算用メモリ85に与えられる。
【0061】
積算用メモリ85は、インデツクスデコーダ84から出力されるクラス数分のメモリセル84A、84B、84C、……が形成されている。積算用メモリ85では、インデツクスデコーダ84から出力されるクラスに対応したメモリセル84A、84B、84C、……に格納した比率データβが読み出され、当該比率データβと遅延回路52の出力である比率データβが加算回路58によつて加算された後、当該加算結果が再び対応するメモリセル84A、84B、84C、……に格納される。
【0062】
この結果積算用メモリ85の各メモリセル85A、85B、85C、……にはクラス毎の比率データβの和とその個数が格納される。積算用メモリ85は、各クラスの比率データβの個数が所定の個数に達すると、そのクラスの比率データβの和と個数とを平均値計算回路60に送出する。
【0063】
平均値計算回路60は、そのクラスの比率データβの和を個数で割ることにより、比率データβの平均値を求める。かくして重み係数作成回路80においては、各クラスの比率データβの平均値αが求められ、当該平均値αが重み係数として重み係数メモリ73の対応するクラスのアドレスに格納される。このようにして極性データQに基づき分類した各クラスの重み係数を重心法による学習によつて求めることができる。
【0064】
(4)他の実施例
なお上述の第1実施例においては、非伝送サンプリングデータの周辺の伝送サンプリングデータをADRC回路34を用いて圧縮して各非伝送サンプリングデータをクラス分類した場合について述べたが、圧縮手段はこれに限らず、要はあるビツト数で表現されたデータをより少ないビツト数で表現できるような圧縮符号化手段であればどのような圧縮手段を適用しても良く、例えば差分量子化(DPCM)、ベクトル量子化(VQ)や離散サコサイン変換(DCT)等の圧縮手段を適用することもできる。さらに圧縮せずに、周辺の伝送サンプリングデータをそのままインデツクスデータとして重み係数メモリ35に与えるようにしても良い。この場合クラス分類手段としてブロツク化回路33のみを用いれば良いことになり、構成を簡易化できる。
【0065】
また上述の実施例においては、重み係数メモリ35に格納するクラス毎の重み係数αを求める方法として重心法を用いた場合について述べたが、本発明はこれに限らず、クラス毎の重み係数の求め方としては種々の手法を用いることができる。
【0066】
また上述の実施例においては、ナイキスト定理を満たすサンプリング周波数fでサンプリングしたサンプリングデータA、B、C、……、I、J、K、……を一つおきに抽出することにより、伝送サンプリングデータA、B、C、……を形成した場合について述べたが、本発明はこれに限らず、例えば2つおきにサンプリングデータを抽出することにより、一段と帯域が圧縮された帯域圧縮信号に本発明を適用した場合にも、上述の実施例と同様の効果を得ることができる。
【0067】
さらに上述の実施例においては、1次元の信号ブロツクを処理するについて述べたが、本発明はこれに限らず、2次元の信号ブロツクを処理する場合に拡張することもできる。さらに上述の実施例においては、帯域圧縮された広帯域ビデオ信号を復元する装置として本発明を適用した場合について述べたが、取り扱う信号としてはビデオ信号に限らず、種々の広帯域信号を帯域圧縮して伝送又は記録した場合に適用することができる。
【0068】
【発明の効果】
上述のように本発明によれば、非伝送サンプリングデータ周辺の複数の伝送サンプリングデータの変化の度合いに応じて非伝送サンプリングデータをクラス分類し、分類されたクラスに対応する重み係数によつて重み付けした平均誤差データを平均補間データに加算して非伝送サンプリングデータに対応する補間データを形成するようにした。またこの重み係数が、学習用サンプリングデータにおける平均補間データの真値からの複数の絶対値誤差データの平均値と各非伝送サンプリング点での誤差値との比をクラス毎に平均化することによつて予め求められたものであるとした。これにより、単に重み付けされていない平均誤差データを平均補間データに加えた場合に比して、一段と真値に近い補間データを得ることができるので、より高品質な広帯域信号を復元することができ、かくして帯域圧縮された信号からほぼ元通りに近い広帯域信号を復元し得る帯域圧縮信号復元装置及び帯域圧縮信号復元方法を実現できる。
【0069】
また本発明によれば、非伝送サンプリングデータ周辺の複数の極性データのパターンを非伝送サンプリングデータのクラスの情報とし、当該クラスの情報に対応する重み係数によつて平均誤差データを重み付けするようにしたことにより、簡易な構成で、より高品質な広帯域信号を復元することができ、かくして帯域圧縮された信号からほぼ元通りに近い広帯域信号を復元し得ると共に簡易な構成の帯域圧縮信号復元装置及び帯域圧縮信号復元方法を実現できる。
【図面の簡単な説明】
【図1】実施例による伝送サンプリングデータ、非伝送サンプリングデータ及び補間データの説明に供する略線図である。
【図2】伝送データのブロツク構成の説明に供する略線図である。
【図3】帯域圧縮エンコーダの構成を示すブロツク図である。
【図4】本発明の第1実施例による帯域伸長デコーダの構成を示すブロツク図である。
【図5】第1実施例の重み係数作成回路の構成を示すブロツク図である。
【図6】本発明の第2実施例による帯域伸長デコーダの構成を示すブロツク図である。
【図7】第2実施例の重み係数作成回路の構成を示すブロツク図である。
【図8】帯域圧縮の説明に供する信号波形図である。
【図9】平均補間データの形成の説明に供する信号波形図である。
【符号の説明】
1……帯域圧縮エンコーダ、6、25、44……平均値データ形成回路、20、70……帯域伸長デコーダ、21、71……重み係数発生部、A、B、C……伝送サンプリングデータ、I、J、K……非伝送サンプリングデータ、I’、J’、K’……平均補間データ、I”、J”、K”……補間データ、S0、S10……広帯域ビデオ信号、Q……極性データ、S…… ブロツクデータ、SVD……ビデオデータブロツク、α……重み係数、ε……平均誤差データ、ε’……重付け誤差データ。

Claims (12)

  1. 所定のサンプリング周波数でサンプリングされたサンプリングデータを所定間隔で抽出することにより形成された伝送サンプリングデータと、
    互いに隣合う上記伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成し、当該平均補間データと真の非伝送サンプリングデータとの誤差を複数集めて平均することにより形成された平均誤差データと、
    上記各平均補間データが、対応する真の非伝送サンプリングデータに対して大きいか小さいかを表わす極性データと
    でなる帯域圧縮信号から、上記非伝送サンプリングデータを補間することにより上記サンプリング周波数にほぼ等しい帯域の信号を復元する帯域圧縮信号復元装置において、
    上記非伝送サンプリングデータ周辺の複数の上記伝送サンプリングデータの変化の度合いに応じて上記非伝送サンプリングデータをクラス分類するクラス分類手段と、
    上記クラス分類手段により分類されたクラスに対応する重み係数を発生する重み係数発生手段と、
    上記重み係数を上記極性データを加味した上記平均誤差データに乗ずることにより上記各非伝送サンプリングデータに対応した重み付けされた誤差データを求める乗算手段と、
    互いに隣合う伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成する平均補間手段と、
    上記平均補間データに上記重み付けした誤差データを加算することにより、各非伝送サンプリングデータに対応する補間データを算出する加算手段と
    を具え
    上記重み係数発生手段から発生する上記重み係数は、
    上記サンプリングデータに対応する学習用サンプリングデータにおける平均補間データの真値からの複数の絶対値誤差データの平均値と各非伝送サンプリング点での誤差値との比を求め、当該比を上記クラス毎に平均化することによつて予め求められたものであ
    ことを特徴とする帯域圧縮信号復元装置。
  2. 所定のサンプリング周波数でサンプリングされたサンプリングデータを所定間隔で抽出することにより形成された伝送サンプリングデータと、
    互いに隣合う上記伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成し、当該平均補間データと真の非伝送サンプリングデータとの誤差を複数集めて平均することにより形成された平均誤差データと、
    上記各平均補間データが、対応する真の非伝送サンプリングデータに対して大きいか小さいかを表わす極性データと
    でなる帯域圧縮信号から、上記非伝送サンプリングデータを補間することにより上記サンプリング周波数にほぼ等しい帯域の信号を復元する帯域圧縮信号復元装置において、
    上記非伝送サンプリングデータ周辺の複数の上記極性データのパターンを上記非伝送サンプリングデータのクラスとし、当該クラスの情報を出力するクラス情報出力手段と、
    当該クラスの情報に対応する重み係数を発生する重み係数発生手段と、
    上記重み係数を上記極性データを加味した上記平均誤差データに乗ずることにより上記各非伝送サンプリングデータに対応した重み付けされた誤差データを求める乗算手段と、
    互いに隣合う伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成する平均補間手段と、
    上記平均補間データに上記重み付けした誤差データを加算することにより、各非伝送サンプリングデータに対応する補間データを算出する加算手段と
    を具えることを特徴とする帯域圧縮信号復元装置。
  3. 上記クラス分類手段は、上記伝送サンプリングデータを圧縮するデータ圧縮手段でなる
    ことを特徴とする請求項1に記載の帯域圧縮信号復元装置。
  4. 上記データ圧縮手段は、適応ダイナミツクレンジ符号化手段により構成された
    ことを特徴とする請求項3に記載の帯域圧縮信号復元装置。
  5. 上記重み係数発生手段は、重心法を用いた学習によつて求めた各クラス毎の代表値を上記重み係数として格納したメモリ手段でなる
    ことを特徴とする請求項2に記載の帯域圧縮信号復元装置。
  6. 上記サンプリングデータは画像データでなる
    ことを特徴とする請求項1に記載の帯域圧縮信号復元装置。
  7. 所定のサンプリング周波数でサンプリングされたサンプリングデータを所定間隔で抽出することにより形成された伝送サンプリングデータと、
    互いに隣合う上記伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成し、当該平均補間データと真の非伝送サンプリングデータとの誤差を複数集めて平均することにより形成された平均誤差データと、
    上記各平均補間データが、対応する真の非伝送サンプリングデータに対して大きいか小さいかを表わす極性データと
    でなる帯域圧縮信号から、上記非伝送サンプリングデータを補間することにより上記サンプリング周波数にほぼ等しい帯域の信号を復元する帯域圧縮信号復元方法において、
    上記非伝送サンプリングデータ周辺の複数の上記伝送サンプリングデータの変化の度合いに応じて上記非伝送サンプリングデータをクラス分類するクラス分類処理ステツプと、
    上記分類されたクラスに対応する重み係数を発生する重み係数発生処理ステツプと、
    上記重み係数を上記極性データを加味した上記平均誤差データに乗ずることにより上記各非伝送サンプリングデータに対応した重み付けされた誤差データを求める乗算処理ステツプと、
    互いに隣合う伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成する平均補間処理ステツプと、
    上記平均補間データに上記重み付けした誤差データを加算することにより、各非伝送サンプリングデータに対応する補間データを算出する加算処理ステツプと
    を具え
    上記重み係数発生処理ステツプにおける上記重み係数は、
    上記サンプリングデータに対応する学習用サンプリングデータにおける平均補間データの真値からの複数の絶対値誤差データの平均値と各非伝送サンプリング点での誤差値との比を求め、当該比を上記クラス毎に平均化することによつて予め求められたものであ
    ことを特徴とする帯域圧縮信号復元方法。
  8. 所定のサンプリング周波数でサンプリングされたサンプリングデータを所定間隔で抽出することにより形成された伝送サンプリングデータと、
    互いに隣合う上記伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成し、当該平均補間データと真の非伝送サンプリングデータとの誤差を複数集めて平均することにより形成された平均誤差データと、
    上記各平均補間データが、対応する真の非伝送サンプリングデータに対して大きいか小さいかを表わす極性データと
    でなる帯域圧縮信号から、上記非伝送サンプリングデータを補間することにより上記サンプリング周波数にほぼ等しい帯域の信号を復元する帯域圧縮信号復元方法において、
    上記非伝送サンプリングデータ周辺の複数の上記極性データのパターンを上記非伝送サンプリングデータのクラスとし、当該クラスの情報を出力するクラス情報出力ステツプと、
    当該クラスの情報に対応する重み係数を発生する重み係数発生処理ステツプと、
    上記重み係数を上記極性データを加味した上記平均誤差データに乗ずることにより上記各非伝送サンプリングデータに対応した重み付けされた誤差データを求める乗算処理ステツプと、
    互いに隣合う伝送サンプリングデータを平均することにより非伝送サンプリングデータに対応する平均補間データを形成する平均補間処理ステツプと、
    上記平均補間データに上記重み付けした誤差データを加算することにより、各非伝送サンプリングデータに対応する補間データを算出する加算処理ステツプと
    を具えることを特徴とする帯域圧縮信号復元方法。
  9. 上記クラス分類処理ステツプでは、上記伝送サンプリングデータを圧縮するデータ圧縮処理ステツプを具える
    ことを特徴とする請求項7に記載の帯域圧縮信号復元方法。
  10. 上記データ圧縮処理ステツプでは、適応ダイナミツクレンジ符号化処理を行う
    ことを特徴とする請求項9に記載の帯域圧縮信号復元方法。
  11. 上記重み係数発生処理ステツプでは、重心法を用いた学習によつて求めた各クラス毎の代表値を上記重み係数として格納する
    ことを特徴とする請求項8に記載の帯域圧縮信号復元方法。
  12. 上記サンプリングデータは画像データでなる
    ことを特徴とする請求項8に記載の帯域圧縮信号復元方法。
JP30821794A 1994-11-17 1994-11-17 帯域圧縮信号復元装置及び帯域圧縮信号復元方法 Expired - Lifetime JP3613405B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30821794A JP3613405B2 (ja) 1994-11-17 1994-11-17 帯域圧縮信号復元装置及び帯域圧縮信号復元方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30821794A JP3613405B2 (ja) 1994-11-17 1994-11-17 帯域圧縮信号復元装置及び帯域圧縮信号復元方法

Publications (2)

Publication Number Publication Date
JPH08149465A JPH08149465A (ja) 1996-06-07
JP3613405B2 true JP3613405B2 (ja) 2005-01-26

Family

ID=17978338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30821794A Expired - Lifetime JP3613405B2 (ja) 1994-11-17 1994-11-17 帯域圧縮信号復元装置及び帯域圧縮信号復元方法

Country Status (1)

Country Link
JP (1) JP3613405B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645867B2 (ja) * 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体

Also Published As

Publication number Publication date
JPH08149465A (ja) 1996-06-07

Similar Documents

Publication Publication Date Title
JPH10304401A (ja) 映像信号変換装置、映像信号変換方法及び映像提供システム
WO1997028650A1 (en) Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US5802211A (en) Method and apparatus for transmitting and utilizing analog encoded information
US6205253B1 (en) Method and apparatus for transmitting and utilizing analog encoded information
JPH10313251A (ja) オーディオ信号変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
US7068845B2 (en) Information processing apparatus using class-classification adaptive processing
US6529086B2 (en) Encoding/decoding apparatus for orientation interpolator node data
JP3613405B2 (ja) 帯域圧縮信号復元装置及び帯域圧縮信号復元方法
JP2841362B2 (ja) 高能率符号化装置
JP3271095B2 (ja) ディジタル画像信号の高能率符号化装置および復号装置
JP3703034B2 (ja) 画像信号処理方法及び画像信号伝送装置
JP3890638B2 (ja) 画像情報変換装置および方法
JP3759538B2 (ja) 画像信号処理方法及び画像信号伝送装置
JP3870428B2 (ja) 画像情報変換装置および方法並びに係数データ生成装置および方法
JP3896635B2 (ja) 画像データ変換装置及び方法、予測係数生成装置及び方法
JP3627256B2 (ja) ディジタル画像信号の受信/再生装置および方法
JPH11146420A (ja) カラー固体撮像カメラシステム
JP4526529B2 (ja) 階層画像を用いる映像信号変換装置
JP3831955B2 (ja) クラス分類適応処理装置および方法
KR0178206B1 (ko) 적응적인 영상 부호화 시스템
JPS61140291A (ja) 動画像信号の動静分離装置
JPH0888848A (ja) 量子化パターンコードブック構成方法
JP4123452B2 (ja) 画像処理装置および画像処理方法
JP2002208860A (ja) データ圧縮装置とそのデータ圧縮方法及びデータ圧縮用プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにデータ伸長装置とそのデータ伸長方法
JPH05103308A (ja) 映像信号帯域圧縮伝送方法とその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041021

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071105

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111105

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121105

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121105

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term