JPH0974558A - 画像圧縮装置 - Google Patents

画像圧縮装置

Info

Publication number
JPH0974558A
JPH0974558A JP13727296A JP13727296A JPH0974558A JP H0974558 A JPH0974558 A JP H0974558A JP 13727296 A JP13727296 A JP 13727296A JP 13727296 A JP13727296 A JP 13727296A JP H0974558 A JPH0974558 A JP H0974558A
Authority
JP
Japan
Prior art keywords
value
inner product
vector
average value
product value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP13727296A
Other languages
English (en)
Other versions
JP3408924B2 (ja
Inventor
Hirofumi Matsui
裕文 松井
Kunihiko Iizuka
邦彦 飯塚
Mitsuhiko Fujio
光彦 藤尾
Masayuki Miyamoto
雅之 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP13727296A priority Critical patent/JP3408924B2/ja
Priority to DE69618290T priority patent/DE69618290T2/de
Priority to EP19960110324 priority patent/EP0751686B1/en
Priority to US08/673,720 priority patent/US5845016A/en
Publication of JPH0974558A publication Critical patent/JPH0974558A/ja
Application granted granted Critical
Publication of JP3408924B2 publication Critical patent/JP3408924B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3082—Vector coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 イメージセンサ２からラインＬ１〜ＬＫを介
して入力される入力画像に対応したベクトル成分に対し
て、平均値のスカラー量子化符号、コードブック内の各
コードワードとの最大内積値のスカラー量子化符号およ
びその最大内積値を与えるコードワードのインデックス
を符号化して出力するようにした平均値分離正規化ベク
トル量子化法を用いる画像圧縮装置１において、前記最
大内積値が所定の閾値未満であるときには、比較回路１
７での判定結果に対応して、出力選択回路１８は前記最
大内積値およびインデックスの符号の出力を休止し、平
均値の符号のみを出力する。 【解決手段】 圧縮処理単位ブロック７内で各画素間の
輝度レベルにほとんど差のない一様な画像であるときに
は、出力される符号データは、平均値のデータのみとな
り、画質の劣化を抑えて、データ量を格段に削減するこ
とができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像信号の伝送や
記録にあたって、該画像信号を圧縮するための装置に関
する。
【０００２】
【従来の技術】画像信号の前記伝送や記録を行うにあた
って、劣化の少ないデジタル信号に変換して行う方法が
各種提案されている。また、それらの各方法に合わせ
て、デジタル信号をそのまま伝送または記録するのでは
なく、伝送レートや記録容量を削減するために、データ
量を、たとえば数分の一〜数十分の一に圧縮することの
できる圧縮方法が提案されている。
【０００３】前記圧縮方法の典型的な一例として、ベク
トル量子化（Vector Quantization）法が挙げられる。
このベクトル量子化法では、まず、圧縮すべき画像を、
たとえば６×６＝３６画素の圧縮処理単位ブロックに区
分し、その各圧縮処理単位ブロック内を順次走査して得
られた各画素の信号レベルをそれぞれベクトル成分ｘｋ
とするＫ次元の入力ベクトル↑ｘを作成する。ただし、
ｋは画素番号を表し、ｋ＝１，２，…，Ｋであり、この
例ではＫ＝３６となる。また「↑」は、ベクトルである
ことを表す。
【０００４】一方、予め複数種類の学習用画像を用意し
ておき、その学習用画像の画像信号に対して、同様にし
てそれぞれ得られた学習ベクトルをコードワード↑ｃｉ
とし、各画像信号に対応したコードワード↑ｃｉから成
るコードブックｂを登録しておく。ただし、ｉは、ｉ＝
１，２，…，Ｍであり、識別番号を表し、以下インデッ
クスと称する。次に、登録されている前記コードブック
ｂ内の各コードワード↑ｃｉのうち、前記入力ベクトル
↑ｘに最も近いコードワード↑ｃｉが求められ、そのコ
ードワード↑ｃｉのインデックスｉだけ伝送または記録
される。
【０００５】すなわち、
【０００６】
【数１】
【０００７】が最小となるコードワード↑ｃｉが判定さ
れ、そのインデックスｉが伝送または記録される。
【０００８】これによって、データ量は、ｌｏｇ2 Ｍ
（ビット／１ベクトル）となる。したがって、たとえば
前記Ｋ＝３６画素の圧縮処理単位ブロックに対して、前
記コードブックｂ内にＭ＝２５６個のコードワードが登
録されているとするとき、２５６＝２8 であるから、８
／３６＝０．２２（ビット／画素）となり、各画素毎に
８ビットのスカラー量子化を行っていった場合に比べ
て、データ量を１／３６とすることができる。
【０００９】上述のようなベクトル量子化法を更に進め
て、データ量を圧縮するようにした方法として、正規化
ベクトル量子化（Normalized Vector Quantization、ま
たはGain／Shape Vector Quantization ともいう）法が
挙げられる。この正規化ベクトル量子化法では、コード
ブックＢ内の各コードワード↑Ｃ１〜↑ＣＭは、大きさ
１、すなわち｜↑Ｃｉ｜＝（↑Ｃｉ，↑Ｃｉ）1/2 ＝１
とされる。入力ベクトル↑ｘに対して、各コードワード
↑Ｃｉとの内積値、すなわち、
【００１０】
【数２】
【００１１】が最大となるコードワード↑ＣＩを求め、
前記入力ベクトル↑ｘを ↑ｘ＝ＳＱ｛（↑ｘ，↑ＣＩ）｝・↑ＣＩ …（３） と表す。ただし、ＳＱ｛（↑ｘ，↑ＣＩ）｝は、内積値
（↑ｘ，↑ＣＩ）のスカラー量である。
【００１２】すなわちこれは、Ａをスカラー量とする
と、｜↑Ｃｉ｜2 ＝１から、 ｜↑ｘ−Ａ・↑Ｃｉ｜2 ＝｜↑ｘ｜2 −２Ａ（↑ｘ，↑Ｃｉ）＋Ａ2 ｜↑Ｃｉ｜2 ＝｛Ａ−（↑ｘ，↑Ｃｉ）｝2 ＋｜↑ｘ｜2 −（↑ｘ，↑Ｃｉ）2 …（４） であり、右辺第２項および第３項において、｜（↑ｘ，
↑Ｃｉ）｜2 ≦｜↑ｘ｜2 であるから、前記内積値（↑
ｘ，↑Ｃｉ）が最大となるコードワード↑ＣＩで上式が
最小値となり、入力ベクトル↑ｘに最も近いベクトルと
なるためである。
【００１３】このようにして、圧縮側と伸長側とでとも
に必要になる前記コードブックＢを小さく、すなわち登
録コードワード数Ｍを削減することができる。
【００１４】さらに、登録コードワード数Ｍを削減する
ことができるように、前記正規化ベクトル量子化法の考
え方を進めた平均値分離正規化ベクトル量子化（Mean-S
eparated Normalized Vector Quantization 、またはDi
fferential Normalized Vector Quantization もしくは
Mean／Gain／Shape Vector Quantization とも呼ばれ
る）法が提案されている。この平均値分離正規化ベクト
ル量子化法では、まず前記入力ベクトル↑ｘ内の平均値
μを、次式にて求める。
【００１５】
【数３】
【００１６】次に、前記入力ベクトル↑ｘから、前記平
均値μを分離した差成分ベクトル↑Ｘ＝（Ｘ１，Ｘ２，
…，ＸＫ）を次式から求める。
【００１７】 ↑Ｘ＝↑ｘ−μ・↑Ｕ …（６） ここで、↑Ｕは、（１，１，…，１）の単位ベクトルで
ある。
【００１８】続いて、前記正規化ベクトル量子化法で用
いた前記コードブックＢ内の単位長さの各コードワード
↑Ｃｉに対して、内積値（↑Ｘ，↑Ｃｉ）が最大内積値
Ｐとなるコードワード↑ＣＩを求める。こうして求めら
れた平均値μと最大内積値Ｐとをスカラー量子化すると
ともに、前記インデックスＩを２値符号化して、圧縮符
号を作成し、伝送または記録を行う。
【００１９】伝送または再生された圧縮符号から、伸長
装置は、下記のようにして、出力ベクトル↑ｘｏｕｔを
復号化する。
【００２０】 ↑ｘｏｕｔ＝Ｐａ・↑ＣＩ＋μａ・↑Ｕ …（７） ただし、Ｐａ，μａは、スカラー量子化された最大内積
値Ｐおよび平均値μの量子化代表値である。
【００２１】上述のような平均値分離正規化ベクトル量
子化法を用いる典型的な従来技術は、たとえば特開昭６
２−２５５７７号公報に示されている。この従来技術で
は、前記各圧縮処理単位ブロックの入力ベクトルのパワ
ーが大きいときには、ビット長が長い、すなわち階調数
が多いコードブックを用いてベクトル量子化を行い、前
記パワーが小さいときには、上述のような平均値分離正
規化ベクトル量子化法を用いて、データの圧縮が行われ
ている。
【００２２】
【発明が解決しようとする課題】上述のようにして、デ
ータ量を圧縮するようにした平均値分離正規化ベクトル
量子化法を用いても、たとえばアナログ電話回線や、携
帯電話回線などのように、伝送レートが極めて小さい用
途では、動画の画像信号を伝送することができないとい
う問題がある。
【００２３】本発明の目的は、データ量をさらに圧縮す
ることができる画像圧縮装置を提供することである。
【００２４】
【課題を解決するための手段】請求項１の発明に係る画
像圧縮装置は、画像信号を予め定める圧縮処理単位ブロ
ック毎に入力ベクトルとして取込み、その入力ベクトル
の各ベクトル成分から平均値を分離した差成分ベクトル
と、予め定める複数種類の学習用画像の画像信号からそ
れぞれ作成された各コードワードとの内積値を求め、前
記平均値と最大内積値とをスカラー量子化するととも
に、前記最大内積値となるコードワードの識別番号を符
号化するようにした平均値分離正規化ベクトル量子化法
を用いる画像圧縮装置において、前記最大内積値が予め
定める閾値以上であるか否かを判定する比較部と、前記
比較部での判定結果に応答し、前記最大内積値が前記閾
値以上であるときには前記平均値の量子化符号、最大内
積値の量子化符号および識別符号を出力し、閾値未満で
あるときには前記平均値の量子化符号のみを出力する出
力選択部とを含むことを特徴とする。
【００２５】また、請求項２の発明に係る画像圧縮装置
は、画像信号を予め定める圧縮処理単位ブロック毎に入
力ベクトルとして取込み、その入力ベクトルの各ベクト
ル成分の平均値を計算する平均値計算部と、計算された
平均値を前記入力ベクトルの各ベクトル成分から減算し
て差成分ベクトルを作成する平均値分離部と、予め定め
る複数種類の学習用画像の画像信号からそれぞれ作成さ
れた各学習ベクトルをコードワードとして記憶している
記憶部と、前記差成分ベクトルと各コードワードとの内
積値を求める内積値計算部と、前記各コードワードに対
応した内積値が最大値となるコードワードを検出する最
大内積値検出部と、前記平均値をスカラー量子化する平
均値量子化部と、前記最大内積値をスカラー量子化する
ゲイン量子化部と、前記最大内積値となるコードワード
の識別番号を符号化するベクトル符号化部とを備え、前
記平均値の量子化符号、最大内積値の量子化符号および
識別符号を出力するようにした平均値分離正規化ベクト
ル量子化法を用いる画像圧縮装置において、前記最大内
積値が予め定める閾値以上であるか否かを判定する比較
部と、前記比較部での判定結果に応答し、前記最大内積
値が前記閾値以上であるときには前記各符号を出力し、
閾値未満であるときには前記平均値の量子化符号のみを
出力する出力選択部とを含むことを特徴とする。
【００２６】上記請求項１または２の構成によれば、画
像信号を予め定める圧縮処理単位ブロック毎に入力ベク
トルとして取込み、その入力ベクトルの各ベクトル成分
から平均値を減算して求めた各差成分ベクトルに最も近
いコードワードを検出し、前記平均値をスカラー量子化
した量子化符号、前記差成分ベクトルとコードワードと
の最大内積値をスカラー量子化した量子化符号および前
記コードワードの識別符号を出力するようにした平均値
分離正規化ベクトル量子化符号化法を用いる画像圧縮装
置において、前記最大内積値が予め定める閾値未満であ
るとき、すなわち前記圧縮処理単位ブロックの画像が比
較的一様な画像であるときには、平均値の量子化符号の
みを出力するようにする。
【００２７】詳述すると、画像を、たとえば画素数がＫ
の前記圧縮処理単位ブロックに区分して、各圧縮処理単
位ブロック内を順次走査して得られた各画素の信号レベ
ルをベクトル成分とし、このようにして前記画像信号か
ら得られたＫ次の入力ベクトルを取込み、まず平均値計
算部で各ベクトル成分の平均値を計算する。前記平均値
計算部で求められた平均値は、平均値分離部に与えら
れ、入力ベクトルの各ベクトル成分から前記平均値が減
算された差成分ベクトルが作成される。
【００２８】一方、記憶部には、予め定める複数種類の
学習用画像の画像信号からそれぞれ作成された各学習ベ
クトルが、コードワードとして記憶されている。前記平
均値分離部で求められた差成分ベクトルは、内積値計算
部において、すべての各コードワードとの内積値が求め
られる。その内積値計算部での計算結果から、最大内積
値検出部は、各コードワードに対応した内積値のうち、
最大値となるコードワード、すなわち入力ベクトルに最
も近いコードワードを検出する。
【００２９】このようにして求められた前記平均値、最
大内積値および最大内積値となるコードワードの識別番
号は、伝送または記録などのために符号化される。すな
わち、前記平均値は平均値量子化部においてスカラー量
子化され、前記最大内積値はゲイン量子化部においてス
カラー量子化され、前記識別番号はベクトル符号化部に
おいて識別符号に符号化される。
【００３０】しかしながら、本発明では、前記伝送また
は記録などにあたって、前記最大内積値が予め定める閾
値以上であるか否かを比較部で判定し、その判定結果か
ら、出力選択部は、前記最大内積値が前記閾値以上であ
るときには、平均値の量子化符号、最大内積値の量子化
符号および識別符号のすべての符号を出力し、前記閾値
未満であるときには、平均値の量子化符号のみを出力す
るようにする。
【００３１】したがって、前記圧縮処理単位ブロックに
亘ってほぼ均一な画面であるときには、前記最大内積値
の量子化符号および識別符号の出力を休止して、伸長側
ではそれまでの識別符号のコードワードと平均値とを用
いて画像信号に復号化する。これによって、すべての符
号を伝送または記録する場合と主観的にほとんど差のな
い画像を再現することができ、画像信号の劣化を抑え
て、伝送や記録のためのデータ量を極力低減することが
できる。
【００３２】さらにまた、請求項３の発明に係る画像圧
縮装置は、前記平均値を予め定める周期毎に取込んで複
数の圧縮処理単位ブロックによって構成される低域圧縮
処理単位ブロック毎に低域ベクトルを作成する低域バッ
ファと、前記低域ベクトルを前記平均値分離正規化ベク
トル量子化する低域ベクトル量子化部とを備え、前記出
力選択部は、前記平均値の量子化符号に代えて、低域平
均値の量子化符号、低域最大内積値の量子化符号および
低域識別符号を出力することを特徴とする。
【００３３】上記の構成によれば、前記請求項１または
２の構成で得られた最大内積値の量子化符号および識別
符号を高域成分とし、各画素当りに占めるデータ量が小
さい平均値を低域成分として、さらに平均値分離正規化
ベクトル量子化するので、画質を損なうことなく、デー
タ量をさらに削減することができる。
【００３４】また、請求項４の発明に係る画像圧縮装置
では、前記出力選択部は、前記平均値の量子化符号と、
該平均値をさらに平均値分離正規化ベクトル量子化して
得られた前記低域平均値の量子化符号、前記低域最大内
積値の量子化符号および低域識別符号とを選択的に出力
可能であることを特徴とする。
【００３５】上記の構成によれば、受信装置または再生
装置などの復号側が、平均値をさらに平均値分離正規化
ベクトル量子化した符号を復号可能な高度な構成である
のか否かに対応して、圧縮方法を切換え可能とすること
ができる。
【００３６】さらにまた、請求項５の発明に係る画像圧
縮装置では、内積値計算部は、前記各コードワードのコ
ード成分に対応したキャパシタおよびアンプをそれぞれ
備え、前記ベクトル成分に対応する複数チャネルの入力
信号がそれぞれ前記各キャパシタの一端に入力され、キ
ャパシタの他端が共通に前記アンプに接続されることに
よって、各コードワードに対する入力ベクトルの内積値
計算を各コードワード毎に対応したアナログ回路によっ
て並列で行うことを特徴とする。
【００３７】上記の構成によれば、前記ベクトル成分に
対応する複数チャネルの入力信号を、デジタル信号に変
換することなく、アナログ信号のままで、しかも各コー
ドワード間で並列に処理するので、デジタル信号処理で
行う場合には、コードワード数を増加すると演算量が飛
躍的に増加して演算処理部に高い能力が要求され、コス
トが嵩むとともに、消費電力量が増加するのに対して、
アナログ信号処理で行うことによって、そのような問題
を最小限に抑制することができる。
【００３８】また、請求項６の発明に係る画像圧縮装置
では、前記キャパシタは、コード成分を量子化した容量
比に形成され、前記各内積値計算部はまた、量子化誤差
に対応した補償キャパシタを備え、該補償キャパシタに
よって前記平均値との積値を補償値として前記アンプに
入力することを特徴とする。
【００３９】上記の構成によれば、集積回路化にあたっ
て、プロセス上の問題等による前記キャパシタの容量の
対応すべきコード成分に対する量子化誤差を補償するこ
とができ、小さなキャパシタ面積で、高精度にコード成
分を表現することができる。
【００４０】さらにまた、請求項７の発明に係る画像圧
縮装置は、前記入力ベクトルの極性を反転し、得られた
反転値と非反転値とを選択的に切換えて出力することが
できる入力ベクトル反転選択部と、前記入力ベクトル反
転選択部の切換動作に応答し、前記内積値の計算結果の
非反転値と反転値とを相互に比較し、大きい方の値およ
びその符号を出力する反転比較部とをさらに備えること
を特徴とする。
【００４１】上記の構成によれば、入力ベクトルの極性
を反転し、得られた反転値と非反転値とからそれぞれ得
られた内積値は、コード成分の正負反転値と非反転値と
のそれぞれと入力ベクトルとの内積値と等価となる。し
たがって、簡単な構成を追加するだけで、キャパシタの
実装面積を増加することなく、コードワードのインデッ
クスを１ビット増加、すなわちコードワード数を２倍に
することができる。
【００４２】また、請求項８の発明に係る画像圧縮装置
は、前記各コードワードには、入力された画像信号に対
応して得られた複数の各学習ベクトルのうち、予め定め
る閾値以上のパワーを備え、前記各圧縮処理単位ブロッ
ク内での画像の変化の大きい学習ベクトルが選ばれるこ
とを特徴とする。
【００４３】上記の構成によれば、記憶部に記憶される
各コードワードは、多数の入力画像信号に対応して得ら
れた複数の各学習ベクトルのうち、予め定める閾値以上
のパワーを備える学習ベクトルに選ばれる。
【００４４】したがって、前記閾値未満のパワーであっ
て、圧縮処理単位ブロック内での画像の変化が小さいよ
うな学習用画像として不適切な画像から得られたなまっ
た学習ベクトルではなく、エッジなどを含む画像の変化
の比較的大きい学習用に適切な画像から得られた学習ベ
クトルのみによってコードワードが構成されるので、前
記記憶部の記憶内容が不所望になまったものとなること
なく、入力される各種の画像信号に一致する可能性の高
いコードワードを記憶しておくことができる。
【００４５】
【発明の実施の形態】本発明の実施の第１の形態につい
て、図１〜図７に基づいて説明すれば以下のとおりであ
る。
【００４６】図１は、本発明の実施の第１の形態の画像
圧縮装置１とそれに関連するイメージセンサ２との電気
的構成を示すブロック図である。この画像圧縮装置１
は、イメージセンサ２から入力された画像信号を、後述
するようにして圧縮し、作成した符号データを出力ライ
ン３から送信装置や記録装置などへ出力する装置であ
る。
【００４７】前記イメージセンサ２は、多数のマトリク
ス配列されたフォトダイオード４を備えて構成されてい
る。前記マトリクス配列されたフォトダイオード４は、
各列毎に設けられている垂直転送ＣＣＤ（電荷結合素
子）５に接続されている。また、各垂直転送ＣＣＤ５の
一端は、水平転送ＣＣＤ６に接続されている。水平転送
ＣＣＤ６の各素子からは、バッファＦｋ（ｋ＝１，２，
…，Ｋ）を介して、ラインＬｋに、それぞれ保持してい
るアナログ電圧が出力される。
【００４８】前記イメージセンサ２における多数のフォ
トダイオード４は、たとえば図２で示すように、Ｋ＝６
画素×６画素＝３６画素の複数の圧縮処理単位ブロック
７に区分されている。各フォトダイオード４の出力電圧
は、前記垂直転送ＣＣＤ５および水平転送ＣＣＤ６によ
って、前記圧縮処理単位ブロック７毎に順次的に読出さ
れて、前記ラインＬ１〜ＬＫに出力される。したがっ
て、画像圧縮装置１へは、図２で示すように、各フォト
ダイオード４において作成された被写体の輝度レベルに
対応した信号レベルｘ１，ｘ２，…，ｘＫをベクトル成
分とするＫ次の入力ベクトル↑ｘが入力されることにな
る。
【００４９】画像圧縮装置１は、大略的に、平均値計算
回路１１と、内積値計算回路１２と、最大内積値検出回
路１３と、アナログ／デジタル変換器１４，１５と、イ
ンデックス符号化回路１６と、比較回路１７と、出力選
択回路１８とを備えて構成されている。
【００５０】前記平均値計算回路１１は、前記入力ベク
トル↑ｘの次元数Ｋに対応したＫ個の単位キャパシタＨ
０ｋ（前記のとおりにｋ＝１，２，…，Ｋ）と、差動増
幅器Ｅ０とを備えて構成されている。単位キャパシタＨ
０ｋにおいて、その一端は入力ラインＳ０を介して差動
増幅器Ｅ０の反転入力端子に共通に接続されており、他
端は前記各ラインＬｋにそれぞれ接続されている。差動
増幅器Ｅ０の非反転入力端子には、基準電圧ｖｒｅｆと
して接地レベルが与えられている。またこの差動増幅器
Ｅ０の前記反転入力端子と出力端子との間は、帰還キャ
パシタｈ０によって接続されている。
【００５１】ここで、前記各ラインＬｋからの入力電圧
をｖｋとし、差動増幅器Ｅ０の出力電圧をｖｏとし、単
位キャパシタＨ０ｋおよび帰還キャパシタｈ０の静電容
量を参照符と同一に示すとき、前記各単位キャパシタＨ
０ｋの一端と差動増幅器Ｅ０の反転入力端子との接続点
において、電荷の保存則から、
【００５２】
【数４】
【００５３】が成立する。これによって、各ベクトル成
分（ｖ１−ｖｒｅｆ，ｖ２−ｖｒｅｆ，…，ｖＫ−ｖｒ
ｅｆ）と、係数（−Ｈ０１／ｈ０，−Ｈ０２／ｈ０，
…，−Ｈ０Ｋ／ｈ０）との内積値が、（ｖｏ−ｖｒｅ
ｆ）として計算可能であることが理解される。
【００５４】したがって、すべての単位キャパシタＨ０
ｋに関して、Ｈ０ｋ／ｈ０＝１／Ｋとすることによっ
て、ラインＬＡへの差動増幅器Ｅ０の出力電圧ｖｏは、
各ラインＬ１〜ＬＫの平均値となり、平均値量子化部で
あるアナログ／デジタル変換器１４に入力される。した
がって、アナログ／デジタル変換器１４からは、各ライ
ンＬ１〜ＬＫの電圧、すなわち前記入力ベクトル↑ｘの
各ベクトル成分ｘ１〜ｘＫの平均値がスカラー量子化さ
れて出力され、その量子化符号が出力選択回路１８に入
力される。
【００５５】前記内積値計算回路１２は、複数ｉ個の内
積値計算部Ｒｉ（ｉ＝１，２，…，Ｍ）から構成されて
いる。各内積値計算部Ｒ１〜ＲＭは、それぞれＫ個のコ
ード成分キャパシタＨ１１，Ｈ１２，…，Ｈ１Ｋ；Ｈ２
１，…，Ｈ２Ｋ；…；ＨＭ１，…，ＨＭＫ（以下、各内
積値計算部Ｒ１〜ＲＭ毎に総称するときには、Ｈ１，Ｈ
２，…，ＨＭで示し、すべてを総称するときには、Ｈｉ
ｋで示す）と、２つの差動増幅器Ｅ１ａ，Ｅ１ｂ；Ｅ２
ａ，Ｅ２ｂ；…；ＥＭａ，ＥＭｂとを備えて構成されて
いる。
【００５６】内積値計算部Ｒ１内において、各コード成
分キャパシタＨ１１〜Ｈ１Ｋの一端はラインＳ１ａまた
はＳ１ｂに接続されている。また、前記各コード成分キ
ャパシタＨ１１〜Ｈ１Ｋの他端は、それぞれ前記ライン
Ｌ１〜ＬＫに接続されている。前記ラインＳ１ａ，Ｓ１
ｂは、差動増幅器Ｅ１ａ，Ｅ１ｂの反転入力端子にそれ
ぞれ接続されている。この差動増幅器Ｅ１ａ，Ｅ１ｂの
非反転入力端子は接地されており、またこの差動増幅器
Ｅ１ａ，Ｅ１ｂの前記反転入力端子と出力端子との間
は、帰還キャパシタｈ１ａ，ｈ１ｂによってそれぞれ接
続されている。差動増幅器Ｅ１ａの出力は、キャパシタ
ｈ１ｃを介して差動増幅器Ｅ１ｂの反転入力端子に与え
られる。前記各キャパシタｈ１ａ，ｈ１ｂ，ｈ１ｃの静
電容量は相互に等しく選ばれている。
【００５７】したがって、差動増幅器Ｅ１ａの出力は、
差動増幅器Ｅ１ｂにおいてゲイン１で反転増幅されて出
力されることになり、コード成分キャパシタＨ１１〜Ｈ
１Ｋを、ラインＳ１ａ側に接続するとそれらの静電容量
が正係数となり、ラインＳ１ｂ側に接続すると負係数と
なり、最大内積値検出回路１３へは、内積値に対応した
出力電圧が与えられることになる。残余の内積値計算部
Ｒ２〜ＲＭについても同様に構成されており、それらの
出力電圧は、最大内積値検出回路１３にそれぞれ入力さ
れる。
【００５８】前記各内積値計算部Ｒ１〜ＲＭ内におい
て、各コード成分キャパシタＨ１，Ｈ２，…，ＨＭは、
それぞれ正規化されており、すなわち各内積値計算部Ｒ
１〜ＲＭ内のコード成分キャパシタＨ１〜ＨＭは、それ
ぞれの容量の総和が相互に等しくなるように形成されて
いる。したがって、各内積値計算部Ｒ１〜ＲＭ内のコー
ド成分キャパシタＨ１〜ＨＭは、それぞれ正規化された
コードワードとなり、内積値計算回路１２は、Ｍ個のコ
ードワードから成るコードブックを備える記憶部として
も機能する。また、上述のように、各内積値計算部Ｒ１
〜ＲＭ内でのコード成分キャパシタＨ１〜ＨＭは正規化
されており、したがって内積値演算されてラインＳ１
ａ，Ｓ１ｂ；…；ＳＭａ，ＳＭｂに出力される電圧は、
前記平均値計算回路１１の各単位キャパシタＨ０１〜Ｈ
０Ｋによって演算された平均値が減算されたレベルと等
価となり、この内積値計算回路１２は、平均値分離部と
しても機能する。
【００５９】前記最大内積値検出回路１３は、最大入力
検出回路２１と、各内積値計算部Ｒｉ（前記ｉ＝１，
２，…，Ｍ）に対応したスイッチング素子Ｔｉとを備え
て構成されている。最大入力検出回路２１からは、前記
各内積値計算部Ｒｉにそれぞれ対応した出力ラインＹｉ
が導出されており、この最大入力検出回路２１は、後述
するようにして、各内積値計算部Ｒｉからの入力電圧の
うち、最も高い入力電圧の内積値計算部に対応したチャ
ネルの出力ラインのみにハイレベルの出力を導出し、残
余のチャネルのラインをローレベルとする。
【００６０】前記各出力ラインＹｉは、ベクトル符号化
部であるインデックス符号化回路１６に接続されてい
る。このインデックス符号化回路１６は、内積値が最大
であると判定されたチャネルのインデックスを２値符号
に変換して、出力選択回路１８へ出力する。
【００６１】また、前記出力ラインＹｉは、前記スイッ
チング素子Ｔｉのゲートにそれぞれ接続されており、し
たがってスイッチング素子Ｔｉによって、前記各内積値
計算部Ｒｉからの入力電圧のうち、最も高い電圧が選択
され、ゲイン量子化部であるアナログ／デジタル変換器
１５に入力されて、その電圧レベルがスカラー量子化さ
れ、出力選択回路１８に入力される。
【００６２】さらにまた、前記スイッチング素子Ｔｉで
選択された電圧は、比較回路１７の一方の端子に入力さ
れている。この比較回路１７の他方の端子には、基準電
圧源１９が接続されている。したがって、この比較回路
１７は、前記内積値計算回路１２で計算された内積値の
うちの最大値が前記基準電圧源１９で定められる閾値以
上であるか否かを判断し、閾値以上であるときには、ラ
イン２０を介して出力選択回路１８へハイレベルの出力
を導出し、閾値未満であるときには、前記ライン２０を
ローレベルとする。
【００６３】前記出力選択回路１８は、前記ライン２０
がハイレベルであるときには、アナログ／デジタル変換
器１４，１５から入力された平均値および最大内積値の
符号データならびに最大内積値となった内積値計算部の
インデックス符号データを出力ライン３へ出力する。こ
れに対して、前記ライン２０がローレベルであるときに
は、前記出力ライン３へアナログ／デジタル変換器１４
からの平均値の符号データのみを出力する。
【００６４】図３は、前記最大入力検出回路２１の具体
的構成を示す電気回路図である。この最大入力検出回路
２１は、前記ｉチャネルのアナログ入力電圧Ｖｉに個別
的に対応する基本回路αｉを備えている。
【００６５】基本回路α１は、ＭＯＳから成る５つの電
界効果トランジスタＱ１〜Ｑ５を有する検出部３１と、
４つの電界効果トランジスタＱ６〜Ｑ９を有するフィー
ドバック電流発生回路３２とを備えて構成されている。
前記検出部３１において、前記出力ラインＹ１からの入
力電圧Ｖ１はＮ型のトランジスタＱ１のゲートに入力さ
れており、このトランジスタＱ１のドレインはＰ型のト
ランジスタＱ２のドレインおよびゲートに接続されてい
る。
【００６６】トランジスタＱ２のソースは、ハイレベル
Ｖｄｄである一方の電源ライン２２に接続されている。
このトランジスタＱ２に対応して、同様のＰ型のトラン
ジスタＱ３が設けられており、これらトランジスタＱ
２，Ｑ３はカレントミラー回路を構成する。トランジス
タＱ３のゲートは前記トランジスタＱ２のゲートととも
にトランジスタＱ１のドレインに接続されており、また
ソースは前記電源ライン２２に接続され、ドレインはＮ
型のトランジスタＱ４のドレインに接続されている。
【００６７】トランジスタＱ４のゲートには予め定める
基準電圧Ｖｂ２が印加されており、またソースは接地レ
ベルである他方の電源ライン２３に接続されている。こ
れらトランジスタＱ３，Ｑ４の接続点２４からは、該ト
ランジスタＱ３，Ｑ４のインピーダンスに応じた出力電
圧Ｖｏ１が出力される。また、前記トランジスタＱ１の
ソースはＮ型のトランジスタＱ５のドレインに接続され
ており、このトランジスタＱ５のソースは前記電源ライ
ン２３に接続され、ゲートには予め定める基準電圧Ｖｂ
１が印加されている。
【００６８】前記接続点２４からの出力電圧Ｖｏ１はま
た、フィードバック電流発生回路３２に入力され、Ｎ型
のトランジスタＱ７のゲートに入力される。このトラン
ジスタＱ７のソースは、Ｎ型のトランジスタＱ６を介し
て前記電源ライン２３に接続される。トランジスタＱ６
のゲートには予め定める基準電圧Ｖｂ３が印加されてお
り、したがって、該トランジスタＱ６を流れるバイアス
電流Ｉ６は前記基準電圧Ｖｂ３によって規定された一定
値となる。
【００６９】前記トランジスタＱ７のドレインは、Ｐ型
のトランジスタＱ８を介して電源ライン２２に接続され
ている。このトランジスタＱ８と対を成すトランジスタ
Ｑ９が設けられており、これらトランジスタＱ８，Ｑ９
はカレントミラー回路を構成し、トランジスタＱ９は前
記トランジスタＱ７に流れる電流に対応したフィードバ
ック電流ＩＦを前記トランジスタＱ１とトランジスタＱ
５との接続点２５に正帰還する。
【００７０】残余の基本回路α２〜αＭも前記基本回路
α１と同様に構成されており、各基本回路αｉにおける
接続点２５は接線２７によって相互に同電位に保たれて
いる。また、トランジスタＱ７とトランジスタＱ６との
接続点２６は、接線２８によって各基本回路αｉ間で相
互に同電位に保持される。
【００７１】また、基本回路αｉに共通に、前記トラン
ジスタＱ６のバイアス電流Ｉ６を供給するためのＮ型の
トランジスタＱ１０が設けられている。このトランジス
タＱ１０のゲートおよびドレインは前記ハイレベルＶｄ
ｄの電源ライン２２に接続され、ソースはトランジスタ
Ｑ６のドレイン、すなわち接線２８に接続されている。
各トランジスタＱ１〜Ｑ１０は、飽和領域で動作する。
【００７２】上述のように構成された最大入力検出回路
２１において、まず検出部３１の動作を詳述する。各ト
ランジスタＱ５を流れるバイアス電流Ｉ５は基準電圧Ｖ
ｂ１によって前述のように規定されており、したがって
各トランジスタＱ１は、各トランジスタＱ５が接線２７
で並列接続されていることから、各トランジスタＱ９か
らのすべてのフィードバック電流ＩＦと、各トランジス
タＱ５を流れる電流Ｉ５の総和Ｍ・Ｉ５とに対応した値
となる該トランジスタＱ１のソース電圧と、入力電圧Ｖ
ｉとの差に対応した電流Ｉ１を通過させる。
【００７３】これによって、電流Ｉ３が流れるトランジ
スタＱ３のインピーダンスと、前記基準電圧Ｖｂ２によ
って規定される電流Ｉ４が流れるトランジスタＱ４のイ
ンピーダンスとの差に対応した電圧が、接続点２４から
出力電圧Ｖｏｉとして出力されるとともに、トランジス
タＱ７のゲートに入力される。また、これによってトラ
ンジスタＱ７は、相互に並列接続されている各トランジ
スタＱ６において前記バイアス電圧Ｖｂ３によって規定
される電流Ｉ６の総和Ｍ・Ｉ６と、前記トランジスタＱ
１０を流れる電流Ｉ１０とに対応した該トランジスタＱ
７のソース電圧と、入力される前記出力電圧Ｖｏｉとの
差に対応した電流Ｉ７をトランジスタＱ８から引込み、
トランジスタＱ９を介して前記接続点２５にフィードバ
ック電流ＩＦとして正帰還する。
【００７４】したがって、フィードバック電流発生回路
３２は、前記出力電圧Ｖｏｉが接線２８の電圧にＭＯＳ
ＦＥＴの導通に要する閾値電圧Ｖｔｈを加算した電圧よ
りも高くなる程、前記接続点２５に大きなフィードバッ
ク電流ＩＦを正帰還する。したがって、出力電圧Ｖｏｉ
が高くなる程、トランジスタＱ１を流れる電流Ｉ１、す
なわちトランジスタＱ３を流れる電流Ｉ３が減少し、出
力電圧Ｖｏｉが接線２８の電圧に前記閾値電圧Ｖｔｈを
加算した電圧よりも低くなると、トランジスタＱ７はＯ
ＦＦとなって、トランジスタＱ６の前記バイアス電流Ｉ
６はトランジスタＱ１０から供給される。このような動
作が、入力電圧Ｖｉの小さいチャネルの基本回路から行
われ、最終的に最大入力の基本回路のみが出力電圧Ｖｏ
ｉにハイレベルを出力し、最大値の選択が行われる。
【００７５】図４は、上述のように構成された画像圧縮
装置１の圧縮動作を説明するためのフローチャートであ
る。イメージセンサ２からは、フォトダイオード４の出
力電圧がＣＣＤ５，６によって順次走査され、圧縮処理
単位ブロック７毎に参照符γ１で示すような３６次元の
入力ベクトル↑ｘとなる画像信号が入力される。前記フ
ォトダイオード４、ＣＣＤ５，６、バッファＦ１〜Ｆ３
６などは、入力画像の輝度レベルに対応して、たとえば
２５６階調の分解能で、前記画像信号を出力する。
【００７６】前記画像信号は、前記平均値計算回路１１
に入力され、ステップβ１において、前記式５で示すよ
うにして、その平均値μが計算される。平均値計算回路
１１からは、参照符γ２で示すような平均値信号が出力
される。
【００７７】また、前記画像信号は内積値計算回路１２
に入力され、まずステップβ２において、各ベクトル成
分ｘ１〜ｘ３６から前記平均値μが減算されて、参照符
γ３で示すような差成分ベクトル↑Ｘ＝（Ｘ１，Ｘ２，
…，Ｘ３６）に対応した差成分信号が作成される。次
に、各内積値計算部Ｒ１〜Ｒ３２において、正規化され
たコード成分キャパシタＨ１〜Ｈ３６によって実現され
る参照符γ４で示すような各コードワード↑Ｃ１〜↑Ｃ
３２のそれぞれと前記差成分信号との内積値がステップ
β３で計算される。
【００７８】ステップβ４では、最大内積値検出回路１
３において、前記ステップβ３で計算された各内積値の
うち、最大内積値Ｐを与えるコードワード↑ＣＩが検出
される。こうして最大内積値Ｐが求められると、ステッ
プβ５で、前記比較回路１７において、該最大内積値Ｐ
と前記基準電圧源１９の出力電圧に対応する閾値Ｖｔｈ
１とが比較され、最大内積値Ｐが閾値Ｖｔｈ１以上であ
るときには、判定フラグｆが１にセットされ、閾値Ｖｔ
ｈ１未満であるときには、前記判定フラグｆが０にリセ
ットされる。
【００７９】ステップβ６では、前記判定フラグｆに応
答して、アナログ／デジタル変換器１４，１５およびイ
ンデックス符号化回路１６ならびに出力選択回路１８
は、参照符γ５で示すように、３６画素当り、判定フラ
グｆが１であるときには、該判定フラグｆに、平均値
μ、インデックスＩおよび最大内積値Ｐの符号データを
併せて出力し、判定フラグｆが０であるときには、該判
定フラグｆに、平均値μの符号データのみを併せて出力
する。なお、前記判定フラグｆは１ビットで表され、た
とえば、平均値μおよびインデクッスＩは５ビットで表
され、最大内積値Ｐは３ビットで表される。
【００８０】出力選択回路１８から出力ライン３へ導出
された符号データは、送信装置に与えられて伝送され、
また記録装置に与えられて記録される。したがって、受
信装置で受信され、または再生装置で再生された符号デ
ータは、前記判定フラグｆに対応して、該判定フラグｆ
が１であるときには、平均値μ、インデックスＩおよび
最大内積値Ｐから前記圧縮処理単位ブロック７の画像信
号に復号化され、フラグｆが０であるときには、平均値
μから復号化が行われる。復号化された各圧縮処理単位
ブロック７毎の画像は、復元すべき画像上の所定位置に
順次配列されてゆき、復号画像が作成される。
【００８１】ここで、前記最大内積値Ｐを与えるコード
ワード↑ＣＩを、↑ＣＩ＝（ＣＩ１，ＣＩ２，…，ＣＩ
Ｋ）とすると、各コードワード↑Ｃｉは正規化されてい
るので、
【００８２】
【数５】
【００８３】であり、前記最大内積値Ｐは、
【００８４】
【数６】
【００８５】で与えられえる。ただし、｜↑Ｘ｜，｜↑
ＣＩ｜は、それぞれ差成分ベクトル↑Ｘの絶対値、コー
ドワード↑ＣＩの絶対値である。また、↑ＣＩは、前述
のように正規化されたベクトルであるので、０≦（↑Ｘ
／｜↑Ｘ｜，↑ＣＩ）≦１である。ここで、（↑Ｘ／｜
↑Ｘ｜，↑ＣＩ）＝ｃｏｓθと定義すると、該ｃｏｓθ
は、入力ベクトル↑ｘと参照用のコードワード↑ＣＩと
の近さの度合いを表す指標と考えることができる。
【００８６】前記最大内積値Ｐが閾値Ｖｔｈ１未満であ
るときには、前記式１０から、｜↑Ｘ｜が比較的小さい
かまたはｃｏｓθが小さいかのいずれかである。前記ｃ
ｏｓθが小さい場合には、差成分ベクトル↑Ｘに近いコ
ードワード↑ＣＩがコードブックＢ内に存在しないこと
を意味する。したがって、コードブックＢを、任意の差
成分ベクトル↑Ｘに対して、コードワード↑Ｃｉの少な
くともいずれか１つが近似するように、以下のようにし
て適宜選択しておくことによって、前記Ｐ＜Ｖｔｈ１と
なるときには、｜↑Ｘ｜が小さい、すなわち差成分ベク
トル↑Ｘのパワーが小さいと考えることができる。この
場合には、前記圧縮処理単位ブロック７の画像出力ベク
トル↑ｘｏｕｔを、前記式７で示すように、↑ｘｏｕｔ
＝Ｐａ・↑ＣＩ＋μａ・↑Ｕによって復号化した場合
と、↑ｘｏｕｔ＝μａ・↑Ｕによって復号化した場合と
で、主観上の画質の差はほとんど生じない。
【００８７】このため本発明は、前述のようにＰ≧Ｖｔ
ｈ１であるときには、すべての符号データを出力し、Ｐ
＜Ｖｔｈ１であるときには、平均値μの符号データのみ
を出力するようにする。こうして、Ｐ＜Ｖｔｈとなる圧
縮処理単位ブロックの出現確率が高い程、データ量を少
なくし、圧縮率を向上することができる。
【００８８】以下に、前記ｃｏｓθが大きくなるよう
な、すなわち差成分ベクトル↑Ｘと近似する可能性の高
いコードワード↑ＣＩを備えることのできるコードブッ
クＢの作成手順を、図５を参照して詳述する。この動作
は、圧縮および伸長に用いられるコードブックＢを作成
するメーカー側で行われる。
【００８９】多数の学習用画像が前記圧縮処理単位ブロ
ック７に区分され、その圧縮処理単位ブロック７の各画
素の輝度レベルを８ビット、すなわち２５６階調で表し
たデータをベクトル成分ｘｔｎｋ（ｎ＝１，２，…，
Ｎ）として、前記図２で示すような順位で配列された入
力ベクトル↑ｘｔｎが読込まれると、まずステップβ１
１において、前記式５に基づいて平均値μｔｎが求めら
れ、さらに各ベクトル成分ｘｔｎｋから、下式で示され
るようにして前記平均値μｔｎが分離され、差成分ベク
トル↑Ｘｔｎが求められる。
【００９０】 ↑Ｘｔｎ＝↑ｘｔｎ−μｔｎ＝（Ｘｔｎ１，Ｘｔｎ２，…，ＸｔｎＫ） …（１１） 次に、ステップβ１２において、式１２から、前記差成
分ベクトル↑Ｘｔｎのベクトルパワー｜↑Ｘｔｎ｜が算
出される。
【００９１】
【数７】
【００９２】ステップβ１３では、前記パワー｜↑Ｘｔ
ｎ｜が予め定める閾値Ｖｔｈ２以上であるか否かが判断
され、閾値Ｖｔｈ２以上のパワーを備える差成分ベクト
ルのみが学習ベクトル↑Ｘｔｎに用いられて、以下に示
すようなステップβ１４におけるＬＢＧ(Linde,Buzo an
d Gray) アルゴリズムによって、参照符γ１１で示すよ
うな前記コードブックＢが作成される。
【００９３】前記ＬＢＧアルゴリズムは、多数の学習ベ
クトル↑Ｘｔ１〜↑ＸｔＮから成る空間を、レベルと称
される複数の領域、上述の例の場合にはＭ個の領域ｒ１
〜ｒＭに分割し、その領域ｒ１〜ｒＭ毎に、該領域ｒ１
〜ｒＭ内に含まれるすべての学習ベクトルとの距離の和
が最も小さくなるような代表ベクトル↑Ｘ０１，↑Ｘ０
２，…，↑Ｘ０Ｍをそれぞれ作成するものであり、本発
明では作成された代表ベクトルをコードワード↑Ｃｉと
して使用する。なお、各内積値計算部Ｒ１〜ＲＭでは、
求められたコードワード↑Ｃｉの各コード成分Ｃｉ１〜
ＣｉＫの８ビット２５６階調のデータに対応して、各コ
ード成分キャパシタＨｉ１〜ＨｉＫの容量がそれぞれ設
定されることになる。
【００９４】図６は、前記ＬＢＧアルゴリズムの処理手
順を説明するためのフローチャートである。ステップβ
２１では、前記次元数Ｋ、レベル数Ｍおよび収束判定用
閾値εの初期設定が行われるとともに、分割領域の更新
回数を表す変数ｍ（ｍ＝０，１，２，…）が０にリセッ
トされ、さらに初期歪Ｄ(-1)が＋∞に設定される。さら
にまた、量子化代表ベクトル↑Ｘ０１〜↑Ｘ０Ｍから成
るコードブックＢが、後述するようなスプリッティング
アルゴリズムによって求められた初期コードブックＢ
(0) にセットされる。
【００９５】ステップβ２２では、コードブックＢ(m)
を固定して、分割領域ｒ(m) を決定し、その分割状態で
の各分割領域ｒ(m) に含まれる学習ベクトルとその分割
領域ｒ(m) での量子化代表ベクトルとの距離差、すなわ
ち歪が求められ、さらにその歪の平均値Ｄ(m) が求めら
れる。ステップβ２３では、前回の分割領域ｒ(m-1)に
よる分割状態と今回の分割領域ｒ(m) による分割状態と
での平均歪Ｄ(m-1) ，Ｄ(m) の変化率が求められ、その
変化率が前記収束判定用閾値ε未満であるか否かが判断
され、そうであるときには、前記各量子化代表ベクトル
をコードワードとしてコードブックＢの設定を終了し、
そうでないときには、ステップβ２４に移る。
【００９６】ステップβ２４では、分割領域ｒ(m) を固
定して、コードブックＢ(m) 内の各量子化代表ベクトル
が各分割領域ｒ(m) における重心ベクトルとされる。そ
の後、ステップβ２５で、変数ｍに１が加算されて更新
された後、前記ステップβ２２に戻る。こうしてステッ
プβ２２〜β２５を繰返すことによって、レベル数Ｍ個
の各分割領域ｒ１〜ｒＭ内で、その分割領域内に含まれ
る学習ベクトルに対して歪が最も小さくなる量子化代表
ベクトルが求められ、コードブックＢのコードワード↑
Ｃｉとされる。このようにして作成された各コードワー
ド↑Ｃｉのベクトル成分に対応して、前記各コード成分
キャパシタＨｉ１〜ＨｉＫの容量がそれぞれ決定され
る。
【００９７】図７は、前記初期コードブックＢ(0) を求
める手法の一例であるスプリッティングアルゴリズムの
考え方を説明するための図である。このスプリッティン
グアルゴリズムは、ＭレベルのコードブックＢ（Ｍ）内
のコードワード↑Ｃ１〜↑ＣＭから、微少ベクトル↑δ
を用いて、下式で示すようにして近接した２つのコード
ワード、たとえば↑ＣＭ１，↑ＣＭ２を生成する方法で
ある。
【００９８】 ↑ＣＭ１＝↑ＣＭ−↑δ ↑ＣＭ２＝↑ＣＭ＋↑δ …（１３） まず、図７（ａ）で示すように、すべての学習ベクトル
↑Ｘｔ１〜↑ＸｔＮの重心ベクトルが求められ、レベル
１の代表点Ｚ１として設定される。
【００９９】次に、図７（ｂ）で示されるように、前記
代表点Ｚ１を予め定める分割パラメータδだけ変位さ
せ、レベル２の代表点Ｚ２１ａ，Ｚ２２ａが求められ
る。
【０１００】続いて、すべての学習ベクトル↑Ｘｔ１〜
↑ＸｔＮに対して、前記代表点Ｚ２１ａまたはＺ２２ａ
との距離が計算され、図７（ｃ）で示されるように、各
学習ベクトル↑Ｘｔｎと代表点Ｚ２１ａまたはＺ２２ａ
までの距離の和が最小となるように、各学習ベクトル↑
Ｘｔｎが属する領域ｒ２１，ｒ２２の境界が変化され、
その変化による前記距離の和の変化率が予め定める値ε
以下となるまで前記境界の変更が繰返される。
【０１０１】このようにして、ベクトル空間の分割が完
了すると、図７（ｄ）で示されるように、前記図７
（ａ）と同様に、領域ｒ２１、ｒ２２内でそれぞれの領
域ｒ２１，ｒ２２に属する学習ベクトルの重心ベクトル
が求められ、それらの平均がレベル２での代表点Ｚ２
１，Ｚ２２とされる。
【０１０２】続いて、図７（ｅ）で示されるように、前
記代表点Ｚ２１，Ｚ２２が前記分割パラメータδだけ変
位され、レベル４の代表点ｚ４１，ｚ４２，Ｚ４３，ｚ
４４が求められ、同様に領域分割および代表点が求めら
れてゆく。このような動作が、所望とする２のべき乗レ
ベル数（＝コードワード数）Ｍとなるまで繰返される。
【０１０３】表１に、本件発明者の実験結果を示す。こ
の実験では、５１２画素×５１２画素から成る多数の学
習用画像から得られる前記圧縮処理単位ブロック７に対
応した学習ベクトル数Ｎを２８９００とし、各学習ベク
トル↑Ｘｔｎの次元数を前記Ｋ＝３６とし、レベル数を
コードワード数である前記Ｍ＝３２とし、分割パラメー
タδを０．１とし、収束判定値εを０．０００１として
学習したコードワード↑Ｃｉを使用し、前記学習用画像
とは異なるｉ〜viの各サンプル画像に対し、Ｉ，II，II
I の３種類の実験を行っている。
【０１０４】実験Ｉは、学習時における閾値Ｖｔｈ２を
設定することなく、すなわち前記入力ベクトル↑ｘｔｎ
のすべてを学習ベクトル↑Ｘｔｎとし、かつ符号データ
圧縮時における閾値Ｖｔｈ１も設定することなく、常
時、すべての符号データを出力するようにした場合であ
る。また、実験IIは、前記閾値Ｖｔｈ２を設定すること
なく、かつ閾値Ｖｔｈ１のみを設定した場合であり、実
験III は、閾値Ｖｔｈ２，Ｖｔｈ１ともに設定した場合
である。なお、表１において各欄内の上段は圧縮後の１
画素当りのデータ量を表し、単位はビット／画素であ
る。また、下段はＳＮ比、すなわち画質を表し、単位は
ｄＢである。
【０１０５】
【表１】
【０１０６】前記実験II，III の平均値から明らかなよ
うに、学習時に閾値Ｖｔｈ２を設定することによって、
圧縮後のデータ量を削減することができるとともに、画
質も向上することができる。また、実験Ｉ，IIの平均値
から明らかなように、圧縮時に閾値Ｖｔｈ１を設定する
ことによって、画質をほとんど損なうことなく、データ
量をほぼ半減することができる。
【０１０７】以上のように、本発明に従う画像圧縮装置
１は、入力画像に対応した入力ベクトル↑ｘに対して、
コードブックＢ内の各コードワード↑Ｃｉから求められ
た最大内積値Ｐが閾値Ｖｔｈ１未満であるような、圧縮
処理単位ブロック７に亘って比較的均一な画像であると
きには、符号データとして各ベクトル成分ｘｋの平均値
μのみを出力する。これに対して、前記閾値Ｖｔｈ１以
上であるエッジ等を含む比較的変化の大きい画像である
ときには、前記平均値μとともに、前記最大内積値Ｐお
よび該最大内積値Ｐとなるコードワード↑ＣＩのインデ
クッスＩを符号データとして出力するので、主観上ほと
んど画質を損なうことなく、データ量を格段に削減する
ことができる。
【０１０８】また、前記コードブックＢ内の各コードワ
ード↑Ｃｉの学習にあたって、閾値Ｖｔｈ２以上のパワ
ー｜↑Ｘｔｎ｜を備える入力ベクトル↑ｘｔｎのみを学
習ベクトル↑Ｘｔｎとするので、前記圧縮処理単位ブロ
ック７に亘って、比較的一様で学習に不適切ななまった
画像を除去し、比較的変化の激しい学習に適した画像の
みを使用することができ、コードブックＢの内容が不所
望になまったものとなることなく、入力される各種の画
像信号に一致する可能性の高いコードワードを記憶して
おくことができる。
【０１０９】本発明の実施の第２の形態について、図８
に基づいて説明すれば以下のとおりである。
【０１１０】図８は、本発明の実施の第２の形態の画像
圧縮装置１ａと、イメージセンサ２との電気的構成を示
すブロック図である。このイメージセンサ１ａは、前述
のイメージセンサ１に類似し、対応する部分には同一の
参照符号を付して、その説明を省略する。注目すべき
は、この画像圧縮装置１ａでは、内積値計算回路１２ａ
内の各内積値計算部Ｒａｉには、以下に示すようなコー
ドブックの量子化誤差を補償するための補償キャパシタ
Ｈｃｉａ，Ｈｃｉｂ（総称するときには、参照符Ｈｃで
示す）が設けられていることである。
【０１１１】前述の画像圧縮装置１では、内積値計算回
路１２内の各内積値計算部Ｒｉは、前記コード成分Ｃｉ
ｋをコード成分キャパシタＨｉｋで実現している。しか
しながら、通常、集積回路チップ内ではキャパシタはか
なり大きな面積を占めてしまうことになる。このため、
各コード成分キャパシタＨｉｋを、多数のユニットキャ
パシタをコード成分Ｃｉｋの階調度に応じて選択的に使
用することによって実現した構成では、前記ユニットキ
ャパシタを非常に小さくする必要がある。または、量子
化したキャパシタ比、たとえばＨｉ１：Ｈｉ２：Ｈｉ
３：…：Ｈｉｋ＝１：２：４：…：２等のようにして、
前記コード成分Ｃｉｋを実現することになる。しかしな
がら、前記ユニットキャパシタを小さくしすぎると、現
在のプロセス技術では、前記階調度に対応した精度を得
ることは困難であり、したがって前記量子化したキャパ
シタ比を用いることになる。
【０１１２】ここで、前記コード成分キャパシタＨｉｋ
が量子化されておらず、所望とするコード成分Ｃｉｋに
正確に対応しているものとして、前記差成分ベクトル↑
Ｘと各コードワード↑Ｃｉとの内積値を計算すると、
【０１１３】
【数８】
【０１１４】となる。ここで、量子化誤差がないとする
と、
【０１１５】
【数９】
【０１１６】であるので、前記式１４は、
【０１１７】
【数１０】
【０１１８】となる。
【０１１９】したがって、前記式２で示す入力ベクトル
↑ｘをそのまま用いた内積値の計算結果と等しくなり、
前述の画像圧縮装置１で示すように、平均値μを分離す
ることなく、前記入力ベクトル↑ｘを各内積値計算部Ｒ
ｉに直接入力する構成であっても、差成分ベクトル↑Ｘ
と各コードワード↑Ｃｉとの内積値を計算したことと、
等価となる。
【０１２０】しかしながら、前述のような量子化したキ
ャパシタで構成するコードワード↑Ｃｉを用いて、前記
差成分ベクトル↑Ｘとの内積値を計算すると、
【０１２１】
【数１１】
【０１２２】となる。
【０１２３】したがって、各内積値計算部Ｒｉへの入力
としてイメージセンサ２からの入力ベクトル↑ｘをその
まま用いた結果と、平均値μを分離した差成分ベクトル
↑Ｘとを用いた結果とは異なったものになり、コード成
分キャパシタＨｉｋの集積回路への実装にあたって量子
化を行うと、計算結果に誤差が生じ、または、誤ったコ
ードワードが選択され、圧縮結果が異なったものになっ
てしまう。
【０１２４】このため、この画像圧縮装置１ａでは、前
記式１７を式１８で示すようにして、前記量子化誤差を
補償している。
【０１２５】
【数１２】
【０１２６】すなわち、量子化誤差分−μΣ［Ｃｉｋ］
を補償するための補償項＋μΣ［Ｃｉｋ］を設けて、前
記量子化誤差を補償している。
【０１２７】たとえば、前記内積値計算部Ｒａ１では、
正係数のコード成分キャパシタＨ１+ による量子化誤差
を補償するために、補償キャパシタＨｃ１ｂがラインＳ
１ｂに設けられており、負係数のコード成分キャパシタ
Ｈ１- の量子化誤差を補償するために、補償キャパシタ
Ｈｃ１ａがラインＳ１ａに設けられている。前記各補償
キャパシタＨｃ１ａ，Ｈｃ１ｂの一端はそれぞれ前記ラ
インＳ１ａ，Ｓ１ｂに接続され、他端には前記ラインＬ
Ａに出力される平均値計算回路１１からの出力が与えら
れる。こうして、前記補償項＋μΣ［Ｃｉｋ］に対応し
た補償を行うことができる。
【０１２８】このように各内積値計算部Ｒａｉに、コー
ドブックの量子化誤差−μΣ［Ｃｉｋ］に対応して、簡
単な構成の補償キャパシタＨｃ１ａ，Ｈｃ１ｂ；…；Ｈ
ｃＭａ，ＨｃＭｂをそれぞれ付加するだけで、前記コー
ドブックの量子化誤差を意識することなく、各内積値計
算部Ｒａｉにイメージセンサ２からの入力ベクトル↑ｘ
を直接入力しても、平均値μを減算した差成分ベクトル
↑Ｘを入力した場合と等価な内積値を得ることができ、
コードブック量子化誤差を補償することができる。
【０１２９】本発明の実施の第３の形態について、図９
〜図１５に基づいて説明すれば以下のとおりである。
【０１３０】図９は、本発明の実施の第３の形態の画像
圧縮装置１ｂとそれに関連するイメージセンサ２との電
気的構成を示すブロック図である。この画像圧縮装置１
ｂは、前述の画像圧縮装置１ａに類似し、対応する部分
には同一の参照符号を付して、その説明を省略する。注
目すべきは、この画像圧縮装置１ｂでは、まず第１に、
前記イメージセンサ２の各バッファＦｋからラインＬｋ
１にそれぞれ出力される信号レベルｘｋの入力信号は、
入力ベクトル反転選択回路４１によって、その極性が非
反転値と反転値とに切換えられて前記ラインＬｋに出力
されるとともに、内積値計算回路１２ａの各内積値計算
部Ｒａｉからの出力が、反転比較回路４２の反転比較部
ＣＯＭＰｉにおいて、非反転値と反転値とが相互に比較
されて、大きい方の値が出力されることである。
【０１３１】前記入力ベクトル反転選択回路４１は、前
記各ラインＬｋ毎に対応して、切換スイッチＳＷｋと、
インバータＧｋとを備えて構成されている。前記切換ス
イッチＳＷｋが非反転側に導通されているときには、前
記ラインＬｋ１からの入力信号は、非反転のままで前記
ラインＬｋに出力され、これに対して切換スイッチＳＷ
ｋが反転側に導通されているときには、前記ラインＬｋ
１からの入力信号は、インバータＧｉでその極性が反転
された後、ラインＬｋ２から前記切換スイッチＳＷｋを
介してラインＬｋに出力される。前記切換スイッチＳＷ
ｋのスイッチング状態は、相互に連動して、制御回路４
５によって切換制御される。この制御回路４５はまた、
前記切換スイッチＳＷｋの切換動作に連動して、反転比
較部ＣＯＭＰｉにおける前記各内積値計算部Ｒａｉから
の出力の極性を切換制御する。
【０１３２】これによって、各内積値計算部Ｒａｉでは
前記入力ベクトル↑ｘのベクトル成分ｘｋおよびその反
転値と、コードワード↑Ｃｉのコード成分Ｃｉｋとの積
和演算結果がそれぞれ求められる。反転比較部ＣＯＭＰ
ｉは、対応する各内積値計算部Ｒａｉからの出力の非反
転値と反転値とを相互に比較し、大きい方の出力を前記
最大入力検出回路２１へ出力する。また、各反転比較部
ＣＯＭＰｉに対応して、前記スイッチング素子Ｔｉと同
様にスイッチング素子Ｔｂｉがそれぞれ設けられてい
る。このスイッチング素子Ｔｂｉは、前記最大入力検出
回路２１の対応するチャネルの出力ラインＹｉがハイレ
ベルとなると導通し、対応する反転比較部ＣＯＭＰｉか
ら前記最大入力検出回路２１への出力が非反転値である
のか、または反転値であるのかを表す符号ｆｂを、出力
選択回路１８ｂへ出力する。
【０１３３】したがって前記入力ベクトル↑ｘは、その
非反転値と反転値とがそれぞれコードワード↑Ｃｉと内
積値演算されることになり、入力ベクトル↑ｘに対して
コードワード↑Ｃｉと−↑Ｃｉとの内積値を演算したこ
とと等価となる。これによって、キャパシタの実装面積
を増加することなく、コードワード↑Ｃｉを１ビット増
加、すなわちコードワード数ｉを２倍にすることがで
き、効率的に高精度なベクトル量子化を行うことができ
る。
【０１３４】また、注目すべきはこの画像圧縮装置１ｂ
では、前記平均値計算回路１１からの出力を、所定周期
毎にサンプリングしてベクトル化する低域バッファ回路
４３と、そのベクトルを量子化する低域ベクトル量子化
回路４４とが設けられており、平均値計算回路１１から
の出力が、必要に応じて、アナログ／デジタル変換器１
４によってスカラー量子化されて出力され、または、こ
れら低域バッファ回路４３および低域ベクトル量子化回
路４４によってベクトル量子化されて出力される。
【０１３５】すなわち、たとえば図１０で示すように、
所定数ｊ（ｊ＝１，２，…、図１０の例ではｊ＝４）の
圧縮処理単位ブロック７を１つの低域圧縮処理単位ブロ
ック８とし、前記各圧縮処理単位ブロック７における平
均値μを、前記低域バッファ回路４３において前記所定
数ｊずつサンプリングして、前記低域圧縮処理単位ブロ
ック８毎に平均値ベクトル↑ｘＬ１，↑ｘＬ２，…を作
成してゆき、これらの平均値ベクトル↑ｘＬ１，↑ｘＬ
２，…を、低域ベクトル量子化回路４４において平均値
分離正規化ベクトル量子化する。
【０１３６】図１１は、前記低域バッファ回路４３の電
気的構成を示すブロック図である。この低域バッファ回
路４３は、大略的に、シフトレジスタ５１とサンプルホ
ールド部５２とを備えて構成されている。サンプルホー
ルド部５２は、前記平均値ベクトル↑ｘＬ１，↑ｘＬ
２，…の次元数ｊに対応して、４つのサンプルホールド
回路ＳＨ１，ＳＨ２，ＳＨ３，ＳＨ４を備えて構成され
ている。
【０１３７】シフトレジスタ５１は、図示しない制御回
路からのクロック信号などに応答して、各サンプルホー
ルド回路ＳＨ１〜ＳＨ４に個別的に対応するラインＬＢ
１〜ＬＢ４に、それぞれ順次的にトリガ信号を導出して
ゆく。各サンプルホールド回路ＳＨ１〜ＳＨ４には、前
記平均値計算回路１１からの出力が前記ラインＬＡを介
して共通に与えられており、各サンプルホールド回路Ｓ
Ｈ１〜ＳＨ４は、前記トリガ信号に応答して、平均値計
算回路１１からの出力を順次的にサンプリングして、ラ
インＬＬ１〜ＬＬ４にそれぞれホールド出力を導出す
る。こうして、前記図１０で示すように、低域圧縮処理
単位ブロック８内における各処理単位ブロック７の平均
値μが順次的に読込まれて、前記平均値ベクトル↑ｘＬ
１，↑ｘＬ２，…を作成することができる。
【０１３８】前記サンプルホールド回路ＳＨ１は、たと
えば図１２で示すような構成で実現することができる。
すなわち、前記平均値計算回路１１からの出力電流を電
圧変換する入力回路を構成する抵抗５３およびアンプ５
４と、前記トリガ信号に応答して前記アンプ５４からの
出力をサンプリングするためのスイッチ５５と、スイッ
チ５５からの出力をホールドするための抵抗５６、コン
デンサ５７およびアンプ５８とを備える構成によって実
現することができる。残余のサンプルホールド回路ＳＨ
２〜ＳＨ４についても、同様に構成することができる。
【０１３９】また、低域ベクトル量子化回路４４は、低
域バッファ回路４３から前記ラインＬＬ１〜ＬＬ４を介
して入力される電圧レベルをベクトル成分として取込
み、平均値分離正規化ベクトル量子化を行うものであ
り、画像圧縮装置１ｂにおける該低域ベクトル量子化回
路４４および低域バッファ回路４３と、出力選択回路１
８ｂとを除いた残余の構成に類似している。すなわち、
入力ベクトル反転選択回路４１と、平均値計算回路１１
と、内積値計算回路１２ａと、反転比較回路４２と、高
域最大内積値検出回路１３ｂと、高域インデックス符号
化回路１６ｂと、アナログ／デジタル変換器１４，１５
と、比較回路１７と、制御回路４５とを備えて構成され
る高域ベクトル量子化部４６と同様に構成される。
【０１４０】図１３は、低域ベクトル量子化回路４４の
電気的構成を示すブロック図である。前記ラインＬＬ１
〜ＬＬ４を介する入力信号は、入力ベクトル反転選択回
路４１Ｌにおいて非反転値と反転値とに交互に切換えら
れて、低域平均値計算回路１１Ｌに入力される。低域平
均値計算回路１１Ｌで求められた平均値は、アナログ／
デジタル変換器１４Ｌにおいてスカラー量子化されて、
前記出力選択回路１８ｂに入力される。
【０１４１】また、前記入力信号から成る入力ベクトル
↑ｘＬ１，↑ｘＬ２，…に対して、内積値を演算する低
域内積値計算回路１２Ｌは、コードワード数φ（φ＝
１，２，…，Φ）に対応した個数だけ設けられる内積値
計算部ＲＬφを備えて構成されており、各内積値計算部
ＲＬφは、コード成分に対応したキャパシタと、積和演
算を行うためのアンプとを備えて構成されている。
【０１４２】各内積値計算部ＲＬφからの出力は、制御
回路４５Ｌによって前記入力ベクトル反転選択回路４１
Ｌと連動して制御される反転比較回路４２Ｌにおいて、
非反転値と反転値とが相互に比較され、大きい方の値が
低域最大内積値検出回路１３Ｌに入力される。この低域
最大内積値検出回路１３Ｌの最大入力検出回路２１Ｌか
らは、前記各内積値計算部ＲＬφに対応した出力ライン
ＹＬφのうち、最大値となったチャネルのみにハイレベ
ルの出力が導出され、低域インデックス符号化回路１６
Ｌにおいて、その出力が導出されたチャネルのインデッ
クスＩＬが符号化されて、前記出力選択回路１８ｂへ出
力される。また、このときの内積値が非反転値であるの
か、または反転値であるのかを表す前記インデックスＩ
Ｌの最上位ビットに対応する符号ｆＬが、スイッチング
素子ＴＬｂφを介して出力選択回路１８ｂに入力され
る。さらにまた、最大内積値となったチャネルの内積値
の計算結果に対応した電圧レベルが、スイッチング素子
ＴＬφからアナログ／デジタル変換器１５Ｌに入力され
て量子化された後、前記出力選択回路１８ｂに入力され
る。
【０１４３】出力選択回路１８ｂは、高域ベクトル量子
化部４６のアナログ／デジタル変換器１４からの高域平
均値μの量子化符号と、アナログ／デジタル変換器１５
からの高域最大内積値Ｐの絶対値の量子化符号および高
域最大内積値検出回路１３ｂからの高域最大内積値Ｐの
符号ｆｂと、高域インデックス符号化回路１６ｂからの
インデックスＩと、比較回路１７からのフラグｆとを取
込み、また低域ベクトル量子化回路４４のアナログ／デ
ジタル変換器１４Ｌからの低域平均値μＬの量子化符号
と、アナログ／デジタル変換器１５Ｌからの低域最大内
積値ＰＬの絶対値の量子化符号および低域最大内積値検
出回路１３Ｌからの低域最大内積値ＰＬの符号ｆＬと、
低域インデックス符号化回路１６Ｌからのインデックス
ＩＬとを取込み、図１４および図１５で示すように、前
記フラグｆに応答して、前記符号データとして出力ライ
ン３へ選択的に出力する。
【０１４４】前記出力ライン３へ出力された符号データ
は、たとえば送信装置に与えられて伝送され、または記
録装置に与えられて記録される。したがって、受信装置
で受信され、または再生装置で再生された符号データ
は、まず、低域平均値μＬ、低域インデックスＩＬおよ
び低域最大内積値ＰＬから、低域圧縮処理単位ブロック
８毎に、平均値μを表す画像信号に復号化される。次
に、前記判定フラグｆに対応して、該判定フラグｆが１
であるときには、インデックスＩおよび最大内積値Ｐか
ら前記圧縮処理単位ブロック７毎に、各画素の信号レベ
ルｘｋが復号化され、前記フラグｆが０であるときに
は、前記平均値μによって信号レベルｘｋが復号化され
る。復号化された各信号レベルｘｋは、復元すべき画像
上の所定の位置に順次配列されてゆき、復号画像が作成
される。
【０１４５】なお、前記出力選択回路１８ｂは、前記平
均値μと、その平均値μから求められた平均値μＬ、イ
ンデックスＩＬ、最大内積値ＰＬおよび最大内積値符号
ｆＬとを必要に応じて選択的に出力するようにしてもよ
い。すなわち、たとえば復号側の構成を簡略化したいと
きには平均値μを伝送するようにし、復号側が平均値分
離正規化ベクトル量子化された低域成分の復号可能な構
成であるときには、前記平均値μＬ、インデックスＩ
Ｌ、最大内積値ＰＬおよび最大内積値符号ｆＬを出力す
るようにしてもよい。
【０１４６】図１４および図１５は、上述のように構成
された画像圧縮装置１ｂの圧縮動作を説明するためのフ
ローチャートである。図１４は、高域ベクトル量子化部
４６の動作を示し、この動作は前述の図４で示す前記画
像圧縮装置１の全体の動作に類似しており、対応する部
分には同一の参照符号を付して、その説明を省略する。
【０１４７】高域ベクトル量子化部４６では、ステップ
β１において求められた参照符γ２で示すような平均値
μから、前記式１８で示すようにコード成分キャパシタ
Ｈｉｋ（ｉ＝１〜３２，ｋ＝１〜３６）の実装にあたっ
ての量子化誤差に対応した補正値が、参照符γ６ｂで示
すように求められる。ステップβ３ｂでは、各コードワ
ード↑Ｃ１〜↑Ｃ３２のそれぞれと、入力信号↑ｘとの
内積値が計算されるとともに、その計算結果が前記補正
値で補償されて、内積値（↑Ｘ，↑Ｃｉ）が求められ
る。
【０１４８】ステップβ７ｂでは、前記内積値（↑Ｘ，
↑Ｃｉ）の極性が反転されて、その反転値と非反転値と
が相互に比較され、こうして各コードワード↑Ｃ１〜↑
Ｃ３２に対する入力信号↑ｘの内積値絶対値｜（↑Ｘ，
↑Ｃｉ）｜が求められる。ステップβ４では、最大内積
値Ｐと、そのインデックスＩとが求められる。ステップ
β５では、前記最大内積値Ｐが閾値Ｖｔｈ１と比較さ
れ、その比較結果に対応して、判定フラグｆがセットま
たはリセットされる。
【０１４９】ステップβ６ｂでは、前記判定フラグｆに
応答して、参照符γ５ｂで示すように、３６画素当り、
判定フラグｆが１であるときには、たとえば１ビットの
該判定フラグｆに５ビットのインデックスＩ、３ビット
の最大内積値の量子化符号および１ビットの最大内積値
符号ｆｂが併せて出力され、判定フラグｆが０であると
きには、該判定フラグｆのみが出力される。なお、前記
平均値μは、前述のように前記低域バッファ回路４３に
よってサンプリングされて、低域ベクトル量子化回路４
４に、入力信号↑ｘＬとして入力されてゆく。
【０１５０】図１５は、低域ベクトル量子化回路４４に
よる低域成分の圧縮動作を説明するためのフローチャー
トである。この動作は、前述の図１４で示す動作に類似
し、対応する部分には、上位２桁が同一の参照符号に添
字Ｌを付して示す。前記低域バッファ回路４３からは、
前記図１０で示すように、各圧縮処理単位ブロック７の
平均値μが４ブロックずつ組合わせられた低域圧縮処理
単位ブロック８毎に、４次元の参照符γ１Ｌで示すよう
な入力信号↑ｘＬが入力される。前記入力信号↑ｘＬ
は、たとえば２５６階調の分解能とされる。
【０１５１】ステップβ１Ｌでは、前記入力信号↑ｘＬ
の平均値μＬが計算され、前記低域平均値計算回路１１
Ｌからは参照符γ２Ｌで示すような平均値信号が出力さ
れる。
【０１５２】一方、内積値計算回路１２Ｌには、各内積
値計算部ＲＬφ（φ＝３２）において、正規化されたコ
ード成分キャパシタによって実現される参照符γ４Ｌで
示すような各コードワード↑ＣＬ１〜↑ＣＬ３２が形成
されており、これらの各コードワード↑ＣＬ１〜↑ＣＬ
３２と前記入力信号↑ｘＬとの内積値が、内積値計算部
β３Ｌで計算され、その計算結果から、前記平均値μＬ
に基づいて参照符γ６Ｌで示すように作成された量子化
誤差の補正値が加算されて、内積値（↑ＸＬ，↑ＣＬ
φ）が計算される。
【０１５３】ステップβ７Ｌでは、前記ステップβ７ｂ
と同様に、前記内積値（↑ＸＬ，↑ＣＬφ）の極性が反
転され、その反転値と非反転値とが相互に比較されて、
内積値絶対値｜（↑ＸＬ，↑ＣＬφ）｜が求められる。
ステップβ４Ｌでは、前記ステップβ４と同様に最大内
積値が検出され、その最大内積値ＰＬとインデックスＩ
Ｌとが求められる。ステップβ６Ｌでは、参照符γ５Ｌ
で示すように、１４４画素当り、たとえば５ビットの平
均値μＬと、５ビットのインデックスＩＬと、４ビット
の最大内積値ＰＬと、１ビットのその最大内積値の符号
ｆＬとが出力される。
【０１５４】このように画像圧縮装置１ｂでは、各圧縮
処理単位ブロック７毎の平均値μも、低域圧縮処理単位
ブロック８毎に入力ベクトル↑ｘＬとして取込み、平均
値分離正規化ベクトル量子化して出力するので、画質を
損なうことなく、平均値μのデータ量を圧縮することが
できる。すなわち、前記図４で示す例では、３６画素当
り５ビットであったのに対して、この図１５で示す例で
は、１４４画素当り１５ビットとすることができる。
【０１５５】なお、上述の実施例では、平均値演算およ
び内積値演算などはアナログ回路で行われたけれども、
本発明の他の実施例として、入力された画像信号がアナ
ログ／デジタル変換された後に、デジタル回路によって
これらの演算が行われてもよい。また、最大入力検出回
路２１には、上述の図３で示すような構成に限らず、た
とえば本件出願人が先に特願平７−１２５３７２号で種
々提案したような、他の構成が用いられてもよい。
【０１５６】
【発明の効果】請求項１または２の発明に係る画像圧縮
装置は、以上のように、画像信号を予め定める圧縮処理
単位ブロック毎に入力ベクトルとして取込み、その入力
ベクトルの各ベクトル成分から平均値を減算して求めた
各差成分ベクトルに最も近いコードワードを検出し、前
記平均値をスカラー量子化した量子化符号、前記差成分
ベクトルとコードワードとの最大内積値をスカラー量子
化した量子化符号および前記コードワードの識別符号を
出力するようにした平均値分離正規化ベクトル量子化法
を用いる画像圧縮装置において、前記最大内積値が予め
定める閾値未満であるとき、すなわち前記圧縮処理単位
ブロックの画像が比較的一様な画像であるときには、平
均値の量子化符号のみを出力するようにする。
【０１５７】それゆえ、前記圧縮処理単位ブロックに亘
ってほぼ均一な画面であるときには、前記最大内積値の
量子化符号および識別符号の出力を休止し、すべての符
号を伝送または記録する場合と比べて、主観的にほとん
ど差のない画像を再現し、画像信号の劣化を抑えて、伝
送や記録のためのデータ量を極力低減することができ
る。
【０１５８】さらにまた、請求項３の発明に係る画像圧
縮装置は、以上のように、前記請求項１または２の構成
で得られた最大内積値の量子化符号および識別符号を高
域成分とし、各画素当りに占めるデータ量が小さい平均
値を、低域成分として予め定める周期毎に取込んで、さ
らに平均値分離正規化ベクトル量子化する。
【０１５９】それゆえ、画質を損なうことなく、データ
量をさらに削減することができる。
【０１６０】また、請求項４の発明に係る画像圧縮装置
は、以上のように、前記平均値の量子化符号と、該平均
値をさらに平均値分離正規化ベクトル量子化して得られ
た低域平均値の量子化符号、低域最大内積値の量子化符
号および低域識別符号とを選択的に出力可能とする。
【０１６１】それゆえ、受信装置または再生装置などの
復号側が、平均値をさらに平均値分離正規化ベクトル量
子化した符号を復号可能な高度な構成であるのか否かに
対応して、圧縮方法を切換え可能とすることができる。
【０１６２】さらにまた、請求項５の発明に係る画像圧
縮装置は、以上のように、内積値計算部を、前記各コー
ドワードのコード成分に対応したキャパシタおよびアン
プから成るアナログ回路によって構成し、各コードワー
ドに対する入力ベクトルの内積値計算を各コードワード
毎に対応した該アナログ回路によって、アナログ信号の
ままで、しかも各コードワード間で並列に処理する。
【０１６３】それゆえ、前記内積値計算をデジタル信号
処理で行う場合には、コードワード数を増加すると、演
算量が飛躍的に増加して、演算処理部に高い能力が要求
され、コストが嵩むとともに、消費電力量が増加するの
に対して、そのような問題を最小限に抑制することがで
きる。
【０１６４】また、請求項６の発明に係る画像圧縮装置
では、以上のように、前記キャパシタがコード成分を量
子化した容量比に形成され、これに対応して、量子化誤
差に対応した補償キャパシタをさらに備え、該補償キャ
パシタによって前記平均値との積値を補償値として前記
アンプに入力する。
【０１６５】それゆえ、集積回路化にあたって、プロセ
ス上の問題等による前記キャパシタの容量の対応すべき
コード成分に対する量子化誤差を補償することができ、
小さなキャパシタ面積で、高精度にコード成分を表現す
ることができる。
【０１６６】さらにまた、請求項７の発明に係る画像圧
縮装置は、以上のように、前記入力ベクトルの極性を反
転し、得られた反転値と非反転値とを選択的に切換えて
内積値計算を行い、計算結果の非反転値と反転値とを相
互に比較し、大きい方の値およびその符号を出力する。
【０１６７】それゆえ、入力ベクトルの極性を反転し、
得られた反転値と非反転値とからそれぞれ得られた内積
値は、コード成分の正負反転値と非反転値とのそれぞれ
と入力ベクトルとの内積値と等価となり、簡単な構成を
追加するだけで、キャパシタの実装面積を増加すること
なく、コードワードのインデックスを１ビット増加、す
なわちコードワード数を２倍にすることができる。
【０１６８】また、請求項８の発明に係る画像圧縮装置
では、以上のように、前記記憶部に記憶される各コード
ワードは、多数の入力画像信号に対応して得られた複数
の各学習ベクトルのうち、予め定める閾値以上のパワー
を備える学習ベクトルに選ばれる。
【０１６９】それゆえ、前記閾値未満のパワーであっ
て、圧縮処理単位ブロック内での画像の変化が小さいよ
うな学習用画像として不適切な画像から得られた学習ベ
クトルではなく、エッジなどを含む画像の変化の比較的
大きい学習用に適切な画像から得られた学習ベクトルの
みによってコードワードが構成されるので、前記記憶部
の記憶内容が不所望になまったものとなることなく、入
力される各種の画像信号に一致する可能性の高いコード
ワードを記憶しておくことができる。
【図面の簡単な説明】
【図１】本発明の実施の第１の形態の画像圧縮装置とそ
れに関連するイメージセンサとの電気的構成を示すブロ
ック図である。
【図２】イメージセンサ上での圧縮処理単位ブロック内
の各画素の輝度レベルのベクトル成分としての読込順を
説明するための図である。
【図３】前記画像圧縮装置における最大内積値検出回路
内の最大入力検出回路の具体的構成を示す電気回路図で
ある。
【図４】前記画像圧縮装置の圧縮動作を説明するための
フローチャートである。
【図５】前記画像圧縮装置の圧縮にあたってのコードブ
ックの作成手順を説明するためのフローチャートであ
る。
【図６】前記コードブック作成時における多数の学習ベ
クトルからコードワードを求めるためのＬＢＧアルゴリ
ズムの処理手順を説明するためのフローチャートであ
る。
【図７】前記ＬＢＧアルゴリズムにおけるコードブック
の初期設定を行うためのスプリッティングアルゴリズム
の考え方を説明するための図である。
【図８】本発明の実施の第２の形態の画像圧縮装置とそ
れに関連するイメージセンサとの電気的構成を示すブロ
ック図である。
【図９】本発明の実施の第３の形態の画像圧縮装置とそ
れに関連するイメージセンサとの電気的構成を示すブロ
ック図である。
【図１０】図９で示す画像圧縮装置におけるイメージセ
ンサ上での低域圧縮処理単位ブロック内の各圧縮処理単
位ブロックの平均値のベクトル成分としての読込順を説
明するための図である。
【図１１】図９で示す画像圧縮装置において、図１０で
示すように前記平均値のベクトル成分としての読込を行
う低域バッファ回路の電気的構成を示すブロック図であ
る。
【図１２】前記図１１で示す低域バッファ回路における
サンプルホールド回路の具体的構成を示す電気回路図で
ある。
【図１３】図９で示す画像圧縮装置における低域ベクト
ル量子化回路の具体的構成を示すブロック図である。
【図１４】図９で示す画像圧縮装置における高域成分の
圧縮動作を説明するためのフローチャートである。
【図１５】図９で示す画像圧縮装置における低域成分の
圧縮動作を説明するためのフローチャートである。
【符号の説明】
１ 画像圧縮装置 １ａ 画像圧縮装置 １ｂ 画像圧縮装置 ２ イメージセンサ ３ 出力ライン ４ フォトダイオード ５ 垂直転送ＣＣＤ ６ 水平転送ＣＣＤ ７ 圧縮処理単位ブロック ８ 低域圧縮処理単位ブロック １１ 平均値計算回路 １１Ｌ 低域平均値計算回路 １２ 内積値計算回路（平均値分離部、記憶部、内積
値計算部） １２ａ 内積値計算回路（平均値分離部、記憶部、内積
値計算部） １２Ｌ 低域内積値計算回路（平均値分離部、記憶部、
内積値計算部） １３ 最大内積値検出回路 １３ｂ 高域最大内積値検出回路 １３Ｌ 低域最大内積値検出回路 １４ アナログ／デジタル変換器（平均値量子化部） １４Ｌ アナログ／デジタル変換器（低域平均値量子化
部） １５ アナログ／デジタル変換器（ゲイン量子化部） １５Ｌ アナログ／デジタル変換器（低域ゲイン量子化
部） １６ インデックス符号化回路（ベクトル符号化部） １６ｂ 高域インデックス符号化回路（ベクトル符号化
部） １６Ｌ 低域インデックス符号化回路（低域ベクトル符
号化部） １７ 比較回路 １８ 出力選択回路（出力選択部） １８ｂ 出力選択回路（出力選択部） １９ 基準電圧源 ２１ 最大入力検出回路 ２１Ｌ 最大入力検出回路 ４１ 入力ベクトル反転選択回路（入力ベクトル反転
選択部） ４１Ｌ 入力ベクトル反転選択回路（入力ベクトル反転
選択部） ４２ 反転比較回路（反転比較部） ４２Ｌ 反転比較回路（反転比較部） ４３ 低域バッファ回路（低域バッファ） ４４ 低域ベクトル量子化回路（低域ベクトル量子化
部） ４５ 制御回路 ４５Ｌ 制御回路 ４６ 高域ベクトル量子化部 Ｈ０ｋ 単位キャパシタ Ｈｉｋ コード成分キャパシタ Ｈｃ 補償キャパシタ Ｒｉ 内積値計算部 Ｒａｉ 内積値計算部 ＲＬφ 低域内積値計算部 α 基本回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮本 雅之 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】画像信号を予め定める圧縮処理単位ブロッ
    ク毎に入力ベクトルとして取込み、その入力ベクトルの
    各ベクトル成分から平均値を分離した差成分ベクトル
    と、予め定める複数種類の学習用画像の画像信号からそ
    れぞれ作成された各コードワードとの内積値を求め、前
    記平均値と最大内積値とをスカラー量子化するととも
    に、前記最大内積値となるコードワードの識別番号を符
    号化するようにした平均値分離正規化ベクトル量子化法
    を用いる画像圧縮装置において、 前記最大内積値が予め定める閾値以上であるか否かを判
    定する比較部と、 前記比較部での判定結果に応答し、前記最大内積値が前
    記閾値以上であるときには前記平均値の量子化符号、最
    大内積値の量子化符号および識別符号を出力し、閾値未
    満であるときには前記平均値の量子化符号のみを出力す
    る出力選択部とを含むことを特徴とする画像圧縮装置。
  2. 【請求項２】画像信号を予め定める圧縮処理単位ブロッ
    ク毎に入力ベクトルとして取込み、その入力ベクトルの
    各ベクトル成分の平均値を計算する平均値計算部と、計
    算された平均値を前記入力ベクトルの各ベクトル成分か
    ら減算して差成分ベクトルを作成する平均値分離部と、
    予め定める複数種類の学習用画像の画像信号からそれぞ
    れ作成された各学習ベクトルをコードワードとして記憶
    している記憶部と、前記差成分ベクトルと各コードワー
    ドとの内積値を求める内積値計算部と、前記各コードワ
    ードに対応した内積値が最大値となるコードワードを検
    出する最大内積値検出部と、前記平均値をスカラー量子
    化する平均値量子化部と、前記最大内積値をスカラー量
    子化するゲイン量子化部と、前記最大内積値となるコー
    ドワードの識別番号を符号化するベクトル符号化部とを
    備え、前記平均値の量子化符号、最大内積値の量子化符
    号および識別符号を出力するようにした平均値分離正規
    化ベクトル量子化法を用いる画像圧縮装置において、 前記最大内積値が予め定める閾値以上であるか否かを判
    定する比較部と、 前記比較部での判定結果に応答し、前記最大内積値が前
    記閾値以上であるときには前記各符号を出力し、閾値未
    満であるときには前記平均値の量子化符号のみを出力す
    る出力選択部とを含むことを特徴とする画像圧縮装置。
  3. 【請求項３】前記平均値を予め定める周期毎に取込んで
    複数の圧縮処理単位ブロックによって構成される低域圧
    縮処理単位ブロック毎に低域ベクトルを作成する低域バ
    ッファと、 前記低域ベクトルを前記平均値分離正規化ベクトル量子
    化する低域ベクトル量子化部とを備え、 前記出力選択部は、前記平均値の量子化符号に代えて、
    低域平均値の量子化符号、低域最大内積値の量子化符号
    および低域識別符号を出力することを特徴とする請求項
    １または２記載の画像圧縮装置。
  4. 【請求項４】前記出力選択部は、前記平均値の量子化符
    号と、該平均値をさらに平均値分離正規化ベクトル量子
    化して得られた前記低域平均値の量子化符号、前記低域
    最大内積値の量子化符号および低域識別符号とを選択的
    に出力可能であることを特徴とする請求項３記載の画像
    圧縮装置。
  5. 【請求項５】内積値計算部は、前記各コードワードのコ
    ード成分に対応したキャパシタおよびアンプをそれぞれ
    備え、前記ベクトル成分に対応する複数チャネルの入力
    信号がそれぞれ前記各キャパシタの一端に入力され、キ
    ャパシタの他端が共通に前記アンプに接続されることに
    よって、各コードワードに対する入力ベクトルの内積値
    計算を各コードワード毎に対応したアナログ回路によっ
    て並列で行うことを特徴とする請求項１〜４のいずれか
    に記載の画像圧縮装置。
  6. 【請求項６】前記キャパシタは、コード成分を量子化し
    た容量比に形成され、 前記各内積値計算部はまた、量子化誤差に対応した補償
    キャパシタを備え、該補償キャパシタによって前記平均
    値との積値を補償値として前記アンプに入力することを
    特徴とする請求項５記載の画像圧縮装置。
  7. 【請求項７】前記入力ベクトルの極性を反転し、得られ
    た反転値と非反転値とを選択的に切換えて出力すること
    ができる入力ベクトル反転選択部と、 前記入力ベクトル反転選択部の切換動作に応答し、前記
    内積値の計算結果の非反転値と反転値とを相互に比較
    し、大きい方の値およびその符号を出力する反転比較部
    とをさらに備えることを特徴とする請求項６記載の画像
    圧縮装置。
  8. 【請求項８】前記各コードワードには、入力された画像
    信号に応答して得られた複数の各学習ベクトルのうち、
    予め定める閾値以上のパワーを備え、前記各圧縮処理単
    位ブロック内での画像の変化の大きい学習ベクトルが選
    ばれることを特徴とする請求項１〜７のいずれかに記載
    の画像圧縮装置。
JP13727296A 1995-06-28 1996-05-30 画像圧縮装置 Expired - Fee Related JP3408924B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP13727296A JP3408924B2 (ja) 1995-06-28 1996-05-30 画像圧縮装置
DE69618290T DE69618290T2 (de) 1995-06-28 1996-06-26 Vorrichtung zur Bildkompression
EP19960110324 EP0751686B1 (en) 1995-06-28 1996-06-26 Image compressing apparatus
US08/673,720 US5845016A (en) 1995-06-28 1996-06-27 Image compressing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP16268795 1995-06-28
JP7-162687 1995-06-28
JP13727296A JP3408924B2 (ja) 1995-06-28 1996-05-30 画像圧縮装置

Publications (2)

Publication Number Publication Date
JPH0974558A true JPH0974558A (ja) 1997-03-18
JP3408924B2 JP3408924B2 (ja) 2003-05-19

Family

ID=26470640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13727296A Expired - Fee Related JP3408924B2 (ja) 1995-06-28 1996-05-30 画像圧縮装置

Country Status (4)

Country Link
US (1) US5845016A (ja)
EP (1) EP0751686B1 (ja)
JP (1) JP3408924B2 (ja)
DE (1) DE69618290T2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7836491B2 (en) * 2000-04-26 2010-11-16 Semiconductor Energy Laboratory Co., Ltd. System for identifying an individual, a method for identifying an individual or a business method
KR100771258B1 (ko) * 2000-05-09 2007-10-29 가부시키가이샤 한도오따이 에네루기 켄큐쇼 본인 인증 시스템과 본인 인증 방법 및 휴대 전화 장치
US20020049714A1 (en) * 2000-05-11 2002-04-25 Shunpei Yamazaki Communication system
US7760713B2 (en) * 2004-10-15 2010-07-20 Tran Bao Q Camera-phone barcode scanning support
US8391549B2 (en) * 2009-06-08 2013-03-05 Raytheon Company Methods and systems for processing data using product-law symmetry detection
ES2715704T3 (es) 2011-03-09 2019-06-05 Nec Corp Dispositivo de decodificación de vídeo, método de decodificación de vídeo y programa de decodificación de vídeo
US20140324742A1 (en) * 2013-04-30 2014-10-30 Hewlett-Packard Development Company, L.P. Support vector machine
USD1027218S1 (en) 2023-02-16 2024-05-14 Hollman Family Advisors, LLC Secure work pod
USD1027216S1 (en) 2023-04-27 2024-05-14 Hollman Family Advisors, LLC Secure work pod

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6225577A (ja) * 1985-07-26 1987-02-03 Fujitsu Ltd 適応型ベクトル量子化方式
WO1988002975A1 (en) * 1986-10-16 1988-04-21 Mitsubishi Denki Kabushiki Kaisha Amplitude-adapted vector quantizer
EP0625854A1 (en) * 1987-04-28 1994-11-23 Mitsubishi Denki Kabushiki Kaisha Image coding and decoding system
US4910608A (en) * 1988-12-09 1990-03-20 Harris Corporation Imagery data compression mechanism employing adaptive vector quantizer
JPH0766448B2 (ja) * 1991-06-25 1995-07-19 富士ゼロックス株式会社 画像信号分析装置

Also Published As

Publication number Publication date
EP0751686A3 (en) 1999-11-17
US5845016A (en) 1998-12-01
EP0751686A2 (en) 1997-01-02
EP0751686B1 (en) 2002-01-02
JP3408924B2 (ja) 2003-05-19
DE69618290T2 (de) 2002-08-22
DE69618290D1 (de) 2002-02-07

Similar Documents

Publication Publication Date Title
US4851906A (en) Data compression using orthogonal transform and vector quantization
US7991052B2 (en) Variable general purpose compression for video images (ZLN)
Salomon Data compression
Bhaskaran et al. Image and video compression standards: algorithms and architectures
US6414992B1 (en) Optimal encoding of motion compensated video
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
JP2017507590A (ja) シンボル圧縮を伴うデータのソース符号化・復号方法及び装置
US20110033126A1 (en) Method for improving the performance of embedded graphics coding
JP3408924B2 (ja) 画像圧縮装置
US11475600B2 (en) Method and device for digital data compression
US20040202375A1 (en) Processing of images using a limited number of bits
CN112534815A (zh) 使用阈值用于系数译码的常规译码二进制数缩减
US6584226B1 (en) Method and apparatus for implementing motion estimation in video compression
US7406203B2 (en) Image processing method, system, and apparatus for facilitating data transmission
US7450769B2 (en) Image processing method for facilitating data transmission
US7548658B1 (en) Lossless video data compressor with very high data rate
US10873747B2 (en) Residual mapping method for image/video compression
JP4415651B2 (ja) 画像符号化装置、及び画像復号化装置
JP3383152B2 (ja) 符号化装置
JPH08275153A (ja) 画像圧縮装置および画像復元装置
Chaddha et al. Finite state hierarchical table-lookup vector quantization for images
JPH0621828A (ja) ベクトル量子化復号化器
KR100204468B1 (ko) 영상 부호기 및 복호기
Dragotti et al. Fast color transformation by means of hierarchical table lookups
Inampudi Comparison of various quantization techniques in image compression

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees