JPH10261966A

JPH10261966A - 符号化復号化装置

Info

Publication number: JPH10261966A
Application number: JP6605397A
Authority: JP
Inventors: Tatsuki Ootsuka; 達基大塚; Masaru Fujii; 大藤井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-03-19
Filing date: 1997-03-19
Publication date: 1998-09-29
Anticipated expiration: 2017-03-19
Also published as: JP3407588B2

Abstract

(57)【要約】【課題】生成した符号の平均符号長が短く、かつ瞬時復
号可能な符号生成する符号化装置または復号化装置の提
供。【解決手段】確率設定部１０４により予め起こり得る事
象と、この事象が発生する確率を確率が大きい順にメモ
リ２０２に記憶させ、符号生成部１０２によりメモリ２
０２に記憶された確率を順に読み出し、読み出した確率
から符号長，累積確率を求めて符号を生成する。更に符
号化誤差演算部１０３により確率の誤差を求めて、この
誤差に基づいて他の事象の確率を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、エントロピー符号
化に係り、特に符号化復号化装置の処理手順と装置構成
に関する。

【０００２】

【従来の技術】信号を符号に変換する処理は、一般にモ
デル化部とエントロピー符号化部から構成される。モデ
ル化部は信号系列の変換を目的としており、例えば画像
信号を複数画素からなるブロックに分割して該ブロック
内の信号を周波数成分に変換したり、あるいは、同一信
号レベルの連続個数に変換をする等、多くの手法があ
る。一方、エントロピー符号化部は、モデル化部で作ら
れた信号系列に符号の割り当てを行う。入力信号と、符
号のビット数の比率は圧縮率として表される。圧縮率は
高いことが望まれ、このために多くのモデル化部とエン
トロピー符号化部の構成が提案されてきた。

【０００３】韓，小林共著による岩波書店発行「情報と
符号化の数理」（１９９４年）に、従来から提案されて
いる符号生成のアルゴリズム、および、それらの特長と
性質が詳述されている。情報理論によれば、達成できる
圧縮率の限界を示す「エントロピー」と呼ばれる指標が
定義されている。また、符号の性質を表す技術用語とし
て「最適」と「瞬時復号可能」がある。ここで、最適と
は平均符号長が最小になる符号のことであり、また、瞬
時復号可能とは全ての符号系列を見ることなくそれぞれ
の符号を復号できることである。これらは実際に装置を
実現する上で重要な性質である。従来、両者の性質をも
つ符号として、１９５２年にハフマンが提案したハフマ
ン符号が知られている（Huffman, D. A. : A method fo
r theconstruction of minimum-redundancy codes, Pro
c. IRE, vol. 40, pp. 1098-1101, Sept. 1952）。

【０００４】ハフマン符号の利用方法として、符号化対
象とする事象の全体の生起確率をあらかじめ測定し、こ
の生起確率に基づく符号を生成し、該符号を表形式にし
てメモリに蓄積しておくことで、実際の符号対象の事象
について表検索によって得られ対応する符号に変換す
る。簡単な手順で「最適」と「瞬時復号可能」を実現で
きることから、広い分野で行われている。また、ハフマ
ン符号は、一つの信号に対して一つの符号が対応すると
いう性質からブロック符号として分類されている。

【０００５】

【発明が解決しようとする課題】ハフマン符号は、理論
的には「最適」と「瞬時復号可能」を実現できるエント
ロピー符号化方式である。しかし、現実の符号化処理に
おいては、例えば、（ａ）符号化対象の生起確率の変動（ｂ）モデル化部の信号処理手順（ｃ）上記を実現する装置構成等を考慮に入れた信号処理を行わなければ効率の向上は
実現できない。

【０００６】まず（ａ）に関しては、符号化対象の生起
確率は必ずしも一定の性質ではなく、さまざまな要因に
よって変動するのが一般的である。ハフマン符号を符号
表としてあらかじめ設定しておく方式では、符号化対象
の生起確率が変動した場合には、効率が低下することに
なる。仮に、事象の生起確率の変動に対応させて、適応
的に符号を生成しようとしても、ハフマン符号の符号生
成手順が、確率値の最も小さな事象から最も高い事象へ
実行していくトリー構造になっていることから、全ての
符号生成手順が終了した時点でなければ符号を利用でき
ない。このため、適応的な符号化を行うためには、処理
負荷が膨大になり、装置構成も複雑になる。これらの特
性をまとめれば、事象の生起確率値に変動がない、言い
換えれば静的な符号化対象に対してハフマン符号は適し
ているが、逆の場合である動的な符号化対象に対しては
不適であると言える。

【０００７】次に（ｂ）のモデル化部の信号処理には様
々な方法が提案され、利用されている。複数の信号をま
とめて変換処理を行う一例として、ファクシミリで使わ
れているラン長がある。基本方式であるＭＨ（モディフ
ァイド・ハフマン）方式では、同一の信号レベルの連続
する個数（ラン長）を計測し、その結果をあらかじめ用
意したハフマン符号に変換する。しかし、１ラインの中
のランの基点によって連続するラン長の生起確率は変化
し、さらに１ライン毎にラン長を０に初期化するにも関
わらず、固定した符号表を利用することから圧縮率の低
下を招く要因となっている。このように、モデル化部の
信号処理手順の内容を把握した上で、エントロピー符号
化を行わなければ効率向上は望めない。

【０００８】そして（ｃ）について符号化復号化処理を
実現するには、符号化対象とする信号の一時的な蓄積手
段が不可欠である。従来の提案は、半導体回路による実
現手段の観点が抜けており、特にメモリのデータ入出力
の高速化が装置の性能を決める大きな要因であり、モデ
ル化部あるいはエントロピー符号化部の信号処理手順と
組み合わせて考察されていない。上記符号化復号化処理
を実行するための専用ＬＳＩが開発されているが、例え
ば１画面分の圧縮データを同一チップに蓄積できるよう
なメモリ機能と混在させたものはなく、別のチップで構
成されるメモリを配線によって組み合わせるため、実行
速度の問題が残っている。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本願発明では入力が取り得る事象と、この事象が起
こり得る確率とを確率が大きい順にメモリに記憶し、こ
の記憶された確率及び事象を確率が大きいものから順に
読み出し、この読み出した確率から符号の符号長を決定
し、更にこの符号長に基づいて累積確率を求め、この求
めた符号長及び累積確率から符号を生成することを特徴
としている。

【００１０】

【発明の実施の形態】以下、本発明の一実施例を図面に
従って説明する。

【００１１】まず、符号化装置について説明する。

【００１２】図２に符号化システムの基本構成を示す。
符号化システムに入力される信号は、入力装置２００に
より外部からアナログ信号を受け、この信号をＡ／Ｄ変
換器２０１によりディジタル信号に変換する。変換され
たディジタル信号は符号化装置２０３により符号が作成
され、符号はメモリ２０２に格納されたり、あるいは通
信装置２０４により外部に出力され、他のシステムへ送
られる。尚、入力装置２００は外部からの入力を単に受
け付けるだけでなくスキャナ等の原稿を読み取る装置で
あってもよい。また、Ａ／Ｄ変換器２０１については、
入力される信号がディジタル信号であれば省いても問題
はない。

【００１３】符号化処理は、連続して入力される信号系
列について、この系列を構成する各信号のとりうる事象
を、符号で置き換えることにより、情報量の削減を図る
ものである。例えば、入力信号が３ビットの２進数で構
成されている場合には、信号の取りうる事象は８種類あ
り、それぞれの信号が入力される確率は、例えば入力装
置がスキャナであれば原稿に描かれている内容によって
定まる。

【００１４】図１は符号化システムの符号化装置２０３
を示したものである。管理部１０１は、符号生成部１０
２，符号化誤差演算部１０３，確率設定部１０４を管理
し、必要に応じて各部の起動停止を行うものである。確
率設定部１０４は、初期設定を行うもので、外部から与
えられた入力信号が取り得る事象と発生する確率とを対
応づけて、更に発生する確率が大きい順にメモリ２０２
に格納する。また、入力信号が取りうる値に対応する確
率が明確に分からない場合は、確率関数，統計値等を与
える。符号生成部１０２は、確率設定部１０４によっ
て、メモリ２０２に設定された順に従って事象と確率を
読み出し、入力信号に対応する符号を生成する。従っ
て、最適かつ瞬時復号可能な符号を生成することができ
る。符号化誤差演算部１０３は、各事象の符号長設定時
に発生する符号化誤差を求め、この符号化誤差を用いて
符号生成の終わっていない残りの事象の生起確率の修正
を行う。

【００１５】符号化とは、事象の生起確率値に基づき、
有限なビット数の符号で置き換えることである。基本的
に高い確率値の事象には短い符号を、逆に確率値の低い
事象には長い符号を割り当てる。ここで、なるべく平均
符号長を短くすることが重要な点であるが、この限界を
実現するのが「最適」な符号である。

【００１６】本発明の符号化は、入力されうる事象ｋ
(生起事象)に対応付けされ、ｓ進数で表された確率値か
ら符号を生成するものであり、平均符号長を短くした
「最適」な符号を生成するものである。

【００１７】次に図３を用いて、ｓ＝２とした場合、つ
まり２進符号の場合の符号生成の概要を説明する。

【００１８】まず、初期設定を行う（３０１）。初期設
定として、入力される信号が取りうる事象ｋ_i(ｉ＝１
〜ｎ）と、事象K_iが発生する確率Ｐ_i(ｉ＝１〜ｎ)と
を対応付けして、確率が大きいものから順に並べる。例
えば符号化装置２０３への入力信号が３ビットであれ
ば、起こり得る事象は（０００)，(００１)，(０１
０)，（０１１)，(１００)，(１０１)，(１１０)，(１
１１）の８つであり、それぞれの事象が発生する確率が
Ｐ₁＝０.２１，Ｐ₂＝０.１９，Ｐ₃＝０.１８，Ｐ₄＝
０.１７，Ｐ₅＝０.１０，Ｐ₆＝０.１０，Ｐ₇＝０.０
５，Ｐ₈＝０.００であれば、図４のようになる。

【００１９】次に、入力信号が入力されると（３０
２）、符号のビット長（符号長）ｂ_kを求める（３０
３）。先に述べたように本発明は２進の確率値に基づい
て符号を生成するので、ｂ_k＝log(１／Ｐ_k)（底は
２）で求める。そして、求めたｂ_kの小数点以下は四捨
五入する。但し、四捨五入したｂ_kから確率値を求めた
場合、四捨五入により図４に示した順位が変動してしま
う場合がある。本発明では、確率値が大きいものから符
号を生成するため、順位の変動が起こらないようにする
必要がある。従って、順位の変動が起きる場合は小数点
以下を切り上げ又は切り捨て処理し、順位変動が起こら
ないようにする。

【００２０】次に、符号誤差Ｅ_kを求め、確率値の低い
事象に対して符号誤差を分配する（３０４）。符号誤差
Ｅ_kはＥ_k＝(１／２)＾ｂ_k−Ｐ_kにより求める。求め
た符号誤差Ｅ_kを分配する場合には、確率値の順位に変
動が生じないように分配を行う。このように、符号誤差
Ｅ_kを求めて分配することにより、平均符号長を短くす
ることができる。つまり、符号長を設定する際に切り上
げ処理を行い、かつ分配を行わない場合、個々の事象の
発生する確率は実際の値よりも符号誤差分だけ小さくな
る。また、事象全体の確率値も、符号誤差の累積された
値だけ小さくなる。言い換えれば、発生する確率が実際
の値よりも小さく設定されてしまうことになる。先に述
べた通り符号のビット数（符号長）は、ｂ_k＝log(１／
Ｐ_k)によって求めるため、Ｐ_kが小さい程ｂ_kが大き
くなってしまい符号のビット数（符号長）が大きくなっ
てしまう結果になる。本発明では、符号誤差Ｅ_kを求め
分配しているため、最終的に平均符号長を短くすること
ができる。

【００２１】実際に生起した符号化対象とする事象の符
号長が生成されたか判断し、修正済みの確率値を用いて
上記処理を繰り返す。実際に生起した事象の処理が終了
したら、符号長ｂ_kを設定して次の処理を行う（３０
５）。

【００２２】符号化対象とする事象の符号長が求まった
なら、符号のビットを設定する（３０６）。符号ビット
は、２進数表現した累積確率値ｑ_k（ｑ_k＝Σ(１／２)
＾ｂ_k-1）の小数点以下を、ビット数ｂ_kだけ切り出し
て設定する。なお、ｋ＝１の場合にはｑ_k＝０であり、
符号はｂ_k個の０の並びとなる。

【００２３】次に、符号生成についてフローチャートを
用いて具体的に説明する。ここでは入力される信号を３
ビットで表される２進の信号を用い、入力される信号が
取り得る事象ｋ_iに対する確率Ｐ_kが予め分かっている
場合について説明する。

【００２４】図５に全体の処理のフローチャートを示
す。図１で説明した管理部１０１はこのフローチャート
に従って各部の起動，停止を管理，制御する。

【００２５】まず、符号化装置２０３が起動されると初
期設定を行う（５０１）。初期設定は、管理部１０１が
確率設定部１０４を起動して行う。次に、管理部１０１
は入力信号ＩＮの入力があった場合（５０２）、符号生
成部１０２を起動して符号を生成する（５０３）。符号
生成部１０２で生成された符号は、管理部１０１がメモ
リ２０２又は通信装置２０４に出力し、次の入力信号を
待つ（５０４）。

【００２６】図６は、初期設定（５０１）の詳細を示し
たものであり、これは確率設定部１０４が行う。確率設
定部１０４が起動されると、入力され得る事象ｋ_iと発
生する確率Ｐ_iを符号化装置２０３の外部から又はメモ
リ２０２から取り込む（６０１）。そして、確率Ｐ_iが
大きい順に事象ｋ_i，確率Ｐ_iとを対応づけてメモリ２
０２に格納する。このようにして、メモリに格納するこ
とにより先に説明した図４のようになる。ここで、フラ
グＦは、符号を既に生成したか否かを判断するもので、
既に符号を生成した場合には、Ｆ＝１となる。

【００２７】図７は、符号生成部１０２により、入力信
号ＩＮに対する符号Ｃを生成する符号生成（５０３）の
詳細を示したものである。

【００２８】符号生成部１０２が起動すると、メモリに
格納されている確率Ｐ_iが高いものから順に、入力信号
ＩＮとメモリに格納されている事象ｋ_iが一致するまで
符号生成を行い、入力信号ＩＮとメモリに格納されてい
る事象ｋ_iが一致した時点で符号Ｃ_iを出力する。

【００２９】符号生成部１０２が起動すると、メモリ２
０２からｉ番目の事象ｋ_i，確率Ｐ_i，符号Ｃ_i，フラ
グＦ_iを読み出す（７０１）。ここで、Ｆ_iを判断し
（７０２），Ｆ_i＝１のときは既に符号Ｃ_iが作成され
ているので、入力信号ＩＮと事象ｋ_iが一致するかの判
断を行う（７１３）。Ｆ_i＝０となっている場合は符号
Ｃ_iが作成されていない。そこで、符号のビット数を求
めるためlog(１／Ｒ_i）を計算し（７０３）、この計算
結果を小数点以下を四捨五入し符号長ｂ_iを求める。そ
して、この四捨五入の処理により、確率Ｐ_iの順位が変
動する場合があるので、再度確率Ｐを求め（７０５）、
順位が変動する場合には切り上げ又は切り捨て処理を行
う（７０７〜７０９）。このようにして求めた符号長ｂ
_iに基づいて符号誤差演算を行う（７１０）。尚、この
符号誤差演算(７１０）は、先に説明したように符号化
誤差演算部１０３により行う。これについては後述す
る。

【００３０】次に、求めた符号長ｂ_ｉと累積確率値ｑ
_iにより符号Ｃ_iを生成する。このようにして符号が生
成されたら対応するフラグＦ_i＝１とし、生成した符号
Ｃ_iと共にメモリ２０２に格納する（７１１，７１
２）。そして、次に入力信号ＩＮと事象ｋ_iとを比較し
て（７１３）、一致していない場合には、累積確率値ｑ
_i(＝Σ(１／２)＾ｂ_k-1）を求め（７１５０、次に確率
Ｐ_iが大きいものについて、符号生成の処理を行う。

【００３１】このようにして、入力信号ＩＮと事象ｋ_i
とが一致した時点で処理を終了し、その時の符号を出力
する。

【００３２】次に、符号化誤差演算部１０３で行う符号
誤差演算（７１０）について説明する。

【００３３】図８は符号誤差演算（７１０）の処理を示
したものである。符号生成部１０２より符号長ｂ_iと確
率Ｐ_iを得て、Ｅ_i＝(１／２)＾ｂ_i−Ｒ_iにより確率
誤差Ｅ_iを求める(８０１)。ここで、Ｅ_i＝０の場合
は、分配を行わずに処理を終了する。確率誤差Ｅ_iが生
じている場合には、確率Ｐ_iより小さい順位の事象につ
いて確率誤差Ｅ_iを配分する。ここで確率誤差を均等に
配分すると共に確率の順位に変動が生じないように１つ
上に順位付けされている確率と比較する(８０４)。予め
定めたＮ０個の事象への分配を終了すると、分配した誤
差をメモリ２０２に格納し、処理を終了する。

【００３４】このようにして、符号化装置２０３により
入力信号に対する符号を順次生成していく。

【００３５】ここで、入力信号ＩＮとして“０１０”が
入力された場合について具体的に説明する。尚、事象，
確率，フラグは図４のようにメモリに格納されているも
のとする。

【００３６】入力信号ＩＮ(＝１０１)が入力されると事
象ｋ₁，確率Ｐ₁，符号Ｃ₁，フラグＦ₁をメモリ２０
２から読み出す。Ｆ₁＝０であるから符号生成を行う。
まず、log(１／Ｐ₁）を計算し、この計算結果を小数点
以下を四捨五入すると符号長ｂ₁＝２が得られ、この符
号長ｂ₁＝２の場合に順位の変動が生ずるかを調べ最終
的に符号長を決定する。この場合、順位の変動が生じな
いためｂ₁＝２と確定する（図２５（ａ））。

【００３７】次に符号誤差演算を行うために、Ｅ₁＝
(１／２)＾ｂ₁−Ｐ₁を求めるとＥ₁＝０.０４とな
る。そこで、下位に順位付けされている事象（ｋ₂〜ｋ
₇）に誤差を分配する。この場合、誤差を分配しても順
位付けに変動が生じないため、そのまま分配する（図２
５(ｃ)）。

【００３８】次に符号長ｂ₁＝２と確定したので、累積
確率値から符号Ｃ₁を生成する。符号Ｃ₁は符号長ｂ₁
＝２であるから累積確率値ｑ₁の小数点以下を左側から
２つ取り符号Ｃ₁＝００を生成する。そして、符号を生
成したのでフラグＦ₁＝１として、符号Ｃ₁，フラグＦ
₁をメモリに格納する。次に、入力信号と事象ｋ₁とを
比較するが、一致しないため次に順位付けされている事
象K₂について同様に処理を行う。このように処理を行う
ことにより、入力信号ＩＮに対応する符号Ｃ₃＝１００
が得られる。

【００３９】図９に全ての事象に対して処理が行われた
場合のメモリ２０２に格納されている内容を示す。また
図１０に生成された符号の関係を示すが、このように符
号は一意に定まる。

【００４０】次に、起きうる事象ｋと確率Ｐが確率関数
ｆ(ｘ)により与えられている場合について説明する。こ
の場合は、入力信号ＩＮが与えられる度に事象に対する
確率を求めて、符号を生成する。例えば、図１１（ａ）
に示すように確率Ｐが確率関数ｆ(ｘ)で与えられている
場合、図１１（ｂ）に示すように入力信号ＩＮ₁が最大
の確率となるように取り得る全ての事象と確率とを求め
る。このようにして得た事象ｋと確率Ｐに基づいて先に
説明したのと同様に入力信号ＩＮ₁に対する符号Ｃ₁を
生成する。次の入力信号ＩＮ₂があった場合には、図１
１（ｃ）に示すように入力信号ＩＮ₂が最大の確率とな
るように、取り得る全ての事象と確率とを求め、先と同
様に入力信号ＩＮ₁に対する符号Ｃ₁を生成する。

【００４１】この場合の装置構成については、図１に示
したのと同様の構成であり、基本的な処理は図５に示し
たのと同様である。従って、以下では処理が異なる部分
を中心に説明する。

【００４２】図５により処理が開始すると管理部１０１
により確率設定部１０４が起動され、初期設定が行われ
る（５０１）。

【００４３】図１２に確率設定部１０４が行う処理を示
す。まず、外部又はメモリに記憶されている確率関数ｆ
(ｘ)を取り込むと共に初期値ＩＮ₀を設定する（１２０
１，１２０２）。そして次に、初期値ＩＮ₀が最大の確
率となるように入力され得る事象ｋ_iと確率Ｐ_iを求め
る（１２０３）。そして、事象ｋ_i、確率Ｐ_iを確率Ｐ
_iが大きい順にメモリに格納し、初期設定を終了する。

【００４４】次に、管理部１０１が入力信号ＩＮを受け
ると符号生成部１０２を起動して符号の生成を行う。図
１３は符号生成部１０２の処理を示したものである。入
力信号ＩＮが入力されると符号生成部１０２は、入力信
号ＩＮが確率の最大とした場合に、ｉ番目に大きい確率
をとる事象ｋ_iを求める（１３０１）。そして、メモリ
からｉ番目の確率Ｐ_i，符号Ｃ_i，フラグＦ_iを読み出
す（１３０２）。このように読み出した後は、図７で説
明した処理（７０２〜７１２）と同様の処理を行い符号
Ｃ_iを生成する（１３０３〜１３１３）そして入力信号
ＩＮと事象ｋ_iが一致するか判断し、一致しない場合は
累積確率ｑ_iを求め、再び符号生成処理を行い一致した
場合は符号Ｃ_iを出力する。

【００４５】尚、符号の生成における符号誤差演算１３
０９については符号誤差演算部103により図８に示した
処理を行う。

【００４６】以上、確率関数ｆ(ｘ)が与えられた場合の
入力信号ＩＮに対する符号の生成について説明したが、
この処理を一部変更することで確率が変動する場合に応
用することができる。確率が変動する場合とは、例えば
図１４に示すように原稿から読み取った信号について符
号を生成する場合であり、今まで入力された信号に基づ
いて入力され得る事象に対する確率を作成する場合であ
る。この場合について図１５を用いて１つの画素が０〜
７の８階調をとる場合を例に説明する。図１５（ａ）に
示すように画素信号が入力された場合、２０番目の入力
信号に対する符号を生成するために１９番目までの入力
された信号に基づいて確率を求めると図１５(ｂ）のよ
うになる。そして、入力信号が取りうる事象K_iについ
て確率の大きいものから順に図１５（ｃ）に示すように
割り当てる。つまり、ｉ番目の画素を入力信号ＩＮ_iと
して符号を生成する場合、それまでの入力信号（Ｉ
Ｎ₀，ＩＮ₁，ＩＮ₂……ＩＮ_i-3，ＩＮ_i-2，ＩＮ_i-1)
から、入力されうる事象Ｋに対する確率Ｐを求める。こ
の場合、符号化装置の構成は図２と同様の構成である。

【００４７】図１６に管理部１０１の処理を示す。管理
部１０１は、まず初期設定１６０１を行い、入力信号Ｉ
Ｎが入力されると符号生成１により符号生成を行う。そ
して、予め定めた数ＮＲの入力信号が入力された後は、
符号生成部１０２により符号生成を行う。これは、入力
信号ＩＮの数が少ない場合は、正しい確率を求めること
ができないから、ある程度の入力信号があるまでは、予
め設定した確率に基づいて処理を行う。

【００４８】管理部１０１により確率設定部１０４が起
動され、図６に示した初期設定を行う。

【００４９】入力信号ＩＮの入力があると管理部１０１
は、符号生成部１０２を起動し、図７に示した処理に基
づいて符号の生成を行う。次に管理部１０１は、予め定
めた数の入力があった場合、符号生成部１０２に対して
処理を切り替えるよう指示し、図１７に示した処理を符
号生成部１０２は実行する。

【００５０】図１７の処理について説明する。

【００５１】符号生成部１０２は、今まで入力された入
力信号に基づいて確率Ｐ_iを求め、確率の大きいものか
ら順に並べ、メモリ２０２に格納する（１７０１）。そ
して、ｉ番目の確率Ｐ_iと事象Ｋ_iとをメモリから読み
出す（１７０２）。今まで説明したのと異なり、入力信
号ＩＮにより確率を求めていくために入力信号が入力さ
れる度に確率が変動するため、フラグ，符号を格納して
いない。この後の処理は、図７に示した処理(７０３〜
７１０)と同じ処理を行う(１７０３〜１７１０)。次に
入力信号ＩＮと事象ｋ_iとを比較し、一致している場合
に符号を生成Ｃ_iする。これも、確率Ｐ_iが変動するた
めに最後に符号Ｃ_iを求めている。

【００５２】尚、符号誤差演算については既に説明した
図８の処理を符号化誤差演算部203で実行する。

【００５３】次に、復号化装置について説明する。

【００５４】図１８に復号化システムの基本構成を示
す。復号化システムに入力される信号は、符号信号であ
り通信装置１８０４から入力され、復号化装置１８０２
により復号し、入力信号が再生される。

【００５５】図１９は復号化システムの復号化装置１８
０２を示したものである。管理部１９０１は、復号部１
９０２，符号化誤差演算部１０３，確率設定部１０４を
管理し、必要に応じて各部の起動停止を行うものであ
る。符号から入力信号を再生する復号化処理は、符号化
処理と重複した処理を行う。これは、入力された符号信
号と一致するまで符号を生成し、一致した時点で生成し
た符号に対応する事象を出力するためである。

【００５６】では図２０を用いて、ｓ＝２とした場合、
つまり２進符号が入力され復号し、入力信号を再生する
場合について概要を説明する。

【００５７】まず初期設定を行う(２００１)。この初期
設定は、図３で説明した処理３０１と同じ処理を行う。
次に符号が入力される（２００２）と、符号のビット長
（符号長）ｂ_k，符号誤差Ｅ_kを求め、確率値の低い事
象に対して符号誤差を分配する（２００３，２００
４）。そして、入力された符号ＣＩＮと生成したｉ番目
の符号Ｃ_iとを比較し、一致した場合には事象ｋ_iを入
力信号として出力し、一致しなかった場合には再度符号
生成を行う（２００６）。尚、符号のビット長（符号
長）ｂ_i，符号誤差Ｅ_iを求め、確率値の低い事象に対
して符号誤差を分配する処理については図３の処理３０
３，３０４と同じ処理である。

【００５８】次に入力された符号から入力信号の再生で
ある復号化処理について詳細に説明する。

【００５９】図２１は、管理部１９０１の処理を示した
ものである。管理部１９０１は、確率設定部１０４を起
動し、初期設定を行う。そして、符号ＣＩＮが入力され
ると（２１０２）、復号部１９０２を起動して入力され
た符号ＣＩＮに対する事象ｋを抽出し（２１０３）、再
生した入力信号として出力する（２１０４）。

【００６０】管理部１９０１により起動された確率設定
部１９０４は図６に示した処理と同様の処理を行う。つ
まり、確率Ｐ_iが大きい順に入力信号が取りうる事象ｋ
_i，確率Ｐ_iをメモリに格納する。

【００６１】管理部１９０１では入力される符号を監視
し、符号が入力された時には入力信号生成部１９０１を
起動する。尚、管理部において入力される符号の切り出
しは、符号が図１０に示したように生成されるので、符
号を切り出すことができる。管理部１９０１により起動
された復号部１９０２を起動して図２２に示す処理を行
う。まずメモリ１８０３からｉ番目の事象ｋ_i，確率Ｐ
_i，符号Ｃ_i，フラグＦ_iを読み出す（２２０１）。こ
こで、Ｆ_iを判断し（２２０２）、Ｆ_i＝１のときは既
に符号Ｃ_iが作成されているので、入力符号ＣＩＮと符
号Ｃ_iが一致するかの判断を行う（２２１２）。Ｆ_i＝
０となっている場合は符号Ｃ_iが作成されていない。そ
こで、符号のビット数を求めるためlog(１／Ｐ_i）を計
算し（２２０３）、この計算結果を小数点以下を四捨五
入し符号長ｂ_iを求める。そして、この四捨五入の処理
により、確率Ｐ_iの順位が変動する場合があるので、再
度確率を求め（２２０５）、順位が変動する場合には切
り上げ又は切り捨て処理を行う（２２０７〜２２０
９）。このようにして求めた符号長ｂ_iに基づいて符号
誤差演算を行う（２２１０）。

【００６２】次に、求めた符号長ｂ_iと累積確率値ｑ_i
により符号Ｃ_iを生成する。このようにして符号が生成
されたら対応するフラグＦ_i＝１とし、生成した符号Ｃ
_iと共にメモリ１８０３に格納する。そして、次に入力
された符号ＣＩＮと符号Ｃ_iとを比較して（２２１
２）、一致していない場合には、累積確率値ｑ_iを求め
（２２１４）、次に確率Ｐ_iが大きいものについて、符
号生成の処理を行う。

【００６３】このようにして、入力された符号ＣＩＮと
符号Ｃ_iとが一致した時点で処理を終了し、その時の符
号Ｃ_iに対応する事象K_iを出力する。

【００６４】次に、起きうる事象ｋと確率Ｐが確率関数
ｆ(ｘ)により与えられ、生成された符号を復号する場合
について説明する。

【００６５】基本的には、先に説明した処理とほぼ同じ
である。つまり、初期設定は確率設定部１０４におい
て、図１２に示した処理を行う。そして管理部１９０１
により起動された復号部１９０２は、図２３に示した処
理を行う。

【００６６】図２３に示すように、入力される符号ＣＩ
Ｎが確率の最大とした場合に、ｉ番目に大きい確率をと
る事象ｋ_iを求める（２３０１）。そして、メモリから
ｉ番目の確率Ｐ_i，符号Ｃ_i，フラグＦ_iを読み出す
（２３０２）。このように読み出した後は、図２２で説
明した処理（２２０２〜２２１５）と同様の処理を行い
符号を生成する（２３０３〜２３１６）。

【００６７】次に、確率が変動し、生成された符号を復
号する場合について説明する。

【００６８】図２４に管理部１９０１の処理を示す。管
理部１９０１は、まず初期設定2401を行い、符号ＣＩＮ
が入力されると符号１により入力信号の再生を行う。そ
して、予め定めた数の符号ＮＲが入力された後は、符号
２により入力信号の再生を行う。

【００６９】管理部１９０１により確率設定部１０４が
起動され、図６に示した初期設定を行う。

【００７０】符号ＣＩＮの入力があると管理部１９０１
は、復号部１９０２を起動し、図２２に示した符号の生
成を行う。次に管理部１９０１は、予め定めた数の入力
があった場合、復号部１９０２に対して処理を切り替え
るよう指示し、図２５に示した処理を復号部１９０２は
実行する。

【００７１】図２５の処理について説明する。

【００７２】復号部１９０２は、今まで入力された符号
に基づいて入力信号とされ得る事象ｋ_iに対する確率Ｐ
_iを求め、確率の大きいものから順に並べた後、メモリ
1803に格納する（２５００）。この後の処理は、図２２
に示した処理（２２０３〜２２１５）と同じ処理を行う
（２５０１〜２５１３）。

【００７３】以上説明した処理については、当然のこと
ながら符号生成部１０２の処理と復号部１９０２が扱う
処理が同じになるようにする。

【００７４】図２７に符号化装置と復号化装置とを一体
化した、符号化復号化装置を示す。尚、各部の処理につ
いては今まで説明したものと同様の処理を行うものであ
る。以上説明した処理は一例であり、これに限られるも
のではない。そこで以下、他の処理について述べる。

【００７５】（１）ある確率値以下、あるいは、ある順
位以下の事象の生起確率を均一な確率値に置き換えるこ
とで、符号ビットの生成を簡易化することができる。例
えば、信号が８ビットで構成され、すなわち事象は２５
６種類（２の８乗）ある場合に、上位の８種類の事象に
ついてのみ予測確率値を設定することにして、残りの２
４８種類の事象については均一の確率値を割り当てるこ
とができる。ただし、全ての事象の生起確率の合計は
１.０以下でなければならない。信号の入力毎に逐次に
確率値を算出することの負荷が大きい場合に有効な方法
であり、確率値の大きさによる順番付けも上位の８個の
事象について実行すればよい。均一な確率値である事象
（上記の例では、第９番目から２５６番目まで）には、
均一な符号長を割り当てることができることから、順位
の隣接する事象間の符号は、符号長で表される２進小数
(１／２)＾ｂ_kの最下位ビットの値が差分であるように
設定できる。この結果、事象の順位が直接に符号ビット
に反映するため、符号化処理および復号処理の高速化が
実現できる。

【００７６】（２）符号ビットの設定において、累積確
率値ｑ_kを用いてｂ_kビットの符号を生成している。こ
こで、累積確率値に一定のオフセット値を加えたり、
（１−ｑ_k）を累積確率値として利用することもでき
る。

【００７７】（３）符号長ｂ_kの設定方法として、log
(１／Ｐ_k)を四捨五入しているが、五捨四入してもよ
い。ただし、符号化手段と復号化手段間で統一されてい
なければならない。ここで符号長を求めるための対数演
算を簡略化するには、幾つかのサンプル点の対数演算結
果をテーブルにまとめておき、入力信号に基づいて、テ
ーブル検索と補間処理を組み合わせて行うことで実現で
きる。補間処理に伴う演算誤差は、確率値に再換算した
ときに元より大きくならないように制限することが重要
であり、このためには対数演算結果の最小桁を切り上げ
するように符号長を設定すればよい。

【００７８】ここで、本発明により得られる具体的なメ
リットと挙げておく。

【００７９】（１）圧縮率の観点からは、最適かつ瞬時
復号可能な性質を持つ。本発明の特長は、各事象におけ
る符号化誤差を最小にすると共に、発生した符号化誤差
を残りの事象によって補完して、圧縮率の損失を防ぐこ
とである。すなわち、符号化誤差の分配によって、累積
する符号化誤差を０にする、もしくは０に近づけること
ができる。別の表現をすれば、累積符号化誤差を０にす
る、もしくは０に近づけるように、各事象で発生した符
号化誤差を打ち消す処理をしていく。本発明は、最適性
と瞬時復号可な性質を実現する。

【００８０】（２）予測した生起確率値の高い順番に、
実際に生起した事象までの符号生成手順を実行すればよ
いので、符号生成のための平均的な処理時間を短縮する
ことができる。高速に符号を生成できるということは、
あらかじめ符号表を準備することなく、符号化対象の生
起確率の変動に対応しながら、逐次に符号生成するに適
していることを意味する。また、生起確率の低い事象に
ついては、一定の符号長を割り当て、順位付けによる符
号生成ができる。一方、ハフマン符号で適応的な符号生
成を行おうとすると、確率値の最も小さな事象から高い
事象へ向けて信号処理を実行していくトリー構造である
ことから、逐次に全ての符号を生成しなければならず、
符号生成のために膨大な処理時間がかかり、実用的でな
い。

【００８１】（３）情報源の拡大による圧縮率向上を容
易に組み込むことができる。複数の事象についてまとめ
て一つの符号を割り当てることは、情報源の拡大として
知られており、これにより圧縮率の向上が実現できるこ
とは、いわゆるシャノンの定理として知られている。し
かしながら、ｎ値レベルの信号をｍ個組み合わせたなら
ばｎ＾ｍ（ｎのｍ乗）種類の事象に対応した符号が必要
となる。ハフマン符号を用いて逐次に符号生成を行うな
らば、符号生成時間が長大となり膨大な符号表が必要と
なり実用的でない。これに対して本発明では、実際に生
起した事象に対応する符号が生成されるまでの手順を実
行すればよいので、高速に信号処理できると共に、符号
表も必要としない。

【００８２】（４）本発明によって生成される符号は、
小数点以下の数値としてみると、生起確率の順番にした
がって数値の大きさが増加する性質を持っている。この
性質を利用して、符号の区別を行うことができる。

【００８３】次に本発明の符号化復号化装置の応用例と
して、メモリと同一チップ上に配置した混載型ＬＳＩに
ついて説明する。

【００８４】図２８に混載型ＬＳＩを示す。混載型ＬＳ
Ｉは、外部との信号の入出力を行う入出力制御部２８０
１，入力されたデータを符号としてメモリに蓄え、符号
として蓄えられたデータを再生する符号化復号化部２８
０２，符号化されたデータ，入力されたデータを蓄える
メモリ２７０４との間でデータの分配を行う分配器２７
０３から構成されている。

【００８５】以下、各部について説明する。

【００８６】符号化復号化部２８０２は、管理部２７０
１，確率設定部１０４，符号生成部１０２，復号部１９
０２，符号化誤差演算部１０３から構成されている。各
部の処理については既に説明した、予め確率が分かって
いる場合の処理を実行する（図６〜図８，図２２）。

【００８７】入出力制御部２８０１は、外部ＣＰＵとの
データを入出力することで、符号生成，復号処理の起動
・終了・一時停止、あるいはリセットなどを実行する。
具体的には、ＣＰＵから送られてきたデータを受けると
符号化復号化部２８０２の管理部２７０１へデータの入
力があったことを伝える。これにより入力されたデータ
の符号を生成し、メモリ２８０４に格納する。また、Ｃ
ＰＵから読み出し命令があった場合には、管理部２７０
１へ伝えメモリに符号として格納されたデータを読み出
し、復号部１９０２でデータの再生を行う。ここで、外
部入出力データ幅とチップ上のメモリデータ幅は異なる
ことから、データ入出力レジスタ2801を用いてデータ幅
の変換を行う。このように、メモリアクセスが高速であ
ること、およびメモリデータ幅が大きいことから、外部
ＣＰＵからのデータ入出力に対して十分に余裕のある制
御を行うことができる。すなわち、チップ上に搭載した
信号処理装置によるメモリアクセスの隙間を利用するこ
とで、外部ＣＰＵに対しても高速なデータ入出力を実現
できる。このため、一定の条件に基づけば、内部の信号
処理を実行しながら、外部装置に対して「待ち状態」と
ならないデータ入出力速度を保証することもできる。

【００８８】確率設定部１０４は、メモリ２８０４ら一
括してアクセスできるデータ幅を大きく設定し、読み出
しレジスタ２８１２に一時蓄積した後に、データ分配器
2817を用いて確率，事象のデータを取り込む。

【００８９】符号生成部１０２，確率設定部１０４，復
号部１９０２，符号化誤差演算部１０３は、演算途中の
データを個別の処理部に蓄積することなく、メモリ部に
蓄積しておくことができる。このため、メモリ２８０４
と各信号処理部の入出力信号を、信号分配器２８０３内
のデータ集配分配器２８１１を用いて集配もしくは分配
する。ビット幅の大きなメモリを内蔵することで、複数
種類の信号を同一のメモリアクセスで入出力し、メモリ
アクセスの高速化を等価的に実現できる。

【００９０】符号生成部１０２は、メモリ２８０４に一
時的に蓄積した符号化対象の信号を、読み出しレジスタ
２８１２、およびデータ分配器２７１３を用いて、符号
変換部に伝えて符号に変換する。ここで生成した符号は
可変長であるため、データ入出力のデータ幅にあわせた
ビット単位の整列を行う必要がある。このため、生成し
た符号を符号レジスタ２８１４に一時蓄積して、ビット
整列器２８１５を用いて、書き込みレジスタ２８１６に
書き込む。書き込みレジスタ２８１６がフルになった時
点で、メモリ２８０４の圧縮データ蓄積領域に転送す
る。ここで、二つのデータにまたがって符号を並べる場
合には、境界部分で符号を分割することも必要となり、
処理手順が複雑になる。しかし、メモリデータ幅が大き
ければ、このような境界処理も少なくて済み、高速化に
効果がある。

【００９１】尚、復号部１９０２も符号生成部と同様に
レジスタを介してメモリへのデータの入出力を行う。

【００９２】なお、ここで利用するメモリ２８０４に種
類の限定はなく、Ｓ−ＲＡＭ，Ｄ−ＲＡＭ，ＳＤ−ＲＡ
Ｍ，Ｆ−ＲＡＭなどを利用できる。ここでＦ−ＲＡＭ
は、無電源でデータを保存できる特性を持っているた
め、確率，符号となった圧縮データなどを保存するに適
する。この構成により、ＬＳＩチップ外に入出力するデ
ータは符号化されていないが、ＬＳＩチップ内のメモリ
に蓄積するデータは符号化復号化装置２８０２により圧
縮データとすることで、メモリの見かけ上の容量を増加
させることができる。このような混載型ＬＳＩは、デー
タの実体と見かけが異なることから、「仮想メモリ」と
も呼べるものである。機能混載型ＬＳＩ内部に蓄積した
圧縮データを、外部の記憶装置に転送したり、あるいは
伝送装置を介して他装置と通信することもできる。

【００９３】このようにＬＳＩチップ内でメモリアクセ
スを行うことにより、（１）データ幅を大きく設定できることから、複数のデ
ータを一括してアクセスできる。

【００９４】（２）半導体チップ上の配線によるため、
配線容量も少なく、信号線間のスキューも小さいので、
高速な転送レートを実現できる。

【００９５】（３）外部のノイズ等の影響を受けにく
い。

【００９６】（４）装置の低コスト化が実現でき、信頼
性も向上する。

【００９７】（５）チップ上のメモリアクセスが高速な
ため、キャッシュメモリが不要となる。

【００９８】等を実現できる。

【００９９】図２９は、混載型の仮想メモリを、プロセ
ッサと接続してデータ入出力動作をさせる場合の構成例
を示したものである。入出力するデータの種類がＣＰＵ
の出力するメモリアドレスによって区別できるとすれ
ば、入出力制御部２８０１を用いてデータ種別を判定す
ることができる。データ種別として、連続して高速な入
出力が望まれるデータの場合には、メモリのレイアウト
構成に基づくチップ内の実メモリアドレス信号に変換す
ることができる。例えば、メモリのレイアウト構成の一
つとして、「バンク」と呼ばれるメモリブロック構造が
あり、複数の該バンクを用意して交互にデータ入出力す
ることによりメモリアクセスの高速化を実現できる。こ
のようなメモリレイアウト構成とメモリアクセス順序を
入出力制御部２８０１が管理することで、外部ＣＰＵの
出力したアドレス信号とは異なる、チップ内部のメモリ
アドレス信号を生成してメモリアクセスの高速化を実現
できる。また別のデータ種別として、符号化復号化装置
の起動をかける信号である場合には、前記のような高速
化のためのアドレス変換を必要とせず、該当する回路に
起動信号が伝達できれば良い。

【０１００】これを実現するためには、あらかじめ、ア
ドレス信号とデータ種別の関係を、プロセッサから上記
仮想メモリに連絡しておくことが有効である。仮想メモ
リは、上記連絡事項をＬＳＩチップ内に格納しておき、
プロセッサからアクセスを受けた際のアドレス信号を用
いて該内容を参照しながら、信号の性質を判断すること
ができる。また、上記連絡事項がなくても、信号の性質
を測定することで同様の信号種別を行うことができる。
そして、信号性質に適応した符号を生成できる。

【０１０１】具体的な装置構成においては、モデル化部
とエントロピー符号化部の組み合わせを行うことで高い
圧縮率を実現できる。ＬＳＩとして作るには、汎用と専
用の２種類の考え方がある。

【０１０２】（１）モデル化部の信号処理内容を限定す
ることなく、汎用のエントロピー符号化を実行する装置
としてＬＳＩチップを作ることができる。例えば、ＪＰ
ＥＧ，ＭＰＥＧ等の場合では、ＬＳＩチップの外部にお
いて離散コサイン変換等のモデル化部に相当する部分を
実行し、ＬＳＩチップはエントロピー符号化処理を実行
することができる。さらに、様々な符号化対象を限定し
ないことから、いわゆるマルチメディア信号処理に適し
ており、画像・音声・テキスト・線図形などを対象にし
た共通のエントロピー符号化装置として利用できる。

【０１０３】（２）モデル化部とエントロピー符号化部
の両者をＬＳＩチップとすることで、特定の符号化対象
に限定した専用装置を構成できる。例えば、JPEG，MPEG
等の場合では、離散コサイン変換等のモデル化部とエン
トロピー符号化部の両者をLSIチップとして構成でき
る。この場合のメリットは、両者間の信号伝送をＬＳＩ
チップ上で配線できること、バッファリングのメモリを
チップ上に搭載することで装置の小型化を実現できるこ
と、モデル化部の信号処理結果を参照することで圧縮率
の向上を図れること、などがある。

【０１０４】次に本発明の符号化装置２０３をデジタル
・アーカイブ装置へ適用した場合について説明する。

【０１０５】例えば、美術品などを対象にして入力した
画像データは、劣化なく高品位なまま蓄積することで、
再生した画像を鑑賞したり、学術的な調査に利用でき
る。このような目的でデータを保存するものに、デジタ
ル・アーカイブ装置がある。しかしながら、入力した画
像信号は、一般に複数の色信号から構成される多値信号
であり、これを劣化させずに効率よく圧縮することは困
難とされている。

【０１０６】本発明の符号化装置２０３を用いれば、図
３０のような構成で、高い圧縮率を実現することができ
る。

【０１０７】モデル化部の構成としては、例えば、バッ
ファメモリに蓄積した信号を参照して予測した信号と、
実際に入力した信号との差分値を算出する方法がある。
そして、差分値の生起確率を予測して、差分値のエント
ロピー符号化を行うことができる。一般に、差分値は０
を中心として＋−に振幅することから、差分値の０に最
も短い符号を割り当て、＋−の振幅の大きさの順に長い
符号を割り当てることになる。ここで、本発明では、図
３０に示したように、モデル化部の信号処理手順の途中
のデータである、（１）符号化対象の信号の統計的な性質（２）差分値の出現分布特性等を測定することで生起確率を求め、符号生成すること
ができる。さらに、複数の画素の信号を組み合わせた情
報源の拡大によって、圧縮率の向上を実現できる。本発
明の符号化装置２０３を用いれば、差分値が０である信
号が連続して発生すると判断した場合には、差分値を複
数組み合わせて一つの符号に変換するように手順を設定
することが容易に実現できる。コンピュータ・グラフィ
ックスのようにノイズ成分のない画像では、予測による
差分値が０となる場合が多くある。このような画像信号
は、複数の画像信号の生起確率を組み合わせて情報源の
拡大をすることで圧縮率を向上させることができる。

【０１０８】上記に基づく具体的な手順の一例として
は、（ａ）初期化として、参照信号の初期設定を行う。

【０１０９】（ｂ）参照信号から予測確率値の設定を行
い、第一位の信号レベルを予測信号とする。

【０１１０】（ｃ）入力した信号と予測信号との差分値
を算出する。

【０１１１】（ｄ）差分値を符号に変換する。

【０１１２】（ｅ）次の信号について手順（ｂ）から繰
り返す。信号入力が終了ならば、終了手順を実行して終
わる。

【０１１３】記憶装置として、ＣＤ−ＲＯＭ，ＤＶＤ，
ハードディスク、あるいは通信網に接続したファイル装
置、などを利用できる。このようなデジタル・アーカイ
ブ装置においては、符号化する装置と、復号化する装置
は全く別に構成されるが、その符号生成手順は一貫した
処理内容である必要がある。このため、復号化のための
手順（プログラム）内容を、該圧縮データと併せて記憶
させて置き、再生装置は復号化のための内容を利用する
ことで、圧縮データを再生することもできる。次に、ラ
ン長符号化への適用について説明する。

【０１１４】例えばファクシミリのように、白黒２値画
像をラスタスキャンする場合では、各画素の信号レベル
は０と１のいずれかであり、同一レベルの信号の連続個
数（ラン長）で画像データを表現できる。０と１の生起
確率は、すでに符号化処理の終了した隣接画素信号を参
照することで予測を行うことができる。このような符号
化対象に本発明を適用することは次のように行うことが
できる。

【０１１５】ファクシミリの基本符号化方式として従来
から使われてきているＭＨ（モディファイド・ハフマ
ン）方式では、ラン長を置換するための符号表自体を標
準規格としてあらかじめ作成しておく。このため、送信
側と受信側の装置で、あらゆる種類の画像の符号化にお
いて共通的に利用できるメリットがある。しかし、一方
で、符号表作成時と異なる画像性質の場合には圧縮性能
が十分に得られないデメリットがある。例えば、画像の
ラスタスキャンを行いながらラン長を符号に変換する際
に、１ラインの画素数が一定であることから、ランの基
点によってラン長分布が変化するにも関わらず、固定し
た符号表を使っているため圧縮率が劣化する場合があ
る。さらに、文字画像とディザ画像とではラン長の生起
分布が異なるにも関わらず固定した符号表を使っている
ため、後者では圧縮率が著しく劣る場合がある。

【０１１６】これに対して、本発明の符号化復号化装置
を用いれば、ラン長の性質を測定しながら符号生成を行
い、高い圧縮率を達成することができる。

【０１１７】確率設定部は、図１４に示すように既に符
号化処理の終了している信号を参照して、ラン長の出現
頻度を測定する。この信号処理は、符号化装置および復
号化装置の両者で共通に実行できる。ところで、符号化
処理を開始する初期状態においては、事象（ラン長）の
生起分布が不明である。また、参照する信号の数が少な
い場合には、生起する全ての事象（ラン長）についての
生起分布を測定できないことがある。これらの場合に
は、次の手段を利用できる。

【０１１８】（ａ）初期化時に、計測手段に何らかの初
期値をプリセットする。

【０１１９】（ｂ）測定済みの計測数から、事象全体の
確率値を求める。

【０１２０】（ｃ）一定の測定数毎に、生起確率の算出
を行う。

【０１２１】（ｄ）何らかの関数、あるいはパタンを当
てはめて、確率を設定する。

【０１２２】図３１は、測定個数が少ないために、全て
のラン長についての頻度を測定できない場合を図示した
ものである。そこで、測定結果を補完するように、例え
ば正規分布関数で確率分布を設定するとともに、あるラ
ン長以上については一定の確率値で置き換えを行う。こ
のような確率値の設定のメリットを以下にまとめる。（１）正規分布関数で確率分布が表現されるため、確率
値の順位付けが関数から算出でき、また、符号長を算出
する演算は、正規分布関数の対数演算となり簡単な形に
なる。

【０１２３】（２）現実の多くの事象の発生が正規分布
で近似できることから、補完誤差が少ない。

【０１２４】（３）順位付けした事象のある順位以下に
ついて、累積確率値が１.０を超えない原則を守りなが
ら、同一の予測確率値を割り当てることができる。これ
らの事象については、前記した符号生成手順に基づき一
定に符号長を割り当てることができる。この結果、これ
らの符号の区別は、数値としての大きさの違いによって
判断できることになる。

【０１２５】次にＪＰＥＧ（ＭＰＥＧ）方式の圧縮率改
良について説明する。

【０１２６】本発明は、既存の標準符号化方式で使われ
ているハフマン符号への変換部を置き換えることで、圧
縮率を改善する効果を実現することも可能である。例え
ば、ＪＰＥＧあるいはＭＰＥＧ方式として知られる画像
符号化方式はモデル化部において、複数の画素から構成
されるブロックを符号化の単位として、ＤＣＴ（離散コ
サイン変換）部，量子化部，スキャン部などの信号処理
部から構成される。そしてエントロピー符号化部におい
て、スキャン順序に従ってラン長と信号振幅をハフマン
符号に変換する。ここで、最終段のハフマン符号変換部
を本発明を用いた適応型の符号変換部に置き換えること
によって、効率向上を実現できる。

【０１２７】図３２に、ＪＰＥＧ方式を実行する処理装
置の基本的な構成を示す。符号に変換する信号対象は、
モデル化部の信号処理単位である８×８の２次元的に配
置された信号について、ＤＣＴ，量子化を行った６４個
の信号の系列である。ＤＣＴは一種の２次元の周波数変
換であり、量子化は周波数成分に重み付けを行う処理で
ある。従来方式では、これらの信号系列を、信号値が０
である信号の連続個数を示すラン長と、ランの区切りに
ある信号（０以外）のレベルを組み合わせてハフマン符
号に変換している。ここで従来方式のハフマン符号変換
部における圧縮率を低下させる要因に、単一の符号表に
よる符号化を行っていることがある。このため、（ａ）対象とする画像信号の性質，周波数成分の性質な
どが考慮されていない。（ｂ）ラン長と信号レベルの性質は、信号系列における
ランの開始位置によって異なってくることを考慮に入れ
ていない。

【０１２８】（ｃ）ラン長と信号レベルという、異なる
性質を組み合わせた事象に対してハフマン符号を割り当
てている。

【０１２９】上記問題点をハフマン符号を用いながら解
決を図っても、次に示すような問題がある。

【０１３０】（ａ）複数の符号表をあらかじめ用意して
おき、隣接ブロックの信号系列を参照しながら、符号表
を逐次に切り替えていく。しかしながら、符号表が膨大
になり、装置規模が増大する。

【０１３１】（ｂ）隣接ブロックの信号系列を参照しな
がら、符号表を逐次に生成していく。しかし、処理時間
が長大となり、装置規模が増大する。

【０１３２】図３２に、ＪＰＥＧ方式の圧縮率を向上さ
せる装置構成を示す。ＪＰＥＧ方式と同一のモデル化部
を用いることを前提に、スキャン順序に従って０の連続
するラン長と、ランの区切り目の信号レベルを符号に変
換する場合について説明する。信号処理の高速化のため
には、少なくとも１ブロックの信号を蓄積するバッファ
メモリを、ＤＣＴ部，量子化部の前後に配置して、各部
の動作を並行して行うことが有効である。ここに蓄積さ
れる各種の信号を、符号化効率の向上のために参照し、
次に示すような信号処理を行うことができる。

【０１３３】（ａ）参照可能な信号系列として、プリス
キャンによる符号化対象自身の信号、既に符号化処理の
終了した信号、カラー画像の場合には同一画像の異なる
色信号、動画像の場合には異なるフレームの信号、など
がある。すでに処理済みの信号と、ラン長分布および信
号レベル分布を対応づけて置くことで、参照信号を用い
て符号化対象のラン長分布および信号レベル分布を予測
することができる。

【０１３４】（ｂ）ランの基点が、８×８の信号系列の
どこに位置するかを用いて、ラン長と信号レベルの生起
確率を変更することができる。これは、信号系列の最大
長が６４（＝８×８）に限定されており、スキャン順序
にしたがって符号化処理を進めていくことから、ランの
基点によってラン長の生起確率が変動するのは当然であ
るためである。仮に、ランの基点に関わらず常に同一の
符号表を用いることは、ラン長の生起確率を有効に利用
しないことになり、圧縮の効率は低下する要因となる。

【０１３５】（ｃ）ラン長と、信号振幅の両者につい
て、独立した生起確率を予測して符号を生成する。

【０１３６】なお、いずれの場合も初期時点では参照で
きる信号がないため、何らかの設定値を利用するか、従
来に処理した画像に関する情報を保存しておいて利用す
る、などの初期化処理を行うことにする。上記のように
信号参照することで、適応型の符号生成を行うタイミン
グとしては、（ａ）ラン長と信号レベルのそれぞれの符号変換のタイ
ミングで符号生成を行う。

【０１３７】（ｂ）一つ、もしくは複数のブロックを単
位として符号生成を行う。

【０１３８】（ｃ）１画面（カラー画像の場合には色信
号）を単位として符号生成を行う。

【０１３９】（ｄ）時間的に連続する複数の画像フレー
ムから構成される画像を対象とする場合には、時間的に
隣接する画像フレーム間の性質が似ていることから、何
枚かのフレーム毎に符号生成する。

【０１４０】具体的な処理手順の一例を次に述べる。

【０１４１】（ａ）８×８の信号系列の符号化処理の初
期時点では、ランの基点を最も周波数成分の低い信号
（直流成分）におく。ランの基点位置ＲＳ＝０と設定す
る。

【０１４２】（ｂ）ラン基点ＲＳからスキャン順序に従
って、信号成分が０である個数ｊを計測する。０でない
信号レベルＳＳを検出したら、ラン長ＲＬ＝ｊとして次
の手順に進む。ただし、計測中にランが終端に達したら
（ｄ）に進む。

【０１４３】（ｃ）ランの基点位置ＲＳに基づきラン長
分布を予測し、ラン長ＲＬの符号を生成するまで符号生
成手順を実行する。引き続き、ランの基点位置ＲＳに基
づき信号レベル分布を予測し、信号レベルＳＳの符号を
生成するまで符号生成手順を実行する。なお予測処理の
ために、ラン基点以外の信号を参照できることは既に述
べた通りである。

【０１４４】（ｄ）ランが信号系列の終端に達したら、
終端処理(例えば終端符号の付加など)を行って終了す
る。終端でなければ、新たなラン基点をＲＳ＋ＲＬとし
て（ｂ）にもどる。

【０１４５】なお、上記の適応型の符号変換部を利用し
た場合に生成される符号は、標準的方式とはデータ互換
がないが、双方ともブロック符号であることから、何ら
かの手段で１対１の符号変換を行うことができる。

【０１４６】次に辞書型符号化への適用について説明す
る。

【０１４７】文字コードの並びによって作られているテ
キスト等を対象に、出現確率の高い文字列を逐次登録し
ながら、該登録の順位を符号として表す符号化方式が、
辞書型符号化（例えばＬＺ符号など）として知られてい
る。この登録手段の構成、および信号処理手順はモデル
化部に分類できる。一方で、エントロピー符号化部にあ
たる部分では、符号として、登録の順位値を直接利用す
る方法、あるいは順位をハフマン符号に変換する方法な
どが提案されている。圧縮率の観点からは、文字間の生
起確率の特異性については既に知られている事実であ
り、入力するキャラクターコードに基づき逐次に統計値
を作成していき、この内容に基づき確率分布を作成する
ことで、効率のよい符号化処理を行うことができる。

【０１４８】ここで、従来のハフマン符号を適用するな
らば、符号表を固定にすると適応性に欠けることにな
り、逐次に符号の生成を行うと処理負荷が増大するとい
う問題がある。

【０１４９】これに対して、本発明の圧縮伸長装置を用
いれば、次に示す辞書型符号化の特長を利用して符号生
成を行うことができる。

【０１５０】（ａ）複数の文字を組み合わせた文字列の
符号化は、情報源の拡大に他ならない。

【０１５１】（ｂ）文字列を順次に登録していくこと
は、生起確率を測定することに他ならない。

【０１５２】上記の性質を利用することで、図３３に示
すような文字列の遷移確率を割り当てたリンクを作り、
以下のように手順で効率のよいブロック符号を生成する
ことができる。

【０１５３】（ａ）候補文字列を、文字間の遷移確率を
属性として持つリンクで接続されるデータ構造として用
意する。

【０１５４】（ｂ）入力文字列が、上記候補文字列と一
致する場合は、該候補文字列の遷移確率に基づく符号を
生成する。

【０１５５】（ｃ）遷移確率は、実際の符号化対象とし
て入力する文字列によって逐次に更新することができ
る。ここで、遷移確率の更新処理は、一文字毎、あるい
は、一定個数の文字が入力してから行う、等のアルゴリ
ズムと手段の構成を採用することができるが、本発明で
は特に限定するものではない。

【０１５６】入力文字列の区切りの判定は、スペース，
カッコなどの区切りを示す文字によって判定することが
できるとともに、文字間の遷移確率がしきい値より低い
場合に区切りと判定することができる。候補文字列は、
遷移確率が低いリンクを随時削除することで、規模と複
雑さを抑えることができる。このリンクの削除のアルゴ
リズムと手段の構成は、特に限定するものではない。一
定以下の遷移確率については、それぞれ均一な遷移確率
に置き換えて扱うことができる。

【０１５７】（ｄ）符号ビット設定は、文字間の遷移確
率を順次に掛け合わせていくことで算出できるが、演算
のための負荷が大きくなる場合がある。しかし、全ての
候補文字列の個数と、該当する文字列の出現個数との比
率が遷移確率であることから、この比率を求めるために
は両者の個数を用いた１回の除算を行えばよい。さら
に、遷移確率の更新を、入力文字列の個数が２のＮ乗
（例えば１０２４など）になるタイミングで行うなら
ば、前記の除算は２進数のＮビットシフトに置き換える
ことができる。このようにして求めた確率値をもとに、
符号生成を高速に行い、高い圧縮率を実現できる。

【０１５８】次に算術符号との関連について説明する。

【０１５９】本発明による符号生成アルゴリズムを用い
て情報源の拡大を行うことで、生成される符号は算術符
号に近い性質を持つようにできる。その結果、エントロ
ピーに限りなく近い、圧縮率を実現することが可能であ
る。

【０１６０】例えば、符号化対象とする全ての信号系列
について、実際に生起した事象の生起確率を組み合わせ
ることで一つの確率値を算出し、この確率値を対象にし
た符号化処理を実行することができる。

【０１６１】ここで前記したように、本発明による符号
は、数値の大きさとして一意に区別できることに注目す
る。これは、算術符号の解説で示されるように、０.０
以上で１.０より小さな範囲の数直線上の領域を事象の
確率値で分割し、分割領域の上端もしくは下端の位置を
数値として示すことで、符号を生成できることを意味す
る。前記符号生成手順で述べたように、確率値の大きさ
の順序で符号生成していくことは、生成される符号の数
値としての大きさは、数直線状を０.０から1.0に向かっ
て順次に上っていくことになる。図３４に、数直線の分
割を示す。個別の信号毎に符号化処理を行うことは、図
３４（ａ）に示すように数直線の分割を各符号で独立し
て実行することになる。一方、複数の信号を組み合わて
情報源の拡大をすることは、図３４（ｂ）に示すように
数直線上の分割を、信号の生起確率で繰り返して実行す
ることに相当する。この分割の原理は、算術符号と生成
手順と同一であるが、次の点に特徴がある。

【０１６２】（ａ）符号化対象の信号個数を任意に設定
し、符号系列にブロック符号の特性を持たせられる。す
なわち、生成した符号のビット数を明確に設定できる。
これは、算術符号では不可である。

【０１６３】（ｂ）算術符号の応用例として、ＩＴＵ
（International Telecommunication Union）がＴ.８２
として勧告しているＪＢＩＧ符号化方式がある。これ
は、白黒２値画像を対象に、従来のＭＨ符号などよりも
高い効率を実現することを目的に、算術符号の考え方に
基づいて定められた符号化方式である。しかし、実用性
の観点から信号処理手順の大幅な簡易化が行われてい
る。例えば、高速化を目的に、個別の事象の生起確率を
（１／２）のべき乗に置き換えてから、生起確率の演算
を行っている。上記例は符号化対象として２値信号を前
提としているが、多値信号の場合には複雑さが増すた
め、さらなる簡易化が必要になる。このように、算術符
号の理論的な圧縮効率は高いものであるが、実用上の観
点からは簡易化による効率の低下が避けれられない。

【０１６４】これに対して本発明では、事象の生起確率
を正しく利用し、多値信号に対しても有効に活用でき、
さらに、情報源の拡大による圧縮率向上の効果を実現で
きる。組み合わせる信号の個数は、例えば画像の１スキ
ャンライン、あるいは複数の画素から構成されるブロッ
クなど、モデル化部の動作と連携して設定することがで
きる。

【０１６５】次にＮ進数符号化について説明する。

【０１６６】今までは２進数の符号の場合について説明
してきたが、本発明を用いてＮ進数の符号を生成するこ
とで同様な効果を得ることができるのは言うまでもな
い。このような装置例として、１ビットあたりＮ値を記
憶できるメモリ、また、振幅位相変調（モデム）などで
通信を行うＮ値通信路などがある。従来は、２進数符号
を複数ビット組み合わせることで多値信号を生成してい
るが、本発明ではＮ進数符号を直接生成することができ
る。たとえば、＋１，−１，０の３種類の電圧レベルで
データ伝送を行う場合には、３進数符号を用いることで
効率の良いデータ伝送を実現できる。さらに符号化処理
に伴い、３種類の信号のそれぞれの出現はほぼランダム
になることから、平均的には電圧０に平衡させることが
できる。また、伝送路上の特性（ノイズ，ＬＲ特性，距
離など）に応じてＮの値を適応的に変更することが容易
であり、また、各種の誤り訂正方式と組み合わせて信頼
性の高いデータ伝送を実現することができる。例えば、
伝送誤りが発生した場合に、前回よりＮの値を小さくし
て生成した符号を再送することで、誤りに対する耐性を
高くすることができる。

【０１６７】なお、生成したＮ進数符号を、Ｎ値メモリ
あるいはＮ値通信路等に渡すまでの伝送路あるいは一時
蓄積バッファ等の信号表現が例えば２進数であり、Ｎと
異なる値の場合がある。

【０１６８】この場合には、一時的に、Ｎ進数符号を２
進数表現することで解決できる。このように通信路符号
化として知られている符号変換と組み合わせて、信号処
理を実行することができる。

【０１６９】

【発明の効果】以上説明したように本発明によれば、最
適かつ瞬時復号可能な性質を持つ符号を高速に生成でき
る。このため、信号性質に適応した符号を逐次に生成し
て、高い圧縮率を実現できる。また、情報源の拡大によ
り、圧縮率の向上を容易に実現できる。

【図面の簡単な説明】

【図１】符号化装置の基本構成を示す図。

【図２】符号化システムの構成を示す図。

【図３】符号生成処理の概要を説明するための図。

【図４】符号生成のためのメモリの記憶を示す図。

【図５】符号生成の全体の処理を示す図。

【図６】初期設定の処理を示す図。

【図７】符号生成の処理を示す図。

【図８】符号化誤差演算の処理を示す図。

【図９】メモリに記憶された内容を示した図。

【図１０】生成された符号の関係を示した図。

【図１１】確率関数を用いる場合の概要を説明するため
の図。

【図１２】確率関数を用いる場合の初期設定の処理を示
す図。

【図１３】確率関数を用いる場合の符号生成の処理を示
した図。

【図１４】画像データの構成を説明するための図。

【図１５】画像データの符号化を行う場合の確率の初期
設定を説明するための図。

【図１６】逐次確率を求める場合の符号生成処理の全体
を示す図。

【図１７】逐次確率を求める場合の符号生成処理を示す
図。

【図１８】復号化システムの構成を示した図。

【図１９】符号化装置の構成を示した図。

【図２０】復号処理の概要を説明するための図。

【図２１】復号の全体の処理を示した図。

【図２２】復号の処理を示した図。

【図２３】確率関数を用いる場合の復号の処理を示した
図。

【図２４】逐次確率を求める場合の復号処理の全体を示
す図。

【図２５】逐次確率を求める場合の符号生成処理を示す
図。

【図２６】符号生成の具体例を示す図。

【図２７】符号化復号化装置の構成を示す図。

【図２８】混載型ＬＳＩの構成を示す図。

【図２９】仮想メモリを用いたシステムの構成を示す
図。

【図３０】ディジタルアーカイブ装置の構成を示す図。

【図３１】ラン長符号化への適用例を示す図。

【図３２】ＪＰＥＧ（ＭＰＥＧ）方式の圧縮率改良への
適用例を示す図。

【図３３】辞書型符号化への適用例を示す図。

【図３４】算術符号との関係を示す図。

【符号の説明】

１０１…管理部、１０２…符号生成部、１０３…符号化
誤差演算部、１０４…確率設定部、２００…入力装置、
２０１…Ａ／Ｄ変換器、２０２，１８０３…メモリ、２
０３…符号化装置、２０４…通信装置、１８０２…復号
化装置、1901…管理部、１９０２…復号部。

Claims

【特許請求の範囲】

【請求項１】入力された信号の符号を生成する符号化装
置であって、予め定められた事象が生起する確率から符号長を求める
と共に上記求めた符号長に基づいて累積確率を求め、上
記符号長と上記累積確率から符号を生成する符号生成部
を有することを特徴とする符号化装置。
【請求項２】請求項１において、上記符号生成部は、上記求めた符号長から符号化誤差を
求め、上記求めた符号誤差を上記他の確率に分配し、上
記符号長と上記累積確率から符号を生成することを特徴
とする符号化装置。
【請求項３】予め入力された入力信号に基づいて、入力
信号が取り得る事象と上記事象が生起する確率を求め、
上記入力信号がとり得る事象に対応する確率から符号の
符号長を求め、求めた上記符号長から累積確率を求め、
上記求めた符号長及び上記累積確率から符号を生成する
ことを特徴とする符号化装置。
【請求項４】入力された信号から符号を生成し、出力す
る符号部と、上記入力部に入力され得る事象と、上記事象の発生させ
る確率とを対応づけて記憶すると共に、上記符号部で読
み出された事象と確率に基づいて生成した符号を、上記
読み出された事象と対応付けて記憶するメモリとを有す
ることを特徴とする符号化装置。
【請求項５】入力された信号から符号を生成し、出力す
る符号部と、上記符号部に入力され得る事象と、上記事象の発生させ
る確率とを対応づけて記憶すると共に、上記符号部によ
る符号の生成過程で修正された上記確率を記憶するメモ
リとを有することを特徴とする符号化装置。
【請求項６】入力された符号から信号を再生する復号装
置であって、再生される信号の事象と上記事象が生起する確率とを記
憶するメモリと、上記メモリに格納された順に上記確率を読み出し、読み
出した上記確率から符号の符号長を求め、求めた上記符
号長から累積確率を求め、上記求めた符号長及び上記累
積確率から符号を生成し、上記入力された符号と比較し
た結果に基づいて上記読み出した確率に対応付けて上記
メモリに記憶された事象を出力する復号部とを有するこ
とを特徴とする復号化装置。
【請求項７】請求項６において、上記復号部は、上記求めた符号長から符号化誤差を求
め、上記求めた符号誤差を上記メモリに記憶されている
他の確率に分配し、上記符号長と上記累積確率から符号
を生成することを特徴とする復号化装置。
【請求項８】入力された符号から信号を再生し、出力す
る復号部と、上記復号部に入力され得る事象と、上記事象の発生させ
る確率とを対応づけて記憶すると共に、上記復号部によ
る符号の生成過程で修正された上記確率を記憶するメモ
リとを有することを特徴とする復号化装置。
【請求項９】入力された信号から符号を生成し、出力す
る符号部と、入力された符号から信号を再生し、出力する復号部と、上記符号部に入力され得る事象と、上記事象の発生させ
る確率とを対応づけて記憶し、上記符号部による符号の
生成過程で修正された上記確率を記憶すると共に、上記
復号部による符号の生成過程で修正された上記確率を記
憶するメモリとを有することを特徴とする符号化復号化
装置。
【請求項１０】入力された信号から符号を生成し、出力
する符号部と、入力された符号から信号を再生し、出力する復号部と、上記符号部に入力され得る事象と、上記事象の発生させ
る確率とを対応づけて記憶し、上記符号部による符号の
生成過程で修正された上記確率を記憶すると共に、上記
復号部による符号の生成過程で修正された上記確率を記
憶するメモリとを同一半導体基板上に形成したことを特
徴とする符号化復号化装置。
【請求項１１】入力された符号から信号を再生し、入力
された信号から符号を生成する符号化復号装置であっ
て、再生される信号の事象と上記事象が生起する確率とを記
憶するメモリと、上記メモリに格納された順に上記確率を読み出し、読み
出した上記確率から符号の符号長を求め、求めた上記符
号長から累積確率を求め、上記求めた符号長及び上記累
積確率から符号を生成し、上記入力された符号と比較し
た結果に基づいて上記読み出した確率に対応付けて上記
メモリに記憶された事象を出力する復号部と、上記メモリに格納された順に上記確率を読み出し、読み
出した上記確率から符号の符号長を求め、求めた上記符
号長から累積確率を求め、上記求めた符号長及び上記累
積確率から符号を生成し、上記入力された信号と比較し
た結果に基づいて上記読み出した確率に対応付けて上記
メモリに記憶された事象を出力する復号部と同一半導体
基板上に形成したことを特徴とする符号化復号化装置。
【請求項１２】予め与えられた事象と確率を確率が大き
い順にメモリに記憶し、上記メモリに記憶された事象及び確率を読み出し、読み
出した上記確率に基づいて符号の符号長を求めると共に
上記求めた符号長から累積確率を求め、上記求めた符号長及び累積確率から符号を生成し、求めた上記符号長から上記確率に対する確率誤差を求め
ると共に、上記確率誤差に基づいて上記メモリに記憶さ
れている他の確率を修正することを特徴とする符号生成
方法。